動作解析装置、動作解析方法、およびプログラム
【課題】新たなジェスチャを習得することなく、既存の機器操作に伴う直感的な動作に合致したジェスチャを機器操作として認識可能とする。
【解決手段】操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、操作者の体の一部が、上側状態、接触状態、下側状態のいずれかの状態であるかを解析する。イベント解析手段２は、操作者の体の一部の上向き、または下向きの動きを求めるとともに、求めた変位ラベル群を解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを発生する。制御手段９は、停留解析手段による解析結果である操作者の状態と、イベント解析手段２による解析結果であるイベントとを、状態マトリクスに照合し、操作者の動作を特定し、対応する処理を実行する。
【解決手段】操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、操作者の体の一部が、上側状態、接触状態、下側状態のいずれかの状態であるかを解析する。イベント解析手段２は、操作者の体の一部の上向き、または下向きの動きを求めるとともに、求めた変位ラベル群を解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを発生する。制御手段９は、停留解析手段による解析結果である操作者の状態と、イベント解析手段２による解析結果であるイベントとを、状態マトリクスに照合し、操作者の動作を特定し、対応する処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者のジェスチャから得られる三次元軌道を解析することで、操作意図を抽出する動作解析装置、動作解析方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、機器の操作においてはリモコンやタッチパネルが主流であるが、リモコン等の機器を把持する煩わしさや、機器への接触が好ましくないシーンがあること等の理由で、ジェスチャによる機器操作を可能にするためのジェスチャ認識技術が数多く提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４１５３８１９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１で示されている技術には、ジェスチャを撮像した画像における所定の特徴の認識率を高めるために、操作のためのジェスチャ動作が、一般の直感的な動作と乖離する傾向にある、いわば或る種の「言語」であり、その習得に時間を要するという問題がある。
【０００５】
本発明は、このような事情を考慮してなされたものであり、その目的は、新たなジェスチャを習得することなく、既存の機器操作に伴う直感的な動作に合致したジェスチャを機器操作として認識することができる動作解析装置、動作解析方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、操作者によるジェスチャを解析する動作解析装置であって、前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析手段と、前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶手段と、前記操作者の体の一部の上向きまたは下向きの動きを解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析手段と、前記状態記憶手段に記憶された前記操作者の状態と前記イベント解析手段により検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶手段に記憶された状態を更新する制御手段とを備え、前記指定される処理は、前記停留解析手段が解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする。
【０００７】
本発明は、前記制御手段は、前記停留解析手段による前記操作者の動きの有無の解析結果と、前記状態記憶手段に記憶された前記操作者の状態と前記イベント解析手段による解析結果であるイベントとに基づいて、前記操作者の示す操作を特定することを特徴とする。
【０００８】
本発明は、前記上側状態、前記接触状態、及び前記下側状態と、前記上昇イベント、前記下降イベント、及び前記空イベントとをマトリクス状に対応付け、それぞれの組み合わせに対応付けて実行すべき処理を記憶する状態マトリクスを記憶する状態マトリクス記憶手段を更に備え、前記制御手段は、前記状態記憶手段に記憶される前記操作者の状態と前記イベント解析手段による解析結果であるイベントとを、状態マトリクス記憶手段に記憶される前記状態マトリクスに照合することで実行すべき処理を特定することを特徴とする。
【０００９】
本発明は、操作者によるジェスチャを解析する動作解析装置における動作解析方法であって、前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析ステップと、前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶ステップと、前記操作者の体の一部の上向き、または下向きの動きを解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析ステップと、前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップにより検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶ステップにより記憶された状態を更新する制御ステップとを有し、前記指定される処理は、前記停留解析ステップにより解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする。
【００１０】
本発明は、前記制御ステップは、前記停留解析ステップによる前記操作者の動きの有無の解析結果と、前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップによる解析結果であるイベントとに基づいて、前記操作者の動作の示す操作を特定することを特徴とする。
【００１１】
本発明は、前記上側状態、前記接触状態、及び前記下側状態と、前記上昇イベント、前記下降イベント、及び前記空イベントとをマトリクス状に対応付け、それぞれの組み合わせに対応付けて実行すべき処理を記憶する状態マトリクスを記憶する状態マトリクス記憶ステップを更に有し、前記制御ステップは、前記状態記憶ステップにより記憶される前記操作者の状態と前記イベント解析ステップによる解析結果であるイベントとを、状態マトリクス記憶ステップにより記憶される前記状態マトリクスに照合することで実行すべき処理を特定することを特徴とする。
【００１２】
本発明は、操作者によるジェスチャを解析する動作解析装置上のコンピュータに動作解析を行わせる動作解析プログラムであって、前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析ステップと、前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶ステップと、前記操作者の体の一部の上向き、または下向きの動きを求めるとともに、求めた変位ラベル群を解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析ステップと、前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップにより検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶ステップにより記憶された状態を更新する制御ステップとを前記コンピュータに行わせ、前記指定される処理は、前記停留解析ステップにより解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする。
【発明の効果】
【００１３】
この発明によれば、その習得に時間を要する新たなジェスチャではなく、あたかもノートＰＣ等に搭載されているタッチパッドを操作しているかのようなジェスチャにより、マウスの基本操作である、カーソル移動操作、クリック操作、ドラッグ操作、およびクラッチ操作を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態による三次元軌道解析装置の構成を示すブロック図である。
【図２】本実施形態の三次元軌道解析装置における、状態マトリックスの一例を示す概念図である。
【図３】本実施形態によるイベント解析方法を説明するための概念図である。
【図４】本実施形態において、三次元位置ベクトル群の投影位置を求める手順を説明するための概念図である。
【図５】本実施形態の変形例として、三次元位置ベクトル時系列に対する斜交座標系による変換を説明するための概念図である。
【図６】本実施形態の制御手段９による処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態を、図面を参照して説明する。
【００１６】
本発明の実施形態による三次元軌道解析装置は、三次元ポインティングデバイスが出力する三次元位置ベクトルの時系列である三次元軌道が解析対象であり、同三次元軌道の要素である三次元位置ベクトルが入力されるごとに処理を行い、同処理の結果により、マウスイベントである「ボタンダウン」、「ボタンアップ」、および「カーソル移動」を、適切なパラメターと伴に適切なパターンで出力することにより、タッチパッドによるマウスの基本操作である、カーソル移動操作、クリック操作、ドラッグ操作、およびクラッチ操作を実現するものである。ここで、三次元軌道とは、操作者がイメージしているに過ぎない実際には存在しないタッチパッドを同操作者が人差し指で操作する際の、同人差し指の指先の三次元位置ベクトルの時系列である。なお、以降の説明において、同実際には存在しないタッチパッドを仮想タッチパッドと称することとする。
【００１７】
図１は、同三次元軌道解析装置の構成を示すブロック図である。図において、同三次元軌道解析装置は、イベント解析手段２、停留フラグ時系列記憶手段３、変位ラベル時系列記憶手段４、三次元位置ベクトル時系列記憶手段５、状態記憶手段６、基準位置記憶手段７、画面基準位置記憶手段８、および制御手段９から構成されている。以下、各構成手段について説明する。なお、以降の説明において、入力された最新の三次元位置ベクトルのインデックスをｉとする。
【００１８】
イベント解析手段２は、三次元位置ベクトルが入力されるごとに停留解析処理およびイベント解析処理を行う。前者の同停留解析処理では、三次元位置ベクトルの変化の有無が判定される。具体的には、前記三次元軌道を構成する三次元位置ベクトル群｛Ｖ［ｋ］｜ｋ＝［ｉ−ｎ＋１、ｉ］｝に対して、数式（１）で定義されるＲの値を算出し、同Ｒの値が予め定めてある域値よりも大きい場合にはＴＲＵＥを、そうでない場合にはＦＡＬＳＥを、それぞれ停留フラグとして、後述する停留フラグ時系列記憶手段３のインデックス（ｉ）の要素に記憶する。
【００１９】
【数１】
【００２０】
ここで、Ｖｎは、同三次元位置ベクトル群から主成分分析により得られる最大固有値に対応する固有ベクトルである。Ｒとしては、数式（１）には依らずに、この最大固有値としてもよい。なお、ｎの値については、三次元位置ベクトル時系列のサンプリング間隔をＴ秒としたとき、ｎ＝０．３／Ｔ程度の値とすればよい。
【００２１】
後者の同イベント解析処理では、後述する上昇イベントｅＵ、下降イベントｅＤ、および空イベントｅＮのうちのいずれのイベントが生じているかを判定し、これを出力する。処理の詳細は次のとおりである。
【００２２】
十分な個数であるＮＮ個の三次元位置ベクトル群｛Ｖ［ｋ］｜ｋ＝［ｉ−ＮＮ＋１、ｉ］｝に対して、ｎ＝［ｎ０、ｎ１］の全ての値について、数式（２）で定義される、動きの速さの指標であるＮ［ｎ］、および動きの方向の指標であるＡ［ｎ］の値を算出する。
【００２３】
【数２】
【００２４】
これらの値Ｎ［ｎ］およびＡ［ｎ］が、図３に示す第一象限にある斜線領域に含まれており、かつ数式（３）で示される、動きの速度の鉛直方向の成分である全てのスカラー値の符号が同じである場合には、変位ラベルとしてＬＵを、後述する変位ラベル時系列記憶手段４のインデックス（ｉ−ｎ）からインデックス（ｉ）の全ての要素に記憶し、図３に示す第四象限にある斜線領域に含まれており、かつ数式（３）で定義される全てのスカラー値の符号が同じである場合には、変位ラベルとしてＬＤを、同全ての要素に記憶する。
【００２５】
【数３】
【００２６】
そして、インデックス（ｉ）における変位ラベルがＬＵおよびＬＤのいずれでもなく、かつ（ｉ−１）における変位ラベルがＬＵである場合に限り、上昇イベントｅＵを出力し、インデックス（ｉ）における変位ラベルがＬＵおよびＬＤのいずれでもなく、かつ（ｉ−１）における変位ラベルがＬＤである場合に限り、下降イベントｅＤを出力し、これら以外の場合には、空イベントｅＮを出力する。
【００２７】
ここで、ｎ０＝０．２／Ｔ、ｎ１＝０．５／Ｔ程度の値である。また、この斜線の境界線は、数式（４）の関数により定義される曲線であり、Ａｃは、０．８６６ラジアン程度の値であり、Ｎｃは、２５ｍｍ程度の値である。
【００２８】
【数４】
【００２９】
停留フラグ時系列記憶手段３は、既に説明したように、停留フラグの時系列を記憶する手段である。変位ラベル時系列記憶手段４は、既に説明したように、変位ラベルの時系列を記憶する手段である。三次元位置ベクトル時系列記憶手段５は、逐次入力される三次元位置ベクトルの時系列を記憶する手段である。状態記憶手段６は、後述する内部状態、上側状態ｓＡ、接触状態ｓＬおよび下側状態ｓＢを記憶する手段である。基準位置記憶手段７は、逐次入力される三次元位置ベクトルのＸ座標、およびＹ座標を、適宜記憶する手段である。画面基準位置記憶手段８は、後述する画面基準位置を、適宜記憶する手段である。
【００３０】
制御手段９は、前記三次元軌道解析装置において主たる処理を行う手段であって、三次元位置ベクトルが入力されるごとに、前記イベント解析手段２が出力するイベントと前記状態記憶手段６に記憶されている状態とを図２に示す状態遷移表に照合することで決定する所定の処理を実行し、同処理の結果により、「ボタンダウン」、「ボタンアップ」、「カーソル移動」のうちの１個以上のマウスイベントを出力したり、もしくは何も出力しなかったりするものである。
【００３１】
次に、制御手段９が行う処理の詳細を説明するにあたり、まず、同状態遷移表の詳細について説明する。同状態遷移表において、列１０は前記内部状態が取り得る状態であり、前記仮想タッチパッドを基準として、操作者の指先が上側にある状態に対応する上側状態ｓＡ、接触している状態に対応する接触状態ｓＬ、下側にある状態に対応する下側状態ｓＢであり、行２０は、前記イベント解析手段２が出力し得るイベントであり、前記仮想タッチパッドに垂直なベクトルを基準として、操作者の指先が上昇している運動に対応する上昇イベントｅＵ、下降している運動に対応する下降イベントｅＤ、これらのいずれでもない運動に対応する空イベントｅＮである。また、Ｐ００、Ｐ０１、Ｐ０２、Ｐ１０、Ｐ１１、Ｐ１２、Ｐ２０、Ｐ２１、Ｐ２２は、それぞれの状態とイベントの組み合わせに対応する処理であり、詳細は、以下のとおりである。
【００３２】
（１）Ｐ００では、何も処理を行わない。
（２）Ｐ０１では、状態記憶手段６に状態ｓＬを記憶するとともに、インデックス（ｉ）の三次元位置ベクトル（ｘ、ｙ、ｚ）のＸ座標、およびＹ座標（ｘ、ｙ）を基準位置記憶手段７に記憶する。次に、変位ラベル時系列記憶手段４において、インデックス（ｉ）の直前にある、変位ラベルが連続してＬＤである一連の要素の先頭インデックス、および後尾インデックスをそれぞれｊ０、およびｊ１とし、インデックスｊ０の直前にある、変位ラベルが連続してＬＵである一連の要素の先頭インデックス、および後尾インデックスをそれぞれｋ０、およびｋ１とし、図４に示すように、インデックスｊ０からｊ１までの三次元位置ベクトル群から主成分分析により得られる最大固有値に対応する固有ベクトル４００、同三次元位置ベクトル群の重心４０１、および同重心４０１を通って同固有ベクトル４００に直交する平面４０２を求め、同平面４０２へのインデックスｋ０からｋ１までの三次元位置ベクトル群の投影位置４０３を求める。
【００３３】
そして、これら投影位置４０３と同重心４０１との最大距離が、所定の域値よりも小さく、かつ、停留フラグ時系列記憶手段３のインデックス（ｋ０−ｎ）からインデックス（ｋ１）までの要素のうち、いずれかの要素がＴＲＵＥであった場合には、クリック操作に対応するマウスイベントである「ボタンダウン」および「ボタンアップ」を出力する。そうでない場合には、下降イベントｅＤは、仮想タッチパッドから離れていた操作者の指が同仮想タッチパッドに接触する、ランディングと見なせるがいずれのマウスイベントも出力しない。なお、ｎ＝０．５／Ｔ程度の値であり、ｊ１＝ｉ−１である。
【００３４】
（３）Ｐ０２では、何も処理を行わない。
（４）Ｐ１０では、状態記憶手段６に状態ｓＡを記憶するとともに、画面カーソル位置（ｕ、ｖ）を画面基準位置記憶手段８に記憶する。なお、上昇イベントｅＵは、操作者の指先が仮想タッチパッドから離れる、テイクオフと見なせるがいずれのマウスイベントも出力しない。
【００３５】
（５）Ｐ１１では、変位ラベル時系列記憶手段４において、インデックス（ｉ）の直前にある、変位ラベルが連続してＬＤである一連の要素の先頭、および後尾インデックスをｊ０、およびｊ１とし、停留フラグ時系列記憶手段３のインデックス（ｊ０−ｎ）からインデックス（ｊ１）までの要素のうち、いずれかの要素がＴＲＵＥであった場合に、状態記憶手段６に状態ｓＤを記憶するとともに、マウスイベントである「ボタンダウン」を出力する。なお、ｎ＝０．５／Ｔ程度の値であり、ｊ１＝ｉ−１である。
（６）Ｐ１２では、マウスイベントである「カーソル移動」を出力する。カーソルの移動先は、数式（５）により算出される絶対位置(ｕ、ｖ)である。
【００３６】
【数５】
【００３７】
但し、数式（５）において、（ｘ、ｙ）は、インデックス（ｉ）の三次元位置ベクトル（ｘ、ｙ、ｚ）のＸ座標、およびＹ座標、（ｘＢ、ｙＢ）は、基準位置記憶手段７に記憶されている基準位置、（ｕＢ、ｖＢ）は、画面基準位置記憶手段８に記憶されている画面基準位置であり、ｓは、カーソル移動の感度を決定する値である。
【００３８】
（７）Ｐ２０では、変位ラベル時系列記憶手段４において、インデックス（ｉ）の直前にある、変位ラベルが連続してＬＵである一連の要素の先頭、および後尾インデックスをｊ０、およびｊ１とし、停留フラグ時系列記憶手段３のインデックス（ｊ０−ｎ）からインデックス（ｊ１）までの要素のうち、いずれかの要素がＴＲＵＥであった場合に、状態記憶手段６に状態ｓＬを記憶するとともに、マウスイベントである「ボタンアップ」を出力する。なお、ｎ＝０．５／Ｔ程度の値であり、ｊ１＝ｉ−１である。
（８）Ｐ２１では、何も処理を行わない。
（９）Ｐ２２では、Ｐ１２と同様に、マウスイベントである「カーソル移動」を出力する。
【００３９】
次に、本実施形態において実現されるマウスの基本操作である、ドラッグ操作およびクラッチ操作と前記各処理における出力との関係について説明する。Ｐ１１におけるボタンダウンがドラッグの開始に対応し、Ｐ２０におけるボタンアップがドラッグの終了に対応し、Ｐ２２における移動がドラッグ中の移動に対応する。Ｐ１０におけるテイクオフがクラッチの開始に対応し、Ｐ０１におけるランディングがクラッチの終了に対応する。
【００４０】
次に、図６に示すフローチャートを用いて、制御手段９による処理の詳細を説明する。まず、状態記憶手段６に状態ｓＬを記憶し（ステップＳ１）、基準位置記憶手段７に（０、０）を記憶し（ステップＳ２）、画面基準位置記憶手段８に（Ｗ／２、Ｈ／２）を記憶する（ステップＳ３）。ここで、Ｗ、およびＨは、モニタ画面の横、および縦の画素数である。
【００４１】
次に、制御手段９は、三次元位置ベクトルが入力されるまで待機する（ステップＳ４）。そして、三次元位置ベクトル入力イベントの発生に伴い、入力された三次元位置ベクトルを三次元位置ベクトル時系列記憶手段５に記憶する（ステップＳ５）。次に、イベント解析手段２によりイベント解析を行う（ステップＳ６）。
【００４２】
次に、制御手段９は、前記イベント解析手段２が出力するイベントと前記状態記憶手段６に記憶されている状態とを前記状態遷移表に照合することで決定する、Ｐ００〜Ｐ２２のいずれかの処理を行う（ステップＳ７）。そして、ステップＳ７で得られた状態を、状態記憶手段６に記憶する（ステップＳ８）とともに、ステップＳ４に戻り、上述した処理を繰り返す。
【００４３】
なお、指先位置の軌道の生成には、手首や、肘等の関節の回転運動が関与していることから、その上下動作は、必ずしも鉛直方向とはならないので、三次元位置ベクトル時系列に対して、図５に示す斜交座標系による変換を施してから処理を行ってもよい。
【００４４】
上述した実施形態によれば、三次元ポインティングデバイスからの三次元位置ベクトル時系列を、上側状態、接触状態、下側状態のいずれかの状態の下に、上昇イベント、下降イベント、空イベントのいずれかを判別し、停留解析の結果と併せて解析し、移動、クリック、ドラッグ、クラッチの４つの操作を抽出することにより、新たなジェスチャを習得することなく、既存の機器操作に伴う直感的な動作に合致したジェスチャを機器操作として認識することができ、あたかもノートＰＣのタッチパッドでカーソル操作を行っているかのような、ジェスチャによるインタフェースを実現可能とする。
【００４５】
具体的には、磁界式三次元ポインティングデバイス等から得られる三次元位置ベクトル時系列を解析することで、移動、クリック、ドラッグ、クラッチの４つの操作を抽出する。但し、ドラッグは、ボタンダウン、移動、及びボタンアップとして抽出され、クラッチは、テイクオフ、移動、ランディングとして抽出される。なお、ここでのクラッチ操作とは、例えば、ノートＰＣのタッチパッドでのカーソル移動操作の際に、タッチパッドの端まで指が移動しており、それ以上のカーソル移動ができない状況において、一旦タッチパッドから指を離し、接触させずに指を戻した後に再度タッチバッドに接触させる、という動作に対応する操作のことである。
【００４６】
また、上述した停留解析手段１、イベント解析手段２、制御手段９などによる機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００４７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００４８】
２ イベント解析手段
３ 停留フラグ時系列記憶手段
４ 変位ラベル時系列記憶手段
５ 三次元位置ベクトル時系列記憶手段
６ 状態記憶手段
７ 基準位置記憶手段
８ 画面基準位置記憶手段
９ 制御手段
【技術分野】
【０００１】
本発明は、操作者のジェスチャから得られる三次元軌道を解析することで、操作意図を抽出する動作解析装置、動作解析方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、機器の操作においてはリモコンやタッチパネルが主流であるが、リモコン等の機器を把持する煩わしさや、機器への接触が好ましくないシーンがあること等の理由で、ジェスチャによる機器操作を可能にするためのジェスチャ認識技術が数多く提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４１５３８１９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１で示されている技術には、ジェスチャを撮像した画像における所定の特徴の認識率を高めるために、操作のためのジェスチャ動作が、一般の直感的な動作と乖離する傾向にある、いわば或る種の「言語」であり、その習得に時間を要するという問題がある。
【０００５】
本発明は、このような事情を考慮してなされたものであり、その目的は、新たなジェスチャを習得することなく、既存の機器操作に伴う直感的な動作に合致したジェスチャを機器操作として認識することができる動作解析装置、動作解析方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、操作者によるジェスチャを解析する動作解析装置であって、前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析手段と、前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶手段と、前記操作者の体の一部の上向きまたは下向きの動きを解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析手段と、前記状態記憶手段に記憶された前記操作者の状態と前記イベント解析手段により検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶手段に記憶された状態を更新する制御手段とを備え、前記指定される処理は、前記停留解析手段が解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする。
【０００７】
本発明は、前記制御手段は、前記停留解析手段による前記操作者の動きの有無の解析結果と、前記状態記憶手段に記憶された前記操作者の状態と前記イベント解析手段による解析結果であるイベントとに基づいて、前記操作者の示す操作を特定することを特徴とする。
【０００８】
本発明は、前記上側状態、前記接触状態、及び前記下側状態と、前記上昇イベント、前記下降イベント、及び前記空イベントとをマトリクス状に対応付け、それぞれの組み合わせに対応付けて実行すべき処理を記憶する状態マトリクスを記憶する状態マトリクス記憶手段を更に備え、前記制御手段は、前記状態記憶手段に記憶される前記操作者の状態と前記イベント解析手段による解析結果であるイベントとを、状態マトリクス記憶手段に記憶される前記状態マトリクスに照合することで実行すべき処理を特定することを特徴とする。
【０００９】
本発明は、操作者によるジェスチャを解析する動作解析装置における動作解析方法であって、前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析ステップと、前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶ステップと、前記操作者の体の一部の上向き、または下向きの動きを解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析ステップと、前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップにより検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶ステップにより記憶された状態を更新する制御ステップとを有し、前記指定される処理は、前記停留解析ステップにより解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする。
【００１０】
本発明は、前記制御ステップは、前記停留解析ステップによる前記操作者の動きの有無の解析結果と、前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップによる解析結果であるイベントとに基づいて、前記操作者の動作の示す操作を特定することを特徴とする。
【００１１】
本発明は、前記上側状態、前記接触状態、及び前記下側状態と、前記上昇イベント、前記下降イベント、及び前記空イベントとをマトリクス状に対応付け、それぞれの組み合わせに対応付けて実行すべき処理を記憶する状態マトリクスを記憶する状態マトリクス記憶ステップを更に有し、前記制御ステップは、前記状態記憶ステップにより記憶される前記操作者の状態と前記イベント解析ステップによる解析結果であるイベントとを、状態マトリクス記憶ステップにより記憶される前記状態マトリクスに照合することで実行すべき処理を特定することを特徴とする。
【００１２】
本発明は、操作者によるジェスチャを解析する動作解析装置上のコンピュータに動作解析を行わせる動作解析プログラムであって、前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析ステップと、前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶ステップと、前記操作者の体の一部の上向き、または下向きの動きを求めるとともに、求めた変位ラベル群を解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析ステップと、前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップにより検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶ステップにより記憶された状態を更新する制御ステップとを前記コンピュータに行わせ、前記指定される処理は、前記停留解析ステップにより解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする。
【発明の効果】
【００１３】
この発明によれば、その習得に時間を要する新たなジェスチャではなく、あたかもノートＰＣ等に搭載されているタッチパッドを操作しているかのようなジェスチャにより、マウスの基本操作である、カーソル移動操作、クリック操作、ドラッグ操作、およびクラッチ操作を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態による三次元軌道解析装置の構成を示すブロック図である。
【図２】本実施形態の三次元軌道解析装置における、状態マトリックスの一例を示す概念図である。
【図３】本実施形態によるイベント解析方法を説明するための概念図である。
【図４】本実施形態において、三次元位置ベクトル群の投影位置を求める手順を説明するための概念図である。
【図５】本実施形態の変形例として、三次元位置ベクトル時系列に対する斜交座標系による変換を説明するための概念図である。
【図６】本実施形態の制御手段９による処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態を、図面を参照して説明する。
【００１６】
本発明の実施形態による三次元軌道解析装置は、三次元ポインティングデバイスが出力する三次元位置ベクトルの時系列である三次元軌道が解析対象であり、同三次元軌道の要素である三次元位置ベクトルが入力されるごとに処理を行い、同処理の結果により、マウスイベントである「ボタンダウン」、「ボタンアップ」、および「カーソル移動」を、適切なパラメターと伴に適切なパターンで出力することにより、タッチパッドによるマウスの基本操作である、カーソル移動操作、クリック操作、ドラッグ操作、およびクラッチ操作を実現するものである。ここで、三次元軌道とは、操作者がイメージしているに過ぎない実際には存在しないタッチパッドを同操作者が人差し指で操作する際の、同人差し指の指先の三次元位置ベクトルの時系列である。なお、以降の説明において、同実際には存在しないタッチパッドを仮想タッチパッドと称することとする。
【００１７】
図１は、同三次元軌道解析装置の構成を示すブロック図である。図において、同三次元軌道解析装置は、イベント解析手段２、停留フラグ時系列記憶手段３、変位ラベル時系列記憶手段４、三次元位置ベクトル時系列記憶手段５、状態記憶手段６、基準位置記憶手段７、画面基準位置記憶手段８、および制御手段９から構成されている。以下、各構成手段について説明する。なお、以降の説明において、入力された最新の三次元位置ベクトルのインデックスをｉとする。
【００１８】
イベント解析手段２は、三次元位置ベクトルが入力されるごとに停留解析処理およびイベント解析処理を行う。前者の同停留解析処理では、三次元位置ベクトルの変化の有無が判定される。具体的には、前記三次元軌道を構成する三次元位置ベクトル群｛Ｖ［ｋ］｜ｋ＝［ｉ−ｎ＋１、ｉ］｝に対して、数式（１）で定義されるＲの値を算出し、同Ｒの値が予め定めてある域値よりも大きい場合にはＴＲＵＥを、そうでない場合にはＦＡＬＳＥを、それぞれ停留フラグとして、後述する停留フラグ時系列記憶手段３のインデックス（ｉ）の要素に記憶する。
【００１９】
【数１】
【００２０】
ここで、Ｖｎは、同三次元位置ベクトル群から主成分分析により得られる最大固有値に対応する固有ベクトルである。Ｒとしては、数式（１）には依らずに、この最大固有値としてもよい。なお、ｎの値については、三次元位置ベクトル時系列のサンプリング間隔をＴ秒としたとき、ｎ＝０．３／Ｔ程度の値とすればよい。
【００２１】
後者の同イベント解析処理では、後述する上昇イベントｅＵ、下降イベントｅＤ、および空イベントｅＮのうちのいずれのイベントが生じているかを判定し、これを出力する。処理の詳細は次のとおりである。
【００２２】
十分な個数であるＮＮ個の三次元位置ベクトル群｛Ｖ［ｋ］｜ｋ＝［ｉ−ＮＮ＋１、ｉ］｝に対して、ｎ＝［ｎ０、ｎ１］の全ての値について、数式（２）で定義される、動きの速さの指標であるＮ［ｎ］、および動きの方向の指標であるＡ［ｎ］の値を算出する。
【００２３】
【数２】
【００２４】
これらの値Ｎ［ｎ］およびＡ［ｎ］が、図３に示す第一象限にある斜線領域に含まれており、かつ数式（３）で示される、動きの速度の鉛直方向の成分である全てのスカラー値の符号が同じである場合には、変位ラベルとしてＬＵを、後述する変位ラベル時系列記憶手段４のインデックス（ｉ−ｎ）からインデックス（ｉ）の全ての要素に記憶し、図３に示す第四象限にある斜線領域に含まれており、かつ数式（３）で定義される全てのスカラー値の符号が同じである場合には、変位ラベルとしてＬＤを、同全ての要素に記憶する。
【００２５】
【数３】
【００２６】
そして、インデックス（ｉ）における変位ラベルがＬＵおよびＬＤのいずれでもなく、かつ（ｉ−１）における変位ラベルがＬＵである場合に限り、上昇イベントｅＵを出力し、インデックス（ｉ）における変位ラベルがＬＵおよびＬＤのいずれでもなく、かつ（ｉ−１）における変位ラベルがＬＤである場合に限り、下降イベントｅＤを出力し、これら以外の場合には、空イベントｅＮを出力する。
【００２７】
ここで、ｎ０＝０．２／Ｔ、ｎ１＝０．５／Ｔ程度の値である。また、この斜線の境界線は、数式（４）の関数により定義される曲線であり、Ａｃは、０．８６６ラジアン程度の値であり、Ｎｃは、２５ｍｍ程度の値である。
【００２８】
【数４】
【００２９】
停留フラグ時系列記憶手段３は、既に説明したように、停留フラグの時系列を記憶する手段である。変位ラベル時系列記憶手段４は、既に説明したように、変位ラベルの時系列を記憶する手段である。三次元位置ベクトル時系列記憶手段５は、逐次入力される三次元位置ベクトルの時系列を記憶する手段である。状態記憶手段６は、後述する内部状態、上側状態ｓＡ、接触状態ｓＬおよび下側状態ｓＢを記憶する手段である。基準位置記憶手段７は、逐次入力される三次元位置ベクトルのＸ座標、およびＹ座標を、適宜記憶する手段である。画面基準位置記憶手段８は、後述する画面基準位置を、適宜記憶する手段である。
【００３０】
制御手段９は、前記三次元軌道解析装置において主たる処理を行う手段であって、三次元位置ベクトルが入力されるごとに、前記イベント解析手段２が出力するイベントと前記状態記憶手段６に記憶されている状態とを図２に示す状態遷移表に照合することで決定する所定の処理を実行し、同処理の結果により、「ボタンダウン」、「ボタンアップ」、「カーソル移動」のうちの１個以上のマウスイベントを出力したり、もしくは何も出力しなかったりするものである。
【００３１】
次に、制御手段９が行う処理の詳細を説明するにあたり、まず、同状態遷移表の詳細について説明する。同状態遷移表において、列１０は前記内部状態が取り得る状態であり、前記仮想タッチパッドを基準として、操作者の指先が上側にある状態に対応する上側状態ｓＡ、接触している状態に対応する接触状態ｓＬ、下側にある状態に対応する下側状態ｓＢであり、行２０は、前記イベント解析手段２が出力し得るイベントであり、前記仮想タッチパッドに垂直なベクトルを基準として、操作者の指先が上昇している運動に対応する上昇イベントｅＵ、下降している運動に対応する下降イベントｅＤ、これらのいずれでもない運動に対応する空イベントｅＮである。また、Ｐ００、Ｐ０１、Ｐ０２、Ｐ１０、Ｐ１１、Ｐ１２、Ｐ２０、Ｐ２１、Ｐ２２は、それぞれの状態とイベントの組み合わせに対応する処理であり、詳細は、以下のとおりである。
【００３２】
（１）Ｐ００では、何も処理を行わない。
（２）Ｐ０１では、状態記憶手段６に状態ｓＬを記憶するとともに、インデックス（ｉ）の三次元位置ベクトル（ｘ、ｙ、ｚ）のＸ座標、およびＹ座標（ｘ、ｙ）を基準位置記憶手段７に記憶する。次に、変位ラベル時系列記憶手段４において、インデックス（ｉ）の直前にある、変位ラベルが連続してＬＤである一連の要素の先頭インデックス、および後尾インデックスをそれぞれｊ０、およびｊ１とし、インデックスｊ０の直前にある、変位ラベルが連続してＬＵである一連の要素の先頭インデックス、および後尾インデックスをそれぞれｋ０、およびｋ１とし、図４に示すように、インデックスｊ０からｊ１までの三次元位置ベクトル群から主成分分析により得られる最大固有値に対応する固有ベクトル４００、同三次元位置ベクトル群の重心４０１、および同重心４０１を通って同固有ベクトル４００に直交する平面４０２を求め、同平面４０２へのインデックスｋ０からｋ１までの三次元位置ベクトル群の投影位置４０３を求める。
【００３３】
そして、これら投影位置４０３と同重心４０１との最大距離が、所定の域値よりも小さく、かつ、停留フラグ時系列記憶手段３のインデックス（ｋ０−ｎ）からインデックス（ｋ１）までの要素のうち、いずれかの要素がＴＲＵＥであった場合には、クリック操作に対応するマウスイベントである「ボタンダウン」および「ボタンアップ」を出力する。そうでない場合には、下降イベントｅＤは、仮想タッチパッドから離れていた操作者の指が同仮想タッチパッドに接触する、ランディングと見なせるがいずれのマウスイベントも出力しない。なお、ｎ＝０．５／Ｔ程度の値であり、ｊ１＝ｉ−１である。
【００３４】
（３）Ｐ０２では、何も処理を行わない。
（４）Ｐ１０では、状態記憶手段６に状態ｓＡを記憶するとともに、画面カーソル位置（ｕ、ｖ）を画面基準位置記憶手段８に記憶する。なお、上昇イベントｅＵは、操作者の指先が仮想タッチパッドから離れる、テイクオフと見なせるがいずれのマウスイベントも出力しない。
【００３５】
（５）Ｐ１１では、変位ラベル時系列記憶手段４において、インデックス（ｉ）の直前にある、変位ラベルが連続してＬＤである一連の要素の先頭、および後尾インデックスをｊ０、およびｊ１とし、停留フラグ時系列記憶手段３のインデックス（ｊ０−ｎ）からインデックス（ｊ１）までの要素のうち、いずれかの要素がＴＲＵＥであった場合に、状態記憶手段６に状態ｓＤを記憶するとともに、マウスイベントである「ボタンダウン」を出力する。なお、ｎ＝０．５／Ｔ程度の値であり、ｊ１＝ｉ−１である。
（６）Ｐ１２では、マウスイベントである「カーソル移動」を出力する。カーソルの移動先は、数式（５）により算出される絶対位置(ｕ、ｖ)である。
【００３６】
【数５】
【００３７】
但し、数式（５）において、（ｘ、ｙ）は、インデックス（ｉ）の三次元位置ベクトル（ｘ、ｙ、ｚ）のＸ座標、およびＹ座標、（ｘＢ、ｙＢ）は、基準位置記憶手段７に記憶されている基準位置、（ｕＢ、ｖＢ）は、画面基準位置記憶手段８に記憶されている画面基準位置であり、ｓは、カーソル移動の感度を決定する値である。
【００３８】
（７）Ｐ２０では、変位ラベル時系列記憶手段４において、インデックス（ｉ）の直前にある、変位ラベルが連続してＬＵである一連の要素の先頭、および後尾インデックスをｊ０、およびｊ１とし、停留フラグ時系列記憶手段３のインデックス（ｊ０−ｎ）からインデックス（ｊ１）までの要素のうち、いずれかの要素がＴＲＵＥであった場合に、状態記憶手段６に状態ｓＬを記憶するとともに、マウスイベントである「ボタンアップ」を出力する。なお、ｎ＝０．５／Ｔ程度の値であり、ｊ１＝ｉ−１である。
（８）Ｐ２１では、何も処理を行わない。
（９）Ｐ２２では、Ｐ１２と同様に、マウスイベントである「カーソル移動」を出力する。
【００３９】
次に、本実施形態において実現されるマウスの基本操作である、ドラッグ操作およびクラッチ操作と前記各処理における出力との関係について説明する。Ｐ１１におけるボタンダウンがドラッグの開始に対応し、Ｐ２０におけるボタンアップがドラッグの終了に対応し、Ｐ２２における移動がドラッグ中の移動に対応する。Ｐ１０におけるテイクオフがクラッチの開始に対応し、Ｐ０１におけるランディングがクラッチの終了に対応する。
【００４０】
次に、図６に示すフローチャートを用いて、制御手段９による処理の詳細を説明する。まず、状態記憶手段６に状態ｓＬを記憶し（ステップＳ１）、基準位置記憶手段７に（０、０）を記憶し（ステップＳ２）、画面基準位置記憶手段８に（Ｗ／２、Ｈ／２）を記憶する（ステップＳ３）。ここで、Ｗ、およびＨは、モニタ画面の横、および縦の画素数である。
【００４１】
次に、制御手段９は、三次元位置ベクトルが入力されるまで待機する（ステップＳ４）。そして、三次元位置ベクトル入力イベントの発生に伴い、入力された三次元位置ベクトルを三次元位置ベクトル時系列記憶手段５に記憶する（ステップＳ５）。次に、イベント解析手段２によりイベント解析を行う（ステップＳ６）。
【００４２】
次に、制御手段９は、前記イベント解析手段２が出力するイベントと前記状態記憶手段６に記憶されている状態とを前記状態遷移表に照合することで決定する、Ｐ００〜Ｐ２２のいずれかの処理を行う（ステップＳ７）。そして、ステップＳ７で得られた状態を、状態記憶手段６に記憶する（ステップＳ８）とともに、ステップＳ４に戻り、上述した処理を繰り返す。
【００４３】
なお、指先位置の軌道の生成には、手首や、肘等の関節の回転運動が関与していることから、その上下動作は、必ずしも鉛直方向とはならないので、三次元位置ベクトル時系列に対して、図５に示す斜交座標系による変換を施してから処理を行ってもよい。
【００４４】
上述した実施形態によれば、三次元ポインティングデバイスからの三次元位置ベクトル時系列を、上側状態、接触状態、下側状態のいずれかの状態の下に、上昇イベント、下降イベント、空イベントのいずれかを判別し、停留解析の結果と併せて解析し、移動、クリック、ドラッグ、クラッチの４つの操作を抽出することにより、新たなジェスチャを習得することなく、既存の機器操作に伴う直感的な動作に合致したジェスチャを機器操作として認識することができ、あたかもノートＰＣのタッチパッドでカーソル操作を行っているかのような、ジェスチャによるインタフェースを実現可能とする。
【００４５】
具体的には、磁界式三次元ポインティングデバイス等から得られる三次元位置ベクトル時系列を解析することで、移動、クリック、ドラッグ、クラッチの４つの操作を抽出する。但し、ドラッグは、ボタンダウン、移動、及びボタンアップとして抽出され、クラッチは、テイクオフ、移動、ランディングとして抽出される。なお、ここでのクラッチ操作とは、例えば、ノートＰＣのタッチパッドでのカーソル移動操作の際に、タッチパッドの端まで指が移動しており、それ以上のカーソル移動ができない状況において、一旦タッチパッドから指を離し、接触させずに指を戻した後に再度タッチバッドに接触させる、という動作に対応する操作のことである。
【００４６】
また、上述した停留解析手段１、イベント解析手段２、制御手段９などによる機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００４７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００４８】
２ イベント解析手段
３ 停留フラグ時系列記憶手段
４ 変位ラベル時系列記憶手段
５ 三次元位置ベクトル時系列記憶手段
６ 状態記憶手段
７ 基準位置記憶手段
８ 画面基準位置記憶手段
９ 制御手段
【特許請求の範囲】
【請求項１】
操作者によるジェスチャを解析する動作解析装置であって、
前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析手段と、
前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶手段と、
前記操作者の体の一部の上向きまたは下向きの動きを解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析手段と、
前記状態記憶手段に記憶された前記操作者の状態と前記イベント解析手段により検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶手段に記憶された状態を更新する制御手段とを備え、
前記指定される処理は、前記停留解析手段が解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする動作解析装置。
【請求項２】
前記制御手段は、
前記停留解析手段による前記操作者の動きの有無の解析結果と、前記状態記憶手段に記憶された前記操作者の状態と前記イベント解析手段による解析結果であるイベントとに基づいて、前記操作者の示す操作を特定することを特徴とする請求項１に記載の動作解析装置。
【請求項３】
前記上側状態、前記接触状態、及び前記下側状態と、前記上昇イベント、前記下降イベント、及び前記空イベントとをマトリクス状に対応付け、それぞれの組み合わせに対応付けて実行すべき処理を記憶する状態マトリクスを記憶する状態マトリクス記憶手段を更に備え、
前記制御手段は、前記状態記憶手段に記憶される前記操作者の状態と前記イベント解析手段による解析結果であるイベントとを、状態マトリクス記憶手段に記憶される前記状態マトリクスに照合することで実行すべき処理を特定することを特徴とする請求項１に記載の動作解析装置。
【請求項４】
操作者によるジェスチャを解析する動作解析装置における動作解析方法であって、
前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析ステップと、
前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶ステップと、
前記操作者の体の一部の上向き、または下向きの動きを解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析ステップと、
前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップにより検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶ステップにより記憶された状態を更新する制御ステップとを有し、
前記指定される処理は、前記停留解析ステップにより解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする動作解析方法。
【請求項５】
前記制御ステップは、
前記停留解析ステップによる前記操作者の動きの有無の解析結果と、前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップによる解析結果であるイベントとに基づいて、前記操作者の動作の示す操作を特定することを特徴とする請求項４に記載の動作解析方法。
【請求項６】
前記上側状態、前記接触状態、及び前記下側状態と、前記上昇イベント、前記下降イベント、及び前記空イベントとをマトリクス状に対応付け、それぞれの組み合わせに対応付けて実行すべき処理を記憶する状態マトリクスを記憶する状態マトリクス記憶ステップを更に有し、
前記制御ステップは、前記状態記憶ステップにより記憶される前記操作者の状態と前記イベント解析ステップによる解析結果であるイベントとを、状態マトリクス記憶ステップにより記憶される前記状態マトリクスに照合することで実行すべき処理を特定することを特徴とする請求項４に記載の動作解析方法。
【請求項７】
操作者によるジェスチャを解析する動作解析装置上のコンピュータに動作解析を行わせる動作解析プログラムであって、
前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析ステップと、
前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶ステップと、
前記操作者の体の一部の上向き、または下向きの動きを求めるとともに、求めた変位ラベル群を解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析ステップと、
前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップにより検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶ステップにより記憶された状態を更新する制御ステップとを前記コンピュータに行わせ、
前記指定される処理は、前記停留解析ステップにより解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする動作解析プログラム。
【請求項１】
操作者によるジェスチャを解析する動作解析装置であって、
前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析手段と、
前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶手段と、
前記操作者の体の一部の上向きまたは下向きの動きを解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析手段と、
前記状態記憶手段に記憶された前記操作者の状態と前記イベント解析手段により検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶手段に記憶された状態を更新する制御手段とを備え、
前記指定される処理は、前記停留解析手段が解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする動作解析装置。
【請求項２】
前記制御手段は、
前記停留解析手段による前記操作者の動きの有無の解析結果と、前記状態記憶手段に記憶された前記操作者の状態と前記イベント解析手段による解析結果であるイベントとに基づいて、前記操作者の示す操作を特定することを特徴とする請求項１に記載の動作解析装置。
【請求項３】
前記上側状態、前記接触状態、及び前記下側状態と、前記上昇イベント、前記下降イベント、及び前記空イベントとをマトリクス状に対応付け、それぞれの組み合わせに対応付けて実行すべき処理を記憶する状態マトリクスを記憶する状態マトリクス記憶手段を更に備え、
前記制御手段は、前記状態記憶手段に記憶される前記操作者の状態と前記イベント解析手段による解析結果であるイベントとを、状態マトリクス記憶手段に記憶される前記状態マトリクスに照合することで実行すべき処理を特定することを特徴とする請求項１に記載の動作解析装置。
【請求項４】
操作者によるジェスチャを解析する動作解析装置における動作解析方法であって、
前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析ステップと、
前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶ステップと、
前記操作者の体の一部の上向き、または下向きの動きを解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析ステップと、
前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップにより検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶ステップにより記憶された状態を更新する制御ステップとを有し、
前記指定される処理は、前記停留解析ステップにより解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする動作解析方法。
【請求項５】
前記制御ステップは、
前記停留解析ステップによる前記操作者の動きの有無の解析結果と、前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップによる解析結果であるイベントとに基づいて、前記操作者の動作の示す操作を特定することを特徴とする請求項４に記載の動作解析方法。
【請求項６】
前記上側状態、前記接触状態、及び前記下側状態と、前記上昇イベント、前記下降イベント、及び前記空イベントとをマトリクス状に対応付け、それぞれの組み合わせに対応付けて実行すべき処理を記憶する状態マトリクスを記憶する状態マトリクス記憶ステップを更に有し、
前記制御ステップは、前記状態記憶ステップにより記憶される前記操作者の状態と前記イベント解析ステップによる解析結果であるイベントとを、状態マトリクス記憶ステップにより記憶される前記状態マトリクスに照合することで実行すべき処理を特定することを特徴とする請求項４に記載の動作解析方法。
【請求項７】
操作者によるジェスチャを解析する動作解析装置上のコンピュータに動作解析を行わせる動作解析プログラムであって、
前記操作者によるジェスチャを三次元位置ベクトル時系列として取り込み、前記操作者の体の一部の動きの有無を解析する停留解析ステップと、
前記操作者の体の一部が上側状態、接触状態、下側状態のいずれかの状態であるかを記憶する状態記憶ステップと、
前記操作者の体の一部の上向き、または下向きの動きを求めるとともに、求めた変位ラベル群を解析することにより、上昇イベント、下降イベント、及び空イベントのいずれかのイベントを検出するイベント解析ステップと、
前記状態記憶ステップにより記憶された前記操作者の状態と前記イベント解析ステップにより検出されたイベントとに基づいて指定される処理を実行するとともに前記状態記憶ステップにより記憶された状態を更新する制御ステップとを前記コンピュータに行わせ、
前記指定される処理は、前記停留解析ステップにより解析した前記操作者の体の一部の動きの有無に基づいて実行することを特徴とする動作解析プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−３７２３（Ｐ２０１２−３７２３Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１４０９７６（Ｐ２０１０−１４０９７６）
【出願日】平成２２年６月２１日（２０１０．６．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月２１日（２０１０．６．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]