行動認識装置、行動認識方法および行動認識プログラム
【課題】人物の行動を正確に認識すること。
【解決手段】行動認識装置１００は、超音波発信機１０、超音波受信機２０ａ〜２０ｃに接続される。行動認識装置１００は、超音波発信機１０からモノＩＤと検知時間を取得する。また、行動認識装置１００は、超音波発信機１０から超音波受信機２０ａ〜２０ｃまでの距離の情報を取得する。そして、行動認識装置１００は、利用者１の身体周辺を複数の領域に分割し、利用者の手の位置が含まれる領域の推移のパターンと、利用者が利用する物体の種別から、利用者の行動を認識する。
【解決手段】行動認識装置１００は、超音波発信機１０、超音波受信機２０ａ〜２０ｃに接続される。行動認識装置１００は、超音波発信機１０からモノＩＤと検知時間を取得する。また、行動認識装置１００は、超音波発信機１０から超音波受信機２０ａ〜２０ｃまでの距離の情報を取得する。そして、行動認識装置１００は、利用者１の身体周辺を複数の領域に分割し、利用者の手の位置が含まれる領域の推移のパターンと、利用者が利用する物体の種別から、利用者の行動を認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行動認識装置等に関する。
【背景技術】
【０００２】
人物の行動を認識するための各種の技術が存在する。例えば、人物の手先に取り付けられたＲＦＩＤ（Radio Frequency Identification）リーダによって、モノに貼付されたＩＣ（integrated Circuit）タグの属性情報を読み取ることで、人物の行動を認識する技術がある。また、人体通信技術を利用して、モノに貼付されたＩＣタグの属性情報を読みとり、人物の行動を認識する技術もある。
【０００３】
しかし、モノの属性情報だけでは、モノを使って人物がどのように行動しているのかを認識することができない。例えば、モノが電話であることが属性情報に含まれている場合には、人物が電話をかけるのか、電話をポケット等に収納するのかを区別することができない。
【０００４】
これに対して、カメラで人物の画像を撮影し、撮影した画像を分析することで、人物の行動を識別する技術が存在する。この技術によれば、人物全体の動きを把握することができるため、モノを使って人物がどのように行動しているのかを認識することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２６１０９０号公報
【特許文献２】特開２００１−２３６５２０号公報
【特許文献３】特開２００６−２０９４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術では、人物の行動を正確に認識することができないという問題がある。
【０００７】
人間の行動というものは、手先の動きが僅かに異なる場合であっても、行動の種別が異なる場合がある。しかし、上記の画像を分析する技術では、人物全体の動きを分析できても、手先レベルの細かい動作の違いまで区別することは困難である。例えば、人物がカメラに背を向けている状態では、携帯電話をポケットにしまう行動と、携帯電話をかける行動とを区別することができない。また、画像を分析する技術は、カメラに写らない人物の行動を認識することができず、使用できる場所が限られる。
【０００８】
開示の技術は、上記に鑑みてなされたものであって、人物の行動を正確に認識することができる行動認識装置、行動認識方法および行動認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する行動認識装置は、領域情報記憶部、取得部、領域判定部、行動認識部を有する。領域情報記憶部は、利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶する。取得部は、利用者が利用する物体を識別する物体識別情報を取得する。領域判定部は、利用者の身体の一部の座標と領域の座標とを比較して、利用者の身体の一部を含む領域を判定する。行動認識部は、物体識別情報と前記利用者の身体の一部を含む領域の推移とを基にして、利用者の行動を認識する。
【発明の効果】
【００１０】
本願の開示する行動認識装置の一つの態様によれば、人物の行動を正確に認識することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施例にかかる行動認識システムの構成を示す図である。
【図２】図２は、超音波発信機から各超音波受信機までの距離を示す図である。
【図３】図３は、超音波発信機の構成を示す図である。
【図４】図４は、超音波受信機の構成を示す図である。
【図５】図５は、距離計算の原理を説明する図である。
【図６】図６は、行動認識装置の構成を示す図である。
【図７】図７は、身体周辺の代表的な領域を説明するための図である。
【図８】図８は、身体領域データベースが記憶する領域の座標を示す図である。
【図９】図９は、身体領域データベースのデータ構造を示す図である。
【図１０】図１０は、モノデータベースのデータ構造を示す図である。
【図１１】図１１は、イベントパターンデータベースのデータ構造を示す図である。
【図１２】図１２は、本実施例にかかる行動認識装置の処理手順を示すフローチャートである。
【図１３】図１３は、複合領域データベースのデータ構造を示す図である。
【図１４】図１４は、実施例にかかる行動認識装置を構成するコンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１２】
以下に、本願の開示する行動認識装置、行動認識方法および行動認識プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１３】
図１は、本実施例にかかる行動認識システムの構成を示す図である。図１に示すように、この行動認識システムは、超音波発信機１０、超音波受信部２０ａ〜２０ｃ、行動認識装置１００を有する。例えば、超音波受信機２０ａ〜２０ｃと行動認識装置１００とは、それぞれ有線により接続される。超音波発信機１０と行動認識装置１００とは、無線により接続される。また、超音波発信機１０は、利用者１の手首に設置される。超音波受信機２０ａ〜２０ｃは、利用者１の胸部にそれぞれ設置される。
【００１４】
超音波発信機１０は、超音波を発信する装置である。超音波発信機１０が発信する超音波は、超音波受信機２０ａ〜２０ｃによって受信される。また、超音波発信機１０は、超音波を発信するタイミングで、ＬＥＤ（Light Emitting Diode）等を発光させることで、超音波の発信時間を超音波受信機２０ａ〜２０ｃに通知する。超音波の発信時間は、超音波が発信されたタイミングに対応する。
【００１５】
また、超音波発信機１０は、モノ２に貼付されたＩＣタグ２ａから、モノ２を識別するモノＩＤ（Identification）を読み取る。超音波発信機１０は、モノＩＤの情報を行動認識装置１００に通知する。例えば、超音波発信機１０は、モノＩＤを読み取ったタイミングを契機として、超音波を周期的に発信し、ＬＥＤを周期的に発光させる。
【００１６】
超音波受信機２０ａ〜２０ｃは、超音波発信機１０から発信される超音波、およびＬＥＤの光を受け、超音波発信機１０から自超音波受信機までの距離を算出する装置である。図２は、超音波発信機から各超音波受信機までの距離を示す図である。図２に示すように、超音波発信機１０から超音波受信機２０ａまでの距離をＬ１、超音波発信機１０から超音波受信機２０ｂまでの距離をＬ２、超音波発信機１０から超音波受信機２０ｃまでの距離をＬ３とする。超音波受信機２０ａ〜２０ｃは、それぞれが算出した距離Ｌ１〜Ｌ３の情報を、行動認識装置１００に通知する。
【００１７】
行動認識装置１００は、モノＩＤ、距離Ｌ１〜Ｌ３の情報を取得して、利用者１が利用するモノと利用者の手先の位置の推移とを特定し、利用者１の行動を認識する装置である。以下において、図１に示した超音波送信機１０、超音波受信機２０ａ〜２０ｃ、行動認識装置１００の構成について順に説明する。
【００１８】
図３は、超音波発信機の構成を示す図である。図３に示すように、この超音波発信機１０は、読み取り部１１、超音波発信部１２、発光部１３、モノＩＤ通知部１４、発信タイミング制御部１５を有する。
【００１９】
読み取り部１１は、周期的に電波を送信して、所定の範囲内に含まれるＩＣタグにアクセスし、このＩＣタグに含まれるモノＩＤを読み取る装置である。また、読み取り部１１はタイマ機能を有し、モノＩＤを読み取った時間を検知時間として測定する。読み取り部１１は、モノＩＤと検知時間とを対応づけて発信タイミング制御部１５に出力する。例えば、読み取り部１１は、ＲＦＩＤリーダに対応する。
【００２０】
超音波発信部１２は、発信タイミング制御部１５の発信命令を受けた場合に、超音波を発信する装置である。例えば、超音波発信部１２は、発信命令を受けた後、一定の周期毎に超音波を発信する。
【００２１】
発光部１３は、発信タイミング制御部１５の発光命令を受けた場合に、ＬＥＤを発光させる装置である。発光部１３がＬＥＤを発光させるタイミングは、超音波発信部１２が超音波を発信するタイミングと同じタイミングである。例えば、発光部１３は、超音波発信部１２の発信タイミングに合わせて、ＬＥＤを発光させる。
【００２２】
モノＩＤ通知部１４は、発信タイミング制御部１５からモノＩＤと検知時間を取得し、モノＩＤと検知時間とを行動認識装置１００に通知する装置である。例えば、モノＩＤ通知部１４は、無線通信装置に対応する。
【００２３】
発信タイミング制御部１５は、発信命令を超音波発信部１２に出力し、発光命令を発光部１３に出力する処理部である。また、発信タイミング制御部１５は、読み取り部１１から、モノＩＤと検知時間とを受け、このモノＩＤと検知時間とをモノＩＤ通知部１４に出力する。例えば、発信タイミング制御部１５は、モノＩＤの情報を受けたことを契機として、発信命令および発光命令を出力してもよい。
【００２４】
発信タイミング制御部１５は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、発信タイミング制御部１５は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
【００２５】
次に、図１に示した超音波受信機２０ａ〜２０ｃの構成について説明する。図４は、超音波受信機の構成を示す図である。超音波受信機２０ａ〜２０ｃの構成は同じであるため、ここでは、超音波受信機２０ａの構成を示す。図４に示すように、この超音波受信機２０ａは、超音波受信部２１、受光部２２、距離計算部２３、距離通知部２４を有する。
【００２６】
超音波受信部２１は、超音波発信機１０から超音波を受信する装置である。超音波受信部２１は、超音波を受信した受信時間を距離計算部２３に出力する。受光部２２は、超音波発信機１０のＬＥＤから発光される光を受光する装置である。受光部２２は、光を受光した受光時間を距離計算部２３に出力する装置である。
【００２７】
距離計算部２３は、超音波発信機１０と自超音波受信機との距離を算出する処理部である。例えば、距離計算部２３は、受信時間と受光時間との差分を、超音波の音速で割ることで距離を算出する。距離計算部２３は、距離の情報を距離通知部２４に出力する。
【００２８】
ここで、距離計算の原理について説明する。図５は、距離計算の原理を説明する図である。図５の横軸は時間を示す。図５の信号３ａは光信号に対応し、信号３ｂは超音波信号に対応する。また、時間ｔ１は光を受光した受光時間に対応し、時間ｔ２は超音波を受信した受信時間に対応する。超音波発信機１０によって、超音波と光は同時に出力されており、光の速度は音の速度と比較して十分速いので、受光時間ｔ１は、音波が超音波発信装置１０から発信された時間と見なすことができる。このため、超音波が超音波発信機１０から超音波受信機２０ａまで到達するのに要した時間は、Δｔとなる。Δｔは、ｔ１とｔ２との差分に対応する。このΔｔを超音波の音速で割ることで、距離が求められる。
【００２９】
距離計算部２３は、例えば、ＡＳＩＣ、ＦＰＧＡ等の集積装置に対応する。また、距離計算部２３は、ＣＰＵやＭＰＵなどの電気回路に対応する。
【００３０】
超音波発信機１０から周期的に、超音波、光が出力される場合には、距離計算部２３は、周期的に距離を算出し、距離の情報を順次距離通知部２４に出力する。
【００３１】
距離通知部２４は、距離計算部２３から受ける距離の情報を、行動認識装置１００に通知する処理部である。
【００３２】
次に、図１に示した行動認識装置１００の構成について説明する。図６は、行動認識装置の構成を示す図である。図６に示すように、この行動認識装置１００は、記憶部１１０、距離情報取得部１２０、物体識別情報取得部１３０、位置情報算出部１４０、領域判定部１５０、行動認識部１６０、認識結果出力部１７０を有する。
【００３３】
記憶部１１０は、身体領域データベース１１０ａ、モノデータベース１１０ｂ、イベントパターンデータベース１１０ｃを記憶する記憶装置である。記憶部１１０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
【００３４】
身体領域データベース１１０ａは、利用者１の身体周辺の領域を複数の領域に分割した各領域の座標をそれぞれ記憶する。図７は、身体周辺の代表的な領域を説明するための図である。図７に示すように、例えば、身体領域データベース１１０ａが記憶する領域は、利用者１の耳周辺の領域４ａ、口周辺の領域４ｂ、上半身のポケット１周辺の領域４ｃ、下半身のポケット２周辺の領域４ｄ、利用者１が新聞等を閲覧する領域４ｅ等がある。また、領域４ｅに鞄が置かれる場合もある。また、身体領域データベース１１０ａが記憶する領域は、利用者１の胸部の前方領域４ｆ、利用者１の頭部の前方領域４ｇがある。
【００３５】
利用者の行動の種別によって、手先の移動ルートがある程度決まっており、手先が通過する領域は行動の種別毎に共通のものとなる。また、異なる行動の種別であっても、共通して通過する領域がある。身体領域データベース１１０ａは、このような行動の種別毎に共通で通過する領域、または、異なる種別であっても共通して手先が通過する領域をそれぞれ記憶している。このため、手先の位置を含む身体領域データベース１１０ａの領域の推移によって、利用者の行動の種別を判定することが可能となる。例えば、利用者１が電話をかける場合には、利用者の手先を含む領域は、領域４ｆ、４ｇ、４ａの順に移動する。また、利用者１が携帯電話をポケットにしまう場合には、利用者の手先を含む領域は、領域４ｆ、４ｃの順に移動する。また、利用者１が、ポケットにあるものを鞄にしまう場合には、利用者の手先を含む領域は、領域４ｃ、４ｆ、４ｅの順に移動する。
【００３６】
身体領域データベース１１０ａは、領域の座標をどのように記憶しても良いが、例えば、領域の各頂点のうち、対角関係にある頂点の座標を記憶する。図８は、身体領域データベースが記憶する領域の座標を示す図である。図８に示すように、身体領域データベース１１０ａは、領域のＡの３次元座標と、Ｂの３次元座標を記憶する。
【００３７】
このように、対角関係にある頂点の座標がわかれば、音波発信機１０が該当する領域に含まれているか否かを判定することができる。例えば、Ａの３次元座標を（ｘａ、ｙａ、ｚａ）とし、Ｂの３次元座標を（ｘｂ、ｙｂ、ｚｂ）とする。また、ここでは、ｘａ＞ｘｂ、ｙａ＞ｙｂ、ｚａ＞ｚｂとする。音波発信機１０の３次元座標（ｘ、ｙ、ｚ）が、それぞれ式（１）、（２）、（３）の関係を満たせば、音波発信機１０は該当領域に含まれることとなる。これに対して、式（１）、（２）、（３）のいずれかの関係を満たさない場合には、音波発信機１０は該当領域に含まれない。
【００３８】
ｘｂ＜ｘ＜ｘａ・・・（１）
ｙｂ＜ｙ＜ｙａ・・・（２）
ｚｂ＜ｚ＜ｚａ・・・（３）
【００３９】
なお、各３次元座標は、利用者の中心を基準とした座標となる。例えば、利用者の中心を原点０とする。利用者の中心をどのように設定しても良いが、例えば、ｚ座標が０となる位置を利用者の身長を２で割った値とし、ｘ座標が０となる位置を利用者の奥行き幅を２で割った値とし、ｙ座標が０となる位置を利用者の横幅を２で割った値とする。図７に示した原点の位置と、図８に示した原点の位置は同じである。
【００４０】
身体領域データベース１１０ａのデータ構造の一例について説明する。図９は、身体領域データベースのデータ構造を示す図である。図９に示すように、身体領域データベース１１０ａは、領域ＩＤ、座標Ａ、座標Ｂ、領域名称を対応づけて記憶する。領域ＩＤは、領域を一意に識別する情報である。座標Ａ、Ｂはそれぞれ、図８に示したように、対角関係にある領域の座標である。
【００４１】
例えば、図９の１段目では、領域ＩＤ「Ｐ０１」によって識別される利用者の「耳」の領域の座標Ａ、Ｂが座標「ｘ１、ｙ１、ｚ１」、「ｘ２、ｙ２、ｚ２」であることを示している。図９の２段目から６段目も同様に、領域ＩＤ、座標Ａ、座標Ｂ、領域名称を対応づけて記憶している。
【００４２】
モノデータベース１１０ｂは、モノＩＤとモノ名称とを対応づけて記憶する。図１０は、モノデータベースのデータ構造を示す図である。例えば、図１０の１段目では、モノＩＤ「Ｍ０１」に対応するモノ名称が「携帯電話」である旨を示している。図１０の２段目から４段目も同様に、モノＩＤ、モノ名称を対応づけて記憶している。
【００４３】
イベントパターンデータベース１１０ｃは、後述の行動認識部１６０が、利用者１の行動を認識する場合に利用するデータである。図１１は、イベントパターンデータベースのデータ構造を示す図である。図１１に示すように、イベントパターンデータベース１１０ｃは、イベントパターン、モノＩＤ、領域推移パターンを対応づけて記憶する。イベントパターンは、利用者の行動を識別する情報である。領域推移パターンは、領域の推移のパターンを、領域ＩＤを時系列に並べることで示している。例えば、利用者１の手の位置が、領域ＩＤ「Ｐ０６」の領域、領域ＩＤ「Ｐ０７」の領域、領域ＩＤ「Ｐ０１」の領域の順に推移するパターンは、図１１の１段目の領域推移パターンに該当する。イベントパターンは、モノＩＤと領域推移パターンとの組み合わせてよって特定される。
【００４４】
例えば、利用者が携帯電話をかける場合には、利用者が携帯電話を持った状態で、利用者の手先の位置を含む領域が、胸部の前方領域、頭部の前方領域、耳の領域の順に推移する。胸部の前方領域の領域ＩＤは「Ｐ０６」、頭部の前方領域の領域ＩＤは「Ｐ０７」、耳の領域ＩＤは「Ｐ０１」である。このため、図１１の１段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０６、Ｐ０７、Ｐ０１」に対応するイベントパターンは「電話をかける」となる。
【００４５】
また、利用者が携帯電話を胸ポケットに対応するポケット１にしまう場合には、利用者が携帯電話を持った状態で、利用者の手先の位置を含む領域が、胸部の前方領域、ポケット１の領域の順に推移する。例えば、胸部の前方領域の領域ＩＤは「Ｐ０６」、ポケット１の領域の領域ＩＤは「Ｐ０３」である。このため、図１１の２段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０６、Ｐ０３」に対応するイベントパターンは「電話をポケット１にしまう」となる。
【００４６】
また、利用者が携帯電話をズボンのポケットに対応するポケット２にしまう場合には、利用者が携帯電話を持った状態で、利用者の手先の位置を含む領域が、胸部の前方領域、ポケット２の領域の順に推移する。例えば、胸部の前方領域の領域ＩＤは「Ｐ０６」、ポケット２の領域の領域ＩＤは「Ｐ０４」である。このため、図１１の３段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０６、Ｐ０４」に対応するイベントパターンは「電話をポケット２にしまう」となる。
【００４７】
また、利用者が薬Ａを飲む場合には、利用者は薬Ａをもった状態で、利用者の手先の位置を含む領域が、胸部の前方領域、頭部の前方領域、口の領域の順に推移する。胸部の前方領域の領域ＩＤは「Ｐ０６」、頭部の前方領域の領域ＩＤは「Ｐ０７」、口の領域ＩＤは「Ｐ０２」である。このため、図１１の４段目に示すように、モノＩＤが薬ＡのＩＤ「Ｍ０３」、領域推移パターン「Ｐ０６、Ｐ０７、Ｐ０２」に対応するイベントパターンは「薬Ａを飲む」となる。
【００４８】
また、利用者がポケット１に入っていた電話を鞄にしまう場合には、例えば、利用者はポケット１から携帯電話をもった状態で、ポケット１の領域、胸部の前方領域、鞄が置いてあると想定される領域の順に移動する。ポケット１の領域の領域ＩＤは「Ｐ０３」、胸部の前方領域のＩＤは「Ｐ０６」であり、鞄がおいてあると想定される領域の領域ＩＤを「Ｐ０５」とする。この場合には、図１１の６段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０３、Ｐ０６、Ｐ０５」に対応するイベントパターンは「ポケット１に入っていた携帯電話を鞄にしまう」となる。
【００４９】
図６の説明に戻る。距離情報取得部１２０は、超音波受信機２０ａ〜２０ｃから、距離Ｌ１〜Ｌ３の情報を取得する装置である。距離情報取得部１２０は、距離Ｌ１〜Ｌ３の情報を位置情報算出部１４０に出力する。
【００５０】
物体識別情報取得部１３０は、超音波発信機１０からモノＩＤと検知時間とを受信する装置である。物体識別情報取得部１３０は、モノＩＤと検知時間とを行動認識部１６０に出力する。例えば、物体識別情報取得部１３０は、無線通信装置に対応する。
【００５１】
位置情報算出部１４０は、距離Ｌ１〜Ｌ３に基づいて、超音波発信機１０の位置を算出する処理部である。利用者が超音波発信機１０を手先に装着している場合には、位置情報算出部１４０が算出する位置は、利用者の手先の位置を算出していることに等しい。位置情報算出部１４０は、超音波発信機１０の位置情報を領域判定部１５０に順次出力する。
【００５２】
ここで、位置情報算出部１４０が超音波発信機１０の位置を算出する処理の一例について説明する。位置情報算出部１４０は、超音波受信機２０ａの座標を中心とした半径Ｌ１の球１、超音波受信機２０ｂの座標を中心とした半径Ｌ２の球２、超音波受信機２０ｃの座標を中心とした半径Ｌ３の球３を求める。位置情報算出部１４０は、球１〜３を求めた後に、各球１〜３の交点の３次元座標を超音波発信機１０の位置として算出する。
【００５３】
領域判定部１５０は、位置情報と、身体領域データベース１１０ａとを比較して、超音波発信機１０の位置が含まれる領域の領域ＩＤを所定の周期によって順次判定する処理部である。領域判定部１５０は、判定した領域ＩＤを行動認識部１６０に順次出力する。
【００５４】
行動認識部１６０は、超音波発信機１０の位置を含む領域の推移パターンと、モノＩＤと、イベントパターンデータベース１１０ｃとを比較して、利用者の行動を認識する処理部である。行動認識部１６０は、認識結果を認識結果出力部１７０に通知する。
【００５５】
図１１を用いて、行動認識部１６０の処理の一例について説明する。まず、行動認識部１６０は、物体識別情報取得部１３０からモノＩＤを取得し、イベントパターンを絞り込む。例えば、モノＩＤが「Ｍ０１」の場合には、イベントパターンは１段目のイベントパターンから３段目のイベントパターンとなる。
【００５６】
続いて、行動認識部１６０は、絞り込んだイベントパターンの領域推移パターンと、領域判定部１５０から順次取得する領域ＩＤの推移パターンとを比較して、利用者の行動を認識する。例えば、行動認識部１６０が、領域判定部１５０から領域ＩＤを「Ｐ０６」、「Ｐ０７」、「Ｐ０１」の順に取得した場合には、図１１の１段目の領域推移パターンにヒットする。この場合には、行動認識部１６０は、利用者の行動を「電話をかける」と認識する。
【００５７】
なお、行動認識部１６０は、モノＩＤとモノデータベース１１０ｂとを比較して、モノＩＤに対応するモノ名称を判定する。例えば、行動認識部１６０は、モノＩＤ、モノ名称、検知時間、利用者の行動を対応づけて、認識結果に格納する。
【００５８】
認識結果出力部１７０は、行動認識部１６０の認識結果を、外部装置に出力する処理部である。認識結果出力部１７０は、認識結果をディスプレイなどの表示装置に出力しても良い。なお、認識結果出力部１７０は、認識結果をログとして記憶部１１０に順次記憶しても良い。
【００５９】
なお、上記処理部１４０〜１６０は、例えば、ＡＳＩＣ、ＦＰＧＡ等の集積装置に対応する。また、上記処理部１４０〜１６０は、ＣＰＵやＭＰＵなどの電気回路に対応する。
【００６０】
次に、本実施例にかかる行動認識装置１００の処理手順について説明する。図１２は、本実施例にかかる行動認識装置の処理手順を示すフローチャートである。例えば、図１２に示す処理は、行動認識装置１００が、モノＩＤと検知時間を超音波発信機から取得したことを契機に実行される。
【００６１】
図１２に示すように、行動認識装置１００は、超音波発信機１０からモノＩＤと検知時間を取得し（ステップＳ１０１）、超音波受信機２０ａ〜２０ｃから距離の情報を取得する（ステップＳ１０２）。
【００６２】
行動認識装置１００は、手の位置を算出し（ステップＳ１０３）、手の位置と身体領域データベース１１０ａとを比較する（ステップＳ１０４）。行動認識装置１００は、手の位置が、身体領域データベース１１０ａに登録された領域に含まれない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０７に移行する。
【００６３】
一方、行動認識装置１００は、手の位置が、身体領域データベース１１０ａに登録された領域に含まれる場合には（ステップＳ１０５，Ｙｅｓ）、領域ＩＤを特定し（ステップＳ１０６）、ステップＳ１０７に移行する。
【００６４】
行動認識装置１００は、行動認識処理を実行する（ステップＳ１０７）。ステップＳ１０７において、行動認識装置１００は、超音波発信機１０の位置を含む領域の推移パターンと、モノＩＤと、イベントパターンデータベース１１０ｃとを比較して、利用者の行動を認識する。
【００６５】
行動認識装置１００は、処理を終了しない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１０１に移行する。行動認識装置１００は、処理を終了する場合には（ステップＳ１０８，Ｙｅｓ）、処理を終了する。
【００６６】
次に、本実施例にかかる行動認識装置１００の効果について説明する。行動認識装置１００は、利用者の身体周辺を複数の領域に分割し、利用者の手の位置が含まれる領域の推移のパターンと、利用者が利用する物体の種別から、利用者の行動を認識する。このため、利用者の手先レベルの細かい動作の違いを区別して、利用者の行動を正確に認識することができる。
【００６７】
また、行動認識装置１００は、利用者の手の位置の移動パターンを追跡するのではなく、ある一定の範囲をもった領域単位で、利用者の手の位置の移動パターンを追跡する。このため、利用者の手の位置の検出に高い精度は要求されず、コストを削減することもできる。例えば、利用者の手に超音波発信機１０を設置し、胸部に超音波受信機２０ａ〜２０ｃを設置し、超音波発信機１０から超音波受信機２０ａ〜２０ｃまでの超音波の到達時間に基づいて、利用者の手の位置を算出すればよい。
【００６８】
ところで、身体領域データベース１１０ａの各領域を複合した複合領域データベースを用いて、利用者の手の位置を含む領域を判定してもよい。例えば、耳の領域と口の領域とを複合し、顔周辺の領域とすることができる。図１３は、複合領域データベースのデータ構造を示す図である。例えば、複合領域データベースは、記憶部１１０に記憶される。
【００６９】
図１３に示すように、この複合領域データベースは、複合領域ＩＤ、領域ＩＤ群、領域名称を有する。複合領域ＩＤは、複合領域を識別する情報である。領域ＩＤ群は、複合領域を構成する各領域の領域ＩＤである。領域名称は、複合領域の名称である。
【００７０】
例えば、図１３の１段目の複合領域ＩＤ「ＣＰ０１」の領域は、図１１に示した領域ＩＤ「Ｐ０１」、「Ｐ０２」を複合した領域である。また、図１３の２段目の複合領域ＩＤ「ＣＰ０２」の領域は、図１１に示した領域ＩＤ「Ｐ０３」、「Ｐ０４」を複合した領域である。
【００７１】
行動認識装置１００は、複合領域データベースを利用して、利用者の行動を認識しても良い。例えば、利用者が歯ブラシをもった状態で、利用者の手の位置が、複合領域ＩＤ「ＣＰ０１」の領域を出たり入ったりしている場合には、行動認識装置１００は、利用者の行動を「歯磨き」と認識する。
【００７２】
複合領域は、各領域を組み合わせるだけで利用者周辺の複雑な領域をカバーすることができ、利用者の様々な手の動きに追従することができる。このため、行動認識装置１００は、各領域を組み合わせた複合領域を利用することで、利用者の複雑な行動を簡易的に認識することができる。
【００７３】
ところで、行動認識装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、行動認識装置１００の分散、統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、行動認識装置１００は、有線によって、超音波発信機１０と通信を行ってもよい。また、行動認識装置１００が、超音波発信機１０と超音波受信機２０ａ〜２０ｃの距離を算出するようにしてもよい。
【００７４】
また、行動認識装置１００は、既知の移動体通信端末またはＰＤＡなどの情報処理装置に、行動認識装置１００の各機能を搭載することによって実現することもできる。
【００７５】
図１４は、実施例にかかる行動認識装置を構成するコンピュータのハードウェア構成を示す図である。図１４に示すように、このコンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、超音波受信機と接続するインターフェース装置２０５と、超音波発信機と無線通信を行う無線通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、フラッシュメモリなどの記憶装置２０８とを有する。各装置２０１〜２０８は、バス２０９に接続される。
【００７６】
記憶装置２０８は、領域判定プログラム２０８ａ、行動認識プログラム２０８ｂ、領域情報２０８ｃを記憶する。
【００７７】
ＣＰＵ２０１は、記憶装置２０８に記憶された各プログラム２０８ａ、２０８ｂ、領域情報２０８ｃを読み出して、ＲＡＭ２０７に展開する。これにより、領域判定プログラム２０８ａは、領域判定プロセス２０７ａとして機能する。行動認識プログラム２０８ｂは、行動認識プロセス２０７ｂとして機能する。また、領域情報２０７ｃは、ＣＰＵ２０１が領域判定プロセス２０７ａを実行する場合に利用される。
【００７８】
領域判定プロセス２０７ａは、図６の領域判定部１５０に対応する。行動認識プロセス２０７ｂは、図６の行動認識部１６０に対応する。各プロセス２０７ａ、２０７ｂにより、ＣＰＵ２０１は、利用者の行動を認識する。
【００７９】
なお、上記のプログラム２０８ａ、２０８ｂ、領域情報２０８ｃは、必ずしも記憶装置２０８に格納されている必要はない。例えば、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラム２０８ａ、２０８ｂ、領域情報２０８ｃを、コンピュータ２００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続された記憶装置に、各プログラム２０８ａ、２０８ｂ、領域情報２０８ｃを記憶させておいてもよい。この場合、コンピュータ２００がこれらから各プログラム２０８ａ、２０８ｂ、領域情報２０８ｃを読み出して実行するようにしてもよい。
【００８０】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００８１】
（付記１）利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶する領域情報記憶部と、
前記利用者が利用する物体を識別する物体識別情報を取得する取得部と、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定する領域判定部と、
前記物体識別情報と前記領域判定部が順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する行動認識部と
を備えたことを特徴とする行動認識装置。
【００８２】
（付記２）前記領域情報記憶部は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記行動認識部は、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする付記１に記載の行動認識装置。
【００８３】
（付記３）前記音波発信機から発信された音波が、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出する位置算出部を更に有することを特徴とする付記１または２に記載の行動認識装置。
【００８４】
（付記４）コンピュータが実行する行動認識方法であって、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識することを特徴とする行動認識方法。
【００８５】
（付記５）前記記憶装置は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記コンピュータが利用者の行動を認識する際、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする付記４に記載の行動認識方法。
【００８６】
（付記６）前記コンピュータは、前記音波発信機と、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機とに接続され、前記音波発信機から発信された音波が、前記音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出することを特徴とする付記４または５に記載の行動認識方法。
【００８７】
（付記７）コンピュータに、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する処理を実行される行動認識プログラム。
【００８８】
（付記８）前記記憶装置は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記コンピュータが利用者の行動を認識する際、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする付記７に記載の行動認識プログラム。
【００８９】
（付記９）前記コンピュータは、前記音波発信機と、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機とに接続され、前記音波発信機から発信された音波が、前記音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出することを特徴とする付記７または８に記載の行動認識プログラム。
【符号の説明】
【００９０】
１０ 超音波発信機
２０ａ、２０ｂ、２０ｃ 超音波受信機
１００ 行動認識装置
【技術分野】
【０００１】
本発明は、行動認識装置等に関する。
【背景技術】
【０００２】
人物の行動を認識するための各種の技術が存在する。例えば、人物の手先に取り付けられたＲＦＩＤ（Radio Frequency Identification）リーダによって、モノに貼付されたＩＣ（integrated Circuit）タグの属性情報を読み取ることで、人物の行動を認識する技術がある。また、人体通信技術を利用して、モノに貼付されたＩＣタグの属性情報を読みとり、人物の行動を認識する技術もある。
【０００３】
しかし、モノの属性情報だけでは、モノを使って人物がどのように行動しているのかを認識することができない。例えば、モノが電話であることが属性情報に含まれている場合には、人物が電話をかけるのか、電話をポケット等に収納するのかを区別することができない。
【０００４】
これに対して、カメラで人物の画像を撮影し、撮影した画像を分析することで、人物の行動を識別する技術が存在する。この技術によれば、人物全体の動きを把握することができるため、モノを使って人物がどのように行動しているのかを認識することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２６１０９０号公報
【特許文献２】特開２００１−２３６５２０号公報
【特許文献３】特開２００６−２０９４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術では、人物の行動を正確に認識することができないという問題がある。
【０００７】
人間の行動というものは、手先の動きが僅かに異なる場合であっても、行動の種別が異なる場合がある。しかし、上記の画像を分析する技術では、人物全体の動きを分析できても、手先レベルの細かい動作の違いまで区別することは困難である。例えば、人物がカメラに背を向けている状態では、携帯電話をポケットにしまう行動と、携帯電話をかける行動とを区別することができない。また、画像を分析する技術は、カメラに写らない人物の行動を認識することができず、使用できる場所が限られる。
【０００８】
開示の技術は、上記に鑑みてなされたものであって、人物の行動を正確に認識することができる行動認識装置、行動認識方法および行動認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する行動認識装置は、領域情報記憶部、取得部、領域判定部、行動認識部を有する。領域情報記憶部は、利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶する。取得部は、利用者が利用する物体を識別する物体識別情報を取得する。領域判定部は、利用者の身体の一部の座標と領域の座標とを比較して、利用者の身体の一部を含む領域を判定する。行動認識部は、物体識別情報と前記利用者の身体の一部を含む領域の推移とを基にして、利用者の行動を認識する。
【発明の効果】
【００１０】
本願の開示する行動認識装置の一つの態様によれば、人物の行動を正確に認識することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施例にかかる行動認識システムの構成を示す図である。
【図２】図２は、超音波発信機から各超音波受信機までの距離を示す図である。
【図３】図３は、超音波発信機の構成を示す図である。
【図４】図４は、超音波受信機の構成を示す図である。
【図５】図５は、距離計算の原理を説明する図である。
【図６】図６は、行動認識装置の構成を示す図である。
【図７】図７は、身体周辺の代表的な領域を説明するための図である。
【図８】図８は、身体領域データベースが記憶する領域の座標を示す図である。
【図９】図９は、身体領域データベースのデータ構造を示す図である。
【図１０】図１０は、モノデータベースのデータ構造を示す図である。
【図１１】図１１は、イベントパターンデータベースのデータ構造を示す図である。
【図１２】図１２は、本実施例にかかる行動認識装置の処理手順を示すフローチャートである。
【図１３】図１３は、複合領域データベースのデータ構造を示す図である。
【図１４】図１４は、実施例にかかる行動認識装置を構成するコンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１２】
以下に、本願の開示する行動認識装置、行動認識方法および行動認識プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１３】
図１は、本実施例にかかる行動認識システムの構成を示す図である。図１に示すように、この行動認識システムは、超音波発信機１０、超音波受信部２０ａ〜２０ｃ、行動認識装置１００を有する。例えば、超音波受信機２０ａ〜２０ｃと行動認識装置１００とは、それぞれ有線により接続される。超音波発信機１０と行動認識装置１００とは、無線により接続される。また、超音波発信機１０は、利用者１の手首に設置される。超音波受信機２０ａ〜２０ｃは、利用者１の胸部にそれぞれ設置される。
【００１４】
超音波発信機１０は、超音波を発信する装置である。超音波発信機１０が発信する超音波は、超音波受信機２０ａ〜２０ｃによって受信される。また、超音波発信機１０は、超音波を発信するタイミングで、ＬＥＤ（Light Emitting Diode）等を発光させることで、超音波の発信時間を超音波受信機２０ａ〜２０ｃに通知する。超音波の発信時間は、超音波が発信されたタイミングに対応する。
【００１５】
また、超音波発信機１０は、モノ２に貼付されたＩＣタグ２ａから、モノ２を識別するモノＩＤ（Identification）を読み取る。超音波発信機１０は、モノＩＤの情報を行動認識装置１００に通知する。例えば、超音波発信機１０は、モノＩＤを読み取ったタイミングを契機として、超音波を周期的に発信し、ＬＥＤを周期的に発光させる。
【００１６】
超音波受信機２０ａ〜２０ｃは、超音波発信機１０から発信される超音波、およびＬＥＤの光を受け、超音波発信機１０から自超音波受信機までの距離を算出する装置である。図２は、超音波発信機から各超音波受信機までの距離を示す図である。図２に示すように、超音波発信機１０から超音波受信機２０ａまでの距離をＬ１、超音波発信機１０から超音波受信機２０ｂまでの距離をＬ２、超音波発信機１０から超音波受信機２０ｃまでの距離をＬ３とする。超音波受信機２０ａ〜２０ｃは、それぞれが算出した距離Ｌ１〜Ｌ３の情報を、行動認識装置１００に通知する。
【００１７】
行動認識装置１００は、モノＩＤ、距離Ｌ１〜Ｌ３の情報を取得して、利用者１が利用するモノと利用者の手先の位置の推移とを特定し、利用者１の行動を認識する装置である。以下において、図１に示した超音波送信機１０、超音波受信機２０ａ〜２０ｃ、行動認識装置１００の構成について順に説明する。
【００１８】
図３は、超音波発信機の構成を示す図である。図３に示すように、この超音波発信機１０は、読み取り部１１、超音波発信部１２、発光部１３、モノＩＤ通知部１４、発信タイミング制御部１５を有する。
【００１９】
読み取り部１１は、周期的に電波を送信して、所定の範囲内に含まれるＩＣタグにアクセスし、このＩＣタグに含まれるモノＩＤを読み取る装置である。また、読み取り部１１はタイマ機能を有し、モノＩＤを読み取った時間を検知時間として測定する。読み取り部１１は、モノＩＤと検知時間とを対応づけて発信タイミング制御部１５に出力する。例えば、読み取り部１１は、ＲＦＩＤリーダに対応する。
【００２０】
超音波発信部１２は、発信タイミング制御部１５の発信命令を受けた場合に、超音波を発信する装置である。例えば、超音波発信部１２は、発信命令を受けた後、一定の周期毎に超音波を発信する。
【００２１】
発光部１３は、発信タイミング制御部１５の発光命令を受けた場合に、ＬＥＤを発光させる装置である。発光部１３がＬＥＤを発光させるタイミングは、超音波発信部１２が超音波を発信するタイミングと同じタイミングである。例えば、発光部１３は、超音波発信部１２の発信タイミングに合わせて、ＬＥＤを発光させる。
【００２２】
モノＩＤ通知部１４は、発信タイミング制御部１５からモノＩＤと検知時間を取得し、モノＩＤと検知時間とを行動認識装置１００に通知する装置である。例えば、モノＩＤ通知部１４は、無線通信装置に対応する。
【００２３】
発信タイミング制御部１５は、発信命令を超音波発信部１２に出力し、発光命令を発光部１３に出力する処理部である。また、発信タイミング制御部１５は、読み取り部１１から、モノＩＤと検知時間とを受け、このモノＩＤと検知時間とをモノＩＤ通知部１４に出力する。例えば、発信タイミング制御部１５は、モノＩＤの情報を受けたことを契機として、発信命令および発光命令を出力してもよい。
【００２４】
発信タイミング制御部１５は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、発信タイミング制御部１５は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
【００２５】
次に、図１に示した超音波受信機２０ａ〜２０ｃの構成について説明する。図４は、超音波受信機の構成を示す図である。超音波受信機２０ａ〜２０ｃの構成は同じであるため、ここでは、超音波受信機２０ａの構成を示す。図４に示すように、この超音波受信機２０ａは、超音波受信部２１、受光部２２、距離計算部２３、距離通知部２４を有する。
【００２６】
超音波受信部２１は、超音波発信機１０から超音波を受信する装置である。超音波受信部２１は、超音波を受信した受信時間を距離計算部２３に出力する。受光部２２は、超音波発信機１０のＬＥＤから発光される光を受光する装置である。受光部２２は、光を受光した受光時間を距離計算部２３に出力する装置である。
【００２７】
距離計算部２３は、超音波発信機１０と自超音波受信機との距離を算出する処理部である。例えば、距離計算部２３は、受信時間と受光時間との差分を、超音波の音速で割ることで距離を算出する。距離計算部２３は、距離の情報を距離通知部２４に出力する。
【００２８】
ここで、距離計算の原理について説明する。図５は、距離計算の原理を説明する図である。図５の横軸は時間を示す。図５の信号３ａは光信号に対応し、信号３ｂは超音波信号に対応する。また、時間ｔ１は光を受光した受光時間に対応し、時間ｔ２は超音波を受信した受信時間に対応する。超音波発信機１０によって、超音波と光は同時に出力されており、光の速度は音の速度と比較して十分速いので、受光時間ｔ１は、音波が超音波発信装置１０から発信された時間と見なすことができる。このため、超音波が超音波発信機１０から超音波受信機２０ａまで到達するのに要した時間は、Δｔとなる。Δｔは、ｔ１とｔ２との差分に対応する。このΔｔを超音波の音速で割ることで、距離が求められる。
【００２９】
距離計算部２３は、例えば、ＡＳＩＣ、ＦＰＧＡ等の集積装置に対応する。また、距離計算部２３は、ＣＰＵやＭＰＵなどの電気回路に対応する。
【００３０】
超音波発信機１０から周期的に、超音波、光が出力される場合には、距離計算部２３は、周期的に距離を算出し、距離の情報を順次距離通知部２４に出力する。
【００３１】
距離通知部２４は、距離計算部２３から受ける距離の情報を、行動認識装置１００に通知する処理部である。
【００３２】
次に、図１に示した行動認識装置１００の構成について説明する。図６は、行動認識装置の構成を示す図である。図６に示すように、この行動認識装置１００は、記憶部１１０、距離情報取得部１２０、物体識別情報取得部１３０、位置情報算出部１４０、領域判定部１５０、行動認識部１６０、認識結果出力部１７０を有する。
【００３３】
記憶部１１０は、身体領域データベース１１０ａ、モノデータベース１１０ｂ、イベントパターンデータベース１１０ｃを記憶する記憶装置である。記憶部１１０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
【００３４】
身体領域データベース１１０ａは、利用者１の身体周辺の領域を複数の領域に分割した各領域の座標をそれぞれ記憶する。図７は、身体周辺の代表的な領域を説明するための図である。図７に示すように、例えば、身体領域データベース１１０ａが記憶する領域は、利用者１の耳周辺の領域４ａ、口周辺の領域４ｂ、上半身のポケット１周辺の領域４ｃ、下半身のポケット２周辺の領域４ｄ、利用者１が新聞等を閲覧する領域４ｅ等がある。また、領域４ｅに鞄が置かれる場合もある。また、身体領域データベース１１０ａが記憶する領域は、利用者１の胸部の前方領域４ｆ、利用者１の頭部の前方領域４ｇがある。
【００３５】
利用者の行動の種別によって、手先の移動ルートがある程度決まっており、手先が通過する領域は行動の種別毎に共通のものとなる。また、異なる行動の種別であっても、共通して通過する領域がある。身体領域データベース１１０ａは、このような行動の種別毎に共通で通過する領域、または、異なる種別であっても共通して手先が通過する領域をそれぞれ記憶している。このため、手先の位置を含む身体領域データベース１１０ａの領域の推移によって、利用者の行動の種別を判定することが可能となる。例えば、利用者１が電話をかける場合には、利用者の手先を含む領域は、領域４ｆ、４ｇ、４ａの順に移動する。また、利用者１が携帯電話をポケットにしまう場合には、利用者の手先を含む領域は、領域４ｆ、４ｃの順に移動する。また、利用者１が、ポケットにあるものを鞄にしまう場合には、利用者の手先を含む領域は、領域４ｃ、４ｆ、４ｅの順に移動する。
【００３６】
身体領域データベース１１０ａは、領域の座標をどのように記憶しても良いが、例えば、領域の各頂点のうち、対角関係にある頂点の座標を記憶する。図８は、身体領域データベースが記憶する領域の座標を示す図である。図８に示すように、身体領域データベース１１０ａは、領域のＡの３次元座標と、Ｂの３次元座標を記憶する。
【００３７】
このように、対角関係にある頂点の座標がわかれば、音波発信機１０が該当する領域に含まれているか否かを判定することができる。例えば、Ａの３次元座標を（ｘａ、ｙａ、ｚａ）とし、Ｂの３次元座標を（ｘｂ、ｙｂ、ｚｂ）とする。また、ここでは、ｘａ＞ｘｂ、ｙａ＞ｙｂ、ｚａ＞ｚｂとする。音波発信機１０の３次元座標（ｘ、ｙ、ｚ）が、それぞれ式（１）、（２）、（３）の関係を満たせば、音波発信機１０は該当領域に含まれることとなる。これに対して、式（１）、（２）、（３）のいずれかの関係を満たさない場合には、音波発信機１０は該当領域に含まれない。
【００３８】
ｘｂ＜ｘ＜ｘａ・・・（１）
ｙｂ＜ｙ＜ｙａ・・・（２）
ｚｂ＜ｚ＜ｚａ・・・（３）
【００３９】
なお、各３次元座標は、利用者の中心を基準とした座標となる。例えば、利用者の中心を原点０とする。利用者の中心をどのように設定しても良いが、例えば、ｚ座標が０となる位置を利用者の身長を２で割った値とし、ｘ座標が０となる位置を利用者の奥行き幅を２で割った値とし、ｙ座標が０となる位置を利用者の横幅を２で割った値とする。図７に示した原点の位置と、図８に示した原点の位置は同じである。
【００４０】
身体領域データベース１１０ａのデータ構造の一例について説明する。図９は、身体領域データベースのデータ構造を示す図である。図９に示すように、身体領域データベース１１０ａは、領域ＩＤ、座標Ａ、座標Ｂ、領域名称を対応づけて記憶する。領域ＩＤは、領域を一意に識別する情報である。座標Ａ、Ｂはそれぞれ、図８に示したように、対角関係にある領域の座標である。
【００４１】
例えば、図９の１段目では、領域ＩＤ「Ｐ０１」によって識別される利用者の「耳」の領域の座標Ａ、Ｂが座標「ｘ１、ｙ１、ｚ１」、「ｘ２、ｙ２、ｚ２」であることを示している。図９の２段目から６段目も同様に、領域ＩＤ、座標Ａ、座標Ｂ、領域名称を対応づけて記憶している。
【００４２】
モノデータベース１１０ｂは、モノＩＤとモノ名称とを対応づけて記憶する。図１０は、モノデータベースのデータ構造を示す図である。例えば、図１０の１段目では、モノＩＤ「Ｍ０１」に対応するモノ名称が「携帯電話」である旨を示している。図１０の２段目から４段目も同様に、モノＩＤ、モノ名称を対応づけて記憶している。
【００４３】
イベントパターンデータベース１１０ｃは、後述の行動認識部１６０が、利用者１の行動を認識する場合に利用するデータである。図１１は、イベントパターンデータベースのデータ構造を示す図である。図１１に示すように、イベントパターンデータベース１１０ｃは、イベントパターン、モノＩＤ、領域推移パターンを対応づけて記憶する。イベントパターンは、利用者の行動を識別する情報である。領域推移パターンは、領域の推移のパターンを、領域ＩＤを時系列に並べることで示している。例えば、利用者１の手の位置が、領域ＩＤ「Ｐ０６」の領域、領域ＩＤ「Ｐ０７」の領域、領域ＩＤ「Ｐ０１」の領域の順に推移するパターンは、図１１の１段目の領域推移パターンに該当する。イベントパターンは、モノＩＤと領域推移パターンとの組み合わせてよって特定される。
【００４４】
例えば、利用者が携帯電話をかける場合には、利用者が携帯電話を持った状態で、利用者の手先の位置を含む領域が、胸部の前方領域、頭部の前方領域、耳の領域の順に推移する。胸部の前方領域の領域ＩＤは「Ｐ０６」、頭部の前方領域の領域ＩＤは「Ｐ０７」、耳の領域ＩＤは「Ｐ０１」である。このため、図１１の１段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０６、Ｐ０７、Ｐ０１」に対応するイベントパターンは「電話をかける」となる。
【００４５】
また、利用者が携帯電話を胸ポケットに対応するポケット１にしまう場合には、利用者が携帯電話を持った状態で、利用者の手先の位置を含む領域が、胸部の前方領域、ポケット１の領域の順に推移する。例えば、胸部の前方領域の領域ＩＤは「Ｐ０６」、ポケット１の領域の領域ＩＤは「Ｐ０３」である。このため、図１１の２段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０６、Ｐ０３」に対応するイベントパターンは「電話をポケット１にしまう」となる。
【００４６】
また、利用者が携帯電話をズボンのポケットに対応するポケット２にしまう場合には、利用者が携帯電話を持った状態で、利用者の手先の位置を含む領域が、胸部の前方領域、ポケット２の領域の順に推移する。例えば、胸部の前方領域の領域ＩＤは「Ｐ０６」、ポケット２の領域の領域ＩＤは「Ｐ０４」である。このため、図１１の３段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０６、Ｐ０４」に対応するイベントパターンは「電話をポケット２にしまう」となる。
【００４７】
また、利用者が薬Ａを飲む場合には、利用者は薬Ａをもった状態で、利用者の手先の位置を含む領域が、胸部の前方領域、頭部の前方領域、口の領域の順に推移する。胸部の前方領域の領域ＩＤは「Ｐ０６」、頭部の前方領域の領域ＩＤは「Ｐ０７」、口の領域ＩＤは「Ｐ０２」である。このため、図１１の４段目に示すように、モノＩＤが薬ＡのＩＤ「Ｍ０３」、領域推移パターン「Ｐ０６、Ｐ０７、Ｐ０２」に対応するイベントパターンは「薬Ａを飲む」となる。
【００４８】
また、利用者がポケット１に入っていた電話を鞄にしまう場合には、例えば、利用者はポケット１から携帯電話をもった状態で、ポケット１の領域、胸部の前方領域、鞄が置いてあると想定される領域の順に移動する。ポケット１の領域の領域ＩＤは「Ｐ０３」、胸部の前方領域のＩＤは「Ｐ０６」であり、鞄がおいてあると想定される領域の領域ＩＤを「Ｐ０５」とする。この場合には、図１１の６段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０３、Ｐ０６、Ｐ０５」に対応するイベントパターンは「ポケット１に入っていた携帯電話を鞄にしまう」となる。
【００４９】
図６の説明に戻る。距離情報取得部１２０は、超音波受信機２０ａ〜２０ｃから、距離Ｌ１〜Ｌ３の情報を取得する装置である。距離情報取得部１２０は、距離Ｌ１〜Ｌ３の情報を位置情報算出部１４０に出力する。
【００５０】
物体識別情報取得部１３０は、超音波発信機１０からモノＩＤと検知時間とを受信する装置である。物体識別情報取得部１３０は、モノＩＤと検知時間とを行動認識部１６０に出力する。例えば、物体識別情報取得部１３０は、無線通信装置に対応する。
【００５１】
位置情報算出部１４０は、距離Ｌ１〜Ｌ３に基づいて、超音波発信機１０の位置を算出する処理部である。利用者が超音波発信機１０を手先に装着している場合には、位置情報算出部１４０が算出する位置は、利用者の手先の位置を算出していることに等しい。位置情報算出部１４０は、超音波発信機１０の位置情報を領域判定部１５０に順次出力する。
【００５２】
ここで、位置情報算出部１４０が超音波発信機１０の位置を算出する処理の一例について説明する。位置情報算出部１４０は、超音波受信機２０ａの座標を中心とした半径Ｌ１の球１、超音波受信機２０ｂの座標を中心とした半径Ｌ２の球２、超音波受信機２０ｃの座標を中心とした半径Ｌ３の球３を求める。位置情報算出部１４０は、球１〜３を求めた後に、各球１〜３の交点の３次元座標を超音波発信機１０の位置として算出する。
【００５３】
領域判定部１５０は、位置情報と、身体領域データベース１１０ａとを比較して、超音波発信機１０の位置が含まれる領域の領域ＩＤを所定の周期によって順次判定する処理部である。領域判定部１５０は、判定した領域ＩＤを行動認識部１６０に順次出力する。
【００５４】
行動認識部１６０は、超音波発信機１０の位置を含む領域の推移パターンと、モノＩＤと、イベントパターンデータベース１１０ｃとを比較して、利用者の行動を認識する処理部である。行動認識部１６０は、認識結果を認識結果出力部１７０に通知する。
【００５５】
図１１を用いて、行動認識部１６０の処理の一例について説明する。まず、行動認識部１６０は、物体識別情報取得部１３０からモノＩＤを取得し、イベントパターンを絞り込む。例えば、モノＩＤが「Ｍ０１」の場合には、イベントパターンは１段目のイベントパターンから３段目のイベントパターンとなる。
【００５６】
続いて、行動認識部１６０は、絞り込んだイベントパターンの領域推移パターンと、領域判定部１５０から順次取得する領域ＩＤの推移パターンとを比較して、利用者の行動を認識する。例えば、行動認識部１６０が、領域判定部１５０から領域ＩＤを「Ｐ０６」、「Ｐ０７」、「Ｐ０１」の順に取得した場合には、図１１の１段目の領域推移パターンにヒットする。この場合には、行動認識部１６０は、利用者の行動を「電話をかける」と認識する。
【００５７】
なお、行動認識部１６０は、モノＩＤとモノデータベース１１０ｂとを比較して、モノＩＤに対応するモノ名称を判定する。例えば、行動認識部１６０は、モノＩＤ、モノ名称、検知時間、利用者の行動を対応づけて、認識結果に格納する。
【００５８】
認識結果出力部１７０は、行動認識部１６０の認識結果を、外部装置に出力する処理部である。認識結果出力部１７０は、認識結果をディスプレイなどの表示装置に出力しても良い。なお、認識結果出力部１７０は、認識結果をログとして記憶部１１０に順次記憶しても良い。
【００５９】
なお、上記処理部１４０〜１６０は、例えば、ＡＳＩＣ、ＦＰＧＡ等の集積装置に対応する。また、上記処理部１４０〜１６０は、ＣＰＵやＭＰＵなどの電気回路に対応する。
【００６０】
次に、本実施例にかかる行動認識装置１００の処理手順について説明する。図１２は、本実施例にかかる行動認識装置の処理手順を示すフローチャートである。例えば、図１２に示す処理は、行動認識装置１００が、モノＩＤと検知時間を超音波発信機から取得したことを契機に実行される。
【００６１】
図１２に示すように、行動認識装置１００は、超音波発信機１０からモノＩＤと検知時間を取得し（ステップＳ１０１）、超音波受信機２０ａ〜２０ｃから距離の情報を取得する（ステップＳ１０２）。
【００６２】
行動認識装置１００は、手の位置を算出し（ステップＳ１０３）、手の位置と身体領域データベース１１０ａとを比較する（ステップＳ１０４）。行動認識装置１００は、手の位置が、身体領域データベース１１０ａに登録された領域に含まれない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０７に移行する。
【００６３】
一方、行動認識装置１００は、手の位置が、身体領域データベース１１０ａに登録された領域に含まれる場合には（ステップＳ１０５，Ｙｅｓ）、領域ＩＤを特定し（ステップＳ１０６）、ステップＳ１０７に移行する。
【００６４】
行動認識装置１００は、行動認識処理を実行する（ステップＳ１０７）。ステップＳ１０７において、行動認識装置１００は、超音波発信機１０の位置を含む領域の推移パターンと、モノＩＤと、イベントパターンデータベース１１０ｃとを比較して、利用者の行動を認識する。
【００６５】
行動認識装置１００は、処理を終了しない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１０１に移行する。行動認識装置１００は、処理を終了する場合には（ステップＳ１０８，Ｙｅｓ）、処理を終了する。
【００６６】
次に、本実施例にかかる行動認識装置１００の効果について説明する。行動認識装置１００は、利用者の身体周辺を複数の領域に分割し、利用者の手の位置が含まれる領域の推移のパターンと、利用者が利用する物体の種別から、利用者の行動を認識する。このため、利用者の手先レベルの細かい動作の違いを区別して、利用者の行動を正確に認識することができる。
【００６７】
また、行動認識装置１００は、利用者の手の位置の移動パターンを追跡するのではなく、ある一定の範囲をもった領域単位で、利用者の手の位置の移動パターンを追跡する。このため、利用者の手の位置の検出に高い精度は要求されず、コストを削減することもできる。例えば、利用者の手に超音波発信機１０を設置し、胸部に超音波受信機２０ａ〜２０ｃを設置し、超音波発信機１０から超音波受信機２０ａ〜２０ｃまでの超音波の到達時間に基づいて、利用者の手の位置を算出すればよい。
【００６８】
ところで、身体領域データベース１１０ａの各領域を複合した複合領域データベースを用いて、利用者の手の位置を含む領域を判定してもよい。例えば、耳の領域と口の領域とを複合し、顔周辺の領域とすることができる。図１３は、複合領域データベースのデータ構造を示す図である。例えば、複合領域データベースは、記憶部１１０に記憶される。
【００６９】
図１３に示すように、この複合領域データベースは、複合領域ＩＤ、領域ＩＤ群、領域名称を有する。複合領域ＩＤは、複合領域を識別する情報である。領域ＩＤ群は、複合領域を構成する各領域の領域ＩＤである。領域名称は、複合領域の名称である。
【００７０】
例えば、図１３の１段目の複合領域ＩＤ「ＣＰ０１」の領域は、図１１に示した領域ＩＤ「Ｐ０１」、「Ｐ０２」を複合した領域である。また、図１３の２段目の複合領域ＩＤ「ＣＰ０２」の領域は、図１１に示した領域ＩＤ「Ｐ０３」、「Ｐ０４」を複合した領域である。
【００７１】
行動認識装置１００は、複合領域データベースを利用して、利用者の行動を認識しても良い。例えば、利用者が歯ブラシをもった状態で、利用者の手の位置が、複合領域ＩＤ「ＣＰ０１」の領域を出たり入ったりしている場合には、行動認識装置１００は、利用者の行動を「歯磨き」と認識する。
【００７２】
複合領域は、各領域を組み合わせるだけで利用者周辺の複雑な領域をカバーすることができ、利用者の様々な手の動きに追従することができる。このため、行動認識装置１００は、各領域を組み合わせた複合領域を利用することで、利用者の複雑な行動を簡易的に認識することができる。
【００７３】
ところで、行動認識装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、行動認識装置１００の分散、統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、行動認識装置１００は、有線によって、超音波発信機１０と通信を行ってもよい。また、行動認識装置１００が、超音波発信機１０と超音波受信機２０ａ〜２０ｃの距離を算出するようにしてもよい。
【００７４】
また、行動認識装置１００は、既知の移動体通信端末またはＰＤＡなどの情報処理装置に、行動認識装置１００の各機能を搭載することによって実現することもできる。
【００７５】
図１４は、実施例にかかる行動認識装置を構成するコンピュータのハードウェア構成を示す図である。図１４に示すように、このコンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、超音波受信機と接続するインターフェース装置２０５と、超音波発信機と無線通信を行う無線通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、フラッシュメモリなどの記憶装置２０８とを有する。各装置２０１〜２０８は、バス２０９に接続される。
【００７６】
記憶装置２０８は、領域判定プログラム２０８ａ、行動認識プログラム２０８ｂ、領域情報２０８ｃを記憶する。
【００７７】
ＣＰＵ２０１は、記憶装置２０８に記憶された各プログラム２０８ａ、２０８ｂ、領域情報２０８ｃを読み出して、ＲＡＭ２０７に展開する。これにより、領域判定プログラム２０８ａは、領域判定プロセス２０７ａとして機能する。行動認識プログラム２０８ｂは、行動認識プロセス２０７ｂとして機能する。また、領域情報２０７ｃは、ＣＰＵ２０１が領域判定プロセス２０７ａを実行する場合に利用される。
【００７８】
領域判定プロセス２０７ａは、図６の領域判定部１５０に対応する。行動認識プロセス２０７ｂは、図６の行動認識部１６０に対応する。各プロセス２０７ａ、２０７ｂにより、ＣＰＵ２０１は、利用者の行動を認識する。
【００７９】
なお、上記のプログラム２０８ａ、２０８ｂ、領域情報２０８ｃは、必ずしも記憶装置２０８に格納されている必要はない。例えば、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラム２０８ａ、２０８ｂ、領域情報２０８ｃを、コンピュータ２００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続された記憶装置に、各プログラム２０８ａ、２０８ｂ、領域情報２０８ｃを記憶させておいてもよい。この場合、コンピュータ２００がこれらから各プログラム２０８ａ、２０８ｂ、領域情報２０８ｃを読み出して実行するようにしてもよい。
【００８０】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００８１】
（付記１）利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶する領域情報記憶部と、
前記利用者が利用する物体を識別する物体識別情報を取得する取得部と、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定する領域判定部と、
前記物体識別情報と前記領域判定部が順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する行動認識部と
を備えたことを特徴とする行動認識装置。
【００８２】
（付記２）前記領域情報記憶部は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記行動認識部は、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする付記１に記載の行動認識装置。
【００８３】
（付記３）前記音波発信機から発信された音波が、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出する位置算出部を更に有することを特徴とする付記１または２に記載の行動認識装置。
【００８４】
（付記４）コンピュータが実行する行動認識方法であって、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識することを特徴とする行動認識方法。
【００８５】
（付記５）前記記憶装置は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記コンピュータが利用者の行動を認識する際、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする付記４に記載の行動認識方法。
【００８６】
（付記６）前記コンピュータは、前記音波発信機と、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機とに接続され、前記音波発信機から発信された音波が、前記音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出することを特徴とする付記４または５に記載の行動認識方法。
【００８７】
（付記７）コンピュータに、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する処理を実行される行動認識プログラム。
【００８８】
（付記８）前記記憶装置は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記コンピュータが利用者の行動を認識する際、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする付記７に記載の行動認識プログラム。
【００８９】
（付記９）前記コンピュータは、前記音波発信機と、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機とに接続され、前記音波発信機から発信された音波が、前記音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出することを特徴とする付記７または８に記載の行動認識プログラム。
【符号の説明】
【００９０】
１０ 超音波発信機
２０ａ、２０ｂ、２０ｃ 超音波受信機
１００ 行動認識装置
【特許請求の範囲】
【請求項１】
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶する領域情報記憶部と、
前記利用者が利用する物体を識別する物体識別情報を取得する取得部と、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定する領域判定部と、
前記物体識別情報と前記領域判定部が順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する行動認識部と
を備えたことを特徴とする行動認識装置。
【請求項２】
前記領域情報記憶部は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記行動認識部は、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする請求項１に記載の行動認識装置。
【請求項３】
前記音波発信機から発信された音波が、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出する位置算出部を更に有することを特徴とする請求項１または２に記載の行動認識装置。
【請求項４】
コンピュータが実行する行動認識方法であって、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識することを特徴とする行動認識方法。
【請求項５】
コンピュータに、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する処理を実行される行動認識プログラム。
【請求項１】
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶する領域情報記憶部と、
前記利用者が利用する物体を識別する物体識別情報を取得する取得部と、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定する領域判定部と、
前記物体識別情報と前記領域判定部が順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する行動認識部と
を備えたことを特徴とする行動認識装置。
【請求項２】
前記領域情報記憶部は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記行動認識部は、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする請求項１に記載の行動認識装置。
【請求項３】
前記音波発信機から発信された音波が、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出する位置算出部を更に有することを特徴とする請求項１または２に記載の行動認識装置。
【請求項４】
コンピュータが実行する行動認識方法であって、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識することを特徴とする行動認識方法。
【請求項５】
コンピュータに、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する処理を実行される行動認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１３０５２２（Ｐ２０１２−１３０５２２Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８５１６１（Ｐ２０１０−２８５１６１）
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]