行動推定装置
【課題】特定人物が手を使用する行動を低いコストで推定することができる行動推定装置を提供する。
【解決手段】腕輪型検出装置３と、この検出装置３に設けられたカメラを含む複数のセンサからなるセンサ群とを備える。前記センサ群のセンサデータを無線通信によって送信する無線通信部と、前記無線通信を介して受信した前記センサデータに基づいて装着者の行動を推定するホストコンピュータとを備える。前記カメラは、前記装着者の指先１ｂ側を指向して撮影するものである。
【解決手段】腕輪型検出装置３と、この検出装置３に設けられたカメラを含む複数のセンサからなるセンサ群とを備える。前記センサ群のセンサデータを無線通信によって送信する無線通信部と、前記無線通信を介して受信した前記センサデータに基づいて装着者の行動を推定するホストコンピュータとを備える。前記カメラは、前記装着者の指先１ｂ側を指向して撮影するものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定人物の行動を推定するための行動推定装置に関するものである。
【背景技術】
【０００２】
センシングデバイスを用いた研究で現在最も盛んな分野の１つは、日常行動の推定である。この日常行動の推定とは、特定の人物が現在何をしているかを決定することである。この推定が正しく行われるようになると、日常生活を行う上での支援などが可能になる。ここで、本発明の推定の対象となる行動としては、例えば「薬を飲む」、「お茶を作る」、「コーヒーを作る」、「歯磨きをする」などの主に手により行われるものである。
【０００３】
従来、人物の行動を認識するための技術は、例えば非特許文献１〜非特許文献４などに開示されている。
非特許文献１には、手首や腰などに加速度センサを装着し、この加速度センサの出力波形に基づいて「歩く」、「自転車をこぐ」、「歯を磨く」などの20種類の人物の行動を認識する技術が開示されている。
【０００４】
非特許文献２には、行動を推定する人物にマイクと加速度センサとを装着し、のこぎり引きやドリルを使用した工作作業を認識する技術が開示されている。
非特許文献３には、画像処理のアプローチから、環境（部屋の天井など）に設置したカメラで得られた人物の映像を用いて人物の動作を認識する技術が開示されている。
非特許文献４には、環境内の生活用品や物品にセンサやRFIDタグを添付し、このRFIDタグを使用して生活用品や物品の利用を検知することで行動の認識を行う技術が開示されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】L. Bao and S. S. Intille, ``Activity recognition from user-annotated acceleration data,'' Proc. PERVASIVE 2004, pp. 1--17, 2004.
【非特許文献２】P. Lukowicz, J. Ward, H. Junker, M. Stager, G. Troster, A. Atrash, and T. Starner, ``Recognizing workshop activity using body worn microphones and accelerometers,'' Proc. Pervasive 2004, pp. 18--32, 2004.
【非特許文献３】J. Yamamoto, J. Ohya, and K. Ishii, ``Recognition human action in time-sequential images using hidden markov model,'' Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 379--385, 1992.
【非特許文献４】M. Philipose, K.P. Fishkin, and M. Perkowitz, ``Inferring activities from interactions with objects,'' IEEE Pervasive computing, 3(4), pp. 50--57, 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した非特許文献１や非特許文献２に開示されている技術で認識できる行動は、その行動に含まれる音が特徴的なものや、その行動を行う際の身体の部位の動きが特徴的なもののみに限られる。これらの従来の技術で認識可能な行動は、例えば、ドリルを使う工作作業や、歩行の行動などである。これらの従来の技術では、音や手の特徴的な動作を含まない行動を認識することは難しかった。
【０００７】
また、非特許文献３に開示されているように、人物をカメラで撮影して生活行動を認識するためには、環境のさまざまな部屋に大量のカメラを設置しなければならない。このため、非特許文献３に開示されている技術で行動を認識する場合は、コストが高くなる。しかも、人物を常にカメラで撮影しておかなければならないために、プライバシーを侵害するおそれもある。
【０００８】
非特許文献４に開示されている手法を採る場合、環境内にあるさまざまな大量の物品にセンサやRFIDタグを添付しなければならない。このため、非特許文献４に開示されている技術で行動を認識するためには、コストが高くなる。また、このような行動推定は、教師信号を用いて学習により行われることが多い。この教師信号を作成するためには、環境に設置されたカメラの映像を見て行うことが多く、このため、環境に設置したカメラが必要になる。
【０００９】
本発明はこのような問題を解消するためになされたもので、特定人物が手を使用する行動を低いコストで推定することができる行動推定装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
この目的を達成するために、本発明に係る行動推定装置は、腕輪型の検出装置と、前記検出装置に設けられたカメラ、加速度センサ、照度センサ、マイク、方位センサなどの各種センサ群と、前記検出装置に設けられて前記センサ群のセンサデータを無線通信によって送信する無線通信装置と、前記無線通信を介して受信した前記センサデータに基づいて、前記検出装置を装着した装着者の行動を推定するホストコンピュータとを備えた行動推定装置であって、前記カメラは、前記装着者の指先側を指向して撮影するものである。
【発明の効果】
【００１１】
本発明においては、検出装置を装着した人物が手に持つ物品や手の周辺近傍に位置している物品などをカメラによって撮影することができる。カメラによって撮像された物品などは、カメラの撮像データに基づいて特定することができる。
【００１２】
このため、本発明によれば、前記人物が行動する上で使用している物品や、前記人物が行動を起こす動機付けとなるような物品などを判別できるから、前記人物の行動を推定することができる。また、本発明においては、行動を推定するに当たって対象となる人物に腕輪型の検出装置を装着するだけで実施できるから、環境に多数のセンサノードやカメラを設置する必要はなく、従来の技術を採る場合に較べてコストを低く抑えることができる。
したがって、本発明によれば、特定の人物が手を使用する行動を低いコストで推定することが可能な行動推定装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る行動推定装置の検出装置を手首に装着した状態を示す斜視図である。
【図２】カメラの撮像範囲を説明するための斜視図である。
【図３】本発明に係る行動推定装置の構成を示すブロック図である。
【図４】教師信号を作成するアプリケーションソフトのスクリーンショットを示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る行動推定装置の一実施例を図１〜図４によって詳細に説明する。
図１に示す手１は、行動を推定する対象となる人物のものである。以下においては、この人物を単に装着者という。この手１には、本発明に係る行動推定装置２（図３参照）の一部を構成する腕輪型検出装置３が装着されている。前記行動推定装置２は、前記腕輪型検出装置３と、この腕輪型検出装置３に無線通信によって接続されたホストコンピュータ４（図３参照）とを備えている。
【００１５】
前記腕輪型検出装置３（以下、単に検出装置３という）は、図１に示すように、装着者の手１（手首１ａより指先側の部分）を挿入可能な環状に形成された腕輪部５と、この腕輪部５に設けられた検出部ケース６と、この検出部ケース６の内部に設けられた検出装置本体７（図３参照）と、前記検出装置本体７に給電するためのバッテリー（図示せず）とから構成されている。このバッテリーは、前記腕輪部５に取付けたり、後述する検出部ケース６の内部に収納することができる。
【００１６】
前記腕輪部５は、この実施例においては円環状に形成されている。腕輪部５を形成する材料は、プラスチック、合成ゴム、金属などを使用することができる。腕輪部５は、これを装着する装着者に不快感を与えない程度で手首１ａに密着する（容易に動くことができない）ように形成することが望ましい。また、腕輪部５は、いわゆる時計バンドと同一の構造に形成することもできる。
【００１７】
図１に示す検出部ケース６は、外形がかまぼこ状を呈する形状に形成されている。なお、検出部ケース６の形状は、この実施例に示す形状に限定されることはなく、適宜変更することができる。この実施例による検出部ケース６は、平坦な端面６ａが円環状の腕輪部５の軸線方向を指向する状態で腕輪部５の外周部分に設けられている。また、この検出部ケース６は、図１および図２に示すように、前記腕輪部５を装着者の手首１ａに装着した状態で手首１ａの内側（掌側）となる位置に配置されている。図２に示す腕輪型検出装置３は、検出部ケース６の形状が異なる他は図１に示した腕輪型検出装置３と同一の構成が採られている。図２に示した検出部ケース６は、平面視長方形の板状に形成されている。
【００１８】
前記検出装置本体７は、図３に示すように、カメラ１１と、マイク１２と、加速度センサ１３などのセンサ群と、これらの電子部品に接続されたセンサデータ前処理部１４と、無線通信部１５と、データ保存部１６などによって構成されている。
前記カメラ１１は、撮影素子（図示せず）を使用して撮像データを生成可能なものであり、前記検出部ケース６の一方の端面６ａ（指先１ｂ側を指向する端面）に設けられたレンズ１７（図１参照）を通して撮影する構成が採られている。
【００１９】
すなわち、このカメラ１１は、図２に示すように、装着者の手首１ａから指先１ｂ側を指向して撮影するものである。また、このカメラ１１は、図２中に示す２本の二点鎖線で挟まれた領域内を撮影できる構成が採られている。すなわち、このカメラ１１は、装着者の掌１ｃおよび掌１ｃの周辺近傍を手首１ａ側から指に遮られることがない状態で撮影することになる。このため、装着者が手１で把持した物品（図示せず）や、装着者の手１の周辺近傍に位置している物品（図示せず）などをカメラ１１によって撮影することができる。
【００２０】
前記マイク１２は、図１に示すように、前記レンズ１７と隣接する位置に設けられている。このマイク１２は、装着者が手１で物品を把持するときに生じる音や、その物品から生じる音、装着者あるいは他の人物の音声などを録音することができるものである。
前記加速度センサ１３は、装着者の手１の移動を検出するためのものである。検出装置本体７には、加速度センサ１３の他に、例えば、装着者の手１の周辺の照度を検出するための照度センサや、手１の移動する方向を検出するための方位センサなどを装備することができる。
【００２１】
前記カメラ１１の撮像データと、マイク１２の録音データと、加速度センサ１３やその他のセンサの検出データは、センサデータ前処理部１４に送られる。この実施例においては、前記撮像データと、録音データと、各センサの検出データとによって、請求項１記載の発明でいうセンサデータが構成されている。カメラ１１やマイク１２から取得できるセンサデータは、大容量であり、また、装着者のプライバシー情報を多く含んでいる。
【００２２】
前記センサデータ前処理部１４は、上述したセンサデータのデータサイズを小さくしたり、情報量を削ることでプライバシー情報を復元不可能にしたり、圧縮したり、暗号化したりする。なお、センサデータ前処理部１４としては、これらの処理を行わない構成を採ることもできる。ここで、センサデータ前処理部１４で行われる一般的な処理について説明する。画像データは、その画像をヒストグラムなどに変換することでデータ量を削減できる。音声データや加速度データなどの波形データは、高速フーリエ変換を適用し、そのフーリエ係数のみを抽出することでデータ量を削減できる。
【００２３】
また、このセンサデータ前処理部１４は、上述したように処理したデータを無線通信部１５に送る。無線通信部１５は、無線通信（例えばWiFiなど）によりホストコンピュータ４に前記データを送信する。この実施例においては、この無線通信部１５によって本発明でいう無線通信装置が構成されている。
【００２４】
さらに、前記センサデータ前処理部１４は、処理前もしくは処理後の前記データをデータ保存部１６に送信し、そのデータをデータ保存部１６に保存させる。データ保存部１６は、受信したデータを自身の記憶領域やフラッシュメモリーカード（図示せず）などに保存する構成が採られている。なお、このデータは、後述するように教師信号の作成に用いることができる。
【００２５】
上述したカメラ１１によって撮影された映像は、教師信号の作成にも利用することができる。通常、教師信号の作成は、非特許文献４に開示されているように、環境に設置されたカメラで撮影した映像を見ながら行われる。しかし、この実施例による行動推定装置２によれば、腕輪型検出装置３のカメラ１１により撮影された撮像データを見ながら教師信号を作成することができる。教師信号の作成は、例えば、図４に示すように、カメラ１１が撮影した画像２１（映像）をディスプレイ装置（図示せず）に表示させ、この画像２１を見ながら、いつの期間にどの行動をしたかを入力することにより行う。図４において、符号２２は再生スイッチを示し、２３は一時停止スイッチ、２４は各種データ表示部を示す。
【００２６】
前記ホストコンピュータ４は、前記無線通信を介して受信したデータ（撮像データ、録音データ、各センサの検出データ）から特徴抽出を行ない、その後、装着者の行動推定を行う。この行動を推定する方法は、非特許文献１や非特許文献４に開示されているように、一般的な学習器を用いて行う。例えば、行動推定を行うに当たっては、決定木や隠れマルコフモデルなどを用いることができる。
【００２７】
このように構成された行動推定装置２においては、検出装置３を装着した人物が手で把持する物品や、手の周辺近傍に位置している物品などをカメラ１１によって撮影することができる。カメラ１１によって撮影された物品などは、カメラ１１の撮像データに基づいて特定することができる。
【００２８】
このようにカメラ１１を用いることによって、装着者が手１で持っている物品の情報（例えば色や印刷されているロゴなど）を取得できるため、音や手の特徴的な動きを含まない行動でも認識することができる。例えば、お茶を淹れる行動やコーヒーを作る行動、植物に水を与える行動などの音や動きに特徴のない行動であっても、その行動に利用されている物品の視覚的な情報を利用することで行動を認識できるようになる。
【００２９】
したがって、この実施例によれば、装着者が行動する上で使用している物品や、装着者が行動を起こす動機付けとなるような物品などを判別できるから、装着者の行動を簡単に推定することができる。また、この実施例においては、行動を推定するに当たって対象となる人物に腕輪型検出装置３を装着するだけで実施できるから、環境に多数のセンサノードやカメラを設置する必要はなく、従来の技術を採る場合に較べてコストを低く抑えることができる。
この結果、この実施例によれば、特定の人物が手を使用する行動を低いコストで推定することが可能な行動推定装置を提供することができる。
【００３０】
この実施例による前記検出装置３は、前記装着者の手首１ａに装着可能に形成され、前記カメラ１１は、前記検出装置３における前記手首１ａの内側と対応する部位に配設されている。このため、この実施例によれば、前記装着者の掌１ｃおよびその周辺近傍をカメラ１１によって撮影することができるから、装着者が持つ物品や、装着者が手１を近付けた物品などを指に遮られることがない状態で撮影することができる。
したがって、この実施例によれば、装着者の行動を推定するための物品等を確実に撮影できるから、より一層正確に前記装着者の行動を推定することができる。
【符号の説明】
【００３１】
１…手、２…行動推定装置、３…腕輪型検出装置、４…ホストコンピュータ、５…腕輪部、６…検出部ケース、７…検出装置本体、１１…カメラ、１２…マイク、１３…加速度センサ、１５…無線通信部、１６…データ保存部。
【技術分野】
【０００１】
本発明は、特定人物の行動を推定するための行動推定装置に関するものである。
【背景技術】
【０００２】
センシングデバイスを用いた研究で現在最も盛んな分野の１つは、日常行動の推定である。この日常行動の推定とは、特定の人物が現在何をしているかを決定することである。この推定が正しく行われるようになると、日常生活を行う上での支援などが可能になる。ここで、本発明の推定の対象となる行動としては、例えば「薬を飲む」、「お茶を作る」、「コーヒーを作る」、「歯磨きをする」などの主に手により行われるものである。
【０００３】
従来、人物の行動を認識するための技術は、例えば非特許文献１〜非特許文献４などに開示されている。
非特許文献１には、手首や腰などに加速度センサを装着し、この加速度センサの出力波形に基づいて「歩く」、「自転車をこぐ」、「歯を磨く」などの20種類の人物の行動を認識する技術が開示されている。
【０００４】
非特許文献２には、行動を推定する人物にマイクと加速度センサとを装着し、のこぎり引きやドリルを使用した工作作業を認識する技術が開示されている。
非特許文献３には、画像処理のアプローチから、環境（部屋の天井など）に設置したカメラで得られた人物の映像を用いて人物の動作を認識する技術が開示されている。
非特許文献４には、環境内の生活用品や物品にセンサやRFIDタグを添付し、このRFIDタグを使用して生活用品や物品の利用を検知することで行動の認識を行う技術が開示されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】L. Bao and S. S. Intille, ``Activity recognition from user-annotated acceleration data,'' Proc. PERVASIVE 2004, pp. 1--17, 2004.
【非特許文献２】P. Lukowicz, J. Ward, H. Junker, M. Stager, G. Troster, A. Atrash, and T. Starner, ``Recognizing workshop activity using body worn microphones and accelerometers,'' Proc. Pervasive 2004, pp. 18--32, 2004.
【非特許文献３】J. Yamamoto, J. Ohya, and K. Ishii, ``Recognition human action in time-sequential images using hidden markov model,'' Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 379--385, 1992.
【非特許文献４】M. Philipose, K.P. Fishkin, and M. Perkowitz, ``Inferring activities from interactions with objects,'' IEEE Pervasive computing, 3(4), pp. 50--57, 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した非特許文献１や非特許文献２に開示されている技術で認識できる行動は、その行動に含まれる音が特徴的なものや、その行動を行う際の身体の部位の動きが特徴的なもののみに限られる。これらの従来の技術で認識可能な行動は、例えば、ドリルを使う工作作業や、歩行の行動などである。これらの従来の技術では、音や手の特徴的な動作を含まない行動を認識することは難しかった。
【０００７】
また、非特許文献３に開示されているように、人物をカメラで撮影して生活行動を認識するためには、環境のさまざまな部屋に大量のカメラを設置しなければならない。このため、非特許文献３に開示されている技術で行動を認識する場合は、コストが高くなる。しかも、人物を常にカメラで撮影しておかなければならないために、プライバシーを侵害するおそれもある。
【０００８】
非特許文献４に開示されている手法を採る場合、環境内にあるさまざまな大量の物品にセンサやRFIDタグを添付しなければならない。このため、非特許文献４に開示されている技術で行動を認識するためには、コストが高くなる。また、このような行動推定は、教師信号を用いて学習により行われることが多い。この教師信号を作成するためには、環境に設置されたカメラの映像を見て行うことが多く、このため、環境に設置したカメラが必要になる。
【０００９】
本発明はこのような問題を解消するためになされたもので、特定人物が手を使用する行動を低いコストで推定することができる行動推定装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
この目的を達成するために、本発明に係る行動推定装置は、腕輪型の検出装置と、前記検出装置に設けられたカメラ、加速度センサ、照度センサ、マイク、方位センサなどの各種センサ群と、前記検出装置に設けられて前記センサ群のセンサデータを無線通信によって送信する無線通信装置と、前記無線通信を介して受信した前記センサデータに基づいて、前記検出装置を装着した装着者の行動を推定するホストコンピュータとを備えた行動推定装置であって、前記カメラは、前記装着者の指先側を指向して撮影するものである。
【発明の効果】
【００１１】
本発明においては、検出装置を装着した人物が手に持つ物品や手の周辺近傍に位置している物品などをカメラによって撮影することができる。カメラによって撮像された物品などは、カメラの撮像データに基づいて特定することができる。
【００１２】
このため、本発明によれば、前記人物が行動する上で使用している物品や、前記人物が行動を起こす動機付けとなるような物品などを判別できるから、前記人物の行動を推定することができる。また、本発明においては、行動を推定するに当たって対象となる人物に腕輪型の検出装置を装着するだけで実施できるから、環境に多数のセンサノードやカメラを設置する必要はなく、従来の技術を採る場合に較べてコストを低く抑えることができる。
したがって、本発明によれば、特定の人物が手を使用する行動を低いコストで推定することが可能な行動推定装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る行動推定装置の検出装置を手首に装着した状態を示す斜視図である。
【図２】カメラの撮像範囲を説明するための斜視図である。
【図３】本発明に係る行動推定装置の構成を示すブロック図である。
【図４】教師信号を作成するアプリケーションソフトのスクリーンショットを示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る行動推定装置の一実施例を図１〜図４によって詳細に説明する。
図１に示す手１は、行動を推定する対象となる人物のものである。以下においては、この人物を単に装着者という。この手１には、本発明に係る行動推定装置２（図３参照）の一部を構成する腕輪型検出装置３が装着されている。前記行動推定装置２は、前記腕輪型検出装置３と、この腕輪型検出装置３に無線通信によって接続されたホストコンピュータ４（図３参照）とを備えている。
【００１５】
前記腕輪型検出装置３（以下、単に検出装置３という）は、図１に示すように、装着者の手１（手首１ａより指先側の部分）を挿入可能な環状に形成された腕輪部５と、この腕輪部５に設けられた検出部ケース６と、この検出部ケース６の内部に設けられた検出装置本体７（図３参照）と、前記検出装置本体７に給電するためのバッテリー（図示せず）とから構成されている。このバッテリーは、前記腕輪部５に取付けたり、後述する検出部ケース６の内部に収納することができる。
【００１６】
前記腕輪部５は、この実施例においては円環状に形成されている。腕輪部５を形成する材料は、プラスチック、合成ゴム、金属などを使用することができる。腕輪部５は、これを装着する装着者に不快感を与えない程度で手首１ａに密着する（容易に動くことができない）ように形成することが望ましい。また、腕輪部５は、いわゆる時計バンドと同一の構造に形成することもできる。
【００１７】
図１に示す検出部ケース６は、外形がかまぼこ状を呈する形状に形成されている。なお、検出部ケース６の形状は、この実施例に示す形状に限定されることはなく、適宜変更することができる。この実施例による検出部ケース６は、平坦な端面６ａが円環状の腕輪部５の軸線方向を指向する状態で腕輪部５の外周部分に設けられている。また、この検出部ケース６は、図１および図２に示すように、前記腕輪部５を装着者の手首１ａに装着した状態で手首１ａの内側（掌側）となる位置に配置されている。図２に示す腕輪型検出装置３は、検出部ケース６の形状が異なる他は図１に示した腕輪型検出装置３と同一の構成が採られている。図２に示した検出部ケース６は、平面視長方形の板状に形成されている。
【００１８】
前記検出装置本体７は、図３に示すように、カメラ１１と、マイク１２と、加速度センサ１３などのセンサ群と、これらの電子部品に接続されたセンサデータ前処理部１４と、無線通信部１５と、データ保存部１６などによって構成されている。
前記カメラ１１は、撮影素子（図示せず）を使用して撮像データを生成可能なものであり、前記検出部ケース６の一方の端面６ａ（指先１ｂ側を指向する端面）に設けられたレンズ１７（図１参照）を通して撮影する構成が採られている。
【００１９】
すなわち、このカメラ１１は、図２に示すように、装着者の手首１ａから指先１ｂ側を指向して撮影するものである。また、このカメラ１１は、図２中に示す２本の二点鎖線で挟まれた領域内を撮影できる構成が採られている。すなわち、このカメラ１１は、装着者の掌１ｃおよび掌１ｃの周辺近傍を手首１ａ側から指に遮られることがない状態で撮影することになる。このため、装着者が手１で把持した物品（図示せず）や、装着者の手１の周辺近傍に位置している物品（図示せず）などをカメラ１１によって撮影することができる。
【００２０】
前記マイク１２は、図１に示すように、前記レンズ１７と隣接する位置に設けられている。このマイク１２は、装着者が手１で物品を把持するときに生じる音や、その物品から生じる音、装着者あるいは他の人物の音声などを録音することができるものである。
前記加速度センサ１３は、装着者の手１の移動を検出するためのものである。検出装置本体７には、加速度センサ１３の他に、例えば、装着者の手１の周辺の照度を検出するための照度センサや、手１の移動する方向を検出するための方位センサなどを装備することができる。
【００２１】
前記カメラ１１の撮像データと、マイク１２の録音データと、加速度センサ１３やその他のセンサの検出データは、センサデータ前処理部１４に送られる。この実施例においては、前記撮像データと、録音データと、各センサの検出データとによって、請求項１記載の発明でいうセンサデータが構成されている。カメラ１１やマイク１２から取得できるセンサデータは、大容量であり、また、装着者のプライバシー情報を多く含んでいる。
【００２２】
前記センサデータ前処理部１４は、上述したセンサデータのデータサイズを小さくしたり、情報量を削ることでプライバシー情報を復元不可能にしたり、圧縮したり、暗号化したりする。なお、センサデータ前処理部１４としては、これらの処理を行わない構成を採ることもできる。ここで、センサデータ前処理部１４で行われる一般的な処理について説明する。画像データは、その画像をヒストグラムなどに変換することでデータ量を削減できる。音声データや加速度データなどの波形データは、高速フーリエ変換を適用し、そのフーリエ係数のみを抽出することでデータ量を削減できる。
【００２３】
また、このセンサデータ前処理部１４は、上述したように処理したデータを無線通信部１５に送る。無線通信部１５は、無線通信（例えばWiFiなど）によりホストコンピュータ４に前記データを送信する。この実施例においては、この無線通信部１５によって本発明でいう無線通信装置が構成されている。
【００２４】
さらに、前記センサデータ前処理部１４は、処理前もしくは処理後の前記データをデータ保存部１６に送信し、そのデータをデータ保存部１６に保存させる。データ保存部１６は、受信したデータを自身の記憶領域やフラッシュメモリーカード（図示せず）などに保存する構成が採られている。なお、このデータは、後述するように教師信号の作成に用いることができる。
【００２５】
上述したカメラ１１によって撮影された映像は、教師信号の作成にも利用することができる。通常、教師信号の作成は、非特許文献４に開示されているように、環境に設置されたカメラで撮影した映像を見ながら行われる。しかし、この実施例による行動推定装置２によれば、腕輪型検出装置３のカメラ１１により撮影された撮像データを見ながら教師信号を作成することができる。教師信号の作成は、例えば、図４に示すように、カメラ１１が撮影した画像２１（映像）をディスプレイ装置（図示せず）に表示させ、この画像２１を見ながら、いつの期間にどの行動をしたかを入力することにより行う。図４において、符号２２は再生スイッチを示し、２３は一時停止スイッチ、２４は各種データ表示部を示す。
【００２６】
前記ホストコンピュータ４は、前記無線通信を介して受信したデータ（撮像データ、録音データ、各センサの検出データ）から特徴抽出を行ない、その後、装着者の行動推定を行う。この行動を推定する方法は、非特許文献１や非特許文献４に開示されているように、一般的な学習器を用いて行う。例えば、行動推定を行うに当たっては、決定木や隠れマルコフモデルなどを用いることができる。
【００２７】
このように構成された行動推定装置２においては、検出装置３を装着した人物が手で把持する物品や、手の周辺近傍に位置している物品などをカメラ１１によって撮影することができる。カメラ１１によって撮影された物品などは、カメラ１１の撮像データに基づいて特定することができる。
【００２８】
このようにカメラ１１を用いることによって、装着者が手１で持っている物品の情報（例えば色や印刷されているロゴなど）を取得できるため、音や手の特徴的な動きを含まない行動でも認識することができる。例えば、お茶を淹れる行動やコーヒーを作る行動、植物に水を与える行動などの音や動きに特徴のない行動であっても、その行動に利用されている物品の視覚的な情報を利用することで行動を認識できるようになる。
【００２９】
したがって、この実施例によれば、装着者が行動する上で使用している物品や、装着者が行動を起こす動機付けとなるような物品などを判別できるから、装着者の行動を簡単に推定することができる。また、この実施例においては、行動を推定するに当たって対象となる人物に腕輪型検出装置３を装着するだけで実施できるから、環境に多数のセンサノードやカメラを設置する必要はなく、従来の技術を採る場合に較べてコストを低く抑えることができる。
この結果、この実施例によれば、特定の人物が手を使用する行動を低いコストで推定することが可能な行動推定装置を提供することができる。
【００３０】
この実施例による前記検出装置３は、前記装着者の手首１ａに装着可能に形成され、前記カメラ１１は、前記検出装置３における前記手首１ａの内側と対応する部位に配設されている。このため、この実施例によれば、前記装着者の掌１ｃおよびその周辺近傍をカメラ１１によって撮影することができるから、装着者が持つ物品や、装着者が手１を近付けた物品などを指に遮られることがない状態で撮影することができる。
したがって、この実施例によれば、装着者の行動を推定するための物品等を確実に撮影できるから、より一層正確に前記装着者の行動を推定することができる。
【符号の説明】
【００３１】
１…手、２…行動推定装置、３…腕輪型検出装置、４…ホストコンピュータ、５…腕輪部、６…検出部ケース、７…検出装置本体、１１…カメラ、１２…マイク、１３…加速度センサ、１５…無線通信部、１６…データ保存部。
【特許請求の範囲】
【請求項１】
腕輪型の検出装置と、
前記検出装置に設けられたカメラを含む複数のセンサからなるセンサ群と、
前記検出装置に設けられて前記センサ群のセンサデータを無線通信によって送信する無線通信装置と、
前記無線通信を介して受信した前記センサデータに基づいて、前記検出装置を装着した装着者の行動を推定するホストコンピュータとを備えた行動推定装置であって、
前記カメラは、前記装着者の指先側を指向して撮像するものであることを特徴とする行動推定装置。
【請求項２】
請求項１記載の行動推定装置において、前記検出装置は、前記装着者の手首に装着可能に形成され、
前記カメラは、前記検出装置における前記手首の内側と対応する部位に配設されている行動推定装置。
【請求項１】
腕輪型の検出装置と、
前記検出装置に設けられたカメラを含む複数のセンサからなるセンサ群と、
前記検出装置に設けられて前記センサ群のセンサデータを無線通信によって送信する無線通信装置と、
前記無線通信を介して受信した前記センサデータに基づいて、前記検出装置を装着した装着者の行動を推定するホストコンピュータとを備えた行動推定装置であって、
前記カメラは、前記装着者の指先側を指向して撮像するものであることを特徴とする行動推定装置。
【請求項２】
請求項１記載の行動推定装置において、前記検出装置は、前記装着者の手首に装着可能に形成され、
前記カメラは、前記検出装置における前記手首の内側と対応する部位に配設されている行動推定装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−２７１９７８（Ｐ２０１０−２７１９７８Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２３９００（Ｐ２００９−１２３９００）
【出願日】平成２１年５月２２日（２００９．５．２２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月２２日（２００９．５．２２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]