行動情報収集システム
【課題】従来よりも高い精度で利用者が予め定めた潜在的に危険な状態にあることを判定することができる行動情報収集システムを提供する。
【解決手段】行動情報収集デバイス３は、利用者の周囲の風景の少なくとも一部を撮影して画像情報としてデータ保存部に保存する撮影部を備え、通信部３２は利用者の行動情報及び画像情報を解析用サーバ２に送信する。解析用サーバ２は行動情報及び画像情報を利用者毎に時系列で保存するデータ保存部２２と、行動情報収集デバイス３から送信されてきた少なくとも行動情報に基づいて、利用者が予め定めた潜在的に危険な状態にあることを判定するとアラーム信号を発生するアラーム信号発生部２３と、閲覧者から閲覧要求が送信されると、データ保存部２２に保存された画像情報の閲覧を前記閲覧者に許可する閲覧部２４とを備える。
【解決手段】行動情報収集デバイス３は、利用者の周囲の風景の少なくとも一部を撮影して画像情報としてデータ保存部に保存する撮影部を備え、通信部３２は利用者の行動情報及び画像情報を解析用サーバ２に送信する。解析用サーバ２は行動情報及び画像情報を利用者毎に時系列で保存するデータ保存部２２と、行動情報収集デバイス３から送信されてきた少なくとも行動情報に基づいて、利用者が予め定めた潜在的に危険な状態にあることを判定するとアラーム信号を発生するアラーム信号発生部２３と、閲覧者から閲覧要求が送信されると、データ保存部２２に保存された画像情報の閲覧を前記閲覧者に許可する閲覧部２４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の利用者の行動を監視するための情報を収集する行動情報収集システムに関するものである。
【背景技術】
【０００２】
従来、犯罪の抑止の目的で、幼稚園や学校等の施設には、監視カメラが設置されている。しかし監視カメラを利用するシステムは、映像を録画するのみで、例えば園児や小学生の親の不安を低減させるのには不十分であった。一方、非特許文献１に提案されている児童見守りシステムでは、ICタグを児童に持たせることで、児童の登下校の位置情報を親が確認することを可能としていた。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】情報通信利用促進課，“地域児童見守りシステムモデル事業 事例集”，http://www.soumu.go.jp/menu_news/s-news/2009/pdf/090109_2_sk.pdf,2009.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に記載のシステムでは、利用者の位置情報のみしか確認できず、潜在的に危険状態を検出することはできなかった。
【０００５】
本発明の目的は、従来よりも高い精度で利用者が予め定めた潜在的に危険な状態にあることを判定することができる行動情報収集システムを提供することにある。
【０００６】
本発明の別の目的は、利用者から行動情報を確実に得ることができる行動情報収集デバイスを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の行動情報収集システムでは、複数の利用者の行動情報を解析する解析用サーバと、複数の利用者にそれぞれ装着された複数の行動情報収集デバイスとから構成される。行動情報収集デバイスは、利用者の行動情報を検出する行動情報検出部と、通信ネットワークを介して解析用サーバと通信を行って利用者の行動情報を解析用サーバに送信する通信部とを備えている。また行動情報収集デバイスは、予め定めた撮影ルールに従って利用者の周囲の風景の少なくとも一部を撮影して画像情報としてデータ保存部に保存する撮影部をさらに備えており、通信部は予め定めた通信ルールに従って、利用者の行動情報及び画像情報を解析用サーバに送信するように構成されている。そして解析用サーバは、送信されてきた行動情報及び画像情報を利用者毎に時系列で保存するデータ保存部と、行動情報収集デバイスから送信されてきた少なくとも行動情報に基づいて、利用者が予め定めた潜在的に危険な状態にあることを判定するとアラーム信号を発生するアラーム信号発生部と、閲覧者から閲覧要求が送信されると、データ保存部に保存された画像情報の閲覧を閲覧者に許可する閲覧部とを備えている。
【０００８】
本発明によれば、利用者の行動情報から利用者が予め定めた潜在的に危険な状態にあることを判定するとアラーム信号が発生して対処を可能にするとともに、利用者の周囲の風景の画像情報を閲覧することが可能になるため、従来よりも、高い精度で利用者が危険な状態にあるか否かを判定することができる。
【０００９】
行動情報収集デバイスの構造は任意である。例えば、行動情報収集デバイスは、内部に少なくとも行動情報検出部と、通信部と撮影部とが収納され且つ利用者の胸の前に配置可能な形状を有する本体ケースと、本体ケースに一端が接続され他端が集結された３点固定式の３本のベルトとからなる構造を有していてもよい。３本のベルトは、本体ケースを利用者の胸に押し付けるようにそれぞれの一端の取り付け位置を定めるのが好ましい。このような構造の行動情報収集デバイスを用いれば、利用者の行動情報を的確に収集することができる。また利用者の前方の風景を確実に撮影することができる。
【００１０】
なお行動情報検出部は、例えば、加速度センサ、グローバル・ポジショニング・システム及び心拍計を備えているのが好ましい。このようなセンサを備えていれば、利用者の行動を判断するための情報の大部分を集めることができる。
【００１１】
さらに行動情報収集デバイスは、撮影部が撮影を行うときに周囲の音を集音するマイクロフォンと集音した音を録音する録音部とを更に備えていてもよい。この場合、通信部は、画像情報と組み合わせて録音部に録音した録音データを解析用サーバに送信するように構成する。そして解析用サーバは、データ保存部に画像情報及び録音データを組み合わせて保存する。閲覧部は画像情報の閲覧と同時に画像情報に同期して録音データの再生を許可するように構成するのが好ましい。画像と一緒に利用者の周囲の音を収集すれば、さらに多くの情報を集めることができ、利用者が危険な状態にあるか否かの判定精度を高めることができる。
【００１２】
マイクロフォンとして差分マイクロフォンを用いれば、非差分マイク（差分をしない普通のマイク）による録音に比べ、周囲の会話が有効に抑制される。
【００１３】
また複数の行動情報収集デバイスは、それぞれ通信ネットワークにおける中継器となる機能を有していてもよい。
【００１４】
この場合には、通信ネットワークは、利用者の想定される行動範囲内にある行動情報収集デバイスと通信可能な１以上の専用中継器を備えているのが好ましい。また予め定めた通信ルールには、アラーム信号を受信すると、撮影を行うという特定撮影ルールを含める。さらに予め定めた通信ルールには、解析用サーバに行動情報または画像情報を送信するときに、その時点で通信ネットワークを介して直接通信可能な他の行動情報収集デバイスを特定する情報を、解析用サーバに行動情報または画像情報と一緒に送信するという特定通信ルールを含める。そしてこのようにした場合には、解析用サーバのアラーム信号発生部は、アラーム信号を少なくとも潜在的に危険な状態にある利用者が装着する行動情報収集デバイス及び該行動情報収集デバイスと通信可能な他の行動情報収集デバイスに送信する。このようにすると潜在的に危険な状態にある利用者の周囲の風景画像をより多く収集することができる。特に潜在的に危険な状態にある利用者が装着する行動情報収集デバイスと通信可能な他の行動情報収集デバイスから送信されてくる画像情報には、潜在的に危険な状態にある利用者の姿が含まれている可能性があり、判断に有益な画像情報を得ることができる。
【００１５】
なお特定通信ルールは、前記その時点から遡って予め定めた期間内において通信ネットワークを介して直接通信可能であった他の行動情報収集デバイスを特定する情報を解析用サーバに送信するというルールを含んでいてもよい。この場合、解析用サーバのアラーム信号発生部は、アラーム信号を直接通信可能であった他の行動情報収集デバイスにも送信する。このようにすると潜在的に危険な状況にある利用者の近くに過去にいた利用者の行動情報収集デバイスからも画像情報を得られるので、利用価値が高いと推測される画像情報をさらに得ることができる。
【００１６】
なお前述のように直接通信可能な他の行動情報収集デバイスを特定する情報を得なくても、解析用サーバのアラーム信号発生部が、アラーム信号を複数の行動情報収集デバイスのすべてに対して通信ネットワークを介して送信するようにしてもよい。このようにしても多くの行動情報収集デバイスから画像情報を得ることができるので、判断に有益な画像情報を得ることができる。
【００１７】
また行動情報収集デバイスの通信部を、他のすべての行動情報収集デバイスと通信可能な状態にないときに、解析用サーバに専用中継器を通して、その状況を行動情報の一つとして送信するように構成することができる。この場合には、解析用サーバのアラーム信号発生部は、他のすべての行動情報収集デバイスと通信可能な状態にない状況を示す行動情報が入力されるとアラーム信号を発生するように構成する。このようにすると他の行動情報収集デバイスと通信不能な状況にある行動情報収集デバイスを装着した利用者の画像情報を入手できる可能性が出てくるため、利用者の状況判断に必要な情報を更に入出できる可能性が高くなる。
【００１８】
利用者が予め定めた潜在的に危険な状態にあると判定するための基準は、任意に定めることができる。例えば、解析用サーバのアラーム信号発生部に、ある利用者の行動情報と該利用者の周囲にいる他の利用者の行動情報とを対比して、行動情報から得られる行動モードの相違に予め定めた以上の差があるときに、利用者が予め定めた潜在的に危険な状態にあると判定する判定基準を持たせてもよい。例えば、複数人の利用者が駆けっこ遊びをしていれば、駆けっこ遊びをしているすべての利用者の行動は近似したものとなる。もし一人の利用者の行動情報だけで、潜在的に危険な状態を判断すると、このような場合において、危険な状態にあると誤った判断をする可能性がある。これに対して、前述のように他の利用者の行動情報と当該利用者の行動情報と比較して判断をすれば、誤った判断がなされる可能性が低くなる。
【００１９】
特に、行動情報に、利用者が移動する際の速度または加速度情報、利用者の位置情報及び心拍情報が含まれている場合には、アラーム信号発生部を、速度または加速度情報から利用者の行動モードが予め定めた潜在的に危険な行動モードにあると判断した後、利用者の心拍情報から利用者の心拍が他の利用者の心拍と比べて予め定めた以上の変化をしたときに、利用者が予め定めた潜在的に危険な状態にあると判定するようにしてもよい。このようにすると、心拍の変化から利用者が危険を感じて心拍を挙げている状況が発生していることを推測することができるため、誤った判断がなされる可能性がさらに低くなる。
【００２０】
またアラーム信号発生部を、行動情報収集デバイスから予め定めた時間以上送信がないときに、利用者が予め定めた潜在的に危険な状態にあると判定するように構成してもよい。このようにすると行動情報が無い場合でも、判断に必要な画像情報を得ることができる。
【００２１】
さらに行動情報検出部が、利用者が行動しているときの加速度を行動情報の一つとして検出するように構成されている場合には、アラーム信号発生部を、利用者の加速度の変化が予め定めた以上の変化であるときに、利用者が予め定めた潜在的に危険な状態にあると判定するように構成することができる。加速度の急激な変化は、利用者が危険な状況から回避する行動を取る場合に現れる現象である。したがって加速度の変化が大きい場合に、利用者が予め定めた潜在的に危険な状態にあると判定することは理にかなった判定手法である。
【００２２】
また解析用サーバは、アラーム信号発生部がアラーム信号を発生すると、利用者に対応して予め登録した連絡先の通信端末に、利用者が予め定めた潜在的に危険な状態にあることを通知する通知部を更に備えていてもよい。このようにすると利用者の保護者（親、指導者、教師等）に直ちに警告を発することができるようになる。保護者は、この通知を受けると、直ちに画像の閲覧を行い、画像により状況を確認して必要な処置を取ることができる。
【００２３】
また解析用サーバは、複数の利用者について個別に定めた危険行動モードを登録する個別危険行動モード登録部を更に備えていてもよい。この場合には、アラーム信号発生部を、利用者の行動情報から利用者について登録した危険行動モードの発生を判定するとアラーム信号を発生するように構成すればよい。このようにすると、利用者の事情に合わせた判断を行うことができる。例えば、心臓に障害のある利用者には、心拍の増加規準値を健常者の基準値よりも低いものとすることができる。
【図面の簡単な説明】
【００２４】
【図１】行動情報収集システムの実施の形態の一例の構成を示すブロック図である。
【図２】本実施の形態で用いる行動情報収集デバイスを特に子供の利用者が上半身に装着した状態を示している。
【図３】複数の行動情報収集デバイスがそれぞれ中継器となるようにメッシュ状ネットワークを構築することを示す図である。
【図４】差分マイクロフォンで録音する場合の原理を説明するために用いる図である。
【図５】行動情報収集デバイスの制御部で使用されるソフトウエアのアルゴリズムの一例を示すフローチャートである。
【図６】解析用サーバにおいて少なくともアラーム信号発生部を実現するために用いられるコンピュータにインストールされて使用されるソフトウエアのアルゴリズムの一例を示すフローチャートである。
【図７】潜在的に危険な状態にあるか否かの判定を行うためのフローチャートである。
【図８】図１の閲覧部をコンピュータを利用して実現する場合のソフトウエアのアルゴリズムの一例のフローチャートである。
【図９】一覧の表示画面の一例を示す図である。
【図１０】加速度センサから得た加速度データと心拍計から得た心拍数のデータに基づいて、行動の種類を把握する場合のアルゴリズムを示すフローチャートである。
【図１１】「室外遊び」「散歩」「食事」及び「室内遊び」のときのＹ軸加速度のスペクトログラムの一例を示す図である。
【発明を実施するための形態】
【００２５】
以下図面を参照して本発明の行動情報収集システムの実施の形態の一例を詳細に説明する。図１は、行動情報収集システムの実施の形態の一例の構成を示すブロック図である。行動情報収集システム１は、複数の利用者の行動情報を解析する解析用サーバ２と、複数の利用者にそれぞれ装着されて解析用サーバ２に通信ネットワークＮＷを介して接続される複数の行動情報収集デバイス３とから構成される。通信ネットワークＮＷには、複数の閲覧用の通信端末４が接続されている。
【００２６】
行動情報収集デバイス３は、利用者の行動情報を検出する行動情報検出部３１と、通信ネットワークＮＷを介して解析用サーバ２と通信を行って利用者の行動情報を解析用サーバ２に送信する通信部３２と、データ保存部３３と、制御部３４と、撮影部３５とマイクロフォン３６とを備えている。本実施の形態の行動情報検出部３１は、利用者が移動したときに利用者の速度、加速度、角速度を測定するデータの基礎となる加速度を検出する加速度センサ３１Ａと、利用者の位置を検出するグローバル・ポジショニング・システム（ＧＰＳと、利用者の心拍を測定する心拍計３１Ｃとを備えている。行動情報検出部３１の各センサの出力は、制御部３４を介してデータ保存部３３に行動情報として一時的に保存される。撮影部３５は、予め定めた撮影ルールに従って利用者の周囲の風景の少なくとも一部を撮影して画像情報としてデータ保存部３３に保存する。撮影部３５は静止画を撮影するものであっても、動画を撮影するものであってもよい。予め定めた撮影ルールは制御部３４内のメモリに記憶されている。撮影ルールについては、予め定めたサンプリング周期で定期的に撮影を行うというルールを定めてもよく、また行動情報検出部３１の出力が予め定めた閾値を超えると所定の間隔を開けて撮影を行うというルールを定めてよく、解析用サーバ２からの画像送信指令を受信すると撮影を行うというルールを定めてもよく、これらのルールを併用するようにしてもよい。本実施の形態では、予め定めたサンプリング周期で定期的に撮影するルールと、解析用サーバ２からの画像送信指令を受信すると撮影を行うというルールを併用して撮影を行っている。
【００２７】
通信部３２は、予め定めた通信ルールに従って、利用者の行動情報及び画像情報を同時にまたは別個に解析用サーバ２に送信する。予め定めた通信ルールとは、通信ルールの定め方は任意である。例えば、行動情報及び画像情報を解析用サーバ２に定期的にまたは不定期に同時に送信するという通信ルールを定めてよく、また行動情報及び画像情報をそれぞれ別個に定期的にまたは不定期に解析用サーバ２に送信するというルールを定めてもよいし、解析用サーバ２から送信指令を受け取ると、その指令に応じて行動情報及び画像情報を送信するというルールを定めてもよい。本実施の形態では、解析用サーバ２から送信指令を受け取ると、その指令に応じて行動情報及び画像情報を送信するという通信ルールの下で通信を行っている。
【００２８】
マイクロフォン３６は、撮影部３５が撮影を行うときに周囲の音を集音する。マイクロフォン３６が集音した音データは、録音部としてのデータ保存部３３に保存される。通信部３２は、画像情報と組み合わせて（画像情報と同期して再生できるように）データ保存部３３に保存した録音データを解析用サーバ２に送信する。なお本実施の形態では、マイクロフォンとして後に詳しく説明する差分マイクロフォンを用いている。
【００２９】
制御部３４は、マイクロコンピュータを主要構成要素として構成されており、インストールされたプログラムに従って行動情報検出部３１の出力のデータ保存部３３への保存動作、撮影部３５の撮影動作及び撮影画像おのデータ保存部３３への保存動作、マイクロフォン３６での集音動作及び集音した音データのデータ保存部３３への保存動作、通信部３２に入力される解析用サーバ２からの指令解析、データ保存部３３に保存されているデータの送信動作、データ保存部３３に保存されているデータの消去動作、行動情報収集デバイス３が中継器になる場合には、他の行動情報収集デバイス３と行う相互通信動作等を制御する。本実施の形態では、後に説明するように、複数の行動情報収集デバイスはそれぞれ通信ネットワークＮＷの中継器となる機能を有している。
【００３０】
行動情報収集デバイス３の構造は任意である。しかし従来は、子どもを対象とした行動情報収集デバイス３は存在しなかった。第一の原因は、従来の固定方法に問題があっためである。従来のベルトタイプ、もしくは腕時計タイプの固定方式は、子どもへのデバイスの装着方式としては適さない。子どもは腕が細くまた短いため、腕に大きなデバイスを装着することは、動作に支障をきたしたり、骨折などの危険がある。第二の原因は、従来の通信方式あった。従来の通信方式では、サーバとデバイスの距離が離れた場合、通信が途絶えるという問題があった。そこでそれを防ぐために高出力の通信機を用いる場合には、大きなバッテリーを搭載する必要があり、結果的にデバイスの重量が重くなってしまい、子どもが装着するデバイスには用いることができなかった。
【００３１】
図２は、本実施の形態で用いる行動情報収集デバイス３を特に子供の利用者Ｕが上半身に装着した状態を示している。就学前児童の場合、デバイスの役割を理解して装着するということは困難なため、行動情報収集デバイス３の構築にあたっては、子どもが自ら喜んで装着するようなキッズフレンドリなデザインとなることを最優先とした。子どもの体格や父母へのアンケート結果から、１０ｃｍ四方以下のサイズで１００ｇ以下を目標にデバイス３を構築した。この行動情報収集デバイス３は、内部に行動情報検出部３１と、通信部３２と、データ保存部３３と、制御部３４と、撮影部３５と、マイクロフォン３６とが収納して、利用者の胸の前に配置可能な形状を有する本体ケース５と、本体ケース５に一端が接続され他端が集結された３点固定式の３本のベルト６とからなる構造を有している。３本のベルト６は、本体ケース５を利用者の胸に押し付けるように一端の取り付け位置が定められている。図２においては、７は撮影部３５のカメラのレンズであり、８はマイクロフォン３６の集音部である。
【００３２】
本実施の形態では、図３に示すように、複数の行動情報収集デバイスがそれぞれ中継器となるようにメッシュ状ネットワークを構築する。その結果、解析用サーバ２に近い位置にいる子どもの行動情報収集デバイス３がサーバから遠い位置にいる子どもの行動情報収集デバイス３の中継器となる。これによりバッテリーの消費が抑えられ、小型化が可能となる。また、デバイス３を三点固定式のベルト６で固定することで、園児の体の動作を加速度センサで適切にセンシング可能になり、かつ、搭載されたカメラにより園児の前方にあるものの映像が正しく撮影きるようになった。
【００３３】
なお具体的には、装着する行動情報収集デバイス３と解析用サーバ２との通信には近距離無線モジュールXBeeを用いた。XBeeは無線ＬＡＮに比べて軽量（４ｇ）で消費電力が少なく（４０ｍＡ）、さらにDigiMeshというプロトコルを用いたメッシュネットワークが構築できるという特長がある。DigiMeshを利用すると、サーバの近くにいる園児の装着したデバイスのXBeeは、遠くにいる園児のデバイスからサーバへの通信の中継器として使うことができるようになる。子供は、壁際など無線が届きにくい場所にいくことがあるが、メッシュネットワークを利用すればそのような無線の死角においても通信を途絶えさせないことが可能となる。図３に示すように利用者が存在するエリアが広い場合には、専用中継器９をそのエリアに設置してもよいのは勿論である。
【００３４】
制御部３４で使用するマイクロコンピュータとしては、バッテリの消費を抑えるため、低電圧（３．３Ｖ）で駆動し、バッテリ充電回路やXBee無線モジュールを接続するコネクタが用意されているFunnel I/O を採用した。Funnel I/O には、加速度センサ（Sparkfun 製IM5Degrees）、心拍センサ受信モジュール（Sparkfun 製SEN-08661）、GPS（Sony CXD2951GA）、静止画カメラ（Sparkfun 製SEN-09334）、XBee無線モジュールを接続している。いずれも、Funnel I/O の定電圧回路から出力される３．３Ｖで駆動している。バッテリは充電式のリチウムイオン電池を用いた。
【００３５】
行動情報収集デバイス３の装着位置を利用者の胸の位置としたのは、子供の動作を阻害外せず、周囲の状況がカメラから得られるようするためである。子供の体の加速度を適切に測定できるよう、行動情報収集デバイスが体に密着する３点固定式を採用した。このような構造の行動情報収集デバイス３を用いれば、利用者の行動情報を的確に収集することができる。また利用者の前方の風景を確実に撮影することができる。
【００３６】
本実施の形態で用いるさらに行動情報収集デバイス３は、撮影部３５が撮影を行うときに周囲の音をマイクロフォン３６で集音する。行動情報収集デバイス３の通信部３２は、画像情報と組み合わせて録音データを解析用サーバ２に送信する。
【００３７】
本実施の形態では、特にマイクロフォン３６として周囲の音を抑制する差分マイクロフォンを使用する。周囲の音を抑制し、目的音を強調する差分マイクロフォンを用いて得られた録音データを分析することで、マイクロフォンを装着した人物が発声した区間（以下、発声区間とする）の検出が可能となる。図４に示すように、差分マイクロフォン（マイク１の出力とマイク２の出力との差分を録音データとして録音する。このようにするとマイクロフォンを装着した利用者から離れた周囲の音が抑制され、結果的に利用者（子供）の発声が強調された録音データを得る。これより、そのデータを分析し、音声信号エネルギ（振幅の２乗）が予め設定する閾値より大きい区間を利用者の発声区間とする。このようにして検出された発声区間のみを録音すれば、利用者以外の人物の会話に対するプライバシー保護が可能となる。
【００３８】
解析用サーバ２は、通信部２１を介して送信されてきた行動情報及び画像情報を利用者毎に時系列で保存するデータ保存部２２と、行動情報収集デバイス３から送信されてきた少なくとも行動情報に基づいて、利用者が予め定めた潜在的に危険な状態にあることを判定する判定部２３Ｃを備えて、判定部２３Ｃからアラーム信号を発生するアラーム信号発生部２３と、閲覧者の通信端末４から閲覧要求が送信されると、データ保存部２２に保存された画像情報の閲覧を閲覧者に許可する閲覧部２４と、後述する通知部２５と、これらの構成要素を制御する制御部２６とを備えている。アラーム信号発生部２３は、通常危険行動モード登録部２３Ａと、個別危険行動モード登録部２３Ｂと判定部２３Ｃとを備えている。通常危険行動モード登録部２３Ａには、予め想定した潜在的に危険な状態と判断できる行動モードが登録されている。個別危険行動モード登録部２３Ｂには、複数の利用者について個別に定めた危険行動モードを登録する。アラーム信号発生部２３は、利用者の行動情報から利用者について登録した危険行動モードの発生を判定するとアラーム信号を発生する。このようにすると、利用者の事情に合わせた判断を行うことができる。ここで行動モードとは、利用者が潜在的に危険な状態にあると判定できる行動情報の組み合わせや、通信状況の有無を比較可能な判定基準データとしたものである。
【００３９】
本実施の形態では、利用者の行動情報から利用者が予め定めた潜在的に危険な状態にあることを判定部２３Ｃが判定するとアラーム信号が発生される。後述するように、アラーム信号が発生すると、通信部２１から利用者が装着する行動情報収集デバイス３の通信部３２にネットワークＮＷを介して撮影と送信を指令する指令信号が送信される。その結果、潜在的に危険な状態にあると判断された利用者の周囲の風景の写真が撮影され、解析用サーバ２に画像情報が送信される。
【００４０】
解析用サーバ２は、通信部２１で受信した像情報及び録音データを組み合わせて（同期して再生可能に）データ保存部２２に保存する。閲覧部２４は画像情報の閲覧と同時に画像情報に同期して録音データの再生を許可する。このように画像と一緒に利用者の周囲の音を収集すれば、多くの情報を集めることができ、利用者が危険な状態にあるか否かの判定精度を高めることができる。
【００４１】
本実施の形態において、行動情報収集デバイス３と解析用サーバ２との間の通信ルールについては、以下のように定めた。すなわち予め定めた通信ルールには、アラーム信号を受信すると、行動情報収集デバイスは撮影を行うという特定撮影ルールを含めた。さらに予め定めた通信ルールには、解析用サーバ２に行動情報または画像情報を送信するときに、その時点で通信ネットワークＮＷを介して直接通信可能な他の行動情報収集デバイスを特定する情報を、解析用サーバ２に行動情報または画像情報と一緒に送信するという特定通信ルールを含める。そしてこのようにした場合には、解析用サーバ２のアラーム信号発生部２３は、アラーム信号を少なくとも潜在的に危険な状態にある利用者が装着する行動情報収集デバイス３及び該行動情報収集デバイスと通信可能な他の行動情報収集デバイス３に送信する。このようにすると潜在的に危険な状態にある利用者の周囲の風景画像をより多く収集することができる。特に潜在的に危険な状態にある利用者が装着する行動情報収集デバイス３と通信可能な他の行動情報収集デバイスから送信されてくる画像情報には、潜在的に危険な状態にある利用者の姿が含まれている可能性があり、判断に有益な画像情報を得ることができる。なお特定通信ルールは、前記その時点から遡って予め定めた期間内において通信ネットワークＮＷを介して直接通信可能であった他の行動情報収集デバイス３を特定する情報を解析用サーバ２に送信するというルールを含んでいてもよい。この場合、解析用サーバ２のアラーム信号発生部２３は、アラーム信号を直接通信可能であった他の行動情報収集デバイスにも送信する。このようにすると潜在的に危険な状況にある利用者の近くに過去にいた利用者の行動情報収集デバイスからも画像情報を得られるので、利用価値が高いと推測される画像情報をさらに得ることができる。
【００４２】
なお前述のように直接通信可能な他の行動情報収集デバイスを特定する情報を得なくても、解析用サーバ２のアラーム信号発生部２３が、アラーム信号を複数の行動情報収集デバイスのすべてに対して通信ネットワークＮＷを介して送信するようにしてもよい。このようにしても多くの行動情報収集デバイスから画像情報を得ることができる。
【００４３】
また行動情報収集デバイス３の通信部３２が、他のすべての行動情報収集デバイスと通信可能な状態にないときに、解析用サーバ２に専用中継器９（図３）を通して、その状況を行動情報の一つとして送信するように構成することができる。この場合、解析用サーバ２のアラーム信号発生部２３は、他のすべての行動情報収集デバイスにアラーム信号を発生する。このようにすると他の行動情報収集デバイスと通信不能な状況にある行動情報収集デバイスを装着した利用者の画像情報を入手できる可能性が出てくるため、利用者の状況判断に必要な情報を更に入出できる可能性が高くなる。なお行動情報収集デバイス３から定期的に行動情報を受信する通信ルールを採用している場合には、ある行動情報収集デバイス３から行動情報が送信されてこない事実は、その行動情報収集デバイス２３が他の行動情報収集デバイス３と通信可能な状態にないことを示している。したがってこのような状況をアラーム信号発生部２３が判定した場合にも、他のすべての行動情報収集デバイス３にアラーム信号を発生する。
【００４４】
利用者が予め定めた潜在的に危険な状態にあると判定するための基準（危険行動モード）は、任意に定めることができる。この基準は、アラーム信号発生部２３の通常危険行動モード登録部２３Ａと個別危険行動モード登録部２３Ｂとに分けて登録される。個別危険行動モード登録部２３Ｂへ登録される危険行動モードは、利用者に応じて自由に設定することができる。通常危険行動モード登録部２３Ａに登録される行動モードとしては、例えば、ある利用者の行動情報と該利用者の周囲にいる他の利用者の行動情報とを対比して、行動情報から得られる行動モードの相違に予め定めた以上の差があるときに、利用者が予め定めた潜在的に危険な状態にあると判定する行動モードを通常の判定基準として登録することができる。また、行動情報に、利用者が移動する際の速度または加速度情報、利用者の位置情報及び心拍情報が含まれている場合には、アラーム信号発生部２３の通常危険行動モード登録部２３Ａに、速度または加速度情報から利用者の行動モードが予め定めた潜在的に危険な行動モードにあると判断したとき、または利用者の心拍情報から利用者の心拍が他の利用者の心拍と比べて予め定めた以上の変化をしたときに、利用者が予め定めた潜在的に危険な状態にあると判定するための行動モードを登録してもよい。このような行動モードを登録すると、心拍の変化から利用者が危険を感じて心拍を挙げている状況が発生していることを推測することができるため、誤った判断がなされる可能性がさらに低くなる。
【００４５】
またアラーム信号発生部２３の通常危険行動モード登録部２３Ａに、行動情報収集デバイス３から予め定めた時間以上送信がないときに、利用者が予め定めた潜在的に危険な状態にあると判定するための行動モードを登録してもよい。さらに本実施の形態では、行動情報検出部３１が加速度センサ３１Ａを備えている。したがって通常危険行動モード登録部２３Ａに、利用者の加速度の変化が予め定めた以上の変化であるときに、利用者が予め定めた潜在的に危険な状態にあると判定するための行動モードを登録してもよい。加速度の急激な変化は、利用者が危険な状況から回避する行動を取る場合に現れる現象と考えられるからである。
【００４６】
本実施の形態では、解析用サーバ２が通知部２５を備えている。通知部２５は、アラーム信号発生部２３がアラーム信号を発生すると、制御部２６及び通信部２１を介して利用者に対応して予め登録した連絡先の通信端末に、利用者が予め定めた潜在的に危険な状態にあることを通知する。このような通知部２５を設けると、利用者の保護者（親、指導者、教師等）に直ちに警告を発することができるようになる。保護者は、この通知を受けると、直ちに画像の閲覧を行い、画像により状況を確認して必要な処置を取ることができる。
【００４７】
図５乃至図７は、本実施の形態の行動情報収集システム１を用いて幼稚園における園児の行動情報を収集し且つ園児が潜在的に危険な状態にあるか否かを判定する場合に適用する際に使用するソフトウエアの一例について説明する。なお図５乃至図７に示したフローチャートでは、表現を簡略化して示してある。図５は、行動情報収集デバイス３の制御部３４で使用されるソフトウエアのアルゴリズムの一例を示すフローチャートである。
【００４８】
図５は行動情報収集デバイスの動作を制御部３４に内蔵したコンピュータを用いて実行する場合において使用するソフトウエアのアルゴリズムの一例を示している。なおこの例では、データ保存部３３の内部をメモリ（１）とメモリ（２）に分けて使用するものとする。加速度センサ３１Ａから現在の加速度をデータ保存部３３のメモリ（１）に記憶する（ステップＳＴ１）。そして分析用サーバ２から画像情報の送信を要求する指令（画像要求指令）が入力されているか否かを判定する（ステップＳＴ２）。画像要求指令が入力されていれば、ステップＳＴ３へと進んで、撮影部３５で撮影を行って得た画像情報をデータ保存部３３に一時的に保存したのち通信部３２から解析用サーバ２に画像情報を送信する。画像要求指令が入力されていないとき及び画像情報を送信下後は、ステップＳＴ４へと進む。そしてＧＰＳ３１Ｂから現在位置情報及び時間情報を受信したから否かを判定する。この判定は１秒に１回実施する。ＧＰＳ３１Ｂから現在位置情報及び時間情報を受信すると、ステップＳＴ５へ進んで、ＧＰＳ３１Ｂから受信した現在位置情報及び時間情報をデータ保存部３３のメモリ（２）に記憶する（ステップＳＴ５）。その後データ保存部３３のメモリ（１）に記憶した加速度から最大加速度及び平均加速度を算出してデータ保存部３３のメモリ（１）に記憶する（ステップＳＴ６）。次に心拍計３１Ｃから現在の平均心拍数を取得してデータ保存部３３のメモリ（２）に保存する（ステップＳＴ７）。データ保存部３３のメモリ（１）に予め記憶してある自分自身以外の複数の行動情報収集デバイスのうち現時点で直接通信可能な範囲にある行動情報収集デバイスのＩＤをデータ保存部３３のメモリ（２）に記憶する（ステップＳＴ８）。そしてステップＳＴ９でメモリ（１）内の保存データをクリア（消去）する。次に通信ネットワークＮＷ上のすべての行動情報収集デバイス宛てに接続状態を確認するために確認パケットを送信する（ステップＳＴ１０）。その後解析用サーバ２のデータ保存部２２にメモリ（２）に記憶しているデータ（各時刻における位置情報、最大加速度、平均加速度、平均心拍、直接通信可能な範囲にある行動情報収集デバイスのＩＤ）を送信する（ステップＳＴ１１）。送信の完了を確認したら（ステップＳＴ１２）、メモリ（２）上のデータを消去する（ステップＳＴ１３）。次にステップＳＴ１４で、他の行動情報収集デバイスから直接接続状態を確認するパケットを受信しているか否かの判定を行い、パケットを受信していればパケットを受信した他の行動情報収集デバイスのＩＤをメモリ（１）に記憶する。その後ステップＳＴ１へと戻る。
【００４９】
図６は、解析用サーバ２において少なくともアラーム信号発生部２３を実現するために用いられるコンピュータにインストールされて使用されるソフトウエアのアルゴリズムの一例を示している。解析用サーバ２では、行動情報収集デバイス３から行動情報のデータ及び画像情報のデータを受信すると（ステップＳＴ２１）、受信情報をハードディスクからなるデータ保存部２２に保存する（ステップＳＴ２２）。そしてデータを保存した後は、アラーム信号発生部２３が複数の行動情報収集デバイス３を装着した利用者（装着者）の現在の行動モードを識別する（ステップＳＴ２３）。そして行動モードの変更があったか否かが判別され（ステップＳＴ２４）、行動モードに変更があった場合には、行動モードを変更した利用者が装着する行動情報収集デバイス３に画像の送信を要求する信号を送信する（ステップＳＴ２５）。また定期的に、すべての行動情報収集デバイス３から送信された行動情報に基づいて判断される行動モードから、利用者（デバイスの装着者）が潜在的に危険な状態にあるか否かを判定する（ステップＳＴ２６）。そして潜在的に危険な状態にあると判別されたときには（ステップＳＴ２７）、判定された行動情報収集デバイス３及び該行動情報収集デバイス３と直接通信可能な範囲にあるその他の行動情報収集デバイス及び現時点から所定の時間内において直接通信可能な範囲に在った他の行動情報収集デバイス３に画像の撮影と送信を要求する信号（アラーム信号）を送信する（ステップＳＴ２８）。そして特に園児の保護者が個別にしている個別危険行動モードが取られている場合のように、緊急度の高い潜在的に危険な状態であると判定されているときには、ステップＳＴ２８に戻って撮影と送信の要求をするとともに、ステップＳＴ３０へと進んでその行動情報収集デバイス３を装着している園児（利用者）の保護者（通常は親）の携帯電話（携帯端末等）に緊急メールを送信する（ステップＳＴ３０）。この緊急メールの送信は、図１の通知部２５の機能として実施される。
【００５０】
なお上記ステップＳＴ２８では、現時点から所定の時間内において直接通信可能な範囲に在った他の行動情報収集デバイス３に画像の撮影と送信を要求しているが、現時点における他の行動情報収集デバイス３に限定してもよく、またすべての行動情報収集デバイス３に対して画像の撮影と送信を要求する信号（アラーム信号）を送信するようにしてもよい。
【００５１】
ステップＳＴ２６〜ステップＳＴ２９において実施される潜在的に危険な状態にあるか否かの判定の詳細は図７のフローチャートに示すとおりである。図７のフローチャートでは、ステップＳＴ３１〜ステップＳＴ３５において、潜在的に危険な状態にあるか否かを判定し、ステップＳＴ３６乃至ステップＳＴ４２において、緊急度の高い潜在的に危険な状態にあるか否かを判定する。ステップＳＴ３１では、他の園児と違う行動モードにあるか否かの判定が行われる。他の園児と違う行動モードにあるときには、園児が一人で行動していることが予測される。ステップＳＴ３２では、他の園児と比べて平均心拍数に大きな変化があったか否かが判定される。驚いたり、恐怖を感じると、心拍数が増加する。他の園児と比べて平均心拍数が多くなっているときには、その園児だけが他の園児とは異なる危険な状況にあることが予測される。ステップＳＴ３３では直接通信可能な他の行動情報収集デバイスが存在しないか否かが判定される。すなわち中継器となる他の行動情報収集デバイスが存在しないとすると、その園児だけが他の園児とかなり離れた位置にあって、単独行動を取っていることが予測される。ステップＳＴ３１乃至ステップＳＴ３３で判定する危険行動モードは、図１の通常危険行動モード登録部に登録されている。またステップＳＴ３４では、園児の親が指定した状況に合致しているか否かが判定される。例えば、塀の上に昇ることが好きな園児の場合、加速度情報と位置情報とから何かに登っていると判断される場合を、その園児特有の危険行動モードとして個別危険行動モード登録部２３Ｂに登録する。ステップＳＴ３５で、潜在的に危険な状態と判定した場合には、ステップＳＴ２８へと進む。
【００５２】
次にステップＳＴ３６においては、長時間他の園児と違う行動モードにあるか否かが判定される。ステップＳＴ３７では、他の園児と比べて長時間にわたって平均心拍数に非常に大きな変化あったか否かが判定される。ステップＳＴ３８では、長時間にわたって直接通信可能な他の行動情報収集デバイスが存在しないか否かが判定される。ステップＳＴ３６乃至ステップＳＴ３８は、ステップＳＴ３１乃至ステップＳＴ３３と比べて行動モードの継続時間が長い場合である。行動モードの継続時間が長いことは、園児が高い木に登って動けない状況にあるとか、ロッカの中から出れない状況にある等、急いで対応する必要がある状態が発生している可能性が高い。ステップＳＴ３９では、行動情報収集デバイスから解析用サーバへの通信が途絶えているか否かが判定される。通信が途絶えていることは、通信ネットワークの通信可能範囲外に園児が出てしまった可能性が高いことが予測される。ステップＳＴ４０では、非常に急激な加速の変化の後、加速度の値に変化がないか否かが判定される。このような行動モードでは、高所から転落して動けない状態になっていることが予測される。そしてステップＳＴ４１では、ステップＳＴ３４と同様に、園児の親が指定した状況に合致しているか否かが判定される。例えば、心臓に障害のある園児の場合には平均心拍数が、予め定めた数より少なくなった場合には緊急度の高い潜在的に危険な状態が発生していることが予測される。ステップＳＴ３６乃至ステップＳＴ４１のいずれかの危険行動モードに合致することが判定されると、ステップＳＴ４２で緊急度の高い潜在的に危険な状態にあると判定されてステップＳＴ２８及びステップＳＴ３０へと進む。
【００５３】
図８は、図１の閲覧部２４をコンピュータを利用して実現する場合のソフトウエアのアルゴリズムの一例のフローチャートを示している。閲覧部２４は、閲覧者（ガードマン、保護者等）から閲覧要求が送信されると、データ保存部２２に保存された少なくとも画像情報の閲覧を閲覧者に許可する。このとき行動情報の少なくとも一部及び／または音声情報の閲覧を、画像情報の閲覧と併せて行えるようにしてもよい。図８のフローチャートでは、ステップＳＴ５１で個人認証を行う。個人認証は、パスワードの入力、指紋認証、カードキーによる認証等、どのようなものでもよい。ステップＳＴ５２で認証が認められると、ステップＳＴ５３で該当する行動情報収集デバイスについて解析用サーバ２のデータ保存部２２に保存している画像データの画像の一覧を表示する。図９は、一覧の表示画面Ｄの一例を示している。本実施の形態では、ＧＰＳ３１Ｂを行動情報検出部３１が搭載しているため、園児の移動履歴が時間と一緒に表示される。図９においては、定期的な撮影指令が解析用サーバ２の通信部２１から行動情報収集デバイス３に送信されて行動情報収集デバイス３が撮影した画像が表示される。また画像Ｐの横には、そのときに対象となった園児の周囲にいた他の園児の位置関係が表示される。潜在的に危険な状態が検出されると「異常」の表示が表示画面Ｄに表示される。またそのときの行動内容（行動情報の一部）「園内で５分以上静止」の文字が表示される。そして、解析用サーバ２からアラーム信号（撮影及び送信を要求する指令）が、潜在的に危険な状態にある園児が装着する行動情報収集デバイス３と、該園児の行動情報収集デバイスと直接通信可能な他の行動情報収集デバイスに出力されて撮影された画像Ｐ及びＰ′が表示される。また画像Ｐ及びＰ′の横には、そのときに対象となった園児の周囲にいた他の園児の位置関係が表示される。なおデータ保存部２２には、予め定めた期間例えば１ヶ月分の収集データが保存されている。したがって閲覧部２４は、保存しているデータを後日閲覧することも許容している。過去のデータの閲覧を容易にするために、表示画面上にカレンダを表示して、このカレンダ上で閲覧すべき日を指定できるようにしてもよいのは勿論である。
【００５４】
園児の行動状態を収集する本実施の形態の行動情報収集システムによれば、潜在的に危険な状態に遭遇したときの画像が記録できるだけでなく、事後に日中の出来事を確認することで親子の情報共有ができるという特長がある。就学前児童の場合には、ことばで出来事を伝えることは困難であるが、本システムを用いれば日中の状況を確認することが可能となる。一日のデータを構造化して表示する機能を持たせることで、子どもに起きた出来事を確認することが可能となる。
【００５５】
判定部２３Ｃではデータ保存部２２に保存された行動情報のデータから行動情報収集デバイス３を装着した利用者がどのような行動をしたのかを判定している。ＧＰＳ３１Ｂの出力データからは場所が特定され、加速度センサ３１Ａの出力からは、行動の種類が特定される。園児を対象とした場合を例にすれば、「室外遊び」「散歩」「食事」及び「室内遊び」のいずれであるかが判れば、ほぼ行動を把握することができる。図１０は、加速度センサ３１Ａから得た加速度データと心拍計３１Ｃから得た心拍数のデータに基づいて、行動の種類を把握する場合のアルゴリズムを示している。図１１には、「室外遊び」「散歩」「食事」及び「室内遊び」のときのＹ軸加速度のスペクトログラムの一例が示してある。このスペクトログラムは、横軸が時間（s）を表し、縦軸が周波数（Hz）を表す。そして各点の色で、ある時点のある周波数の強さ（dB）を表す。「散歩」のスペクトログラムでは、継続的に２Hz付近にピークが表れていることが分かる。また「室外遊び」のスペクトログラムでは、断続的に４Hz付近にピークが表れ、比較的高い周波数でも大きい振幅が表れていることが分かる。しかし、「食事」と「室内遊び」のスペクトログラムでは、特徴的なピークは表れていない。よって、Ｙ軸加速度のスペクトログラムを用いることで、行動の種類を「散歩」「室外遊び」「食事または室内遊び」の三つに識別できることが分かった。しかし「食事」「室内遊び」といった動きがあまり変わらない行動を識別するためには、Ｙ軸加速度以外の情報が必要である。そこで心拍データの統計分析を利用するために、３人の被験者にいついて、「食事」「室内遊び」に対する、心拍（bpm）の平均と標準偏差を測定した。その結果は以下の表１のとおりである。
【表１】
【００５６】
上記表１に示されるとおり、三人の被験者はともに、「室内遊び」のときの心拍は「食事」のときの心拍と比較して、平均は大きくなり、標準偏差は小さくなっていることが分かる。そこで図１０のアルゴリズムは上記試験結果を採用した。
【００５７】
判定部２３Ｃが、例えばデータ保存部２２に保存された加速度データのＹ軸加速度のスペクトログラムの基本周波数Ｆsと平均心拍数（Ｈave）のデータまたは心拍数の標準偏差（Ｈstd）とから、行動の種類を判定するために、事前に以下の平均的なデータを実験により求めておく。
【００５８】
Ｈ′ave：食事、室内遊びのときの標準的な平均心拍数
Ｈ′std：食事、室内遊びのときの標準的な心拍数の標準偏差
図１０のアルゴリズムに従えば、加速度データのＹ軸加速度のスペクトログラムの基本周波数が低い場合には、「室外遊び」と判定され、基本周波数が高い場合には、「散歩」と判定され、更に基本周波数が高い場合において、平均心拍数が事前に求めた標準的な平均心拍数より小さく、または心拍数の標準偏差が標準的な心拍数の標準偏差よりも大きいときには「食事」と判定され、それ以外の場合には「室内遊び」と判定される。
【００５９】
図１０のアルゴリズムは一例であり、行動情報検出部３１から検出した行動情報からどのように行動の種類を判定するのかは任意である。
【００６０】
上記実施の形態では、マイクロフォン３６として差分マイクロフォンを用いているが、プライバシーの保護を追求すると、園児本人の音声だけを録音できるようにするのがこのまし。そのためには、まず差分マイクロフォンで集音した録音データ中から発生区間を検出する。発生区間を検出するためには、録音データをフレーム分割し、フレーム毎に音声信号エネルギの平均を求め、それが閾値より大きいフレームを発声区間とする。次にフレーム長を求める。発声区間が正確に検出されるために、録音データを分割するフレームの長さは、録音データ中の各発声の長さ以下であることが望ましい。そこで録音データを調べ、咳払いなどの瞬間的なものを除いた発声の中で、その時間が最小である発声の長さをフレーム長とする。そして閾値を適宜に設定する。発声区間の正確な検出のためには、フレーム長だけでなく、信号エネルギの平均に対する閾値も適切に設定する必要がある。そこで、録音実験で得た録音データをフレーム分割し、フレーム毎に平均エネルギを求め、このうち最大の平均エネルギの２分の１、３分の１、４分の１を閾値としてそれぞれ発声区間の検出を行った結果、３分の１のときが最も正確に発声区間が検出された。そこでこれを閾値とする。２人以上の園児が至近距離にいる状況で、このうち１人が大声を出した際、他の園児の差分マイクがこの声を抑制し切れず、発声していない園児の発声であると検出される可能性がある。そこで発声区間の検出後、発声の始点と終点がともに一致する園児が複数いる場合には、その区間における信号エネルギの平均を園児毎に求める。そして、エネルギ平均が最大である園児の発声として、それ以外の園児についてはこの発声区間を削除することとする。このようにすると、差分マイクによる録音データを分析することで、録音したい声以外の周囲の会話が入力された際にそのプライバシーを保護するシステムを構築できる。
【産業上の利用可能性】
【００６１】
本発明によれば、利用者の行動情報から利用者が予め定めた潜在的に危険な状態にあることを判定するとアラーム信号が発生して対処を可能にするとともに、利用者の周囲の風景の画像情報を閲覧することが可能になるため、従来よりも、高い精度で利用者が危険な状態にあるか否かを判定することができる。
【符号の説明】
【００６２】
１ 行動情報収集システム
２ 解析用サーバ
３ 行動情報収集デバイス
４ 通信端末
２１，３２ 通信部
２２，３３ データ保存部
２３ アラーム信号発生部
２４ 閲覧部
２５ 通知部
２６ 制御部
３１ 行動情報検出部
３４ 制御部
３５ 撮影部
３６ マイクロフォン
【技術分野】
【０００１】
本発明は、複数の利用者の行動を監視するための情報を収集する行動情報収集システムに関するものである。
【背景技術】
【０００２】
従来、犯罪の抑止の目的で、幼稚園や学校等の施設には、監視カメラが設置されている。しかし監視カメラを利用するシステムは、映像を録画するのみで、例えば園児や小学生の親の不安を低減させるのには不十分であった。一方、非特許文献１に提案されている児童見守りシステムでは、ICタグを児童に持たせることで、児童の登下校の位置情報を親が確認することを可能としていた。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】情報通信利用促進課，“地域児童見守りシステムモデル事業 事例集”，http://www.soumu.go.jp/menu_news/s-news/2009/pdf/090109_2_sk.pdf,2009.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に記載のシステムでは、利用者の位置情報のみしか確認できず、潜在的に危険状態を検出することはできなかった。
【０００５】
本発明の目的は、従来よりも高い精度で利用者が予め定めた潜在的に危険な状態にあることを判定することができる行動情報収集システムを提供することにある。
【０００６】
本発明の別の目的は、利用者から行動情報を確実に得ることができる行動情報収集デバイスを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の行動情報収集システムでは、複数の利用者の行動情報を解析する解析用サーバと、複数の利用者にそれぞれ装着された複数の行動情報収集デバイスとから構成される。行動情報収集デバイスは、利用者の行動情報を検出する行動情報検出部と、通信ネットワークを介して解析用サーバと通信を行って利用者の行動情報を解析用サーバに送信する通信部とを備えている。また行動情報収集デバイスは、予め定めた撮影ルールに従って利用者の周囲の風景の少なくとも一部を撮影して画像情報としてデータ保存部に保存する撮影部をさらに備えており、通信部は予め定めた通信ルールに従って、利用者の行動情報及び画像情報を解析用サーバに送信するように構成されている。そして解析用サーバは、送信されてきた行動情報及び画像情報を利用者毎に時系列で保存するデータ保存部と、行動情報収集デバイスから送信されてきた少なくとも行動情報に基づいて、利用者が予め定めた潜在的に危険な状態にあることを判定するとアラーム信号を発生するアラーム信号発生部と、閲覧者から閲覧要求が送信されると、データ保存部に保存された画像情報の閲覧を閲覧者に許可する閲覧部とを備えている。
【０００８】
本発明によれば、利用者の行動情報から利用者が予め定めた潜在的に危険な状態にあることを判定するとアラーム信号が発生して対処を可能にするとともに、利用者の周囲の風景の画像情報を閲覧することが可能になるため、従来よりも、高い精度で利用者が危険な状態にあるか否かを判定することができる。
【０００９】
行動情報収集デバイスの構造は任意である。例えば、行動情報収集デバイスは、内部に少なくとも行動情報検出部と、通信部と撮影部とが収納され且つ利用者の胸の前に配置可能な形状を有する本体ケースと、本体ケースに一端が接続され他端が集結された３点固定式の３本のベルトとからなる構造を有していてもよい。３本のベルトは、本体ケースを利用者の胸に押し付けるようにそれぞれの一端の取り付け位置を定めるのが好ましい。このような構造の行動情報収集デバイスを用いれば、利用者の行動情報を的確に収集することができる。また利用者の前方の風景を確実に撮影することができる。
【００１０】
なお行動情報検出部は、例えば、加速度センサ、グローバル・ポジショニング・システム及び心拍計を備えているのが好ましい。このようなセンサを備えていれば、利用者の行動を判断するための情報の大部分を集めることができる。
【００１１】
さらに行動情報収集デバイスは、撮影部が撮影を行うときに周囲の音を集音するマイクロフォンと集音した音を録音する録音部とを更に備えていてもよい。この場合、通信部は、画像情報と組み合わせて録音部に録音した録音データを解析用サーバに送信するように構成する。そして解析用サーバは、データ保存部に画像情報及び録音データを組み合わせて保存する。閲覧部は画像情報の閲覧と同時に画像情報に同期して録音データの再生を許可するように構成するのが好ましい。画像と一緒に利用者の周囲の音を収集すれば、さらに多くの情報を集めることができ、利用者が危険な状態にあるか否かの判定精度を高めることができる。
【００１２】
マイクロフォンとして差分マイクロフォンを用いれば、非差分マイク（差分をしない普通のマイク）による録音に比べ、周囲の会話が有効に抑制される。
【００１３】
また複数の行動情報収集デバイスは、それぞれ通信ネットワークにおける中継器となる機能を有していてもよい。
【００１４】
この場合には、通信ネットワークは、利用者の想定される行動範囲内にある行動情報収集デバイスと通信可能な１以上の専用中継器を備えているのが好ましい。また予め定めた通信ルールには、アラーム信号を受信すると、撮影を行うという特定撮影ルールを含める。さらに予め定めた通信ルールには、解析用サーバに行動情報または画像情報を送信するときに、その時点で通信ネットワークを介して直接通信可能な他の行動情報収集デバイスを特定する情報を、解析用サーバに行動情報または画像情報と一緒に送信するという特定通信ルールを含める。そしてこのようにした場合には、解析用サーバのアラーム信号発生部は、アラーム信号を少なくとも潜在的に危険な状態にある利用者が装着する行動情報収集デバイス及び該行動情報収集デバイスと通信可能な他の行動情報収集デバイスに送信する。このようにすると潜在的に危険な状態にある利用者の周囲の風景画像をより多く収集することができる。特に潜在的に危険な状態にある利用者が装着する行動情報収集デバイスと通信可能な他の行動情報収集デバイスから送信されてくる画像情報には、潜在的に危険な状態にある利用者の姿が含まれている可能性があり、判断に有益な画像情報を得ることができる。
【００１５】
なお特定通信ルールは、前記その時点から遡って予め定めた期間内において通信ネットワークを介して直接通信可能であった他の行動情報収集デバイスを特定する情報を解析用サーバに送信するというルールを含んでいてもよい。この場合、解析用サーバのアラーム信号発生部は、アラーム信号を直接通信可能であった他の行動情報収集デバイスにも送信する。このようにすると潜在的に危険な状況にある利用者の近くに過去にいた利用者の行動情報収集デバイスからも画像情報を得られるので、利用価値が高いと推測される画像情報をさらに得ることができる。
【００１６】
なお前述のように直接通信可能な他の行動情報収集デバイスを特定する情報を得なくても、解析用サーバのアラーム信号発生部が、アラーム信号を複数の行動情報収集デバイスのすべてに対して通信ネットワークを介して送信するようにしてもよい。このようにしても多くの行動情報収集デバイスから画像情報を得ることができるので、判断に有益な画像情報を得ることができる。
【００１７】
また行動情報収集デバイスの通信部を、他のすべての行動情報収集デバイスと通信可能な状態にないときに、解析用サーバに専用中継器を通して、その状況を行動情報の一つとして送信するように構成することができる。この場合には、解析用サーバのアラーム信号発生部は、他のすべての行動情報収集デバイスと通信可能な状態にない状況を示す行動情報が入力されるとアラーム信号を発生するように構成する。このようにすると他の行動情報収集デバイスと通信不能な状況にある行動情報収集デバイスを装着した利用者の画像情報を入手できる可能性が出てくるため、利用者の状況判断に必要な情報を更に入出できる可能性が高くなる。
【００１８】
利用者が予め定めた潜在的に危険な状態にあると判定するための基準は、任意に定めることができる。例えば、解析用サーバのアラーム信号発生部に、ある利用者の行動情報と該利用者の周囲にいる他の利用者の行動情報とを対比して、行動情報から得られる行動モードの相違に予め定めた以上の差があるときに、利用者が予め定めた潜在的に危険な状態にあると判定する判定基準を持たせてもよい。例えば、複数人の利用者が駆けっこ遊びをしていれば、駆けっこ遊びをしているすべての利用者の行動は近似したものとなる。もし一人の利用者の行動情報だけで、潜在的に危険な状態を判断すると、このような場合において、危険な状態にあると誤った判断をする可能性がある。これに対して、前述のように他の利用者の行動情報と当該利用者の行動情報と比較して判断をすれば、誤った判断がなされる可能性が低くなる。
【００１９】
特に、行動情報に、利用者が移動する際の速度または加速度情報、利用者の位置情報及び心拍情報が含まれている場合には、アラーム信号発生部を、速度または加速度情報から利用者の行動モードが予め定めた潜在的に危険な行動モードにあると判断した後、利用者の心拍情報から利用者の心拍が他の利用者の心拍と比べて予め定めた以上の変化をしたときに、利用者が予め定めた潜在的に危険な状態にあると判定するようにしてもよい。このようにすると、心拍の変化から利用者が危険を感じて心拍を挙げている状況が発生していることを推測することができるため、誤った判断がなされる可能性がさらに低くなる。
【００２０】
またアラーム信号発生部を、行動情報収集デバイスから予め定めた時間以上送信がないときに、利用者が予め定めた潜在的に危険な状態にあると判定するように構成してもよい。このようにすると行動情報が無い場合でも、判断に必要な画像情報を得ることができる。
【００２１】
さらに行動情報検出部が、利用者が行動しているときの加速度を行動情報の一つとして検出するように構成されている場合には、アラーム信号発生部を、利用者の加速度の変化が予め定めた以上の変化であるときに、利用者が予め定めた潜在的に危険な状態にあると判定するように構成することができる。加速度の急激な変化は、利用者が危険な状況から回避する行動を取る場合に現れる現象である。したがって加速度の変化が大きい場合に、利用者が予め定めた潜在的に危険な状態にあると判定することは理にかなった判定手法である。
【００２２】
また解析用サーバは、アラーム信号発生部がアラーム信号を発生すると、利用者に対応して予め登録した連絡先の通信端末に、利用者が予め定めた潜在的に危険な状態にあることを通知する通知部を更に備えていてもよい。このようにすると利用者の保護者（親、指導者、教師等）に直ちに警告を発することができるようになる。保護者は、この通知を受けると、直ちに画像の閲覧を行い、画像により状況を確認して必要な処置を取ることができる。
【００２３】
また解析用サーバは、複数の利用者について個別に定めた危険行動モードを登録する個別危険行動モード登録部を更に備えていてもよい。この場合には、アラーム信号発生部を、利用者の行動情報から利用者について登録した危険行動モードの発生を判定するとアラーム信号を発生するように構成すればよい。このようにすると、利用者の事情に合わせた判断を行うことができる。例えば、心臓に障害のある利用者には、心拍の増加規準値を健常者の基準値よりも低いものとすることができる。
【図面の簡単な説明】
【００２４】
【図１】行動情報収集システムの実施の形態の一例の構成を示すブロック図である。
【図２】本実施の形態で用いる行動情報収集デバイスを特に子供の利用者が上半身に装着した状態を示している。
【図３】複数の行動情報収集デバイスがそれぞれ中継器となるようにメッシュ状ネットワークを構築することを示す図である。
【図４】差分マイクロフォンで録音する場合の原理を説明するために用いる図である。
【図５】行動情報収集デバイスの制御部で使用されるソフトウエアのアルゴリズムの一例を示すフローチャートである。
【図６】解析用サーバにおいて少なくともアラーム信号発生部を実現するために用いられるコンピュータにインストールされて使用されるソフトウエアのアルゴリズムの一例を示すフローチャートである。
【図７】潜在的に危険な状態にあるか否かの判定を行うためのフローチャートである。
【図８】図１の閲覧部をコンピュータを利用して実現する場合のソフトウエアのアルゴリズムの一例のフローチャートである。
【図９】一覧の表示画面の一例を示す図である。
【図１０】加速度センサから得た加速度データと心拍計から得た心拍数のデータに基づいて、行動の種類を把握する場合のアルゴリズムを示すフローチャートである。
【図１１】「室外遊び」「散歩」「食事」及び「室内遊び」のときのＹ軸加速度のスペクトログラムの一例を示す図である。
【発明を実施するための形態】
【００２５】
以下図面を参照して本発明の行動情報収集システムの実施の形態の一例を詳細に説明する。図１は、行動情報収集システムの実施の形態の一例の構成を示すブロック図である。行動情報収集システム１は、複数の利用者の行動情報を解析する解析用サーバ２と、複数の利用者にそれぞれ装着されて解析用サーバ２に通信ネットワークＮＷを介して接続される複数の行動情報収集デバイス３とから構成される。通信ネットワークＮＷには、複数の閲覧用の通信端末４が接続されている。
【００２６】
行動情報収集デバイス３は、利用者の行動情報を検出する行動情報検出部３１と、通信ネットワークＮＷを介して解析用サーバ２と通信を行って利用者の行動情報を解析用サーバ２に送信する通信部３２と、データ保存部３３と、制御部３４と、撮影部３５とマイクロフォン３６とを備えている。本実施の形態の行動情報検出部３１は、利用者が移動したときに利用者の速度、加速度、角速度を測定するデータの基礎となる加速度を検出する加速度センサ３１Ａと、利用者の位置を検出するグローバル・ポジショニング・システム（ＧＰＳと、利用者の心拍を測定する心拍計３１Ｃとを備えている。行動情報検出部３１の各センサの出力は、制御部３４を介してデータ保存部３３に行動情報として一時的に保存される。撮影部３５は、予め定めた撮影ルールに従って利用者の周囲の風景の少なくとも一部を撮影して画像情報としてデータ保存部３３に保存する。撮影部３５は静止画を撮影するものであっても、動画を撮影するものであってもよい。予め定めた撮影ルールは制御部３４内のメモリに記憶されている。撮影ルールについては、予め定めたサンプリング周期で定期的に撮影を行うというルールを定めてもよく、また行動情報検出部３１の出力が予め定めた閾値を超えると所定の間隔を開けて撮影を行うというルールを定めてよく、解析用サーバ２からの画像送信指令を受信すると撮影を行うというルールを定めてもよく、これらのルールを併用するようにしてもよい。本実施の形態では、予め定めたサンプリング周期で定期的に撮影するルールと、解析用サーバ２からの画像送信指令を受信すると撮影を行うというルールを併用して撮影を行っている。
【００２７】
通信部３２は、予め定めた通信ルールに従って、利用者の行動情報及び画像情報を同時にまたは別個に解析用サーバ２に送信する。予め定めた通信ルールとは、通信ルールの定め方は任意である。例えば、行動情報及び画像情報を解析用サーバ２に定期的にまたは不定期に同時に送信するという通信ルールを定めてよく、また行動情報及び画像情報をそれぞれ別個に定期的にまたは不定期に解析用サーバ２に送信するというルールを定めてもよいし、解析用サーバ２から送信指令を受け取ると、その指令に応じて行動情報及び画像情報を送信するというルールを定めてもよい。本実施の形態では、解析用サーバ２から送信指令を受け取ると、その指令に応じて行動情報及び画像情報を送信するという通信ルールの下で通信を行っている。
【００２８】
マイクロフォン３６は、撮影部３５が撮影を行うときに周囲の音を集音する。マイクロフォン３６が集音した音データは、録音部としてのデータ保存部３３に保存される。通信部３２は、画像情報と組み合わせて（画像情報と同期して再生できるように）データ保存部３３に保存した録音データを解析用サーバ２に送信する。なお本実施の形態では、マイクロフォンとして後に詳しく説明する差分マイクロフォンを用いている。
【００２９】
制御部３４は、マイクロコンピュータを主要構成要素として構成されており、インストールされたプログラムに従って行動情報検出部３１の出力のデータ保存部３３への保存動作、撮影部３５の撮影動作及び撮影画像おのデータ保存部３３への保存動作、マイクロフォン３６での集音動作及び集音した音データのデータ保存部３３への保存動作、通信部３２に入力される解析用サーバ２からの指令解析、データ保存部３３に保存されているデータの送信動作、データ保存部３３に保存されているデータの消去動作、行動情報収集デバイス３が中継器になる場合には、他の行動情報収集デバイス３と行う相互通信動作等を制御する。本実施の形態では、後に説明するように、複数の行動情報収集デバイスはそれぞれ通信ネットワークＮＷの中継器となる機能を有している。
【００３０】
行動情報収集デバイス３の構造は任意である。しかし従来は、子どもを対象とした行動情報収集デバイス３は存在しなかった。第一の原因は、従来の固定方法に問題があっためである。従来のベルトタイプ、もしくは腕時計タイプの固定方式は、子どもへのデバイスの装着方式としては適さない。子どもは腕が細くまた短いため、腕に大きなデバイスを装着することは、動作に支障をきたしたり、骨折などの危険がある。第二の原因は、従来の通信方式あった。従来の通信方式では、サーバとデバイスの距離が離れた場合、通信が途絶えるという問題があった。そこでそれを防ぐために高出力の通信機を用いる場合には、大きなバッテリーを搭載する必要があり、結果的にデバイスの重量が重くなってしまい、子どもが装着するデバイスには用いることができなかった。
【００３１】
図２は、本実施の形態で用いる行動情報収集デバイス３を特に子供の利用者Ｕが上半身に装着した状態を示している。就学前児童の場合、デバイスの役割を理解して装着するということは困難なため、行動情報収集デバイス３の構築にあたっては、子どもが自ら喜んで装着するようなキッズフレンドリなデザインとなることを最優先とした。子どもの体格や父母へのアンケート結果から、１０ｃｍ四方以下のサイズで１００ｇ以下を目標にデバイス３を構築した。この行動情報収集デバイス３は、内部に行動情報検出部３１と、通信部３２と、データ保存部３３と、制御部３４と、撮影部３５と、マイクロフォン３６とが収納して、利用者の胸の前に配置可能な形状を有する本体ケース５と、本体ケース５に一端が接続され他端が集結された３点固定式の３本のベルト６とからなる構造を有している。３本のベルト６は、本体ケース５を利用者の胸に押し付けるように一端の取り付け位置が定められている。図２においては、７は撮影部３５のカメラのレンズであり、８はマイクロフォン３６の集音部である。
【００３２】
本実施の形態では、図３に示すように、複数の行動情報収集デバイスがそれぞれ中継器となるようにメッシュ状ネットワークを構築する。その結果、解析用サーバ２に近い位置にいる子どもの行動情報収集デバイス３がサーバから遠い位置にいる子どもの行動情報収集デバイス３の中継器となる。これによりバッテリーの消費が抑えられ、小型化が可能となる。また、デバイス３を三点固定式のベルト６で固定することで、園児の体の動作を加速度センサで適切にセンシング可能になり、かつ、搭載されたカメラにより園児の前方にあるものの映像が正しく撮影きるようになった。
【００３３】
なお具体的には、装着する行動情報収集デバイス３と解析用サーバ２との通信には近距離無線モジュールXBeeを用いた。XBeeは無線ＬＡＮに比べて軽量（４ｇ）で消費電力が少なく（４０ｍＡ）、さらにDigiMeshというプロトコルを用いたメッシュネットワークが構築できるという特長がある。DigiMeshを利用すると、サーバの近くにいる園児の装着したデバイスのXBeeは、遠くにいる園児のデバイスからサーバへの通信の中継器として使うことができるようになる。子供は、壁際など無線が届きにくい場所にいくことがあるが、メッシュネットワークを利用すればそのような無線の死角においても通信を途絶えさせないことが可能となる。図３に示すように利用者が存在するエリアが広い場合には、専用中継器９をそのエリアに設置してもよいのは勿論である。
【００３４】
制御部３４で使用するマイクロコンピュータとしては、バッテリの消費を抑えるため、低電圧（３．３Ｖ）で駆動し、バッテリ充電回路やXBee無線モジュールを接続するコネクタが用意されているFunnel I/O を採用した。Funnel I/O には、加速度センサ（Sparkfun 製IM5Degrees）、心拍センサ受信モジュール（Sparkfun 製SEN-08661）、GPS（Sony CXD2951GA）、静止画カメラ（Sparkfun 製SEN-09334）、XBee無線モジュールを接続している。いずれも、Funnel I/O の定電圧回路から出力される３．３Ｖで駆動している。バッテリは充電式のリチウムイオン電池を用いた。
【００３５】
行動情報収集デバイス３の装着位置を利用者の胸の位置としたのは、子供の動作を阻害外せず、周囲の状況がカメラから得られるようするためである。子供の体の加速度を適切に測定できるよう、行動情報収集デバイスが体に密着する３点固定式を採用した。このような構造の行動情報収集デバイス３を用いれば、利用者の行動情報を的確に収集することができる。また利用者の前方の風景を確実に撮影することができる。
【００３６】
本実施の形態で用いるさらに行動情報収集デバイス３は、撮影部３５が撮影を行うときに周囲の音をマイクロフォン３６で集音する。行動情報収集デバイス３の通信部３２は、画像情報と組み合わせて録音データを解析用サーバ２に送信する。
【００３７】
本実施の形態では、特にマイクロフォン３６として周囲の音を抑制する差分マイクロフォンを使用する。周囲の音を抑制し、目的音を強調する差分マイクロフォンを用いて得られた録音データを分析することで、マイクロフォンを装着した人物が発声した区間（以下、発声区間とする）の検出が可能となる。図４に示すように、差分マイクロフォン（マイク１の出力とマイク２の出力との差分を録音データとして録音する。このようにするとマイクロフォンを装着した利用者から離れた周囲の音が抑制され、結果的に利用者（子供）の発声が強調された録音データを得る。これより、そのデータを分析し、音声信号エネルギ（振幅の２乗）が予め設定する閾値より大きい区間を利用者の発声区間とする。このようにして検出された発声区間のみを録音すれば、利用者以外の人物の会話に対するプライバシー保護が可能となる。
【００３８】
解析用サーバ２は、通信部２１を介して送信されてきた行動情報及び画像情報を利用者毎に時系列で保存するデータ保存部２２と、行動情報収集デバイス３から送信されてきた少なくとも行動情報に基づいて、利用者が予め定めた潜在的に危険な状態にあることを判定する判定部２３Ｃを備えて、判定部２３Ｃからアラーム信号を発生するアラーム信号発生部２３と、閲覧者の通信端末４から閲覧要求が送信されると、データ保存部２２に保存された画像情報の閲覧を閲覧者に許可する閲覧部２４と、後述する通知部２５と、これらの構成要素を制御する制御部２６とを備えている。アラーム信号発生部２３は、通常危険行動モード登録部２３Ａと、個別危険行動モード登録部２３Ｂと判定部２３Ｃとを備えている。通常危険行動モード登録部２３Ａには、予め想定した潜在的に危険な状態と判断できる行動モードが登録されている。個別危険行動モード登録部２３Ｂには、複数の利用者について個別に定めた危険行動モードを登録する。アラーム信号発生部２３は、利用者の行動情報から利用者について登録した危険行動モードの発生を判定するとアラーム信号を発生する。このようにすると、利用者の事情に合わせた判断を行うことができる。ここで行動モードとは、利用者が潜在的に危険な状態にあると判定できる行動情報の組み合わせや、通信状況の有無を比較可能な判定基準データとしたものである。
【００３９】
本実施の形態では、利用者の行動情報から利用者が予め定めた潜在的に危険な状態にあることを判定部２３Ｃが判定するとアラーム信号が発生される。後述するように、アラーム信号が発生すると、通信部２１から利用者が装着する行動情報収集デバイス３の通信部３２にネットワークＮＷを介して撮影と送信を指令する指令信号が送信される。その結果、潜在的に危険な状態にあると判断された利用者の周囲の風景の写真が撮影され、解析用サーバ２に画像情報が送信される。
【００４０】
解析用サーバ２は、通信部２１で受信した像情報及び録音データを組み合わせて（同期して再生可能に）データ保存部２２に保存する。閲覧部２４は画像情報の閲覧と同時に画像情報に同期して録音データの再生を許可する。このように画像と一緒に利用者の周囲の音を収集すれば、多くの情報を集めることができ、利用者が危険な状態にあるか否かの判定精度を高めることができる。
【００４１】
本実施の形態において、行動情報収集デバイス３と解析用サーバ２との間の通信ルールについては、以下のように定めた。すなわち予め定めた通信ルールには、アラーム信号を受信すると、行動情報収集デバイスは撮影を行うという特定撮影ルールを含めた。さらに予め定めた通信ルールには、解析用サーバ２に行動情報または画像情報を送信するときに、その時点で通信ネットワークＮＷを介して直接通信可能な他の行動情報収集デバイスを特定する情報を、解析用サーバ２に行動情報または画像情報と一緒に送信するという特定通信ルールを含める。そしてこのようにした場合には、解析用サーバ２のアラーム信号発生部２３は、アラーム信号を少なくとも潜在的に危険な状態にある利用者が装着する行動情報収集デバイス３及び該行動情報収集デバイスと通信可能な他の行動情報収集デバイス３に送信する。このようにすると潜在的に危険な状態にある利用者の周囲の風景画像をより多く収集することができる。特に潜在的に危険な状態にある利用者が装着する行動情報収集デバイス３と通信可能な他の行動情報収集デバイスから送信されてくる画像情報には、潜在的に危険な状態にある利用者の姿が含まれている可能性があり、判断に有益な画像情報を得ることができる。なお特定通信ルールは、前記その時点から遡って予め定めた期間内において通信ネットワークＮＷを介して直接通信可能であった他の行動情報収集デバイス３を特定する情報を解析用サーバ２に送信するというルールを含んでいてもよい。この場合、解析用サーバ２のアラーム信号発生部２３は、アラーム信号を直接通信可能であった他の行動情報収集デバイスにも送信する。このようにすると潜在的に危険な状況にある利用者の近くに過去にいた利用者の行動情報収集デバイスからも画像情報を得られるので、利用価値が高いと推測される画像情報をさらに得ることができる。
【００４２】
なお前述のように直接通信可能な他の行動情報収集デバイスを特定する情報を得なくても、解析用サーバ２のアラーム信号発生部２３が、アラーム信号を複数の行動情報収集デバイスのすべてに対して通信ネットワークＮＷを介して送信するようにしてもよい。このようにしても多くの行動情報収集デバイスから画像情報を得ることができる。
【００４３】
また行動情報収集デバイス３の通信部３２が、他のすべての行動情報収集デバイスと通信可能な状態にないときに、解析用サーバ２に専用中継器９（図３）を通して、その状況を行動情報の一つとして送信するように構成することができる。この場合、解析用サーバ２のアラーム信号発生部２３は、他のすべての行動情報収集デバイスにアラーム信号を発生する。このようにすると他の行動情報収集デバイスと通信不能な状況にある行動情報収集デバイスを装着した利用者の画像情報を入手できる可能性が出てくるため、利用者の状況判断に必要な情報を更に入出できる可能性が高くなる。なお行動情報収集デバイス３から定期的に行動情報を受信する通信ルールを採用している場合には、ある行動情報収集デバイス３から行動情報が送信されてこない事実は、その行動情報収集デバイス２３が他の行動情報収集デバイス３と通信可能な状態にないことを示している。したがってこのような状況をアラーム信号発生部２３が判定した場合にも、他のすべての行動情報収集デバイス３にアラーム信号を発生する。
【００４４】
利用者が予め定めた潜在的に危険な状態にあると判定するための基準（危険行動モード）は、任意に定めることができる。この基準は、アラーム信号発生部２３の通常危険行動モード登録部２３Ａと個別危険行動モード登録部２３Ｂとに分けて登録される。個別危険行動モード登録部２３Ｂへ登録される危険行動モードは、利用者に応じて自由に設定することができる。通常危険行動モード登録部２３Ａに登録される行動モードとしては、例えば、ある利用者の行動情報と該利用者の周囲にいる他の利用者の行動情報とを対比して、行動情報から得られる行動モードの相違に予め定めた以上の差があるときに、利用者が予め定めた潜在的に危険な状態にあると判定する行動モードを通常の判定基準として登録することができる。また、行動情報に、利用者が移動する際の速度または加速度情報、利用者の位置情報及び心拍情報が含まれている場合には、アラーム信号発生部２３の通常危険行動モード登録部２３Ａに、速度または加速度情報から利用者の行動モードが予め定めた潜在的に危険な行動モードにあると判断したとき、または利用者の心拍情報から利用者の心拍が他の利用者の心拍と比べて予め定めた以上の変化をしたときに、利用者が予め定めた潜在的に危険な状態にあると判定するための行動モードを登録してもよい。このような行動モードを登録すると、心拍の変化から利用者が危険を感じて心拍を挙げている状況が発生していることを推測することができるため、誤った判断がなされる可能性がさらに低くなる。
【００４５】
またアラーム信号発生部２３の通常危険行動モード登録部２３Ａに、行動情報収集デバイス３から予め定めた時間以上送信がないときに、利用者が予め定めた潜在的に危険な状態にあると判定するための行動モードを登録してもよい。さらに本実施の形態では、行動情報検出部３１が加速度センサ３１Ａを備えている。したがって通常危険行動モード登録部２３Ａに、利用者の加速度の変化が予め定めた以上の変化であるときに、利用者が予め定めた潜在的に危険な状態にあると判定するための行動モードを登録してもよい。加速度の急激な変化は、利用者が危険な状況から回避する行動を取る場合に現れる現象と考えられるからである。
【００４６】
本実施の形態では、解析用サーバ２が通知部２５を備えている。通知部２５は、アラーム信号発生部２３がアラーム信号を発生すると、制御部２６及び通信部２１を介して利用者に対応して予め登録した連絡先の通信端末に、利用者が予め定めた潜在的に危険な状態にあることを通知する。このような通知部２５を設けると、利用者の保護者（親、指導者、教師等）に直ちに警告を発することができるようになる。保護者は、この通知を受けると、直ちに画像の閲覧を行い、画像により状況を確認して必要な処置を取ることができる。
【００４７】
図５乃至図７は、本実施の形態の行動情報収集システム１を用いて幼稚園における園児の行動情報を収集し且つ園児が潜在的に危険な状態にあるか否かを判定する場合に適用する際に使用するソフトウエアの一例について説明する。なお図５乃至図７に示したフローチャートでは、表現を簡略化して示してある。図５は、行動情報収集デバイス３の制御部３４で使用されるソフトウエアのアルゴリズムの一例を示すフローチャートである。
【００４８】
図５は行動情報収集デバイスの動作を制御部３４に内蔵したコンピュータを用いて実行する場合において使用するソフトウエアのアルゴリズムの一例を示している。なおこの例では、データ保存部３３の内部をメモリ（１）とメモリ（２）に分けて使用するものとする。加速度センサ３１Ａから現在の加速度をデータ保存部３３のメモリ（１）に記憶する（ステップＳＴ１）。そして分析用サーバ２から画像情報の送信を要求する指令（画像要求指令）が入力されているか否かを判定する（ステップＳＴ２）。画像要求指令が入力されていれば、ステップＳＴ３へと進んで、撮影部３５で撮影を行って得た画像情報をデータ保存部３３に一時的に保存したのち通信部３２から解析用サーバ２に画像情報を送信する。画像要求指令が入力されていないとき及び画像情報を送信下後は、ステップＳＴ４へと進む。そしてＧＰＳ３１Ｂから現在位置情報及び時間情報を受信したから否かを判定する。この判定は１秒に１回実施する。ＧＰＳ３１Ｂから現在位置情報及び時間情報を受信すると、ステップＳＴ５へ進んで、ＧＰＳ３１Ｂから受信した現在位置情報及び時間情報をデータ保存部３３のメモリ（２）に記憶する（ステップＳＴ５）。その後データ保存部３３のメモリ（１）に記憶した加速度から最大加速度及び平均加速度を算出してデータ保存部３３のメモリ（１）に記憶する（ステップＳＴ６）。次に心拍計３１Ｃから現在の平均心拍数を取得してデータ保存部３３のメモリ（２）に保存する（ステップＳＴ７）。データ保存部３３のメモリ（１）に予め記憶してある自分自身以外の複数の行動情報収集デバイスのうち現時点で直接通信可能な範囲にある行動情報収集デバイスのＩＤをデータ保存部３３のメモリ（２）に記憶する（ステップＳＴ８）。そしてステップＳＴ９でメモリ（１）内の保存データをクリア（消去）する。次に通信ネットワークＮＷ上のすべての行動情報収集デバイス宛てに接続状態を確認するために確認パケットを送信する（ステップＳＴ１０）。その後解析用サーバ２のデータ保存部２２にメモリ（２）に記憶しているデータ（各時刻における位置情報、最大加速度、平均加速度、平均心拍、直接通信可能な範囲にある行動情報収集デバイスのＩＤ）を送信する（ステップＳＴ１１）。送信の完了を確認したら（ステップＳＴ１２）、メモリ（２）上のデータを消去する（ステップＳＴ１３）。次にステップＳＴ１４で、他の行動情報収集デバイスから直接接続状態を確認するパケットを受信しているか否かの判定を行い、パケットを受信していればパケットを受信した他の行動情報収集デバイスのＩＤをメモリ（１）に記憶する。その後ステップＳＴ１へと戻る。
【００４９】
図６は、解析用サーバ２において少なくともアラーム信号発生部２３を実現するために用いられるコンピュータにインストールされて使用されるソフトウエアのアルゴリズムの一例を示している。解析用サーバ２では、行動情報収集デバイス３から行動情報のデータ及び画像情報のデータを受信すると（ステップＳＴ２１）、受信情報をハードディスクからなるデータ保存部２２に保存する（ステップＳＴ２２）。そしてデータを保存した後は、アラーム信号発生部２３が複数の行動情報収集デバイス３を装着した利用者（装着者）の現在の行動モードを識別する（ステップＳＴ２３）。そして行動モードの変更があったか否かが判別され（ステップＳＴ２４）、行動モードに変更があった場合には、行動モードを変更した利用者が装着する行動情報収集デバイス３に画像の送信を要求する信号を送信する（ステップＳＴ２５）。また定期的に、すべての行動情報収集デバイス３から送信された行動情報に基づいて判断される行動モードから、利用者（デバイスの装着者）が潜在的に危険な状態にあるか否かを判定する（ステップＳＴ２６）。そして潜在的に危険な状態にあると判別されたときには（ステップＳＴ２７）、判定された行動情報収集デバイス３及び該行動情報収集デバイス３と直接通信可能な範囲にあるその他の行動情報収集デバイス及び現時点から所定の時間内において直接通信可能な範囲に在った他の行動情報収集デバイス３に画像の撮影と送信を要求する信号（アラーム信号）を送信する（ステップＳＴ２８）。そして特に園児の保護者が個別にしている個別危険行動モードが取られている場合のように、緊急度の高い潜在的に危険な状態であると判定されているときには、ステップＳＴ２８に戻って撮影と送信の要求をするとともに、ステップＳＴ３０へと進んでその行動情報収集デバイス３を装着している園児（利用者）の保護者（通常は親）の携帯電話（携帯端末等）に緊急メールを送信する（ステップＳＴ３０）。この緊急メールの送信は、図１の通知部２５の機能として実施される。
【００５０】
なお上記ステップＳＴ２８では、現時点から所定の時間内において直接通信可能な範囲に在った他の行動情報収集デバイス３に画像の撮影と送信を要求しているが、現時点における他の行動情報収集デバイス３に限定してもよく、またすべての行動情報収集デバイス３に対して画像の撮影と送信を要求する信号（アラーム信号）を送信するようにしてもよい。
【００５１】
ステップＳＴ２６〜ステップＳＴ２９において実施される潜在的に危険な状態にあるか否かの判定の詳細は図７のフローチャートに示すとおりである。図７のフローチャートでは、ステップＳＴ３１〜ステップＳＴ３５において、潜在的に危険な状態にあるか否かを判定し、ステップＳＴ３６乃至ステップＳＴ４２において、緊急度の高い潜在的に危険な状態にあるか否かを判定する。ステップＳＴ３１では、他の園児と違う行動モードにあるか否かの判定が行われる。他の園児と違う行動モードにあるときには、園児が一人で行動していることが予測される。ステップＳＴ３２では、他の園児と比べて平均心拍数に大きな変化があったか否かが判定される。驚いたり、恐怖を感じると、心拍数が増加する。他の園児と比べて平均心拍数が多くなっているときには、その園児だけが他の園児とは異なる危険な状況にあることが予測される。ステップＳＴ３３では直接通信可能な他の行動情報収集デバイスが存在しないか否かが判定される。すなわち中継器となる他の行動情報収集デバイスが存在しないとすると、その園児だけが他の園児とかなり離れた位置にあって、単独行動を取っていることが予測される。ステップＳＴ３１乃至ステップＳＴ３３で判定する危険行動モードは、図１の通常危険行動モード登録部に登録されている。またステップＳＴ３４では、園児の親が指定した状況に合致しているか否かが判定される。例えば、塀の上に昇ることが好きな園児の場合、加速度情報と位置情報とから何かに登っていると判断される場合を、その園児特有の危険行動モードとして個別危険行動モード登録部２３Ｂに登録する。ステップＳＴ３５で、潜在的に危険な状態と判定した場合には、ステップＳＴ２８へと進む。
【００５２】
次にステップＳＴ３６においては、長時間他の園児と違う行動モードにあるか否かが判定される。ステップＳＴ３７では、他の園児と比べて長時間にわたって平均心拍数に非常に大きな変化あったか否かが判定される。ステップＳＴ３８では、長時間にわたって直接通信可能な他の行動情報収集デバイスが存在しないか否かが判定される。ステップＳＴ３６乃至ステップＳＴ３８は、ステップＳＴ３１乃至ステップＳＴ３３と比べて行動モードの継続時間が長い場合である。行動モードの継続時間が長いことは、園児が高い木に登って動けない状況にあるとか、ロッカの中から出れない状況にある等、急いで対応する必要がある状態が発生している可能性が高い。ステップＳＴ３９では、行動情報収集デバイスから解析用サーバへの通信が途絶えているか否かが判定される。通信が途絶えていることは、通信ネットワークの通信可能範囲外に園児が出てしまった可能性が高いことが予測される。ステップＳＴ４０では、非常に急激な加速の変化の後、加速度の値に変化がないか否かが判定される。このような行動モードでは、高所から転落して動けない状態になっていることが予測される。そしてステップＳＴ４１では、ステップＳＴ３４と同様に、園児の親が指定した状況に合致しているか否かが判定される。例えば、心臓に障害のある園児の場合には平均心拍数が、予め定めた数より少なくなった場合には緊急度の高い潜在的に危険な状態が発生していることが予測される。ステップＳＴ３６乃至ステップＳＴ４１のいずれかの危険行動モードに合致することが判定されると、ステップＳＴ４２で緊急度の高い潜在的に危険な状態にあると判定されてステップＳＴ２８及びステップＳＴ３０へと進む。
【００５３】
図８は、図１の閲覧部２４をコンピュータを利用して実現する場合のソフトウエアのアルゴリズムの一例のフローチャートを示している。閲覧部２４は、閲覧者（ガードマン、保護者等）から閲覧要求が送信されると、データ保存部２２に保存された少なくとも画像情報の閲覧を閲覧者に許可する。このとき行動情報の少なくとも一部及び／または音声情報の閲覧を、画像情報の閲覧と併せて行えるようにしてもよい。図８のフローチャートでは、ステップＳＴ５１で個人認証を行う。個人認証は、パスワードの入力、指紋認証、カードキーによる認証等、どのようなものでもよい。ステップＳＴ５２で認証が認められると、ステップＳＴ５３で該当する行動情報収集デバイスについて解析用サーバ２のデータ保存部２２に保存している画像データの画像の一覧を表示する。図９は、一覧の表示画面Ｄの一例を示している。本実施の形態では、ＧＰＳ３１Ｂを行動情報検出部３１が搭載しているため、園児の移動履歴が時間と一緒に表示される。図９においては、定期的な撮影指令が解析用サーバ２の通信部２１から行動情報収集デバイス３に送信されて行動情報収集デバイス３が撮影した画像が表示される。また画像Ｐの横には、そのときに対象となった園児の周囲にいた他の園児の位置関係が表示される。潜在的に危険な状態が検出されると「異常」の表示が表示画面Ｄに表示される。またそのときの行動内容（行動情報の一部）「園内で５分以上静止」の文字が表示される。そして、解析用サーバ２からアラーム信号（撮影及び送信を要求する指令）が、潜在的に危険な状態にある園児が装着する行動情報収集デバイス３と、該園児の行動情報収集デバイスと直接通信可能な他の行動情報収集デバイスに出力されて撮影された画像Ｐ及びＰ′が表示される。また画像Ｐ及びＰ′の横には、そのときに対象となった園児の周囲にいた他の園児の位置関係が表示される。なおデータ保存部２２には、予め定めた期間例えば１ヶ月分の収集データが保存されている。したがって閲覧部２４は、保存しているデータを後日閲覧することも許容している。過去のデータの閲覧を容易にするために、表示画面上にカレンダを表示して、このカレンダ上で閲覧すべき日を指定できるようにしてもよいのは勿論である。
【００５４】
園児の行動状態を収集する本実施の形態の行動情報収集システムによれば、潜在的に危険な状態に遭遇したときの画像が記録できるだけでなく、事後に日中の出来事を確認することで親子の情報共有ができるという特長がある。就学前児童の場合には、ことばで出来事を伝えることは困難であるが、本システムを用いれば日中の状況を確認することが可能となる。一日のデータを構造化して表示する機能を持たせることで、子どもに起きた出来事を確認することが可能となる。
【００５５】
判定部２３Ｃではデータ保存部２２に保存された行動情報のデータから行動情報収集デバイス３を装着した利用者がどのような行動をしたのかを判定している。ＧＰＳ３１Ｂの出力データからは場所が特定され、加速度センサ３１Ａの出力からは、行動の種類が特定される。園児を対象とした場合を例にすれば、「室外遊び」「散歩」「食事」及び「室内遊び」のいずれであるかが判れば、ほぼ行動を把握することができる。図１０は、加速度センサ３１Ａから得た加速度データと心拍計３１Ｃから得た心拍数のデータに基づいて、行動の種類を把握する場合のアルゴリズムを示している。図１１には、「室外遊び」「散歩」「食事」及び「室内遊び」のときのＹ軸加速度のスペクトログラムの一例が示してある。このスペクトログラムは、横軸が時間（s）を表し、縦軸が周波数（Hz）を表す。そして各点の色で、ある時点のある周波数の強さ（dB）を表す。「散歩」のスペクトログラムでは、継続的に２Hz付近にピークが表れていることが分かる。また「室外遊び」のスペクトログラムでは、断続的に４Hz付近にピークが表れ、比較的高い周波数でも大きい振幅が表れていることが分かる。しかし、「食事」と「室内遊び」のスペクトログラムでは、特徴的なピークは表れていない。よって、Ｙ軸加速度のスペクトログラムを用いることで、行動の種類を「散歩」「室外遊び」「食事または室内遊び」の三つに識別できることが分かった。しかし「食事」「室内遊び」といった動きがあまり変わらない行動を識別するためには、Ｙ軸加速度以外の情報が必要である。そこで心拍データの統計分析を利用するために、３人の被験者にいついて、「食事」「室内遊び」に対する、心拍（bpm）の平均と標準偏差を測定した。その結果は以下の表１のとおりである。
【表１】
【００５６】
上記表１に示されるとおり、三人の被験者はともに、「室内遊び」のときの心拍は「食事」のときの心拍と比較して、平均は大きくなり、標準偏差は小さくなっていることが分かる。そこで図１０のアルゴリズムは上記試験結果を採用した。
【００５７】
判定部２３Ｃが、例えばデータ保存部２２に保存された加速度データのＹ軸加速度のスペクトログラムの基本周波数Ｆsと平均心拍数（Ｈave）のデータまたは心拍数の標準偏差（Ｈstd）とから、行動の種類を判定するために、事前に以下の平均的なデータを実験により求めておく。
【００５８】
Ｈ′ave：食事、室内遊びのときの標準的な平均心拍数
Ｈ′std：食事、室内遊びのときの標準的な心拍数の標準偏差
図１０のアルゴリズムに従えば、加速度データのＹ軸加速度のスペクトログラムの基本周波数が低い場合には、「室外遊び」と判定され、基本周波数が高い場合には、「散歩」と判定され、更に基本周波数が高い場合において、平均心拍数が事前に求めた標準的な平均心拍数より小さく、または心拍数の標準偏差が標準的な心拍数の標準偏差よりも大きいときには「食事」と判定され、それ以外の場合には「室内遊び」と判定される。
【００５９】
図１０のアルゴリズムは一例であり、行動情報検出部３１から検出した行動情報からどのように行動の種類を判定するのかは任意である。
【００６０】
上記実施の形態では、マイクロフォン３６として差分マイクロフォンを用いているが、プライバシーの保護を追求すると、園児本人の音声だけを録音できるようにするのがこのまし。そのためには、まず差分マイクロフォンで集音した録音データ中から発生区間を検出する。発生区間を検出するためには、録音データをフレーム分割し、フレーム毎に音声信号エネルギの平均を求め、それが閾値より大きいフレームを発声区間とする。次にフレーム長を求める。発声区間が正確に検出されるために、録音データを分割するフレームの長さは、録音データ中の各発声の長さ以下であることが望ましい。そこで録音データを調べ、咳払いなどの瞬間的なものを除いた発声の中で、その時間が最小である発声の長さをフレーム長とする。そして閾値を適宜に設定する。発声区間の正確な検出のためには、フレーム長だけでなく、信号エネルギの平均に対する閾値も適切に設定する必要がある。そこで、録音実験で得た録音データをフレーム分割し、フレーム毎に平均エネルギを求め、このうち最大の平均エネルギの２分の１、３分の１、４分の１を閾値としてそれぞれ発声区間の検出を行った結果、３分の１のときが最も正確に発声区間が検出された。そこでこれを閾値とする。２人以上の園児が至近距離にいる状況で、このうち１人が大声を出した際、他の園児の差分マイクがこの声を抑制し切れず、発声していない園児の発声であると検出される可能性がある。そこで発声区間の検出後、発声の始点と終点がともに一致する園児が複数いる場合には、その区間における信号エネルギの平均を園児毎に求める。そして、エネルギ平均が最大である園児の発声として、それ以外の園児についてはこの発声区間を削除することとする。このようにすると、差分マイクによる録音データを分析することで、録音したい声以外の周囲の会話が入力された際にそのプライバシーを保護するシステムを構築できる。
【産業上の利用可能性】
【００６１】
本発明によれば、利用者の行動情報から利用者が予め定めた潜在的に危険な状態にあることを判定するとアラーム信号が発生して対処を可能にするとともに、利用者の周囲の風景の画像情報を閲覧することが可能になるため、従来よりも、高い精度で利用者が危険な状態にあるか否かを判定することができる。
【符号の説明】
【００６２】
１ 行動情報収集システム
２ 解析用サーバ
３ 行動情報収集デバイス
４ 通信端末
２１，３２ 通信部
２２，３３ データ保存部
２３ アラーム信号発生部
２４ 閲覧部
２５ 通知部
２６ 制御部
３１ 行動情報検出部
３４ 制御部
３５ 撮影部
３６ マイクロフォン
【特許請求の範囲】
【請求項１】
複数の利用者の行動情報を解析する解析用サーバと、
前記複数の利用者にそれぞれ装着され、前記利用者の行動情報を検出する行動情報検出部と、通信ネットワークを介して前記解析用サーバと通信を行って前記利用者の前記行動情報を前記解析用サーバに送信する通信部とを備えた複数の行動情報収集デバイスとからなる行動情報収集システムであって、
前記行動情報収集デバイスは、予め定めた撮影ルールに従って前記利用者の周囲の風景の少なくとも一部を撮影して画像情報としてデータ保存部に保存する撮影部をさらに備え、前記通信部は予め定めた通信ルールに従って、前記利用者の前記行動情報及び前記画像情報を前記解析用サーバに送信するように構成され、
前記解析用サーバは、送信されてきた前記行動情報及び前記画像情報を前記利用者毎に時系列で保存するデータ保存部と、前記行動情報収集デバイスから送信されてきた少なくとも前記行動情報に基づいて、前記利用者が予め定めた潜在的に危険な状態にあることを判定するとアラーム信号を発生するアラーム信号発生部と、閲覧者から閲覧要求が送信されると、前記データ保存部に保存された少なくとも前記画像情報の閲覧を前記閲覧者に許可する閲覧部とを備えていることを特徴とする行動情報収集システム。
【請求項２】
前記複数の行動情報収集デバイスは、それぞれ前記通信ネットワークにおける中継器となる機能を有しており、
前記予め定めた通信ルールには、前記アラーム信号を受信すると、撮影を行うという特定撮影ルールが含まれており、
前記予め定めた通信ルールには、前記解析用サーバに前記行動情報または前記画像情報を送信するときに、その時点で前記通信ネットワークを介して直接通信可能な他の行動情報収集デバイスを特定する情報を前記解析用サーバに前記行動情報または前記画像情報と一緒に送信するという特定通信ルールが含まれており、
前記解析用サーバの前記アラーム信号発生部は、前記アラーム信号を少なくとも前記潜在的に危険な状態にある前記利用者が装着する前記行動情報収集デバイス及び該行動情報収集デバイスと通信可能な前記他の行動情報収集デバイスに送信することを特徴とする請求項１に記載の行動情報収集システム。
【請求項３】
前記通信ネットワークは、前記利用者の想定される行動範囲内にある前記行動情報収集デバイスと通信可能な１以上の専用中継器を備えている請求項２に記載の行動情報収集システム。
【請求項４】
前記特定通信ルールは、前記その時点から遡って予め定めた期間内において前記通信ネットワークを介して直接通信可能であった他の行動情報収集デバイスを特定する情報を前記解析用サーバに送信するというルールを含んでおり、
前記解析用サーバの前記アラーム信号発生部は、前記アラーム信号を直接通信可能であった他の行動情報収集デバイスにも送信することを特徴とする請求項２または３に記載の行動情報収集システム。
【請求項５】
前記複数の行動情報収集デバイスは、それぞれ前記通信ネットワークにおける中継器となる機能を有しており、
前記予め定めた通信ルールには、前記アラーム信号を受信すると、撮影を行うという特定撮影ルールが含まれており、
前記予め定めた通信ルールには、前記撮影を行うと前記画像情報を前記解析用サーバに送信するという特定通信ルールが含まれており、
前記解析用サーバの前記アラーム信号発生部は、前記アラーム信号を前記複数の行動情報収集デバイスのすべてに対して前記通信ネットワークを介して送信することを特徴とする請求項１に記載の行動情報収集システム。
【請求項６】
前記行動情報収集デバイスの前記通信部は、他のすべての前記行動情報収集デバイスと通信可能な状態にないときに、前記解析用サーバに前記専用中継器を通して、その状況を前記行動情報の一つとして送信するように構成され、
前記解析用サーバの前記アラーム信号発生部は、他のすべての前記行動情報収集デバイスと通信可能な状態にない状況を示す前記行動情報が入力されると前記アラーム信号を発生するように構成されている請求項３に記載の行動情報収集システム。
【請求項７】
前記解析用サーバの前記アラーム信号発生部は、前記利用者の前記行動情報と該利用者の周囲にいる他の前記利用者の行動情報とを対比して、前記行動情報から得られる行動モードの相違に予め定めた以上の差があるときに、前記利用者が予め定めた潜在的に危険な状態にあると判定することを特徴とする請求項１に記載の行動情報収集システム。
【請求項８】
前記行動情報には、前記利用者が移動する際の速度または加速度情報、前記利用者の位置情報及び心拍情報が含まれており、
前記アラーム信号発生部は、前記速度または加速度情報から前記利用者の行動モードが予め定めた潜在的に危険な行動モードにあると判断したとき、または前記利用者の前記心拍情報から前記利用者の心拍が前記他の利用者の心拍と比べて予め定めた以上の変化をしたときに、前記利用者が予め定めた潜在的に危険な状態にあると判定する請求項７に記載の行動情報収集システム。
【請求項９】
前記アラーム信号発生部は、前記行動情報収集デバイスから予め定めた時間以上送信がないときには、前記利用者が予め定めた潜在的に危険な状態にあると判定する請求項１に記載の行動情報収集システム。
【請求項１０】
前記行動情報検出部は、前記利用者が行動しているときの加速度を前記行動情報の一つとして検出するように構成されており、
前記アラーム信号発生部は、前記利用者の前記加速度の変化が予め定めた以上の変化であるときに、前記利用者が予め定めた潜在的に危険な状態にあると判定する請求項１または５に記載の行動情報収集システム。
【請求項１１】
前記解析用サーバは、前記アラーム信号発生部が前記アラーム信号を発生すると、前記利用者に対応して予め登録した連絡先の通信端末に、前記利用者が予め定めた潜在的に危険な状態にあることを通知する通知部を更に備えている請求項１に記載の行動情報収集システム。
【請求項１２】
前記解析用サーバは、前記複数の利用者について個別に定めた危険行動モードを登録する個別危険行動モード登録部を更に備え、前記アラーム信号発生部は、前記利用者の前記行動情報から前記利用者について登録した前記危険行動モードの発生を判定すると前記アラーム信号を発生する請求項１１に記載の行動情報収集システム。
【請求項１３】
前記行動情報収集デバイスは、前記撮影部が撮影を行うときに周囲の音を集音するマイクロフォンと集音した音を録音する録音部とを更に備えており、
前記通信部は、前記画像情報と組み合わせて前記録音部に録音した録音データを前記解析用サーバに送信するように構成され、
前記解析用サーバは、前記データ保存部に前記画像情報及び前記録音データを組み合わせて保存しており、
前記閲覧部は前記画像情報の閲覧と同時に前記画像情報に同期して前記録音データの再生を許可することを特徴とする請求項１に記載の行動情報収集システム。
【請求項１４】
前記マイクロフォンが差分マイクロフォンである請求項１３に記載の行動情報収集システム。
【請求項１５】
請求項１乃至１２のいずれか１項に記載の行動情報収集システムにおいて使用される行動情報収集デバイスであって、
内部に少なくとも前記行動情報検出部と、前記通信部と前記撮影部とが収納され且つ前記利用者の胸の前に配置可能な形状を有する本体ケースと、前記本体ケースに一端が接続され他端が集結された３点固定式の３本のベルトとからなり、前記３本のベルトは、前記本体ケースを前記利用者の胸に押し付けるように前記一端の取り付け位置が定められていることをと特徴とする行動情報収集デバイス。
【請求項１６】
前記行動情報検出部は、加速度センサ、グローバル・ポジショニング・システム及び心拍計を備えている請求項１５に記載の行動情報収集デバイス。
【請求項１】
複数の利用者の行動情報を解析する解析用サーバと、
前記複数の利用者にそれぞれ装着され、前記利用者の行動情報を検出する行動情報検出部と、通信ネットワークを介して前記解析用サーバと通信を行って前記利用者の前記行動情報を前記解析用サーバに送信する通信部とを備えた複数の行動情報収集デバイスとからなる行動情報収集システムであって、
前記行動情報収集デバイスは、予め定めた撮影ルールに従って前記利用者の周囲の風景の少なくとも一部を撮影して画像情報としてデータ保存部に保存する撮影部をさらに備え、前記通信部は予め定めた通信ルールに従って、前記利用者の前記行動情報及び前記画像情報を前記解析用サーバに送信するように構成され、
前記解析用サーバは、送信されてきた前記行動情報及び前記画像情報を前記利用者毎に時系列で保存するデータ保存部と、前記行動情報収集デバイスから送信されてきた少なくとも前記行動情報に基づいて、前記利用者が予め定めた潜在的に危険な状態にあることを判定するとアラーム信号を発生するアラーム信号発生部と、閲覧者から閲覧要求が送信されると、前記データ保存部に保存された少なくとも前記画像情報の閲覧を前記閲覧者に許可する閲覧部とを備えていることを特徴とする行動情報収集システム。
【請求項２】
前記複数の行動情報収集デバイスは、それぞれ前記通信ネットワークにおける中継器となる機能を有しており、
前記予め定めた通信ルールには、前記アラーム信号を受信すると、撮影を行うという特定撮影ルールが含まれており、
前記予め定めた通信ルールには、前記解析用サーバに前記行動情報または前記画像情報を送信するときに、その時点で前記通信ネットワークを介して直接通信可能な他の行動情報収集デバイスを特定する情報を前記解析用サーバに前記行動情報または前記画像情報と一緒に送信するという特定通信ルールが含まれており、
前記解析用サーバの前記アラーム信号発生部は、前記アラーム信号を少なくとも前記潜在的に危険な状態にある前記利用者が装着する前記行動情報収集デバイス及び該行動情報収集デバイスと通信可能な前記他の行動情報収集デバイスに送信することを特徴とする請求項１に記載の行動情報収集システム。
【請求項３】
前記通信ネットワークは、前記利用者の想定される行動範囲内にある前記行動情報収集デバイスと通信可能な１以上の専用中継器を備えている請求項２に記載の行動情報収集システム。
【請求項４】
前記特定通信ルールは、前記その時点から遡って予め定めた期間内において前記通信ネットワークを介して直接通信可能であった他の行動情報収集デバイスを特定する情報を前記解析用サーバに送信するというルールを含んでおり、
前記解析用サーバの前記アラーム信号発生部は、前記アラーム信号を直接通信可能であった他の行動情報収集デバイスにも送信することを特徴とする請求項２または３に記載の行動情報収集システム。
【請求項５】
前記複数の行動情報収集デバイスは、それぞれ前記通信ネットワークにおける中継器となる機能を有しており、
前記予め定めた通信ルールには、前記アラーム信号を受信すると、撮影を行うという特定撮影ルールが含まれており、
前記予め定めた通信ルールには、前記撮影を行うと前記画像情報を前記解析用サーバに送信するという特定通信ルールが含まれており、
前記解析用サーバの前記アラーム信号発生部は、前記アラーム信号を前記複数の行動情報収集デバイスのすべてに対して前記通信ネットワークを介して送信することを特徴とする請求項１に記載の行動情報収集システム。
【請求項６】
前記行動情報収集デバイスの前記通信部は、他のすべての前記行動情報収集デバイスと通信可能な状態にないときに、前記解析用サーバに前記専用中継器を通して、その状況を前記行動情報の一つとして送信するように構成され、
前記解析用サーバの前記アラーム信号発生部は、他のすべての前記行動情報収集デバイスと通信可能な状態にない状況を示す前記行動情報が入力されると前記アラーム信号を発生するように構成されている請求項３に記載の行動情報収集システム。
【請求項７】
前記解析用サーバの前記アラーム信号発生部は、前記利用者の前記行動情報と該利用者の周囲にいる他の前記利用者の行動情報とを対比して、前記行動情報から得られる行動モードの相違に予め定めた以上の差があるときに、前記利用者が予め定めた潜在的に危険な状態にあると判定することを特徴とする請求項１に記載の行動情報収集システム。
【請求項８】
前記行動情報には、前記利用者が移動する際の速度または加速度情報、前記利用者の位置情報及び心拍情報が含まれており、
前記アラーム信号発生部は、前記速度または加速度情報から前記利用者の行動モードが予め定めた潜在的に危険な行動モードにあると判断したとき、または前記利用者の前記心拍情報から前記利用者の心拍が前記他の利用者の心拍と比べて予め定めた以上の変化をしたときに、前記利用者が予め定めた潜在的に危険な状態にあると判定する請求項７に記載の行動情報収集システム。
【請求項９】
前記アラーム信号発生部は、前記行動情報収集デバイスから予め定めた時間以上送信がないときには、前記利用者が予め定めた潜在的に危険な状態にあると判定する請求項１に記載の行動情報収集システム。
【請求項１０】
前記行動情報検出部は、前記利用者が行動しているときの加速度を前記行動情報の一つとして検出するように構成されており、
前記アラーム信号発生部は、前記利用者の前記加速度の変化が予め定めた以上の変化であるときに、前記利用者が予め定めた潜在的に危険な状態にあると判定する請求項１または５に記載の行動情報収集システム。
【請求項１１】
前記解析用サーバは、前記アラーム信号発生部が前記アラーム信号を発生すると、前記利用者に対応して予め登録した連絡先の通信端末に、前記利用者が予め定めた潜在的に危険な状態にあることを通知する通知部を更に備えている請求項１に記載の行動情報収集システム。
【請求項１２】
前記解析用サーバは、前記複数の利用者について個別に定めた危険行動モードを登録する個別危険行動モード登録部を更に備え、前記アラーム信号発生部は、前記利用者の前記行動情報から前記利用者について登録した前記危険行動モードの発生を判定すると前記アラーム信号を発生する請求項１１に記載の行動情報収集システム。
【請求項１３】
前記行動情報収集デバイスは、前記撮影部が撮影を行うときに周囲の音を集音するマイクロフォンと集音した音を録音する録音部とを更に備えており、
前記通信部は、前記画像情報と組み合わせて前記録音部に録音した録音データを前記解析用サーバに送信するように構成され、
前記解析用サーバは、前記データ保存部に前記画像情報及び前記録音データを組み合わせて保存しており、
前記閲覧部は前記画像情報の閲覧と同時に前記画像情報に同期して前記録音データの再生を許可することを特徴とする請求項１に記載の行動情報収集システム。
【請求項１４】
前記マイクロフォンが差分マイクロフォンである請求項１３に記載の行動情報収集システム。
【請求項１５】
請求項１乃至１２のいずれか１項に記載の行動情報収集システムにおいて使用される行動情報収集デバイスであって、
内部に少なくとも前記行動情報検出部と、前記通信部と前記撮影部とが収納され且つ前記利用者の胸の前に配置可能な形状を有する本体ケースと、前記本体ケースに一端が接続され他端が集結された３点固定式の３本のベルトとからなり、前記３本のベルトは、前記本体ケースを前記利用者の胸に押し付けるように前記一端の取り付け位置が定められていることをと特徴とする行動情報収集デバイス。
【請求項１６】
前記行動情報検出部は、加速度センサ、グローバル・ポジショニング・システム及び心拍計を備えている請求項１５に記載の行動情報収集デバイス。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図４】
【図９】
【図１１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図４】
【図９】
【図１１】
【公開番号】特開２０１２−５８９９３（Ｐ２０１２−５８９９３Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０１２８６（Ｐ２０１０−２０１２８６）
【出願日】平成２２年９月８日（２０１０．９．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年３月８日 社団法人情報処理学会発行の「情報処理学会 創立５０周年記念（第７２回）全国大会 言語処理学会 第１６回年次大会 大会共通講演論文集ＤＶＤ」に発表
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、関東総合通信局、子どもの安全・安心のための地域情報共有システムの研究開発に係る委託業務、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０４１７１１３４）国立大学法人 筑波大学 (510)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月８日（２０１０．９．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年３月８日 社団法人情報処理学会発行の「情報処理学会 創立５０周年記念（第７２回）全国大会 言語処理学会 第１６回年次大会 大会共通講演論文集ＤＶＤ」に発表
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、関東総合通信局、子どもの安全・安心のための地域情報共有システムの研究開発に係る委託業務、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０４１７１１３４）国立大学法人 筑波大学 (510)
【Ｆターム（参考）】
[ Back to top ]