生活空間の見守りシステム
【構成】 見守りシステム１０は、家１６（生活空間）の中に音センサデバイス１８を設置し、音センサデバイスのマイクロコントローラ１８ｂは、音センサ１８ａの音信を処理することによって、時間および周波数の両方向において簡略化したスペクトログラムを生成す。このスペクトログラムはホームゲートウェイ１４からネットワーク１２を通して見守りサーバ２０に伝送される。見守りサーバでは、簡略化したスペクトログラムに対して複数のフィルタを掛け、それによるスコア値を算出し、各フィルタのスコア値から、生活空間および／または対象者の状況を認識する。
【効果】対象者のプライバシを十分に考慮しつつ、具体的な状況を認識できる。
【効果】対象者のプライバシを十分に考慮しつつ、具体的な状況を認識できる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は生活空間の見守りシステムに関し、特に、たとえば家の中などの生活空間にマイクロフォンなどの音センサを配置して生活音を検出することによって、その家の中で生活するたとえば独居高齢者の状態を見守るような、見守りシステムに関する。
【背景技術】
【０００２】
日本は高齢化が急速に進み、総人口に占める高齢者（６５歳以上）の割合が２１％にも達する超高齢社会となった。特に高齢単身世帯の増加が著しく、１人でも安心して暮らせるような生活支援のための仕組みづくりが求められている。
【０００３】
独居高齢者の見守りシステムには、ポットなどの家電製品にセンサを内蔵する方法、住宅設備の水、ガス、電気などの使用量を把握する方法、家の各所に設置した人感センサで動きを捉える方法、映像、音など人感センサよりも多くの情報が得られるセンサで空間認識する方法など、さまざまな方法が提案されている。これらの非拘束、無意識で取得する方法では、家族などのシステム利用者に関わる人が、利用者の日々の生活パターンを把握しておくことで、日常と異なる傾向が現れた際に電話やメールで連絡するといった行動を起こすことが期待できる。
【０００４】
非特許文献１の方法では、マイクロフォンを用いて日々の生活から生じる音の強さを取得し、異常検出を試みている。
【非特許文献１】品川佳満、岸本俊夫、太田茂、「マイクロフォンセンサを用いた在宅行動モニタリング」、川崎医療福祉学会誌、15(2), 615-620, 2006
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１の背景技術では、音の強さのみで状況を推定するようにしているため、単純な状態、たとえば起きている、寝ているなどの状態しか推定できない。
【０００６】
また、居室等に配置したマイクロフォンが収集した音をそのまま利用するようにしているため、プライバシの保護が不充分になるおそれがある。
【０００７】
それゆえに、この発明の主たる目的は、新規な、生活空間の見守りシステムを提供することである。
【０００８】
この発明の他の目的は、対象者のプライバシを十分に考慮しつつ、より具体的な状況を認識できる、生活空間の見守りシステムを提供することである。
【課題を解決するための手段】
【０００９】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
【００１０】
第１の発明は、生活空間の見守りシステムであって、生活空間内に設置されて、音を収集して音信号を出力する音センサ、音センサからの音信号を処理することによって、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成するスペクトログラム生成手段、および簡略化スペクトログラムをフィルタリング処理することによって、生活空間内の状態を観測する状態観察手段を備える、生活空間の見守りシステムである。
【００１１】
第１の発明では、たとえば家（１６：実施例において相当または対応する部分を例示する参照号を示す。以下同様。）の中の生活空間に音センサ（１８，１８ａ）を配置し、この音センサから音信号が出力される。
【００１２】
マイクロコントローラなどのコンピュータを含むスペクトログラム生成手段（１８ｂ，２４３，Ｓ１−Ｓ７）では、この音信号を音信号データとして取り込み、一例として、音信号データの１０２４サンプルに対して、窓関数をかけて、１２８サンプルごとの８分割の後、１個ずつとばした４個のデータのみを切り出し、切り出したデータそれぞれに短時間フーリエ変換（ＳＴＦＴ）を行って時間軸方向に簡略化する。その後、周波数軸方向に簡略化する。周波数軸方向における簡略化処理では、ＦＦＴにより求められる周波数成分を、たとえば５つの周波数帯に大まかにまとめる。まとめる操作においては、周波数成分を生活音分類項目に合うように区分し、その区分中における信号強度の最大値または平均値を用いて、それぞれ新たな周波数帯と信号強度に置き換える処理を行うことで時間軸方向簡略化したデータを生成する。つまり、スペクトログラム生成手段では、時間軸および周波数軸の両方向においてともに簡略化したスペクトログラムを生成する。
【００１３】
このようにして簡略したスペクトログラムが、実施例ではホームゲートウェイおよびネットワークを通して、状態観察手段を構成する見守りサーバ（２０）に送られる。
【００１４】
見守りサーバすなわち状態観察手段（２０，２８３，Ｓ２１）では、上述の周波数方向に簡略化したＭ個（実施例では５つ）の周波数帯に対応してＭ個（実施例では５つ）のフィルタを設定し、そのフィルタリング処理によって生活空間および／または対象者の状態を認識する。
【００１５】
第１の発明によれば、音センサが出力する音信号から時間および周波数の両軸方向に粗い（簡略化した）スペクトログラムを生成するので、つまり生の音を用いないので、対象者のプライバシを保護することができる。簡略化したスペクトログラムをフィルタリングした結果に基づいて状態認識がなされるので、音の強さだけによって状態認識をする場合に比べて、より具体的な状況が認識できる。
【００１６】
第２の発明は、第１の発明に従属し、スペクトログラム生成手段は、複数の周波数帯において代表値を用いることによって周波数方向における簡略化を行い、状態観察手段は、スペクトログラム生成手段の周波数帯と同じ周波数帯のフィルタを用いてフィルタリング処理を実行してスコア値を算出するフィルタリング手段、および各フィルタのスコア値に基づいて状況を認識する状況認識手段を含む、生活空間の見守りシステムである。
【００１７】
第２の発明では、たとえば、各フィルタのスコア値のパターンを予め設定している状況パターンのデータベースと対照することによって、そのときの、または一定時間での生活空間および／または対象者の状況を認識する。第２の発明によれば、フィルタリングのスコア値に基づいて状況認識するため、単に音の強さだけで判断する場合などに比べて、生活空間および／または対象者のより具体的な状況を認識することができる。
【００１８】
第３の発明は、第２の発明に従属し、生活空間内に複数の音センサを配置し、スペクトログラム生成手段は各音センサからの音信を処理して複数の、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成し、状態観察手段は、複数のスペクトログラムをフィルタリングした結果のスコア値に基づいて音源位置を推定する音源位置推定手段をさらに含み、状況認識手段は、各フィルタのスコア値および音源位置に基づいて状況を認識する、生活空間の見守りシステムである。
【００１９】
第３の発明では、複数の音センサデバイスのうちの２つの音センサの出力を用いて、その音が、１対の音センサデバイスを結ぶ線上のどの位置付近から発生しているかを推定（位置推定）できる。つまり、１対の音センサからの音データ（スコア値）の差分をとることで、これらの音センサに対する音源位置の相関関係が現れる。音源の位置が推定できるので、状況パターンデータベースには、音源位置を加味した状況分析パターンを蓄積しておき、そのパターンデータを用いて、音源位置を加味して状況を認識する。第３の発明によれば、スコア値および音源位置に基づいて状況を分析するので、さらに詳細な状況を認識することができる。
【００２０】
第４の発明は、第１ないし第３のいずれかの発明に従属し、スペクトログラム生成手段が設定する複数の周波数帯は、全体として対象生活空間における生活音の周波数範囲をカバーするように設定されている、生活空間の見守りシステムである。
【００２１】
第４の発明では、Ｍ個（実施例では５つ）の周波数帯は、低周波数帯域(歩く音など)を対象とする０−３００Ｈｚ、人の声1（音声基本周波数を含む音など）を対象とする３００−８００Ｈｚ、人の声2（倍音を多く含む音など）を対象とする８００−２０００Ｈｚ、中周波数帯域（テレビなどの複合的音など）を対象とする２０００−４０００Ｈｚ、そして高周波数帯域（紙などに触る音など）を対象とする３４００−５５１２Ｈｚに設定し、全体として生活音（便宜上、人が直接物に触れることで発生する音を生活音と定義し、それ以外の要因が絡む音を環境音と定義する。）をカバーするようにした。第４の発明によれば、生活音をカバーするようにしているため、安価な音センサ（マイクロフォン）を使用しても、生活空間や対象者を効率よく見守ることができる。
【発明の効果】
【００２２】
この発明によれば、対象者のプライバシを十分に考慮しつつ、より具体的な状況を認識できる、生活空間の見守りシステムが得られる。
【００２３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２４】
【図１】図１はこの発明の一実施例の生活空間の見守りシステムを示すブロック図である。
【図２】図２は図１実施例における音センサデバイスに含まれるマイクロコントローラのメモリマップの一例を示す図解図である。
【図３】図３は図１実施例における音センサデバイスに含まれるマイクロコントローラによる時間方向の簡略化の流れを示す図解図である。
【図４】図４は図１実施例における音センサデバイスに含まれるマイクロコントローラによる周波数方向の簡略化の流れを示す図解図である。
【図５】図５は図１実施例における音センサデバイスのマイクロコントローラが収集する音信号および生成するスペクトログラムの一例を示す写真であり、図５（ａ）がビニール袋を手でつかむときに発生する音（ビニール袋音）の音信号およびスペクトログラムを示し、下２つが周波数および時間の両軸方向に粗くしたスペクトログラムであり、図５（ｂ）がスリッパでフローリングの床を歩くときの音（スリッパ音）の音信号およびスペクトログラムを示し、図５（ｃ）が男性が発話したときの音（発話音）の音信号およびスペクトログラムを示す。
【図６】図６は図１実施例における見守りサーバのメモリマップの一例を示す図解図である。
【図７】図７は図５の下から２つ目のスペクトログラム（周波数および時間について簡略化する際に最大値を用いたスペクトログラム）から、おのおのの時刻に対し、周波数軸に沿って各種フィルタを掛け、スコアを算出したときに得られる値をプロットしたグラフであり、グラフ中のフィルタ係数は、左側から右側へ向かって、低周波、人の声1、人の声2、中周波、高周波という５つに区分された生活音分類項目の周波数帯に対応しており、それぞれに掛ける値を示す。
【図８】図８は図１実施例における音センサデバイスのマイクロコントローラの動作の一例を示すフロー図である。
【図９】図８は図１実施例における見守りサーバの動作を示すフロー図である。
【図１０】図１０はこの発明の他の実施例の生活空間の見守りシステムを示すブロック図である。
【図１１】図１１は図１０実施例における音センサのデバイスの配置の一例を示す図解図である。
【図１２】図１２は図１０実施例において振幅から音源位置を推定する際のグラフである。
【図１３】図１３は図１０実施例において全域フィルタを通した後の振幅により音源位置を推定する際の振幅を示すグラフである。
【図１４】図１４は図１０実施例における見守りサーバの動作を一例を示すフロー図である。
【図１５】図１５は図１０実施例における見守りサーバの動作を他の例を示すフロー図である。
【発明を実施するための最良の形態】
【００２５】
図１を参照して、この実施例の生活空間の見守りシステム（以下、単に、「見守りシステム」という。）１０は、たとえばインタネットのようなネットワーク１２を利用する。ネットワーク１２には対象となる生活空間を形成する家１６に設置されているホームゲートウェイ１４が接続される。ホームゲートウェイ１４は、家１６すなわち部屋や廊下などの家１６の中の任意の場所（生活空間）に設置された、典型的にはマイクロフォンのような音センサを含む音センサデバイス１８が収集して簡略化処理をした音データをネットワーク１２を介して、見守りサーバ２０に与える。
【００２６】
この実施例の見守りシステム１０は、音センサデバイス１８においてたとえば周波数方向および時間方向の２つの軸方向において粗くする手法などによって音データを簡略化して、それをホームゲートウェイ１４を通して見守りサーバ２０に伝送する。一方、見守りサーバ２０で、その簡略化した音データをフィルタリングすることによって、通常生活時、不在時、異常時などの状態または状況の識別情報を取得し、関係者に識別結果を伝える。
【００２７】
この実施例の見守りシステム１０では、簡略化した音データを用いることにより、ネットワーク１２を介して伝送する音データのデータ量を削減することができるとともに、生の音または音データをそのまま用いないので、話の内容などがその音データから分かることがなく、対象者のプライバシを十分に保護できる。
【００２８】
実施例では、音センサデバイス１８としては、たとえばBluethoothやWi-Fi、ZigBee（いずれも商品名）などの無線通信手段を内蔵した音センサデバイスを用いる。そのような無線式の音センサデバイス１８を用いることで、音センサを家１６内の任意の場所に自由に配置することができる。
【００２９】
音センサデバイス１８は図１に示すように、典型的にはマイクロフォンのような音センサ１８ａと、この音センサ１８ａから入力される音信号から簡略化したスペクトログラムを生成するマイクロコントローラ１８ｂを含む。マイクロコントローラ１８ｂは、生成した簡略化スペクトログラムを上述の無線手段によってホームゲートウェイ１４に送る。実施例の場合、音センサ１８ａとしては、少なくとも生活音の周波数範囲である、周波数範囲１００−１００００Ｈｚの音だけを集音できればよいので、比較的安価なマイクロフォンを利用できる。そのようなマイクロフォンとしては基本的には無指向性のものを用いるが、特に局所的な音を観察したい場合には指向性のものを利用することも可能である。
【００３０】
なお、図示しないが、開閉センサや人感センサなどの各種センサを家１６内に設置し、それらの各種センサのセンサ出力に基づく判断と簡略化した音データに基づく判断とを併用して、より高精度な状況分析を行えるようにしてもよい。開閉センサは、ドアや窓の開閉を検知できるセンサであり、人感センサは、対象となっている部屋や領域に人が存在するかなどを検知できるセンサである。これらの各種センサもホームゲートウェイに接続されてセキュリティサーバ（図示せず）のようなシステムで利用されるのであるが、ホームゲートウェイ１４がセキュリティシステムのものと共用され、見守りサーバ２０に、簡略化した音センサデータだけでなく、これらのセンサデータを伝達し、見守りサーバ２０では音データと併せてセンサデータを解釈することによって、より具体的な対象者の状況を把握するようにしてもよい。たとえば、人感センサのデータと開閉センサのデータとの組み合わせから、対象者が外出しているかどうかなどが判別できる。
【００３１】
図２にマイクロコントーラ１８ｂのメモリマップが示される。メモリ２２は、プログラム領域２４を含み、このプログラム領域２４には、ＯＳ２４１の他、音信号取り込みプログラム２４２、スペクトログラム生成プログラム２４３および送信プログラム２４４などが予め設定されている。
【００３２】
音信号取り込みプログラム２４２を実行することによって、マイクロコントーラ１８ｂは、音センサ１８ａから音信号を、一例として、サンプリング周波数１１０２５Ｈｚ、サンプリングビット数１６ビットで音データとして取得する。次に取得した音データに対して、短時間フーリエ変換（ＳＴＦＴ）を適用することで得られる周波数特性から振幅スペクトルを計算する。ただし、マイクロコントローラ１８ｂのような安価なコンピュータを搭載しているので、実施例では、計算処理を軽くするため、サンプリング周波数を低く抑えようにしている。もちろん、より高速計算が可能なコンピュータをマイクロコントローラ１８ｂに代えて用い、サンプリングし周波数を高くすることも可能である。
【００３３】
スペクトログラム生成プログラム２４３では、このようにして取得した音データから時間および周波数のそれぞれ軸方向において簡略化したスペクトログラムを生成する。
【００３４】
時間軸方向における簡略化処理では、たとえば図３に示すように、音データの１０２４サンプルに対して、ある窓関数（一例では、１２８サンプルごとの８分割の後、１個ずつとばした４個のデータのみを切り出す）をかけた後、切り出されたデータそれぞれに短時間フーリエ変換（ＳＴＦＴ）を行う（図４）。ただし、図４では、音データを窓関数により切り出し後、フーリエ変換を行う場合を図示したが、１０２４サンプル全体に対して高速フーリエ変換（ＦＦＴ）をかけた後、その処理結果に対し、上で述べた窓関数をかけてデータを切り出してもよい。
【００３５】
周波数軸方向における簡略化処理では、ＦＦＴにより求められる周波数成分を、生活音分類項目に適合するように、たとえば図４に示す手順に従って、まとめる操作を行う。単にサンプリング周波数１１０２５Ｈｚの１２８サンプルから振幅スペクトルを求めた場合、周波数分解能はおよそ８６．１３Ｈｚとなるが、そのままではデータ量が多く、プライバシ保護の観点からもぼかす処理が必要である。そこで、まとめる操作において、周波数成分を生活音分類項目に合うように区分し、その区分中における信号強度の最大値または平均値を用いて、それぞれ新たな周波数帯と信号強度に置き換える処理を行うことで簡略化したデータを生成する。
【００３６】
この実施例では、状況推定に用いる生活音の分類では、次の項目が検出できるように、周波数帯を区分し、それぞれに具体的な周波数を割り当てた。男性と女性の音声基本周波数はそれぞれ１２５Ｈｚと２５０Ｈｚ付近にあること、アナログ電話は３００−３４００Ｈｚであることなどを参考に区分している。
1) 低周波数帯域(歩く音など)…０−３００Ｈｚ
2) 人の声1（音声基本周波数を含む音など）…３００−８００Ｈｚ
3) 人の声2（倍音を多く含む音など）…８００−２０００Ｈｚ
4) 中周波数帯域（テレビなどの複合的音など）…２０００−４０００Ｈｚ
5) 高周波数帯域（紙などに触る音など）…３４００−５５１２Ｈｚ
なお、便宜上、人が直接物に触れることで発生する音を生活音と、それ以外の要因が絡む音を環境音と定義する。これにより、たとえば、リモコンを操作するときの音は生活音、テレビから発せられる音は環境音に分類する。
【００３７】
その後、各周波数帯の信号強度（振幅値）を、代表値、たとえば最大値または平均値によって置き換えることによって、周波数方向において簡略化する。ただし、実施例では、各周波数帯における信号強度が得られる振幅スペクトルに対して時間の概念を加え、おのおのの時刻と周波数に対応する信号強度の数値を時系列に並べたデータ、すなわち簡略化したスペクトログラムを生成する。つまり、周波数方向をおおまかに簡略化したのち、周波数帯ごとに、時間軸に沿って前後Ｍ個（一例では５個）の移動平均を計算することによって、ノイズ低減処理を実行する。
【００３８】
このようにして、スペクトログラム生成プログラム２４３を実行することによって、音センサデバイス１８のマイクロコントローラ１８ｂは時間軸および周波数軸共に簡略化または単純化したスペクトログラムを生成する。
【００３９】
図５にスペクトログラム生成プログラム２４３で生成した簡略化スペクトログラムの一例が図示されている。図５（ａ）がビニール袋音を示し、図５（ｂ）はスリッパ音を示し、図５（ｃ）が男性発話音をそれぞれ簡略化したときのグラフを表している。スペクトログラムは、ＳＴＦＴを適用することで求めた。ただし、図５（ａ）−（ｃ）のそれぞれの最上の図は音センサ１８ａが収集した音信号の波形を示し、上から２段目が時間軸についてだけ簡略化したスペクトログラムであり、上から３段目が、各周波数帯において代表値として「最大値」を採用した場合の時間軸および周波数軸においてともに簡略化スペクトログラムであり、最下段が、各周波数帯の代表値として「平均値」を採用した場合の簡略化スペクトログラムである。ただし、図５の写真は、さらに時間軸に対して移動平均によりノイズを低減する処理を行ったものを、横軸に簡略化した時間、縦軸に簡略化した周波数帯を示している。
【００４０】
下２つの写真とその上の写真を比べると、代表値として最大値を採った簡略化スペクトログラムのほうが、代表値として平均値を採用したものに比べて、再現性がよいことがわかる。したがって、実施例では代表値として最大値を採用した簡略化スペクトログラムを用いて、見守りサーバ２０における分析を行なうものとした。
【００４１】
送信プログラム２４４を実行することによって、マイクロコントローラ１８ｂは、簡略化したスペクトログラムのデータを、適宜のフォーマットのデータとしてホームゲートウェイ１４に向けて送信する。
【００４２】
図１の実施例では１つだけの音センサデバイス１８を用いたが、複数の音センサデバイスを用いる場合には、すべての音センサデバイスから同様にして、時間軸および周波数軸共に簡略化したスペクトログラムがホームゲートウェイ１４に送信されるので、ホームゲートウェイ１４はすべてのスペクトログラムデータをネットワーク１２を通じて見守りサーバ２０に送信する。
【００４３】
図６は、見守りサーバ２０のメモリマップを示す図解図であり、メモリ２６は、プログラム領域２８およびデータ記憶領域３０を含む。プログラム領域２８には、ＯＳ２８１の他、受信プログラム２８２、フィルタリングプログラム２８３、状況認識プログラム２８４、通信プログラム２８５などが設定される。
【００４４】
受信プログラム２８２は、ネットワーク１２を通してホームゲートウェイ１４から送られてくる簡略化したスペクトログラムのデータなどを適正に受信するためのプログラムである。受信したスペクトログラムデータは、データ記憶領域３０のスペクトログラムデータ記憶領域３０１に保存される。
【００４５】
見守りサーバ２０に送られてくる、簡略化されたスペクトログラムのデータから、当該生活空間ひいては見守り対象者がどのような状況なのかを識別するため、話し声検出用、歩く音検出用といったフィルタ（係数）を、各時刻に対し、単純化された周波数軸に沿って掛ける。フィルタリングプログラム２８３はこのようなフィルタリング処理を定義したプログラムである。上述のように周波数方向に簡略化したＭ個（実施例では５つ）の周波数帯に対応してＭ個（実施例では５つ）のフィルタを設定し、そのフィルタリング処理によって各周波数帯におけるスコア値（評価値）を求める。ただし、他に周波数の全域を捉える全域フィルタを参照用（基準用）に設けておくことも考えられる。そして、スコア値の実際の計算では、一例として、各周波数帯において、まず時間軸に対して前後５個分から移動平均を求めてノイズを低減し、そして各種フィルタを周波数軸の各周波数帯に畳み込み演算することでスコアを算出する。つまり、フィルタリングプログラム２８３を実行することによって、見守りサーバ２０は、各フィルタのスコア値を求めることができる。
【００４６】
このようにして求めたスコア値は後述の状況認識に必要なので、或る程度長時間にわたって、スコア値記憶領域３０２に保存する。
【００４７】
図７がこのようにして算出したスコア値をプロットしたグラフの一例である。図７（ａ）がビニール袋音、図７（ｂ）がスリッパ音、図７（ｃ）男性発話音に対して計算したスコア値であり、上から、（１）全ての周波数を捉えるフィルタ、（２)低周波の音を捉えるフィルタ、（３）話す声の音を捉えるフィルタ、（４）高周波の音を捉えるフィルタによるスコア値である。フィルタ係数としては、周波数全域を捉えるフィルタでは、たとえば「０．２ ０．２ ０．２ ０．２ ０．２」のように重みを全て等しくした。低周波を捉えるフィルタでは、たとえば「８ -１ −１．５ -２ −２．５」のように低い周波数成分の重みを大きく、高い周波数成分の重みを小さくした。声（人の声1、人の声2）を捉えるフィルタでは、たとえば「１ ３ １ -１ −３」のように音声基本周波数を基本に重み付けをした。高周波を捉えるフィルタでは、たとえば「−３ -１．５ −１ １．５ ３」のように低周波を捉えるフィルタのほぼ逆の重み付けをした。図７ではこのようなフィルタ係数によるフィルタリング処理を、ビニール袋音（ａ）、スリッパ音（ｂ）、男性発話音（ｃ）に対して行った結果をプロットしている。
【００４８】
状況認識プログラム２８４を実行することによって見守りサーバ２０は、図７のようなスコア値から、状況認識用に設定した閾値を超えたものを判別して状況を分類するする。ただし、単純に瞬間ごとに設定した閾値に達したら分類するのではなく、ある程度時間を考慮した分析を行い、持続的に閾値を超えた状態が続けば話し声といった分類をする。このとき、データ記憶領域３０の状況パターンデータベース記憶領域３０３に予め設定されている、状況パターンを参照することによって、各周波数帯のスコア値に基づいて、状況を認識することができる。
【００４９】
状況パターンとしては、実際に対象者の生活空間で採取した音データを分析して予め作成しておくもので、たとえば、新聞を読んでいるときのスコアパターン、料理を作っているときのスコアパターン、食事をしているときのスコアパターン、テレビを見ているときのスコアパターン、風呂に入るときのスコアパターンなど、種々の行動推定に役立つ、各フィルタリングのスコア値の変化パターンが考えられる。したがって、状況認識プログラム２８４では、各フィルタのスコア値が得られるつど、以上のようなスコアパターンとパターンマッチング処理を実行して、現在の対象者がどのような行動をとっているか、いないかを認識する。
【００５０】
さらに、たとえば、対象の独居高齢者の実際の生活スケジュールを予め記憶しておき、そのような生活スケジュールに従って実際の行動（推定した行動）が行なわれているか否かなどを判断することによって、対象者に異常が発生していないかなどの状況認識を行なうようにすることも考えられる。
【００５１】
図６に戻って、通信プログラム２８５を実行することによって、見守りサーバ２０は、見守りサーバ２０が契約している１つまたは複数の通知先に、定期的に状況認識の結果を送信し、または異常な状況が生じたときに連絡する。ただし、通知先は、データ記憶領域３０の通知先登録領域３０４に予め登録しているので、その登録データをみて、電話、ファクシミリあるいはメールなどによって連絡する。
【００５２】
次ぎに、図８および図９を参照して、この見守りシステム１０の一連の動作を説明する。図８に示すフローチャートは、実施例では音センサデバイス１８のマイクロコントローラ１８ｂが実行するものとして定義されている。
【００５３】
音センサ１８ａから音信号が入力されると、最初のステップＳ１でマイクロコントローラ１８ｂは、先に説明した音信号取り込みプログラム２４２に従って、サンプリング周波数１１０２５Ｈｚで、１６ビット幅の音信号データを取り込む。具体的には、図３に示す手順に従って、時間軸方向に単純化（簡略化）した１２８サンプルの音信号データを取り込み、データメモリ（図示せず）に一時記憶する。
【００５４】
続いて、マイクロコントローラ１８ｂは、ステップＳ３において、１２８サンプルの各々について、たとえばハニング窓関数を用いて一定時間（たとえば０．１秒）ごとにＳＴＦＴを実行することによって、時間軸方向に簡略化（または単純化）したスペクトログラムを作成し、それをデータメモリに一時記憶する。
【００５５】
続いて、マイクロコントローラ１８ｂは、ステップＳ５において、時間方向に粗くしたスペクトログラムを周波数方向に粗くする処理を行なう。つまり、上で説明した生活音の周波数範囲を５つに区分し、それぞれの周波数区分の振幅値をたとえば最大値に置き換えることによって、周波数を大まかに５つの周波数帯にまとめる。
【００５６】
そして、ステップＳ７で、上で述べたノイズ低減処理を実行し、時間および周波数の両軸方向に共に簡略化した、スペクトログラムを生成し、ステップＳ９でそれぞれを、ホームゲートウェイ１４すなわち見守りサーバ２０に送る。
【００５７】
見守りサーバ２０では、先に説明した受信プログラム２８２を実行して簡略化スペクトログラムを受信し、データ記憶領域３０のスペクトログラム記憶領域３０１（図６）にそのスペクトログラムデータを保存する。
【００５８】
そして、図９のステップＳ２１において、見守りサーバ２０は、先に説明したフィルタリングプログラム２８３を実行して、Ｍ個（５個）のフィルタ毎にスコア値を計算して求める。求めたスコア値は、スコア値記憶領域３０２（図６）に保存される。
【００５９】
その後ステップＳ２５において、見守りサーバ２０は、状況認識プログラム２８４を実行することによって、対象者および／または生活空間におけるそのときの状況を認識する。この状況認識ステップでは、上で説明したような、状況パターンのデータベースを参照して、異常な状況が生じていないか判断する。
【００６０】
たとえば、他のセンサ（たとえば開閉センサや人感センサ）と協働して、外出した形跡がないのに生活時間帯に生活音が観測されない場合は、異常状態であると認識する。
【００６１】
たとえば、対象となっている生活空間内には誰もいないはずなのに、生活音が観測される場合には、火事や泥棒の異常状態を推定できる。
【００６２】
たとえば、非常に大きい突発音が発生した後、生活音が観測できない場合は、階段からの落下のような異常状態を推定することができる。
【００６３】
そして、ステップＳ２５で異常状態かどうか判断し、“ＹＥＳ”なら、続くステップＳ２７において、通信プログラム２８５を実行して、異常状態の発生を予め登録した通知先に送信する。
【００６４】
ただし、異常状態を検出しなくても、スコア値を算出する都度、または状況認識を実行する都度、その結果を通知先に通知するようにすることも考えられる。これは後の実施例でも同様である。つまり、異常状態かどうかに拘らず、定期的に通知先へ通知するようにしてもよい。
【００６５】
上述の実施例では、対象となる生活空間に１個だけの音センサデバイスを配置した実施例について説明した。しかしながら、対象者や対象者の生活空間の状態を寄り精度よく観察しようとすれば、複数の音センサデバイスを利用することが望ましい。
【００６６】
図１０はこの発明の他の実施例の見守りシステムを示すブロック図である。この実施例では、家１６内に複数の音センサデバイス１８１−１８ｎを設置する。これら音センサデバイス１８１−１８ｎの設置場所としては、居間、寝室、浴室、など任意の場所が考えられる。
【００６７】
この実施例のように複数の音センサデバイス１８１−１８ｎを用いる利点としては、それぞれの見守り場所においてきめ細かく観察できるという利点の他に、音源位置を推定できるという利点がある。
【００６８】
発明者等の実験においては、図１１のような音センサデバイス１８１および１８２の配置で実験した。図１１では、２つの音センサデバイス１８１および１８２の間の距離が４.５ｍ、各センサデバイスの設置高さが９０ｃｍの環境下において、２つの音センサデバイス１８１および１８２を結ぶ線上において５０−６０ｃｍ間隔で７回音を鳴らしたときの値を表したものが図１２および図１３である。
【００６９】
図１２および図１３におけるＬチャンネルが、図１１の下側の音センサにデバイス１８１に相当し、Ｒチャンネルが図１１の上側の音センサにデバイス１８２に相当する。図１２は、時間の簡略化処理で１２８サンプル毎にまとめられた区間から、絶対値を取った振幅値の中で最大値を取得したときの値を描いたグラフを示している。また差分ではＬからＲを引いた値を描画している。同様に図１３は、図５で求めたように、全ての周波数を捉える全域フィルタのスコア値を用い、ＬチャンネルおよびＲチャンネルを求め、そのＬとＲの差分をそれぞれプロットしたグラフである。差分を示した図１２と図１３の両方のグラフから、音の発生源距離に応じて、音の強さ、すなわち音圧に違いが生じていることが見て取れる。
【００７０】
つまり、複数の音センサデバイスを用いれば、そのうちの２つの音センサの出力を用いて、その音が、１対の音センサデバイスを結ぶ線上のどの位置付近から発生しているかを推定（位置推定）できる。したがって、対となる音センサデバイスを変更することによって、かなり高精度に家の中のどの位置辺りから発音があったかを特定することができる。
【００７１】
このように、音データの差分をとることで、相関関係が現れていることがわかる。位置推定の例である図１２と図１３の２つのグラフにおいて、３０秒付近の値は４.５ｍのおよそ真ん中付近にあたる。そこから、約５０ｃｍずれるに従って値が変化し、センサに近づくにつれ、一方の値が大きくなっていることが確認できる。特にフィルタを掛けることで求めたスコア値では、音発生源とセンサ間の距離が最も近い場合に、変化の度合いが急に増していることが見て取れる。また、スコア値で求めたグラフ（図１３）は、振幅で求めたグラフ（図１２）に比べ、音源距離に対する変化の度合いがわかりにくいが、これは、振幅の場合は時間の単純化までを、フィルタの場合は、さらに周波数の単純化とノイズ低減処理を行っているため、多くの情報が削られてしまい、小さな変化の捕捉が難しくなってしまったことが原因であると考えられる。しかしながら、図１３のグラフにおいても、距離減衰特性により、音発生源とセンサ間のおよその距離を把握することができるようになる。
【００７２】
このように、図１０の実施例では音源位置の推定がある程度可能なので、図１４に示すように、ステップＳ２１でフィルタリングしてスコア値を求めた後、ステップＳ２２で、図１３に示すように、フィルタリングしたスコア値の大きさによって、音源位置を推定する処理を見守りサーバ２０が実行することとした。
【００７３】
音源の位置が推定できるこの実施例の場合、状況パターンデータベース記憶領域３０３（図６）には、音源位置を加味した状況分析パターンを蓄積しておき、状況認識プログラム２８４ではそのパターンデータを用いて状況を認識する。
【００７４】
たとえば、話し声の位置と足音の位置が同じなら、その人が１人とカウントできる。
【００７５】
たとえば、廊下で足音が移動する方向が認識できるので、対象者が移動している方向が認識できる。
【００７６】
たとえば、浴室方向へ歩いた後に浴室付近で大きな音がしたときは、浴室で事故が発生した可能性がある。
【００７７】
たとえば、玄関付近で大きな音がしたときには、転倒事故が考えられる。
【００７８】
居間の真ん中で話し声が検出された直後に無音状態になったときには何らかの異常状態が発生している可能性がある。
【００７９】
そして、図１４のステップＳ２３で状況認識プログラム２８４を実行し、ステップＳ２５で異常の有無を判断する。これらのステップは図９の対応するステップと同じであるので、ここでは重複する説明は省略する。ただし、この実施例では、ステップＳ２３の状況認識においては、上述の音源位置を各フィルタのスコア値に加味して認識することによって、生活空間および／または対象者のより詳細な状況を把握することができる。
【００８０】
上述のいずれの実施例でも、簡易なコンピュータであるマイクロコントローラを内蔵する音センサデバイス１８を用い、音センサデバイスが自身で簡略化したスペクトログラムを生成し、それをネットワーク１２を通して見守りサーバ２０に送り、見守りサーバ２０でその簡略化スペクトログラムをフィルタリングすることによって、状況認識するようにした。したがって、対象者のプライバシを十分保護できるとともに、ネットワーク上に送り出すデータ量が少なく、通信負荷が軽いという利点もある。
【００８１】
さらに、図１の実施例でも、図１０の実施例でも実施可能であるが、状況を認識するまでもなく異常状態を判別する方法がある。その方法では、フィルタリングプログラム２８３（図６）において、異常時に生じる音のフィルタを準備し、時間および周波数の両方向にともに簡略化したスペクトログラムを図１５のステップＳ２１でフィルタリング処理することによって、スコア値を算出し、その異常フィルタのスコア値が大きければ異常状態が発生したと認識する。
【００８２】
なお、上述の実施例では、時間および周波数の両方向において共に簡略化したスペクトログラムを生成するために、図８に示すようにまず時間方向に簡略化し、ついで周波数方向に簡略化する方法を例示した。この方法では、時間軸方向における簡略化を一度に行えるので、効率的であるという利点がある。しかしながら、時間および周波数を簡略化したスペクトログラムを生成する方法としては、この方法以外の方法が採用されてもよい。たとえば、まず周波数方向に大まかにまとめ、その後各周波数帯毎に時間軸方向に簡略化する方法、あるいは、両方向同時に簡略化する方法が考えられる。いずれの方法においても、周波数方向においては、少なくとも先に説明した生活音を観測できる周波数帯を設定する必要がある。
【００８３】
また、図１２に示すように、音源位置推定において振幅値を利用するためには、見守りサーバ２０に振幅値のデータがそのまま伝送されなければならないが、そうすると、音センサデバイス１８からは時間軸方向だけを簡略化したスペクトログラムのデータを出力し、それを受け取って見守りサーバ２０で、音源位置を推定した後、図４のステップＳ３−Ｓ７を実行して、時間および周波数の両方向において簡略化したスペクトログラムを生成する必要がある。
【００８４】
つまり、上で説明した実施例では、音センサデバイスのマイクロコントローラが時間および周波数の両方向において簡略化したスペクトログラムを生成して、それをホームゲートウェイを介して見守りサーバ２０に送ったが、ホームゲートウェイ１４からは、時間軸方向にだけ簡略化したスペクトログラムを送り、まず位置推定を行なった後、見守りサーバ２０でステップＳ３以降を実行するように変更することも可能である。
【００８５】
さらに、同じ居室に３つ以上の音センサデバイスを設置する場合には、三角測量の要領で音源位置をかなり精度よく推定することができる。
【００８６】
基本的に実施例の見守りサーバ２０は、多くの契約者の生活空間を見守ることができるように、ネットワークを介して各家のホームゲートウェイに接続された。しかしながら、見守り対象の家ごとに設けたコンピュータで同じような状況認識を個別に行なうことも考えられる。つまり、実施例ではネットワークを利用した分散処理を行なったが、必ずしも、分散型でなくてもよい。
【符号の説明】
【００８７】
１０ …見守りシステム
１２ …ネットワーク
１４ …ホームゲートウェイ
１６ …家
１８、１８１−１８ｎ、１８２ …音センサデバイス
１８ａ …音センサ（マイクロフォン）
１８ｂ …マイクロコントローラ
２０ …見守りサーバ
【技術分野】
【０００１】
この発明は生活空間の見守りシステムに関し、特に、たとえば家の中などの生活空間にマイクロフォンなどの音センサを配置して生活音を検出することによって、その家の中で生活するたとえば独居高齢者の状態を見守るような、見守りシステムに関する。
【背景技術】
【０００２】
日本は高齢化が急速に進み、総人口に占める高齢者（６５歳以上）の割合が２１％にも達する超高齢社会となった。特に高齢単身世帯の増加が著しく、１人でも安心して暮らせるような生活支援のための仕組みづくりが求められている。
【０００３】
独居高齢者の見守りシステムには、ポットなどの家電製品にセンサを内蔵する方法、住宅設備の水、ガス、電気などの使用量を把握する方法、家の各所に設置した人感センサで動きを捉える方法、映像、音など人感センサよりも多くの情報が得られるセンサで空間認識する方法など、さまざまな方法が提案されている。これらの非拘束、無意識で取得する方法では、家族などのシステム利用者に関わる人が、利用者の日々の生活パターンを把握しておくことで、日常と異なる傾向が現れた際に電話やメールで連絡するといった行動を起こすことが期待できる。
【０００４】
非特許文献１の方法では、マイクロフォンを用いて日々の生活から生じる音の強さを取得し、異常検出を試みている。
【非特許文献１】品川佳満、岸本俊夫、太田茂、「マイクロフォンセンサを用いた在宅行動モニタリング」、川崎医療福祉学会誌、15(2), 615-620, 2006
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１の背景技術では、音の強さのみで状況を推定するようにしているため、単純な状態、たとえば起きている、寝ているなどの状態しか推定できない。
【０００６】
また、居室等に配置したマイクロフォンが収集した音をそのまま利用するようにしているため、プライバシの保護が不充分になるおそれがある。
【０００７】
それゆえに、この発明の主たる目的は、新規な、生活空間の見守りシステムを提供することである。
【０００８】
この発明の他の目的は、対象者のプライバシを十分に考慮しつつ、より具体的な状況を認識できる、生活空間の見守りシステムを提供することである。
【課題を解決するための手段】
【０００９】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
【００１０】
第１の発明は、生活空間の見守りシステムであって、生活空間内に設置されて、音を収集して音信号を出力する音センサ、音センサからの音信号を処理することによって、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成するスペクトログラム生成手段、および簡略化スペクトログラムをフィルタリング処理することによって、生活空間内の状態を観測する状態観察手段を備える、生活空間の見守りシステムである。
【００１１】
第１の発明では、たとえば家（１６：実施例において相当または対応する部分を例示する参照号を示す。以下同様。）の中の生活空間に音センサ（１８，１８ａ）を配置し、この音センサから音信号が出力される。
【００１２】
マイクロコントローラなどのコンピュータを含むスペクトログラム生成手段（１８ｂ，２４３，Ｓ１−Ｓ７）では、この音信号を音信号データとして取り込み、一例として、音信号データの１０２４サンプルに対して、窓関数をかけて、１２８サンプルごとの８分割の後、１個ずつとばした４個のデータのみを切り出し、切り出したデータそれぞれに短時間フーリエ変換（ＳＴＦＴ）を行って時間軸方向に簡略化する。その後、周波数軸方向に簡略化する。周波数軸方向における簡略化処理では、ＦＦＴにより求められる周波数成分を、たとえば５つの周波数帯に大まかにまとめる。まとめる操作においては、周波数成分を生活音分類項目に合うように区分し、その区分中における信号強度の最大値または平均値を用いて、それぞれ新たな周波数帯と信号強度に置き換える処理を行うことで時間軸方向簡略化したデータを生成する。つまり、スペクトログラム生成手段では、時間軸および周波数軸の両方向においてともに簡略化したスペクトログラムを生成する。
【００１３】
このようにして簡略したスペクトログラムが、実施例ではホームゲートウェイおよびネットワークを通して、状態観察手段を構成する見守りサーバ（２０）に送られる。
【００１４】
見守りサーバすなわち状態観察手段（２０，２８３，Ｓ２１）では、上述の周波数方向に簡略化したＭ個（実施例では５つ）の周波数帯に対応してＭ個（実施例では５つ）のフィルタを設定し、そのフィルタリング処理によって生活空間および／または対象者の状態を認識する。
【００１５】
第１の発明によれば、音センサが出力する音信号から時間および周波数の両軸方向に粗い（簡略化した）スペクトログラムを生成するので、つまり生の音を用いないので、対象者のプライバシを保護することができる。簡略化したスペクトログラムをフィルタリングした結果に基づいて状態認識がなされるので、音の強さだけによって状態認識をする場合に比べて、より具体的な状況が認識できる。
【００１６】
第２の発明は、第１の発明に従属し、スペクトログラム生成手段は、複数の周波数帯において代表値を用いることによって周波数方向における簡略化を行い、状態観察手段は、スペクトログラム生成手段の周波数帯と同じ周波数帯のフィルタを用いてフィルタリング処理を実行してスコア値を算出するフィルタリング手段、および各フィルタのスコア値に基づいて状況を認識する状況認識手段を含む、生活空間の見守りシステムである。
【００１７】
第２の発明では、たとえば、各フィルタのスコア値のパターンを予め設定している状況パターンのデータベースと対照することによって、そのときの、または一定時間での生活空間および／または対象者の状況を認識する。第２の発明によれば、フィルタリングのスコア値に基づいて状況認識するため、単に音の強さだけで判断する場合などに比べて、生活空間および／または対象者のより具体的な状況を認識することができる。
【００１８】
第３の発明は、第２の発明に従属し、生活空間内に複数の音センサを配置し、スペクトログラム生成手段は各音センサからの音信を処理して複数の、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成し、状態観察手段は、複数のスペクトログラムをフィルタリングした結果のスコア値に基づいて音源位置を推定する音源位置推定手段をさらに含み、状況認識手段は、各フィルタのスコア値および音源位置に基づいて状況を認識する、生活空間の見守りシステムである。
【００１９】
第３の発明では、複数の音センサデバイスのうちの２つの音センサの出力を用いて、その音が、１対の音センサデバイスを結ぶ線上のどの位置付近から発生しているかを推定（位置推定）できる。つまり、１対の音センサからの音データ（スコア値）の差分をとることで、これらの音センサに対する音源位置の相関関係が現れる。音源の位置が推定できるので、状況パターンデータベースには、音源位置を加味した状況分析パターンを蓄積しておき、そのパターンデータを用いて、音源位置を加味して状況を認識する。第３の発明によれば、スコア値および音源位置に基づいて状況を分析するので、さらに詳細な状況を認識することができる。
【００２０】
第４の発明は、第１ないし第３のいずれかの発明に従属し、スペクトログラム生成手段が設定する複数の周波数帯は、全体として対象生活空間における生活音の周波数範囲をカバーするように設定されている、生活空間の見守りシステムである。
【００２１】
第４の発明では、Ｍ個（実施例では５つ）の周波数帯は、低周波数帯域(歩く音など)を対象とする０−３００Ｈｚ、人の声1（音声基本周波数を含む音など）を対象とする３００−８００Ｈｚ、人の声2（倍音を多く含む音など）を対象とする８００−２０００Ｈｚ、中周波数帯域（テレビなどの複合的音など）を対象とする２０００−４０００Ｈｚ、そして高周波数帯域（紙などに触る音など）を対象とする３４００−５５１２Ｈｚに設定し、全体として生活音（便宜上、人が直接物に触れることで発生する音を生活音と定義し、それ以外の要因が絡む音を環境音と定義する。）をカバーするようにした。第４の発明によれば、生活音をカバーするようにしているため、安価な音センサ（マイクロフォン）を使用しても、生活空間や対象者を効率よく見守ることができる。
【発明の効果】
【００２２】
この発明によれば、対象者のプライバシを十分に考慮しつつ、より具体的な状況を認識できる、生活空間の見守りシステムが得られる。
【００２３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２４】
【図１】図１はこの発明の一実施例の生活空間の見守りシステムを示すブロック図である。
【図２】図２は図１実施例における音センサデバイスに含まれるマイクロコントローラのメモリマップの一例を示す図解図である。
【図３】図３は図１実施例における音センサデバイスに含まれるマイクロコントローラによる時間方向の簡略化の流れを示す図解図である。
【図４】図４は図１実施例における音センサデバイスに含まれるマイクロコントローラによる周波数方向の簡略化の流れを示す図解図である。
【図５】図５は図１実施例における音センサデバイスのマイクロコントローラが収集する音信号および生成するスペクトログラムの一例を示す写真であり、図５（ａ）がビニール袋を手でつかむときに発生する音（ビニール袋音）の音信号およびスペクトログラムを示し、下２つが周波数および時間の両軸方向に粗くしたスペクトログラムであり、図５（ｂ）がスリッパでフローリングの床を歩くときの音（スリッパ音）の音信号およびスペクトログラムを示し、図５（ｃ）が男性が発話したときの音（発話音）の音信号およびスペクトログラムを示す。
【図６】図６は図１実施例における見守りサーバのメモリマップの一例を示す図解図である。
【図７】図７は図５の下から２つ目のスペクトログラム（周波数および時間について簡略化する際に最大値を用いたスペクトログラム）から、おのおのの時刻に対し、周波数軸に沿って各種フィルタを掛け、スコアを算出したときに得られる値をプロットしたグラフであり、グラフ中のフィルタ係数は、左側から右側へ向かって、低周波、人の声1、人の声2、中周波、高周波という５つに区分された生活音分類項目の周波数帯に対応しており、それぞれに掛ける値を示す。
【図８】図８は図１実施例における音センサデバイスのマイクロコントローラの動作の一例を示すフロー図である。
【図９】図８は図１実施例における見守りサーバの動作を示すフロー図である。
【図１０】図１０はこの発明の他の実施例の生活空間の見守りシステムを示すブロック図である。
【図１１】図１１は図１０実施例における音センサのデバイスの配置の一例を示す図解図である。
【図１２】図１２は図１０実施例において振幅から音源位置を推定する際のグラフである。
【図１３】図１３は図１０実施例において全域フィルタを通した後の振幅により音源位置を推定する際の振幅を示すグラフである。
【図１４】図１４は図１０実施例における見守りサーバの動作を一例を示すフロー図である。
【図１５】図１５は図１０実施例における見守りサーバの動作を他の例を示すフロー図である。
【発明を実施するための最良の形態】
【００２５】
図１を参照して、この実施例の生活空間の見守りシステム（以下、単に、「見守りシステム」という。）１０は、たとえばインタネットのようなネットワーク１２を利用する。ネットワーク１２には対象となる生活空間を形成する家１６に設置されているホームゲートウェイ１４が接続される。ホームゲートウェイ１４は、家１６すなわち部屋や廊下などの家１６の中の任意の場所（生活空間）に設置された、典型的にはマイクロフォンのような音センサを含む音センサデバイス１８が収集して簡略化処理をした音データをネットワーク１２を介して、見守りサーバ２０に与える。
【００２６】
この実施例の見守りシステム１０は、音センサデバイス１８においてたとえば周波数方向および時間方向の２つの軸方向において粗くする手法などによって音データを簡略化して、それをホームゲートウェイ１４を通して見守りサーバ２０に伝送する。一方、見守りサーバ２０で、その簡略化した音データをフィルタリングすることによって、通常生活時、不在時、異常時などの状態または状況の識別情報を取得し、関係者に識別結果を伝える。
【００２７】
この実施例の見守りシステム１０では、簡略化した音データを用いることにより、ネットワーク１２を介して伝送する音データのデータ量を削減することができるとともに、生の音または音データをそのまま用いないので、話の内容などがその音データから分かることがなく、対象者のプライバシを十分に保護できる。
【００２８】
実施例では、音センサデバイス１８としては、たとえばBluethoothやWi-Fi、ZigBee（いずれも商品名）などの無線通信手段を内蔵した音センサデバイスを用いる。そのような無線式の音センサデバイス１８を用いることで、音センサを家１６内の任意の場所に自由に配置することができる。
【００２９】
音センサデバイス１８は図１に示すように、典型的にはマイクロフォンのような音センサ１８ａと、この音センサ１８ａから入力される音信号から簡略化したスペクトログラムを生成するマイクロコントローラ１８ｂを含む。マイクロコントローラ１８ｂは、生成した簡略化スペクトログラムを上述の無線手段によってホームゲートウェイ１４に送る。実施例の場合、音センサ１８ａとしては、少なくとも生活音の周波数範囲である、周波数範囲１００−１００００Ｈｚの音だけを集音できればよいので、比較的安価なマイクロフォンを利用できる。そのようなマイクロフォンとしては基本的には無指向性のものを用いるが、特に局所的な音を観察したい場合には指向性のものを利用することも可能である。
【００３０】
なお、図示しないが、開閉センサや人感センサなどの各種センサを家１６内に設置し、それらの各種センサのセンサ出力に基づく判断と簡略化した音データに基づく判断とを併用して、より高精度な状況分析を行えるようにしてもよい。開閉センサは、ドアや窓の開閉を検知できるセンサであり、人感センサは、対象となっている部屋や領域に人が存在するかなどを検知できるセンサである。これらの各種センサもホームゲートウェイに接続されてセキュリティサーバ（図示せず）のようなシステムで利用されるのであるが、ホームゲートウェイ１４がセキュリティシステムのものと共用され、見守りサーバ２０に、簡略化した音センサデータだけでなく、これらのセンサデータを伝達し、見守りサーバ２０では音データと併せてセンサデータを解釈することによって、より具体的な対象者の状況を把握するようにしてもよい。たとえば、人感センサのデータと開閉センサのデータとの組み合わせから、対象者が外出しているかどうかなどが判別できる。
【００３１】
図２にマイクロコントーラ１８ｂのメモリマップが示される。メモリ２２は、プログラム領域２４を含み、このプログラム領域２４には、ＯＳ２４１の他、音信号取り込みプログラム２４２、スペクトログラム生成プログラム２４３および送信プログラム２４４などが予め設定されている。
【００３２】
音信号取り込みプログラム２４２を実行することによって、マイクロコントーラ１８ｂは、音センサ１８ａから音信号を、一例として、サンプリング周波数１１０２５Ｈｚ、サンプリングビット数１６ビットで音データとして取得する。次に取得した音データに対して、短時間フーリエ変換（ＳＴＦＴ）を適用することで得られる周波数特性から振幅スペクトルを計算する。ただし、マイクロコントローラ１８ｂのような安価なコンピュータを搭載しているので、実施例では、計算処理を軽くするため、サンプリング周波数を低く抑えようにしている。もちろん、より高速計算が可能なコンピュータをマイクロコントローラ１８ｂに代えて用い、サンプリングし周波数を高くすることも可能である。
【００３３】
スペクトログラム生成プログラム２４３では、このようにして取得した音データから時間および周波数のそれぞれ軸方向において簡略化したスペクトログラムを生成する。
【００３４】
時間軸方向における簡略化処理では、たとえば図３に示すように、音データの１０２４サンプルに対して、ある窓関数（一例では、１２８サンプルごとの８分割の後、１個ずつとばした４個のデータのみを切り出す）をかけた後、切り出されたデータそれぞれに短時間フーリエ変換（ＳＴＦＴ）を行う（図４）。ただし、図４では、音データを窓関数により切り出し後、フーリエ変換を行う場合を図示したが、１０２４サンプル全体に対して高速フーリエ変換（ＦＦＴ）をかけた後、その処理結果に対し、上で述べた窓関数をかけてデータを切り出してもよい。
【００３５】
周波数軸方向における簡略化処理では、ＦＦＴにより求められる周波数成分を、生活音分類項目に適合するように、たとえば図４に示す手順に従って、まとめる操作を行う。単にサンプリング周波数１１０２５Ｈｚの１２８サンプルから振幅スペクトルを求めた場合、周波数分解能はおよそ８６．１３Ｈｚとなるが、そのままではデータ量が多く、プライバシ保護の観点からもぼかす処理が必要である。そこで、まとめる操作において、周波数成分を生活音分類項目に合うように区分し、その区分中における信号強度の最大値または平均値を用いて、それぞれ新たな周波数帯と信号強度に置き換える処理を行うことで簡略化したデータを生成する。
【００３６】
この実施例では、状況推定に用いる生活音の分類では、次の項目が検出できるように、周波数帯を区分し、それぞれに具体的な周波数を割り当てた。男性と女性の音声基本周波数はそれぞれ１２５Ｈｚと２５０Ｈｚ付近にあること、アナログ電話は３００−３４００Ｈｚであることなどを参考に区分している。
1) 低周波数帯域(歩く音など)…０−３００Ｈｚ
2) 人の声1（音声基本周波数を含む音など）…３００−８００Ｈｚ
3) 人の声2（倍音を多く含む音など）…８００−２０００Ｈｚ
4) 中周波数帯域（テレビなどの複合的音など）…２０００−４０００Ｈｚ
5) 高周波数帯域（紙などに触る音など）…３４００−５５１２Ｈｚ
なお、便宜上、人が直接物に触れることで発生する音を生活音と、それ以外の要因が絡む音を環境音と定義する。これにより、たとえば、リモコンを操作するときの音は生活音、テレビから発せられる音は環境音に分類する。
【００３７】
その後、各周波数帯の信号強度（振幅値）を、代表値、たとえば最大値または平均値によって置き換えることによって、周波数方向において簡略化する。ただし、実施例では、各周波数帯における信号強度が得られる振幅スペクトルに対して時間の概念を加え、おのおのの時刻と周波数に対応する信号強度の数値を時系列に並べたデータ、すなわち簡略化したスペクトログラムを生成する。つまり、周波数方向をおおまかに簡略化したのち、周波数帯ごとに、時間軸に沿って前後Ｍ個（一例では５個）の移動平均を計算することによって、ノイズ低減処理を実行する。
【００３８】
このようにして、スペクトログラム生成プログラム２４３を実行することによって、音センサデバイス１８のマイクロコントローラ１８ｂは時間軸および周波数軸共に簡略化または単純化したスペクトログラムを生成する。
【００３９】
図５にスペクトログラム生成プログラム２４３で生成した簡略化スペクトログラムの一例が図示されている。図５（ａ）がビニール袋音を示し、図５（ｂ）はスリッパ音を示し、図５（ｃ）が男性発話音をそれぞれ簡略化したときのグラフを表している。スペクトログラムは、ＳＴＦＴを適用することで求めた。ただし、図５（ａ）−（ｃ）のそれぞれの最上の図は音センサ１８ａが収集した音信号の波形を示し、上から２段目が時間軸についてだけ簡略化したスペクトログラムであり、上から３段目が、各周波数帯において代表値として「最大値」を採用した場合の時間軸および周波数軸においてともに簡略化スペクトログラムであり、最下段が、各周波数帯の代表値として「平均値」を採用した場合の簡略化スペクトログラムである。ただし、図５の写真は、さらに時間軸に対して移動平均によりノイズを低減する処理を行ったものを、横軸に簡略化した時間、縦軸に簡略化した周波数帯を示している。
【００４０】
下２つの写真とその上の写真を比べると、代表値として最大値を採った簡略化スペクトログラムのほうが、代表値として平均値を採用したものに比べて、再現性がよいことがわかる。したがって、実施例では代表値として最大値を採用した簡略化スペクトログラムを用いて、見守りサーバ２０における分析を行なうものとした。
【００４１】
送信プログラム２４４を実行することによって、マイクロコントローラ１８ｂは、簡略化したスペクトログラムのデータを、適宜のフォーマットのデータとしてホームゲートウェイ１４に向けて送信する。
【００４２】
図１の実施例では１つだけの音センサデバイス１８を用いたが、複数の音センサデバイスを用いる場合には、すべての音センサデバイスから同様にして、時間軸および周波数軸共に簡略化したスペクトログラムがホームゲートウェイ１４に送信されるので、ホームゲートウェイ１４はすべてのスペクトログラムデータをネットワーク１２を通じて見守りサーバ２０に送信する。
【００４３】
図６は、見守りサーバ２０のメモリマップを示す図解図であり、メモリ２６は、プログラム領域２８およびデータ記憶領域３０を含む。プログラム領域２８には、ＯＳ２８１の他、受信プログラム２８２、フィルタリングプログラム２８３、状況認識プログラム２８４、通信プログラム２８５などが設定される。
【００４４】
受信プログラム２８２は、ネットワーク１２を通してホームゲートウェイ１４から送られてくる簡略化したスペクトログラムのデータなどを適正に受信するためのプログラムである。受信したスペクトログラムデータは、データ記憶領域３０のスペクトログラムデータ記憶領域３０１に保存される。
【００４５】
見守りサーバ２０に送られてくる、簡略化されたスペクトログラムのデータから、当該生活空間ひいては見守り対象者がどのような状況なのかを識別するため、話し声検出用、歩く音検出用といったフィルタ（係数）を、各時刻に対し、単純化された周波数軸に沿って掛ける。フィルタリングプログラム２８３はこのようなフィルタリング処理を定義したプログラムである。上述のように周波数方向に簡略化したＭ個（実施例では５つ）の周波数帯に対応してＭ個（実施例では５つ）のフィルタを設定し、そのフィルタリング処理によって各周波数帯におけるスコア値（評価値）を求める。ただし、他に周波数の全域を捉える全域フィルタを参照用（基準用）に設けておくことも考えられる。そして、スコア値の実際の計算では、一例として、各周波数帯において、まず時間軸に対して前後５個分から移動平均を求めてノイズを低減し、そして各種フィルタを周波数軸の各周波数帯に畳み込み演算することでスコアを算出する。つまり、フィルタリングプログラム２８３を実行することによって、見守りサーバ２０は、各フィルタのスコア値を求めることができる。
【００４６】
このようにして求めたスコア値は後述の状況認識に必要なので、或る程度長時間にわたって、スコア値記憶領域３０２に保存する。
【００４７】
図７がこのようにして算出したスコア値をプロットしたグラフの一例である。図７（ａ）がビニール袋音、図７（ｂ）がスリッパ音、図７（ｃ）男性発話音に対して計算したスコア値であり、上から、（１）全ての周波数を捉えるフィルタ、（２)低周波の音を捉えるフィルタ、（３）話す声の音を捉えるフィルタ、（４）高周波の音を捉えるフィルタによるスコア値である。フィルタ係数としては、周波数全域を捉えるフィルタでは、たとえば「０．２ ０．２ ０．２ ０．２ ０．２」のように重みを全て等しくした。低周波を捉えるフィルタでは、たとえば「８ -１ −１．５ -２ −２．５」のように低い周波数成分の重みを大きく、高い周波数成分の重みを小さくした。声（人の声1、人の声2）を捉えるフィルタでは、たとえば「１ ３ １ -１ −３」のように音声基本周波数を基本に重み付けをした。高周波を捉えるフィルタでは、たとえば「−３ -１．５ −１ １．５ ３」のように低周波を捉えるフィルタのほぼ逆の重み付けをした。図７ではこのようなフィルタ係数によるフィルタリング処理を、ビニール袋音（ａ）、スリッパ音（ｂ）、男性発話音（ｃ）に対して行った結果をプロットしている。
【００４８】
状況認識プログラム２８４を実行することによって見守りサーバ２０は、図７のようなスコア値から、状況認識用に設定した閾値を超えたものを判別して状況を分類するする。ただし、単純に瞬間ごとに設定した閾値に達したら分類するのではなく、ある程度時間を考慮した分析を行い、持続的に閾値を超えた状態が続けば話し声といった分類をする。このとき、データ記憶領域３０の状況パターンデータベース記憶領域３０３に予め設定されている、状況パターンを参照することによって、各周波数帯のスコア値に基づいて、状況を認識することができる。
【００４９】
状況パターンとしては、実際に対象者の生活空間で採取した音データを分析して予め作成しておくもので、たとえば、新聞を読んでいるときのスコアパターン、料理を作っているときのスコアパターン、食事をしているときのスコアパターン、テレビを見ているときのスコアパターン、風呂に入るときのスコアパターンなど、種々の行動推定に役立つ、各フィルタリングのスコア値の変化パターンが考えられる。したがって、状況認識プログラム２８４では、各フィルタのスコア値が得られるつど、以上のようなスコアパターンとパターンマッチング処理を実行して、現在の対象者がどのような行動をとっているか、いないかを認識する。
【００５０】
さらに、たとえば、対象の独居高齢者の実際の生活スケジュールを予め記憶しておき、そのような生活スケジュールに従って実際の行動（推定した行動）が行なわれているか否かなどを判断することによって、対象者に異常が発生していないかなどの状況認識を行なうようにすることも考えられる。
【００５１】
図６に戻って、通信プログラム２８５を実行することによって、見守りサーバ２０は、見守りサーバ２０が契約している１つまたは複数の通知先に、定期的に状況認識の結果を送信し、または異常な状況が生じたときに連絡する。ただし、通知先は、データ記憶領域３０の通知先登録領域３０４に予め登録しているので、その登録データをみて、電話、ファクシミリあるいはメールなどによって連絡する。
【００５２】
次ぎに、図８および図９を参照して、この見守りシステム１０の一連の動作を説明する。図８に示すフローチャートは、実施例では音センサデバイス１８のマイクロコントローラ１８ｂが実行するものとして定義されている。
【００５３】
音センサ１８ａから音信号が入力されると、最初のステップＳ１でマイクロコントローラ１８ｂは、先に説明した音信号取り込みプログラム２４２に従って、サンプリング周波数１１０２５Ｈｚで、１６ビット幅の音信号データを取り込む。具体的には、図３に示す手順に従って、時間軸方向に単純化（簡略化）した１２８サンプルの音信号データを取り込み、データメモリ（図示せず）に一時記憶する。
【００５４】
続いて、マイクロコントローラ１８ｂは、ステップＳ３において、１２８サンプルの各々について、たとえばハニング窓関数を用いて一定時間（たとえば０．１秒）ごとにＳＴＦＴを実行することによって、時間軸方向に簡略化（または単純化）したスペクトログラムを作成し、それをデータメモリに一時記憶する。
【００５５】
続いて、マイクロコントローラ１８ｂは、ステップＳ５において、時間方向に粗くしたスペクトログラムを周波数方向に粗くする処理を行なう。つまり、上で説明した生活音の周波数範囲を５つに区分し、それぞれの周波数区分の振幅値をたとえば最大値に置き換えることによって、周波数を大まかに５つの周波数帯にまとめる。
【００５６】
そして、ステップＳ７で、上で述べたノイズ低減処理を実行し、時間および周波数の両軸方向に共に簡略化した、スペクトログラムを生成し、ステップＳ９でそれぞれを、ホームゲートウェイ１４すなわち見守りサーバ２０に送る。
【００５７】
見守りサーバ２０では、先に説明した受信プログラム２８２を実行して簡略化スペクトログラムを受信し、データ記憶領域３０のスペクトログラム記憶領域３０１（図６）にそのスペクトログラムデータを保存する。
【００５８】
そして、図９のステップＳ２１において、見守りサーバ２０は、先に説明したフィルタリングプログラム２８３を実行して、Ｍ個（５個）のフィルタ毎にスコア値を計算して求める。求めたスコア値は、スコア値記憶領域３０２（図６）に保存される。
【００５９】
その後ステップＳ２５において、見守りサーバ２０は、状況認識プログラム２８４を実行することによって、対象者および／または生活空間におけるそのときの状況を認識する。この状況認識ステップでは、上で説明したような、状況パターンのデータベースを参照して、異常な状況が生じていないか判断する。
【００６０】
たとえば、他のセンサ（たとえば開閉センサや人感センサ）と協働して、外出した形跡がないのに生活時間帯に生活音が観測されない場合は、異常状態であると認識する。
【００６１】
たとえば、対象となっている生活空間内には誰もいないはずなのに、生活音が観測される場合には、火事や泥棒の異常状態を推定できる。
【００６２】
たとえば、非常に大きい突発音が発生した後、生活音が観測できない場合は、階段からの落下のような異常状態を推定することができる。
【００６３】
そして、ステップＳ２５で異常状態かどうか判断し、“ＹＥＳ”なら、続くステップＳ２７において、通信プログラム２８５を実行して、異常状態の発生を予め登録した通知先に送信する。
【００６４】
ただし、異常状態を検出しなくても、スコア値を算出する都度、または状況認識を実行する都度、その結果を通知先に通知するようにすることも考えられる。これは後の実施例でも同様である。つまり、異常状態かどうかに拘らず、定期的に通知先へ通知するようにしてもよい。
【００６５】
上述の実施例では、対象となる生活空間に１個だけの音センサデバイスを配置した実施例について説明した。しかしながら、対象者や対象者の生活空間の状態を寄り精度よく観察しようとすれば、複数の音センサデバイスを利用することが望ましい。
【００６６】
図１０はこの発明の他の実施例の見守りシステムを示すブロック図である。この実施例では、家１６内に複数の音センサデバイス１８１−１８ｎを設置する。これら音センサデバイス１８１−１８ｎの設置場所としては、居間、寝室、浴室、など任意の場所が考えられる。
【００６７】
この実施例のように複数の音センサデバイス１８１−１８ｎを用いる利点としては、それぞれの見守り場所においてきめ細かく観察できるという利点の他に、音源位置を推定できるという利点がある。
【００６８】
発明者等の実験においては、図１１のような音センサデバイス１８１および１８２の配置で実験した。図１１では、２つの音センサデバイス１８１および１８２の間の距離が４.５ｍ、各センサデバイスの設置高さが９０ｃｍの環境下において、２つの音センサデバイス１８１および１８２を結ぶ線上において５０−６０ｃｍ間隔で７回音を鳴らしたときの値を表したものが図１２および図１３である。
【００６９】
図１２および図１３におけるＬチャンネルが、図１１の下側の音センサにデバイス１８１に相当し、Ｒチャンネルが図１１の上側の音センサにデバイス１８２に相当する。図１２は、時間の簡略化処理で１２８サンプル毎にまとめられた区間から、絶対値を取った振幅値の中で最大値を取得したときの値を描いたグラフを示している。また差分ではＬからＲを引いた値を描画している。同様に図１３は、図５で求めたように、全ての周波数を捉える全域フィルタのスコア値を用い、ＬチャンネルおよびＲチャンネルを求め、そのＬとＲの差分をそれぞれプロットしたグラフである。差分を示した図１２と図１３の両方のグラフから、音の発生源距離に応じて、音の強さ、すなわち音圧に違いが生じていることが見て取れる。
【００７０】
つまり、複数の音センサデバイスを用いれば、そのうちの２つの音センサの出力を用いて、その音が、１対の音センサデバイスを結ぶ線上のどの位置付近から発生しているかを推定（位置推定）できる。したがって、対となる音センサデバイスを変更することによって、かなり高精度に家の中のどの位置辺りから発音があったかを特定することができる。
【００７１】
このように、音データの差分をとることで、相関関係が現れていることがわかる。位置推定の例である図１２と図１３の２つのグラフにおいて、３０秒付近の値は４.５ｍのおよそ真ん中付近にあたる。そこから、約５０ｃｍずれるに従って値が変化し、センサに近づくにつれ、一方の値が大きくなっていることが確認できる。特にフィルタを掛けることで求めたスコア値では、音発生源とセンサ間の距離が最も近い場合に、変化の度合いが急に増していることが見て取れる。また、スコア値で求めたグラフ（図１３）は、振幅で求めたグラフ（図１２）に比べ、音源距離に対する変化の度合いがわかりにくいが、これは、振幅の場合は時間の単純化までを、フィルタの場合は、さらに周波数の単純化とノイズ低減処理を行っているため、多くの情報が削られてしまい、小さな変化の捕捉が難しくなってしまったことが原因であると考えられる。しかしながら、図１３のグラフにおいても、距離減衰特性により、音発生源とセンサ間のおよその距離を把握することができるようになる。
【００７２】
このように、図１０の実施例では音源位置の推定がある程度可能なので、図１４に示すように、ステップＳ２１でフィルタリングしてスコア値を求めた後、ステップＳ２２で、図１３に示すように、フィルタリングしたスコア値の大きさによって、音源位置を推定する処理を見守りサーバ２０が実行することとした。
【００７３】
音源の位置が推定できるこの実施例の場合、状況パターンデータベース記憶領域３０３（図６）には、音源位置を加味した状況分析パターンを蓄積しておき、状況認識プログラム２８４ではそのパターンデータを用いて状況を認識する。
【００７４】
たとえば、話し声の位置と足音の位置が同じなら、その人が１人とカウントできる。
【００７５】
たとえば、廊下で足音が移動する方向が認識できるので、対象者が移動している方向が認識できる。
【００７６】
たとえば、浴室方向へ歩いた後に浴室付近で大きな音がしたときは、浴室で事故が発生した可能性がある。
【００７７】
たとえば、玄関付近で大きな音がしたときには、転倒事故が考えられる。
【００７８】
居間の真ん中で話し声が検出された直後に無音状態になったときには何らかの異常状態が発生している可能性がある。
【００７９】
そして、図１４のステップＳ２３で状況認識プログラム２８４を実行し、ステップＳ２５で異常の有無を判断する。これらのステップは図９の対応するステップと同じであるので、ここでは重複する説明は省略する。ただし、この実施例では、ステップＳ２３の状況認識においては、上述の音源位置を各フィルタのスコア値に加味して認識することによって、生活空間および／または対象者のより詳細な状況を把握することができる。
【００８０】
上述のいずれの実施例でも、簡易なコンピュータであるマイクロコントローラを内蔵する音センサデバイス１８を用い、音センサデバイスが自身で簡略化したスペクトログラムを生成し、それをネットワーク１２を通して見守りサーバ２０に送り、見守りサーバ２０でその簡略化スペクトログラムをフィルタリングすることによって、状況認識するようにした。したがって、対象者のプライバシを十分保護できるとともに、ネットワーク上に送り出すデータ量が少なく、通信負荷が軽いという利点もある。
【００８１】
さらに、図１の実施例でも、図１０の実施例でも実施可能であるが、状況を認識するまでもなく異常状態を判別する方法がある。その方法では、フィルタリングプログラム２８３（図６）において、異常時に生じる音のフィルタを準備し、時間および周波数の両方向にともに簡略化したスペクトログラムを図１５のステップＳ２１でフィルタリング処理することによって、スコア値を算出し、その異常フィルタのスコア値が大きければ異常状態が発生したと認識する。
【００８２】
なお、上述の実施例では、時間および周波数の両方向において共に簡略化したスペクトログラムを生成するために、図８に示すようにまず時間方向に簡略化し、ついで周波数方向に簡略化する方法を例示した。この方法では、時間軸方向における簡略化を一度に行えるので、効率的であるという利点がある。しかしながら、時間および周波数を簡略化したスペクトログラムを生成する方法としては、この方法以外の方法が採用されてもよい。たとえば、まず周波数方向に大まかにまとめ、その後各周波数帯毎に時間軸方向に簡略化する方法、あるいは、両方向同時に簡略化する方法が考えられる。いずれの方法においても、周波数方向においては、少なくとも先に説明した生活音を観測できる周波数帯を設定する必要がある。
【００８３】
また、図１２に示すように、音源位置推定において振幅値を利用するためには、見守りサーバ２０に振幅値のデータがそのまま伝送されなければならないが、そうすると、音センサデバイス１８からは時間軸方向だけを簡略化したスペクトログラムのデータを出力し、それを受け取って見守りサーバ２０で、音源位置を推定した後、図４のステップＳ３−Ｓ７を実行して、時間および周波数の両方向において簡略化したスペクトログラムを生成する必要がある。
【００８４】
つまり、上で説明した実施例では、音センサデバイスのマイクロコントローラが時間および周波数の両方向において簡略化したスペクトログラムを生成して、それをホームゲートウェイを介して見守りサーバ２０に送ったが、ホームゲートウェイ１４からは、時間軸方向にだけ簡略化したスペクトログラムを送り、まず位置推定を行なった後、見守りサーバ２０でステップＳ３以降を実行するように変更することも可能である。
【００８５】
さらに、同じ居室に３つ以上の音センサデバイスを設置する場合には、三角測量の要領で音源位置をかなり精度よく推定することができる。
【００８６】
基本的に実施例の見守りサーバ２０は、多くの契約者の生活空間を見守ることができるように、ネットワークを介して各家のホームゲートウェイに接続された。しかしながら、見守り対象の家ごとに設けたコンピュータで同じような状況認識を個別に行なうことも考えられる。つまり、実施例ではネットワークを利用した分散処理を行なったが、必ずしも、分散型でなくてもよい。
【符号の説明】
【００８７】
１０ …見守りシステム
１２ …ネットワーク
１４ …ホームゲートウェイ
１６ …家
１８、１８１−１８ｎ、１８２ …音センサデバイス
１８ａ …音センサ（マイクロフォン）
１８ｂ …マイクロコントローラ
２０ …見守りサーバ
【特許請求の範囲】
【請求項１】
生活空間の見守りシステムであって、
前記生活空間内に設置されて、音を収集して音信号を出力する音センサ、
前記音センサからの音信号を処理することによって、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成するスペクトログラム生成手段、および
前記簡略化スペクトログラムをフィルタリング処理することによって、前記生活空間内の状態を観測する状態観察手段を備える、生活空間における見守りシステム。
【請求項２】
前記スペクトログラム生成手段は、複数の周波数帯において代表値を用いることによって周波数方向における簡略化を行い、
前記状態観察手段は、前記スペクトログラム生成手段の周波数帯と同じ周波数帯のフィルタを用いてフィルタリング処理を実行してスコア値を算出するフィルタリング手段、および各フィルタのスコア値に基づいて状況を認識する状況認識手段を含む、請求項１記載の見守りシステム。
【請求項３】
生活空間内に複数の音センサを配置し、前記スペクトログラム生成手段は各音センサからの音信を処理して複数の、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成し、
前記状態観察手段は、前記複数のスペクトログラムをフィルタリングした結果のスコア値に基づいて音源位置を推定する音源位置推定手段をさらに含み、前記状況認識手段は、各フィルタのスコア値および音源位置に基づいて状況を認識する、請求項２記載の見守りシステム。
【請求項４】
前記スペクトログラム生成手段が設定する複数の周波数帯は、全体として対象生活空間における生活音の周波数範囲をカバーするように設定されている、請求項１ないし３のいずれかに記載の見守りシステム。
【請求項１】
生活空間の見守りシステムであって、
前記生活空間内に設置されて、音を収集して音信号を出力する音センサ、
前記音センサからの音信号を処理することによって、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成するスペクトログラム生成手段、および
前記簡略化スペクトログラムをフィルタリング処理することによって、前記生活空間内の状態を観測する状態観察手段を備える、生活空間における見守りシステム。
【請求項２】
前記スペクトログラム生成手段は、複数の周波数帯において代表値を用いることによって周波数方向における簡略化を行い、
前記状態観察手段は、前記スペクトログラム生成手段の周波数帯と同じ周波数帯のフィルタを用いてフィルタリング処理を実行してスコア値を算出するフィルタリング手段、および各フィルタのスコア値に基づいて状況を認識する状況認識手段を含む、請求項１記載の見守りシステム。
【請求項３】
生活空間内に複数の音センサを配置し、前記スペクトログラム生成手段は各音センサからの音信を処理して複数の、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成し、
前記状態観察手段は、前記複数のスペクトログラムをフィルタリングした結果のスコア値に基づいて音源位置を推定する音源位置推定手段をさらに含み、前記状況認識手段は、各フィルタのスコア値および音源位置に基づいて状況を認識する、請求項２記載の見守りシステム。
【請求項４】
前記スペクトログラム生成手段が設定する複数の周波数帯は、全体として対象生活空間における生活音の周波数範囲をカバーするように設定されている、請求項１ないし３のいずれかに記載の見守りシステム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図５】
【公開番号】特開２０１１−２３７８６５（Ｐ２０１１−２３７８６５Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０６３２３（Ｐ２０１０−１０６３２３）
【出願日】平成２２年５月６日（２０１０．５．６）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年６月１９日付け、支出負担行為担当官 総務省大臣官房会計課企画官、研究テーマ「高齢者・障がい者のためのユビキタスネットワークロボット技術の研究開発」に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月６日（２０１０．５．６）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年６月１９日付け、支出負担行為担当官 総務省大臣官房会計課企画官、研究テーマ「高齢者・障がい者のためのユビキタスネットワークロボット技術の研究開発」に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]