行動検知装置及び行動検知方法
【課題】施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減することを課題とする。
【解決手段】行動検知装置１０は、ゲート１内に設置されたカメラ２０によって撮像されるカメラ画像を用いてゲート１を通過する対象者を顔照合で特定し、時系列に撮像されたカメラ画像を用いて対象者を追跡するとともにその対象者の行動の特徴を検出し、検出した行動の特徴が予め登録された対象者の危険行動に関する属性情報と合致するか否かによって対象者が危険行動を行ったか否かを検出する。
【解決手段】行動検知装置１０は、ゲート１内に設置されたカメラ２０によって撮像されるカメラ画像を用いてゲート１を通過する対象者を顔照合で特定し、時系列に撮像されたカメラ画像を用いて対象者を追跡するとともにその対象者の行動の特徴を検出し、検出した行動の特徴が予め登録された対象者の危険行動に関する属性情報と合致するか否かによって対象者が危険行動を行ったか否かを検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象者の行動を検知する行動検知装置及び行動検知方法に関する。
【背景技術】
【０００２】
例えば、近年、高齢化が進むに伴って老人介護の重要性が高まりつつある。老人介護施設では、施設の利用者の徘徊や転倒などの危険行動によって事件や事故が発生するリスクが高く、事件や事故を未然に防ぐ仕組みが要求されている。
【０００３】
現行の老人介護施設では、諸施設の内部や入口などに監視カメラを設置しておき、監視カメラによって撮像された映像をモニタに表示することにより、介助者等の職員に徘徊や危険行動などを監視させる仕組みが採用されることが多い。
【０００４】
ところが、モニタ監視を行う場合には、職員がモニタに表示された映像を常時監視する必要があり、職員に多大な労力が掛かる上にモニタの常時監視を行う余剰人員を確保することも難しく、現実には事件や事故の事後検証の一助としてモニタの映像を使用するのが限界である。
【０００５】
モニタ監視の限界に対する対策として、特許文献１及び特許文献２のような、施設の利用者の所在を管理するための技術が考えられている。
【０００６】
例えば、特許文献１には、利用者にＲＦＩＤタグを付与するとともにＲＦＩＤタグのタグＩＤを受信する無線受信機を特定の区域に設けておき、無線受信機で受信されたタグＩＤと予め登録されているタグＩＤとが一致した場合に異常と判断し、表示装置への出力や職員への通知などを行う徘徊者離院防止システムが開示されている。
【０００７】
また、特許文献２には、オフィス内における複数の施設の入口およびオフィスの出口に顔認証装置をそれぞれ設置するとともに顔認証装置とグループウェアサーバをＬＡＮ接続しておき、グループウェアサーバでは、顔認証装置によって顔認証された利用者のＩＤと機器ＩＤに基づき、利用者の所在を管理する所在管理システムが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−２１５９６１号公報
【特許文献２】特開２００７−８０１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の特許文献１及び特許文献２は、いずれも施設の利用者の所在を管理するものに過ぎず、依然として、事件や事故を未然に防止するには人的コストが増大するという問題がある。
【００１０】
すなわち、職員へ利用者の所在を提示したとしても、職員は、利用者が施設を利用する通常の行動を取っているのか、それとも事件や事故につながる危険な行動を取っているのかを把握できない。
【００１１】
このため、職員は、利用者がその利用者にとって不適切な場所に所在する場合には、最悪のケースを想定して職員が現場に赴くほかに術はなく、それ相応の人的コストが必要となってしまう。
【００１２】
このことから、職員に対して事件や事故の予兆となる利用者の危険行動をいかにして把握させるかが課題となっている。
【００１３】
そこで、本発明は、上述した従来技術による課題を解消するためになされたものであり、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減することができる行動検知装置及び行動検知方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するために、本発明に係る行動検知装置は、少なくとも１つの撮像装置と、対象者の顔情報および危険行動に関する属性情報を対応付けて記憶する記憶部と、前記撮像装置により撮像された画像から顔画像を検出し、前記記憶部に記憶された顔情報と照合して前記対象者を特定する顔照合部と、前記撮像装置により撮像された画像から前記対象者の行動の特徴を検出する行動特徴検出部と、前記顔照合部によって特定された対象者と対応付けて前記記憶部に記憶されている属性情報と、前記行動特徴検出部が検出した行動の特徴とを比較して、前記対象者が危険行動を行ったことを検出する危険行動検出部とを備えたことを特徴とする。
【００１５】
また、本発明に係る行動検知方法は、少なくとも１つの撮像装置により撮像された画像から顔画像を検出し、対象者の顔情報および危険行動に関する属性情報を対応付けて記憶する記憶部に記憶された顔情報と照合して前記対象者を特定する顔照合工程と、前記撮像装置により撮像された画像から前記対象者の行動の特徴を検出する行動特徴検出工程と、前記顔照合工程によって特定された対象者と対応付けて前記記憶部に記憶されている属性情報と、前記行動特徴検出工程が検出した行動の特徴とを比較して、前記対象者が危険行動を行ったことを検出する危険行動検出工程とを含んだことを特徴とする。
【００１６】
これによって、通常の行動が職員へ報知の対象とされることがなくなるとともに、事件や事故が発生する前の段階で対象者の危険行動を職員へ提示することができ、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減することが可能になる。
【００１７】
また、本発明に係る行動検知装置は、上記の発明において、前記危険行動検出部によって前記対象者の危険行動が検出された場合に、当該対象者が危険行動を行った旨を報知するように制御する報知制御部をさらに備えたことを特徴とする。
【００１８】
これによって、職員に迅速な対応を取らせることができ、事件や事故を予防できる可能性をより高めることが可能になる。
【００１９】
また、本発明に係る行動検知装置は、上記の発明において、前記行動特徴検出部は、前記撮像装置により撮像された画像から前記対象者の顔の向きと顔の位置の少なくとも一方を時系列に検出することにより、前記対象者の行動の特徴を検出することを特徴とする。
【００２０】
これによって、対象者の行動の特徴を時間的な奥行きを持った行動パターンとして検出することができ、対象者が一時的に取った行動を対象者の行動の特徴として誤検出することを防止できる結果、対象者の危険行動をより確度よく検知することが可能になる。
【００２１】
また、本発明に係る行動検知装置は、上記の発明において、前記行動特徴検出部は、当該行動検知装置における対象者の特定の有無および他の行動検知装置における対象者の特定の有無に基づいて前記対象者が危険行動を行ったことを検出することを特徴とする。
【００２２】
これによって、対象者の行動検知装置間の通過情報から経路情報や移動時間を収集することができ、経路情報や移動時間に条件を設けて対象者の危険行動を検知することができる結果、施設における事件及び事故の発生リスクをより効果的に低減することが可能になる。
【発明の効果】
【００２３】
本発明によれば、対象者の危険行動だけを検知できるので、通常の行動が職員へ報知の対象とされることがない。さらに、事件や事故の予兆となる対象者の危険行動を検知できるので、事件や事故が発生する前の段階で対象者の危険行動を職員へ提示することができる。このため、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減することが可能になる。
【図面の簡単な説明】
【００２４】
【図１】図１は、本実施例に係る行動検知装置の構成を示すブロック図である。
【図２】図２は、本実施例に係るゲートの構成例を示す図である。
【図３】図３は、顔の向きおよび顔の位置を検出する要領を説明するための説明図である。
【図４】図４は、対象者情報記憶部に記憶される情報の構成例を示す図である。
【図５】図５は、行動推定ルール記憶部に記憶される情報の構成例を示す図である。
【図６】図６は、行動・状況対応関係記憶部に記憶される情報の構成例を示す図である。
【図７】図７は、対象者の行動の特徴量を算出する要領を説明するための説明図である。
【図８】図８は、本実施例に係る危険行動検知処理の手順を示すフローチャートである。
【図９】図９は、複数のゲートを設ける場合の施設レイアウトの一例を示す図である。
【図１０】図１０は、報知テーブルに記憶される情報の構成例を示す図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照して、本発明に係る行動検知装置及び行動検知方法の好適な実施例を詳細に説明する。
【実施例】
【００２６】
図１は、本実施例に係る行動検知装置の構成を示すブロック図である。図１に示す行動検知装置１０は、施設に所属する者のうち介助者等の職員によって見守られる対象となる者（以下、対象者と言う）を対象に行動検知を行うものであり、とりわけゲート１に搭載または付設されるカメラ２０によって撮像されたカメラ画像を用いて対象者のゲート１内における行動を推定するものである。
【００２７】
まず、図２を用いて、本実施例に係るゲートの構成について説明する。ゲート１は、ゲート幅Ｂ、ゲート長ＬＣ及びゲート高さＨの直方体状に形成されており、施設の通路、分岐点、トイレ近辺や出入口などの要救護現象が発生しやすいポイントに設置される。なお、本実施例では、直方体を例示しているが、対象者の一定の区間の移動をカメラ画像でサンプリングできる形状であれば任意の形状でよい。
【００２８】
ここで、本実施例では、ゲート１内を対象者の行動の検知領域とし、ゲート１内にカメラ２０ＢＬ及び２０ＢＲを設置するとともに、ゲート１外に２０ＣＬ、２０ＣＲ、２０ＤＬ及び２０ＤＲを設置することとしている。
【００２９】
これを具体的に説明すると、このゲート１内には、天面にカメラ２０Ａ、左側面にカメラ２０ＢＬが設置されるとともに右側面にカメラ２０ＢＲが設置されている。一方、ゲート１外には、ゲート１の左側面および右側面から手前方向へ距離ＬＦを隔てた位置にカメラ２０ＣＬ及びカメラ２０ＣＲがそれぞれ設置されており、また、ゲート１の左側面および右側面から奥行き方向へ距離ＬＲを隔てた位置にカメラ２０ＤＬ及びカメラ２０ＤＲがそれぞれ設置されている。
【００３０】
ゲート１の天面に設置されるカメラ２０Ａを除く、カメラ２０ＢＬ、２０ＢＲ、２０ＣＬ、２０ＣＲ、２０ＤＬ及び２０ＤＲは、対象者が立位または座位（車いす）である場合の両方のケースで頭を含む全身を撮像することができる高さｈ（例えばｈは０．９ｍ程度）に設置される。
【００３１】
なお、対象者の歩行の妨げにならようにカメラを設置する場合には、対象者の肩の高さより上の位置（例えば、１．５ｍ以上）にカメラを設置するのが好ましい。また、図示の例では、カメラを７つ設置する場合を例示したが、対象者の顔が撮像可能であればカメラの設置箇所および設置個数は任意でかまわない。
【００３２】
また、ゲート１の底面には、左側線３Ｌ及び右側線３Ｒ、左壁側領域５Ｌ及び右壁側領域５Ｒが表示されている。詳細は図７を用いて後述するが、概要としては、対象者の行動パターンをカメラ画像から検出するための表示であり、左側線３Ｌ及び右側線３Ｒはジグザグ歩行の検出に、左壁側領域５Ｌ及び右壁側領域５Ｒは手すりでの歩行停止時間の検出に使用される。
【００３３】
ここで、本実施例に係る行動検知装置１０は、ゲート１内に設置されたカメラ２０によって撮像されるカメラ画像を用いてゲート１を通過する対象者を顔照合で特定し、時系列に撮像されたカメラ画像を用いて対象者を追跡するとともにその対象者の行動の特徴を検出し、検出した行動の特徴が予め登録された対象者の危険行動に関する属性情報と合致するか否かによって対象者が危険行動を行ったか否かを検出する。
【００３４】
すなわち、本実施例に係る行動検知装置１０を用いれば、対象者の行動が事件や事故に至る前の段階で職員が対象者を未然に救護でき、事件や事故の予兆となる対象者の危険行動を職員が把握できる。
【００３５】
これを具体的に説明すると、対象者がゲート内からカメラ２０ＣＬ及びカメラ２０ＣＲ方向へ向かっているとき、行動検知装置１０は、カメラ２０Ａを用いて上方向、カメラ２０ＣＬ及びカメラ２０ＣＲを用いて正面方向、カメラ２０ＢＬ及びカメラ２０ＢＲを用いて右方向及び左方向、カメラ２０ＤＬ及びカメラ２０ＤＲを用いて後方向などの各方向からゲート１内における歩行者を撮像する。
【００３６】
そして、行動検知装置１０は、これらのカメラ２０によって撮像されたカメラ画像から人物の顔を検出して切り出し、切り出した顔画像と予め登録された対象者の顔情報とを照合する。このとき、予め登録された顔情報との間で照合が成功すれば、カメラ画像に写っている人物が登録の顔情報を持つ対象者と特定することができる。
【００３７】
その上で、行動検知装置１０は、カメラ２０によって撮像された複数のカメラ画像に写っている同一の対象者を時系列に追跡し、その対象者のカメラ２０に対する顔の向き又はゲート１における顔の位置の時系列データに基づき、対象者の行動の特徴量を算出する。
【００３８】
より詳細には、行動検知装置１０は、カメラ２０によって撮像された各方向の顔画像に対して画像認識を行い、対象者の顔が正面方向、左方向または右方向のいずれのカメラ２０に対してより正対しているのかをカメラ画像の撮像機会ごとに検出する。または、カメラ２０のうち少なくとも１つのカメラにおいて、撮像された顔の向きを検出してもよい。この処理は、例えば、正面、右向き、左向きなど方向別の基準顔画像と撮像された顔画像とを照合することにより類似度が高い基準顔画像の向きを対象者の顔の向きと決定することにより行う。これによって、ゲート１への進入から退出までのカメラ２０に対する顔の向きを検出する。なお、ここでは、左右に顔が振れる場合を視線変化として検出する場合について説明するが、上下に顔が振れる場合を視線変化として検出することとしてもよい。
【００３９】
例えば、図３に示した撮像機会の例で言えば、カメラ２０ＢＬ、２０ＢＲ、２０ＣＬ及び２０ＣＲのうち、カメラ２０ＣＲによって撮像された顔画像がカメラに最も正対している認識結果が得られるので、この時点の撮像機会では、対象者の顔の向きが「正面（左）向き（対象者からみてやや正面左方向）」であると検出する。なお、カメラ２０ＣＬによって撮像された顔画像がカメラに最も正対している場合には「正面（右）向き」、カメラ２０ＢＬ及びカメラ２０ＢＲによって撮像された顔画像がカメラに最も正対している場合にはそれぞれ「右向き」「左向き」と検出される。
【００４０】
そして、対象者がゲート１を四つん這いなって移動する場合には、ゲート１における顔画像のシーケンスが図３の最上部のシーケンスのようにカメラよりも顔が低い状態で得られる。また、対象者が車いすでゲート１を移動する場合には、ゲート１における顔画像のシーケンスが図３の上から２番目のシーケンスのようにカメラと顔の高さが同じ状態で得られる。さらに、対象者が立位でゲート１を移動する場合には、ゲート１における顔画像のシーケンスが図３の上から３番目のシーケンスのようにカメラよりも顔が高い状態で得られる。
【００４１】
一方、行動検知装置１０では、カメラ２０Ａによって天面から撮像されたカメラ画像（図３参照）に対して画像認識を行い、ゲート１における水平面（床面）上で対象者の顔（頭）が所在する座標位置、すなわちゲート１の幅方向をＸ方向、ゲート１の奥行き方向をＹ方向とした座標位置をカメラ画像の撮像機会ごとに検出する。これによって、ゲート１への進入から退出までのゲート１における顔の位置（ＸＹ座標）を検出する。
【００４２】
また、行動検知装置１０では、図３に示すように、カメラ２０ＢＬ、カメラ２０ＢＲ、カメラ２０ＣＬまたはカメラ２０ＣＲによって左方向、右方向または正面方向から撮像されたカメラ画像に対して画像認識（顔検出や頭部の検出）を行い、ゲート１における対象者の顔（頭）の床面からの高さ（Ｚ座標）をカメラ画像の撮像機会ごとに検出する。これによって、ゲート１への進入から退出までのゲート１における顔の位置（Ｚ座標）を検出する。なお、顔検出には、公知の顔検出技術を用いることができる。頭部の検出は、頭や肩の輪郭を抽出して行うことができる。
【００４３】
そして、行動検知装置１０では、このようにして時系列に検出したカメラ２０に対する対象者の顔の向き及びゲート１における対象者の顔の位置に基づき、対象者の行動の特徴量を算出する。
【００４４】
例えば、カメラ２０に対する対象者の顔の向きの時系列データからは、ゲート１における対象者の視線変化回数、すなわち左右への首振り回数を対象者の行動の特徴量として検出することができる。このとき、行動検知装置１０では、対象者の危険行動の属性情報として視線変化が登録されている場合に、ゲート１における対象者の視線変化回数がｂ（回）以上であるならば、当該対象者が危険行動を行ったと検知する。
【００４５】
また、ゲート１における対象者の顔の位置（ＸＹ座標）の時系列データからは、左右の側線３Ｌ及び３Ｒの横断回数、すなわちジグザグ歩行を対象者の行動の特徴量として検出することができる。このとき、行動検知装置１０では、対象者の危険行動の属性情報として左右の側線の横断が登録されている場合に、ゲート１における対象者の左右の側線３Ｌ及び３Ｒの横断回数がｆ（回）以上であるならば、当該対象者が危険行動を行ったと検知する。なお、側線３Ｌ及び３Ｒを横断しなくとも、Ｘ方向またはＹ方向の移動量が所定値を超えたことを特徴量としてもよい。
【００４６】
さらに、ゲート１における対象者の顔の位置（Ｚ座標）の時系列データからは、ゲート１における対象者の顔の高さの時間平均を対象者の行動の特徴量として検出することができる。このとき、行動検知装置１０では、対象者の顔の高さの時間平均が歩行閾値ａよりも大きい場合には、対象者が歩行（立位）であり、また、歩行閾値ａ以下である場合には、車いす（座位）であることを検出することができる。このため、車いすを利用する対象者には、対象者の危険行動の属性情報として歩行（立位）を登録しておけば、当該対象者が歩行であることを検出した場合に、車いすを利用しなければいけない対象者が歩行しているという危険行動を検知できる。
【００４７】
このように、本実施例では、対象者がゲート１で取る行動のうち対象者の危険行動だけを検知できるので、生活の一部に含まれる通常の行動が職員へ報知の対象とされることがない。さらに、事件や事故の予兆となる対象者の危険行動を検知できるので、事件や事故が発生する前の段階で対象者の危険行動を職員へ提示することができる。
【００４８】
したがって、本実施例では、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減することが可能になる。
【００４９】
また、本実施例では、対象者の危険行動に関する属性情報を登録しておき、カメラ画像から検出される対象者の行動の特徴との間で比較するので、多様な対象者が施設に所属する場合でも、対象者ごとに異なる個人特性に適合した危険行動を検知できる。
【００５０】
続いて、本実施例に係る行動検知装置の各部の構成について説明する。図１に示すように、行動検知装置１０は、カメラ２０と、表示部１１ａと、音声出力部１１ｂと、メール配信部１１ｃと、対象者情報記憶部１２と、行動推定ルール記憶部１３と、行動・状況対応関係記憶部１４と、顔画像切出部１５と、顔照合部１６と、行動特徴検出部１７と、危険行動検出部１８と、報知制御部１９とを有する。
【００５１】
カメラ２０Ａ、カメラ２０ＢＬ、カメラ２０ＢＲ、カメラ２０ＣＬ、カメラ２０ＣＲ、カメラ２０ＤＬ及びカメラ２０ＤＲ（以下、これらを総称する場合にはカメラ２０と記載する）は、広角の視野を有するネットワークカメラであり、予め定められたフレームレートでカメラ画像を顔画像切出部１５へ出力する。
【００５２】
表示部１１ａは、モニタやディスプレイなどの表示デバイスであり、音声出力部１１ｂは、スピーカなどの音声出力デバイスであり、また、メール配信部１１ｃは、電子メールの作成や送受信を行う処理部である。
【００５３】
対象者情報記憶部１２は、施設に所属する対象者の情報を記憶するデータベースであり、例えば、図４に示すように、対象者ＩＤごとにその対象者の顔画像および見守り必要状況を対応付けて記憶する。ここで、対象者ＩＤとは、対象者に付与される一意に特定可能な識別情報を指す。また、見守り必要状況とは、職員による救護活動が必要とされる対象者の状況を指す。なお、対象者の顔画像としては、施設に入所するなどの初期段階で予め撮像された顔画像が登録される。
【００５４】
この図４の例では、対象者「１２３４５」の男性は、歩行可能であるものの、投薬が原因で興奮状態になったり徘徊を行うことから、見守り必要状況として「徘徊」や「投薬ミス」が登録されている。また、対象者「６７８９０」の女性は、車いすを使用し、各種の歩行または車いすのトラブルが懸念されることから、見守り必要状況として「車いすなしの歩行」、「歩行困難」、「転倒」および「滑落／ずり落ち」が登録されている。このようにして、個人の特性に合った見守り必要状況を登録しておくことができる。
【００５５】
なお、ここでは、対象者を特定するための顔情報として顔画像を登録することとしたが、顔画像が顔照合用に加工された特徴量などの加工データであってもかまわない。
【００５６】
行動推定ルール記憶部１３は、行動を推定するルールを記憶するデータベースであり、例えば、図５に示すように、行動の特徴量に関する条件ごとにその条件を満たした場合の行動パターンを対応付けて記憶する。
【００５７】
この図５の例で言えば、ゲート１における顔の高さの時間平均＞ａ（歩行閾値）である場合には、行動パターンＡ「歩行中」と検出されることになる。また、視線変化回数≧ｂ（探索閾値）である場合には、行動パターンＢ「首振り回数が多い」と検出されることになる。さらに、視線変化頻度≧ｃ（探索閾値）である場合には、行動パターンＣ「首振り速度が速い」と検出されることになる。
【００５８】
さらに、ゲート通過の平均速度≧ｄ（急ぎ足閾値）である場合には、行動パターンＤ「移動速度が速い」と検出されることになる。ゲート通過の所要時間≧ｅ（移動停止検出閾値）である場合には、行動パターンＥ「移動停止時間が長い」と検出されることになる。また、左右の側線の横断回数≧ｆである場合には、行動パターンＦ「ジグザグ歩行」と検出されることになる。
【００５９】
加えて、壁側領域の累積所在時間≧ｇ（手すり待機閾値）である場合には、行動パターンＧ「手すりを持ちつつ歩行停止」と検出されることになる。顔高さの最小値≦ｈ（床接近閾値ｈ）である場合には、行動パターンＨ「頭が床に大接近」と検出されることになる。また、顔高さの最小値≦ｉ（床接近閾値ｉ）である場合には、行動パターンＩ「頭が床に接近」と検出されることになる。なお、ここでは、ｈ＜ｉであるものとする。なお、あらかじめ登録しておいた異常時の顔画像との類似度≧ｌ（表情異常閾値）である場合には、行動パターンＬ「表情の異常」と検出されることになる。
【００６０】
また、行動パターンは対象者単独のものに加えて、他者との関係を加えても良い。ゲート内で２名が検出され、２名のゲート通過の所要時間≧ｊ（複数移動停止検出閾値）である場合には、「２名の移動停止時間が長い（Ｊ）」と検出されることになる。ゲート内で２名が検出され、１名の顔高さの最小値≧ｋ（床近接閾値ｋ）である場合には、「２名のうち１人の頭が床に接近（Ｋ）」と検出されることになる。また、ゲート内で２名が検出され、１名の顔高さの平均時間≦ａ（歩行閾値）であり、他の１名の顔高さの平均時間＞ａである場合、すなわち前者が車椅子、後者が歩行の場合で、歩行者の顔が車椅子を押すことを許可された人の顔と異なる場合、「介助者以外が車椅子を介助（Ｍ）」と検出されることになる。
【００６１】
行動・状況対応関係記憶部１４は、対象者の行動パターンと状況の対応関係を記憶するデータベースであり、例えば、図６に示すように、対象者の状況ごとに行動パターンを対応付けて記憶する。ここで、対象者の状況とは、事件や事故につながる行動状況を指し、また、行動パターンとは、対象者の行動の特徴量の多寡によって定義付けられた類型を指す。
【００６２】
この図６の例で言えば、「車いすなしの歩行」は、行動パターンＡが検出されており、対象者が歩行しているのが明らかである状況の場合に推定される。また、「休憩」は、行動パターンＥ及び行動パターンＧが検出されており、移動停止時間が長く、かつ手すりを持ちつつ歩行停止している状況の場合に推定される。
【００６３】
さらに、「徘徊」は、行動パターンＢ、行動パターンＣ及び行動パターンＤが検出されており、首振り回数および首振り頻度がともに多く、対象者が周りの場所を確認しようとしていることが明らかであり、かつ目的の場所に対して急いでいることが明らかである状況の場合に推定される。
【００６４】
また、「目的地探索」は、「徘徊」と類似し、行動パターンＢ、行動パターンＣ及び行動パターンＤが検出されており、首振り回数および首振り頻度がともに多く、対象者が周りの場所を確認しようとしていることが明らかであり、かつ目的の場所に対して急いでいることが明らかである状況の場合に推定される。
【００６５】
さらに、「他者に面会（興奮状態）」は、行動パターンＤが検出されており、目的の場所に対して急いでいることが明らかである状況の場合に推定される。「投薬ミス（興奮状態）」は、行動パターンＤ、行動パターンＦ及び行動パターンＬが検出されており、目的の場所に対して急いでおり、歩行の進行方向がジグザグで安定しておらず、顔の表情に異常がある状況の場合に推定される。
【００６６】
また、「歩行中に転倒」は、行動パターンＥ及び行動パターンＨが検出されており、対象者の歩行が何らかの事象が原因で停止している可能性が高く、かつ頭が床面に大接近している状況の場合に推定する。
【００６７】
さらに、「歩行困難（車いすトラブル）」は、行動パターンＢ、行動パターンＣ、行動パターンＥ及び行動パターンＧが検出されており、対象者が周りの人に助けを求めようとしており、対象者の歩行が何らかの事象が原因で停止している可能性が高く、かつ手すりを持ちつつ歩行停止している状況の場合に推定される。
【００６８】
また、「（車いすから）転倒」は、「歩行中に転倒」に類似し、行動パターンＥ及び行動パターンＨが検出されており、対象者の歩行が何らかの事象が原因で停止している可能性が高く、かつ頭が床面に大接近している状況の場合に推定される。
【００６９】
さらに、「（車いすから）滑落／ずり落ち」は、行動パターンＥ及び行動パターンＩが検出されており、対象者の歩行が何らかの事象が原因で停止している可能性が高く、かつ頭が床面に接近しつつある状況の場合に推定される。
【００７０】
他者との関係の行動パターンを用いると、さらに次のような状況が検出できる。「口論」は、行動パターンＪ及び行動パターンＬが検出されており、２名が１カ所にとどまり、かつ興奮しており、口論をしている可能性が高い場合に検出される。
【００７１】
さらに、「喧嘩もしくは接触転倒」は、行動パターンＪ及び行動パターンＫが検出されており、２名が１カ所にとどまり、うち１人の頭が床に接近しており倒れた可能性が高い場合に検出される。
【００７２】
また、「施設から出て行く（離設）」は、行動パターンＤ及び行動パターンＬが検出されており、対象者が急いで移動し、かつ興奮して移動している可能性が高く、移動方向が施設の外方向の場合に検出される。
【００７３】
「介助者以外が車椅子を介助」は、行動パターンＭが検出されており、車椅子を押す技量が無い人が車椅子を押しているため事故になる可能性が高い場合に推定される。
【００７４】
なお、ここでは、１つの状況に対し複数の行動パターンが定義されている場合には、全ての行動パターンが検出された場合に対象者がそれに対応する状況に置かれているものと推定することとしたが、定義されるいずれかの行動パターンが検出された場合や一部の行動パターンの組合せが検出された場合に対象者がその状況に置かれているものと推定させることとしてもかまわない。
【００７５】
ここで、行動推定ルール記憶部１３および行動・状況対応関係記憶部１４の記憶内容は、実際の老人介護施設で撮像された動画像を観察・分析することにより行動パターンを導き、介護スタッフからのヒアリングにより救援対象行動（例えば、「トイレから戻れない」、「ホームシックによる徘徊」や「薬服用などによる意識レベルの低下」など）を抽出し、救援対象行動につながる対象者の目的行動（意図）と行動パターンの対応付けを研究の知見として構築したものである。
【００７６】
なお、対象者情報記憶部１２、行動推定ルール記憶部１３および行動・状況対応関係記憶部１４内の記憶データは、それぞれ個別のハードディスク装置または不揮発性メモリなどの記憶デバイスに格納してもよいし、一部または全部を１つの記憶デバイスに格納することとしてもかまわない。
【００７７】
顔画像切出部１５は、各カメラ２０によって撮像されたカメラ画像から人物の顔を検出して切り出す処理部であり、カメラ画像から切り出した顔画像を顔照合部１６へ出力する。なお、本実施例では、カメラ２０に撮像画像を加工せずにそのまま出力させる場合を例示したが、顔画像を切り出す機能をカメラ２０が具備するように構成してもかまわない。
【００７８】
顔照合部１６は、顔画像切出部１５によって切り出された顔画像と、対象者情報記憶部１２に登録された顔画像とを照合する処理部である。具体的には、顔画像切出部１５によって切り出された１つの顔画像に対し、対象者情報記憶部１２に登録されたＮ個の顔画像を対象に１対Ｎ認証を行い、Ｎ個の顔画像の中に切り出し後の顔画像と一致するものが存在した場合には、カメラ画像に写っている顔の人物を照合に成功した登録顔画像を持つ対象者と特定し、その対象者のＩＤを行動特徴検出部１７へ出力する。
【００７９】
ここで、顔照合部１６では、必ずしも各カメラ２０のカメラ画像から切り出された顔画像すべてを対象に顔照合を行う必要はなく、これらの顔画像のうち最もブレが少ないものや顔部分が鮮明に写っているものなど、顔照合に適した顔画像を１つまたは複数選択し、選択した顔画像を対象に顔照合を行うこととしてもよい。また、この顔照合部１６では、公知の顔照合技術であれば任意の顔照合技術を適用できる。
【００８０】
行動特徴検出部１７は、カメラ２０によって撮像されたカメラ画像または顔画像切出部１５によって切出された顔画像を用いて、対象者の行動の特徴を検出する処理部である。なお、以下では、ゲート１に対象者が１人ずつ進入して退出する場合を想定して説明を行うこととする。
【００８１】
これを具体的に説明すると、行動特徴検出部１７は、前回に取得されていたカメラ画像に対象者が存在しなかった場合には、顔照合部１６によって対象者ＩＤが出力されると、新たな追跡用テーブル１７ａ（図７参照）を作成する。
【００８２】
一方、行動特徴検出部１７は、追跡用テーブルが既に作成されている場合には、顔照合部１６によって出力された対象者ＩＤが追跡用テーブル１７ａ内の対象者ＩＤと同一であることを確認してからその追跡用テーブルを引き続き使用する。
【００８３】
この追跡用テーブル１７ａは、対象者ＩＤごとに対象者の行動の特徴量を記憶するテーブルである。追跡用テーブル１７ａでは、ゲート１への進入を検出してから退出を検出するまで対象者の行動を追跡して管理するために、カメラ画像が取得される度に行動特徴検出部１７によって対象者の行動の特徴量が累積して更新される。
【００８４】
その後、行動特徴検出部１７は、カメラ２０Ａ、カメラ２０ＢＬ、カメラ２０ＢＲ、カメラ２０ＣＬ、カメラ２０ＣＲ、カメラ２０ＤＬ及びカメラ２０ＤＲによって撮像されたカメラ画像間で同一の座標に所在する被写体（対象者）を対応付ける。
【００８５】
すなわち、カメラ２０の撮像範囲は、各々のカメラで重複しているので、各カメラ２０で撮像されるカメラ画像に含まれる被写体の座標位置についてもカメラ画像間で共有化することができる。
【００８６】
このため、行動特徴検出部１７では、顔照合部１６によっていずれかの顔画像で対象者が特定されれば、その顔画像の切出元のカメラ画像における対象者の座標を他のカメラ画像へ当て嵌めることにより他のカメラ画像における該当座標の被写体を先の対象者と特定し、カメラ画像間で同一の被写体（対象者）をリンクさせる。
【００８７】
そして、行動特徴検出部１７は、顔画像切出部１５によって切り出された各方向の顔画像に対して画像認識を行い、対象者の顔が正面方向、左方向または右方向のいずれのカメラ２０に対して正対しているのかを検出することにより、カメラ２０に対する顔の向きを検出する。
【００８８】
かかる顔の向き検出後に、行動特徴検出部１７は、カメラ２０に対する対象者の顔の向きに基づき、ゲート１における対象者の視線変化回数および視線変化頻度を対象者の行動の特徴量として算出する。
【００８９】
ここで、行動特徴検出部１７は、今回に顔画像が撮像された時点よりも以前の撮像機会において対象者の顔が直近に向いていたカメラ２０の方向とは異なる方向のカメラ２０に対象者の顔が向いている場合には、対象者の視線が１回変化したものとし、追跡用テーブル１７ａ内の視線変化回数をインクリメントする。なお、ここでは、正面方向、左方向または右方向のカメラ２０によって撮像された顔画像のうち、対象者情報記憶部１２に登録された対象者の顔画像との照合に成功し、かつ照合に成功した顔画像の中でカメラに最も正対している顔画像の方向が顔の向きとして検出されるものとする。
【００９０】
すなわち、行動特徴検出部１７は、対象者の顔がカメラ２０ＢＲ又はカメラ２０ＣＲに正対されていた状態から逆方向のカメラ２０ＢＬ又はカメラ２０ＣＬに正対した場合、もしくは対象者の顔がカメラ２０ＢＬ又はカメラ２０ＣＬに正対されていた状態から逆方向のカメラ２０ＢＲ又はカメラ２０ＣＲに正対した場合に、追跡用テーブル１７ａ内の視線変化回数をインクリメントする。また、正対するカメラがカメラ２０ＣＬとカメラ２０ＣＲとの間で変化したときも視線変化としてもよい。
【００９１】
さらに、行動特徴検出部１７は、更新後の視線変化回数に基づき、追跡用テーブル１７ａ内の視線変化頻度を更新する。例えば、カメラ２０のフレームレートが毎秒１フレームであるとしたときには、ゲート１への進入を検出してから今回までに撮像されたフレーム数で視線変化回数を除算することにより視線変化頻度を算出し、算出した視線変化頻度を追跡用テーブル１７ａへ書き込む。
【００９２】
また、行動特徴検出部１７は、カメラ２０ＢＬ、カメラ２０ＢＲ、カメラ２０ＣＬまたはカメラ２０ＣＲによって左方向、右方向または正面方向から撮像されたカメラ画像に対して画像認識を行い、ゲート１における対象者の顔（頭）の床面からの高さを検出することにより、ゲート１における顔の位置（Ｚ座標）を検出する。
【００９３】
かかる顔の位置検出後に、行動特徴検出部１７は、ゲート１における顔の位置（Ｚ座標）に基づき、ゲート１における顔の高さの時間平均および顔高さの最小値を対象者の行動の特徴量として算出する。
【００９４】
例えば、行動特徴検出部１７は、カメラ２０のフレームレートが毎秒１フレームであるとしたときには、ゲート１への進入を検出してから今回までに撮像されたフレーム数でこれまでに検出された顔高さの累計値を除算することにより顔高さの時間平均を算出し、算出した顔高さの時間平均を追跡用テーブル１７ａへ書き込む。
【００９５】
また、行動特徴検出部１７は、追跡用テーブル１７ａに記憶された顔高さの最小値が今回に検出した顔高さよりも大きい場合には、追跡用テーブル１７ａ内に今回に検出した顔高さを上書き更新する。
【００９６】
また、行動特徴検出部１７は、カメラ２０Ａによって天面から撮像されたカメラ画像に対して画像認識を行い、ゲート１における水平面（床面）上で対象者の顔（頭）が所在する座標位置を検出することにより、ゲート１における顔の位置（Ｘ座標およびＹ座標）を検出する。
【００９７】
かかる顔の位置検出後に、行動特徴検出部１７は、ゲート１における顔の位置（Ｘ座標およびＹ座標）に基づき、ゲート通過の平均速度、ゲート通過の所要時間、左右の側線の横断回数および壁側領域の累積所在時間を対象者の行動の特徴量として算出する。
【００９８】
例えば、行動特徴検出部１７は、ゲート１への進入を検出してから今回までに検出したＹ座標のうち最大のＹ座標から最小のＹ座標を減算し、その減算値を今回までに撮像されたフレーム数で除算することによりゲート通過の平均速度を算出し、算出したゲート通過の平均速度を追跡用テーブル１７ａへ書き込む。
【００９９】
さらに、行動特徴検出部１７は、ゲート１への進入を検出した方向とは逆方向に対象者がフレームアウトしたことを検出した場合に、ゲート１へ進入してから退出するまでに要したフレーム数をゲート通過の所要時間として追跡用テーブル１７ａへ書き込む。
【０１００】
また、行動特徴検出部１７は、今回にカメラ画像が撮像された時点よりも以前の撮像機会において対象者の顔が直近に所在していた側線とは逆方向の側線に対象者の顔（頭）が所在している場合には、対象者がゲート１を１回横断したものとし、追跡用テーブル１７ａ内の横断回数をインクリメントする。
【０１０１】
すなわち、行動特徴検出部１７は、対象者の顔が左側線３Ｌに所在していた状態から逆方向の右側線３Ｒに到達した場合、もしくは対象者の顔が右側線３Ｒに所在していた状態から逆方向の左側線３Ｌに到達した場合に、追跡用テーブル１７ａ内の横断回数をインクリメントする。
【０１０２】
また、行動特徴検出部１７は、たとえばカメラ２０のフレームレートが毎秒１フレームであるとしたときには、今回に検出した対象者の顔の位置（Ｘ座標）が左壁側領域５Ｌまたは右壁側領域５Ｒに含まれる場合に、追跡用テーブル１７ａ内の壁側領域の累積所在時間に１秒を加算更新する。
【０１０３】
このようにして、本実施例では、図７に示すように、カメラ画像から顔検出を行って顔画像を切り出し、その顔画像と対象者の顔画像とを顔照合して対象者を特定し、カメラ画像および顔画像に写っている同一の対象者を時系列に追跡し、その対象者のカメラ２０に対する顔の向き又はゲート１における顔の位置の時系列データに基づき、対象者の行動の特徴量を算出する。
【０１０４】
これによって、対象者の行動の特徴を時間的な奥行きを持った行動パターンとして検出することができ、対象者が一時的に取った行動を対象者の行動の特徴として誤検出することを防止できる結果、対象者の危険行動をより確度よく検知することが可能になる。
【０１０５】
その後、行動特徴検出部１７は、このようにして算出した対象者の行動の特徴量が行動推定ルール記憶部１３に記憶された特徴量別の条件を満たすか否かを判定し、条件を満たす場合にはその行動パターンを抽出する。
【０１０６】
具体的には、ゲート１における顔高さの時間平均がａ（ｍ）よりも大きい場合には行動パターンＡを抽出し、視線変化回数がｂ（回）以上である場合には行動パターンＢを抽出し、視線変化頻度がｃ（回／ｓｅｃ）以上である場合には行動パターンＣを抽出する。また、ゲート通過の平均速度がｄ（ｍ／ｓｅｃ）以上である場合には行動パターンＤを抽出し、ゲート通過の所要時間がｅ（ｓｅｃ）以上である場合には行動パターンＥを抽出し、左右の側線の横断回数がｆ（回）以上である場合には行動パターンＦを抽出する。さらに、壁側領域の累積所在時間がｇ（ｓｅｃ）以上である場合には行動パターンＧを抽出し、顔高さの最小値がｈ（ｍ）以下である場合には行動パターンＨを抽出し、顔高さの最小値がｉ（ｍ）以下である場合には行動パターンＩを抽出する。また、異常時の顔画像との類似度がｌ（％）以上である場合には行動パターンＬを抽出する。
【０１０７】
また、対象者を含む複数の人物がゲート１内に検出されているケースでは、２名のゲート通過の所要時間≧ｊ（複数移動停止検出閾値）である場合には行動パターンＪを抽出し、２名のうち１名の顔高さの最小値≧ｋ（床近接閾値ｋ）である場合には行動パターンＫを抽出し、また、１名の顔高さの平均時間≦ａ（歩行閾値）であり、他の１名の顔高さの平均時間＞ａである場合、すなわち前者が車椅子、後者が歩行の場合で、歩行者の顔が車椅子を押すことを許可された人の顔と異なる場合には行動パターンＭが抽出する。
【０１０８】
そして、行動特徴検出部１７は、このようにして抽出した行動パターンに対応する状況を行動・状況対応関係記憶部１４から抽出し、抽出した状況を対象者の状況として推定する。
【０１０９】
具体的には、行動パターンＡが抽出されている場合には対象者が「車いすなしの歩行」を行っている状況であると推定される。行動パターンＥ及びＧが抽出されている場合には対象者が「休憩」を行っている状況であると推定される。また、行動パターンＢ、行動パターンＣ及び行動パターンＤのフラグが検出されている場合に対象者が「徘徊」または「目的地探索」を行っている状況であると推定される。さらに、同様にして、「他者に面会（興奮状態）」〜「（車いすから）滑落またはずり落ち」などの対象者の状況が推定される。
【０１１０】
また、対象者を含む複数の人物がゲート１内に検出されているケースでは、パターンＪ及びＬが抽出されている場合には対象者同士が「口論」を行っている状況であると推定される。行動パターンＪ及びＫが抽出されている場合には２名の対象者の間で「喧嘩もしくは接触転倒」が起こっている状況であると推定される。行動パターンＤ及びＬが抽出されている場合には対象者が「施設を出て行く」という行動を取っている状況であると推定される。さらに、行動パターンＭが抽出されている場合には「介助者以外が車椅子を介助」している状況であると推定される。
【０１１１】
危険行動検出部１８は、対象者情報記憶部１２によって記憶された対象者の危険行動と、行動特徴検出部１７によって検出された行動パターンとを比較して、対象者が危険行動を行ったことを検出する処理部である。
【０１１２】
例えば、顔照合部１６によって特定された対象者が「１２３４５」である場合には、行動特徴検出部１７によって「徘徊」または「投薬ミス」が対象者の状況として推定されたならば、対象者が危険行動を行ったと判定する。また、顔照合部１６によって特定された対象者が「６７８９０」である場合には、行動特徴検出部１７によって「車いすなしの歩行」、「歩行困難」、「転倒」または「滑落またはずり落ち」が対象者の状況として推定されたならば、対象者が危険行動を行ったと判定する。
【０１１３】
報知制御部１９は、危険行動検出部１８によって対象者が危険行動を行ったと判定された場合に、表示部１１ａ、音声出力部１１ｂおよび／またはメール配信部１１ｃを制御して、対象者が危険行動を行った旨を報知する処理部である。
【０１１４】
例えば、報知制御部１９は、対象者ＩＤ、対象者が危険行動を行った日時、危険行動の種別などを表示部１１ａに表示させたり、音声出力部１１ｂから音声出力させることにより館内放送を行ったり、また、メール配信部１１ｃにメールの作成および送信を実行させることにより職員が保有する携帯電話、ＰＨＳやＰＤＡなどの携帯端末へメール配信したりする。
【０１１５】
このように、対象者が危険行動を行ったことを職員へ報知することで、職員に迅速な救護対応を取らせることができ、事件や事故を予防できる可能性をより高めることが可能になる。
【０１１６】
次に、本実施例に係る行動検知装置の処理の流れについて説明する。図８は、本実施例に係る危険行動検知処理の手順を示すフローチャートである。
【０１１７】
同図に示すように、カメラ２０からカメラ画像を取得すると（ステップＳ１０１）、顔画像切出部１５は、各カメラ２０によって撮像されたカメラ画像から人物の顔を検出し切り出す（ステップＳ１０２）。
【０１１８】
そして、顔照合部１６は、顔画像切出部１５によって切り出された顔画像と、対象者情報記憶部１２に登録された顔画像とを照合して対象者を特定する（ステップＳ１０３）。
【０１１９】
このとき、前回に取得されていたカメラ画像に対象者が存在せず、追跡用テーブルが作成されていない場合（ステップＳ１０４肯定）には、行動特徴検出部１７は、新たな追跡用テーブル１７ａ（図７参照）を作成する（ステップＳ１０５）。
【０１２０】
一方、追跡用テーブルが既に作成されている場合（ステップＳ１０４否定）には、行動特徴検出部１７は、顔照合部１６によって出力された対象者ＩＤが追跡用テーブル１７ａ内の対象者ＩＤと同一であることを確認してからその追跡用テーブルを引き続き使用し、ステップＳ１０６へ移行する。
【０１２１】
その後、行動特徴検出部１７は、カメラ２０によって各方向で撮像されたカメラ画像および顔画像切出部１５によって切出された各顔画像を用いて、カメラ２０に対する顔の向き及びゲート１における顔の位置を検出する（ステップＳ１０６）。
【０１２２】
続いて、行動特徴検出部１７は、ステップＳ１０６で検出したカメラ２０に対する顔の向きからゲート１における対象者の視線変化回数および視線変化頻度を対象者の行動の特徴量として算出するとともに、ステップＳ１０６で検出したゲート１における顔の位置からゲート１における顔の高さの時間平均、顔高さの最小値、ゲート通過の平均速度、ゲート通過の所要時間、左右の側線の横断回数および壁側領域の累積所在時間を対象者の行動の特徴量として算出する（ステップＳ１０７）。
【０１２３】
そして、行動特徴検出部１７は、ステップＳ１０７で算出した対象者の行動の特徴量が行動推定ルール記憶部１３に記憶された特徴量別の条件を満たすか否かを判定し、条件を満たす場合にはその行動パターンを抽出する（ステップＳ１０８）。
【０１２４】
その後、行動特徴検出部１７は、ステップＳ１０８で抽出した行動パターンに対応する状況を行動・状況対応関係記憶部１４から抽出し、抽出した状況を対象者の状況として推定する（ステップＳ１０９）。
【０１２５】
ここで、危険行動検出部１８は、行動特徴検出部１７によって推定された対象者の状況が対象者情報記憶部１２によって記憶された対象者のうち顔照合部１６によって特定された対象者の危険行動に含まれるか否かを判定する（ステップＳ１１０）。
【０１２６】
このとき、危険行動検出部１８によって対象者の状況が危険行動に含まれると判定された場合（ステップＳ１１０肯定）には、報知制御部１９は、対象者ＩＤ、対象者が危険行動を行った日時、危険行動の種別などを表示部１１ａに表示させたり、音声出力部１１ｂから音声出力させることにより館内放送を行ったり、また、メール配信部１１ｃにメールの作成および送信を実行させることにより職員が保有する携帯端末へメール配信したりすることにより職員への報知を行い（ステップＳ１１１）、上記のステップＳ１０１〜１０９までの処理を繰り返し行う。
【０１２７】
また、危険行動検出部１８によって対象者の状況が危険行動に含まれないと判定された場合（ステップＳ１１０否定）には、上記のステップＳ１０１〜１０９までの処理を繰り返し行う。
【０１２８】
上述してきたように、本実施例では、ゲート１内にカメラ２０を設置しておき、カメラ２０によって撮像されたカメラ画像を用いてゲート１を通過する対象者を顔照合で特定し、時系列に撮像されたカメラ画像を用いて対象者を追跡するとともにその対象者の行動の特徴を検出し、検出した行動の特徴が予め登録された対象者の危険行動に関する属性情報と合致するか否かによって対象者が危険行動を行ったか否かを検出することとした。
【０１２９】
このため、本実施例では、対象者がゲート１で取る行動のうち対象者の危険行動だけを検知できるので、生活の一部に含まれる通常の行動が職員へ報知の対象とされることがなく、さらに、事件や事故の予兆となる対象者の危険行動を検知できるので、事件や事故が発生する前の段階で対象者の危険行動を職員へ提示することができる。
【０１３０】
したがって、本実施例では、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減することが可能である。
【０１３１】
なお、上記の実施例では、単一ゲートで対象者の危険行動を検知する場合について説明したが、本発明はこれに限定されるものではなく、複数のゲートで対象者の危険行動を検知する場合にも好適に適用することができる。
【０１３２】
例えば、ゲートごとに行動検知装置１０を設けた場合には、対象者のゲートの通過情報から経路情報やゲート間の移動時間などの移動情報を収集することができる。なお、通過情報、経路情報や移動時間は、１つの行動検知装置１０または他の装置に集中管理させてもよいし、各行動検知装置１０で他の行動検知装置１０から個別にデータ収集して分散管理させてもかまわない。
【０１３３】
一例としては、対象者の危険行動と見做す経路情報（例えば、仲の悪い対象者への訪問や外出に関する経路）を対象者情報記憶部１２へ登録しておけば、登録されている経路に関する移動を検出した場合に対象者間のトラブルや施設からの離脱の予兆を職員へ報知することができ、施設における事件及び事故の発生リスクをより効果的に低減することが可能になる。なお、本発明では、対象者本人から不可分である顔画像を照合することにより対象者を特定するので、ＲＦＩＤタグを用いて所在管理を行う場合のように、対象者がＲＦＩＤタグを携帯せずに対象者のゲートの通過情報が取得できなくなる事態にも陥らない。
【０１３４】
また、他の一例としては、対象者のゲート間の平均移動時間を対象者情報記憶部１２へ登録しておけば、一方のゲートの通過を検出してから平均移動時間よりも所定の猶予期間を超えても他方のゲートの通過を検出できない場合に移動トラブルが生じているリスクを報知することができ、この場合にも、施設における事件及び事故の発生リスクをより効果的に低減することが可能になる。
【０１３５】
また、複数のゲートで対象者の危険行動を検知する場合には、ゲートが有する性質によって報知する危険度を変更することとしてもよい。例えば、図９の例では、ゲート１Ａ、ゲート１Ｂおよびゲート１Ｃの３つのゲートが存在するが、対象者が危険行動を取った場合の危険度は同じではなく、対象者が転倒や歩行困難に陥った場合には、危険度は廊下＜階段＜バルコニーとなる。
【０１３６】
この場合には、図１０に示すように、ゲート１Ａで危険行動が行われた場合には危険度Ｂを、ゲート１Ｂで危険行動が行われた場合には危険度Ａを、ゲート１Ｃで危険行動が行われた場合には危険度Ｓを報知させるとともに、危険度の高さに応じて報知形態を変更し、危険度Ｂの場合には危険行動の報知をモニタ表示にとどめ、危険度Ａの場合にはモニタ表示にメール配信を追加し、また、危険度Ｓの場合にはモニタ表示およびメール配信に加えて館内放送を行う。
【０１３７】
このように、ゲートの性質に応じて報知する危険度を変更することで、複数のゲートで危険行動が発生した場合でも危険度の高いゲートへ職員を急行させることができ、対象者の生命が危険な状態にさらされるリスクを低減することが可能になる。また、危険度が高くなる度に報知の形態を拡大することで、危険度が高い場合にはより多くの職員に対応させることができる。
【０１３８】
なお、上記の実施例では、対象者の危険行動の属性情報として、見守り必要状況を対象者情報記憶部１２へ登録させる場合について説明したが、視線変化や左右の側線の横断などの特徴量の項目そのものを対象者情報記憶部１２へ記憶しておくこととしてもよい。
【０１３９】
また、上記の実施例では、ゲート１に対象者が１人ずつ進入して退出する場合について説明したが、本発明はこれに限定されるものではなく、ゲート１に複数の対象者が侵入する場合にも本発明を同様に適用することができる。
【０１４０】
なお、上記の実施例では、老人介護施設に所属する老人を対象者として危険行動を検知する場合の実施例を説明したが、本発明はこれに限定されるものではなく、学校に所属する生徒を対象者とする場合や病院に所在する患者を対象者とする場合にも本発明を同様に適用することができる。
【０１４１】
また、上記の実施例では、対象者の危険行動を検知する実施例について説明したが、本発明はこれに限定されるものではなく、不審者の侵入を検知する場合にも適用することができる。
【０１４２】
例えば、対象者情報記憶部１２に登録されたＮ個の顔画像の中に、顔画像切出部１５によって切り出された顔画像と一致するものが存在しない場合には、カメラ画像に写っている顔の人物を不審者と特定し、不審者が侵入した旨を表示部１１ａへ表示したり、音声出力部１１ｂで音声出力したり、また、メール配信部１１ｃを制御して、施設関係者が所持する携帯端末へ通知することもできる。不審者の条件に行動パターンＢ、Ｃ、Ｄ等の検出を組み合わせ、行動が不審な人物のみを不審者として検出してもよい。
【産業上の利用可能性】
【０１４３】
以上のように、本発明に係る行動検知装置及び行動検知方法は、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減する場合に適している。
【符号の説明】
【０１４４】
１ ゲート
３Ｌ 左側線
３Ｒ 右側線
５Ｌ 左壁側領域
５Ｒ 右壁側領域
１０ 行動検知装置
１１ａ 表示部
１１ｂ 音声出力部
１１ｃ メール配信部
１２ 対象者情報記憶部
１３ 行動推定ルール記憶部
１４ 行動・状況対応関係記憶部
１５ 顔画像切出部
１６ 顔照合部
１７ 行動特徴検出部
１８ 危険行動検出部
１９ 報知制御部
２０Ａ，２０ＢＬ，２０ＢＲ，２０ＣＬ，２０ＣＲ カメラ
【技術分野】
【０００１】
本発明は、対象者の行動を検知する行動検知装置及び行動検知方法に関する。
【背景技術】
【０００２】
例えば、近年、高齢化が進むに伴って老人介護の重要性が高まりつつある。老人介護施設では、施設の利用者の徘徊や転倒などの危険行動によって事件や事故が発生するリスクが高く、事件や事故を未然に防ぐ仕組みが要求されている。
【０００３】
現行の老人介護施設では、諸施設の内部や入口などに監視カメラを設置しておき、監視カメラによって撮像された映像をモニタに表示することにより、介助者等の職員に徘徊や危険行動などを監視させる仕組みが採用されることが多い。
【０００４】
ところが、モニタ監視を行う場合には、職員がモニタに表示された映像を常時監視する必要があり、職員に多大な労力が掛かる上にモニタの常時監視を行う余剰人員を確保することも難しく、現実には事件や事故の事後検証の一助としてモニタの映像を使用するのが限界である。
【０００５】
モニタ監視の限界に対する対策として、特許文献１及び特許文献２のような、施設の利用者の所在を管理するための技術が考えられている。
【０００６】
例えば、特許文献１には、利用者にＲＦＩＤタグを付与するとともにＲＦＩＤタグのタグＩＤを受信する無線受信機を特定の区域に設けておき、無線受信機で受信されたタグＩＤと予め登録されているタグＩＤとが一致した場合に異常と判断し、表示装置への出力や職員への通知などを行う徘徊者離院防止システムが開示されている。
【０００７】
また、特許文献２には、オフィス内における複数の施設の入口およびオフィスの出口に顔認証装置をそれぞれ設置するとともに顔認証装置とグループウェアサーバをＬＡＮ接続しておき、グループウェアサーバでは、顔認証装置によって顔認証された利用者のＩＤと機器ＩＤに基づき、利用者の所在を管理する所在管理システムが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−２１５９６１号公報
【特許文献２】特開２００７−８０１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の特許文献１及び特許文献２は、いずれも施設の利用者の所在を管理するものに過ぎず、依然として、事件や事故を未然に防止するには人的コストが増大するという問題がある。
【００１０】
すなわち、職員へ利用者の所在を提示したとしても、職員は、利用者が施設を利用する通常の行動を取っているのか、それとも事件や事故につながる危険な行動を取っているのかを把握できない。
【００１１】
このため、職員は、利用者がその利用者にとって不適切な場所に所在する場合には、最悪のケースを想定して職員が現場に赴くほかに術はなく、それ相応の人的コストが必要となってしまう。
【００１２】
このことから、職員に対して事件や事故の予兆となる利用者の危険行動をいかにして把握させるかが課題となっている。
【００１３】
そこで、本発明は、上述した従来技術による課題を解消するためになされたものであり、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減することができる行動検知装置及び行動検知方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するために、本発明に係る行動検知装置は、少なくとも１つの撮像装置と、対象者の顔情報および危険行動に関する属性情報を対応付けて記憶する記憶部と、前記撮像装置により撮像された画像から顔画像を検出し、前記記憶部に記憶された顔情報と照合して前記対象者を特定する顔照合部と、前記撮像装置により撮像された画像から前記対象者の行動の特徴を検出する行動特徴検出部と、前記顔照合部によって特定された対象者と対応付けて前記記憶部に記憶されている属性情報と、前記行動特徴検出部が検出した行動の特徴とを比較して、前記対象者が危険行動を行ったことを検出する危険行動検出部とを備えたことを特徴とする。
【００１５】
また、本発明に係る行動検知方法は、少なくとも１つの撮像装置により撮像された画像から顔画像を検出し、対象者の顔情報および危険行動に関する属性情報を対応付けて記憶する記憶部に記憶された顔情報と照合して前記対象者を特定する顔照合工程と、前記撮像装置により撮像された画像から前記対象者の行動の特徴を検出する行動特徴検出工程と、前記顔照合工程によって特定された対象者と対応付けて前記記憶部に記憶されている属性情報と、前記行動特徴検出工程が検出した行動の特徴とを比較して、前記対象者が危険行動を行ったことを検出する危険行動検出工程とを含んだことを特徴とする。
【００１６】
これによって、通常の行動が職員へ報知の対象とされることがなくなるとともに、事件や事故が発生する前の段階で対象者の危険行動を職員へ提示することができ、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減することが可能になる。
【００１７】
また、本発明に係る行動検知装置は、上記の発明において、前記危険行動検出部によって前記対象者の危険行動が検出された場合に、当該対象者が危険行動を行った旨を報知するように制御する報知制御部をさらに備えたことを特徴とする。
【００１８】
これによって、職員に迅速な対応を取らせることができ、事件や事故を予防できる可能性をより高めることが可能になる。
【００１９】
また、本発明に係る行動検知装置は、上記の発明において、前記行動特徴検出部は、前記撮像装置により撮像された画像から前記対象者の顔の向きと顔の位置の少なくとも一方を時系列に検出することにより、前記対象者の行動の特徴を検出することを特徴とする。
【００２０】
これによって、対象者の行動の特徴を時間的な奥行きを持った行動パターンとして検出することができ、対象者が一時的に取った行動を対象者の行動の特徴として誤検出することを防止できる結果、対象者の危険行動をより確度よく検知することが可能になる。
【００２１】
また、本発明に係る行動検知装置は、上記の発明において、前記行動特徴検出部は、当該行動検知装置における対象者の特定の有無および他の行動検知装置における対象者の特定の有無に基づいて前記対象者が危険行動を行ったことを検出することを特徴とする。
【００２２】
これによって、対象者の行動検知装置間の通過情報から経路情報や移動時間を収集することができ、経路情報や移動時間に条件を設けて対象者の危険行動を検知することができる結果、施設における事件及び事故の発生リスクをより効果的に低減することが可能になる。
【発明の効果】
【００２３】
本発明によれば、対象者の危険行動だけを検知できるので、通常の行動が職員へ報知の対象とされることがない。さらに、事件や事故の予兆となる対象者の危険行動を検知できるので、事件や事故が発生する前の段階で対象者の危険行動を職員へ提示することができる。このため、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減することが可能になる。
【図面の簡単な説明】
【００２４】
【図１】図１は、本実施例に係る行動検知装置の構成を示すブロック図である。
【図２】図２は、本実施例に係るゲートの構成例を示す図である。
【図３】図３は、顔の向きおよび顔の位置を検出する要領を説明するための説明図である。
【図４】図４は、対象者情報記憶部に記憶される情報の構成例を示す図である。
【図５】図５は、行動推定ルール記憶部に記憶される情報の構成例を示す図である。
【図６】図６は、行動・状況対応関係記憶部に記憶される情報の構成例を示す図である。
【図７】図７は、対象者の行動の特徴量を算出する要領を説明するための説明図である。
【図８】図８は、本実施例に係る危険行動検知処理の手順を示すフローチャートである。
【図９】図９は、複数のゲートを設ける場合の施設レイアウトの一例を示す図である。
【図１０】図１０は、報知テーブルに記憶される情報の構成例を示す図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照して、本発明に係る行動検知装置及び行動検知方法の好適な実施例を詳細に説明する。
【実施例】
【００２６】
図１は、本実施例に係る行動検知装置の構成を示すブロック図である。図１に示す行動検知装置１０は、施設に所属する者のうち介助者等の職員によって見守られる対象となる者（以下、対象者と言う）を対象に行動検知を行うものであり、とりわけゲート１に搭載または付設されるカメラ２０によって撮像されたカメラ画像を用いて対象者のゲート１内における行動を推定するものである。
【００２７】
まず、図２を用いて、本実施例に係るゲートの構成について説明する。ゲート１は、ゲート幅Ｂ、ゲート長ＬＣ及びゲート高さＨの直方体状に形成されており、施設の通路、分岐点、トイレ近辺や出入口などの要救護現象が発生しやすいポイントに設置される。なお、本実施例では、直方体を例示しているが、対象者の一定の区間の移動をカメラ画像でサンプリングできる形状であれば任意の形状でよい。
【００２８】
ここで、本実施例では、ゲート１内を対象者の行動の検知領域とし、ゲート１内にカメラ２０ＢＬ及び２０ＢＲを設置するとともに、ゲート１外に２０ＣＬ、２０ＣＲ、２０ＤＬ及び２０ＤＲを設置することとしている。
【００２９】
これを具体的に説明すると、このゲート１内には、天面にカメラ２０Ａ、左側面にカメラ２０ＢＬが設置されるとともに右側面にカメラ２０ＢＲが設置されている。一方、ゲート１外には、ゲート１の左側面および右側面から手前方向へ距離ＬＦを隔てた位置にカメラ２０ＣＬ及びカメラ２０ＣＲがそれぞれ設置されており、また、ゲート１の左側面および右側面から奥行き方向へ距離ＬＲを隔てた位置にカメラ２０ＤＬ及びカメラ２０ＤＲがそれぞれ設置されている。
【００３０】
ゲート１の天面に設置されるカメラ２０Ａを除く、カメラ２０ＢＬ、２０ＢＲ、２０ＣＬ、２０ＣＲ、２０ＤＬ及び２０ＤＲは、対象者が立位または座位（車いす）である場合の両方のケースで頭を含む全身を撮像することができる高さｈ（例えばｈは０．９ｍ程度）に設置される。
【００３１】
なお、対象者の歩行の妨げにならようにカメラを設置する場合には、対象者の肩の高さより上の位置（例えば、１．５ｍ以上）にカメラを設置するのが好ましい。また、図示の例では、カメラを７つ設置する場合を例示したが、対象者の顔が撮像可能であればカメラの設置箇所および設置個数は任意でかまわない。
【００３２】
また、ゲート１の底面には、左側線３Ｌ及び右側線３Ｒ、左壁側領域５Ｌ及び右壁側領域５Ｒが表示されている。詳細は図７を用いて後述するが、概要としては、対象者の行動パターンをカメラ画像から検出するための表示であり、左側線３Ｌ及び右側線３Ｒはジグザグ歩行の検出に、左壁側領域５Ｌ及び右壁側領域５Ｒは手すりでの歩行停止時間の検出に使用される。
【００３３】
ここで、本実施例に係る行動検知装置１０は、ゲート１内に設置されたカメラ２０によって撮像されるカメラ画像を用いてゲート１を通過する対象者を顔照合で特定し、時系列に撮像されたカメラ画像を用いて対象者を追跡するとともにその対象者の行動の特徴を検出し、検出した行動の特徴が予め登録された対象者の危険行動に関する属性情報と合致するか否かによって対象者が危険行動を行ったか否かを検出する。
【００３４】
すなわち、本実施例に係る行動検知装置１０を用いれば、対象者の行動が事件や事故に至る前の段階で職員が対象者を未然に救護でき、事件や事故の予兆となる対象者の危険行動を職員が把握できる。
【００３５】
これを具体的に説明すると、対象者がゲート内からカメラ２０ＣＬ及びカメラ２０ＣＲ方向へ向かっているとき、行動検知装置１０は、カメラ２０Ａを用いて上方向、カメラ２０ＣＬ及びカメラ２０ＣＲを用いて正面方向、カメラ２０ＢＬ及びカメラ２０ＢＲを用いて右方向及び左方向、カメラ２０ＤＬ及びカメラ２０ＤＲを用いて後方向などの各方向からゲート１内における歩行者を撮像する。
【００３６】
そして、行動検知装置１０は、これらのカメラ２０によって撮像されたカメラ画像から人物の顔を検出して切り出し、切り出した顔画像と予め登録された対象者の顔情報とを照合する。このとき、予め登録された顔情報との間で照合が成功すれば、カメラ画像に写っている人物が登録の顔情報を持つ対象者と特定することができる。
【００３７】
その上で、行動検知装置１０は、カメラ２０によって撮像された複数のカメラ画像に写っている同一の対象者を時系列に追跡し、その対象者のカメラ２０に対する顔の向き又はゲート１における顔の位置の時系列データに基づき、対象者の行動の特徴量を算出する。
【００３８】
より詳細には、行動検知装置１０は、カメラ２０によって撮像された各方向の顔画像に対して画像認識を行い、対象者の顔が正面方向、左方向または右方向のいずれのカメラ２０に対してより正対しているのかをカメラ画像の撮像機会ごとに検出する。または、カメラ２０のうち少なくとも１つのカメラにおいて、撮像された顔の向きを検出してもよい。この処理は、例えば、正面、右向き、左向きなど方向別の基準顔画像と撮像された顔画像とを照合することにより類似度が高い基準顔画像の向きを対象者の顔の向きと決定することにより行う。これによって、ゲート１への進入から退出までのカメラ２０に対する顔の向きを検出する。なお、ここでは、左右に顔が振れる場合を視線変化として検出する場合について説明するが、上下に顔が振れる場合を視線変化として検出することとしてもよい。
【００３９】
例えば、図３に示した撮像機会の例で言えば、カメラ２０ＢＬ、２０ＢＲ、２０ＣＬ及び２０ＣＲのうち、カメラ２０ＣＲによって撮像された顔画像がカメラに最も正対している認識結果が得られるので、この時点の撮像機会では、対象者の顔の向きが「正面（左）向き（対象者からみてやや正面左方向）」であると検出する。なお、カメラ２０ＣＬによって撮像された顔画像がカメラに最も正対している場合には「正面（右）向き」、カメラ２０ＢＬ及びカメラ２０ＢＲによって撮像された顔画像がカメラに最も正対している場合にはそれぞれ「右向き」「左向き」と検出される。
【００４０】
そして、対象者がゲート１を四つん這いなって移動する場合には、ゲート１における顔画像のシーケンスが図３の最上部のシーケンスのようにカメラよりも顔が低い状態で得られる。また、対象者が車いすでゲート１を移動する場合には、ゲート１における顔画像のシーケンスが図３の上から２番目のシーケンスのようにカメラと顔の高さが同じ状態で得られる。さらに、対象者が立位でゲート１を移動する場合には、ゲート１における顔画像のシーケンスが図３の上から３番目のシーケンスのようにカメラよりも顔が高い状態で得られる。
【００４１】
一方、行動検知装置１０では、カメラ２０Ａによって天面から撮像されたカメラ画像（図３参照）に対して画像認識を行い、ゲート１における水平面（床面）上で対象者の顔（頭）が所在する座標位置、すなわちゲート１の幅方向をＸ方向、ゲート１の奥行き方向をＹ方向とした座標位置をカメラ画像の撮像機会ごとに検出する。これによって、ゲート１への進入から退出までのゲート１における顔の位置（ＸＹ座標）を検出する。
【００４２】
また、行動検知装置１０では、図３に示すように、カメラ２０ＢＬ、カメラ２０ＢＲ、カメラ２０ＣＬまたはカメラ２０ＣＲによって左方向、右方向または正面方向から撮像されたカメラ画像に対して画像認識（顔検出や頭部の検出）を行い、ゲート１における対象者の顔（頭）の床面からの高さ（Ｚ座標）をカメラ画像の撮像機会ごとに検出する。これによって、ゲート１への進入から退出までのゲート１における顔の位置（Ｚ座標）を検出する。なお、顔検出には、公知の顔検出技術を用いることができる。頭部の検出は、頭や肩の輪郭を抽出して行うことができる。
【００４３】
そして、行動検知装置１０では、このようにして時系列に検出したカメラ２０に対する対象者の顔の向き及びゲート１における対象者の顔の位置に基づき、対象者の行動の特徴量を算出する。
【００４４】
例えば、カメラ２０に対する対象者の顔の向きの時系列データからは、ゲート１における対象者の視線変化回数、すなわち左右への首振り回数を対象者の行動の特徴量として検出することができる。このとき、行動検知装置１０では、対象者の危険行動の属性情報として視線変化が登録されている場合に、ゲート１における対象者の視線変化回数がｂ（回）以上であるならば、当該対象者が危険行動を行ったと検知する。
【００４５】
また、ゲート１における対象者の顔の位置（ＸＹ座標）の時系列データからは、左右の側線３Ｌ及び３Ｒの横断回数、すなわちジグザグ歩行を対象者の行動の特徴量として検出することができる。このとき、行動検知装置１０では、対象者の危険行動の属性情報として左右の側線の横断が登録されている場合に、ゲート１における対象者の左右の側線３Ｌ及び３Ｒの横断回数がｆ（回）以上であるならば、当該対象者が危険行動を行ったと検知する。なお、側線３Ｌ及び３Ｒを横断しなくとも、Ｘ方向またはＹ方向の移動量が所定値を超えたことを特徴量としてもよい。
【００４６】
さらに、ゲート１における対象者の顔の位置（Ｚ座標）の時系列データからは、ゲート１における対象者の顔の高さの時間平均を対象者の行動の特徴量として検出することができる。このとき、行動検知装置１０では、対象者の顔の高さの時間平均が歩行閾値ａよりも大きい場合には、対象者が歩行（立位）であり、また、歩行閾値ａ以下である場合には、車いす（座位）であることを検出することができる。このため、車いすを利用する対象者には、対象者の危険行動の属性情報として歩行（立位）を登録しておけば、当該対象者が歩行であることを検出した場合に、車いすを利用しなければいけない対象者が歩行しているという危険行動を検知できる。
【００４７】
このように、本実施例では、対象者がゲート１で取る行動のうち対象者の危険行動だけを検知できるので、生活の一部に含まれる通常の行動が職員へ報知の対象とされることがない。さらに、事件や事故の予兆となる対象者の危険行動を検知できるので、事件や事故が発生する前の段階で対象者の危険行動を職員へ提示することができる。
【００４８】
したがって、本実施例では、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減することが可能になる。
【００４９】
また、本実施例では、対象者の危険行動に関する属性情報を登録しておき、カメラ画像から検出される対象者の行動の特徴との間で比較するので、多様な対象者が施設に所属する場合でも、対象者ごとに異なる個人特性に適合した危険行動を検知できる。
【００５０】
続いて、本実施例に係る行動検知装置の各部の構成について説明する。図１に示すように、行動検知装置１０は、カメラ２０と、表示部１１ａと、音声出力部１１ｂと、メール配信部１１ｃと、対象者情報記憶部１２と、行動推定ルール記憶部１３と、行動・状況対応関係記憶部１４と、顔画像切出部１５と、顔照合部１６と、行動特徴検出部１７と、危険行動検出部１８と、報知制御部１９とを有する。
【００５１】
カメラ２０Ａ、カメラ２０ＢＬ、カメラ２０ＢＲ、カメラ２０ＣＬ、カメラ２０ＣＲ、カメラ２０ＤＬ及びカメラ２０ＤＲ（以下、これらを総称する場合にはカメラ２０と記載する）は、広角の視野を有するネットワークカメラであり、予め定められたフレームレートでカメラ画像を顔画像切出部１５へ出力する。
【００５２】
表示部１１ａは、モニタやディスプレイなどの表示デバイスであり、音声出力部１１ｂは、スピーカなどの音声出力デバイスであり、また、メール配信部１１ｃは、電子メールの作成や送受信を行う処理部である。
【００５３】
対象者情報記憶部１２は、施設に所属する対象者の情報を記憶するデータベースであり、例えば、図４に示すように、対象者ＩＤごとにその対象者の顔画像および見守り必要状況を対応付けて記憶する。ここで、対象者ＩＤとは、対象者に付与される一意に特定可能な識別情報を指す。また、見守り必要状況とは、職員による救護活動が必要とされる対象者の状況を指す。なお、対象者の顔画像としては、施設に入所するなどの初期段階で予め撮像された顔画像が登録される。
【００５４】
この図４の例では、対象者「１２３４５」の男性は、歩行可能であるものの、投薬が原因で興奮状態になったり徘徊を行うことから、見守り必要状況として「徘徊」や「投薬ミス」が登録されている。また、対象者「６７８９０」の女性は、車いすを使用し、各種の歩行または車いすのトラブルが懸念されることから、見守り必要状況として「車いすなしの歩行」、「歩行困難」、「転倒」および「滑落／ずり落ち」が登録されている。このようにして、個人の特性に合った見守り必要状況を登録しておくことができる。
【００５５】
なお、ここでは、対象者を特定するための顔情報として顔画像を登録することとしたが、顔画像が顔照合用に加工された特徴量などの加工データであってもかまわない。
【００５６】
行動推定ルール記憶部１３は、行動を推定するルールを記憶するデータベースであり、例えば、図５に示すように、行動の特徴量に関する条件ごとにその条件を満たした場合の行動パターンを対応付けて記憶する。
【００５７】
この図５の例で言えば、ゲート１における顔の高さの時間平均＞ａ（歩行閾値）である場合には、行動パターンＡ「歩行中」と検出されることになる。また、視線変化回数≧ｂ（探索閾値）である場合には、行動パターンＢ「首振り回数が多い」と検出されることになる。さらに、視線変化頻度≧ｃ（探索閾値）である場合には、行動パターンＣ「首振り速度が速い」と検出されることになる。
【００５８】
さらに、ゲート通過の平均速度≧ｄ（急ぎ足閾値）である場合には、行動パターンＤ「移動速度が速い」と検出されることになる。ゲート通過の所要時間≧ｅ（移動停止検出閾値）である場合には、行動パターンＥ「移動停止時間が長い」と検出されることになる。また、左右の側線の横断回数≧ｆである場合には、行動パターンＦ「ジグザグ歩行」と検出されることになる。
【００５９】
加えて、壁側領域の累積所在時間≧ｇ（手すり待機閾値）である場合には、行動パターンＧ「手すりを持ちつつ歩行停止」と検出されることになる。顔高さの最小値≦ｈ（床接近閾値ｈ）である場合には、行動パターンＨ「頭が床に大接近」と検出されることになる。また、顔高さの最小値≦ｉ（床接近閾値ｉ）である場合には、行動パターンＩ「頭が床に接近」と検出されることになる。なお、ここでは、ｈ＜ｉであるものとする。なお、あらかじめ登録しておいた異常時の顔画像との類似度≧ｌ（表情異常閾値）である場合には、行動パターンＬ「表情の異常」と検出されることになる。
【００６０】
また、行動パターンは対象者単独のものに加えて、他者との関係を加えても良い。ゲート内で２名が検出され、２名のゲート通過の所要時間≧ｊ（複数移動停止検出閾値）である場合には、「２名の移動停止時間が長い（Ｊ）」と検出されることになる。ゲート内で２名が検出され、１名の顔高さの最小値≧ｋ（床近接閾値ｋ）である場合には、「２名のうち１人の頭が床に接近（Ｋ）」と検出されることになる。また、ゲート内で２名が検出され、１名の顔高さの平均時間≦ａ（歩行閾値）であり、他の１名の顔高さの平均時間＞ａである場合、すなわち前者が車椅子、後者が歩行の場合で、歩行者の顔が車椅子を押すことを許可された人の顔と異なる場合、「介助者以外が車椅子を介助（Ｍ）」と検出されることになる。
【００６１】
行動・状況対応関係記憶部１４は、対象者の行動パターンと状況の対応関係を記憶するデータベースであり、例えば、図６に示すように、対象者の状況ごとに行動パターンを対応付けて記憶する。ここで、対象者の状況とは、事件や事故につながる行動状況を指し、また、行動パターンとは、対象者の行動の特徴量の多寡によって定義付けられた類型を指す。
【００６２】
この図６の例で言えば、「車いすなしの歩行」は、行動パターンＡが検出されており、対象者が歩行しているのが明らかである状況の場合に推定される。また、「休憩」は、行動パターンＥ及び行動パターンＧが検出されており、移動停止時間が長く、かつ手すりを持ちつつ歩行停止している状況の場合に推定される。
【００６３】
さらに、「徘徊」は、行動パターンＢ、行動パターンＣ及び行動パターンＤが検出されており、首振り回数および首振り頻度がともに多く、対象者が周りの場所を確認しようとしていることが明らかであり、かつ目的の場所に対して急いでいることが明らかである状況の場合に推定される。
【００６４】
また、「目的地探索」は、「徘徊」と類似し、行動パターンＢ、行動パターンＣ及び行動パターンＤが検出されており、首振り回数および首振り頻度がともに多く、対象者が周りの場所を確認しようとしていることが明らかであり、かつ目的の場所に対して急いでいることが明らかである状況の場合に推定される。
【００６５】
さらに、「他者に面会（興奮状態）」は、行動パターンＤが検出されており、目的の場所に対して急いでいることが明らかである状況の場合に推定される。「投薬ミス（興奮状態）」は、行動パターンＤ、行動パターンＦ及び行動パターンＬが検出されており、目的の場所に対して急いでおり、歩行の進行方向がジグザグで安定しておらず、顔の表情に異常がある状況の場合に推定される。
【００６６】
また、「歩行中に転倒」は、行動パターンＥ及び行動パターンＨが検出されており、対象者の歩行が何らかの事象が原因で停止している可能性が高く、かつ頭が床面に大接近している状況の場合に推定する。
【００６７】
さらに、「歩行困難（車いすトラブル）」は、行動パターンＢ、行動パターンＣ、行動パターンＥ及び行動パターンＧが検出されており、対象者が周りの人に助けを求めようとしており、対象者の歩行が何らかの事象が原因で停止している可能性が高く、かつ手すりを持ちつつ歩行停止している状況の場合に推定される。
【００６８】
また、「（車いすから）転倒」は、「歩行中に転倒」に類似し、行動パターンＥ及び行動パターンＨが検出されており、対象者の歩行が何らかの事象が原因で停止している可能性が高く、かつ頭が床面に大接近している状況の場合に推定される。
【００６９】
さらに、「（車いすから）滑落／ずり落ち」は、行動パターンＥ及び行動パターンＩが検出されており、対象者の歩行が何らかの事象が原因で停止している可能性が高く、かつ頭が床面に接近しつつある状況の場合に推定される。
【００７０】
他者との関係の行動パターンを用いると、さらに次のような状況が検出できる。「口論」は、行動パターンＪ及び行動パターンＬが検出されており、２名が１カ所にとどまり、かつ興奮しており、口論をしている可能性が高い場合に検出される。
【００７１】
さらに、「喧嘩もしくは接触転倒」は、行動パターンＪ及び行動パターンＫが検出されており、２名が１カ所にとどまり、うち１人の頭が床に接近しており倒れた可能性が高い場合に検出される。
【００７２】
また、「施設から出て行く（離設）」は、行動パターンＤ及び行動パターンＬが検出されており、対象者が急いで移動し、かつ興奮して移動している可能性が高く、移動方向が施設の外方向の場合に検出される。
【００７３】
「介助者以外が車椅子を介助」は、行動パターンＭが検出されており、車椅子を押す技量が無い人が車椅子を押しているため事故になる可能性が高い場合に推定される。
【００７４】
なお、ここでは、１つの状況に対し複数の行動パターンが定義されている場合には、全ての行動パターンが検出された場合に対象者がそれに対応する状況に置かれているものと推定することとしたが、定義されるいずれかの行動パターンが検出された場合や一部の行動パターンの組合せが検出された場合に対象者がその状況に置かれているものと推定させることとしてもかまわない。
【００７５】
ここで、行動推定ルール記憶部１３および行動・状況対応関係記憶部１４の記憶内容は、実際の老人介護施設で撮像された動画像を観察・分析することにより行動パターンを導き、介護スタッフからのヒアリングにより救援対象行動（例えば、「トイレから戻れない」、「ホームシックによる徘徊」や「薬服用などによる意識レベルの低下」など）を抽出し、救援対象行動につながる対象者の目的行動（意図）と行動パターンの対応付けを研究の知見として構築したものである。
【００７６】
なお、対象者情報記憶部１２、行動推定ルール記憶部１３および行動・状況対応関係記憶部１４内の記憶データは、それぞれ個別のハードディスク装置または不揮発性メモリなどの記憶デバイスに格納してもよいし、一部または全部を１つの記憶デバイスに格納することとしてもかまわない。
【００７７】
顔画像切出部１５は、各カメラ２０によって撮像されたカメラ画像から人物の顔を検出して切り出す処理部であり、カメラ画像から切り出した顔画像を顔照合部１６へ出力する。なお、本実施例では、カメラ２０に撮像画像を加工せずにそのまま出力させる場合を例示したが、顔画像を切り出す機能をカメラ２０が具備するように構成してもかまわない。
【００７８】
顔照合部１６は、顔画像切出部１５によって切り出された顔画像と、対象者情報記憶部１２に登録された顔画像とを照合する処理部である。具体的には、顔画像切出部１５によって切り出された１つの顔画像に対し、対象者情報記憶部１２に登録されたＮ個の顔画像を対象に１対Ｎ認証を行い、Ｎ個の顔画像の中に切り出し後の顔画像と一致するものが存在した場合には、カメラ画像に写っている顔の人物を照合に成功した登録顔画像を持つ対象者と特定し、その対象者のＩＤを行動特徴検出部１７へ出力する。
【００７９】
ここで、顔照合部１６では、必ずしも各カメラ２０のカメラ画像から切り出された顔画像すべてを対象に顔照合を行う必要はなく、これらの顔画像のうち最もブレが少ないものや顔部分が鮮明に写っているものなど、顔照合に適した顔画像を１つまたは複数選択し、選択した顔画像を対象に顔照合を行うこととしてもよい。また、この顔照合部１６では、公知の顔照合技術であれば任意の顔照合技術を適用できる。
【００８０】
行動特徴検出部１７は、カメラ２０によって撮像されたカメラ画像または顔画像切出部１５によって切出された顔画像を用いて、対象者の行動の特徴を検出する処理部である。なお、以下では、ゲート１に対象者が１人ずつ進入して退出する場合を想定して説明を行うこととする。
【００８１】
これを具体的に説明すると、行動特徴検出部１７は、前回に取得されていたカメラ画像に対象者が存在しなかった場合には、顔照合部１６によって対象者ＩＤが出力されると、新たな追跡用テーブル１７ａ（図７参照）を作成する。
【００８２】
一方、行動特徴検出部１７は、追跡用テーブルが既に作成されている場合には、顔照合部１６によって出力された対象者ＩＤが追跡用テーブル１７ａ内の対象者ＩＤと同一であることを確認してからその追跡用テーブルを引き続き使用する。
【００８３】
この追跡用テーブル１７ａは、対象者ＩＤごとに対象者の行動の特徴量を記憶するテーブルである。追跡用テーブル１７ａでは、ゲート１への進入を検出してから退出を検出するまで対象者の行動を追跡して管理するために、カメラ画像が取得される度に行動特徴検出部１７によって対象者の行動の特徴量が累積して更新される。
【００８４】
その後、行動特徴検出部１７は、カメラ２０Ａ、カメラ２０ＢＬ、カメラ２０ＢＲ、カメラ２０ＣＬ、カメラ２０ＣＲ、カメラ２０ＤＬ及びカメラ２０ＤＲによって撮像されたカメラ画像間で同一の座標に所在する被写体（対象者）を対応付ける。
【００８５】
すなわち、カメラ２０の撮像範囲は、各々のカメラで重複しているので、各カメラ２０で撮像されるカメラ画像に含まれる被写体の座標位置についてもカメラ画像間で共有化することができる。
【００８６】
このため、行動特徴検出部１７では、顔照合部１６によっていずれかの顔画像で対象者が特定されれば、その顔画像の切出元のカメラ画像における対象者の座標を他のカメラ画像へ当て嵌めることにより他のカメラ画像における該当座標の被写体を先の対象者と特定し、カメラ画像間で同一の被写体（対象者）をリンクさせる。
【００８７】
そして、行動特徴検出部１７は、顔画像切出部１５によって切り出された各方向の顔画像に対して画像認識を行い、対象者の顔が正面方向、左方向または右方向のいずれのカメラ２０に対して正対しているのかを検出することにより、カメラ２０に対する顔の向きを検出する。
【００８８】
かかる顔の向き検出後に、行動特徴検出部１７は、カメラ２０に対する対象者の顔の向きに基づき、ゲート１における対象者の視線変化回数および視線変化頻度を対象者の行動の特徴量として算出する。
【００８９】
ここで、行動特徴検出部１７は、今回に顔画像が撮像された時点よりも以前の撮像機会において対象者の顔が直近に向いていたカメラ２０の方向とは異なる方向のカメラ２０に対象者の顔が向いている場合には、対象者の視線が１回変化したものとし、追跡用テーブル１７ａ内の視線変化回数をインクリメントする。なお、ここでは、正面方向、左方向または右方向のカメラ２０によって撮像された顔画像のうち、対象者情報記憶部１２に登録された対象者の顔画像との照合に成功し、かつ照合に成功した顔画像の中でカメラに最も正対している顔画像の方向が顔の向きとして検出されるものとする。
【００９０】
すなわち、行動特徴検出部１７は、対象者の顔がカメラ２０ＢＲ又はカメラ２０ＣＲに正対されていた状態から逆方向のカメラ２０ＢＬ又はカメラ２０ＣＬに正対した場合、もしくは対象者の顔がカメラ２０ＢＬ又はカメラ２０ＣＬに正対されていた状態から逆方向のカメラ２０ＢＲ又はカメラ２０ＣＲに正対した場合に、追跡用テーブル１７ａ内の視線変化回数をインクリメントする。また、正対するカメラがカメラ２０ＣＬとカメラ２０ＣＲとの間で変化したときも視線変化としてもよい。
【００９１】
さらに、行動特徴検出部１７は、更新後の視線変化回数に基づき、追跡用テーブル１７ａ内の視線変化頻度を更新する。例えば、カメラ２０のフレームレートが毎秒１フレームであるとしたときには、ゲート１への進入を検出してから今回までに撮像されたフレーム数で視線変化回数を除算することにより視線変化頻度を算出し、算出した視線変化頻度を追跡用テーブル１７ａへ書き込む。
【００９２】
また、行動特徴検出部１７は、カメラ２０ＢＬ、カメラ２０ＢＲ、カメラ２０ＣＬまたはカメラ２０ＣＲによって左方向、右方向または正面方向から撮像されたカメラ画像に対して画像認識を行い、ゲート１における対象者の顔（頭）の床面からの高さを検出することにより、ゲート１における顔の位置（Ｚ座標）を検出する。
【００９３】
かかる顔の位置検出後に、行動特徴検出部１７は、ゲート１における顔の位置（Ｚ座標）に基づき、ゲート１における顔の高さの時間平均および顔高さの最小値を対象者の行動の特徴量として算出する。
【００９４】
例えば、行動特徴検出部１７は、カメラ２０のフレームレートが毎秒１フレームであるとしたときには、ゲート１への進入を検出してから今回までに撮像されたフレーム数でこれまでに検出された顔高さの累計値を除算することにより顔高さの時間平均を算出し、算出した顔高さの時間平均を追跡用テーブル１７ａへ書き込む。
【００９５】
また、行動特徴検出部１７は、追跡用テーブル１７ａに記憶された顔高さの最小値が今回に検出した顔高さよりも大きい場合には、追跡用テーブル１７ａ内に今回に検出した顔高さを上書き更新する。
【００９６】
また、行動特徴検出部１７は、カメラ２０Ａによって天面から撮像されたカメラ画像に対して画像認識を行い、ゲート１における水平面（床面）上で対象者の顔（頭）が所在する座標位置を検出することにより、ゲート１における顔の位置（Ｘ座標およびＹ座標）を検出する。
【００９７】
かかる顔の位置検出後に、行動特徴検出部１７は、ゲート１における顔の位置（Ｘ座標およびＹ座標）に基づき、ゲート通過の平均速度、ゲート通過の所要時間、左右の側線の横断回数および壁側領域の累積所在時間を対象者の行動の特徴量として算出する。
【００９８】
例えば、行動特徴検出部１７は、ゲート１への進入を検出してから今回までに検出したＹ座標のうち最大のＹ座標から最小のＹ座標を減算し、その減算値を今回までに撮像されたフレーム数で除算することによりゲート通過の平均速度を算出し、算出したゲート通過の平均速度を追跡用テーブル１７ａへ書き込む。
【００９９】
さらに、行動特徴検出部１７は、ゲート１への進入を検出した方向とは逆方向に対象者がフレームアウトしたことを検出した場合に、ゲート１へ進入してから退出するまでに要したフレーム数をゲート通過の所要時間として追跡用テーブル１７ａへ書き込む。
【０１００】
また、行動特徴検出部１７は、今回にカメラ画像が撮像された時点よりも以前の撮像機会において対象者の顔が直近に所在していた側線とは逆方向の側線に対象者の顔（頭）が所在している場合には、対象者がゲート１を１回横断したものとし、追跡用テーブル１７ａ内の横断回数をインクリメントする。
【０１０１】
すなわち、行動特徴検出部１７は、対象者の顔が左側線３Ｌに所在していた状態から逆方向の右側線３Ｒに到達した場合、もしくは対象者の顔が右側線３Ｒに所在していた状態から逆方向の左側線３Ｌに到達した場合に、追跡用テーブル１７ａ内の横断回数をインクリメントする。
【０１０２】
また、行動特徴検出部１７は、たとえばカメラ２０のフレームレートが毎秒１フレームであるとしたときには、今回に検出した対象者の顔の位置（Ｘ座標）が左壁側領域５Ｌまたは右壁側領域５Ｒに含まれる場合に、追跡用テーブル１７ａ内の壁側領域の累積所在時間に１秒を加算更新する。
【０１０３】
このようにして、本実施例では、図７に示すように、カメラ画像から顔検出を行って顔画像を切り出し、その顔画像と対象者の顔画像とを顔照合して対象者を特定し、カメラ画像および顔画像に写っている同一の対象者を時系列に追跡し、その対象者のカメラ２０に対する顔の向き又はゲート１における顔の位置の時系列データに基づき、対象者の行動の特徴量を算出する。
【０１０４】
これによって、対象者の行動の特徴を時間的な奥行きを持った行動パターンとして検出することができ、対象者が一時的に取った行動を対象者の行動の特徴として誤検出することを防止できる結果、対象者の危険行動をより確度よく検知することが可能になる。
【０１０５】
その後、行動特徴検出部１７は、このようにして算出した対象者の行動の特徴量が行動推定ルール記憶部１３に記憶された特徴量別の条件を満たすか否かを判定し、条件を満たす場合にはその行動パターンを抽出する。
【０１０６】
具体的には、ゲート１における顔高さの時間平均がａ（ｍ）よりも大きい場合には行動パターンＡを抽出し、視線変化回数がｂ（回）以上である場合には行動パターンＢを抽出し、視線変化頻度がｃ（回／ｓｅｃ）以上である場合には行動パターンＣを抽出する。また、ゲート通過の平均速度がｄ（ｍ／ｓｅｃ）以上である場合には行動パターンＤを抽出し、ゲート通過の所要時間がｅ（ｓｅｃ）以上である場合には行動パターンＥを抽出し、左右の側線の横断回数がｆ（回）以上である場合には行動パターンＦを抽出する。さらに、壁側領域の累積所在時間がｇ（ｓｅｃ）以上である場合には行動パターンＧを抽出し、顔高さの最小値がｈ（ｍ）以下である場合には行動パターンＨを抽出し、顔高さの最小値がｉ（ｍ）以下である場合には行動パターンＩを抽出する。また、異常時の顔画像との類似度がｌ（％）以上である場合には行動パターンＬを抽出する。
【０１０７】
また、対象者を含む複数の人物がゲート１内に検出されているケースでは、２名のゲート通過の所要時間≧ｊ（複数移動停止検出閾値）である場合には行動パターンＪを抽出し、２名のうち１名の顔高さの最小値≧ｋ（床近接閾値ｋ）である場合には行動パターンＫを抽出し、また、１名の顔高さの平均時間≦ａ（歩行閾値）であり、他の１名の顔高さの平均時間＞ａである場合、すなわち前者が車椅子、後者が歩行の場合で、歩行者の顔が車椅子を押すことを許可された人の顔と異なる場合には行動パターンＭが抽出する。
【０１０８】
そして、行動特徴検出部１７は、このようにして抽出した行動パターンに対応する状況を行動・状況対応関係記憶部１４から抽出し、抽出した状況を対象者の状況として推定する。
【０１０９】
具体的には、行動パターンＡが抽出されている場合には対象者が「車いすなしの歩行」を行っている状況であると推定される。行動パターンＥ及びＧが抽出されている場合には対象者が「休憩」を行っている状況であると推定される。また、行動パターンＢ、行動パターンＣ及び行動パターンＤのフラグが検出されている場合に対象者が「徘徊」または「目的地探索」を行っている状況であると推定される。さらに、同様にして、「他者に面会（興奮状態）」〜「（車いすから）滑落またはずり落ち」などの対象者の状況が推定される。
【０１１０】
また、対象者を含む複数の人物がゲート１内に検出されているケースでは、パターンＪ及びＬが抽出されている場合には対象者同士が「口論」を行っている状況であると推定される。行動パターンＪ及びＫが抽出されている場合には２名の対象者の間で「喧嘩もしくは接触転倒」が起こっている状況であると推定される。行動パターンＤ及びＬが抽出されている場合には対象者が「施設を出て行く」という行動を取っている状況であると推定される。さらに、行動パターンＭが抽出されている場合には「介助者以外が車椅子を介助」している状況であると推定される。
【０１１１】
危険行動検出部１８は、対象者情報記憶部１２によって記憶された対象者の危険行動と、行動特徴検出部１７によって検出された行動パターンとを比較して、対象者が危険行動を行ったことを検出する処理部である。
【０１１２】
例えば、顔照合部１６によって特定された対象者が「１２３４５」である場合には、行動特徴検出部１７によって「徘徊」または「投薬ミス」が対象者の状況として推定されたならば、対象者が危険行動を行ったと判定する。また、顔照合部１６によって特定された対象者が「６７８９０」である場合には、行動特徴検出部１７によって「車いすなしの歩行」、「歩行困難」、「転倒」または「滑落またはずり落ち」が対象者の状況として推定されたならば、対象者が危険行動を行ったと判定する。
【０１１３】
報知制御部１９は、危険行動検出部１８によって対象者が危険行動を行ったと判定された場合に、表示部１１ａ、音声出力部１１ｂおよび／またはメール配信部１１ｃを制御して、対象者が危険行動を行った旨を報知する処理部である。
【０１１４】
例えば、報知制御部１９は、対象者ＩＤ、対象者が危険行動を行った日時、危険行動の種別などを表示部１１ａに表示させたり、音声出力部１１ｂから音声出力させることにより館内放送を行ったり、また、メール配信部１１ｃにメールの作成および送信を実行させることにより職員が保有する携帯電話、ＰＨＳやＰＤＡなどの携帯端末へメール配信したりする。
【０１１５】
このように、対象者が危険行動を行ったことを職員へ報知することで、職員に迅速な救護対応を取らせることができ、事件や事故を予防できる可能性をより高めることが可能になる。
【０１１６】
次に、本実施例に係る行動検知装置の処理の流れについて説明する。図８は、本実施例に係る危険行動検知処理の手順を示すフローチャートである。
【０１１７】
同図に示すように、カメラ２０からカメラ画像を取得すると（ステップＳ１０１）、顔画像切出部１５は、各カメラ２０によって撮像されたカメラ画像から人物の顔を検出し切り出す（ステップＳ１０２）。
【０１１８】
そして、顔照合部１６は、顔画像切出部１５によって切り出された顔画像と、対象者情報記憶部１２に登録された顔画像とを照合して対象者を特定する（ステップＳ１０３）。
【０１１９】
このとき、前回に取得されていたカメラ画像に対象者が存在せず、追跡用テーブルが作成されていない場合（ステップＳ１０４肯定）には、行動特徴検出部１７は、新たな追跡用テーブル１７ａ（図７参照）を作成する（ステップＳ１０５）。
【０１２０】
一方、追跡用テーブルが既に作成されている場合（ステップＳ１０４否定）には、行動特徴検出部１７は、顔照合部１６によって出力された対象者ＩＤが追跡用テーブル１７ａ内の対象者ＩＤと同一であることを確認してからその追跡用テーブルを引き続き使用し、ステップＳ１０６へ移行する。
【０１２１】
その後、行動特徴検出部１７は、カメラ２０によって各方向で撮像されたカメラ画像および顔画像切出部１５によって切出された各顔画像を用いて、カメラ２０に対する顔の向き及びゲート１における顔の位置を検出する（ステップＳ１０６）。
【０１２２】
続いて、行動特徴検出部１７は、ステップＳ１０６で検出したカメラ２０に対する顔の向きからゲート１における対象者の視線変化回数および視線変化頻度を対象者の行動の特徴量として算出するとともに、ステップＳ１０６で検出したゲート１における顔の位置からゲート１における顔の高さの時間平均、顔高さの最小値、ゲート通過の平均速度、ゲート通過の所要時間、左右の側線の横断回数および壁側領域の累積所在時間を対象者の行動の特徴量として算出する（ステップＳ１０７）。
【０１２３】
そして、行動特徴検出部１７は、ステップＳ１０７で算出した対象者の行動の特徴量が行動推定ルール記憶部１３に記憶された特徴量別の条件を満たすか否かを判定し、条件を満たす場合にはその行動パターンを抽出する（ステップＳ１０８）。
【０１２４】
その後、行動特徴検出部１７は、ステップＳ１０８で抽出した行動パターンに対応する状況を行動・状況対応関係記憶部１４から抽出し、抽出した状況を対象者の状況として推定する（ステップＳ１０９）。
【０１２５】
ここで、危険行動検出部１８は、行動特徴検出部１７によって推定された対象者の状況が対象者情報記憶部１２によって記憶された対象者のうち顔照合部１６によって特定された対象者の危険行動に含まれるか否かを判定する（ステップＳ１１０）。
【０１２６】
このとき、危険行動検出部１８によって対象者の状況が危険行動に含まれると判定された場合（ステップＳ１１０肯定）には、報知制御部１９は、対象者ＩＤ、対象者が危険行動を行った日時、危険行動の種別などを表示部１１ａに表示させたり、音声出力部１１ｂから音声出力させることにより館内放送を行ったり、また、メール配信部１１ｃにメールの作成および送信を実行させることにより職員が保有する携帯端末へメール配信したりすることにより職員への報知を行い（ステップＳ１１１）、上記のステップＳ１０１〜１０９までの処理を繰り返し行う。
【０１２７】
また、危険行動検出部１８によって対象者の状況が危険行動に含まれないと判定された場合（ステップＳ１１０否定）には、上記のステップＳ１０１〜１０９までの処理を繰り返し行う。
【０１２８】
上述してきたように、本実施例では、ゲート１内にカメラ２０を設置しておき、カメラ２０によって撮像されたカメラ画像を用いてゲート１を通過する対象者を顔照合で特定し、時系列に撮像されたカメラ画像を用いて対象者を追跡するとともにその対象者の行動の特徴を検出し、検出した行動の特徴が予め登録された対象者の危険行動に関する属性情報と合致するか否かによって対象者が危険行動を行ったか否かを検出することとした。
【０１２９】
このため、本実施例では、対象者がゲート１で取る行動のうち対象者の危険行動だけを検知できるので、生活の一部に含まれる通常の行動が職員へ報知の対象とされることがなく、さらに、事件や事故の予兆となる対象者の危険行動を検知できるので、事件や事故が発生する前の段階で対象者の危険行動を職員へ提示することができる。
【０１３０】
したがって、本実施例では、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減することが可能である。
【０１３１】
なお、上記の実施例では、単一ゲートで対象者の危険行動を検知する場合について説明したが、本発明はこれに限定されるものではなく、複数のゲートで対象者の危険行動を検知する場合にも好適に適用することができる。
【０１３２】
例えば、ゲートごとに行動検知装置１０を設けた場合には、対象者のゲートの通過情報から経路情報やゲート間の移動時間などの移動情報を収集することができる。なお、通過情報、経路情報や移動時間は、１つの行動検知装置１０または他の装置に集中管理させてもよいし、各行動検知装置１０で他の行動検知装置１０から個別にデータ収集して分散管理させてもかまわない。
【０１３３】
一例としては、対象者の危険行動と見做す経路情報（例えば、仲の悪い対象者への訪問や外出に関する経路）を対象者情報記憶部１２へ登録しておけば、登録されている経路に関する移動を検出した場合に対象者間のトラブルや施設からの離脱の予兆を職員へ報知することができ、施設における事件及び事故の発生リスクをより効果的に低減することが可能になる。なお、本発明では、対象者本人から不可分である顔画像を照合することにより対象者を特定するので、ＲＦＩＤタグを用いて所在管理を行う場合のように、対象者がＲＦＩＤタグを携帯せずに対象者のゲートの通過情報が取得できなくなる事態にも陥らない。
【０１３４】
また、他の一例としては、対象者のゲート間の平均移動時間を対象者情報記憶部１２へ登録しておけば、一方のゲートの通過を検出してから平均移動時間よりも所定の猶予期間を超えても他方のゲートの通過を検出できない場合に移動トラブルが生じているリスクを報知することができ、この場合にも、施設における事件及び事故の発生リスクをより効果的に低減することが可能になる。
【０１３５】
また、複数のゲートで対象者の危険行動を検知する場合には、ゲートが有する性質によって報知する危険度を変更することとしてもよい。例えば、図９の例では、ゲート１Ａ、ゲート１Ｂおよびゲート１Ｃの３つのゲートが存在するが、対象者が危険行動を取った場合の危険度は同じではなく、対象者が転倒や歩行困難に陥った場合には、危険度は廊下＜階段＜バルコニーとなる。
【０１３６】
この場合には、図１０に示すように、ゲート１Ａで危険行動が行われた場合には危険度Ｂを、ゲート１Ｂで危険行動が行われた場合には危険度Ａを、ゲート１Ｃで危険行動が行われた場合には危険度Ｓを報知させるとともに、危険度の高さに応じて報知形態を変更し、危険度Ｂの場合には危険行動の報知をモニタ表示にとどめ、危険度Ａの場合にはモニタ表示にメール配信を追加し、また、危険度Ｓの場合にはモニタ表示およびメール配信に加えて館内放送を行う。
【０１３７】
このように、ゲートの性質に応じて報知する危険度を変更することで、複数のゲートで危険行動が発生した場合でも危険度の高いゲートへ職員を急行させることができ、対象者の生命が危険な状態にさらされるリスクを低減することが可能になる。また、危険度が高くなる度に報知の形態を拡大することで、危険度が高い場合にはより多くの職員に対応させることができる。
【０１３８】
なお、上記の実施例では、対象者の危険行動の属性情報として、見守り必要状況を対象者情報記憶部１２へ登録させる場合について説明したが、視線変化や左右の側線の横断などの特徴量の項目そのものを対象者情報記憶部１２へ記憶しておくこととしてもよい。
【０１３９】
また、上記の実施例では、ゲート１に対象者が１人ずつ進入して退出する場合について説明したが、本発明はこれに限定されるものではなく、ゲート１に複数の対象者が侵入する場合にも本発明を同様に適用することができる。
【０１４０】
なお、上記の実施例では、老人介護施設に所属する老人を対象者として危険行動を検知する場合の実施例を説明したが、本発明はこれに限定されるものではなく、学校に所属する生徒を対象者とする場合や病院に所在する患者を対象者とする場合にも本発明を同様に適用することができる。
【０１４１】
また、上記の実施例では、対象者の危険行動を検知する実施例について説明したが、本発明はこれに限定されるものではなく、不審者の侵入を検知する場合にも適用することができる。
【０１４２】
例えば、対象者情報記憶部１２に登録されたＮ個の顔画像の中に、顔画像切出部１５によって切り出された顔画像と一致するものが存在しない場合には、カメラ画像に写っている顔の人物を不審者と特定し、不審者が侵入した旨を表示部１１ａへ表示したり、音声出力部１１ｂで音声出力したり、また、メール配信部１１ｃを制御して、施設関係者が所持する携帯端末へ通知することもできる。不審者の条件に行動パターンＢ、Ｃ、Ｄ等の検出を組み合わせ、行動が不審な人物のみを不審者として検出してもよい。
【産業上の利用可能性】
【０１４３】
以上のように、本発明に係る行動検知装置及び行動検知方法は、施設に必要な人的コストを低減しつつ、施設における事件及び事故の発生リスクを低減する場合に適している。
【符号の説明】
【０１４４】
１ ゲート
３Ｌ 左側線
３Ｒ 右側線
５Ｌ 左壁側領域
５Ｒ 右壁側領域
１０ 行動検知装置
１１ａ 表示部
１１ｂ 音声出力部
１１ｃ メール配信部
１２ 対象者情報記憶部
１３ 行動推定ルール記憶部
１４ 行動・状況対応関係記憶部
１５ 顔画像切出部
１６ 顔照合部
１７ 行動特徴検出部
１８ 危険行動検出部
１９ 報知制御部
２０Ａ，２０ＢＬ，２０ＢＲ，２０ＣＬ，２０ＣＲ カメラ
【特許請求の範囲】
【請求項１】
少なくとも１つの撮像装置と、
対象者の顔情報および危険行動に関する属性情報を対応付けて記憶する記憶部と、
前記撮像装置により撮像された画像から顔画像を検出し、前記記憶部に記憶された顔情報と照合して前記対象者を特定する顔照合部と、
前記撮像装置により撮像された画像から前記対象者の行動の特徴を検出する行動特徴検出部と、
前記顔照合部によって特定された対象者と対応付けて前記記憶部に記憶されている属性情報と、前記行動特徴検出部が検出した行動の特徴とを比較して、前記対象者が危険行動を行ったことを検出する危険行動検出部と
を備えたことを特徴とする行動検知装置。
【請求項２】
前記危険行動検出部によって前記対象者の危険行動が検出された場合に、当該対象者が危険行動を行った旨を報知するように制御する報知制御部をさらに備えたことを特徴とする請求項１に記載の行動検知装置。
【請求項３】
前記行動特徴検出部は、前記撮像装置により撮像された画像から前記対象者の顔の向きと顔の位置の少なくとも一方を時系列に検出することにより、前記対象者の行動の特徴を検出することを特徴とする請求項１または２に記載の行動検知装置。
【請求項４】
前記行動特徴検出部は、当該行動検知装置における対象者の特定の有無および他の行動検知装置における対象者の特定の有無に基づいて前記対象者が危険行動を行ったことを検出することを特徴とする請求項１、２または３に記載の行動検知装置。
【請求項５】
少なくとも１つの撮像装置により撮像された画像から顔画像を検出し、対象者の顔情報および危険行動に関する属性情報を対応付けて記憶する記憶部に記憶された顔情報と照合して前記対象者を特定する顔照合工程と、
前記撮像装置により撮像された画像から前記対象者の行動の特徴を検出する行動特徴検出工程と、
前記顔照合工程によって特定された対象者と対応付けて前記記憶部に記憶されている属性情報と、前記行動特徴検出工程が検出した行動の特徴とを比較して、前記対象者が危険行動を行ったことを検出する危険行動検出工程と
を含んだことを特徴とする行動検知方法。
【請求項１】
少なくとも１つの撮像装置と、
対象者の顔情報および危険行動に関する属性情報を対応付けて記憶する記憶部と、
前記撮像装置により撮像された画像から顔画像を検出し、前記記憶部に記憶された顔情報と照合して前記対象者を特定する顔照合部と、
前記撮像装置により撮像された画像から前記対象者の行動の特徴を検出する行動特徴検出部と、
前記顔照合部によって特定された対象者と対応付けて前記記憶部に記憶されている属性情報と、前記行動特徴検出部が検出した行動の特徴とを比較して、前記対象者が危険行動を行ったことを検出する危険行動検出部と
を備えたことを特徴とする行動検知装置。
【請求項２】
前記危険行動検出部によって前記対象者の危険行動が検出された場合に、当該対象者が危険行動を行った旨を報知するように制御する報知制御部をさらに備えたことを特徴とする請求項１に記載の行動検知装置。
【請求項３】
前記行動特徴検出部は、前記撮像装置により撮像された画像から前記対象者の顔の向きと顔の位置の少なくとも一方を時系列に検出することにより、前記対象者の行動の特徴を検出することを特徴とする請求項１または２に記載の行動検知装置。
【請求項４】
前記行動特徴検出部は、当該行動検知装置における対象者の特定の有無および他の行動検知装置における対象者の特定の有無に基づいて前記対象者が危険行動を行ったことを検出することを特徴とする請求項１、２または３に記載の行動検知装置。
【請求項５】
少なくとも１つの撮像装置により撮像された画像から顔画像を検出し、対象者の顔情報および危険行動に関する属性情報を対応付けて記憶する記憶部に記憶された顔情報と照合して前記対象者を特定する顔照合工程と、
前記撮像装置により撮像された画像から前記対象者の行動の特徴を検出する行動特徴検出工程と、
前記顔照合工程によって特定された対象者と対応付けて前記記憶部に記憶されている属性情報と、前記行動特徴検出工程が検出した行動の特徴とを比較して、前記対象者が危険行動を行ったことを検出する危険行動検出工程と
を含んだことを特徴とする行動検知方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−３４３５７（Ｐ２０１１−３４３５７Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１８００９２（Ｐ２００９−１８００９２）
【出願日】平成２１年７月３１日（２００９．７．３１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究に係る特許出願（総務省戦略的情報通信研究開発推進制度（ＳＣＯＰＥ）平成２０年度「ユビキタスネットワークを活用した高齢者等の安心安全を確保する見守り空間創成に関する研究開発」）
【出願人】（５９２２１６３８４）兵庫県 (258)
【出願人】（０００００１４３２）グローリー株式会社 (1,344)
【出願人】（０００１８１８２６）社会福祉法人兵庫県社会福祉事業団 (4)
【出願人】（０００１２５３４７）学校法人近畿大学 (389)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年７月３１日（２００９．７．３１）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究に係る特許出願（総務省戦略的情報通信研究開発推進制度（ＳＣＯＰＥ）平成２０年度「ユビキタスネットワークを活用した高齢者等の安心安全を確保する見守り空間創成に関する研究開発」）
【出願人】（５９２２１６３８４）兵庫県 (258)
【出願人】（０００００１４３２）グローリー株式会社 (1,344)
【出願人】（０００１８１８２６）社会福祉法人兵庫県社会福祉事業団 (4)
【出願人】（０００１２５３４７）学校法人近畿大学 (389)
【Ｆターム（参考）】
[ Back to top ]