ユーザ異常検出装置、及びユーザ異常検出方法
【課題】ユーザの位置情報と、ユーザの通る場所を撮影した撮影画像とを用いて、ユーザに関する異常を適切に検出するユーザ異常検出装置を提供する。
【解決手段】撮影画像を受け付ける撮影画像受付部１１、ユーザの位置を示す位置情報を受け付ける位置情報受付部１３、撮影画像における人物の行動軌跡を抽出する行動軌跡抽出部１５、抽出された行動軌跡と位置情報の示すユーザの行動軌跡とを比較する比較部１６、その比較結果に基づいて、撮影画像における人物の画像から、位置情報によって位置が示されるユーザを特定するユーザ特定部１７、ユーザ特定部１７が特定したユーザに関する異常を検出する異常検出部１８、異常検出部１８が異常を検出した場合に、異常が検出されたことに関する異常検出情報を出力する異常出力部１９を備える。
【解決手段】撮影画像を受け付ける撮影画像受付部１１、ユーザの位置を示す位置情報を受け付ける位置情報受付部１３、撮影画像における人物の行動軌跡を抽出する行動軌跡抽出部１５、抽出された行動軌跡と位置情報の示すユーザの行動軌跡とを比較する比較部１６、その比較結果に基づいて、撮影画像における人物の画像から、位置情報によって位置が示されるユーザを特定するユーザ特定部１７、ユーザ特定部１７が特定したユーザに関する異常を検出する異常検出部１８、異常検出部１８が異常を検出した場合に、異常が検出されたことに関する異常検出情報を出力する異常出力部１９を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザに関する異常を検出するユーザ異常検出装置等に関する。
【背景技術】
【０００２】
近年、防犯等のために街角の映像を撮影し、その映像によって監視を行う監視システムが用いられるようになってきている。そのような監視システムを用いることにより、不審な行動をしている人や、病気や事故等によって倒れている人を検出することができる。なお、関連する従来技術として、例えば、建物の物理的な構造を前提とし、あらかじめ格納されている行動履歴と異なる行動をしたユーザの異常行動を検出する装置が開発されている（特許文献１参照）。
【０００３】
一方、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を用いることにより、ユーザの位置を特定する技術も開発されており、さらに近年、そのような技術を組み込んだ携帯電話等も開発されている。そのような装置を用いることにより、ユーザの広範囲にわたる位置の特定が可能となる。
【特許文献１】特開２００５−１４１３１９号公報（第１頁、第１図等）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の監視システムでは、画像に写っている人物が誰であるのかを特定するために、顔の特徴等のユーザに固有の情報を用いてユーザを特定しなければならず、あらかじめ顔の特徴等のユーザに固有の情報を登録しているユーザしか、画像に写っている人物の特定ができなかった。また、画像に写っている人物の顔等の撮影角度や大きさ等が適切でなかった場合には、人物の特定を適切に行うことができないこともある。さらに、ユーザに固有の情報を登録しているユーザ数が多くなった場合には、ユーザを特定する処理負荷が大きくなるという探索速度の問題もある。
【０００５】
また、従来のＧＰＳ等を用いてユーザの位置を特定する方法では、誤差が大きいため、異常の発生を厳密に検出することはできなかった。例えば、ＧＰＳ等を用いて特定されたユーザの位置によって、ユーザが長時間にわたって同じ場所にとどまっていることが検出できたとしても、車にはねられて道の真ん中で倒れているのか、あるいは、信号待ちや立ち話等によって長時間同じ場所にとどまっているのかを判断することはできなかった。さらに、ＧＰＳ等の機能を有する装置を保持しているユーザしか行動を追跡することができないという問題もあった。また、例えば、あるユーザがストーカーに追跡されている場合でも、そのことを検出することはできなかった。
【０００６】
本発明は、上記問題点を解決するためになされたものであり、ユーザの位置を示す位置情報と、ユーザの通る場所をカメラによって撮影した撮影画像とを用いて、ユーザに関する異常を適切に検出することができるユーザ異常検出装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明によるユーザ異常検出装置は、ユーザが通る場所を１以上のカメラによって撮影した撮影画像を受け付ける撮影画像受付部と、ユーザの位置を示す情報である位置情報を受け付ける位置情報受付部と、前記撮影画像における人物の行動軌跡を抽出する行動軌跡抽出部と、前記行動軌跡抽出部が抽出した行動軌跡と、前記位置情報によって示されるユーザの行動軌跡とを比較する比較部と、前記比較部による比較結果に基づいて、前記撮影画像における人物の画像から、前記位置情報受付部が受け付けた位置情報によって位置が示されるユーザを特定するユーザ特定部と、前記ユーザ特定部が特定したユーザに関する異常を検出する異常検出部と、前記異常検出部がユーザに関する異常を検出した場合に、異常が検出されたことに関する情報である異常検出情報を出力する異常出力部と、を備えたものである。
【０００８】
このような構成により、ユーザの顔の特徴等があらかじめ登録されていなくても、カメラによって撮影された撮影画像と、ユーザの位置を示す位置情報とを用いて、ユーザに関する異常を検出することができる。また、撮影画像にユーザの顔等が適切に写っていなくてもユーザに関する異常を検出することができ、さらに、探索速度に関する問題も生じない。また、ユーザに関する異常が検出された場合に、異常検出情報が出力されることにより、その発生した異常に対して適切に対応することができる。
【０００９】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、前記ユーザ特定部が特定したユーザの行動に関する異常を検出してもよい。
このような構成により、ユーザの行動に関する異常を検出することができる。
【００１０】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、前記ユーザ特定部が特定したユーザの過去の行動を示す情報であるユーザ過去情報が記憶されるユーザ過去情報記憶手段と、前記ユーザ特定部が特定したユーザの行動が、前記ユーザ過去情報が示す当該ユーザの過去の行動と異なる場合に、当該ユーザの行動に関する異常を検出する検出手段と、を備えていてもよい。
【００１１】
このような構成により、ユーザの行動が、ユーザの過去の行動と異なる場合に、ユーザの異常を検出することができる。したがって、例えば、事件や事故、病気等によって、ユーザが過去の行動と異なる行動をとった場合に、そのことを異常として検出することができる。
【００１２】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、通常の人の行動に関する情報である通常行動情報が記憶される通常行動情報記憶手段と、前記ユーザ特定部が特定したユーザの行動が、前記通常行動情報が示す通常の人の行動と異なる場合に、当該ユーザの行動に関する異常を検出する検出手段と、を備えていてもよい。
【００１３】
このような構成により、ユーザの行動が、通常の人の行動と異なる場合に、ユーザの異常を検出することができる。したがって、例えば、事件や事故、病気等によって、ユーザが通常の人と異なる行動をとった場合に、そのことを異常として検出することができる。
【００１４】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、前記撮影画像に含まれる前記ユーザ特定部が特定したユーザ以外の人物の行動が、当該ユーザの行動との関係で異常である場合に、当該ユーザに関する異常を検出してもよい。
【００１５】
このような構成により、ユーザ以外の人物の行動がユーザの行動との関係で異常である場合に、その異常を検出することができる。例えば、ユーザがストーカーに追跡されているという異常を検出することができる。
【００１６】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、前記行動軌跡抽出部が抽出した１以上の人物の行動軌跡と、前記ユーザ特定部が特定したユーザの行動軌跡とを比較する行動軌跡比較手段と、前記行動軌跡比較手段により、両者が一定以上の類似性を有する場合に、当該ユーザに関する異常を検出する検出手段と、を備えていてもよい。
このような構成により、ユーザが尾行されていることを検出することができる。
【００１７】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、前記ユーザ特定部が特定したユーザの予測される行動軌跡である予測行動軌跡を算出する予測行動軌跡算出手段と、前記予測行動軌跡算出手段が算出した予測行動軌跡から一定範囲内の位置であって、通常の人が止まらない位置に前記撮影画像に含まれる当該ユーザ以外の人物が止まっている場合に、当該ユーザに関する異常を検出する検出手段と、を備えていてもよい。
このような構成により、ユーザが待ち伏せされていることを検出することができる。
【００１８】
また、本発明によるユーザ異常検出装置では、前記撮影画像受付部が受け付ける撮影画像は、２以上のカメラによって撮影された、重複しない２以上の領域の撮影画像であり、前記異常検出部は、前記２以上の領域の撮影画像を用いて異常を検出してもよい。
【００１９】
このような構成により、ユーザが２以上のカメラの撮影領域に存在しない場合であっても、ユーザに関する異常を検出することができる。例えば、ユーザがある撮影画像の領域から出てから一定時間以上経過しても他の撮影画像の領域に到達しない場合には、ユーザに関する異常が検出されてもよい。
【発明の効果】
【００２０】
本発明によるユーザ異常検出装置等によれば、ユーザの位置を示す位置情報と、ユーザの通る場所をカメラによって撮影した撮影画像とを用いて、撮影画像に写っているユーザを特定することができる。その結果、ユーザに関する異常を適切に検出することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明によるユーザ異常検出装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【００２２】
（実施の形態１）
本発明の実施の形態１によるユーザ異常検出装置１について、図面を参照しながら説明する。
図１は、本実施の形態によるユーザ異常検出装置１の構成を示すブロック図である。図１において、本実施の形態によるユーザ異常検出装置１は、撮影画像受付部１１と、撮影画像蓄積部１２と、位置情報受付部１３と、位置情報蓄積部１４と、行動軌跡抽出部１５と、比較部１６と、ユーザ特定部１７と、異常検出部１８と、異常出力部１９とを備える。
【００２３】
撮影画像受付部１１は、撮影画像を受け付ける。この撮影画像は、ユーザが通る場所を１以上のカメラによって撮影した画像である。ここで、ユーザとは、ユーザ異常検出装置１を用いるユーザ、すなわち、その位置情報が後述する位置情報受付部１３で受け付けられるユーザのことである。図１では、説明の便宜上、撮影画像受付部１１が１台のカメラからの撮影画像を受け付ける場合について示しているが、撮影画像受付部１１は、２台以上のカメラによって撮影された撮影画像であってもよい。２台以上のカメラによって撮影された撮影画像を撮影画像受付部１１が受け付ける場合には、その２以上の撮影画像は、図２で示されるように、重複しない２以上の領域の撮影画像であってもよい。例えば、１台のカメラによってある交差点付近の撮影を行い、他のカメラによってその交差点の次の交差点付近の撮影を行い、両カメラによって撮影された２個の撮影画像の領域が重複しないように設定してもよい。この撮影画像は動画である。この動画のフレームレートは、撮影画像に写っている人物の行動の軌跡を抽出することができる範囲において任意である。例えば、３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）であってもよく、あるいは、１ｆｐｓや２ｆｐｓであってもよい。また、撮影画像のデータ形式も問わない。例えば、撮影画像のデータ形式は、非圧縮であってもよく、ＭＰＥＧであってもよく、ＤＶ等であってもよく、撮影画像のファイル形式は、ＲＡＷ形式であってもよく、ＡＳＦ形式であってもよく、ＡＶＩ形式等であってもよい。撮影画像受付部１１は、例えば、有線もしくは無線の通信回線を介して送信された撮影画像を受信してもよく、カメラから直接入力された撮影画像を受け付けてもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された撮影画像を受け付けてもよい。なお、撮影画像受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、撮影画像受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２４】
撮影画像蓄積部１２は、撮影画像受付部１１が受け付けた撮影画像を所定の記録媒体に蓄積する。ここで、その所定の記録媒体では、撮影画像の各フレームの撮影日時を知ることができるように撮影画像が蓄積されているものとする。したがって、撮影画像の各フレームに撮影日時を示す情報が対応付けられていてもよく、あるいは、最初のフレームの撮影日時を示す情報が対応付けられており、その情報を用いて各フレームの撮影日時を算出することができるようにしてもよい。また、その撮影日時を示す情報は、カメラによって設定されてもよく、撮影画像蓄積部１２によって設定されてもよい。前者の場合には、カメラが時計等を保持していてもよく、後者の場合には撮影画像蓄積部１２が時計等を保持していてもよい。撮影日時を示す情報に代えて、撮影時刻のみを示す情報、あるいは、撮影の相対的な時間（例えば、タイムコード等）を示す情報を用いてもよい。撮影画像が蓄積される記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、撮影画像蓄積部１２が有していてもよく、あるいは撮影画像蓄積部１２の外部に存在していてもよい。本実施の形態では、前者であるとする。また、この記録媒体は、撮影画像を一時的に記憶するものであってもよく、そうでなくてもよい。
【００２５】
位置情報受付部１３は、ユーザの位置を示す情報である位置情報を受け付ける。本実施の形態では、位置情報受付部１３が受け付ける位置情報は、ユーザの保持している情報端末のＧＰＳ機能を用いて取得され、ネットワークを介して送信されたものであるとする。また、本実施の形態では、位置情報は時系列に沿った情報であるとする。ここで、位置情報が時系列に沿った情報であるとは、時間の経過に応じてユーザの位置がどのように変化したのかを位置情報から知ることができるという意味である。したがって、位置情報は、日時を示す情報と、ユーザの位置を示す情報とが対応付けられている情報であってもよく、あるいは、ユーザの位置を示す情報が時系列に沿って並べられている情報であってもよい。後者の場合に、例えば、位置情報において、ユーザの位置を示す情報が一定の時間間隔ごとに時系列に沿って並べられており、最初のユーザの位置を示す情報に対応する日時が位置情報に含まれることによって、ユーザの位置を示す情報に対応する日時を算出することができるようにしてもよい。また、位置情報受付部１３が、ユーザの位置を示す情報のみを含む位置情報を受け付けた場合には、そのユーザの位置を示す情報に日時（例えば、その情報を受け付けた日時等）を示す情報を対応付けることによって、日時を示す情報と、位置を示す情報とが対応付けられた位置情報を構成してもよい。その場合に、位置情報受付部１３等は、日時を示す情報を取得することができる時計等を保持していてもよい。日時を示す情報に代えて、時刻のみを示す情報、あるいは、相対的な時間（例えば、タイムコード等）を示す情報を用いてもよい。本実施の形態では、位置情報受付部１３は、日時を示す情報と、ユーザの位置を示す情報とが対応付けられている位置情報を受け付けるものとする。また、ユーザの位置を示す情報は、ユーザの位置を特定することができる情報であれば、どのようなものであってもよい。例えば、ユーザの位置を示す情報は、経度や緯度を示す情報であってもよく、あるいは、ある基準点からの２次元平面上の位置を示す情報（例えば、ｘｙ２次元直交座標系におけるｘの値、ｙの値等）であってもよい。また、位置情報に含まれるユーザの位置を示す情報は、処理の途中で変換がなされてもよい。例えば、直交座標系と球座標系との間で変換がなされてもよい。位置情報受付部１３は、１人のユーザに関する位置情報を受け付けてもよく、あるいは、２人以上のユーザに関する２以上の位置情報を受け付けてもよい。後者の場合には、各位置情報をユーザごとに区別することができるように、ユーザを識別するユーザＩＤ等と対応付けられた位置情報を受け付けてもよい。位置情報受付部１３は、例えば、ユーザの保持している情報端末のＧＰＳ機能を用いて取得され、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもよい。本実施の形態では、前者であるとする。なお、位置情報受付部１３は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、位置情報受付部１３は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２６】
位置情報蓄積部１４は、位置情報受付部１３が受け付けた位置情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、位置情報蓄積部１４が有していてもよく、あるいは位置情報蓄積部１４の外部に存在してもよい。本実施の形態では、前者であるとする。また、この記録媒体は、位置情報を一時的に記憶するものであってもよく、そうでなくてもよい。また、この記録媒体は、撮影画像蓄積部１２が撮影画像を蓄積する記録媒体と同一のものであってもよく、そうでなくてもよい。
【００２７】
なお、撮影画像の各フレームの撮影日時を示す情報等と、位置情報における日時を示す情報等は、後述する比較の処理のため、同期していることが好適である。両者が同期しているとは、あるユーザがある位置にいる場合に撮影された撮影画像のフレームの撮影日時を示す情報等と、位置情報における、そのユーザの位置に対応する日時を示す情報等とが等しいことである。両者が同期するように、例えば、撮影画像の各フレームの撮影日時を示す情報等を、ユーザが保持している情報端末のＧＰＳ機能と同様の機能を用いて取得するようにしてもよい。
【００２８】
行動軌跡抽出部１５は、撮影画像受付部１１が受け付けた撮影画像における人物の行動軌跡を抽出する。すなわち、行動軌跡抽出部１５によって、撮影画像に写っている人物の位置の時系列に沿った変化を示す情報が抽出されることになる。なお、行動軌跡とは、行動軌跡を示す情報であってもよい。この行動軌跡の抽出は、例えば、撮影画像における人物の領域を検出してから、その人物の領域の位置の変化を検出することによって行ってもよく、あるいは、撮影画像の速度場を抽出し、撮影画像に写っている動物体の位置の変化を検出することによって行ってもよい。前者の場合における人物の領域を検出する方法としては、例えば、肌色検出を用いる方法、背景画像との差分を抽出する方法、パターンマッチングを用いる方法等が知られている。また、人物の領域の位置の変化は、例えば、検出された人物の領域の特定の位置（例えば、鼻の位置、頭頂の位置、腰の位置等）の変化を追跡することによって検出することができる。また、後者の場合における行動軌跡の抽出では、例えば、オプティカル・フローの技術を用いることができる。オプティカル・フローの技術等を用いて動物体の位置の変化を検出する場合には、撮影画像に写っている人物以外の動物体（例えば、車等）の行動軌跡も人物の行動軌跡として抽出されてしまうことになるが、その問題は後述する。通常、カメラは真上から撮影するのではなく、斜め上方から撮影する。したがって、撮影画像における行動軌跡を抽出したとしても、その行動軌跡は真上から見た２次元平面（例えば、実際の地図等）における行動軌跡とは異なることになる。そのような場合には、斜め上方から見た画像を真上から見た画像に変換する処理を行ってもよい。そのような処理としては、例えば、平面射影変換等がある。その変換の処理を行動軌跡の抽出前に行い、その変換後の撮影画像において行動軌跡を抽出してもよく、あるいは、変換前の撮影画像において行動軌跡を抽出し、その抽出した行動軌跡に対して、その変換の処理を行ってもよい。一般に、後者のほうが処理の負荷が軽くなる。なお、撮影画像から人物の行動軌跡を抽出する方法は上記の説明に限定されないことは言うまでもない。また、撮影画像から人物の行動軌跡を抽出する方法は従来から公知であり、その詳細な説明は省略する。
【００２９】
比較部１６は、行動軌跡抽出部１５が抽出した行動軌跡と、位置情報受付部１３が受け付けた位置情報によって示されるユーザの行動軌跡とを比較する。この比較は、例えば、両者の示す、時間に依存して変化する位置の情報の比較であってもよく、両者の示す、時間に依存して変化する速度ベクトルの比較であってもよく、あるいは、その両者の比較であってもよい。比較部１６は、撮影画像から抽出された行動軌跡と位置情報の示す行動軌跡との比較によって、両者の類似度や両者が一致する確率等を算出するものとする。比較部１６は、例えば、その比較を逐次モンテカルロ法等の近似法を用いて行ってもよく、ベイズ推定等のモデル化を用いて行ってもよく、あるいは、その他の方法を用いてもよい。行動軌跡と位置情報の示す行動軌跡とを比較する方法は従来から公知であり、その詳細な説明は省略する。
【００３０】
ユーザ特定部１７は、比較部１６による比較結果に基づいて、撮影画像における人物の画像から、位置情報受付部１３が受け付けた位置情報によって位置が示されるユーザを特定する。すなわち、ユーザ特定部１７は、撮影画像に写っている人物と、位置情報によって位置が示されるユーザとを一対一に紐付ける処理を行う。なお、撮影画像には一般に、ユーザ以外の人物も写っているため、撮影画像に写っている人物が、位置情報によって位置が示されるユーザと一対一に紐付けられない場合もある。ユーザを特定するとは、例えば、撮影画像における人物の領域を識別する識別子と、ユーザを識別するユーザＩＤとを対応付けて所定の記録媒体等に蓄積する処理等である。ユーザ特定部１７は、例えば、撮影画像における人物の行動軌跡と一致する行動軌跡を示す位置情報を特定し、その撮影画像における人物を、その特定した位置情報に対応するユーザであると特定してもよい。ここで、撮影画像における人物の行動軌跡と、位置情報の示す行動軌跡とが一致するとは、例えば、両者が厳密に一致する場合のみでなく、両者の類似度や両者の一致する確率が所定のしきい値以上である場合や、他者との類似度等と比較して両者の類似度等が最も高い場合、両者の類似度等がしきい値以上であり、かつ、他者との類似度等と比較して両者の類似度等が最も高い場合等を含んでもよい。
【００３１】
なお、撮影画像におけるユーザの特定は、結果として撮影画像に含まれる人物の画像と、ユーザとの対応を知ることができるのであれば、その方法を問わない。ユーザ特定部１７は、例えば、撮影画像における１の静止画像ごとに行ってもよく、あるいは、１の静止画像においてユーザの特定を行った後には、そのユーザに対応する人物の画像の移動を追跡することによって、撮影画像に含まれる人物の画像と、ユーザとの対応を知ることができるようにしてもよい。後者の場合には、新たな人物の画像が撮影画像に含まれるようになるタイミングで撮影画像における人物の行動軌跡と、位置情報の示す行動軌跡との比較を比較部１６が開始し、その比較結果に応じてユーザの特定を行ってもよい。
【００３２】
また、行動軌跡抽出部１５がオプティカル・フローの技術等を用いて人物以外の動物体の行動軌跡を抽出したとしても、その行動軌跡とユーザの位置情報とを比較した場合に一致しないと判断されるため、問題にはならないことになる。
【００３３】
また、位置情報によってユーザの位置が示されているため、比較部１６は、ある撮影画像から抽出された行動軌跡と、位置情報の誤差を考慮してその撮影画像の撮影領域に含まれるユーザの位置情報の示す行動軌跡とを比較するようにしてもよい。このようにすることで、撮影画像から抽出された行動軌跡と、全てのユーザの位置情報の示す行動軌跡とを比較する場合に比べて、比較部１６による比較の処理負荷を軽減することができる。
【００３４】
異常検出部１８は、ユーザ特定部１７が特定したユーザに関する異常を検出する。異常検出部１８は、（Ａ）ユーザ特定部１７が特定したユーザの行動に関する異常を検出してもよく、（Ｂ）撮影画像に含まれるユーザ特定部１７が特定したユーザ以外の人物の行動が、そのユーザの行動との関係で異常である場合に、そのユーザに関する異常を検出してもよく、あるいは、その他の場合に異常を検出してもよい。異常検出部１８は、ユーザの現在の行動軌跡と、ユーザや他の人物の過去の行動に関する情報とに基づいて異常を検出してもよく、あるいは、ユーザの現在の行動軌跡と、あらかじめ設定されている所定のルールとに基づいて、異常を検出してもよい。ユーザの現在の行動軌跡としては、行動軌跡抽出部１５が抽出した行動軌跡を用いてもよく、行動軌跡抽出部１５が抽出した行動軌跡と、位置情報受付部１３が受け付けた位置情報とから算出した行動軌跡を用いてもよい。後者の場合には、ユーザが撮影画像の範囲外にいる場合にも、異常の検出ができることになる。ここで、図３を用いて、異常検出部１８の構成、及びユーザに関する異常を検出する上記（Ａ）、（Ｂ）の場合の処理について説明する。
【００３５】
図３は、異常検出部１８の構成を示すブロック図である。図３において、異常検出部１８は、ユーザ過去情報記憶手段２１と、通常行動情報記憶手段２２と、行動軌跡比較手段２３と、予測行動軌跡算出手段２４と、検出手段２５とを備える。
【００３６】
（Ａ）ユーザの行動に関する異常の検出
（Ａ−１）ユーザの行動が通常と異なる場合
ここでは、ユーザの現在の行動が、そのユーザの通常の行動と異なる場合に異常が検出される処理について説明する。
【００３７】
ユーザ過去情報記憶手段２１では、ユーザ特定部１７が特定したユーザの過去の行動を示す情報であるユーザ過去情報が記憶される。ユーザ過去情報は、ユーザの過去の行動を示す情報であれば、どのようなものであってもよい。ユーザ過去情報は、例えば、撮影画像から抽出されたユーザの行動軌跡であってもよく、その行動軌跡を用いて作成された情報であってもよく、あるいは、ユーザの過去の行動に関するルールを示す情報であってもかまわない。行動軌跡を用いて作成されたユーザ過去情報とは、例えば、ユーザの行動軌跡の平均をとったものであってもよく、ユーザの行動軌跡と位置情報とを用いて、１の撮影画像と他の撮影画像との間の行動を予測した行動軌跡であってもよく、その他の情報であってもかまわない。ユーザの過去の行動に関するルールとは、例えば、朝にはある地点（例えば、ユーザの家）から、他の地点（例えば、ユーザが通勤で利用する電車の駅）へのルートを移動するというルール、夕方にはそのルートを逆方向に移動するというルール等である。このルールは、ユーザの過去の行動軌跡等から算出されてもよく、あるいは、ユーザ等が手入力によって設定してもよい。また、ユーザ過去情報は、例えば、季節や月、曜日、時間帯ごとに設定されていてもよい。ユーザ過去情報記憶手段２１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。ユーザ過去情報記憶手段２１にユーザ過去情報が記憶される過程は問わない。例えば、記録媒体を介してユーザ過去情報がユーザ過去情報記憶手段２１で記憶されるようになっていてもよく、通信回線等を介して送信されたユーザ過去情報がユーザ過去情報記憶手段２１で記憶されるようになっていてもよく、入力デバイスを介して入力されたユーザ過去情報がユーザ過去情報記憶手段２１で記憶されるようになっていてもよく、あるいは、行動軌跡抽出部１５によって抽出された行動軌跡がユーザ過去情報記憶手段２１で記憶されるようになっていてもかまわない。
【００３８】
検出手段２５は、ユーザ特定部１７が特定したユーザの行動が、ユーザ過去情報が示すそのユーザの過去の行動と異なる場合に、そのユーザの行動に関する異常を検出する。具体的には、検出手段２５は、そのユーザ過去情報と、現在の行動軌跡とを比較して、両者の類似度や両者の一致する確率が所定のしきい値より低い場合に、ユーザの行動に関する異常を検出してもよい。この比較の方法としては、例えば、パターンマッチング等を用いてもよい。また、ユーザ過去情報が季節や曜日ごとに設定されている場合には、時系列分析の手法を用いて比較を行ってもよい。このように、ユーザが普段と異なる行動をとった場合に、異常が検出されることになる。このようにすることで、例えば、ユーザが普段は家から駅に休むことなく歩くにもかかわらず、ある時にユーザが家から駅までの途中で病気や事故等によって倒れた場合には、ユーザが長時間にわたって停止することになり、異常が検出されることになる。また、例えば、通常は通学路を通って通学している児童が、不審な人物に誘われて通学路をはずれた場合には、通常の行動と異なることとなり、異常が検出されることになる。
【００３９】
（Ａ−２）ユーザの行動が通常の人と異なる場合
ここでは、ユーザの現在の行動が、通常の人の行動と異なる場合に異常が検出される処理について説明する。
【００４０】
通常行動情報記憶手段２２では、通常の人の行動に関する情報である通常行動情報が記憶される。通常行動情報は、結果として通常の人の行動を知ることができる情報であれば、どのようなものであってもよい。例えば、通常行動情報は、通常の人が行う行動パターンを示すものであってもよく、あるいは、通常の人が行うことのない行動パターンを示すことにより、結果として、それ以外の行動であれば通常の人の行動であると知ることができる情報であってもよい。通常行動情報は、例えば、過去の不特定多数の人たちの行動軌跡であってもよく、あるいは、通常の人の行動に関するルールを示す情報であってもよい。通常の人の行動に関するルールとは、例えば、通常の人は酒に酔った人のように千鳥足でふらふらと歩かないというルールでもよく、通常の人が長い時間（例えば、１分以上等）止まりうる場所（例えば、信号待ちを行う場所や、バスの停留所等）を示すルールでもよく、１の撮影画像から他の撮影画像までの通常の歩行時間を示すルールでもよい。このルールは、ユーザの過去の行動軌跡等から算出されてもよく、あるいは、ユーザ等が手入力によって設定してもよい。また、ユーザ過去情報は、例えば、季節や月、曜日、時間帯ごとに設定されていてもよい。通常行動情報記憶手段２２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。通常行動情報記憶手段２２に通常行動情報が記憶される過程は問わない。例えば、記録媒体を介して通常行動情報が通常行動情報記憶手段２２で記憶されるようになっていてもよく、通信回線等を介して送信された通常行動情報が通常行動情報記憶手段２２で記憶されるようになっていてもよく、入力デバイスを介して入力された通常行動情報が通常行動情報記憶手段２２で記憶されるようになっていてもよく、あるいは、行動軌跡抽出部１５によって抽出された行動軌跡から抽出された所定のルールを示す通常行動情報が通常行動情報記憶手段２２で記憶されるようになっていてもかまわない。
【００４１】
検出手段２５は、ユーザ特定部１７が特定したユーザの行動が、通常行動情報が示す通常の人の行動と異なる場合に、そのユーザの行動に関する異常を検出する。具体的には、通常行動情報が通常の人の行動を示す情報である場合には、検出手段２５は、その通常行動情報と、ユーザの現在の行動軌跡とを比較して、両者の類似度や両者の一致する確率が所定のしきい値より低い場合に、ユーザの行動に関する異常を検出する。一方、通常行動情報が通常の人が行わない行動を示す情報である場合には、検出手段２５は、その通常行動情報と、ユーザの現在の行動軌跡とを比較して、両者の類似度や両者の一致する確率が所定のしきい値異常である場合に、ユーザの行動に関する異常を検出する。この比較の方法としては、例えば、パターンマッチング等を用いてもよい。また、通常行動情報が季節や曜日ごとに設定されている場合には、時系列分析の手法を用いて比較を行ってもよい。このように、ユーザが通常の人と異なる行動をとった場合に、異常が検出されることになる。このようにすることで、例えば、通常の人が止まらない場所でユーザが病気や事故等によって倒れた場合には、ユーザが通常の人と異なる行動をすることになり、異常が検出されることになる。また、例えば、ユーザがある画像領域から、他の画像領域の方向に向かって移動している場合に、そのユーザがはじめの画像領域に写らなくなってから通常の歩行時間が経過しても次の画像領域に現れない場合には、その途中で病気や事故等が発生した可能性があるとして、異常が検出されることになる。また、例えば、ユーザが千鳥足でふらふらと歩いている場合に、異常が検出されてもよい。
【００４２】
なお、上記（Ａ−１），（Ａ−２）において、検出手段２５は、例えば、ユーザの行動が通常と異なる確率と、ユーザの行動が通常の人と異なる確率とに対して重み付けを行い、その結果としきい値とを比較し、重み付けられた確率がしきい値以上である場合に、異常を検出してもよい。
【００４３】
（Ｂ）ユーザ以外の人物の行動に関する異常の検出
（Ｂ−１）ユーザが尾行されている場合
ここでは、ユーザが他の人物に尾行されている場合に異常が検出される処理について説明する。
【００４４】
行動軌跡比較手段２３は、行動軌跡抽出部１５が抽出した１以上の人物の行動軌跡と、ユーザ特定部１７が特定したユーザの行動軌跡とを比較する。この比較は、例えば、前述の比較部１６における比較と同様にして行われる。ただし、行動軌跡比較手段２３では、ユーザが他の人物に尾行されているかどうかを検出するための比較を行うため、比較部１６における比較のように、厳密に両者が一致するかどうかを比較しなくてもよい。例えば、行動軌跡比較手段２３は、一定の時間間隔（例えば、１０秒程度等）以内で、ユーザの行動軌跡を他の人物の行動軌跡が追いかける場合にも、両者の高い類似度や両者が一致する高い確率を算出してもよい。また、ユーザ以外の人物の行動軌跡が、ユーザの行動軌跡に先行している場合、すなわち、他の人物のほうがユーザよりも前を歩いている場合には、ユーザが尾行されているとは言えないため、たとえ両者の行動軌跡が近似していたとしても、行動軌跡比較手段２３は、両者の類似度等を低く算出してもよい。
【００４５】
検出手段２５は、行動軌跡比較手段２３により、両者が一定以上の類似性を有する場合に、そのユーザに関する異常を検出する。より具体的には、ユーザの行動軌跡と他の人物の行動軌跡とが、行動軌跡比較手段２３による比較の結果、一定以上の類似度や一定以上の一致する確率を有する場合に、検出手段２５は、両者が一定以上の類似性を有すると判断し、そのユーザに関する異常を検出する。このようにすることで、例えば、ユーザが他の人物によって尾行されている場合に、そのユーザに関する異常を検出することができる。
【００４６】
なお、行動軌跡比較手段２３は、２以上の撮影画像を用いてユーザの行動軌跡と、他の人物の行動軌跡との比較を行ってもよい。この場合には、検出手段２５は、２以上の撮影画像における、ユーザの行動軌跡と他の人物の行動軌跡との類似度を掛け合わせることによって、ユーザの行動軌跡と他の人物の行動軌跡との最終的な類似度を算出してもよい。また、行動軌跡比較手段２３は、２以上の撮影画像に写っている他の人物が同一であるかどうかを、その人物の顔の特徴点等を用いて判断してもよく、その判断を行わなくてもよい。
【００４７】
（Ｂ−２）ユーザが待ち伏せされている場合
ここでは、ユーザが他の人物に待ち伏せされている場合に異常が検出される処理について説明する。
【００４８】
予測行動軌跡算出手段２４は、ユーザ特定部１７が特定したユーザの予測される行動軌跡である予測行動軌跡を算出する。予測行動軌跡算出手段２４は、例えば、ユーザや他人の過去の行動軌跡を用いて予測行動軌跡を算出してもよく、ユーザが通る経路を示す地図情報と、ユーザが移動している速度と向きとを用いて予測行動軌跡を算出してもよく、ユーザの過去の行動軌跡等からユーザの目的地を推定し、その推定された目的地と、ユーザが通る経路を示す地図情報とを用いて予測行動軌跡を算出してもよく、その他の方法によりユーザの予測行動軌跡を算出してもよい。このように、ユーザの予測行動軌跡を算出する方法は従来から公知であり、その詳細な説明は省略する。
【００４９】
検出手段２５は、予測行動軌跡算出手段２４が算出した予測行動軌跡から一定範囲内の位置であって、通常の人が止まらない位置に撮影画像に含まれるそのユーザ以外の人物が止まっている場合に、そのユーザに関する異常を検出する。より具体的には、検出手段２５は、予測行動軌跡算出手段２４が算出した予測行動軌跡から一定範囲内の領域であって、通常の人が止まらない領域を特定する。そして、検出手段２５は、その特定した領域に、ユーザ以外の人物が止まっているかどうか判断する。そして、止まっている場合には、検出手段２５は異常を検出し、止まっていない場合には、検出手段２５は異常を検出しない。なお、領域の特定は、例えば、領域の周囲の画素を特定することによって行ってもよく、あるいは、領域に含まれる画素を特定することによって行ってもよい。通常の人が止まらない位置であるかどうかについては、例えば、前述のように、過去の不特定多数の人たちの行動軌跡から判断してもよく、あるいは、通常の人が止まる位置あるいは止まらない位置を示すルールを用いて判断してもよい。このようにすることで、例えば、ユーザが通るであろうと予測される位置であって、通常の人が止まらない位置に止まっている人がいる場合に、ユーザに関する異常、すなわち、待ち伏せを検出することができる。
【００５０】
なお、異常検出部１８が上述の（Ａ−１），（Ａ−２），（Ｂ−１），（Ｂ−２）に関する各異常を検出する場合について説明したが、異常検出部１８は、そのいずれか１以上の異常を検出するものであってもよく、あるいは、他の異常を検出するものであってもよい。（Ａ−１），（Ａ−２），（Ｂ−１），（Ｂ−２）のいずれかの異常を検出しない場合には、対応する構成要素を異常検出部１８が備えていなくてもよい。また、上記説明では、１個の検出手段２５を備える場合について説明したが、（Ａ−１），（Ａ−２），（Ｂ−１），（Ｂ−２）に関する各異常の検出ごとに別々の検出手段を備えるようにしてもよい。
【００５１】
異常出力部１９は、異常検出部１８がユーザに関する異常を検出した場合に、異常検出情報を出力する。ここで、異常検出情報とは、異常が検出されたことに関する情報である。異常検出情報は、その異常検出情報が出力されることによって、異常の発生したことがユーザやその他の人たちに知らされる情報であれば、その内容を問わない。異常検出情報は、例えば、異常の発生を示す情報でもよく、あるいは、異常の発生した位置等を示す情報であってもかまわない。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイ等）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよく、異常の発生を示すランプ等の点灯、点滅等を制御する出力でもよい。本実施の形態では、異常出力部１９は、異常検出情報を送信するものとする。異常検出情報の送信先は、警察や警備会社等のサーバであってもよく、ユーザの情報端末（例えば、携帯電話やＰＤＡ等）であってもよく、ユーザの家族や友人等の情報端末等であってもよい。なお、異常出力部１９は、異常検出情報の出力先を示すアドレス等が必要な場合には、異常検出情報の出力先を示すアドレス等をあらかじめ保持しておくか、あるいは、異常検出情報の出力時に、そのアドレス等を所定のサーバ等から取得してもよい。また、異常出力部１９は、出力を行うデバイス（例えば、表示デバイスやプリンタ等）を含んでいてもよく、あるいは含んでいなくてもよい。また、異常出力部１９は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００５２】
次に、本実施の形態によるユーザ異常検出装置１の動作について、図４〜図７のフローチャートを用いて説明する。図４のフローチャートは、ユーザ異常検出装置１の全体動作を示すフローチャートである。
【００５３】
（ステップＳ１０１）撮影画像受付部１１は、撮影画像を受け付けたかどうか判断する。そして、撮影画像を受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０３に進む。
（ステップＳ１０２）撮影画像蓄積部１２は、撮影画像受付部１１が受け付けた撮影画像を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。
【００５４】
（ステップＳ１０３）位置情報受付部１３は、位置情報を受け付けたかどうか判断する。そして、位置情報を受け付けた場合には、ステップＳ１０４に進み、そうでない場合には、ステップＳ１０５に進む。
【００５５】
（ステップＳ１０４）位置情報蓄積部１４は、位置情報受付部１３が受け付けた位置情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。なお、位置情報受付部１３が受け付けた位置情報に日時の情報が含まれていない場合には、位置情報蓄積部１４は、位置情報が受け付けられた日時等を含む位置情報を蓄積してもよい。また、ユーザＩＤに対応付けられた位置情報が受け付けられた場合には、そのユーザＩＤに対応付けて位置情報を蓄積してもよい。
【００５６】
（ステップＳ１０５）ユーザ特定部１７は、撮影画像に含まれる人物からユーザを特定するタイミングであるかどうか判断する。そして、そのタイミングである場合には、ステップＳ１０６に進み、そうでない場合には、ステップＳ１０７に進む。ここで、このタイミングは、所定の期間ごと（例えば、１秒ごとや５秒ごと等）であってもよく、所定のイベント（例えば、新たな撮影画像が受け付けられたこと等）をトリガーとするものであってもよく、その他のタイミングであってもよい。
【００５７】
（ステップＳ１０６）行動軌跡抽出部１５、比較部１６、ユーザ特定部１７は、ユーザを特定する処理を行う。そして、ステップＳ１０１に戻る。このステップＳ１０６の処理の詳細については、図５のフローチャートを用いて後述する。
【００５８】
（ステップＳ１０７）異常検出部１８は、異常を検出するタイミングであるかどうか判断する。そして、そのタイミングである場合には、ステップＳ１０８に進み、そうでない場合には、ステップＳ１０１に戻る。ここで、このタイミングは、所定の期間ごと（例えば、５秒ごと等）であってもよく、所定のイベント（例えば、新たな撮影画像が受け付けられたこと等）をトリガーとするものであってもよく、その他のタイミングであってもよい。
【００５９】
（ステップＳ１０８）異常検出部１８は、ユーザに関する異常を検出する。このステップＳ１０８の処理の詳細については、図６のフローチャートを用いて後述する。
【００６０】
（ステップＳ１０９）異常出力部１９は、異常が検出されたかどうか判断する。そして、異常が検出された場合には、ステップＳ１１０に進み、そうでない場合には、ステップＳ１０１に戻る。
【００６１】
（ステップＳ１１０）異常出力部１９は、異常検出情報を出力する。そして、ステップＳ１０１に戻る。このステップＳ１１０の処理の詳細については、図７のフローチャートを用いて後述する。
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００６２】
図５は、図４のフローチャートのステップＳ１０６のユーザ特定処理の詳細を示すフローチャートである。なお、この図５のフローチャートでは、ステップＳ１０５において、撮影画像が受け付けられるごとにユーザを特定するタイミングであると判断される場合について説明する。また、ステップＳ１０３において、ユーザＩＤに対応付けられた位置情報が受け付けられているものとする。
【００６３】
（ステップＳ２０１）行動軌跡抽出部１５は、撮影画像受付部１１で最後に受け付けられた撮影画像を撮影画像蓄積部１２から読み出し、その撮影画像における人物の画像領域を特定する。この画像領域の特定は、前述のように、例えば、肌色検出を用いる方法、背景画像との差分を抽出する方法、パターンマッチングを用いる方法等がある。ここで、行動軌跡抽出部１５は、特定した人物の画像領域に対して、人物ＩＤを付与するものとする。以前に人物ＩＤを付与している場合には、同一の人物の画像領域には同一の人物ＩＤを付与するものとする。２以上の撮影画像における人物の画像領域が同一の人物の画像領域であるかどうかは、例えば、人物の特徴点に関する情報や、撮影画像の差分を用いることによって判断してもよい。人物の画像領域に人物ＩＤを付与するとは、例えば、人物の画像領域を示す情報と、人物ＩＤとを対応付けて所定の記録媒体に蓄積すること等である。
（ステップＳ２０２）行動軌跡抽出部１５は、カウンタＩを「１」に設定する。
【００６４】
（ステップＳ２０３）行動軌跡抽出部１５は、ステップＳ２０１で特定したＩ番目の人物の行動軌跡を抽出する。行動軌跡抽出部１５は、例えば、人物の画像領域の位置を抽出し、その人物の画像領域の位置をステップＳ２０１で付与された人物ＩＤと、ステップＳ２０１で処理された撮影画像に対応する日時を示す日時情報とに対応付けて所定の記録媒体に蓄積する。
【００６５】
（ステップＳ２０４）行動軌跡抽出部１５は、カウンタＩを１だけインクリメントする。
（ステップＳ２０５）行動軌跡抽出部１５は、Ｉ番目の人物が撮影画像に存在するかどうか判断する。そして、存在する場合には、ステップＳ２０３に戻り、存在しない場合には、すでに撮影画像における全ての人物について行動軌跡の抽出を行っているため、ステップＳ２０６に進む。
【００６６】
（ステップＳ２０６）ユーザ特定部１７は、カウンタＪを「１」に設定する。
（ステップＳ２０７）比較部１６は、位置情報受付部１３が受け付けた位置情報のうち、Ｊ番目のユーザの位置情報によって示される行動軌跡と、ステップＳ２０３で抽出された行動軌跡とを比較する。
【００６７】
（ステップＳ２０８）ユーザ特定部１７は、Ｊ番目のユーザの位置情報によって示される行動軌跡と、ステップＳ２０３で抽出されたいずれかの行動軌跡とが一致するかどうか判断する。そして、一致する場合には、ステップＳ２０９に進み、一致しない場合には、ステップＳ２１０に進む。
【００６８】
（ステップＳ２０９）ユーザ特定部１７は、Ｊ番目のユーザの位置情報によって示される行動軌跡と一致する行動軌跡を有する撮影画像における人物が、Ｊ番目のユーザであると特定する。ユーザ特定部１７は、例えば、その人物の画像領域を識別する人物ＩＤと、Ｊ番目のユーザを識別するユーザＩＤとを対応付けて所定の記録媒体に蓄積してもよい。
（ステップＳ２１０）ユーザ特定部１７は、カウンタＪを１だけインクリメントする。
【００６９】
（ステップＳ２１１）ユーザ特定部１７は、Ｊ番目のユーザが存在するかどうか判断する。そして、Ｊ番目のユーザが存在する場合には、ステップＳ２０７に戻り、存在しない場合には、すでに全てのユーザについてユーザの特定に関する処理を行っているため、ユーザを特定する一連の処理は終了となる。
【００７０】
なお、図５のフローチャートでは、ステップＳ２０１において、人物の画像領域の特定を行う場合について説明したが、前述のように、オプティカル・フロー等の技術を用いる場合には、人物の画像領域の特定を行わなくてもよい。ただし、オプティカル・フローの技術を用いる場合に、オプティカル・フローの処理を実行する領域を限定することは有効である。処理負荷を軽減するためである。例えば、オプティカル・フローの処理を行う領域を、新たな人物が出現する領域（例えば、撮影画像の端、人物が出入りする領域など）に限定してもよく、以前のフレームで動きを検出した領域に限定してもよい。そして、それ以外の領域では、オプティカル・フローの処理を行う領域で検出された動きを追跡するようにしてもよい。この追跡の方法は従来から公知であり、その詳細な説明は省略する。また、図５のフローチャートでは、複数のユーザが存在する場合の処理を示しているが、ユーザが１名である場合には、カウンタＪを用いなくてもよい。
【００７１】
図６は、図４のフローチャートのステップＳ１０８の異常検出処理の詳細を示すフローチャートである。
（ステップＳ３０１）検出手段２５は、カウンタＫを「１」に設定する。
【００７２】
（ステップＳ３０２）検出手段２５は、ユーザ過去情報記憶手段２１が記憶しているユーザ過去情報を用いて、Ｋ番目のユーザの行動が、過去の行動と異なる確率を算出する。
【００７３】
（ステップＳ３０３）検出手段２５は、通常行動情報記憶手段２２が記憶している通常行動情報を用いて、Ｋ番目のユーザの行動が、通常の人の行動と異なる確率を算出する。
【００７４】
なお、ステップＳ３０２，Ｓ３０３の処理において、検出手段２５は、前述のように、Ｋ番目のユーザの行動を示す情報として、行動軌跡抽出部１５が抽出したＫ番目のユーザの行動軌跡を用いてもよく、その行動軌跡抽出部１５が抽出したＫ番目のユーザの行動軌跡と、位置情報の示すＫ番目のユーザの行動軌跡とを用いてもよい。
【００７５】
（ステップＳ３０４）検出手段２５は、ステップＳ３０２，Ｓ３０３で算出した各確率に重み付けを行った確率を算出する。すなわち、検出手段２５は、各確率に対してそれぞれ所定の係数を掛け合わせて加算することによって、確率を算出する。
【００７６】
（ステップＳ３０５）検出手段２５は、その確率があらかじめ定められている所定のしきい値以上であるかどうか判断する。そして、しきい値以上である場合には、ステップＳ３０６に進み、そうでない場合には、ステップＳ３０７に進む。
【００７７】
（ステップＳ３０６）検出手段２５は、Ｋ番目のユーザの行動に関する異常を検出する。なお、検出手段２５は、Ｋ番目のユーザの行動に関する異常を検出した旨を所定の記録媒体等に蓄積してもよい。
【００７８】
（ステップＳ３０７）行動軌跡比較手段２３は、Ｋ番目のユーザの行動軌跡と、他の人物の行動軌跡とを比較する。行動軌跡比較手段２３は、Ｋ番目のユーザの行動を示す情報として、行動軌跡抽出部１５が抽出したＫ番目のユーザの行動軌跡を用いてもよく、その行動軌跡抽出部１５が抽出したＫ番目のユーザの行動軌跡と、位置情報の示すＫ番目のユーザの行動軌跡とを用いてもよい。また、行動軌跡比較手段２３は、他の人物の行動軌跡として、行動軌跡抽出部１５が抽出した、他の人物の行動軌跡を用いてもよい。
【００７９】
（ステップＳ３０８）検出手段２５は、Ｋ番目のユーザの行動軌跡と一定以上の類似性を有する他の人物の行動軌跡があるかどうか判断する。この判断は、上記（Ｂ−１）で説明したように行われる。そして、Ｋ番目のユーザの行動軌跡と一定以上の類似性を有する他の人物の行動軌跡がある場合には、ステップＳ３０９に進み、そうでない場合には、ステップＳ３１０に進む。
【００８０】
（ステップＳ３０９）検出手段２５は、Ｋ番目のユーザが尾行されているという異常を検出する。なお、検出手段２５は、Ｋ番目のユーザが尾行されているという異常を検出した旨を所定の記録媒体等に蓄積してもよい。
（ステップＳ３１０）予測行動軌跡算出手段２４は、Ｋ番目のユーザの予測行動軌跡を算出する。
【００８１】
（ステップＳ３１１）検出手段２５は、予測行動軌跡算出手段２４が算出したＫ番目のユーザの予測行動軌跡上において待ち伏せがあるかどうか判断する。この判断は、上記（Ｂ−２）で説明したように行われる。そして、Ｋ番目のユーザの予測行動軌跡上において待ち伏せがある場合には、ステップＳ３１２に進み、そうでない場合には、ステップＳ３１３に進む。
【００８２】
（ステップＳ３１２）検出手段２５は、Ｋ番目のユーザが待ち伏せされているという異常を検出する。なお、検出手段２５は、Ｋ番目のユーザが待ち伏せされているという異常を検出した旨を所定の記録媒体等に蓄積してもよい。
（ステップＳ３１３）検出手段２５は、カウンタＫを１だけインクリメントする。
【００８３】
（ステップＳ３１４）検出手段２５は、Ｋ番目のユーザが存在するかどうか判断する。そして、存在する場合にはステップＳ３０２に戻り、そうでない場合には、一連の処理は終了となる。
【００８４】
なお、図６のフローチャートでは、異常検出部１８がユーザの行動に関する異常、ユーザが尾行されているという異常、ユーザが待ち伏せされているという異常のそれぞれを検出する場合について説明したが、異常検出部１８は、少なくとも、そのいずれか１以上の異常を検出するものであればよい。また、異常検出部１８は、ユーザの行動に関する異常として、ユーザの行動がユーザの通常の行動と異なる場合の異常と、ユーザの行動が通常の人と異なる場合の異常とのいずれかのみを検出してもよい。
【００８５】
また、検出手段２５は、全ての異常の検出が終了した後に、どのユーザについて、どのような異常が検出されたのかを示す情報を例えば所定の記録媒体等から読み出して、異常出力部１９に渡してもよい。
【００８６】
図７は、図４のフローチャートのステップＳ１１０の異常情報出力処理の詳細を示すフローチャートである。なお、異常出力部１９は、異常検出情報をユーザの有する情報端末や、サーバに送信するものとする。
（ステップＳ４０１）異常出力部１９は、カウンタＬを「１」に設定する。
【００８７】
（ステップＳ４０２）異常出力部１９は、異常が検出されたＬ番目のユーザについて、行動に関する異常が検出されたかどうか判断する。異常出力部１９は、例えば、検出手段２５から受け取った、どのユーザについて、どのような異常が検出されたのかを示す情報に基づいて、この判断を行ってもよい。そして、検出された場合には、ステップＳ４０３に進み、そうでない場合には、ステップＳ４０６に進む。
（ステップＳ４０３）異常出力部１９は、Ｌ番目のユーザの情報端末に対して、ユーザの安否を確認する情報を送信する。
【００８８】
（ステップＳ４０４）異常出力部１９は、ステップＳ４０３における情報の送信に対して、Ｌ番目のユーザの情報端末等から、ユーザに異常がない旨の情報を図示しない受信部が受信したかどうか判断する。そして、受信した場合には、ステップＳ４０６に進み、ステップＳ４０３の送信から一定時間以上経過してもユーザに異常がない旨の情報を受信しない場合や、ユーザの情報端末等から、異常が発生している旨の情報を図示しない受信部が受信した場合には、ステップＳ４０５に進む。
（ステップＳ４０５）異常出力部１９は、サーバにＬ番目のユーザに異常が発生した旨の異常検出情報を送信する。
【００８９】
（ステップＳ４０６）異常出力部１９は、Ｌ番目のユーザが尾行されている異常、及び／または、待ち伏せされている異常が検出されたかどうか判断する。そして、少なくともいずれかが検出された場合には、ステップＳ４０７に進み、そうでない場合には、ステップＳ４０８に進む。
【００９０】
（ステップＳ４０７）異常出力部１９は、Ｌ番目のユーザの情報端末に、ユーザが尾行、及び／または、待ち伏せされている旨の異常情報を送信する。
（ステップＳ４０８）異常出力部１９は、カウンタＬを１だけインクリメントする。
【００９１】
（ステップＳ４０９）異常出力部１９は、異常が検出されたＬ番目のユーザが存在するかどうか判断する。そして、存在する場合には、ステップＳ４０２に戻り、存在しない場合には、一連の処理は終了となる。
【００９２】
なお、図７のフローチャートでは、ユーザの行動に関する異常が検出された場合には、ユーザへの安否確認を行ってからサーバに異常検出情報を送信する場合について説明したが、ユーザへの安否確認を行わないで直接、サーバに異常検出情報を送信してもよい。また、異常検出情報の出力先は、図７のフローチャートに限定されないことは言うまでもない。
次に、本実施の形態によるユーザ異常検出装置１の動作について、具体例を用いて説明する。
【００９３】
まず、カメラから出力された撮影画像を受け付ける処理について説明する。この具体例では、複数のカメラからの撮影画像が受け付けられるものとする。各カメラは、カメラを識別するカメラＩＤと、撮影画像の各フレームの撮影された日時を示す日時情報と、撮影画像を構成するフレームとを対応付けて順次、出力するものとする。この具体例では、説明の便宜上、撮影画像のフレームレートが１ｆｐｓであるとする。
【００９４】
撮影画像受付部１１は、各カメラから送信された撮影画像を受け付けると、その撮影画像を撮影画像蓄積部１２に渡す（ステップＳ１０１）。撮影画像蓄積部１２は、図８で示されるように、カメラＩＤと、日時情報と、撮影画像を構成するフレームとを対応付けて所定の記録媒体に蓄積する（ステップＳ１０２）。図８において、Ｐ００１等は、撮影画像を構成するフレームを識別する情報である。
【００９５】
次に、位置情報を受け付ける処理について説明する。この具体例では、ユーザの有する情報端末としての携帯電話がＧＰＳ機能を有しており、そのＧＰＳ機能を用いて取得された位置情報が順次、ユーザを識別するユーザＩＤと共にユーザ異常検出装置１にネットワークを介して送信されるものとする。このネットワークは、例えば、インターネット、公衆電話回線、イントラネット等である。図９は、ユーザの情報端末から送信される位置情報のパケットの一例を示す図である。そのパケットのペイロードには、ユーザＩＤと位置情報とが含まれる。このペイロードは、暗号化されていてもよく、あるいは暗号化されていなくてもよい。位置情報では、ユーザの位置を示す情報と、その位置が取得された日時を示す日時情報とが対応付けられているものとする。
【００９６】
位置情報受付部１３は、ユーザの情報端末から送信された位置情報を受け付けると、その位置情報を位置情報蓄積部１４に渡す（ステップＳ１０３）。位置情報蓄積部１４は、図１０で示されるように、ユーザＩＤと、位置情報とを対応付けて所定の記録媒体に蓄積する（ステップＳ１０４）。そして、この位置情報は、図１０で示されるように、日時情報と、ユーザの位置を示す経度・緯度とが対応付けられている。
【００９７】
次に、撮影画像における人物からユーザを特定する処理について説明する。前述のように、ユーザを特定する処理は、新たな撮影画像が受け付けられたタイミングで実行されるものとする。新たな撮影画像のフレームが撮影画像受付部１１で受け付けられると（ステップＳ１０５）、行動軌跡抽出部１５はそのことを検知し、その新たに受け付けられた撮影画像のフレームにおける人物の画像領域を特定し、その特定した各人物の画像領域に対して人物を特定する人物ＩＤを付与する（ステップＳ２０１）。その人物ＩＤの付与時には、前述のように、過去の撮影画像のフレームに含まれる人物の画像領域については、その過去の撮影画像のフレームにおいて付与した人物ＩＤと同一の人物ＩＤを付与する。その後、行動軌跡抽出部１５は、新たに受け付けられた撮影画像のフレームにおける各人物の画像領域について、行動軌跡の抽出を行う（ステップＳ２０２〜Ｓ２０５）。すなわち、行動軌跡抽出部１５は、新たに受け付けられた撮影画像のフレームの日時情報と、人物の画像領域に付与した人物ＩＤと、その人物ＩＤで識別される人物の画像領域の位置を示す情報とを対応付けて所定の記録媒体に蓄積する。なお、その蓄積時に、人物の画像領域の位置を示す情報は、平面射影変換等によって上から見た位置に変換されるものとする。図１１は、そのようにして蓄積された人物ＩＤと、行動軌跡を示す情報とを示す図である。行動軌跡において、人物の画像領域の位置を示す情報は、２次元平面直交座標系における所定の基準点からの座標（ｘ、ｙ）として示されている。
【００９８】
その後、比較部１６は、位置情報蓄積部１４が蓄積した位置情報について、例えば、ＧＲＳ８０楕円体モデルを用いたガウスクリューゲル変換を行うことによって、位置情報の示す行動軌跡と、撮影画像から抽出された行動軌跡とを比較することができるようにする。このガウスクリューゲル変換によって、ＷＧＳ−８４座標系（ＧＰＳデータの座標系）から平面直交座標系（公共測量座標系）に変換されることになる。ガウスクリューゲル変換後の平面直交座標系と、撮影画像から抽出された行動軌跡の平面直交座標系とは、同一の基準点、及び同一の座標軸であるとする。なお、ガウスクリューゲル変換のパラメータについては、例えば、日本の国土交通省が公表している「平成１４年国土交通省告示第９号」で示されている値を用いてもよい。図１２は、図１０で示される位置情報の示す経度・緯度の情報を、平面直交座標系の座標（ｘ、ｙ）に変換した位置情報を示す図である。
【００９９】
比較部１６は、変換後の位置情報の示す行動軌跡と、行動軌跡抽出部１５が抽出した行動軌跡とを、ユーザごとに比較する（ステップＳ２０６，Ｓ２０７）。その比較の結果を用いて、ユーザ特定部１７は、ユーザの位置情報の示す行動軌跡と、抽出されたいずれかの行動軌跡とが一致するかどうか判断する（ステップＳ２０８）。ここでは、人物ＩＤ「Ｆ００２」で識別される人物の行動軌跡（図１３（ａ））と、ユーザＩＤ「Ｕ００１」で識別されるユーザの位置情報によって示される行動軌跡（図１３（ｂ））との類似度が「０．９５」であったとする。また、ユーザＩＤ「Ｕ００１」のユーザの行動軌跡については、人物ＩＤ「Ｆ００２」の行動軌跡との類似度が最も高かったとする。行動軌跡の類似度がしきい値「０．９」以上である場合に、両者が一致すると判断するように設定されていたとすると、ユーザ特定部１７は、人物ＩＤ「Ｆ００２」で識別される人物として、ユーザＩＤ「Ｕ００１」で識別されるユーザを特定する（ステップＳ２０９）。そして、ユーザ特定部１７は、図１４で示されるように、人物ＩＤ「Ｆ００２」と、ユーザＩＤ「Ｕ００１」とを対応付ける情報を所定の記録媒体に蓄積する。なお、比較部１６による比較の処理と、ユーザ特定部１７によるユーザの特定の処理とは、位置情報が受信されている全てのユーザに対して実行される（ステップＳ２０７〜Ｓ２１１）。
【０１００】
次に、ユーザの異常を検出する処理のうち、ユーザの行動に関する異常を検出する処理について説明する。この具体例では、ユーザＩＤ「Ｕ００１」で識別されるユーザ（以下、「ユーザＵ００１」とすることがある）について説明する。他のユーザについても、同様にして異常を検出する処理を実行することができる。
【０１０１】
この具体例では、ユーザ過去情報記憶手段２１において、撮影画像から抽出された行動軌跡を示すユーザ過去情報がユーザごとに記憶されているものとする。このユーザ過去情報は、ユーザＩＤに対応付けられて行動軌跡を有する以外、図１１で示される情報と同様のものである。また、通常行動情報記憶手段２２において、通常の人が歩く場合に通る領域を示す情報が記憶されているものとする。
【０１０２】
まず、検出手段２５は、ユーザＵ００１の現在の行動が、ユーザ過去情報で示されるユーザＵ００１の過去の行動軌跡と異なる確率を算出する（ステップＳ３０２）。この具体例では、ユーザ過去情報で示されるユーザＵ００１の過去の行動軌跡と、行動軌跡抽出部１５が順次抽出するユーザＵ００１の現在の行動軌跡とについてパターンマッチングを行い、両者がマッチングしない確率を算出することによって、ユーザＵ００１の現在の行動が、過去の行動軌跡と異なる確率を算出するものとする。図１５で示されるように、ユーザＵ００１に対応する人物ＩＤ「Ｆ００２」の人物が過去の行動軌跡とは異なる行動をした場合には、ユーザＵ００１の現在の行動が、ユーザ過去情報で示されるユーザＵ００１の過去の行動軌跡と異なる確率は高くなり、例えば、「０．８０」と算出される。
【０１０３】
また、検出手段２５は、ユーザＵ００１の現在の行動が、通常行動情報で示される通常の人の行動と異なる確率を算出する（ステップＳ３０３）。この具体例では、図１６の斜線の領域で示されるように、通常行動情報によって通常の人の通る範囲が示されており、その範囲内をユーザが通る場合には、ユーザの行動が通常の人の行動と異なる確率「０」が算出され、そうでない場合、すなわち、その範囲外をユーザが通る場合には、ユーザの行動が通常の人と異なる確率「１」が算出されるものとする。ここで、図１６の斜線の領域を示す情報は、例えば、その斜線の領域の周囲の画素を特定する情報であってもよく、あるいは、その斜線の領域に含まれる画素を特定する情報であってもよい。図１６で示されるように、ユーザＵ００１に対応する人物ＩＤ「Ｆ００２」の人物が、通常の人が通る範囲を超えて移動した場合には、ユーザの行動が通常の人の行動と異なる確率「１」が算出される。
【０１０４】
ここで、この具体例では、ユーザの過去の行動と異なる確率と、通常の人の行動と異なる確率とのそれぞれに「０．５」を掛けて加算することによって、重み付けを行うものとする。すなわち、両者の平均が算出されることになる。また、その確率の重み付けの結果と比較するしきい値は「０．８」に設定されているものとする。
【０１０５】
すると、上記の場合には、各確率の重み付けの結果は「０．９」となり（ステップＳ３０４）、しきい値「０．８」以上であると判断され（ステップＳ３０５）、検出手段２５は、ユーザＵ００１の行動に関する異常を検出する（ステップＳ３０６）。検出手段２５は、ユーザＵ００１の行動に関する異常が検出された旨を所定の記録媒体において保持しておくものとする。
【０１０６】
次に、ユーザの異常を検出する処理のうち、ユーザに対する尾行の異常を検出する処理について説明する。まず、行動軌跡比較手段２３は、行動軌跡抽出部１５が抽出したユーザＵ００１の現在の行動軌跡と、行動軌跡抽出部１５が抽出したユーザＵ００１以外の各人物の現在の行動軌跡とを比較する（ステップＳ３０７）。例えば、図１７で示されるように、ユーザＵ００１に対応する人物ＩＤ「Ｆ００２」の人物の後から、同様の行動軌跡によって人物ＩＤ「Ｆ０１０」の人物が移動している場合に、行動軌跡比較手段２３は、両者の類似度が「０．９０」であると判断したとする。
【０１０７】
この具体例では、類似度が「０．８０」以上であれば、一定以上の類似性があると判断するものとする。すると、検出手段２５は、人物ＩＤ「Ｆ０１０」の人物の行動軌跡が、ユーザＵ００１の行動軌跡と一定以上の類似性があると判断し（ステップＳ３０８）、ユーザＵ００１が尾行されているという異常を検出する（ステップＳ３０９）。検出手段２５は、ユーザＵ００１の尾行についての異常が検出された旨を所定の記録媒体において保持しておくものとする。
【０１０８】
次に、ユーザの異常を検出する処理について、特にユーザに対する待ち伏せの異常を検出する処理について説明する。まず、予測行動軌跡算出手段２４は、ユーザＵ００１の予測行動軌跡を算出する（ステップＳ３１０）。この具体例では、予測行動軌跡算出手段２４は、ユーザＵ００１の過去の行動軌跡を用いてその予測行動軌跡の算出を行うものとする。すなわち、予測行動軌跡算出手段２４は、図示しない経路によってユーザ過去情報記憶手段２１から、ユーザＵ００１の過去の行動軌跡（この具体例では、図１５で示されるものであるとする）を示す情報を読み出す。そして、図１８の破線の矢印で示されるように、ユーザＵ００１に対応する人物ＩＤ「Ｆ００２」の人物の予測行動軌跡を算出する。その後、検出手段２５は、その予測行動軌跡から一定の範囲内、例えば、予測行動軌跡から２メートル以内に止まっている人物がいるかどうか判断し、その人物が通常の人が止まらない場所に止まっている場合に、待ち伏せの異常を検出するものとする（ステップＳ３１１）。ここで、通常の人が止まらない場所かどうかは、検出手段２５は、図１９で示されるように、信号待ち等のために通常の人が止まる場所を示す情報を用いて判断するものとする。この具体例では、図１８で示されるように、人物ＩＤ「Ｆ０１１」の人物がユーザＵ００１の予測行動軌跡から２メートル以内に止まっており、その位置が図１９で示される通常の人が止まる場所でないとすると、検出手段２５は、ユーザＵ００１が待ち伏せされているという異常を検出する（ステップＳ３１２）。検出手段２５は、ユーザＵ００１の待ち伏せについての異常が検出された旨を所定の記録媒体において保持しておくものとする。
次に、異常出力部１９が異常検出情報を出力する処理について説明する。
【０１０９】
まず、ユーザＵ００１について、ユーザの行動に関する異常が検出された場合について説明する。異常検出部１８の検出手段２５が、ユーザＵ００１の行動に関する異常、尾行、待ち伏せの異常のそれぞれが検出された旨を示す情報を所定の記録媒体から読み出して、異常出力部１９に渡すと、異常出力部１９は、異常が検出されたと判断し（ステップＳ１０９）、異常検出情報を出力する処理を開始する（ステップＳ１１０）。
【０１１０】
まず、異常出力部１９は、ユーザＵ００１の行動に関する異常が検出されたと判断し（ステップＳ４０２）、あらかじめ登録されているユーザＵ００１の情報端末としての携帯電話のアドレスにユーザＵ００１の安否を確認する情報を送信する（ステップＳ４０３）。その情報に対して、ユーザＵ００１が問題ない旨の情報を返信した場合には、異常検出部１８によってユーザの行動に関する異常が検出されたが、実際には問題がなかったこととなる。一方、ユーザＵ００１からの返答が一定時間以上ない場合や、ユーザＵ００１から問題が発生した旨の情報をユーザ異常検出装置１が受信した場合には、異常出力部１９は、ユーザＵ００１に異常が発生した旨を含む異常検出情報を警備会社や警察等のサーバに送信する（ステップＳ４０５）。なお、警備会社等に送信される異常検出情報には、ユーザＵ００１の現在位置を示す情報を含めて送信してもよい。その結果、警備会社等から、ユーザＵ００１を救助するための人を出動させることができる。
【０１１１】
次に、ユーザＵ００１について、ユーザの尾行、待ち伏せの異常が検出された場合について説明する。異常出力部１９は、ユーザＵ００１の尾行、待ち伏せの異常が検出されたと判断し（ステップＳ４０６）、ユーザＵ００１の情報端末としての携帯電話のアドレスに、尾行及び待ち伏せの異常が検出された旨を示す異常検出情報を送信する（ステップＳ４０７）。この異常検出情報は、尾行している人物や、待ち伏せを行っている人物に異常検出情報をユーザＵ００１の携帯電話で受信したことが気づかれないように、例えば、尾行や待ち伏せが行われている場合に鳴らすことがあらかじめ設定されている着信メロディーがユーザＵ００１の携帯電話で鳴るように制御する情報であってもよい。
【０１１２】
なお、この具体例では、位置情報を２次元平面直交座標系に変換してから比較等の処理を行う場合について説明したが、撮影画像から抽出された行動軌跡を位置情報で用いられている座標系に変換してから比較等の処理を行ってもよい。
【０１１３】
以上のように、本実施の形態によるユーザ異常検出装置１では、ユーザの位置情報と、カメラで撮影された撮影画像とを用いることにより、撮影画像に写っているユーザを特定することができる。したがって、あらかじめユーザの顔の特徴等を登録していなくても、撮影画像に写っているユーザを特定することができる。また、本実施の形態によるユーザ異常検出装置１では、撮影画像によってユーザの位置をＧＰＳ等よりもより厳密に知ることができるため、ユーザ特定部１７によって特定されたユーザに関する異常をより適切に検出して、異常検出情報を出力することができる。その結果、例えば、ユーザが事故や事件に巻き込まれたといった異常や、病気で倒れたといった異常を検出することができる。また、本実施の形態によるユーザ異常検出装置１では、撮影画像を用いることによって、ユーザ特定部１７で特定された以外の人物の行動を追跡することもでき、ユーザが尾行や待ち伏せされているという異常を検出することができる。また、２以上のカメラによって撮影された、重複しない２以上の領域の撮影画像を用いることにより、ユーザが撮影画像の領域内に存在しない場合であっても、ユーザの異常を検出することになる。例えば、１の撮影画像の領域から、他の撮影画像の領域まで、ユーザの過去の行動パターンからすると２分で移動しているにもかかわらず、１の撮影画像の領域から他の撮影画像の領域にユーザが向かってから５分経過しても、他の撮影画像の領域にユーザが現れない場合には、そのユーザに関する異常を検出することもできる。このように、本実施の形態によるユーザ異常検出装置１では、より広範囲な異常の検出を行うこともできる。また、本実施の形態によるユーザ異常検出装置１では、そのような異常が発生したことをユーザ本人やユーザの家族、警備会社等に通知することができる。したがって、ユーザに発生した異常に対して適切に対応することができることとなる。
【０１１４】
なお、本実施の形態では、ユーザの位置情報がユーザの保持している情報端末のＧＰＳ機能を用いて取得される場合について説明したが、それ以外の方法によって取得されてもよく、ユーザの位置情報を取得する方法は問わない。例えば、ＲＦタグや光学タグ、無線ＬＡＮの技術等を用いてユーザの位置情報を取得してもよい。ＲＦタグを用いてユーザの位置情報を取得する場合には、例えば、ユーザがＲＦタグを有しており、道路や屋内に設置されている受信機がユーザの有するＲＦタグからの電波を受信した場合に、受信機の位置を示す情報をユーザの位置情報として取得してもよく、ユーザの有するＲＦタグからの電波を用いて、３点測量を行って、ユーザの位置情報を取得してもよい。あるいは、道路や屋内にＲＦタグが設置されており、そのＲＦタグからの電波をユーザが有する受信機によって受信することにより、ユーザの位置情報を取得してもよい。光学タグや、無線ＬＡＮ、ブルートゥース（登録商標）等を用いて同様にしてユーザの位置情報を取得してもよい。これらの方法については従来から公知であり、その詳細な説明は省略する。
【０１１５】
また、本実施の形態では、位置情報が時系列に沿った情報である場合について説明したが、位置情報は時系列に沿った情報でなくてもよい。すなわち、位置情報は、ユーザの通過した位置を示す情報であってもよい。
【０１１６】
また、上記説明では、撮影画像がカメラによって街角等を撮影したものである場合について説明したが、撮影画像は、屋内を撮影したものであってもよく、ユーザが通る場所をカメラによって撮影したものであれば、カメラによる撮影場所は問わない。
【０１１７】
また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【０１１８】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現される。なお、上記実施の形態におけるユーザ異常検出装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、ユーザが通る場所を１以上のカメラによって撮影した撮影画像を受け付ける撮影画像受付ステップと、ユーザの位置を示す情報である位置情報を受け付ける位置情報受付ステップと、前記撮影画像における人物の行動軌跡を抽出する行動軌跡抽出ステップと、前記行動軌跡抽出ステップで抽出した行動軌跡と、前記位置情報によって示されるユーザの行動軌跡とを比較する比較ステップと、前記比較ステップでの比較結果に基づいて、前記撮影画像における人物の画像から、前記位置情報受付ステップで受け付けた位置情報によって位置が示されるユーザを特定するユーザ特定ステップと、前記ユーザ特定ステップで特定したユーザに関する異常を検出する異常検出ステップと、前記異常検出ステップでユーザに関する異常を検出した場合に、異常が検出されたことに関する情報である異常検出情報を出力する異常出力ステップと、を実行させるためのものである。
【０１１９】
なお、上記プログラムにおいて、情報を出力する出力ステップや、情報を受け付ける受付ステップ等では、ハードウェアでしか行われない処理、例えば、出力ステップにおけるモデムやインターフェースカード等で行われる処理は少なくとも含まれない。
【０１２０】
また、このプログラムは、サーバ等からダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭ等の光ディスクや磁気ディスク、半導体メモリ等）に記録されたプログラムが読み出されることによって実行されてもよい。
【０１２１】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１２２】
図２０は、上記プログラムを実行して、上記実施の形態によるユーザ異常検出装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。
【０１２３】
図２０において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。なお、ここでは異常出力部１９は、異常検出情報をモニタ１０４に表示してもよく、前述のようにネットワーク等を介して送信してもよく、あるいは、その他の出力を行ってもよい。異常検出情報が送信等される場合には、それに応じたデバイスをコンピュータシステム１００が有するものとする。
【０１２４】
図２１は、コンピュータシステムを示す図である。図２１において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでもよい。
【０１２５】
コンピュータシステム１００に、上記実施の形態によるユーザ異常検出装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。
【０１２６】
プログラムは、コンピュータ１０１に、上記実施の形態によるユーザ異常検出装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明を省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１２７】
以上のように、本発明によるユーザ異常検出装置等によれば、ユーザに発生した異常を検出することができ、ユーザの異常を検出するシステム等として有用である。
【図面の簡単な説明】
【０１２８】
【図１】本発明の実施の形態１によるユーザ異常検出装置の全体構成を示すブロック図
【図２】本発明の実施の形態１における２以上のカメラによる撮影画像の撮影について説明するための図
【図３】同実施の形態による異常検出部の内部構成を示すブロック図
【図４】同実施の形態によるユーザ異常検出装置の全体の動作を示すフローチャート
【図５】同実施の形態によるユーザ異常検出装置のユーザ特定の動作を示すフローチャート
【図６】同実施の形態によるユーザ異常検出装置の異常検出の動作を示すフローチャート
【図７】同実施の形態によるユーザ異常検出装置の異常情報の出力の動作を示すフローチャート
【図８】同実施の形態による撮影画像蓄積部が蓄積した撮影画像の一例を示す図
【図９】同実施の形態における位置情報のパケットの一例を示す図
【図１０】同実施の形態における位置情報の一例を示す図
【図１１】同実施の形態における抽出された行動軌跡の一例を示す図
【図１２】同実施の形態における変換された位置情報の一例を示す図
【図１３】同実施の形態におけるユーザを特定する処理を説明するための図
【図１４】同実施の形態におけるユーザＩＤと人物ＩＤとの対応付けを示す図
【図１５】同実施の形態における異常の検出について説明するための図
【図１６】同実施の形態における異常の検出について説明するための図
【図１７】同実施の形態における異常の検出について説明するための図
【図１８】同実施の形態における異常の検出について説明するための図
【図１９】同実施の形態における異常の検出について説明するための図
【図２０】同実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図２１】同実施の形態におけるコンピュータシステムの構成の一例を示す図
【符号の説明】
【０１２９】
１ ユーザ異常検出装置
１１ 撮影画像受付部
１２ 撮影画像蓄積部
１３ 位置情報受付部
１４ 位置情報蓄積部
１５ 行動軌跡抽出部
１６ 比較部
１７ ユーザ特定部
１８ 異常検出部
１９ 異常出力部
２１ ユーザ過去情報記憶手段
２２ 通常行動情報記憶手段
２３ 行動軌跡比較手段
２４ 予測行動軌跡算出手段
２５ 検出手段
【技術分野】
【０００１】
本発明は、ユーザに関する異常を検出するユーザ異常検出装置等に関する。
【背景技術】
【０００２】
近年、防犯等のために街角の映像を撮影し、その映像によって監視を行う監視システムが用いられるようになってきている。そのような監視システムを用いることにより、不審な行動をしている人や、病気や事故等によって倒れている人を検出することができる。なお、関連する従来技術として、例えば、建物の物理的な構造を前提とし、あらかじめ格納されている行動履歴と異なる行動をしたユーザの異常行動を検出する装置が開発されている（特許文献１参照）。
【０００３】
一方、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を用いることにより、ユーザの位置を特定する技術も開発されており、さらに近年、そのような技術を組み込んだ携帯電話等も開発されている。そのような装置を用いることにより、ユーザの広範囲にわたる位置の特定が可能となる。
【特許文献１】特開２００５−１４１３１９号公報（第１頁、第１図等）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の監視システムでは、画像に写っている人物が誰であるのかを特定するために、顔の特徴等のユーザに固有の情報を用いてユーザを特定しなければならず、あらかじめ顔の特徴等のユーザに固有の情報を登録しているユーザしか、画像に写っている人物の特定ができなかった。また、画像に写っている人物の顔等の撮影角度や大きさ等が適切でなかった場合には、人物の特定を適切に行うことができないこともある。さらに、ユーザに固有の情報を登録しているユーザ数が多くなった場合には、ユーザを特定する処理負荷が大きくなるという探索速度の問題もある。
【０００５】
また、従来のＧＰＳ等を用いてユーザの位置を特定する方法では、誤差が大きいため、異常の発生を厳密に検出することはできなかった。例えば、ＧＰＳ等を用いて特定されたユーザの位置によって、ユーザが長時間にわたって同じ場所にとどまっていることが検出できたとしても、車にはねられて道の真ん中で倒れているのか、あるいは、信号待ちや立ち話等によって長時間同じ場所にとどまっているのかを判断することはできなかった。さらに、ＧＰＳ等の機能を有する装置を保持しているユーザしか行動を追跡することができないという問題もあった。また、例えば、あるユーザがストーカーに追跡されている場合でも、そのことを検出することはできなかった。
【０００６】
本発明は、上記問題点を解決するためになされたものであり、ユーザの位置を示す位置情報と、ユーザの通る場所をカメラによって撮影した撮影画像とを用いて、ユーザに関する異常を適切に検出することができるユーザ異常検出装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明によるユーザ異常検出装置は、ユーザが通る場所を１以上のカメラによって撮影した撮影画像を受け付ける撮影画像受付部と、ユーザの位置を示す情報である位置情報を受け付ける位置情報受付部と、前記撮影画像における人物の行動軌跡を抽出する行動軌跡抽出部と、前記行動軌跡抽出部が抽出した行動軌跡と、前記位置情報によって示されるユーザの行動軌跡とを比較する比較部と、前記比較部による比較結果に基づいて、前記撮影画像における人物の画像から、前記位置情報受付部が受け付けた位置情報によって位置が示されるユーザを特定するユーザ特定部と、前記ユーザ特定部が特定したユーザに関する異常を検出する異常検出部と、前記異常検出部がユーザに関する異常を検出した場合に、異常が検出されたことに関する情報である異常検出情報を出力する異常出力部と、を備えたものである。
【０００８】
このような構成により、ユーザの顔の特徴等があらかじめ登録されていなくても、カメラによって撮影された撮影画像と、ユーザの位置を示す位置情報とを用いて、ユーザに関する異常を検出することができる。また、撮影画像にユーザの顔等が適切に写っていなくてもユーザに関する異常を検出することができ、さらに、探索速度に関する問題も生じない。また、ユーザに関する異常が検出された場合に、異常検出情報が出力されることにより、その発生した異常に対して適切に対応することができる。
【０００９】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、前記ユーザ特定部が特定したユーザの行動に関する異常を検出してもよい。
このような構成により、ユーザの行動に関する異常を検出することができる。
【００１０】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、前記ユーザ特定部が特定したユーザの過去の行動を示す情報であるユーザ過去情報が記憶されるユーザ過去情報記憶手段と、前記ユーザ特定部が特定したユーザの行動が、前記ユーザ過去情報が示す当該ユーザの過去の行動と異なる場合に、当該ユーザの行動に関する異常を検出する検出手段と、を備えていてもよい。
【００１１】
このような構成により、ユーザの行動が、ユーザの過去の行動と異なる場合に、ユーザの異常を検出することができる。したがって、例えば、事件や事故、病気等によって、ユーザが過去の行動と異なる行動をとった場合に、そのことを異常として検出することができる。
【００１２】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、通常の人の行動に関する情報である通常行動情報が記憶される通常行動情報記憶手段と、前記ユーザ特定部が特定したユーザの行動が、前記通常行動情報が示す通常の人の行動と異なる場合に、当該ユーザの行動に関する異常を検出する検出手段と、を備えていてもよい。
【００１３】
このような構成により、ユーザの行動が、通常の人の行動と異なる場合に、ユーザの異常を検出することができる。したがって、例えば、事件や事故、病気等によって、ユーザが通常の人と異なる行動をとった場合に、そのことを異常として検出することができる。
【００１４】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、前記撮影画像に含まれる前記ユーザ特定部が特定したユーザ以外の人物の行動が、当該ユーザの行動との関係で異常である場合に、当該ユーザに関する異常を検出してもよい。
【００１５】
このような構成により、ユーザ以外の人物の行動がユーザの行動との関係で異常である場合に、その異常を検出することができる。例えば、ユーザがストーカーに追跡されているという異常を検出することができる。
【００１６】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、前記行動軌跡抽出部が抽出した１以上の人物の行動軌跡と、前記ユーザ特定部が特定したユーザの行動軌跡とを比較する行動軌跡比較手段と、前記行動軌跡比較手段により、両者が一定以上の類似性を有する場合に、当該ユーザに関する異常を検出する検出手段と、を備えていてもよい。
このような構成により、ユーザが尾行されていることを検出することができる。
【００１７】
また、本発明によるユーザ異常検出装置では、前記異常検出部は、前記ユーザ特定部が特定したユーザの予測される行動軌跡である予測行動軌跡を算出する予測行動軌跡算出手段と、前記予測行動軌跡算出手段が算出した予測行動軌跡から一定範囲内の位置であって、通常の人が止まらない位置に前記撮影画像に含まれる当該ユーザ以外の人物が止まっている場合に、当該ユーザに関する異常を検出する検出手段と、を備えていてもよい。
このような構成により、ユーザが待ち伏せされていることを検出することができる。
【００１８】
また、本発明によるユーザ異常検出装置では、前記撮影画像受付部が受け付ける撮影画像は、２以上のカメラによって撮影された、重複しない２以上の領域の撮影画像であり、前記異常検出部は、前記２以上の領域の撮影画像を用いて異常を検出してもよい。
【００１９】
このような構成により、ユーザが２以上のカメラの撮影領域に存在しない場合であっても、ユーザに関する異常を検出することができる。例えば、ユーザがある撮影画像の領域から出てから一定時間以上経過しても他の撮影画像の領域に到達しない場合には、ユーザに関する異常が検出されてもよい。
【発明の効果】
【００２０】
本発明によるユーザ異常検出装置等によれば、ユーザの位置を示す位置情報と、ユーザの通る場所をカメラによって撮影した撮影画像とを用いて、撮影画像に写っているユーザを特定することができる。その結果、ユーザに関する異常を適切に検出することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明によるユーザ異常検出装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【００２２】
（実施の形態１）
本発明の実施の形態１によるユーザ異常検出装置１について、図面を参照しながら説明する。
図１は、本実施の形態によるユーザ異常検出装置１の構成を示すブロック図である。図１において、本実施の形態によるユーザ異常検出装置１は、撮影画像受付部１１と、撮影画像蓄積部１２と、位置情報受付部１３と、位置情報蓄積部１４と、行動軌跡抽出部１５と、比較部１６と、ユーザ特定部１７と、異常検出部１８と、異常出力部１９とを備える。
【００２３】
撮影画像受付部１１は、撮影画像を受け付ける。この撮影画像は、ユーザが通る場所を１以上のカメラによって撮影した画像である。ここで、ユーザとは、ユーザ異常検出装置１を用いるユーザ、すなわち、その位置情報が後述する位置情報受付部１３で受け付けられるユーザのことである。図１では、説明の便宜上、撮影画像受付部１１が１台のカメラからの撮影画像を受け付ける場合について示しているが、撮影画像受付部１１は、２台以上のカメラによって撮影された撮影画像であってもよい。２台以上のカメラによって撮影された撮影画像を撮影画像受付部１１が受け付ける場合には、その２以上の撮影画像は、図２で示されるように、重複しない２以上の領域の撮影画像であってもよい。例えば、１台のカメラによってある交差点付近の撮影を行い、他のカメラによってその交差点の次の交差点付近の撮影を行い、両カメラによって撮影された２個の撮影画像の領域が重複しないように設定してもよい。この撮影画像は動画である。この動画のフレームレートは、撮影画像に写っている人物の行動の軌跡を抽出することができる範囲において任意である。例えば、３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）であってもよく、あるいは、１ｆｐｓや２ｆｐｓであってもよい。また、撮影画像のデータ形式も問わない。例えば、撮影画像のデータ形式は、非圧縮であってもよく、ＭＰＥＧであってもよく、ＤＶ等であってもよく、撮影画像のファイル形式は、ＲＡＷ形式であってもよく、ＡＳＦ形式であってもよく、ＡＶＩ形式等であってもよい。撮影画像受付部１１は、例えば、有線もしくは無線の通信回線を介して送信された撮影画像を受信してもよく、カメラから直接入力された撮影画像を受け付けてもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された撮影画像を受け付けてもよい。なお、撮影画像受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、撮影画像受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２４】
撮影画像蓄積部１２は、撮影画像受付部１１が受け付けた撮影画像を所定の記録媒体に蓄積する。ここで、その所定の記録媒体では、撮影画像の各フレームの撮影日時を知ることができるように撮影画像が蓄積されているものとする。したがって、撮影画像の各フレームに撮影日時を示す情報が対応付けられていてもよく、あるいは、最初のフレームの撮影日時を示す情報が対応付けられており、その情報を用いて各フレームの撮影日時を算出することができるようにしてもよい。また、その撮影日時を示す情報は、カメラによって設定されてもよく、撮影画像蓄積部１２によって設定されてもよい。前者の場合には、カメラが時計等を保持していてもよく、後者の場合には撮影画像蓄積部１２が時計等を保持していてもよい。撮影日時を示す情報に代えて、撮影時刻のみを示す情報、あるいは、撮影の相対的な時間（例えば、タイムコード等）を示す情報を用いてもよい。撮影画像が蓄積される記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、撮影画像蓄積部１２が有していてもよく、あるいは撮影画像蓄積部１２の外部に存在していてもよい。本実施の形態では、前者であるとする。また、この記録媒体は、撮影画像を一時的に記憶するものであってもよく、そうでなくてもよい。
【００２５】
位置情報受付部１３は、ユーザの位置を示す情報である位置情報を受け付ける。本実施の形態では、位置情報受付部１３が受け付ける位置情報は、ユーザの保持している情報端末のＧＰＳ機能を用いて取得され、ネットワークを介して送信されたものであるとする。また、本実施の形態では、位置情報は時系列に沿った情報であるとする。ここで、位置情報が時系列に沿った情報であるとは、時間の経過に応じてユーザの位置がどのように変化したのかを位置情報から知ることができるという意味である。したがって、位置情報は、日時を示す情報と、ユーザの位置を示す情報とが対応付けられている情報であってもよく、あるいは、ユーザの位置を示す情報が時系列に沿って並べられている情報であってもよい。後者の場合に、例えば、位置情報において、ユーザの位置を示す情報が一定の時間間隔ごとに時系列に沿って並べられており、最初のユーザの位置を示す情報に対応する日時が位置情報に含まれることによって、ユーザの位置を示す情報に対応する日時を算出することができるようにしてもよい。また、位置情報受付部１３が、ユーザの位置を示す情報のみを含む位置情報を受け付けた場合には、そのユーザの位置を示す情報に日時（例えば、その情報を受け付けた日時等）を示す情報を対応付けることによって、日時を示す情報と、位置を示す情報とが対応付けられた位置情報を構成してもよい。その場合に、位置情報受付部１３等は、日時を示す情報を取得することができる時計等を保持していてもよい。日時を示す情報に代えて、時刻のみを示す情報、あるいは、相対的な時間（例えば、タイムコード等）を示す情報を用いてもよい。本実施の形態では、位置情報受付部１３は、日時を示す情報と、ユーザの位置を示す情報とが対応付けられている位置情報を受け付けるものとする。また、ユーザの位置を示す情報は、ユーザの位置を特定することができる情報であれば、どのようなものであってもよい。例えば、ユーザの位置を示す情報は、経度や緯度を示す情報であってもよく、あるいは、ある基準点からの２次元平面上の位置を示す情報（例えば、ｘｙ２次元直交座標系におけるｘの値、ｙの値等）であってもよい。また、位置情報に含まれるユーザの位置を示す情報は、処理の途中で変換がなされてもよい。例えば、直交座標系と球座標系との間で変換がなされてもよい。位置情報受付部１３は、１人のユーザに関する位置情報を受け付けてもよく、あるいは、２人以上のユーザに関する２以上の位置情報を受け付けてもよい。後者の場合には、各位置情報をユーザごとに区別することができるように、ユーザを識別するユーザＩＤ等と対応付けられた位置情報を受け付けてもよい。位置情報受付部１３は、例えば、ユーザの保持している情報端末のＧＰＳ機能を用いて取得され、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもよい。本実施の形態では、前者であるとする。なお、位置情報受付部１３は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、位置情報受付部１３は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２６】
位置情報蓄積部１４は、位置情報受付部１３が受け付けた位置情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、位置情報蓄積部１４が有していてもよく、あるいは位置情報蓄積部１４の外部に存在してもよい。本実施の形態では、前者であるとする。また、この記録媒体は、位置情報を一時的に記憶するものであってもよく、そうでなくてもよい。また、この記録媒体は、撮影画像蓄積部１２が撮影画像を蓄積する記録媒体と同一のものであってもよく、そうでなくてもよい。
【００２７】
なお、撮影画像の各フレームの撮影日時を示す情報等と、位置情報における日時を示す情報等は、後述する比較の処理のため、同期していることが好適である。両者が同期しているとは、あるユーザがある位置にいる場合に撮影された撮影画像のフレームの撮影日時を示す情報等と、位置情報における、そのユーザの位置に対応する日時を示す情報等とが等しいことである。両者が同期するように、例えば、撮影画像の各フレームの撮影日時を示す情報等を、ユーザが保持している情報端末のＧＰＳ機能と同様の機能を用いて取得するようにしてもよい。
【００２８】
行動軌跡抽出部１５は、撮影画像受付部１１が受け付けた撮影画像における人物の行動軌跡を抽出する。すなわち、行動軌跡抽出部１５によって、撮影画像に写っている人物の位置の時系列に沿った変化を示す情報が抽出されることになる。なお、行動軌跡とは、行動軌跡を示す情報であってもよい。この行動軌跡の抽出は、例えば、撮影画像における人物の領域を検出してから、その人物の領域の位置の変化を検出することによって行ってもよく、あるいは、撮影画像の速度場を抽出し、撮影画像に写っている動物体の位置の変化を検出することによって行ってもよい。前者の場合における人物の領域を検出する方法としては、例えば、肌色検出を用いる方法、背景画像との差分を抽出する方法、パターンマッチングを用いる方法等が知られている。また、人物の領域の位置の変化は、例えば、検出された人物の領域の特定の位置（例えば、鼻の位置、頭頂の位置、腰の位置等）の変化を追跡することによって検出することができる。また、後者の場合における行動軌跡の抽出では、例えば、オプティカル・フローの技術を用いることができる。オプティカル・フローの技術等を用いて動物体の位置の変化を検出する場合には、撮影画像に写っている人物以外の動物体（例えば、車等）の行動軌跡も人物の行動軌跡として抽出されてしまうことになるが、その問題は後述する。通常、カメラは真上から撮影するのではなく、斜め上方から撮影する。したがって、撮影画像における行動軌跡を抽出したとしても、その行動軌跡は真上から見た２次元平面（例えば、実際の地図等）における行動軌跡とは異なることになる。そのような場合には、斜め上方から見た画像を真上から見た画像に変換する処理を行ってもよい。そのような処理としては、例えば、平面射影変換等がある。その変換の処理を行動軌跡の抽出前に行い、その変換後の撮影画像において行動軌跡を抽出してもよく、あるいは、変換前の撮影画像において行動軌跡を抽出し、その抽出した行動軌跡に対して、その変換の処理を行ってもよい。一般に、後者のほうが処理の負荷が軽くなる。なお、撮影画像から人物の行動軌跡を抽出する方法は上記の説明に限定されないことは言うまでもない。また、撮影画像から人物の行動軌跡を抽出する方法は従来から公知であり、その詳細な説明は省略する。
【００２９】
比較部１６は、行動軌跡抽出部１５が抽出した行動軌跡と、位置情報受付部１３が受け付けた位置情報によって示されるユーザの行動軌跡とを比較する。この比較は、例えば、両者の示す、時間に依存して変化する位置の情報の比較であってもよく、両者の示す、時間に依存して変化する速度ベクトルの比較であってもよく、あるいは、その両者の比較であってもよい。比較部１６は、撮影画像から抽出された行動軌跡と位置情報の示す行動軌跡との比較によって、両者の類似度や両者が一致する確率等を算出するものとする。比較部１６は、例えば、その比較を逐次モンテカルロ法等の近似法を用いて行ってもよく、ベイズ推定等のモデル化を用いて行ってもよく、あるいは、その他の方法を用いてもよい。行動軌跡と位置情報の示す行動軌跡とを比較する方法は従来から公知であり、その詳細な説明は省略する。
【００３０】
ユーザ特定部１７は、比較部１６による比較結果に基づいて、撮影画像における人物の画像から、位置情報受付部１３が受け付けた位置情報によって位置が示されるユーザを特定する。すなわち、ユーザ特定部１７は、撮影画像に写っている人物と、位置情報によって位置が示されるユーザとを一対一に紐付ける処理を行う。なお、撮影画像には一般に、ユーザ以外の人物も写っているため、撮影画像に写っている人物が、位置情報によって位置が示されるユーザと一対一に紐付けられない場合もある。ユーザを特定するとは、例えば、撮影画像における人物の領域を識別する識別子と、ユーザを識別するユーザＩＤとを対応付けて所定の記録媒体等に蓄積する処理等である。ユーザ特定部１７は、例えば、撮影画像における人物の行動軌跡と一致する行動軌跡を示す位置情報を特定し、その撮影画像における人物を、その特定した位置情報に対応するユーザであると特定してもよい。ここで、撮影画像における人物の行動軌跡と、位置情報の示す行動軌跡とが一致するとは、例えば、両者が厳密に一致する場合のみでなく、両者の類似度や両者の一致する確率が所定のしきい値以上である場合や、他者との類似度等と比較して両者の類似度等が最も高い場合、両者の類似度等がしきい値以上であり、かつ、他者との類似度等と比較して両者の類似度等が最も高い場合等を含んでもよい。
【００３１】
なお、撮影画像におけるユーザの特定は、結果として撮影画像に含まれる人物の画像と、ユーザとの対応を知ることができるのであれば、その方法を問わない。ユーザ特定部１７は、例えば、撮影画像における１の静止画像ごとに行ってもよく、あるいは、１の静止画像においてユーザの特定を行った後には、そのユーザに対応する人物の画像の移動を追跡することによって、撮影画像に含まれる人物の画像と、ユーザとの対応を知ることができるようにしてもよい。後者の場合には、新たな人物の画像が撮影画像に含まれるようになるタイミングで撮影画像における人物の行動軌跡と、位置情報の示す行動軌跡との比較を比較部１６が開始し、その比較結果に応じてユーザの特定を行ってもよい。
【００３２】
また、行動軌跡抽出部１５がオプティカル・フローの技術等を用いて人物以外の動物体の行動軌跡を抽出したとしても、その行動軌跡とユーザの位置情報とを比較した場合に一致しないと判断されるため、問題にはならないことになる。
【００３３】
また、位置情報によってユーザの位置が示されているため、比較部１６は、ある撮影画像から抽出された行動軌跡と、位置情報の誤差を考慮してその撮影画像の撮影領域に含まれるユーザの位置情報の示す行動軌跡とを比較するようにしてもよい。このようにすることで、撮影画像から抽出された行動軌跡と、全てのユーザの位置情報の示す行動軌跡とを比較する場合に比べて、比較部１６による比較の処理負荷を軽減することができる。
【００３４】
異常検出部１８は、ユーザ特定部１７が特定したユーザに関する異常を検出する。異常検出部１８は、（Ａ）ユーザ特定部１７が特定したユーザの行動に関する異常を検出してもよく、（Ｂ）撮影画像に含まれるユーザ特定部１７が特定したユーザ以外の人物の行動が、そのユーザの行動との関係で異常である場合に、そのユーザに関する異常を検出してもよく、あるいは、その他の場合に異常を検出してもよい。異常検出部１８は、ユーザの現在の行動軌跡と、ユーザや他の人物の過去の行動に関する情報とに基づいて異常を検出してもよく、あるいは、ユーザの現在の行動軌跡と、あらかじめ設定されている所定のルールとに基づいて、異常を検出してもよい。ユーザの現在の行動軌跡としては、行動軌跡抽出部１５が抽出した行動軌跡を用いてもよく、行動軌跡抽出部１５が抽出した行動軌跡と、位置情報受付部１３が受け付けた位置情報とから算出した行動軌跡を用いてもよい。後者の場合には、ユーザが撮影画像の範囲外にいる場合にも、異常の検出ができることになる。ここで、図３を用いて、異常検出部１８の構成、及びユーザに関する異常を検出する上記（Ａ）、（Ｂ）の場合の処理について説明する。
【００３５】
図３は、異常検出部１８の構成を示すブロック図である。図３において、異常検出部１８は、ユーザ過去情報記憶手段２１と、通常行動情報記憶手段２２と、行動軌跡比較手段２３と、予測行動軌跡算出手段２４と、検出手段２５とを備える。
【００３６】
（Ａ）ユーザの行動に関する異常の検出
（Ａ−１）ユーザの行動が通常と異なる場合
ここでは、ユーザの現在の行動が、そのユーザの通常の行動と異なる場合に異常が検出される処理について説明する。
【００３７】
ユーザ過去情報記憶手段２１では、ユーザ特定部１７が特定したユーザの過去の行動を示す情報であるユーザ過去情報が記憶される。ユーザ過去情報は、ユーザの過去の行動を示す情報であれば、どのようなものであってもよい。ユーザ過去情報は、例えば、撮影画像から抽出されたユーザの行動軌跡であってもよく、その行動軌跡を用いて作成された情報であってもよく、あるいは、ユーザの過去の行動に関するルールを示す情報であってもかまわない。行動軌跡を用いて作成されたユーザ過去情報とは、例えば、ユーザの行動軌跡の平均をとったものであってもよく、ユーザの行動軌跡と位置情報とを用いて、１の撮影画像と他の撮影画像との間の行動を予測した行動軌跡であってもよく、その他の情報であってもかまわない。ユーザの過去の行動に関するルールとは、例えば、朝にはある地点（例えば、ユーザの家）から、他の地点（例えば、ユーザが通勤で利用する電車の駅）へのルートを移動するというルール、夕方にはそのルートを逆方向に移動するというルール等である。このルールは、ユーザの過去の行動軌跡等から算出されてもよく、あるいは、ユーザ等が手入力によって設定してもよい。また、ユーザ過去情報は、例えば、季節や月、曜日、時間帯ごとに設定されていてもよい。ユーザ過去情報記憶手段２１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。ユーザ過去情報記憶手段２１にユーザ過去情報が記憶される過程は問わない。例えば、記録媒体を介してユーザ過去情報がユーザ過去情報記憶手段２１で記憶されるようになっていてもよく、通信回線等を介して送信されたユーザ過去情報がユーザ過去情報記憶手段２１で記憶されるようになっていてもよく、入力デバイスを介して入力されたユーザ過去情報がユーザ過去情報記憶手段２１で記憶されるようになっていてもよく、あるいは、行動軌跡抽出部１５によって抽出された行動軌跡がユーザ過去情報記憶手段２１で記憶されるようになっていてもかまわない。
【００３８】
検出手段２５は、ユーザ特定部１７が特定したユーザの行動が、ユーザ過去情報が示すそのユーザの過去の行動と異なる場合に、そのユーザの行動に関する異常を検出する。具体的には、検出手段２５は、そのユーザ過去情報と、現在の行動軌跡とを比較して、両者の類似度や両者の一致する確率が所定のしきい値より低い場合に、ユーザの行動に関する異常を検出してもよい。この比較の方法としては、例えば、パターンマッチング等を用いてもよい。また、ユーザ過去情報が季節や曜日ごとに設定されている場合には、時系列分析の手法を用いて比較を行ってもよい。このように、ユーザが普段と異なる行動をとった場合に、異常が検出されることになる。このようにすることで、例えば、ユーザが普段は家から駅に休むことなく歩くにもかかわらず、ある時にユーザが家から駅までの途中で病気や事故等によって倒れた場合には、ユーザが長時間にわたって停止することになり、異常が検出されることになる。また、例えば、通常は通学路を通って通学している児童が、不審な人物に誘われて通学路をはずれた場合には、通常の行動と異なることとなり、異常が検出されることになる。
【００３９】
（Ａ−２）ユーザの行動が通常の人と異なる場合
ここでは、ユーザの現在の行動が、通常の人の行動と異なる場合に異常が検出される処理について説明する。
【００４０】
通常行動情報記憶手段２２では、通常の人の行動に関する情報である通常行動情報が記憶される。通常行動情報は、結果として通常の人の行動を知ることができる情報であれば、どのようなものであってもよい。例えば、通常行動情報は、通常の人が行う行動パターンを示すものであってもよく、あるいは、通常の人が行うことのない行動パターンを示すことにより、結果として、それ以外の行動であれば通常の人の行動であると知ることができる情報であってもよい。通常行動情報は、例えば、過去の不特定多数の人たちの行動軌跡であってもよく、あるいは、通常の人の行動に関するルールを示す情報であってもよい。通常の人の行動に関するルールとは、例えば、通常の人は酒に酔った人のように千鳥足でふらふらと歩かないというルールでもよく、通常の人が長い時間（例えば、１分以上等）止まりうる場所（例えば、信号待ちを行う場所や、バスの停留所等）を示すルールでもよく、１の撮影画像から他の撮影画像までの通常の歩行時間を示すルールでもよい。このルールは、ユーザの過去の行動軌跡等から算出されてもよく、あるいは、ユーザ等が手入力によって設定してもよい。また、ユーザ過去情報は、例えば、季節や月、曜日、時間帯ごとに設定されていてもよい。通常行動情報記憶手段２２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。通常行動情報記憶手段２２に通常行動情報が記憶される過程は問わない。例えば、記録媒体を介して通常行動情報が通常行動情報記憶手段２２で記憶されるようになっていてもよく、通信回線等を介して送信された通常行動情報が通常行動情報記憶手段２２で記憶されるようになっていてもよく、入力デバイスを介して入力された通常行動情報が通常行動情報記憶手段２２で記憶されるようになっていてもよく、あるいは、行動軌跡抽出部１５によって抽出された行動軌跡から抽出された所定のルールを示す通常行動情報が通常行動情報記憶手段２２で記憶されるようになっていてもかまわない。
【００４１】
検出手段２５は、ユーザ特定部１７が特定したユーザの行動が、通常行動情報が示す通常の人の行動と異なる場合に、そのユーザの行動に関する異常を検出する。具体的には、通常行動情報が通常の人の行動を示す情報である場合には、検出手段２５は、その通常行動情報と、ユーザの現在の行動軌跡とを比較して、両者の類似度や両者の一致する確率が所定のしきい値より低い場合に、ユーザの行動に関する異常を検出する。一方、通常行動情報が通常の人が行わない行動を示す情報である場合には、検出手段２５は、その通常行動情報と、ユーザの現在の行動軌跡とを比較して、両者の類似度や両者の一致する確率が所定のしきい値異常である場合に、ユーザの行動に関する異常を検出する。この比較の方法としては、例えば、パターンマッチング等を用いてもよい。また、通常行動情報が季節や曜日ごとに設定されている場合には、時系列分析の手法を用いて比較を行ってもよい。このように、ユーザが通常の人と異なる行動をとった場合に、異常が検出されることになる。このようにすることで、例えば、通常の人が止まらない場所でユーザが病気や事故等によって倒れた場合には、ユーザが通常の人と異なる行動をすることになり、異常が検出されることになる。また、例えば、ユーザがある画像領域から、他の画像領域の方向に向かって移動している場合に、そのユーザがはじめの画像領域に写らなくなってから通常の歩行時間が経過しても次の画像領域に現れない場合には、その途中で病気や事故等が発生した可能性があるとして、異常が検出されることになる。また、例えば、ユーザが千鳥足でふらふらと歩いている場合に、異常が検出されてもよい。
【００４２】
なお、上記（Ａ−１），（Ａ−２）において、検出手段２５は、例えば、ユーザの行動が通常と異なる確率と、ユーザの行動が通常の人と異なる確率とに対して重み付けを行い、その結果としきい値とを比較し、重み付けられた確率がしきい値以上である場合に、異常を検出してもよい。
【００４３】
（Ｂ）ユーザ以外の人物の行動に関する異常の検出
（Ｂ−１）ユーザが尾行されている場合
ここでは、ユーザが他の人物に尾行されている場合に異常が検出される処理について説明する。
【００４４】
行動軌跡比較手段２３は、行動軌跡抽出部１５が抽出した１以上の人物の行動軌跡と、ユーザ特定部１７が特定したユーザの行動軌跡とを比較する。この比較は、例えば、前述の比較部１６における比較と同様にして行われる。ただし、行動軌跡比較手段２３では、ユーザが他の人物に尾行されているかどうかを検出するための比較を行うため、比較部１６における比較のように、厳密に両者が一致するかどうかを比較しなくてもよい。例えば、行動軌跡比較手段２３は、一定の時間間隔（例えば、１０秒程度等）以内で、ユーザの行動軌跡を他の人物の行動軌跡が追いかける場合にも、両者の高い類似度や両者が一致する高い確率を算出してもよい。また、ユーザ以外の人物の行動軌跡が、ユーザの行動軌跡に先行している場合、すなわち、他の人物のほうがユーザよりも前を歩いている場合には、ユーザが尾行されているとは言えないため、たとえ両者の行動軌跡が近似していたとしても、行動軌跡比較手段２３は、両者の類似度等を低く算出してもよい。
【００４５】
検出手段２５は、行動軌跡比較手段２３により、両者が一定以上の類似性を有する場合に、そのユーザに関する異常を検出する。より具体的には、ユーザの行動軌跡と他の人物の行動軌跡とが、行動軌跡比較手段２３による比較の結果、一定以上の類似度や一定以上の一致する確率を有する場合に、検出手段２５は、両者が一定以上の類似性を有すると判断し、そのユーザに関する異常を検出する。このようにすることで、例えば、ユーザが他の人物によって尾行されている場合に、そのユーザに関する異常を検出することができる。
【００４６】
なお、行動軌跡比較手段２３は、２以上の撮影画像を用いてユーザの行動軌跡と、他の人物の行動軌跡との比較を行ってもよい。この場合には、検出手段２５は、２以上の撮影画像における、ユーザの行動軌跡と他の人物の行動軌跡との類似度を掛け合わせることによって、ユーザの行動軌跡と他の人物の行動軌跡との最終的な類似度を算出してもよい。また、行動軌跡比較手段２３は、２以上の撮影画像に写っている他の人物が同一であるかどうかを、その人物の顔の特徴点等を用いて判断してもよく、その判断を行わなくてもよい。
【００４７】
（Ｂ−２）ユーザが待ち伏せされている場合
ここでは、ユーザが他の人物に待ち伏せされている場合に異常が検出される処理について説明する。
【００４８】
予測行動軌跡算出手段２４は、ユーザ特定部１７が特定したユーザの予測される行動軌跡である予測行動軌跡を算出する。予測行動軌跡算出手段２４は、例えば、ユーザや他人の過去の行動軌跡を用いて予測行動軌跡を算出してもよく、ユーザが通る経路を示す地図情報と、ユーザが移動している速度と向きとを用いて予測行動軌跡を算出してもよく、ユーザの過去の行動軌跡等からユーザの目的地を推定し、その推定された目的地と、ユーザが通る経路を示す地図情報とを用いて予測行動軌跡を算出してもよく、その他の方法によりユーザの予測行動軌跡を算出してもよい。このように、ユーザの予測行動軌跡を算出する方法は従来から公知であり、その詳細な説明は省略する。
【００４９】
検出手段２５は、予測行動軌跡算出手段２４が算出した予測行動軌跡から一定範囲内の位置であって、通常の人が止まらない位置に撮影画像に含まれるそのユーザ以外の人物が止まっている場合に、そのユーザに関する異常を検出する。より具体的には、検出手段２５は、予測行動軌跡算出手段２４が算出した予測行動軌跡から一定範囲内の領域であって、通常の人が止まらない領域を特定する。そして、検出手段２５は、その特定した領域に、ユーザ以外の人物が止まっているかどうか判断する。そして、止まっている場合には、検出手段２５は異常を検出し、止まっていない場合には、検出手段２５は異常を検出しない。なお、領域の特定は、例えば、領域の周囲の画素を特定することによって行ってもよく、あるいは、領域に含まれる画素を特定することによって行ってもよい。通常の人が止まらない位置であるかどうかについては、例えば、前述のように、過去の不特定多数の人たちの行動軌跡から判断してもよく、あるいは、通常の人が止まる位置あるいは止まらない位置を示すルールを用いて判断してもよい。このようにすることで、例えば、ユーザが通るであろうと予測される位置であって、通常の人が止まらない位置に止まっている人がいる場合に、ユーザに関する異常、すなわち、待ち伏せを検出することができる。
【００５０】
なお、異常検出部１８が上述の（Ａ−１），（Ａ−２），（Ｂ−１），（Ｂ−２）に関する各異常を検出する場合について説明したが、異常検出部１８は、そのいずれか１以上の異常を検出するものであってもよく、あるいは、他の異常を検出するものであってもよい。（Ａ−１），（Ａ−２），（Ｂ−１），（Ｂ−２）のいずれかの異常を検出しない場合には、対応する構成要素を異常検出部１８が備えていなくてもよい。また、上記説明では、１個の検出手段２５を備える場合について説明したが、（Ａ−１），（Ａ−２），（Ｂ−１），（Ｂ−２）に関する各異常の検出ごとに別々の検出手段を備えるようにしてもよい。
【００５１】
異常出力部１９は、異常検出部１８がユーザに関する異常を検出した場合に、異常検出情報を出力する。ここで、異常検出情報とは、異常が検出されたことに関する情報である。異常検出情報は、その異常検出情報が出力されることによって、異常の発生したことがユーザやその他の人たちに知らされる情報であれば、その内容を問わない。異常検出情報は、例えば、異常の発生を示す情報でもよく、あるいは、異常の発生した位置等を示す情報であってもかまわない。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイ等）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよく、異常の発生を示すランプ等の点灯、点滅等を制御する出力でもよい。本実施の形態では、異常出力部１９は、異常検出情報を送信するものとする。異常検出情報の送信先は、警察や警備会社等のサーバであってもよく、ユーザの情報端末（例えば、携帯電話やＰＤＡ等）であってもよく、ユーザの家族や友人等の情報端末等であってもよい。なお、異常出力部１９は、異常検出情報の出力先を示すアドレス等が必要な場合には、異常検出情報の出力先を示すアドレス等をあらかじめ保持しておくか、あるいは、異常検出情報の出力時に、そのアドレス等を所定のサーバ等から取得してもよい。また、異常出力部１９は、出力を行うデバイス（例えば、表示デバイスやプリンタ等）を含んでいてもよく、あるいは含んでいなくてもよい。また、異常出力部１９は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００５２】
次に、本実施の形態によるユーザ異常検出装置１の動作について、図４〜図７のフローチャートを用いて説明する。図４のフローチャートは、ユーザ異常検出装置１の全体動作を示すフローチャートである。
【００５３】
（ステップＳ１０１）撮影画像受付部１１は、撮影画像を受け付けたかどうか判断する。そして、撮影画像を受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０３に進む。
（ステップＳ１０２）撮影画像蓄積部１２は、撮影画像受付部１１が受け付けた撮影画像を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。
【００５４】
（ステップＳ１０３）位置情報受付部１３は、位置情報を受け付けたかどうか判断する。そして、位置情報を受け付けた場合には、ステップＳ１０４に進み、そうでない場合には、ステップＳ１０５に進む。
【００５５】
（ステップＳ１０４）位置情報蓄積部１４は、位置情報受付部１３が受け付けた位置情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。なお、位置情報受付部１３が受け付けた位置情報に日時の情報が含まれていない場合には、位置情報蓄積部１４は、位置情報が受け付けられた日時等を含む位置情報を蓄積してもよい。また、ユーザＩＤに対応付けられた位置情報が受け付けられた場合には、そのユーザＩＤに対応付けて位置情報を蓄積してもよい。
【００５６】
（ステップＳ１０５）ユーザ特定部１７は、撮影画像に含まれる人物からユーザを特定するタイミングであるかどうか判断する。そして、そのタイミングである場合には、ステップＳ１０６に進み、そうでない場合には、ステップＳ１０７に進む。ここで、このタイミングは、所定の期間ごと（例えば、１秒ごとや５秒ごと等）であってもよく、所定のイベント（例えば、新たな撮影画像が受け付けられたこと等）をトリガーとするものであってもよく、その他のタイミングであってもよい。
【００５７】
（ステップＳ１０６）行動軌跡抽出部１５、比較部１６、ユーザ特定部１７は、ユーザを特定する処理を行う。そして、ステップＳ１０１に戻る。このステップＳ１０６の処理の詳細については、図５のフローチャートを用いて後述する。
【００５８】
（ステップＳ１０７）異常検出部１８は、異常を検出するタイミングであるかどうか判断する。そして、そのタイミングである場合には、ステップＳ１０８に進み、そうでない場合には、ステップＳ１０１に戻る。ここで、このタイミングは、所定の期間ごと（例えば、５秒ごと等）であってもよく、所定のイベント（例えば、新たな撮影画像が受け付けられたこと等）をトリガーとするものであってもよく、その他のタイミングであってもよい。
【００５９】
（ステップＳ１０８）異常検出部１８は、ユーザに関する異常を検出する。このステップＳ１０８の処理の詳細については、図６のフローチャートを用いて後述する。
【００６０】
（ステップＳ１０９）異常出力部１９は、異常が検出されたかどうか判断する。そして、異常が検出された場合には、ステップＳ１１０に進み、そうでない場合には、ステップＳ１０１に戻る。
【００６１】
（ステップＳ１１０）異常出力部１９は、異常検出情報を出力する。そして、ステップＳ１０１に戻る。このステップＳ１１０の処理の詳細については、図７のフローチャートを用いて後述する。
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００６２】
図５は、図４のフローチャートのステップＳ１０６のユーザ特定処理の詳細を示すフローチャートである。なお、この図５のフローチャートでは、ステップＳ１０５において、撮影画像が受け付けられるごとにユーザを特定するタイミングであると判断される場合について説明する。また、ステップＳ１０３において、ユーザＩＤに対応付けられた位置情報が受け付けられているものとする。
【００６３】
（ステップＳ２０１）行動軌跡抽出部１５は、撮影画像受付部１１で最後に受け付けられた撮影画像を撮影画像蓄積部１２から読み出し、その撮影画像における人物の画像領域を特定する。この画像領域の特定は、前述のように、例えば、肌色検出を用いる方法、背景画像との差分を抽出する方法、パターンマッチングを用いる方法等がある。ここで、行動軌跡抽出部１５は、特定した人物の画像領域に対して、人物ＩＤを付与するものとする。以前に人物ＩＤを付与している場合には、同一の人物の画像領域には同一の人物ＩＤを付与するものとする。２以上の撮影画像における人物の画像領域が同一の人物の画像領域であるかどうかは、例えば、人物の特徴点に関する情報や、撮影画像の差分を用いることによって判断してもよい。人物の画像領域に人物ＩＤを付与するとは、例えば、人物の画像領域を示す情報と、人物ＩＤとを対応付けて所定の記録媒体に蓄積すること等である。
（ステップＳ２０２）行動軌跡抽出部１５は、カウンタＩを「１」に設定する。
【００６４】
（ステップＳ２０３）行動軌跡抽出部１５は、ステップＳ２０１で特定したＩ番目の人物の行動軌跡を抽出する。行動軌跡抽出部１５は、例えば、人物の画像領域の位置を抽出し、その人物の画像領域の位置をステップＳ２０１で付与された人物ＩＤと、ステップＳ２０１で処理された撮影画像に対応する日時を示す日時情報とに対応付けて所定の記録媒体に蓄積する。
【００６５】
（ステップＳ２０４）行動軌跡抽出部１５は、カウンタＩを１だけインクリメントする。
（ステップＳ２０５）行動軌跡抽出部１５は、Ｉ番目の人物が撮影画像に存在するかどうか判断する。そして、存在する場合には、ステップＳ２０３に戻り、存在しない場合には、すでに撮影画像における全ての人物について行動軌跡の抽出を行っているため、ステップＳ２０６に進む。
【００６６】
（ステップＳ２０６）ユーザ特定部１７は、カウンタＪを「１」に設定する。
（ステップＳ２０７）比較部１６は、位置情報受付部１３が受け付けた位置情報のうち、Ｊ番目のユーザの位置情報によって示される行動軌跡と、ステップＳ２０３で抽出された行動軌跡とを比較する。
【００６７】
（ステップＳ２０８）ユーザ特定部１７は、Ｊ番目のユーザの位置情報によって示される行動軌跡と、ステップＳ２０３で抽出されたいずれかの行動軌跡とが一致するかどうか判断する。そして、一致する場合には、ステップＳ２０９に進み、一致しない場合には、ステップＳ２１０に進む。
【００６８】
（ステップＳ２０９）ユーザ特定部１７は、Ｊ番目のユーザの位置情報によって示される行動軌跡と一致する行動軌跡を有する撮影画像における人物が、Ｊ番目のユーザであると特定する。ユーザ特定部１７は、例えば、その人物の画像領域を識別する人物ＩＤと、Ｊ番目のユーザを識別するユーザＩＤとを対応付けて所定の記録媒体に蓄積してもよい。
（ステップＳ２１０）ユーザ特定部１７は、カウンタＪを１だけインクリメントする。
【００６９】
（ステップＳ２１１）ユーザ特定部１７は、Ｊ番目のユーザが存在するかどうか判断する。そして、Ｊ番目のユーザが存在する場合には、ステップＳ２０７に戻り、存在しない場合には、すでに全てのユーザについてユーザの特定に関する処理を行っているため、ユーザを特定する一連の処理は終了となる。
【００７０】
なお、図５のフローチャートでは、ステップＳ２０１において、人物の画像領域の特定を行う場合について説明したが、前述のように、オプティカル・フロー等の技術を用いる場合には、人物の画像領域の特定を行わなくてもよい。ただし、オプティカル・フローの技術を用いる場合に、オプティカル・フローの処理を実行する領域を限定することは有効である。処理負荷を軽減するためである。例えば、オプティカル・フローの処理を行う領域を、新たな人物が出現する領域（例えば、撮影画像の端、人物が出入りする領域など）に限定してもよく、以前のフレームで動きを検出した領域に限定してもよい。そして、それ以外の領域では、オプティカル・フローの処理を行う領域で検出された動きを追跡するようにしてもよい。この追跡の方法は従来から公知であり、その詳細な説明は省略する。また、図５のフローチャートでは、複数のユーザが存在する場合の処理を示しているが、ユーザが１名である場合には、カウンタＪを用いなくてもよい。
【００７１】
図６は、図４のフローチャートのステップＳ１０８の異常検出処理の詳細を示すフローチャートである。
（ステップＳ３０１）検出手段２５は、カウンタＫを「１」に設定する。
【００７２】
（ステップＳ３０２）検出手段２５は、ユーザ過去情報記憶手段２１が記憶しているユーザ過去情報を用いて、Ｋ番目のユーザの行動が、過去の行動と異なる確率を算出する。
【００７３】
（ステップＳ３０３）検出手段２５は、通常行動情報記憶手段２２が記憶している通常行動情報を用いて、Ｋ番目のユーザの行動が、通常の人の行動と異なる確率を算出する。
【００７４】
なお、ステップＳ３０２，Ｓ３０３の処理において、検出手段２５は、前述のように、Ｋ番目のユーザの行動を示す情報として、行動軌跡抽出部１５が抽出したＫ番目のユーザの行動軌跡を用いてもよく、その行動軌跡抽出部１５が抽出したＫ番目のユーザの行動軌跡と、位置情報の示すＫ番目のユーザの行動軌跡とを用いてもよい。
【００７５】
（ステップＳ３０４）検出手段２５は、ステップＳ３０２，Ｓ３０３で算出した各確率に重み付けを行った確率を算出する。すなわち、検出手段２５は、各確率に対してそれぞれ所定の係数を掛け合わせて加算することによって、確率を算出する。
【００７６】
（ステップＳ３０５）検出手段２５は、その確率があらかじめ定められている所定のしきい値以上であるかどうか判断する。そして、しきい値以上である場合には、ステップＳ３０６に進み、そうでない場合には、ステップＳ３０７に進む。
【００７７】
（ステップＳ３０６）検出手段２５は、Ｋ番目のユーザの行動に関する異常を検出する。なお、検出手段２５は、Ｋ番目のユーザの行動に関する異常を検出した旨を所定の記録媒体等に蓄積してもよい。
【００７８】
（ステップＳ３０７）行動軌跡比較手段２３は、Ｋ番目のユーザの行動軌跡と、他の人物の行動軌跡とを比較する。行動軌跡比較手段２３は、Ｋ番目のユーザの行動を示す情報として、行動軌跡抽出部１５が抽出したＫ番目のユーザの行動軌跡を用いてもよく、その行動軌跡抽出部１５が抽出したＫ番目のユーザの行動軌跡と、位置情報の示すＫ番目のユーザの行動軌跡とを用いてもよい。また、行動軌跡比較手段２３は、他の人物の行動軌跡として、行動軌跡抽出部１５が抽出した、他の人物の行動軌跡を用いてもよい。
【００７９】
（ステップＳ３０８）検出手段２５は、Ｋ番目のユーザの行動軌跡と一定以上の類似性を有する他の人物の行動軌跡があるかどうか判断する。この判断は、上記（Ｂ−１）で説明したように行われる。そして、Ｋ番目のユーザの行動軌跡と一定以上の類似性を有する他の人物の行動軌跡がある場合には、ステップＳ３０９に進み、そうでない場合には、ステップＳ３１０に進む。
【００８０】
（ステップＳ３０９）検出手段２５は、Ｋ番目のユーザが尾行されているという異常を検出する。なお、検出手段２５は、Ｋ番目のユーザが尾行されているという異常を検出した旨を所定の記録媒体等に蓄積してもよい。
（ステップＳ３１０）予測行動軌跡算出手段２４は、Ｋ番目のユーザの予測行動軌跡を算出する。
【００８１】
（ステップＳ３１１）検出手段２５は、予測行動軌跡算出手段２４が算出したＫ番目のユーザの予測行動軌跡上において待ち伏せがあるかどうか判断する。この判断は、上記（Ｂ−２）で説明したように行われる。そして、Ｋ番目のユーザの予測行動軌跡上において待ち伏せがある場合には、ステップＳ３１２に進み、そうでない場合には、ステップＳ３１３に進む。
【００８２】
（ステップＳ３１２）検出手段２５は、Ｋ番目のユーザが待ち伏せされているという異常を検出する。なお、検出手段２５は、Ｋ番目のユーザが待ち伏せされているという異常を検出した旨を所定の記録媒体等に蓄積してもよい。
（ステップＳ３１３）検出手段２５は、カウンタＫを１だけインクリメントする。
【００８３】
（ステップＳ３１４）検出手段２５は、Ｋ番目のユーザが存在するかどうか判断する。そして、存在する場合にはステップＳ３０２に戻り、そうでない場合には、一連の処理は終了となる。
【００８４】
なお、図６のフローチャートでは、異常検出部１８がユーザの行動に関する異常、ユーザが尾行されているという異常、ユーザが待ち伏せされているという異常のそれぞれを検出する場合について説明したが、異常検出部１８は、少なくとも、そのいずれか１以上の異常を検出するものであればよい。また、異常検出部１８は、ユーザの行動に関する異常として、ユーザの行動がユーザの通常の行動と異なる場合の異常と、ユーザの行動が通常の人と異なる場合の異常とのいずれかのみを検出してもよい。
【００８５】
また、検出手段２５は、全ての異常の検出が終了した後に、どのユーザについて、どのような異常が検出されたのかを示す情報を例えば所定の記録媒体等から読み出して、異常出力部１９に渡してもよい。
【００８６】
図７は、図４のフローチャートのステップＳ１１０の異常情報出力処理の詳細を示すフローチャートである。なお、異常出力部１９は、異常検出情報をユーザの有する情報端末や、サーバに送信するものとする。
（ステップＳ４０１）異常出力部１９は、カウンタＬを「１」に設定する。
【００８７】
（ステップＳ４０２）異常出力部１９は、異常が検出されたＬ番目のユーザについて、行動に関する異常が検出されたかどうか判断する。異常出力部１９は、例えば、検出手段２５から受け取った、どのユーザについて、どのような異常が検出されたのかを示す情報に基づいて、この判断を行ってもよい。そして、検出された場合には、ステップＳ４０３に進み、そうでない場合には、ステップＳ４０６に進む。
（ステップＳ４０３）異常出力部１９は、Ｌ番目のユーザの情報端末に対して、ユーザの安否を確認する情報を送信する。
【００８８】
（ステップＳ４０４）異常出力部１９は、ステップＳ４０３における情報の送信に対して、Ｌ番目のユーザの情報端末等から、ユーザに異常がない旨の情報を図示しない受信部が受信したかどうか判断する。そして、受信した場合には、ステップＳ４０６に進み、ステップＳ４０３の送信から一定時間以上経過してもユーザに異常がない旨の情報を受信しない場合や、ユーザの情報端末等から、異常が発生している旨の情報を図示しない受信部が受信した場合には、ステップＳ４０５に進む。
（ステップＳ４０５）異常出力部１９は、サーバにＬ番目のユーザに異常が発生した旨の異常検出情報を送信する。
【００８９】
（ステップＳ４０６）異常出力部１９は、Ｌ番目のユーザが尾行されている異常、及び／または、待ち伏せされている異常が検出されたかどうか判断する。そして、少なくともいずれかが検出された場合には、ステップＳ４０７に進み、そうでない場合には、ステップＳ４０８に進む。
【００９０】
（ステップＳ４０７）異常出力部１９は、Ｌ番目のユーザの情報端末に、ユーザが尾行、及び／または、待ち伏せされている旨の異常情報を送信する。
（ステップＳ４０８）異常出力部１９は、カウンタＬを１だけインクリメントする。
【００９１】
（ステップＳ４０９）異常出力部１９は、異常が検出されたＬ番目のユーザが存在するかどうか判断する。そして、存在する場合には、ステップＳ４０２に戻り、存在しない場合には、一連の処理は終了となる。
【００９２】
なお、図７のフローチャートでは、ユーザの行動に関する異常が検出された場合には、ユーザへの安否確認を行ってからサーバに異常検出情報を送信する場合について説明したが、ユーザへの安否確認を行わないで直接、サーバに異常検出情報を送信してもよい。また、異常検出情報の出力先は、図７のフローチャートに限定されないことは言うまでもない。
次に、本実施の形態によるユーザ異常検出装置１の動作について、具体例を用いて説明する。
【００９３】
まず、カメラから出力された撮影画像を受け付ける処理について説明する。この具体例では、複数のカメラからの撮影画像が受け付けられるものとする。各カメラは、カメラを識別するカメラＩＤと、撮影画像の各フレームの撮影された日時を示す日時情報と、撮影画像を構成するフレームとを対応付けて順次、出力するものとする。この具体例では、説明の便宜上、撮影画像のフレームレートが１ｆｐｓであるとする。
【００９４】
撮影画像受付部１１は、各カメラから送信された撮影画像を受け付けると、その撮影画像を撮影画像蓄積部１２に渡す（ステップＳ１０１）。撮影画像蓄積部１２は、図８で示されるように、カメラＩＤと、日時情報と、撮影画像を構成するフレームとを対応付けて所定の記録媒体に蓄積する（ステップＳ１０２）。図８において、Ｐ００１等は、撮影画像を構成するフレームを識別する情報である。
【００９５】
次に、位置情報を受け付ける処理について説明する。この具体例では、ユーザの有する情報端末としての携帯電話がＧＰＳ機能を有しており、そのＧＰＳ機能を用いて取得された位置情報が順次、ユーザを識別するユーザＩＤと共にユーザ異常検出装置１にネットワークを介して送信されるものとする。このネットワークは、例えば、インターネット、公衆電話回線、イントラネット等である。図９は、ユーザの情報端末から送信される位置情報のパケットの一例を示す図である。そのパケットのペイロードには、ユーザＩＤと位置情報とが含まれる。このペイロードは、暗号化されていてもよく、あるいは暗号化されていなくてもよい。位置情報では、ユーザの位置を示す情報と、その位置が取得された日時を示す日時情報とが対応付けられているものとする。
【００９６】
位置情報受付部１３は、ユーザの情報端末から送信された位置情報を受け付けると、その位置情報を位置情報蓄積部１４に渡す（ステップＳ１０３）。位置情報蓄積部１４は、図１０で示されるように、ユーザＩＤと、位置情報とを対応付けて所定の記録媒体に蓄積する（ステップＳ１０４）。そして、この位置情報は、図１０で示されるように、日時情報と、ユーザの位置を示す経度・緯度とが対応付けられている。
【００９７】
次に、撮影画像における人物からユーザを特定する処理について説明する。前述のように、ユーザを特定する処理は、新たな撮影画像が受け付けられたタイミングで実行されるものとする。新たな撮影画像のフレームが撮影画像受付部１１で受け付けられると（ステップＳ１０５）、行動軌跡抽出部１５はそのことを検知し、その新たに受け付けられた撮影画像のフレームにおける人物の画像領域を特定し、その特定した各人物の画像領域に対して人物を特定する人物ＩＤを付与する（ステップＳ２０１）。その人物ＩＤの付与時には、前述のように、過去の撮影画像のフレームに含まれる人物の画像領域については、その過去の撮影画像のフレームにおいて付与した人物ＩＤと同一の人物ＩＤを付与する。その後、行動軌跡抽出部１５は、新たに受け付けられた撮影画像のフレームにおける各人物の画像領域について、行動軌跡の抽出を行う（ステップＳ２０２〜Ｓ２０５）。すなわち、行動軌跡抽出部１５は、新たに受け付けられた撮影画像のフレームの日時情報と、人物の画像領域に付与した人物ＩＤと、その人物ＩＤで識別される人物の画像領域の位置を示す情報とを対応付けて所定の記録媒体に蓄積する。なお、その蓄積時に、人物の画像領域の位置を示す情報は、平面射影変換等によって上から見た位置に変換されるものとする。図１１は、そのようにして蓄積された人物ＩＤと、行動軌跡を示す情報とを示す図である。行動軌跡において、人物の画像領域の位置を示す情報は、２次元平面直交座標系における所定の基準点からの座標（ｘ、ｙ）として示されている。
【００９８】
その後、比較部１６は、位置情報蓄積部１４が蓄積した位置情報について、例えば、ＧＲＳ８０楕円体モデルを用いたガウスクリューゲル変換を行うことによって、位置情報の示す行動軌跡と、撮影画像から抽出された行動軌跡とを比較することができるようにする。このガウスクリューゲル変換によって、ＷＧＳ−８４座標系（ＧＰＳデータの座標系）から平面直交座標系（公共測量座標系）に変換されることになる。ガウスクリューゲル変換後の平面直交座標系と、撮影画像から抽出された行動軌跡の平面直交座標系とは、同一の基準点、及び同一の座標軸であるとする。なお、ガウスクリューゲル変換のパラメータについては、例えば、日本の国土交通省が公表している「平成１４年国土交通省告示第９号」で示されている値を用いてもよい。図１２は、図１０で示される位置情報の示す経度・緯度の情報を、平面直交座標系の座標（ｘ、ｙ）に変換した位置情報を示す図である。
【００９９】
比較部１６は、変換後の位置情報の示す行動軌跡と、行動軌跡抽出部１５が抽出した行動軌跡とを、ユーザごとに比較する（ステップＳ２０６，Ｓ２０７）。その比較の結果を用いて、ユーザ特定部１７は、ユーザの位置情報の示す行動軌跡と、抽出されたいずれかの行動軌跡とが一致するかどうか判断する（ステップＳ２０８）。ここでは、人物ＩＤ「Ｆ００２」で識別される人物の行動軌跡（図１３（ａ））と、ユーザＩＤ「Ｕ００１」で識別されるユーザの位置情報によって示される行動軌跡（図１３（ｂ））との類似度が「０．９５」であったとする。また、ユーザＩＤ「Ｕ００１」のユーザの行動軌跡については、人物ＩＤ「Ｆ００２」の行動軌跡との類似度が最も高かったとする。行動軌跡の類似度がしきい値「０．９」以上である場合に、両者が一致すると判断するように設定されていたとすると、ユーザ特定部１７は、人物ＩＤ「Ｆ００２」で識別される人物として、ユーザＩＤ「Ｕ００１」で識別されるユーザを特定する（ステップＳ２０９）。そして、ユーザ特定部１７は、図１４で示されるように、人物ＩＤ「Ｆ００２」と、ユーザＩＤ「Ｕ００１」とを対応付ける情報を所定の記録媒体に蓄積する。なお、比較部１６による比較の処理と、ユーザ特定部１７によるユーザの特定の処理とは、位置情報が受信されている全てのユーザに対して実行される（ステップＳ２０７〜Ｓ２１１）。
【０１００】
次に、ユーザの異常を検出する処理のうち、ユーザの行動に関する異常を検出する処理について説明する。この具体例では、ユーザＩＤ「Ｕ００１」で識別されるユーザ（以下、「ユーザＵ００１」とすることがある）について説明する。他のユーザについても、同様にして異常を検出する処理を実行することができる。
【０１０１】
この具体例では、ユーザ過去情報記憶手段２１において、撮影画像から抽出された行動軌跡を示すユーザ過去情報がユーザごとに記憶されているものとする。このユーザ過去情報は、ユーザＩＤに対応付けられて行動軌跡を有する以外、図１１で示される情報と同様のものである。また、通常行動情報記憶手段２２において、通常の人が歩く場合に通る領域を示す情報が記憶されているものとする。
【０１０２】
まず、検出手段２５は、ユーザＵ００１の現在の行動が、ユーザ過去情報で示されるユーザＵ００１の過去の行動軌跡と異なる確率を算出する（ステップＳ３０２）。この具体例では、ユーザ過去情報で示されるユーザＵ００１の過去の行動軌跡と、行動軌跡抽出部１５が順次抽出するユーザＵ００１の現在の行動軌跡とについてパターンマッチングを行い、両者がマッチングしない確率を算出することによって、ユーザＵ００１の現在の行動が、過去の行動軌跡と異なる確率を算出するものとする。図１５で示されるように、ユーザＵ００１に対応する人物ＩＤ「Ｆ００２」の人物が過去の行動軌跡とは異なる行動をした場合には、ユーザＵ００１の現在の行動が、ユーザ過去情報で示されるユーザＵ００１の過去の行動軌跡と異なる確率は高くなり、例えば、「０．８０」と算出される。
【０１０３】
また、検出手段２５は、ユーザＵ００１の現在の行動が、通常行動情報で示される通常の人の行動と異なる確率を算出する（ステップＳ３０３）。この具体例では、図１６の斜線の領域で示されるように、通常行動情報によって通常の人の通る範囲が示されており、その範囲内をユーザが通る場合には、ユーザの行動が通常の人の行動と異なる確率「０」が算出され、そうでない場合、すなわち、その範囲外をユーザが通る場合には、ユーザの行動が通常の人と異なる確率「１」が算出されるものとする。ここで、図１６の斜線の領域を示す情報は、例えば、その斜線の領域の周囲の画素を特定する情報であってもよく、あるいは、その斜線の領域に含まれる画素を特定する情報であってもよい。図１６で示されるように、ユーザＵ００１に対応する人物ＩＤ「Ｆ００２」の人物が、通常の人が通る範囲を超えて移動した場合には、ユーザの行動が通常の人の行動と異なる確率「１」が算出される。
【０１０４】
ここで、この具体例では、ユーザの過去の行動と異なる確率と、通常の人の行動と異なる確率とのそれぞれに「０．５」を掛けて加算することによって、重み付けを行うものとする。すなわち、両者の平均が算出されることになる。また、その確率の重み付けの結果と比較するしきい値は「０．８」に設定されているものとする。
【０１０５】
すると、上記の場合には、各確率の重み付けの結果は「０．９」となり（ステップＳ３０４）、しきい値「０．８」以上であると判断され（ステップＳ３０５）、検出手段２５は、ユーザＵ００１の行動に関する異常を検出する（ステップＳ３０６）。検出手段２５は、ユーザＵ００１の行動に関する異常が検出された旨を所定の記録媒体において保持しておくものとする。
【０１０６】
次に、ユーザの異常を検出する処理のうち、ユーザに対する尾行の異常を検出する処理について説明する。まず、行動軌跡比較手段２３は、行動軌跡抽出部１５が抽出したユーザＵ００１の現在の行動軌跡と、行動軌跡抽出部１５が抽出したユーザＵ００１以外の各人物の現在の行動軌跡とを比較する（ステップＳ３０７）。例えば、図１７で示されるように、ユーザＵ００１に対応する人物ＩＤ「Ｆ００２」の人物の後から、同様の行動軌跡によって人物ＩＤ「Ｆ０１０」の人物が移動している場合に、行動軌跡比較手段２３は、両者の類似度が「０．９０」であると判断したとする。
【０１０７】
この具体例では、類似度が「０．８０」以上であれば、一定以上の類似性があると判断するものとする。すると、検出手段２５は、人物ＩＤ「Ｆ０１０」の人物の行動軌跡が、ユーザＵ００１の行動軌跡と一定以上の類似性があると判断し（ステップＳ３０８）、ユーザＵ００１が尾行されているという異常を検出する（ステップＳ３０９）。検出手段２５は、ユーザＵ００１の尾行についての異常が検出された旨を所定の記録媒体において保持しておくものとする。
【０１０８】
次に、ユーザの異常を検出する処理について、特にユーザに対する待ち伏せの異常を検出する処理について説明する。まず、予測行動軌跡算出手段２４は、ユーザＵ００１の予測行動軌跡を算出する（ステップＳ３１０）。この具体例では、予測行動軌跡算出手段２４は、ユーザＵ００１の過去の行動軌跡を用いてその予測行動軌跡の算出を行うものとする。すなわち、予測行動軌跡算出手段２４は、図示しない経路によってユーザ過去情報記憶手段２１から、ユーザＵ００１の過去の行動軌跡（この具体例では、図１５で示されるものであるとする）を示す情報を読み出す。そして、図１８の破線の矢印で示されるように、ユーザＵ００１に対応する人物ＩＤ「Ｆ００２」の人物の予測行動軌跡を算出する。その後、検出手段２５は、その予測行動軌跡から一定の範囲内、例えば、予測行動軌跡から２メートル以内に止まっている人物がいるかどうか判断し、その人物が通常の人が止まらない場所に止まっている場合に、待ち伏せの異常を検出するものとする（ステップＳ３１１）。ここで、通常の人が止まらない場所かどうかは、検出手段２５は、図１９で示されるように、信号待ち等のために通常の人が止まる場所を示す情報を用いて判断するものとする。この具体例では、図１８で示されるように、人物ＩＤ「Ｆ０１１」の人物がユーザＵ００１の予測行動軌跡から２メートル以内に止まっており、その位置が図１９で示される通常の人が止まる場所でないとすると、検出手段２５は、ユーザＵ００１が待ち伏せされているという異常を検出する（ステップＳ３１２）。検出手段２５は、ユーザＵ００１の待ち伏せについての異常が検出された旨を所定の記録媒体において保持しておくものとする。
次に、異常出力部１９が異常検出情報を出力する処理について説明する。
【０１０９】
まず、ユーザＵ００１について、ユーザの行動に関する異常が検出された場合について説明する。異常検出部１８の検出手段２５が、ユーザＵ００１の行動に関する異常、尾行、待ち伏せの異常のそれぞれが検出された旨を示す情報を所定の記録媒体から読み出して、異常出力部１９に渡すと、異常出力部１９は、異常が検出されたと判断し（ステップＳ１０９）、異常検出情報を出力する処理を開始する（ステップＳ１１０）。
【０１１０】
まず、異常出力部１９は、ユーザＵ００１の行動に関する異常が検出されたと判断し（ステップＳ４０２）、あらかじめ登録されているユーザＵ００１の情報端末としての携帯電話のアドレスにユーザＵ００１の安否を確認する情報を送信する（ステップＳ４０３）。その情報に対して、ユーザＵ００１が問題ない旨の情報を返信した場合には、異常検出部１８によってユーザの行動に関する異常が検出されたが、実際には問題がなかったこととなる。一方、ユーザＵ００１からの返答が一定時間以上ない場合や、ユーザＵ００１から問題が発生した旨の情報をユーザ異常検出装置１が受信した場合には、異常出力部１９は、ユーザＵ００１に異常が発生した旨を含む異常検出情報を警備会社や警察等のサーバに送信する（ステップＳ４０５）。なお、警備会社等に送信される異常検出情報には、ユーザＵ００１の現在位置を示す情報を含めて送信してもよい。その結果、警備会社等から、ユーザＵ００１を救助するための人を出動させることができる。
【０１１１】
次に、ユーザＵ００１について、ユーザの尾行、待ち伏せの異常が検出された場合について説明する。異常出力部１９は、ユーザＵ００１の尾行、待ち伏せの異常が検出されたと判断し（ステップＳ４０６）、ユーザＵ００１の情報端末としての携帯電話のアドレスに、尾行及び待ち伏せの異常が検出された旨を示す異常検出情報を送信する（ステップＳ４０７）。この異常検出情報は、尾行している人物や、待ち伏せを行っている人物に異常検出情報をユーザＵ００１の携帯電話で受信したことが気づかれないように、例えば、尾行や待ち伏せが行われている場合に鳴らすことがあらかじめ設定されている着信メロディーがユーザＵ００１の携帯電話で鳴るように制御する情報であってもよい。
【０１１２】
なお、この具体例では、位置情報を２次元平面直交座標系に変換してから比較等の処理を行う場合について説明したが、撮影画像から抽出された行動軌跡を位置情報で用いられている座標系に変換してから比較等の処理を行ってもよい。
【０１１３】
以上のように、本実施の形態によるユーザ異常検出装置１では、ユーザの位置情報と、カメラで撮影された撮影画像とを用いることにより、撮影画像に写っているユーザを特定することができる。したがって、あらかじめユーザの顔の特徴等を登録していなくても、撮影画像に写っているユーザを特定することができる。また、本実施の形態によるユーザ異常検出装置１では、撮影画像によってユーザの位置をＧＰＳ等よりもより厳密に知ることができるため、ユーザ特定部１７によって特定されたユーザに関する異常をより適切に検出して、異常検出情報を出力することができる。その結果、例えば、ユーザが事故や事件に巻き込まれたといった異常や、病気で倒れたといった異常を検出することができる。また、本実施の形態によるユーザ異常検出装置１では、撮影画像を用いることによって、ユーザ特定部１７で特定された以外の人物の行動を追跡することもでき、ユーザが尾行や待ち伏せされているという異常を検出することができる。また、２以上のカメラによって撮影された、重複しない２以上の領域の撮影画像を用いることにより、ユーザが撮影画像の領域内に存在しない場合であっても、ユーザの異常を検出することになる。例えば、１の撮影画像の領域から、他の撮影画像の領域まで、ユーザの過去の行動パターンからすると２分で移動しているにもかかわらず、１の撮影画像の領域から他の撮影画像の領域にユーザが向かってから５分経過しても、他の撮影画像の領域にユーザが現れない場合には、そのユーザに関する異常を検出することもできる。このように、本実施の形態によるユーザ異常検出装置１では、より広範囲な異常の検出を行うこともできる。また、本実施の形態によるユーザ異常検出装置１では、そのような異常が発生したことをユーザ本人やユーザの家族、警備会社等に通知することができる。したがって、ユーザに発生した異常に対して適切に対応することができることとなる。
【０１１４】
なお、本実施の形態では、ユーザの位置情報がユーザの保持している情報端末のＧＰＳ機能を用いて取得される場合について説明したが、それ以外の方法によって取得されてもよく、ユーザの位置情報を取得する方法は問わない。例えば、ＲＦタグや光学タグ、無線ＬＡＮの技術等を用いてユーザの位置情報を取得してもよい。ＲＦタグを用いてユーザの位置情報を取得する場合には、例えば、ユーザがＲＦタグを有しており、道路や屋内に設置されている受信機がユーザの有するＲＦタグからの電波を受信した場合に、受信機の位置を示す情報をユーザの位置情報として取得してもよく、ユーザの有するＲＦタグからの電波を用いて、３点測量を行って、ユーザの位置情報を取得してもよい。あるいは、道路や屋内にＲＦタグが設置されており、そのＲＦタグからの電波をユーザが有する受信機によって受信することにより、ユーザの位置情報を取得してもよい。光学タグや、無線ＬＡＮ、ブルートゥース（登録商標）等を用いて同様にしてユーザの位置情報を取得してもよい。これらの方法については従来から公知であり、その詳細な説明は省略する。
【０１１５】
また、本実施の形態では、位置情報が時系列に沿った情報である場合について説明したが、位置情報は時系列に沿った情報でなくてもよい。すなわち、位置情報は、ユーザの通過した位置を示す情報であってもよい。
【０１１６】
また、上記説明では、撮影画像がカメラによって街角等を撮影したものである場合について説明したが、撮影画像は、屋内を撮影したものであってもよく、ユーザが通る場所をカメラによって撮影したものであれば、カメラによる撮影場所は問わない。
【０１１７】
また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【０１１８】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現される。なお、上記実施の形態におけるユーザ異常検出装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、ユーザが通る場所を１以上のカメラによって撮影した撮影画像を受け付ける撮影画像受付ステップと、ユーザの位置を示す情報である位置情報を受け付ける位置情報受付ステップと、前記撮影画像における人物の行動軌跡を抽出する行動軌跡抽出ステップと、前記行動軌跡抽出ステップで抽出した行動軌跡と、前記位置情報によって示されるユーザの行動軌跡とを比較する比較ステップと、前記比較ステップでの比較結果に基づいて、前記撮影画像における人物の画像から、前記位置情報受付ステップで受け付けた位置情報によって位置が示されるユーザを特定するユーザ特定ステップと、前記ユーザ特定ステップで特定したユーザに関する異常を検出する異常検出ステップと、前記異常検出ステップでユーザに関する異常を検出した場合に、異常が検出されたことに関する情報である異常検出情報を出力する異常出力ステップと、を実行させるためのものである。
【０１１９】
なお、上記プログラムにおいて、情報を出力する出力ステップや、情報を受け付ける受付ステップ等では、ハードウェアでしか行われない処理、例えば、出力ステップにおけるモデムやインターフェースカード等で行われる処理は少なくとも含まれない。
【０１２０】
また、このプログラムは、サーバ等からダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭ等の光ディスクや磁気ディスク、半導体メモリ等）に記録されたプログラムが読み出されることによって実行されてもよい。
【０１２１】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１２２】
図２０は、上記プログラムを実行して、上記実施の形態によるユーザ異常検出装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。
【０１２３】
図２０において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。なお、ここでは異常出力部１９は、異常検出情報をモニタ１０４に表示してもよく、前述のようにネットワーク等を介して送信してもよく、あるいは、その他の出力を行ってもよい。異常検出情報が送信等される場合には、それに応じたデバイスをコンピュータシステム１００が有するものとする。
【０１２４】
図２１は、コンピュータシステムを示す図である。図２１において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでもよい。
【０１２５】
コンピュータシステム１００に、上記実施の形態によるユーザ異常検出装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。
【０１２６】
プログラムは、コンピュータ１０１に、上記実施の形態によるユーザ異常検出装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明を省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１２７】
以上のように、本発明によるユーザ異常検出装置等によれば、ユーザに発生した異常を検出することができ、ユーザの異常を検出するシステム等として有用である。
【図面の簡単な説明】
【０１２８】
【図１】本発明の実施の形態１によるユーザ異常検出装置の全体構成を示すブロック図
【図２】本発明の実施の形態１における２以上のカメラによる撮影画像の撮影について説明するための図
【図３】同実施の形態による異常検出部の内部構成を示すブロック図
【図４】同実施の形態によるユーザ異常検出装置の全体の動作を示すフローチャート
【図５】同実施の形態によるユーザ異常検出装置のユーザ特定の動作を示すフローチャート
【図６】同実施の形態によるユーザ異常検出装置の異常検出の動作を示すフローチャート
【図７】同実施の形態によるユーザ異常検出装置の異常情報の出力の動作を示すフローチャート
【図８】同実施の形態による撮影画像蓄積部が蓄積した撮影画像の一例を示す図
【図９】同実施の形態における位置情報のパケットの一例を示す図
【図１０】同実施の形態における位置情報の一例を示す図
【図１１】同実施の形態における抽出された行動軌跡の一例を示す図
【図１２】同実施の形態における変換された位置情報の一例を示す図
【図１３】同実施の形態におけるユーザを特定する処理を説明するための図
【図１４】同実施の形態におけるユーザＩＤと人物ＩＤとの対応付けを示す図
【図１５】同実施の形態における異常の検出について説明するための図
【図１６】同実施の形態における異常の検出について説明するための図
【図１７】同実施の形態における異常の検出について説明するための図
【図１８】同実施の形態における異常の検出について説明するための図
【図１９】同実施の形態における異常の検出について説明するための図
【図２０】同実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図２１】同実施の形態におけるコンピュータシステムの構成の一例を示す図
【符号の説明】
【０１２９】
１ ユーザ異常検出装置
１１ 撮影画像受付部
１２ 撮影画像蓄積部
１３ 位置情報受付部
１４ 位置情報蓄積部
１５ 行動軌跡抽出部
１６ 比較部
１７ ユーザ特定部
１８ 異常検出部
１９ 異常出力部
２１ ユーザ過去情報記憶手段
２２ 通常行動情報記憶手段
２３ 行動軌跡比較手段
２４ 予測行動軌跡算出手段
２５ 検出手段
【特許請求の範囲】
【請求項１】
ユーザが通る場所を１以上のカメラによって撮影した撮影画像を受け付ける撮影画像受付部と、
ユーザの位置を示す情報である位置情報を受け付ける位置情報受付部と、
前記撮影画像における人物の行動軌跡を抽出する行動軌跡抽出部と、
前記行動軌跡抽出部が抽出した行動軌跡と、前記位置情報によって示されるユーザの行動軌跡とを比較する比較部と、
前記比較部による比較結果に基づいて、前記撮影画像における人物の画像から、前記位置情報受付部が受け付けた位置情報によって位置が示されるユーザを特定するユーザ特定部と、
前記ユーザ特定部が特定したユーザに関する異常を検出する異常検出部と、
前記異常検出部がユーザに関する異常を検出した場合に、異常が検出されたことに関する情報である異常検出情報を出力する異常出力部と、を備えたユーザ異常検出装置。
【請求項２】
前記異常検出部は、前記ユーザ特定部が特定したユーザの行動に関する異常を検出する、請求項１記載のユーザ異常検出装置。
【請求項３】
前記異常検出部は、
前記ユーザ特定部が特定したユーザの過去の行動を示す情報であるユーザ過去情報が記憶されるユーザ過去情報記憶手段と、
前記ユーザ特定部が特定したユーザの行動が、前記ユーザ過去情報が示す当該ユーザの過去の行動と異なる場合に、当該ユーザの行動に関する異常を検出する検出手段と、を備える、請求項２記載のユーザ異常検出装置。
【請求項４】
前記異常検出部は、
通常の人の行動に関する情報である通常行動情報が記憶される通常行動情報記憶手段と、
前記ユーザ特定部が特定したユーザの行動が、前記通常行動情報が示す通常の人の行動と異なる場合に、当該ユーザの行動に関する異常を検出する検出手段と、を備える、請求項２または請求項３記載のユーザ異常検出装置。
【請求項５】
前記異常検出部は、前記撮影画像に含まれる前記ユーザ特定部が特定したユーザ以外の人物の行動が、当該ユーザの行動との関係で異常である場合に、当該ユーザに関する異常を検出する、請求項１記載のユーザ異常検出装置。
【請求項６】
前記異常検出部は、
前記行動軌跡抽出部が抽出した１以上の人物の行動軌跡と、前記ユーザ特定部が特定したユーザの行動軌跡とを比較する行動軌跡比較手段と、
前記行動軌跡比較手段により、両者が一定以上の類似性を有する場合に、当該ユーザに関する異常を検出する検出手段と、を備える、請求項５記載のユーザ異常検出装置。
【請求項７】
前記異常検出部は、
前記ユーザ特定部が特定したユーザの予測される行動軌跡である予測行動軌跡を算出する予測行動軌跡算出手段と、
前記予測行動軌跡算出手段が算出した予測行動軌跡から一定範囲内の位置であって、通常の人が止まらない位置に前記撮影画像に含まれる当該ユーザ以外の人物が止まっている場合に、当該ユーザに関する異常を検出する検出手段と、を備える、請求項５または請求項６記載のユーザ異常検出装置。
【請求項８】
ユーザが通る場所を１以上のカメラによって撮影した撮影画像を受け付ける撮影画像受付ステップと、
ユーザの位置を示す情報である位置情報を受け付ける位置情報受付ステップと、
前記撮影画像における人物の行動軌跡を抽出する行動軌跡抽出ステップと、
前記行動軌跡抽出ステップで抽出した行動軌跡と、前記位置情報によって示されるユーザの行動軌跡とを比較する比較ステップと、
前記比較ステップでの比較結果に基づいて、前記撮影画像における人物の画像から、前記位置情報受付ステップで受け付けた位置情報によって位置が示されるユーザを特定するユーザ特定ステップと、
前記ユーザ特定ステップで特定したユーザに関する異常を検出する異常検出ステップと、
前記異常検出ステップでユーザに関する異常を検出した場合に、異常が検出されたことに関する情報である異常検出情報を出力する異常出力ステップと、を備えたユーザ異常検出方法。
【請求項１】
ユーザが通る場所を１以上のカメラによって撮影した撮影画像を受け付ける撮影画像受付部と、
ユーザの位置を示す情報である位置情報を受け付ける位置情報受付部と、
前記撮影画像における人物の行動軌跡を抽出する行動軌跡抽出部と、
前記行動軌跡抽出部が抽出した行動軌跡と、前記位置情報によって示されるユーザの行動軌跡とを比較する比較部と、
前記比較部による比較結果に基づいて、前記撮影画像における人物の画像から、前記位置情報受付部が受け付けた位置情報によって位置が示されるユーザを特定するユーザ特定部と、
前記ユーザ特定部が特定したユーザに関する異常を検出する異常検出部と、
前記異常検出部がユーザに関する異常を検出した場合に、異常が検出されたことに関する情報である異常検出情報を出力する異常出力部と、を備えたユーザ異常検出装置。
【請求項２】
前記異常検出部は、前記ユーザ特定部が特定したユーザの行動に関する異常を検出する、請求項１記載のユーザ異常検出装置。
【請求項３】
前記異常検出部は、
前記ユーザ特定部が特定したユーザの過去の行動を示す情報であるユーザ過去情報が記憶されるユーザ過去情報記憶手段と、
前記ユーザ特定部が特定したユーザの行動が、前記ユーザ過去情報が示す当該ユーザの過去の行動と異なる場合に、当該ユーザの行動に関する異常を検出する検出手段と、を備える、請求項２記載のユーザ異常検出装置。
【請求項４】
前記異常検出部は、
通常の人の行動に関する情報である通常行動情報が記憶される通常行動情報記憶手段と、
前記ユーザ特定部が特定したユーザの行動が、前記通常行動情報が示す通常の人の行動と異なる場合に、当該ユーザの行動に関する異常を検出する検出手段と、を備える、請求項２または請求項３記載のユーザ異常検出装置。
【請求項５】
前記異常検出部は、前記撮影画像に含まれる前記ユーザ特定部が特定したユーザ以外の人物の行動が、当該ユーザの行動との関係で異常である場合に、当該ユーザに関する異常を検出する、請求項１記載のユーザ異常検出装置。
【請求項６】
前記異常検出部は、
前記行動軌跡抽出部が抽出した１以上の人物の行動軌跡と、前記ユーザ特定部が特定したユーザの行動軌跡とを比較する行動軌跡比較手段と、
前記行動軌跡比較手段により、両者が一定以上の類似性を有する場合に、当該ユーザに関する異常を検出する検出手段と、を備える、請求項５記載のユーザ異常検出装置。
【請求項７】
前記異常検出部は、
前記ユーザ特定部が特定したユーザの予測される行動軌跡である予測行動軌跡を算出する予測行動軌跡算出手段と、
前記予測行動軌跡算出手段が算出した予測行動軌跡から一定範囲内の位置であって、通常の人が止まらない位置に前記撮影画像に含まれる当該ユーザ以外の人物が止まっている場合に、当該ユーザに関する異常を検出する検出手段と、を備える、請求項５または請求項６記載のユーザ異常検出装置。
【請求項８】
ユーザが通る場所を１以上のカメラによって撮影した撮影画像を受け付ける撮影画像受付ステップと、
ユーザの位置を示す情報である位置情報を受け付ける位置情報受付ステップと、
前記撮影画像における人物の行動軌跡を抽出する行動軌跡抽出ステップと、
前記行動軌跡抽出ステップで抽出した行動軌跡と、前記位置情報によって示されるユーザの行動軌跡とを比較する比較ステップと、
前記比較ステップでの比較結果に基づいて、前記撮影画像における人物の画像から、前記位置情報受付ステップで受け付けた位置情報によって位置が示されるユーザを特定するユーザ特定ステップと、
前記ユーザ特定ステップで特定したユーザに関する異常を検出する異常検出ステップと、
前記異常検出ステップでユーザに関する異常を検出した場合に、異常が検出されたことに関する情報である異常検出情報を出力する異常出力ステップと、を備えたユーザ異常検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００７−２１９９４８（Ｐ２００７−２１９９４８Ａ）
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願番号】特願２００６−４１３２０（Ｐ２００６−４１３２０）
【出願日】平成１８年２月１７日（２００６．２．１７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願日】平成１８年２月１７日（２００６．２．１７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]