監視装置および監視方法
【課題】振り込め詐欺による被害を未然に防ぐことが可能とする。
【解決手段】ＡＴＭに対して設置した監視カメラで撮像された映像を解析して、ＡＴＭの利用者の行動に関する言語化データを取得する。この言語化データを参照して、ＡＴＭの利用者が振り込め詐欺に遭いそうであると判定される行動が存在するか否かを判断する。言語化データに、ＡＴＭの利用者が振り込め詐欺に遭いそうであると判定される行動が存在したら、ＡＴＭの管理者などに通知すると共に、ＡＴＭの表示部に当該利用者に対して注意を喚起する表示を行う。
【解決手段】ＡＴＭに対して設置した監視カメラで撮像された映像を解析して、ＡＴＭの利用者の行動に関する言語化データを取得する。この言語化データを参照して、ＡＴＭの利用者が振り込め詐欺に遭いそうであると判定される行動が存在するか否かを判断する。言語化データに、ＡＴＭの利用者が振り込め詐欺に遭いそうであると判定される行動が存在したら、ＡＴＭの管理者などに通知すると共に、ＡＴＭの表示部に当該利用者に対して注意を喚起する表示を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラを用いて現金自動預払機の周辺を監視する監視装置および監視方法に関し、特に、振り込め詐欺対策に用いて好適な監視装置および監視方法に関する。
【背景技術】
【０００２】
従来から、カードなどを用いて現金の引き出しや預け入れを無人で行う現金自動預払機(ＡＴＭ：Automatic Teller Machine)を利用した犯罪が多発している。このような犯罪の例として、ＡＴＭの利用者が暗証番号を入力中に、利用者の背後から覗き込んで暗証番号を盗み見るというものや、ＡＴＭによって現金を引き出した直後を狙い、引き出した現金を奪うという、所謂引ったくり行為などがある。さらに、詐欺行為などにより被害者にＡＴＭから金を振り込ませるといったことも行われる。
【０００３】
このような、ＡＴＭを利用した犯罪を防止するための対策が様々に提案されている。例えば、特許文献１には、来訪者の顔の映像を取り込んで顔の特徴部分を抽出し、抽出された顔の特徴部分の情報に基づき当該来訪者が不審人物か否かを判定する技術が記載されている。来訪者が不審人物であると判定された場合に、その旨をＡＴＭの管理人や利用者などに通知することで、ＡＴＭを利用した犯罪を防止することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２６４８０５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年では、ＡＴＭを利用した振り込め詐欺が問題となっている。振り込め詐欺は、近親者の情愛につけ込み、人と社会の信頼関係を逆手にとるなどきわめて卑劣な犯罪である。このような振り込め詐欺を未然に防ぐための対策が、早急に必要とされている。
【０００６】
振り込め詐欺の場合、ＡＴＭは、被害者が指定の口座および金額による振り込みを行う場合と、詐欺を仕掛けた側が被害者により振り込まれた金を引き出す場合とに利用される。ＡＴＭの利用者の中から振り込め詐欺の被害に遭いそうな人物、すなわち、振り込め詐欺の指示に従い指定の口座および金額による振り込みを行おうとしている人物を検出できれば、振り込め詐欺による被害を未然に防ぐことができる。
【０００７】
例えば、上述した特許文献１による方法は、ＡＴＭの利用者の中から詐欺を仕掛けた側の人物を検出する場合に対しては、有効であると考えられる。すなわち、特許文献１によれば、詐欺を仕掛けた側の人物は、監視カメラなどによる録画や、公衆の目撃の可能性を少なくするために、帽子やサングラス、マスクなどで顔を容易に判別できないようにしている場合が多いので、これを不審人物の特徴として検出を行う。
【０００８】
しかしながら、上述した特許文献１による方法は、あくまで犯罪を犯す可能性のあると考えられる不審人物の検出を行うためのものであって、犯罪の被害に遭いそうな人物を検出するものではなかった。
【０００９】
本発明は、上記に鑑みてなされたものであって、振り込め詐欺などの犯罪による被害を未然に防ぐことが可能な監視装置および監視方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、現金の預け入れおよび引き出しを行う現金自動預払機の周辺を監視する監視装置であって、現金自動預払機の周辺を撮像するための撮像手段が撮像した人物の画像情報を記憶する画像情報記憶手段と、画像情報を解析して人物の動作状態を抽出し、抽出した人物の動作状態を表す情報であって、人物の動作の種類を表す動詞と人物の動作に関連する名詞とを含み、動詞に対する名詞の意味関係を表した状態情報を、画像情報記憶手段が記憶する画像情報に対応付けて記憶する状態情報記憶手段と、状態情報記憶手段に記憶された状態情報を参照し、状態情報が予め指定された条件を満たす場合に、状態情報に対応する人物が犯罪の被害に遭いそうであると判定する判定手段とを有することを特徴とする。
【００１１】
また、本発明は、現金の預け入れおよび引き出しを行う現金自動預払機の周辺を監視する監視方法であって、現金自動預払機の周辺を撮像するための撮像手段が撮像した人物の画像情報を画像情報記憶手段に記憶するステップと、画像情報を解析して人物の動作状態を抽出し、抽出した人物の動作状態を表す情報であって、人物の動作の種類を表す動詞と人物の動作に関連する名詞とを含み、動詞に対する名詞の意味関係を表した状態情報を、画像情報記憶手段が記憶する画像情報に対応付けて状態情報記憶手段に記憶するステップと、状態情報記憶手段に記憶された状態情報を参照し、状態情報が予め指定された条件を満たす場合に、状態情報に対応する人物が犯罪の被害に遭いそうであると判定する判定ステップとを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、現金自動預払機を利用する人物の動作を示す状態情報が予め指定された条件を満たす場合に、当該人物が振り込め詐欺などの犯罪による被害に遭いそうであると判定するようにしているため、振り込め詐欺などの犯罪による被害を未然に防ぐことができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施形態に適用可能な監視システムの一例の構成を示すブロック図である。
【図２】図２は、状態情報ＤＢに記憶される状態情報のデータ構造の一例を概略的に示す略線図である。
【図３】図３は、本実施形態による状態情報のデータ構造の一例をより具体的に示す略線図である。
【図４】図４は、本実施形態による判定処理を概略的に示す一例のフローチャートである。
【図５】図５は、本実施形態による、言語化データに基づく判定を行う対象となる行動と判定方法とを概略的に示す略線図である。
【図６】図６は、判定を行う各項目に示す行動を行っている人物に対して判定される状況の例を示す略線図である。
【図７】図７は、判定を行う各項目に示す行動を行っている人物に対して判定される各状況に対する処理の例を示す略線図である。
【図８】図８は、ＡＴＭを利用しているか否かを判定する一例の処理を示すフローチャートである。
【図９】図９は、携帯電話で通話しているか否を判定する一例の処理を示すフローチャートである。
【図１０】図１０は、高齢者であるか否かを判定する一例の処理を示すフローチャートである。
【図１１】図１１は、ＡＴＭを長時間利用しているか否かを判定する一例の処理を示すフローチャートである。
【図１２】図１２は、ＡＴＭ直前にいる利用者の背後にいる他の人物が、当該利用者によるＡＴＭに対する操作を覗き込んでいるか否かを判定する一例の処理を示すフローチャートである。
【図１３】図１３は、女性であるか否かを判定する一例の処理を示すフローチャートである。
【図１４】図１４は、顔を隠しているか否かを判定する一例の処理を示すフローチャートである。
【図１５】図１５は、行動の判定に用いられる深層格フレームの例を示す略線図である。
【発明を実施するための形態】
【００１４】
＜本発明の概略＞
以下に添付図面を参照して、この発明に係る監視装置および監視方法の最良な実施形態を詳細に説明する。本発明では、現金自動預払機（以下、ＡＴＭ）に対して設置した監視カメラで撮像された映像を解析し、ＡＴＭの利用者が振り込め詐欺の被害に遭いそうな人物か否か、すなわち、当該利用者が振り込め詐欺による振り込みを行おうとしていると考えられるか否かを判定する。当該利用者が振り込め詐欺の被害に遭いそうであると判定された場合、ＡＴＭの管理者などに通知すると共に、ＡＴＭの表示部に当該利用者に対して注意を喚起する表示を行う。
【００１５】
＜本発明の実施形態に適用可能なシステムについて＞
図１は、本発明の実施形態に適用可能な監視システムの一例の構成を示す。図１に示すように、監視システムは、警備装置１００と監視センタ２００とを備えている。警備装置１００と監視センタ２００は、電話回線、無線ネットワーク、インターネットなどのネットワーク５０を介して接続されている。また、ネットワーク５０には、ＡＴＭ３００が接続される。ＡＴＭ３００は、警備装置１００に対して直接的に接続してもよい。
【００１６】
監視センタ２００は、監視領域の異常を検知した警備装置１００からの通報を受け、待機中の警備員に対して異常が検知された監視領域（不図示）へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。
【００１７】
警備装置１００は、センサ１１０と、監視カメラ１２０と、警備操作部１３０とを備えている。
【００１８】
センサ１１０は、警備対象である監視領域に設置されており、主に侵入者等の異常を検知する目的で設置された人感センサである。センサ１１０は、人の存在や扉の開閉を検知した場合に検知信号を出力する。センサ１１０は、例えば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検知する電波センサ、およびマグネットにより扉の開閉を検出するマグネットセンサなどの監視領域の異常を検出する各種センサによって構成できる。
【００１９】
監視カメラ１２０は、警備対象である監視領域を撮像する。本実施形態では、監視カメラ１２０は、図示されないＡＴＭ３００の利用者および当該利用者の周囲を監視領域とするように設置される。監視カメラ１２０で撮像して得られた画像情報や映像情報は、後述する画像情報ＤＢ（データベース）１５０に記憶される。
【００２０】
警備操作部１３０において、検知情報受信部１３１は、センサ１１０によって異常が検知された場合に送出される検知情報を受信する。検知情報は、センサ１１０から送出される検知信号であり、センサ１１０が複数設置されている場合は、検知信号およびセンサを識別するセンサＩＤなども含まれる。
【００２１】
操作パネル１７０は、警備装置１００に関する情報が表示され、警備装置１００に対して情報が入力される。操作パネル１７０は、ボタンの押下等によって警備モードまたは警備解除モードのいずれかの警備状態を入力する。操作パネル制御部１３４は、操作パネル１７０への表示情報の出力や、操作パネル１７０から入力された入力情報の取得などの操作パネル１７０に対する制御を行う。
【００２２】
警備状態記憶部１３２は、現在の警備装置１００の警備モードである警備状態または警備解除状態のいずれかを記憶するＨＤＤやメモリなどの記憶媒体である。警備状態切替部１３３は、操作パネル１７０が入力を受け付けた警備モードの切替信号が操作パネル制御部１３４によって制御され、制御された切替信号に従って、現在の警備モードを警備状態記憶部１３２に格納する。
【００２３】
画像情報ＤＢ１５０は、監視カメラ１２０が撮像した画像情報や映像情報を、その撮像された時刻（例えば、撮像開始時刻、撮像終了時刻）および後述する言語構造構築部１３６により構築された状態情報の深層格フレームＩＤと共に記憶する。画像情報ＤＢ１５０は、ハードディスクドライブやメモリなどの記憶媒体において構築されている。
【００２４】
画像処理部１３５は、画像情報ＤＢ１５０に記憶された、監視カメラ１２０によって撮像された画像情報や映像情報を解析し、撮像された画像に映った物体の動作状態の画像情報や映像情報を抽出する。例えば、画像処理部１３５は、撮像された画像に人物が映っている場合には、肌領域の検出などにより人物を特定し、特定した人物の動作（例えば、ＡＴＭ３００に向かって歩行している状態）の画像情報や映像情報を抽出する。
【００２５】
言語構造構築部１３６は、画像情報ＤＢ１５０に記憶された画像情報や映像情報から画像処理部１３５により抽出された物体の動作状態の画像情報や映像情報に基づき、後述する深層格フレームによって表された状態情報を構築する。すなわち、言語構造構築部１３６は、物体の動作状態の画像情報や映像情報に基づき深層格フレームの各要素を抽出し、当該動作状態を言語化する。
【００２６】
状態情報ＤＢ１６０は、物体の動作状態を深層格フレーム構造で表した状態情報を、画像情報ＤＢ１５０に記憶されている画像情報や映像情報に対応付けて記憶するものであり、ＨＤＤやメモリ等の記憶媒体に記憶されている。なお、深層格フレーム（以下、単に格フレームとも言う）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造のことである。具体的には、画像情報ＤＢ１５０に記憶される画像情報や映像情報と状態情報ＤＢ１６０とは、後述する深層格フレームＩＤによって対応付けられている。
【００２７】
行動判定部１３７は、監視カメラ１２０で撮像されて得られた画像情報や映像情報に応じて言語構造構築部１３６で構築された状態情報に基づき、当該画像情報や映像情報による画像に含まれる人物の動作などを判定する。
【００２８】
送受信部１４３は、ネットワーク５０を介して監視センタ２００との間で各種情報を送受信するものである。例えば、送受信部１４３は、センサ１１０により異常が検知された場合に、監視領域に異常が発生した旨の警報を監視センタ２００に送信する。また、送受信部１４３は、行動判定部１３７で判定された所定の行動などに応じた通知を監視センタ２００に送信する。
【００２９】
また、送受信部１４３は、ネットワーク５０を介してＡＴＭ３００との間での情報の送受信も行うことができる。例えば、送受信部１４３は、後述する行動判定部１３７による判定結果に応じたメッセージをＡＴＭ３００に送信することができる。
【００３０】
図２は、状態情報ＤＢ１６０に記憶される状態情報のデータ構造の一例を概略的に示す。図２に示すように、状態情報は、格フレームを識別する格フレームＩＤと、動作（行動）の種類を表す行動名と、動作に関連する名詞である格要素（深層格）とを含んでいる。深層格には、主格、属性格、場所格、時間格、源泉格、目標格、対象格、および道具格が含まれる。それぞれの深層格は、１または複数の要素を含む。深層格に含まれる要素は、さらに１または複数の要素を含むことができる。
【００３１】
図３は、本実施形態による状態情報のデータ構造の一例をより具体的に示す。主格は、動作を引き起こす主体を表す。主格は、追跡番号および認証名を要素に含む。
【００３２】
属性格は、主格に関する情報を要素に含む。この例では、属性格は、要素として顔特徴、体特徴および歩行特徴を含み、各要素は、さらに要素を含む。顔特徴は、顔検出信頼度、顔特徴、口開閉度合、視線方向、マスクの有無、サングラスの有無、性別、年代（年齢範囲）および頭色（頭髪色）を要素に含む。なお、口開閉度合は、例えば、顔検出の結果を時系列的に並べた場合に、口の開状態と閉状態とが単位時間当たりに繰り返される回数に基づく。体特徴は、身長、上半身色および下半身色を要素に含む。また、歩行特徴は、歩幅、体型、脚長および歩速（歩行速度）を要素に含む。
【００３３】
場所格は、動作や状態が起こる場所を表す。この例では、場所格は、場所名と、人体の各部の座標、例えば頭部座標、体座標、足座標、右手座標、左手座標および重心座標を要素に含む。時間格は、動作や状態が起こる時間を要素に含む。この例では、時間格は、日時と経過時間とを要素に含む。
【００３４】
源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作などを行う起点の位置を表す場所情報、主格が移動や動作などを開始する時間を表す時間情報、ならびに、起点での主格の属性を表す属性情報を含む。目標格は、上述の源泉格に対応し、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作などを行う終点の位置を表す場所情報、主格が移動や動作などを終了した時間を表す時間情報、ならびに、終点での主格の属性を表す属性情報を含む。
【００３５】
対象格は、動作や状態の対象となる事物を表す。この例では、対象格は、追跡番号および認証名を要素に含む。道具格は、動作の補助的手段を表す。この例では、道具格は、追跡番号および認証名を要素に含む。
【００３６】
深層格フレームは、例えば、対象となる人物について画像情報や映像情報に基づき格要素を検出し、検出された要素に基づき所定の規則に従い行動名を定義して生成する。深層格フレームの生成は、例えば、対象となる人物が映像情報から検出されている間は、所定間隔で繰り返し行われる。要素の情報が以前に生成した深層格フレームと異なる場合、所定の規則に従い、要素の差異に基づく行動名が定義される。
【００３７】
＜本発明の実施形態によるＡＴＭ前での行動判定＞
次に、本発明の実施形態による、ＡＴＭ前での行動判定について、より詳細に説明する。図４は、本実施形態による判定処理を概略的に示す一例のフローチャートである。先ず、画像処理部１３５により、監視カメラ１２０で撮像され画像情報ＤＢ１５０に記憶された画像情報や映像情報（以下、映像情報で代表させる）が解析され、当該映像情報による映像に含まれる人物の動作状態の映像情報を抽出する。言語構造構築部１３６は、画像処理部１３５の画像処理により抽出された、動作状態の映像情報に基づき当該動作状態を言語化して深層格フレームを構築し、映像情報に含まれる人物に関する言語化データ（状態情報）を取得する（ステップＳ１）。
【００３８】
次に、行動判定部１３７により、ステップＳ１で取得された言語化データに基づき、映像情報に含まれる人物の行動に、後述する、本実施形態による判定の対象となる行動が含まれているか否かが判断される（ステップＳ２）。若し、判定の対象となる行動が含まれていないと判断された場合は、一連の処理が終了される。
【００３９】
一方、ステップＳ２で、判定の対象となる行動が含まれていると判断されたら、処理はステップＳ３に移行され、例えば利用者に対して警告などの通知が行われる。利用者に対する通知は、例えば送受信部１４３によりネットワーク５０を介してＡＴＭ３００に送信される。さらに、この通知を、ネットワーク５０を介して監視センタ２００や、当該ＡＴＭ３００の管理者（図示しない）といったＡＴＭ３００の監視元に送信してもよい。
【００４０】
なお、上述では、ステップＳ２で、判定の対象となる行動が含まれていないと判定された場合、ならびに、ステップＳ３の通知処理が完了した場合に一連の処理が終了されるように説明したが、実際には、これらの処理の後、処理がステップＳ１に戻されて、一連の処理が繰り返される。したがって、行動判定部１３７は、常に最新の言語化データ（状態情報）に基づき、判定の対象となる行動が含まれているか否かの判断を行うことができる。
【００４１】
＜判定項目について＞
図５は、上述した図４のステップＳ２において、言語化データに基づく判定を行う対象となる行動と判定方法とを概略的に示す。図５に示されるように、本実施形態では、ＡＴＭ３００前の利用者に係る行動のうち、下記の（１）〜（７）の７項目に示す行動を行っているか否かについて判定を行う。
（１）ＡＴＭを利用している。
（２）携帯電話で通話している。
（３）高齢者である。
（４）ＡＴＭを長時間利用している。
（５）ＡＴＭ直前にいる利用者の背後にいる他の人物が、当該利用者によるＡＴＭに対する操作を覗き込んでいる。
（６）女性である。
（７）顔を隠している。
【００４２】
なお、上述において、（３）の「高齢者である」と、（６）の「女性である」は、動作ではないが、人物の状態を示すことから、ここでは行動として定義する。
【００４３】
（１）〜（７）それぞれの行動は、概略的には、下記のようにして判定できる。（１）の、ＡＴＭを利用しているか否かは、対象の人物がＡＴＭの直前に滞在しているか否かで判定できる。（２）の、携帯電話で通話しているか否かは、対象の人物の口が開閉しており、且つ、耳の横に手があるか否かで判定できる。（３）の、高齢者であるか否かは、顔の特徴が高齢者特有の特徴を有しているか否かで判定できる。（４）の、ＡＴＭを長時間利用しているか否かは、ＡＴＭの前に長時間滞在しているか否かで判定できる。（５）の、ＡＴＭ直前にいる利用者の背後にいる他の人物が、当該利用者によるＡＴＭに対する操作を覗き込んでいるか否かは、ＡＴＭの前に１人の人物が滞在しており、且つ、ＡＴＭ前に滞在している当該人物のすぐ後ろに他の人物がいて、且つ、当該他の人物がＡＴＭの操作部を見ているか否かで判定できる。（６）の、女性であるか否かは、顔の特徴が女性特有の特徴を有しているか否かで判定できる。（７）の、顔を隠しているか否かは、対象の人物がサングラスおよびマスクのうち少なくとも一方を装着しているか否かで判定できる。
【００４４】
上述の（１）〜（７）の７項目に示す行動を行っている人物に対して判定される状況の例を、図６に示す。なお、（１）の「ＡＴＭを利用している」は、（２）〜（７）の行動について判定を行う場合の前提条件となるものである。
【００４５】
（１）ＡＴＭを利用しており、且つ、（２）携帯電話で通話を行っている人物は、振り込め詐欺に遭っているまたは遭いそうな可能性が非常に高いと判定する。（１）ＡＴＭを利用しており、且つ、（３）高齢者または（４）ＡＴＭを長時間利用している人物は、振り込め詐欺に遭っているまたは遭いそうな可能性があると判定する。また、（１）ＡＴＭの利用に際し、（２）、（３）および（４）のうち２項目または３項目の組み合わせの行動をとっている人物についても、勿論、振り込め詐欺に遭っているまたは遭いそうな可能性が非常に高いと判定することができる。
【００４６】
ＡＴＭの利用に関連して発生する、振り込め詐欺以外の事例にも、本実施形態は適用可能である。例えば、（１）ＡＴＭを利用しており、且つ、（３）高齢者または（６）女性である人物は、引ったくりに遭う可能性があると判定する。また、（１）ＡＴＭを利用しており、且つ、（５）ＡＴＭを操作している人物の後ろにいる人物が、ＡＴＭの操作を覗き込んでいる場合、ＡＴＭを操作している人物は、引ったくりに遭う可能性が非常に高いと判定する。勿論、（１）ＡＴＭを利用しており、（３）高齢者であり且つ（６）女性である人物についても、引ったくりに遭う可能性が非常に高いと判定することができる。さらに、（１）ＡＴＭを利用しており、且つ、（７）顔を隠している人物は、不審者の可能性があると判定できる。
【００４７】
図７は、上述したような各状況に対する処理の例である。対象となる人物が振り込め詐欺に遭っているまたは遭いそうな可能性があると判定した場合や、引ったくりに遭う可能性があると判定した場合は、当該人物に対して注意を喚起するメッセージを通知することができる。例えば、行動判定部１３７は、対象となる人物が振り込め詐欺に遭っているまたは遭いそうな可能性があると判定した場合、送受信部１４３からネットワーク５０を介してＡＴＭ３００に対してその旨を通知し、ＡＴＭ３００の操作表示部などに利用者の注意を喚起するようなメッセージなどを表示させるよう、ＡＴＭ３００に依頼する。
【００４８】
また、対象となる人物が振り込め詐欺に遭っているまたは遭いそうな可能性が非常に高いと判定した場合や、引ったくりに遭う可能性が非常に高いと判定した場合は、行動判定部１３７は、例えば送受信部１４３からネットワーク５０を介して、監視センタ２００に対してその旨通報する。これに限らず、ＡＴＭ３００が設置された店舗の担当者などに通知を行うようにしてもよい。さらに、状況に応じて、監視センタ２００と店舗担当者などの複数の通知先に一斉に通知を行うことも可能である。このように、行動判定部１３７は、被害に遭いそうな度合に応じて、通知先を選択することができる。
【００４９】
さらに、対象となる人物が不審者の可能性があると判定した場合は、行動判定部１３７は、ＡＴＭ３００の当該人物による利用に制限をかけることが考えられる。例えば、行動判定部１３７は、対象となる人物が不審者であると判定すると、送受信部１４３からネットワーク５０を介してＡＴＭ３００に対してその旨通知し、ＡＴＭ３００に対して、当該人物（現在の利用者）に対して利用制限をかけるよう、ＡＴＭ３００に対して依頼する。利用制限としては、例えば引き出し可能額に制限をかける、引き出しそのものを行えなくする、などが考えられる。
【００５０】
このように、ＡＴＭの利用者の状況を判定して、状況に応じた処理を行うことで、振り込め詐欺や引ったくりなどの被害を未然に食い止めることが可能となる。また、ＡＴＭの利用者が不審者である可能性が高い場合には、不正に入手した金の引き出しを阻止することができる。
【００５１】
＜各判定項目による判定方法＞
上述の（１）〜（７）の各項目についての判定は、行動判定部１３７が、監視カメラ１２０で撮像された映像情報による映像に含まれる人物に関して構築された深層格フレームを参照することで行われる。すなわち、行動判定部１３７は、当該深層格フレームのうち、対象の項目に対して予め指定された深層格を参照し、参照された深層格が表す情報が、判定項目に応じて当該深層格に対して予め設定された判定条件を満たすか否かを判断する。その結果、満たすと判断されたら、当該人物が対象の項目の行動を行っていると判定する。
【００５２】
以下、上述の図５と、図８〜図１４のフローチャートとを用いて、（１）〜（７）の各項目の判定処理について、より詳細に説明する。
【００５３】
（１）の、ＡＴＭを利用しているか否かを判定する一例の処理について、図８のフローチャートと図５とを用いて説明する。監視カメラ１２０で撮像された映像情報による映像に含まれる人物がＡＴＭ３００を利用しているか否かは、対象となる人物の映像情報に対応付けられた深層格フレームの行動名と、当該深層格フレームによる深層格のうち、場所格とに基づき判定する。判定に用いる場所格の要素は、場所名である。例えば、図５を参照し、行動名が「滞在する」、場所名が「ＡＴＭ前」である場合に、対象となる人物がＡＴＭ３００を利用していると判定する。
【００５４】
図８において、ステップＳ１０で、画像処理部１３５は、監視カメラ１２０で撮像された映像情報から顔を検出する。画像処理部１３５は、次のステップＳ１１で、検出された検出された顔について大きさを算出し、さらに次のステップＳ１２で当該顔の中心座標を算出する。そして、次のステップＳ１３で、言語構造構築部１３６は、ステップＳ１１およびステップＳ１２で算出された顔の大きさおよび中心座標に基づき人物の位置を推定し、推定された位置を示す名称と、算出された顔の中心座標とを、対象の人物の映像情報に対応付けられた深層格フレームにおける行動名を「滞在する」とし、場所格の要素（場所名、頭部座標）として保持する。
【００５５】
次のステップＳ１４では、行動判定部１３７は、ステップＳ１３で言語構造構築部１３６に保持された深層格フレームに基づき、当該人物がＡＴＭ３００の前にいるか否かを判断する。若し、行動名が「滞在する」であり、且つ、場所名が「ＡＴＭ前」であると判断したら、当該対象の人物がＡＴＭ３００を利用していると判定する（ステップＳ１５）。
【００５６】
一方、ステップＳ１４で、当該深層格フレームにおいて、行動名が「滞在する」ではないか、または、場所名が「ＡＴＭ前」ではないと判断したら、当該対象の人物がＡＴＭ３００を利用していないと判定する（ステップＳ１６）。
【００５７】
（２）の、携帯電話で通話しているか否を判定する一例の処理について、図９のフローチャートと図５とを用いて説明する。この、携帯電話で通話しているか否かの判定は、上述した、図８のフローチャートの処理によるＡＴＭ３００を利用しているか否かの判定の結果、ＡＴＭ３００を利用していると判定された人物を対象としてなされる。
【００５８】
ＡＴＭ３００を利用している人物が携帯電話で通話しているか否かは、ＡＴＭ３００を利用している人物の映像情報に対応付けられた深層格フレームにおける場所格の要素である右手座標、左手座標および頭部座標と、属性格の要素である顔情報のさらに要素の口開閉度合とに基づき判定する。例えば、図５を参照し、右手座標または左手座標と、頭部座標との間の距離が所定値Ｔ0未満であって、且つ、口開閉度合が連続開閉を示している場合に、対象となる人物が携帯電話で通話していると判断する。
【００５９】
図９において、ステップＳ２０で、画像処理部１３５は、監視カメラ１２０で撮像され得られた映像情報から顔を検出する。上述した図８のステップＳ１０の処理で得られた顔の検出結果を用いてもよい。次のステップＳ２１で、検出された顔から口を検出する。そして、ステップＳ２２で、行動判定部１３７により、口が開閉しているか否かが判定される。
【００６０】
一例として、言語構造構築部１３６は、対象となる人物について、画像処理部１３５がステップＳ２０およびステップＳ２１により所定時間分の画像を解析して得られた顔および口の状態に基づき、口の特徴点の変形が行われた回数を計測する。そして、計測結果に基づき、対象の人物の映像情報に対応付けられた深層格フレームにおける属性格の要素の顔情報のさらに要素の口開閉度合として保持する。行動判定部１３７は、この口開閉度合が連続開閉を示している場合に、口が開閉されたと判断する。
【００６１】
若し、口が開閉されていないと判断されたら、処理はステップＳ２６に移行され、携帯電話による通話が行われていないと判定する。そして、図９のフローチャートにおける一連の処理が終了される。
【００６２】
一方、ステップＳ２２で、口が開閉されていると判断されたら、処理はステップＳ２３に移行される。ステップＳ２３では、画像処理部１３５は、監視カメラ１２０で撮像され得られた映像情報に対して例えば手のパターン検出を行い、対象となる人物の手を検出する。言語構造構築部１３６は、検出された右手および左手の座標を、それぞれ、対象の人物の映像情報に対応付けられた深層格フレームにおける場所格の要素の右手座標および左手座標として保持する。そして、ステップＳ２４で、行動判定部１３７は、ステップＳ２０で検出された顔の情報と、ステップＳ２３で保持された右手座標および左手座標とを参照して、右手または左手の位置が耳の横にあるか否かを判断する。
【００６３】
若し、右手または左手が耳の横に無いと判断されたら、処理はステップＳ２６に移行され、携帯電話による通話が行われていないと判定する。一方、右手または左手が耳の横にあると判断されたら、処理はステップＳ２５に移行され、携帯電話による通話が行われていると判定する。
【００６４】
（３）の、高齢者であるか否かを判定する一例の処理について、図１０のフローチャートと図５とを用いて説明する。この、高齢者であるか否かの判定は、上述した、図８のフローチャートの処理によるＡＴＭ３００を利用しているか否かの判定の結果、ＡＴＭ３００を利用していると判定された人物に対してなされる。
【００６５】
ＡＴＭ３００を利用している人物が高齢者であるか否かは、当該人物の映像情報に対応付けられた深層格フレームにおける属性格の要素である顔情報のさらに要素の年代に基づき判定する。例えば、図５を参照し、年代が所定値Ｔ1を超えている場合に、当該人物が高齢者であると判定する。
【００６６】
図１０において、ステップＳ３０で、画像処理部１３５は、監視カメラ１２０で撮像され得られた映像情報から顔を検出する。上述した図８のステップＳ１０の処理で得られた顔の検出結果を用いてもよい。次のステップＳ３１で、検出された顔の特徴を検出し、この顔の特徴が予め学習しておいた高齢者特有の特徴（皮膚の皺の量、頬の弛み具合など）を有しているか否かを判断する（ステップＳ３２）。
【００６７】
一例として、画像処理部１３５は、学習により、顔から検出される所定の特徴と年代とを対応付けて予め記憶しておき、検出された顔の特徴に対応する年代を求める。言語構造構築部１３６は、求められた年代を、属性格における顔情報の要素である年代として保持する。行動判定部１３７は、この年代が高齢者と判断できる年代Ｔ1（例えば６０歳以上）であるか否かにより、判断を行う。
【００６８】
若し、顔の特徴が高齢者特有の特徴を有していると判断したら、処理はステップＳ３３に移行され、ＡＴＭ３００を利用している人物が高齢者であると判定する。一方、顔の特徴が高齢者特有の特徴を有していないと判断したら、処理はステップＳ３４に移行され、ＡＴＭ３００を利用している人物が高齢者ではないと判定する。
【００６９】
（４）の、ＡＴＭを長時間利用しているか否かを判定する一例の処理について、図１１のフローチャートと図５とを用いて説明する。ＡＴＭ３００を長時間利用しているか否かの判定は、上述した、図８のフローチャートの処理によるＡＴＭ３００を利用しているか否かの判定の結果、ＡＴＭ３００を利用していると判定された人物に対してなされる。
【００７０】
ＡＴＭ３００を長時間利用しているか否かは、ＡＴＭ３００を利用している人物の映像情報に対応付けられた深層格フレームにおける時間格の要素である経過時間に基づき判定する。例えば、図５を参照し、行動名が「滞在する」で、場所名が「ＡＴＭ前」の行動の経過時間が所定値Ｔ2を超えた場合に、対象となる人物によりＡＴＭ３００が長時間利用されていると判断する。
【００７１】
図１１において、ステップＳ４０で、行動判定部１３７は、上述の図８のフローチャートの処理による判定に応じて、対象となる人物がＡＴＭ３００を利用しているか否かの判断を行う。若し、図８のフローチャートにおけるステップＳ１４により当該人物がＡＴＭ３００の前にいないと判定されていたら、処理はステップＳ４４に移行され、当該人物がＡＴＭ３００を利用していないと判定する。
【００７２】
一方、ステップＳ４０で、図８のフローチャートにおけるステップＳ１４により当該人物がＡＴＭ３００の前にいると判定されていたら、当該人物がＡＴＭ３００を利用していると判断し、処理がステップＳ４１に移行される。
【００７３】
ステップＳ４１では、当該人物がＡＴＭ３００前に長時間いるか否かが判断される。例えば、言語構造構築部１３６は、図８のステップＳ１４で当該人物がＡＴＭ３００前にいると最初に判定されてから現在までの経過時間を算出し、算出された経過時間を、当該人物に関する深層格フレームにおける時間格の要素の経過時間とする。行動判定部１３７は、この経過時間が所定時間Ｔ2を超えた場合に、当該人物がＡＴＭ３００前に長時間いると判断する。
【００７４】
若し、ステップＳ４１で、当該人物がＡＴＭ３００前に長時間いると判断されたら、処理はステップＳ４２に移行され、当該人物がＡＴＭ３００を長時間利用していると判定する。一方、ステップＳ４１で、当該人物がＡＴＭ３００前に長時間いないと判断されたら、処理はステップＳ４３に移行され、当該人物がＡＴＭ３００を長時間利用していないと判定する。
【００７５】
（５）の、ＡＴＭ直前にいる利用者の背後にいる他の人物が、当該利用者によるＡＴＭに対する操作を覗き込んでいるか否かを判定する一例の処理について、図１２のフローチャートと図５とを用いて説明する。
【００７６】
利用者のＡＴＭ３００に対する操作を覗き込んでいる他の人物が存在するか否かは、先ず、監視カメラ１２０による同一の映像情報に２以上の顔が検出されたか否かが判断される。そして、２以上の顔が検出された場合に、ＡＴＭ３００の直前にいる人物Ａ（利用者）の映像情報に対応付けられた深層格フレームにおける場所格の要素である場所名および足座標と、ＡＴＭ３００の直前ではない位置にいる、人物Ｂの映像情報に対応付けられた深層格フレームにおける場所格の要素である足座標、ならびに、属性格の要素である顔情報のさらに要素の視線方向とに基づき判定する。
【００７７】
例えば、図５を参照し、人物Ａにおける場所名がＡＴＭ３００前であり、且つ、人物Ａおよび人物Ｂの足座標間の距離が所定値Ｔ3未満であり、且つ、人物Ｂの視線方向がＡＴＭ３００の方向に向いている場合に、人物ＡによるＡＴＭ３００の操作を、人物Ｂが覗き込んでいると判定する。
【００７８】
先ず、ステップＳ５０で、画像処理部１３５は、監視カメラ１２０の映像情報から顔を検出し、次のステップＳ５１で、同一の映像情報から２以上の顔が検出されたか否かが判断される。若し、１の顔しか検出されていないと判断されたら、処理はステップＳ５９に移行され、利用者のＡＴＭに対する操作を覗き込んでいる他の人物が存在しないと判定する。
【００７９】
一方、ステップＳ５１で、同一の映像情報から２以上の顔が検出されたと判断されたら、処理はステップＳ５２に移行され、顔が検出された人物それぞれの位置が推定される。ここでは、図８のステップＳ１３における人物位置の推定で生成された、各人物に対応する深層格フレームにおける場所格の要素である頭部座標に基づき、各人物の位置が推定される。
【００８０】
次のステップＳ５３では、行動判定部１３７により、顔が検出された人物のうち１人がＡＴＭ３００を利用しているか否かが判断される。上述した図８のステップＳ１５で、人物がＡＴＭ３００を利用していると判定された場合には、当該人物に対応する深層格フレームにおける場所格の要素である場所名が「ＡＴＭ前」になっている。そこで、ステップＳ５３で、顔が検出された人物に対応する深層格フレームを参照し、場所格の場所名が「ＡＴＭ前」である深層格フレームを検索し、ＡＴＭ３００を利用している人物がいるか否かを判断する。
【００８１】
若し、顔が検出された人物に対応する深層格フレームから、場所格の場所名が「ＡＴＭ前」である深層格フレームが検索されなければ、ＡＴＭ３００を利用している人物がいないと判断される。この場合、処理はステップＳ５９に移行され、利用者のＡＴＭ操作を覗き込んでいる他の人物が存在しないと判定する。
【００８２】
一方、ステップＳ５３で、顔が検出された人物に対応する深層格フレームから、場所格の場所名が「ＡＴＭ前」である深層格フレームが検索され、顔が検出された人物のうち１人はＡＴＭ３００を利用していると判断されたら、処理はステップＳ５４に移行される。ステップＳ５４で、行動判定部１３７は、上述のステップＳ５３でＡＴＭ３００を利用していると判断された人物の背後に、他の人物がいるか否かを判断する。例えば、行動判定部１３７は、各人物に対応する深層格フレームにおける頭部座標に基づき、ＡＴＭ３００を利用していると判断された人物の背後に、他の人物がいるか否かを判断する。
【００８３】
若し、人物Ａの背後に他の人物がいないと判断されたら、処理はステップＳ５９に移行され、ＡＴＭ３００の利用者（人物Ａとする）によるＡＴＭ３００に対する操作を覗き込んでいる他の人物が存在しないと判定する。
【００８４】
一方、人物Ａの背後に他の人物がいると判断されたら、処理はステップＳ５５に移行される。ステップＳ５５で、行動判定部１３７は、上述のステップＳ５２で推測された各人物の位置に基づき、人物Ａの背後にいる他の人物（人物Ｂとする）は、人物Ａと近接しているか否かを判断する。
【００８５】
例えば、画像処理部１３５は、顔が検出された人物の足を検出し、足の座標を求める。言語構造構築部１３６は、この足の座標を、顔が検出された各人物の深層格フレームにおける場所格の要素である足座標として保持する。行動判定部１３７は、ＡＴＭ３００の利用者である人物Ａの足座標と、ステップＳ５４で人物Ａの背後にいると判断された人物Ｂの足座標との間の距離を求め、足座標間の距離が所定値Ｔ3未満のときに、人物Ａと人物Ｂとが近接していると判断する。
【００８６】
若し、人物Ａと人物Ｂとが近接していないと判断されたら、処理はステップＳ５９に移行され、利用者（人物Ａ）のＡＴＭ操作を覗き込んでいる他の人物が存在しないと判定する。
【００８７】
一方、人物Ａと人物Ｂとが近接していると判断されたら、処理はステップＳ５６に移行される。ステップＳ５６では、画像処理部１３５により、ＡＴＭ３００の利用者である人物Ａの背後にいるとされた人物Ｂの映像情報に基づき、人物Ｂの顔の向きおよび眼球の位置が検出される。
【００８８】
次のステップＳ５７で、行動判定部１３７は、ステップＳ５６で検出された人物Ｂの顔の向きおよび眼球の位置に基づき、人物ＢがＡＴＭ３００の操作部を見ているか否かを判断する。例えば、言語構造構築部１３６は、検出された人物Ｂの顔の向きおよび眼球の位置から、人物Ｂの視線が向いている方向を求め、人物Ｂの深層格における属性格の要素である顔特徴のさらに要素の視線方向として保持する。行動判定部１３７は、この視線方向に基づき、人物ＢがＡＴＭ３００の操作部を見ているか否かを判断する。
【００８９】
若し、人物ＢがＡＴＭ３００の操作部を見ていないと判断されたら、処理はステップＳ５９に移行され、利用者（人物Ａ）のＡＴＭ操作を覗き込んでいる他の人物が存在しないと判定する。
【００９０】
一方、人物ＢがＡＴＭ３００の操作部を見ていると判断されたら、処理はステップＳ５８に移行され、利用者（人物Ａ）のＡＴＭ操作を覗き込んでいる他の人物が存在すると判定する。
【００９１】
（６）の、女性であるか否かを判定する一例の処理について、図１３のフローチャートと図５とを用いて説明する。この、女性であるか否かの判定は、上述した、図８のフローチャートの処理によるＡＴＭ３００を利用しているか否かの判定の結果、ＡＴＭ３００を利用していると判定された人物に対してなされる。
【００９２】
ＡＴＭ３００を利用している人物が女性であるか否かは、当該人物の映像情報に対応付けられた深層格フレームにおける属性格の要素である顔情報のさらに要素の性別に基づき判定する（図５参照）。
【００９３】
図１３において、ステップＳ６０で、画像処理部１３５は、監視カメラ１２０で撮像され得られた映像情報から顔を検出する。上述した図８のステップＳ１０の処理で得られた顔の検出結果を用いてもよい。次のステップＳ６１で、検出された顔の特徴を検出し、この顔の特徴が予め学習しておいた女性特有の特徴（化粧の有無、髪型など）を有しているか否かを判断する（ステップＳ６２）。
【００９４】
一例として、画像処理部１３５は、学習により、顔から検出される所定の特徴と性別とを対応付けて予め記憶しておき、検出された顔の特徴に対応する性別を求める。言語構造構築部１３６は、求められた性別を、属性格における顔情報の要素である性別として保持する。
【００９５】
若し、顔の特徴が女性特有の特徴を有していると判断したら、処理はステップＳ６３に移行され、ＡＴＭ３００を利用している人物が女性であると判定する。一方、顔の特徴が女性特有の特徴を有していないと判断したら、処理はステップＳ６４に移行され、ＡＴＭ３００を利用している人物が女性ではない（男性または不明）と判定する。
【００９６】
（７）の、顔を隠しているか否かを判定する一例の処理について、図１４のフローチャートと図５とを用いて説明する。この、顔を隠しているか否かの判定は、上述した、図８のフローチャートの処理によるＡＴＭ３００を利用しているか否かの判定の結果、ＡＴＭ３００を利用していると判定された人物に対してなされる。
【００９７】
ＡＴＭ３００を利用している人物が顔を隠しているか否かは、当該人物の映像情報に対応付けられた深層格フレームにおける属性格の要素である顔特徴のさらに要素のマスクの有無およびサングラス有無に基づき判定する。例えば、図５を参照し、当該人物がマスクまたはサングラスが有りの場合に、当該人物が顔を隠していると判定する。
【００９８】
図１４において、ステップＳ７０で、画像処理部１３５は、監視カメラ１２０で撮像され得られた映像情報から顔を検出する。上述した図８のステップＳ１０の処理で得られた顔の検出結果を用いてもよい。次のステップＳ７１で、検出された顔の特徴を検出する。
【００９９】
次のステップＳ７２で、画像処理部１３５は、ステップＳ７１の顔の特徴の検出において、目が検出されたか否かを判断する。若し、目が検出されなかったと判断されたら、処理はステップＳ７３に移行され、当該人物がサングラスを装着していると判断する。このとき、言語構造構築部１３６は、当該人物の深層格フレームにおける属性格の要素である顔特徴のさらに要素のサングラス有無を、サングラス有りとして保持する。一方、目が検出されたと判断されたら、処理はステップＳ７４に移行され、当該人物がサングラスを装着していないと判断する。このとき、言語構造構築部１３６は、当該人物の深層格フレームにおける属性格の要素である顔特徴のさらに要素のサングラス有無を、サングラス無しとして保持する。
【０１００】
ステップＳ７３またはステップＳ７４の処理が終了したら、処理はステップＳ７５に移行され、ステップＳ７１の顔の特徴の検出において、口が検出されたか否かを判断する。若し、口が検出されなかったと判断されたら、処理はステップＳ７６に移行され、当該人物がマスクを装着していると判断する。このとき、言語構造構築部１３６は、当該人物の深層格フレームにおける属性格の要素である顔特徴のさらに要素のマスク有無を、マスク有りとして保持する。一方、口が検出されたと判断されたら、処理はステップＳ７７に移行され、当該人物がマスクを装着していないと判断する。このとき、言語構造構築部１３６は、当該人物の深層格フレームにおける属性格の要素である顔特徴のさらに要素のマスク有無を、マスク無しとして保持する。
【０１０１】
ステップＳ７６またはステップＳ７７の処理が終了したら、処理はステップＳ７８に移行される。ステップＳ７８で、行動判定部１３７は、当該人物の深層格フレームにおける属性格の要素である顔特徴のさらに要素のサングラス有無およびマスク有無を参照し、当該人物がマスクおよびサングラスの少なくとも一方を装着しているか否かを判断する。
【０１０２】
若し、当該人物がマスクおよびサングラスの少なくとも一方を装着していると判断されたら、処理はステップＳ７９に移行され、当該人物が顔を隠していると判定する。一方、当該人物がマスクおよびサングラスの何れも装着していないと判断されたら、処理はステップＳ８０に移行され、当該人物が顔を隠していないと判定する。
【０１０３】
なお、上述では、図９〜図１４のフローチャートによる処理がそれぞれ個別に行われるように説明したが、実際には、これらの処理は、同時並列的に行われる。すなわち、画像処理部１３５において監視カメラ１２０で撮像された映像情報から顔が検出され、当該映像情報による映像に人物が含まれているとされると、言語構造構築部１３６は、その人物に関して、図３を用いて説明したような各要素を含む深層格フレームを生成する。また、画像処理部１３５における顔検出は、例えば所定時間間隔毎に継続的に行われ、言語構造構築部１３６は、顔検出毎または所定タイミング毎に、深層格フレームの生成を行う。
【０１０４】
行動判定部１３７は、上述した（１）ＡＴＭ利用中、（２）携帯電話で通話中、（３）高齢者、（４）ＡＴＭを長時間利用、（５）利用者のＡＴＭ操作を他の人物が覗き込む、（６）女性、ならびに、（７）顔を隠している、といった各行動を、対象となる人物の映像情報に対応付けられた深層格フレームを参照して、図５を用いて説明したような各判定条件による判定を行う。
【０１０５】
図１５は、行動判定部１３７により判定に用いられる深層格フレームの例を示す。図１５の例は、（５）の、利用者のＡＴＭ操作を他の人物が覗き込んでいるか否かを判定する場合の例である。なお、図１５では、煩雑さを避けるため、利用者のＡＴＭ操作を他の人物が覗き込んでいるか否かを判定する処理と関連性の薄い部分を省略している。
【０１０６】
例えば、監視カメラ１２０により撮像された映像情報による映像から、同一の時間帯にＡＴＭ３００の近傍においてＩＤがそれぞれ「００１」および「００２」で識別された人物Ａおよび人物Ｂとが検出されたものとする。画像処理部１３５の画像解析結果に基づき、言語構造構築部１３６により、人物Ａに対応する深層格フレーム４００が生成される。同様に、言語構造構築部１３６により、人物Ｂに対応する深層格フレーム４０１が生成される。
【０１０７】
なお、深層格フレームは、それぞれの人物に対して、時系列に沿って複数が生成される。深層格フレーム４００および４０１は、これら複数の深層格フレームのうち、時刻が対応するものであるとする。
【０１０８】
行動判定部１３７は、深層格フレーム４００および４０１における場所格の場所名を参照し、場所名が「ＡＴＭ前」である方の深層格フレームに対応する人物がＡＴＭ３００の利用者であると判定する。なお、場所名が「ＡＴＭ前」の深層格フレームが複数存在する場合は、例えば頭部座標や足座標を参照し、ＡＴＭ３００に近い方を、ＡＴＭ３００の利用者であると判定することができる。図１５の例では、深層格フレーム４００および４０１の両方において場所名が「ＡＴＭ前」となっているので、例えば足座標に基づきＡＴＭ３００に近い方の深層格フレーム４００に対応する人物ＡがＡＴＭ３００の利用者であると判定している。
【０１０９】
次に、行動判定部１３７は、深層格フレーム４００および４０１それぞれの足座標を参照して、人物Ａと人物Ｂとの間の距離を求め、求めた距離が所定値Ｔ3未満であるか否かを判断する。図１５の例では、当該距離が所定値Ｔ3未満であって、人物Ａと人物Ｂとは近接していると判定される。
【０１１０】
次に、行動判定部１３７は、ＡＴＭ３００の利用者ではない人物Ｂに対応する深層格フレーム４０１を参照し、属性格における要素の顔特徴のさらに要素である視線方向を求める。そして、この視線方向がＡＴＭ３００の方向を向いていると判断したら、当該人物ＢがＡＴＭ利用者である人物ＡによるＡＴＭ操作を覗き込んでいると判定する。
【０１１１】
以上説明したように、本発明の実施形態では、ＡＴＭを利用する人物の行動を解析し、当該人物が特定の行動をとっていると判断された場合に、当該人物が振り込め詐欺の被害に遭いそうだと判定している。そのため、振り込め詐欺による被害を未然に防止することができる。
【０１１２】
また、本発明の実施形態によれば、ＡＴＭを利用する人物や、ＡＴＭの近傍にいる人物の行動を解析することによって、ＡＴＭの利用に関連する他の被害も未然に防止することができる。
【０１１３】
さらに、本発明の実施形態によれば、ＡＴＭを利用する人物や、ＡＴＭの近傍にいる人物の行動を解析することによって、不審者を検出することも可能である。
【符号の説明】
【０１１４】
１００ 警備装置
１１０ センサ
１２０ 監視カメラ
１３０ 警備操作部
１３５ 画像処理部
１３６ 言語構造構築部
１３７ 行動判定部
１５０ 画像情報ＤＢ
１６０ 状態情報ＤＢ
２００ 監視センタ
３００ ＡＴＭ
【技術分野】
【０００１】
本発明は、監視カメラを用いて現金自動預払機の周辺を監視する監視装置および監視方法に関し、特に、振り込め詐欺対策に用いて好適な監視装置および監視方法に関する。
【背景技術】
【０００２】
従来から、カードなどを用いて現金の引き出しや預け入れを無人で行う現金自動預払機(ＡＴＭ：Automatic Teller Machine)を利用した犯罪が多発している。このような犯罪の例として、ＡＴＭの利用者が暗証番号を入力中に、利用者の背後から覗き込んで暗証番号を盗み見るというものや、ＡＴＭによって現金を引き出した直後を狙い、引き出した現金を奪うという、所謂引ったくり行為などがある。さらに、詐欺行為などにより被害者にＡＴＭから金を振り込ませるといったことも行われる。
【０００３】
このような、ＡＴＭを利用した犯罪を防止するための対策が様々に提案されている。例えば、特許文献１には、来訪者の顔の映像を取り込んで顔の特徴部分を抽出し、抽出された顔の特徴部分の情報に基づき当該来訪者が不審人物か否かを判定する技術が記載されている。来訪者が不審人物であると判定された場合に、その旨をＡＴＭの管理人や利用者などに通知することで、ＡＴＭを利用した犯罪を防止することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２６４８０５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年では、ＡＴＭを利用した振り込め詐欺が問題となっている。振り込め詐欺は、近親者の情愛につけ込み、人と社会の信頼関係を逆手にとるなどきわめて卑劣な犯罪である。このような振り込め詐欺を未然に防ぐための対策が、早急に必要とされている。
【０００６】
振り込め詐欺の場合、ＡＴＭは、被害者が指定の口座および金額による振り込みを行う場合と、詐欺を仕掛けた側が被害者により振り込まれた金を引き出す場合とに利用される。ＡＴＭの利用者の中から振り込め詐欺の被害に遭いそうな人物、すなわち、振り込め詐欺の指示に従い指定の口座および金額による振り込みを行おうとしている人物を検出できれば、振り込め詐欺による被害を未然に防ぐことができる。
【０００７】
例えば、上述した特許文献１による方法は、ＡＴＭの利用者の中から詐欺を仕掛けた側の人物を検出する場合に対しては、有効であると考えられる。すなわち、特許文献１によれば、詐欺を仕掛けた側の人物は、監視カメラなどによる録画や、公衆の目撃の可能性を少なくするために、帽子やサングラス、マスクなどで顔を容易に判別できないようにしている場合が多いので、これを不審人物の特徴として検出を行う。
【０００８】
しかしながら、上述した特許文献１による方法は、あくまで犯罪を犯す可能性のあると考えられる不審人物の検出を行うためのものであって、犯罪の被害に遭いそうな人物を検出するものではなかった。
【０００９】
本発明は、上記に鑑みてなされたものであって、振り込め詐欺などの犯罪による被害を未然に防ぐことが可能な監視装置および監視方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、現金の預け入れおよび引き出しを行う現金自動預払機の周辺を監視する監視装置であって、現金自動預払機の周辺を撮像するための撮像手段が撮像した人物の画像情報を記憶する画像情報記憶手段と、画像情報を解析して人物の動作状態を抽出し、抽出した人物の動作状態を表す情報であって、人物の動作の種類を表す動詞と人物の動作に関連する名詞とを含み、動詞に対する名詞の意味関係を表した状態情報を、画像情報記憶手段が記憶する画像情報に対応付けて記憶する状態情報記憶手段と、状態情報記憶手段に記憶された状態情報を参照し、状態情報が予め指定された条件を満たす場合に、状態情報に対応する人物が犯罪の被害に遭いそうであると判定する判定手段とを有することを特徴とする。
【００１１】
また、本発明は、現金の預け入れおよび引き出しを行う現金自動預払機の周辺を監視する監視方法であって、現金自動預払機の周辺を撮像するための撮像手段が撮像した人物の画像情報を画像情報記憶手段に記憶するステップと、画像情報を解析して人物の動作状態を抽出し、抽出した人物の動作状態を表す情報であって、人物の動作の種類を表す動詞と人物の動作に関連する名詞とを含み、動詞に対する名詞の意味関係を表した状態情報を、画像情報記憶手段が記憶する画像情報に対応付けて状態情報記憶手段に記憶するステップと、状態情報記憶手段に記憶された状態情報を参照し、状態情報が予め指定された条件を満たす場合に、状態情報に対応する人物が犯罪の被害に遭いそうであると判定する判定ステップとを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、現金自動預払機を利用する人物の動作を示す状態情報が予め指定された条件を満たす場合に、当該人物が振り込め詐欺などの犯罪による被害に遭いそうであると判定するようにしているため、振り込め詐欺などの犯罪による被害を未然に防ぐことができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施形態に適用可能な監視システムの一例の構成を示すブロック図である。
【図２】図２は、状態情報ＤＢに記憶される状態情報のデータ構造の一例を概略的に示す略線図である。
【図３】図３は、本実施形態による状態情報のデータ構造の一例をより具体的に示す略線図である。
【図４】図４は、本実施形態による判定処理を概略的に示す一例のフローチャートである。
【図５】図５は、本実施形態による、言語化データに基づく判定を行う対象となる行動と判定方法とを概略的に示す略線図である。
【図６】図６は、判定を行う各項目に示す行動を行っている人物に対して判定される状況の例を示す略線図である。
【図７】図７は、判定を行う各項目に示す行動を行っている人物に対して判定される各状況に対する処理の例を示す略線図である。
【図８】図８は、ＡＴＭを利用しているか否かを判定する一例の処理を示すフローチャートである。
【図９】図９は、携帯電話で通話しているか否を判定する一例の処理を示すフローチャートである。
【図１０】図１０は、高齢者であるか否かを判定する一例の処理を示すフローチャートである。
【図１１】図１１は、ＡＴＭを長時間利用しているか否かを判定する一例の処理を示すフローチャートである。
【図１２】図１２は、ＡＴＭ直前にいる利用者の背後にいる他の人物が、当該利用者によるＡＴＭに対する操作を覗き込んでいるか否かを判定する一例の処理を示すフローチャートである。
【図１３】図１３は、女性であるか否かを判定する一例の処理を示すフローチャートである。
【図１４】図１４は、顔を隠しているか否かを判定する一例の処理を示すフローチャートである。
【図１５】図１５は、行動の判定に用いられる深層格フレームの例を示す略線図である。
【発明を実施するための形態】
【００１４】
＜本発明の概略＞
以下に添付図面を参照して、この発明に係る監視装置および監視方法の最良な実施形態を詳細に説明する。本発明では、現金自動預払機（以下、ＡＴＭ）に対して設置した監視カメラで撮像された映像を解析し、ＡＴＭの利用者が振り込め詐欺の被害に遭いそうな人物か否か、すなわち、当該利用者が振り込め詐欺による振り込みを行おうとしていると考えられるか否かを判定する。当該利用者が振り込め詐欺の被害に遭いそうであると判定された場合、ＡＴＭの管理者などに通知すると共に、ＡＴＭの表示部に当該利用者に対して注意を喚起する表示を行う。
【００１５】
＜本発明の実施形態に適用可能なシステムについて＞
図１は、本発明の実施形態に適用可能な監視システムの一例の構成を示す。図１に示すように、監視システムは、警備装置１００と監視センタ２００とを備えている。警備装置１００と監視センタ２００は、電話回線、無線ネットワーク、インターネットなどのネットワーク５０を介して接続されている。また、ネットワーク５０には、ＡＴＭ３００が接続される。ＡＴＭ３００は、警備装置１００に対して直接的に接続してもよい。
【００１６】
監視センタ２００は、監視領域の異常を検知した警備装置１００からの通報を受け、待機中の警備員に対して異常が検知された監視領域（不図示）へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。
【００１７】
警備装置１００は、センサ１１０と、監視カメラ１２０と、警備操作部１３０とを備えている。
【００１８】
センサ１１０は、警備対象である監視領域に設置されており、主に侵入者等の異常を検知する目的で設置された人感センサである。センサ１１０は、人の存在や扉の開閉を検知した場合に検知信号を出力する。センサ１１０は、例えば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検知する電波センサ、およびマグネットにより扉の開閉を検出するマグネットセンサなどの監視領域の異常を検出する各種センサによって構成できる。
【００１９】
監視カメラ１２０は、警備対象である監視領域を撮像する。本実施形態では、監視カメラ１２０は、図示されないＡＴＭ３００の利用者および当該利用者の周囲を監視領域とするように設置される。監視カメラ１２０で撮像して得られた画像情報や映像情報は、後述する画像情報ＤＢ（データベース）１５０に記憶される。
【００２０】
警備操作部１３０において、検知情報受信部１３１は、センサ１１０によって異常が検知された場合に送出される検知情報を受信する。検知情報は、センサ１１０から送出される検知信号であり、センサ１１０が複数設置されている場合は、検知信号およびセンサを識別するセンサＩＤなども含まれる。
【００２１】
操作パネル１７０は、警備装置１００に関する情報が表示され、警備装置１００に対して情報が入力される。操作パネル１７０は、ボタンの押下等によって警備モードまたは警備解除モードのいずれかの警備状態を入力する。操作パネル制御部１３４は、操作パネル１７０への表示情報の出力や、操作パネル１７０から入力された入力情報の取得などの操作パネル１７０に対する制御を行う。
【００２２】
警備状態記憶部１３２は、現在の警備装置１００の警備モードである警備状態または警備解除状態のいずれかを記憶するＨＤＤやメモリなどの記憶媒体である。警備状態切替部１３３は、操作パネル１７０が入力を受け付けた警備モードの切替信号が操作パネル制御部１３４によって制御され、制御された切替信号に従って、現在の警備モードを警備状態記憶部１３２に格納する。
【００２３】
画像情報ＤＢ１５０は、監視カメラ１２０が撮像した画像情報や映像情報を、その撮像された時刻（例えば、撮像開始時刻、撮像終了時刻）および後述する言語構造構築部１３６により構築された状態情報の深層格フレームＩＤと共に記憶する。画像情報ＤＢ１５０は、ハードディスクドライブやメモリなどの記憶媒体において構築されている。
【００２４】
画像処理部１３５は、画像情報ＤＢ１５０に記憶された、監視カメラ１２０によって撮像された画像情報や映像情報を解析し、撮像された画像に映った物体の動作状態の画像情報や映像情報を抽出する。例えば、画像処理部１３５は、撮像された画像に人物が映っている場合には、肌領域の検出などにより人物を特定し、特定した人物の動作（例えば、ＡＴＭ３００に向かって歩行している状態）の画像情報や映像情報を抽出する。
【００２５】
言語構造構築部１３６は、画像情報ＤＢ１５０に記憶された画像情報や映像情報から画像処理部１３５により抽出された物体の動作状態の画像情報や映像情報に基づき、後述する深層格フレームによって表された状態情報を構築する。すなわち、言語構造構築部１３６は、物体の動作状態の画像情報や映像情報に基づき深層格フレームの各要素を抽出し、当該動作状態を言語化する。
【００２６】
状態情報ＤＢ１６０は、物体の動作状態を深層格フレーム構造で表した状態情報を、画像情報ＤＢ１５０に記憶されている画像情報や映像情報に対応付けて記憶するものであり、ＨＤＤやメモリ等の記憶媒体に記憶されている。なお、深層格フレーム（以下、単に格フレームとも言う）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造のことである。具体的には、画像情報ＤＢ１５０に記憶される画像情報や映像情報と状態情報ＤＢ１６０とは、後述する深層格フレームＩＤによって対応付けられている。
【００２７】
行動判定部１３７は、監視カメラ１２０で撮像されて得られた画像情報や映像情報に応じて言語構造構築部１３６で構築された状態情報に基づき、当該画像情報や映像情報による画像に含まれる人物の動作などを判定する。
【００２８】
送受信部１４３は、ネットワーク５０を介して監視センタ２００との間で各種情報を送受信するものである。例えば、送受信部１４３は、センサ１１０により異常が検知された場合に、監視領域に異常が発生した旨の警報を監視センタ２００に送信する。また、送受信部１４３は、行動判定部１３７で判定された所定の行動などに応じた通知を監視センタ２００に送信する。
【００２９】
また、送受信部１４３は、ネットワーク５０を介してＡＴＭ３００との間での情報の送受信も行うことができる。例えば、送受信部１４３は、後述する行動判定部１３７による判定結果に応じたメッセージをＡＴＭ３００に送信することができる。
【００３０】
図２は、状態情報ＤＢ１６０に記憶される状態情報のデータ構造の一例を概略的に示す。図２に示すように、状態情報は、格フレームを識別する格フレームＩＤと、動作（行動）の種類を表す行動名と、動作に関連する名詞である格要素（深層格）とを含んでいる。深層格には、主格、属性格、場所格、時間格、源泉格、目標格、対象格、および道具格が含まれる。それぞれの深層格は、１または複数の要素を含む。深層格に含まれる要素は、さらに１または複数の要素を含むことができる。
【００３１】
図３は、本実施形態による状態情報のデータ構造の一例をより具体的に示す。主格は、動作を引き起こす主体を表す。主格は、追跡番号および認証名を要素に含む。
【００３２】
属性格は、主格に関する情報を要素に含む。この例では、属性格は、要素として顔特徴、体特徴および歩行特徴を含み、各要素は、さらに要素を含む。顔特徴は、顔検出信頼度、顔特徴、口開閉度合、視線方向、マスクの有無、サングラスの有無、性別、年代（年齢範囲）および頭色（頭髪色）を要素に含む。なお、口開閉度合は、例えば、顔検出の結果を時系列的に並べた場合に、口の開状態と閉状態とが単位時間当たりに繰り返される回数に基づく。体特徴は、身長、上半身色および下半身色を要素に含む。また、歩行特徴は、歩幅、体型、脚長および歩速（歩行速度）を要素に含む。
【００３３】
場所格は、動作や状態が起こる場所を表す。この例では、場所格は、場所名と、人体の各部の座標、例えば頭部座標、体座標、足座標、右手座標、左手座標および重心座標を要素に含む。時間格は、動作や状態が起こる時間を要素に含む。この例では、時間格は、日時と経過時間とを要素に含む。
【００３４】
源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作などを行う起点の位置を表す場所情報、主格が移動や動作などを開始する時間を表す時間情報、ならびに、起点での主格の属性を表す属性情報を含む。目標格は、上述の源泉格に対応し、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作などを行う終点の位置を表す場所情報、主格が移動や動作などを終了した時間を表す時間情報、ならびに、終点での主格の属性を表す属性情報を含む。
【００３５】
対象格は、動作や状態の対象となる事物を表す。この例では、対象格は、追跡番号および認証名を要素に含む。道具格は、動作の補助的手段を表す。この例では、道具格は、追跡番号および認証名を要素に含む。
【００３６】
深層格フレームは、例えば、対象となる人物について画像情報や映像情報に基づき格要素を検出し、検出された要素に基づき所定の規則に従い行動名を定義して生成する。深層格フレームの生成は、例えば、対象となる人物が映像情報から検出されている間は、所定間隔で繰り返し行われる。要素の情報が以前に生成した深層格フレームと異なる場合、所定の規則に従い、要素の差異に基づく行動名が定義される。
【００３７】
＜本発明の実施形態によるＡＴＭ前での行動判定＞
次に、本発明の実施形態による、ＡＴＭ前での行動判定について、より詳細に説明する。図４は、本実施形態による判定処理を概略的に示す一例のフローチャートである。先ず、画像処理部１３５により、監視カメラ１２０で撮像され画像情報ＤＢ１５０に記憶された画像情報や映像情報（以下、映像情報で代表させる）が解析され、当該映像情報による映像に含まれる人物の動作状態の映像情報を抽出する。言語構造構築部１３６は、画像処理部１３５の画像処理により抽出された、動作状態の映像情報に基づき当該動作状態を言語化して深層格フレームを構築し、映像情報に含まれる人物に関する言語化データ（状態情報）を取得する（ステップＳ１）。
【００３８】
次に、行動判定部１３７により、ステップＳ１で取得された言語化データに基づき、映像情報に含まれる人物の行動に、後述する、本実施形態による判定の対象となる行動が含まれているか否かが判断される（ステップＳ２）。若し、判定の対象となる行動が含まれていないと判断された場合は、一連の処理が終了される。
【００３９】
一方、ステップＳ２で、判定の対象となる行動が含まれていると判断されたら、処理はステップＳ３に移行され、例えば利用者に対して警告などの通知が行われる。利用者に対する通知は、例えば送受信部１４３によりネットワーク５０を介してＡＴＭ３００に送信される。さらに、この通知を、ネットワーク５０を介して監視センタ２００や、当該ＡＴＭ３００の管理者（図示しない）といったＡＴＭ３００の監視元に送信してもよい。
【００４０】
なお、上述では、ステップＳ２で、判定の対象となる行動が含まれていないと判定された場合、ならびに、ステップＳ３の通知処理が完了した場合に一連の処理が終了されるように説明したが、実際には、これらの処理の後、処理がステップＳ１に戻されて、一連の処理が繰り返される。したがって、行動判定部１３７は、常に最新の言語化データ（状態情報）に基づき、判定の対象となる行動が含まれているか否かの判断を行うことができる。
【００４１】
＜判定項目について＞
図５は、上述した図４のステップＳ２において、言語化データに基づく判定を行う対象となる行動と判定方法とを概略的に示す。図５に示されるように、本実施形態では、ＡＴＭ３００前の利用者に係る行動のうち、下記の（１）〜（７）の７項目に示す行動を行っているか否かについて判定を行う。
（１）ＡＴＭを利用している。
（２）携帯電話で通話している。
（３）高齢者である。
（４）ＡＴＭを長時間利用している。
（５）ＡＴＭ直前にいる利用者の背後にいる他の人物が、当該利用者によるＡＴＭに対する操作を覗き込んでいる。
（６）女性である。
（７）顔を隠している。
【００４２】
なお、上述において、（３）の「高齢者である」と、（６）の「女性である」は、動作ではないが、人物の状態を示すことから、ここでは行動として定義する。
【００４３】
（１）〜（７）それぞれの行動は、概略的には、下記のようにして判定できる。（１）の、ＡＴＭを利用しているか否かは、対象の人物がＡＴＭの直前に滞在しているか否かで判定できる。（２）の、携帯電話で通話しているか否かは、対象の人物の口が開閉しており、且つ、耳の横に手があるか否かで判定できる。（３）の、高齢者であるか否かは、顔の特徴が高齢者特有の特徴を有しているか否かで判定できる。（４）の、ＡＴＭを長時間利用しているか否かは、ＡＴＭの前に長時間滞在しているか否かで判定できる。（５）の、ＡＴＭ直前にいる利用者の背後にいる他の人物が、当該利用者によるＡＴＭに対する操作を覗き込んでいるか否かは、ＡＴＭの前に１人の人物が滞在しており、且つ、ＡＴＭ前に滞在している当該人物のすぐ後ろに他の人物がいて、且つ、当該他の人物がＡＴＭの操作部を見ているか否かで判定できる。（６）の、女性であるか否かは、顔の特徴が女性特有の特徴を有しているか否かで判定できる。（７）の、顔を隠しているか否かは、対象の人物がサングラスおよびマスクのうち少なくとも一方を装着しているか否かで判定できる。
【００４４】
上述の（１）〜（７）の７項目に示す行動を行っている人物に対して判定される状況の例を、図６に示す。なお、（１）の「ＡＴＭを利用している」は、（２）〜（７）の行動について判定を行う場合の前提条件となるものである。
【００４５】
（１）ＡＴＭを利用しており、且つ、（２）携帯電話で通話を行っている人物は、振り込め詐欺に遭っているまたは遭いそうな可能性が非常に高いと判定する。（１）ＡＴＭを利用しており、且つ、（３）高齢者または（４）ＡＴＭを長時間利用している人物は、振り込め詐欺に遭っているまたは遭いそうな可能性があると判定する。また、（１）ＡＴＭの利用に際し、（２）、（３）および（４）のうち２項目または３項目の組み合わせの行動をとっている人物についても、勿論、振り込め詐欺に遭っているまたは遭いそうな可能性が非常に高いと判定することができる。
【００４６】
ＡＴＭの利用に関連して発生する、振り込め詐欺以外の事例にも、本実施形態は適用可能である。例えば、（１）ＡＴＭを利用しており、且つ、（３）高齢者または（６）女性である人物は、引ったくりに遭う可能性があると判定する。また、（１）ＡＴＭを利用しており、且つ、（５）ＡＴＭを操作している人物の後ろにいる人物が、ＡＴＭの操作を覗き込んでいる場合、ＡＴＭを操作している人物は、引ったくりに遭う可能性が非常に高いと判定する。勿論、（１）ＡＴＭを利用しており、（３）高齢者であり且つ（６）女性である人物についても、引ったくりに遭う可能性が非常に高いと判定することができる。さらに、（１）ＡＴＭを利用しており、且つ、（７）顔を隠している人物は、不審者の可能性があると判定できる。
【００４７】
図７は、上述したような各状況に対する処理の例である。対象となる人物が振り込め詐欺に遭っているまたは遭いそうな可能性があると判定した場合や、引ったくりに遭う可能性があると判定した場合は、当該人物に対して注意を喚起するメッセージを通知することができる。例えば、行動判定部１３７は、対象となる人物が振り込め詐欺に遭っているまたは遭いそうな可能性があると判定した場合、送受信部１４３からネットワーク５０を介してＡＴＭ３００に対してその旨を通知し、ＡＴＭ３００の操作表示部などに利用者の注意を喚起するようなメッセージなどを表示させるよう、ＡＴＭ３００に依頼する。
【００４８】
また、対象となる人物が振り込め詐欺に遭っているまたは遭いそうな可能性が非常に高いと判定した場合や、引ったくりに遭う可能性が非常に高いと判定した場合は、行動判定部１３７は、例えば送受信部１４３からネットワーク５０を介して、監視センタ２００に対してその旨通報する。これに限らず、ＡＴＭ３００が設置された店舗の担当者などに通知を行うようにしてもよい。さらに、状況に応じて、監視センタ２００と店舗担当者などの複数の通知先に一斉に通知を行うことも可能である。このように、行動判定部１３７は、被害に遭いそうな度合に応じて、通知先を選択することができる。
【００４９】
さらに、対象となる人物が不審者の可能性があると判定した場合は、行動判定部１３７は、ＡＴＭ３００の当該人物による利用に制限をかけることが考えられる。例えば、行動判定部１３７は、対象となる人物が不審者であると判定すると、送受信部１４３からネットワーク５０を介してＡＴＭ３００に対してその旨通知し、ＡＴＭ３００に対して、当該人物（現在の利用者）に対して利用制限をかけるよう、ＡＴＭ３００に対して依頼する。利用制限としては、例えば引き出し可能額に制限をかける、引き出しそのものを行えなくする、などが考えられる。
【００５０】
このように、ＡＴＭの利用者の状況を判定して、状況に応じた処理を行うことで、振り込め詐欺や引ったくりなどの被害を未然に食い止めることが可能となる。また、ＡＴＭの利用者が不審者である可能性が高い場合には、不正に入手した金の引き出しを阻止することができる。
【００５１】
＜各判定項目による判定方法＞
上述の（１）〜（７）の各項目についての判定は、行動判定部１３７が、監視カメラ１２０で撮像された映像情報による映像に含まれる人物に関して構築された深層格フレームを参照することで行われる。すなわち、行動判定部１３７は、当該深層格フレームのうち、対象の項目に対して予め指定された深層格を参照し、参照された深層格が表す情報が、判定項目に応じて当該深層格に対して予め設定された判定条件を満たすか否かを判断する。その結果、満たすと判断されたら、当該人物が対象の項目の行動を行っていると判定する。
【００５２】
以下、上述の図５と、図８〜図１４のフローチャートとを用いて、（１）〜（７）の各項目の判定処理について、より詳細に説明する。
【００５３】
（１）の、ＡＴＭを利用しているか否かを判定する一例の処理について、図８のフローチャートと図５とを用いて説明する。監視カメラ１２０で撮像された映像情報による映像に含まれる人物がＡＴＭ３００を利用しているか否かは、対象となる人物の映像情報に対応付けられた深層格フレームの行動名と、当該深層格フレームによる深層格のうち、場所格とに基づき判定する。判定に用いる場所格の要素は、場所名である。例えば、図５を参照し、行動名が「滞在する」、場所名が「ＡＴＭ前」である場合に、対象となる人物がＡＴＭ３００を利用していると判定する。
【００５４】
図８において、ステップＳ１０で、画像処理部１３５は、監視カメラ１２０で撮像された映像情報から顔を検出する。画像処理部１３５は、次のステップＳ１１で、検出された検出された顔について大きさを算出し、さらに次のステップＳ１２で当該顔の中心座標を算出する。そして、次のステップＳ１３で、言語構造構築部１３６は、ステップＳ１１およびステップＳ１２で算出された顔の大きさおよび中心座標に基づき人物の位置を推定し、推定された位置を示す名称と、算出された顔の中心座標とを、対象の人物の映像情報に対応付けられた深層格フレームにおける行動名を「滞在する」とし、場所格の要素（場所名、頭部座標）として保持する。
【００５５】
次のステップＳ１４では、行動判定部１３７は、ステップＳ１３で言語構造構築部１３６に保持された深層格フレームに基づき、当該人物がＡＴＭ３００の前にいるか否かを判断する。若し、行動名が「滞在する」であり、且つ、場所名が「ＡＴＭ前」であると判断したら、当該対象の人物がＡＴＭ３００を利用していると判定する（ステップＳ１５）。
【００５６】
一方、ステップＳ１４で、当該深層格フレームにおいて、行動名が「滞在する」ではないか、または、場所名が「ＡＴＭ前」ではないと判断したら、当該対象の人物がＡＴＭ３００を利用していないと判定する（ステップＳ１６）。
【００５７】
（２）の、携帯電話で通話しているか否を判定する一例の処理について、図９のフローチャートと図５とを用いて説明する。この、携帯電話で通話しているか否かの判定は、上述した、図８のフローチャートの処理によるＡＴＭ３００を利用しているか否かの判定の結果、ＡＴＭ３００を利用していると判定された人物を対象としてなされる。
【００５８】
ＡＴＭ３００を利用している人物が携帯電話で通話しているか否かは、ＡＴＭ３００を利用している人物の映像情報に対応付けられた深層格フレームにおける場所格の要素である右手座標、左手座標および頭部座標と、属性格の要素である顔情報のさらに要素の口開閉度合とに基づき判定する。例えば、図５を参照し、右手座標または左手座標と、頭部座標との間の距離が所定値Ｔ0未満であって、且つ、口開閉度合が連続開閉を示している場合に、対象となる人物が携帯電話で通話していると判断する。
【００５９】
図９において、ステップＳ２０で、画像処理部１３５は、監視カメラ１２０で撮像され得られた映像情報から顔を検出する。上述した図８のステップＳ１０の処理で得られた顔の検出結果を用いてもよい。次のステップＳ２１で、検出された顔から口を検出する。そして、ステップＳ２２で、行動判定部１３７により、口が開閉しているか否かが判定される。
【００６０】
一例として、言語構造構築部１３６は、対象となる人物について、画像処理部１３５がステップＳ２０およびステップＳ２１により所定時間分の画像を解析して得られた顔および口の状態に基づき、口の特徴点の変形が行われた回数を計測する。そして、計測結果に基づき、対象の人物の映像情報に対応付けられた深層格フレームにおける属性格の要素の顔情報のさらに要素の口開閉度合として保持する。行動判定部１３７は、この口開閉度合が連続開閉を示している場合に、口が開閉されたと判断する。
【００６１】
若し、口が開閉されていないと判断されたら、処理はステップＳ２６に移行され、携帯電話による通話が行われていないと判定する。そして、図９のフローチャートにおける一連の処理が終了される。
【００６２】
一方、ステップＳ２２で、口が開閉されていると判断されたら、処理はステップＳ２３に移行される。ステップＳ２３では、画像処理部１３５は、監視カメラ１２０で撮像され得られた映像情報に対して例えば手のパターン検出を行い、対象となる人物の手を検出する。言語構造構築部１３６は、検出された右手および左手の座標を、それぞれ、対象の人物の映像情報に対応付けられた深層格フレームにおける場所格の要素の右手座標および左手座標として保持する。そして、ステップＳ２４で、行動判定部１３７は、ステップＳ２０で検出された顔の情報と、ステップＳ２３で保持された右手座標および左手座標とを参照して、右手または左手の位置が耳の横にあるか否かを判断する。
【００６３】
若し、右手または左手が耳の横に無いと判断されたら、処理はステップＳ２６に移行され、携帯電話による通話が行われていないと判定する。一方、右手または左手が耳の横にあると判断されたら、処理はステップＳ２５に移行され、携帯電話による通話が行われていると判定する。
【００６４】
（３）の、高齢者であるか否かを判定する一例の処理について、図１０のフローチャートと図５とを用いて説明する。この、高齢者であるか否かの判定は、上述した、図８のフローチャートの処理によるＡＴＭ３００を利用しているか否かの判定の結果、ＡＴＭ３００を利用していると判定された人物に対してなされる。
【００６５】
ＡＴＭ３００を利用している人物が高齢者であるか否かは、当該人物の映像情報に対応付けられた深層格フレームにおける属性格の要素である顔情報のさらに要素の年代に基づき判定する。例えば、図５を参照し、年代が所定値Ｔ1を超えている場合に、当該人物が高齢者であると判定する。
【００６６】
図１０において、ステップＳ３０で、画像処理部１３５は、監視カメラ１２０で撮像され得られた映像情報から顔を検出する。上述した図８のステップＳ１０の処理で得られた顔の検出結果を用いてもよい。次のステップＳ３１で、検出された顔の特徴を検出し、この顔の特徴が予め学習しておいた高齢者特有の特徴（皮膚の皺の量、頬の弛み具合など）を有しているか否かを判断する（ステップＳ３２）。
【００６７】
一例として、画像処理部１３５は、学習により、顔から検出される所定の特徴と年代とを対応付けて予め記憶しておき、検出された顔の特徴に対応する年代を求める。言語構造構築部１３６は、求められた年代を、属性格における顔情報の要素である年代として保持する。行動判定部１３７は、この年代が高齢者と判断できる年代Ｔ1（例えば６０歳以上）であるか否かにより、判断を行う。
【００６８】
若し、顔の特徴が高齢者特有の特徴を有していると判断したら、処理はステップＳ３３に移行され、ＡＴＭ３００を利用している人物が高齢者であると判定する。一方、顔の特徴が高齢者特有の特徴を有していないと判断したら、処理はステップＳ３４に移行され、ＡＴＭ３００を利用している人物が高齢者ではないと判定する。
【００６９】
（４）の、ＡＴＭを長時間利用しているか否かを判定する一例の処理について、図１１のフローチャートと図５とを用いて説明する。ＡＴＭ３００を長時間利用しているか否かの判定は、上述した、図８のフローチャートの処理によるＡＴＭ３００を利用しているか否かの判定の結果、ＡＴＭ３００を利用していると判定された人物に対してなされる。
【００７０】
ＡＴＭ３００を長時間利用しているか否かは、ＡＴＭ３００を利用している人物の映像情報に対応付けられた深層格フレームにおける時間格の要素である経過時間に基づき判定する。例えば、図５を参照し、行動名が「滞在する」で、場所名が「ＡＴＭ前」の行動の経過時間が所定値Ｔ2を超えた場合に、対象となる人物によりＡＴＭ３００が長時間利用されていると判断する。
【００７１】
図１１において、ステップＳ４０で、行動判定部１３７は、上述の図８のフローチャートの処理による判定に応じて、対象となる人物がＡＴＭ３００を利用しているか否かの判断を行う。若し、図８のフローチャートにおけるステップＳ１４により当該人物がＡＴＭ３００の前にいないと判定されていたら、処理はステップＳ４４に移行され、当該人物がＡＴＭ３００を利用していないと判定する。
【００７２】
一方、ステップＳ４０で、図８のフローチャートにおけるステップＳ１４により当該人物がＡＴＭ３００の前にいると判定されていたら、当該人物がＡＴＭ３００を利用していると判断し、処理がステップＳ４１に移行される。
【００７３】
ステップＳ４１では、当該人物がＡＴＭ３００前に長時間いるか否かが判断される。例えば、言語構造構築部１３６は、図８のステップＳ１４で当該人物がＡＴＭ３００前にいると最初に判定されてから現在までの経過時間を算出し、算出された経過時間を、当該人物に関する深層格フレームにおける時間格の要素の経過時間とする。行動判定部１３７は、この経過時間が所定時間Ｔ2を超えた場合に、当該人物がＡＴＭ３００前に長時間いると判断する。
【００７４】
若し、ステップＳ４１で、当該人物がＡＴＭ３００前に長時間いると判断されたら、処理はステップＳ４２に移行され、当該人物がＡＴＭ３００を長時間利用していると判定する。一方、ステップＳ４１で、当該人物がＡＴＭ３００前に長時間いないと判断されたら、処理はステップＳ４３に移行され、当該人物がＡＴＭ３００を長時間利用していないと判定する。
【００７５】
（５）の、ＡＴＭ直前にいる利用者の背後にいる他の人物が、当該利用者によるＡＴＭに対する操作を覗き込んでいるか否かを判定する一例の処理について、図１２のフローチャートと図５とを用いて説明する。
【００７６】
利用者のＡＴＭ３００に対する操作を覗き込んでいる他の人物が存在するか否かは、先ず、監視カメラ１２０による同一の映像情報に２以上の顔が検出されたか否かが判断される。そして、２以上の顔が検出された場合に、ＡＴＭ３００の直前にいる人物Ａ（利用者）の映像情報に対応付けられた深層格フレームにおける場所格の要素である場所名および足座標と、ＡＴＭ３００の直前ではない位置にいる、人物Ｂの映像情報に対応付けられた深層格フレームにおける場所格の要素である足座標、ならびに、属性格の要素である顔情報のさらに要素の視線方向とに基づき判定する。
【００７７】
例えば、図５を参照し、人物Ａにおける場所名がＡＴＭ３００前であり、且つ、人物Ａおよび人物Ｂの足座標間の距離が所定値Ｔ3未満であり、且つ、人物Ｂの視線方向がＡＴＭ３００の方向に向いている場合に、人物ＡによるＡＴＭ３００の操作を、人物Ｂが覗き込んでいると判定する。
【００７８】
先ず、ステップＳ５０で、画像処理部１３５は、監視カメラ１２０の映像情報から顔を検出し、次のステップＳ５１で、同一の映像情報から２以上の顔が検出されたか否かが判断される。若し、１の顔しか検出されていないと判断されたら、処理はステップＳ５９に移行され、利用者のＡＴＭに対する操作を覗き込んでいる他の人物が存在しないと判定する。
【００７９】
一方、ステップＳ５１で、同一の映像情報から２以上の顔が検出されたと判断されたら、処理はステップＳ５２に移行され、顔が検出された人物それぞれの位置が推定される。ここでは、図８のステップＳ１３における人物位置の推定で生成された、各人物に対応する深層格フレームにおける場所格の要素である頭部座標に基づき、各人物の位置が推定される。
【００８０】
次のステップＳ５３では、行動判定部１３７により、顔が検出された人物のうち１人がＡＴＭ３００を利用しているか否かが判断される。上述した図８のステップＳ１５で、人物がＡＴＭ３００を利用していると判定された場合には、当該人物に対応する深層格フレームにおける場所格の要素である場所名が「ＡＴＭ前」になっている。そこで、ステップＳ５３で、顔が検出された人物に対応する深層格フレームを参照し、場所格の場所名が「ＡＴＭ前」である深層格フレームを検索し、ＡＴＭ３００を利用している人物がいるか否かを判断する。
【００８１】
若し、顔が検出された人物に対応する深層格フレームから、場所格の場所名が「ＡＴＭ前」である深層格フレームが検索されなければ、ＡＴＭ３００を利用している人物がいないと判断される。この場合、処理はステップＳ５９に移行され、利用者のＡＴＭ操作を覗き込んでいる他の人物が存在しないと判定する。
【００８２】
一方、ステップＳ５３で、顔が検出された人物に対応する深層格フレームから、場所格の場所名が「ＡＴＭ前」である深層格フレームが検索され、顔が検出された人物のうち１人はＡＴＭ３００を利用していると判断されたら、処理はステップＳ５４に移行される。ステップＳ５４で、行動判定部１３７は、上述のステップＳ５３でＡＴＭ３００を利用していると判断された人物の背後に、他の人物がいるか否かを判断する。例えば、行動判定部１３７は、各人物に対応する深層格フレームにおける頭部座標に基づき、ＡＴＭ３００を利用していると判断された人物の背後に、他の人物がいるか否かを判断する。
【００８３】
若し、人物Ａの背後に他の人物がいないと判断されたら、処理はステップＳ５９に移行され、ＡＴＭ３００の利用者（人物Ａとする）によるＡＴＭ３００に対する操作を覗き込んでいる他の人物が存在しないと判定する。
【００８４】
一方、人物Ａの背後に他の人物がいると判断されたら、処理はステップＳ５５に移行される。ステップＳ５５で、行動判定部１３７は、上述のステップＳ５２で推測された各人物の位置に基づき、人物Ａの背後にいる他の人物（人物Ｂとする）は、人物Ａと近接しているか否かを判断する。
【００８５】
例えば、画像処理部１３５は、顔が検出された人物の足を検出し、足の座標を求める。言語構造構築部１３６は、この足の座標を、顔が検出された各人物の深層格フレームにおける場所格の要素である足座標として保持する。行動判定部１３７は、ＡＴＭ３００の利用者である人物Ａの足座標と、ステップＳ５４で人物Ａの背後にいると判断された人物Ｂの足座標との間の距離を求め、足座標間の距離が所定値Ｔ3未満のときに、人物Ａと人物Ｂとが近接していると判断する。
【００８６】
若し、人物Ａと人物Ｂとが近接していないと判断されたら、処理はステップＳ５９に移行され、利用者（人物Ａ）のＡＴＭ操作を覗き込んでいる他の人物が存在しないと判定する。
【００８７】
一方、人物Ａと人物Ｂとが近接していると判断されたら、処理はステップＳ５６に移行される。ステップＳ５６では、画像処理部１３５により、ＡＴＭ３００の利用者である人物Ａの背後にいるとされた人物Ｂの映像情報に基づき、人物Ｂの顔の向きおよび眼球の位置が検出される。
【００８８】
次のステップＳ５７で、行動判定部１３７は、ステップＳ５６で検出された人物Ｂの顔の向きおよび眼球の位置に基づき、人物ＢがＡＴＭ３００の操作部を見ているか否かを判断する。例えば、言語構造構築部１３６は、検出された人物Ｂの顔の向きおよび眼球の位置から、人物Ｂの視線が向いている方向を求め、人物Ｂの深層格における属性格の要素である顔特徴のさらに要素の視線方向として保持する。行動判定部１３７は、この視線方向に基づき、人物ＢがＡＴＭ３００の操作部を見ているか否かを判断する。
【００８９】
若し、人物ＢがＡＴＭ３００の操作部を見ていないと判断されたら、処理はステップＳ５９に移行され、利用者（人物Ａ）のＡＴＭ操作を覗き込んでいる他の人物が存在しないと判定する。
【００９０】
一方、人物ＢがＡＴＭ３００の操作部を見ていると判断されたら、処理はステップＳ５８に移行され、利用者（人物Ａ）のＡＴＭ操作を覗き込んでいる他の人物が存在すると判定する。
【００９１】
（６）の、女性であるか否かを判定する一例の処理について、図１３のフローチャートと図５とを用いて説明する。この、女性であるか否かの判定は、上述した、図８のフローチャートの処理によるＡＴＭ３００を利用しているか否かの判定の結果、ＡＴＭ３００を利用していると判定された人物に対してなされる。
【００９２】
ＡＴＭ３００を利用している人物が女性であるか否かは、当該人物の映像情報に対応付けられた深層格フレームにおける属性格の要素である顔情報のさらに要素の性別に基づき判定する（図５参照）。
【００９３】
図１３において、ステップＳ６０で、画像処理部１３５は、監視カメラ１２０で撮像され得られた映像情報から顔を検出する。上述した図８のステップＳ１０の処理で得られた顔の検出結果を用いてもよい。次のステップＳ６１で、検出された顔の特徴を検出し、この顔の特徴が予め学習しておいた女性特有の特徴（化粧の有無、髪型など）を有しているか否かを判断する（ステップＳ６２）。
【００９４】
一例として、画像処理部１３５は、学習により、顔から検出される所定の特徴と性別とを対応付けて予め記憶しておき、検出された顔の特徴に対応する性別を求める。言語構造構築部１３６は、求められた性別を、属性格における顔情報の要素である性別として保持する。
【００９５】
若し、顔の特徴が女性特有の特徴を有していると判断したら、処理はステップＳ６３に移行され、ＡＴＭ３００を利用している人物が女性であると判定する。一方、顔の特徴が女性特有の特徴を有していないと判断したら、処理はステップＳ６４に移行され、ＡＴＭ３００を利用している人物が女性ではない（男性または不明）と判定する。
【００９６】
（７）の、顔を隠しているか否かを判定する一例の処理について、図１４のフローチャートと図５とを用いて説明する。この、顔を隠しているか否かの判定は、上述した、図８のフローチャートの処理によるＡＴＭ３００を利用しているか否かの判定の結果、ＡＴＭ３００を利用していると判定された人物に対してなされる。
【００９７】
ＡＴＭ３００を利用している人物が顔を隠しているか否かは、当該人物の映像情報に対応付けられた深層格フレームにおける属性格の要素である顔特徴のさらに要素のマスクの有無およびサングラス有無に基づき判定する。例えば、図５を参照し、当該人物がマスクまたはサングラスが有りの場合に、当該人物が顔を隠していると判定する。
【００９８】
図１４において、ステップＳ７０で、画像処理部１３５は、監視カメラ１２０で撮像され得られた映像情報から顔を検出する。上述した図８のステップＳ１０の処理で得られた顔の検出結果を用いてもよい。次のステップＳ７１で、検出された顔の特徴を検出する。
【００９９】
次のステップＳ７２で、画像処理部１３５は、ステップＳ７１の顔の特徴の検出において、目が検出されたか否かを判断する。若し、目が検出されなかったと判断されたら、処理はステップＳ７３に移行され、当該人物がサングラスを装着していると判断する。このとき、言語構造構築部１３６は、当該人物の深層格フレームにおける属性格の要素である顔特徴のさらに要素のサングラス有無を、サングラス有りとして保持する。一方、目が検出されたと判断されたら、処理はステップＳ７４に移行され、当該人物がサングラスを装着していないと判断する。このとき、言語構造構築部１３６は、当該人物の深層格フレームにおける属性格の要素である顔特徴のさらに要素のサングラス有無を、サングラス無しとして保持する。
【０１００】
ステップＳ７３またはステップＳ７４の処理が終了したら、処理はステップＳ７５に移行され、ステップＳ７１の顔の特徴の検出において、口が検出されたか否かを判断する。若し、口が検出されなかったと判断されたら、処理はステップＳ７６に移行され、当該人物がマスクを装着していると判断する。このとき、言語構造構築部１３６は、当該人物の深層格フレームにおける属性格の要素である顔特徴のさらに要素のマスク有無を、マスク有りとして保持する。一方、口が検出されたと判断されたら、処理はステップＳ７７に移行され、当該人物がマスクを装着していないと判断する。このとき、言語構造構築部１３６は、当該人物の深層格フレームにおける属性格の要素である顔特徴のさらに要素のマスク有無を、マスク無しとして保持する。
【０１０１】
ステップＳ７６またはステップＳ７７の処理が終了したら、処理はステップＳ７８に移行される。ステップＳ７８で、行動判定部１３７は、当該人物の深層格フレームにおける属性格の要素である顔特徴のさらに要素のサングラス有無およびマスク有無を参照し、当該人物がマスクおよびサングラスの少なくとも一方を装着しているか否かを判断する。
【０１０２】
若し、当該人物がマスクおよびサングラスの少なくとも一方を装着していると判断されたら、処理はステップＳ７９に移行され、当該人物が顔を隠していると判定する。一方、当該人物がマスクおよびサングラスの何れも装着していないと判断されたら、処理はステップＳ８０に移行され、当該人物が顔を隠していないと判定する。
【０１０３】
なお、上述では、図９〜図１４のフローチャートによる処理がそれぞれ個別に行われるように説明したが、実際には、これらの処理は、同時並列的に行われる。すなわち、画像処理部１３５において監視カメラ１２０で撮像された映像情報から顔が検出され、当該映像情報による映像に人物が含まれているとされると、言語構造構築部１３６は、その人物に関して、図３を用いて説明したような各要素を含む深層格フレームを生成する。また、画像処理部１３５における顔検出は、例えば所定時間間隔毎に継続的に行われ、言語構造構築部１３６は、顔検出毎または所定タイミング毎に、深層格フレームの生成を行う。
【０１０４】
行動判定部１３７は、上述した（１）ＡＴＭ利用中、（２）携帯電話で通話中、（３）高齢者、（４）ＡＴＭを長時間利用、（５）利用者のＡＴＭ操作を他の人物が覗き込む、（６）女性、ならびに、（７）顔を隠している、といった各行動を、対象となる人物の映像情報に対応付けられた深層格フレームを参照して、図５を用いて説明したような各判定条件による判定を行う。
【０１０５】
図１５は、行動判定部１３７により判定に用いられる深層格フレームの例を示す。図１５の例は、（５）の、利用者のＡＴＭ操作を他の人物が覗き込んでいるか否かを判定する場合の例である。なお、図１５では、煩雑さを避けるため、利用者のＡＴＭ操作を他の人物が覗き込んでいるか否かを判定する処理と関連性の薄い部分を省略している。
【０１０６】
例えば、監視カメラ１２０により撮像された映像情報による映像から、同一の時間帯にＡＴＭ３００の近傍においてＩＤがそれぞれ「００１」および「００２」で識別された人物Ａおよび人物Ｂとが検出されたものとする。画像処理部１３５の画像解析結果に基づき、言語構造構築部１３６により、人物Ａに対応する深層格フレーム４００が生成される。同様に、言語構造構築部１３６により、人物Ｂに対応する深層格フレーム４０１が生成される。
【０１０７】
なお、深層格フレームは、それぞれの人物に対して、時系列に沿って複数が生成される。深層格フレーム４００および４０１は、これら複数の深層格フレームのうち、時刻が対応するものであるとする。
【０１０８】
行動判定部１３７は、深層格フレーム４００および４０１における場所格の場所名を参照し、場所名が「ＡＴＭ前」である方の深層格フレームに対応する人物がＡＴＭ３００の利用者であると判定する。なお、場所名が「ＡＴＭ前」の深層格フレームが複数存在する場合は、例えば頭部座標や足座標を参照し、ＡＴＭ３００に近い方を、ＡＴＭ３００の利用者であると判定することができる。図１５の例では、深層格フレーム４００および４０１の両方において場所名が「ＡＴＭ前」となっているので、例えば足座標に基づきＡＴＭ３００に近い方の深層格フレーム４００に対応する人物ＡがＡＴＭ３００の利用者であると判定している。
【０１０９】
次に、行動判定部１３７は、深層格フレーム４００および４０１それぞれの足座標を参照して、人物Ａと人物Ｂとの間の距離を求め、求めた距離が所定値Ｔ3未満であるか否かを判断する。図１５の例では、当該距離が所定値Ｔ3未満であって、人物Ａと人物Ｂとは近接していると判定される。
【０１１０】
次に、行動判定部１３７は、ＡＴＭ３００の利用者ではない人物Ｂに対応する深層格フレーム４０１を参照し、属性格における要素の顔特徴のさらに要素である視線方向を求める。そして、この視線方向がＡＴＭ３００の方向を向いていると判断したら、当該人物ＢがＡＴＭ利用者である人物ＡによるＡＴＭ操作を覗き込んでいると判定する。
【０１１１】
以上説明したように、本発明の実施形態では、ＡＴＭを利用する人物の行動を解析し、当該人物が特定の行動をとっていると判断された場合に、当該人物が振り込め詐欺の被害に遭いそうだと判定している。そのため、振り込め詐欺による被害を未然に防止することができる。
【０１１２】
また、本発明の実施形態によれば、ＡＴＭを利用する人物や、ＡＴＭの近傍にいる人物の行動を解析することによって、ＡＴＭの利用に関連する他の被害も未然に防止することができる。
【０１１３】
さらに、本発明の実施形態によれば、ＡＴＭを利用する人物や、ＡＴＭの近傍にいる人物の行動を解析することによって、不審者を検出することも可能である。
【符号の説明】
【０１１４】
１００ 警備装置
１１０ センサ
１２０ 監視カメラ
１３０ 警備操作部
１３５ 画像処理部
１３６ 言語構造構築部
１３７ 行動判定部
１５０ 画像情報ＤＢ
１６０ 状態情報ＤＢ
２００ 監視センタ
３００ ＡＴＭ
【特許請求の範囲】
【請求項１】
現金の預け入れおよび引き出しを行う現金自動預払機の周辺を監視する監視装置であって、
前記現金自動預払機の周辺を撮像するための撮像手段が撮像した人物の画像情報を記憶する画像情報記憶手段と、
前記画像情報を解析して人物の動作状態を抽出し、抽出した前記人物の動作状態を表す情報であって、前記人物の動作の種類を表す動詞と前記人物の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、
前記状態情報記憶手段に記憶された前記状態情報を参照し、該状態情報が予め指定された条件を満たす場合に、該状態情報に対応する人物が犯罪の被害に遭いそうであると判定する判定手段と
を有する
ことを特徴とする監視装置。
【請求項２】
前記判定手段は、
前記予め指定された条件として、前記状態情報が、前記現金自動預払機の直前に滞在し、且つ、右手または左手が耳の横にあり、且つ、口が連続的に開閉していることを示している場合に、該状態情報に対応する人物が振り込め詐欺の被害に遭いそうであると判定する
ことを特徴とする請求項１に記載の監視装置。
【請求項３】
前記判定手段は、
前記予め指定された条件として、前記状態情報が、前記現金自動預払機の直前に滞在し、且つ、高齢者であることを示している場合に、該状態情報に対応する人物が振り込め詐欺の被害に遭いそうであると判定する
ことを特徴とする請求項１または請求項２に記載の監視装置。
【請求項４】
前記判定手段は、
前記予め指定された条件として、前記状態情報が、前記現金自動預払機の直前に所定時間を超えて滞在していることを示している場合に、該状態情報に対応する人物が振り込め詐欺の被害に遭いそうであると判定する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の監視装置。
【請求項５】
外部と通信を行う通信手段をさらに有し、
前記判定手段は、
前記人物が振り込め詐欺の被害に遭いそうであると判断した場合に、その旨示す通知を、前記通信手段により前記自動現金預払機および該自動現金預払機の監視元のうち少なくとも一方に対して送信する
ことを特徴とする請求項１乃至請求項４の何れか１項に記載の監視装置。
【請求項６】
前記判定手段は、
前記振り込め詐欺の被害に遭いそうな度合に応じて、前記通知を前記自動現金預払機および該自動現金預払機の監視元のうち何れに送信するかを選択する
ことを特徴とする請求項５に記載の監視装置。
【請求項７】
前記判定手段は、さらに、
前記画像情報を解析した結果、前記現金自動預払機の前に複数の人物が検出され、検出された該複数の人物のうち第１の人物の状態情報が、該現金自動預払機の直前に滞在することを示し、且つ、
検出された該複数の人物のうち第２の人物の状態情報が、前記現金自動預払機の直前に滞在する人物の後ろに滞在し、且つ、視線が該現金自動預払機の操作部に向いていることを示し、且つ、
前記第１の人物の状態情報が示す位置情報と、前記第２の人物の状態情報が示す位置情報とに基づき、該第１の人物と該第２の人物との間の距離が所定未満のときに、該第２の人物が該第１の人物の前記現金自動預払機に対する操作を覗き込んでいると判定する
ことを特徴とする請求項１に記載の監視装置。
【請求項８】
現金の預け入れおよび引き出しを行う現金自動預払機の周辺を監視する監視方法であって、
前記現金自動預払機の周辺を撮像するための撮像手段が撮像した人物の画像情報を画像情報記憶手段に記憶するステップと、
前記画像情報を解析して人物の動作状態を抽出し、抽出した前記人物の動作状態を表す情報であって、前記人物の動作の種類を表す動詞と前記人物の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて状態情報記憶手段に記憶するステップと、
前記状態情報記憶手段に記憶された前記状態情報を参照し、該状態情報が予め指定された条件を満たす場合に、該状態情報に対応する人物が犯罪の被害に遭いそうであると判定する判定ステップと
を有する
ことを特徴とする監視方法。
【請求項１】
現金の預け入れおよび引き出しを行う現金自動預払機の周辺を監視する監視装置であって、
前記現金自動預払機の周辺を撮像するための撮像手段が撮像した人物の画像情報を記憶する画像情報記憶手段と、
前記画像情報を解析して人物の動作状態を抽出し、抽出した前記人物の動作状態を表す情報であって、前記人物の動作の種類を表す動詞と前記人物の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて記憶する状態情報記憶手段と、
前記状態情報記憶手段に記憶された前記状態情報を参照し、該状態情報が予め指定された条件を満たす場合に、該状態情報に対応する人物が犯罪の被害に遭いそうであると判定する判定手段と
を有する
ことを特徴とする監視装置。
【請求項２】
前記判定手段は、
前記予め指定された条件として、前記状態情報が、前記現金自動預払機の直前に滞在し、且つ、右手または左手が耳の横にあり、且つ、口が連続的に開閉していることを示している場合に、該状態情報に対応する人物が振り込め詐欺の被害に遭いそうであると判定する
ことを特徴とする請求項１に記載の監視装置。
【請求項３】
前記判定手段は、
前記予め指定された条件として、前記状態情報が、前記現金自動預払機の直前に滞在し、且つ、高齢者であることを示している場合に、該状態情報に対応する人物が振り込め詐欺の被害に遭いそうであると判定する
ことを特徴とする請求項１または請求項２に記載の監視装置。
【請求項４】
前記判定手段は、
前記予め指定された条件として、前記状態情報が、前記現金自動預払機の直前に所定時間を超えて滞在していることを示している場合に、該状態情報に対応する人物が振り込め詐欺の被害に遭いそうであると判定する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の監視装置。
【請求項５】
外部と通信を行う通信手段をさらに有し、
前記判定手段は、
前記人物が振り込め詐欺の被害に遭いそうであると判断した場合に、その旨示す通知を、前記通信手段により前記自動現金預払機および該自動現金預払機の監視元のうち少なくとも一方に対して送信する
ことを特徴とする請求項１乃至請求項４の何れか１項に記載の監視装置。
【請求項６】
前記判定手段は、
前記振り込め詐欺の被害に遭いそうな度合に応じて、前記通知を前記自動現金預払機および該自動現金預払機の監視元のうち何れに送信するかを選択する
ことを特徴とする請求項５に記載の監視装置。
【請求項７】
前記判定手段は、さらに、
前記画像情報を解析した結果、前記現金自動預払機の前に複数の人物が検出され、検出された該複数の人物のうち第１の人物の状態情報が、該現金自動預払機の直前に滞在することを示し、且つ、
検出された該複数の人物のうち第２の人物の状態情報が、前記現金自動預払機の直前に滞在する人物の後ろに滞在し、且つ、視線が該現金自動預払機の操作部に向いていることを示し、且つ、
前記第１の人物の状態情報が示す位置情報と、前記第２の人物の状態情報が示す位置情報とに基づき、該第１の人物と該第２の人物との間の距離が所定未満のときに、該第２の人物が該第１の人物の前記現金自動預払機に対する操作を覗き込んでいると判定する
ことを特徴とする請求項１に記載の監視装置。
【請求項８】
現金の預け入れおよび引き出しを行う現金自動預払機の周辺を監視する監視方法であって、
前記現金自動預払機の周辺を撮像するための撮像手段が撮像した人物の画像情報を画像情報記憶手段に記憶するステップと、
前記画像情報を解析して人物の動作状態を抽出し、抽出した前記人物の動作状態を表す情報であって、前記人物の動作の種類を表す動詞と前記人物の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を、前記画像情報記憶手段が記憶する前記画像情報に対応付けて状態情報記憶手段に記憶するステップと、
前記状態情報記憶手段に記憶された前記状態情報を参照し、該状態情報が予め指定された条件を満たす場合に、該状態情報に対応する人物が犯罪の被害に遭いそうであると判定する判定ステップと
を有する
ことを特徴とする監視方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２３８２０４（Ｐ２０１０−２３８２０４Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８８４２９（Ｐ２００９−８８４２９）
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
[ Back to top ]