取引監視装置
【課題】自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止する取引監視装置を提供する。
【解決手段】取引監視装置１は、取引端末に正対する利用者の正面方向を撮影するように設置された監視カメラ１３０から取得した画像データから利用者の顔領域を抽出する顔検出部２２と、画像データから利用者の頭部を頭頂方向から見た頭部領域を抽出する頭検出部２３と、顔領域が検出された場合、その顔領域を基準とする第１の探索領域から利用者の手を検出し、頭部領域が検出された場合、頭部領域を基準とする第２の探索領域から利用者の手を検出する手領域検出部２５と、所定期間にわたって順次取得された画像データのそれぞれから利用者の手が検出された場合、利用者が通話中であると判定する判定部２６と、通話中であると判定されると、警報を報知する異常報知部１２とを有する。
【解決手段】取引監視装置１は、取引端末に正対する利用者の正面方向を撮影するように設置された監視カメラ１３０から取得した画像データから利用者の顔領域を抽出する顔検出部２２と、画像データから利用者の頭部を頭頂方向から見た頭部領域を抽出する頭検出部２３と、顔領域が検出された場合、その顔領域を基準とする第１の探索領域から利用者の手を検出し、頭部領域が検出された場合、頭部領域を基準とする第２の探索領域から利用者の手を検出する手領域検出部２５と、所定期間にわたって順次取得された画像データのそれぞれから利用者の手が検出された場合、利用者が通話中であると判定する判定部２６と、通話中であると判定されると、警報を報知する異常報知部１２とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取引監視装置に関し、特に、自動取引システムの取引端末の利用者を撮影した画像から、利用者が特定の行動をとっているか否かを判定する取引監視装置に関する。
【背景技術】
【０００２】
従来より、複数の利用者間での金銭取引において、金融機関またはコンビニエンスストアなどに設置された取引端末、例えば、現金自動預け払い機（ATM、Automated Teller Machine）を用いた振込み手続きといった送金処理が広く利用されている。
ところが、近年、この取引端末による送金処理を利用して、家族または親族などの身内の者を装って、取引端末の利用者に現金を送金させる詐欺行為が増加しており、社会的に問題となっている。
また、同様に、公的団体の職員を装って、医療費または税金が還付される等、払い過ぎた金銭が返金されるかのように偽り、利用者に言葉巧みに取引端末を操作させて、利用者本人が気付かないうちに、他人（詐欺行為者）の口座に金銭を振り込ませる詐欺行為も急増している。
このような問題に対して、利用者が送金処理を行うときに金銭の受取人の正当性を判別することで、詐欺行為の被害を未然に防止しようとするシステムが提案されている（例えば、特許文献１を参照）。
【０００３】
特許文献１に開示された自動取引システムは、取引装置にて送金処理を行う振込人と、この送金を受け取る受取人とが通話するハンドセットを備える。そしてこの自動取引システムは、このハンドセットを通じて取得される受取人の声紋データを、予め顧客データベースに記憶された振込人の身内の者の声紋データと照合して、その照合結果で振込取引の可否を判断することにより、詐欺被害を未然に防止する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−８０１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された自動取引システムは、詐欺被害を防止するために、正当な取引であっても、振込手続時に受取人の声紋照合を必ず行わなければならない。そのため、この自動取引システムは、取引装置にて送金処理を行う全ての利用者について、自己の送金先として考えられ得る全ての人物の声紋データを取得して、顧客データベースに事前に登録しておかなければならない。もし、送金先の人物の声紋データが顧客データベースに登録されていなければ、利用者は、この自動取引システムを利用してその人物の口座に対して送金処理を行うことができないので、円滑な金銭取引に支障をきたすおそれが生じる。
【０００６】
そこで、本発明は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止する取引監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一般に、家族または親族などの身内の者を装い金銭の送金を要求する詐欺行為では、聴力の衰えた高齢者が被害者として狙われることが多い。その詐欺行為の手口として、詐欺行為者は、被害者の身内などを装って被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話するように被害者を誘導する。被害者が詐欺行為者を信用した場合、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして被害者は、詐欺行為者からの電話を通じた取引端末の操作方法の具体的な指示に従って取引端末を操作してしまい、詐欺と気付かずに金銭を詐欺行為者の口座に送金してしまう。
【０００８】
また、還付金があるかのように偽る詐欺行為についても同様であり、被害者として狙われるのは取引端末の操作に不慣れな高齢者であることが多い。この場合の詐欺行為の手口として、詐欺行為者は、社会保険事務所または自治体の職員、あるいは税務署員を装って、医療費または保険金、あるいは税金が還付される等、払い過ぎた金銭が取引端末を操作することによって返還されるかのように偽って被害者を取引端末まで誘導し、被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話させる。被害者が詐欺行為者を信用した場合、上述した詐欺行為の類型と同様に、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして詐欺行為者は、取引端末まで出向いた被害者から電話が掛かってくると、「私の云う通りにATMを操作して下さい」等と言葉巧みに被害者に取引端末を操作させ、例えば振込金額の入力画面で、「ここで暗証番号を入力します」などと偽り振込金額を入力させる。そのため、被害者は、金銭が還付されるものと思いながら取引端末を操作しても、実際は本人が気付かないうちに、他人（詐欺行為者）の口座に送金を行ってしまう。
【０００９】
本発明に係る取引監視装置は、上述した取引端末の送金処理を悪用した詐欺行為は、被害者が取引端末の前で携帯電話機を通じての詐欺行為者からの指示に従って取引端末を操作することにより行われる点に着目したものである。
【００１０】
かかる課題を解決するための本発明は、送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置を提供する。本発明に係る取引監視装置は、自動取引端末に正対する利用者の正面方向を撮影するように設置された監視カメラから取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、その画像データから利用者の頭部を頭頂方向から見た頭部領域を抽出する頭検出部と、顔検出部により顔領域が検出された場合、その顔領域を基準として設定された第１の探索領域から利用者の手を検出し、頭検出部により頭部領域が検出された場合、その頭部領域を基準として設定された第２の探索領域から利用者の手を検出する手領域検出部と、所定期間中に順次取得された画像データのそれぞれから、手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、判定部により、利用者が携帯電話機を使用して通話中であると判定されると警報を報知する異常報知部とを有する。
【００１１】
また、手領域検出部は、頭部領域の上端から第２の探索領域の上端までの距離を、顔領域の上端から第１の探索領域の上端までの距離よりも小さくなるように設定することが好ましい。
【００１２】
また、取引監視装置は、画像データから利用者の肩の輪郭が物体により隠れているか否かを判定する肩検出部をさらに有し、手領域検出部は、利用者の手を検出する判定条件として、顔検出部により顔領域が検出された場合には、肩検出部により肩の輪郭が物体に隠されていると判定されたことを含み、頭検出部により頭部領域が検出された場合には、肩検出部により肩の輪郭が物体に隠されていると判定されたことをその判定条件に含まないことが好ましい。
【００１３】
この場合において、肩検出部は、画像データから抽出されたエッジ画素が、顔領域方向または水平方向に連続するエッジ線を抽出し、そのエッジ線の長さが所定長未満であるか、または、そのエッジ線の端部が垂直方向に連続するエッジ線と接触している場合、肩の輪郭が物体により隠されていると判定することが好ましい。
【００１４】
さらに、異常報知部は、自動取引端末に併設された通話装置が使用されたことを検知すると、利用者が携帯電話機を使用して通話中であると判定されていても警報を報知しないことが好ましい。
【発明の効果】
【００１５】
本発明に係る取引監視装置は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止することができるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明の一つの実施形態に係る取引監視装置を含む自動取引システムの概略構成図である。
【図２】本発明の一つの実施形態に係る取引監視装置の概略構成図である。
【図３】肩の輪郭の探索領域の一例を示す図である。
【図４】（ａ）は、顔領域が検出されている場合に設定される、手の探索領域の一例を示す図であり、（ｂ）は、顔領域が検出されていない場合に設定される、手の探索領域の一例を示す図である。
【図５】本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。
【図６】本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、取引監視装置の全体処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図を参照しつつ、一つの実施形態による、取引監視装置について説明する。
この取引監視装置は、ATMなど、金銭の取引を行う自動取引システムの取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用して通話しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用して通話していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。特にこの取引監視装置は、利用者が取引端末の操作画面を操作するために俯いている場合のように、画像から利用者の顔を検出できない場合には、人の頭部形状に類似した領域を検出してその領域近傍で手があることを検出できると利用者が携帯電話機を使用して通話していると判定することで、高精度で携帯電話機を使用した通話の有無を判定可能とするものである。
【００１８】
図１は、一つの実施形態による取引監視装置を含む自動取引システムの概略構成図である。図１に示すように、金融機関の店舗などに設置された取引端末１００は、筐体１１０と、タッチパネルディスプレイ１２０と、通帳またはキャッシュカードなどの受け入れ口１１１、１１２と、金銭の受け入れ・払い出し口１１３とを有する。
通帳またはキャッシュカードなどの受け入れ口１１１、１１２は、筐体１１０の正面上方に形成されており、取引端末１００は、その受け入れ口１１１に挿入された通帳に記帳したり、受け入れ口１１２に挿入されたキャッシュカードから所定の情報を取得することが可能となっている。金銭の受け入れ・払い出し口１１３は、筐体１１０の正面のテーブル状に形成された部位に形成されており、この受け入れ・払い出し口１１３を介して、利用者は金銭の預け入れ及び払い出しをすることが可能となっている。
【００１９】
タッチパネルディスプレイ１２０は、筐体１１０の正面のテーブル状に形成された部位に、上方に向けて情報が表示されるように設置される。そしてタッチパネルディスプレイ１２０は、取引端末１００の利用者に対して、振込、入金、出金などの各種処理に応じた操作ボタン及び操作案内を表示する。そして利用者が、タッチパネルディスプレイ１２０に表示された操作ボタンを押下することにより、タッチパネルディスプレイ１２０は、押下された操作ボタンに応じた操作信号あるいは、暗証番号、振込先、金額などを表す情報を取得する。そして取引端末１００は、タッチパネルディスプレイ１２０から取得した操作信号または情報を、通信回線（図示せず）を介して接続されたサーバ（図示せず）に送信し、サーバからの応答信号に従って、利用者が選択した操作に対応する処理を実行する。
【００２０】
取引端末１００の内部または近傍には、監視カメラ１３０と、スピーカ１４０と、センサ１６０とが設置され、これらの機器が取引監視装置１と接続される。
監視カメラ１３０は、取引端末１００の利用者の頭部から肩にかけての領域を正面から撮影することが可能なように、筐体１１０の正面上方に設置される。なお、監視カメラ１３０は、利用者の頭部から肩にかけての領域を正面から撮影することが可能であれば、取引端末１００と別個に、例えば取引端末１００の背面に隣接する壁面に設置されてもよい。また監視カメラ１３０は、CCDまたはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。そして監視カメラ１３０は、一定の時間間隔（例えば１／５秒）ごとに撮影を行って、利用者を撮影した画像を順次取引監視装置１へ出力する。
【００２１】
スピーカ１４０は、筐体１１０の上方に設置される。またスピーカ１４０は、取引監視装置１と接続され、取引監視装置１から受け取った警報音声信号に応じた音声を発する。
【００２２】
さらに、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、取引端末１００を操作する利用者を検知するためのセンサ１６０が設置される。このセンサ１６０は、例えば、予め取引端末１００の正面の所定空間に設定された検知領域から放射される赤外線を受光し、その受光量の変化によって利用者を検知する人感センサとすることができる。あるいは、センサ１６０は、予め取得した背景画像とカメラにより撮影した画像との差分によって得られた変化領域から利用者を検知する画像センサ、あるいはマットセンサ若しくは近接センサなどであってもよい。そしてセンサ１６０は、取引監視装置１と接続され、利用者を検知している間、その旨を示す人体検知信号を取引監視装置１へ出力し、利用者を検知しなくなると、人体検知信号の出力を停止する。
【００２３】
また、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、オートホン１５０が設置される。このオートホン１５０は、プロセッサ、半導体メモリ、通信インターフェース及びその周辺回路を有するオートホン制御装置１５１と接続されている。そしてオートホン１５０の受話器が外されると、オートホン制御装置１５１は、通信回線１７０を介してオートホン制御装置１５１に接続された、遠隔地のATMセンタに設置されたATMセンタ装置１８０に向けて自動発信処理を実行し、利用者がオートホン１５０を介してATMセンタ装置１８０のオペレータと通話することを可能にする。
また、オートホン制御装置１５１は、取引監視装置１とも接続され、利用者がオートホン１５０を使用している場合に、その旨を示すオートホン使用信号を取引監視装置１へ出力する。具体的には、オートホン制御装置１５１は、オートホン１５０から受話器が外れていることを示すオフフック信号を受信している間、オートホン使用信号を取引監視装置１へ出力する。
なお、オートホン１５０と取引監視装置１を直接接続し、取引監視装置１は、オートホン１５０からオフフック信号を直接受信することにより、オートホン１５０が使用中であることを確認できるようにしてもよい。
【００２４】
次に、本発明の一実施形態に係る取引監視装置１について説明する。
図２は、取引監視装置１の概略構成図である。図２に示すように、取引監視装置１は、画像取得部２と、音声出力部３と、通信部４と、記憶部５と、制御部６とを有する。
【００２５】
画像取得部２は、画像入力インターフェースであり、例えば、ビデオ入力端子などで構成される。そして画像取得部２は、監視カメラ１３０から入力された画像データを取得して制御部６へ渡す。
【００２６】
音声出力部３は、音声出力インターフェースであり、例えば、オーディオ出力端子などで構成される。そして音声出力部３は、制御部６から受け取った警報音声信号をスピーカ１４０へ出力する。
【００２７】
通信部４は、通信インターフェースであり、例えば、イーサネット（登録商標）、ユニバーサルシリアルバス2（USB2）、IEEE802.11a、IEEE1394、RS232Cなどの通信規格に従ったインターフェース及び制御回路などで構成される。そして通信部４は、オートホン制御装置１５１からのオートホン使用信号またはオートホン１５０からのオフフック信号を受信して、それらの信号を制御部６へ渡す。
さらに通信部４は、センサ１６０から受け取った人体検知信号を制御部６へ渡す。
また取引監視装置１と取引端末１００とは、通信部４を介して接続されてもよく、この場合、取引監視装置１の制御部６は、通信部４を介して警報信号などを取引端末１００へ送信してもよい。
【００２８】
記憶部５は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置の少なくとも何れか一つを有する。なお、記憶部５は、制御部６が有する半導体メモリの記憶領域の一部として実現されてもよい。そして記憶部５は、取引監視装置１で使用される各種のプログラム及びデータを記憶する。記憶部５は、例えば、そのようなデータとして、センサ１６０によって利用者が検知されているか否かを示す人体検知フラグ、オートホン１５０が使用されているか否かを表すオートホン使用フラグを記憶する。さらに記憶部５は、利用者の手及び肩の検索範囲を設定するための検索領域情報、利用者の顔、頭部及び手を判定するためのテンプレート及び判定基準情報等を記憶する。さらに記憶部５は、携帯電話機を使用して取引端末１００から送金させる詐欺行為に注意を促す音声メッセージに対応する音声データを記憶する。
そして記憶部５は、制御部６と接続され、制御部６からの要求に応じて、所定のプログラム及びデータを出力し、あるいは所定のデータを記憶する。
【００２９】
制御部６は、プロセッサユニット、RAM及びROMなどの半導体メモリ、及び周辺回路を有する。そして制御部６は、取引監視装置１全体を制御する。また制御部６は、監視カメラ１３０から受け取った画像データに基づいて、利用者が携帯電話機を使用しているか否か判定し、使用している場合には、スピーカ１４０を介して注意を促す。そのために、制御部６は、携帯使用検知部１１と、異常報知部１２と、フラグ処理部１３とを有する。制御部６が有するこれらの各部は、例えば、プロセッサユニット上で実行されるコンピュータプログラムによって実装される機能モジュールである。
【００３０】
携帯使用検知部１１は、監視カメラ１３０から受け取った画像データから、利用者の顔または頭部の近傍に利用者の手があるか否かを調べることにより、利用者が携帯電話機を使用しているか否か判定する。そのために、携帯使用検知部１１は、エッジ画像生成部２１と、顔検出部２２と、頭検出部２３と、肩検出部２４と、手領域検出部２５と、判定部２６とを有する。
【００３１】
エッジ画像生成部２１は、監視カメラ１３０から受け取った、利用者が撮影された画像データ（以下監視画像という）から、利用者の各部の輪郭に対応するエッジ画素を抽出する。そのためにエッジ画像生成部２１は、例えば、監視画像に対してsobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを用いた近傍画素間演算を実行する。そしてエッジ画像生成部２１は、近傍画素間演算の結果得られた差分値の絶対値が所定の閾値よりも大きい画素をエッジ画素とする。なお、所定の閾値は、例えば、監視画像の各画素について得られた差分絶対値の平均値とすることができる。また、エッジ画像生成部２１は、エッジ検出フィルタの向きを少なくとも垂直方向と水平方向の２方向に設定し、垂直方向のエッジと水平方向のエッジを検出することが好ましい。そしてエッジ画像生成部２１は、各画素について、得られた各方向の差分絶対値のうち、最大値となる方向をその画素のエッジの向きとする。
エッジ画像生成部２１は、抽出されたエッジ画素を表すエッジ画像を作成する。例えば、エッジ画像では、抽出されたエッジ画素に対応する画素の画素値が、水平方向のエッジであれば1、垂直方向のエッジであれば2で表され、その他の画素の画素値が0で表される。あるいは、エッジ画像生成部２１は、エッジ画像とは別個に、抽出されたそれぞれのエッジ画素の向きを表すエッジ方向データを作成してもよい。
エッジ画像生成部２１は、作成したエッジ画像を、頭検出部２３、肩検出部２４及び手領域検出部２５へ渡す。また顔検出部２２がエッジ画像に基づいて顔領域を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。
【００３２】
顔検出部２２は、監視画像から利用者の顔が写っている顔領域を検出する。そのために、顔検出部２２は、画像から顔領域を検出する様々な技術の何れかを利用することができる。例えば、監視画像がカラー画像である場合、顔検出部２２は、監視画像の各画素の色情報をHSV表色系の色情報に変換する。そして顔検出部２２は、色相Hの成分が所定の範囲に含まれる色情報を有する画素を肌色画素として抽出する。なお、所定の範囲は、例えば、色相Hの成分の色情報が0から255で表される場合、0から30に設定される。そして顔検出部２２は、肌色画素及び肌色画素で囲まれた領域を候補領域とし、その候補領域から抽出されるHaar-like特徴を用いたAdaboost識別器により、候補領域が顔領域か否か判定する。なお、Haar-like特徴は、入力された画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。
【００３３】
各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて入力された候補領域が顔領域か否かの識別結果を出力する。例えば、弱識別器は、候補領域が顔領域であると判定した場合、1を出力し、一方、候補領域が顔領域でないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力結果をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、得られた重み付け和が所定の閾値（例えば、0）よりも高い場合、候補領域が顔領域であると判定する。
【００３４】
また、候補領域中のどの位置に関するHaar-like特徴を識別に利用する弱識別器が使用されるか、及び弱識別器に対する重みは、人物の顔が写っていない複数のサンプル画像と人物の顔が写っている複数のサンプル画像とを用いた事前学習により決定される。学習手順の概略は以下の通りである。
（１）使用可能な全ての弱識別器について、Haar-like特徴の値に基づいて、入力された画像領域に顔が写っているか否かを識別する閾値を設定する。
（２）各サンプル画像に対する重みを決定する。重みの初期値は、各サンプル画像に対して同じ値とする。
（３）全ての弱識別器に対して各サンプル画像を入力して、弱識別器ごとに識別に失敗したサンプル画像に付けられた重みを合計する。そしてその重みの合計を評価値とする。
（４）評価値が最も小さい弱識別器をAdaboost識別器で使用する弱識別器として選択する。そして評価値から選択された弱識別器の出力に付される重みを決定する。
（５）選択された弱識別器が識別に失敗したサンプル画像の重みを大きくする。
（６）（３）〜（５）の手順を繰り返す。
なお、Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。
【００３５】
また、顔検出部２２は、監視画像から、人物の顔において特徴的な目領域、鼻尖点、口角点などの顔特徴点を抽出することにより、顔領域を検出してもよい。例えば、顔検出部２２は、エッジ画像生成部２１から受け取ったエッジ画像から、顔の輪郭形状に近似した楕円形状のエッジ分布を、パターンマッチングなどを用いて検出する。そして、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域内に存在するエッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。そしてこれらの顔特徴点が抽出できた場合、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域を顔領域とする。また顔検出部２２は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔検出部２２は、顔領域に相当するテンプレートと監視画像とのテンプレートマッチングを行ってテンプレートと監視画像との相関値を求め、その相関値が所定の閾値以上となる場合、その相関値に対応する監視画像内の領域を顔領域として検出してもよい。
顔検出部２２は、監視画像から顔領域を検出することができた場合、その顔領域を表す情報（例えば、顔領域の外接矩形の左上端点の画素の座標と右下端点の画素の座標）を、肩検出部２４及び手領域検出部２５へ渡す。一方、顔検出部２２は、監視画像から顔領域を検出することができなかった場合、その旨を示す顔検出不能信号を携帯使用検知部１１に返す。
【００３６】
頭検出部２３は、顔検出部２２が監視画像から顔領域を検出することができなかった場合、監視画像から利用者の頭部が写っている頭部領域を検出する。例えば、図１に示したように、取引端末１００のタッチパネルディスプレイ１２０は、上方に向けて情報を表示するように配置されている。そのため、利用者は、取引端末１００を操作するために俯いていることがある。そして利用者が俯いていると、監視画像上では、利用者の顔の殆どが頭部に隠れて見えなくなってしまう。つまり、監視画像上の顔特徴情報が、利用者が正面を向いているときに比べて、はっきりと表れなくなってしまう。
そこで、頭検出部２３は、利用者の顔の特徴を利用せずに、頭部領域を検出する。例えば、頭検出部２３は、頭頂方向から見た頭部の輪郭形状と近似したパターンである楕円形状の少なくとも１枚のテンプレートと、エッジ画像生成部２１から受け取ったエッジ画像とのテンプレートマッチングを行ってテンプレートとエッジ画像との相関値を求める。そして頭検出部２３は、その相関値が所定の閾値以上となる場合、その相関値に対応する監視画像内の領域を頭部領域として検出する。
【００３７】
なお、頭検出部２３は、誤検出の防止及び処理速度の向上のために、監視カメラ１３０の設置位置、画角及び撮影方向に応じて、監視画像中において利用者の頭部が存在すると想定される領域に限定してパターンマッチングを行うことが好ましい。なお、頭部が存在すると想定される領域は、例えば、取引端末１００のタッチパネルディスプレイ１２０の上方の空間が監視画像の中央に位置するように監視カメラ１３０が設置されている場合、監視画像の中央に設定される。
頭検出部２３は、頭部領域を表す情報（例えば、頭部領域の外接矩形の左上端点の画素の座標と右下端点の画素の座標）を手領域検出部２５へ渡す。一方、頭検出部２３は、監視画像から頭部領域を検出することができなかった場合、その旨を示す頭部検出不能信号を携帯使用検知部１１に返す。
【００３８】
肩検出部２４は、顔検出部２２が利用者の顔領域を検出できた場合、エッジ画像生成部２１により生成されたエッジ画像から、利用者の肩の輪郭を検出する。そして肩検出部２４は、その肩の輪郭が、利用者の手または携帯電話機などの物体により隠されているか否かを判定する。まず、肩検出部２４は、肩の輪郭を誤検出することを防止するために、人の体型を考慮して検出された顔領域の近傍に肩の輪郭の探索領域を設定する。
図３に、肩の輪郭の探索領域の一例を示す。図３に示すように、監視画像３００において、利用者の顔領域３１０が検出されている場合、右肩（画像上では、向かって左側の肩）の輪郭の探索領域３２０は、顔領域３１０の外接矩形の左下角の端点に探索領域３２０の右上角の端点が重なるように設定される。また、左肩（画像上では、向かって右側の肩）の輪郭の探索領域３３０は、顔領域３１０の外接矩形の右下角の端点に探索領域３３０の左上角の端点が重なるように設定される。そして探索領域３２０及び３３０の幅及び高さは、それぞれ、顔領域３１０の幅の２倍及び顔領域３１０の高さの１／２倍に設定される（なお、図３では探索領域の大きさを簡略化して示している）。
【００３９】
肩検出部２４は、それぞれの探索領域において、エッジ画像に対して細線化処理を実行して、エッジ画素が所定画素数（例えば、１画素）の幅で連結されたエッジ線を抽出する。ここで、肩検出部２４は、このエッジ線に対して確率的ハフ変換処理を施し、エッジ線を線分に近似しておく。これにより、曲線的なエッジ線は、曲率の高い部分に端部を持つ複数のエッジ線に分割される。そして肩検出部２４は、それぞれの探索領域において、抽出されたエッジ線のうち、水平方向または顔方向に伸びるエッジ線と、垂直方向に伸びるエッジ線を検出する。ここで、それぞれの探索領域内において、顔に近い側が高く、顔から遠い側が低くなる直線と水平方向に伸びる直線がなす角を正とする。このとき、肩検出部２４は、着目するエッジ線と水平軸のなす角が、水平軸に対して０°から３０°の範囲に含まれる場合、そのエッジ線を水平方向または顔方向に伸びるエッジ線とする。なお、肩検出部２４は、例えば、エッジ線上の隣接するエッジ画素間の水平軸に対する傾きの平均値あるいはエッジ線の両端点間の水平軸に対する傾きを、エッジ線と水平軸のなす角とする。あるいはまた、肩検出部２４は、垂直方向に変化するエッジに対応するエッジ画素が連結されたエッジ線についてのみ、そのエッジ線と水平軸のなす角が０°から３０°の範囲に含まれるか否か判定し、その角が０°から３０°の範囲に含まれる場合、そのエッジ線を水平方向または顔方向に伸びるエッジ線としてもよい。
【００４０】
また、肩検出部２４は、着目するエッジ線と水平軸のなす角が、水平軸に対して６０°から１２０°の範囲に含まれる場合、そのエッジ線を垂直方向に伸びるエッジ線とする。あるいは、肩検出部２４は、水平方向に変化するエッジに対応するエッジ画素が連結されたエッジ線を垂直方向に伸びるエッジ線として検出してもよい。
【００４１】
肩検出部２４は、それぞれの探索領域において、水平方向または顔方向に伸びるエッジ線が所定長未満のものしかない場合に、肩の輪郭が物体により隠されていると判定する。また、肩検出部２４は、それぞれの探索領域において、水平方向または顔方向に伸びるエッジ線が所定長以上である場合には、そのエッジ線の端部が垂直方向に伸びるエッジ線と接触していると、肩の輪郭が物体により隠されていると判定する。すなわち、肩検出部２４は、水平方向または顔方向に伸びるエッジ線が所定長未満であるか、または、このエッジ線の端部が垂直方向に連続するエッジ線と接触している場合に、肩の輪郭が物体により隠されていると判定する。これは、肩の輪郭線が、例えば、腕または携帯電話機などの物体に遮られて見えない場合、監視画像上では、腕または携帯電話機の輪郭に沿って垂直方向に伸びるエッジ線が存在し、その垂直方向のエッジ線により、肩の輪郭線が切断されることに対応する。一方、肩検出部２４は、水平方向または顔方向に伸びるエッジ線が所定長よりも長く、かつ、このエッジ線の端部が垂直方向に伸びるエッジ線と接触していなければ、肩の輪郭が検出できたと判定する。なお、所定長は、例えば、顔検出部２２により検出された顔領域の幅の１／４〜１／３に設定される。
肩検出部２４は、肩の輪郭が物体により隠されているか否かの判定結果を示す肩検出結果信号を携帯使用検知部１１に返す。
【００４２】
手領域検出部２５は、顔検出部２２により検出された顔領域または頭検出部２３により検出された頭部領域の近傍において、利用者の手が検出できるか否か判定する。そこでまず、手領域検出部２５は、利用者が携帯電話機を利用している場合、利用者の顔の側面に手を近づけることを考慮して、手の探索領域を設定する。
図４（ａ）は、顔領域が検出されている場合に設定される、手の探索領域の一例を示し、図４（ｂ）は、顔領域が検出されていない場合に設定される、手の探索領域の一例を示す。図４（ａ）に示すように、利用者の顔領域４１０が検出されている場合、手の探索領域４２０の上端は、顔領域４１０の高さ方向の中心に設定され、探索領域４２０の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域４２０に含むように、例えば、監視画像４００の下辺に接触するように設定される。また、探索領域４２０の左右端は、利用者の両肩が含まれると想定される範囲を含むように設定される。例えば、探索領域４２０の左右端は、それぞれ、顔領域４１０の水平方向の中心から、顔領域４１０の幅の２倍から３倍の距離だけ離れた位置に設定される（なお、図４（ａ）では各領域の大きさを簡略化して示している）。さらに、顔領域４１０の下端から下方の所定幅の領域４３０には、首または衣類のボタンなど、肌色かつ多数のエッジ画素が抽出される物体が存在する。そこで、肌色かつ多数のエッジ画素が抽出される物体を手として誤検出することを防止するために、この領域４３０は探索領域４２０から除外されてもよい。また、利用者は、携帯電話機を使用して通話を行う場合、顔の下方に手を持ってくる可能性は低いので、このような領域４３０を手の探索領域から除外しても、手の探索に失敗する可能性は低いと考えられる。なお、除外される領域４３０の幅は、例えば、顔領域４１０の幅の１／２〜１倍に設定され、除外される領域４３０の中心線が顔領域４１０の中心線と一致するように、除外される領域４３０の水平方向の位置が設定される。
【００４３】
一方、図４（ｂ）に示すように、利用者の顔領域が検出されず、その代わりに利用者の頭部領域４４０が検出されている場合、手の探索領域４５０の上端は、頭部領域４４０の上端に設定される。これは、利用者が正面を向いている場合と異なり、利用者が俯いている場合、手の位置が頭部領域の上端近くに位置する可能性があるためである。探索領域４５０の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域４５０に含むように、監視画像４００の下辺に接触するように設定される。また、探索領域４５０の左右端は、利用者の両肩が含まれると想定される範囲を含むように設定される。例えば、探索領域４５０の左右端は、それぞれ、頭部領域４４０の水平方向の中心から、頭部領域４４０の幅の２倍から３倍の距離だけ離れた位置に設定される（なお、図４（ｂ）では各領域の大きさを簡略化して示している）。この場合も、頭部領域４４０の下端から下方の所定幅の領域４６０は、探索領域４５０から除外されてもよい。
このように手領域検出部２５は、利用者の頭部領域が検出されている場合の頭部領域の高さに対する探索領域の上端の位置を、利用者の顔領域が検出されている場合の顔領域の高さに対する探索領域の上端の位置よりも上方に設定する。具体的には、頭部領域の高さをhc、頭部領域の上端から探索領域の上端までの距離をdc、顔領域の高さをhf、顔領域の上端から探索領域の上端までの距離をdfとすると、dc/hc＜df/hfあるいはdc＜dfとなるように探索領域は設定される。これにより、通話中の利用者の手を精度よく検出することができる。
【００４４】
手領域検出部２５は、上述した手の探索領域内で、手が検出できるか否か判定する。ここで手は、画像上において、逆Ｕ字状の輪郭を有し、その輪郭内に多数のエッジ画素が存在するとともに、その輪郭内に肌色の画素が多数含まれるという特徴を持つ。そこで、手領域検出部２５は、例えば、監視画像に設定された手の探索領域内に存在する肌色の画素を検出する。なお、肌色の画素は、顔検出部２２に関して説明したように、その画素の色情報がHSV表色系で表される場合、色相Hの成分が例えば0から30といった所定の範囲に含まれる色情報を有する画素である。
手領域検出部２５は、肌色画素についてラベリング処理を実行することにより、肌色画素が含まれる肌色領域を手候補領域として抽出する。なお、手領域検出部２５は、モルフォロジーのクロージング演算などを行って、肌色領域に囲まれた非肌色画素を手候補領域に含めてもよい。これにより、影などの影響で、手の一部分に対応する画素が監視画像上では肌色でない場合も、手領域検出部２５は、手の一部分に対応する非肌色の画素を手候補領域に含めることができる。また手領域検出部２５は、複数の手候補領域を抽出してもよい。
【００４５】
顔検出部２２により顔領域が検出されている場合、手領域検出部２５は、手候補領域の面積Sh、すなわち、手候補領域に含まれる画素数と、顔領域の面積Sf、すなわち、顔領域に含まれる画素数との比Sh/Sfを求める。そして手領域検出部２５は、手候補領域の面積と顔領域の面積との比Sh/Sfが、人の顔と手の大きさの一般的な比に相当する所定の範囲に含まれるか否か判定する。例えば、その所定の範囲は、0.1から1までの範囲である。
一方、顔領域が検出されず、頭部領域が検出されている場合、手領域検出部２５は、手候補領域の面積Shと、頭部領域の面積Sc、すなわち、頭部領域に含まれる画素数との比Sh/Scを求める。そして手領域検出部２５は、手候補領域の面積と頭部領域の面積との比Sh/Scが、人の頭を頂部から見た面積と手の大きさの一般的な比に相当する所定の範囲に含まれるか否か判定する。例えば、その所定の範囲は、0.1から1までの範囲である。
【００４６】
手領域検出部２５は、Sh/SfまたはSh/Scが所定の範囲から外れる場合、その手候補領域は利用者の手ではないと判定する。一方、Sh/SfまたはSh/Scが所定の範囲に含まれる場合、手領域検出部２５は、その手候補領域に対応するエッジ画像上の領域に含まれるエッジ画素の数Ehを計数する。そして手領域検出部２５は、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが、手領域に含まれるエッジ画素の一般的な比率の最小値に対応する所定の閾値以上であるか否かを判定する。例えば、その所定の閾値は、0.1に設定される。
手領域検出部２５は、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが所定の閾値以下の場合、その手候補領域は利用者の手ではないと判定する。一方、その比Eh/Shが所定の閾値よりも大きい場合には、手領域検出部２５は、顔領域が検出されているか否かに応じて、その手候補領域を手領域と判定する基準を変更する。すなわち、利用者が取引端末１００に対して正面を向いており、監視画像上に顔が写っている場合、図４（ａ）に示されるように、利用者が携帯電話機を使用して通話していれば、携帯電話機を持つ手が一方の肩の輪郭を隠すようになる。一方、利用者が取引端末１００を操作またはタッチパネル１２０を見るために俯いていれば、利用者が携帯電話機を使用して通話していても、携帯電話機を持つ手が監視画像上で肩の輪郭よりも下方に位置するため、その手が肩の輪郭を隠さない可能性が高い。
【００４７】
そこで、顔領域が検出されている場合、手領域検出部２５は、肩検出部２４により出力された肩検出結果信号が、一方の肩の輪郭が物体により隠されていることを示していれば、手候補領域は利用者の手であると判定する。一方、肩検出結果信号が、両方の肩が検出されていることを示していれば、手領域検出部２５は、その手候補領域は利用者の手ではないと判定する。
なお、手領域検出部２５は、手候補領域が存在する方の肩の輪郭が物体により隠されている場合に限り、その手候補領域を利用者の手であると判定してもよい。
【００４８】
一方、顔領域が検出されていない場合、手領域検出部２５は、Sh/Scが所定の範囲に含まれ、かつ、Eh/Shが所定の閾値よりも大きい手候補領域を利用者の手であると判定する。
手領域検出部２５は、利用者の手が検出されたか否かの判定結果を示す手領域検出結果信号を携帯使用検知部１１に返す。
【００４９】
判定部２６は、利用者の手の検出結果に基づいて、利用者が携帯電話機を用いて通話中か否かを判定する。具体的には、判定部２６は、何れかの時点で取得された監視画像に対して、手領域検出部２５が利用者の手が検出されなかったことを示す判定結果を返すと、制御部６が有するメモリに記憶されるカウンタの値を0にリセットする。一方、判定部２６は、何れかの時点で取得された監視画像に対して、手領域検出部２５が利用者の手が検出されたことを示す判定結果を返すと、カウンタの値を1インクリメントする。そのため、順次取得された監視画像に対して連続的に利用者の手が検出されると、カウンタの値が増加する。そしてカウンタの値が所定値に達すると、すなわち、一定期間の間連続して利用者の手が利用者の顔または頭部の近傍で検出されると、判定部２６は、利用者が携帯電話機を用いて通話中であると判定する。なお、所定値は、例えば、詐欺行為者からの指示を利用者が聞くのに必要と考えられる期間（例えば、１分間）の間に取得される監視画像の枚数に設定されることが好ましい。
【００５０】
判定部２６は、利用者が携帯電話機を用いて通話中であると判定されたときに、通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、その通話検出信号を制御部６に通知する。一方、カウンタの値が所定値未満であれば、判定部２６は、利用者が通話中か否か分からないため、判定結果を携帯使用検知部１１に通知しない。
【００５１】
図５に示したフローチャートを参照しつつ、制御部６の携帯使用検知部１１による通話検知処理の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。
【００５２】
まず、監視画像が取得されると、エッジ画像生成部２１は、監視画像から、利用者の各部の輪郭に対応するエッジ画素を抽出したエッジ画像を作成する（ステップＳ１０１）。エッジ画像生成部２１は、作成したエッジ画像を、頭検出部２３、肩検出部２４及び手領域検出部２５へ渡す。また顔検出部２２がエッジ画像に基づいて顔領域を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。
次に、顔検出部２２は、取引端末１００に対して正面を向いた利用者の顔領域を検出する処理を実行し、顔領域が検出できたか否か判定する（ステップＳ１０２）。ステップＳ１０２において、顔領域が検出できなかった場合、顔検出部２２は、顔検出不能信号を携帯使用検知部１１に返す。そして頭検出部２３は、監視画像から頭部領域を検出する処理を実行し、頭部領域が検出できたか否か判定する（ステップＳ１０３）。ステップＳ１０３において、頭部領域が検出できなかった場合、その旨を表す頭検出不能信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０７に移行する。一方、ステップＳ１０３において、頭部領域が検出された場合、手領域検出部２５は、頭部領域の近傍に設定された探索領域内で手領域を検出する処理を実行し、手領域が検出できたか否か判定する（ステップＳ１０４）。ステップＳ１０４において、手領域が検出できなかった場合、手領域検出部２５は、利用者の手が検出されなかったことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０７に移行する。一方、ステップＳ１０４において、手領域が検出できた場合、手領域検出部２５は、利用者の手が検出されたことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０９に移行する。
【００５３】
また、ステップＳ１０２において、顔領域が検出された場合、顔検出部２２は、顔領域を示す情報を肩検出部２４及び手領域検出部２５へ渡す。そして肩検出部２４は、顔領域の近傍に設定された探索領域において、肩の輪郭を検出し、肩の輪郭が物体により隠されているか否かを判定する（ステップＳ１０５）。そして肩検出部２４は、その判定結果を示す肩検出結果信号を携帯使用検知部１１に返す。次に、手領域検出部２５は、顔領域の近傍に設定された探索領域内で手領域を検出する処理を実行し、手領域が検出できたか否か判定する（ステップＳ１０６）。その際、手領域検出部２５は、上述したように、肩の輪郭が物体により隠されているか否かの判定結果を参照する。ステップＳ１０６において、手領域が検出できなかった場合、手領域検出部２５は、利用者の手が検出されなかったことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０７に移行する。
ステップＳ１０７では、判定部２６は、カウンタを０にリセットする。そして携帯使用検知部１１は、記憶部５に記憶されている人体検知フラグがＯＮか否か判定する（ステップＳ１０８）。ステップＳ１０８において、人体検知フラグがＯＦＦであれば、携帯使用検知部１１は通話検知処理を終了する。一方、ステップＳ１０８において、人体検知フラグがＯＮであれば、携帯使用検知部１１は制御をステップＳ１０１に戻し、新たに取得された監視画像に対して通話検知処理を実行する。
【００５４】
一方、ステップＳ１０６において、手領域が検出できた場合、判定部２６はカウンタを１インクリメントする（ステップＳ１０９）。そして判定部２６は、カウンタの値が所定値に到達したか否か判定する（ステップＳ１１０）。ステップＳ１１０において、カウンタの値が所定値に到達していない場合、携帯使用検知部１１は制御をステップＳ１０１に戻し、新たに取得された監視画像に対して通話検知処理を実行する。
一方、ステップＳ１１０において、カウンタの値が所定値に到達している場合、判定部２６は、利用者が携帯電話機を用いて通話中であると判定する（ステップＳ１１１）。そして判定部２６は、通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に返し、携帯使用検知部１１は、その通話検出信号を制御部６に通知する。そして判定部２６は、カウンタを０にリセットし（ステップＳ１１２）、その後、携帯使用検知部１１は通話検知処理を終了する。
なお、各ステップにおける処理の詳細は、携帯使用検知部１１の各部の説明において説明したので、ここではその説明を省略する。
【００５５】
異常報知部１２は、後述するオートホン使用フラグがＯＦＦに設定されていれば、携帯使用検知部１１から通話検出信号が通知されているか否かを調べる。そして異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている場合、すなわち、利用者が携帯電話機を用いて通話中であると判定された場合、取引端末１００から金銭を振り込ませる詐欺行為に注意を促す警報音声データを記憶部５から読み込む。そして異常報知部１２は、警報音声データを音声出力部３を介してスピーカ１４０へ出力し、利用者に警報を発する。異常報知部１２は、警報音声データの出力を所定回数繰り返して実行した後、警報音声を通知する処理を終了する。あるいは、異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている間、警報音声データを繰り返しスピーカ１４０へ出力してもよい。なお、異常報知部１２が行う警報を報知する処理は、警報音声データの出力に限らず、例えば、異常報知部１２が、オートホン制御装置１５１に異常信号を出力し、これを受信したオートホン制御装置１５１が、通信回線１７０を介してＡＴＭセンタ装置１８０へ利用者が詐欺行為に遭っている可能性が高い旨を通知する処理であってもよい。
一方、オートホン使用フラグがＯＮに設定されていれば、利用者がオートホン１５０を用いてオペレータと通話していることを携帯電話機を用いた通話と誤認識して警報を発することがないように、異常報知部１２は警報音声データをスピーカ１４０へ出力しない。
【００５６】
フラグ処理部１３は、携帯使用検知部１１が通話検知処理を開始するためのトリガとなる人体検出フラグと、異常報知部１２が警報音声データを出力するか否かの判定基準となるオートホン使用フラグの値を設定する。
具体的には、フラグ処理部１３は、センサ１６０から、取引端末１００を操作する利用者が検知されたことを示す人体検知信号を受信している間、記憶部５に記憶されている人体検出フラグをＯＮに設定する。一方、フラグ処理部１３は、人体検知信号を受信しなくなると、人体検出フラグをＯＦＦに書き換える。
また、フラグ処理部１３は、オートホン制御装置１５１からオートホン１５０が使用されていることを示すオートホン使用信号を受信している間、あるいは、オートホン１５０からオフフック信号を受信している間、記憶部５に記憶されているオートホン使用フラグをＯＮに設定する。一方、フラグ処理部１３は、オートホン使用信号及びオフフック信号を受信しなくなると、オートホン使用フラグをＯＦＦに書き換える。
【００５７】
図６に示したフローチャートを参照しつつ、取引監視装置１による処理全体の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。
取引端末１００が起動されたとき、取引監視装置１も起動され、処理が開始される。そして、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否か判定する（ステップＳ２０１）。ステップＳ２０１において、人体検知フラグがＯＦＦであれば（ステップＳ２０１−Ｎｏ）、制御部６は、制御をステップＳ２０６に進める。一方、ステップＳ２０１において、人体検知フラグがＯＮであれば（ステップＳ２０１−Ｙｅｓ）、制御部６の携帯使用検知部１１は、通話検知処理を実行する（ステップＳ２０２）。なお、通話検知処理の詳細手順は、図５とともに上述したとおりである。そして制御部６は、携帯使用検知部１１からの通話検出信号を参照して、利用者が携帯電話を使用して通話しているか否かを判定する（ステップＳ２０３）。
【００５８】
ステップＳ２０３において、利用者が携帯電話を使用して通話していると判定された場合（ステップＳ２０３−Ｙｅｓ）、制御部６の異常報知部１２は、スピーカ１４０へ警報音声データの出力を開始する（ステップＳ２０４）。音声データの出力開始後、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否かを判定する（ステップＳ２０５）。この判定で、人体検知フラグがＯＮである場合、制御部６は、人体検知フラグがＯＦＦになるまで、ステップＳ２０５の処理をループさせる。これは、同一の利用者に対して警告音声データを何度も出力しないようにするためである。一方、ステップＳ２０３において、利用者が携帯電話を使用して通話していると判定されなかった場合（ステップＳ２０３−Ｎｏ）、あるいはステップＳ２０５にてＮｏと判定された後、制御部６は、取引端末１００がサービスを終了したか否か判定する（ステップＳ２０６）。なお、制御部６は、取引端末１００の営業時間の終了時刻になったこと、あるいは、取引端末１００からシャットダウンする旨の通知を受けることにより、取引端末１００がサービスを終了したと判定できる。ステップＳ２０６において、取引端末１００がサービスを終了していない場合、制御部６は、制御をステップＳ２０１に戻し、ステップＳ２０１〜Ｓ２０６の処理を繰り返す。一方、ステップＳ２０６において、取引端末１００がサービスを終了した場合、取引監視装置１の処理を終了し、取引監視装置１の電源を切る。
【００５９】
以上説明してきたように、本発明の一実施形態である取引監視装置は、ATMなど、金銭の取引を行う取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。特にこの取引監視装置は、画像から利用者の顔を検出できない場合には、人の頭部形状に類似した領域を検出してその領域近傍で手があることを検出できると利用者が携帯電話機を使用していると判定する。これにより、この取引監視装置は、利用者が取引端末の操作画面を操作するために俯いているときでも、高精度で利用者が携帯電話機を使用しているか否かを判定できる。
【００６０】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、携帯使用検知部１１は、オートホン使用フラグがＯＮに設定されている間、通話検知処理の実行を中断してもよい。
また、図５に示した通話検知処理の動作手順において、携帯使用検知部１１は、ステップＳ１０５の処理とステップＳ１０６の処理の順序を入れ換えてもよい。この場合、手領域検出部２５は、顔領域の左右の何れかにおいて手領域を検出すると、顔領域の左または右側の何れにおいて手領域が検出されたかを肩検出部２４に通知する。そして、肩検出部２４は、通知された側の探索領域でのみ、肩の輪郭が物体により隠されているか否かの判定を行えばよい。この場合、携帯使用検知部１１は、手領域検出部２５により手領域が検知され、かつ、肩検出部２４により手領域が検出された側の探索領域内で肩の輪郭が物体により隠されていると判定された場合、制御をステップＳ１０９に進める。一方、携帯使用検知部１１は、手領域検出部２５により手領域が検出されなかったか、または、肩検出部２４により手領域が検知された側の探索領域内で肩の輪郭が物体により隠されていないと判定された場合、制御をステップＳ１０７に進める。
さらに、必要とする手領域の検出精度に応じて、肩検出部２４は省略されてもよい。この場合、顔領域が検出された場合でも、手領域検出部２５は、ステップＳ１０６において、肩の輪郭についての判定結果を参照することなく手領域が検出されたか否か判定する。また、携帯使用検知部１１は、ステップＳ１０２、Ｓ１０５及びＳ１０６の処理と、ステップＳ１０３及びＳ１０４の処理の順序を入れ換えてもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００６１】
１００ 取引端末
１１０ 筐体
１２０ タッチパネルディスプレイ
１３０ 監視カメラ
１４０ スピーカ
１５０ オートホン
１５１ オートホン制御装置
１ 取引監視装置
２ 画像取得部
３ 音声出力部
４ 通信部
５ 記憶部
６ 制御部
１１ 携帯使用検知部
１２ 異常報知部
１３ フラグ処理部
２１ エッジ画像生成部
２２ 顔検出部
２３ 頭検出部
２４ 肩検出部
２５ 手領域検出部
２６ 判定部
【技術分野】
【０００１】
本発明は、取引監視装置に関し、特に、自動取引システムの取引端末の利用者を撮影した画像から、利用者が特定の行動をとっているか否かを判定する取引監視装置に関する。
【背景技術】
【０００２】
従来より、複数の利用者間での金銭取引において、金融機関またはコンビニエンスストアなどに設置された取引端末、例えば、現金自動預け払い機（ATM、Automated Teller Machine）を用いた振込み手続きといった送金処理が広く利用されている。
ところが、近年、この取引端末による送金処理を利用して、家族または親族などの身内の者を装って、取引端末の利用者に現金を送金させる詐欺行為が増加しており、社会的に問題となっている。
また、同様に、公的団体の職員を装って、医療費または税金が還付される等、払い過ぎた金銭が返金されるかのように偽り、利用者に言葉巧みに取引端末を操作させて、利用者本人が気付かないうちに、他人（詐欺行為者）の口座に金銭を振り込ませる詐欺行為も急増している。
このような問題に対して、利用者が送金処理を行うときに金銭の受取人の正当性を判別することで、詐欺行為の被害を未然に防止しようとするシステムが提案されている（例えば、特許文献１を参照）。
【０００３】
特許文献１に開示された自動取引システムは、取引装置にて送金処理を行う振込人と、この送金を受け取る受取人とが通話するハンドセットを備える。そしてこの自動取引システムは、このハンドセットを通じて取得される受取人の声紋データを、予め顧客データベースに記憶された振込人の身内の者の声紋データと照合して、その照合結果で振込取引の可否を判断することにより、詐欺被害を未然に防止する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−８０１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された自動取引システムは、詐欺被害を防止するために、正当な取引であっても、振込手続時に受取人の声紋照合を必ず行わなければならない。そのため、この自動取引システムは、取引装置にて送金処理を行う全ての利用者について、自己の送金先として考えられ得る全ての人物の声紋データを取得して、顧客データベースに事前に登録しておかなければならない。もし、送金先の人物の声紋データが顧客データベースに登録されていなければ、利用者は、この自動取引システムを利用してその人物の口座に対して送金処理を行うことができないので、円滑な金銭取引に支障をきたすおそれが生じる。
【０００６】
そこで、本発明は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止する取引監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一般に、家族または親族などの身内の者を装い金銭の送金を要求する詐欺行為では、聴力の衰えた高齢者が被害者として狙われることが多い。その詐欺行為の手口として、詐欺行為者は、被害者の身内などを装って被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話するように被害者を誘導する。被害者が詐欺行為者を信用した場合、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして被害者は、詐欺行為者からの電話を通じた取引端末の操作方法の具体的な指示に従って取引端末を操作してしまい、詐欺と気付かずに金銭を詐欺行為者の口座に送金してしまう。
【０００８】
また、還付金があるかのように偽る詐欺行為についても同様であり、被害者として狙われるのは取引端末の操作に不慣れな高齢者であることが多い。この場合の詐欺行為の手口として、詐欺行為者は、社会保険事務所または自治体の職員、あるいは税務署員を装って、医療費または保険金、あるいは税金が還付される等、払い過ぎた金銭が取引端末を操作することによって返還されるかのように偽って被害者を取引端末まで誘導し、被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話させる。被害者が詐欺行為者を信用した場合、上述した詐欺行為の類型と同様に、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして詐欺行為者は、取引端末まで出向いた被害者から電話が掛かってくると、「私の云う通りにATMを操作して下さい」等と言葉巧みに被害者に取引端末を操作させ、例えば振込金額の入力画面で、「ここで暗証番号を入力します」などと偽り振込金額を入力させる。そのため、被害者は、金銭が還付されるものと思いながら取引端末を操作しても、実際は本人が気付かないうちに、他人（詐欺行為者）の口座に送金を行ってしまう。
【０００９】
本発明に係る取引監視装置は、上述した取引端末の送金処理を悪用した詐欺行為は、被害者が取引端末の前で携帯電話機を通じての詐欺行為者からの指示に従って取引端末を操作することにより行われる点に着目したものである。
【００１０】
かかる課題を解決するための本発明は、送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置を提供する。本発明に係る取引監視装置は、自動取引端末に正対する利用者の正面方向を撮影するように設置された監視カメラから取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、その画像データから利用者の頭部を頭頂方向から見た頭部領域を抽出する頭検出部と、顔検出部により顔領域が検出された場合、その顔領域を基準として設定された第１の探索領域から利用者の手を検出し、頭検出部により頭部領域が検出された場合、その頭部領域を基準として設定された第２の探索領域から利用者の手を検出する手領域検出部と、所定期間中に順次取得された画像データのそれぞれから、手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、判定部により、利用者が携帯電話機を使用して通話中であると判定されると警報を報知する異常報知部とを有する。
【００１１】
また、手領域検出部は、頭部領域の上端から第２の探索領域の上端までの距離を、顔領域の上端から第１の探索領域の上端までの距離よりも小さくなるように設定することが好ましい。
【００１２】
また、取引監視装置は、画像データから利用者の肩の輪郭が物体により隠れているか否かを判定する肩検出部をさらに有し、手領域検出部は、利用者の手を検出する判定条件として、顔検出部により顔領域が検出された場合には、肩検出部により肩の輪郭が物体に隠されていると判定されたことを含み、頭検出部により頭部領域が検出された場合には、肩検出部により肩の輪郭が物体に隠されていると判定されたことをその判定条件に含まないことが好ましい。
【００１３】
この場合において、肩検出部は、画像データから抽出されたエッジ画素が、顔領域方向または水平方向に連続するエッジ線を抽出し、そのエッジ線の長さが所定長未満であるか、または、そのエッジ線の端部が垂直方向に連続するエッジ線と接触している場合、肩の輪郭が物体により隠されていると判定することが好ましい。
【００１４】
さらに、異常報知部は、自動取引端末に併設された通話装置が使用されたことを検知すると、利用者が携帯電話機を使用して通話中であると判定されていても警報を報知しないことが好ましい。
【発明の効果】
【００１５】
本発明に係る取引監視装置は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止することができるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明の一つの実施形態に係る取引監視装置を含む自動取引システムの概略構成図である。
【図２】本発明の一つの実施形態に係る取引監視装置の概略構成図である。
【図３】肩の輪郭の探索領域の一例を示す図である。
【図４】（ａ）は、顔領域が検出されている場合に設定される、手の探索領域の一例を示す図であり、（ｂ）は、顔領域が検出されていない場合に設定される、手の探索領域の一例を示す図である。
【図５】本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。
【図６】本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、取引監視装置の全体処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図を参照しつつ、一つの実施形態による、取引監視装置について説明する。
この取引監視装置は、ATMなど、金銭の取引を行う自動取引システムの取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用して通話しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用して通話していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。特にこの取引監視装置は、利用者が取引端末の操作画面を操作するために俯いている場合のように、画像から利用者の顔を検出できない場合には、人の頭部形状に類似した領域を検出してその領域近傍で手があることを検出できると利用者が携帯電話機を使用して通話していると判定することで、高精度で携帯電話機を使用した通話の有無を判定可能とするものである。
【００１８】
図１は、一つの実施形態による取引監視装置を含む自動取引システムの概略構成図である。図１に示すように、金融機関の店舗などに設置された取引端末１００は、筐体１１０と、タッチパネルディスプレイ１２０と、通帳またはキャッシュカードなどの受け入れ口１１１、１１２と、金銭の受け入れ・払い出し口１１３とを有する。
通帳またはキャッシュカードなどの受け入れ口１１１、１１２は、筐体１１０の正面上方に形成されており、取引端末１００は、その受け入れ口１１１に挿入された通帳に記帳したり、受け入れ口１１２に挿入されたキャッシュカードから所定の情報を取得することが可能となっている。金銭の受け入れ・払い出し口１１３は、筐体１１０の正面のテーブル状に形成された部位に形成されており、この受け入れ・払い出し口１１３を介して、利用者は金銭の預け入れ及び払い出しをすることが可能となっている。
【００１９】
タッチパネルディスプレイ１２０は、筐体１１０の正面のテーブル状に形成された部位に、上方に向けて情報が表示されるように設置される。そしてタッチパネルディスプレイ１２０は、取引端末１００の利用者に対して、振込、入金、出金などの各種処理に応じた操作ボタン及び操作案内を表示する。そして利用者が、タッチパネルディスプレイ１２０に表示された操作ボタンを押下することにより、タッチパネルディスプレイ１２０は、押下された操作ボタンに応じた操作信号あるいは、暗証番号、振込先、金額などを表す情報を取得する。そして取引端末１００は、タッチパネルディスプレイ１２０から取得した操作信号または情報を、通信回線（図示せず）を介して接続されたサーバ（図示せず）に送信し、サーバからの応答信号に従って、利用者が選択した操作に対応する処理を実行する。
【００２０】
取引端末１００の内部または近傍には、監視カメラ１３０と、スピーカ１４０と、センサ１６０とが設置され、これらの機器が取引監視装置１と接続される。
監視カメラ１３０は、取引端末１００の利用者の頭部から肩にかけての領域を正面から撮影することが可能なように、筐体１１０の正面上方に設置される。なお、監視カメラ１３０は、利用者の頭部から肩にかけての領域を正面から撮影することが可能であれば、取引端末１００と別個に、例えば取引端末１００の背面に隣接する壁面に設置されてもよい。また監視カメラ１３０は、CCDまたはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。そして監視カメラ１３０は、一定の時間間隔（例えば１／５秒）ごとに撮影を行って、利用者を撮影した画像を順次取引監視装置１へ出力する。
【００２１】
スピーカ１４０は、筐体１１０の上方に設置される。またスピーカ１４０は、取引監視装置１と接続され、取引監視装置１から受け取った警報音声信号に応じた音声を発する。
【００２２】
さらに、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、取引端末１００を操作する利用者を検知するためのセンサ１６０が設置される。このセンサ１６０は、例えば、予め取引端末１００の正面の所定空間に設定された検知領域から放射される赤外線を受光し、その受光量の変化によって利用者を検知する人感センサとすることができる。あるいは、センサ１６０は、予め取得した背景画像とカメラにより撮影した画像との差分によって得られた変化領域から利用者を検知する画像センサ、あるいはマットセンサ若しくは近接センサなどであってもよい。そしてセンサ１６０は、取引監視装置１と接続され、利用者を検知している間、その旨を示す人体検知信号を取引監視装置１へ出力し、利用者を検知しなくなると、人体検知信号の出力を停止する。
【００２３】
また、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、オートホン１５０が設置される。このオートホン１５０は、プロセッサ、半導体メモリ、通信インターフェース及びその周辺回路を有するオートホン制御装置１５１と接続されている。そしてオートホン１５０の受話器が外されると、オートホン制御装置１５１は、通信回線１７０を介してオートホン制御装置１５１に接続された、遠隔地のATMセンタに設置されたATMセンタ装置１８０に向けて自動発信処理を実行し、利用者がオートホン１５０を介してATMセンタ装置１８０のオペレータと通話することを可能にする。
また、オートホン制御装置１５１は、取引監視装置１とも接続され、利用者がオートホン１５０を使用している場合に、その旨を示すオートホン使用信号を取引監視装置１へ出力する。具体的には、オートホン制御装置１５１は、オートホン１５０から受話器が外れていることを示すオフフック信号を受信している間、オートホン使用信号を取引監視装置１へ出力する。
なお、オートホン１５０と取引監視装置１を直接接続し、取引監視装置１は、オートホン１５０からオフフック信号を直接受信することにより、オートホン１５０が使用中であることを確認できるようにしてもよい。
【００２４】
次に、本発明の一実施形態に係る取引監視装置１について説明する。
図２は、取引監視装置１の概略構成図である。図２に示すように、取引監視装置１は、画像取得部２と、音声出力部３と、通信部４と、記憶部５と、制御部６とを有する。
【００２５】
画像取得部２は、画像入力インターフェースであり、例えば、ビデオ入力端子などで構成される。そして画像取得部２は、監視カメラ１３０から入力された画像データを取得して制御部６へ渡す。
【００２６】
音声出力部３は、音声出力インターフェースであり、例えば、オーディオ出力端子などで構成される。そして音声出力部３は、制御部６から受け取った警報音声信号をスピーカ１４０へ出力する。
【００２７】
通信部４は、通信インターフェースであり、例えば、イーサネット（登録商標）、ユニバーサルシリアルバス2（USB2）、IEEE802.11a、IEEE1394、RS232Cなどの通信規格に従ったインターフェース及び制御回路などで構成される。そして通信部４は、オートホン制御装置１５１からのオートホン使用信号またはオートホン１５０からのオフフック信号を受信して、それらの信号を制御部６へ渡す。
さらに通信部４は、センサ１６０から受け取った人体検知信号を制御部６へ渡す。
また取引監視装置１と取引端末１００とは、通信部４を介して接続されてもよく、この場合、取引監視装置１の制御部６は、通信部４を介して警報信号などを取引端末１００へ送信してもよい。
【００２８】
記憶部５は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置の少なくとも何れか一つを有する。なお、記憶部５は、制御部６が有する半導体メモリの記憶領域の一部として実現されてもよい。そして記憶部５は、取引監視装置１で使用される各種のプログラム及びデータを記憶する。記憶部５は、例えば、そのようなデータとして、センサ１６０によって利用者が検知されているか否かを示す人体検知フラグ、オートホン１５０が使用されているか否かを表すオートホン使用フラグを記憶する。さらに記憶部５は、利用者の手及び肩の検索範囲を設定するための検索領域情報、利用者の顔、頭部及び手を判定するためのテンプレート及び判定基準情報等を記憶する。さらに記憶部５は、携帯電話機を使用して取引端末１００から送金させる詐欺行為に注意を促す音声メッセージに対応する音声データを記憶する。
そして記憶部５は、制御部６と接続され、制御部６からの要求に応じて、所定のプログラム及びデータを出力し、あるいは所定のデータを記憶する。
【００２９】
制御部６は、プロセッサユニット、RAM及びROMなどの半導体メモリ、及び周辺回路を有する。そして制御部６は、取引監視装置１全体を制御する。また制御部６は、監視カメラ１３０から受け取った画像データに基づいて、利用者が携帯電話機を使用しているか否か判定し、使用している場合には、スピーカ１４０を介して注意を促す。そのために、制御部６は、携帯使用検知部１１と、異常報知部１２と、フラグ処理部１３とを有する。制御部６が有するこれらの各部は、例えば、プロセッサユニット上で実行されるコンピュータプログラムによって実装される機能モジュールである。
【００３０】
携帯使用検知部１１は、監視カメラ１３０から受け取った画像データから、利用者の顔または頭部の近傍に利用者の手があるか否かを調べることにより、利用者が携帯電話機を使用しているか否か判定する。そのために、携帯使用検知部１１は、エッジ画像生成部２１と、顔検出部２２と、頭検出部２３と、肩検出部２４と、手領域検出部２５と、判定部２６とを有する。
【００３１】
エッジ画像生成部２１は、監視カメラ１３０から受け取った、利用者が撮影された画像データ（以下監視画像という）から、利用者の各部の輪郭に対応するエッジ画素を抽出する。そのためにエッジ画像生成部２１は、例えば、監視画像に対してsobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを用いた近傍画素間演算を実行する。そしてエッジ画像生成部２１は、近傍画素間演算の結果得られた差分値の絶対値が所定の閾値よりも大きい画素をエッジ画素とする。なお、所定の閾値は、例えば、監視画像の各画素について得られた差分絶対値の平均値とすることができる。また、エッジ画像生成部２１は、エッジ検出フィルタの向きを少なくとも垂直方向と水平方向の２方向に設定し、垂直方向のエッジと水平方向のエッジを検出することが好ましい。そしてエッジ画像生成部２１は、各画素について、得られた各方向の差分絶対値のうち、最大値となる方向をその画素のエッジの向きとする。
エッジ画像生成部２１は、抽出されたエッジ画素を表すエッジ画像を作成する。例えば、エッジ画像では、抽出されたエッジ画素に対応する画素の画素値が、水平方向のエッジであれば1、垂直方向のエッジであれば2で表され、その他の画素の画素値が0で表される。あるいは、エッジ画像生成部２１は、エッジ画像とは別個に、抽出されたそれぞれのエッジ画素の向きを表すエッジ方向データを作成してもよい。
エッジ画像生成部２１は、作成したエッジ画像を、頭検出部２３、肩検出部２４及び手領域検出部２５へ渡す。また顔検出部２２がエッジ画像に基づいて顔領域を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。
【００３２】
顔検出部２２は、監視画像から利用者の顔が写っている顔領域を検出する。そのために、顔検出部２２は、画像から顔領域を検出する様々な技術の何れかを利用することができる。例えば、監視画像がカラー画像である場合、顔検出部２２は、監視画像の各画素の色情報をHSV表色系の色情報に変換する。そして顔検出部２２は、色相Hの成分が所定の範囲に含まれる色情報を有する画素を肌色画素として抽出する。なお、所定の範囲は、例えば、色相Hの成分の色情報が0から255で表される場合、0から30に設定される。そして顔検出部２２は、肌色画素及び肌色画素で囲まれた領域を候補領域とし、その候補領域から抽出されるHaar-like特徴を用いたAdaboost識別器により、候補領域が顔領域か否か判定する。なお、Haar-like特徴は、入力された画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。
【００３３】
各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて入力された候補領域が顔領域か否かの識別結果を出力する。例えば、弱識別器は、候補領域が顔領域であると判定した場合、1を出力し、一方、候補領域が顔領域でないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力結果をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、得られた重み付け和が所定の閾値（例えば、0）よりも高い場合、候補領域が顔領域であると判定する。
【００３４】
また、候補領域中のどの位置に関するHaar-like特徴を識別に利用する弱識別器が使用されるか、及び弱識別器に対する重みは、人物の顔が写っていない複数のサンプル画像と人物の顔が写っている複数のサンプル画像とを用いた事前学習により決定される。学習手順の概略は以下の通りである。
（１）使用可能な全ての弱識別器について、Haar-like特徴の値に基づいて、入力された画像領域に顔が写っているか否かを識別する閾値を設定する。
（２）各サンプル画像に対する重みを決定する。重みの初期値は、各サンプル画像に対して同じ値とする。
（３）全ての弱識別器に対して各サンプル画像を入力して、弱識別器ごとに識別に失敗したサンプル画像に付けられた重みを合計する。そしてその重みの合計を評価値とする。
（４）評価値が最も小さい弱識別器をAdaboost識別器で使用する弱識別器として選択する。そして評価値から選択された弱識別器の出力に付される重みを決定する。
（５）選択された弱識別器が識別に失敗したサンプル画像の重みを大きくする。
（６）（３）〜（５）の手順を繰り返す。
なお、Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。
【００３５】
また、顔検出部２２は、監視画像から、人物の顔において特徴的な目領域、鼻尖点、口角点などの顔特徴点を抽出することにより、顔領域を検出してもよい。例えば、顔検出部２２は、エッジ画像生成部２１から受け取ったエッジ画像から、顔の輪郭形状に近似した楕円形状のエッジ分布を、パターンマッチングなどを用いて検出する。そして、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域内に存在するエッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。そしてこれらの顔特徴点が抽出できた場合、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域を顔領域とする。また顔検出部２２は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔検出部２２は、顔領域に相当するテンプレートと監視画像とのテンプレートマッチングを行ってテンプレートと監視画像との相関値を求め、その相関値が所定の閾値以上となる場合、その相関値に対応する監視画像内の領域を顔領域として検出してもよい。
顔検出部２２は、監視画像から顔領域を検出することができた場合、その顔領域を表す情報（例えば、顔領域の外接矩形の左上端点の画素の座標と右下端点の画素の座標）を、肩検出部２４及び手領域検出部２５へ渡す。一方、顔検出部２２は、監視画像から顔領域を検出することができなかった場合、その旨を示す顔検出不能信号を携帯使用検知部１１に返す。
【００３６】
頭検出部２３は、顔検出部２２が監視画像から顔領域を検出することができなかった場合、監視画像から利用者の頭部が写っている頭部領域を検出する。例えば、図１に示したように、取引端末１００のタッチパネルディスプレイ１２０は、上方に向けて情報を表示するように配置されている。そのため、利用者は、取引端末１００を操作するために俯いていることがある。そして利用者が俯いていると、監視画像上では、利用者の顔の殆どが頭部に隠れて見えなくなってしまう。つまり、監視画像上の顔特徴情報が、利用者が正面を向いているときに比べて、はっきりと表れなくなってしまう。
そこで、頭検出部２３は、利用者の顔の特徴を利用せずに、頭部領域を検出する。例えば、頭検出部２３は、頭頂方向から見た頭部の輪郭形状と近似したパターンである楕円形状の少なくとも１枚のテンプレートと、エッジ画像生成部２１から受け取ったエッジ画像とのテンプレートマッチングを行ってテンプレートとエッジ画像との相関値を求める。そして頭検出部２３は、その相関値が所定の閾値以上となる場合、その相関値に対応する監視画像内の領域を頭部領域として検出する。
【００３７】
なお、頭検出部２３は、誤検出の防止及び処理速度の向上のために、監視カメラ１３０の設置位置、画角及び撮影方向に応じて、監視画像中において利用者の頭部が存在すると想定される領域に限定してパターンマッチングを行うことが好ましい。なお、頭部が存在すると想定される領域は、例えば、取引端末１００のタッチパネルディスプレイ１２０の上方の空間が監視画像の中央に位置するように監視カメラ１３０が設置されている場合、監視画像の中央に設定される。
頭検出部２３は、頭部領域を表す情報（例えば、頭部領域の外接矩形の左上端点の画素の座標と右下端点の画素の座標）を手領域検出部２５へ渡す。一方、頭検出部２３は、監視画像から頭部領域を検出することができなかった場合、その旨を示す頭部検出不能信号を携帯使用検知部１１に返す。
【００３８】
肩検出部２４は、顔検出部２２が利用者の顔領域を検出できた場合、エッジ画像生成部２１により生成されたエッジ画像から、利用者の肩の輪郭を検出する。そして肩検出部２４は、その肩の輪郭が、利用者の手または携帯電話機などの物体により隠されているか否かを判定する。まず、肩検出部２４は、肩の輪郭を誤検出することを防止するために、人の体型を考慮して検出された顔領域の近傍に肩の輪郭の探索領域を設定する。
図３に、肩の輪郭の探索領域の一例を示す。図３に示すように、監視画像３００において、利用者の顔領域３１０が検出されている場合、右肩（画像上では、向かって左側の肩）の輪郭の探索領域３２０は、顔領域３１０の外接矩形の左下角の端点に探索領域３２０の右上角の端点が重なるように設定される。また、左肩（画像上では、向かって右側の肩）の輪郭の探索領域３３０は、顔領域３１０の外接矩形の右下角の端点に探索領域３３０の左上角の端点が重なるように設定される。そして探索領域３２０及び３３０の幅及び高さは、それぞれ、顔領域３１０の幅の２倍及び顔領域３１０の高さの１／２倍に設定される（なお、図３では探索領域の大きさを簡略化して示している）。
【００３９】
肩検出部２４は、それぞれの探索領域において、エッジ画像に対して細線化処理を実行して、エッジ画素が所定画素数（例えば、１画素）の幅で連結されたエッジ線を抽出する。ここで、肩検出部２４は、このエッジ線に対して確率的ハフ変換処理を施し、エッジ線を線分に近似しておく。これにより、曲線的なエッジ線は、曲率の高い部分に端部を持つ複数のエッジ線に分割される。そして肩検出部２４は、それぞれの探索領域において、抽出されたエッジ線のうち、水平方向または顔方向に伸びるエッジ線と、垂直方向に伸びるエッジ線を検出する。ここで、それぞれの探索領域内において、顔に近い側が高く、顔から遠い側が低くなる直線と水平方向に伸びる直線がなす角を正とする。このとき、肩検出部２４は、着目するエッジ線と水平軸のなす角が、水平軸に対して０°から３０°の範囲に含まれる場合、そのエッジ線を水平方向または顔方向に伸びるエッジ線とする。なお、肩検出部２４は、例えば、エッジ線上の隣接するエッジ画素間の水平軸に対する傾きの平均値あるいはエッジ線の両端点間の水平軸に対する傾きを、エッジ線と水平軸のなす角とする。あるいはまた、肩検出部２４は、垂直方向に変化するエッジに対応するエッジ画素が連結されたエッジ線についてのみ、そのエッジ線と水平軸のなす角が０°から３０°の範囲に含まれるか否か判定し、その角が０°から３０°の範囲に含まれる場合、そのエッジ線を水平方向または顔方向に伸びるエッジ線としてもよい。
【００４０】
また、肩検出部２４は、着目するエッジ線と水平軸のなす角が、水平軸に対して６０°から１２０°の範囲に含まれる場合、そのエッジ線を垂直方向に伸びるエッジ線とする。あるいは、肩検出部２４は、水平方向に変化するエッジに対応するエッジ画素が連結されたエッジ線を垂直方向に伸びるエッジ線として検出してもよい。
【００４１】
肩検出部２４は、それぞれの探索領域において、水平方向または顔方向に伸びるエッジ線が所定長未満のものしかない場合に、肩の輪郭が物体により隠されていると判定する。また、肩検出部２４は、それぞれの探索領域において、水平方向または顔方向に伸びるエッジ線が所定長以上である場合には、そのエッジ線の端部が垂直方向に伸びるエッジ線と接触していると、肩の輪郭が物体により隠されていると判定する。すなわち、肩検出部２４は、水平方向または顔方向に伸びるエッジ線が所定長未満であるか、または、このエッジ線の端部が垂直方向に連続するエッジ線と接触している場合に、肩の輪郭が物体により隠されていると判定する。これは、肩の輪郭線が、例えば、腕または携帯電話機などの物体に遮られて見えない場合、監視画像上では、腕または携帯電話機の輪郭に沿って垂直方向に伸びるエッジ線が存在し、その垂直方向のエッジ線により、肩の輪郭線が切断されることに対応する。一方、肩検出部２４は、水平方向または顔方向に伸びるエッジ線が所定長よりも長く、かつ、このエッジ線の端部が垂直方向に伸びるエッジ線と接触していなければ、肩の輪郭が検出できたと判定する。なお、所定長は、例えば、顔検出部２２により検出された顔領域の幅の１／４〜１／３に設定される。
肩検出部２４は、肩の輪郭が物体により隠されているか否かの判定結果を示す肩検出結果信号を携帯使用検知部１１に返す。
【００４２】
手領域検出部２５は、顔検出部２２により検出された顔領域または頭検出部２３により検出された頭部領域の近傍において、利用者の手が検出できるか否か判定する。そこでまず、手領域検出部２５は、利用者が携帯電話機を利用している場合、利用者の顔の側面に手を近づけることを考慮して、手の探索領域を設定する。
図４（ａ）は、顔領域が検出されている場合に設定される、手の探索領域の一例を示し、図４（ｂ）は、顔領域が検出されていない場合に設定される、手の探索領域の一例を示す。図４（ａ）に示すように、利用者の顔領域４１０が検出されている場合、手の探索領域４２０の上端は、顔領域４１０の高さ方向の中心に設定され、探索領域４２０の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域４２０に含むように、例えば、監視画像４００の下辺に接触するように設定される。また、探索領域４２０の左右端は、利用者の両肩が含まれると想定される範囲を含むように設定される。例えば、探索領域４２０の左右端は、それぞれ、顔領域４１０の水平方向の中心から、顔領域４１０の幅の２倍から３倍の距離だけ離れた位置に設定される（なお、図４（ａ）では各領域の大きさを簡略化して示している）。さらに、顔領域４１０の下端から下方の所定幅の領域４３０には、首または衣類のボタンなど、肌色かつ多数のエッジ画素が抽出される物体が存在する。そこで、肌色かつ多数のエッジ画素が抽出される物体を手として誤検出することを防止するために、この領域４３０は探索領域４２０から除外されてもよい。また、利用者は、携帯電話機を使用して通話を行う場合、顔の下方に手を持ってくる可能性は低いので、このような領域４３０を手の探索領域から除外しても、手の探索に失敗する可能性は低いと考えられる。なお、除外される領域４３０の幅は、例えば、顔領域４１０の幅の１／２〜１倍に設定され、除外される領域４３０の中心線が顔領域４１０の中心線と一致するように、除外される領域４３０の水平方向の位置が設定される。
【００４３】
一方、図４（ｂ）に示すように、利用者の顔領域が検出されず、その代わりに利用者の頭部領域４４０が検出されている場合、手の探索領域４５０の上端は、頭部領域４４０の上端に設定される。これは、利用者が正面を向いている場合と異なり、利用者が俯いている場合、手の位置が頭部領域の上端近くに位置する可能性があるためである。探索領域４５０の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域４５０に含むように、監視画像４００の下辺に接触するように設定される。また、探索領域４５０の左右端は、利用者の両肩が含まれると想定される範囲を含むように設定される。例えば、探索領域４５０の左右端は、それぞれ、頭部領域４４０の水平方向の中心から、頭部領域４４０の幅の２倍から３倍の距離だけ離れた位置に設定される（なお、図４（ｂ）では各領域の大きさを簡略化して示している）。この場合も、頭部領域４４０の下端から下方の所定幅の領域４６０は、探索領域４５０から除外されてもよい。
このように手領域検出部２５は、利用者の頭部領域が検出されている場合の頭部領域の高さに対する探索領域の上端の位置を、利用者の顔領域が検出されている場合の顔領域の高さに対する探索領域の上端の位置よりも上方に設定する。具体的には、頭部領域の高さをhc、頭部領域の上端から探索領域の上端までの距離をdc、顔領域の高さをhf、顔領域の上端から探索領域の上端までの距離をdfとすると、dc/hc＜df/hfあるいはdc＜dfとなるように探索領域は設定される。これにより、通話中の利用者の手を精度よく検出することができる。
【００４４】
手領域検出部２５は、上述した手の探索領域内で、手が検出できるか否か判定する。ここで手は、画像上において、逆Ｕ字状の輪郭を有し、その輪郭内に多数のエッジ画素が存在するとともに、その輪郭内に肌色の画素が多数含まれるという特徴を持つ。そこで、手領域検出部２５は、例えば、監視画像に設定された手の探索領域内に存在する肌色の画素を検出する。なお、肌色の画素は、顔検出部２２に関して説明したように、その画素の色情報がHSV表色系で表される場合、色相Hの成分が例えば0から30といった所定の範囲に含まれる色情報を有する画素である。
手領域検出部２５は、肌色画素についてラベリング処理を実行することにより、肌色画素が含まれる肌色領域を手候補領域として抽出する。なお、手領域検出部２５は、モルフォロジーのクロージング演算などを行って、肌色領域に囲まれた非肌色画素を手候補領域に含めてもよい。これにより、影などの影響で、手の一部分に対応する画素が監視画像上では肌色でない場合も、手領域検出部２５は、手の一部分に対応する非肌色の画素を手候補領域に含めることができる。また手領域検出部２５は、複数の手候補領域を抽出してもよい。
【００４５】
顔検出部２２により顔領域が検出されている場合、手領域検出部２５は、手候補領域の面積Sh、すなわち、手候補領域に含まれる画素数と、顔領域の面積Sf、すなわち、顔領域に含まれる画素数との比Sh/Sfを求める。そして手領域検出部２５は、手候補領域の面積と顔領域の面積との比Sh/Sfが、人の顔と手の大きさの一般的な比に相当する所定の範囲に含まれるか否か判定する。例えば、その所定の範囲は、0.1から1までの範囲である。
一方、顔領域が検出されず、頭部領域が検出されている場合、手領域検出部２５は、手候補領域の面積Shと、頭部領域の面積Sc、すなわち、頭部領域に含まれる画素数との比Sh/Scを求める。そして手領域検出部２５は、手候補領域の面積と頭部領域の面積との比Sh/Scが、人の頭を頂部から見た面積と手の大きさの一般的な比に相当する所定の範囲に含まれるか否か判定する。例えば、その所定の範囲は、0.1から1までの範囲である。
【００４６】
手領域検出部２５は、Sh/SfまたはSh/Scが所定の範囲から外れる場合、その手候補領域は利用者の手ではないと判定する。一方、Sh/SfまたはSh/Scが所定の範囲に含まれる場合、手領域検出部２５は、その手候補領域に対応するエッジ画像上の領域に含まれるエッジ画素の数Ehを計数する。そして手領域検出部２５は、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが、手領域に含まれるエッジ画素の一般的な比率の最小値に対応する所定の閾値以上であるか否かを判定する。例えば、その所定の閾値は、0.1に設定される。
手領域検出部２５は、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが所定の閾値以下の場合、その手候補領域は利用者の手ではないと判定する。一方、その比Eh/Shが所定の閾値よりも大きい場合には、手領域検出部２５は、顔領域が検出されているか否かに応じて、その手候補領域を手領域と判定する基準を変更する。すなわち、利用者が取引端末１００に対して正面を向いており、監視画像上に顔が写っている場合、図４（ａ）に示されるように、利用者が携帯電話機を使用して通話していれば、携帯電話機を持つ手が一方の肩の輪郭を隠すようになる。一方、利用者が取引端末１００を操作またはタッチパネル１２０を見るために俯いていれば、利用者が携帯電話機を使用して通話していても、携帯電話機を持つ手が監視画像上で肩の輪郭よりも下方に位置するため、その手が肩の輪郭を隠さない可能性が高い。
【００４７】
そこで、顔領域が検出されている場合、手領域検出部２５は、肩検出部２４により出力された肩検出結果信号が、一方の肩の輪郭が物体により隠されていることを示していれば、手候補領域は利用者の手であると判定する。一方、肩検出結果信号が、両方の肩が検出されていることを示していれば、手領域検出部２５は、その手候補領域は利用者の手ではないと判定する。
なお、手領域検出部２５は、手候補領域が存在する方の肩の輪郭が物体により隠されている場合に限り、その手候補領域を利用者の手であると判定してもよい。
【００４８】
一方、顔領域が検出されていない場合、手領域検出部２５は、Sh/Scが所定の範囲に含まれ、かつ、Eh/Shが所定の閾値よりも大きい手候補領域を利用者の手であると判定する。
手領域検出部２５は、利用者の手が検出されたか否かの判定結果を示す手領域検出結果信号を携帯使用検知部１１に返す。
【００４９】
判定部２６は、利用者の手の検出結果に基づいて、利用者が携帯電話機を用いて通話中か否かを判定する。具体的には、判定部２６は、何れかの時点で取得された監視画像に対して、手領域検出部２５が利用者の手が検出されなかったことを示す判定結果を返すと、制御部６が有するメモリに記憶されるカウンタの値を0にリセットする。一方、判定部２６は、何れかの時点で取得された監視画像に対して、手領域検出部２５が利用者の手が検出されたことを示す判定結果を返すと、カウンタの値を1インクリメントする。そのため、順次取得された監視画像に対して連続的に利用者の手が検出されると、カウンタの値が増加する。そしてカウンタの値が所定値に達すると、すなわち、一定期間の間連続して利用者の手が利用者の顔または頭部の近傍で検出されると、判定部２６は、利用者が携帯電話機を用いて通話中であると判定する。なお、所定値は、例えば、詐欺行為者からの指示を利用者が聞くのに必要と考えられる期間（例えば、１分間）の間に取得される監視画像の枚数に設定されることが好ましい。
【００５０】
判定部２６は、利用者が携帯電話機を用いて通話中であると判定されたときに、通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、その通話検出信号を制御部６に通知する。一方、カウンタの値が所定値未満であれば、判定部２６は、利用者が通話中か否か分からないため、判定結果を携帯使用検知部１１に通知しない。
【００５１】
図５に示したフローチャートを参照しつつ、制御部６の携帯使用検知部１１による通話検知処理の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。
【００５２】
まず、監視画像が取得されると、エッジ画像生成部２１は、監視画像から、利用者の各部の輪郭に対応するエッジ画素を抽出したエッジ画像を作成する（ステップＳ１０１）。エッジ画像生成部２１は、作成したエッジ画像を、頭検出部２３、肩検出部２４及び手領域検出部２５へ渡す。また顔検出部２２がエッジ画像に基づいて顔領域を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。
次に、顔検出部２２は、取引端末１００に対して正面を向いた利用者の顔領域を検出する処理を実行し、顔領域が検出できたか否か判定する（ステップＳ１０２）。ステップＳ１０２において、顔領域が検出できなかった場合、顔検出部２２は、顔検出不能信号を携帯使用検知部１１に返す。そして頭検出部２３は、監視画像から頭部領域を検出する処理を実行し、頭部領域が検出できたか否か判定する（ステップＳ１０３）。ステップＳ１０３において、頭部領域が検出できなかった場合、その旨を表す頭検出不能信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０７に移行する。一方、ステップＳ１０３において、頭部領域が検出された場合、手領域検出部２５は、頭部領域の近傍に設定された探索領域内で手領域を検出する処理を実行し、手領域が検出できたか否か判定する（ステップＳ１０４）。ステップＳ１０４において、手領域が検出できなかった場合、手領域検出部２５は、利用者の手が検出されなかったことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０７に移行する。一方、ステップＳ１０４において、手領域が検出できた場合、手領域検出部２５は、利用者の手が検出されたことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０９に移行する。
【００５３】
また、ステップＳ１０２において、顔領域が検出された場合、顔検出部２２は、顔領域を示す情報を肩検出部２４及び手領域検出部２５へ渡す。そして肩検出部２４は、顔領域の近傍に設定された探索領域において、肩の輪郭を検出し、肩の輪郭が物体により隠されているか否かを判定する（ステップＳ１０５）。そして肩検出部２４は、その判定結果を示す肩検出結果信号を携帯使用検知部１１に返す。次に、手領域検出部２５は、顔領域の近傍に設定された探索領域内で手領域を検出する処理を実行し、手領域が検出できたか否か判定する（ステップＳ１０６）。その際、手領域検出部２５は、上述したように、肩の輪郭が物体により隠されているか否かの判定結果を参照する。ステップＳ１０６において、手領域が検出できなかった場合、手領域検出部２５は、利用者の手が検出されなかったことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０７に移行する。
ステップＳ１０７では、判定部２６は、カウンタを０にリセットする。そして携帯使用検知部１１は、記憶部５に記憶されている人体検知フラグがＯＮか否か判定する（ステップＳ１０８）。ステップＳ１０８において、人体検知フラグがＯＦＦであれば、携帯使用検知部１１は通話検知処理を終了する。一方、ステップＳ１０８において、人体検知フラグがＯＮであれば、携帯使用検知部１１は制御をステップＳ１０１に戻し、新たに取得された監視画像に対して通話検知処理を実行する。
【００５４】
一方、ステップＳ１０６において、手領域が検出できた場合、判定部２６はカウンタを１インクリメントする（ステップＳ１０９）。そして判定部２６は、カウンタの値が所定値に到達したか否か判定する（ステップＳ１１０）。ステップＳ１１０において、カウンタの値が所定値に到達していない場合、携帯使用検知部１１は制御をステップＳ１０１に戻し、新たに取得された監視画像に対して通話検知処理を実行する。
一方、ステップＳ１１０において、カウンタの値が所定値に到達している場合、判定部２６は、利用者が携帯電話機を用いて通話中であると判定する（ステップＳ１１１）。そして判定部２６は、通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に返し、携帯使用検知部１１は、その通話検出信号を制御部６に通知する。そして判定部２６は、カウンタを０にリセットし（ステップＳ１１２）、その後、携帯使用検知部１１は通話検知処理を終了する。
なお、各ステップにおける処理の詳細は、携帯使用検知部１１の各部の説明において説明したので、ここではその説明を省略する。
【００５５】
異常報知部１２は、後述するオートホン使用フラグがＯＦＦに設定されていれば、携帯使用検知部１１から通話検出信号が通知されているか否かを調べる。そして異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている場合、すなわち、利用者が携帯電話機を用いて通話中であると判定された場合、取引端末１００から金銭を振り込ませる詐欺行為に注意を促す警報音声データを記憶部５から読み込む。そして異常報知部１２は、警報音声データを音声出力部３を介してスピーカ１４０へ出力し、利用者に警報を発する。異常報知部１２は、警報音声データの出力を所定回数繰り返して実行した後、警報音声を通知する処理を終了する。あるいは、異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている間、警報音声データを繰り返しスピーカ１４０へ出力してもよい。なお、異常報知部１２が行う警報を報知する処理は、警報音声データの出力に限らず、例えば、異常報知部１２が、オートホン制御装置１５１に異常信号を出力し、これを受信したオートホン制御装置１５１が、通信回線１７０を介してＡＴＭセンタ装置１８０へ利用者が詐欺行為に遭っている可能性が高い旨を通知する処理であってもよい。
一方、オートホン使用フラグがＯＮに設定されていれば、利用者がオートホン１５０を用いてオペレータと通話していることを携帯電話機を用いた通話と誤認識して警報を発することがないように、異常報知部１２は警報音声データをスピーカ１４０へ出力しない。
【００５６】
フラグ処理部１３は、携帯使用検知部１１が通話検知処理を開始するためのトリガとなる人体検出フラグと、異常報知部１２が警報音声データを出力するか否かの判定基準となるオートホン使用フラグの値を設定する。
具体的には、フラグ処理部１３は、センサ１６０から、取引端末１００を操作する利用者が検知されたことを示す人体検知信号を受信している間、記憶部５に記憶されている人体検出フラグをＯＮに設定する。一方、フラグ処理部１３は、人体検知信号を受信しなくなると、人体検出フラグをＯＦＦに書き換える。
また、フラグ処理部１３は、オートホン制御装置１５１からオートホン１５０が使用されていることを示すオートホン使用信号を受信している間、あるいは、オートホン１５０からオフフック信号を受信している間、記憶部５に記憶されているオートホン使用フラグをＯＮに設定する。一方、フラグ処理部１３は、オートホン使用信号及びオフフック信号を受信しなくなると、オートホン使用フラグをＯＦＦに書き換える。
【００５７】
図６に示したフローチャートを参照しつつ、取引監視装置１による処理全体の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。
取引端末１００が起動されたとき、取引監視装置１も起動され、処理が開始される。そして、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否か判定する（ステップＳ２０１）。ステップＳ２０１において、人体検知フラグがＯＦＦであれば（ステップＳ２０１−Ｎｏ）、制御部６は、制御をステップＳ２０６に進める。一方、ステップＳ２０１において、人体検知フラグがＯＮであれば（ステップＳ２０１−Ｙｅｓ）、制御部６の携帯使用検知部１１は、通話検知処理を実行する（ステップＳ２０２）。なお、通話検知処理の詳細手順は、図５とともに上述したとおりである。そして制御部６は、携帯使用検知部１１からの通話検出信号を参照して、利用者が携帯電話を使用して通話しているか否かを判定する（ステップＳ２０３）。
【００５８】
ステップＳ２０３において、利用者が携帯電話を使用して通話していると判定された場合（ステップＳ２０３−Ｙｅｓ）、制御部６の異常報知部１２は、スピーカ１４０へ警報音声データの出力を開始する（ステップＳ２０４）。音声データの出力開始後、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否かを判定する（ステップＳ２０５）。この判定で、人体検知フラグがＯＮである場合、制御部６は、人体検知フラグがＯＦＦになるまで、ステップＳ２０５の処理をループさせる。これは、同一の利用者に対して警告音声データを何度も出力しないようにするためである。一方、ステップＳ２０３において、利用者が携帯電話を使用して通話していると判定されなかった場合（ステップＳ２０３−Ｎｏ）、あるいはステップＳ２０５にてＮｏと判定された後、制御部６は、取引端末１００がサービスを終了したか否か判定する（ステップＳ２０６）。なお、制御部６は、取引端末１００の営業時間の終了時刻になったこと、あるいは、取引端末１００からシャットダウンする旨の通知を受けることにより、取引端末１００がサービスを終了したと判定できる。ステップＳ２０６において、取引端末１００がサービスを終了していない場合、制御部６は、制御をステップＳ２０１に戻し、ステップＳ２０１〜Ｓ２０６の処理を繰り返す。一方、ステップＳ２０６において、取引端末１００がサービスを終了した場合、取引監視装置１の処理を終了し、取引監視装置１の電源を切る。
【００５９】
以上説明してきたように、本発明の一実施形態である取引監視装置は、ATMなど、金銭の取引を行う取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。特にこの取引監視装置は、画像から利用者の顔を検出できない場合には、人の頭部形状に類似した領域を検出してその領域近傍で手があることを検出できると利用者が携帯電話機を使用していると判定する。これにより、この取引監視装置は、利用者が取引端末の操作画面を操作するために俯いているときでも、高精度で利用者が携帯電話機を使用しているか否かを判定できる。
【００６０】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、携帯使用検知部１１は、オートホン使用フラグがＯＮに設定されている間、通話検知処理の実行を中断してもよい。
また、図５に示した通話検知処理の動作手順において、携帯使用検知部１１は、ステップＳ１０５の処理とステップＳ１０６の処理の順序を入れ換えてもよい。この場合、手領域検出部２５は、顔領域の左右の何れかにおいて手領域を検出すると、顔領域の左または右側の何れにおいて手領域が検出されたかを肩検出部２４に通知する。そして、肩検出部２４は、通知された側の探索領域でのみ、肩の輪郭が物体により隠されているか否かの判定を行えばよい。この場合、携帯使用検知部１１は、手領域検出部２５により手領域が検知され、かつ、肩検出部２４により手領域が検出された側の探索領域内で肩の輪郭が物体により隠されていると判定された場合、制御をステップＳ１０９に進める。一方、携帯使用検知部１１は、手領域検出部２５により手領域が検出されなかったか、または、肩検出部２４により手領域が検知された側の探索領域内で肩の輪郭が物体により隠されていないと判定された場合、制御をステップＳ１０７に進める。
さらに、必要とする手領域の検出精度に応じて、肩検出部２４は省略されてもよい。この場合、顔領域が検出された場合でも、手領域検出部２５は、ステップＳ１０６において、肩の輪郭についての判定結果を参照することなく手領域が検出されたか否か判定する。また、携帯使用検知部１１は、ステップＳ１０２、Ｓ１０５及びＳ１０６の処理と、ステップＳ１０３及びＳ１０４の処理の順序を入れ換えてもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００６１】
１００ 取引端末
１１０ 筐体
１２０ タッチパネルディスプレイ
１３０ 監視カメラ
１４０ スピーカ
１５０ オートホン
１５１ オートホン制御装置
１ 取引監視装置
２ 画像取得部
３ 音声出力部
４ 通信部
５ 記憶部
６ 制御部
１１ 携帯使用検知部
１２ 異常報知部
１３ フラグ処理部
２１ エッジ画像生成部
２２ 顔検出部
２３ 頭検出部
２４ 肩検出部
２５ 手領域検出部
２６ 判定部
【特許請求の範囲】
【請求項１】
送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置であって、
前記自動取引端末に正対する利用者の正面方向を撮影するように設置された監視カメラから取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、
前記画像データから利用者の頭部を頭頂方向から見た頭部領域を抽出する頭検出部と、
前記顔検出部により前記顔領域が検出された場合、当該顔領域を基準として設定された第１の探索領域から利用者の手を検出し、前記頭検出部により前記頭部領域が検出された場合、当該頭部領域を基準として設定された第２の探索領域から利用者の手を検出する手領域検出部と、
所定期間中に順次取得された前記画像データのそれぞれから、前記手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、
前記判定部により、利用者が携帯電話機を使用して通話中であると判定されると警報を報知する異常報知部と、
を有することを特徴とする取引監視装置。
【請求項２】
前記手領域検出部は、前記頭部領域の上端から前記第２の探索領域の上端までの距離を、前記顔領域の上端から前記第１の探索領域の上端までの距離よりも小さくなるように設定する、請求項１に記載の取引監視装置。
【請求項３】
前記画像データから利用者の肩の輪郭が物体により隠れているか否かを判定する肩検出部をさらに有し、
前記手領域検出部は、利用者の手を検出する判定条件として、前記顔検出部により前記顔領域が検出された場合には、前記肩検出部により肩の輪郭が物体に隠されていると判定されたことを含み、前記頭検出部により前記頭部領域が検出された場合には、前記肩検出部により肩の輪郭が物体に隠されていると判定されたことを当該判定条件に含まない、請求項１または２に記載の取引監視装置。
【請求項４】
前記肩検出部は、前記画像データから抽出されたエッジ画素が、前記顔領域方向または水平方向に連続するエッジ線を抽出し、当該エッジ線の長さが所定長未満であるか、または、当該エッジ線の端部が垂直方向に連続するエッジ線と接触している場合、肩の輪郭が物体により隠されていると判定する、請求項３に記載の取引監視装置。
【請求項１】
送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置であって、
前記自動取引端末に正対する利用者の正面方向を撮影するように設置された監視カメラから取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、
前記画像データから利用者の頭部を頭頂方向から見た頭部領域を抽出する頭検出部と、
前記顔検出部により前記顔領域が検出された場合、当該顔領域を基準として設定された第１の探索領域から利用者の手を検出し、前記頭検出部により前記頭部領域が検出された場合、当該頭部領域を基準として設定された第２の探索領域から利用者の手を検出する手領域検出部と、
所定期間中に順次取得された前記画像データのそれぞれから、前記手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、
前記判定部により、利用者が携帯電話機を使用して通話中であると判定されると警報を報知する異常報知部と、
を有することを特徴とする取引監視装置。
【請求項２】
前記手領域検出部は、前記頭部領域の上端から前記第２の探索領域の上端までの距離を、前記顔領域の上端から前記第１の探索領域の上端までの距離よりも小さくなるように設定する、請求項１に記載の取引監視装置。
【請求項３】
前記画像データから利用者の肩の輪郭が物体により隠れているか否かを判定する肩検出部をさらに有し、
前記手領域検出部は、利用者の手を検出する判定条件として、前記顔検出部により前記顔領域が検出された場合には、前記肩検出部により肩の輪郭が物体に隠されていると判定されたことを含み、前記頭検出部により前記頭部領域が検出された場合には、前記肩検出部により肩の輪郭が物体に隠されていると判定されたことを当該判定条件に含まない、請求項１または２に記載の取引監視装置。
【請求項４】
前記肩検出部は、前記画像データから抽出されたエッジ画素が、前記顔領域方向または水平方向に連続するエッジ線を抽出し、当該エッジ線の長さが所定長未満であるか、または、当該エッジ線の端部が垂直方向に連続するエッジ線と接触している場合、肩の輪郭が物体により隠されていると判定する、請求項３に記載の取引監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１７０２７５（Ｐ２０１０−１７０２７５Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１１３０２（Ｐ２００９−１１３０２）
【出願日】平成２１年１月２１日（２００９．１．２１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２１日（２００９．１．２１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]