端末利用者監視装置
【課題】この発明の目的は、利用者の通行を監視する係員等の人手をかけることなく、通行エリアにおける利用者の不正通行を十分に抑制できる端末利用者監視装置を提供する。
【解決手段】画像処理部５ａが、カメラ３ａが撮像したフレーム画像を取り込み（ｓ１）、撮像されている人物毎に、ＩＤとフレーム画像上の位置と、を対応付けたオブジェクト管理表を作成する（ｓ２）。監視装置１は、簡易端末２０の操作した利用者を記憶する（ｓ３、ｓ４）。監視装置１は、通行エリアから出場した利用者が簡易端末２０を操作した利用者であるかどうかを判定する（ｓ５、ｓ６）。監視装置１は、簡易端末２０を操作していない利用者であると判定すると、この利用者の顔画像を表示器１１に表示させるとともに、スピーカ１２から警告報知を行う（ｓ８、ｓ９）。
【解決手段】画像処理部５ａが、カメラ３ａが撮像したフレーム画像を取り込み（ｓ１）、撮像されている人物毎に、ＩＤとフレーム画像上の位置と、を対応付けたオブジェクト管理表を作成する（ｓ２）。監視装置１は、簡易端末２０の操作した利用者を記憶する（ｓ３、ｓ４）。監視装置１は、通行エリアから出場した利用者が簡易端末２０を操作した利用者であるかどうかを判定する（ｓ５、ｓ６）。監視装置１は、簡易端末２０を操作していない利用者であると判定すると、この利用者の顔画像を表示器１１に表示させるとともに、スピーカ１２から警告報知を行う（ｓ８、ｓ９）。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、通行エリアを通行する利用者が、当該通行エリアに設置した端末を通行時に操作したかどうかを監視する端末利用者監視装置に関し、特に端末を操作することなく通行エリアを通行した利用者に対して警告報知を行う端末利用者監視装置に関する。
【背景技術】
【０００２】
従来、鉄道の駅の改札口では、駅構内に入場する利用者や、駅構内から出場する利用者に対する改札処理を自動改札機で行っている。自動改札機は、利用者が所持しているキップ、定期券、プリペイド券等の乗車券を受け付ける。自動改札機は、受け付けた乗車券に記録されている乗車券情報を読み取り、読み取った乗車券情報に基づいて、その利用者に対する改札通路の通行可否を判定する。自動改札機は、利用者に対して改札通路の通行を許可すると判定すると、改札通路の出口側に設けた扉を開し、反対に、利用者に対して改札通路の通行を許可しないと判定すると、改札通路の出口側に設けた扉を閉する。このように、自動改札機は、扉を開閉することによって、改札通路における利用者の通行を制限している。
【０００３】
また、改札通路を撮像した画像を処理して、改札通路を通行している利用者の検出や、利用者の計数、さらには、当該改札通路における利用者の追跡等を行うことも提案されている（特許文献１参照）。
【０００４】
また、利用者が少ない無人駅等では、自動改札機よりも安価な簡易端末を設置している。この簡易端末は、利用者が通行する通行エリアに設置され、受け付けた乗車券に対して、入出場情報等を記録する端末であり、自動改札機のように適正な乗車券を所持していない利用者に対して、通行エリアの通行を制限する構成を備えていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１７６９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の簡易端末は、適正な乗車券を所持していなくても、通行エリアの通行を制限しないことから、利用者の不正乗車を抑制するという面での効果が小さかった。
【０００７】
なお、無人駅の場合、自動改札機を設置しても、適正な乗車券を所持していない利用者が閉された扉を飛び越える等して改札通路を通行しても、その利用者をとらえる係員等がいないので、利用者の不正乗車（改札通路の不正通行）を抑制する効果については、それほど期待できない。
【０００８】
この発明の目的は、利用者の通行を監視する係員等の人手をかけることなく、通行エリアにおける利用者の不正通行を十分に抑制できる端末利用者監視装置を提供することにある。
【課題を解決するための手段】
【０００９】
この発明の端末利用者監視装置は、上述の課題を解決し、その目的を達するために以下のように構成している。
【００１０】
追跡手段は、撮像手段が撮像したフレーム画像を処理し、通行エリア内における人物の移動を追跡する。また、検知手段が、通行エリア内に設置している端末を操作した利用者を検知する。対応付け手段は、追跡手段が追跡している利用者毎に、検知手段が端末の操作を検知したかどうかを対応付ける。そして、警告手段が、対応付け手段により端末の操作を検知した旨の対応付けがなされていない利用者が通行エリアを通過したときに、警告報知を行う。
【００１１】
この警告報知は、音声による警告報知であってもよいが、好ましくは、当該利用者について、撮像手段が撮像した顔画像を表示器に表示する構成とするのが好ましい。このようにすれば、端末を操作することなく通行エリアを不正に通行した場合、自分の顔画像が表示器に表示されてしまうことによる抑制効果だけでなく、自分の顔画像が保存されるということによる抑制効果も得られる。したがって、利用者の通行を監視する係員等の人手をかけることなく、通行エリアにおける利用者の不正通行を十分に抑制できる。
【００１２】
また、通行エリアを通過した利用者が、対応付け手段により端末の操作を検知した旨の対応付けがなされていない利用者である場合に、撮像手段が撮像した当該利用者の顔画像を顔画像記憶手段に記憶するように構成してもよい。このようにすれば、顔画像記憶手段に記憶している顔画像を用いて、不正通行を常習的に行っている利用者を特定できる。
【００１３】
さらに、顔画像記憶手段が顔画像を記憶している利用者が通行エリアに進入したときには、端末の操作を促す案内報知を行う構成としてもよい。このようにすれば、利用者に対するサービスの低下をまねくことなく、利用者の不正通行を抑制することができる。
【発明の効果】
【００１４】
この発明によれば、利用者の通行を監視する係員等の人手をかけることなく、通行エリアにおける利用者の不正通行を十分に抑制できる。
【図面の簡単な説明】
【００１５】
【図１】監視装置の主要部の構成を示すブロック図である。
【図２】簡易端末が設置されている通行エリアと、カメラの撮像エリアとの関係を示す図である。
【図３】簡易端末が設置されている通行エリアと、カメラの撮像エリアとの関係を示す図である。
【図４】監視装置の動作を示すフローチャートである。
【図５】常習者検知処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、この発明の実施形態である端末利用者監視装置（以下、単に監視装置と言う。）について説明する。
【００１７】
図１は、この監視装置の主要部の構成を示すブロック図である。この監視装置１は、利用者が少ない無人駅等において、駅構内に入場する利用者、または駅構内から出場する利用者（以下、単に利用者と言う。）が、簡易端末を操作したかどうかを検知し、簡易端末を操作することなく通過した利用者（不正利用者）に対して警告報知を行う。簡易端末は、利用者が通行する通行エリアに設置している。利用者は、この簡易端末で、所持しているキップ、定期券、プリペイド券等の乗車券を処理させる操作を行う。簡易端末は、利用者の乗車券が適正であるかどうかを判定する処理を行う。また、簡易端末は、乗車券に対して、入場情報や出場情報等を記録する処理を行う。
【００１８】
この監視装置１は、制御部２と、カメラ３ａ，３ｂと、画像入力部４ａ，４ｂと、画像処理部５ａ，５ｂと、出力部６と、記憶部７と、常習者データベース８（以下、常習者ＤＢ８と言う。）と、を備えている。制御部２は、監視装置１本体各部の動作を制御する。
【００１９】
カメラ３ａは、図２に示すように、利用者が通行する通行エリア全体を上方から撮像する向きに取り付けている。また、カメラ３ｂは、図３に示すように、通行エリアを通行している利用者を略正面から撮像する向きに取り付けている。カメラ３ａ，３ｂは、撮像したフレーム画像を１秒間に３０フレーム程度出力するビデオカメラである。
【００２０】
簡易端末２０は、このカメラ３ａの撮像エリア内に設置している。より具体的には、カメラ３ａの撮像エリア内に、入場ラインと、出場ラインとを規定しており、入場ラインと、出場ラインとの間に設置している。入場ラインと、出場ラインとは、実際に床面に描かれていてもよいし、描かれていなくてもよい（監視装置１が、その位置を認識しているだけでもよい。）。この入場ラインと、出場ラインとの間が、この発明で言う通行エリアに相当する。
【００２１】
カメラ３ａは、上述したように、通行エリアを上方から撮像しているので、フレーム画像において、通行エリア内を通行している利用者同士の重なりが殆ど生じない。すなわち、通行エリア内を通行している利用者全員が、略確実に撮像できる。また、カメラ３ｂは、上述の出場ラインの外側に設置しており、通行エリアを通行している利用者の顔を略正面から撮像する。
【００２２】
図２、および図３では、通行エリア内に、２人の利用者Ｘ，Ｙを示している。利用者Ｘが、通行エリアから出場する直前の状態である。また、利用者Ｙが、簡易端末２０を操作している。
【００２３】
画像入力部４ａは、カメラ３ａが撮像したフレーム画像が入力される。画像入力部４ｂは、カメラ３ｂが撮像したフレーム画像が入力される。画像入力部４ａ，４ｂは、入力されたフレーム画像を一時的に記憶するバッファメモリを有する。
【００２４】
画像処理部５ａは、カメラ３ａが撮像したフレーム画像を処理し、撮像されている人物（オブジェクト）を抽出する。また、時間的に連続する複数のフレーム画像により、カメラ３ａの通行エリア内を移動している人物を追跡する。画像処理部５ａは、例えば、カメラ３ａが撮像したフレーム画像毎に、このカメラ３ａによる通行エリアの背景モデル画像との差分画像を生成することによって、撮像されている人物を抽出するとともに、その人物の位置（フレーム画像上の位置）を検出する。また、画像処理部５ａは、生成した差分画像間で抽出した人物を対応づける。抽出した人物の対応づけは、その人物の外形形状のマッチングで行う。画像処理部５ａは、時間的に連続する複数のフレーム画像から抽出した人物毎に、時間経過にともなうフレーム画像上の位置の変化を取得することで、この人物を通行エリア内で追跡する。
【００２５】
この例では、画像処理部５ａは、カメラ３ａが撮像したフレーム画像を用いて、背景モデル画像を定期的に更新するのが好ましい。背景モデル画像を定期的に更新することにより、通行エリアを含む周辺環境（明るさ等）の変化による人物の抽出精度の低下が抑えられる。
【００２６】
なお、通行エリア内を移動している人物の追跡については、上記以外の方法で行ってもよい。
【００２７】
画像処理部５ｂは、カメラ３ｂが撮像したフレーム画像を処理し、撮像されている人物の顔画像を切り出す。
【００２８】
出力部６は、表示器１１、およびスピーカ１２を接続している。出力部６は、必要に応じて、表示器１１における画像表示や、スピーカ１２における警告報知、案内報知等を行う。
【００２９】
記憶部７は、動作時に用いる設定データや、動作時に発生したデータ等を記憶する。
【００３０】
常習者ＤＢ８は、簡易端末２０を操作することなく、通行エリアを通過した利用者の顔画像を記憶する。常習者ＤＢ８が記憶する顔画像は、画像処理部５ｂがカメラ３ｂのフレーム画像から切り出した画像である。
【００３１】
なお、簡易端末２０は、利用者が操作したときに、点灯するＬＥＤを有している。画像処理部５ａは、カメラ３ａのフレーム画像を処理し、このＬＥＤの点灯を検知することにより、利用者が簡易端末２０を操作したことを検知する。また、簡易端末２０の操作とは、ここでは無線通信機能を有する乗車券を、アンテナに翳す操作である。
【００３２】
次に、この監視装置１の動作について説明する。
【００３３】
図４は、監視装置の動作を示すフローチャートである。監視装置１は、利用者毎に、その利用者が簡易端末２０を操作したかどうかを検知し、簡易端末２０を操作することなく、通行エリアを通過した利用者を検知するとともに、当該利用者に対して警告報知を行う。
【００３４】
監視装置１は、画像処理部５ａにおいて、カメラ３ａが撮像したフレーム画像を取り込み（ｓ１）、このフレーム画像に撮像されている人物毎に、ＩＤとフレーム画像上の位置と、を対応付けたオブジェクト管理表を作成する（ｓ２）。ＩＤは、利用者を識別するものであり、ユニークな値である。ＩＤは、その利用者が通行エリア内に進入したことを検出したときに付与し、通行エリアから出場するまで継続される。また、ｓ２で作成するオブジェクト管理表には、タイムスタンプが付けられている。したがって、ｓ２で作成されたオブジェクト管理表によって、通行エリア内における利用者の移動が追跡できる。
【００３５】
画像処理部５ａは、利用者が簡易端末２０を操作したかどうかを判断する（ｓ３）。ここでは、画像処理部５ａが、フレーム画像を処理し、簡易端末２０に設けたＬＥＤの点灯の有無を判定することによって、利用者が簡易端末２０を操作したかどうかを判断する。
【００３６】
なお、簡易端末２０が、利用者の操作を監視装置１に通知する構成としてもよい。
【００３７】
画像処理部５ａは、利用者が簡易端末２０を操作していないと判断すると、後述するｓ５に進む。画像処理部５ａは、利用者が簡易端末２０を操作したと判断すると、今回簡易端末２０操作した利用者を特定する（ｓ４）。具体的には、今回のフレーム画像において、簡易端末２０の操作面に最も近い利用者を、今回簡易端末２０操作した利用者であるとする。このとき、画像処理部５ａは、ｓ４で特定した利用者のＩＤを、簡易端末２０の操作者として制御部２に通知する。制御部２は、画像処理部５ａから通知された、簡易端末２０の操作者のＩＤを記憶部７に記憶する。
【００３８】
次に、画像処理部５ａは、今回通行エリアから出場した利用者の有無を判定する（ｓ５）。画像処理部５ａは、今回通行エリアから出場した利用者がいなければ、ｓ１に戻り、上述した処理を繰り返す。
【００３９】
画像処理部５ａは、今回通行エリアから出場した利用者がいると、その利用者のＩＤを制御部２に通知する。制御部２は、画像処理部５ａから今回通知された出場した利用者のＩＤが、記憶部７に記憶している簡易端末２０の操作者のＩＤの中にあるかどうかを判定する。すなわち、制御部２は、今回通行エリアから出場した利用者が、簡易端末２０を操作した利用者であるかどうかを判定する（ｓ６）。
【００４０】
制御部２は、今回通行エリアから出場した利用者が、簡易端末２０を操作した利用者であると判定すると、ｓ１に戻り、上述した処理を繰り返す。一方、今回通行エリアから出場した利用者が、簡易端末２０を操作していない利用者であると判定すると、画像処理部５ｂにおいて、今回通行エリアから出場した利用者（すなわち、簡易端末２０を操作していない利用者）を撮像したフレーム画像を取り込み、当該利用者の顔画像を切り出す（ｓ７）。
【００４１】
制御部２は、ｓ７で切り出した顔画像を表示器１１に表示させるとともに、スピーカ１２から警告報知を行う（ｓ８、ｓ９）。ｓ９では、例えば、「入出場処理を行っていません。簡易端末２０に乗車券を翳してください。」という音声メッセージをスピーカ１２から出力する。さらに、制御部２は、ｓ７で切り出した顔画像、および目、鼻、口等の顔部品の特徴量を利用者のＩＤと対応付けて常習者ＤＢ８に登録し（ｓ１０）、ｓ１に戻り、上述した処理を繰り返す。
【００４２】
このように、簡易端末２０を操作することなく、通行エリアを不正に通過した利用者に対して、本人の顔画像を表示器１１に表示するので、自分の顔画像が表示器１１に表示されてしまうことによる抑制効果だけでなく、自分の顔画像が保存されているということによる抑制効果も得られる。したがって、利用者の通行を監視する係員等の人手をかけることなく、通行エリアにおける利用者の不正通行を十分に抑制できる。
【００４３】
また、簡易端末２０を操作することなく、通行エリアを不正に通過した利用者の顔画像を常習者ＤＢ８に登録する構成としているので、不正通行が行われた時点でなくても、捕まえることができる。
【００４４】
また、この監視装置１は、図５に示す常習者検知処理を行う。監視装置１は、画像処理部５ｂにおいて、カメラ３ｂが撮像したフレーム画像を取り込み（ｓ１１）、撮像されている人物毎に、常習者ＤＢ８に登録されている人物（登録者）であるかどうかを判定する顔認証処理を行う（ｓ１２）。ｓ１２にかかる顔認証処理は、画像処理部５ｂが、フレーム画像から切り出した利用者の顔画像から得られる目、鼻、口等の顔部品の特徴量を抽出し、常習者ＤＢ８に登録されている人物毎に対応付けられている顔部品の特徴量と照合する処理である。
【００４５】
監視装置１は、ｓ１２にかかる顔認証処理で、撮像されている人物の中に、常習者ＤＢ８に登録されている登録者がいると判定すると（ｓ１３）、スピーカ１２から案内メッセージを出力する（ｓ１４）。ｓ１４では、例えば「簡易端末２０を操作してください。」等の音声メッセージを出力する構成とすればよい。この場合には、表示器１１に利用者の顔画像を表示しない。これにより、以前に、簡易端末２０の操作を忘れて通行エリアを通過した利用者（今回、簡易端末２０を操作する予定の利用者）に対して、不快な思いをさせるのを防止できる。
【００４６】
なお、ここでは、監視装置１本体が、簡易端末２０を操作せずに通行エリアを通過した利用者を常習者ＤＢ８に登録するとしたが、各駅からセンタにアップロードし、センタで悪質な不正利用者の顔画像データベースを作成し、各駅の監視装置１にダウンロードする構成としてもよい。
【００４７】
また、常習者ＤＢ８に登録されていない利用者については、上述したｓ８で表示器１１に顔画像を表示しない構成としてもよい。このようにすれば、たまたま簡易端末２０の操作を忘れた利用者に、不快な思いをさせることがなく、顧客サービスの低下が抑えられる。
【００４８】
なお、この発明は、駅だけでなく、会社等の施設や、セキュリティルーム等において入退出者に操作させる端末の利用者の監視にも適用できる。
【符号の説明】
【００４９】
１…監視装置
２…制御部
３ａ，３ｂ…カメラ
４ａ，４ｂ…画像入力部
５ａ，５ｂ…画像処理部
６…出力部
７…記憶部
８…常習者データベース（常習者ＤＢ）
１１…表示器
１２…スピーカ
２０…簡易端末
【技術分野】
【０００１】
この発明は、通行エリアを通行する利用者が、当該通行エリアに設置した端末を通行時に操作したかどうかを監視する端末利用者監視装置に関し、特に端末を操作することなく通行エリアを通行した利用者に対して警告報知を行う端末利用者監視装置に関する。
【背景技術】
【０００２】
従来、鉄道の駅の改札口では、駅構内に入場する利用者や、駅構内から出場する利用者に対する改札処理を自動改札機で行っている。自動改札機は、利用者が所持しているキップ、定期券、プリペイド券等の乗車券を受け付ける。自動改札機は、受け付けた乗車券に記録されている乗車券情報を読み取り、読み取った乗車券情報に基づいて、その利用者に対する改札通路の通行可否を判定する。自動改札機は、利用者に対して改札通路の通行を許可すると判定すると、改札通路の出口側に設けた扉を開し、反対に、利用者に対して改札通路の通行を許可しないと判定すると、改札通路の出口側に設けた扉を閉する。このように、自動改札機は、扉を開閉することによって、改札通路における利用者の通行を制限している。
【０００３】
また、改札通路を撮像した画像を処理して、改札通路を通行している利用者の検出や、利用者の計数、さらには、当該改札通路における利用者の追跡等を行うことも提案されている（特許文献１参照）。
【０００４】
また、利用者が少ない無人駅等では、自動改札機よりも安価な簡易端末を設置している。この簡易端末は、利用者が通行する通行エリアに設置され、受け付けた乗車券に対して、入出場情報等を記録する端末であり、自動改札機のように適正な乗車券を所持していない利用者に対して、通行エリアの通行を制限する構成を備えていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１７６９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の簡易端末は、適正な乗車券を所持していなくても、通行エリアの通行を制限しないことから、利用者の不正乗車を抑制するという面での効果が小さかった。
【０００７】
なお、無人駅の場合、自動改札機を設置しても、適正な乗車券を所持していない利用者が閉された扉を飛び越える等して改札通路を通行しても、その利用者をとらえる係員等がいないので、利用者の不正乗車（改札通路の不正通行）を抑制する効果については、それほど期待できない。
【０００８】
この発明の目的は、利用者の通行を監視する係員等の人手をかけることなく、通行エリアにおける利用者の不正通行を十分に抑制できる端末利用者監視装置を提供することにある。
【課題を解決するための手段】
【０００９】
この発明の端末利用者監視装置は、上述の課題を解決し、その目的を達するために以下のように構成している。
【００１０】
追跡手段は、撮像手段が撮像したフレーム画像を処理し、通行エリア内における人物の移動を追跡する。また、検知手段が、通行エリア内に設置している端末を操作した利用者を検知する。対応付け手段は、追跡手段が追跡している利用者毎に、検知手段が端末の操作を検知したかどうかを対応付ける。そして、警告手段が、対応付け手段により端末の操作を検知した旨の対応付けがなされていない利用者が通行エリアを通過したときに、警告報知を行う。
【００１１】
この警告報知は、音声による警告報知であってもよいが、好ましくは、当該利用者について、撮像手段が撮像した顔画像を表示器に表示する構成とするのが好ましい。このようにすれば、端末を操作することなく通行エリアを不正に通行した場合、自分の顔画像が表示器に表示されてしまうことによる抑制効果だけでなく、自分の顔画像が保存されるということによる抑制効果も得られる。したがって、利用者の通行を監視する係員等の人手をかけることなく、通行エリアにおける利用者の不正通行を十分に抑制できる。
【００１２】
また、通行エリアを通過した利用者が、対応付け手段により端末の操作を検知した旨の対応付けがなされていない利用者である場合に、撮像手段が撮像した当該利用者の顔画像を顔画像記憶手段に記憶するように構成してもよい。このようにすれば、顔画像記憶手段に記憶している顔画像を用いて、不正通行を常習的に行っている利用者を特定できる。
【００１３】
さらに、顔画像記憶手段が顔画像を記憶している利用者が通行エリアに進入したときには、端末の操作を促す案内報知を行う構成としてもよい。このようにすれば、利用者に対するサービスの低下をまねくことなく、利用者の不正通行を抑制することができる。
【発明の効果】
【００１４】
この発明によれば、利用者の通行を監視する係員等の人手をかけることなく、通行エリアにおける利用者の不正通行を十分に抑制できる。
【図面の簡単な説明】
【００１５】
【図１】監視装置の主要部の構成を示すブロック図である。
【図２】簡易端末が設置されている通行エリアと、カメラの撮像エリアとの関係を示す図である。
【図３】簡易端末が設置されている通行エリアと、カメラの撮像エリアとの関係を示す図である。
【図４】監視装置の動作を示すフローチャートである。
【図５】常習者検知処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、この発明の実施形態である端末利用者監視装置（以下、単に監視装置と言う。）について説明する。
【００１７】
図１は、この監視装置の主要部の構成を示すブロック図である。この監視装置１は、利用者が少ない無人駅等において、駅構内に入場する利用者、または駅構内から出場する利用者（以下、単に利用者と言う。）が、簡易端末を操作したかどうかを検知し、簡易端末を操作することなく通過した利用者（不正利用者）に対して警告報知を行う。簡易端末は、利用者が通行する通行エリアに設置している。利用者は、この簡易端末で、所持しているキップ、定期券、プリペイド券等の乗車券を処理させる操作を行う。簡易端末は、利用者の乗車券が適正であるかどうかを判定する処理を行う。また、簡易端末は、乗車券に対して、入場情報や出場情報等を記録する処理を行う。
【００１８】
この監視装置１は、制御部２と、カメラ３ａ，３ｂと、画像入力部４ａ，４ｂと、画像処理部５ａ，５ｂと、出力部６と、記憶部７と、常習者データベース８（以下、常習者ＤＢ８と言う。）と、を備えている。制御部２は、監視装置１本体各部の動作を制御する。
【００１９】
カメラ３ａは、図２に示すように、利用者が通行する通行エリア全体を上方から撮像する向きに取り付けている。また、カメラ３ｂは、図３に示すように、通行エリアを通行している利用者を略正面から撮像する向きに取り付けている。カメラ３ａ，３ｂは、撮像したフレーム画像を１秒間に３０フレーム程度出力するビデオカメラである。
【００２０】
簡易端末２０は、このカメラ３ａの撮像エリア内に設置している。より具体的には、カメラ３ａの撮像エリア内に、入場ラインと、出場ラインとを規定しており、入場ラインと、出場ラインとの間に設置している。入場ラインと、出場ラインとは、実際に床面に描かれていてもよいし、描かれていなくてもよい（監視装置１が、その位置を認識しているだけでもよい。）。この入場ラインと、出場ラインとの間が、この発明で言う通行エリアに相当する。
【００２１】
カメラ３ａは、上述したように、通行エリアを上方から撮像しているので、フレーム画像において、通行エリア内を通行している利用者同士の重なりが殆ど生じない。すなわち、通行エリア内を通行している利用者全員が、略確実に撮像できる。また、カメラ３ｂは、上述の出場ラインの外側に設置しており、通行エリアを通行している利用者の顔を略正面から撮像する。
【００２２】
図２、および図３では、通行エリア内に、２人の利用者Ｘ，Ｙを示している。利用者Ｘが、通行エリアから出場する直前の状態である。また、利用者Ｙが、簡易端末２０を操作している。
【００２３】
画像入力部４ａは、カメラ３ａが撮像したフレーム画像が入力される。画像入力部４ｂは、カメラ３ｂが撮像したフレーム画像が入力される。画像入力部４ａ，４ｂは、入力されたフレーム画像を一時的に記憶するバッファメモリを有する。
【００２４】
画像処理部５ａは、カメラ３ａが撮像したフレーム画像を処理し、撮像されている人物（オブジェクト）を抽出する。また、時間的に連続する複数のフレーム画像により、カメラ３ａの通行エリア内を移動している人物を追跡する。画像処理部５ａは、例えば、カメラ３ａが撮像したフレーム画像毎に、このカメラ３ａによる通行エリアの背景モデル画像との差分画像を生成することによって、撮像されている人物を抽出するとともに、その人物の位置（フレーム画像上の位置）を検出する。また、画像処理部５ａは、生成した差分画像間で抽出した人物を対応づける。抽出した人物の対応づけは、その人物の外形形状のマッチングで行う。画像処理部５ａは、時間的に連続する複数のフレーム画像から抽出した人物毎に、時間経過にともなうフレーム画像上の位置の変化を取得することで、この人物を通行エリア内で追跡する。
【００２５】
この例では、画像処理部５ａは、カメラ３ａが撮像したフレーム画像を用いて、背景モデル画像を定期的に更新するのが好ましい。背景モデル画像を定期的に更新することにより、通行エリアを含む周辺環境（明るさ等）の変化による人物の抽出精度の低下が抑えられる。
【００２６】
なお、通行エリア内を移動している人物の追跡については、上記以外の方法で行ってもよい。
【００２７】
画像処理部５ｂは、カメラ３ｂが撮像したフレーム画像を処理し、撮像されている人物の顔画像を切り出す。
【００２８】
出力部６は、表示器１１、およびスピーカ１２を接続している。出力部６は、必要に応じて、表示器１１における画像表示や、スピーカ１２における警告報知、案内報知等を行う。
【００２９】
記憶部７は、動作時に用いる設定データや、動作時に発生したデータ等を記憶する。
【００３０】
常習者ＤＢ８は、簡易端末２０を操作することなく、通行エリアを通過した利用者の顔画像を記憶する。常習者ＤＢ８が記憶する顔画像は、画像処理部５ｂがカメラ３ｂのフレーム画像から切り出した画像である。
【００３１】
なお、簡易端末２０は、利用者が操作したときに、点灯するＬＥＤを有している。画像処理部５ａは、カメラ３ａのフレーム画像を処理し、このＬＥＤの点灯を検知することにより、利用者が簡易端末２０を操作したことを検知する。また、簡易端末２０の操作とは、ここでは無線通信機能を有する乗車券を、アンテナに翳す操作である。
【００３２】
次に、この監視装置１の動作について説明する。
【００３３】
図４は、監視装置の動作を示すフローチャートである。監視装置１は、利用者毎に、その利用者が簡易端末２０を操作したかどうかを検知し、簡易端末２０を操作することなく、通行エリアを通過した利用者を検知するとともに、当該利用者に対して警告報知を行う。
【００３４】
監視装置１は、画像処理部５ａにおいて、カメラ３ａが撮像したフレーム画像を取り込み（ｓ１）、このフレーム画像に撮像されている人物毎に、ＩＤとフレーム画像上の位置と、を対応付けたオブジェクト管理表を作成する（ｓ２）。ＩＤは、利用者を識別するものであり、ユニークな値である。ＩＤは、その利用者が通行エリア内に進入したことを検出したときに付与し、通行エリアから出場するまで継続される。また、ｓ２で作成するオブジェクト管理表には、タイムスタンプが付けられている。したがって、ｓ２で作成されたオブジェクト管理表によって、通行エリア内における利用者の移動が追跡できる。
【００３５】
画像処理部５ａは、利用者が簡易端末２０を操作したかどうかを判断する（ｓ３）。ここでは、画像処理部５ａが、フレーム画像を処理し、簡易端末２０に設けたＬＥＤの点灯の有無を判定することによって、利用者が簡易端末２０を操作したかどうかを判断する。
【００３６】
なお、簡易端末２０が、利用者の操作を監視装置１に通知する構成としてもよい。
【００３７】
画像処理部５ａは、利用者が簡易端末２０を操作していないと判断すると、後述するｓ５に進む。画像処理部５ａは、利用者が簡易端末２０を操作したと判断すると、今回簡易端末２０操作した利用者を特定する（ｓ４）。具体的には、今回のフレーム画像において、簡易端末２０の操作面に最も近い利用者を、今回簡易端末２０操作した利用者であるとする。このとき、画像処理部５ａは、ｓ４で特定した利用者のＩＤを、簡易端末２０の操作者として制御部２に通知する。制御部２は、画像処理部５ａから通知された、簡易端末２０の操作者のＩＤを記憶部７に記憶する。
【００３８】
次に、画像処理部５ａは、今回通行エリアから出場した利用者の有無を判定する（ｓ５）。画像処理部５ａは、今回通行エリアから出場した利用者がいなければ、ｓ１に戻り、上述した処理を繰り返す。
【００３９】
画像処理部５ａは、今回通行エリアから出場した利用者がいると、その利用者のＩＤを制御部２に通知する。制御部２は、画像処理部５ａから今回通知された出場した利用者のＩＤが、記憶部７に記憶している簡易端末２０の操作者のＩＤの中にあるかどうかを判定する。すなわち、制御部２は、今回通行エリアから出場した利用者が、簡易端末２０を操作した利用者であるかどうかを判定する（ｓ６）。
【００４０】
制御部２は、今回通行エリアから出場した利用者が、簡易端末２０を操作した利用者であると判定すると、ｓ１に戻り、上述した処理を繰り返す。一方、今回通行エリアから出場した利用者が、簡易端末２０を操作していない利用者であると判定すると、画像処理部５ｂにおいて、今回通行エリアから出場した利用者（すなわち、簡易端末２０を操作していない利用者）を撮像したフレーム画像を取り込み、当該利用者の顔画像を切り出す（ｓ７）。
【００４１】
制御部２は、ｓ７で切り出した顔画像を表示器１１に表示させるとともに、スピーカ１２から警告報知を行う（ｓ８、ｓ９）。ｓ９では、例えば、「入出場処理を行っていません。簡易端末２０に乗車券を翳してください。」という音声メッセージをスピーカ１２から出力する。さらに、制御部２は、ｓ７で切り出した顔画像、および目、鼻、口等の顔部品の特徴量を利用者のＩＤと対応付けて常習者ＤＢ８に登録し（ｓ１０）、ｓ１に戻り、上述した処理を繰り返す。
【００４２】
このように、簡易端末２０を操作することなく、通行エリアを不正に通過した利用者に対して、本人の顔画像を表示器１１に表示するので、自分の顔画像が表示器１１に表示されてしまうことによる抑制効果だけでなく、自分の顔画像が保存されているということによる抑制効果も得られる。したがって、利用者の通行を監視する係員等の人手をかけることなく、通行エリアにおける利用者の不正通行を十分に抑制できる。
【００４３】
また、簡易端末２０を操作することなく、通行エリアを不正に通過した利用者の顔画像を常習者ＤＢ８に登録する構成としているので、不正通行が行われた時点でなくても、捕まえることができる。
【００４４】
また、この監視装置１は、図５に示す常習者検知処理を行う。監視装置１は、画像処理部５ｂにおいて、カメラ３ｂが撮像したフレーム画像を取り込み（ｓ１１）、撮像されている人物毎に、常習者ＤＢ８に登録されている人物（登録者）であるかどうかを判定する顔認証処理を行う（ｓ１２）。ｓ１２にかかる顔認証処理は、画像処理部５ｂが、フレーム画像から切り出した利用者の顔画像から得られる目、鼻、口等の顔部品の特徴量を抽出し、常習者ＤＢ８に登録されている人物毎に対応付けられている顔部品の特徴量と照合する処理である。
【００４５】
監視装置１は、ｓ１２にかかる顔認証処理で、撮像されている人物の中に、常習者ＤＢ８に登録されている登録者がいると判定すると（ｓ１３）、スピーカ１２から案内メッセージを出力する（ｓ１４）。ｓ１４では、例えば「簡易端末２０を操作してください。」等の音声メッセージを出力する構成とすればよい。この場合には、表示器１１に利用者の顔画像を表示しない。これにより、以前に、簡易端末２０の操作を忘れて通行エリアを通過した利用者（今回、簡易端末２０を操作する予定の利用者）に対して、不快な思いをさせるのを防止できる。
【００４６】
なお、ここでは、監視装置１本体が、簡易端末２０を操作せずに通行エリアを通過した利用者を常習者ＤＢ８に登録するとしたが、各駅からセンタにアップロードし、センタで悪質な不正利用者の顔画像データベースを作成し、各駅の監視装置１にダウンロードする構成としてもよい。
【００４７】
また、常習者ＤＢ８に登録されていない利用者については、上述したｓ８で表示器１１に顔画像を表示しない構成としてもよい。このようにすれば、たまたま簡易端末２０の操作を忘れた利用者に、不快な思いをさせることがなく、顧客サービスの低下が抑えられる。
【００４８】
なお、この発明は、駅だけでなく、会社等の施設や、セキュリティルーム等において入退出者に操作させる端末の利用者の監視にも適用できる。
【符号の説明】
【００４９】
１…監視装置
２…制御部
３ａ，３ｂ…カメラ
４ａ，４ｂ…画像入力部
５ａ，５ｂ…画像処理部
６…出力部
７…記憶部
８…常習者データベース（常習者ＤＢ）
１１…表示器
１２…スピーカ
２０…簡易端末
【特許請求の範囲】
【請求項１】
通行エリアを通行する利用者が、当該通行エリアに設置した端末を通行時に操作したかどうかを監視する端末利用者監視装置において、
前記通行エリアを撮像する撮像手段と、
前記撮像手段が撮像したフレーム画像を処理し、前記通行エリア内における人物の移動を追跡する追跡手段と、
前記端末を操作した利用者を検知する検知手段と、
前記追跡手段が追跡している利用者毎に、前記検知手段が前記端末の操作を検知したかどうかを対応付ける対応付け手段と、
前記対応付け手段により前記端末の操作を検知した旨の対応付けがなされていない利用者が、前記通行エリアを通過したときに、警告報知を行う警告手段と、を備えた端末利用者監視装置。
【請求項２】
前記警告手段は、前記対応付け手段により前記端末の操作を検知した旨の対応付けがなされていない利用者について、前記撮像手段が撮像した顔画像を表示器に表示する、請求項１に記載の端末利用者監視装置。
【請求項３】
前記通行エリアを通過した利用者が、前記対応付け手段により前記端末の操作を検知した旨の対応付けがなされていない利用者である場合に、前記撮像手段が撮像した当該利用者の顔画像を記憶する顔画像記憶手段を備えた、請求項１、または２に記載の端末利用者監視装置。
【請求項４】
前記警告手段は、前記通行エリアに進入した利用者が、前記顔画像記憶手段が顔画像を記憶している利用者であれば、前記端末の操作を促す案内メッセージを出力する、請求項１〜３のいずれかに記載の端末利用者監視装置。
【請求項５】
前記撮像手段は、前記通行エリア全体を上方から撮像する第１のカメラ、および前記通行エリアを通行している利用者の顔を正面から撮像する第２のカメラを有する、請求項１〜４のいずれかに記載の端末利用者監視装置。
【請求項１】
通行エリアを通行する利用者が、当該通行エリアに設置した端末を通行時に操作したかどうかを監視する端末利用者監視装置において、
前記通行エリアを撮像する撮像手段と、
前記撮像手段が撮像したフレーム画像を処理し、前記通行エリア内における人物の移動を追跡する追跡手段と、
前記端末を操作した利用者を検知する検知手段と、
前記追跡手段が追跡している利用者毎に、前記検知手段が前記端末の操作を検知したかどうかを対応付ける対応付け手段と、
前記対応付け手段により前記端末の操作を検知した旨の対応付けがなされていない利用者が、前記通行エリアを通過したときに、警告報知を行う警告手段と、を備えた端末利用者監視装置。
【請求項２】
前記警告手段は、前記対応付け手段により前記端末の操作を検知した旨の対応付けがなされていない利用者について、前記撮像手段が撮像した顔画像を表示器に表示する、請求項１に記載の端末利用者監視装置。
【請求項３】
前記通行エリアを通過した利用者が、前記対応付け手段により前記端末の操作を検知した旨の対応付けがなされていない利用者である場合に、前記撮像手段が撮像した当該利用者の顔画像を記憶する顔画像記憶手段を備えた、請求項１、または２に記載の端末利用者監視装置。
【請求項４】
前記警告手段は、前記通行エリアに進入した利用者が、前記顔画像記憶手段が顔画像を記憶している利用者であれば、前記端末の操作を促す案内メッセージを出力する、請求項１〜３のいずれかに記載の端末利用者監視装置。
【請求項５】
前記撮像手段は、前記通行エリア全体を上方から撮像する第１のカメラ、および前記通行エリアを通行している利用者の顔を正面から撮像する第２のカメラを有する、請求項１〜４のいずれかに記載の端末利用者監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−２１６０７５（Ｐ２０１１−２１６０７５Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１１−２１７２０（Ｐ２０１１−２１７２０）
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]