監視システム及び人物特定方法
【課題】個人認証方法の改善と、認証対象の人物の具体的な行動を管理するための仕組みを実現する。
【解決手段】実施形態によれば、監視システムは、認証コントローラと、画像認識サーバとを備えた構成である。認証コントローラは、電界通信により認証用端末から受信した認証用情報に基づいて認証処理を実行する。画像認識サーバは、カメラにより撮影された撮影領域の画像を取得し、前記撮影領域に含まれる人物を認識する。画像認識サーバは、認証用端末の位置情報とカメラの撮影領域の座標情報に基づいて、画像認識された人物と前記認証コントローラにより認証された人物とを照合する人物特定処理を実行する。
【解決手段】実施形態によれば、監視システムは、認証コントローラと、画像認識サーバとを備えた構成である。認証コントローラは、電界通信により認証用端末から受信した認証用情報に基づいて認証処理を実行する。画像認識サーバは、カメラにより撮影された撮影領域の画像を取得し、前記撮影領域に含まれる人物を認識する。画像認識サーバは、認証用端末の位置情報とカメラの撮影領域の座標情報に基づいて、画像認識された人物と前記認証コントローラにより認証された人物とを照合する人物特定処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、撮影画像及び電界通信を利用した監視技術に関する。
【背景技術】
【０００２】
近年、データセンタや、食品加工、製薬などの各種工場等では、高いセキュリティレベルが求められている。このため、高レベルのセキュリティを確保、管理するために、監視システムやセキュリティ管理システムとも呼ばれる各種のシステムが提案されている。
【０００３】
従来では、建物や部屋ごとの入退室を管理する入退室管理システムが周知である。入退室管理システムは、個人認証装置とセキュリティゲートとの組合せで、許可された人物のみが指定の領域（建物や部屋など）に入出できるように管理する。換言すれば、入退室管理システムは、許可されていない人物の入室を排除することができる。
【０００４】
また、従来から、セキュリティゲートを通過する人物を撮影する監視カメラを配置し、この監視カメラで撮影された映像により入退室する人物を監視する映像監視システムが周知である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３０３２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の入退室管理システムでは、例えばセキュリティレベルが高い領域に入った人物が、具体的にどのような行動や活動を行なうかまでは、把握することはできない。一方、個人認証装置としては、ＩＣカード、指紋・静脈・虹彩による認証機能、ＲＦＩＤタグ、あるいは顔認証機能などを利用する方式が一般的である。いずれの方式も、ユーザが意識して認証用端末にアクセスする行為が必要で煩わしさがある。また、複数の認証対象者がいる場合に、ＲＦＩＤタグなどの無線通信を利用する方式では、位置特定精度の問題で個人特定が極めて困難となる。また、顔認証機能を利用する方式では、例えばクリーンルームなどで必須となるマスクを着用すると、個人特定の仕組みが成立しないという課題がある。
【０００７】
そこで、個人認証方法の改善と、認証対象の人物の具体的な行動を管理するための仕組みを実現することが求められている。
【課題を解決するための手段】
【０００８】
実施形態によれば、監視システムは、認証手段と、画像認識手段と、人物特定手段とを備えた構成である。認証手段は、電界通信により認証用端末から受信した認証用情報に基づいて認証処理を実行する。画像認識手段は、カメラにより撮影された撮影領域の画像を取得し、前記撮影領域に含まれる人物を認識する。人物特定手段は、前記認証用機器の位置情報と前記撮影領域の座標情報に基づいて、前記画像認識手段により認識された人物と前記認証手段により認証された人物とを照合する。
【図面の簡単な説明】
【０００９】
【図１】実施形態に関する監視システムの構成を説明するための図。
【図２】実施形態に関するキャリブレーションの具体例を説明するための図。
【図３】実施形態に関するキャリブレーションの具体例を説明するための図。
【図４】実施形態に関するキャリブレーションの具体例を説明するための図。
【図５】実施形態に関する監視システムの動作を説明するためのタイミングチャート。
【図６】実施形態に関する監視システムの動作を説明するためのフローチャート。
【図７】実施形態に関する監視システムの応用例を説明するための図。
【発明を実施するための形態】
【００１０】
以下図面を参照して、実施形態を説明する。
【００１１】
［システムの構成］
図１は、本実施形態の監視システムの構成を説明するための図である。
【００１２】
図１に示すように、本実施形態の監視システムは、建物内の指定の領域（部屋や通路などのエリア）を監視するシステムであり、ネットワーク（ＬＡＮ）１０と、画像認識サーバ１１と、監視カメラ１２と、認証コントローラ１３とを有する。
【００１３】
画像認識サーバ１１は、ネットワーク１０を介して監視カメラ１２により撮影された映像を取得し、監視カメラ１２の撮影領域に存在する人物を検知する画像認識処理を実行する。また、後述するように、画像認識サーバ１１は、認証コントローラ１３と連携し、認証された人物を特定するための画像処理を実行する。
【００１４】
認証コントローラ１３は、ネットワーク１０を介して、携帯可能な認証用端末（または認証用タグ、認証用カード）１４から送信される認証用情報に基づいて、人物１００の認証処理を実行する。認証用端末１４は、いわゆる電界通信により内部メモリに記憶している認証用情報を送信する。
【００１５】
本実施形態では、図１に示すように、個人認証を行なう場所として、例えば部屋のドア２０についているドアノブ２１、マット・カーペットまたは床の特定エリア２２、又は椅子の座面２３が設定されて、電界通信を受信するためのアンテナ（受信器）１５〜１７が配置又は埋め込まれている。これらのアンテナ１５〜１７はネットワーク１０に接続されており、認証用端末１４から送信された認証用情報を認証コントローラ１３に伝送する。
【００１６】
ここで、電界通信とは、人体や物の表面に発生する電界を利用してデータ通信を行う通信技術である。人体は、交流信号源が近接すると微弱電界を帯びる。電界通信は、この僅かな電界の変化に応じてデータ通信を行なう。
【００１７】
本実施形態では、予め人物１００が認証用端末１４を携帯することで、認証用端末１４からの送信データ（認証用情報）に応じた微弱電界の変化が、その人物１００の人体に発生する。人物１００がドアノブ２１に接触し、またはカーペット２２の上に立ち、あるいは椅子の座面２３に座ることで、人物１００に近接するアンテナ１５〜１７が微弱電界を検出する。
【００１８】
［システムの動作］
以下、図２から図６を参照して、本実施形態のシステムの動作を説明する。
【００１９】
まず、図１に示すように、建物内の指定の監視領域として、例えば高いセキュリティレベルが設定された部屋の入口エリアが、監視カメラ１２により撮影されているものとする。このとき、当該入口エリアに人物１００が接近し、監視カメラ１２により撮影領域内に入ると、画像認識サーバ１１は、監視カメラ１２により撮影された映像を取得する。画像認識サーバ１１は、高精度の画像解析処理を実行し、撮影領域に存在する人物を検知する画像認識処理を実行する（図５のＳ１）。
【００２０】
画像認識サーバ１１は、検知した人物画像を記憶装置に保存すると共に、図示しない映像監視装置の表示画面上に当該人物画像を表示出力する。この監視動作により、オペレータは、表示画面上で当該入口エリアに接近した人物１００を確認することができる。
【００２１】
一方、図６に示すように、人物１００が監視対象の部屋のドアノブ２１に接触するか、または入口エリアのカーペット２２上に立つと、人物１００が携帯している認証用端末１４と認証コントローラ１３との間で電界通信が行なわれる（ステップＳ１１）。
【００２２】
即ち、図５に示すように、電界通信により、認証用端末１４から認証用情報１４０がアンテナ（ここでは１６とする）受信されて、認証コントローラ１３に伝送される。認証コントローラ１３は、認証用情報１４０に含まれる個人を識別する識別情報（ＩＤ情報）１４１、及びアンテナ１６の位置を示す位置情報１４２を取得する。位置情報１４２は、後述するように、座標情報やエリア情報である。
【００２３】
認証コントローラ１３は、ＩＤ情報１４１に基づいて人物１００の認証処理（個人識別処理）を実行する（Ｓ２）。認証コントローラ１３は、認証処理結果に応じて人物１００の属性情報１４３を画像認識サーバ１１に伝送する。属性情報１４３には、個人識別情報や、セキュリティレベルに応じた認証結果を示す情報が含まれる。また、認証コントローラ１３は、アンテナ１６の位置（認証用端末１４の位置に相当）を示す位置情報１４２を画像認識サーバ１１に伝送する。
【００２４】
本実施形態では、画像認識サーバ１１は、認証コントローラ１３と連携し、監視カメラ１２により撮影された人物が認証された人物１００として特定する処理を実行する（ステップＳ１３）。以下、具体的に説明する。
【００２５】
画像認識サーバ１１は、認証コントローラ１３からの位置情報１４２に基づいて、監視カメラ１２により撮影された画像（映像）の座標と、アンテナ１６の位置（認証用端末１４の位置）とのキャリブレーション（位置合わせ処理）を実行する（図５のＳ３、図６のステップＳ１２）。
【００２６】
キャリブレーションの具体例として、図２（Ａ）に示すように、アンテナ１６の位置を世界座標（Ｘ，Ｙ）の中で認識する。画像認識サーバ１１は、アンテナ１６の位置（認証用端末１４の位置）を示す世界座標（Ｘ1，Ｙ1）と人物１００の画像座標（ｕ1，ｖ1）との位置合わせ処理を実行する。ここで、図２（Ｂ）に示すように、画像座標（ｕ，ｖ）は、監視カメラ１２により撮影された画像（映像）の座標である。画像認識サーバ１１は、画像座標（ｕ，ｖ）において、撮影領域から検知した人物１００の画像座標（ｕ1，ｖ1）を求める。
【００２７】
また、キャリブレーションの具体例として、図３（Ａ）に示すように、アンテナ１６の位置をローカル座標（ｘ，ｙ）の中で認識する。画像認識サーバ１１は、アンテナ１６の位置（認証用端末１４の位置）を示すローカル座標（ｘ1，ｙ1）と、図３（Ｂ）に示す人物１００の画像座標（ｕ1，ｖ1）との位置合わせ処理を実行する。
【００２８】
さらに、キャリブレーションの具体例として、図４（Ａ）に示すように、アンテナ１６の位置をエリア位置情報（Ａ〜Ｆ）の中で認識する。画像認識サーバ１１は、アンテナ１６の位置（認証用端末１４の位置）を示すエリア位置情報（Ｂ）と、図４（Ｂ）に示す人物１００の画像座標（ｕ1，ｖ1）との位置合わせ処理を実行する。
【００２９】
次に、画像認識サーバ１１は、キャリブレーションにより位置合わせされた人物１００に関する画像（映像）と、認証コントローラ１３により認証された人物１００の属性情報１４３とを関連付けたメタ情報を生成して記憶装置に保存する（図５のＳ４）。メタ情報には、例えば監視カメラ１２により撮影された画像のフレーム番号、撮影時刻、検知した人物１００の画像座標、及び人物１００の属性情報１４３が含まれている。
【００３０】
さらに、画像認識サーバ１１は、映像監視装置の表示画面上に、撮影された当該人物１０の画像を表示出力するときに、メタ情報に含まれる人物１００の属性情報１４３を重畳して表示する（図５のＳ５）。但し、画像認識サーバ１１は、オペレータからの入力に応じて、属性情報１４３を重畳して表示するか否かを選択する。
【００３１】
以上のように本実施形態によれば、電界通信を利用した認証処理と、監視カメラ１２を使用する画像認識処理とを連携させることで、自動的な個人認証を実行し、かつ監視エリア内で認証された人物の位置や行動を確認できる監視システムを実現できる。
【００３２】
具体的には、電界通信を利用した認証方法では、踏む、座る、触れるなどの人の自然な動作の中で、ユーザが特に意識した操作を要することなく、自動的な認証処理が可能となる。従来の認証方法では、固定された位置で、ユーザには認証のための意識的行動が要求される。また、手袋、マスクやゴーグルなどを付けていると、認証が困難であった従来の生体認証や顔認証などの個人認証方法を改善することができる。
【００３３】
さらに、無線通信を利用する従来の認証方法では、認証対象の人物の正確な位置を把握できない。例えばセキュリティゲートでアクセス制御されたエリアでも、エリア内で認証された人物の位置を特定できない。これに対して，本実施形態の電界通信を利用した認証方法であれば、認証対象の人物の位置を正確に特定することが可能となる。
【００３４】
さらに、本実施形態のシステムは画像認識処理との連携により、電界通信を利用した認証処理で認証された人物の位置と画像座標との位置合わせにより、認証された人物を撮影領域内で特定し追跡することが可能である。このため、認証された人物の位置や行動を、画面上で視覚的に確認することができる。
【００３５】
また、本実施形態の連携方式により、監視カメラによる撮影画像に、撮影領域内で検知された人物の属性情報を重畳して画面上に表示することが可能になる。これにより、単に撮影画像から顔見知りの人物か否かを判断できるだけでなく、セキュリティレベルやエリアに応じて割り当てた属性情報に基づいて、個人の行動や逸脱行為の発見など多様な監視動作が可能になる。このことは、未認証者の存在の検知や、セキュリティレベル上で居るはずのない所属の人物の特定などが容易になり、結果として監視員の負荷軽減が可能になる。
【００３６】
さらに、認証用タグ１４を持たない未認証の人物を、監視カメラ１２の撮影画像により監視することが可能である。特に、意図的に認証を避けるような人物を、監視カメラ１２の撮影画像により不審者として追跡することが可能である。また、電界通信が失敗した場合においても、撮影画像による人物追跡の結果を活用し、認証が成功していた前状態の情報を保持することも可能である。
【００３７】
このような本実施形態の監視システムであれば、例えば食物や薬品を製造するような高レベルのセキュリティが必要な製造ラインにおいて、製造ラインに接近した人物を検知し、認証された製造者の場合には、その属性情報に基づいた製造者の管理を行なうことができる。
【００３８】
また、認証用情報の中に時間情報を含むことにより、時限的にセキュリティレベルをコントロールすることが可能である。例えば扱う食物や薬品の製造時間に応じて、当該製造ラインに接近できる人物と許可できない人物を区別することが可能である。あるいは、単純に時間帯で管理し、例えばＶＩＰの人物が会議室に入室する時間帯であれば、その時間帯での会議室の入口エリアのセキュリティレベルを上げることが可能である。
【００３９】
なお、本実施形態の変形例として、アンテナ１５〜１７の配置エリアを限定し、画像認識サーバは、アンテナが配置されていない撮影領域の画像認識結果に、アンテナ１５〜１７から取得される認証用情報に基づいた属性情報を継承して画面上での重畳を維持しても良い。これにより、アンテナ１５〜１７の配置エリアを節約できる。
【００４０】
［応用例］
図７は、本実施形態の監視システムをセキュリティシステム３００に応用した応用例を示す図である。
【００４１】
セキュリティシステム３００は、画像解析部３０１と、電界通信部３０２と、異常検出部３０３とを有し、指定の管理エリア２００のセキュリティを管理するシステムである。具体的には、画像解析部３０１は、画像認識サーバ１１に相当する処理を実行し、複数の監視カメラ１２により撮影される映像の画像解析処理を実行する。電界通信部３０２は、認証コントローラ１３に相当する認証処理を実行し、認証用タグ１４Ａ〜１４Ｃとの間で認証用情報を電界通信により受信する。異常検出部３０３は、画像解析部３０１の画像認識結果と電界通信部３０２の認証結果に基づいて、管理エリア２００内での許可された人物以外の不許可の人物の位置又は不審者の検知を行なう。
【００４２】
セキュリティシステム３００は、画像記録装置３１０に監視カメラ１２により撮影される映像及び異常情報を記録する。セキュリティシステム３００は、警告装置３１１を制御し、異常検出部３０３の処理結果に基づいて、異常情報を音声などで出力する。セキュリティシステム３００は、警備員に連絡する通信装置３１２と接続し、人物の位置や不審者の行動を示す情報を伝達する。また、セキュリティシステム３００は、入退出システム４００、警備システム４０１及び操業システム４０２に接続し、それぞれに異常情報を提供する。
【００４３】
この応用例では、セキュリティシステム３００は、電界通信部３０２により、例えば人物１００Ａが携帯している認証用タグ１４Ａとの電界通信（アンテナ１６）で、管理エリア２００内で許可された人物として認証する。また、セキュリティシステム３００は、例えば人物１００Ｃがアンテナ１６に近接したことにより、電界通信部３０２が携帯している認証用タグ１４Ｃとの電界通信で、管理エリア２００内で許可された人物であるか否かを認証している。
【００４４】
一方、セキュリティシステム３００は、電界通信部３０２により、例えば人物１００Ｂが携帯している認証用タグ１４Ｂとの電界通信で、管理エリア２００内で許可されない人物として認定する。従って、セキュリティシステム３００は、異常検出部３０３により、
画像記録装置３１０に人物１００Ｂの撮影映像を記録し、通信装置３１２により警備員に通報し、かつ警告装置３１１により本人に警告する処理を実行する。この場合、セキュリティシステム３００は、入退出システム４００に異常情報を提供することで、人物１００Ｂを管理エリア２００外に出ることを禁止させることも可能である。
【００４５】
また、セキュリティシステム３００は、管理エリア２００内で、電界通信部３０２による認証ができない未認証の人物１１０を不審者として監視する。具体的には、セキュリティシステム３００は、複数の監視カメラ１２により撮影される映像を画像解析することで、人物１１０を撮影領域で検知し、その行動を追跡する。異常検出部３０３は、通信装置３１２により警備員に不審者の行動情報を通報し、かつ入退出システム４００に異常情報を提供して不審者１１０を管理エリア２００外に出ることを禁止させる。また、異常検出部３０３は、警備システム４０１に異常情報として、不審者１１０の撮影映像などの監視情報を提供する。
【００４６】
更に、セキュリティシステム３００と操業システム４０２との連携においては、操業システム４０２から作業計画を受領して、各人物に対する権限の設定を行い、その設定内容と監視カメラで撮影された人物とを比較して異常を検出し、異常情報として位置や時間を操業システム４０２へ提供する。尚、異常情報だけでなく、操業システムへの全てのアクセスについて、その情報を提供し、アクセス履歴としてデータベースに蓄積・検索できるようにすることで、正常な作業を含むアクセス履歴として管理することが可能となる。情報提供レベル(異常時のみか全てのイベントか)については、例えば操業システムが扱うモノの質に基づきユーザが設定もしくは自動で判断して設定することができる。
【００４７】
以上のように本実施形態の監視システムを、実際上のセキュリティシステム３００に応用することにより、管理対象に対する権限を個別に設定し、管理エリア内の人物の厳重な管理と異常行動を自動的に検知することが可能になる。具体的には、人物の位置と権限（許可）をチェックすることで、異常状態を自動的に検出することができる。この場合、不許可の人物や不審者などの異常行動者を撮影映像により追跡し、これらの人物の位置や行動の情報を警備員に通報することが可能である。
【００４８】
また、入退室システムや警備システムと連携することで、不審者の移動を制限することできる。従来のシステムでは、異常行動者を発見しても、例えば多数の防犯カメラ画像を監視員が長時間にわたり監視することが困難であるため、その異常行動者を追跡できない場合がある。これに対して、本実施形態の監視システムを適用したセキュリティシステム３００であれば、自動的に異常行動者を追跡することが可能である。
【００４９】
なお、アンテナ１６には、予め属性情報の一部（セキュリティレベル）が設定されており、電界通信部３０２は、アンテナ１６に設定された属性情報の一部と、認証用情報の一部（セキュリティレベル）とを照合し、照合結果に基づいて許可又は不許可の判定を実行してもよい。この判定で不許可の場合には、異常検出部３０３は、警告装置３１１により本人に警告し、管理エリア２００内での作業などを中止させることも可能である。
【００５０】
また、電界通信部３０２により認証される認証用情報として予め人物が移動可能なエリアや移動経路を指定する情報が含まれている場合に、異常検出部３０３は、画像解析部３０１での処理結果に基づいて、管理エリア２００内での指定エリアへの進入の可否を判定する。異常検出部３０３は、人物が不許可のエリアに侵入した場合に、そこでの作業を禁止させるための警告を実行し、かつ監視員に通報することができる。
【００５１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５２】
１０…ネットワーク（ＬＡＮ）、１１…画像認識サーバ、１２…監視カメラ、
１３…認証コントローラ、１４…認証用端末（または認証用タグ、認証用カード）、
１５，１６，１７…アンテナ、３００…セキュリティシステム、
３０１…画像解析部、３０２…電界通信部、３０３…異常検出部。
【技術分野】
【０００１】
本発明の実施形態は、撮影画像及び電界通信を利用した監視技術に関する。
【背景技術】
【０００２】
近年、データセンタや、食品加工、製薬などの各種工場等では、高いセキュリティレベルが求められている。このため、高レベルのセキュリティを確保、管理するために、監視システムやセキュリティ管理システムとも呼ばれる各種のシステムが提案されている。
【０００３】
従来では、建物や部屋ごとの入退室を管理する入退室管理システムが周知である。入退室管理システムは、個人認証装置とセキュリティゲートとの組合せで、許可された人物のみが指定の領域（建物や部屋など）に入出できるように管理する。換言すれば、入退室管理システムは、許可されていない人物の入室を排除することができる。
【０００４】
また、従来から、セキュリティゲートを通過する人物を撮影する監視カメラを配置し、この監視カメラで撮影された映像により入退室する人物を監視する映像監視システムが周知である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３０３２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の入退室管理システムでは、例えばセキュリティレベルが高い領域に入った人物が、具体的にどのような行動や活動を行なうかまでは、把握することはできない。一方、個人認証装置としては、ＩＣカード、指紋・静脈・虹彩による認証機能、ＲＦＩＤタグ、あるいは顔認証機能などを利用する方式が一般的である。いずれの方式も、ユーザが意識して認証用端末にアクセスする行為が必要で煩わしさがある。また、複数の認証対象者がいる場合に、ＲＦＩＤタグなどの無線通信を利用する方式では、位置特定精度の問題で個人特定が極めて困難となる。また、顔認証機能を利用する方式では、例えばクリーンルームなどで必須となるマスクを着用すると、個人特定の仕組みが成立しないという課題がある。
【０００７】
そこで、個人認証方法の改善と、認証対象の人物の具体的な行動を管理するための仕組みを実現することが求められている。
【課題を解決するための手段】
【０００８】
実施形態によれば、監視システムは、認証手段と、画像認識手段と、人物特定手段とを備えた構成である。認証手段は、電界通信により認証用端末から受信した認証用情報に基づいて認証処理を実行する。画像認識手段は、カメラにより撮影された撮影領域の画像を取得し、前記撮影領域に含まれる人物を認識する。人物特定手段は、前記認証用機器の位置情報と前記撮影領域の座標情報に基づいて、前記画像認識手段により認識された人物と前記認証手段により認証された人物とを照合する。
【図面の簡単な説明】
【０００９】
【図１】実施形態に関する監視システムの構成を説明するための図。
【図２】実施形態に関するキャリブレーションの具体例を説明するための図。
【図３】実施形態に関するキャリブレーションの具体例を説明するための図。
【図４】実施形態に関するキャリブレーションの具体例を説明するための図。
【図５】実施形態に関する監視システムの動作を説明するためのタイミングチャート。
【図６】実施形態に関する監視システムの動作を説明するためのフローチャート。
【図７】実施形態に関する監視システムの応用例を説明するための図。
【発明を実施するための形態】
【００１０】
以下図面を参照して、実施形態を説明する。
【００１１】
［システムの構成］
図１は、本実施形態の監視システムの構成を説明するための図である。
【００１２】
図１に示すように、本実施形態の監視システムは、建物内の指定の領域（部屋や通路などのエリア）を監視するシステムであり、ネットワーク（ＬＡＮ）１０と、画像認識サーバ１１と、監視カメラ１２と、認証コントローラ１３とを有する。
【００１３】
画像認識サーバ１１は、ネットワーク１０を介して監視カメラ１２により撮影された映像を取得し、監視カメラ１２の撮影領域に存在する人物を検知する画像認識処理を実行する。また、後述するように、画像認識サーバ１１は、認証コントローラ１３と連携し、認証された人物を特定するための画像処理を実行する。
【００１４】
認証コントローラ１３は、ネットワーク１０を介して、携帯可能な認証用端末（または認証用タグ、認証用カード）１４から送信される認証用情報に基づいて、人物１００の認証処理を実行する。認証用端末１４は、いわゆる電界通信により内部メモリに記憶している認証用情報を送信する。
【００１５】
本実施形態では、図１に示すように、個人認証を行なう場所として、例えば部屋のドア２０についているドアノブ２１、マット・カーペットまたは床の特定エリア２２、又は椅子の座面２３が設定されて、電界通信を受信するためのアンテナ（受信器）１５〜１７が配置又は埋め込まれている。これらのアンテナ１５〜１７はネットワーク１０に接続されており、認証用端末１４から送信された認証用情報を認証コントローラ１３に伝送する。
【００１６】
ここで、電界通信とは、人体や物の表面に発生する電界を利用してデータ通信を行う通信技術である。人体は、交流信号源が近接すると微弱電界を帯びる。電界通信は、この僅かな電界の変化に応じてデータ通信を行なう。
【００１７】
本実施形態では、予め人物１００が認証用端末１４を携帯することで、認証用端末１４からの送信データ（認証用情報）に応じた微弱電界の変化が、その人物１００の人体に発生する。人物１００がドアノブ２１に接触し、またはカーペット２２の上に立ち、あるいは椅子の座面２３に座ることで、人物１００に近接するアンテナ１５〜１７が微弱電界を検出する。
【００１８】
［システムの動作］
以下、図２から図６を参照して、本実施形態のシステムの動作を説明する。
【００１９】
まず、図１に示すように、建物内の指定の監視領域として、例えば高いセキュリティレベルが設定された部屋の入口エリアが、監視カメラ１２により撮影されているものとする。このとき、当該入口エリアに人物１００が接近し、監視カメラ１２により撮影領域内に入ると、画像認識サーバ１１は、監視カメラ１２により撮影された映像を取得する。画像認識サーバ１１は、高精度の画像解析処理を実行し、撮影領域に存在する人物を検知する画像認識処理を実行する（図５のＳ１）。
【００２０】
画像認識サーバ１１は、検知した人物画像を記憶装置に保存すると共に、図示しない映像監視装置の表示画面上に当該人物画像を表示出力する。この監視動作により、オペレータは、表示画面上で当該入口エリアに接近した人物１００を確認することができる。
【００２１】
一方、図６に示すように、人物１００が監視対象の部屋のドアノブ２１に接触するか、または入口エリアのカーペット２２上に立つと、人物１００が携帯している認証用端末１４と認証コントローラ１３との間で電界通信が行なわれる（ステップＳ１１）。
【００２２】
即ち、図５に示すように、電界通信により、認証用端末１４から認証用情報１４０がアンテナ（ここでは１６とする）受信されて、認証コントローラ１３に伝送される。認証コントローラ１３は、認証用情報１４０に含まれる個人を識別する識別情報（ＩＤ情報）１４１、及びアンテナ１６の位置を示す位置情報１４２を取得する。位置情報１４２は、後述するように、座標情報やエリア情報である。
【００２３】
認証コントローラ１３は、ＩＤ情報１４１に基づいて人物１００の認証処理（個人識別処理）を実行する（Ｓ２）。認証コントローラ１３は、認証処理結果に応じて人物１００の属性情報１４３を画像認識サーバ１１に伝送する。属性情報１４３には、個人識別情報や、セキュリティレベルに応じた認証結果を示す情報が含まれる。また、認証コントローラ１３は、アンテナ１６の位置（認証用端末１４の位置に相当）を示す位置情報１４２を画像認識サーバ１１に伝送する。
【００２４】
本実施形態では、画像認識サーバ１１は、認証コントローラ１３と連携し、監視カメラ１２により撮影された人物が認証された人物１００として特定する処理を実行する（ステップＳ１３）。以下、具体的に説明する。
【００２５】
画像認識サーバ１１は、認証コントローラ１３からの位置情報１４２に基づいて、監視カメラ１２により撮影された画像（映像）の座標と、アンテナ１６の位置（認証用端末１４の位置）とのキャリブレーション（位置合わせ処理）を実行する（図５のＳ３、図６のステップＳ１２）。
【００２６】
キャリブレーションの具体例として、図２（Ａ）に示すように、アンテナ１６の位置を世界座標（Ｘ，Ｙ）の中で認識する。画像認識サーバ１１は、アンテナ１６の位置（認証用端末１４の位置）を示す世界座標（Ｘ1，Ｙ1）と人物１００の画像座標（ｕ1，ｖ1）との位置合わせ処理を実行する。ここで、図２（Ｂ）に示すように、画像座標（ｕ，ｖ）は、監視カメラ１２により撮影された画像（映像）の座標である。画像認識サーバ１１は、画像座標（ｕ，ｖ）において、撮影領域から検知した人物１００の画像座標（ｕ1，ｖ1）を求める。
【００２７】
また、キャリブレーションの具体例として、図３（Ａ）に示すように、アンテナ１６の位置をローカル座標（ｘ，ｙ）の中で認識する。画像認識サーバ１１は、アンテナ１６の位置（認証用端末１４の位置）を示すローカル座標（ｘ1，ｙ1）と、図３（Ｂ）に示す人物１００の画像座標（ｕ1，ｖ1）との位置合わせ処理を実行する。
【００２８】
さらに、キャリブレーションの具体例として、図４（Ａ）に示すように、アンテナ１６の位置をエリア位置情報（Ａ〜Ｆ）の中で認識する。画像認識サーバ１１は、アンテナ１６の位置（認証用端末１４の位置）を示すエリア位置情報（Ｂ）と、図４（Ｂ）に示す人物１００の画像座標（ｕ1，ｖ1）との位置合わせ処理を実行する。
【００２９】
次に、画像認識サーバ１１は、キャリブレーションにより位置合わせされた人物１００に関する画像（映像）と、認証コントローラ１３により認証された人物１００の属性情報１４３とを関連付けたメタ情報を生成して記憶装置に保存する（図５のＳ４）。メタ情報には、例えば監視カメラ１２により撮影された画像のフレーム番号、撮影時刻、検知した人物１００の画像座標、及び人物１００の属性情報１４３が含まれている。
【００３０】
さらに、画像認識サーバ１１は、映像監視装置の表示画面上に、撮影された当該人物１０の画像を表示出力するときに、メタ情報に含まれる人物１００の属性情報１４３を重畳して表示する（図５のＳ５）。但し、画像認識サーバ１１は、オペレータからの入力に応じて、属性情報１４３を重畳して表示するか否かを選択する。
【００３１】
以上のように本実施形態によれば、電界通信を利用した認証処理と、監視カメラ１２を使用する画像認識処理とを連携させることで、自動的な個人認証を実行し、かつ監視エリア内で認証された人物の位置や行動を確認できる監視システムを実現できる。
【００３２】
具体的には、電界通信を利用した認証方法では、踏む、座る、触れるなどの人の自然な動作の中で、ユーザが特に意識した操作を要することなく、自動的な認証処理が可能となる。従来の認証方法では、固定された位置で、ユーザには認証のための意識的行動が要求される。また、手袋、マスクやゴーグルなどを付けていると、認証が困難であった従来の生体認証や顔認証などの個人認証方法を改善することができる。
【００３３】
さらに、無線通信を利用する従来の認証方法では、認証対象の人物の正確な位置を把握できない。例えばセキュリティゲートでアクセス制御されたエリアでも、エリア内で認証された人物の位置を特定できない。これに対して，本実施形態の電界通信を利用した認証方法であれば、認証対象の人物の位置を正確に特定することが可能となる。
【００３４】
さらに、本実施形態のシステムは画像認識処理との連携により、電界通信を利用した認証処理で認証された人物の位置と画像座標との位置合わせにより、認証された人物を撮影領域内で特定し追跡することが可能である。このため、認証された人物の位置や行動を、画面上で視覚的に確認することができる。
【００３５】
また、本実施形態の連携方式により、監視カメラによる撮影画像に、撮影領域内で検知された人物の属性情報を重畳して画面上に表示することが可能になる。これにより、単に撮影画像から顔見知りの人物か否かを判断できるだけでなく、セキュリティレベルやエリアに応じて割り当てた属性情報に基づいて、個人の行動や逸脱行為の発見など多様な監視動作が可能になる。このことは、未認証者の存在の検知や、セキュリティレベル上で居るはずのない所属の人物の特定などが容易になり、結果として監視員の負荷軽減が可能になる。
【００３６】
さらに、認証用タグ１４を持たない未認証の人物を、監視カメラ１２の撮影画像により監視することが可能である。特に、意図的に認証を避けるような人物を、監視カメラ１２の撮影画像により不審者として追跡することが可能である。また、電界通信が失敗した場合においても、撮影画像による人物追跡の結果を活用し、認証が成功していた前状態の情報を保持することも可能である。
【００３７】
このような本実施形態の監視システムであれば、例えば食物や薬品を製造するような高レベルのセキュリティが必要な製造ラインにおいて、製造ラインに接近した人物を検知し、認証された製造者の場合には、その属性情報に基づいた製造者の管理を行なうことができる。
【００３８】
また、認証用情報の中に時間情報を含むことにより、時限的にセキュリティレベルをコントロールすることが可能である。例えば扱う食物や薬品の製造時間に応じて、当該製造ラインに接近できる人物と許可できない人物を区別することが可能である。あるいは、単純に時間帯で管理し、例えばＶＩＰの人物が会議室に入室する時間帯であれば、その時間帯での会議室の入口エリアのセキュリティレベルを上げることが可能である。
【００３９】
なお、本実施形態の変形例として、アンテナ１５〜１７の配置エリアを限定し、画像認識サーバは、アンテナが配置されていない撮影領域の画像認識結果に、アンテナ１５〜１７から取得される認証用情報に基づいた属性情報を継承して画面上での重畳を維持しても良い。これにより、アンテナ１５〜１７の配置エリアを節約できる。
【００４０】
［応用例］
図７は、本実施形態の監視システムをセキュリティシステム３００に応用した応用例を示す図である。
【００４１】
セキュリティシステム３００は、画像解析部３０１と、電界通信部３０２と、異常検出部３０３とを有し、指定の管理エリア２００のセキュリティを管理するシステムである。具体的には、画像解析部３０１は、画像認識サーバ１１に相当する処理を実行し、複数の監視カメラ１２により撮影される映像の画像解析処理を実行する。電界通信部３０２は、認証コントローラ１３に相当する認証処理を実行し、認証用タグ１４Ａ〜１４Ｃとの間で認証用情報を電界通信により受信する。異常検出部３０３は、画像解析部３０１の画像認識結果と電界通信部３０２の認証結果に基づいて、管理エリア２００内での許可された人物以外の不許可の人物の位置又は不審者の検知を行なう。
【００４２】
セキュリティシステム３００は、画像記録装置３１０に監視カメラ１２により撮影される映像及び異常情報を記録する。セキュリティシステム３００は、警告装置３１１を制御し、異常検出部３０３の処理結果に基づいて、異常情報を音声などで出力する。セキュリティシステム３００は、警備員に連絡する通信装置３１２と接続し、人物の位置や不審者の行動を示す情報を伝達する。また、セキュリティシステム３００は、入退出システム４００、警備システム４０１及び操業システム４０２に接続し、それぞれに異常情報を提供する。
【００４３】
この応用例では、セキュリティシステム３００は、電界通信部３０２により、例えば人物１００Ａが携帯している認証用タグ１４Ａとの電界通信（アンテナ１６）で、管理エリア２００内で許可された人物として認証する。また、セキュリティシステム３００は、例えば人物１００Ｃがアンテナ１６に近接したことにより、電界通信部３０２が携帯している認証用タグ１４Ｃとの電界通信で、管理エリア２００内で許可された人物であるか否かを認証している。
【００４４】
一方、セキュリティシステム３００は、電界通信部３０２により、例えば人物１００Ｂが携帯している認証用タグ１４Ｂとの電界通信で、管理エリア２００内で許可されない人物として認定する。従って、セキュリティシステム３００は、異常検出部３０３により、
画像記録装置３１０に人物１００Ｂの撮影映像を記録し、通信装置３１２により警備員に通報し、かつ警告装置３１１により本人に警告する処理を実行する。この場合、セキュリティシステム３００は、入退出システム４００に異常情報を提供することで、人物１００Ｂを管理エリア２００外に出ることを禁止させることも可能である。
【００４５】
また、セキュリティシステム３００は、管理エリア２００内で、電界通信部３０２による認証ができない未認証の人物１１０を不審者として監視する。具体的には、セキュリティシステム３００は、複数の監視カメラ１２により撮影される映像を画像解析することで、人物１１０を撮影領域で検知し、その行動を追跡する。異常検出部３０３は、通信装置３１２により警備員に不審者の行動情報を通報し、かつ入退出システム４００に異常情報を提供して不審者１１０を管理エリア２００外に出ることを禁止させる。また、異常検出部３０３は、警備システム４０１に異常情報として、不審者１１０の撮影映像などの監視情報を提供する。
【００４６】
更に、セキュリティシステム３００と操業システム４０２との連携においては、操業システム４０２から作業計画を受領して、各人物に対する権限の設定を行い、その設定内容と監視カメラで撮影された人物とを比較して異常を検出し、異常情報として位置や時間を操業システム４０２へ提供する。尚、異常情報だけでなく、操業システムへの全てのアクセスについて、その情報を提供し、アクセス履歴としてデータベースに蓄積・検索できるようにすることで、正常な作業を含むアクセス履歴として管理することが可能となる。情報提供レベル(異常時のみか全てのイベントか)については、例えば操業システムが扱うモノの質に基づきユーザが設定もしくは自動で判断して設定することができる。
【００４７】
以上のように本実施形態の監視システムを、実際上のセキュリティシステム３００に応用することにより、管理対象に対する権限を個別に設定し、管理エリア内の人物の厳重な管理と異常行動を自動的に検知することが可能になる。具体的には、人物の位置と権限（許可）をチェックすることで、異常状態を自動的に検出することができる。この場合、不許可の人物や不審者などの異常行動者を撮影映像により追跡し、これらの人物の位置や行動の情報を警備員に通報することが可能である。
【００４８】
また、入退室システムや警備システムと連携することで、不審者の移動を制限することできる。従来のシステムでは、異常行動者を発見しても、例えば多数の防犯カメラ画像を監視員が長時間にわたり監視することが困難であるため、その異常行動者を追跡できない場合がある。これに対して、本実施形態の監視システムを適用したセキュリティシステム３００であれば、自動的に異常行動者を追跡することが可能である。
【００４９】
なお、アンテナ１６には、予め属性情報の一部（セキュリティレベル）が設定されており、電界通信部３０２は、アンテナ１６に設定された属性情報の一部と、認証用情報の一部（セキュリティレベル）とを照合し、照合結果に基づいて許可又は不許可の判定を実行してもよい。この判定で不許可の場合には、異常検出部３０３は、警告装置３１１により本人に警告し、管理エリア２００内での作業などを中止させることも可能である。
【００５０】
また、電界通信部３０２により認証される認証用情報として予め人物が移動可能なエリアや移動経路を指定する情報が含まれている場合に、異常検出部３０３は、画像解析部３０１での処理結果に基づいて、管理エリア２００内での指定エリアへの進入の可否を判定する。異常検出部３０３は、人物が不許可のエリアに侵入した場合に、そこでの作業を禁止させるための警告を実行し、かつ監視員に通報することができる。
【００５１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５２】
１０…ネットワーク（ＬＡＮ）、１１…画像認識サーバ、１２…監視カメラ、
１３…認証コントローラ、１４…認証用端末（または認証用タグ、認証用カード）、
１５，１６，１７…アンテナ、３００…セキュリティシステム、
３０１…画像解析部、３０２…電界通信部、３０３…異常検出部。
【特許請求の範囲】
【請求項１】
電界通信により認証用端末から受信した認証用情報に基づいて認証処理を実行する認証手段と、
カメラにより撮影された撮影領域の画像を取得し、前記撮影領域に含まれる人物を認識する画像認識手段と、
前記認証用端末の位置情報と前記撮影領域の座標情報に基づいて、前記画像認識手段により認識された人物と前記認証手段により認証された人物とを照合する人物特定手段と
を具備したことを特徴とする監視システム。
【請求項２】
指定の領域内に配置されて、前記認証用端末との電界通信により前記認証用情報を受信する受信手段を有し、
前記認証手段は、
前記受信手段により受信した前記認証用情報に基づいて、前記認証用端末を携帯する人物の認証処理を実行し、かつ前記認証用端末の位置情報を出力するように構成されていることを特徴とする請求項１に記載の監視システム。
【請求項３】
前記人物特定手段は、
前記認証用端末の位置情報と前記撮影領域の座標情報に基づいて前記画像認識手段により認識された人物と前記認証手段により認証された人物との位置合わせ処理を実行し、
前記位置合わせ処理結果に基づいて、前記撮影領域内の人物を前記認証された人物であると特定し、あるいは前記撮影領域内の人物を未認証の人物であると特定するように構成されていることを特徴とする請求項１又は請求項２のいずれか１項に記載の監視システム。
【請求項４】
前記認証手段は、
前記認証処理の認証結果に基づいて、認証された人物を識別するための属性情報を生成し、前記人物特定手段に提供するように構成されていることを特徴とする請求項１から請求項３のいずれか１項に記載の監視システム。
【請求項５】
前記画像認識手段により認識された人物を含む前記撮影領域の画像を表示画面上に出力する手段を有し、
前記人物特定手段は、
前記撮影領域内の人物を前記認証された人物であると特定した場合に、前記表示画面上で前記撮影領域の画像に前記属性情報を重畳して表示させる手段を含むことを特徴とする請求項４に記載の監視システム。
【請求項６】
前記認証用端末は、
前記認証用情報を記憶するメモリを含み、電界通信により前記認証用情報を送信する電界通信用タグまたは電界通信用カードから構成されている特徴とする請求項１から請求項５のいずれか１項に記載の監視システム。
【請求項７】
前記人物特定手段は、
前記撮影領域内の人物を、前記撮影領域外で認証された人物であると特定した場合に、前記表示画面上で前記撮影領域の画像に前記属性情報を重畳して表示させる手段を含むことを特徴とする請求項５に記載の監視システム。
【請求項８】
前記受信手段は予め認証処理に必要な属性情報が設定されており、
前記認証手段は、
前記受信手段に設定された前記属性情報と、前記受信手段により受信した前記認証用情報とを照合し、照合結果に基づいて認証結果を判定する手段を含むことを特徴とする請求項２に記載の監視システム。
【請求項９】
前記人物特定手段の照合結果に基づいて、前記画像認識手段により認識された人物が前記認証手段による認証結果に適合しない人物または未認証の人物の場合に、所定の異常処理を実行する手段を含むことを特徴とする請求項１から請求項８のいずれか１項に記載の監視システム。
【請求項１０】
電界通信を利用した認証手段とカメラを使用する画像認識手段とを有する監視システムに適用する人物特定方法であって、
前記認証手段により認証用端末から受信した認証用情報に基づいて認証処理を実行する処理と、
前記画像認識手段により前記カメラの撮影領域から人物を認識する処理と、
前記認証用端末の位置情報と前記撮影領域の座標情報に基づいて、前記画像認識手段により認識された人物と前記認証手段により認証された人物とを照合する処理と
を具備したことを特徴とする人物特定方法。
【請求項１】
電界通信により認証用端末から受信した認証用情報に基づいて認証処理を実行する認証手段と、
カメラにより撮影された撮影領域の画像を取得し、前記撮影領域に含まれる人物を認識する画像認識手段と、
前記認証用端末の位置情報と前記撮影領域の座標情報に基づいて、前記画像認識手段により認識された人物と前記認証手段により認証された人物とを照合する人物特定手段と
を具備したことを特徴とする監視システム。
【請求項２】
指定の領域内に配置されて、前記認証用端末との電界通信により前記認証用情報を受信する受信手段を有し、
前記認証手段は、
前記受信手段により受信した前記認証用情報に基づいて、前記認証用端末を携帯する人物の認証処理を実行し、かつ前記認証用端末の位置情報を出力するように構成されていることを特徴とする請求項１に記載の監視システム。
【請求項３】
前記人物特定手段は、
前記認証用端末の位置情報と前記撮影領域の座標情報に基づいて前記画像認識手段により認識された人物と前記認証手段により認証された人物との位置合わせ処理を実行し、
前記位置合わせ処理結果に基づいて、前記撮影領域内の人物を前記認証された人物であると特定し、あるいは前記撮影領域内の人物を未認証の人物であると特定するように構成されていることを特徴とする請求項１又は請求項２のいずれか１項に記載の監視システム。
【請求項４】
前記認証手段は、
前記認証処理の認証結果に基づいて、認証された人物を識別するための属性情報を生成し、前記人物特定手段に提供するように構成されていることを特徴とする請求項１から請求項３のいずれか１項に記載の監視システム。
【請求項５】
前記画像認識手段により認識された人物を含む前記撮影領域の画像を表示画面上に出力する手段を有し、
前記人物特定手段は、
前記撮影領域内の人物を前記認証された人物であると特定した場合に、前記表示画面上で前記撮影領域の画像に前記属性情報を重畳して表示させる手段を含むことを特徴とする請求項４に記載の監視システム。
【請求項６】
前記認証用端末は、
前記認証用情報を記憶するメモリを含み、電界通信により前記認証用情報を送信する電界通信用タグまたは電界通信用カードから構成されている特徴とする請求項１から請求項５のいずれか１項に記載の監視システム。
【請求項７】
前記人物特定手段は、
前記撮影領域内の人物を、前記撮影領域外で認証された人物であると特定した場合に、前記表示画面上で前記撮影領域の画像に前記属性情報を重畳して表示させる手段を含むことを特徴とする請求項５に記載の監視システム。
【請求項８】
前記受信手段は予め認証処理に必要な属性情報が設定されており、
前記認証手段は、
前記受信手段に設定された前記属性情報と、前記受信手段により受信した前記認証用情報とを照合し、照合結果に基づいて認証結果を判定する手段を含むことを特徴とする請求項２に記載の監視システム。
【請求項９】
前記人物特定手段の照合結果に基づいて、前記画像認識手段により認識された人物が前記認証手段による認証結果に適合しない人物または未認証の人物の場合に、所定の異常処理を実行する手段を含むことを特徴とする請求項１から請求項８のいずれか１項に記載の監視システム。
【請求項１０】
電界通信を利用した認証手段とカメラを使用する画像認識手段とを有する監視システムに適用する人物特定方法であって、
前記認証手段により認証用端末から受信した認証用情報に基づいて認証処理を実行する処理と、
前記画像認識手段により前記カメラの撮影領域から人物を認識する処理と、
前記認証用端末の位置情報と前記撮影領域の座標情報に基づいて、前記画像認識手段により認識された人物と前記認証手段により認証された人物とを照合する処理と
を具備したことを特徴とする人物特定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−８８０２（Ｐ２０１２−８８０２Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４４１４２（Ｐ２０１０−１４４１４２）
【出願日】平成２２年６月２４日（２０１０．６．２４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（０００００３６２１）株式会社竹中工務店 (1,669)
【出願人】（５０３３６２４６３）アドソル日進株式会社 (18)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２４日（２０１０．６．２４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（０００００３６２１）株式会社竹中工務店 (1,669)
【出願人】（５０３３６２４６３）アドソル日進株式会社 (18)
【Ｆターム（参考）】
[ Back to top ]