監視システム
【課題】監視システムで、効果的な監視を実現する。
【解決手段】入退出を監視する複数の場所のそれぞれを通過する人物の画像を撮像する複数の撮像手段１−１、１−２、・・・と、人物の画像における顔画像の特徴に関する情報（顔特徴情報）を生成する顔特徴情報生成手段３と、顔特徴情報と場所に対応した情報と時刻の情報を対応付けて含む情報（入退出の情報）を記憶する入退出情報記憶手段１２と、人物により携帯される入退出被管理装置（例えば、ＩＣカード）を管理するシステムにより記憶される入退出被管理装置の入退出に関する情報（入退出被管理装置情報）を参照して、対象となる顔特徴情報に関する入退出の情報の整合性を判定して、整合した場合に正しいと判定する入退出情報正否判定手段１２と、を備える。
【解決手段】入退出を監視する複数の場所のそれぞれを通過する人物の画像を撮像する複数の撮像手段１−１、１−２、・・・と、人物の画像における顔画像の特徴に関する情報（顔特徴情報）を生成する顔特徴情報生成手段３と、顔特徴情報と場所に対応した情報と時刻の情報を対応付けて含む情報（入退出の情報）を記憶する入退出情報記憶手段１２と、人物により携帯される入退出被管理装置（例えば、ＩＣカード）を管理するシステムにより記憶される入退出被管理装置の入退出に関する情報（入退出被管理装置情報）を参照して、対象となる顔特徴情報に関する入退出の情報の整合性を判定して、整合した場合に正しいと判定する入退出情報正否判定手段１２と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、効果的な監視を実現する監視システムに関する。
【０００２】
なお、本願において、ＴＡＳＰＯ、ＳＵＩＣＡ、ＮＤＲは、それぞれ、登録商標である。
【背景技術】
【０００３】
従来より、監視を行うための種々な技術が開発されている。
例えば、監視システムにおける顔認証技術により、顔画像のマッチングで犯人を特定するシステムが考えられている。
また、顔画像情報から人物の年齢や性別を識別して、ＴＡＳＰＯの利用者であるか否かを特定するシステムが考えられている。
また、監視システムにおいて、監視者本人が退席した時間の映像を後で録画映像の中から時刻検索再生により確認するシステムが考えられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１８７３５２号公報
【特許文献２】特開２００６−３３８４７９号公報
【特許文献３】特開２００５−３０１８６１号公報
【特許文献４】特開２００３−１５１０１６号公報
【特許文献５】特開２００５−１９６５１６号公報
【特許文献６】特開平１０−９１３７８号公報
【特許文献７】特開２００６−１５４８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視システムにおける顔認証によるマッチング処理では、犯人の特定や本人の特定を行う際に、画像処理上の誤検知で特定を誤る可能性があった。特に、ＴＡＳＰＯの利用については、本人でなくてもカードさえ持っていれば利用することができるため、なりすまし防止が不可欠であった。
【０００６】
また、監視システムおける監視者は、自分が既に監視した映像であるか或いは未監視の映像であるかを自分の行動記録や記憶をもとに自分で判別することが非常に難しかった。特に、多数のカメラ映像を監視する場合やシーケンシャルにカメラ映像を順次切り換えて監視するシステムでは、未監視映像を特定することが特に困難であると言える。
【０００７】
本発明は、このような従来の事情に鑑み為されたもので、効果的な監視を実現することができる監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明では、人物の入退出を監視する監視システムにおいて、次のような構成とした。
すなわち、入退出を監視する複数の場所のそれぞれに撮像手段が設けられて、これら複数の撮像手段のそれぞれが、それぞれの場所を通過する人物の画像を撮像する。顔特徴情報生成手段が、前記撮像手段により撮像された人物の画像における顔画像の特徴に関する情報である顔特徴情報を生成する。入退出情報記憶手段が、前記顔特徴情報生成手段により生成された顔特徴情報と、当該顔特徴情報が生成される元となった人物の画像を撮像した撮像手段が設けられた場所に対応した情報と、当該顔特徴情報が生成される元となった人物の画像が撮像された時刻の情報を対応付けて含む情報を入退出の情報として記憶する。入退出情報正否判定手段が、人物により携帯される入退出被管理装置を管理するシステムにより記憶される当該入退出被管理装置の入退出に関する情報である入退出被管理装置情報を参照して、前記入退出情報記憶手段に記憶される対象となる顔特徴情報に関する入退出の情報が前記入退出被管理装置情報と整合するか否かを判定して、整合した場合に当該入退出の情報が正しいものであると判定する。
【０００９】
従って、監視システムにより取得された入退出の情報について、入退出被管理装置を管理するシステムにより取得された入退出の情報との整合性の有無が判定されるため、監視システムにより取得された入退出の情報の正確さを向上させることができ、効果的な監視を実現することができる。
【００１０】
ここで、入退出を監視する複数の場所の位置や数などとしては、種々な態様が用いられてもよい。
また、入退出を監視するそれぞれの場所に設けられる撮像手段の数としては、１つであってもよく、或いは、２つ以上であってもよく、また、例えば、１つの撮像手段が２つ以上の異なる場所を撮像するように時分割などで撮像方向などが切り替えられるような態様が用いられてもよい。
また、撮像手段としては、例えば、種々なカメラを用いることができる。
【００１１】
また、顔特徴情報としては、種々なものが用いられてもよく、一例として、顔画像をもとに顔認証処理を実施して、顔の目、鼻、口のバランスから顔の特徴点情報を抽出してデジタル化した顔ＩＤを用いることができる。
また、顔特徴情報生成手段は、例えば、各撮像手段毎に備えられてもよく、或いは、２つ以上の撮像手段に共通に１つの顔特徴情報生成手段が備えられてもよい。
【００１２】
また、顔特徴情報が生成される元となった人物の画像を撮像した撮像手段が設けられた場所に対応した情報としては、種々な情報が用いられてもよく、例えば、当該撮像手段に設定された識別情報やアドレス情報を用いることや、或いは、当該撮像手段に設定された識別情報やアドレス情報に対応して設定された場所の識別情報などを用いることができる。
また、顔特徴情報が生成される元となった人物の画像が撮像された時刻の情報としては、例えば、撮像手段により取得（例えば、計時）されて提供される。
【００１３】
また、監視システムの入退出情報記憶手段に記憶される人物の入退出の情報としては、例えば、（顔特徴情報、場所に対応した情報、時刻の情報）以外の情報が更に含まれてもよい。
また、入退出情報記憶手段としては、例えば、メモリやデータベースを用いて構成することができる。
【００１４】
また、入退出被管理装置及びそれを管理するシステムとしては、種々なものが用いられてもよく、例えば、監視システムとは異なる外部のシステムが用いられ、具体的には、入退出被管理装置としてＳＵＩＣＡなどのＩＣカードが用いられるとともに、それを管理するシステムとして鉄道向け（ＳＵＩＣＡを検出等するシステム）などのシステムが用いられる。入退出情報正否判定手段は、このようなシステムに備えられた入退出被管理装置情報を記憶する記憶部にアクセスして当該入退出被管理装置情報を参照する。
【００１５】
また、整合性を判定する対象となる顔特徴情報としては、例えば、入退出情報記憶手段に記憶される任意の入退出の情報に含まれる任意の顔特徴情報が用いられてもよい。具体例として、入退出情報記憶手段に記憶される入退出の情報では、同一の顔特徴情報が含まれる入退出の情報をまとめると、その顔特徴情報に対応した人物（同一の人物）の総合的な入退出を管理することができ、このような同一の顔特徴情報についての入退出の情報のまとまりについての整合性を判定する態様を用いることができる。
【００１６】
また、監視システムにおける入退出の情報と入退出被管理装置のシステムにおける入退出被管理装置情報との整合性を判定する場合には、次の（判定態様例１）〜（判定態様例３）などの態様を用いることができる。
（判定態様例１）入退出被管理装置のシステムにおける入退出被管理装置情報について、人物の特定はしない。この場合、監視システムにおける入退出の情報と入退出被管理装置のシステムにおける入退出被管理装置情報とで、場所及び時刻が整合するものがあれば、仮に異なる人物に関する情報であっても、整合すると判定する。
【００１７】
（判定態様例２）入退出被管理装置のシステムにおける入退出被管理装置情報について、人物の特定をして、同一の人物についての入退出の情報をまとめて、このまとまりを整合性の判定に用いる。この場合、監視システムにおける入退出の情報と入退出被管理装置のシステムにおける入退出被管理装置情報（本例では、前記したまとまり）とで、場所及び時刻のまとまりが整合するものがあれば、仮に異なる人物に関する情報であっても、整合すると判定する。なお、入退出被管理装置のシステムにおける人物の特定は、例えば、入退出被管理装置のメモリに記憶された識別情報などを読み取って用いて行うことができる。
【００１８】
（判定態様例３）入退出被管理装置のシステムにおける入退出被管理装置情報について、人物の特定をして、同一の人物についての入退出の情報をまとめるとともに、当該人物を特定して、このまとまり及び人物の情報を整合性の判定に用いる。また、監視システムにおける入退出の情報についても、各顔特徴情報に対応する人物を特定して、この人物の情報を整合性の判定に用いる。この場合、監視システムにおける入退出の情報（本例では、人物を特定したもの）と入退出被管理装置のシステムにおける入退出被管理装置情報（本例では、前記したまとまりであり、人物を特定したもの）とで、場所及び時刻のまとまりだけではなく、人物が同一であるか否かも含めて整合するものがあれば、整合すると判定する。つまり、入退出の場所及び時刻のまとまりが整合しても、異なる人物であれば、整合しないと判定する。なお、監視システムにおける顔特徴情報に対応する人物の特定は、例えば、予め、顔特徴情報とその人物を特定する情報とを対応付けて記憶しておくことや、或いは、ある人物がＩＣカード等を使用するときに、その人物の画像を撮像して当該画像に基づく顔特徴情報を取得するとともに、そのＩＣカード等のメモリからその人物を特定する情報を読み取って、これらの情報を対応付けて記憶しておくこと、などにより行うことができる。
【発明の効果】
【００１９】
以上説明したように、本発明に係る監視システムによると、効果的な監視を実現することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例に係る監視システムの構成例を示す図である。
【図２】本発明の一実施例に係る監視カメラの構成例を示す図である。
【図３】本発明の一実施例に係るシステム操作端末により表示される被監視者情報の表示画面の一例を示す図である。
【図４】本発明の一実施例に係る監視カメラを駅の改札に設置した様子の一例を示す図である。
【図５】本発明の一実施例に係る監視システムを入国審査に応用した場合の構成例を示す図である。
【図６】本発明の一実施例に係る監視システムをＴＡＳＰＯの読み取り機に応用した場合の構成例を示す図である。
【図７】本発明の一実施例に係る監視センタにおいて監視済映像と未監視映像とを判別するシステムの構成例を示す図である。
【図８】本発明の一実施例に係る監視モニタに出力される映像フレームの一例を示す図である。
【発明を実施するための形態】
【００２１】
本発明に係る実施例を図面を参照して説明する。
図１には、本発明の一実施例に係る監視システムのシステム系統の一例を示してある。
本例の監視システムは、例えば、複数の異なる場所に設置された被監視部と、これら複数の被監視部に共通な１つの監視部と、各被監視部と監視部とを接続するＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク２１を有している。
【００２２】
１つの被監視部は、例えば、複数のカメラ（監視カメラ）１−１、１−２、・・・、ネットワークスイッチ２、顔認証サーバ３、ネットワーク型デジタルビデオレコーダー（以下で、ＮＤＲとも言う）４を備えている。ここで、各監視カメラ１−１、１−２、・・・、顔認証サーバ３、ＮＤＲ４は、ネットワークスイッチ２と接続されている。また、ネットワークスイッチ２は、ＩＰネットワーク２１と接続されている。
【００２３】
監視部は、ネットワークスイッチ１１、システム管理サーバ１２、システム操作端末１３を備えている。ここで、システム管理サーバ１２、システム操作端末１３は、ネットワークスイッチ１１と接続されている。また、ネットワークスイッチ１１は、ＩＰネットワーク２１と接続されている。
【００２４】
図２には、本発明の一実施例に係る監視カメラの構成例（機能ブロックの例）を示してある。
本例の監視カメラ（例えば、監視カメラ１−１など）は、レンズ３１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）３２、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）部３３、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）信号処理部３４、１次メモリ３５、画像処理部３６、２次メモリ３７、ビデオエンコード部３８、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部３９を備えている。
【００２５】
本例の監視カメラにおいて行われる処理の一例を示す。
本例の監視カメラでは、レンズ３１を介してＣＣＤ３２が映像（画像）を撮影（撮像）し、これにより得られたアナログの映像信号をＡ／Ｄ部３３がデジタルの映像信号へ変換する。
ＤＳＰ信号処理部３４は、デジタル化された映像信号を映像フレーム毎に１次メモリ３５に保存する。画像処理部３６は、随時１次メモリ３５から映像フレームを読み出して画像処理を行い、顔画像を検出する。そして、画像処理部３６は、顔画像の部分だけを抽出して、２次メモリ３７に保存する。
【００２６】
また、通常の（例えば、３０フレーム／秒の）デジタル化された映像データは、ＤＳＰ信号処理部３４から、画像処理部３６を介さず、ビデオエンコード部３８へ送られて、Ｉ／Ｆ部３９からＩＰネットワーク２１へ配信される。
また、本例の監視カメラでは、ＩＰネットワーク２１に接続される端末装置（例えば、監視部又は他の通信端末装置）に対して、顔画像や取得した時刻のデータを配信する。
【００２７】
また、本例の監視カメラでは、例えば、システムに応じて顔画像、時刻データだけを配信することが可能であり、通常のネットワーク型監視システムと比較して、ネットワークに配信（送信）する画像データを軽減することが可能である。
【００２８】
本例の監視システムにおいて行われる処理の一例を示す。
監視カメラ（監視カメラ１−１など）は、撮影してデジタル化した映像信号に基づいて映像に映る（映像フレームに存在する）人物の像部分を検出（検知）する機能及びその映像の時刻（取得時刻）を特定する機能を有しており、人物を検知した際に、顔認証サーバ３に対して顔画像と取得時刻の情報を配信（送信）する。
【００２９】
顔認証サーバ３は、監視カメラから送られてくる顔画像、取得時刻情報を取得した際に、送り先のＩＰアドレスから送り先の監視カメラ（当該顔画像等を送った監視カメラ）を特定し、本情報を取得場所の情報として管理する。
また、顔認証サーバ３は、顔画像のデータをもとに顔認証処理を実施して、顔の目、鼻、口のバランスから顔の特徴点情報を抽出し、更に、特徴点情報をデジタル化して、顔ＩＤ（本例では、特徴点情報をデジタル化したもの）を生成する。そして、顔認証サーバ３は、顔画像のデータ、顔ＩＤ、時刻情報（例えば、取得時刻情報）、取得場所情報を被監視者情報としてデータベースに記録する。同時に、顔認証サーバ３は、被監視者情報を、随時、システム管理サーバ１２へ配信する。
【００３０】
システム管理サーバ１２は、受信した取得時刻情報、取得場所情報から入退情報を生成して、顔ＩＤとともにデータベースに記録して管理する。一例として、鉄道向けの監視システムに適用される場合に、取得場所が改札入口であれば、取得時刻を入場時刻、取得場所を入場駅として管理する。
また、本例の監視システムでは、カメラ映像を全てＮＤＲ４で記録する。
また、被監視部側の端末（図示せず）やシステム操作端末１３では、入退情報、記録画像などを閲覧することができる。
【００３１】
例えば、事件発生時には被監視部側の端末（或いは、システム操作端末１３など）で事件発生場所を撮影している監視カメラの記録画像を再生し、犯人が特定された場合には、その顔画像をキャプチャして、顔画像のデータなど（本例では、被監視者情報）をシステム管理サーバ１２へ転送（送信）する。システム管理サーバ１２は、転送された被監視者情報から顔ＩＤを抽出して、自装置のデータベースに記録されている多数の顔ＩＤとのマッチングを行う。このマッチング結果と被監視者情報をシステム管理サーバ１２からシステム操作端末１３へ送って、犯人の入退場所、入退時刻を確認することができる。
【００３２】
ここで、入場情報のみが存在し、退場情報が存在しない場合には、犯人はまだ設備内にいると判定することができる。この際、システム管理サーバ１２は、顔認証サーバ３から随時送られてくる顔ＩＤと犯人の顔ＩＤとをリアルタイムでマッチング処理することを実施し、犯人が検出された場合には、システム操作端末１３に対して警告を促すことができる。
【００３３】
なお、本例では、被監視部の顔認証サーバ３が顔画像のデータに基づいて顔ＩＤを生成して監視部のシステム管理サーバ１２へ送信する構成を示したが、他の構成例として、被監視部から監視部のシステム管理サーバ１２へ顔画像のデータを送信し、システム管理サーバ１２が受信した顔画像のデータに基づいて顔ＩＤを生成するような構成を用いることもできる。
【００３４】
図３には、システム操作端末１３により表示される被監視者情報の表示画面の一例を示してある。本例では、鉄道向けの監視システムに適用される場合の例を示してある。
具体的には、被監視者情報（或いは、それに基づく情報）４１として、顔ＩＤ、入場駅の情報、入場駅の改札の情報、入場時刻の情報、退場駅の情報、退場駅の改札の情報、退場時刻の情報が対応付けられて表示されているとともに、それに対応した顔画像４２が表示されている。
ここで、被監視者情報等は、新しい順でリスト表示される。このリストは膨大な数になることが予想されるため、各々の項目別に検索することが可能である。例えば、ユーザ（人）が、入場駅と記載された箇所をマウスで指定して右クリックすると駅名が一覧表示され、検索したい駅を選択すると、入場駅が当該駅であるものだけがリストで表示される。
【００３５】
図４には、本例の監視システムが鉄道向けの監視システムに適用される場合に、本例の監視カメラを駅の改札に設置した様子の一例を示してある。
具体的には、改札機５１、ＩＣカード（本例では、ＳＵＩＣＡ）読取機５２、吊下式の監視カメラ５３（図１における監視カメラ１−１などに対応するもの）、改札機埋込式の監視カメラ５４（図１における監視カメラ１−１などに対応するもの）、被監視者（乗降客）５５を示してある。
【００３６】
本例の監視システムでは、被監視者５５が改札通過時にＩＣカードを翳す際に、監視カメラ５３、５４が客の顔を捉える。２箇所に設置された監視カメラ５３、５４により、被監視者５５を上方向、下方向の両方から捉える。各々の監視カメラ５３、５４は、顔画像、取得時刻情報を顔認証サーバ３へ転送する。顔認証サーバ３は、監視カメラ５３、５４からの２つの顔画像を取得した際には、顔認証処理を行って顔の向きを判定し、正面方向に近い画像から顔ＩＤを生成してデータベースに登録する。
【００３７】
システム管理サーバ１２は、入退情報を確定する際に、ＳＵＩＣＡセンタサーバ（図示せず）に問い合わせを行って、入場駅情報、入場時刻情報、出場駅情報、出場時刻情報が、顔ＩＤでの認証結果による入退情報と整合性があるか否かを確認する。この整合性が取れた（確認された）場合には、入退情報として確定することで、正確な入退出の情報を提供することが可能になる。
【００３８】
また、更に、駅構内に設置された防災カメラや防犯カメラや車両乗降口監視カメラを本例の監視システムの監視カメラとして取り込んで、これらのカメラの映像についても顔認証処理を行うことで、個人の行動軌跡をより詳細に把握することが可能になる。
【００３９】
図５には、本例の監視システムを入国審査に応用（適用）した場合の構成例を示してある。
具体的には、監査員６１、システム操作端末６２（図１におけるシステム操作端末１３に対応するもの）、旅行客６３、ＩＣタグリーダ６４、監視カメラ６５（図１における監視カメラ１−１などに対応するもの）、顔認証サーバ６６（図１における顔認証サーバ３に対応するもの）、システム管理サーバ６７（図１におけるシステム管理サーバ１２に対応するもの）を示してある。
【００４０】
本例では、パスポートの更新の際に、その持ち主（旅行客６３）の顔画像から顔ＩＤを生成して、個人情報（例えば、個人ＩＤなど）とともに、そのパスポートに内蔵されたＩＣタグに記録しておく。また、その個人情報と顔ＩＤはシステム管理サーバ６７にも登録される。
そして、入国審査の際に、監視カメラ６５が撮像した旅行客６３の顔画像から顔認証サーバ６６が顔ＩＤを生成してシステム管理サーバ６７へ転送する。同時に、旅行客６３がパスポートをＩＣタグリーダ６４に翳すとそれだけで、そのパスポートに記録された個人情報と顔ＩＤが読み取られてシステム管理サーバ６７へ転送される。システム管理サーバ６７は、顔認証サーバ６６からの顔ＩＤとＩＣタグリーダ６４からの個人情報に対応した顔ＩＤ（或いは、ＩＣタグリーダ６４からの顔ＩＤ）との２つの顔ＩＤが一致するか否かを判定して、一致するか否かに応じて本人であるか否かを判定する。この判定結果はシステム管理サーバ６７からシステム操作端末６２へ転送され、システム操作端末６２により監査員６１は本人確認を迅速に行うことが可能になる。
【００４１】
ここで、パスポートは定期的に更新されるため、そのたびに顔ＩＤを更新することが可能であり、年齢その他の要因による顔の変化に対しても本例は有効的に機能すると言える。
また、顔写真付きで定期的に更新されるものとして、パスポートの他には運転免許証などがあり、本例と同様なシステムの構築が可能である。
【００４２】
更に、パスポートや運転免許証などに電子マネー機能を追加した場合には、一例として、ショッピングその他でパスポートや運転免許証などで電子マネーを利用する毎に、ＩＣタグリーダは、パスポートや運転免許証などから個人情報、顔ＩＤを読み出し、これらの情報や利用場所、利用時刻の情報を本システムのシステム管理サーバへ転送する。また、例えばレジに設置された監視カメラで撮像された顔画像から顔認証サーバにより顔ＩＤを生成して顔画像とともにシステム管理サーバへ転送する。これにより、システム管理サーバは、本人（パスポートや運転免許証などの利用者）の行動軌跡を顔画像とともに管理することができる。
また、例えば、ショッピングモールなどにカメラを設置し、不特定多数の人間の顔画像を画像処理して、性別、年齢などの情報を抽出し、購買傾向を提供するシステムが考えられているが、本例の構成では、個人データを直接読み出して管理するため、確実に購買傾向を把握することが可能である。
【００４３】
図６には、本例の監視システムをＴＡＳＰＯ（非接触型のＩＣカード）の読み取り機に応用（適用）した場合の構成例を示してある。
具体的には、購買客７１、ＴＡＳＰＯリーダ７２、監視カメラ７３（図１における監視カメラ１−１などに対応するもの）、顔認証サーバ７４（図１における顔認証サーバ３に対応するもの）、システム管理サーバ７５（図１におけるシステム管理サーバ１２に対応するもの）、システム操作端末７６（図１におけるシステム操作端末１３に対応するもの）、監視員７７を示してある。
【００４４】
本例では、購買客７１がＴＡＳＰＯを自動販売機に設けられたＴＡＳＰＯリーダ７２に提示する際に、自動販売機に設置された監視カメラ７３が購買客７１の顔画像を撮影して顔認証サーバ７４へ転送し、顔認証サーバ７４が当該顔画像から顔ＩＤを生成してシステム管理サーバ７５へ転送する。また、ＴＡＳＰＯリーダ７２が、ＴＡＳＰＯから読み取った情報（例えば、ＴＡＳＰＯに記録された個人情報など）をシステム管理サーバ７５へ転送する。システム管理サーバ７５は、顔認証サーバ７４から受信した顔ＩＤとパスポートや運転免許証などの更新時に登録された顔ＩＤとを比較することで、例えば、ＴＡＳＰＯの使用者（本例では、購買客７１）が所有者本人であるか否かを判別することや、成人であるか否かを判別することができる。なお、このような判別では、例えば、必要に応じて、ＴＡＳＰＯリーダ７２から受信した個人情報などが参照されてもよい。
【００４５】
但し、本例の構成が有効であるためには、ＴＡＳＰＯの使用者がパスポートや運転免許証などの所有者である場合に限られる。
ここで、本例の構成は、例えば、銀行などのＡＴＭへの応用も可能であり、ＡＴＭの利用時に、ＡＴＭの利用者が本人であるか否かの識別を（装置により自動的に）行うことが可能となる。
【００４６】
図７には、監視センタにおいて、監視済映像と未監視映像とを（装置により自動的に）判別するシステムの構成例を示してある。
具体的には、監視員８１、監視員の監視カメラ８２（例えば、図２に示されるものと同様なもの）、顔認証サーバ８３、システム管理サーバ８４（図１におけるシステム管理サーバ１２に対応するもの）、監視システムの制御部８５、監視カメラ８６（図１における監視カメラ１−１などに対応するもの）、例えばＮＤＲからなる画像記録装置８７（図１におけるＮＤＲ４に対応するもの）、ビデオデコーダ８８、監視モニタ８９、システム操作端末９０（図１におけるシステム操作端末１３に対応するもの）を示してある。
【００４７】
本例では、監視員の監視カメラ８２が、常時、監視員８１を正面方向から撮像する。この監視カメラ８２は、定周期で、監視員８１の顔画像を顔認証サーバ８３へ転送する。顔認証サーバ８３は、受信した顔画像に基づいて、監視員８１の顔の向きを判別し、顔の向きの情報をシステム管理サーバ８４へ転送する。システム管理サーバ８４は、顔認証サーバ８３から受信した情報に基づいて、顔の向きが正面方向であると判定される場合には、現在において監視モニタ８９に表示されている画像は監視済みのものであると判断し、また、顔の向きが正面方向以外であると判定される場合には、現在において監視モニタ８９に表示されている画像は未監視のものであると判断する。
【００４８】
システム管理サーバ８４は、現在において監視モニタ８９に表示されている画像は未監視のものであると判断した場合には、監視システムの制御部８５へ未監視中であることを知らせる。通常時、監視システムの制御部８５は、ビデオデコーダ８８に対して、デコードするためのカメラ映像（監視モニタ８９で表示するカメラ映像）を常時切り換え制御しているため、未監視時に監視モニタ８９に表示しているカメラ映像（例えば、対応するカメラの識別情報など）を把握しており、未監視のときにおけるカメラ情報と未監視時刻を管理することができる。
【００４９】
また、監視システムの制御部８５は、監視員８１からの要求により未監視映像の提供が希望された場合には、画像記録装置８７で録画された映像の中から、未監視カメラ及び未監視時刻の情報をもとに、その監視カメラ（例えば、監視カメラ８６）におけるその時刻（例えば、その時間帯）の映像を時刻検索で取り出してビデオデコーダ８８へ出力させる。ビデオデコーダ８８は、この時刻の映像を監視モニタ８９に表示させる。
【００５０】
図８には、監視モニタ８９に出力される映像フレームの一例を示してある。
具体的には、３台の監視カメラ（カメラ１、２、３）により撮影された映像について、その映像を構成する連続した複数のフレームの様子を示してあるとともに、監視済映像１０１、モニタ非表示のための未監視映像１０２、監視員８１が正面方向以外を向いていたための未監視映像１０３を示してある。
【００５１】
通常時には、例えば、３台のカメラの映像をシーケンシャルに１台の監視モニタ８９に切り換え表示しており、図８において斜線で示した映像フレーム（監視済映像として示したもの）がカメラ１、カメラ２、カメラ３、カメラ１、カメラ２、カメラ３、カメラ１、・・・という順序で切り換えられて監視モニタ８９に表示される。ここで、映像は全て画像記録装置８７に記録されているため、未監視映像として、監視モニタ８９に表示されなかった映像（モニタ非表示のための未監視映像）と、監視員８１が正面方向以外を向いていたために監視されなかったと考えられる映像（顔認証で判別された、監視員８１が正面方向以外を向いていたための未監視映像）の両方を提供することができる。
【００５２】
ここで、図８には、提供される未監視映像の一例を示してある。
なお、通常、カメラの台数が多いほど、また、監視モニタの台数が少ないほど、監視している映像が全体から見て少なく、モニタ非表示のための未監視映像が増えるため、未監視映像を提供する際に映像フレームを間引いて提供することも可能である。図８に示される例では、モニタ非表示のための未監視映像を１／２に間引き、監視員８１が正面方向以外を向いていたための未監視映像を通常のフレームレートで、提供している。
【００５３】
（本実施例のまとめ）
以上のように、図２に示される本例の監視カメラ（図１に示される監視カメラ１−１など）では、撮像された映像をカメラ内部の１次メモリ３５で一定時間記憶して、画像処理を行って顔画像を抽出し、抽出された顔画像（例えば、顔画像だけでもよい）を切り出して２次メモリ３７に記録する。また、本例の監視カメラでは、自発的に又は顔認証サーバ３からの要求を受けると、２次メモリ３７に記録された顔画像（例えば、顔画像だけでもよい）を顔認証サーバ３へ送出する。
例えば、顔画像だけ（又は、顔画像と他の少量のデータだけ）を配信して、映像フレームの全体を配信する必要が無い構成とすると、伝送系（本例では、ＩＰネットワーク２１）に与える負荷を軽減することができる。
【００５４】
図１に示される本例の顔認証サーバ３では、監視カメラからの顔画像を取得し、画像処理による顔認証技術により顔画像の特徴点情報（顔における目、鼻、口のバランス）を抽出して、当該特徴点情報をデジタル化して顔ＩＤを生成し、また、被監視者情報（顔画像、顔ＩＤ、取得時刻情報、取得先の監視カメラの場所情報）をデータベース化して管理する。
本例では、監視対象設備の入退箇所に監視カメラを配置し、図１に示される本例のシステム管理サーバ１２では、顔認証サーバ３で生成される被監視者情報をもとに被監視者の入退の場所と時刻を特定してデータベースで管理する。
【００５５】
図１に示される本例の監視システムでは、例えば、事件発生時には、防犯目的で配置された各種の監視カメラ（監視カメラ１−１など）の録画画像から事件発生時の映像を特定し、犯人の顔画像を静止画でキャプチャし、静止画でキャプチャした犯人の顔画像をもとに顔認証サーバ３に保存されている顔画像の中から類似顔画像を検索し、犯人の入出時間、入出場所の情報を提供することができる。また、本例の監視システムでは、例えば、静止画でキャプチャされた犯人の顔画像を顔認証サーバ３に送り、顔認証サーバ３が顔ＩＤ（顔の特徴情報）を生成し、システム管理サーバ１２が、犯人の顔ＩＤと一致又は類似する顔ＩＤをデータベースから検索して、犯人の入出時間、入出場所の情報を提供することができる。
【００５６】
図１に示される本例の監視システムでは、顔画像データそのものの比較ではなく、システム管理サーバ１２において、犯人の顔ＩＤ（顔の特徴情報を集約したもの）をデータベースに存在する顔ＩＤと比較することにより、短時間でマッチングを行うことができる。
図１に示される本例の監視システムでは、退出記録がなく犯人がまだ設備内にいる場合には、退出箇所に設置された監視カメラで犯人を捉えた際に警報音などで警告を行う。
【００５７】
図４に示されるように鉄道設備などに応用した本例の監視システムでは、ＳＵＩＣＡなどのＩＣカードとそれによる入退出システムと連携することで、ＳＵＩＣＡなどのセンタサーバに記録されている（ＳＵＩＣＡなどの利用により取得された）入場駅、出場駅などの情報と、本例の監視システムにおける顔認証により得られた入場駅、出場駅などの情報とを比較することで、より正確な入退出情報を提供することができる。ここで、入退出情報とは、例えば、顔ＩＤ、顔画像、入退出場所、入退出時刻の情報（なお、顔ＩＤと顔画像とはいずれかのみでもよい）であり、ＳＵＩＣＡなどのセンタサーバから得られた入退出場所、入退出時刻の記録情報と合致したものがあるか否かを確認し、合致したものがあれば入退出情報として確定し、合致したものがなければ不確定とする。
【００５８】
このように、本例では、顔認証による監視システムと入退出時に使用されるＳＵＩＣＡなどのＩＣカード読み取りシステムを連携させることで、入退管理（例えば、入退出の箇所や時刻の特定など）や本人認証をより正確、迅速に行うことができる。具体的には、顔ＩＤによるマッチング処理により入退管理を行うことができ、対象の人物がゲートを通過する際（入退出する際）に得られた入退出情報と顔認証により得られた入退出情報とを比較することで、より正確な入退出情報を提供することが可能になる。これにより、例えば、犯人の行動（入退出情報）を顔画像やＩＣカードによる情報とともに管理することができ、犯人の入退出の正確な情報を提供することができる。
【００５９】
図５に示されるような本例の監視システム（本人確認システムに応用した例）では、定期的に顔写真付きで更新されるパスポートや運転免許証などの更新手続きの際に、顔画像をシステム管理サーバ６７のデータベースに個人ＩＤや顔ＩＤとともに登録し、パスポートや運転免許証などへ個人ＩＤを記録したＩＣタグを入れておき、パスポートや運転免許証などの掲示の際に監視カメラ６５で撮像された顔映像から顔ＩＤを生成して、システム管理サーバ６７へ個人ＩＤや顔ＩＤを送信し、更に、システム管理サーバ６７は、個人ＩＤから予めシステム管理サーバ６７に登録されていた顔ＩＤを探し出して（或いは、ＩＣタグリーダ６４から顔ＩＤを受信して）、顔ＩＤを比較する（例えば、顔認証サーバ６６からの顔ＩＤと比較する）ことで、監視カメラ６５で撮像された顔映像をもとに本人確認を迅速に実施することが可能である。
【００６０】
図５に示されるような本例の監視システム（個人追跡システムに応用した例）では、パスポートや運転免許証などに電子マネー機能を追加した場合に、ショッピングその他でパスポートや運転免許証などが利用される毎に、ＩＣタグのリーダ（ＩＣタグリーダ）が、個人ＩＤ、顔ＩＤを読み出して、本例の監視システムのシステム管理サーバへ利用場所、利用時刻（利用時間）の情報とともに（例えば、更に、顔画像を含んでもよい）送信し、これにより、システム管理サーバ６７は本人の行動軌跡を（例えば、監視画像とともに）管理することができる。
【００６１】
図６に示されるような本例の監視システム（なりすまし防止システム）では、ＴＡＳＰＯなどが掲示される際に、自動販売機に設置された監視カメラ７３で捉えた顔画像から生成された顔ＩＤをシステム管理サーバ７５へ送信し、システム管理サーバ７５は、この顔ＩＤと、パスポートや運転免許証などの更新時に登録された現在の顔画像から生成された顔ＩＤとを比較することで、ＴＡＳＰＯなどの使用者が本人であるか否かを確認することができる。
【００６２】
このように、本例では、パスポートや運転免許証などが定期的に更新される際にその持ち主の顔画像を抽出して現在（ここでは、更新時のこと）の顔ＩＤを取得することで、パスポートや運転免許証などの掲示の際やＴＡＳＰＯの掲示の際に、本人確認を（装置により自動的に）行うことが可能である。例えば、その場で撮像された顔画像に関する情報とデータベースに登録された人物の現在の顔画像に関する情報とを比較することで本人の特定を行うことができ、一例として、定期的に更新されるパスポートや運転免許証などの更新の際に撮影される顔画像に関する情報を現在の本人データとして管理することで、必要に応じて当該本人データを読み出して、監視カメラで捉えた映像に関する情報と比較して、本人であるか否かの判定を行うことができる。
【００６３】
図７に示されるような本例の監視システムでは、監視員８１の監視カメラ８２を監視センタ（監視モニタ設備）内に配置し、顔認証により監視者８１の顔の角度を識別することで、監視者８１が現在表示している監視モニタ８９の映像を監視しているか否かを判断して、監視者８１が正面を向いている時間（時刻）のモニタ映像を監視済映像とし、それ以外の映像を未監視映像とし、これにより、未監視映像を後に纏めてモニタ表示させるようなことができる。
【００６４】
このように、本例では、監視システムにおける監視者による監視の有無を顔認証技術により監視者の顔方向情報をもとに（装置により自動的に）判別することで、例えば、未監視映像だけを後で集中的に再生させて監視することが可能である。具体的には、集中監視を行う監視者を監視カメラで捉えて、監視者の顔の方向を識別することで、現在表示されている映像が監視済映像であるか或いは未監視映像であるかを（装置により自動的に）判別することができ、例えば、後で、監視者の要求に応じて、未監視映像だけを監視モニタに表示（再生）させることが可能である。
【００６５】
（本実施例から把握される発明の一構成例）
人物の入退出を監視する監視システム（例えば、図１に示される構成を適用した図４に示されるシステム）において、
入退出を監視する複数の場所（例えば、図４では駅）のそれぞれに設けられて、それぞれの場所を通過する人物（例えば、図４では被監視者５５）の画像を撮像する複数の撮像手段（例えば、図１では監視カメラ１−１など、図４では監視カメラ５３、５４）と、
前記撮像手段により撮像された人物の画像における顔画像の特徴に関する情報である顔特徴情報を生成する顔特徴情報生成手段（例えば、図１では顔認証サーバ３）と、
前記顔特徴情報生成手段により生成された顔特徴情報と、当該顔特徴情報が生成される元となった人物の画像を撮像した撮像手段が設けられた場所に対応した情報と、当該顔特徴情報が生成される元となった人物の画像が撮像された時刻の情報を対応付けて含む情報を入退出の情報として記憶する入退出情報記憶手段（例えば、図１ではシステム管理サーバ１２）と、
人物により携帯される入退出被管理装置（例えば、図４ではＳＵＩＣＡのＩＣカード）を管理するシステム（例えば、図４では鉄道向けのシステムにおけるＳＵＩＣＡセンタサーバ）により記憶される当該入退出被管理装置の入退出に関する情報である入退出被管理装置情報を参照して、前記入退出情報記憶手段に記憶される対象となる顔特徴情報に関する入退出の情報が前記入退出被管理装置情報と整合するか否かを判定して、整合した場合に当該入退出の情報が正しいものであると判定する入退出情報正否判定手段（例えば、図１ではシステム管理サーバ１２）と、
を備えたことを特徴とする監視システム。
【００６６】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【符号の説明】
【００６７】
１−１、１−２、６５、７３、８６・・監視カメラ、 ２、１１・・ネットワークスイッチ、 ３、６６、７４、８３・・顔認証サーバ、 ４・・ネットワーク型デジタルビデオレコーダー、 １２、６７、７５、８４・・システム管理サーバ、 １３、６２、７６、９０・・システム操作端末、 ２１・・ＩＰネットワーク、 ３１・・レンズ、 ３２・・ＣＣＤ、 ３３・・Ａ／Ｄ部、 ３４・・ＤＳＰ信号処理部、 ３５・・１次メモリ、 ３６・・画像処理部、 ３７・・２次メモリ、 ３８・・ビデオエンコード部、 ３９・・Ｉ／Ｆ部、 ４１・・被監視者情報、 ４２・・顔画像、 ５１・・改札機、 ５２・・ＳＵＩＣＡ読取機、 ５３・・吊下式の監視カメラ、 ５４・・改札機埋込式の監視カメラ、 ５５・・被監視者（乗降客）、 ６１・・監査員、 ６３・・旅行客、 ６４・・ＩＣタグリーダ、 ７１・・購買客、 ７２・・ＴＡＳＰＯリーダ、 ７７、８１・・監視員、 ８２・・監視員の監視カメラ、 ８５・・監視システムの制御部、 ８７・・画像記録装置、 ８８・・ビデオデコーダ、 ８９・・監視モニタ、
【技術分野】
【０００１】
本発明は、効果的な監視を実現する監視システムに関する。
【０００２】
なお、本願において、ＴＡＳＰＯ、ＳＵＩＣＡ、ＮＤＲは、それぞれ、登録商標である。
【背景技術】
【０００３】
従来より、監視を行うための種々な技術が開発されている。
例えば、監視システムにおける顔認証技術により、顔画像のマッチングで犯人を特定するシステムが考えられている。
また、顔画像情報から人物の年齢や性別を識別して、ＴＡＳＰＯの利用者であるか否かを特定するシステムが考えられている。
また、監視システムにおいて、監視者本人が退席した時間の映像を後で録画映像の中から時刻検索再生により確認するシステムが考えられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１８７３５２号公報
【特許文献２】特開２００６−３３８４７９号公報
【特許文献３】特開２００５−３０１８６１号公報
【特許文献４】特開２００３−１５１０１６号公報
【特許文献５】特開２００５−１９６５１６号公報
【特許文献６】特開平１０−９１３７８号公報
【特許文献７】特開２００６−１５４８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視システムにおける顔認証によるマッチング処理では、犯人の特定や本人の特定を行う際に、画像処理上の誤検知で特定を誤る可能性があった。特に、ＴＡＳＰＯの利用については、本人でなくてもカードさえ持っていれば利用することができるため、なりすまし防止が不可欠であった。
【０００６】
また、監視システムおける監視者は、自分が既に監視した映像であるか或いは未監視の映像であるかを自分の行動記録や記憶をもとに自分で判別することが非常に難しかった。特に、多数のカメラ映像を監視する場合やシーケンシャルにカメラ映像を順次切り換えて監視するシステムでは、未監視映像を特定することが特に困難であると言える。
【０００７】
本発明は、このような従来の事情に鑑み為されたもので、効果的な監視を実現することができる監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明では、人物の入退出を監視する監視システムにおいて、次のような構成とした。
すなわち、入退出を監視する複数の場所のそれぞれに撮像手段が設けられて、これら複数の撮像手段のそれぞれが、それぞれの場所を通過する人物の画像を撮像する。顔特徴情報生成手段が、前記撮像手段により撮像された人物の画像における顔画像の特徴に関する情報である顔特徴情報を生成する。入退出情報記憶手段が、前記顔特徴情報生成手段により生成された顔特徴情報と、当該顔特徴情報が生成される元となった人物の画像を撮像した撮像手段が設けられた場所に対応した情報と、当該顔特徴情報が生成される元となった人物の画像が撮像された時刻の情報を対応付けて含む情報を入退出の情報として記憶する。入退出情報正否判定手段が、人物により携帯される入退出被管理装置を管理するシステムにより記憶される当該入退出被管理装置の入退出に関する情報である入退出被管理装置情報を参照して、前記入退出情報記憶手段に記憶される対象となる顔特徴情報に関する入退出の情報が前記入退出被管理装置情報と整合するか否かを判定して、整合した場合に当該入退出の情報が正しいものであると判定する。
【０００９】
従って、監視システムにより取得された入退出の情報について、入退出被管理装置を管理するシステムにより取得された入退出の情報との整合性の有無が判定されるため、監視システムにより取得された入退出の情報の正確さを向上させることができ、効果的な監視を実現することができる。
【００１０】
ここで、入退出を監視する複数の場所の位置や数などとしては、種々な態様が用いられてもよい。
また、入退出を監視するそれぞれの場所に設けられる撮像手段の数としては、１つであってもよく、或いは、２つ以上であってもよく、また、例えば、１つの撮像手段が２つ以上の異なる場所を撮像するように時分割などで撮像方向などが切り替えられるような態様が用いられてもよい。
また、撮像手段としては、例えば、種々なカメラを用いることができる。
【００１１】
また、顔特徴情報としては、種々なものが用いられてもよく、一例として、顔画像をもとに顔認証処理を実施して、顔の目、鼻、口のバランスから顔の特徴点情報を抽出してデジタル化した顔ＩＤを用いることができる。
また、顔特徴情報生成手段は、例えば、各撮像手段毎に備えられてもよく、或いは、２つ以上の撮像手段に共通に１つの顔特徴情報生成手段が備えられてもよい。
【００１２】
また、顔特徴情報が生成される元となった人物の画像を撮像した撮像手段が設けられた場所に対応した情報としては、種々な情報が用いられてもよく、例えば、当該撮像手段に設定された識別情報やアドレス情報を用いることや、或いは、当該撮像手段に設定された識別情報やアドレス情報に対応して設定された場所の識別情報などを用いることができる。
また、顔特徴情報が生成される元となった人物の画像が撮像された時刻の情報としては、例えば、撮像手段により取得（例えば、計時）されて提供される。
【００１３】
また、監視システムの入退出情報記憶手段に記憶される人物の入退出の情報としては、例えば、（顔特徴情報、場所に対応した情報、時刻の情報）以外の情報が更に含まれてもよい。
また、入退出情報記憶手段としては、例えば、メモリやデータベースを用いて構成することができる。
【００１４】
また、入退出被管理装置及びそれを管理するシステムとしては、種々なものが用いられてもよく、例えば、監視システムとは異なる外部のシステムが用いられ、具体的には、入退出被管理装置としてＳＵＩＣＡなどのＩＣカードが用いられるとともに、それを管理するシステムとして鉄道向け（ＳＵＩＣＡを検出等するシステム）などのシステムが用いられる。入退出情報正否判定手段は、このようなシステムに備えられた入退出被管理装置情報を記憶する記憶部にアクセスして当該入退出被管理装置情報を参照する。
【００１５】
また、整合性を判定する対象となる顔特徴情報としては、例えば、入退出情報記憶手段に記憶される任意の入退出の情報に含まれる任意の顔特徴情報が用いられてもよい。具体例として、入退出情報記憶手段に記憶される入退出の情報では、同一の顔特徴情報が含まれる入退出の情報をまとめると、その顔特徴情報に対応した人物（同一の人物）の総合的な入退出を管理することができ、このような同一の顔特徴情報についての入退出の情報のまとまりについての整合性を判定する態様を用いることができる。
【００１６】
また、監視システムにおける入退出の情報と入退出被管理装置のシステムにおける入退出被管理装置情報との整合性を判定する場合には、次の（判定態様例１）〜（判定態様例３）などの態様を用いることができる。
（判定態様例１）入退出被管理装置のシステムにおける入退出被管理装置情報について、人物の特定はしない。この場合、監視システムにおける入退出の情報と入退出被管理装置のシステムにおける入退出被管理装置情報とで、場所及び時刻が整合するものがあれば、仮に異なる人物に関する情報であっても、整合すると判定する。
【００１７】
（判定態様例２）入退出被管理装置のシステムにおける入退出被管理装置情報について、人物の特定をして、同一の人物についての入退出の情報をまとめて、このまとまりを整合性の判定に用いる。この場合、監視システムにおける入退出の情報と入退出被管理装置のシステムにおける入退出被管理装置情報（本例では、前記したまとまり）とで、場所及び時刻のまとまりが整合するものがあれば、仮に異なる人物に関する情報であっても、整合すると判定する。なお、入退出被管理装置のシステムにおける人物の特定は、例えば、入退出被管理装置のメモリに記憶された識別情報などを読み取って用いて行うことができる。
【００１８】
（判定態様例３）入退出被管理装置のシステムにおける入退出被管理装置情報について、人物の特定をして、同一の人物についての入退出の情報をまとめるとともに、当該人物を特定して、このまとまり及び人物の情報を整合性の判定に用いる。また、監視システムにおける入退出の情報についても、各顔特徴情報に対応する人物を特定して、この人物の情報を整合性の判定に用いる。この場合、監視システムにおける入退出の情報（本例では、人物を特定したもの）と入退出被管理装置のシステムにおける入退出被管理装置情報（本例では、前記したまとまりであり、人物を特定したもの）とで、場所及び時刻のまとまりだけではなく、人物が同一であるか否かも含めて整合するものがあれば、整合すると判定する。つまり、入退出の場所及び時刻のまとまりが整合しても、異なる人物であれば、整合しないと判定する。なお、監視システムにおける顔特徴情報に対応する人物の特定は、例えば、予め、顔特徴情報とその人物を特定する情報とを対応付けて記憶しておくことや、或いは、ある人物がＩＣカード等を使用するときに、その人物の画像を撮像して当該画像に基づく顔特徴情報を取得するとともに、そのＩＣカード等のメモリからその人物を特定する情報を読み取って、これらの情報を対応付けて記憶しておくこと、などにより行うことができる。
【発明の効果】
【００１９】
以上説明したように、本発明に係る監視システムによると、効果的な監視を実現することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例に係る監視システムの構成例を示す図である。
【図２】本発明の一実施例に係る監視カメラの構成例を示す図である。
【図３】本発明の一実施例に係るシステム操作端末により表示される被監視者情報の表示画面の一例を示す図である。
【図４】本発明の一実施例に係る監視カメラを駅の改札に設置した様子の一例を示す図である。
【図５】本発明の一実施例に係る監視システムを入国審査に応用した場合の構成例を示す図である。
【図６】本発明の一実施例に係る監視システムをＴＡＳＰＯの読み取り機に応用した場合の構成例を示す図である。
【図７】本発明の一実施例に係る監視センタにおいて監視済映像と未監視映像とを判別するシステムの構成例を示す図である。
【図８】本発明の一実施例に係る監視モニタに出力される映像フレームの一例を示す図である。
【発明を実施するための形態】
【００２１】
本発明に係る実施例を図面を参照して説明する。
図１には、本発明の一実施例に係る監視システムのシステム系統の一例を示してある。
本例の監視システムは、例えば、複数の異なる場所に設置された被監視部と、これら複数の被監視部に共通な１つの監視部と、各被監視部と監視部とを接続するＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク２１を有している。
【００２２】
１つの被監視部は、例えば、複数のカメラ（監視カメラ）１−１、１−２、・・・、ネットワークスイッチ２、顔認証サーバ３、ネットワーク型デジタルビデオレコーダー（以下で、ＮＤＲとも言う）４を備えている。ここで、各監視カメラ１−１、１−２、・・・、顔認証サーバ３、ＮＤＲ４は、ネットワークスイッチ２と接続されている。また、ネットワークスイッチ２は、ＩＰネットワーク２１と接続されている。
【００２３】
監視部は、ネットワークスイッチ１１、システム管理サーバ１２、システム操作端末１３を備えている。ここで、システム管理サーバ１２、システム操作端末１３は、ネットワークスイッチ１１と接続されている。また、ネットワークスイッチ１１は、ＩＰネットワーク２１と接続されている。
【００２４】
図２には、本発明の一実施例に係る監視カメラの構成例（機能ブロックの例）を示してある。
本例の監視カメラ（例えば、監視カメラ１−１など）は、レンズ３１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）３２、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）部３３、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）信号処理部３４、１次メモリ３５、画像処理部３６、２次メモリ３７、ビデオエンコード部３８、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部３９を備えている。
【００２５】
本例の監視カメラにおいて行われる処理の一例を示す。
本例の監視カメラでは、レンズ３１を介してＣＣＤ３２が映像（画像）を撮影（撮像）し、これにより得られたアナログの映像信号をＡ／Ｄ部３３がデジタルの映像信号へ変換する。
ＤＳＰ信号処理部３４は、デジタル化された映像信号を映像フレーム毎に１次メモリ３５に保存する。画像処理部３６は、随時１次メモリ３５から映像フレームを読み出して画像処理を行い、顔画像を検出する。そして、画像処理部３６は、顔画像の部分だけを抽出して、２次メモリ３７に保存する。
【００２６】
また、通常の（例えば、３０フレーム／秒の）デジタル化された映像データは、ＤＳＰ信号処理部３４から、画像処理部３６を介さず、ビデオエンコード部３８へ送られて、Ｉ／Ｆ部３９からＩＰネットワーク２１へ配信される。
また、本例の監視カメラでは、ＩＰネットワーク２１に接続される端末装置（例えば、監視部又は他の通信端末装置）に対して、顔画像や取得した時刻のデータを配信する。
【００２７】
また、本例の監視カメラでは、例えば、システムに応じて顔画像、時刻データだけを配信することが可能であり、通常のネットワーク型監視システムと比較して、ネットワークに配信（送信）する画像データを軽減することが可能である。
【００２８】
本例の監視システムにおいて行われる処理の一例を示す。
監視カメラ（監視カメラ１−１など）は、撮影してデジタル化した映像信号に基づいて映像に映る（映像フレームに存在する）人物の像部分を検出（検知）する機能及びその映像の時刻（取得時刻）を特定する機能を有しており、人物を検知した際に、顔認証サーバ３に対して顔画像と取得時刻の情報を配信（送信）する。
【００２９】
顔認証サーバ３は、監視カメラから送られてくる顔画像、取得時刻情報を取得した際に、送り先のＩＰアドレスから送り先の監視カメラ（当該顔画像等を送った監視カメラ）を特定し、本情報を取得場所の情報として管理する。
また、顔認証サーバ３は、顔画像のデータをもとに顔認証処理を実施して、顔の目、鼻、口のバランスから顔の特徴点情報を抽出し、更に、特徴点情報をデジタル化して、顔ＩＤ（本例では、特徴点情報をデジタル化したもの）を生成する。そして、顔認証サーバ３は、顔画像のデータ、顔ＩＤ、時刻情報（例えば、取得時刻情報）、取得場所情報を被監視者情報としてデータベースに記録する。同時に、顔認証サーバ３は、被監視者情報を、随時、システム管理サーバ１２へ配信する。
【００３０】
システム管理サーバ１２は、受信した取得時刻情報、取得場所情報から入退情報を生成して、顔ＩＤとともにデータベースに記録して管理する。一例として、鉄道向けの監視システムに適用される場合に、取得場所が改札入口であれば、取得時刻を入場時刻、取得場所を入場駅として管理する。
また、本例の監視システムでは、カメラ映像を全てＮＤＲ４で記録する。
また、被監視部側の端末（図示せず）やシステム操作端末１３では、入退情報、記録画像などを閲覧することができる。
【００３１】
例えば、事件発生時には被監視部側の端末（或いは、システム操作端末１３など）で事件発生場所を撮影している監視カメラの記録画像を再生し、犯人が特定された場合には、その顔画像をキャプチャして、顔画像のデータなど（本例では、被監視者情報）をシステム管理サーバ１２へ転送（送信）する。システム管理サーバ１２は、転送された被監視者情報から顔ＩＤを抽出して、自装置のデータベースに記録されている多数の顔ＩＤとのマッチングを行う。このマッチング結果と被監視者情報をシステム管理サーバ１２からシステム操作端末１３へ送って、犯人の入退場所、入退時刻を確認することができる。
【００３２】
ここで、入場情報のみが存在し、退場情報が存在しない場合には、犯人はまだ設備内にいると判定することができる。この際、システム管理サーバ１２は、顔認証サーバ３から随時送られてくる顔ＩＤと犯人の顔ＩＤとをリアルタイムでマッチング処理することを実施し、犯人が検出された場合には、システム操作端末１３に対して警告を促すことができる。
【００３３】
なお、本例では、被監視部の顔認証サーバ３が顔画像のデータに基づいて顔ＩＤを生成して監視部のシステム管理サーバ１２へ送信する構成を示したが、他の構成例として、被監視部から監視部のシステム管理サーバ１２へ顔画像のデータを送信し、システム管理サーバ１２が受信した顔画像のデータに基づいて顔ＩＤを生成するような構成を用いることもできる。
【００３４】
図３には、システム操作端末１３により表示される被監視者情報の表示画面の一例を示してある。本例では、鉄道向けの監視システムに適用される場合の例を示してある。
具体的には、被監視者情報（或いは、それに基づく情報）４１として、顔ＩＤ、入場駅の情報、入場駅の改札の情報、入場時刻の情報、退場駅の情報、退場駅の改札の情報、退場時刻の情報が対応付けられて表示されているとともに、それに対応した顔画像４２が表示されている。
ここで、被監視者情報等は、新しい順でリスト表示される。このリストは膨大な数になることが予想されるため、各々の項目別に検索することが可能である。例えば、ユーザ（人）が、入場駅と記載された箇所をマウスで指定して右クリックすると駅名が一覧表示され、検索したい駅を選択すると、入場駅が当該駅であるものだけがリストで表示される。
【００３５】
図４には、本例の監視システムが鉄道向けの監視システムに適用される場合に、本例の監視カメラを駅の改札に設置した様子の一例を示してある。
具体的には、改札機５１、ＩＣカード（本例では、ＳＵＩＣＡ）読取機５２、吊下式の監視カメラ５３（図１における監視カメラ１−１などに対応するもの）、改札機埋込式の監視カメラ５４（図１における監視カメラ１−１などに対応するもの）、被監視者（乗降客）５５を示してある。
【００３６】
本例の監視システムでは、被監視者５５が改札通過時にＩＣカードを翳す際に、監視カメラ５３、５４が客の顔を捉える。２箇所に設置された監視カメラ５３、５４により、被監視者５５を上方向、下方向の両方から捉える。各々の監視カメラ５３、５４は、顔画像、取得時刻情報を顔認証サーバ３へ転送する。顔認証サーバ３は、監視カメラ５３、５４からの２つの顔画像を取得した際には、顔認証処理を行って顔の向きを判定し、正面方向に近い画像から顔ＩＤを生成してデータベースに登録する。
【００３７】
システム管理サーバ１２は、入退情報を確定する際に、ＳＵＩＣＡセンタサーバ（図示せず）に問い合わせを行って、入場駅情報、入場時刻情報、出場駅情報、出場時刻情報が、顔ＩＤでの認証結果による入退情報と整合性があるか否かを確認する。この整合性が取れた（確認された）場合には、入退情報として確定することで、正確な入退出の情報を提供することが可能になる。
【００３８】
また、更に、駅構内に設置された防災カメラや防犯カメラや車両乗降口監視カメラを本例の監視システムの監視カメラとして取り込んで、これらのカメラの映像についても顔認証処理を行うことで、個人の行動軌跡をより詳細に把握することが可能になる。
【００３９】
図５には、本例の監視システムを入国審査に応用（適用）した場合の構成例を示してある。
具体的には、監査員６１、システム操作端末６２（図１におけるシステム操作端末１３に対応するもの）、旅行客６３、ＩＣタグリーダ６４、監視カメラ６５（図１における監視カメラ１−１などに対応するもの）、顔認証サーバ６６（図１における顔認証サーバ３に対応するもの）、システム管理サーバ６７（図１におけるシステム管理サーバ１２に対応するもの）を示してある。
【００４０】
本例では、パスポートの更新の際に、その持ち主（旅行客６３）の顔画像から顔ＩＤを生成して、個人情報（例えば、個人ＩＤなど）とともに、そのパスポートに内蔵されたＩＣタグに記録しておく。また、その個人情報と顔ＩＤはシステム管理サーバ６７にも登録される。
そして、入国審査の際に、監視カメラ６５が撮像した旅行客６３の顔画像から顔認証サーバ６６が顔ＩＤを生成してシステム管理サーバ６７へ転送する。同時に、旅行客６３がパスポートをＩＣタグリーダ６４に翳すとそれだけで、そのパスポートに記録された個人情報と顔ＩＤが読み取られてシステム管理サーバ６７へ転送される。システム管理サーバ６７は、顔認証サーバ６６からの顔ＩＤとＩＣタグリーダ６４からの個人情報に対応した顔ＩＤ（或いは、ＩＣタグリーダ６４からの顔ＩＤ）との２つの顔ＩＤが一致するか否かを判定して、一致するか否かに応じて本人であるか否かを判定する。この判定結果はシステム管理サーバ６７からシステム操作端末６２へ転送され、システム操作端末６２により監査員６１は本人確認を迅速に行うことが可能になる。
【００４１】
ここで、パスポートは定期的に更新されるため、そのたびに顔ＩＤを更新することが可能であり、年齢その他の要因による顔の変化に対しても本例は有効的に機能すると言える。
また、顔写真付きで定期的に更新されるものとして、パスポートの他には運転免許証などがあり、本例と同様なシステムの構築が可能である。
【００４２】
更に、パスポートや運転免許証などに電子マネー機能を追加した場合には、一例として、ショッピングその他でパスポートや運転免許証などで電子マネーを利用する毎に、ＩＣタグリーダは、パスポートや運転免許証などから個人情報、顔ＩＤを読み出し、これらの情報や利用場所、利用時刻の情報を本システムのシステム管理サーバへ転送する。また、例えばレジに設置された監視カメラで撮像された顔画像から顔認証サーバにより顔ＩＤを生成して顔画像とともにシステム管理サーバへ転送する。これにより、システム管理サーバは、本人（パスポートや運転免許証などの利用者）の行動軌跡を顔画像とともに管理することができる。
また、例えば、ショッピングモールなどにカメラを設置し、不特定多数の人間の顔画像を画像処理して、性別、年齢などの情報を抽出し、購買傾向を提供するシステムが考えられているが、本例の構成では、個人データを直接読み出して管理するため、確実に購買傾向を把握することが可能である。
【００４３】
図６には、本例の監視システムをＴＡＳＰＯ（非接触型のＩＣカード）の読み取り機に応用（適用）した場合の構成例を示してある。
具体的には、購買客７１、ＴＡＳＰＯリーダ７２、監視カメラ７３（図１における監視カメラ１−１などに対応するもの）、顔認証サーバ７４（図１における顔認証サーバ３に対応するもの）、システム管理サーバ７５（図１におけるシステム管理サーバ１２に対応するもの）、システム操作端末７６（図１におけるシステム操作端末１３に対応するもの）、監視員７７を示してある。
【００４４】
本例では、購買客７１がＴＡＳＰＯを自動販売機に設けられたＴＡＳＰＯリーダ７２に提示する際に、自動販売機に設置された監視カメラ７３が購買客７１の顔画像を撮影して顔認証サーバ７４へ転送し、顔認証サーバ７４が当該顔画像から顔ＩＤを生成してシステム管理サーバ７５へ転送する。また、ＴＡＳＰＯリーダ７２が、ＴＡＳＰＯから読み取った情報（例えば、ＴＡＳＰＯに記録された個人情報など）をシステム管理サーバ７５へ転送する。システム管理サーバ７５は、顔認証サーバ７４から受信した顔ＩＤとパスポートや運転免許証などの更新時に登録された顔ＩＤとを比較することで、例えば、ＴＡＳＰＯの使用者（本例では、購買客７１）が所有者本人であるか否かを判別することや、成人であるか否かを判別することができる。なお、このような判別では、例えば、必要に応じて、ＴＡＳＰＯリーダ７２から受信した個人情報などが参照されてもよい。
【００４５】
但し、本例の構成が有効であるためには、ＴＡＳＰＯの使用者がパスポートや運転免許証などの所有者である場合に限られる。
ここで、本例の構成は、例えば、銀行などのＡＴＭへの応用も可能であり、ＡＴＭの利用時に、ＡＴＭの利用者が本人であるか否かの識別を（装置により自動的に）行うことが可能となる。
【００４６】
図７には、監視センタにおいて、監視済映像と未監視映像とを（装置により自動的に）判別するシステムの構成例を示してある。
具体的には、監視員８１、監視員の監視カメラ８２（例えば、図２に示されるものと同様なもの）、顔認証サーバ８３、システム管理サーバ８４（図１におけるシステム管理サーバ１２に対応するもの）、監視システムの制御部８５、監視カメラ８６（図１における監視カメラ１−１などに対応するもの）、例えばＮＤＲからなる画像記録装置８７（図１におけるＮＤＲ４に対応するもの）、ビデオデコーダ８８、監視モニタ８９、システム操作端末９０（図１におけるシステム操作端末１３に対応するもの）を示してある。
【００４７】
本例では、監視員の監視カメラ８２が、常時、監視員８１を正面方向から撮像する。この監視カメラ８２は、定周期で、監視員８１の顔画像を顔認証サーバ８３へ転送する。顔認証サーバ８３は、受信した顔画像に基づいて、監視員８１の顔の向きを判別し、顔の向きの情報をシステム管理サーバ８４へ転送する。システム管理サーバ８４は、顔認証サーバ８３から受信した情報に基づいて、顔の向きが正面方向であると判定される場合には、現在において監視モニタ８９に表示されている画像は監視済みのものであると判断し、また、顔の向きが正面方向以外であると判定される場合には、現在において監視モニタ８９に表示されている画像は未監視のものであると判断する。
【００４８】
システム管理サーバ８４は、現在において監視モニタ８９に表示されている画像は未監視のものであると判断した場合には、監視システムの制御部８５へ未監視中であることを知らせる。通常時、監視システムの制御部８５は、ビデオデコーダ８８に対して、デコードするためのカメラ映像（監視モニタ８９で表示するカメラ映像）を常時切り換え制御しているため、未監視時に監視モニタ８９に表示しているカメラ映像（例えば、対応するカメラの識別情報など）を把握しており、未監視のときにおけるカメラ情報と未監視時刻を管理することができる。
【００４９】
また、監視システムの制御部８５は、監視員８１からの要求により未監視映像の提供が希望された場合には、画像記録装置８７で録画された映像の中から、未監視カメラ及び未監視時刻の情報をもとに、その監視カメラ（例えば、監視カメラ８６）におけるその時刻（例えば、その時間帯）の映像を時刻検索で取り出してビデオデコーダ８８へ出力させる。ビデオデコーダ８８は、この時刻の映像を監視モニタ８９に表示させる。
【００５０】
図８には、監視モニタ８９に出力される映像フレームの一例を示してある。
具体的には、３台の監視カメラ（カメラ１、２、３）により撮影された映像について、その映像を構成する連続した複数のフレームの様子を示してあるとともに、監視済映像１０１、モニタ非表示のための未監視映像１０２、監視員８１が正面方向以外を向いていたための未監視映像１０３を示してある。
【００５１】
通常時には、例えば、３台のカメラの映像をシーケンシャルに１台の監視モニタ８９に切り換え表示しており、図８において斜線で示した映像フレーム（監視済映像として示したもの）がカメラ１、カメラ２、カメラ３、カメラ１、カメラ２、カメラ３、カメラ１、・・・という順序で切り換えられて監視モニタ８９に表示される。ここで、映像は全て画像記録装置８７に記録されているため、未監視映像として、監視モニタ８９に表示されなかった映像（モニタ非表示のための未監視映像）と、監視員８１が正面方向以外を向いていたために監視されなかったと考えられる映像（顔認証で判別された、監視員８１が正面方向以外を向いていたための未監視映像）の両方を提供することができる。
【００５２】
ここで、図８には、提供される未監視映像の一例を示してある。
なお、通常、カメラの台数が多いほど、また、監視モニタの台数が少ないほど、監視している映像が全体から見て少なく、モニタ非表示のための未監視映像が増えるため、未監視映像を提供する際に映像フレームを間引いて提供することも可能である。図８に示される例では、モニタ非表示のための未監視映像を１／２に間引き、監視員８１が正面方向以外を向いていたための未監視映像を通常のフレームレートで、提供している。
【００５３】
（本実施例のまとめ）
以上のように、図２に示される本例の監視カメラ（図１に示される監視カメラ１−１など）では、撮像された映像をカメラ内部の１次メモリ３５で一定時間記憶して、画像処理を行って顔画像を抽出し、抽出された顔画像（例えば、顔画像だけでもよい）を切り出して２次メモリ３７に記録する。また、本例の監視カメラでは、自発的に又は顔認証サーバ３からの要求を受けると、２次メモリ３７に記録された顔画像（例えば、顔画像だけでもよい）を顔認証サーバ３へ送出する。
例えば、顔画像だけ（又は、顔画像と他の少量のデータだけ）を配信して、映像フレームの全体を配信する必要が無い構成とすると、伝送系（本例では、ＩＰネットワーク２１）に与える負荷を軽減することができる。
【００５４】
図１に示される本例の顔認証サーバ３では、監視カメラからの顔画像を取得し、画像処理による顔認証技術により顔画像の特徴点情報（顔における目、鼻、口のバランス）を抽出して、当該特徴点情報をデジタル化して顔ＩＤを生成し、また、被監視者情報（顔画像、顔ＩＤ、取得時刻情報、取得先の監視カメラの場所情報）をデータベース化して管理する。
本例では、監視対象設備の入退箇所に監視カメラを配置し、図１に示される本例のシステム管理サーバ１２では、顔認証サーバ３で生成される被監視者情報をもとに被監視者の入退の場所と時刻を特定してデータベースで管理する。
【００５５】
図１に示される本例の監視システムでは、例えば、事件発生時には、防犯目的で配置された各種の監視カメラ（監視カメラ１−１など）の録画画像から事件発生時の映像を特定し、犯人の顔画像を静止画でキャプチャし、静止画でキャプチャした犯人の顔画像をもとに顔認証サーバ３に保存されている顔画像の中から類似顔画像を検索し、犯人の入出時間、入出場所の情報を提供することができる。また、本例の監視システムでは、例えば、静止画でキャプチャされた犯人の顔画像を顔認証サーバ３に送り、顔認証サーバ３が顔ＩＤ（顔の特徴情報）を生成し、システム管理サーバ１２が、犯人の顔ＩＤと一致又は類似する顔ＩＤをデータベースから検索して、犯人の入出時間、入出場所の情報を提供することができる。
【００５６】
図１に示される本例の監視システムでは、顔画像データそのものの比較ではなく、システム管理サーバ１２において、犯人の顔ＩＤ（顔の特徴情報を集約したもの）をデータベースに存在する顔ＩＤと比較することにより、短時間でマッチングを行うことができる。
図１に示される本例の監視システムでは、退出記録がなく犯人がまだ設備内にいる場合には、退出箇所に設置された監視カメラで犯人を捉えた際に警報音などで警告を行う。
【００５７】
図４に示されるように鉄道設備などに応用した本例の監視システムでは、ＳＵＩＣＡなどのＩＣカードとそれによる入退出システムと連携することで、ＳＵＩＣＡなどのセンタサーバに記録されている（ＳＵＩＣＡなどの利用により取得された）入場駅、出場駅などの情報と、本例の監視システムにおける顔認証により得られた入場駅、出場駅などの情報とを比較することで、より正確な入退出情報を提供することができる。ここで、入退出情報とは、例えば、顔ＩＤ、顔画像、入退出場所、入退出時刻の情報（なお、顔ＩＤと顔画像とはいずれかのみでもよい）であり、ＳＵＩＣＡなどのセンタサーバから得られた入退出場所、入退出時刻の記録情報と合致したものがあるか否かを確認し、合致したものがあれば入退出情報として確定し、合致したものがなければ不確定とする。
【００５８】
このように、本例では、顔認証による監視システムと入退出時に使用されるＳＵＩＣＡなどのＩＣカード読み取りシステムを連携させることで、入退管理（例えば、入退出の箇所や時刻の特定など）や本人認証をより正確、迅速に行うことができる。具体的には、顔ＩＤによるマッチング処理により入退管理を行うことができ、対象の人物がゲートを通過する際（入退出する際）に得られた入退出情報と顔認証により得られた入退出情報とを比較することで、より正確な入退出情報を提供することが可能になる。これにより、例えば、犯人の行動（入退出情報）を顔画像やＩＣカードによる情報とともに管理することができ、犯人の入退出の正確な情報を提供することができる。
【００５９】
図５に示されるような本例の監視システム（本人確認システムに応用した例）では、定期的に顔写真付きで更新されるパスポートや運転免許証などの更新手続きの際に、顔画像をシステム管理サーバ６７のデータベースに個人ＩＤや顔ＩＤとともに登録し、パスポートや運転免許証などへ個人ＩＤを記録したＩＣタグを入れておき、パスポートや運転免許証などの掲示の際に監視カメラ６５で撮像された顔映像から顔ＩＤを生成して、システム管理サーバ６７へ個人ＩＤや顔ＩＤを送信し、更に、システム管理サーバ６７は、個人ＩＤから予めシステム管理サーバ６７に登録されていた顔ＩＤを探し出して（或いは、ＩＣタグリーダ６４から顔ＩＤを受信して）、顔ＩＤを比較する（例えば、顔認証サーバ６６からの顔ＩＤと比較する）ことで、監視カメラ６５で撮像された顔映像をもとに本人確認を迅速に実施することが可能である。
【００６０】
図５に示されるような本例の監視システム（個人追跡システムに応用した例）では、パスポートや運転免許証などに電子マネー機能を追加した場合に、ショッピングその他でパスポートや運転免許証などが利用される毎に、ＩＣタグのリーダ（ＩＣタグリーダ）が、個人ＩＤ、顔ＩＤを読み出して、本例の監視システムのシステム管理サーバへ利用場所、利用時刻（利用時間）の情報とともに（例えば、更に、顔画像を含んでもよい）送信し、これにより、システム管理サーバ６７は本人の行動軌跡を（例えば、監視画像とともに）管理することができる。
【００６１】
図６に示されるような本例の監視システム（なりすまし防止システム）では、ＴＡＳＰＯなどが掲示される際に、自動販売機に設置された監視カメラ７３で捉えた顔画像から生成された顔ＩＤをシステム管理サーバ７５へ送信し、システム管理サーバ７５は、この顔ＩＤと、パスポートや運転免許証などの更新時に登録された現在の顔画像から生成された顔ＩＤとを比較することで、ＴＡＳＰＯなどの使用者が本人であるか否かを確認することができる。
【００６２】
このように、本例では、パスポートや運転免許証などが定期的に更新される際にその持ち主の顔画像を抽出して現在（ここでは、更新時のこと）の顔ＩＤを取得することで、パスポートや運転免許証などの掲示の際やＴＡＳＰＯの掲示の際に、本人確認を（装置により自動的に）行うことが可能である。例えば、その場で撮像された顔画像に関する情報とデータベースに登録された人物の現在の顔画像に関する情報とを比較することで本人の特定を行うことができ、一例として、定期的に更新されるパスポートや運転免許証などの更新の際に撮影される顔画像に関する情報を現在の本人データとして管理することで、必要に応じて当該本人データを読み出して、監視カメラで捉えた映像に関する情報と比較して、本人であるか否かの判定を行うことができる。
【００６３】
図７に示されるような本例の監視システムでは、監視員８１の監視カメラ８２を監視センタ（監視モニタ設備）内に配置し、顔認証により監視者８１の顔の角度を識別することで、監視者８１が現在表示している監視モニタ８９の映像を監視しているか否かを判断して、監視者８１が正面を向いている時間（時刻）のモニタ映像を監視済映像とし、それ以外の映像を未監視映像とし、これにより、未監視映像を後に纏めてモニタ表示させるようなことができる。
【００６４】
このように、本例では、監視システムにおける監視者による監視の有無を顔認証技術により監視者の顔方向情報をもとに（装置により自動的に）判別することで、例えば、未監視映像だけを後で集中的に再生させて監視することが可能である。具体的には、集中監視を行う監視者を監視カメラで捉えて、監視者の顔の方向を識別することで、現在表示されている映像が監視済映像であるか或いは未監視映像であるかを（装置により自動的に）判別することができ、例えば、後で、監視者の要求に応じて、未監視映像だけを監視モニタに表示（再生）させることが可能である。
【００６５】
（本実施例から把握される発明の一構成例）
人物の入退出を監視する監視システム（例えば、図１に示される構成を適用した図４に示されるシステム）において、
入退出を監視する複数の場所（例えば、図４では駅）のそれぞれに設けられて、それぞれの場所を通過する人物（例えば、図４では被監視者５５）の画像を撮像する複数の撮像手段（例えば、図１では監視カメラ１−１など、図４では監視カメラ５３、５４）と、
前記撮像手段により撮像された人物の画像における顔画像の特徴に関する情報である顔特徴情報を生成する顔特徴情報生成手段（例えば、図１では顔認証サーバ３）と、
前記顔特徴情報生成手段により生成された顔特徴情報と、当該顔特徴情報が生成される元となった人物の画像を撮像した撮像手段が設けられた場所に対応した情報と、当該顔特徴情報が生成される元となった人物の画像が撮像された時刻の情報を対応付けて含む情報を入退出の情報として記憶する入退出情報記憶手段（例えば、図１ではシステム管理サーバ１２）と、
人物により携帯される入退出被管理装置（例えば、図４ではＳＵＩＣＡのＩＣカード）を管理するシステム（例えば、図４では鉄道向けのシステムにおけるＳＵＩＣＡセンタサーバ）により記憶される当該入退出被管理装置の入退出に関する情報である入退出被管理装置情報を参照して、前記入退出情報記憶手段に記憶される対象となる顔特徴情報に関する入退出の情報が前記入退出被管理装置情報と整合するか否かを判定して、整合した場合に当該入退出の情報が正しいものであると判定する入退出情報正否判定手段（例えば、図１ではシステム管理サーバ１２）と、
を備えたことを特徴とする監視システム。
【００６６】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【符号の説明】
【００６７】
１−１、１−２、６５、７３、８６・・監視カメラ、 ２、１１・・ネットワークスイッチ、 ３、６６、７４、８３・・顔認証サーバ、 ４・・ネットワーク型デジタルビデオレコーダー、 １２、６７、７５、８４・・システム管理サーバ、 １３、６２、７６、９０・・システム操作端末、 ２１・・ＩＰネットワーク、 ３１・・レンズ、 ３２・・ＣＣＤ、 ３３・・Ａ／Ｄ部、 ３４・・ＤＳＰ信号処理部、 ３５・・１次メモリ、 ３６・・画像処理部、 ３７・・２次メモリ、 ３８・・ビデオエンコード部、 ３９・・Ｉ／Ｆ部、 ４１・・被監視者情報、 ４２・・顔画像、 ５１・・改札機、 ５２・・ＳＵＩＣＡ読取機、 ５３・・吊下式の監視カメラ、 ５４・・改札機埋込式の監視カメラ、 ５５・・被監視者（乗降客）、 ６１・・監査員、 ６３・・旅行客、 ６４・・ＩＣタグリーダ、 ７１・・購買客、 ７２・・ＴＡＳＰＯリーダ、 ７７、８１・・監視員、 ８２・・監視員の監視カメラ、 ８５・・監視システムの制御部、 ８７・・画像記録装置、 ８８・・ビデオデコーダ、 ８９・・監視モニタ、
【特許請求の範囲】
【請求項１】
人物の入退出を監視する監視システムにおいて、
入退出を監視する複数の場所のそれぞれに設けられて、それぞれの場所を通過する人物の画像を撮像する複数の撮像手段と、
前記撮像手段により撮像された人物の画像における顔画像の特徴に関する情報である顔特徴情報を生成する顔特徴情報生成手段と、
前記顔特徴情報生成手段により生成された顔特徴情報と、当該顔特徴情報が生成される元となった人物の画像を撮像した撮像手段が設けられた場所に対応した情報と、当該顔特徴情報が生成される元となった人物の画像が撮像された時刻の情報を対応付けて含む情報を入退出の情報として記憶する入退出情報記憶手段と、
人物により携帯される入退出被管理装置を管理するシステムにより記憶される当該入退出被管理装置の入退出に関する情報である入退出被管理装置情報を参照して、前記入退出情報記憶手段に記憶される対象となる顔特徴情報に関する入退出の情報が前記入退出被管理装置情報と整合するか否かを判定して、整合した場合に当該入退出の情報が正しいものであると判定する入退出情報正否判定手段と、
を備えたことを特徴とする監視システム。
【請求項１】
人物の入退出を監視する監視システムにおいて、
入退出を監視する複数の場所のそれぞれに設けられて、それぞれの場所を通過する人物の画像を撮像する複数の撮像手段と、
前記撮像手段により撮像された人物の画像における顔画像の特徴に関する情報である顔特徴情報を生成する顔特徴情報生成手段と、
前記顔特徴情報生成手段により生成された顔特徴情報と、当該顔特徴情報が生成される元となった人物の画像を撮像した撮像手段が設けられた場所に対応した情報と、当該顔特徴情報が生成される元となった人物の画像が撮像された時刻の情報を対応付けて含む情報を入退出の情報として記憶する入退出情報記憶手段と、
人物により携帯される入退出被管理装置を管理するシステムにより記憶される当該入退出被管理装置の入退出に関する情報である入退出被管理装置情報を参照して、前記入退出情報記憶手段に記憶される対象となる顔特徴情報に関する入退出の情報が前記入退出被管理装置情報と整合するか否かを判定して、整合した場合に当該入退出の情報が正しいものであると判定する入退出情報正否判定手段と、
を備えたことを特徴とする監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−３９９５９（Ｐ２０１１−３９９５９Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８８９５８（Ｐ２００９−１８８９５８）
【出願日】平成２１年８月１８日（２００９．８．１８）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１８日（２００９．８．１８）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]