入室管理システム
【課題】 この発明は、顔認証を中心に据えて認証対象者と認証非対象者の滞在時間あるいは在室時間の管理を一つのシステムで行うことができる。
【解決手段】 この発明は、顔認証が行われる認証対象者と顔認証が行われない認証非対象者とに対する入室処理を行うものにおいて、認証対象者の入室時の認証顔画像と入室時間と滞在制限時間とを記憶するとともに、認証非対象者の入室時の顔画像と入室時間と滞在制限時間とを記憶し、滞在制限時間を超過した認証対象者の顔画像を表示するとともに、滞在制限時間を超過した認証非対象者の顔画像を表示するようにしたものである。
【解決手段】 この発明は、顔認証が行われる認証対象者と顔認証が行われない認証非対象者とに対する入室処理を行うものにおいて、認証対象者の入室時の認証顔画像と入室時間と滞在制限時間とを記憶するとともに、認証非対象者の入室時の顔画像と入室時間と滞在制限時間とを記憶し、滞在制限時間を超過した認証対象者の顔画像を表示するとともに、滞在制限時間を超過した認証非対象者の顔画像を表示するようにしたものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像による認証を行う認証対象者と顔画像による認証を行わない認証非対象者の滞在時間を管理する入室管理システムに関する。
【背景技術】
【０００２】
従来の来訪者受付システムでは、来訪者の身分確認と入館の許可を行うだけで、来訪者が出てくるまでその管理は受付台帳だけでしか管理されず、受付場所以外から外部に出た場合に対応ができない事態となっていた。
【０００３】
また、カードによる出入管理システム（特許文献１）の転用などが用いられていた。
【０００４】
従来の技術では、次のようなセキュリティホールが存在する。
【０００５】
１、カードのよる出入管理システムを転用した場合、部外者の管理などカードでは出来なかったり、カードの盗難が大きな問題（セキュリティホール）となりうる。
【０００６】
２、カードによる方式では、人の把握をカード内に書き込まれた識別用ＩＤで行うため、居室内の人間の本人確認をリアルタイムで行うことができない。
【特許文献１】特開平４−２３８９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
この発明は、顔認証を中心に据えて認証対象者と認証非対象者の滞在時間あるいは在室時間の管理を一つのシステムで行うことができる入室管理システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の入室管理システムは、認証対象者の少なくとも顔を含む画像を登録する登録手段と、所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者か認証非対象者かを判断する判断手段と、この判断手段により判断された認証対象者と認証非対象者とに対する、それぞれの滞在時間を管理する管理手段とを有するものである。
【０００９】
この発明の入室管理システムは、認証対象者の少なくとも顔を含む画像を登録する登録手段と、所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、認証非対象者を示す情報を設定する設定手段と、上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの滞在時間を管理する管理手段とを有するものである。
【００１０】
この発明の入室管理システムは、認証対象者の少なくとも顔を含む画像を登録する登録手段と、 所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、認証非対象者を示す情報を設定する設定手段と、この設定手段により設定された認証非対象者を示す情報に対応して、上記撮像手段により撮像された少なくとも顔を含む画像を記憶する記憶手段と、上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの滞在状態を管理する管理手段と、この管理手段による管理状態により在室者を抽出し、この在室者に対応する顔を含む画像の一覧を表示する表示手段とを有するものである。
【００１１】
この発明の入室管理システムは、認証対象者の少なくとも顔を含む画像を登録する登録手段と、所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、認証非対象者を示す情報を設定する設定手段と、この設定手段により設定された認証非対象者を示す情報に対応して、上記撮像手段により撮像された少なくとも顔を含む画像を記憶する記憶手段と、上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの入室時間と滞在時間を管理する管理手段と、この管理手段による管理状態により滞在時間の超過者を抽出し、この滞在時間の超過者に対応する顔を含む画像の一覧を表示する表示手段とを有するものである。
【発明の効果】
【００１２】
以上のように、この発明によれば、顔認証を中心に据えて認証対象者と認証非対象者の滞在時間管理を一つのシステムで行うことができる入室管理システムを提供できる。
【発明を実施するための最良の形態】
【００１３】
以下、この発明の入室管理システムの一実施形態について図面を参照して説明する。
【００１４】
この入室管理システムは、建物や部屋等の出入口において、人間の入退室を顔画像により管理することにより、認証対象者としての社員（社内）と認証非対象者としての業者（社外）の在室時間管理を行うものである。
【００１５】
すなわち、入退出管理システムは、図１に示すように、出入口１の入口側に設けられ、扉開閉機能と顔画像照合機能とを有するゲート装置（入口装置）２と、出入口１の出口側に設けられ、扉開閉機能と顔画像照合機能とを有するゲート装置（出口装置）３と、通信回線４を介して接続される管理サーバ５と監視装置６から構成されている。
【００１６】
ゲート装置２（３）は、操作表示部１０、カメラ１１、人間検知部１２、扉開閉部１３、画像メモリ１４、メインメモリ１５、顔画像照合部１６、制御部１７、送信インターフェース１８により構成されている。
【００１７】
操作表示部１０は、種々の設定を行ったり、処理状況を案内表示するものであり、業者が許可コードを入力する際に用いるテンキーを有している。
【００１８】
カメラ１１は、人間検知部１２により人間が近づいたことが検知された際に、近づいた人間の少なくとも顔を含む画像を撮像する撮像部である。
【００１９】
人間検知部１２は、このゲート装置２に人間が近づいたことが検知するものである。
【００２０】
扉開閉部１３は、上記出入口１に設けられる扉の開閉を行うものである。画像メモリ１４は、カメラ１１からの撮像画像を記憶するものである。メインメモリ１５は、制御プログラムが記憶されているとともに、作業用のデータの記憶用に用いられるものである。
【００２１】
顔画像照合部１６は、上記認証対象者としての社員の顔画像に対する顔の特徴量としての特徴ベクトル（顔パターン）としてのテンプレートが社員番号とともにあらかじめ登録されている顔画像辞書１６ａと、カメラ１１からの撮像画像による顔画像に対する特徴ベクトル（顔パターン）と上記顔画像辞書１６ａの登録内容との比較照合により認証を行う認証部１６ｂとを有するものである。制御部１７は、ゲート装置２の全体を制御するものである。
【００２２】
なお、ゲート装置３における顔画像辞書１６ａには、ゲート装置２により入室した在室者のデータが登録されるようになっている。
【００２３】
この制御部１７は、カメラ１１により撮像した少なくとも顔を含む画像から顔画像に基づく特徴ベクトル（顔パターン：テンプレートに対応）を生成する処理を行うものである。
【００２４】
例えば、撮影した少なくとも顔を含む画像を画像メモリ１４に取り込み、取り込んだ画像全体から少なくとも顔を含む画像の領域を探索する。顔画像領域を検出すると、検出した顔画像領域内において、ほぼ円形領域とみなせる瞳領域と鼻孔領域を検出し、これらの検出した領域の中心位置を顔画像の特徴点として抽出する処理を行う。
【００２５】
このように特徴点を抽出すると、順番に特徴点の位置を基準とした照合領域の切出しを行う。これにより照合領域を切り出すと、各照合領域に対して幾何補正による大きさの正規化を行う。また、各照合領域に対して濃度補正による濃度分布の正規化を行う。これらの処理が完了すると、抽出された特徴点に基づいて顔画像の特徴量としての特徴ベクトル（顔パターン）を算出（生成）する。
【００２６】
制御部１７は、人間検知部１２によりゲート装置２に人間が近づいたことが検知された際に、カメラ１１により撮像した画像から顔画像の特徴ベクトル（顔パターン）を生成する処理を行うものである。また、制御部１７は、上記生成した顔画像の特徴ベクトルに対する顔画像照合部１６による認証処理により出入口１からの入退室を許可し、その顔画像と社員を示す情報と入室時刻を管理サーバ５へ送信するものである。
【００２７】
また、制御部１７は、顔画像による認証ができなかった際に、操作表示部１０により業者による許可コードの入力を案内し、この案内に応じてテンキーにより入力される許可コードの確認により出入口１からの入室を許可し、その顔画像と許可コードと入室時刻を管理サーバ５へ送信するものである。
【００２８】
管理サーバ５は、図示しない操作表示部と制御部とカメラによる撮像部とを有し、あらかじめ上記出入口１からの入退出が許可される利用者の少なくとも顔を含む画像をカメラにより撮影し、この少なくとも顔を含む画像に対する顔の特徴量としての顔画像の特徴ベクトル（顔パターン：テンプレートに対応）を、ゲート装置２、３の顔画像照合部１６内の顔画像辞書１６ａに登録するものである。上記顔画像辞書１６ａへの顔パターンを登録する際に、カメラにより撮影した画像を用いたが、写真等により取り込むようにしても良い。
【００２９】
管理サーバ５は、ゲート装置２、３から入退出する社員、業者等の滞在状態を管理するものであり、制御部２１とメモリ部２２とインターフェース部２３により構成されている。メモリ部２２には、滞在許可管理マスタ３１、在室者マスタ３２、入室拒否者リスト３３が設けられている。
【００３０】
滞在許可管理マスタ３１は、図２に示すように、社員、業者Ａ、業者Ｂ等の種別ごとの滞在許可時刻が登録されているものであり、たとえば、社員は２３：３０まで、業者Ａは入室後１時間、業者Ｂは入室後３時間に制限されている。
【００３１】
在室者マスタ３２は、図３に示すように、滞在制限時刻、入室時刻、ＩＤ（社員番号）、社員の有無、顔画像ファイルが登録されているものであり、たとえば、滞在制限時刻として２００４．０９．０５１８：３３が登録され、入室時刻として２００４．０９．０５が登録され、ＩＤ（社員番号）として０が登録され、社員の有無として０（業者）が登録され、顔画像ファイルとして０４０９０５．ＪＰＧが登録されている。
【００３２】
入室拒否者リスト３３は、図４に示すように、時刻と顔画像ファイルが登録されているものであり、たとえば、時刻として２００４．０８．０１が登録され、顔画像ファイルとして０４０１１０３．ＩＭＧ（画像ファイル）が登録されている。
【００３３】
監視装置６は、キーボード４１と表示部４２と制御部４３からなるパソコン等により構成され、このシステムの監視として滞在時刻の超過の監視を行うものであり、在室者マスタ３２から滞在時刻の超過しているものを抽出して、図５に示すような超過リストを生成し、この生成したリストの内容を表示部４２により、図６に示すように表示するものである。
【００３４】
次に、上記のような構成において、顔認証を行う社員と顔認証を行わない業者に対する出入口１からの入室処理を、図７、図８に示すフローチャートを参照しつつ説明する。
【００３５】
すなわち、人間検知部１２によりゲート装置２に人間が近づいたことが検知された際、この検知信号が制御部１７に供給される（ＳＴ１）。すると、制御部１７はカメラ１１により近づいた人間の少なくとも顔を含む画像を撮像し、画像メモリ１４に登録する（ＳＴ２）。これにより、制御部１７は、カメラ１１により撮像した画像から顔画像の特徴ベクトル（顔パターン）を生成する処理を行う（ＳＴ３）。
【００３６】
さらに、制御部１７は、撮像した画像からの顔画像の特徴ベクトルと社員の顔画像辞書１６ａに社員ごとに登録されている顔画像の特徴ベクトルとを照合する（ＳＴ４）。この照合の結果、制御部１７は、社員の顔画像辞書１６ａに登録されている全ての顔画像の特徴ベクトルとの照合度（類似度）が１つでも所定の値に達している場合（ＳＴ５）、上記出入口１からの入室の許可を判断し、扉開閉部１３を駆動し、社員が通過する間、扉を開ける（ＳＴ６）。
【００３７】
この際、社員は上記出入口１から入室する。
【００３８】
また、制御部１７は、その顔画像と顔画像の特徴ベクトルと社員を示す情報と入室時刻を管理サーバ５へ送信する（ＳＴ７）。
【００３９】
これにより、管理サーバ５はゲート装置２から供給される社員を示す情報により滞在許可管理マスタ３１から社員の滞在許可時刻を読出し（ＳＴ８）、この滞在許可時刻としての滞在許可制限時刻とゲート装置２から供給されるその顔画像と社員を示す情報と入室時刻に在室者番号（ユニークな番号）を付与して在室者マスタ３２に登録する（ＳＴ９）。また、管理サーバ５はゲート装置３に在室者情報として在室者番号が付与された顔画像の特徴ベクトルを送信する（ＳＴ１０）。これにより、ゲート装置３は管理サーバ５から供給される在室者番号が付与された顔画像の特徴ベクトルを顔画像辞書１６ａに登録する（ＳＴ１１）。
【００４０】
また、上記ステップ４において、制御部１７は、照合度が所定の値以上の顔画像の特徴ベクトルが社員の顔画像辞書１６ａに登録されていなかった場合、操作表示部１０により許可コードの入力を案内する（ＳＴ１２）。この案内に応じて業者が操作表示部１０のテンキーにより許可コードを入力する。これにより、制御部１７は、入力された許可コードが正しいと確認した際に（ＳＴ１３）、上記出入口１からの入室の許可を判断し（ＳＴ１４）、扉開閉部１３を駆動し、業者が通過する間、扉を開ける（ＳＴ１５）。
【００４１】
この際、業者は上記出入口１から入室する。
【００４２】
また、制御部１７は、その顔画像と顔画像の特徴ベクトルと業者Ａを示す許可コードと入室時刻を管理サーバ５へ送信する（ＳＴ１６）。
【００４３】
これにより、管理サーバ５はゲート装置２から供給される業者Ａを示す許可コードにより滞在許可管理マスタ３１から業者Ａの滞在許可時刻として入室後1時間を読出し（ＳＴ１７）、この滞在許可時刻と現在時刻から滞在許可制限時刻を演算し、この滞在許可制限時刻とゲート装置２から供給されるその顔画像と入室時刻に在室者番号（ユニークな番号）を付与して在室者マスタ３２に登録する（ＳＴ１８）。
【００４４】
また、管理サーバ５はゲート装置３に在室者情報として在室者番号が付与された顔画像の特徴ベクトル（ゲート装置２から供給される）を送信する（ＳＴ１９）。これにより、ゲート装置３は管理サーバ５から供給される在室者番号が付与された顔画像の特徴ベクトルを顔画像辞書１６ａに登録する（ＳＴ２０）。
【００４５】
また、業者Ｂの場合も業者Ａの場合と同様に、上記ステップ１２から２０により処理される。ただし、許可コードの内容が異なり、滞在許可時刻も入室後３時間となっている。
【００４６】
また、上記ステップ１１において、制御部１７は、正しい許可コードが確認されなかった際に、上記出入口１からの入室の不許可を判断し（ＳＴ２１）、扉開閉部１３を駆動せず、扉を締めたままとする。
【００４７】
また、制御部１７は、その顔画像と入室時刻を管理サーバ５へ送信する（ＳＴ２２）。
【００４８】
これにより、管理サーバ５はゲート装置２から供給される顔画像と入室時刻を入室拒否者リスト３３に登録する（ＳＴ２３）。
【００４９】
これにより、監視装置６の表示部４２によりアラーム表示が行われる（ＳＴ２４）。
【００５０】
次に、出入口１からの退室処理を、図９に示すフローチャートを参照しつつ説明する。
【００５１】
すなわち、人間検知部１２によりゲート装置３に人間が近づいたことが検知された際、この検知信号が制御部１７に供給される（ＳＴ３１）。すると、制御部１７はカメラ１１により少なくとも顔を含む画像を撮像し、画像メモリ１４に登録する（ＳＴ３２）。これにより、制御部１７は、カメラ１１により撮像した画像から顔画像の特徴ベクトル（顔パターン）を生成する処理を行う（ＳＴ３３）。
【００５２】
さらに、制御部１７は、撮像した画像からの顔画像の特徴ベクトルと顔画像辞書１６ａに登録されている在室者の顔画像の特徴ベクトルとを照合する（ＳＴ３４）。この照合の結果、制御部１７は、顔画像辞書１６ａに登録されている顔画像の特徴ベクトルとの照合度（類似度）が所定の値に達している場合（ＳＴ３５）、上記出入口１からの入室の許可を判断し、扉開閉部１３を駆動し、退室者が通過する間、扉を開ける（ＳＴ３６）。
【００５３】
この際、退室者は上記出入口１から退室する。
【００５４】
また、制御部１７は、その退室者に対応する顔画像辞書１６ａに登録されている顔画像の特徴ベクトルを削除し（ＳＴ３７）、在室者番号と退室を示す情報とを管理サーバ５に送信する（ＳＴ３８）。これにより、管理サーバ５はゲート装置３から供給される在室者番号の在室者情報を在室者マスタ３２から削除する（ＳＴ３９）。
次に、在室者の滞在時間が設定時刻を超過した際の処理について、図１０に示すフローチャートを参照しつつ説明する。
【００５５】
たとえば今、管理サーバ５の制御部２１は、在室者マスタ３２の各在室者情報の滞在制限時刻が現在の時間よりも超過しているかを調べ（ＳＴ４１）、図５に示すような、超過している在室者情報のリスト４１を内部メモリ２１ａに生成し（ＳＴ４２）、このリストに対応した超過している在室者情報を監視装置６へ送信する（ＳＴ４３）。また、制御部２１は、在室者マスタ３２の内容により社外入室者数と時間超過者数とを調べ監視装置６へ送信する（ＳＴ４４）。
【００５６】
これにより、監視装置６は、図６に示すように、表示部４２により滞在制限時刻が超過している在室者の顔画像と対応する超過時間を表示するとともに、社外入室者数と時間超過者数とを表示する（ＳＴ４５）。
【００５７】
この結果、滞在時間超過者の人数把握と該当者の顔画像の表示を監視装置の画面に表示し、厳密な管理を行うことができる。
【００５８】
また、監視装置により在室者一覧が指定された際に、管理サーバの在室者マスタ３２における在室者情報から読出した在室者全員の顔画像を表示部により表示できる。
【００５９】
なお、上記例では管理サーバが１つの出入口における入退室を管理する場合について説明したが、複数の出入口における入退室を管理するものであっても良い。ただし、この場合、管理サーバとゲート装置とのデータ伝送時にゲート装置を示す情報が付与され、在室者マスタも複数必要となる。
なお、上記例では、顔画像による生態情報を用いたが、指紋、網膜等の生態情報を用いるようにしても良い。
【００６０】
上記したように、顔認証を中心に据えて社員（認証対象者）と外来者（認証非対象者）の在室時間管理を一つのシステムで行うことができる。
【００６１】
また、正面から取った顔画像（確実に人間が見て分かるような顔の向き・大きさで撮像されている）で所在管理が確実にできる。在室者一覧や在室時間超過者一覧は、監視装置によりリアルタイムで顔画像を並べて表示することができる。
【００６２】
また、認証非対象者は、補助入力手段により、業者毎に「滞在許可時間管理マスタ」を使うことにより、認証対象者と同様に、時間管理が可能である。
【００６３】
また、在室時間超過者を顔画像で表示するので、人物を正確に特定した在室管理（監視）が可能である。
【００６４】
また、監視装置では、リアルタイムで在室者の顔画像を表示できるので、視認性が高い。
【図面の簡単な説明】
【００６５】
【図１】この発明の一実施形態を説明するための入室管理システムの概略構成を示す図。
【図２】滞在許可管理マスタを説明するための図。
【図３】在室者マスタを説明するための図。
【図４】入室拒否者リストを説明するための図。
【図５】超過リストを説明するための図。
【図６】超過リストの表示例を説明するための図。
【図７】入室処理を説明するためのフローチャート。
【図８】入室処理を説明するためのフローチャート。
【図９】退室処理を説明するためのフローチャート。
【図１０】在室者の滞在時間が設定時刻を超過した際の処理を説明するためのフローチャート。
【符号の説明】
【００６６】
１…出入口 ２．３…ゲート装置 ４…通信回線 ５…管理サーバ ６…監視装置 １０…操作表示部 １１…カメラ １２…人間検知部 １３…扉開閉部 １４…画像メモリ １５…メインメモリ １６…顔画像照合部 １６ａ…顔画像辞書 １６ｂ…認証部 １７…制御部 ２１…制御部 ２２…メモリ部 ２３…インターフェース部 ３１…滞在許可管理マスタ ３２…在室者マスタ ３３…入室拒否者リスト ４１…キーボード ４２…表示部 ４３…制御部。
【技術分野】
【０００１】
本発明は、顔画像による認証を行う認証対象者と顔画像による認証を行わない認証非対象者の滞在時間を管理する入室管理システムに関する。
【背景技術】
【０００２】
従来の来訪者受付システムでは、来訪者の身分確認と入館の許可を行うだけで、来訪者が出てくるまでその管理は受付台帳だけでしか管理されず、受付場所以外から外部に出た場合に対応ができない事態となっていた。
【０００３】
また、カードによる出入管理システム（特許文献１）の転用などが用いられていた。
【０００４】
従来の技術では、次のようなセキュリティホールが存在する。
【０００５】
１、カードのよる出入管理システムを転用した場合、部外者の管理などカードでは出来なかったり、カードの盗難が大きな問題（セキュリティホール）となりうる。
【０００６】
２、カードによる方式では、人の把握をカード内に書き込まれた識別用ＩＤで行うため、居室内の人間の本人確認をリアルタイムで行うことができない。
【特許文献１】特開平４−２３８９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
この発明は、顔認証を中心に据えて認証対象者と認証非対象者の滞在時間あるいは在室時間の管理を一つのシステムで行うことができる入室管理システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の入室管理システムは、認証対象者の少なくとも顔を含む画像を登録する登録手段と、所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者か認証非対象者かを判断する判断手段と、この判断手段により判断された認証対象者と認証非対象者とに対する、それぞれの滞在時間を管理する管理手段とを有するものである。
【０００９】
この発明の入室管理システムは、認証対象者の少なくとも顔を含む画像を登録する登録手段と、所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、認証非対象者を示す情報を設定する設定手段と、上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの滞在時間を管理する管理手段とを有するものである。
【００１０】
この発明の入室管理システムは、認証対象者の少なくとも顔を含む画像を登録する登録手段と、 所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、認証非対象者を示す情報を設定する設定手段と、この設定手段により設定された認証非対象者を示す情報に対応して、上記撮像手段により撮像された少なくとも顔を含む画像を記憶する記憶手段と、上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの滞在状態を管理する管理手段と、この管理手段による管理状態により在室者を抽出し、この在室者に対応する顔を含む画像の一覧を表示する表示手段とを有するものである。
【００１１】
この発明の入室管理システムは、認証対象者の少なくとも顔を含む画像を登録する登録手段と、所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、認証非対象者を示す情報を設定する設定手段と、この設定手段により設定された認証非対象者を示す情報に対応して、上記撮像手段により撮像された少なくとも顔を含む画像を記憶する記憶手段と、上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの入室時間と滞在時間を管理する管理手段と、この管理手段による管理状態により滞在時間の超過者を抽出し、この滞在時間の超過者に対応する顔を含む画像の一覧を表示する表示手段とを有するものである。
【発明の効果】
【００１２】
以上のように、この発明によれば、顔認証を中心に据えて認証対象者と認証非対象者の滞在時間管理を一つのシステムで行うことができる入室管理システムを提供できる。
【発明を実施するための最良の形態】
【００１３】
以下、この発明の入室管理システムの一実施形態について図面を参照して説明する。
【００１４】
この入室管理システムは、建物や部屋等の出入口において、人間の入退室を顔画像により管理することにより、認証対象者としての社員（社内）と認証非対象者としての業者（社外）の在室時間管理を行うものである。
【００１５】
すなわち、入退出管理システムは、図１に示すように、出入口１の入口側に設けられ、扉開閉機能と顔画像照合機能とを有するゲート装置（入口装置）２と、出入口１の出口側に設けられ、扉開閉機能と顔画像照合機能とを有するゲート装置（出口装置）３と、通信回線４を介して接続される管理サーバ５と監視装置６から構成されている。
【００１６】
ゲート装置２（３）は、操作表示部１０、カメラ１１、人間検知部１２、扉開閉部１３、画像メモリ１４、メインメモリ１５、顔画像照合部１６、制御部１７、送信インターフェース１８により構成されている。
【００１７】
操作表示部１０は、種々の設定を行ったり、処理状況を案内表示するものであり、業者が許可コードを入力する際に用いるテンキーを有している。
【００１８】
カメラ１１は、人間検知部１２により人間が近づいたことが検知された際に、近づいた人間の少なくとも顔を含む画像を撮像する撮像部である。
【００１９】
人間検知部１２は、このゲート装置２に人間が近づいたことが検知するものである。
【００２０】
扉開閉部１３は、上記出入口１に設けられる扉の開閉を行うものである。画像メモリ１４は、カメラ１１からの撮像画像を記憶するものである。メインメモリ１５は、制御プログラムが記憶されているとともに、作業用のデータの記憶用に用いられるものである。
【００２１】
顔画像照合部１６は、上記認証対象者としての社員の顔画像に対する顔の特徴量としての特徴ベクトル（顔パターン）としてのテンプレートが社員番号とともにあらかじめ登録されている顔画像辞書１６ａと、カメラ１１からの撮像画像による顔画像に対する特徴ベクトル（顔パターン）と上記顔画像辞書１６ａの登録内容との比較照合により認証を行う認証部１６ｂとを有するものである。制御部１７は、ゲート装置２の全体を制御するものである。
【００２２】
なお、ゲート装置３における顔画像辞書１６ａには、ゲート装置２により入室した在室者のデータが登録されるようになっている。
【００２３】
この制御部１７は、カメラ１１により撮像した少なくとも顔を含む画像から顔画像に基づく特徴ベクトル（顔パターン：テンプレートに対応）を生成する処理を行うものである。
【００２４】
例えば、撮影した少なくとも顔を含む画像を画像メモリ１４に取り込み、取り込んだ画像全体から少なくとも顔を含む画像の領域を探索する。顔画像領域を検出すると、検出した顔画像領域内において、ほぼ円形領域とみなせる瞳領域と鼻孔領域を検出し、これらの検出した領域の中心位置を顔画像の特徴点として抽出する処理を行う。
【００２５】
このように特徴点を抽出すると、順番に特徴点の位置を基準とした照合領域の切出しを行う。これにより照合領域を切り出すと、各照合領域に対して幾何補正による大きさの正規化を行う。また、各照合領域に対して濃度補正による濃度分布の正規化を行う。これらの処理が完了すると、抽出された特徴点に基づいて顔画像の特徴量としての特徴ベクトル（顔パターン）を算出（生成）する。
【００２６】
制御部１７は、人間検知部１２によりゲート装置２に人間が近づいたことが検知された際に、カメラ１１により撮像した画像から顔画像の特徴ベクトル（顔パターン）を生成する処理を行うものである。また、制御部１７は、上記生成した顔画像の特徴ベクトルに対する顔画像照合部１６による認証処理により出入口１からの入退室を許可し、その顔画像と社員を示す情報と入室時刻を管理サーバ５へ送信するものである。
【００２７】
また、制御部１７は、顔画像による認証ができなかった際に、操作表示部１０により業者による許可コードの入力を案内し、この案内に応じてテンキーにより入力される許可コードの確認により出入口１からの入室を許可し、その顔画像と許可コードと入室時刻を管理サーバ５へ送信するものである。
【００２８】
管理サーバ５は、図示しない操作表示部と制御部とカメラによる撮像部とを有し、あらかじめ上記出入口１からの入退出が許可される利用者の少なくとも顔を含む画像をカメラにより撮影し、この少なくとも顔を含む画像に対する顔の特徴量としての顔画像の特徴ベクトル（顔パターン：テンプレートに対応）を、ゲート装置２、３の顔画像照合部１６内の顔画像辞書１６ａに登録するものである。上記顔画像辞書１６ａへの顔パターンを登録する際に、カメラにより撮影した画像を用いたが、写真等により取り込むようにしても良い。
【００２９】
管理サーバ５は、ゲート装置２、３から入退出する社員、業者等の滞在状態を管理するものであり、制御部２１とメモリ部２２とインターフェース部２３により構成されている。メモリ部２２には、滞在許可管理マスタ３１、在室者マスタ３２、入室拒否者リスト３３が設けられている。
【００３０】
滞在許可管理マスタ３１は、図２に示すように、社員、業者Ａ、業者Ｂ等の種別ごとの滞在許可時刻が登録されているものであり、たとえば、社員は２３：３０まで、業者Ａは入室後１時間、業者Ｂは入室後３時間に制限されている。
【００３１】
在室者マスタ３２は、図３に示すように、滞在制限時刻、入室時刻、ＩＤ（社員番号）、社員の有無、顔画像ファイルが登録されているものであり、たとえば、滞在制限時刻として２００４．０９．０５１８：３３が登録され、入室時刻として２００４．０９．０５が登録され、ＩＤ（社員番号）として０が登録され、社員の有無として０（業者）が登録され、顔画像ファイルとして０４０９０５．ＪＰＧが登録されている。
【００３２】
入室拒否者リスト３３は、図４に示すように、時刻と顔画像ファイルが登録されているものであり、たとえば、時刻として２００４．０８．０１が登録され、顔画像ファイルとして０４０１１０３．ＩＭＧ（画像ファイル）が登録されている。
【００３３】
監視装置６は、キーボード４１と表示部４２と制御部４３からなるパソコン等により構成され、このシステムの監視として滞在時刻の超過の監視を行うものであり、在室者マスタ３２から滞在時刻の超過しているものを抽出して、図５に示すような超過リストを生成し、この生成したリストの内容を表示部４２により、図６に示すように表示するものである。
【００３４】
次に、上記のような構成において、顔認証を行う社員と顔認証を行わない業者に対する出入口１からの入室処理を、図７、図８に示すフローチャートを参照しつつ説明する。
【００３５】
すなわち、人間検知部１２によりゲート装置２に人間が近づいたことが検知された際、この検知信号が制御部１７に供給される（ＳＴ１）。すると、制御部１７はカメラ１１により近づいた人間の少なくとも顔を含む画像を撮像し、画像メモリ１４に登録する（ＳＴ２）。これにより、制御部１７は、カメラ１１により撮像した画像から顔画像の特徴ベクトル（顔パターン）を生成する処理を行う（ＳＴ３）。
【００３６】
さらに、制御部１７は、撮像した画像からの顔画像の特徴ベクトルと社員の顔画像辞書１６ａに社員ごとに登録されている顔画像の特徴ベクトルとを照合する（ＳＴ４）。この照合の結果、制御部１７は、社員の顔画像辞書１６ａに登録されている全ての顔画像の特徴ベクトルとの照合度（類似度）が１つでも所定の値に達している場合（ＳＴ５）、上記出入口１からの入室の許可を判断し、扉開閉部１３を駆動し、社員が通過する間、扉を開ける（ＳＴ６）。
【００３７】
この際、社員は上記出入口１から入室する。
【００３８】
また、制御部１７は、その顔画像と顔画像の特徴ベクトルと社員を示す情報と入室時刻を管理サーバ５へ送信する（ＳＴ７）。
【００３９】
これにより、管理サーバ５はゲート装置２から供給される社員を示す情報により滞在許可管理マスタ３１から社員の滞在許可時刻を読出し（ＳＴ８）、この滞在許可時刻としての滞在許可制限時刻とゲート装置２から供給されるその顔画像と社員を示す情報と入室時刻に在室者番号（ユニークな番号）を付与して在室者マスタ３２に登録する（ＳＴ９）。また、管理サーバ５はゲート装置３に在室者情報として在室者番号が付与された顔画像の特徴ベクトルを送信する（ＳＴ１０）。これにより、ゲート装置３は管理サーバ５から供給される在室者番号が付与された顔画像の特徴ベクトルを顔画像辞書１６ａに登録する（ＳＴ１１）。
【００４０】
また、上記ステップ４において、制御部１７は、照合度が所定の値以上の顔画像の特徴ベクトルが社員の顔画像辞書１６ａに登録されていなかった場合、操作表示部１０により許可コードの入力を案内する（ＳＴ１２）。この案内に応じて業者が操作表示部１０のテンキーにより許可コードを入力する。これにより、制御部１７は、入力された許可コードが正しいと確認した際に（ＳＴ１３）、上記出入口１からの入室の許可を判断し（ＳＴ１４）、扉開閉部１３を駆動し、業者が通過する間、扉を開ける（ＳＴ１５）。
【００４１】
この際、業者は上記出入口１から入室する。
【００４２】
また、制御部１７は、その顔画像と顔画像の特徴ベクトルと業者Ａを示す許可コードと入室時刻を管理サーバ５へ送信する（ＳＴ１６）。
【００４３】
これにより、管理サーバ５はゲート装置２から供給される業者Ａを示す許可コードにより滞在許可管理マスタ３１から業者Ａの滞在許可時刻として入室後1時間を読出し（ＳＴ１７）、この滞在許可時刻と現在時刻から滞在許可制限時刻を演算し、この滞在許可制限時刻とゲート装置２から供給されるその顔画像と入室時刻に在室者番号（ユニークな番号）を付与して在室者マスタ３２に登録する（ＳＴ１８）。
【００４４】
また、管理サーバ５はゲート装置３に在室者情報として在室者番号が付与された顔画像の特徴ベクトル（ゲート装置２から供給される）を送信する（ＳＴ１９）。これにより、ゲート装置３は管理サーバ５から供給される在室者番号が付与された顔画像の特徴ベクトルを顔画像辞書１６ａに登録する（ＳＴ２０）。
【００４５】
また、業者Ｂの場合も業者Ａの場合と同様に、上記ステップ１２から２０により処理される。ただし、許可コードの内容が異なり、滞在許可時刻も入室後３時間となっている。
【００４６】
また、上記ステップ１１において、制御部１７は、正しい許可コードが確認されなかった際に、上記出入口１からの入室の不許可を判断し（ＳＴ２１）、扉開閉部１３を駆動せず、扉を締めたままとする。
【００４７】
また、制御部１７は、その顔画像と入室時刻を管理サーバ５へ送信する（ＳＴ２２）。
【００４８】
これにより、管理サーバ５はゲート装置２から供給される顔画像と入室時刻を入室拒否者リスト３３に登録する（ＳＴ２３）。
【００４９】
これにより、監視装置６の表示部４２によりアラーム表示が行われる（ＳＴ２４）。
【００５０】
次に、出入口１からの退室処理を、図９に示すフローチャートを参照しつつ説明する。
【００５１】
すなわち、人間検知部１２によりゲート装置３に人間が近づいたことが検知された際、この検知信号が制御部１７に供給される（ＳＴ３１）。すると、制御部１７はカメラ１１により少なくとも顔を含む画像を撮像し、画像メモリ１４に登録する（ＳＴ３２）。これにより、制御部１７は、カメラ１１により撮像した画像から顔画像の特徴ベクトル（顔パターン）を生成する処理を行う（ＳＴ３３）。
【００５２】
さらに、制御部１７は、撮像した画像からの顔画像の特徴ベクトルと顔画像辞書１６ａに登録されている在室者の顔画像の特徴ベクトルとを照合する（ＳＴ３４）。この照合の結果、制御部１７は、顔画像辞書１６ａに登録されている顔画像の特徴ベクトルとの照合度（類似度）が所定の値に達している場合（ＳＴ３５）、上記出入口１からの入室の許可を判断し、扉開閉部１３を駆動し、退室者が通過する間、扉を開ける（ＳＴ３６）。
【００５３】
この際、退室者は上記出入口１から退室する。
【００５４】
また、制御部１７は、その退室者に対応する顔画像辞書１６ａに登録されている顔画像の特徴ベクトルを削除し（ＳＴ３７）、在室者番号と退室を示す情報とを管理サーバ５に送信する（ＳＴ３８）。これにより、管理サーバ５はゲート装置３から供給される在室者番号の在室者情報を在室者マスタ３２から削除する（ＳＴ３９）。
次に、在室者の滞在時間が設定時刻を超過した際の処理について、図１０に示すフローチャートを参照しつつ説明する。
【００５５】
たとえば今、管理サーバ５の制御部２１は、在室者マスタ３２の各在室者情報の滞在制限時刻が現在の時間よりも超過しているかを調べ（ＳＴ４１）、図５に示すような、超過している在室者情報のリスト４１を内部メモリ２１ａに生成し（ＳＴ４２）、このリストに対応した超過している在室者情報を監視装置６へ送信する（ＳＴ４３）。また、制御部２１は、在室者マスタ３２の内容により社外入室者数と時間超過者数とを調べ監視装置６へ送信する（ＳＴ４４）。
【００５６】
これにより、監視装置６は、図６に示すように、表示部４２により滞在制限時刻が超過している在室者の顔画像と対応する超過時間を表示するとともに、社外入室者数と時間超過者数とを表示する（ＳＴ４５）。
【００５７】
この結果、滞在時間超過者の人数把握と該当者の顔画像の表示を監視装置の画面に表示し、厳密な管理を行うことができる。
【００５８】
また、監視装置により在室者一覧が指定された際に、管理サーバの在室者マスタ３２における在室者情報から読出した在室者全員の顔画像を表示部により表示できる。
【００５９】
なお、上記例では管理サーバが１つの出入口における入退室を管理する場合について説明したが、複数の出入口における入退室を管理するものであっても良い。ただし、この場合、管理サーバとゲート装置とのデータ伝送時にゲート装置を示す情報が付与され、在室者マスタも複数必要となる。
なお、上記例では、顔画像による生態情報を用いたが、指紋、網膜等の生態情報を用いるようにしても良い。
【００６０】
上記したように、顔認証を中心に据えて社員（認証対象者）と外来者（認証非対象者）の在室時間管理を一つのシステムで行うことができる。
【００６１】
また、正面から取った顔画像（確実に人間が見て分かるような顔の向き・大きさで撮像されている）で所在管理が確実にできる。在室者一覧や在室時間超過者一覧は、監視装置によりリアルタイムで顔画像を並べて表示することができる。
【００６２】
また、認証非対象者は、補助入力手段により、業者毎に「滞在許可時間管理マスタ」を使うことにより、認証対象者と同様に、時間管理が可能である。
【００６３】
また、在室時間超過者を顔画像で表示するので、人物を正確に特定した在室管理（監視）が可能である。
【００６４】
また、監視装置では、リアルタイムで在室者の顔画像を表示できるので、視認性が高い。
【図面の簡単な説明】
【００６５】
【図１】この発明の一実施形態を説明するための入室管理システムの概略構成を示す図。
【図２】滞在許可管理マスタを説明するための図。
【図３】在室者マスタを説明するための図。
【図４】入室拒否者リストを説明するための図。
【図５】超過リストを説明するための図。
【図６】超過リストの表示例を説明するための図。
【図７】入室処理を説明するためのフローチャート。
【図８】入室処理を説明するためのフローチャート。
【図９】退室処理を説明するためのフローチャート。
【図１０】在室者の滞在時間が設定時刻を超過した際の処理を説明するためのフローチャート。
【符号の説明】
【００６６】
１…出入口 ２．３…ゲート装置 ４…通信回線 ５…管理サーバ ６…監視装置 １０…操作表示部 １１…カメラ １２…人間検知部 １３…扉開閉部 １４…画像メモリ １５…メインメモリ １６…顔画像照合部 １６ａ…顔画像辞書 １６ｂ…認証部 １７…制御部 ２１…制御部 ２２…メモリ部 ２３…インターフェース部 ３１…滞在許可管理マスタ ３２…在室者マスタ ３３…入室拒否者リスト ４１…キーボード ４２…表示部 ４３…制御部。
【特許請求の範囲】
【請求項１】
認証対象者の少なくとも顔を含む画像を登録する登録手段と、
所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者か認証非対象者かを判断する判断手段と、
この判断手段により判断された認証対象者と認証非対象者とに対する、それぞれの滞在時間を管理する管理手段と、
を具備したことを特徴とする入室管理システム。
【請求項２】
認証対象者の少なくとも顔を含む画像を登録する登録手段と、
所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、
認証非対象者を示す情報を設定する設定手段と、
上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの滞在時間を管理する管理手段と、
を具備したことを特徴とする入室管理システム。
【請求項３】
認証対象者の少なくとも顔を含む画像を登録する登録手段と、
所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、
認証非対象者を示す情報を設定する設定手段と、
この設定手段により設定された認証非対象者を示す情報に対応して、上記撮像手段により撮像された少なくとも顔を含む画像を記憶する記憶手段と、
上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの滞在状態を管理する管理手段と、
この管理手段による管理状態により在室者を抽出し、この在室者に対応する顔を含む画像の一覧を表示する表示手段と、
を具備したことを特徴とする入室管理システム。
【請求項４】
認証対象者の少なくとも顔を含む画像を登録する登録手段と、
所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、
認証非対象者を示す情報を設定する設定手段と、
この設定手段により設定された認証非対象者を示す情報に対応して、上記撮像手段により撮像された少なくとも顔を含む画像を記憶する記憶手段と、
上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの入室時間と滞在時間を管理する管理手段と、
この管理手段による管理状態により滞在時間の超過者を抽出し、この滞在時間の超過者に対応する顔を含む画像の一覧を表示する表示手段と、
を具備したことを特徴とする入室管理システム。
【請求項１】
認証対象者の少なくとも顔を含む画像を登録する登録手段と、
所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者か認証非対象者かを判断する判断手段と、
この判断手段により判断された認証対象者と認証非対象者とに対する、それぞれの滞在時間を管理する管理手段と、
を具備したことを特徴とする入室管理システム。
【請求項２】
認証対象者の少なくとも顔を含む画像を登録する登録手段と、
所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、
認証非対象者を示す情報を設定する設定手段と、
上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの滞在時間を管理する管理手段と、
を具備したことを特徴とする入室管理システム。
【請求項３】
認証対象者の少なくとも顔を含む画像を登録する登録手段と、
所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、
認証非対象者を示す情報を設定する設定手段と、
この設定手段により設定された認証非対象者を示す情報に対応して、上記撮像手段により撮像された少なくとも顔を含む画像を記憶する記憶手段と、
上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの滞在状態を管理する管理手段と、
この管理手段による管理状態により在室者を抽出し、この在室者に対応する顔を含む画像の一覧を表示する表示手段と、
を具備したことを特徴とする入室管理システム。
【請求項４】
認証対象者の少なくとも顔を含む画像を登録する登録手段と、
所望の出入口から入室する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された少なくとも顔を含む画像と上記登録手段により登録されている少なくとも顔を含む画像とを照合することにより、認証対象者を判断する判断手段と、
認証非対象者を示す情報を設定する設定手段と、
この設定手段により設定された認証非対象者を示す情報に対応して、上記撮像手段により撮像された少なくとも顔を含む画像を記憶する記憶手段と、
上記判断手段により判断された認証対象者と上記設定手段により設定された認証非対象者とに対する、それぞれの入室時間と滞在時間を管理する管理手段と、
この管理手段による管理状態により滞在時間の超過者を抽出し、この滞在時間の超過者に対応する顔を含む画像の一覧を表示する表示手段と、
を具備したことを特徴とする入室管理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−９９４８６（Ｐ２００６−９９４８６Ａ）
【公開日】平成１８年４月１３日（２００６．４．１３）
【国際特許分類】
【出願番号】特願２００４−２８５４６９（Ｐ２００４−２８５４６９）
【出願日】平成１６年９月２９日（２００４．９．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１８年４月１３日（２００６．４．１３）
【国際特許分類】
【出願日】平成１６年９月２９日（２００４．９．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]