顔画像記録システム及び顔画像記録方法
【課題】 この発明は、リアルタイムで各入力端末における「なりすまし」を判断し、監視員が報知することができる。
【解決手段】 この発明は、入力端末２においてユーザが入力したＩＤ情報によるＩＤ認証で認証されたユーザの顔画像を撮影し、その顔画像を用いた顔照合により顔記録サーバ３で当該ユーザが本人であるか否かを確認するようにしたものである。
【解決手段】 この発明は、入力端末２においてユーザが入力したＩＤ情報によるＩＤ認証で認証されたユーザの顔画像を撮影し、その顔画像を用いた顔照合により顔記録サーバ３で当該ユーザが本人であるか否かを確認するようにしたものである。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、重要施設（部屋，フロア，建物など）の出入り管理やコンピュータあるいは端末などのアクセスにおけるカメラを用いた不正抑止、及びアクセス者の行動把握のためのシステムに関する。
【背景技術】
【０００２】
従来、カメラを用いて管理を行うシステムとしては主に２通りある。
一つは，銀行やコンビニエンスストアなどに設置されている監視システムである。この種の監視システムでは、カメラ（監視カメラ）により撮影されている人物の監視、あるいは、上記カメラにて撮影した画像の記録を行う。上記監視カメラからの映像は、別の場所にモニタリングされ、監視員によりチェックされる。ここでの中心技術は、最適な状態の人物や顔の画像を撮像する技術、撮像した画像を高速で伝送技術、あるいは撮像した画像を高圧縮で記録する技術などである。
【０００３】
もう一つは、人物に対する認証処理を行う認証システムである。この種の認証システムでは、被認証者の顔画像などの生体情報を用いて個人認証（本人確認）を行う。たとえば、あらかじめアクセス権利をもつユーザの顔画像パターンを登録しておき、アクセス時にユーザの顔画像をカメラより入力し，リアルタイムで登録画像パターンとの照合を行い、本人かどうかを判定する。顔画像パターンを用いる方法は、指紋に代表される生体情報に基づいた（バイオメトリクス）個人認証方法に属するが、離れた位置から非接触で入力でき、その顔画像と照合のために抽出された顔パターン特徴を履歴として残せるという利点がある。
【０００４】
しかしながら、従来の監視カメラを用いた監視システムでは、ユーザに自分の顔が撮像されていることをなるべく意識されないようにするために、監視カメラを一定距離だけ離した比較的高位置に設置する場合が多い。このような場合、必ずしも個人が特定可能な正面向きの顔画像が得られないなど人物の顔画像がいつも適性に撮像されないという問題がある。言いかえれば、入力の際のユーザ負担（使い勝手）という観点からは問題は少ないが、不正抑止力という点では、必ずしも強力とは言えないことがある。
【０００５】
一方、従来の個人認証（本人確認）システムでは、ユーザに意識して正面顔を入力してもらい、あらかじめ登録してある顔画像（もしくは顔パターン）データとの照合をリアルタイムに行ってアクセス管理を行う。このような顔画像入力による個人認証方法は、指紋などの他の生体照合方法と比較するとユーザにとってなじみ易く、顔画像を入力する際のユーザへの負担という点では優れている。しかしながら、人物を監視するシステムや人物の画像を録画するシステムと比較した場合、セキュリティレベルにおいてかなり高くなる反面、事前に顔画像パターンを登録する手間や、外光などの照明変動が認識性能に影響を与えるという点で使い勝手が悪いという問題点がある。
【０００６】
このように、従来のシステムでは、使い勝手とセキュリティレベルにおいて一長一短があり、両者のバランスにおいて中間的な装置あるいはシステムがこれまで存在せず、応用範囲が狭いという問題点がある。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】山口，福井，前田著、「動画像を用いた顔認識システム」，信学技法PRMU９７−５０，１９９７年６月
【非特許文献２】福井，山口著、「形状抽出とパターン照合の組合せによる顔特徴点抽出」，信学論D-II，Vol.J-80-D-II，No.8，１９９７年８月
【非特許文献３】佐藤俊雄ほか著、「立ち位置変動を考慮した顔照合セキュリティシステムFacePassの開発」、映像情報メディア学会誌・論文小特集「セキュリティのための情報メディア処理」，Vol.56，No.７，pp.1111−1117、２００２年7月
【非特許文献４】長尾真著、「画像認識論」、コロナ社、1983年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は，上記事情を考慮してなされたもので，その目的とするところは、顔照合による非接触性の利点を活かし、ユーザの使い勝手、及び利便性をできるだけ損なわないようにしながら，情報セキュリティや物理セキュリティにおけるセキュリティレベル及び不正抑止効果を高めることが可能なシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明の顔画像記録システムは、複数の地点に設置された複数の入力端末と、これらの入力端末からのデータを受信可能なサーバ装置とを有するものにおいて、前記入力端末は、各設置地点においてユーザの顔画像を入力する画像入力手段と、この画像入力手段により入力された顔画像データと、その撮影地点及び撮影時間を含む履歴情報とを前記サーバ装置へ送信する送信手段とを有し、前記サーバ装置は、前記入力端末から送信された顔画像データとその履歴情報とを記録する画像記録手段と、前記入力端末からの顔画像データを受信した場合、前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとを照合する照合手段と、この照合手段により前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとの照合が成功した場合、前記入力端末から受信した顔画像データと照合した顔画像データに対応する履歴情報を前記画像記録手段から読み出し、その履歴情報に含まれている撮影場所と撮影時間とに基づいて当該ユーザの行動の軌跡を表示する表示手段とを有する。
【発明の効果】
【００１０】
この発明によれば、顔照合による非接触性の利点を活かし、ユーザの使い勝手、及び利便性をできるだけ損なわないようにしながら，情報セキュリティや物理セキュリティにおけるセキュリティレベル及び不正抑止効果を高めることが可能な顔画像記録システムを提供できる。
【図面の簡単な説明】
【００１１】
【図１】この発明の各実施の形態に係る顔画像記録システムのモデルの一例を概略的に示す図。
【図２】この発明の各実施の形態に係る顔画像記録システムのモデルの一例を概略的に示す図。
【図３】ネットワーク型のシステム構成を示す図。
【図４】顔画像入力装置の外観構成例を示す図。
【図５】顔画像入力装置の設置例を示す側面図。
【図６】顔画像入力装置の制御系統としての全体構成を示す図。
【図７】顔記録サーバの構成例を概略的に示すブロック図。
【図８】第１の実施の形態に係る入力端末における顔画像の入力処理の流れを説明ためのフローチャート。
【図９】第１の実施の形態に係る入力端末における顔画像の入力処理の流れを説明ためのフローチャート。
【図１０】第１の実施の形態に係る顔記録サーバの動作を説明するためのフローチャート。
【図１１】第２の実施の形態に係る顔記録サーバでの処理の流れを説明するためのフローチャート。
【図１２】表示部の表示例を示す図。
【図１３】表示部の表示例を示す図。
【図１４】第４の実施の形態に係る顔記録サーバの動作を説明するためのフローチャート。
【図１５】表示部の表示例を示す図。
【図１６】第５の実施の形態に係わる入力端末の動作を説明するためのフローチャート。
【図１７】第５の実施の形態に係わる入力端末の動作を説明するためのフローチャート。
【図１８】行動記録レポートの表示例（構成例）を示す図。
【図１９】人物検知処理を説明するための図。
【図２０】第６の実施の形態に係る入力端末の動作を説明するためのフローチャート。
【図２１】第６の実施の形態に係る顔記録サーバ３の動作を説明するためのフローチャート。
【図２２】表示部の表示例を示す図。
【図２３】第７の実施の形態に係る顔記録サーバの動作を説明するためのフローチャート。
【図２４】第７の実施の形態に係る入力端末の動作を説明するためのフローチャート。
【発明を実施するための形態】
【００１２】
以下、この発明の第１〜第７の実施の形態について図面を参照して説明する。
まず、各実施の形態に共通な構成となるシステムについて説明する。
本発明の各実施の形態に係るシステムは、図１及び図２に示すように、大きく２つにモデル化できる。図１は、モデルＡのシステム構成を概略的に示す図であり、図２は、モデルＢのシステム構成を概略的に示す図である。
【００１３】
まず、モデルＡは、図１に示すように、ＩＤ認証装置１、顔画像入力装置２、顔記録サーバ３、及び、顔履歴データベース４などから構成されている。上記ＩＤ認証装置１は、ユーザが入力するＩＤ情報に基づいてＩＤ認証処理を行う。ここで、ユーザが入力するＩＤ情報としては、ＩＤカードに記憶されているＩＤ情報、あるいは、キー入力される情報（ＩＤ番号、パスワード）などの情報である。上記顔画像入力装置２は、ユーザの少なくとも顔を含む領域の画像（顔画像）を入力（撮影）し、その入力画像から顔の特徴パターンを検出したり、入力された画像に基づく顔画像データを上記顔記録サーバ３へ伝送したりするものである。上記顔記録サーバ３は、上記顔画像入力装置２から伝送された顔画像データを履歴情報とともに上記顔履歴データベース４に記録したり、上記顔履歴データベース４から特定の人物の顔画像データを検索したりするものである。上記顔履歴データベース４は、例えば、大容量磁気ディスクで構成される。
【００１４】
すなわち、モデルＡにおいて、ユーザは、まず、自身のＩＤ情報をＩＤカードあるいはキー入力により入力する。すると、上記ＩＤ認証装置１は、ユーザにより入力されたＩＤ情報に基づいてユーザ認証を行う。ここで、ユーザ認証としては、ユーザが本人であるか否かを判断するものであっても良いし、ユーザが誰であるかを判断するものであっても良い。
【００１５】
上記ＩＤ認証装置１によりユーザが認証されると、上記顔画像入力装置２は、図示しないカメラにて当該ユーザの顔画像を入力（撮影）する。当該ユーザの顔画像が顔画像データとして入力されると、上記顔画像入力装置２は、入力画像データから顔の特徴パターンを検出する。これにより、入力画像データから顔の特徴パターンを検出すると、上記顔画像入力装置２は、顔の特徴パターンが検出された入力画像データをその入力画像データの属性情報とともに、上記顔記録サーバ３へ伝送する。上記顔記録サーバ３では、上記顔画像入力装置２から伝送された入力された顔画像データとその属性情報とを上記顔履歴データベース４に記録する。
【００１６】
また、モデルＢは、図２に示すように，上記モデルＡのＩＤ認証装置１が省略された構成となっており、上記のようなモデルＡでのＩＤ情報によるユーザ認証を省略される。
すなわち、モデルＢでは、まず、上記顔画像入力装置２によりユーザの顔画像を撮影する。当該ユーザの顔画像を入力すると、上記顔画像入力装置２は、入力された画像に基づく顔画像データから顔の特徴パターンを検出する。これにより、入力画像データから顔の特徴パターンを検出すると、上記顔画像入力装置２は、顔の特徴パターンが検出された入力画像データをその入力画像データの属性情報とともに、上記顔記録サーバ３へ伝送する。上記顔記録サーバ３では、上記顔画像入力装置２から伝送された入力画像データとその属性情報とを上記顔履歴データベース４に記録する。
【００１７】
なお、モデルＡ及びモデルＢの実現形態としては、顔画像入力装置２の機能と顔記録サーバ３の機能と有する一体型の装置（スタンドアロン型）で構成されるようにしても良いし、図３に示すように、複数の顔画像入力装置２に対してネットワークを介して顔記録サーバ３が接続されているシステム（ネットワーク型）で構成されるようにしても良い。
【００１８】
以下の説明では、本システム全体が、図３に示されるようなネットワーク型で構成されるものとする。すなわち、本システムにおいて、各顔画像入力装置（端末）２は、顔画像データをその履歴情報とともに上記顔記録サーバ３へ伝送する。上記顔記録サーバ３は、各顔画像入力装置２から送られてくる顔画像データと履歴情報を顔記録サーバ３に接続されている顔履歴データベース４に蓄える。また、上記顔記録サーバ３では、管理者（監視員）の操作により指定された人物の顔データの検索（トラッキング）を行うようになっている。
【００１９】
次に、上記顔画像入力装置２について説明する。
図４は、上記顔画像入力装置２の外観構成例を示す図である。また、図４では、上記顔画像入力装置２の制御に基づいて動作する機器の例として自動ドア及び電気錠が示されている。
図４に示す構成では、顔画像入力装置２が操作部１１と処理部１２とにより構成されている。上記操作部１１には上記処理部１２が接続され、上記処理部１２には自動ドア及び電気錠を制御する電気錠制御部が接続されている。
【００２０】
上記操作部１１には、図４に示すように、表示部（ディスプレイ）２１、カメラ２２、スピーカ２３、テンキー２４などが組み込まれている。
上記表示部２１は、例えばカラー液晶表示装置により構成される。上記表示部２１には、上記カメラ２２から入力された画像上に顔領域の検出結果（例えば、顔領域を表す円図形で示す）を重ねて表示される。上記カメラ２２は、ユーザの少なくとも顔を含む領域の画像（顔画像）を複数枚撮影（入力）する。上記テンキー２４は、ＩＤ情報などを入力するキーである。上記スピーカ２３は、上記処理部１２からの音声データを再生するものであり、音声ガイドなどを行う。なお、図４に示す顔画像入力装置２をモデルＢに適用する場合には、上記テンキー２４は省略しても良い。
【００２１】
また、上記処理部１２は、上記カメラ２２により入力された画像データから顔の特徴量を検出する顔検出、上記カメラ２２を制御するカメラ制御、上記テンキー２４を制御するテンキー制御、上記自動ドアあるいは上記電気錠制御を介して電気錠を制御するドア制御、上記カメラ２２からの入力画像データを外部に伝送する画像伝送、上記カメラ２２からの入力画像データを記憶装置に記憶する画像記録などの機能を有している。
【００２２】
図５（ａ）、（ｂ）は、顔画像入力装置２の設置例を示す側面図である。
図５（ａ）は、壁掛けタイプの操作部１１を有する顔画像入力装置２の設置例を示す側面図である。図５（ａ）では、図４に示すように構成された操作部１１が壁に掛けて設置されている。このような構成では、操作部１１の正面に立つ利用者Ｐの顔は、斜め下方からカメラ２２によって撮影されるようになっている。また、操作部１１はケーブルを介して処理部１２に接続されている。
【００２３】
また、図５（ｂ）は、据え置きが可能なポール型の顔画像入力装置２の例である。図５（ｂ）に示す構成例では、ポール形状の筐体に表示部２１、及びカメラ２２などの操作部１１の構成が設けられるともに、筐体内に処理部１２が設置される。また、図５（ｂ）に示す構成において、ポール形状の筐体の高さは、人間の身長に合わせて、例えば、１４０〜１５０ｃｍに設定される。すなわち、図５（ｂ）に示す構成のポール形状の筐体は、ユーザの正面向きの顔を安定して撮影できる上記カメラ２２の取り付け位置を確保できる高さがあれば良く、そのカメラ２２の近傍に表示部２１が設置される。
【００２４】
また、図５（ａ）、（ｂ）に示すような構成の顔画像入力装置２がネットワーク型のシステムに適用される場合、上記処理部１２には、無線ＬＡＮやブルートゥースなどの無線通信による上記顔記録サーバ３との無線通信機能（送信手段）を設けるようにしても良い。このように顔画像入力装置２に無線通信機能を搭載することによりネットワーク回線や顔記録サーバ３と接続するための配線の手間を省くことができ、顔画像入力装置２の設置や増設などが容易となる。
【００２５】
図６は、顔画像入力装置の制御系統としての全体構成を示す図である。
上記顔画像入力装置２は、図６に示すように、ユーザインターフェースとしての操作部１１と処理部１２とから構成されている。また、上記顔画像入力装置２は、ＬＡＮを介して上記顔記録サーバ３及びプリンタなどに接続されている。上記顔画像入力装置２の操作部１１は、例えば、図４に示すような外観構成からなり、ディスプレイ２１、カメラ２２、スピーカ２３、テンキー２４などを有している。また、図６に示す構成例では、上記カメラ２２により撮影するユーザの顔を照明する照明手段を図示していないが、上記カメラ２２の近傍などにユーザの顔を照明する照明手段を設けるようにしても良い。
【００２６】
また、上記顔画像入力装置２の処理部１２は、処理プロセッサ３１、ワークメモリ３２、プログラムメモリ３３、Ｉ／Ｏボード３４、キャプチャボード３５、ディスクインターフェース３６、ＬＡＮインターフェース３８、及びシステムバス３９から構成されている。さらに、上記キャプチャボード３５は、Ａ／Ｄ変換回路４１、及び画像メモリ４２を有している。
【００２７】
上記処理プロセッサ３１は、種々の処理を実行することにより、顔画像入力装置２全体の制御を行うものである。上記ワークメモリ３２は、処理中の画像データやその他のデータなどを一時的に記憶するメモリである。上記プログラムメモリ３３は、制御用のプログラムなどが記憶されるメモリである。上記処理プロセッサ３１は、上記プログラムメモリ３３に記憶されている制御プログラムに基づいて種々の機能を実現するようになっている。例えば、上記処理プロセッサ３１は、各カメラに対し制御信号を送って顔画像データを取込み，そのデータに対しワークメモリ３２を使いながら顔画像データの登録処理を行う。
【００２８】
上記Ｉ／Ｏボード３４は、種々のインターフェースとして機能し、上記ティスプレイ２１、上記スピーカ２３、及び上記テンキー２４などに接続される。上記キャプチャボード３５は、上記カメラ２２で撮影された画像を処理部１２内に取り込む際のインターフェースである。上記キャプチャボード３５内のＡ／Ｄ変換回路４１は、上記カメラ２２で撮影されたアナログ信号からなる画像データを取り込んでデジタル信号の画像データに変換するものである。上記画像メモリ３４は、画像データを一旦蓄えるバッファリングするメモリである。上記画像メモリ３４には、上記カメラ２２で撮影され、上記Ａ／Ｄ変換回路４１によりＡ／Ｄ変換された画像データが蓄積される。なお、上記カメラ２２がＵＳＢ（ユニバーサル・シリアル・バス）インターフェースを備えている場合、Ａ／Ｄ変換回路４１は不要でＵＳＢインターフェースを持たせれば良い。
【００２９】
上記ディスクインターフェース３６は、上記磁気ディスク（記録装置）３７に対するデータの読出し、或は、書込みを行うものである。上記磁気ディスク３７は、上記カメラ２２から入力した入力画像データや入力画像データの履歴情報などを記憶する。また、上記磁気ディスク３７は、一時的なバッファメモリとしても機能する。上記ＬＡＮインターフェース３８は、ＬＡＮとの接続するためのインターフェースである。上記システムバス３９は、制御データや画像データなどデータを送受信するデータバスである。上記システムバス３９は、上記処理プロセッサ３１、ワークメモリ３２、プログラムメモリ３３、Ｉ／Ｏボード３４、キャプチャボード３５内の画像メモリ４２、ディスクインターフェース３６、及びＬＡＮインターフェース３８に接続されている。
【００３０】
また、当該顔画像入力装置２がモデルＡの形態で利用される場合、上記磁気ディスク３７には、各ユーザのＩＤコード及びパスワードなどのＩＤ情報が記憶されるＩＤ情報テーブル３７ａが設けられ、上記プログラムメモリ３３には、ＩＤ情報による認証（ＩＤ認証）を行うための制御プログラムが記憶される。これにより、当該顔画像入力装置２がモデルＡの形態で利用される場合、上記処理プロセッサ３１は、上記ＩＤ認証部１として、ユーザがテンキー２４などにより入力したＩＤ情報と上記ＩＤ情報テーブル３７ａに記憶されているＩＤ情報との照合を行うことによりユーザに対するＩＤ認証を行う。
【００３１】
また、上記処理プロセッサ３１が上記プログラムメモリ３３に記憶されている制御プログラムに基づいて実現する機能としては、特徴量抽出処理、情報生成処理、画像処理、及び画像伝送処理などがある。
上記特徴量抽出処理は、上記カメラ２２で撮影した画像から顔の特徴量（特徴パターン）を抽出する処理である。上記情報生成処理は、上記カメラ２２で撮影した画像に関する属性情報（撮影時間等）を生成する処理である。また、上記処理プロセッサ３１が実行する画像処理は、例えば、上記カメラ２２で撮影した画像に対して、顔領域を切り出す処理、画像濃度の補正処理、正規化処理、あるいは画像圧縮処理などである。上記画像伝送処理は、上記カメラ２２にて撮影した画像に基づく顔画像データをその履歴情報とともに上記顔記録サーバ３へ転送する処理である。
【００３２】
次に、上記顔記録サーバ３の構成例について説明する。
図７は、顔記録サーバ３の構成例を概略的に示すブロック図である。
図７に示すように、上記顔記録サーバ３は、制御部５１、プログラムメモリ５２、ワークメモリ５３、磁気ディスクインターフェース５４、表示部５５、操作部５６、ＬＡＮインターフェース５７などを有している。
【００３３】
上記制御部５１は、顔記録サーバ３全体の制御を司る。上記プログラムメモリ５２は、制御用のプログラムなどが記憶されるメモリである。上記ワークメモリ５３は、処理中の画像やデータなどを一時的に記憶するメモリである。上記磁気ディスクインターフェース５４は、上記顔履歴データベース４にアクセスするためのインターフェースである。
【００３４】
上記表示部５５は、表示装置により構成され、上記顔履歴データベース４の検索結果などを表示する。上記操作部８３は、キーボード或はマウス等の入力装置により構成され、当該顔記録サーバ３を操作する監視員からの操作指示などが入力される。上記ＬＡＮインターフェース５７は、上記ＬＡＮを介して上記顔画像入力装置２とのデータの送受信を行うためのインターフェースである。
【００３５】
上記顔記録サーバ３では、上記制御部５１が上記プログラムメモリ５２に記憶されている制御プログラムに基づいて動作することにより種々の処理を実現している。例えば、上記顔記録サーバ３では、上記顔画像入力装置２からの顔画像をその履歴とともに上記顔履歴データベース４に記録する機能と、上記顔履歴データベース４に記憶されている情報を検索する機能を有している。
【００３６】
以下、上記のように構成されるシステムをベースとして実現される７つの実施の形態について説明する。
まず、第１の実施の形態について説明する。
この第１の実施の形態は、上記モデルＡのネットワーク型システムに適用されるものである。また、この第１の実施の形態の実現形態としては、一体型装置であっても良いし、ネットワーク型のシステムであっても良い。
以下に説明する第１の実施の形態では、複数の地点にＩＤ認証機能を有する顔画像入力装置（以下、入力端末と呼ぶ）２が設置され、これらの入力端末が無線ＬＡＮなどのネットワークを介して、監視員あるいは管理者が操作する顔記録サーバ３に接続されているものとする。
【００３７】
まず、第１の実施の形態に係る入力端末２における顔画像の入力処理について説明する。
図８は、第１の実施の形態に係る入力端末２における顔画像の入力処理の流れを説明ためのフローチャートである。図８に示す処理は、各入力端末の上記処理プロセッサ３１により実行されるものである。
まず、入力端末２が設置されている地点のユーザは、上記操作部１１のテンキー２４により当該ユーザのＩＤ情報としてＩＤコードとパスワードとを入力する。なお、ＩＤコードは、各ユーザに対して管理者側が予め提供するものであり、パスワードは、各ユーザが登録時などに自由に設定するものであるとする。
【００３８】
ユーザによりＩＤ情報（ＩＤコード及びパスワード）が入力されると、上記処理プロセッサ３１は、ＩＤ情報による認証処理（ＩＤ認証）を行う（ステップＳ１１）。このＩＤ認証において、上記処理プロセッサ３１は、ユーザが入力したＩＤ情報（ＩＤコード及びパスワード）と上記磁気ディスク３７のＩＤ情報テーブル３７ａに記憶されているＩＤ情報（各ユーザのＩＤコード及びパスワード）とを照合する。
【００３９】
この照合によりユーザが入力したＩＤ情報と一致するＩＤ情報がＩＤ情報テーブル３７ａに存在しない場合（ステップＳ１１、失敗）、上記処理プロセッサ３１は、当該ユーザに対するＩＤ認証が失敗したと判断する。このようにＩＤ認証が失敗した場合、上記処理プロセッサ３１は、ユーザが入力したＩＤ情報が認証されなかった旨を上記表示部２１に表示し、当該ユーザのアクセスをリジェクトする。
【００４０】
上記照合によりユーザが入力したＩＤ情報と一致するＩＤ情報がＩＤ情報データベース３７ａに存在した場合（ステップＳ１１、成功）、上記処理プロセッサ３１は、当該ユーザに対するＩＤ認証が成功したと判断する。このようにＩＤ認証が成功した場合、上記処理プロセッサ３１は、例えば、上記表示部２１にユーザが入力したＩＤ情報が認証された旨を表示するとともに、少なくとも正面向きの顔を含む画像（顔画像）を上記カメラ２２にて撮影することを当該ユーザに対して促す。このような案内とともに、上記処理プロセッサ３１は、上記カメラ２２によりユーザの顔画像を入力する画像入力処理を行う（ステップＳ１２）。
【００４１】
上記画像入力処理では、上記処理プロセッサ３１の制御によりカメラ２２が１フレーム分の画像を撮影し、撮影した画像をキャプチャボード３５によって上記処理部１２内に取り込む。上記カメラ２２が撮影した顔画像を顔画像データとして処理部１２内に取り込むと、上記処理プロセッサ３１は、取り込んだ画像データ全体から顔の特徴点を検出することにより顔検出処理を行う（ステップ１３）。この顔検出処理では、上記カメラ２２により取り込んだ画像データ（入力画像データ）から粗く顔画像領域を探索し、続いて細かく顔領域内の瞳領域中心点と鼻孔領域中心点との４つの特徴点を顔の特徴点として検出する処理である。
【００４２】
このような顔検出処理において入力画像から顔の特徴点が検出できなった場合、つまり、顔の検出に失敗した場合（ステップＳ１３、失敗）、上記処理プロセッサ３１は、当該ユーザのアクセスをリジェクトする。この場合、上記処理プロセッサ３１は、上記ステップＳ１２の画像入力処理へ戻り、再度、顔画像を撮影して顔検出処理を行う。
【００４３】
また、上記顔検出処理により入力画像から顔の特徴点が検出できた場合、つまり、顔の検出に成功した場合（ステップＳ１３、成功）、上記処理プロセッサ３１は、検出した顔の特徴点に基づいて顔パターン領域の切出処理を行う（ステップＳ１４）。
【００４４】
この切出処理により入力された顔画像データから顔パターン領域を切り出すと、上記処理プロセッサ３１は、顔パターン領域の画像データに対して正規化処理を行う（ステップＳ１６）。この正規化処理では、顔パターン領域の画像データに対して幾何補正および濃度補正を行う。これらの処理が完了すると、処理プロセッサ３１は、抽出された特徴点に基づいて顔の特徴量としての特徴ベクトル（顔パターン）を算出（生成）する（ステップＳ１６）。
【００４５】
当該ユーザの顔の特徴量としての特徴ベクトルを算出すると、上記処理プロセッサ３１は、履歴情報の生成処理として当該ユーザのＩＤ情報、撮影時間、及び、撮影地点などからなる履歴情報を生成する。この履歴情報の生成処理により履歴情報を生成すると、上記処理プロセッサ３１は、当該履歴情報、撮影した画像、及びその画像から算出した特徴ベクトルなどからなる顔履歴情報を上記顔記録サーバ３へ伝送する伝送処理を実行する（ステップＳ１７）。なお、この伝送処理において上記顔記録サーバ３へデータを伝送する際、上記処理プロセッサ３１は、上記磁気ディスク３７を一時バッファとして用いる。
【００４６】
また、図８に示す動作例では、上記カメラ２２にて撮影した１フレームの顔画像を対象としているが、あらかじめ設定した複数枚（Ｎ枚）のフレームを収集するようにしてもよい。この場合の入力端末２の動作は、図９に示すように、顔の特徴点の検出に成功したフレームの数が少なくともＮ枚になるまで、図８のステップＳ１２及びステップＳ１３の処理を繰返し行うものである。
【００４７】
すなわち、図９に示す動作例では、まず、上記ステップＳ１２で画像を入力すると、上記処理プロセッサ３１は、上記カメラ２２から入力したフレーム数（入力フレーム数）がＴとなったか否かを判断する。この判断により入力フレーム数がＴに達していないと判断した場合、上記処理プロセッサ３１は、当該入力フレームの画像に基づく画像データに対して顔検出処理を行う（ステップＳ２２）。この顔検出処理により顔の特徴点が検出できなかった場合（ステップＳ２２、失敗）、上記処理プロセッサ３１は、上記ステップＳ１２へ戻り、上記カメラ２２から次のフレームの画像を入力する。
【００４８】
また、上記顔検出処理により顔の特徴点が検出できた場合（ステップＳ２２、成功）、上記処理プロセッサ３１は、当該フレームの画像を受理し、そのフレーム（受理フレーム）の画像を上記磁気ディスク３７などの記憶手段に蓄積する。当該フレームを受理すると、上記処理プロセッサ３１は、受理フレームが所定数（Ｍ）に達したか否かを判断する（ステップＳ２３）。この判断により受理フレーム数がＭに達していないと判断した場合、上記処理プロセッサ３１は、上記ステップＳ１２へ戻り、上記カメラ２２から次のフレームの画像を入力する。また、上記判断により受理フレーム数がＭに達したと判断した場合、上記処理プロセッサ３１は、蓄積した受理フレームの対する処理を行うステップＳ２５へ進む。
【００４９】
また、上記ステップＳ２１で、入力フレーム数がＴに達したと判断した場合、上記処理プロセッサ３１は、それまでに受理した受理フレーム数がＮ以上であるか否かを判断する（ステップＳ２４）。この判断により受理フレーム数がＮ以上でないと判断した場合、上記処理プロセッサ３１は、当該ユーザに対する顔画像の入力処理をリジェクトする。また、上記判断により受理フレーム数がＮ以上であると判断した場合、上記処理プロセッサ３１は、上記ステップＳ２５へ進む。
【００５０】
上記ステップＳ２５では、受理フレームとして上記磁気ディスク３７などの記録手段に蓄積された複数の画像に対して上記ステップＳ１４〜Ｓ１６の処理を行う。すなわち、上記処理プロセッサ３１は、顔の特徴点が検出できた画像が少なくともＮ以上獲得できた場合に、それらの画像に対して顔パターン領域の切出処理、画像正規化処理、及び特徴ベクトルの算出処理を行う。
【００５１】
上記ステップＳ２５の処理が完了すると、上記処理プロセッサ３１は、入力した一群の顔画像データに対するユーザのＩＤ情報、撮影時間及び撮影地点などからなる履歴情報を生成する。このような履歴情報を生成すると、上記処理プロセッサ３１は、当該履歴情報、受理した全ての顔画像データ、及びそれらの顔画像データから算出した特徴ベクトルなどからなる顔履歴情報を上記顔記録サーバ３へ伝送する（ステップＳ１７）。
【００５２】
なお、上記顔記録サーバ３に伝送する画像のフレーム数は多ければ多いほど、上記顔記録サーバ３での顔検索の精度を上げることができる。しかしながら、上記入力端末２で収集すべき顔画像データのフレーム数が多くなればなるほど、顔画像の入力（登録）処理に時間がかかることとなる。そこで、図９に示す動作例では、パラメータＭを導入し，ユーザが入力端末での処理として許容できる範囲の入力フレーム数を設定しておき、その入力フレーム数内において、Ｎ枚からＭ枚までのフレーム数（少なくともＮ以上のフレーム）の画像を収集するようになっている。
【００５３】
また、図８及び図９の動作説明においては、上記表示部に表示される案内や上記スピーカによる音声ガイダンスなどに関する処理は省略しているが、画像入力処理時に、ユーザに対して顔の正面をカメラ２２に向けるようなガイダンスを行ったり、顔検出に成功した場合にユーザにアクセス許可を報知したり、逆に失敗した場合にユーザのアクセスを拒否したり、ユーザにリトライを促すといったことを行うようにしても良い。
【００５４】
次に、第１の実施の形態に係る顔記録サーバ３の動作について説明する。
図１０は、第１の実施の形態に係る顔記録サーバ３の動作を説明するためのフローチャートである。
まず、上記顔記録サーバ３は、上記入力端末２からの顔履歴情報を受信する（ステップＳ３１）。ここでは、上記入力端末２から受信した顔履歴情報には、少なくともユーザのＩＤ情報と当該ユーザの顔画像データから抽出した顔の特徴パターン（顔パターン）とを含まれているものとする。
【００５５】
上記入力端末２か顔履歴情報を受信した場合、上記顔記録サーバ３の制御部５１は、受信した顔履歴情報をそのＩＤ情報に対応づけて顔履歴データベース４に記録する（ステップＳ３２）。さらに、上記制御部５１は、当該顔履歴情報がそのＩＤ情報に対応する最初の顔履歴情報か否かを判断する（ステップＳ３３）。
【００５６】
この判断により当該顔履歴情報がそのＩＤ情報に対応する最初の顔履歴情報であると判断した場合、つまり、当該顔履歴情報と同じＩＤ情報の顔履歴情報が存在しない場合、上記制御部５１は、当該顔履歴情報に含まれている顔パターンをそのＩＤ情報に対応するユーザの代表顔パターンとして上記顔履歴データベース４に記録する（ステップＳ３４）。ここで、代表顔パターンとは、各ユーザの顔パターンを代表するものであるとする。また、上記代表顔パターンは、新たに取得した顔パターンを用いて照合処理（同定処理）を行う場合に、各ユーザの辞書データとしての顔パターンとして用いられる。
【００５７】
また、上記ステップＳ３３で、当該顔履歴情報がそのＩＤ情報に対応する最初の顔履歴情報でないと判断した場合、つまり、当該顔履歴情報と同じＩＤ情報の顔履歴情報が既に顔履歴データベース４に存在している場合、上記制御部５１は、既に上記顔履歴データベース４に記録されている当該顔履歴情報のＩＤ情報に対応する顔パターン（代表顔パターン）と当該顔履歴情報の顔パターンとの照合（同定）処理を行う（ステップＳ３５）。この照合処理の結果としては、当該顔履歴情報の顔パターンと代表顔パターンとの照合度が算出される。
【００５８】
なお、顔パターンの照合処理の具体的な処理方法としては、文献３に記載されているような「相互部分空間法」を適用できる。さらに、顔パターン照合の方法としては、デジタル画像処理やパターン認識分野で知られている従来技術（例えば、特徴ベクトル間の「相関法」や文字認識などで使われている「部分空間法」など）を適用することができる。
【００５９】
上記照合処理の結果としての照合度が算出されると、上記制御部５１は、算出した照合度が所定の閾値以上か否かを判断する（ステップＳ３６）。この判断により照合度が所定の閾値以上であると判断した場合、上記制御部５１は、当該ユーザが本人でない（「なりすまし」である）と判断し、上記表示部５５あるいは図示しないアラーム等により監視員に対して当該ユーザが「なりすまし」である旨を報知する。
【００６０】
なお、ユーザが「なりすまし」であると判断した場合、上記ステップＳ３２で上記顔履歴データベース４に記録した当該顔履歴情報には、当該ユーザが「なりすまし」である旨、あるいは、当該顔履歴情報が無効である旨が記録される。また、このような場合には当該顔履歴情報を上記顔履歴データベース４から削除するようにしても良い。
【００６１】
ここで、「なりすまし」とは、上記入力端末２でＩＤ認証を行った人物が他のユーザになりすましていることである。従って、「なりすまし検知」とは、上記入力端末２でＩＤ認証を行った人物が他のユーザになりすましていないかを上記入力端末２で撮影された顔画像（顔画像データ）に基づいて判断するものである。
【００６２】
また、上記判断により照合度が所定の閾値以上でないと判断すると、上記制御部５１は、当該ユーザが本人である（「なりすまし」でない）と判断する。これにより当該ユーザが本人であると判断した場合、上記制御部５１は、当該顔履歴情報の顔パターンにより当該ユーザの代表顔パターンを更新する処理を行う（ステップＳ３８）。
【００６３】
また、上記代表顔パターンの更新処理では、代表顔パターンを当該顔履歴情報の顔パターンに書き換えるようにしても良し、既存の代表顔パターンと当該顔履歴情報の顔パターンとから平均的な顔パターンを生成して代表顔パターンとするようにしても良い。前者の場合は、当該顔履歴情報の顔パターンが最新のユーザの顔パターンであるので、ユーザの代表顔パターンが常に最新の顔パターンに書き換えることができるという利点がある。また、後者の場合は、既存の代表顔パターンと最新の顔パターンとに基づいて代表顔パターンが更新されていくため、質の高い代表顔パターンを生成することができるという利点がある。
【００６４】
なお、当該顔履歴情報の顔パターンが安定した状態の顔パターンでないと判断できる場合には、当該ユーザの代表顔パターンの更新処理を行わないようにしても良い。また、上記ステップＳ３８では代表顔パターンの更新を行わずに、別途、管理者が上記顔履歴データベース４に記録されている顔パターンから代表顔パターンとするものを対話的に指定するようにしても良い。
【００６５】
上記のように、上記第１の実施の形態では、入力端末２においてユーザが入力したＩＤ情報によるＩＤ認証で認証されたユーザの顔画像を撮影し、その顔画像に基づく顔画像データを用いた顔照合により顔記録サーバで当該ユーザが本人であるか否かを確認するようにしたものである。
【００６６】
すなわち、上記第１の実施の形態では、上記顔記録サーバが、各入力端末から送られてきた顔履歴情報に含まれるＩＤ情報に基づいて、同じＩＤ情報をもった過去の履歴情報の顔画像データと当該顔履歴情報の顔画像データとの照合処理を行い、この照合処理により当該顔履歴情報の人物が本人であると確認（同定）されなければ、「なりすまし（本人ではない）」と判定して監視員に報知するようにしたものである。
【００６７】
これにより、第１の実施の形態によれば、リアルタイム（複数の入力端末からの顔履歴情報に基づいて処理を行うための多少の時間遅れとしての準リアルタイムも含めるものとする）で各入力端末における「なりすまし」を顔記録サーバにて判断し、監視員に報知することがきる。
【００６８】
以下、第２の実施の形態について説明する。
この第２の実施の形態は、例えば、上記モデルＢのネットワークシステムに適用される。また、第２の実施の形態の実現形態としては、一体型装置であっても良いし、ネットワーク型のシステムであっても良い。この第２の実施の形態では、リアルタイムで当該ユーザの顔履歴情報の一覧（「１地点追跡」結果）をモニタリングするシステムである。
【００６９】
なお、この第２の実施の形態は、入力端末としての顔画像入力装置の外観構成やシステム全体構成などは、上記第１の実施の形態と同じものであるとする。但し、この第２の実施の形態では、入力端末２でのＩＤ認証（キーイン入力及びそのコード処理）が不要となる（モデルＢを対象とする）ため、上記テンキー２４等のＩＤ認証に係る構成は省略しても良い。
【００７０】
この第２の実施の形態では、上記顔履歴データベース４に記録される顔履歴情報は、ユーザごとの顔履歴情報のグループとしてのクラスタごとに記録される。従って、上記顔履歴データベース４に記録される顔履歴情報には、ユーザごとに割り当てられるクラスタ番号が付与され、クラスタごとにグループ化される。また、各クラスタには、そのユーザの代表的な顔パターンとして代表顔パターンが定義されている。
【００７１】
次に、第２の実施の形態に係る入力端末２の動作について説明する。
上記第２の実施の形態において、上記入力端末２は、ＩＤ認証以外の動作は上記第１の実施の形態とほぼ同様な動作を行う。すなわち、第２の実施の形態の入力端末２では、図８又は図９に示す動作から上記ステップＳ１１の動作を省略した動作を行う。このため、上記入力端末２は、ユーザのＩＤ情報を含まない顔履歴情報を生成して上記顔記録サーバ３へ伝送するようになっている。
【００７２】
次に、第２の実施の形態に係る顔記録サーバ３の動作について説明する。
図１１は、第２の実施の形態に係る顔記録サーバ３での処理の流れを説明するためのフローチャートである。
【００７３】
まず、上記顔記録サーバ３は、上記入力端末２からの顔履歴情報を受信する（ステップＳ４１）。ここでは、上記入力端末２から受信した顔履歴情報には、当該ユーザの顔画像から抽出した顔の特徴パターン（顔パターン）が含まれているが、ユーザのＩＤ情報は含まれないものとする。
【００７４】
上記入力端末２から顔履歴情報を受信した場合、上記顔記録サーバ３の制御部５１は、受信した顔履歴情報が当該顔記録サーバ３が最初に受信した顔履歴情報か否かを判断する（ステップＳ４２）。この判断により最初の顔履歴情報と判断した場合、つまり、上記顔履歴データベース４に顔履歴情報が蓄積されていない場合（ステップＳ４２、ＹＥＳ）、上記制御部５１は、後述するステップＳ４６へ進む。
【００７５】
また、上記判断により最初の顔履歴情報でないと判断した場合、つまり、上記顔履歴データベース４に顔履歴情報が蓄積されていると判断した場合（ステップＳ４２、ＮＯ）、上記制御部５１は、受信した顔履歴情報の顔パターンと顔履歴データベース４に蓄積されている各クラスタの代表顔パターンとの照合処理を行う（ステップＳ４３）。この照合処理では、受信した顔履歴情報の顔パターンと各クラスタの代表顔パターンとの照合度をそれぞれ算出し、それらの照合度のうち最大照合度を照合結果とする。また、上記顔履歴情報に顔画像を入力した入力端末を示す端末ＩＤを含めておき、上記照合処理においては、受信した顔履歴情報の顔パターンと照合するクラスタを当該顔履歴情報と同じ端末ＩＤの顔履歴情報を有するものに限定するようにしても良い。
【００７６】
上記照合処理により当該顔履歴情報の顔パターンに対する最大照合度が得られると、上記制御部５１は、その最大照合度となる代表顔パターンのクラスタ番号を判定する（ステップＳ４３）。さらに、上記制御部５１は、上記照合処理で得られた最大照合度が所定の閾値以上か否かを判断する（ステップＳ４４）。
【００７７】
この判断により最大照合度が所定の閾値以上でないと判断すると、上記制御部５１は、新たなクラスタを１つ生成し、上記顔履歴データベース４に記録する。上記顔履歴データベース４に新たなクラスタを記録すると、さらに、上記制御部５１は、受信した顔履歴情報をそのクラスタに属する顔履歴情報として上記顔履歴データベース４に記録する。この際、上記制御部５１は、当該顔履歴情報の顔パターンをそのクラスタの代表顔パターンとして上記顔履歴データベース４に記録する（ステップＳ４６）。
【００７８】
このような動作により当該顔履歴情報を上記顔履歴データベース４に記録すると、上記制御部５１は、その顔履歴情報のユーザが初めて上記入力端末２で撮影されたユーザである旨を上記表示部に表示する。これにより、上記顔記録サーバ３の監視員は、初めてのユーザが当該入力端末２に現れたことをリアルタイムで認識できる。
【００７９】
また、上記ステップＳ４５で、上記照合処理により得られた最大照合度が所定の閾値以上であると判断した場合、上記制御部５１は、当該顔履歴情報のユーザが上記ステップＳ４４で判定した最大照合度となったクラスタ（対応するクラスタ）のユーザであることを判断する。これにより、上記制御部５１は、対応するクラスタに当該顔履歴情報が属するように、当該顔履歴情報を上記顔履歴データベース４に記録する（ステップＳ４８）。当該顔履歴情報を上記顔履歴データベース４に記録する際、上記制御部５１は、そのクラスタの代表顔パターンを当該顔履歴情報の顔パターンにより更新する（ステップＳ４９）。
【００８０】
当該顔履歴情報を上記顔履歴データベース４に記録すると、上記制御部５１は、そのクラスタのユーザの行動履歴を上記表示部５５に表示する。この際、当該ユーザの行動履歴として上記表示部５５には、例えば、図１２に示すような画面が表示される。図１２に示す表示例では、当該ユーザのクラスタ番号、及び、最新の顔画像を撮影した入力端末を示す端末番号とともに、当該ユーザの行動履歴を示す情報が表示されている。上記表示部２１に表示される当該ユーザの行動履歴としては、当該クラスタ内の顔履歴情報ごとに、登録番号、アクセス日時（アクセス月日、アクセス時間）、顔画像（記録されている顔画像の縮小画像等）などが最新のものから順に表示される。
【００８１】
なお、上記ステップＳ４９では、受信した顔履歴情報（最新の顔履歴情報）の顔パターンに基づいて当該クラスタの代表顔パターンを更新するものとしたが、顔履歴情報を受信するごとに、上記顔記録サーバ３の管理者が受信した顔履歴情報の顔パターンで対応するクラスタの代表顔パターンを更新するか否かを指定するようにしても良い。また、各クラスタで複数の代表顔パターンを有することを可能とし、顔履歴情報を受信するごとに、上記顔記録サーバ３が顔履歴情報の顔パターンを代表顔パターンとして追加するようにしても良い。また、顔履歴情報を受信するごとに、上記制御部５１が、受信した顔履歴情報の顔パターンと対応するクラスタの代表顔パターンと１つにマージするようにしても良い。ここで、マージするとは、例えば、複数の顔パターンを平均化したり、統計的に主成分分析をおこなって主成分のみを保持したりするものである。
【００８２】
上記のように、第２の実施の形態では、上記顔記録サーバが各入力端末から顔履歴情報をごとに、今送られてきた顔履歴情報の顔パターンと上記顔履歴データベース４に記録されている各クラスタの代表顔パターンとを照合し、当該顔履歴情報の顔パターンと同定された代表顔パターンを有するクラスタに属する顔履歴情報により、当該ユーザの行動履歴を表示する。これにより、上記顔記録サーバの管理者は、各入力端末で人物が撮影される度に、その人物の行動履歴を容易に確認することができる。
また、上記第２の実施の形態では、上記履歴データベースにユーザごとのクラスタとして各顔履歴情報を分類して記録するようにしているため、照合処理が効率化できる。
【００８３】
以下、第３の実施の形態について説明する。
この第３の実施の形態は、例えば、上記モデルＢのネットワーク型のシステムに適用される。また、第３の実施の形態では複数地点に設置された入力端末が必要となるため、実現形態としてはネットワーク型のシステムとなる。
【００８４】
この第３の実施の形態は、顔記録サーバ３において、各入力端末２で撮影したユーザの行動軌跡（「多地点追跡」結果）をリアルタイムでモニタリングするものである。すなわち、この第３の実施の形態は、上記第２の実施の形態を拡張したものであり、複数の地点に設置された入力端末から得られた顔履歴情報を元に、各入力端末で撮影されたユーザの行動履歴として、当該ユーザの行動の軌跡を監視員に報知するものである。
【００８５】
また、第３の実施の形態が適用される顔画像入力装置の外観構成及びシステム構成は、第２の実施の形態と同様である。つまり、第３の実施の形態も、上記第１の実施の形態と同じものであり、第１の実施の形態における入力端末２でのＩＤ認証（キーイン入力及びそのコード処理）が不要となる。
【００８６】
この第３の実施の形態では、上記第２の実施の形態と同様に、上記顔履歴データベース４に記録される顔履歴情報は、ユーザごとの顔履歴情報のグループとしてのクラスタごとに分類して記録される。特に、第３の実施の形態では、複数の端末間の履歴情報についても照合処理を行うことが必要となるため，第２の実施の形態に比べて、処理量がそれだけ多くなる。このため、第３の実施の形態では、これまでの検索結果（ユーザクラスタ情報）を常に保持することにより重複処理をなくし、同定処理を効率化するようになっている。
【００８７】
また、第３の実施の形態に係る入力端末２の動作についても、上記第２の実施の形態と同様である。つまり、第３の実施の形態において、上記入力端末２は、図８又は図９に示す動作から上記ステップＳ１１の動作を省略した動作を行う。このため、上記入力端末２は、ユーザのＩＤ情報を含まない顔履歴情報を生成して上記顔記録サーバ３へ伝送するようになっている。但し、この第３の実施の形態では、顔履歴情報に少なくとも撮影場所及び顔画像を撮影した撮影時間が含まれる。上記撮影場所を示す情報としては、顔画像を撮影した入力端末を示す端末番号が用いられる。
【００８８】
また、第３の実施の形態に係る顔記録サーバ３の動作は、上記表示部５５に表示するユーザの行動履歴としての情報以外は上記第２の実施の形態とほぼ同様である。すなわち、第３の実施の形態において上記顔記録サーバ３の動作は、上記ステップＳ５０以外は図１１に示す動作と同様である。
【００８９】
図１１に示す動作の上記ステップＳ５０において、上記顔記録サーバ３の制御部５１は、まず、受信した顔履歴情報の顔パターンとの照合が成功したユーザ（クラスタ）の履歴情報を上記顔履歴データベース４から読み出す。次に、上記制御部５１は、上記顔履歴データベース４から読み出した履歴情報に基づいて、当該ユーザの行動の軌跡を上記表示部５５に表示する。この際、上記表示部５５には、図１３に示すような画面が表示される。
【００９０】
図１３に示す表示例では、クラスタ番号、及び、最新のアクセス日時を表示するとともに、当該ユーザの過去の顔履歴情報に基づく、当該ユーザが過去に撮影された地点（撮影した入力端末の端末番号）及び撮影時間が行動の軌跡として表示されている。また、図１３に示す表示例では、撮影地点と撮影時間とをチャートにて表示している。
【００９１】
なお、上記表示部５５にユーザの行動の軌跡として表示する顔履歴情報は、所定の条件に基づいて制限するようにしても良い。たとえば、現在までの経過時間が所定期間内の顔履歴情報に限定して、ユーザの行動の軌跡を表示するようにしても良い。この場合、現在までの経過時間が所定期間のものだけを表示することができ、古い顔履歴情報に基づくユーザの行動の軌跡を表示しないようにすることができる。また、ユーザの行動の軌跡として表示する顔履歴情報の数を制限するようにしても良い。例えば、最新の顔履歴情報から順に所定の件数分の顔履歴情報を表示するようにする。これにより、所定件数の軌跡を表示することができ、監視員が見やすい表示を行うことができる。
【００９２】
以下、第４の実施の形態について説明する。
この第４の実施の形態は、例えば、上記モデルＡ及びモデルＢのネットワーク型のシステムに適用される。また、第４の実施の形態の実現形態としては、一体型装置であっても良いし、ネットワーク型のシステムであっても良い。この第４の実施の形態では、事前に顔画像を登録しておき、リアルタイムで「特定人物検知」を行うものである。
この第４の実施の形態は、入力端末２としての顔画像入力装置の外観構成やシステム全体の構成などは、上記第１の実施の形態と同じものであるとする。また、この第４の実施の形態において、入力端末２は、ＩＤ認証（キーイン入力及びそのコード処理）を行うモデルＡの形態であっても良いし、ＩＤ認証が不要なモデルＢの形態であっても良い。
【００９３】
また、第４の実施の形態における入力端末２の動作については、第１の実施の形態と同様に、図８又は図９に示す動作を行う者であっても良いし、第２、第３の実施の形態のように図８又は図９に示す動作から上記ステップＳ１１の動作を省略した動作であっても良い。
【００９４】
次に、第４の実施の形態に係る顔記録サーバ３の動作について説明する。
この第４の実施の形態では、管理者は、予め特定人物の顔画像情報（顔パターン）のリスト（以下、「特定人物リスト」と呼ぶ）４ａを作成して上記顔履歴データベース４に記録しておくものとする。ここで、特定人物とは、管理者が特に監視の対象としたい人物である。例えば、特定人物としては、不審者や要注意人物などが挙げられる。
【００９５】
また、特定人物リスト４ａに登録される顔パターンは、上記顔履歴データベース４に蓄積されている顔履歴情報から選択される顔パターンであるものとする。また、上記特定人物リスト４ａに登録される顔パターンは、写真などの顔画像データから作成された顔パターンであっても良いし、他の機器から取り込んだ顔パターンや他の機器から取り込んだ顔画像から作成した顔パターンなどであっても良い。
【００９６】
図１４は、第４の実施の形態に係る顔記録サーバ３の動作を説明するためのフローチャートである。
まず、上記顔記録サーバ３の管理者は、予め上記のような特定人物リスト４ａを上記顔履歴データベース４に登録しておくものとする。この状態で、上記入力端末２から顔履歴情報を受信すると、上記制御部５１は、受信した顔履歴情報を上記顔履歴データベース４に記録する（ステップＳ６１）。上記入力端末２から受信した顔履歴情報を上記顔履歴データベース４に記録すると、上記制御部５１は、受信した顔履歴情報の顔パターンと上記特定人物リスト４ａに登録されている全ての顔パターンとの照合処理を行う（ステップＳ６２）。この照合処理の結果としては、受信した顔履歴情報の顔パターンと上記特定人物リスト４ａに登録されている全ての顔パターンとの照合度が得られる。
【００９７】
上記照合処理の結果が得られると、上記制御部５１は、この照合処理の結果として得られた各照合度が閾値以上から否かを判断する。この判断により所定の閾以上の照合度が無かった場合には処理を終了する。また、上記判断により所定の閾値以上の照合度があった場合、上記制御部５１は、その照合度を与える特定人物に対する情報を上記特定人物リスト４ａから読み出して上記表示部５５に表示する。この場合、例えば、図１５に示すような表示例が上記表示部５５に表示される。
【００９８】
また、図１５に示す表示例では、アクセス日時、当該顔履歴情報を入力した入力端末を示す端末番号、当該顔履歴情報の顔画像、及び、ヒットした特定人物（当該顔履歴情報の顔パターンとの照合度が所定の閾値以上となった人物）の顔画像などが表示されている。
【００９９】
また、この第４の実施の形態は、上記第１、第２、第３の実施の形態と併用して実施することが可能である。例えば，上記第１の実施の形態と併用することにより、第１の実施の形態で説明したような「なりすまし検知」で「なりすまし」を行ったと判断された人物の顔履歴情報を特定人物リスト４ａに登録するようにすることも可能である。また、第４の実施の形態と上記第２あるいは第３の実施の形態と併用して実施することにより、特定人物と照合した人物の過去の履歴情報を上記顔履歴データベースから抽出し、当該人物の行動履歴や行動の軌跡などを表示することが可能である。
【０１００】
上記のように、上記顔履歴データベース４などに予め特定人物リストを登録しておき、上記顔記録サーバが入力端末２から顔履歴情報を受信した場合、受信した顔履歴情報の顔パターンと上記特定人物リストに登録されている全ての人物の顔パターンとの照合処理を行い、この照合処理で顔履歴情報の人物が上記特定人物リストに登録されている人物と同定された場合にはその旨を監視員に報知するようにしてものである。
【０１０１】
これにより、第４の実施の形態によれば、顔記録サーバの監視員は、予め指定した人物を容易に発見したり、特定の人物に対する監視を容易に行ったりすることができ、セキュリティレベルを向上させることができる。
【０１０２】
以下、第５の実施の形態について説明する。
この第５の実施の形態は、例えば、上記モデルＡと上記モデルＢの中間的なモデルに適用される。この第５の実施の形態では、例えば日記のような、ユーザの行動記録を示す情報を自動的に作成するものである。
【０１０３】
この第５の実施の形態では、例えば、最初のアクセス時などに少なくとも１回はＩＤ情報を入力する。すなわち、第５の実施の形態は、少なくとも１度はＩＤ情報が入力されることが条件であるが、１度ＩＤ情報を入力したユーザはその後の運用においてＩＤ情報を必ずしも入力する必要はない。また、第５の実施の形態の実現形態としては、一体型装置であっても良いし、ネットワーク型のシステムであっても良い。
【０１０４】
次に、第５の実施の形態に係る入力端末２の動作について説明する。
この第５の実施の形態において、入力端末２は、通常の運用時の動作としては、第１の実施の形態とほぼ同様であるが、図８又は図９に示す動作のうち上記ステップＳ１１の処理が異なる。すなわち、上記入力端末２には、通常の運用時に、各ユーザが少なくとも一度、自身のＩＤ情報を入力する必要がある。従って、少なくとも１度ＩＤ情報を入力したことがあるユーザは、通常の運用時にはＩＤ情報の入力を省略することが可能である。この場合、入力端末は、図８又は図９に示す動作から上記ステップＳ１１の動作を省略した動作を行う。
【０１０５】
図１６は、第５の実施の形態に係わる入力端末２の動作を説明するためのフローチャートである。
まず、管理者は、上記入力端末２の操作部としてのテンキー２４などにより専用の動作モード（管理者モード）を起動させる。この管理者モードでは、第５の実施の形態としてのユーザの行動記録を作成する動作モードを実行することができるようになっている。
【０１０６】
この管理者モードが起動すると、管理者は、ユーザの行動記録の表示あるいは作成を指示する。すると、上記入力端末２の処理プロセッサ３１は、上記顔記録サーバ３を介して上記顔履歴データベース４にアクセスする。上記顔履歴データベース４にアクセスすると、上記処理プロセッサ３１は、上記顔履歴データベース４に記録されている顔履歴情報のうちＩＤ情報が付与されている顔履歴情報を検索する。
【０１０７】
これにより、ＩＤ情報が付与されている顔履歴情報を検索すると、上記処理プロセッサ３１は、ＩＤ情報が付与されている顔履歴情報の顔パターンを照合用のテンプレート（辞書データ）として、他の顔履歴情報の顔パターンとの照合処理を行う。この照合処理によりＩＤ情報が付与されていない顔履歴情報の顔パターンに対しては、ＩＤ情報が付与されている各顔履歴情報の顔パターンとの照合度が算出される。
【０１０８】
この照合処理の結果に基づいて、上記処理プロセッサ３１は、ＩＤ情報が付与されていない顔履歴情報に、それぞれ照合度が最も高かった顔パターンを有する顔履歴情報のＩＤ情報を割り付ける（ステップＳ７１）。つまり、ＩＤ情報が付与されていなかった顔履歴情報は、照合度が最も高かった顔パターンの顔履歴情報と同定される。
【０１０９】
これによりＩＤ情報が付与されていなかった顔履歴情報にＩＤ情報が割り振られると、上記処理プロセッサ３１は、各ＩＤ情報ごとに、撮影場所や撮影時間等の履歴を時系列などでまとめ、各ＩＤ情報つまり各ユーザの行動履歴を示す行動記録レポートを作成し、出力する。この行動記録レポートは、ＬＡＮなどに接続されている用紙に印刷して出力するようにしても良いし、上記表示部２１に表示出力するようにしても良い。
【０１１０】
また、図１７は、第５の実施の形態に係わる入力端末２の動作を説明するためのフローチャートであり、図１６に示す動作の変形例である。
すなわち、図１７に示す動作例では、上記ステップＳ７１において、単に、最も照合度が高いＩＤ情報に割り振るのではなく、所定の閾値以上で、かつ、最も照合度が高いＩＤ情報に割り振るものである。従って、図１７に示す動作例では、最大照合度が所定の閾値より小さい場合、当該顔履歴情報に対するＩＤ情報の割り付けを保留する（ステップＳ７３）。
【０１１１】
次に、上記入力端末２の処理プロセッサ３１は、ＩＤ情報の割り付けができた顔履歴情報をＩＤ情報ごとに集めてそれらの顔パターンをマージすることによって、ＩＤ情報に対応した１つのテンプレート（照合用の辞書データ）を生成する（ステップＳ７４）。これにより、各ＩＤ情報ごとのテンプレートが生成されると、上記処理プロセッサ３１は、ＩＤ情報の割り付けがまだの顔履歴情報（ＩＤ情報の割り付けが保留されている顔履歴情報）の顔パターンと各ＩＤ情報ごとのテンプレートとの照合処理を行う。
【０１１２】
この照合処理によりＩＤ情報の割り付け保留されている顔履歴情報の顔パターンに対しては、ＩＤ情報ごとのテンプレートとの照合度が算出される。この照合処理の結果に基づいて、上記処理プロセッサ３１は、ＩＤ情報の割り付け保留されている顔履歴情報に、それぞれ照合度が最も高かったテンプレートのＩＤ情報を割り付ける（ステップＳ７５）。これにより、全ての顔履歴情報にＩＤ情報が割り付けられ、上記ステップＳ７２でＩＤごとの行動記録レポートが作成及び出力される。
また、図１６及び図１７に示す動作例では、ＩＤ情報が付与されている全ての顔履歴情報を対象として行動記録レポートを作成して出力するようにしたが、上記管理者が特定のユーザのＩＤ情報のみを指定することにより、そのＩＤ情報のユーザに関する行動記録レポートを作成して出力するようにしても良い。この場合、ＩＤ情報が付与されている全ての顔履歴情報の顔パターンについて照合処理を行う必要がなくなるため、処理時間を短縮して所望のユーザの行動記録レポートを早く作成して出力できる。
【０１１３】
図１６に示す動作と図１７に示す動作との主な相違点は、図１７に示す処理の方が精度が高くなるがそれだけ処理時間が長くなることである。
【０１１４】
また、上記ステップＳ７４の処理は、複数の顔パターンを１つのテンプレートに統合（マージ）するようにしたが、マージの方法としては、例えば、非特許文献４に示されているような、平均化や統計的に主成分分析をおこなって主成分のみを取出す従来方法を用いることができる。また、上記ステップＳ７４の処理での作成したテンプレートを次回の照合処理から各ＩＤ情報の顔パターンを代表するテンプレートとして用いるようにしても良い。なお、図１６及び図１７の処理は、パターン認識分野においては「クラスタリング」と呼ばれている手法に属し、例えば、非特許文献４に示されている「Ｋ平均アルゴリズム」と呼ばれているアルゴリズムを用いてもよい。
【０１１５】
また、上記行動記録レポートは、例えば、１８に示す表示例のように構成される。図１８に示す表示例では、ＩＤ情報としてのユーザＩＤ及び入力端末を示す端末番号とともに、行動記録としての登録番号、アクセス日時（アクセス月日、アクセス時間）、顔画像などが表示されている。
【０１１６】
また、上記行動記録レポートは、端末（操作部）の表示画面に出力され、管理者が確認後、その指示によりプリントアウトする。行動記録のレポートをプリントするプリンタは、例えば、ＬＡＮを経由してネットワーク接続されても良いし、端末装置内部に組み込んでも良い。
【０１１７】
また、この第５の実施の形態に係る顔記録サーバ３は、通常、運用時においては上記第１、第２、第３あるいは第４の実施の形態と同様な動作を行う。また、図１６あるいは図１７の処理と同様な処理を上記顔記録サーバ３により実行するようにしても良い。この場合、上記顔記録サーバ３の管理者が上記操作部５６によって専用の動作モード（管理者モード）を起動させることにより開始するようにすれば良い。
【０１１８】
上記のように、第５の実施の形態では、過去の顔履歴情報に対して顔パターンの照合処理を行って、各ユーザごとの行動記録としての履歴情報を作成して出力するようにしたものである。これにより、上記顔履歴データベースに蓄積された顔履歴情報を区分けし、さらに、各ユーザごとの行動記録を容易に抽出することができる。
【０１１９】
以下、第６の実施の形態について説明する。
この第６の実施の形態は、上述の各システムに適用できる。この第６の実施の形態は、顔画像を入力するためのカメラ２２を人物監視のための監視カメラとしても用いるシステムである。上記のようなシステムでは、顔画像を入力している時以外は、上記カメラ２２が待機状態となっている。そこで、第６の実施の形態では、「人物監視機能」を新たに付加し、上記カメラ２２の使用効率を高めるものである。
【０１２０】
この第６の実施の形態では、上記入力端末２にて撮影している画像に基づいて、上記カメラ２２に接近している人物及び上記カメラ２２から遠ざかっている人物を検出し、この間に上記カメラ２２が撮影している映像を上記顔記録サーバ３に伝送したり記録したりするものである。
【０１２１】
なお、以下の第６の実施の形態の説明では、ネットワーク型のシステムでの適用例について説明するが、ネットワーク型のシステムではなく、スタンドアロン型の装置に対しても適用可能である。スタンドアロン型の装置に第６の実施の形態を適用した場合、上記カメラ２２に人物が接近してから遠ざかるまでの間の時間帯に、上記カメラ２２が撮影した動画像は、当該ユーザの履歴情報として入力端末２内の磁気ディスク３７に記録するようにすればよい。
【０１２２】
通常、ある地点に設置したカメラ２２に対して、ユーザ（あるいは通行人）は、接近、顔画像の入力、遠ざかりという流れになる。従って、この第６の実施の形態では、顔画像の入力処理の成功あるいは失敗にかかわらず、当該ユーザが上記カメラ２２に対して接近してから遠ざかるまでの映像を取得する。このため、上記第６の実施の形態で説明する処理は、上記第１、第２、第３の実施の形態にて説明したユーザの顔履歴情報を上記顔履歴データベース４に記録する顔履歴情報の記録処理（第６の実施の形態では入力モードを呼ぶ）とは別の処理として上記顔履歴情報の記録処理に平行して実行される。
【０１２３】
次に、上記カメラ２２への人物の接近及び遠ざかりの検知について説明する。
まず、上記カメラ２２への人物の接近は、上記カメラ２２の近傍に設けた近接センサが人物を検知した時、あるいは、上記カメラ２２が撮影している画像から人物らしい画像領域が検出された時などに検知される。また、上記カメラ２２からの人物の遠ざかりは、上記カメラ２２の近傍に設けた近接センサが人物を検知しなくなった時、あるいは、上記カメラ２２が撮影している画像から人物らしい画像領域が検出されなくなった時などに検知される。つまり、人物の検知は、近接センサによるものと上記カメラ２２が撮影している画像に対する画像処理によるものとがある。
【０１２４】
次に、上記カメラ２２が撮影している画像に対する画像処理により人物を検知する処理について説明する。
図１９は、上記カメラ２２が撮影している画像か人物の有無を検知する人物検知処理を説明するための図である。
図１９に示すように、まず、上記カメラ２２が撮影している背景画像を上記磁気ディスク３７などに登録しておく（ステップＳ８１）。この状態において、上記処理プロセッサ３１は、上記カメラ２２が撮影している画像を随時取得している（ステップＳ８２）。上記処理プロセッサ３１では、上記カメラ２２にて撮影した画像データと上記背景画像データとの差分を算出したり、２値化したりすることにより、随時、上記カメラ２２にて撮影した画像データに変化があるか否かを判断している（ステップＳ８３）。
【０１２５】
この判断により上記カメラ２２にて撮影した画像データと予め登録されている背景画像データとに変化があると判断した場合、上記制御部５１は、上記カメラ２２にて撮影された画像データと背景画像データとの差分画像データなどから変化成分を抽出する（ステップＳ８４）。この変化成分を抽出すると、上記制御部５１は、抽出した変化成分の面積の大きさが所定の閾値よりも大きいか否かを判断する。この判断により抽出した変化成分の面積が所定の閾値よりも大きいと判断した場合、上記制御部５１は、上記カメラ２２の撮影範囲内に人物が存在することを検知する。
【０１２６】
次に、第６の実施の形態に係る入力端末２の動作について説明する。
図２０は、第６の実施の形態に係る入力端末２の動作を説明するためのフローチャートである。
まず、上記入力端末２のカメラ２２は、所定の撮影範囲の画像を随時撮影しているものとする。上記処理プロセッサ３１は、例えば、所定間隔ごとに、上記カメラ２２から画像を取り込み（ステップＳ９１）、上記のような人物検知処理により、上記カメラ２２の撮影範囲内に人物が存在するか否かを判断する（ステップＳ９２）。
【０１２７】
この判断により人物の存在が検知されると、上記処理プロセッサ３１は、上記顔記録サーバ３へ上記カメラ２２が撮影している連続画像（動画像）の画像データの伝送を開始する（ステップＳ９３）。これにより、上記顔記録サーバ３への動画像のデータの伝送を開始すると、上記処理プロセッサ３１は、上記顔記録サーバ３への動画像のデータの伝送を継続して実行するとともに、上記カメラ２２が撮影している画像に対してユーザの顔画像を検出する顔検出処理を行う（ステップＳ９４）。なお、ここでは、入力端末２がモデルＢの場合を想定しているが、入力端末２がモデルＡの場合、上記ステップＳ９４ではユーザによりＩＤ情報が入力されたか否かを判断する。
【０１２８】
上記顔検出処理にて顔画像が検出されなかった場合（ステップＳ９４、ＮＯ）、上記処理プロセッサ３１は、上記人物検知処理を行って人物が上記カメラ２２の撮影範囲からいなくなったか否かを判断する（ステップＳ９５）。この判断により人物がいなくなっていないと判断した場合、つまり、上記カメラ２２の撮影範囲内に人物がまだ存在していると判断した場合（ステップＳ９５、ＮＯ）、上記処理プロセッサ３１は、上記ステップＳ９４へ戻る。また、上記ステップＳ９５の判断により人物がいなくなったと判断した場合（ステップＳ９５、ＹＥＳ）、上記処理プロセッサ３１は、上記顔記録サーバ３への動画像のデータの伝送を終了する（ステップＳ９６）。
【０１２９】
また、上記ステップＳ９４の顔検出処理で顔画像が検出された場合（ステップＳ９４、ＹＥＳ）、上記処理プロセッサ３１は、顔履歴情報を生成して上記顔記録サーバ３へ伝送する入力モードの処理を実行する（ステップＳ９７）。この入力モードの処理を実行すると、上記処理プロセッサ３１は、さらに、上記人物検知処理を行って人物が上記カメラ２２の撮影範囲からいなくなったか否かを判断する（ステップＳ９８）。
【０１３０】
この判断により人物がいなくなっていないと判断した場合、つまり、上記カメラ２２の撮影範囲内に人物がまだ存在していると判断した場合（ステップＳ９８、ＮＯ）、上記処理プロセッサ３１は、人物がいなくなったと判断するまで人物検知処理を繰返し実行する。このステップＳ９８で人物がいなくなったと判断した場合（ステップＳ９８、ＹＥＳ）、上記処理プロセッサ３１は、上記顔記録サーバ３への動画像のデータの伝送を終了する（ステップＳ９６）。
【０１３１】
上記のように、入力端末２では、上記カメラ２２にて撮影している画像から撮影範囲内の人物の有無を検知し、人物が存在する場合には上記入力モードの処理と平行してその動画像のデータを人物がいなくなるまで上記顔記録サーバ３へ伝送するようにしてものである。これにより、上記カメラ２２に対して人物が接近してきてから遠ざかるまでの画像を上記顔記録サーバ３へ伝送することが可能となる。
【０１３２】
次に、第６の実施の形態に係る顔記録サーバ３の動作について説明する。
図２１は、第６の実施の形態に係る顔記録サーバ３の動作を説明するためのフローチャートである。
まず、上記顔記録サーバ３の制御部５１は、上記入力端末２からの動画像を伝送する旨のリクエストがあったか否かを判断する（ステップＳ１０１）。この判断により入力端末２からの動画像のデータを伝送する旨のリクエストがあったと判断した場合、上記制御部５１は、当該入力端末２から伝送される動画像のデータ（ストリームデータ）を受信し、上記表示部５５に表示する。この際、上記表示部５５には、例えば、図２２に示すような画面が表示される。図２２に示す表示例では、各入力端末２から伝送されてきた動画像のデータがそれぞれの入力端末を示す端末番号とともに表示されている。なお、ここでは、入力端末２から送られてきた動画像のデータを表示部５５に表示するようにしたが、入力端末２から送られてきた動画像のデータを顔履歴データベース４などの記録装置に記録するようにしても良い。
【０１３３】
これにより、上記顔記録サーバ３の監視員は、上記表示部５５に表示された動画像を見て、上記カメラ２２の撮影範囲内の様子をリアルタイムで監視することができる。
【０１３４】
上記のように、第６の実施の形態では、他の実施の形態のような動作とともに、入力端末２のカメラ２２が撮影している人物を含む動画像のデータを上記顔記録サーバ３に伝送し、上記顔記録サーバでは各入力端末から伝送されてきた動画像のデータを動画像として表示したり、記録したりするようにしたものである。
これにより、上記監視員が、各入力端末のカメラの撮影範囲における様子をリアルタイムで、かつ、効率的に監視することができる。
【０１３５】
以下、第７の実施の形態について説明する。
この第７の実施の形態は、例えば、上記した各実施の形態のシステムに適用される。この第７の実施の形態では、事前に顔画像を登録しておき、その事前に登録されている顔画像から顔照合用テンプレート（辞書）としての顔パターンを生成し、顔の特徴点を検出する顔検出処理に加えて簡易的な顔画像による照合処理を追加したものである。
【０１３６】
この第７の実施の形態は、上記第１〜第６の実施の形態に対する付加機能として実現可能である。この第７の実施の形態は、入力端末２で顔画像による個人認証が顔検出処理の後処理として実行される。さらに、第７の実施の形態における個人認証と従来の個人認証装置との違いは、ユーザの顔辞書が管理者の操作によって履歴情報から構成される点である。これにより、第７の実施の形態では、ユーザにとっての顔画像の登録という作業が発生せず、あくまで顔検出の後処理として実行されるのでユーザの使い勝手がそこなわれないというメリットがある。さらに、入力端末での個人認証における照合度のしきい値を通常より低くしておくことにおり、本人誤排除率がほぼゼロになり、ユーザの使い勝手がそこなわれないというメリットもある。
【０１３７】
まず、第７の実施の形態に係る顔記録サーバ３の動作について説明する。
図２３は、第７の実施の形態に係る顔記録サーバ３の動作を説明するためのフローチャートである。なお、ここでは、上記顔履歴データベース４に蓄積されている顔履歴情報にはユーザを示すＩＤ情報が含まれていないものとする。
【０１３８】
まず、上記顔記録サーバ３の管理者は、操作部５６により上記顔履歴データベース４に蓄積されている顔履歴情報のクラスタリングを指示する。なお、実現形態がスタンドアロンの場合には入力端末２のテンキー２４によりクラスタリングを指示する。すると、上記上記制御部５１は、上記顔履歴データベース４に蓄積されている全ての顔履歴情報の顔パターンを同士で照合処理することにより顔履歴情報のクラスタリングを行う（ステップＳ１１１）。
【０１３９】
このような照合処理の結果としては、照合度が所定の閾値以上となる顔パターン（顔履歴情報）の組み合わせが得られる。すなわち、この照合処理により上記顔履歴データベース４に蓄積されている顔履歴情報から同一のユーザの顔履歴情報が判定される。この照合処理の結果に基づいて、上記制御部５１は、上記顔履歴データベース４に蓄積されている顔履歴情報をユーザごとに分類する。ユーザごとに顔履歴情報を分類すると、上記制御部５１は、それぞれのユーザ（クラスタ）に対してＩＤコードとしてのクラスタ番号を付与する（ステップＳ１１２）。
【０１４０】
さらに、上記制御部５１は、それぞれのクラスタ内で各顔履歴情報の顔パターンを１つに統合（マージ）することにより、各クラスタ（ユーザ）ごとに１つのテンプレート(顔照合用の辞書データ)としての顔パターンを生成する（ステップＳ１１３）。なお、クラスタ内の顔パターン（特徴ベクトル）データを１つにマージしてテンプレートとする方法としては、例えば、平均化や統計的に主成分分析をおこなって主成分のみを取出すといった従来方法を用いることができる。これらの技術は、非特許文献４などに記載されている。
このような処理により各クラスタのテンプレートデータを生成すると、上記制御部５１は、入力端末２側にテンプレートデータをダウンロードする（ステップＳ１１４）。このテンプレートデータには、少なくとも各クラスタ（ユーザ）のテンプレートとＩＤコードとが含まれる。
【０１４１】
上記のように、第７の実施の形態において、上記顔記録サーバ３では、上記顔履歴データベース４に蓄積されている顔履歴情報の顔パターン同士の照合処理を行い、この照合結果に基づいて顔履歴情報をユーザごとにクラスタリングし、さらに、クラスタリングされた各クラスタ内の顔履歴情報の顔パターンから当該ユーザのテンプレート（代表顔パターン）を生成し、入力端末２にダウンロードするようにしたものである。
【０１４２】
次に、第７の実施の形態に係る入力端末２の動作について説明する。
まず、入力端末２には、上記顔記録サーバ３からのテンプレートデータがダウンロードされている。このテンプレートデータには、少なくとも顔照合用の顔パターン（テンプレート）とそのクラスタ（ユーザ）に付与されたＩＤコードが含まれる。従って、上記顔記録サーバ３からテンプレートデータがダウンロードされると、上記入力端末２の処理プロセッサ３１は、当該テンプレートデータのテンプレートとそのユーザのＩＤコードとを対応づけて磁気ディスク３７に登録する。なお、上記顔記録サーバ３にてクラスタリングされた顔履歴情報のユーザには、管理者から自身のＩＤコードが知らされているものとする。
【０１４３】
図２４は、第７の実施の形態に係る入力端末２の動作を説明するためのフローチャートである。
図２４に示すフローチャートのステップＳ１１〜Ｓ１７は、図８に示すフローチャートのステップＳ１１〜Ｓ１７と同様であるため、説明を省略する。すなわち、上記ステップＳ１６において、上記カメラ２２から入力した画像から当該ユーザの顔パターンを生成すると、上記処理プロセッサ３１は、入力画像から生成した顔パターンと、上記磁気ディスク３７に記録されている当該ユーザが上記ステップＳ１１で入力したＩＤ情報に対応するテンプレート（顔パターン）との照合処理を行う（ステップＳ１２１）。
【０１４４】
この照合処理の結果は、照合度として与えられる。従って、上記処理プロセッサ３１は、上記照合処理で得られた照合度が所定の閾値以上であるか否かを判断する（ステップＳ１２２）。この判断により上記照合処理で得られた照合度が所定の閾値以上であると判断した場合、上記処理プロセッサ３１は、上記ステップＳ１７へ進み、顔履歴情報を上記顔記録サーバ３へ伝送する処理を行う。また、上記判断により上記照合処理で得られた照合度が所定の閾値以上でないと判断した場合、上記処理プロセッサ３１は、当該ユーザが本人でない（「なりすまし」である）と判断し、当該ユーザに対する処理をリジェクトする。
【０１４５】
なお、上記ステップＳ１２２の処理で用いられる照合度は、通常よりも低い値に設定するようにしても良い。この場合、顔画像による照合処理が「軽く」なり、本人であるにもかかわらずに誤認識よってリジェクトされる可能性をゼロに近くすることができる。つまり、通常よりも低い閾値を設定して「軽い」照合処理を行うことにより、本人誤排除率がほぼゼロになり、ユーザの使い勝手がそこなわれないというメリットがある。
【０１４６】
上記のように、第７の実施の形態では、上記顔記録サーバで蓄積されている顔履歴情報をクラスタリングしてユーザごとに分類して、各ユーザの照合用の顔パターンとしてのテンプレートを生成し、そのテンプレートとＩＤコードとを上記入力端末へダウンロードするようにしたものである。これにより、上記顔履歴データベースに蓄積された顔履歴情報からユーザごとのクラスタ、あるいは、テンプレートを作成することができ、ユーザがテンプレートを作成する手間が省ける。
【０１４７】
さらに、第７の実施の形態では、入力端末にテンプレートとＩＤコードとを登録しておき、顔画像を入力する際に入力端末で顔照合によるなりすまし検知を行うようにしたものである。これにより、入力端末での顔画像の入力処理の段階でなりすましを検知することが可能となる。
【０１４８】
以上詳述したように、各実施の形態によれば、ユーザがセキュリティ性の高い対象にアクセスする際に，正面顔の登録を義務付けて不正アクセスを抑止する。また、第１のモデルとして、ユーザが入力したＩＤ情報によるＩＤ認証を行った上で当該ユーザの顔画像による照合処理及び顔画像の記録を行うシステムと、第２のモデルとして、ＩＤ情報の入力を省略して、顔画像による照合処理及び顔画像の記録だけを行うシステムとの２つのシステムを想定する。
【０１４９】
さらに、各モデルに履歴として蓄積される顔画像とその履歴情報に対する自動トラッキング（検索）機能をもたせ、第１のモデルでは「なりすまし検知」を行ってセキュリティレベルを向上させることができ、第２のモデルおいては「ユーザ分類」を行って、効率的な顔画像とその履歴情報との蓄積を行うことが可能となる。さらに、特定人物を検索する機能は、どちらのモデルにおいても実施可能であり、他の機能との組み合わせが可能である。また、各モデルの実現形態においては、一体型装置（スタンドアロン型）とネットワーク型のシステムの両方が有り得る。さらに、顔トラッキング（顔画像による照合処理）は、リアルタイム処理、またはバッチ処理の２通りの処理が可能である。
【０１５０】
このような各実施の形態の効果としては、ユーザには正面向きの顔を記録することが義務づけられるので、従来の人物を監視するシステムや監視用の画像を記録するシステムに比べて、不正アクセスの抑止効果が高くなる。また、従来の顔照合装置に比べ利便性が向上する。これらの結果、従来の装置やシステムでは実現できていない利便性とセキュリティレベルのバランスの取れた効率的なシステムが提供でき、当該システムの応用範囲を広くすることが可能となる。
【符号の説明】
【０１５１】
１…ＩＤ認証部、２…顔画像入力装置、３…顔記録サーバ、４…顔履歴データベース、４ａ…特定人物リスト、４…顔画像履歴データベース、１１…操作部、１２…処理部、２１…表示部、２２…カメラ、２４…テンキー、３１…処理プロセッサ、３７…ＬＡＮインターフェース、３７…磁気ディスク、３８…ＬＡＮインターフェース、５１…制御部、５５…表示部、５６…操作部、５７…ＬＡＮインターフェース
【技術分野】
【０００１】
この発明は、重要施設（部屋，フロア，建物など）の出入り管理やコンピュータあるいは端末などのアクセスにおけるカメラを用いた不正抑止、及びアクセス者の行動把握のためのシステムに関する。
【背景技術】
【０００２】
従来、カメラを用いて管理を行うシステムとしては主に２通りある。
一つは，銀行やコンビニエンスストアなどに設置されている監視システムである。この種の監視システムでは、カメラ（監視カメラ）により撮影されている人物の監視、あるいは、上記カメラにて撮影した画像の記録を行う。上記監視カメラからの映像は、別の場所にモニタリングされ、監視員によりチェックされる。ここでの中心技術は、最適な状態の人物や顔の画像を撮像する技術、撮像した画像を高速で伝送技術、あるいは撮像した画像を高圧縮で記録する技術などである。
【０００３】
もう一つは、人物に対する認証処理を行う認証システムである。この種の認証システムでは、被認証者の顔画像などの生体情報を用いて個人認証（本人確認）を行う。たとえば、あらかじめアクセス権利をもつユーザの顔画像パターンを登録しておき、アクセス時にユーザの顔画像をカメラより入力し，リアルタイムで登録画像パターンとの照合を行い、本人かどうかを判定する。顔画像パターンを用いる方法は、指紋に代表される生体情報に基づいた（バイオメトリクス）個人認証方法に属するが、離れた位置から非接触で入力でき、その顔画像と照合のために抽出された顔パターン特徴を履歴として残せるという利点がある。
【０００４】
しかしながら、従来の監視カメラを用いた監視システムでは、ユーザに自分の顔が撮像されていることをなるべく意識されないようにするために、監視カメラを一定距離だけ離した比較的高位置に設置する場合が多い。このような場合、必ずしも個人が特定可能な正面向きの顔画像が得られないなど人物の顔画像がいつも適性に撮像されないという問題がある。言いかえれば、入力の際のユーザ負担（使い勝手）という観点からは問題は少ないが、不正抑止力という点では、必ずしも強力とは言えないことがある。
【０００５】
一方、従来の個人認証（本人確認）システムでは、ユーザに意識して正面顔を入力してもらい、あらかじめ登録してある顔画像（もしくは顔パターン）データとの照合をリアルタイムに行ってアクセス管理を行う。このような顔画像入力による個人認証方法は、指紋などの他の生体照合方法と比較するとユーザにとってなじみ易く、顔画像を入力する際のユーザへの負担という点では優れている。しかしながら、人物を監視するシステムや人物の画像を録画するシステムと比較した場合、セキュリティレベルにおいてかなり高くなる反面、事前に顔画像パターンを登録する手間や、外光などの照明変動が認識性能に影響を与えるという点で使い勝手が悪いという問題点がある。
【０００６】
このように、従来のシステムでは、使い勝手とセキュリティレベルにおいて一長一短があり、両者のバランスにおいて中間的な装置あるいはシステムがこれまで存在せず、応用範囲が狭いという問題点がある。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】山口，福井，前田著、「動画像を用いた顔認識システム」，信学技法PRMU９７−５０，１９９７年６月
【非特許文献２】福井，山口著、「形状抽出とパターン照合の組合せによる顔特徴点抽出」，信学論D-II，Vol.J-80-D-II，No.8，１９９７年８月
【非特許文献３】佐藤俊雄ほか著、「立ち位置変動を考慮した顔照合セキュリティシステムFacePassの開発」、映像情報メディア学会誌・論文小特集「セキュリティのための情報メディア処理」，Vol.56，No.７，pp.1111−1117、２００２年7月
【非特許文献４】長尾真著、「画像認識論」、コロナ社、1983年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は，上記事情を考慮してなされたもので，その目的とするところは、顔照合による非接触性の利点を活かし、ユーザの使い勝手、及び利便性をできるだけ損なわないようにしながら，情報セキュリティや物理セキュリティにおけるセキュリティレベル及び不正抑止効果を高めることが可能なシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明の顔画像記録システムは、複数の地点に設置された複数の入力端末と、これらの入力端末からのデータを受信可能なサーバ装置とを有するものにおいて、前記入力端末は、各設置地点においてユーザの顔画像を入力する画像入力手段と、この画像入力手段により入力された顔画像データと、その撮影地点及び撮影時間を含む履歴情報とを前記サーバ装置へ送信する送信手段とを有し、前記サーバ装置は、前記入力端末から送信された顔画像データとその履歴情報とを記録する画像記録手段と、前記入力端末からの顔画像データを受信した場合、前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとを照合する照合手段と、この照合手段により前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとの照合が成功した場合、前記入力端末から受信した顔画像データと照合した顔画像データに対応する履歴情報を前記画像記録手段から読み出し、その履歴情報に含まれている撮影場所と撮影時間とに基づいて当該ユーザの行動の軌跡を表示する表示手段とを有する。
【発明の効果】
【００１０】
この発明によれば、顔照合による非接触性の利点を活かし、ユーザの使い勝手、及び利便性をできるだけ損なわないようにしながら，情報セキュリティや物理セキュリティにおけるセキュリティレベル及び不正抑止効果を高めることが可能な顔画像記録システムを提供できる。
【図面の簡単な説明】
【００１１】
【図１】この発明の各実施の形態に係る顔画像記録システムのモデルの一例を概略的に示す図。
【図２】この発明の各実施の形態に係る顔画像記録システムのモデルの一例を概略的に示す図。
【図３】ネットワーク型のシステム構成を示す図。
【図４】顔画像入力装置の外観構成例を示す図。
【図５】顔画像入力装置の設置例を示す側面図。
【図６】顔画像入力装置の制御系統としての全体構成を示す図。
【図７】顔記録サーバの構成例を概略的に示すブロック図。
【図８】第１の実施の形態に係る入力端末における顔画像の入力処理の流れを説明ためのフローチャート。
【図９】第１の実施の形態に係る入力端末における顔画像の入力処理の流れを説明ためのフローチャート。
【図１０】第１の実施の形態に係る顔記録サーバの動作を説明するためのフローチャート。
【図１１】第２の実施の形態に係る顔記録サーバでの処理の流れを説明するためのフローチャート。
【図１２】表示部の表示例を示す図。
【図１３】表示部の表示例を示す図。
【図１４】第４の実施の形態に係る顔記録サーバの動作を説明するためのフローチャート。
【図１５】表示部の表示例を示す図。
【図１６】第５の実施の形態に係わる入力端末の動作を説明するためのフローチャート。
【図１７】第５の実施の形態に係わる入力端末の動作を説明するためのフローチャート。
【図１８】行動記録レポートの表示例（構成例）を示す図。
【図１９】人物検知処理を説明するための図。
【図２０】第６の実施の形態に係る入力端末の動作を説明するためのフローチャート。
【図２１】第６の実施の形態に係る顔記録サーバ３の動作を説明するためのフローチャート。
【図２２】表示部の表示例を示す図。
【図２３】第７の実施の形態に係る顔記録サーバの動作を説明するためのフローチャート。
【図２４】第７の実施の形態に係る入力端末の動作を説明するためのフローチャート。
【発明を実施するための形態】
【００１２】
以下、この発明の第１〜第７の実施の形態について図面を参照して説明する。
まず、各実施の形態に共通な構成となるシステムについて説明する。
本発明の各実施の形態に係るシステムは、図１及び図２に示すように、大きく２つにモデル化できる。図１は、モデルＡのシステム構成を概略的に示す図であり、図２は、モデルＢのシステム構成を概略的に示す図である。
【００１３】
まず、モデルＡは、図１に示すように、ＩＤ認証装置１、顔画像入力装置２、顔記録サーバ３、及び、顔履歴データベース４などから構成されている。上記ＩＤ認証装置１は、ユーザが入力するＩＤ情報に基づいてＩＤ認証処理を行う。ここで、ユーザが入力するＩＤ情報としては、ＩＤカードに記憶されているＩＤ情報、あるいは、キー入力される情報（ＩＤ番号、パスワード）などの情報である。上記顔画像入力装置２は、ユーザの少なくとも顔を含む領域の画像（顔画像）を入力（撮影）し、その入力画像から顔の特徴パターンを検出したり、入力された画像に基づく顔画像データを上記顔記録サーバ３へ伝送したりするものである。上記顔記録サーバ３は、上記顔画像入力装置２から伝送された顔画像データを履歴情報とともに上記顔履歴データベース４に記録したり、上記顔履歴データベース４から特定の人物の顔画像データを検索したりするものである。上記顔履歴データベース４は、例えば、大容量磁気ディスクで構成される。
【００１４】
すなわち、モデルＡにおいて、ユーザは、まず、自身のＩＤ情報をＩＤカードあるいはキー入力により入力する。すると、上記ＩＤ認証装置１は、ユーザにより入力されたＩＤ情報に基づいてユーザ認証を行う。ここで、ユーザ認証としては、ユーザが本人であるか否かを判断するものであっても良いし、ユーザが誰であるかを判断するものであっても良い。
【００１５】
上記ＩＤ認証装置１によりユーザが認証されると、上記顔画像入力装置２は、図示しないカメラにて当該ユーザの顔画像を入力（撮影）する。当該ユーザの顔画像が顔画像データとして入力されると、上記顔画像入力装置２は、入力画像データから顔の特徴パターンを検出する。これにより、入力画像データから顔の特徴パターンを検出すると、上記顔画像入力装置２は、顔の特徴パターンが検出された入力画像データをその入力画像データの属性情報とともに、上記顔記録サーバ３へ伝送する。上記顔記録サーバ３では、上記顔画像入力装置２から伝送された入力された顔画像データとその属性情報とを上記顔履歴データベース４に記録する。
【００１６】
また、モデルＢは、図２に示すように，上記モデルＡのＩＤ認証装置１が省略された構成となっており、上記のようなモデルＡでのＩＤ情報によるユーザ認証を省略される。
すなわち、モデルＢでは、まず、上記顔画像入力装置２によりユーザの顔画像を撮影する。当該ユーザの顔画像を入力すると、上記顔画像入力装置２は、入力された画像に基づく顔画像データから顔の特徴パターンを検出する。これにより、入力画像データから顔の特徴パターンを検出すると、上記顔画像入力装置２は、顔の特徴パターンが検出された入力画像データをその入力画像データの属性情報とともに、上記顔記録サーバ３へ伝送する。上記顔記録サーバ３では、上記顔画像入力装置２から伝送された入力画像データとその属性情報とを上記顔履歴データベース４に記録する。
【００１７】
なお、モデルＡ及びモデルＢの実現形態としては、顔画像入力装置２の機能と顔記録サーバ３の機能と有する一体型の装置（スタンドアロン型）で構成されるようにしても良いし、図３に示すように、複数の顔画像入力装置２に対してネットワークを介して顔記録サーバ３が接続されているシステム（ネットワーク型）で構成されるようにしても良い。
【００１８】
以下の説明では、本システム全体が、図３に示されるようなネットワーク型で構成されるものとする。すなわち、本システムにおいて、各顔画像入力装置（端末）２は、顔画像データをその履歴情報とともに上記顔記録サーバ３へ伝送する。上記顔記録サーバ３は、各顔画像入力装置２から送られてくる顔画像データと履歴情報を顔記録サーバ３に接続されている顔履歴データベース４に蓄える。また、上記顔記録サーバ３では、管理者（監視員）の操作により指定された人物の顔データの検索（トラッキング）を行うようになっている。
【００１９】
次に、上記顔画像入力装置２について説明する。
図４は、上記顔画像入力装置２の外観構成例を示す図である。また、図４では、上記顔画像入力装置２の制御に基づいて動作する機器の例として自動ドア及び電気錠が示されている。
図４に示す構成では、顔画像入力装置２が操作部１１と処理部１２とにより構成されている。上記操作部１１には上記処理部１２が接続され、上記処理部１２には自動ドア及び電気錠を制御する電気錠制御部が接続されている。
【００２０】
上記操作部１１には、図４に示すように、表示部（ディスプレイ）２１、カメラ２２、スピーカ２３、テンキー２４などが組み込まれている。
上記表示部２１は、例えばカラー液晶表示装置により構成される。上記表示部２１には、上記カメラ２２から入力された画像上に顔領域の検出結果（例えば、顔領域を表す円図形で示す）を重ねて表示される。上記カメラ２２は、ユーザの少なくとも顔を含む領域の画像（顔画像）を複数枚撮影（入力）する。上記テンキー２４は、ＩＤ情報などを入力するキーである。上記スピーカ２３は、上記処理部１２からの音声データを再生するものであり、音声ガイドなどを行う。なお、図４に示す顔画像入力装置２をモデルＢに適用する場合には、上記テンキー２４は省略しても良い。
【００２１】
また、上記処理部１２は、上記カメラ２２により入力された画像データから顔の特徴量を検出する顔検出、上記カメラ２２を制御するカメラ制御、上記テンキー２４を制御するテンキー制御、上記自動ドアあるいは上記電気錠制御を介して電気錠を制御するドア制御、上記カメラ２２からの入力画像データを外部に伝送する画像伝送、上記カメラ２２からの入力画像データを記憶装置に記憶する画像記録などの機能を有している。
【００２２】
図５（ａ）、（ｂ）は、顔画像入力装置２の設置例を示す側面図である。
図５（ａ）は、壁掛けタイプの操作部１１を有する顔画像入力装置２の設置例を示す側面図である。図５（ａ）では、図４に示すように構成された操作部１１が壁に掛けて設置されている。このような構成では、操作部１１の正面に立つ利用者Ｐの顔は、斜め下方からカメラ２２によって撮影されるようになっている。また、操作部１１はケーブルを介して処理部１２に接続されている。
【００２３】
また、図５（ｂ）は、据え置きが可能なポール型の顔画像入力装置２の例である。図５（ｂ）に示す構成例では、ポール形状の筐体に表示部２１、及びカメラ２２などの操作部１１の構成が設けられるともに、筐体内に処理部１２が設置される。また、図５（ｂ）に示す構成において、ポール形状の筐体の高さは、人間の身長に合わせて、例えば、１４０〜１５０ｃｍに設定される。すなわち、図５（ｂ）に示す構成のポール形状の筐体は、ユーザの正面向きの顔を安定して撮影できる上記カメラ２２の取り付け位置を確保できる高さがあれば良く、そのカメラ２２の近傍に表示部２１が設置される。
【００２４】
また、図５（ａ）、（ｂ）に示すような構成の顔画像入力装置２がネットワーク型のシステムに適用される場合、上記処理部１２には、無線ＬＡＮやブルートゥースなどの無線通信による上記顔記録サーバ３との無線通信機能（送信手段）を設けるようにしても良い。このように顔画像入力装置２に無線通信機能を搭載することによりネットワーク回線や顔記録サーバ３と接続するための配線の手間を省くことができ、顔画像入力装置２の設置や増設などが容易となる。
【００２５】
図６は、顔画像入力装置の制御系統としての全体構成を示す図である。
上記顔画像入力装置２は、図６に示すように、ユーザインターフェースとしての操作部１１と処理部１２とから構成されている。また、上記顔画像入力装置２は、ＬＡＮを介して上記顔記録サーバ３及びプリンタなどに接続されている。上記顔画像入力装置２の操作部１１は、例えば、図４に示すような外観構成からなり、ディスプレイ２１、カメラ２２、スピーカ２３、テンキー２４などを有している。また、図６に示す構成例では、上記カメラ２２により撮影するユーザの顔を照明する照明手段を図示していないが、上記カメラ２２の近傍などにユーザの顔を照明する照明手段を設けるようにしても良い。
【００２６】
また、上記顔画像入力装置２の処理部１２は、処理プロセッサ３１、ワークメモリ３２、プログラムメモリ３３、Ｉ／Ｏボード３４、キャプチャボード３５、ディスクインターフェース３６、ＬＡＮインターフェース３８、及びシステムバス３９から構成されている。さらに、上記キャプチャボード３５は、Ａ／Ｄ変換回路４１、及び画像メモリ４２を有している。
【００２７】
上記処理プロセッサ３１は、種々の処理を実行することにより、顔画像入力装置２全体の制御を行うものである。上記ワークメモリ３２は、処理中の画像データやその他のデータなどを一時的に記憶するメモリである。上記プログラムメモリ３３は、制御用のプログラムなどが記憶されるメモリである。上記処理プロセッサ３１は、上記プログラムメモリ３３に記憶されている制御プログラムに基づいて種々の機能を実現するようになっている。例えば、上記処理プロセッサ３１は、各カメラに対し制御信号を送って顔画像データを取込み，そのデータに対しワークメモリ３２を使いながら顔画像データの登録処理を行う。
【００２８】
上記Ｉ／Ｏボード３４は、種々のインターフェースとして機能し、上記ティスプレイ２１、上記スピーカ２３、及び上記テンキー２４などに接続される。上記キャプチャボード３５は、上記カメラ２２で撮影された画像を処理部１２内に取り込む際のインターフェースである。上記キャプチャボード３５内のＡ／Ｄ変換回路４１は、上記カメラ２２で撮影されたアナログ信号からなる画像データを取り込んでデジタル信号の画像データに変換するものである。上記画像メモリ３４は、画像データを一旦蓄えるバッファリングするメモリである。上記画像メモリ３４には、上記カメラ２２で撮影され、上記Ａ／Ｄ変換回路４１によりＡ／Ｄ変換された画像データが蓄積される。なお、上記カメラ２２がＵＳＢ（ユニバーサル・シリアル・バス）インターフェースを備えている場合、Ａ／Ｄ変換回路４１は不要でＵＳＢインターフェースを持たせれば良い。
【００２９】
上記ディスクインターフェース３６は、上記磁気ディスク（記録装置）３７に対するデータの読出し、或は、書込みを行うものである。上記磁気ディスク３７は、上記カメラ２２から入力した入力画像データや入力画像データの履歴情報などを記憶する。また、上記磁気ディスク３７は、一時的なバッファメモリとしても機能する。上記ＬＡＮインターフェース３８は、ＬＡＮとの接続するためのインターフェースである。上記システムバス３９は、制御データや画像データなどデータを送受信するデータバスである。上記システムバス３９は、上記処理プロセッサ３１、ワークメモリ３２、プログラムメモリ３３、Ｉ／Ｏボード３４、キャプチャボード３５内の画像メモリ４２、ディスクインターフェース３６、及びＬＡＮインターフェース３８に接続されている。
【００３０】
また、当該顔画像入力装置２がモデルＡの形態で利用される場合、上記磁気ディスク３７には、各ユーザのＩＤコード及びパスワードなどのＩＤ情報が記憶されるＩＤ情報テーブル３７ａが設けられ、上記プログラムメモリ３３には、ＩＤ情報による認証（ＩＤ認証）を行うための制御プログラムが記憶される。これにより、当該顔画像入力装置２がモデルＡの形態で利用される場合、上記処理プロセッサ３１は、上記ＩＤ認証部１として、ユーザがテンキー２４などにより入力したＩＤ情報と上記ＩＤ情報テーブル３７ａに記憶されているＩＤ情報との照合を行うことによりユーザに対するＩＤ認証を行う。
【００３１】
また、上記処理プロセッサ３１が上記プログラムメモリ３３に記憶されている制御プログラムに基づいて実現する機能としては、特徴量抽出処理、情報生成処理、画像処理、及び画像伝送処理などがある。
上記特徴量抽出処理は、上記カメラ２２で撮影した画像から顔の特徴量（特徴パターン）を抽出する処理である。上記情報生成処理は、上記カメラ２２で撮影した画像に関する属性情報（撮影時間等）を生成する処理である。また、上記処理プロセッサ３１が実行する画像処理は、例えば、上記カメラ２２で撮影した画像に対して、顔領域を切り出す処理、画像濃度の補正処理、正規化処理、あるいは画像圧縮処理などである。上記画像伝送処理は、上記カメラ２２にて撮影した画像に基づく顔画像データをその履歴情報とともに上記顔記録サーバ３へ転送する処理である。
【００３２】
次に、上記顔記録サーバ３の構成例について説明する。
図７は、顔記録サーバ３の構成例を概略的に示すブロック図である。
図７に示すように、上記顔記録サーバ３は、制御部５１、プログラムメモリ５２、ワークメモリ５３、磁気ディスクインターフェース５４、表示部５５、操作部５６、ＬＡＮインターフェース５７などを有している。
【００３３】
上記制御部５１は、顔記録サーバ３全体の制御を司る。上記プログラムメモリ５２は、制御用のプログラムなどが記憶されるメモリである。上記ワークメモリ５３は、処理中の画像やデータなどを一時的に記憶するメモリである。上記磁気ディスクインターフェース５４は、上記顔履歴データベース４にアクセスするためのインターフェースである。
【００３４】
上記表示部５５は、表示装置により構成され、上記顔履歴データベース４の検索結果などを表示する。上記操作部８３は、キーボード或はマウス等の入力装置により構成され、当該顔記録サーバ３を操作する監視員からの操作指示などが入力される。上記ＬＡＮインターフェース５７は、上記ＬＡＮを介して上記顔画像入力装置２とのデータの送受信を行うためのインターフェースである。
【００３５】
上記顔記録サーバ３では、上記制御部５１が上記プログラムメモリ５２に記憶されている制御プログラムに基づいて動作することにより種々の処理を実現している。例えば、上記顔記録サーバ３では、上記顔画像入力装置２からの顔画像をその履歴とともに上記顔履歴データベース４に記録する機能と、上記顔履歴データベース４に記憶されている情報を検索する機能を有している。
【００３６】
以下、上記のように構成されるシステムをベースとして実現される７つの実施の形態について説明する。
まず、第１の実施の形態について説明する。
この第１の実施の形態は、上記モデルＡのネットワーク型システムに適用されるものである。また、この第１の実施の形態の実現形態としては、一体型装置であっても良いし、ネットワーク型のシステムであっても良い。
以下に説明する第１の実施の形態では、複数の地点にＩＤ認証機能を有する顔画像入力装置（以下、入力端末と呼ぶ）２が設置され、これらの入力端末が無線ＬＡＮなどのネットワークを介して、監視員あるいは管理者が操作する顔記録サーバ３に接続されているものとする。
【００３７】
まず、第１の実施の形態に係る入力端末２における顔画像の入力処理について説明する。
図８は、第１の実施の形態に係る入力端末２における顔画像の入力処理の流れを説明ためのフローチャートである。図８に示す処理は、各入力端末の上記処理プロセッサ３１により実行されるものである。
まず、入力端末２が設置されている地点のユーザは、上記操作部１１のテンキー２４により当該ユーザのＩＤ情報としてＩＤコードとパスワードとを入力する。なお、ＩＤコードは、各ユーザに対して管理者側が予め提供するものであり、パスワードは、各ユーザが登録時などに自由に設定するものであるとする。
【００３８】
ユーザによりＩＤ情報（ＩＤコード及びパスワード）が入力されると、上記処理プロセッサ３１は、ＩＤ情報による認証処理（ＩＤ認証）を行う（ステップＳ１１）。このＩＤ認証において、上記処理プロセッサ３１は、ユーザが入力したＩＤ情報（ＩＤコード及びパスワード）と上記磁気ディスク３７のＩＤ情報テーブル３７ａに記憶されているＩＤ情報（各ユーザのＩＤコード及びパスワード）とを照合する。
【００３９】
この照合によりユーザが入力したＩＤ情報と一致するＩＤ情報がＩＤ情報テーブル３７ａに存在しない場合（ステップＳ１１、失敗）、上記処理プロセッサ３１は、当該ユーザに対するＩＤ認証が失敗したと判断する。このようにＩＤ認証が失敗した場合、上記処理プロセッサ３１は、ユーザが入力したＩＤ情報が認証されなかった旨を上記表示部２１に表示し、当該ユーザのアクセスをリジェクトする。
【００４０】
上記照合によりユーザが入力したＩＤ情報と一致するＩＤ情報がＩＤ情報データベース３７ａに存在した場合（ステップＳ１１、成功）、上記処理プロセッサ３１は、当該ユーザに対するＩＤ認証が成功したと判断する。このようにＩＤ認証が成功した場合、上記処理プロセッサ３１は、例えば、上記表示部２１にユーザが入力したＩＤ情報が認証された旨を表示するとともに、少なくとも正面向きの顔を含む画像（顔画像）を上記カメラ２２にて撮影することを当該ユーザに対して促す。このような案内とともに、上記処理プロセッサ３１は、上記カメラ２２によりユーザの顔画像を入力する画像入力処理を行う（ステップＳ１２）。
【００４１】
上記画像入力処理では、上記処理プロセッサ３１の制御によりカメラ２２が１フレーム分の画像を撮影し、撮影した画像をキャプチャボード３５によって上記処理部１２内に取り込む。上記カメラ２２が撮影した顔画像を顔画像データとして処理部１２内に取り込むと、上記処理プロセッサ３１は、取り込んだ画像データ全体から顔の特徴点を検出することにより顔検出処理を行う（ステップ１３）。この顔検出処理では、上記カメラ２２により取り込んだ画像データ（入力画像データ）から粗く顔画像領域を探索し、続いて細かく顔領域内の瞳領域中心点と鼻孔領域中心点との４つの特徴点を顔の特徴点として検出する処理である。
【００４２】
このような顔検出処理において入力画像から顔の特徴点が検出できなった場合、つまり、顔の検出に失敗した場合（ステップＳ１３、失敗）、上記処理プロセッサ３１は、当該ユーザのアクセスをリジェクトする。この場合、上記処理プロセッサ３１は、上記ステップＳ１２の画像入力処理へ戻り、再度、顔画像を撮影して顔検出処理を行う。
【００４３】
また、上記顔検出処理により入力画像から顔の特徴点が検出できた場合、つまり、顔の検出に成功した場合（ステップＳ１３、成功）、上記処理プロセッサ３１は、検出した顔の特徴点に基づいて顔パターン領域の切出処理を行う（ステップＳ１４）。
【００４４】
この切出処理により入力された顔画像データから顔パターン領域を切り出すと、上記処理プロセッサ３１は、顔パターン領域の画像データに対して正規化処理を行う（ステップＳ１６）。この正規化処理では、顔パターン領域の画像データに対して幾何補正および濃度補正を行う。これらの処理が完了すると、処理プロセッサ３１は、抽出された特徴点に基づいて顔の特徴量としての特徴ベクトル（顔パターン）を算出（生成）する（ステップＳ１６）。
【００４５】
当該ユーザの顔の特徴量としての特徴ベクトルを算出すると、上記処理プロセッサ３１は、履歴情報の生成処理として当該ユーザのＩＤ情報、撮影時間、及び、撮影地点などからなる履歴情報を生成する。この履歴情報の生成処理により履歴情報を生成すると、上記処理プロセッサ３１は、当該履歴情報、撮影した画像、及びその画像から算出した特徴ベクトルなどからなる顔履歴情報を上記顔記録サーバ３へ伝送する伝送処理を実行する（ステップＳ１７）。なお、この伝送処理において上記顔記録サーバ３へデータを伝送する際、上記処理プロセッサ３１は、上記磁気ディスク３７を一時バッファとして用いる。
【００４６】
また、図８に示す動作例では、上記カメラ２２にて撮影した１フレームの顔画像を対象としているが、あらかじめ設定した複数枚（Ｎ枚）のフレームを収集するようにしてもよい。この場合の入力端末２の動作は、図９に示すように、顔の特徴点の検出に成功したフレームの数が少なくともＮ枚になるまで、図８のステップＳ１２及びステップＳ１３の処理を繰返し行うものである。
【００４７】
すなわち、図９に示す動作例では、まず、上記ステップＳ１２で画像を入力すると、上記処理プロセッサ３１は、上記カメラ２２から入力したフレーム数（入力フレーム数）がＴとなったか否かを判断する。この判断により入力フレーム数がＴに達していないと判断した場合、上記処理プロセッサ３１は、当該入力フレームの画像に基づく画像データに対して顔検出処理を行う（ステップＳ２２）。この顔検出処理により顔の特徴点が検出できなかった場合（ステップＳ２２、失敗）、上記処理プロセッサ３１は、上記ステップＳ１２へ戻り、上記カメラ２２から次のフレームの画像を入力する。
【００４８】
また、上記顔検出処理により顔の特徴点が検出できた場合（ステップＳ２２、成功）、上記処理プロセッサ３１は、当該フレームの画像を受理し、そのフレーム（受理フレーム）の画像を上記磁気ディスク３７などの記憶手段に蓄積する。当該フレームを受理すると、上記処理プロセッサ３１は、受理フレームが所定数（Ｍ）に達したか否かを判断する（ステップＳ２３）。この判断により受理フレーム数がＭに達していないと判断した場合、上記処理プロセッサ３１は、上記ステップＳ１２へ戻り、上記カメラ２２から次のフレームの画像を入力する。また、上記判断により受理フレーム数がＭに達したと判断した場合、上記処理プロセッサ３１は、蓄積した受理フレームの対する処理を行うステップＳ２５へ進む。
【００４９】
また、上記ステップＳ２１で、入力フレーム数がＴに達したと判断した場合、上記処理プロセッサ３１は、それまでに受理した受理フレーム数がＮ以上であるか否かを判断する（ステップＳ２４）。この判断により受理フレーム数がＮ以上でないと判断した場合、上記処理プロセッサ３１は、当該ユーザに対する顔画像の入力処理をリジェクトする。また、上記判断により受理フレーム数がＮ以上であると判断した場合、上記処理プロセッサ３１は、上記ステップＳ２５へ進む。
【００５０】
上記ステップＳ２５では、受理フレームとして上記磁気ディスク３７などの記録手段に蓄積された複数の画像に対して上記ステップＳ１４〜Ｓ１６の処理を行う。すなわち、上記処理プロセッサ３１は、顔の特徴点が検出できた画像が少なくともＮ以上獲得できた場合に、それらの画像に対して顔パターン領域の切出処理、画像正規化処理、及び特徴ベクトルの算出処理を行う。
【００５１】
上記ステップＳ２５の処理が完了すると、上記処理プロセッサ３１は、入力した一群の顔画像データに対するユーザのＩＤ情報、撮影時間及び撮影地点などからなる履歴情報を生成する。このような履歴情報を生成すると、上記処理プロセッサ３１は、当該履歴情報、受理した全ての顔画像データ、及びそれらの顔画像データから算出した特徴ベクトルなどからなる顔履歴情報を上記顔記録サーバ３へ伝送する（ステップＳ１７）。
【００５２】
なお、上記顔記録サーバ３に伝送する画像のフレーム数は多ければ多いほど、上記顔記録サーバ３での顔検索の精度を上げることができる。しかしながら、上記入力端末２で収集すべき顔画像データのフレーム数が多くなればなるほど、顔画像の入力（登録）処理に時間がかかることとなる。そこで、図９に示す動作例では、パラメータＭを導入し，ユーザが入力端末での処理として許容できる範囲の入力フレーム数を設定しておき、その入力フレーム数内において、Ｎ枚からＭ枚までのフレーム数（少なくともＮ以上のフレーム）の画像を収集するようになっている。
【００５３】
また、図８及び図９の動作説明においては、上記表示部に表示される案内や上記スピーカによる音声ガイダンスなどに関する処理は省略しているが、画像入力処理時に、ユーザに対して顔の正面をカメラ２２に向けるようなガイダンスを行ったり、顔検出に成功した場合にユーザにアクセス許可を報知したり、逆に失敗した場合にユーザのアクセスを拒否したり、ユーザにリトライを促すといったことを行うようにしても良い。
【００５４】
次に、第１の実施の形態に係る顔記録サーバ３の動作について説明する。
図１０は、第１の実施の形態に係る顔記録サーバ３の動作を説明するためのフローチャートである。
まず、上記顔記録サーバ３は、上記入力端末２からの顔履歴情報を受信する（ステップＳ３１）。ここでは、上記入力端末２から受信した顔履歴情報には、少なくともユーザのＩＤ情報と当該ユーザの顔画像データから抽出した顔の特徴パターン（顔パターン）とを含まれているものとする。
【００５５】
上記入力端末２か顔履歴情報を受信した場合、上記顔記録サーバ３の制御部５１は、受信した顔履歴情報をそのＩＤ情報に対応づけて顔履歴データベース４に記録する（ステップＳ３２）。さらに、上記制御部５１は、当該顔履歴情報がそのＩＤ情報に対応する最初の顔履歴情報か否かを判断する（ステップＳ３３）。
【００５６】
この判断により当該顔履歴情報がそのＩＤ情報に対応する最初の顔履歴情報であると判断した場合、つまり、当該顔履歴情報と同じＩＤ情報の顔履歴情報が存在しない場合、上記制御部５１は、当該顔履歴情報に含まれている顔パターンをそのＩＤ情報に対応するユーザの代表顔パターンとして上記顔履歴データベース４に記録する（ステップＳ３４）。ここで、代表顔パターンとは、各ユーザの顔パターンを代表するものであるとする。また、上記代表顔パターンは、新たに取得した顔パターンを用いて照合処理（同定処理）を行う場合に、各ユーザの辞書データとしての顔パターンとして用いられる。
【００５７】
また、上記ステップＳ３３で、当該顔履歴情報がそのＩＤ情報に対応する最初の顔履歴情報でないと判断した場合、つまり、当該顔履歴情報と同じＩＤ情報の顔履歴情報が既に顔履歴データベース４に存在している場合、上記制御部５１は、既に上記顔履歴データベース４に記録されている当該顔履歴情報のＩＤ情報に対応する顔パターン（代表顔パターン）と当該顔履歴情報の顔パターンとの照合（同定）処理を行う（ステップＳ３５）。この照合処理の結果としては、当該顔履歴情報の顔パターンと代表顔パターンとの照合度が算出される。
【００５８】
なお、顔パターンの照合処理の具体的な処理方法としては、文献３に記載されているような「相互部分空間法」を適用できる。さらに、顔パターン照合の方法としては、デジタル画像処理やパターン認識分野で知られている従来技術（例えば、特徴ベクトル間の「相関法」や文字認識などで使われている「部分空間法」など）を適用することができる。
【００５９】
上記照合処理の結果としての照合度が算出されると、上記制御部５１は、算出した照合度が所定の閾値以上か否かを判断する（ステップＳ３６）。この判断により照合度が所定の閾値以上であると判断した場合、上記制御部５１は、当該ユーザが本人でない（「なりすまし」である）と判断し、上記表示部５５あるいは図示しないアラーム等により監視員に対して当該ユーザが「なりすまし」である旨を報知する。
【００６０】
なお、ユーザが「なりすまし」であると判断した場合、上記ステップＳ３２で上記顔履歴データベース４に記録した当該顔履歴情報には、当該ユーザが「なりすまし」である旨、あるいは、当該顔履歴情報が無効である旨が記録される。また、このような場合には当該顔履歴情報を上記顔履歴データベース４から削除するようにしても良い。
【００６１】
ここで、「なりすまし」とは、上記入力端末２でＩＤ認証を行った人物が他のユーザになりすましていることである。従って、「なりすまし検知」とは、上記入力端末２でＩＤ認証を行った人物が他のユーザになりすましていないかを上記入力端末２で撮影された顔画像（顔画像データ）に基づいて判断するものである。
【００６２】
また、上記判断により照合度が所定の閾値以上でないと判断すると、上記制御部５１は、当該ユーザが本人である（「なりすまし」でない）と判断する。これにより当該ユーザが本人であると判断した場合、上記制御部５１は、当該顔履歴情報の顔パターンにより当該ユーザの代表顔パターンを更新する処理を行う（ステップＳ３８）。
【００６３】
また、上記代表顔パターンの更新処理では、代表顔パターンを当該顔履歴情報の顔パターンに書き換えるようにしても良し、既存の代表顔パターンと当該顔履歴情報の顔パターンとから平均的な顔パターンを生成して代表顔パターンとするようにしても良い。前者の場合は、当該顔履歴情報の顔パターンが最新のユーザの顔パターンであるので、ユーザの代表顔パターンが常に最新の顔パターンに書き換えることができるという利点がある。また、後者の場合は、既存の代表顔パターンと最新の顔パターンとに基づいて代表顔パターンが更新されていくため、質の高い代表顔パターンを生成することができるという利点がある。
【００６４】
なお、当該顔履歴情報の顔パターンが安定した状態の顔パターンでないと判断できる場合には、当該ユーザの代表顔パターンの更新処理を行わないようにしても良い。また、上記ステップＳ３８では代表顔パターンの更新を行わずに、別途、管理者が上記顔履歴データベース４に記録されている顔パターンから代表顔パターンとするものを対話的に指定するようにしても良い。
【００６５】
上記のように、上記第１の実施の形態では、入力端末２においてユーザが入力したＩＤ情報によるＩＤ認証で認証されたユーザの顔画像を撮影し、その顔画像に基づく顔画像データを用いた顔照合により顔記録サーバで当該ユーザが本人であるか否かを確認するようにしたものである。
【００６６】
すなわち、上記第１の実施の形態では、上記顔記録サーバが、各入力端末から送られてきた顔履歴情報に含まれるＩＤ情報に基づいて、同じＩＤ情報をもった過去の履歴情報の顔画像データと当該顔履歴情報の顔画像データとの照合処理を行い、この照合処理により当該顔履歴情報の人物が本人であると確認（同定）されなければ、「なりすまし（本人ではない）」と判定して監視員に報知するようにしたものである。
【００６７】
これにより、第１の実施の形態によれば、リアルタイム（複数の入力端末からの顔履歴情報に基づいて処理を行うための多少の時間遅れとしての準リアルタイムも含めるものとする）で各入力端末における「なりすまし」を顔記録サーバにて判断し、監視員に報知することがきる。
【００６８】
以下、第２の実施の形態について説明する。
この第２の実施の形態は、例えば、上記モデルＢのネットワークシステムに適用される。また、第２の実施の形態の実現形態としては、一体型装置であっても良いし、ネットワーク型のシステムであっても良い。この第２の実施の形態では、リアルタイムで当該ユーザの顔履歴情報の一覧（「１地点追跡」結果）をモニタリングするシステムである。
【００６９】
なお、この第２の実施の形態は、入力端末としての顔画像入力装置の外観構成やシステム全体構成などは、上記第１の実施の形態と同じものであるとする。但し、この第２の実施の形態では、入力端末２でのＩＤ認証（キーイン入力及びそのコード処理）が不要となる（モデルＢを対象とする）ため、上記テンキー２４等のＩＤ認証に係る構成は省略しても良い。
【００７０】
この第２の実施の形態では、上記顔履歴データベース４に記録される顔履歴情報は、ユーザごとの顔履歴情報のグループとしてのクラスタごとに記録される。従って、上記顔履歴データベース４に記録される顔履歴情報には、ユーザごとに割り当てられるクラスタ番号が付与され、クラスタごとにグループ化される。また、各クラスタには、そのユーザの代表的な顔パターンとして代表顔パターンが定義されている。
【００７１】
次に、第２の実施の形態に係る入力端末２の動作について説明する。
上記第２の実施の形態において、上記入力端末２は、ＩＤ認証以外の動作は上記第１の実施の形態とほぼ同様な動作を行う。すなわち、第２の実施の形態の入力端末２では、図８又は図９に示す動作から上記ステップＳ１１の動作を省略した動作を行う。このため、上記入力端末２は、ユーザのＩＤ情報を含まない顔履歴情報を生成して上記顔記録サーバ３へ伝送するようになっている。
【００７２】
次に、第２の実施の形態に係る顔記録サーバ３の動作について説明する。
図１１は、第２の実施の形態に係る顔記録サーバ３での処理の流れを説明するためのフローチャートである。
【００７３】
まず、上記顔記録サーバ３は、上記入力端末２からの顔履歴情報を受信する（ステップＳ４１）。ここでは、上記入力端末２から受信した顔履歴情報には、当該ユーザの顔画像から抽出した顔の特徴パターン（顔パターン）が含まれているが、ユーザのＩＤ情報は含まれないものとする。
【００７４】
上記入力端末２から顔履歴情報を受信した場合、上記顔記録サーバ３の制御部５１は、受信した顔履歴情報が当該顔記録サーバ３が最初に受信した顔履歴情報か否かを判断する（ステップＳ４２）。この判断により最初の顔履歴情報と判断した場合、つまり、上記顔履歴データベース４に顔履歴情報が蓄積されていない場合（ステップＳ４２、ＹＥＳ）、上記制御部５１は、後述するステップＳ４６へ進む。
【００７５】
また、上記判断により最初の顔履歴情報でないと判断した場合、つまり、上記顔履歴データベース４に顔履歴情報が蓄積されていると判断した場合（ステップＳ４２、ＮＯ）、上記制御部５１は、受信した顔履歴情報の顔パターンと顔履歴データベース４に蓄積されている各クラスタの代表顔パターンとの照合処理を行う（ステップＳ４３）。この照合処理では、受信した顔履歴情報の顔パターンと各クラスタの代表顔パターンとの照合度をそれぞれ算出し、それらの照合度のうち最大照合度を照合結果とする。また、上記顔履歴情報に顔画像を入力した入力端末を示す端末ＩＤを含めておき、上記照合処理においては、受信した顔履歴情報の顔パターンと照合するクラスタを当該顔履歴情報と同じ端末ＩＤの顔履歴情報を有するものに限定するようにしても良い。
【００７６】
上記照合処理により当該顔履歴情報の顔パターンに対する最大照合度が得られると、上記制御部５１は、その最大照合度となる代表顔パターンのクラスタ番号を判定する（ステップＳ４３）。さらに、上記制御部５１は、上記照合処理で得られた最大照合度が所定の閾値以上か否かを判断する（ステップＳ４４）。
【００７７】
この判断により最大照合度が所定の閾値以上でないと判断すると、上記制御部５１は、新たなクラスタを１つ生成し、上記顔履歴データベース４に記録する。上記顔履歴データベース４に新たなクラスタを記録すると、さらに、上記制御部５１は、受信した顔履歴情報をそのクラスタに属する顔履歴情報として上記顔履歴データベース４に記録する。この際、上記制御部５１は、当該顔履歴情報の顔パターンをそのクラスタの代表顔パターンとして上記顔履歴データベース４に記録する（ステップＳ４６）。
【００７８】
このような動作により当該顔履歴情報を上記顔履歴データベース４に記録すると、上記制御部５１は、その顔履歴情報のユーザが初めて上記入力端末２で撮影されたユーザである旨を上記表示部に表示する。これにより、上記顔記録サーバ３の監視員は、初めてのユーザが当該入力端末２に現れたことをリアルタイムで認識できる。
【００７９】
また、上記ステップＳ４５で、上記照合処理により得られた最大照合度が所定の閾値以上であると判断した場合、上記制御部５１は、当該顔履歴情報のユーザが上記ステップＳ４４で判定した最大照合度となったクラスタ（対応するクラスタ）のユーザであることを判断する。これにより、上記制御部５１は、対応するクラスタに当該顔履歴情報が属するように、当該顔履歴情報を上記顔履歴データベース４に記録する（ステップＳ４８）。当該顔履歴情報を上記顔履歴データベース４に記録する際、上記制御部５１は、そのクラスタの代表顔パターンを当該顔履歴情報の顔パターンにより更新する（ステップＳ４９）。
【００８０】
当該顔履歴情報を上記顔履歴データベース４に記録すると、上記制御部５１は、そのクラスタのユーザの行動履歴を上記表示部５５に表示する。この際、当該ユーザの行動履歴として上記表示部５５には、例えば、図１２に示すような画面が表示される。図１２に示す表示例では、当該ユーザのクラスタ番号、及び、最新の顔画像を撮影した入力端末を示す端末番号とともに、当該ユーザの行動履歴を示す情報が表示されている。上記表示部２１に表示される当該ユーザの行動履歴としては、当該クラスタ内の顔履歴情報ごとに、登録番号、アクセス日時（アクセス月日、アクセス時間）、顔画像（記録されている顔画像の縮小画像等）などが最新のものから順に表示される。
【００８１】
なお、上記ステップＳ４９では、受信した顔履歴情報（最新の顔履歴情報）の顔パターンに基づいて当該クラスタの代表顔パターンを更新するものとしたが、顔履歴情報を受信するごとに、上記顔記録サーバ３の管理者が受信した顔履歴情報の顔パターンで対応するクラスタの代表顔パターンを更新するか否かを指定するようにしても良い。また、各クラスタで複数の代表顔パターンを有することを可能とし、顔履歴情報を受信するごとに、上記顔記録サーバ３が顔履歴情報の顔パターンを代表顔パターンとして追加するようにしても良い。また、顔履歴情報を受信するごとに、上記制御部５１が、受信した顔履歴情報の顔パターンと対応するクラスタの代表顔パターンと１つにマージするようにしても良い。ここで、マージするとは、例えば、複数の顔パターンを平均化したり、統計的に主成分分析をおこなって主成分のみを保持したりするものである。
【００８２】
上記のように、第２の実施の形態では、上記顔記録サーバが各入力端末から顔履歴情報をごとに、今送られてきた顔履歴情報の顔パターンと上記顔履歴データベース４に記録されている各クラスタの代表顔パターンとを照合し、当該顔履歴情報の顔パターンと同定された代表顔パターンを有するクラスタに属する顔履歴情報により、当該ユーザの行動履歴を表示する。これにより、上記顔記録サーバの管理者は、各入力端末で人物が撮影される度に、その人物の行動履歴を容易に確認することができる。
また、上記第２の実施の形態では、上記履歴データベースにユーザごとのクラスタとして各顔履歴情報を分類して記録するようにしているため、照合処理が効率化できる。
【００８３】
以下、第３の実施の形態について説明する。
この第３の実施の形態は、例えば、上記モデルＢのネットワーク型のシステムに適用される。また、第３の実施の形態では複数地点に設置された入力端末が必要となるため、実現形態としてはネットワーク型のシステムとなる。
【００８４】
この第３の実施の形態は、顔記録サーバ３において、各入力端末２で撮影したユーザの行動軌跡（「多地点追跡」結果）をリアルタイムでモニタリングするものである。すなわち、この第３の実施の形態は、上記第２の実施の形態を拡張したものであり、複数の地点に設置された入力端末から得られた顔履歴情報を元に、各入力端末で撮影されたユーザの行動履歴として、当該ユーザの行動の軌跡を監視員に報知するものである。
【００８５】
また、第３の実施の形態が適用される顔画像入力装置の外観構成及びシステム構成は、第２の実施の形態と同様である。つまり、第３の実施の形態も、上記第１の実施の形態と同じものであり、第１の実施の形態における入力端末２でのＩＤ認証（キーイン入力及びそのコード処理）が不要となる。
【００８６】
この第３の実施の形態では、上記第２の実施の形態と同様に、上記顔履歴データベース４に記録される顔履歴情報は、ユーザごとの顔履歴情報のグループとしてのクラスタごとに分類して記録される。特に、第３の実施の形態では、複数の端末間の履歴情報についても照合処理を行うことが必要となるため，第２の実施の形態に比べて、処理量がそれだけ多くなる。このため、第３の実施の形態では、これまでの検索結果（ユーザクラスタ情報）を常に保持することにより重複処理をなくし、同定処理を効率化するようになっている。
【００８７】
また、第３の実施の形態に係る入力端末２の動作についても、上記第２の実施の形態と同様である。つまり、第３の実施の形態において、上記入力端末２は、図８又は図９に示す動作から上記ステップＳ１１の動作を省略した動作を行う。このため、上記入力端末２は、ユーザのＩＤ情報を含まない顔履歴情報を生成して上記顔記録サーバ３へ伝送するようになっている。但し、この第３の実施の形態では、顔履歴情報に少なくとも撮影場所及び顔画像を撮影した撮影時間が含まれる。上記撮影場所を示す情報としては、顔画像を撮影した入力端末を示す端末番号が用いられる。
【００８８】
また、第３の実施の形態に係る顔記録サーバ３の動作は、上記表示部５５に表示するユーザの行動履歴としての情報以外は上記第２の実施の形態とほぼ同様である。すなわち、第３の実施の形態において上記顔記録サーバ３の動作は、上記ステップＳ５０以外は図１１に示す動作と同様である。
【００８９】
図１１に示す動作の上記ステップＳ５０において、上記顔記録サーバ３の制御部５１は、まず、受信した顔履歴情報の顔パターンとの照合が成功したユーザ（クラスタ）の履歴情報を上記顔履歴データベース４から読み出す。次に、上記制御部５１は、上記顔履歴データベース４から読み出した履歴情報に基づいて、当該ユーザの行動の軌跡を上記表示部５５に表示する。この際、上記表示部５５には、図１３に示すような画面が表示される。
【００９０】
図１３に示す表示例では、クラスタ番号、及び、最新のアクセス日時を表示するとともに、当該ユーザの過去の顔履歴情報に基づく、当該ユーザが過去に撮影された地点（撮影した入力端末の端末番号）及び撮影時間が行動の軌跡として表示されている。また、図１３に示す表示例では、撮影地点と撮影時間とをチャートにて表示している。
【００９１】
なお、上記表示部５５にユーザの行動の軌跡として表示する顔履歴情報は、所定の条件に基づいて制限するようにしても良い。たとえば、現在までの経過時間が所定期間内の顔履歴情報に限定して、ユーザの行動の軌跡を表示するようにしても良い。この場合、現在までの経過時間が所定期間のものだけを表示することができ、古い顔履歴情報に基づくユーザの行動の軌跡を表示しないようにすることができる。また、ユーザの行動の軌跡として表示する顔履歴情報の数を制限するようにしても良い。例えば、最新の顔履歴情報から順に所定の件数分の顔履歴情報を表示するようにする。これにより、所定件数の軌跡を表示することができ、監視員が見やすい表示を行うことができる。
【００９２】
以下、第４の実施の形態について説明する。
この第４の実施の形態は、例えば、上記モデルＡ及びモデルＢのネットワーク型のシステムに適用される。また、第４の実施の形態の実現形態としては、一体型装置であっても良いし、ネットワーク型のシステムであっても良い。この第４の実施の形態では、事前に顔画像を登録しておき、リアルタイムで「特定人物検知」を行うものである。
この第４の実施の形態は、入力端末２としての顔画像入力装置の外観構成やシステム全体の構成などは、上記第１の実施の形態と同じものであるとする。また、この第４の実施の形態において、入力端末２は、ＩＤ認証（キーイン入力及びそのコード処理）を行うモデルＡの形態であっても良いし、ＩＤ認証が不要なモデルＢの形態であっても良い。
【００９３】
また、第４の実施の形態における入力端末２の動作については、第１の実施の形態と同様に、図８又は図９に示す動作を行う者であっても良いし、第２、第３の実施の形態のように図８又は図９に示す動作から上記ステップＳ１１の動作を省略した動作であっても良い。
【００９４】
次に、第４の実施の形態に係る顔記録サーバ３の動作について説明する。
この第４の実施の形態では、管理者は、予め特定人物の顔画像情報（顔パターン）のリスト（以下、「特定人物リスト」と呼ぶ）４ａを作成して上記顔履歴データベース４に記録しておくものとする。ここで、特定人物とは、管理者が特に監視の対象としたい人物である。例えば、特定人物としては、不審者や要注意人物などが挙げられる。
【００９５】
また、特定人物リスト４ａに登録される顔パターンは、上記顔履歴データベース４に蓄積されている顔履歴情報から選択される顔パターンであるものとする。また、上記特定人物リスト４ａに登録される顔パターンは、写真などの顔画像データから作成された顔パターンであっても良いし、他の機器から取り込んだ顔パターンや他の機器から取り込んだ顔画像から作成した顔パターンなどであっても良い。
【００９６】
図１４は、第４の実施の形態に係る顔記録サーバ３の動作を説明するためのフローチャートである。
まず、上記顔記録サーバ３の管理者は、予め上記のような特定人物リスト４ａを上記顔履歴データベース４に登録しておくものとする。この状態で、上記入力端末２から顔履歴情報を受信すると、上記制御部５１は、受信した顔履歴情報を上記顔履歴データベース４に記録する（ステップＳ６１）。上記入力端末２から受信した顔履歴情報を上記顔履歴データベース４に記録すると、上記制御部５１は、受信した顔履歴情報の顔パターンと上記特定人物リスト４ａに登録されている全ての顔パターンとの照合処理を行う（ステップＳ６２）。この照合処理の結果としては、受信した顔履歴情報の顔パターンと上記特定人物リスト４ａに登録されている全ての顔パターンとの照合度が得られる。
【００９７】
上記照合処理の結果が得られると、上記制御部５１は、この照合処理の結果として得られた各照合度が閾値以上から否かを判断する。この判断により所定の閾以上の照合度が無かった場合には処理を終了する。また、上記判断により所定の閾値以上の照合度があった場合、上記制御部５１は、その照合度を与える特定人物に対する情報を上記特定人物リスト４ａから読み出して上記表示部５５に表示する。この場合、例えば、図１５に示すような表示例が上記表示部５５に表示される。
【００９８】
また、図１５に示す表示例では、アクセス日時、当該顔履歴情報を入力した入力端末を示す端末番号、当該顔履歴情報の顔画像、及び、ヒットした特定人物（当該顔履歴情報の顔パターンとの照合度が所定の閾値以上となった人物）の顔画像などが表示されている。
【００９９】
また、この第４の実施の形態は、上記第１、第２、第３の実施の形態と併用して実施することが可能である。例えば，上記第１の実施の形態と併用することにより、第１の実施の形態で説明したような「なりすまし検知」で「なりすまし」を行ったと判断された人物の顔履歴情報を特定人物リスト４ａに登録するようにすることも可能である。また、第４の実施の形態と上記第２あるいは第３の実施の形態と併用して実施することにより、特定人物と照合した人物の過去の履歴情報を上記顔履歴データベースから抽出し、当該人物の行動履歴や行動の軌跡などを表示することが可能である。
【０１００】
上記のように、上記顔履歴データベース４などに予め特定人物リストを登録しておき、上記顔記録サーバが入力端末２から顔履歴情報を受信した場合、受信した顔履歴情報の顔パターンと上記特定人物リストに登録されている全ての人物の顔パターンとの照合処理を行い、この照合処理で顔履歴情報の人物が上記特定人物リストに登録されている人物と同定された場合にはその旨を監視員に報知するようにしてものである。
【０１０１】
これにより、第４の実施の形態によれば、顔記録サーバの監視員は、予め指定した人物を容易に発見したり、特定の人物に対する監視を容易に行ったりすることができ、セキュリティレベルを向上させることができる。
【０１０２】
以下、第５の実施の形態について説明する。
この第５の実施の形態は、例えば、上記モデルＡと上記モデルＢの中間的なモデルに適用される。この第５の実施の形態では、例えば日記のような、ユーザの行動記録を示す情報を自動的に作成するものである。
【０１０３】
この第５の実施の形態では、例えば、最初のアクセス時などに少なくとも１回はＩＤ情報を入力する。すなわち、第５の実施の形態は、少なくとも１度はＩＤ情報が入力されることが条件であるが、１度ＩＤ情報を入力したユーザはその後の運用においてＩＤ情報を必ずしも入力する必要はない。また、第５の実施の形態の実現形態としては、一体型装置であっても良いし、ネットワーク型のシステムであっても良い。
【０１０４】
次に、第５の実施の形態に係る入力端末２の動作について説明する。
この第５の実施の形態において、入力端末２は、通常の運用時の動作としては、第１の実施の形態とほぼ同様であるが、図８又は図９に示す動作のうち上記ステップＳ１１の処理が異なる。すなわち、上記入力端末２には、通常の運用時に、各ユーザが少なくとも一度、自身のＩＤ情報を入力する必要がある。従って、少なくとも１度ＩＤ情報を入力したことがあるユーザは、通常の運用時にはＩＤ情報の入力を省略することが可能である。この場合、入力端末は、図８又は図９に示す動作から上記ステップＳ１１の動作を省略した動作を行う。
【０１０５】
図１６は、第５の実施の形態に係わる入力端末２の動作を説明するためのフローチャートである。
まず、管理者は、上記入力端末２の操作部としてのテンキー２４などにより専用の動作モード（管理者モード）を起動させる。この管理者モードでは、第５の実施の形態としてのユーザの行動記録を作成する動作モードを実行することができるようになっている。
【０１０６】
この管理者モードが起動すると、管理者は、ユーザの行動記録の表示あるいは作成を指示する。すると、上記入力端末２の処理プロセッサ３１は、上記顔記録サーバ３を介して上記顔履歴データベース４にアクセスする。上記顔履歴データベース４にアクセスすると、上記処理プロセッサ３１は、上記顔履歴データベース４に記録されている顔履歴情報のうちＩＤ情報が付与されている顔履歴情報を検索する。
【０１０７】
これにより、ＩＤ情報が付与されている顔履歴情報を検索すると、上記処理プロセッサ３１は、ＩＤ情報が付与されている顔履歴情報の顔パターンを照合用のテンプレート（辞書データ）として、他の顔履歴情報の顔パターンとの照合処理を行う。この照合処理によりＩＤ情報が付与されていない顔履歴情報の顔パターンに対しては、ＩＤ情報が付与されている各顔履歴情報の顔パターンとの照合度が算出される。
【０１０８】
この照合処理の結果に基づいて、上記処理プロセッサ３１は、ＩＤ情報が付与されていない顔履歴情報に、それぞれ照合度が最も高かった顔パターンを有する顔履歴情報のＩＤ情報を割り付ける（ステップＳ７１）。つまり、ＩＤ情報が付与されていなかった顔履歴情報は、照合度が最も高かった顔パターンの顔履歴情報と同定される。
【０１０９】
これによりＩＤ情報が付与されていなかった顔履歴情報にＩＤ情報が割り振られると、上記処理プロセッサ３１は、各ＩＤ情報ごとに、撮影場所や撮影時間等の履歴を時系列などでまとめ、各ＩＤ情報つまり各ユーザの行動履歴を示す行動記録レポートを作成し、出力する。この行動記録レポートは、ＬＡＮなどに接続されている用紙に印刷して出力するようにしても良いし、上記表示部２１に表示出力するようにしても良い。
【０１１０】
また、図１７は、第５の実施の形態に係わる入力端末２の動作を説明するためのフローチャートであり、図１６に示す動作の変形例である。
すなわち、図１７に示す動作例では、上記ステップＳ７１において、単に、最も照合度が高いＩＤ情報に割り振るのではなく、所定の閾値以上で、かつ、最も照合度が高いＩＤ情報に割り振るものである。従って、図１７に示す動作例では、最大照合度が所定の閾値より小さい場合、当該顔履歴情報に対するＩＤ情報の割り付けを保留する（ステップＳ７３）。
【０１１１】
次に、上記入力端末２の処理プロセッサ３１は、ＩＤ情報の割り付けができた顔履歴情報をＩＤ情報ごとに集めてそれらの顔パターンをマージすることによって、ＩＤ情報に対応した１つのテンプレート（照合用の辞書データ）を生成する（ステップＳ７４）。これにより、各ＩＤ情報ごとのテンプレートが生成されると、上記処理プロセッサ３１は、ＩＤ情報の割り付けがまだの顔履歴情報（ＩＤ情報の割り付けが保留されている顔履歴情報）の顔パターンと各ＩＤ情報ごとのテンプレートとの照合処理を行う。
【０１１２】
この照合処理によりＩＤ情報の割り付け保留されている顔履歴情報の顔パターンに対しては、ＩＤ情報ごとのテンプレートとの照合度が算出される。この照合処理の結果に基づいて、上記処理プロセッサ３１は、ＩＤ情報の割り付け保留されている顔履歴情報に、それぞれ照合度が最も高かったテンプレートのＩＤ情報を割り付ける（ステップＳ７５）。これにより、全ての顔履歴情報にＩＤ情報が割り付けられ、上記ステップＳ７２でＩＤごとの行動記録レポートが作成及び出力される。
また、図１６及び図１７に示す動作例では、ＩＤ情報が付与されている全ての顔履歴情報を対象として行動記録レポートを作成して出力するようにしたが、上記管理者が特定のユーザのＩＤ情報のみを指定することにより、そのＩＤ情報のユーザに関する行動記録レポートを作成して出力するようにしても良い。この場合、ＩＤ情報が付与されている全ての顔履歴情報の顔パターンについて照合処理を行う必要がなくなるため、処理時間を短縮して所望のユーザの行動記録レポートを早く作成して出力できる。
【０１１３】
図１６に示す動作と図１７に示す動作との主な相違点は、図１７に示す処理の方が精度が高くなるがそれだけ処理時間が長くなることである。
【０１１４】
また、上記ステップＳ７４の処理は、複数の顔パターンを１つのテンプレートに統合（マージ）するようにしたが、マージの方法としては、例えば、非特許文献４に示されているような、平均化や統計的に主成分分析をおこなって主成分のみを取出す従来方法を用いることができる。また、上記ステップＳ７４の処理での作成したテンプレートを次回の照合処理から各ＩＤ情報の顔パターンを代表するテンプレートとして用いるようにしても良い。なお、図１６及び図１７の処理は、パターン認識分野においては「クラスタリング」と呼ばれている手法に属し、例えば、非特許文献４に示されている「Ｋ平均アルゴリズム」と呼ばれているアルゴリズムを用いてもよい。
【０１１５】
また、上記行動記録レポートは、例えば、１８に示す表示例のように構成される。図１８に示す表示例では、ＩＤ情報としてのユーザＩＤ及び入力端末を示す端末番号とともに、行動記録としての登録番号、アクセス日時（アクセス月日、アクセス時間）、顔画像などが表示されている。
【０１１６】
また、上記行動記録レポートは、端末（操作部）の表示画面に出力され、管理者が確認後、その指示によりプリントアウトする。行動記録のレポートをプリントするプリンタは、例えば、ＬＡＮを経由してネットワーク接続されても良いし、端末装置内部に組み込んでも良い。
【０１１７】
また、この第５の実施の形態に係る顔記録サーバ３は、通常、運用時においては上記第１、第２、第３あるいは第４の実施の形態と同様な動作を行う。また、図１６あるいは図１７の処理と同様な処理を上記顔記録サーバ３により実行するようにしても良い。この場合、上記顔記録サーバ３の管理者が上記操作部５６によって専用の動作モード（管理者モード）を起動させることにより開始するようにすれば良い。
【０１１８】
上記のように、第５の実施の形態では、過去の顔履歴情報に対して顔パターンの照合処理を行って、各ユーザごとの行動記録としての履歴情報を作成して出力するようにしたものである。これにより、上記顔履歴データベースに蓄積された顔履歴情報を区分けし、さらに、各ユーザごとの行動記録を容易に抽出することができる。
【０１１９】
以下、第６の実施の形態について説明する。
この第６の実施の形態は、上述の各システムに適用できる。この第６の実施の形態は、顔画像を入力するためのカメラ２２を人物監視のための監視カメラとしても用いるシステムである。上記のようなシステムでは、顔画像を入力している時以外は、上記カメラ２２が待機状態となっている。そこで、第６の実施の形態では、「人物監視機能」を新たに付加し、上記カメラ２２の使用効率を高めるものである。
【０１２０】
この第６の実施の形態では、上記入力端末２にて撮影している画像に基づいて、上記カメラ２２に接近している人物及び上記カメラ２２から遠ざかっている人物を検出し、この間に上記カメラ２２が撮影している映像を上記顔記録サーバ３に伝送したり記録したりするものである。
【０１２１】
なお、以下の第６の実施の形態の説明では、ネットワーク型のシステムでの適用例について説明するが、ネットワーク型のシステムではなく、スタンドアロン型の装置に対しても適用可能である。スタンドアロン型の装置に第６の実施の形態を適用した場合、上記カメラ２２に人物が接近してから遠ざかるまでの間の時間帯に、上記カメラ２２が撮影した動画像は、当該ユーザの履歴情報として入力端末２内の磁気ディスク３７に記録するようにすればよい。
【０１２２】
通常、ある地点に設置したカメラ２２に対して、ユーザ（あるいは通行人）は、接近、顔画像の入力、遠ざかりという流れになる。従って、この第６の実施の形態では、顔画像の入力処理の成功あるいは失敗にかかわらず、当該ユーザが上記カメラ２２に対して接近してから遠ざかるまでの映像を取得する。このため、上記第６の実施の形態で説明する処理は、上記第１、第２、第３の実施の形態にて説明したユーザの顔履歴情報を上記顔履歴データベース４に記録する顔履歴情報の記録処理（第６の実施の形態では入力モードを呼ぶ）とは別の処理として上記顔履歴情報の記録処理に平行して実行される。
【０１２３】
次に、上記カメラ２２への人物の接近及び遠ざかりの検知について説明する。
まず、上記カメラ２２への人物の接近は、上記カメラ２２の近傍に設けた近接センサが人物を検知した時、あるいは、上記カメラ２２が撮影している画像から人物らしい画像領域が検出された時などに検知される。また、上記カメラ２２からの人物の遠ざかりは、上記カメラ２２の近傍に設けた近接センサが人物を検知しなくなった時、あるいは、上記カメラ２２が撮影している画像から人物らしい画像領域が検出されなくなった時などに検知される。つまり、人物の検知は、近接センサによるものと上記カメラ２２が撮影している画像に対する画像処理によるものとがある。
【０１２４】
次に、上記カメラ２２が撮影している画像に対する画像処理により人物を検知する処理について説明する。
図１９は、上記カメラ２２が撮影している画像か人物の有無を検知する人物検知処理を説明するための図である。
図１９に示すように、まず、上記カメラ２２が撮影している背景画像を上記磁気ディスク３７などに登録しておく（ステップＳ８１）。この状態において、上記処理プロセッサ３１は、上記カメラ２２が撮影している画像を随時取得している（ステップＳ８２）。上記処理プロセッサ３１では、上記カメラ２２にて撮影した画像データと上記背景画像データとの差分を算出したり、２値化したりすることにより、随時、上記カメラ２２にて撮影した画像データに変化があるか否かを判断している（ステップＳ８３）。
【０１２５】
この判断により上記カメラ２２にて撮影した画像データと予め登録されている背景画像データとに変化があると判断した場合、上記制御部５１は、上記カメラ２２にて撮影された画像データと背景画像データとの差分画像データなどから変化成分を抽出する（ステップＳ８４）。この変化成分を抽出すると、上記制御部５１は、抽出した変化成分の面積の大きさが所定の閾値よりも大きいか否かを判断する。この判断により抽出した変化成分の面積が所定の閾値よりも大きいと判断した場合、上記制御部５１は、上記カメラ２２の撮影範囲内に人物が存在することを検知する。
【０１２６】
次に、第６の実施の形態に係る入力端末２の動作について説明する。
図２０は、第６の実施の形態に係る入力端末２の動作を説明するためのフローチャートである。
まず、上記入力端末２のカメラ２２は、所定の撮影範囲の画像を随時撮影しているものとする。上記処理プロセッサ３１は、例えば、所定間隔ごとに、上記カメラ２２から画像を取り込み（ステップＳ９１）、上記のような人物検知処理により、上記カメラ２２の撮影範囲内に人物が存在するか否かを判断する（ステップＳ９２）。
【０１２７】
この判断により人物の存在が検知されると、上記処理プロセッサ３１は、上記顔記録サーバ３へ上記カメラ２２が撮影している連続画像（動画像）の画像データの伝送を開始する（ステップＳ９３）。これにより、上記顔記録サーバ３への動画像のデータの伝送を開始すると、上記処理プロセッサ３１は、上記顔記録サーバ３への動画像のデータの伝送を継続して実行するとともに、上記カメラ２２が撮影している画像に対してユーザの顔画像を検出する顔検出処理を行う（ステップＳ９４）。なお、ここでは、入力端末２がモデルＢの場合を想定しているが、入力端末２がモデルＡの場合、上記ステップＳ９４ではユーザによりＩＤ情報が入力されたか否かを判断する。
【０１２８】
上記顔検出処理にて顔画像が検出されなかった場合（ステップＳ９４、ＮＯ）、上記処理プロセッサ３１は、上記人物検知処理を行って人物が上記カメラ２２の撮影範囲からいなくなったか否かを判断する（ステップＳ９５）。この判断により人物がいなくなっていないと判断した場合、つまり、上記カメラ２２の撮影範囲内に人物がまだ存在していると判断した場合（ステップＳ９５、ＮＯ）、上記処理プロセッサ３１は、上記ステップＳ９４へ戻る。また、上記ステップＳ９５の判断により人物がいなくなったと判断した場合（ステップＳ９５、ＹＥＳ）、上記処理プロセッサ３１は、上記顔記録サーバ３への動画像のデータの伝送を終了する（ステップＳ９６）。
【０１２９】
また、上記ステップＳ９４の顔検出処理で顔画像が検出された場合（ステップＳ９４、ＹＥＳ）、上記処理プロセッサ３１は、顔履歴情報を生成して上記顔記録サーバ３へ伝送する入力モードの処理を実行する（ステップＳ９７）。この入力モードの処理を実行すると、上記処理プロセッサ３１は、さらに、上記人物検知処理を行って人物が上記カメラ２２の撮影範囲からいなくなったか否かを判断する（ステップＳ９８）。
【０１３０】
この判断により人物がいなくなっていないと判断した場合、つまり、上記カメラ２２の撮影範囲内に人物がまだ存在していると判断した場合（ステップＳ９８、ＮＯ）、上記処理プロセッサ３１は、人物がいなくなったと判断するまで人物検知処理を繰返し実行する。このステップＳ９８で人物がいなくなったと判断した場合（ステップＳ９８、ＹＥＳ）、上記処理プロセッサ３１は、上記顔記録サーバ３への動画像のデータの伝送を終了する（ステップＳ９６）。
【０１３１】
上記のように、入力端末２では、上記カメラ２２にて撮影している画像から撮影範囲内の人物の有無を検知し、人物が存在する場合には上記入力モードの処理と平行してその動画像のデータを人物がいなくなるまで上記顔記録サーバ３へ伝送するようにしてものである。これにより、上記カメラ２２に対して人物が接近してきてから遠ざかるまでの画像を上記顔記録サーバ３へ伝送することが可能となる。
【０１３２】
次に、第６の実施の形態に係る顔記録サーバ３の動作について説明する。
図２１は、第６の実施の形態に係る顔記録サーバ３の動作を説明するためのフローチャートである。
まず、上記顔記録サーバ３の制御部５１は、上記入力端末２からの動画像を伝送する旨のリクエストがあったか否かを判断する（ステップＳ１０１）。この判断により入力端末２からの動画像のデータを伝送する旨のリクエストがあったと判断した場合、上記制御部５１は、当該入力端末２から伝送される動画像のデータ（ストリームデータ）を受信し、上記表示部５５に表示する。この際、上記表示部５５には、例えば、図２２に示すような画面が表示される。図２２に示す表示例では、各入力端末２から伝送されてきた動画像のデータがそれぞれの入力端末を示す端末番号とともに表示されている。なお、ここでは、入力端末２から送られてきた動画像のデータを表示部５５に表示するようにしたが、入力端末２から送られてきた動画像のデータを顔履歴データベース４などの記録装置に記録するようにしても良い。
【０１３３】
これにより、上記顔記録サーバ３の監視員は、上記表示部５５に表示された動画像を見て、上記カメラ２２の撮影範囲内の様子をリアルタイムで監視することができる。
【０１３４】
上記のように、第６の実施の形態では、他の実施の形態のような動作とともに、入力端末２のカメラ２２が撮影している人物を含む動画像のデータを上記顔記録サーバ３に伝送し、上記顔記録サーバでは各入力端末から伝送されてきた動画像のデータを動画像として表示したり、記録したりするようにしたものである。
これにより、上記監視員が、各入力端末のカメラの撮影範囲における様子をリアルタイムで、かつ、効率的に監視することができる。
【０１３５】
以下、第７の実施の形態について説明する。
この第７の実施の形態は、例えば、上記した各実施の形態のシステムに適用される。この第７の実施の形態では、事前に顔画像を登録しておき、その事前に登録されている顔画像から顔照合用テンプレート（辞書）としての顔パターンを生成し、顔の特徴点を検出する顔検出処理に加えて簡易的な顔画像による照合処理を追加したものである。
【０１３６】
この第７の実施の形態は、上記第１〜第６の実施の形態に対する付加機能として実現可能である。この第７の実施の形態は、入力端末２で顔画像による個人認証が顔検出処理の後処理として実行される。さらに、第７の実施の形態における個人認証と従来の個人認証装置との違いは、ユーザの顔辞書が管理者の操作によって履歴情報から構成される点である。これにより、第７の実施の形態では、ユーザにとっての顔画像の登録という作業が発生せず、あくまで顔検出の後処理として実行されるのでユーザの使い勝手がそこなわれないというメリットがある。さらに、入力端末での個人認証における照合度のしきい値を通常より低くしておくことにおり、本人誤排除率がほぼゼロになり、ユーザの使い勝手がそこなわれないというメリットもある。
【０１３７】
まず、第７の実施の形態に係る顔記録サーバ３の動作について説明する。
図２３は、第７の実施の形態に係る顔記録サーバ３の動作を説明するためのフローチャートである。なお、ここでは、上記顔履歴データベース４に蓄積されている顔履歴情報にはユーザを示すＩＤ情報が含まれていないものとする。
【０１３８】
まず、上記顔記録サーバ３の管理者は、操作部５６により上記顔履歴データベース４に蓄積されている顔履歴情報のクラスタリングを指示する。なお、実現形態がスタンドアロンの場合には入力端末２のテンキー２４によりクラスタリングを指示する。すると、上記上記制御部５１は、上記顔履歴データベース４に蓄積されている全ての顔履歴情報の顔パターンを同士で照合処理することにより顔履歴情報のクラスタリングを行う（ステップＳ１１１）。
【０１３９】
このような照合処理の結果としては、照合度が所定の閾値以上となる顔パターン（顔履歴情報）の組み合わせが得られる。すなわち、この照合処理により上記顔履歴データベース４に蓄積されている顔履歴情報から同一のユーザの顔履歴情報が判定される。この照合処理の結果に基づいて、上記制御部５１は、上記顔履歴データベース４に蓄積されている顔履歴情報をユーザごとに分類する。ユーザごとに顔履歴情報を分類すると、上記制御部５１は、それぞれのユーザ（クラスタ）に対してＩＤコードとしてのクラスタ番号を付与する（ステップＳ１１２）。
【０１４０】
さらに、上記制御部５１は、それぞれのクラスタ内で各顔履歴情報の顔パターンを１つに統合（マージ）することにより、各クラスタ（ユーザ）ごとに１つのテンプレート(顔照合用の辞書データ)としての顔パターンを生成する（ステップＳ１１３）。なお、クラスタ内の顔パターン（特徴ベクトル）データを１つにマージしてテンプレートとする方法としては、例えば、平均化や統計的に主成分分析をおこなって主成分のみを取出すといった従来方法を用いることができる。これらの技術は、非特許文献４などに記載されている。
このような処理により各クラスタのテンプレートデータを生成すると、上記制御部５１は、入力端末２側にテンプレートデータをダウンロードする（ステップＳ１１４）。このテンプレートデータには、少なくとも各クラスタ（ユーザ）のテンプレートとＩＤコードとが含まれる。
【０１４１】
上記のように、第７の実施の形態において、上記顔記録サーバ３では、上記顔履歴データベース４に蓄積されている顔履歴情報の顔パターン同士の照合処理を行い、この照合結果に基づいて顔履歴情報をユーザごとにクラスタリングし、さらに、クラスタリングされた各クラスタ内の顔履歴情報の顔パターンから当該ユーザのテンプレート（代表顔パターン）を生成し、入力端末２にダウンロードするようにしたものである。
【０１４２】
次に、第７の実施の形態に係る入力端末２の動作について説明する。
まず、入力端末２には、上記顔記録サーバ３からのテンプレートデータがダウンロードされている。このテンプレートデータには、少なくとも顔照合用の顔パターン（テンプレート）とそのクラスタ（ユーザ）に付与されたＩＤコードが含まれる。従って、上記顔記録サーバ３からテンプレートデータがダウンロードされると、上記入力端末２の処理プロセッサ３１は、当該テンプレートデータのテンプレートとそのユーザのＩＤコードとを対応づけて磁気ディスク３７に登録する。なお、上記顔記録サーバ３にてクラスタリングされた顔履歴情報のユーザには、管理者から自身のＩＤコードが知らされているものとする。
【０１４３】
図２４は、第７の実施の形態に係る入力端末２の動作を説明するためのフローチャートである。
図２４に示すフローチャートのステップＳ１１〜Ｓ１７は、図８に示すフローチャートのステップＳ１１〜Ｓ１７と同様であるため、説明を省略する。すなわち、上記ステップＳ１６において、上記カメラ２２から入力した画像から当該ユーザの顔パターンを生成すると、上記処理プロセッサ３１は、入力画像から生成した顔パターンと、上記磁気ディスク３７に記録されている当該ユーザが上記ステップＳ１１で入力したＩＤ情報に対応するテンプレート（顔パターン）との照合処理を行う（ステップＳ１２１）。
【０１４４】
この照合処理の結果は、照合度として与えられる。従って、上記処理プロセッサ３１は、上記照合処理で得られた照合度が所定の閾値以上であるか否かを判断する（ステップＳ１２２）。この判断により上記照合処理で得られた照合度が所定の閾値以上であると判断した場合、上記処理プロセッサ３１は、上記ステップＳ１７へ進み、顔履歴情報を上記顔記録サーバ３へ伝送する処理を行う。また、上記判断により上記照合処理で得られた照合度が所定の閾値以上でないと判断した場合、上記処理プロセッサ３１は、当該ユーザが本人でない（「なりすまし」である）と判断し、当該ユーザに対する処理をリジェクトする。
【０１４５】
なお、上記ステップＳ１２２の処理で用いられる照合度は、通常よりも低い値に設定するようにしても良い。この場合、顔画像による照合処理が「軽く」なり、本人であるにもかかわらずに誤認識よってリジェクトされる可能性をゼロに近くすることができる。つまり、通常よりも低い閾値を設定して「軽い」照合処理を行うことにより、本人誤排除率がほぼゼロになり、ユーザの使い勝手がそこなわれないというメリットがある。
【０１４６】
上記のように、第７の実施の形態では、上記顔記録サーバで蓄積されている顔履歴情報をクラスタリングしてユーザごとに分類して、各ユーザの照合用の顔パターンとしてのテンプレートを生成し、そのテンプレートとＩＤコードとを上記入力端末へダウンロードするようにしたものである。これにより、上記顔履歴データベースに蓄積された顔履歴情報からユーザごとのクラスタ、あるいは、テンプレートを作成することができ、ユーザがテンプレートを作成する手間が省ける。
【０１４７】
さらに、第７の実施の形態では、入力端末にテンプレートとＩＤコードとを登録しておき、顔画像を入力する際に入力端末で顔照合によるなりすまし検知を行うようにしたものである。これにより、入力端末での顔画像の入力処理の段階でなりすましを検知することが可能となる。
【０１４８】
以上詳述したように、各実施の形態によれば、ユーザがセキュリティ性の高い対象にアクセスする際に，正面顔の登録を義務付けて不正アクセスを抑止する。また、第１のモデルとして、ユーザが入力したＩＤ情報によるＩＤ認証を行った上で当該ユーザの顔画像による照合処理及び顔画像の記録を行うシステムと、第２のモデルとして、ＩＤ情報の入力を省略して、顔画像による照合処理及び顔画像の記録だけを行うシステムとの２つのシステムを想定する。
【０１４９】
さらに、各モデルに履歴として蓄積される顔画像とその履歴情報に対する自動トラッキング（検索）機能をもたせ、第１のモデルでは「なりすまし検知」を行ってセキュリティレベルを向上させることができ、第２のモデルおいては「ユーザ分類」を行って、効率的な顔画像とその履歴情報との蓄積を行うことが可能となる。さらに、特定人物を検索する機能は、どちらのモデルにおいても実施可能であり、他の機能との組み合わせが可能である。また、各モデルの実現形態においては、一体型装置（スタンドアロン型）とネットワーク型のシステムの両方が有り得る。さらに、顔トラッキング（顔画像による照合処理）は、リアルタイム処理、またはバッチ処理の２通りの処理が可能である。
【０１５０】
このような各実施の形態の効果としては、ユーザには正面向きの顔を記録することが義務づけられるので、従来の人物を監視するシステムや監視用の画像を記録するシステムに比べて、不正アクセスの抑止効果が高くなる。また、従来の顔照合装置に比べ利便性が向上する。これらの結果、従来の装置やシステムでは実現できていない利便性とセキュリティレベルのバランスの取れた効率的なシステムが提供でき、当該システムの応用範囲を広くすることが可能となる。
【符号の説明】
【０１５１】
１…ＩＤ認証部、２…顔画像入力装置、３…顔記録サーバ、４…顔履歴データベース、４ａ…特定人物リスト、４…顔画像履歴データベース、１１…操作部、１２…処理部、２１…表示部、２２…カメラ、２４…テンキー、３１…処理プロセッサ、３７…ＬＡＮインターフェース、３７…磁気ディスク、３８…ＬＡＮインターフェース、５１…制御部、５５…表示部、５６…操作部、５７…ＬＡＮインターフェース
【特許請求の範囲】
【請求項１】
複数の地点に設置された複数の入力端末と、これらの入力端末からのデータを受信可能なサーバ装置とを有する顔画像記録システムにおいて、
前記入力端末は、
各設置地点においてユーザの顔画像を入力する画像入力手段と、
この画像入力手段により入力された顔画像データと、その撮影地点及び撮影時間を含む履歴情報とを前記サーバ装置へ送信する送信手段と、を有し、
前記サーバ装置は、
前記入力端末から送信された顔画像データとその履歴情報とを記録する画像記録手段と、
前記入力端末からの顔画像データを受信した場合、前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとを照合する照合手段と、
この照合手段により前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとの照合が成功した場合、前記入力端末から受信した顔画像データと照合した顔画像データに対応する履歴情報を前記画像記録手段から読み出し、その履歴情報に含まれている撮影場所と撮影時間とに基づいて当該ユーザの行動の軌跡を表示する表示手段と、を有する、
ことを特徴とする顔画像記録システム。
【請求項２】
前記画像記録手段は、顔画像データとその履歴情報とをユーザごとに分類して記録し、
前記照合手段は、前記画像入力手段により入力されたユーザの顔画像データと前記画像記録手段に既に記録されている各ユーザの顔画像データと照合し、
前記表示手段は、前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されているユーザの顔画像データとの照合が成功した場合、前記入力端末から受信した顔画像データと照合したユーザの履歴情報を前記画像記録手段から読み出し、その履歴情報に含まれている撮影場所と撮影時間とに基づいて当該ユーザの行動の軌跡を表示する、
ことを特徴とする前記請求項１に記載の顔画像記録システム。
【請求項３】
複数の地点に設置された複数の入力端末と、これらの入力端末に接続されたサーバ装置とを有する顔画像記録システムの顔画像記録方法であって、
前記入力端末の各設置地点においてユーザの顔画像を入力する画像入力工程と、
この画像入力工程により入力された顔画像と、その撮影地点及び撮影時間を含む履歴情報とを前記サーバ装置へ送信する送信工程と、
前記入力端末から送信された顔画像データとその履歴情報とを画像記録手段に記録する画像記録工程と、
前記入力端末から顔画像データを受信した場合、前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとを照合する照合工程と、
この照合工程により前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとの照合が成功した場合、前記入力端末から受信した顔画像データと照合した顔画像データに対応する履歴情報を前記画像記録手段から読み出し、その履歴情報に含まれている撮影場所と撮影時間とに基づいて当該ユーザの行動の軌跡を表示する表示工程と、
を有することを特徴とする顔画像記録方法。
【請求項１】
複数の地点に設置された複数の入力端末と、これらの入力端末からのデータを受信可能なサーバ装置とを有する顔画像記録システムにおいて、
前記入力端末は、
各設置地点においてユーザの顔画像を入力する画像入力手段と、
この画像入力手段により入力された顔画像データと、その撮影地点及び撮影時間を含む履歴情報とを前記サーバ装置へ送信する送信手段と、を有し、
前記サーバ装置は、
前記入力端末から送信された顔画像データとその履歴情報とを記録する画像記録手段と、
前記入力端末からの顔画像データを受信した場合、前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとを照合する照合手段と、
この照合手段により前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとの照合が成功した場合、前記入力端末から受信した顔画像データと照合した顔画像データに対応する履歴情報を前記画像記録手段から読み出し、その履歴情報に含まれている撮影場所と撮影時間とに基づいて当該ユーザの行動の軌跡を表示する表示手段と、を有する、
ことを特徴とする顔画像記録システム。
【請求項２】
前記画像記録手段は、顔画像データとその履歴情報とをユーザごとに分類して記録し、
前記照合手段は、前記画像入力手段により入力されたユーザの顔画像データと前記画像記録手段に既に記録されている各ユーザの顔画像データと照合し、
前記表示手段は、前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されているユーザの顔画像データとの照合が成功した場合、前記入力端末から受信した顔画像データと照合したユーザの履歴情報を前記画像記録手段から読み出し、その履歴情報に含まれている撮影場所と撮影時間とに基づいて当該ユーザの行動の軌跡を表示する、
ことを特徴とする前記請求項１に記載の顔画像記録システム。
【請求項３】
複数の地点に設置された複数の入力端末と、これらの入力端末に接続されたサーバ装置とを有する顔画像記録システムの顔画像記録方法であって、
前記入力端末の各設置地点においてユーザの顔画像を入力する画像入力工程と、
この画像入力工程により入力された顔画像と、その撮影地点及び撮影時間を含む履歴情報とを前記サーバ装置へ送信する送信工程と、
前記入力端末から送信された顔画像データとその履歴情報とを画像記録手段に記録する画像記録工程と、
前記入力端末から顔画像データを受信した場合、前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとを照合する照合工程と、
この照合工程により前記入力端末から受信した顔画像データと前記画像記録手段に既に記録されている顔画像データとの照合が成功した場合、前記入力端末から受信した顔画像データと照合した顔画像データに対応する履歴情報を前記画像記録手段から読み出し、その履歴情報に含まれている撮影場所と撮影時間とに基づいて当該ユーザの行動の軌跡を表示する表示工程と、
を有することを特徴とする顔画像記録方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００９−２５９２６９（Ｐ２００９−２５９２６９Ａ）
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願番号】特願２００９−１７４０３２（Ｐ２００９−１７４０３２）
【出願日】平成２１年７月２７日（２００９．７．２７）
【分割の表示】特願２００３−５６１８８（Ｐ２００３−５６１８８）の分割
【原出願日】平成１５年３月３日（２００３．３．３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願日】平成２１年７月２７日（２００９．７．２７）
【分割の表示】特願２００３−５６１８８（Ｐ２００３−５６１８８）の分割
【原出願日】平成１５年３月３日（２００３．３．３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]