顔画像記録装置、及び顔画像記録方法
【課題】この発明は、ユーザの顔画像を履歴データとして記録しておくことができ、一定のセキュリティを保持ししつつ、ユーザの利便性が良い顔画像記録装置を提供できる。
【解決手段】この発明は、ユーザの複数の顔画像を取り込み、画像処理によって自動的に最適な画像系列に加工及び編集して、一定品質以上の少なくとも１枚以上の顔画像を収集し、その処理結果としての顔画像を属性情報とともに記録装置に記録するようにしたものである。
【解決手段】この発明は、ユーザの複数の顔画像を取り込み、画像処理によって自動的に最適な画像系列に加工及び編集して、一定品質以上の少なくとも１枚以上の顔画像を収集し、その処理結果としての顔画像を属性情報とともに記録装置に記録するようにしたものである。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、施設内での入退出管理に適用され、ユーザの顔画像を履歴データとして記録する顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法に関する。
【背景技術】
【０００２】
従来、
従来、特定の部屋などの入退出管理では、入退出を行おうとする人物が入退出の可能な人物であるか否かを確認する必要がある。例えば、特定の部屋への入退出を管理する入退出管理システムでは、種々の確認方法で人物を確認することにより入退出が可能な人物であるか否か判断するようになっている。また、電子商取引では、アクセスした人物が正当な資格を有した人物であるか否かを確認する必要がある。例えば、電子商取引に用いられる情報管理システムでは、種々の確認方法で人物を認識し、人物を確認している。
このため、入退出管理システム、或は情報管理システムでは、できるだけ第３者が介在しないで機械（自動）的に人物の確認を行えるものが望まれている。
【０００３】
従来、人物の確認方法は、大きく次の３つに分かれる。
（１）所持物による人物の確認方法
所持物による人物の確認方法は、例えば、パスポート、免許証などに代表される身分証明書で本人を確認する方法である。また、例えば、磁気カード、無線カード、あるいはＩＣカード等の記憶媒体により人物を確認する方法も所有物による人物の確認方法に含まれる。また、出入り口のドア、金庫の扉、車のエンジンなどの鍵等も、広義に捕らえれば、所有物による人物の確認方法に含まれる。
【０００４】
（２）記憶情報による人物の確認方法（PIN；Personal Identification Number）
例えば、パスワード、暗証番号などの情報を用いた人物の確認方法は、記憶情報による人物の確認方法に属する。この記憶情報による人物の確認方法は、所持物による人物の確認方法と組み合わせて利用されることが多い。例えば、銀行などの金融機関では、クレジットカードと利用者が記憶している４桁の暗証番号とを組み合わして人物の確認を行っている。
【０００５】
（３）身体的特徴による人物の確認方法
この身体的特徴による人物の確認方法の代表は、指紋照合である。その他にも、網膜や虹彩、掌形、声紋、サイン（筆跡）、顔などの身体的特徴（バイオメトリクス）による人物の確認方法がある。指紋、声紋、及びサインによる人物の確認方法は、従来から犯罪捜査などで用いられている。これらの身体的特徴による人物の確認方法では、サンプルデータと照合することにより人物を確認するようになっている。また、身体的特徴による人物の確認方法は、必ずしも機械的に行うものではない。例えば、クレジットカード等では、カードに記載されたサインと当該人物が記載したサインとを人の目視により照合して人物を確認している。このように、身体的特徴による人物の確認方法は、（１）の所有物による本人確認方法または（２）の記憶情報による本人確認方法と組み合わせて利用されることが多い。
【０００６】
しかしながら、上記した従来の人物の確認方法では、それぞれ以下のような欠点があるために完全とは言えないことがある。
（１）の所有物による人物の確認方法の欠点としては、人物を確認するための所有物を、落としたり、盗まれたり、偽変造されたりする可能性があることがあげられる。また、（２）の記憶情報による人物の確認方法の欠点としては、本人が暗証番号等の記憶情報を忘れてしまったり、他人に推測されたり、総当り的に攻撃されるなどの危険性があることがあげられる。また、（３）の身体的特徴情報による人物の確認方法では、身体的特徴の経時変動などの影響が避けられないため、照合時のエラーを完全に無くすことができないという欠点を有している。
【０００７】
また、入退出管理では、入退出した人物を示す情報を残すことが必要となる場合がある。また、電子商取引では、本人が承認したことを示す情報を残すことが必要となる場合がある。例えば、日本では、本人の承認を示す行為として、自分の名前等の印鑑を押す行為が慣習的に行われている。このように、比較的軽いセキュリティレベルが必要な用途では、本人が承認したことを示す情報を残すことにより一定のセキュリティが維持できる。
このような比較的軽いセキュリティレベルが必要な用途に従来の本人認証方法を適用すると、装置導入のためのコストが高くなったり、操作性が悪いという問題がある。このため、一定のセキュリティレベルを持ちながら、導入コストが低く、かつ、ユーザの操作性が良いものが要望されている。
【特許文献１】特開２００１−６７４５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記したように、用途に応じたセキュリティレベルを持ちつつ、装置の導入負担が少なく、利便性の高い本人認証を実現できるものが要望されているもので、利用される用途に応じたセキュリティレベルを持ちつつ、装置の導入負担ができるだけ少なく、かつ、ユーザが使い易く、利便性の高い本人認証を実現する顔画像記録装置、顔画像記録システム、情報管理システム、顔画像記録方法、及び情報管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明の顔画像記録装置は、人物の顔画像を記録するものにおいて、顔画像を記録する必要のない人物の顔の特徴量が予め登録されている第１の記憶手段と、１人の人物の顔を複数撮影する撮影手段と、この撮影手段で撮影した各画像からそれぞれ顔の特徴量を抽出する特徴量抽出手段と、この特徴量抽出手段により抽出された顔の特徴量と上記第１の記憶手段に登録されている顔の特徴量との照合を行う照合手段と、この照合手段による照合が失敗した場合に、上記撮影手段で撮影した画像のうち上記特徴量抽出手段により顔の特徴量が抽出された画像を記録する第２の記憶手段とを有する。
【発明の効果】
【００１０】
この発明によれば、利用される用途に応じたセキュリティレベルを持ちつつ、装置の導入負担ができるだけ少なく、かつ、ユーザが使い易く、利便性の高い本人認証を実現する顔画像記録装置、顔画像記録システム、情報管理システム、顔画像記録方法、及び情報管理方法を提供できる。
【発明を実施するための最良の形態】
【００１１】
以下、この発明の実施の形態について図面を参照して説明する。
図１、及び図２は、顔画像記録装置のユーザインターフェース部１０の外観構成例を示す正面図である。図１に示す顔画像記録装置の構成例では、ユーザインターフェース部１０に、表示部１、カメラ２、線光源３、及び線光源４が設けられている。また、図２に示す顔画像記録装置の構成例では、ユーザインターフェース部１０に、表示部１、カメラ２、線光源３、及び線光源４に加えて、入力部５が設けられている。
【００１２】
上記表示部１は、上記カメラ２が撮影中の画像、あるいは利用者に対する案内などを表示する。上記カメラ２は、動画像あるいは連続画像を撮影するものである。このカメラ２は、表示部１の下方に設けられ、表示部１を目視している利用者の少なくとも顔を含む領域の顔画像を撮像する顔に対して正面よりやや下方側から撮影するようになっている。上記線光源３は、カメラ２の正面に位置する利用者の顔に対して横方向から光を照射するものである。上記線光源４は、カメラ２の正面に位置する利用者の顔に対して斜め下方向から光を照射するものである。なお、上記線光源３及び線光源４などの照明は、顔画像記録装置の設置場所の照明環境が良好な場合（画像入力するのに良好な照明環境である場合）、不要である。また、上記入力部５は、テンキーなどで構成される。この入力部５は、例えば、利用者が個人を特定するための個人ＩＤ情報などを入力するものである。
【００１３】
図３、図４は、顔画像記録装置の設置例を示す側面図である。
図３は、壁掛けタイプのユーザインターフェース部１０を有する顔画像記録装置の設置例を示す側面図である。図３では、図１あるいは図２に示すように構成されたユーザインターフェース部１０が壁に掛けて設置されている。このユーザインターフェース部１０の正面に立つ利用者Ｈの顔は、下方からカメラ２によって撮影されるようになっている。
図４は、据え置きタイプのユーザインターフェース部１０を有する顔画像記録装置の設置例を示す側面図である。図４では、ユーザインターフェース部１０の正面に立った利用者Ｈに対して斜め下方にカメラ２が設置される。これにより、利用者Ｈは、カメラ２を上から覗き込むようになっている。また、図４に示す設置例では、図１あるいは図２に示すように構成される顔画像記録装置のユーザインターフェース部１０がケーブル１１で接続される処理部１２に接続されている。
【００１４】
図５は、ドア２３、２４などの複数の箇所にユーザインターフェース部１０が設けられる場合の構成例を示すブロック図である。図５に示す構成例では、ドア２３及びドア２４に設置されたユーザインターフェース部１０が処理部２１に接続されている。また、上記処理部２１には、保守用のパーソナルコンピュータ（保守パソコン）２２が通信ケーブルを介して接続されている。なお、保守パソコンが顔画像記録装置に接続される構成については、後述する第３の実施の形態で詳細に説明する。
【００１５】
図６は、顔画像記録装置の制御系統としての全体構成を示す図である。
図６に示すように、顔画像記録装置の処理部３０（１２、２１）は、処理プロセッサ３１、ワークメモリ３２、プログラムメモリ３３、画像メモリ３４、キャプチャボード３５、記録装置インターフェース３６、記録装置３７、照合用辞書３８、無線通信ボード３９、ＬＡＮボード４０、及びバス４１から構成されている。
上記処理プロセッサ３１は、顔画像記録装置全体の制御を行う。また、上記処理プロセッサ３１は、図１あるいは図２に示すユーザインターフェース部１０に設けられる表示部１、カメラ２、線光源３、及び線光源４等が接続され、これらの制御を行うようになっている。また、図２に示すように、ユーザインターフェース部１０に入力部５が設けられる場合、入力部５は、処理プロセッサ３１に接続される。上記入力部５で入力された情報は処理プロセッサ３１に供給されるようになっている。
【００１６】
また、上記処理プロセッサ３１は、特徴量抽出部３１ａ、情報生成部３１ｂ、なりすまし検知部３１ｃ、画像処理部３１ｄ、及び顔照合部３１ｅとしての機能を有している。これらの各機能は、上記プログラムメモリ３３に記憶されている制御用のプログラムを上記処理プロセッサ３１が実行することにより実現される。また、処理プロセッサ３１は、時間を計時するタイマ３１ｆを有しているものとする。
上記特徴量抽出部３１ａは、上記カメラ２で撮影した画像から顔の特徴量を抽出する処理を行う。上記情報生成部３１ｂは、上記カメラ２で撮影した画像に関する属性情報（撮影時間等）を生成するものである。上記なりすまし検知部３１ｃは、上記カメラ２で撮影した画像が他人になりすましたことを検知するものである。このなりすまし検知部３１ｃによるなりすまし検知処理については、後で詳細に説明する。
【００１７】
上記画像処理部３１ｄは、上記カメラ２で撮影した画像に対する画像処理を行う。この画像処理部３１ｄでは、例えば、上記カメラ２で撮影した画像に対して、顔領域を切り出す処理、画像濃度の補正処理、正規化処理、あるいは画像圧縮処理などの処理を行う。上記顔照合部３１ｅは、上記特徴量抽出部３１ａにより抽出された顔の特徴量と上記顔照合用辞書３８に記憶されている顔の特徴量との照合処理を行う。
上記ワークメモリ３２は、処理中の画像などを一時的に記憶するメモリである。上記プログラムメモリ３３は、制御用のプログラムなどが記憶されるメモリである。上記画像メモリ３４は、画像データを記憶するメモリである。この画像メモリ３４は、例えば、カメラ２で撮影され、上記キャプチャボード３５を介して処理部３０内に供給された顔画像を記憶する。上記キャプチャボード３５は、上記カメラ２で撮影された画像を処理部３０内に取り込む際のインターフェースである。
【００１８】
上記記録装置インターフェース３６は、上記記録装置３７及び上記顔照合用辞書（辞書）３８に対するデータの読出し、或は、書込みを行うものである。上記記録装置３７は、顔画像を記録するものである。上記顔照合用辞書（辞書）３８は、照合用の顔画像あるいは顔の特徴パターン（特徴量）が登録される記録装置である。
なお、上記記録装置３７及び顔照合用辞書３８は、処理部３０の外に設けられるようにしても良い。また、上記記録装置３７及び顔照合用辞書３８は、通信用のインターフェースを介して通信可能なネットワーク上の他の外部機器に設けられるようにしても良い。
【００１９】
上記無線通信ボード３９は、パーソナルコンピュータなどの監視員用の監視装置との通信を行うインターフェースである。なお、無線通信ボードの代りに上記管理装置と接続される有線での通信を行う通信ボードを用いても良い。上記ＬＡＮボード４０は、ＬＡＮ４２との接続する場合のインターフェースである。上記バス４１は、画像データなどを送受信するデータバスである。このバス４１は、上記処理プロセッサ３１、画像メモリ３４、キャプチャボード３５、記録装置インターフェース３６、無線通信ボード３９、及びＬＡＮボード４０に接続されている。
ここで、上記カメラ２は、通常の産業用カラーカメラ（ＣＣＤまたはＣＭＯＳイメージセンサを用いたビデオカメラ）を使用するものとする。この場合、上記キャプチャーボード３５は、ビデオ信号（アナログデータ）をディジタルデータに変換し（Ａ／Ｄ変換）、画像メモリ３４に送る（バッファリング）。これにより、上記処理プロセッサ３１は、上記画像メモリ３４に蓄積された画像データを上記ワークメモリ３２に順次取り込んで種々の処理を行う。
【００２０】
なお、上記記録装置３７に記録する顔画像がモノクロであっても良い場合、上記カメラ２はモノクロ画像を撮影するカメラであっても良い。また、上記カメラ２がＵＳＢ（ユニバーサル・シリアル・バス）インタフェースを備えている場合、上記キャプチャボード３５には、ＵＳＢインタフェースを持たせればよい。この場合、Ａ／Ｄ変換回路が不要となる。また、上記カメラ２がＩＥＥＥ１３９４などの他のディジタルインタフェースを備えている場合も、同様に、上記キャプチャボード３５には、対応するインタフェースをもたせればよい。
また、図５に示すように、ユーザインターフェース部１０がドアに設けられる場合、処理部３０には、上記ドアの開閉あるいはドアの施錠を開閉するドア制御機構が設けられる。このドア制御機構は、上記処理プロセッサ３１に接続される。これにより、図６に示すような顔画像記録装置をドアの開閉を制御する入退出管理システムに適用することが可能となる。
【００２１】
以下、上記のように構成される顔画像記録装置を用いた第１、第２の実施の形態について説明する。
まず、第１の実施の形態について説明する。
この第１の実施の形態では、上記のように構成された顔画像記録装置によってユーザの顔画像を履歴データとして蓄積しておくものである。なお、この第１の実施の形態では、顔画像記録装置が単独で設置可能である。このような顔画像記録装置は、顔画像を記録するという単機能なタイプであるためスタンドアロン・単機能タイプを呼ぶこととする。
【００２２】
図７、及び図８は、第１の実施の形態として、顔画像の記録処理の全体の流れを説明するためのフローチャートである。
まず、カメラ２が利用者の顔を撮影すると、キャプチャボード３５は、カメラ２からのカラーの顔画像（デジタルデータ）を順次画像メモリ３４に蓄積（バッファリング）する。処理プロセッサ３１は、画像メモリ３４にバッファリングされた各画像を順次ワークメモリ３２上に読み出す。処理プロセッサ３１は、上記ワークメモリ３２に読み出した画像に対して特徴量の抽出処理を行う。この特徴量の抽出処理により顔画像が抽出できた場合に、上記処理プロセッサ３１は、顔画像の記録処理を行う。
【００２３】
すなわち、処理プロセッサ３１は、まず、上記カメラ２で人物の顔を連続的に複数撮影する。上記カメラ２で撮影される複数のカラー画像は、順次画像メモリ３４に蓄積される（ステップＳ１）。この画像メモリ３４に蓄積された複数のカラー画像は、順次ワークメモリ３２に読み出される。上記ワークメモリ３２に画像を読み出す際、上記処理プロセッサ３１は、ワークメモリ３２の初期化を行う（ステップＳ２）。ワークメモリ３２の初期化は、処理プロセッサ３１がカウンタｉ，ｊの変数を０にセットし、記録バッファ（ワークメモリ上の記録領域）を空にすることにより行われる。ワークメモリ３２が初期化されると、処理プロセッサ３１は、画像メモリ３４から画像を読み出して、ワークメモリ３２に取込む（記憶）する（ステップＳ３）。この際、処理プロセッサ３１は、画像メモリ３４から画像を読み出すごとに、カウンタｉを＋１（ｉ＝ｉ＋１）する（ステップＳ４）。
【００２４】
ワークメモリ３２に画像を取り込むと、処理プロセッサ３１は、ワークメモリ３２に取り込んだ画像に対して特徴量の抽出処理を行う（ステップＳ５）。この特徴量の抽出処理については、後で詳細に説明する。上記特徴量の抽出処理により顔の特徴量が抽出できなかった場合（ステップＳ６、ＮＯ）、処理プロセッサ３１は、変数ｉの値が所定の値Ｍよりも大きいか否かを判断する（ステップＳ７）。
上記判断により変数ｉの値が所定の値Ｍ以下であると判断すると（ステップＳ７、ＮＯ）、処理プロセッサ３１は、上記ステップＳ３へ進み、次の画像をワークメモリ３２に取り込む。また、変数ｉの値が所定の値Ｍよりも大きいと判断した場合（ステップＳ７、ＹＥＳ）、処理プロセッサ３１は、顔画像の記録処理を打ち切る。顔画像の記録処理を打ち切ると、処理プロセッサ３１は、ユーザインターフェース部１０の表示部１あるいは図示しないスピーカなどにより顔画像の記録が失敗したことを利用者に報知する（ステップＳ８）。
【００２５】
ここで、上記変数ｉと比較される所定の値Ｍは、特徴量が抽出できなった顔画像の最大数を指定するものである。すなわち、上記カメラ２で撮影された複数の画像に対して所定の値Ｍ以上、連続して特徴量が抽出できなかった場合、顔の特徴量の抽出処理が打ち切られる。また、顔画像の記録処理を打ち切る基準は、上記カメラ２で撮影した画像の数ではなく、撮影した画像に対する処理時間を指定するようにしても良い。この場合、処理プロセッサは、上記カメラ２が当該人物に対する画像の撮影を開始してから所定時間内に顔の特徴量が抽出できた画像が無ければ処理を打ち切るようにする。
【００２６】
また、上記ステップＳ５で、顔の特徴量の抽出が成功した場合（ステップＳ６、ＹＥＳ）、処理プロセッサ３１は、当該画像に対する画像処理を行う（ステップＳ９）。この画像処理についは、後で詳細に説明する。上記画像処理が施された画像は、記録装置３７に記録される。この際、処理プロセッサ３１は、カウンタｊを＋１（ｊ＝ｊ＋１）する（ステップＳ１０）。
上記カウンタｊを＋１すると、処理プロセッサ３１は、ワークメモリ３２上に画像処理された画像を記憶する（ステップＳ１１）。処理プロセッサ３１は、画像処理された画像から「なりすまし」チェックを行う（ステップＳ１２）。この「なりすまし」チェックは、後で詳細に説明するが、写真などを用いて他人になりましていないかをチェックするものである。
この「なりすまし」チェックによってなりましでないと判断した場合（ステップＳ１３、ＮＯ）、処理プロセッサ３１は、変数ｊの値が所定の値Ｎと等しいか否かを判断する（ステップＳ１４）。この判断により変数ｊの値が所定の値Ｎと等しいと判断しなかった場合（ステップＳ１４、ＮＯ）、処理プロセッサ３１は、上記ステップＳ３へ戻り、画像メモリ３４に記憶されている次の画像に対する処理を行う。
【００２７】
ここで、上記変数ｊと比較される所定の値Ｎは、記録すべき画像の数を示す。つまり、上記所定の値Ｎは、記録用の画像とする特徴量が検出された画像の数を指定するものである。また、特徴量が検出された画像の数ではなく、上記カメラ２による画像の入力処理時間を指定するようにしても良い。すなわち、処理プロセッサ３１は、上記カメラ２で当該人物に対する撮影を開始してから所定時間内に、少なくとも１つの画像から顔の特徴量が検出された際に当該画像を記録する。
上記判断により変数ｊの値が所定の値Ｎと等しいと判断した場合（ステップＳ１４、ＹＥＳ）、処理プロセッサ３１は、画像に関する属性情報とともに、ワークメモリ３２上の画像を記録装置３７に記録する（ステップＳ１５）。上記属性情報は、画像を撮影したカメラ２あるいは顔画像記録装置を示すＩＤ番号、あるいは画像を撮影した時間などを示す情報である。また、上記入力部５等により個人ＩＤ情報が入力されている場合、属性情報には、個人ＩＤ情報が含まれる。
【００２８】
なお、上記属性情報の内容は、上記のように、当該画像を取り込んだ装置を示すＩＤ番号、当該画像の撮影時間、あるいは個人ＩＤ情報に限定されるものではない。上記属性情報は、記録される画像に対応する種々の数値やテキスト情報などの情報であり、用途に応じて内容が決定されるものである。
上記処理プロセッサ３１は、上記記録装置３７に画像及び属性情報を記録すると、表示部１に記録完了の旨を表示することにより顔画像の記録が完了したことを利用者に通知する（ステップＳ１６）。
【００２９】
次に、上記ステップＳ５の顔の特徴量（特徴点）の抽出処理について詳細に説明する。
図９は、顔の特徴量の抽出処理を説明するためのフローチャートである。
上記カメラ２では、１枚のみの画像（静止画）ではなく、一定時間間隔で複数の連続した画像、あるいは動画像を撮影する。これは、画像の入力条件（撮影条件）の変動を考慮して、複数の画像から良好な画質の画像を取り出すためである。上記カメラ２で撮影された画像は、キャプチャボード３５に送信される。上記キャプチャーボード３５は、カメラ２からの複数の画像を画像メモリ３４に順次バッファリングする。この画像メモリ３４にバッファリングされた画像は、順次、ワークメモリ３２上に読み出されて処理プロセッサ３１の制御による処理が施される（ステップＳ２１）。
【００３０】
特徴量の抽出処理において、処理プロセッサ３１は、まず、ワークメモリ３２上の顔画像（ディジタル化されたカラー画像）をモノクロ画像に変換する（ステップＳ２２）。このモノクロ画像に対しては、明るさ（濃淡）情報に基づいて特徴量が抽出される。なお、上記カメラ２がモノクロ画像を撮影する場合、上記ステップＳ２２は省略される。
すなわち、処理プロセッサ３１は、変換処理により得られたモノクロ画像に対して顔領域の候補を探索する（ステップＳ２３）。顔領域の候補が検出されると、処理プロセッサ３１は、顔領域内における顔の特徴量として、ほぼ、円形領域とみなせる瞳（黒目）領域及び鼻孔領域を検出する（ステップＳ２４）。これにより瞳（黒目）領域及び鼻孔領域が検出されると、処理プロセッサ３１は、瞳（黒目）領域の中心位置、及び鼻孔領域の中心位置を特徴量とする（ステップＳ２５）。従って、顔の特徴量は、瞳（黒目）領域の中心位置、及び鼻孔領域の中心位置などの特徴点の位置座標として検出される。
【００３１】
なお、ここでは、瞳及び鼻孔を特徴点として用いるようにしたが、唇の端点などの他の特徴点を用いるようにしても良いし、瞳だけを特徴点として用いるようにしても良い。
また、上記ステップＳ２３〜２５の処理は、「「動画像を用いた顔認識システム」、信学技法ＰＲＭＵ９７−５０、１９９７年６月；山口修、福井和広、前田賢一著」（文献１）、あるいは、「「形状抽出とパターン照合の組合せによる顔特徴点抽出」、信学論Ｄ−ＩＩ、Ｖｏｌ．Ｊ−８０−Ｄ−ＩＩ、Ｎｏ８、１９９７年８月;福井、山口著」（文献２）に記載されている方法を用いることができる。
【００３２】
次に、上記ステップＳ９における画像処理について説明する。
図１０は、顔の特徴量の抽出された画像に対する画像処理を説明するためのフローチャートである。上記ステップＳ５における顔の特徴点の抽出処理により顔の特徴量が抽出された場合、処理プロセッサ３１は、当該画像を上記記録装置３７に記録するための画像処理を行う。ここでは、画像処理として、顔領域の切り出し処理、正規化処理、濃度補正処理、及び圧縮処理を行うものとする。これらの処理は、プログラムメモリ３３に記憶されている制御プログラムに基づいて処理プロセッサ３１が実行するものとする。
【００３３】
まず、顔の特徴量の抽出処理により瞳及び鼻孔の中心位置の座標情報が特徴点として得られたとする。すると、処理プロセッサ３１は、当該画像を記録装置３７への記録すべき画像と判断し、当該画像に対する画像処理を行う。
すなわち、顔の特徴点の位置を示す座標情報が得られると（ステップＳ３１）、処理プロセッサ３１は、モノクロ画像に変換する前のもとのカラー画像に対して顔領域の切り出し処理を行う（ステップＳ３２）。この顔領域の切り出し処理では、上記処理プロセッサ３１が顔の特徴点の座標情報に基づいて上記カメラ２で撮影された画像から顔領域を切り出す。
【００３４】
顔領域を切り出すと、処理プロセッサ３１は、切り出した顔領域を所定の記録用の画像サイズに変換するための正規化処理を行う（ステップＳ３３）。この正規化処理により顔領域として切り出された画像データは、所定の画像サイズに変換される。
顔領域の画像を正規化すると、処理プロセッサ３１は、正規化された顔画像に対する濃度補正処理を行う（ステップＳ３４）。これにより所定の画像サイズに変換された顔領域の画像データは、濃度が補正される。この濃度が補正された画像は、記録用の顔画像となる。
【００３５】
記録用の顔画像を生成すると、処理プロセッサ３１は、記録用の顔画像を圧縮する圧縮処理を行う（ステップＳ３５）。この顔画像の圧縮処理は、記録装置３７の容量を節約して効率的に顔画像を記録するためのものである。この顔画像の圧縮処理では、例えば、国際標準のカラー静止画像の圧縮方式であるＪＰＥＧ方式が用いられる。なお、ＪＰＥＧ方式以外の圧縮方式を用いて圧縮処理を行っても良い。このような顔画像の圧縮処理により顔画像を所定の形式で圧縮すると、処理プロセッサ３１は、圧縮した顔画像を上記記録装置３７に記録する（ステップＳ３６）。
【００３６】
なお、上記のような画像処理の処理内容は、用途に応じて設定される。例えば、上記したような、顔領域の切り出し処理、大きさの正規化処理、濃度補正処理、画像データの圧縮処理などの処理は、必要に応じて選択的に採用されるものである。例えば、最も単純な処理としては、所定時間内に少なくとも１枚の画像から瞳が検知できた場合に、当該画像を撮影した状態のまま上記記録装置３７に記録すれば良い。
なお、上記例では、記録後の画像の見易さのため、カラー画像を記録用に用いたが、モノクロ画像を記録するようにしても良い。モノクロ画像を記録するようにした場合、カラーカメラを用いる必要はないので、上記カメラ２をモノクロカメラで構成するようにしても良い。
【００３７】
次に、上記ステップＳ１２における「なりすまし」の検知処理について説明する。
この「なりすまし」の検知処理では、例えば、他人の顔写真等を用いて他人になりすましていないかどうかを判断する処理である。「なりすまし」を検知する方法としては、種々の方法がある。ここでは、人物の動きを検知することにより、写真等による「なりすまし」を検知するものについて説明する。また、「なりすまし」の検知処理は、図７に示すフローチャートのような全体の処理のなかで、顔画像を記録する前に実行されるものである。さらに、ここでは、「なりすまし」の検知処理を行うために、ユーザに顔を任意または所定の方向（例えば、表示部１の表示画面上において指示する方向）に動かしてもらいその動きをカメラ２により動画あるいは連続画像（複数の画像）で撮影しているものとする。
【００３８】
図１１は、「なりすまし」の検知処理を詳細に説明するためのフローチャートである。図１１に示すように、処理プロセッサ３１は、あるユーザを撮影した複数の画像（時系列画像）からそれぞれの画像における顔の特徴点の位置座標を算出する。これにより、処理プロセッサ３１は、時系列の各画像から算出された特徴点に基づいて特徴点の座標系列を求める（ステップＳ１１１）。なお、この例では、顔の特徴点として、例えば、瞳の中心点、及び鼻孔の中心点の計４点の位置座標が用いられるものとする。
【００３９】
上記処理プロセッサ３１は、連続する２つの画像間でそれぞれ抽出されている特徴点どうしを対応づける。処理プロセッサ３１は、対応づけた２つの画像の特徴点どうしで位置の差（絶対値）を求める（ステップＳ１１２）。これにより、処理プロセッサ３１は、時系列画像において連続する２つの画像間で特徴点の位置の差を求める。
処理プロセッサ３１は、連続する画像間における特徴点の位置の差に基づいて、特徴点の上下の動きまたは左右の動きを検知する（ステップＳ１１３）。この検知により特徴点の上下の動きまたは左右の動きが検知できた場合（ステップＳ１１４、ＹＥＳ）、処理プロセッサ３１は、「なりすまし」で無いと判断する。このような判断により、処理プロセッサ３１は、被撮影者が他人になりすましていないことを確認し、「なりすまし」の検知処理を終了する（ステップＳ１１５）。
【００４０】
また、上記検知処理により特徴点の上下の動きまたは左右の動きが検知できなかった場合（ステップＳ１１４、ＮＯ）、処理プロセッサ３１は、「なりすまし」の可能性が有ると判断する（ステップＳ１１６）。このような判断により「なりすまし」の可能性があると判断すると、処理プロセッサ３１は、「なりすまし」の可能性がある被撮影者に対する処理を行う。
【００４１】
例えば、「なりすまし」と判断した場合の処理としては、以下のような処理が可能である。
（１）「なしすまし」と判断した旨を属性情報に記録する。
（２）監視員や管理センタ等に「なしすまし」の可能性がある旨を通報する（監視装置等により監視員に「なりすまし」の可能性がある旨を報知する）。
（３）入退出管理システムに適用される場合、被撮影者に対して入退室を拒否する。
これらの処理によって「なりすまし」に対する対策を講じることが可能となる。
なお、上記した「なりすまし」の検知処理の例では、瞳及び鼻孔の動きを検知して「なりすまし」を判断するようにしたが、以下のような方法でも、「なしすまし」を判断することが可能である。
（１）目の瞬きを検知する（例えば、瞳を検知することにより瞬きの有無を判断する）。
（２）口の動きを検知する（例えば、唇の端点の動きを検知することにより口の動きの有無を判断する）。
（３）音声（ユーザの声）を入力させ、ユーザの肉声に対応する顔画像を検知する処理と併用する（例えば、音声と顔画像とを同時に記録を行う）。
【００４２】
上記のように、撮影した複数の画像からユーザの動きを検知することにより、「なりすまし」であるか否かを判断し、「なりすまし」の可能性があると判断した場合、「なりすまし」に対する処理を行うようにしたものである。これにより、他人の顔写真などを用いた「なりすまし」に対して対策を講じることができ、「なしすまし」を防止あるいは抑制することができる。このように、ユーザに負担をかけることなく、セキュリティを向上させた顔画像記録装置を提供できる。
【００４３】
上記のように、第１の実施の形態では、一定の距離をおいて設置されたカメラからユーザのほぼ正面向きの時系列顔画像（複数の顔画像）を取り込み、画像処理によって自動的に最適な画像系列に加工及び編集して、一定品質以上の少なくとも１枚以上の顔の特徴点が抽出できた画像を収集し、当該画像を属性情報とともに記録装置に記録する（履歴を取る）ものである。つまり、この第１の実施の形態では、一定以上の良好な画質の顔画像を取り込んで履歴データとして記録していくことを特徴としている。さらに、一定以上の良好な画質の顔画像であるか否かは、瞳と鼻孔の４個の特徴点を自動的に検出できたか否かによって判断するようになっている。
これにより、ユーザの顔画像を履歴データとして記録しておくことができ、一定のセキュリティを保持ししつつ、ユーザの利便性が良い顔画像記録装置を提供できる。
【００４４】
また、第１の実施の形態では、上記のような顔画像の記録機能に加えて、顔画像を記録装置に記録する前に、顔写真などを用いて他人になりすましていないかをチェック（「なりすまし」の検知処理）する機能を有することを特徴とする。
また、「なりすまし」であるか否かを判断する方法は、例えば、カメラで撮影した時系列顔画像から顔の動きを検知（動画像解析）して、顔の動きが検知できれば「なりすまし」でないと判断し、顔の動きが検知できずに「なりすまし」の可能性があると判断する。また、「なりすまし」と判断した場合、「なりすまし」に対する対策として所定の処理を行う。これにより、「なりすまし」に対する適切な処理を行うことができ、顔写真等を用いて他人になりすますことを防止あるいは抑制でき、かつ、セキュリティレベルを向上できる。
【００４５】
次に、第２の実施の形態について説明する。
第２の実施の形態は、第１の実施の形態の変形例である。この第２の実施の形態は、図６に示すような構成の顔画像記録装置で実現される。第２の実施の形態では、図６に示す顔画像記録装置の構成において、顔照合用辞書３８に予め登録者の顔の特徴量が登録されているものとする。また、第２の実施の形態では、処理プロセッサ３１は、プログラムメモリ３３に記憶されている制御プログラムにより顔照合部３１ｅとして機能するものとする。
【００４６】
図１２及び図１３は、第２の実施の形態を説明するためのフローチャートである。図１２及び図１３に示す第２の実施の形態の処理は、図７及び図８で説明した第１の実施の形態の処理に顔画像の照合処理を加えたものである。すなわち、図１２及び図１３に示す処理のステップＳ４１〜ステップＳ５４は、図７及び図８に示す処理のステップＳ１〜ステップＳ１４と同様の処理である。このため、ステップＳ４１〜ステップＳ５４の処理については説明を省略する。
上記処理プロセッサ３１は、上記ステップＳ５４で、変数ｊがＮであると判断した場合、顔の特徴点が抽出できた画像について顔画像の照合処理を行う（ステップＳ５５）。この顔画像の照合処理については、後で詳細に説明する。この顔画像の照合処理の結果として上記カメラ２で撮影した人物が登録者であると判断した場合（ステップＳ５６、ＹＥＳ）、処理プロセッサ３１は、正常終了として処理を終了する。すなわち、顔照合処理によって被撮影者と予め顔照合用辞書３８に登録されている人物との照合が成功した場合、処理プロセッサ３１は、カメラ２で撮影した被撮影者の画像を記録しない。
【００４７】
また、上記カメラ２で撮影した被撮影者と登録者との照合が失敗した場合（ステップＳ５６、ＮＯ）、処理プロセッサ３１は、上記カメラ２で撮影した画像を記録装置３７に記録する（ステップＳ５７）。この際、処理プロセッサ３１は、上記カメラ２で撮影した画像とともに、画像の撮影時間あるいは画像を撮影したカメラ２あるいは顔画像記録装置を示すＩＤ番号などの属性情報を記録装置３７に記録する。このような記録装置３７への画像及び属性情報の記録が完了すると、処理プロセッサ３１は、表示部１に顔画像の記録が完了したことを示す案内を表示して処理を終了する（ステップＳ５８）。
【００４８】
次に、顔画像の照合処理について説明する。
図１４は、顔画像の照合処理を説明するためのフローチャートである。まず、処理プロセッサ３１は、顔画像の照合処理の対象とするＮ枚の画像をＮ枚のモノクロ画像（モノクロ画像系列）に変換する。このモノクロ画像への変換処理は、上記ステップＳ２２で得られたモノクロ画像を用いるようにしても良い。処理プロセッサ３１は、Ｎ枚のモノクロ画像系列の各画像に対して顔の特徴量（特徴点）を抽出する（ステップＳ６１）。この際、顔の特徴量は、複数個のＫ次元ベクトルとして求められる。
【００４９】
このようにして抽出された顔の特徴量を用いて、処理プロセッサ３１は、辞書３８への登録処理あるいは辞書３８に登録されている顔の特徴量との照合処理を選択的に行う。ここでは、辞書３８への登録処理を行うか照合処理を行うかが予め管理者により指定されているものとして説明する。なお、この装置の運用開始から予め設定した期間は登録処理を行い、上記設定された期間以降は照合処理を行うようにしても良し、ユーザからの指示に従って登録処理あるいは照合処理を行うようにしても良い。
【００５０】
まず、顔画像の登録処理を行う場合について説明する（ステップＳ６２、登録）。顔画像の登録処理を行う場合、処理プロセッサ３１は、抽出した特徴量を個人ＩＤ情報などの登録用の属性情報に対応させて辞書（登録リスト）３８に登録する（ステップＳ６３）。上記登録用の属性情報としては、個人を特定（識別）するための個人ＩＤ情報の他に、登録処理を行った装置を示す情報、あるいは登録処理を行った日時を示す情報などが用いられるものとする。また、個人を特定するための個人ＩＤ情報は、処理プロセッサ３１が割り当てるようにしても良いし、管理者あるいはユーザ自身が指定するようにして良い。これらの処理により、辞書３８への顔の特徴パターンの登録が完了する。
【００５１】
次に、照合処理を行う場合について説明する（ステップＳ６２、照合）。照合処理を行う場合、処理プロセッサ３１は、ユーザにより個人ＩＤ情報が入力されているか否かによって、１対多の照合処理を行うか１対１の照合処理を行うかを判断する（ステップＳ６４）。
例えば、照合処理を１対１（１：１照合）で行う場合、ユーザは、自分自身の個人ＩＤ情報を入力部５により入力する。処理プロセッサ３１は、ユーザが入力した個人ＩＤ情報によって、辞書３８に登録されている特徴パターンを検索する。すなわち、処理プロセッサ３１は、ユーザが入力した個人ＩＤ情報に対応する顔の特徴量を辞書３８から検索する。この検索処理により、処理プロセッサ３１は、辞書３８に登録されている個人ＩＤ情報に対応する顔の特徴量を読み出す。個人ＩＤ情報に対応する顔の特徴量を読み出すと、処理プロセッサ３１は、読み出した特徴量と上記ステップＳ６１で抽出した顔の特徴量との照合度を計算する（ステップＳ６５）。
【００５２】
また、照合処理を１対多（１：Ｎ照合）で行う場合、処理プロセッサ３１は、抽出した顔の特徴量と辞書３８に登録されている全ての顔の特徴量とを総当りで照合処理を行う。すなわち、処理プロセッサ３１は、抽出した顔の特徴量と辞書３８に登録されている全ての顔の特徴量との照合度（類似度）を計算する。処理プロセッサ３１は、照合度が最大値となった顔の特徴量に対応する個人ＩＤ情報と照合度の最大値とを照合度の算出結果とする（ステップＳ６６）。
このように、１対１あるいは１対多の照合処理により照合度が計算されると、処理プロセッサ３１は、算出された照合度と所定の閾値Ｓとを比較する（ステップＳ６７）。ここで、所定の閾値Ｓは、顔画像が辞書３８に登録されているものと照合されたか否かを判定する基準値である。なお、閾値Ｓは、運用者等により予め設定されるものである。また、１：１照合の場合の閾値と１：Ｎ照合の場合の閾値とは、同じ値であっても良いし、異なる値であっても良い。
上記ステップＳ６５或は上記ステップＳ６６で算出した照合度が所定の閾値未満であれば（ステップＳ６７、ＮＯ）、処理プロセッサ３１は、カメラ２で撮影した人物と辞書３８に登録されている人物との照合が失敗したと判定する。この判定に基づき、処理プロセッサ３１は、撮影された人物が登録者でない旨を上記表示部１等により報知する（ステップＳ６８）。
【００５３】
また、算出した照合度が所定の閾値以上であれば（ステップＳ６７、ＹＥＳ）、処理プロセッサ３１は、カメラ２で撮影した人物と辞書に登録されている人物との照合が成功したと判定する。この判定に基づき、処理プロセッサ３１は、照合が成功した旨を示す情報、照合度、あるいは個人ＩＤ情報などを表示部１等により報知する。
なお、上記したように照合処理は、撮影した画像から抽出した顔の特徴量と辞書に登録されている顔の特徴量とを照合することにより行われる。このため、登録者の顔の特徴量は、事前に辞書に登録しておくか、上記のような登録処理により辞書に登録しておくものである。
【００５４】
また、辞書には、個人の名前、個人ＩＤ情報などの属性情報に対応して、顔の特徴量としてのベクトル形式の顔特徴パターンデータが登録される。ここでの照合処理や登録処理は、例えば、上記文献１及び上記文献２の記載されている、顔の特徴量の抽出方法が適用できるものとする。
また、照合処理により本人であるか疑わしい（登録者との照合が失敗した）と判断された場合、属性情報として画像の撮影時刻、画像を撮影したカメラ２あるいは画像を取り込んだ装置を示すＩＤ番号、及び顔画像の照合度などを記録するようにする。これにより、効率的な顔画像の記録処理が行える。
【００５５】
また、上記した第２の実施の形態については、以下のような種々の変形例が可能である。
（１）第２の実施の形態を顔の照合結果に基づく入退出管理システムに適用する。これにより、顔画像の照合処理の結果に応じたユーザの入退出管理を行うとともに、登録者以外の人物（不審者）の顔画像のみを記録することができ、従来以上のセキュリティを実現できる。
【００５６】
（２）照合が不可となった場合に、顔画像記録装置が管理装置等へ通報するようにする。管理装置等へ通報は、例えば、上記無線通信ボード３９による管理装置等との通信により実現される。これにより、管理者よる不審者（登録されていない者）への監視が強化でき、セキュリティの向上が望める。
【００５７】
（３）照合結果に応じた処理を行わずに、単に、照合度を属性情報に加えて上記記録装置３７に記録するようにする。これにより、処理を簡素化できるとともに、後で記録された顔画像を分析することができ、セキュリティを向上させることが可能となる。
【００５８】
（４）不審者などの特定の人物の特徴量を事前に辞書に登録しておき、上記特定の人物と判定された場合に、顔画像記録装置が管理装置へ通報するようにする。すなわち、上記第２の実施の形態では、登録されていない人物に対して画像を記録するようにしたが、逆に、辞書に顔の特徴量が登録された不審者などの特定の人物との照合が成功した場合に、画像の記録、あるいは管理装置への通報などの処理を行うようする。この場合、特定の人物の顔の特徴量を辞書に登録しておけばよいので、辞書の記憶容量の節約あるいは照合処理の時間短縮などの効果を得ることができる。
【００５９】
上記のように、第２の実施の形態では、画像を記録する処理に顔照合処理を追加し、照合結果に基づき、上記カメラ２で撮影した画像を選択的に上記記録装置に記録するようにしたものである。これにより、上記記録装置への顔画像の記録処理を効率化することができる。これは、後で管理者がチェックした方が良い人物の顔画像のみを履歴情報とともに、上記記録装置へ記録しておくことができるからである。また、顔の照合処理で照合できなかった場合に、管理装置へ通報する機能を併用することでユーザの負担を増加させることなく、セキュリティレベルを上げられる。
【００６０】
また、上記第２の実施の形態を照合度に基づく入退出管理システムに適用することで、単に、照合度に応じて入退出を管理するだけの場合よりも、顔画像を記録することで、セキュリティレベルを向上できる。
また、照合処理で算出される照合度に対し、入退出の許可不許可を判定するための第１の閾値を設定しておき、さらに、画像を記録するか否かを判定するための第２の閾値を上記第１の閾値よりも高く設定しておくようにして良い。例えば、照合度が第１の閾値よりも低い場合、入退出管理システムは、入退出を不許可とし、画像を記録する。また、照合度が第１の閾値以上で、かつ、第２の閾値よりも低い場合、入退出管理システムは、入退出を許可し、画像を記録する。また、照合度が第２の閾値以上の場合、入退出管理システムは、画像を記録することなく、入退出を許可する。
【００６１】
このようにすれば、照合度の変動が大きい場合でも、安定した入退出を可能にするとともに、照合度の低い画像を記録することができる。これにより、環境変動が大きいため、照合度の大きく変動してしまう場合でも、一定のセキュリティレベルを維持しつつ、柔軟な入退出管理を実現でき、かつ、画像の記録処理を効率化できる。
【００６２】
次に、第３の実施の形態について説明する。
この第３の実施の形態では、上記第１の実施の形態あるいは第２の実施の形態の動作によって、顔画像記録装置の記録装置に記録された顔画像に対する検索処理、表示処理、辞書への登録処理、及び辞書の更新処理を行うものである。従って、以下の説明では、記録装置３７に顔画像が属性情報とともに記録されているものとする。
図１５は、第３の実施の形態に係る顔画像記録装置の概略構成を示す図である。図１５に示す第３の実施の形態の顔画像記録装置は、図６に示す第１の実施の形態の顔画像記録装置にＬＡＮ４２を介して保守用のパーソナルコンピュータ（保守パソコン）４３を接続した構成となっている。図１５に示す顔画像記録装置の保守パソコン以外の構成は、図６に示す構成と同様であるため、説明を省略する。
【００６３】
上記保守パソコン４３は、顔画像記録装置のＬＡＮボード４０によりＬＡＮ４２を介して通信を行うようになっている。この保守パソコン４３は、上記記録装置３７に記録している顔画像（履歴データ）を検索したり、検索結果としての顔画像を表示したりするものである。
この保守パソコン４３は、顔画像記録装置に常時接続する必要はなく、必要に応じて上記顔画像記録装置にアクセスするようにしても良い。また、保守パソコン４３を用いずに、顔画像記録装置本体に後述する保守パソコン４３の各構成を設けて、後述する検索処理及び表示処理を行うようにしても良い。また、保守パソコン４３は、ＬＡＮ４２を介して接続するようにしたが、直接、上記顔画像記録装置に接続するようにしても良い。
【００６４】
また、保守パソコン４３は、図１５に示すように、制御部５１、操作部５２、表示部５３、ＬＡＮボード５４、およびメモリ部５５などを有している。上記制御部５１は、保守パソコン４３全体の制御を司る。この制御部５１は、後述する検索処理及び表示処理を行う機能を有している。上記操作部５２は、ユーザによる指示が入力される。上記表示部５３は、上記顔画像記録装置の記録装置３７に記録されている顔画像などが表示される。上記ＬＡＮボード５４は、ＬＡＮ４２と接続するインターフェースであり、このＬＡＮボード５４によりＬＡＮ４２を介して上記顔画像記録装置と通信を行う。上記メモリ部５５は、ＲＡＭ、ＲＯＭ、ＨＤＤなどから構成され、画像データあるいは制御データなどを記憶する。
【００６５】
次に、顔画像の検索及び表示処理（人物チェック）について説明する。
図１６は、顔画像の検索処理を説明するためのフローチャートである。
まず、オペレータ（管理者）は、保守パソコン４３の操作部５２にて、検索対象とする顔画像の検索条件（記録した期間、記録した装置を示すＩＤ番号、あるいは個人ＩＤ情報など）を指定する（ステップＳ７１）。この検索条件の指定動作は、保守パソコン４３のオペレータが表示部５３に表示される案内に従って、対話形式で検索条件を入力することにより行われる。
検索条件が指定されると、制御部５１は、上記ＬＡＮ４２を介して上記顔画像記録装置へ指定された検索条件を送信する。すると、上記顔画像記録装置の処理プロセッサ３１は、記録装置３７にアクセスし、検索条件を満たす顔画像を検索する（ステップＳ７２）。上記検索条件を満たす顔画像が検索されると、処理プロセッサ３１は、上記属性情報に基づいて検索された顔画像に対する照合用の辞書３８が既に作成されているか否かを判断する（ステップＳ７３）。なお、属性情報に照合用の辞書３８の有無を示す情報が含まれていない場合、処理プロセッサ３１は、上記オペレータによる指示に基づいて照合用の辞書３８の有無を判断する。
【００６６】
上記照合用の辞書３８が作成されていない場合（ステップＳ７３、ＮＯ）、上記処理プロセッサ３１は、上記検索条件に合致する顔画像を記録装置３７から順番に読み出して上記保守パソコン４３へ送る。保守パソコン４３では、顔画像記録装置から送られる顔画像を順番に上記表示部５３に表示させる。この際、上記表示部５３には、顔画像に対する個人ＩＤ情報を入力する旨をオペレータに案内する画面が表示される。この案内に基づいて、オペレータは、顔画像に対応する個人ＩＤ情報を上記操作部５２により入力する。この入力された個人ＩＤ情報は、ＬＡＮ４２を介して顔画像記録装置へ送信される（ステップＳ７４）。
【００６７】
各顔画像に対して入力された個人ＩＤ情報を保守パソコン４３から受取ると、処理プロセッサ３１は、同一の個人ＩＤ情報となる顔画像を集めて、それらの画像（同一の画像系列）から顔の特徴量を算出する。これによって算出された同一の画像系列に対する顔の特徴量は、当該個人ＩＤ情報に対応する顔の特徴量として照合用辞書３８に登録される（ステップＳ７５）。このような顔の特徴量の算出処理と照合用辞書３８への登録処理とが検索された全ての画像系列に対して行われると、照合用辞書３８への顔の特徴量の登録を終了する（ステップＳ７６）。
また、上記照合用辞書３８が既に作成されている場合（ステップＳ７３、ＹＥＳ）、上記処理プロセッサ３１は、検索された各顔画像と予め照合用辞書３８に登録されている顔の特徴量との照合度を算出する（ステップＳ７７）。ただし、顔画像の記録時に顔画像の照合処理を行っており、かつ、照合処理による照合度の算出結果が属性情報に含まれている場合、処理プロセッサ３１は、上記記録装置３７に記録されている属性情報から照合度を読み出す。
【００６８】
さらに、処理プロセッサ３１は、保守パソコン４３に照合度の閾値の上限（上限値）と下限（下限値）とを指定する旨を保守パソコン４３に要求する。保守パソコン４３の制御部５１では、保守パソコン４３のオペレータに対して照合度の閾値の上限と下限とを入力する旨の案内を上記表示部５３に表示する。このような案内に従って、オペレータは、対話的に照合度の閾値の上限と下限とを指定する（ステップＳ７８）。
これらの閾値の上限と下限とは、オペレータがチェックの対象とする照合度の範囲を指定するものである。つまり、照合度が上限値以下、かつ、下限値以上のものがチェック対象となる。これは、照合度が上限値以上であれば、上記顔画像と一致したと見なしてチェック対象とはせず、また、照合度が下限値以下であれば、上記顔画像とは異なると判定してチェック対象とから除外するものである。
これにより、オペレータが指定する閾値の上限値と下限値との間の照合度の顔画像を対象としてオペレータが顔画像をチェックするようになる。また、この際、上限値を＋無限大とすれば、下限値以上のものが全てチェック対象となり、下限値を−無限大（０）と指定すれば、上限値以下のものが全てチェック対象となる。
【００６９】
オペレータが照合度の閾値の上限と下限とを指定すると、保守パソコン４３の制御部５１は、指定された閾値の上限と下限とを顔画像記録装置へ送信する。この照合度の閾値の上限と下限とを受信すると、顔画像記録装置の処理プロセッサ３１は、上記ステップＳ７７で算出した照合度が指定された閾値の上限と下限との間にあるか否かを判断する。
この判断に基づいて処理プロセッサ３１は、上限値以上で、かつ、下限値以下の照合度の顔画像を順番に保守パソコン４３に送信する。保守パソコン４３では、顔画像記録装置から送られる顔画像を順番に上記表示部５３に表示させる（ステップＳ７９）。
これにより、オペレータがチェックする対象の顔画像が表示部５３に表示されるようになる。この表示部５３に表示される画像に対しては、オペレータによる操作とオペレータの操作に応じて表示部５３に表示される案内によって対話的に種々の処理が実行される（ステップＳ８０）。
【００７０】
図１７は、上記ステップＳ８０における処理の例として、特定の個人ＩＤ情報に対する照合処理の処理結果としての照合度を時間経過に対応させて表示させた例である。すなわち、上記ステップＳ７１で、オペレータが検索条件として個人ＩＤ情報を指定すると、指定された個人ＩＤ情報に対応する照合用の辞書３８が既に作成されていれば、検索条件に合致する顔画像と照合用の辞書３８との照合処理が行われる。
この際、保守パソコン４３は、検索対象とする照合度の閾値の上限と下限とを指定する。これにより、処理プロセッサ３１は、照合処理の結果として得られた照合度が上限と下限との間になった顔画像を属性情報とともに保守パソコン４３へ送信する。これにより、保守パソコン４３では、指定した範囲の照合度を有する全ての顔画像と、それらの顔画像の記録時間を含む属性情報とを得る。これらの情報により保守パソコン４３では、特定の個人における照合度と記録時間とを対応させたグラフが表示できる。
【００７１】
例えば、照合度は、０〜１００までの整数値をとるものとし、閾値の上限を１００（＋無限大）とし、下限を８０とすると、照合処理の結果としては、指定された個人ＩＤ情報に対応する全ての顔画像のうち照合度が８０以上の顔画像に対する照合度が得られる。さらに、顔画像に対応する属性情報に記録した時間（日時）が記録されていれば、保守パソコン４３の表示部５３には、図１７に示すような時間経過に対する照合度の推移を表したグラフを表示（作成）できる。
このようなグラフによれば、いつ頃、照合度が落ちたか、照合度がいつ頃回復したかが一目で判別できる。例えば、ユーザが髪型を替えた場合、あるいは、体調が崩れた場合、照合度の低下が予想される。これにより、図１７に示すようなグラフによってユーザの状態を判断できる。すなわち、特定のユーザに対する照合度の変化が確認できるので、健康状態の推移、あるいは生活習慣の変化などのユーザにおきた変化を判定したり、予測したりすることができる。
【００７２】
次に、指定された検索条件の顔画像による辞書３８の更新処理について説明する。
図１８は、指定された検索条件の顔画像による辞書３８の更新処理の動作例を説明するためのフローチャートである。図１８に示すフローチャートでは、図１６に示すフローチャートの動作で検索された顔画像に基づいて、辞書３８の更新を行う動作を示している。すなわち、図１８に示すステップＳ９１〜ステップＳ９９の動作は、図１６に示すステップＳ７１〜ステップＳ７９の動作と同様である。また、図１８に示すステップＳ１００〜ステップＳ１０２は、図１６に示すステップＳ８０における処理の一例として辞書３８の更新処理を行うものである。
【００７３】
従って、ステップＳ９１〜ステップＳ９９についての説明を省略し、ステップＳ１００〜ステップＳ１０２の動作について説明する。
上記ステップＳ９９では、上記ステップＳ７９と同様に、保守パソコン４３の表示部５３にオペレータが指定した範囲（閾値の上限と下限との間）の照合度の顔画像を順番に表示する。さらに、制御部５１は、オペレータの操作に基づいて照合度の最大値（最大類似度）を与える個人ＩＤ情報を表示部５３に表示する。
【００７４】
この表示によりオペレータは、最大類似度を与える顔画像の個人ＩＤ情報が正しいか否かを判断する。この判断により個人ＩＤ情報が正しくないと判断した場合、オペレータは、制御部５１の制御により表示部５３に表示される案内に従って対話的に正しい個人ＩＤ情報を入力する（ステップＳ１００）。また、個人ＩＤ情報が正しいとオペレータが判断した場合、オペレータの操作に基づいて、制御部５１は、上記表示部５３に表示した個人ＩＤ情報に対応する顔の特徴量の更新処理（辞書３８の更新処理）へ進む。これらの動作によって最大類似度を与える顔画像の正しい個人ＩＤ情報がオペレータにより決定される。
【００７５】
正しい個人ＩＤ情報が決定されると、制御部５１は、当該顔画像に対する正しい個人ＩＤ情報を顔画像記録装置へ送信する。保守パソコン４３から正しい個人ＩＤ情報が通知されると、処理プロセッサ３１は、最大の照合度（最大類似度）を与える顔画像から照合用の辞書３８に登録するための顔の特徴量を算出する。顔の特徴量を算出すると、処理プロセッサ３１は、算出した顔の特徴量を保守パソコン４３から通知された個人ＩＤ情報に対応させて辞書３８に記録する（ステップＳ１０１）。
【００７６】
ここで、上記個人ＩＤ情報に対応する顔の特徴量が既に辞書３８に存在している場合、処理プロセッサ３１は、上記個人ＩＤ情報に対応する顔の特徴量を書き換えることにより辞書３８の更新処理を行う。また、上記個人ＩＤ情報に対応する顔の特徴量が辞書３８に存在しない場合、処理プロセッサ３１は、上記個人ＩＤ情報に対応する顔の特徴量を新たに辞書３８に書き加えることにより辞書３８の更新（新規登録）処理を行う。
辞書３８の更新処理が完了すると（ステップＳ１０２）、処理プロセッサ３１は、辞書３８の更新が完了した旨を保守パソコン４３へ通知する。この通知を受けた保守パソコン４３の制御部５１は、辞書３８の更新が完了した旨を表示部５３に表示し、処理を終了する。このように、保守パソコン４３でのオペレータの操作のみで記録装置３７に蓄積（記録）されている顔画像による辞書３８の更新処理が可能となる。
【００７７】
上記のように、第３の実施の形態では、オペレータが指定する検索条件に基づいて記録装置に記録されている顔画像を検索することができる。従って、所望の検索条件に一致する顔画像のみを記録装置から読み出したり、読み出した顔画像による種々の処理が可能となる。例えば、個人ＩＤ情報を指定して個人ＩＤ情報に対応する顔画像を検索し、この顔画像に対する記録時間などの属性情報をもとに順番に顔画像を表示させることができる。
【００７８】
また、オペレータが指定する検索条件に基づいて検索された顔画像に対しては、以下のような動作が可能である。
（１）既に顔照合用の辞書が用意されている場合、１対多の照合を行いながら最大照合度が低い顔画像（検索された顔画像）のみをチェックする。これにより、照合度の低い不審者と思われる人物を効率良くチェックできる。また、事前に顔照合用の辞書が用意されていない場合、記録時間などの属性情報をもとに順番に顔画像を検索して表示し、ユーザに対して対話的に個人ＩＤ情報を指定させ、顔照合用の辞書への登録あるいは修正を行う。これにより、顔照合用の辞書への登録あるいは更新用に、別途、顔画像を撮影する必要がなく、利便性が向上する。
【００７９】
（２）記録装置に記録されている顔画像の属性情報に個人ＩＤ情報が含まれている場合、個人ＩＤ情報を検索情報に指定し、同一の個人ＩＤ情報の顔画像を検索して個人ごとの照合用の辞書の新規作成または更新を行う。これにより、照合用の辞書に登録されている顔パターンを新規登録あるいは更新を別途行う必要がなくなる。
（３）記録装置に記録されている顔画像の属性情報に個人ＩＤ情報が含まれている場合、個人ＩＤ情報を検索情報に指定し、同一の個人ＩＤ情報の顔画像を検索して検索された顔画像の属性情報に基づいて、個人ごとの顔画像の記録状況をグラフなどにより表示する。これにより、個人ごとの顔画像の記録状況（利用状況）をオペレータが管理しやすい。また、この第３の実施の形態が入退出管理システムに適用される場合、個人ごとの入退出動作をグラフ表示などでトレースすることができる。
【００８０】
（４）記録装置に記録されている顔画像の属性情報に個人ＩＤ情報が含まれている場合、個人ＩＤ情報を検索情報に指定し、同一の個人ＩＤ情報の顔画像を検索して検索された顔画像の属性情報に基づいて、個人ごとの照合度の変化を示すグラフを表示する。これにより、個人ごとに照合度の経時変化などがトレースでき、さらに、顔の特徴量の変動情報によって、ユーザの健康状態の推移などのユーザの変化を推測できる。
（５）不審者などの顔画像を新たに提示し、その人物に高い照合度をもつ顔画像を記録装置に記録されている顔画像から検索して属性情報とともに表示する。これにより、特定の人物のみを顔画像を用いて検索することができ、不審者の絞り込み、不審者の行動の分析などを行うことが容易にできる。
上記のように、第３の実施の形態では、通常の運用として上記第１、第２の実施の形態のように顔画像を履歴データとして記録装置に記録しながら、さらに、管理者が指定可能な検索条件に一致する顔画像のみを記録装置から検索したり、表示させたりすることを特徴とする。
【００８１】
すなわち、第３の実施の形態では、照合用の顔の特徴量が辞書に登録されている場合、１対多の照合を行いながら「不審者」（最大照合度が低い人）のみを効率良くチェックできることを特徴としている。この特徴によれば、ユーザの利便性を損なうこなく、管理者が「不審者」のみを効率良くチェックすることができ、セキュリティのレベルを向上できる。
また、第３の実施の形態では、第３の実施の形態では、通常の運用として上記第１、第２の実施の形態のように顔画像を履歴データとして記録装置に記録しながら、さらに、上記記録装置に記録された顔画像を用いて照合用の辞書に顔の特徴量を新規登録したり、ユーザの顔の特徴量の経時変化に対応するための照合用辞書に登録されている顔の特徴量の更新を行うことを特徴としている。
【００８２】
すなわち、辞書に顔の特徴量が登録されていない場合、顔画像を記録した時間などの属性情報をもとに順番に顔画像を検索表示させて、管理者が対話的に個人ＩＤ情報を教示することにより、照合用の顔の特徴量の新規登録を行う。これにより、照合用の顔の特徴量の新規登録を効率良く、かつ、ユーザの負担にならずに行うことができる。
また、すでに顔の特徴量が辞書に登録されている場合、同一の個人ＩＤ情報の顔画像を検索して集め、各個人ごとの顔照合用の顔の特徴量を算出し、辞書に登録されている顔の特徴パターンを更新する。これにより、ユーザに負担をかけずに照合結果による辞書の修正が可能となり、照合用の顔の顔の特徴量の更新を効率良く行える。
【００８３】
次に、第４の実施の形態について説明する。
第４の実施の形態は、上記第１、第２、第３の実施の形態で説明した処理に顔照合以外の他の本人確認方法を組み合わせるものである。この第４の実施の形態では、上記第１、第２、第３の実施の形態で説明した顔画像記録装置に、ＩＤカードによる本人確認方法あるいは顔照合以外の他のバイオメトリクスによる本人確認方法を組み合わせる（併用する）場合について説明する。
なお、ここでは、この第４の実施の形態のように、顔画像の記録とともに、他の本人確認方法により本人確認を行うものをスタンドアロン・組合せタイプと呼ぶ。また、顔画像は、顔画像以外の本人確認方法にて不審者と判定された場合にのみ、記録装置で記録するようにしても良いし、顔画像以外の本人確認方法の確認結果に係らずに全ての顔画像を確認のために記録装置で記録するようにしても良い。
【００８４】
図１９は、顔画像記録装置６１にカードリーダ６２を接続した場合の構成例を示す図である。なお、顔画像記録装置６１の構成は、図６或は図１５に示す構成と同様であるため、詳細な説明を省略する。
図１９に示す構成例では、図２に示すようなテンキーなどの入力部５を有するユーザインターフェース部１０の顔画像記録装置６１に適用される。この場合、上記入力部５では、ＩＤカードを読み出す際に用いられる暗証番号の入力が行われる。このような構成の顔画像記録装置６１では、まず、ユーザがカメラ２により顔の画像を撮影されるとともに、ユーザにより入力部５にて暗証番号が入力される。さらに、ＩＤカードが接触式の記録媒体であれば、ユーザは、ＩＤカードをカードリーダ６２に挿入する。また、ＩＤカードが無線カードで、かつ、カードリーダ６２が無線カードリーダである場合、ユーザは、ＩＤカードをカードリーダ６２に挿入する必要がなく、暗証番号の入力のみで良い。
【００８５】
処理プロセッサ３１は、まず、ユーザの所持するＩＤカードに記録されている暗証番号をカードリーダ６２により読取る。カードリーダ６２がＩＤカードに記録されている暗証番号を読取ると、処理プロセッサ３１は、ユーザにより入力された暗証番号がカードリーダが読み出した暗証番号と一致するか否かによって本人であるか否かを確認する。この際、暗証番号が不一致となり、本人であることが確認できなかった場合、不審者と判断する。不審者と判断した場合は、上記「なりすまし」と判定された場合と同様に、所定の動作を行う。
【００８６】
また、暗証番号が一致して本人であることを確認した場合、処理プロセッサ３１は、カードリーダ６２によりＩＤカードから個人ＩＤ情報を読み出す。これ以降の処理は、図７、図８あるいは図１２、図１３に示すフローチャートに示す動作と同様な動作が行われる。なお、顔照合を行う場合は、個人ＩＤ情報に対応する顔の特徴パターンを辞書３８から読み出して、カメラ２で撮影した画像から得られる顔の特徴パターンとの１対１の照合を行う。但し、不審者などの特定の人物をチェックする場合は、１対多の顔照合となる。
【００８７】
図２０は、顔画像記録装置６４に顔照合以外のバイオメトリクス認証装置６５を接続した場合の構成例を示す図である。ここで、バイオメトリクス認証装置６５は、バイオメトリクス（生体情報）による本人確認として、指紋、声紋、サイン、眼の網膜や虹彩（アイリス）、あるいは手の甲の静脈パターンなどを用いた照合処理を行う。なお、図２０に示す顔画像記録装置６４の構成は、図６或は図１５に示す構成と同様であるため、詳細な説明を省略する。
【００８８】
図２０に示す構成例は、図１あるいは図２に示すようなユーザインターフェース部１０の顔画像記録装置に適用される。このような構成の顔画像記録装置６４では、まず、ユーザがカメラ２により顔の画像を撮影されるとともに、バイオメトリクス認証装置６５にてユーザの生体情報が読取られる。バイオメトリクス認証装置６５では、読取ったユーザの生体情報と予め登録されている生体情報との照合を行うことにより個人を特定し、個人ＩＤ情報を読み出す。このような動作により個人ＩＤ情報を読み出した後は、図７、図８あるいは図１２、図１３に示すフローチャートに示す動作と同様な動作が行われる。
【００８９】
上記のように、この第４の実施の形態では、上記第１、第２あるいは第３の実施の形態の顔画像記録装置と他の本人確認方法と組合わせたことを特徴とする。これにより、セキュリティレベルを高めることが可能である。
また、第４の実施の形態では、ＩＤカードとバイオメトリクス認証装置といったように、多重に本人認証を組み合わせる（２個以上の本人認証と顔画像の記録）ことも可能である。この場合、本人認証を多重に組み合わせることにより、必要に応じてセキュリティレベルを高めることが可能である。
【００９０】
次に、第５の実施の形態について説明する。
この第５の実施の形態では、顔画像記録装置をネットワークに接続した顔画像記録システムについて説明する。
図２１は、第５の実施の形態としての顔画像記録システムの構成例を示す。この顔画像記録システムは、図２１に示すように、複数の顔画像記録装置（７１ａ、７１ｂ、…、７１ｎ）と管理サーバ８０とがネットワーク７２を介して接続されている。
各顔画像記録装置７１ａ、７１ｂ、…、７１ｎは、第１〜第４の実施の形態の顔画像記録装置と同様な機能を持つ装置である。また、各顔画像記録装置７１ａ、７１ｂ、…、７１ｎの構成は、図６或は図１５に示す構成と同様であるため、詳細な説明を省略する。上記ネットワーク７２は、ＬＡＮまたはインターネットなどのネットワークである。
【００９１】
上記管理サーバ８０は、パーソナルコンピュータなどで構成される。上記管理サーバ８０は、例えば、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）で撮影した画像を監視する監視センタなどに設置されるものである。上記管理サーバ８０は、顔画像の記録、検索、表示等の処理が可能である。上記管理サーバ８０は、例えば、上記管理サーバ８０は、制御部８１、表示部８２、操作部８３、検索部８４、通信部８５、顔画像履歴データベース（ＤＢ）８６、及び照合用辞書８７などを有している。
【００９２】
上記制御部８１は、管理サーバ８０全体の制御を司る。上記表示部８２は、表示装置により構成される。上記表示部８２は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）のカメラ２で撮影した画像などを表示する。上記操作部８３は、キーボード或はマウス等の入力装置により構成される。上記操作部８３は、管理サーバ８０を操作する監視員により各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）の動作モードの指示などが入力される。上記検索部８４は、指定された検索条件と一致する画像を顔画像履歴ＤＢ８６に記録されている画像からを検索するものである。上記通信部８５は、上記ネットワーク７２に接続するためのネットワークインターフェースである。上記顔画像履歴ＤＢ８６は、上記記録装置３７と同様な構成である。この顔画像履歴ＤＢ８６は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）からネットワークを介して送信された画像を属性情報とともに記録する。上記照合用辞書８７は、上記辞書３８と同様な構成である。上記照合用辞書８７は、人物の顔の特徴量などが記録される。
【００９３】
上記のように構成される顔画像記録システムでは、監視センタ等に設置された管理サーバ８０で複数箇所に設置された顔画像記録装置を集中管理するようになっている。つまり、遠隔地の監視センタに設置された管理サーバ８０は、複数箇所に設置された各顔画像記録装置を集中して監視できるようになっている。
この顔画像記録システムの各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）は、上記第１、第２の実施の形態のように上記カメラ２で撮影した顔画像を顔画像記録装置内の記録装置に記録する代わりに、ネットワーク７２を介して顔画像を管理サーバ８０へ伝送する。上記管理サーバ８０は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）からの顔画像を表示部８２に表示して集中的にモニタリングする。これにより、遠隔地の監視員は、管理サーバ８０により複数の顔画像記録装置で撮影した画像を監視できる。なお、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）は、顔画像を管理サーバ８０に送信するとともに、記録装置３７にも記録するようにしても良い。これにより、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）でも顔画像の履歴を確認することが可能となる。
【００９４】
さらに、上記管理サーバ８０は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）から伝送された顔画像を必要に応じて顔画像履歴ＤＢ８６に記録する。例えば、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）から顔画像とともに当該人物が不審者である旨が通知された場合、管理サーバ８０は、顔画像を顔画像履歴ＤＢ８６に記録する。また、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）から顔画像とともに当該人物が不審者である旨が通知された場合、上記管理サーバ８０は、監視員の操作に応じて顔画像を顔画像履歴ＤＢ８６に記録するようにしても良い。
【００９５】
さらに、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）が種々の動作モードを有している場合、上記管理サーバ８０は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）の動作モードを切り換えられるようにしても良い。例えば、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）が、システム動作モードと端末動作モードとを有しているものとする。これらの種々の動作モードは、監視員の操作に基づく上記管理サーバ８０からの指示により切り変える。
【００９６】
上記システム動作モードは、管理サーバ８０が顔画像記録システム内の各顔画像記録装置を集中して管理する動作モードである。上記システム動作モードは、例えば、管理サーバ７３が設置された監視センタに監視員が居る場合などに設定される。つまり、上記システム動作モードは、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）で撮影した顔画像を管理サーバ８０で集中管理する場合に設定される。このシステム動作モードは、管理サーバ８０が各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）にシステム動作モードを指示することにより実現される。
【００９７】
上記端末動作モードは、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）がそれぞれ単独で動作し、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）が顔画像をそれぞれ記録する動作モードである。この端末動作モードは、例えば、管理サーバ８０が設置された監視センタに監視員が居ない場合などに設定される。つまり、上記端末動作モードは、管理サーバ８０が各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）で撮影した顔画像を集中管理せずに、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）が画像を記録する場合に設定される。上記端末動作モードは、管理サーバ８０が各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）へ端末動作モードを指示することにより実行される。
【００９８】
また、上記管理サーバ８０は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）に、端末動作モード或はシステム動作モードをそれぞれ指示するようにしても良い。例えば、監視員が特定の顔画像記録装置だけを集中監視したい場合、管理サーバ８０は、監視員の操作に応じて集中監視すべき顔画像記録装置にシステム動作モードを指示し、それ以外の顔画像記録装置に端末動作モードを指示する。これにより、監視員が集中して監視したい顔画像記録装置で撮影した画像のみを監視することが可能となる。
【００９９】
また、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）は、第２の実施の形態と同様に、カメラ２にて撮影した画像に対して、１：１又は１：Ｎの照合処理が行われる。このような各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）の照合処理で照合が失敗した場合、あるいは、なりすましを検知した場合、顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）は、上記カメラ２にて撮影した画像を上記管理サーバ８０へ送信する。これにより、上記管理サーバ８０は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）で顔照合が失敗した画像、あるいは、なりすましが検知された画像を上記顔画像履歴ＤＢ８６に記録することができる。
【０１００】
なお、各顔画像記録装置では、図６或は図１５に示すような各顔画像記録装置内の設けられた照合用辞書３８を用いて照合処理を行っても良いし、管理サーバ７３に接続されている照合用辞書８７を用いて照合処理を行っても良い。
また、上記顔画像記録システムは、入退出管理システムに適用できる。例えば、各顔画像記録装置に入退出制御部が接続される場合、各顔画像記録装置は、入退出制御部により人物の入退出を制御できる。このように各顔画像記録装置が構成される場合、上記管理サーバ８０が、各顔画像記録装置に入退出の許可を指示する。
【０１０１】
すなわち、上記管理サーバ８０には、上記システム動作モードの各顔画像記録装置のカメラ２で撮影した画像が表示部８２に表示される。上記管理サーバ８０の監視員は、表示部８２に表示された画像を見て当該人物の入退出の許可不許可を判断する。この判断に基づいて監視員が操作部８３で当該人物の入退出の許可不許可を指示すると、上記管理サーバ８０は、監視員の指示に応じて各顔画像記録装置に当該人物の入退出の許可不許可を指示する。この管理サーバ８０からの指示に従って、各顔画像記録装置は、上記入退出制御部により入退出を制御する。これにより、第５の実施の形態の顔画像記録システムを入退出管理システムに適用することが可能となる。
【０１０２】
上記のように、第５の実施の形態では、複数箇所に設置された複数の顔画像記録装置と管理サーバとをネットワークで接続し、各顔画像記録装置の動作を上記管理サーバで集中管理（監視）するようにする。すなわち、複数の顔画像記録装置で撮影した画像を管理サーバでのモニタリングすることにより、監視員が集中監視でき、複数の顔画像記録装置を効率良く管理できる。
また、履歴データとしての顔画像を個々の顔画像記録装置で分散的に蓄積（記録）する動作モードと、各顔画像記録装置からの顔画像を管理サーバに集めて、１箇所で管理及び蓄積（記録）する動作モードとの切り換え手段を管理サーバに設ける。これにより、システムの運用状況に応じた各顔画像記録装置の管理が可能となり、管理者側の利便性が向上する。
【０１０３】
次に、第６の実施の形態について説明する。
この第６の実施の形態は、ネットワークに接続された情報端末（パソコン、携帯電話等）及び管理サーバなどで構成される情報管理システムである。
図２２は、この第６の実施の形態の情報管理システムの構成例を概略的に示すものである。すなわち、図２２に示すように、この情報管理システムは、情報端末（９０ａ、９０ｂ、…、９０ｎ）と管理サーバ１００とがネットワーク９６を介して接続される。また、各情報端末（９０ａ、９０ｂ、…、９０ｎ）は、例えば、パーソナルコンピュータ（ＰＣ）あるいは携帯電話などの情報端末などで構成される。各情報端末（９０ａ、９０ｂ、…、９０ｎ）は、上記第１、第２、第３の実施の形態で説明した顔画像記録装置と同様な、人物の顔の撮影処理、顔の特徴量の抽出処理、画像に関する属性情報の生成処理、画像に対する画像処理、或はなりすまし検知処理などを行う機能を有している。上記ネットワーク９６は、ＬＡＮあるいはインターネット等のネットワークである。
【０１０４】
各情報端末（９０ａ、９０ｂ、…、９０ｎ）は、カメラ（９１ａ、９１ｂ、…、９１ｎ）、制御部（９２ａ、９２ｂ、…、９２ｎ）、記憶部（９３ａ、９３ｂ、…、９３ｎ）、通信部（９４ａ、９４ｂ、…、９４ｎ）、表示部（９５ａ、９５ｂ、…、９５ｎ）、及び操作部（９６ａ、９６ｂ、…、９６ｎ）等を有している。上記カメラ（９１ａ、９１ｂ、…、９１ｎ）は、デジタルカメラ等により構成される。上記カメラ（９１ａ、９１ｂ、…、９１ｎ）は、上記第１、第２の実施の形態で説明した顔画像記録装置のカメラ２と同様に、人物の顔を複数撮影する。なお、上記カメラ（９１ａ、９１ｂ、…９１ｎ）は、上記情報端末（９０ａ、９０ｂ、…９０ｎ）の本体に、無線通信あるいは有線で接続するようにしても良い。
【０１０５】
上記制御部（９２ａ、９２ｂ、…、９２ｎ）は、情報端末全体の制御を司る。また、上記制御部（９２ａ、９２ｂ、…、９２ｎ）は、上記第１、第２の実施の形態で説明した顔画像記録装置の処理プロセッサ３１と同様な機能を有する。各機能は、上記制御部（９２ａ、９２ｂ、…、９２ｎ）が上記記憶部（９３ａ、９３ｂ、…、９３ｎ）に記憶されている制御プログラムに基づいて動作することにより実現される。例えば、上記制御部（９２ａ、９２ｂ、…、９２ｎ）は、特徴量抽出部、情報生成部、なりすまし検知部、或は画像処理部等の機能が実現可能である。
上記通信部（９４ａ、９４ｂ、…、９４ｎ）は、ネットワーク９６に接続するネットワークインターフェースで構成される。また、各情報端末（９０ａ、９０ｂ、…９０ｎ）と管理サーバ１００との通信方法は無線であっても有線であってもよい。
【０１０６】
上記管理サーバ１００は、図２１に示す管理サーバ８０と同様な機能を有するため、図２１に示す管理サーバ８０と同様な部分について同一符号を付し、説明を省略する。なお、上記顔画像記録ＤＢ１０６及び照合用辞書１０７は、上記記録装置３７及び上記辞書３８と同様に、管理サーバ１００内に設けられるようにしても良いし、ネットワーク９６を介して接続可能な外部装置に設けるようにしても良い。
また、上記管理サーバ１００に上記顔画像記録装置の処理部と同様な機能を実現するアプリケーションプログラムを組み込めば、上記情報端末が上記顔画像記録装置のユーザインターフェース部１０と同様に機能し、上記管理サーバ１００が上記顔画像記録装置の処理部及び図１５に示す保守パソコン４３と同様に機能するシステムを実現できる。
【０１０７】
このように構成される情報管理システムでは、ＬＡＮあるいはインターネットなどのネットワークで接続された世界（サイバースペース）において様々な行為や活動（商取引、契約事項等への同意など）を行う際に、本人の承認を示す情報として顔画像を記録することができる。
【０１０８】
例えば、上記のような情報管理システムでは、次のような機能をユーザが情報端末を操作するだけで実現可能となる。
（１）電子メイルや電子文書などを作成または発信した際に、作成者あるいは発信者の顔画像を記録に残す機能が実現できる。この機能により、電子メイルや電子文書などの作成者あるいは発信者を顔画像で証明することができ、不審な者からの不正な電子メイルや電子文書を抑制し、電子メイルや電子文書などの安全なやり取りが可能となる。
【０１０９】
（２）決裁や承認などの行為を行った際に、決裁あるいは承認などの行為を行った人物の顔画像を記録に残す機能が実現できる。この機能により、決裁あるいは承認などの行為を行った人物の顔画像を証拠として残すことができ、サイバースペースにおける行為や活動のセキュリティを向上できる。
【０１１０】
また、図２３は、図２２に示す情報管理システムの変形例を示すものである。図２３に示す情報管理システムでは、図２２に示すネットワーク９７に、認証用のサーバ（認証サーバ）１１０を追加した構成となっている。上記認証サーバ１１０は、顔照合によりユーザを認証する認証機関として機能する。このような構成された情報管理システムでは、上記情報端末（９０ａ、９０ｂ、…、９０ｎ）で撮影された顔画像に基づいて認証サーバ１１０がユーザの認証処理を行うようになっている。すなわち、上記認証サーバ１１０では、情報管理システム上の各情報端末（９０ａ、９０ｂ、…、９０ｎ）で撮影された顔画像による認証処理を一括して行うようになっている。上記認証サーバ１１０による認証処理の結果は、管理サーバ１００へ送るようにしても良いし、当該画像を撮影した各情報端末（９０ａ、９０ｂ、…、９０ｎ）へ返すようにしても良い。
【０１１１】
すなわち、図２３に示す情報管理システムの構成では、認証サーバが各情報端末で撮影された顔画像の認証処理を行う。これにより、各情報端末で撮影された顔画像の正当性を上記認証サーバが保証するようになっている。従って、各情報端末で撮影された顔画像の認証処理を効率良く、かつ、確実に行うことができる。また、認証処理を管理サーバとは独立した装置で行うようにしたため、この情報管理システムの導入コストを低く抑え、かつ、メンテナンス性能の向上が期待できる。
【０１１２】
図２４は、図２２或は図２３に示す情報端末９０ａの一例を示す図である。図２４に示す情報端末９０ａは、ノート型のパーソナルコンピュータ（ＰＣ）にデジタルカメラ等のカメラ９１ａを接続した構成となっている。上記カメラ９１ａは、上記ノート型ＰＣの本体にＵＳＢケーブル等により接続される。上記ノート型ＰＣは、制御部９２ａ、記憶部９３ａ、通信部９４ａ、表示部９５ａ、及び操作部９６ａ等を有している。上記ノート型ＰＣには、予めワードプロセッサのアプリケーション及び顔画像の抽出処理を行うアプリケーション等がインストールされているものとする。
【０１１３】
図２５は、ユーザの顔画像を撮影する際に表示部９５ａに表示される案内画面の例を示す図である。図２５に示す案内画面の例では、表示画面上に３つの表示領域１２１、１２２、１２３が設けられている。
上記表示領域１２１には、処理内容、或は処理目的の案内が表示される。例えば、上記表示領域１２１には、処理内容の案内として「顔画像を登録してください」という案内が表示される。
【０１１４】
また、上記表示領域１２２には、上記カメラ９１ａにて撮影している画像がリアルタイムで表示される。これにより、適切な顔の位置をユーザにわかりやすく案内することが可能となる。この表示領域１２２は、矩形に限定されるものではなく、楕円など種々の形を適用することができる。
また、上記表示領域１２３には、ユーザに対する動作案内が表示される。例えば、上記表示領域１２３には、ユーザに対する動作案内として「正面向きの顔がこの窓枠内に入るように顔を動かして下さい」という案内が表示される。
【０１１５】
次に、文書にユーザの顔画像を添付する処理について説明する。
図２６は、ユーザが作成した文書（文書データ）に顔画像を添付する処理を説明するためのフローチャートである。
まず、ユーザは、上記情報端末９０ａにて文書を作成する（ステップＳ１２１）。文書が完成すると、ユーザは、文書の作成完了ボタン（図示しない）を押下する（ステップＳ１２２）。文書の作成完了ボタンが押下されると、制御部９２ａは、ユーザの顔画像の撮影するために、図２５に示すようなユーザに対する案内を表示部９５ａに表示する（ステップＳ１２３）。このような案内に応じて、ユーザは、意識的に顔をカメラに向ける動作を行う（ステップＳ１２４）。
上記制御部９２ａは、上記カメラ９１ａにて撮影した画像からユーザの顔画像を抽出する処理を行う（ステップＳ１２５）。なお、顔画像の抽出処理は、上記ステップＳ２１〜Ｓ２５と同様であるため、詳細な説明を省略する。
【０１１６】
上記顔画像の抽出処理により顔画像が検出されなかった場合（ステップＳ１２６、ＹＥＳ）、制御部９２ａは、表示部９５ａに顔画像が検出されなかった旨を表示し、上記ステップＳ１２３へ戻る。すなわち、顔画像が検出できなかった場合、制御部９２ａは、顔の撮影及び顔画像の抽出処理を再度実行する。
また、上記顔画像の抽出処理により顔画像が検出された場合（ステップＳ１２６、ＮＯ）、制御部９２ａは、なりすまし検知処理を行う（ステップＳ１２７）。なお、なりすまし検知処理は、上記ステップＳ１１１〜Ｓ１１６と同様であるため、詳細な説明を省略する。
上記なりすまし検知処理によりなりすましが検知された場合（ステップＳ１２８、ＹＥＳ）、制御部９２ａは、処理を強制終了する。これにより、他人になりすました顔画像の登録を防止できる。また、上記なりすまし検知処理により、なりすましが検知されなかった場合（ステップＳ１２８、ＮＯ）、制御部９２ａは、当該顔画像の登録が可能であると判断する。
【０１１７】
顔画像の登録が可能であると判断すると、制御部９２ａは、上記抽出処理により抽出した顔画像のデータ（顔画像データ）に対する画像処理を行う（ステップＳ１２９）。この画像処理では、例えば、データ圧縮処理、符号化処理、及び暗号化処理などの処理が行われる。上記データ圧縮処理、符号化処理、及び暗号化処理は、従来の技術を採用すればよい。
また、暗号化処理における暗号化の強度（暗号強度）は、ユーザに要求されるセキュリティレベルに応じて選択される。例えば、顔画像データに対する暗号化が必要ない場合、上記画像処理では、暗号化処理を行わずに、データ圧縮処理及び符号化処理等の処理を行う。
顔画像に対する画像処理が完了すると、制御部９２ａは、画像処理した顔画像データをユーザが作成した文書データに添付する（ステップＳ１３０）。ここで、顔画像を添付した文書データを保存する場合、制御部９２ａは、顔画像データを添付した文書データを記憶部９３ａに保存する（ステップＳ１３１）。また、当該文書を電子メールとして他の情報端末へ送信する場合、制御部９２ａは、通信部９４ａにより顔画像データを添付した文書データを、ユーザが指定する宛先に送信する（ステップＳ１３１）。
【０１１８】
上記のように、文書データに文書を作成したユーザの顔画像を添付して記録するようにした。これにより、文書の作成者を顔画像にて確認することができ、文書データのセキュリティが向上する。例えば、電子メールに発信者の顔画像を添付して送信する。これにより、当該電子メールを受信した受信者は、発信者を顔画像で確認することが可能となる。
【０１１９】
次に、申請書に対する決裁或は承認を行う処理について説明する。
図２７は、申請書に対する決裁或は承認を行う処理を説明するためのフローチャートである。ここでは、情報端末９０ｂを操作するあるユーザ（申請者）が、情報端末９０ａを操作する他のユーザ（権限者）に決裁或は承認を受ける場合の動作例を説明する。また、申請書の内容は、申請データとして権限者に送られるものとする。
まず、申請者は、自身の情報端末９０ｂで申請データを作成する（ステップＳ１４１）。申請者は、作成した申請データを権限者宛に送信する。これにより、申請データは、申請者が操作する情報端末９０ｂから権限者が操作する情報端末９０ａに送信される（ステップＳ１４２）。
上記情報端末９０ａでは、申請データを受信すると（ステップＳ１４３）、申請データを表示部９５ａに表示する（ステップＳ１４４）。表示部９５ａに申請データが表示されると、権限者は、表示された申請内容に対する決裁或は承認を判断する。この判断結果は、権限者により操作部９６ａにて入力される（ステップＳ１４５）。
【０１２０】
例えば、申請内容を不可と判断した場合（ステップＳ１４６、ＮＯ）、権限者は、操作部９６ａにより申請内容を不可とする旨を入力する。すると、制御部９２ａは、申請内容に対する差し戻し処理を実行する（ステップＳ１４７）。差し戻し処理は、申請者に対して申請内容が権限者に不可と判断された旨を通知する処理である。例えば、差し戻し処理は、申請データに申請内容の不可を示す情報を付与して申請者に返信する。また、差し戻し処理として、後述するステップＳ１４８の処理を行って、申請内容の不可を示す情報に権限者者の顔画像を添付して申請者に通知するようにしても良い。
【０１２１】
また、申請内容を許可すると判断した場合（ステップＳ１４６、ＹＥＳ）、権限者は、操作部９６ａにより申請内容を許可する旨を入力する。すると、制御部９２ａは、権限者の顔画像の抽出処理及び抽出した顔画像に対するなりすまし検知処理を実行する（ステップＳ１４８）。なお、上記ステップＳ１４８の顔画像の抽出処理及びなりすまし検知処理は、上記ステップＳ１２３〜Ｓ１２８と同様であるため、詳細な説明は省略する。
上記顔画像の抽出処理及びなりすまし検知処理により権限者の顔画像が決定すると、制御部９２ａは、上記ステップＳ１２９と同様に、顔画像に対する画像処理を実行する（ステップＳ１４９）。顔画像に対する画像処理が完了すると、上記ステップＳ１３０及びＳ１３１と同様に、申請データに画像処理された顔画像データを添付し（ステップＳ１５０）、記憶部９３ａに保存する（ステップＳ１５１）。また、顔画像データを添付した申請データは、通信部９４ａにより申請者に返信するようにしても良い。
【０１２２】
上記のように、申請データを決裁或は承認を行う権限者に送信し、権限者が申請データに対する決裁或は承認を行う。権限者に許可すると判断された申請データに対しては、決裁或は承認を行った権限者の顔画像を添付する。これにより、申請内容に対して決裁或は承認を行った権限者の顔画像が記録でき、セキュリティが向上する。
また、上記ステップＳ１２１〜Ｓ１３１、或は上記ステップＳ１４１〜Ｓ１５１の動作を図２３に示すような構成の情報管理システムに適用する場合、抽出した顔画像と辞書１１４に登録されている顔画像との照合を認証サーバ１１０が行うようにしても良い。この場合、文書或は申請データに、顔画像データを添付するとともに、認証サーバ１１０で認証されたユーザを示す情報が添付できる。これにより、セキュリティレベルを更に向上させることが可能となる。
【０１２３】
また、顔画像データが添付された文書或は申請内容の正当性を確認する場合、管理サーバ１００の表示部１０２に、当該文書或は申請データに添付された顔画像を表示させる。これにより、しかるべき資格をもった管理者が、管理サーバ１００の表示部１０２に表示された顔画像を確認して文書或は申請内容の正当性を判定できる。
また、文書或は申請内容の正当性を確認する場合、当該文書或は申請データに添付された顔画像を読出し、管理サーバ１００の照合用辞書８７或は認証サーバ１１０の辞書１１４に登録されている顔画像との照合を行って、文書或は申請データに添付された顔画像のユーザを確認するようにしても良い。
【０１２４】
上記のように、第６の実施の形態では、パソコンあるいは携帯端末などのカメラ付き情報端末を利用して、インターネットあるいはＬＡＮなどのネットワーク（サイバースペース）世界において様々な行為や活動を行う際に、実行者の顔画像を記録しておくようにしたものである。これにより、実世界における「印鑑を押す」行為と同等な利便性をもつものがサイバースペースにおいても実現でき、かつ、ユーザの利便性が良い情報管理システムを提供できる。
【０１２５】
なお、本発明は、各実施の形態の要旨を逸脱しない範囲で、各実施の形態を変形したり、各実施の形態を組み合わせて実現することが可能となっている。
以上詳述したように、上記第１〜第６の実施の形態によれば、利用される用途に応じたセキュリティレベルを持ちつつ、装置の導入負担ができるだけ少なく、かつ、ユーザが使い易い利便性の高い本人認証を実現する顔画像記録装置、顔画像記録システム、顔画像記録方法、及び情報管理方法を提供できる。
【図面の簡単な説明】
【０１２６】
【図１】この発明の各実施の形態に係る顔画像記録装置の外観構成の例を示す図。
【図２】各実施の形態に係る顔画像記録装置の外観構成の例を示す図。
【図３】各実施の形態に係る顔画像記録装置の設置例を示す図。
【図４】各実施の形態に係る顔画像記録装置の設置例を示す図。
【図５】各実施の形態に係る顔画像記録装置を入退室システムに適用する場合の構成例を示す図。
【図６】各実施の形態に係る顔画像記録装置の内部構成例を示す図。
【図７】第１の実施の形態の全体的な動作を説明するためのフローチャート。
【図８】第１の実施の形態の全体的な動作を説明するためのフローチャート。
【図９】顔の特徴点の抽出処理を説明するためのフローチャート。
【図１０】記録装置に記録する画像に対する画像処理を説明するためのフローチャート。
【図１１】なりすまし検知処理の例を説明するためのフローチャート
【図１２】第２の実施の形態の全体的な動作を説明するためのフローチャート。
【図１３】第２の実施の形態の全体的な動作を説明するためのフローチャート。
【図１４】顔画像の照合処理を説明するためのフローチャート。
【図１５】第３の実施の形態に係る顔画像記録装置及び保守パソコンの概略構成を示す図。
【図１６】顔画像の検索処理を説明するためのフローチャート。
【図１７】特定の個人における照合度の経時変化を示す図。
【図１８】照合用辞書の更新処理の動作例を説明するためのフローチャート。
【図１９】第４の実施の形態として、顔画像記録装置にカードリーダを接続した場合の構成例を示す図。
【図２０】顔画像記録装置にバイオメトリクス認証装置を接続した場合の構成例を示す図。
【図２１】第５の実施の形態としての顔画像記録システムの構成例を示す。
【図２２】第６の実施の形態の情報管理システムの構成例を概略的に示す図。
【図２３】図２２の情報管理システムの変形例を概略的に示す図。
【図２４】図２２、図２３に示す情報端末の例を示す図。
【図２５】情報端末の表示例を示す図。
【図２６】文書に顔画像を添付する処理のフローチャート。
【図２７】申請データに顔画像を添付する処理のフローチャート。
【符号の説明】
【０１２７】
１、８２、９５ａ…表示部（報知手段）、２、９１ａ、９１ｂ…カメラ（撮影手段）、５…入力部（入力手段）、３１…処理プロセッサ（処理手段、更新手段）、３１ａ…特徴量抽出部（特徴量抽出手段）、３１ｂ…情報生成部（生成手段）、３１ｃ…なりすまし検知部（なりすまし検知手段）、３１ｄ…画像処理部（画像処理手段）、３１ｅ…顔照合部（照合手段）、３１ｇ…検索部（検索手段）、３７…記録装置（記憶手段）、３８、８７、１１４…照合用辞書（記憶手段）、４３…保守パソコン（検索手段）、５２…操作部（入力手段）、５３…表示部（表示手段）、６２…カードリーダ（入力手段）、６５…バイオメトリクス認証装置（認証手段）、７１ａ、７１ｂ、…顔画像記録装置（端末装置）、８０、１００…管理サーバ（管理装置）、８６、１０７…顔画像履歴ＤＢ（記憶手段）、９０ａ、９０ｂ…情報端末、１１０…認証サーバ（認証装置）
【技術分野】
【０００１】
この発明は、例えば、施設内での入退出管理に適用され、ユーザの顔画像を履歴データとして記録する顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法に関する。
【背景技術】
【０００２】
従来、
従来、特定の部屋などの入退出管理では、入退出を行おうとする人物が入退出の可能な人物であるか否かを確認する必要がある。例えば、特定の部屋への入退出を管理する入退出管理システムでは、種々の確認方法で人物を確認することにより入退出が可能な人物であるか否か判断するようになっている。また、電子商取引では、アクセスした人物が正当な資格を有した人物であるか否かを確認する必要がある。例えば、電子商取引に用いられる情報管理システムでは、種々の確認方法で人物を認識し、人物を確認している。
このため、入退出管理システム、或は情報管理システムでは、できるだけ第３者が介在しないで機械（自動）的に人物の確認を行えるものが望まれている。
【０００３】
従来、人物の確認方法は、大きく次の３つに分かれる。
（１）所持物による人物の確認方法
所持物による人物の確認方法は、例えば、パスポート、免許証などに代表される身分証明書で本人を確認する方法である。また、例えば、磁気カード、無線カード、あるいはＩＣカード等の記憶媒体により人物を確認する方法も所有物による人物の確認方法に含まれる。また、出入り口のドア、金庫の扉、車のエンジンなどの鍵等も、広義に捕らえれば、所有物による人物の確認方法に含まれる。
【０００４】
（２）記憶情報による人物の確認方法（PIN；Personal Identification Number）
例えば、パスワード、暗証番号などの情報を用いた人物の確認方法は、記憶情報による人物の確認方法に属する。この記憶情報による人物の確認方法は、所持物による人物の確認方法と組み合わせて利用されることが多い。例えば、銀行などの金融機関では、クレジットカードと利用者が記憶している４桁の暗証番号とを組み合わして人物の確認を行っている。
【０００５】
（３）身体的特徴による人物の確認方法
この身体的特徴による人物の確認方法の代表は、指紋照合である。その他にも、網膜や虹彩、掌形、声紋、サイン（筆跡）、顔などの身体的特徴（バイオメトリクス）による人物の確認方法がある。指紋、声紋、及びサインによる人物の確認方法は、従来から犯罪捜査などで用いられている。これらの身体的特徴による人物の確認方法では、サンプルデータと照合することにより人物を確認するようになっている。また、身体的特徴による人物の確認方法は、必ずしも機械的に行うものではない。例えば、クレジットカード等では、カードに記載されたサインと当該人物が記載したサインとを人の目視により照合して人物を確認している。このように、身体的特徴による人物の確認方法は、（１）の所有物による本人確認方法または（２）の記憶情報による本人確認方法と組み合わせて利用されることが多い。
【０００６】
しかしながら、上記した従来の人物の確認方法では、それぞれ以下のような欠点があるために完全とは言えないことがある。
（１）の所有物による人物の確認方法の欠点としては、人物を確認するための所有物を、落としたり、盗まれたり、偽変造されたりする可能性があることがあげられる。また、（２）の記憶情報による人物の確認方法の欠点としては、本人が暗証番号等の記憶情報を忘れてしまったり、他人に推測されたり、総当り的に攻撃されるなどの危険性があることがあげられる。また、（３）の身体的特徴情報による人物の確認方法では、身体的特徴の経時変動などの影響が避けられないため、照合時のエラーを完全に無くすことができないという欠点を有している。
【０００７】
また、入退出管理では、入退出した人物を示す情報を残すことが必要となる場合がある。また、電子商取引では、本人が承認したことを示す情報を残すことが必要となる場合がある。例えば、日本では、本人の承認を示す行為として、自分の名前等の印鑑を押す行為が慣習的に行われている。このように、比較的軽いセキュリティレベルが必要な用途では、本人が承認したことを示す情報を残すことにより一定のセキュリティが維持できる。
このような比較的軽いセキュリティレベルが必要な用途に従来の本人認証方法を適用すると、装置導入のためのコストが高くなったり、操作性が悪いという問題がある。このため、一定のセキュリティレベルを持ちながら、導入コストが低く、かつ、ユーザの操作性が良いものが要望されている。
【特許文献１】特開２００１−６７４５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記したように、用途に応じたセキュリティレベルを持ちつつ、装置の導入負担が少なく、利便性の高い本人認証を実現できるものが要望されているもので、利用される用途に応じたセキュリティレベルを持ちつつ、装置の導入負担ができるだけ少なく、かつ、ユーザが使い易く、利便性の高い本人認証を実現する顔画像記録装置、顔画像記録システム、情報管理システム、顔画像記録方法、及び情報管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明の顔画像記録装置は、人物の顔画像を記録するものにおいて、顔画像を記録する必要のない人物の顔の特徴量が予め登録されている第１の記憶手段と、１人の人物の顔を複数撮影する撮影手段と、この撮影手段で撮影した各画像からそれぞれ顔の特徴量を抽出する特徴量抽出手段と、この特徴量抽出手段により抽出された顔の特徴量と上記第１の記憶手段に登録されている顔の特徴量との照合を行う照合手段と、この照合手段による照合が失敗した場合に、上記撮影手段で撮影した画像のうち上記特徴量抽出手段により顔の特徴量が抽出された画像を記録する第２の記憶手段とを有する。
【発明の効果】
【００１０】
この発明によれば、利用される用途に応じたセキュリティレベルを持ちつつ、装置の導入負担ができるだけ少なく、かつ、ユーザが使い易く、利便性の高い本人認証を実現する顔画像記録装置、顔画像記録システム、情報管理システム、顔画像記録方法、及び情報管理方法を提供できる。
【発明を実施するための最良の形態】
【００１１】
以下、この発明の実施の形態について図面を参照して説明する。
図１、及び図２は、顔画像記録装置のユーザインターフェース部１０の外観構成例を示す正面図である。図１に示す顔画像記録装置の構成例では、ユーザインターフェース部１０に、表示部１、カメラ２、線光源３、及び線光源４が設けられている。また、図２に示す顔画像記録装置の構成例では、ユーザインターフェース部１０に、表示部１、カメラ２、線光源３、及び線光源４に加えて、入力部５が設けられている。
【００１２】
上記表示部１は、上記カメラ２が撮影中の画像、あるいは利用者に対する案内などを表示する。上記カメラ２は、動画像あるいは連続画像を撮影するものである。このカメラ２は、表示部１の下方に設けられ、表示部１を目視している利用者の少なくとも顔を含む領域の顔画像を撮像する顔に対して正面よりやや下方側から撮影するようになっている。上記線光源３は、カメラ２の正面に位置する利用者の顔に対して横方向から光を照射するものである。上記線光源４は、カメラ２の正面に位置する利用者の顔に対して斜め下方向から光を照射するものである。なお、上記線光源３及び線光源４などの照明は、顔画像記録装置の設置場所の照明環境が良好な場合（画像入力するのに良好な照明環境である場合）、不要である。また、上記入力部５は、テンキーなどで構成される。この入力部５は、例えば、利用者が個人を特定するための個人ＩＤ情報などを入力するものである。
【００１３】
図３、図４は、顔画像記録装置の設置例を示す側面図である。
図３は、壁掛けタイプのユーザインターフェース部１０を有する顔画像記録装置の設置例を示す側面図である。図３では、図１あるいは図２に示すように構成されたユーザインターフェース部１０が壁に掛けて設置されている。このユーザインターフェース部１０の正面に立つ利用者Ｈの顔は、下方からカメラ２によって撮影されるようになっている。
図４は、据え置きタイプのユーザインターフェース部１０を有する顔画像記録装置の設置例を示す側面図である。図４では、ユーザインターフェース部１０の正面に立った利用者Ｈに対して斜め下方にカメラ２が設置される。これにより、利用者Ｈは、カメラ２を上から覗き込むようになっている。また、図４に示す設置例では、図１あるいは図２に示すように構成される顔画像記録装置のユーザインターフェース部１０がケーブル１１で接続される処理部１２に接続されている。
【００１４】
図５は、ドア２３、２４などの複数の箇所にユーザインターフェース部１０が設けられる場合の構成例を示すブロック図である。図５に示す構成例では、ドア２３及びドア２４に設置されたユーザインターフェース部１０が処理部２１に接続されている。また、上記処理部２１には、保守用のパーソナルコンピュータ（保守パソコン）２２が通信ケーブルを介して接続されている。なお、保守パソコンが顔画像記録装置に接続される構成については、後述する第３の実施の形態で詳細に説明する。
【００１５】
図６は、顔画像記録装置の制御系統としての全体構成を示す図である。
図６に示すように、顔画像記録装置の処理部３０（１２、２１）は、処理プロセッサ３１、ワークメモリ３２、プログラムメモリ３３、画像メモリ３４、キャプチャボード３５、記録装置インターフェース３６、記録装置３７、照合用辞書３８、無線通信ボード３９、ＬＡＮボード４０、及びバス４１から構成されている。
上記処理プロセッサ３１は、顔画像記録装置全体の制御を行う。また、上記処理プロセッサ３１は、図１あるいは図２に示すユーザインターフェース部１０に設けられる表示部１、カメラ２、線光源３、及び線光源４等が接続され、これらの制御を行うようになっている。また、図２に示すように、ユーザインターフェース部１０に入力部５が設けられる場合、入力部５は、処理プロセッサ３１に接続される。上記入力部５で入力された情報は処理プロセッサ３１に供給されるようになっている。
【００１６】
また、上記処理プロセッサ３１は、特徴量抽出部３１ａ、情報生成部３１ｂ、なりすまし検知部３１ｃ、画像処理部３１ｄ、及び顔照合部３１ｅとしての機能を有している。これらの各機能は、上記プログラムメモリ３３に記憶されている制御用のプログラムを上記処理プロセッサ３１が実行することにより実現される。また、処理プロセッサ３１は、時間を計時するタイマ３１ｆを有しているものとする。
上記特徴量抽出部３１ａは、上記カメラ２で撮影した画像から顔の特徴量を抽出する処理を行う。上記情報生成部３１ｂは、上記カメラ２で撮影した画像に関する属性情報（撮影時間等）を生成するものである。上記なりすまし検知部３１ｃは、上記カメラ２で撮影した画像が他人になりすましたことを検知するものである。このなりすまし検知部３１ｃによるなりすまし検知処理については、後で詳細に説明する。
【００１７】
上記画像処理部３１ｄは、上記カメラ２で撮影した画像に対する画像処理を行う。この画像処理部３１ｄでは、例えば、上記カメラ２で撮影した画像に対して、顔領域を切り出す処理、画像濃度の補正処理、正規化処理、あるいは画像圧縮処理などの処理を行う。上記顔照合部３１ｅは、上記特徴量抽出部３１ａにより抽出された顔の特徴量と上記顔照合用辞書３８に記憶されている顔の特徴量との照合処理を行う。
上記ワークメモリ３２は、処理中の画像などを一時的に記憶するメモリである。上記プログラムメモリ３３は、制御用のプログラムなどが記憶されるメモリである。上記画像メモリ３４は、画像データを記憶するメモリである。この画像メモリ３４は、例えば、カメラ２で撮影され、上記キャプチャボード３５を介して処理部３０内に供給された顔画像を記憶する。上記キャプチャボード３５は、上記カメラ２で撮影された画像を処理部３０内に取り込む際のインターフェースである。
【００１８】
上記記録装置インターフェース３６は、上記記録装置３７及び上記顔照合用辞書（辞書）３８に対するデータの読出し、或は、書込みを行うものである。上記記録装置３７は、顔画像を記録するものである。上記顔照合用辞書（辞書）３８は、照合用の顔画像あるいは顔の特徴パターン（特徴量）が登録される記録装置である。
なお、上記記録装置３７及び顔照合用辞書３８は、処理部３０の外に設けられるようにしても良い。また、上記記録装置３７及び顔照合用辞書３８は、通信用のインターフェースを介して通信可能なネットワーク上の他の外部機器に設けられるようにしても良い。
【００１９】
上記無線通信ボード３９は、パーソナルコンピュータなどの監視員用の監視装置との通信を行うインターフェースである。なお、無線通信ボードの代りに上記管理装置と接続される有線での通信を行う通信ボードを用いても良い。上記ＬＡＮボード４０は、ＬＡＮ４２との接続する場合のインターフェースである。上記バス４１は、画像データなどを送受信するデータバスである。このバス４１は、上記処理プロセッサ３１、画像メモリ３４、キャプチャボード３５、記録装置インターフェース３６、無線通信ボード３９、及びＬＡＮボード４０に接続されている。
ここで、上記カメラ２は、通常の産業用カラーカメラ（ＣＣＤまたはＣＭＯＳイメージセンサを用いたビデオカメラ）を使用するものとする。この場合、上記キャプチャーボード３５は、ビデオ信号（アナログデータ）をディジタルデータに変換し（Ａ／Ｄ変換）、画像メモリ３４に送る（バッファリング）。これにより、上記処理プロセッサ３１は、上記画像メモリ３４に蓄積された画像データを上記ワークメモリ３２に順次取り込んで種々の処理を行う。
【００２０】
なお、上記記録装置３７に記録する顔画像がモノクロであっても良い場合、上記カメラ２はモノクロ画像を撮影するカメラであっても良い。また、上記カメラ２がＵＳＢ（ユニバーサル・シリアル・バス）インタフェースを備えている場合、上記キャプチャボード３５には、ＵＳＢインタフェースを持たせればよい。この場合、Ａ／Ｄ変換回路が不要となる。また、上記カメラ２がＩＥＥＥ１３９４などの他のディジタルインタフェースを備えている場合も、同様に、上記キャプチャボード３５には、対応するインタフェースをもたせればよい。
また、図５に示すように、ユーザインターフェース部１０がドアに設けられる場合、処理部３０には、上記ドアの開閉あるいはドアの施錠を開閉するドア制御機構が設けられる。このドア制御機構は、上記処理プロセッサ３１に接続される。これにより、図６に示すような顔画像記録装置をドアの開閉を制御する入退出管理システムに適用することが可能となる。
【００２１】
以下、上記のように構成される顔画像記録装置を用いた第１、第２の実施の形態について説明する。
まず、第１の実施の形態について説明する。
この第１の実施の形態では、上記のように構成された顔画像記録装置によってユーザの顔画像を履歴データとして蓄積しておくものである。なお、この第１の実施の形態では、顔画像記録装置が単独で設置可能である。このような顔画像記録装置は、顔画像を記録するという単機能なタイプであるためスタンドアロン・単機能タイプを呼ぶこととする。
【００２２】
図７、及び図８は、第１の実施の形態として、顔画像の記録処理の全体の流れを説明するためのフローチャートである。
まず、カメラ２が利用者の顔を撮影すると、キャプチャボード３５は、カメラ２からのカラーの顔画像（デジタルデータ）を順次画像メモリ３４に蓄積（バッファリング）する。処理プロセッサ３１は、画像メモリ３４にバッファリングされた各画像を順次ワークメモリ３２上に読み出す。処理プロセッサ３１は、上記ワークメモリ３２に読み出した画像に対して特徴量の抽出処理を行う。この特徴量の抽出処理により顔画像が抽出できた場合に、上記処理プロセッサ３１は、顔画像の記録処理を行う。
【００２３】
すなわち、処理プロセッサ３１は、まず、上記カメラ２で人物の顔を連続的に複数撮影する。上記カメラ２で撮影される複数のカラー画像は、順次画像メモリ３４に蓄積される（ステップＳ１）。この画像メモリ３４に蓄積された複数のカラー画像は、順次ワークメモリ３２に読み出される。上記ワークメモリ３２に画像を読み出す際、上記処理プロセッサ３１は、ワークメモリ３２の初期化を行う（ステップＳ２）。ワークメモリ３２の初期化は、処理プロセッサ３１がカウンタｉ，ｊの変数を０にセットし、記録バッファ（ワークメモリ上の記録領域）を空にすることにより行われる。ワークメモリ３２が初期化されると、処理プロセッサ３１は、画像メモリ３４から画像を読み出して、ワークメモリ３２に取込む（記憶）する（ステップＳ３）。この際、処理プロセッサ３１は、画像メモリ３４から画像を読み出すごとに、カウンタｉを＋１（ｉ＝ｉ＋１）する（ステップＳ４）。
【００２４】
ワークメモリ３２に画像を取り込むと、処理プロセッサ３１は、ワークメモリ３２に取り込んだ画像に対して特徴量の抽出処理を行う（ステップＳ５）。この特徴量の抽出処理については、後で詳細に説明する。上記特徴量の抽出処理により顔の特徴量が抽出できなかった場合（ステップＳ６、ＮＯ）、処理プロセッサ３１は、変数ｉの値が所定の値Ｍよりも大きいか否かを判断する（ステップＳ７）。
上記判断により変数ｉの値が所定の値Ｍ以下であると判断すると（ステップＳ７、ＮＯ）、処理プロセッサ３１は、上記ステップＳ３へ進み、次の画像をワークメモリ３２に取り込む。また、変数ｉの値が所定の値Ｍよりも大きいと判断した場合（ステップＳ７、ＹＥＳ）、処理プロセッサ３１は、顔画像の記録処理を打ち切る。顔画像の記録処理を打ち切ると、処理プロセッサ３１は、ユーザインターフェース部１０の表示部１あるいは図示しないスピーカなどにより顔画像の記録が失敗したことを利用者に報知する（ステップＳ８）。
【００２５】
ここで、上記変数ｉと比較される所定の値Ｍは、特徴量が抽出できなった顔画像の最大数を指定するものである。すなわち、上記カメラ２で撮影された複数の画像に対して所定の値Ｍ以上、連続して特徴量が抽出できなかった場合、顔の特徴量の抽出処理が打ち切られる。また、顔画像の記録処理を打ち切る基準は、上記カメラ２で撮影した画像の数ではなく、撮影した画像に対する処理時間を指定するようにしても良い。この場合、処理プロセッサは、上記カメラ２が当該人物に対する画像の撮影を開始してから所定時間内に顔の特徴量が抽出できた画像が無ければ処理を打ち切るようにする。
【００２６】
また、上記ステップＳ５で、顔の特徴量の抽出が成功した場合（ステップＳ６、ＹＥＳ）、処理プロセッサ３１は、当該画像に対する画像処理を行う（ステップＳ９）。この画像処理についは、後で詳細に説明する。上記画像処理が施された画像は、記録装置３７に記録される。この際、処理プロセッサ３１は、カウンタｊを＋１（ｊ＝ｊ＋１）する（ステップＳ１０）。
上記カウンタｊを＋１すると、処理プロセッサ３１は、ワークメモリ３２上に画像処理された画像を記憶する（ステップＳ１１）。処理プロセッサ３１は、画像処理された画像から「なりすまし」チェックを行う（ステップＳ１２）。この「なりすまし」チェックは、後で詳細に説明するが、写真などを用いて他人になりましていないかをチェックするものである。
この「なりすまし」チェックによってなりましでないと判断した場合（ステップＳ１３、ＮＯ）、処理プロセッサ３１は、変数ｊの値が所定の値Ｎと等しいか否かを判断する（ステップＳ１４）。この判断により変数ｊの値が所定の値Ｎと等しいと判断しなかった場合（ステップＳ１４、ＮＯ）、処理プロセッサ３１は、上記ステップＳ３へ戻り、画像メモリ３４に記憶されている次の画像に対する処理を行う。
【００２７】
ここで、上記変数ｊと比較される所定の値Ｎは、記録すべき画像の数を示す。つまり、上記所定の値Ｎは、記録用の画像とする特徴量が検出された画像の数を指定するものである。また、特徴量が検出された画像の数ではなく、上記カメラ２による画像の入力処理時間を指定するようにしても良い。すなわち、処理プロセッサ３１は、上記カメラ２で当該人物に対する撮影を開始してから所定時間内に、少なくとも１つの画像から顔の特徴量が検出された際に当該画像を記録する。
上記判断により変数ｊの値が所定の値Ｎと等しいと判断した場合（ステップＳ１４、ＹＥＳ）、処理プロセッサ３１は、画像に関する属性情報とともに、ワークメモリ３２上の画像を記録装置３７に記録する（ステップＳ１５）。上記属性情報は、画像を撮影したカメラ２あるいは顔画像記録装置を示すＩＤ番号、あるいは画像を撮影した時間などを示す情報である。また、上記入力部５等により個人ＩＤ情報が入力されている場合、属性情報には、個人ＩＤ情報が含まれる。
【００２８】
なお、上記属性情報の内容は、上記のように、当該画像を取り込んだ装置を示すＩＤ番号、当該画像の撮影時間、あるいは個人ＩＤ情報に限定されるものではない。上記属性情報は、記録される画像に対応する種々の数値やテキスト情報などの情報であり、用途に応じて内容が決定されるものである。
上記処理プロセッサ３１は、上記記録装置３７に画像及び属性情報を記録すると、表示部１に記録完了の旨を表示することにより顔画像の記録が完了したことを利用者に通知する（ステップＳ１６）。
【００２９】
次に、上記ステップＳ５の顔の特徴量（特徴点）の抽出処理について詳細に説明する。
図９は、顔の特徴量の抽出処理を説明するためのフローチャートである。
上記カメラ２では、１枚のみの画像（静止画）ではなく、一定時間間隔で複数の連続した画像、あるいは動画像を撮影する。これは、画像の入力条件（撮影条件）の変動を考慮して、複数の画像から良好な画質の画像を取り出すためである。上記カメラ２で撮影された画像は、キャプチャボード３５に送信される。上記キャプチャーボード３５は、カメラ２からの複数の画像を画像メモリ３４に順次バッファリングする。この画像メモリ３４にバッファリングされた画像は、順次、ワークメモリ３２上に読み出されて処理プロセッサ３１の制御による処理が施される（ステップＳ２１）。
【００３０】
特徴量の抽出処理において、処理プロセッサ３１は、まず、ワークメモリ３２上の顔画像（ディジタル化されたカラー画像）をモノクロ画像に変換する（ステップＳ２２）。このモノクロ画像に対しては、明るさ（濃淡）情報に基づいて特徴量が抽出される。なお、上記カメラ２がモノクロ画像を撮影する場合、上記ステップＳ２２は省略される。
すなわち、処理プロセッサ３１は、変換処理により得られたモノクロ画像に対して顔領域の候補を探索する（ステップＳ２３）。顔領域の候補が検出されると、処理プロセッサ３１は、顔領域内における顔の特徴量として、ほぼ、円形領域とみなせる瞳（黒目）領域及び鼻孔領域を検出する（ステップＳ２４）。これにより瞳（黒目）領域及び鼻孔領域が検出されると、処理プロセッサ３１は、瞳（黒目）領域の中心位置、及び鼻孔領域の中心位置を特徴量とする（ステップＳ２５）。従って、顔の特徴量は、瞳（黒目）領域の中心位置、及び鼻孔領域の中心位置などの特徴点の位置座標として検出される。
【００３１】
なお、ここでは、瞳及び鼻孔を特徴点として用いるようにしたが、唇の端点などの他の特徴点を用いるようにしても良いし、瞳だけを特徴点として用いるようにしても良い。
また、上記ステップＳ２３〜２５の処理は、「「動画像を用いた顔認識システム」、信学技法ＰＲＭＵ９７−５０、１９９７年６月；山口修、福井和広、前田賢一著」（文献１）、あるいは、「「形状抽出とパターン照合の組合せによる顔特徴点抽出」、信学論Ｄ−ＩＩ、Ｖｏｌ．Ｊ−８０−Ｄ−ＩＩ、Ｎｏ８、１９９７年８月;福井、山口著」（文献２）に記載されている方法を用いることができる。
【００３２】
次に、上記ステップＳ９における画像処理について説明する。
図１０は、顔の特徴量の抽出された画像に対する画像処理を説明するためのフローチャートである。上記ステップＳ５における顔の特徴点の抽出処理により顔の特徴量が抽出された場合、処理プロセッサ３１は、当該画像を上記記録装置３７に記録するための画像処理を行う。ここでは、画像処理として、顔領域の切り出し処理、正規化処理、濃度補正処理、及び圧縮処理を行うものとする。これらの処理は、プログラムメモリ３３に記憶されている制御プログラムに基づいて処理プロセッサ３１が実行するものとする。
【００３３】
まず、顔の特徴量の抽出処理により瞳及び鼻孔の中心位置の座標情報が特徴点として得られたとする。すると、処理プロセッサ３１は、当該画像を記録装置３７への記録すべき画像と判断し、当該画像に対する画像処理を行う。
すなわち、顔の特徴点の位置を示す座標情報が得られると（ステップＳ３１）、処理プロセッサ３１は、モノクロ画像に変換する前のもとのカラー画像に対して顔領域の切り出し処理を行う（ステップＳ３２）。この顔領域の切り出し処理では、上記処理プロセッサ３１が顔の特徴点の座標情報に基づいて上記カメラ２で撮影された画像から顔領域を切り出す。
【００３４】
顔領域を切り出すと、処理プロセッサ３１は、切り出した顔領域を所定の記録用の画像サイズに変換するための正規化処理を行う（ステップＳ３３）。この正規化処理により顔領域として切り出された画像データは、所定の画像サイズに変換される。
顔領域の画像を正規化すると、処理プロセッサ３１は、正規化された顔画像に対する濃度補正処理を行う（ステップＳ３４）。これにより所定の画像サイズに変換された顔領域の画像データは、濃度が補正される。この濃度が補正された画像は、記録用の顔画像となる。
【００３５】
記録用の顔画像を生成すると、処理プロセッサ３１は、記録用の顔画像を圧縮する圧縮処理を行う（ステップＳ３５）。この顔画像の圧縮処理は、記録装置３７の容量を節約して効率的に顔画像を記録するためのものである。この顔画像の圧縮処理では、例えば、国際標準のカラー静止画像の圧縮方式であるＪＰＥＧ方式が用いられる。なお、ＪＰＥＧ方式以外の圧縮方式を用いて圧縮処理を行っても良い。このような顔画像の圧縮処理により顔画像を所定の形式で圧縮すると、処理プロセッサ３１は、圧縮した顔画像を上記記録装置３７に記録する（ステップＳ３６）。
【００３６】
なお、上記のような画像処理の処理内容は、用途に応じて設定される。例えば、上記したような、顔領域の切り出し処理、大きさの正規化処理、濃度補正処理、画像データの圧縮処理などの処理は、必要に応じて選択的に採用されるものである。例えば、最も単純な処理としては、所定時間内に少なくとも１枚の画像から瞳が検知できた場合に、当該画像を撮影した状態のまま上記記録装置３７に記録すれば良い。
なお、上記例では、記録後の画像の見易さのため、カラー画像を記録用に用いたが、モノクロ画像を記録するようにしても良い。モノクロ画像を記録するようにした場合、カラーカメラを用いる必要はないので、上記カメラ２をモノクロカメラで構成するようにしても良い。
【００３７】
次に、上記ステップＳ１２における「なりすまし」の検知処理について説明する。
この「なりすまし」の検知処理では、例えば、他人の顔写真等を用いて他人になりすましていないかどうかを判断する処理である。「なりすまし」を検知する方法としては、種々の方法がある。ここでは、人物の動きを検知することにより、写真等による「なりすまし」を検知するものについて説明する。また、「なりすまし」の検知処理は、図７に示すフローチャートのような全体の処理のなかで、顔画像を記録する前に実行されるものである。さらに、ここでは、「なりすまし」の検知処理を行うために、ユーザに顔を任意または所定の方向（例えば、表示部１の表示画面上において指示する方向）に動かしてもらいその動きをカメラ２により動画あるいは連続画像（複数の画像）で撮影しているものとする。
【００３８】
図１１は、「なりすまし」の検知処理を詳細に説明するためのフローチャートである。図１１に示すように、処理プロセッサ３１は、あるユーザを撮影した複数の画像（時系列画像）からそれぞれの画像における顔の特徴点の位置座標を算出する。これにより、処理プロセッサ３１は、時系列の各画像から算出された特徴点に基づいて特徴点の座標系列を求める（ステップＳ１１１）。なお、この例では、顔の特徴点として、例えば、瞳の中心点、及び鼻孔の中心点の計４点の位置座標が用いられるものとする。
【００３９】
上記処理プロセッサ３１は、連続する２つの画像間でそれぞれ抽出されている特徴点どうしを対応づける。処理プロセッサ３１は、対応づけた２つの画像の特徴点どうしで位置の差（絶対値）を求める（ステップＳ１１２）。これにより、処理プロセッサ３１は、時系列画像において連続する２つの画像間で特徴点の位置の差を求める。
処理プロセッサ３１は、連続する画像間における特徴点の位置の差に基づいて、特徴点の上下の動きまたは左右の動きを検知する（ステップＳ１１３）。この検知により特徴点の上下の動きまたは左右の動きが検知できた場合（ステップＳ１１４、ＹＥＳ）、処理プロセッサ３１は、「なりすまし」で無いと判断する。このような判断により、処理プロセッサ３１は、被撮影者が他人になりすましていないことを確認し、「なりすまし」の検知処理を終了する（ステップＳ１１５）。
【００４０】
また、上記検知処理により特徴点の上下の動きまたは左右の動きが検知できなかった場合（ステップＳ１１４、ＮＯ）、処理プロセッサ３１は、「なりすまし」の可能性が有ると判断する（ステップＳ１１６）。このような判断により「なりすまし」の可能性があると判断すると、処理プロセッサ３１は、「なりすまし」の可能性がある被撮影者に対する処理を行う。
【００４１】
例えば、「なりすまし」と判断した場合の処理としては、以下のような処理が可能である。
（１）「なしすまし」と判断した旨を属性情報に記録する。
（２）監視員や管理センタ等に「なしすまし」の可能性がある旨を通報する（監視装置等により監視員に「なりすまし」の可能性がある旨を報知する）。
（３）入退出管理システムに適用される場合、被撮影者に対して入退室を拒否する。
これらの処理によって「なりすまし」に対する対策を講じることが可能となる。
なお、上記した「なりすまし」の検知処理の例では、瞳及び鼻孔の動きを検知して「なりすまし」を判断するようにしたが、以下のような方法でも、「なしすまし」を判断することが可能である。
（１）目の瞬きを検知する（例えば、瞳を検知することにより瞬きの有無を判断する）。
（２）口の動きを検知する（例えば、唇の端点の動きを検知することにより口の動きの有無を判断する）。
（３）音声（ユーザの声）を入力させ、ユーザの肉声に対応する顔画像を検知する処理と併用する（例えば、音声と顔画像とを同時に記録を行う）。
【００４２】
上記のように、撮影した複数の画像からユーザの動きを検知することにより、「なりすまし」であるか否かを判断し、「なりすまし」の可能性があると判断した場合、「なりすまし」に対する処理を行うようにしたものである。これにより、他人の顔写真などを用いた「なりすまし」に対して対策を講じることができ、「なしすまし」を防止あるいは抑制することができる。このように、ユーザに負担をかけることなく、セキュリティを向上させた顔画像記録装置を提供できる。
【００４３】
上記のように、第１の実施の形態では、一定の距離をおいて設置されたカメラからユーザのほぼ正面向きの時系列顔画像（複数の顔画像）を取り込み、画像処理によって自動的に最適な画像系列に加工及び編集して、一定品質以上の少なくとも１枚以上の顔の特徴点が抽出できた画像を収集し、当該画像を属性情報とともに記録装置に記録する（履歴を取る）ものである。つまり、この第１の実施の形態では、一定以上の良好な画質の顔画像を取り込んで履歴データとして記録していくことを特徴としている。さらに、一定以上の良好な画質の顔画像であるか否かは、瞳と鼻孔の４個の特徴点を自動的に検出できたか否かによって判断するようになっている。
これにより、ユーザの顔画像を履歴データとして記録しておくことができ、一定のセキュリティを保持ししつつ、ユーザの利便性が良い顔画像記録装置を提供できる。
【００４４】
また、第１の実施の形態では、上記のような顔画像の記録機能に加えて、顔画像を記録装置に記録する前に、顔写真などを用いて他人になりすましていないかをチェック（「なりすまし」の検知処理）する機能を有することを特徴とする。
また、「なりすまし」であるか否かを判断する方法は、例えば、カメラで撮影した時系列顔画像から顔の動きを検知（動画像解析）して、顔の動きが検知できれば「なりすまし」でないと判断し、顔の動きが検知できずに「なりすまし」の可能性があると判断する。また、「なりすまし」と判断した場合、「なりすまし」に対する対策として所定の処理を行う。これにより、「なりすまし」に対する適切な処理を行うことができ、顔写真等を用いて他人になりすますことを防止あるいは抑制でき、かつ、セキュリティレベルを向上できる。
【００４５】
次に、第２の実施の形態について説明する。
第２の実施の形態は、第１の実施の形態の変形例である。この第２の実施の形態は、図６に示すような構成の顔画像記録装置で実現される。第２の実施の形態では、図６に示す顔画像記録装置の構成において、顔照合用辞書３８に予め登録者の顔の特徴量が登録されているものとする。また、第２の実施の形態では、処理プロセッサ３１は、プログラムメモリ３３に記憶されている制御プログラムにより顔照合部３１ｅとして機能するものとする。
【００４６】
図１２及び図１３は、第２の実施の形態を説明するためのフローチャートである。図１２及び図１３に示す第２の実施の形態の処理は、図７及び図８で説明した第１の実施の形態の処理に顔画像の照合処理を加えたものである。すなわち、図１２及び図１３に示す処理のステップＳ４１〜ステップＳ５４は、図７及び図８に示す処理のステップＳ１〜ステップＳ１４と同様の処理である。このため、ステップＳ４１〜ステップＳ５４の処理については説明を省略する。
上記処理プロセッサ３１は、上記ステップＳ５４で、変数ｊがＮであると判断した場合、顔の特徴点が抽出できた画像について顔画像の照合処理を行う（ステップＳ５５）。この顔画像の照合処理については、後で詳細に説明する。この顔画像の照合処理の結果として上記カメラ２で撮影した人物が登録者であると判断した場合（ステップＳ５６、ＹＥＳ）、処理プロセッサ３１は、正常終了として処理を終了する。すなわち、顔照合処理によって被撮影者と予め顔照合用辞書３８に登録されている人物との照合が成功した場合、処理プロセッサ３１は、カメラ２で撮影した被撮影者の画像を記録しない。
【００４７】
また、上記カメラ２で撮影した被撮影者と登録者との照合が失敗した場合（ステップＳ５６、ＮＯ）、処理プロセッサ３１は、上記カメラ２で撮影した画像を記録装置３７に記録する（ステップＳ５７）。この際、処理プロセッサ３１は、上記カメラ２で撮影した画像とともに、画像の撮影時間あるいは画像を撮影したカメラ２あるいは顔画像記録装置を示すＩＤ番号などの属性情報を記録装置３７に記録する。このような記録装置３７への画像及び属性情報の記録が完了すると、処理プロセッサ３１は、表示部１に顔画像の記録が完了したことを示す案内を表示して処理を終了する（ステップＳ５８）。
【００４８】
次に、顔画像の照合処理について説明する。
図１４は、顔画像の照合処理を説明するためのフローチャートである。まず、処理プロセッサ３１は、顔画像の照合処理の対象とするＮ枚の画像をＮ枚のモノクロ画像（モノクロ画像系列）に変換する。このモノクロ画像への変換処理は、上記ステップＳ２２で得られたモノクロ画像を用いるようにしても良い。処理プロセッサ３１は、Ｎ枚のモノクロ画像系列の各画像に対して顔の特徴量（特徴点）を抽出する（ステップＳ６１）。この際、顔の特徴量は、複数個のＫ次元ベクトルとして求められる。
【００４９】
このようにして抽出された顔の特徴量を用いて、処理プロセッサ３１は、辞書３８への登録処理あるいは辞書３８に登録されている顔の特徴量との照合処理を選択的に行う。ここでは、辞書３８への登録処理を行うか照合処理を行うかが予め管理者により指定されているものとして説明する。なお、この装置の運用開始から予め設定した期間は登録処理を行い、上記設定された期間以降は照合処理を行うようにしても良し、ユーザからの指示に従って登録処理あるいは照合処理を行うようにしても良い。
【００５０】
まず、顔画像の登録処理を行う場合について説明する（ステップＳ６２、登録）。顔画像の登録処理を行う場合、処理プロセッサ３１は、抽出した特徴量を個人ＩＤ情報などの登録用の属性情報に対応させて辞書（登録リスト）３８に登録する（ステップＳ６３）。上記登録用の属性情報としては、個人を特定（識別）するための個人ＩＤ情報の他に、登録処理を行った装置を示す情報、あるいは登録処理を行った日時を示す情報などが用いられるものとする。また、個人を特定するための個人ＩＤ情報は、処理プロセッサ３１が割り当てるようにしても良いし、管理者あるいはユーザ自身が指定するようにして良い。これらの処理により、辞書３８への顔の特徴パターンの登録が完了する。
【００５１】
次に、照合処理を行う場合について説明する（ステップＳ６２、照合）。照合処理を行う場合、処理プロセッサ３１は、ユーザにより個人ＩＤ情報が入力されているか否かによって、１対多の照合処理を行うか１対１の照合処理を行うかを判断する（ステップＳ６４）。
例えば、照合処理を１対１（１：１照合）で行う場合、ユーザは、自分自身の個人ＩＤ情報を入力部５により入力する。処理プロセッサ３１は、ユーザが入力した個人ＩＤ情報によって、辞書３８に登録されている特徴パターンを検索する。すなわち、処理プロセッサ３１は、ユーザが入力した個人ＩＤ情報に対応する顔の特徴量を辞書３８から検索する。この検索処理により、処理プロセッサ３１は、辞書３８に登録されている個人ＩＤ情報に対応する顔の特徴量を読み出す。個人ＩＤ情報に対応する顔の特徴量を読み出すと、処理プロセッサ３１は、読み出した特徴量と上記ステップＳ６１で抽出した顔の特徴量との照合度を計算する（ステップＳ６５）。
【００５２】
また、照合処理を１対多（１：Ｎ照合）で行う場合、処理プロセッサ３１は、抽出した顔の特徴量と辞書３８に登録されている全ての顔の特徴量とを総当りで照合処理を行う。すなわち、処理プロセッサ３１は、抽出した顔の特徴量と辞書３８に登録されている全ての顔の特徴量との照合度（類似度）を計算する。処理プロセッサ３１は、照合度が最大値となった顔の特徴量に対応する個人ＩＤ情報と照合度の最大値とを照合度の算出結果とする（ステップＳ６６）。
このように、１対１あるいは１対多の照合処理により照合度が計算されると、処理プロセッサ３１は、算出された照合度と所定の閾値Ｓとを比較する（ステップＳ６７）。ここで、所定の閾値Ｓは、顔画像が辞書３８に登録されているものと照合されたか否かを判定する基準値である。なお、閾値Ｓは、運用者等により予め設定されるものである。また、１：１照合の場合の閾値と１：Ｎ照合の場合の閾値とは、同じ値であっても良いし、異なる値であっても良い。
上記ステップＳ６５或は上記ステップＳ６６で算出した照合度が所定の閾値未満であれば（ステップＳ６７、ＮＯ）、処理プロセッサ３１は、カメラ２で撮影した人物と辞書３８に登録されている人物との照合が失敗したと判定する。この判定に基づき、処理プロセッサ３１は、撮影された人物が登録者でない旨を上記表示部１等により報知する（ステップＳ６８）。
【００５３】
また、算出した照合度が所定の閾値以上であれば（ステップＳ６７、ＹＥＳ）、処理プロセッサ３１は、カメラ２で撮影した人物と辞書に登録されている人物との照合が成功したと判定する。この判定に基づき、処理プロセッサ３１は、照合が成功した旨を示す情報、照合度、あるいは個人ＩＤ情報などを表示部１等により報知する。
なお、上記したように照合処理は、撮影した画像から抽出した顔の特徴量と辞書に登録されている顔の特徴量とを照合することにより行われる。このため、登録者の顔の特徴量は、事前に辞書に登録しておくか、上記のような登録処理により辞書に登録しておくものである。
【００５４】
また、辞書には、個人の名前、個人ＩＤ情報などの属性情報に対応して、顔の特徴量としてのベクトル形式の顔特徴パターンデータが登録される。ここでの照合処理や登録処理は、例えば、上記文献１及び上記文献２の記載されている、顔の特徴量の抽出方法が適用できるものとする。
また、照合処理により本人であるか疑わしい（登録者との照合が失敗した）と判断された場合、属性情報として画像の撮影時刻、画像を撮影したカメラ２あるいは画像を取り込んだ装置を示すＩＤ番号、及び顔画像の照合度などを記録するようにする。これにより、効率的な顔画像の記録処理が行える。
【００５５】
また、上記した第２の実施の形態については、以下のような種々の変形例が可能である。
（１）第２の実施の形態を顔の照合結果に基づく入退出管理システムに適用する。これにより、顔画像の照合処理の結果に応じたユーザの入退出管理を行うとともに、登録者以外の人物（不審者）の顔画像のみを記録することができ、従来以上のセキュリティを実現できる。
【００５６】
（２）照合が不可となった場合に、顔画像記録装置が管理装置等へ通報するようにする。管理装置等へ通報は、例えば、上記無線通信ボード３９による管理装置等との通信により実現される。これにより、管理者よる不審者（登録されていない者）への監視が強化でき、セキュリティの向上が望める。
【００５７】
（３）照合結果に応じた処理を行わずに、単に、照合度を属性情報に加えて上記記録装置３７に記録するようにする。これにより、処理を簡素化できるとともに、後で記録された顔画像を分析することができ、セキュリティを向上させることが可能となる。
【００５８】
（４）不審者などの特定の人物の特徴量を事前に辞書に登録しておき、上記特定の人物と判定された場合に、顔画像記録装置が管理装置へ通報するようにする。すなわち、上記第２の実施の形態では、登録されていない人物に対して画像を記録するようにしたが、逆に、辞書に顔の特徴量が登録された不審者などの特定の人物との照合が成功した場合に、画像の記録、あるいは管理装置への通報などの処理を行うようする。この場合、特定の人物の顔の特徴量を辞書に登録しておけばよいので、辞書の記憶容量の節約あるいは照合処理の時間短縮などの効果を得ることができる。
【００５９】
上記のように、第２の実施の形態では、画像を記録する処理に顔照合処理を追加し、照合結果に基づき、上記カメラ２で撮影した画像を選択的に上記記録装置に記録するようにしたものである。これにより、上記記録装置への顔画像の記録処理を効率化することができる。これは、後で管理者がチェックした方が良い人物の顔画像のみを履歴情報とともに、上記記録装置へ記録しておくことができるからである。また、顔の照合処理で照合できなかった場合に、管理装置へ通報する機能を併用することでユーザの負担を増加させることなく、セキュリティレベルを上げられる。
【００６０】
また、上記第２の実施の形態を照合度に基づく入退出管理システムに適用することで、単に、照合度に応じて入退出を管理するだけの場合よりも、顔画像を記録することで、セキュリティレベルを向上できる。
また、照合処理で算出される照合度に対し、入退出の許可不許可を判定するための第１の閾値を設定しておき、さらに、画像を記録するか否かを判定するための第２の閾値を上記第１の閾値よりも高く設定しておくようにして良い。例えば、照合度が第１の閾値よりも低い場合、入退出管理システムは、入退出を不許可とし、画像を記録する。また、照合度が第１の閾値以上で、かつ、第２の閾値よりも低い場合、入退出管理システムは、入退出を許可し、画像を記録する。また、照合度が第２の閾値以上の場合、入退出管理システムは、画像を記録することなく、入退出を許可する。
【００６１】
このようにすれば、照合度の変動が大きい場合でも、安定した入退出を可能にするとともに、照合度の低い画像を記録することができる。これにより、環境変動が大きいため、照合度の大きく変動してしまう場合でも、一定のセキュリティレベルを維持しつつ、柔軟な入退出管理を実現でき、かつ、画像の記録処理を効率化できる。
【００６２】
次に、第３の実施の形態について説明する。
この第３の実施の形態では、上記第１の実施の形態あるいは第２の実施の形態の動作によって、顔画像記録装置の記録装置に記録された顔画像に対する検索処理、表示処理、辞書への登録処理、及び辞書の更新処理を行うものである。従って、以下の説明では、記録装置３７に顔画像が属性情報とともに記録されているものとする。
図１５は、第３の実施の形態に係る顔画像記録装置の概略構成を示す図である。図１５に示す第３の実施の形態の顔画像記録装置は、図６に示す第１の実施の形態の顔画像記録装置にＬＡＮ４２を介して保守用のパーソナルコンピュータ（保守パソコン）４３を接続した構成となっている。図１５に示す顔画像記録装置の保守パソコン以外の構成は、図６に示す構成と同様であるため、説明を省略する。
【００６３】
上記保守パソコン４３は、顔画像記録装置のＬＡＮボード４０によりＬＡＮ４２を介して通信を行うようになっている。この保守パソコン４３は、上記記録装置３７に記録している顔画像（履歴データ）を検索したり、検索結果としての顔画像を表示したりするものである。
この保守パソコン４３は、顔画像記録装置に常時接続する必要はなく、必要に応じて上記顔画像記録装置にアクセスするようにしても良い。また、保守パソコン４３を用いずに、顔画像記録装置本体に後述する保守パソコン４３の各構成を設けて、後述する検索処理及び表示処理を行うようにしても良い。また、保守パソコン４３は、ＬＡＮ４２を介して接続するようにしたが、直接、上記顔画像記録装置に接続するようにしても良い。
【００６４】
また、保守パソコン４３は、図１５に示すように、制御部５１、操作部５２、表示部５３、ＬＡＮボード５４、およびメモリ部５５などを有している。上記制御部５１は、保守パソコン４３全体の制御を司る。この制御部５１は、後述する検索処理及び表示処理を行う機能を有している。上記操作部５２は、ユーザによる指示が入力される。上記表示部５３は、上記顔画像記録装置の記録装置３７に記録されている顔画像などが表示される。上記ＬＡＮボード５４は、ＬＡＮ４２と接続するインターフェースであり、このＬＡＮボード５４によりＬＡＮ４２を介して上記顔画像記録装置と通信を行う。上記メモリ部５５は、ＲＡＭ、ＲＯＭ、ＨＤＤなどから構成され、画像データあるいは制御データなどを記憶する。
【００６５】
次に、顔画像の検索及び表示処理（人物チェック）について説明する。
図１６は、顔画像の検索処理を説明するためのフローチャートである。
まず、オペレータ（管理者）は、保守パソコン４３の操作部５２にて、検索対象とする顔画像の検索条件（記録した期間、記録した装置を示すＩＤ番号、あるいは個人ＩＤ情報など）を指定する（ステップＳ７１）。この検索条件の指定動作は、保守パソコン４３のオペレータが表示部５３に表示される案内に従って、対話形式で検索条件を入力することにより行われる。
検索条件が指定されると、制御部５１は、上記ＬＡＮ４２を介して上記顔画像記録装置へ指定された検索条件を送信する。すると、上記顔画像記録装置の処理プロセッサ３１は、記録装置３７にアクセスし、検索条件を満たす顔画像を検索する（ステップＳ７２）。上記検索条件を満たす顔画像が検索されると、処理プロセッサ３１は、上記属性情報に基づいて検索された顔画像に対する照合用の辞書３８が既に作成されているか否かを判断する（ステップＳ７３）。なお、属性情報に照合用の辞書３８の有無を示す情報が含まれていない場合、処理プロセッサ３１は、上記オペレータによる指示に基づいて照合用の辞書３８の有無を判断する。
【００６６】
上記照合用の辞書３８が作成されていない場合（ステップＳ７３、ＮＯ）、上記処理プロセッサ３１は、上記検索条件に合致する顔画像を記録装置３７から順番に読み出して上記保守パソコン４３へ送る。保守パソコン４３では、顔画像記録装置から送られる顔画像を順番に上記表示部５３に表示させる。この際、上記表示部５３には、顔画像に対する個人ＩＤ情報を入力する旨をオペレータに案内する画面が表示される。この案内に基づいて、オペレータは、顔画像に対応する個人ＩＤ情報を上記操作部５２により入力する。この入力された個人ＩＤ情報は、ＬＡＮ４２を介して顔画像記録装置へ送信される（ステップＳ７４）。
【００６７】
各顔画像に対して入力された個人ＩＤ情報を保守パソコン４３から受取ると、処理プロセッサ３１は、同一の個人ＩＤ情報となる顔画像を集めて、それらの画像（同一の画像系列）から顔の特徴量を算出する。これによって算出された同一の画像系列に対する顔の特徴量は、当該個人ＩＤ情報に対応する顔の特徴量として照合用辞書３８に登録される（ステップＳ７５）。このような顔の特徴量の算出処理と照合用辞書３８への登録処理とが検索された全ての画像系列に対して行われると、照合用辞書３８への顔の特徴量の登録を終了する（ステップＳ７６）。
また、上記照合用辞書３８が既に作成されている場合（ステップＳ７３、ＹＥＳ）、上記処理プロセッサ３１は、検索された各顔画像と予め照合用辞書３８に登録されている顔の特徴量との照合度を算出する（ステップＳ７７）。ただし、顔画像の記録時に顔画像の照合処理を行っており、かつ、照合処理による照合度の算出結果が属性情報に含まれている場合、処理プロセッサ３１は、上記記録装置３７に記録されている属性情報から照合度を読み出す。
【００６８】
さらに、処理プロセッサ３１は、保守パソコン４３に照合度の閾値の上限（上限値）と下限（下限値）とを指定する旨を保守パソコン４３に要求する。保守パソコン４３の制御部５１では、保守パソコン４３のオペレータに対して照合度の閾値の上限と下限とを入力する旨の案内を上記表示部５３に表示する。このような案内に従って、オペレータは、対話的に照合度の閾値の上限と下限とを指定する（ステップＳ７８）。
これらの閾値の上限と下限とは、オペレータがチェックの対象とする照合度の範囲を指定するものである。つまり、照合度が上限値以下、かつ、下限値以上のものがチェック対象となる。これは、照合度が上限値以上であれば、上記顔画像と一致したと見なしてチェック対象とはせず、また、照合度が下限値以下であれば、上記顔画像とは異なると判定してチェック対象とから除外するものである。
これにより、オペレータが指定する閾値の上限値と下限値との間の照合度の顔画像を対象としてオペレータが顔画像をチェックするようになる。また、この際、上限値を＋無限大とすれば、下限値以上のものが全てチェック対象となり、下限値を−無限大（０）と指定すれば、上限値以下のものが全てチェック対象となる。
【００６９】
オペレータが照合度の閾値の上限と下限とを指定すると、保守パソコン４３の制御部５１は、指定された閾値の上限と下限とを顔画像記録装置へ送信する。この照合度の閾値の上限と下限とを受信すると、顔画像記録装置の処理プロセッサ３１は、上記ステップＳ７７で算出した照合度が指定された閾値の上限と下限との間にあるか否かを判断する。
この判断に基づいて処理プロセッサ３１は、上限値以上で、かつ、下限値以下の照合度の顔画像を順番に保守パソコン４３に送信する。保守パソコン４３では、顔画像記録装置から送られる顔画像を順番に上記表示部５３に表示させる（ステップＳ７９）。
これにより、オペレータがチェックする対象の顔画像が表示部５３に表示されるようになる。この表示部５３に表示される画像に対しては、オペレータによる操作とオペレータの操作に応じて表示部５３に表示される案内によって対話的に種々の処理が実行される（ステップＳ８０）。
【００７０】
図１７は、上記ステップＳ８０における処理の例として、特定の個人ＩＤ情報に対する照合処理の処理結果としての照合度を時間経過に対応させて表示させた例である。すなわち、上記ステップＳ７１で、オペレータが検索条件として個人ＩＤ情報を指定すると、指定された個人ＩＤ情報に対応する照合用の辞書３８が既に作成されていれば、検索条件に合致する顔画像と照合用の辞書３８との照合処理が行われる。
この際、保守パソコン４３は、検索対象とする照合度の閾値の上限と下限とを指定する。これにより、処理プロセッサ３１は、照合処理の結果として得られた照合度が上限と下限との間になった顔画像を属性情報とともに保守パソコン４３へ送信する。これにより、保守パソコン４３では、指定した範囲の照合度を有する全ての顔画像と、それらの顔画像の記録時間を含む属性情報とを得る。これらの情報により保守パソコン４３では、特定の個人における照合度と記録時間とを対応させたグラフが表示できる。
【００７１】
例えば、照合度は、０〜１００までの整数値をとるものとし、閾値の上限を１００（＋無限大）とし、下限を８０とすると、照合処理の結果としては、指定された個人ＩＤ情報に対応する全ての顔画像のうち照合度が８０以上の顔画像に対する照合度が得られる。さらに、顔画像に対応する属性情報に記録した時間（日時）が記録されていれば、保守パソコン４３の表示部５３には、図１７に示すような時間経過に対する照合度の推移を表したグラフを表示（作成）できる。
このようなグラフによれば、いつ頃、照合度が落ちたか、照合度がいつ頃回復したかが一目で判別できる。例えば、ユーザが髪型を替えた場合、あるいは、体調が崩れた場合、照合度の低下が予想される。これにより、図１７に示すようなグラフによってユーザの状態を判断できる。すなわち、特定のユーザに対する照合度の変化が確認できるので、健康状態の推移、あるいは生活習慣の変化などのユーザにおきた変化を判定したり、予測したりすることができる。
【００７２】
次に、指定された検索条件の顔画像による辞書３８の更新処理について説明する。
図１８は、指定された検索条件の顔画像による辞書３８の更新処理の動作例を説明するためのフローチャートである。図１８に示すフローチャートでは、図１６に示すフローチャートの動作で検索された顔画像に基づいて、辞書３８の更新を行う動作を示している。すなわち、図１８に示すステップＳ９１〜ステップＳ９９の動作は、図１６に示すステップＳ７１〜ステップＳ７９の動作と同様である。また、図１８に示すステップＳ１００〜ステップＳ１０２は、図１６に示すステップＳ８０における処理の一例として辞書３８の更新処理を行うものである。
【００７３】
従って、ステップＳ９１〜ステップＳ９９についての説明を省略し、ステップＳ１００〜ステップＳ１０２の動作について説明する。
上記ステップＳ９９では、上記ステップＳ７９と同様に、保守パソコン４３の表示部５３にオペレータが指定した範囲（閾値の上限と下限との間）の照合度の顔画像を順番に表示する。さらに、制御部５１は、オペレータの操作に基づいて照合度の最大値（最大類似度）を与える個人ＩＤ情報を表示部５３に表示する。
【００７４】
この表示によりオペレータは、最大類似度を与える顔画像の個人ＩＤ情報が正しいか否かを判断する。この判断により個人ＩＤ情報が正しくないと判断した場合、オペレータは、制御部５１の制御により表示部５３に表示される案内に従って対話的に正しい個人ＩＤ情報を入力する（ステップＳ１００）。また、個人ＩＤ情報が正しいとオペレータが判断した場合、オペレータの操作に基づいて、制御部５１は、上記表示部５３に表示した個人ＩＤ情報に対応する顔の特徴量の更新処理（辞書３８の更新処理）へ進む。これらの動作によって最大類似度を与える顔画像の正しい個人ＩＤ情報がオペレータにより決定される。
【００７５】
正しい個人ＩＤ情報が決定されると、制御部５１は、当該顔画像に対する正しい個人ＩＤ情報を顔画像記録装置へ送信する。保守パソコン４３から正しい個人ＩＤ情報が通知されると、処理プロセッサ３１は、最大の照合度（最大類似度）を与える顔画像から照合用の辞書３８に登録するための顔の特徴量を算出する。顔の特徴量を算出すると、処理プロセッサ３１は、算出した顔の特徴量を保守パソコン４３から通知された個人ＩＤ情報に対応させて辞書３８に記録する（ステップＳ１０１）。
【００７６】
ここで、上記個人ＩＤ情報に対応する顔の特徴量が既に辞書３８に存在している場合、処理プロセッサ３１は、上記個人ＩＤ情報に対応する顔の特徴量を書き換えることにより辞書３８の更新処理を行う。また、上記個人ＩＤ情報に対応する顔の特徴量が辞書３８に存在しない場合、処理プロセッサ３１は、上記個人ＩＤ情報に対応する顔の特徴量を新たに辞書３８に書き加えることにより辞書３８の更新（新規登録）処理を行う。
辞書３８の更新処理が完了すると（ステップＳ１０２）、処理プロセッサ３１は、辞書３８の更新が完了した旨を保守パソコン４３へ通知する。この通知を受けた保守パソコン４３の制御部５１は、辞書３８の更新が完了した旨を表示部５３に表示し、処理を終了する。このように、保守パソコン４３でのオペレータの操作のみで記録装置３７に蓄積（記録）されている顔画像による辞書３８の更新処理が可能となる。
【００７７】
上記のように、第３の実施の形態では、オペレータが指定する検索条件に基づいて記録装置に記録されている顔画像を検索することができる。従って、所望の検索条件に一致する顔画像のみを記録装置から読み出したり、読み出した顔画像による種々の処理が可能となる。例えば、個人ＩＤ情報を指定して個人ＩＤ情報に対応する顔画像を検索し、この顔画像に対する記録時間などの属性情報をもとに順番に顔画像を表示させることができる。
【００７８】
また、オペレータが指定する検索条件に基づいて検索された顔画像に対しては、以下のような動作が可能である。
（１）既に顔照合用の辞書が用意されている場合、１対多の照合を行いながら最大照合度が低い顔画像（検索された顔画像）のみをチェックする。これにより、照合度の低い不審者と思われる人物を効率良くチェックできる。また、事前に顔照合用の辞書が用意されていない場合、記録時間などの属性情報をもとに順番に顔画像を検索して表示し、ユーザに対して対話的に個人ＩＤ情報を指定させ、顔照合用の辞書への登録あるいは修正を行う。これにより、顔照合用の辞書への登録あるいは更新用に、別途、顔画像を撮影する必要がなく、利便性が向上する。
【００７９】
（２）記録装置に記録されている顔画像の属性情報に個人ＩＤ情報が含まれている場合、個人ＩＤ情報を検索情報に指定し、同一の個人ＩＤ情報の顔画像を検索して個人ごとの照合用の辞書の新規作成または更新を行う。これにより、照合用の辞書に登録されている顔パターンを新規登録あるいは更新を別途行う必要がなくなる。
（３）記録装置に記録されている顔画像の属性情報に個人ＩＤ情報が含まれている場合、個人ＩＤ情報を検索情報に指定し、同一の個人ＩＤ情報の顔画像を検索して検索された顔画像の属性情報に基づいて、個人ごとの顔画像の記録状況をグラフなどにより表示する。これにより、個人ごとの顔画像の記録状況（利用状況）をオペレータが管理しやすい。また、この第３の実施の形態が入退出管理システムに適用される場合、個人ごとの入退出動作をグラフ表示などでトレースすることができる。
【００８０】
（４）記録装置に記録されている顔画像の属性情報に個人ＩＤ情報が含まれている場合、個人ＩＤ情報を検索情報に指定し、同一の個人ＩＤ情報の顔画像を検索して検索された顔画像の属性情報に基づいて、個人ごとの照合度の変化を示すグラフを表示する。これにより、個人ごとに照合度の経時変化などがトレースでき、さらに、顔の特徴量の変動情報によって、ユーザの健康状態の推移などのユーザの変化を推測できる。
（５）不審者などの顔画像を新たに提示し、その人物に高い照合度をもつ顔画像を記録装置に記録されている顔画像から検索して属性情報とともに表示する。これにより、特定の人物のみを顔画像を用いて検索することができ、不審者の絞り込み、不審者の行動の分析などを行うことが容易にできる。
上記のように、第３の実施の形態では、通常の運用として上記第１、第２の実施の形態のように顔画像を履歴データとして記録装置に記録しながら、さらに、管理者が指定可能な検索条件に一致する顔画像のみを記録装置から検索したり、表示させたりすることを特徴とする。
【００８１】
すなわち、第３の実施の形態では、照合用の顔の特徴量が辞書に登録されている場合、１対多の照合を行いながら「不審者」（最大照合度が低い人）のみを効率良くチェックできることを特徴としている。この特徴によれば、ユーザの利便性を損なうこなく、管理者が「不審者」のみを効率良くチェックすることができ、セキュリティのレベルを向上できる。
また、第３の実施の形態では、第３の実施の形態では、通常の運用として上記第１、第２の実施の形態のように顔画像を履歴データとして記録装置に記録しながら、さらに、上記記録装置に記録された顔画像を用いて照合用の辞書に顔の特徴量を新規登録したり、ユーザの顔の特徴量の経時変化に対応するための照合用辞書に登録されている顔の特徴量の更新を行うことを特徴としている。
【００８２】
すなわち、辞書に顔の特徴量が登録されていない場合、顔画像を記録した時間などの属性情報をもとに順番に顔画像を検索表示させて、管理者が対話的に個人ＩＤ情報を教示することにより、照合用の顔の特徴量の新規登録を行う。これにより、照合用の顔の特徴量の新規登録を効率良く、かつ、ユーザの負担にならずに行うことができる。
また、すでに顔の特徴量が辞書に登録されている場合、同一の個人ＩＤ情報の顔画像を検索して集め、各個人ごとの顔照合用の顔の特徴量を算出し、辞書に登録されている顔の特徴パターンを更新する。これにより、ユーザに負担をかけずに照合結果による辞書の修正が可能となり、照合用の顔の顔の特徴量の更新を効率良く行える。
【００８３】
次に、第４の実施の形態について説明する。
第４の実施の形態は、上記第１、第２、第３の実施の形態で説明した処理に顔照合以外の他の本人確認方法を組み合わせるものである。この第４の実施の形態では、上記第１、第２、第３の実施の形態で説明した顔画像記録装置に、ＩＤカードによる本人確認方法あるいは顔照合以外の他のバイオメトリクスによる本人確認方法を組み合わせる（併用する）場合について説明する。
なお、ここでは、この第４の実施の形態のように、顔画像の記録とともに、他の本人確認方法により本人確認を行うものをスタンドアロン・組合せタイプと呼ぶ。また、顔画像は、顔画像以外の本人確認方法にて不審者と判定された場合にのみ、記録装置で記録するようにしても良いし、顔画像以外の本人確認方法の確認結果に係らずに全ての顔画像を確認のために記録装置で記録するようにしても良い。
【００８４】
図１９は、顔画像記録装置６１にカードリーダ６２を接続した場合の構成例を示す図である。なお、顔画像記録装置６１の構成は、図６或は図１５に示す構成と同様であるため、詳細な説明を省略する。
図１９に示す構成例では、図２に示すようなテンキーなどの入力部５を有するユーザインターフェース部１０の顔画像記録装置６１に適用される。この場合、上記入力部５では、ＩＤカードを読み出す際に用いられる暗証番号の入力が行われる。このような構成の顔画像記録装置６１では、まず、ユーザがカメラ２により顔の画像を撮影されるとともに、ユーザにより入力部５にて暗証番号が入力される。さらに、ＩＤカードが接触式の記録媒体であれば、ユーザは、ＩＤカードをカードリーダ６２に挿入する。また、ＩＤカードが無線カードで、かつ、カードリーダ６２が無線カードリーダである場合、ユーザは、ＩＤカードをカードリーダ６２に挿入する必要がなく、暗証番号の入力のみで良い。
【００８５】
処理プロセッサ３１は、まず、ユーザの所持するＩＤカードに記録されている暗証番号をカードリーダ６２により読取る。カードリーダ６２がＩＤカードに記録されている暗証番号を読取ると、処理プロセッサ３１は、ユーザにより入力された暗証番号がカードリーダが読み出した暗証番号と一致するか否かによって本人であるか否かを確認する。この際、暗証番号が不一致となり、本人であることが確認できなかった場合、不審者と判断する。不審者と判断した場合は、上記「なりすまし」と判定された場合と同様に、所定の動作を行う。
【００８６】
また、暗証番号が一致して本人であることを確認した場合、処理プロセッサ３１は、カードリーダ６２によりＩＤカードから個人ＩＤ情報を読み出す。これ以降の処理は、図７、図８あるいは図１２、図１３に示すフローチャートに示す動作と同様な動作が行われる。なお、顔照合を行う場合は、個人ＩＤ情報に対応する顔の特徴パターンを辞書３８から読み出して、カメラ２で撮影した画像から得られる顔の特徴パターンとの１対１の照合を行う。但し、不審者などの特定の人物をチェックする場合は、１対多の顔照合となる。
【００８７】
図２０は、顔画像記録装置６４に顔照合以外のバイオメトリクス認証装置６５を接続した場合の構成例を示す図である。ここで、バイオメトリクス認証装置６５は、バイオメトリクス（生体情報）による本人確認として、指紋、声紋、サイン、眼の網膜や虹彩（アイリス）、あるいは手の甲の静脈パターンなどを用いた照合処理を行う。なお、図２０に示す顔画像記録装置６４の構成は、図６或は図１５に示す構成と同様であるため、詳細な説明を省略する。
【００８８】
図２０に示す構成例は、図１あるいは図２に示すようなユーザインターフェース部１０の顔画像記録装置に適用される。このような構成の顔画像記録装置６４では、まず、ユーザがカメラ２により顔の画像を撮影されるとともに、バイオメトリクス認証装置６５にてユーザの生体情報が読取られる。バイオメトリクス認証装置６５では、読取ったユーザの生体情報と予め登録されている生体情報との照合を行うことにより個人を特定し、個人ＩＤ情報を読み出す。このような動作により個人ＩＤ情報を読み出した後は、図７、図８あるいは図１２、図１３に示すフローチャートに示す動作と同様な動作が行われる。
【００８９】
上記のように、この第４の実施の形態では、上記第１、第２あるいは第３の実施の形態の顔画像記録装置と他の本人確認方法と組合わせたことを特徴とする。これにより、セキュリティレベルを高めることが可能である。
また、第４の実施の形態では、ＩＤカードとバイオメトリクス認証装置といったように、多重に本人認証を組み合わせる（２個以上の本人認証と顔画像の記録）ことも可能である。この場合、本人認証を多重に組み合わせることにより、必要に応じてセキュリティレベルを高めることが可能である。
【００９０】
次に、第５の実施の形態について説明する。
この第５の実施の形態では、顔画像記録装置をネットワークに接続した顔画像記録システムについて説明する。
図２１は、第５の実施の形態としての顔画像記録システムの構成例を示す。この顔画像記録システムは、図２１に示すように、複数の顔画像記録装置（７１ａ、７１ｂ、…、７１ｎ）と管理サーバ８０とがネットワーク７２を介して接続されている。
各顔画像記録装置７１ａ、７１ｂ、…、７１ｎは、第１〜第４の実施の形態の顔画像記録装置と同様な機能を持つ装置である。また、各顔画像記録装置７１ａ、７１ｂ、…、７１ｎの構成は、図６或は図１５に示す構成と同様であるため、詳細な説明を省略する。上記ネットワーク７２は、ＬＡＮまたはインターネットなどのネットワークである。
【００９１】
上記管理サーバ８０は、パーソナルコンピュータなどで構成される。上記管理サーバ８０は、例えば、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）で撮影した画像を監視する監視センタなどに設置されるものである。上記管理サーバ８０は、顔画像の記録、検索、表示等の処理が可能である。上記管理サーバ８０は、例えば、上記管理サーバ８０は、制御部８１、表示部８２、操作部８３、検索部８４、通信部８５、顔画像履歴データベース（ＤＢ）８６、及び照合用辞書８７などを有している。
【００９２】
上記制御部８１は、管理サーバ８０全体の制御を司る。上記表示部８２は、表示装置により構成される。上記表示部８２は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）のカメラ２で撮影した画像などを表示する。上記操作部８３は、キーボード或はマウス等の入力装置により構成される。上記操作部８３は、管理サーバ８０を操作する監視員により各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）の動作モードの指示などが入力される。上記検索部８４は、指定された検索条件と一致する画像を顔画像履歴ＤＢ８６に記録されている画像からを検索するものである。上記通信部８５は、上記ネットワーク７２に接続するためのネットワークインターフェースである。上記顔画像履歴ＤＢ８６は、上記記録装置３７と同様な構成である。この顔画像履歴ＤＢ８６は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）からネットワークを介して送信された画像を属性情報とともに記録する。上記照合用辞書８７は、上記辞書３８と同様な構成である。上記照合用辞書８７は、人物の顔の特徴量などが記録される。
【００９３】
上記のように構成される顔画像記録システムでは、監視センタ等に設置された管理サーバ８０で複数箇所に設置された顔画像記録装置を集中管理するようになっている。つまり、遠隔地の監視センタに設置された管理サーバ８０は、複数箇所に設置された各顔画像記録装置を集中して監視できるようになっている。
この顔画像記録システムの各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）は、上記第１、第２の実施の形態のように上記カメラ２で撮影した顔画像を顔画像記録装置内の記録装置に記録する代わりに、ネットワーク７２を介して顔画像を管理サーバ８０へ伝送する。上記管理サーバ８０は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）からの顔画像を表示部８２に表示して集中的にモニタリングする。これにより、遠隔地の監視員は、管理サーバ８０により複数の顔画像記録装置で撮影した画像を監視できる。なお、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）は、顔画像を管理サーバ８０に送信するとともに、記録装置３７にも記録するようにしても良い。これにより、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）でも顔画像の履歴を確認することが可能となる。
【００９４】
さらに、上記管理サーバ８０は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）から伝送された顔画像を必要に応じて顔画像履歴ＤＢ８６に記録する。例えば、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）から顔画像とともに当該人物が不審者である旨が通知された場合、管理サーバ８０は、顔画像を顔画像履歴ＤＢ８６に記録する。また、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）から顔画像とともに当該人物が不審者である旨が通知された場合、上記管理サーバ８０は、監視員の操作に応じて顔画像を顔画像履歴ＤＢ８６に記録するようにしても良い。
【００９５】
さらに、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）が種々の動作モードを有している場合、上記管理サーバ８０は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）の動作モードを切り換えられるようにしても良い。例えば、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）が、システム動作モードと端末動作モードとを有しているものとする。これらの種々の動作モードは、監視員の操作に基づく上記管理サーバ８０からの指示により切り変える。
【００９６】
上記システム動作モードは、管理サーバ８０が顔画像記録システム内の各顔画像記録装置を集中して管理する動作モードである。上記システム動作モードは、例えば、管理サーバ７３が設置された監視センタに監視員が居る場合などに設定される。つまり、上記システム動作モードは、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）で撮影した顔画像を管理サーバ８０で集中管理する場合に設定される。このシステム動作モードは、管理サーバ８０が各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）にシステム動作モードを指示することにより実現される。
【００９７】
上記端末動作モードは、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）がそれぞれ単独で動作し、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）が顔画像をそれぞれ記録する動作モードである。この端末動作モードは、例えば、管理サーバ８０が設置された監視センタに監視員が居ない場合などに設定される。つまり、上記端末動作モードは、管理サーバ８０が各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）で撮影した顔画像を集中管理せずに、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）が画像を記録する場合に設定される。上記端末動作モードは、管理サーバ８０が各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）へ端末動作モードを指示することにより実行される。
【００９８】
また、上記管理サーバ８０は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）に、端末動作モード或はシステム動作モードをそれぞれ指示するようにしても良い。例えば、監視員が特定の顔画像記録装置だけを集中監視したい場合、管理サーバ８０は、監視員の操作に応じて集中監視すべき顔画像記録装置にシステム動作モードを指示し、それ以外の顔画像記録装置に端末動作モードを指示する。これにより、監視員が集中して監視したい顔画像記録装置で撮影した画像のみを監視することが可能となる。
【００９９】
また、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）は、第２の実施の形態と同様に、カメラ２にて撮影した画像に対して、１：１又は１：Ｎの照合処理が行われる。このような各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）の照合処理で照合が失敗した場合、あるいは、なりすましを検知した場合、顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）は、上記カメラ２にて撮影した画像を上記管理サーバ８０へ送信する。これにより、上記管理サーバ８０は、各顔画像記録装置（７１ａ、７１ｂ、…７１ｎ）で顔照合が失敗した画像、あるいは、なりすましが検知された画像を上記顔画像履歴ＤＢ８６に記録することができる。
【０１００】
なお、各顔画像記録装置では、図６或は図１５に示すような各顔画像記録装置内の設けられた照合用辞書３８を用いて照合処理を行っても良いし、管理サーバ７３に接続されている照合用辞書８７を用いて照合処理を行っても良い。
また、上記顔画像記録システムは、入退出管理システムに適用できる。例えば、各顔画像記録装置に入退出制御部が接続される場合、各顔画像記録装置は、入退出制御部により人物の入退出を制御できる。このように各顔画像記録装置が構成される場合、上記管理サーバ８０が、各顔画像記録装置に入退出の許可を指示する。
【０１０１】
すなわち、上記管理サーバ８０には、上記システム動作モードの各顔画像記録装置のカメラ２で撮影した画像が表示部８２に表示される。上記管理サーバ８０の監視員は、表示部８２に表示された画像を見て当該人物の入退出の許可不許可を判断する。この判断に基づいて監視員が操作部８３で当該人物の入退出の許可不許可を指示すると、上記管理サーバ８０は、監視員の指示に応じて各顔画像記録装置に当該人物の入退出の許可不許可を指示する。この管理サーバ８０からの指示に従って、各顔画像記録装置は、上記入退出制御部により入退出を制御する。これにより、第５の実施の形態の顔画像記録システムを入退出管理システムに適用することが可能となる。
【０１０２】
上記のように、第５の実施の形態では、複数箇所に設置された複数の顔画像記録装置と管理サーバとをネットワークで接続し、各顔画像記録装置の動作を上記管理サーバで集中管理（監視）するようにする。すなわち、複数の顔画像記録装置で撮影した画像を管理サーバでのモニタリングすることにより、監視員が集中監視でき、複数の顔画像記録装置を効率良く管理できる。
また、履歴データとしての顔画像を個々の顔画像記録装置で分散的に蓄積（記録）する動作モードと、各顔画像記録装置からの顔画像を管理サーバに集めて、１箇所で管理及び蓄積（記録）する動作モードとの切り換え手段を管理サーバに設ける。これにより、システムの運用状況に応じた各顔画像記録装置の管理が可能となり、管理者側の利便性が向上する。
【０１０３】
次に、第６の実施の形態について説明する。
この第６の実施の形態は、ネットワークに接続された情報端末（パソコン、携帯電話等）及び管理サーバなどで構成される情報管理システムである。
図２２は、この第６の実施の形態の情報管理システムの構成例を概略的に示すものである。すなわち、図２２に示すように、この情報管理システムは、情報端末（９０ａ、９０ｂ、…、９０ｎ）と管理サーバ１００とがネットワーク９６を介して接続される。また、各情報端末（９０ａ、９０ｂ、…、９０ｎ）は、例えば、パーソナルコンピュータ（ＰＣ）あるいは携帯電話などの情報端末などで構成される。各情報端末（９０ａ、９０ｂ、…、９０ｎ）は、上記第１、第２、第３の実施の形態で説明した顔画像記録装置と同様な、人物の顔の撮影処理、顔の特徴量の抽出処理、画像に関する属性情報の生成処理、画像に対する画像処理、或はなりすまし検知処理などを行う機能を有している。上記ネットワーク９６は、ＬＡＮあるいはインターネット等のネットワークである。
【０１０４】
各情報端末（９０ａ、９０ｂ、…、９０ｎ）は、カメラ（９１ａ、９１ｂ、…、９１ｎ）、制御部（９２ａ、９２ｂ、…、９２ｎ）、記憶部（９３ａ、９３ｂ、…、９３ｎ）、通信部（９４ａ、９４ｂ、…、９４ｎ）、表示部（９５ａ、９５ｂ、…、９５ｎ）、及び操作部（９６ａ、９６ｂ、…、９６ｎ）等を有している。上記カメラ（９１ａ、９１ｂ、…、９１ｎ）は、デジタルカメラ等により構成される。上記カメラ（９１ａ、９１ｂ、…、９１ｎ）は、上記第１、第２の実施の形態で説明した顔画像記録装置のカメラ２と同様に、人物の顔を複数撮影する。なお、上記カメラ（９１ａ、９１ｂ、…９１ｎ）は、上記情報端末（９０ａ、９０ｂ、…９０ｎ）の本体に、無線通信あるいは有線で接続するようにしても良い。
【０１０５】
上記制御部（９２ａ、９２ｂ、…、９２ｎ）は、情報端末全体の制御を司る。また、上記制御部（９２ａ、９２ｂ、…、９２ｎ）は、上記第１、第２の実施の形態で説明した顔画像記録装置の処理プロセッサ３１と同様な機能を有する。各機能は、上記制御部（９２ａ、９２ｂ、…、９２ｎ）が上記記憶部（９３ａ、９３ｂ、…、９３ｎ）に記憶されている制御プログラムに基づいて動作することにより実現される。例えば、上記制御部（９２ａ、９２ｂ、…、９２ｎ）は、特徴量抽出部、情報生成部、なりすまし検知部、或は画像処理部等の機能が実現可能である。
上記通信部（９４ａ、９４ｂ、…、９４ｎ）は、ネットワーク９６に接続するネットワークインターフェースで構成される。また、各情報端末（９０ａ、９０ｂ、…９０ｎ）と管理サーバ１００との通信方法は無線であっても有線であってもよい。
【０１０６】
上記管理サーバ１００は、図２１に示す管理サーバ８０と同様な機能を有するため、図２１に示す管理サーバ８０と同様な部分について同一符号を付し、説明を省略する。なお、上記顔画像記録ＤＢ１０６及び照合用辞書１０７は、上記記録装置３７及び上記辞書３８と同様に、管理サーバ１００内に設けられるようにしても良いし、ネットワーク９６を介して接続可能な外部装置に設けるようにしても良い。
また、上記管理サーバ１００に上記顔画像記録装置の処理部と同様な機能を実現するアプリケーションプログラムを組み込めば、上記情報端末が上記顔画像記録装置のユーザインターフェース部１０と同様に機能し、上記管理サーバ１００が上記顔画像記録装置の処理部及び図１５に示す保守パソコン４３と同様に機能するシステムを実現できる。
【０１０７】
このように構成される情報管理システムでは、ＬＡＮあるいはインターネットなどのネットワークで接続された世界（サイバースペース）において様々な行為や活動（商取引、契約事項等への同意など）を行う際に、本人の承認を示す情報として顔画像を記録することができる。
【０１０８】
例えば、上記のような情報管理システムでは、次のような機能をユーザが情報端末を操作するだけで実現可能となる。
（１）電子メイルや電子文書などを作成または発信した際に、作成者あるいは発信者の顔画像を記録に残す機能が実現できる。この機能により、電子メイルや電子文書などの作成者あるいは発信者を顔画像で証明することができ、不審な者からの不正な電子メイルや電子文書を抑制し、電子メイルや電子文書などの安全なやり取りが可能となる。
【０１０９】
（２）決裁や承認などの行為を行った際に、決裁あるいは承認などの行為を行った人物の顔画像を記録に残す機能が実現できる。この機能により、決裁あるいは承認などの行為を行った人物の顔画像を証拠として残すことができ、サイバースペースにおける行為や活動のセキュリティを向上できる。
【０１１０】
また、図２３は、図２２に示す情報管理システムの変形例を示すものである。図２３に示す情報管理システムでは、図２２に示すネットワーク９７に、認証用のサーバ（認証サーバ）１１０を追加した構成となっている。上記認証サーバ１１０は、顔照合によりユーザを認証する認証機関として機能する。このような構成された情報管理システムでは、上記情報端末（９０ａ、９０ｂ、…、９０ｎ）で撮影された顔画像に基づいて認証サーバ１１０がユーザの認証処理を行うようになっている。すなわち、上記認証サーバ１１０では、情報管理システム上の各情報端末（９０ａ、９０ｂ、…、９０ｎ）で撮影された顔画像による認証処理を一括して行うようになっている。上記認証サーバ１１０による認証処理の結果は、管理サーバ１００へ送るようにしても良いし、当該画像を撮影した各情報端末（９０ａ、９０ｂ、…、９０ｎ）へ返すようにしても良い。
【０１１１】
すなわち、図２３に示す情報管理システムの構成では、認証サーバが各情報端末で撮影された顔画像の認証処理を行う。これにより、各情報端末で撮影された顔画像の正当性を上記認証サーバが保証するようになっている。従って、各情報端末で撮影された顔画像の認証処理を効率良く、かつ、確実に行うことができる。また、認証処理を管理サーバとは独立した装置で行うようにしたため、この情報管理システムの導入コストを低く抑え、かつ、メンテナンス性能の向上が期待できる。
【０１１２】
図２４は、図２２或は図２３に示す情報端末９０ａの一例を示す図である。図２４に示す情報端末９０ａは、ノート型のパーソナルコンピュータ（ＰＣ）にデジタルカメラ等のカメラ９１ａを接続した構成となっている。上記カメラ９１ａは、上記ノート型ＰＣの本体にＵＳＢケーブル等により接続される。上記ノート型ＰＣは、制御部９２ａ、記憶部９３ａ、通信部９４ａ、表示部９５ａ、及び操作部９６ａ等を有している。上記ノート型ＰＣには、予めワードプロセッサのアプリケーション及び顔画像の抽出処理を行うアプリケーション等がインストールされているものとする。
【０１１３】
図２５は、ユーザの顔画像を撮影する際に表示部９５ａに表示される案内画面の例を示す図である。図２５に示す案内画面の例では、表示画面上に３つの表示領域１２１、１２２、１２３が設けられている。
上記表示領域１２１には、処理内容、或は処理目的の案内が表示される。例えば、上記表示領域１２１には、処理内容の案内として「顔画像を登録してください」という案内が表示される。
【０１１４】
また、上記表示領域１２２には、上記カメラ９１ａにて撮影している画像がリアルタイムで表示される。これにより、適切な顔の位置をユーザにわかりやすく案内することが可能となる。この表示領域１２２は、矩形に限定されるものではなく、楕円など種々の形を適用することができる。
また、上記表示領域１２３には、ユーザに対する動作案内が表示される。例えば、上記表示領域１２３には、ユーザに対する動作案内として「正面向きの顔がこの窓枠内に入るように顔を動かして下さい」という案内が表示される。
【０１１５】
次に、文書にユーザの顔画像を添付する処理について説明する。
図２６は、ユーザが作成した文書（文書データ）に顔画像を添付する処理を説明するためのフローチャートである。
まず、ユーザは、上記情報端末９０ａにて文書を作成する（ステップＳ１２１）。文書が完成すると、ユーザは、文書の作成完了ボタン（図示しない）を押下する（ステップＳ１２２）。文書の作成完了ボタンが押下されると、制御部９２ａは、ユーザの顔画像の撮影するために、図２５に示すようなユーザに対する案内を表示部９５ａに表示する（ステップＳ１２３）。このような案内に応じて、ユーザは、意識的に顔をカメラに向ける動作を行う（ステップＳ１２４）。
上記制御部９２ａは、上記カメラ９１ａにて撮影した画像からユーザの顔画像を抽出する処理を行う（ステップＳ１２５）。なお、顔画像の抽出処理は、上記ステップＳ２１〜Ｓ２５と同様であるため、詳細な説明を省略する。
【０１１６】
上記顔画像の抽出処理により顔画像が検出されなかった場合（ステップＳ１２６、ＹＥＳ）、制御部９２ａは、表示部９５ａに顔画像が検出されなかった旨を表示し、上記ステップＳ１２３へ戻る。すなわち、顔画像が検出できなかった場合、制御部９２ａは、顔の撮影及び顔画像の抽出処理を再度実行する。
また、上記顔画像の抽出処理により顔画像が検出された場合（ステップＳ１２６、ＮＯ）、制御部９２ａは、なりすまし検知処理を行う（ステップＳ１２７）。なお、なりすまし検知処理は、上記ステップＳ１１１〜Ｓ１１６と同様であるため、詳細な説明を省略する。
上記なりすまし検知処理によりなりすましが検知された場合（ステップＳ１２８、ＹＥＳ）、制御部９２ａは、処理を強制終了する。これにより、他人になりすました顔画像の登録を防止できる。また、上記なりすまし検知処理により、なりすましが検知されなかった場合（ステップＳ１２８、ＮＯ）、制御部９２ａは、当該顔画像の登録が可能であると判断する。
【０１１７】
顔画像の登録が可能であると判断すると、制御部９２ａは、上記抽出処理により抽出した顔画像のデータ（顔画像データ）に対する画像処理を行う（ステップＳ１２９）。この画像処理では、例えば、データ圧縮処理、符号化処理、及び暗号化処理などの処理が行われる。上記データ圧縮処理、符号化処理、及び暗号化処理は、従来の技術を採用すればよい。
また、暗号化処理における暗号化の強度（暗号強度）は、ユーザに要求されるセキュリティレベルに応じて選択される。例えば、顔画像データに対する暗号化が必要ない場合、上記画像処理では、暗号化処理を行わずに、データ圧縮処理及び符号化処理等の処理を行う。
顔画像に対する画像処理が完了すると、制御部９２ａは、画像処理した顔画像データをユーザが作成した文書データに添付する（ステップＳ１３０）。ここで、顔画像を添付した文書データを保存する場合、制御部９２ａは、顔画像データを添付した文書データを記憶部９３ａに保存する（ステップＳ１３１）。また、当該文書を電子メールとして他の情報端末へ送信する場合、制御部９２ａは、通信部９４ａにより顔画像データを添付した文書データを、ユーザが指定する宛先に送信する（ステップＳ１３１）。
【０１１８】
上記のように、文書データに文書を作成したユーザの顔画像を添付して記録するようにした。これにより、文書の作成者を顔画像にて確認することができ、文書データのセキュリティが向上する。例えば、電子メールに発信者の顔画像を添付して送信する。これにより、当該電子メールを受信した受信者は、発信者を顔画像で確認することが可能となる。
【０１１９】
次に、申請書に対する決裁或は承認を行う処理について説明する。
図２７は、申請書に対する決裁或は承認を行う処理を説明するためのフローチャートである。ここでは、情報端末９０ｂを操作するあるユーザ（申請者）が、情報端末９０ａを操作する他のユーザ（権限者）に決裁或は承認を受ける場合の動作例を説明する。また、申請書の内容は、申請データとして権限者に送られるものとする。
まず、申請者は、自身の情報端末９０ｂで申請データを作成する（ステップＳ１４１）。申請者は、作成した申請データを権限者宛に送信する。これにより、申請データは、申請者が操作する情報端末９０ｂから権限者が操作する情報端末９０ａに送信される（ステップＳ１４２）。
上記情報端末９０ａでは、申請データを受信すると（ステップＳ１４３）、申請データを表示部９５ａに表示する（ステップＳ１４４）。表示部９５ａに申請データが表示されると、権限者は、表示された申請内容に対する決裁或は承認を判断する。この判断結果は、権限者により操作部９６ａにて入力される（ステップＳ１４５）。
【０１２０】
例えば、申請内容を不可と判断した場合（ステップＳ１４６、ＮＯ）、権限者は、操作部９６ａにより申請内容を不可とする旨を入力する。すると、制御部９２ａは、申請内容に対する差し戻し処理を実行する（ステップＳ１４７）。差し戻し処理は、申請者に対して申請内容が権限者に不可と判断された旨を通知する処理である。例えば、差し戻し処理は、申請データに申請内容の不可を示す情報を付与して申請者に返信する。また、差し戻し処理として、後述するステップＳ１４８の処理を行って、申請内容の不可を示す情報に権限者者の顔画像を添付して申請者に通知するようにしても良い。
【０１２１】
また、申請内容を許可すると判断した場合（ステップＳ１４６、ＹＥＳ）、権限者は、操作部９６ａにより申請内容を許可する旨を入力する。すると、制御部９２ａは、権限者の顔画像の抽出処理及び抽出した顔画像に対するなりすまし検知処理を実行する（ステップＳ１４８）。なお、上記ステップＳ１４８の顔画像の抽出処理及びなりすまし検知処理は、上記ステップＳ１２３〜Ｓ１２８と同様であるため、詳細な説明は省略する。
上記顔画像の抽出処理及びなりすまし検知処理により権限者の顔画像が決定すると、制御部９２ａは、上記ステップＳ１２９と同様に、顔画像に対する画像処理を実行する（ステップＳ１４９）。顔画像に対する画像処理が完了すると、上記ステップＳ１３０及びＳ１３１と同様に、申請データに画像処理された顔画像データを添付し（ステップＳ１５０）、記憶部９３ａに保存する（ステップＳ１５１）。また、顔画像データを添付した申請データは、通信部９４ａにより申請者に返信するようにしても良い。
【０１２２】
上記のように、申請データを決裁或は承認を行う権限者に送信し、権限者が申請データに対する決裁或は承認を行う。権限者に許可すると判断された申請データに対しては、決裁或は承認を行った権限者の顔画像を添付する。これにより、申請内容に対して決裁或は承認を行った権限者の顔画像が記録でき、セキュリティが向上する。
また、上記ステップＳ１２１〜Ｓ１３１、或は上記ステップＳ１４１〜Ｓ１５１の動作を図２３に示すような構成の情報管理システムに適用する場合、抽出した顔画像と辞書１１４に登録されている顔画像との照合を認証サーバ１１０が行うようにしても良い。この場合、文書或は申請データに、顔画像データを添付するとともに、認証サーバ１１０で認証されたユーザを示す情報が添付できる。これにより、セキュリティレベルを更に向上させることが可能となる。
【０１２３】
また、顔画像データが添付された文書或は申請内容の正当性を確認する場合、管理サーバ１００の表示部１０２に、当該文書或は申請データに添付された顔画像を表示させる。これにより、しかるべき資格をもった管理者が、管理サーバ１００の表示部１０２に表示された顔画像を確認して文書或は申請内容の正当性を判定できる。
また、文書或は申請内容の正当性を確認する場合、当該文書或は申請データに添付された顔画像を読出し、管理サーバ１００の照合用辞書８７或は認証サーバ１１０の辞書１１４に登録されている顔画像との照合を行って、文書或は申請データに添付された顔画像のユーザを確認するようにしても良い。
【０１２４】
上記のように、第６の実施の形態では、パソコンあるいは携帯端末などのカメラ付き情報端末を利用して、インターネットあるいはＬＡＮなどのネットワーク（サイバースペース）世界において様々な行為や活動を行う際に、実行者の顔画像を記録しておくようにしたものである。これにより、実世界における「印鑑を押す」行為と同等な利便性をもつものがサイバースペースにおいても実現でき、かつ、ユーザの利便性が良い情報管理システムを提供できる。
【０１２５】
なお、本発明は、各実施の形態の要旨を逸脱しない範囲で、各実施の形態を変形したり、各実施の形態を組み合わせて実現することが可能となっている。
以上詳述したように、上記第１〜第６の実施の形態によれば、利用される用途に応じたセキュリティレベルを持ちつつ、装置の導入負担ができるだけ少なく、かつ、ユーザが使い易い利便性の高い本人認証を実現する顔画像記録装置、顔画像記録システム、顔画像記録方法、及び情報管理方法を提供できる。
【図面の簡単な説明】
【０１２６】
【図１】この発明の各実施の形態に係る顔画像記録装置の外観構成の例を示す図。
【図２】各実施の形態に係る顔画像記録装置の外観構成の例を示す図。
【図３】各実施の形態に係る顔画像記録装置の設置例を示す図。
【図４】各実施の形態に係る顔画像記録装置の設置例を示す図。
【図５】各実施の形態に係る顔画像記録装置を入退室システムに適用する場合の構成例を示す図。
【図６】各実施の形態に係る顔画像記録装置の内部構成例を示す図。
【図７】第１の実施の形態の全体的な動作を説明するためのフローチャート。
【図８】第１の実施の形態の全体的な動作を説明するためのフローチャート。
【図９】顔の特徴点の抽出処理を説明するためのフローチャート。
【図１０】記録装置に記録する画像に対する画像処理を説明するためのフローチャート。
【図１１】なりすまし検知処理の例を説明するためのフローチャート
【図１２】第２の実施の形態の全体的な動作を説明するためのフローチャート。
【図１３】第２の実施の形態の全体的な動作を説明するためのフローチャート。
【図１４】顔画像の照合処理を説明するためのフローチャート。
【図１５】第３の実施の形態に係る顔画像記録装置及び保守パソコンの概略構成を示す図。
【図１６】顔画像の検索処理を説明するためのフローチャート。
【図１７】特定の個人における照合度の経時変化を示す図。
【図１８】照合用辞書の更新処理の動作例を説明するためのフローチャート。
【図１９】第４の実施の形態として、顔画像記録装置にカードリーダを接続した場合の構成例を示す図。
【図２０】顔画像記録装置にバイオメトリクス認証装置を接続した場合の構成例を示す図。
【図２１】第５の実施の形態としての顔画像記録システムの構成例を示す。
【図２２】第６の実施の形態の情報管理システムの構成例を概略的に示す図。
【図２３】図２２の情報管理システムの変形例を概略的に示す図。
【図２４】図２２、図２３に示す情報端末の例を示す図。
【図２５】情報端末の表示例を示す図。
【図２６】文書に顔画像を添付する処理のフローチャート。
【図２７】申請データに顔画像を添付する処理のフローチャート。
【符号の説明】
【０１２７】
１、８２、９５ａ…表示部（報知手段）、２、９１ａ、９１ｂ…カメラ（撮影手段）、５…入力部（入力手段）、３１…処理プロセッサ（処理手段、更新手段）、３１ａ…特徴量抽出部（特徴量抽出手段）、３１ｂ…情報生成部（生成手段）、３１ｃ…なりすまし検知部（なりすまし検知手段）、３１ｄ…画像処理部（画像処理手段）、３１ｅ…顔照合部（照合手段）、３１ｇ…検索部（検索手段）、３７…記録装置（記憶手段）、３８、８７、１１４…照合用辞書（記憶手段）、４３…保守パソコン（検索手段）、５２…操作部（入力手段）、５３…表示部（表示手段）、６２…カードリーダ（入力手段）、６５…バイオメトリクス認証装置（認証手段）、７１ａ、７１ｂ、…顔画像記録装置（端末装置）、８０、１００…管理サーバ（管理装置）、８６、１０７…顔画像履歴ＤＢ（記憶手段）、９０ａ、９０ｂ…情報端末、１１０…認証サーバ（認証装置）
【特許請求の範囲】
【請求項１】
人物の顔画像を記録する顔画像記録装置において、
顔画像を記録する必要のない人物の顔の特徴量が予め登録されている第１の記憶手段と、
１人の人物の顔を複数撮影する撮影手段と、
この撮影手段で撮影した各画像からそれぞれ顔の特徴量を抽出する特徴量抽出手段と、
この特徴量抽出手段により抽出された顔の特徴量と上記第１の記憶手段に登録されている顔の特徴量との照合を行う照合手段と、
この照合手段による照合が失敗した場合に、上記撮影手段で撮影した画像のうち上記特徴量抽出手段により顔の特徴量が抽出された画像を記録する第２の記憶手段と、
を具備することを特徴とする顔画像記録装置。
【請求項２】
さらに、上記照合手段による照合が失敗した場合、外部機器へ上記撮影手段で撮影した人物の顔と上記第１の記憶手段に登録されている人物の顔との照合が失敗した旨を通知する通知手段を有することを特徴とする上記請求項１に記載の顔画像記録装置。
【請求項３】
さらに、上記撮影手段で撮影される人物により個人ＩＤ情報が入力される入力手段を有し、
上記第１の記憶手段には、各人物の顔の特徴量に対応して各人物の個人ＩＤ情報が登録され、上記照合手段は、上記特徴量抽出手段が抽出した顔の特徴量と上記第１の記憶手段に登録されている上記入力手段で入力された個人ＩＤ情報に対応する顔の特徴量との照合を行うことを特徴とする上記請求項１に記載の顔画像記録装置。
【請求項４】
人物の顔画像を記憶する顔画像記録方法であって、
顔の画像を記録する必要のない人物の顔の特徴量を予め第１の記憶手段に記録しておく第１の記録工程と、
１人の人物の顔を撮影手段で複数撮影する撮影工程と、
この撮影工程により撮影した各画像からそれぞれ顔の特徴量を抽出する特徴量抽出工程と、
この特徴量抽出工程により抽出された顔の特徴量と上記第１の記憶手段に記録されている顔の特徴量との照合を行う照合工程と、
この照合工程による照合が失敗した場合に、上記撮影工程で撮影した画像のうち顔の特徴量が抽出された画像を第２の記憶手段に記録する第２の記録工程と、
を有することを特徴とする顔画像記録方法。
【請求項１】
人物の顔画像を記録する顔画像記録装置において、
顔画像を記録する必要のない人物の顔の特徴量が予め登録されている第１の記憶手段と、
１人の人物の顔を複数撮影する撮影手段と、
この撮影手段で撮影した各画像からそれぞれ顔の特徴量を抽出する特徴量抽出手段と、
この特徴量抽出手段により抽出された顔の特徴量と上記第１の記憶手段に登録されている顔の特徴量との照合を行う照合手段と、
この照合手段による照合が失敗した場合に、上記撮影手段で撮影した画像のうち上記特徴量抽出手段により顔の特徴量が抽出された画像を記録する第２の記憶手段と、
を具備することを特徴とする顔画像記録装置。
【請求項２】
さらに、上記照合手段による照合が失敗した場合、外部機器へ上記撮影手段で撮影した人物の顔と上記第１の記憶手段に登録されている人物の顔との照合が失敗した旨を通知する通知手段を有することを特徴とする上記請求項１に記載の顔画像記録装置。
【請求項３】
さらに、上記撮影手段で撮影される人物により個人ＩＤ情報が入力される入力手段を有し、
上記第１の記憶手段には、各人物の顔の特徴量に対応して各人物の個人ＩＤ情報が登録され、上記照合手段は、上記特徴量抽出手段が抽出した顔の特徴量と上記第１の記憶手段に登録されている上記入力手段で入力された個人ＩＤ情報に対応する顔の特徴量との照合を行うことを特徴とする上記請求項１に記載の顔画像記録装置。
【請求項４】
人物の顔画像を記憶する顔画像記録方法であって、
顔の画像を記録する必要のない人物の顔の特徴量を予め第１の記憶手段に記録しておく第１の記録工程と、
１人の人物の顔を撮影手段で複数撮影する撮影工程と、
この撮影工程により撮影した各画像からそれぞれ顔の特徴量を抽出する特徴量抽出工程と、
この特徴量抽出工程により抽出された顔の特徴量と上記第１の記憶手段に記録されている顔の特徴量との照合を行う照合工程と、
この照合工程による照合が失敗した場合に、上記撮影工程で撮影した画像のうち顔の特徴量が抽出された画像を第２の記憶手段に記録する第２の記録工程と、
を有することを特徴とする顔画像記録方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２００８−３０５４００（Ｐ２００８−３０５４００Ａ）
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願番号】特願２００８−１４３３１２（Ｐ２００８−１４３３１２）
【出願日】平成２０年５月３０日（２００８．５．３０）
【分割の表示】特願２００２−１３８７５７（Ｐ２００２−１３８７５７）の分割
【原出願日】平成１４年５月１４日（２００２．５．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願日】平成２０年５月３０日（２００８．５．３０）
【分割の表示】特願２００２−１３８７５７（Ｐ２００２−１３８７５７）の分割
【原出願日】平成１４年５月１４日（２００２．５．１４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]