顔照合システム、顔照合装置及び顔照合方法
【課題】多数の監視カメラで入力顔画像データを取得し、この入力顔画像データを顔テンプレートと照合処理する場合に、照合処理を行う顔照合装置の処理負荷を軽減しつつ、顔テンプレートの漏洩を効率良く抑制することを課題とする。
【解決手段】各拠点に配置された１次照合装置３０では、カメラ１０で撮像され顔検出装置２０で検出された入力顔画像データを平均顔テンプレート３２ａと照合処理して所定のしきい値以上である場合に入力顔画像データを２次照合装置６０に送信し、２次照合装置では、この入力顔画像データを顔テンプレートと照合処理する。
【解決手段】各拠点に配置された１次照合装置３０では、カメラ１０で撮像され顔検出装置２０で検出された入力顔画像データを平均顔テンプレート３２ａと照合処理して所定のしきい値以上である場合に入力顔画像データを２次照合装置６０に送信し、２次照合装置では、この入力顔画像データを顔テンプレートと照合処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、多数の監視カメラで入力顔画像データを取得し、この入力顔画像データを顔テンプレートと照合処理する場合に、照合処理を行う装置の処理負荷を軽減しつつ、顔テンプレートの漏洩を効率良く抑制する顔照合システム、顔照合装置及び顔照合方法に関する。
【背景技術】
【０００２】
従来、監視対象者の顔画像の参照データ（以下、「顔テンプレート」と言う）をあらかじめ登録しておき、監視カメラで撮影した映像から人物の顔画像データ（以下、「入力顔画像データ」と言う）を切り出し、切り出した入力顔画像データを顔テンプレートと照合処理する従来技術が知られている。
【０００３】
ここで、顔画像の照合処理を行う顔画像照合装置に接続される監視カメラの台数が増えれば増えるほど、顔画像照合装置の処理負荷が累増するため、かかる顔画像照合装置の処理負荷を軽減する先行技術が提案されている。例えば、特許文献１には、複数台の監視カメラをコンピュータに接続するとともに、該監視カメラに顔テンプレートを登録しておき、照合処理が成功した場合に入力顔画像データをコンピュータに送信することで、監視に必要なコンピュータの労力を軽減する技術が開示されている。
【０００４】
また、特許文献２には、監視カメラ側で処理が必要な映像フレームにインデックスを入れ、センタ側でインデックスの付いた画像を処理することで、高速かつ高精度に照合処理を行う技術が開示されている。さらに、特許文献３には、監視カメラで取得した画像から認証された人物と監視者とが対応付けられている場合に、監視者に対して人物の画像を公開することで、プライバシーを守ることができる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１５８４２１号公報
【特許文献２】特開２００７−２３３４９５号公報
【特許文献３】特開２００７−３１８３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１のものは、監視カメラがセキュリティエリア以外の場所に設置された場合に、監視カメラ内に登録した顔テンプレートが漏洩する可能性がある。ここで、顔テンプレートが特徴量データである場合に、第三者が一見して顔そのものを視認できないが、かかる特徴量データであっても個人を特定できるデータであることに変わりはないので、第三者への漏洩は問題となる。特に、設置される監視カメラの台数が増えれば増えるほど、かかる漏洩のリスクは増大する。監視対象者の顔テンプレートを厳格に管理する必要がある場合に、上記特許文献１のものでは不十分となる。
【０００７】
また、上記特許文献２のものは、上記顔テンプレートの漏洩のリスクはないものの、結局はセンタ側で顔照合処理を行うことになるので、設置される監視カメラの台数が増えればセンタの処理負荷が増加する。特に、駅構内、空港及び街頭に設置される監視カメラを用いる場合には、数千〜数万台の監視カメラが対象となるため、たとえ特許文献２を用いたとしてもセンタによる顔照合処理の処理負荷は膨大なものとなる。
【０００８】
さらに、上記特許文献３によれば、監視者に提供する公開画像を制限することでプライバシーを守ることができる反面で、ネットワークに接続された監視カメラの台数が増加すると、監視カメラで取得した画像を照合処理するセンタでの処理負荷が増大すると言う問題点がある。
【０００９】
これらのことから、多数の監視カメラで入力顔画像データを取得し、この入力顔画像データを顔テンプレートと照合処理する場合に、照合処理を行う顔照合装置の処理負荷をいかに軽減するか、顔テンプレートの漏洩をいかに防止するかが重要な課題となっている。
【００１０】
本発明は、上述した課題を解決するためになされたものであって、多数の監視カメラで入力顔画像データを取得し、この入力顔画像データを顔テンプレートと照合処理する場合に、照合処理を行う顔照合装置の処理負荷を軽減しつつ、顔テンプレートの漏洩を効率良く抑制することができる顔照合システム、顔照合装置及び顔照合方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するため、本発明は、あらかじめ登録された複数の監視対象者の顔テンプレートと撮像装置で撮像された入力顔画像データとを顔照合処理する顔照合システムであって、複数の監視対象者の顔画像データに基づいて複数の顔テンプレート並びに合成顔テンプレートを生成するテンプレート生成装置と、複数の拠点にそれぞれ配置された複数の撮像装置と、前記撮像装置により撮像された入力顔画像データを前記テンプレート生成装置により生成された前記合成顔テンプレートと照合処理して、所定値以上の照合率を有する入力顔画像データを送信処理する１次照合装置と、前記１次照合装置から受信した入力顔画像データを前記テンプレート生成装置で生成された顔テンプレートと照合処理する２次照合装置とを備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、複数の監視対象者の顔画像データに基づいて複数の顔テンプレート並びに合成顔テンプレートを生成し、一又は複数の撮像装置により撮像された入力顔画像データを合成顔テンプレートと１次照合装置で照合処理し、所定値以上の照合率を有する入力顔画像データを顔テンプレートと２次照合装置で照合処理するよう構成したので、２次合装置の処理負荷を軽減しつつ、１次照合装置での顔テンプレートの漏洩を効率良く抑制することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本実施例に係る顔照合システムのシステム構成を示すブロック図である。
【図２】図２は、図１に示した運用管理装置の内部構成を示す機能ブロック図である。
【図３】図３は、図２に示した顔テンプレート及び平均顔テンプレートの一例を示す図である。
【図４】図４は、図１に示した１次照合装置の内部構成を示す機能ブロック図である。
【図５】図５は、自動しきい値設定を説明するための説明図である。
【図６】図６は、図１に示した２次照合装置の内部構成を示す機能ブロック図である。
【図７】図７は、図１に示した顔検出装置の内部構成を示す機能ブロック図である。
【図８】図８は、図１に示した運用管理装置による顔テンプレート及び平均顔テンプレートの登録処理手順を示すフローチャートである。
【図９】図９は、図１に示した１次照合装置及び２次照合装置による照合処理を経て、入力顔画像データを表示するまでの処理手順を示すフローチャートである。
【図１０】図１０は、運用管理装置の別の例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下に、添付図面を参照して、本発明に係る顔照合システム、顔照合装置及び顔照合方法の好適な実施例を詳細に説明する。本実施例では、合成顔テンプレートの一例として平均顔テンプレートを用いた場合について説明する。なお、本実施例では、説明の便宜上、４台のカメラ、２台の１次照合装置及び１台の２次照合装置を用いた簡易的な構成を採用した場合について説明するが、本発明はこれに限定されるものではなく膨大な数のカメラ等を収容する場合に適用することもできる。
【実施例】
【００１５】
まず、本実施例に係る顔照合システムのシステム構成について説明する。図１は、本実施例に係る顔照合システムのシステム構成を示すブロック図である。同図に示すように、この顔照合システムでは、センタに配設された運用管理装置５０及び２次照合装置６０と、拠点Ａに配設された１次照合装置３０ａ及び拠点Ｂに配設された１次照合装置３０ｂとがネットワーク４０を介して接続される。また、１次照合装置３０ａは、顔検出装置２０ａ及び２０ｂを介してカメラ１０ａ及び１０ｂと接続され、１次照合装置３０ｂは、顔検出装置２０ｃ及び２０ｄを介してカメラ１０ｃ及び１０ｄと接続されている。
【００１６】
ここで、かかるセンタは、入退出管理等のセキュリティ対策が厳重に講じられた区域であり、不正者による顔テンプレートの不正な持ち出しが抑制されている。一方、拠点Ａ及びＢは、上記センタほどのセキュリティ対策が講じられていない区域である。なお、カメラ１０ａ〜１０ｄをカメラ１０と総称し、顔検出装置２０ａ〜２０ｄを顔検出装置２０と総称し、１次照合装置３０ａ〜３０ｂを１次照合装置３０と総称する。カメラ１０ａ〜１０ｄ、顔検出装置２０ａ〜２０ｄ及び１次照合装置３０ａ〜３０ｂは、それぞれ同じ機能を有する装置である。
【００１７】
カメラ１０は、動画像を撮像できるＣＣＤ素子（Charge Coupled Device Image Sensor）からなるカメラである。このカメラ１０には、その取付け角度を自動制御する制御機構が設けられており、顔検出装置２０からの制御信号により画角等が制御される。
【００１８】
顔検出装置２０は、カメラ１０から受信した動画像データから人の顔画像を検出し、検出した顔画像データを１次照合装置３０に送信する装置である。動画像データから顔画像データを検出する場合には、動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術等により判定する。人の顔部分が存在すると判定した場合には、静止画像データから顔部分の部分画像データ（以下、「入力顔画像データ」と言う）を切り出して、１次照合装置３０に送信することになる。
【００１９】
また、この顔検出装置２０は、所定の位置に存在すべき基準物の基準座標位置をあらかじめ登録しておき、動画像データから取り出した静止画像データに存在する基準物の座標位置と基準座標位置との間に所定値以上の位置ずれが存在する場合には、その位置ずれ量を算出して位置ずれ量を補正するための制御信号をカメラ１０の制御機構に送信する。この制御信号を受信した制御機構は、自動的にカメラ１０の画角等を変更する。このように、カメラ１０の画角等を自動変更することにより、カメラ１０を操作して別の方向を見た場合や、物が当たるなどしてカメラ１０の方向がずれてしまった場合に、監視すべき方向へ戻すことができる。
【００２０】
１次照合装置３０は、運用管理装置５０から送信され、複数の監視対象者の顔画像データを平均化した平均顔テンプレート３２ａをあらかじめ記憶部３２に記憶し、顔検出装置２０で検出された入力顔画像データと記憶部３２に記憶した平均顔テンプレート３２ａとの照合値を算出し、その照合値が所定のしきい値以上である場合に、入力顔画像データを２次照合装置６０に対して送信する処理部である。この照合値は、入力顔画像データが平均顔テンプレート３２ａと近いほど高い値となるものであり、例えば相互相関値等の従来技術を用いて算出することができる。
【００２１】
このように、かかる１次照合装置３０は、複数の監視対象者の顔画像データそのものではなく、これらの監視対象者の顔画像データを平均化した平均顔テンプレート３２ａを記憶部３２に記憶することとしたので、１次照合装置３０がセキュリティ対策の不十分な区域に配置された場合であっても、監視対象者の顔画像データそのものが漏洩する状況を回避することができる。
【００２２】
また、この１次照合装置３０は、カメラ１０の設置時又は該カメラ１０の運用開始時に、学習期間としてカメラ１０の前を通行する監視対象者を含まない非監視対象者を一定時間撮像し、各カメラ１０から顔検出装置２０を介して受信した入力顔画像データと平均顔テンプレート３２ａとの照合値を計算し、その照合値の分布に基づいてしきい値を自動設定する。これにより、学習が完了した後は、カメラ１０ごとの最適なしきい値を自動設定することができる。
【００２３】
２次照合装置６０は、運用管理装置５０から送信され、複数の監視対象者の顔画像データからなる複数の顔テンプレート６２ａをあらかじめ記憶部６２に記憶し、１次照合装置３０から受信した入力顔画像データと記憶部６２に記憶した顔テンプレート６２ａとの照合値を算出し、その照合値が所定のしきい値以上である場合に、該入力顔画像データ並びに顔テンプレート６２ａに対応する監視対象者の識別情報を運用管理装置５０に対して送信する処理部である。
【００２４】
このように、かかる２次照合装置６０は、複数の監視対象者の顔テンプレート６２すなわち顔画像データそのものと入力顔画像データとを照合処理することとしたので、正確な照合を行うことができる。この際、１次照合装置３０でフィルタリングされた入力顔画像データのみを照合対象としているため、処理負荷を軽減することができる。特に、カメラ１０の台数が膨大な数にのぼる場合に効果的である。
【００２５】
運用管理装置５０は、顔照合システム全体の運用管理を行う装置である。具体的には、監視対象者の画像データを識別情報並びに氏名、住所、照合対象理由等の登録情報とともに登録する。かかる監視対象者の画像データは、他のサーバ装置や記憶デバイスから取得する。
【００２６】
また、この運用管理装置５０は、監視対象者の画像データから顔テンプレート及び平均顔テンプレートを生成して２次照合装置６０に送信するとともに、複数の監視対象者の顔テンプレートを平均化して平均顔テンプレートを生成して１次照合装置３０に送信する。なお、かかる顔テンプレート及び平均顔テンプレートは、運用管理装置５０内部にも記憶する。
【００２７】
また、この運用管理装置５０は、２次照合装置６０から入力顔画像データ及び識別情報を受信したならば、この識別情報を用いて顔テンプレート及び属性情報を検索し、入力顔画像データ、顔テンプレート及び属性情報を表示部５２に表示する。なお、入力顔画像データを撮像したカメラ１０の位置情報等を併せて表示することもできる。かかる場合には、カメラ１０の位置情報を１次照合装置３０から取得する必要がある。
【００２８】
次に、図１に示した運用管理装置５０の構成を具体的に説明する。図２は、図１に示した運用管理装置５０の内部構成を示す機能ブロック図である。同図に示すように、この運用管理装置５０は、入力部５１、表示部５２、インタフェース部５３、記憶部５４及び制御部５５を有する。入力部５１は、キーボードやマウスからなる入力デバイスであり、表示部５２は、液晶パネルやディスプレイ装置からなる表示デバイスである。インタフェース部５３は、ＬＡＮ及びネットワーク４０を介して他装置とデータ通信を行うためのインタフェース部である。
【００２９】
記憶部５４は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、登録データ５４ａ、顔テンプレート５４ｂ及び平均顔テンプレート５４ｃを記憶する。登録データ５４ａは、各監視対象者の顔画像データ並びに氏名、住所及び登録理由等の属性情報を該監視対象者の識別情報に対応づけたデータである。顔テンプレート５４ｂは、図３（ａ）に示すように監視対象者の顔を複数の向きから見た顔画像データである。平均顔テンプレート５４ｃは、図３（ｃ）に示すように複数の識別対象者の顔画像を平均化した顔画像データである。
【００３０】
制御部５５は、運用管理装置５０を全体制御する制御装置であり、顔テンプレート生成部５５ａ、平均顔テンプレート生成部５５ｂ及び運用管理部５５ｃを有する。顔テンプレート生成部５５ａは、図３（ａ）に示すように監視対象者の顔写真の画像データから顔部分の部分画像データを切り出し、周知の画像処理技術を用いてこの部分画像データ内の顔の向きを変えつつ１０個の顔画像データからなる顔テンプレートを生成する。
【００３１】
平均顔テンプレート生成部５５ｂは、図３（ｂ）に示すように、複数の監視対象者の顔写真から顔の部分画像データを切り出し、切り出した部分画像データの顔パーツ（目、鼻、口）等を平均化したものである。なお、平均顔を生成する際には、様々な従来技術を用いることができる。
【００３２】
運用管理部５５ｃは、顔照合システム全体の運用管理を行う処理部であり、カメラ１０、顔検出装置２０、１次照合装置３０又は２次照合装置を新たに登録する処理や、これらの登録済み装置を抹消する処理を行う。また、この運用管理部５５ｃは、２次照合装置６０から入力顔画像データ及び識別情報を受信したならば、この識別情報に対応する顔画像データ、顔テンプレート及び登録情報を検索し、入力顔画像データとともに表示部５２に表示する処理を行う。
【００３３】
次に、図１に示した１次照合装置３０の内部構成について説明する。図４は、図１に示した１次照合装置３０の内部構成を示す機能ブロック図である。同図に示すように、この１次照合装置３０は、インタフェース部３１、記憶部３２及び制御部３３を有する。インタフェース部３１は、ネットワーク４０を介して他装置とデータ通信を行うためのインタフェース部である。
【００３４】
記憶部３２は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、平均顔テンプレート３２ａを記憶する。この平均顔テンプレート３２ａは、図２に示した運用管理装置５０から送信されたものであり、運用管理装置５０の記憶部５４に記憶した平均顔テンプレート５４ｃと同じものである。
【００３５】
制御部３３は、１次照合装置３０を全体制御する制御部であり、平均顔照合処理部３３ａ及び自動しきい値設定部３３ｂを有する。平均顔照合処理部３３ａは、顔検出装置２０から受信した入力顔画像データと記憶部３２に記憶した平均顔テンプレート３２ａとの照合処理を行い、この照合値が所定のしきい値以上である場合に、入力顔画像データを２次照合装置６０に送信する処理部である。なお、かかる照合処理には、相互相関処理等の各種従来技術を用いることができる。
【００３６】
自動しきい値設定部３３ｂは、カメラ１０の設置時又は該カメラ１０の運用開始時に、学習期間としてカメラ１０の前を通行する監視対象者を含まない非監視対象者を一定時間撮像し、各カメラ１０から顔検出装置２０を介して受信した入力顔画像データと平均顔テンプレート３２ａとの照合値を計算し、その照合値の分布に基づいてしきい値を自動設定する処理部である。
【００３７】
具体的には、入力顔画像データと平均顔テンプレート３２ａとの照合値のヒストグラムが、図５に示すような分布関数となった場合には、この分布関数の平均、分散、標準偏差σを求め、例えば３σをしきい値として設定すれば良い。
【００３８】
これにより、学習が完了した後は、カメラ１０ごとの最適なしきい値を自動設定することができる。カメラ１０ごとに性能、撮影角度、照明環境などがそれぞれ異なる場合があるからである。なお、顔の向きごと、平均顔テンプレート３２ａが複数存在する場合には平均顔テンプレート３２ａごとにしきい値を自動設定することもできる。
【００３９】
次に、図１に示した２次照合装置６０の内部構成について説明する。図６は、図１に示した２次照合装置６０の内部構成を示す機能ブロック図である。同図に示すように、この２次照合装置６０は、インタフェース部６１、記憶部６２及び制御部６３を有する。インタフェース部６１は、ＬＡＮ及びネットワーク４０を介して他装置とデータ通信を行うためのインタフェース部である。
【００４０】
記憶部６２は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、複数の顔テンプレート６２ａを記憶する。この顔テンプレート６２ａは、図２に示した運用管理装置５０から送信されたものであり、運用管理装置５０の記憶部５４に記憶した顔テンプレート５４ｂと同じものである。
【００４１】
制御部６３は、２次照合装置６０を全体制御する制御部であり、顔照合処理部６３ａを有する。顔照合処理部６３ａは、１次照合装置３０から受信した入力顔画像データと記憶部６２に記憶した複数の顔テンプレート６２ａとの照合処理を行い、この照合値が所定のしきい値以上である場合に、入力顔画像データ及び識別情報を運用管理装置５０に送信する処理部である。なお、かかる照合処理についても、相互相関処理等の各種従来技術を用いることができる。
【００４２】
次に、図１に示した顔検出装置２０の内部構成について説明する。図７は、図１に示した顔検出装置２０の内部構成を示す機能ブロック図である。同図に示すように、この顔検出装置２０は、インタフェース部２１、記憶部２２及び制御部２３を有する。インタフェース部２１は、カメラ１０及び１次照合装置３０とデータ通信を行うためのインタフェース部である。
【００４３】
記憶部２２は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、カメラ１０から受信した動画像データを一時記憶する。一時記憶した動画像データは、運用管理装置５０から要求された場合に、該運用管理装置５０に対して送信する。
【００４４】
制御部２３は、顔検出装置２０を全体制御する制御部であり、顔検出処理部２３ａ及びカメラ位置制御部２３ｂを有する。顔検出処理部２３ａは、カメラ１０から受信した動画像データを記憶部２２に記憶するとともに、該動画像データから人の顔画像を検出し、検出した顔画像データを１次照合装置３０に送信する処理部である。具体的には、動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術等により判定する。
【００４５】
カメラ位置制御部２３ｂは、所定の位置に存在すべき基準物の基準座標位置をあらかじめ登録しておき、動画像データから取り出した静止画像に存在する基準物の座標位置と基準座標位置との間に所定値以上の位置ずれが存在する場合には、その位置ずれ量を算出して位置ずれ量を補正するための制御信号をカメラ１０の制御機構に送信する。
【００４６】
次に、顔テンプレート及び平均顔テンプレートの登録処理手順について説明する。図８は、図１に示した運用管理装置５０による顔テンプレート及び平均顔テンプレートの登録処理手順を示すフローチャートである。
【００４７】
図８に示すように、運用管理装置５０は、他のサーバ装置又は記憶デバイスから顔写真データを取り込み、識別情報を付与しつつ属性情報の登録を終えたならば（ステップＳ１０１）、顔テンプレートを生成する（ステップＳ１０２）。具体的には、図３（ａ）に示すように、テンプレートマッチング等を用いて顔写真データから顔の部分画像データを切り出し、この部分画像データ内の顔の向きを既存の画像処理技術で変えつつ１０個の顔画像データを生成し、これを顔テンプレートとする。
【００４８】
その後、平均顔テンプレートを生成する（ステップＳ１０３）。具体的には、図３（ｂ）に示すように、複数の顔写真から顔の部分画像データを切り出し、既存技術を用いて顔パーツを平均化しつつ平均顔を生成する。
【００４９】
そして、生成した顔テンプレート５４ｂ及び平均顔テンプレート５４ｃを記憶部５４に記憶した後（ステップＳ１０４）、他の顔写真データが存在する場合には（ステップＳ１０５；Ｙｅｓ）ステップＳ１０１に移行して同様の処理を繰り返す。
【００５０】
一方、他の顔写真データが存在しない場合には（ステップＳ１０５；Ｎｏ）、顔テンプレートを２次照合装置６０に送信するとともに（ステップＳ１０６）、平均顔テンプレートを１次照合装置３０に対して送信する（ステップＳ１０７）。
【００５１】
２次照合装置６０は、かかる顔テンプレートを受信したならば（ステップＳ１０８；Ｙｅｓ）、受信した顔テンプレートを記憶部６２に登録する（ステップＳ１０９）。同様に、１次照合装置３０は、上記平均顔テンプレートを受信したならば（ステップＳ１１０；Ｙｅｓ）、受信した平均顔テンプレートを記憶部３２に登録する（ステップＳ１１１）。
【００５２】
上記一連の処理を行うことにより、１次照合装置３０に平均顔テンプレート３２ａを登録するとともに、２次照合装置６０に顔テンプレート６２ａを登録して、顔照合処理を行う準備が完了することになる。
【００５３】
次に、図１に示した１次照合装置３０及び２次照合装置６０による照合処理を経て、入力顔画像データを表示するまでの処理手順について説明する。図９は、図１に示した１次照合装置３０及び２次照合装置６０による照合処理を経て、入力顔画像データを表示するまでの処理手順を示すフローチャートである。
【００５４】
まず、カメラ１０により撮像された動画像データが顔検出装置２０が受信し、顔検出装置２０が動画像データから静止画像データを切り出して人の顔画像データを抽出して、これを入力顔画像データとして１次照合装置３０に送信する。
【００５５】
１次照合装置３０は、この入力顔画像データを受信したならば（ステップＳ２０１；Ｙｅｓ）、この入力顔画像データを平均顔テンプレート３２ａと照合する平均顔照合処理を行い（ステップＳ２０２）、照合値が所定のしきい値以上である場合には（ステップＳ２０３；Ｙｅｓ）、入力顔画像データを２次照合装置６０に対して送信する（ステップＳ２０４）。なお、照合値が所定のしきい値未満である場合には（ステップＳ２０３；Ｎｏ）、入力顔画像データを２次照合装置６０に対して送信しない。
【００５６】
２次照合装置６０は、この入力顔画像データを受信したならば（ステップＳ２０５；Ｙｅｓ）、この入力顔画像データを顔テンプレート６２ａと照合する顔照合処理を行い（ステップＳ２０６）、照合値が所定のしきい値以上である場合には（ステップＳ２０７；Ｙｅｓ）、入力顔画像データ及び識別情報を運用管理装置５０に対して送信する（ステップＳ２０８）。なお、照合値が所定のしきい値未満である場合には（ステップＳ２０７；Ｎｏ）、入力顔画像データ及び識別情報を運用管理装置５０に対して送信しない。
【００５７】
運用管理装置５０は、入力顔画像データ及び識別情報を受信したならば（ステップＳ２０９；Ｙｅｓ）、この識別情報を用いて顔テンプレート及び属性情報を検索し、入力顔画像データ、顔テンプレート及び属性情報を表示する（ステップＳ２１０）。なお、この属性情報には、監視対象者の氏名、住所、照合対象とされた理由等のほか、顔写真データも含まれる。
【００５８】
なお、図１０に示したように、運用管理装置７０の制御部５５内に追跡処理部７２及び身体テンプレート生成部７３を設けることもできる。追跡処理部７２は、監視対象者の存在位置を追跡処理する処理部である。すでに説明した一連の処理を通じて、カメラ１０により撮像された動画像データ内に監視対象者が存在すれば、この監視対象者の入力顔画像データ等が運用管理装置７０に通知される。
【００５９】
ここで、運用管理装置７０は、最終的な入力顔画像データを受信する際に併せてカメラ１０の識別情報及び撮影時刻を受信することができれば、「該当する監視対象者がいつどこにいたか」の情報を入手できる。このため、追跡処理部７２は、２次照合装置６０から通知される情報を用いて監視対象者の行動軌跡を収集し、監視対象者の移動経路を把握するための追跡処理に利用することができる。なお、かかる追跡処理を行うためには、顔検出装置２０が１次照合装置３０に対して入力顔画像データとともにカメラ１０の識別情報及び撮影時刻を通知し、同様に１次照合装置３０が２次照合装置に対して入力顔画像データとともにカメラ１０の識別情報及び撮影時刻を通知する必要がある。なお、追跡処理の詳細については、既存技術を用いることができるが、経路予測を行いつつ追跡処理を行うことが望ましい。
【００６０】
身体テンプレート生成部７３は、監視対象者の身体テンプレート７１を生成する処理部であり、例えば、姿全体や身長、色などの外観上の特徴や、歩き方などの動作の特徴の特徴量を身体テンプレート７１とすることができる。
【００６１】
具体的には、図３（ａ）に示した顔テンプレートと同様のものを体全体の写真から生成し、生成した身体テンプレート７１を１次照合装置３０に対して送信するとともに、記憶部５４内に記憶する。この身体テンプレート７１を受信した１次照合装置３０は、身体テンプレート７１を用いた照合処理によって所定の照合率以上の結果が得られた場合に、運用管理装置７０に対してその結果を通知することになる。かかる身体テンプレート７１を用いた処理を行うことにより、動画像データ内に監視対象者の顔が撮像されていない場合であっても追跡処理を行うことができる。なお、平均身体テンプレートを生成して１次照合装置３０に送信するとともに、身体テンプレート７１を２次照合装置６０に送信し、上記顔画像を用いた照合処理と同様の処理を行うこともできる。そして、顔が検出されたカメラ１０から一定の範囲内に設置されたカメラ１０の画像を所定時間遡って照合して検出処理することで、移動経路を推定することができる。
【００６２】
上述してきたように、本実施例では、各拠点に配置された１次照合装置３０では、カメラ１０で撮像され顔検出装置２０で検出された入力顔画像データを平均顔テンプレート３２ａと照合処理して所定のしきい値以上である場合に入力顔画像データを２次照合装置６０に送信し、２次照合装置では、この入力顔画像データを顔テンプレートと照合処理するよう構成したので、セキュリティ対策が講じられていない拠点に顔テンプレートを置く必要がなくなるため、情報の漏洩を防止することができる。併せて、カメラ１０の設置台数が累増した場合であっても、２次照合装置６０の処理負荷を軽減することができる。
【００６３】
なお、上記実施例では、４台のカメラ１０、４台の顔検出装置２０、２台の１次照合装置３０及び１台の２次照合装置６０を用いた場合を示したが、本発明はこれに限定されるものではなく、より多くのカメラ１０等を設けた場合に適用することができる。特に、数千〜数万台のカメラ１０を設けた場合で適している。この場合であっても、２次照合装置６０の処理負荷を軽減するとともに、監視対象者の情報漏洩を防止することができる。
【００６４】
また、上記実施例では、平均顔テンプレートを生成する際に、複数の監視対象者の顔のパーツを平均化する場合を示したが、平均化に伴う監視対象者の個人特徴の喪失を防ぐために、監視対象者の顔パーツのうちの特異な顔パーツを重み付け処理することもできる。また、多数の監視対象者の顔画像データを用いて１つの平均顔テンプレートのみを生成すると、個人特徴を喪失する可能性が高まるため、所定人数毎（例えば１０人）に平均顔テンプレートを生成することが考えられる。この場合、抽出した特徴が似ているものをグループとすることが望ましい。例えば、特徴量の空間で、所定の距離の範囲内にある顔で平均顔を生成することが望まれる。
【００６５】
さらに、上記実施例では、具体的な事例への言及を省略したが、民間の監視カメラを用いた警察庁によるテロリストや指名手配被疑者の検挙や、事業所内の構内監視システム、ゴト師や万引き容疑人物の検知等に用いることができる。
【００６６】
この際、処理対象とする人物をあらかじめ絞り込んでサーバの処理を軽減することもできる。例えば、駅の自動改札を通過する人をカメラ１０で撮影する場合に、定期券を持った人物を処理対象から除外することで絞り込みを行うことができる。この場合には、あらかじめ定期券の購入時に定期券購入者を非検出対象者として事前登録しておき、改札機にて読み取った人物のうち定期券購入者を非検出対象者として照合処理から除外することになる。また、定期券交換によるなりすましについては、定期券によりＩＤが判明しているので１対１照合することができるため、サーバの負荷は比較的低い。さらに、地方からの出張者や旅行者などに対しては、通行数の少ない地方の駅のサーバで処理して非検出対象者であることが判明したならば、そのチケットを所持する人物を照合対象から除外することができる。
【００６７】
また、上記実施例では、合成顔テンプレートの一例として平均顔テンプレートを用いる場合を示したが、本発明はこれに限定されるものではなく、複数の顔画像データから生成したモンタージュやモーフィングを用いることもできる。
【産業上の利用可能性】
【００６８】
以上のように、本発明に係る顔照合システム、顔照合装置及び顔照合方法は、多数の監視カメラで入力顔画像データを取得し、この入力顔画像データを顔テンプレートと照合処理する場合に、照合処理を行う顔照合装置の処理負荷を軽減しつつ、顔テンプレートの漏洩を効率良く抑制する場合に適している。
【符号の説明】
【００６９】
１０ カメラ
２０ 顔検出装置
２１ インタフェース部
２２ 記憶部
２３ 制御部
２３ａ 顔検出処理部
２３ｂ カメラ位置制御部
３０ １次照合装置
３１ インタフェース部
３２ 記憶部
３２ａ 平均顔テンプレート
３３ 制御部
３３ａ 平均顔照合処理部
３３ｂ 自動しきい値設定部３３ｂ
４０ ネットワーク
５０ 運用管理装置
５１ 入力部
５２ 表示部
５３ インタフェース部
５４ 記憶部
５４ａ 登録データ
５４ｂ 顔テンプレート
５４ｃ 平均顔テンプレート
５５ 制御部
６０ ２次照合装置
６１ インタフェース部
６２ 記憶部
６２ａ 顔テンプレート
６３ 制御部
６３ａ 顔照合処理部
７０ 運用管理装置
７１ 身体テンプレート
７２ 追跡処理部
７３ 身体テンプレート生成部
【技術分野】
【０００１】
この発明は、多数の監視カメラで入力顔画像データを取得し、この入力顔画像データを顔テンプレートと照合処理する場合に、照合処理を行う装置の処理負荷を軽減しつつ、顔テンプレートの漏洩を効率良く抑制する顔照合システム、顔照合装置及び顔照合方法に関する。
【背景技術】
【０００２】
従来、監視対象者の顔画像の参照データ（以下、「顔テンプレート」と言う）をあらかじめ登録しておき、監視カメラで撮影した映像から人物の顔画像データ（以下、「入力顔画像データ」と言う）を切り出し、切り出した入力顔画像データを顔テンプレートと照合処理する従来技術が知られている。
【０００３】
ここで、顔画像の照合処理を行う顔画像照合装置に接続される監視カメラの台数が増えれば増えるほど、顔画像照合装置の処理負荷が累増するため、かかる顔画像照合装置の処理負荷を軽減する先行技術が提案されている。例えば、特許文献１には、複数台の監視カメラをコンピュータに接続するとともに、該監視カメラに顔テンプレートを登録しておき、照合処理が成功した場合に入力顔画像データをコンピュータに送信することで、監視に必要なコンピュータの労力を軽減する技術が開示されている。
【０００４】
また、特許文献２には、監視カメラ側で処理が必要な映像フレームにインデックスを入れ、センタ側でインデックスの付いた画像を処理することで、高速かつ高精度に照合処理を行う技術が開示されている。さらに、特許文献３には、監視カメラで取得した画像から認証された人物と監視者とが対応付けられている場合に、監視者に対して人物の画像を公開することで、プライバシーを守ることができる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１５８４２１号公報
【特許文献２】特開２００７−２３３４９５号公報
【特許文献３】特開２００７−３１８３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１のものは、監視カメラがセキュリティエリア以外の場所に設置された場合に、監視カメラ内に登録した顔テンプレートが漏洩する可能性がある。ここで、顔テンプレートが特徴量データである場合に、第三者が一見して顔そのものを視認できないが、かかる特徴量データであっても個人を特定できるデータであることに変わりはないので、第三者への漏洩は問題となる。特に、設置される監視カメラの台数が増えれば増えるほど、かかる漏洩のリスクは増大する。監視対象者の顔テンプレートを厳格に管理する必要がある場合に、上記特許文献１のものでは不十分となる。
【０００７】
また、上記特許文献２のものは、上記顔テンプレートの漏洩のリスクはないものの、結局はセンタ側で顔照合処理を行うことになるので、設置される監視カメラの台数が増えればセンタの処理負荷が増加する。特に、駅構内、空港及び街頭に設置される監視カメラを用いる場合には、数千〜数万台の監視カメラが対象となるため、たとえ特許文献２を用いたとしてもセンタによる顔照合処理の処理負荷は膨大なものとなる。
【０００８】
さらに、上記特許文献３によれば、監視者に提供する公開画像を制限することでプライバシーを守ることができる反面で、ネットワークに接続された監視カメラの台数が増加すると、監視カメラで取得した画像を照合処理するセンタでの処理負荷が増大すると言う問題点がある。
【０００９】
これらのことから、多数の監視カメラで入力顔画像データを取得し、この入力顔画像データを顔テンプレートと照合処理する場合に、照合処理を行う顔照合装置の処理負荷をいかに軽減するか、顔テンプレートの漏洩をいかに防止するかが重要な課題となっている。
【００１０】
本発明は、上述した課題を解決するためになされたものであって、多数の監視カメラで入力顔画像データを取得し、この入力顔画像データを顔テンプレートと照合処理する場合に、照合処理を行う顔照合装置の処理負荷を軽減しつつ、顔テンプレートの漏洩を効率良く抑制することができる顔照合システム、顔照合装置及び顔照合方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するため、本発明は、あらかじめ登録された複数の監視対象者の顔テンプレートと撮像装置で撮像された入力顔画像データとを顔照合処理する顔照合システムであって、複数の監視対象者の顔画像データに基づいて複数の顔テンプレート並びに合成顔テンプレートを生成するテンプレート生成装置と、複数の拠点にそれぞれ配置された複数の撮像装置と、前記撮像装置により撮像された入力顔画像データを前記テンプレート生成装置により生成された前記合成顔テンプレートと照合処理して、所定値以上の照合率を有する入力顔画像データを送信処理する１次照合装置と、前記１次照合装置から受信した入力顔画像データを前記テンプレート生成装置で生成された顔テンプレートと照合処理する２次照合装置とを備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、複数の監視対象者の顔画像データに基づいて複数の顔テンプレート並びに合成顔テンプレートを生成し、一又は複数の撮像装置により撮像された入力顔画像データを合成顔テンプレートと１次照合装置で照合処理し、所定値以上の照合率を有する入力顔画像データを顔テンプレートと２次照合装置で照合処理するよう構成したので、２次合装置の処理負荷を軽減しつつ、１次照合装置での顔テンプレートの漏洩を効率良く抑制することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本実施例に係る顔照合システムのシステム構成を示すブロック図である。
【図２】図２は、図１に示した運用管理装置の内部構成を示す機能ブロック図である。
【図３】図３は、図２に示した顔テンプレート及び平均顔テンプレートの一例を示す図である。
【図４】図４は、図１に示した１次照合装置の内部構成を示す機能ブロック図である。
【図５】図５は、自動しきい値設定を説明するための説明図である。
【図６】図６は、図１に示した２次照合装置の内部構成を示す機能ブロック図である。
【図７】図７は、図１に示した顔検出装置の内部構成を示す機能ブロック図である。
【図８】図８は、図１に示した運用管理装置による顔テンプレート及び平均顔テンプレートの登録処理手順を示すフローチャートである。
【図９】図９は、図１に示した１次照合装置及び２次照合装置による照合処理を経て、入力顔画像データを表示するまでの処理手順を示すフローチャートである。
【図１０】図１０は、運用管理装置の別の例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下に、添付図面を参照して、本発明に係る顔照合システム、顔照合装置及び顔照合方法の好適な実施例を詳細に説明する。本実施例では、合成顔テンプレートの一例として平均顔テンプレートを用いた場合について説明する。なお、本実施例では、説明の便宜上、４台のカメラ、２台の１次照合装置及び１台の２次照合装置を用いた簡易的な構成を採用した場合について説明するが、本発明はこれに限定されるものではなく膨大な数のカメラ等を収容する場合に適用することもできる。
【実施例】
【００１５】
まず、本実施例に係る顔照合システムのシステム構成について説明する。図１は、本実施例に係る顔照合システムのシステム構成を示すブロック図である。同図に示すように、この顔照合システムでは、センタに配設された運用管理装置５０及び２次照合装置６０と、拠点Ａに配設された１次照合装置３０ａ及び拠点Ｂに配設された１次照合装置３０ｂとがネットワーク４０を介して接続される。また、１次照合装置３０ａは、顔検出装置２０ａ及び２０ｂを介してカメラ１０ａ及び１０ｂと接続され、１次照合装置３０ｂは、顔検出装置２０ｃ及び２０ｄを介してカメラ１０ｃ及び１０ｄと接続されている。
【００１６】
ここで、かかるセンタは、入退出管理等のセキュリティ対策が厳重に講じられた区域であり、不正者による顔テンプレートの不正な持ち出しが抑制されている。一方、拠点Ａ及びＢは、上記センタほどのセキュリティ対策が講じられていない区域である。なお、カメラ１０ａ〜１０ｄをカメラ１０と総称し、顔検出装置２０ａ〜２０ｄを顔検出装置２０と総称し、１次照合装置３０ａ〜３０ｂを１次照合装置３０と総称する。カメラ１０ａ〜１０ｄ、顔検出装置２０ａ〜２０ｄ及び１次照合装置３０ａ〜３０ｂは、それぞれ同じ機能を有する装置である。
【００１７】
カメラ１０は、動画像を撮像できるＣＣＤ素子（Charge Coupled Device Image Sensor）からなるカメラである。このカメラ１０には、その取付け角度を自動制御する制御機構が設けられており、顔検出装置２０からの制御信号により画角等が制御される。
【００１８】
顔検出装置２０は、カメラ１０から受信した動画像データから人の顔画像を検出し、検出した顔画像データを１次照合装置３０に送信する装置である。動画像データから顔画像データを検出する場合には、動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術等により判定する。人の顔部分が存在すると判定した場合には、静止画像データから顔部分の部分画像データ（以下、「入力顔画像データ」と言う）を切り出して、１次照合装置３０に送信することになる。
【００１９】
また、この顔検出装置２０は、所定の位置に存在すべき基準物の基準座標位置をあらかじめ登録しておき、動画像データから取り出した静止画像データに存在する基準物の座標位置と基準座標位置との間に所定値以上の位置ずれが存在する場合には、その位置ずれ量を算出して位置ずれ量を補正するための制御信号をカメラ１０の制御機構に送信する。この制御信号を受信した制御機構は、自動的にカメラ１０の画角等を変更する。このように、カメラ１０の画角等を自動変更することにより、カメラ１０を操作して別の方向を見た場合や、物が当たるなどしてカメラ１０の方向がずれてしまった場合に、監視すべき方向へ戻すことができる。
【００２０】
１次照合装置３０は、運用管理装置５０から送信され、複数の監視対象者の顔画像データを平均化した平均顔テンプレート３２ａをあらかじめ記憶部３２に記憶し、顔検出装置２０で検出された入力顔画像データと記憶部３２に記憶した平均顔テンプレート３２ａとの照合値を算出し、その照合値が所定のしきい値以上である場合に、入力顔画像データを２次照合装置６０に対して送信する処理部である。この照合値は、入力顔画像データが平均顔テンプレート３２ａと近いほど高い値となるものであり、例えば相互相関値等の従来技術を用いて算出することができる。
【００２１】
このように、かかる１次照合装置３０は、複数の監視対象者の顔画像データそのものではなく、これらの監視対象者の顔画像データを平均化した平均顔テンプレート３２ａを記憶部３２に記憶することとしたので、１次照合装置３０がセキュリティ対策の不十分な区域に配置された場合であっても、監視対象者の顔画像データそのものが漏洩する状況を回避することができる。
【００２２】
また、この１次照合装置３０は、カメラ１０の設置時又は該カメラ１０の運用開始時に、学習期間としてカメラ１０の前を通行する監視対象者を含まない非監視対象者を一定時間撮像し、各カメラ１０から顔検出装置２０を介して受信した入力顔画像データと平均顔テンプレート３２ａとの照合値を計算し、その照合値の分布に基づいてしきい値を自動設定する。これにより、学習が完了した後は、カメラ１０ごとの最適なしきい値を自動設定することができる。
【００２３】
２次照合装置６０は、運用管理装置５０から送信され、複数の監視対象者の顔画像データからなる複数の顔テンプレート６２ａをあらかじめ記憶部６２に記憶し、１次照合装置３０から受信した入力顔画像データと記憶部６２に記憶した顔テンプレート６２ａとの照合値を算出し、その照合値が所定のしきい値以上である場合に、該入力顔画像データ並びに顔テンプレート６２ａに対応する監視対象者の識別情報を運用管理装置５０に対して送信する処理部である。
【００２４】
このように、かかる２次照合装置６０は、複数の監視対象者の顔テンプレート６２すなわち顔画像データそのものと入力顔画像データとを照合処理することとしたので、正確な照合を行うことができる。この際、１次照合装置３０でフィルタリングされた入力顔画像データのみを照合対象としているため、処理負荷を軽減することができる。特に、カメラ１０の台数が膨大な数にのぼる場合に効果的である。
【００２５】
運用管理装置５０は、顔照合システム全体の運用管理を行う装置である。具体的には、監視対象者の画像データを識別情報並びに氏名、住所、照合対象理由等の登録情報とともに登録する。かかる監視対象者の画像データは、他のサーバ装置や記憶デバイスから取得する。
【００２６】
また、この運用管理装置５０は、監視対象者の画像データから顔テンプレート及び平均顔テンプレートを生成して２次照合装置６０に送信するとともに、複数の監視対象者の顔テンプレートを平均化して平均顔テンプレートを生成して１次照合装置３０に送信する。なお、かかる顔テンプレート及び平均顔テンプレートは、運用管理装置５０内部にも記憶する。
【００２７】
また、この運用管理装置５０は、２次照合装置６０から入力顔画像データ及び識別情報を受信したならば、この識別情報を用いて顔テンプレート及び属性情報を検索し、入力顔画像データ、顔テンプレート及び属性情報を表示部５２に表示する。なお、入力顔画像データを撮像したカメラ１０の位置情報等を併せて表示することもできる。かかる場合には、カメラ１０の位置情報を１次照合装置３０から取得する必要がある。
【００２８】
次に、図１に示した運用管理装置５０の構成を具体的に説明する。図２は、図１に示した運用管理装置５０の内部構成を示す機能ブロック図である。同図に示すように、この運用管理装置５０は、入力部５１、表示部５２、インタフェース部５３、記憶部５４及び制御部５５を有する。入力部５１は、キーボードやマウスからなる入力デバイスであり、表示部５２は、液晶パネルやディスプレイ装置からなる表示デバイスである。インタフェース部５３は、ＬＡＮ及びネットワーク４０を介して他装置とデータ通信を行うためのインタフェース部である。
【００２９】
記憶部５４は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、登録データ５４ａ、顔テンプレート５４ｂ及び平均顔テンプレート５４ｃを記憶する。登録データ５４ａは、各監視対象者の顔画像データ並びに氏名、住所及び登録理由等の属性情報を該監視対象者の識別情報に対応づけたデータである。顔テンプレート５４ｂは、図３（ａ）に示すように監視対象者の顔を複数の向きから見た顔画像データである。平均顔テンプレート５４ｃは、図３（ｃ）に示すように複数の識別対象者の顔画像を平均化した顔画像データである。
【００３０】
制御部５５は、運用管理装置５０を全体制御する制御装置であり、顔テンプレート生成部５５ａ、平均顔テンプレート生成部５５ｂ及び運用管理部５５ｃを有する。顔テンプレート生成部５５ａは、図３（ａ）に示すように監視対象者の顔写真の画像データから顔部分の部分画像データを切り出し、周知の画像処理技術を用いてこの部分画像データ内の顔の向きを変えつつ１０個の顔画像データからなる顔テンプレートを生成する。
【００３１】
平均顔テンプレート生成部５５ｂは、図３（ｂ）に示すように、複数の監視対象者の顔写真から顔の部分画像データを切り出し、切り出した部分画像データの顔パーツ（目、鼻、口）等を平均化したものである。なお、平均顔を生成する際には、様々な従来技術を用いることができる。
【００３２】
運用管理部５５ｃは、顔照合システム全体の運用管理を行う処理部であり、カメラ１０、顔検出装置２０、１次照合装置３０又は２次照合装置を新たに登録する処理や、これらの登録済み装置を抹消する処理を行う。また、この運用管理部５５ｃは、２次照合装置６０から入力顔画像データ及び識別情報を受信したならば、この識別情報に対応する顔画像データ、顔テンプレート及び登録情報を検索し、入力顔画像データとともに表示部５２に表示する処理を行う。
【００３３】
次に、図１に示した１次照合装置３０の内部構成について説明する。図４は、図１に示した１次照合装置３０の内部構成を示す機能ブロック図である。同図に示すように、この１次照合装置３０は、インタフェース部３１、記憶部３２及び制御部３３を有する。インタフェース部３１は、ネットワーク４０を介して他装置とデータ通信を行うためのインタフェース部である。
【００３４】
記憶部３２は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、平均顔テンプレート３２ａを記憶する。この平均顔テンプレート３２ａは、図２に示した運用管理装置５０から送信されたものであり、運用管理装置５０の記憶部５４に記憶した平均顔テンプレート５４ｃと同じものである。
【００３５】
制御部３３は、１次照合装置３０を全体制御する制御部であり、平均顔照合処理部３３ａ及び自動しきい値設定部３３ｂを有する。平均顔照合処理部３３ａは、顔検出装置２０から受信した入力顔画像データと記憶部３２に記憶した平均顔テンプレート３２ａとの照合処理を行い、この照合値が所定のしきい値以上である場合に、入力顔画像データを２次照合装置６０に送信する処理部である。なお、かかる照合処理には、相互相関処理等の各種従来技術を用いることができる。
【００３６】
自動しきい値設定部３３ｂは、カメラ１０の設置時又は該カメラ１０の運用開始時に、学習期間としてカメラ１０の前を通行する監視対象者を含まない非監視対象者を一定時間撮像し、各カメラ１０から顔検出装置２０を介して受信した入力顔画像データと平均顔テンプレート３２ａとの照合値を計算し、その照合値の分布に基づいてしきい値を自動設定する処理部である。
【００３７】
具体的には、入力顔画像データと平均顔テンプレート３２ａとの照合値のヒストグラムが、図５に示すような分布関数となった場合には、この分布関数の平均、分散、標準偏差σを求め、例えば３σをしきい値として設定すれば良い。
【００３８】
これにより、学習が完了した後は、カメラ１０ごとの最適なしきい値を自動設定することができる。カメラ１０ごとに性能、撮影角度、照明環境などがそれぞれ異なる場合があるからである。なお、顔の向きごと、平均顔テンプレート３２ａが複数存在する場合には平均顔テンプレート３２ａごとにしきい値を自動設定することもできる。
【００３９】
次に、図１に示した２次照合装置６０の内部構成について説明する。図６は、図１に示した２次照合装置６０の内部構成を示す機能ブロック図である。同図に示すように、この２次照合装置６０は、インタフェース部６１、記憶部６２及び制御部６３を有する。インタフェース部６１は、ＬＡＮ及びネットワーク４０を介して他装置とデータ通信を行うためのインタフェース部である。
【００４０】
記憶部６２は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、複数の顔テンプレート６２ａを記憶する。この顔テンプレート６２ａは、図２に示した運用管理装置５０から送信されたものであり、運用管理装置５０の記憶部５４に記憶した顔テンプレート５４ｂと同じものである。
【００４１】
制御部６３は、２次照合装置６０を全体制御する制御部であり、顔照合処理部６３ａを有する。顔照合処理部６３ａは、１次照合装置３０から受信した入力顔画像データと記憶部６２に記憶した複数の顔テンプレート６２ａとの照合処理を行い、この照合値が所定のしきい値以上である場合に、入力顔画像データ及び識別情報を運用管理装置５０に送信する処理部である。なお、かかる照合処理についても、相互相関処理等の各種従来技術を用いることができる。
【００４２】
次に、図１に示した顔検出装置２０の内部構成について説明する。図７は、図１に示した顔検出装置２０の内部構成を示す機能ブロック図である。同図に示すように、この顔検出装置２０は、インタフェース部２１、記憶部２２及び制御部２３を有する。インタフェース部２１は、カメラ１０及び１次照合装置３０とデータ通信を行うためのインタフェース部である。
【００４３】
記憶部２２は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、カメラ１０から受信した動画像データを一時記憶する。一時記憶した動画像データは、運用管理装置５０から要求された場合に、該運用管理装置５０に対して送信する。
【００４４】
制御部２３は、顔検出装置２０を全体制御する制御部であり、顔検出処理部２３ａ及びカメラ位置制御部２３ｂを有する。顔検出処理部２３ａは、カメラ１０から受信した動画像データを記憶部２２に記憶するとともに、該動画像データから人の顔画像を検出し、検出した顔画像データを１次照合装置３０に送信する処理部である。具体的には、動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術等により判定する。
【００４５】
カメラ位置制御部２３ｂは、所定の位置に存在すべき基準物の基準座標位置をあらかじめ登録しておき、動画像データから取り出した静止画像に存在する基準物の座標位置と基準座標位置との間に所定値以上の位置ずれが存在する場合には、その位置ずれ量を算出して位置ずれ量を補正するための制御信号をカメラ１０の制御機構に送信する。
【００４６】
次に、顔テンプレート及び平均顔テンプレートの登録処理手順について説明する。図８は、図１に示した運用管理装置５０による顔テンプレート及び平均顔テンプレートの登録処理手順を示すフローチャートである。
【００４７】
図８に示すように、運用管理装置５０は、他のサーバ装置又は記憶デバイスから顔写真データを取り込み、識別情報を付与しつつ属性情報の登録を終えたならば（ステップＳ１０１）、顔テンプレートを生成する（ステップＳ１０２）。具体的には、図３（ａ）に示すように、テンプレートマッチング等を用いて顔写真データから顔の部分画像データを切り出し、この部分画像データ内の顔の向きを既存の画像処理技術で変えつつ１０個の顔画像データを生成し、これを顔テンプレートとする。
【００４８】
その後、平均顔テンプレートを生成する（ステップＳ１０３）。具体的には、図３（ｂ）に示すように、複数の顔写真から顔の部分画像データを切り出し、既存技術を用いて顔パーツを平均化しつつ平均顔を生成する。
【００４９】
そして、生成した顔テンプレート５４ｂ及び平均顔テンプレート５４ｃを記憶部５４に記憶した後（ステップＳ１０４）、他の顔写真データが存在する場合には（ステップＳ１０５；Ｙｅｓ）ステップＳ１０１に移行して同様の処理を繰り返す。
【００５０】
一方、他の顔写真データが存在しない場合には（ステップＳ１０５；Ｎｏ）、顔テンプレートを２次照合装置６０に送信するとともに（ステップＳ１０６）、平均顔テンプレートを１次照合装置３０に対して送信する（ステップＳ１０７）。
【００５１】
２次照合装置６０は、かかる顔テンプレートを受信したならば（ステップＳ１０８；Ｙｅｓ）、受信した顔テンプレートを記憶部６２に登録する（ステップＳ１０９）。同様に、１次照合装置３０は、上記平均顔テンプレートを受信したならば（ステップＳ１１０；Ｙｅｓ）、受信した平均顔テンプレートを記憶部３２に登録する（ステップＳ１１１）。
【００５２】
上記一連の処理を行うことにより、１次照合装置３０に平均顔テンプレート３２ａを登録するとともに、２次照合装置６０に顔テンプレート６２ａを登録して、顔照合処理を行う準備が完了することになる。
【００５３】
次に、図１に示した１次照合装置３０及び２次照合装置６０による照合処理を経て、入力顔画像データを表示するまでの処理手順について説明する。図９は、図１に示した１次照合装置３０及び２次照合装置６０による照合処理を経て、入力顔画像データを表示するまでの処理手順を示すフローチャートである。
【００５４】
まず、カメラ１０により撮像された動画像データが顔検出装置２０が受信し、顔検出装置２０が動画像データから静止画像データを切り出して人の顔画像データを抽出して、これを入力顔画像データとして１次照合装置３０に送信する。
【００５５】
１次照合装置３０は、この入力顔画像データを受信したならば（ステップＳ２０１；Ｙｅｓ）、この入力顔画像データを平均顔テンプレート３２ａと照合する平均顔照合処理を行い（ステップＳ２０２）、照合値が所定のしきい値以上である場合には（ステップＳ２０３；Ｙｅｓ）、入力顔画像データを２次照合装置６０に対して送信する（ステップＳ２０４）。なお、照合値が所定のしきい値未満である場合には（ステップＳ２０３；Ｎｏ）、入力顔画像データを２次照合装置６０に対して送信しない。
【００５６】
２次照合装置６０は、この入力顔画像データを受信したならば（ステップＳ２０５；Ｙｅｓ）、この入力顔画像データを顔テンプレート６２ａと照合する顔照合処理を行い（ステップＳ２０６）、照合値が所定のしきい値以上である場合には（ステップＳ２０７；Ｙｅｓ）、入力顔画像データ及び識別情報を運用管理装置５０に対して送信する（ステップＳ２０８）。なお、照合値が所定のしきい値未満である場合には（ステップＳ２０７；Ｎｏ）、入力顔画像データ及び識別情報を運用管理装置５０に対して送信しない。
【００５７】
運用管理装置５０は、入力顔画像データ及び識別情報を受信したならば（ステップＳ２０９；Ｙｅｓ）、この識別情報を用いて顔テンプレート及び属性情報を検索し、入力顔画像データ、顔テンプレート及び属性情報を表示する（ステップＳ２１０）。なお、この属性情報には、監視対象者の氏名、住所、照合対象とされた理由等のほか、顔写真データも含まれる。
【００５８】
なお、図１０に示したように、運用管理装置７０の制御部５５内に追跡処理部７２及び身体テンプレート生成部７３を設けることもできる。追跡処理部７２は、監視対象者の存在位置を追跡処理する処理部である。すでに説明した一連の処理を通じて、カメラ１０により撮像された動画像データ内に監視対象者が存在すれば、この監視対象者の入力顔画像データ等が運用管理装置７０に通知される。
【００５９】
ここで、運用管理装置７０は、最終的な入力顔画像データを受信する際に併せてカメラ１０の識別情報及び撮影時刻を受信することができれば、「該当する監視対象者がいつどこにいたか」の情報を入手できる。このため、追跡処理部７２は、２次照合装置６０から通知される情報を用いて監視対象者の行動軌跡を収集し、監視対象者の移動経路を把握するための追跡処理に利用することができる。なお、かかる追跡処理を行うためには、顔検出装置２０が１次照合装置３０に対して入力顔画像データとともにカメラ１０の識別情報及び撮影時刻を通知し、同様に１次照合装置３０が２次照合装置に対して入力顔画像データとともにカメラ１０の識別情報及び撮影時刻を通知する必要がある。なお、追跡処理の詳細については、既存技術を用いることができるが、経路予測を行いつつ追跡処理を行うことが望ましい。
【００６０】
身体テンプレート生成部７３は、監視対象者の身体テンプレート７１を生成する処理部であり、例えば、姿全体や身長、色などの外観上の特徴や、歩き方などの動作の特徴の特徴量を身体テンプレート７１とすることができる。
【００６１】
具体的には、図３（ａ）に示した顔テンプレートと同様のものを体全体の写真から生成し、生成した身体テンプレート７１を１次照合装置３０に対して送信するとともに、記憶部５４内に記憶する。この身体テンプレート７１を受信した１次照合装置３０は、身体テンプレート７１を用いた照合処理によって所定の照合率以上の結果が得られた場合に、運用管理装置７０に対してその結果を通知することになる。かかる身体テンプレート７１を用いた処理を行うことにより、動画像データ内に監視対象者の顔が撮像されていない場合であっても追跡処理を行うことができる。なお、平均身体テンプレートを生成して１次照合装置３０に送信するとともに、身体テンプレート７１を２次照合装置６０に送信し、上記顔画像を用いた照合処理と同様の処理を行うこともできる。そして、顔が検出されたカメラ１０から一定の範囲内に設置されたカメラ１０の画像を所定時間遡って照合して検出処理することで、移動経路を推定することができる。
【００６２】
上述してきたように、本実施例では、各拠点に配置された１次照合装置３０では、カメラ１０で撮像され顔検出装置２０で検出された入力顔画像データを平均顔テンプレート３２ａと照合処理して所定のしきい値以上である場合に入力顔画像データを２次照合装置６０に送信し、２次照合装置では、この入力顔画像データを顔テンプレートと照合処理するよう構成したので、セキュリティ対策が講じられていない拠点に顔テンプレートを置く必要がなくなるため、情報の漏洩を防止することができる。併せて、カメラ１０の設置台数が累増した場合であっても、２次照合装置６０の処理負荷を軽減することができる。
【００６３】
なお、上記実施例では、４台のカメラ１０、４台の顔検出装置２０、２台の１次照合装置３０及び１台の２次照合装置６０を用いた場合を示したが、本発明はこれに限定されるものではなく、より多くのカメラ１０等を設けた場合に適用することができる。特に、数千〜数万台のカメラ１０を設けた場合で適している。この場合であっても、２次照合装置６０の処理負荷を軽減するとともに、監視対象者の情報漏洩を防止することができる。
【００６４】
また、上記実施例では、平均顔テンプレートを生成する際に、複数の監視対象者の顔のパーツを平均化する場合を示したが、平均化に伴う監視対象者の個人特徴の喪失を防ぐために、監視対象者の顔パーツのうちの特異な顔パーツを重み付け処理することもできる。また、多数の監視対象者の顔画像データを用いて１つの平均顔テンプレートのみを生成すると、個人特徴を喪失する可能性が高まるため、所定人数毎（例えば１０人）に平均顔テンプレートを生成することが考えられる。この場合、抽出した特徴が似ているものをグループとすることが望ましい。例えば、特徴量の空間で、所定の距離の範囲内にある顔で平均顔を生成することが望まれる。
【００６５】
さらに、上記実施例では、具体的な事例への言及を省略したが、民間の監視カメラを用いた警察庁によるテロリストや指名手配被疑者の検挙や、事業所内の構内監視システム、ゴト師や万引き容疑人物の検知等に用いることができる。
【００６６】
この際、処理対象とする人物をあらかじめ絞り込んでサーバの処理を軽減することもできる。例えば、駅の自動改札を通過する人をカメラ１０で撮影する場合に、定期券を持った人物を処理対象から除外することで絞り込みを行うことができる。この場合には、あらかじめ定期券の購入時に定期券購入者を非検出対象者として事前登録しておき、改札機にて読み取った人物のうち定期券購入者を非検出対象者として照合処理から除外することになる。また、定期券交換によるなりすましについては、定期券によりＩＤが判明しているので１対１照合することができるため、サーバの負荷は比較的低い。さらに、地方からの出張者や旅行者などに対しては、通行数の少ない地方の駅のサーバで処理して非検出対象者であることが判明したならば、そのチケットを所持する人物を照合対象から除外することができる。
【００６７】
また、上記実施例では、合成顔テンプレートの一例として平均顔テンプレートを用いる場合を示したが、本発明はこれに限定されるものではなく、複数の顔画像データから生成したモンタージュやモーフィングを用いることもできる。
【産業上の利用可能性】
【００６８】
以上のように、本発明に係る顔照合システム、顔照合装置及び顔照合方法は、多数の監視カメラで入力顔画像データを取得し、この入力顔画像データを顔テンプレートと照合処理する場合に、照合処理を行う顔照合装置の処理負荷を軽減しつつ、顔テンプレートの漏洩を効率良く抑制する場合に適している。
【符号の説明】
【００６９】
１０ カメラ
２０ 顔検出装置
２１ インタフェース部
２２ 記憶部
２３ 制御部
２３ａ 顔検出処理部
２３ｂ カメラ位置制御部
３０ １次照合装置
３１ インタフェース部
３２ 記憶部
３２ａ 平均顔テンプレート
３３ 制御部
３３ａ 平均顔照合処理部
３３ｂ 自動しきい値設定部３３ｂ
４０ ネットワーク
５０ 運用管理装置
５１ 入力部
５２ 表示部
５３ インタフェース部
５４ 記憶部
５４ａ 登録データ
５４ｂ 顔テンプレート
５４ｃ 平均顔テンプレート
５５ 制御部
６０ ２次照合装置
６１ インタフェース部
６２ 記憶部
６２ａ 顔テンプレート
６３ 制御部
６３ａ 顔照合処理部
７０ 運用管理装置
７１ 身体テンプレート
７２ 追跡処理部
７３ 身体テンプレート生成部
【特許請求の範囲】
【請求項１】
あらかじめ登録された複数の監視対象者の顔テンプレートと撮像装置で撮像された入力顔画像データとを顔照合処理する顔照合システムであって、
複数の監視対象者の顔画像データに基づいて複数の顔テンプレート並びに合成顔テンプレートを生成するテンプレート生成装置と、
複数の拠点にそれぞれ配置された複数の撮像装置と、
前記撮像装置により撮像された入力顔画像データを前記テンプレート生成装置により生成された前記合成顔テンプレートと照合処理して、所定値以上の照合率を有する入力顔画像データを送信処理する１次照合装置と、
前記１次照合装置から受信した入力顔画像データを前記テンプレート生成装置で生成された顔テンプレートと照合処理する２次照合装置と
を備えたことを特徴とする顔照合システム。
【請求項２】
前記１次照合装置は一又は複数の撮像装置とともに各拠点に配置され、前記２次照合装置は入退出管理等のセキュリティ対策が講じられたセンタに配置されることを特徴とする請求項１に記載の顔照合システム。
【請求項３】
前記１次照合装置は、前記撮像装置により所定の期間撮像された入力顔画像データと前記合成顔テンプレートとを照合処理した照合率の分布に基づいて前記送信処理対象とする所定値を自動設定することを特徴とする請求項１又は２に記載の顔照合システム。
【請求項４】
前記１次照合装置は、前記撮像装置により撮像された入力顔画像データ内に所在する基準物と該基準物の正規の所在位置との位置ずれ量を前記撮像装置に通知し、前記撮像装置は、前記１次照合装置から受信した位置ずれ量に基づいて画角を制御することを特徴とする請求項１、２又は３に記載の顔照合システム。
【請求項５】
前記２次照合装置は、前記１次照合装置から受信した入力顔画像データと前記顔テンプレートとを照合処理した照合処理結果に基づいて、該当する監視対象者の追跡情報を生成することを特徴とする請求項１〜４のいずれか一つに記載の顔照合システム。
【請求項６】
あらかじめ登録された複数の監視対象者の顔テンプレートと撮像装置で撮像された入力顔画像データとを顔照合処理する顔照合方法であって、
複数の監視対象者の顔画像データに基づいて複数の顔テンプレート並びに合成顔テンプレートを生成するテンプレート生成工程と、
一又は複数の撮像装置により撮像された入力顔画像データを前記テンプレート生成工程で生成された前記合成顔テンプレートと照合処理する１次照合工程と、
前記１次照合工程で所定値以上の照合率を有する入力顔画像データを前記テンプレート生成工程で生成された顔テンプレートと照合処理する２次照合工程と
を含んだことを特徴とする顔照合方法。
【請求項７】
あらかじめ登録された複数の監視対象者の顔テンプレートと撮像装置で撮像された入力顔画像データとを顔照合処理する顔照合装置であって、
複数の監視対象者の顔画像データに基づいて生成された合成顔テンプレートを記憶する記憶部と、
所定の撮像装置により撮像された入力顔画像データを前記記憶部に記憶された前記合成顔テンプレートと照合処理して、所定値以上の照合率を有する入力顔画像データを抽出処理する抽出処理部と
を備えたことを特徴とする顔照合装置。
【請求項１】
あらかじめ登録された複数の監視対象者の顔テンプレートと撮像装置で撮像された入力顔画像データとを顔照合処理する顔照合システムであって、
複数の監視対象者の顔画像データに基づいて複数の顔テンプレート並びに合成顔テンプレートを生成するテンプレート生成装置と、
複数の拠点にそれぞれ配置された複数の撮像装置と、
前記撮像装置により撮像された入力顔画像データを前記テンプレート生成装置により生成された前記合成顔テンプレートと照合処理して、所定値以上の照合率を有する入力顔画像データを送信処理する１次照合装置と、
前記１次照合装置から受信した入力顔画像データを前記テンプレート生成装置で生成された顔テンプレートと照合処理する２次照合装置と
を備えたことを特徴とする顔照合システム。
【請求項２】
前記１次照合装置は一又は複数の撮像装置とともに各拠点に配置され、前記２次照合装置は入退出管理等のセキュリティ対策が講じられたセンタに配置されることを特徴とする請求項１に記載の顔照合システム。
【請求項３】
前記１次照合装置は、前記撮像装置により所定の期間撮像された入力顔画像データと前記合成顔テンプレートとを照合処理した照合率の分布に基づいて前記送信処理対象とする所定値を自動設定することを特徴とする請求項１又は２に記載の顔照合システム。
【請求項４】
前記１次照合装置は、前記撮像装置により撮像された入力顔画像データ内に所在する基準物と該基準物の正規の所在位置との位置ずれ量を前記撮像装置に通知し、前記撮像装置は、前記１次照合装置から受信した位置ずれ量に基づいて画角を制御することを特徴とする請求項１、２又は３に記載の顔照合システム。
【請求項５】
前記２次照合装置は、前記１次照合装置から受信した入力顔画像データと前記顔テンプレートとを照合処理した照合処理結果に基づいて、該当する監視対象者の追跡情報を生成することを特徴とする請求項１〜４のいずれか一つに記載の顔照合システム。
【請求項６】
あらかじめ登録された複数の監視対象者の顔テンプレートと撮像装置で撮像された入力顔画像データとを顔照合処理する顔照合方法であって、
複数の監視対象者の顔画像データに基づいて複数の顔テンプレート並びに合成顔テンプレートを生成するテンプレート生成工程と、
一又は複数の撮像装置により撮像された入力顔画像データを前記テンプレート生成工程で生成された前記合成顔テンプレートと照合処理する１次照合工程と、
前記１次照合工程で所定値以上の照合率を有する入力顔画像データを前記テンプレート生成工程で生成された顔テンプレートと照合処理する２次照合工程と
を含んだことを特徴とする顔照合方法。
【請求項７】
あらかじめ登録された複数の監視対象者の顔テンプレートと撮像装置で撮像された入力顔画像データとを顔照合処理する顔照合装置であって、
複数の監視対象者の顔画像データに基づいて生成された合成顔テンプレートを記憶する記憶部と、
所定の撮像装置により撮像された入力顔画像データを前記記憶部に記憶された前記合成顔テンプレートと照合処理して、所定値以上の照合率を有する入力顔画像データを抽出処理する抽出処理部と
を備えたことを特徴とする顔照合装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１３３４１１（Ｐ２０１２−１３３４１１Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８２４１７（Ｐ２０１０−２８２４１７）
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（０００００１４３２）グローリー株式会社 (1,344)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（０００００１４３２）グローリー株式会社 (1,344)
【Ｆターム（参考）】
[ Back to top ]