顔照合システム及び顔照合方法
【課題】監視カメラの撮像環境に関する設定を自動化し、監視カメラの設置に要する労力を軽減することを課題とする。
【解決手段】照明方向検出部３３ｂ１が入力顔画像データの照明方向を検出し、学習処理部３３ｃが非監視対象者の入力顔画像データと顔テンプレートとの照合スコアの分布を照明方向毎に示す環境テーブル３２ｂを生成し、照合スコア補正部３３ｄが照合対象である入力顔画像データと顔テンプレートとの照合値を環境テーブル３２ｂに基づいて補正して、照合結果判定部３３ｅがしきい値３２ｃとの比較を行う。
【解決手段】照明方向検出部３３ｂ１が入力顔画像データの照明方向を検出し、学習処理部３３ｃが非監視対象者の入力顔画像データと顔テンプレートとの照合スコアの分布を照明方向毎に示す環境テーブル３２ｂを生成し、照合スコア補正部３３ｄが照合対象である入力顔画像データと顔テンプレートとの照合値を環境テーブル３２ｂに基づいて補正して、照合結果判定部３３ｅがしきい値３２ｃとの比較を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、あらかじめ登録された監視対象者の顔テンプレートと撮像装置により撮像された入力顔画像データとを顔照合処理する顔照合システム及び顔照合方法に関し、特に、撮像装置の撮像環境に関する設定を自動化し、監視カメラの設置に要する労力を軽減することのできる顔照合システム及び顔照合方法に関する。
【背景技術】
【０００２】
従来、監視カメラで撮像した映像から切り出した監視対象者の顔画像を参照データ（以下、「顔テンプレート」と言う）として登録しておき、監視カメラで撮像した映像から人物の顔画像データ（以下、「入力顔画像データ」と言う）を切り出し、切り出した入力顔画像データを顔テンプレートと照合処理する従来技術が知られている。
【０００３】
また、複数の監視カメラで同一の顔テンプレートを用いて照合処理を行う技術も知られている。例えば、特許文献１には、複数台の監視カメラをコンピュータに接続するとともに、該監視カメラに顔テンプレートを登録しておき、照合処理が成功した場合に入力顔画像データをコンピュータに送信する技術が開示されている。
【０００４】
複数の監視カメラで照合処理を行う場合には、監視カメラ毎に監視対象者を撮像する角度や監視対象者に当たる光の方向などの撮像環境が異なる可能性がある。監視対象者を撮像する角度が異なっても顔の認証を可能にする技術として、特許文献２には、顔画像の特徴量を算出するとともに、顔画像の顔向きを検出し、特徴量との比較に用いる閾値を顔向きに基づいて補正する技術が開示されている。また、特許文献３は、２次元顔画像から光源方向を推定し、２次元顔画像にあわせて顔向きを調整した３次元形状モデルに推定された光源方向を適用して該顔向きの２次元の陰影画像を作成し、２次元顔画像に最も類似している陰影画像に対応する３次元形状モデルを選択する顔画像処理装置を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１５８４２１号公報
【特許文献２】特開２０１０−０３９５９７号公報
【特許文献３】特開２００９−２１１１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献２によれば、顔画像の顔向きを検出して特徴量を補正できるものの、照明方向が照合処理に与える影響は考慮されていない。複数の監視カメラで照合処理を行う場合には、監視カメラの設置場所の違い、すなわち撮像環境の違いによって監視対象者に当たる照明の方向も異なる。この撮像環境の違いによって、入力顔画像データと顔テンプレートとの照合値が監視カメラ毎で異なることとなる。
【０００７】
このため、上記特許文献１のように同一の顔テンプレートを使用したとしても、同一のしきい値で入力顔画像データと顔テンプレートとの照合処理を行うと、十分な精度が得られないので、監視カメラ毎に撮影環境に応じた設定を行う必要があった。
【０００８】
例えば、屋内に設置された監視カメラでは撮像対象に当たる光の方向（照明方向）が比較的安定するが、屋外に設置された監視カメラでは、時刻などにより照明方向が変化する。したがって、従来の技術では、「どの方向から光が当たるか」及び「光が当たる方向が変化するか否か」等に応じて監視カメラを設置する毎に設定を行う必要があった。このように撮影環境毎に手動で設定を行うのは、膨大な数の監視カメラを用いる大規模システムの構築を考えると現実的ではない。また、特許文献３は、光源方向を考慮しているが、３次元モデルを用いているために処理負荷が大きく、監視カメラなど多人数を大正署取る場合に適用することはできない。
【０００９】
これらのことから、監視カメラにより撮像された入力顔画像データを顔テンプレートと照合処理する場合に、監視カメラの撮像環境に関する設定をいかにして自動化し、監視カメラの設置に要する労力を軽減するかが重要な課題となっている。
【００１０】
本発明は、上述した課題を解決するためになされたものであって、監視カメラにより撮像された入力顔画像データを顔テンプレートと照合処理する場合に、監視カメラの撮像環境に関する設定を自動化し、監視カメラの設置に要する労力を軽減することのできる顔照合システム及び顔照合方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するため、本発明は、あらかじめ登録された監視対象者の顔テンプレートと、撮像装置により撮像された入力顔画像データとを顔照合処理する顔照合システムであって、前記撮像装置により撮像された複数の学習用顔画像データから光の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向きごとの照合値の分布を算出する学習手段と、前記学習手段により算出された前記光の向きごとの照合値の分布を記憶する記憶手段と、前記入力顔画像データから光の向きを検出し、検出した光の向きに対応する照合値の分布を前記記憶手段に記憶した複数の照合値の分布から取得する取得手段と、前記入力顔画像データと前記顔テンプレートとの照合値を算定する照合値算定手段と、前記照合値算定手段により算定した照合値並びに前記取得手段により取得した照合値の分布に基づいて前記入力顔画像データが前記監視対象者であるか否かを判定する判定手段とを備えたことを特徴とする。
【００１２】
また、本発明は、上記発明において、前記記憶手段は、前記光の向きごとの照合値の分布について、前記分布の平均値及び標準偏差を前記光の向きごとに記憶することを特徴とする。
【００１３】
また、本発明は、上記発明において、前記学習手段は、前記撮像装置により撮像された複数の学習用顔画像データから光の向き及び顔の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向き及び顔の向きごとの照合値の分布を算出し、前記取得手段は、前記入力顔画像データから光の向き及び顔の向きを検出し、検出した光の向き及び顔の向きに対応する照合値の分布を前記記憶手段に記憶した複数の照合値の分布から取得することを特徴とする。
【００１４】
また、本発明は、上記発明において、一又は複数の撮像装置の近傍に配設され各撮像装置と接続された複数の照合装置と、各照合装置と接続された管理装置とを備え、前記管理装置は、前記監視対象者の顔画像から前記顔テンプレートを生成し、前記複数の照合装置の各々は、前記学習手段、前記記憶手段、前記取得手段及び前記照合値算定手段を備えることを特徴とする。
【００１５】
また、本発明は、あらかじめ登録された監視対象者の顔テンプレートと、撮像装置により撮像された入力顔画像データとを顔照合処理する顔照合方法であって、前記撮像装置により撮像された複数の学習用顔画像データから光の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向きごとの照合値の分布を算出する学習工程と、前記学習工程により算出された前記光の向きごとの照合値の分布を記憶部に格納する格納工程と、前記入力顔画像データから光の向きを検出し、検出した光の向きに対応する照合値の分布を前記記憶部に格納した複数の照合値の分布から取得する取得工程と、前記入力顔画像データと前記顔テンプレートとの照合値を算定する照合値算定工程と、前記照合値算定工程により算定した照合値並びに前記取得工程により取得した照合値の分布に基づいて前記入力顔画像データが前記監視対象者であるか否かを判定する判定工程とを含んだことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、複数の学習用顔画像データと顔テンプレートとの照合値の分布を学習用顔画像データの光の向きごとに算出し、入力顔画像データと顔テンプレートとの照合値並びに入力顔画像データの光の向きに対応する照合値の分布に基づいて入力顔画像データが監視対象者であるか否かを判定するよう構成したので、監視カメラの撮像環境に関する設定を自動化し、監視カメラの設置に要する労力を軽減することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本実施例に係る顔照合システムのシステム構成を示すブロック図である。
【図２】図２は、環境テーブルについて説明するための説明図である。
【図３】図３は、図１に示した運用管理装置の内部構成を示す機能ブロック図である。
【図４】図４は、図１に示した顔テンプレートの一例を示す図である。
【図５】図５は、図１に示した照合装置の内部構成を示す機能ブロック図である。
【図６】図６は、図１に示した環境テーブルについて説明するための説明図である。
【図７】図７は、補正後の照合スコアのしきい値について説明するための説明図である。
【図８】図８は、図１に示した照合装置による学習処理手順を示すフローチャートである。
【図９】図９は、図１に示した照合装置による照合処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下に、添付図面を参照して、本発明に係る顔照合システム及び顔照合方法の好適な実施例を詳細に説明する。なお、本実施例では説明の便宜上、２台のカメラ、２台の照合装置及び１台の管理装置を用いた簡易的な構成を採用した場合について説明するが、本発明はこれに限定されるものではなく膨大な数のカメラ等を収容する場合に適用することができる。
【実施例】
【００１９】
まず、本実施例に係る顔照合システムのシステム構成について説明する。図１は、本実施例に係る顔照合システムのシステム構成を示すブロック図である。同図に示すように、この顔照合システムでは、運用管理装置５０が、拠点Ａに配設された照合装置３０ａ及び拠点Ｂに配設された照合装置３０ｂに接続される。また、照合装置３０ａはカメラ１０ａと接続され、照合装置３０ｂはカメラ１０ｂと接続されている。
【００２０】
なお、カメラ１０ａ及びカメラ１０ｂをカメラ１０と総称し、照合装置３０ａ及び照合装置３０ｂを照合装置３０と総称する。カメラ１０ａ及びカメラ１０ｂは同じ機能を有する装置であり、照合装置３０ａ及び照合装置３０ｂは同じ機能を有する装置である。
【００２１】
運用管理装置５０は、顔照合システム全体の運用管理を行う装置である。具体的には、監視対象者の画像データを識別情報並びに氏名、住所、照合対象理由等の登録情報とともに登録する。かかる監視対象者の画像データは、他のサーバ装置や記憶デバイスから取得する。
【００２２】
また、この運用管理装置５０は、監視対象者の画像データから顔テンプレートを生成して照合装置３０に送信する。なお、かかる顔テンプレートは、運用管理装置５０内部にも記憶する。
【００２３】
また、この運用管理装置５０は、照合装置３０から入力顔画像データ及び識別情報を受信したならば、この識別情報を用いて顔テンプレート及び属性情報を検索し、入力顔画像データ、顔テンプレート及び属性情報を表示部５２に表示する。なお、入力顔画像データを撮像したカメラ１０の位置情報等を併せて表示することもできる。かかる場合には、カメラ１０の位置情報を照合装置３０から取得する必要がある。
【００２４】
カメラ１０は、動画像を撮像できるＣＣＤ素子（Charge Coupled Device Image Sensor）からなるカメラである。照合装置３０は、カメラ１０から受信した動画像データから人の顔画像を検出し、検出した顔画像データを照合処理する。具体的には、照合装置３０は、動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術を用いた顔検出技術等により判定する。人の顔部分が存在すると判定した場合には、静止画像データから顔部分の部分画像データ（以下、「入力顔画像データ」と言う）を切り出す。
【００２５】
照合装置３０は、運用管理装置５０から送信され、複数の監視対象者の顔画像データからなる複数の顔テンプレート３２ａをあらかじめ記憶部３２に記憶し、入力顔画像データと記憶部３２に記憶した顔テンプレート３２ａとの照合率を照合スコア（照合値）として算出する。この照合スコアは、入力顔画像データが顔テンプレート３２ａと近いほど高い値となるものであり、例えば相互相関値を用いた顔照合技術等の従来技術を用いて算出することができる。照合装置３０は、算出した照合スコアを環境テーブル３２ｂを用いて補正し、補正した照合スコアが所定のしきい値以上である場合に、該入力顔画像データ並びに顔テンプレート３２ａに対応する監視対象者の識別情報を運用管理装置５０に対して送信する。
【００２６】
次に、環境テーブルについて具体的に説明する。図２は、環境テーブルを説明するための説明図である。照合装置３０は、カメラ１０の設置時又は該カメラ１０の運用開始時に、学習期間としてカメラ１０の前を通行する監視対象者を含まない非監視対象者を一定時間撮像する。照合装置３０は、この学習期間に撮像した動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術等により判定する。人の顔部分が存在すると判定した場合には、静止画像データから入力顔画像データを切り出し、切り出した入力顔画像データを学習用顔画像データとして学習処理を行う。
【００２７】
学習処理において照合装置３０は、学習用の入力顔画像データの各々について、顔方向、照明方向及び照合スコアを算出する。顔方向は、入力顔画像データ内の顔のカメラ１０に対する方向であり、テンプレートマッチング技術などの周知の画像処理技術によって求めることができる（例えば特許文献３参照。）。
【００２８】
照明方向は、入力顔画像データ内の顔にどの方向から光が当たっているかを示す。この照明方向は、入力顔画像データにおける画素の濃度分布から検出する。例えば、入力顔画像データを５×５のブロックに分け、各ブロックの濃度の平均を求め、最も濃度の小さい（明るい）ブロックから最も濃度の大きい（暗い）ブロックへの方向を照明方向とする。
【００２９】
照合装置３０は、顔テンプレート３２ａから入力顔画像データの顔方向に最も近い方向の顔画像データを選択して、選択した顔画像データに対する入力顔画像データの照合スコアを算出する。照合装置３０は、複数の学習用の入力顔画像データから算出した照合スコアについて照明方向毎の分布を生成する。図２では、環境テーブル３２ｂは、照明方向をＬ個に分類し、Ｎ個の顔方向について照明方向毎の照合スコアの分布を示している。
【００３０】
学習処理により環境テーブル３２ｂを生成した後、照合装置３０は、カメラ１０が撮像した動画像データから照合対象の入力顔画像データを切り出して、照合処理を行う。具体的には、照合装置３０は、カメラ１０が撮像した動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術等により判定する。人の顔部分が存在すると判定した場合には、静止画像データから入力顔画像データを照合対象として切り出して照合処理に使用する。
【００３１】
照合処理において、照合装置３０は、照合対象の入力顔画像データについて、顔方向、照明方向及び照合スコアを算出する。照合装置３０は、顔テンプレート３２ａから照合対象の入力顔画像データの顔方向に最も近い方向の顔画像データを選択して、選択した顔画像データに対する照合対象の入力顔画像データの照合スコアを算出する。
【００３２】
また、照合装置３０は、照合対象の入力顔画像データの照明方向と顔方向に基づいて環境テーブル３２ｂを参照し、照合スコアを補正する。具体的には、照合装置３０は、環境テーブル３２ｂの対応する分布により照合スコアを正規化する。そして、照合装置３０は、補正した照合スコアが所定のしきい値以上である場合に、該入力顔画像データ並びに顔テンプレート３２ａに対応する監視対象者の識別情報を運用管理装置５０に対して送信する。
【００３３】
このように、照合装置３０は、複数の学習用顔画像データと顔テンプレートとの照合値の分布を学習用顔画像データの光の向きごとに示す環境テーブル３２ｂを生成し、入力顔画像データと顔テンプレートとの照合値を入力顔画像データの光の向きに対応する照合値の分布を用いて補正するので、カメラ１０の照明方向が照合処理に与える影響を自動的に補正することができる。このため、カメラ１０を設置する際に撮像環境に合わせた設定を手動で行わなくとも、十分な照合精度が得られるのである。なお、本実施例では入力顔画像データと顔テンプレートとの照合値を入力顔画像データの光の向きに対応する照合値の分布を用いて補正し、補正した照合値を単一のしきい値と比較する場合を例に説明を行うが、例えば、入力顔画像データの光の向きに対応する照合値の分布に基づいて光の向き毎にしきい値を設定し、入力顔画像データと顔テンプレートとの照合値を光の向き毎に設定したしきい値と比較するように構成してもよい。
【００３４】
次に、図１に示した運用管理装置５０の構成を具体的に説明する。図３は、図１に示した運用管理装置５０の内部構成を示す機能ブロック図である。同図に示すように、この運用管理装置５０は、入力部５１、表示部５２、インタフェース部５３、記憶部５４及び制御部５５を有する。入力部５１は、キーボードやマウスからなる入力デバイスであり、表示部５２は、液晶パネルやディスプレイ装置からなる表示デバイスである。インタフェース部５３は、他装置とデータ通信を行うためのインタフェース部である。
【００３５】
記憶部５４は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、登録データ５４ａ及び顔テンプレート５４ｂを記憶する。登録データ５４ａは、各監視対象者の顔画像データ並びに氏名、住所及び登録理由等の属性情報を該監視対象者の識別情報に対応づけたデータである。顔テンプレート５４ｂは、図４に示すように監視対象者の顔を複数の向きから見た顔画像データである。
【００３６】
制御部５５は、運用管理装置５０を全体制御する制御装置であり、顔テンプレート生成部５５ａ及び運用管理部５５ｂを有する。顔テンプレート生成部５５ａは、図４に示すように監視対象者の顔写真の画像データから顔部分の部分画像データを切り出し、周知の画像処理技術を用いてこの部分画像データ内の顔の向きを変えつつＮ個の顔画像データからなる顔テンプレートを生成する。
【００３７】
運用管理部５５ｂは、顔照合システム全体の運用管理を行う処理部であり、カメラ１０又は照合装置３０を新たに登録する処理や、これらの登録済み装置を抹消する処理を行う。また、この運用管理部５５ｂは、照合装置３０から入力顔画像データ及び識別情報を受信したならば、この識別情報に対応する顔画像データ、顔テンプレート及び登録情報を検索し、入力顔画像データとともに表示部５２に表示する処理を行う。
【００３８】
次に、図１に示した照合装置３０の内部構成について説明する。図５は、図１に示した照合装置３０の内部構成を示す機能ブロック図である。同図に示すように、この照合装置３０は、インタフェース部３１、記憶部３２及び制御部３３を有する。インタフェース部３１は、他装置とデータ通信を行うためのインタフェース部である。
【００３９】
記憶部３２は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、顔テンプレート３２ａ、環境テーブル３２ｂ及びしきい値３２ｃを記憶する。この顔テンプレート３２ａは、図３に示した運用管理装置５０から送信されたものであり、運用管理装置５０の記憶部５４に記憶した顔テンプレート５４ｂと同じものである。環境テーブル３２ｂは、学習用顔画像データと顔テンプレートとの照合スコアの分布を照明方向毎に示すテーブルである。しきい値３２ｃは、補正した照合スコアとの比較に用いるしきい値である。
【００４０】
制御部３３は、照合装置３０を全体制御する制御部であり、顔検出処理部３３ａ、顔画像処理部３３ｂ、学習処理部３３ｃ、照合スコア補正部３３ｄ、照合結果判定部３３ｅ及び取得部３３ｆを有する。顔検出処理部３３ａは、カメラ１０から受信した動画像データを記憶部３２に記憶するとともに、該動画像データから人の顔画像を検出し、検出した入力顔画像データを顔画像処理部３３ｂに送信する処理部である。具体的には、動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術等により判定する。
【００４１】
顔画像処理部３３ｂは、照明方向検出部３３ｂ１、顔方向検出部３３ｂ２及び照合スコア算出部３３ｂ３を有する。照明方向検出部３３ｂ１は、入力顔画像データにおける画素の濃度分布から照明方向を検出する。顔方向検出部３３ｂ２は、テンプレートマッチング技術などの周知の画像処理技術を用いて入力顔画像データ内の顔のカメラ１０に対する方向を検出する。
【００４２】
照合スコア算出部３３ｂ３は、記憶部３２に記憶された顔テンプレート３２ａから入力顔画像データの顔方向に最も近い方向の顔画像データを読み出して、読み出した顔画像データに対する入力顔画像データの照合スコアを算出する。なお、かかる照合スコアの算出には、相互相関処理等の各種従来技術を用いることができる。
【００４３】
顔画像処理部３３ｂは、照明方向検出部３３ｂ１により検出された照明方向、顔方向検出部３３ｂ２により検出された顔方向及び照合スコア算出部３３ｂ３により算出された照合スコアを出力する。
【００４４】
学習処理部３３ｃは、顔画像処理部３３ｂが出力した照明方向、顔方向及び照合スコアを用いて環境テーブル３２ｂを生成し、記憶部３２に記憶させる。環境テーブル３２ｂは、図６に示したように、顔方向及び照明方向に対して、学習データ数、照合スコア平均、標準偏差、照明方向検出値合計及び２次モーメントを対応付けたテーブルである。このように、分布については、学習データ数、照合スコア平均、標準偏差、照明方向検出値合計及び２次モーメントを記憶することで、照合スコアの全てを記憶する場合よりも記憶に要する容量を削減することができる。
【００４５】
学習データ数は、学習処理部３３ｃが環境テーブル３２ｂの生成に使用した学習用の入力顔画像データの総数である。この学習データ数をｔ、照明方向をｉ、顔向きをｊとして、学習処理部３３ｃは照明方向検出値合計を
【数１】
によって算出する。ここで、ｗは、各光方向の値が０〜１の範囲内でかつ、各光方向の合計が１になるよう設定する。一例として、照明方向ｉが入力顔画像データの照明方向と一致する場合に１、一致しない場合に０とする。
【００４６】
また、学習処理部３３ｃは、入力顔画像データの照合スコアをｘとし、照合スコア平均を
【数２】
によって算出する。さらに、学習処理部３３ｃは、標準偏差を
【数３】
によって算出し、２次モーメントを
【数４】
によって算出する。２次モーメントを保持しておくことで、標準偏差を算出する際の計算量を低減する効果が得られる。
【００４７】
このように、学習処理部３３ｃは、学習用の入力顔画像データを受け付ける度に、環境テーブル３２ｂを更新する。なお、照明方向はＬ個に分割されているが、必ずしもＬ個全ての照明方向の入力顔画像データを学習に必要とするものではない。カメラ１０が屋外に設置されていれば、時刻の変化によって入力顔画像データの照明方向は変化するが、カメラ１０が屋内に設置されたならば、常に同一方向の照明となる可能性がある。
【００４８】
すなわち、照合装置３０は、実際にカメラ１０が撮像した画像に基づいて環境テーブル３２ｂを自動的に生成することで、カメラ１０から入力される入力顔画像データの照明方向を網羅するが、その照明方向の数はＬ未満でもよいし、１であってもよいのである。
【００４９】
なお、学習データ数ｔが小さい場合などには、複数の照明方向を有する入力顔画像データから一つの分布を求めるようにすることもできる。この場合、顔方向毎の分布が得られることとなる。また、複数の顔方向を有する入力顔画像データから一つの分布を求めるようにすることもできる。この場合、照明方向毎の分布が得られることとなる。
【００５０】
また、学習処理部３３ｃは、入力顔画像データにより環境テーブル３２ｂを更新した後も、該入力顔画像データを記憶部３２に記憶させて残すようにしても良い。顔テンプレート３２ａを追加した場合には、学習をやり直す必要があるが、記憶部３２に学習に用いた入力顔画像データを残しておけば、かかる入力顔画像データを用いて追加の顔テンプレート３２ｂに対する分布を求めることができるので、速やかに学習処理を行うことができ、また、既存の顔テンプレートと同様の認識率を得ることができる。
【００５１】
取得部３３ｆは、顔画像処理部３３ｂが出力した照明方向に照明方向及び顔方向に基づいて環境テーブル３２ｂを参照し、照合スコアの分布を取得する。入力顔画像データが照明方向等の撮像環境の影響を受けず、理想的な状態で顔テンプレート３２ａとの照合を行ったならば、照合スコアは正規分布に従うことが期待できる。換言するならば、環境テーブル３２ｂに示された分布の正規分布に対する歪みは、照明方向等の撮像環境により生じたものであると考えることができる。
【００５２】
そこで、照合スコア補正部３３ｄは、取得部３３ｆが取得した分布に基づき、顔画像処理部３３ｂが出力した照合スコアを補正する。具体的には、照合スコア補正部３３ｄは、
【数５】
によって補正後の照合スコアを算出する。照合スコアの平均値と標準偏差は、環境テーブル３２ｂから読み出せばよいので、照合スコアの補正に要するメモリ容量は小さくて良い。なお、補正後の照合スコアは、図７に示したように平均が０、分散が１のヒストグラムに対する値を示すこととなる。
【００５３】
照合結果判定部３３ｅは、照合スコア補正部３３ｄにより算出された補正後の照合スコアとしきい値３２ｃを比較し、補正後の照合スコアがしきい値３２ｃ以上である場合に、該入力顔画像データが監視対象者であると判定し、該入力顔画像データ並びに顔テンプレート３２ａに対応する監視対象者の識別情報を運用管理装置５０に対して送信する。
【００５４】
補正後の照合スコアは、入力顔画像データの顔方向や照明方向に関わらず、平均が０、分散が１のヒストグラムに対する値であるので、同一のしきい値３２ｃを用いることができる。しきい値３２ｃは、適宜設定可能であるが、例えば３σを用いれば良い。
【００５５】
次に、照合装置３０による学習処理手順について説明する。図８は、図１に示した照合装置３０による学習処理手順を示すフローチャートである。同図に示すように、照合装置３０は、まず、カメラ１０が撮像した動画像データから入力顔画像データを切り出す（ステップＳ１０１）。
【００５６】
照明方向検出部３３ｂ１は、切り出された入力顔画像データの画素の濃度分布から照明方向を検出する（ステップＳ１０２）。顔方向検出部３３ｂ２は、切り出された入力顔画像データに対してテンプレートマッチング技術などの画像処理技術を用い、入力顔画像データ内の顔の方向を検出する（ステップＳ１０３）。
【００５７】
照合スコア算出部３３ｂ３は、記憶部３２に記憶された顔テンプレート３２ａから入力顔画像データの顔方向に最も近い方向の顔画像データを選択し（ステップＳ１０４）、選択した顔画像データに対する入力顔画像データの照合スコアを算出する（ステップＳ１０５）。
【００５８】
学習処理部３３ｃは、照明方向、顔方向及び照合スコアを用いて、学習データ数、照合スコア平均、標準偏差、照明方向検出値合計及び２次モーメントを算出し（ステップＳ１０６）、算出結果に基づいて記憶部３２に記憶された環境テーブル３２ｂを更新して（ステップＳ１０７）、処理を終了する。
【００５９】
次に、照合装置３０による照合処理手順について説明する。図９は、図１に示した照合装置３０による照合処理手順を示すフローチャートである。同図に示すように、照合装置３０は、まず、カメラ１０が撮像した動画像データから入力顔画像データを切り出す（ステップＳ２０１）。
【００６０】
照明方向検出部３３ｂ１は、例えば、切り出された入力顔画像データの画素の濃度分布から照明方向を検出する（ステップＳ２０２）。顔方向検出部３３ｂ２は、切り出された入力顔画像データに対してテンプレートマッチング技術などの画像処理技術を用い、入力顔画像データ内の顔の方向を検出する（ステップＳ２０３）。
【００６１】
取得部３３ｆは、入力顔画像データの照明方向及び顔方向に基づいて環境テーブル３２ｂを参照し、照合スコアの分布を取得する（ステップＳ２０４）。また、照合スコア算出部３３ｂ３は、記憶部３２に記憶された顔テンプレート３２ａから入力顔画像データの顔方向に最も近い方向の顔画像データを選択し（ステップＳ２０５）、選択した顔画像データに対する入力顔画像データの照合スコアを算出する（ステップＳ２０６）。
【００６２】
照合スコア補正部３３ｄは、取得部３３ｆが取得した分布に基づいて、照合スコア算出部３３ｂ３により算出された照合スコアを補正する（ステップＳ２０７）。照合結果判定部３３ｅは、補正後の照合スコアとしきい値３２ｃを比較する（ステップＳ２０８）。
【００６３】
補正後の照合スコアがしきい値３２ｃ未満であるならば（ステップＳ２０８；Ｎｏ）、照合装置３０はそのまま処理を終了する。一方、補正後の照合スコアがしきい値３２ｃ以上であるならば（ステップＳ２０８；Ｙｅｓ）、照合装置３０は、該入力顔画像データが監視対象者であると判定し、該入力顔画像データ及び顔テンプレート３２ａに対応する監視対象者の識別情報を運用管理装置５０に対して送信して（ステップＳ２０８）、処理を終了する。
【００６４】
上述してきたように、本実施例では、照合装置３０は、カメラ１０により撮像された複数の学習用顔画像データから光の向きをそれぞれ検出し、各学習用顔画像データと顔テンプレートとの照合値を算定して、光の向きごとの照合値の分布を環境テーブル３２ｂとして記憶部３２に記憶させる。そして、照合時には、入力顔画像データから光の向きを検出し、検出した光の向きに対応する照合値の分布を環境テーブル３２ｂから取得し、入力顔画像データと顔テンプレートとの照合値を環境テーブル３２ｂから取得した分布を用いて補正して、補正された照合値が所定値以上である場合に入力顔画像データが監視対象者であると判定するよう構成したので、監視カメラの撮像環境に関する設定を自動化し、監視カメラの設置に要する労力を軽減することができる。
【００６５】
なお、上記実施例では、具体的な事例への言及を省略したが、民間の監視カメラを用いた治安当局によるテロリストや指名手配被疑者の検挙や、事業所内の構内監視システム、ゴト師や万引き容疑人物の検知等に用いることができる。
【産業上の利用可能性】
【００６６】
以上のように、本発明に係る顔照合システム及び顔照合方法は、監視対象者の顔テンプレートと撮像装置で撮像された入力顔画像データとの顔照合処理するシステムにおける監視カメラの設置に要する労力の軽減に適している。
【符号の説明】
【００６７】
１０ カメラ
３０ 照合装置
３１ インタフェース部
３２ 記憶部
３２ａ 顔テンプレート
３２ｂ 環境テーブル
３２ｃ しきい値
３３ 制御部
３３ａ 顔検出処理部
３３ｂ 顔画像処理部
３３ｃ 学習処理部
３３ｄ 照合スコア補正部
３３ｅ 照合結果判定部
３３ｆ 取得部
５０ 運用管理装置
５１ 入力部
５２ 表示部
５３ インタフェース部
５４ 記憶部
５４ａ 登録データ
５４ｂ 顔テンプレート
５５ 制御部
５５ａ 顔テンプレート生成部
５５ｂ 運用管理部
【技術分野】
【０００１】
この発明は、あらかじめ登録された監視対象者の顔テンプレートと撮像装置により撮像された入力顔画像データとを顔照合処理する顔照合システム及び顔照合方法に関し、特に、撮像装置の撮像環境に関する設定を自動化し、監視カメラの設置に要する労力を軽減することのできる顔照合システム及び顔照合方法に関する。
【背景技術】
【０００２】
従来、監視カメラで撮像した映像から切り出した監視対象者の顔画像を参照データ（以下、「顔テンプレート」と言う）として登録しておき、監視カメラで撮像した映像から人物の顔画像データ（以下、「入力顔画像データ」と言う）を切り出し、切り出した入力顔画像データを顔テンプレートと照合処理する従来技術が知られている。
【０００３】
また、複数の監視カメラで同一の顔テンプレートを用いて照合処理を行う技術も知られている。例えば、特許文献１には、複数台の監視カメラをコンピュータに接続するとともに、該監視カメラに顔テンプレートを登録しておき、照合処理が成功した場合に入力顔画像データをコンピュータに送信する技術が開示されている。
【０００４】
複数の監視カメラで照合処理を行う場合には、監視カメラ毎に監視対象者を撮像する角度や監視対象者に当たる光の方向などの撮像環境が異なる可能性がある。監視対象者を撮像する角度が異なっても顔の認証を可能にする技術として、特許文献２には、顔画像の特徴量を算出するとともに、顔画像の顔向きを検出し、特徴量との比較に用いる閾値を顔向きに基づいて補正する技術が開示されている。また、特許文献３は、２次元顔画像から光源方向を推定し、２次元顔画像にあわせて顔向きを調整した３次元形状モデルに推定された光源方向を適用して該顔向きの２次元の陰影画像を作成し、２次元顔画像に最も類似している陰影画像に対応する３次元形状モデルを選択する顔画像処理装置を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１５８４２１号公報
【特許文献２】特開２０１０−０３９５９７号公報
【特許文献３】特開２００９−２１１１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献２によれば、顔画像の顔向きを検出して特徴量を補正できるものの、照明方向が照合処理に与える影響は考慮されていない。複数の監視カメラで照合処理を行う場合には、監視カメラの設置場所の違い、すなわち撮像環境の違いによって監視対象者に当たる照明の方向も異なる。この撮像環境の違いによって、入力顔画像データと顔テンプレートとの照合値が監視カメラ毎で異なることとなる。
【０００７】
このため、上記特許文献１のように同一の顔テンプレートを使用したとしても、同一のしきい値で入力顔画像データと顔テンプレートとの照合処理を行うと、十分な精度が得られないので、監視カメラ毎に撮影環境に応じた設定を行う必要があった。
【０００８】
例えば、屋内に設置された監視カメラでは撮像対象に当たる光の方向（照明方向）が比較的安定するが、屋外に設置された監視カメラでは、時刻などにより照明方向が変化する。したがって、従来の技術では、「どの方向から光が当たるか」及び「光が当たる方向が変化するか否か」等に応じて監視カメラを設置する毎に設定を行う必要があった。このように撮影環境毎に手動で設定を行うのは、膨大な数の監視カメラを用いる大規模システムの構築を考えると現実的ではない。また、特許文献３は、光源方向を考慮しているが、３次元モデルを用いているために処理負荷が大きく、監視カメラなど多人数を大正署取る場合に適用することはできない。
【０００９】
これらのことから、監視カメラにより撮像された入力顔画像データを顔テンプレートと照合処理する場合に、監視カメラの撮像環境に関する設定をいかにして自動化し、監視カメラの設置に要する労力を軽減するかが重要な課題となっている。
【００１０】
本発明は、上述した課題を解決するためになされたものであって、監視カメラにより撮像された入力顔画像データを顔テンプレートと照合処理する場合に、監視カメラの撮像環境に関する設定を自動化し、監視カメラの設置に要する労力を軽減することのできる顔照合システム及び顔照合方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するため、本発明は、あらかじめ登録された監視対象者の顔テンプレートと、撮像装置により撮像された入力顔画像データとを顔照合処理する顔照合システムであって、前記撮像装置により撮像された複数の学習用顔画像データから光の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向きごとの照合値の分布を算出する学習手段と、前記学習手段により算出された前記光の向きごとの照合値の分布を記憶する記憶手段と、前記入力顔画像データから光の向きを検出し、検出した光の向きに対応する照合値の分布を前記記憶手段に記憶した複数の照合値の分布から取得する取得手段と、前記入力顔画像データと前記顔テンプレートとの照合値を算定する照合値算定手段と、前記照合値算定手段により算定した照合値並びに前記取得手段により取得した照合値の分布に基づいて前記入力顔画像データが前記監視対象者であるか否かを判定する判定手段とを備えたことを特徴とする。
【００１２】
また、本発明は、上記発明において、前記記憶手段は、前記光の向きごとの照合値の分布について、前記分布の平均値及び標準偏差を前記光の向きごとに記憶することを特徴とする。
【００１３】
また、本発明は、上記発明において、前記学習手段は、前記撮像装置により撮像された複数の学習用顔画像データから光の向き及び顔の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向き及び顔の向きごとの照合値の分布を算出し、前記取得手段は、前記入力顔画像データから光の向き及び顔の向きを検出し、検出した光の向き及び顔の向きに対応する照合値の分布を前記記憶手段に記憶した複数の照合値の分布から取得することを特徴とする。
【００１４】
また、本発明は、上記発明において、一又は複数の撮像装置の近傍に配設され各撮像装置と接続された複数の照合装置と、各照合装置と接続された管理装置とを備え、前記管理装置は、前記監視対象者の顔画像から前記顔テンプレートを生成し、前記複数の照合装置の各々は、前記学習手段、前記記憶手段、前記取得手段及び前記照合値算定手段を備えることを特徴とする。
【００１５】
また、本発明は、あらかじめ登録された監視対象者の顔テンプレートと、撮像装置により撮像された入力顔画像データとを顔照合処理する顔照合方法であって、前記撮像装置により撮像された複数の学習用顔画像データから光の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向きごとの照合値の分布を算出する学習工程と、前記学習工程により算出された前記光の向きごとの照合値の分布を記憶部に格納する格納工程と、前記入力顔画像データから光の向きを検出し、検出した光の向きに対応する照合値の分布を前記記憶部に格納した複数の照合値の分布から取得する取得工程と、前記入力顔画像データと前記顔テンプレートとの照合値を算定する照合値算定工程と、前記照合値算定工程により算定した照合値並びに前記取得工程により取得した照合値の分布に基づいて前記入力顔画像データが前記監視対象者であるか否かを判定する判定工程とを含んだことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、複数の学習用顔画像データと顔テンプレートとの照合値の分布を学習用顔画像データの光の向きごとに算出し、入力顔画像データと顔テンプレートとの照合値並びに入力顔画像データの光の向きに対応する照合値の分布に基づいて入力顔画像データが監視対象者であるか否かを判定するよう構成したので、監視カメラの撮像環境に関する設定を自動化し、監視カメラの設置に要する労力を軽減することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本実施例に係る顔照合システムのシステム構成を示すブロック図である。
【図２】図２は、環境テーブルについて説明するための説明図である。
【図３】図３は、図１に示した運用管理装置の内部構成を示す機能ブロック図である。
【図４】図４は、図１に示した顔テンプレートの一例を示す図である。
【図５】図５は、図１に示した照合装置の内部構成を示す機能ブロック図である。
【図６】図６は、図１に示した環境テーブルについて説明するための説明図である。
【図７】図７は、補正後の照合スコアのしきい値について説明するための説明図である。
【図８】図８は、図１に示した照合装置による学習処理手順を示すフローチャートである。
【図９】図９は、図１に示した照合装置による照合処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下に、添付図面を参照して、本発明に係る顔照合システム及び顔照合方法の好適な実施例を詳細に説明する。なお、本実施例では説明の便宜上、２台のカメラ、２台の照合装置及び１台の管理装置を用いた簡易的な構成を採用した場合について説明するが、本発明はこれに限定されるものではなく膨大な数のカメラ等を収容する場合に適用することができる。
【実施例】
【００１９】
まず、本実施例に係る顔照合システムのシステム構成について説明する。図１は、本実施例に係る顔照合システムのシステム構成を示すブロック図である。同図に示すように、この顔照合システムでは、運用管理装置５０が、拠点Ａに配設された照合装置３０ａ及び拠点Ｂに配設された照合装置３０ｂに接続される。また、照合装置３０ａはカメラ１０ａと接続され、照合装置３０ｂはカメラ１０ｂと接続されている。
【００２０】
なお、カメラ１０ａ及びカメラ１０ｂをカメラ１０と総称し、照合装置３０ａ及び照合装置３０ｂを照合装置３０と総称する。カメラ１０ａ及びカメラ１０ｂは同じ機能を有する装置であり、照合装置３０ａ及び照合装置３０ｂは同じ機能を有する装置である。
【００２１】
運用管理装置５０は、顔照合システム全体の運用管理を行う装置である。具体的には、監視対象者の画像データを識別情報並びに氏名、住所、照合対象理由等の登録情報とともに登録する。かかる監視対象者の画像データは、他のサーバ装置や記憶デバイスから取得する。
【００２２】
また、この運用管理装置５０は、監視対象者の画像データから顔テンプレートを生成して照合装置３０に送信する。なお、かかる顔テンプレートは、運用管理装置５０内部にも記憶する。
【００２３】
また、この運用管理装置５０は、照合装置３０から入力顔画像データ及び識別情報を受信したならば、この識別情報を用いて顔テンプレート及び属性情報を検索し、入力顔画像データ、顔テンプレート及び属性情報を表示部５２に表示する。なお、入力顔画像データを撮像したカメラ１０の位置情報等を併せて表示することもできる。かかる場合には、カメラ１０の位置情報を照合装置３０から取得する必要がある。
【００２４】
カメラ１０は、動画像を撮像できるＣＣＤ素子（Charge Coupled Device Image Sensor）からなるカメラである。照合装置３０は、カメラ１０から受信した動画像データから人の顔画像を検出し、検出した顔画像データを照合処理する。具体的には、照合装置３０は、動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術を用いた顔検出技術等により判定する。人の顔部分が存在すると判定した場合には、静止画像データから顔部分の部分画像データ（以下、「入力顔画像データ」と言う）を切り出す。
【００２５】
照合装置３０は、運用管理装置５０から送信され、複数の監視対象者の顔画像データからなる複数の顔テンプレート３２ａをあらかじめ記憶部３２に記憶し、入力顔画像データと記憶部３２に記憶した顔テンプレート３２ａとの照合率を照合スコア（照合値）として算出する。この照合スコアは、入力顔画像データが顔テンプレート３２ａと近いほど高い値となるものであり、例えば相互相関値を用いた顔照合技術等の従来技術を用いて算出することができる。照合装置３０は、算出した照合スコアを環境テーブル３２ｂを用いて補正し、補正した照合スコアが所定のしきい値以上である場合に、該入力顔画像データ並びに顔テンプレート３２ａに対応する監視対象者の識別情報を運用管理装置５０に対して送信する。
【００２６】
次に、環境テーブルについて具体的に説明する。図２は、環境テーブルを説明するための説明図である。照合装置３０は、カメラ１０の設置時又は該カメラ１０の運用開始時に、学習期間としてカメラ１０の前を通行する監視対象者を含まない非監視対象者を一定時間撮像する。照合装置３０は、この学習期間に撮像した動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術等により判定する。人の顔部分が存在すると判定した場合には、静止画像データから入力顔画像データを切り出し、切り出した入力顔画像データを学習用顔画像データとして学習処理を行う。
【００２７】
学習処理において照合装置３０は、学習用の入力顔画像データの各々について、顔方向、照明方向及び照合スコアを算出する。顔方向は、入力顔画像データ内の顔のカメラ１０に対する方向であり、テンプレートマッチング技術などの周知の画像処理技術によって求めることができる（例えば特許文献３参照。）。
【００２８】
照明方向は、入力顔画像データ内の顔にどの方向から光が当たっているかを示す。この照明方向は、入力顔画像データにおける画素の濃度分布から検出する。例えば、入力顔画像データを５×５のブロックに分け、各ブロックの濃度の平均を求め、最も濃度の小さい（明るい）ブロックから最も濃度の大きい（暗い）ブロックへの方向を照明方向とする。
【００２９】
照合装置３０は、顔テンプレート３２ａから入力顔画像データの顔方向に最も近い方向の顔画像データを選択して、選択した顔画像データに対する入力顔画像データの照合スコアを算出する。照合装置３０は、複数の学習用の入力顔画像データから算出した照合スコアについて照明方向毎の分布を生成する。図２では、環境テーブル３２ｂは、照明方向をＬ個に分類し、Ｎ個の顔方向について照明方向毎の照合スコアの分布を示している。
【００３０】
学習処理により環境テーブル３２ｂを生成した後、照合装置３０は、カメラ１０が撮像した動画像データから照合対象の入力顔画像データを切り出して、照合処理を行う。具体的には、照合装置３０は、カメラ１０が撮像した動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術等により判定する。人の顔部分が存在すると判定した場合には、静止画像データから入力顔画像データを照合対象として切り出して照合処理に使用する。
【００３１】
照合処理において、照合装置３０は、照合対象の入力顔画像データについて、顔方向、照明方向及び照合スコアを算出する。照合装置３０は、顔テンプレート３２ａから照合対象の入力顔画像データの顔方向に最も近い方向の顔画像データを選択して、選択した顔画像データに対する照合対象の入力顔画像データの照合スコアを算出する。
【００３２】
また、照合装置３０は、照合対象の入力顔画像データの照明方向と顔方向に基づいて環境テーブル３２ｂを参照し、照合スコアを補正する。具体的には、照合装置３０は、環境テーブル３２ｂの対応する分布により照合スコアを正規化する。そして、照合装置３０は、補正した照合スコアが所定のしきい値以上である場合に、該入力顔画像データ並びに顔テンプレート３２ａに対応する監視対象者の識別情報を運用管理装置５０に対して送信する。
【００３３】
このように、照合装置３０は、複数の学習用顔画像データと顔テンプレートとの照合値の分布を学習用顔画像データの光の向きごとに示す環境テーブル３２ｂを生成し、入力顔画像データと顔テンプレートとの照合値を入力顔画像データの光の向きに対応する照合値の分布を用いて補正するので、カメラ１０の照明方向が照合処理に与える影響を自動的に補正することができる。このため、カメラ１０を設置する際に撮像環境に合わせた設定を手動で行わなくとも、十分な照合精度が得られるのである。なお、本実施例では入力顔画像データと顔テンプレートとの照合値を入力顔画像データの光の向きに対応する照合値の分布を用いて補正し、補正した照合値を単一のしきい値と比較する場合を例に説明を行うが、例えば、入力顔画像データの光の向きに対応する照合値の分布に基づいて光の向き毎にしきい値を設定し、入力顔画像データと顔テンプレートとの照合値を光の向き毎に設定したしきい値と比較するように構成してもよい。
【００３４】
次に、図１に示した運用管理装置５０の構成を具体的に説明する。図３は、図１に示した運用管理装置５０の内部構成を示す機能ブロック図である。同図に示すように、この運用管理装置５０は、入力部５１、表示部５２、インタフェース部５３、記憶部５４及び制御部５５を有する。入力部５１は、キーボードやマウスからなる入力デバイスであり、表示部５２は、液晶パネルやディスプレイ装置からなる表示デバイスである。インタフェース部５３は、他装置とデータ通信を行うためのインタフェース部である。
【００３５】
記憶部５４は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、登録データ５４ａ及び顔テンプレート５４ｂを記憶する。登録データ５４ａは、各監視対象者の顔画像データ並びに氏名、住所及び登録理由等の属性情報を該監視対象者の識別情報に対応づけたデータである。顔テンプレート５４ｂは、図４に示すように監視対象者の顔を複数の向きから見た顔画像データである。
【００３６】
制御部５５は、運用管理装置５０を全体制御する制御装置であり、顔テンプレート生成部５５ａ及び運用管理部５５ｂを有する。顔テンプレート生成部５５ａは、図４に示すように監視対象者の顔写真の画像データから顔部分の部分画像データを切り出し、周知の画像処理技術を用いてこの部分画像データ内の顔の向きを変えつつＮ個の顔画像データからなる顔テンプレートを生成する。
【００３７】
運用管理部５５ｂは、顔照合システム全体の運用管理を行う処理部であり、カメラ１０又は照合装置３０を新たに登録する処理や、これらの登録済み装置を抹消する処理を行う。また、この運用管理部５５ｂは、照合装置３０から入力顔画像データ及び識別情報を受信したならば、この識別情報に対応する顔画像データ、顔テンプレート及び登録情報を検索し、入力顔画像データとともに表示部５２に表示する処理を行う。
【００３８】
次に、図１に示した照合装置３０の内部構成について説明する。図５は、図１に示した照合装置３０の内部構成を示す機能ブロック図である。同図に示すように、この照合装置３０は、インタフェース部３１、記憶部３２及び制御部３３を有する。インタフェース部３１は、他装置とデータ通信を行うためのインタフェース部である。
【００３９】
記憶部３２は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、顔テンプレート３２ａ、環境テーブル３２ｂ及びしきい値３２ｃを記憶する。この顔テンプレート３２ａは、図３に示した運用管理装置５０から送信されたものであり、運用管理装置５０の記憶部５４に記憶した顔テンプレート５４ｂと同じものである。環境テーブル３２ｂは、学習用顔画像データと顔テンプレートとの照合スコアの分布を照明方向毎に示すテーブルである。しきい値３２ｃは、補正した照合スコアとの比較に用いるしきい値である。
【００４０】
制御部３３は、照合装置３０を全体制御する制御部であり、顔検出処理部３３ａ、顔画像処理部３３ｂ、学習処理部３３ｃ、照合スコア補正部３３ｄ、照合結果判定部３３ｅ及び取得部３３ｆを有する。顔検出処理部３３ａは、カメラ１０から受信した動画像データを記憶部３２に記憶するとともに、該動画像データから人の顔画像を検出し、検出した入力顔画像データを顔画像処理部３３ｂに送信する処理部である。具体的には、動画像データから静止画像データを順次取り出し、取り出した静止画像に人の顔部分が存在するか否かをテンプレートマッチング技術等により判定する。
【００４１】
顔画像処理部３３ｂは、照明方向検出部３３ｂ１、顔方向検出部３３ｂ２及び照合スコア算出部３３ｂ３を有する。照明方向検出部３３ｂ１は、入力顔画像データにおける画素の濃度分布から照明方向を検出する。顔方向検出部３３ｂ２は、テンプレートマッチング技術などの周知の画像処理技術を用いて入力顔画像データ内の顔のカメラ１０に対する方向を検出する。
【００４２】
照合スコア算出部３３ｂ３は、記憶部３２に記憶された顔テンプレート３２ａから入力顔画像データの顔方向に最も近い方向の顔画像データを読み出して、読み出した顔画像データに対する入力顔画像データの照合スコアを算出する。なお、かかる照合スコアの算出には、相互相関処理等の各種従来技術を用いることができる。
【００４３】
顔画像処理部３３ｂは、照明方向検出部３３ｂ１により検出された照明方向、顔方向検出部３３ｂ２により検出された顔方向及び照合スコア算出部３３ｂ３により算出された照合スコアを出力する。
【００４４】
学習処理部３３ｃは、顔画像処理部３３ｂが出力した照明方向、顔方向及び照合スコアを用いて環境テーブル３２ｂを生成し、記憶部３２に記憶させる。環境テーブル３２ｂは、図６に示したように、顔方向及び照明方向に対して、学習データ数、照合スコア平均、標準偏差、照明方向検出値合計及び２次モーメントを対応付けたテーブルである。このように、分布については、学習データ数、照合スコア平均、標準偏差、照明方向検出値合計及び２次モーメントを記憶することで、照合スコアの全てを記憶する場合よりも記憶に要する容量を削減することができる。
【００４５】
学習データ数は、学習処理部３３ｃが環境テーブル３２ｂの生成に使用した学習用の入力顔画像データの総数である。この学習データ数をｔ、照明方向をｉ、顔向きをｊとして、学習処理部３３ｃは照明方向検出値合計を
【数１】
によって算出する。ここで、ｗは、各光方向の値が０〜１の範囲内でかつ、各光方向の合計が１になるよう設定する。一例として、照明方向ｉが入力顔画像データの照明方向と一致する場合に１、一致しない場合に０とする。
【００４６】
また、学習処理部３３ｃは、入力顔画像データの照合スコアをｘとし、照合スコア平均を
【数２】
によって算出する。さらに、学習処理部３３ｃは、標準偏差を
【数３】
によって算出し、２次モーメントを
【数４】
によって算出する。２次モーメントを保持しておくことで、標準偏差を算出する際の計算量を低減する効果が得られる。
【００４７】
このように、学習処理部３３ｃは、学習用の入力顔画像データを受け付ける度に、環境テーブル３２ｂを更新する。なお、照明方向はＬ個に分割されているが、必ずしもＬ個全ての照明方向の入力顔画像データを学習に必要とするものではない。カメラ１０が屋外に設置されていれば、時刻の変化によって入力顔画像データの照明方向は変化するが、カメラ１０が屋内に設置されたならば、常に同一方向の照明となる可能性がある。
【００４８】
すなわち、照合装置３０は、実際にカメラ１０が撮像した画像に基づいて環境テーブル３２ｂを自動的に生成することで、カメラ１０から入力される入力顔画像データの照明方向を網羅するが、その照明方向の数はＬ未満でもよいし、１であってもよいのである。
【００４９】
なお、学習データ数ｔが小さい場合などには、複数の照明方向を有する入力顔画像データから一つの分布を求めるようにすることもできる。この場合、顔方向毎の分布が得られることとなる。また、複数の顔方向を有する入力顔画像データから一つの分布を求めるようにすることもできる。この場合、照明方向毎の分布が得られることとなる。
【００５０】
また、学習処理部３３ｃは、入力顔画像データにより環境テーブル３２ｂを更新した後も、該入力顔画像データを記憶部３２に記憶させて残すようにしても良い。顔テンプレート３２ａを追加した場合には、学習をやり直す必要があるが、記憶部３２に学習に用いた入力顔画像データを残しておけば、かかる入力顔画像データを用いて追加の顔テンプレート３２ｂに対する分布を求めることができるので、速やかに学習処理を行うことができ、また、既存の顔テンプレートと同様の認識率を得ることができる。
【００５１】
取得部３３ｆは、顔画像処理部３３ｂが出力した照明方向に照明方向及び顔方向に基づいて環境テーブル３２ｂを参照し、照合スコアの分布を取得する。入力顔画像データが照明方向等の撮像環境の影響を受けず、理想的な状態で顔テンプレート３２ａとの照合を行ったならば、照合スコアは正規分布に従うことが期待できる。換言するならば、環境テーブル３２ｂに示された分布の正規分布に対する歪みは、照明方向等の撮像環境により生じたものであると考えることができる。
【００５２】
そこで、照合スコア補正部３３ｄは、取得部３３ｆが取得した分布に基づき、顔画像処理部３３ｂが出力した照合スコアを補正する。具体的には、照合スコア補正部３３ｄは、
【数５】
によって補正後の照合スコアを算出する。照合スコアの平均値と標準偏差は、環境テーブル３２ｂから読み出せばよいので、照合スコアの補正に要するメモリ容量は小さくて良い。なお、補正後の照合スコアは、図７に示したように平均が０、分散が１のヒストグラムに対する値を示すこととなる。
【００５３】
照合結果判定部３３ｅは、照合スコア補正部３３ｄにより算出された補正後の照合スコアとしきい値３２ｃを比較し、補正後の照合スコアがしきい値３２ｃ以上である場合に、該入力顔画像データが監視対象者であると判定し、該入力顔画像データ並びに顔テンプレート３２ａに対応する監視対象者の識別情報を運用管理装置５０に対して送信する。
【００５４】
補正後の照合スコアは、入力顔画像データの顔方向や照明方向に関わらず、平均が０、分散が１のヒストグラムに対する値であるので、同一のしきい値３２ｃを用いることができる。しきい値３２ｃは、適宜設定可能であるが、例えば３σを用いれば良い。
【００５５】
次に、照合装置３０による学習処理手順について説明する。図８は、図１に示した照合装置３０による学習処理手順を示すフローチャートである。同図に示すように、照合装置３０は、まず、カメラ１０が撮像した動画像データから入力顔画像データを切り出す（ステップＳ１０１）。
【００５６】
照明方向検出部３３ｂ１は、切り出された入力顔画像データの画素の濃度分布から照明方向を検出する（ステップＳ１０２）。顔方向検出部３３ｂ２は、切り出された入力顔画像データに対してテンプレートマッチング技術などの画像処理技術を用い、入力顔画像データ内の顔の方向を検出する（ステップＳ１０３）。
【００５７】
照合スコア算出部３３ｂ３は、記憶部３２に記憶された顔テンプレート３２ａから入力顔画像データの顔方向に最も近い方向の顔画像データを選択し（ステップＳ１０４）、選択した顔画像データに対する入力顔画像データの照合スコアを算出する（ステップＳ１０５）。
【００５８】
学習処理部３３ｃは、照明方向、顔方向及び照合スコアを用いて、学習データ数、照合スコア平均、標準偏差、照明方向検出値合計及び２次モーメントを算出し（ステップＳ１０６）、算出結果に基づいて記憶部３２に記憶された環境テーブル３２ｂを更新して（ステップＳ１０７）、処理を終了する。
【００５９】
次に、照合装置３０による照合処理手順について説明する。図９は、図１に示した照合装置３０による照合処理手順を示すフローチャートである。同図に示すように、照合装置３０は、まず、カメラ１０が撮像した動画像データから入力顔画像データを切り出す（ステップＳ２０１）。
【００６０】
照明方向検出部３３ｂ１は、例えば、切り出された入力顔画像データの画素の濃度分布から照明方向を検出する（ステップＳ２０２）。顔方向検出部３３ｂ２は、切り出された入力顔画像データに対してテンプレートマッチング技術などの画像処理技術を用い、入力顔画像データ内の顔の方向を検出する（ステップＳ２０３）。
【００６１】
取得部３３ｆは、入力顔画像データの照明方向及び顔方向に基づいて環境テーブル３２ｂを参照し、照合スコアの分布を取得する（ステップＳ２０４）。また、照合スコア算出部３３ｂ３は、記憶部３２に記憶された顔テンプレート３２ａから入力顔画像データの顔方向に最も近い方向の顔画像データを選択し（ステップＳ２０５）、選択した顔画像データに対する入力顔画像データの照合スコアを算出する（ステップＳ２０６）。
【００６２】
照合スコア補正部３３ｄは、取得部３３ｆが取得した分布に基づいて、照合スコア算出部３３ｂ３により算出された照合スコアを補正する（ステップＳ２０７）。照合結果判定部３３ｅは、補正後の照合スコアとしきい値３２ｃを比較する（ステップＳ２０８）。
【００６３】
補正後の照合スコアがしきい値３２ｃ未満であるならば（ステップＳ２０８；Ｎｏ）、照合装置３０はそのまま処理を終了する。一方、補正後の照合スコアがしきい値３２ｃ以上であるならば（ステップＳ２０８；Ｙｅｓ）、照合装置３０は、該入力顔画像データが監視対象者であると判定し、該入力顔画像データ及び顔テンプレート３２ａに対応する監視対象者の識別情報を運用管理装置５０に対して送信して（ステップＳ２０８）、処理を終了する。
【００６４】
上述してきたように、本実施例では、照合装置３０は、カメラ１０により撮像された複数の学習用顔画像データから光の向きをそれぞれ検出し、各学習用顔画像データと顔テンプレートとの照合値を算定して、光の向きごとの照合値の分布を環境テーブル３２ｂとして記憶部３２に記憶させる。そして、照合時には、入力顔画像データから光の向きを検出し、検出した光の向きに対応する照合値の分布を環境テーブル３２ｂから取得し、入力顔画像データと顔テンプレートとの照合値を環境テーブル３２ｂから取得した分布を用いて補正して、補正された照合値が所定値以上である場合に入力顔画像データが監視対象者であると判定するよう構成したので、監視カメラの撮像環境に関する設定を自動化し、監視カメラの設置に要する労力を軽減することができる。
【００６５】
なお、上記実施例では、具体的な事例への言及を省略したが、民間の監視カメラを用いた治安当局によるテロリストや指名手配被疑者の検挙や、事業所内の構内監視システム、ゴト師や万引き容疑人物の検知等に用いることができる。
【産業上の利用可能性】
【００６６】
以上のように、本発明に係る顔照合システム及び顔照合方法は、監視対象者の顔テンプレートと撮像装置で撮像された入力顔画像データとの顔照合処理するシステムにおける監視カメラの設置に要する労力の軽減に適している。
【符号の説明】
【００６７】
１０ カメラ
３０ 照合装置
３１ インタフェース部
３２ 記憶部
３２ａ 顔テンプレート
３２ｂ 環境テーブル
３２ｃ しきい値
３３ 制御部
３３ａ 顔検出処理部
３３ｂ 顔画像処理部
３３ｃ 学習処理部
３３ｄ 照合スコア補正部
３３ｅ 照合結果判定部
３３ｆ 取得部
５０ 運用管理装置
５１ 入力部
５２ 表示部
５３ インタフェース部
５４ 記憶部
５４ａ 登録データ
５４ｂ 顔テンプレート
５５ 制御部
５５ａ 顔テンプレート生成部
５５ｂ 運用管理部
【特許請求の範囲】
【請求項１】
あらかじめ登録された監視対象者の顔テンプレートと、撮像装置により撮像された入力顔画像データとを顔照合処理する顔照合システムであって、
前記撮像装置により撮像された複数の学習用顔画像データから光の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向きごとの照合値の分布を算出する学習手段と、
前記学習手段により算出された前記光の向きごとの照合値の分布を記憶する記憶手段と、
前記入力顔画像データから光の向きを検出し、検出した光の向きに対応する照合値の分布を前記記憶手段に記憶した複数の照合値の分布から取得する取得手段と、
前記入力顔画像データと前記顔テンプレートとの照合値を算定する照合値算定手段と、
前記照合値算定手段により算定した照合値並びに前記取得手段により取得した照合値の分布に基づいて前記入力顔画像データが前記監視対象者であるか否かを判定する判定手段と
を備えたことを特徴とする顔照合システム。
【請求項２】
前記記憶手段は、前記光の向きごとの照合値の分布について、前記分布の平均値及び標準偏差を前記光の向きごとに記憶することを特徴とする請求項１に記載の顔照合システム。
【請求項３】
前記学習手段は、前記撮像装置により撮像された複数の学習用顔画像データから光の向き及び顔の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向き及び顔の向きごとの照合値の分布を算出し、
前記取得手段は、前記入力顔画像データから光の向き及び顔の向きを検出し、検出した光の向き及び顔の向きに対応する照合値の分布を前記記憶手段に記憶した複数の照合値の分布から取得する
ことを特徴とする請求項１又は２に記載の顔照合システム。
【請求項４】
一又は複数の撮像装置の近傍に配設され各撮像装置と接続された複数の照合装置と、各照合装置と接続された管理装置とを備え、
前記管理装置は、前記監視対象者の顔画像から前記顔テンプレートを生成し、
前記複数の照合装置の各々は、前記学習手段、前記記憶手段、前記取得手段及び前記照合値算定手段を備える
ことを特徴とする請求項１、２又は３に記載の顔照合システム。
【請求項５】
あらかじめ登録された監視対象者の顔テンプレートと、撮像装置により撮像された入力顔画像データとを顔照合処理する顔照合方法であって、
前記撮像装置により撮像された複数の学習用顔画像データから光の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向きごとの照合値の分布を算出する学習工程と、
前記学習工程により算出された前記光の向きごとの照合値の分布を記憶部に格納する格納工程と、
前記入力顔画像データから光の向きを検出し、検出した光の向きに対応する照合値の分布を前記記憶部に格納した複数の照合値の分布から取得する取得工程と、
前記入力顔画像データと前記顔テンプレートとの照合値を算定する照合値算定工程と、
前記照合値算定工程により算定した照合値並びに前記取得工程により取得した照合値の分布に基づいて前記入力顔画像データが前記監視対象者であるか否かを判定する判定工程と
を含んだことを特徴とする顔照合方法。
【請求項１】
あらかじめ登録された監視対象者の顔テンプレートと、撮像装置により撮像された入力顔画像データとを顔照合処理する顔照合システムであって、
前記撮像装置により撮像された複数の学習用顔画像データから光の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向きごとの照合値の分布を算出する学習手段と、
前記学習手段により算出された前記光の向きごとの照合値の分布を記憶する記憶手段と、
前記入力顔画像データから光の向きを検出し、検出した光の向きに対応する照合値の分布を前記記憶手段に記憶した複数の照合値の分布から取得する取得手段と、
前記入力顔画像データと前記顔テンプレートとの照合値を算定する照合値算定手段と、
前記照合値算定手段により算定した照合値並びに前記取得手段により取得した照合値の分布に基づいて前記入力顔画像データが前記監視対象者であるか否かを判定する判定手段と
を備えたことを特徴とする顔照合システム。
【請求項２】
前記記憶手段は、前記光の向きごとの照合値の分布について、前記分布の平均値及び標準偏差を前記光の向きごとに記憶することを特徴とする請求項１に記載の顔照合システム。
【請求項３】
前記学習手段は、前記撮像装置により撮像された複数の学習用顔画像データから光の向き及び顔の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向き及び顔の向きごとの照合値の分布を算出し、
前記取得手段は、前記入力顔画像データから光の向き及び顔の向きを検出し、検出した光の向き及び顔の向きに対応する照合値の分布を前記記憶手段に記憶した複数の照合値の分布から取得する
ことを特徴とする請求項１又は２に記載の顔照合システム。
【請求項４】
一又は複数の撮像装置の近傍に配設され各撮像装置と接続された複数の照合装置と、各照合装置と接続された管理装置とを備え、
前記管理装置は、前記監視対象者の顔画像から前記顔テンプレートを生成し、
前記複数の照合装置の各々は、前記学習手段、前記記憶手段、前記取得手段及び前記照合値算定手段を備える
ことを特徴とする請求項１、２又は３に記載の顔照合システム。
【請求項５】
あらかじめ登録された監視対象者の顔テンプレートと、撮像装置により撮像された入力顔画像データとを顔照合処理する顔照合方法であって、
前記撮像装置により撮像された複数の学習用顔画像データから光の向きをそれぞれ検出し、各学習用顔画像データと前記顔テンプレートとの照合値を算定して、前記光の向きごとの照合値の分布を算出する学習工程と、
前記学習工程により算出された前記光の向きごとの照合値の分布を記憶部に格納する格納工程と、
前記入力顔画像データから光の向きを検出し、検出した光の向きに対応する照合値の分布を前記記憶部に格納した複数の照合値の分布から取得する取得工程と、
前記入力顔画像データと前記顔テンプレートとの照合値を算定する照合値算定工程と、
前記照合値算定工程により算定した照合値並びに前記取得工程により取得した照合値の分布に基づいて前記入力顔画像データが前記監視対象者であるか否かを判定する判定工程と
を含んだことを特徴とする顔照合方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−３７５１（Ｐ２０１３−３７５１Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３２８９２（Ｐ２０１１−１３２８９２）
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００１４３２）グローリー株式会社 (1,344)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００１４３２）グローリー株式会社 (1,344)
【Ｆターム（参考）】
[ Back to top ]