人物認証装置、人物認証方法、およびそのソフトウェアプログラム
【課題】本発明は、照合件数が多数となった場合であっても照合処理を短時間で行うことが可能な人物認証装置、人物認証方法、およびそのソフトウェアプログラムを提供することを目的とする。
【解決手段】本発明による人物認証装置は、カメラ２０から所定距離に位置する認証対象人物の認証対象人物画像をカメラ２０によって撮像して取得し、認証対象人物画像から認証顔画像を取得する認証顔画像取得手段と、認証対象人物画像から認証身体画像を取得する認証身体画像取得手段と、認証身体画像から認証身体特徴情報を抽出する認証身体特徴抽出手段と、予め登録された登録人物の登録身体特徴情報と認証対象人物の認証身体特徴情報とを照合し、照合対象を絞り込む照合対象絞り込み手段と、照合対象に絞り込まれた登録人物の登録顔画像および登録顔特徴情報と、認証対象人物の認証顔画像および認証顔特徴情報とを照合する照合手段とを備えることを特徴とする。
【解決手段】本発明による人物認証装置は、カメラ２０から所定距離に位置する認証対象人物の認証対象人物画像をカメラ２０によって撮像して取得し、認証対象人物画像から認証顔画像を取得する認証顔画像取得手段と、認証対象人物画像から認証身体画像を取得する認証身体画像取得手段と、認証身体画像から認証身体特徴情報を抽出する認証身体特徴抽出手段と、予め登録された登録人物の登録身体特徴情報と認証対象人物の認証身体特徴情報とを照合し、照合対象を絞り込む照合対象絞り込み手段と、照合対象に絞り込まれた登録人物の登録顔画像および登録顔特徴情報と、認証対象人物の認証顔画像および認証顔特徴情報とを照合する照合手段とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像や身体画像を用いて予め登録された人物であるか否かを照合して認証する人物認証装置、人物認証方法、およびそのソフトウェアプログラムに関する。例えば、歩行者（通行者）を認証対象とし、当該歩行者が特定の位置に到達するまでに当該歩行者から取得した顔画像を予め登録された顔画像と照合することによって、当該歩行者が予め登録された人物であるか否かを判定する。
【背景技術】
【０００２】
従来の人物認証装置では、人物の顔画像の特徴情報に基づいて個人を特定していた。そして、人物の顔認証の認証率を向上させるために、個人の顔画像を複数枚取得することによって認証精度の向上を図ったものがある（例えば、特許文献１参照）また、認証照合の対象者を当該対象者の動線に基づいて限定することによって精度の向上を図っているものもある（例えば、特許文献２参照）。また、カメラの明るさを制御することによって顔画像取得精度の向上を図っているものもある（例えば、特許文献３参照）。しかし、これらの人物認証装置では、人物の照合処理のために時間がかかるという問題があった。
【０００３】
上記の問題を解決するために、カメラによって撮像した画像から認証照合の対象者の身長データを算出し、当該身長データに基づいて対象者候補を絞り込んだ後に顔画像を用いて人物の照合を行っているものがある（例えば、特許文献４、５参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−４３２１号公報
【特許文献２】特開２００７−３３４６２３号公報
【特許文献３】特開２００７−３２８５７２号公報
【特許文献４】特開２００４−３０３１５０号公報
【特許文献５】特開２００８−１５８６７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献４、５では、認証照合の対象者の身長データは、測定したカメラから対象者までの距離に基づいて算出しているため、手間隙がかかるという問題があった。
【０００６】
また、人物認証は、認証照合件数が多くなるに従って照合回数が増加して、認証照合の対象者をカメラによって撮像してから認証されるまでの時間が増大する（すなわち、照合処理の時間が増大する）という問題がある。
【０００７】
本発明は、これらの問題を解決するためになされたものであり、照合件数が多数となった場合であっても照合処理を短時間で行うことが可能な人物認証装置、人物認証方法、およびそのソフトウェアプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明による人物認証装置は、カメラによって撮像された認証対象人物が、予め登録された登録人物と同一であるか否かを照合して認証する人物認証装置であって、カメラから所定距離に位置する認証対象人物の認証対象人物画像をカメラによって撮像して取得し、認証対象人物画像から認証顔画像を取得する認証顔画像取得手段と、認証顔画像から認証顔特徴情報を抽出する認証顔特徴抽出手段と、認証対象人物画像から認証身体画像を取得する認証身体画像取得手段と、認証身体画像から認証身体特徴情報を抽出する認証身体特徴抽出手段と、予め登録された登録人物の登録身体特徴情報と認証対象人物の認証身体特徴情報とを照合し、照合対象を絞り込む照合対象絞り込み手段と、照合対象に絞り込まれた登録人物の登録顔画像および登録顔特徴情報と、認証対象人物の認証顔画像および認証顔特徴情報とを照合する照合手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によると、カメラから所定距離に位置する認証対象人物の認証対象人物画像をカメラによって撮像して取得し、認証対象人物画像から認証顔画像を取得する認証顔画像取得手段と、認証顔画像から認証顔特徴情報を抽出する認証顔特徴抽出手段と、認証対象人物画像から認証身体画像を取得する認証身体画像取得手段と、認証身体画像から認証身体特徴情報を抽出する認証身体特徴抽出手段と、予め登録された登録人物の登録身体特徴情報と認証対象人物の認証身体特徴情報とを照合し、照合対象を絞り込む照合対象絞り込み手段と、照合対象に絞り込まれた登録人物の登録顔画像および登録顔特徴情報と、認証対象人物の認証顔画像および認証顔特徴情報とを照合する照合手段とを備えるため、照合件数が多数となった場合であっても照合処理を短時間で行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態１による人物認証装置の構成を示すブロック図である。
【図２】本発明の実施形態１による登録時のフローチャートである。
【図３】本発明の実施形態１による照合時のフローチャートである。
【図４】本発明の実施形態１による照合用画像情報の一例を示す図である。
【図５】本発明の実施形態２による照合用画像情報の一例を示す図である。
【図６】本発明の実施形態２による照合用画像情報の一例を示す図である。
【図７】本発明の実施形態２による照合用画像情報の一例を示す図である。
【図８】本発明の実施形態２による照合用画像情報の一例を示す図である。
【発明を実施するための形態】
【００１１】
本発明の実施形態について、図面を用いて以下に説明する。
【００１２】
〈実施形態１〉
図１は、本発明の実施形態１による人物認証装置の構成を示すブロック図である。図１に示すように、本実施形態１による人物認証装置は、画像処理装置１０とカメラ２０とを備えており、カメラ２０によって撮像された認証の対象となる人物（以下、認証対象人物とする）が、予め登録された人物（以下、登録人物とする）と同一であるか否かを照合して認証する。なお、画像処理装置１０は通常のコンピュータと同様の構成を備えている。
【００１３】
画像処理装置１０において、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６はプログラムを記憶しており、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１７はワークエリアとして備えられている。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１８は人物認証のために用いられる画像処理プログラムを含む各種プログラムや、顔・身体画像および顔・身体特徴情報などを記憶している。また、入力用のキーボード１３およびマウス１４や、表示装置としてのモニタ１５が備えられている。また、照合用画像情報データベース１９は、照合時に用いられる画像や情報（予め登録された登録人物の画像や情報）が記憶されている。なお、照合用画像情報データベース１９とＨＤＤ１８とは一体としてもよく、照合時に用いられる画像や情報はＨＤＤ１８に記憶してもよい。また、画像処理装置１０は、入出力Ｉ／Ｆ１２を介してカメラ２０を接続している。画像処理装置１０に備えられるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、画像処理装置１０の全体の構成要素およびカメラ２０を制御している。
【００１４】
カメラ２０は、例えば、店舗などの自動ドアの入り口付近の正面が焦点となるように（すなわち、カメラ２０から所定距離の位置を撮像するように）設置されており、本実施形態１の人物認証に係る画像処理プログラムが起動すると同時にカメラ２０も作動し、毎秒所定枚数の撮像画像を画像処理装置１０に送信している。
【００１５】
以下、登録人物として予め登録するときの処理と、認証対象人物が登録人物と同一であるか否かを照合して認識するときの処理とについて順に説明する。
【００１６】
まず、登録人物として予め登録するときの処理について説明する。図２は、本発明の実施形態１による登録時における画像処理装置１０の画像処理プログラムのフローチャートである。画像処理プログラムは、画像処理装置１０のＨＤＤ１８に記憶されており、ＣＰＵ１１によって実行され、例えば、モニタ１５に表示された登録用のソフトウェアボタン（図示せず）をマウス１４（またはキーボード１３）を押下して選択することによって起動される。すなわち、画像処理プログラムは、画像処理装置１０（コンピュータ）に、人物認証装置における下記の各手段の機能を実行させるためのソフトウェアプログラムである。
【００１７】
画像処理プログラムが起動されると、カメラ２０は、カメラ２０から所定距離に位置する登録人物を連続的に撮像し、撮像された登録人物の画像（登録人物画像）を画像処理装置１０に送信する。ステップＳ２０において、画像処理装置１０では、受信した各画像に対してパターンマッチングなどを用いて、例えば図４（ａ）に示すような顔領域を検出する。顔領域の検出後、ステップＳ２１において、当該顔領域から目、鼻、口などの顔の特徴点を抽出して、顔の向き、大きさ、輝度分布などが補正して正規化された正規化顔画像（登録顔画像）を取得する（登録顔画像取得手段）。なお、正規化の手法は、公知の手法を用いてもよい。そして、ステップＳ２２において、取得した正規化顔画像から顔の特徴量（登録顔特徴情報）を計測して抽出する（登録顔特徴抽出手段）。顔の特徴量としては、例えば、目、鼻、口などの位置情報などがある。
【００１８】
顔の特徴量の抽出後、ステップＳ２３において、上記のカメラ２０によって撮像された画像から身体画像（登録身体画像）を取得する（登録身体画像取得手段）。身体画像としては、例えば図４（ｂ）に示すような肩から上を身体画像としてもよく、本実施形態１では図４（ｂ）を身体画像として説明する。身体画像の取得後、ステップＳ２４において、当該身体画像から身体の特徴量（登録身体特徴情報）を計測して抽出する（登録身体特徴抽出手段）。身体の特徴量としては、目、鼻、口などの顔データを除いた、例えば図４（ｃ）に示すような顔幅４ａ、肩幅４ｂを計測した値であり、身体上の長さの値である。
【００１９】
上記の処理を経て取得された画像および特徴量の情報は、ステップＳ２５において、登録人物の情報として照合用画像情報データベース１９に登録される（画像登録手段）。このように、照合用画像情報データベース１９では、１人の登録人物について顔画像（登録顔画像）、顔の特徴量（登録顔特徴情報）、身体画像（登録身体画像）、身体の特徴量（登録身体特徴情報）の４つの情報を照合用画像情報セットとして登録されている。
【００２０】
次に、認証対象人物が登録人物と同一であるか否かを照合して認識するときの処理について説明する。図３は、本発明の実施形態１による照合時における画像処理装置１０の画像処理プログラムのフローチャートである。画像処理プログラムは、画像処理装置１０のＨＤＤ１８に記憶されており、ＣＰＵ１１によって実行され、例えば、モニタ１５に表示された照合用のソフトウェアボタン（図示せず）をマウス１４（またはキーボード１３）を押下して選択することによって起動される。すなわち、画像処理プログラムは、画像処理装置１０（コンピュータ）に、人物認証装置における下記の各手段の機能を実行させるためのソフトウェアプログラムである。
【００２１】
画像処理プログラムが起動されると、カメラ２０は、カメラ２０から所定距離に位置する認証対象人物を連続的に撮像し、撮像された認証対象人物の画像（認証対象人物画像）を画像処理装置１０に送信する。ステップＳ３０において、画像処理装置１０では、受信した各画像に対してパターンマッチングなどを用いて、例えば図４（ａ）に示すような顔領域を検出する。顔領域の検出後、ステップＳ３１において、当該顔領域から目、鼻、口などの顔の特徴点を抽出して、顔の向き、大きさ、輝度分布などが補正して正規化された正規化顔画像（認証顔画像）を取得する（認証顔画像取得手段）。そして、ステップＳ３２において、取得した正規化顔画像から顔の特徴量（認証顔特徴情報）を計測して抽出する（認証顔特徴抽出手段）。顔の特徴量の抽出後、ステップＳ３３において、上記のカメラ２０によって撮像された画像から身体画像（認証身体画像）を取得する（認証身体画像取得手段）。身体画像の取得後、ステップＳ３４において、当該身体画像から身体の特徴量（認証身体特徴情報）を計測して抽出する（認証身体特徴抽出手段）。
【００２２】
上記の処理（ステップＳ３０〜ステップＳ３４）は、図２に示す登録時の処理（ステップＳ２０〜ステップＳ２４）と同様の処理であるが、取得・抽出された情報（顔画像、顔の特徴量、身体画像、身体の特徴量）は、照合に用いるためにＲＡＭ１７に一時保管される。
【００２３】
ステップＳ３４の後、ステップＳ３５において、照合用画像情報データベース１９に登録された身体の特徴量（登録人物の登録身体特徴情報）と、ＲＡＭ１７に一時保管された身体の特徴量（認証対象人物の認証身体特徴情報）とを比較（照合）した後に、ステップＳ３６において所定の範囲内で近似する身体の特徴量を有する画像データ（照合対象を絞り込んだ画像データ）を照合候補データとして作成し、ＲＡＭ１７に保管される（照合対象絞り込み手段）。ステップＳ３５における身体の特徴量の比較では、身体の特徴量を例えば図４（ｃ）に示すような数値データとして比較を行っているため、高速に処理されることが期待される。
【００２４】
ステップＳ３６の後、ステップＳ３７において、ステップＳ３６にて候補が絞り込まれた照合候補データに含まれる顔画像および顔の特徴量（登録人物の登録顔画像および登録顔特徴情報）と、ＲＡＭ１７に一時保管された顔画像および顔の特徴量（認証対象人物の認証顔画像および認証顔特徴情報）とを比較して照合する（照合手段）。ステップＳ３８において、照合の結果、認証対象人物が登録人物と同一人物であると判定されると、その旨をモニタ１５に表示する（図示せず）。
【００２５】
以上のことから、カメラ２０によって撮像された画像から身体画像を取得し、取得した身体画像から身体の特徴量を抽出して利用することによって照合対象を絞り込んでいるため、画像処理装置１０は画像の取得から照合するまでの処理時間を短縮することができる。従って、照合件数が多数となった場合であっても照合処理を短時間で行うことが可能となる。また、照合対象を絞り込んでいるため、顔認証における誤認証が減少して全体的な認証精度を向上させることができる。
【００２６】
〈実施形態２〉
本発明の実施形態２では、登録人物と認証対象人物の身体の特徴量の比較について説明する。その他の構成および動作は実施形態１と同様であるため、ここでは説明を省略する。
【００２７】
実施形態１では、図４（ｂ）および図４（ｃ）に示すように、身体の特徴量として顔幅４ａ、肩幅４ｂの値を用いて比較している。例えば、肩幅４ｂを用いて比較すると肩幅の広い人のみを絞り込んで照合候補とすることができる。しかし、肩幅４ｂのみを用いるため照合候補が多くなり得る。これに対して、顔幅４ａおよび肩幅４ｂの値を用いて、例えば肩幅４ｂに対する顔幅４ａの比率（顔幅４ａ／肩幅４ｂ）の値を用いる（すなわち、顔幅４ａと肩幅４ｂとの組み合わせを用いる）ことによって、「肩幅が広くかつ顔が小さい人」など、さらに照合候補に絞り込むことができる。なお、ここでは「顔幅４ａ／肩幅４ｂ」としたが、「肩幅４ｂ／顔幅４ａ」としてもよい。
【００２８】
また、図５（ｂ）および図５（ｃ）に示すように、身体の特徴量として顔長さ５ａ、肩幅５ｂの値を用いて比較してもよい。比較には、顔長さ５ａ、肩幅５ｂの値をそのまま用いてもよく、また、例えば「顔長さ５ａ／肩幅５ｂ」の値を用いてもよい。なお、ここでは「顔長さ５ａ／肩幅５ｂ」としたが、「肩幅５ｂ／顔長さ５ａ」としてもよい。
【００２９】
また、図６（ｂ）および図６（ｃ）に示すように、身体の特徴量として顔長さ６ａ、顔幅６ｂの値を用いて比較してもよい。比較には、顔長さ６ａ、顔幅６ｂの値をそのまま用いてもよく、また、例えば「顔長さ６ａ／顔幅６ｂ」の値を用いてもよい。なお、ここでは「顔長さ６ａ／顔幅６ｂ」としたが、「顔幅６ｂ／顔長さ６ａ」としてもよい。
【００３０】
また、図７（ｂ）および図７（ｃ）に示すように、身体の特徴量として肩幅７ａ、高さ（身長に相当）７ｂの値を用いて比較してもよい。この場合、身体画像は頭からつま先までの全身画像となる。比較には、肩幅７ａ、高さ７ｂの値をそのまま用いてもよく、また、例えば「肩幅７ａ／高さ７ｂ」の値を用いてもよい。なお、ここでは「肩幅７ａ／高さ７ｂ」としたが、「高さ７ｂ／肩幅７ａ」としてもよい。
【００３１】
また、図８（ｂ）および図８（ｃ）に示すように、身体の特徴量として顔長さ８ａ、高さ（身長に相当）８ｂの値を用いて比較してもよい。この場合、身体画像は頭からつま先までの全身画像となる。比較には、顔長さ８ａ、高さ８ｂの値をそのまま用いてもよく、また、例えば「顔長さ８ａ／高さ８ｂ」の値を用いてもよい。なお、ここでは「顔長さ８ａ／高さ８ｂ」としたが、「高さ８ｂ／顔長さ８ａ」としてもよい。
【００３２】
以上のことから、取得した身体画像から任意の身体の特徴量を抽出して利用することによって照合対象を絞り込んでいるため、画像処理装置１０は画像の取得から照合するまでの処理時間を短縮することができる。また、身体の特徴量を任意に組み合わせて比率を算出して用いることによって照合候補をさらに絞り込むことが可能となり、照合に要する処理時間を短縮することができる。
【符号の説明】
【００３３】
１０ 画像処理装置、１１ ＣＰＵ、１２ 入出力Ｉ／Ｆ、１３ キーボード、１４ マウス、１５ モニタ、１６ ＲＯＭ、１７ ＲＡＭ、１８ ＨＤＤ、１９ 照合用画像情報データベース、２０ カメラ、４ａ 顔幅、４ｂ 肩幅、５ａ 顔長さ、５ｂ 肩幅、６ａ 顔長さ、６ｂ 顔幅、７ａ 肩幅、７ｂ 高さ、８ａ 顔長さ、８ｂ 高さ。
【技術分野】
【０００１】
本発明は、顔画像や身体画像を用いて予め登録された人物であるか否かを照合して認証する人物認証装置、人物認証方法、およびそのソフトウェアプログラムに関する。例えば、歩行者（通行者）を認証対象とし、当該歩行者が特定の位置に到達するまでに当該歩行者から取得した顔画像を予め登録された顔画像と照合することによって、当該歩行者が予め登録された人物であるか否かを判定する。
【背景技術】
【０００２】
従来の人物認証装置では、人物の顔画像の特徴情報に基づいて個人を特定していた。そして、人物の顔認証の認証率を向上させるために、個人の顔画像を複数枚取得することによって認証精度の向上を図ったものがある（例えば、特許文献１参照）また、認証照合の対象者を当該対象者の動線に基づいて限定することによって精度の向上を図っているものもある（例えば、特許文献２参照）。また、カメラの明るさを制御することによって顔画像取得精度の向上を図っているものもある（例えば、特許文献３参照）。しかし、これらの人物認証装置では、人物の照合処理のために時間がかかるという問題があった。
【０００３】
上記の問題を解決するために、カメラによって撮像した画像から認証照合の対象者の身長データを算出し、当該身長データに基づいて対象者候補を絞り込んだ後に顔画像を用いて人物の照合を行っているものがある（例えば、特許文献４、５参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−４３２１号公報
【特許文献２】特開２００７−３３４６２３号公報
【特許文献３】特開２００７−３２８５７２号公報
【特許文献４】特開２００４−３０３１５０号公報
【特許文献５】特開２００８−１５８６７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献４、５では、認証照合の対象者の身長データは、測定したカメラから対象者までの距離に基づいて算出しているため、手間隙がかかるという問題があった。
【０００６】
また、人物認証は、認証照合件数が多くなるに従って照合回数が増加して、認証照合の対象者をカメラによって撮像してから認証されるまでの時間が増大する（すなわち、照合処理の時間が増大する）という問題がある。
【０００７】
本発明は、これらの問題を解決するためになされたものであり、照合件数が多数となった場合であっても照合処理を短時間で行うことが可能な人物認証装置、人物認証方法、およびそのソフトウェアプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明による人物認証装置は、カメラによって撮像された認証対象人物が、予め登録された登録人物と同一であるか否かを照合して認証する人物認証装置であって、カメラから所定距離に位置する認証対象人物の認証対象人物画像をカメラによって撮像して取得し、認証対象人物画像から認証顔画像を取得する認証顔画像取得手段と、認証顔画像から認証顔特徴情報を抽出する認証顔特徴抽出手段と、認証対象人物画像から認証身体画像を取得する認証身体画像取得手段と、認証身体画像から認証身体特徴情報を抽出する認証身体特徴抽出手段と、予め登録された登録人物の登録身体特徴情報と認証対象人物の認証身体特徴情報とを照合し、照合対象を絞り込む照合対象絞り込み手段と、照合対象に絞り込まれた登録人物の登録顔画像および登録顔特徴情報と、認証対象人物の認証顔画像および認証顔特徴情報とを照合する照合手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によると、カメラから所定距離に位置する認証対象人物の認証対象人物画像をカメラによって撮像して取得し、認証対象人物画像から認証顔画像を取得する認証顔画像取得手段と、認証顔画像から認証顔特徴情報を抽出する認証顔特徴抽出手段と、認証対象人物画像から認証身体画像を取得する認証身体画像取得手段と、認証身体画像から認証身体特徴情報を抽出する認証身体特徴抽出手段と、予め登録された登録人物の登録身体特徴情報と認証対象人物の認証身体特徴情報とを照合し、照合対象を絞り込む照合対象絞り込み手段と、照合対象に絞り込まれた登録人物の登録顔画像および登録顔特徴情報と、認証対象人物の認証顔画像および認証顔特徴情報とを照合する照合手段とを備えるため、照合件数が多数となった場合であっても照合処理を短時間で行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態１による人物認証装置の構成を示すブロック図である。
【図２】本発明の実施形態１による登録時のフローチャートである。
【図３】本発明の実施形態１による照合時のフローチャートである。
【図４】本発明の実施形態１による照合用画像情報の一例を示す図である。
【図５】本発明の実施形態２による照合用画像情報の一例を示す図である。
【図６】本発明の実施形態２による照合用画像情報の一例を示す図である。
【図７】本発明の実施形態２による照合用画像情報の一例を示す図である。
【図８】本発明の実施形態２による照合用画像情報の一例を示す図である。
【発明を実施するための形態】
【００１１】
本発明の実施形態について、図面を用いて以下に説明する。
【００１２】
〈実施形態１〉
図１は、本発明の実施形態１による人物認証装置の構成を示すブロック図である。図１に示すように、本実施形態１による人物認証装置は、画像処理装置１０とカメラ２０とを備えており、カメラ２０によって撮像された認証の対象となる人物（以下、認証対象人物とする）が、予め登録された人物（以下、登録人物とする）と同一であるか否かを照合して認証する。なお、画像処理装置１０は通常のコンピュータと同様の構成を備えている。
【００１３】
画像処理装置１０において、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６はプログラムを記憶しており、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１７はワークエリアとして備えられている。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１８は人物認証のために用いられる画像処理プログラムを含む各種プログラムや、顔・身体画像および顔・身体特徴情報などを記憶している。また、入力用のキーボード１３およびマウス１４や、表示装置としてのモニタ１５が備えられている。また、照合用画像情報データベース１９は、照合時に用いられる画像や情報（予め登録された登録人物の画像や情報）が記憶されている。なお、照合用画像情報データベース１９とＨＤＤ１８とは一体としてもよく、照合時に用いられる画像や情報はＨＤＤ１８に記憶してもよい。また、画像処理装置１０は、入出力Ｉ／Ｆ１２を介してカメラ２０を接続している。画像処理装置１０に備えられるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、画像処理装置１０の全体の構成要素およびカメラ２０を制御している。
【００１４】
カメラ２０は、例えば、店舗などの自動ドアの入り口付近の正面が焦点となるように（すなわち、カメラ２０から所定距離の位置を撮像するように）設置されており、本実施形態１の人物認証に係る画像処理プログラムが起動すると同時にカメラ２０も作動し、毎秒所定枚数の撮像画像を画像処理装置１０に送信している。
【００１５】
以下、登録人物として予め登録するときの処理と、認証対象人物が登録人物と同一であるか否かを照合して認識するときの処理とについて順に説明する。
【００１６】
まず、登録人物として予め登録するときの処理について説明する。図２は、本発明の実施形態１による登録時における画像処理装置１０の画像処理プログラムのフローチャートである。画像処理プログラムは、画像処理装置１０のＨＤＤ１８に記憶されており、ＣＰＵ１１によって実行され、例えば、モニタ１５に表示された登録用のソフトウェアボタン（図示せず）をマウス１４（またはキーボード１３）を押下して選択することによって起動される。すなわち、画像処理プログラムは、画像処理装置１０（コンピュータ）に、人物認証装置における下記の各手段の機能を実行させるためのソフトウェアプログラムである。
【００１７】
画像処理プログラムが起動されると、カメラ２０は、カメラ２０から所定距離に位置する登録人物を連続的に撮像し、撮像された登録人物の画像（登録人物画像）を画像処理装置１０に送信する。ステップＳ２０において、画像処理装置１０では、受信した各画像に対してパターンマッチングなどを用いて、例えば図４（ａ）に示すような顔領域を検出する。顔領域の検出後、ステップＳ２１において、当該顔領域から目、鼻、口などの顔の特徴点を抽出して、顔の向き、大きさ、輝度分布などが補正して正規化された正規化顔画像（登録顔画像）を取得する（登録顔画像取得手段）。なお、正規化の手法は、公知の手法を用いてもよい。そして、ステップＳ２２において、取得した正規化顔画像から顔の特徴量（登録顔特徴情報）を計測して抽出する（登録顔特徴抽出手段）。顔の特徴量としては、例えば、目、鼻、口などの位置情報などがある。
【００１８】
顔の特徴量の抽出後、ステップＳ２３において、上記のカメラ２０によって撮像された画像から身体画像（登録身体画像）を取得する（登録身体画像取得手段）。身体画像としては、例えば図４（ｂ）に示すような肩から上を身体画像としてもよく、本実施形態１では図４（ｂ）を身体画像として説明する。身体画像の取得後、ステップＳ２４において、当該身体画像から身体の特徴量（登録身体特徴情報）を計測して抽出する（登録身体特徴抽出手段）。身体の特徴量としては、目、鼻、口などの顔データを除いた、例えば図４（ｃ）に示すような顔幅４ａ、肩幅４ｂを計測した値であり、身体上の長さの値である。
【００１９】
上記の処理を経て取得された画像および特徴量の情報は、ステップＳ２５において、登録人物の情報として照合用画像情報データベース１９に登録される（画像登録手段）。このように、照合用画像情報データベース１９では、１人の登録人物について顔画像（登録顔画像）、顔の特徴量（登録顔特徴情報）、身体画像（登録身体画像）、身体の特徴量（登録身体特徴情報）の４つの情報を照合用画像情報セットとして登録されている。
【００２０】
次に、認証対象人物が登録人物と同一であるか否かを照合して認識するときの処理について説明する。図３は、本発明の実施形態１による照合時における画像処理装置１０の画像処理プログラムのフローチャートである。画像処理プログラムは、画像処理装置１０のＨＤＤ１８に記憶されており、ＣＰＵ１１によって実行され、例えば、モニタ１５に表示された照合用のソフトウェアボタン（図示せず）をマウス１４（またはキーボード１３）を押下して選択することによって起動される。すなわち、画像処理プログラムは、画像処理装置１０（コンピュータ）に、人物認証装置における下記の各手段の機能を実行させるためのソフトウェアプログラムである。
【００２１】
画像処理プログラムが起動されると、カメラ２０は、カメラ２０から所定距離に位置する認証対象人物を連続的に撮像し、撮像された認証対象人物の画像（認証対象人物画像）を画像処理装置１０に送信する。ステップＳ３０において、画像処理装置１０では、受信した各画像に対してパターンマッチングなどを用いて、例えば図４（ａ）に示すような顔領域を検出する。顔領域の検出後、ステップＳ３１において、当該顔領域から目、鼻、口などの顔の特徴点を抽出して、顔の向き、大きさ、輝度分布などが補正して正規化された正規化顔画像（認証顔画像）を取得する（認証顔画像取得手段）。そして、ステップＳ３２において、取得した正規化顔画像から顔の特徴量（認証顔特徴情報）を計測して抽出する（認証顔特徴抽出手段）。顔の特徴量の抽出後、ステップＳ３３において、上記のカメラ２０によって撮像された画像から身体画像（認証身体画像）を取得する（認証身体画像取得手段）。身体画像の取得後、ステップＳ３４において、当該身体画像から身体の特徴量（認証身体特徴情報）を計測して抽出する（認証身体特徴抽出手段）。
【００２２】
上記の処理（ステップＳ３０〜ステップＳ３４）は、図２に示す登録時の処理（ステップＳ２０〜ステップＳ２４）と同様の処理であるが、取得・抽出された情報（顔画像、顔の特徴量、身体画像、身体の特徴量）は、照合に用いるためにＲＡＭ１７に一時保管される。
【００２３】
ステップＳ３４の後、ステップＳ３５において、照合用画像情報データベース１９に登録された身体の特徴量（登録人物の登録身体特徴情報）と、ＲＡＭ１７に一時保管された身体の特徴量（認証対象人物の認証身体特徴情報）とを比較（照合）した後に、ステップＳ３６において所定の範囲内で近似する身体の特徴量を有する画像データ（照合対象を絞り込んだ画像データ）を照合候補データとして作成し、ＲＡＭ１７に保管される（照合対象絞り込み手段）。ステップＳ３５における身体の特徴量の比較では、身体の特徴量を例えば図４（ｃ）に示すような数値データとして比較を行っているため、高速に処理されることが期待される。
【００２４】
ステップＳ３６の後、ステップＳ３７において、ステップＳ３６にて候補が絞り込まれた照合候補データに含まれる顔画像および顔の特徴量（登録人物の登録顔画像および登録顔特徴情報）と、ＲＡＭ１７に一時保管された顔画像および顔の特徴量（認証対象人物の認証顔画像および認証顔特徴情報）とを比較して照合する（照合手段）。ステップＳ３８において、照合の結果、認証対象人物が登録人物と同一人物であると判定されると、その旨をモニタ１５に表示する（図示せず）。
【００２５】
以上のことから、カメラ２０によって撮像された画像から身体画像を取得し、取得した身体画像から身体の特徴量を抽出して利用することによって照合対象を絞り込んでいるため、画像処理装置１０は画像の取得から照合するまでの処理時間を短縮することができる。従って、照合件数が多数となった場合であっても照合処理を短時間で行うことが可能となる。また、照合対象を絞り込んでいるため、顔認証における誤認証が減少して全体的な認証精度を向上させることができる。
【００２６】
〈実施形態２〉
本発明の実施形態２では、登録人物と認証対象人物の身体の特徴量の比較について説明する。その他の構成および動作は実施形態１と同様であるため、ここでは説明を省略する。
【００２７】
実施形態１では、図４（ｂ）および図４（ｃ）に示すように、身体の特徴量として顔幅４ａ、肩幅４ｂの値を用いて比較している。例えば、肩幅４ｂを用いて比較すると肩幅の広い人のみを絞り込んで照合候補とすることができる。しかし、肩幅４ｂのみを用いるため照合候補が多くなり得る。これに対して、顔幅４ａおよび肩幅４ｂの値を用いて、例えば肩幅４ｂに対する顔幅４ａの比率（顔幅４ａ／肩幅４ｂ）の値を用いる（すなわち、顔幅４ａと肩幅４ｂとの組み合わせを用いる）ことによって、「肩幅が広くかつ顔が小さい人」など、さらに照合候補に絞り込むことができる。なお、ここでは「顔幅４ａ／肩幅４ｂ」としたが、「肩幅４ｂ／顔幅４ａ」としてもよい。
【００２８】
また、図５（ｂ）および図５（ｃ）に示すように、身体の特徴量として顔長さ５ａ、肩幅５ｂの値を用いて比較してもよい。比較には、顔長さ５ａ、肩幅５ｂの値をそのまま用いてもよく、また、例えば「顔長さ５ａ／肩幅５ｂ」の値を用いてもよい。なお、ここでは「顔長さ５ａ／肩幅５ｂ」としたが、「肩幅５ｂ／顔長さ５ａ」としてもよい。
【００２９】
また、図６（ｂ）および図６（ｃ）に示すように、身体の特徴量として顔長さ６ａ、顔幅６ｂの値を用いて比較してもよい。比較には、顔長さ６ａ、顔幅６ｂの値をそのまま用いてもよく、また、例えば「顔長さ６ａ／顔幅６ｂ」の値を用いてもよい。なお、ここでは「顔長さ６ａ／顔幅６ｂ」としたが、「顔幅６ｂ／顔長さ６ａ」としてもよい。
【００３０】
また、図７（ｂ）および図７（ｃ）に示すように、身体の特徴量として肩幅７ａ、高さ（身長に相当）７ｂの値を用いて比較してもよい。この場合、身体画像は頭からつま先までの全身画像となる。比較には、肩幅７ａ、高さ７ｂの値をそのまま用いてもよく、また、例えば「肩幅７ａ／高さ７ｂ」の値を用いてもよい。なお、ここでは「肩幅７ａ／高さ７ｂ」としたが、「高さ７ｂ／肩幅７ａ」としてもよい。
【００３１】
また、図８（ｂ）および図８（ｃ）に示すように、身体の特徴量として顔長さ８ａ、高さ（身長に相当）８ｂの値を用いて比較してもよい。この場合、身体画像は頭からつま先までの全身画像となる。比較には、顔長さ８ａ、高さ８ｂの値をそのまま用いてもよく、また、例えば「顔長さ８ａ／高さ８ｂ」の値を用いてもよい。なお、ここでは「顔長さ８ａ／高さ８ｂ」としたが、「高さ８ｂ／顔長さ８ａ」としてもよい。
【００３２】
以上のことから、取得した身体画像から任意の身体の特徴量を抽出して利用することによって照合対象を絞り込んでいるため、画像処理装置１０は画像の取得から照合するまでの処理時間を短縮することができる。また、身体の特徴量を任意に組み合わせて比率を算出して用いることによって照合候補をさらに絞り込むことが可能となり、照合に要する処理時間を短縮することができる。
【符号の説明】
【００３３】
１０ 画像処理装置、１１ ＣＰＵ、１２ 入出力Ｉ／Ｆ、１３ キーボード、１４ マウス、１５ モニタ、１６ ＲＯＭ、１７ ＲＡＭ、１８ ＨＤＤ、１９ 照合用画像情報データベース、２０ カメラ、４ａ 顔幅、４ｂ 肩幅、５ａ 顔長さ、５ｂ 肩幅、６ａ 顔長さ、６ｂ 顔幅、７ａ 肩幅、７ｂ 高さ、８ａ 顔長さ、８ｂ 高さ。
【特許請求の範囲】
【請求項１】
カメラによって撮像された認証対象人物が、予め登録された登録人物と同一であるか否かを照合して認証する人物認証装置であって、
前記カメラから所定距離に位置する前記認証対象人物の認証対象人物画像を前記カメラによって撮像して取得し、前記認証対象人物画像から認証顔画像を取得する認証顔画像取得手段と、
前記認証顔画像から認証顔特徴情報を抽出する認証顔特徴抽出手段と、
前記認証対象人物画像から認証身体画像を取得する認証身体画像取得手段と、
前記認証身体画像から認証身体特徴情報を抽出する認証身体特徴抽出手段と、
予め登録された前記登録人物の登録身体特徴情報と前記認証対象人物の前記認証身体特徴情報とを照合し、照合対象を絞り込む照合対象絞り込み手段と、
前記照合対象に絞り込まれた前記登録人物の登録顔画像および登録顔特徴情報と、前記認証対象人物の前記認証顔画像および前記認証顔特徴情報とを照合する照合手段と、
を備えることを特徴とする、人物認証装置。
【請求項２】
前記カメラから所定距離に位置する前記登録人物の登録人物画像を前記カメラによって撮像して取得し、前記登録人物画像から前記登録顔画像を取得する登録顔画像取得手段と、
前記登録顔画像から前記登録顔特徴情報を抽出する登録顔特徴抽出手段と、
前記登録人物画像から前記登録身体画像を取得する登録身体画像取得手段と、
前記登録身体画像から前記登録身体特徴情報を抽出する登録身体特徴抽出手段と、
前記登録顔画像取得手段にて取得された前記登録顔画像、前記登録顔特徴抽出手段にて抽出された前記登録顔特徴情報、前記登録身体画像取得手段にて取得された前記登録身体画像、および前記登録身体特徴抽出手段にて抽出された前記登録身体特徴情報を登録する画像登録手段と、
をさらに備えることを特徴とする、請求項１に記載の人物認証装置。
【請求項３】
前記認証顔特徴情報および前記登録顔特徴情報は、目、鼻、口の位置情報のうちのいずれか、または組み合わせであることを特徴とする、請求項１または２に記載の人物認証装置。
【請求項４】
前記認証身体特徴情報および前記登録身体特徴情報は、顔幅、肩幅、顔長さ、高さの情報のうちのいずれか、または組み合わせであることを特徴とする、請求項１または２に記載の人物認証装置。
【請求項５】
前記認証身体特徴情報および前記登録身体特徴情報は、顔幅、肩幅、顔長さ、高さの情報の任意の組み合わせに基づいて算出される比率であることを特徴とする、請求項１または２に記載の人物認証装置。
【請求項６】
コンピュータに、請求項１または２に記載の人物認証装置における前記各手段の機能を実行させるための、ソフトウェアプログラム。
【請求項７】
カメラによって撮像された認証対象人物が、予め登録された登録人物と同一であるか否かを照合して認証する人物認証方法であって、
（ａ）前記カメラから所定距離に位置する前記認証対象人物の認証対象人物画像を前記カメラによって撮像して取得し、前記認証対象人物画像から認証顔画像を取得する工程と、
（ｂ）前記認証顔画像から認証顔特徴情報を抽出する工程と、
（ｃ）前記認証対象人物画像から認証身体画像を取得する工程と、
（ｄ）前記認証身体画像から認証身体特徴情報を抽出する工程と、
（ｅ）予め登録された前記登録人物の登録身体特徴情報と前記認証対象人物の前記認証身体特徴情報とを照合し、照合対象を絞り込む工程と、
（ｆ）前記照合対象に絞り込まれた前記登録人物の登録顔画像および登録顔特徴情報と、前記認証対象人物の前記認証顔画像および前記認証顔特徴情報とを照合する工程と、
を備えることを特徴とする、人物認証方法。
【請求項８】
前記工程（ａ）の前工程であって、
（ｇ）前記カメラから所定距離に位置する前記登録人物の登録人物画像を前記カメラによって撮像して取得し、前記登録人物画像から前記登録顔画像を取得する工程と、
（ｈ）前記登録顔画像から前記登録顔特徴情報を抽出する工程と、
（ｉ）前記登録人物画像から前記登録身体画像を取得する工程と、
（ｊ）前記登録身体画像から前記登録身体特徴情報を抽出する工程と、
（ｋ）前記工程（ｇ）にて取得された前記登録顔画像、前記工程（ｈ）にて抽出された前記登録顔特徴情報、前記工程（ｉ）にて取得された前記登録身体画像、および前記工程（ｊ）にて抽出された前記登録身体特徴情報を登録する工程と、
をさらに備えることを特徴とする、請求項７に記載の人物認証方法。
【請求項９】
前記認証顔特徴情報および前記登録顔特徴情報は、目、鼻、口の位置情報のうちのいずれか、または組み合わせであることを特徴とする、請求項７または８に記載の人物認証方法。
【請求項１０】
前記認証身体特徴情報および前記登録身体特徴情報は、顔幅、肩幅、顔長さ、高さの情報のうちのいずれか、または組み合わせであることを特徴とする、請求項７または８に記載の人物認証方法。
【請求項１１】
前記認証身体特徴情報および前記登録身体特徴情報は、顔幅、肩幅、顔長さ、高さの情報の任意の組み合わせに基づいて算出される比率であることを特徴とする、請求項７または８に記載の人物認証方法。
【請求項１２】
コンピュータに、請求項７または８に記載の人物認証方法における前記各工程を実行させるための、ソフトウェアプログラム。
【請求項１】
カメラによって撮像された認証対象人物が、予め登録された登録人物と同一であるか否かを照合して認証する人物認証装置であって、
前記カメラから所定距離に位置する前記認証対象人物の認証対象人物画像を前記カメラによって撮像して取得し、前記認証対象人物画像から認証顔画像を取得する認証顔画像取得手段と、
前記認証顔画像から認証顔特徴情報を抽出する認証顔特徴抽出手段と、
前記認証対象人物画像から認証身体画像を取得する認証身体画像取得手段と、
前記認証身体画像から認証身体特徴情報を抽出する認証身体特徴抽出手段と、
予め登録された前記登録人物の登録身体特徴情報と前記認証対象人物の前記認証身体特徴情報とを照合し、照合対象を絞り込む照合対象絞り込み手段と、
前記照合対象に絞り込まれた前記登録人物の登録顔画像および登録顔特徴情報と、前記認証対象人物の前記認証顔画像および前記認証顔特徴情報とを照合する照合手段と、
を備えることを特徴とする、人物認証装置。
【請求項２】
前記カメラから所定距離に位置する前記登録人物の登録人物画像を前記カメラによって撮像して取得し、前記登録人物画像から前記登録顔画像を取得する登録顔画像取得手段と、
前記登録顔画像から前記登録顔特徴情報を抽出する登録顔特徴抽出手段と、
前記登録人物画像から前記登録身体画像を取得する登録身体画像取得手段と、
前記登録身体画像から前記登録身体特徴情報を抽出する登録身体特徴抽出手段と、
前記登録顔画像取得手段にて取得された前記登録顔画像、前記登録顔特徴抽出手段にて抽出された前記登録顔特徴情報、前記登録身体画像取得手段にて取得された前記登録身体画像、および前記登録身体特徴抽出手段にて抽出された前記登録身体特徴情報を登録する画像登録手段と、
をさらに備えることを特徴とする、請求項１に記載の人物認証装置。
【請求項３】
前記認証顔特徴情報および前記登録顔特徴情報は、目、鼻、口の位置情報のうちのいずれか、または組み合わせであることを特徴とする、請求項１または２に記載の人物認証装置。
【請求項４】
前記認証身体特徴情報および前記登録身体特徴情報は、顔幅、肩幅、顔長さ、高さの情報のうちのいずれか、または組み合わせであることを特徴とする、請求項１または２に記載の人物認証装置。
【請求項５】
前記認証身体特徴情報および前記登録身体特徴情報は、顔幅、肩幅、顔長さ、高さの情報の任意の組み合わせに基づいて算出される比率であることを特徴とする、請求項１または２に記載の人物認証装置。
【請求項６】
コンピュータに、請求項１または２に記載の人物認証装置における前記各手段の機能を実行させるための、ソフトウェアプログラム。
【請求項７】
カメラによって撮像された認証対象人物が、予め登録された登録人物と同一であるか否かを照合して認証する人物認証方法であって、
（ａ）前記カメラから所定距離に位置する前記認証対象人物の認証対象人物画像を前記カメラによって撮像して取得し、前記認証対象人物画像から認証顔画像を取得する工程と、
（ｂ）前記認証顔画像から認証顔特徴情報を抽出する工程と、
（ｃ）前記認証対象人物画像から認証身体画像を取得する工程と、
（ｄ）前記認証身体画像から認証身体特徴情報を抽出する工程と、
（ｅ）予め登録された前記登録人物の登録身体特徴情報と前記認証対象人物の前記認証身体特徴情報とを照合し、照合対象を絞り込む工程と、
（ｆ）前記照合対象に絞り込まれた前記登録人物の登録顔画像および登録顔特徴情報と、前記認証対象人物の前記認証顔画像および前記認証顔特徴情報とを照合する工程と、
を備えることを特徴とする、人物認証方法。
【請求項８】
前記工程（ａ）の前工程であって、
（ｇ）前記カメラから所定距離に位置する前記登録人物の登録人物画像を前記カメラによって撮像して取得し、前記登録人物画像から前記登録顔画像を取得する工程と、
（ｈ）前記登録顔画像から前記登録顔特徴情報を抽出する工程と、
（ｉ）前記登録人物画像から前記登録身体画像を取得する工程と、
（ｊ）前記登録身体画像から前記登録身体特徴情報を抽出する工程と、
（ｋ）前記工程（ｇ）にて取得された前記登録顔画像、前記工程（ｈ）にて抽出された前記登録顔特徴情報、前記工程（ｉ）にて取得された前記登録身体画像、および前記工程（ｊ）にて抽出された前記登録身体特徴情報を登録する工程と、
をさらに備えることを特徴とする、請求項７に記載の人物認証方法。
【請求項９】
前記認証顔特徴情報および前記登録顔特徴情報は、目、鼻、口の位置情報のうちのいずれか、または組み合わせであることを特徴とする、請求項７または８に記載の人物認証方法。
【請求項１０】
前記認証身体特徴情報および前記登録身体特徴情報は、顔幅、肩幅、顔長さ、高さの情報のうちのいずれか、または組み合わせであることを特徴とする、請求項７または８に記載の人物認証方法。
【請求項１１】
前記認証身体特徴情報および前記登録身体特徴情報は、顔幅、肩幅、顔長さ、高さの情報の任意の組み合わせに基づいて算出される比率であることを特徴とする、請求項７または８に記載の人物認証方法。
【請求項１２】
コンピュータに、請求項７または８に記載の人物認証方法における前記各工程を実行させるための、ソフトウェアプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１５０４９７（Ｐ２０１１−１５０４９７Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−１０５９４（Ｐ２０１０−１０５９４）
【出願日】平成２２年１月２１日（２０１０．１．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１月２１日（２０１０．１．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]