説明

認証システム、認証方法、及びプログラム

【課題】人物を含む物の同一性を認証するに際して、高精度の認証を行うことが可能な認証技術を提供する。
【解決手段】認証対象物(例えば、認証対象者)及び比較対象物(例えば、比較対象者)のうちの少なくとも一方について、同種の物(例えば、人物)に共通して具備されている共通特徴部位とは異なり且つ個別に具備されている個別特徴部位を検出する。その後、検出された個別特徴部位の特徴量を認識し、当該特徴量を用いた認証を実行する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体の認証技術に関する。
【背景技術】
【0002】
近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術(生体認証技術)の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティ或いは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。
【0003】
このような認証技術としては、予め登録された登録画像と認証対象物を撮影した撮影画像とをそれぞれ平面情報(「テクスチャ情報」あるいは「2次元情報」)としてのみ取得しておき、単純に両画像の平面情報を比較することによって、登録画像内の人物と撮影画像内の人物とが同一人物であるか否かを判定することが行われる(例えば、非特許文献1参照)。
【0004】
そして、輪郭、左目、右目、鼻、及び口などといった一般的な顔の部位について、形状や配置の特徴に個人性に応じた重みを付与して、個人性が多く含まれている特徴を個人性が乏しい特徴に比べ重視して照合を行うことで、認証精度を高める技術が提案されている(例えば、特許文献1)。
【0005】
また、一般的な顔の部品である顔輪郭、頭髪、眉毛、目、鼻孔、及び口唇等についての一般特徴と、顔の凹凸による皺、疵などを示す線分、及びほくろ等といった個人の顔を特徴づける固有特徴とを用いて照合を行うことで、認証精度を高める技術が提案されている(例えば、特許文献2)。
【0006】
【非特許文献1】ダデット・プラマディハント、呉海元、谷内田正彦、「多様な姿勢を有する入力顔画像からの個人識別」、電子情報通信学会論文誌、D-II、1997年8月、Vol.J80-D-II、No.8、pp.2232-2238
【特許文献1】特開2003−58888号公報
【特許文献2】特開2005−242432号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、上記技術においては、比較の対象となる両画像における人物の姿勢(向き)が同一でない場合には、高精度の認証を行うことができないという問題がある。
【0008】
また、特許文献1で提案された技術では、一般的な顔の部位の形状や配置のみに着目した照合を行うため、認証精度が決して高いとは言えない。
【0009】
更に、特許文献2で提案された技術では、顔全体を用いたパターンマッチングを行うため、個人毎に特徴的でない領域も含めた広範囲の認証となり、認証精度が低下してしまう。
【0010】
このような問題は、顔認証に限らず物体の認証技術一般に共通する。
【0011】
本発明は、上記課題に鑑みてなされたものであり、人物を含む物の同一性を認証するに際して、高精度の認証を行うことが可能な認証技術を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記の課題を解決するために、請求項1の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出する個別部位検出手段と、前記個別部位に係る個別部位特徴量を認識する個別特徴量認識手段と、前記個別部位特徴量を用いて前記認証対象物に関する認証を行う認証手段とを備えることを特徴とする。
【0013】
また、請求項2の発明は、請求項1に記載の認証システムであって、前記認証対象画像、及び前記比較対象画像について、前記共通部位に係る共通部位特徴量を認識する共通特徴量認識手段を更に備え、前記認証手段が、前記個別部位特徴量と前記共通部位特徴量とを用いて前記認証対象物に関する認証を行うことを特徴とする。
【0014】
また、請求項3の発明は、請求項2に記載の認証システムであって、前記認証手段が、前記個別部位特徴量を用いた第1の判定、及び前記共通部位特徴量を用いた第2の判定の双方において、物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする。
【0015】
また、請求項4の発明は、請求項1または請求項2に記載の認証システムであって、前記個別部位検出手段が、多数の同種の物をそれぞれ捉えた多数の基準画像と、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像とを、それぞれ同一のルールで分割して生成した部分画像毎に比較することで、前記個別部位を検出することを特徴とする。
【0016】
また、請求項5の発明は、請求項4に記載の認証システムであって、前記個別部位検出手段が、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を対象として、前記部分画像毎に、前記多数の基準画像から求められた当該部分画像を特徴付ける所定のパラメータに係る基準値に対して、前記所定のパラメータに係る偏差を算出する手段と、前記偏差が所定の基準を超える場合に、当該偏差に係る部分画像を、前記個別部位を捉えた個別部位含有部分画像として判別する判別手段とを有することを特徴とする。
【0017】
また、請求項6の発明は、請求項5に記載の認証システムであって、前記個別部位検出手段が、前記個別部位含有部分画像が複数隣接する場合、当該隣接する複数の個別部位含有部分画像を1つの個別部位に相当する個別部位領域として認識する領域認識手段を更に有することを特徴とする。
【0018】
また、請求項7の発明は、請求項6に記載の認証システムであって、前記個別部位検出手段が、前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、前記個別部位領域毎に、前記多数の基準画像から求められた当該個別部位領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る偏差を算出する手段と、前記複数の個別部位領域のうち、大きな方から前記所定数の因子偏差に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段とを更に有することを特徴とする。
【0019】
また、請求項8の発明は、請求項5または請求項6に記載の認証システムであって、前記個別部位毎に、前記多数の基準画像から求められた各前記個別部位に対応する領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る因子偏差を算出する偏差算出手段を更に備え、前記認証手段が、各前記個別部位特徴量に対して、各前記個別部位に係る前記因子偏差に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする。
【0020】
また、請求項9の発明は、請求項1または請求項2に記載の認証システムであって、前記個別部位検出手段が、部分空間法を用いることで、前記個別部位を検出することを特徴とする。
【0021】
また、請求項10の発明は、請求項9に記載の認証システムであって、前記個別部位検出手段が、多数の同種の物をそれぞれ捉えた多数の基準画像から共通部分空間を決定し、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を構成する画素毎に当該画素に係るパラメータを部分空間に投影した際に、前記共通部分空間に含まれない画素投影領域に係る画素群によって形成される画像領域を、前記個別部位に相当する個別部位領域として認識する領域認識手段を有することを特徴とする。
【0022】
また、請求項11の発明は、請求項10に記載の認証システムであって、前記個別部位検出手段が、前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、当該複数の個別部位領域のうち、前記共通部分空間からのズレ角が大きな方から所定数の画素投影領域に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段を更に有することを特徴とする。
【0023】
また、請求項12の発明は、請求項10または請求項11に記載の認証システムであって、前記認証手段が、前記個別部位毎に前記個別部位特徴量に対して、当該個別部位に係る画素投影領域の前記共通部分空間からのズレ角に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする。
【0024】
また、請求項13の発明は、請求項1から請求項12のいずれかに記載の認証システムであって、前記個別部位の位置を前記共通部位の位置を基準とした相対的な値によって表現した相対位置を算出する位置算出手段を更に備えることを特徴とする。
【0025】
また、請求項14の発明は、請求項13に記載の認証システムであって、前記相対位置が、前記共通部位の位置を基準とした3次元相対位置を含むことを特徴とする。
【0026】
また、請求項15の発明は、請求項13または請求項14に記載の認証システムであって、前記個別部位特徴量が、前記相対位置を示す情報を含むことを特徴とする。
【0027】
また、請求項16の発明は、請求項1から請求項15のいずれかに記載の認証システムであって、前記個別特徴量認識手段が、前記個別部位に相当する画像領域の輝度値及び当該画像領域を構成する画素値の微分値のうちの少なくとも一方を用いて、前記個別部位特徴量を算出する特徴量算出手段を備えることを特徴とする。
【0028】
また、請求項17の発明は、請求項1から請求項16のいずれかに記載の認証システムであって、前記個別部位検出手段が、前記認証対象画像を対象として、前記個別部位を検出する第1の検出手段と、前記比較対象画像を対象として、前記個別部位を検出する第2の検出手段とを有し、前記個別特徴量認識手段が、前記第1の検出手段によって検出された個別部位について、第1の特徴量を認識する第1の認識手段と、前記第2の検出手段によって検出された個別部位について、第2の特徴量を認識する第2の認識手段とを有し、前記認証手段が、前記第1の特徴量を用いた一方向の判定、及び前記第2の特徴量を用いた逆方向の判定の双方において物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする。
【0029】
また、請求項18の発明は、請求項1から請求項16のいずれかに記載の認証システムであって、前記個別部位検出手段が、前記認証対象画像を対象として、前記個別部位を検出する第1の検出手段と、前記比較対象画像を対象として、前記個別部位を検出する第2の検出手段とを有し、前記個別特徴量認識手段が、前記第1の検出手段によって検出された個別部位について、第1の特徴量を認識する第1の認識手段と、前記第2の検出手段によって検出された個別部位について、第2の特徴量を認識する第2の認識手段とを有し、前記認証手段が、前記第1の特徴量を用いた一方向の判定を行う一方向判定手段と、前記第2の特徴量を用いた逆方向の判定を行う逆方向判定手段とを有し、前記認証システムが、前記一方向の判定を行う第1のモードと、前記逆方向の判定を行う第2のモードとを切り替えるモード切替手段を更に備えることを特徴とする。
【0030】
また、請求項19の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、(a)多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出するステップと、(b)前記個別部位に係る個別部位特徴量を認識するステップと、(c)前記個別部位特徴量を用いて前記認証対象物に関する認証を行うステップとを備えることを特徴とする。
【0031】
また、請求項20の発明は、認証システムに含まれるコンピュータによって実行されることにより、前記認証システムを、請求項1から請求項18のいずれかに記載の認証システムとして機能させるプログラムである。
【0032】
また、請求項21の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、前記認証対象物の特徴量を記憶媒体に記憶する情報記憶システムと、前記記憶媒体に記憶された前記認証対象物の特徴量を用いて前記認証対象物に関する認証を行う認証実行システムとを備え、前記情報記憶システムが、前記認証対象物を捉えた画像について、多数の同種の物に共通して具備されている共通部位の特徴量を認識して第1の記憶媒体に記憶させる一方、前記共通部位とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第1の記憶媒体とは異なる第2の記憶媒体に記憶させる記憶制御手段を有し、前記認証実行システムが、前記第1の記憶媒体を受け付ける第1の受付手段と、前記第2の記憶媒体を受け付ける第2の受付手段と、前記第1の受付手段によって受け付けられた前記第1の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行う第1の認証手段と、前記第2の受付手段によって受け付けられた前記第2の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行う第2の認証手段とを備えることを特徴とする。
【0033】
また、請求項22の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、(i)前記認証対象物を捉えた画像から多数の同種の物に共通して具備されている共通部位の特徴量を認識して第1の記憶媒体に記憶させるとともに、前記画像から前記共通部分とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第1の記憶媒体とは異なる第2の記憶媒体に記憶させるステップと、(ii)前記第1の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行うステップと、(iii)前記第2の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行うステップとを備えることを特徴とする。
【発明の効果】
【0034】
請求項1から請求項20のいずれに記載の発明によっても、認証対象物及び比較対象物のうちの少なくとも一方について、同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を検出するとともに、当該個別部位の特徴量を認識して認証を行うような構成を採用することで、物体毎すなわち個別に異なる特徴的な部位を用いた認証が可能となるため、人物を含む物の同一性を認証するに際して、高精度の認証を行うことが可能な認証技術を提供することができる。
【0035】
また、請求項2に記載の発明によれば、個別部位の特徴量と共通部位の特徴量とを用いて認証を行うような構成を採用することで、大まかな特徴と細かい特徴の双方を用いた認証を行うことができるため、高精度の認証が可能となる。
【0036】
また、請求項3に記載の発明によれば、個別部位の特徴量を用いた判定、及び共通部位の特徴量を用いた判定の双方において、特徴が一致していると判定された場合に、認証対象物と比較対象物とが同一であると判定されるような構成を採用することで、厳しい基準に沿った認証によって更に高精度の認証が可能となる。
【0037】
また、請求項4に記載の発明によれば、同種の物をそれぞれ捉えた多数の基準画像と、認証対象物及び比較対象物のうちの少なくとも一方を捉えた画像とを、それぞれ同一のルールで分割した部分画像毎に比較することで、個別部位を検出するような構成を採用することで、個別部位を検出する演算時間を短縮化することができる。また、共通部位に係る微妙な相違以外の大きな相違点である個別部位をより確実に検出することができる。
【0038】
また、請求項5に記載の発明によれば、多数の基準画像から求まる部分画像の特徴についての基準値に対する偏差が所定の基準を超える部分画像を、個別部位を捉えた画像として判別するような構成を採用することで、ある程度大きな相違点である個別部位を容易に検出することができる。
【0039】
また、請求項6に記載の発明によれば、個別部位を捉えた部分画像が複数隣接する場合に、当該隣接する複数の部分画像を1つの個別部位に相当する部分画像領域として認識するような構成を採用することで、1まとまりの個別部位をより確実に検出することができる。
【0040】
また、請求項7に記載の発明によれば、所定数を超える数の個別部位に相当する複数の部分画像領域が認識された場合には、多数の基準画像から求まる基準値に対して偏差が大きな方から所定数の部分画像領域を、複数の部分画像領域から選択的に採用する一方で、残余の部分画像領域は採用しないような構成を採用することで、ある程度大きな特徴を有する個別部位に絞り込んだ認証が可能となるため、認証に要する演算時間を短縮化することができる。
【0041】
また、請求項8に記載の発明によれば、個別部位毎に個別部位の特徴量に対して、多数の基準画像から求まる基準値に対する偏差に応じた重み付けを行って認証を行うような構成を採用することで、より大きな特徴を有する個別部位を重視した認証が可能となるため、認証精度をより一層向上させることができる。
【0042】
また、請求項9及び請求項10のいずれに記載の発明によっても、部分空間法を用いて、認証対象物及び比較対象物のうちの少なくとも一方について個別部位を検出するような構成を採用することで、より安定かつ確実に個別部位を検出することができる。
【0043】
また、請求項11に記載の発明によれば、所定数を超える数の個別部位領域が認識された場合には、当該複数の個別部位領域から、多数の同種の物をそれぞれ捉えた多数の基準画像に基づいて決定される共通部分空間からのズレ角が大きな方から所定数の個別部位領域を選択的に採用する一方で、残余の個別部位領域は採用しないような構成を採用することで、ある程度大きな特徴を有する個別部位に絞り込んだ認証が可能となるため、認証に要する演算時間を短縮化することができる。
【0044】
また、請求項12に記載の発明によれば、個別部位毎に個別部位の特徴量に対して、共通部分空間からのズレ角に応じた重み付けを行って認証を行うような構成を採用することで、より大きな特徴を有する個別部位を重視した認証が可能となるため、認証精度をより一層向上させることができる。
【0045】
また、請求項13に記載の発明によれば、個別部位の位置を共通部位の位置を基準とした相対的な値によって表現するような構成を採用することで、表情の変化等といった認証対象物の状況の変化の影響に拘わらず、高精度の認証を行うことができる。
【0046】
また、請求項14に記載の発明によれば、個別部位の位置を共通部位の位置を基準とした3次元相対位置によって表現するような構成を採用することで、顔等の認証対象物の向きによらず安定した認証が可能となる。
【0047】
また、請求項15及び請求項16のいずれに記載の発明によっても、共通部位の位置に対する個別部位の相対位置を示す情報を、個別部位の特徴量に含めて認証を行うような構成を採用することで、より確実かつ精度の高い認証が可能となる。
【0048】
また、請求項17に記載の発明によれば、認証対象物に係る個別部位の特徴量を認識して当該特徴量を用いて行う一方向の判定、及び比較対象者に係る個別部位の特徴量を認識して当該特徴量を用いて行う逆方向の判定の双方において、特徴が一致していることを示す所定の基準を満たすと判定された場合に、認証対象物と比較対象物とが同一であると判定されるような構成を採用することで、更に精度の高い認証が可能となる。
【0049】
また、請求項18に記載の発明によれば、認証対象物に係る個別部位の特徴量を認識して当該特徴量を用いて認証を行うモードと、比較対象者に係る個別部位の特徴量を認識して当該特徴量を用いて認証を行うモードとを切り替えるような構成を採用することで、比較対象物の数に応じた高精度の認証が可能となる。
【0050】
また、請求項21及び請求項22のいずれに記載の発明によっても、認証対象物を捉えた画像から同種の物に共通して具備されている共通部位の特徴量と、当該共通部分とは異なり且つ個別に具備されている個別部位の特徴量とをそれぞれ認識して、各々別の記憶媒体に記憶させておき、一方の記憶媒体に記憶されている共通部位の特徴量を用いた認証と、他方の記憶媒体に記憶されている個別部位の特徴量を用いた認証とを別々に実行するような構成を採用することで、要求される認証精度に応じた認証を実行させることができる。
【発明を実施するための最良の形態】
【0051】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の実施形態では顔の認証について説明するが、本発明は他の物体の認証にも適用できる。
【0052】
<実施形態>
<認証システムの概要>
図1は、本発明の実施形態に係る認証システム1を示す構成図である。図1に示すように認証システム1は、コントローラ10と2台の画像撮影カメラ(以下、単に「カメラ」とも称する)CA1及びCA2とで構成されている。
【0053】
カメラCA1とカメラCA2とは、それぞれ異なる位置から撮影対象物である人物HMの顔を撮影できるように配置されている。カメラCA1とカメラCA2とによって人物(認証対象者又は登録対象者)の顔画像が撮影されると、当該撮影により得られる人物の外観情報すなわち2種類の顔画像がコントローラ10に通信線を介して送信される。なお、各カメラとコントローラ10との間における画像データの通信方式は有線方式に限定されず、無線方式であっても良い。
【0054】
図2は、コントローラ10の構成概要を示す図である。図2に示されるように、コントローラ10は、CPU2と、記憶部3と、メディアドライブ4と、液晶ディスプレイなどの表示部5と、キーボード6a及びポインティングデバイスであるマウス6bなどの入力部(操作部)6と、ネットワークカードなどの通信部7とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。
【0055】
記憶部3は、複数の記憶媒体、具体的には、ハードディスクドライブ(HDD)3aと、HDD3aよりも高速処理可能なRAM(半導体メモリ)3bとを有している。また、メディアドライブ4は、CD−ROM、DVD(Digital Versatile Disk)、フレキシブルディスク、メモリカードなどの可搬性の記録媒体8からその中に記録されている情報を読み出すことができる。また、記憶部3は、コントローラ10のおける各種データ処理の過程で生成される各種データをRAM3bで一時的に記憶したり、HDD3aで記憶する。
【0056】
なお、このコントローラ10に対して供給される情報は、記録媒体8を介して供給される場合に限定されず、LAN及びインターネットなどのネットワークを介して供給されても良い。
【0057】
<コントローラの機能構成>
図3は、コントローラ10が備える各種機能を示すブロック図である。図4は、画像正規化部14の詳細な機能構成を示すブロック図であり、図5は、特徴認識部15の詳細な機能構成を示すブロック図であり、図6は、登録部18の詳細な機能構成を示すブロック図であり、図7は、認証部19の詳細な機能構成を示すブロック図である。
【0058】
コントローラ10の備える各種機能は、コントローラ10内のCPU等の各種ハードウェアを用いて所定のソフトウェアプログラム(以下、単に「プログラム」とも称する)を実行することによって、実現される機能を概念的に示すものである。
【0059】
図3に示されるように、コントローラ10は、画像入力部11、顔領域検索部12、顔部位検出部13、画像正規化部14、特徴認識部15、操作入力部16、モード切替部17、登録部18、認証部19、及び出力部20を備えている。
【0060】
画像入力部11は、カメラCA1及びCA2によって撮影された2枚の画像をコントローラ10に入力する機能を有している。
【0061】
顔領域検索部12は、入力された顔画像から顔領域を特定する機能を有している。
【0062】
顔部位検出部13は、特定した顔領域から多数の人物に共通して具備されている顔の特徴的な部位(例えば、目、眉、鼻、口等であり、以下「共通特徴部位」と総称する)の位置を検出する機能を有している。
【0063】
画像正規化部14は、認証対象者(又は登録対象者)に関する情報を正規化する機能を有している。この画像正規化部14の詳細については後述する。
【0064】
特徴認識部15は、画像正規化部14で得られた情報から認証対象者(又は登録対象者)の顔を構成する部位に係る3次元情報と2次元情報とを認識する機能を有している。この特徴認識部15は、一般的な人間の顔に具備されている共通特徴部位に係る情報だけでなく、共通特徴部位とは異なり、各人個別に具備されている顔の特徴的な部位(例えば、ほくろ、傷、皺等であり、以下「個別特徴部位」と総称する)を検出するとともに、当該個別特徴部位に係る位置情報等の各種情報を認識する機能を有している。この特徴認識部15の詳細については後述する。
【0065】
操作入力部16は、操作部6に対するユーザーの操作に応答して入力される信号を受け付け、各種動作や制御を実現させる機能を有している。
【0066】
モード切替部17は、操作入力部16からの信号に応じて、登録モード、詳細照合モード、高速照合モード、及び1対n識別モードによって構成される4つのモードのうちの何れか1つのモードにコントローラ10を選択的に切り替える機能を有している。登録モードは、登録対象者の顔の特徴を登録するモードであり、詳細照合モードは、認証対象者と比較対象者とが同一人物か否かを極めて高精度で照合するモードであり、高速照合モードは、認証対象者と比較対象者とが同一人物であるか否かを比較的高精度かつ短時間で照合するモードであり、1対n識別モードは、既に登録された多数(n人)の人物の中に認証対象者が含まれているか否かを識別するモードである。なお、以下では、詳細照合モード、高速照合モード、及び1対n識別モードを適宜「認証モード」と総称する。
【0067】
登録部18は、コントローラ10が登録モードに設定されている場合に、特徴認識部15で認識された情報を記憶部3内のHDD3aに登録する機能を有している。この登録部18の詳細については後述する。
【0068】
認証部19は、顔の認証を主たる目的として構成され、各個人を顔画像で認証する機能を有している。この認証部19の詳細についても後述する。
【0069】
出力部20は、認証部19で得られた認証結果を出力する機能を有している。
【0070】
次に、画像正規化部14の詳細構成について図4を用いて説明する。
【0071】
図4に示すように、画像正規化部14は、3次元再構成部141、最適化部142、及び補正部143を有している。
【0072】
3次元再構成部141は、予めカメラパラメータ記憶部51に記憶されている各カメラCA1,CA2の位置姿勢等を示すカメラパラメータを参照することで、入力画像から得られる顔を構成する共通特徴部位の座標から各部位の3次元座標を算出する機能を有している。
【0073】
最適化部142は、3次元再構成部141で算出された各部位の3次元座標を用いて、3次元モデルデータベース(DB)52に格納されている顔の標準モデルから個別モデルを生成する機能を有している。
【0074】
補正部143は、最適化部142で生成された個別モデルを補正する機能を有している。
【0075】
これらの各処理部141〜143によって、認証対象者(又は登録対象者)に関する情報は、正規化され、相互比較しやすい状態に変換される。具体的には、顔の向き、サイズ(画素数)が正規化される。また、各処理部の機能によって作成された個別モデルは、認証対象者(又は登録対象者)に関する3次元情報と2次元情報との双方を含むものとして形成される。「3次元情報」は、3次元座標値等で構成される立体的構成に関連する情報であり、「2次元情報」は、表面情報(テクスチャ情報)及び/又は平面的な位置情報等で構成される平面的構成に関連する情報である。
【0076】
次に、特徴認識部15の詳細構成について図5を用いて説明する。
【0077】
図5に示すように、特徴認識部15は、共通部位特徴量認識部151、情報圧縮部152、個別部位領域認識部153、個別部位領域選択採用部154、及び個別部位特徴量認識部155を有している。
【0078】
共通部位特徴量認識部151は、画像正規化部14で得られた3次元顔モデルから3次元情報と2次元情報とを共通特徴部位に係る特徴量(以下「共通部位特徴量」とも称する)として認識する機能を有する。
【0079】
情報圧縮部152は、共通部位特徴量認識部151で抽出された3次元情報と2次元情報とをそれぞれ、顔認証用の適切な共通部位特徴量に変換することで、顔認証に用いる3次元情報と2次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、部位基底ベクトルデータベース(DB)61に格納された情報等を用いて実現される。
【0080】
個別部位領域認識部153は、画像正規化部14で得られた3次元顔モデル(以下「正規化画像」とも称する)を微分した画像を解析することで、正規化画像から各個別特徴部位をそれぞれ捉えた画像領域(以下「個別部位領域」とも称する)を認識する個別部位領域認識機能を有している。この個別部位領域認識機能は、統計微分画像情報データベース(DB)62に格納された情報等を用いて実現される。
【0081】
個別部位領域選択採用部154は、個別部位領域認識部153で認識された個別部位領域が所定数(例えば、10個)を超える場合に、他人と異なる度合いが顕著な方から順に所定数の個別部位領域を選択的に採用する機能を有している。なお、個別部位領域選択採用部154では、個別部位領域認識部153で認識された個別部位領域が所定数(例えば、10個)を超えていない場合は、全ての個別部位領域をそのまま採用する。
【0082】
個別部位特徴量認識部155は、個別部位領域選択採用部154で採用された個別部位領域についての特徴量、すなわち位置、画素値等といった個別部位に係る特徴量(以下「個別部位特徴量」とも称する)を認識する機能を有している。
【0083】
次に、登録部18の詳細構成について図6を用いて説明する。
【0084】
登録部18は、記憶制御部181を有している。
【0085】
記憶制御部181は、特徴認識部15で認識された共通部位特徴量及び個別部位特徴量を登録対象者毎に区別してHDD3aに記憶することで、特徴量データベース(DB)71を構築するように制御する機能を有している。
【0086】
次に、認証部19の詳細構成について図7を用いて説明する。
【0087】
認証部19は、共通特徴量読出部191、共通部位比較部192、個別部位比較位置決定部193、個別部位比較部194、及び総合判定部195を有している。
【0088】
共通特徴量読出部191は、特徴量DB71から比較対象者に係る共通特徴量を読み出す機能を有している。
【0089】
共通部位比較部192は、特徴認識部15で認識された認証対象者に係る共通部位特徴量と、共通特徴量読出部191で読み出された比較対象者に係る共通部位特徴量との類似度を算出する機能を有している。
【0090】
個別部位比較位置決定部193は、高速照合モードでは、認証対象者を捉えた画像のうち比較対象者に係る個別特徴部位の位置と対応する位置を個別特徴部位に係る比較位置として決定し、1対n識別モードでは、比較対象者を捉えた画像のうち認証対象者に係る個別特徴部位の位置と対応する位置を個別特徴部位に係る比較位置として決定する機能を有している。
【0091】
個別部位比較部194は、個別部位比較位置決定部193によって決定された比較位置について、特徴認識部15で認識された認証対象者に係る個別部位特徴量と特徴量DB71に予め登録された比較対象者に係る個別部位特徴量との類似度を算出する機能と、特徴量DB71に予め登録された比較対象者に係る個別部位特徴量と特徴認識部15で認識された認証対象者に係る個別部位特徴量との類似度を算出する機能とを有している。
【0092】
総合判定部195は、共通部位比較部192で算出された共通特徴部位に係る類似度と、個別部位比較部194で算出した個別特徴部位に係る類似度とに基づいて、認証対象者と比較対象者とが同一人物であるか否かを判定する機能を有する。
【0093】
<登録モードにおける動作>
以下では、上述したコントローラ10の登録モードに係る各機能についてより詳細に説明する。
【0094】
図8は、登録モード設定時におけるコントローラ10の動作を示すフローチャートであり、図9は、画像正規化処理工程(ステップSP4)の詳細なフローチャートである。図10は、顔画像における共通特徴部位の特徴点を示す図である。図11は、2次元画像中の特徴点から三角測量の原理を用いて3次元座標を算出する様子を示す模式図である。なお、図11中の符号G1は、カメラCA1により撮影されコントローラ10に入力された画像G1を示し、符号G2は、カメラCA2により撮影されコントローラ10に入力された画像G2を示している。また、画像G1,G2中の点Q20は、図10における口の右端に相当する。
【0095】
以下では、カメラCA1及びCA2で撮影した人物を登録対象者として、実際に顔認証用の情報を登録する場合について説明する。ここでは、3次元情報として、カメラCA1,CA2による画像を利用して三角測量の原理によって計測された3次元形状情報を用い、2次元情報として主にテクスチャ(輝度)情報を用いる場合を例示する。
【0096】
図8に示されるように、コントローラ10は、ステップSP1からステップSP6までの工程において、登録対象者の顔を撮影した画像(以下「登録対象画像」とも称する)に基づき登録対象者の顔に係る共通部位特徴量を取得するとともに、ステップSP7からステップSP9までの工程において、登録対象画像に基づき登録対象者の顔に係る個別部位特徴量を取得し、ステップSP10の工程を経ることで、登録対象者の顔の特徴が登録される。
【0097】
まず、ステップSP1において、カメラCA1及びCA2によって撮影された人物(登録対象者)の顔画像(登録対象画像)が、通信線を介しコントローラ10に入力される。顔画像を撮影するカメラCA1及びカメラCA2は、それぞれ、2次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラCAiの位置姿勢等を示すカメラパラメータBi(i=1・・N)は既知であり、予めカメラパラメータ記憶部51(図4)に記憶されている。ここで、Nはカメラの台数を示している。本実施形態ではN=2の場合を例示しているが、N≧3としてもよい(3台以上のカメラを用いてもよい)。また、カメラパラメータBiについては後述する。
【0098】
次に、ステップSP2において、カメラCA1及びCA2より入力された2枚の登録対象画像それぞれにおいて、顔の存在する領域が検出される。例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、2枚の画像それぞれから顔領域を検出することができる。
【0099】
次に、ステップSP3において、ステップSP2で検出された顔領域の画像の中から、一般的な人物の顔に共通して具備されている特徴的な部位(共通特徴部位)の位置が検出される。例えば、共通特徴部位としては、目、眉、鼻又は口等が考えられ、ステップSP3では、図10に示されるような上記各部位の特徴点Q1〜Q23の座標が算出される。
【0100】
共通特徴部位は、例えば、共通特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像G1、G2上の座標として表される。例えば、図10における口の右端に相当する特徴点Q20に関して、図11中に示すように、2枚の画像G1,G2のそれぞれにおける座標値が求められる。具体的には、画像G1の左上の端点を原点Oとして、特徴点Q20の画像G1上の座標(x1,y1)が算出される。画像G2においても同様に特徴点Q20の画像G2上の座標(x2,y2)が算出される。
【0101】
また、入力された画像における各特徴点を頂点とする領域内の各画素の輝度値が、当該領域の有する情報(以下、「テクスチャ情報」とも称する)として取得される。各領域におけるテクスチャ情報は、後述のステップSP42等において、個別モデルに貼り付けられる。なお、本実施形態の場合、入力される画像は2枚であるので、各画像の対応する領域に属する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。
【0102】
次のステップSP4(画像正規化工程)では、ステップSP3で検出された各特徴点の座標値及び各領域のテクスチャ情報等に基づいて、登録対象者に関する画像情報が正規化される。この画像正規化工程(ステップSP4)は、図9に示されるように、3次元再構成工程(ステップSP41)とモデルフィッテング工程(ステップSP42)と補正工程(ステップSP43)とを有している。これらの工程を経ることによって、登録対象者に関する情報は、登録対象者に関する3次元情報と2次元情報との双方を含む「個別モデル」として、正規化された状態で生成される。以下、各工程(ステップSP41〜SP43)について詳細に説明する。
【0103】
まず、3次元再構成工程(ステップSP41)では、ステップSP3において検出された各特徴点Qjの各画像Gi(i=1,...,N)における2次元座標Ui(j)と、各画像Giを撮影したカメラのカメラパラメータBiとに基づいて、各特徴点Qjの3次元座標M(j)(j=1・・・m)が算出される。なお、mは特徴点の数を示している。
【0104】
以下、3次元座標M(j)の算出について具体的に説明する。
【0105】
各特徴点Qjの3次元座標M(j)と各特徴点Qjの2次元座標Ui(j)とカメラパラメータBiとの関係は式(1)のように表される。
【0106】
【数1】

【0107】
なお、μiは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Biは、予め3次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、3×4の射影行列で表される。
【0108】
例えば、上記式(1)を用いて3次元座標を算出する具体的な例として、特徴点Q20の3次元座標M(20)を算出する場合を図11を用いて考える。式(2)は画像G1上の特徴点Q20の座標(x1,y1)と特徴点Q20を3次元空間で表したときの3次元座標(x,y,z)との関係を示している。同様に、式(3)は、画像G2上の特徴点Q20の座標(x2,y2)と特徴点Q20を3次元空間で表したときの3次元座標(x,y,z)との関係を示している。
【0109】
【数2】

【0110】
【数3】

【0111】
上記式(2)及び式(3)中の未知数は、2つの媒介変数μ1、μ2と3次元座標M(20)の3つの成分値x,y,zとの合計5つである。一方、式(2)及び式(3)に含まれる等式の数は6であるため、各未知数つまり特徴点Q20の3次元座標(x,y,z)を算出することができる。また、同様にして、全ての特徴点Qjについての3次元座標M(j)を取得することができる。
【0112】
次のステップSP42では、モデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的(標準的)な顔の立体モデルである「(顔の)標準モデル」を、登録対象者に関する情報を用いて変形することによって、登録対象者の顔に関する入力情報が反映された「個別モデル」を生成する処理である。具体的には、算出された3次元座標M(j)を用いて標準モデルの3次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの2次元情報を変更する処理とが行われる。
【0113】
図12は、3次元の顔の標準モデルを示している。
【0114】
図12に示されるように、顔の標準モデルは、頂点データとポリゴンデータとで構成され、記憶部3に格納された3次元モデルデータベース(DB)52(図4)に含まれている。頂点データは、標準モデルにおける特徴部位の頂点(以下、「標準制御点」とも称する)COjの座標の集合であり、ステップSP41において算出される各特徴点Qjの3次元座標と1対1に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形(例えば、三角形)のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図10では、各ポリゴンの頂点が標準制御点COj以外の中間点によっても構成される場合を例示しており、中間点の座標は標準制御点COjの座標値を用いた適宜の補完手法によって得ることが可能である。
【0115】
ここで、標準モデルから個別モデルを構成するモデルフィッティングについて詳述する。
【0116】
まず、標準モデルの各特徴部位の頂点(標準制御点COj)を、ステップSP41において算出された各特徴点に移動させる。具体的には、各特徴点Qjの3次元座標値を、対応する標準制御点COjの3次元座標値として代入し、移動後の標準制御点(以下、「個別制御点」とも称する)Cjを得る。これにより、標準モデルを3次元座標M(j)で表した個別モデルに変形することができる。なお、個別モデルにおける個別制御点Cj以外の中間点の座標は、個別制御点Cjの座標値を用いた適宜の補間手法によって得ることが可能である。
【0117】
また、この変形(移動)による各頂点の移動量から、後述のステップSP43において用いられる、標準モデルを基準にした場合の個別モデルのスケール、傾き及び位置を求めることができる。具体的には、標準モデルにおける所定の基準位置と、変形後の個別モデルにおける対応基準位置との間のずれ量によって、個別モデルの標準モデルに対する位置変化を求めることができる。また、標準モデルにおける所定の2点を結ぶ基準ベクトルと、変形後の個別モデルにおける当該所定の2点の対応点を結ぶ基準ベクトルとの間のずれ量によって、個別モデルの標準モデルに対する傾きの変化及びスケール変化を求めることができる。例えば、右目の目頭の特徴点Q1と左目の目頭の特徴点Q2との中点QMの座標と標準モデルにおいて中点QMに相当する点の座標とを比較することによって個別モデルの位置を求めることができ、さらに、中点QMと他の特徴点とを比較することによって個別モデルのスケール及び傾きを算出することができる。
【0118】
次の式(4)は、標準モデルと個別モデルとの間の対応関係を表現する変換パラメータ(ベクトル)vtを示している。式(4)に示すように、この変換パラメータ(ベクトル)vtは、両者のスケール変換指数szと、直交3軸方向における並進変位を示す変換パラメータ(tx,ty,tz)と、回転変位(傾き)を示す変換パラメータ(φ,θ,ψ)とをその要素とするベクトルである。
【0119】
【数4】

【0120】
上述のようにして、認証対象者に関する3次元座標M(j)を用いて標準モデルの3次元情報を変更する処理が行われる。
【0121】
その後、テクスチャ情報を用いて標準モデルの2次元情報を変更する処理も行われる。具体的には、入力画像G1,G2における各領域のテクスチャ情報が、3次元の個別モデル上の対応する領域(ポリゴン)に貼り付け(マッピング)られる。なお、立体モデル(個別モデル等)上でテクスチャ情報が貼り付けられる各領域(ポリゴン)は「パッチ」とも称せられる。
【0122】
以上のようにして、モデルフィッティング処理(ステップSP42)が行われる。
【0123】
次のステップSP43では、標準モデルを基準にして個別モデルの補正が行われる。本工程では、アライメント補正と、シェーディング補正とが実行される。アライメント補正は、3次元情報に関する補正処理であり、シェーディング補正は、2次元情報に関する補正処理である。
【0124】
アライメント(顔向き)補正は、上記ステップSP42において求められる標準モデルを基準にした際の個別モデルのスケール、傾き及び位置を基にして行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータvt(式(4)参照)を用いて個別モデルを座標変換することで、標準モデルの姿勢と同じ姿勢を有する3次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者に関する3次元情報を適切に正規化することができる。
【0125】
また、シェーディング補正は、個別モデルにマッピングされているパッチ内の各画素の輝度値(テクスチャ情報(図13参照))を補正する処理である。このシェーディング補正によれば、光源と被写体人物との位置関係が標準モデル作成のための人物撮影時と個別モデルの対象人物撮影時(登録対象者撮影時)とで相違する場合に生じる、両モデル(標準モデルおよび個別モデル)のテクスチャ情報の相違を補正することができる。すなわち、シェーディング補正によれば、認証対象者に関する2次元情報の1つであるテクスチャ情報を適切に正規化することができる。
【0126】
以上のように画像正規化工程(ステップSP4)では、登録対象者に関する情報が、登録対象者に関する3次元情報と2次元情報との双方を含む個別モデルとして、正規化された状態で生成される。
【0127】
次のステップSP5(図8)では、個別モデルの特徴すなわち共通特徴部位の特徴を表す情報として、3次元形状情報(3次元情報)とテクスチャ情報(2次元情報)とが抽出される。
【0128】
3次元情報としては、個別モデルにおけるm個の個別制御点Cjの3次元座標ベクトルが抽出される。具体的には、式(5)に示されるように、m個の個別制御点Cj(j=1,...,m)の3次元座標(Xj,Yj,Zj)を要素とするベクトルhSが3次元情報(3次元形状情報)として抽出される。
【0129】
【数5】

【0130】
また、2次元情報としては、個人認証にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ(局所領域)が有するテクスチャ(輝度)情報(以下、「局所2次元情報」とも称する)が抽出される。
【0131】
局所2次元情報は、例えば、正規化後の特徴的な部位の個別制御点を示す図14中のグループGR(個別制御点C20、C22及びC23を頂点とするパッチR1と個別制御点C21、C22及びC23を頂点とするパッチR2)から構成される領域、又は、単に一つのパッチからなる領域等の各局所領域が有する各画素の輝度情報として構成される。局所2次元情報h(k)(k=1,...,L;Lは局所領域数)は、それぞれ、当該局所領域内の画素数をn、各画素の輝度値をBR1,...,BRnとすると、式(6)のようなベクトル形式で表される。また、局所2次元情報h(k)をL個の局所領域について集めた情報は、総合的な2次元情報であるとも表現される。
【0132】
【数6】

【0133】
以上のように、ステップSP5では、個別モデルの特徴、すなわち共通部位特徴量を表す情報として、3次元形状情報(3次元情報)とテクスチャ情報(2次元情報)とが認識される。
【0134】
抽出された情報は後述の認証に用いられる。当該認証では、式(6)で得られる情報をそのまま用いて認証を行うようにしてもよいが、その場合、局所領域内の画素数が多いときには、認証での計算量が非常に大きくなってしまう。そこで、この実施形態では、計算量を低減して効率的に認証を行うことを企図して、式(6)で得られる情報を更に圧縮し圧縮後の情報を用いて認証動作を行うものとする。
【0135】
そのため、次のステップSP6では、ステップSP5で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理を行う。
【0136】
情報圧縮処理は、3次元形状情報hS及び各局所2次元情報h(k)のそれぞれに対して同様の手法を用いて行われるが、ここでは、局所2次元情報h(k)に対して情報圧縮処理を施す場合について詳細に説明する。
【0137】
局所2次元情報h(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報(ベクトル)have(k)と、複数のサンプル顔画像をKL展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列P(k)(次述)とを用いて式(7)のように基底分解された形式で表すことができる。この結果、局所2次元顔情報量(ベクトル)c(k)が、局所2次元情報h(k)についての圧縮情報として取得される。
【0138】
【数7】

【0139】
上述のように式(7)中の行列P(k)は、複数のサンプル顔画像から算出される。具体的には、行列P(k)は、複数のサンプル顔画像をKL展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル(基底ベクトル)のセットとして求められる。これらの基底ベクトルは、部分基底ベクトルDB61に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。
【0140】
例えば、図14に示されているグループGRからなる局所領域の局所2次元情報h(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットPが、3つの固有ベクトルP1、P2及びP3によってP=(P1,P2,P3)と表現されているとすると、局所2次元情報h(GR)は、当該局所領域の平均情報have(GR)と固有ベクトルのセットP1,P2,P3を用いて式(8)のように表される。平均情報have(GR)は、様々なサンプル顔画像についての複数の局所2次元情報(ベクトル)を対応要素ごとに平均して得られるベクトルである。なお、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。
【0141】
【数8】

【0142】
また、上記式(8)は、顔情報量c(GR)=(c1,c2,c3)Tによって元の局所2次元情報を再現することが可能であることを示している。すなわち、顔情報量c(GR)は、グループGRからなる局所領域の局所2次元情報h(GR)を圧縮した情報といえる。
【0143】
上記のようにして取得された局所2次元顔情報量c(GR)をそのまま認証動作に用いてもよいが、この実施形態ではさらなる情報圧縮を行う。具体的には、局所2次元顔情報量c(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理を更に行う。より詳細には、式(9)に表されるようベクトルサイズfの局所2次元顔情報量c(GR)をベクトルサイズgの局所2次元特徴量d(GR)に低減させる変換行列Aを考える。これにより、局所2次元顔情報量c(GR)で表される特徴空間を局所2次元特徴量d(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。
【0144】
【数9】

【0145】
ここで、変換行列Aはf×gのサイズを有する行列である。重判別分析(MDA:Multiple Discriminant Analysis)法を用いて、特徴空間から級内分散と級間分散との比率(F比)の大きい主成分をg個選び出すことによって、変換行列Aを決定することができる。
【0146】
また、上述した局所2次元情報h(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所2次元共通部位特徴量d(k)を取得することができる。また、3次元形状情報hSに対しても同様の手法を適用することにより3次元共通部位特徴量dSを取得することができる。
【0147】
上記ステップSP6を経て取得される3次元共通部位特徴量dSと局所2次元共通部位特徴量d(k)とを組み合わせた共通部位特徴量dは、ベクトル形式で式(10)のように表すことができる。
【0148】
【数10】

【0149】
以上に述べたステップSP1〜SP6の工程において、入力される登録対象者の顔画像から当該対象者の共通部位特徴量dが認識される。
【0150】
そして、次のステップSP7〜SP9では、個別部位特徴量が認識される。
【0151】
ステップSP7(個別特徴部位検出工程)では、ステップSP4で正規化された画像に基づいて、個別特徴部位が検出される。この個別特徴部位検出工程(ステップSP7)は、図15に示すステップSP71〜SP74の工程を行う。以下、各工程について、図13に示すように、右目の斜め下に有るホクロを個別特徴部位として認識する場合を例示しつつ、説明する。
【0152】
ステップSP71では、個別特徴部位として採用する候補(以下「個別特徴部位候補」とも称する)を認識する。個別特徴部位候補の認識方法としては、例えば、ステップSP4で正規化されたテクスチャ情報(以下「正規化済画像」とも称する)を微分した画像(微分画像)を解析する手法を採用することができる。
【0153】
例えば、図13に示すように、右目の斜め下にホクロがある顔を捉えたテクスチャー画像を微分すると、図16に示すような微分画像が得られ、右目の斜め下に有るホクロHKの存在が強調された態様となる。次に、図17に示すように、微分画像をグリッド状に分割することで同一形状・サイズをそれぞれ有する多数の正方形状の部分画像CUに分け、各部分画像CU毎に画素値の合計値を算出する。そして、予め多数の人物についても同一のルールで分割して部分画像毎に画素値の合計値(画素合計値)を統計的に処理した情報(以下「統計微分画像情報」とも称する)と比較することで、個別特徴部位候補を認識する。
【0154】
ここでは、登録対象画像に係る部分画像UCのうち、多数の人物をそれぞれ捉えた多数の基準画像から求まる各部分画像を特徴付ける所定のパラメータ(ここでは、微分画像の画素合計値)に係る基準値に対し、偏差が所定の基準値を超える部分画像を、個別特徴部位を捉えた部分画像(以下「個別部位含有画像」とも称する)として判別する。
【0155】
例えば、ある部分画像CUについて、図18(a)に示すような多数の基準画像に係る統計的情報が得られている場合に、登録対象画像に係る微分画像を構成する部分画像について、図18(b)に示すように、基準値Vaveに対する所定の偏差値Vthを超える画素合計値Vpが算出された場合には、当該部分画像が、個別特徴部位を捉えた個別部位含有画像すなわち個別特徴部位候補であると認識される。このように、多数の基準画像から求まる基準値に対する偏差が所定の基準を超える部分画像を、個別特徴部位を捉えた個別部位含有画像として判別するため、ある程度大きな差異点を有する個別特徴部位候補ひいては個別特徴部位を容易に検出することができる。
【0156】
更に、個別部位含有画像が複数個相互に隣接し合う場合には、当該相互に隣接し合う複数個の個別部位含有画像が1つの個別部位に相当する領域(以下「個別部位領域」とも称する)として認識される。このようにして個別部位領域を認識することで、1まとまりの個別特徴部位候補をより確実に検出することができる。
【0157】
なお、統計微分画像情報は、予め統計微分画像情報データベース(DB)62に格納しておけば良く、人物以外の認証を行う場合には、統計微分画像情報は、多数の同種の物をそれぞれ捉えた多数の基準画像に係る微分画像を統計的に処理した情報であれば良い。
【0158】
また、グリッド状に分割した後の部分画像としては、例えば、16×16画素などといった具合に一定の画素領域によって構成される部分画像などが挙げられる。なお、画素毎に画素値を比較して個別特徴部位を含む画素を認識することで個別部位領域を認識する手法も考えられるが、ある程度の大きさを有する部分画像毎に比較する手法を採用する方が、個別特徴部位候補ひいては個別特徴部位を検出する演算時間を短縮化することができる。
【0159】
また、画素毎に比較を行うと、個人間における共通特徴部位に係る微妙な差異点まで、個別特徴部位を含有する画素として認識してしまい、個別特徴部位を共通特徴部位とは区別して検出することができない。これに対して上述の如く、ある程度の大きさを有する部分画像毎に比較する手法を採用すると、共通特徴部位とは区別して、より顕著な差異点である個別特徴部位をより確実に検出することができる。
【0160】
図15のステップSP72では、ステップSP71で所定数(例えば10個)を超える数の個別部位領域が認識されたか否かを判定する。ここで、個別部位領域の数が所定数を超えている場合には、ステップSP73に進み、所定数を超えていない場合には、ステップSP74に進む。
【0161】
ステップSP73では、ステップSP71で認識した個別特徴部位候補のうち、顕著な特徴を有する方から順に所定数(例えば10個)の個別特徴部位候補(すなわち個別部位領域)を選択的に採用する一方で、残余の個別特徴部位候補については採用しない。顕著な特徴を有する順番を判断する際の手法としては、例えば、各個別部位領域について、多数の人物をそれぞれ捉えた多数の基準画像から求まる各個別部位領域を特徴付ける所定の変動因子(ここでは、微分画像の画素合計値)に係る基準値からの離れ度合い(偏差)を利用する手法が挙げられる。ここでは、所定の変動因子に係る基準値は上述した統計微分画像情報から求めることができ、各個別部位領域に係る離れ度合い(偏差)を微分画像に係る画素合計値から算出して、当該偏差が大きい方から顕著な特徴を有していると判断することができる。
【0162】
ステップSP74では、ステップSP72から進んで来た場合には、ステップSP71で認識された所定数以下の個別特徴部位候補をそのまま個別特徴部位として決定し、ステップSP73から進んで来た場合には、ステップSP73で選択的に採用された所定数の個別特徴部位候補を個別特徴部位として決定する。
【0163】
なお、ここで個別特徴部位の数を所定数以下に絞り込んだのは、ある程度大きな特徴を有する個別特徴部位に絞り込んだ方が、後述する認証等に要する演算時間を短縮化することができるからである。
【0164】
このように、ステップSP7(個別特徴部位検出工程)では、多数の人物をそれぞれ捉えた多数の基準となる画像(基準画像)と登録対象画像とをそれぞれ微分し、それぞれ同一のルールで分割した部分画像CU毎に比較することで、個別特徴部位候補ひいては個別特徴部位を認識することができる。
【0165】
図8のステップSP8(個別特徴部位の位置算出工程)では、ステップSP7で検出された個別特徴部位の3次元位置を算出する。この個別特徴部位の位置算出工程(ステップSP8)は、図19に示すステップSP81、ステップSP82の工程を行う。以下、各工程について説明する。
【0166】
ステップSP81では、ステップSP7で検出された各個別特徴部位について、3次元の絶対位置を算出する。ここでは、ステップSP41の3次元再構成工程における座標系と同様な座標系において、各個別特徴部位の重心の位置が算出される。
【0167】
ステップSP82では、ステップSP7で検出された各個別特徴部位について、共通特徴部位を基準とした相対的な値によって表現された3次元位置(3次元相対位置)を算出する。ここでは、各個別特徴部位について、正規化後における共通特徴部位のうちの個別特徴部位から最も近い方から3つ以上の共通特徴部位を基準とした相対位置が算出される。例えば、図20で示すように、個別特徴部位(ここでは、ホクロ)PPについて、個別特徴部位PPから最も近い3つの共通特徴部位(ここでは、右目、鼻、口)にそれぞれ属する特徴点Q3,Q17,Q20に対する相対位置が算出される。
【0168】
より詳細には、例えば、式(11)に表されるように、i番目の個別特徴部位の3次元相対位置Pipを、j番目の共通特徴部位の3次元位置Pjcに係数(ここでは、i番目の個別特徴部位を表現するj番目の共通特徴部位に係る係数)を乗じたベクトルの総和(すなわち線形和)によって算出する。
【0169】
【数11】

【0170】
なお、ここでは、個別特徴部位の位置を3つ以上の共通特徴部位に対する相対位置によって表現しようとすれば、最低限3つの異なる方向に向いたベクトルによってそれぞれ3次元位置が示される共通特徴部位の特徴点を基準に表現すれば良い。
【0171】
このように、個別特徴部位の位置を共通特徴部位の位置を基準とした相対的な数値によって表現するような構成としたのは、顔の表情が若干変化すると、顔全体に対して個別特徴部位が占める位置がずれるが、複数の共通特徴部位に対する個別特徴部位の相対的な位置関係は比較的ずれ難い。そこで、ここでは、上述したように、個別特徴部位の位置を3つ以上の共通特徴部位を基準とした相対的な値によって表現することで、表情の変化等といった認証対象物の状況の変化の影響によらず、後述する認証を高精度に行うことができる。特に、個別特徴部位の位置を共通特徴部位の位置を基準とした3次元相対位置によって表現することで、顔等の認証対象物の向きによらず安定した認証が可能となる。
【0172】
図8のステップSP9(個別特徴部位の特徴量認識工程)では、各個別特徴部位について、登録対象画像のうちの個別部位領域の輝度値(画素値)の加算値、登録対象画像に係る微分画像のうちの当該個別部位領域における画素値の加算値、個別部位領域の大きさ(サイズ)、共通特徴部位からの3次元相対位置などを個別特徴部位に係る特徴量(以下「個別部位特徴量」とも称する)として認識する。ここでは、例えば、個別部位特徴量は、各値を各ベクトル成分として表現したベクトルの形式で認識される。
【0173】
ステップSP10(記憶処理工程)では、ステップSP5で認識した上でステップSP6で情報圧縮処理を施された共通部位特徴量と、ステップSP9で認識した個別部位特徴量とを特徴量DB71に記憶し、1人の顔の特徴量に係る登録処理が終了する。なお、このステップSP10では、各個別特徴部位に相当する個別部位領域について、統計微分画像情報から求まる基準値に対する微分画像に係る画素合計値の離れ度合い(偏差)を、登録対象者に係る特徴量と併せて特徴量DB71に登録する。
【0174】
以上では、1人の登録対象者に係る登録処理について説明したが、以上の登録処理を複数回行うことで、多数の人物の顔の特徴量を蓄積した特徴量DB71を構築することができる。このようにして特徴量DB71に蓄積された登録対象者の顔の特徴量は、後述する認証処理において認証対象者の顔の特徴量と比較する対象となる。つまり、登録処理において登録対象者であった人物は、認証処理では比較対象者となる。
【0175】
<認証モードにおける動作>
以下では、上述したコントローラ10の認証モードに係る各機能についてより詳細に説明する。
【0176】
図21は、認証モード設定時におけるコントローラ10の動作を示すフローチャートであり、図22は、詳細照合処理工程(ステップST8)の詳細なフローチャートである。図23は、個別特徴部位に係る一方向類似度算出工程(ステップST82)の詳細なフローチャートである。図24は、個別特徴部位に係る逆方向類似度算出工程(ステップST83)の詳細なフローチャートである。図25は、高速照合処理工程(ステップST9)の詳細なフローチャートである。図26は、1対n識別処理工程(ステップST10)の詳細なフローチャートである。
【0177】
以下では、カメラCA1及びCA2で撮影した人物を認証対象者として、実際に顔認証用の情報を認証する場合について説明する。ここでは、3次元情報として、カメラCA1,CA2による画像を利用して三角測量の原理によって計測された3次元形状情報を用い、2次元情報として主にテクスチャ(輝度)情報を用いる場合を例示する。
【0178】
図21に示されるように、コントローラ10は、ステップST1からステップST6までの工程において、認証対象者の顔を撮影した画像(以下「認証対象画像」とも称する)に基づき認証対象者の顔に係る共通部位特徴量を取得するとともに、ステップST7からステップST10までの工程において、各認証モードに応じた実際の認証を行い、ステップST11の工程を経ることで、認証対象者の顔に関する認証処理が実現される。
【0179】
まず、ステップST1では、図8のステップSP1と同様に、カメラCA1及びCA2によって撮影された人物(認証対象者)の顔画像(認証対象画像)が、通信線を介しコントローラ10に入力される。
【0180】
ステップST2では、図8のステップSP2と同様な処理により、カメラCA1及びCA2より入力された2枚の認証対象画像それぞれにおいて、顔の存在する領域が検出される。
【0181】
ステップST3では、図8のステップSP3と同様な処理により、ステップST2で検出された顔領域の画像の中から、一般的な人物の顔に共通して具備されている共通特徴部位の位置が検出される。
【0182】
ステップST4(画像正規化工程)では、図8のステップSP4と同様な処理、すなわち図9の画像正規化工程を認証対象画像について行うことで、認証対象者に関する画像情報が正規化される。つまり、認証対象者に関する情報が、認証対象者に関する3次元情報と2次元情報との双方を含む個別モデルとして、正規化された状態で生成される。
【0183】
ステップST5では、図8のステップSP5と同様な処理により、個別モデルの特徴すなわち共通特徴部位の特徴を表す情報として、3次元形状情報(3次元情報)とテクスチャ情報(2次元情報)とが認識される。つまり、認証対象者の共通部位特徴量dが認識される。
【0184】
ステップST6では、図8のステップSP6と同様な処理により、ステップST5で認識された情報を、認証に適した状態に変換する情報圧縮処理を行う。
【0185】
このように、ステップST1〜ST6の工程では、入力される認証対象者の顔画像から当該対象者の共通部位特徴量dが認識される。
【0186】
そして、次のステップSP7〜SP10では、各認証モードに応じた実際の認証を行う。
【0187】
ステップST7では、現在設定されている認証モードが、詳細照合モード、高速照合モード、及び1対n識別モードの3つのモードのうちの何れのモードに設定されているかを判定する。ここでは、ユーザーの操作部6に対する操作により、コントローラ10が詳細照合モードに設定されている場合にはステップST8に進み、コントローラ10が高速照合モードに設定されている場合にはステップST9に進み、コントローラ10が1対n識別モードに設定されている場合にはステップST10に進む。
【0188】
まず、ステップST7からステップST8へ進んで行われる、詳細照合処理工程(ステップST8)の内容について説明する。
【0189】
ステップST8(詳細照合処理工程)では、[A]共通特徴部位の特徴量を用いて類似度(以下「共通部位類似度」とも称する)を算出する工程(以下「共通部位類似度算出工程」とも称する)と、[B]認証対象者に係る個別特徴部位の特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度となる一方向の類似度(以下「個別特徴部位に係る一方向類似度」とも称する)を算出する工程(一方向類似度算出工程)と、[C]特徴量DB71に既に登録された比較対象者に係る個別特徴部位の特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度となる逆方向の類似度(以下「個別特徴部位に係る逆方向類似度」とも称する)を算出する工程(逆方向類似度算出工程)とを順次行う。そして、3つの類似度を用いた総合的な判定により、認証対象者と比較対象者とが同一人物か否かを照合する。この詳細照合処理工程(ステップST8)は、図22に示すステップST81〜ST84の工程を行う。なお、ここでは、ユーザーが操作部6を種々操作すること等により、登録済みの多数の人物の中から1名の比較対象者が選択的に指定されているものとして説明する。
【0190】
ステップST81では、特徴量DB71に予め登録されている比較対象者に係る共通部位特徴量(比較特徴量)d(Ad)と、上記ステップST1〜ST6を経て算出された認証対象者に係る共通部位特徴量d(Bd)との類似性の評価(類似度の算出)が行われる。
【0191】
具体的には、認証対象者(認証対象物)と比較対象者(比較対象物)との間における共通特徴部位に係る類似度(以下「共通部位類似度」とも称する)Recが算出され、後述する総合判定処理(ステップST84)において用いられる。共通部位類似度Recは、3次元顔特徴量dSから算出される3次元類似度ReSと、局所2次元顔特徴量d(k)から算出される局所2次元類似度Re(k)とに加えて、3次元類似度ReSと局所2次元類似度Re(k)との重みを規定する適宜の重み付け係数(以下、単に「重み係数」とも称する)WT,WS(式(12)参照)を用いて算出される。
【0192】
【数12】

【0193】
より詳細には、登録されている比較対象者に係る共通部位特徴量(比較特徴量)(dSM及びd(k)M)と認証対象者に係る共通部位特徴量(dSI及びd(k)I)との間で類似度計算が実行され、3次元類似度ReSと局所2次元類似度Re(k)とが算出される。
【0194】
さて、認証対象者と比較対象者との3次元類似度ReSは、式(13)に示されるように対応するベクトル同士のユークリッド距離ReSを求めることによって取得される。
【0195】
【数13】

【0196】
また、局所2次元の類似度Re(k)は、式(14)に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Re(k)を求めることによって取得される。
【0197】
【数14】

【0198】
そして、式(15)に示されるように、3次元の類似度ReSと局所2次元の類似度Re(k)とを、所定の重み係数WT,WSを用いて合成し、認証対象者(認証対象物)と比較対象者(比較対象物)との共通部位特徴に係る類似度(共通部位類似度)Recを算出することができる。
【0199】
【数15】

【0200】
次に、ステップST82(一方向類似度算出工程)では、認証対象者に係る個別部位特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度(一方向類似度)を算出する。この一方向類似度算出工程(ステップST82)では、図23に示されるステップST821〜ST825を行うことで、個別特徴部位に係る一方向類似度Repaが算出される。以下、各工程(ステップST821〜ST825)について詳細に説明する。
【0201】
ステップST821では、ステップST4で正規化された認証対象画像(正規化後認証対象画像)から個別特徴部位を検出する。ここでは、例えば、図8のステップSP7における処理と同様な処理によって個別特徴部位を検出する。
【0202】
ステップST822では、ステップST821で検出された個別特徴部位の位置を算出する。ここでは、例えば、図8のステップSP8における処理と同様な処理によって、個別特徴部位の共通特徴部位に対する3次元相対位置を算出する。
【0203】
ステップST823では、ステップST821で検出された個別特徴部位に係る特徴量(個別部位特徴量)を認識する。ここでは、図8のステップSP9における処理と同様な処理によって、各個別特徴部位について、認証対象画像のうちの個別部位領域の輝度値(画素値)の加算値、認証対象画像に係る微分画像のうちの当該個別部位領域における画素値の加算値、個別部位領域の大きさ(サイズ)、共通特徴部位からの3次元相対位置などを個別部位特徴量として認識する。
【0204】
ステップST824では、認証対象画像における個別特徴部位の位置(ステップST822で算出された3次元相対位置)を、比較対象画像において個別特徴部位の特徴量を比較する位置(比較位置)として決定する。この比較位置は、上述した部分画像(例えば16×16画素)の単位で決定される。このように、比較位置がある程度の領域の広さを有することで、表情の違いなどにより同一人物を捉えた比較対象画像と認証対象画像間で個別特徴部位の位置が若干ずれても、個別特徴部位が比較位置から容易に外れないようにするためである。
【0205】
ステップST825では、ステップST824で決定された比較位置について、特徴量DB71に予め登録されている比較対象者に係る個別部位特徴量と、ステップST823で認識された認証対象者に係る個別部位特徴量とを用いて一方向類似度を算出する。
【0206】
ここでは、例えば、図22のステップST81と同様に、各比較位置についてそれぞれ個別特徴部位に係る特徴量を表したベクトル同士のユークリッド距離を類似度(j番目の個別部位の類似度をRejpa)として求める。そして、各比較位置について特徴の顕著性に応じた重み付けを行って、全ての比較位置に係る一方向類似度Repaを算出する。一方向類似度Repaは、式(16)に示すようなものとなる。
【0207】
【数16】

【0208】
式(16)のWjpaはj番目の個別特徴部位に係る特徴の顕著性に応じた重み付け用の係数である。例えば、j番目の個別特徴部位に相当する個別部位領域について、多数の人物をそれぞれ捉えた多数の基準画像から求まる各個別部位領域を特徴付ける所定の変動因子(ここでは、微分画像の画素合計値)に係る基準値からの離れ度合い(偏差)を、重み付け用の係数Wjpaとして採用することができる。ここでは、所定の変動因子に係る基準値は上述した統計微分画像情報から求めることができ、各個別部位領域に係る離れ度合い(偏差)を微分画像に係る画素合計値から算出することができる。
【0209】
このように、個別部位毎に個別部位の特徴量に対して、多数の顔をそれぞれ捉えた基準画像から求められた基準値に対する偏差に応じた重み付けを行って認証を行うため、より大きな特徴を捉えた個別部位を重視した認証が可能となる。その結果として、認証精度をより一層向上させることができる。
【0210】
次の図22のステップST83(逆方向類似度算出工程)では、比較対象者に係る個別部位特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度(逆方向類似度)の算出が行われる。この逆方向類似度算出工程(ステップST83)では、図24に示されるステップST831〜ST834を行うことで、個別特徴部位に係る逆方向類似度Repbが算出される。以下、各工程(ステップST831〜ST834)について詳細に説明する。
【0211】
ステップST831では、特徴量DB71から比較対象者(すなわち比較対象画像)に係る個別特徴部位の3次元相対位置を示す情報を取得する。
【0212】
ステップST832では、比較対象画像における個別特徴部位の位置(ステップST831で特徴量DB71から取得した3次元相対位置)を、認証対象画像において個別特徴部位の特徴量を比較する位置(比較位置)として決定する。当該比較位置も、上述した部分画像(例えば16×16画素)の単位で決定される。
【0213】
ステップST833では、認証対象画像について、ステップST832で決定された各比較位置における特徴量を認識する。ここでは、各比較位置について、認証対象画像のうちの個別部位領域の輝度値(画素値)の加算値、認証対象画像に係る微分画像のうちの当該個別部位領域における画素値の加算値などを個別部位特徴量として認識する。
【0214】
ステップST834では、ステップST832で決定された比較位置について、特徴量DB71に予め登録されている比較対象者に係る個別部位特徴量と、ステップST833で認識された認証対象者の比較位置に係る特徴量とを用いて類似度を算出する。
【0215】
ここでは、例えば、図23のステップST825とほぼ同様に、各比較位置についてそれぞれ個別特徴部位に係る特徴量を表したベクトル同士のユークリッド距離を類似度(j番目の個別部位の類似度をRejpb)として求める。そして、各比較位置について特徴の顕著性に応じた重み付けを行って、全ての比較位置に係る逆方向類似度Repbを算出する。逆方向類似度Repbは、式(17)に示すようなものとなる。
【0216】
【数17】

【0217】
式(17)のWjpbはj番目の個別特徴部位に係る特徴の顕著性に応じた重み付け用の係数である。例えば、比較対象者に係るj番目の個別特徴部位に相当する個別部位領域について、多数の人物をそれぞれ捉えた多数の基準画像から求まる各個別部位領域を特徴付ける所定の変動因子(ここでは、微分画像の画素合計値)に係る基準値からの離れ度合い(偏差)を、重み付け用の係数Wjpbとして採用することができる。ここでは、所定の変動因子に係る基準値は上述した統計微分画像情報から求めることができ、各個別部位領域に係る離れ度合い(偏差)を微分画像に係る画素合計値から算出することができる。なお、上述したように、当該偏差は、比較対象者に係る特徴量を特徴量DB71に登録する際に併せて登録されている。
【0218】
ステップST84では、ステップST81〜ST83のそれぞれにおいて求められた3つの類似度(共通部位類似度Rec、一方向類似度Repa、逆方向類似度Repb)から総合類似度Re1を算出し、当該総合類似度Re1に基づいて認証判定が行われる。総合類似度Re1は、例えば、式(18)に示すように、3つの類似度Rec,Repa,Repbと、共通特徴部位に係る重み付け用の係数Wcと、個別特徴部位に係る重み付け用の係数Wpとを用いて算出された値とすることができる。
【0219】
【数18】

【0220】
具体的には、総合類似度Re1を一定の閾値THaと比較することによって、認証対象者と比較対象者との同一性が判定される。詳細には、総合類似度Re1が一定の閾値THaよりも小さいときに認証対象者が比較対象者と同一人物であると判定される。
【0221】
次に、ステップST7からステップST9へ進んで行われる高速照合処理工程(ステップST9)の内容について説明する。
【0222】
ステップST9(高速照合処理工程)では、[A]共通部位類似度を算出する工程と、[C]個別特徴部位に係る逆方向類似度を算出する工程(逆方向類似度算出工程)とを順次行う。そして、2つの類似度を用いた総合的な判定により、認証対象者と比較対象者とが同一人物か否かを照合する。この高速照合処理工程(ステップST9)は、図25に示すステップST91〜ST93の工程を行う。なお、ここでは、ユーザーが操作部6を種々操作すること等により、登録済みの多数の人物の中から1名の比較対象者が選択的に指定されているものとして説明する。
【0223】
ステップST91では、図22のステップST81と同様に、共通部位類似度が算出される。
【0224】
ステップST92では、図22のステップST83と同様に、個別特徴部位に係る逆方向類似度が算出される。
【0225】
ステップST93では、ステップST91、ステップST92のそれぞれにおいて求められた2つの類似度(共通部位類似度Rec、逆方向類似度Repb)から総合類似度Re2が算出され、当該総合類似度Re2に基づいた判定が行われる。総合類似度Re2は、例えば、式(19)に示すように、2つの類似度Rec,Repbと、共通特徴部位に係る重み付け用の係数Wcと、個別特徴部位に係る重み付け用の係数Wpとを用いて算出された値とすることができる。
【0226】
【数19】

【0227】
具体的には、総合類似度Re2を一定の閾値THbと比較することによって、認証対象者と比較対象者との同一性が判定される。より詳細には、類似度Re2が一定の閾値THbよりも小さいときに認証対象者が比較対象者と同一人物であると判定される。
【0228】
次に、ステップST7からステップST10へ進んで行われる1対n識別処理工程(ステップST10)の内容について説明する。
【0229】
ステップST10(1対n識別処理工程)では、n人の既登録者うちの何れの者が1人の認証対象者と同一人物であるか否かを判定する。この1対n識別工程(ステップST10)では、n人の既登録者の全ての者を時間順次に比較対象者として指定して、[A]共通部位類似度を算出する工程と、[B]個別特徴部位に係る一方向類似度を算出する工程(一方向類似度算出工程)とを順次行う。そして、n人分の2つの類似度の総合的な判定により、n人の既登録者うちの何れの者が1人の認証対象者と同一人物であるかを判定する。この1対n識別工程(ステップST10)は、図26に示すステップST101〜ST108の工程を行う。
【0230】
ステップST101では、どの既登録者を比較対象者として指定するのかを決定するためのカウントNが1に設定される。
【0231】
ステップST102では、ステップST101における設定結果に応じて、n人の既登録者のうちのN番目の既登録者を比較対象者として指定する。
【0232】
ステップST103では、ステップST102で指定された比較対象者と認証対象者とについて、図22のステップST81と同様に、共通部位類似度が算出される。
【0233】
ステップST104では、ステップST102で指定された比較対象者と認証対象者とについて、図22のステップST82と同様に、個別特徴部位に係る一方向類似度が算出される。
【0234】
ステップST105では、ステップST103で算出された共通部位類似度と、ステップST104で算出された一方向類似度とを用いて、総合類似度Re3が算出される。総合類似度Re3は、例えば、式(20)に示すように、2つの類似度Rec,Repaと、共通特徴部位に係る重み付け用の係数Wcと、個別特徴部位に係る重み付け用の係数Wpとを用いて算出された値とすることができる。
【0235】
【数20】

【0236】
ステップST106では、n人の既登録者の全てを比較対象者として指定したか否か(具体的には、カウントNがnに達したか否か)を判定する。ここで、カウントNがnに達していなければ、ステップST107でカウントNが1だけ増加されて、ステップST102に戻り、次の比較対象者についてステップST102〜ST105の処理が行われる。一方、カウントNがnに達していれば、ステップST108に進む。
【0237】
ステップST108では、n人の既登録者うちの何れの者が、1人の認証対象者と同一人物であるか否かを判定する。詳細には、例えば、ステップST105で算出されたn人の比較対象者についての総合類似度Re3のうち、一定の閾値THcよりも小さい総合類似度Re3が算出された認証対象者と比較対象者の組合せが、同一人物の組合せであると判定される。
【0238】
そして、図21のステップST11では、ステップST8〜ST10のうちの何れか一つの処理における判定結果を所望の機能に対して適宜出力する。
【0239】
以上のように、上記実施形態の認証システム1によれば、認証対象物(ここでは認証対象者)及び比較対象物(ここでは比較対象者)のうちの少なくとも一方について、同種の物(ここでは人物)に共通して具備されている共通特徴部位とは異なり且つ個別に具備されている個別特徴部位を検出する。そして、各個別特徴部位の特徴量をそれぞれ認識して認証を行う。このようなような構成を採用することで、個別(個人毎)に異なる特徴的な部分を用いた認証が可能となるため、人物を含む物の同一性を認証するに際して、高精度の認証を行うことができる。すなわち、認識率が向上する。そして、共通特徴部位及び個別特徴部位等に係る部分画像を用いて認証を行うことで、顔を捉えた顔画像全体を用いた認識では反映されないような微小な特徴も用いて認証することができるため、結果として認識率が向上する。
【0240】
また、個別特徴部位の特徴量と共通特徴部位の特徴量とを用いて認証を行う。このような構成を採用することで、大まかな特徴と細かい特徴の双方を用いた認証を行うことができるため、高精度の認証が可能となる。
【0241】
また、共通特徴部位の位置に対する個別特徴部位の相対位置を示す数値を、個別特徴部位の特徴量に含めて認証を行う。このような構成を採用することで、個別特徴部位を特徴付ける大きな要素である位置情報を含めた認証によって、より確実かつ精度の高い認証が可能となる。
【0242】
また、ユーザーによる操作部6の操作に応答して、複数の登録対象画像に含まれる登録対象物(ここでは登録対象者及び/又は比較対象者)を捉えた画像について各個別特徴部位の特徴量を認識して認証対象物(ここでは認証対象者)に関する認証を行う高速照合モードと、認証対象物を捉えた画像について個別特徴部位の特徴量を認識して認証対象物に関する認証を行う1対n識別モードとを切り替える。このような構成を採用することで、比較対象物の数が多い場合と1つである場合等といった具合に比較対象物の数に応じた高精度の認証が可能となる。
【0243】
<変形例>
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0244】
◎例えば、上記実施形態における個別特徴部位の特徴量認識工程では、各個別特徴部位に相当する個別部位領域の輝度値(画素値)の加算値、及び微分画像のうちの個別部位領域における画素値の加算値の双方の値を個別部位特徴量に含ませた。しかしながら、これに限られず、例えば、個別部位領域の輝度値、及び部分画像に係る微分画像の画素値のうちの少なくとも一方を用いて個別部位特徴量を算出するようにしても、上記実施形態と同様な効果を得ることができる。
【0245】
◎また、上記実施形態における1対n識別工程では、n人全ての比較対象者と認証対象者との総合類似度Re3が算出され、一定の閾値THcよりも小さい総合類似度Re3が算出された認証対象者と比較対象者の組合せが、同一人物の組合せであると判定された。しかしながら、これに限られず、例えば、各比較対象者に係る総合類似度Re3を算出する度に、総合類似度Re3が一定の閾値THcよりも小さいか否かが判定され、一定の閾値THcよりも小さい総合類似度Re3が算出された時点で、当該認証対象者と比較対象者の組合せが同一人物の組合せであると判定されて、残余の既登録者については類似度が算出されないようにしても良い。このような構成を採用すれば、1対n識別工程の演算時間を短縮化することができる。
【0246】
また、n人全ての比較対象者と認証対象者との総合類似度Re3が算出され、一定の閾値THcよりも小さい総合類似度Re3が算出された認証対象者と比較対象者の組合せのうち、総合類似度Re3が最小となる認証対象者と比較対象者の組合せが同一人物の組合せであると判定されるようにしても良い。このような構成とすれば、1対n識別における認証精度が更に向上する。
【0247】
◎また、上記実施形態における詳細照合モードでは、3つの類似度Rec,Repa,Repbから求めた総合類似度Re1が一定の閾値THaよりも小さいときに認証対象者が比較対象者と同一人物であると判定された。しかしながら、これに限られず、例えば、各類似度Rec,Repa,Repbについて、個別に所定の閾値よりも小さいか否か判定し、類似度Rec,Repa,Repbが、所定の閾値THc,THpa,THpbよりもそれぞれ小さいときに認証対象者が比較対象者と同一人物であると判定されるようにしても良い。詳細には、式(21)が成立するようにしても良い。
【0248】
【数21】

【0249】
また、高速照合モードでは、2つの類似度Rec,Repbから求めた総合類似度Re2が一定の閾値THbよりも小さいときに認証対象者が比較対象者と同一人物であると判定された。しかしながら、これに限られず、例えば、各類似度Rec,Repbについて、個別に所定の閾値よりも小さいか否か判定し、類似度Rec,Repbが、所定の閾値THc,THpbよりもそれぞれ小さいときに認証対象者が比較対象者と同一人物であると判定されるようにしても良い。詳細には、式(22)が成立するようにしても良い。
【0250】
【数22】

【0251】
また、1対n識別モードでは、2つの類似度Rec,Repaから求めた総合類似度Re3が一定の閾値THcよりも小さくなる認証対象者と比較対象者の組合せが同一人物の組合せであると判定された。しかしながら、これに限られず、例えば、各類似度Rec,Repaについて、個別に所定の閾値よりも小さいか否か判定し、類似度Rec,Repaが、所定の閾値THc,THpaよりもそれぞれ小さいときに認証対象者が比較対象者と同一人物であると判定するようにしても良い。詳細には、式(23)が成立するようにしても良い。
【0252】
【数23】

【0253】
このように、共通部位特徴量を用いた判定、個別部位特徴量を用いた判定の双方において、人物を含む物の特徴が一致していることを示す所定の基準(閾値未満)を満たす場合に、認証対象物と比較対象物とが同一であると判定するようにしても良い。このような構成を採用すると、厳しい基準に沿った認証によって更に高精度の認証が可能となる。
【0254】
また、当該変形例に係る詳細照合モードにおいては、認証対象者に係る個別特徴部位の特徴量を用いて求められた一方向類似度Repaを用いた判定(一方向判定)、及び比較対象者に係る個別特徴部位の特徴量を用いて求められた逆方向類似度Repbを用いた判定(逆方向判定)の双方において、人物等の物の特徴が一致していることを示す所定の基準(閾値THpa,THpb未満)をそれぞれ満たす場合に、認証対象物と比較対象物とが同一人物であると判定する。このため、更に精度の高い認証が可能となる。
【0255】
なお、ユーザーが操作部6を種々操作することで、モード切替部17が、登録モード、詳細照合モード、高速照合モード、及び1対n識別モードを備えて構成される4つのモードのうちの何れか1つのモードにコントローラ10を選択的に切り替えるため、当該モード切替機能により、一方向判定を行う1対n識別モードと逆方向判定を行う高速照合モードとを含む複数モード間でモードが切り替わる。
【0256】
◎また、上記実施形態では、微分画像の画素値を単に用いて個別特徴部位を検出したが、これに限られず、その他の手法、例えば、いわゆる部分空間法を用いて、登録対象画像及び/又は認証対象画像から個別特徴部位を検出するようにしても良い。この部分空間法としては、公知の文献(西山 正志, 山口 修, 福井 和広,"制約相互部分空間法を用いたジェスチャー認識, " 第10回 画像センシングシンポジウム講演論文集 SSII04, pp.439-444, 2004.等)に記載された技術を採用することができる。
【0257】
以下、部分空間法を用いて、登録対象画像及び/又は認証対象画像から個別特徴部位を検出する工程を、認証対象画像から個別特徴部位を検出する工程を例にとって簡単に説明する。
【0258】
まず、多数の同種の物(例えば人物)をそれぞれ捉えた多数の画像をそれぞれ微分して多数の微分画像を生成する。そして、当該多数の微分画像を構成する画素(具体的には、位置情報や画素値等に基づくパラメータ)から部分空間(すなわち共通部分空間)を決定する。次に、認証対象画像を正規化して微分することで認証対象画像に係る微分画像を生成する。更に、当該認証対象画像に係る微分画像を構成する画素(具体的には、位置情報や画素値等に基づくパラメータ)を部分空間に投影する。そして、当該画素が投影された領域(以下「画素投影領域」とも称する)のうち共通部分空間に含まれない画素投影領域に係る画素群によって形成される画像領域を、個別特徴部位に相当する個別部位領域として認識する。すなわち、個別特徴部位候補として認識し、登録する。
【0259】
このとき、所定数(例えば10個)を超える複数の個別部位領域が認識された場合には、各個別部位領域を部分空間に投影した空間と、共通部分空間とのズレ角を算出する。そして、認識された複数の個別部位領域のうちの当該ズレ角が大きな方から所定数の画像投影領域に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない。なお、認識された個別部位領域が所定数を超えない場合には、認識された個別部位領域全てを採用する。つまり、所定数以下の個別部位領域を個別特徴部位に相当する画像領域として採用することで、所定数以下の個別特徴部位を検出する。
【0260】
このように、画像全体について比較を行うことで個別特徴部位を検出する部分空間法を用いて、認証対象物及び比較対象物のうちの少なくとも一方について個別特徴部位を検出するような構成を採用すると、より安定かつ確実に個別特徴部位を検出することができる。特に、上記実施形態のように微分画像をグリッド状に分割して評価することで個別特徴部位を検出する手法では、微分画像を分割する境界線上に個別特徴部位が跨って存在する場合には、正しく個別特徴部位を検出することが困難であるが、部分空間法では画像全体について画素毎に評価することができるため、より確実かつ安定して個別特徴部位を検出することができる。
【0261】
また、上述したように、所定数を超える数の個別特徴部位に相当する複数の画素群が判別された場合には、上記手法により所定数の画素群を選択的に採用するような構成を採用すると、ある程度大きな特徴を有する個別特徴部位に絞り込んだ認証が可能となる。その結果、認証に要する演算時間を短縮化することができる。
【0262】
また、上記実施形態では、各個別特徴部位について類似度を算出する際に、当該個別特徴部位に係る特徴の顕著性に応じた重み付け用の係数として、個別特徴部位に相当する個別部位領域について、統計微分画像情報から求まる所定の基準値からの離れ度合い(偏差)を重み付け用の係数として採用した。しかしながら、本変形例では、部分空間法によって個別特徴部位を検出する過程で容易に算出できる、個別特徴部位に相当する個別部位領域に係る部分空間と共通部分空間とのズレ角度を、重み付け用の係数として採用しても良い。つまり、個別特徴部位毎に個別特徴部位の特徴量に対して、当該個別特徴部位に係る画素投影領域の共通部分空間からのズレ角に応じた重み付けを行って、認証対象物に関する認証を行うようにしても良い。このような構成を採用しても、上記実施形態と同様に、より大きな特徴を捉えた個別特徴部位を重視した認証が可能となるため、認証精度をより一層向上させることができる。
【0263】
◎また、上記実施形態では、共通特徴部位に係る特徴量及び個別特徴部位に係る特徴量の双方を用いて1つの認証を行ったが、これに限られず、例えば、高精度の認証の要否に応じて、個別特徴部位に係る特徴量を用いた認証を適宜行うようにしても良い。以下、当該変形例について、より詳細に説明する。
【0264】
図27は、変形例に係る認証システム1Aを例示する構成図である。
【0265】
認証システム1Aの機械的構成うち、認証システム1の機械的構成とは異なる部分は、メディアドライブ4が、メディアドライブ4a,4bと2つに増加している点であり、変形例に係るコントローラ10Aでは、メディアドライブ4a,4bに対して、それぞれ別個の記憶媒体であるメモリカード8a,8bを装着することができる。つまり、メモリカード8a,8bを別々に受け付けることができる。
【0266】
また、機能的構成については、認証システム1では、認証の際に認証対象物(例えば、認証対象者)を撮影して各部位に係る特徴量を認識していたが、認証システム1Aでは、認証対象物に係る特徴量を予め記憶しておいたメモリカード8a,8bをメディアドライブ4a,4bに装着することで、コントローラ10Aが認証対象物に係る特徴量を認識する。
【0267】
以下、変形例に係る認証システム1Aについて、登録モード設定時における動作と、認証を行う認証モード設定時における動作とを説明する。なお、コントローラ10Aは、登録モード設定時には、認証対象物の特徴量を記憶媒体に記憶する情報記憶システムとして機能し、認証モード設定時には、メモリカード8a,8bに記憶された認証対象物の特徴量を用いて認証対象物に関する認証を行う認証実行システムとして機能する。
【0268】
登録モード設定時におけるコントローラ10Aの動作を示すフローチャートは、図8に示すフローチャートと同様なものとなる。但し、本変形例では、ステップSP10の記憶処理において、共通特徴部位に係る特徴量が、メディアドライブ4aに装着されたメモリカード8aに記憶され、個別特徴部位に係る特徴量が、メディアドライブ4bに装着されたメモリカード8bに記憶される。
【0269】
図28は、認証モード設定時におけるコントローラ10Aの動作を例示するフローチャートである。
【0270】
ステップStep1では、共通特徴部位の特徴量が入力されているか否かを判定する。ここでは、認証対象物に係る共通特徴部位の特徴量が記憶されたメモリカード8aがメディアドライブ4aに装着されて、コントローラ10Aに読み込まれるまでステップStep1の判定が繰り返され、認証対象物に係る共通特徴部位の特徴量がコントローラ10Aに読み込まれるとステップStep2に進む。
【0271】
ステップStep2では、HDD3aなどに予め登録されている比較対象物に係る共通特徴部位の特徴量と、ステップStep1で入力された認証対象物に係る共通特徴部位の特徴量とを用いて、共通特徴部位の類似度を算出する。この類似度の算出は、上記実施形態と同様な手法で行えば良い。
【0272】
ステップStep3では、個別特徴部位を用いた認証の要求があるか否かを判定する。ここでは、セキュリティーレベルの高い情報を使用する場合等、高精度の認証が必要な場合に、個別特徴部位を用いた認証が要求されるように設定される態様が考えられ、個別特徴部位を用いた認証の要求があればステップStep4に進み、個別特徴部位を用いた認証の要求がなければステップStep6に進む。
【0273】
ステップStep4では、個別特徴部位の特徴量が入力されているか否かを判定する。ここでは、認証対象物に係る個別特徴部位の特徴量が記憶されたメモリカード8bがメディアドライブ4bに装着されて、コントローラ10Aに読み込まれるまでステップStep4の判定が繰り返され、認証対象物に係る個別特徴部位の特徴量がコントローラ10Aに読み込まれるとステップStep5に進む。
【0274】
ステップStep5では、HDD3aなどに予め登録されている比較対象物に係る個別特徴部位の特徴量と、ステップStep4で入力された認証対象物に係る個別特徴部位の特徴量とを用いて、個別特徴部位の類似度を算出する。この類似度の算出は、上記実施形態と同様な手法で行えば良い。
【0275】
ステップStep6では、認証対象者と比較対象者とが同一人物であるか否かを判定する。より詳細には、ステップStep3からステップStep6に進んで来た場合には、ステップStep2で算出された共通特徴部位に係る類似度が所定の閾値よりも小さければ、認証対象者と比較対象者とが同一人物であると判定する。また、ステップStep5からステップStep6に進んで来た場合には、例えば、ステップStep2で算出された共通特徴部位に係る類似度と、ステップStep4で算出された個別特徴部位に係る類似度とが、それぞれ所定の閾値よりも小さければ、認証対象者と比較対象者とが同一人物であると判定する。なお、ステップStep2で算出された共通特徴部位に係る類似度と、ステップStep5で算出された個別特徴部位に係る類似度とから算出される総合類似度が所定の閾値よりも小さければ、認証対象者と比較対象者とが同一人物であると判定するようにしても良い。
【0276】
そして、図28のステップStep7では、ステップStep6の処理における判定結果を所望の機能に対して適宜出力する。
【0277】
このような構成を採用することで、要求される認証精度の厳しさに応じて、認証精度の高い個別特徴部位の特徴量を用いた認証を行うようにすることで、要求される認証精度が低ければ、認証に要する時間を短縮化することができ、要求される認証精度が高ければ、認証に要する時間が若干長くなるものの、認証精度を高めることができる。
【0278】
なお、上記変形例では、情報記憶システムの機能と、認証実行システムとしての機能を、1つのコントローラ10Aに持たせたが、これに限られず、それぞれ別個の装置に2つの機能を別々に分けて持たせるようにしても良い。
【0279】
また、認証対象者に係る共通特徴部位の特徴量を認識してメモリカード8aに記憶させる機能と、認証対象者に係る個別特徴部位の特徴量を認識してメモリカート8bに記憶させる機能とを、それぞれ別個の装置に分けて持たせるようにしても良い。このような構成を採用すると、共通特徴部位の特徴量を認識して記憶媒体に記憶させる装置としては汎用性の高い装置を使用する一方で、個別特徴部位の特徴量を認識して記憶媒体に記憶させる装置は特別な装置として提供するようなシステムを構築することができる。
【0280】
また、上記変形例では、認証対象者に係る共通特徴部位の特徴量と、認証対象者に係る個別特徴部位の特徴量とを、それぞれ別個の記憶媒体に記憶したが、個別特徴部位に係る特徴量のみを記憶媒体に記憶させるような構成も考えられる。
【0281】
更に、上記変形例では、1つの装置で、共通特徴部位の特徴量を用いた認証と、個別特徴部位の特徴量を用いた認証とを行ったが、これに限られず、例えば、共通特徴部位の特徴量を用いた認証を行う装置と、個別特徴部位の特徴量を用いた認証を行う装置とを別個に分けて設けても良い。このような構成を採用すると、例えば、セキュリティレベルの異なる2つのゲートが設けられている場合に、第1のゲートで共通特徴部位の特徴量を用いた認証を行い、その後、第2のゲートで個別特徴部位の特徴量を用いた認証を行うような種々の態様も実現可能となる。
【0282】
以上のように、変形例に係る認証システム1Aでは、認証対象物に係る共通特徴部位の特徴量と、個別特徴部位の特徴量とをそれぞれ認識して、各々別の記憶媒体に記憶させておく。そして、一方の記憶媒体に記憶されている共通特徴部位の特徴量を用いた認証と、他方の記憶媒体に記憶されている個別特徴部位の特徴量を用いた認証とを別々に実行させることができる。このような構成を採用することで、要求される認証精度に応じた認証を実行させることができる。
【0283】
◎また、上記実施形態では、2台のカメラを用いて登録対象物及び認証対象物を撮影することで、各撮影対象物を構成する部位の3次元位置を検出及び算出したが、これに限られず、例えば、1台のカメラを用いて登録対象物及び認証対象物を撮影することで、各撮影対象物を構成する部位の2次元位置を検出及び算出するようにしても、個別特徴部位を検出し、当該個別特徴部位に係る特徴量を認識して認証対象物と比較対象物とが同一であるか否かを判定することができる。
【0284】
但し、2方向以上の方向から登録対象物及び認証対象物を撮影して、各撮影対象物を構成する部位の3次元位置を検出及び算出する方が、顔などの認証対象物の向きに拘わらず高精度の認証を安定して実現することができる。
【0285】
◎また、上記実施形態では、顔の認証を行う例を挙げて説明したが、これに限られず、例えば、認証の対象が、例えば手のひら等、顔以外の人間固有の部分であっても良いし、犬や猫などといった人間以外の動物を対象としても良いし、更には、建物等といった生物以外のあらゆる物体を認証の対象としても良い。
【0286】
◎また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて顔等の対象物の3次元形状情報を取得しているがこれに限定されない。具体的には、図29に示されるようなレーザ光出射部L1とカメラLCAとから構成される3次元形状測定器を用いてレーザ光出射部L1の照射するレーザの反射光をカメラLCAによって計測することにより、認証対象者及び/又は登録対象者の顔の3次元形状情報を取得してもよい。但し、上記実施形態のようにカメラ2台を含む入力装置を用いて3次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で3次元の形状情報を取得することができる。
【図面の簡単な説明】
【0287】
【図1】本発明の実施形態に係る認証システムを示す構成図である。
【図2】コントローラの構成概要を示す図である。
【図3】コントローラが備える各種機能を示すブロック図である。
【図4】画像正規化部の詳細な機能構成を示すブロック図である。
【図5】特徴認識部の詳細な機能構成を示すブロック図である。
【図6】登録部の詳細な機能構成を示すブロック図である。
【図7】認証部の詳細な機能構成を示すブロック図である。
【図8】登録モードにおけるコントローラの動作を示すフローチャートである。
【図9】画像正規化処理工程の詳細なフローチャートである。
【図10】顔画像における特徴的な部位の特徴点を示す図である。
【図11】2次元画像中の特徴点から3次元座標を算出する様子を示す図である。
【図12】3次元の顔の標準モデルを示す図である。
【図13】テクスチャ情報を例示する図である。
【図14】正規化後の特徴的な部位の個別制御点を示す図である。
【図15】個別特徴部位検出工程の詳細なフローチャートである。
【図16】正規化後のテクスチャー画像に係る微分画像を例示する図である。
【図17】微分画像を部分画像毎に比較する手法について説明するための図である。
【図18】微分画像毎の合計画素値に係る統計的情報を例示する図である。
【図19】個別特徴部位の位置算出工程の詳細なフローチャートである。
【図20】個別特徴部位の相対位置を算出する方法を説明するための図である。
【図21】認証モードにおけるコントローラの動作を示すフローチャートである。
【図22】詳細照合処理工程の詳細なフローチャートである。
【図23】個別特徴部位に係る一方向類似度算出の詳細なフローチャートである。
【図24】個別特徴部位に係る逆方向類似度算出の詳細なフローチャートである。
【図25】高速照合処理工程の詳細なフローチャートである。
【図26】1対n識別処理工程の詳細なフローチャートである。
【図27】変形例に係る認証システムを示す構成図である。
【図28】変形例に係る認証動作を示すフローチャートである。
【図29】レーザ光出射部とカメラとを有する3次元形状測定器を示す図である。
【符号の説明】
【0288】
1,1A 認証システム
3 記憶部
4,4a,4b メディアドライブ
6 操作部
8,8a,8b メモリカード
10,10A コントローラ
11 画像入力部
12 顔領域検索部
13 顔部位検出部
14 画像正規化部
15 特徴認識部
17 モード切替部
18 登録部
19 認証部
71 特徴量データベース
151 共通部位特徴量認識部
153 個別部位領域認識部
154 個別部位領域選択採用部
155 個別部位特徴量認識部
181 記憶制御部
191 共通特徴量読出部
192 共通部位比較部
193 個別部位比較位置決定部
194 個別部位比較部
195 総合判定部
HK ホクロ
PP 個別特徴部位


【特許請求の範囲】
【請求項1】
認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、
多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出する個別部位検出手段と、
前記個別部位に係る個別部位特徴量を認識する個別特徴量認識手段と、
前記個別部位特徴量を用いて前記認証対象物に関する認証を行う認証手段と、
を備えることを特徴とする認証システム。
【請求項2】
請求項1に記載の認証システムであって、
前記認証対象画像、及び前記比較対象画像について、前記共通部位に係る共通部位特徴量を認識する共通特徴量認識手段、
を更に備え、
前記認証手段が、
前記個別部位特徴量と前記共通部位特徴量とを用いて前記認証対象物に関する認証を行うことを特徴とする認証システム。
【請求項3】
請求項2に記載の認証システムであって、
前記認証手段が、
前記個別部位特徴量を用いた第1の判定、及び前記共通部位特徴量を用いた第2の判定の双方において、物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする認証システム。
【請求項4】
請求項1または請求項2に記載の認証システムであって、
前記個別部位検出手段が、
多数の同種の物をそれぞれ捉えた多数の基準画像と、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像とを、それぞれ同一のルールで分割して生成した部分画像毎に比較することで、前記個別部位を検出することを特徴とする認証システム。
【請求項5】
請求項4に記載の認証システムであって、
前記個別部位検出手段が、
前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を対象として、前記部分画像毎に、前記多数の基準画像から求められた当該部分画像を特徴付ける所定のパラメータに係る基準値に対して、前記所定のパラメータに係る偏差を算出する手段と、
前記偏差が所定の基準を超える場合に、当該偏差に係る部分画像を、前記個別部位を捉えた個別部位含有部分画像として判別する判別手段と、
を有することを特徴とする認証システム。
【請求項6】
請求項5に記載の認証システムであって、
前記個別部位検出手段が、
前記個別部位含有部分画像が複数隣接する場合、当該隣接する複数の個別部位含有部分画像を1つの個別部位に相当する個別部位領域として認識する領域認識手段、
を更に有することを特徴とする認証システム。
【請求項7】
請求項6に記載の認証システムであって、
前記個別部位検出手段が、
前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、前記個別部位領域毎に、前記多数の基準画像から求められた当該個別部位領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る偏差を算出する手段と、
前記複数の個別部位領域のうち、大きな方から前記所定数の因子偏差に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段と、
を更に有することを特徴とする認証システム。
【請求項8】
請求項5または請求項6に記載の認証システムであって、
前記個別部位毎に、前記多数の基準画像から求められた各前記個別部位に対応する領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る因子偏差を算出する偏差算出手段、
を更に備え、
前記認証手段が、
各前記個別部位特徴量に対して、各前記個別部位に係る前記因子偏差に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする認証システム。
【請求項9】
請求項1または請求項2に記載の認証システムであって、
前記個別部位検出手段が、
部分空間法を用いることで、前記個別部位を検出することを特徴とする認証システム。
【請求項10】
請求項9に記載の認証システムであって、
前記個別部位検出手段が、
多数の同種の物をそれぞれ捉えた多数の基準画像から共通部分空間を決定し、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を構成する画素毎に当該画素に係るパラメータを部分空間に投影した際に、前記共通部分空間に含まれない画素投影領域に係る画素群によって形成される画像領域を、前記個別部位に相当する個別部位領域として認識する領域認識手段、
を有することを特徴とする認証システム。
【請求項11】
請求項10に記載の認証システムであって、
前記個別部位検出手段が、
前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、当該複数の個別部位領域のうち、前記共通部分空間からのズレ角が大きな方から所定数の画素投影領域に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段、
を更に有することを特徴とする認証システム。
【請求項12】
請求項10または請求項11に記載の認証システムであって、
前記認証手段が、
前記個別部位毎に前記個別部位特徴量に対して、当該個別部位に係る画素投影領域の前記共通部分空間からのズレ角に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする認証システム。
【請求項13】
請求項1から請求項12のいずれかに記載の認証システムであって、
前記個別部位の位置を前記共通部位の位置を基準とした相対的な値によって表現した相対位置を算出する位置算出手段、
を更に備えることを特徴とする認証システム。
【請求項14】
請求項13に記載の認証システムであって、
前記相対位置が、
前記共通部位の位置を基準とした3次元相対位置を含むことを特徴とする認証システム。
【請求項15】
請求項13または請求項14に記載の認証システムであって、
前記個別部位特徴量が、
前記相対位置を示す情報を含むことを特徴とする認証システム。
【請求項16】
請求項1から請求項15のいずれかに記載の認証システムであって、
前記個別特徴量認識手段が、
前記個別部位に相当する画像領域の輝度値及び当該画像領域を構成する画素値の微分値のうちの少なくとも一方を用いて、前記個別部位特徴量を算出する特徴量算出手段、
を備えることを特徴とする認証システム。
【請求項17】
請求項1から請求項16のいずれかに記載の認証システムであって、
前記個別部位検出手段が、
前記認証対象画像を対象として、前記個別部位を検出する第1の検出手段と、
前記比較対象画像を対象として、前記個別部位を検出する第2の検出手段と、
を有し、
前記個別特徴量認識手段が、
前記第1の検出手段によって検出された個別部位について、第1の特徴量を認識する第1の認識手段と、
前記第2の検出手段によって検出された個別部位について、第2の特徴量を認識する第2の認識手段と、
を有し、
前記認証手段が、
前記第1の特徴量を用いた一方向の判定、及び前記第2の特徴量を用いた逆方向の判定の双方において物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする認証システム。
【請求項18】
請求項1から請求項16のいずれかに記載の認証システムであって、
前記個別部位検出手段が、
前記認証対象画像を対象として、前記個別部位を検出する第1の検出手段と、
前記比較対象画像を対象として、前記個別部位を検出する第2の検出手段と、
を有し、
前記個別特徴量認識手段が、
前記第1の検出手段によって検出された個別部位について、第1の特徴量を認識する第1の認識手段と、
前記第2の検出手段によって検出された個別部位について、第2の特徴量を認識する第2の認識手段と、
を有し、
前記認証手段が、
前記第1の特徴量を用いた一方向の判定を行う一方向判定手段と、
前記第2の特徴量を用いた逆方向の判定を行う逆方向判定手段と、
を有し、
前記認証システムが、
前記一方向の判定を行う第1のモードと、前記逆方向の判定を行う第2のモードとを切り替えるモード切替手段、
を更に備えることを特徴とする認証システム。
【請求項19】
認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、
(a)多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出するステップと、
(b)前記個別部位に係る個別部位特徴量を認識するステップと、
(c)前記個別部位特徴量を用いて前記認証対象物に関する認証を行うステップと、
を備えることを特徴とする認証方法。
【請求項20】
認証システムに含まれるコンピュータによって実行されることにより、前記認証システムを、請求項1から請求項18のいずれかに記載の認証システムとして機能させるプログラム。
【請求項21】
認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、
前記認証対象物の特徴量を記憶媒体に記憶する情報記憶システムと、
前記記憶媒体に記憶された前記認証対象物の特徴量を用いて前記認証対象物に関する認証を行う認証実行システムと、
を備え、
前記情報記憶システムが、
前記認証対象物を捉えた画像について、多数の同種の物に共通して具備されている共通部位の特徴量を認識して第1の記憶媒体に記憶させる一方、前記共通部位とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第1の記憶媒体とは異なる第2の記憶媒体に記憶させる記憶制御手段、
を有し、
前記認証実行システムが、
前記第1の記憶媒体を受け付ける第1の受付手段と、
前記第2の記憶媒体を受け付ける第2の受付手段と、
前記第1の受付手段によって受け付けられた前記第1の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行う第1の認証手段と、
前記第2の受付手段によって受け付けられた前記第2の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行う第2の認証手段と、
を備えることを特徴とする認証システム。
【請求項22】
認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、
(i)前記認証対象物を捉えた画像から多数の同種の物に共通して具備されている共通部位の特徴量を認識して第1の記憶媒体に記憶させるとともに、前記画像から前記共通部分とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第1の記憶媒体とは異なる第2の記憶媒体に記憶させるステップと、
(ii)前記第1の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行うステップと、
(iii)前記第2の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行うステップと、
を備えることを特徴とする認証方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図14】
image rotate

【図15】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図13】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2007−304857(P2007−304857A)
【公開日】平成19年11月22日(2007.11.22)
【国際特許分類】
【出願番号】特願2006−132580(P2006−132580)
【出願日】平成18年5月11日(2006.5.11)
【出願人】(000001270)コニカミノルタホールディングス株式会社 (4,463)
【Fターム(参考)】