説明

照合装置

【課題】高精度と高速処理を両立させる。
【解決手段】参照画像と登録画像とを照合する際、参照画像について、その原画像を最も解像度の高い高解像度画像(階層画像I0)とし、その下層に第1の低解像度画像(階層画像I1)、さらにその下層に第2の低解像度画像(階層画像I2)を作成する。登録画像を1つずつ読み出し、任意の低解像度の階層画像、例えば、参照画像の階層画像I1と登録画像の階層画像J1との類似度に基づいて、読み出した登録画像と参照画像とを照合する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、参照画像と登録画像とを照合する照合装置に関するものである。
【背景技術】
【0002】
近年、コンピュータ室や重要機械室への入退室管理、コンピュータ端末や銀行の金融端末へのアクセス管理などの個人認証を必要とする分野において、これまでの暗証番号やIDカードに代わって、生体情報に基づいて個人の認証を行うシステムが開発されている。
【0003】
生体情報を用いた個人認証システムは、記憶や所持を必要としないこと、盗難の危険性が低いことから注目されている。生体情報による個人認証では、指紋・虹彩・顔・掌紋・筆跡などが利用されるが、その中でも顔を用いた個人認証は、利便性と受容性が高いことから注目されている。
【0004】
例えば、ビルなどの入退室管理に用いられる個人認証システムでは、入室しようとする人の顔を撮像して参照画像とし、この参照画像と予め登録されている人の顔の画像(登録画像)との照合を行い、参照画像と登録画像とが一致した場合に、その人の入室を許可するようにする。
【0005】
この参照画像と登録画像との照合処理において、本出願人は、参照画像および登録画像のそれぞれについて、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成し、この階層画像の低解像度画像から高解像度画像に向かって位相限定相関法(POC:Phase-Only Correlation)を用いた対応点の探索を行い(例えば、特許文献1,2参照)、探索後の対応領域の位相限定相関値に基づいて、参照画像と登録画像との照合を行うようにしている。以下、この階層画像を用いての対応点探索による照合方式を階層POCと呼ぶ。
【0006】
この階層POCでは、例えば、参照画像について、その原画像(128×128の画素の画像)を高解像度画像とし、この高解像度画像の下層に64×64の画素の画像(第1の低解像度画像)を作成し、この第1の低解像度画像の下層に32×32の画素の画像(第2の低解像度画像)を作成する。また、登録画像について、参照画像と同様に、その原画像(128×128の画素の画像)を高解像度画像とし、この高解像度画像の下層に64×64の画素の画像(第1の低解像度画像)を作成し、この第1の低解像度画像の下層に32×32の画素の画像(第2の低解像度画像)を作成する。この原画像を含む階層画像において、高解像度画像の階層を第0層、第1の低解像度画像の階層を第1層、第2の低解像度画像の階層を第2層とする。
【0007】
そして、登録画像の原画像に対してx軸方向にm個、y軸方向にn個の基準点を定め、この登録画像の原画像に定めた基準点毎に、最下層(第2層)の階層画像から、探索ウィンドウ(局所領域)を定めて、その局所領域に対応する参照画像における対応領域の探索を開始する。この対応領域の探索はPOC照合によって行い、当該階層画像についてその対応領域の探索が終了すると、当該階層画像についての探索結果を次の階層(第1層)での探索に反映させるというようにして、順次解像度の高い階層画像について対応領域の探索を行い、最上層(第0層)の階層画像に至るまで順に対応領域の探索を繰り返す。
【0008】
そして、最上層(第0層)の階層画像において、対応領域が見つかれば、その対応領域の位相限定相関値を求める。以下、同様にして、登録画像の局所領域毎に、参照画像の対応領域を低解像度画像から高解像度画像に向かって探索し、探索後の対応領域の位相限定相関値を求め、この求めた位相限定相関値に基づいて参照画像と登録画像との照合を行う。
【0009】
なお、POCは、もとになる画像のデータとこれと照合すべき画像のデータとをフーリエ変換で数学的に処理して、振幅(濃淡データ)と位相(像の輪郭データ)とに分解し、このうち位相情報のみを用いて、両画像の相関を求めるアルゴリズムであり、外乱に強く、高精度な演算結果を得られるという特色がある。
【0010】
POCについては、上述した特許文献1,2の他、特許文献3などにもその詳細が説明されている。POCでは、一方の画像に2次元離散的フーリエ変換を施してフーリエ画像を作成する。そして、このフーリエ画像と同様の処理を施して作成されている他方の画像のフーリエ画像とを合成し、この合成フーリエ画像に対して振幅を1とする処理を行ったうえ、2次元離散的フーリエ変換を施して相関データとする。この相関データ(POC関数)は、周波数空間における振幅が1とされ、位相のみとされているが、基本的には一方の画像と他方の画像とを畳み込んだデータと考えることができ、一方の画像と他方の画像との相関を表すものである。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開2008−209275号公報
【特許文献2】特開2008−123141号公報
【特許文献3】特開平10−63847号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかしながら、上述した階層POCによる照合では、参照画像と登録画像との照合を高精度で行うことができるが、参照画像を複数の登録画像と総当たりで照合する1:N照合に適用すると、処理量が多くなり、照合速度が低下するという問題がある。
【0013】
本発明は、このような課題を解決するためになされたもので、その目的とするところは、高精度と高速処理を両立させることが可能な照合装置を提供することにある。
【課題を解決するための手段】
【0014】
このような目的を達成するために本発明は、参照画像と登録画像とを照合する照合装置において、参照画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成する階層画像作成手段と、参照画像と同一解像度の複数の登録画像を記憶する登録画像記憶手段と、登録画像記憶手段に記憶されている登録画像を1つずつ読み出す登録画像読出手段と、階層画像作成手段によって作成された参照画像の低解像度の階層画像と登録画像読出手段によって読み出された登録画像の参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度に基づいて、登録画像読出手段によって読み出された登録画像と参照画像との照合を行う照合手段とを備えることを特徴とする。
【0015】
この発明では、参照画像と登録画像とを照合する際、参照画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成する。そして、登録画像記憶手段から登録画像を1つずつ読み出し、参照画像の低解像度の階層画像と登録画像の同一の低解像度の階層画像との類似度に基づいて、読み出された登録画像と参照画像との照合を行う。これにより、1:N照合における処理量を減らし、高精度と高速処理を両立させる。
【0016】
本発明において、登録画像記憶手段には、参照画像と同一解像度の複数の登録画像が記憶されている。この場合、登録画像は、その登録画像の原画像のみを記憶させるようにしてもよいし、その登録画像の原画像を含む階層画像を記憶させるようにしてもよい。登録画像の階層画像を記憶させる場合、参照画像の階層画像に対応させて、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を記憶させるようにする。
【0017】
本発明において、登録画像の階層画像を記憶させるようにした場合、登録画像としてその原画像を含む階層画像が読み出される。そして、作成された参照画像の低解像度の階層画像と読み出された登録画像の同一の低解像度の階層画像との類似度に基づいて、登録画像と参照画像との照合が行われる。この同一の低解像度の階層画像の照合によって、すなわち低解像度でありながらも全体の画像を照合することによって、高精度を確保しつつ、高速処理が実現される。
【0018】
本発明において、登録画像の原画像のみを記憶させるものとした場合、登録画像としてその原画像が読み出され、この原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像が作成される。この登録画像の階層画像は参照画像の階層画像に対応して作成される。そして、作成された参照画像の低解像度の階層画像と作成された登録画像の参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度に基づいて、登録画像と参照画像との照合が行われる。この同一の低解像度の階層画像の照合によって、すなわち低解像度でありながらも全体の画像を照合することによって、高精度を確保しつつ、高速処理が実現される。
【0019】
本発明において、同一の低解像度の階層画像の類似度の算出は、例えば、任意の低解像度の階層画像から行うようにする。この場合、算出された類似度が所定の基準値を満たす場合に、読み出された登録画像と参照画像とが一致すると判断する。また、この場合、階層画像の階層毎に、基準値として、その階層の解像度に応じて定められた基準値を用いるようにする。
【0020】
本発明において、登録画像記憶手段に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合、登録画像読出手段に対して登録画像の再読出しを指示するとともに、これによって読み出される登録画像を再照合登録画像とし、階層画像作成手段によって作成された参照画像の階層画像および登録画像読出手段によって読み出された再照合登録画像の参照画像の階層画像に対応する階層画像の何れか一方に対して予め定められた特徴領域を設定し、特徴領域が設定された一方の階層画像の当該特徴領域に対応する対応領域を他方の階層画像から探索し、一方の階層画像に設定された特徴領域と他方の階層画像から探索された対応領域との類似度に基づいて、再照合登録画像と参照画像との照合を行うようにしてもよい。
【発明の効果】
【0021】
本発明によれば、登録画像を1つずつ読み出し、参照画像の低解像度の階層画像と登録画像の参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度に基づいて、読み出された登録画像を参照画像とを照合するようにしたので、1:N照合における照合回数を減らし、高精度と高速処理を両立させることが可能となる。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施の形態を示す照合装置のブロック構成図である。
【図2】この照合装置における対象物の登録処理を示すフローチャートである。
【図3】この照合装置における対象物の照合処理1を示すフローチャートである。
【図4】照合処理1において作成された参照画像の階層画像および読み出された登録画像の階層画像を例示する図である。
【図5】この照合装置における対象物の照合処理2を示すフローチャートである。
【図6】この照合装置における対象物の照合処理3の第1例を示すメインのフローチャートである。
【図7】この照合装置における対象物の照合処理3の第2例を示すメインのフローチャートである。
【図8】図6に示したフローチャートに続く照合処理3の第1例および第2例のフローチャートである。
【図9】照合処理3において作成された参照画像の階層画像および読み出された登録画像の階層画像を特徴領域および対応領域と合わせて例示する図である。
【図10】特徴領域を規定する点として予め定められた基準点およびこの基準点を中心として登録画像の最上層の階層画像(高解像度画像(原画像))に対して設定された特徴領域を示す図である。
【図11】図6および図7に示したフローチャートに続く照合処理4および5のフローチャートである。
【図12】図11に示したフローチャートに続く照合処理4のフローチャートである。
【図13】図11に示したフローチャートに続く照合処理5のフローチャートである。
【図14】照合処理4において基準点を変更して登録画像の最上層の階層画像に他の特徴領域を再設定した状態を示す図である。
【図15】照合処理4において基準点を変更して登録画像の最上層の階層画像に他の特徴領域を再設定した状態を示す図である。
【図16】照合処理5において基準点密度を増やして登録画像の最上層の階層画像に特徴領域を再設定した状態を示す図である。
【図17】照合処理1の変形例を示すフローチャートである。
【図18】照合処理2の変形例を示すフローチャートである。
【図19】照合処理4の変形例を示すフローチャートである。
【発明を実施するための形態】
【0023】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
図1はこの発明の一実施の形態を示す照合装置のブロック構成図である。同図において、10は第1のCCDカメラ、11は第2のCCDカメラ、12は液晶表示装置(LCD)、20は処理部であり、処理部20は、CPUを有する制御部20−1と、ROM20−2と、RAM20−3と、ハードディスク(HD)20−4と、フレームメモリ(FM)20−5と、外部接続部(I/F)20−6と、フーリエ変換部(FFT)20−7とを備えており、ROM20−2には登録プログラムと照合プログラムが格納されている。また、CCDカメラ10,11は、所定の距離Lを隔てて設置されている。すなわち、CCDカメラ10,11は、そのレンズ10−1,11−1間の距離をLとして、横方向に並んで配置されている。図では分かり易いように、照合装置は上方向から見た図とし、対象物(人間の顔)は横方向から見た図としている。
【0024】
〔対象物の登録〕
この照合装置において、対象物を人間の顔M1とした場合、この対象物(登録対象物)M1の登録は次のようにして行われる。運用する前に、利用者は、CCDカメラ10,11に顔M1を向け、登録スタートスイッチ(図示せず)を押す。
【0025】
〔画像キャプチャ〕
制御部20−1は、登録スタートスイッチが押されると(図2:ステップS101のYES)、フレームメモリ20−5を介して、CCDカメラ10からの登録対象物M1を捉えた画像を左カメラの画像として取り込み、CCDカメラ11からの登録対象物M1を捉えた画像を右カメラの画像として取り込む(ステップS102)。
【0026】
〔顔領域の検出〕
そして、制御部20−1は、取り込んだ左カメラの画像および右カメラの画像から画像処理によって顔領域を検出する(ステップS103)。なお、この際、顔領域の輝度が一定範囲でなければ、ゲインコントロールし、左カメラの画像および右カメラの画像の取り込みを再度行う。また、この例では、左右の顔領域を検出するようにしたが、左か右の何れか一方の顔領域を検出するようにしてもよい。
【0027】
〔瞳領域の検出および顔画像の正規化〕
そして、制御部20−1は、検出した左右の顔領域の画像(左右の顔画像)から画像処理によって瞳領域を検出し(ステップS104)、3D計測によってカメラから登録対象物M1までの距離Rを算出し(ステップS105)、この算出した距離Rに基づいて右の顔画像のサイズを正規化する(ステップS106)。
【0028】
〔階層画像の作成〕
そして、制御部20−1は、ステップS106で正規化した顔画像を登録画像の原画像として、その原画像(128×128の画素の画像)を最上層(第0層)の高解像度画像とし、この高解像度画像の下層(第1層)に64×64の画素の画像(第1の低解像度画像)を作成し、この第1の低解像度画像の下層(第2層)に32×32の画素の画像(第2の低解像度画像)を作成する(ステップS107)。
【0029】
そして、制御部20−1は、この原画像を含む階層画像(高解像度画像、第1の低解像度画像、第2の低解像度画像)を利用者の登録画像としてHD20−4に保存する(ステップS108)。以下、同様にして、全ての利用者について、その利用者の登録画像(原画像を含む階層画像)をHD20−4に保存して行く。この実施の形態では、利用者の数を数千人規模とし、これら利用者の登録画像をHD20−4に保存させる。
【0030】
なお、この例では、右の顔画像を登録するようにしたが、左の顔画像を登録するようにしてもよく、左右の顔画像を登録するようにしてもよい。この実施の形態では、説明上、右の顔画像を登録するものとした。
【0031】
〔対象物の照合:照合処理1(照合処理の第1例)〕
この照合装置において、照合対象物を人間の顔M1とした場合、この顔M1の照合は次のようにして行われる。図3に制御部20−1がROM20−2に格納されている照合プログラムに従って実行する照合処理1(照合処理の第1例)のフローチャートを示す。
【0032】
〔画像キャプチャ〕
利用者は、CCDカメラ10,11の前に立つ。すると、制御部20−1は、CCDカメラ10,11の撮像領域に顔M1が入ったことを認識し、フレームメモリ20−5を介して、CCDカメラ10からの顔M1を捉えた画像を左カメラの画像として取り込み、CCDカメラ11からの顔M1を捉えた画像を右カメラの画像として取り込む(ステップS201)。
【0033】
〔顔領域の検出〕
そして、制御部20−1は、取り込んだ左カメラの画像および右カメラの画像から画像処理によって顔領域を検出する(ステップS202)。なお、この際、顔領域の輝度が一定範囲でなければ、ゲインコントロールし、左カメラの画像および右カメラの画像の取り込みを再度行う。また、この例では、左右の顔領域を検出するようにしたが、左か右の何れか一方の顔領域を検出するようにしてもよい。
【0034】
〔瞳領域の検出および顔画像の正規化〕
そして、制御部20−1は、検出した左右の顔領域の画像(左右の顔画像)から画像処理によって瞳領域を検出し(ステップS203)、3D計測によってカメラから照合対象物M1までの距離Rを算出し(ステップS204)、この算出した距離Rに基づいて右の顔画像のサイズを正規化する(ステップS205)。
【0035】
〔参照画像の階層画像の作成〕
そして、制御部20−1は、ステップS205で正規化した顔画像を参照画像の原画像とし、この参照画像の階層画像を作成する。この場合、制御部20−1は、ステップS205で得た参照画像の原画像(128×128の画素の画像)を最上層(第0層)の高解像度画像とし、この高解像度画像の下層(第1層)に64×64の画素の画像(第1の低解像度画像)を作成し、この第1の低解像度画像の下層(第2層)に32×32の画素の画像(第2の低解像度画像)を作成する。
【0036】
そして、制御部20−1は、HD20−4に保存されている第1番目の登録画像(原画像を含む階層画像)を読み出す(ステップS207)。すなわち、第1番目の登録画像について、最上層(第0層)に位置する高解像度画像(128×128の画素の画像)と、この高解像度画像の下層(第1層)に位置する第1の低解像度画像(64×64の画素の画像)と、この第1の低解像度画像の下層(第2層)に位置する第2の低解像度画像(32×32の画素の画像)とを読み出す。
【0037】
図4(a),(b)にステップS206で作成された参照画像の階層画像とステップS207で読み出された登録画像の階層画像を例示する。図4(a)において、J0は登録画像の第0層に位置する階層画像(高解像度画像(128×128の画素の画像))、J1は登録画像の第1層に位置する階層画像(第1の低解像度画像(64×64の画素の画像))、J2は登録画像の第2層に位置する階層画像(第2の低解像度画像(32×32の画素の画像))であり、図4(b)において、I0は参照画像の第0層に位置する階層画像(高解像度画像(128×128の画素の画像))、I1は参照画像の第1層に位置する階層画像(第1の低解像度画像(64×64の画素の画像))、I2は参照画像の第2層に位置する階層画像(第2の低解像度画像(32×32の画素の画像))である。
【0038】
制御部20−1は、このような参照画像の階層画像I0,I1,I2および登録画像の階層画像J0,J1,J2を得た後、N=Nxとし(ステップS208)、参照画像の第N層の階層画像と登録画像の第N層の階層画像との類似度を算出する(ステップS209)。なお、Nxは予め定められた任意の低解像度の階層であり、この例ではNx=1として定められているものとする。この場合、Nx=1であるので、参照画像の第1層の階層画像I1と登録画像の第1層の階層画像J1との類似度を算出する。
【0039】
そして、予め定められている第1層の基準値THを読み出し(ステップS210)、算出した類似度と読み出した第1層の基準値THとを比較する(ステップS211)。ここで、第1層の基準値THは、その階層の解像度に応じて定められている。
【0040】
算出した類似度が第1層の基準値TH以上であれば(ステップS211のYES)、制御部20−1は、参照画像と登録画像との照合結果を一致として(ステップS212)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。また、外部接続部20−6を介して、解錠指令などとして出力される。
【0041】
算出した類似度が第1層の基準値TH以上でなければ(ステップS211のNO)、制御部20−1は、HD20−4に他の登録画像が保存されていることを確認のうえ(ステップS213のYES)、HD20−4から次の登録画像を読み出し(ステップS207)、ステップS208以下の処理を繰り返す。
【0042】
これにより、次々に登録画像の階層画像がHD20−4から読み出され、登録画像の第1層の階層画像と参照画像の第1層の階層画像との類似度が算出され、算出された類似度と第1層の基準値THとが比較され、類似度が基準値TH以上であった場合に参照画像と登録画像とが一致したと判断される。
【0043】
これに対して、HD20−4に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合、制御部20−1は、参照画像と登録画像との照合結果を不一致として(ステップS214)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。
【0044】
このようにして、本実施の形態では、同一の低解像度の階層画像を照合することによって、すなわち低解像度でありながらも全体の画像を照合することによって、高精度を確保しつつ、高速処理が実現される。
【0045】
なお、この照合処理1では、ステップS208においてNx=1とし、第1層の階層画像から類似度の算出を開始するようにしたが、ステップS208においてNx=2とし、第2層の階層画像から類似度の算出を開始するようにしてもよい。
【0046】
〔対象物の照合:照合処理2(照合処理の第2例)〕
上述した照合処理1では、予め定められた任意の低解像度の階層のみの階層画像の類似度を算出して照合を行うようにしたが、解像度が低い順に登録画像の階層画像と参照画像の階層画像との類似度を算出し、算出された類似度とその階層の基準値THとを比較することによって、登録画像と参照画像との照合を行うようにしてもよい。この場合の照合処理を照合処理2(照合処理の第2例)とし、そのフローチャートを図5に示す。
【0047】
この照合処理2において、制御部20−1は、図3に示したステップS201〜S207に対応するステップS301〜S307の処理を実行し、参照画像の階層画像I0,I1,I2(図4(a)参照)および登録画像の階層画像J0,J1,J2(図4(b)参照)を得る。そして、N=2とし(ステップS308)、参照画像の第N層の階層画像と登録画像の第N層の階層画像との類似度を算出する(ステップS309)。この場合、N=2であるので、参照画像の第2層の階層画像I2と登録画像の第2層の階層画像J2との類似度を算出する。
【0048】
そして、予め定められている第2層の基準値THを読み出し(ステップS310)、算出した類似度と読み出した第2層の基準値THとを比較する(ステップS311)。ここで、第2層の基準値THは、その階層の解像度に応じて定められている。
【0049】
算出した類似度が第2層の基準値TH以上であれば(ステップS311のYES)、制御部20−1は、参照画像と登録画像との照合結果を一致として(ステップS312)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。また、外部接続部20−6を介して、解錠指令などとして出力される。
【0050】
算出した類似度が第2層の基準値TH以上でなければ(ステップS311のNO)、制御部20−1は、より解像度の高い階層画像があることを確認のうえ(ステップS313のYES)、N=N−1とし(ステップS314)、ステップS309へ戻る。この場合、N=1とされるので、制御部20−1は、参照画像の第1層の階層画像I1と登録画像の第1層の階層画像J1との類似度を算出する。
【0051】
そして、予め定められている第1層の基準値THを読み出し(ステップS310)、算出した類似度と読み出した第1層の基準値THとを比較する(ステップS311)。ここで、第1層の基準値THは、その階層の解像度に応じて定められている。
【0052】
算出した類似度が第1層の基準値TH以上であれば(ステップS311のYES)、制御部20−1は、参照画像と登録画像との照合結果を一致として(ステップS312)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。また、外部接続部20−6を介して、解錠指令などとして出力される。
【0053】
算出した類似度が第2層の基準値TH以上でなければ(ステップS311のNO)、制御部20−1は、より解像度の高い階層画像があることを確認のうえ(ステップS313のYES)、N=N−1とし(ステップS314)、ステップS309へ戻る。この場合、N=0とされるので、制御部20−1は、参照画像の第0層の階層画像I0と登録画像の第0層の階層画像J0との類似度を算出する。
【0054】
そして、予め定められている第0層の基準値THを読み出し(ステップS310)、算出した類似度と読み出した第0層の基準値THとを比較する(ステップS311)。ここで、第0層の基準値THは、その階層の解像度に応じて定められている。
【0055】
算出した類似度が第0層の基準値TH以上であれば(ステップS311のYES)、制御部20−1は、参照画像と登録画像との照合結果を一致として(ステップS312)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。また、外部接続部20−6を介して、解錠指令などとして出力される。
【0056】
算出した類似度が第0層の基準値TH以上でなければ(ステップS311のNO)、制御部20−1は、より解像度の高い階層画像があるか否かをチェックする(ステップS313)。この場合、第0層よりも解像度の高い階層画像はないので(ステップS313のNO)、HD20−4に他の登録画像が保存されていることを確認のうえ(ステップS315のYES)、HD20−4から次の登録画像を読み出し(ステップS307)、ステップS308以下の処理を繰り返す。
【0057】
これにより、次々に登録画像の階層画像がHD20−4から読み出され、解像度が低い順に登録画像の階層画像と参照画像の階層画像との類似度が算出され、算出された類似度とその階層の基準値THとが比較され、何れかの階層で類似度が基準値TH以上であった場合に参照画像と登録画像とが一致したと判断される。
【0058】
これに対して、HD20−4に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合、制御部20−1は、参照画像と登録画像との照合結果を不一致として(ステップS316)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。
【0059】
なお、この照合処理2では、ステップS308においてN=2とし、第2層の階層画像から類似度の算出を開始するようにしたが、ステップS308においてN=1とし、第1層の階層画像から類似度の算出を開始するようにしてもよい。
【0060】
〔対象物の照合:照合処理3(照合処理の第3例)〕
上述した照合処理1,2では、HD20−4に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合(ステップS213のNO、ステップS315のNO)、参照画像と登録画像との照合結果を不一致として処理を終了するようにした。
【0061】
これに対して、照合処理3(照合処理の第3例)では、図6および図8にそのフローチャートを分割して示すように(照合処理3の第1例)、また図7および図8にそのフローチャートを分割して示すように(照合処理3の第2例)、HD20−4に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合(ステップS213のNO、ステップS315のNO)、参照画像と登録画像との照合結果を不一致とはせずに、ステップS401の処理へ進むようにする。
【0062】
この場合、制御部20−1は、HD20−4に保存されている第1番目の登録画像(原画像を含む階層画像)を再度読み出す(ステップS401)。すなわち、第1番目の登録画像を再照合登録画像とし、この再照合登録画像について、最上層(第0層)に位置する高解像度画像(128×128の画素の画像)と、この高解像度画像の下層(第1層)に位置する第1の低解像度画像(64×64の画素の画像)と、この第1の低解像度画像の下層(第2層)に位置する第2の低解像度画像(32×32の画素の画像)とを読み出す(図9(a)参照)。
【0063】
そして、制御部20−1は、予め定められた基準点を読み込んで、対応領域探索のための特徴領域を再照合登録画像の階層画像J0,J1,J2に設定する(ステップS402)。
【0064】
この例では、再照合登録画像の原画像に対して設定されている図10(a)に示すような基準点プレートPLから、特徴領域を規定する点として予め定められた基準点P1を読み込み、この基準点P1を中心とする32×32の画素の領域を特徴領域S0として再照合登録画像の階層画像J0に設定する。この例において、基準点P1は、階層画像J0において、特徴領域S0のゾーン内に特徴的な部分として右目が入るような点として定められている。
【0065】
同様にして、再照合登録画像の階層画像J1に対して、基準点P1に対応する点を中心とする32×32の画素の領域を特徴領域S1として設定し、再照合登録画像の階層画像J2に対して、基準点P1に対応する点を中心とする32×32の画素の領域を特徴領域S2として設定する。なお、階層画像J2は32×32の画素の画像であるので、階層画像J2の全領域が特徴領域S2として設定される。
【0066】
そして、制御部20−1は、N=2とし(ステップS403)、再照合登録画像の第N層の階層画像の特徴領域に対応する参照画像の第N層の階層画像の対応領域の探索を行う(ステップS404)。この場合、N=2であるので、再照合登録画像の第2層の階層画像J2の特徴領域S2に対応する参照画像の第2層の階層画像I2の対応領域S2’の探索をPOC照合によって行う。
【0067】
そして、制御部20−1は、この探索した再照合登録画像の第2層の階層画像J2における特徴領域S2と参照画像の第2層の階層画像I2における対応領域S2’との類似度を算出し(ステップS405)、予め定められている第2層の基準値THを読み出し(ステップS406)、算出した類似度と読み出した第2層の基準値THとを比較する(ステップS407)。ここで、第2層の基準値THは、その階層の解像度と特徴領域S2の位置とに応じて定められている。
【0068】
算出した類似度が第2層の基準値TH以上であれば(ステップS407のYES)、制御部20−1は、参照画像と登録画像との照合結果を一致として(ステップS408)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。また、外部接続部20−6を介して、解錠指令などとして出力される。
【0069】
算出した類似度が第0層の基準値TH以上でなければ(ステップS407のNO)、制御部20−1は、より解像度の高い階層画像があることを確認のうえ(ステップS409のYES)、N=N−1とし(ステップS410)、ステップS404へ戻る。この場合、N=1とされるので、制御部20−1は、第2層の階層での探索結果を反映させて、登録画像の第1層の階層画像J1の特徴領域S1に対応する参照画像の第1層の階層画像I1の対応領域S1’の探索をPOC照合によって行う(ステップS404)。
【0070】
そして、制御部20−1は、この探索した登録画像の第1層の階層画像J1における特徴領域S1と参照画像の第1層の階層画像I1における対応領域S1’との類似度を算出し(ステップS405)、予め定められている第1層の基準値THを読み出し(ステップS406)、算出した類似度と読み出した第1層の基準値THとを比較する(ステップS407)。ここで、第1層の基準値THは、その階層の解像度と特徴領域S1の位置とに応じて定められている。
【0071】
算出した類似度が第1層の基準値TH以上であれば(ステップS407のYES)、制御部20−1は、参照画像と登録画像との照合結果を一致として(ステップS408)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。また、外部接続部20−6を介して、解錠指令などとして出力される。
【0072】
算出した類似度が第0層の基準値TH以上でなければ(ステップS407のNO)、制御部20−1は、より解像度の高い階層画像があることを確認のうえ(ステップS409のYES)、N=N−1とし(ステップS410)、ステップS404へ戻る。この場合、N=0とされるので、制御部20−1は、第0層の階層での探索結果を反映させて、登録画像の第0層の階層画像J0の特徴領域S0に対応する参照画像の第0層の階層画像I0の対応領域S0’の探索をPOC照合によって行う(ステップS404)。
【0073】
そして、制御部20−1は、この探索した登録画像の第0層の階層画像J0における特徴領域S0と参照画像の第0層の階層画像I0における対応領域S0’との類似度を算出し(ステップS405)、予め定められている第0層の基準値THを読み出し(ステップS406)、算出した類似度と読み出した第0層の基準値THとを比較する(ステップS407)。ここで、第0層の基準値THは、その階層の解像度と特徴領域S0の位置とに応じて定められている。
【0074】
算出した類似度が第0層の基準値TH以上であれば(ステップ407のYES)、制御部20−1は、参照画像と登録画像との照合結果を一致として(ステップS408)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。また、外部接続部20−6を介して、解錠指令などとして出力される。
【0075】
算出した類似度が第0層の基準値TH以上でなければ(ステップS407のNO)、制御部20−1は、より解像度の高い階層画像があるか否かをチェックする(ステップS409)。この場合、第0層よりも解像度の高い階層画像はないので(ステップS409のNO)、HD20−4に他の登録画像が保存されていることを確認のうえ(ステップS411のYES)、HD20−4から次の登録画像を読み出し(ステップS401)、ステップS402以下の処理を繰り返す。
【0076】
これにより、次々に登録画像の階層画像がHD20−4から再度読み出され、解像度が低い順に再照合登録画像の階層画像の特徴領域と参照画像の階層画像の対応領域との類似度が算出され、算出された類似度とその階層の基準値THとが比較され、何れかの階層で類似度が基準値TH以上であった場合に参照画像と再照合登録画像とが一致したと判断される。
【0077】
これに対して、HD20−4に記憶されている登録画像を再照合登録画像として全て読み出したにも拘わらず、再照合登録画像と参照画像とが一致するという結果が得られなかった場合、制御部20−1は、参照画像と再照合登録画像との照合結果を不一致として(ステップS412)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。
【0078】
なお、この照合処理3では、ステップS403においてN=2とし、第2層(最下層)の階層画像から特徴領域に対応する対応領域の探索および類似度の算出を開始するようにしたが、ステップS403においてN=1とし、第1層の階層画像から特徴領域に対応する対応領域の探索および類似度の算出を開始するようにしてもよい。
【0079】
〔対象物の照合:照合処理4(照合処理の第4例)〕
上述した照合処理3では、HD20−4に記憶されている登録画像を再照合登録画像として全て再読み出したにも拘わらず、再照合登録画像と参照画像とが一致するという結果が得られなかった場合(ステップS411のNO)、参照画像と登録画像との照合結果を不一致として処理を終了するようにした。
【0080】
これに対して、照合処理4(照合処理の第4例)では、図11および図12にそのフローチャートを分割して示すように、HD20−4に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合(ステップS411のNO)、参照画像と登録画像との照合結果を不一致とはせずに、ステップS413の処理へ進むようにする。
【0081】
この場合、制御部20−1は、対応領域探索のための他の特徴領域を規定する基準点があるか否かをチェックし(ステップS413)、対応領域探索のための他の特徴領域を規定する基準点があれば(ステップS413のYES)、その基準点を特徴領域を規定するための基準点として再設定する(ステップS414)。
【0082】
これにより、例えば、図14に示すように、対応領域探索のための他の特徴領域を規定する基準点P2があれば、次回のステップS402では、この基準点P2を中心とする32×32の画素の領域が特徴領域S0として登録画像の階層画像J0に再設定される。また、基準点P2に対応して、登録画像の階層画像J1,J2にも特徴領域が再設定される。この例において、基準点P2は、階層画像J0において、特徴領域S0のゾーン内に特徴的な部分として左目が入るような点として定められている。
【0083】
また、例えば、図15に示すように、対応領域探索のための他の特徴領域を規定する基準点P3があれば、次回のステップS402では、この基準点P3を中心とする32×32の画素の領域が特徴領域S0として登録画像の階層画像J0に再設定される。また、基準点P2に対応して、登録画像の階層画像J1,J2にも特徴領域が再設定される。この例において、基準点P3は、階層画像J0において、特徴領域S0のゾーン内に特徴的な部分として鼻が入るような点として定められている。
【0084】
そして、この特徴領域を規定する基準点の再設定後、ステップS401へ戻り、HD20−4から登録画像をもう一度読み出して、上述と同様の処理を繰り返す。この処理は、登録画像と参照画像とが一致するという結果が得られるまで繰り返され、この処理の繰り返し中、対応領域探索のための他の特徴領域を規定する基準点がなくなると(ステップS413のNO)、制御部20−1は、参照画像と登録画像との照合結果を不一致として(ステップS415)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。
【0085】
〔対象物の照合:照合処理5(照合処理の第5例)〕
照合処理4では、HD20−4に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合(ステップS411のNO)、図12に示したフローチャートのステップS413に進むようにしたが、照合処理5(照合処理の第5例)では、図13に示したフローチャートのステップS416へ進むものとする。
【0086】
この場合、制御部20−1は、基準点密度の増大パターンがあるか否かをチェックし、基準点密度の増大パターンがあれば(ステップS416のYES)、その基準点密度の増大パターンに従って特徴領域を規定する基準点の数を増やす(ステップS417)。
【0087】
例えば、図16に示すように、基準点密度の増大パターンとして基準点P11,P12,P13,P14,P15,P16があれば、次回のステップS402では、この基準点P11,P12,P13,P14,P15,P16のそれぞれを中心とする32×32の画素の領域が特徴領域S01,S02,S03,S04,S05,S06として登録画像の階層画像J0に再設定される。また、基準点P11,P12,P13,P14,P15,P16に対応して、登録画像の階層画像J1,J2にも特徴領域が再設定される。
【0088】
そして、この特徴領域を規定する基準点の再設定後、ステップS401へ戻り、HD20−4から登録画像をもう一度読み出して、上述と同様の処理を繰り返す。この場合、特徴領域毎に対応領域を探索し、対応領域毎の類似度に基づいて照合を行う。この処理は、登録画像と参照画像とが一致するという結果が得られるまで繰り返され、この処理の繰り返し中、基準点密度の増大パターンがなくなると(ステップS416のNO)、制御部20−1は、参照画像と登録画像との照合結果を不一致として(ステップS418)、処理を終了する。この場合の照合結果は液晶表示装置12に表示される。
【0089】
なお、上述した照合処理1〜5において、類似度の計算方法(例えば、ステップS209(図3、図6)、ステップS309(図5、図7)、ステップS405(図8、図11)などでの類似度の計算方法)についてはその詳細を述べなかったが、この場合の類似度の計算方法として次のような方法が考えられる。
【0090】
〔特定の顔データ、特定の階層、特定のエリアで類似度を算出する方法〕
案1.対応点毎の相関値の平均値を類似度にする。
案2.閾値Tより高い対応点の数を類似度にする。
⇒ 特定エリアの外乱(着用物など)に影響をうけにくくなる。
案3.上下左右全体などエリア毎に閾値 "T_high" より高い対応点の数を類似度にする。閾値 "T_high" はエリア毎に変えても良い。
⇒ サングラス、メガネ、ひげの発生、傷、眼帯などの影響を受けにくい照合が実現できる。
案4.上下左右全体などエリア毎に閾値 "T_high" より高い対応点の数を類似度にする。このとき、いずれかのエリア毎に閾値 "T_low" より低い対応点の数が多い場合、後段の類似度判定処理でNGとする。閾値 "T_high"、"T_low" はエリア毎に変えても良い。
⇒ 同一の着用物による他人誤認を防ぐことができる。例えば、フレームの太い眼鏡による誤認がなくなる。
【0091】
なお、例えば照合処理1(図3)では、ステップS209で類似度の算出を行い、ステップS211で類似度と基準値との比較を行うようにしているが、類似度の算出と基準値との比較を1ステップで行うようにしてもよい。他の照合処理でも同様。
【0092】
また、上述した実施の形態では、登録画像の階層画像を登録画像としてHD20−4に記憶させるようにしたが、登録画像の原画像のみを記憶させるようにしてもよい。登録画像の原画像のみを記憶させる場合には、登録画像(原画像)の読み出しを行った後、この読み出した登録画像の原画像を最上層(第0層)の高解像度画像とし、この高解像度画像の下層(第1層)に第1の低解像度画像を作成し、この第1の低解像度画像の下層(第2層)に第2の低解像度画像を作成するようにする。
【0093】
図17に照合処理1において、登録画像(原画像)の読み出しを行った後、登録画像の階層画像を作成するようにした場合のフローチャートを示す。この場合、ステップS207で登録画像の原画像を読み出すようにし、このステップS207の後に、登録画像の階層画像を作成するステップS215を設けるようにする。照合処理3,4においても、同様にして、ステップS207の後に、登録画像の階層画像を作成するステップS215を設けるようにする。
【0094】
図18に照合処理2において、登録画像(原画像)の読み出しを行った後、登録画像の階層画像を作成するようにした場合のフローチャートを示す。この場合、ステップS307で登録画像の原画像を読み出すようにし、このステップS307の後に、登録画像の階層画像を作成するステップS317を設けるようにする。照合処理3,4においても、同様にして、ステップS307の後に、登録画像の階層画像を作成するステップS317を設けるようにする。
【0095】
図19に照合処理4において、登録画像(原画像)の再読み出しを行った後、再照合登録画像の階層画像を作成するようにした場合のフローチャートを示す。この場合、ステップS401で登録画像を再照合特録画像として読み出すようにし、ステップS401の後に、読み出した再照合登録画像の階層画像を作成するステップS419を設けるようにする。
【0096】
また、上述した実施の形態では、照合処理4において、登録画像の階層画像と参照画像の階層画像との類似度に基づく照合を行った後、登録画像の階層画像の特徴領域と参照画像の階層画像の対応領域との類似度に基づく照合(再照合)を行うようにしたが、登録画像の階層画像の特徴領域と参照画像の階層画像の対応領域との類似度に基づく照合を行った後、登録画像の階層画像と参照画像の階層画像との類似度に基づく照合(再照合)を行うようにしてもよい。
【産業上の利用可能性】
【0097】
本発明の照合装置は、参照画像と登録画像とを照合する照合装置として、入退室を管理するシステムに限らず、各種の対象物を認証するシステム(例えば、印刷などの画像チェック、半田基板チェックなど)において利用することが可能である。
【符号の説明】
【0098】
10,11…CCDカメラ、10−1,11−1…レンズ、12…液晶表示装置(LCD)、20…処理部、20−1…制御部、20−2…ROM、20−3…RAM、20−4…ハードディスク(HD)、20−5…フレームメモリ(FM)、20−6…外部接続部(I/F)、20−7…フーリエ変換部(FFT)、I0,I1,I2…参照画像の階層画像、J0,J1,J2…登録画像の階層画像、S0,S1,S2,S01〜S06…特徴領域、S0’,S1’,S2’…対応領域、PL…基準テンプレート、P1,P2,P3,P11〜P16…基準点。

【特許請求の範囲】
【請求項1】
参照画像と登録画像とを照合する照合装置において、
前記参照画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成する階層画像作成手段と、
前記参照画像と同一解像度の複数の登録画像を記憶する登録画像記憶手段と、
前記登録画像記憶手段に記憶されている登録画像を1つずつ読み出す登録画像読出手段と、
前記階層画像作成手段によって作成された参照画像の低解像度の階層画像と前記登録画像読出手段によって読み出された登録画像の前記参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度に基づいて、前記登録画像読出手段によって読み出された登録画像と前記参照画像との照合を行う照合手段と
を備えることを特徴とする照合装置。
【請求項2】
請求項1に記載された照合装置において、
前記照合手段は、
前記同一の低解像度の階層画像の類似度の算出を任意の低解像度の階層画像から行い、算出された類似度が所定の基準値を満たす場合に、前記登録画像読出手段によって読み出された登録画像と前記参照画像とが一致すると判断する
ことを特徴とする照合装置。
【請求項3】
請求項2に記載された照合装置において、
前記照合手段は、
前記階層画像の階層毎に、前記基準値として、その階層の解像度に応じて定められた閾値を用いる
ことを特徴とする照合装置。
【請求項4】
請求項1〜3の何れか1項に記載された照合装置において、
前記照合手段は、
前記登録画像読出手段が前記登録画像記憶手段に記憶されている登録画像を全て読み出したにも拘わらず、登録画像と参照画像とが一致するという結果が得られなかった場合、前記登録画像読出手段に対して前記登録画像の再読出しを指示するとともに、これによって読み出される登録画像を再照合登録画像とし、前記階層画像作成手段によって作成された参照画像の階層画像および前記登録画像読出手段によって読み出された再照合登録画像の前記参照画像の階層画像に対応する階層画像の何れか一方に対して予め定められた特徴領域を設定し、特徴領域が設定された一方の階層画像の当該特徴領域に対応する対応領域を他方の階層画像から探索し、一方の階層画像に設定された特徴領域と他方の階層画像から探索された対応領域との類似度に基づいて、前記再照合登録画像と前記参照画像との照合を行う
ことを特徴とする照合装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図4】
image rotate

【図9】
image rotate

【図10】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate