説明

生体認証装置、生体認証方法、血管情報記憶装置および血管情報記憶方法

【課題】精度の高い生体認証を行う。
【解決手段】生体認証装置は、血管画像を取得する血管画像取得手段と、この血管画像取得手段で取得した上記血管画像を、複数の直線成分について各直線成分の多少を各々示す直線成分情報に変換する直線成分変換手段と、この直線成分変換手段で得られた各直線成分を、予め記憶された血管情報と照合することにより、上記血管画像取得手段で取得した上記血管画像が、上記血管情報と対応することを認証する認証手段とを備える。好ましくは、上記直線成分変換手段は、ハフ変換を実行する。また好ましくは、上記直線成分変換手段の変換の結果得られる上記直線成分情報から、抽出閾値以上に多い直線成分を抽出する直線成分抽出手段とを備え、上記認証手段は、この直線成分抽出手段で抽出された複数の直線成分の相対的位置関係に基づき、予め記憶された血管情報との照合を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、血管画像、指紋画像、静止画像、動画像等の2つの画像につき、その画像の内の直線成分に基づいて照合を行う画像照合方法、画像照合装置、およびプログラムに関するものである。
より特定的には、本発明は、生体認証装置、生体認証方法、血管情報記憶装置および血管情報記憶方法に関する。
【背景技術】
【0002】
従来、たとえば、生体認証または血管情報処理などの画像情報に基づいて照合を行う装置として、種々の画像照合装置が知られている。例えば登録画像と、比較対象となる照合画像とを所定の位置関係で比較し相関値を算出し、その相関値に基づいて登録画像と照合画像の照合を行う画像照合装置、あるいは相関値を生成する際には、画素単位の演算により相関値を生成する画像照合装置が知られている。
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし、上述した画像照合装置では、相関が小さい画像であっても、画像内のパターンの種類、例えば直線成分を多く含み登録画像と照合画像の内の直線成分の交点が多い場合には、その交点が相関値に大きく寄与して、相関値が大きくなって充分な照合精度が得られないことがあり、改善が望まれている。
【0004】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、画像の照合を高精度に行うことができる画像照合方法、画像照合装置、およびプログラムを提供することにある。
【0005】
より特定的には、画像の照合を高精度に行うことができる画像照合技術を適用した生体認証装置、生体認証方法、血管情報記憶装置および血管情報記憶方法を提供する。
【課題を解決するための手段】
【0006】
本発明によれば、血管画像を取得する血管画像取得手段と、この血管画像取得手段で取得した上記血管画像を、複数の直線成分について各直線成分の多少を各々示す直線成分情報に変換する直線成分変換手段と、この直線成分変換手段で得られた各直線成分を、予め記憶された血管情報と照合することにより、上記血管画像取得手段で取得した上記血管画像が、上記血管情報と対応することを認証する認証手段とを備える、生体認証装置が提供される。
【0007】
好ましくは、上記直線成分変換手段は、ハフ変換を実行する。
また好ましくは、上記直線成分変換手段の変換の結果得られる上記直線成分情報から、抽出閾値以上に多い直線成分を抽出する直線成分抽出手段とを備え、上記認証手段は、この直線成分抽出手段で抽出された複数の直線成分の相対的位置関係に基づき、予め記憶された血管情報との照合を行う。
【0008】
また本発明によれば、血管画像を取得する血管画像取得手段と、この血管画像取得手段で取得した上記血管画像を、複数の直線成分について各直線成分の多少を各々示す直線成分情報に変換する直線成分変換手段と、この直線成分変換手段で得られた各直線成分を、認証処理に用いる情報として記憶部に記憶する記憶手段とを備える、血管情報記憶装置が提供される。
【0009】
本発明によれば、血管画像を取得する血管画像取得工程と、この血管画像取得工程において取得した上記血管画像を、複数の直線成分について各直線成分の多少を各々示す直線成分情報に変換する直線成分変換工程と、この直線成分変換手段で得られた各直線成分を、予め記憶された血管情報と照合することにより、上記血管画像取得工程において取得した上記血管画像が上記血管情報と対応することを認証する認証工程とを備える、生体認証方法が提供される。
【0010】
また本発明によれば、血管画像を取得する血管画像取得工程と、この血管画像取得工程において取得した上記血管画像を、複数の直線成分について各直線成分の多少を各々示す直線成分情報に変換する直線成分変換工程と、この直線成分変換工程において得られた各直線成分を、認証処理に用いる情報として記憶部に記憶する記憶工程とを備える、血管情報記憶方法が提供される。
【発明の効果】
【0011】
本発明によれば、生体認証をを高精度に行うことができる生体認証装置と生体認証方法を提供することができる。
また本発明によれば、血管情報記憶装置と血管情報記憶方法を提供することができる。
【発明を実施するための最良の形態】
【0012】
図1は、本発明に係る画像照合装置の第1実施形態のハードウェア的な機能ブロック図である。
本実施形態に係る画像照合装置1は、図1に示すように、画像入力部11、メモリ12、FFT処理部13、座標変換部14、ハフ(Hough)変換部15、CPU16、および動作処理部17を有する。
例えば画像入力部11はメモリ12に接続され、メモリ12、FFT処理部13、座標変換部14、ハフ変換部15、およびCPU16は、バスBSにより接続されている。動作処理部17はCPU16に接続されている。
【0013】
画像入力部11は、外部からの画像を入力するための入力部である。例えば、画像入力部11には、登録画像AIM、および登録画像AIMの比較対象である画像(照合画像RIMともいう)が入力される。
メモリ12は、例えば画像入力部11から入力された画像等が記憶される。また、例えばメモリ12には、図1に示すように登録画像AIM、照合画像RIM、およびプログラムPRG等が記憶されている。
プログラムPRGは、例えばCPU16で実行され、本発明に係る変換処理、相関処理、照合処理等に関する機能を実現させる手順を含む。
【0014】
FFT処理部13は、例えばCPU16の制御により、メモリ12が記憶する画像等に基づいて2次元フーリエ変換処理を行い、処理結果を座標変換部14およびCPU16等に出力する。
【0015】
座標変換部14は、例えばCPU16の制御により、FFT処理部13が処理した2次元フーリエ変換処理の結果に基づいて対数−極座標変換し、座標変換結果をCPU16に出力する。
動作処理部17は、後述するCPU16の処理の結果に基づいて、例えば登録画像AIMと照合画像RIMが一致した場合には、電子鍵を解除する等の所定処理を行う。
【0016】
ハフ変換部15は、CPU16の制御により後述するハフ変換処理を行い、処理結果をCPU16に出力する。ハフ変換部15は、例えば高速にハフ変換処理を行うために、ハードウェアで構成された専用回路を用いることが好ましい。
【0017】
CPU16は、例えばメモリ12に記憶されているプログラムPRG、登録画像AIM、および照合画像RIMに基づいて、本発明の実施形態に係る照合処理を行う。また、CPU16は、画像入力部11、メモリ12、FFT処理部13、座標変換部14、ハフ変換部15、および動作処理部17等の制御を行い、本実施形態に係る処理を実現する。
【0018】
図2は、図1に示した画像照合装置のソフトウェア的な機能ブロック図である。
例えば、CPU16がメモリ12内のプログラムPRGを実行することにより、図2に示すように、位置補正部161、ハフ変換部162、抽出部163、および判別部164の機能を実現する。
位置補正部161は本発明に係る位置補正手段に相当し、ハフ変換部162は本発明に係る変換手段に相当し、抽出部163は本発明に係る抽出手段に相当し、判別部164は本発明に係る照合手段に相当する。
【0019】
位置補正部161は、例えばメモリ12が記憶する登録画像AIMおよび照合画像RIMの内の画像パターンに基づいて、2つの画像それぞれの左右上下方向の位置ずれや、拡大率、および回転角度等のずれを補正し、補正した画像をハフ変換部162に出力する。 詳細には、例えば位置補正部161は、登録画像AIMおよび照合画像RIMそれぞれにつき位置補正処理を行い、信号S1611,S1612としてハフ変換部162に出力する。
【0020】
ハフ変換部162は、例えばハードウェア的に専用のハフ変換処理を行うハフ変換部15に、ハフ変換処理を実行させる。
詳細には、例えばハフ変換部162は、位置補正処理された登録画像AIMである信号S1611に基づいてハフ変換処理を行い、処理結果を信号S1621として出力する。 また、ハフ変換部162は、位置補正処理された照合画像RIMである信号S1612に基づいてハフ変換処理を行い、処理結果を信号S1622として出力する。
【0021】
図3は、図2に示したハフ変換部の動作を説明するための図である。
ハフ変換部162は、例えば、第1の画像および第2の画像それぞれについて、基準位置Oから画像内の点を通る直線L0への最短の点P0までの距離ρ0、および、基準位置Oと最短の点P0を通る直線n0と基準位置Oを含む基準軸との角度θに基づいて、画像内の点を曲線のパターンに変換し、画像内の直線成分を、複数の重なり合った曲線のパターンに変換する画像処理を行い、第1の変換画像および第2の変換画像を生成する。
【0022】
簡単な説明のため、例えば図3(a)に示すように、x−y平面上に、直線L0、直線L0上の点P(x1,y1),点P2(x2,y2),点P3(x3,y3)があるとする。
原点0を通り直線L0に垂直な直線をn0とすると、例えば直線n0と基準軸としてのx軸とは角度θ0の関係があり、原点Oから直線L0まで距離|ρ0|の関係があるとする。ここで|ρ0|はρ0の絶対値を示す。直線L0は、(ρ0,θ0)というパラメータで表現できる。
x−y平面上の座標(x,y)に対するハフ(Hough)変換は、例えば数式(1)により定義される。
【0023】
〔数1〕
ρ=x・cosθ+y・sinθ
…(1)
【0024】
例えば点P1,P2,P3それぞれについて数式(1)に示すハフ変換を行うと、図3(b)に示すようにρ−θ空間上の曲線に変換される。詳細にはハフ変換は、点P1(x1,y1)は曲線PL1(x1・cosθ+y1・sinθ)に、点P2(x2,y2)は曲線PL2(x2・cosθ+y2・sinθ)に、点P3(x3,y3)は曲線PL3(x3・cosθ+y3・sinθ)に変換する。
この曲線PL1,PL2,PL3のパターンは、ρ−θ空間上で交点CP(ρ0,θ0)で交わる。ρ−θ空間上では交点P(ρ0,θ0)は、x−y空間上では直線成分L0に相当する。
逆に、図3(a)に示すようにx−y平面上の直線成分L0は、ρ−θ空間では曲線PL1,PL2,PL3のパターンの交点CPに相当する。
【0025】
上述したように、2値化した画像にハフ変換処理を行い、処理結果のρ−θ空間上での曲線のパターンの重なりの度合いにより、変換前のx−y平面においてどのような直線成分が支配的であるかを判別することができる。
【0026】
図4は、図2に示したハフ変換部の動作を説明するための図である。
ハフ変換部162は、例えば図4(a)に示す位置補正処理された登録画像AIMをハフ変換処理を行い、図4(c)に示す画像S1621を生成し、図4(b)に示す位置補正処理された照合画像RIMをハフ変換処理を行い画像S1622を生成する。
画像S1621,S1622の内の各画素には、曲線のパターンの重なりの度合いに応じた値が設定される。本実施形態では所定の階調で示される画像の内、曲線のパターンの重なりの度合いが高いほど白く表示されている。
後述するように、照合部1642は、この曲線パターンの重なりの度合いに基づいて照合処理を行うので、元のx−y空間上の直線成分を基に照合処理を行うことになる。
【0027】
抽出部163は、第1の変換画像および第2の変換画像それぞれについて、1つの変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出する。 詳細には、例えば抽出部163は、図4(c)に示す第1の変換画像としての信号S1621に基づいて、1つの変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出して、図4(e)に示す画像S1631を生成し照合部1642に出力する。
また、例えば抽出部163は、図4(d)に示す第2の変換画像としての信号S1622に基づいて、1つの変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出して、図4(f)に示す画像S1632を生成し照合部1642に出力する。
この抽出処理を行うことにより、例えば登録画像AIMおよび照合画像RIMのx−y空間上の直線成分と異なるノイズ成分、例えば点成分を除去する。
【0028】
判別部164は、第1の変換画像および第2の変換画像内のパターンの重なりの度合い、第1の変換画像および第2の変換画像それぞれの内のパターンの一致および不一致に基づいて前記第1の画像および第2の画像の照合を行う。
詳細には、判別部164は、例えば信号S1631および信号S1632に基づいて照合を行い、照合結果を信号S164として出力する。
【0029】
判別部164は、例えば図2に示すように、類似度生成部1641、および照合部1642を有する。
類似度生成部1641は、例えば、第1の変換画像および第2の変換画像の中の異なる複数の位置関係それぞれについて比較処理を行い、比較処理の結果に基づいて相関値としての類似度を生成する。
詳細には、類似度生成部1641は、例えば信号S1631および信号S1632に基づいて2つの画像の中の異なる複数の位置関係それぞれについて比較処理を行い、比較処理の結果に基づいて相関値としての類似度を生成する。
【0030】
例えば類似度生成部1641は、2つの画像それぞれをf1(m,n),f2(m,n)とすると、例えば類似度Simを数式(2)により算出し、算出結果をS1641として出力する。
【0031】
【数2】


…(2)
【0032】
図5は、図2に示した類似度生成部の動作を説明するための図である。
類似度生成部1641は、例えば図5(a),(b)に示す線成分(線形状ともいう)を含む2つの画像の類似度を生成する場合には、
図5(c)に示すように、2つの画像の交点CPの数に応じた類似度を生成する。ここでは、簡単な説明のために、線成分をビット値’1’の黒画素で示し、その他をビット値’0’の白画素で示した。
【0033】
照合部1642は、類似度生成部1641が生成した類似度を示す信号S1641に基づいて、登録画像AIMと照合画像RIMの照合を行う。
例えば、照合部1642は、類似度が所定の値よりも大きい場合には、登録画像AIMと照合画像RIMとが一致していると判別する。
【0034】
図6は、図1に示した本実施形態に係る画像照合装置の動作を説明するためのフローチャートである。図6を参照しながら、画像照合装置の動作をCPUの動作を中心に説明する。
【0035】
例えば、画像入力部11により、登録画像AIMおよび照合画像RIMが入力され、メモリ12にそれぞれのデータが格納される。
ステップST101において、位置補正部161は、例えば図2に示すように、メモリ12が記憶する登録画像AIMおよび照合画像RIMの内の画像パターンに基づいて位置補正処理を行い、詳細には、2つの画像それぞれの左右上下方向の位置ずれや、拡大率、および回転角度等のずれを補正し、補正した画像を信号S1611,S1612としてハフ変換部162に出力する。
【0036】
ステップST102において、ハフ変換部162では、例えば図4(a)に示す位置補正処理された登録画像AIMである信号S1611に基づいて、図3(a)に示すように、基準位置Oから画像内の点を通る直線L0への最短の点P0までの距離ρ0、および、基準位置Oと最短の点P0を通る直線n0と基準位置Oを含む基準軸としてのx軸との角度θに基づいて、画像内の点を曲線PLのパターンに変換し、画像内の直線成分Lを、複数の重なり合った曲線PLのパターンに変換する画像処理を行い、例えば図4(c)に示すように、ρ−θ空間上に変換画像として信号S1621を生成する。
また、ハフ変換部162は、例えば図4(b)に示す位置補正処理された照合画像RIMである信号S1612に基づいて同様のハフ変換処理を行い、例えば図4(d)に示すように、ρ−θ空間上に変換画像として信号S1622を生成する。
【0037】
ステップST103において、抽出部163では、変換画像S1621および変換画像S1622それぞれについて、1つの変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出する。
詳細には、上述したように、画像S1621,S1622の内の各画素には、曲線のパターンの重なりの度合いに応じた値が設定されており、所定の階調で示される画像の内、曲線のパターンの重なりの度合いが高いほど白く表示されている。
例えば抽出部163は、図4(c)に示す変換画像S1621内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出して、例えば図4(e)に示す画像S1631を生成し、照合部1642に出力する。
例えば抽出部163は、図4(d)に示す変換画像S1622内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出して、例えば図4(f)に示す画像S1632を生成し、照合部1642に出力する。
【0038】
照合部1642では、変換画像S1631および変換画像S1632内のパターンの重なりの度合い、変換画像S1631および変換画像S1632それぞれの内のパターンの一致および不一致に基づいて、登録画像AIMおよび照合画像RIMの照合を行う。
【0039】
詳細には、ステップST104において、類似度生成部1641は、変換画像S1631および変換画像S1632の中の異なる複数の位置関係それぞれについて比較処理を行い、比較処理の結果により相関値として、例えば数式(2)に示すように類似度Simを生成し、信号S1641として出力する。
【0040】
ステップST105において、照合部1642は、類似度生成部1641が生成した相関値としての類似度Simに基づいて、登録画像AIMおよび照合画像RIMの照合処理を行う。詳細には、照合部1642は、類似度Simが予め設定された閾値より高い場合には、登録画像AIMと照合画像RIMが一致していると判別し、閾値以下の場合には不一致であると判別する。
例えば、セキュリティ分野における静脈パターン照合装置に本実施形態に係る画像照合装置を適用した場合には、動作処理部17が電子錠を解除する等といった所定の処理を行う。
【0041】
以上説明したように、登録画像AIMおよび照合画像RIMそれぞれについて、ハフ変換処理、詳細には基準位置Oから画像内の点を通る直線Lへの最短の点P0までの距離ρ、および基準位置Oと最短の点P0を通る直線n0と基準位置Oを含む基準軸としてのx軸との角度θに基づいて、画像内の点を曲線PLのパターンに変換し、画像内の直線成分を、複数の重なり合った曲線PLのパターンに変換する画像処理を行い、変換画像S1621および変換画像S1622を生成するハフ変換部15と、ハフ変換部15が生成した変換画像S1621および変換画像S1622内のパターンの内の重なりの度合い、および変換画像S1621および変換画像S1622それぞれの内のパターンの一致および不一致に基づいて、登録画像AIMおよび照合画像RIMの照合を行う判別部164とを設けたので、直線成分を特徴として含む画像の照合を高精度に行うことができる。
【0042】
つまり、ハフ変換部15が、ハフ変換処理を行うことにより、登録画像AIMおよび照合画像RIMの内の直線成分(線形状ともいう)を考慮した変換画像を生成し、判別部164が、変換画像それぞれの内の曲線のパターンの重なり具合に基づいて照合を行うので、直線成分を特徴として含む画像の照合を高精度に行うことができる。
【0043】
更に、ハフ変換部162に続いて抽出部163を有するようにすれば、抽出部163が、変換画像S1621,S1622それぞれの1つの変換画像内の曲線PLのパターンの重なりの度合いが予め設定された閾値以上の領域を抽出して、つまり登録画像AIMおよび照合画像RIM上のノイズ成分である点成分を除去し、直線成分のみを抽出して、画像S1631,S1632を生成し、判別部164が抽出された領域内のパターンの一致および不一致に基づいて登録画像AIMおよび照合画像RIMの照合を行うので、さらに向上した高精度の照合処理を行うことができる。
【0044】
また、判別部164に、変換画像の中の異なる複数の位置関係それぞれについて比較処理を行い、比較処理の結果により相関値としての類似度Simを生成する類似度生成部1641を設け、生成した類似度Simに基づいて登録画像AIMおよび照合画像RIMとを照合する照合部1642とを設け、簡単な計算により相関値としての類似度を生成し、その類似度に基づいて照合処理を行うことで、高速に照合処理を行うことができる。
【0045】
本実施形態では、ステップST101において位置補正処理を行ったが、この形態に限られるものではない。例えば、位置補正処理を行う必要がない場合には、ハフ変換部15は、登録画像AIMおよび照合画像RIMそれぞれについてハフ変換処理を行ってよい。こうすることにより処理負担が軽減され、高速に照合処理を行うことができる。
【0046】
また、本実施形態では、ステップST103において、抽出部163により、曲線PLのパターンの重なりの度合いに応じて予め設定された閾値以上の領域を抽出したが、この形態に限られるものではない。
例えば、抽出部163が抽出処理を行わずに、判別部164が、画像S1621および画像S1622の内のパターンの重なりの度合い、画像S1621および画像S1622それぞれの内のパターンの一致および不一致に基づいて、登録画像AIMおよび照合画像RIMの照合を行ってもよい。こうすることにより処理負担が軽減され、高速に照合処理を行うことができる。
【0047】
図7は、本発明に係る画像照合装置の第2実施形態の位置補正部を示す図である。
本実施形態に係る画像照合装置1aでは、ハードウェア的な機能ブロックは、第1実施形態に係る画像照合装置1と略同様の構成であり、例えば図1に示すように、画像入力部11、メモリ12、FFT処理部13、座標変換部14、ハフ(Hough)変換部15、CPU16、および動作処理部17を有する。
画像照合装置1aのソフトウェア的な機能ブロックは、第1実施形態に係る画像照合装置1と略同様の構成であり、CPU16がプログラムPRGを実行することにより、位置補正部161、ハフ変換部162、抽出部163、および判別部164の機能を実現する。
同一の機能は同一の符号を付して説明を省略し、相違点のみ説明する。
【0048】
相違点としては、位置補正部161が、位置補正処理として、登録画像AIMと照合画像RIMとの回転角度補正処理または拡大率補正処理、およびフーリエ変換処理の結果の位相成分に基づいて相関値を生成し、生成した相関値に基づいて登録画像AIMと照合画像RIMの位置補正処理を行う点である。
詳細には、本実施形態に係る位置補正部161は、CPU16がプログラムPRGを実行し、FFT処理部13および座標変換部14等を制御することにより、例えば図7に示すように、倍率情報−回転情報部21、補正部22、位相限定相関部23、ズレ情報生成部24、および補正部25の機能を実現する。
【0049】
倍率情報−回転情報部21および補正部22は、登録画像AIMおよび照合画像RIMとの回転角度補正処理または拡大率補正処理を行う。
倍率情報−回転情報部21は、登録画像AIMおよび照合画像RIMに基づいて倍率情報および/または回転情報を生成し信号S21として、補正部22に出力する。
倍率情報は、登録画像AIMおよび照合画像RIMの拡大・縮小率を示す情報を含む。回転情報は、登録画像AIMおよび照合画像RIMの回転角度を示す情報を含む。
【0050】
詳細には例えば倍率情報−回転情報部21は、フーリエ・メリン変換部211、位相限定相関部212、および倍率情報−回転情報生成部213を有する。
フーリエ・メリン変換部211は、それぞれの画像情報に基いて後述するフーリエ・メリン変換を行い、それぞれの変換結果を示す信号SA211,SR211を位相限定相関部212に出力する。
【0051】
詳細には、フーリエ・メリン変換部211は、フーリエ変換部21111,21112、対数変換部21121,21122、および対数−極座標変換部21131,21132を有する。
【0052】
フーリエ変換部21111は、例えば、登録画像AIMがN×N画像の場合に、登録画像AIMをf1(m,n)とすると、数式(3)に示すようにフーリエ変換を行い、フーリエ画像データF1(u,v)を生成し、対数変換部21121に出力する。フーリエ変換部21112は、例えば、照合画像RIMがN×N画像の場合に、照合画像RIMをf2(m,n)とすると、数式(4)に示すようにフーリエ変換を行い、フーリエ画像データF2(u,v)を生成し、対数変換部21122に出力する。
【0053】
フーリエ画像データF1(u,v)は、数式(3)に示すように振幅スペクトルA(u,v)および位相スペクトルΘ(u,v)で構成され、フーリエ画像データF2(u,v)は、数式(4)に示すように振幅スペクトルB(u,v)および位相スペクトルΦ(u,v)で構成される。
【0054】
【数3】


…(3)
【0055】
【数4】


…(4)
【0056】
対数変換部21121,21122は、フーリエ変換部21111,21112で生成された、フーリエ画像データF1(u,v),F2(u,v)の振幅成分に基いて対数処理を行う。この振幅成分の対数処理は、画像データの詳細な特徴情報を含む高周波成分を強調する。
【0057】
詳細には、対数変換部21121は数式(5)に示すように振幅成分A(u,v)に基いて対数処理を行いA’(u,v)を生成し対数−極座標変換部21131に出力する。対数変換部21122は数式(6)に示すように振幅成分B(u,v)に基いて対数処理を行いB’(u,v)を生成し対数−極座標変換部21132に出力する。
【0058】
【数5】


…(5)
【0059】
【数6】


…(6)
【0060】
対数−極座標変換部21131,21132は、対数変換部21121,21122から出力された信号に基いて、対数−極座標系(例えばlog−r,Θ)に変換する。
一般的に例えば点(x,y)に対して数式(7),(8)に示すように定義すると、r=eμの場合にはμ=log(r)であり、任意の点(x,y)に対応する一義的な(log(r),Θ)が存在する。この性質により対数−極座標変換部21131,21132は座標変換を行う。
【0061】
【数7】


…(7)
【0062】
【数8】


…(8)
【0063】
詳細には、対数−極座標変換部21131,21132は、数式(9)に示す集合(ri 、θj )、および数式(10)に示す関数f(ri 、θj )を定義する。
【0064】
【数9】


…(9)
【0065】
【数10】


…(10)
【0066】
対数−極座標変換部21131,21132は、数式(9),(10)で定義した集合(ri 、θj ),関数f(ri 、θj )を用いて、画像データA’(u,v),B’(u,v)それぞれを、数式(11),(12)に示すように対数−極座標変換を行い、pA(ri 、θj )、pB(ri 、θj )を生成し、それぞれ信号SA211、信号SR211として、位相限定相関部212に出力する。
【0067】
【数11】


…(11)
【0068】
【数12】


…(12)
【0069】
図8は、図7に示したフーリエ・メリン変換部211の動作を説明するための図である。
画像f1(m,n),画像f2(m,n)は、例えばx,y軸に対して異なる所定角度を持った矩形領域W1,W2を含む。
フーリエ・メリン変換部211において、例えば図8に示すように、画像f1(m,n)が、フーリエ変換部21111によりフーリエ変換されて、フーリエ画像データF1(u,v)が生成され、対数変換部21121および対数−極座標変換部21131により、画像データpA(r,θ)が生成される。
【0070】
同様に、画像f2(m,n)が、フーリエ変換部21112によりフーリエ変換されて、フーリエ画像データF2(u,v)が生成され、対数変換部21122および対数−極座標変換部21132により、画像データpB(r,θ)が生成される。
【0071】
上述したように、画像f1(m,n),f2(m,n)は、フーリエ変換および対数−極座標変換により、デカルト座標から対数−極座標系(フーリエ・メリン空間とも言う)上に変換される。
フーリエ・メリン空間では、画像のスケーリングに応じて、成分がlog−rの軸に沿って移動し、画像の回転角度に応じてθ軸に沿って移動する性質がある。
この性質を用いて、画像f1(m,n),f2(m,n)のスケーリング(倍率情報)および回転角度を、フーリエ・メリン空間上のlog−rの軸に沿った移動量、およびθ軸に沿った移動量に基いて、求めることができる。
【0072】
位相限定相関部212は、例えば位相限定フィルタ(SPOMF:Symmetric phase-only matched filter )を用いた位相限定相関法により、フーリエ・メリン変換部211から出力されたパターンデータを示す信号SA211および信号SR211に基いて、それぞれの平行移動量を求める。
位相限定相関部212は、例えば図7に示すように、フーリエ変換部2120,2121、合成部2122、位相抽出部2123、および逆フーリエ変換部2124を有する。
【0073】
フーリエ変換部2120,2121は、対数−極座標変換部21131,21132から出力された信号SA211(pA(m,n)),SR211(pB(m,n))に基いて数式(13),(14)により、フーリエ変換を行う。ここで、X(u,v),Y(u,v)は、フーリエ係数である。フーリエ係数X(u,v)は数式(13)に示すように振幅スペクトルC(u,v)および位相スペクトルθ(u,v)により構成される。フーリエ係数Y(u,v)は数式(14)に示すように振幅スペクトルD(u,v)および位相スペクトルφ(u,v)により構成される。
【0074】
【数13】


…(13)
【0075】
【数14】


…(14)
【0076】
合成部2122は、フーリエ変換部2120,2121で生成されたX(u,v),Y(u,v)を合成して相関をとる。例えば合成部2122は、X(u,v)・Y* (u,v)を生成し、位相抽出部2123に出力する。ここで、Y* (u,v)は、Y(u,v)の複素共役である。
【0077】
位相抽出部2123は、合成部2122から出力された合成信号に基いて振幅成分を除去して位相情報を抽出する。
例えば位相抽出部2123は、例えばX(u,v)Y* (u,v)に基いて、その位相成分Z(u,v)=ej (θ(u,v)-φ(u,v))を抽出する。
【0078】
位相情報の抽出は、上述した形態に限られるものではない。例えば、フーリエ変換部2120,2121の出力、数式(15),(16)に基いて位相情報を抽出した後、数式(17)に示すように位相成分のみ合成を行い、Z(u,v)を生成してもよい。
【0079】
【数15】


…(15)
【0080】
【数16】


…(16)
【0081】
【数17】


…(17)
【0082】
逆フーリエ変換部2124は、位相抽出部2123から出力された、位相情報のみの信号Z(u,v)に基いて、逆フーリエ変換処理を行い、相関強度画像を生成する。
詳細には、逆フーリエ変換部2124は、数式(18)に示すように、信号Z(u,v)に基いて逆フーリエ変換処理を行い、相関強度画像G(p,q)を生成する。
【0083】
【数18】


…(18)
【0084】
倍率情報−回転情報生成部213は、逆フーリエ変換部2124により生成された相関強度画像G(p、q)におけるピーク位置の画像中心からのずれ量が、すなわち登録画像AIMと、照合画像RIMに対してフーリエ・メリン変換を行った結果得られたパターンデータ間の平行移動量と等価であるので、このずれ量を検出することにより、登録画像AIMに対する照合画像RIMの倍率情報(拡大/縮小率)および回転角度情報を示すデータを含む補正情報S21を生成する。
【0085】
補正部22は、倍率情報−回転情報部21の倍率情報−回転情報生成部213から出力された補正情報S21に基いて、照合画像RIMの補正を行う。詳細には、補正部22は、補正情報S21に含まれる倍率情報および回転角度情報に基づいて、照合画像RIMを拡大/縮小処理し、回転処理を行い、位相限定相関部23に出力する。補正部22の補正処理により、登録画像AIMと照合画像RIM間のスケーリングおよび回転成分の差異が除去される。
このため、登録画像AIMと、補正処理された照合画像RIMとの間には、平行移動成分のみが差異として残っている。
【0086】
位相限定相関部23は、上述した登録画像AIMと、補正処理された照合画像RIMとの間の平行移動成分、およびその相関値を検出する。この検出は、例えば上述した位相限定フィルタを用いた位相限定相関法により求める。
詳細には、位相限定相関部23は、フーリエ変換部2311,2312、合成部232、位相抽出部233、および逆フーリエ変換部234を有する。
【0087】
フーリエ変換部2311,2312、合成部232、位相抽出部233、および逆フーリエ変換部234それぞれは、上述した位相限定相関部212のフーリエ変換部2120,2121、合成部2122、位相抽出部2123、および逆フーリエ変換部2124それぞれと同じ機能を有するので簡単に説明する。
【0088】
フーリエ変換部2311は、登録画像AIMをフーリエ変換し合成部232に出力する。この際、予めフーリエ変換部21111でフーリエ変換処理した登録画像AIMをメモリ12に記憶しておき、それを合成部232に出力してもよい。こうすることにより2重にフーリエ変換処理を行うことがないために、処理が軽減される。
フーリエ変換部2312は、補正部22により、補正された画像S22をフーリエ変換を行い、処理結果のフーリエ画像を合成部232に出力する。
【0089】
合成部232は、フーリエ変換部2311,2312から出力されたフーリエ画像S2311,S2312を合成し、合成画像S232を位相抽出部233に出力する。
位相抽出部233は,合成画像S232に基づいて上述したように位相情報を抽出して信号S233を逆フーリエ変換部234に出力する。
逆フーリエ変換部234は、信号S233に基づいて逆フーリエ変換を行い相関強度画像(相関画像データ)を生成し、信号S23としてずれ情報生成部24に出力する。
【0090】
上述の位相限定相関法における平行移動量の検出処理の詳細な説明を行う。
例えば、原画像f1(m,n)、原画像f2(m,n)、および画像f2(m,n)を平行移動した画像f3(m,n)=f2(m+α,n+β)それぞれをフーリエ変換処理し、数式(19)〜(21)に示すように、フーリエ係数F1(u,v),F2(u,v),F3(u,v)を生成する。
【0091】
【数19】


…(19)
【0092】
【数20】


…(20)
【0093】
【数21】


…(21)
【0094】
フーリエ係数F1(u,v)〜F3(u,v)に基づいて、数式(22)〜(24)に示すように、位相情報のみの位相画像F’1(u,v)〜F’3(u,v)を生成する。
【0095】
【数22】


…(22)
【0096】
【数23】


…(23)
【0097】
【数24】


…(24)
【0098】
位相画像F’1(u,v)と位相画像F’2(u,v)の相関の位相画像の相関Z12(u,v)を数式(25)に示すように計算し、位相画像F’1(u,v)と位相画像F’3(u,v)の相関の位相画像の相関Z13(u,v)を数式(26)に示すように計算する。
【0099】
【数25】


…(25)
【0100】
【数26】


…(26)
【0101】
相関Z12(u,v)の相関強度画像G12(r,s)、および相関Z13(u,v)の相関強度画像G13(r,s)を数式(27),(28)に示すように計算する。
【0102】
【数27】


…(27)
【0103】
【数28】


…(28)
【0104】
数式(27),(28)に示すように、画像f3(m,n)が、画像2(m,n)に比べて(+α、+β)だけずれている場合には、位相限定相関法では、相関強画像において、(−α,−β)だけずれた位置に相関強度のピークが生成される。この相関強度位置の位置により、2つの画像間の平行移動量を求めることができる。
また、上述したフーリエ・メリン空間上で、この位相限定相関法を用いることにより、フーリエ・メリン空間上の平行移動量が検出できる。この平行移動量は、上述したように実空間では倍率情報および回転角度情報に相当する。
【0105】
図9は、自己相関法と位相限定相関法の相違点を説明するための図である。
自己相関法では、例えば図9(a),(b)に示すように、画像IM1、および画像IM1と同じ画像IM2をフーリエ変換を行い自己相関関数SG1を生成すると、図9(c)に示すように、相関強度が高いピークと、その周辺部に小さい相関強度を有する相関強度分布が得られる。図9(c)において縦軸(z軸)は相関強度を示し、x軸,y軸はずれ量を示す。
【0106】
一方、上述した位相限定相関法では、図9(d),(e)に示すように、画像IM1、および画像IM1と同じ画像IM2をフーリエ変換を行い、位相情報のみを相関すると図9(f)に示すように、相関強度が高く鋭いピークのみを有する相関強度分布が得られる。このように位相限定法では自己相関法に比べて相関に関して明確な情報を得ることができる。図9(f)において、縦軸(z軸)は相関強度を示し、x軸,y軸はずれ量を示す。
【0107】
図10は、位相限定相関法において、2つの画像間で平行移動ずれがある場合の相関強度分布を説明するための図である。
例えば図10(a),(b)に示すような画像IM1、および画像IM1より数画素平行移動している画像IM3の画像の位相限定法における相関強度分布は、例えば図10(c)に示すように、相関強度が高く鋭いピークが、図9(f)に示した相関画像データの内のピーク位置から、平行移動量に応じた距離だけずれた位置に分布している。しかし、図10(c)に示すピーク強度は、図9(f)に示したピーク強度に比べて小さい。これは画像IM1,IM2に比べて、画像IM1,IM3の一致している画素領域が小さいためである。
【0108】
図11は、位相限定法において、2つの画像間で回転ずれがある場合の相関強度分布を説明するための図である。
図11(a),(b)に示すような画像IM1、および画像IM1より数度回転している画像IM4の位相限定法における相関強度分布は、例えば図11に示すように、弱い相関強度の相関強度分布が得られる。単純に位相限定相関法を用いた場合には回転ずれにより、相関を検出することが困難である。
【0109】
このため、本実施形態に係る画像照合装置1aでは、登録画像AIMおよび照合画像RIMを、フーリエ・メリン変換を行い、フーリエ・メリン空間上で、位相限定相関法を用いることにより、平行移動量を検出し、登録画像AIMおよび照合画像RIMの倍率情報、および回転角度情報を検出する。その情報に基づいて、照合画像の倍率および回転角度を補正する。
補正した照合画像RIMおよび登録画像AIM間の平行移動ずれを、位相限定相関法により検出し、同時に相関ピークに基づいて画像間の照合を行う。
【0110】
図12は、位相限定相関部23が出力する相関画像データを説明するための図である。図12(a)は登録画像AIM、図12(b)は照合画像RIM、図12(c)は相関画像データの一具体例を示す図である。図13は図12(c)に示した相関画像データを説明するための図である。
【0111】
登録画像AIM,照合画像RIMとして、例えば手書き文字や血管パターン等の2値化および線形状のパターンを含む場合、例えば図12(a),(b)に示すような登録画像AIM,照合画像RIMの場合、位相限定相関部23は信号S23として図12(c)に示すような相関画像データを出力する。
【0112】
図12(c)において、z軸方向は相関画像データにおける相関ピーク強度を示し、相関ピーク強度は登録画像AIMと照合画像RIM間の相関度に相当する。図12(c)および図13に示すように、x軸方向,y軸方向での相関ピーク位置PPは、例えば画像中心からのずれ量が登録画像AIMと照合画像RIM間の平行移動量に相当する。
【0113】
ずれ情報生成部24は、23位相限定相関部23から出力された信号S23に基づいて、画像中心からのずれ量をずれ情報として生成し、信号S24を補正部25に出力する。
【0114】
補正部25は、ずれ情報生成部24から出力されたずれ情報としての信号S24および照合画像RIMに基づいて、照合画像RIMの位置補正処理を行い、信号S1612として出力する。
【0115】
図14は、図1に示した画像照合装置1の動作を説明するためのフローチャートである。以上説明した構成の画像照合装置1aの動作を図14を参照しながら、第1実施形態との相違点のみ説明する。
【0116】
例えば画像入力部11により、登録画像AIMおよび照合画像RIMが入力され、メモリにそれぞれの画像データが格納される(ST1)。
ここで、登録画像AIMに対する照合画像RIMの倍率(拡大/縮小率)および回転角度情報を求めるために、登録画像AIMがメモリ12から読み出され(ST2)、倍率情報−回転情報部21のフーリエ変換部21111により、フーリエ変換処理され(ST3)、フーリエ画像データS21111がメモリ12に格納、記憶される(ST4)。
フーリエ画像データS21111の内の振幅成分は、対数変換部21121により対数処理が行われ、対数−極座標変換部21131により、対数−極座標系に変換される(ST5)。
【0117】
照合画像RIMが、メモリ12から読み出され(ST6)、同様にフーリエ変換部21112によりフーリエ変換処理され(ST7)、フーリエ画像データS21112の内の振幅成分が、対数変換部21122により対数処理が行われ、対数−極座標変換部21132により、対数−極座標系に変換される(ST8)。
【0118】
上述した登録画像AIMおよび照合画像RIMにフーリエ・メリン変換を行った結果得られた、画像信号(パターンデータとも言う)SA211、SR211それぞれは、位相限定相関部212のフーリエ変換部2120,2121によりフーリエ変換処理され(ST9)、合成部2122により合成され(ST10)、位相抽出部2123により合成信号から振幅成分が除去され(ST11)、残りの位相成分が、逆フーリエ変換部2124により逆フーリエ変換処理され(ST12)、得られた相関画像データのピーク位置の画像中心からのずれ量に基づいて、倍率情報−回転情報生成部213により倍率情報および回転情報を含む補正情報が生成(検出)される(ST13)。
【0119】
補正部22では、補正情報に基づいて照合画像の拡大/縮小および回転処理の補正処理が行われ、画像間のスケーリング成分、および回転成分が除去される(ST14)。残る差異は平行移動成分のみであり、位相限定相関法を用いて検出される。
【0120】
補正処理が行われた照合画像RIMは、位相限定相関部23のフーリエ変換部2312によりフーリエ変換されて(ST15)フーリエ画像データS2312が生成され、メモリ12に格納されたフーリエ変換された登録画像AIMが読み出され(ST16)、合成部232により合成データS232が生成される(ST17)。
【0121】
この際、登録画像AIMがフーリエ変換部2311によりフーリエ変換されてフーリエ画像データS2311が生成されて合成部232に入力されてもよい。
合成データS232の内の振幅情報が位相抽出部233により除去され(ST18)、残りの位相情報が逆フーリエ変換部234に入力され、相関画像データとして信号S23が出力される(ST19)。
信号23に基づいて、ずれ情報生成部24により、ピーク位置のずれ量が検出され、ずれ情報として信号S24が出力される(ST20)。
補正部25では、ずれ情報としての信号S24および照合画像RIMに基づいて、登録画像AIMと照合画像RIMの位置補正処理が行われ、信号S1612が出力される。また、登録画像AIMが信号S1611として出力される(ST21)。
【0122】
以下、第1実施形態と同様の動作であり、ハフ変換部162がハフ変換処理を行い(ST22)、抽出部163が抽出処理を行い(ST23)、類似度生成部1641が類似度Simを生成する(ST24)。
ステップST25において、照合部1642では、類似度Simが予め設定された閾値より大きいか(超えているか)否かが判別され、大きい場合には、登録画像AIMおよび照合画像RIMが一致すると判別し(ST26)、閾値より小さい場合には不一致であると判別する(ST27)。
【0123】
以上、説明したように本実施形態では、位置補正部161が位置補正処理として、登録画像AIMと照合画像RIMとの回転角度補正処理または拡大率補正処理、およびフーリエ変換処理の結果の位相成分に基づいて相関値を生成し、生成した相関値に基づいて登録画像AIMおよび照合画像RIMの位置補正処理を行うので、高精度に位置補正処理を行うことができ、その結果高精度に照合処理を行うことができる。
【0124】
図15は、本発明に係る画像照合装置の第3実施形態の機能ブロック図である。
本実施形態に係る画像照合装置1bは、ハードウェア的な機能ブロックは、第1実施形態に係る画像照合装置1と略同様の構成であり、例えば図1に示すように、画像入力部11、メモリ12、FFT処理部13、座標変換部14、ハフ(Hough)変換部15、CPU16、および動作処理部17を有する。
画像照合装置1bのソフトウェア的な機能ブロックは、第2実施形態に係る画像照合装置1と略同様の構成であり、CPU16がプログラムPRGを実行することにより、位置補正部161b、ハフ変換部162、抽出部163、および判別部164bの機能を実現する。図15では、同一の機能は同一の符号を付して説明を省略し、相違点のみ説明する。
【0125】
大きな相違点としては、位置補正部161bや判別部164b等が異なる点である。
本実施形態において、位置補正部161bは、登録画像AIMおよび照合画像RIMに基づいて相関処理により、補正位置を示す複数の相関値を生成し、生成した複数の相関値に基づいて、登録画像AIMおよび照合画像RIMの複数の位置補正処理を行う。
【0126】
図16は、図15に示した位置補正部の動作を説明するための図である。数値は、相関画像データのX−Y面上での相関画像データの相関ピーク強度を示す。
例えば2値化した線成分(線形状)のパターンを含む登録画像AIM,照合画像RIMの場合、相関の大きい画像同士でも、相関ピーク強度(相関強度とも言う)が図16(a),(b)に示すように値が小さい。
例えば、位置補正部161bのずれ情報生成部24は、信号S23に基づいて、例えば図16(a)に示すように相関強度の上位N個、本実施形態では8個の相関値および相関ピーク位置を、登録画像AIMと照合画像RIMとの2次元上の位置関係の候補として特定する。
位置補正部161bは、複数の相関値およびそれに対応する相関ピーク位置に基づいて、必要に応じて複数の位置補正処理を行う。
【0127】
ハフ変換部162は、複数の位置補正処理の結果の登録画像AIMおよび照合画像RIMそれぞれについてハフ変換処理を行い、変換画像S1621,S1622を生成する。 判別部164bは、2つの変換画像中のパターンに基づいて相関値を生成し、生成した相関値および予め設定された閾値に基づいて登録画像AIMおよび照合画像RIMの照合処理を行う。また、判別部164bは、複数の位置補正処理の結果に基づいて、異なる位置に対応する相関値の総和値および予め設定された閾値に基づいて照合処理を行う。
【0128】
詳細には、判別部164bは、類似度生成部1641、照合部1642b、および積算部1643を有する。
類似度生成部1641は、例えば上述したように信号S1631,S1632に基づいて、数式(2)により類似度Simを生成し、信号S1641として積算部1643および照合部1642bに出力する。
【0129】
積算部1643は、信号S1641に基づいて類似度Simを積算し、積算結果を信号S1643として照合部1642bに出力する。
照合部1642bは、信号S1641および信号S1643に基づいて、登録画像AIMおよび照合画像RIMの照合処理を行う。
第1実施形態に係る照合部1642との相違点は、照合部1642bは、積算部による類似度Simの積算値である信号S1643が、所定の閾値よりも大きい場合に、登録画像AIMと照合画像RIMが一致していると判別する点である。
【0130】
図17は、本発明に係る画像照合装置の第3実施形態の動作を説明するためのフローチャートである。図14,17を参照しながら、画像照合装置の動作をCPU16の動作を中心に、第1実施形態および第2実施形態との相違点のみ説明する。
【0131】
ステップST1〜ST19については、図14に示した第2実施形態と同様の動作なので説明を省略する。
ステップST19により位相限定相関部23から出力された相関画像データS23に基づいて、ずれ情報生成部24により相関画像データS23における相関ピーク強度の上位側から、例えばN個の候補Pi (P0 ,P1 ,P2 ,…,Pn-1 )が選定される(ST28)。
【0132】
ステップST29において、積算部1643は、積算のための変数を初期化する。例えば変数iを0、積算値Sを0に初期化する。
補正部25は、例えば各候補(座標)Pi およびそれに対応する相関画像データの中心からのずれ量に基づいて、登録画像AIM,照合画像RIMの位置補正処理を行う(ST30)。
【0133】
次に、上述したようにハフ変換部162により登録画像AIMおよび照合画像RIMそれぞれのハフ変換処理を行い(ST31)、抽出部163により抽出処理が行われ(ST32)、類似度生成部1641により類似度Sim(i)が算出され、積算部1643および照合部1642bに出力される(ST33)。
【0134】
照合部1642bでは、類似度Sim(i)と、予め設定した第1の閾値th1とを比較し、類似度Sim(i)が第1の閾値より小さい場合には(ST34)、積算部1643では、類似度Sim(i)を積算し、詳細には数式S=S+Sim(i)により積算し照合部1642bに出力する(ST35)。
ステップST35において、照合部1642bでは、積算値Sと予め設定した第2の閾値th2とを比較し(ST36)、積算値Sが第2の閾値th2よりも小さい場合には、変数iと値N−1とが比較され(ST27)、変数iがN−1と一致していない場合には、変数iに1加算し(ST28)、ステップST30の処理に戻る。ステップST27において、変数iがN−1と一致した場合には、画像が不一致であるとする(ST39)。
【0135】
一方、ステップST34の比較処理において、照合部1642bでは、類似度Sim(i)が第1の閾値以上の場合には、画像が一致していると判別し、また、ステップST36の比較処理において、照合部1642bでは、積算値Sが第2の閾値th2以上の場合には、画像が一致しているとし(ST40)、例えばセキュリティ分野における静脈パターン照合装置に、本実施形態に係る画像照合装置を適用した場合には、電子錠を解除するといった処理を動作処理部17が行う。
【0136】
以上、説明したように、本実施形態では、位置補正部161では、補正位置を示す複数の相関値を生成し、生成した複数の相関値に基づいて、登録画像AIMおよび照合画像RIMの複数の位置補正処理を行い、ハフ変換部162では、複数の位置補正処理の結果の登録画像AIMおよび照合画像RIMそれぞれについて画像処理としてハフ変換処理を行い、照合部1642bでは、それぞれの変換画像中のパターンに応じた相関値としての類似度の積算値に基づいて照合処理を行うので、例えば、比較対照を行う2枚の画像データ間の相関が小さい場合であっても、複数の各候補の位置関係それぞれについて算出される類似度を積算することにより、類似度単独で照合を行う場合に比べて、高精度に照合を行うことができる。
【0137】
また、類似度Simが第1の閾値th1よりも大きい場合には一致していると判別するので、高速に照合処理を行うことができる。
【0138】
図18は、本発明に係る画像照合装置の第4実施形態の機能ブロック図である。
本実施形態に係る画像照合装置1cは、ハードウェア的な機能ブロックは、上述した実施形態に係る画像照合装置と略同様の構成であり、例えば図1に示すように、画像入力部11、メモリ12、FFT処理部13、座標変換部14、ハフ(Hough)変換部15、CPU16、および動作処理部17を有する。
画像照合装置1cのソフトウェア的な機能ブロックは、上述した実施形態に係る画像照合装置と略同様の構成であり、CPU16がプログラムPRGを実行することにより、位置補正部161、ハフ変換部162、抽出部163c、および判別部164の機能を実現する。図18では、同一の機能は同一の符号を付して説明を省略し、相違点のみ説明する。
【0139】
大きな相違点としては、抽出部163cが異なる点である。
本実施形態において、抽出部163cは、第1の変換画像および第2の変換画像それぞれについて、1つの変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出し、抽出した領域の大きさに基づいて、当該抽出した領域の大きさが設定値よりも大きくなるように閾値を制御する。
また、抽出部163cは、抽出した領域の大きさに基づいて、当該抽出した領域の大きさが設定範囲内となるように閾値を制御する。
【0140】
図19は、図17に示した画像照合装置1cの動作を説明するための図である。
図19(a)は、画像IM11の一具体例を示す図である。図19(b)は、図19(a)に示した画像IM11から第1閾値以上の領域を抽出した画像を示す図である。図19(c)は、図19(a)に示した画像IM11から第1閾値よりも大きい第2閾値以上の領域を抽出した画像を示す図である。
図19(d)は、画像IM12の一具体例を示す図である。図19(e)は、図19(d)に示した画像IM12から第1閾値以上の領域を抽出した画像を示す図である。図19(f)は、図19(d)に示した画像IM11から第1閾値よりも大きい第2閾値以上の領域を抽出した画像を示す図である。
【0141】
例えば、上述した実施形態では、登録画像や照合画像にハフ変換処理を施した後、変換画像から特徴量(パラメータ)を抽出する際に、閾値が固定であるため、画像によっては充分な特徴量を抽出できない場合や、逆に冗長な特徴量まで抽出してしまう場合がある。
【0142】
詳細には、例えば図19(a)に示した画像IM11にハフ変換処理を施した後、変換画像から第1閾値よりも大きい領域を抽出すると、図19(b)に示すような画像IM111が生成され、第2閾値よりも大きい領域を抽出すると、図19(c)に示すような画像IM112が生成される。
【0143】
また、例えば図19(d)に示した画像IM12にハフ変換処理を施した後、変換画像から第1閾値よりも大きい領域を抽出すると、図19(e)に示すような画像IM121が生成され、第2閾値よりも大きい領域を抽出すると、図19(f)に示すような画像IM122が生成される。
【0144】
例えば、画像IM112および画像IM121は、照合処理に関して適正なデータ量(特徴量)を有する一具体例である。
また、画像IM111は、照合処理に関して冗長なデータ量(特徴量)を有する一具体例である。
また、画像IM122は、照合処理に関して十分なデータ量(特徴量)を抽出できていない一具体例である。
【0145】
例えば閾値を固定した場合には、画像IM111と画像IM121間、または画像IM112と画像122間で比較・照合処理を行うため、十分な判定精度を確保できない場合がある。
例えば閾値を変化させて照合処理に関して十分なデータ量(特徴量)を有する画像IM112と画像IM121間で比較・照合処理を行うと判定精度が向上する。
【0146】
このため本実施形態に係る抽出部163cは、上述したようにハフ変換処理後の変換画像に対して特徴量を抽出する際に、ある閾値を用いて抽出された特徴量が照合に適切な範囲内に収まっていない場合には、閾値を変更して再度特徴量抽出を行ない、特徴量が適切な範囲内となるように制御を行う。
【0147】
図20は、本実施形態に係る画像照合装置の動作を説明するためのフローチャートである。図20を参照しながら、画像照合装置の動作を図14に示した実施形態との相違点を中心に説明する。
【0148】
ステップST1〜ステップST22の動作については、同じ動作であるので説明を省略する。
ステップST231において、抽出部163cは、ハフ変換部162が生成した各変換画像S1612,S1622に、予め設定した閾値を超えるパラメータ部分のみを特徴量として抽出する。
【0149】
抽出部163cは、抽出した領域の大きさに基づいて、当該抽出した領域の大きさが設定範囲内となるように閾値を制御する。
詳細には、抽出部163cは、抽出した領域の大きさに基づいて、当該抽出した領域の大きさが最小値minよりも大きくなるように閾値を制御し、当該抽出した領域の大きさが、当該最小値minよりも大きい最大値maxよりも小さくなるように閾値を制御する。
【0150】
例えばステップST232において、抽出部163cは、特徴量として抽出した領域の大きさが、最小値minよりも大きいか否かを判別し、大きくないと判別した場合には閾値を所定量だけ下げて(小さくして)(ST233)、ステップSTST231の処理に戻る。
一方、ステップST232において、抽出部163cは、特徴量として抽出した領域の大きさが、最小値minよりも大きいと判別した場合にはステップST234の処理に進む。
【0151】
ステップST234において、抽出部163cは、特徴量として抽出した領域の大きさが、最大値maxよりも小さいか否かを判別し、小さくないと判別した場合には閾値を所定量だけ上げて(大きくして)(ST233)、ステップSTST231の処理に戻る。 一方、ステップST234において、抽出部163cは、特徴量として抽出した領域の大きさが、最大値maxよりも小さいと判別した場合にはステップST24の処理に進む。
【0152】
ステップST24以降の処理は図14の処理と同様なので説明を省略する。
【0153】
以上、説明したように、抽出部163cは、抽出した領域の大きさに基づいて、当該抽出した領域の大きさが設定範囲内となるように閾値を制御するので、照合処理に係る冗長なデータを低減することができ、さらに照合処理に最適なデータを抽出することができる。
また、照合処理に適正な画像を得ることができ、照合部164はより高精度に照合処理を行うことができる。
また、例えば撮像系が大幅に変化し、入力画像の情報量が極端に変化するような場合であっても、比較照合処理については何ら変更を加えることなく対処することができる。
【0154】
図21は、本発明に係る画像照合装置の第5実施形態の動作を説明するためのフローチャートである。
本実施形態に係る画像照合処理装置は、ハードウェア的な機能ブロックは、上述した実施形態に係る画像照合装置と略同様の構成であり、例えば図1に示すように、画像入力部11、メモリ12、FFT処理部13、座標変換部14、ハフ(Hough)変換部15、CPU16、および動作処理部17を有する。
【0155】
例えば照合画像や登録画像の特徴量が著しく少ないような場合には、比較照合に充分な特徴量を得られず、充分な判定精度が得られない場合がある。
本実施形態に係る画像照合装置では、1つの変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出し、抽出した領域の大きさが設定値以下の場合には当該画像を破棄する。
【0156】
以下、図21を参照しながら、上述した実施形態との相違点を中心に、例えば血管パターンを用いる個人認証装置等の用途において、ある画像データを照合用の登録画像として保存する場合を説明する。
【0157】
ステップST101において、CPU16は、画像入力部11により、登録画像AIMとして保存するための画像データを取り込み、メモリ12に画像データを格納する。CPU16は、ハフ変換部15に、取り込んだ画像データにハフ変換処理を施させる(ST102)。
【0158】
ステップST103において、CPU16は、予め設定された閾値を超える領域を特徴量として抽出する(ST103)。
ステップST104において、CPU16は、抽出された領域の大きさが照合処理に最低限必要な最小値minよりも大きいか否かを判別し、大きい場合には登録画像AIMとして充分な情報量を有しているものとしてメモリ12に保存する(ST105)。
【0159】
一方、ステップST104において、最小値minよりも大きくない場合には、入力された画像を破棄し(ST106)、登録画像AIMとしての情報量が不足している旨を表示する等して、画像データの再入力を要求する(ST107)。以下、上述した照合処理を行う。
【0160】
以上、説明したように本実施形態では登録時に、登録変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出し、その抽出した領域の大きさが、設定値(最小値min)以下の場合には当該画像を破棄するので、照合処理に係る特徴量を比較的多く有する登録画像を確実に得ることができる。また、高精度に照合処理を行うことができる。
【0161】
図22は、本発明に係る画像照合装置の第6実施形態に係る画像照合装置の動作を説明するためのフローチャートである。
次に、予めメモリ12に記憶した登録画像AIMに対して、外部から入力した照合画像RIMを照合する場合を、図22を参照しながら説明する。
【0162】
ステップST201において、CPU16は、画像入力部11により、照合画像RIMとして画像データを取り込み、メモリ12に画像データを格納する。CPU16は、ハフ変換部15に、取り込んだ照合画像RIMにハフ変換処理を施させる(ST202)。
【0163】
ステップST203において、CPU16は、予め設定された閾値を超える領域を特徴量として抽出する(ST203)。
ステップST204において、CPU16は、抽出された領域の大きさが照合処理に最低限必要な最小値minよりも大きいか否かを判別し、大きくない場合には照合画像RIMとして充分な情報量を有していないとして画像を破棄し(ST205)、情報量が不足している旨を表示する等を行い、画像データの再入力を促し(ST206)、照合処理を終了する。
【0164】
一方、ステップST204の判別において、最小値minよりも大きい場合には、照合画像RIMとして充分な情報量を有しているものと判断し、後続のステップST2〜ST27の照合処理に進む。
【0165】
以下、ステップST2〜ステップST27の動作は、図14に示した動作と同様なので説明を省略する。
【0166】
以上説明したように、本実施形態では照合時に、照合変換画像内の曲線のパターンの重なりの度合いが予め設定された閾値以上の領域を抽出し、その抽出した領域の大きさが、設定値(最小値min)以下の場合には当該画像を破棄するので、照合処理に係る特徴量を比較的多く有する照合画像を確実に得ることができる。また、高精度に照合処理を行うことができる。
【0167】
なお、本発明は本実施の形態に限られるものではなく、任意好適な種々の改変が可能である。
例えば、本実施形態では、類似度生成部は、数式(2)により類似度を算出したが、この形態に限られるものではない。例えば類似度生成部は直線成分(線形状のパターン)の相関に適した類似度を算出する処理を行えればよい。
【0168】
本実施形態では、フーリエ変換処理、対数変換処理、および対数−局座標変換を行い、フーリエ・メリン空間上での平行移動量を算出することにより、倍率情報および回転角度情報を生成したが、この形態に限られるものではない。例えば、倍率情報および回転角度情報が検出可能な空間に、座標変換を行ってもよい。
【0169】
また、第1の閾値th1と、第2の閾値th2を固定値にしたが、この形態に限られるものではない。例えば閾値それぞれを、画像パターンにより可変にすることで、より高精度の照合を行うことができる。
【図面の簡単な説明】
【0170】
【図1】図1は、本発明に係る画像照合装置の第1実施形態のハードウェア的な機能ブロック図である。
【図2】図2は、図1に示した画像照合装置のソフトウェア的な機能ブロック図である。
【図3】図3は、図2に示したハフ変換部の動作を説明するための図である。
【図4】図4は、図2に示したハフ変換部の動作を説明するための図である。
【図5】図5は、図2に示した類似度生成部の動作を説明するための図である。
【図6】図6は、図1に示した本実施形態に係る画像照合装置の動作を説明するためのフローチャートである。
【図7】図7は、本発明に係る画像照合装置の第2実施形態の位置補正部を示す図である。
【図8】図8は、図7に示したフーリエ・メリン変換部211の動作を説明するための図である。
【図9】図9は、自己相関法と位相限定相関法の相違点を説明するための図である。
【図10】図10は、位相限定相関法において、2つの画像間で平行移動ずれがある場合の相関強度分布を説明するための図である。
【図11】図11は、位相限定法において、2つの画像間で回転ずれがある場合の相関強度分布を説明するための図である。
【図12】図12は、位相限定相関部23が出力する相関画像データを説明するための図である。
【図13】図13は図12(c)に示した相関画像データを説明するための図である。
【図14】図14は、図1に示した画像照合装置1の動作を説明するためのフローチャートである。
【図15】図15は、本発明に係る画像照合装置の第3実施形態の機能ブロック図である。
【図16】図16は、図15に示した位置補正部の動作を説明するための図である。
【図17】図17は、本発明に係る画像照合装置の第3実施形態の動作を説明するためのフローチャートである。
【図18】図18は、本発明に係る画像照合装置の第4実施形態の機能ブロック図である。
【図19】図19は、図17に示した画像照合装置1cの動作を説明するための図である。(a)は、画像IM11の一具体例を示す図である。(b)は、(a)に示した画像IM11から第1閾値以上の領域を抽出した画像を示す図である。(c)は、(a)に示した画像IM11から第1閾値よりも大きい第2閾値以上の領域を抽出した画像を示す図である。(d)は、画像IM12の一具体例を示す図である。(e)は、(d)に示した画像IM12から第1閾値以上の領域を抽出した画像を示す図である。(f)は、(d)に示した画像IM11から第1閾値よりも大きい第2閾値以上の領域を抽出した画像を示す図である。
【図20】図20は、本実施形態に係る画像照合装置の動作を説明するためのフローチャートである。
【図21】図21は、本発明に係る画像照合装置の第5実施形態の動作を説明するためのフローチャートである。
【図22】図22は、本発明に係る画像照合装置の第6実施形態に係る画像照合装置の動作を説明するためのフローチャートである。
【符号の説明】
【0171】
1,1a,1b…画像照合装置、11…画像入力部、12…メモリ、13…FFT処理部、14…座標変換部、15…ハフ変換部、16…CPU、17…動作処理部、21…倍率情報−回転情報部、22…補正部、23…平行移動部、24…ずれ情報生成部、161,161b…位置補正部、162…ハフ変換部、163…抽出部、164,164b…判別部、211…フーリエ・メリン変換部、212…位相限定相関部、213…倍率情報−回転情報生成部、232…合成部、233…位相抽出部、234…逆フーリエ変換部、241…候補特定部、242…類似度生成部、243…積算部、244…照合部、1641…類似度生成部、1642,1642b…照合部、1643…積算部、2120,2121…フーリエ変換部、2122…合成部、2123…位相抽出部、2124…逆フーリエ変換部、2311,2312…フーリエ変換部、2421…類似度補正部、21111,21112…フーリエ変換部、21121,21122…対数変換部、21131,21132…対数−極座標変換部。

【特許請求の範囲】
【請求項1】
血管画像を取得する血管画像取得手段と、
この血管画像取得手段で取得した上記血管画像を、複数の直線成分について各直線成分の多少を各々示す直線成分情報に変換する直線成分変換手段と、
この直線成分変換手段で得られた各直線成分を、予め記憶された血管情報と照合することにより、上記血管画像取得手段で取得した上記血管画像が、上記血管情報と対応することを認証する認証手段と
を備える、生体認証装置。
【請求項2】
上記直線成分変換手段は、ハフ変換を実行する、
請求項1に記載の生体認証装置。
【請求項3】
上記直線成分変換手段の変換の結果得られる上記直線成分情報から、抽出閾値以上に多い直線成分を抽出する直線成分抽出手段とを備え、
上記認証手段は、この直線成分抽出手段で抽出された複数の直線成分の相対的位置関係に基づき、予め記憶された血管情報との照合を行う、
請求項1に記載の生体認証装置。
【請求項4】
血管画像を取得する血管画像取得手段と、
この血管画像取得手段で取得した上記血管画像を、複数の直線成分について各直線成分の多少を各々示す直線成分情報に変換する直線成分変換手段と、
この直線成分変換手段で得られた各直線成分を、認証処理に用いる情報として記憶部に記憶する記憶手段と
を備える、血管情報記憶装置。
【請求項5】
上記直線成分変換手段は、ハフ変換を実行する、
請求項4に記載の血管情報記憶装置。
【請求項6】
上記直線成分情報から、抽出閾値以上に多い直線成分を抽出する直線成分抽出手段とを備え、
この直線成分抽出手段で抽出された複数の直線成分の相対的位置関係に基づき、上記認証手段が認証を実行する、
請求項1に記載の生体認証装置。
【請求項7】
血管画像を取得する血管画像取得工程と、
この血管画像取得工程において取得した上記血管画像を、複数の直線成分について各直線成分の多少を各々示す直線成分情報に変換する直線成分変換工程と、
この直線成分変換手段で得られた各直線成分を、予め記憶された血管情報と照合することにより、上記血管画像取得工程において取得した上記血管画像が上記血管情報と対応することを認証する認証工程と
を備える、生体認証方法。
【請求項8】
上記直線成分変換工程において、ハフ変換を実行する、
請求項7に記載の生体認証方法。
【請求項9】
上記直線成分変換工程における変換の結果得られる上記直線成分情報から、抽出閾値以上に多い直線成分を抽出する直線成分抽出工程とを備え、
上記認証工程において、この直線成分抽出工程において抽出された複数の直線成分の相対的位置関係に基づき、予め記憶された血管情報との照合を行う、
請求項7に記載の生体認証方法。
【請求項10】
血管画像を取得する血管画像取得工程と、
この血管画像取得工程において取得した上記血管画像を、複数の直線成分について各直線成分の多少を各々示す直線成分情報に変換する直線成分変換工程と、
この直線成分変換工程において得られた各直線成分を、認証処理に用いる情報として記憶部に記憶する記憶工程と
を備える、血管情報記憶方法。
【請求項11】
上記直線成分変換手段は、ハフ変換を実行する、
請求項10に記載の血管情報記憶方法。
【請求項12】
上記直線成分情報から、抽出閾値以上に多い直線成分を抽出する直線成分抽出工程とを
備え、
この直線成分抽出工程において抽出された複数の直線成分の相対的位置関係に基づき、上記認証工程において認証を実行する、
請求項7に記載の生体認証方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate


【公開番号】特開2008−269629(P2008−269629A)
【公開日】平成20年11月6日(2008.11.6)
【国際特許分類】
【出願番号】特願2008−131378(P2008−131378)
【出願日】平成20年5月19日(2008.5.19)
【分割の表示】特願2004−180832(P2004−180832)の分割
【原出願日】平成16年6月18日(2004.6.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】