指紋照合装置及び指紋照合プログラム
【課題】指紋の全体画像を保持することなく指紋の照合を行うことができる指紋照合装置を提供する。
【解決手段】指紋入力装置７から入力された指紋の複数の部分画像を再構成処理部１０６において部分画像の重なっている部分を補正して再構成を行い、指紋特徴抽出部１１０において特徴抽出を行って、入力特徴量メモリに格納する。照合処理部において入力特徴量メモリに格納された特徴量と、登録特徴量メモリに格納された特徴量の間でＤＰ比較（動的計画法）を行い得られた距離値をあらかじめ設定してある閾値と比較し、距離値が閾値より小さい場合には一致と判定し、距離値が閾値より大きい場合には不一致と判定する。
【解決手段】指紋入力装置７から入力された指紋の複数の部分画像を再構成処理部１０６において部分画像の重なっている部分を補正して再構成を行い、指紋特徴抽出部１１０において特徴抽出を行って、入力特徴量メモリに格納する。照合処理部において入力特徴量メモリに格納された特徴量と、登録特徴量メモリに格納された特徴量の間でＤＰ比較（動的計画法）を行い得られた距離値をあらかじめ設定してある閾値と比較し、距離値が閾値より小さい場合には一致と判定し、距離値が閾値より大きい場合には不一致と判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本人確認のための指紋照合装置及びコンピュータ上で指紋照合を行うためのプログラムに関するものである。
【背景技術】
【０００２】
近年、情報の電子化やネットワーク化の急速な進行により、情報へのアクセス制御を行うためのセキュリティ技術への関心が高まっており、このようなセキュリティ技術の１つとして指紋照合による本人認証を行うための製品が種々登場してきている。
【０００３】
指紋による本人認証のためには、まず指紋画像を指紋センサにより入力し、その後、登録されている指紋画像と入力された指紋画像を照合する必要がある。指紋照合の方法としては、従来、代表的なものとして、特徴点抽出照合法（マニューシャ法）と画像マッチング法（パタンマッチ法）が知られている。特徴点抽出照合法は、指紋の盛り上がった部分（隆線）の端点や分岐点の構造を特徴点（マニューシャ）として捉え、これを比較して指紋照合を行う手法である。特徴点の抽出は、入力された指紋画像からノイズを除去し、コントラスト処理や細線化等の画像処理を行った後に行う。入力時の指の状態や画像処理による偽の特徴点抽出を避けるために様々なルールを導入するため、複雑なアルゴリズムとなり、照合処理時間にばらつきが出ることがある。画像マッチング法は、指紋画像そのものの類似度を直接比較する手法である。登録された指紋画像と入力された指紋画像をずらしながら類似度を計測するので、比較的高速に処理が可能である。但し、指紋画像そのものを保持するため、指紋画像の電子的複製等、セキュリティの問題をクリアしておく必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、これらの従来の方法では、指紋の全体画像について特徴点を抽出したり、全体画像そのものを照合に用いたりするため、全体画像を保持するための多量のメモリと大きな演算量が必要とされる。このため、機器の小型化や低価格化の障害となるという問題点があった。
【０００５】
本発明は、上述の問題点を解決するためになされたものであり、指紋の部分画像から特徴量を抽出することにより、指紋の全体画像を保持することなく指紋の照合を行うことができる指紋照合装置及び指紋照合プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の請求項１に記載の指紋照合装置は、入力された指紋の画像に基づいて指紋を照合する指紋照合装置において、指紋の部分画像を逐次入力する指紋入力手段と、前記指紋入力手段により逐次入力された指紋の部分画像である入力部分画像の複数個を比較処理して重複部分を取り除き、再構成部分画像を出力する画像処理手段と、前記画像処理手段から出力された再構成部分画像のそれぞれに対して特徴量を演算して抽出する特徴量抽出手段と、登録指紋の特徴量を記憶した登録特徴量記憶手段と、前記特徴量抽出手段により抽出された前記再構成部分画像の特徴量と、前記登録特徴量記憶手段に記憶されている前記登録指紋の特徴量とを比較照合することにより、指紋の同一性を識別する識別手段とを備えたことを特徴とする。
【０００７】
また、本発明の請求項２に記載の指紋照合装置は、請求項１に記載の発明の構成に加え、前記指紋入力手段による前記入力部分画像の入力処理、前記画像処理手段による前記再構成部分画像の出力処理、及び前記特徴量抽出手段による特徴量の抽出処理のうち少なくとも２つの処理が並列に実行されることを特徴とする。
【０００８】
また、本発明の請求項３に記載の指紋照合装置は、請求項２に記載の発明の構成に加え、前記指紋入力手段による前記入力部分画像の入力処理と前記特徴量抽出手段による特徴量の抽出処理とが並列に実行されることを特徴とする。
【０００９】
また、本発明の請求項４に記載の指紋照合装置は、請求項１乃至３のいずれかに記載の発明の構成に加え、前記特徴量抽出手段が、前記再構成部分画像について周波数解析演算処理を行い、当該再構成部分画像の周波数スペクトル情報を前記特徴量として抽出することを特徴とする。
【００１０】
また、本発明の請求項５に記載の指紋照合装置は、請求項４に記載の発明の構成に加え、前記特徴量抽出手段が演算する周波数解析演算処理として、線形予測（ＬＰＣ）演算処理、群遅延スペクトル（ＧＤＳ）演算処理、高速フーリエ変換（ＦＦＴ）演算処理のうち少なくともひとつを用いることを特徴とする。
【００１１】
また、本発明の請求項６に記載の指紋照合プログラムは、請求項１乃至５に記載の発明の各種処理手段として機能する。
【発明の効果】
【００１２】
本発明の指紋照合装置では、部分画像から抽出した特徴量を指紋の識別に使用するので、指紋全体の画像を保持する必要がなく、そのための容量の大きなメモリが不要であり、かつ、指紋画像全体の電子的複製の恐れがない。また、部分画像を小さく定めることによって、特徴量を得る計算量を軽減することができ、特徴量抽出処理と識別処理を独立させれば、処理を並列に行うことで高速化が可能である。
【００１３】
また、本発明の指紋照合装置では、逐次入力される複数の部分画像を組み合わせ、その重複部分を取り除いて再構成するので、重複して入力される部分について特徴量の抽出を重複してしまうことがなく、特徴量抽出にかかる負荷を軽減することができる。
【００１４】
また、本発明の指紋照合装置では、記憶されている部分画像の特徴量と入力された部分画像の特徴量を比較照合すれば指紋の同一性を識別できるので、記憶手段に指紋全体の特徴量を保持する必要がなく、記憶手段の容量を低く押さえることが可能である。
【００１５】
また、本発明の本発明の指紋照合装置では、指紋から特徴点（マニューシャ）を抽出するのではなく、隆線の情報そのものを利用して周波数解析演算処理により特徴量とする。従って、画像の前処理時間が短く、処理を高速化できる。さらに、画像入力時の指の状態による特徴点抽出の難易のばらつきという問題がないので、処理時間を一定にすることができる。
【００１６】
また、本発明の指紋照合装置では、前記特徴量抽出手段が演算する周波数解析演算処理として、線形予測（ＬＰＣ）演算処理、群遅延スペクトル（ＧＤＳ）演算処理、高速フーリエ変換（ＦＦＴ）演算処理のうち少なくともひとつを用いるようにしてもよい。この構成の指紋照合装置では、特徴量抽出のために音声分析等で周知の周波数解析演算処理を用いることにより、簡易・高速に特徴量を抽出して指紋照合処理を行うことができる。
【００１７】
また、本発明の指紋照合装置では、前記指紋入力手段は、１以上の画像ラインよりなる画像ライン画像を指紋の部分画像として逐次入力し、前記画像処理手段は、前記指紋入力手段により連続して入力される２つの指紋の部分画像について重複する画像ラインを検出し、それを一方の指紋の部分画像から取り除くようにしてもよい。この構成の指紋照合装置では、画像処理手段が、入力されてくる部分画像を２つずつ順次処理して再構成していくので、入力部分画像を保持するメモリ容量が最低限で済み、さらに、入力と画像処理の並列処理による高速化が可能である。
【００１８】
また、本発明の指紋照合装置では、前記画像処理手段は、重複部分を取り除いた指紋の部分画像について、ラスタ方向或いはライン方向の少なくともいずれかに関して画像縮小処理をさらに適用してもよい。この構成の指紋照合装置では、例えば特徴量抽出にＬＰＣ計算処理を用いる場合、ラスタ方向に画像縮小処理を行えば、計算が必要となる次数が減少するため、特徴量を格納するメモリの量を削減することができる。また、ライン方向に画像縮小処理を行えば、特徴量を計算する回数が減少するため、特徴量を格納するメモリの量を削減することができる。
【００１９】
また、本発明の指紋照合装置では、前記識別手段は、ＤＰ照合法（動的計画法）を用いるようにしてもよい。この構成の指紋照合装置では、移動量の検出精度が粗く、登録時と照合時の特徴量において全体の長さが異なる状態となっても、照合を行う指紋間の長さの差を吸収した指紋照合を行うことができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を指紋照合装置を搭載した電子錠に適用した実施の形態について、図面に基づいて説明する。図１に示すように、本実施形態の電子錠１００は、指紋入力装置７と、スイッチ８（指紋登録スイッチ８ａと指紋消去スイッチ８ｂ）と、液晶表示器１０とを備え、ドア等に取り付けて、電磁ソレノイド９（図２参照）で動くプランジャ９ａにより錠をかけるものである。また、図２に示すように、本実施形態の電子錠１００は、ＣＰＵ１を中心にした電子回路で構成され、ＲＡＭ２と、ＲＯＭ３と、ＥＥＰ−ＲＯＭ４と、指紋入力装置７，スイッチ８，電磁ソレノイド９をＣＰＵ１と結ぶ入出力（Ｉ／Ｏ）ポート５と、液晶表示器１０を制御する液晶表示コントローラ（ＬＣＤＣ）６と、図示外の電池等の電源装置から構成されている。
【００２１】
ＲＡＭ２には、図４に示すように、指紋入力装置７から入力された指紋のスライス画像が格納される部分画像バッファメモリ２０と、入力された指紋の特徴量を格納する入力特徴量メモリ２１と、関節部分を判定するための演算結果を格納する関節判定保持メモリ２２と、各種のデータを一時的に記憶するワークエリア２３とが設けられている。また、ＲＯＭ３には、指紋照合プログラムのほか、各種プログラムが格納され、当該プログラムをＣＰＵ１が実行することにより、電子錠１００の制御が行われるようになっている。
【００２２】
また、図５に示すように、ＥＥＰ−ＲＯＭ４には、登録された指紋の特徴量を格納する登録特徴量メモリ４０が設けられている。ＥＥＰ−ＲＯＭ４は、不揮発性メモリであるので、電源の供給が絶たれても記憶内容を保持することができる。尚、ＥＥＰ−ＲＯＭ４は、通常のＥＥＰ−ＲＯＭ以外に、フラッシュメモリ等の不揮発性のメモリを用いてもよい。
【００２３】
また、電子錠１００に内蔵された指紋照合装置は、詳細には、図３に示すように、指紋入力装置７と、画像処理部１０２と、指紋特徴抽出部１１０と、照合処理部１１４と、判定部１１５と、判定結果出力部１１６と、ＲＡＭ２内に設けられた部分画像バッファメモリ２０と、入力特徴量メモリ２１と、関節判定保持メモリ２２と、ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０とから、構成されている。
【００２４】
指紋入力装置７は、センサ７ａとＡ／Ｄコンバータ（図示せず）で構成され、センサ７ａ上を移動する指の温度変化を、入力部分画像の形で出力し、ＲＡＭ２内の部分画像バッファメモリ２０に格納する。本実施の形態では、入力部分画像は横２８０ピクセル×縦８ピクセルのライン形状で構成され、一秒間に２００回以上出力される。入力部分画像の一例を図６に示す。
【００２５】
画像処理部１０２は、入力部分画像を特徴量抽出できる状態に前処理を行うものであり、開始判定部１０３、移動量検出部１０４、重ね合せ処理部１０５、再構成処理部１０６、関節判定前処理部１０７、関節判定保持メモリ２２、及び画像縮小処理部１０９で構成されている。
【００２６】
開始判定部１０３は、指紋入力装置７から得られる時間的に連続な二枚の入力部分画像から中心部（本実施の形態では横６４ピクセル×縦４ピクセル）を取り出し、同一箇所の画素値の差を絶対値で合計する。この値が閾値を超えた回数が一定以上に達した場合、指紋入力装置７上で指が移動していると判断し、関節判定保持メモリ２２、入力特徴量メモリ２１への記録を開始する。また、同様に閾値を下回る回数が一定以上に達した場合、入力装置上から指が離されたと判断し、各メモリへの記録を停止する。その後、照合処理部１１４を利用して照合を行う。
【００２７】
移動量検出部１０４は、指紋入力装置７から得られる時間的に連続な二枚の入力部分画像を利用して、片方の入力部分画像の中心部（本実施の形態では横６４ピクセル×縦８ピクセル）を取り出す。次に、想定される移動量の分だけずらした場所をもう一方の入力部分画像から同一サイズで取り出す。これらの取り出した部分画像中で、同一箇所の画素値の差を絶対値で合計し、これを画像の差とする。これを想定される移動量について繰り返し行い、画像の差が最も小さくなる移動量をセンサ７ａ上で移動する指の移動量の検出結果として出力する。
【００２８】
重ね合せ処理部１０５は、指紋入力装置７から得られる入力部分画像を、移動量検出部１０４から得られる移動量だけずらした位置のバッファメモリに対して、メモリ中の値と入力画像の値を加算して同一箇所に格納することで、画像を重ね合わせる。この時に、重ね合わせた回数もバッファメモリに記録する。
【００２９】
再構成処理部１０６は、移動量検出部１０４から得られた移動量を元に、指紋入力装置７から得られる画像を再構成し、部分画像（本実施の形態では横２８０ピクセル×縦１ピクセル）を単位として出力する。図７に再構成処理部１０６で画像全体を得た場合の例を示す。図８に再構成処理部１０６から出力される連続した部分画像を９つ並べた例を示す。
【００３０】
また、関節判定前処理部１０７は、センサ７ａ上を移動する指の関節部分を判定するために必要な演算の一部を行い、演算結果を出力して関節判定保持メモリ２２に保持する。まず、入力された画像にsobel変換を行って指紋の特徴を強調する。次に、gauss変換を行ってノイズ状の画素を減らす。次に、１ライン（本実施例では横２５６ピクセル×縦１ピクセル）を取り出し、画素値が閾値を超えている画素数を計測し、そのラインの処理結果とする。この数値は、センサ７ａ上で指が接触している面積にほぼ比例している。この数値が小さくなっている部分を関節として判定し、有効な情報を持っている部分のみを照合の際に利用するためのデータとして利用する。判定部１１５は、関節判定保持メモリ２２に格納された値を用いて、指がセンサ７ａから離された後で関節部分の位置を判定し、照合の終点を決定する。
【００３１】
画像縮小処理部１０９は、再構成処理部１０６から出力される画像を横方向１／２に、縦方向１／３に縮小する。横方向の縮小により、後述するＬＰＣ分析を用いた特徴抽出において必要となる次数の削減が可能となる。また、縦方向の縮小により、照合結果を損なうことなく入力特徴量メモリ２１の容量の削減が可能となる。
【００３２】
指紋特徴抽出部１１０は、入力された縮小後の１ライン（本実施の形態では横１２８ピクセル×縦１ピクセル）に対して特徴抽出を行い、特徴データを出力する。本実施の形態では、ラインの画素値を信号変化としてＬＰＣ分析を行う。
【００３３】
入力特徴量メモリ２１は、指紋特徴抽出部１１０から出力された特徴データを連続してメモリに記録する。また、指紋の照合処理を行う場合は、照合処理部１１４からの要求に従って特徴データを出力する。ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０は、指紋の登録を指示された場合、入力特徴量メモリ２１の内容を記憶して保持する。また、指紋の照合処理を行う場合は、照合処理部１１４からの要求に従って特徴データを出力する。
【００３４】
照合処理部１１４は、入力特徴量メモリ２１とＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０に格納された特徴データの間でＤＰ照合を行い、最小となる距離を特徴間の距離として代表させ、類似度として出力する。判定部１１５は、照合処理部１１４から出力された類似度をあらかじめ設定した閾値と比較して判定を行い、その結果を判定結果出力部１１６に出力する。判定結果出力部１１６は、判定部１１５から出力される判定結果を入力し、装置外部に出力する。
【００３５】
次に、本実施形態の電子錠１００の動作について、図９乃至図１３のフローチャートに基づいて説明する。フローチャートの各ステップについては、以下、Ｓと略す。本実施形態の電子錠１００は、指紋登録スイッチ８ａを押してから指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすことにより指紋が登録され、プランジャ９ａが出てロックされる。指紋登録スイッチ８ａを押さずに指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすと、指紋照合がなされ、登録されている指紋と同一であればプランジャ９ａが引っ込み、電子錠１００が解錠される。また、指紋消去スイッチ８ｂを押してから指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすことにより指紋を入力すると、液晶表示器１０で確認表示の後、再度指紋消去スイッチ８ｂを押すことにより、登録されている同一指紋を消去する。
【００３６】
図９は電子錠１００の主制御の処理の全体を示したフローチャートである。まず、電源を投入すると、リセットされ、ＲＡＭ２内のメモリ等が初期化される（Ｓ４０）。スイッチ８のいずれかが押されていればこれを検出し（Ｓ４１）、指紋登録スイッチ８ａが押されていれば（Ｓ４２：ＹＥＳ）、指紋登録処理を行う（Ｓ４３）。指紋登録スイッチ８ａでなく（Ｓ４２：ＮＯ）、指紋消去スイッチ８ｂが押されていれば（Ｓ４４：ＹＥＳ）、指紋消去処理を行う（Ｓ４５）。指紋登録処理、指紋消去処理の詳細については後述する。スイッチの入力がない場合は（Ｓ４４：ＮＯ）、指紋の入力を検出する（Ｓ４６）。指紋入力検出処理の詳細は後述する。指紋の入力がなければ（Ｓ４７：ＮＯ）、Ｓ４１に戻ってスイッチの入力検出を行う。指紋が入力され（Ｓ４７：ＹＥＳ）、入力された指紋が登録されている指紋と一致すると判定された場合には（Ｓ４８：ＹＥＳ）、プランジャ９ａを引いて解錠する（Ｓ４９）。
【００３７】
図１０は、図９のＳ４３で行う指紋登録処理の詳細を示したフローチャートである。指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすと、センサ７ａから図６に示すような部分画像が入力される（Ｓ５０）。センサ７ａは一定時間刻み（本実施形態の場合、１秒間に２００回以上）で入力を検出するので、指を動かす速さによって、１または複数の部分画像が入力されることとなる。入力された部分画像は、ＲＡＭ２の部分画像バッファメモリ２０に格納される（Ｓ５１）。
【００３８】
１つの部分画像しか入力が検出されず、部分画像バッファメモリ２０に１つの部分画像しか格納されていない場合には、エラーとなり、処理を終了してメインルーチンに戻る（Ｓ５２：ＮＯ）。複数の部分画像が部分画像バッファメモリ２０に格納されている場合は（Ｓ５２：ＹＥＳ）、移動量検出部１０４において移動量を検出し、検出された移動量に基づいて、再構成処理部１０６において部分画像の重なっている部分を補正して再構成を行う（Ｓ５３）。再構成は、先に入力された部分画像（旧フレーム）から後から入力された部分画像（現フレーム）と重なっていない移動量分を追い出してＲＡＭ２のワークエリア２３に格納し、次いで、旧フレームと現フレームの重なっている部分を重ね合わせ処理部で画像を重ね合わせてＲＡＭ２のワークエリア２３に格納し、さらに、現フレームの旧フレームと重なっていない部分をＲＡＭ２のワークエリア２３に格納して行う。そして、再構成された部分画像について指紋特徴抽出部１１０において特徴抽出を行い（Ｓ５４）、入力特徴量メモリ２１に格納し、さらにそれをＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０に格納する（Ｓ５５）。特徴抽出処理の詳細については後述する。
【００３９】
図１１は、図９のＳ４５で行う指紋消去処理の詳細を示したフローチャートである。指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすと、センサから図６に示すような部分画像が入力される（Ｓ６０）。センサは一定時間刻み（本実施形態の場合、１秒間に２００回以上）で入力を検出するので、指を動かす速さによって、１または複数の部分画像が入力されることとなる。入力された部分画像は、部分画像バッファメモリ２０に格納される（Ｓ６１）。
【００４０】
１の部分画像しか入力が検出されず、部分画像バッファメモリ２０に１つの部分画像しか格納されていない場合には、エラーとなり、処理を終了してメインルーチンに戻る（Ｓ６２：ＮＯ）。複数の部分画像が部分画像バッファメモリ２０に格納されている場合は（Ｓ６２：ＹＥＳ）、移動量検出部１０４において移動量を検出し、検出された移動量に基づいて、再構成処理部１０６において部分画像の重なっている部分を補正して再構成を行う（Ｓ６３）。
【００４１】
再構成は、先に入力された部分画像（旧フレーム）から後から入力された部分画像（現フレーム）と重なっていない移動量分を追い出してＲＡＭ２のワークエリア２３に格納し、次いで、旧フレームと現フレームの重なっている部分を重ね合わせ処理部で画像を重ね合わせてＲＡＭ２のワークエリア２３に格納し、さらに、現フレームの旧フレームと重なっていない部分をＲＡＭ２のワークエリア２３に格納して行う。
【００４２】
そして、再構成された部分画像について指紋特徴抽出部１１０において特徴抽出を行い（Ｓ６４）、入力特徴量メモリ２１に格納する（Ｓ６５）。特徴抽出処理の詳細については後述する。入力特徴量メモリ２１に格納された特徴量が所定長以上（例えば５００ライン分）あるかどうかを判断し（Ｓ６６）、所定長に達していない場合には、比較照合が困難なためエラーとなり、処理を終了してメインルーチンに戻る（Ｓ６６：ＮＯ）。所定長以上ある場合には（Ｓ６６：ＹＥＳ）、照合処理部１１４において入力特徴量メモリ２１に格納された特徴量と、ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０に格納された特徴量の間でＤＰ比較（動的計画法）を行う（Ｓ６７）。
【００４３】
ＤＰ比較（動的計画法）はＤＰマッチング、ラバーマッチングともいわれ、若干変動したデータ列であってもスムースにマッチングができる特徴をもつことから、広く用いられている。このＤＰ比較は基準データとテストデータとの２つの系列をx-y平面上に描き、実際のデータの距離差を加味した上で最も累積距離の短くなるような時間の進め方を選ぶアルゴリズムである。本実施形態では、Ｓ６４の特徴抽出処理（詳細は後述）で得られたＬＰＣケプストラム（ＬＰＣケプストラムについては、後述する。）を指紋ラインごとのスペクトルデータと見なし、入力指紋画像から得られたＬＰＣケプストラムを指紋画像の縦方向に並べたものをテストデータとし、ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０に格納されたＬＰＣケプストラムを指紋画像の縦方向に並べたものを基準データとして相互のマッチング度合いを得ている。基準データとテストデータではそれぞれ入力速度変化や変化具合が異なるが、ＤＰ比較によりそれらを加味しつつ最終的に基準データとテストデータが最も近くなるような縦方向の対応づけを検索し、最も近くなる縦方向対応のもとでのマッチング度合いを距離値として出力する。距離値が小さくなれば双方のＬＰＣケプストラム間の差異が小さいことを、距離値が大きくなれば双方のＬＰＣケプストラム間の差異が大きいことを示す。
【００４４】
次いで、判定部１１５において、ＤＰ比較で得られた距離値をあらかじめ設定してある閾値と比較し、距離値が閾値より小さい場合には一致と判定し、距離値が閾値より大きい場合には不一致と判定する（Ｓ６８）。一致しなかった場合には、登録指紋をＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０から消去せず、処理を終了してメインルーチンに戻る（Ｓ６９：ＮＯ）。一致した場合には、一致した登録指紋の特徴量を、ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０から消去する（Ｓ７０）。
【００４５】
図１２は、図９のＳ４６で行う指紋入力検出処理の詳細を示したフローチャートである。指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすと、センサから図６に示すような部分画像が、入力される（Ｓ８０）。センサは一定時間刻み（本実施形態の場合、１秒間に２００回以上）で入力を検出するので、指を動かす速さによって、１または複数の部分画像が入力されることとなる。入力された部分画像は、部分画像バッファメモリ２０に格納される（Ｓ８１）。１の部分画像しか入力が検出されず、部分画像バッファメモリ２０に１つの部分画像しか格納されていない場合には、エラーとなり、処理を終了してメインルーチンに戻る（Ｓ８２：ＮＯ）。複数の部分画像が部分画像バッファメモリ２０に格納されている場合は（Ｓ８２：ＹＥＳ）、移動量検出部１０４において移動量を検出し、検出された移動量に基づいて、再構成処理部１０６において部分画像の重なっている部分を補正して再構成を行う（Ｓ８３）。再構成は、先に入力された部分画像（旧フレーム）から後から入力された部分画像（現フレーム）と重なっていない移動量分を追い出してＲＡＭ２のワークエリア２３に格納し、次いで、旧フレームと現フレームの重なっている部分を重ね合わせ処理部で画像を重ね合わせてＲＡＭ２のワークエリア２３に格納し、さらに、現フレームの旧フレームと重なっていない部分をＲＡＭ２のワークエリア２３に格納して行う。
【００４６】
そして、再構成された部分画像について指紋特徴抽出部１１０において特徴抽出を行い（Ｓ８４）、ＲＡＭ２の入力特徴量メモリ２１に格納する（Ｓ８５）。特徴抽出処理の詳細については後述する。入力特徴量メモリ２１に格納された特徴量が所定長以上（例えば５００ライン分）あるかどうかを判断し（Ｓ８６）、所定長に達していない場合には、比較照合が困難なため、エラーとなり、処理を終了してメインルーチンに戻る（Ｓ８６：ＮＯ）。所定長以上ある場合には（Ｓ８６：ＹＥＳ）、照合処理部１１４において入力特徴量メモリ２１に格納された特徴量と、ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０に格納された特徴量の間でＤＰ比較（動的計画法）を行う（Ｓ８７）。そして、判定部１１５において、ＤＰ比較で得られた距離値をあらかじめ設定してある閾値と比較し、距離値が閾値より小さい場合には一致と判定し、距離値が閾値より大きい場合には不一致と判定し（Ｓ８８）、処理を終了してメインルーチンに戻る。
【００４７】
図１３は、図１０のＳ５４、図１１のＳ６４、図１２のＳ８４で行われる特徴抽出処理の詳細を示したフローチャートである。本実施形態では、指紋から特徴点（マニューシャ）を抽出するのではなく、隆線の情報そのものを利用して解析し、特徴量とする処理を行っている。すなわち、指紋画像を横方向に切り出して、横方向に指紋の位置を、縦方向に指紋の凹凸（濃淡）を取ると、指紋の切り出し１ラインを波形信号と見ることができる。そして、この波形信号に対して音声データ処理で一般的に行われるような解析を行うことにより、パワースペクトルを得ることができる。
【００４８】
具体的には、再構成された入力部分画像の各ラインを１フレームとして、フレームごとに抽出処理を行う。まず、前処理として、ハミング窓掛けを行い（Ｓ９０）、フレーム切り出しによる端部の影響を緩和する。次いで、ハミング窓掛けによる補正処理がなされたフレームデータを受取り、その自己相関関数を求める（Ｓ９１）。さらに、得られた自己相関関数に基づいて、線形予測法（ＬＰＣ：Linear Predictive Cording）によるＬＰＣ係数を演算して求める（Ｓ９２）。線形予測法は、携帯電話等で音声の圧縮に使用されている周知の技術であり、これを使用すると母音等の音声を全曲方の伝達関数で推定することができ、そのスペクトルからピーク周波数等が推定できるものである。
【００４９】
そして、Ｓ９２で得られたＬＰＣ係数を線形結合演算してＬＰＣケプストラムを求める（Ｓ９３）。本実施形態では、このようにして特徴量抽出過程で得られたＬＰＣケプストラムが特徴量としてＲＡＭ２の入力特徴量メモリ２１に保存される（Ｓ５５，Ｓ６５，Ｓ８５）。
【００５０】
尚、本実施形態では特徴量抽出に使用する周波数解析演算処理として線形予測法（ＬＰＣ）を用い、ＬＰＣケプストラムが特徴量として抽出されるが、特徴量抽出に使用する周波数解析演算処理はこれに限られるものではない。例えば、周知の高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を用いてもよい。高速フーリエ変換は、離散フーリエ変換というディジタル化された信号の周波数成分（スペクトル）を計算する演算処理を高速に行うアルゴリズムの一つである。具体的には、Ｓ９２で得られたＬＰＣ係数に重みづけしたものを高速フーリエ変換してパワースペクトルを求めてこれを特徴量として用いる。
【００５１】
また、特徴量抽出に使用する周波数解析演算処理として、周知の群遅延スペクトル（ＧＤＳ：Group Delay Spectrum）を用いてもよい。群遅延スペクトル（ＧＤＳ）は、パワー伝達関数における位相スペクトルの周波数微分として定義されるものである。この配列の要素数は位相スペクトルの要素数から１を減じたものとなる。具体的には、ＬＰＣ係数に重みづけしたものを高速フーリエ変換して得られたパワースペクトルの位相微分をとることにより群遅延スペクトル（ＧＤＳ）を求め、これを特徴量として用いる。
【００５２】
以上説明したように、本実施形態の指紋照合装置では、指紋から特徴点（マニューシャ）を抽出するのではなく、隆線の情報そのものを波形信号と見て周波数解析演算処理して特徴量を抽出している。このため、特徴量抽出にかかる処理時間が指紋の状態にかかわらず一定化され、さらに、指紋の全体画像を保持することなく部分画像から特徴量を抽出することができる。従って、指紋の全体画像から特徴データを抽出していた従来の指紋照合方法に比べて、容量の少ないメモリで照合を行うことができ、指紋照合装置の軽量化、処理の高速化を図ることができる。また、指紋の全体画像を保持する必要がないため、電子的複製によるセキュリティ上の問題も回避できる。尚、部分画像から特徴量を抽出するために、入力画像の重複による抽出処理の重複が起こる恐れがあるが、画像の再構成処理を行い、これを防止している。また、部分画像からの特徴量抽出であるため、指紋入力毎に登録特徴量とばらつきが出る可能性があるが、ＤＰ比較（ＤＰマッチング）を用いてこれを吸収して照合している。
【００５３】
尚、本発明は、各種の変形が可能なことは言うまでもない。例えば、上記の実施の形態では、電子錠に本発明を適用した場合について説明したが、本発明は、電子錠に限られず、指紋の照合を行う各種の装置に適用できることは言うまでもない。なお、上記実施の形態では、指紋照合プログラムは、ＲＯＭ３に記憶されているが、ＲＯＭに記憶されているものに限られず、フロッピーディスクやＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体に記憶されているものでもよく、さらには、インターネット等のネットワークを通じて、流通されるものでもよい。
【産業上の利用可能性】
【００５４】
以上のように、本発明の指紋照合装置、指紋照合方法及び指紋照合プログラムは、指紋照合を行う各種の機器に用いるのに適している。特に、指紋照合により解錠される電子錠や指紋照合により起動する電子装置や指紋照合を行う携帯電話等の情報端末に用いるのに適している。
【図面の簡単な説明】
【００５５】
【図１】本実施形態の電子錠の外観図である。
【図２】本実施形態の電子錠の電気的構成を示したブロック図である。
【図３】指紋照合装置の電気的構成を示したブロック図である。
【図４】ＲＡＭ２の記憶エリアを示した模式図である。
【図５】ＥＥＰ−ＲＯＭ４の記憶エリアを示した模式図である。
【図６】入力部分画像の例である。
【図７】再構成処理部１０６で得た画像の例図である。
【図８】再構成処理部１０６から出力される連続した部分画像を９つ並べた例である。
【図９】電子錠の処理の流れの概略を示したフローチャートである。
【図１０】指紋登録処理の詳細を示したフローチャートである。
【図１１】指紋消去処理の詳細を示したフローチャートである。
【図１２】指紋入力検出処理の詳細を示したフローチャートである。
【図１３】特徴抽出処理の詳細を示したフローチャートである。
【技術分野】
【０００１】
本発明は、本人確認のための指紋照合装置及びコンピュータ上で指紋照合を行うためのプログラムに関するものである。
【背景技術】
【０００２】
近年、情報の電子化やネットワーク化の急速な進行により、情報へのアクセス制御を行うためのセキュリティ技術への関心が高まっており、このようなセキュリティ技術の１つとして指紋照合による本人認証を行うための製品が種々登場してきている。
【０００３】
指紋による本人認証のためには、まず指紋画像を指紋センサにより入力し、その後、登録されている指紋画像と入力された指紋画像を照合する必要がある。指紋照合の方法としては、従来、代表的なものとして、特徴点抽出照合法（マニューシャ法）と画像マッチング法（パタンマッチ法）が知られている。特徴点抽出照合法は、指紋の盛り上がった部分（隆線）の端点や分岐点の構造を特徴点（マニューシャ）として捉え、これを比較して指紋照合を行う手法である。特徴点の抽出は、入力された指紋画像からノイズを除去し、コントラスト処理や細線化等の画像処理を行った後に行う。入力時の指の状態や画像処理による偽の特徴点抽出を避けるために様々なルールを導入するため、複雑なアルゴリズムとなり、照合処理時間にばらつきが出ることがある。画像マッチング法は、指紋画像そのものの類似度を直接比較する手法である。登録された指紋画像と入力された指紋画像をずらしながら類似度を計測するので、比較的高速に処理が可能である。但し、指紋画像そのものを保持するため、指紋画像の電子的複製等、セキュリティの問題をクリアしておく必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、これらの従来の方法では、指紋の全体画像について特徴点を抽出したり、全体画像そのものを照合に用いたりするため、全体画像を保持するための多量のメモリと大きな演算量が必要とされる。このため、機器の小型化や低価格化の障害となるという問題点があった。
【０００５】
本発明は、上述の問題点を解決するためになされたものであり、指紋の部分画像から特徴量を抽出することにより、指紋の全体画像を保持することなく指紋の照合を行うことができる指紋照合装置及び指紋照合プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の請求項１に記載の指紋照合装置は、入力された指紋の画像に基づいて指紋を照合する指紋照合装置において、指紋の部分画像を逐次入力する指紋入力手段と、前記指紋入力手段により逐次入力された指紋の部分画像である入力部分画像の複数個を比較処理して重複部分を取り除き、再構成部分画像を出力する画像処理手段と、前記画像処理手段から出力された再構成部分画像のそれぞれに対して特徴量を演算して抽出する特徴量抽出手段と、登録指紋の特徴量を記憶した登録特徴量記憶手段と、前記特徴量抽出手段により抽出された前記再構成部分画像の特徴量と、前記登録特徴量記憶手段に記憶されている前記登録指紋の特徴量とを比較照合することにより、指紋の同一性を識別する識別手段とを備えたことを特徴とする。
【０００７】
また、本発明の請求項２に記載の指紋照合装置は、請求項１に記載の発明の構成に加え、前記指紋入力手段による前記入力部分画像の入力処理、前記画像処理手段による前記再構成部分画像の出力処理、及び前記特徴量抽出手段による特徴量の抽出処理のうち少なくとも２つの処理が並列に実行されることを特徴とする。
【０００８】
また、本発明の請求項３に記載の指紋照合装置は、請求項２に記載の発明の構成に加え、前記指紋入力手段による前記入力部分画像の入力処理と前記特徴量抽出手段による特徴量の抽出処理とが並列に実行されることを特徴とする。
【０００９】
また、本発明の請求項４に記載の指紋照合装置は、請求項１乃至３のいずれかに記載の発明の構成に加え、前記特徴量抽出手段が、前記再構成部分画像について周波数解析演算処理を行い、当該再構成部分画像の周波数スペクトル情報を前記特徴量として抽出することを特徴とする。
【００１０】
また、本発明の請求項５に記載の指紋照合装置は、請求項４に記載の発明の構成に加え、前記特徴量抽出手段が演算する周波数解析演算処理として、線形予測（ＬＰＣ）演算処理、群遅延スペクトル（ＧＤＳ）演算処理、高速フーリエ変換（ＦＦＴ）演算処理のうち少なくともひとつを用いることを特徴とする。
【００１１】
また、本発明の請求項６に記載の指紋照合プログラムは、請求項１乃至５に記載の発明の各種処理手段として機能する。
【発明の効果】
【００１２】
本発明の指紋照合装置では、部分画像から抽出した特徴量を指紋の識別に使用するので、指紋全体の画像を保持する必要がなく、そのための容量の大きなメモリが不要であり、かつ、指紋画像全体の電子的複製の恐れがない。また、部分画像を小さく定めることによって、特徴量を得る計算量を軽減することができ、特徴量抽出処理と識別処理を独立させれば、処理を並列に行うことで高速化が可能である。
【００１３】
また、本発明の指紋照合装置では、逐次入力される複数の部分画像を組み合わせ、その重複部分を取り除いて再構成するので、重複して入力される部分について特徴量の抽出を重複してしまうことがなく、特徴量抽出にかかる負荷を軽減することができる。
【００１４】
また、本発明の指紋照合装置では、記憶されている部分画像の特徴量と入力された部分画像の特徴量を比較照合すれば指紋の同一性を識別できるので、記憶手段に指紋全体の特徴量を保持する必要がなく、記憶手段の容量を低く押さえることが可能である。
【００１５】
また、本発明の本発明の指紋照合装置では、指紋から特徴点（マニューシャ）を抽出するのではなく、隆線の情報そのものを利用して周波数解析演算処理により特徴量とする。従って、画像の前処理時間が短く、処理を高速化できる。さらに、画像入力時の指の状態による特徴点抽出の難易のばらつきという問題がないので、処理時間を一定にすることができる。
【００１６】
また、本発明の指紋照合装置では、前記特徴量抽出手段が演算する周波数解析演算処理として、線形予測（ＬＰＣ）演算処理、群遅延スペクトル（ＧＤＳ）演算処理、高速フーリエ変換（ＦＦＴ）演算処理のうち少なくともひとつを用いるようにしてもよい。この構成の指紋照合装置では、特徴量抽出のために音声分析等で周知の周波数解析演算処理を用いることにより、簡易・高速に特徴量を抽出して指紋照合処理を行うことができる。
【００１７】
また、本発明の指紋照合装置では、前記指紋入力手段は、１以上の画像ラインよりなる画像ライン画像を指紋の部分画像として逐次入力し、前記画像処理手段は、前記指紋入力手段により連続して入力される２つの指紋の部分画像について重複する画像ラインを検出し、それを一方の指紋の部分画像から取り除くようにしてもよい。この構成の指紋照合装置では、画像処理手段が、入力されてくる部分画像を２つずつ順次処理して再構成していくので、入力部分画像を保持するメモリ容量が最低限で済み、さらに、入力と画像処理の並列処理による高速化が可能である。
【００１８】
また、本発明の指紋照合装置では、前記画像処理手段は、重複部分を取り除いた指紋の部分画像について、ラスタ方向或いはライン方向の少なくともいずれかに関して画像縮小処理をさらに適用してもよい。この構成の指紋照合装置では、例えば特徴量抽出にＬＰＣ計算処理を用いる場合、ラスタ方向に画像縮小処理を行えば、計算が必要となる次数が減少するため、特徴量を格納するメモリの量を削減することができる。また、ライン方向に画像縮小処理を行えば、特徴量を計算する回数が減少するため、特徴量を格納するメモリの量を削減することができる。
【００１９】
また、本発明の指紋照合装置では、前記識別手段は、ＤＰ照合法（動的計画法）を用いるようにしてもよい。この構成の指紋照合装置では、移動量の検出精度が粗く、登録時と照合時の特徴量において全体の長さが異なる状態となっても、照合を行う指紋間の長さの差を吸収した指紋照合を行うことができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を指紋照合装置を搭載した電子錠に適用した実施の形態について、図面に基づいて説明する。図１に示すように、本実施形態の電子錠１００は、指紋入力装置７と、スイッチ８（指紋登録スイッチ８ａと指紋消去スイッチ８ｂ）と、液晶表示器１０とを備え、ドア等に取り付けて、電磁ソレノイド９（図２参照）で動くプランジャ９ａにより錠をかけるものである。また、図２に示すように、本実施形態の電子錠１００は、ＣＰＵ１を中心にした電子回路で構成され、ＲＡＭ２と、ＲＯＭ３と、ＥＥＰ−ＲＯＭ４と、指紋入力装置７，スイッチ８，電磁ソレノイド９をＣＰＵ１と結ぶ入出力（Ｉ／Ｏ）ポート５と、液晶表示器１０を制御する液晶表示コントローラ（ＬＣＤＣ）６と、図示外の電池等の電源装置から構成されている。
【００２１】
ＲＡＭ２には、図４に示すように、指紋入力装置７から入力された指紋のスライス画像が格納される部分画像バッファメモリ２０と、入力された指紋の特徴量を格納する入力特徴量メモリ２１と、関節部分を判定するための演算結果を格納する関節判定保持メモリ２２と、各種のデータを一時的に記憶するワークエリア２３とが設けられている。また、ＲＯＭ３には、指紋照合プログラムのほか、各種プログラムが格納され、当該プログラムをＣＰＵ１が実行することにより、電子錠１００の制御が行われるようになっている。
【００２２】
また、図５に示すように、ＥＥＰ−ＲＯＭ４には、登録された指紋の特徴量を格納する登録特徴量メモリ４０が設けられている。ＥＥＰ−ＲＯＭ４は、不揮発性メモリであるので、電源の供給が絶たれても記憶内容を保持することができる。尚、ＥＥＰ−ＲＯＭ４は、通常のＥＥＰ−ＲＯＭ以外に、フラッシュメモリ等の不揮発性のメモリを用いてもよい。
【００２３】
また、電子錠１００に内蔵された指紋照合装置は、詳細には、図３に示すように、指紋入力装置７と、画像処理部１０２と、指紋特徴抽出部１１０と、照合処理部１１４と、判定部１１５と、判定結果出力部１１６と、ＲＡＭ２内に設けられた部分画像バッファメモリ２０と、入力特徴量メモリ２１と、関節判定保持メモリ２２と、ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０とから、構成されている。
【００２４】
指紋入力装置７は、センサ７ａとＡ／Ｄコンバータ（図示せず）で構成され、センサ７ａ上を移動する指の温度変化を、入力部分画像の形で出力し、ＲＡＭ２内の部分画像バッファメモリ２０に格納する。本実施の形態では、入力部分画像は横２８０ピクセル×縦８ピクセルのライン形状で構成され、一秒間に２００回以上出力される。入力部分画像の一例を図６に示す。
【００２５】
画像処理部１０２は、入力部分画像を特徴量抽出できる状態に前処理を行うものであり、開始判定部１０３、移動量検出部１０４、重ね合せ処理部１０５、再構成処理部１０６、関節判定前処理部１０７、関節判定保持メモリ２２、及び画像縮小処理部１０９で構成されている。
【００２６】
開始判定部１０３は、指紋入力装置７から得られる時間的に連続な二枚の入力部分画像から中心部（本実施の形態では横６４ピクセル×縦４ピクセル）を取り出し、同一箇所の画素値の差を絶対値で合計する。この値が閾値を超えた回数が一定以上に達した場合、指紋入力装置７上で指が移動していると判断し、関節判定保持メモリ２２、入力特徴量メモリ２１への記録を開始する。また、同様に閾値を下回る回数が一定以上に達した場合、入力装置上から指が離されたと判断し、各メモリへの記録を停止する。その後、照合処理部１１４を利用して照合を行う。
【００２７】
移動量検出部１０４は、指紋入力装置７から得られる時間的に連続な二枚の入力部分画像を利用して、片方の入力部分画像の中心部（本実施の形態では横６４ピクセル×縦８ピクセル）を取り出す。次に、想定される移動量の分だけずらした場所をもう一方の入力部分画像から同一サイズで取り出す。これらの取り出した部分画像中で、同一箇所の画素値の差を絶対値で合計し、これを画像の差とする。これを想定される移動量について繰り返し行い、画像の差が最も小さくなる移動量をセンサ７ａ上で移動する指の移動量の検出結果として出力する。
【００２８】
重ね合せ処理部１０５は、指紋入力装置７から得られる入力部分画像を、移動量検出部１０４から得られる移動量だけずらした位置のバッファメモリに対して、メモリ中の値と入力画像の値を加算して同一箇所に格納することで、画像を重ね合わせる。この時に、重ね合わせた回数もバッファメモリに記録する。
【００２９】
再構成処理部１０６は、移動量検出部１０４から得られた移動量を元に、指紋入力装置７から得られる画像を再構成し、部分画像（本実施の形態では横２８０ピクセル×縦１ピクセル）を単位として出力する。図７に再構成処理部１０６で画像全体を得た場合の例を示す。図８に再構成処理部１０６から出力される連続した部分画像を９つ並べた例を示す。
【００３０】
また、関節判定前処理部１０７は、センサ７ａ上を移動する指の関節部分を判定するために必要な演算の一部を行い、演算結果を出力して関節判定保持メモリ２２に保持する。まず、入力された画像にsobel変換を行って指紋の特徴を強調する。次に、gauss変換を行ってノイズ状の画素を減らす。次に、１ライン（本実施例では横２５６ピクセル×縦１ピクセル）を取り出し、画素値が閾値を超えている画素数を計測し、そのラインの処理結果とする。この数値は、センサ７ａ上で指が接触している面積にほぼ比例している。この数値が小さくなっている部分を関節として判定し、有効な情報を持っている部分のみを照合の際に利用するためのデータとして利用する。判定部１１５は、関節判定保持メモリ２２に格納された値を用いて、指がセンサ７ａから離された後で関節部分の位置を判定し、照合の終点を決定する。
【００３１】
画像縮小処理部１０９は、再構成処理部１０６から出力される画像を横方向１／２に、縦方向１／３に縮小する。横方向の縮小により、後述するＬＰＣ分析を用いた特徴抽出において必要となる次数の削減が可能となる。また、縦方向の縮小により、照合結果を損なうことなく入力特徴量メモリ２１の容量の削減が可能となる。
【００３２】
指紋特徴抽出部１１０は、入力された縮小後の１ライン（本実施の形態では横１２８ピクセル×縦１ピクセル）に対して特徴抽出を行い、特徴データを出力する。本実施の形態では、ラインの画素値を信号変化としてＬＰＣ分析を行う。
【００３３】
入力特徴量メモリ２１は、指紋特徴抽出部１１０から出力された特徴データを連続してメモリに記録する。また、指紋の照合処理を行う場合は、照合処理部１１４からの要求に従って特徴データを出力する。ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０は、指紋の登録を指示された場合、入力特徴量メモリ２１の内容を記憶して保持する。また、指紋の照合処理を行う場合は、照合処理部１１４からの要求に従って特徴データを出力する。
【００３４】
照合処理部１１４は、入力特徴量メモリ２１とＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０に格納された特徴データの間でＤＰ照合を行い、最小となる距離を特徴間の距離として代表させ、類似度として出力する。判定部１１５は、照合処理部１１４から出力された類似度をあらかじめ設定した閾値と比較して判定を行い、その結果を判定結果出力部１１６に出力する。判定結果出力部１１６は、判定部１１５から出力される判定結果を入力し、装置外部に出力する。
【００３５】
次に、本実施形態の電子錠１００の動作について、図９乃至図１３のフローチャートに基づいて説明する。フローチャートの各ステップについては、以下、Ｓと略す。本実施形態の電子錠１００は、指紋登録スイッチ８ａを押してから指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすことにより指紋が登録され、プランジャ９ａが出てロックされる。指紋登録スイッチ８ａを押さずに指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすと、指紋照合がなされ、登録されている指紋と同一であればプランジャ９ａが引っ込み、電子錠１００が解錠される。また、指紋消去スイッチ８ｂを押してから指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすことにより指紋を入力すると、液晶表示器１０で確認表示の後、再度指紋消去スイッチ８ｂを押すことにより、登録されている同一指紋を消去する。
【００３６】
図９は電子錠１００の主制御の処理の全体を示したフローチャートである。まず、電源を投入すると、リセットされ、ＲＡＭ２内のメモリ等が初期化される（Ｓ４０）。スイッチ８のいずれかが押されていればこれを検出し（Ｓ４１）、指紋登録スイッチ８ａが押されていれば（Ｓ４２：ＹＥＳ）、指紋登録処理を行う（Ｓ４３）。指紋登録スイッチ８ａでなく（Ｓ４２：ＮＯ）、指紋消去スイッチ８ｂが押されていれば（Ｓ４４：ＹＥＳ）、指紋消去処理を行う（Ｓ４５）。指紋登録処理、指紋消去処理の詳細については後述する。スイッチの入力がない場合は（Ｓ４４：ＮＯ）、指紋の入力を検出する（Ｓ４６）。指紋入力検出処理の詳細は後述する。指紋の入力がなければ（Ｓ４７：ＮＯ）、Ｓ４１に戻ってスイッチの入力検出を行う。指紋が入力され（Ｓ４７：ＹＥＳ）、入力された指紋が登録されている指紋と一致すると判定された場合には（Ｓ４８：ＹＥＳ）、プランジャ９ａを引いて解錠する（Ｓ４９）。
【００３７】
図１０は、図９のＳ４３で行う指紋登録処理の詳細を示したフローチャートである。指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすと、センサ７ａから図６に示すような部分画像が入力される（Ｓ５０）。センサ７ａは一定時間刻み（本実施形態の場合、１秒間に２００回以上）で入力を検出するので、指を動かす速さによって、１または複数の部分画像が入力されることとなる。入力された部分画像は、ＲＡＭ２の部分画像バッファメモリ２０に格納される（Ｓ５１）。
【００３８】
１つの部分画像しか入力が検出されず、部分画像バッファメモリ２０に１つの部分画像しか格納されていない場合には、エラーとなり、処理を終了してメインルーチンに戻る（Ｓ５２：ＮＯ）。複数の部分画像が部分画像バッファメモリ２０に格納されている場合は（Ｓ５２：ＹＥＳ）、移動量検出部１０４において移動量を検出し、検出された移動量に基づいて、再構成処理部１０６において部分画像の重なっている部分を補正して再構成を行う（Ｓ５３）。再構成は、先に入力された部分画像（旧フレーム）から後から入力された部分画像（現フレーム）と重なっていない移動量分を追い出してＲＡＭ２のワークエリア２３に格納し、次いで、旧フレームと現フレームの重なっている部分を重ね合わせ処理部で画像を重ね合わせてＲＡＭ２のワークエリア２３に格納し、さらに、現フレームの旧フレームと重なっていない部分をＲＡＭ２のワークエリア２３に格納して行う。そして、再構成された部分画像について指紋特徴抽出部１１０において特徴抽出を行い（Ｓ５４）、入力特徴量メモリ２１に格納し、さらにそれをＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０に格納する（Ｓ５５）。特徴抽出処理の詳細については後述する。
【００３９】
図１１は、図９のＳ４５で行う指紋消去処理の詳細を示したフローチャートである。指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすと、センサから図６に示すような部分画像が入力される（Ｓ６０）。センサは一定時間刻み（本実施形態の場合、１秒間に２００回以上）で入力を検出するので、指を動かす速さによって、１または複数の部分画像が入力されることとなる。入力された部分画像は、部分画像バッファメモリ２０に格納される（Ｓ６１）。
【００４０】
１の部分画像しか入力が検出されず、部分画像バッファメモリ２０に１つの部分画像しか格納されていない場合には、エラーとなり、処理を終了してメインルーチンに戻る（Ｓ６２：ＮＯ）。複数の部分画像が部分画像バッファメモリ２０に格納されている場合は（Ｓ６２：ＹＥＳ）、移動量検出部１０４において移動量を検出し、検出された移動量に基づいて、再構成処理部１０６において部分画像の重なっている部分を補正して再構成を行う（Ｓ６３）。
【００４１】
再構成は、先に入力された部分画像（旧フレーム）から後から入力された部分画像（現フレーム）と重なっていない移動量分を追い出してＲＡＭ２のワークエリア２３に格納し、次いで、旧フレームと現フレームの重なっている部分を重ね合わせ処理部で画像を重ね合わせてＲＡＭ２のワークエリア２３に格納し、さらに、現フレームの旧フレームと重なっていない部分をＲＡＭ２のワークエリア２３に格納して行う。
【００４２】
そして、再構成された部分画像について指紋特徴抽出部１１０において特徴抽出を行い（Ｓ６４）、入力特徴量メモリ２１に格納する（Ｓ６５）。特徴抽出処理の詳細については後述する。入力特徴量メモリ２１に格納された特徴量が所定長以上（例えば５００ライン分）あるかどうかを判断し（Ｓ６６）、所定長に達していない場合には、比較照合が困難なためエラーとなり、処理を終了してメインルーチンに戻る（Ｓ６６：ＮＯ）。所定長以上ある場合には（Ｓ６６：ＹＥＳ）、照合処理部１１４において入力特徴量メモリ２１に格納された特徴量と、ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０に格納された特徴量の間でＤＰ比較（動的計画法）を行う（Ｓ６７）。
【００４３】
ＤＰ比較（動的計画法）はＤＰマッチング、ラバーマッチングともいわれ、若干変動したデータ列であってもスムースにマッチングができる特徴をもつことから、広く用いられている。このＤＰ比較は基準データとテストデータとの２つの系列をx-y平面上に描き、実際のデータの距離差を加味した上で最も累積距離の短くなるような時間の進め方を選ぶアルゴリズムである。本実施形態では、Ｓ６４の特徴抽出処理（詳細は後述）で得られたＬＰＣケプストラム（ＬＰＣケプストラムについては、後述する。）を指紋ラインごとのスペクトルデータと見なし、入力指紋画像から得られたＬＰＣケプストラムを指紋画像の縦方向に並べたものをテストデータとし、ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０に格納されたＬＰＣケプストラムを指紋画像の縦方向に並べたものを基準データとして相互のマッチング度合いを得ている。基準データとテストデータではそれぞれ入力速度変化や変化具合が異なるが、ＤＰ比較によりそれらを加味しつつ最終的に基準データとテストデータが最も近くなるような縦方向の対応づけを検索し、最も近くなる縦方向対応のもとでのマッチング度合いを距離値として出力する。距離値が小さくなれば双方のＬＰＣケプストラム間の差異が小さいことを、距離値が大きくなれば双方のＬＰＣケプストラム間の差異が大きいことを示す。
【００４４】
次いで、判定部１１５において、ＤＰ比較で得られた距離値をあらかじめ設定してある閾値と比較し、距離値が閾値より小さい場合には一致と判定し、距離値が閾値より大きい場合には不一致と判定する（Ｓ６８）。一致しなかった場合には、登録指紋をＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０から消去せず、処理を終了してメインルーチンに戻る（Ｓ６９：ＮＯ）。一致した場合には、一致した登録指紋の特徴量を、ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０から消去する（Ｓ７０）。
【００４５】
図１２は、図９のＳ４６で行う指紋入力検出処理の詳細を示したフローチャートである。指紋入力装置７に指を置いて、指を滑らすように指の長手方向に動かすと、センサから図６に示すような部分画像が、入力される（Ｓ８０）。センサは一定時間刻み（本実施形態の場合、１秒間に２００回以上）で入力を検出するので、指を動かす速さによって、１または複数の部分画像が入力されることとなる。入力された部分画像は、部分画像バッファメモリ２０に格納される（Ｓ８１）。１の部分画像しか入力が検出されず、部分画像バッファメモリ２０に１つの部分画像しか格納されていない場合には、エラーとなり、処理を終了してメインルーチンに戻る（Ｓ８２：ＮＯ）。複数の部分画像が部分画像バッファメモリ２０に格納されている場合は（Ｓ８２：ＹＥＳ）、移動量検出部１０４において移動量を検出し、検出された移動量に基づいて、再構成処理部１０６において部分画像の重なっている部分を補正して再構成を行う（Ｓ８３）。再構成は、先に入力された部分画像（旧フレーム）から後から入力された部分画像（現フレーム）と重なっていない移動量分を追い出してＲＡＭ２のワークエリア２３に格納し、次いで、旧フレームと現フレームの重なっている部分を重ね合わせ処理部で画像を重ね合わせてＲＡＭ２のワークエリア２３に格納し、さらに、現フレームの旧フレームと重なっていない部分をＲＡＭ２のワークエリア２３に格納して行う。
【００４６】
そして、再構成された部分画像について指紋特徴抽出部１１０において特徴抽出を行い（Ｓ８４）、ＲＡＭ２の入力特徴量メモリ２１に格納する（Ｓ８５）。特徴抽出処理の詳細については後述する。入力特徴量メモリ２１に格納された特徴量が所定長以上（例えば５００ライン分）あるかどうかを判断し（Ｓ８６）、所定長に達していない場合には、比較照合が困難なため、エラーとなり、処理を終了してメインルーチンに戻る（Ｓ８６：ＮＯ）。所定長以上ある場合には（Ｓ８６：ＹＥＳ）、照合処理部１１４において入力特徴量メモリ２１に格納された特徴量と、ＥＥＰ−ＲＯＭ４の登録特徴量メモリ４０に格納された特徴量の間でＤＰ比較（動的計画法）を行う（Ｓ８７）。そして、判定部１１５において、ＤＰ比較で得られた距離値をあらかじめ設定してある閾値と比較し、距離値が閾値より小さい場合には一致と判定し、距離値が閾値より大きい場合には不一致と判定し（Ｓ８８）、処理を終了してメインルーチンに戻る。
【００４７】
図１３は、図１０のＳ５４、図１１のＳ６４、図１２のＳ８４で行われる特徴抽出処理の詳細を示したフローチャートである。本実施形態では、指紋から特徴点（マニューシャ）を抽出するのではなく、隆線の情報そのものを利用して解析し、特徴量とする処理を行っている。すなわち、指紋画像を横方向に切り出して、横方向に指紋の位置を、縦方向に指紋の凹凸（濃淡）を取ると、指紋の切り出し１ラインを波形信号と見ることができる。そして、この波形信号に対して音声データ処理で一般的に行われるような解析を行うことにより、パワースペクトルを得ることができる。
【００４８】
具体的には、再構成された入力部分画像の各ラインを１フレームとして、フレームごとに抽出処理を行う。まず、前処理として、ハミング窓掛けを行い（Ｓ９０）、フレーム切り出しによる端部の影響を緩和する。次いで、ハミング窓掛けによる補正処理がなされたフレームデータを受取り、その自己相関関数を求める（Ｓ９１）。さらに、得られた自己相関関数に基づいて、線形予測法（ＬＰＣ：Linear Predictive Cording）によるＬＰＣ係数を演算して求める（Ｓ９２）。線形予測法は、携帯電話等で音声の圧縮に使用されている周知の技術であり、これを使用すると母音等の音声を全曲方の伝達関数で推定することができ、そのスペクトルからピーク周波数等が推定できるものである。
【００４９】
そして、Ｓ９２で得られたＬＰＣ係数を線形結合演算してＬＰＣケプストラムを求める（Ｓ９３）。本実施形態では、このようにして特徴量抽出過程で得られたＬＰＣケプストラムが特徴量としてＲＡＭ２の入力特徴量メモリ２１に保存される（Ｓ５５，Ｓ６５，Ｓ８５）。
【００５０】
尚、本実施形態では特徴量抽出に使用する周波数解析演算処理として線形予測法（ＬＰＣ）を用い、ＬＰＣケプストラムが特徴量として抽出されるが、特徴量抽出に使用する周波数解析演算処理はこれに限られるものではない。例えば、周知の高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を用いてもよい。高速フーリエ変換は、離散フーリエ変換というディジタル化された信号の周波数成分（スペクトル）を計算する演算処理を高速に行うアルゴリズムの一つである。具体的には、Ｓ９２で得られたＬＰＣ係数に重みづけしたものを高速フーリエ変換してパワースペクトルを求めてこれを特徴量として用いる。
【００５１】
また、特徴量抽出に使用する周波数解析演算処理として、周知の群遅延スペクトル（ＧＤＳ：Group Delay Spectrum）を用いてもよい。群遅延スペクトル（ＧＤＳ）は、パワー伝達関数における位相スペクトルの周波数微分として定義されるものである。この配列の要素数は位相スペクトルの要素数から１を減じたものとなる。具体的には、ＬＰＣ係数に重みづけしたものを高速フーリエ変換して得られたパワースペクトルの位相微分をとることにより群遅延スペクトル（ＧＤＳ）を求め、これを特徴量として用いる。
【００５２】
以上説明したように、本実施形態の指紋照合装置では、指紋から特徴点（マニューシャ）を抽出するのではなく、隆線の情報そのものを波形信号と見て周波数解析演算処理して特徴量を抽出している。このため、特徴量抽出にかかる処理時間が指紋の状態にかかわらず一定化され、さらに、指紋の全体画像を保持することなく部分画像から特徴量を抽出することができる。従って、指紋の全体画像から特徴データを抽出していた従来の指紋照合方法に比べて、容量の少ないメモリで照合を行うことができ、指紋照合装置の軽量化、処理の高速化を図ることができる。また、指紋の全体画像を保持する必要がないため、電子的複製によるセキュリティ上の問題も回避できる。尚、部分画像から特徴量を抽出するために、入力画像の重複による抽出処理の重複が起こる恐れがあるが、画像の再構成処理を行い、これを防止している。また、部分画像からの特徴量抽出であるため、指紋入力毎に登録特徴量とばらつきが出る可能性があるが、ＤＰ比較（ＤＰマッチング）を用いてこれを吸収して照合している。
【００５３】
尚、本発明は、各種の変形が可能なことは言うまでもない。例えば、上記の実施の形態では、電子錠に本発明を適用した場合について説明したが、本発明は、電子錠に限られず、指紋の照合を行う各種の装置に適用できることは言うまでもない。なお、上記実施の形態では、指紋照合プログラムは、ＲＯＭ３に記憶されているが、ＲＯＭに記憶されているものに限られず、フロッピーディスクやＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体に記憶されているものでもよく、さらには、インターネット等のネットワークを通じて、流通されるものでもよい。
【産業上の利用可能性】
【００５４】
以上のように、本発明の指紋照合装置、指紋照合方法及び指紋照合プログラムは、指紋照合を行う各種の機器に用いるのに適している。特に、指紋照合により解錠される電子錠や指紋照合により起動する電子装置や指紋照合を行う携帯電話等の情報端末に用いるのに適している。
【図面の簡単な説明】
【００５５】
【図１】本実施形態の電子錠の外観図である。
【図２】本実施形態の電子錠の電気的構成を示したブロック図である。
【図３】指紋照合装置の電気的構成を示したブロック図である。
【図４】ＲＡＭ２の記憶エリアを示した模式図である。
【図５】ＥＥＰ−ＲＯＭ４の記憶エリアを示した模式図である。
【図６】入力部分画像の例である。
【図７】再構成処理部１０６で得た画像の例図である。
【図８】再構成処理部１０６から出力される連続した部分画像を９つ並べた例である。
【図９】電子錠の処理の流れの概略を示したフローチャートである。
【図１０】指紋登録処理の詳細を示したフローチャートである。
【図１１】指紋消去処理の詳細を示したフローチャートである。
【図１２】指紋入力検出処理の詳細を示したフローチャートである。
【図１３】特徴抽出処理の詳細を示したフローチャートである。
【特許請求の範囲】
【請求項１】
入力された指紋の画像に基づいて指紋を照合する指紋照合装置において、
指紋の部分画像を逐次入力する指紋入力手段と、
前記指紋入力手段により逐次入力された指紋の部分画像である入力部分画像の複数個を比較処理して重複部分を取り除き、再構成部分画像を出力する画像処理手段と、
前記画像処理手段から出力された再構成部分画像のそれぞれに対して特徴量を演算して抽出する特徴量抽出手段と、
登録指紋の特徴量を記憶した登録特徴量記憶手段と、
前記特徴量抽出手段により抽出された前記再構成部分画像の特徴量と、前記登録特徴量記憶手段に記憶されている前記登録指紋の特徴量とを比較照合することにより、指紋の同一性を識別する識別手段とを備えたことを特徴とする指紋照合装置。
【請求項２】
前記指紋入力手段による前記入力部分画像の入力処理、前記画像処理手段による前記再構成部分画像の出力処理、及び前記特徴量抽出手段による特徴量の抽出処理のうち少なくとも２つの処理が並列に実行されることを特徴とする請求項１に記載の指紋照合装置。
【請求項３】
前記指紋入力手段による前記入力部分画像の入力処理と、前記特徴量抽出手段による特徴量の抽出処理とが並列に実行されることを特徴とする請求項２に記載の指紋照合装置。
【請求項４】
前記特徴量抽出手段は、前記再構成部分画像について周波数解析演算処理を行い、当該再構成部分画像の周波数スペクトル情報を前記特徴量として抽出することを特徴とする請求項１乃至３のいずれかに記載の指紋照合装置。
【請求項５】
前記特徴量抽出手段が演算する周波数解析演算処理として、線形予測（ＬＰＣ）演算処理、群遅延スペクトル（ＧＤＳ）演算処理、高速フーリエ変換（ＦＦＴ）演算処理のうち少なくともひとつを用いることを特徴とする請求項４に記載の指紋照合装置。
【請求項６】
請求項１乃至５のいずれかに記載の指紋照合装置の各種処理手段としてコンピュータを機能させるための指紋照合プログラム。
【請求項１】
入力された指紋の画像に基づいて指紋を照合する指紋照合装置において、
指紋の部分画像を逐次入力する指紋入力手段と、
前記指紋入力手段により逐次入力された指紋の部分画像である入力部分画像の複数個を比較処理して重複部分を取り除き、再構成部分画像を出力する画像処理手段と、
前記画像処理手段から出力された再構成部分画像のそれぞれに対して特徴量を演算して抽出する特徴量抽出手段と、
登録指紋の特徴量を記憶した登録特徴量記憶手段と、
前記特徴量抽出手段により抽出された前記再構成部分画像の特徴量と、前記登録特徴量記憶手段に記憶されている前記登録指紋の特徴量とを比較照合することにより、指紋の同一性を識別する識別手段とを備えたことを特徴とする指紋照合装置。
【請求項２】
前記指紋入力手段による前記入力部分画像の入力処理、前記画像処理手段による前記再構成部分画像の出力処理、及び前記特徴量抽出手段による特徴量の抽出処理のうち少なくとも２つの処理が並列に実行されることを特徴とする請求項１に記載の指紋照合装置。
【請求項３】
前記指紋入力手段による前記入力部分画像の入力処理と、前記特徴量抽出手段による特徴量の抽出処理とが並列に実行されることを特徴とする請求項２に記載の指紋照合装置。
【請求項４】
前記特徴量抽出手段は、前記再構成部分画像について周波数解析演算処理を行い、当該再構成部分画像の周波数スペクトル情報を前記特徴量として抽出することを特徴とする請求項１乃至３のいずれかに記載の指紋照合装置。
【請求項５】
前記特徴量抽出手段が演算する周波数解析演算処理として、線形予測（ＬＰＣ）演算処理、群遅延スペクトル（ＧＤＳ）演算処理、高速フーリエ変換（ＦＦＴ）演算処理のうち少なくともひとつを用いることを特徴とする請求項４に記載の指紋照合装置。
【請求項６】
請求項１乃至５のいずれかに記載の指紋照合装置の各種処理手段としてコンピュータを機能させるための指紋照合プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−１４１２５２（Ｐ２００７−１４１２５２Ａ）
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願番号】特願２００６−３４５１８７（Ｐ２００６−３４５１８７）
【出願日】平成１８年１２月２２日（２００６．１２．２２）
【分割の表示】特願２００２−５１４６６２（Ｐ２００２−５１４６６２）の分割
【原出願日】平成１３年７月１１日（２００１．７．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５９８０７２２７２）株式会社ディー・ディー・エス (14)
【出願人】（３９９１２３９２６）梅テック 有限会社 (11)
【Ｆターム（参考）】
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願日】平成１８年１２月２２日（２００６．１２．２２）
【分割の表示】特願２００２−５１４６６２（Ｐ２００２−５１４６６２）の分割
【原出願日】平成１３年７月１１日（２００１．７．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５９８０７２２７２）株式会社ディー・ディー・エス (14)
【出願人】（３９９１２３９２６）梅テック 有限会社 (11)
【Ｆターム（参考）】
[ Back to top ]