説明

生体情報取得装置および生体情報による認証装置

例えばスウィープ型指紋センサにおいて指をそのセンサ面に対して移動させながら連続的に採取される複数の部分画像から、個人認証等に必要な情報を取得するための装置において、歪みの無い画像を少ないメモリ容量で且つ高速に得られるようにして、高品質な特徴情報による照合を可能にするために、本発明の装置は、生体情報を映像化して複数の部分画像を連続的に採取する画像採取手段(10)と、採取される複数の部分画像のそれぞれから特徴およびその位置を抽出する特徴抽出手段(20)と、採取される複数の部分画像のうちの2以上の部分画像が相互に重なり合う領域に存在する特徴に基づいて、これら2以上の部分画像相互の相対位置を検出する相対位置検出手段(30)と、検出された相対位置と各部分画像における特徴の位置とに基づいて算出された歪み量に基づいて各部分画像における特徴の位置を補正し特徴の相対位置を得る補正手段(40)とをそなえて構成されている。

【発明の詳細な説明】
【技術分野】
本発明は、例えば指紋,掌紋,血管パターン等の生体情報を取得するための装置に関し、より具体的には、例えばスウィープ型指紋センサにおいて指をそのセンサ面(採取面)に対して移動させながら連続的に採取される複数の部分画像(指紋画像)から、個人認証等に必要な情報を取得するための生体情報取得装置に関する。また、本発明は、例えば指紋,掌紋,血管パターン等の生体情報を用いて個人認証を行なう認証装置に関する。
【背景技術】
携帯電話やPDA(Personal Digital Assistant)などの小型情報機器は、近年の高機能化に伴い、ネットワークに接続されたり大量の個人情報などを格納したりすることができるようになり、これらの機器におけるセキュリティ性能の向上の要求が極めて高くなっている。
このような機器においてセキュリティを確保するするために、従来から広く用いられているパスワードやID(IDentification)カードなどによる個人認証を採用することが考えられる。しかし、パスワードやIDカードは盗用さる危険性が高いので、より信頼性の高い個人認証(機器のユーザが、予め登録されたユーザ本人であることの認証)を実現することが強く望まれている。このような要望に対し、生体情報(バイオメトリクス情報)による個人認証は、信頼性が高く、上述の要望に応えられるものと考えられる。特に、生体情報として指紋を用いた場合には利便性も高い。
生体情報として指紋を用いて個人認証を行なう場合、静電容量式指紋センサや光学式指紋センサにより、被認証者の指から指紋(指紋センサの採取面に接触しうる隆線と同採取面に接触しない谷線とから成る紋様)を画像情報として採取する。そして、その指紋画像の前景(例えば隆線像)から特徴情報(例えば分岐点や端点の位置情報)を抽出し、抽出された特徴情報と予め登録されている被認証者の登録特徴情報とを照合することにより、被認証者が本人であるか否かの判定つまり個人認証を行なっている。
ところで、被認証者から指紋画像を採取する一般的な指紋センサは、通常、指の大きさよりも大きいセンサ面(採取面)を有している。しかし、近年、指紋センサを携帯電話やPDAといった小型情報機器に搭載するために、センサ面の大きさを指の大きさよりも小さくし、そのセンサ面を通じて連続的に採取された複数の部分画像を統合して指紋全体の画像を得ることが行なわれている。
このような状況に対応した指紋センサとして、スウィープ型のものがある。このスウィープ型指紋センサは、指の長さよりも十分に短く、小面積の矩形採取面(センサ面/撮像面)を有している。そして、指を採取面に対して移動させるか、または、採取面(指紋センサ)を指に対して移動させるかしながら、指紋センサによって、指の指紋について複数の部分画像を連続的に採取し、採取された複数の部分画像から、指の指紋画像の全体を再構成することが試みられている。なお、上述のような、採取面に対する指の相対的移動のことを、「スウィープ(sweep)」と呼ぶ。また、再構成された指紋画像から、特徴点(隆線の分岐点や端点)の情報を抽出・生成し、その情報に基づいて上記個人認証が行なわれる。
ここで、複数の部分画像から、指の指紋画像の全体を再構成する従来技術としては、例えば、特開平8−263631号公報や特開2001−155137号公報に開示された技術がある。これらの公報に開示された技術は、センサ長手方向と直交する方向について指とセンサとの相対位置を取得し、指全体の画像を再構成するものである。また、他の従来技術としては、例えば、米国特許USP6,289,114やUSP6,317,508に開示された技術がある。これらの米国特許に開示された技術は、連続的に撮像された画像の重なりを測定し、その重なり部分に基づいて指全体の画像を再構成するものである。
しかしながら、上述のようなスウィープ型指紋センサによって採取され再構成された画像は、様々な要因によって歪みを含んだものとなり、指紋センサを用いて得られた指紋データと予め登録されている登録指紋データとの照合が困難になる場合がある。
例えば、センサ面に指を接触させながら移動させ指紋画像を採取する指紋センサでは、図5〜図7や図27〜図31を参照しながら後述するごとく、もともと立体的な形状を有する柔軟な指を平面的なセンサ面に押し付けることによって、あるいは、センサ面と指との間の摩擦のために指の接触部分がセンサ面に引っ掛かることによって、指そのものが変形し、指紋画像が大きな歪みを含むことになる。その変形の仕方は、指のスウィープ方向によって大きく異なる。
また、別なケースとしては、図19〜図26を参照しながら後述するごとく、指紋画像等を撮像する撮像デバイスに検出遅延がある場合には、指そのものの変形と関係なく画像が歪んでしまう。例えば、走査線毎に情報を検出してから、ある遅延時間の後に、隣の走査線で情報を検出する構造を有するセンサの場合(図25参照)、指とセンサとの相対位置が時間とともに大きく変化すると、取得される指紋画像のアスペクト比が変化するため伸縮歪みが生じる(図21〜図24参照)。また、セル単位に検出の遅延時間があるセンサの場合(図26参照)、スキュー歪みが生じる(図25,図26参照)。
このような歪みによって再構成画像の再現性が劣化することが大きな問題となるほか、歪み方の異なる複数の部分画像を繋ぎ合わせることによって、実際の指には存在しない指紋の紋様(指から分泌された皮脂や汗の像、あるいは、センサ面上の傷や検出素子の欠陥による像など)が現われることも問題となる。つまり、上述のように歪みが生じたり実際の指にはない指紋の紋様が現われたりすることによって、指紋センサを用いて被認証者から得られた特徴情報と予め登録されている特徴情報とが大きく異なってしまい、被認証者が本人であっても本人であることを認証できなくなる可能性があり、照合性能の劣化、つまりは個人認証の信頼性の低下を招いてしまう。
また、上記公報や上記米国特許に開示された技術では、上述のような画像の歪み等の問題が生じるだけでなく、複数の部分画像から指紋の全体画像を再構成するためには指全体の画像を格納しうる容量をもつメモリが必要となるとともに、処理時間もかかるため、小型情報機器に不向きであるという課題もある。
本発明は、このような課題に鑑み創案されたもので、各部分画像から抽出された特徴情報に対して補正を加えることにより、歪みを含まない特徴情報を少ないメモリ容量で且つ高速に得られるようにして、高品質な特徴情報による照合を可能にし、照合性能の向上、つまりは個人認証の信頼性の向上や利便性の向上を実現することを目的とする。
【発明の開示】
上記目的を達成するために、本発明の生体情報取得装置は、生体情報を映像化し該生体情報についての複数の部分画像を連続的に採取する画像採取手段と、該画像採取手段によって採取される該複数の部分画像のそれぞれから、各部分画像における特徴および該特徴の位置を抽出する特徴抽出手段と、該画像採取手段によって採取される該複数の部分画像のうちの、2以上の部分画像が相互に重なり合う領域に存在する該特徴に基づいて、該2以上の部分画像相互の相対位置を検出する相対位置検出手段と、該相対位置検出手段によって検出された該相対位置と各部分画像における該特徴の位置とに基づいて該特徴の歪み量を算出し、算出された該歪み量に基づいて各部分画像における該特徴の位置を補正して該特徴の相対位置を得る補正手段(第1補正手段)とをそなえて構成されたことを特徴としている。
また、本発明の生体情報取得装置は、上述と同様の画像採取手段,特徴抽出手段および相対位置検出手段をそなえるとともに、該画像採取手段による各部分画像の採取時間間隔と該画像採取手段による各部分画像の採取遅延時間と該相対位置検出手段によって検出された該相対位置とに基づいて該画像採取手段の採取遅延に伴う各部分画像の歪みを解消するように各部分画像における該特徴の位置を補正し該特徴の相対位置を得る補正手段(第2補正手段)をそなえて構成されたことを特徴としている。
さらに、本発明の生体情報取得装置は、上述と同様の画像採取手段,特徴抽出手段および相対位置検出手段をそなえるほか、上記の第1補正手段および第2補正手段の両方の機能を有する補正手段(第3補正手段)とをそなえて構成されたことを特徴としている。
一方、本発明の生体情報による認証装置は、上述と同様の画像採取手段,特徴抽出手段および相対位置検出手段と、上記第1〜第3補正手段のうちのいずれか一つと、該特徴抽出手段によって抽出された特徴と該補正手段によって得られた該特徴の相対位置とを用いて被認証者の本人認証を行なうための登録用データおよび照合用データの少なくとも一方を生成する生成手段と、この生成手段によって生成された登録用データおよび照合用データの少なくとも一方を用いて被認証者の本人認証を行なうべく照合処理を実行する照合手段とをそなえて構成されたことを特徴としている。
そして、上述した生体情報取得装置や生体情報による認証装置において、以下のような構成(1−1)〜(1−15)をさらに付加してもよい。
(1−1)該画像採取手段が、該画像採取手段に対して相対的に移動している被検体(被認証者の被検体)から、該複数の部分画像を連続的に採取するものであり、該特徴抽出手段による特徴抽出を行なう前に、該画像採取手段によって採取される該複数の部分画像中に含まれる、移動しないパターンの画像を除去する除去手段をさらにそなえる。
(1−2)上記(1−1)において、該除去手段が、直前までに該画像採取手段によって採取される部分画像の重み付き平均画像を算出し、算出された該重み付き平均画像に基づいて、移動するパターンと移動しないパターンとを分離し、該移動しないパターンの画像を除去する。
(1−3)該特徴抽出手段が、各部分画像中の前景および該前景のエッジを該特徴として抽出する。
(1−4)該特徴抽出手段が、各部分画像中の前景を細線化して得られるパターンにおける端点および分岐点を該特徴として抽出する。
(1−5)該相対位置検出手段が、該画像採取手段によって連続的に採取される該2以上の部分画像相互の相対位置を、直前までに検出された1以上の相対位置を基準にして検出する。
(1−6)該相対位置検出手段が、該画像採取手段によって連続的に採取される該2以上の部分画像相互の相対位置を、直前までに検出された1以上の相対位置に基づいて推定された、次に検出されるべき相対位置を基準にして検出する。
(1−7)該相対位置検出手段が、該画像採取手段によって連続的に採取される該2以上の部分画像を、それぞれ、相互に重なり合う領域を有する2以上の部分領域に分けて取り扱い、該2以上の部分画像相互の相対位置を、該2以上の部分領域のそれぞれについて検出する。
(1−8)上記第2補正手段を有する認証装置において、該相対位置検出手段が、該画像採取手段によって連続的に採取される該2以上の部分画像を、それぞれ、相互に重なり合う領域を有する2以上の部分領域に分けて取り扱い、該2以上の部分画像相互の相対位置を、該2以上の部分領域のそれぞれについて検出し、該補正手段が、該2以上の部分領域のそれぞれについて、該画像採取手段の採取遅延に伴う各部分画像の歪みを解消するように該特徴の位置を補正する。
(1−9)該画像採取手段が、該画像採取手段に対して相対的に移動している被検体(被認証者の被検体)から、該複数の部分画像を連続的に採取するものであり、該画像採取手段によって採取される該複数の部分画像に基づいて、該画像採取手段に対して移動している移動物体の有無を検知する移動物体検知手段をさらにそなえる。
(1−10)上記(1−9)において、該移動物体検知手段が、直前までに該画像採取手段によって採取される部分画像の重み付き平均画像を算出し、算出された該重み付き平均画像に基づいて、該移動物体の有無を検知する。
(1−11)上記(1−10)において、該移動物体検知手段が、該画像採取手段によって採取される最新の部分画像と該重み付き平均画像との差分値が所定の閾値を超えた場合に該移動物体の存在を検知するものであり、該所定の閾値が、ノイズによる変動値よりも大きく設定されている。
(1−12)上記(1−9)〜(1−11)の構成を有する認証装置において、該移動物体検知手段により該移動物体の存在が検知されていない間は、該照合手段による上記照合処理を実行しない。
(1−13)上記(1−9)〜(1−11)の構成を有する認証装置において、該照合手段が、該画像採取手段による映像化時刻の早い部分画像から得られた該特徴およびその相対位置を優先的に用いて上記照合処理を実行する。
(1−14)上記(1−13)において、該照合手段が、該被認証者の照合結果を確定した時点で上記照合処理を終了する。
(1−15)該画像採取手段が、該画像採取手段に対して接触しながら相対的に移動している被検体(被認証者の被検体)から、該複数の部分画像を連続的に採取するものであり、該被検体の接触移動に伴って発生する摩擦力を低減する摩擦力低減手段をさらにそなえる。
また、本発明の生体情報取得装置は、採取面に接触しながら移動する被検体の生体情報を映像化し該生体情報についての複数の部分画像を連続的に採取する画像採取手段と、該被検体の接触移動に伴って発生する摩擦力を低減する摩擦力低減手段とをそなえて構成されたことを特徴としている。
上述した本発明の生体情報取得装置および生体情報による認証装置によれば、以下のような効果ないし利点(2−1)〜(2−16)を得ることができる。
(2−1)2以上の部分画像が相互に重なり合う領域(重複領域)に存在する特徴に基づいて、2以上の部分画像相互の相対位置を検出し、その相対位置と各部分画像における特徴の位置とから推定された歪み量に基づいて、各部分画像における特徴の位置を補正し、特徴の相対位置を得ることにより、例えば指紋の部分画像の採取時に指自体が変形するために生じた歪みが特徴情報から除去される。これにより、歪みの無い特徴情報が得られ、個人認証時に高品質な特徴情報による照合が可能になるので、照合性能の向上、つまりは個人認証の信頼性の向上を実現することができる。
(2−2)2以上の部分画像が相互に重なり合う領域(重複領域)に存在する特徴に基づいて、2以上の部分画像相互の相対位置を検出し、その相対位置と画像採取手段による各部分画像の採取時間間隔と画像採取手段による各部分画像の採取遅延時間とに基づいて、画像採取手段の採取遅延に伴う各部分画像の歪みを解消するように各部分画像における特徴の位置を補正し、特徴の相対位置を得ることにより、例えばスウィープ型指紋センサの検出遅延のために生じていた画像歪み(伸縮歪みやスキュー歪み)が特徴情報から除去される。これにより、歪みの無い特徴情報が得られ、個人認証時に高品質な特徴情報による照合が可能になるので、照合性能の向上、つまりは個人認証の信頼性の向上を実現することができる。
(2−3)上記(2−1)および(2−2)の補正を両方とも行なうことにより、例えば、指紋の部分画像の採取時に指自体が変形するために生じた歪みや、例えばスウィープ型指紋センサの検出遅延のために生じていた画像歪み(伸縮歪みやスキュー歪み)の両方が特徴情報から除去され、個人認証時により高品質な特徴情報による照合が可能になって、照合性能のさらなる向上、つまりは個人認証の信頼性のさらなる向上を実現することができる。
(2−4)各部分画像から抽出された特徴情報に対し補正が行なわれるので、各部分画像をそのまま保存する必要がなく、歪みの無い特徴情報を、少ないメモリ容量で且つ高速に得ることができる。
(2−5)特徴の位置の補正を完了した順に部分画像単位で照合処理を逐次行なうように制御することにより、小型センサを利用しながら精度の高い生体情報照合を行なえ、利便性の極めて高い個人認証システムを実現することが可能になる。
(2−6)照合に必要な生体情報の全体的な分布を一度に取得する必要がなくなり、小型センサによって容易に生体情報を用いた個人認証が可能となるので、携帯電話やPDAといった小型情報機器のようにセンサを組み込む空間が十分得られない装置に対しても、生体情報センサを実装して、セキュリティ性能を向上させることが可能になる。
(2−7)画像採取手段が例えばスウィープ型の生体情報センサである場合、各部分画像中の移動しないパターンの画像を除去することにより、例えば、センサ面に付着した皮脂,汗,水蒸気などの像や、センサ面における傷の像や、センサを成す検出素子の欠陥による像が、移動しないパターン(背景)として部分画像から除去される。これにより、上述のごとく移動しないパターンが、実際の指には存在しない指紋の紋様等として部分画像上に現われるのを確実に防止できるので、照合に不要な特徴情報が抽出されることがなくなり、照合性能をより向上させることができる。
(2−8)各部分画像中の前景(例えば隆線画像の輝度値)およびその前景のエッジ(例えば輝度勾配の値)を特徴として抽出し、これらの前景とエッジの両方を用いて相対位置を検出することにより、部分画像が、類似した形状の縞パターンを有していても、部分画像相互の相対位置を正確に検出できるので、相対位置の検出性能を向上させることができる。
(2−9)各部分画像中の前景(例えば隆線画像)を細線化して得られるパターンにおける端点および分岐点を特徴として抽出し、これらの端点や分岐点を用いて相対位置を検出することにより、個人認証を行なうべく特徴情報(指紋の場合、端点や分岐点)の照合を行なう際に、指紋等の全体画像から特徴点を抽出する必要がなくなるので、処理時間を大幅に短縮できる。また、特徴情報抽出後の部分画像は、メモリに蓄積しておく必要のないものであり、その部分画像を破棄できるので、メモリ使用量を大幅に削減することができる。
(2−10)2以上の部分画像相互の相対位置を、直前までに検出された1以上の相対位置を基準にして検出することにより、相対位置を検出する際の演算回数を低減することができる。つまり、相対位置を検出すべく相関値を算出する範囲(探索範囲)が、例えばスウィープ方向に沿う範囲に限定され、相対位置を検出するための処理時間を短縮できる。このとき、部分画像の取得間隔が十分短ければ、スウィープ方向が急に反転することはありえないので、探索範囲を限定しても十分な相対位置の検出性能を得ることができる。
(2−11)2以上の部分画像相互の相対位置を、直前までに検出された1以上の相対位置に基づいて推定された、次に検出されるべき相対位置を基準にして検出することによっても、上記(2−10)と同様、相対位置を検出する際の演算回数を低減することができる。つまり、部分画像の取得間隔が十分短ければ、スウィープ方向およびスウィープ速度が急に大きく変わることはありえないと仮定できるので、直前までに検出した相対位置を元にして、次の探索範囲を限定することができる。従って、相対位置を検出するための処理時間を短縮できるとともに、探索範囲を限定しても十分な相対位置の検出性能を得ることができる。
(2−12)2以上の部分画像を、それぞれ、相互に重なり合う領域を有する2以上の部分領域に分けて取り扱い、2以上の部分画像相互の相対位置を、2以上の部分領域のそれぞれについて検出することにより、例えば指紋の部分画像を採取する際に指が大きく変形したような場合でも、各部位ごとの相対位置を精度良く検出することが可能になる。
(2−13)例えばスウィープ型の生体情報センサを用いて複数の部分画像を連続的に採取する場合、その生体情報センサによって得られた複数の部分画像に基づいて、生体情報センサに対して移動している移動物体(例えば指)の有無を検知することにより、移動物体を検知するためのセンサを別途用意する必要がなく、コストをかけることなく移動物体を検知して実用性を高めることができる。その際、直前までに採取される部分画像の重み付き平均画像を算出し、その重み付き平均画像と最新の部分画像との差分値が所定の閾値を超えた場合に移動物体の存在を検知したものと判定することができる。このとき、移動しないパターン(背景)の除去を行なう際に算出した重み付き平均画像をそのまま用いれば、演算量の増加を招くことなく移動物体を検知することが可能になる。また、上記所定の閾値をノイズによる変動値よりも大きく設定することにより、誤ってノイズを移動物体として検知してしまうのを確実に防止し、移動物体の検知性能を向上させることができる。
(2−14)少なくとも移動物体以外の情報については照合を行なう必要がないので、移動物体の存在が検知されていない間は、照合処理を実行しない、つまり、移動物体が検知されない間は照合処理を開始せず移動物体の存在が検知されている間だけ照合処理を行なうように構成することにより、演算に要する時間や負荷を低減することができる。また、ノイズから抽出された特徴情報が照合処理に用いられるのを避けることができるので、照合性能を劣化させることがない。
(2−15)映像化時刻の早い部分画像から得られた特徴およびその相対位置を優先的に用いて照合処理を実行するとともに、被認証者の照合結果を確定した時点で照合処理を終了するように構成することにより、スウィープ動作によって先に入力された部分画像群から特徴が逐次生成されていくことになるので、全体の特徴を得る前に照合処理を開始することができる一方、照合結果が確定した時点で照合処理を早期に打ち切ることが可能になる。
(2−16)例えばスウィープ型の生体情報センサのごとく、センサ面に対して接触しながら相対的に移動している被検体(被認証者の被検体)から複数の部分画像を連続的に採取するセンサを用いる場合、被検体の接触移動に伴って発生する摩擦力を低減する摩擦力低減手段をそなえることにより、被検体のスウィープ動作を容易に行なえ利便性が向上するほか、被検体の生体変形を低減することができ、再現性の高い生体情報画像が得られ照合性能を向上させることができる。
【図面の簡単な説明】
図1は本発明の一実施形態としての生体情報による認証装置の機能構成を示すブロック図である。
図2は本発明の一実施形態としての生体情報による認証装置の具体的な構成を示すブロック図である。
図3はスウィープ型指紋センサでの指紋画像採取動作(スウィープ動作)について説明するための図である。
図4はスウィープ型指紋センサによって連続的に採取される部分画像について説明するための図である。
図5は一般的な指紋センサによって得られる指紋画像の一例を示す図である。
図6はスウィープ型指紋センサによって採取される部分画像から再構成された指紋全体画像の一例(指紋データ登録時に採取されたもの)を示す図である。
図7はスウィープ型指紋センサによって採取される部分画像から再構成された指紋全体画像の他例(照合時に被認証者から採取されたもの)を示す図である。
図8はスウィープ動作を行なわない状態(指を停止した状態)で採取された部分画像の一例を示す図である。
図9はスウィープ動作中に採取される部分画像の一例を示す図である。
図10はセンサ面に欠陥や汚れがある場合に採取される部分画像の一例を示す図である。
図11は図10に示すような欠陥や汚れがある場合に採取された部分画像の平均画像を示す図である。
図12は移動しないパターン(欠陥や汚れの像)を除去された部分画像の一例を示す図である。
図13は前景情報のみでは相対位置の検出が困難になる部分画像の一例を示す図である。
図14はエッジ情報のみでは相対位置の検出が困難になる部分画像の一例を示す図である。
図15は部分画像中で抽出される特徴点の例を示す図である。
図16は直前までに検出された相対位置に基づいて次の探索範囲を限定することが可能である理由について説明するための図である。
図17および図18は、各部分画像を、相互に重なり合う領域を有する2以上の部分領域に分けて取り扱う場合の、相対位置検出手法について説明するための図である。
図19はライン毎に撮像データを読出し可能なセンサの構成例を示すブロック図である。
図20はセル毎に撮像データを読出し可能なセンサの構成例(画素単位の遅延時間を無視できないセンサの一例)を示すブロック図である。
図21は図19に示すセンサで指を静止させた状態を示す図である。
図22は図21に示す状態で採取された部分画像の一例を示す図である。
図23は図19に示すセンサで指をスウィープさせた状態を示す図である。
図24は図22に示す状態で採取された部分画像の一例(伸縮歪み)を示す図である。
図25は図20に示すセンサで指をスウィープさせた状態を示す図である。
図26は図25に示す状態で採取された部分画像の歪み(スキュー歪み)を説明するための図である。
図27〜図29は部分画像毎の隆線画像の変化を説明するための図である。
図30A〜図30Eはスウィープ動作時における指紋の変形の遷移を示す図である。
図31は本実施形態において得られる歪み分布の一例を示す図である。
図32は本実施形態における摩擦力低減手段の一例を模式的に示す斜視図である。
図33は本実施形態における摩擦力低減手段の他例を模式的に示す斜視図である。
図34は本実施形態における摩擦力低減手段としての突起物の第1変形例を示す斜視図である。
図35は本実施形態における摩擦力低減手段としての突起物の第2変形例を示す斜視図である。
図36は本実施形態の認証装置の動作を説明するためのフローチャートである。
【発明を実施するための最良の形態】
以下、図面を参照して本発明の実施の形態を説明する。
〔1〕本実施形態の認証装置の構成について
図1および図2は、いずれも本発明の一実施形態としての生体情報による認証装置(生体情報取得装置)を示すもので、図1はその機能構成(原理的な構成)を示すブロック図、図2はその具体的な構成を示すブロック図である。これらの図1および図2において、同一部分には同一符号を付している。
本実施形態の認証装置には、図1に示すように、生体情報入力手段(画像採取手段)10,特徴抽出手段20,相対位置検出手段30,補正手段40,移動物体検知手段(除去手段)50,生成手段60および照合手段70としての機能がそなえられている。
実際には、本実施形態の認証装置は、図2に示すごとく、例えばリアルタイムクロック80,揮発性メモリ部90,不揮発性メモリ部91およびCPU(Central Processing Unit)100を有する一般的なパーソナルコンピュータ等に、生体情報入力手段(画像採取手段)としての静電容量式スウィープ型指紋センサ10を付設することにより実現される。その際、後述する、特徴抽出部(特徴抽出手段)20,相対位置検出部(相対位置検出手段)30,補正部(補正手段)40,移動物体検知部(移動物体検知手段/除去手段)50,登録/照合用データ生成部(生成手段)60および照合部(照合手段)70としての機能が、所定のプログラムをCPU100で実行することにより実現される。
静電容量式スウィープ型指紋センサ(画像採取手段)10は、被認証者の生体情報を映像化しその生体情報についての複数の部分画像を連続的に採取するもので、より具体的には、被認証者の指(被検体;図3〜図7,図32,図33の符号200参照)を採取面(センサ面)11に対し相対的に接触移動させながら、その指の指紋の部分画像を連続的に採取するものである。
指紋は、被認証者の外皮(指;被検体)上に形成されており、センサ面11に接触しうる隆線(接触部分)とセンサ面11に接触しない谷線(非接触部分/空隙部分)とから成る紋様である。指紋センサ10は、センサ面11に接触する隆線部分とセンサ面11に接触しない谷線部分とで検知感度が異なることを利用して、指紋の部分画像を多値画像として採取するようになっている。多値画像では、センサからの距離に応じて輝度が異なっており、通常、センサとの距離が近い隆線部分が低輝度で表示され、センサとの距離が比較的遠い谷線部分高輝度で表示される。
指紋による認証時に、被認証者は、指紋センサ10のセンサ面11上を指で触れながら、指の根元側から指先側,指先側から指の根元側,指の右側から左側など任意の方向に指を移動させる。ただし、指紋センサ10側を指に対して移動させる機構をそなえた場合、被認証者は指を移動させる必要はない。以降、本実施形態では、図3,図4,図6,図7を参照しながら後述するごとく、被認証者が、指200をその根元側から指先側に向けてスウィープする場合について説明する。なお、指紋センサ10の詳細な構成については、図19,図20を参照しながら後述する。
リアルタイムクロック80は、指紋センサ10によって連続的に採取される各部分画像にタイムスタンプを付加するために用いられるものである。
揮発性メモリ部90は、指紋センサ10によって連続的に採取される部分画像や、CPU100の機能によって得られた特徴,相対位置,補正結果や、CPU100で本実施形態の認証装置としての機能を実現するために必要になる各種パラメータ(例えば補正部40による処理で必要になる補正用パラメータ等)などを記憶するものである。
不揮発性メモリ部91は、被認証者について予め登録されている指紋データを保持するものである。この不揮発性メモリ部91に保持される指紋データは、指の大きさよりも大きいセンサ面を有する一般的な指紋センサによって採取された指紋画像から抽出されたものであってもよいし、本実施形態の登録/照合用データ生成部60によって生成された登録用データであってもよい。
特徴抽出部(特徴抽出手段)20は、指紋センサ10によって採取される複数の部分画像のそれぞれから、各部分画像における特徴およびその特徴の位置を抽出するものである。ここで、特徴としては、各部分画像中の前景(本実施形態では隆線画像の輝度値;図13参照)およびその前景のエッジ(本実施形態では輝度勾配の値;図14参照)の両方を抽出してもよいし、図15を参照しながら後述するごとく、各部分画像中の前景(本実施形態では隆線画像)を細線化して得られるパターンにおける端点および分岐点を抽出してもよい。
相対位置検出部(相対位置検出手段)30は、指紋センサ10によって採取される複数の部分画像のうちの、連続する2つの部分画像が相互に重なり合う領域に存在する特徴(特徴抽出部20によって抽出された特徴)に基づいて、これら2つの部分画像相互の相対位置を検出するものである。このとき、相対位置検出部30が、上記相対位置を、直前までに検出された1以上の相対位置を基準にして検出してもよいし、図16を参照しながら後述するごとく、上記相対位置を、直前までに検出された1以上の相対位置に基づいて推定された、次に検出されるべき相対位置を基準にして検出してもよい。また、相対位置検出部30は、図17および図18を参照しながら後述するごとく、指紋センサ10によって連続的に採取される各部分画像を、相互に重なり合う領域を有する2以上の部分領域に分けて取り扱い、上記相対位置を2以上の部分領域のそれぞれについて検出するようにしてもよい。
補正部(補正手段)40は、指紋センサ10の検出遅延のために生じていた画像歪みや指の変形による歪みを補正するためのものである。この補正部40は、下記のような2種類の補正機能を有している。第1の補正機能は、図3〜図7および図27〜図31を参照しながら後述するごとく、相対位置検出部30によって検出された相対位置と各部分画像における特徴の位置とに基づいて特徴の歪み量(指の変形による歪み量)を算出し、算出された歪み量に基づいて、各部分画像における特徴の位置を補正する機能である。また、第2の補正機能は、指紋センサ10による各部分画像の採取時間間隔と、指紋センサ10による各部分画像の採取遅延時間と、相対位置検出部30によって検出された相対位置とに基づいて、指紋センサ10の採取遅延に伴う各部分画像の歪み(伸縮歪みやスキュー歪み;図19〜図26を参照しながら後述)を解消するように各部分画像における特徴の位置を補正して、特徴の相対位置を得る機能である。
なお、相対位置検出部30が、指紋センサ10によって連続的に採取される各部分画像を、相互に重なり合う領域を有する2以上の部分領域に分けて取り扱い、上記相対位置を2以上の部分領域のそれぞれについて検出する場合、補正部40は、各部分領域について、指紋センサ10の採取遅延に伴う各部分画像の歪みを解消するように特徴の位置を補正する。
移動物体検知部(移動物体検知手段/除去手段)50は、指紋センサ10によって採取される複数の部分画像に基づいて、指紋センサ10に対して移動している移動物体(ここでは被認証者の指)の有無を検知するためのもので、直前までに指紋センサ10によって採取される部分画像の重み付き平均画像を算出し、算出された重み付き平均画像に基づいて、移動物体の有無を検知するようになっている。より具体的に、移動物体検知部50は、指紋センサ10によって採取される最新の部分画像と算出された重み付き平均画像との差分値が所定の閾値を超えた場合に移動物体の存在を検知するものであり、その所定の閾値が、ノイズによる変動値よりも大きく設定されている。そして、本実施形態では、この移動物体検知手段50により移動物体の存在が検知されていない間は、後述する照合部70による照合処理を実行しないように構成されている。
また、本実施形態の移動物体検知部50は、特徴抽出部20による特徴抽出を行なう前に、指紋センサ10によって採取される複数の部分画像中に含まれる、移動しないパターンの画像を除去する除去手段としての機能も有している。この除去手段としての機能によれば、図8〜図12を参照しながら後述するごとく、直前までに指紋センサ10によって採取される部分画像の重み付き平均画像が算出され、算出された重み付き平均画像に基づいて、移動するパターンと移動しないパターンとが分離され、移動しないパターンの画像が除去されるようになっている。
登録/照合用データ生成部(生成手段)60は、特徴抽出部20によって抽出された特徴と、補正部40によって得られた特徴の相対位置とを用いて、被認証者の本人認証を行なうための指紋データ(登録用データおよび照合用データ)を生成するものである。指紋データの登録時には、登録/照合用データ生成部60によって生成された指紋データ(隆線の分岐点や端点の位置やパターンなど公知の情報)が、登録用データとして不揮発性メモリ部91に登録・保持される。被認証者の本人認証時には、登録/照合用データ生成部60によって生成された指紋データ(隆線の分岐点や端点の情報)が、照合用データとして照合部70に送られる。
照合部(照合手段)70は、登録/照合用データ生成部60によって生成された照合用データと不揮発性メモリ部91に保持されている被認証者の登録用データとを比較して照合処理を実行し、被認証者の本人認証を行なうものである。この照合部70は、指紋センサ10による映像化時刻(リアルタイムクロック80によるタイムスタンプの時刻)の早い部分画像から得られた特徴およびその相対位置を優先的に用いて、上記照合処理を実行し、被認証者の照合結果を確定した時点で上記照合処理を終了するように構成されている。
また、本実施形態の認証装置における指紋センサ10のセンサ面11の周辺には、図32〜図35を参照しながら後述するごとく、指(被検体)200の接触移動に伴って発生する摩擦力を低減するための摩擦力低減手段15〜18がそなえられている。
〔2〕本実施形態の認証装置の詳細構成,動作および効果について
さて、次に、図3〜図35を参照しながら、本実施形態における認証装置の、より詳細な構成,動作および効果について説明する。
〔2−1〕スウィープ型指紋センサおよび本実施形態の認証装置について
本実施形態の認証装置では、後述するごとく、スウィープ型指紋センサ10により得られた複数の部分画像から生体情報全体の画像(以降、「全体画像」と呼ぶ)を再構成することなく、照合に必要な生体情報の特徴の分布(指紋の特徴点分布)を取得する機能が実現される。
本実施形態では、上述した通り生体情報として指紋を用いており、図3および図4を参照しながら、スウィープ型指紋センサ10での指紋画像採取動作(スウィープ動作)およびスウィープ型指紋センサ10によって連続的に採取される部分画像について説明する。
指200の大きさに比べて十分に小さいセンサ面11を有する指紋センサ10によって得られる指紋画像の一部分(以降、「部分画像」と呼ぶ)を寄せ集めて指紋の全体画像の情報を得るためには、少なくとも部分画像相互間の相対位置を得る必要があることは明らかである。
図3および図4では、指紋センサ10に対して指200の根元側から指先側まで時間を追って部分画像を採取する様子が示されている。例えば、時刻Tに撮像された部分画像と時刻T+1に撮像された部分画像とが十分な大きさの重複領域を有している場合、2つの部分画像の重複領域には、ほぼ同一のパターンが現われる。つまり、ほぼ同一のパターンが重なり合うように部分画像を繋ぎ合わせることで、より広範囲の指紋画像を取得することができる。このとき、ある時刻に採取された部分画像を基準として、あとの時刻に採取された部分画像相互間の相対位置を検出する必要がある。以降、図3や図4に示すごとく部分画像の採取位置をほぼ一定の方向にずらす操作をスウィープと呼ぶ。
指紋センサ10によって得られた複数の部分画像には、極めて類似したパターン(例えば指紋の縞パターン)が繰り返し出現する。このため、部分画像相互間の相対位置を高精度に検出するには、各部分画像から、より特徴的な部位を特徴として抽出する必要がある。その特徴としては、図13〜図15を参照しながら後述するごとく、輝度勾配や、二値化によって得られる前景部分あるいは前景部分の輪郭線などが挙げられる。さらに、指紋特有のパターンに着目すると、隆線の端点や分岐点も上記特徴として挙げられる。
本実施形態では、このような特徴を特徴抽出部20により抽出し、抽出された特徴を用いて、相対位置検出部30により各部分画像相互間の相対位置を検出する。その際、照合に必要な特徴(指紋の場合、隆線の端点や分岐点)が部分画像から抽出されていれば、全体画像を再構成することなく登録用データや照合用データを容易に生成することが可能になる。
なお、相対位置検出部30での相対位置検出手法としては、公知の手法が用いられる。例えば、重複領域を逐次変更しながら相関を表す値を算出し、その値が最適となる位置を相対位置として検出する。
ところで、背景技術の欄において説明した通り、指紋センサ10の遅延特性や指200の可塑性により部分画像は歪みを含むことになる。また、指200あるいは指紋センサ10をずらす方向(以降、スウィープ方向と呼ぶ)や速度(以降、スウィープ速度と呼ぶ)に再現性が得られない場合、指紋データの登録時と照合時とで得られる特徴分布が異なってしまうことは避けられない。
指の大きさよりも大きいセンサ面(採取面)を有する一般的な指紋センサを用いた場合、同一の指からは常にほぼ同一の指紋画像(例えば図5に示すような画像)を採取することができる。
一方、スウィープ型の指紋センサ10を用いた場合、指200とセンサ面11との間で発生するスウィープ方向と逆向きの摩擦力によって指200が変形する。スウィープ動作を、固定されたセンサ面11に対して指200を移動させることによって実現する場合、例えば図6や図7に示すごとく、スウィープ方向側の表皮が伸ばされて隆線間隔が広がり、スウィープ方向とは逆側の表皮は縮められ隆線間隔が狭まる。
従って、例えば、図6に示すように指紋データ登録時に指200を指紋センサ10に対して右下方向に移動させて得られた指紋データと、図7に示すように照合時(本人認証時)に指200を指紋センサ10に対して左下方向に移動させて得られた指紋データとでは、同一の被認証者から得られたものであっても、大きく異なる特徴分布を有し、登録時と照合時において特徴の位置は必ずしも一致しない。このため、指紋データ採取時における指200の変形は、照合性能劣化の要因となる。
本実施形態では、上述のような変形による歪みを、図27〜図31を参照しながら後述するごとく補正部40によって補正して除去し、照合性能を向上させている。
さらに、本実施形態では、図19〜図26を参照しながら後述するごとく発生する、指紋センサ10の遅延特性による歪みも、補正部40によって補正して除去し、照合性能を向上させている。
上述のように、本実施形態の認証装置では、相対位置検出部20が、連続する2つの部分画像の重複領域に存在する特徴に基づいて部分画像相互の相対位置を検出してから、後述するごとく、補正部40が、指の変形による歪みや指紋センサ10の遅延特性による歪みを除去するように各部分画像における特徴の位置を補正する。そして、登録/照合用データ生成部60により補正後の特徴情報から生成された指紋データが、登録用データとして不揮発性メモリ部91に登録されたり、照合用データとして照合部70での照合処理に用いられる。これにより、歪みが低減された指紋データが得られ、個人認証時に高品質な指紋データによる照合が可能になるので、照合性能の向上、つまりは個人認証の信頼性の向上を実現することができる。
このとき、特徴抽出部20により各部分画像から抽出された特徴に対し補正が行なわれるので、各部分画像をそのまま保存する必要がなく、歪みの無い指紋データを、少ないメモリ容量で且つ高速に得ることができる。また、部分画像や全体画像をそのまま用いず、抽出された特徴の相対位置を用いて照合を行なうことにより、メモリ使用量を大幅に低減しながら信頼性の高い照合を行なうことが可能になる。
さらに、本実施形態の認証装置においては、補正部40による特徴の位置の補正を完了した部分画像から順に、照合部70により部分画像単位で照合処理を逐次行なうように制御することで、小型のスウィープ型指紋センサ10を利用しながら精度の高い指紋照合を行なえ、利便性の極めて高い個人認証システムを実現することが可能になる。
また、照合に必要な生体情報(本実施形態では指紋の特徴点の情報)の全体的な分布を一度に取得する必要がなくなり、小型のスウィープ型指紋センサ10によって容易に指紋を用いた個人認証が可能となるので、携帯電話やPDAといった小型情報機器のようにセンサを組み込む空間が十分得られない装置に対しても、指紋センサ10を実装して、セキュリティ性能を向上させることが可能になる。
〔2−2〕背景除去機能について
次に、図8〜図12を参照しながら、移動物体検知部50の上記除去手段としての機能(除去機能)について説明する。なお、図8はスウィープ動作を行なわない状態(指200を停止した状態)で採取された部分画像の一例を示す図、図9はスウィープ動作中に採取される部分画像の一例を示す図、図10はスウィープ型指紋センサ10のセンサ面11に欠陥や汚れがある場合に採取される部分画像の一例を示す図、図11は図10に示すような欠陥や汚れがある場合に採取された部分画像の平均画像を示す図、図12は移動しないパターン(欠陥や汚れの像)を除去された部分画像の一例を示す図である。
本実施形態の認証装置では、上記除去機能を用いて移動物体ではないパターンを予め除去しておくことで、生体情報を反映しない画像情報から特徴が抽出されないようにする。
例えば、指200の表面上(隆線上)には、多数の汗腺が開口しており、これらの汗腺から、常時、汗,皮脂,水蒸気といった分泌物が分泌されている。このため、指紋画像を採取すべく指200を指紋センサ10のセンサ面11に対して接触移動させると、汗腺からの分泌物がセンサ面11に付着してしまい、指紋センサ10が、センサ面11に付着した分泌物を隆線部分と同様に映像化し、例えば図9に示すように、部分画像中における低輝度パターンとして採取する場合がある。
スウィープ動作を行なわない状態(指200を停止した状態)では、図8に示すように皮脂や汗は隆線とセンサが接触している部分に付着するため、通常は隆線パターンとして検出されるのに対し、スウィープ動作を行なう場合には、図9に示すように、汗がスウィープ方向へ引き摺られて隆線とともに映像化されてしまう。このような汗の画像は、隆線画像と類似した特徴を有しているため、図9に示すような部分画像から、実際には存在しない特徴情報が抽出され、照合性能の低下を招く可能性がある。なお、図9に示すごとくセンサ面11に付着した汗は、指200のスウィープ動作に伴い次第に薄れていく。
また、上述のような汗の画像のほか、隆線間(つまり谷線部分)における皮脂もしくは水蒸気の画像が、指紋の隆線と谷線との間のコントラストを低下させ、照合性能の低下を招く要因になっている。
さらに、センサ面11に傷がある場合や、指紋センサ10を成す検出素子(セル)に局在的な欠陥がある場合や、センサ面11に汚れがある場合、指紋センサ10の特性によっては、図10に示すように、これらの傷,欠陥,汚れが前景(隆線画像)と同様の輝度を有する場合があり、このような場合、傷,欠陥,汚れの像が相対位置検出精度を劣化させ、ひいては照合性能を劣化させる。
従って、特徴抽出部20により部分画像から特徴が抽出される前に、移動物体ではないパターンを除去することにより、照合性能を向上させることが可能になる。
本実施形態の認証装置における移動物体検知部50では、移動物体ではないパターンを背景とみなして除去するために重み付き平均画像を用いる。
図10に示すように、移動物体(指200;実際には隆線画像)は時々刻々と位置を変えるので、隆線画像が、複数の部分画像上の同じ位置に同じパターンとして出現する可能性は著しく低い。このため、複数の部分画像から得られた重み付き平均画像(重畳画像)において、隆線に対応する画像は平均化され、隆線の画像情報(画像強度)は薄れることになる。
これに対し、移動しないパターンである背景画像は、複数の部分画像上の同じ位置に同じパターンとして出現する。例えば図10に示すごとく指200をセンサ面11に対しスウィープした際、皮脂や汗あるいは水蒸気などのパターンがセンサ面11に付着すると、そのパターンは、スウィープ動作に伴い指200で拭い去られるか、もしくはセンサ面11から蒸発するまでの間、各部分画像の同じ位置に出現したままになる。このため、例えば図11に示すように、複数の部分画像から得られた重み付き平均画像(重畳画像)において、移動しないパターンに対応する画像は、周囲と比べて強調されることになる。
そこで、本実施形態の移動物体検知部50は、隆線のように移動する像ではないパターンを、生体(指200)から分泌された汗等がセンサ面11に付着したもの、もしくは、汚れ,欠陥,傷として検知すべく、複数の部分画像の重み付き平均画像を算出し、この重み付き平均画像を用い、指紋センサ10により撮像した複数の指紋部分画像において、指紋画像(隆線画像)と、移動物体ではないパターンの画像とを分離し、その移動しないパターンの画像を、例えば図12に示すように部分画像から除去している。
ただし、前述した通り、センサ面11に付着した汗や皮脂等は、時間が経過するにつれてスウィープ動作に伴い指200で拭い去られるか、もしくはセンサ面11から蒸発することによって映像化されなくなるので、古い画像の情報は無意味となる。そのため、常に新しい部分画像を用いて、移動しないパターンを反映した重み付き平均画像G(i,j,K)を算出するには、例えば下式(1)を用いる。

このような式(1)を用い、入力画像F(i,j,K−k)に対して重みw(k)を乗じてn枚の部分画像についての重み付き平均画像G(i,j,K)を演算したものを、移動していないパターン(つまり背景画像)とみなす。ここで、nは所定時間内に取得される画像枚数と定義してもよいし、所定距離内に取得される画像枚数と定義してもよい。また、重みw(k)は、新しい部分画像ほど(つまりkが小さいほど)大きくなるように設定されている。
このとき、演算時間と使用メモリ量とを低減するために、上式(1)に代え、例えば下式(2)を用いて重み付き平均画像G(i,j,K)を算出してもよい。

なお、上式(1)や(2)に準じた演算を行なって重み付き平均画像G(i,j,K)を算出してもよく、いずれの式においても指紋センサ10の局所的な欠陥によるパターンは常に背景として強調されることは明らかである。
移動しないパターンを背景として除去するためには、例えば、最大の量子化レベルをMとし、下式(3)を用いて背景画像を除去した画像F’(i,j)を算出してもよい。

この(3)式に準じた演算を行なって背景画像の除去を行なってよく、このような演算により、図10に示すような部分画像を得たとしても、図11に示すような平均画像を用いて移動しないパターン(背景画像)を除去することによって、図12に示すような、移動物体つまり指紋の隆線パターンのみを含む部分画像を得ることが可能になる。
別な考え方として、所定の閾値Thを用い、

上式(4)のごとく、G(i,j)をマスクとして、背景画像を除去した部分画像F’を算出してもよく、これに準じた演算を行なってもよい。
上述のようにして特徴抽出前に各部分画像中の移動しないパターンの画像(背景画像)を除去しておくことで、例えば、センサ面11に付着した皮脂,汗,水蒸気などの像や、センサ面11における傷の像や、指紋センサ10を成す検出素子(セル)の欠陥による像が部分画像から除去される。これにより、上述のごとく移動しないパターンが、実際の指200には存在しない指紋の紋様等として部分画像上に現われるのを確実に防止できるので、照合に不要な特徴情報が抽出されることがなくなり、照合性能をより向上させることができる。
〔2−3〕特徴抽出部によって抽出される特徴について
次に、本実施形態の特徴抽出部20によって抽出される特徴について、図13〜図15を参照しながら説明する。
特徴抽出部20は、部分画像相互間の相対位置を検出するために用いる特徴として、前景とそのエッジとの両方を抽出してもよいし、前景である隆線の特徴点(端点,分岐点)を抽出してもよい。
まず、特徴抽出部20が、前景とそのエッジとの両方を特徴として抽出する場合について説明する。
ここで、前景とは、部分画像のうち、生体情報として検出される領域、例えば指紋の場合では隆線とみなされる領域を指す。前景としては、部分画像の輝度値をそのまま用いてもよく、二値化後前景としてラベルを与えたものを用いてもよい。前景のエッジは、輝度勾配の値を用いてもよいし、前景の輪郭としてラベルを与えたものを用いてもよい。
指紋の部分画像は、一般に類似した形状の縞パターンを有するため、入力された部分画像のみ、もしくは、前景のみを用いて部分画像相互間の相対位置を検出すると、その相対位置として、図13に示すように1隆線分ずれた位置を誤って検出する場合があり、相対位置の検出性能が劣化する。より具体的に説明すると、図13において、f(T)は時刻Tに採取された部分画像、f(T+1)は時刻T+1に採取された部分画像であり、これらの部分画像f(T)とf(T+1)との相対位置を検出する場合、前景情報のみを用いると、その相対位置が1隆線分ずれた位置であるか2隆線分ずれた位置であるかを正しく判断することができない。
また、エッジのみをを用いて相対位置を検出する場合、図14に示すように、隆線と谷線とが互い違いになった位置を誤って検出する場合があり、相対位置の検出性能が劣化する。なお、図14においてもf(T)は時刻Tに採取された部分画像、f(T+1)は時刻T+1に採取された部分画像である。
従って、前景が背景よりも高い特徴を有しエッジが前景よりも高い特徴を有する場合、少なくともこれら2つの特徴(前景およびエッジ)を用いて相対位置を検出することにより、部分画像が、類似した形状の縞パターンを有していても、部分画像相互の相対位置を正確に検出できるので、相対位置の検出性能を向上させることができる。なお、公知のシャープネス強調フィルタを用いることで、原理上、前景とエッジとの両方を用いて相対位置の検出を行なったのと同様の作用効果を得ることができる。
一方、特徴抽出部20が、各部分画像において、例えば図15に示すように、生体情報画像の前景(隆線画像)を細線化したパターンにおける端点および分岐点を特徴として抽出する場合、これらの特徴(端点や分岐点)は局所的な形状を表すので、必ずしも複数の部分画像から指紋の全体画像を再構成する必要がなくなる。入力された部分画像そのものは、特徴抽出後は、揮発性メモリ部90に蓄積しておく必要がないものであるので、特徴抽出後の部分画像を破棄することにより、揮発性メモリ部90のメモリ使用量を大幅に削減することができる。
また、上述のように端点および分岐点を特徴として抽出し、これらの端点や分岐点を用いて相対位置を検出することで、個人認証を行なうべく特徴情報(指紋の場合、端点や分岐点)の照合を行なう際に、指紋等の全体画像から特徴点を抽出する必要がなくなるので、処理時間を大幅に短縮できる。なお、端点や分岐点等の特徴は、例えば図15における太線枠のサイズの画像があれば、検出可能である。
〔2−4〕相対位置の検出手法について
次に、本実施形態の相対位置検出部30による相対位置の検出手法について、図16〜図18を参照しながら説明する。
相対位置検出部30により部分画像相互間の相対位置を検出する際、直前までに検出された1以上の相対位置を基準にして相対位置を検出することにより、演算回数を低減することができる。つまり、スウィープ方向が極端に変動しないことを前提とし、相対位置を検出すべく相関を表す値を算出する範囲(以下、探索範囲という)を、例えばスウィープ方向に沿う範囲に限定することにより、演算回数を低減し、相対位置を検出するための処理時間を短縮できる。
このとき、指紋センサ10による部分画像の取得間隔が十分短ければ、スウィープ方向が急に反転することはありえないと仮定することができる。これは全ての物体が慣性の法則に逆らって運動することがないことから自明である。従って、探索範囲をスウィープ方向に沿って設定するだけで、十分な相対位置の検出性能を得ることができる。また、画像取得間隔が十分に短い場合には、探索範囲を1隆線以下とみなすことによって、さらに演算回数を低減できるとともに、相対位置の検出を誤る危険性を低減することができる。
一方、相対位置検出部30により部分画像相互間の相対位置を検出する際、相対位置検出における探索範囲を限定すべく、直前までに検出された1以上の相対位置に基づいて推定された、次に検出されるべき相対位置を基準にして相対位置を検出することによっても、上述の検出手法と同様、演算回数を低減することができる。つまり、指紋センサ10による部分画像の取得間隔が十分短ければ、図16に矢印A1,A2で示すごとく、スウィープ方向およびスウィープ速度が急に大きく変わることはありえないと仮定することができる。従って、図16に示すように、直前までに検出した相対位置を元にして、次の探索範囲(スウィープ速度の範囲d)を予想・限定することができる。これにより、相対位置を検出するための処理時間を短縮できるとともに、探索範囲を限定しても十分な相対位置の検出性能を得ることができる。
スウィープ速度Vは、部分画像の撮像間隔I(K)と相対位置Pr(K)とから、見かけ上、次式(5)のように算出される。

ここで、撮像間隔I(K)は、ある部分画像の撮像を開始してから、次の部分画像の撮像が開始されるまでの時間を指す。
そして、次に検出されると推定される相対位置Pr’(K)は、上式(5)を用いて次式(6)のように算出される。

画像取得間隔が十分に短い場合には、探索範囲を1隆線以下とみなすことによって、さらに演算回数を低減できるとともに、相対位置検出を誤る危険性を低減することができる。
ただし、撮像間隔I(K)が撮像時刻によらず一定とみなせる場合においては、次式(7)のように直前の相対位置Pr(K−1)をそのまま利用することでも、上式(6)と同様の作用効果が得られる。

このような推定手法は、スウィープ速度の変化が非常に緩やかで、等速であるとみなすことができる場合において有効となる。
撮像間隔I(K)が一定とみなせ、スウィープ速度の変化が著しい場合には、次式(8)のように相対位置Pr’(K)を推定してもよい。

上式(8)は、速度変化{Pr(K−1)−Pr(K−2)}が一定、つまり加速度一定とみなせる場合において有効である。例えば、スウィープ開始時においてスウィープ速度が次第に上昇するように変化する場合に適用することで、探索範囲を適切に設定することが可能となる。
撮像間隔I(K)が一定とみなせない場合においても、上述と同様の考え方で速度変化を加味することで探索範囲を適切に設定することができる。例えば最小自乗法によって速度変化を二次式に当てはめることにより、速度変化分を見込んだ推定を行なうことが可能となる。速度変化を当てはめる式は、二次式に限定されるものではなく、多項式に当てはめてもよい。また、多項式に当てはめが可能であれば、最小自乗法に限らず他の公知の手法を用いて推定を行なってもよい。
また、相対位置検出部30により部分画像相互間の相対位置を検出する際、図18に示すように、各部分画像を、相互に重なり合う領域(オーバラップ領域OW)を有する2以上の部分領域(図18中では2つの探索用テンプレートTPlおよびTPr)に分けて取り扱い、これら2以上の部分画像相互の相対位置を、各部分領域について検出することにより、例えば図17に示すように指紋の部分画像を採取する際に指が大きく変形したような場合でも、各部位ごとの相対位置を精度良く検出することが可能になる。
図17および図18において、f(T)は時刻Tに採取された部分画像、f(T+1)は時刻T+1に採取された部分画像である。また、2つの探索用テンプレートTPlおよびTPrは、図18の上段に示すごとく、部分画像f(T)を左右2つに分けるように設定されるとともに、相互に重なり合うオーバラップ領域OWを含むように設定されている。
左側の探索用テンプレートTPlにおける画像中には、照合結果として一致を決定付ける特徴が比較的少なく、右側の探索用テンプレートTPrにおける画像中には、照合結果として一致を決定付ける、分岐点や端点のような特徴が含まれている。
そして、図17に示すごとく、部分画像f(T)の次に得られた部分画像f(T+1)の左側において、指200とセンサ面11との摩擦により隆線画像が大きく歪んでいるような場合、上述のごとく相互にオーバラップ領域OWを有する2つの探索用テンプレートTPlおよびTPrを別々に用いて探索を行ない相対位置を検出することにより、図18の下段に示すごとく、各部位ごとの相対位置を精度良く検出できる。
ここで、相対位置の検出に際し、2つ以上の部分領域を互いに重なり合うように選ぶ理由は、図18に示す例のように、いずれか一方の部分領域に特徴が十分に含まれていない場合に適切に相対位置を検出することができず検出精度が劣化してしまうことを避けるためである。
なお、図18に示す例では、部分画像を相互にオーバラップ領域を有する2つの部分領域に分けているが、相互にオーバラップ領域を有する、3以上の部分領域(テンプレート)に分け、上述と同様にして相対位置の検出を行なってもよい。
〔2−5〕指紋センサの遅延特性による画像歪み、および、その画像歪みの補正手法について
さて、次に、図19〜図26を参照しながら、指紋センサ10の遅延特性による画像歪みについて説明するとともに、本実施形態の補正部40による、その画像歪みの補正手法について説明する。
指紋センサ10が全画素の情報を同時に検出してバッファなどに退避させる機構を有して構成されている場合には、遅延特性による画像歪みが生じることがなく、補正部40による補正は不要になる。
しかし、走査線毎に画像を採取する指紋センサ10(図19参照)では、図24に示すごとく、採取された画像のアスペクト比が変わってしまう伸縮歪みが生じ、画素(セル)毎に画像を採取する指紋センサ10(図20参照)では、図26に示すようなスキュー歪みが生じる。
そこで、本実施形態の補正部40では、相対位置検出部30によって検出された相対位置と、指紋センサ10による各部分画像の採取時間間隔と、指紋センサ10による各部分画像の採取遅延時間とに基づいて、指紋センサ10の採取遅延に伴う各部分画像の歪みを解消するように各部分画像における特徴の位置が補正される。これにより、上述のような画像歪み(伸縮歪みやスキュー歪み)が特徴情報から除去される。
ここで、図19はライン毎に撮像データを読出し可能な指紋センサ10の構成例を示すブロック図であり、この図19に示すように、ライン毎に撮像データを読出し可能な指紋センサ10は、主走査方向(図中の左右方向)に沿うラインセンサ10aを副走査方向(図中の上下方向)に複数本配置して構成されている。各ラインセンサ10aは、多数のセル10bを主走査方向に一列に配置して構成されている。そして、複数のラインセンサ10aで採取された画像情報は、セレクタ10cによって順次選択され、ラインセンサ10a毎(1走査線毎)にバッファ10dへ読み出され、外部へ出力される。
また、図20はセル毎に撮像データを読出し可能な指紋センサ10の構成例(画素単位の遅延時間を無視できないセンサの一例)を示すブロック図であり、この図20に示すように、セル毎に撮像データを読出し可能な指紋センサ10は、多数のセル10bをマトリクス状に配置して構成されている。さらに、多数のセル10bで採取された画像情報は、2段のセレクタ10e,10fによって順次選択され、セル10b毎(1画素毎)に外部へ読み出される。
図19に示す指紋センサ10では、走査線毎(ラインセンサ10a毎)に画像情報の読出しを行なっているが、その際、ある一つの走査線の読出しとその次の走査線の読出しとの間には、遅延時間(生体情報検出遅延時間:生体情報入力手段つまり指紋センサ10の特性によって生じる遅延時間を意味する)が生じる。
このような指紋センサ10において、図21に示すように指200を静止させた状態で部分画像を採取すると、その部分画像のアスペクト比は、図22に示すように1になる。
ここで、例えば、図19に示す指紋センサ10において、各画素(セル10b)からの情報の読出しにかかる時間が、1走査線上では十分に短く無視できるが、情報読出対象の走査線を切り換える時にかかる遅延時間Δtが比較的大きいとする。このような指紋センサ10において、副走査方向に指200をスウィープして画像を取得すると、アスペクト比が指の速度に応じて変わってしまい、画像に伸縮歪みが生じる。これは、走査線間隔dが、見かけ上、d’(≠d)となるためである。図23に示すように副走査方向に沿って指が移動すると、副走査速度Vsは、指200の速度Vfによって、見かけ上、Vs’となる。ここで、見かけ上の副走査速度Vs’は、下式(9)で与えられる。

副走査速度Vsは、走査線間隔dと遅延時間Δtを用いて、下式(10)で表され、

見かけ上の副走査速度Vs’は、下式(11)で表される。

副走査方向の伸縮率をEとすると、

となり、アスペクト比が変わってしまう。上式(11),(12)は、副走査方向に指200を動かし、かつ速度が大きい程、走査線間隔が見かけ上短くなることを表し、アスペクト比が変わらないものとして画像を扱うと画像は伸張して見えることになる。逆に、上式(11),(12)は、副走査方向とは反対方向に指200を動かし、かつ速度が大きいほど走査線間隔dが見かけ上長くなることを表し、同様に画像を扱うと図24に示すように画像が短縮して見えることになる。
しかし、指200の速度Vfは直接画像から得ることができないため、見かけ上の指200の速度Vf’を用いて速度Vfを求めてみる。ここで、Vf’は、相対位置検出手段30で検出された相対位置ΔY’と指紋センサ10の入力間隔Iから、下式(14)により、求めることができる。

ここで、ΔY’はd’をdとみなして算出されたものである。伸縮率Eを用いてΔY’とΔYとの関係を修正すると、下式(15)のようにになる。

Vf=ΔY/Iの関係や上式(13)から、下式(16)が得られる。

従って、この式(16)をVfについて解くことにより、下式(17)によってVfが算出され、指200の速度Vfを、副走査速度Vsと見かけ上の指速度Vf’で表すことができた。

また、下式(18)の関係が成り立つので、伸縮率EはVf’を用いて、下式(19)で表される。

つまり、相対位置ΔY’が検出された場合は、ΔY’にVs/(Vs+Vf’)を乗算することにより、検出された相対位置ΔY’からアスペクト比の変化の影響を除去できることを、上式(17)は示している。従って、画像を副走査方向にVs/(Vs+Vf’)倍伸長させることで画像の伸縮歪みを除去・補正することができる。
一方、図20に示すように、画素(セル10b)からの情報の読出しにかかる時間Δtxと走査線を切り換える時の遅延時間Δtとを無視できない場合について考える。図25に示すように1走査線にはX画素(X個のセル)が存在するものとする。このとき、指200が速度Vfで動いていると、1走査線の端から端まで画素の情報を読み出す間に、指200は、VfXΔtx画素だけ移動している。指200が副走査方向に平行に移動しているものと仮定すると、画像は、下式(20)で与えられるスキュー角度φで歪むことになる。

ここで、Vfは上式(17)で与えられ、Vs=d/(XΔtx+Δty)である。スキュー歪みの補正は、各画素の位置に対し、副走査方向に−Xatan(VfΔtx)のオフセットを与えることで実現される。
指200が斜め方向に移動している場合について考える。主走査速度をVp、主走査方向の見かけ上の指200の速度をVfp’とすると、歪みを補正するために、画像を主走査方向にVfp’Vp/(Vp+Vfp’)倍伸長する必要がある。つまり、まず、副走査方向の補正を行ない、次にスキュー歪みを補正し、そして、主走査方向の補正を行なう。それぞれの補正は、全てアフィン変換による画像の変形処理によって実現することができる。
デモンストレーションのために再構成画像を作成する場合には、各部分画像における歪みをアフィン変換により上述のごとく補正した上で、部分画像を連結する。ただし、撮像間隔が十分に短い場合には、連続する部分画像の歪み方がほとんど変わらないとみなすことができるので、部分画像を連結した後に、局所的に上述の補正を行なうことにより、処理時間を低減することができる。
上述のように、補正部40によって、指紋センサ10の採取遅延に伴う各部分画像の歪みを解消するように各部分画像における特徴の位置を補正し、特徴の相対位置を得ることにより、指紋センサ10に検出遅延があってもその検出遅延のために生じていた画像歪み(伸縮歪みやスキュー歪み)が特徴情報から除去される。これにより、歪みの無い特徴情報が得られ、照合性能の劣化を避けることができるだけでなく、個人認証時に高品質な特徴情報による照合が可能になるので、照合性能の向上、つまりは個人認証の信頼性の向上を実現することができる。
なお、図17や図18を参照しながら説明したように、相対位置検出部30が、指紋センサ10によって連続的に採取される各部分画像を、相互に重なり合う領域を有する2以上の部分領域に分けて取り扱い、部分画像相互の相対位置を各部分領域について検出する場合、補正部40は、各部分領域について、上述と同様にして、指紋センサ10の採取遅延に伴う各部分画像の歪みを解消するように特徴の位置を補正する。つまり、各部分領域で検出された相対位置から補正係数を求めて、画像の歪みを補正する。これは、指200の接触位置によって指200の速度が異なるためである。例えば、指の腹の辺りは、その部分の皮膚が伸びきるまでは周囲よりもゆっくりの速度で移動し、皮膚が伸びきった後では周囲と同じ速度で移動する。さらに、皮膚が伸びた反動で、急速に皮膚が縮む時には、その部分は周囲よりも速い速度で移動する。よって、このような速度の違いで画像の歪みが異なるので、領域毎に補正を行なう。領域が重なっているところでは、それぞれの領域から求めた相対位置の平均値から補正係数を求める。これにより、指200が大きく変形したような場合でも各部位ごとの相対位置を精度良く検出できるとともに、指紋センサ10に検出遅延があっても画像歪み(伸縮歪みやスキュー歪み)の無い特徴情報(登録用もしくは照合用の指紋データ)が得られる。従って、照合性能の向上、つまりは個人認証の信頼性の向上に寄与することになる。
〔2−6〕指の変形による歪み、および、その歪みの補正手法について
次に、図27〜図31を参照しながら、指の変形による歪みについて説明するとともに、本実施形態の補正部40による、その歪みの補正手法について説明する。
ここで、図27〜図29はそれぞれ部分画像毎の隆線画像の変化を説明するための図、図30A〜図30Eはスウィープ動作時における指紋の変形の遷移を示す図、図31は本実施形態において得られる歪み分布の一例を示す図である。
なお、図27〜図29において、r(T)は時刻Tに採取された隆線画像、r(T+1)は時刻T+1に採取された隆線画像、r(T+2)は時刻T+2に採取された隆線画像であり、これらの隆線画像r(T),r(T+1),r(T+2)は、指紋センサ10により連続的に採取された3つの部分画像に含まれる、同一の隆線の画像である。
本実施形態の補正部40では、相対位置検出部30により検出された相対位置と各部分画像における特徴の位置とから歪み量を推定し、その歪み量に基づいて、各部分画像における特徴の位置を補正することにより、指紋の部分画像の採取時に指自体が変形するために生じた歪みを特徴情報から除去している。
より具体的には、連続する部分画像の撮像時点で指200の変形の度合いが異なる場合、連続する部分画像の重複領域内で一致する特徴どうしの相対距離に基づいて指200の変形(歪み量)を推定し、その推定結果により特徴の位置を補正する。
指200とセンサ面11との間の摩擦力が作用する部位は、指200をスウィープさせていくうちに移動するため、図27に示すように、連続する部分画像どうしを比較したときに、一致するとみなされる特徴どうしの距離は同じではない。図27に示す例では、左側の分岐点どうしの距離は、右側の端点どうしの距離よりも大きくなっている。つまり、摩擦力による歪み量は、部分画像内で均一ではなく、部分画像内の位置によって異なっている。しかしながら、部分画像内の位置によって異なる歪みを補正することは、部分画像全体を均一に補正する場合に比べ、補正処理に要する時間が極めて大きくなる。そこで、本実施形態の補正部40では、特徴抽出部20によって抽出された特徴のみに対して補正を施すことにより、照合性能を向上させるだけでなく、短時間で補正処理を行なえるようにしている。
図28および図29に示すように、スウィープ方向に沿って摩擦力が発生し、隆線の変形が生じるものと考えられるので、連続する部分画像の重複領域内で、一致する特徴をスウィープ方向に沿って探索する。ここで、変形のある部位に比べ変形のない部位の相関の方が低いことから、歪み量計測における基準を、相対位置検出部30によって検出された相対位置とする。
このとき、指200の変形による歪みは、図30A〜図30Eに示すごとく、スウィープ動作を開始してから終了するまでの間、伝搬していくので、一致する特徴については歪み量を積算した値を用いて特徴の位置を補正する。上述のような積算を行なうことにより、スウィープ動作を完了するまでの間に、例えば図31に示すような歪み分布が得られることになる。
この図31に示す歪み分布において、領域R1は、スウィープ開始時に指紋画像を採取される領域で、指200の中央部(腹側)の領域で、この中央部は比較的柔らかな部分であるため、この領域R1では、歪み量が次第に大きくなる。領域R2は、領域R1に続く領域で、この領域R2では、スウィープ速度の変化が少なくなり歪み量も小さくなる。領域R3は領域R2に続く指先側の領域で、指先は比較的変形しにくいので、この領域R3における歪みは比較的小さい。
上述のように推定される歪み分布に基づいて、補正部40は、各部分画像における特徴の位置を補正し、特徴の相対位置を得ることにより、指紋の部分画像の採取時に指自体が変形するために生じた歪みが特徴情報から除去される。これにより、歪みの無い特徴情報(登録用もしくは照合用の指紋データ)が得られ、個人認証時に高品質な特徴情報による照合が可能になるので、照合性能の向上、つまりは個人認証の信頼性の向上を実現することができる。
〔2−7〕移動物体検知部の機能について
次に、本実施形態の移動物体検知部50の機能について説明する。
本実施形態のようにスウィープ型の指紋センサ10を用いて複数の部分画像を連続的に採取する場合、項目〔2−2〕において説明した通り、その指紋センサ10によって得られた複数の部分画像に基づいて、指紋画像(隆線画像)と、移動物体ではないパターンの画像(背景画像)とを分離することができる。本実施形態の移動物体検知部50は、項目〔2−2〕において背景除去機能として説明した機能を利用し、指紋センサ10に対して移動している移動物体(例えば指200;実際には隆線画像)の有無を検知している。これにより、移動物体を検知するためのセンサを別途用意する必要がなく、コストをかけることなく移動物体を検知して実用性を高めることができる。
具体的には、項目〔2−2〕においても説明した通り、移動物体検知部50は、直前までに指紋センサ10によって採取される部分画像の重み付き平均画像G(i,j,K)を、上式(1)や(2)により算出する。そして、移動物体検知部50は、算出された重み付き平均画像G(i,j,K)と最新の部分画像F(i,j,K)との差分値を算出し、その差分値が所定の閾値を超えた場合に移動物体(隆線画像、つまりは指200)の存在を検知したものと判定する。
このとき、移動しないパターン(背景)の除去を行なう際に、上記除去機能によって算出した重み付き平均画像G(i,j,K)をそのまま用いれば、認証装置(CPU100)における演算量の増加を招くことなく移動物体を検知することが可能になる。
また、移動物体の検知基準となる、上記所定の閾値を、ノイズによる変動値よりも大きく設定することにより、誤ってノイズを移動物体として検知してしまうのを確実に防止し、移動物体の検知性能を向上させることができる。
〔2−8〕照合部による照合処理について
次に、本実施形態の照合部70による照合処理について説明する。
本実施形態の認証装置では、スウィープ動作に伴い、先に入力された部分画像群から特徴が逐次抽出・生成されていくことになるので、指紋全体の特徴を得る前に照合部70が照合処理を開始することが可能である。
そこで、本実施形態の照合部70は、映像化時刻の早い部分画像から得られた特徴およびその相対位置を優先的に用いて照合処理を実行するとともに、被認証者の照合結果を確定した時点で照合処理を終了するように構成されている。
これにより、スウィープ動作によって先に入力された部分画像群から特徴が逐次生成されていくことになるので、全体の特徴を得る前に照合処理を開始することができる一方、照合結果が確定した時点、例えば被認証者が本人ではないことが分かった時点で、その照合処理を早期に打ち切ることが可能になる。
また、本実施形態の照合部70では、少なくとも移動物体以外の情報については照合を行なう必要がないので、照合部70は、移動物体検知部50により移動物体の存在が検知されていない間は、照合処理を実行しない、つまり、移動物体が検知されない間は照合処理を開始せず、移動物体の存在が検知されている間だけ照合処理を行なうように構成されている。
これにより、演算に要する時間や負荷を低減することができる。また、ノイズから抽出された特徴情報が照合処理に用いられるのを避けることができるので、照合性能を劣化させることがない。
なお、移動物体検知部50により移動物体が検出されない間は、補正部40による補正処理を実行しないように構成したり、相対位置検出部30による検出処理を実行しないように構成してもよく、これによっても、演算に要する時間や負荷を低減することができる。
〔2−9〕摩擦力低減手段について
次に、図32〜図35を参照しながら、指(被検体)200の接触移動に伴って発生する摩擦力を低減すべく、指紋センサ10のセンサ面11の周辺に設けられた摩擦力低減手段15〜18について説明する。ここで、図32〜図35はそれぞれ本実施形態における摩擦力低減手段15〜18を模式的に示す斜視図である。
図32に示す摩擦力低減手段15は、指紋センサ10の筐体表面12上において、指先側(図32中のセンサ面11の左側)の指接触範囲13内に設置された、例えばテフロン(登録商標)などの摩擦係数の小さい素材(低摩擦係数素材)として構成されている。
これにより、スウィープ動作時には、指200の先端側(指先側)と筐体表面12との間に摩擦力低減手段15が配置されることになり、スウィープ動作に際して指先に圧力が作用したとしても、指200が摩擦力で引っ張られることによって生じる指200の変形を抑えることが可能になる。
なお、上述した低摩擦係数素材を用いた摩擦力低減手段を、指紋センサ10の筐体表面12上において、指200の根元側(図32中のセンサ面11の右側)の指接触範囲13内にも設置すると、より確実に指200の変形を抑えることができるほか、指200のスウィープ方向を限定しない場合に指200の変形を確実に抑制できる効果が得られる。
図33に示す摩擦力低減手段16は、図32と同様の摩擦力低減手段15をそなえた指紋センサ10の筐体表面12上において、指200の根元側(図33中のセンサ面11の右側)に設置された、突起物として構成されている。
この突起物16は、センサ端(図33中の左端)と平行、つまりセンサ面11の長手方向と平行に配置された長尺物形状のもので、指紋撮像対象範囲14から適当な距離だけ離れた位置において、筐体表面12から突設されている。なお、突起物16の設置位置は、指紋採取開始時(スウィープ開始時)に指200の第1関節が存在するものと推定される位置で、例えば、指紋撮像対象範囲14の端部(図33中の左端)から4〜10mmの範囲内の位置である。
また、突起物16の高さは、突起物16上に指200の第1関節を載せたときにセンサ面11と指200とが十分に接触することのできる高さ(例えば0.2〜1mm程度)とし、突起物16の幅は、指200とほぼ同じ横幅(例えば10mm前後)とする。また、突起物16の長手方向に直交する断面の形状は、逆U字形状とし、指200が滑らかに突起物16に接触できるようになっている。
このような突起物16を支点にして指200のスウィープ動作を行なうことにより、センサ面11と指200との接触面に圧力がかからなくなるだけでなく、指200の根元側と筐体表面12との摩擦によって指200が縮められるように変形するのを回避することができる。また、指200のスウィープ方向を限定しない場合には、スウィープ動作に伴って撮像される直前の部位と筐体表面12との摩擦による変形を低減することができる。
なお、摩擦力低減手段としては、図33に示すような突起物16に代えて、図34に示すような突起物17や、図35に示すような突起物18をそなえてもよい。
図34に示す突起物17は、その中央部付近の高さを両端部の高さよりも低く形成されている。このような形状の突起物17を用いることにより、スウィープ動作時に指200の横ぶれを防止することができ、指紋データ(生体情報)を確実に取得することができ、より安定した照合が可能になる。また、突起物17によれば、上述のような作用・効果に加えて、指200の腹の撓みを伸ばす作用が得られ、指200とセンサ面11とをより接触させやすくなる。
図35に示す突起物18は、その中央部を両端部よりも盛り上がらせて形成されている。このような形状の突起物18を用いることにより、スウィープ動作時に指200の腹の撓みを伸ばす作用が、突起物17よりも強く得られる。
上述した低摩擦係数素材15や突起物16〜18は、指200のスウィープ動作開始位置を指示するためのマーカーとしても機能し、利便性を向上させることができる。
上述したように、スウィープ型の指紋センサ10を用いる場合、指200の接触移動に伴って発生する摩擦力を低減する摩擦力低減手段15〜18をそなえることにより、指200のスウィープ動作を容易に行なえ利便性が向上するほか、指200の変形を低減することができ、再現性の高い生体情報画像が得られ照合性能を向上させることができる。
〔2−10〕本実施形態の認証装置の動作について
次に、図36に示すフローチャート(ステップS11〜S22)を参照しながら、本実施形態の認証装置の動作(被認証者の本人認証を行なう際の動作)について説明する。
はじめに、指紋センサ10の初期調整を行なう(ステップS11)。この初期調整としては、指情報を適切に検出するためのゲイン調整などを行なう。また、移動物体検知部50が移動物体の検知を行なう際にノイズを誤って移動物体として検知しないようにするため、指紋センサ10により初期状態で連続して採取される部分画像の重み付き時間平均画像を作成し、その平均画像を揮発性メモリ部90に格納し、その平均画像に基づいて、ノイズを移動物体として検知しないような閾値を設定する。このとき、スウィープ動作を開始せずに静止した状態であれば指紋センサ10のセンサ面11上に指200が載せられていても構わない。
初期調整後、指紋センサ10で映像化された部分画像を揮発性メモリ部90に逐次格納する(ステップS12)。このとき、部分画像が採取される都度、リアルタイムクロック80から撮像開始時刻を読み出し、その撮像開始時刻と部分画像とを対応付けて揮発性メモリ部90に格納する。
そして、移動物体検知部50が、連続して入力される部分画像の重み付き時間平均画像を作成し、部分画像の背景除去処理を行ない、特徴抽出部20が、背景除去後の部分画像から、画像特徴として前景とエッジを抽出するとともに指紋特徴として端点と分岐点を抽出し、揮発性メモリ部90に格納する(ステップS13)。
相対位置検出部30は、ステップS13で抽出された特徴に基づいて部分画像相互間の相対位置を検出し、その相対位置を部分画像と対応付けて揮発性メモリ部90に格納する(ステップS14)。
補正部40は、ステップS14で検出された相対位置と、撮像時に格納した時刻とを用いてスウィープ速度を演算し、指紋センサ10の遅延特性に応じて特徴の位置を補正するとともに、指200の変形度合い(歪み分布)を推定・検出してその変形度合いに応じて、さらに特徴の位置を補正する(ステップS15)。
この間、移動物体検知部50は、連続して入力される部分画像の重み付き時間平均画像を用いて移動物体を検知する(ステップS16)。このとき、重み付き時間平均画像としては、ステップS13での背景除去処理時に算出されたものを用いる。移動物体検知部50により移動物体が検知されている場合には(ステップS17のYESルート)、登録/照合用データ生成部60が、被認証者に対応する登録データが不揮発性メモリ部91に登録されているか否かを確認する(ステップS18)。登録データが登録されている場合には(ステップS18のYESルート)、登録/照合用データ生成部60が、部分画像に対応付けられて揮発性メモリ部90に格納されている特徴と相対位置とに基づいて、部分画像の入力順に、照合用データを生成して照合部70へ送る(ステップS19)。
照合用データを受けた照合部70は、不揮発性メモリ部91から、登録データ作成時に生成された順に特徴を読み出し(ステップS20)、照合用データと登録データとの照合を行なう(ステップS21)。この照合部70による照合処理は、登録データの全てを読み出し終えるまで逐次実行される。
登録データの全てを不揮発性メモリ部91から読み出し終えた時点で、登録データと照合用データとに一致する特徴が無かった場合には、照合失敗(本人認証失敗)とみなして処理を終了する(ステップS22のYESルート)。また、指200のスウィープ動作終了に伴い照合用データを入力し終えた時点で、照合用データの量が不十分な場合においても照合失敗(本人認証失敗)とみなして処理を終了する(ステップS22のYESルート)。
なお、照合結果が確定・完了しない場合には(ステップS22のNOルート)、ステップS12に戻り同様の処理を繰り返し実行する。また、ステップS17で移動物体が検知されていないと判定された場合(NOルート)や、ステップS18で登録データが無いと判定された場合(NOルート)、ステップS22へ移行して照合を完了するか否かを判断する。さらに、登録データの全てを不揮発性メモリ部91から読み出し終える前に、ステップS21での照合処理により照合結果が確定した場合には、その時点で照合処理を終了する(ステップS22のYESルート)。
〔3〕その他
なお、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述した実施形態では、被検体が人の指であり生体情報として指紋画像を採取する場合について説明したが、本発明は、これに限定されるものではなく、被検体としての掌から、掌紋画像や血管パターン画像等を生体情報として採取する場合にも上述と同様に適用され、上述と同様の作用効果を得ることができる。また、本発明は、被検体として牛等の鼻から、鼻紋画像を生体情報として採取する場合にも上述と同様に適用され、上述と同様の作用効果を得ることができる。
また、上述した実施形態では、指紋センサが静電容量式である場合について説明したが、光学式のものを用いてもよい。
【産業上の利用可能性】
以上のように、本発明によれば、2以上の部分画像相互の相対位置が検出され、その相対位置と各部分画像における特徴の位置とから推定された歪み量に基づいて各部分画像における特徴の位置が補正される。これにより、歪みの無い特徴情報が得られ、個人認証時に高品質な特徴情報による照合が可能になるので、照合性能の向上、つまりは個人認証の信頼性の向上を実現できる。このとき、各部分画像から抽出された特徴情報に対し補正が行なわれるので、各部分画像をそのまま保存する必要がなく、歪みの無い特徴情報を、少ないメモリ容量で且つ高速に得ることができる。
従って、本発明は、携帯電話やPDAといった小型情報機器のようにセンサを組み込む空間が十分得られない装置において個人認証を行なうシステムに用いて好適であり、その有用性は極めて高いものと考えられる。
【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図23】

【図22】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】


【図31】

【図32】

【図33】

【図34】

【図35】

【図36】


【特許請求の範囲】
【請求項1】
生体情報を映像化し該生体情報についての複数の部分画像を連続的に採取する画像採取手段(10)と、
該画像採取手段(10)によって採取される該複数の部分画像のそれぞれから、各部分画像における特徴および該特徴の位置を抽出する特徴抽出手段(20)と、
該画像採取手段(10)によって採取される該複数の部分画像のうちの、2以上の部分画像が相互に重なり合う領域に存在する該特徴に基づいて、該2以上の部分画像相互の相対位置を検出する相対位置検出手段(30)と、
該相対位置検出手段(30)によって検出された該相対位置と各部分画像における該特徴の位置とに基づいて該特徴の歪み量を算出し、算出された該歪み量に基づいて、各部分画像における該特徴の位置を補正して、該特徴の相対位置を得る補正手段(40)とをそなえて構成されたことを特徴とする、生体情報取得装置。
【請求項2】
生体情報を映像化し該生体情報についての複数の部分画像を連続的に採取する画像採取手段(10)と、
該画像採取手段(10)によって採取される該複数の部分画像のそれぞれから、各部分画像における特徴および該特徴の位置を抽出する特徴抽出手段(20)と、
該画像採取手段(10)によって採取される該複数の部分画像のうちの、2以上の部分画像が相互に重なり合う領域に存在する該特徴に基づいて、該2以上の部分画像相互の相対位置を検出する相対位置検出手段(30)と、
該画像採取手段(10)による各部分画像の採取時間間隔と、該画像採取手段(10)による各部分画像の採取遅延時間と、該相対位置検出手段(30)によって検出された該相対位置とに基づいて、該画像採取手段(10)の採取遅延に伴う各部分画像の歪みを解消するように各部分画像における該特徴の位置を補正して、該特徴の相対位置を得る補正手段(40)とをそなえて構成されたことを特徴とする、生体情報取得装置。
【請求項3】
生体情報を映像化し該生体情報についての複数の部分画像を連続的に採取する画像採取手段(10)と、
該画像採取手段(10)によって採取される該複数の部分画像のそれぞれから、各部分画像における特徴および該特徴の位置を抽出する特徴抽出手段(20)と、
該画像採取手段(10)によって採取される該複数の部分画像のうちの、2以上の部分画像が相互に重なり合う領域に存在する該特徴に基づいて、該2以上の部分画像相互の相対位置を検出する相対位置検出手段(30)と、
該相対位置検出手段(30)によって検出された該相対位置と各部分画像における該特徴の位置とに基づいて該特徴の歪み量を算出し、算出された該歪み量に基づいて、各部分画像における該特徴の位置を補正するとともに、該画像採取手段(10)による各部分画像の採取時間間隔と、該画像採取手段(10)による各部分画像の採取遅延時間と、該相対位置検出手段(30)によって検出された該相対位置とに基づいて、該画像採取手段(10)の採取遅延に伴う各部分画像の歪みを解消するように各部分画像における該特徴の位置を補正して、該特徴の相対位置を得る補正手段(40)とをそなえて構成されたことを特徴とする、生体情報取得装置。
【請求項4】
該画像採取手段(10)が、該画像採取手段(10)に対して相対的に移動している被検体(200)から、該複数の部分画像を連続的に採取するものであり、
該特徴抽出手段(20)による特徴抽出を行なう前に、該画像採取手段(10)によって採取される該複数の部分画像中に含まれる、移動しないパターンの画像を除去する除去手段(50)をさらにそなえたことを特徴とする、請求の範囲第1項〜第3項のいずれか1項に記載の生体情報取得装置。
【請求項5】
該特徴抽出手段(20)が、各部分画像中の前景および該前景のエッジを該特徴として抽出することを特徴とする、請求の範囲第1項〜第3項のいずれか1項に記載の生体情報取得装置。
【請求項6】
該特徴抽出手段(20)が、各部分画像中の前景を細線化して得られるパターンにおける端点および分岐点を該特徴として抽出することを特徴とする、請求の範囲第1項〜第3項のいずれか1項に記載の生体情報取得装置。
【請求項7】
該相対位置検出手段(30)が、該画像採取手段(10)によって連続的に採取される該2以上の部分画像相互の相対位置を、直前までに検出された1以上の相対位置を基準にして検出することを特徴とする、請求の範囲第1項〜第3項のいずれか1項に記載の生体情報取得装置。
【請求項8】
該相対位置検出手段(30)が、該画像採取手段(10)によって連続的に採取される該2以上の部分画像相互の相対位置を、直前までに検出された1以上の相対位置に基づいて推定された、次に検出されるべき相対位置を基準にして検出することを特徴とする、請求の範囲第1項〜第3項のいずれか1項に記載の生体情報取得装置。
【請求項9】
該相対位置検出手段(30)が、該画像採取手段(10)によって連続的に採取される該2以上の部分画像を、それぞれ、相互に重なり合う領域を有する2以上の部分領域に分けて取り扱い、該2以上の部分画像相互の相対位置を、該2以上の部分領域のそれぞれについて検出することを特徴とする、請求の範囲第1項〜第3項のいずれか1項に記載の生体情報取得装置。
【請求項10】
該相対位置検出手段(30)が、該画像採取手段(10)によって連続的に採取される該2以上の部分画像を、それぞれ、相互に重なり合う領域を有する2以上の部分領域に分けて取り扱い、該2以上の部分画像相互の相対位置を、該2以上の部分領域のそれぞれについて検出し、
該補正手段(40)が、該2以上の部分領域のそれぞれについて、該画像採取手段(10)の採取遅延に伴う各部分画像の歪みを解消するように該特徴の位置を補正することを特徴とする、請求の範囲第2項に記載の生体情報取得装置。
【請求項11】
該画像採取手段(10)が、該画像採取手段(10)に対して相対的に移動している被検体(200)から、該複数の部分画像を連続的に採取するものであり、
該画像採取手段(10)によって採取される該複数の部分画像に基づいて、該画像採取手段(10)に対して移動している移動物体の有無を検知する移動物体検知手段(50)をさらにそなえたことを特徴とする、請求の範囲第1項〜第10項のいずれか1項に記載の生体情報取得装置。
【請求項12】
該画像採取手段(10)が、該画像採取手段(10)に対して接触しながら相対的に移動している被検体(200)から、該複数の部分画像を連続的に採取するものであり、
該被検体(200)の接触移動に伴って発生する摩擦力を低減する摩擦力低減手段(15〜18)をさらにそなえたことを特徴とする、請求の範囲第1項〜第11項のいずれか1項に記載の生体情報取得装置。
【請求項13】
採取面(11)に接触しながら移動する被検体(200)の生体情報を映像化し該生体情報についての複数の部分画像を連続的に採取する画像採取手段(10)と、
該被検体(200)の接触移動に伴って発生する摩擦力を低減する摩擦力低減手段(15〜18)とをそなえて構成されたことを特徴とする、生体情報取得装置。
【請求項14】
被認証者の生体情報を映像化し該生体情報についての複数の部分画像を連続的に採取する画像採取手段(10)と、
該画像採取手段(10)によって採取される該複数の部分画像のそれぞれから、各部分画像における特徴および該特徴の位置を抽出する特徴抽出手段(20)と、
該画像採取手段(10)によって採取される該複数の部分画像のうちの、2以上の部分画像が相互に重なり合う領域に存在する該特徴に基づいて、該2以上の部分画像相互の相対位置を検出する相対位置検出手段(30)と、
該相対位置検出手段(30)によって検出された該相対位置と各部分画像における該特徴の位置とに基づいて該特徴の歪み量を算出し、算出された該歪み量に基づいて、各部分画像における該特徴の位置を補正して、該特徴の相対位置を得る補正手段(40)と、
該特徴抽出手段(20)によって抽出された該特徴と、該補正手段(40)によって得られた該特徴の相対位置とを用いて、該被認証者の本人認証を行なうための登録用データおよび照合用データの少なくとも一方を生成する生成手段(60)と、
該生成手段(60)によって生成された登録用データおよび照合用データの少なくとも一方を用いて、該被認証者の本人認証を行なうべく照合処理を実行する照合手段(70)とをそなえて構成されたことを特徴とする、生体情報による認証装置。
【請求項15】
被認証者の生体情報を映像化し該生体情報についての複数の部分画像を連続的に採取する画像採取手段(10)と、
該画像採取手段(10)によって採取される該複数の部分画像のそれぞれから、各部分画像における特徴および該特徴の位置を抽出する特徴抽出手段(20)と、
該画像採取手段(10)によって採取される該複数の部分画像のうちの、2以上の部分画像が相互に重なり合う領域に存在する該特徴に基づいて、該2以上の部分画像相互の相対位置を検出する相対位置検出手段(30)と、
該画像採取手段(10)による各部分画像の採取時間間隔と、該画像採取手段(10)による各部分画像の採取遅延時間と、該相対位置検出手段(30)によって検出された該相対位置とに基づいて、該画像採取手段(10)の採取遅延に伴う各部分画像の歪みを解消するように各部分画像における該特徴の位置を補正して、該特徴の相対位置を得る補正手段(40)と、
該特徴抽出手段(20)によって抽出された該特徴と、該補正手段(40)によって得られた該特徴の相対位置とを用いて、該被認証者の本人認証を行なうための登録用データおよび照合用データの少なくとも一方を生成する生成手段(60)と、
該生成手段(60)によって生成された登録用データおよび照合用データの少なくとも一方を用いて、該被認証者の本人認証を行なうべく照合処理を実行する照合手段(70)とをそなえて構成されたことを特徴とする、生体情報による認証装置。
【請求項16】
被認証者の生体情報を映像化し該生体情報についての複数の部分画像を連続的に採取する画像採取手段(10)と、
該画像採取手段(10)によって採取される該複数の部分画像のそれぞれから、各部分画像における特徴および該特徴の位置を抽出する特徴抽出手段(20)と、
該画像採取手段(10)によって採取される該複数の部分画像のうちの、2以上の部分画像が相互に重なり合う領域に存在する該特徴に基づいて、該2以上の部分画像相互の相対位置を検出する相対位置検出手段(30)と、
該相対位置検出手段(30)によって検出された該相対位置と各部分画像における該特徴の位置とに基づいて該特徴の歪み量を算出し、算出された該歪み量に基づいて、各部分画像における該特徴の位置を補正するとともに、該画像採取手段(10)による各部分画像の採取時間間隔と、該画像採取手段(10)による各部分画像の採取遅延時間と、該相対位置検出手段(30)によって検出された該相対位置とに基づいて、該画像採取手段(10)の採取遅延に伴う各部分画像の歪みを解消するように各部分画像における該特徴の位置を補正して、該特徴の相対位置を得る補正手段(40)と、
該特徴抽出手段(20)によって抽出された該特徴と、該補正手段(40)によって得られた該特徴の相対位置とを用いて、該被認証者の本人認証を行なうための登録用データおよび照合用データの少なくとも一方を生成する生成手段(60)と、
該生成手段(60)によって生成された登録用データおよび照合用データの少なくとも一方を用いて、該被認証者の本人認証を行なうべく照合処理を実行する照合手段(70)とをそなえて構成されたことを特徴とする、生体情報による認証装置。
【請求項17】
該画像採取手段(10)が、該画像採取手段(10)に対して相対的に移動している該被認証者の被検体(200)から、該複数の部分画像を連続的に採取するものであり、
該特徴抽出手段(20)による特徴抽出を行なう前に、該画像採取手段(10)によって採取される該複数の部分画像中に含まれる、移動しないパターンの画像を除去する除去手段(50)をさらにそなえたことを特徴とする、請求の範囲第14項〜第16項のいずれか1項に記載の生体情報による認証装置。
【請求項18】
該特徴抽出手段(20)が、各部分画像中の前景および該前景のエッジを該特徴として抽出することを特徴とする、請求の範囲第14項〜第16項のいずれか1項に記載の生体情報による認証装置。
【請求項19】
該特徴抽出手段(20)が、各部分画像中の前景を細線化して得られるパターンにおける端点および分岐点を該特徴として抽出することを特徴とする、請求の範囲第14項〜第16項のいずれか1項に記載の生体情報による認証装置。
【請求項20】
該相対位置検出手段(30)が、該画像採取手段(10)によって連続的に採取される該2以上の部分画像相互の相対位置を、直前までに検出された1以上の相対位置を基準にして検出することを特徴とする、請求の範囲第14項〜第16項のいずれか1項に記載の生体情報による認証装置。
【請求項21】
該相対位置検出手段(30)が、該画像採取手段(10)によって連続的に採取される該2以上の部分画像相互の相対位置を、直前までに検出された1以上の相対位置に基づいて推定された、次に検出されるべき相対位置を基準にして検出することを特徴とする、請求の範囲第14項〜第16項のいずれか1項に記載の生体情報による認証装置。
【請求項22】
該相対位置検出手段(30)が、該画像採取手段(10)によって連続的に採取される該2以上の部分画像を、それぞれ、相互に重なり合う領域を有する2以上の部分領域に分けて取り扱い、該2以上の部分画像相互の相対位置を、該2以上の部分領域のそれぞれについて検出することを特徴とする、請求の範囲第14項〜第16項のいずれか1項に記載の生体情報による認証装置。
【請求項23】
該画像採取手段(10)が、該画像採取手段(10)に対して相対的に移動している該被認証者の被検体(200)から、該複数の部分画像を連続的に採取するものであり、
該画像採取手段(10)によって採取される該複数の部分画像に基づいて、該画像採取手段(10)に対して移動している移動物体の有無を検知する移動物体検知手段(50)をさらにそなえたことを特徴とする、請求の範囲第14項〜第22項のいずれか1項に記載の生体情報による認証装置。
【請求項24】
該照合手段(70)が、該画像採取手段(10)による映像化時刻の早い部分画像から得られた該特徴およびその相対位置を優先的に用いて、上記照合処理を実行することを特徴とする、請求の範囲第14項〜第23項のいずれか1項に記載の生体情報による認証装置。
【請求項25】
該照合手段(70)が、該被認証者の照合結果を確定した時点で上記照合処理を終了することを特徴とする、請求の範囲第24項に記載の生体情報による認証装置。
【請求項26】
該画像採取手段(10)が、該画像採取手段(10)に対して接触しながら相対的に移動している該被認証者の被検体(200)から、該複数の部分画像を連続的に採取するものであり、
該被検体(200)の接触移動に伴って発生する摩擦力を低減する摩擦力低減手段(15〜18)をさらにそなえたことを特徴とする、請求の範囲第14項〜第25項のいずれか1項に記載の生体情報による認証装置。

【国際公開番号】WO2004/026139
【国際公開日】平成16年4月1日(2004.4.1)
【発行日】平成18年1月12日(2006.1.12)
【国際特許分類】
【出願番号】特願2004−537499(P2004−537499)
【国際出願番号】PCT/JP2002/009501
【国際出願日】平成14年9月17日(2002.9.17)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】