画像リサンプリングを用いた指センサ装置及びこれに関連する方法
指センサが、指画像センシングアレイ上で指がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成する複数の指センシングアレイ、及びこれらの指センシングアレイと協働するプロセッサを具えることができる。このプロセッサは、上記指画像データセットに基づいて指の動きを測定し、そして測定した指の動きに基づいて上記指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成する。上記プロセッサはさらに、リサンプリングした指画像データセットを生成する際に、指画像データセットをデスキューすることができる。
【発明の詳細な説明】
【技術分野】
【0001】
(発明の分野)
本発明はバイオメトリクス(生体計測)に関するものであり、特に、指センシング及びこれに関連する方法に関するものである。
【0002】
(発明の背景)
指紋センシング及び整合は、信頼性があり広範に用いられている個人識別または検証技術である。特に、指紋識別の一般的な方法は、指紋またはその画像のサンプルを走査し、画像、及び/または指紋画像固有の特徴を記憶することを含む。指紋サンプルの特徴は、例えば検証目的で、データベース中に既にある参照指紋についての情報と比較して、個人の適切な識別を判定することができる。
【0003】
【特許文献1】米国特許第5,963,679号
【特許文献2】米国特許第6,259,804号
【特許文献3】米国特許出願第2005/0089202号
【0004】
指紋センシング用の特に有利な方法は、本発明の譲受人に譲渡された米国特許第5,963,679号及び第6,259,804号に開示され、その全文を参考文献として本明細書に含める。指紋センサは集積回路型センサであり、ユーザの指紋を電界信号で導出し、この電界を、集積回路基板上の電界センシング画素のアレイで検出する。これに加えての指センシング集積回路及び方法は、米国で公開されている米国特許出願第2005/0089202号、発明の名称”Multi-biometric finger sensor including electric field sensing pixels and associated methods”に開示され、これも本発明の譲受人に譲渡されており、その全文を参考文献として本明細書に含める。
【0005】
【特許文献4】米国特許第6,002,815号
【特許文献5】米国特許第6,289,114号
【0006】
集積回路型指センサの1つの種類はいわゆるスライドまたはスワイプセンサであり、比較的小さい矩形のセンシング面を含み、ユーザはこのセンシング面上で自分の指をスライドさせる(すべらせる)か動かす。このスライドセンサから収集したデータからユーザの指の全体画像を生成することが望ましいことがある。実際に、従来技術は、スライドセンサから全体画像を構成するためのシステム設計哲学の2つのクラスを含むものと考えることができる。一方のクラスは、例えば米国特許第6,002,815号に開示されているように、多様な種類の指速度センサを用いて、サンプリングレート(速度)を制御するか、あるいは繰り返しデータを棄却するかのいずれかを行う。他方のクラスは、例えば米国特許第6,289,114号に開示されているように、部分的にオーバラップ(重複)する画像フレームどうしの相互相関を用いて冗長なデータを除外し、画像フレームをつなぎ合わせて単一の全体画像にする。
【0007】
従来技術の方法は、いくつかの欠点を抱えている。例えば、画像のデスキュー(傾き、曲がり、歪み等の修正)用と部分画像のつなぎ合わせ用に2つの別個のプロセスが必要になり得る。これらのプロセスは、非一様な指の動きの影響によって生じるノイズを低減するメカニズムを欠いていることがあり、そして広範囲に変化する指の速度に容易に適応できないことがある。もちろん、指がより低速でスライドすると、余分なデータは一般に棄却される。
【0008】
(発明の概要)
以上の背景を考慮するに、従って本発明の目的は、指スライド用途用に高画質の画像データセットを生成する指センサ装置及びこれに関連する方法を提供することにある。
【0009】
本発明による上記及び他の目的、特徴及び利点は、指画像センシングアレイ上で指がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成する複数の指画像センシングアレイ;及びこの指画像センシングアレイと協働して、上記指画像データセットに基づいて指の動きを測定し、測定した指の動きに基づいて上記指画像データセットをリサンプリング(再サンプリング)することによって、リサンプリングした指画像データセットを生成するプロセッサを具えた指センサ装置によって提供される。このプロセッサはさらに、上記リサンプリングした指画像データセットを生成する際に、複数の指画像データセットをデスキューする。換言すれば、上記プロセッサは、センサが画素を順次、即ちセンサの一方の側から始まり他方の側に向かって進んで読み取る時間中に蓄積された増分的な指の動きを記述することができる。上記プロセッサは、上記指画像センシングアレイに垂直な方向からある角度をなす指の動きを記述し、そして指を動かす動作のコース上でのこの角度の変化を記述することもできる。
【0010】
上記プロセッサは、上記リサンプリングした指画像データセットが上記複数の指画像データセットをスーパーサンプリング(より細かくサンプリング)した指画像データセットを規定するのに十分なレート(速度)で、上記複数の指画像センシングアレイを走査することができる。従って、上記プロセッサは、上記スーパーサンプリングした指画像データセットをダウンサンプリング(より粗くサンプリング)して所望の解像度にすることによって、上記リサンプリングした指画像データセットを生成することもできる。上記プロセッサは、上記指画像データセットの各々が完結した画像データセットを規定するように、上記指画像センシングアレイの各々を走査することもできる。
【0011】
上記プロセッサは、上記複数の指画像データセットの各々における少なくとも1つの指の特徴を識別し追跡することに基づいて、指の動きを測定することもできる。例えば、上記プロセッサは指の動きを二次元で測定することができる。
【0012】
上記プロセッサはさらに、上記リサンプリングした指画像データセット及び記憶している指画像データセットに基づいて、指の整合を判定することができる。その代わりに、あるいはこれに加えて、上記プロセッサは、上記リサンプリングした指画像データセットに基づいて指画像をディスプレイ上に生成することができる。
【0013】
上記指画像センシングアレイの各々は、指画像センシング画素のリニアアレイで構成することができる。例えば、上記指画像センシング画素の各々は、集積回路型指画像センシング画素で構成することができる。
【0014】
一部の好適例では、上記プロセッサを上記センシング画素と同じ集積回路上に組み込むことができ、他の好適例では、上記プロセッサを、上記指センシングアレイを含む電子装置のホストプロセッサとすることができる。これらの独立したプロセッサの好適例では、多重データバスを、上記指画像センシングアレイと上記プロセッサとの間に接続することができる。これに加えて、上記指画像センシングアレイの少なくとも隣接したいくつかは、不均等な間隔に配置することができる。簡潔に上述したように、上記指センサ装置は、筐体を具えた携帯電子装置に有利に内蔵させることができる。
【0015】
本発明の他の態様は、指センシング方法に指向したものである。この方法は、複数の指画像センシングアレイ上で指がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成するステップと;上記指画像データセットに基づいて指の動きを測定するステップと;測定した指の動きに基づいて上記指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するステップとを具えることができる。これに加えて、上記リサンプリングした指画像データセットを生成するステップはさらに、上記複数の指画像データセットをデスキューすることを含むことができる。
【0016】
(好適な実施例の詳細な説明)
以下、本発明の好適な実施例について図面を参照しながらより詳細に説明する。しかし、本発明は多くの異なる形態で具体化することができ、本明細書に記載の実施例に限定されるものと考えるべきでない。むしろ、これらの実施例は、本明細書の開示を詳細かつ完全にし、本発明の範囲を当業者に十分伝えるために提供する。図面を通して、同じ要素は同じ参照番号で参照する。
【0017】
ここで最初に図1及び2を参照しながら、本発明による、指センサ装置30を具えたセルラ電話機20の形の好適な電子装置を説明する。セルラ電話機20は、指センサ装置30を支持する携帯用の筐体21を具えている。これに加えて、セルラ電話機20は、例えばディスプレイ22及び入力キー23を具え、これらも筐体21によって支持される。充電式バッテリ36は、当業者にとって明らかな種々の電子構成要素に給電することができる。ディスプレイ22はライン36経由でホストまたは装置プロセッサ32に接続されている。装置プロセッサ32も、例えば多重通信バス33経由でスライド式指センサ31に接続されており、これについては以下でより詳細に説明する。PDA、ラップトップ・コンピュータのような他の電子装置も指センサ装置30を使用することができる。
【0018】
指センサ装置30は、例えば集積回路の形の指センサ31を含み、この集積回路は、集積回路基板42を含み、そして3つのリニア指センシングアレイ45〜47をその内部に有する。これに加えて、スライド式指センサ31は、例えば随意的な処理回路41をその内部に含み、処理回路41は、本明細書に説明する画像処理の一部または全部を実行することができる。一部の実施例では、上記画像処理の大部分または全部を装置プロセッサ32によって実行することができる。装置プロセッサ32は、それ自身の埋め込み型メモリを含むか、あるいは実施例に示すように外部メモリ53に接続することができる。
【0019】
当業者には明らかなように、セルラ電話機または他の携帯電子装置用の装置プロセッサ32は一般に、指センサ装置30が直ちに使用することのできる追加的な処理リソースを有する。もちろん、他の実施例では、画像処理のすべてを、集積回路型スライド式指センサ31のオンボード処理回路41によって実行することができる。当業者には明らかなように、ユーザの指35と上記センシングアレイとの間の相対的な動きに頼る他の種類の指センサも、本明細書に説明する処理技術によって利用することができる。
【0020】
図に示すスライド式指センサ31には、3つのリニア指センシングアレイ45〜47が設けられ、これらのアレイは不均等な間隔を有する。他の実施例では、アレイ45〜47を均等な間隔にすることができ、そしてアレイの数を異ならせることもできる。これに加えて、指センシングアレイ45〜47の各々は、図に示すように直線状(リニア)にすることができ、そして図2に最良に示すように、複数の集積回路型指画像センシング画素45a〜47aで構成することができる。例えば、集積回路型指画像センシング画素45a〜47aは、米国特許第5,963,679号及び第6,259,804号に開示されているような電界センシング画素とすることができ、これらの特許はその全文を参考文献として本明細書に含める。他の実施例では、例えば熱、赤外線、あるいは光センシングに基づくもののような、異なる種類の集積回路型指センシング画素を用いることができる。さらに他の実施例では、指センシングアレイを、当業者にとって明らかな、集積回路型以外の形で設けることができる。
【0021】
指センサ装置30は、指画像センシングアレイ上で指35がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成する指画像センシングアレイ45〜47、及びこれらの指画像センシングアレイと協働するプロセッサを具えている。図に示す実施例では、このプロセッサは独立したホストまたは装置プロセッサ32である。プロセッサ32は、指画像データセットに基づいて指の動きを測定し、そして測定した指の動きに基づいて指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するように設定またはプログラムすることができる。換言すれば、プロセッサ32は、図に示す指の動き測定器51、並びにその下流に接続されたリサンプラ52を規定することができる。以下でより詳細に説明するように、プロセッサのリサンプラ52は、リサンプリングした指画像データセットを生成する際に指画像データセットをデスキュー(傾き、曲がり、歪み等を修正)して、指画像センシングアレイ45〜47に垂直な方向からある角度をなす指35の動きを記述することもできる。
【0022】
プロセッサ32は、リサンプリングした指画像データセットが、複数の指画像データセットをスーパーサンプリング(より細かくサンプリング)した指画像データセットを規定するのに十分なレートで、指画像センシングアレイ45〜47を走査することができる。従って、プロセッサ32は、スーパーサンプリングした指画像データセットをダウンサンプリング(より粗くサンプリング)して所望の解像度にすることによって、リサンプリングした指画像データセットを生成することもできる。プロセッサ32は、指画像センシングアレイ45〜47の各々を走査し、これにより各指画像データセットは完結した指画像データセットを規定することもできる。このことは、例えば走査中に、部分画像のみを収集し、及び/または冗長なデータを消去する従来技術の方法とは対照的である。
【0023】
プロセッサ32の指の動き測定器51は、各々の指画像データセットにおける少なくとも1つの指の特徴を識別し追跡することに基づいて指の動きを測定することができ、このことは当業者にとって明らかである。より詳細には、プロセッサ32は指の動きを二次元で測定することができる。
【0024】
プロセッサはさらに、リサンプリングした指画像データセット及び記憶している指画像データセットに基づいて、指の整合を判定することができる。図に示す装置プロセッサ32は、略図で示す指整合器54を具え、その動作は当業者にとって明らかである。その代わりに、あるいはこれに加えて、プロセッサ32はディスプレイドライバ55を具えて、リサンプリングした指画像データセットに基づいて指画像をディスプレイ22上に生成することができる。
【0025】
本発明の他の態様は、指センシング方法に指向したものである。この方法は、複数の指画像センシングアレイ45〜47上で指がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成するステップと;これらの指画像データセットに基づいて指の動きを測定するステップと;測定した指の動きに基づいて上記指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するステップとを具えることができる。これに加えて、リサンプリングした指画像データセットを生成するステップはさらに、上記複数の指画像データセットをデスキューすることを含むことができる。
【0026】
他の意味で考えれば、本発明の方法はいくつかのセンシングアレイ45〜47を指35が移動する経路中に配置し、各アレイは完結した指の画像を生成する。結果的なデータは同時に取得した同じ物体(指)のいくつかの画像であるが、既知の物理的距離だけ分離された異なるセンサ位置からの画像である。指の速度は捕捉プロセス中に大きく変化し得るので、生の画像は指の動きの方向に可変のピクセレーション(画素区分)を有し得る。そしてプロセッサ32は、これらのいくつかの画像を用いて、時間に対する指の動きの特性を計算し、そしてこの特性を用いて、生の画像の最適なリサンプリングを実行して、単一の高画質の正規化した画像を規則的なピクセレーションで生成することができる。この最適なリサンプリングは同時に、センサの有限の走査(スキャン)レートによって生じるデータのスキュー(歪み)、及び変化する指の速度によって生じるピクセレーションの変動を修正することができる。この方法はある意味で、2つの異なる画像を組み合わせて結果的に単一画像にする立体映像に似ている。本発明の方法は、移動物体(例えば車内のセル電話機)からの単一の無線信号を、異なる位置にあるいくつかの異なるアンテナによって異なる遅延を以って捕捉する際に用いる信号処理とも、いくつかの特徴を共有する。
【0027】
指センサ装置30は複数のリニア画素アレイ45〜47を具え、これらは、指が複数のアレイ上を順次通過しながらアレイ上をスライドするように配置されている。リニアアレイ45〜47は同期して走査するか、少なくとも走査どうしに既知の時間関係を持たせて走査することができる。各リニアアレイ45〜47は、指のスライド速度に依存する可変の垂直画素ピッチを有する指表面全体の画像を生成する。指の速度特性の推定値は、各リニアアレイによって生成される画像中の選択した特徴の位置を見つけ、そしてアレイ45〜47の既知の物理的間隔を用いて速度を計算することによって作成される。一次元または二次元の動きを計算することができる。そして指の速度の特性を用いて、リニアアレイ画像をデスキューして、画像をリサンプリングして標準的な固定サンプリングレートの画像にすることができる。
【0028】
指センサ装置30及びこれに関連する方法は多くの利点を提供する。例えば、指センシング装置20は指の速度の広範囲の変動にわたる精度を享受する。指の速度の広範囲の変化の存在下でも提供される正確な撮像は、順次走査されるセンシングアレイからのデータを、アレイ中の異なる位置にあって走査される画素間に生じる遅延について調整することを必要とする。デスキュープロセスはこれらの遅延を補償し、そして指の速度に依存しない同じ最終画像を生成する。
【0029】
指センサ装置30及びこれに関連する方法は、増強された効率を提供することもできる。デスキューとリサンプリングとを組み合わせて単一の最適化されたプロセスにすることができる。この方法は、一次元または二次元のいずれかの動きを取り扱い、従ってリニアアレイ45〜47の法線に合っていない動きに効率的に適応することができる。センサ装置30及びこれに関連する方法は、毎回異なるリニアセンサアレイを用いて肌を何回か走査し、そしてこれらの測定値を組み合わせて単一の最適な結果にすることによって、画像ノイズ及びアーティファクト(歪像)を低減することもできる。より遅い指の動きを許容し、より多数の測定値を最終結果の計算に含めることによって、改善された感度、低減されたノイズ、及びアーティファクトの低減を生み出すことができる。従来技術の装置における、有用な画像を生成することのできない弱い画像化(イメージング)の指は、今度はより遅い指の動きを用いることによって良好に撮像することができる。
【0030】
リニアアレイ45〜47の間隔は厳密なものではないが、異なる目的の異なる方法で最適化することができる。例えば、リニアアレイ45〜47の不均等な間隔は、リニアアレイの法線方向に対する種々の角度で生じる指の動きを取り扱うシステム能力を改善することができる。
【0031】
ここで、追加的に図3を参照しながら、画像データセット処理の態様をさらに説明する。説明を明瞭にするために、指撮像センシングアレイのうち2つだけ(45、46)を例示している。各アレイ45、46は可変画素ピッチの画像60、61を生成し、これらの画像から指速度特性63を生成する。この特性を入力して、高解像度のデスキューされた粗いマトリクス画像65を生成し、最終的に、ダウンサンプリングされた固定垂直画素ピッチの画像66を生成する。
【0032】
ここで、指画像データセットの取得について、追加的に図4を参照しながらさらに説明する。3つのリニアアレイ45〜47は同時に動作し、連続的にデータを捕捉する。リニアアレイ45〜47の走査を随意的に同期させて、その後のデータ処理を簡略化することができる。これらのアレイからのデータは、規則的な時間ベース(時間間隔)で捕捉するか、あるいはタイムスタンプ(時刻印)を付けて、リサンプリングアルゴリズムが必要とする時間の参照データを提供することができる。アレイ45〜47からの画素データを多重化して単一のデータストリームにして、これらのアレイからプロセッサ、例えばオンボードプロセッサまたは上述した装置プロセッサ32への伝送の利便性を図る。そしてこのデータストリームを多重分離して、各アレイによって生成された生の画像データセットまたは画像60〜62を復元することができる。
【0033】
ここで追加的に図5を参照しながら、指速度特性63が、指35がスライドする動作中の各時点における指速度の推定値であることを説明する。この速度は、各生の画像60〜62中のある特徴を含む領域60a〜62aを識別することによって計算することができる。この図に示す実施例では、y方向が支配的な指の動きの方向であり、リニアセンサアレイ45〜47の長軸に対する方線方向であり、x方向はリニアセンサアレイに平行な方向である。x及びyの両方向の速度を計算して、指の斜めの動きへの適応を可能にすることができる。
【0034】
指35の特徴は、画像処理技術の当業者にとって周知の種々の方法を用いて識別し、センシングアレイ45〜47からの画像60〜62を通して追跡することができる。生の画像60〜62の垂直(y軸)方向のピクセレーションは変動し得るので、広幅(x)で縦に短い(y)領域60a〜62aによって表現される特徴は、取り扱いをより容易にすることができ、そしてより広い範囲の指速度にわたって良好な結果を生み出すことができる。この場合には、特徴は単に、多種多様なグレースケールの変化を有する領域とすることができる。明らかに、速度特性63の推定値の信頼性レベルは、曲線上の計算する点の数に応じて変化し、そして3つ以上のリニアアレイを有するセンサ31については、実行する速度計算における冗長性の度合いに応じて変化する。当業者にとって明らかなように、平滑化、内挿補間、曲線の当てはめ、及び他のデータ増大方法を適切な所に適用することができ、このことは当業者にとって明らかである。
【0035】
遅い指の速度は、物理的特徴及び画素サイズに対してオーバーサンプリング(より高いサンプリングレートでのサンプリング)した生の画像60〜62によって特徴付けることができる。高い指の速度では、生の画像60〜62はアンダーサンプリング(より低いサンプリングレートでのサンプリング)されるようになり得る。例えば3つ以上のより多数のリニアアレイを使用する実施例では、すべてのセンサアレイをまとめた集合的なサンプリングレートが、対象の特徴を撮像するのに必要なベース・サンプリングレート、即ちナイキスト基準に基づくサンプリングレートを超える限り、アンダーサンプリングされた生の画像を用いて、良好なリサンプリングを実行することができる。
【0036】
ここで追加的に図6を参照しながら、指速度に基づくリサンプリングをさらに説明する。指35がアレイ45〜47上を移動する際に、これらのアレイは、3つの完結した指の画像60〜62を、指の速度と共に変化する垂直解像度で生成する。図に示す実施例は、指35をアレイ45〜47上でゆっくり始動させて連続的に加速することによって生成され得る管状形式の速度特性63を用いた例を利用する。
【0037】
マトリクス65の大きな格子上の平行斜線を付けた部分は、図に示す速度特性に基づく、生の画像から正規化した画像上への画素値(グレースケール)の配置を例示する。図に示すこの例では、正規化した画像を最初にスーパーサンプリングした形式で表現し、そしてすべての生の画素を配置した後にダウンサンプリングして最終画像66を生成する。このスーパーピクセレーション(スーパーサンプリングした画素化)は、発生し得るリサンプリングのディジタル化誤差を最小化する。よりメモリ密度の低いこれらの誤差を制御するために他の方法が利用可能であり、このことは当業者が容易に理解する所である。
【0038】
平行斜線を付けた各画素中の数字は、この画素のデータが生の画像のどの走査(または行)から来たかを示す。例えば、左傾き平行斜線を付けた0を含む画素中のグレースケールデータはすべて、左傾き平行斜線を付けた生の画像62の0番目の行から来たものである。この例では、指35は下向きにスライドし、データストリーム中の最初のデータ(従って、生の画像の最上部のデータ)は、指の下部についてのデータである。ここに示す例では、この逆転を、生の画像60〜62を統合画像65にマッピングするプロセスにおいて修正し、従って最終画像66は正しい上下左右の向きを有する。指35が遅く動く際には、画像の底部及び中央部付近では、複数の測定値を組み合わせて各出力画素の最終値が生成されていることがわかる。より速い指の速度が生じると、データは自動的に、出力画素にわたって均等に拡散される。スーパーサンプリングしたアレイ65中にデータを配置した後に、画像処理に精通した者にとって周知の多数のダウンサンプリング・アルゴリズムのいずれかを用いて、これらのデータをダウンサンプリングして所望の垂直及び水平解像度にする。統合した画像データを最適にリサンプリングすることによって、この種の画像用のダウンサンプリング・アルゴリズムは、生のデータにノイズがあるか、生のデータが弱いか、あるいは生のデータの品質が変動する際にも、原画像の最尤推定値を生成することができる。
【0039】
ここで追加的に図7〜13を参照しながら、好適な指の画像データの処理を説明する。より詳細には、この例におけるデータを生成するために用いる指センサ70は、各々が196画素の4つのリニアアレイ71〜74を有し、これらのアレイはa=50ミクロン及びb=300ミクロンの間隔を有する。各リニアアレイ71〜74によって生成される指全体の可変垂直解像度の画像のそれぞれを、図8〜11の画像75〜79によって示す。これらの画像は、上記垂直及び水平解像度の固定解像度のデータを含むように表示されている。実際に、この例において指がスライドする速度では、画素は垂直方向の方が水平方向より大きい画像領域を表現する。この表示方法の結果は、これらの画像が垂直方向に押し縮められて見える、ということである。比較のため、単一アレイからの画像を直線的に引き伸ばして生じた画像を図12の画像81によって示し、本明細書で説明するように、4つの可変垂直解像度の画像をリサンプリングして組み合わせて生じた画像を図13に示す。
【0040】
単一アレイからの画像81(図12)には、指がスライドする速度の変化が、稜線の幅の明らかな変化及び稜線の方向角の屈曲として見られる。図13のリサンプリングした画像80では、この画像の歪みが修正されている。なお、リサンプリングした画像80は右に傾いている。これは、指がセンサ70上を少し斜めにスライドした結果である。指センサ装置は小さい水平速度を検出して、リサンプリング中にこの水平速度を補償する。この補償は正規化の効果を有して、当業者が見込むよりもずっと正確なパターン整合(マッチング)を可能にする。
【0041】
当業者にとって明らかなように、2つ以上のバイオメトリクスは、例えば本願の譲受人に譲渡された米国特許出願第2005/0089202号、発明の名称”Multi-biometric finger sensor including electric field sensing pixels and associated methods”に開示されたように検出することができ、この特許出願の全文を参考文献として本明細書に含める。従って、以上の説明及び関連する図面において提供される教示が利益となる当業者は、本発明の多数の変形及び他の実施例を想到し得る。従って、本発明は開示した特定実施例に限定されず、その変形及び実施例が特許請求の範囲に含まれることは明らかである。
【図面の簡単な説明】
【0042】
【図1】本発明による指センサ装置を含む電子装置の概略図である。
【図2】図1に示す指センサ装置の特に断面をより詳細に示す図である。
【図3】図1に示す指センサ装置によって実行される画像処理の概略図であり、明瞭に図示するために簡略化して2つの指センシングアレイのみを示す。
【図4】図1に示す指センサ装置によって実行される画像処理の他の概略図であり、多重化を含む。
【図5】図1に示す指センサ装置によって実行される画像処理をより詳細に示す図であり、指の動き判定を含む。
【図6】図1に示す指センサ装置によって実行される画像処理をより詳細に示す図であり、リサンプリングを含む。
【図7】本発明による指センサ装置の例における指画像センシングアレイの概略図である。
【図8】図7の例における指センシングアレイからの指画像のサンプルである。
【図9】図7の例における指センシングアレイからの指画像のサンプルである。
【図10】図7の例における指センシングアレイからの指画像のサンプルである。
【図11】図7の例における指センシングアレイからの指画像のサンプルである。
【図12】従来技術により処理した指画像のサンプルに基づく線形拡大したサンプル画像である。
【図13】図8〜11の指画像のサンプルに基づき、本発明により処理した完成画像のサンプルである。
【技術分野】
【0001】
(発明の分野)
本発明はバイオメトリクス(生体計測)に関するものであり、特に、指センシング及びこれに関連する方法に関するものである。
【0002】
(発明の背景)
指紋センシング及び整合は、信頼性があり広範に用いられている個人識別または検証技術である。特に、指紋識別の一般的な方法は、指紋またはその画像のサンプルを走査し、画像、及び/または指紋画像固有の特徴を記憶することを含む。指紋サンプルの特徴は、例えば検証目的で、データベース中に既にある参照指紋についての情報と比較して、個人の適切な識別を判定することができる。
【0003】
【特許文献1】米国特許第5,963,679号
【特許文献2】米国特許第6,259,804号
【特許文献3】米国特許出願第2005/0089202号
【0004】
指紋センシング用の特に有利な方法は、本発明の譲受人に譲渡された米国特許第5,963,679号及び第6,259,804号に開示され、その全文を参考文献として本明細書に含める。指紋センサは集積回路型センサであり、ユーザの指紋を電界信号で導出し、この電界を、集積回路基板上の電界センシング画素のアレイで検出する。これに加えての指センシング集積回路及び方法は、米国で公開されている米国特許出願第2005/0089202号、発明の名称”Multi-biometric finger sensor including electric field sensing pixels and associated methods”に開示され、これも本発明の譲受人に譲渡されており、その全文を参考文献として本明細書に含める。
【0005】
【特許文献4】米国特許第6,002,815号
【特許文献5】米国特許第6,289,114号
【0006】
集積回路型指センサの1つの種類はいわゆるスライドまたはスワイプセンサであり、比較的小さい矩形のセンシング面を含み、ユーザはこのセンシング面上で自分の指をスライドさせる(すべらせる)か動かす。このスライドセンサから収集したデータからユーザの指の全体画像を生成することが望ましいことがある。実際に、従来技術は、スライドセンサから全体画像を構成するためのシステム設計哲学の2つのクラスを含むものと考えることができる。一方のクラスは、例えば米国特許第6,002,815号に開示されているように、多様な種類の指速度センサを用いて、サンプリングレート(速度)を制御するか、あるいは繰り返しデータを棄却するかのいずれかを行う。他方のクラスは、例えば米国特許第6,289,114号に開示されているように、部分的にオーバラップ(重複)する画像フレームどうしの相互相関を用いて冗長なデータを除外し、画像フレームをつなぎ合わせて単一の全体画像にする。
【0007】
従来技術の方法は、いくつかの欠点を抱えている。例えば、画像のデスキュー(傾き、曲がり、歪み等の修正)用と部分画像のつなぎ合わせ用に2つの別個のプロセスが必要になり得る。これらのプロセスは、非一様な指の動きの影響によって生じるノイズを低減するメカニズムを欠いていることがあり、そして広範囲に変化する指の速度に容易に適応できないことがある。もちろん、指がより低速でスライドすると、余分なデータは一般に棄却される。
【0008】
(発明の概要)
以上の背景を考慮するに、従って本発明の目的は、指スライド用途用に高画質の画像データセットを生成する指センサ装置及びこれに関連する方法を提供することにある。
【0009】
本発明による上記及び他の目的、特徴及び利点は、指画像センシングアレイ上で指がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成する複数の指画像センシングアレイ;及びこの指画像センシングアレイと協働して、上記指画像データセットに基づいて指の動きを測定し、測定した指の動きに基づいて上記指画像データセットをリサンプリング(再サンプリング)することによって、リサンプリングした指画像データセットを生成するプロセッサを具えた指センサ装置によって提供される。このプロセッサはさらに、上記リサンプリングした指画像データセットを生成する際に、複数の指画像データセットをデスキューする。換言すれば、上記プロセッサは、センサが画素を順次、即ちセンサの一方の側から始まり他方の側に向かって進んで読み取る時間中に蓄積された増分的な指の動きを記述することができる。上記プロセッサは、上記指画像センシングアレイに垂直な方向からある角度をなす指の動きを記述し、そして指を動かす動作のコース上でのこの角度の変化を記述することもできる。
【0010】
上記プロセッサは、上記リサンプリングした指画像データセットが上記複数の指画像データセットをスーパーサンプリング(より細かくサンプリング)した指画像データセットを規定するのに十分なレート(速度)で、上記複数の指画像センシングアレイを走査することができる。従って、上記プロセッサは、上記スーパーサンプリングした指画像データセットをダウンサンプリング(より粗くサンプリング)して所望の解像度にすることによって、上記リサンプリングした指画像データセットを生成することもできる。上記プロセッサは、上記指画像データセットの各々が完結した画像データセットを規定するように、上記指画像センシングアレイの各々を走査することもできる。
【0011】
上記プロセッサは、上記複数の指画像データセットの各々における少なくとも1つの指の特徴を識別し追跡することに基づいて、指の動きを測定することもできる。例えば、上記プロセッサは指の動きを二次元で測定することができる。
【0012】
上記プロセッサはさらに、上記リサンプリングした指画像データセット及び記憶している指画像データセットに基づいて、指の整合を判定することができる。その代わりに、あるいはこれに加えて、上記プロセッサは、上記リサンプリングした指画像データセットに基づいて指画像をディスプレイ上に生成することができる。
【0013】
上記指画像センシングアレイの各々は、指画像センシング画素のリニアアレイで構成することができる。例えば、上記指画像センシング画素の各々は、集積回路型指画像センシング画素で構成することができる。
【0014】
一部の好適例では、上記プロセッサを上記センシング画素と同じ集積回路上に組み込むことができ、他の好適例では、上記プロセッサを、上記指センシングアレイを含む電子装置のホストプロセッサとすることができる。これらの独立したプロセッサの好適例では、多重データバスを、上記指画像センシングアレイと上記プロセッサとの間に接続することができる。これに加えて、上記指画像センシングアレイの少なくとも隣接したいくつかは、不均等な間隔に配置することができる。簡潔に上述したように、上記指センサ装置は、筐体を具えた携帯電子装置に有利に内蔵させることができる。
【0015】
本発明の他の態様は、指センシング方法に指向したものである。この方法は、複数の指画像センシングアレイ上で指がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成するステップと;上記指画像データセットに基づいて指の動きを測定するステップと;測定した指の動きに基づいて上記指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するステップとを具えることができる。これに加えて、上記リサンプリングした指画像データセットを生成するステップはさらに、上記複数の指画像データセットをデスキューすることを含むことができる。
【0016】
(好適な実施例の詳細な説明)
以下、本発明の好適な実施例について図面を参照しながらより詳細に説明する。しかし、本発明は多くの異なる形態で具体化することができ、本明細書に記載の実施例に限定されるものと考えるべきでない。むしろ、これらの実施例は、本明細書の開示を詳細かつ完全にし、本発明の範囲を当業者に十分伝えるために提供する。図面を通して、同じ要素は同じ参照番号で参照する。
【0017】
ここで最初に図1及び2を参照しながら、本発明による、指センサ装置30を具えたセルラ電話機20の形の好適な電子装置を説明する。セルラ電話機20は、指センサ装置30を支持する携帯用の筐体21を具えている。これに加えて、セルラ電話機20は、例えばディスプレイ22及び入力キー23を具え、これらも筐体21によって支持される。充電式バッテリ36は、当業者にとって明らかな種々の電子構成要素に給電することができる。ディスプレイ22はライン36経由でホストまたは装置プロセッサ32に接続されている。装置プロセッサ32も、例えば多重通信バス33経由でスライド式指センサ31に接続されており、これについては以下でより詳細に説明する。PDA、ラップトップ・コンピュータのような他の電子装置も指センサ装置30を使用することができる。
【0018】
指センサ装置30は、例えば集積回路の形の指センサ31を含み、この集積回路は、集積回路基板42を含み、そして3つのリニア指センシングアレイ45〜47をその内部に有する。これに加えて、スライド式指センサ31は、例えば随意的な処理回路41をその内部に含み、処理回路41は、本明細書に説明する画像処理の一部または全部を実行することができる。一部の実施例では、上記画像処理の大部分または全部を装置プロセッサ32によって実行することができる。装置プロセッサ32は、それ自身の埋め込み型メモリを含むか、あるいは実施例に示すように外部メモリ53に接続することができる。
【0019】
当業者には明らかなように、セルラ電話機または他の携帯電子装置用の装置プロセッサ32は一般に、指センサ装置30が直ちに使用することのできる追加的な処理リソースを有する。もちろん、他の実施例では、画像処理のすべてを、集積回路型スライド式指センサ31のオンボード処理回路41によって実行することができる。当業者には明らかなように、ユーザの指35と上記センシングアレイとの間の相対的な動きに頼る他の種類の指センサも、本明細書に説明する処理技術によって利用することができる。
【0020】
図に示すスライド式指センサ31には、3つのリニア指センシングアレイ45〜47が設けられ、これらのアレイは不均等な間隔を有する。他の実施例では、アレイ45〜47を均等な間隔にすることができ、そしてアレイの数を異ならせることもできる。これに加えて、指センシングアレイ45〜47の各々は、図に示すように直線状(リニア)にすることができ、そして図2に最良に示すように、複数の集積回路型指画像センシング画素45a〜47aで構成することができる。例えば、集積回路型指画像センシング画素45a〜47aは、米国特許第5,963,679号及び第6,259,804号に開示されているような電界センシング画素とすることができ、これらの特許はその全文を参考文献として本明細書に含める。他の実施例では、例えば熱、赤外線、あるいは光センシングに基づくもののような、異なる種類の集積回路型指センシング画素を用いることができる。さらに他の実施例では、指センシングアレイを、当業者にとって明らかな、集積回路型以外の形で設けることができる。
【0021】
指センサ装置30は、指画像センシングアレイ上で指35がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成する指画像センシングアレイ45〜47、及びこれらの指画像センシングアレイと協働するプロセッサを具えている。図に示す実施例では、このプロセッサは独立したホストまたは装置プロセッサ32である。プロセッサ32は、指画像データセットに基づいて指の動きを測定し、そして測定した指の動きに基づいて指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するように設定またはプログラムすることができる。換言すれば、プロセッサ32は、図に示す指の動き測定器51、並びにその下流に接続されたリサンプラ52を規定することができる。以下でより詳細に説明するように、プロセッサのリサンプラ52は、リサンプリングした指画像データセットを生成する際に指画像データセットをデスキュー(傾き、曲がり、歪み等を修正)して、指画像センシングアレイ45〜47に垂直な方向からある角度をなす指35の動きを記述することもできる。
【0022】
プロセッサ32は、リサンプリングした指画像データセットが、複数の指画像データセットをスーパーサンプリング(より細かくサンプリング)した指画像データセットを規定するのに十分なレートで、指画像センシングアレイ45〜47を走査することができる。従って、プロセッサ32は、スーパーサンプリングした指画像データセットをダウンサンプリング(より粗くサンプリング)して所望の解像度にすることによって、リサンプリングした指画像データセットを生成することもできる。プロセッサ32は、指画像センシングアレイ45〜47の各々を走査し、これにより各指画像データセットは完結した指画像データセットを規定することもできる。このことは、例えば走査中に、部分画像のみを収集し、及び/または冗長なデータを消去する従来技術の方法とは対照的である。
【0023】
プロセッサ32の指の動き測定器51は、各々の指画像データセットにおける少なくとも1つの指の特徴を識別し追跡することに基づいて指の動きを測定することができ、このことは当業者にとって明らかである。より詳細には、プロセッサ32は指の動きを二次元で測定することができる。
【0024】
プロセッサはさらに、リサンプリングした指画像データセット及び記憶している指画像データセットに基づいて、指の整合を判定することができる。図に示す装置プロセッサ32は、略図で示す指整合器54を具え、その動作は当業者にとって明らかである。その代わりに、あるいはこれに加えて、プロセッサ32はディスプレイドライバ55を具えて、リサンプリングした指画像データセットに基づいて指画像をディスプレイ22上に生成することができる。
【0025】
本発明の他の態様は、指センシング方法に指向したものである。この方法は、複数の指画像センシングアレイ45〜47上で指がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成するステップと;これらの指画像データセットに基づいて指の動きを測定するステップと;測定した指の動きに基づいて上記指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するステップとを具えることができる。これに加えて、リサンプリングした指画像データセットを生成するステップはさらに、上記複数の指画像データセットをデスキューすることを含むことができる。
【0026】
他の意味で考えれば、本発明の方法はいくつかのセンシングアレイ45〜47を指35が移動する経路中に配置し、各アレイは完結した指の画像を生成する。結果的なデータは同時に取得した同じ物体(指)のいくつかの画像であるが、既知の物理的距離だけ分離された異なるセンサ位置からの画像である。指の速度は捕捉プロセス中に大きく変化し得るので、生の画像は指の動きの方向に可変のピクセレーション(画素区分)を有し得る。そしてプロセッサ32は、これらのいくつかの画像を用いて、時間に対する指の動きの特性を計算し、そしてこの特性を用いて、生の画像の最適なリサンプリングを実行して、単一の高画質の正規化した画像を規則的なピクセレーションで生成することができる。この最適なリサンプリングは同時に、センサの有限の走査(スキャン)レートによって生じるデータのスキュー(歪み)、及び変化する指の速度によって生じるピクセレーションの変動を修正することができる。この方法はある意味で、2つの異なる画像を組み合わせて結果的に単一画像にする立体映像に似ている。本発明の方法は、移動物体(例えば車内のセル電話機)からの単一の無線信号を、異なる位置にあるいくつかの異なるアンテナによって異なる遅延を以って捕捉する際に用いる信号処理とも、いくつかの特徴を共有する。
【0027】
指センサ装置30は複数のリニア画素アレイ45〜47を具え、これらは、指が複数のアレイ上を順次通過しながらアレイ上をスライドするように配置されている。リニアアレイ45〜47は同期して走査するか、少なくとも走査どうしに既知の時間関係を持たせて走査することができる。各リニアアレイ45〜47は、指のスライド速度に依存する可変の垂直画素ピッチを有する指表面全体の画像を生成する。指の速度特性の推定値は、各リニアアレイによって生成される画像中の選択した特徴の位置を見つけ、そしてアレイ45〜47の既知の物理的間隔を用いて速度を計算することによって作成される。一次元または二次元の動きを計算することができる。そして指の速度の特性を用いて、リニアアレイ画像をデスキューして、画像をリサンプリングして標準的な固定サンプリングレートの画像にすることができる。
【0028】
指センサ装置30及びこれに関連する方法は多くの利点を提供する。例えば、指センシング装置20は指の速度の広範囲の変動にわたる精度を享受する。指の速度の広範囲の変化の存在下でも提供される正確な撮像は、順次走査されるセンシングアレイからのデータを、アレイ中の異なる位置にあって走査される画素間に生じる遅延について調整することを必要とする。デスキュープロセスはこれらの遅延を補償し、そして指の速度に依存しない同じ最終画像を生成する。
【0029】
指センサ装置30及びこれに関連する方法は、増強された効率を提供することもできる。デスキューとリサンプリングとを組み合わせて単一の最適化されたプロセスにすることができる。この方法は、一次元または二次元のいずれかの動きを取り扱い、従ってリニアアレイ45〜47の法線に合っていない動きに効率的に適応することができる。センサ装置30及びこれに関連する方法は、毎回異なるリニアセンサアレイを用いて肌を何回か走査し、そしてこれらの測定値を組み合わせて単一の最適な結果にすることによって、画像ノイズ及びアーティファクト(歪像)を低減することもできる。より遅い指の動きを許容し、より多数の測定値を最終結果の計算に含めることによって、改善された感度、低減されたノイズ、及びアーティファクトの低減を生み出すことができる。従来技術の装置における、有用な画像を生成することのできない弱い画像化(イメージング)の指は、今度はより遅い指の動きを用いることによって良好に撮像することができる。
【0030】
リニアアレイ45〜47の間隔は厳密なものではないが、異なる目的の異なる方法で最適化することができる。例えば、リニアアレイ45〜47の不均等な間隔は、リニアアレイの法線方向に対する種々の角度で生じる指の動きを取り扱うシステム能力を改善することができる。
【0031】
ここで、追加的に図3を参照しながら、画像データセット処理の態様をさらに説明する。説明を明瞭にするために、指撮像センシングアレイのうち2つだけ(45、46)を例示している。各アレイ45、46は可変画素ピッチの画像60、61を生成し、これらの画像から指速度特性63を生成する。この特性を入力して、高解像度のデスキューされた粗いマトリクス画像65を生成し、最終的に、ダウンサンプリングされた固定垂直画素ピッチの画像66を生成する。
【0032】
ここで、指画像データセットの取得について、追加的に図4を参照しながらさらに説明する。3つのリニアアレイ45〜47は同時に動作し、連続的にデータを捕捉する。リニアアレイ45〜47の走査を随意的に同期させて、その後のデータ処理を簡略化することができる。これらのアレイからのデータは、規則的な時間ベース(時間間隔)で捕捉するか、あるいはタイムスタンプ(時刻印)を付けて、リサンプリングアルゴリズムが必要とする時間の参照データを提供することができる。アレイ45〜47からの画素データを多重化して単一のデータストリームにして、これらのアレイからプロセッサ、例えばオンボードプロセッサまたは上述した装置プロセッサ32への伝送の利便性を図る。そしてこのデータストリームを多重分離して、各アレイによって生成された生の画像データセットまたは画像60〜62を復元することができる。
【0033】
ここで追加的に図5を参照しながら、指速度特性63が、指35がスライドする動作中の各時点における指速度の推定値であることを説明する。この速度は、各生の画像60〜62中のある特徴を含む領域60a〜62aを識別することによって計算することができる。この図に示す実施例では、y方向が支配的な指の動きの方向であり、リニアセンサアレイ45〜47の長軸に対する方線方向であり、x方向はリニアセンサアレイに平行な方向である。x及びyの両方向の速度を計算して、指の斜めの動きへの適応を可能にすることができる。
【0034】
指35の特徴は、画像処理技術の当業者にとって周知の種々の方法を用いて識別し、センシングアレイ45〜47からの画像60〜62を通して追跡することができる。生の画像60〜62の垂直(y軸)方向のピクセレーションは変動し得るので、広幅(x)で縦に短い(y)領域60a〜62aによって表現される特徴は、取り扱いをより容易にすることができ、そしてより広い範囲の指速度にわたって良好な結果を生み出すことができる。この場合には、特徴は単に、多種多様なグレースケールの変化を有する領域とすることができる。明らかに、速度特性63の推定値の信頼性レベルは、曲線上の計算する点の数に応じて変化し、そして3つ以上のリニアアレイを有するセンサ31については、実行する速度計算における冗長性の度合いに応じて変化する。当業者にとって明らかなように、平滑化、内挿補間、曲線の当てはめ、及び他のデータ増大方法を適切な所に適用することができ、このことは当業者にとって明らかである。
【0035】
遅い指の速度は、物理的特徴及び画素サイズに対してオーバーサンプリング(より高いサンプリングレートでのサンプリング)した生の画像60〜62によって特徴付けることができる。高い指の速度では、生の画像60〜62はアンダーサンプリング(より低いサンプリングレートでのサンプリング)されるようになり得る。例えば3つ以上のより多数のリニアアレイを使用する実施例では、すべてのセンサアレイをまとめた集合的なサンプリングレートが、対象の特徴を撮像するのに必要なベース・サンプリングレート、即ちナイキスト基準に基づくサンプリングレートを超える限り、アンダーサンプリングされた生の画像を用いて、良好なリサンプリングを実行することができる。
【0036】
ここで追加的に図6を参照しながら、指速度に基づくリサンプリングをさらに説明する。指35がアレイ45〜47上を移動する際に、これらのアレイは、3つの完結した指の画像60〜62を、指の速度と共に変化する垂直解像度で生成する。図に示す実施例は、指35をアレイ45〜47上でゆっくり始動させて連続的に加速することによって生成され得る管状形式の速度特性63を用いた例を利用する。
【0037】
マトリクス65の大きな格子上の平行斜線を付けた部分は、図に示す速度特性に基づく、生の画像から正規化した画像上への画素値(グレースケール)の配置を例示する。図に示すこの例では、正規化した画像を最初にスーパーサンプリングした形式で表現し、そしてすべての生の画素を配置した後にダウンサンプリングして最終画像66を生成する。このスーパーピクセレーション(スーパーサンプリングした画素化)は、発生し得るリサンプリングのディジタル化誤差を最小化する。よりメモリ密度の低いこれらの誤差を制御するために他の方法が利用可能であり、このことは当業者が容易に理解する所である。
【0038】
平行斜線を付けた各画素中の数字は、この画素のデータが生の画像のどの走査(または行)から来たかを示す。例えば、左傾き平行斜線を付けた0を含む画素中のグレースケールデータはすべて、左傾き平行斜線を付けた生の画像62の0番目の行から来たものである。この例では、指35は下向きにスライドし、データストリーム中の最初のデータ(従って、生の画像の最上部のデータ)は、指の下部についてのデータである。ここに示す例では、この逆転を、生の画像60〜62を統合画像65にマッピングするプロセスにおいて修正し、従って最終画像66は正しい上下左右の向きを有する。指35が遅く動く際には、画像の底部及び中央部付近では、複数の測定値を組み合わせて各出力画素の最終値が生成されていることがわかる。より速い指の速度が生じると、データは自動的に、出力画素にわたって均等に拡散される。スーパーサンプリングしたアレイ65中にデータを配置した後に、画像処理に精通した者にとって周知の多数のダウンサンプリング・アルゴリズムのいずれかを用いて、これらのデータをダウンサンプリングして所望の垂直及び水平解像度にする。統合した画像データを最適にリサンプリングすることによって、この種の画像用のダウンサンプリング・アルゴリズムは、生のデータにノイズがあるか、生のデータが弱いか、あるいは生のデータの品質が変動する際にも、原画像の最尤推定値を生成することができる。
【0039】
ここで追加的に図7〜13を参照しながら、好適な指の画像データの処理を説明する。より詳細には、この例におけるデータを生成するために用いる指センサ70は、各々が196画素の4つのリニアアレイ71〜74を有し、これらのアレイはa=50ミクロン及びb=300ミクロンの間隔を有する。各リニアアレイ71〜74によって生成される指全体の可変垂直解像度の画像のそれぞれを、図8〜11の画像75〜79によって示す。これらの画像は、上記垂直及び水平解像度の固定解像度のデータを含むように表示されている。実際に、この例において指がスライドする速度では、画素は垂直方向の方が水平方向より大きい画像領域を表現する。この表示方法の結果は、これらの画像が垂直方向に押し縮められて見える、ということである。比較のため、単一アレイからの画像を直線的に引き伸ばして生じた画像を図12の画像81によって示し、本明細書で説明するように、4つの可変垂直解像度の画像をリサンプリングして組み合わせて生じた画像を図13に示す。
【0040】
単一アレイからの画像81(図12)には、指がスライドする速度の変化が、稜線の幅の明らかな変化及び稜線の方向角の屈曲として見られる。図13のリサンプリングした画像80では、この画像の歪みが修正されている。なお、リサンプリングした画像80は右に傾いている。これは、指がセンサ70上を少し斜めにスライドした結果である。指センサ装置は小さい水平速度を検出して、リサンプリング中にこの水平速度を補償する。この補償は正規化の効果を有して、当業者が見込むよりもずっと正確なパターン整合(マッチング)を可能にする。
【0041】
当業者にとって明らかなように、2つ以上のバイオメトリクスは、例えば本願の譲受人に譲渡された米国特許出願第2005/0089202号、発明の名称”Multi-biometric finger sensor including electric field sensing pixels and associated methods”に開示されたように検出することができ、この特許出願の全文を参考文献として本明細書に含める。従って、以上の説明及び関連する図面において提供される教示が利益となる当業者は、本発明の多数の変形及び他の実施例を想到し得る。従って、本発明は開示した特定実施例に限定されず、その変形及び実施例が特許請求の範囲に含まれることは明らかである。
【図面の簡単な説明】
【0042】
【図1】本発明による指センサ装置を含む電子装置の概略図である。
【図2】図1に示す指センサ装置の特に断面をより詳細に示す図である。
【図3】図1に示す指センサ装置によって実行される画像処理の概略図であり、明瞭に図示するために簡略化して2つの指センシングアレイのみを示す。
【図4】図1に示す指センサ装置によって実行される画像処理の他の概略図であり、多重化を含む。
【図5】図1に示す指センサ装置によって実行される画像処理をより詳細に示す図であり、指の動き判定を含む。
【図6】図1に示す指センサ装置によって実行される画像処理をより詳細に示す図であり、リサンプリングを含む。
【図7】本発明による指センサ装置の例における指画像センシングアレイの概略図である。
【図8】図7の例における指センシングアレイからの指画像のサンプルである。
【図9】図7の例における指センシングアレイからの指画像のサンプルである。
【図10】図7の例における指センシングアレイからの指画像のサンプルである。
【図11】図7の例における指センシングアレイからの指画像のサンプルである。
【図12】従来技術により処理した指画像のサンプルに基づく線形拡大したサンプル画像である。
【図13】図8〜11の指画像のサンプルに基づき、本発明により処理した完成画像のサンプルである。
【特許請求の範囲】
【請求項1】
複数の指画像センシングアレイと;
前記複数の指画像センシングアレイと協働するプロセッサとを具え、
前記複数の指画像センシングアレイは、前記複数の指画像センシングアレイ上で指がスライドする動きに基づいて、複数の指画像データセットのそれぞれを生成し、
前記プロセッサは、前記複数の指画像データセットに基づいて指の動きを測定し、そして前記測定した指の動きに基づいて前記複数の指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成する
ことを特徴とする指センサ装置。
【請求項2】
前記プロセッサがさらに、前記リサンプリングした指画像データセットを生成する際に、前記複数の指画像データセットをデスキューすることを特徴とする請求項1に記載の指センサ装置。
【請求項3】
前記プロセッサが、前記リサンプリングした指画像データセットが前記複数の指画像データセットをスーパーサンプリングした指画像データセットを規定するのに十分なレートで、前記複数の指画像センシングアレイを走査することを特徴とする請求項1に記載の指センサ装置。
【請求項4】
前記プロセッサが、前記スーパーサンプリングした指画像データセットをダウンサンプリングして所望の解像度にすることによって、前記リサンプリングした指画像データセットを生成することを特徴とする請求項3に記載の指センサ装置。
【請求項5】
前記プロセッサが、前記複数の指画像センシングアレイの各々を、前記指画像データセットの各々が完結した指画像データセットを規定するように走査することを特徴とする請求項1に記載の指センサ装置。
【請求項6】
前記プロセッサが、前記複数の指画像データセットの各指画像データセット中の少なくとも1つの特徴を識別して追跡することに基づいて、指の動きを測定することを特徴とする請求項1に記載の指センサ装置。
【請求項7】
前記プロセッサが指の動きを二次元で測定することを特徴とする請求項6に記載の指センサ装置。
【請求項8】
前記プロセッサがさらに、前記リサンプリングした指画像データセット、及び記憶している指画像データセットに基づいて、指の整合を判定することを特徴とする請求項1に記載の指センサ装置。
【請求項9】
さらにディスプレイを具え、前記プロセッサが、前記リサンプリングした指画像データセットに基づいて、前記ディスプレイ上に指画像を生成することを特徴とする請求項1に記載の指センサ装置。
【請求項10】
前記複数の指画像センシングアレイの各々が、指画像センシング画素のリニアアレイで構成されることを特徴とする請求項1に記載の指センサ装置。
【請求項11】
前記指画像センシング画素の各々が、集積回路型指画像センシング画素で構成されることを特徴とする請求項10に記載の指センサ装置。
【請求項12】
さらに、前記複数の指画像センシングアレイと前記プロセッサとの間に接続された多重データバスを具えていることを特徴とする請求項1に記載の指センサ装置。
【請求項13】
前記プロセッサが、前記複数の指画像センシングアレイから分離していることを特徴とする請求項1に記載の指センサ装置。
【請求項14】
前記複数の指画像センシングアレイの少なくともいくつかの隣接するものどうしが、不均等な間隔で配置されていることを特徴とする請求項1に記載の指センサ装置。
【請求項15】
筐体と;
前記筐体によって支持される指センサ装置とを具え、
前記指センサ装置が、
複数の指画像センシングアレイと;
前記複数の指画像センシングアレイと協働するプロセッサとを具え、
前記複数の指画像センシングアレイは、前記複数の指画像センシングアレイ上で指がスライドする動きに基づいて、複数の指画像データセットのそれぞれを生成し、前記複数の指センシングアレイの各々が、集積回路型指画像センシング画素のリニアアレイで構成され、
前記プロセッサは、前記複数の指画像データセットに基づいて指の動きを測定し、そして前記測定した指の動きに基づいて前記複数の指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成する
ことを特徴とする電子装置。
【請求項16】
前記プロセッサがさらに、前記リサンプリングした指画像データセットを生成する際に、前記複数の指画像データセットをデスキューすることを特徴とする請求項15に記載の電子装置。
【請求項17】
前記プロセッサが、前記リサンプリングした指画像データセットが前記複数の指画像データセットをスーパーサンプリングした指画像データセットを規定するのに十分なレートで、前記複数の指画像センシングアレイを走査し、前記プロセッサが、前記スーパーサンプリングした指画像データセットをダウンサンプリングして所望の解像度にすることによって、前記リサンプリングした指画像データセットを生成することを特徴とする請求項15に記載の電子装置。
【請求項18】
前記プロセッサが、前記複数の指画像センシングアレイの各々を、前記指画像データセットの各々が完結した指画像データセットを規定するように走査することを特徴とする請求項15に記載の電子装置。
【請求項19】
前記プロセッサが、前記複数の指画像データセットの各指画像データセット中の少なくとも1つの特徴を識別して追跡することに基づいて、指の動きを測定することを特徴とする請求項15に記載の電子装置。
【請求項20】
前記プロセッサがさらに、前記リサンプリングした指画像データセット、及び記憶している指画像データセットに基づいて、指の整合を判定することを特徴とする請求項15に記載の電子装置。
【請求項21】
さらに、前記筐体によって支持されるディスプレイを具え、前記プロセッサが、前記リサンプリングした指画像データセットに基づいて、前記ディスプレイ上に指画像を生成することを特徴とする請求項15に記載の電子装置。
【請求項22】
複数の指画像センシングアレイ上で指がスライドする動きに基づいて、複数の指画像データセットのそれぞれを生成するステップと;
前記複数の指画像データセットに基づいて指の動きを測定するステップと;
前記測定した指の動きに基づいて前記複数の指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するステップと
を具えていることを特徴とする指センシング方法。
【請求項23】
前記リサンプリングした指画像データセットを生成するステップがさらに、前記複数の指画像データセットをデスキューすることを含むことを特徴とする請求項22に記載の指センシング方法。
【請求項24】
さらに、前記リサンプリングした指画像データセットが前記複数の指画像データセットをスーパーサンプリングした指画像データセットを規定するのに十分なレートで、前記複数の指画像センシングアレイを走査するステップを具え、
前記リサンプリングした指画像データセットを生成するステップが、前記スーパーサンプリングした指画像データセットをダウンサンプリングして所望の解像度にすることによって、前記リサンプリングした指画像データセットを生成することから成る
ことを特徴とする請求項22に記載の指センシング方法。
【請求項25】
前記複数の指画像データセットのそれぞれを生成するステップが、前記複数の指画像センシングアレイの各々を、前記指画像データセットの各々が完結した指画像データセットを規定するように走査することを含むことを特徴とする請求項22に記載の指センシング方法。
【請求項26】
前記指の動きを測定するステップが、前記複数の指画像データセットの各指画像データセット中の少なくとも1つの特徴を識別して追跡することに基づいて、指の動きを測定することを含むことを特徴とする請求項22に記載の指センシング方法。
【請求項27】
さらに、前記リサンプリングした指画像データセット、及び記憶している指画像データセットに基づいて、指の整合を判定するステップを具えていることを特徴とする請求項22に記載の指センシング方法。
【請求項28】
さらに、前記リサンプリングした指画像データセットに基づいて、指画像をディスプレイ上に生成するステップを具えていることを特徴とする請求項22に記載の指センシング方法。
【請求項29】
前記複数の指画像センシングアレイの各々が、指画像センシング画素のリニアアレイで構成されることを特徴とする請求項22に記載の指センシング方法。
【請求項30】
前記指画像センシング画素の各々が、集積回路型指画像センシング画素で構成されることを特徴とする請求項29に記載の指センシング方法。
【請求項1】
複数の指画像センシングアレイと;
前記複数の指画像センシングアレイと協働するプロセッサとを具え、
前記複数の指画像センシングアレイは、前記複数の指画像センシングアレイ上で指がスライドする動きに基づいて、複数の指画像データセットのそれぞれを生成し、
前記プロセッサは、前記複数の指画像データセットに基づいて指の動きを測定し、そして前記測定した指の動きに基づいて前記複数の指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成する
ことを特徴とする指センサ装置。
【請求項2】
前記プロセッサがさらに、前記リサンプリングした指画像データセットを生成する際に、前記複数の指画像データセットをデスキューすることを特徴とする請求項1に記載の指センサ装置。
【請求項3】
前記プロセッサが、前記リサンプリングした指画像データセットが前記複数の指画像データセットをスーパーサンプリングした指画像データセットを規定するのに十分なレートで、前記複数の指画像センシングアレイを走査することを特徴とする請求項1に記載の指センサ装置。
【請求項4】
前記プロセッサが、前記スーパーサンプリングした指画像データセットをダウンサンプリングして所望の解像度にすることによって、前記リサンプリングした指画像データセットを生成することを特徴とする請求項3に記載の指センサ装置。
【請求項5】
前記プロセッサが、前記複数の指画像センシングアレイの各々を、前記指画像データセットの各々が完結した指画像データセットを規定するように走査することを特徴とする請求項1に記載の指センサ装置。
【請求項6】
前記プロセッサが、前記複数の指画像データセットの各指画像データセット中の少なくとも1つの特徴を識別して追跡することに基づいて、指の動きを測定することを特徴とする請求項1に記載の指センサ装置。
【請求項7】
前記プロセッサが指の動きを二次元で測定することを特徴とする請求項6に記載の指センサ装置。
【請求項8】
前記プロセッサがさらに、前記リサンプリングした指画像データセット、及び記憶している指画像データセットに基づいて、指の整合を判定することを特徴とする請求項1に記載の指センサ装置。
【請求項9】
さらにディスプレイを具え、前記プロセッサが、前記リサンプリングした指画像データセットに基づいて、前記ディスプレイ上に指画像を生成することを特徴とする請求項1に記載の指センサ装置。
【請求項10】
前記複数の指画像センシングアレイの各々が、指画像センシング画素のリニアアレイで構成されることを特徴とする請求項1に記載の指センサ装置。
【請求項11】
前記指画像センシング画素の各々が、集積回路型指画像センシング画素で構成されることを特徴とする請求項10に記載の指センサ装置。
【請求項12】
さらに、前記複数の指画像センシングアレイと前記プロセッサとの間に接続された多重データバスを具えていることを特徴とする請求項1に記載の指センサ装置。
【請求項13】
前記プロセッサが、前記複数の指画像センシングアレイから分離していることを特徴とする請求項1に記載の指センサ装置。
【請求項14】
前記複数の指画像センシングアレイの少なくともいくつかの隣接するものどうしが、不均等な間隔で配置されていることを特徴とする請求項1に記載の指センサ装置。
【請求項15】
筐体と;
前記筐体によって支持される指センサ装置とを具え、
前記指センサ装置が、
複数の指画像センシングアレイと;
前記複数の指画像センシングアレイと協働するプロセッサとを具え、
前記複数の指画像センシングアレイは、前記複数の指画像センシングアレイ上で指がスライドする動きに基づいて、複数の指画像データセットのそれぞれを生成し、前記複数の指センシングアレイの各々が、集積回路型指画像センシング画素のリニアアレイで構成され、
前記プロセッサは、前記複数の指画像データセットに基づいて指の動きを測定し、そして前記測定した指の動きに基づいて前記複数の指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成する
ことを特徴とする電子装置。
【請求項16】
前記プロセッサがさらに、前記リサンプリングした指画像データセットを生成する際に、前記複数の指画像データセットをデスキューすることを特徴とする請求項15に記載の電子装置。
【請求項17】
前記プロセッサが、前記リサンプリングした指画像データセットが前記複数の指画像データセットをスーパーサンプリングした指画像データセットを規定するのに十分なレートで、前記複数の指画像センシングアレイを走査し、前記プロセッサが、前記スーパーサンプリングした指画像データセットをダウンサンプリングして所望の解像度にすることによって、前記リサンプリングした指画像データセットを生成することを特徴とする請求項15に記載の電子装置。
【請求項18】
前記プロセッサが、前記複数の指画像センシングアレイの各々を、前記指画像データセットの各々が完結した指画像データセットを規定するように走査することを特徴とする請求項15に記載の電子装置。
【請求項19】
前記プロセッサが、前記複数の指画像データセットの各指画像データセット中の少なくとも1つの特徴を識別して追跡することに基づいて、指の動きを測定することを特徴とする請求項15に記載の電子装置。
【請求項20】
前記プロセッサがさらに、前記リサンプリングした指画像データセット、及び記憶している指画像データセットに基づいて、指の整合を判定することを特徴とする請求項15に記載の電子装置。
【請求項21】
さらに、前記筐体によって支持されるディスプレイを具え、前記プロセッサが、前記リサンプリングした指画像データセットに基づいて、前記ディスプレイ上に指画像を生成することを特徴とする請求項15に記載の電子装置。
【請求項22】
複数の指画像センシングアレイ上で指がスライドする動きに基づいて、複数の指画像データセットのそれぞれを生成するステップと;
前記複数の指画像データセットに基づいて指の動きを測定するステップと;
前記測定した指の動きに基づいて前記複数の指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するステップと
を具えていることを特徴とする指センシング方法。
【請求項23】
前記リサンプリングした指画像データセットを生成するステップがさらに、前記複数の指画像データセットをデスキューすることを含むことを特徴とする請求項22に記載の指センシング方法。
【請求項24】
さらに、前記リサンプリングした指画像データセットが前記複数の指画像データセットをスーパーサンプリングした指画像データセットを規定するのに十分なレートで、前記複数の指画像センシングアレイを走査するステップを具え、
前記リサンプリングした指画像データセットを生成するステップが、前記スーパーサンプリングした指画像データセットをダウンサンプリングして所望の解像度にすることによって、前記リサンプリングした指画像データセットを生成することから成る
ことを特徴とする請求項22に記載の指センシング方法。
【請求項25】
前記複数の指画像データセットのそれぞれを生成するステップが、前記複数の指画像センシングアレイの各々を、前記指画像データセットの各々が完結した指画像データセットを規定するように走査することを含むことを特徴とする請求項22に記載の指センシング方法。
【請求項26】
前記指の動きを測定するステップが、前記複数の指画像データセットの各指画像データセット中の少なくとも1つの特徴を識別して追跡することに基づいて、指の動きを測定することを含むことを特徴とする請求項22に記載の指センシング方法。
【請求項27】
さらに、前記リサンプリングした指画像データセット、及び記憶している指画像データセットに基づいて、指の整合を判定するステップを具えていることを特徴とする請求項22に記載の指センシング方法。
【請求項28】
さらに、前記リサンプリングした指画像データセットに基づいて、指画像をディスプレイ上に生成するステップを具えていることを特徴とする請求項22に記載の指センシング方法。
【請求項29】
前記複数の指画像センシングアレイの各々が、指画像センシング画素のリニアアレイで構成されることを特徴とする請求項22に記載の指センシング方法。
【請求項30】
前記指画像センシング画素の各々が、集積回路型指画像センシング画素で構成されることを特徴とする請求項29に記載の指センシング方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公表番号】特表2008−533562(P2008−533562A)
【公表日】平成20年8月21日(2008.8.21)
【国際特許分類】
【出願番号】特願2007−556319(P2007−556319)
【出願日】平成18年2月17日(2006.2.17)
【国際出願番号】PCT/US2006/005626
【国際公開番号】WO2007/024259
【国際公開日】平成19年3月1日(2007.3.1)
【出願人】(500346291)オーセンテック,インコーポレイテッド (3)
【Fターム(参考)】
【公表日】平成20年8月21日(2008.8.21)
【国際特許分類】
【出願日】平成18年2月17日(2006.2.17)
【国際出願番号】PCT/US2006/005626
【国際公開番号】WO2007/024259
【国際公開日】平成19年3月1日(2007.3.1)
【出願人】(500346291)オーセンテック,インコーポレイテッド (3)
【Fターム(参考)】
[ Back to top ]