説明

デプスフロムデフォーカス撮像用のシステムおよび方法

【課題】レンズの短所の原因となる非接触式の適用例において、指紋を獲得するシステムおよび方法を提供する。
【解決手段】撮像システムは、画像面を軸方向にシフトさせるように構成されている位置決め可能デバイスであって、画像面が、物体から発出しレンズを通過する光子から生成される、位置決め可能デバイスと、レンズを通過する物体の光子を受けるように位置決めされる検出器面と、レンズを数学的関数として特徴付けるように、物体の2つ以上の要素画像を、各個の要素画像の画像面が、検出器面に対して異なる軸方向の位置にある状態で獲得するように、レンズの特徴付けに基づいて、および、獲得した2つ以上の要素画像に基づいて、レンズからの物体の合焦距離を決定するように、ならびに、決定した距離に基づいて物体の深度マップを生成するようにプログラムされるコンピュータとを含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、一般には、デプスフロムデフォーカス(depth from defocus)撮像用のシステムおよび方法に関し、より詳細には、非接触式複数指紋採取デバイスに関する。
【背景技術】
【0002】
指紋のパターンおよび幾何形状が、各個人に対して異なり、経時的に不変であることはよく知られている。したがって、指紋は、それらが修正不能な物理的属性に依存するので、個人のきわめて正確な識別子として役立つ。指紋の分類は、通常は、弓状、蹄状または渦状などの決まった特性に基づくが、最も弁別的な特性は、隆線の中および隆線の流れの全体形状の中に見出されるマニューシャ、分岐点、または端点である。
【0003】
従来、指紋は、インクおよび紙によって取得されたものであり、対象者は、自分の指の表面をインクで覆い、回転指紋をもたらすように、紙または同様の面上に自分の指を押し付ける/回転させる。より最近では、光学的な指紋画像取り込み技法を利用して指紋の画像を取得する、様々な電子指紋スキャニングシステムが開発されてきた。そのような電子指紋スキャニングシステムは、典型的には、光学的に獲得される完全な回転画像の指紋を得るために、対象者の指が、スクリーンに接触して置かれ、次いでスクリーン全体に物理的に回転されることを求める、接触ベースの指紋リーダの形式であった。しかしながら、接触ベースの指紋リーダには、それに関連する重大な欠点がある。例えば、野外環境では、汚れ、脂または他の細片が接触ベースの指紋リーダの窓上に集積して、低品質の指紋画像を生成する場合がある。さらに、そのような接触ベースの指紋リーダは、ある人から別の人に、病気または他の汚染を拡散させる手段をもたらす。
【0004】
最近の電子指紋スキャニングシステムでは、非接触式指紋リーダが、対象者の指とスクリーンとの間の物理的な接触を必要とせずに指紋を取り込む。その目的は、画像がレンズにより形成される非接触式撮像システムを使用して、回転等価指紋画像を生成することである。従来の撮像は、物体の2D表現を提供するが、回転等価指紋を生成するためには、指の3D外形を必要とする。指などの物体に対しては、浅い被写界深度の撮像システムを用いて撮像される場合、物体の一部の部分は合焦しており、一部は焦点がずれている。典型的には、合焦領域は、可能な限り鮮明に合焦している物体の領域であり、反対に、焦点ずれは、焦点の欠如を指し、その程度は、2つの画像間で算出され得る。既知のシステムは、デプスフロムフォーカス(depth from focus)(DFF)またはデプスフロムデフォーカス(DFD)のいずれかのアルゴリズムを使用して、物体の深度マップを生成することができる。
【0005】
一システムでは、非接触式指紋スキャニングシステムは、構造化光源を利用することにより指の画像を獲得し、3D画像が、DFFアルゴリズムを使用して生成される。例として、DFFアルゴリズムでは、多くの測定値が様々な焦点面位置で得られ、多くの測定値が深度マップを生成するために使用される。典型的には、様々な焦点面位置が、物体もしくはレンズのいずれかの物理的運動により、あるいは(既知の技法を使用する、または、通過すると様々な偏光角での焦点シフトをもたらす1つもしくは複数の複屈折レンズを使用する)焦点面の調整により取得される。しかしながら、DFFベースのシステムは、典型的には、多くの測定値が取得されることを求め、さらに、構造化光源と同様に、物体に合焦するための焦点面の調整を含む場合がある。
【0006】
所与の物体に対して、焦点ずれの量は、少なくとも2つのパラメータ、すなわち、1)レンズに対する物体の距離、および2)レンズ特性によって決まる。第2のパラメータ(すなわち、レンズ特性)が既知であり、システムが焦点ずれの量を正確に測定可能であるならば、物体距離が決定され得る。そのようなことが、既知のDFDアルゴリズムの基礎を形成する。
【0007】
したがって、一部の非接触式指紋リーダでは、システムは、白色光源を利用することにより指の画像を獲得し、3D画像が、DFDアルゴリズムを使用して生成される。DFDアルゴリズムでは、焦点ずれ関数が、指紋に関する畳み込みカーネルとしての働きをし、それを回復するための最も直接的な方法は、取得した画像パッチの周波数領域解析によるものである。本質的には、焦点ずれの量が増大するにつれて、畳み込みカーネルの幅が減少し、高周波数成分が消失する結果となる。
【0008】
DFDアルゴリズムは、典型的には、多色照明の仮定上に構築する、点広がり関数(PSF)に対する単純化したガウシアンまたはピルボックスの推定量の仮定を用いて開始する。典型的には、物体点は、撮像される場合、鮮明な点ではなく、ベルカーブのように見えることになる。ベルカーブの形状を説明する関数が「PSF」と呼ばれ、画像検出器上のPSFの形状は、レンズに対する物体点の距離、および内部レンズ特性によって決まる。このように、これらの仮定は、数学的導出を単純化し、DFDに対する好都合な手法を提供する。そのような仮定が当てはまる程度は、個々の撮像システムおよび照明条件によって決まる。高度に補正した撮像光学機器および白色光照明に対して、PSFは、ガウシアンまたはピルボックスに類似し、そのように仮定することで、典型的には、穏当な誤差を伴う深度推定量を生成する。しかしながら、DFDに基づく深度推定は、PSF構造の適正な決定に非常に影響を受けやすく、ガウシアン(またはピルボックス)のPSFモデルに基づくDFDを、PSFがこの仮定から逸脱する撮像システムに適用することが、信頼性の低い深度推定をもたらすということが示され得る。すなわち、単純化したモデルは、例として、高い程度の収差が存在する場合、レンズが物体のサイズと比較して小さな被写界深度を有する場合、(LEDなどの)準単色光が使用される場合、または(レーザなどの)単色光が使用される場合、物理的なレンズの性状を適切には説明しない。したがって、既知のDFDシステムは、物体距離を推定することができず、非接触式システムにおいて指紋を正確に再現することができない。
【発明の概要】
【0009】
したがって、レンズの短所の原因となる非接触式の適用例において、指紋を獲得するシステムおよび方法を設計することが望ましいことになる。
【0010】
本発明の実施形態は、非接触式複数指紋採取用のシステムおよび方法を対象とするものである。
【0011】
本発明の一態様によれば、撮像システムは、画像面を軸方向にシフトさせるように構成されている位置決め可能デバイスであって、画像面が、物体から発出しレンズを通過する光子から生成される、位置決め可能デバイスと、レンズを通過する物体の光子を受けるように位置決めされる検出器面と、レンズを数学的関数として特徴付けるように、物体の2つ以上の要素画像を、各個の要素画像の画像面が、検出器面に対して異なる軸方向の位置にある状態で獲得するように、レンズの特徴付けに基づいて、および、獲得した2つ以上の要素画像に基づいて、レンズからの物体の合焦距離を決定するように、ならびに、決定した距離に基づいて物体の深度マップを生成するようにプログラムされるコンピュータとを含む。
【0012】
本発明の別の態様によれば、撮像する方法は、レンズを数学的関数として数学的に特徴付けるステップと、物体の2つ以上の要素画像を、物体の画像面が、検出器に対して異なる軸方向の位置にある状態で獲得するステップと、レンズの数学的特徴付けに基づいて、ならびに、第1および第2の要素画像に基づいて、画像面が検出器で位置付けられるように、物体に対する画像面の第1の合焦距離を決定するステップと、決定に基づいて物体の深度マップを生成するステップとを含む。
【0013】
本発明のさらに別の態様によれば、非一時的(non−transitory)コンピュータ可読記憶媒体には、コンピュータにより実行される場合に、コンピュータに、レンズの瞳関数を導出させ、物体の要素画像を、検出器に対して物体の画像面の異なる場所で獲得させ、瞳関数に基づいて、および、物体の第1のパッチの獲得した要素画像に基づいて、物体の第1のパッチの画像面を配置すべき場所を決定させ、決定に基づいて物体の深度マップを生成させる命令を含むコンピュータプログラムが記憶されている。
【0014】
様々な他の特徴および利点が、以下の詳細な説明および図面から明らかとなろう。
【0015】
図面は、本発明を実行するために現在考えられる好適な実施形態を例示する。
【図面の簡単な説明】
【0016】
【図1】典型的な指紋スペクトルを例示する図である。
【図2】典型的な指紋画像の一例としての半径方向周波数スペクトルを例示するグラフである。
【図3】異なるレベルのぼけを有する画像に対する、第1の半径方向スペクトルおよび第2の半径方向スペクトルを例示するグラフである。
【図4】一例としてのガウシアンカーネルを使用して1つの画像をぼかす効果を例示するグラフである。
【図5】本発明の実施形態に関するレンズにおいて、面を特定するために使用される座標系を例示する図である。
【図6】本発明による、デプスフロムデフォーカシング(DFD)を使用して画像を補正する方法を例示する図である。
【発明を実施するための形態】
【0017】
本発明によれば、レンズの性状を規定する数学的モデルが使用される。モデルは、物体距離およびレンズの物理的特性(すなわち、収差、焦点距離など)により影響を受ける。焦点面からの(DFF)、および焦点ずれの量からの(DFF)情報が、深度マップを与えるために組み合わされる。以下は、本発明の実施形態による、非接触式指紋撮像システム用のアルゴリズムの説明である。しかしながら、本発明は、そのようなシステムに限定されず、産業用途での検査用の3D微視的形状測定、3Dボアスコープ撮像、3Dの現場での医用撮像、(適正な焦点シフトレンズを伴う)3D民生用カメラ、3D目標認識用受動撮像(防衛産業または警備産業)等のような、1組のわずかに焦点がずれた画像からの受動深度推定を使用する任意の撮像システムに、開示した発明が適用可能であり得ることが考えられる。
【0018】
図1は、一般的な指紋から取得され、当技術分野で知られているようなフーリエ変換を使用して生成され得る、典型的な指紋スペクトル100を例示する。典型的な指紋では、および周波数領域では、パターンが、急激な密集すなわちハロ102としてスペクトルデータにおいて表される明確な周期性を呈することが明白である。そのため、深度推定に関して、有用な情報が、指紋撮像において、この知られた周期性に基づいて抽出され得る。
【0019】
(図1のスペクトルデータの中心近くの)DC成分104は、対称的であり、指紋跡に起因し得る、より高い周波数のハロ102から分離され得る。スペクトルは、半径方向周波数軸への投影を生成するために、次式を使用して、極座標に変換され得る。
【0020】
【数1】

ただし、frは半径方向周波数を示し、Ip(fr,θ)は極座標でのスペクトルを示す。
【0021】
図2は、典型的な指紋画像の一例としての半径方向周波数スペクトル150を例示する。実際の指紋跡は、スペクトル150内のこぶ152によって、それ自体を呈する。これは、指数関数的減衰の形式
【0022】
【数2】

によりモデル形成され得る、自然の画像(すなわち、指紋でのように、全体的に対称的なパターンを有さないもの)の予測される性状とは対照的である。典型的には、指紋画像の最も視認可能な詳細特徴部は、隆線および溝であり、本発明の実施形態によって測定されるのが、これらの特徴部の焦点ずれである。
【0023】
従来のDFD方法は、レンズの点広がり関数(PSF)に対する決まった形式を仮定し、結果として、PSFの代わりに、ガウシアンまたはピルボックスの関数などの既知の関数を使用する。しかしながら、現実のPSFの形状が仮定から著しく逸脱する場合、従来のDFDアルゴリズムは、不結果をもたらす結果となる。すなわち、指紋のような物体に対しては、図2に例示するように、こぶ152をスペクトル150に有するので、既知の、および従来のぼかしカーネルを使用すると、従来のDFD方法を動かなくする場合があり、したがって、DFDを使用して申し分のない最終的な深度画像を提供することができない。
【0024】
例えば、ガウシアンまたはピルボックスの関数を使用する既知のDFD方法が、ぼかし処理に対する適正な推定ではないことを例示するために、1つの画像のパッチが、様々なサイズおよび形状のカーネルを用いてぼかされ得るとともに、結果として得られる画像が、撮像システムにより取得される第2の画像と比較され得る。図3を参照して、プロット200から開始すると、異なるレベルのぼけを有する、第1の半径方向周波数スペクトル202および第2の半径方向周波数スペクトル204が例示される。したがって、従来のDFD方法によれば、既知のぼかしカーネルが、例えば、第2の半径方向周波数スペクトル204を再現するために、第1の半径方向周波数スペクトル202に適用され得る。その目的は、例えば、ガウシアンのぼかしカーネルが、第1の半径方向周波数スペクトル202が導出される第1の画像を、第2の半径方向周波数スペクトル204が導出される第2の画像に実際に変換可能であるかどうかを理解することである。図4を参照すると、一例では、第1の半径方向周波数スペクトル202が、0.9画素の標準偏差の幅であるガウシアンカーネルを用いてぼかされる(206)。図4でわかるように、ぼけた画像のスペクトル206は、撮像システムにより取り込まれた実際の画像204から逸脱する。同様の性状を、ガウシアンカーネルの異なる標準偏差に対して示すことができ、さらに、同様の性状を、異なる標準偏差を用いるピルボックスのカーネルなどの他のぼかしカーネルに対して示すことができる。
【0025】
このように、ガウシアンのぼかしカーネルも、ピルボックスのぼかしカーネルも、1つの焦点がずれた画像を別の画像から容認可能に再現することができないことが認められ得る。したがって、本発明によれば、レンズのPSFに関する情報は、ガウシアンまたはピルボックスなどの理論的なカーネルを使用する代わりに、実験的または経験的に取得される。一例としての図3および図4でわかるように、電子的および量子化のノイズに起因し得る高周波数成分が、両方の画像に存在するように見える。その結果、画像の高周波数成分が、DFDの算出に関して依存され得るということはありそうにない。したがって、ローパス前置フィルタが、さらなる処理の前にスペクトルの高周波数部分を除去するために使用され得る。
【0026】
したがって、本発明によれば、撮像レンズが、典型的なガウシアン、ピルボックス、または他の解析形式のPSFを呈しない場合、信頼性の高いDFDベースの深度推定量を設計するために、必要な情報が、経験的に、または瞳マップによって導出され得る。図5を参照すると、枠組300は、物体面302、(レンズ306の場所に対応する)射出瞳304、画像面308、および(例えば、電荷結合素子、すなわちCCDの)検出器面310を含む。光子は、物体面302から発出し、射出瞳304を通過し、撮像システムの距離および特性に応じて、検出器面310の場所に一致しない場合がある、画像面308に明瞭な画像を形成する。このように、システム300は、その焦点距離を変化させることができる撮像システムを表す。
【0027】
撮像レンズの特性は、その射出瞳にまとめられる。典型的には、瞳関数マップ(または瞳マップ)は、所与の物体の空間的位置に対する、撮像システムの射出瞳での波面である。当技術分野で知られているように、物体面302と射出瞳304との間の距離z0が変動される際に、射出瞳304から距離z1である画像面308が同様に変動する。したがって、および解明のために、物体面302での物体の明瞭な、すなわち鮮明に合焦した画像が取得され得るように、検出器面310に一致して画像面308を配置することになるz0の値を知ることが望まれる。一実施形態によれば、および例示するように、それ自体は並進軸314に沿って並進可能であり得るものであり、物体面302に位置決めされる物体の複数の要素画像を取得するために使用され得る可動ステージ312上で、レンズ306は位置決めされ得る。典型的には、要素画像は、特定のレンズ設定および構成(すなわち焦点距離)によって撮影される単一の画像である。距離z0は、本発明によれば、他の様式で変えられる場合がある。例えば、物体面302の物体が、代わりに、物体面302を並進軸314に沿って並進させることができる物体並進器316により並進され得る。さらに、本発明によれば、可変光路窓、プリズム、圧電並進器、複屈折光学機器等を含むが、それらに限定されない、当技術分野で知られている他の技法を使用して、距離z0がさらに変えられる場合がある。したがって、距離z0は、物体および/もしくはレンズの物理的運動により、実際に、かつ物理的に影響を受け得る、または、距離z0は、それらの間の見かけの距離を、例えば、例として、可変光路窓、プリズム、もしくは複屈折光学機器を使用することによって変えることにより、実質的に影響を受け得る。
【0028】
次に図6を参照すると、物体の深度を取得する方法が例示されている。また、上述のように、本発明の実施形態を、それらが指紋画像の獲得に関係するように説明するが、本明細書で説明する本発明は、より広範に列挙される撮像技術に適用可能であることが考えられる。例えば、他の用途では、既知のカーネルが、レンズのPSFなどの撮像システムの特質を適切に表さないので、DFD技法は最適化されていない。
【0029】
図6は、オフライン構成要素402およびオンライン構成要素404を有する、本発明による技法または方法400を例示する。全体的に、オフライン構成要素402は、図5のシステムで例示したレンズ306などのレンズを経験的に特徴付けるためのステップを含む。オンライン構成要素404は、オフライン構成要素402から導出されたレンズの特徴付けならびにPSFもしくは瞳関数を考慮することによる、画像の獲得およびその操作を含む。
【0030】
全体の技法400を、以下のように説明する。図5に戻って参照すると、瞳関数が、p(x,y)として、およびPSFが、h(x,y)で表され、これらは、レンズ設計ソフトウェアパッケージによって、または干渉法を含む様々な方法によって経験的に見出され得る。撮像面上の瞳関数およびPSFには、以下の関係があることに留意されたい。
【0031】
【数3】

ただし、
【0032】
【数4】

はフーリエ変換を示し、γはレンズ上の個々の焦点設定を示し、λは照明波長である。フーリエ変換対のスケールバージョンは、フーリエ変換によって
【0033】
【数5】

のように関係付けられるので、次式のように記述することができる。
【0034】
【数6】

しかしながら、検出器面は、一般には画像面と一致しないので、2次位相因子(焦点ずれ)が、瞳関数を補償し、この距離の原因となるように使用され得る。
【0035】
【数7】

ただし、
【0036】
【数8】

は、画像面と検出器面との間の距離に関係し、撮像条件が当てはまる、すなわちzi=zdである場合は消滅する。
【0037】
次に、検出器上に形成される画像を、次式のように、PSFと理想画像との間の畳み込みとして記述することができる。
【0038】
【数9】

フーリエ変換の双対原理を用いることにより、次式のように示すことができる。
【0039】
【数10】

したがって、次式となる。
【0040】
【数11】

画像スペクトルを、次式のように記述し直すことができ、
【0041】
【数12】

スペクトル比は、次式のようになる。
【0042】
【数13】

これは、異なる(fs,ft)に対して逐一当てはまり、極座標では次式のように表現され得る。
【0043】
【数14】

ただし、
【0044】
【数15】

は、
【0045】
【数16】

となる。スクリプト体のpは、極座標を示す。
瞳関数を、一例では、ゼルニケ多項式を用いて、次式のように表現することができる。
【0046】
【数17】

ゼルニケ多項式は、式12に例示するように、波面を効率的に説明するために使用され得る、1組の多項式関数である。それらは、より複雑な関数を説明するための基底関数としての働きをする。しかしながら、本発明は、ゼルニケ多項式を用いた瞳関数の表現に限定されず、アッベの公式などの他の関数が使用され得ることが考えられる。
式12に関して代入を行うと、次式となる。
【0047】
【数18】

これは、焦点設定依存の係数を伴う多項式であり、次式のような簡略表現で記述され得る。
【0048】
【数19】

式13を参照すると、本発明によれば、オフライン算出402は、第2の分数の値を提供し、オンライン構成要素404によって獲得される要素画像が、第1の分数を算出するために処理(フーリエ変換)され得る。本発明によれば、次いで、最小化戦略が、2つの分数間の差が消滅するように、物体距離z0を見出すことになる。この処理は、指上の多くの点に対して、表面をマップに記すために行われる。
【0049】
上述のように、本発明によるオフライン構成要素402は、以下で考察するような一連の数学的ステップを使用するレンズの特徴付けを含む。スペクトル領域のDFDアルゴリズムでは、所与の点源に対するCCD上の強度分布のフーリエ変換が既知である必要がある。図5に示すように、画像面およびCCD面は一致せず、そのため、PSFと瞳関数との間の単純なフーリエの関係は妥当ではない。しかしながら、瞳関数とCCD面との間の角度スペクトル伝搬が、(追加的な2次位相を用いて調整された)瞳関数のフーリエ変換(角度スペクトル)に基づいて、CCD面上の光分布のフーリエ変換((x,y)面での角度スペクトル)を算出するために使用され得る。以下の式が、この処理を示す。
【0050】
【数20】

図5を参照すると、概略図は、射出瞳、CCDおよび画像面での座標系、ならびに指紋レンズに対する典型的なサイズを示す。射出瞳とCCD面との間の距離zdは固定であるが、射出瞳と画像面との間の距離は、物体の場所およびレンズの焦点構成に応じて変化する。レンズ306の射出瞳のサイズは、異なる物体距離に対してわずかに変動する。
【0051】
瞳関数のフーリエ変換を算出するためには、非常に大きな(例えば、35000×35000の)離散フーリエ変換(DFT)の算出が必要であり、これは法外であり得る。これは、参照球面波面が瞳の縁部で急速な位相ゆらぎを呈するという事実による。そのような視野の角度スペクトルを算出するために、空間サンプリングは、ナイキスト基準を満たすべきである。以下の算出は、一例によって、空間サンプリング周期(および行列のサイズ)がいくつであるかを示す。
f=55mm(瞳から画像点の距離)で合焦する参照球面を表す、瞳(D=32mm)の縁部での平面波面の最大余弦角は次式となる。
【0052】
【数21】

これは、
【0053】
【数22】

の関係によって、次式を示唆する。
【0054】
【数23】

ナイキストレートによって、この周波数の取り込みは、
【0055】
【数24】

の空間サンプリング間隔、すなわち、32mmの直径全体で約35,000サンプルの波面を必要とする。したがって、DFTは、それにより35,000×35,000の行列に関して演算すべきであり、これは、非実用的であり得るので、結果としてアンダーサンプリングになり得る。したがって、瞳関数での角度スペクトルは、間接的に算出され得る。
【0056】
波面の収差部分は、典型的には高周波数ではなく、その角度スペクトルは、DFTによって算出され得る。これは、全体の瞳波面角度スペクトルの算出を2つの問題に細分化することを示唆する。
1.波面収差の角度スペクトルをDFTによって算出する。
2.参照球面波の角度成分(平面波面)を、所定の周波数で直接的に計算する。これらの平面波面がどのようなものであるかを厳密に知っているので、それらを瞳上の任意の位置で、DFTにより引き起こされるエイリアシングをもたらすことなく算出することができる。
瞳全体でのサンプリングは、比較的低密度(例えば、128×128)であってよい。この例では、レンズ収差は、高周波数ではなく、したがって、両方向でのnab個のサンプルで取り込まれ得る。nab=256、すなわち、
【0057】
【数25】

に対して、これは、
【0058】
【数26】

の最大周波数となる。
【0059】
当技術分野で知られているように、角度成分は、各個の方向余弦対(α,β)に対して直接的に算出され得る。位置(ξ,η)での瞳平面上の平面波成分を、次式のように記述することができる。
【0060】
【数27】

ただし、任意の(α,β)対を瞳座標(ξ,η)に変換するマップが存在する。この関係は、
【0061】
【数28】

および
【0062】
【数29】

のように定義される。
周波数を方向余弦にマッピングする式は、
【0063】
【数30】

および
【0064】
【数31】

を含む。
【0065】
したがって、
【0066】
【数32】

の任意の所与の離散格子に対して、平面波成分が、上記の式によって算出され得る。この手法は、参照球面上に存在する最大周波数に延在する、定義済みの周波数格子での角度スペクトルを直接的に算出するために行われ得る。本例での最大周波数は、
【0067】
【数33】

であるので、2000の要素を伴う周波数格子が、[−538,+538]mm-1の領域にわたる各個の方向に含まれる。したがって、この格子上で算出される角度成分は、エイリアシングがないことになる。
【0068】
次のステップは、収差波面と球面波面の角度周波数間の畳み込みを行うことである。参照波面と収差の両方の角度スペクトルが算出されると、それらは、全体の波面角度スペクトルに達するように畳み込みが行われ得る。
【0069】
【数34】

このように、本発明によれば、および図6に戻って参照すると、オフライン構成要素402は、高レベルでは、レンズを特徴付け(406)、レンズを数学的関数としてマッピングする(408)ステップを含む。オフライン構成要素402は、1度遂行され、レンズを綿密に特徴付け、物体空間内のあらゆる点に対する収差の量を説明する瞳マップ関数によって行われる較正ステップとして特徴付けられ得る。瞳関数は、異なる場所での物体に対して変化する。このように、オフライン構成要素402の結果は、上述のように、式13の第2の分数で例示した係数をもたらす、レンズの特徴付けを提供する。より一般的には、数学的関数は、式11に例示したような瞳関数の使用を含む一般式として取得され得る。しかしながら、一実施形態によれば、瞳関数は、式13でのように、ゼルニケ係数によって瞳関数マップとして数学的に説明される。したがって、レンズは、関心領域内の異なる場所での点源に対するその応答に基づいて特徴付けられ、特徴付けテーブルは、物体の距離を、オンライン処理の間に画像から測定され得る、および本明細書で開示する数学的説明に基づき得る1組のパラメータにマッピングするテーブルで生成され得る。
【0070】
オンライン構成要素404は、上記の数学的説明に合致する一連の高レベルのステップを含む。オンライン構成要素404は、深度マップを生成することが望まれる物体の2つ以上の要素画像を獲得するステップ410により開始する。物体のパッチが、ステップ412で選択され、最良の焦点面が、ステップ414で、例えば、既知のDFFの方法またはアルゴリズムを使用して、要素画像から推定される。最良の焦点面が推定されると、要素画像間のパワースペクトル比がステップ416で取得され、それによって、その比は、式11に合致する、同じ要素画像の場所に対応する、取得されたレンズ関数の比と比較するために使用されることになる。ステップ418では、物体距離が仮定され、ステップ420では、ステップ408で取得したレンズ関数に基づいて、およびステップ418からの仮定した物体距離に基づいて、関数比が算出される。420では、さらに、式11に合致する比が比較され、ステップ422では、比がしきい値の範囲内にあるかどうかが判定される。そうでないならば(424)、反復が継続し、物体距離の仮定が、ステップ426で修正され、ステップ416で取得したパワースペクトル比と再度比較されるように、制御がステップ420に戻る。
【0071】
このように、本発明によれば、要素画像が取得され、最良の焦点面が既知の技法(DFF)を使用して推定され、パワースペクトル比が算出される。要素関数の各個に対応するマッピングされた関数が算出されるが、開始点としての物体距離の仮定に基づく。要素画像自体の比と同様に、要素画像に対応するマッピングされた関数の比が算出される。それに関連する反復は、仮定した物体距離を修正することによるマッピングされた関数比の修正を含み、これが、2つの比が穏当なしきい値に匹敵するまで継続する。要約すると、2つの異なるレンズ設定(例えば、焦点距離)での瞳関数の比は、2つのレンズ設定により形成される2つの画像間のパワースペクトルの比に等しい。距離z0では、(z0に無関係に、DFFにより見出され得る)2つの最良焦点要素画像間のパワースペクトルの比は、z0に等しい物体距離での瞳関数の比に最も近い。この距離z0が、レンズからの物体の推定した距離である。
【0072】
図6をさらに参照すると、比が容認可能に近くなると(428)、ステップ430で、最終的な距離が、ステップ412で選択されたパッチに対して取得される。ステップ432では、さらなるパッチが評価されることになるかどうかに関して決定される。そうであるならば(434)、制御はステップ412に戻り、別のパッチが選択され、処理は新しく選択されたパッチに対して繰り返す。しかしながら、さらなるパッチが存在しないならば(436)、処理はステップ438で終了し、そこでは、完全な深度マップが生成される。
【0073】
本発明のさらなる実施形態によれば、非接触式複数指紋採取デバイスは、対象者の指に対する指紋データを、対象者の手が、静止した位置にある状態ではなく、むしろ、撮像ボリュームを通って動かされる(すなわち、スワイプされる、または揺り動かされる)状態で獲得するように構成されている。すなわち、対象者に自分の指を指定の画像取り込み場所に配置するように導くのではなく、非接触式複数指紋採取デバイスは、対象者の指の場所を追跡し、画像取り込みデバイス(複数可)に指の画像を獲得させるように働く。
【0074】
本発明の実施形態によれば、1つまたは複数の位置決め確認デバイスが、画像取り込みデバイスを制御する目的で、撮像ボリューム内で対象者の手の運動を確認および追跡するために使用される追跡デバイスとして機能するデバイス(例えば、書画カメラ)を含み得る。すなわち、各個の画像取り込みデバイスの視野および焦点深度は、個人の指先の追従を可能にするように、追跡デバイスにより追跡される際の対象者の手/指の運動および配置に基づいて、独立に設定され得る。各個の画像取り込みデバイスの視野の動きは、1つもしくは複数の要素の機械的作動によって、または、各個の画像取り込みデバイスの電子的/デジタルの制御によって達成され得る。例えば、1つまたは複数の要素が、視野を動かすために機械的に作動される実施形態では、画像取り込みデバイスの視野をシフトさせるために、画像取り込みデバイスの近辺に位置決めされる鏡が回転され得る、またはレンズ要素が動かされ得る。電子的またはデジタルの制御が実装される実施形態では、画像取り込みデバイスの視野をシフトさせるために、画像取り込みデバイス内のセンサ(すなわち、カメラセンサ)が制御され得る。
【0075】
様々な方法が、画像を位置合わせするために使用され得る。本明細書では、位置合わせは、単一の対象者の異なる画像を1つの座標系に変換する処理を指す。指紋に関しては、位置合わせされた画像は、指紋の取り込んだ画像から導出される。位置合わせされた画像は、同じ縮尺および特徴部の位置を有する。
【0076】
複数のシフトした画像からの特徴部が近似的に位置合わせされることを確実にするために、倍率を狭い範囲内に維持するテレセントリックレンズ系もまた、一般的に使用される。しかしながら、当技術分野で知られているように、テレセントリック開口の追加によって、Fナンバーが本質的に増大し、結果として被写界深度が過度になる場合がある。
【0077】
ある種の位置合わせの実施形態では、位置合わせは、オルソ補正を利用する地理情報システム(GIS)を使用することができる。オルソ補正は、表面の変動およびカメラ位置の影響を通常の透視画像から除去するための、画像の再マッピングの処理である。結果として得られる複数の画像は、共通面上の透視補正投影であり、画素対画素の対応によって倍率が変化しないことを表す。ある種の実施形態では、オルソ補正は、画像取り込みデバイスの3D較正情報を使用して各個の取り込んだ画像を無歪みにすること、および1つの面上への画像の投影を含み得る。
【0078】
画像が位置合わせされると、同じ目標の複数の画像から単一の高解像度画像を作成するために、画像融合が使用される。一般に、画像融合は、複数の画像からの情報を単一の画像に組み合わせる手順であるが、前記の実施形態では、この情報は、各個の画像での局所的、空間的焦点情報に関係する。再融合した画像は、望ましくは、全体的に合焦して見えることになり、一方で起源画像は、異なる特定の領域で合焦している。これは、選択した測定基準を使用することにより達成され得る。これらの測定基準は、画像のぼけた部分での画素が、良好に合焦している画素と比較して、特定の異なる特徴のレベルを呈するという事実に基づいて選定される。例えば、合焦した画像は、典型的には、より高い周波数を包含し、一方でぼけた画像は、より低い周波数成分を有する。
【0079】
ある種の実施形態では、ある種の測定基準が、指紋の各個の別々に取得した画像内の各個の画素に対する焦点のレベルを計算するために使用され得る。次いで、別々の画像が、単一の融合した画像、すなわち複合画像を取得するために、正規化され、画素の重み付き組み合わせを使用して組み合わされる。したがって、獲得した画像の各個に対して、関心領域が、画像分割により決定される。異なる測定基準から、画像内の各個の場所での焦点が、特徴の重み付き組み合わせとして算出され、次いで、画像が、特徴の前記の局所的重み付き組み合わせを使用して組み合わされる。
【0080】
指紋の複合画像を生成する際に、複数の指紋の各個に対する複合画像の輪郭マップ、すなわち「深度マップ」が、開示したデプスフロムデフォーカス(DFD)アルゴリズムを使用して算出/生成される。デプスフロムフォーカス解析/算出は、各個の画像内の合焦場所を、特定の画像が取り込まれた既知の焦点距離と相関させる3Dマップを提供するために、異なる焦点距離で取り込まれた複数の画像を組み合わせる画像解析方法である。
【0081】
取り込まれた指紋画像を、2Dデータ取り込みに基づく標準データベースと照合するために、開示したDFDアルゴリズムから取得された3Dモデルが、展開された2D画像を生成するために使用され得る。使用されるモデルは、接触法で取得された2次元投影に関して、指紋表面の投影の失敗に対応する画像歪みをシミュレートする。
【0082】
したがって、本発明の一実施形態によれば、撮像システムは、画像面を軸方向にシフトさせるように構成されている位置決め可能デバイスであって、画像面が、物体から発出しレンズを通過する光子から生成される、位置決め可能デバイスと、レンズを通過する物体の光子を受けるように位置決めされる検出器面と、レンズを数学的関数として特徴付けるように、物体の2つ以上の要素画像を、各個の要素画像の画像面が、検出器面に対して異なる軸方向の位置にある状態で獲得するように、レンズの特徴付けに基づいて、および、獲得した2つ以上の要素画像に基づいて、レンズからの物体の合焦距離を決定するように、ならびに、決定した距離に基づいて物体の深度マップを生成するようにプログラムされるコンピュータとを含む。
【0083】
本発明の別の実施形態によれば、撮像する方法は、レンズを数学的関数として数学的に特徴付けるステップと、物体の2つ以上の要素画像を、物体の画像面が、検出器に対して異なる軸方向の位置にある状態で獲得するステップと、レンズの数学的特徴付けに基づいて、ならびに、第1および第2の要素画像に基づいて、画像面が検出器で位置付けられるように、物体に対する画像面の第1の合焦距離を決定するステップと、決定に基づいて物体の深度マップを生成するステップとを含む。
【0084】
本発明のさらに別の実施形態によれば、非一時的コンピュータ可読記憶媒体には、コンピュータにより実行される場合に、コンピュータに、レンズの瞳関数を導出させ、物体の要素画像を、検出器に対して物体の画像面の異なる場所で獲得させ、瞳関数に基づいて、および、物体の第1のパッチの獲得した要素画像に基づいて、物体の第1のパッチの画像面を配置すべき場所を決定させ、決定に基づいて物体の深度マップを生成させる命令を含むコンピュータプログラムが記憶されている。
【0085】
開示した方法および装置に対する技術的貢献は、それが、デプスフロムデフォーカス撮像用のコンピュータ実装のシステムおよび方法を、より詳細には、非接触式複数指紋採取デバイスに対して規定するということである。
【0086】
本発明の実施形態が、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体にインターフェース接続され、それにより制御され得ることを、当業者なら理解するであろう。コンピュータ可読記憶媒体は、電子構成要素、ハードウェア構成要素、および/またはコンピュータソフトウェア構成要素の、1つまたは複数などの、複数の構成要素を含む。これらの構成要素は、シーケンスの1つまたは複数の、実装形態または実施形態の、1つまたは複数の部分を遂行するために、ソフトウェア、ファームウェアおよび/またはアセンブリ言語などの命令を一般には記憶する、1つまたは複数のコンピュータ可読記憶媒体を含み得る。これらのコンピュータ可読記憶媒体は、一般には、非一時的および/または有形である。そのようなコンピュータ可読記憶媒体の例には、コンピュータおよび/または記憶デバイスの記録可能データ記憶媒体がある。コンピュータ可読記憶媒体は、例えば、磁気、電気、光学、生物、および/または原子のデータ記憶媒体の、1つまたは複数を利用することができる。さらに、そのような媒体は、例えば、フロッピー(登録商標)ディスク、磁気テープ、CD−ROM、DVD−ROM、ハードディスクドライブ、および/または電子メモリの形式をとり得る。列挙しない他の形式の非一時的および/または有形のコンピュータ可読記憶媒体が、本発明の実施形態とともに利用され得る。
【0087】
いくつかのそのような構成要素は、システムの実装形態において、組み合わされ得る、または分割され得る。さらに、当業者なら理解するように、そのような構成要素は、いくつかのプログラミング言語のいずれかで記述される、またはそれを用いて実装される、1組の、および/または一連のコンピュータ命令を含み得る。さらに、搬送波などの他の形式のコンピュータ可読媒体が、1つまたは複数のコンピュータにより実行される場合に、1つまたは複数のコンピュータに、シーケンスの1つまたは複数の、実装形態または実施形態の、1つまたは複数の部分を遂行させる、命令のシーケンスを表すコンピュータデータ信号を具現するために利用され得る。
【0088】
この記述した説明では、最良の形態を含めて、本発明を開示するために、さらに、任意のデバイスまたはシステムを作製かつ使用すること、および任意の組み込んだ方法を遂行することを含めて、任意の当業者が本発明を実践することを可能にするために、例を使用する。本発明の特許的な範囲は、特許請求の範囲により定義され、当業者が想到する他の例を含み得る。そのような他の例は、それらが、特許請求の範囲の文字通りの文言と異ならない構造要素を有するならば、または、それらが、特許請求の範囲の文字通りの文言と実質的な違いのない等価の構造要素を含むならば、特許請求の範囲の範囲内にあることが意図される。
【符号の説明】
【0089】
100 指紋スペクトル
102 ハロ
104 DC成分
150 半径方向周波数スペクトル
152 こぶ
200 プロット
202 第1の半径方向周波数スペクトル
204 第2の半径方向周波数スペクトル
206 ぼけた画像のスペクトル
300 枠組、システム
302 物体面
304 射出瞳
306 レンズ
308 画像面
310 検出器面
312 可動ステージ
314 並進軸
316 物体並進器
400 技法または方法、全体の技法
402 オフライン構成要素
404 オンライン構成要素
406、408、410、412、414、416、418、420、422、426、430、432、438 ステップ

【特許請求の範囲】
【請求項1】
画像面を軸方向にシフトさせるように構成されている位置決め可能デバイスであって、前記画像面が、物体から発出しレンズを通過する光子から生成される、位置決め可能デバイスと、
前記レンズを通過する前記物体の前記光子を受けるように位置決めされる検出器面と、
前記レンズを数学的関数として特徴付けるように、
前記物体の2つ以上の要素画像を、各個の要素画像の前記画像面が、前記検出器面に対して異なる軸方向の位置にある状態で獲得するように、
前記レンズの前記特徴付けに基づいて、および、獲得した前記2つ以上の要素画像に基づいて、前記レンズからの前記物体の合焦距離を決定するように、ならびに、
前記決定した距離に基づいて前記物体の深度マップを生成するように
プログラムされるコンピュータと
を備える撮像システム。
【請求項2】
前記コンピュータが、前記レンズを特徴付けるようにプログラムされる際に、レンズ収差プロファイルの関数、および、前記レンズに対して異なる場所で位置決めされる点源に対する応答である点広がり関数(PSF)として、前記レンズを特徴付けるようにさらにプログラムされる、請求項1記載のシステム。
【請求項3】
前記コンピュータが、前記PSFを、複数多項式の形式で表される前記撮像システムの瞳関数のフーリエ変換としてモデル形成するようにプログラムされる、請求項2記載のシステム。
【請求項4】
前記複数多項式が、3次収差までのゼルニケ多項式である、請求項3記載のシステム。
【請求項5】
前記物体が指であり、前記物体の前記2つ以上の要素画像が、前記指の指紋の少なくとも2つのパッチを含む、請求項1記載のシステム。
【請求項6】
前記コンピュータが、前記2つの要素画像間のパワースペクトル比を使用して、前記物体距離を決定するようにプログラムされる、請求項1記載のシステム。
【請求項7】
前記物体が3次元物体である場合、前記パワースペクトル比が、前記2つ以上の要素画像の2つの要素画像内の関連するパッチ間で決定される、請求項6記載のシステム。
【請求項8】
前記コンピュータが、フーリエ変換を使用して、前記パワースペクトル比を決定するようにプログラムされる、請求項6記載のシステム。
【請求項9】
前記コンピュータが、
前記第1の要素画像に対応する瞳関数の第1の値を算出するように、
前記第2の要素画像に対応する前記瞳関数の第2の値を算出するように、
前記関数の前記第1の値と前記関数の前記第2の値との比を決定するように、および
前記第1の値と前記第2の値との比と、
前記パワースペクトル比と
の間の差を最小化するように
プログラムされ、
前記差が、前記最小化を実現する、前記物体から前記レンズまでの距離を数学的に探索することにより最小化される、
請求項6記載のシステム。
【請求項10】
レンズを数学的関数として数学的に特徴付けるステップと、
物体の2つ以上の要素画像を、前記物体の画像面が、検出器に対して異なる軸方向の位置にある状態で獲得するステップと、
前記レンズの前記数学的特徴付けに基づいて、および、前記第1および第2の要素画像に基づいて、前記画像面が前記検出器で位置付けられるように、前記物体に対する前記画像面の第1の合焦距離を決定するステップと、
前記決定に基づいて前記物体の深度マップを生成するステップと
を含む撮像する方法。
【請求項11】
前記レンズを数学的に特徴付けるステップが、前記レンズを、前記レンズの収差プロファイルに基づく、および、前記レンズに対して異なる場所で位置決めされる点源に対する応答に基づく前記数学的関数として数学的に特徴付けるステップを含む、請求項10記載の方法。
【請求項12】
前記第1の合焦距離が、前記物体の第1のパッチに対する距離であり、前記方法が、
前記レンズの前記数学的特徴付けに基づいて、および、前記2つ以上の要素画像に基づいて、前記物体に対する物体面の第2の合焦距離を決定するステップであって、前記第2の合焦距離が、前記物体の第2のパッチに対する距離である、ステップと、
前記物体の前記第1のパッチおよび前記物体の前記第2のパッチを使用して前記深度マップを生成するステップと
をさらに含む、請求項10記載の方法。
【請求項13】
前記レンズを数学的に特徴付けるステップが、
点広がり関数(PSF)を、撮像システムの瞳関数のフーリエ変換としてモデル形成するステップと、
前記瞳関数を、1つまたは複数の多項式として表すステップと
をさらに含む、請求項10記載の方法。
【請求項14】
前記瞳関数を表すステップが、前記瞳関数を、3次収差までの1つまたは複数のゼルニケ多項式として表すステップをさらに含む、請求項13記載の方法。
【請求項15】
前記2つ以上の要素画像の2つに対して決定されるパワースペクトルの比を使用して、前記2つ以上の要素画像の要素画像比を決定するステップと、
前記要素画像比の使用を含む、前記物体の前記画像面の前記第1の焦点距離を決定するステップと
を含む、請求項10記載の方法。
【請求項16】
前記要素画像比を、前記2つ以上の要素画像の2つのフーリエ変換を使用して決定するステップを含む、請求項15記載の方法。
【請求項17】
前記2つ以上の要素画像の第1の要素画像に対応する前記数学的関数の第1の値を算出するステップと、
前記2つ以上の要素画像の第2の要素画像に対応する前記数学的関数の第2の値を算出するステップと、
前記第1の値と前記第2の値との数学的関数比を算出するステップと、
前記数学的関数の前記第1の値および前記数学的関数の前記第2の値を算出する場合に、前記物体から前記レンズまでの距離を数学的に変動させることにより、前記要素画像比と前記数学的関数比との間の差を最小化するステップと
を含む、請求項15記載の方法。
【請求項18】
コンピュータにより実行される場合に、前記コンピュータに、
レンズの瞳関数を導出させ、
物体の要素画像を、検出器に対して前記物体の画像面の異なる場所で獲得させ、
前記瞳関数に基づいて、および、前記物体の第1のパッチの前記獲得した要素画像に基づいて、前記物体の第1のパッチの前記画像面を配置すべき場所を決定させ、かつ、
前記決定に基づいて前記物体の深度マップを生成させる
命令を含むコンピュータプログラムが記憶されている非一時的コンピュータ可読記憶媒体。
【請求項19】
前記コンピュータが、前記レンズの焦点を、前記レンズの収差プロファイルに基づく、および、点源と前記レンズとの間の距離に基づく数学的関数として特徴付けるようにプログラムされることにより、前記レンズの前記瞳関数を導出するようにプログラムされる、請求項18記載のコンピュータ可読記憶媒体。
【請求項20】
前記物体が指であり、前記獲得した要素画像が、前記指の指紋の少なくとも2つのパッチを含む、請求項18記載のコンピュータ可読記憶媒体。
【請求項21】
前記コンピュータが、レンズ収差プロファイルの関数として前記レンズをモデル形成すること、および、前記レンズに対して異なる場所で位置決めされる点源に対する応答である点広がり関数(PSF)として前記レンズをモデル形成することにより、前記レンズの前記瞳関数を導出させられる、請求項18記載のコンピュータ可読記憶媒体。
【請求項22】
前記コンピュータが、1つまたは複数のゼルニケ多項式として表される、撮像システムの前記瞳関数のフーリエ変換として前記レンズをモデル形成することにより、前記レンズをPSFとしてモデル形成するようにプログラムされる、請求項21記載のコンピュータ可読記憶媒体。
【請求項23】
前記コンピュータが、
前記第1のパッチの前記獲得した要素画像の2つのパワースペクトルの比を使用して、要素画像比を算出させられ、
前記要素画像比を使用して、前記第1のパッチの前記画像面を配置すべき場所を決定させられる、
請求項18記載のコンピュータ可読記憶媒体。
【請求項24】
前記コンピュータが、
前記獲得した要素画像の第1の要素画像に対応する前記瞳関数の第1の値を算出するように、
前記獲得した要素画像の第2の要素画像に対応する前記瞳関数の第2の値を算出するように、
前記瞳関数の前記第1の値と前記瞳関数の前記第2の値との瞳関数比を決定するように、および
前記瞳関数比と、
前記要素画像比と
の間の差を最小化するように
プログラムされ、
前記差が、前記最小化を実現する、前記物体から前記レンズの射出瞳までの距離を数学的に決定することにより最小化される、
請求項23記載のコンピュータ可読記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2013−89230(P2013−89230A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−177773(P2012−177773)
【出願日】平成24年8月10日(2012.8.10)
【出願人】(390041542)ゼネラル・エレクトリック・カンパニイ (6,332)
【Fターム(参考)】