説明

瞳孔検出装置および虹彩認証装置

【課題】高速にかつ精度よく瞳孔位置を検出するとともに、コンタクトレンズの有無を検出することが可能な瞳孔検出装置および虹彩認証装置を提供する。
【解決手段】同心円状の複数の円をそれぞれ積分円として目画像上に設定し積分円の円周上に位置する目画像の画像データを抽出する画像データ抽出部220と、画像データ抽出部220が抽出した画像データを積分円のそれぞれの円周に沿って積分する周回積分部230と、周回積分部230の積分値が積分円の半径に対してステップ状に増加または減少した積分円を変化円として検出する変化円検出部250とを備え、変化円検出部250がステップ状の増加を検出した場合の変化円を瞳孔とみなし、変化円検出部250がステップ状の減少を検出した場合の変化円をコンタクトレンズとみなす。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、使用者の目画像の中からコンタクトレンズの有無を検出する機能をもつ瞳孔検出装置およびそれを用いた虹彩認証装置に関する。
【背景技術】
【0002】
虹彩の模様は個人によって異なることが知られており、この虹彩の模様を用いて個人認証を行う方法が提案されている。例えば、特許文献1には、カメラを用いて使用者の目あるいは目の周辺を含む画像(以下、「目画像」と略記する)を撮像し、目画像の中から虹彩画像を切り出し、虹彩の模様を示す虹彩コードに変換し、登録されている虹彩コードと比較して個人認証を行う虹彩認証装置が開示されている。
【特許文献1】特表平8−504979号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、使用者がコンタクトレンズを装着しているとコンタクトレンズの外縁部による反射光等が虹彩画像に重なって正確な虹彩コードを取得できない場合があるにもかかわらず、従来の虹彩認証装置においてはコンタクトレンズの有無を検出する機能がないため、誤った認証をする場合があった。
【0004】
本発明は、上記の課題に鑑みなされたものであり、高速にかつ精度よく瞳孔位置を検出するとともに、コンタクトレンズの有無を検出することが可能な瞳孔検出装置および虹彩認証装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明の瞳孔検出装置は、同心円状の複数の円をそれぞれ積分円として目画像上に設定し積分円の円周上に位置する目画像の画像データを抽出する画像データ抽出部と、画像データ抽出部が抽出した画像データを積分円のそれぞれの円周に沿って積分する周回積分部と、周回積分部の積分値が積分円の半径に対してステップ状に増加または減少した積分円を変化円として検出する変化円検出部とを備え、変化円検出部がステップ状の増加を検出した場合の変化円を瞳孔とみなし、変化円検出部がステップ状の減少を検出した場合の変化円をコンタクトレンズとみなすことを特徴とする。このような構成により、高速にかつ精度よく瞳孔位置を検出するとともに、コンタクトレンズの有無を検出することが可能な瞳孔検出装置を提供することができる。
【0006】
また、本発明の瞳孔検出装置は、積分円の円周上に位置する目画像の画像データの最大値と最小値との差を求める輝度差算出部をさらに備え、変化円検出部は、周回積分部の積分値が積分円の半径に対してステップ状に増加または減少し、かつ輝度差算出部で求められた輝度の差が所定の閾値よりも小さい場合に、対応する積分円を変化円として検出してもよい。この構成により、コンタクトレンズの検出精度の低下を防ぐとともに、瞳孔の検出精度の低下を防ぐことができる。
【0007】
また、本発明の瞳孔検出装置は、複数の変化円を保持することができる変化円保持部と、変化円保持部に保持された変化円の中から瞳孔またはコンタクトレンズに対応する変化円を選択する瞳孔・レンズ選択部とをさらに備えてもよい。この構成により、まつげ等を瞳孔と間違って検出する等の誤検出をなくすことができる。
【0008】
また、本発明の虹彩認証装置は、使用者の目とその周辺部分を照明する照明部と、使用者の目画像を撮像する撮像部と、目画像の中から瞳孔を検出する、上記に記載の本発明の瞳孔検出装置と、瞳孔検出装置が検出した瞳孔と目画像とにもとづいて個人認証を行う認証処理部とを備えたことを特徴とする。この構成により、高速にかつ精度よく瞳孔位置を検出するとともに、コンタクトレンズの有無を検出することが可能な虹彩認証装置を提供することができる。
【発明の効果】
【0009】
本発明によれば、高速にかつ精度よく瞳孔位置を検出するとともに、コンタクトレンズの有無を検出することが可能な瞳孔検出装置および虹彩認証装置を提供することが可能となる。
【発明を実施するための最良の形態】
【0010】
以下、本発明の実施の形態における瞳孔検出装置を用いた虹彩認証装置について、図面を用いて説明する。
【0011】
(実施の形態)
図1は本発明の一実施の形態における瞳孔検出装置を用いた虹彩認証装置の回路ブロック図である。図1には、瞳孔検出装置200に加えて虹彩認証装置100を構成するために必要な撮像部120、照明部130、認証処理部140も示している。
【0012】
本実施の形態における虹彩認証装置100は、使用者の目画像を撮像する撮像部120、目画像の中から瞳孔位置とその半径を検出する瞳孔検出装置200、目画像から得られた虹彩コードを登録されている虹彩コードと比較して個人認証を行う認証処理部140、目画像取得に適した光量の近赤外線を照射し使用者の目とその周辺部分を照明する照明部130を備えている。
【0013】
照明部130は、使用者の目に斜め方向から近赤外線を照射するための赤外発光ダイオード131と、正面から照射するための赤外発光ダイオード132と、それらの赤外発光ダイオード131、132を切り替えるための照明制御部133を備えている。撮像部120は、誘導ミラー121、可視光カットフィルタ122、レンズ123、撮像素子124および前処理部125を有する。本実施の形態においては、レンズ123として固定焦点レンズを用いることにより光学系の小型、軽量化と低コスト化を実現している。誘導ミラー121は使用者が自らの目を映すことにより目を正しい撮像位置へ誘導する。そして、使用者の目はレンズ123、可視光カットフィルタ122を通して撮像素子124で撮像される。前処理部125は、撮像素子124の出力信号から画像データ成分を取り出し、ゲイン調整等、画像データとして必要な処理を行った上で、使用者の目画像データとして出力する。
【0014】
瞳孔検出装置200は、その詳細については後述するが、目画像の中から瞳孔位置とその半径を検出するとともに、コンタクトレンズの有無を検出し、認証処理部140へ出力する。認証処理部140は、瞳孔検出装置200が検出した瞳孔中心座標および瞳孔半径にもとづき、目画像データの中から虹彩画像を切り出す。そして、虹彩画像を虹彩の模様を示す固有の虹彩コードに変換し、登録されている虹彩コードと比較することによって認証動作を実行する。
【0015】
つぎに、瞳孔検出装置200の瞳孔検出方法について説明する。図2は、本実施の形態における瞳孔検出装置の瞳孔検出方法を説明するための図である。瞳孔20を含む画像は図2(a)に示すように、瞳孔20を示す円盤状の低輝度領域と、その外側に虹彩30を示す円環状の中輝度領域とが存在する。したがって、瞳孔中心の位置座標(Xo、Yo)を中心として半径Rの積分円Cの円周に沿って画像データを周回積分すると図2(b)に示すように積分値Iは瞳孔半径Roのところでステップ状に変化することになる。そこで、図2(c)に示すように、積分値Iを半径Rで微分した値dI/dRが第1の差分閾値ΔIth1を超えるときの積分円の半径を求めることにより瞳孔半径Roを知ることができる。
【0016】
以上の考え方にもとづき、瞳孔検出装置200は、瞳孔20の位置座標(Xo、Yo)と瞳孔半径Roを検出する。まず、図2(d)に示すように中心座標が等しく半径の異なるn個の積分円C〜Cを目画像上に設定し、各々の積分円C(i=1〜n)に対してその円周上に位置する画像データを積分する。現実的には各々の積分円Cの円周上に位置する画素の画像データの平均値を計算するか、円周上に位置する画素の中から一定数(m個)の画素を選んでその画像データを加算する。本実施の形態においては同心円状の積分円の数nを20とし、各積分円Cの円周上に位置する画素の中からm=8画素を選んでその画像データを加算し周回積分の積分値Iとした。このとき、積分円C〜Cの中心50が瞳孔中心と一致している場合には、上述したように、各積分円Cに対する積分値Iがステップ状に変化するので、積分値Iの半径Rに対する差分値ΔIを求めると瞳孔半径Roに等しいところで大きな極大値を示すことになる。ところが、積分円C〜Cの中心50が瞳孔中心に一致しない場合は、それらが一致している場合に比べて積分値Iは緩やかに変化するので、その差分値ΔIは大きな値を示さない。したがって、差分値ΔIが第1の差分閾値ΔIth1よりも大きな値を示す積分円Cを求めることで、瞳孔20の位置とその半径を求めることができる。
【0017】
そして、目画像上の各位置に積分円C〜Cを移動させて上述の動作を繰り返す。こうして差分値ΔIが大きな値を示すときの積分円Cの中心座標(X、Y)とそのときの半径Rを求めることにより、瞳孔20の位置座標(Xo、Yo)と瞳孔半径Roを求めることができる。
【0018】
つぎに、瞳孔検出装置200のコンタクトレンズ検出方法について説明する。図3は、本実施の形態における瞳孔検出装置200のコンタクトレンズ検出方法を説明するための図である。コンタクトレンズの中でもハードレンズ等のようにレンズ径が虹彩径と同程度かそれよりも小さい場合には、虹彩画像上にコンタクトレンズ10の円周部分の画像が重畳し、虹彩画像から虹彩コードへの変換の妨げになることが多い。一般的にコンタクトレンズ10の円周部分の画像は、図3(a)に示したように、反射光による高輝度部分11と、その外側にレンズの影による低輝度部分12とからなる2重の円環状の画像となる。したがって、コンタクトレンズ10の検出においても、瞳孔検出と同様のn個の積分円C〜Cを用いることができる。積分円C〜Cの中心50がコンタクトレンズ10の中心と一致している場合、積分円Cの積分値Iは積分円の半径がコンタクトレンズ10の円周部分の内側の高輝度部分11に一致したところで極大値を示し、外側の低輝度部分12に一致したところで極小値を示す。そのため、積分円Cの半径が大きくなるにつれてその積分値Iは図3(b)に示したように、極大値の後、極小値を示すことになる。そしてその差分値ΔIは図3(c)に示したように、大きな負の値を示すことになる。したがって、目画像上の各位置に積分円C〜Cを移動させたとき差分値ΔIが大きな負の値を示せば、その位置にコンタクトレンズ10を検出した可能性が高い。したがって差分値ΔIが第2の差分閾値ΔIth2よりも小さな値を示す積分円Cの存在を調べることでコンタクトレンズ10の有無を知ることができる。
【0019】
しかしながら、画像によっては差分値ΔIの絶対値が偶発的に大きな値を示す可能性がある。特に、積分円の数nや各積分円上で選択する画素の数mを小さくすると計算量を減らすことができ高速な瞳孔検出が可能となるが、反面、偶発的に差分値ΔIの絶対値が大きな値を示す可能性が高くなり、コンタクトレンズ10の検出精度が低下する。そのため本実施の形態においては、積分円Cの各々に対して輝度差、すなわち円周上における輝度の最大値と最小値の差Bを求め、その差Bが所定の閾値(以下、「輝度差閾値」と記する)Bthより小さい場合に限り積分値I、あるいはその差分値ΔIが有効であるとすることでコンタクトレンズ10の検出精度の低下を防いでいる。なお、この方法はコンタクトレンズ10の検出精度だけでなく瞳孔20の検出精度の低下を防ぐ上でも有効である。
【0020】
図4は、コンタクトレンズ10および瞳孔20の検出精度の低下を防ぐ動作を説明するための図である。積分円Cが瞳孔領域内部や虹彩領域内部等、比較的輝度の均一な領域に位置する場合には円周上の画像データの輝度ばらつきは小さい。図4(a)に、円環状の中輝度領域である虹彩領域に位置する積分円Cを示している。この場合、円周上の輝度の最大値と最小値との差Bは小さく、輝度差閾値Bth以下となる。しかし、例えば図4(b)に示すように、積分円C〜Cの中心50が眉毛や髪の毛等の一部に位置するときには、円周上の輝度は眉毛上では低く皮膚の部分では高くなるため、輝度の最大値と最小値との差Bは大きくなる。このように、各積分円Cの円周上の輝度の最大値と最小値との差Bを求め、その差Bが輝度差閾値Bthより小さい場合に限り積分値I、あるいはその差分値ΔIが有効であるとすることで、瞳孔20または虹彩画像以外の領域で偶発的に差分値ΔIの絶対値が大きな値を示しても、コンタクトレンズ10または瞳孔20と誤って検出することがなくなり、検出精度の低下を防止できる。
【0021】
なお、輝度差閾値Bthとしては円周上の輝度データの予想されるばらつきよりわずかに大きく設定することが望ましい。経験的には、虹彩30の平均輝度と瞳孔20の平均輝度との差よりも大きく、肌の平均輝度と瞳孔20の平均輝度との差よりも小さく設定するとよい。例えば、256階調の画像信号の場合、瞳孔20の平均輝度が40階調程度、虹彩30の平均輝度が100階調程度、肌の平均輝度が200階調程度となるため、輝度差閾値としては60〜160の間で設定するとよい。
【0022】
また、積分円が瞳孔20上にある場合の積分値Iはおよそ40×8=320であり、積分円が虹彩30上にある場合の積分値Iはおよそ100×8=800であるので、第1の差分閾値ΔIth1としては、その差480の半分程度、すなわち240程度に設定するとよい。
【0023】
さらに、積分円がコンタクトレンズ10の円周部分の内側の高輝度部分11にある場合の積分値Iはおよそ80×8=640であり、外側の低輝度部分12にある場合の積分値Iはおよそ40×8=320であるので、第2の差分閾値ΔIth2の絶対値としてはその差320の半分程度、すなわち160程度に設定するとよい。
【0024】
図5は、本実施の形態における瞳孔検出装置200の回路ブロック図である。瞳孔検出装置200は、目画像上に積分円C〜Cを設定し各積分円Cの円周上の画像データを抽出する画像データ抽出部220、抽出された画像データを積分円C毎に周回積分する周回積分部230、各積分円毎に画像データの最大値と最小値との差Bを求める輝度差算出部240、積分値Iの半径Rに対する差分値ΔIを求め差分値ΔIが第1の差分閾値ΔIth1よりも大きいかまたは第2の差分閾値ΔIth2よりも小さいときの差分値ΔIと積分円の半径Rを出力する変化円検出部250、積分円C〜Cの中心座標(X、Y)を指示するポインタ部260、変化円検出部250が出力した積分円の半径Rとそのときのポインタ部260の示す位置座標(X、Y)とを記憶する変化円保持部280、変化円保持部280が記憶している複数の積分円の中から瞳孔20に対応する積分円を選び出すとともに、コンタクトレンズ10に対応する積分円の有無を検出する瞳孔・レンズ選択部290を備えている。
【0025】
図6は、画像データ抽出部220の回路図である。あわせて図6には1つの積分円Cに対応する加算器230および輝度差算出器240をも示している。画像データ抽出部220は部分フレームメモリ222とそこから画像データを引き出すための引き出し線Lから構成されている。部分フレームメモリ222はファーストイン−ファーストアウト型(以下、「FIFO型」と略記する)のラインメモリ224を複数個直列に接続したものである。そして、引き出し線Lによって画像上で積分円Cに対応するm個の画素から画像データを引き出している。なお、図面を見やすくするため図6には1つの積分円Cとその円周上にある4個の画素データを引き出す引き出し線Lのみを示したが、本実施の形態においては20個の積分円C〜C20から各々8個ずつデータの引き出し線が引き出されている。
【0026】
そして、部分フレームメモリ222に1画素ずつ画像データを入力する毎に部分フレームメモリ222に保持されている画像全体が1画素ずつシフトするので、引き出し線Lから引き出される画像データも1画素ずつシフトすることになる。すなわち、部分フレームメモリ222に画像データを1画素分入力すると目画像上では積分円C〜Cが右に1画素分移動し、1ライン分の画像データを入力すると目画像上では積分円C〜Cが1ライン分下へ移動する。こうして、1フレーム分の画像データが部分フレームメモリ222に入力する間に、目画像上では積分円C〜Cが目画像全体を走査することになる。このときの積分円の中心座標(X、Y)はポインタ部260のXカウンタ262およびYカウンタ264の出力によって示される。
【0027】
周回積分部230は積分円C〜Cの各々に対して独立な加算器230〜230を備え、各積分円Cの円周上に位置するm個の画像データを加算し、各々の加算結果を積分値Iとして変化円検出部250へ出力する。
【0028】
輝度差算出部240は積分円C〜Cの各々に対して独立な輝度差算出器240〜240を備え、各々の輝度差算出器240は積分円Cの円周上に位置するm個の画素データの最大値を検出する最大値検出器241、最小値を検出する最小値検出器242、最大値と最小値の差Bを計算する減算器243、差Bと輝度差閾値Bthとを比較するコンパレータ244を備えている。そしてn個の比較結果を変化円検出部250へ出力する。
【0029】
変化円検出部250は、減算器252〜252n−1、セレクタ253、コンパレータ254を備える。減算器252は、各積分円Cに対する積分値Iの半径Rに対する差分を求める。すなわち、積分円C〜Cのうち、半径の1つ違う積分円CとCi−1とに対する積分値IとIi−1との差分値ΔIを求める。ただし、積分円Cに対する画像データの最大値と最小値との差Bが輝度差閾値Bthよりも大きい場合には差分値ΔIを強制的に0に設定する。そしてセレクタ253およびコンパレータ254は、差分値ΔIが第1の差分閾値ΔIth1より大きいかまたは第2の差分閾値ΔIth2より小さくなる積分円(以下、「変化円」と略記する)Cの半径Rを変化円保持部280に出力するとともに、その差分値ΔIも評価値Jとして変化円保持部280に出力する。このとき積分円Cに対する画像データの最大値と最小値との差Bが輝度差閾値Bthよりも大きい場合、減算器252iは差分値ΔIを強制的に0に設定するので、差Bが輝度差閾値Bthよりも大きい場合には半径Rが変化円保持部280に出力されることはない。図3を用いて説明したように、画像によっては差分値ΔIの絶対値が偶発的に大きな値を示すことがある。しかし、積分円C〜Cの中心50が瞳孔20またはコンタクトレンズ10の中心と一致している場合には、画素データの最大値と最小値との差Bはある限られた値以下となる。したがって、差Bが輝度差閾値Bthよりも大きい場合の情報を除くことにより瞳孔20およびコンタクトレンズ10の誤検出の可能性を減らすことができ、検出精度を上げることができる。
【0030】
図7は変化円保持部280および瞳孔・レンズ選択部290の回路ブロック図である。変化円保持部280は、同じ構成の複数の最大値検出器280〜280が縦続接続されている。最大値検出器280の各々は、変化円のX座標、Y座標、半径Rおよび評価値Jの最大値を保持するレジスタ282、283、284およびレジスタ285、入力した評価値Ji−1とレジスタ285に保持している評価値Jとを比較するコンパレータ281、入力したX座標、Y座標、半径Rおよび評価値Jと保持しているX座標、Y座標、半径Rおよび評価値Jのいずれかを選択するセレクタ286、287、288およびセレクタ289を備えている。
【0031】
先頭の最大値検出器280には、積分円の座標を示すポインタ部260のXカウンタ262およびYカウンタ264の出力X、Yが入力され、変化円検出部250の出力Rも入力されている。そして、変化円検出部250から出力される評価値Jがレジスタ285の保持している評価値Jよりも大きい場合には、それまでレジスタ282〜285に保持していたX座標X、Y座標Y、半径R、評価値Jをセレクタ286〜289を介して2番目の最大値検出器280に出力するとともに、新しく入力したX座標X、Y座標Y、半径R、評価値Jをレジスタ282〜285に保持する。評価値Jが評価値J以下の場合には新しく入力したX座標X、Y座標Y、半径R、評価値Jをセレクタ286〜289を介して2番目の最大値検出器280に出力する。
【0032】
2番目の最大値検出器280は、1番目の最大値検出器280から出力される評価値Jがレジスタ285の保持している評価値Jよりも大きい場合には、それまでレジスタ282〜285に保持していたX座標X、Y座標Y、半径R、評価値Jを3番目の最大値検出器280に出力するとともに、新しく入力したX座標X、Y座標Y、半径R、評価値Jをレジスタ282〜285に保持する。評価値Jが評価値J以下の場合には新しく入力したX座標X、Y座標Y、半径R、評価値Jを3番目の最大値検出器280に出力する。
【0033】
以下同様に、i番目の最大値検出器280は、上流側の最大値検出器280i−1から出力される評価値Ji−1がそれまで保持していた評価値Jよりも大きい場合には、それまで保持していたデータを下流側の最大値検出器280i+1に出力するとともに上流側のデータを保持する。評価値Ji−1が評価値J以下の場合には上流側のデータを下流側に出力する。
【0034】
その結果、先頭の最大値検出器280には最も評価値の大きい変化円に対するX座標X、Y座標Y、半径R、評価値Jが保持され、2番目の最大値検出器280には2番目に評価値の大きい変化円に対するX座標X、Y座標Y、半径R、評価値Jが保持され、i番目の最大値検出器280にはi番目に評価値の大きい変化円に対するX座標X、Y座標Y、半径R、評価値Jが保持される。そして、正の評価値をもつ変化円は瞳孔20の候補となり、負の評価値をもつ変化円はコンタクトレンズ10の候補となる。
【0035】
なお、本実施の形態においては、変化円保持部280は複数の最大値検出器280〜280を縦続接続したものとして構成し、ここで保持された変化円のうち正の評価値をもつ変化円は瞳孔20の候補であり、負の評価値をもつ変化円はコンタクトレンズ10の候補であるとして説明した。しかし、変化円保持部280としてはこの構成に限られるものではない。例えば、最大値検出器を縦続接続した第1の変化円保持部と、最小値検出器を縦続接続した第2の変化円保持部とを設け、第1の変化円保持部には正の評価値をもつ変化円を保持し、第2の変化円保持部には負の評価値をもつ変化円を保持する。このような構成によれば、正の評価値をもつ瞳孔20の候補と負の評価値をもつコンタクトレンズ10の候補とを分離して保持することができる。
【0036】
瞳孔・レンズ選択部290は、変化円保持部280に保持されている複数の変化円の中から最も大きい評価値をもつ変化円の位置座標および半径を瞳孔20の位置座標および半径として認証処理部140へ出力してもよい。しかし本実施の形態においては、まつげ等を瞳孔20と間違って検出する等の誤検出をなくすために、以下のような処理を行う。
【0037】
まず、瞳孔・レンズ選択部290は、正の評価値をもつ変化円を瞳孔候補として選び出す。そしてそれぞれの瞳孔候補の中心位置から所定の距離以内の領域に他の瞳孔候補の中心位置が存在する瞳孔候補を1つ選び出し、その位置座標および半径を瞳孔20の位置座標および半径として認証処理部140へ出力する。本実施の形態においては所定の距離を1.5画素とした。したがって、瞳孔・レンズ選択部290は瞳孔候補のそれぞれについて、瞳孔候補の位置座標(X,Y)に隣接する上下左右の4画素と、斜め方向4画素分の合計8箇所の画素位置に含まれる瞳孔候補の数を数え、このとき最も多くの瞳孔候補が含まれる瞳孔候補を真の瞳孔20として選択する。その結果、瞳孔・レンズ選択部290によって選択された瞳孔20は、その周囲に他の瞳孔候補の存在する瞳孔20となり、まつげ等により偶発的に差分値ΔIが大きくなることにより生じた瞳孔候補を除外することができる。
【0038】
つぎに瞳孔・レンズ選択部290は、負の評価値をもつ変化円の中心座標が、検出した瞳孔20の中心位置から所定の距離以内の領域に存在するか否かを調べる。そして、変化円が存在する場合にはその変化円の位置座標および半径をコンタクトレンズ10の位置座標および半径として認証処理部140へ出力し、存在しない場合にはコンタクトレンズ10が検出されなかった旨の信号を認証処理部140へ出力する。上記所定の距離としては、例えば瞳孔半径でもよく、この場合には、負の評価値をもつ変化円の中心座標が、検出した瞳孔20の領域に存在するか否かを調べることになる。なお、虹彩認証の障害となるコンタクトレンズ10の半径はおよそ8mmであるので、負の評価値をもつ変化円のうち、例えば5mm〜12mm以外の半径をもつ変化円は除外してもよい。
【0039】
つぎに、瞳孔検出装置200の動作について説明する。以下の説明では、目画像データが順次走査データであり、1フレームが、例えば480ライン×640ピクセルのデジタルデータで構成されているものとする。図8は、本実施の形態における瞳孔検出装置200の目画像1フレーム分の動作を示すフローチャートである。
【0040】
まず瞳孔検出装置200は1画素分の画像データを取り込む(S51)。取り込んだ画像データが1フレームの先頭のデータであれば(S52)、Yカウンタ264をリセットするとともに、変化円保持部280の各レジスタ282〜285をリセットする(S53)。取り込んだデータが1ラインの先頭のデータであれば(S54)、Xカウンタ262をリセットし、Yカウンタ264をインクリメントする(S55)。そして、Xカウンタ262をインクリメントする(S56)。
【0041】
つぎに、取り込んだ画像データを部分フレームメモリ222に取り込む。すると目画像上でn個の積分円C〜Cに対応する画素のうち各々の積分円Cからm個ずつ、n×m個の画像データが引き出される。そして各積分円Cに対応する加算器230はそれぞれ画像データの積分値Iを算出し、輝度差算出器240は画像データの最大値と最小値との差Bを算出する。変化円検出部250はそれぞれの積分値Iの差分値ΔIを計算する。ただしこのとき、差Bが輝度差閾値Bthよりも大きい場合には差分値ΔIを強制的に0とする(S57)。そして、コンパレータ254が差分値ΔIと第1の差分閾値ΔIth1および第2の差分閾値ΔIth2とを比較し(S58)、差分値ΔIが第1の差分閾値ΔIth1より大きいかまたは第2の差分閾値ΔIth2より小さい場合には、変化円保持部280はこのときのXカウンタ262、Yカウンタ264および積分円の半径Roを保持するとともにその差分値ΔIも評価値Joとして保持する。このとき変化円保持部280は評価値の大きい順に瞳孔候補を並べ替え最大k個の瞳孔候補を保持する(S59)。つぎに、取り込んだデータが1フレームの末尾のデータであるか否かを判定し(S60)、末尾でなければステップS51に戻る。
【0042】
入力される画像データが1フレームの最後の画素にいたったときは、瞳孔・レンズ選択部290は、正の評価値をもつ変化円を瞳孔候補とし、それぞれの瞳孔候補に対してその中心座標に隣接する画素位置に存在する他の瞳孔候補の数を計算し、その値が最も大きい瞳孔候補のX座標、Y座標および半径の値を真の瞳孔20のX座標Xo、Y座標Yoおよび瞳孔半径Roとして認証処理部140へ出力する(S61)。さらに、負の評価値をもつ変化円の中心座標が真の瞳孔20の領域内部に存在するか否かを調べ、存在する場合にはその変化円の位置座標および半径をコンタクトレンズ10の位置座標および半径として認証処理部140へ出力し、存在しない場合にはコンタクトレンズ10が検出されなかった旨の信号を認証処理部140へ出力する(S62)。
【0043】
以上の、ステップS51からステップS60までの一連の動作は、部分フレームメモリ222に画像データを1画素分入力する毎に実行される。例えばフレーム周波数が30Hz、目画像が640×480画素で構成されている場合、1/(30×640×480)秒以下の時間で上記の一連の動作が実行される。そして、部分フレームメモリ222に1画素入力されると積分円は画像上で1画素分移動するので、1フレームの画像を入力する間に積分円が画像上を1回走査することになる。このようにして、比較的小規模な回路を用いて、撮像部120で撮像された画像データに対してリアルタイムでコンタクトレンズ10および瞳孔20を検出することができる。
【0044】
なお、本実施の形態においては同心円状の積分円の数を20、1つの積分円から引き出す画像データの数を8個としたが、これらの数は検出精度、処理時間、回路規模等との兼ね合いで決定することが望ましい。
【0045】
図9は本実施の形態における瞳孔検出装置200を用いた虹彩認証装置100の動作を示すフローチャートの一例を示す図であり、図9(a)は使用者の虹彩30の模様を示す虹彩コードを登録する際に用いるフローチャート、図9(b)は個人認証を行う際に用いるフローチャートである。この虹彩認証装置100の例では、照明に工夫がなされており、虹彩コードを登録する際には使用者の目に斜め方向から近赤外線を照射して目画像を取得する。そして個人認証を行う際には、最初の認証動作においては、眼鏡による反射光の影響を受け難くするために使用者の目に斜め方向から近赤外線を照射する。そしてこのときコンタクトレンズ10が検出されると、つぎはコンタクトレンズ10の円周部分の画像の影響を比較的受け難い正面からの照明光に切り替えるというものである。
【0046】
まず、虹彩コードを登録する際の動作について説明する。図9(a)に示すように、使用者が虹彩認証装置100の前に立つ等により認証動作を開始させると、照明部130は使用者の目に斜め方向から近赤外線を照射するための赤外発光ダイオード131を点灯させる(S21)。そして撮像部120が使用者の目画像を撮像する(S22)。瞳孔検出装置200が瞳孔20を検出できなかった場合はステップS22に戻り、再度目画像を撮像する(S23)。
【0047】
瞳孔検出装置200がコンタクトレンズ10を検出した場合には(S24)、「コンタクトレンズをはずしてください。」等のメッセージを出力した後、ステップS22に戻る(S25)。
【0048】
瞳孔検出装置200がコンタクトレンズ10を検出しなかった場合には(S24)、認証処理部140は瞳孔20の中心座標にもとづき目画像データの中から虹彩画像を切り出す。そして、虹彩画像を虹彩30の模様を示す固有の虹彩コードに変換し、使用者の虹彩コードとして登録する(S26)。
【0049】
つぎに、個人認証を行う際の動作について説明する。図9(b)に示すように、使用者が虹彩認証装置100の前に立つ等により認証動作を開始させると、照明部130は使用者の目に斜め方向から近赤外線を照射するための赤外発光ダイオード131を点灯させる(S11)。そして撮像部120が使用者の目画像を撮像する(S12)。瞳孔検出装置200が瞳孔20を検出できなかった場合はステップS12に戻り、再度目画像を撮像する(S13)。
【0050】
瞳孔検出装置200がコンタクトレンズ10を検出した場合には(S14)、照明部130の赤外発光ダイオード131、132の点灯状態を調べる(S15)。このとき正面から近赤外線を照射する正面照明用の赤外発光ダイオード132が点灯していなければ、コンタクトレンズ10の円周部分の画像の影響を比較的受け難い正面からの照明光に切り替えるために、赤外発光ダイオード132を点灯させ赤外発光ダイオード131を消灯し、ステップS12へ戻る(S16)。すでに正面照明用の赤外発光ダイオード132が点灯していれば、認証処理部140は瞳孔20の中心座標にもとづき目画像データの中から虹彩画像を切り出す。そして、虹彩画像を虹彩30の模様を示す固有の虹彩コードに変換し、登録されている虹彩コードと比較することによって認証動作を実行する(S17)。
【0051】
なお、上述の実施の形態における虹彩認証装置100の虹彩コード登録時においては、コンタクトレンズ10を検出した場合照明を切り替えたが、これ以外にも使用者を撮像部120から離れるように誘導し、コンタクトレンズ10の影を小さくする等のステップを組み合わせてもよい。
【産業上の利用可能性】
【0052】
本発明は、高速にかつ精度よく瞳孔位置を検出するとともに、コンタクトレンズの有無を検出することができるので、使用者の目画像の中からコンタクトレンズの有無を検出するコンタクトレンズ検出機能つき瞳孔検出装置およびそれを用いた虹彩認証装置等として有用である。
【図面の簡単な説明】
【0053】
【図1】本発明の実施の形態における瞳孔検出装置を用いた虹彩認証装置の回路ブロック図
【図2】同瞳孔検出装置の瞳孔検出方法を説明するための図
【図3】同瞳孔検出装置のコンタクトレンズ検出方法を説明するための図
【図4】コンタクトレンズおよび瞳孔の検出精度の低下を防ぐ動作を説明する図
【図5】本発明の実施の形態における瞳孔検出装置の回路ブロック図
【図6】同瞳孔検出装置の画像データ抽出部の回路図
【図7】同瞳孔検出装置の変化円保持部および瞳孔・レンズ選択部の回路ブロック図
【図8】同瞳孔検出装置の目画像1フレーム分の動作を示すフローチャート
【図9】同瞳孔検出装置を用いた虹彩認証装置の動作を示すフローチャート
【符号の説明】
【0054】
10 コンタクトレンズ
11 高輝度部分
12 低輝度部分
20 瞳孔
30 虹彩
50 積分円の中心
100 虹彩認証装置
120 撮像部
130 照明部
140 認証処理部
200 瞳孔検出装置
220 画像データ抽出部
230 周回積分部
240 輝度差算出部
250 変化円検出部
260 ポインタ部
280 変化円保持部
290 瞳孔・レンズ選択部

【特許請求の範囲】
【請求項1】
同心円状の複数の円をそれぞれ積分円として目画像上に設定し、前記積分円の円周上に位置する目画像の画像データを抽出する画像データ抽出部と、
前記画像データ抽出部が抽出した画像データを積分円のそれぞれの円周に沿って積分する周回積分部と、
前記周回積分部の積分値が積分円の半径に対してステップ状に増加または減少した積分円を変化円として検出する変化円検出部とを備え、
前記変化円検出部がステップ状の増加を検出した場合の変化円を瞳孔とみなし、前記変化円検出部がステップ状の減少を検出した場合の変化円をコンタクトレンズとみなすことを特徴とする瞳孔検出装置。
【請求項2】
前記積分円の円周上に位置する前記目画像の画像データの最大値と最小値との差を求める輝度差算出部をさらに備え、
前記変化円検出部は、前記周回積分部の積分値が積分円の半径に対してステップ状に増加または減少し、かつ前記輝度差算出部で求められた輝度の差が所定の閾値よりも小さい場合に、対応する積分円を変化円として検出することを特徴とする請求項1に記載の瞳孔検出装置。
【請求項3】
複数の変化円を保持することができる変化円保持部と、
前記変化円保持部に保持された変化円の中から、瞳孔またはコンタクトレンズに対応する変化円を選択する瞳孔・レンズ選択部とをさらに備えたことを特徴とする請求項1または請求項2に記載の瞳孔検出装置。
【請求項4】
使用者の目とその周辺部分を照明する照明部と、
前記使用者の目画像を撮像する撮像部と、
前記目画像の中から瞳孔を検出する、請求項1から請求項3のいずれかに記載の瞳孔検出装置と、
前記瞳孔検出装置が検出した瞳孔と前記目画像とにもとづいて個人認証を行う認証処理部とを備えたことを特徴とする虹彩認証装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2006−345891(P2006−345891A)
【公開日】平成18年12月28日(2006.12.28)
【国際特許分類】
【出願番号】特願2005−171996(P2005−171996)
【出願日】平成17年6月13日(2005.6.13)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】