顔認証におけるなりすまし判定装置およびそれを用いた顔認証装置
【課題】顔認証機器でのなりすましを判定防止する。
【解決手段】顔認証機器は、撮像部（１０１）と、顔認識部（１０２）と、距離測定部（１０３）と、なりすまし判定部（１０４）と、顔認証部（１０５）と、を有している。距離測定部（１０３）は、被写体までの距離を測定する部分である。なりすまし判定部（１０４）は、顔認識部（１０２）と距離測定部（１０３）とからの情報をもとに、凹凸の大きい少なくとも２つの位置までの距離差の有無に基づいてなりすましの判定を行う。顔認証部（１０５）は、なりすまし判定部（１０４）によるなりすましチェックがされた画像について、顔認証を行う。
【解決手段】顔認証機器は、撮像部（１０１）と、顔認識部（１０２）と、距離測定部（１０３）と、なりすまし判定部（１０４）と、顔認証部（１０５）と、を有している。距離測定部（１０３）は、被写体までの距離を測定する部分である。なりすまし判定部（１０４）は、顔認識部（１０２）と距離測定部（１０３）とからの情報をもとに、凹凸の大きい少なくとも２つの位置までの距離差の有無に基づいてなりすましの判定を行う。顔認証部（１０５）は、なりすまし判定部（１０４）によるなりすましチェックがされた画像について、顔認証を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔認証装置に関し、顔認証におけるなりすまし対策に関する。
【背景技術】
【０００２】
撮像技術や情報処理技術の発達に伴い、顔に基づく認証技術（以下、「顔認証」と称する。）が注目され、種々の提案がなされてきている。従来の顔認証におけるなりすまし対策技術としては、特許文献１、特許文献２、特許文献３などが挙げられる。
【０００３】
特許文献１から３までは、複数の照明を顔に当てた場合のそれぞれの照明に関する違いに基づく顔認証を行うものである。特許文献２も、複数の照明を顔に当ててその違いで防止する技術である。例えば、顔の右側から照明を当てた場合と顔の左から照明を当てた場合とでは、本物の顔が立体的であることに起因して、影の出来方に違いが生じる。一方、写真の場合には、本物の顔の場合のような影が発生しないため、両者の違いを解析することでなりすましの防止を行う。その他、この文献には、以下の技術が記載されている。
【０００４】
１）モーションプロセッサーという装置を用いて、奥行き情報を得て、顔が立体的かどうか判断し、なりすまし防止を行う方法。尚、モーションプロセッサーとは、非特許文献１に記載されるように、赤外線の反射で画面全体の奥行きパターンを濃淡の差として捕らえるものである。
【０００５】
２）２つの視差のある映像から顔が立体的かどうか判断し、なりすまし防止を行う方法。
【０００６】
３）ＣＲＴなどに映された映像によるなりすまし防止のため、ＣＲＴに発生するフリッカーを検出する方法。
【０００７】
４）予め正面でない方向を向いた画像で認証用データを作成しておくことで、なりすましに利用されることが多い正面顔写真によるなりすましを防止する方法。
【０００８】
特許文献３は、顔までの距離と特徴点間の距離から顔の大きさを推測することで防止する方法を開示する。
【０００９】
【特許文献１】特開２００１−３３８２９６号公報
【特許文献２】特開２００３−１７８３０６号公報
【特許文献３】特開２００５−１３５２７１号公報
【非特許文献１】電子情報通信学会論文誌D-II,Vol.J84-D-II,No.9,pp.2070-2078,September 2001.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上記のように、顔認証においては、写真によるなりすまし、特に、正面顔写真等を利用したなりすましを防止することが重要である。しかしながら、特許文献１，２のような複数の照明を用いる技術では、装置が大掛かりになり、また決まった場所などで使用しないと照明条件が再現できないという問題がある。
【００１１】
特許文献２のモーションプロセッサーを利用して得られる奥行き情報を用いる技術では、専用の装置を必要とし、なおかつ、顔全体の奥行きパターンを判断するため処理の負担が大きくなるという問題がある。また、２つの視差のある映像から顔が立体的かどうか判断する技術ではカメラが複数必要となり、あるいは、複数の視差のある画像を１つのカメラに取り込む装置が必要となり、装置が大掛かりになるという問題がある。また、フリッカーを検出する技術では、ＣＲＴなどのフリッカーの発生するものに対してのみ有効な方法であり、写真などによるなりすましには対応できないという問題がある。さらに、予め正面でない方向を向いた画像で認証する従来技術では、あまり正面とはかけはなれた方向を向いての認証は特徴点の抽出精度が落ち、認証精度の低下につながる。また、自分がどの向きで認証したかを忘れた場合には認証自体がされないという問題がある。
【００１２】
特許文献３の顔の大きさを推測する技術では、顔の大きさと同じ写真が用いられた場合などになりすましを防止することが難しいという問題がある。
【００１３】
本発明は、写真によるなりすましを防止することができる簡単な構造で精度の良い顔認証装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の一観点によれば、撮像部により撮像される被認識者の顔に基づいて顔認証を行う顔認証装置と関連付けされるなりすまし判定装置であって、前記撮像された画像をもとに被認証者の顔の認識を行う顔認識部と、被認証者の顔の任意の位置までの距離を測定する距離測定部と、顔認識結果と距離測定結果とに基づいて、なりすまし判定を行うなりすまし判定部と、を備えることを特徴とするなりすまし判定装置が提供される。
【００１５】
顔認識部は、顔認証に使える程度の画像であるか否かの判断を兼ねる。顔認識をした結果を参照して任意の位置までの距離を測定し、その距離が妥当であるかどうかにより、実際の顔であるかあるいは平面的な写真によるなりすましであるかを判定することができる。
【００１６】
前記なりすまし判定部は、前記距離測定部により測定された被認証者の顔の任意の位置のうち凹凸の大きい少なくとも２つの位置までの第１の距離と第２の距離との測定結果において前記第１の距離と前記第２の距離との間の距離差の有無に基づいて、距離差がある場合になりすましであると判定することが好ましい。前記２つの位置までの第１の距離と第２の距離との距離差に関して、なりすましとは判断しないための許容範囲を予め記憶しておく記憶部と、該記憶部の記憶に基づいて実際の測定値である距離差が前記許容範囲内に入っている場合に、なりすましではないと判定することも可能である。
【００１７】
本発明の他の観点によれば、撮像部により撮像される被認識者の顔に基づいて顔認証を行う顔認証装置と関連付けされるなりすまし判定装置であって、前記撮像された画像をもとに被認証者の顔の認識を行う顔認識部と、認識に基づいて、顔の範囲を決定するとともに、該顔の範囲から背景となる範囲を選択し決定する顔・背景範囲決定部と、認識した画像をもとに、顔までの距離と、背景の位置までの距離と、を測定する距離測定部と、顔認識結果と距離測定結果とに基づいて、なりすまし判定を行うなりすまし判定部と、を備えることを特徴とするなりすまし判定装置が提供される。
【００１８】
前記距離測定部は、電磁波を装置から測定する箇所の数だけ、測定場所に向かって照射し、その反射を観測することにより行われるのが好ましい。
【００１９】
光学系を含む撮像部を有していれば、前記距離測定部として、前記光学系を物理的に動かして、測定する箇所の数だけコントラストの高い合焦位置を求めることにより行うこともできる。前記距離測定部としてカメラのオートフォーカス機構を用いることができる。
【００２０】
上記のなりすまし判定装置と、該なりすまし判定装置によるなりすましチェックがされた画像について、撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかの顔認証を行う顔認証部と、により顔認証装置を構成することができる。
【００２１】
本発明の別の観点によれば、認証用の画像を取得するステップと、取得した画像をもとに顔認識を行うステップと、おおよその顔の範囲を画定しておき、その顔の範囲内において認識した画面上の第１の位置を参照しながら、装置から被認証者の顔の実際の第１の位置までの距離を計測するステップと、装置から被認証者の顔の前記第１の距離とは異なる第２の位置までの距離を計測するステップと、前記第１の距離と前記第２の距離とを比較し、その差分の有無またはその差分が予め規定されている範囲内であるかにより、写真によるなりすましであるか否かを判定するステップと、撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行うステップと、を有する顔認証方法が提供される。
【００２２】
また、認証用の画像を取得するステップと、取得した画像をもとに顔認識を行うステップと、おおよその顔の範囲を画定しておき、その顔の範囲内において認識した画面上の第１の位置を参照しながら、装置から被認証者の顔の実際の第１の位置までの距離を計測するステップと、装置から被認証者の顔の範囲とは異なる背景部分までの第２の位置までの距離を計測するステップと、前記第１の距離と前記第２の距離とを比較し、その差分の有無またはその差分が予め規定されている範囲内であるかにより、写真によるなりすましであるか否かを判定するステップと、撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行うステップと、を有する顔認証方法が提供される。
【発明の効果】
【００２３】
本発明によれば、カメラの既存の測距機能、オートフォーカス機構を利用することで大掛かりな装置も必要なく写真によるなりすましを防止できる。また、顔の大きさと同じ写真を用いられた場合にも問題なく対応できる。
【００２４】
また、顔認識をした結果をもとに装置からの距離を測定する場合に、測定箇所の数および測定場所を任意に指定することができることで、測定箇所及び数を限定したときよりも、なりすましを行うことが困難になる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の第１の実施の形態によるなりすまし判定機能およびそれを用いた顔認証装置について図面を参照しながら説明を行う。図１は本実施の形態による顔認証機器の一構成例を示す図である。図１に示すように、本実施の形態による顔認証機器は、撮像部（１０１）と、顔認識部（１０２）と、距離測定部（１０３）と、なりすまし判定部（１０４）と、顔認証部（１０５）と、を有している。
【００２６】
撮像部（１０１）は、顔認証用の画像を撮影する機能を有しており、顔を撮影することができれば、ビデオやカメラに利用されている種々の撮影装置と同様の構成により実現可能である。顔認識部（１０２）は、撮像部（１０１）から送られてきた顔を含む画像の処理を行い、顔に関する様々な情報を取り出す部分である。顔の情報としては、例えば、目、口、鼻などの部分的な情報と、顔全体としての特徴点を示す情報などが挙げられる。
【００２７】
距離測定部（１０３）は、被写体までの距離を測定する部分であり、例えば、カメラのオートフォーカスの機能（測距機能）をそのまま使用することが可能である。オートフォーカスに、被写体に赤外線や超音波を照射しその反射を検出する「アクティブ方式」を用いている場合は、赤外線照射部と受光部、あるいは超音波発信部と受信機等をセットとして使用することができる。一方、オートフォーカスに、画像が最もくっきり見えるときにピントがあったと判断する「コントラスト検出方式」を用いている場合には、撮像部（１０１）の入力画像を使用することができる。
【００２８】
なりすまし判定部（１０４）は、顔認識部（１０２）と距離測定部（１０３）とからの情報をもとに、なりすましの判定を行う。顔認証部（１０５）は、なりすまし判定部（１０４）によるなりすましチェックがされた画像について、顔認証を行う。図４は、撮影画像から顔認識を行い、顔の異なる２つのポイントまでの距離を測り、その結果をもとになりすましチェックを行う処理の手順を示すフローチャート図である。ここでは、図２に示すように、例えば顔の中の目の位置と鼻の位置との２点について、装置からの距離ａ、ｂを測るものとする。２点としては、顔の凹凸等に基づく距離に差がある箇所であれば顔のどの部分の組み合わせを用いてもよい。
【００２９】
横から見た図２の右図からもわかるように、鼻までの距離ｂと目までの距離ａとでは、鼻の方が前に出ているため、鼻までの距離ｂの方が短いことがわかる。適宜、図１等を参照しながら説明を行う。 処理を開始すると（ステップ４０１）、まず、撮像部（１０１）から認証用の画像を取得する（ステップ４０２）。取得した画像をもとに顔認識を行う（ステップ４０３）。顔認識とは、実際に顔が映っているかどうかを判断する処理である。この処理において、もし、顔が写っていない、あるいは、認識するのに適していない顔の画像だった場合には（Ｎｏ）、認識ができない（ステップ４０９）ため、処理を終了する（ステップ４１１）。
【００３０】
一方、ステップ４０３の認識が成功した場合（Ｙｅｓ）にはおおよその顔の範囲を画定しておき、その顔の範囲内において認識した画面上の目の位置を参照しながら、装置から被認証者の実際の目までの距離を計測する（ステップ４０４）。ここでの計測方法については、先に述べた「アクティブ方式」、「コントラスト検出方式」等が利用可能であるが、装置から被写体までの距離が遠い場合には「コントラスト検出方法」よりも「アクティブ方式」の方が高精度である。次に、装置から被認証者の実際の鼻の位置までの距離を計測する（ステップ４０５）。この距離を測定する場合に、「アクティブ方式」ならば、赤外線や超音波が装置から測定する箇所の数だけ、測定場所に向かって照射される。ここでは、２箇所の測定を例にして説明しているため、２回照射が行われる。また、「コントラスト検出方式」であれば、物理的にレンズを動かしてコントラストの高い位置（ピントが合っている位置）を求める動作が測定する箇所の数だけ行われる。目の位置と鼻の位置とは、例えば、一般的な顔における目の位置と鼻の位置とを予め記憶しておき、その位置からある誤差範囲を加えた位置にあると推定することができる。あるいは、認識基準となる顔の画像データを記憶しておき、その画像データに基づいて目と鼻との位置を決定しても良い。
【００３１】
次いで、目までの距離ａが鼻までの距離ｂよりも長いかどうか判断する（ステップ４０６）。目までの距離ａが鼻までの距離ｂよりも長くない場合には（Ｎｏ）、なりすましチェックにおいて問題が生じたものとして（ステップ４１０）、顔認証へ移行せず処理を終了する（ステップ４１１）。
【００３２】
目までの距離ａが鼻までの距離ｂよりも長い場合には（Ｙｅｓ）、なりすましチェックＯＫ（ステップ４０７）とし、顔認証処理へ移行する（ステップ４０８）。顔認証処理は、周知の技術を用いて行うことができる。すなわち、撮影された顔と、あらかじめ認証装置に記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行えばよい。
【００３３】
目までの距離ａが鼻までの距離ｂよりも長いかどうか判断の処理（ステップ４０６）において、本実施の形態においては、装置から目までの距離ａと装置から鼻までの距離ｂとのどちらまでの距離が長いかだけを判断条件としているが、顔認識の時に顔の大きさなどの情報を得て、目までの距離と鼻までの距離の差の範囲を予測しておき、この予測の範囲内になっているかどうかにより、なりすましか否かを判断する方法を用いてもよい。例えば、顔の長さが一般的に３０ｃｍ程度であり、目と鼻との凹凸の差が５ｃｍであれば、その比は６：１である。従って、６：１を含むある範囲、例えば、１０：１〜３：１までを、実際の顔であると判断できる範囲とするなどの方法を用いることができる。
例えば、なりすましの手法として「写真によるなりすまし」がある。「写真によるなりすまし」の場合、上記の手順例において、目までの距離ａが鼻までの距離ｂよりも長いかどうか判断する（ステップ４０６）ステップで、写真は平面であるためａとｂとが同じ距離またはある範囲内となり、なりすましチェックでエラー判定とすることができる。
【００３４】
次に、本発明の第２の実施の形態による顔認証技術について図面を参照しながら説明を行う。図５は、撮影画像から顔認識を行い、顔と背景との２つのポイントまでの距離を測り、その結果をもとに、なりすましチェックを行う手順例を示すフローチャート図である。ここでは、図３に示すように、顔と背景との２つのポイントについて装置からの距離を測るものとする。一般的な認証においては、顔までの距離の方が背景までの距離よりも短いため、それを前提にして説明を行う。図１、図３を適宜参照しながら説明を行う。
【００３５】
処理を開始すると（ステップ５０１）、まず、撮像部（１０１）から認証用の画像を取得する（ステップ５０２）。取得した画像をもとに顔であるかどうかの顔認識を行う（ステップ５０３）。もし、顔が写っていないか、或いは、認識するのに適していない画像だった場合（Ｎｏ）、認識ができない（ステップ５１１）として処理を終了する（ステップ５１３）。
【００３６】
認識が成功した場合には（Ｙｅｓ）、入力した画像から顔の範囲を決定する（ステップ５０４）。そして、顔の範囲から背景となる部分を選択し決定する（ステップ５０５）。背景となる部分についてはどこを選んでもよいが、例えば顔の範囲の左右の横の部分、頭の上の部分などを選ぶことができる。
【００３７】
次に、認識した画面上の顔の位置をもとに、装置から顔までの距離を計測する（ステップ５０６）。次に、装置から背景の位置までの距離を計測する（ステップ５０７）。これらの距離を測定する場合に、「アクティブ方式」であれば赤外線や超音波が装置から測定場所に向かって照射される。ここでは、顔と背景とに向かって２回照射が行われるものとする。また、「コントラスト検出方式」であれば、物理的にレンズを動かしてコントラストの高い位置（ピントが合っている位置）を求める動作が顔と背景とに対して行われる。
【００３８】
そして、顔までの距離ａ’が背景までの距離ｂ’よりも短いかどうかを判断する（ステップ５０８）。顔までの距離ａ’が背景までの距離ｂ’よりも短くない場合には（Ｎｏ）、なりすましチェックで問題がおきたとし（ステップ５１２）、顔認証処理へ移行せず処理を終了する（ステップ５１３）。顔までの距離ａ’が背景までの距離ｂ’よりも短い場合には（Ｙｅｓ）、なりすましチェックＯＫ（ステップ５０９）とし、顔認証処理へ移行する（ステップ５１０）。顔認証処理は、第１の実施の形態と同様に周知の技術を用いて行うことができる。
【００３９】
以上に説明したように、本実施の形態によれば、写真によるなりすましを防止できる。その際、画像入力手段である撮像部に、オートフォーカス機構を持つカメラを持つことで、カメラの既存のオートフォーカス機構を利用することで大掛かりな装置も必要なく写真によるなりすましを防止できる。また、顔認識をした結果をもとに装置からの距離を測定する場合に、測定箇所の数および測定場所を任意に指定することにより、測定箇所及び数を限定したときよりも、なりすましを行うことが防止することができる。
【産業上の利用可能性】
【００４０】
本発明は、顔認証装置のなりすまし防止機能として利用可能である。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態によるなりすまし判定機能付顔認証装置の一構成例を示す機能ブロック図である。
【図２】目の位置と鼻の位置の２点について装置からの距離を測ることを説明する図である。
【図３】顔と背景の２つのポイントについて装置からの距離を測ることを説明する図である。
【図４】撮影画像から顔認識を行い、顔の異なる２つのポイントまでの距離を測り、その結果をもとになりすましチェックを行う手順を示したフローチャート図である。
【図５】撮影画像から顔認識を行い、顔と背景の２つのポイントまでの距離を測り、その結果をもとになりすましチェックを行う手順を示したフローチャート図である。
【符号の説明】
【００４２】
１０１ 撮像部
１０２ 顔認識部
１０３ 距離測定部
１０４ なりすまし判定部
１０５ 顔認証部
a 目の位置
b 鼻の位置
a’ 顔
b’ 背景
【技術分野】
【０００１】
本発明は、顔認証装置に関し、顔認証におけるなりすまし対策に関する。
【背景技術】
【０００２】
撮像技術や情報処理技術の発達に伴い、顔に基づく認証技術（以下、「顔認証」と称する。）が注目され、種々の提案がなされてきている。従来の顔認証におけるなりすまし対策技術としては、特許文献１、特許文献２、特許文献３などが挙げられる。
【０００３】
特許文献１から３までは、複数の照明を顔に当てた場合のそれぞれの照明に関する違いに基づく顔認証を行うものである。特許文献２も、複数の照明を顔に当ててその違いで防止する技術である。例えば、顔の右側から照明を当てた場合と顔の左から照明を当てた場合とでは、本物の顔が立体的であることに起因して、影の出来方に違いが生じる。一方、写真の場合には、本物の顔の場合のような影が発生しないため、両者の違いを解析することでなりすましの防止を行う。その他、この文献には、以下の技術が記載されている。
【０００４】
１）モーションプロセッサーという装置を用いて、奥行き情報を得て、顔が立体的かどうか判断し、なりすまし防止を行う方法。尚、モーションプロセッサーとは、非特許文献１に記載されるように、赤外線の反射で画面全体の奥行きパターンを濃淡の差として捕らえるものである。
【０００５】
２）２つの視差のある映像から顔が立体的かどうか判断し、なりすまし防止を行う方法。
【０００６】
３）ＣＲＴなどに映された映像によるなりすまし防止のため、ＣＲＴに発生するフリッカーを検出する方法。
【０００７】
４）予め正面でない方向を向いた画像で認証用データを作成しておくことで、なりすましに利用されることが多い正面顔写真によるなりすましを防止する方法。
【０００８】
特許文献３は、顔までの距離と特徴点間の距離から顔の大きさを推測することで防止する方法を開示する。
【０００９】
【特許文献１】特開２００１−３３８２９６号公報
【特許文献２】特開２００３−１７８３０６号公報
【特許文献３】特開２００５−１３５２７１号公報
【非特許文献１】電子情報通信学会論文誌D-II,Vol.J84-D-II,No.9,pp.2070-2078,September 2001.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上記のように、顔認証においては、写真によるなりすまし、特に、正面顔写真等を利用したなりすましを防止することが重要である。しかしながら、特許文献１，２のような複数の照明を用いる技術では、装置が大掛かりになり、また決まった場所などで使用しないと照明条件が再現できないという問題がある。
【００１１】
特許文献２のモーションプロセッサーを利用して得られる奥行き情報を用いる技術では、専用の装置を必要とし、なおかつ、顔全体の奥行きパターンを判断するため処理の負担が大きくなるという問題がある。また、２つの視差のある映像から顔が立体的かどうか判断する技術ではカメラが複数必要となり、あるいは、複数の視差のある画像を１つのカメラに取り込む装置が必要となり、装置が大掛かりになるという問題がある。また、フリッカーを検出する技術では、ＣＲＴなどのフリッカーの発生するものに対してのみ有効な方法であり、写真などによるなりすましには対応できないという問題がある。さらに、予め正面でない方向を向いた画像で認証する従来技術では、あまり正面とはかけはなれた方向を向いての認証は特徴点の抽出精度が落ち、認証精度の低下につながる。また、自分がどの向きで認証したかを忘れた場合には認証自体がされないという問題がある。
【００１２】
特許文献３の顔の大きさを推測する技術では、顔の大きさと同じ写真が用いられた場合などになりすましを防止することが難しいという問題がある。
【００１３】
本発明は、写真によるなりすましを防止することができる簡単な構造で精度の良い顔認証装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の一観点によれば、撮像部により撮像される被認識者の顔に基づいて顔認証を行う顔認証装置と関連付けされるなりすまし判定装置であって、前記撮像された画像をもとに被認証者の顔の認識を行う顔認識部と、被認証者の顔の任意の位置までの距離を測定する距離測定部と、顔認識結果と距離測定結果とに基づいて、なりすまし判定を行うなりすまし判定部と、を備えることを特徴とするなりすまし判定装置が提供される。
【００１５】
顔認識部は、顔認証に使える程度の画像であるか否かの判断を兼ねる。顔認識をした結果を参照して任意の位置までの距離を測定し、その距離が妥当であるかどうかにより、実際の顔であるかあるいは平面的な写真によるなりすましであるかを判定することができる。
【００１６】
前記なりすまし判定部は、前記距離測定部により測定された被認証者の顔の任意の位置のうち凹凸の大きい少なくとも２つの位置までの第１の距離と第２の距離との測定結果において前記第１の距離と前記第２の距離との間の距離差の有無に基づいて、距離差がある場合になりすましであると判定することが好ましい。前記２つの位置までの第１の距離と第２の距離との距離差に関して、なりすましとは判断しないための許容範囲を予め記憶しておく記憶部と、該記憶部の記憶に基づいて実際の測定値である距離差が前記許容範囲内に入っている場合に、なりすましではないと判定することも可能である。
【００１７】
本発明の他の観点によれば、撮像部により撮像される被認識者の顔に基づいて顔認証を行う顔認証装置と関連付けされるなりすまし判定装置であって、前記撮像された画像をもとに被認証者の顔の認識を行う顔認識部と、認識に基づいて、顔の範囲を決定するとともに、該顔の範囲から背景となる範囲を選択し決定する顔・背景範囲決定部と、認識した画像をもとに、顔までの距離と、背景の位置までの距離と、を測定する距離測定部と、顔認識結果と距離測定結果とに基づいて、なりすまし判定を行うなりすまし判定部と、を備えることを特徴とするなりすまし判定装置が提供される。
【００１８】
前記距離測定部は、電磁波を装置から測定する箇所の数だけ、測定場所に向かって照射し、その反射を観測することにより行われるのが好ましい。
【００１９】
光学系を含む撮像部を有していれば、前記距離測定部として、前記光学系を物理的に動かして、測定する箇所の数だけコントラストの高い合焦位置を求めることにより行うこともできる。前記距離測定部としてカメラのオートフォーカス機構を用いることができる。
【００２０】
上記のなりすまし判定装置と、該なりすまし判定装置によるなりすましチェックがされた画像について、撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかの顔認証を行う顔認証部と、により顔認証装置を構成することができる。
【００２１】
本発明の別の観点によれば、認証用の画像を取得するステップと、取得した画像をもとに顔認識を行うステップと、おおよその顔の範囲を画定しておき、その顔の範囲内において認識した画面上の第１の位置を参照しながら、装置から被認証者の顔の実際の第１の位置までの距離を計測するステップと、装置から被認証者の顔の前記第１の距離とは異なる第２の位置までの距離を計測するステップと、前記第１の距離と前記第２の距離とを比較し、その差分の有無またはその差分が予め規定されている範囲内であるかにより、写真によるなりすましであるか否かを判定するステップと、撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行うステップと、を有する顔認証方法が提供される。
【００２２】
また、認証用の画像を取得するステップと、取得した画像をもとに顔認識を行うステップと、おおよその顔の範囲を画定しておき、その顔の範囲内において認識した画面上の第１の位置を参照しながら、装置から被認証者の顔の実際の第１の位置までの距離を計測するステップと、装置から被認証者の顔の範囲とは異なる背景部分までの第２の位置までの距離を計測するステップと、前記第１の距離と前記第２の距離とを比較し、その差分の有無またはその差分が予め規定されている範囲内であるかにより、写真によるなりすましであるか否かを判定するステップと、撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行うステップと、を有する顔認証方法が提供される。
【発明の効果】
【００２３】
本発明によれば、カメラの既存の測距機能、オートフォーカス機構を利用することで大掛かりな装置も必要なく写真によるなりすましを防止できる。また、顔の大きさと同じ写真を用いられた場合にも問題なく対応できる。
【００２４】
また、顔認識をした結果をもとに装置からの距離を測定する場合に、測定箇所の数および測定場所を任意に指定することができることで、測定箇所及び数を限定したときよりも、なりすましを行うことが困難になる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の第１の実施の形態によるなりすまし判定機能およびそれを用いた顔認証装置について図面を参照しながら説明を行う。図１は本実施の形態による顔認証機器の一構成例を示す図である。図１に示すように、本実施の形態による顔認証機器は、撮像部（１０１）と、顔認識部（１０２）と、距離測定部（１０３）と、なりすまし判定部（１０４）と、顔認証部（１０５）と、を有している。
【００２６】
撮像部（１０１）は、顔認証用の画像を撮影する機能を有しており、顔を撮影することができれば、ビデオやカメラに利用されている種々の撮影装置と同様の構成により実現可能である。顔認識部（１０２）は、撮像部（１０１）から送られてきた顔を含む画像の処理を行い、顔に関する様々な情報を取り出す部分である。顔の情報としては、例えば、目、口、鼻などの部分的な情報と、顔全体としての特徴点を示す情報などが挙げられる。
【００２７】
距離測定部（１０３）は、被写体までの距離を測定する部分であり、例えば、カメラのオートフォーカスの機能（測距機能）をそのまま使用することが可能である。オートフォーカスに、被写体に赤外線や超音波を照射しその反射を検出する「アクティブ方式」を用いている場合は、赤外線照射部と受光部、あるいは超音波発信部と受信機等をセットとして使用することができる。一方、オートフォーカスに、画像が最もくっきり見えるときにピントがあったと判断する「コントラスト検出方式」を用いている場合には、撮像部（１０１）の入力画像を使用することができる。
【００２８】
なりすまし判定部（１０４）は、顔認識部（１０２）と距離測定部（１０３）とからの情報をもとに、なりすましの判定を行う。顔認証部（１０５）は、なりすまし判定部（１０４）によるなりすましチェックがされた画像について、顔認証を行う。図４は、撮影画像から顔認識を行い、顔の異なる２つのポイントまでの距離を測り、その結果をもとになりすましチェックを行う処理の手順を示すフローチャート図である。ここでは、図２に示すように、例えば顔の中の目の位置と鼻の位置との２点について、装置からの距離ａ、ｂを測るものとする。２点としては、顔の凹凸等に基づく距離に差がある箇所であれば顔のどの部分の組み合わせを用いてもよい。
【００２９】
横から見た図２の右図からもわかるように、鼻までの距離ｂと目までの距離ａとでは、鼻の方が前に出ているため、鼻までの距離ｂの方が短いことがわかる。適宜、図１等を参照しながら説明を行う。 処理を開始すると（ステップ４０１）、まず、撮像部（１０１）から認証用の画像を取得する（ステップ４０２）。取得した画像をもとに顔認識を行う（ステップ４０３）。顔認識とは、実際に顔が映っているかどうかを判断する処理である。この処理において、もし、顔が写っていない、あるいは、認識するのに適していない顔の画像だった場合には（Ｎｏ）、認識ができない（ステップ４０９）ため、処理を終了する（ステップ４１１）。
【００３０】
一方、ステップ４０３の認識が成功した場合（Ｙｅｓ）にはおおよその顔の範囲を画定しておき、その顔の範囲内において認識した画面上の目の位置を参照しながら、装置から被認証者の実際の目までの距離を計測する（ステップ４０４）。ここでの計測方法については、先に述べた「アクティブ方式」、「コントラスト検出方式」等が利用可能であるが、装置から被写体までの距離が遠い場合には「コントラスト検出方法」よりも「アクティブ方式」の方が高精度である。次に、装置から被認証者の実際の鼻の位置までの距離を計測する（ステップ４０５）。この距離を測定する場合に、「アクティブ方式」ならば、赤外線や超音波が装置から測定する箇所の数だけ、測定場所に向かって照射される。ここでは、２箇所の測定を例にして説明しているため、２回照射が行われる。また、「コントラスト検出方式」であれば、物理的にレンズを動かしてコントラストの高い位置（ピントが合っている位置）を求める動作が測定する箇所の数だけ行われる。目の位置と鼻の位置とは、例えば、一般的な顔における目の位置と鼻の位置とを予め記憶しておき、その位置からある誤差範囲を加えた位置にあると推定することができる。あるいは、認識基準となる顔の画像データを記憶しておき、その画像データに基づいて目と鼻との位置を決定しても良い。
【００３１】
次いで、目までの距離ａが鼻までの距離ｂよりも長いかどうか判断する（ステップ４０６）。目までの距離ａが鼻までの距離ｂよりも長くない場合には（Ｎｏ）、なりすましチェックにおいて問題が生じたものとして（ステップ４１０）、顔認証へ移行せず処理を終了する（ステップ４１１）。
【００３２】
目までの距離ａが鼻までの距離ｂよりも長い場合には（Ｙｅｓ）、なりすましチェックＯＫ（ステップ４０７）とし、顔認証処理へ移行する（ステップ４０８）。顔認証処理は、周知の技術を用いて行うことができる。すなわち、撮影された顔と、あらかじめ認証装置に記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行えばよい。
【００３３】
目までの距離ａが鼻までの距離ｂよりも長いかどうか判断の処理（ステップ４０６）において、本実施の形態においては、装置から目までの距離ａと装置から鼻までの距離ｂとのどちらまでの距離が長いかだけを判断条件としているが、顔認識の時に顔の大きさなどの情報を得て、目までの距離と鼻までの距離の差の範囲を予測しておき、この予測の範囲内になっているかどうかにより、なりすましか否かを判断する方法を用いてもよい。例えば、顔の長さが一般的に３０ｃｍ程度であり、目と鼻との凹凸の差が５ｃｍであれば、その比は６：１である。従って、６：１を含むある範囲、例えば、１０：１〜３：１までを、実際の顔であると判断できる範囲とするなどの方法を用いることができる。
例えば、なりすましの手法として「写真によるなりすまし」がある。「写真によるなりすまし」の場合、上記の手順例において、目までの距離ａが鼻までの距離ｂよりも長いかどうか判断する（ステップ４０６）ステップで、写真は平面であるためａとｂとが同じ距離またはある範囲内となり、なりすましチェックでエラー判定とすることができる。
【００３４】
次に、本発明の第２の実施の形態による顔認証技術について図面を参照しながら説明を行う。図５は、撮影画像から顔認識を行い、顔と背景との２つのポイントまでの距離を測り、その結果をもとに、なりすましチェックを行う手順例を示すフローチャート図である。ここでは、図３に示すように、顔と背景との２つのポイントについて装置からの距離を測るものとする。一般的な認証においては、顔までの距離の方が背景までの距離よりも短いため、それを前提にして説明を行う。図１、図３を適宜参照しながら説明を行う。
【００３５】
処理を開始すると（ステップ５０１）、まず、撮像部（１０１）から認証用の画像を取得する（ステップ５０２）。取得した画像をもとに顔であるかどうかの顔認識を行う（ステップ５０３）。もし、顔が写っていないか、或いは、認識するのに適していない画像だった場合（Ｎｏ）、認識ができない（ステップ５１１）として処理を終了する（ステップ５１３）。
【００３６】
認識が成功した場合には（Ｙｅｓ）、入力した画像から顔の範囲を決定する（ステップ５０４）。そして、顔の範囲から背景となる部分を選択し決定する（ステップ５０５）。背景となる部分についてはどこを選んでもよいが、例えば顔の範囲の左右の横の部分、頭の上の部分などを選ぶことができる。
【００３７】
次に、認識した画面上の顔の位置をもとに、装置から顔までの距離を計測する（ステップ５０６）。次に、装置から背景の位置までの距離を計測する（ステップ５０７）。これらの距離を測定する場合に、「アクティブ方式」であれば赤外線や超音波が装置から測定場所に向かって照射される。ここでは、顔と背景とに向かって２回照射が行われるものとする。また、「コントラスト検出方式」であれば、物理的にレンズを動かしてコントラストの高い位置（ピントが合っている位置）を求める動作が顔と背景とに対して行われる。
【００３８】
そして、顔までの距離ａ’が背景までの距離ｂ’よりも短いかどうかを判断する（ステップ５０８）。顔までの距離ａ’が背景までの距離ｂ’よりも短くない場合には（Ｎｏ）、なりすましチェックで問題がおきたとし（ステップ５１２）、顔認証処理へ移行せず処理を終了する（ステップ５１３）。顔までの距離ａ’が背景までの距離ｂ’よりも短い場合には（Ｙｅｓ）、なりすましチェックＯＫ（ステップ５０９）とし、顔認証処理へ移行する（ステップ５１０）。顔認証処理は、第１の実施の形態と同様に周知の技術を用いて行うことができる。
【００３９】
以上に説明したように、本実施の形態によれば、写真によるなりすましを防止できる。その際、画像入力手段である撮像部に、オートフォーカス機構を持つカメラを持つことで、カメラの既存のオートフォーカス機構を利用することで大掛かりな装置も必要なく写真によるなりすましを防止できる。また、顔認識をした結果をもとに装置からの距離を測定する場合に、測定箇所の数および測定場所を任意に指定することにより、測定箇所及び数を限定したときよりも、なりすましを行うことが防止することができる。
【産業上の利用可能性】
【００４０】
本発明は、顔認証装置のなりすまし防止機能として利用可能である。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態によるなりすまし判定機能付顔認証装置の一構成例を示す機能ブロック図である。
【図２】目の位置と鼻の位置の２点について装置からの距離を測ることを説明する図である。
【図３】顔と背景の２つのポイントについて装置からの距離を測ることを説明する図である。
【図４】撮影画像から顔認識を行い、顔の異なる２つのポイントまでの距離を測り、その結果をもとになりすましチェックを行う手順を示したフローチャート図である。
【図５】撮影画像から顔認識を行い、顔と背景の２つのポイントまでの距離を測り、その結果をもとになりすましチェックを行う手順を示したフローチャート図である。
【符号の説明】
【００４２】
１０１ 撮像部
１０２ 顔認識部
１０３ 距離測定部
１０４ なりすまし判定部
１０５ 顔認証部
a 目の位置
b 鼻の位置
a’ 顔
b’ 背景
【特許請求の範囲】
【請求項１】
撮像部により撮像される被認識者の顔に基づいて顔認証を行う顔認証装置と関連付けされるなりすまし判定装置であって、
前記撮像された画像をもとに被認証者の顔の認識を行う顔認識部と、
被認証者の顔の任意の位置までの距離を測定する距離測定部と、
顔認識結果と距離測定結果とに基づいて、なりすまし判定を行うなりすまし判定部と
を備えることを特徴とするなりすまし判定装置。
【請求項２】
前記なりすまし判定部は、前記距離測定部により測定された被認証者の顔の任意の位置のうち凹凸の大きい少なくとも２つの位置までの第１の距離と第２の距離との測定結果において前記第１の距離と前記第２の距離との間の距離差の有無に基づいて、距離差がある場合になりすましであると判定することを特徴とする請求項１に記載のなりすまし判定装置。
【請求項３】
前記２つの位置までの第１の距離と第２の距離との距離差に関して、なりすましとは判断しないための許容範囲を予め記憶しておく記憶部と、該記憶部の記憶に基づいて実際の測定値である距離差が前記許容範囲内に入っている場合に、なりすましではないと判定することを特徴とする請求項２に記載のなりすまし判定装置。
【請求項４】
前記第１の距離は、被験者の鼻までの距離であり、前記第２の距離は被験者の鼻以外の顔の部分までの距離であることを特徴とする請求項２または３に記載のなりすまし判定装置。
【請求項５】
撮像部により撮像される被認識者の顔に基づいて顔認証を行う顔認証装置と関連付けされるなりすまし判定装置であって、
前記撮像された画像をもとに被認証者の顔の認識を行う顔認識部と、
認識に基づいて、顔の範囲を決定するとともに、該顔の範囲から背景となる範囲を選択し決定する顔・背景範囲決定部と、
認識した画像をもとに、顔までの距離と、背景の位置までの距離と、を測定する距離測定部と、
顔認識結果と距離測定結果とに基づいて、なりすまし判定を行うなりすまし判定部と
を備えることを特徴とするなりすまし判定装置。
【請求項６】
前記なりすまし判定部は、前記距離測定部により測定された顔までの距離と、背景の位置までの距離と、の間の距離差の有無に基づいて、距離差がある場合になりすましであると判定することを特徴とする請求項５に記載のなりすまし判定装置。
【請求項７】
顔認識をした結果をもとに装置からの距離を測定する場合に、測定箇所の数および測定場所を任意に指定することができる操作部を有することを特徴とする請求項１から６までのいずれか１項に記載のなりすまし判定装置。
【請求項８】
前記距離測定部は、電磁波を装置から測定する箇所の数だけ、測定場所に向かって照射し、その反射を観測することにより行われることを特徴とする請求項１から７までのいずれか１項に記載のなりすまし判定装置。
【請求項９】
光学系を含む撮像部を有し、
前記距離測定部は、前記光学系を物理的に動かして、測定する箇所の数だけコントラストの高い合焦位置を求めることにより行われることを特徴とする請求項１から７までのいずれか１項に記載のなりすまし判定装置。
【請求項１０】
前記距離測定部としてカメラのオートフォーカス機構を用いることを特徴とする請求項１から７までのいずれか１項に記載のなりすまし判定装置。
【請求項１１】
請求項１から１０までのいずれか１項に記載のなりすまし判定装置と、
該なりすまし判定装置によるなりすましチェックがされた画像について、撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行う顔認証部と、を有することを特徴とする顔認証装置。
【請求項１２】
認証用の画像を取得するステップと、
取得した画像をもとに顔認識を行うステップと、
おおよその顔の範囲を画定しておき、その顔の範囲内において認識した画面上の第１の位置を参照しながら、装置から被認証者の顔の実際の第１の位置までの距離を計測するステップと、
装置から被認証者の顔の前記第１の距離とは異なる第２の位置までの距離を計測するステップと、
前記第１の距離と前記第２の距離とを比較し、その差分の有無またはその差分が予め規定されている範囲内であるかにより、写真によるなりすましであるか否かを判定するステップと、
撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行うステップと
を有する顔認証方法。
【請求項１３】
認証用の画像を取得するステップと、
取得した画像をもとに顔認識を行うステップと、
おおよその顔の範囲を画定しておき、その顔の範囲内において認識した画面上の第１の位置を参照しながら、装置から被認証者の顔の実際の第１の位置までの距離を計測するステップと、
装置から被認証者の顔の範囲とは異なる背景部分までの第２の位置までの距離を計測するステップと、
前記第１の距離と前記第２の距離とを比較し、その差分の有無またはその差分が予め規定されている範囲内であるかにより、写真によるなりすましであるか否かを判定するステップと、
撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行うステップと
を有する顔認証方法。
【請求項１４】
請求項１２または１３に記載のステップをコンピュータに実行させるためのプログラム。
【請求項１】
撮像部により撮像される被認識者の顔に基づいて顔認証を行う顔認証装置と関連付けされるなりすまし判定装置であって、
前記撮像された画像をもとに被認証者の顔の認識を行う顔認識部と、
被認証者の顔の任意の位置までの距離を測定する距離測定部と、
顔認識結果と距離測定結果とに基づいて、なりすまし判定を行うなりすまし判定部と
を備えることを特徴とするなりすまし判定装置。
【請求項２】
前記なりすまし判定部は、前記距離測定部により測定された被認証者の顔の任意の位置のうち凹凸の大きい少なくとも２つの位置までの第１の距離と第２の距離との測定結果において前記第１の距離と前記第２の距離との間の距離差の有無に基づいて、距離差がある場合になりすましであると判定することを特徴とする請求項１に記載のなりすまし判定装置。
【請求項３】
前記２つの位置までの第１の距離と第２の距離との距離差に関して、なりすましとは判断しないための許容範囲を予め記憶しておく記憶部と、該記憶部の記憶に基づいて実際の測定値である距離差が前記許容範囲内に入っている場合に、なりすましではないと判定することを特徴とする請求項２に記載のなりすまし判定装置。
【請求項４】
前記第１の距離は、被験者の鼻までの距離であり、前記第２の距離は被験者の鼻以外の顔の部分までの距離であることを特徴とする請求項２または３に記載のなりすまし判定装置。
【請求項５】
撮像部により撮像される被認識者の顔に基づいて顔認証を行う顔認証装置と関連付けされるなりすまし判定装置であって、
前記撮像された画像をもとに被認証者の顔の認識を行う顔認識部と、
認識に基づいて、顔の範囲を決定するとともに、該顔の範囲から背景となる範囲を選択し決定する顔・背景範囲決定部と、
認識した画像をもとに、顔までの距離と、背景の位置までの距離と、を測定する距離測定部と、
顔認識結果と距離測定結果とに基づいて、なりすまし判定を行うなりすまし判定部と
を備えることを特徴とするなりすまし判定装置。
【請求項６】
前記なりすまし判定部は、前記距離測定部により測定された顔までの距離と、背景の位置までの距離と、の間の距離差の有無に基づいて、距離差がある場合になりすましであると判定することを特徴とする請求項５に記載のなりすまし判定装置。
【請求項７】
顔認識をした結果をもとに装置からの距離を測定する場合に、測定箇所の数および測定場所を任意に指定することができる操作部を有することを特徴とする請求項１から６までのいずれか１項に記載のなりすまし判定装置。
【請求項８】
前記距離測定部は、電磁波を装置から測定する箇所の数だけ、測定場所に向かって照射し、その反射を観測することにより行われることを特徴とする請求項１から７までのいずれか１項に記載のなりすまし判定装置。
【請求項９】
光学系を含む撮像部を有し、
前記距離測定部は、前記光学系を物理的に動かして、測定する箇所の数だけコントラストの高い合焦位置を求めることにより行われることを特徴とする請求項１から７までのいずれか１項に記載のなりすまし判定装置。
【請求項１０】
前記距離測定部としてカメラのオートフォーカス機構を用いることを特徴とする請求項１から７までのいずれか１項に記載のなりすまし判定装置。
【請求項１１】
請求項１から１０までのいずれか１項に記載のなりすまし判定装置と、
該なりすまし判定装置によるなりすましチェックがされた画像について、撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行う顔認証部と、を有することを特徴とする顔認証装置。
【請求項１２】
認証用の画像を取得するステップと、
取得した画像をもとに顔認識を行うステップと、
おおよその顔の範囲を画定しておき、その顔の範囲内において認識した画面上の第１の位置を参照しながら、装置から被認証者の顔の実際の第１の位置までの距離を計測するステップと、
装置から被認証者の顔の前記第１の距離とは異なる第２の位置までの距離を計測するステップと、
前記第１の距離と前記第２の距離とを比較し、その差分の有無またはその差分が予め規定されている範囲内であるかにより、写真によるなりすましであるか否かを判定するステップと、
撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行うステップと
を有する顔認証方法。
【請求項１３】
認証用の画像を取得するステップと、
取得した画像をもとに顔認識を行うステップと、
おおよその顔の範囲を画定しておき、その顔の範囲内において認識した画面上の第１の位置を参照しながら、装置から被認証者の顔の実際の第１の位置までの距離を計測するステップと、
装置から被認証者の顔の範囲とは異なる背景部分までの第２の位置までの距離を計測するステップと、
前記第１の距離と前記第２の距離とを比較し、その差分の有無またはその差分が予め規定されている範囲内であるかにより、写真によるなりすましであるか否かを判定するステップと、
撮影された顔と、あらかじめ記憶されている顔と、を比較して、同じであるかどうかにより顔認証を行うステップと
を有する顔認証方法。
【請求項１４】
請求項１２または１３に記載のステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−２４１４０２（Ｐ２００７−２４１４０２Ａ）
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願番号】特願２００６−５９４０３（Ｐ２００６−５９４０３）
【出願日】平成１８年３月６日（２００６．３．６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願日】平成１８年３月６日（２００６．３．６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]