立体性認証方法、立体性認証装置および立体性認証プログラム
【課題】顔認証における写真などによる不正認証を防止する立体性認証方法、立体性認証装置および立体性認証プログラムを提供する。
【解決手段】撮像手段１０は、姿勢の異なる複数の顔画像Ｓ１０ａ，Ｓ１０ｂを撮像する。特徴抽出手段２０は、顔画像Ｓ１０ａ，Ｓ１０ｂのそれぞれから、顔の中の特徴点を抽出する。抽出する特徴点は、任意の３つの特徴点（平面構成点）と、実物の顔においてその３点で構成される平面外の点（立体性評価点）である。立体量計算手段３０は、特徴抽出手段２０で抽出された各画像の特徴点座標Ｓ２０ａ，Ｓ２０ｂから立体性評価点の立体性評価量Ｓ３０を計算する。立体性判定手段４０は、立体量計算手段３０で計算された立体性評価量Ｓ３０と、あらかじめ与えられた閾値とにもとづいて、立体性評価点の立体性を判定することにより、顔画像が、現実の立体的な顔が被写体として撮像された画像であるか否かを判断する。
【解決手段】撮像手段１０は、姿勢の異なる複数の顔画像Ｓ１０ａ，Ｓ１０ｂを撮像する。特徴抽出手段２０は、顔画像Ｓ１０ａ，Ｓ１０ｂのそれぞれから、顔の中の特徴点を抽出する。抽出する特徴点は、任意の３つの特徴点（平面構成点）と、実物の顔においてその３点で構成される平面外の点（立体性評価点）である。立体量計算手段３０は、特徴抽出手段２０で抽出された各画像の特徴点座標Ｓ２０ａ，Ｓ２０ｂから立体性評価点の立体性評価量Ｓ３０を計算する。立体性判定手段４０は、立体量計算手段３０で計算された立体性評価量Ｓ３０と、あらかじめ与えられた閾値とにもとづいて、立体性評価点の立体性を判定することにより、顔画像が、現実の立体的な顔が被写体として撮像された画像であるか否かを判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像による個人認証時の不正認証を検出する立体性認証方法、立体性認証装置および立体性認証プログラムに関する。
【背景技術】
【０００２】
顔画像による個人認証時の問題として、クラッキングによる不正認証がある。クラッキングによる不正認証とは、本人以外の人物がなんらかの手段で本人に「なりすまし」て認証システムを通過することである。具体的な方法としては、実行の容易さから、本人が撮影された写真を用いることが多い。写真を利用したなりすましは、紙のような媒体に印刷して用いるか、モニタのような表示装置に映して用いることが考えられる。
【０００３】
表示物上の顔は３次元世界では平面である。すなわち、現実の世界である３次元世界において、紙やモニタなどに表示された顔は２次元の情報（平面）である。また、現実の世界では、動作もあるのでこれを利用することが考えられる。特許文献１には、顔の部分領域の動きで判定する方法の一つが記載されている。特許文献１では、目や口の閉開に着目している。目や口は顔の特徴の中でも見つけやすいものであり、動きが生じやすい部分であるのでこの方法は一つの対処策である。
【０００４】
他のアプローチとして、表示物上の顔は３次元世界では平面であるのに対し、実物の顔は立体的であることを利用する方法がある。
【０００５】
特許文献２には、この方針による方法として、光を照射する方法、ステレオ視による方法、複数の特定動作時の顔画像を登録する方法が記載されている。また、特許文献３には、より直接的に距離測定用センサを用いる方法があげられている。
【０００６】
光を照射する方法では、顔が３次元形状をもつことから生じる陰影を利用する。ステレオ視による方法は、位置関係が既知の複数のカメラによって撮影された画像のそれぞれを用いて、もしくは位置制御がされた１台のカメラによって異なる視点で撮影された複数画像を用いて、三角測量原理により３次元形状を計測する方法である。
【０００７】
複数の特定動作時の顔画像を登録する方法では、登録時に複数姿勢の画像を登録しておき、認証時に正面画像とある一定以上の姿勢変化画像を用いれば、写真などの平面物によるなりすましを排除するのは容易である。距離測定用センサには、パターン光を照射してその画像で計測するものなどがあり、原理的には光を照射する方法とステレオ視による方法の組み合わせに近い。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−２５１６１４号公報（段落００４５−００５５）
【特許文献２】特開２００３−１７８３０６号公報（段落００１５，００３９，００５５）
【特許文献３】特開２００５−１３５２７１号公報（段落００２２−００２６）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１に記載された方式では、次のような問題がある。瞼の動作は人、もしくは撮像画像によっては小さくて見つけづらいこともある。目と口の動作は人の顔の表情も大きく変えるため、周囲の目が気になるところでは行いにくい心理的な抵抗もあり、携帯端末のようなさまざまな使用場所が想定されるものには実装しづらい。
【００１０】
また、特許文献２に記載された方法である光を照射する方法は、照明条件に影響されやすいため使用場所が限定され、性能の安定度も期待しづらい。ステレオ視による方法は、ステレオ視による形状計測の問題がそのままあてはまり、複数の位置関係が定まったカメラか、１台のカメラの位置を制御する装置が必要になり、使用場所や実装条件が制限される。
【００１１】
特許文献３に記載された方法である複数の特定動作時の顔画像を登録する方法では、複数の特定動作時の登録が面倒であり、正面以外の顔認証は困難である問題もある。距離測定用センサを用いる方法は確実であるが、コストがかかり、携帯端末など小さなものへの実装は難しい。
【００１２】
本発明の目的の一つは、顔認証における写真などによる不正認証を防止する立体性認証方法、立体性認証装置および立体性認証プログラムを提供することにある。
【００１３】
本発明の目的の一つは、携帯端末などの小型の装置での顔認証における写真などによる不正認証を防止する立体性認証方法、立体性認証装置および立体性認証プログラムを提供することにある。
【００１４】
本発明の目的の一つは、単一のカメラのみで顔認証における写真などによる不正認証を防止する立体性認証方法、立体性認証装置および立体性認証プログラムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明による立体性認証方法は、撮影対象物の立体性を判断する立体性認証方法であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成されるその平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の最小特異値を立体性評価量として算出し、立体性判定ステップで、最小特異値の絶対値が閾値以上である場合に、立体性評価点が平面上にないと判定することを特徴とする。
【００１６】
そのような構成によれば、座標の差を要素とする行列に基づいて容易に最小特異値を算出し、立体性を判断することができる。
【００１７】
本発明による他の立体性認証方法は、撮影対象物の立体性を判断する立体性認証方法であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、前記特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、前記立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、前記立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の最小固有値を立体性評価量として算出し、前記立体性判定ステップで、前記最小固有値が閾値以上である場合に、前記立体性評価点が平面上にないと判定することを特徴とする。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、容易に最小固有値を算出し、立体性を判断することができる。
【００１８】
本発明によるさらに他の立体性認証方法は、撮影対象物の立体性を判断する立体性認証方法であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、前記特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、前記立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、前記立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ立体性評価量として算出し、前記立体性判定ステップで、前記２つの立体性評価量において符号が変化しない場合に、前記立体性評価点が平面上にないと判定することを特徴とする。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、少ない計算量で立体性評価量を算出することができる。
【００１９】
本発明による立体性認証装置は、撮影対象物の立体性を判断する立体性認証装置であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成されるその平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、立体量計算手段が、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の最小特異値を立体性評価量として算出し、立体性判定手段が、最小特異値の絶対値が閾値以上である場合に、立体性評価点が平面上にないと判定することを特徴とする。
【００２０】
そのような構成によれば、座標の差を要素とする行列に基づいて容易に最小特異値を算出し、立体性を判断することができる。
【００２１】
本発明による他の立体性認証装置は、撮影対象物の立体性を判断する立体性認証装置であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、前記特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、前記立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、前記立体量計算手段が、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の最小固有値を立体性評価量として算出し、前記立体性判定手段が、前記最小固有値が閾値以上である場合に、前記立体性評価点が平面上にないと判定することを特徴とする。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、容易に最小固有値を算出し、立体性を判断することができる。
【００２２】
本発明によるさらに他の立体性認証装置は、撮影対象物の立体性を判断する立体性認証装置であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、前記特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、前記立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、前記立体量計算手段が、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ立体性評価量として算出し、前記立体性判定手段が、前記２つの立体性評価量において符号が変化しない場合に、前記立体性評価点が平面上にないと判定することを特徴とする。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、少ない計算量で立体性評価量を算出することができる。
【発明の効果】
【００２３】
本発明の第１の効果は、顔画像による個人認証時に写真による不正認証を検出、防止する点にある。その理由は、認証時に撮影画像中の顔の立体性を計算するからである。
【００２４】
本発明の第２の効果は、携帯端末など小型の装置上で顔画像による個人認証時に写真による不正認証を検出、防止する点にある。その理由は、携帯端末などに付属の小型のカメラで撮影した顔画像のみで不正認証を検出、防止するからである。
【００２５】
本発明の第３の効果は、周囲の目が気になる場所でも写真による不正認証を検出、防止した顔画像認証が可能な点にある。その理由は、認証時に撮影画像中の顔の立体性を計算し、目や口のような顔の表情が変わるような顔動作を必要としないことにある。
【００２６】
本発明の第４の効果は、低コストで顔画像による個人認証時に写真による不正認証を検出、防止する点にある。その理由は、単一のカメラで実現可能で、ステレオカメラやカメラ制御装置、光照射器、距離センサなどを必要としないからである。
【００２７】
本発明の第５の効果は、顔認証時の計算処理を軽減しつつ個人認証時に写真による不正認証を検出、防止する点にある。その理由は、登録画像は正面顔単一でよく、顔認証が困難になる横向き顔画像を用いる必要がないからである。さらに、目や口の動作のような人によっては検出しづらい動作を検出する必要も無い。
【図面の簡単な説明】
【００２８】
【図１】本発明による立体性認証装置の第１の実施の形態を示すブロック図である。
【図２】特徴点抽出手段が抽出する特徴点の例を示す説明図である。
【図３】ピンホールカメラモデルの例を説明するための説明図である。
【図４】特性方程式ｆ（ｘ）の例を示す説明図である。
【図５】本発明による立体性認証装置の第２の実施の形態を示すブロック図である。
【図６】特徴点抽出装置の例を示す説明図である。
【図７】立体量計算装置の例を示す説明図である。
【図８】第３の実施の形態の動作を示すフローチャートである。
【発明を実施するための形態】
【００２９】
実施の形態１．
以下、本発明の第１の実施の形態を図面を参照して説明する。図１は、本発明による立体性認証装置の第１の実施の形態を示すブロック図である。
【００３０】
図１に示す立体性認証装置は、複数の姿勢の顔画像群Ｓ１０ａ，Ｓ１０ｂを撮像、蓄積する撮像手段１０と、顔画像Ｓ１０ａ，Ｓ１０ｂのそれぞれにおいて画像間で対応づけられた特定の特徴点Ｓ２０ａ，Ｓ２０ｂを取得する特徴点抽出手段２０と、それらの特徴点座標値Ｓ２０ａ，Ｓ２０ｂから平面外にある特徴点の立体性評価量Ｓ３０を計算する立体量計算手段３０と、その立体性評価量Ｓ３０から、写真など人工物による不正認証か否かを判定する立体性判定手段４０とを備える。
【００３１】
撮像手段１０は、姿勢の異なる複数の顔画像Ｓ１０ａ，Ｓ１０ｂを撮像して蓄積する。すなわち、撮像手段１０は、撮像時の視点や構図（姿勢）の異なる顔画像を複数撮像する。撮像手段１０は、通常のカメラで実現される。携帯端末に付属の小型のものでも可能である。カメラは静止画用のスチルカメラ、動画用のビデオカメラでも良い。撮像手段１０が動画用のビデオカメラである場合には、撮像手段１０は、顔画像として、撮像した動画像から顔姿勢の異なるフレームを複数切り出す必要がある。
【００３２】
特徴点抽出手段２０は、撮像手段１０で撮像された複数の姿勢の顔画像Ｓ１０ａ，Ｓ１０ｂそれぞれから、顔の中の特徴点を抽出する。特徴点の抽出は、手動でもよいが、応用を考えると特徴抽出フィルタなどを用いて自動的に抽出するほうが望ましい。
【００３３】
本発明において、特徴点は、ステレオ視における対応点として用いられるので、正確な特徴位置の取得よりも、画像間での対応が重要である。抽出する特徴点としては、任意の３つの特徴点（以下、平面構成点と表記する。）と、実物の顔においてその３点で構成される平面外の点（以下、立体性評価点と表記する。）が１点以上必要である。すなわち、立体性評価点は、３次元世界における実物の顔上の点に対応する点であって、３次元世界において抽出された３つの特徴点で構成される平面上にない点に対応する点である。
【００３４】
理論上は、任意の３つの特徴点および立体性評価点の組み合わせは無限にあるが、特徴抽出フィルタなどを用いて自動的に特徴点抽出する場合は、抽出対象の点が限られてくる。図２は、特徴点抽出手段２０が抽出する特徴点の例を示す説明図である。図２に例示するように、自動抽出で容易な特徴点候補として、平面構成点としては、例えば、右目の中心、左目の中心、唇の右端および唇の左端の計４点のうちのいずれか３点があげられる。立体性評価点としては、例えば、鼻の頂点、鼻の下、唇上端中央などがあげられる。
【００３５】
実物の人の顔であれば、前者で構成される平面に対して、後者の立体性が認められる。すなわち、顔画像Ｓ１０ａ，Ｓ１０ｂが、顔写真が被写体として撮像された画像ではなく、現実の立体的な顔が被写体として撮像された画像であれば、特徴点抽出手段２０によって抽出される立体性評価点は、３つの平面構成点で構成される平面上の点ではないと算出される。
【００３６】
立体量計算手段３０は、特徴点抽出手段２０で抽出された各画像の特徴点座標Ｓ２０ａ，Ｓ２０ｂから立体性評価点の立体性評価量Ｓ３０を計算する。図２に示すように、平面構成点として、右目中心（Ｐ０）、左目中心（Ｐ１）、唇右端（Ｐ２）を用い、立体性評価点Ｐとして、上の３点（例えば、鼻の頂点、鼻の下、唇上端中央）のいずれかを選択し、顔の姿勢１，２を撮影した画像（画像１，２とする）を用いる場合を例示して説明する。
【００３７】
また、以下の説明は、カメラモデル（透視投影モデル）として、ステレオ視で一般的なピンホールカメラモデルにより近似できる場合を例示して行う。図３は、ピンホールカメラモデルの例を説明するための説明図である。ピンホールカメラモデルは、ステレオ視で一般的なカメラモデルであって、３次元空間における撮像対象が２次元の画像へ投影される場合において、撮像対象と画像への結像との位置関係を単純に理想化したモデルである。ピンホールカメラは、ピンホール（ピンで開けられたような小さな穴）を通して入射する光のみが撮像面に到達するカメラである。ピンホールカメラにおいては、ピンホールを焦点と考えることができる。なお、ピンホールカメラでは、撮像面に投影される像の上下が逆になることから、図３に示すように、撮像面をピンホールと撮像対象との間に移動したモデルを使用する。
【００３８】
図３に示すように、ピンホールを原点とする３次元座標系（Ｘ，Ｙ，Ｚ）を取るとともに、撮像面上に２次元の画像座標系（ｕ，ｖ）を取る。平面構成点Ｐｉ（ｉ＝０，１，２）の３次元空間上の座標をＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）とし、立体性評価点Ｐの３次元空間上の座標をＰ（Ｘ，Ｙ，Ｚ）とする。
【００３９】
また、Ｐｉ（ｉ＝０，１，２）の姿勢ｊ（ｊ＝１，２）の画像中での座標を（ｕｉｊ，ｖｉｊ）、Ｐの姿勢ｊ（ｊ＝１，２）の画像中での座標を（ｕｊ，ｖｊ）とする。すなわち、３次元座標系におけるＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）が、画像座標系における（ｕｉｊ，ｖｉｊ）に写像されるとする。なお、図３には、姿勢ｊ（ｊ＝１，２）の撮像面を例示し、Ｐ（Ｘ，Ｙ，Ｚ）が（ｕｊ，ｖｊ）に写像され、Ｐ０（Ｘ０，Ｙ０，Ｚ０）が（ｕ０ｊ，ｖ０ｊ）に写像される場合を例示する。
【００４０】
カメラをピンホールカメラと仮定したときの焦点距離をｆとしたとき、以下の式１が成り立つ。なお、Ｔは転置を意味する。また、焦点距離ｆは、ピンホールから撮像面までの距離である。
【００４１】
【数１】
【００４２】
なお、式（１）において、ξｉｊ＝Ｚｉｊ／ｆであり、式（２）において、ξｊ＝Ｚｊ／ｆである。式（１），（２）に示す変換は、透視投影（透視変換）と呼ばれる。ξ１ｊ，ξ２ｊは、透視投影における倍率値である。
【００４３】
ここで、立体性評価点Ｐが、平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にあるとき、Ａ，Ｂを実数とすると
【００４４】
【数２】
【００４５】
なる線形従属な関係が成りたつ。そこで、式（１），（２）を式（３）に代入し、Ｓ１ｊ＝ξ１ｊ／ξ０ｊ，Ｓ２ｊ＝ξ２ｊ／ξ０ｊ，Ｓｊ＝ξｊ／ξ０ｊとすると、以下の式（４）が得られる。
【００４６】
【数３】
【００４７】
式（４）の３行目を展開すると、
【００４８】
【数４】
【００４９】
が成り立つので、Ｃ＝１−Ａ−Ｂとして実数Ｃを定義し、式（５）を式（４）の１，２行目に代入して整理すると、式（４）の１，２行目について、
【００５０】
【数５】
【００５１】
が成立する。姿勢１，２（ｊ＝１，２）から計算される式（６）をまとめると、以下の式（７）が得られる。
【００５２】
【数６】
【００５３】
式（７）中の行列をＤとして、式（８）に示す。
【００５４】
【数７】
【００５５】
式（７）中のベクトル［ＡＳ１ｊ，ＢＳ２ｊ，Ｃ］Ｔは、Ｃ＝１−Ａ−Ｂから０ベクトルにはなりえないので、式（８）に示す行列Ｄのランク（階数）は次の理由から２になる。
【００５６】
行列Ｄは３次元空間Ｖに作用する写像である。点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にある場合、ベクトル［ＡＳ１ｊ，ＢＳ２ｊ，Ｃ］Ｔの第３次元Ｃは１−Ａ−Ｂであることから、実数Ａ，Ｂに依存する１次元の拘束をもち、その結果、行列Ｄの核であるｋｅｒ（Ｄ）の次元は、ｄｉｍ（ｋｅｒ（Ｄ））＝１になる。また、ｄｉｍＶ＝３である。次元定理
【００５７】
ｄｉｍＶ＝ｄｉｍ（ｋｅｒ（Ｄ））＋ｄｉｍ（Ｄ（Ｖ）） 式（９）
【００５８】
を用いると、ｄｉｍ（Ｄ（Ｖ））つまり行列Ｄのランクは２になる。
【００５９】
次に、立体性評価点Ｐが、平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にない場合における行列Ｄのランクを求める。行列Ｄのランクから点Ｐが平面上にない場合も判定でき、この場合は、ベクトル［ＡＳ１ｊ，ＢＳ２ｊ，Ｃ］Ｔの第３次元Ｃの拘束はないので、ｄｉｍ（ｋｅｒ（Ｄ））＝０になり、式（９）に示す次元定理から、ｄｉｍ（Ｄ（Ｖ））つまり行列Ｄのランクは３になる。
【００６０】
以上に説明したように、立体性評価点の立体性を評価する立体性評価量Ｓ３０としては、行列Ｄのランクを示す量を採用すればよい。行列Ｄのランクを示す量の候補としては、例えば、行列Ｄの最小特異値、行列ＤＴＤの最小固有値（Ｄの最小特異値の２乗に一致）、行列ＤＴＤの特性多項式の０付近の値の変動などがあげられる。
【００６１】
行列Ｄの要素を見ると、通常Ｓ１２／Ｓ１１，Ｓ２２／Ｓ２１は未知である。しかしながら、ξ１ｊ，ξ２ｊは透視投影による倍率値であり、Ｓ１ｊ＝ξ１ｊ／ξ０ｊ，Ｓ２ｊ＝ξ２ｊ／ξ０ｊは平面構成点間のその値の比である。すなわち、Ｓ１ｊはξ１ｊとξ０ｊとの比であって、Ｓ２ｊはξ２ｊとξ０ｊとの比である。また、ξ１ｊ，ξ２ｊは透視投影による倍率値であることから、Ｓ１ｊはＺ１とＺ０との比であり、Ｓ２ｊはＺ２とＺ０との比である。したがって、未知量Ｓ１２／Ｓ１１，Ｓ２２／Ｓ２１は、顔の平面構成点とカメラの撮像面の関係においては１付近の値であり、上にあげた鼻の頂点、鼻の下、唇上端中央程度の立体性が認められる立体性評価点を用いる限りは、１と見なして差し支えない。
【００６２】
これにより、行列Ｄの最小特異値、行列ＤＴＤの最小固有値（Ｄの最小特異値の２乗に一致）を立体性評価量Ｓ３０に用いる場合は、単純な座標間の差を要素にもつ行列Ｄの特異値、固有値計算により求めることが可能になる。
【００６３】
行列ＤＴＤの特性多項式の０付近の値を立体性評価量Ｓ３０に用いる場合には、計算を整数演算だけで行うことが可能であるため、計算量を削減したい場合に効果がある。
【００６４】
以下、立体性評価量Ｓ３０として、行列ＤＴＤの最小固有値および行列ＤＴＤの特性多項式の０付近の値を用いることができることについて説明する。行列ＤＴＤの特性多項式をｆ（ｘ）とし、ｆ（ｘ）＝０の解をλとする。λは、行列ＤＴＤの固有値である。なお、行列ＤＴＤの特性多項式の０付近の値とは、ｘ＝０の付近のｆ（ｘ）の値である。
【００６５】
図４は、行列ＤＴＤの特性多項式ｆ（ｘ）の例を示す説明図である。図４には、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にある場合のｆ（ｘ）の値が実線で表され、立体性評価点Ｐが鼻の下や上唇上端中央の点である場合のｆ（ｘ）の値が破線で表され、立体性評価点Ｐが鼻の上の点である場合のｆ（ｘ）の値が一点鎖線で表されている。
【００６６】
行列ＤＴＤは、半正値対象行列であるため、すべての固有値は負の値を取らない。したがって、行列ＤＴＤの最小固有値は０以上の値を取ることから、ｆ（ｘ）は、例えば図４に示すような値を取る。ここで、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にある場合における行列ＤＴＤの最小固有値をλ１とし、立体性評価点Ｐが鼻の下や上唇上端中央の点である場合における行列ＤＴＤの最小固有値をλ２とし、立体性評価点Ｐが鼻の上の点である場合における行列ＤＴＤの最小固有値をλ３とする。λ１、λ２、λ３は、それぞれ、図４においてｆ（ｘ）が横軸（ｘ軸）と交わる点のｘの値である。
【００６７】
行列ＤＴＤの固有値、すなわちｆ（ｘ）＝０の解であるλは、Ｄの特異値の２乗に一致することを考慮すると、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にあるとき、最小固有値λ１は０付近の値になる。また、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面外にあるとき、最小固有値λ２，λ３は、ある程度０より大きい値になる。すなわち、行列ＤＴＤの最小固有値にもとづいて、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にあるか否かを判定することができる。
【００６８】
また、固有値を通るとき（ｘ＝λのとき）、関数値が０になる特性多項式ｆ（ｘ）は、図４に示すように、立体性評価点Ｐが平面内外のいずれにあるかで、ｘ＝０付近の挙動が変わる。すなわち、立体性評価点Ｐが平面内にあるか否かにより、ｘ＝０の近傍において、ｆ（ｘ）の符号が変化するか否かが異なる。そこで、ｘ＝０付近の関数値ｆ（−ε）とｆ（ε）（εは小さい正整数）を計算すれば、整数演算のみで実行可能である。立体性の判定は、これらの値が送られる立体性判定手段４０で両者の値の符合変化で行われる。
【００６９】
すなわち、εの値を適切に取ることにより、ｆ（ε）が正であってｆ（−ε）が負の値である場合には、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にあると判定することができる。また、ｆ（ε）およびｆ（−ε）がともに負の値である場合には、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にないと判定することができる。
【００７０】
立体性判定手段４０は、立体量計算手段３０で計算された立体性評価量Ｓ３０と、あらかじめ与えられた閾値とにもとづいて、立体性評価点の立体性、つまり写真などによる人工物上の顔か実物の顔かを判定する。
【００７１】
判定の方法は、立体量計算手段３０で計算された立体性評価量Ｓ３０によって異なる。立体性評価量Ｓ３０が、Ｄの最小特異値の場合は、その値の絶対値が一定の値（閾値）未満であれば平面的とみなし人工物であると判定し、絶対値が一定の値以上であれば立体的とみなし実物と判定する。
【００７２】
立体性評価量Ｓ３０が、行列ＤＴＤの最小固有値（Ｄの最小特異値の２乗に一致）の場合は、その値が一定の値未満であれば平面的とみなし人工物であると判定し、一定の値以上であれば立体的とみなし実物と判定する。
【００７３】
図４に示す例では、閾値をεとした場合に、例えば、行列ＤＴＤの最小固有値がλ１の値を取れば、λ１はε未満の値であるので、立体性評価点Ｐは平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にあると判断される。したがって、顔画像は、顔写真が被写体として撮像された画像であると判断される。また、例えば、行列ＤＴＤの最小固有値がλ２の値を取れば、λ２はε以上の値であるので、立体性評価点Ｐは平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にないと判断される。したがって、顔画像は、現実の立体的な顔が被写体として撮像された画像であると判断される。
【００７４】
立体性評価量Ｓ３０が、行列ＤＴＤの特性多項式の０付近の値の変動の場合は、立体性の有無によって、特性方程式ｆ（ｘ）は、図４に示すように異なる値を取る。したがって、ｘ＝０付近の関数値ｆ（−ε）とｆ（ε）の符号の変化があれば平面的とみなし人工物であると判定し、なければ立体的とみなし実物と判定する。
【００７５】
図４に示す例では、例えば、行列ＤＴＤの特性多項式ｆ（ｘ）のｘ＝０付近の値であるｆ（−ε）が負の値を取り、かつｆ（ε）が正の値を取れば、立体性評価点Ｐは平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にあると判断される。したがって、顔画像は、顔写真が被写体として撮像された画像であると判断される。また、例えば、ｆ（−ε）が負の値を取り、かつｆ（ε）も負の値を取れば、立体性評価点Ｐは平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にないと判断される。したがって、顔画像は、現実の立体的な顔が被写体として撮像された画像であると判断される。
【００７６】
以上に説明したように、第１の実施の形態によれば、撮像画像の被写体の立体性を算出することにより、被写体が顔写真であるか否かを判定することができるため、顔写真を用いた不正認証を検出することができる。
【００７７】
実施の形態２．
次に、本発明の第２の実施の形態を図面を参照して説明する。第２の実施の形態では、第１の実施の形態の各手段が立体性認証方法における各方法を実施する立体性認証装置について説明する。図５は、本発明による立体性認証装置の第２の実施の形態を示すブロック図である。図５に示す立体性認証装置は、撮像装置１００と、特徴点抽出装置２００と、立体量計算装置３００と、立体性判定装置４００とを備える。
【００７８】
撮像装置１００は、普及型のデジタルカメラで良く、静止画用のスチルカメラ、動画用のビデオカメラでも良い。スチルカメラであれば、顔姿勢が異なる時に２回以上撮像し、２つ以上の画像を特徴点抽出装置２００に送る。ビデオカメラであれば、顔姿勢動作時の動画をそのまま特徴点抽出装置２００に送る。
【００７９】
図６は、特徴点抽出装置２００の例を示す説明図である。特徴点抽出装置２００は、図６に示すように、撮像装置１００で撮像された画像データを蓄積するメモリやディスクなどのストレージ装置と、画像中の特徴点抽出の計算を行うＣＰＵなどの演算装置とで実現可能である。撮像装置１００がビデオカメラで構成されている場合は、動画中で顔姿勢が異なる２つ以上のフレームを、ＣＰＵによる演算により静止画像として切り出す。顔姿勢が異なる２つ以上の静止画像に対して、第１の実施の形態の特徴点抽出手段２０が特徴点を抽出する方法により、ＣＰＵが特徴点座標抽出のための演算を行った後、特徴点座標データが立体量計算装置３００に送られる。
【００８０】
図７は、立体量計算装置３００の例を示す説明図である。立体量計算装置３００は、図７に示すように、特徴点抽出装置２００で抽出された特徴点座標データを蓄積するメモリやディスクなどのストレージ装置と、立体性評価量を計算するＣＰＵなどの演算装置で実現可能である。２つの静止画像から抽出された特徴点座標データに対して、第１の実施の形態の立体量計算手段３０が立体性評価量を算出する方法により、ＣＰＵが立体性評価量算出のための演算を行った後、立体性評価量を示すデータが立体性判定装置４００に送られる。
【００８１】
立体性判定装置４００は、立体量計算装置３００で計算された立体性評価量が、あらかじめ与えられた閾値より上か下かを判定する単純なＬＳＩなどのロジック回路で実現可能である。第１の実施の形態における立体性評価量Ｓ３０として、０付近の関数値ｆ（−ε）とｆ（ε）を用いる場合は閾値を必要とせず、その場合、ロジック回路は符号の変化の有無で判定する。
【００８２】
実施の形態３．
次に、本発明の第３の実施の形態を図面を参照して説明する。第３の発明の実施の形態では、第１の実施の形態の特徴点抽出方法を計算機上で実行可能なプログラムとして構成し、そのプログラムを計算機で読み取り自在な情報記憶媒体に格納して、その計算機上において図８で示される手順で実行する。
【００８３】
図８は、第３の実施の形態の動作を示すフローチャートである。最初に、姿勢の異なる顔画像を撮影する（ステップＳ１００）。図６に示す手順では、最小限の２姿勢を撮影する場合として、顔姿勢を変えて（ステップＳ１０１）、２回撮像したか否かを判定し（ステップＳ１０２）、２回撮像した場合には（はい）、ステップＳ２００に移行し、２回撮像していない場合には（いいえ）、ステップＳ１００に移行する場合を例示しているが、これより多くても問題はない。
【００８４】
次に、ステップＳ２００において、２つ以上の顔画像のそれぞれから、第１の実施の形態の特徴点抽出手段２０による方法で特徴点の座標値を抽出する。特徴点の座標値が抽出されると、それらを用いて第１の実施の形態の立体量計算手段３０による方法で立体性評価量を計算する（ステップＳ３００）。最後に、その立体性評価量とあらかじめ与えた閾値との大小関係等により、実物の顔か写真などの人工物によるなりすましの顔かを判定する（ステップＳ４００）。第１の実施の形態における立体性評価量Ｓ３０として、０付近の関数値ｆ（−ε）とｆ（ε）を用いる場合は閾値を必要とせず、その場合、ロジック回路は符号の変化の有無で判定する。
【００８５】
なお、第１から第３の実施の形態では、顔画像の立体性の認証について説明したが、同様の実施の形態は、監視などの目的で一般シーンの写真と実際のシーンの判別に対しても行うことが可能である。
【産業上の利用可能性】
【００８６】
本発明によれば、顔画像による個人認証時の不正認証を検出する場合に適用することができる。例えば、無人の入退場システムなどでの顔画像認証、携帯端末など小型機器での顔画像認証などでの利用が可能である。
【符号の説明】
【００８７】
１０ 撮像手段
２０ 特徴点抽出手段
３０ 立体量計算手段
４０ 立体性判定手段
【技術分野】
【０００１】
本発明は、顔画像による個人認証時の不正認証を検出する立体性認証方法、立体性認証装置および立体性認証プログラムに関する。
【背景技術】
【０００２】
顔画像による個人認証時の問題として、クラッキングによる不正認証がある。クラッキングによる不正認証とは、本人以外の人物がなんらかの手段で本人に「なりすまし」て認証システムを通過することである。具体的な方法としては、実行の容易さから、本人が撮影された写真を用いることが多い。写真を利用したなりすましは、紙のような媒体に印刷して用いるか、モニタのような表示装置に映して用いることが考えられる。
【０００３】
表示物上の顔は３次元世界では平面である。すなわち、現実の世界である３次元世界において、紙やモニタなどに表示された顔は２次元の情報（平面）である。また、現実の世界では、動作もあるのでこれを利用することが考えられる。特許文献１には、顔の部分領域の動きで判定する方法の一つが記載されている。特許文献１では、目や口の閉開に着目している。目や口は顔の特徴の中でも見つけやすいものであり、動きが生じやすい部分であるのでこの方法は一つの対処策である。
【０００４】
他のアプローチとして、表示物上の顔は３次元世界では平面であるのに対し、実物の顔は立体的であることを利用する方法がある。
【０００５】
特許文献２には、この方針による方法として、光を照射する方法、ステレオ視による方法、複数の特定動作時の顔画像を登録する方法が記載されている。また、特許文献３には、より直接的に距離測定用センサを用いる方法があげられている。
【０００６】
光を照射する方法では、顔が３次元形状をもつことから生じる陰影を利用する。ステレオ視による方法は、位置関係が既知の複数のカメラによって撮影された画像のそれぞれを用いて、もしくは位置制御がされた１台のカメラによって異なる視点で撮影された複数画像を用いて、三角測量原理により３次元形状を計測する方法である。
【０００７】
複数の特定動作時の顔画像を登録する方法では、登録時に複数姿勢の画像を登録しておき、認証時に正面画像とある一定以上の姿勢変化画像を用いれば、写真などの平面物によるなりすましを排除するのは容易である。距離測定用センサには、パターン光を照射してその画像で計測するものなどがあり、原理的には光を照射する方法とステレオ視による方法の組み合わせに近い。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−２５１６１４号公報（段落００４５−００５５）
【特許文献２】特開２００３−１７８３０６号公報（段落００１５，００３９，００５５）
【特許文献３】特開２００５−１３５２７１号公報（段落００２２−００２６）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１に記載された方式では、次のような問題がある。瞼の動作は人、もしくは撮像画像によっては小さくて見つけづらいこともある。目と口の動作は人の顔の表情も大きく変えるため、周囲の目が気になるところでは行いにくい心理的な抵抗もあり、携帯端末のようなさまざまな使用場所が想定されるものには実装しづらい。
【００１０】
また、特許文献２に記載された方法である光を照射する方法は、照明条件に影響されやすいため使用場所が限定され、性能の安定度も期待しづらい。ステレオ視による方法は、ステレオ視による形状計測の問題がそのままあてはまり、複数の位置関係が定まったカメラか、１台のカメラの位置を制御する装置が必要になり、使用場所や実装条件が制限される。
【００１１】
特許文献３に記載された方法である複数の特定動作時の顔画像を登録する方法では、複数の特定動作時の登録が面倒であり、正面以外の顔認証は困難である問題もある。距離測定用センサを用いる方法は確実であるが、コストがかかり、携帯端末など小さなものへの実装は難しい。
【００１２】
本発明の目的の一つは、顔認証における写真などによる不正認証を防止する立体性認証方法、立体性認証装置および立体性認証プログラムを提供することにある。
【００１３】
本発明の目的の一つは、携帯端末などの小型の装置での顔認証における写真などによる不正認証を防止する立体性認証方法、立体性認証装置および立体性認証プログラムを提供することにある。
【００１４】
本発明の目的の一つは、単一のカメラのみで顔認証における写真などによる不正認証を防止する立体性認証方法、立体性認証装置および立体性認証プログラムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明による立体性認証方法は、撮影対象物の立体性を判断する立体性認証方法であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成されるその平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の最小特異値を立体性評価量として算出し、立体性判定ステップで、最小特異値の絶対値が閾値以上である場合に、立体性評価点が平面上にないと判定することを特徴とする。
【００１６】
そのような構成によれば、座標の差を要素とする行列に基づいて容易に最小特異値を算出し、立体性を判断することができる。
【００１７】
本発明による他の立体性認証方法は、撮影対象物の立体性を判断する立体性認証方法であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、前記特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、前記立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、前記立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の最小固有値を立体性評価量として算出し、前記立体性判定ステップで、前記最小固有値が閾値以上である場合に、前記立体性評価点が平面上にないと判定することを特徴とする。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、容易に最小固有値を算出し、立体性を判断することができる。
【００１８】
本発明によるさらに他の立体性認証方法は、撮影対象物の立体性を判断する立体性認証方法であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、前記特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、前記立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、前記立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ立体性評価量として算出し、前記立体性判定ステップで、前記２つの立体性評価量において符号が変化しない場合に、前記立体性評価点が平面上にないと判定することを特徴とする。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、少ない計算量で立体性評価量を算出することができる。
【００１９】
本発明による立体性認証装置は、撮影対象物の立体性を判断する立体性認証装置であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成されるその平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、立体量計算手段が、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の最小特異値を立体性評価量として算出し、立体性判定手段が、最小特異値の絶対値が閾値以上である場合に、立体性評価点が平面上にないと判定することを特徴とする。
【００２０】
そのような構成によれば、座標の差を要素とする行列に基づいて容易に最小特異値を算出し、立体性を判断することができる。
【００２１】
本発明による他の立体性認証装置は、撮影対象物の立体性を判断する立体性認証装置であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、前記特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、前記立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、前記立体量計算手段が、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の最小固有値を立体性評価量として算出し、前記立体性判定手段が、前記最小固有値が閾値以上である場合に、前記立体性評価点が平面上にないと判定することを特徴とする。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、容易に最小固有値を算出し、立体性を判断することができる。
【００２２】
本発明によるさらに他の立体性認証装置は、撮影対象物の立体性を判断する立体性認証装置であって、撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、前記特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、前記立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、前記立体量計算手段が、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ立体性評価量として算出し、前記立体性判定手段が、前記２つの立体性評価量において符号が変化しない場合に、前記立体性評価点が平面上にないと判定することを特徴とする。そのような構成によれば、座標の差を要素とする行列および転置行列に基づいて、少ない計算量で立体性評価量を算出することができる。
【発明の効果】
【００２３】
本発明の第１の効果は、顔画像による個人認証時に写真による不正認証を検出、防止する点にある。その理由は、認証時に撮影画像中の顔の立体性を計算するからである。
【００２４】
本発明の第２の効果は、携帯端末など小型の装置上で顔画像による個人認証時に写真による不正認証を検出、防止する点にある。その理由は、携帯端末などに付属の小型のカメラで撮影した顔画像のみで不正認証を検出、防止するからである。
【００２５】
本発明の第３の効果は、周囲の目が気になる場所でも写真による不正認証を検出、防止した顔画像認証が可能な点にある。その理由は、認証時に撮影画像中の顔の立体性を計算し、目や口のような顔の表情が変わるような顔動作を必要としないことにある。
【００２６】
本発明の第４の効果は、低コストで顔画像による個人認証時に写真による不正認証を検出、防止する点にある。その理由は、単一のカメラで実現可能で、ステレオカメラやカメラ制御装置、光照射器、距離センサなどを必要としないからである。
【００２７】
本発明の第５の効果は、顔認証時の計算処理を軽減しつつ個人認証時に写真による不正認証を検出、防止する点にある。その理由は、登録画像は正面顔単一でよく、顔認証が困難になる横向き顔画像を用いる必要がないからである。さらに、目や口の動作のような人によっては検出しづらい動作を検出する必要も無い。
【図面の簡単な説明】
【００２８】
【図１】本発明による立体性認証装置の第１の実施の形態を示すブロック図である。
【図２】特徴点抽出手段が抽出する特徴点の例を示す説明図である。
【図３】ピンホールカメラモデルの例を説明するための説明図である。
【図４】特性方程式ｆ（ｘ）の例を示す説明図である。
【図５】本発明による立体性認証装置の第２の実施の形態を示すブロック図である。
【図６】特徴点抽出装置の例を示す説明図である。
【図７】立体量計算装置の例を示す説明図である。
【図８】第３の実施の形態の動作を示すフローチャートである。
【発明を実施するための形態】
【００２９】
実施の形態１．
以下、本発明の第１の実施の形態を図面を参照して説明する。図１は、本発明による立体性認証装置の第１の実施の形態を示すブロック図である。
【００３０】
図１に示す立体性認証装置は、複数の姿勢の顔画像群Ｓ１０ａ，Ｓ１０ｂを撮像、蓄積する撮像手段１０と、顔画像Ｓ１０ａ，Ｓ１０ｂのそれぞれにおいて画像間で対応づけられた特定の特徴点Ｓ２０ａ，Ｓ２０ｂを取得する特徴点抽出手段２０と、それらの特徴点座標値Ｓ２０ａ，Ｓ２０ｂから平面外にある特徴点の立体性評価量Ｓ３０を計算する立体量計算手段３０と、その立体性評価量Ｓ３０から、写真など人工物による不正認証か否かを判定する立体性判定手段４０とを備える。
【００３１】
撮像手段１０は、姿勢の異なる複数の顔画像Ｓ１０ａ，Ｓ１０ｂを撮像して蓄積する。すなわち、撮像手段１０は、撮像時の視点や構図（姿勢）の異なる顔画像を複数撮像する。撮像手段１０は、通常のカメラで実現される。携帯端末に付属の小型のものでも可能である。カメラは静止画用のスチルカメラ、動画用のビデオカメラでも良い。撮像手段１０が動画用のビデオカメラである場合には、撮像手段１０は、顔画像として、撮像した動画像から顔姿勢の異なるフレームを複数切り出す必要がある。
【００３２】
特徴点抽出手段２０は、撮像手段１０で撮像された複数の姿勢の顔画像Ｓ１０ａ，Ｓ１０ｂそれぞれから、顔の中の特徴点を抽出する。特徴点の抽出は、手動でもよいが、応用を考えると特徴抽出フィルタなどを用いて自動的に抽出するほうが望ましい。
【００３３】
本発明において、特徴点は、ステレオ視における対応点として用いられるので、正確な特徴位置の取得よりも、画像間での対応が重要である。抽出する特徴点としては、任意の３つの特徴点（以下、平面構成点と表記する。）と、実物の顔においてその３点で構成される平面外の点（以下、立体性評価点と表記する。）が１点以上必要である。すなわち、立体性評価点は、３次元世界における実物の顔上の点に対応する点であって、３次元世界において抽出された３つの特徴点で構成される平面上にない点に対応する点である。
【００３４】
理論上は、任意の３つの特徴点および立体性評価点の組み合わせは無限にあるが、特徴抽出フィルタなどを用いて自動的に特徴点抽出する場合は、抽出対象の点が限られてくる。図２は、特徴点抽出手段２０が抽出する特徴点の例を示す説明図である。図２に例示するように、自動抽出で容易な特徴点候補として、平面構成点としては、例えば、右目の中心、左目の中心、唇の右端および唇の左端の計４点のうちのいずれか３点があげられる。立体性評価点としては、例えば、鼻の頂点、鼻の下、唇上端中央などがあげられる。
【００３５】
実物の人の顔であれば、前者で構成される平面に対して、後者の立体性が認められる。すなわち、顔画像Ｓ１０ａ，Ｓ１０ｂが、顔写真が被写体として撮像された画像ではなく、現実の立体的な顔が被写体として撮像された画像であれば、特徴点抽出手段２０によって抽出される立体性評価点は、３つの平面構成点で構成される平面上の点ではないと算出される。
【００３６】
立体量計算手段３０は、特徴点抽出手段２０で抽出された各画像の特徴点座標Ｓ２０ａ，Ｓ２０ｂから立体性評価点の立体性評価量Ｓ３０を計算する。図２に示すように、平面構成点として、右目中心（Ｐ０）、左目中心（Ｐ１）、唇右端（Ｐ２）を用い、立体性評価点Ｐとして、上の３点（例えば、鼻の頂点、鼻の下、唇上端中央）のいずれかを選択し、顔の姿勢１，２を撮影した画像（画像１，２とする）を用いる場合を例示して説明する。
【００３７】
また、以下の説明は、カメラモデル（透視投影モデル）として、ステレオ視で一般的なピンホールカメラモデルにより近似できる場合を例示して行う。図３は、ピンホールカメラモデルの例を説明するための説明図である。ピンホールカメラモデルは、ステレオ視で一般的なカメラモデルであって、３次元空間における撮像対象が２次元の画像へ投影される場合において、撮像対象と画像への結像との位置関係を単純に理想化したモデルである。ピンホールカメラは、ピンホール（ピンで開けられたような小さな穴）を通して入射する光のみが撮像面に到達するカメラである。ピンホールカメラにおいては、ピンホールを焦点と考えることができる。なお、ピンホールカメラでは、撮像面に投影される像の上下が逆になることから、図３に示すように、撮像面をピンホールと撮像対象との間に移動したモデルを使用する。
【００３８】
図３に示すように、ピンホールを原点とする３次元座標系（Ｘ，Ｙ，Ｚ）を取るとともに、撮像面上に２次元の画像座標系（ｕ，ｖ）を取る。平面構成点Ｐｉ（ｉ＝０，１，２）の３次元空間上の座標をＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）とし、立体性評価点Ｐの３次元空間上の座標をＰ（Ｘ，Ｙ，Ｚ）とする。
【００３９】
また、Ｐｉ（ｉ＝０，１，２）の姿勢ｊ（ｊ＝１，２）の画像中での座標を（ｕｉｊ，ｖｉｊ）、Ｐの姿勢ｊ（ｊ＝１，２）の画像中での座標を（ｕｊ，ｖｊ）とする。すなわち、３次元座標系におけるＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）が、画像座標系における（ｕｉｊ，ｖｉｊ）に写像されるとする。なお、図３には、姿勢ｊ（ｊ＝１，２）の撮像面を例示し、Ｐ（Ｘ，Ｙ，Ｚ）が（ｕｊ，ｖｊ）に写像され、Ｐ０（Ｘ０，Ｙ０，Ｚ０）が（ｕ０ｊ，ｖ０ｊ）に写像される場合を例示する。
【００４０】
カメラをピンホールカメラと仮定したときの焦点距離をｆとしたとき、以下の式１が成り立つ。なお、Ｔは転置を意味する。また、焦点距離ｆは、ピンホールから撮像面までの距離である。
【００４１】
【数１】
【００４２】
なお、式（１）において、ξｉｊ＝Ｚｉｊ／ｆであり、式（２）において、ξｊ＝Ｚｊ／ｆである。式（１），（２）に示す変換は、透視投影（透視変換）と呼ばれる。ξ１ｊ，ξ２ｊは、透視投影における倍率値である。
【００４３】
ここで、立体性評価点Ｐが、平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にあるとき、Ａ，Ｂを実数とすると
【００４４】
【数２】
【００４５】
なる線形従属な関係が成りたつ。そこで、式（１），（２）を式（３）に代入し、Ｓ１ｊ＝ξ１ｊ／ξ０ｊ，Ｓ２ｊ＝ξ２ｊ／ξ０ｊ，Ｓｊ＝ξｊ／ξ０ｊとすると、以下の式（４）が得られる。
【００４６】
【数３】
【００４７】
式（４）の３行目を展開すると、
【００４８】
【数４】
【００４９】
が成り立つので、Ｃ＝１−Ａ−Ｂとして実数Ｃを定義し、式（５）を式（４）の１，２行目に代入して整理すると、式（４）の１，２行目について、
【００５０】
【数５】
【００５１】
が成立する。姿勢１，２（ｊ＝１，２）から計算される式（６）をまとめると、以下の式（７）が得られる。
【００５２】
【数６】
【００５３】
式（７）中の行列をＤとして、式（８）に示す。
【００５４】
【数７】
【００５５】
式（７）中のベクトル［ＡＳ１ｊ，ＢＳ２ｊ，Ｃ］Ｔは、Ｃ＝１−Ａ−Ｂから０ベクトルにはなりえないので、式（８）に示す行列Ｄのランク（階数）は次の理由から２になる。
【００５６】
行列Ｄは３次元空間Ｖに作用する写像である。点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にある場合、ベクトル［ＡＳ１ｊ，ＢＳ２ｊ，Ｃ］Ｔの第３次元Ｃは１−Ａ−Ｂであることから、実数Ａ，Ｂに依存する１次元の拘束をもち、その結果、行列Ｄの核であるｋｅｒ（Ｄ）の次元は、ｄｉｍ（ｋｅｒ（Ｄ））＝１になる。また、ｄｉｍＶ＝３である。次元定理
【００５７】
ｄｉｍＶ＝ｄｉｍ（ｋｅｒ（Ｄ））＋ｄｉｍ（Ｄ（Ｖ）） 式（９）
【００５８】
を用いると、ｄｉｍ（Ｄ（Ｖ））つまり行列Ｄのランクは２になる。
【００５９】
次に、立体性評価点Ｐが、平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にない場合における行列Ｄのランクを求める。行列Ｄのランクから点Ｐが平面上にない場合も判定でき、この場合は、ベクトル［ＡＳ１ｊ，ＢＳ２ｊ，Ｃ］Ｔの第３次元Ｃの拘束はないので、ｄｉｍ（ｋｅｒ（Ｄ））＝０になり、式（９）に示す次元定理から、ｄｉｍ（Ｄ（Ｖ））つまり行列Ｄのランクは３になる。
【００６０】
以上に説明したように、立体性評価点の立体性を評価する立体性評価量Ｓ３０としては、行列Ｄのランクを示す量を採用すればよい。行列Ｄのランクを示す量の候補としては、例えば、行列Ｄの最小特異値、行列ＤＴＤの最小固有値（Ｄの最小特異値の２乗に一致）、行列ＤＴＤの特性多項式の０付近の値の変動などがあげられる。
【００６１】
行列Ｄの要素を見ると、通常Ｓ１２／Ｓ１１，Ｓ２２／Ｓ２１は未知である。しかしながら、ξ１ｊ，ξ２ｊは透視投影による倍率値であり、Ｓ１ｊ＝ξ１ｊ／ξ０ｊ，Ｓ２ｊ＝ξ２ｊ／ξ０ｊは平面構成点間のその値の比である。すなわち、Ｓ１ｊはξ１ｊとξ０ｊとの比であって、Ｓ２ｊはξ２ｊとξ０ｊとの比である。また、ξ１ｊ，ξ２ｊは透視投影による倍率値であることから、Ｓ１ｊはＺ１とＺ０との比であり、Ｓ２ｊはＺ２とＺ０との比である。したがって、未知量Ｓ１２／Ｓ１１，Ｓ２２／Ｓ２１は、顔の平面構成点とカメラの撮像面の関係においては１付近の値であり、上にあげた鼻の頂点、鼻の下、唇上端中央程度の立体性が認められる立体性評価点を用いる限りは、１と見なして差し支えない。
【００６２】
これにより、行列Ｄの最小特異値、行列ＤＴＤの最小固有値（Ｄの最小特異値の２乗に一致）を立体性評価量Ｓ３０に用いる場合は、単純な座標間の差を要素にもつ行列Ｄの特異値、固有値計算により求めることが可能になる。
【００６３】
行列ＤＴＤの特性多項式の０付近の値を立体性評価量Ｓ３０に用いる場合には、計算を整数演算だけで行うことが可能であるため、計算量を削減したい場合に効果がある。
【００６４】
以下、立体性評価量Ｓ３０として、行列ＤＴＤの最小固有値および行列ＤＴＤの特性多項式の０付近の値を用いることができることについて説明する。行列ＤＴＤの特性多項式をｆ（ｘ）とし、ｆ（ｘ）＝０の解をλとする。λは、行列ＤＴＤの固有値である。なお、行列ＤＴＤの特性多項式の０付近の値とは、ｘ＝０の付近のｆ（ｘ）の値である。
【００６５】
図４は、行列ＤＴＤの特性多項式ｆ（ｘ）の例を示す説明図である。図４には、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にある場合のｆ（ｘ）の値が実線で表され、立体性評価点Ｐが鼻の下や上唇上端中央の点である場合のｆ（ｘ）の値が破線で表され、立体性評価点Ｐが鼻の上の点である場合のｆ（ｘ）の値が一点鎖線で表されている。
【００６６】
行列ＤＴＤは、半正値対象行列であるため、すべての固有値は負の値を取らない。したがって、行列ＤＴＤの最小固有値は０以上の値を取ることから、ｆ（ｘ）は、例えば図４に示すような値を取る。ここで、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にある場合における行列ＤＴＤの最小固有値をλ１とし、立体性評価点Ｐが鼻の下や上唇上端中央の点である場合における行列ＤＴＤの最小固有値をλ２とし、立体性評価点Ｐが鼻の上の点である場合における行列ＤＴＤの最小固有値をλ３とする。λ１、λ２、λ３は、それぞれ、図４においてｆ（ｘ）が横軸（ｘ軸）と交わる点のｘの値である。
【００６７】
行列ＤＴＤの固有値、すなわちｆ（ｘ）＝０の解であるλは、Ｄの特異値の２乗に一致することを考慮すると、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にあるとき、最小固有値λ１は０付近の値になる。また、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面外にあるとき、最小固有値λ２，λ３は、ある程度０より大きい値になる。すなわち、行列ＤＴＤの最小固有値にもとづいて、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にあるか否かを判定することができる。
【００６８】
また、固有値を通るとき（ｘ＝λのとき）、関数値が０になる特性多項式ｆ（ｘ）は、図４に示すように、立体性評価点Ｐが平面内外のいずれにあるかで、ｘ＝０付近の挙動が変わる。すなわち、立体性評価点Ｐが平面内にあるか否かにより、ｘ＝０の近傍において、ｆ（ｘ）の符号が変化するか否かが異なる。そこで、ｘ＝０付近の関数値ｆ（−ε）とｆ（ε）（εは小さい正整数）を計算すれば、整数演算のみで実行可能である。立体性の判定は、これらの値が送られる立体性判定手段４０で両者の値の符合変化で行われる。
【００６９】
すなわち、εの値を適切に取ることにより、ｆ（ε）が正であってｆ（−ε）が負の値である場合には、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にあると判定することができる。また、ｆ（ε）およびｆ（−ε）がともに負の値である場合には、立体性評価点Ｐが平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にないと判定することができる。
【００７０】
立体性判定手段４０は、立体量計算手段３０で計算された立体性評価量Ｓ３０と、あらかじめ与えられた閾値とにもとづいて、立体性評価点の立体性、つまり写真などによる人工物上の顔か実物の顔かを判定する。
【００７１】
判定の方法は、立体量計算手段３０で計算された立体性評価量Ｓ３０によって異なる。立体性評価量Ｓ３０が、Ｄの最小特異値の場合は、その値の絶対値が一定の値（閾値）未満であれば平面的とみなし人工物であると判定し、絶対値が一定の値以上であれば立体的とみなし実物と判定する。
【００７２】
立体性評価量Ｓ３０が、行列ＤＴＤの最小固有値（Ｄの最小特異値の２乗に一致）の場合は、その値が一定の値未満であれば平面的とみなし人工物であると判定し、一定の値以上であれば立体的とみなし実物と判定する。
【００７３】
図４に示す例では、閾値をεとした場合に、例えば、行列ＤＴＤの最小固有値がλ１の値を取れば、λ１はε未満の値であるので、立体性評価点Ｐは平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にあると判断される。したがって、顔画像は、顔写真が被写体として撮像された画像であると判断される。また、例えば、行列ＤＴＤの最小固有値がλ２の値を取れば、λ２はε以上の値であるので、立体性評価点Ｐは平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にないと判断される。したがって、顔画像は、現実の立体的な顔が被写体として撮像された画像であると判断される。
【００７４】
立体性評価量Ｓ３０が、行列ＤＴＤの特性多項式の０付近の値の変動の場合は、立体性の有無によって、特性方程式ｆ（ｘ）は、図４に示すように異なる値を取る。したがって、ｘ＝０付近の関数値ｆ（−ε）とｆ（ε）の符号の変化があれば平面的とみなし人工物であると判定し、なければ立体的とみなし実物と判定する。
【００７５】
図４に示す例では、例えば、行列ＤＴＤの特性多項式ｆ（ｘ）のｘ＝０付近の値であるｆ（−ε）が負の値を取り、かつｆ（ε）が正の値を取れば、立体性評価点Ｐは平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面内にあると判断される。したがって、顔画像は、顔写真が被写体として撮像された画像であると判断される。また、例えば、ｆ（−ε）が負の値を取り、かつｆ（ε）も負の値を取れば、立体性評価点Ｐは平面構成点Ｐ０，Ｐ１，Ｐ２でなす平面上にないと判断される。したがって、顔画像は、現実の立体的な顔が被写体として撮像された画像であると判断される。
【００７６】
以上に説明したように、第１の実施の形態によれば、撮像画像の被写体の立体性を算出することにより、被写体が顔写真であるか否かを判定することができるため、顔写真を用いた不正認証を検出することができる。
【００７７】
実施の形態２．
次に、本発明の第２の実施の形態を図面を参照して説明する。第２の実施の形態では、第１の実施の形態の各手段が立体性認証方法における各方法を実施する立体性認証装置について説明する。図５は、本発明による立体性認証装置の第２の実施の形態を示すブロック図である。図５に示す立体性認証装置は、撮像装置１００と、特徴点抽出装置２００と、立体量計算装置３００と、立体性判定装置４００とを備える。
【００７８】
撮像装置１００は、普及型のデジタルカメラで良く、静止画用のスチルカメラ、動画用のビデオカメラでも良い。スチルカメラであれば、顔姿勢が異なる時に２回以上撮像し、２つ以上の画像を特徴点抽出装置２００に送る。ビデオカメラであれば、顔姿勢動作時の動画をそのまま特徴点抽出装置２００に送る。
【００７９】
図６は、特徴点抽出装置２００の例を示す説明図である。特徴点抽出装置２００は、図６に示すように、撮像装置１００で撮像された画像データを蓄積するメモリやディスクなどのストレージ装置と、画像中の特徴点抽出の計算を行うＣＰＵなどの演算装置とで実現可能である。撮像装置１００がビデオカメラで構成されている場合は、動画中で顔姿勢が異なる２つ以上のフレームを、ＣＰＵによる演算により静止画像として切り出す。顔姿勢が異なる２つ以上の静止画像に対して、第１の実施の形態の特徴点抽出手段２０が特徴点を抽出する方法により、ＣＰＵが特徴点座標抽出のための演算を行った後、特徴点座標データが立体量計算装置３００に送られる。
【００８０】
図７は、立体量計算装置３００の例を示す説明図である。立体量計算装置３００は、図７に示すように、特徴点抽出装置２００で抽出された特徴点座標データを蓄積するメモリやディスクなどのストレージ装置と、立体性評価量を計算するＣＰＵなどの演算装置で実現可能である。２つの静止画像から抽出された特徴点座標データに対して、第１の実施の形態の立体量計算手段３０が立体性評価量を算出する方法により、ＣＰＵが立体性評価量算出のための演算を行った後、立体性評価量を示すデータが立体性判定装置４００に送られる。
【００８１】
立体性判定装置４００は、立体量計算装置３００で計算された立体性評価量が、あらかじめ与えられた閾値より上か下かを判定する単純なＬＳＩなどのロジック回路で実現可能である。第１の実施の形態における立体性評価量Ｓ３０として、０付近の関数値ｆ（−ε）とｆ（ε）を用いる場合は閾値を必要とせず、その場合、ロジック回路は符号の変化の有無で判定する。
【００８２】
実施の形態３．
次に、本発明の第３の実施の形態を図面を参照して説明する。第３の発明の実施の形態では、第１の実施の形態の特徴点抽出方法を計算機上で実行可能なプログラムとして構成し、そのプログラムを計算機で読み取り自在な情報記憶媒体に格納して、その計算機上において図８で示される手順で実行する。
【００８３】
図８は、第３の実施の形態の動作を示すフローチャートである。最初に、姿勢の異なる顔画像を撮影する（ステップＳ１００）。図６に示す手順では、最小限の２姿勢を撮影する場合として、顔姿勢を変えて（ステップＳ１０１）、２回撮像したか否かを判定し（ステップＳ１０２）、２回撮像した場合には（はい）、ステップＳ２００に移行し、２回撮像していない場合には（いいえ）、ステップＳ１００に移行する場合を例示しているが、これより多くても問題はない。
【００８４】
次に、ステップＳ２００において、２つ以上の顔画像のそれぞれから、第１の実施の形態の特徴点抽出手段２０による方法で特徴点の座標値を抽出する。特徴点の座標値が抽出されると、それらを用いて第１の実施の形態の立体量計算手段３０による方法で立体性評価量を計算する（ステップＳ３００）。最後に、その立体性評価量とあらかじめ与えた閾値との大小関係等により、実物の顔か写真などの人工物によるなりすましの顔かを判定する（ステップＳ４００）。第１の実施の形態における立体性評価量Ｓ３０として、０付近の関数値ｆ（−ε）とｆ（ε）を用いる場合は閾値を必要とせず、その場合、ロジック回路は符号の変化の有無で判定する。
【００８５】
なお、第１から第３の実施の形態では、顔画像の立体性の認証について説明したが、同様の実施の形態は、監視などの目的で一般シーンの写真と実際のシーンの判別に対しても行うことが可能である。
【産業上の利用可能性】
【００８６】
本発明によれば、顔画像による個人認証時の不正認証を検出する場合に適用することができる。例えば、無人の入退場システムなどでの顔画像認証、携帯端末など小型機器での顔画像認証などでの利用が可能である。
【符号の説明】
【００８７】
１０ 撮像手段
２０ 特徴点抽出手段
３０ 立体量計算手段
４０ 立体性判定手段
【特許請求の範囲】
【請求項１】
撮影対象物の立体性を判断する立体性認証方法であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、
前記特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、
前記立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、
前記立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の最小特異値を立体性評価量として算出し、
前記立体性判定ステップで、前記最小特異値の絶対値が閾値以上である場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証方法。
【請求項２】
撮影対象物の立体性を判断する立体性認証方法であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、
前記特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、
前記立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、
前記立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の最小固有値を立体性評価量として算出し、
前記立体性判定ステップで、前記最小固有値が閾値以上である場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証方法。
【請求項３】
撮影対象物の立体性を判断する立体性認証方法であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、
前記特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、
前記立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、
前記立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ立体性評価量として算出し、
前記立体性判定ステップで、前記２つの立体性評価量において符号が変化しない場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証方法。
【請求項４】
立体量計算ステップで、符号の異なる絶対値が等しい０近傍の２値を特性多項式に代入した値をそれぞれ立体性評価量として算出する
請求項３記載の立体性認証方法。
【請求項５】
撮影対象物の立体性を判断する立体性認証装置であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、
前記特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、
前記立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、
前記立体量計算手段は、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の最小特異値を立体性評価量として算出し、
前記立体性判定手段は、前記最小特異値の絶対値が閾値以上である場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証装置。
【請求項６】
撮影対象物の立体性を判断する立体性認証装置であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、
前記特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、
前記立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、
前記立体量計算手段は、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の最小固有値を立体性評価量として算出し、
前記立体性判定手段は、前記最小固有値が閾値以上である場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証装置。
【請求項７】
撮影対象物の立体性を判断する立体性認証装置であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、
前記特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、
前記立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、
前記立体量計算手段は、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ立体性評価量として算出し、
前記立体性判定手段は、前記２つの立体性評価量において符号が変化しない場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証装置。
【請求項８】
立体量計算手段は、符号の異なる絶対値が等しい０近傍の２値を特性多項式に代入した値をそれぞれ立体性評価量として算出する
請求項７記載の立体性認証方法。
【請求項１】
撮影対象物の立体性を判断する立体性認証方法であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、
前記特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、
前記立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、
前記立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の最小特異値を立体性評価量として算出し、
前記立体性判定ステップで、前記最小特異値の絶対値が閾値以上である場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証方法。
【請求項２】
撮影対象物の立体性を判断する立体性認証方法であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、
前記特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、
前記立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、
前記立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の最小固有値を立体性評価量として算出し、
前記立体性判定ステップで、前記最小固有値が閾値以上である場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証方法。
【請求項３】
撮影対象物の立体性を判断する立体性認証方法であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力ステップと、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力ステップにおいて取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出ステップと、
前記特徴点抽出ステップにおいて抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算ステップと、
前記立体量計算ステップにおいて計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定ステップとを含み、
前記立体量計算ステップで、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ立体性評価量として算出し、
前記立体性判定ステップで、前記２つの立体性評価量において符号が変化しない場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証方法。
【請求項４】
立体量計算ステップで、符号の異なる絶対値が等しい０近傍の２値を特性多項式に代入した値をそれぞれ立体性評価量として算出する
請求項３記載の立体性認証方法。
【請求項５】
撮影対象物の立体性を判断する立体性認証装置であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、
前記特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、
前記立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、
前記立体量計算手段は、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の最小特異値を立体性評価量として算出し、
前記立体性判定手段は、前記最小特異値の絶対値が閾値以上である場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証装置。
【請求項６】
撮影対象物の立体性を判断する立体性認証装置であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、
前記特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、
前記立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、
前記立体量計算手段は、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の最小固有値を立体性評価量として算出し、
前記立体性判定手段は、前記最小固有値が閾値以上である場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証装置。
【請求項７】
撮影対象物の立体性を判断する立体性認証装置であって、
撮影対象物が異なる複数の視点から単一の撮影装置で撮影された複数の撮影画像を取得する入力手段と、
３次元座標系において同一平面上にないと推測される撮影対象物上の４つ以上の点に対応する特徴点を、前記入力手段によって取得された撮影画像から抽出し、各特徴点の座標を取得する特徴点抽出手段と、
前記特徴点抽出手段によって抽出された各特徴点のうち、平面を構成する特徴点として選択された平面構成点により構成される当該平面外の特徴点である立体性評価点の立体性を評価する量として定義される立体性評価量を計算する立体量計算手段と、
前記立体量計算手段によって計算された立体性評価量にもとづいて撮影対象物の立体性を判定する立体性判定手段とを備え、
前記立体量計算手段は、立体性評価点の３次元座標系における特徴点の座標を２次元座標系に変換した座標と、前記各平面構成点の３次元座標系における特徴点の座標を２次元座標系に変換した座標との差を要素とする行列である判定用行列の転置行列と当該判定用行列との積である正則行列の特性多項式に０近傍の特定の２値を代入した値をそれぞれ立体性評価量として算出し、
前記立体性判定手段は、前記２つの立体性評価量において符号が変化しない場合に、前記立体性評価点が平面上にないと判定する
ことを特徴とする立体性認証装置。
【請求項８】
立体量計算手段は、符号の異なる絶対値が等しい０近傍の２値を特性多項式に代入した値をそれぞれ立体性評価量として算出する
請求項７記載の立体性認証方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−６９１３３（Ｐ２０１２−６９１３３Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１１−２３２５９２（Ｐ２０１１−２３２５９２）
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【分割の表示】特願２００６−１３１６７７（Ｐ２００６−１３１６７７）の分割
【原出願日】平成１８年５月１０日（２００６．５．１０）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【分割の表示】特願２００６−１３１６７７（Ｐ２００６−１３１６７７）の分割
【原出願日】平成１８年５月１０日（２００６．５．１０）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]