認証装置
【課題】多様性の影響が小さくて認証精度が高い認証装置を提供する。
【解決手段】中央演算処理装置と、入力部と、形状主成分、テクスチャ主成分及び母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータが関係付けられたデータベース並びに第１の文字列を含む記憶装置と、出力部とを備え、中央演算処理装置は、顎と唇を含む顔の下半分形状を表す画像データ列から特徴量を表すパラメータ計算し、そのパラメータとデータベースを基に画像データを母音（あ、い、う、え、お）及び撥音（ん）のいずれか一つに対応付けすることにより第２の文字列を生成し、第１及び第２の文字列が一致する場合に認証を許可する結果を出力部に出力するステップを実行させるプログラムを備える。
【解決手段】中央演算処理装置と、入力部と、形状主成分、テクスチャ主成分及び母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータが関係付けられたデータベース並びに第１の文字列を含む記憶装置と、出力部とを備え、中央演算処理装置は、顎と唇を含む顔の下半分形状を表す画像データ列から特徴量を表すパラメータ計算し、そのパラメータとデータベースを基に画像データを母音（あ、い、う、え、お）及び撥音（ん）のいずれか一つに対応付けすることにより第２の文字列を生成し、第１及び第２の文字列が一致する場合に認証を許可する結果を出力部に出力するステップを実行させるプログラムを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔の画像データから個人などを含む特定者を識別する認証装置に関するものである。
【背景技術】
【０００２】
近年、個人などを含む特定者を認証する方法として、指紋、虹彩、静脈、声紋、顔及び筆跡などを含む生体認証が研究されている。この生体認証では、一般的に認証するための情報を事前に採取登録し、認証時にセンサやカメラ等で取得した情報と比較することで認証を行う。
【０００３】
ここで、カメラとコンピュータのみで比較的安価にシステムを構築できる生体認証の代表として、顔の画像データから個人を認証する顔画像認証システムが挙げられる。
【０００４】
この顔画像認証システムでは、一般的に、膨大なデータを扱うため、他の生体認証よりも事前登録や認証処理に時間がかかる。また、この顔画像認証システムでは、お面等を使った成りすましに弱く、傾き、光、眼鏡、経年変化又は髪形等の多様性に対する耐性も不十分であるため、認証精度にバラツキが生じるといった問題もある。
【０００５】
そこで、顔の画像データから目、鼻、口等のある特定部位を検出し、認証に用いる研究が進められている。例えば、顔の画像データから口唇形状を特定し、個人認証、顔認識や単語認識等を行っている。（特許文献１乃至３）
【０００６】
特許文献１では、指定したメッセージを対象者に発話してもらい、その発話をカメラで取得して口唇の動きを検出し、その口唇の動きに対応する母音及び母音無しを指定したメッセージの母音及び母音無しと比較することによって、写真等による顔のすげ替えを防ぐ個人認証装置を開示している。また、特許文献３では、特許文献１の口唇の動きに対応する単語の認識方法として、固有空間法を用いて口唇画像に含まれる固有画像の含有率を基に単語を識別している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−９９６２６号公報
【特許文献２】特開２００３−１８７２４７号公報
【特許文献３】特開２００２−１９７４６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献３の単語の認識方法では、口唇の形状の画像に対して向きや角度等の追従性が乏しいため、単語の認識精度には大きなバラツキが生じ、その結果、特許文献１の個人認証装置においても大きな影響を及ぼすといった問題がある。
【０００９】
本発明は、上記に鑑みてなされたものであり、従来の生体認証システムよりも簡単に安価で構築でき、従来の顔認証システムよりも処理速度が速く、個人の多様性に大きく影響を受けず、安定して高い認証精度を得ることができる認証装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る認証装置は、顎と唇を含む顔の下半分形状を表す画像データ列から個人を含むある特定者を識別する認証装置であり、特定者を識別する精度等の基準に応じて大きく分けて４つの認証装置を提供する。
【００１１】
第１の発明は、中央演算処理装置と、一つ又は複数の顎と唇を含む顔の下半分形状を表す画像データ列を受けつける入力部と、予め、一般の顎と唇を含む顔の下半分形状を表す画像データを主成分分析によって得られる形状主成分、テクスチャ主成分及び一般の母音（あ、い、う、え、お）又は撥音（ん）を発話した画像データから算出される特徴量を表すパラメータが予め関係付けられたデータベース並びに第１の文字列を含む記憶装置と、中央演算処理装置による計算結果を出力する出力部と、を備えた認証装置であって、中央演算処理装置は、顎と唇を含む顔の下半分形状を表す画像データ列から、形状主成分とテクスチャ主成分とを基に母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータを画像データごとに計算し、その特徴量を表すパラメータが予め関係付けられたデータベースを基に顎と唇を含む顔の下半分形状を表す画像データを母音（あ、い、う、え、お）及び撥音（ん）のいずれか一つにそれぞれ対応付けすることにより第２の文字列を生成し、第１及び第２の文字列が一致する場合に認証を許可する結果を出力部に出力するステップを実行させるプログラムを具備することを特徴とする。
【００１２】
第１の発明は、画像入力装置とコンピュータのみで認証装置を構築できるため、他の認証装置よりも簡単で、かつ安価である。また、顔の画像データよりもデータ量の少ない顎と唇を含む顔の下半分形状を表す画像データを扱うことで、顔認証システムよりも認証する処理速度を速くでき、母音（あ、い、う、え、お）及び撥音（ん）のデータのみを認証に使用するため個人の多様性に大きく影響を受けず、音声データを使用しないため環境ノイズに強く、しかも座標値を特徴とする形状主成分と輝度値を特徴とするテクスチャ主成分によって母音（あ、い、う、え、お）及び撥音（ん）の文字を認識するため、全体的に安定した認証をすることができる。
【００１３】
第１の発明では、母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータは、下式１、下式２及び下式３であらわされる形状パラメータｐｉ、テクスチャパラメータλｊ、座標パラメータｒｋ又はそれらの複合であっても良い。
【００１４】
（式１）
但し、
ｓ：特徴点の座標値から構成される形状モデルのベクトル、
ｓ０：形状モデルの平均ベクトル、
ｓｉ：形状モデルのｉ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル、
ｐｉ：形状モデルのｉ番目の主成分ベクトルに対応する形状パラメータ、
ｎは１以上の整数であり、かつ、形状モデルの主成分ベクトルの数、
【００１５】
（式２）
但し、
Ａ（ｘ）：ｓ０に含まれるテキスチャの輝度値、
Ａ０（ｘ）：平均テキスチャの輝度値、
Ａｊ（ｘ）：テキスチャの輝度値のｊ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル、
λｊ：テキスチャの輝度値のｊ番目の主成分ベクトルに対応するテキスチャパラメータ、
ｍは１以上の整数であり、かつ、テキスチャの主成分ベクトルの数、
【００１６】
（式３）
但し、
Ｈ１：内唇の高さ、
Ｈ２：外唇の高さ、
Ｗ１：内唇の幅、
Ｗ２：外唇の高さ、
Ｂ１：口全体の面積、
Ｂ２：唇の面積
【００１７】
これにより、顎と唇を含む顔の下半分形状を表す画像データを母音（あ、い、う、え、お）及び撥音（ん）の一つに対応付ける処理速度及び精度を向上させることができ、顎と唇を含む顔の下半分形状を表す画像データ列からの認証を短時間で高精度に行うことができる。
【００１８】
第１の発明では、第１の文字列及び第２の文字列は、一桁の数字を複数連続して発話した単語群から母音（あ、い、う、え、お）及び撥音（ん）のみを時系列に並べた文字列であっても良い。
【００１９】
これにより、一桁の数字を複数連続で発話された顎と唇を含む顔の下半分形状を表す画像データ列から、認証をすることができる。
【００２０】
第２の発明は、第１の発明に、さらに、顔を表す画像データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける顔認証入力部を備え、中央演算処理装置は、顎と唇を含む顔の下半分形状を表す画像データ列から、形状主成分とテクスチャ主成分とを基に母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータを画像データごとに計算し、その特徴量を表すパラメータが予め関係付けられたデータベースを基に顎と唇を含む顔の下半分形状を表す画像データを母音（あ、い、う、え、お）及び撥音（ん）のいずれか一つにそれぞれ対応付けすることにより第２の文字列を生成し、第１及び第２の文字列が一致し、かつ、前記顔認証入力部の受けつけたデータが本人である（真）場合に認証を許可する結果を出力部に出力するステップを実行させるプログラムを具備することを特徴とする。
【００２１】
第２の発明は、画像入力装置とコンピュータのみで認証装置を構築できるため、他の認証システムよりも簡単で、かつ安価である。また、第１の発明と顔を表す画像データから認証する顔画像認証システムとを連携させて認証することにより、認証の精度にバラツキの有る顔画像認証システムで誤認証した特定者を第１の発明において排除することができ、また、逆に第１の発明において、偶然、顎と唇を含む顔の下半分形状を表す画像データ列が同一であった場合による誤認証した特定者を顔画像認証システムにおいて排除することができ、第１の発明よりも全体的に認証精度を向上させ、頑強な認証装置とすることができる。
【００２２】
第３の発明は、第１の発明に、さらに、声紋データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける声紋認証入力部を備え、中央演算処理装置は、顎と唇を含む顔の下半分形状を表す画像データ列から、形状主成分とテクスチャ主成分とを基に母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータを画像データごとに計算し、その特徴量を表すパラメータが予め関係付けられたデータベースを基に顎と唇を含む顔の下半分形状を表す画像データを母音（あ、い、う、え、お）及び撥音（ん）のいずれか一つにそれぞれ対応付けすることにより第２の文字列を生成し、第１及び第２の文字列が一致し、かつ、声紋認証入力部の受けつけたデータが本人である（真）場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備することを特徴とする。
【００２３】
第３の発明は、第１の発明と声紋データから認証する声紋認証システムとを連携させて認証することにより、顎と唇を含む顔の下半分形状を表す画像データ内の髭、外傷及びノイズ等によるロバスト性の低下、つまり不確定要素の影響を少なくでき、第１の発明よりも全体的に認証精度を向上させ、頑強な認証装置とすることができる。
【００２４】
第４の発明は、第１の発明に、さらに、顔を表す画像データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける顔認証入力部と、声紋データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける声紋認証入力部とを備え、中央演算処理装置は、顎と唇を含む顔の下半分形状を表す画像データ列から、形状主成分とテクスチャ主成分とを基に母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータを画像データごとに計算し、その特徴量を表すパラメータが予め関係付けられたデータベースを基に顎と唇を含む顔の下半分形状を表す画像データを母音（あ、い、う、え、お）及び撥音（ん）のいずれか一つにそれぞれ対応付けすることにより第２の文字列を生成し、第１及び第２の文字列が一致し、かつ、前記顔認証入力部の受けつけたデータが本人であり（真）、かつ、前記声紋認証入力部の受けつけたデータが本人である（真）場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備することを特徴とする。
【００２５】
第４の発明は、第１の発明と、顔を表す画像データから認証する顔画像認証システムと、声紋データから認証する声紋認証システムと、を連携させて認証することにより、第２の発明及び第３の発明の利点を併せ持ち、第２の発明及び第３の発明よりも全体的に認証精度を向上させ、頑強な認証装置とすることができる。
【発明の効果】
【００２６】
本発明に係る認証装置によると、簡単に安価で認証装置を構築でき、従来の顔認証システムよりも処理速度が速く、雑音などを含む環境ノイズに強く、個人の多様性に大きく影響を受けず、安定して高い認証精度を得ることができる。
【図面の簡単な説明】
【００２７】
【図１】図１は、本発明に係る認証装置の一般的な処理の流れを示すフローチャートである。
【図２】図２は、三角形のアフィン変換を説明する図である。図３（ａ）は、平均形状ｓ０内の任意の三角形を表し、図３（ｂ）は、図３（ａ）の形状モデルｓへのアフィン変換後の三角形を表す図である。
【図３】図３は、顔の画像データを形状モデルとテクスチャモデルで表したＡＡＭの一例を示す図である。
【図４】図４は、座標パラメータを説明する図である。
【図５】図５は、母音（あ、い、う、え、お）又は撥音（ん）と第一形状パラメータの値及び第二形状パラメータの値との関係の一例を示すグラフである。
【図６】図６は、母音（あ、い、う、え、お）又は撥音（ん）と各座標パラメータの平均値との関係の一例を示すグラフである。
【図７】図７は、本発明に係る認証装置を示す概略図である。
【図８】図８は、本発明に係る第２の実施形態の認証装置を示す概略図である。
【図９】図９は、本発明に係る認証装置の第２の実施形態の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２８】
本発明に係る認証装置は、入力された顎と唇を含む顔の下半分形状を表す画像データ列からそのデータ列に対応する文字列を決定し、その文字列と予め登録された文字列とを比較して、一致の場合認証を許可し、不一致の場合認証を不許可とする結果を出力する。ここで、文字列とは複数の文字データであり、具体的には複数の文字に対応するキャラクターコードをいう。また、顎と唇を含む顔の下半分形状とは、顎と唇の形状をそれぞれ含む顔の鼻から下の形状をいい、唇の形状を特定するのに必要な情報を意味する。
【００２９】
本発明の技術的思想の最も重要な部分は、顎と唇を含む顔の下半分形状を表す画像データ列から認証のために使用する文字列を高精度で識別し決定することである。以下に、顎と唇を含む顔の下半分形状を表す画像データから統計学的なモデルの一つであるActive Appearance Model（以下、「ＡＡＭ」という。）によるパラメータを算出し、そのパラメータから顎と唇を含む顔の下半分形状を表す画像データ列に対応する母音及び撥音（以下、「発話の基本音」という。）のみからなる文字列を決定し、その文字列を用いた認証装置を説明する。ここで、母音は一般的に各国や方言等によって異なるが、本発明では、一例として標準の日本語である「あ、い、う、え、お」を、撥音は「ん」を用いる。発話の基本音のみを文字列として使用する理由は、子音に比べて、各発話の基本音毎に顎と唇を含む顔の下半分形状の特徴が明確であり、各発話の基本音を識別し易いからである。なお、本発明の技術的思想の範囲と解される限りにおいて、いかなる意味においても以下の実施形態により制限的に解釈されるものではない。
【００３０】
（第１の実施形態）−顎と唇を含む顔の下半分形状を表す画像データ列を利用した認証装置について−
図７は、本発明に係る認証装置を示す概略図である。図７では、認証装置１はＣＰＵ２、一時記憶装置３、記憶装置４、入力インターフェース５及び出力インターフェース６を備えていること示している。認証装置１では、画像入力装置７から入力インターフェース５を介して顎と唇を含む顔の下半分形状を表す画像データ列が入力され、ＣＰＵ２はその入力された画像データに基づいて認証処理を行い、その結果を出力インターフェース６を介して出力装置８に出力する。ここで、画像入力装置７は、画像信号を入力できる装置であれば良く、例えば、カメラや記録媒体を読み取る装置等が挙げられる。また、出力装置８は、認証許可や不許可を表示する装置やセキュリティを実施するための装置であれば良く、例えば、ディスプレイ、ゲートの開閉装置や鍵の開閉装置等が挙げられる。
【００３１】
記憶装置４には、予め、一般の顎と唇を含む顔の下半分形状を表す画像データを用いて主成分分析の学習処理によって求められた形状主成分及びテクスチャ主成分と、発話の基本音に関係付けられた特徴パラメータと、認証に用いる第１の文字列とを登録しておくことができる。
【００３２】
図１は、本発明に係る認証装置の基本的な処理の流れを示すフローチャートである。図１では、まず顎と唇を含む顔の下半分形状を表す画像データ列を入力し（ステップＳ１）、次に顎と唇を含む顔の下半分形状を表す画像データ毎にＡＡＭのパラメータを算出し（ステップＳ２）、次にそのパラメータを基に顎と唇を含む顔の下半分形状を表す画像データ毎に対応する発話の基本音を決定し、顎と唇を含む顔の下半分形状を表す画像データ列に対応する文字列を決定し（ステップＳ３）、次にその文字列と予め登録された発話の基本音のみからなる文字列と比較し（ステップＳ４）、一致する場合は認証を許可し、不一致の場合は認証を不許可とする結果を出力する（ステップＳ５）処理の流れを示している。
【００３３】
以下に図１におけるステップＳ１乃至ステップＳ５について説明する。
Ｓ１．顎と唇を含む顔の下半分形状を表す画像データ列を入力
最初のステップＳ１では、認証装置の入力部に顎と唇を含む顔の下半分形状を表す画像データ列を入力する。ここで、顎と唇を含む顔の下半分形状を表す画像データとは、例えば、発話している口周辺をカメラ等で取得した画像データをいい、また、画像データ列とは、時系列に順番に並べられた静止画像のデータをいう。
【００３４】
Ｓ２．顎と唇を含む顔の下半分形状を表す画像データ毎に母音（あ、い、う、え、お）及び撥音（ん）の特徴量のパラメータを算出
ステップＳ２では、ステップＳ１で入力された顎と唇を含む顔の下半分形状を表す画像データ列から各画像データ毎に発話の基本音の特徴パラメータ、つまり、ＡＡＭによるパラメータを算出する。
【００３５】
ＡＡＭとは、対象領域の形状とテクスチャ、具体的には対象領域の座標値と輝度値に関する特徴をパラメータとして持つ統計学的なモデルであり、事前に形状とテクスチャそれぞれに対し互いに無相関な主成分空間、具体的には下記式１で示される形状モデルのベクトルｓと下記式２で示されるテキスチャの輝度値Ａ（ｘ）を作成し、形状及びテクスチャの入力データをその空間に投影することでそのデータをより低次元で表現することが可能となる。したがって、ＡＡＭを用いた認証装置では、入力された画像データの追従性が高いため、その画像データを高精度に処理することができ、処理速度も次元数に比例するが、従来よりも高速に処理をすることができる。
【００３６】
（式１）
但し、
ｓ：特徴点の座標値から構成される形状モデルのベクトル（以下、形状モデルという。）、
ｓ０：形状モデルの平均ベクトル（以下、平均形状という）、
ｓｉ：形状モデルのｉ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル（以下、第ｉ形状モデル主成分という。）、
ｐｉ：形状モデルのｉ番目の主成分ベクトルに対応する形状パラメータ（以下、形状パラメータという。）、
ｎは１以上の整数であり、かつ、形状モデルの主成分ベクトルの数、
【００３７】
（式２）
但し、
Ａ（ｘ）：ｓ０に含まれるテキスチャの輝度値（以下、テクスチャモデルという。）、
Ａ０（ｘ）：平均テキスチャの輝度値（以下、平均テクスチャという。）、
Ａｊ（ｘ）：テキスチャの輝度値のｊ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル（以下、第ｊテキスチャ主成分という。）、
λｊ：テキスチャの輝度値のｊ番目の主成分ベクトルに対応するテキスチャパラメータ（以下、テクスチャパラメータという。）、
ｍは１以上の整数であり、かつ、テキスチャの主成分ベクトルの数
【００３８】
形状モデルｓは、複数の特徴点から構成される三角形の集合メッシュで定義され、形状モデルｓのメッシュを構成する全ての三角形は、平均形状ｓ０のメッシュを構成する三角形に過不足なく対応するので、平均形状ｓ０から形状モデルｓへ、それぞれ対応する三角形ごとにアフィン変換を行うことができる。ここで、本発明においてメッシュとは、コンピュータを用いて計算を行う際に、データを取る最小の単位のこと、つまり、計算格子をいい、三角形の集合メッシュとは、三角形を一単位として構成される計算格子をいう。また、アフィン変換とは、回転及び拡大縮小を含む線形変換と平行移動を組み合わせた写像をいい、同一直線上の各点間の距離の比は、アフィン変換後も変わらない等の性質を持つ。
【００３９】
図２は、三角形のアフィン変換を説明する図である。図２（ａ）は、平均形状ｓ０内の任意の三角形を表し、図２（ｂ）は、図２（ａ）の形状モデルｓへのアフィン変換後の三角形を表す図である。図２（ａ）では、各三角形の頂点の座標を（ｘｉ０，ｙｉ０）、（ｘｊ０，ｙｉ０）及び（ｘｋ０，ｙｋ０）とし、その座標によって表される三角形内の任意の点を（ｘ，ｙ）としている。また、図２（ｂ）では、各三角形の頂点の座標を（ｘｉ，ｙｉ）、（ｘｊ，ｙｉ）及び（ｘｋ，ｙｋ）、図２（ａ）の（ｘ、ｙ）のアフィン変換後の点をＷ（ｘ，ｙ；ｐ）とし、点線の矢印は、図２（ａ）の（ｘ，ｙ）から図２（ｂ）のＷ（ｘ，ｙ；ｐ）に本発明のアフィン変換によって変換されていることを示している。
【００４０】
図２（ａ）及び（ｂ）の（ｘ、ｙ）は実数α及びβを用いて、下記式４で示される。
【００４１】
（式４）
ここで、（）ＴのＴは転置を表す。
【００４２】
図２（ｂ）のＷ（ｘ，ｙ；ｐ）は、下記式５で示される。
【００４３】
（式５）
【００４４】
テクスチャモデルＡ（ｘ）は、形状モデルｓの平均形状ｓ０に含まれるテクスチャの輝度値で定義される。ここで、ｘは（ｘ，ｙ）の座標を表す。
【００４５】
図３は、顔の画像データを形状モデルとテクスチャモデルで表したＡＡＭの一例を示す図である。画像データ５０は、上記式１で示される形状モデル５２及び上記式２で示されるテキスチャモデル５１によって、表されている。
【００４６】
ＡＡＭでは、形状モデルの主成分ベクトルｓｉ及びテキスチャの輝度値の主成分ベクトルＡｊ（ｘ）は、学習処理、つまり、事前に複数の一般の顎と唇を含む顔の下半分形状を表した画像データから主成分分析（Principal Component Analysis）によってそれぞれ求められる。
【００４７】
主成分分析とは、高次元の特徴空間に分散する多数の学習用の画像等を含むデータから、分布をよく表現できる低次元の特徴空間を求める手法である。この低次元の特徴空間を部分空間という。同じクラスに属する、つまり、同じ特徴を持つ多数のデータの値をそのまま高次元の特徴空間にプロットすると、きわめて低い次元の部分空間に分布することが知られており、この低い次元の部分空間だけを用いることによって情報の損失を最小限に抑えながら、高次元のデータを効率良く扱うことができる。
【００４８】
具体的には、Ｎ個の学習用の入力画像データ群の特徴量をＫ個とすると、入力画像データを特徴ベクトルｘｎ＝（ｘｎ１，ｘｎ２，・・・，ｘｎｋ）、（ｎ＝１，２，・・・Ｎ）として、下記式６を満たす固有値λｊと固有ベクトルｕｊを求め、固有値λｉの大きいほうからそれに対応する固有ベクトルｕｊをｄ個選ぶと、ｄ次元の主成分（ｕ１，ｕ２，・・・ｕｄ）が求まる。また、特徴ベクトルの次元数が顔画像枚数に対して大きい場合、分散共分散行列は特異になるため、特異値分解（SVD; Singular Value Decomposition）を用いて固有値λｊと固有ベクトルｕｊを求める。
【００４９】
（式６）
【００５０】
但し、平均ベクトルＭと分散共分散行列ＶＣは下記式７で示される。
【００５１】
（式７）
【００５２】
ステップＳ２では、発話の基本音の特徴パラメータとして、学習処理によって得られる形状モデルの主成分ベクトルｓｉ及びテキスチャの輝度値の主成分ベクトルＡｊ（ｘ）を上記式１及び上記式２に用いて、入力された顎と唇を含む顔の下半分形状を表す画像データ毎に最適にフィッティング、つまり、当てはめることができる形状パラメータｐｉ及びテキスチャパラメータλｊをそれぞれ求める。
【００５３】
ここで、平均形状ｓ０内の座標ｘ＝（ｘ，ｙ）に対応する入力画像Ｉ（ｘ，ｙ）内の座標をＷ（ｘ，ｙ：ｐ）とすると、入力画像Ｉ（ｘ，ｙ）を平均形状ｓ０に変換させた画像はＩ（Ｗ（ｘ，ｙ：ｐ））となる。したがって、ＡＡＭを用いたフィッティングでは、下記式８のエラー画像Ｅ（ｘ，ｙ）を平均形状ｓ０内の対象領域全体において最小にする形状パラメータｐｉ及びテキスチャパラメータλｊを求めることになる。
【００５４】
（式８）
【００５５】
以下に、上記式８の平均形状ｓ０内の対象領域の全画素の差分の和の二乗が最小となるように、ｐｉ及びλｊの初期値を０と仮定し、ｐｉに変化量Δｐｉを、λｊに変化量Δλｊを繰り返し更新することによって最終的なｐｉ及びλｊを求める計算手法を説明する。
【００５６】
計算を高速に処理するために、近似的にテクスチャモデル側の形状を変化させて差分をとると、近似的に下記式９を最小にする形状パラメータｐｉ及びテキスチャパラメータλｊを求めることとなる。
【００５７】
（式９）
ここで、形状パラメータｐｉ、テキスチャパラメータλｊ、変化量Δｐｉ及び変化量Δλｊは下記式１０で定義される。
【００５８】
（式１０）
【００５９】
上記式９をテイラー展開し整理すると、下記式１１を得る。
【００６０】
（式１１）
【００６１】
但し、
（式１２）
上記式１２のα及びβは上記式５の実数であり、ｓｘｉｊ及びｓｙｉｊは座標（ｘｉ，ｙｉ）に対応する第ｊ形状モデル主成分ｓｊの要素である。
【００６２】
ここで、ＳＤ（ｘ）は下記式１３で定義される。
【００６３】
（式１３）
【００６４】
上記式１１を最小にする形状パラメータｐｉ、テキスチャパラメータλｊは上記式１３を用いて、下記式１４で示されるパラメータの変化量Δｑを更新することによって求められる。
【００６５】
（式１４）
【００６６】
ここで、Ｈはヘッセ行列と呼ばれ、ヘッセ行列の逆行列Ｈ−１は下記式１５で示される。
【００６７】
（式１５）
【００６８】
上記式１１〜上記式１５の更新処理を繰り返すことにより、パラメータの変化量Δｑは０に収束し、その収束した形状パラメータｐｉ及びテキスチャパラメータλｊをフィッティングに最適な値とし、その値を発話の基本音の特徴パラメータとする。
【００６９】
本発明に係る認証装置において、発話の基本音の特徴パラメータは、上記式１の形状パラメータｐｉ、上記式２のテキスチャパラメータλｊ、下記式３で示される座標パラメータｒｋ又はそれらの複合であっても良く、座標パラメータを用いることにより発話の基本音の識別精度が向上する。
【００７０】
（式３）
但し、
Ｈ１：内唇の高さ、
Ｈ２：外唇の高さ、
Ｗ１：内唇の幅、
Ｗ２：外唇の高さ、
Ｂ１：口全体の面積、
Ｂ２：唇の面積
【００７１】
図４は、座標パラメータを説明する図である。図４では、内唇の高さＨ１、外唇の高さＨ２、内唇の幅Ｗ１、外唇の高さＷ２、口全体の面積Ｂ１及び唇の面積Ｂ２をそれぞれ示しており、それらの値はＡＡＭを用いたフィッティング後の座標からそれぞれ求められる。
【００７２】
Ｓ３．顎と唇を含む顔の下半分形状を表す画像データ列に対応する第２の文字列を決定
ステップＳ３では、ステップＳ２で算出された発話の基本音の特徴パラメータを基に、顎と唇を含む顔の下半分形状を表す画像データ毎に発話の基本音の文字を対応づけし、その各文字を顎と唇を含む顔の下半分形状を表す画像データ列と同じ順番に並べて文字列を形成し、第２の文字列とする。
【００７３】
発話の基本音の特徴パラメータから発話の基本音の文字を識別する方法として、予め発話の基本音毎に各パラメータの取り得る範囲を領域分けしておき、最も近い領域にある発話の基本音の文字をその特徴パラメータの文字に対応づける。具体的には、学習処理によって予め各発話の基本音毎に各特徴パラメータの平均値を算出、登録しておき、これらの平均値とＳ２で算出された発話の基本音の特徴パラメータとの距離（以下、識別距離という。）が一番小さくなる発話の基本音の文字を顎と唇を含む顔の下半分形状を表す画像データに対応づける。ここで、識別距離として一般的なユークリッド距離や各座標の差の絶対値の総和であるマンハッタン距離などを使用できる。
【００７４】
図５は、母音（あ、い、う、え、お）又は撥音（ん）と第一形状パラメータの値及び第二形状パラメータの値との関係の一例を示すグラフである。図５では、「あ」の各形状パラメータの平均値Ｔ１、「い」の各形状パラメータの平均値Ｔ２、「う」の各形状パラメータの平均値Ｔ３、「え」の各形状パラメータの平均値Ｔ４、「お」の各形状パラメータの平均値Ｔ５、「ん」の各形状パラメータの平均値Ｔ６及び入力された顎と唇を含む顔の下半分形状を表す画像データの各形状パラメータＴをそれぞれ示している。図５では、Ｔと一番距離の近いＴ４の「え」を顎と唇を含む顔の下半分形状を表す画像データに対応づける。
【００７５】
図６は、母音（あ、い、う、え、お）又は撥音（ん）と各座標パラメータの平均値との関係の一例を示すグラフである。図６では、「あ」のＨ１／Ｗ１の座標パラメータの平均値Ｕ１１、「あ」のＨ２／Ｗ２の座標パラメータの平均値Ｕ１２、「あ」のＳ１／Ｓ２の座標パラメータの平均値Ｕ１３、「い」のＨ１／Ｗ１の座標パラメータの平均値Ｕ２１、「い」のＨ２／Ｗ２の座標パラメータの平均値Ｕ２２、「い」のＳ１／Ｓ２の座標パラメータの平均値Ｕ２３、「う」のＨ１／Ｗ１の座標パラメータの平均値Ｕ３１、「う」のＨ２／Ｗ２の座標パラメータの平均値Ｕ３２、「う」のＳ１／Ｓ２の座標パラメータの平均値Ｕ３３、「え」のＨ１／Ｗ１の座標パラメータの平均値Ｕ４１、「え」のＨ２／Ｗ２の座標パラメータの平均値Ｕ４２、「え」のＳ１／Ｓ２の座標パラメータの平均値Ｕ４３、「お」のＨ１／Ｗ１の座標パラメータの平均値Ｕ５１、「お」のＨ２／Ｗ２の座標パラメータの平均値Ｕ５２、「お」のＳ１／Ｓ２の座標パラメータの平均値Ｕ５３、「ん」のＨ１／Ｗ１の座標パラメータの平均値Ｕ６１、「ん」のＨ２／Ｗ２の座標パラメータの平均値Ｕ６２及び「ん」のＳ１／Ｓ２の座標パラメータの平均値Ｕ６３、入力された顎と唇を含む顔の下半分形状を表す画像データのＨ１／Ｗ１の値Ｕ１、Ｈ２／Ｗ２の値Ｕ２及びＳ１／Ｓ２の値Ｕ３をそれぞれ示している。図６では、Ｕ１と各Ｕ１１〜Ｕ６１までの距離と、Ｕ２と各Ｕ１２〜Ｕ６２までの距離と、Ｕ３と各Ｕ１３〜Ｕ６３までの距離との総和、つまり、入力された顎と唇を含む顔の下半分形状を表す画像データの各座標パラメータＵ１、Ｕ２及びＵ３と各発話の基本音の座標パラメータとのマンハッタン距離が最小となる発話の基本音に対応する文字を入力された顎と唇を含む顔の下半分形状を表す画像データに対応付づける。
【００７６】
Ｓ４．予め登録された第１の文字列と第２の文字列が一致するか比較
ステップＳ４では、ステップＳ３で決定された第２の文字列を第１の文字列と比較し、認証の許可及び不許可を判別する。
【００７７】
第１の文字列は発話の基本音のみからなり、本発明に係る認証装置において、認証のために予め登録されている。第１の文字列は、誤認証を避けるために、同じ文字の連続を禁止したり、各文字の特徴パラメータを明確に区別できるように構成したりすることもできる。
【００７８】
Ｓ５．結果の出力
ステップＳ５では、ステップＳ４で第１の文字列と第２の文字列の比較された結果が、一致する場合は認証を許可し、不一致の場合は認証を不許可とする結果を出力部より出力する。
【００７９】
第１の実施形態では、画像入力装置とコンピュータのみで認証装置を構築できるため、他の認証装置よりも簡単で、かつ安価である。また、ＡＡＭを用いて顎と唇を含む顔の下半分形状を表す画像データから発話の基本音を識別しているため、従来よりも処理速度が速く、高精度の認証が可能である。
【００８０】
（第２の実施形態）−他の認証システムと連携した認証装置について−
本発明に係る認証装置は、他の認証システム、例えば、顔認証システム、声紋認証システム又はそれらの複合のシステム等と連携することによって、より頑強な認証を行うことができる。以下に、第２の実施形態として、顔認証システムと連携を行う認証装置を例に挙げて説明する。なお、本発明の技術的思想の範囲と解される限りにおいて、いかなる意味においても以下の実施形態により制限的に解釈されるものではない。
【００８１】
図８は、本発明に係る第２の実施形態の認証装置を示す概略図である。図８では、第１の実施形態の認証装置と同様に認証装置１はＣＰＵ２、一時記憶装置３、記憶装置４、入力インターフェース５及び出力インターフェース６を備えていること示している。認証装置１では、画像入力装置７から入力インターフェース５を介して顎と唇を含む顔の下半分形状を表す画像データ列と、顔認証システム９から入力インターフェース５を介して認証の結果とが入力される。その入力された認証の結果が認証を許可しない場合、ＣＰＵ２は認証を不許可にする結果を出力インターフェース６を介して出力装置８に出力する。また、その入力された認証の結果が認証を許可する場合、ＣＰＵ２は入力された顎と唇を含む顔の下半分形状を表す画像データに基づいて認証処理を行い、その結果を出力インターフェース６を介して出力装置８に出力する。
【００８２】
図９は、本発明に係る認証装置の第２の実施形態の処理の流れを示すフローチャートである。図９では、まず顎と唇を含む顔の下半分形状を表す画像データ列及び顔認証システムの出力結果を入力し（ステップＳ１ａ）、次に顔認証システムの認証結果の判別を行い（ステップＳ２ａ）、顔認証システムの認証結果が認証を許可しない場合、認証を不許可とする結果を出力し（ステップＳ６ａ）、顔認証システムの認証結果が認証を許可する場合、顎と唇を含む顔の下半分形状を表す画像データ毎にＡＡＭのパラメータを算出し（ステップＳ３ａ）、次にそのパラメータを基に顎と唇を含む顔の下半分形状を表す画像データ毎に対応する発話の基本音を決定し、顎と唇を含む顔の下半分形状を表す画像データ列に対応する文字列を決定し（ステップＳ４ａ）、次にその文字列と予め登録された発話の基本音のみからなる文字列と比較し（ステップＳ５ａ）、一致する場合は認証を許可し、不一致の場合は認証を不許可とする結果を出力する（ステップＳ６ａ）処理の流れを示している。
【００８３】
第２の実施形態では、顎と唇を含む顔の下半分形状を表す画像データを基にＡＡＭのパラメータを算出する処理（ステップＳ３ａ）と、そのパラメータを基に顎と唇を含む顔の下半分形状を表す画像データ毎に対応する発話の基本音を決定し、顎と唇を含む顔の下半分形状を表す画像データ列に対応する文字列を決定する処理（ステップＳ４ａ）と、その文字列と予め登録された発話の基本音のみからなる文字列と比較する処理（ステップＳ５ａ）と、認証の結果を出力する処理（ステップＳ６ａ）とが第１の実施形態と同じ処理である。したがって、以下に図９における顔認証システムの認証結果の判別を行う処理（ステップＳ２ａ）について説明する。
【００８４】
Ｓ２ａ．顔認証システムの認証結果の判別を行う処理
ステップＳ２ａでは、ステップＳ１ａで入力された顔認証システムの認証結果を判別し、顔認証システムの認証が許可である場合に顎と唇を含む顔の下半分形状を表す画像データ列を基に認証を行い、顔認証システムの認証が不許可である場合に認証を不許可とし認証処理を終了する処理を行っている。具体的には、例えば、顔認証システムからの受信データを認証を許可する場合の値を０、認証を不許可とする場合の値を１として予め取り決めておき、その値によって認証の許可又は不許可を判別する。また、顔認証システムの認証結果以外のデータ、例えば、顔認証システムで前処理された顎と唇を含む顔の下半分形状を表す画像データ列やＡＡＭのパラメータその他顔の特徴点を表すパラメータ等を受信することもできる。
【００８５】
第２の実施形態では、顔認証システムの認証結果の判別処理（ステップＳ２ａ）は、顔認証システムの認証結果が入力された後直ぐに実施されるが、他システムの連携や顎と唇を含む顔の下半分形状を表す画像データ列を基にした認証処理済みデータを利用することも考慮して、顔認証システムの認証結果が入力された後はどのタイミングで実施しても構わない。
【００８６】
第２の実施形態では、顔認証システムとの連携として顔認証システムの認証結果のみを受信し、その認証結果と合わせて認証処理を行っているが、本発明に係る認証装置では、顔認証のプログラム及びそのデータを記録装置等に内蔵し、顎と唇を含む顔の下半分形状を表す画像データ列を基にした認証処理と並列に顔認証の処理を行っても良い。これにより、顔認証システムのハードウェアを省略でき、安価で頑強な認証装置を構築することができる。
【００８７】
第２の実施形態では、顔認証システムの判別条件に応じて様々な認証を実現することができる。具体的に顔認証システムの判別条件が（１）顔認証システムの判別条件を緩くし、本人の排除率を低くする場合と、（２）顔認証システムの判別条件を厳しくし、他人の受け入れ率を低くする場合との二通りについて説明する。ここで、本人の排除率とは、顔認証システムにより対象人物が本人であるにもかかわらず本人であると認証されなかった割合をいい、他人の受け入れ率とは、顔認証システムにより対象人物が他人であるにもかかわらず本人であると認証された割合をいう。したがって、一般的に理想の認証システムの目標は、本人の排除率及び他人の受け入れ率を共にゼロにすることである。
【００８８】
（１）顔認証システムの判別条件を緩くし、本人の排除率を低くする場合
顔認証システムだけでは、一般的に本人の排除率及び他人の受け入れ率を共にゼロにすることは不可能である。また、顔認証システムの判別条件を緩くすると、本人の排除率が低くなると共に他人の受け入れ率も高くなる。したがって、本条件では、顔認証システムで本人と認証された対象人物を第１の実施形態の認証装置で認証することにより、他人の受け入れ率を低くし、全体的な認証精度を保持することとなる。本条件では、認証に必要な顔画像等の情報を少なくし、利便性を上げることができる。
【００８９】
（２）顔認証システムの判別条件を厳しくし、他人の受け入れ率を低くする場合
顔認証システムの判別条件を厳しくすると、他人の受け入れ率が低くなると共に本人の排除率も高くなる。したがって、本条件では、顔認証システムで他人と認証された対象人物を第１の実施形態の認証装置で認証することにより、本人の排除率を低くすることができる。本条件では、他人、つまり、本人以外を高精度で排除することができる。
【００９０】
具体的な認証方法として、本条件における実施形態を説明する。まず、顔認証システムにおいて、認証結果とは別に、本人との類似度等をスコア１として算出する。次に、第１の実施形態の認証装置において、認証結果とは別に、第１の文字列と第２の文字列との比較結果を基にしたスコア２を算出する。このスコア１とスコア２との和が、ある一定の閾値以上である場合に本人であると認証する。
【００９１】
第２の実施形態では、顔認証システム等を含む他の認証システムと連携して認証を実施するため、第１の実施形態の認証装置の短所を他の認証システムで、また、他の認証システムの短所を第１の実施形態の認証装置で補うことができる。具体的には、第１の実施形態の認証装置では、発話する文字列が意図的や事故等で外部に漏れた場合や偶然同じ発話の基本音を用いる文字列を発話した画像データ列を処理する場合等において、本来認証を不許可とする対象者に対して認証を許可する結果を出力することとなる。また、第１の実施形態の認証装置では、マスク、髭及び外傷等によるロバスト性の低下による誤認証も問題となることがある。しかし、顔認証システムと連携することによって、本人と認証された対象者だけに絞って第１の実施形態の認証装置で認証を行うため、意図しない認証を許可する対象者を減らすことができる。また、声紋認証システムと連携することによって、ロバスト性の低下による誤認証も低減できる。逆に、顔認証システムの精度のバラツキや騒音等を含む環境ノイズによる声紋認証システムの誤認証を第１の実施形態の認証装置で排除することができる。
【００９２】
第２の実施形態では、顔認証システム等を含む他の認証システムと連携して認証を実施するため、第１の実施形態よりも、頑強で高精度の認証が可能である。
【産業上の利用可能性】
【００９３】
本発明は、安価で簡単に認証装置を構築でき、高精度で認証を実施できるため、特にカメラとコンピュータのみで認証を実施するセキュリティシステム等に応用が期待される。従って、本発明の産業上利用可能性は極めて大きい。
【符号の説明】
【００９４】
１ 認証装置
２ ＣＰＵ（Central Processing Unit）
３ 一時記憶装置（ＲＡＭ）
４ 記憶装置
５ 入力インターフェース
６ 出力インターフェース
７ 画像入力装置
８ 出力装置
９ 顔認証システム
５０ 画像データ
５１ 形状モデル
５２ テキスチャモデル
Ｂ１ 口全体の面積
Ｂ２ 唇の面積
Ｈ１ 内唇の高さ
Ｈ２ 外唇の高さ
Ｗ１ 内唇の幅
Ｗ２ 外唇の高さ
【技術分野】
【０００１】
本発明は、顔の画像データから個人などを含む特定者を識別する認証装置に関するものである。
【背景技術】
【０００２】
近年、個人などを含む特定者を認証する方法として、指紋、虹彩、静脈、声紋、顔及び筆跡などを含む生体認証が研究されている。この生体認証では、一般的に認証するための情報を事前に採取登録し、認証時にセンサやカメラ等で取得した情報と比較することで認証を行う。
【０００３】
ここで、カメラとコンピュータのみで比較的安価にシステムを構築できる生体認証の代表として、顔の画像データから個人を認証する顔画像認証システムが挙げられる。
【０００４】
この顔画像認証システムでは、一般的に、膨大なデータを扱うため、他の生体認証よりも事前登録や認証処理に時間がかかる。また、この顔画像認証システムでは、お面等を使った成りすましに弱く、傾き、光、眼鏡、経年変化又は髪形等の多様性に対する耐性も不十分であるため、認証精度にバラツキが生じるといった問題もある。
【０００５】
そこで、顔の画像データから目、鼻、口等のある特定部位を検出し、認証に用いる研究が進められている。例えば、顔の画像データから口唇形状を特定し、個人認証、顔認識や単語認識等を行っている。（特許文献１乃至３）
【０００６】
特許文献１では、指定したメッセージを対象者に発話してもらい、その発話をカメラで取得して口唇の動きを検出し、その口唇の動きに対応する母音及び母音無しを指定したメッセージの母音及び母音無しと比較することによって、写真等による顔のすげ替えを防ぐ個人認証装置を開示している。また、特許文献３では、特許文献１の口唇の動きに対応する単語の認識方法として、固有空間法を用いて口唇画像に含まれる固有画像の含有率を基に単語を識別している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−９９６２６号公報
【特許文献２】特開２００３−１８７２４７号公報
【特許文献３】特開２００２−１９７４６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献３の単語の認識方法では、口唇の形状の画像に対して向きや角度等の追従性が乏しいため、単語の認識精度には大きなバラツキが生じ、その結果、特許文献１の個人認証装置においても大きな影響を及ぼすといった問題がある。
【０００９】
本発明は、上記に鑑みてなされたものであり、従来の生体認証システムよりも簡単に安価で構築でき、従来の顔認証システムよりも処理速度が速く、個人の多様性に大きく影響を受けず、安定して高い認証精度を得ることができる認証装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る認証装置は、顎と唇を含む顔の下半分形状を表す画像データ列から個人を含むある特定者を識別する認証装置であり、特定者を識別する精度等の基準に応じて大きく分けて４つの認証装置を提供する。
【００１１】
第１の発明は、中央演算処理装置と、一つ又は複数の顎と唇を含む顔の下半分形状を表す画像データ列を受けつける入力部と、予め、一般の顎と唇を含む顔の下半分形状を表す画像データを主成分分析によって得られる形状主成分、テクスチャ主成分及び一般の母音（あ、い、う、え、お）又は撥音（ん）を発話した画像データから算出される特徴量を表すパラメータが予め関係付けられたデータベース並びに第１の文字列を含む記憶装置と、中央演算処理装置による計算結果を出力する出力部と、を備えた認証装置であって、中央演算処理装置は、顎と唇を含む顔の下半分形状を表す画像データ列から、形状主成分とテクスチャ主成分とを基に母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータを画像データごとに計算し、その特徴量を表すパラメータが予め関係付けられたデータベースを基に顎と唇を含む顔の下半分形状を表す画像データを母音（あ、い、う、え、お）及び撥音（ん）のいずれか一つにそれぞれ対応付けすることにより第２の文字列を生成し、第１及び第２の文字列が一致する場合に認証を許可する結果を出力部に出力するステップを実行させるプログラムを具備することを特徴とする。
【００１２】
第１の発明は、画像入力装置とコンピュータのみで認証装置を構築できるため、他の認証装置よりも簡単で、かつ安価である。また、顔の画像データよりもデータ量の少ない顎と唇を含む顔の下半分形状を表す画像データを扱うことで、顔認証システムよりも認証する処理速度を速くでき、母音（あ、い、う、え、お）及び撥音（ん）のデータのみを認証に使用するため個人の多様性に大きく影響を受けず、音声データを使用しないため環境ノイズに強く、しかも座標値を特徴とする形状主成分と輝度値を特徴とするテクスチャ主成分によって母音（あ、い、う、え、お）及び撥音（ん）の文字を認識するため、全体的に安定した認証をすることができる。
【００１３】
第１の発明では、母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータは、下式１、下式２及び下式３であらわされる形状パラメータｐｉ、テクスチャパラメータλｊ、座標パラメータｒｋ又はそれらの複合であっても良い。
【００１４】
（式１）
但し、
ｓ：特徴点の座標値から構成される形状モデルのベクトル、
ｓ０：形状モデルの平均ベクトル、
ｓｉ：形状モデルのｉ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル、
ｐｉ：形状モデルのｉ番目の主成分ベクトルに対応する形状パラメータ、
ｎは１以上の整数であり、かつ、形状モデルの主成分ベクトルの数、
【００１５】
（式２）
但し、
Ａ（ｘ）：ｓ０に含まれるテキスチャの輝度値、
Ａ０（ｘ）：平均テキスチャの輝度値、
Ａｊ（ｘ）：テキスチャの輝度値のｊ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル、
λｊ：テキスチャの輝度値のｊ番目の主成分ベクトルに対応するテキスチャパラメータ、
ｍは１以上の整数であり、かつ、テキスチャの主成分ベクトルの数、
【００１６】
（式３）
但し、
Ｈ１：内唇の高さ、
Ｈ２：外唇の高さ、
Ｗ１：内唇の幅、
Ｗ２：外唇の高さ、
Ｂ１：口全体の面積、
Ｂ２：唇の面積
【００１７】
これにより、顎と唇を含む顔の下半分形状を表す画像データを母音（あ、い、う、え、お）及び撥音（ん）の一つに対応付ける処理速度及び精度を向上させることができ、顎と唇を含む顔の下半分形状を表す画像データ列からの認証を短時間で高精度に行うことができる。
【００１８】
第１の発明では、第１の文字列及び第２の文字列は、一桁の数字を複数連続して発話した単語群から母音（あ、い、う、え、お）及び撥音（ん）のみを時系列に並べた文字列であっても良い。
【００１９】
これにより、一桁の数字を複数連続で発話された顎と唇を含む顔の下半分形状を表す画像データ列から、認証をすることができる。
【００２０】
第２の発明は、第１の発明に、さらに、顔を表す画像データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける顔認証入力部を備え、中央演算処理装置は、顎と唇を含む顔の下半分形状を表す画像データ列から、形状主成分とテクスチャ主成分とを基に母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータを画像データごとに計算し、その特徴量を表すパラメータが予め関係付けられたデータベースを基に顎と唇を含む顔の下半分形状を表す画像データを母音（あ、い、う、え、お）及び撥音（ん）のいずれか一つにそれぞれ対応付けすることにより第２の文字列を生成し、第１及び第２の文字列が一致し、かつ、前記顔認証入力部の受けつけたデータが本人である（真）場合に認証を許可する結果を出力部に出力するステップを実行させるプログラムを具備することを特徴とする。
【００２１】
第２の発明は、画像入力装置とコンピュータのみで認証装置を構築できるため、他の認証システムよりも簡単で、かつ安価である。また、第１の発明と顔を表す画像データから認証する顔画像認証システムとを連携させて認証することにより、認証の精度にバラツキの有る顔画像認証システムで誤認証した特定者を第１の発明において排除することができ、また、逆に第１の発明において、偶然、顎と唇を含む顔の下半分形状を表す画像データ列が同一であった場合による誤認証した特定者を顔画像認証システムにおいて排除することができ、第１の発明よりも全体的に認証精度を向上させ、頑強な認証装置とすることができる。
【００２２】
第３の発明は、第１の発明に、さらに、声紋データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける声紋認証入力部を備え、中央演算処理装置は、顎と唇を含む顔の下半分形状を表す画像データ列から、形状主成分とテクスチャ主成分とを基に母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータを画像データごとに計算し、その特徴量を表すパラメータが予め関係付けられたデータベースを基に顎と唇を含む顔の下半分形状を表す画像データを母音（あ、い、う、え、お）及び撥音（ん）のいずれか一つにそれぞれ対応付けすることにより第２の文字列を生成し、第１及び第２の文字列が一致し、かつ、声紋認証入力部の受けつけたデータが本人である（真）場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備することを特徴とする。
【００２３】
第３の発明は、第１の発明と声紋データから認証する声紋認証システムとを連携させて認証することにより、顎と唇を含む顔の下半分形状を表す画像データ内の髭、外傷及びノイズ等によるロバスト性の低下、つまり不確定要素の影響を少なくでき、第１の発明よりも全体的に認証精度を向上させ、頑強な認証装置とすることができる。
【００２４】
第４の発明は、第１の発明に、さらに、顔を表す画像データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける顔認証入力部と、声紋データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける声紋認証入力部とを備え、中央演算処理装置は、顎と唇を含む顔の下半分形状を表す画像データ列から、形状主成分とテクスチャ主成分とを基に母音（あ、い、う、え、お）又は撥音（ん）の特徴量を表すパラメータを画像データごとに計算し、その特徴量を表すパラメータが予め関係付けられたデータベースを基に顎と唇を含む顔の下半分形状を表す画像データを母音（あ、い、う、え、お）及び撥音（ん）のいずれか一つにそれぞれ対応付けすることにより第２の文字列を生成し、第１及び第２の文字列が一致し、かつ、前記顔認証入力部の受けつけたデータが本人であり（真）、かつ、前記声紋認証入力部の受けつけたデータが本人である（真）場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備することを特徴とする。
【００２５】
第４の発明は、第１の発明と、顔を表す画像データから認証する顔画像認証システムと、声紋データから認証する声紋認証システムと、を連携させて認証することにより、第２の発明及び第３の発明の利点を併せ持ち、第２の発明及び第３の発明よりも全体的に認証精度を向上させ、頑強な認証装置とすることができる。
【発明の効果】
【００２６】
本発明に係る認証装置によると、簡単に安価で認証装置を構築でき、従来の顔認証システムよりも処理速度が速く、雑音などを含む環境ノイズに強く、個人の多様性に大きく影響を受けず、安定して高い認証精度を得ることができる。
【図面の簡単な説明】
【００２７】
【図１】図１は、本発明に係る認証装置の一般的な処理の流れを示すフローチャートである。
【図２】図２は、三角形のアフィン変換を説明する図である。図３（ａ）は、平均形状ｓ０内の任意の三角形を表し、図３（ｂ）は、図３（ａ）の形状モデルｓへのアフィン変換後の三角形を表す図である。
【図３】図３は、顔の画像データを形状モデルとテクスチャモデルで表したＡＡＭの一例を示す図である。
【図４】図４は、座標パラメータを説明する図である。
【図５】図５は、母音（あ、い、う、え、お）又は撥音（ん）と第一形状パラメータの値及び第二形状パラメータの値との関係の一例を示すグラフである。
【図６】図６は、母音（あ、い、う、え、お）又は撥音（ん）と各座標パラメータの平均値との関係の一例を示すグラフである。
【図７】図７は、本発明に係る認証装置を示す概略図である。
【図８】図８は、本発明に係る第２の実施形態の認証装置を示す概略図である。
【図９】図９は、本発明に係る認証装置の第２の実施形態の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２８】
本発明に係る認証装置は、入力された顎と唇を含む顔の下半分形状を表す画像データ列からそのデータ列に対応する文字列を決定し、その文字列と予め登録された文字列とを比較して、一致の場合認証を許可し、不一致の場合認証を不許可とする結果を出力する。ここで、文字列とは複数の文字データであり、具体的には複数の文字に対応するキャラクターコードをいう。また、顎と唇を含む顔の下半分形状とは、顎と唇の形状をそれぞれ含む顔の鼻から下の形状をいい、唇の形状を特定するのに必要な情報を意味する。
【００２９】
本発明の技術的思想の最も重要な部分は、顎と唇を含む顔の下半分形状を表す画像データ列から認証のために使用する文字列を高精度で識別し決定することである。以下に、顎と唇を含む顔の下半分形状を表す画像データから統計学的なモデルの一つであるActive Appearance Model（以下、「ＡＡＭ」という。）によるパラメータを算出し、そのパラメータから顎と唇を含む顔の下半分形状を表す画像データ列に対応する母音及び撥音（以下、「発話の基本音」という。）のみからなる文字列を決定し、その文字列を用いた認証装置を説明する。ここで、母音は一般的に各国や方言等によって異なるが、本発明では、一例として標準の日本語である「あ、い、う、え、お」を、撥音は「ん」を用いる。発話の基本音のみを文字列として使用する理由は、子音に比べて、各発話の基本音毎に顎と唇を含む顔の下半分形状の特徴が明確であり、各発話の基本音を識別し易いからである。なお、本発明の技術的思想の範囲と解される限りにおいて、いかなる意味においても以下の実施形態により制限的に解釈されるものではない。
【００３０】
（第１の実施形態）−顎と唇を含む顔の下半分形状を表す画像データ列を利用した認証装置について−
図７は、本発明に係る認証装置を示す概略図である。図７では、認証装置１はＣＰＵ２、一時記憶装置３、記憶装置４、入力インターフェース５及び出力インターフェース６を備えていること示している。認証装置１では、画像入力装置７から入力インターフェース５を介して顎と唇を含む顔の下半分形状を表す画像データ列が入力され、ＣＰＵ２はその入力された画像データに基づいて認証処理を行い、その結果を出力インターフェース６を介して出力装置８に出力する。ここで、画像入力装置７は、画像信号を入力できる装置であれば良く、例えば、カメラや記録媒体を読み取る装置等が挙げられる。また、出力装置８は、認証許可や不許可を表示する装置やセキュリティを実施するための装置であれば良く、例えば、ディスプレイ、ゲートの開閉装置や鍵の開閉装置等が挙げられる。
【００３１】
記憶装置４には、予め、一般の顎と唇を含む顔の下半分形状を表す画像データを用いて主成分分析の学習処理によって求められた形状主成分及びテクスチャ主成分と、発話の基本音に関係付けられた特徴パラメータと、認証に用いる第１の文字列とを登録しておくことができる。
【００３２】
図１は、本発明に係る認証装置の基本的な処理の流れを示すフローチャートである。図１では、まず顎と唇を含む顔の下半分形状を表す画像データ列を入力し（ステップＳ１）、次に顎と唇を含む顔の下半分形状を表す画像データ毎にＡＡＭのパラメータを算出し（ステップＳ２）、次にそのパラメータを基に顎と唇を含む顔の下半分形状を表す画像データ毎に対応する発話の基本音を決定し、顎と唇を含む顔の下半分形状を表す画像データ列に対応する文字列を決定し（ステップＳ３）、次にその文字列と予め登録された発話の基本音のみからなる文字列と比較し（ステップＳ４）、一致する場合は認証を許可し、不一致の場合は認証を不許可とする結果を出力する（ステップＳ５）処理の流れを示している。
【００３３】
以下に図１におけるステップＳ１乃至ステップＳ５について説明する。
Ｓ１．顎と唇を含む顔の下半分形状を表す画像データ列を入力
最初のステップＳ１では、認証装置の入力部に顎と唇を含む顔の下半分形状を表す画像データ列を入力する。ここで、顎と唇を含む顔の下半分形状を表す画像データとは、例えば、発話している口周辺をカメラ等で取得した画像データをいい、また、画像データ列とは、時系列に順番に並べられた静止画像のデータをいう。
【００３４】
Ｓ２．顎と唇を含む顔の下半分形状を表す画像データ毎に母音（あ、い、う、え、お）及び撥音（ん）の特徴量のパラメータを算出
ステップＳ２では、ステップＳ１で入力された顎と唇を含む顔の下半分形状を表す画像データ列から各画像データ毎に発話の基本音の特徴パラメータ、つまり、ＡＡＭによるパラメータを算出する。
【００３５】
ＡＡＭとは、対象領域の形状とテクスチャ、具体的には対象領域の座標値と輝度値に関する特徴をパラメータとして持つ統計学的なモデルであり、事前に形状とテクスチャそれぞれに対し互いに無相関な主成分空間、具体的には下記式１で示される形状モデルのベクトルｓと下記式２で示されるテキスチャの輝度値Ａ（ｘ）を作成し、形状及びテクスチャの入力データをその空間に投影することでそのデータをより低次元で表現することが可能となる。したがって、ＡＡＭを用いた認証装置では、入力された画像データの追従性が高いため、その画像データを高精度に処理することができ、処理速度も次元数に比例するが、従来よりも高速に処理をすることができる。
【００３６】
（式１）
但し、
ｓ：特徴点の座標値から構成される形状モデルのベクトル（以下、形状モデルという。）、
ｓ０：形状モデルの平均ベクトル（以下、平均形状という）、
ｓｉ：形状モデルのｉ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル（以下、第ｉ形状モデル主成分という。）、
ｐｉ：形状モデルのｉ番目の主成分ベクトルに対応する形状パラメータ（以下、形状パラメータという。）、
ｎは１以上の整数であり、かつ、形状モデルの主成分ベクトルの数、
【００３７】
（式２）
但し、
Ａ（ｘ）：ｓ０に含まれるテキスチャの輝度値（以下、テクスチャモデルという。）、
Ａ０（ｘ）：平均テキスチャの輝度値（以下、平均テクスチャという。）、
Ａｊ（ｘ）：テキスチャの輝度値のｊ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル（以下、第ｊテキスチャ主成分という。）、
λｊ：テキスチャの輝度値のｊ番目の主成分ベクトルに対応するテキスチャパラメータ（以下、テクスチャパラメータという。）、
ｍは１以上の整数であり、かつ、テキスチャの主成分ベクトルの数
【００３８】
形状モデルｓは、複数の特徴点から構成される三角形の集合メッシュで定義され、形状モデルｓのメッシュを構成する全ての三角形は、平均形状ｓ０のメッシュを構成する三角形に過不足なく対応するので、平均形状ｓ０から形状モデルｓへ、それぞれ対応する三角形ごとにアフィン変換を行うことができる。ここで、本発明においてメッシュとは、コンピュータを用いて計算を行う際に、データを取る最小の単位のこと、つまり、計算格子をいい、三角形の集合メッシュとは、三角形を一単位として構成される計算格子をいう。また、アフィン変換とは、回転及び拡大縮小を含む線形変換と平行移動を組み合わせた写像をいい、同一直線上の各点間の距離の比は、アフィン変換後も変わらない等の性質を持つ。
【００３９】
図２は、三角形のアフィン変換を説明する図である。図２（ａ）は、平均形状ｓ０内の任意の三角形を表し、図２（ｂ）は、図２（ａ）の形状モデルｓへのアフィン変換後の三角形を表す図である。図２（ａ）では、各三角形の頂点の座標を（ｘｉ０，ｙｉ０）、（ｘｊ０，ｙｉ０）及び（ｘｋ０，ｙｋ０）とし、その座標によって表される三角形内の任意の点を（ｘ，ｙ）としている。また、図２（ｂ）では、各三角形の頂点の座標を（ｘｉ，ｙｉ）、（ｘｊ，ｙｉ）及び（ｘｋ，ｙｋ）、図２（ａ）の（ｘ、ｙ）のアフィン変換後の点をＷ（ｘ，ｙ；ｐ）とし、点線の矢印は、図２（ａ）の（ｘ，ｙ）から図２（ｂ）のＷ（ｘ，ｙ；ｐ）に本発明のアフィン変換によって変換されていることを示している。
【００４０】
図２（ａ）及び（ｂ）の（ｘ、ｙ）は実数α及びβを用いて、下記式４で示される。
【００４１】
（式４）
ここで、（）ＴのＴは転置を表す。
【００４２】
図２（ｂ）のＷ（ｘ，ｙ；ｐ）は、下記式５で示される。
【００４３】
（式５）
【００４４】
テクスチャモデルＡ（ｘ）は、形状モデルｓの平均形状ｓ０に含まれるテクスチャの輝度値で定義される。ここで、ｘは（ｘ，ｙ）の座標を表す。
【００４５】
図３は、顔の画像データを形状モデルとテクスチャモデルで表したＡＡＭの一例を示す図である。画像データ５０は、上記式１で示される形状モデル５２及び上記式２で示されるテキスチャモデル５１によって、表されている。
【００４６】
ＡＡＭでは、形状モデルの主成分ベクトルｓｉ及びテキスチャの輝度値の主成分ベクトルＡｊ（ｘ）は、学習処理、つまり、事前に複数の一般の顎と唇を含む顔の下半分形状を表した画像データから主成分分析（Principal Component Analysis）によってそれぞれ求められる。
【００４７】
主成分分析とは、高次元の特徴空間に分散する多数の学習用の画像等を含むデータから、分布をよく表現できる低次元の特徴空間を求める手法である。この低次元の特徴空間を部分空間という。同じクラスに属する、つまり、同じ特徴を持つ多数のデータの値をそのまま高次元の特徴空間にプロットすると、きわめて低い次元の部分空間に分布することが知られており、この低い次元の部分空間だけを用いることによって情報の損失を最小限に抑えながら、高次元のデータを効率良く扱うことができる。
【００４８】
具体的には、Ｎ個の学習用の入力画像データ群の特徴量をＫ個とすると、入力画像データを特徴ベクトルｘｎ＝（ｘｎ１，ｘｎ２，・・・，ｘｎｋ）、（ｎ＝１，２，・・・Ｎ）として、下記式６を満たす固有値λｊと固有ベクトルｕｊを求め、固有値λｉの大きいほうからそれに対応する固有ベクトルｕｊをｄ個選ぶと、ｄ次元の主成分（ｕ１，ｕ２，・・・ｕｄ）が求まる。また、特徴ベクトルの次元数が顔画像枚数に対して大きい場合、分散共分散行列は特異になるため、特異値分解（SVD; Singular Value Decomposition）を用いて固有値λｊと固有ベクトルｕｊを求める。
【００４９】
（式６）
【００５０】
但し、平均ベクトルＭと分散共分散行列ＶＣは下記式７で示される。
【００５１】
（式７）
【００５２】
ステップＳ２では、発話の基本音の特徴パラメータとして、学習処理によって得られる形状モデルの主成分ベクトルｓｉ及びテキスチャの輝度値の主成分ベクトルＡｊ（ｘ）を上記式１及び上記式２に用いて、入力された顎と唇を含む顔の下半分形状を表す画像データ毎に最適にフィッティング、つまり、当てはめることができる形状パラメータｐｉ及びテキスチャパラメータλｊをそれぞれ求める。
【００５３】
ここで、平均形状ｓ０内の座標ｘ＝（ｘ，ｙ）に対応する入力画像Ｉ（ｘ，ｙ）内の座標をＷ（ｘ，ｙ：ｐ）とすると、入力画像Ｉ（ｘ，ｙ）を平均形状ｓ０に変換させた画像はＩ（Ｗ（ｘ，ｙ：ｐ））となる。したがって、ＡＡＭを用いたフィッティングでは、下記式８のエラー画像Ｅ（ｘ，ｙ）を平均形状ｓ０内の対象領域全体において最小にする形状パラメータｐｉ及びテキスチャパラメータλｊを求めることになる。
【００５４】
（式８）
【００５５】
以下に、上記式８の平均形状ｓ０内の対象領域の全画素の差分の和の二乗が最小となるように、ｐｉ及びλｊの初期値を０と仮定し、ｐｉに変化量Δｐｉを、λｊに変化量Δλｊを繰り返し更新することによって最終的なｐｉ及びλｊを求める計算手法を説明する。
【００５６】
計算を高速に処理するために、近似的にテクスチャモデル側の形状を変化させて差分をとると、近似的に下記式９を最小にする形状パラメータｐｉ及びテキスチャパラメータλｊを求めることとなる。
【００５７】
（式９）
ここで、形状パラメータｐｉ、テキスチャパラメータλｊ、変化量Δｐｉ及び変化量Δλｊは下記式１０で定義される。
【００５８】
（式１０）
【００５９】
上記式９をテイラー展開し整理すると、下記式１１を得る。
【００６０】
（式１１）
【００６１】
但し、
（式１２）
上記式１２のα及びβは上記式５の実数であり、ｓｘｉｊ及びｓｙｉｊは座標（ｘｉ，ｙｉ）に対応する第ｊ形状モデル主成分ｓｊの要素である。
【００６２】
ここで、ＳＤ（ｘ）は下記式１３で定義される。
【００６３】
（式１３）
【００６４】
上記式１１を最小にする形状パラメータｐｉ、テキスチャパラメータλｊは上記式１３を用いて、下記式１４で示されるパラメータの変化量Δｑを更新することによって求められる。
【００６５】
（式１４）
【００６６】
ここで、Ｈはヘッセ行列と呼ばれ、ヘッセ行列の逆行列Ｈ−１は下記式１５で示される。
【００６７】
（式１５）
【００６８】
上記式１１〜上記式１５の更新処理を繰り返すことにより、パラメータの変化量Δｑは０に収束し、その収束した形状パラメータｐｉ及びテキスチャパラメータλｊをフィッティングに最適な値とし、その値を発話の基本音の特徴パラメータとする。
【００６９】
本発明に係る認証装置において、発話の基本音の特徴パラメータは、上記式１の形状パラメータｐｉ、上記式２のテキスチャパラメータλｊ、下記式３で示される座標パラメータｒｋ又はそれらの複合であっても良く、座標パラメータを用いることにより発話の基本音の識別精度が向上する。
【００７０】
（式３）
但し、
Ｈ１：内唇の高さ、
Ｈ２：外唇の高さ、
Ｗ１：内唇の幅、
Ｗ２：外唇の高さ、
Ｂ１：口全体の面積、
Ｂ２：唇の面積
【００７１】
図４は、座標パラメータを説明する図である。図４では、内唇の高さＨ１、外唇の高さＨ２、内唇の幅Ｗ１、外唇の高さＷ２、口全体の面積Ｂ１及び唇の面積Ｂ２をそれぞれ示しており、それらの値はＡＡＭを用いたフィッティング後の座標からそれぞれ求められる。
【００７２】
Ｓ３．顎と唇を含む顔の下半分形状を表す画像データ列に対応する第２の文字列を決定
ステップＳ３では、ステップＳ２で算出された発話の基本音の特徴パラメータを基に、顎と唇を含む顔の下半分形状を表す画像データ毎に発話の基本音の文字を対応づけし、その各文字を顎と唇を含む顔の下半分形状を表す画像データ列と同じ順番に並べて文字列を形成し、第２の文字列とする。
【００７３】
発話の基本音の特徴パラメータから発話の基本音の文字を識別する方法として、予め発話の基本音毎に各パラメータの取り得る範囲を領域分けしておき、最も近い領域にある発話の基本音の文字をその特徴パラメータの文字に対応づける。具体的には、学習処理によって予め各発話の基本音毎に各特徴パラメータの平均値を算出、登録しておき、これらの平均値とＳ２で算出された発話の基本音の特徴パラメータとの距離（以下、識別距離という。）が一番小さくなる発話の基本音の文字を顎と唇を含む顔の下半分形状を表す画像データに対応づける。ここで、識別距離として一般的なユークリッド距離や各座標の差の絶対値の総和であるマンハッタン距離などを使用できる。
【００７４】
図５は、母音（あ、い、う、え、お）又は撥音（ん）と第一形状パラメータの値及び第二形状パラメータの値との関係の一例を示すグラフである。図５では、「あ」の各形状パラメータの平均値Ｔ１、「い」の各形状パラメータの平均値Ｔ２、「う」の各形状パラメータの平均値Ｔ３、「え」の各形状パラメータの平均値Ｔ４、「お」の各形状パラメータの平均値Ｔ５、「ん」の各形状パラメータの平均値Ｔ６及び入力された顎と唇を含む顔の下半分形状を表す画像データの各形状パラメータＴをそれぞれ示している。図５では、Ｔと一番距離の近いＴ４の「え」を顎と唇を含む顔の下半分形状を表す画像データに対応づける。
【００７５】
図６は、母音（あ、い、う、え、お）又は撥音（ん）と各座標パラメータの平均値との関係の一例を示すグラフである。図６では、「あ」のＨ１／Ｗ１の座標パラメータの平均値Ｕ１１、「あ」のＨ２／Ｗ２の座標パラメータの平均値Ｕ１２、「あ」のＳ１／Ｓ２の座標パラメータの平均値Ｕ１３、「い」のＨ１／Ｗ１の座標パラメータの平均値Ｕ２１、「い」のＨ２／Ｗ２の座標パラメータの平均値Ｕ２２、「い」のＳ１／Ｓ２の座標パラメータの平均値Ｕ２３、「う」のＨ１／Ｗ１の座標パラメータの平均値Ｕ３１、「う」のＨ２／Ｗ２の座標パラメータの平均値Ｕ３２、「う」のＳ１／Ｓ２の座標パラメータの平均値Ｕ３３、「え」のＨ１／Ｗ１の座標パラメータの平均値Ｕ４１、「え」のＨ２／Ｗ２の座標パラメータの平均値Ｕ４２、「え」のＳ１／Ｓ２の座標パラメータの平均値Ｕ４３、「お」のＨ１／Ｗ１の座標パラメータの平均値Ｕ５１、「お」のＨ２／Ｗ２の座標パラメータの平均値Ｕ５２、「お」のＳ１／Ｓ２の座標パラメータの平均値Ｕ５３、「ん」のＨ１／Ｗ１の座標パラメータの平均値Ｕ６１、「ん」のＨ２／Ｗ２の座標パラメータの平均値Ｕ６２及び「ん」のＳ１／Ｓ２の座標パラメータの平均値Ｕ６３、入力された顎と唇を含む顔の下半分形状を表す画像データのＨ１／Ｗ１の値Ｕ１、Ｈ２／Ｗ２の値Ｕ２及びＳ１／Ｓ２の値Ｕ３をそれぞれ示している。図６では、Ｕ１と各Ｕ１１〜Ｕ６１までの距離と、Ｕ２と各Ｕ１２〜Ｕ６２までの距離と、Ｕ３と各Ｕ１３〜Ｕ６３までの距離との総和、つまり、入力された顎と唇を含む顔の下半分形状を表す画像データの各座標パラメータＵ１、Ｕ２及びＵ３と各発話の基本音の座標パラメータとのマンハッタン距離が最小となる発話の基本音に対応する文字を入力された顎と唇を含む顔の下半分形状を表す画像データに対応付づける。
【００７６】
Ｓ４．予め登録された第１の文字列と第２の文字列が一致するか比較
ステップＳ４では、ステップＳ３で決定された第２の文字列を第１の文字列と比較し、認証の許可及び不許可を判別する。
【００７７】
第１の文字列は発話の基本音のみからなり、本発明に係る認証装置において、認証のために予め登録されている。第１の文字列は、誤認証を避けるために、同じ文字の連続を禁止したり、各文字の特徴パラメータを明確に区別できるように構成したりすることもできる。
【００７８】
Ｓ５．結果の出力
ステップＳ５では、ステップＳ４で第１の文字列と第２の文字列の比較された結果が、一致する場合は認証を許可し、不一致の場合は認証を不許可とする結果を出力部より出力する。
【００７９】
第１の実施形態では、画像入力装置とコンピュータのみで認証装置を構築できるため、他の認証装置よりも簡単で、かつ安価である。また、ＡＡＭを用いて顎と唇を含む顔の下半分形状を表す画像データから発話の基本音を識別しているため、従来よりも処理速度が速く、高精度の認証が可能である。
【００８０】
（第２の実施形態）−他の認証システムと連携した認証装置について−
本発明に係る認証装置は、他の認証システム、例えば、顔認証システム、声紋認証システム又はそれらの複合のシステム等と連携することによって、より頑強な認証を行うことができる。以下に、第２の実施形態として、顔認証システムと連携を行う認証装置を例に挙げて説明する。なお、本発明の技術的思想の範囲と解される限りにおいて、いかなる意味においても以下の実施形態により制限的に解釈されるものではない。
【００８１】
図８は、本発明に係る第２の実施形態の認証装置を示す概略図である。図８では、第１の実施形態の認証装置と同様に認証装置１はＣＰＵ２、一時記憶装置３、記憶装置４、入力インターフェース５及び出力インターフェース６を備えていること示している。認証装置１では、画像入力装置７から入力インターフェース５を介して顎と唇を含む顔の下半分形状を表す画像データ列と、顔認証システム９から入力インターフェース５を介して認証の結果とが入力される。その入力された認証の結果が認証を許可しない場合、ＣＰＵ２は認証を不許可にする結果を出力インターフェース６を介して出力装置８に出力する。また、その入力された認証の結果が認証を許可する場合、ＣＰＵ２は入力された顎と唇を含む顔の下半分形状を表す画像データに基づいて認証処理を行い、その結果を出力インターフェース６を介して出力装置８に出力する。
【００８２】
図９は、本発明に係る認証装置の第２の実施形態の処理の流れを示すフローチャートである。図９では、まず顎と唇を含む顔の下半分形状を表す画像データ列及び顔認証システムの出力結果を入力し（ステップＳ１ａ）、次に顔認証システムの認証結果の判別を行い（ステップＳ２ａ）、顔認証システムの認証結果が認証を許可しない場合、認証を不許可とする結果を出力し（ステップＳ６ａ）、顔認証システムの認証結果が認証を許可する場合、顎と唇を含む顔の下半分形状を表す画像データ毎にＡＡＭのパラメータを算出し（ステップＳ３ａ）、次にそのパラメータを基に顎と唇を含む顔の下半分形状を表す画像データ毎に対応する発話の基本音を決定し、顎と唇を含む顔の下半分形状を表す画像データ列に対応する文字列を決定し（ステップＳ４ａ）、次にその文字列と予め登録された発話の基本音のみからなる文字列と比較し（ステップＳ５ａ）、一致する場合は認証を許可し、不一致の場合は認証を不許可とする結果を出力する（ステップＳ６ａ）処理の流れを示している。
【００８３】
第２の実施形態では、顎と唇を含む顔の下半分形状を表す画像データを基にＡＡＭのパラメータを算出する処理（ステップＳ３ａ）と、そのパラメータを基に顎と唇を含む顔の下半分形状を表す画像データ毎に対応する発話の基本音を決定し、顎と唇を含む顔の下半分形状を表す画像データ列に対応する文字列を決定する処理（ステップＳ４ａ）と、その文字列と予め登録された発話の基本音のみからなる文字列と比較する処理（ステップＳ５ａ）と、認証の結果を出力する処理（ステップＳ６ａ）とが第１の実施形態と同じ処理である。したがって、以下に図９における顔認証システムの認証結果の判別を行う処理（ステップＳ２ａ）について説明する。
【００８４】
Ｓ２ａ．顔認証システムの認証結果の判別を行う処理
ステップＳ２ａでは、ステップＳ１ａで入力された顔認証システムの認証結果を判別し、顔認証システムの認証が許可である場合に顎と唇を含む顔の下半分形状を表す画像データ列を基に認証を行い、顔認証システムの認証が不許可である場合に認証を不許可とし認証処理を終了する処理を行っている。具体的には、例えば、顔認証システムからの受信データを認証を許可する場合の値を０、認証を不許可とする場合の値を１として予め取り決めておき、その値によって認証の許可又は不許可を判別する。また、顔認証システムの認証結果以外のデータ、例えば、顔認証システムで前処理された顎と唇を含む顔の下半分形状を表す画像データ列やＡＡＭのパラメータその他顔の特徴点を表すパラメータ等を受信することもできる。
【００８５】
第２の実施形態では、顔認証システムの認証結果の判別処理（ステップＳ２ａ）は、顔認証システムの認証結果が入力された後直ぐに実施されるが、他システムの連携や顎と唇を含む顔の下半分形状を表す画像データ列を基にした認証処理済みデータを利用することも考慮して、顔認証システムの認証結果が入力された後はどのタイミングで実施しても構わない。
【００８６】
第２の実施形態では、顔認証システムとの連携として顔認証システムの認証結果のみを受信し、その認証結果と合わせて認証処理を行っているが、本発明に係る認証装置では、顔認証のプログラム及びそのデータを記録装置等に内蔵し、顎と唇を含む顔の下半分形状を表す画像データ列を基にした認証処理と並列に顔認証の処理を行っても良い。これにより、顔認証システムのハードウェアを省略でき、安価で頑強な認証装置を構築することができる。
【００８７】
第２の実施形態では、顔認証システムの判別条件に応じて様々な認証を実現することができる。具体的に顔認証システムの判別条件が（１）顔認証システムの判別条件を緩くし、本人の排除率を低くする場合と、（２）顔認証システムの判別条件を厳しくし、他人の受け入れ率を低くする場合との二通りについて説明する。ここで、本人の排除率とは、顔認証システムにより対象人物が本人であるにもかかわらず本人であると認証されなかった割合をいい、他人の受け入れ率とは、顔認証システムにより対象人物が他人であるにもかかわらず本人であると認証された割合をいう。したがって、一般的に理想の認証システムの目標は、本人の排除率及び他人の受け入れ率を共にゼロにすることである。
【００８８】
（１）顔認証システムの判別条件を緩くし、本人の排除率を低くする場合
顔認証システムだけでは、一般的に本人の排除率及び他人の受け入れ率を共にゼロにすることは不可能である。また、顔認証システムの判別条件を緩くすると、本人の排除率が低くなると共に他人の受け入れ率も高くなる。したがって、本条件では、顔認証システムで本人と認証された対象人物を第１の実施形態の認証装置で認証することにより、他人の受け入れ率を低くし、全体的な認証精度を保持することとなる。本条件では、認証に必要な顔画像等の情報を少なくし、利便性を上げることができる。
【００８９】
（２）顔認証システムの判別条件を厳しくし、他人の受け入れ率を低くする場合
顔認証システムの判別条件を厳しくすると、他人の受け入れ率が低くなると共に本人の排除率も高くなる。したがって、本条件では、顔認証システムで他人と認証された対象人物を第１の実施形態の認証装置で認証することにより、本人の排除率を低くすることができる。本条件では、他人、つまり、本人以外を高精度で排除することができる。
【００９０】
具体的な認証方法として、本条件における実施形態を説明する。まず、顔認証システムにおいて、認証結果とは別に、本人との類似度等をスコア１として算出する。次に、第１の実施形態の認証装置において、認証結果とは別に、第１の文字列と第２の文字列との比較結果を基にしたスコア２を算出する。このスコア１とスコア２との和が、ある一定の閾値以上である場合に本人であると認証する。
【００９１】
第２の実施形態では、顔認証システム等を含む他の認証システムと連携して認証を実施するため、第１の実施形態の認証装置の短所を他の認証システムで、また、他の認証システムの短所を第１の実施形態の認証装置で補うことができる。具体的には、第１の実施形態の認証装置では、発話する文字列が意図的や事故等で外部に漏れた場合や偶然同じ発話の基本音を用いる文字列を発話した画像データ列を処理する場合等において、本来認証を不許可とする対象者に対して認証を許可する結果を出力することとなる。また、第１の実施形態の認証装置では、マスク、髭及び外傷等によるロバスト性の低下による誤認証も問題となることがある。しかし、顔認証システムと連携することによって、本人と認証された対象者だけに絞って第１の実施形態の認証装置で認証を行うため、意図しない認証を許可する対象者を減らすことができる。また、声紋認証システムと連携することによって、ロバスト性の低下による誤認証も低減できる。逆に、顔認証システムの精度のバラツキや騒音等を含む環境ノイズによる声紋認証システムの誤認証を第１の実施形態の認証装置で排除することができる。
【００９２】
第２の実施形態では、顔認証システム等を含む他の認証システムと連携して認証を実施するため、第１の実施形態よりも、頑強で高精度の認証が可能である。
【産業上の利用可能性】
【００９３】
本発明は、安価で簡単に認証装置を構築でき、高精度で認証を実施できるため、特にカメラとコンピュータのみで認証を実施するセキュリティシステム等に応用が期待される。従って、本発明の産業上利用可能性は極めて大きい。
【符号の説明】
【００９４】
１ 認証装置
２ ＣＰＵ（Central Processing Unit）
３ 一時記憶装置（ＲＡＭ）
４ 記憶装置
５ 入力インターフェース
６ 出力インターフェース
７ 画像入力装置
８ 出力装置
９ 顔認証システム
５０ 画像データ
５１ 形状モデル
５２ テキスチャモデル
Ｂ１ 口全体の面積
Ｂ２ 唇の面積
Ｈ１ 内唇の高さ
Ｈ２ 外唇の高さ
Ｗ１ 内唇の幅
Ｗ２ 外唇の高さ
【特許請求の範囲】
【請求項１】
中央演算処理装置と、
一つ又は複数の顎と唇を含む顔の下半分形状を表す画像データ列を受けつける入力部と、
予め、一般の顎と唇を含む顔の下半分形状を表す画像データを主成分分析によって得られる形状主成分、テクスチャ主成分及び
一般の母音（あ、い、う、え、お）又は撥音（ん）を発話した画像データから算出される特徴量を表すパラメータが予め関係付けられたデータベース並びに
第１の文字列を含む記憶装置と、
前記中央演算処理装置による計算結果を出力する出力部と、
を備えた認証装置であって、
前記中央演算処理装置は、
前記画像データ列から、前記形状主成分と前記テクスチャ主成分とを基に前記パラメータを前記画像データごとに計算し、
前記データベースを基に前記画像データを前記母音（あ、い、う、え、お）及び前記撥音（ん）のいずれか一つに対応付けすることにより第２の文字列を生成し、
前記第１及び第２の文字列が一致する場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備する
ことを特徴とする認証装置。
【請求項２】
前記パラメータは、下式１、下式２及び下式３であらわされる形状パラメータ（ｐｉ）、テクスチャパラメータ（λｊ）、座標パラメータ（ｒｋ）又はそれらの複合であること
を特徴とする請求項１記載の認証装置。
（式１）
但し、
ｓ：特徴点の座標値から構成される形状モデルのベクトル、
ｓ０：形状モデルの平均ベクトル、
ｓｉ：形状モデルのｉ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル、
ｐｉ：形状モデルのｉ番目の主成分ベクトルに対応する形状パラメータ、
ｎは１以上の整数であり、かつ、形状モデルの主成分ベクトルの数、
（式２）
但し、
Ａ（ｘ）：ｓ０に含まれるテキスチャの輝度値、
Ａ０（ｘ）：平均テキスチャの輝度値、
Ａｊ（ｘ）：テキスチャの輝度値のｊ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル、
λｊ：テキスチャの輝度値のｊ番目の主成分ベクトルに対応するテキスチャパラメータ、
ｍは１以上の整数であり、かつ、テキスチャの主成分ベクトルの数、
（式３）
但し、
Ｈ１：内唇の高さ、
Ｈ２：外唇の高さ、
Ｗ１：内唇の幅、
Ｗ２：外唇の高さ、
Ｂ１：口全体の面積、
Ｂ２：唇の面積
【請求項３】
前記第１の文字列及び第２の文字列は、一桁の数字を複数連続して発話した単語群から母音（あ、い、う、え、お）及び撥音（ん）のみを時系列に並べた文字列であること
を特徴とする請求項１及び２のいずれかの１項に記載の認証装置。
【請求項４】
顔を表す画像データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける顔認証入力部を備えた請求項１乃至３のいずれかの１項に記載の認証装置であって、
前記中央演算処理装置は、
前記画像データ列から、前記形状主成分と前記テクスチャ主成分とを基に前記パラメータを前記画像データごとに計算し、
前記データベースを基に前記画像データを前記母音（あ、い、う、え、お）及び前記撥音（ん）のいずれか一つに対応付けすることにより第２の文字列を生成し、
前記第１及び第２の文字列が一致し、
かつ、前記顔認証入力部の受けつけたデータが本人である（真）
場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備する
ことを特徴とする認証装置。
【請求項５】
声紋データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける声紋認証入力部を備えた請求項１乃至３のいずれかの１項に記載の認証装置であって、
前記中央演算処理装置は、
前記画像データ列から、前記形状主成分と前記テクスチャ主成分とを基に前記パラメータを前記画像ごとに計算し、
前記データベースを基に前記画像データ列を前記母音（あ、い、う、え、お）及び前記撥音（ん）のいずれか一つに対応付けすることにより第２の文字列を生成し、
前記第１及び第２の文字列が一致し、
かつ、前記声紋認証入力部の受けつけたデータが本人である（真）
場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備する
ことを特徴とする認証装置。
【請求項６】
顔を表す画像データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける顔認証入力部と、
声紋データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける声紋認証入力部と
を備えた請求項１乃至３のいずれかの１項に記載の認証装置であって、
前記中央演算処理装置は、
前記画像データ列から、前記形状主成分と前記テクスチャ主成分とを基に前記パラメータを前記画像ごとに計算し、
前記データベースを基に前記画像データを前記母音（あ、い、う、え、お）及び前記撥音（ん）のいずれか一つに対応付けすることにより第２の文字列を生成し、
前記第１及び第２の文字列が一致し、
かつ、前記顔認証入力部の受けつけたデータが本人であり（真）、
かつ、前記声紋認証入力部の受けつけたデータが本人である（真）
場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備する
ことを特徴とする認証装置。
【請求項１】
中央演算処理装置と、
一つ又は複数の顎と唇を含む顔の下半分形状を表す画像データ列を受けつける入力部と、
予め、一般の顎と唇を含む顔の下半分形状を表す画像データを主成分分析によって得られる形状主成分、テクスチャ主成分及び
一般の母音（あ、い、う、え、お）又は撥音（ん）を発話した画像データから算出される特徴量を表すパラメータが予め関係付けられたデータベース並びに
第１の文字列を含む記憶装置と、
前記中央演算処理装置による計算結果を出力する出力部と、
を備えた認証装置であって、
前記中央演算処理装置は、
前記画像データ列から、前記形状主成分と前記テクスチャ主成分とを基に前記パラメータを前記画像データごとに計算し、
前記データベースを基に前記画像データを前記母音（あ、い、う、え、お）及び前記撥音（ん）のいずれか一つに対応付けすることにより第２の文字列を生成し、
前記第１及び第２の文字列が一致する場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備する
ことを特徴とする認証装置。
【請求項２】
前記パラメータは、下式１、下式２及び下式３であらわされる形状パラメータ（ｐｉ）、テクスチャパラメータ（λｊ）、座標パラメータ（ｒｋ）又はそれらの複合であること
を特徴とする請求項１記載の認証装置。
（式１）
但し、
ｓ：特徴点の座標値から構成される形状モデルのベクトル、
ｓ０：形状モデルの平均ベクトル、
ｓｉ：形状モデルのｉ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル、
ｐｉ：形状モデルのｉ番目の主成分ベクトルに対応する形状パラメータ、
ｎは１以上の整数であり、かつ、形状モデルの主成分ベクトルの数、
（式２）
但し、
Ａ（ｘ）：ｓ０に含まれるテキスチャの輝度値、
Ａ０（ｘ）：平均テキスチャの輝度値、
Ａｊ（ｘ）：テキスチャの輝度値のｊ番目の主成分ベクトルであり、互いに直交する正規直交ベクトル、
λｊ：テキスチャの輝度値のｊ番目の主成分ベクトルに対応するテキスチャパラメータ、
ｍは１以上の整数であり、かつ、テキスチャの主成分ベクトルの数、
（式３）
但し、
Ｈ１：内唇の高さ、
Ｈ２：外唇の高さ、
Ｗ１：内唇の幅、
Ｗ２：外唇の高さ、
Ｂ１：口全体の面積、
Ｂ２：唇の面積
【請求項３】
前記第１の文字列及び第２の文字列は、一桁の数字を複数連続して発話した単語群から母音（あ、い、う、え、お）及び撥音（ん）のみを時系列に並べた文字列であること
を特徴とする請求項１及び２のいずれかの１項に記載の認証装置。
【請求項４】
顔を表す画像データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける顔認証入力部を備えた請求項１乃至３のいずれかの１項に記載の認証装置であって、
前記中央演算処理装置は、
前記画像データ列から、前記形状主成分と前記テクスチャ主成分とを基に前記パラメータを前記画像データごとに計算し、
前記データベースを基に前記画像データを前記母音（あ、い、う、え、お）及び前記撥音（ん）のいずれか一つに対応付けすることにより第２の文字列を生成し、
前記第１及び第２の文字列が一致し、
かつ、前記顔認証入力部の受けつけたデータが本人である（真）
場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備する
ことを特徴とする認証装置。
【請求項５】
声紋データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける声紋認証入力部を備えた請求項１乃至３のいずれかの１項に記載の認証装置であって、
前記中央演算処理装置は、
前記画像データ列から、前記形状主成分と前記テクスチャ主成分とを基に前記パラメータを前記画像ごとに計算し、
前記データベースを基に前記画像データ列を前記母音（あ、い、う、え、お）及び前記撥音（ん）のいずれか一つに対応付けすることにより第２の文字列を生成し、
前記第１及び第２の文字列が一致し、
かつ、前記声紋認証入力部の受けつけたデータが本人である（真）
場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備する
ことを特徴とする認証装置。
【請求項６】
顔を表す画像データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける顔認証入力部と、
声紋データから認証されて出力された本人である（真）か否（偽）かのデータを受けつける声紋認証入力部と
を備えた請求項１乃至３のいずれかの１項に記載の認証装置であって、
前記中央演算処理装置は、
前記画像データ列から、前記形状主成分と前記テクスチャ主成分とを基に前記パラメータを前記画像ごとに計算し、
前記データベースを基に前記画像データを前記母音（あ、い、う、え、お）及び前記撥音（ん）のいずれか一つに対応付けすることにより第２の文字列を生成し、
前記第１及び第２の文字列が一致し、
かつ、前記顔認証入力部の受けつけたデータが本人であり（真）、
かつ、前記声紋認証入力部の受けつけたデータが本人である（真）
場合に認証を許可する結果を前記出力部に出力するステップを実行させるプログラムを具備する
ことを特徴とする認証装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２６２６０６（Ｐ２０１０−２６２６０６Ａ）
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願番号】特願２００９−１１５０２８（Ｐ２００９−１１５０２８）
【出願日】平成２１年５月１１日（２００９．５．１１）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【出願人】（５０７０２２８０２）Ｔａｋｕｍｉ Ｖｉｓｉｏｎ株式会社 (14)
【Ｆターム（参考）】
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願日】平成２１年５月１１日（２００９．５．１１）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【出願人】（５０７０２２８０２）Ｔａｋｕｍｉ Ｖｉｓｉｏｎ株式会社 (14)
【Ｆターム（参考）】
[ Back to top ]