ノイズ及び環境による影響を抑制することが可能な顔認識方法
【課題】ノイズ及び環境による影響を抑制することが可能な顔認識方法を提供する。
【解決手段】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法は、データ処理装置に適用され、現在の顔画像が参考顔画像と一致するかどうかを判別するのに用いられる。この方法では、現在の顔画像と参考顔画像に対してガウスぼかし・ノイズ低減処理を行い、更に現在の顔画像と参考顔画像を複数のブロックに分割し、それによって現在の顔画像と参考顔画像を代表する特徴ベクトル群をそれぞれ取得する。次いで、環境状態の変化に基づいて、適切な動的閾値を選択的に取得し、特徴ベクトル群の差を対比させることで、現在の顔画像が参考顔画像と一致するかどうかを決定する。
【解決手段】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法は、データ処理装置に適用され、現在の顔画像が参考顔画像と一致するかどうかを判別するのに用いられる。この方法では、現在の顔画像と参考顔画像に対してガウスぼかし・ノイズ低減処理を行い、更に現在の顔画像と参考顔画像を複数のブロックに分割し、それによって現在の顔画像と参考顔画像を代表する特徴ベクトル群をそれぞれ取得する。次いで、環境状態の変化に基づいて、適切な動的閾値を選択的に取得し、特徴ベクトル群の差を対比させることで、現在の顔画像が参考顔画像と一致するかどうかを決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔認識方法に関し、特に、ノイズ及び環境による影響を抑制することが可能な顔認識方法に関する。
【背景技術】
【０００２】
例えばアクセス制御システムを利用した入退室やコンピュータシステムへのログインといった従来の使用権限取得方法においては、そのステップとして、使用者のアカウント番号及び対応するパスワードを入力して行われる。
【０００３】
使用者のアカウント番号及び対応するパスワードを入力する場合、完全に手動にて行うものと、接触型もしくは非接触型（ＲＦＩＤ）の識別カードにより自動的に使用者のアカウント番号及び対応するパスワードを入力するものとがある。完全に手動にて行うものには、しばしばアカウント番号とパスワードが外部に流出したり、使用者がそれを忘れてしまったりする問題があり、一方の識別カードには、盗用されたり違法に複製されたりする問題があった。
【０００４】
上記の問題を未然に防ぐため、現在、ＩＤを識別して特定の権限を取得する手段として、顔認識技術がしだいに用いられるようになって来ている。
【０００５】
顔認識技術には大きく分けて二つの段階があり、一つは顔学習段階で、もう一つは顔認識段階である。顔学習段階では、使用者の顔の画像を取得し、特定の数値化処理を行って画像を特定の数値化データに変換し、数値によってその特徴を表現する。顔認識段階では、識別される顔の画像を取得し、同様に画像を特定の形態の数値化データに変換し、数値によってその特徴を表現する。最後に、両方の数値化データを対比させ、その特徴が似ているかどうかを確認し、識別される顔が使用者の顔と一致するかどうかを判別する。
【０００６】
顔の画像を数値化データに変換して認識するための核心技術としては、主成分分析法（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ Ａｎａｌｙｓｉｓ）、三次元顔認識法、顔の構成要素による認識法、特徴ベクトル対比などがある。上記各方法にはそれぞれ長所と短所があるものの、これらが共通して直面する課題として、識別される顔の画像を取得する環境が、往々にして顔学習段階における環境とは大きな差異があったり、或いは識別される顔の画像にノイズが含まれ、これら環境による影響又はノイズによって、識別される顔の顔認識に失敗することが挙げられる。使用者が恒常的に顔認識に失敗することを回避するために、顔認識段階では対比の基準を引き下げなければならないが、対比の基準を引き下げれば、顔認識が成功しやすくなり、ひいては全くの他人が顔認識に成功することになる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の課題に鑑み、本発明は、特徴ベクトル対比を基に、ノイズ及び環境による影響を抑制することが可能な顔認識方法を提供し、それによって顔認識の信頼性に対するノイズや環境の影響を低減する。
【課題を解決するための手段】
【０００８】
本発明は、データ処理装置に適用され、現在の顔（識別される顔）の画像が参考顔画像と一致するかどうかを判別するための、ノイズ及び環境による影響を抑制することが可能な顔認識方法を提供する。当該方法には以下のステップが含まれる。
前記参考顔画像の参考特徴ベクトル群と、参考環境状態ベクトルと、動的閾値表とを保存する、特徴ベクトルデータベースを提供するステップと、
前記現在の顔画像を取得するステップと、
前記現在の顔画像の現在の特徴ベクトル群を取得するステップと、
前記現在の特徴ベクトル群における各特徴ベクトルを、前記参考特徴ベクトル群における対応する特徴ベクトルと対比させ、前記現在の顔画像における各ブロックの特徴ベクトルの差を見つけ出すステップと、
前記各特徴ベクトルの差を小さいものから大きいものへと順に配列するステップと、
数値の小さいものから前記各特徴ベクトルの差を選択し始め、前記各特徴ベクトルの差における特定の個数のみを選択的に取得し、前記各特徴ベクトルの差を加算して差の総和とするステップと、
前記現在の顔画像における現在の環境状態ベクトルを取得するステップと、
前記参考環境状態ベクトルと前記現在の環境状態ベクトルとの間のユークリッド距離を計算するステップと、
前記参考環境状態ベクトルと前記現在の環境状態ベクトルとの間のユークリッド距離に基づいて、複数の動的閾値が記載され且つ各動的閾値が特定範囲のユークリッド距離と関連する前記動的閾値表から、対応する動的閾値を取得するステップと、
前記差の総和が前記動的閾値を超えているか否かを判別し、前記差の総和が前記動的閾値を超えていない場合に前記現在の顔画像が前記参考顔画像と一致すると決定するステップ。
【発明の効果】
【０００９】
本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法においては、特徴ベクトル群を取得する前に、各顔画像のノイズを低減しておくことが可能である。次いで、特徴ベクトル群を取得した後、本発明では更に環境状態の変化を考慮して、動的に前記差を対比する閾値を選択し、それによって毎回取得された動的閾値がいずれも環境状態の変化に合致するようにし、顔認識の信頼性を改善することが可能である。
【図面の簡単な説明】
【００１０】
【図１】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法を適用するデータ処理装置を示した図である。
【図２】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（１）である。
【図３】参考顔画像を参考特徴ベクトル群に変換することを示す図である。
【図４】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（２）である。
【図５】参考環境状態ベクトルを取得することを示す図である。
【図６】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（３）である。
【図７】現在の顔画像を現在の特徴ベクトル群に変換することを示す図である。
【図８】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（４）である。
【図９】適応性対比を示す図である。
【図１０】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（５）である。
【図１１】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（６）である。
【図１２】ユークリッド距離を取得計算して動的閾値を取得することを示す図である。
【図１３】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（７）である。
【図１４】多段階サンプリングを示す図である。
【図１５】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（８）である。
【図１６】マルチサイズサンプリングを示す図である。
【図１７】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（９）である。
【発明を実施するための形態】
【００１１】
図１、図２に示すように、本発明の一つの実施形態において、ノイズ及び環境による影響を抑制することが可能な顔認識方法は、データ処理装置２０に適用され、現在の顔画像Ｃが参考顔画像Ｒと一致するかどうかを判別し、識別結果を生成し、対応するＩＤを見つけ出すのに用いられる。当該識別結果及びそれに対応するＩＤはデータ処理装置２０のログイン用アカウント番号及びパスワードの代わりに用いられ、それによってデータ処理装置２０の使用権限を取得するステップを簡略化することができる。
【００１２】
データ処理装置２０（例えばコンピュータ又はノートパソコン）には、顔認識プログラムがインストールされ、それによって、ノイズ及び環境による影響を抑制することが可能な顔認識方法が適用される。データ処理装置２０は、特徴ベクトルデータベース４０に接続され又は特徴ベクトルデータベース４０を内蔵し、画像取得装置３０を介して現在の顔画像Ｃ又は参考顔画像Ｒを取得する。
【００１３】
本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法は、主として顔画像特徴ベクトル処理工程を含み、当該顔画像特徴ベクトル処理工程は顔特徴学習段階に用いられるだけでなく、顔認識段階にも用いられる。
【００１４】
図１に示すように、本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法では、画像取得装置３０を介して使用者の現在の顔画像Ｃ又は参考顔画像Ｒを取得し、データ処理装置２０に伝送する。画像取得装置３０は、カメラであってよく、データ処理装置２０に外付けされるか或いは内蔵される。
【００１５】
図２、図３を用いて、ここで顔特徴学習段階に含まれるステップを説明する。顔特徴学習段階には、実質的に顔画像特徴ベクトル処理工程が含まれ、特徴ベクトルデータベース４０を提供する。
【００１６】
図２、図３に示すように、まず、ステップ１１０即ち顔画像特徴ベクトル処理工程の部分において、使用者は先に画像取得装置３０を顔に合わせ、画像取得装置３０を介して参考顔画像Ｒを取得し、データ処理装置２０に伝送する。
【００１７】
図２、図３に示すように、次いで、ステップ１２０において、データ処理装置２０は、参考顔画像Ｒに対してガウスぼかし・ノイズ低減処理（Ｇａｕｓｓｉａｎ Ｂｌｕｒ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）を行い、当該参考顔画像Ｒ中のノイズを低減する。
【００１８】
ガウスぼかし・ノイズ低減処理は、ノイズを低減するために行うものであり、その他ノイズ低減処理を行うことのできる他の方法で代替してもよい。又は、もし顔画像Ｒを取得する場所の照明が十分であり、顔画像Ｒ取得においてノイズを低く抑えることを確保できる場合は、ステップ１２０のガウスぼかし・ノイズ低減処理を実行しなくてもよい。
【００１９】
図２、図３に示すように、次いで、ステップ１３０において、データ処理装置２０は、参考顔画像ＲをＮ×Ｎ個のブロックに分割し、各ブロックごとに一つのブロック識別コード（Ｂｌｏｃｋ＿ＩＤ）を設定する。
【００２０】
図２、図３に示すように、ステップ１４０において、データ処理装置２０は、各ブロックにおける各画素の画素値を分析し、各ブロックに対して局部的な二値化処理（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ，ＬＢＰ）を行う。データ処理装置２０は、画素値の変化に基づいて、各ブロックをＭ個の次元を有する特徴ベクトルに変換する。
【００２１】
図２、図３に示すように、ステップ１５０において、参考顔画像Ｒから合わせてＮ×Ｎ個の特徴ベクトルを得、そのためデータ処理装置２０は、これら特徴ベクトルを一つの参考特徴ベクトル群として結合し、特徴ベクトルデータベース４０に保存する。
【００２２】
図２、図３に示すように、ステップ１６０において、データ処理装置２０は、この参考特徴ベクトル群を特徴ベクトルデータベース４０に伝送する。
【００２３】
上記のプロセスは、参考特徴ベクトル群を構築することで、後続の対比を行えるようにするために行われる。参考特徴ベクトル群を構築する際、データ処理装置２０は、同時にＩＤデータの入力をも受け入れ、それによって参考特徴ベクトル群が対応するＩＤと関連付けされる。
【００２４】
上記のステップを経た後、特徴ベクトルデータベース４０が構築され、当該特徴ベクトルデータベース４０には、少なくとも一つの参考特徴ベクトル群が保存され、当該参考特徴ベクトル群とＩＤとが相互に関連付けされるよう設定する。
【００２５】
その後、参考顔画像Ｒについて、参考環境状態ベクトルを取得する。その取得ステップは以下のとおりである。
【００２６】
図４、図５に示すように、ステップ１７０において、データ処理装置２０は、まず参考顔画像Ｒを４等分に分割し、左上の等分部分から左回りに順次第一等分１、第二等分２、第三等分３、第四等分４に配列する。
【００２７】
図４、図５に示すように、次いで、ステップ１８１において、データ処理装置２０は、第一等分１、第二等分２、第三等分３、第四等分４の平均グレースケール値ｍ１、ｍ２、ｍ３、ｍ４をそれぞれ計算する。
【００２８】
図４、図５に示すように、ステップ１８２において、データ処理装置２０は、次いで、左側の等分の平均グレースケール値から右側の等分の平均グレースケール値を減じ且つ上側の等分の平均グレースケール値から下側の等分の平均グレースケール値を減じるという規則によって、四つのグレースケール値の差値（ｍ１−ｍ４）、（ｍ２−ｍ３）、（ｍ１−ｍ２）、（ｍ４−ｍ３）を取得する。ここで、上記規則は、主として各平均グレースケール値それぞれの他の平均グレースケール値との差値を計算するためのものであって、この規則に限定されない。又、等分の数も四つ（２×２）に限定されず、３×３、４×４等であってもよい。
【００２９】
ステップ１９０において、次いで、第一等分１、第二等分２、第三等分３、第四等分４の平均グレースケール値ｍ１、ｍ２、ｍ３、ｍ４と、四つのグレースケール値の差値（ｍ１−ｍ４）、（ｍ２−ｍ３）、（ｍ１−ｍ２）、（ｍ４−ｍ３）とを各次元の数値とし、結合して参考環境状態ベクトルとし、特徴ベクトルデータベース４０に保存する。
【００３０】
次に、ノイズ及び環境による影響を抑制することが可能な顔認識方法における顔認識段階について説明する。顔認識段階においては、同様にまず顔画像特徴ベクトル処理工程を実行し、現在の特徴ベクトル群を取得し、更に当該現在の特徴ベクトル群を、特徴ベクトルデータベース４０における参考特徴ベクトル群と順次対比させる。
【００３１】
図６、図７に示すように、ステップ２１０において、使用者は先に画像取得装置３０を顔に合わせ、当該画像取得装置３０を介して現在の顔画像Ｃを取得し、現在の顔画像Ｃをデータ処理装置２０に伝送する。
【００３２】
図６、図７に示すように、次いで、ステップ２２０において、データ処理装置２０は、現在の顔画像Ｃに対してガウスぼかし・ノイズ低減処理を行い、現在の顔画像Ｃ中のノイズを低減する。ステップ１２０と同様に、当該ガウスぼかし・ノイズ低減処理は、ノイズを低減するために行うものであり、ノイズ低減処理を行うことのできるその他の方法で代替してもよい。又は、もし顔画像Ｃを取得する場所の照明が十分であり、顔画像Ｃ取得においてノイズを低く抑えることを確保できる場合は、ステップ２２０のガウスぼかし・ノイズ低減処理を実行しなくてもよい。
【００３３】
図６、図７に示すように、次いで、ステップ２３０において、データ処理装置２０は、現在の顔画像ＣをＮ×Ｎ個のブロックに分割し、各ブロックごとに一つのブロック識別コード（Ｂｌｏｃｋ＿ＩＤ）を設定する。
【００３４】
図６、図７に示すように、ステップ２４０において、データ処理装置２０は、各ブロックにおける各画素の画素値を分析し、各ブロックに対して局部的な二値化処理を行う。データ処理装置２０は、画素値の変化に基づいて、現在の顔画像Ｃの各ブロックをＭ個の次元を有する特徴ベクトルに変換する。
【００３５】
図６、図７に示すように、ステップ２５０において、現在の顔画像Ｃから合わせてＮ×Ｎ個の特徴ベクトルを得、そのためデータ処理装置２０は、これら特徴ベクトルを一つの現在の特徴ベクトル群として結合する。
【００３６】
図８、図９に示すように、ステップ３００において、データ処理装置２０は、現在の顔画像Ｃに対応する現在の特徴ベクトル群における各特徴ベクトルと、参考顔画像Ｒの参考特徴ベクトル群における対応する特徴ベクトルとを対比させ、現在の顔画像Ｃにおける各ブロックの特徴ベクトルの差を見つけ出す。
【００３７】
図１０を用い、ステップ３００における適応性対比の詳細を以下に説明する。
【００３８】
まず、ステップ３１０において、データ処理装置２０は、特徴ベクトルデータベース４０から一つの参考特徴ベクトル群を読み込む。
【００３９】
ステップ３２０において、参考特徴ベクトル群及び現在の特徴ベクトル群において同じブロック識別コード（Ｂｌｏｃｋ＿ＩＤ）を具え相互に対応する特徴ベクトルを対比させ、Ｎ×Ｎ組の特徴ベクトルの差を得る。
【００４０】
ステップ３３０において、データ処理装置２０は、前記各特徴ベクトルの差を小さいものから大きいものへと順に配列し、数値の小さいものから前記各特徴ベクトルの差を選択し始め、前記各特徴ベクトルの差における特定の個数のみを選択的に取得し、例えば前の６５％のみを取得し、残りの数値の大きなものは捨てて採用しない。
【００４１】
ステップ３４０において、データ処理装置２０は、前記選択的に取得された各特徴ベクトルの差を加算して差の総和とする。
【００４２】
ステップ３３０において、特徴ベクトルの差のうち数値の大きなものを捨てて採用しない理由は、ステップ１４０、ステップ２４０の局部の二値化処理（ＬＢＰ）を実行する際、各ブロックの特徴ベクトルが実質的にいずれもノイズの影響を受け、その特徴ベクトルが影響を受けるためである。特徴ベクトルの差のうち数値の大きなものを捨てて採用しない場合は、捨てられたブロックは実質的にいずれもノイズの影響を強く受けたものであり、とりわけ、影、短い前髪、顔の光沢部位における粒状のノイズであって、重要な顔の特徴が採用されない確率は低い。
【００４３】
これに対し、光線が正常な場合では、ノイズは極めて少ないものの、識別性に欠けるブロックが時おり突出することがある。例えば光沢のある額、頬に強い光の作用のもとにおける粒状のノイズがあると、そのブロックは識別性の特徴を欠くだけでなく、十分な光線によってその特徴ベクトルが影響を受け特徴ベクトルの組み合わせにおいて突出し、その対応する特徴ベクトルの差の数値が大きくなってしまう。従って、光線が正常な場合に、特徴ベクトルの差の数値の大きなものを捨てることは、重要な顔の特徴を捨てることにはならず、反って重要な顔の特徴の比重を向上することが可能となる。
【００４４】
次いで、ステップ４００において、データ処理装置２０は、動的閾値を指定して、動的閾値検査を行う。動的閾値検査は、現在の顔画像Ｃと特徴ベクトルデータベース４０における参考顔画像Ｒの特徴ベクトルの差の総和が前記動的閾値を超えているか否か、即ち、現在の特徴ベクトル群及び参考特徴ベクトル群の差異が前記動的閾値を超えているか否かを判別するために行われる。
【００４５】
図１１、図１２を用いて、以下ステップ４００の詳細について説明する。
【００４６】
図１１、図１２に示すように、ステップ４１０において、データ処理装置２０は、まず現在の顔画像Ｃを４等分に分割し、左上の等分部分から左回りに順次第一等分１、第二等分２、第三等分３、第四等分４に配列する。
【００４７】
図１１、図１２に示すように、ステップ４２０において、データ処理装置２０は、第一等分１、第二等分２、第三等分３、第四等分４の平均グレースケール値ｍ１、ｍ２、ｍ３、ｍ４をそれぞれ計算する。
【００４８】
図１１、図１２に示すように、ステップ４３０において、データ処理装置２０は、次いで、各平均グレースケール値それぞれの他の平均グレースケール値との差値（ｍ１−ｍ４）、（ｍ２−ｍ３）、（ｍ１−ｍ２）、（ｍ４−ｍ３）を計算する。
【００４９】
ステップ４４０において、次いで、第一等分１、第二等分２、第三等分３、第四等分４の平均グレースケール値ｍ１、ｍ２、ｍ３、ｍ４と、四つのグレースケール値の差値（ｍ１−ｍ４）、（ｍ２−ｍ３）、（ｍ１−ｍ２）、（ｍ４−ｍ３）とを各次元の数値とし、結合して現在の環境状態ベクトルとする。
【００５０】
実質的に、ステップ４１０から４４０までにおいて行うステップは、ステップ１６０から１９０までにおいて行うものと同じであり、その相違点は、実施対象が参考顔画像Ｒであるか現在の顔画像Ｃであるかという点に過ぎない。
【００５１】
ステップ４５０において、データ処理装置２０は、参考環境状態ベクトルと現在の環境状態ベクトルとの間のユークリッド距離（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ）を計算する。
【００５２】
ステップ４６０において、データ処理装置２０は、特徴ベクトルデータベース４０から一つの動的閾値表を読み込む。動的閾値表には複数の動的閾値が記載され、且つ各動的閾値は特定範囲のユークリッド距離と関連する。前記動的閾値表は、異なる環境でテストした後、各動的閾値と特定範囲のユークリッド距離との関連性を逐次確立する。
【００５３】
ステップ４７０において、データ処理装置２０は、参考環境状態ベクトルと現在の環境状態ベクトルとの間のユークリッド距離に基づいて、対応する動的閾値を取得する。
【００５４】
図８に示すように、ステップ５００において、データ処理装置２０は、差の総和が動的閾値を超えているか否かを判別する。
【００５５】
ステップ５１０において、現在の特徴ベクトル群及び参考特徴ベクトル群の差の総和が動的閾値を超えている場合、現在の顔画像Ｃが参考顔画像Ｒとは不一致であり、全くの他人であると判定する。
【００５６】
ステップ５２０において、現在の特徴ベクトル群及び参考特徴ベクトル群の差が動的閾値を超えていない場合、現在の顔画像Ｃが参考顔画像Ｒと一致し、使用者であると決定する。
【００５７】
上述の識別結果及び参考特徴ベクトル群に対応するＩＤは、データ処理装置２０のログイン用アカウント番号及びパスワードの代わりに用いられ、それによってデータ処理装置２０の使用権限を取得するステップを簡略化することができる。
【００５８】
動的閾値は現在の顔画像Ｃを取得した際及び参考顔画像Ｒを取得した際の環境の影響を反映することが可能であり、当該環境の影響に応じて対比閾値を調整することで、顔認識方法における識別基準が厳格になり過ぎることを回避し、全くの他人が顔認識に成功する確率を低減することができる。
【００５９】
顔認識の正確性を向上させるため、本発明に係る顔認識方法のステップでは以下の二種類の修正を行ってもよい。
【００６０】
一つ目は、多段階サンプリングを行い、現在の特徴ベクトル群及び参考特徴ベクトル群における特徴ベクトル数を増加することで、有効な対比サンプル数を増加させることである。
【００６１】
図１３、図１４に示すように、多段階サンプリングを実行するステップは、ステップ１３０からステップ１４０まで、又はステップ２３０からステップ２４０までの代わりとして行われる。以下、現在の顔画像Ｃ及び参考顔画像Ｒを区別せず、単に顔画像Ｆとして説明する。
【００６２】
図１３、図１４に示すように、ステップ６１０において、顔画像Ｆを取得してノイズ低減処理を行った後（即ちステップ１１０からステップ１２０まで、又はステップ２１０からステップ２２０までを行った後）、データ処理装置２０は、顔画像Ｆを第１層の画像Ｆ１と第２層の画像Ｆ２とに分ける。ここで、第１層の画像Ｆ１はオリジナルの顔画像Ｆであり、第２層の画像Ｆ２はオリジナルの顔画像Ｆにおける局部のエリアであり、特に顔の中心の特徴が顕著なエリアである。
【００６３】
図１３、図１４に示すように、ステップ６２０において、データ処理装置２０は、第１層の画像Ｆ１と第２層の画像Ｆ２のそれぞれを複数のブロックに分割する。例えば、第１層の画像Ｆ１をＮ×Ｎ個のブロックに分割し、第２層の画像Ｆ２をＬ×Ｌ個のブロックに分割する。同様に、各ブロックの全てに一つのブロック識別コード（Ｂｌｏｃｋ＿ＩＤ）を設定する。
【００６４】
図１３、図１４に示すように、ステップ６３０において、データ処理装置２０は、各ブロックにおける各画素の画素値を分析し、各ブロックに対して局部的な二値化処理を行う。データ処理装置２０は、画素値の変化に基づいて、各ブロックをＭ個の次元を有する特徴ベクトルに変換する。
【００６５】
図１３、図１４に示すように、顔画像Ｆから合わせてＮ×Ｎ個及びＬ×Ｌ個の特徴ベクトルを得、当該Ｌ×Ｌ個はいずれも顔の特徴の顕著な部位から得たものであり、顔の特徴の比重を増加することができる。ステップ６４０において、データ処理装置２０は、これら特徴ベクトルを一つの参考特徴ベクトル群として結合し、特徴ベクトルデータベース４０に保存する。顔画像Ｆから合わせてＮ×Ｎ個及びＬ×Ｌ個の特徴ベクトルからなる特徴ベクトルの組み合わせを得、それらを参考特徴ベクトル群とする。
【００６６】
これにより、特徴ベクトルは、本来のＮ×Ｎ個に加え、Ｌ×Ｌ個増加し、且つ当該Ｌ×Ｌ個はいずれも顔の特徴の顕著な部位から得たものであり、顔の特徴の比重を増加することができる。
【００６７】
二つ目は、マルチサイズサンプリングを行い、現在の顔画像Ｃ及び特徴ベクトルデータベース４０における参考顔画像Ｒとのユークリッド距離を修正し、それによってノイズの影響を低減することである。
【００６８】
図１５、図１６に示すように、マルチサイズサンプリングを実行するステップは、ステップ１３０からステップ１４０まで、又はステップ２３０からステップ２４０までの代わりとして行われる。
【００６９】
図１５、図１６に示すように、ステップ７１０において、参考顔画像Ｒ及び現在の顔画像Ｃを取得した後（即ちステップ１１０からステップ１２０まで、又はステップ２１０からステップ２２０までを行った後）、データ処理装置２０は、更に参考顔画像Ｒ及び現在の顔画像Ｃの解像度を変更し、それぞれ参考縮小顔画像Ｒｓ及び現在の縮小顔画像Ｃｓを取得する。縮小顔画像を生成するプロセスにおいては、ノイズ部分を消去できるが、一方で顔の特徴の比重が低下する。そのため、オリジナルの顔画像Ｆは依然として後続のステップにおいて用いられる必要がある。
【００７０】
図１５に示すように、次いで、ステップ７２０において、データ処理装置２０は、参考顔画像Ｒ、現在の顔画像Ｃ、参考縮小顔画像Ｒｓ又は現在の縮小顔画像Ｃｓのそれぞれを複数のブロックに分割し、各ブロックの全てに一つのブロック識別コード（Ｂｌｏｃｋ＿ＩＤ）を設定する。
【００７１】
図１５に示すように、ステップ７３０において、データ処理装置２０は、各ブロックにおける各画素の画素値を分析し、各ブロックに対して局部的な二値化処理を行う。データ処理装置２０は、画素値の変化に基づいて、各ブロックをＭ個の次元を有する特徴ベクトルに変換する。
【００７２】
図１５、図１６に示すように、最後に、ステップ７４０において、データ処理装置２０は、参考縮小顔画像Ｒｓ及び現在の縮小顔画像Ｃｓの特徴ベクトル群をそれぞれ取得し、現在の縮小顔画像Ｃｓの特徴ベクトル群における各ブロックの特徴ベクトルの差を見つけ出す。
【００７３】
図１６、図１７に示すように、本来のステップ３００、即ち、現在の顔画像Ｃの現在の特徴ベクトル群と、特徴ベクトルデータベース４０における各参考特徴ベクトル群とに対して適応性対比を行うステップは、二つの平行する線に分けられて行われ、それぞれステップ３００’とステップ３００’’とする。
【００７４】
図１６、図１７に示すように、ステップ３００’では、依然として現在の顔画像Ｃにおける各ブロックの特徴ベクトルの差を見つけ出す。即ち、ステップ３１０’からステップ３４０’までは、ステップ３１０からステップ３４０までと同じである。
【００７５】
図１６、図１７に示すように、ステップ３００’’では、現在の縮小顔画像Ｃｓの特徴ベクトル群における各ブロックの特徴ベクトルの差を見つけ出す。即ち、ステップ３１０’’からステップ３４０’’までは、ステップ３１０からステップ３４０までと同じである。ただし、比較対象は現在の縮小顔画像Ｃｓ及び参考縮小顔画像Ｒｓである。
【００７６】
最後に、現在の縮小顔画像Ｃｓの特徴ベクトル群における各ブロックの特徴ベクトルの差を現在の顔画像Ｃから得た差の総和に加算することによって取得された差の総和を用いて、ステップ５００において動的閾値と対比させる。
【００７７】
本発明に係る顔認識方法は、主として環境状態の変化を考慮して、毎回対比する動的閾値を変更し、それによって毎回取得された動的閾値がいずれも環境状態の変化に合致するようにし、顔認識の信頼性を改善する。
【符号の説明】
【００７８】
２０ データ処理装置
４０ 特徴ベクトルデータベース
３０ 画像取得装置
Ｃ 現在の顔画像
Ｃｓ 現在の縮小顔画像
Ｆ 顔画像
Ｆ１ 第１層の画像
Ｆ２ 第２層の画像
Ｒ 参考顔画像
Ｒｓ 参考縮小顔画像
【技術分野】
【０００１】
本発明は、顔認識方法に関し、特に、ノイズ及び環境による影響を抑制することが可能な顔認識方法に関する。
【背景技術】
【０００２】
例えばアクセス制御システムを利用した入退室やコンピュータシステムへのログインといった従来の使用権限取得方法においては、そのステップとして、使用者のアカウント番号及び対応するパスワードを入力して行われる。
【０００３】
使用者のアカウント番号及び対応するパスワードを入力する場合、完全に手動にて行うものと、接触型もしくは非接触型（ＲＦＩＤ）の識別カードにより自動的に使用者のアカウント番号及び対応するパスワードを入力するものとがある。完全に手動にて行うものには、しばしばアカウント番号とパスワードが外部に流出したり、使用者がそれを忘れてしまったりする問題があり、一方の識別カードには、盗用されたり違法に複製されたりする問題があった。
【０００４】
上記の問題を未然に防ぐため、現在、ＩＤを識別して特定の権限を取得する手段として、顔認識技術がしだいに用いられるようになって来ている。
【０００５】
顔認識技術には大きく分けて二つの段階があり、一つは顔学習段階で、もう一つは顔認識段階である。顔学習段階では、使用者の顔の画像を取得し、特定の数値化処理を行って画像を特定の数値化データに変換し、数値によってその特徴を表現する。顔認識段階では、識別される顔の画像を取得し、同様に画像を特定の形態の数値化データに変換し、数値によってその特徴を表現する。最後に、両方の数値化データを対比させ、その特徴が似ているかどうかを確認し、識別される顔が使用者の顔と一致するかどうかを判別する。
【０００６】
顔の画像を数値化データに変換して認識するための核心技術としては、主成分分析法（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ Ａｎａｌｙｓｉｓ）、三次元顔認識法、顔の構成要素による認識法、特徴ベクトル対比などがある。上記各方法にはそれぞれ長所と短所があるものの、これらが共通して直面する課題として、識別される顔の画像を取得する環境が、往々にして顔学習段階における環境とは大きな差異があったり、或いは識別される顔の画像にノイズが含まれ、これら環境による影響又はノイズによって、識別される顔の顔認識に失敗することが挙げられる。使用者が恒常的に顔認識に失敗することを回避するために、顔認識段階では対比の基準を引き下げなければならないが、対比の基準を引き下げれば、顔認識が成功しやすくなり、ひいては全くの他人が顔認識に成功することになる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の課題に鑑み、本発明は、特徴ベクトル対比を基に、ノイズ及び環境による影響を抑制することが可能な顔認識方法を提供し、それによって顔認識の信頼性に対するノイズや環境の影響を低減する。
【課題を解決するための手段】
【０００８】
本発明は、データ処理装置に適用され、現在の顔（識別される顔）の画像が参考顔画像と一致するかどうかを判別するための、ノイズ及び環境による影響を抑制することが可能な顔認識方法を提供する。当該方法には以下のステップが含まれる。
前記参考顔画像の参考特徴ベクトル群と、参考環境状態ベクトルと、動的閾値表とを保存する、特徴ベクトルデータベースを提供するステップと、
前記現在の顔画像を取得するステップと、
前記現在の顔画像の現在の特徴ベクトル群を取得するステップと、
前記現在の特徴ベクトル群における各特徴ベクトルを、前記参考特徴ベクトル群における対応する特徴ベクトルと対比させ、前記現在の顔画像における各ブロックの特徴ベクトルの差を見つけ出すステップと、
前記各特徴ベクトルの差を小さいものから大きいものへと順に配列するステップと、
数値の小さいものから前記各特徴ベクトルの差を選択し始め、前記各特徴ベクトルの差における特定の個数のみを選択的に取得し、前記各特徴ベクトルの差を加算して差の総和とするステップと、
前記現在の顔画像における現在の環境状態ベクトルを取得するステップと、
前記参考環境状態ベクトルと前記現在の環境状態ベクトルとの間のユークリッド距離を計算するステップと、
前記参考環境状態ベクトルと前記現在の環境状態ベクトルとの間のユークリッド距離に基づいて、複数の動的閾値が記載され且つ各動的閾値が特定範囲のユークリッド距離と関連する前記動的閾値表から、対応する動的閾値を取得するステップと、
前記差の総和が前記動的閾値を超えているか否かを判別し、前記差の総和が前記動的閾値を超えていない場合に前記現在の顔画像が前記参考顔画像と一致すると決定するステップ。
【発明の効果】
【０００９】
本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法においては、特徴ベクトル群を取得する前に、各顔画像のノイズを低減しておくことが可能である。次いで、特徴ベクトル群を取得した後、本発明では更に環境状態の変化を考慮して、動的に前記差を対比する閾値を選択し、それによって毎回取得された動的閾値がいずれも環境状態の変化に合致するようにし、顔認識の信頼性を改善することが可能である。
【図面の簡単な説明】
【００１０】
【図１】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法を適用するデータ処理装置を示した図である。
【図２】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（１）である。
【図３】参考顔画像を参考特徴ベクトル群に変換することを示す図である。
【図４】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（２）である。
【図５】参考環境状態ベクトルを取得することを示す図である。
【図６】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（３）である。
【図７】現在の顔画像を現在の特徴ベクトル群に変換することを示す図である。
【図８】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（４）である。
【図９】適応性対比を示す図である。
【図１０】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（５）である。
【図１１】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（６）である。
【図１２】ユークリッド距離を取得計算して動的閾値を取得することを示す図である。
【図１３】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（７）である。
【図１４】多段階サンプリングを示す図である。
【図１５】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（８）である。
【図１６】マルチサイズサンプリングを示す図である。
【図１７】本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法のフローチャート（９）である。
【発明を実施するための形態】
【００１１】
図１、図２に示すように、本発明の一つの実施形態において、ノイズ及び環境による影響を抑制することが可能な顔認識方法は、データ処理装置２０に適用され、現在の顔画像Ｃが参考顔画像Ｒと一致するかどうかを判別し、識別結果を生成し、対応するＩＤを見つけ出すのに用いられる。当該識別結果及びそれに対応するＩＤはデータ処理装置２０のログイン用アカウント番号及びパスワードの代わりに用いられ、それによってデータ処理装置２０の使用権限を取得するステップを簡略化することができる。
【００１２】
データ処理装置２０（例えばコンピュータ又はノートパソコン）には、顔認識プログラムがインストールされ、それによって、ノイズ及び環境による影響を抑制することが可能な顔認識方法が適用される。データ処理装置２０は、特徴ベクトルデータベース４０に接続され又は特徴ベクトルデータベース４０を内蔵し、画像取得装置３０を介して現在の顔画像Ｃ又は参考顔画像Ｒを取得する。
【００１３】
本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法は、主として顔画像特徴ベクトル処理工程を含み、当該顔画像特徴ベクトル処理工程は顔特徴学習段階に用いられるだけでなく、顔認識段階にも用いられる。
【００１４】
図１に示すように、本発明に係るノイズ及び環境による影響を抑制することが可能な顔認識方法では、画像取得装置３０を介して使用者の現在の顔画像Ｃ又は参考顔画像Ｒを取得し、データ処理装置２０に伝送する。画像取得装置３０は、カメラであってよく、データ処理装置２０に外付けされるか或いは内蔵される。
【００１５】
図２、図３を用いて、ここで顔特徴学習段階に含まれるステップを説明する。顔特徴学習段階には、実質的に顔画像特徴ベクトル処理工程が含まれ、特徴ベクトルデータベース４０を提供する。
【００１６】
図２、図３に示すように、まず、ステップ１１０即ち顔画像特徴ベクトル処理工程の部分において、使用者は先に画像取得装置３０を顔に合わせ、画像取得装置３０を介して参考顔画像Ｒを取得し、データ処理装置２０に伝送する。
【００１７】
図２、図３に示すように、次いで、ステップ１２０において、データ処理装置２０は、参考顔画像Ｒに対してガウスぼかし・ノイズ低減処理（Ｇａｕｓｓｉａｎ Ｂｌｕｒ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）を行い、当該参考顔画像Ｒ中のノイズを低減する。
【００１８】
ガウスぼかし・ノイズ低減処理は、ノイズを低減するために行うものであり、その他ノイズ低減処理を行うことのできる他の方法で代替してもよい。又は、もし顔画像Ｒを取得する場所の照明が十分であり、顔画像Ｒ取得においてノイズを低く抑えることを確保できる場合は、ステップ１２０のガウスぼかし・ノイズ低減処理を実行しなくてもよい。
【００１９】
図２、図３に示すように、次いで、ステップ１３０において、データ処理装置２０は、参考顔画像ＲをＮ×Ｎ個のブロックに分割し、各ブロックごとに一つのブロック識別コード（Ｂｌｏｃｋ＿ＩＤ）を設定する。
【００２０】
図２、図３に示すように、ステップ１４０において、データ処理装置２０は、各ブロックにおける各画素の画素値を分析し、各ブロックに対して局部的な二値化処理（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ，ＬＢＰ）を行う。データ処理装置２０は、画素値の変化に基づいて、各ブロックをＭ個の次元を有する特徴ベクトルに変換する。
【００２１】
図２、図３に示すように、ステップ１５０において、参考顔画像Ｒから合わせてＮ×Ｎ個の特徴ベクトルを得、そのためデータ処理装置２０は、これら特徴ベクトルを一つの参考特徴ベクトル群として結合し、特徴ベクトルデータベース４０に保存する。
【００２２】
図２、図３に示すように、ステップ１６０において、データ処理装置２０は、この参考特徴ベクトル群を特徴ベクトルデータベース４０に伝送する。
【００２３】
上記のプロセスは、参考特徴ベクトル群を構築することで、後続の対比を行えるようにするために行われる。参考特徴ベクトル群を構築する際、データ処理装置２０は、同時にＩＤデータの入力をも受け入れ、それによって参考特徴ベクトル群が対応するＩＤと関連付けされる。
【００２４】
上記のステップを経た後、特徴ベクトルデータベース４０が構築され、当該特徴ベクトルデータベース４０には、少なくとも一つの参考特徴ベクトル群が保存され、当該参考特徴ベクトル群とＩＤとが相互に関連付けされるよう設定する。
【００２５】
その後、参考顔画像Ｒについて、参考環境状態ベクトルを取得する。その取得ステップは以下のとおりである。
【００２６】
図４、図５に示すように、ステップ１７０において、データ処理装置２０は、まず参考顔画像Ｒを４等分に分割し、左上の等分部分から左回りに順次第一等分１、第二等分２、第三等分３、第四等分４に配列する。
【００２７】
図４、図５に示すように、次いで、ステップ１８１において、データ処理装置２０は、第一等分１、第二等分２、第三等分３、第四等分４の平均グレースケール値ｍ１、ｍ２、ｍ３、ｍ４をそれぞれ計算する。
【００２８】
図４、図５に示すように、ステップ１８２において、データ処理装置２０は、次いで、左側の等分の平均グレースケール値から右側の等分の平均グレースケール値を減じ且つ上側の等分の平均グレースケール値から下側の等分の平均グレースケール値を減じるという規則によって、四つのグレースケール値の差値（ｍ１−ｍ４）、（ｍ２−ｍ３）、（ｍ１−ｍ２）、（ｍ４−ｍ３）を取得する。ここで、上記規則は、主として各平均グレースケール値それぞれの他の平均グレースケール値との差値を計算するためのものであって、この規則に限定されない。又、等分の数も四つ（２×２）に限定されず、３×３、４×４等であってもよい。
【００２９】
ステップ１９０において、次いで、第一等分１、第二等分２、第三等分３、第四等分４の平均グレースケール値ｍ１、ｍ２、ｍ３、ｍ４と、四つのグレースケール値の差値（ｍ１−ｍ４）、（ｍ２−ｍ３）、（ｍ１−ｍ２）、（ｍ４−ｍ３）とを各次元の数値とし、結合して参考環境状態ベクトルとし、特徴ベクトルデータベース４０に保存する。
【００３０】
次に、ノイズ及び環境による影響を抑制することが可能な顔認識方法における顔認識段階について説明する。顔認識段階においては、同様にまず顔画像特徴ベクトル処理工程を実行し、現在の特徴ベクトル群を取得し、更に当該現在の特徴ベクトル群を、特徴ベクトルデータベース４０における参考特徴ベクトル群と順次対比させる。
【００３１】
図６、図７に示すように、ステップ２１０において、使用者は先に画像取得装置３０を顔に合わせ、当該画像取得装置３０を介して現在の顔画像Ｃを取得し、現在の顔画像Ｃをデータ処理装置２０に伝送する。
【００３２】
図６、図７に示すように、次いで、ステップ２２０において、データ処理装置２０は、現在の顔画像Ｃに対してガウスぼかし・ノイズ低減処理を行い、現在の顔画像Ｃ中のノイズを低減する。ステップ１２０と同様に、当該ガウスぼかし・ノイズ低減処理は、ノイズを低減するために行うものであり、ノイズ低減処理を行うことのできるその他の方法で代替してもよい。又は、もし顔画像Ｃを取得する場所の照明が十分であり、顔画像Ｃ取得においてノイズを低く抑えることを確保できる場合は、ステップ２２０のガウスぼかし・ノイズ低減処理を実行しなくてもよい。
【００３３】
図６、図７に示すように、次いで、ステップ２３０において、データ処理装置２０は、現在の顔画像ＣをＮ×Ｎ個のブロックに分割し、各ブロックごとに一つのブロック識別コード（Ｂｌｏｃｋ＿ＩＤ）を設定する。
【００３４】
図６、図７に示すように、ステップ２４０において、データ処理装置２０は、各ブロックにおける各画素の画素値を分析し、各ブロックに対して局部的な二値化処理を行う。データ処理装置２０は、画素値の変化に基づいて、現在の顔画像Ｃの各ブロックをＭ個の次元を有する特徴ベクトルに変換する。
【００３５】
図６、図７に示すように、ステップ２５０において、現在の顔画像Ｃから合わせてＮ×Ｎ個の特徴ベクトルを得、そのためデータ処理装置２０は、これら特徴ベクトルを一つの現在の特徴ベクトル群として結合する。
【００３６】
図８、図９に示すように、ステップ３００において、データ処理装置２０は、現在の顔画像Ｃに対応する現在の特徴ベクトル群における各特徴ベクトルと、参考顔画像Ｒの参考特徴ベクトル群における対応する特徴ベクトルとを対比させ、現在の顔画像Ｃにおける各ブロックの特徴ベクトルの差を見つけ出す。
【００３７】
図１０を用い、ステップ３００における適応性対比の詳細を以下に説明する。
【００３８】
まず、ステップ３１０において、データ処理装置２０は、特徴ベクトルデータベース４０から一つの参考特徴ベクトル群を読み込む。
【００３９】
ステップ３２０において、参考特徴ベクトル群及び現在の特徴ベクトル群において同じブロック識別コード（Ｂｌｏｃｋ＿ＩＤ）を具え相互に対応する特徴ベクトルを対比させ、Ｎ×Ｎ組の特徴ベクトルの差を得る。
【００４０】
ステップ３３０において、データ処理装置２０は、前記各特徴ベクトルの差を小さいものから大きいものへと順に配列し、数値の小さいものから前記各特徴ベクトルの差を選択し始め、前記各特徴ベクトルの差における特定の個数のみを選択的に取得し、例えば前の６５％のみを取得し、残りの数値の大きなものは捨てて採用しない。
【００４１】
ステップ３４０において、データ処理装置２０は、前記選択的に取得された各特徴ベクトルの差を加算して差の総和とする。
【００４２】
ステップ３３０において、特徴ベクトルの差のうち数値の大きなものを捨てて採用しない理由は、ステップ１４０、ステップ２４０の局部の二値化処理（ＬＢＰ）を実行する際、各ブロックの特徴ベクトルが実質的にいずれもノイズの影響を受け、その特徴ベクトルが影響を受けるためである。特徴ベクトルの差のうち数値の大きなものを捨てて採用しない場合は、捨てられたブロックは実質的にいずれもノイズの影響を強く受けたものであり、とりわけ、影、短い前髪、顔の光沢部位における粒状のノイズであって、重要な顔の特徴が採用されない確率は低い。
【００４３】
これに対し、光線が正常な場合では、ノイズは極めて少ないものの、識別性に欠けるブロックが時おり突出することがある。例えば光沢のある額、頬に強い光の作用のもとにおける粒状のノイズがあると、そのブロックは識別性の特徴を欠くだけでなく、十分な光線によってその特徴ベクトルが影響を受け特徴ベクトルの組み合わせにおいて突出し、その対応する特徴ベクトルの差の数値が大きくなってしまう。従って、光線が正常な場合に、特徴ベクトルの差の数値の大きなものを捨てることは、重要な顔の特徴を捨てることにはならず、反って重要な顔の特徴の比重を向上することが可能となる。
【００４４】
次いで、ステップ４００において、データ処理装置２０は、動的閾値を指定して、動的閾値検査を行う。動的閾値検査は、現在の顔画像Ｃと特徴ベクトルデータベース４０における参考顔画像Ｒの特徴ベクトルの差の総和が前記動的閾値を超えているか否か、即ち、現在の特徴ベクトル群及び参考特徴ベクトル群の差異が前記動的閾値を超えているか否かを判別するために行われる。
【００４５】
図１１、図１２を用いて、以下ステップ４００の詳細について説明する。
【００４６】
図１１、図１２に示すように、ステップ４１０において、データ処理装置２０は、まず現在の顔画像Ｃを４等分に分割し、左上の等分部分から左回りに順次第一等分１、第二等分２、第三等分３、第四等分４に配列する。
【００４７】
図１１、図１２に示すように、ステップ４２０において、データ処理装置２０は、第一等分１、第二等分２、第三等分３、第四等分４の平均グレースケール値ｍ１、ｍ２、ｍ３、ｍ４をそれぞれ計算する。
【００４８】
図１１、図１２に示すように、ステップ４３０において、データ処理装置２０は、次いで、各平均グレースケール値それぞれの他の平均グレースケール値との差値（ｍ１−ｍ４）、（ｍ２−ｍ３）、（ｍ１−ｍ２）、（ｍ４−ｍ３）を計算する。
【００４９】
ステップ４４０において、次いで、第一等分１、第二等分２、第三等分３、第四等分４の平均グレースケール値ｍ１、ｍ２、ｍ３、ｍ４と、四つのグレースケール値の差値（ｍ１−ｍ４）、（ｍ２−ｍ３）、（ｍ１−ｍ２）、（ｍ４−ｍ３）とを各次元の数値とし、結合して現在の環境状態ベクトルとする。
【００５０】
実質的に、ステップ４１０から４４０までにおいて行うステップは、ステップ１６０から１９０までにおいて行うものと同じであり、その相違点は、実施対象が参考顔画像Ｒであるか現在の顔画像Ｃであるかという点に過ぎない。
【００５１】
ステップ４５０において、データ処理装置２０は、参考環境状態ベクトルと現在の環境状態ベクトルとの間のユークリッド距離（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ）を計算する。
【００５２】
ステップ４６０において、データ処理装置２０は、特徴ベクトルデータベース４０から一つの動的閾値表を読み込む。動的閾値表には複数の動的閾値が記載され、且つ各動的閾値は特定範囲のユークリッド距離と関連する。前記動的閾値表は、異なる環境でテストした後、各動的閾値と特定範囲のユークリッド距離との関連性を逐次確立する。
【００５３】
ステップ４７０において、データ処理装置２０は、参考環境状態ベクトルと現在の環境状態ベクトルとの間のユークリッド距離に基づいて、対応する動的閾値を取得する。
【００５４】
図８に示すように、ステップ５００において、データ処理装置２０は、差の総和が動的閾値を超えているか否かを判別する。
【００５５】
ステップ５１０において、現在の特徴ベクトル群及び参考特徴ベクトル群の差の総和が動的閾値を超えている場合、現在の顔画像Ｃが参考顔画像Ｒとは不一致であり、全くの他人であると判定する。
【００５６】
ステップ５２０において、現在の特徴ベクトル群及び参考特徴ベクトル群の差が動的閾値を超えていない場合、現在の顔画像Ｃが参考顔画像Ｒと一致し、使用者であると決定する。
【００５７】
上述の識別結果及び参考特徴ベクトル群に対応するＩＤは、データ処理装置２０のログイン用アカウント番号及びパスワードの代わりに用いられ、それによってデータ処理装置２０の使用権限を取得するステップを簡略化することができる。
【００５８】
動的閾値は現在の顔画像Ｃを取得した際及び参考顔画像Ｒを取得した際の環境の影響を反映することが可能であり、当該環境の影響に応じて対比閾値を調整することで、顔認識方法における識別基準が厳格になり過ぎることを回避し、全くの他人が顔認識に成功する確率を低減することができる。
【００５９】
顔認識の正確性を向上させるため、本発明に係る顔認識方法のステップでは以下の二種類の修正を行ってもよい。
【００６０】
一つ目は、多段階サンプリングを行い、現在の特徴ベクトル群及び参考特徴ベクトル群における特徴ベクトル数を増加することで、有効な対比サンプル数を増加させることである。
【００６１】
図１３、図１４に示すように、多段階サンプリングを実行するステップは、ステップ１３０からステップ１４０まで、又はステップ２３０からステップ２４０までの代わりとして行われる。以下、現在の顔画像Ｃ及び参考顔画像Ｒを区別せず、単に顔画像Ｆとして説明する。
【００６２】
図１３、図１４に示すように、ステップ６１０において、顔画像Ｆを取得してノイズ低減処理を行った後（即ちステップ１１０からステップ１２０まで、又はステップ２１０からステップ２２０までを行った後）、データ処理装置２０は、顔画像Ｆを第１層の画像Ｆ１と第２層の画像Ｆ２とに分ける。ここで、第１層の画像Ｆ１はオリジナルの顔画像Ｆであり、第２層の画像Ｆ２はオリジナルの顔画像Ｆにおける局部のエリアであり、特に顔の中心の特徴が顕著なエリアである。
【００６３】
図１３、図１４に示すように、ステップ６２０において、データ処理装置２０は、第１層の画像Ｆ１と第２層の画像Ｆ２のそれぞれを複数のブロックに分割する。例えば、第１層の画像Ｆ１をＮ×Ｎ個のブロックに分割し、第２層の画像Ｆ２をＬ×Ｌ個のブロックに分割する。同様に、各ブロックの全てに一つのブロック識別コード（Ｂｌｏｃｋ＿ＩＤ）を設定する。
【００６４】
図１３、図１４に示すように、ステップ６３０において、データ処理装置２０は、各ブロックにおける各画素の画素値を分析し、各ブロックに対して局部的な二値化処理を行う。データ処理装置２０は、画素値の変化に基づいて、各ブロックをＭ個の次元を有する特徴ベクトルに変換する。
【００６５】
図１３、図１４に示すように、顔画像Ｆから合わせてＮ×Ｎ個及びＬ×Ｌ個の特徴ベクトルを得、当該Ｌ×Ｌ個はいずれも顔の特徴の顕著な部位から得たものであり、顔の特徴の比重を増加することができる。ステップ６４０において、データ処理装置２０は、これら特徴ベクトルを一つの参考特徴ベクトル群として結合し、特徴ベクトルデータベース４０に保存する。顔画像Ｆから合わせてＮ×Ｎ個及びＬ×Ｌ個の特徴ベクトルからなる特徴ベクトルの組み合わせを得、それらを参考特徴ベクトル群とする。
【００６６】
これにより、特徴ベクトルは、本来のＮ×Ｎ個に加え、Ｌ×Ｌ個増加し、且つ当該Ｌ×Ｌ個はいずれも顔の特徴の顕著な部位から得たものであり、顔の特徴の比重を増加することができる。
【００６７】
二つ目は、マルチサイズサンプリングを行い、現在の顔画像Ｃ及び特徴ベクトルデータベース４０における参考顔画像Ｒとのユークリッド距離を修正し、それによってノイズの影響を低減することである。
【００６８】
図１５、図１６に示すように、マルチサイズサンプリングを実行するステップは、ステップ１３０からステップ１４０まで、又はステップ２３０からステップ２４０までの代わりとして行われる。
【００６９】
図１５、図１６に示すように、ステップ７１０において、参考顔画像Ｒ及び現在の顔画像Ｃを取得した後（即ちステップ１１０からステップ１２０まで、又はステップ２１０からステップ２２０までを行った後）、データ処理装置２０は、更に参考顔画像Ｒ及び現在の顔画像Ｃの解像度を変更し、それぞれ参考縮小顔画像Ｒｓ及び現在の縮小顔画像Ｃｓを取得する。縮小顔画像を生成するプロセスにおいては、ノイズ部分を消去できるが、一方で顔の特徴の比重が低下する。そのため、オリジナルの顔画像Ｆは依然として後続のステップにおいて用いられる必要がある。
【００７０】
図１５に示すように、次いで、ステップ７２０において、データ処理装置２０は、参考顔画像Ｒ、現在の顔画像Ｃ、参考縮小顔画像Ｒｓ又は現在の縮小顔画像Ｃｓのそれぞれを複数のブロックに分割し、各ブロックの全てに一つのブロック識別コード（Ｂｌｏｃｋ＿ＩＤ）を設定する。
【００７１】
図１５に示すように、ステップ７３０において、データ処理装置２０は、各ブロックにおける各画素の画素値を分析し、各ブロックに対して局部的な二値化処理を行う。データ処理装置２０は、画素値の変化に基づいて、各ブロックをＭ個の次元を有する特徴ベクトルに変換する。
【００７２】
図１５、図１６に示すように、最後に、ステップ７４０において、データ処理装置２０は、参考縮小顔画像Ｒｓ及び現在の縮小顔画像Ｃｓの特徴ベクトル群をそれぞれ取得し、現在の縮小顔画像Ｃｓの特徴ベクトル群における各ブロックの特徴ベクトルの差を見つけ出す。
【００７３】
図１６、図１７に示すように、本来のステップ３００、即ち、現在の顔画像Ｃの現在の特徴ベクトル群と、特徴ベクトルデータベース４０における各参考特徴ベクトル群とに対して適応性対比を行うステップは、二つの平行する線に分けられて行われ、それぞれステップ３００’とステップ３００’’とする。
【００７４】
図１６、図１７に示すように、ステップ３００’では、依然として現在の顔画像Ｃにおける各ブロックの特徴ベクトルの差を見つけ出す。即ち、ステップ３１０’からステップ３４０’までは、ステップ３１０からステップ３４０までと同じである。
【００７５】
図１６、図１７に示すように、ステップ３００’’では、現在の縮小顔画像Ｃｓの特徴ベクトル群における各ブロックの特徴ベクトルの差を見つけ出す。即ち、ステップ３１０’’からステップ３４０’’までは、ステップ３１０からステップ３４０までと同じである。ただし、比較対象は現在の縮小顔画像Ｃｓ及び参考縮小顔画像Ｒｓである。
【００７６】
最後に、現在の縮小顔画像Ｃｓの特徴ベクトル群における各ブロックの特徴ベクトルの差を現在の顔画像Ｃから得た差の総和に加算することによって取得された差の総和を用いて、ステップ５００において動的閾値と対比させる。
【００７７】
本発明に係る顔認識方法は、主として環境状態の変化を考慮して、毎回対比する動的閾値を変更し、それによって毎回取得された動的閾値がいずれも環境状態の変化に合致するようにし、顔認識の信頼性を改善する。
【符号の説明】
【００７８】
２０ データ処理装置
４０ 特徴ベクトルデータベース
３０ 画像取得装置
Ｃ 現在の顔画像
Ｃｓ 現在の縮小顔画像
Ｆ 顔画像
Ｆ１ 第１層の画像
Ｆ２ 第２層の画像
Ｒ 参考顔画像
Ｒｓ 参考縮小顔画像
【特許請求の範囲】
【請求項１】
データ処理装置に適用され、現在の顔画像が参考顔画像と一致するかどうかを判別するための、ノイズ及び環境による影響を抑制することが可能な顔認識方法であって、
前記参考顔画像の参考特徴ベクトル群と、参考環境状態ベクトルと、動的閾値表とを保存する、特徴ベクトルデータベースを提供するステップと、
前記現在の顔画像を取得するステップと、
前記現在の顔画像の現在の特徴ベクトル群を取得するステップと、
前記現在の特徴ベクトル群における各特徴ベクトルを、前記参考特徴ベクトル群における対応する特徴ベクトルと対比させ、前記現在の顔画像における各ブロックの特徴ベクトルの差を見つけ出すステップと、
前記特徴ベクトルの差を小さいものから大きいものへと順に配列するステップと、
数値の小さいものから前記各特徴ベクトルの差を選択し始め、前記各特徴ベクトルの差における特定の個数のみを選択的に取得し、前記各特徴ベクトルの差を加算して差の総和とするステップと、
前記現在の顔画像における現在の環境状態ベクトルを取得するステップと、
前記参考環境状態ベクトルと前記現在の環境状態ベクトルとの間のユークリッド距離を計算するステップと、
前記参考環境状態ベクトルと前記現在の環境状態ベクトルとの間のユークリッド距離に基づいて、複数の動的閾値が記載され且つ各動的閾値が特定範囲のユークリッド距離と関連する前記動的閾値表から、対応する動的閾値を取得するステップと、
前記差の総和が前記動的閾値を超えているか否かを判別し、前記差の総和が前記動的閾値を超えていない場合に前記現在の顔画像が前記参考顔画像と一致すると決定するステップと、
を含むことを特徴とするノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項２】
前記参考特徴ベクトル群又は前記現在の特徴ベクトル群を取得するステップは、
画像取得装置を介して前記参考顔画像又は前記現在の顔画像を取得するステップと、
前記参考顔画像又は前記現在の顔画像を前記データ処理装置に伝送するステップと、
前記データ処理装置によって前記参考顔画像又は前記現在の顔画像に対してノイズ低減処理を行うステップと、
前記データ処理装置によって前記参考顔画像又は前記現在の顔画像を複数のブロックに分割するステップと、
前記データ処理装置によって前記各ブロックに対して局部的な二値化処理を行い、前記各ブロックを複数の特徴ベクトルに変換し、特徴ベクトル群として結合するステップと、
を更に含むことを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項３】
前記参考顔画像又は前記現在の顔画像を取得した後、
前記データ処理装置によって前記参考顔画像又は前記現在の顔画像を、前記参考顔画像又は前記現在の顔画像である第１層の画像と、前記参考顔画像又は前記現在の顔画像における局部のエリアである第２層の画像とに分けるステップと、
前記第１層の画像と前記第２層の画像をそれぞれ複数のブロックに分割するステップと、
を更に含むことを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項４】
前記ノイズ低減処理のステップは、ガウスぼかし・ノイズ低減処理（Ｇａｕｓｓｉａｎ Ｂｌｕｒ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）を行うことを特徴とする請求項２記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項５】
前記参考顔画像又は前記現在の顔画像を取得した後、
前記参考顔画像及び前記現在の顔画像の解像度を変更し、それぞれ参考縮小顔画像及び現在の縮小顔画像を取得するステップと、
前記参考縮小顔画像及び前記現在の縮小顔画像の特徴ベクトル群をそれぞれ取得し、前記現在の縮小顔画像の特徴ベクトル群における前記各ブロックの特徴ベクトルの差を見つけ出すステップと、
前記現在の縮小顔画像の特徴ベクトル群における前記各ブロックの特徴ベクトルの差を前記現在の顔画像から得た差の総和に加算するステップと、
を更に含むことを特徴とする請求項２記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項６】
前記参考特徴ベクトル群を、対応するＩＤと関連付けることを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項７】
前記参考環境状態ベクトル又は前記現在の環境状態ベクトルを取得するステップは、
前記参考顔画像又は前記現在の顔画像を複数個の等分に分割するステップと、
前記各等分の平均グレースケール値をそれぞれ計算するステップと、
前記各平均グレースケール値それぞれの他の平均グレースケール値との差値を計算するステップと、
前記各平均グレースケール値と四つのグレースケール値の差値とを各次元の数値とし、結合して現在の環境状態ベクトルとするステップと、
を更に含むことを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項８】
前記現在の顔画像と前記参考顔画像の前記特徴ベクトルの差を見つけ出すステップは、
前記データ処理装置によって前記特徴ベクトルデータベースから前記参考特徴ベクトル群を読み込むステップと、
前記参考特徴ベクトル群及び前記現在の特徴ベクトル群において同じブロックに属する特徴ベクトルを対比させ、前記特徴ベクトルの差を得るステップと、
を更に含むことを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項９】
選択的に取得される前記特徴ベクトルの差は、前記小さいものから大きいものへと配列された各特徴ベクトルの差において前から６５％であることを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項１】
データ処理装置に適用され、現在の顔画像が参考顔画像と一致するかどうかを判別するための、ノイズ及び環境による影響を抑制することが可能な顔認識方法であって、
前記参考顔画像の参考特徴ベクトル群と、参考環境状態ベクトルと、動的閾値表とを保存する、特徴ベクトルデータベースを提供するステップと、
前記現在の顔画像を取得するステップと、
前記現在の顔画像の現在の特徴ベクトル群を取得するステップと、
前記現在の特徴ベクトル群における各特徴ベクトルを、前記参考特徴ベクトル群における対応する特徴ベクトルと対比させ、前記現在の顔画像における各ブロックの特徴ベクトルの差を見つけ出すステップと、
前記特徴ベクトルの差を小さいものから大きいものへと順に配列するステップと、
数値の小さいものから前記各特徴ベクトルの差を選択し始め、前記各特徴ベクトルの差における特定の個数のみを選択的に取得し、前記各特徴ベクトルの差を加算して差の総和とするステップと、
前記現在の顔画像における現在の環境状態ベクトルを取得するステップと、
前記参考環境状態ベクトルと前記現在の環境状態ベクトルとの間のユークリッド距離を計算するステップと、
前記参考環境状態ベクトルと前記現在の環境状態ベクトルとの間のユークリッド距離に基づいて、複数の動的閾値が記載され且つ各動的閾値が特定範囲のユークリッド距離と関連する前記動的閾値表から、対応する動的閾値を取得するステップと、
前記差の総和が前記動的閾値を超えているか否かを判別し、前記差の総和が前記動的閾値を超えていない場合に前記現在の顔画像が前記参考顔画像と一致すると決定するステップと、
を含むことを特徴とするノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項２】
前記参考特徴ベクトル群又は前記現在の特徴ベクトル群を取得するステップは、
画像取得装置を介して前記参考顔画像又は前記現在の顔画像を取得するステップと、
前記参考顔画像又は前記現在の顔画像を前記データ処理装置に伝送するステップと、
前記データ処理装置によって前記参考顔画像又は前記現在の顔画像に対してノイズ低減処理を行うステップと、
前記データ処理装置によって前記参考顔画像又は前記現在の顔画像を複数のブロックに分割するステップと、
前記データ処理装置によって前記各ブロックに対して局部的な二値化処理を行い、前記各ブロックを複数の特徴ベクトルに変換し、特徴ベクトル群として結合するステップと、
を更に含むことを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項３】
前記参考顔画像又は前記現在の顔画像を取得した後、
前記データ処理装置によって前記参考顔画像又は前記現在の顔画像を、前記参考顔画像又は前記現在の顔画像である第１層の画像と、前記参考顔画像又は前記現在の顔画像における局部のエリアである第２層の画像とに分けるステップと、
前記第１層の画像と前記第２層の画像をそれぞれ複数のブロックに分割するステップと、
を更に含むことを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項４】
前記ノイズ低減処理のステップは、ガウスぼかし・ノイズ低減処理（Ｇａｕｓｓｉａｎ Ｂｌｕｒ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）を行うことを特徴とする請求項２記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項５】
前記参考顔画像又は前記現在の顔画像を取得した後、
前記参考顔画像及び前記現在の顔画像の解像度を変更し、それぞれ参考縮小顔画像及び現在の縮小顔画像を取得するステップと、
前記参考縮小顔画像及び前記現在の縮小顔画像の特徴ベクトル群をそれぞれ取得し、前記現在の縮小顔画像の特徴ベクトル群における前記各ブロックの特徴ベクトルの差を見つけ出すステップと、
前記現在の縮小顔画像の特徴ベクトル群における前記各ブロックの特徴ベクトルの差を前記現在の顔画像から得た差の総和に加算するステップと、
を更に含むことを特徴とする請求項２記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項６】
前記参考特徴ベクトル群を、対応するＩＤと関連付けることを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項７】
前記参考環境状態ベクトル又は前記現在の環境状態ベクトルを取得するステップは、
前記参考顔画像又は前記現在の顔画像を複数個の等分に分割するステップと、
前記各等分の平均グレースケール値をそれぞれ計算するステップと、
前記各平均グレースケール値それぞれの他の平均グレースケール値との差値を計算するステップと、
前記各平均グレースケール値と四つのグレースケール値の差値とを各次元の数値とし、結合して現在の環境状態ベクトルとするステップと、
を更に含むことを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項８】
前記現在の顔画像と前記参考顔画像の前記特徴ベクトルの差を見つけ出すステップは、
前記データ処理装置によって前記特徴ベクトルデータベースから前記参考特徴ベクトル群を読み込むステップと、
前記参考特徴ベクトル群及び前記現在の特徴ベクトル群において同じブロックに属する特徴ベクトルを対比させ、前記特徴ベクトルの差を得るステップと、
を更に含むことを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【請求項９】
選択的に取得される前記特徴ベクトルの差は、前記小さいものから大きいものへと配列された各特徴ベクトルの差において前から６５％であることを特徴とする請求項１記載のノイズ及び環境による影響を抑制することが可能な顔認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−８４１１２（Ｐ２０１２−８４１１２Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１１−４８４４７（Ｐ２０１１−４８４４７）
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（５０２２６３１７８）微星科技股▲分▼有限公司 (14)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（５０２２６３１７８）微星科技股▲分▼有限公司 (14)
【Ｆターム（参考）】
[ Back to top ]