説明

顔認識システム

【課題】顔認識を行う利用者が特徴量を抽出する対象となる顔の部位を自分で選択することができ、マスクや眼帯を着けていたり、髪型が変わったりした場合であっても、選択した部位の特徴量を重視して他の部位の特徴量を軽減することによって、適切に顔認識を行うことができるようにする。
【解決手段】利用者の顔画像を取得する画像入力部と、登録人物の顔の部位の特徴量を保存したデータベースと、前記利用者の顔画像から顔の部位の位置を検出する顔位置検出部と、顔の部位の特徴量を抽出する特徴量抽出部と、該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有する顔認識システムであって、特徴量を抽出する顔の部位を前記利用者が選択する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔認識システムに関するものである。
【背景技術】
【0002】
従来、建物や該建物内の特定の場所に無資格者が進入することを防止するための個人認証装置、情報処理装置等の装置を無資格者が操作することを防止するための個人認証装置、インターネットを利用した電子商取引において本人確認を行うための個人認証装置等においては、鍵(かぎ)や暗証番号を使用することなく、本人の生物学的な特徴を利用して本人を確認するバイオメトリクス認証システムを利用した個人認証装置が提供されている(例えば、特許文献1参照。)。
【0003】
そして、該バイオメトリクス認証システムを利用した個人認証装置においては、指紋によって認証するシステム、声紋によって認証するシステム、顔貌(ぼう)によって認証するシステム等が利用されている。
【0004】
顔貌によって認証するシステム、すなわち、顔認識システムにおいては、顔認識を行う際に、顔画像から顔の特徴量を抽出し、事前に登録した特徴量との類似度を比較して認識するようになっている。この場合、両目及び口の位置を検出し、それにより、修正されたテンプレートを顔の特徴量とするテンプレートマッチング処理によって顔認識を行う。この際、顔画像としては、両目及び口が含まれていることが前提条件であり、両目の検出又は口の検出のいずれかに失敗した場合には、画像中に顔が存在しないと判断して警告を出すようになっている。
【特許文献1】特開2000−163600号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、前記従来の顔認識システムにおいては、利用者がマスクを掛けていると、口を検出することができないので、適切に顔認識を行うことができなくなってしまう。例えば、冬季のように感冒が流行する時季や、春先のように花粉症が流行する時季には、利用者がマスクを掛けている場合が多い。このような場合、従来の顔認識システムを利用した個人認証装置では、口の特徴量がマスクの影響で大きく変わってしまうので、顔認識システムがマスクを掛けている顔を適切に認識をすることができず、利用者の本人確認に失敗してしまう。そのため、利用者は、認証時にマスクを外したりしなければならず、手間がかかり、煩わしく感じてしまう。
【0006】
本発明は、前記従来の顔認識システムの問題点を解決して、特徴量を抽出する対象となる顔の部位を選択する特徴量選択部を有することによって、顔認識を行う利用者が特徴量を抽出する対象となる顔の部位を自分で選択することができ、マスクや眼帯を着けていたり、髪型が変わったりした場合であっても、選択した部位の特徴量を重視して他の部位の特徴量を軽減することによって、適切に顔認識を行うことができる顔認識システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
そのために、本発明の顔認識システムにおいては、利用者の顔画像を取得する画像入力部と、登録人物の顔の部位の特徴量を保存したデータベースと、前記利用者の顔画像から顔の部位の位置を検出する顔位置検出部と、顔の部位の特徴量を抽出する特徴量抽出部と、該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有する顔認識システムであって、特徴量を抽出する顔の部位を前記利用者が選択する。
【0008】
本発明の他の顔認識システムにおいては、さらに、前記顔位置検出部は、前記利用者が選択した顔の部位の位置のみを検出する。
【0009】
本発明の更に他の顔認識システムにおいては、さらに、前記利用者が操作して特徴量を抽出する顔の部位を選択する特徴量選択部を有する。
【0010】
本発明の更に他の顔認識システムにおいては、利用者の顔画像を取得する画像入力部と、登録人物の顔の部位の特徴量を保存したデータベースと、前記利用者の顔画像から顔の部位の位置を検出する顔位置検出部と、顔の部位の特徴量を抽出する特徴量抽出部と、該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有する顔認識システムであって、特徴量を抽出する顔の部位を前記利用者の状態に合わせて自動的に選択する。
【0011】
本発明の更に他の顔認識システムにおいては、さらに、前記利用者の顔画像を登録されたテンプレートとマッチングさせることによって、特徴量を抽出する顔の部位を選択する利用者状態検出部を有する。
【発明の効果】
【0012】
本発明によれば、顔認識システムにおいては、特徴量を抽出する対象となる顔の部位を選択する特徴量選択部を有する。そのため、顔認識を行う利用者が特徴量を抽出する対象となる顔の部位を自分で選択することができ、マスクや眼帯を着けていたり、髪型が変わったりした場合であっても、選択した部位の特徴量を重視して他の部位の特徴量を軽減することによって、適切に顔認識を行うことができる。
【発明を実施するための最良の形態】
【0013】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【0014】
図1は本発明の第1の実施の形態における顔認識システムの構成を示す図である。
【0015】
図において、10はカメラ21によって撮影した利用者19の顔画像を取得して顔認識を行う顔認識システムであり、プログラムに従って動作を行う一種のコンピュータシステムである。前記顔認識システム10は、利用者19の生物学的な特徴の一つである顔貌によって、前記利用者19の個人認証を行うために使用されるシステムであり、いかなる用途において使用されてもよい。例えば、マンション、工場、事務所等の特定の該建物や該建物内の特定の場所に入る際に本人確認を行うために利用される。また、飛行場におけるチェックイン等の際に航空券を所持する者の本人確認を行うために使用することもできる。さらに、銀行、郵便局、信用金庫等の金融機関の営業店の窓口において金融取引を依頼したり、ATM(Automatic Teller Machine:現金自動預払機)等の自動取引装置を操作して金融取引を行ったりする際の本人確認を行うために使用することもできる。さらに、インターネットを利用した電子商取引において本人確認を行うために使用することもできる。
【0016】
そして、前記利用者19は、マンション、工場、事務所等の特定の建物や該建物内の特定の場所の住人、従業者等であってもよいし、飛行場においてチェックイン等を行う旅行者であってもよいし、金融機関の営業店の窓口において金融取引を依頼したり、自動取引装置を操作して金融取引を行ったりする顧客であってもよいし、インターネットを利用した電子商取引を行う者であってもよいし、前記顔認識システム10を使用して本人確認を行う者であれば、いかなる者であってもよい。
【0017】
また、前記カメラ21は、CCD(Charge Coupled Device:電荷結合素子)、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子、光学レンズ、通信インターフェイス等を備え、前記顔認識システム10に接続可能で、撮影した画像を電子データの形態で出力することができるものであれば、静止画を撮影するデジタルスチルカメラであってもよいし、動画を撮影するデジタルビデオカメラであってもよいし、いかなる形態のものであってもよい。前記カメラ21は、例えば、特定の建物や該建物内の特定の場所の入口に配設された監視カメラであってもよいし、自動取引装置に内蔵された内蔵型カメラであってもよいし、パーソナルコンピュータ等に接続されたカメラであってもよいし、ノートブック型パーソナルコンピュータ、PDA(Personal Digital Assistant)、電子手帳、携帯電話機、PHS(Personal Handy−Phone System)電話機等に内蔵されたカメラであってもよい。
【0018】
そして、前記顔認識システム10は、顔認識に用いる顔の特徴量を抽出する対象となる顔の部位を選択する特徴量選択部11、カメラ21から1フレーム毎の顔画像を取得する画像入力部12、該画像入力部12によって取得された画像中から利用者19の顔の部位、例えば、目、口等の位置を検出する顔位置検出部13、顔認識に用いる顔の特徴量として、目、口等の部位の特徴量を抽出する特徴量抽出部14、あらかじめ登録された登録人物の顔の特徴量が保存されているデータベース15、該データベース15に保存されている各登録人物の特徴量と、前記特徴量抽出部14で抽出された特徴量とを比較し、前記画像中の人物を認識する認識部16、及び、該認識部16の認識結果を出力する認識結果出力部17を有する。なお、顔認識に用いる特徴量を抽出する対象となる顔の部位は、目、口、耳、鼻等であるが、生物学的な特徴を利用して本人を確認することができるものであれば、顔のいかなる部位であってもよい。ここでは、前記部位が目及び口であるものとして説明する。
【0019】
ここで、前記特徴量選択部11は、特徴量を抽出する対象となる顔の部位を利用者19が状況に応じて選択する手段であり、例えば、利用者19がマスクを掛けている場合には目の特徴量を重視し、そうではない場合、すなわち、マスクを掛けていない場合には目及び口の特徴量を利用するように選択することができる。
【0020】
また、前記画像入力部12は、利用者19の顔画像を撮影するための撮影手段としてのカメラ21と、有線又は無線のネットワークを介して通信可能に接続され、前記カメラ21から利用者19の顔画像を取得する。なお、該顔画像はデジタルの画像データであることが望ましい。また、前記ネットワークは、USB(Universal Serial Bus)ケーブル等の通信ケーブルであってもよいし、電話回線網、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)等の通信回線網であってもよい。
【0021】
さらに、前記認識結果出力部17は、スピーカ22及びモニタ23と有線又は無線のネットワークを介して通信可能に接続され、認識結果を前記スピーカ22又はモニタ23に出力するためのメッセージや画像を作成する。ここで、前記スピーカ22は、いかなる形態のものであってもよいし、いかなる場所に配設されたものであってもよい。例えば、特定の建物や該建物内の特定の場所の入口に配設されたインターホン等のスピーカであってもよいし、自動取引装置に内蔵された内蔵型スピーカであってもよいし、パーソナルコンピュータ等に接続されたスピーカであってもよいし、ノートブック型パーソナルコンピュータ、PDA、電子手帳、携帯電話機、PHS電話機等に内蔵されたスピーカであってもよい。
【0022】
また、前記モニタ23は、CRT、液晶ディスプレイ、LED(Light Emitting Diode)ディスプレイ等の表示手段を備えるものであり、いかなる形態のものであってもよいし、いかなる場所に配設されたものであってもよい。例えば、特定の建物や該建物内の特定の場所の入口に配設されたモニタであってもよいし、自動取引装置の表示手段であってもよいし、パーソナルコンピュータ等に接続されたモニタであってもよいし、ノートブック型パーソナルコンピュータ、PDA、電子手帳、携帯電話機、PHS電話機等が備えるモニタであってもよい。
【0023】
さらに、前記ネットワークは、USBケーブル等の通信ケーブルであってもよいし、電話回線網、インターネット、LAN、WAN等の通信回線網であってもよい。
【0024】
また、前記顔認識システム10は、CPU、MPU等の演算手段、磁気ディスク、半導体メモリ等の記憶手段、入出力インターフェイス等を備えるものであれば、いかなる種類のコンピュータに組み込まれたものであってもよく、例えば、パーソナルコンピュータに組み込まれたものであってよいし、サーバに組み込まれたものであってもよいし、複数台のコンピュータをネットワークによって接続したコンピュータネットワークに組み込まれたものであってもよい。
【0025】
次に、前記構成の顔認識システム10の動作について説明する。
【0026】
図2は本発明の第1の実施の形態における特徴量選択画面の例を示す図、図3は本発明の第1の実施の形態における顔位置検出処理の動作を示すフローチャート、図4は本発明の第1の実施の形態における特徴量抽出処理の動作を示すフローチャートである。
【0027】
まず、利用者19は、特徴量選択部11によって、特徴量を抽出する対象となる顔の部位をどこにするか、すなわち、顔の特徴量として顔のどの部位を重視するかを選択する。この場合、顔認識システム10は、例えば、図2に示されるような特徴量選択画面をモニタ23に表示させ、マスクを掛けているか否かを利用者19に選択させる。そして、マスクを掛けていることが選択された場合には、顔の特徴量として目の特徴量を利用することが選択されたものとする。また、マスクを掛けていないことが選択された場合には、目と口の特徴量を利用することが選択されたものとする。
【0028】
なお、同様にして、眼帯を着けているか否かを利用者19に選択させることもできる。そして、眼帯を着けていることが選択された場合には、顔の特徴量として口の特徴量を利用することが選択されたものとする。また、眼帯を着けていないことが選択された場合には、目と口の特徴量を利用することが選択されたものとする。さらに、同様にして、髪型が大きく変化したか否かを利用者19に選択させることもできる。
【0029】
続いて、画像入力部12は、カメラ21が撮影した利用者19の顔画像を1フレーム毎に取得する。
【0030】
続いて、顔位置検出部13は、前記画像入力部12が取得した顔画像から、顔の各部位の位置を検出する。この場合、特徴量選択部11によって選択された部位の位置のみを検出する。例えば、目及び口のそれぞれに対して、特徴量を利用する場合にはそれぞれの位置を順に検出する。まず、目の特徴量を利用することが選択されたか否かを判断し、選択された場合には目の位置を検出する。また、選択されていない場合には目の位置を検出しない。続いて、口の特徴量を利用することが選択されたか否かを判断し、選択された場合には口の位置を検出する。また、選択されていない場合には口の位置を検出しない。
【0031】
なお、顔の各部位を検出する方法としては、例えば、肌色で顔の大まかな位置を求めた後、低周波フィルタによるフィルタリング結果の射影ヒストグラム及びテンプレートマッチングによって各部位の位置を求める方法が、顔部品探索方法として知られている(例えば、特許文献2参照。)ので、ここでは、説明を省略する。
【0032】
[特許文献2]特開2003−281539号公報
続いて、特徴量抽出部14は、顔認識に用いる特徴量を抽出する。この際、特徴量選択部11によって選択された部位のみを対象として特徴量を抽出する。例えば、選択された目又は口を対象として、特徴量を抽出する。顔認識に用いる特徴量としては、例えば、目、鼻、口に対して数種類のガボールフィルタを使用してフィルタリングする方法が知られている(例えば、非特許文献1参照。)ので、ここでは、説明を省略する。
【0033】
[非特許文献1]「特徴点自動抽出を用いたガボール変換による顔認識」吉田、呉、塩山、電子情報通信学会技術研究報告PRMU2001−202
なお、データベース15には、1人以上の登録人物の顔の特徴量が保存されており、各登録人物の顔画像から抽出した顔のすべての部位(例えば、目、口、耳、鼻等)の特徴量が保存されている。
【0034】
続いて、認識部16は、前記特徴量抽出部14が利用者19の顔画像から抽出した特徴量と、データベース15に保存されている登録人物の顔の特徴量とを比較して、顔認識を行う。この場合、前記認識部16は、特徴量選択部11によって選択された部位(例えば、目又は口)に関して、利用者19の顔画像から抽出した特徴量と、登録人物の特徴量とを比較し、認識スコアを算出する。なお、該認識スコアを算出する場合のパターンマッチング方法としては、例えば、正規化した相互相関(例えば、非特許文献2参照。)を使用する方法が知られているので、ここでは、説明を省略する。
【0035】
[非特許文献2]「画像の処理と認識」安居院、長尾
ここで、前記認識スコアは各登録人物の特徴量に対して算出される。そして、前記認識スコアが最大で、かつ、所定閾(しきい)値を超える場合、前記認識部16は、該当する登録人物が前記利用者19であると判断する。すなわち、該利用者19は、前記登録人物と同一人物であり、顔認識に成功したと判断する。また、それ以外の場合、前記認識部16は、顔認識に失敗したと判断する。
【0036】
そして、認識結果出力部17は、前記認識部16の認識結果、すなわち、利用者19の顔認識に成功したか又は失敗したかを、スピーカ22及びモニタ23から、音声又は画像によって出力する。これにより、認識結果が利用者19に伝えられる。
【0037】
次に、図3に示されるフローチャートについて説明する。
ステップS1 目の特徴量を利用することが選択されたか否かを判断する。目の特徴量を利用することが選択された場合はステップS2に進み、目の特徴量を利用することが選択されていない場合はステップS3に進む。
ステップS2 目の位置を検出する。
ステップS3 口の特徴量を利用することが選択されたか否かを判断する。口の特徴量を利用することが選択された場合はステップS4に進み、口の特徴量を利用することが選択されていない場合は処理を終了する。
ステップS4 口の位置を検出して、処理を終了する。
【0038】
次に、図4に示されるフローチャートについて説明する。
ステップS11 目の特徴量を利用することが選択されたか否かを判断する。目の特徴量を利用することが選択された場合はステップS12に進み、目の特徴量を利用することが選択されていない場合はステップS13に進む。
ステップS12 目の特徴量を抽出する。
ステップS13 口の特徴量を利用することが選択されたか否かを判断する。口の特徴量を利用することが選択された場合はステップS14に進み、口の特徴量を利用することが選択されていない場合は処理を終了する。
ステップS14 口の特徴量を抽出して、処理を終了する。
【0039】
このように、本実施の形態においては、利用者19が自分の状態に合わせて、顔の特徴量として顔のどの部位を重視するかを選択して、特徴量の設定を意図的に行うことができる。これにより、マスクを掛けた状態、眼帯を着けている状態、髪型が登録時と大きく変化した状態等でも利用者19の顔認識を適切に行うことができる。そのため、認証時にマスクや眼帯を取り外すことが不要となり、利用者19の負担を軽減させることができる。
【0040】
次に、本発明の第2の実施の形態について説明する。なお、第1の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。
【0041】
図5は本発明の第2の実施の形態における顔認識システムの構成を示す図である。
【0042】
図に示されるように、本実施の形態における顔認識システム10は、画像入力部12、顔位置検出部13、特徴量抽出部14、データベース15、認識部16、認識結果出力部17及び利用者状態検出部18を有する。なお、特徴量選択部11は省略されている。そして、前記利用者状態検出部18は、顔位置検出部13によって検出された結果に基づいて利用者19の状態を検出するものであり、例えば、利用者19がマスクを掛けているか否かを判断する。なお、その他の点の構成については、前記第1の実施の形態と同様であるので説明を省略する。
【0043】
次に、本実施の形態における顔認識システム10の動作について説明する。
【0044】
まず、画像入力部12は、カメラ21が撮影した利用者19の顔画像を1フレーム毎に取得する。
【0045】
続いて、顔位置検出部13は、前記画像入力部12が取得した顔画像から、顔の各部位の位置を検出する。
【0046】
続いて、利用者状態検出部18は、前記顔位置検出部13が検出した顔の各部位の位置情報を利用して、前記利用者19の状態を検出する。例えば、目の位置から口の位置を推定し、推定した口の位置付近を、あらかじめ登録データとして登録されている口のテンプレートとマッチングさせる。そして、推定した口の位置付近と口のテンプレートとの相互相関値が所定閾値以下の場合、前記利用者状態検出部18は、マスクの影響によって口が見えていないと判断し、口の特徴量を顔認識に利用しないように選択する。
【0047】
また、前記利用者状態検出部18は、同様に、例えば、推定した目の位置付近を、あらかじめ登録データとして登録されている目のテンプレートとマッチングさせる。そして、推定した目の位置付近と目のテンプレートとの相互相関値が所定閾値以下の場合、利用者状態検出部18は、眼帯や髪型の影響によって目が見えていないと判断し、目の特徴量を顔認識に利用しないように選択する。
【0048】
続いて、特徴量抽出部14は、顔認識に用いる特徴量を抽出する。この際、前記利用者状態検出部18によって選択された部位のみを対象として特徴量を抽出する。
【0049】
続いて、認識部16は、前記特徴量抽出部14が利用者19の顔画像から抽出した特徴量と、データベース15に保存されている登録人物の顔の特徴量とを比較して、顔認識を行う。
【0050】
そして、認識結果出力部17は、前記認識部16の認識結果、すなわち、利用者19の顔認識に成功したか又は失敗したかを、スピーカ22及びモニタ23から、音声又は画像によって出力する。これにより、認識結果が利用者19に伝えられる。
【0051】
このように、本実施の形態においては、利用者19の状態に合わせて、顔の特徴量として顔のどの部位を重視するかを自動的に選択するようになっている。これにより、マスクを掛けた状態、眼帯を着けている状態、髪型が登録時と大きく変化した状態等でも利用者19の顔認識を適切に行うことができる。そのため、認証時にマスクや眼帯を取り外すことが不要となり、利用者19の負担を軽減させることができる。
【0052】
なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。
【図面の簡単な説明】
【0053】
【図1】本発明の第1の実施の形態における顔認識システムの構成を示す図である。
【図2】本発明の第1の実施の形態における特徴量選択画面の例を示す図である。
【図3】本発明の第1の実施の形態における顔位置検出処理の動作を示すフローチャートである。
【図4】本発明の第1の実施の形態における特徴量抽出処理の動作を示すフローチャートである。
【図5】本発明の第2の実施の形態における顔認識システムの構成を示す図である。
【符号の説明】
【0054】
10 顔認識システム
11 特徴量選択部
12 画像入力部
13 顔位置検出部
14 特徴量抽出部
15 データベース
16 認識部
18 利用者状態検出部
19 利用者

【特許請求の範囲】
【請求項1】
(a)利用者の顔画像を取得する画像入力部と、
(b)登録人物の顔の部位の特徴量を保存したデータベースと、
(c)前記利用者の顔画像から顔の部位の位置を検出する顔位置検出部と、
(d)顔の部位の特徴量を抽出する特徴量抽出部と、
(e)該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有する顔認識システムであって、
(f)特徴量を抽出する顔の部位を前記利用者が選択することを特徴とする顔認識システム。
【請求項2】
前記顔位置検出部は、前記利用者が選択した顔の部位の位置のみを検出する請求項1に記載の顔認識システム。
【請求項3】
前記利用者が操作して特徴量を抽出する顔の部位を選択する特徴量選択部を有する請求項1に記載の顔認識システム。
【請求項4】
(a)利用者の顔画像を取得する画像入力部と、
(b)登録人物の顔の部位の特徴量を保存したデータベースと、
(c)前記利用者の顔画像から顔の部位の位置を検出する顔位置検出部と、
(d)顔の部位の特徴量を抽出する特徴量抽出部と、
(e)該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有する顔認識システムであって、
(f)特徴量を抽出する顔の部位を前記利用者の状態に合わせて自動的に選択することを特徴とする顔認識システム。
【請求項5】
前記利用者の顔画像を登録されたテンプレートとマッチングさせることによって、特徴量を抽出する顔の部位を選択する利用者状態検出部を有する請求項4に記載の顔認識システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2007−257221(P2007−257221A)
【公開日】平成19年10月4日(2007.10.4)
【国際特許分類】
【出願番号】特願2006−79844(P2006−79844)
【出願日】平成18年3月23日(2006.3.23)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】