個人認証装置及び個人認証方法
【課題】表情が変化した場合であっても高速かつ精度良く個人認証を行える個人認証技術の実現。
【解決手段】個人認証装置は、画像データを入力する入力手段と、前記入力手段により入力された画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、前記顔検出手段により検出された顔領域から表情を判定する表情判定手段と、複数の顔の表情ごとに、個人を認証するための特徴データが記憶された記憶手段と、前記表情判定手段により判定された表情に対応する特徴データを前記記憶手段から選択する選択手段と、前記顔検出手段により検出された顔領域の特徴データと前記選択手段により選択された特徴データとを比較することにより、個人を認証する認証手段と、を有する。
【解決手段】個人認証装置は、画像データを入力する入力手段と、前記入力手段により入力された画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、前記顔検出手段により検出された顔領域から表情を判定する表情判定手段と、複数の顔の表情ごとに、個人を認証するための特徴データが記憶された記憶手段と、前記表情判定手段により判定された表情に対応する特徴データを前記記憶手段から選択する選択手段と、前記顔検出手段により検出された顔領域の特徴データと前記選択手段により選択された特徴データとを比較することにより、個人を認証する認証手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから人物の顔領域を検出して個人認証を行う技術に関するものである。
【背景技術】
【０００２】
従来、顔検出機能を利用して個人認証を行う技術が知られている。この技術は、検出した顔画像データから個人ごとに異なる顔領域の特徴データを抽出し、予め登録した特徴データと比較することにより、検出した顔が登録されている人物か否かを識別するものである。しかしながら、上記特徴データは顔領域の表情によって影響を受けるため、登録時と顔領域の表情が異なる場合には、個人認証の精度が劣化してしまう場合があった。これを回避するため、顔領域の表情を検知し、検知した表情より個人認証するのに有効な表情か判定し、無効である場合には、新たな画像データで個人認証を行う方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０６−１１９４３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の方法では、顔の表情が有効となるまで個人認証ができないため、認証までの時間がかかってしまうだけでなく、有効な表情が現れない場合には、認証が不可能となっていた。
【０００５】
本発明は、上記課題に鑑みてなされ、表情が変化した場合であっても高速かつ精度良く個人認証を行える個人認証技術を実現する。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の認証装置は、画像データを入力する入力手段と、前記入力手段により入力された画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、前記顔検出手段により検出された顔領域から表情を判定する表情判定手段と、複数の顔の表情ごとに、個人を認証するための特徴データが記憶された記憶手段と、前記表情判定手段により判定された表情に対応する特徴データを前記記憶手段から選択する選択手段と、前記顔検出手段により検出された顔領域の特徴データと前記選択手段により選択された特徴データとを比較することにより、個人を認証する認証手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、表情が変化した場合でも、表情に応じた適切な特徴データを選択して個人認証を行うため、認証精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る第１の実施形態の個人認証装置の構成を示すブロック図。
【図２】第１の実施形態１による個人データベースを例示する図。
【図３】第１の実施形態による個人認証処理を示すフローチャート。
【図４】第２の実施形態の個人認証装置の構成を示すブロック図。
【図５】第２の実施形態による個人認証処理を示すフローチャート。
【図６】特徴点を例示する図。
【図７】笑顔の場合の特徴点を例示する図。
【発明を実施するための形態】
【０００９】
以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。以下に説明する実施の形態は、本発明の実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１０】
［第１の実施形態］図１は、本発明に係る実施の形態における個人認証装置の概略構成を示すブロック図である。本実施形態の個人認証装置は、画像入力部１より画像データを入力し、顔検出部２がこの画像データから人物の顔領域の位置やサイズを検出する。顔検出については既知の方法で良い。例えば、顔検出部２は、入力された画像データから、鼻、口や目などの顔領域の構成要素に相当する形状を抽出し、両目の中間を通過する延長線上に鼻と口が存在する領域を検出する。そして、両目の大きさとそれらの距離から顔の大きさを推定し、鼻の中心に相当する位置を基準として、推定した大きさの領域で囲んだ領域を顔領域とする。
【００１１】
顔検出部２は、検出された顔領域から特徴データを抽出する。特徴データは、例えば、特開２００５−２６６９８１号公報に開示されているように、口、目、眉毛、鼻のなどの顔の構成要素の具体的な形状や、これらの構成要素の位置に関する情報を含む。ここで、特徴データは、入力された顔領域の画像データから、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。もちろん、形状や位置に関する情報だけでなく、彩度や色相に関する情報も特徴データに含めるようにしてもよい。１つの顔における特徴データが多いほど、その顔の様子を詳細に解析することが可能となり、この特徴データを用いた表情判定や、個人認証の精度が向上する。
【００１２】
同一人物判定部３は、動画のような複数フレームを含む画像データにおいては、ある一定周期のフレームごとに顔が検出されることになるが、どの顔とどの顔が同一人物であるかを判定する。同一人物判定部３は、例えば、あるフレームの画像データから複数の顔が検出され、別のフレームの画像データからも１あるいは複数の顔が検出された場合に、それぞれの顔のサイズと位置が類似するものを同一人物であるとみなす。
【００１３】
表情判定部４は、顔検出部２で抽出された特徴データに基づいて、その顔がどのような表情をしているか判定する。判定の対象となる表情の種類としては、例えば、無表情、笑顔、目つむり、などがあげられる。この判定結果に基づいて、データベース選択部５は、予め個人データベース部８に登録されている個人認証用の特徴データの中から、その表情に対応する特徴データを選択して読み出す。認証部６は、データベース選択部５で選択された特徴データと、顔検出部２により抽出された顔領域の特徴データとを比較・照合することにより個人認証を行い、結果出力部７により認証結果が出力される。
【００１４】
この個人認証装置は、単体の装置で構成されても、複数の装置からなるシステムで構成されても構わない。例えば、デジタルカメラやデジタルビデオカメラ単体の内部に画像入力部１から個人データベース部８の全ての構成を備えてもよい。あるいは、画像入力部１のみをデジタルカメラやデジタルビデオカメラ内部に持たせ、それ以外をデジタルカメラやデジタルビデオカメラと通信可能な外部のコンピュータに持たせもよい。さらには、画像入力部１から個人データベース部８の全てをネットワーク上の複数のコンピュータに分担して持たせ、画像入力部１を備えたコンピュータが別の外部機器や記録メディアから画像データを受け取るように構成してもよい。
【００１５】
本実施形態においては、個人認証用の特徴データとして、図６に示すように２３点の特徴点の座標が用いられる。実際に個人認証を行うためにはもっと多くの特徴点が必要とされるが、ここでは説明を簡略化するため、２３点の特徴点を用いるものとして説明を行う。これら２３点の特徴点は、画像データ中で顔が傾いていれば、この傾きをなくすように画像データを回転してから求められる。また、これらの特徴点の座標は、顔検出部２によって画像データから抽出された目や鼻、口、眉などの位置を、例えば両目間の距離で顔のサイズを正規化することで算出される。この座標は鼻の端点の位置を基準とする。認証部６は、入力された画像データから算出された各特徴点の座標をＰｉ（ｉ＝１，２，・・・，２３）とし、予め個人データベース部８に登録された人物の特徴点の座標Ｐ’iとの差分の絶対値和Ｓ＝Σ|Ｐｉ−Ｐ’ｉ|を求める。この絶対値和Ｓが小さいほど、検出対象となった人物と予め登録された人物とが同一人物の可能性が高いと考えられる。認証部６は、最も可能性が高いと判定された人物における絶対値和Ｓが、予め設定された閾値以下である場合にその人物であると判定し、閾値より大きい場合は該当者なしと判定する。
【００１６】
なお、この絶対値和Ｓを求める方法は、個人認証を行う方法の１つの例であって、別の方法によって個人認証を行っても構わない。例えば、無表情から笑顔に変化するときの目や口の位置、形状の変化のパターンから個人を識別してもよく、顔の画像データから解像度を異ならせた多数の画像データを生成し、解像度別に個人認証を行い、その総合結果から最終的な個人認証結果を求めてもよい。すなわち、予め個人データベース部８に登録されたデータとの照合を行い、最も可能性の高い人物であると判定する構成であれば、他の方法であっても、本実施形態と同様の効果を得ることができる。
【００１７】
ここで、表情判定部４による表情の判定は、同一の顔における、特徴点の相対位置の時間的な変化を検出することで実現できる。例えば、笑顔の場合は、図６に示す無表情の顔に比較して、図７のように目が細くなる、口角が上がるなど、特徴点の位置に変化が生じる。本実施形態では、向かって左目の中央上下端の特徴点９、１１の距離、および、向かって右目の中央上下端の特徴点１３、１５の距離が、無表情時の距離に対して所定割合以上近くなり、かつ、口の左右端の特徴点６、７の、口の中央上下端の特徴点４、５に対する位置が無表情時に比べて所定割合以上あがった場合に笑顔と判定する。また、さらに、口の特徴点４乃至７の位置が笑顔の条件を満たさずに、目の特徴点の９、１１の距離、および、特徴点１３、１５の距離が無表情時の距離に対して小さくなった場合には、目を閉じていると判定する。
【００１８】
なお、無表情時の顔領域の判定であるが、例えば、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、そのときの顔領域を無表情状態であると判定すれば良い。あるいは、同一の顔領域についての連続した数フレームの特徴点を平均して得られた値を無表情状態であるとみなしてもよい。あるいは、同一の顔領域についての連続した数フレーム間で得られた特徴点を比較し、それらの相対値で、どのフレームにおける顔が無表情で、どのフレームにおける顔が笑顔なのか、自動的に判別するようにしても良い。さらには、表情ごとに目の開き具合や口の形状に対する条件を設け、入力されたそれぞれのフレーム画像の顔に対してどの条件を満たすか判定し、フレームごとに独立して表情を判定するようにしてもよい。フレームごとに独立して表情を判定する構成であれば、単一フレームからなる静止画からも表情を判定することができる。このように、表情の判定は、予め人物ごとに登録された特徴点と比較を行う個人認証と異なり、画像データから抽出された顔を構成する目や口などのパーツの形状が、特定の条件を満たしたか否かを判定することで行われる。
【００１９】
ここで、上述したように、個人認証は画像データから検出された特徴点と、予め人物ごとに個人データベース部８に登録されている特徴点とを比較してその絶対値和Ｓを求めている。しかしながら、人物の表情が変化した場合には、画像データから検出された特徴点の座標が変化してしまい、個人認証の際に求める絶対値和Ｓの値が表情によって大きく変動し、個人認証の精度が低下してしまうという問題がある。これに対して、本実施形態の個人認証装置では、次のように個人認証を行うことで精度を向上することができる。
【００２０】
予め個人データベース部８に登録する個人認証用の特徴データを、図２のように個人認証を行いたい人物および表情毎に登録しておく。登録時に順次表情を指定して被写体にその表情をさせ、撮影された表情ごとに抽出した特徴データを登録すればよい。または、被写体が任意に表情を変化させた画像データから上述した方法で自動的に表情を判定し、その特徴点を登録しても良い。あるいは、ユーザーがすでに撮影された画像データの中から任意の顔を選択し、その顔の特徴点を、ユーザーが指定した人物および表情の特徴データとして登録するようにしても良い。
【００２１】
次に、個人認証時の動作について図３のフローチャートを用いて説明する。このフローチャートは画像入力部１に画像データが入力されると開始される。この画像データは、画像入力部１がカメラであれば、このカメラにて撮影した画像データや記録メディアから読み出した画像データが該当する。画像入力部１がパーソナルコンピュータであれば、記録メディアから読み出した画像やネットワークを介して受け取った画像データが該当する。この画像データは静止画でも動画でもよく、動画であれば、個人認証に要する時間に応じたフレーム間隔で、連続的に個人認証が行われる。以下の実施形態では、画像入力部１に動画の画像データが入力されたものとして説明を行う。
【００２２】
ステップＳ１０１において、顔検出部２は、画像入力部１から動画の１フレームの画像データを受け取って人物の顔の検出を行う。ステップＳ１０２において、顔検出部２は、１つ以上の顔を検出できたのであればステップＳ１０３に進み、顔を検出できなかったのであればステップＳ１１１に進む。ステップＳ１１１では、画像入力部１に入力された画像データの中に、別フレームの画像データが存在するか判定し、存在していれば、ステップＳ１１２にて、画像データを更新する。そして、ステップＳ１０１に戻って、顔検出部２が更新した画像データに対して顔検出を行う。
【００２３】
ステップＳ１０３において、同一人物判定部３は、顔検出部２で検出された顔の検出結果を受け取り、異なるフレームにて検出された顔のうち、どの顔とどの顔が同一人物の顔とみなせるかを判定する。画像データの中に複数の人物が存在する場合には、それぞれの顔を区別し、それぞれの顔に対して上述した無表情の基準となる特徴データを求める必要がある。そのために、同一人物判定部３は、各フレームで検出されたそれぞれの顔の中心位置とサイズを比較し、連続するフレーム間で、顔の中心位置の距離、および、サイズの変化の総和が最も小さいものを、同じ人物の顔であると推定する。ただし、この総和が最も小さくとも、その値が予め設定した閾値の範囲に入っていないのであれば、同一人物は存在しないと判断する。
【００２４】
同一人物判定部３は、それぞれの顔の位置、サイズのいずれか一方のみを比較して同一人物を推定しても構わないし、検出された顔の輝度や色情報が最も類似するものを同一人物と推定しても構わない。このように、２つのフレームで検出された顔の相関を見ることにより、この２つのフレームで検出された顔が同一人物であるか否かを判定することができる。画像入力部１に入力された画像データが静止画である場合には、このステップＳ１０３は省略される。
【００２５】
ステップＳ１０４において、顔検出部２は、検出できたそれぞれの顔から、図６、図７に示すような特徴点の座標を含む特徴データを求める。ステップＳ１０５において、表情判定部４は、顔検出部２で求められた特徴データと、同一人物判定部３で得られた判定結果を用いて、それぞれの顔が無表情であるか否かを判定する。本実施形態では、表情判定部４は、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、そのときの顔が無表情であると判定し、この無表情の特徴データをもとに笑顔などを判定するものとする。具体的には、表情判定部４は、同一人物と判定された顔の特徴データを蓄積し、特徴データの相対変化を観察することで、その顔が無表情であるか否かを判定する。そして、表情判定部４は、無表情である顔を判定できた場合には、その無表情である顔から、無表情の基準となる特徴データを算出する。特徴データが十分に蓄積されておらず、表情判定部４が無表情の基準となる特徴データを算出できていなければ（ステップＳ１０６でＮＯ）、顔の特徴データを蓄積するため、Ｓ１１１、Ｓ１１２を介して、再びステップＳ１０１へ戻る。
【００２６】
表情判定部４は、ステップＳ１０５において無表情の基準となる特徴データが求められていれば、（ステップＳ１０６でＹＥＳ）ステップＳ１０７に進む。なお、表情判定部４は、ステップＳ１０５において、一度、無表情の基準となる特徴データが算出された顔については、その顔を見失うまでは、このステップＳ１０５の処理を飛ばしても構わない。あるいは、表情判定部４は、無表情の基準となる特徴データが算出された後であっても、ステップＳ１０４において新たな特徴データが算出される度に、無表情の基準となる特徴データを新たに算出し、更新するようにしても構わない。
【００２７】
ステップＳ１０７において、表情判定部４は、それぞれの顔において、ステップＳ１０４で求められた最新の特徴データを、ステップＳ１０５で算出された無表情の基準となる特徴データと比較することで、その最新の特徴データが示す顔の表情を求める。ステップＳ１０８において、データベース選択部５は、個人データベース部８より、表情判定部４から出力された顔の表情の判定結果に対応する個人認証用の特徴データを全て選択し、読み出す。例えば、ステップＳ１０７にて表情判定部４によって笑顔であると判定された場合には、データベース選択部５は、図２に示す個人データベース部８の特徴データの中から、笑顔時の全ての人物の特徴データであるＡ−２、Ｂ−２、Ｃ−２を選択して読み出す。多数の人物の特徴データが予め登録されている場合には、データベース選択部５が、予めユーザーが指定した特定の人物や、人物のグループに含まれる特徴データのみを選択するようにしてもよい。
【００２８】
ステップＳ１０９において、認証部６は、それぞれの顔について、表情判定された最新の特徴データと、その表情に対応する個人認証用の特徴データとの絶対値和Ｓから、その顔が誰であるかを識別する。ステップＳ１１０において、結果出力部７は、認証部６から個人認証結果を受け、その結果を、認証の対象となった画像データから生成された画像に重畳して表示する。もちろん、認証結果の表示は、このような表示方法に限られるものでなく、様々な方法が考えられる。複数の顔について個人認証が同時に行われた場合には、それぞれの認証結果が、どの顔に対するものであるのかを明確にすることが望ましい。
そして、画像入力部１に入力された画像データの中にまだ顔検出の対象とすべきフレームの画像が残っていれば（ステップＳ１１１でＮＯ）、ステップＳ１１２を介してステップＳ１０１に戻る。そうでなければ（ステップＳ１１１でＹＥＳ）このフローチャートを終了する。
【００２９】
以上の実施形態によれば、表情が変化した場合でも表情を検出し対応する特徴データを用いて個人認証を行うため、高精度に個人認証を行うことが可能となる。
【００３０】
［第２の実施形態］次に、第２の実施形態として、第１の実施形態にて検出された表情に対応した特徴データが個人データベース部８に登録されていない場合について説明する。本実施形態の個人認証装置は、他のフレームの画像データの個人認証結果を用いて、認証された際の表情とは別の表情の特徴データを個人データベース部８に追加登録する。
【００３１】
図４は、第２の実施形態の個人認証装置の構成を示しており、図１の構成に特徴データ登録部９が追加されている。例えば、個人データベース部８に、ある人物の無表情や目つむりに対応した個人認証用の特徴データは登録されているが、笑顔に対応した個人認証用の特徴データは登録されていないものとする。特徴データ登録部９は、この人物が笑顔になったと判定された場合に、この人物の笑顔時の特徴データを、笑顔に対応した個人認証用の特徴データとして、個人データベース部８に登録させる。その他の構成については、図１と同一の要素には同一の符号を付して説明を省略する。
【００３２】
本実施形態の個人認証装置の動作について図５を参照して説明する。図５のステップＳ１１３乃至Ｓ１１５の処理が、第１の実施形態である図３と異なる処理である。図５の処理のうち、図３と同一の符号を付した処理は図３における処理と同一であるため、説明を省略する。ステップＳ１０１乃至Ｓ１０７において、顔検出部２が、それぞれのフレームから顔を検出し、その顔の特徴データを求め、同一人物判定部３が、それぞれのフレームにて検出された顔のうち、どの顔とどの顔が同一人物であるかを判定する。そして、表情判定部４は、無表情の基準となる特徴データが求められた顔に対して、その顔の表情を判定する。
【００３３】
ステップＳ１１３において、特徴データ登録部９は、ステップＳ１０７において表情が判定された顔が、すでに個人認証された顔であるか否かを判断する。すでに個人認証された顔であるか否かは、認証部６によるそれまでの認証結果と、同一人物判定部３によるそれまでの同一人物の判定結果から、判断することができる。すなわち、同一人物判定部３が、前のフレームでいずれかの表情で個人認証された顔に対して、第１の実施形態のステップＳ１０３にて説明した方法によって、その後もその顔を継続して追尾できているか否かを判断する。
【００３４】
ステップＳ１０７で表情判定された顔が、まだ個人認証されていない顔であるならば（ステップＳ１１３でＹＥＳ）、ステップＳ１０８に進み、第１の実施形態と同様の処理を行う。ステップＳ１０７で表情判定された顔が、すでに個人認証された顔であるならば（ステップＳ１１３でＮＯ）、ステップＳ１１４に進む。ステップＳ１１４において、特徴データ登録部９は、ステップＳ１０７にて判定された表情に対応する、その人物の個人認証用の特徴データが、すでに個人データベース部８に登録されているか否かを判定する。
【００３５】
ステップＳ１０７にて判定された表情に対応する、その人物の個人認証用の特徴データが、すでに個人データベース部８に登録されているならば（ステップＳ１１４でＮＯ）、ステップＳ１０８に進み、第１の実施形態と同様の処理を行う。ステップＳ１０７にて判定された表情に対応する、その人物の個人認証用の特徴データが、まだ個人データベース部８に登録されていないならば（ステップＳ１１４でＹＥＳ）、ステップＳ１１５に進む。ステップＳ１１５において、特徴データ登録部９は、その表情の顔から求められている特徴データを、その人物のその表情に対応した個人認証用の特徴データとして、個人データベース部８に登録する。
【００３６】
具体的な例を挙げて説明すると、個人データベース部８に、Ｂ氏の無表情の特徴データはすでに登録されているが、笑顔の特徴データはまだ登録されていないものとする。そして、この無表情の特徴データを用いた認証結果により、その顔がＢ氏であるということがすでに判定されているものとする。ここで、新たなフレームの画像データにおいて、同一人物判定部３によってＢ氏であると判定されている顔に対して、表情判定部４が笑顔であると判定したものとする。このとき、特徴データ登録部９は、この笑顔と判定された顔の特徴データを、Ｂ氏の笑顔の個人認証用の特徴データとして個人データベース部８に新規に登録する。そして、登録が終わると、この個人認証装置はステップＳ１１２に進み、第１の実施形態と同様の処理を行う。
【００３７】
なお、同一人物のそれぞれの表情における特徴データを抽出して記憶しておいて、その個人が認証された時点で、記憶された特徴データの中から、未登録の表情に対応した特徴データを個人認証用の特徴データとして登録するようにしてもよい。また、ステップＳ１０８において、データベース選択部５によって、特定の表情に対応する個人認証用の特徴データの蓄積が少ないと判断された場合に、結果出力部７がその旨を通知するようにしてもよい。結果出力部７がこの通知をユーザーに見せることで、不足している表情に対応する個人認証用の特徴データをユーザーに蓄積させるよう働きかけることができる。
【００３８】
また、ステップＳ１０９において、認証部６は、１つの表情における個人認証結果だけでなく、複数の表情における個人認証結果から、総合的にその顔の認証を行うものであってもよい。例えば、認証部６は、動画中で表情が笑顔と判定されたフレームでは笑顔の特徴データを、無表情と判定されたフレームでは無表情の特徴データを、目つむりと判定されたフレームでは目つむりの特徴データを用いて個人認証を行う。その結果、最も一致度が高いと判定された回数の多い人物を選択すれば良い。これにより、複数の顔領域の認証結果が一致した場合に最終的な認証結果とすることで認証精度を向上することが可能である。
【００３９】
ここで、動画中の同一人物に対して個人認証を行った際に、表情が変わるたびに認証結果が異なってしまう可能性も考えられる。このとき、笑顔は目の開き具合や、口の両端の上がり方についてのムラが大きく、無表情の顔に比べて、個人認証用の特徴データと一致する割合が低い。そのため、認証部６は、笑顔時の個人認証結果の重み付けを、無表情時よりも小さくしたうえで、時系列で得られた認証結果を統計して、最終的な認証結果を求めてもよい。
【００４０】
また、同一人物であるにも関わらず、無表情のときはＡ氏、目つむりのときはＢ氏、というように認証結果が異なってしまった場合に、これを利用して目つむりの個人認証用の特徴データを更新してもよい。特徴データ登録部９は、このような場合には、Ｂ氏と判定されてしまった目つむりの特徴データを用いて、個人データベース部８のＡ氏の目つむりの個人認証用の特徴データを更新するようにしてもよい。
【００４１】
以上の実施形態によれば、予め登録されていない特徴データについても自動的に追加されていくため、より高精度の個人認証を行うことが可能となる。
【００４２】
［他の実施形態］本発明は、前述した実施形態の機能を実現するコンピュータプログラムを、システムあるいは装置に直接あるいは遠隔から供給することによって達成される場合も含む。その場合、システム等のコンピュータが該コンピュータプログラムを読み出して実行することになる。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるコンピュータプログラム自体も本発明を実現するものである。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【００４３】
プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク等がある。その他にも、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM、DVD-R)等がある。その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのものをダウンロードすることもできる。また圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するコンピュータプログラムを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【００４４】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザーに配布し、所定の条件をクリアしたユーザーが、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードすることもできる。この場合、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現する。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行うことによっても実現され得る。更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のＣＰＵ等が実際の処理の一部又は全部を行うことによっても実現される。
【技術分野】
【０００１】
本発明は、画像データから人物の顔領域を検出して個人認証を行う技術に関するものである。
【背景技術】
【０００２】
従来、顔検出機能を利用して個人認証を行う技術が知られている。この技術は、検出した顔画像データから個人ごとに異なる顔領域の特徴データを抽出し、予め登録した特徴データと比較することにより、検出した顔が登録されている人物か否かを識別するものである。しかしながら、上記特徴データは顔領域の表情によって影響を受けるため、登録時と顔領域の表情が異なる場合には、個人認証の精度が劣化してしまう場合があった。これを回避するため、顔領域の表情を検知し、検知した表情より個人認証するのに有効な表情か判定し、無効である場合には、新たな画像データで個人認証を行う方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０６−１１９４３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の方法では、顔の表情が有効となるまで個人認証ができないため、認証までの時間がかかってしまうだけでなく、有効な表情が現れない場合には、認証が不可能となっていた。
【０００５】
本発明は、上記課題に鑑みてなされ、表情が変化した場合であっても高速かつ精度良く個人認証を行える個人認証技術を実現する。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の認証装置は、画像データを入力する入力手段と、前記入力手段により入力された画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、前記顔検出手段により検出された顔領域から表情を判定する表情判定手段と、複数の顔の表情ごとに、個人を認証するための特徴データが記憶された記憶手段と、前記表情判定手段により判定された表情に対応する特徴データを前記記憶手段から選択する選択手段と、前記顔検出手段により検出された顔領域の特徴データと前記選択手段により選択された特徴データとを比較することにより、個人を認証する認証手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、表情が変化した場合でも、表情に応じた適切な特徴データを選択して個人認証を行うため、認証精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る第１の実施形態の個人認証装置の構成を示すブロック図。
【図２】第１の実施形態１による個人データベースを例示する図。
【図３】第１の実施形態による個人認証処理を示すフローチャート。
【図４】第２の実施形態の個人認証装置の構成を示すブロック図。
【図５】第２の実施形態による個人認証処理を示すフローチャート。
【図６】特徴点を例示する図。
【図７】笑顔の場合の特徴点を例示する図。
【発明を実施するための形態】
【０００９】
以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。以下に説明する実施の形態は、本発明の実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１０】
［第１の実施形態］図１は、本発明に係る実施の形態における個人認証装置の概略構成を示すブロック図である。本実施形態の個人認証装置は、画像入力部１より画像データを入力し、顔検出部２がこの画像データから人物の顔領域の位置やサイズを検出する。顔検出については既知の方法で良い。例えば、顔検出部２は、入力された画像データから、鼻、口や目などの顔領域の構成要素に相当する形状を抽出し、両目の中間を通過する延長線上に鼻と口が存在する領域を検出する。そして、両目の大きさとそれらの距離から顔の大きさを推定し、鼻の中心に相当する位置を基準として、推定した大きさの領域で囲んだ領域を顔領域とする。
【００１１】
顔検出部２は、検出された顔領域から特徴データを抽出する。特徴データは、例えば、特開２００５−２６６９８１号公報に開示されているように、口、目、眉毛、鼻のなどの顔の構成要素の具体的な形状や、これらの構成要素の位置に関する情報を含む。ここで、特徴データは、入力された顔領域の画像データから、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。もちろん、形状や位置に関する情報だけでなく、彩度や色相に関する情報も特徴データに含めるようにしてもよい。１つの顔における特徴データが多いほど、その顔の様子を詳細に解析することが可能となり、この特徴データを用いた表情判定や、個人認証の精度が向上する。
【００１２】
同一人物判定部３は、動画のような複数フレームを含む画像データにおいては、ある一定周期のフレームごとに顔が検出されることになるが、どの顔とどの顔が同一人物であるかを判定する。同一人物判定部３は、例えば、あるフレームの画像データから複数の顔が検出され、別のフレームの画像データからも１あるいは複数の顔が検出された場合に、それぞれの顔のサイズと位置が類似するものを同一人物であるとみなす。
【００１３】
表情判定部４は、顔検出部２で抽出された特徴データに基づいて、その顔がどのような表情をしているか判定する。判定の対象となる表情の種類としては、例えば、無表情、笑顔、目つむり、などがあげられる。この判定結果に基づいて、データベース選択部５は、予め個人データベース部８に登録されている個人認証用の特徴データの中から、その表情に対応する特徴データを選択して読み出す。認証部６は、データベース選択部５で選択された特徴データと、顔検出部２により抽出された顔領域の特徴データとを比較・照合することにより個人認証を行い、結果出力部７により認証結果が出力される。
【００１４】
この個人認証装置は、単体の装置で構成されても、複数の装置からなるシステムで構成されても構わない。例えば、デジタルカメラやデジタルビデオカメラ単体の内部に画像入力部１から個人データベース部８の全ての構成を備えてもよい。あるいは、画像入力部１のみをデジタルカメラやデジタルビデオカメラ内部に持たせ、それ以外をデジタルカメラやデジタルビデオカメラと通信可能な外部のコンピュータに持たせもよい。さらには、画像入力部１から個人データベース部８の全てをネットワーク上の複数のコンピュータに分担して持たせ、画像入力部１を備えたコンピュータが別の外部機器や記録メディアから画像データを受け取るように構成してもよい。
【００１５】
本実施形態においては、個人認証用の特徴データとして、図６に示すように２３点の特徴点の座標が用いられる。実際に個人認証を行うためにはもっと多くの特徴点が必要とされるが、ここでは説明を簡略化するため、２３点の特徴点を用いるものとして説明を行う。これら２３点の特徴点は、画像データ中で顔が傾いていれば、この傾きをなくすように画像データを回転してから求められる。また、これらの特徴点の座標は、顔検出部２によって画像データから抽出された目や鼻、口、眉などの位置を、例えば両目間の距離で顔のサイズを正規化することで算出される。この座標は鼻の端点の位置を基準とする。認証部６は、入力された画像データから算出された各特徴点の座標をＰｉ（ｉ＝１，２，・・・，２３）とし、予め個人データベース部８に登録された人物の特徴点の座標Ｐ’iとの差分の絶対値和Ｓ＝Σ|Ｐｉ−Ｐ’ｉ|を求める。この絶対値和Ｓが小さいほど、検出対象となった人物と予め登録された人物とが同一人物の可能性が高いと考えられる。認証部６は、最も可能性が高いと判定された人物における絶対値和Ｓが、予め設定された閾値以下である場合にその人物であると判定し、閾値より大きい場合は該当者なしと判定する。
【００１６】
なお、この絶対値和Ｓを求める方法は、個人認証を行う方法の１つの例であって、別の方法によって個人認証を行っても構わない。例えば、無表情から笑顔に変化するときの目や口の位置、形状の変化のパターンから個人を識別してもよく、顔の画像データから解像度を異ならせた多数の画像データを生成し、解像度別に個人認証を行い、その総合結果から最終的な個人認証結果を求めてもよい。すなわち、予め個人データベース部８に登録されたデータとの照合を行い、最も可能性の高い人物であると判定する構成であれば、他の方法であっても、本実施形態と同様の効果を得ることができる。
【００１７】
ここで、表情判定部４による表情の判定は、同一の顔における、特徴点の相対位置の時間的な変化を検出することで実現できる。例えば、笑顔の場合は、図６に示す無表情の顔に比較して、図７のように目が細くなる、口角が上がるなど、特徴点の位置に変化が生じる。本実施形態では、向かって左目の中央上下端の特徴点９、１１の距離、および、向かって右目の中央上下端の特徴点１３、１５の距離が、無表情時の距離に対して所定割合以上近くなり、かつ、口の左右端の特徴点６、７の、口の中央上下端の特徴点４、５に対する位置が無表情時に比べて所定割合以上あがった場合に笑顔と判定する。また、さらに、口の特徴点４乃至７の位置が笑顔の条件を満たさずに、目の特徴点の９、１１の距離、および、特徴点１３、１５の距離が無表情時の距離に対して小さくなった場合には、目を閉じていると判定する。
【００１８】
なお、無表情時の顔領域の判定であるが、例えば、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、そのときの顔領域を無表情状態であると判定すれば良い。あるいは、同一の顔領域についての連続した数フレームの特徴点を平均して得られた値を無表情状態であるとみなしてもよい。あるいは、同一の顔領域についての連続した数フレーム間で得られた特徴点を比較し、それらの相対値で、どのフレームにおける顔が無表情で、どのフレームにおける顔が笑顔なのか、自動的に判別するようにしても良い。さらには、表情ごとに目の開き具合や口の形状に対する条件を設け、入力されたそれぞれのフレーム画像の顔に対してどの条件を満たすか判定し、フレームごとに独立して表情を判定するようにしてもよい。フレームごとに独立して表情を判定する構成であれば、単一フレームからなる静止画からも表情を判定することができる。このように、表情の判定は、予め人物ごとに登録された特徴点と比較を行う個人認証と異なり、画像データから抽出された顔を構成する目や口などのパーツの形状が、特定の条件を満たしたか否かを判定することで行われる。
【００１９】
ここで、上述したように、個人認証は画像データから検出された特徴点と、予め人物ごとに個人データベース部８に登録されている特徴点とを比較してその絶対値和Ｓを求めている。しかしながら、人物の表情が変化した場合には、画像データから検出された特徴点の座標が変化してしまい、個人認証の際に求める絶対値和Ｓの値が表情によって大きく変動し、個人認証の精度が低下してしまうという問題がある。これに対して、本実施形態の個人認証装置では、次のように個人認証を行うことで精度を向上することができる。
【００２０】
予め個人データベース部８に登録する個人認証用の特徴データを、図２のように個人認証を行いたい人物および表情毎に登録しておく。登録時に順次表情を指定して被写体にその表情をさせ、撮影された表情ごとに抽出した特徴データを登録すればよい。または、被写体が任意に表情を変化させた画像データから上述した方法で自動的に表情を判定し、その特徴点を登録しても良い。あるいは、ユーザーがすでに撮影された画像データの中から任意の顔を選択し、その顔の特徴点を、ユーザーが指定した人物および表情の特徴データとして登録するようにしても良い。
【００２１】
次に、個人認証時の動作について図３のフローチャートを用いて説明する。このフローチャートは画像入力部１に画像データが入力されると開始される。この画像データは、画像入力部１がカメラであれば、このカメラにて撮影した画像データや記録メディアから読み出した画像データが該当する。画像入力部１がパーソナルコンピュータであれば、記録メディアから読み出した画像やネットワークを介して受け取った画像データが該当する。この画像データは静止画でも動画でもよく、動画であれば、個人認証に要する時間に応じたフレーム間隔で、連続的に個人認証が行われる。以下の実施形態では、画像入力部１に動画の画像データが入力されたものとして説明を行う。
【００２２】
ステップＳ１０１において、顔検出部２は、画像入力部１から動画の１フレームの画像データを受け取って人物の顔の検出を行う。ステップＳ１０２において、顔検出部２は、１つ以上の顔を検出できたのであればステップＳ１０３に進み、顔を検出できなかったのであればステップＳ１１１に進む。ステップＳ１１１では、画像入力部１に入力された画像データの中に、別フレームの画像データが存在するか判定し、存在していれば、ステップＳ１１２にて、画像データを更新する。そして、ステップＳ１０１に戻って、顔検出部２が更新した画像データに対して顔検出を行う。
【００２３】
ステップＳ１０３において、同一人物判定部３は、顔検出部２で検出された顔の検出結果を受け取り、異なるフレームにて検出された顔のうち、どの顔とどの顔が同一人物の顔とみなせるかを判定する。画像データの中に複数の人物が存在する場合には、それぞれの顔を区別し、それぞれの顔に対して上述した無表情の基準となる特徴データを求める必要がある。そのために、同一人物判定部３は、各フレームで検出されたそれぞれの顔の中心位置とサイズを比較し、連続するフレーム間で、顔の中心位置の距離、および、サイズの変化の総和が最も小さいものを、同じ人物の顔であると推定する。ただし、この総和が最も小さくとも、その値が予め設定した閾値の範囲に入っていないのであれば、同一人物は存在しないと判断する。
【００２４】
同一人物判定部３は、それぞれの顔の位置、サイズのいずれか一方のみを比較して同一人物を推定しても構わないし、検出された顔の輝度や色情報が最も類似するものを同一人物と推定しても構わない。このように、２つのフレームで検出された顔の相関を見ることにより、この２つのフレームで検出された顔が同一人物であるか否かを判定することができる。画像入力部１に入力された画像データが静止画である場合には、このステップＳ１０３は省略される。
【００２５】
ステップＳ１０４において、顔検出部２は、検出できたそれぞれの顔から、図６、図７に示すような特徴点の座標を含む特徴データを求める。ステップＳ１０５において、表情判定部４は、顔検出部２で求められた特徴データと、同一人物判定部３で得られた判定結果を用いて、それぞれの顔が無表情であるか否かを判定する。本実施形態では、表情判定部４は、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、そのときの顔が無表情であると判定し、この無表情の特徴データをもとに笑顔などを判定するものとする。具体的には、表情判定部４は、同一人物と判定された顔の特徴データを蓄積し、特徴データの相対変化を観察することで、その顔が無表情であるか否かを判定する。そして、表情判定部４は、無表情である顔を判定できた場合には、その無表情である顔から、無表情の基準となる特徴データを算出する。特徴データが十分に蓄積されておらず、表情判定部４が無表情の基準となる特徴データを算出できていなければ（ステップＳ１０６でＮＯ）、顔の特徴データを蓄積するため、Ｓ１１１、Ｓ１１２を介して、再びステップＳ１０１へ戻る。
【００２６】
表情判定部４は、ステップＳ１０５において無表情の基準となる特徴データが求められていれば、（ステップＳ１０６でＹＥＳ）ステップＳ１０７に進む。なお、表情判定部４は、ステップＳ１０５において、一度、無表情の基準となる特徴データが算出された顔については、その顔を見失うまでは、このステップＳ１０５の処理を飛ばしても構わない。あるいは、表情判定部４は、無表情の基準となる特徴データが算出された後であっても、ステップＳ１０４において新たな特徴データが算出される度に、無表情の基準となる特徴データを新たに算出し、更新するようにしても構わない。
【００２７】
ステップＳ１０７において、表情判定部４は、それぞれの顔において、ステップＳ１０４で求められた最新の特徴データを、ステップＳ１０５で算出された無表情の基準となる特徴データと比較することで、その最新の特徴データが示す顔の表情を求める。ステップＳ１０８において、データベース選択部５は、個人データベース部８より、表情判定部４から出力された顔の表情の判定結果に対応する個人認証用の特徴データを全て選択し、読み出す。例えば、ステップＳ１０７にて表情判定部４によって笑顔であると判定された場合には、データベース選択部５は、図２に示す個人データベース部８の特徴データの中から、笑顔時の全ての人物の特徴データであるＡ−２、Ｂ−２、Ｃ−２を選択して読み出す。多数の人物の特徴データが予め登録されている場合には、データベース選択部５が、予めユーザーが指定した特定の人物や、人物のグループに含まれる特徴データのみを選択するようにしてもよい。
【００２８】
ステップＳ１０９において、認証部６は、それぞれの顔について、表情判定された最新の特徴データと、その表情に対応する個人認証用の特徴データとの絶対値和Ｓから、その顔が誰であるかを識別する。ステップＳ１１０において、結果出力部７は、認証部６から個人認証結果を受け、その結果を、認証の対象となった画像データから生成された画像に重畳して表示する。もちろん、認証結果の表示は、このような表示方法に限られるものでなく、様々な方法が考えられる。複数の顔について個人認証が同時に行われた場合には、それぞれの認証結果が、どの顔に対するものであるのかを明確にすることが望ましい。
そして、画像入力部１に入力された画像データの中にまだ顔検出の対象とすべきフレームの画像が残っていれば（ステップＳ１１１でＮＯ）、ステップＳ１１２を介してステップＳ１０１に戻る。そうでなければ（ステップＳ１１１でＹＥＳ）このフローチャートを終了する。
【００２９】
以上の実施形態によれば、表情が変化した場合でも表情を検出し対応する特徴データを用いて個人認証を行うため、高精度に個人認証を行うことが可能となる。
【００３０】
［第２の実施形態］次に、第２の実施形態として、第１の実施形態にて検出された表情に対応した特徴データが個人データベース部８に登録されていない場合について説明する。本実施形態の個人認証装置は、他のフレームの画像データの個人認証結果を用いて、認証された際の表情とは別の表情の特徴データを個人データベース部８に追加登録する。
【００３１】
図４は、第２の実施形態の個人認証装置の構成を示しており、図１の構成に特徴データ登録部９が追加されている。例えば、個人データベース部８に、ある人物の無表情や目つむりに対応した個人認証用の特徴データは登録されているが、笑顔に対応した個人認証用の特徴データは登録されていないものとする。特徴データ登録部９は、この人物が笑顔になったと判定された場合に、この人物の笑顔時の特徴データを、笑顔に対応した個人認証用の特徴データとして、個人データベース部８に登録させる。その他の構成については、図１と同一の要素には同一の符号を付して説明を省略する。
【００３２】
本実施形態の個人認証装置の動作について図５を参照して説明する。図５のステップＳ１１３乃至Ｓ１１５の処理が、第１の実施形態である図３と異なる処理である。図５の処理のうち、図３と同一の符号を付した処理は図３における処理と同一であるため、説明を省略する。ステップＳ１０１乃至Ｓ１０７において、顔検出部２が、それぞれのフレームから顔を検出し、その顔の特徴データを求め、同一人物判定部３が、それぞれのフレームにて検出された顔のうち、どの顔とどの顔が同一人物であるかを判定する。そして、表情判定部４は、無表情の基準となる特徴データが求められた顔に対して、その顔の表情を判定する。
【００３３】
ステップＳ１１３において、特徴データ登録部９は、ステップＳ１０７において表情が判定された顔が、すでに個人認証された顔であるか否かを判断する。すでに個人認証された顔であるか否かは、認証部６によるそれまでの認証結果と、同一人物判定部３によるそれまでの同一人物の判定結果から、判断することができる。すなわち、同一人物判定部３が、前のフレームでいずれかの表情で個人認証された顔に対して、第１の実施形態のステップＳ１０３にて説明した方法によって、その後もその顔を継続して追尾できているか否かを判断する。
【００３４】
ステップＳ１０７で表情判定された顔が、まだ個人認証されていない顔であるならば（ステップＳ１１３でＹＥＳ）、ステップＳ１０８に進み、第１の実施形態と同様の処理を行う。ステップＳ１０７で表情判定された顔が、すでに個人認証された顔であるならば（ステップＳ１１３でＮＯ）、ステップＳ１１４に進む。ステップＳ１１４において、特徴データ登録部９は、ステップＳ１０７にて判定された表情に対応する、その人物の個人認証用の特徴データが、すでに個人データベース部８に登録されているか否かを判定する。
【００３５】
ステップＳ１０７にて判定された表情に対応する、その人物の個人認証用の特徴データが、すでに個人データベース部８に登録されているならば（ステップＳ１１４でＮＯ）、ステップＳ１０８に進み、第１の実施形態と同様の処理を行う。ステップＳ１０７にて判定された表情に対応する、その人物の個人認証用の特徴データが、まだ個人データベース部８に登録されていないならば（ステップＳ１１４でＹＥＳ）、ステップＳ１１５に進む。ステップＳ１１５において、特徴データ登録部９は、その表情の顔から求められている特徴データを、その人物のその表情に対応した個人認証用の特徴データとして、個人データベース部８に登録する。
【００３６】
具体的な例を挙げて説明すると、個人データベース部８に、Ｂ氏の無表情の特徴データはすでに登録されているが、笑顔の特徴データはまだ登録されていないものとする。そして、この無表情の特徴データを用いた認証結果により、その顔がＢ氏であるということがすでに判定されているものとする。ここで、新たなフレームの画像データにおいて、同一人物判定部３によってＢ氏であると判定されている顔に対して、表情判定部４が笑顔であると判定したものとする。このとき、特徴データ登録部９は、この笑顔と判定された顔の特徴データを、Ｂ氏の笑顔の個人認証用の特徴データとして個人データベース部８に新規に登録する。そして、登録が終わると、この個人認証装置はステップＳ１１２に進み、第１の実施形態と同様の処理を行う。
【００３７】
なお、同一人物のそれぞれの表情における特徴データを抽出して記憶しておいて、その個人が認証された時点で、記憶された特徴データの中から、未登録の表情に対応した特徴データを個人認証用の特徴データとして登録するようにしてもよい。また、ステップＳ１０８において、データベース選択部５によって、特定の表情に対応する個人認証用の特徴データの蓄積が少ないと判断された場合に、結果出力部７がその旨を通知するようにしてもよい。結果出力部７がこの通知をユーザーに見せることで、不足している表情に対応する個人認証用の特徴データをユーザーに蓄積させるよう働きかけることができる。
【００３８】
また、ステップＳ１０９において、認証部６は、１つの表情における個人認証結果だけでなく、複数の表情における個人認証結果から、総合的にその顔の認証を行うものであってもよい。例えば、認証部６は、動画中で表情が笑顔と判定されたフレームでは笑顔の特徴データを、無表情と判定されたフレームでは無表情の特徴データを、目つむりと判定されたフレームでは目つむりの特徴データを用いて個人認証を行う。その結果、最も一致度が高いと判定された回数の多い人物を選択すれば良い。これにより、複数の顔領域の認証結果が一致した場合に最終的な認証結果とすることで認証精度を向上することが可能である。
【００３９】
ここで、動画中の同一人物に対して個人認証を行った際に、表情が変わるたびに認証結果が異なってしまう可能性も考えられる。このとき、笑顔は目の開き具合や、口の両端の上がり方についてのムラが大きく、無表情の顔に比べて、個人認証用の特徴データと一致する割合が低い。そのため、認証部６は、笑顔時の個人認証結果の重み付けを、無表情時よりも小さくしたうえで、時系列で得られた認証結果を統計して、最終的な認証結果を求めてもよい。
【００４０】
また、同一人物であるにも関わらず、無表情のときはＡ氏、目つむりのときはＢ氏、というように認証結果が異なってしまった場合に、これを利用して目つむりの個人認証用の特徴データを更新してもよい。特徴データ登録部９は、このような場合には、Ｂ氏と判定されてしまった目つむりの特徴データを用いて、個人データベース部８のＡ氏の目つむりの個人認証用の特徴データを更新するようにしてもよい。
【００４１】
以上の実施形態によれば、予め登録されていない特徴データについても自動的に追加されていくため、より高精度の個人認証を行うことが可能となる。
【００４２】
［他の実施形態］本発明は、前述した実施形態の機能を実現するコンピュータプログラムを、システムあるいは装置に直接あるいは遠隔から供給することによって達成される場合も含む。その場合、システム等のコンピュータが該コンピュータプログラムを読み出して実行することになる。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるコンピュータプログラム自体も本発明を実現するものである。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【００４３】
プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク等がある。その他にも、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM、DVD-R)等がある。その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのものをダウンロードすることもできる。また圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するコンピュータプログラムを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【００４４】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザーに配布し、所定の条件をクリアしたユーザーが、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードすることもできる。この場合、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現する。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行うことによっても実現され得る。更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のＣＰＵ等が実際の処理の一部又は全部を行うことによっても実現される。
【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、
前記入力手段により入力された画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、
前記顔検出手段により検出された顔領域から表情を判定する表情判定手段と、
複数の顔の表情ごとに、個人を認証するための特徴データが記憶された記憶手段と、
前記表情判定手段により判定された表情に対応する特徴データを前記記憶手段から選択する選択手段と、
前記顔検出手段により検出された顔領域の特徴データと前記選択手段により選択された特徴データとを比較することにより、個人を認証する認証手段と、を有することを特徴とする個人認証装置。
【請求項２】
前記表情判定手段は、連続する複数の画像データから特徴データの変化量を算出し、当該変化量に基づいて顔の表情を判定することを特徴とする請求項１に記載の個人認証装置。
【請求項３】
前記認証手段は、前記表情判定手段が顔の表情の判定に用いた複数の画像データについてそれぞれ個人を認証し、それぞれの認証結果に基づいて最終的な認証結果を判定することを特徴とする請求項１または２に記載の個人認証装置。
【請求項４】
前記認証手段にて個人が認証された顔から、前記記憶手段に記憶されていない前記個人の別の表情に対応する特徴データが検出されると、当該特徴データを当該個人の別の表情に対応する特徴データとして、記憶手段に記憶することを特徴とする請求項１乃至３のいずれか１項に記載の個人認証装置。
【請求項５】
前記選択手段により選択された表情に対応する特徴データが前記記憶手段に存在しない場合に、存在しないことを通知する手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の個人認証装置。
【請求項６】
画像データを入力する入力手段と、
前記入力手段により入力された画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、
前記顔検出手段により検出された顔領域から表情を判定する表情判定手段と、
複数の顔の表情ごとに、個人を認証するための特徴データが記憶された記憶手段と、を有する個人認証装置による個人認証方法であって、
前記表情判定手段により判定された表情に対応する特徴データを前記記憶手段から選択する選択工程と、
前記顔検出手段により検出された顔領域の特徴データと前記選択工程により選択された特徴データとを比較することにより、個人を認証する認証工程と、を有することを特徴とする個人認証方法。
【請求項１】
画像データを入力する入力手段と、
前記入力手段により入力された画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、
前記顔検出手段により検出された顔領域から表情を判定する表情判定手段と、
複数の顔の表情ごとに、個人を認証するための特徴データが記憶された記憶手段と、
前記表情判定手段により判定された表情に対応する特徴データを前記記憶手段から選択する選択手段と、
前記顔検出手段により検出された顔領域の特徴データと前記選択手段により選択された特徴データとを比較することにより、個人を認証する認証手段と、を有することを特徴とする個人認証装置。
【請求項２】
前記表情判定手段は、連続する複数の画像データから特徴データの変化量を算出し、当該変化量に基づいて顔の表情を判定することを特徴とする請求項１に記載の個人認証装置。
【請求項３】
前記認証手段は、前記表情判定手段が顔の表情の判定に用いた複数の画像データについてそれぞれ個人を認証し、それぞれの認証結果に基づいて最終的な認証結果を判定することを特徴とする請求項１または２に記載の個人認証装置。
【請求項４】
前記認証手段にて個人が認証された顔から、前記記憶手段に記憶されていない前記個人の別の表情に対応する特徴データが検出されると、当該特徴データを当該個人の別の表情に対応する特徴データとして、記憶手段に記憶することを特徴とする請求項１乃至３のいずれか１項に記載の個人認証装置。
【請求項５】
前記選択手段により選択された表情に対応する特徴データが前記記憶手段に存在しない場合に、存在しないことを通知する手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の個人認証装置。
【請求項６】
画像データを入力する入力手段と、
前記入力手段により入力された画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、
前記顔検出手段により検出された顔領域から表情を判定する表情判定手段と、
複数の顔の表情ごとに、個人を認証するための特徴データが記憶された記憶手段と、を有する個人認証装置による個人認証方法であって、
前記表情判定手段により判定された表情に対応する特徴データを前記記憶手段から選択する選択工程と、
前記顔検出手段により検出された顔領域の特徴データと前記選択工程により選択された特徴データとを比較することにより、個人を認証する認証工程と、を有することを特徴とする個人認証方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２７０３５（Ｐ２０１０−２７０３５Ａ）
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願番号】特願２００９−１０５６１１（Ｐ２００９−１０５６１１）
【出願日】平成２１年４月２３日（２００９．４．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願日】平成２１年４月２３日（２００９．４．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]