個人認証装置
【課題】個人認証の照合率の低下を抑えるように学習させる。
【解決手段】連続するフレーム間で同一の顔と推測される顔領域を関連付ける追尾手段と、人物毎に、顔領域から検出された少なくとも一組以上の特徴データを人物と関連付けて記憶させておく特徴データ記憶手段と、前記顔検出手段により検出された顔領域の特徴データと、前記特徴データ記憶手段に記憶されている特徴データを比較する事で、個人を認証する認証手段を有し、前記追尾手段により同一の顔と判定されたにもかかわらず、前記認証手段による認証結果においては、連続するフレーム間で異なる判定となった場合には、その顔領域を明示し、利用者にその領域の特徴データを前記特徴データ記憶手段に追加記憶する事を促す追加記憶候補表示を行うがごとく構成される。撮影時に顔検知、顔認識状態が変化した時点を顔ポイントとして管理ファイルに記録し、撮影後にユーザ操作で顔登録処理を行う。
【解決手段】連続するフレーム間で同一の顔と推測される顔領域を関連付ける追尾手段と、人物毎に、顔領域から検出された少なくとも一組以上の特徴データを人物と関連付けて記憶させておく特徴データ記憶手段と、前記顔検出手段により検出された顔領域の特徴データと、前記特徴データ記憶手段に記憶されている特徴データを比較する事で、個人を認証する認証手段を有し、前記追尾手段により同一の顔と判定されたにもかかわらず、前記認証手段による認証結果においては、連続するフレーム間で異なる判定となった場合には、その顔領域を明示し、利用者にその領域の特徴データを前記特徴データ記憶手段に追加記憶する事を促す追加記憶候補表示を行うがごとく構成される。撮影時に顔検知、顔認識状態が変化した時点を顔ポイントとして管理ファイルに記録し、撮影後にユーザ操作で顔登録処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから人物の顔領域を検出して個人認証を行う技術に関するものである。
【背景技術】
【０００２】
従来、顔検出機能を利用して個人認証を行う技術が知られている。この技術は、検出した顔画像データから個人ごとに異なる顔領域の特徴データを抽出し、予め登録した特徴データと比較し照合度を求めることにより、検出した顔が登録されている人物か否かを識別するものである。しかしながら、上記特徴データは顔領域の表情や輝度状態等によって影響を受けるため、登録時と顔領域の表情が異なったり、陰がかかったりした場合等には、特徴データの値も異なり、照合度が低くなり、個人認証に失敗してしまう場合があった。これを回避するために、下記特許文献１のように、認証時の照合度に対し、第１の閾値によりも小さく認証失敗と判定された場合でも、第２の閾値よりも大きい場合には（つまり照合度が第１の閾値と第２の閾値の間だった場合）、認証に失敗と判定された特徴データを、特定の個人に対する特徴データパターンに追加登録する事で、次回以降の認証の精度を上げる方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１２６８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の方法であれば、あらかじめ決定しておく必要のある照合度に対する第２の閾値について、その値を高く設定しすぎると、精度向上のための特徴データの追加登録が発生しない可能性がある。また逆に第２の閾値を低く設定しすぎると、特定の個人に対する特徴データの追加登録に適さない状態の顔でも登録されてしまう可能性がある。
【課題を解決するための手段】
【０００５】
本発明の個人認証装置は、動画像を入力する動画像データ入力手段と、前記動画像データ入力手段により入力された１フレームの画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、フレーム毎に検出された顔領域に対し、連続するフレーム間で同一の顔と推測される顔領域を関連付ける追尾手段と、人物毎に、顔領域から検出された少なくとも一組以上の特徴データを人物と関連付けて記憶させておく特徴データ記憶手段と、前記顔検出手段により検出された顔領域の特徴データと、前記特徴データ記憶手段に記憶されている特徴データを比較する事で、個人を認証する認証手段を有し、前記追尾手段により同一の顔と判定されたにもかかわらず、前記認証手段による認証結果においては、連続するフレーム間で異なる判定となった場合には、その顔領域を明示し、利用者にその領域の特徴データを前記特徴データ記憶手段に追加記憶する事を促す追加記憶候補表示を行い、また前記認証手段による認証結果において、認証結果が不明となった場合には、その顔領域を明示し、利用者にその領域の特徴データを前記特徴データ記憶手段に追加記憶する事を促す追加記憶候補表示を行うがごとく構成される。
【発明の効果】
【０００６】
本発明によれば、動画中のフレーム間の個人認証の照合度が低下した時点の顔特徴データを随時登録パターンとして登録していくことになるため、表情の変化や、顔にあたる照明の状態が変化した場合でも、個人認証の照合率の低下を抑えるように学習させて行くことが可能になる。また、顔特徴データを登録するか否かは利用者が判断して行うため、登録に不適切な特徴データは登録しない事も可能であり、無駄な特徴データの登録を抑制し、誤認識を抑えることができる。
【図面の簡単な説明】
【０００７】
【図１】個人認証装置の概略構成
【図２】個人認証用の特徴データ（特徴点）
【図３】撮影時間と顔認証状態の例
【図４】学習処理前の顔メタデータ情報
【図５】顔管理処理
【図６】顔管理テーブル
【図７】実施例１のユーザインタフェース画面
【図８】特徴データ学習処理
【図９】学習処理後の顔メタデータ情報
【図１０】実施例２のユーザインタフェース画面
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、本発明を実施するための形態について、詳細に説明する。以下に説明する実施の形態は、本発明の実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【０００９】
［実施例１］
図１は、本発明に係る実施の形態における個人認証装置の概略構成を示すブロック図である。本実施例では個人認証装置は、動画像撮像装置の一部分として構成され、動画像の撮影時や再生時に個人認証機能を利用することができる。動画像データは、ハードディスクドライブやメモリカード等の媒体に、ストリームデータファイルとして記録されるものとする。同様に、動画像ファイルを管理する管理情報もファイルとして媒体に記録されるものとする。
【００１０】
符号１０１は画像入力部であり、個人認証対象となる画像が入力される。本実施例では、動画像撮像装置であるため、撮影中の画像、あるいは撮影済み記録画像の再生画像が、本画像入力部から入力される。入力された画像データは、符号１０２のメモリにフレーム毎に一時的に保持される。
【００１１】
符号１０３は顔検出部であり、入力され、メモリに保持された画像データから、鼻、口や目などの顔領域の構成要素に相当する形状を抽出し、両目の中間を通過する延長線上に鼻と口が存在する領域を検出する。そして、両目の大きさとそれらの距離から顔の大きさを推定し、鼻の中心に相当する位置を基準として、推定した大きさの領域で囲んだ領域を顔領域とする。検出された顔領域の画像データは、後に説明する追尾処理のために、その位置と領域のサイズがメモリ１０２に一時的に保持され、符号１０４の顔情報管理部により管理される。
【００１２】
符号１０５は特徴データ抽出部であり、検出された顔領域から特徴データを抽出する。特徴データは、例えば、特開２００５−２６６９８１号公報に開示されているように、口、目、眉毛、鼻のなどの顔の構成要素の具体的な形状や、これらの構成要素の位置に関する情報を含む。ここで、特徴データは、入力された顔領域の画像データから、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。もちろん、形状や位置に関する情報だけでなく、彩度や色相に関する情報も特徴データに含めるようにしてもよい。１つの顔における特徴データが多いほど、その顔の様子を詳細に解析することが可能となり、この特徴データを用いた個人認証の精度が向上する。本実施形態においては、個人認証用の特徴データとして、図２に示すように２３点の特徴点の座標が用いられる。これら２３点の特徴点は、画像データ中で顔が傾いていれば、この傾きをなくすように画像データを回転してから求められる。また、これらの特徴点の座標は、特徴データ抽出部１０５によって画像データから抽出された目や鼻、口、眉などの位置を、例えば両目間の距離で顔のサイズを正規化することで算出される。この座標は鼻の端点の位置を基準とする。
【００１３】
符号１０６の個人認証部は、入力された画像データから算出された前期各特徴点の座標をＰｉ（ｉ＝１，２，・・・，２３）とし、予め個人認証特徴データベース部１０７に登録された人物の特徴点の座標Ｐ'iとの差分の絶対値和Ｓ＝Σ|Ｐｉ−Ｐ'ｉ|を求める。この絶対値和Ｓが小さいほど、検出対象となった人物と、予め登録された人物とが同一人物の可能性が高いと考えられる。認証部１０６は、最も可能性が高いと判定された人物における絶対値和Ｓが、予め設定された閾値以下である場合にその人物であると判定し、閾値より大きい場合は該当者なしと判定する。尚、本発明の特徴である個人認証特徴データベース部への特徴データの登録方法については、後述する。
【００１４】
符号１０８は追尾判定部であり、前のフレームで顔と検知され保持されている顔領域と、現在のフレームで顔と検知された顔領域との対応関係をとる機能を有する。つまり、前フレームの顔領域と位置が近く、輝度データの近い現在のフレームの顔領域は、同一人物の顔として対応を取る。さらに、現在のフレームで対応する顔領域がなかった場合には、前フレームの顔領域の輝度データと相関の高い領域を、現在のフレームにおいてある一定の周辺範囲サーチし、該当する領域があった場合には、その領域を同一人物の顔領域として対応を取る機能を有する。本機能は、人物が一瞬顔を横や上下に向けたために、顔検出部により顔として検出されないような場合に有効であり、顔検出部の有する検出能力以上の顔の検出を行うことができる。
【００１５】
符号１０９は顔メタデータ記録部であり、顔情報管理部１０４、個人認証部１０６、追尾判定部１０８の処理結果をもとに、顔の出現情報を撮影時間と関連付けて、管理ファイル中に顔メタデータ情報として記録する機能を有する。顔メタデータ記録処理の詳細については後述する。
【００１６】
図３に、本発明の個人認証装置による、動画像データ記録時における顔検出、追尾、個人認証結果の一例を示す。
【００１７】
符号３０１は、動画像記録開始時（時刻０）には、顔検出数は１つであり、その顔に対して顔管理番号１を割り当て、さらに個人認証結果は太郎であった事を示す。符号３０２（時刻ｔ１）で顔検出数は２つに増え、新たな顔に顔管理番号２を割り当て、個人認証結果は花子であった事を示す。
【００１８】
符号３０３（時刻ｔ２）で顔管理番号１の顔の個人認証結果が、（表情の変化により）次郎と判断されたことを示す。その後、符号３０４（時刻ｔ３）で個人認証結果が太郎に戻った事を示す。
【００１９】
符号３０５（時刻ｔ４）で、顔検出数が３つに増え、新たな顔に顔管理番号３を割り当て、個人認証結果は該当者なしの不明状態であった事を示す。
【００２０】
符号３０６（時刻ｔ５）では、顔管理番号２の顔が横を向いてしまったために検出できず、追尾判定により顔領域が補間された事を示す。顔検出が補間された場合には、個人認証は行わずに、認証結果もそのまま補間する（花子とする）。その後符号３０７（時刻ｔ７）で顔の向きが戻り、顔検出が復帰し、花子と認証された事を示す。また時刻ｔ６で顔管理番号１の顔がいなくなっており、顔検出数が２つ（顔管理番号２と３）に減っている。
【００２１】
符号３０８（時刻ｔ８）で、再度顔検出数が３となり、新たな顔に顔管理番号４を割り当て、個人認証結果は太郎であった事を示す。
【００２２】
符号３０９（時刻ｔ９）では、顔管理番号２の個人認証結果が、不明となってしまった事を示す。その後、符号３１０（時刻ｔ１０）で、認証結果が花子に復帰した事を示す。
【００２３】
図４に、図３の動画像記録時に顔メタデータ記録部１０９が生成する顔メタデータ情報の内容を示す。メタデータの記録は、顔の出現時、顔の消失時、認証結果の変化時に行われる。一方顔検出ができず追尾が機能した場合には記録を行わない（前記図３符号３０６のケース）。記録されるメタ情報としては、撮影時間、顔番号、顔位置、顔領域サイズ、認証結果である（符号４０１）。顔が消失した事を示す記録は（符号４０７、４１１）、位置およびサイズ共に０，０が記録される事で判別できる。
【００２４】
図１、図５を用いて、顔メタデータ情報を生成するための一連の処理について説明する（顔管理処理）。
【００２５】
顔管理処理は、符号１０１の画像入力部から、画像フレームが入力されるたびに実行される。入力された画像フレームに対し、符号１０３の顔検出部により、人物の顔領域の位置やサイズの検出が行われ、その結果が符号１０４の顔管理情報部により、符号１０２のメモリに顔検出テーブルとして保持される（符号Ｓ５０２）。顔検出テーブルの例を図６に示す。顔検出テーブルには、顔領域の位置、サイズ、またその領域から抽出された特徴データ、それによる認証結果および顔管理番号が保持されている。顔検出テーブルは、現在処理中の画像フレームに対するテーブル（符号６０２）と、その１フレーム前に対するテーブル（符号６０１）の２つが常時保持されている。同様に、画像フレーム自体も１フレーム前と現在のフレームの画像が常時符号１０２のメモリに保持されている。
【００２６】
検出された顔が１つもなかった場合には符号Ｓ５０５の処理に移行し、一方、検出された顔があった場合には、符号１０５の特徴データ抽出部により、顔検出テーブルに登録されている顔領域から特徴データの抽出が行われ、顔検出テーブルに特徴データが登録される。登録されたデータをもとに、符号１０６の個人認証部により個人認証が実施され、結果が顔検出テーブルに登録される（符号Ｓ５０４）。
【００２７】
続いて、顔検出あり／なしに関わらず符号１０８の追尾判定部により符号Ｓ５０５の追尾処理が実施される。本処理は、前フレームに検出された顔が、現フレームにも存在するかどうかの判定処理を行う。判定には顔管理テーブルが用いられ、前フレームの位置、サイズの類似する現フレームの顔があるかどうかの比較が行われる。同一の顔と判定された場合には、同一の顔番号を付与する（符号Ｓ５０６）。尚、本比較では、認証結果が一致するか否かは考慮しない。図６においては、符号６０３と６０５、符号６０４と６０６が、それぞれ同一の顔と判定され、それぞれ顔番号１、２が付与されている。さらに追尾処理では、顔検出結果を補間するために、前フレームでは存在したが、現フレームでは存在しない顔番号の顔があった場合には、前フレームの顔領域の輝度情報を用いて、現フレームとのマッチングを行い、一致度の高い領域がないかどうかの判定を行う。一致度の高い領域が存在した場合には、その領域を顔領域として補完し、現フレームの顔管理テーブルに登録し、前フレームと同一の顔番号、認証結果を付与する。ただし、顔検出部による検出は行われなかった領域であるため、特徴データの抽出は行わず、テーブルへの登録も行わない。追尾処理後にも顔番号が付与されていない顔が、現フレームの顔管理テーブルに残っていた場合には、新規の顔番号を付与する（図６符号６０７、顔番号３）。以上で、現フレームの顔管理テーブルの作成が完了する。
【００２８】
次に前フレームと、現フレームの顔管理テーブルの比較を行い、顔メタデータ情報の追記を行う。新規の顔番号が付与されているかどうかを確認し（符号Ｓ５０７）、新規の顔があった場合には、顔メタデータ情報に追記を行う（符号Ｓ５０８）。逆に、前フレームには存在したが、現フレームには存在しない消失した顔があった場合にも（符号Ｓ５０９）、顔メタ情報の追記を行う（符号Ｓ５１０）。また、符号Ｓ５０５の追尾処理により、同一の顔番号が付与されたにも関わらず、認証結果が前フレームと現フレームで異なる顔についても（符号Ｓ５１１）、顔メタデータ情報の追記を行う（符号Ｓ５１２）。
【００２９】
以上で、１フレームの画像入力に対する顔管理処理を終了する。本実施例では、動画像の記録中に、上記処理をフレーム毎に繰り返して顔メタデータ情報の追記を行い、１回の動画像記録に対し、１つの顔メタデータ情報を生成する。図３、図４の例では、符号４０２、４０３、４０６、４０８の顔メタデータ情報は、図５の符号Ｓ５０８により情報が記録され（新規の顔）、符号４０７，４１１の顔メタデータ情報は、符号Ｓ５１０により情報が記録され（消失した顔）、符号４０４、４０５、４０９、４１０の顔メタデータ情報は、符号Ｓ５１２により情報が記録された事になる（認証結果が変化）。
【００３０】
生成された顔メタデータ情報は、個人認証精度の向上のための特徴データの学習に利用される。
【００３１】
本発明の動画像記録装置には、学習モードが設けられており、利用者が学習モードを選択する事で、特徴データの学習を行う。図７に学習モード時のユーザインタフェース画面例を示す。
【００３２】
ユーザ指示により学習モードに遷移すると、記録済の顔メタデータ情報を参照し、
条件（１）同一の顔番号にも関わらず、認証結果が変化した顔
条件（２）認証結果が不明の顔
を検索する。例えば図４のような顔メタデータ情報の場合、顔番号１、２の顔に対する認証結果が、時間とともに変化している。したがって、顔番号１については、符号４０２、４０４、４０５の顔、および顔番号２については、符号４０３、４０９、４１０の顔が、上記（１）の条件により、特徴データの学習候補となる。また符号４０６の顔番号３については、上記（２）の条件により、特徴データの学習候補となる。これらの候補を、順次ユーザインタフェースに表示し（符号７０１から７０７）、ユーザ指示に従い学習を行う。
【００３３】
図７（ａ）は、図４の顔メタデータ情報において、顔番号１が割りつけられた顔に対する学習モード時のユーザインタフェース画面を表示しており、符号７０１、７０２、７０３の顔領域は、それぞれ符号４０２、４０４、４０５の顔メタデータ情報から取得した顔領域を表示している。符号７０７は、顔メタデータ情報をもとに、ユーザの選択肢を表示している。符号７０７は、符号４０２の情報から、既に太郎と認証されているため、＜太郎＞を第一候補として表示している。ユーザは、符号７０１の顔が太郎であれば、そのまま符号７０８のカーソルで＜太郎＞を選択指示すれば良い。太郎ではなかった場合には、他の候補から選んだり、新規に登録したり、知らない顔だった場合等には、登録しないことも選択できる。＜他の候補から選ぶ＞を選択した場合には、既に特徴データが登録されている太郎以外の名前一覧が表示されるので、その中から正しい名前を選択する事になる。＜新規登録＞を選択した場合には、新たに顔に対応する名前を入力するユーザインタフェースに切り変わり、名前を入力する事になる。
【００３４】
同様に符号７０２の顔は、符号４０４の顔メタデータ情報から取得した顔領域を表示しており、符号４０２、４０４の情報から認証結果が太郎から次郎に変化したことが判別できるため、第一候補として＜次郎＞、第二候補として＜太郎＞を選択肢として表示する（符号７０９）。符号７０３の顔についても、符号４０４、４０５の情報から認証結果が次郎から太郎に変化したことが判別できるため、第一候補として＜太郎＞、第二候補として＜次郎＞を選択肢として表示する（符号７１０）。上記の通り、選択肢としてより可能性の高い候補を表示する事で、ユーザの選択操作を簡便にしている。
【００３５】
図７（ｂ）は、図４の顔メタデータ情報において、顔番号２が割りつけられた顔に対する学習モード時のユーザインタフェース画面を表示しており、符号７０４、７０５、７０６は、それぞれ符号４０３、４０９、４１０の顔メタデー情報から取得した顔領域を表示している。特に符号７０５の顔は符号４０９の情報からわかるように、認証結果が花子から不明に変化した時点であるため、選択候補としては、第一候補として＜花子＞、第二候補として＜新規登録＞を表示する（符号７１１）。認証結果が不明となった場合には、まだ特徴データが登録されていない顔である可能性があるため、＜新規登録＞が選択候補となる。
【００３６】
さらに図７（ｃ）は、図４の顔メタデータ情報において、顔番号３が割りつけられた顔に対する学習モード時のユーザインタフェース画面を表示しており、符号７０７は、符号４０６の顔メタデータ情報から取得した顔領域を表示している。この顔は、認証結果が不明のままの顔であるため、選択候補としては、第一候補として＜新規登録＞、第二候補として＜候補から選ぶ＞が表示されている（符号７１２）。
【００３７】
ここで、上記学習モードを通しての、特徴データ学習処理について、図８のフローチャートを用いて説明する。
【００３８】
符号Ｓ８０２、８０３は、既に説明したユーザインタフェースを通じでのユーザ指示の入力ステップである。ユーザが指示した内容により、顔メタデータ情報中の認証結果と異なる人物が選択された場合には符号Ｓ８０５の処理に移る。認証結果に変化が無い場合には、特徴データの学習および顔メタデータ情報の修正は必要ないため、そのまま学習せずに処理を終了する。
【００３９】
符号Ｓ８０５では、対象となっている顔を学習するか否かの選択をユーザに促す。メタデータの修正のみで、学習しない場合は（例えば、明らかに顔の照明状態等が低下し、学習データとして適さないと判断される場合等）、符号Ｓ８０８の顔メタデータ情報の修正のみを行い、終了する。学習を行う場合には、参照している顔メタデータ情報に記録された顔領域から、符号１０５の特徴データ抽出部により特徴データを抽出し（符号Ｓ８０６）、符号１０７の個人認証特徴データベース部に抽出特徴データと、それに対応する名前を登録することで学習を行う（符号Ｓ８０７）。これにより、次回の個人認証より、より精度の高い認証が行えるようになる。さらに符号Ｓ８０８で顔メタデータ情報の修正を行い、正しい情報を記録して、特徴データ学習処理を終了する。
【００４０】
図７のユーザインタフェースによる特徴データ学習処理終了後の顔メタデータ情報を図９に示す。図７（ａ）については全て＜太郎＞を選択し、（ｂ）については全て＜花子＞を選択し、（ｃ）については、＜新規登録＞を選択後、新たな名前として＜一郎＞を入力した結果、図４の顔メタデータ情報は図９のように変化する。
【００４１】
図９の内容からわかるように、これ以降に学習モードに遷移した場合でも、上記条件（１）、（２）にあてはまる情報は図９には含まれないため、図７のようなユーザインタフェースは表示されず、再度学習のための入力が求められることはない。
【００４２】
以上説明した通り、前記学習モードによる特徴データ学習処理を繰り返すことにより、新規の顔を登録していくことができ、また、個人認証の度合いが低下した時点の顔特徴データを登録していくことになるため、表情の変化や、顔にあたる照明の状態が変化した場合でも、個人認証の度合いの低下を抑えるように学習させて行くことができる。また、顔特徴データを登録するか否かは利用者が判断して行うため、無駄な特徴データの登録による、誤認識も抑えることができる。
【００４３】
［実施例２］
実施例１では、ユーザ指示による学習モードへの遷移で、図７のユーザインタフェース画面が表示され、特徴データ学習処理が実施されたが、再生中や、撮影（記録）中に特徴データ学習処理を行う場合の、ユーザインタフェースについて説明する。ここでの説明では、再生中または、撮影中に、図３における撮影時間ｔ３に達した際の顔番号１に対する特徴データ学習処理のためのユーザインタフェースを示す。
【００４４】
図１０（ａ）は記録中に特徴データ学習処理を実行するためのユーザインタフェース画面である。記録中は通常、ユーザは撮影に集中しているため、煩雑な登録作業を行う事はできない。したがって本実施例では、対象となる顔に対する符号１００１の顔枠を表示し、ユーザの選択候補数を実施例１の場合よりも減らした状態で符号１００２の選択候補表示を行う。記録中の選択候補は、第一候補としては＜後で登録＞を表示する。＜後で登録＞を選択した場合は、撮影終了後に学習モードで学習を行わせる必要がある。ｔ３では認証結果が次郎から太郎に変化した時点なため、第二候補として＜太郎＞、第三候補として＜次郎＞を表示する。また選択候補表示１００１を表示してからある一定時間経過しても、ユーザからの登録が無い場合には、第一候補の＜後で登録＞が選択されたものとして、選択候補表示を消す。
【００４５】
図１０（ｂ）は再生中に特徴データ学習処理を実行するためのユーザインタフェース画面である。再生中に時間ｔ３にさしかかると再生を一時停止し、対象となる顔に対する符号１００３の顔枠と、符号１００４の選択候補表示を行う。再生を一時停止しているため、選択候補としては実施例１と同じだけの候補を表示しており、ユーザはこの状態で登録を済ませる事ができる。
【００４６】
以上説明した通り、本実施例のような特徴データ学習処理のユーザインタフェースを設ける事で、わざわざ学習モードに移行することなく、特徴データの登録を行う事もできる。
【符号の説明】
【００４７】
１０１ 画像入力部
１０３ 顔検出部
１０５ 特徴データ抽出部
１０６ 個人認証部
１０７ 個人認証特徴データベース部
１０８ 追尾判定部
７０１〜７０７ 顔領域表示
７０７，７０９，７１０、７１１、７１２ 選択肢表示
【技術分野】
【０００１】
本発明は、画像データから人物の顔領域を検出して個人認証を行う技術に関するものである。
【背景技術】
【０００２】
従来、顔検出機能を利用して個人認証を行う技術が知られている。この技術は、検出した顔画像データから個人ごとに異なる顔領域の特徴データを抽出し、予め登録した特徴データと比較し照合度を求めることにより、検出した顔が登録されている人物か否かを識別するものである。しかしながら、上記特徴データは顔領域の表情や輝度状態等によって影響を受けるため、登録時と顔領域の表情が異なったり、陰がかかったりした場合等には、特徴データの値も異なり、照合度が低くなり、個人認証に失敗してしまう場合があった。これを回避するために、下記特許文献１のように、認証時の照合度に対し、第１の閾値によりも小さく認証失敗と判定された場合でも、第２の閾値よりも大きい場合には（つまり照合度が第１の閾値と第２の閾値の間だった場合）、認証に失敗と判定された特徴データを、特定の個人に対する特徴データパターンに追加登録する事で、次回以降の認証の精度を上げる方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１２６８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の方法であれば、あらかじめ決定しておく必要のある照合度に対する第２の閾値について、その値を高く設定しすぎると、精度向上のための特徴データの追加登録が発生しない可能性がある。また逆に第２の閾値を低く設定しすぎると、特定の個人に対する特徴データの追加登録に適さない状態の顔でも登録されてしまう可能性がある。
【課題を解決するための手段】
【０００５】
本発明の個人認証装置は、動画像を入力する動画像データ入力手段と、前記動画像データ入力手段により入力された１フレームの画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、フレーム毎に検出された顔領域に対し、連続するフレーム間で同一の顔と推測される顔領域を関連付ける追尾手段と、人物毎に、顔領域から検出された少なくとも一組以上の特徴データを人物と関連付けて記憶させておく特徴データ記憶手段と、前記顔検出手段により検出された顔領域の特徴データと、前記特徴データ記憶手段に記憶されている特徴データを比較する事で、個人を認証する認証手段を有し、前記追尾手段により同一の顔と判定されたにもかかわらず、前記認証手段による認証結果においては、連続するフレーム間で異なる判定となった場合には、その顔領域を明示し、利用者にその領域の特徴データを前記特徴データ記憶手段に追加記憶する事を促す追加記憶候補表示を行い、また前記認証手段による認証結果において、認証結果が不明となった場合には、その顔領域を明示し、利用者にその領域の特徴データを前記特徴データ記憶手段に追加記憶する事を促す追加記憶候補表示を行うがごとく構成される。
【発明の効果】
【０００６】
本発明によれば、動画中のフレーム間の個人認証の照合度が低下した時点の顔特徴データを随時登録パターンとして登録していくことになるため、表情の変化や、顔にあたる照明の状態が変化した場合でも、個人認証の照合率の低下を抑えるように学習させて行くことが可能になる。また、顔特徴データを登録するか否かは利用者が判断して行うため、登録に不適切な特徴データは登録しない事も可能であり、無駄な特徴データの登録を抑制し、誤認識を抑えることができる。
【図面の簡単な説明】
【０００７】
【図１】個人認証装置の概略構成
【図２】個人認証用の特徴データ（特徴点）
【図３】撮影時間と顔認証状態の例
【図４】学習処理前の顔メタデータ情報
【図５】顔管理処理
【図６】顔管理テーブル
【図７】実施例１のユーザインタフェース画面
【図８】特徴データ学習処理
【図９】学習処理後の顔メタデータ情報
【図１０】実施例２のユーザインタフェース画面
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、本発明を実施するための形態について、詳細に説明する。以下に説明する実施の形態は、本発明の実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【０００９】
［実施例１］
図１は、本発明に係る実施の形態における個人認証装置の概略構成を示すブロック図である。本実施例では個人認証装置は、動画像撮像装置の一部分として構成され、動画像の撮影時や再生時に個人認証機能を利用することができる。動画像データは、ハードディスクドライブやメモリカード等の媒体に、ストリームデータファイルとして記録されるものとする。同様に、動画像ファイルを管理する管理情報もファイルとして媒体に記録されるものとする。
【００１０】
符号１０１は画像入力部であり、個人認証対象となる画像が入力される。本実施例では、動画像撮像装置であるため、撮影中の画像、あるいは撮影済み記録画像の再生画像が、本画像入力部から入力される。入力された画像データは、符号１０２のメモリにフレーム毎に一時的に保持される。
【００１１】
符号１０３は顔検出部であり、入力され、メモリに保持された画像データから、鼻、口や目などの顔領域の構成要素に相当する形状を抽出し、両目の中間を通過する延長線上に鼻と口が存在する領域を検出する。そして、両目の大きさとそれらの距離から顔の大きさを推定し、鼻の中心に相当する位置を基準として、推定した大きさの領域で囲んだ領域を顔領域とする。検出された顔領域の画像データは、後に説明する追尾処理のために、その位置と領域のサイズがメモリ１０２に一時的に保持され、符号１０４の顔情報管理部により管理される。
【００１２】
符号１０５は特徴データ抽出部であり、検出された顔領域から特徴データを抽出する。特徴データは、例えば、特開２００５−２６６９８１号公報に開示されているように、口、目、眉毛、鼻のなどの顔の構成要素の具体的な形状や、これらの構成要素の位置に関する情報を含む。ここで、特徴データは、入力された顔領域の画像データから、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。もちろん、形状や位置に関する情報だけでなく、彩度や色相に関する情報も特徴データに含めるようにしてもよい。１つの顔における特徴データが多いほど、その顔の様子を詳細に解析することが可能となり、この特徴データを用いた個人認証の精度が向上する。本実施形態においては、個人認証用の特徴データとして、図２に示すように２３点の特徴点の座標が用いられる。これら２３点の特徴点は、画像データ中で顔が傾いていれば、この傾きをなくすように画像データを回転してから求められる。また、これらの特徴点の座標は、特徴データ抽出部１０５によって画像データから抽出された目や鼻、口、眉などの位置を、例えば両目間の距離で顔のサイズを正規化することで算出される。この座標は鼻の端点の位置を基準とする。
【００１３】
符号１０６の個人認証部は、入力された画像データから算出された前期各特徴点の座標をＰｉ（ｉ＝１，２，・・・，２３）とし、予め個人認証特徴データベース部１０７に登録された人物の特徴点の座標Ｐ'iとの差分の絶対値和Ｓ＝Σ|Ｐｉ−Ｐ'ｉ|を求める。この絶対値和Ｓが小さいほど、検出対象となった人物と、予め登録された人物とが同一人物の可能性が高いと考えられる。認証部１０６は、最も可能性が高いと判定された人物における絶対値和Ｓが、予め設定された閾値以下である場合にその人物であると判定し、閾値より大きい場合は該当者なしと判定する。尚、本発明の特徴である個人認証特徴データベース部への特徴データの登録方法については、後述する。
【００１４】
符号１０８は追尾判定部であり、前のフレームで顔と検知され保持されている顔領域と、現在のフレームで顔と検知された顔領域との対応関係をとる機能を有する。つまり、前フレームの顔領域と位置が近く、輝度データの近い現在のフレームの顔領域は、同一人物の顔として対応を取る。さらに、現在のフレームで対応する顔領域がなかった場合には、前フレームの顔領域の輝度データと相関の高い領域を、現在のフレームにおいてある一定の周辺範囲サーチし、該当する領域があった場合には、その領域を同一人物の顔領域として対応を取る機能を有する。本機能は、人物が一瞬顔を横や上下に向けたために、顔検出部により顔として検出されないような場合に有効であり、顔検出部の有する検出能力以上の顔の検出を行うことができる。
【００１５】
符号１０９は顔メタデータ記録部であり、顔情報管理部１０４、個人認証部１０６、追尾判定部１０８の処理結果をもとに、顔の出現情報を撮影時間と関連付けて、管理ファイル中に顔メタデータ情報として記録する機能を有する。顔メタデータ記録処理の詳細については後述する。
【００１６】
図３に、本発明の個人認証装置による、動画像データ記録時における顔検出、追尾、個人認証結果の一例を示す。
【００１７】
符号３０１は、動画像記録開始時（時刻０）には、顔検出数は１つであり、その顔に対して顔管理番号１を割り当て、さらに個人認証結果は太郎であった事を示す。符号３０２（時刻ｔ１）で顔検出数は２つに増え、新たな顔に顔管理番号２を割り当て、個人認証結果は花子であった事を示す。
【００１８】
符号３０３（時刻ｔ２）で顔管理番号１の顔の個人認証結果が、（表情の変化により）次郎と判断されたことを示す。その後、符号３０４（時刻ｔ３）で個人認証結果が太郎に戻った事を示す。
【００１９】
符号３０５（時刻ｔ４）で、顔検出数が３つに増え、新たな顔に顔管理番号３を割り当て、個人認証結果は該当者なしの不明状態であった事を示す。
【００２０】
符号３０６（時刻ｔ５）では、顔管理番号２の顔が横を向いてしまったために検出できず、追尾判定により顔領域が補間された事を示す。顔検出が補間された場合には、個人認証は行わずに、認証結果もそのまま補間する（花子とする）。その後符号３０７（時刻ｔ７）で顔の向きが戻り、顔検出が復帰し、花子と認証された事を示す。また時刻ｔ６で顔管理番号１の顔がいなくなっており、顔検出数が２つ（顔管理番号２と３）に減っている。
【００２１】
符号３０８（時刻ｔ８）で、再度顔検出数が３となり、新たな顔に顔管理番号４を割り当て、個人認証結果は太郎であった事を示す。
【００２２】
符号３０９（時刻ｔ９）では、顔管理番号２の個人認証結果が、不明となってしまった事を示す。その後、符号３１０（時刻ｔ１０）で、認証結果が花子に復帰した事を示す。
【００２３】
図４に、図３の動画像記録時に顔メタデータ記録部１０９が生成する顔メタデータ情報の内容を示す。メタデータの記録は、顔の出現時、顔の消失時、認証結果の変化時に行われる。一方顔検出ができず追尾が機能した場合には記録を行わない（前記図３符号３０６のケース）。記録されるメタ情報としては、撮影時間、顔番号、顔位置、顔領域サイズ、認証結果である（符号４０１）。顔が消失した事を示す記録は（符号４０７、４１１）、位置およびサイズ共に０，０が記録される事で判別できる。
【００２４】
図１、図５を用いて、顔メタデータ情報を生成するための一連の処理について説明する（顔管理処理）。
【００２５】
顔管理処理は、符号１０１の画像入力部から、画像フレームが入力されるたびに実行される。入力された画像フレームに対し、符号１０３の顔検出部により、人物の顔領域の位置やサイズの検出が行われ、その結果が符号１０４の顔管理情報部により、符号１０２のメモリに顔検出テーブルとして保持される（符号Ｓ５０２）。顔検出テーブルの例を図６に示す。顔検出テーブルには、顔領域の位置、サイズ、またその領域から抽出された特徴データ、それによる認証結果および顔管理番号が保持されている。顔検出テーブルは、現在処理中の画像フレームに対するテーブル（符号６０２）と、その１フレーム前に対するテーブル（符号６０１）の２つが常時保持されている。同様に、画像フレーム自体も１フレーム前と現在のフレームの画像が常時符号１０２のメモリに保持されている。
【００２６】
検出された顔が１つもなかった場合には符号Ｓ５０５の処理に移行し、一方、検出された顔があった場合には、符号１０５の特徴データ抽出部により、顔検出テーブルに登録されている顔領域から特徴データの抽出が行われ、顔検出テーブルに特徴データが登録される。登録されたデータをもとに、符号１０６の個人認証部により個人認証が実施され、結果が顔検出テーブルに登録される（符号Ｓ５０４）。
【００２７】
続いて、顔検出あり／なしに関わらず符号１０８の追尾判定部により符号Ｓ５０５の追尾処理が実施される。本処理は、前フレームに検出された顔が、現フレームにも存在するかどうかの判定処理を行う。判定には顔管理テーブルが用いられ、前フレームの位置、サイズの類似する現フレームの顔があるかどうかの比較が行われる。同一の顔と判定された場合には、同一の顔番号を付与する（符号Ｓ５０６）。尚、本比較では、認証結果が一致するか否かは考慮しない。図６においては、符号６０３と６０５、符号６０４と６０６が、それぞれ同一の顔と判定され、それぞれ顔番号１、２が付与されている。さらに追尾処理では、顔検出結果を補間するために、前フレームでは存在したが、現フレームでは存在しない顔番号の顔があった場合には、前フレームの顔領域の輝度情報を用いて、現フレームとのマッチングを行い、一致度の高い領域がないかどうかの判定を行う。一致度の高い領域が存在した場合には、その領域を顔領域として補完し、現フレームの顔管理テーブルに登録し、前フレームと同一の顔番号、認証結果を付与する。ただし、顔検出部による検出は行われなかった領域であるため、特徴データの抽出は行わず、テーブルへの登録も行わない。追尾処理後にも顔番号が付与されていない顔が、現フレームの顔管理テーブルに残っていた場合には、新規の顔番号を付与する（図６符号６０７、顔番号３）。以上で、現フレームの顔管理テーブルの作成が完了する。
【００２８】
次に前フレームと、現フレームの顔管理テーブルの比較を行い、顔メタデータ情報の追記を行う。新規の顔番号が付与されているかどうかを確認し（符号Ｓ５０７）、新規の顔があった場合には、顔メタデータ情報に追記を行う（符号Ｓ５０８）。逆に、前フレームには存在したが、現フレームには存在しない消失した顔があった場合にも（符号Ｓ５０９）、顔メタ情報の追記を行う（符号Ｓ５１０）。また、符号Ｓ５０５の追尾処理により、同一の顔番号が付与されたにも関わらず、認証結果が前フレームと現フレームで異なる顔についても（符号Ｓ５１１）、顔メタデータ情報の追記を行う（符号Ｓ５１２）。
【００２９】
以上で、１フレームの画像入力に対する顔管理処理を終了する。本実施例では、動画像の記録中に、上記処理をフレーム毎に繰り返して顔メタデータ情報の追記を行い、１回の動画像記録に対し、１つの顔メタデータ情報を生成する。図３、図４の例では、符号４０２、４０３、４０６、４０８の顔メタデータ情報は、図５の符号Ｓ５０８により情報が記録され（新規の顔）、符号４０７，４１１の顔メタデータ情報は、符号Ｓ５１０により情報が記録され（消失した顔）、符号４０４、４０５、４０９、４１０の顔メタデータ情報は、符号Ｓ５１２により情報が記録された事になる（認証結果が変化）。
【００３０】
生成された顔メタデータ情報は、個人認証精度の向上のための特徴データの学習に利用される。
【００３１】
本発明の動画像記録装置には、学習モードが設けられており、利用者が学習モードを選択する事で、特徴データの学習を行う。図７に学習モード時のユーザインタフェース画面例を示す。
【００３２】
ユーザ指示により学習モードに遷移すると、記録済の顔メタデータ情報を参照し、
条件（１）同一の顔番号にも関わらず、認証結果が変化した顔
条件（２）認証結果が不明の顔
を検索する。例えば図４のような顔メタデータ情報の場合、顔番号１、２の顔に対する認証結果が、時間とともに変化している。したがって、顔番号１については、符号４０２、４０４、４０５の顔、および顔番号２については、符号４０３、４０９、４１０の顔が、上記（１）の条件により、特徴データの学習候補となる。また符号４０６の顔番号３については、上記（２）の条件により、特徴データの学習候補となる。これらの候補を、順次ユーザインタフェースに表示し（符号７０１から７０７）、ユーザ指示に従い学習を行う。
【００３３】
図７（ａ）は、図４の顔メタデータ情報において、顔番号１が割りつけられた顔に対する学習モード時のユーザインタフェース画面を表示しており、符号７０１、７０２、７０３の顔領域は、それぞれ符号４０２、４０４、４０５の顔メタデータ情報から取得した顔領域を表示している。符号７０７は、顔メタデータ情報をもとに、ユーザの選択肢を表示している。符号７０７は、符号４０２の情報から、既に太郎と認証されているため、＜太郎＞を第一候補として表示している。ユーザは、符号７０１の顔が太郎であれば、そのまま符号７０８のカーソルで＜太郎＞を選択指示すれば良い。太郎ではなかった場合には、他の候補から選んだり、新規に登録したり、知らない顔だった場合等には、登録しないことも選択できる。＜他の候補から選ぶ＞を選択した場合には、既に特徴データが登録されている太郎以外の名前一覧が表示されるので、その中から正しい名前を選択する事になる。＜新規登録＞を選択した場合には、新たに顔に対応する名前を入力するユーザインタフェースに切り変わり、名前を入力する事になる。
【００３４】
同様に符号７０２の顔は、符号４０４の顔メタデータ情報から取得した顔領域を表示しており、符号４０２、４０４の情報から認証結果が太郎から次郎に変化したことが判別できるため、第一候補として＜次郎＞、第二候補として＜太郎＞を選択肢として表示する（符号７０９）。符号７０３の顔についても、符号４０４、４０５の情報から認証結果が次郎から太郎に変化したことが判別できるため、第一候補として＜太郎＞、第二候補として＜次郎＞を選択肢として表示する（符号７１０）。上記の通り、選択肢としてより可能性の高い候補を表示する事で、ユーザの選択操作を簡便にしている。
【００３５】
図７（ｂ）は、図４の顔メタデータ情報において、顔番号２が割りつけられた顔に対する学習モード時のユーザインタフェース画面を表示しており、符号７０４、７０５、７０６は、それぞれ符号４０３、４０９、４１０の顔メタデー情報から取得した顔領域を表示している。特に符号７０５の顔は符号４０９の情報からわかるように、認証結果が花子から不明に変化した時点であるため、選択候補としては、第一候補として＜花子＞、第二候補として＜新規登録＞を表示する（符号７１１）。認証結果が不明となった場合には、まだ特徴データが登録されていない顔である可能性があるため、＜新規登録＞が選択候補となる。
【００３６】
さらに図７（ｃ）は、図４の顔メタデータ情報において、顔番号３が割りつけられた顔に対する学習モード時のユーザインタフェース画面を表示しており、符号７０７は、符号４０６の顔メタデータ情報から取得した顔領域を表示している。この顔は、認証結果が不明のままの顔であるため、選択候補としては、第一候補として＜新規登録＞、第二候補として＜候補から選ぶ＞が表示されている（符号７１２）。
【００３７】
ここで、上記学習モードを通しての、特徴データ学習処理について、図８のフローチャートを用いて説明する。
【００３８】
符号Ｓ８０２、８０３は、既に説明したユーザインタフェースを通じでのユーザ指示の入力ステップである。ユーザが指示した内容により、顔メタデータ情報中の認証結果と異なる人物が選択された場合には符号Ｓ８０５の処理に移る。認証結果に変化が無い場合には、特徴データの学習および顔メタデータ情報の修正は必要ないため、そのまま学習せずに処理を終了する。
【００３９】
符号Ｓ８０５では、対象となっている顔を学習するか否かの選択をユーザに促す。メタデータの修正のみで、学習しない場合は（例えば、明らかに顔の照明状態等が低下し、学習データとして適さないと判断される場合等）、符号Ｓ８０８の顔メタデータ情報の修正のみを行い、終了する。学習を行う場合には、参照している顔メタデータ情報に記録された顔領域から、符号１０５の特徴データ抽出部により特徴データを抽出し（符号Ｓ８０６）、符号１０７の個人認証特徴データベース部に抽出特徴データと、それに対応する名前を登録することで学習を行う（符号Ｓ８０７）。これにより、次回の個人認証より、より精度の高い認証が行えるようになる。さらに符号Ｓ８０８で顔メタデータ情報の修正を行い、正しい情報を記録して、特徴データ学習処理を終了する。
【００４０】
図７のユーザインタフェースによる特徴データ学習処理終了後の顔メタデータ情報を図９に示す。図７（ａ）については全て＜太郎＞を選択し、（ｂ）については全て＜花子＞を選択し、（ｃ）については、＜新規登録＞を選択後、新たな名前として＜一郎＞を入力した結果、図４の顔メタデータ情報は図９のように変化する。
【００４１】
図９の内容からわかるように、これ以降に学習モードに遷移した場合でも、上記条件（１）、（２）にあてはまる情報は図９には含まれないため、図７のようなユーザインタフェースは表示されず、再度学習のための入力が求められることはない。
【００４２】
以上説明した通り、前記学習モードによる特徴データ学習処理を繰り返すことにより、新規の顔を登録していくことができ、また、個人認証の度合いが低下した時点の顔特徴データを登録していくことになるため、表情の変化や、顔にあたる照明の状態が変化した場合でも、個人認証の度合いの低下を抑えるように学習させて行くことができる。また、顔特徴データを登録するか否かは利用者が判断して行うため、無駄な特徴データの登録による、誤認識も抑えることができる。
【００４３】
［実施例２］
実施例１では、ユーザ指示による学習モードへの遷移で、図７のユーザインタフェース画面が表示され、特徴データ学習処理が実施されたが、再生中や、撮影（記録）中に特徴データ学習処理を行う場合の、ユーザインタフェースについて説明する。ここでの説明では、再生中または、撮影中に、図３における撮影時間ｔ３に達した際の顔番号１に対する特徴データ学習処理のためのユーザインタフェースを示す。
【００４４】
図１０（ａ）は記録中に特徴データ学習処理を実行するためのユーザインタフェース画面である。記録中は通常、ユーザは撮影に集中しているため、煩雑な登録作業を行う事はできない。したがって本実施例では、対象となる顔に対する符号１００１の顔枠を表示し、ユーザの選択候補数を実施例１の場合よりも減らした状態で符号１００２の選択候補表示を行う。記録中の選択候補は、第一候補としては＜後で登録＞を表示する。＜後で登録＞を選択した場合は、撮影終了後に学習モードで学習を行わせる必要がある。ｔ３では認証結果が次郎から太郎に変化した時点なため、第二候補として＜太郎＞、第三候補として＜次郎＞を表示する。また選択候補表示１００１を表示してからある一定時間経過しても、ユーザからの登録が無い場合には、第一候補の＜後で登録＞が選択されたものとして、選択候補表示を消す。
【００４５】
図１０（ｂ）は再生中に特徴データ学習処理を実行するためのユーザインタフェース画面である。再生中に時間ｔ３にさしかかると再生を一時停止し、対象となる顔に対する符号１００３の顔枠と、符号１００４の選択候補表示を行う。再生を一時停止しているため、選択候補としては実施例１と同じだけの候補を表示しており、ユーザはこの状態で登録を済ませる事ができる。
【００４６】
以上説明した通り、本実施例のような特徴データ学習処理のユーザインタフェースを設ける事で、わざわざ学習モードに移行することなく、特徴データの登録を行う事もできる。
【符号の説明】
【００４７】
１０１ 画像入力部
１０３ 顔検出部
１０５ 特徴データ抽出部
１０６ 個人認証部
１０７ 個人認証特徴データベース部
１０８ 追尾判定部
７０１〜７０７ 顔領域表示
７０７，７０９，７１０、７１１、７１２ 選択肢表示
【特許請求の範囲】
【請求項１】
動画像を入力する動画像データ入力手段と、
前記動画像データ入力手段により入力された１フレームの画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、
フレーム毎に検出された顔領域に対し、連続するフレーム間で同一の顔と推測される顔領域を関連付ける追尾手段と、
人物毎に、顔領域から検出された少なくとも一組以上の特徴データを人物と関連付けて記憶させておく特徴データ記憶手段と、
前記顔検出手段により検出された顔領域の特徴データと、前記特徴データ記憶手段に記憶されている特徴データを比較する事で、個人を認証する認証手段を有し、
前記追尾手段により同一の顔と判定されたにもかかわらず、前記認証手段による認証結果においては、連続するフレーム間で異なる判定となった場合には、その顔領域を明示し、利用者にその領域の特徴データを前記特徴データ記憶手段に追加記憶する事を促す追加記憶候補表示を行い、
また前記認証手段による認証結果において、認証結果が不明となった場合には、その顔領域を明示し、利用者にその領域の特徴データを前記特徴データ記憶手段に追加記憶する事を促す追加記憶候補表示を行う事、
を特徴とする個人認証装置。
【請求項２】
前記追加記憶候補表示において、
不一致となった顔認証結果を特徴データの登録対象人物候補として表示し、利用者に人物選択を促す事、
を特徴とする請求項１に記載の個人認証装置。
【請求項３】
前記追加記憶候補表示において、
認証結果が不明となった顔については新規に人物登録する事を促す事、
を特徴とする請求項１に記載の個人認証装置。
【請求項１】
動画像を入力する動画像データ入力手段と、
前記動画像データ入力手段により入力された１フレームの画像データに含まれる人物の顔領域を検出し、検出された顔領域から特徴データを検出する顔検出手段と、
フレーム毎に検出された顔領域に対し、連続するフレーム間で同一の顔と推測される顔領域を関連付ける追尾手段と、
人物毎に、顔領域から検出された少なくとも一組以上の特徴データを人物と関連付けて記憶させておく特徴データ記憶手段と、
前記顔検出手段により検出された顔領域の特徴データと、前記特徴データ記憶手段に記憶されている特徴データを比較する事で、個人を認証する認証手段を有し、
前記追尾手段により同一の顔と判定されたにもかかわらず、前記認証手段による認証結果においては、連続するフレーム間で異なる判定となった場合には、その顔領域を明示し、利用者にその領域の特徴データを前記特徴データ記憶手段に追加記憶する事を促す追加記憶候補表示を行い、
また前記認証手段による認証結果において、認証結果が不明となった場合には、その顔領域を明示し、利用者にその領域の特徴データを前記特徴データ記憶手段に追加記憶する事を促す追加記憶候補表示を行う事、
を特徴とする個人認証装置。
【請求項２】
前記追加記憶候補表示において、
不一致となった顔認証結果を特徴データの登録対象人物候補として表示し、利用者に人物選択を促す事、
を特徴とする請求項１に記載の個人認証装置。
【請求項３】
前記追加記憶候補表示において、
認証結果が不明となった顔については新規に人物登録する事を促す事、
を特徴とする請求項１に記載の個人認証装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１２３６７６（Ｐ２０１２−１２３６７６Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７４８２６（Ｐ２０１０−２７４８２６）
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]