被写体認証装置、被写体認証方法及びプログラム
【課題】一時的な類似度の変動で被写体が正しく認証されなくなることを低減する。
【解決手段】顔検出部１１３は、画像データから第１の被写体領域を検出する。顔追跡処理部１１４は、被写体が認証済みの第２の被写体領域の、前記画像データより過去の画像データからの経時的な変化を追跡する。特徴情報抽出処理部１１５は、第１の被写体領域から被写体の第１の特徴情報を抽出する。類似度算出処理部１１７は、第１の特徴情報と特徴情報記憶部１１６に記憶される第２の特徴情報とを比較し、第１の特徴情報に対応する被写体と第２の特徴情報に対応する被写体との類似度を算出する。閾値決定部１１９は、第１の被写体領域に対応する第２の被写体領域が追跡されているか否かに応じて異なる閾値を設定する。認証判定部１２０は、算出された類似度と閾値との比較結果に応じて、第１の特徴情報に対応する被写体と第２の特徴情報に対応する被写体との一致性を認証する。
【解決手段】顔検出部１１３は、画像データから第１の被写体領域を検出する。顔追跡処理部１１４は、被写体が認証済みの第２の被写体領域の、前記画像データより過去の画像データからの経時的な変化を追跡する。特徴情報抽出処理部１１５は、第１の被写体領域から被写体の第１の特徴情報を抽出する。類似度算出処理部１１７は、第１の特徴情報と特徴情報記憶部１１６に記憶される第２の特徴情報とを比較し、第１の特徴情報に対応する被写体と第２の特徴情報に対応する被写体との類似度を算出する。閾値決定部１１９は、第１の被写体領域に対応する第２の被写体領域が追跡されているか否かに応じて異なる閾値を設定する。認証判定部１２０は、算出された類似度と閾値との比較結果に応じて、第１の特徴情報に対応する被写体と第２の特徴情報に対応する被写体との一致性を認証する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ内の被写体領域に含まれる被写体を認証する技術に関するものである。
【背景技術】
【０００２】
認証の処理機能を備えた撮像装置では、撮像装置で撮影して得られた画像データから、特定の被写体領域が含まれる被写体画像領域を検出する。次に撮像装置は、当該被写体画像領域の画像データから、その被写体領域を被認証対象として識別するための特徴情報を抽出し、抽出した特徴情報と予めデータベースに登録されている登録対象の画像の特徴情報とを比較する。次に撮像装置は、比較結果から被認証対象と登録対象との類似度を判定し、類似度に基づいて、被認証対象がどの登録対象であるか、又は該当する登録対象がいないかの認証を行う。このような技術の例として、撮影して得られた画像データから特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、この顔が誰であるか個人認証を行うシステムが存在する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２７１３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような個人認証処理を行うに際し、画像データ中の顔の大きさ、顔の向き及び顔の明るさ等の要因で類似度が変動し、あるフレームでは正しく認証できるが次のフレームでは誤認証することがある。また、認証を行わないフレームで顔検出や被写体追尾を用いて認証した顔を追跡する際、誤って追跡することも考えられるため、一度認証された顔も定期的に認証を繰り返すことが望ましい。
【０００５】
そこで本発明の目的は、一時的な類似度の変動で被写体が正しく認証されなくなることを低減することにある。
【課題を解決するための手段】
【０００６】
本発明の被写体認証装置は、画像データから第１の被写体領域を検出する検出手段と、被写体が認証済みの第２の被写体領域の、前記画像データより過去の画像データからの経時的な変化を追跡する追跡手段と、前記第１の被写体領域から被写体の第１の特徴情報を抽出する抽出手段と、前記抽出手段により抽出された前記第１の特徴情報と記憶手段において予め記憶される第２の特徴情報とを比較し、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との類似度を算出する第１の算出手段と、前記第１の被写体領域に対応する前記第２の被写体領域が前記追跡手段により追跡されているか否かに応じて異なる閾値を設定する設定手段と、前記第１の算出手段により算出された類似度と前記設定手段により設定された閾値との比較結果に応じて、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との一致性を認証する認証手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、既に認証済みの被写体の被写体領域が追跡されており、その被写体領域の被写体が認証中の被写体と同一らしいときに、一時的な類似度の変動で被写体が正しく認証されなくなることを低減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る個人認証機能を備えた撮像装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る撮像装置による個人認証処理を示すフローチャートである。
【図３】本発明の実施形態に係る撮像装置による相関値算出方法を説明するための図である。
【図４】本発明の実施形態に係る撮像装置による閾値設定方法を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。図１は、本発明の実施形態に係る個人認証機能を備えた撮像装置の構成を示すブロック図である。図１に示す撮像装置は、撮影して得られた画像データから特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、その顔が誰であるかを識別する個人認証を行う機能を有する。なお、本実施形態に係る撮像装置は、本発明の被写体認証装置の適用例となる構成である。
【００１０】
図１において、１０１は撮像レンズである。１０２はフォーカスレンズである。本実施形態に係る撮像装置は、フォーカスレンズ１０２を制御することにより、撮像される被写体の合焦状態を制御することが可能に構成されている。１０３は撮像レンズ１０１を通過した被写体の光束を光電変換し、電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子である。１０４は撮像素子１０３から出力されたアナログの画像信号にクランプ処理、ゲイン処理等を行い、ディジタル信号である画像データに変換するＡ／Ｄ変換部である。１０５はディジタル信号処理部であり、Ａ／Ｄ変換部１０４からの画像データに対して予め定められた画素補間処理や色変換処理を実行する。ディジタル信号処理部１０５で信号処理された画像データは記録再生部１０６に供給され、光ディスク記録媒体、半導体記録媒体等、各種のユーザの要求で取り外し可能な記録媒体１０７に記録される。また、画像データは表示制御部１０８に送られ、表示装置１０９での画像データの表示が制御される。
【００１１】
１１０はシステム制御部である。システム制御部１１０は、基本的に撮像装置全体の動作を制御するものであって、通常内部にＣＰＵを備える。例えば、システム制御部１１０は、撮像して得られる画像データを用いて予め定められた演算処理を実行し、その演算結果に基づいて、焦点制御部１１１及び露出制御部１１２を制御する。この制御により、焦点制御部１１１はフォーカスレンズ１０２に対して自動焦点制御（ＡＦ）を実行し、露出制御部１１２は撮像レンズ１０１内の絞り及びシャッタ、さらには撮像素子１０３の電子シャッタに対して自動露出制御（ＡＥ）を実行する。
【００１２】
１１３は顔検出部である。顔検出部１１３は、撮像する画像データに含まれる被写体から、目、口等のエッジを検出して人物の顔の特徴部分を検出する。即ち、顔検出部１１３は、顔が占める画像データの領域（顔位置と顔の大きさ）、顔の確からしさ（顔信頼度）から、その画像領域のデータを顔画像データとして検出する顔検出処理や識別処理を実行する。さらに顔検出部１１３は、検出した顔画像データの数も同時に検出する。顔検出処理は、個人認証のように個人別に参照用データを蓄積しておく必要がないため、個人認証と比較して十分に早く処理を完了させることが可能である。
【００１３】
１１４は顔追跡処理部であり、顔検出部１１３で検出された顔画像データから抽出可能な情報を用いて、タイミングの異なる画像フレーム間で同じ人物の顔の経時的な変化を追跡する。顔追跡処理部１１４の機能の詳細については後述する。
【００１４】
１１５は特徴情報抽出処理部であり、顔検出部１１３で検出された顔画像データと、個人認証用に登録された人物の顔画像データとから、個人認証の際に用いられる特徴情報を抽出する。１１６は特徴情報記憶部であり、個人認証用に登録された人物の顔画像データから特徴情報抽出処理部１１５で抽出された特徴情報を記憶する。なお、特徴情報抽出処理部１１５によって抽出される特徴情報は、本発明の第１の特徴情報の例であり、特徴情報記憶部１１６において記憶される特徴情報は、本発明の第２の特徴情報の例である。
【００１５】
１１７は類似度算出処理部であり、特徴情報記憶部１１６において記憶されている少なくとも一人の顔画像データの特徴情報と、特徴情報抽出処理部１１５で抽出された顔画像データの特徴情報とを比較し、その比較結果である類似度を算出する。
【００１６】
なお、特徴情報抽出処理部１１５で抽出される特徴情報には、例えば目、鼻、口及び顔の輪郭といった物理的な形状の特徴や各々の相対位置を示す情報を用いることができる。類似度算出処理部１１７は、これらの特徴情報でパターンマッチングを行い、特徴情報記憶部１１６において特徴情報が記憶されている顔画像データと、特徴情報抽出処理部１１５で特徴情報が抽出された顔画像データとがどれくらい似ているかを表す値（類似度）を算出する。
【００１７】
１１８は相関値算出処理部であり、顔検出部１１３で検出された顔画像データから抽出可能な情報を用いて顔画像データの相関を示す相関値を算出する。１１９は閾値決定部であり、相関値算出処理部１１８により算出された相関値に応じて閾値を決定する。１２０は認証判定部であり、類似度算出処理部１１７によって算出された類似度と、相関値算出処理部１１８により算出された相関値に応じて閾値決定部１１９で決定された閾値とを比較する。類似度が閾値以上である場合、認証判定部１２０は、類似度算出に用いられた２つの顔画像データの顔の一致性を判定することにより、当該２つの顔データが同一の人物のものであるかの認証を実行する。相関値算出処理部１１８及び閾値決定部１１９の詳細については後述する。
【００１８】
なお、図１に示す撮像装置の構成は飽くまでも一例であり、以下に説明する動作を実行できるのであれば、本発明を適用可能な撮像装置の構成は図１に示す構成に限定されるものではない。また、図１において、顔検出部１１３は本発明の検出手段の適用例となる構成である。顔追跡処理部１１４は本発明の追跡手段の適用例となる構成である。特徴情報抽出処理部１１５は本発明の抽出手段の適用例となる構成である。類似度算出処理部１１７は本発明の第１の算出手段の適用例となる構成である。閾値決定部１１９は本発明の設定手段の適用例となる構成である。認証判定部１２０は本発明の認証手段の適用例となる構成である。相関値算出処理部１１８は本発明の第２の算出手段の適用例となる構成である。
【００１９】
次に、本発明の実施形態に係る撮像装置による個人認証処理を、図２に示すフローチャートを参照しながら詳細に説明する。図２においては、処理開始後のステップＳ２０１において、顔検出部１１３は、現在の画像フレームｔ＋ｋの画像データに対して顔検出処理を実行する。続くステップＳ２０２において、顔追跡処理部１１４は、過去の画像フレームで認証に成功した顔の追跡処理を実行する。即ちステップＳ２０２において、顔追跡処理部１１４は、画像フレームｔ＋ｋ−１まで追跡中の顔がある場合、又は、画像フレームｔ＋ｋ−１で認証に成功した顔がある場合、ステップＳ２０１で検出された顔の中から追跡中の顔、又は、画像フレームｔ＋ｋ−１で認証に成功した顔と同一の人物であると判断できる顔を検出し、その顔を追跡結果とする。なお、顔追跡処理部１１４の追跡処理の例としては、タイミングの異なる画像フレームにおいて顔検出部１１３によって検出された顔の位置座標の距離が最も近いものを同一の人物とみなして追跡する方法がある。また、他の追跡処理の例として、タイミングの異なる画像フレームにおいて顔検出部１１３によって検出された顔を含む領域の輝度や色情報の類似度が最も高いものを同一の人物であるとみなして追跡を行う方法も考えられる。
【００２０】
続くステップＳ２０３において、特徴情報抽出処理部１１５は、ステップＳ２０１で検出された顔のうち、今認証を行う顔Ｆ［ｔ＋ｋ］の顔画像データから認証に用いられる特徴情報を抽出する。続くステップＳ２０４において、類似度算出処理部１１７は、ステップＳ２０３で抽出された顔Ｆ［ｔ＋ｋ］の特徴情報と特徴情報記憶部１１６に記憶されている登録者の特徴情報とを比較し、その比較結果である類似度を算出する。すなわち、ステップＳ２０３で抽出された顔Ｆ［ｔ＋ｋ］と、特徴情報記憶部１１６に特徴情報が記憶されている登録者に対応する顔の、類似度を算出している。続くステップＳ２０５において、顔追跡処理部１１４は、過去の画像フレーム（例えば、画像フレームｔ）において認証に成功し、その認証に成功した顔が現在の画像フレームｔ＋ｋまで追跡できているかどうかを判断する。過去の画像フレームで認証に成功した顔が現在の画像フレームｔ＋ｋまで追跡できている場合、ステップＳ２０６に進む。ステップＳ２０６において、認証を行う顔である顔Ｆ［ｔ＋ｋ］と過去の画像フレームｔで認証に成功した顔Ｆ［ｔ］を現在の画像フレームｔ＋ｋで追跡している顔とでマッチングを実行する。即ちステップＳ２０６において、類似度算出処理部１１７は、顔Ｆ［ｔ＋ｋ］と顔Ｆ［ｔ］を顔追跡処理部１１４で追跡している顔とが同一の顔であるかを判定する。この場合、顔Ｆ［ｔ＋ｋ］の位置座標と顔Ｆ［ｔ］を追跡した結果の顔の位置座標とが等しい場合に同一の顔であると判定される。顔Ｆ［ｔ＋ｋ］と顔Ｆ［ｔ］を顔追跡処理部１１４で追跡している顔とが同一の顔であると判定された場合、ステップＳ２０７に進み、顔Ｆ［ｔ＋ｋ］と顔Ｆ［ｔ］の相関が調べられる。なお、顔Ｆ［ｔ＋ｋ］の顔画像データは本発明における第１の被写体領域の例であり、顔Ｆ［ｔ］の顔画像データは本発明における第２の被写体領域の例である。
【００２１】
ステップＳ２０７において、相関値算出処理部１１８は、顔Ｆ［ｔ＋ｋ］と顔Ｆ［ｔ］との相関値を算出する。ここで、２つの顔の相関値について図３を用いて詳細に説明する。図３は、本実施形態に係る撮像装置による相関値算出方法を説明するための図である。図３の例では、相関値として顔の移動した距離を用いる場合について説明する。図３に示すように、画像フレームｔ＋ｋの顔画像データから顔Ｆ［ｔ＋ｋ］の中心位置座標（ｘ［ｔ＋ｋ］，ｙ［ｔ＋ｋ］）、画像フレームｔの顔画像データから顔Ｆ［ｔ］の中心位置座標（ｘ［ｔ］，ｙ［ｔ］）が取得できる。相関値Ｃは相関値算出処理部１１８によって算出されるが、例えば、顔Ｆ［ｔ］から顔Ｆ［ｔ＋ｋ］までの移動した距離（移動量）から式１のようにして算出される。
【００２２】
【数１】
【００２３】
なお、上記の計算式は飽くまでも一例であり、ここで重要なことは、２つの顔画像データの相関値Ｃを得ることである。従って、２つの顔画像データの相関値Ｃが得られるのであれば、上述したパラメータや計算式以外でも使用可能である。当然のことながら、相関値の定義の仕方によってもパラメータや計算式は異なる場合があり得る。即ち、図３に示すように顔Ｆ［ｔ＋ｋ］の顔画像からは、顔の大きさＦＳ［ｔ＋ｋ］、顔領域の平均画素値Ｉ［ｔ＋ｋ］、顔領域の平均輝度値Ｙ［ｔ＋ｋ］等の情報が取得できる。また、同様に顔Ｆ［ｔ］の顔画像から、顔の大きさＦＳ［ｔ］、顔領域の平均画素値Ｉ［ｔ］、顔領域の平均輝度値Ｙ［ｔ］等の情報が取得できる。これらを用いて、例えば顔の大きさの差から式２のように相関値Ｃを算出することができる。
【００２４】
【数２】
【００２５】
また、例えば経過フレーム数（経過時間）ｋから式３のように相関値Ｃを算出することができる。
【００２６】
【数３】
【００２７】
また、例えば顔領域の平均画素値の差から式４のように相関値Ｃを算出することができる。
【００２８】
【数４】
【００２９】
また、例えば顔領域の平均輝度値の差から式５のように相関値Ｃを算出することができる。また、これら式１乃至式５で求めた中のいくつかの相関値Ｃ、あるいは、全ての相関値Ｃを加重加算して、最終的な相関値Ｃを算出することもできる。
【００３０】
【数５】
【００３１】
ステップＳ２０８において、認証判定部１２０は、ステップＳ２０７で算出された相関値Ｃを用いて閾値を設定する。ここで、図４を用いて閾値について詳細に説明する。図４は、本実施形態に係る撮像装置による閾値設定方法を説明するための図である。閾値ＴＨは認証の判定に用いられる値であり、認証では類似度算出処理部１１７で算出された類似度が閾値以上である場合に認証成功と判定される。閾値は予め認証判定部１２０によって所定の値ＴＨ＝ｔｈ１に設定されているが、図４に示すようにステップＳ２０７で算出された相関値Ｃの値に応じて、Ｃ＞ｃ２の場合、ＴＨ＝ｔｈ２のように閾値を低く設定することができる。即ち、顔Ｆ［ｔ］と顔Ｆ［ｔ＋ｋ］との相関が高く、認証を行う顔が認証している顔と同一の顔らしいと判断した場合、閾値を通常の値より低く設定することで認証が成功し易くなるよう補正を行う。これにより、一時的な類似度の変動で被写体が正しく認証されなくなることを低減することができる。
【００３２】
ステップＳ２０５において、過去の画像フレームｔにおいて認証に成功し、現在の画像フレームｔ＋ｋまで顔追跡処理部１１４によって追跡されている顔が当該画像フレームｔ＋ｋ中に存在しないと判断された場合、処理はステップＳ２０９に進む。また、ステップＳ２０５において、過去の画像フレームｔにおいて認証に成功し、現在の画像フレームｔ＋ｋまで顔追跡処理部１１４によって追跡している顔が当該画像フレームｔ＋ｋ中に存在すると判断され、且つ、ステップＳ２０６において、顔Ｆ［ｔ］と顔Ｆ［ｔ＋ｋ］を顔追跡処理部１１４で追跡している顔とが同一の顔ではないと判断された場合、処理はステップＳ２０９に進む。ステップＳ２０９において、認証判定部１２０は、閾値を予め設定されている所定の値ｔｈ１に設定してリセットし、ステップＳ２１０に進む。
【００３３】
ステップＳ２１０において、認証判定部１２０は、ステップＳ２０４にて類似度算出処理部１１７で算出された類似度とステップＳ２０８で決定された閾値ＴＨとを比較する。類似度が閾値ＴＨ以上である場合、処理はステップＳ２１１に進む。ステップＳ２１１において、システム制御部１１０は、認証に成功した結果として、例えば表示装置１０９において個人認証に成功していることを示す顔枠を表示する。この場合、以後のフレームで顔Ｆ［ｔ＋ｋ］が顔追跡処理部１１４により追跡されることとなる。一方、類似度が閾値ＴＨ未満の場合、処理はステップＳ２１２に進む。ステップＳ２１２において、システム制御部１１０は、認証に失敗した結果として、例えば表示装置１０９において個人認証成功時とは異なる顔枠を表示する。
【００３４】
以上説明した処理により、本実施形態においては、既に認証済みの顔が追跡されており、その顔が認証中の顔と同一の人物らしいときに、一時的な類似度の変動で被写体が正しく認証されなくなることを低減することができる。
【００３５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３６】
１１０：システム制御部、１１３：顔検出部、１１４：顔追跡処理部、１１５：特徴情報抽出処理部、１１６：特徴情報記憶部、１１７：類似度算出処理部、１１８：相関値算出処理部、１１９：閾値決定部、１２０：認証判定部
【技術分野】
【０００１】
本発明は、画像データ内の被写体領域に含まれる被写体を認証する技術に関するものである。
【背景技術】
【０００２】
認証の処理機能を備えた撮像装置では、撮像装置で撮影して得られた画像データから、特定の被写体領域が含まれる被写体画像領域を検出する。次に撮像装置は、当該被写体画像領域の画像データから、その被写体領域を被認証対象として識別するための特徴情報を抽出し、抽出した特徴情報と予めデータベースに登録されている登録対象の画像の特徴情報とを比較する。次に撮像装置は、比較結果から被認証対象と登録対象との類似度を判定し、類似度に基づいて、被認証対象がどの登録対象であるか、又は該当する登録対象がいないかの認証を行う。このような技術の例として、撮影して得られた画像データから特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、この顔が誰であるか個人認証を行うシステムが存在する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２７１３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような個人認証処理を行うに際し、画像データ中の顔の大きさ、顔の向き及び顔の明るさ等の要因で類似度が変動し、あるフレームでは正しく認証できるが次のフレームでは誤認証することがある。また、認証を行わないフレームで顔検出や被写体追尾を用いて認証した顔を追跡する際、誤って追跡することも考えられるため、一度認証された顔も定期的に認証を繰り返すことが望ましい。
【０００５】
そこで本発明の目的は、一時的な類似度の変動で被写体が正しく認証されなくなることを低減することにある。
【課題を解決するための手段】
【０００６】
本発明の被写体認証装置は、画像データから第１の被写体領域を検出する検出手段と、被写体が認証済みの第２の被写体領域の、前記画像データより過去の画像データからの経時的な変化を追跡する追跡手段と、前記第１の被写体領域から被写体の第１の特徴情報を抽出する抽出手段と、前記抽出手段により抽出された前記第１の特徴情報と記憶手段において予め記憶される第２の特徴情報とを比較し、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との類似度を算出する第１の算出手段と、前記第１の被写体領域に対応する前記第２の被写体領域が前記追跡手段により追跡されているか否かに応じて異なる閾値を設定する設定手段と、前記第１の算出手段により算出された類似度と前記設定手段により設定された閾値との比較結果に応じて、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との一致性を認証する認証手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、既に認証済みの被写体の被写体領域が追跡されており、その被写体領域の被写体が認証中の被写体と同一らしいときに、一時的な類似度の変動で被写体が正しく認証されなくなることを低減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る個人認証機能を備えた撮像装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る撮像装置による個人認証処理を示すフローチャートである。
【図３】本発明の実施形態に係る撮像装置による相関値算出方法を説明するための図である。
【図４】本発明の実施形態に係る撮像装置による閾値設定方法を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。図１は、本発明の実施形態に係る個人認証機能を備えた撮像装置の構成を示すブロック図である。図１に示す撮像装置は、撮影して得られた画像データから特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、その顔が誰であるかを識別する個人認証を行う機能を有する。なお、本実施形態に係る撮像装置は、本発明の被写体認証装置の適用例となる構成である。
【００１０】
図１において、１０１は撮像レンズである。１０２はフォーカスレンズである。本実施形態に係る撮像装置は、フォーカスレンズ１０２を制御することにより、撮像される被写体の合焦状態を制御することが可能に構成されている。１０３は撮像レンズ１０１を通過した被写体の光束を光電変換し、電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子である。１０４は撮像素子１０３から出力されたアナログの画像信号にクランプ処理、ゲイン処理等を行い、ディジタル信号である画像データに変換するＡ／Ｄ変換部である。１０５はディジタル信号処理部であり、Ａ／Ｄ変換部１０４からの画像データに対して予め定められた画素補間処理や色変換処理を実行する。ディジタル信号処理部１０５で信号処理された画像データは記録再生部１０６に供給され、光ディスク記録媒体、半導体記録媒体等、各種のユーザの要求で取り外し可能な記録媒体１０７に記録される。また、画像データは表示制御部１０８に送られ、表示装置１０９での画像データの表示が制御される。
【００１１】
１１０はシステム制御部である。システム制御部１１０は、基本的に撮像装置全体の動作を制御するものであって、通常内部にＣＰＵを備える。例えば、システム制御部１１０は、撮像して得られる画像データを用いて予め定められた演算処理を実行し、その演算結果に基づいて、焦点制御部１１１及び露出制御部１１２を制御する。この制御により、焦点制御部１１１はフォーカスレンズ１０２に対して自動焦点制御（ＡＦ）を実行し、露出制御部１１２は撮像レンズ１０１内の絞り及びシャッタ、さらには撮像素子１０３の電子シャッタに対して自動露出制御（ＡＥ）を実行する。
【００１２】
１１３は顔検出部である。顔検出部１１３は、撮像する画像データに含まれる被写体から、目、口等のエッジを検出して人物の顔の特徴部分を検出する。即ち、顔検出部１１３は、顔が占める画像データの領域（顔位置と顔の大きさ）、顔の確からしさ（顔信頼度）から、その画像領域のデータを顔画像データとして検出する顔検出処理や識別処理を実行する。さらに顔検出部１１３は、検出した顔画像データの数も同時に検出する。顔検出処理は、個人認証のように個人別に参照用データを蓄積しておく必要がないため、個人認証と比較して十分に早く処理を完了させることが可能である。
【００１３】
１１４は顔追跡処理部であり、顔検出部１１３で検出された顔画像データから抽出可能な情報を用いて、タイミングの異なる画像フレーム間で同じ人物の顔の経時的な変化を追跡する。顔追跡処理部１１４の機能の詳細については後述する。
【００１４】
１１５は特徴情報抽出処理部であり、顔検出部１１３で検出された顔画像データと、個人認証用に登録された人物の顔画像データとから、個人認証の際に用いられる特徴情報を抽出する。１１６は特徴情報記憶部であり、個人認証用に登録された人物の顔画像データから特徴情報抽出処理部１１５で抽出された特徴情報を記憶する。なお、特徴情報抽出処理部１１５によって抽出される特徴情報は、本発明の第１の特徴情報の例であり、特徴情報記憶部１１６において記憶される特徴情報は、本発明の第２の特徴情報の例である。
【００１５】
１１７は類似度算出処理部であり、特徴情報記憶部１１６において記憶されている少なくとも一人の顔画像データの特徴情報と、特徴情報抽出処理部１１５で抽出された顔画像データの特徴情報とを比較し、その比較結果である類似度を算出する。
【００１６】
なお、特徴情報抽出処理部１１５で抽出される特徴情報には、例えば目、鼻、口及び顔の輪郭といった物理的な形状の特徴や各々の相対位置を示す情報を用いることができる。類似度算出処理部１１７は、これらの特徴情報でパターンマッチングを行い、特徴情報記憶部１１６において特徴情報が記憶されている顔画像データと、特徴情報抽出処理部１１５で特徴情報が抽出された顔画像データとがどれくらい似ているかを表す値（類似度）を算出する。
【００１７】
１１８は相関値算出処理部であり、顔検出部１１３で検出された顔画像データから抽出可能な情報を用いて顔画像データの相関を示す相関値を算出する。１１９は閾値決定部であり、相関値算出処理部１１８により算出された相関値に応じて閾値を決定する。１２０は認証判定部であり、類似度算出処理部１１７によって算出された類似度と、相関値算出処理部１１８により算出された相関値に応じて閾値決定部１１９で決定された閾値とを比較する。類似度が閾値以上である場合、認証判定部１２０は、類似度算出に用いられた２つの顔画像データの顔の一致性を判定することにより、当該２つの顔データが同一の人物のものであるかの認証を実行する。相関値算出処理部１１８及び閾値決定部１１９の詳細については後述する。
【００１８】
なお、図１に示す撮像装置の構成は飽くまでも一例であり、以下に説明する動作を実行できるのであれば、本発明を適用可能な撮像装置の構成は図１に示す構成に限定されるものではない。また、図１において、顔検出部１１３は本発明の検出手段の適用例となる構成である。顔追跡処理部１１４は本発明の追跡手段の適用例となる構成である。特徴情報抽出処理部１１５は本発明の抽出手段の適用例となる構成である。類似度算出処理部１１７は本発明の第１の算出手段の適用例となる構成である。閾値決定部１１９は本発明の設定手段の適用例となる構成である。認証判定部１２０は本発明の認証手段の適用例となる構成である。相関値算出処理部１１８は本発明の第２の算出手段の適用例となる構成である。
【００１９】
次に、本発明の実施形態に係る撮像装置による個人認証処理を、図２に示すフローチャートを参照しながら詳細に説明する。図２においては、処理開始後のステップＳ２０１において、顔検出部１１３は、現在の画像フレームｔ＋ｋの画像データに対して顔検出処理を実行する。続くステップＳ２０２において、顔追跡処理部１１４は、過去の画像フレームで認証に成功した顔の追跡処理を実行する。即ちステップＳ２０２において、顔追跡処理部１１４は、画像フレームｔ＋ｋ−１まで追跡中の顔がある場合、又は、画像フレームｔ＋ｋ−１で認証に成功した顔がある場合、ステップＳ２０１で検出された顔の中から追跡中の顔、又は、画像フレームｔ＋ｋ−１で認証に成功した顔と同一の人物であると判断できる顔を検出し、その顔を追跡結果とする。なお、顔追跡処理部１１４の追跡処理の例としては、タイミングの異なる画像フレームにおいて顔検出部１１３によって検出された顔の位置座標の距離が最も近いものを同一の人物とみなして追跡する方法がある。また、他の追跡処理の例として、タイミングの異なる画像フレームにおいて顔検出部１１３によって検出された顔を含む領域の輝度や色情報の類似度が最も高いものを同一の人物であるとみなして追跡を行う方法も考えられる。
【００２０】
続くステップＳ２０３において、特徴情報抽出処理部１１５は、ステップＳ２０１で検出された顔のうち、今認証を行う顔Ｆ［ｔ＋ｋ］の顔画像データから認証に用いられる特徴情報を抽出する。続くステップＳ２０４において、類似度算出処理部１１７は、ステップＳ２０３で抽出された顔Ｆ［ｔ＋ｋ］の特徴情報と特徴情報記憶部１１６に記憶されている登録者の特徴情報とを比較し、その比較結果である類似度を算出する。すなわち、ステップＳ２０３で抽出された顔Ｆ［ｔ＋ｋ］と、特徴情報記憶部１１６に特徴情報が記憶されている登録者に対応する顔の、類似度を算出している。続くステップＳ２０５において、顔追跡処理部１１４は、過去の画像フレーム（例えば、画像フレームｔ）において認証に成功し、その認証に成功した顔が現在の画像フレームｔ＋ｋまで追跡できているかどうかを判断する。過去の画像フレームで認証に成功した顔が現在の画像フレームｔ＋ｋまで追跡できている場合、ステップＳ２０６に進む。ステップＳ２０６において、認証を行う顔である顔Ｆ［ｔ＋ｋ］と過去の画像フレームｔで認証に成功した顔Ｆ［ｔ］を現在の画像フレームｔ＋ｋで追跡している顔とでマッチングを実行する。即ちステップＳ２０６において、類似度算出処理部１１７は、顔Ｆ［ｔ＋ｋ］と顔Ｆ［ｔ］を顔追跡処理部１１４で追跡している顔とが同一の顔であるかを判定する。この場合、顔Ｆ［ｔ＋ｋ］の位置座標と顔Ｆ［ｔ］を追跡した結果の顔の位置座標とが等しい場合に同一の顔であると判定される。顔Ｆ［ｔ＋ｋ］と顔Ｆ［ｔ］を顔追跡処理部１１４で追跡している顔とが同一の顔であると判定された場合、ステップＳ２０７に進み、顔Ｆ［ｔ＋ｋ］と顔Ｆ［ｔ］の相関が調べられる。なお、顔Ｆ［ｔ＋ｋ］の顔画像データは本発明における第１の被写体領域の例であり、顔Ｆ［ｔ］の顔画像データは本発明における第２の被写体領域の例である。
【００２１】
ステップＳ２０７において、相関値算出処理部１１８は、顔Ｆ［ｔ＋ｋ］と顔Ｆ［ｔ］との相関値を算出する。ここで、２つの顔の相関値について図３を用いて詳細に説明する。図３は、本実施形態に係る撮像装置による相関値算出方法を説明するための図である。図３の例では、相関値として顔の移動した距離を用いる場合について説明する。図３に示すように、画像フレームｔ＋ｋの顔画像データから顔Ｆ［ｔ＋ｋ］の中心位置座標（ｘ［ｔ＋ｋ］，ｙ［ｔ＋ｋ］）、画像フレームｔの顔画像データから顔Ｆ［ｔ］の中心位置座標（ｘ［ｔ］，ｙ［ｔ］）が取得できる。相関値Ｃは相関値算出処理部１１８によって算出されるが、例えば、顔Ｆ［ｔ］から顔Ｆ［ｔ＋ｋ］までの移動した距離（移動量）から式１のようにして算出される。
【００２２】
【数１】
【００２３】
なお、上記の計算式は飽くまでも一例であり、ここで重要なことは、２つの顔画像データの相関値Ｃを得ることである。従って、２つの顔画像データの相関値Ｃが得られるのであれば、上述したパラメータや計算式以外でも使用可能である。当然のことながら、相関値の定義の仕方によってもパラメータや計算式は異なる場合があり得る。即ち、図３に示すように顔Ｆ［ｔ＋ｋ］の顔画像からは、顔の大きさＦＳ［ｔ＋ｋ］、顔領域の平均画素値Ｉ［ｔ＋ｋ］、顔領域の平均輝度値Ｙ［ｔ＋ｋ］等の情報が取得できる。また、同様に顔Ｆ［ｔ］の顔画像から、顔の大きさＦＳ［ｔ］、顔領域の平均画素値Ｉ［ｔ］、顔領域の平均輝度値Ｙ［ｔ］等の情報が取得できる。これらを用いて、例えば顔の大きさの差から式２のように相関値Ｃを算出することができる。
【００２４】
【数２】
【００２５】
また、例えば経過フレーム数（経過時間）ｋから式３のように相関値Ｃを算出することができる。
【００２６】
【数３】
【００２７】
また、例えば顔領域の平均画素値の差から式４のように相関値Ｃを算出することができる。
【００２８】
【数４】
【００２９】
また、例えば顔領域の平均輝度値の差から式５のように相関値Ｃを算出することができる。また、これら式１乃至式５で求めた中のいくつかの相関値Ｃ、あるいは、全ての相関値Ｃを加重加算して、最終的な相関値Ｃを算出することもできる。
【００３０】
【数５】
【００３１】
ステップＳ２０８において、認証判定部１２０は、ステップＳ２０７で算出された相関値Ｃを用いて閾値を設定する。ここで、図４を用いて閾値について詳細に説明する。図４は、本実施形態に係る撮像装置による閾値設定方法を説明するための図である。閾値ＴＨは認証の判定に用いられる値であり、認証では類似度算出処理部１１７で算出された類似度が閾値以上である場合に認証成功と判定される。閾値は予め認証判定部１２０によって所定の値ＴＨ＝ｔｈ１に設定されているが、図４に示すようにステップＳ２０７で算出された相関値Ｃの値に応じて、Ｃ＞ｃ２の場合、ＴＨ＝ｔｈ２のように閾値を低く設定することができる。即ち、顔Ｆ［ｔ］と顔Ｆ［ｔ＋ｋ］との相関が高く、認証を行う顔が認証している顔と同一の顔らしいと判断した場合、閾値を通常の値より低く設定することで認証が成功し易くなるよう補正を行う。これにより、一時的な類似度の変動で被写体が正しく認証されなくなることを低減することができる。
【００３２】
ステップＳ２０５において、過去の画像フレームｔにおいて認証に成功し、現在の画像フレームｔ＋ｋまで顔追跡処理部１１４によって追跡されている顔が当該画像フレームｔ＋ｋ中に存在しないと判断された場合、処理はステップＳ２０９に進む。また、ステップＳ２０５において、過去の画像フレームｔにおいて認証に成功し、現在の画像フレームｔ＋ｋまで顔追跡処理部１１４によって追跡している顔が当該画像フレームｔ＋ｋ中に存在すると判断され、且つ、ステップＳ２０６において、顔Ｆ［ｔ］と顔Ｆ［ｔ＋ｋ］を顔追跡処理部１１４で追跡している顔とが同一の顔ではないと判断された場合、処理はステップＳ２０９に進む。ステップＳ２０９において、認証判定部１２０は、閾値を予め設定されている所定の値ｔｈ１に設定してリセットし、ステップＳ２１０に進む。
【００３３】
ステップＳ２１０において、認証判定部１２０は、ステップＳ２０４にて類似度算出処理部１１７で算出された類似度とステップＳ２０８で決定された閾値ＴＨとを比較する。類似度が閾値ＴＨ以上である場合、処理はステップＳ２１１に進む。ステップＳ２１１において、システム制御部１１０は、認証に成功した結果として、例えば表示装置１０９において個人認証に成功していることを示す顔枠を表示する。この場合、以後のフレームで顔Ｆ［ｔ＋ｋ］が顔追跡処理部１１４により追跡されることとなる。一方、類似度が閾値ＴＨ未満の場合、処理はステップＳ２１２に進む。ステップＳ２１２において、システム制御部１１０は、認証に失敗した結果として、例えば表示装置１０９において個人認証成功時とは異なる顔枠を表示する。
【００３４】
以上説明した処理により、本実施形態においては、既に認証済みの顔が追跡されており、その顔が認証中の顔と同一の人物らしいときに、一時的な類似度の変動で被写体が正しく認証されなくなることを低減することができる。
【００３５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３６】
１１０：システム制御部、１１３：顔検出部、１１４：顔追跡処理部、１１５：特徴情報抽出処理部、１１６：特徴情報記憶部、１１７：類似度算出処理部、１１８：相関値算出処理部、１１９：閾値決定部、１２０：認証判定部
【特許請求の範囲】
【請求項１】
画像データから第１の被写体領域を検出する検出手段と、
被写体が認証済みの第２の被写体領域の、前記画像データより過去の画像データからの経時的な変化を追跡する追跡手段と、
前記第１の被写体領域から被写体の第１の特徴情報を抽出する抽出手段と、
前記抽出手段により抽出された前記第１の特徴情報と記憶手段において予め記憶される第２の特徴情報とを比較し、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との類似度を算出する第１の算出手段と、
前記第１の被写体領域に対応する前記第２の被写体領域が前記追跡手段により追跡されているか否かに応じて異なる閾値を設定する設定手段と、
前記第１の算出手段により算出された類似度と前記設定手段により設定された閾値との比較結果に応じて、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との一致性を認証する認証手段とを有することを特徴とする被写体認証装置。
【請求項２】
前記第１の被写体領域と前記第２の被写体領域との相関値を算出する第２の算出手段を更に有し、
前記設定手段は、前記相関値に応じて、前記第２の被写体領域が前記追跡手段によって追跡されている場合における閾値を設定することを特徴とする請求項１に記載の被写体認証装置。
【請求項３】
前記第２の算出手段は、前記画像データにおける前記第１の被写体領域の位置と前記過去の画像データにおける前記第２の被写体領域の位置との移動量に基づいて、前記相関値を算出することを特徴とする請求項２に記載の被写体認証装置。
【請求項４】
前記第２の算出手段は、前記第１の被写体領域の大きさと前記第２の被写体領域の大きさとの差に基づいて、前記相関値を算出することを特徴とする請求項２に記載の被写体認証装置。
【請求項５】
前記第２の算出手段は、前記過去の画像データから前記画像データまでの経過時間に基づいて、前記相関値を算出することを特徴とする請求項２に記載の被写体認証装置。
【請求項６】
前記第２の算出手段は、前記第１の被写体領域の色と前記第２の被写体領域の色との差に基づいて、前記相関値を算出することを特徴とする請求項２に記載の被写体認証装置。
【請求項７】
前記第２の算出手段は、前記第１の被写体領域の輝度と前記第２の被写体領域の輝度との差に基づいて、前記相関値を算出することを特徴とする請求項２に記載の被写体認証装置。
【請求項８】
前記被写体領域は、顔を含む領域であることを特徴とする請求項１乃至７の何れか１項に記載の被写体認証装置。
【請求項９】
被写体認証装置による被写体認証方法であって、
画像データから第１の被写体領域を検出する検出ステップと、
被写体が認証済みの第２の被写体領域の、前記画像データより過去の画像データからの経時的な変化を追跡する追跡ステップと、
前記第１の被写体領域から被写体の第１の特徴情報を抽出する抽出ステップと、
前記抽出ステップにより抽出された前記第１の特徴情報と記憶手段において予め記憶される第２の特徴情報とを比較し、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との類似度を算出する算出ステップと、
前記第１の被写体領域に対応する前記第２の被写体領域が前記追跡ステップにより追跡されているか否かに応じて異なる閾値を設定する設定ステップと、
前記算出ステップにより算出された類似度と前記設定ステップにより設定された閾値との比較結果に応じて、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との一致性を認証する認証ステップとを含むことを特徴とする被写体認証方法。
【請求項１０】
画像データから第１の被写体領域を検出する検出ステップと、
被写体が認証済みの第２の被写体領域の、前記画像データより過去の画像データからの経時的な変化を追跡する追跡ステップと、
前記第１の被写体領域から被写体の第１の特徴情報を抽出する抽出ステップと、
前記抽出ステップにより抽出された前記第１の特徴情報と記憶手段において予め記憶される第２の特徴情報とを比較し、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との類似度を算出する算出ステップと、
前記第１の被写体領域に対応する前記第２の被写体領域が前記追跡ステップにより追跡されているか否かに応じて異なる閾値を設定する設定ステップと、
前記算出ステップにより算出された類似度と前記設定ステップにより設定された閾値との比較結果に応じて、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との一致性を認証する認証ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
画像データから第１の被写体領域を検出する検出手段と、
被写体が認証済みの第２の被写体領域の、前記画像データより過去の画像データからの経時的な変化を追跡する追跡手段と、
前記第１の被写体領域から被写体の第１の特徴情報を抽出する抽出手段と、
前記抽出手段により抽出された前記第１の特徴情報と記憶手段において予め記憶される第２の特徴情報とを比較し、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との類似度を算出する第１の算出手段と、
前記第１の被写体領域に対応する前記第２の被写体領域が前記追跡手段により追跡されているか否かに応じて異なる閾値を設定する設定手段と、
前記第１の算出手段により算出された類似度と前記設定手段により設定された閾値との比較結果に応じて、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との一致性を認証する認証手段とを有することを特徴とする被写体認証装置。
【請求項２】
前記第１の被写体領域と前記第２の被写体領域との相関値を算出する第２の算出手段を更に有し、
前記設定手段は、前記相関値に応じて、前記第２の被写体領域が前記追跡手段によって追跡されている場合における閾値を設定することを特徴とする請求項１に記載の被写体認証装置。
【請求項３】
前記第２の算出手段は、前記画像データにおける前記第１の被写体領域の位置と前記過去の画像データにおける前記第２の被写体領域の位置との移動量に基づいて、前記相関値を算出することを特徴とする請求項２に記載の被写体認証装置。
【請求項４】
前記第２の算出手段は、前記第１の被写体領域の大きさと前記第２の被写体領域の大きさとの差に基づいて、前記相関値を算出することを特徴とする請求項２に記載の被写体認証装置。
【請求項５】
前記第２の算出手段は、前記過去の画像データから前記画像データまでの経過時間に基づいて、前記相関値を算出することを特徴とする請求項２に記載の被写体認証装置。
【請求項６】
前記第２の算出手段は、前記第１の被写体領域の色と前記第２の被写体領域の色との差に基づいて、前記相関値を算出することを特徴とする請求項２に記載の被写体認証装置。
【請求項７】
前記第２の算出手段は、前記第１の被写体領域の輝度と前記第２の被写体領域の輝度との差に基づいて、前記相関値を算出することを特徴とする請求項２に記載の被写体認証装置。
【請求項８】
前記被写体領域は、顔を含む領域であることを特徴とする請求項１乃至７の何れか１項に記載の被写体認証装置。
【請求項９】
被写体認証装置による被写体認証方法であって、
画像データから第１の被写体領域を検出する検出ステップと、
被写体が認証済みの第２の被写体領域の、前記画像データより過去の画像データからの経時的な変化を追跡する追跡ステップと、
前記第１の被写体領域から被写体の第１の特徴情報を抽出する抽出ステップと、
前記抽出ステップにより抽出された前記第１の特徴情報と記憶手段において予め記憶される第２の特徴情報とを比較し、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との類似度を算出する算出ステップと、
前記第１の被写体領域に対応する前記第２の被写体領域が前記追跡ステップにより追跡されているか否かに応じて異なる閾値を設定する設定ステップと、
前記算出ステップにより算出された類似度と前記設定ステップにより設定された閾値との比較結果に応じて、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との一致性を認証する認証ステップとを含むことを特徴とする被写体認証方法。
【請求項１０】
画像データから第１の被写体領域を検出する検出ステップと、
被写体が認証済みの第２の被写体領域の、前記画像データより過去の画像データからの経時的な変化を追跡する追跡ステップと、
前記第１の被写体領域から被写体の第１の特徴情報を抽出する抽出ステップと、
前記抽出ステップにより抽出された前記第１の特徴情報と記憶手段において予め記憶される第２の特徴情報とを比較し、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との類似度を算出する算出ステップと、
前記第１の被写体領域に対応する前記第２の被写体領域が前記追跡ステップにより追跡されているか否かに応じて異なる閾値を設定する設定ステップと、
前記算出ステップにより算出された類似度と前記設定ステップにより設定された閾値との比較結果に応じて、前記第１の特徴情報に対応する被写体と前記第２の特徴情報に対応する被写体との一致性を認証する認証ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−１５９０３０（Ｐ２０１１−１５９０３０Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−１８９４８（Ｐ２０１０−１８９４８）
【出願日】平成２２年１月２９日（２０１０．１．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年１月２９日（２０１０．１．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]