顔認証方法及び顔認証装置
【課題】顔認証の精度を向上する。
【解決手段】ＲＡＭ１２には、画像データ内の顔特徴量データを撮影時の時間毎に分類した特徴量データテーブルが予め記憶されている。電源をオンすると、認証モードとなり、ユーザが自分の顔を撮影すると、時計部１４は撮影時の時間データを取得する。認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時に時計部１４で取得された時間データと一致する時間データを検索し、一致する時間データに分類された顔特徴量データがある場合には、その顔特徴量データを認証用顔特徴量データとして選択する。顔一致判定部１６は、顔認証として、新画像データに基づいて算出された顔特徴量と、認証用データ選択部１５で選択された認証用顔特徴量データの顔特徴量とが一致しているか否かを判定する。一致が判定されたときには、認証モードから携帯電話モードに切り換わる。
【解決手段】ＲＡＭ１２には、画像データ内の顔特徴量データを撮影時の時間毎に分類した特徴量データテーブルが予め記憶されている。電源をオンすると、認証モードとなり、ユーザが自分の顔を撮影すると、時計部１４は撮影時の時間データを取得する。認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時に時計部１４で取得された時間データと一致する時間データを検索し、一致する時間データに分類された顔特徴量データがある場合には、その顔特徴量データを認証用顔特徴量データとして選択する。顔一致判定部１６は、顔認証として、新画像データに基づいて算出された顔特徴量と、認証用データ選択部１５で選択された認証用顔特徴量データの顔特徴量とが一致しているか否かを判定する。一致が判定されたときには、認証モードから携帯電話モードに切り換わる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔認証方法及び顔認証装置に関するものである。
【背景技術】
【０００２】
近年、セキュリティー対策として、予め記憶された認証用の顔画像と、新たに撮影した新顔画像とが一致しているか否かを判定する顔認証を行い、一致した場合のみ、ロックを解除する技術が一般的になっている。例えば、このような顔認証機能を、カメラ付き携帯電話に搭載することが考えられる。この場合、通常時は携帯電話としては使用不可で顔認証のための撮影のみ実行可能な状態となり、この通常時に撮影を行い、顔認証で一致したことが判定されたときのみ、携帯電話として使用可能な状態となる。これにより、認証用の画像として所有者の顔画像のみを記憶しておけば、所有者以外が顔認証を行っても一致が判定されないため、不正に使用されることを防止することができる。
【０００３】
撮影条件の違いによっては、認証用の顔画像と、新たに撮影した新顔画像とが大きく異なることがある。このような場合、同一人物でも、顔認証で一致していないと判定されることがあるため、特許文献１では、撮影時の日付及び時間、被写体の年齢、及び認証用の顔画像を記憶してからの経過時間などに応じて顔画像の特徴量を修正し、この修正した顔画像の特徴量を用いて顔認証を行うことにより、経年変化による同一人物の顔の変化に対応している。また、特許文献２では、撮影範囲内に被写体が存在しない場合、所定時間毎に周囲の照明環境を分析し、環境条件を制御することにより、照明環境・照度による誤認証を防止している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０２５１７号公報
【特許文献２】特開２００５−０９２７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影時間や撮影位置等のシチュエーションによって、撮影するときの顔は異なるものであり、例えば、朝起きたばかりでむくんでいる顔と、起きてから数時間経過したときの顔とは異なる。さらに、女性の場合、化粧を施すため、化粧を施す前の早朝に自宅にいるときの顔と、化粧を施した後の昼頃に勤務地にいるときの顔とは異なる。特許文献１及び２でも、このようなシチュエーションによって異なる顔を同一人物として認証することはできないため、顔認証の精度が低かった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、顔認証の精度を向上することができる顔認証方法及び顔認証装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の顔認証方法は、被写体の顔画像を含む画像データを撮影したときのシチュエーション情報を取得し、被写体の顔画像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する１つに分類された前記認証用データを選択し、選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出し、検出された前記認証用データ内の被写体の顔と、検出された前記画像データ内の被写体の顔とが一致しているか否かを判定することを特徴とする。
【０００８】
また、前記シチュエーション情報は、前記画像データまたは前記認証用データを撮影したときの時間情報、時期情報、位置情報の少なくとも１つであることが好ましい。
【０００９】
さらに、前記複数の認証用データの中に、前記画像データを撮影したときのシチュエーション情報と一致するシチュエーション情報に分類された前記認証用データがないときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択すること、または、前記一致しているか否かの判定で一致していないと判定されたときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択して前記一致しているか否かの判定を再度行うことが好ましい。
【００１０】
また、本発明の顔認証装置は、被写体の顔画像を撮影して画像データを取得する撮影手段と、前記撮影手段で前記画像データを撮影したときのシチュエーション情報を取得するシチュエーション情報取得手段と、被写体の顔画像を含む複数の認証用データが、撮影時のシチュエーション情報毎に予め分類されて記憶された記憶手段と、前記複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する１つに分類された前記認証用データを選択する選択手段と、前記選択手段で選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出する顔検出手段と、前記顔検出手段で検出された前記認証用データ内の被写体の顔と、前記顔検出手段で検出された前記画像データ内の被写体の顔とが一致しているか否かを判定する判定手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、被写体像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、画像データを撮影したときのシチュエーション情報と一致する１つに分類された認証用データを選択し、この選択された認証用データ内の被写体の顔と、画像データ内の被写体の顔とが一致しているか否かを判定するから、撮影時のシチュエーションによって顔が異なる場合でも、同一人物の顔認証を行ったときに不一致と判定されることを抑制することができる。これにより、顔認証の精度を向上することができる。
【図面の簡単な説明】
【００１２】
【図１】カメラ付き携帯電話を示す正面図である。
【図２】カメラ付き携帯電話の電気的構成を示すブロック図である。
【図３】１時間毎に顔特徴量データを分類した特徴量データテーブルの説明図である。
【図４】顔認証を行う流れを示すフローチャートである。
【図５】３時間毎に顔特徴量データを分類した特徴量データテーブルの説明図である。
【図６】季節毎に顔特徴量データを分類した特徴量データテーブルの説明図である。
【図７】第２実施形態のカメラ付き携帯電話を示す正面図である。
【図８】第２実施形態の顔認証を行う流れを示すフローチャートである。
【図９】第３実施形態のカメラ付き携帯電話の電気的構成を示すブロック図である。
【図１０】第３実施形態の特徴量データテーブルの説明図である。
【図１１】第３実施形態の顔認証を行う流れを示すフローチャートである。
【図１２】第４実施形態のカメラ付き携帯電話の電気的構成を示すブロック図である。
【図１３】第４実施形態の特徴量データテーブルの説明図である。
【図１４】第４実施形態の顔認証を行う流れを示すフローチャートである。
【発明を実施するための最良の形態】
【００１３】
［第１実施形態］
図１に示すように、本発明を実施したカメラ付き携帯電話２は、本体ケース３に、電源ボタン４、通話ボタン５、複数の入力ボタン６、各種設定及び選択を行う設定ボタン７、レリーズボタン８等の各種操作ボタンの他に、ＬＣＤ９、撮影レンズ１０等が設けられている。
【００１４】
レリーズボタン８は、２段押しの構造とされている。レリーズボタン８を軽く押圧（半押し）すると、フォーカシングなどの撮影準備動作が行われる。この状態でさらに押圧（全押し）すると、撮影動作が行われる。
【００１５】
カメラ付き携帯電話２には、携帯電話として使用する携帯電話モードと、撮影及び画像の再生を行う撮影・再生モード（以下、撮影モード）と、認証用の撮影を行い、使用許可を与えるか否かを判定する認証モードとが設けられている。携帯電話モードと撮影モードとの切り換えは、設定ボタン７を操作して行う。電源オフの状態で電源ボタン４を操作して電源をオンすると、認証モードに切り換わる。認証モードで認証用の撮影を行い、使用許可が与えられたときのみ、携帯電話モード及び撮影モードに切り換えることができる。なお、認証モードでも、着信による通話は行うことができる。
【００１６】
図２に示すように、カメラ付き携帯電話２には、ＣＰＵ１１、ＲＡＭ１２、顔特徴量算出部１３、時計部１４、認証用データ選択部１５、顔一致判定部１６、通信部１７が設けられている。ＲＡＭ１２には、複数の電話番号が記憶されており、携帯電話モードで電話を掛けるときには、設定ボタン７を操作してＲＡＭ１２に記憶された電話番号を読み出すか、入力ボタン６を操作して電話番号を入力した後、通話ボタン５を操作する。通信部１７は携帯電話会社の基地局と無線通信を行う。そして、本体ケース３に内蔵されたマイク及びスピーカ（図示せず）を介して通話を行う。
【００１７】
撮影レンズ１０の背後には、撮影レンズ１０を透過した被写体光が入射するＣＣＤ２１が配置されている。このＣＣＤ２１は、被写体像を光電変換して時系列の３色信号を発生し、これを相関二重サンプリング回路（ＣＤＳ）２２に送る。ＣＣＤドライバ２６には、ＣＰＵ１１によって制御されるＴＧ（タイミングジェネレータ）２７からのタイミング信号（クロック信号）が入力される。このＣＣＤドライバ２６によって、ＣＣＤ２１が作動される。ＣＣＤ２１から出力された３色信号は、ＣＤＳ２２でノイズ成分が除去され、ＣＣＤ２１の各セルの蓄積電荷量に正確に対応した３色信号に変換される。ＣＤＳ２２から出力された３色信号は、ＩＳＯ感度に応じて増幅器（ＡＭＰ）２３で増幅され、Ａ／Ｄ変換器２４で画像データに変換される。
【００１８】
画像入力コントローラ２５は、データバス２９を介してＣＰＵ１１に接続されており、ＣＰＵ１１の命令によってＣＤＳ２２，ＡＭＰ２３，Ａ／Ｄ変換器２４を制御する。また、Ａ／Ｄ変換器２４から出力された画像データをビデオメモリ３１、あるいはバッファメモリ３３に書き込む。
【００１９】
ビデオメモリ３１は、ＬＣＤ９をビューファインダとして使用する際に、解像度の低いスルー画の画像データが一時的に記憶される。このスルー画の画像データは、データバス２９を介してＬＣＤドライバ３２に送られ、スルー画がＬＣＤ９に表示される。バッファメモリ３３は、撮像された高解像度の画像データが一時的に記憶される。このバッファメモリ３３から読み出された画像データは、メモリコントローラ３４によって駆動制御されるデータリーダによりＲＡＭ１２に記憶される。
【００２０】
顔特徴量算出部１３は、画像データがバッファメモリ３３内に記憶されている間に、記憶された画像データに基づいて、撮影された被写体の顔を検出するとともに、顔パーツ（目、鼻、唇等）の特徴量（位置、サイズ等）を算出する。そして、算出した顔特徴量データを画像データに付加する。また、画像データには、撮影時に時計部１４で取得された時間データ（時、分、秒）も付加される。すなわち、ＲＡＭ１２には、顔特徴量データ及び時間データが付加された画像データが認証用データとして記憶される。
【００２１】
図３に示すように、ＲＡＭ１２に記憶された認証用データの顔特徴量データは、撮影時の時間毎に分類されている。特徴量データテーブルは、認証用データを撮影したときの時間データと、認証用データの顔特徴量データとを備える。本実施形態では、時間データは１時間毎に区分けされている。
【００２２】
認証用データ選択部１５は、認証モード時に撮影した画像データ（以下、「新画像データ」と称する）の顔特徴量と、ＲＡＭ１２に記憶された認証用データの顔特徴量とを用いて顔認証を行うときに作動する。認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時に時計部１４で取得された時間データと一致する時間データを検索し、この検索した時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が００：２０の場合には、一致する時間データ（００：００〜０１：００）に分類された顔特徴量データ（Ａ１）を、認証用顔特徴量データとして選択する。
【００２３】
また、一致する時間データに分類された顔特徴量データがない場合には、認証用データ選択部１５は、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が０２：１０であり、一致する時間データ（０２：００〜０３：００）に分類された顔特徴量データがない場合には、認証用データ選択部１５は、最も近い時間データ（０１：００〜０２：００）に分類された顔特徴量データ（Ｂ１）を、認証用顔特徴量データとして選択する。
【００２４】
一致する時間データに分類された顔特徴量データが複数ある場合には、認証用データ選択部１５は、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。例えば、撮影時間が１０：２０の場合には、一致する時間データ（１０：００〜１１：００）に分類された顔特徴量データ（Ｈ１、Ｈ２、Ｈ３）の平均値を、認証用顔特徴量データとして選択する。
【００２５】
顔一致判定部１６は、新画像データに基づいて算出された顔特徴量と、認証用データ選択部１５で選択された認証用顔特徴量データの顔特徴量とが一致しているか否かを判定する。一致が判定された場合には、顔一致判定部１６は、ＣＰＵ１１に一致信号を出力する。ＣＰＵ１１は、一致信号の入力を受けて、認証モードから携帯電話モードに切り換える。
【００２６】
顔一致判定部１６は、一致が判定されなかったときには、ＣＰＵ１１に不一致信号を出力する。ＣＰＵ１１は、不一致信号の入力を受けて、認証モードを継続する。すなわち、顔一致判定部１６で一致が判定されないときには、カメラ付き携帯電話２を携帯電話モードまたは撮影モードで使用することができない。このため、ユーザは、予め認証用データをＲＡＭ１２に記憶しておく。
【００２７】
上記のように構成されたカメラ付き携帯電話２の作用について、図４のフローチャートを用いて説明を行う。カメラ付き携帯電話２の電源をオンする（ステップ（以下、Ｓ）１）と、認証モードとなる（Ｓ２）。認証モードでは、ユーザが、レリーズボタン８を操作して被写体としての自分の顔を撮影する（Ｓ３）と、時計部１４は撮影時の時間データを取得する（Ｓ４）。
【００２８】
認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時に時計部１４で取得された時間データと一致する時間データを検索し、一致する時間データに分類された顔特徴量データがある場合（Ｓ５でＹ）には、その顔特徴量データを認証用顔特徴量データとして選択する（Ｓ６）。
【００２９】
また、認証用データ選択部１５は、一致する時間データに分類された顔特徴量データがない場合（Ｓ５でＮ）には、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する（Ｓ７）。なお、認証用データ選択部１５は、（Ｓ６）、（Ｓ７）のいずれにおいても、時間データ内に顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。
【００３０】
顔特徴量算出部１３は、新画像データに基づいて顔特徴量を算出し、顔一致判定部１６は、顔認証として、新画像データの顔特徴量と、認証用データ選択部１５で選択された認証用顔特徴量データの顔特徴量とが一致しているか否かを判定する（Ｓ８）。一致が判定されたとき（Ｓ９でＹ）には、顔一致判定部１６は、ＣＰＵ１１に一致信号を出力する。ＣＰＵ１１は、一致信号の入力を受けて、認証モードから携帯電話モードに切り換える（Ｓ１０）。
【００３１】
一方、顔一致判定部１６は、一致が判定されなかったとき（Ｓ９でＮ）には、ＣＰＵ１１に不一致信号を出力する。ＣＰＵ１１は、不一致信号の入力を受けて、認証モードを継続して再度撮影を行うことを促す（Ｓ１１）。これと同時に、ＣＰＵ１１は、新画像データを、認証用データとしてＲＡＭ１２に記憶する（Ｓ１２）。
【００３２】
このように、認証モード時には、特徴量データテーブルの中から、新画像データ撮影時に時計部１４で取得された時間データと一致する時間データまたは最も近い時間データに分類された顔特徴量データを選択し、この選択した認証用顔特徴量データの顔特徴量と、新画像データの顔特徴量とを用いて顔認証を行うから、撮影時間によって顔の特徴が異なる場合でも、同一人物の顔認証を行ったときに不一致と判定されることを抑制することができる。これにより、顔認証の精度を向上することができる。
【００３３】
なお、上記第１実施形態では、ＲＡＭ１２に記憶された顔特徴量データを１時間毎に分類しているが、分類する時間は１時間に限定されることなく、例えば、図５に示すように、３時間毎に分類してもよい。さらに、図６に示すように、顔特徴量データを季節毎に分類してもよい。この場合、時計部１４は、撮影時に時間データ及び日付データ（年、月、日）を取得する。なお、季節毎の分類に代えて、顔特徴量データを１ヶ月毎や２ヶ月毎等に分類してもよい。
【００３４】
［第２実施形態］
図７及び図８の第２実施形態は、顔一致判定部１６で一致していると判定されたときに、新画像データを、認証用データとしてＲＡＭ１２に記憶するか否かを選択する。なお、第１実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【００３５】
図７に示すように、第２実施形態のカメラ付き携帯電話４０では、顔一致判定部１６で、新画像データに基づいて算出された顔特徴量と、認証用データ選択部１５で選択された認証用顔特徴量データの顔特徴量とが一致していると判定されると、ＣＰＵ１１は、ＬＣＤ９に、新画像データを認証用データとしてＲＡＭ１２に記憶するか否かを選択するための選択画面４１を表示する。この選択画面４１は、「新しい画像を認証用画像として記憶しますか？」というコメント画像４２と、「はい」という第１選択画像４３と、「いいえ」という第２選択画像４４とからなる。
【００３６】
ユーザは、設定ボタン７を操作して、「はい」という第１選択画像４３と、「いいえ」という第２選択画像４４とのどちらかを選択する。第１選択画像４３が選択されると、ＣＰＵ１１は、新画像データを認証用データとしてＲＡＭ１２に記憶する。第２選択画像４４が選択されると、ＣＰＵ１１は、新画像データを消去する。
【００３７】
また、顔一致判定部１６で一致が判定されず、顔認証を行った回数が所定回数（例えば３回）未満であるときには、認証用データ選択部１５は、再度選択を行う。認証用データ選択部１５は、再度選択を行うときには、一致する時間データに最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。
【００３８】
上記のように構成されたカメラ付き携帯電話４０の作用について、図８のフローチャートを用いて説明を行う。カメラ付き携帯電話２の電源をオンする（Ｓ１０１）と、認証モードとなる（Ｓ２）。以降、（Ｓ１０３）〜（Ｓ１０８）は、第１実施形態の（Ｓ３）〜（Ｓ８）と同様なので、説明を省略する。
【００３９】
顔一致判定部１６は、一致したと判定したとき（Ｓ１０９でＹ）には、ＣＰＵ１１に一致信号を出力する。ＣＰＵ１１は、一致信号の入力を受けて、ＬＣＤ９に、選択画面４１を表示する（Ｓ１１０）。ユーザが、設定ボタン７を操作して、「はい」という第１選択画像４３を選択する（Ｓ１１１でＹ）と、ＣＰＵ１１は、新画像データを認証用画像データとしてＲＡＭ１２に記憶する（Ｓ１１２）。一方、「いいえ」という第２選択画像４４を選択する（Ｓ１１１でＮ）と、ＣＰＵ１１は、新画像データを消去する（Ｓ１１３）。ＣＰＵ１１は、新画像データを記憶または消去した後、認証モードから携帯電話モードに切り換える（Ｓ１１４）。
【００４０】
一方、顔一致判定部１６は、一致が判定されなかったとき（Ｓ１０９でＮ）には、ＣＰＵ１１に不一致信号を出力する。ＣＰＵ１１は、不一致信号の入力を受けて、３回目の顔認証であるか否かを判定する（Ｓ１１５）。１回目または２回目であり、３回目の顔認証ではない場合（Ｓ１１５でＮ）には、認証用データ選択部１５は、再度選択を行う。認証用データ選択部１５は、再度選択を行うときには、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する（Ｓ１０７）。そして、新しく選択された認証用顔特徴量データを用いて顔認証を行う（Ｓ１０８）。
【００４１】
［第３実施形態］
図９〜図１１の第３実施形態は、ＲＡＭ１２に記憶された顔特徴量データを、撮影位置毎に分類している。なお、第１，第２実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【００４２】
図９に示すように、第３実施形態のカメラ付き携帯電話５０には、ＧＰＳユニット５１が設けられている。ＧＰＳユニット５１は、現在地を測位してその位置データを取得するものであり、アンテナ５２、ＧＰＳ算出部５３を有する。アンテナ５２は、地球を周回している２４個のＧＰＳ衛星のうち４個以上（例えば、４個）のＧＰＳ衛星からの電波を受信する。この受信した電波は、ＧＰＳ算出部５３に送られる。ＧＰＳ算出部５３には、入力された電波に基づき、現在地の位置データ（緯度・経度）を算出する算出プログラムが格納されている。
【００４３】
認証モード時に撮影を行うと、ＣＰＵ１１は、ＧＰＳ算出部５３にプログラム起動信号を出力する。プログラム起動信号が入力されると、ＧＰＳ算出部５３は、算出プログラムを起動して、アンテナ５２から入力される電波に基づき、現在地の位置データを算出（４個のＧＰＳ衛星からの距離を同時に知ることにより現在位置を算出）する。
【００４４】
図１０に示すように、ＲＡＭ１２に記憶された顔特徴量データは、撮影時にＧＰＳユニット５１で取得された位置データ毎に分類されている。特徴量データテーブルは、撮影位置（場所、緯度／経度、属性）データと、顔特徴量データとを備える。
【００４５】
認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時にＧＰＳユニット５１で取得された位置データと一致する位置データを検索し、この検索した位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影位置が自宅の場合には、一致する位置データ（自宅）に分類された顔特徴量データ（Ａ２１、Ａ２２）を、認証用顔特徴量データとして選択する。また、認証用データ選択部１５は、一致する位置データに分類された顔特徴量データがない場合には、最も近い位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。このとき、認証用データ選択部１５は、先ず、同じ属性の位置データを最も近い位置データとし、同じ属性の位置データがない場合には、緯度／経度に基づいて最も近い位置データを検索する。
【００４６】
上記のように構成されたカメラ付き携帯電話５０の作用について、図１１のフローチャートを用いて説明を行う。カメラ付き携帯電話２の電源をオンする（Ｓ２０１）と、認証モードとなる（Ｓ２０２）。認証モードでは、ユーザが、自分の顔を撮影する（Ｓ２０３）と、ＧＰＳユニット５１は、現在地の位置データを算出する（Ｓ２０４）。
【００４７】
認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時にＧＰＳユニット５１で取得された位置データと一致する位置データを検索し、一致する位置データに分類された顔特徴量データがある場合（Ｓ２０５でＹ）には、その顔特徴量データを認証用顔特徴量データとして選択する（Ｓ２０６）。
【００４８】
また、認証用データ選択部１５は、一致する位置データに分類された顔特徴量データがない場合（Ｓ２０５でＮ）には、最も近い位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する（Ｓ２０７）。なお、認証用データ選択部１５は、（Ｓ２０６）、（Ｓ２０７）のいずれにおいても、顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。以降、（Ｓ２０８）〜（Ｓ２１６）は、第２実施形態の（Ｓ１０８）〜（Ｓ１１４）及び第１実施形態の（Ｓ１１），（Ｓ１２）と同様なので、説明を省略する。
【００４９】
［第４実施形態］
図１２〜図１４の第４実施形態は、ＲＡＭ１２に記憶された顔特徴量データを、撮影時間及び撮影位置毎に分類している。なお、第１〜第３実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【００５０】
図１２に示すように、第４実施形態のカメラ付き携帯電話６０には、時計部１４及びＧＰＳユニット５１の両方が設けられている。
【００５１】
図１３に示すように、ＲＡＭ１２に記憶された顔特徴量データは、撮影時間及び撮影位置毎に割り振られたＩＤ番号（「１」〜「２４」）に分類されている。特徴量データテーブルは、撮影時間（名称、時間帯）データと、撮影位置データと、顔特徴量データとを備える。本実施形態では、撮影時間データは３時間毎に区分けされている。認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時に取得された時間データ及び位置データと一致するＩＤを検索し、この検索したＩＤに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が０５：３０で撮影位置が自宅の場合には、ＩＤ番号として「４」が検索され、これに分類された顔特徴量データ（Ｂ３１）を、認証用顔特徴量データとして選択する。
【００５２】
上記のように構成されたカメラ付き携帯電話６０の作用について、図１４のフローチャートを用いて説明を行う。カメラ付き携帯電話２の電源をオンする（Ｓ３０１）と、認証モードとなる（Ｓ３０２）。認証モードでは、ユーザが、自分の顔を撮影する（Ｓ３０３）と、時計部１４は撮影時の時間データを取得するとともに、ＧＰＳユニット５１は、現在地の位置データを算出する（Ｓ３０４）。
【００５３】
認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時に取得された時間データ及び位置データと一致するＩＤを検索し、一致するＩＤに分類された顔特徴量データがある場合（Ｓ３０５でＹ）には、その顔特徴量データを認証用顔特徴量データとして選択する（Ｓ３０６）。
【００５４】
また、認証用データ選択部１５は、一致するＩＤに分類された顔特徴量データがない場合（Ｓ３０５でＮ）には、最も近いＩＤに分類された顔特徴量データを、認証用顔特徴量データとして選択する（Ｓ３０７）。このとき、認証用データ選択部１５は、最も近い時間帯で同じ撮影場所のＩＤを、最も近いＩＤとして選択する。なお、認証用データ選択部１５は、（Ｓ３０６）、（Ｓ３０７）のいずれにおいても、顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。以降、（Ｓ３０８）〜（Ｓ３１６）は、第３実施形態の（Ｓ２０８）〜（Ｓ２１６）と同様なので、説明を省略する。
【００５５】
なお、上記実施形態では、カメラ付き携帯電話で撮影した画像データを、認証用データとしてＲＡＭに記憶しているが、他の撮影装置、例えばデジタルカメラで撮影した画像データを、認証用データとしてカメラ付き携帯電話のＲＡＭに記憶してもよい。また、ＲＡＭに認証用データを記憶せずに、インターネットを介して接続されるデータサーバー内に認証用データを記憶してもよい。
【００５６】
また、１台のカメラ付き携帯電話を複数のユーザで使用する場合には、複数のユーザ毎に特徴量データテーブルを作成してＲＡＭに記憶しておき、認証モード時には、認証するユーザ名を入力し、その入力されたユーザの特徴量データテーブルを用いて顔認証を行うようにしてもよい。
【００５７】
さらに、上記第４実施形態では、新画像データ撮影時に取得された時間データ及び位置データと一致するＩＤに分類された顔特徴量データがない場合には、認証用データ選択部１５は、最も近い時間帯で同じ撮影場所のＩＤを、最も近いＩＤとして選択しているが、同じ時間帯で最も近い撮影場所のＩＤを、最も近いＩＤとして選択してもよい。また、これら２パターンそれぞれの選択方法を実施したときの顔認証での判定結果を記憶しておき、一致と判定された確率の高い選択方法を用いて、最も近いＩＤを選択するようにしてもよい。
【００５８】
また、本発明は、カメラ付き携帯電話に限らず、撮影機能を有する電子機器であれば実施可能であり、例えばデジタルカメラ等に実施可能である。
【符号の説明】
【００５９】
２，４０，５０，６０ カメラ付き携帯電話
１０ 撮影レンズ
１２ ＲＡＭ（記憶手段）
１３ 顔特徴量算出部（顔検出手段）
１４ 時計部（シチュエーション情報取得手段）
１５ 認証用データ選択部（選択手段）
１６ 顔一致判定部（判定手段）
５１ ＧＰＳユニット（シチュエーション情報取得手段）
【技術分野】
【０００１】
本発明は、顔認証方法及び顔認証装置に関するものである。
【背景技術】
【０００２】
近年、セキュリティー対策として、予め記憶された認証用の顔画像と、新たに撮影した新顔画像とが一致しているか否かを判定する顔認証を行い、一致した場合のみ、ロックを解除する技術が一般的になっている。例えば、このような顔認証機能を、カメラ付き携帯電話に搭載することが考えられる。この場合、通常時は携帯電話としては使用不可で顔認証のための撮影のみ実行可能な状態となり、この通常時に撮影を行い、顔認証で一致したことが判定されたときのみ、携帯電話として使用可能な状態となる。これにより、認証用の画像として所有者の顔画像のみを記憶しておけば、所有者以外が顔認証を行っても一致が判定されないため、不正に使用されることを防止することができる。
【０００３】
撮影条件の違いによっては、認証用の顔画像と、新たに撮影した新顔画像とが大きく異なることがある。このような場合、同一人物でも、顔認証で一致していないと判定されることがあるため、特許文献１では、撮影時の日付及び時間、被写体の年齢、及び認証用の顔画像を記憶してからの経過時間などに応じて顔画像の特徴量を修正し、この修正した顔画像の特徴量を用いて顔認証を行うことにより、経年変化による同一人物の顔の変化に対応している。また、特許文献２では、撮影範囲内に被写体が存在しない場合、所定時間毎に周囲の照明環境を分析し、環境条件を制御することにより、照明環境・照度による誤認証を防止している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０２５１７号公報
【特許文献２】特開２００５−０９２７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影時間や撮影位置等のシチュエーションによって、撮影するときの顔は異なるものであり、例えば、朝起きたばかりでむくんでいる顔と、起きてから数時間経過したときの顔とは異なる。さらに、女性の場合、化粧を施すため、化粧を施す前の早朝に自宅にいるときの顔と、化粧を施した後の昼頃に勤務地にいるときの顔とは異なる。特許文献１及び２でも、このようなシチュエーションによって異なる顔を同一人物として認証することはできないため、顔認証の精度が低かった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、顔認証の精度を向上することができる顔認証方法及び顔認証装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の顔認証方法は、被写体の顔画像を含む画像データを撮影したときのシチュエーション情報を取得し、被写体の顔画像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する１つに分類された前記認証用データを選択し、選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出し、検出された前記認証用データ内の被写体の顔と、検出された前記画像データ内の被写体の顔とが一致しているか否かを判定することを特徴とする。
【０００８】
また、前記シチュエーション情報は、前記画像データまたは前記認証用データを撮影したときの時間情報、時期情報、位置情報の少なくとも１つであることが好ましい。
【０００９】
さらに、前記複数の認証用データの中に、前記画像データを撮影したときのシチュエーション情報と一致するシチュエーション情報に分類された前記認証用データがないときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択すること、または、前記一致しているか否かの判定で一致していないと判定されたときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択して前記一致しているか否かの判定を再度行うことが好ましい。
【００１０】
また、本発明の顔認証装置は、被写体の顔画像を撮影して画像データを取得する撮影手段と、前記撮影手段で前記画像データを撮影したときのシチュエーション情報を取得するシチュエーション情報取得手段と、被写体の顔画像を含む複数の認証用データが、撮影時のシチュエーション情報毎に予め分類されて記憶された記憶手段と、前記複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する１つに分類された前記認証用データを選択する選択手段と、前記選択手段で選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出する顔検出手段と、前記顔検出手段で検出された前記認証用データ内の被写体の顔と、前記顔検出手段で検出された前記画像データ内の被写体の顔とが一致しているか否かを判定する判定手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、被写体像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、画像データを撮影したときのシチュエーション情報と一致する１つに分類された認証用データを選択し、この選択された認証用データ内の被写体の顔と、画像データ内の被写体の顔とが一致しているか否かを判定するから、撮影時のシチュエーションによって顔が異なる場合でも、同一人物の顔認証を行ったときに不一致と判定されることを抑制することができる。これにより、顔認証の精度を向上することができる。
【図面の簡単な説明】
【００１２】
【図１】カメラ付き携帯電話を示す正面図である。
【図２】カメラ付き携帯電話の電気的構成を示すブロック図である。
【図３】１時間毎に顔特徴量データを分類した特徴量データテーブルの説明図である。
【図４】顔認証を行う流れを示すフローチャートである。
【図５】３時間毎に顔特徴量データを分類した特徴量データテーブルの説明図である。
【図６】季節毎に顔特徴量データを分類した特徴量データテーブルの説明図である。
【図７】第２実施形態のカメラ付き携帯電話を示す正面図である。
【図８】第２実施形態の顔認証を行う流れを示すフローチャートである。
【図９】第３実施形態のカメラ付き携帯電話の電気的構成を示すブロック図である。
【図１０】第３実施形態の特徴量データテーブルの説明図である。
【図１１】第３実施形態の顔認証を行う流れを示すフローチャートである。
【図１２】第４実施形態のカメラ付き携帯電話の電気的構成を示すブロック図である。
【図１３】第４実施形態の特徴量データテーブルの説明図である。
【図１４】第４実施形態の顔認証を行う流れを示すフローチャートである。
【発明を実施するための最良の形態】
【００１３】
［第１実施形態］
図１に示すように、本発明を実施したカメラ付き携帯電話２は、本体ケース３に、電源ボタン４、通話ボタン５、複数の入力ボタン６、各種設定及び選択を行う設定ボタン７、レリーズボタン８等の各種操作ボタンの他に、ＬＣＤ９、撮影レンズ１０等が設けられている。
【００１４】
レリーズボタン８は、２段押しの構造とされている。レリーズボタン８を軽く押圧（半押し）すると、フォーカシングなどの撮影準備動作が行われる。この状態でさらに押圧（全押し）すると、撮影動作が行われる。
【００１５】
カメラ付き携帯電話２には、携帯電話として使用する携帯電話モードと、撮影及び画像の再生を行う撮影・再生モード（以下、撮影モード）と、認証用の撮影を行い、使用許可を与えるか否かを判定する認証モードとが設けられている。携帯電話モードと撮影モードとの切り換えは、設定ボタン７を操作して行う。電源オフの状態で電源ボタン４を操作して電源をオンすると、認証モードに切り換わる。認証モードで認証用の撮影を行い、使用許可が与えられたときのみ、携帯電話モード及び撮影モードに切り換えることができる。なお、認証モードでも、着信による通話は行うことができる。
【００１６】
図２に示すように、カメラ付き携帯電話２には、ＣＰＵ１１、ＲＡＭ１２、顔特徴量算出部１３、時計部１４、認証用データ選択部１５、顔一致判定部１６、通信部１７が設けられている。ＲＡＭ１２には、複数の電話番号が記憶されており、携帯電話モードで電話を掛けるときには、設定ボタン７を操作してＲＡＭ１２に記憶された電話番号を読み出すか、入力ボタン６を操作して電話番号を入力した後、通話ボタン５を操作する。通信部１７は携帯電話会社の基地局と無線通信を行う。そして、本体ケース３に内蔵されたマイク及びスピーカ（図示せず）を介して通話を行う。
【００１７】
撮影レンズ１０の背後には、撮影レンズ１０を透過した被写体光が入射するＣＣＤ２１が配置されている。このＣＣＤ２１は、被写体像を光電変換して時系列の３色信号を発生し、これを相関二重サンプリング回路（ＣＤＳ）２２に送る。ＣＣＤドライバ２６には、ＣＰＵ１１によって制御されるＴＧ（タイミングジェネレータ）２７からのタイミング信号（クロック信号）が入力される。このＣＣＤドライバ２６によって、ＣＣＤ２１が作動される。ＣＣＤ２１から出力された３色信号は、ＣＤＳ２２でノイズ成分が除去され、ＣＣＤ２１の各セルの蓄積電荷量に正確に対応した３色信号に変換される。ＣＤＳ２２から出力された３色信号は、ＩＳＯ感度に応じて増幅器（ＡＭＰ）２３で増幅され、Ａ／Ｄ変換器２４で画像データに変換される。
【００１８】
画像入力コントローラ２５は、データバス２９を介してＣＰＵ１１に接続されており、ＣＰＵ１１の命令によってＣＤＳ２２，ＡＭＰ２３，Ａ／Ｄ変換器２４を制御する。また、Ａ／Ｄ変換器２４から出力された画像データをビデオメモリ３１、あるいはバッファメモリ３３に書き込む。
【００１９】
ビデオメモリ３１は、ＬＣＤ９をビューファインダとして使用する際に、解像度の低いスルー画の画像データが一時的に記憶される。このスルー画の画像データは、データバス２９を介してＬＣＤドライバ３２に送られ、スルー画がＬＣＤ９に表示される。バッファメモリ３３は、撮像された高解像度の画像データが一時的に記憶される。このバッファメモリ３３から読み出された画像データは、メモリコントローラ３４によって駆動制御されるデータリーダによりＲＡＭ１２に記憶される。
【００２０】
顔特徴量算出部１３は、画像データがバッファメモリ３３内に記憶されている間に、記憶された画像データに基づいて、撮影された被写体の顔を検出するとともに、顔パーツ（目、鼻、唇等）の特徴量（位置、サイズ等）を算出する。そして、算出した顔特徴量データを画像データに付加する。また、画像データには、撮影時に時計部１４で取得された時間データ（時、分、秒）も付加される。すなわち、ＲＡＭ１２には、顔特徴量データ及び時間データが付加された画像データが認証用データとして記憶される。
【００２１】
図３に示すように、ＲＡＭ１２に記憶された認証用データの顔特徴量データは、撮影時の時間毎に分類されている。特徴量データテーブルは、認証用データを撮影したときの時間データと、認証用データの顔特徴量データとを備える。本実施形態では、時間データは１時間毎に区分けされている。
【００２２】
認証用データ選択部１５は、認証モード時に撮影した画像データ（以下、「新画像データ」と称する）の顔特徴量と、ＲＡＭ１２に記憶された認証用データの顔特徴量とを用いて顔認証を行うときに作動する。認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時に時計部１４で取得された時間データと一致する時間データを検索し、この検索した時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が００：２０の場合には、一致する時間データ（００：００〜０１：００）に分類された顔特徴量データ（Ａ１）を、認証用顔特徴量データとして選択する。
【００２３】
また、一致する時間データに分類された顔特徴量データがない場合には、認証用データ選択部１５は、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が０２：１０であり、一致する時間データ（０２：００〜０３：００）に分類された顔特徴量データがない場合には、認証用データ選択部１５は、最も近い時間データ（０１：００〜０２：００）に分類された顔特徴量データ（Ｂ１）を、認証用顔特徴量データとして選択する。
【００２４】
一致する時間データに分類された顔特徴量データが複数ある場合には、認証用データ選択部１５は、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。例えば、撮影時間が１０：２０の場合には、一致する時間データ（１０：００〜１１：００）に分類された顔特徴量データ（Ｈ１、Ｈ２、Ｈ３）の平均値を、認証用顔特徴量データとして選択する。
【００２５】
顔一致判定部１６は、新画像データに基づいて算出された顔特徴量と、認証用データ選択部１５で選択された認証用顔特徴量データの顔特徴量とが一致しているか否かを判定する。一致が判定された場合には、顔一致判定部１６は、ＣＰＵ１１に一致信号を出力する。ＣＰＵ１１は、一致信号の入力を受けて、認証モードから携帯電話モードに切り換える。
【００２６】
顔一致判定部１６は、一致が判定されなかったときには、ＣＰＵ１１に不一致信号を出力する。ＣＰＵ１１は、不一致信号の入力を受けて、認証モードを継続する。すなわち、顔一致判定部１６で一致が判定されないときには、カメラ付き携帯電話２を携帯電話モードまたは撮影モードで使用することができない。このため、ユーザは、予め認証用データをＲＡＭ１２に記憶しておく。
【００２７】
上記のように構成されたカメラ付き携帯電話２の作用について、図４のフローチャートを用いて説明を行う。カメラ付き携帯電話２の電源をオンする（ステップ（以下、Ｓ）１）と、認証モードとなる（Ｓ２）。認証モードでは、ユーザが、レリーズボタン８を操作して被写体としての自分の顔を撮影する（Ｓ３）と、時計部１４は撮影時の時間データを取得する（Ｓ４）。
【００２８】
認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時に時計部１４で取得された時間データと一致する時間データを検索し、一致する時間データに分類された顔特徴量データがある場合（Ｓ５でＹ）には、その顔特徴量データを認証用顔特徴量データとして選択する（Ｓ６）。
【００２９】
また、認証用データ選択部１５は、一致する時間データに分類された顔特徴量データがない場合（Ｓ５でＮ）には、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する（Ｓ７）。なお、認証用データ選択部１５は、（Ｓ６）、（Ｓ７）のいずれにおいても、時間データ内に顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。
【００３０】
顔特徴量算出部１３は、新画像データに基づいて顔特徴量を算出し、顔一致判定部１６は、顔認証として、新画像データの顔特徴量と、認証用データ選択部１５で選択された認証用顔特徴量データの顔特徴量とが一致しているか否かを判定する（Ｓ８）。一致が判定されたとき（Ｓ９でＹ）には、顔一致判定部１６は、ＣＰＵ１１に一致信号を出力する。ＣＰＵ１１は、一致信号の入力を受けて、認証モードから携帯電話モードに切り換える（Ｓ１０）。
【００３１】
一方、顔一致判定部１６は、一致が判定されなかったとき（Ｓ９でＮ）には、ＣＰＵ１１に不一致信号を出力する。ＣＰＵ１１は、不一致信号の入力を受けて、認証モードを継続して再度撮影を行うことを促す（Ｓ１１）。これと同時に、ＣＰＵ１１は、新画像データを、認証用データとしてＲＡＭ１２に記憶する（Ｓ１２）。
【００３２】
このように、認証モード時には、特徴量データテーブルの中から、新画像データ撮影時に時計部１４で取得された時間データと一致する時間データまたは最も近い時間データに分類された顔特徴量データを選択し、この選択した認証用顔特徴量データの顔特徴量と、新画像データの顔特徴量とを用いて顔認証を行うから、撮影時間によって顔の特徴が異なる場合でも、同一人物の顔認証を行ったときに不一致と判定されることを抑制することができる。これにより、顔認証の精度を向上することができる。
【００３３】
なお、上記第１実施形態では、ＲＡＭ１２に記憶された顔特徴量データを１時間毎に分類しているが、分類する時間は１時間に限定されることなく、例えば、図５に示すように、３時間毎に分類してもよい。さらに、図６に示すように、顔特徴量データを季節毎に分類してもよい。この場合、時計部１４は、撮影時に時間データ及び日付データ（年、月、日）を取得する。なお、季節毎の分類に代えて、顔特徴量データを１ヶ月毎や２ヶ月毎等に分類してもよい。
【００３４】
［第２実施形態］
図７及び図８の第２実施形態は、顔一致判定部１６で一致していると判定されたときに、新画像データを、認証用データとしてＲＡＭ１２に記憶するか否かを選択する。なお、第１実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【００３５】
図７に示すように、第２実施形態のカメラ付き携帯電話４０では、顔一致判定部１６で、新画像データに基づいて算出された顔特徴量と、認証用データ選択部１５で選択された認証用顔特徴量データの顔特徴量とが一致していると判定されると、ＣＰＵ１１は、ＬＣＤ９に、新画像データを認証用データとしてＲＡＭ１２に記憶するか否かを選択するための選択画面４１を表示する。この選択画面４１は、「新しい画像を認証用画像として記憶しますか？」というコメント画像４２と、「はい」という第１選択画像４３と、「いいえ」という第２選択画像４４とからなる。
【００３６】
ユーザは、設定ボタン７を操作して、「はい」という第１選択画像４３と、「いいえ」という第２選択画像４４とのどちらかを選択する。第１選択画像４３が選択されると、ＣＰＵ１１は、新画像データを認証用データとしてＲＡＭ１２に記憶する。第２選択画像４４が選択されると、ＣＰＵ１１は、新画像データを消去する。
【００３７】
また、顔一致判定部１６で一致が判定されず、顔認証を行った回数が所定回数（例えば３回）未満であるときには、認証用データ選択部１５は、再度選択を行う。認証用データ選択部１５は、再度選択を行うときには、一致する時間データに最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。
【００３８】
上記のように構成されたカメラ付き携帯電話４０の作用について、図８のフローチャートを用いて説明を行う。カメラ付き携帯電話２の電源をオンする（Ｓ１０１）と、認証モードとなる（Ｓ２）。以降、（Ｓ１０３）〜（Ｓ１０８）は、第１実施形態の（Ｓ３）〜（Ｓ８）と同様なので、説明を省略する。
【００３９】
顔一致判定部１６は、一致したと判定したとき（Ｓ１０９でＹ）には、ＣＰＵ１１に一致信号を出力する。ＣＰＵ１１は、一致信号の入力を受けて、ＬＣＤ９に、選択画面４１を表示する（Ｓ１１０）。ユーザが、設定ボタン７を操作して、「はい」という第１選択画像４３を選択する（Ｓ１１１でＹ）と、ＣＰＵ１１は、新画像データを認証用画像データとしてＲＡＭ１２に記憶する（Ｓ１１２）。一方、「いいえ」という第２選択画像４４を選択する（Ｓ１１１でＮ）と、ＣＰＵ１１は、新画像データを消去する（Ｓ１１３）。ＣＰＵ１１は、新画像データを記憶または消去した後、認証モードから携帯電話モードに切り換える（Ｓ１１４）。
【００４０】
一方、顔一致判定部１６は、一致が判定されなかったとき（Ｓ１０９でＮ）には、ＣＰＵ１１に不一致信号を出力する。ＣＰＵ１１は、不一致信号の入力を受けて、３回目の顔認証であるか否かを判定する（Ｓ１１５）。１回目または２回目であり、３回目の顔認証ではない場合（Ｓ１１５でＮ）には、認証用データ選択部１５は、再度選択を行う。認証用データ選択部１５は、再度選択を行うときには、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する（Ｓ１０７）。そして、新しく選択された認証用顔特徴量データを用いて顔認証を行う（Ｓ１０８）。
【００４１】
［第３実施形態］
図９〜図１１の第３実施形態は、ＲＡＭ１２に記憶された顔特徴量データを、撮影位置毎に分類している。なお、第１，第２実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【００４２】
図９に示すように、第３実施形態のカメラ付き携帯電話５０には、ＧＰＳユニット５１が設けられている。ＧＰＳユニット５１は、現在地を測位してその位置データを取得するものであり、アンテナ５２、ＧＰＳ算出部５３を有する。アンテナ５２は、地球を周回している２４個のＧＰＳ衛星のうち４個以上（例えば、４個）のＧＰＳ衛星からの電波を受信する。この受信した電波は、ＧＰＳ算出部５３に送られる。ＧＰＳ算出部５３には、入力された電波に基づき、現在地の位置データ（緯度・経度）を算出する算出プログラムが格納されている。
【００４３】
認証モード時に撮影を行うと、ＣＰＵ１１は、ＧＰＳ算出部５３にプログラム起動信号を出力する。プログラム起動信号が入力されると、ＧＰＳ算出部５３は、算出プログラムを起動して、アンテナ５２から入力される電波に基づき、現在地の位置データを算出（４個のＧＰＳ衛星からの距離を同時に知ることにより現在位置を算出）する。
【００４４】
図１０に示すように、ＲＡＭ１２に記憶された顔特徴量データは、撮影時にＧＰＳユニット５１で取得された位置データ毎に分類されている。特徴量データテーブルは、撮影位置（場所、緯度／経度、属性）データと、顔特徴量データとを備える。
【００４５】
認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時にＧＰＳユニット５１で取得された位置データと一致する位置データを検索し、この検索した位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影位置が自宅の場合には、一致する位置データ（自宅）に分類された顔特徴量データ（Ａ２１、Ａ２２）を、認証用顔特徴量データとして選択する。また、認証用データ選択部１５は、一致する位置データに分類された顔特徴量データがない場合には、最も近い位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。このとき、認証用データ選択部１５は、先ず、同じ属性の位置データを最も近い位置データとし、同じ属性の位置データがない場合には、緯度／経度に基づいて最も近い位置データを検索する。
【００４６】
上記のように構成されたカメラ付き携帯電話５０の作用について、図１１のフローチャートを用いて説明を行う。カメラ付き携帯電話２の電源をオンする（Ｓ２０１）と、認証モードとなる（Ｓ２０２）。認証モードでは、ユーザが、自分の顔を撮影する（Ｓ２０３）と、ＧＰＳユニット５１は、現在地の位置データを算出する（Ｓ２０４）。
【００４７】
認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時にＧＰＳユニット５１で取得された位置データと一致する位置データを検索し、一致する位置データに分類された顔特徴量データがある場合（Ｓ２０５でＹ）には、その顔特徴量データを認証用顔特徴量データとして選択する（Ｓ２０６）。
【００４８】
また、認証用データ選択部１５は、一致する位置データに分類された顔特徴量データがない場合（Ｓ２０５でＮ）には、最も近い位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する（Ｓ２０７）。なお、認証用データ選択部１５は、（Ｓ２０６）、（Ｓ２０７）のいずれにおいても、顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。以降、（Ｓ２０８）〜（Ｓ２１６）は、第２実施形態の（Ｓ１０８）〜（Ｓ１１４）及び第１実施形態の（Ｓ１１），（Ｓ１２）と同様なので、説明を省略する。
【００４９】
［第４実施形態］
図１２〜図１４の第４実施形態は、ＲＡＭ１２に記憶された顔特徴量データを、撮影時間及び撮影位置毎に分類している。なお、第１〜第３実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
【００５０】
図１２に示すように、第４実施形態のカメラ付き携帯電話６０には、時計部１４及びＧＰＳユニット５１の両方が設けられている。
【００５１】
図１３に示すように、ＲＡＭ１２に記憶された顔特徴量データは、撮影時間及び撮影位置毎に割り振られたＩＤ番号（「１」〜「２４」）に分類されている。特徴量データテーブルは、撮影時間（名称、時間帯）データと、撮影位置データと、顔特徴量データとを備える。本実施形態では、撮影時間データは３時間毎に区分けされている。認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時に取得された時間データ及び位置データと一致するＩＤを検索し、この検索したＩＤに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が０５：３０で撮影位置が自宅の場合には、ＩＤ番号として「４」が検索され、これに分類された顔特徴量データ（Ｂ３１）を、認証用顔特徴量データとして選択する。
【００５２】
上記のように構成されたカメラ付き携帯電話６０の作用について、図１４のフローチャートを用いて説明を行う。カメラ付き携帯電話２の電源をオンする（Ｓ３０１）と、認証モードとなる（Ｓ３０２）。認証モードでは、ユーザが、自分の顔を撮影する（Ｓ３０３）と、時計部１４は撮影時の時間データを取得するとともに、ＧＰＳユニット５１は、現在地の位置データを算出する（Ｓ３０４）。
【００５３】
認証用データ選択部１５は、特徴量データテーブルの中から、新画像データ撮影時に取得された時間データ及び位置データと一致するＩＤを検索し、一致するＩＤに分類された顔特徴量データがある場合（Ｓ３０５でＹ）には、その顔特徴量データを認証用顔特徴量データとして選択する（Ｓ３０６）。
【００５４】
また、認証用データ選択部１５は、一致するＩＤに分類された顔特徴量データがない場合（Ｓ３０５でＮ）には、最も近いＩＤに分類された顔特徴量データを、認証用顔特徴量データとして選択する（Ｓ３０７）。このとき、認証用データ選択部１５は、最も近い時間帯で同じ撮影場所のＩＤを、最も近いＩＤとして選択する。なお、認証用データ選択部１５は、（Ｓ３０６）、（Ｓ３０７）のいずれにおいても、顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。以降、（Ｓ３０８）〜（Ｓ３１６）は、第３実施形態の（Ｓ２０８）〜（Ｓ２１６）と同様なので、説明を省略する。
【００５５】
なお、上記実施形態では、カメラ付き携帯電話で撮影した画像データを、認証用データとしてＲＡＭに記憶しているが、他の撮影装置、例えばデジタルカメラで撮影した画像データを、認証用データとしてカメラ付き携帯電話のＲＡＭに記憶してもよい。また、ＲＡＭに認証用データを記憶せずに、インターネットを介して接続されるデータサーバー内に認証用データを記憶してもよい。
【００５６】
また、１台のカメラ付き携帯電話を複数のユーザで使用する場合には、複数のユーザ毎に特徴量データテーブルを作成してＲＡＭに記憶しておき、認証モード時には、認証するユーザ名を入力し、その入力されたユーザの特徴量データテーブルを用いて顔認証を行うようにしてもよい。
【００５７】
さらに、上記第４実施形態では、新画像データ撮影時に取得された時間データ及び位置データと一致するＩＤに分類された顔特徴量データがない場合には、認証用データ選択部１５は、最も近い時間帯で同じ撮影場所のＩＤを、最も近いＩＤとして選択しているが、同じ時間帯で最も近い撮影場所のＩＤを、最も近いＩＤとして選択してもよい。また、これら２パターンそれぞれの選択方法を実施したときの顔認証での判定結果を記憶しておき、一致と判定された確率の高い選択方法を用いて、最も近いＩＤを選択するようにしてもよい。
【００５８】
また、本発明は、カメラ付き携帯電話に限らず、撮影機能を有する電子機器であれば実施可能であり、例えばデジタルカメラ等に実施可能である。
【符号の説明】
【００５９】
２，４０，５０，６０ カメラ付き携帯電話
１０ 撮影レンズ
１２ ＲＡＭ（記憶手段）
１３ 顔特徴量算出部（顔検出手段）
１４ 時計部（シチュエーション情報取得手段）
１５ 認証用データ選択部（選択手段）
１６ 顔一致判定部（判定手段）
５１ ＧＰＳユニット（シチュエーション情報取得手段）
【特許請求の範囲】
【請求項１】
被写体の顔画像を含む画像データを撮影したときのシチュエーション情報を取得し、
被写体の顔画像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する１つに分類された前記認証用データを選択し、
選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出し、
検出された前記認証用データ内の被写体の顔と、検出された前記画像データ内の被写体の顔とが一致しているか否かを判定することを特徴とする顔認証方法。
【請求項２】
前記シチュエーション情報は、前記画像データまたは前記認証用データを撮影したときの時間情報、時期情報、位置情報の少なくとも１つであることを特徴とする請求項１記載の顔認証方法。
【請求項３】
前記複数の認証用データの中に、前記画像データを撮影したときのシチュエーション情報と一致するシチュエーション情報に分類された前記認証用データがないときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択することを特徴とする請求項１または２記載の顔認証方法。
【請求項４】
前記一致しているか否かの判定で一致していないと判定されたときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択して前記一致しているか否かの判定を再度行うことを特徴とする請求項１または２記載の顔認証方法。
【請求項５】
被写体の顔画像を撮影して画像データを取得する撮影手段と、
前記撮影手段で前記画像データを撮影したときのシチュエーション情報を取得するシチュエーション情報取得手段と、
被写体の顔画像を含む複数の認証用データが、撮影時のシチュエーション情報毎に予め分類されて記憶された記憶手段と、
前記複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する１つに分類された前記認証用データを選択する選択手段と、
前記選択手段で選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出する顔検出手段と、
前記顔検出手段で検出された前記認証用データ内の被写体の顔と、前記顔検出手段で検出された前記画像データ内の被写体の顔とが一致しているか否かを判定する判定手段と、
を備えることを特徴とする顔認証装置。
【請求項１】
被写体の顔画像を含む画像データを撮影したときのシチュエーション情報を取得し、
被写体の顔画像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する１つに分類された前記認証用データを選択し、
選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出し、
検出された前記認証用データ内の被写体の顔と、検出された前記画像データ内の被写体の顔とが一致しているか否かを判定することを特徴とする顔認証方法。
【請求項２】
前記シチュエーション情報は、前記画像データまたは前記認証用データを撮影したときの時間情報、時期情報、位置情報の少なくとも１つであることを特徴とする請求項１記載の顔認証方法。
【請求項３】
前記複数の認証用データの中に、前記画像データを撮影したときのシチュエーション情報と一致するシチュエーション情報に分類された前記認証用データがないときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択することを特徴とする請求項１または２記載の顔認証方法。
【請求項４】
前記一致しているか否かの判定で一致していないと判定されたときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択して前記一致しているか否かの判定を再度行うことを特徴とする請求項１または２記載の顔認証方法。
【請求項５】
被写体の顔画像を撮影して画像データを取得する撮影手段と、
前記撮影手段で前記画像データを撮影したときのシチュエーション情報を取得するシチュエーション情報取得手段と、
被写体の顔画像を含む複数の認証用データが、撮影時のシチュエーション情報毎に予め分類されて記憶された記憶手段と、
前記複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する１つに分類された前記認証用データを選択する選択手段と、
前記選択手段で選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出する顔検出手段と、
前記顔検出手段で検出された前記認証用データ内の被写体の顔と、前記顔検出手段で検出された前記画像データ内の被写体の顔とが一致しているか否かを判定する判定手段と、
を備えることを特徴とする顔認証装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−２３７７５６（Ｐ２０１０−２３７７５６Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８２１７５（Ｐ２００９−８２１７５）
【出願日】平成２１年３月３０日（２００９．３．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３０日（２００９．３．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]