情報処理装置及びプログラム
【課題】従来精度が低かった顔認識を、高い認識精度で行う。
【解決手段】情報処理装置２０は、あらかじめ判別対象となる人物の基準特徴量を期間別に登録した期間別基準特徴量リストを期間別基準特徴量記憶部２０４に記憶している。情報処理装置２０は、通信部３００によってメールサーバ１０から画像を受信すると、顔画像検出プログラム記憶部２０２に記憶された顔画像検出プログラムを用いて、受信した画像に含まれた顔の画像を検出する。検出した顔画像から、顔特徴量算出プログラム記憶部２０３に記憶された顔特徴量算出プログラムを用いて、顔特徴量を算出する。そして、期間別基準特徴量リストに登録された基準特徴量のうち、対応する期間が受信した画像の撮影日時を含むか、最も近い基準特徴量を選択して、選択した特徴量を用いて顔認識を行う。
【解決手段】情報処理装置２０は、あらかじめ判別対象となる人物の基準特徴量を期間別に登録した期間別基準特徴量リストを期間別基準特徴量記憶部２０４に記憶している。情報処理装置２０は、通信部３００によってメールサーバ１０から画像を受信すると、顔画像検出プログラム記憶部２０２に記憶された顔画像検出プログラムを用いて、受信した画像に含まれた顔の画像を検出する。検出した顔画像から、顔特徴量算出プログラム記憶部２０３に記憶された顔特徴量算出プログラムを用いて、顔特徴量を算出する。そして、期間別基準特徴量リストに登録された基準特徴量のうち、対応する期間が受信した画像の撮影日時を含むか、最も近い基準特徴量を選択して、選択した特徴量を用いて顔認識を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
人の顔の画像から、その人を認識する技術が知られている。このような技術では、人の顔を認識するに当たって、予め人の顔の特徴をデータベースに記憶しておく。そして、認識対象となる顔の画像から顔特徴量を抽出し、データベースに記憶された顔特徴量と比較して類似度を算出し、算出した類似度に基づいて認識対象となる顔の画像の認識を行う。顔認識に関連して、認識精度を上げるための技術が開発されている。
【０００３】
例えば、特許文献１は、データベースに、一人の人物に対応して、顔の特徴量を日時や表情等の属性毎に複数記憶しておき、認識対象となる人の顔の画像から顔の特徴量と属性とを抽出し、記憶した特徴量の内、抽出した属性に対応する特徴量と比較して認識対象となる人の顔の画像の認識を行う技術を開示している。
【０００４】
また、特許文献２は、顔認識を行う基準となる顔の特徴量を抽出するための写真を撮影するにあたって、撮影を適切に行えるようにユーザを補助する技術を開示している。特許文献２はさらに、新たに顔の写真を撮影した場合に、予めデータベースに記憶された基準特徴量のうち、新しい写真の撮影日に近い日時に撮影された写真から抽出された基準特徴量に基づいて、新しい写真に写っている顔を認識する技術を開示している。
【０００５】
また、特許文献３は、受信した画像に含まれる顔を認識するに当たって、過去の通信履歴に基づいて認識の基準を修正することにより顔認識の認識精度を高める技術を開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−０６１４６５号公報
【特許文献２】特開２００９−１５３２１９号公報
【特許文献３】特開２００９−１３５６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
成長や加齢等により、人の顔は時間の経過と共に変化するため、従来顔認識の精度が低かった。そこで、顔認識の対象となる被写体の顔が成長・加齢等によって変化していた場合でも、その人であると認識することができる技術が必要とされている。
【０００８】
特許文献１に記載の技術では、顔認識を成長・加齢等による変化に対応して行うためには、その人の顔が長期間にわたって持つ多くの属性に対応する膨大な量の顔特徴量を予め記憶する必要がある。さらに、認識処理に際して、認識対象となる顔の画像がどの属性を持つか判別する処理を行うことが必要になる。そのため、必要な記憶装置の容量と情報処理量とが膨大なものになるという問題点を持つ。
【０００９】
また、特許文献２に記載の技術は、認識対象となる写真の撮影日に近い日時に撮影された写真から抽出された基準特徴量に基づいて顔判別を行う。そのため、顔認識を成長・加齢等による変化に対応して行うためには、長期間に渡って撮影された写真から抽出された多数の基準特徴量を記憶していなければならず、記憶装置の必要容量が大きくなってしまう。
【００１０】
また、特許文献３に記載の技術は、画像の送信者が送信画像に写っている可能性が高いと推定して認識結果を修正するものであり、画像の顔が成長・加齢等によって変化していた場合でも、その人であると認識するという課題の解決に貢献するものではない。
【００１１】
本発明は上記のような事情に鑑みてなされたもので、従来精度が低かった顔認識を、高い認識精度で行うことができる情報処理装置およびプログラムを提供することを目的とする。
また、本発明は、被写体の顔が時間の経過によって変化した場合でも、顔の画像の認識精度が高く、かつ必要記憶容量と情報処理量とが少ない情報処理装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明に係る情報処理装置は、
判別対象の人物の顔の特徴を表す複数の基準顔特徴量を、対応する期間を示す情報と対応づけて記憶する基準顔特徴記憶手段と、
顔の画像を取得する顔画像取得手段と、
前記顔画像取得手段が取得した顔の画像が生成された日時を特定する情報を取得する日時取得手段と、
前記日時取得手段が取得した日時と前記複数の基準顔特徴量に対応する期間とを比較し、比較結果に基づいて、前記基準顔特徴記憶手段に記憶された複数の基準顔特徴量から、前記顔の画像に対応する基準顔特徴量である対応基準顔特徴量を選択する選択手段と、
前記顔画像取得手段が取得した顔の画像から、その顔特徴量である取得顔特徴量を抽出する取得顔特徴抽出手段と、
前記対応基準顔特徴量と前記取得顔特徴量とに基づいて、前記顔画像取得手段が取得した顔の画像の顔を有する人物が前記判別対象の人物であるか否かを判別する判別手段と、
を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、従来精度が低かった顔認識を、高い認識精度で行うことが出来る。
また、本発明によれば、被写体の顔が時間の経過によって変化した場合でも、認識精度が高く、かつ必要記憶容量と情報処理量とが少ない。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態１に係る情報処理システムの構成を示すブロック図である。
【図２】実施形態１に係る期間別基準特徴量リストの構成を示す図である。
【図３】実施形態１に係るメール受信回数リストの構成を示す図である。
【図４】実施形態１に係る画像情報リストの構成を示す図である。
【図５】実施形態１に係る情報処理装置が実行する顔認識・登録処理を示すフローチャートである。
【図６】実施形態１に係る情報処理装置が実行するｎ個目の顔の人物判別処理を示すフローチャートである。
【図７】実施形態１に係る情報処理装置の処理の概要を示す図である。
【図８】本発明の実施形態２に係る期間別基準特徴量リストの構成を示す図である。
【図９】実施形態２に係る情報処理装置が実行する顔認識・登録処理を示すフローチャートである。
【図１０】実施形態２に係る情報処理装置が実行する基準特徴量更新処理を示すフローチャートである。
【図１１】実施形態２に係る基準特徴量更新処理の概要を示す図である。
【図１２】その他の実施形態に係る情報処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態に係る情報処理システムを、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。
【００１６】
（実施形態１）
まず、本発明の実施形態１に係る情報処理システム１の構成について説明する。実施形態１に係る情報処理システム１は、画像が添付された電子メールを受信し、受信した画像に人の顔の画像が含まれているか判別し、人の顔が含まれている場合には、その画像が生成された日時に基づいて顔認識を行うことにより、受信した画像に予め登録された人物の顔の画像が含まれるか否か判別する。
【００１７】
情報処理システム１は、メールサーバ１０と、情報処理装置２０と、から構成される。
メールサーバ１０は、他機器から画像等の情報を受信し、情報処理装置２０に送信する。メールサーバ１０は、ＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ等の既存の任意のメールサーバから構成される。
【００１８】
情報処理装置２０は、メールサーバ１０から画像が添付された電子メールを受信し、記憶装置２００に記憶し、記憶装置２００に予め記憶された既存の人の顔情報に基づいて画像に予め記憶された人物の顔が含まれているか判別する情報処理装置（コンピュータ）であり、制御部１００と、記憶装置２００と、通信部３００と、から構成される。
【００１９】
制御部１００は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｅｒ）、内部メモリ等から構成され、記憶装置２００と、通信部３００と、を制御する。
制御部１００は、このような構成により、機能的には、通信制御部１０１、顔画像検出部１０２、顔特徴算出部１０３、記憶制御部１０４、として機能する。
【００２０】
通信制御部１０１は、通信部３００を制御し、メールサーバ１０とインターネットを通じて通信する。具体的には、メールサーバ１０から画像等の情報を受信し、メールサーバ１０に情報を送信する。
【００２１】
顔画像検出部１０２は、記憶装置２００の顔画像検出プログラム記憶部２０２に記憶された顔画像検出プログラムを用いて、画像に顔の画像が含まれるか判別し、含まれている場合にはその顔の画像を抽出する処理を実行する。
【００２２】
顔特徴算出部１０３は、記憶装置２００の顔特徴量算出プログラム記憶部２０３に記憶された顔特徴量算出プログラムを用いて、顔の画像から顔の特徴量を算出する処理を実行する。
【００２３】
記憶制御部１０４は、記憶装置２００を制御する。具体的には、記憶装置２００に制御部１００の処理結果に基づく情報を記憶させる。また、記憶装置２００に記憶された情報を読み込む。
【００２４】
記憶装置２００は、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成される。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、制御部１００の作業領域として用いられる。
外部記憶装置は、後述する処理を制御部１００に行わせるためのプログラムと情報とをあらかじめ記憶し、これらのプログラムや情報を制御部１００の指示に従って主記憶装置に伝達する。また、制御部１００の指示に従って、制御部１００の処理に基づく情報を記憶する。
【００２５】
記憶装置２００は、上記物理構成により、機能的には、画像記憶部２０１と、顔画像検出プログラム記憶部２０２と、顔特徴量算出プログラム記憶部２０３と、期間別基準特徴量記憶部２０４と、人物情報記憶部２０５と、画像情報記憶部２０６と、から構成される。
【００２６】
画像記憶部２０１は、通信部３００が受信した画像と、制御部１００が処理した画像と、を記憶する。ここで受信した画像は任意の画像であって良いが、例えばデジタルカメラを用いて撮影された人物のスナップ写真の画像等であることが望ましい。
【００２７】
顔画像検出プログラム記憶部２０２は、画像に人の顔の画像が含まれているか判別し、含まれている場合にはその顔の画像を検出する顔画像検出プログラムを記憶する。顔画像検出プログラムの種類は任意であるが、例えば（ｉ）Ｈａａｒ−ｌｉｋｅ特徴を使った顔画像検出プログラム、（ｉｉ）ＨＯＧ （Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）特徴を使った顔画像検出プログラム、（ｉｉｉ）画像の各画素のうち人肌の色と推定した色の画素が占める領域を検出し、当該領域の形状と所定の形状との比較結果に基づいてその部分が顔であるか判別することにより顔を検出する顔画像検出プログラム、等の既知の任意の顔画像検出プログラムを採用できる。
これらの顔画像検出プログラムは、ある画像が人の顔の画像を複数含んでいる場合には、各顔の画像をそれぞれ検出する。
【００２８】
顔特徴量算出プログラム記憶部２０３は、人の顔の画像から顔特徴量を算出する顔特徴量算出プログラムを記憶する。顔特徴算出プログラムの種類は任意であるが、例えば（ｉ）顔の画像から、顔の大きさ・方向等を正規化した後、顔の画像の形状を抽出して目・鼻・口等の位置を特定して、これらの位置を特徴として抽出する顔特徴検出プログラム、（ｉｉ）正面でない方向から撮影された顔の画像を３次元的に正規化し、検出対象となる眉の位置等の顔の特徴を抽出する顔特徴量検出プログラム、（ｉｉｉ）事前にトレーニングデータを独立成分分析して基底を求め、受信した顔の画像を正規化した画像をこれらの基底の線形結合として表した場合の線形結合係数を顔特徴量として抽出する顔特徴量検出プログラム、等の任意の既知の顔特徴量検出プログラムであってよい。
【００２９】
期間別基準特徴量記憶部２０４は、判別対象となる人物毎に、期間別に顔認識の基準となる顔特徴量の基準値を登録した期間別基準特徴量リストを記憶する。
【００３０】
ここで、期間別基準特徴量記憶部２０４が記憶する期間別基準特徴量リストについて、図２を参照して説明する。期間別基準特徴量リストは、判別対象となる人物を示す人物ＩＤと、各人物の顔特徴を示す基準特徴量と、基準特徴量に対応する期間の開始時と終了時と、等を対応づけて予め記憶する。
【００３１】
ここで、人物ＩＤは登録された判別対象となる人物を一意に示す識別子（ＩＤ、Ｉｄｅｎｔｉｆｉｅｒ) である。
【００３２】
期間別基準特徴量リストには、各人物ＩＤに対して、少なくとも一つの基準特徴量とその期間が対応づけて記憶されている。基準特徴量は、判別対象となる顔の画像が、人物ＩＤが示す人物の顔であるか否かを判別する基準となる顔特徴量である。基準特徴量のパラメータは、情報処理装置２０が採用する顔認識プログラムで用いられる顔特徴量によって定まるが、ここでは正規化した顔の画像における右眉の内端、左眉の内端、右目の内端、右目の外端、左目の内端、左目の外端、鼻の下端、鼻の上端、口の左端、口の右端、の位置等をパラメータとする。
なお、図２では見やすくするために期間別基準特徴量リストに記憶されている特徴量のパラメータを一部省略して表記している。
【００３３】
各基準特徴量には対応する期間が定められている。対応する期間は、基準特徴量の行の開始時が示す日と終了時が示す日の間の期間である。ここでいう基準特徴量に対応する期間とは、対応する人物ＩＤの人物の顔が、その基準特徴量で表される特徴を持っていると推定される期間を表す。
【００３４】
受信した画像に含まれる顔の画像が、登録された人物の誰であるか、あるいは新たな人物であるかの判別は、期間別基準特徴量リストに記憶された基準特徴量を用いて行われる。また、期間別基準特徴量リストは、後述する処理に基づいて更新される。
期間別基準特徴量リストを用いた判別処理、更新処理については後述する。
【００３５】
図１に戻って、人物情報記憶部２０５は、期間別基準特徴量リストに登録された判別対象となる人物毎に、その人物の顔の画像を含んでいると判別された画像を受信した回数を、その画像を送信した送信者と対応づけて記憶するメール受信回数リストを記憶する。
【００３６】
ここで、メール受信回数リストについて図３を参照して説明する。メール受信回数リストは、人物ＩＤ、送信者、受信回数、等を対応づけて記憶する。
【００３７】
人物ＩＤは、判別対象となる人物を一意に表す識別子である。メール受信回数リストの人物ＩＤは、期間別基準特徴量リストの人物ＩＤと対応する。
【００３８】
メール受信回数リストには予め、一つの人物ＩＤに対応して、一又は複数の送信者と受信回数とが対応づけて記憶されている。
送信者は、対応する人物ＩＤが示す人物の顔を含む画像を情報処理装置２０に送信した事がある人物を示す。送信者は、送信者が画像をメールで送信したメールアドレスによって定義されている。
受信回数は、対応する送信者のメールアドレスから、対応する人物ＩＤが示す人物の顔を含むと判別された画像を情報処理装置２０が受信した回数を示す。
【００３９】
本実施形態では、メール受信回数リストに登録された受信回数に基づいて、人物ＩＤが示す判別対象となる人物と送信者との親密度を推定する。送信者が情報処理装置２０に対して、人物ＩＤが示す人物の顔を含むと判別された画像を送った回数が多ければ、送信者と人物ＩＤが示す人物は親密であると推定される。そこで、本実施形態では、新たにその送信者が情報処理装置２０に送信した画像にその人物ＩＤが示す人物の顔の画像が含まれている可能性が高いと推定して、その送信者が送信した新たな画像に含まれている顔の画像とその人物ＩＤが示す人物の顔の基準特徴量との類似度が高くなるように修正する。
また、メール受信回数リストは、後述する顔認識・登録処理で更新され、記憶される。
【００４０】
図１に戻って、画像情報記憶部２０６は、画像ＩＤと、各画像の画像ファイルと、送信者と、その画像に顔が含まれていると判別された人物の人物ＩＤと、を対応づけて記録する画像情報リストを記憶する。
【００４１】
ここで、画像情報リストについて図４を参照して説明する。
画像情報リストは、各画像を表す画像ＩＤと、画像ファイルの場所と、その画像を送信した人物のアドレス（送信者）と、その画像に含まれる顔の画像の人物（人物ＩＤ）と、を対応づけて記憶する。
【００４２】
画像ＩＤは、画像を一意に表す識別子である。
【００４３】
画像ファイルは、その画像のファイルとファイルの保存場所とを表す。
【００４４】
送信者は、その画像を送信した人物のメールアドレスを示す。画像情報リストの送信者は、メール受信回数リストに登録された送信者と対応する。
【００４５】
人物ＩＤは、その画像に含まれる顔の画像の、顔を有する人物を示す人物ＩＤである。画像情報リストの人物ＩＤは、メール受信回数リストの人物ＩＤ及び期間別基準特徴量リストの人物ＩＤと対応する。画像情報リストは画像ＩＤと対応して、その画像ＩＤが示す画像に含まれる顔の画像の数だけ人物ＩＤを対応して記憶している。
【００４６】
画像情報リストは、後述する顔認識・登録処理において更新して記録される。画像情報リストは、各画像に対して、送信者と、どの人物の顔の画像が含まれるかと、を登録しているので、後にある人物（例えばＨ１）が含まれる画像を全て検索する場合等に利用することが出来る。
【００４７】
図１に戻って、通信部３００は、制御部１００の通信制御部１０１から制御され、メールサーバ１０から画像等の情報を受信し、受信した情報を、送信者を示す情報（アドレス等）と併せて通信制御部１０１に伝達する。
通信部３００は、物理的にはネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインターフェースまたはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インターフェースから構成されている。通信部３００は、ネットワークを介して、他のユーザに情報処理装置２０に記憶された情報を伝達する。また、他のユーザから情報を受信する。
【００４８】
情報処理装置２０は、キーボード等から構成される操作部１０００を備え、ユーザからの設定入力を受け付ける。さらに、液晶パネル等から構成される表示部１１００を備え、制御部１００の処理結果をユーザに表示する。情報処理装置２０を構成する制御部１００、記憶装置２００、通信部３００、操作部１０００、表示部１１００、等は、それぞれ内部パスによって接続されている。
【００４９】
次に、情報処理装置２０が実行する処理を、図１〜図６を参照して説明する。
情報処理装置２０の通信部３００は、メールサーバ１０から画像を受信すると、制御部１００の通信制御部１０１に受信を通知し、併せて受信した画像と送信者の情報とを伝達する。制御部１００は、受信を通知されると図５に示す顔認識・登録処理１を開始する。
【００５０】
顔認識・登録処理１を開始すると、まず、制御部１００の記憶制御部１０４が顔画像検出プログラム記憶部２０２に記憶された顔画像検出プログラムを読み出し、読み出した顔画像検出プログラムを用いて制御部１００の顔画像検出部１０２が受信した画像から顔の画像を検出し、検出した顔の画像を正規化する（ステップＳ１０１）。ステップＳ１０１で読み出す顔画像検出プログラムは任意であるが、ここではＨＯＧ特徴を使った顔検出プログラムを読み出す事とする。
【００５１】
次に、制御部１００はステップＳ１０１で顔が検出されたか否かを判別する（ステップＳ１０２）。顔の画像が一つも検出されなかった場合（Ｓ１０２；ＮＯ）、受信した画像は人の顔の画像を含まないため、処理対象ではないと判別し、制御部１００は顔認識・登録処理を終了する。
一方、ステップＳ１０１で、受信した画像から少なくとも一つの顔の画像を検出できた場合（ステップＳ１０２；ＹＥＳ）、制御部１００は検出したそれぞれの顔に番号を定義し、併せて内部メモリのカウンタ変数ｎに１を代入する（ステップＳ１０３）。そして、ステップＳ１０４からステップＳ１０６において、カウンタ変数ｎが示す番号の顔の画像（ｎ個目の顔の画像）について処理を行う（ステップＳ１０４〜ステップＳ１０６）。
【００５２】
まず、ｎ個目の顔の画像が、誰の顔であるか判別する人物判別処理を行う（ステップＳ１０４）。具体的には、ｎ個目の顔が、期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストに登録された判別対象となる人物の何れかの顔に一致するか、また新たな人物の顔であるかが判別される。併せて、判別された人物の人物ＩＤが検出される。
ここで行われる顔の人物判別処理については後述する。
【００５３】
ステップＳ１０４でｎ個目の顔の判別処理が行われ、ｎ個目の顔の画像が何れかの顔に一致すると判別し、その人物の人物ＩＤを検出すると、制御部１００はその人物ＩＤのメール受信回数を加算する処理を行なう（ステップＳ１０５）。具体的には、制御部１００の記憶制御部１０４が、記憶装置２００の人物情報記憶部２０５に記憶された図３に示すメール受信回数リストの、ステップＳ１０４で検出された人物ＩＤと送信者との行の受信回数をインクリメントして、メール受信回数リストを更新して記憶する。
【００５４】
次に、制御部１００は画像情報リストを更新する（ステップＳ１０６）。具体的には、制御部１００の記憶制御部１０４は、記憶装置２００の画像情報記憶部２０６に記憶された図４に示す画像情報リストを更新して保存する。即ち、受信した画像に画像ＩＤを定義し、画像ファイルとして画像記憶部２０１に記憶する。併せて、定義した画像ＩＤと、受信した画像を保存した場所とファイル名と、受信した画像を送信した送信者のアドレスと、ステップＳ１０４で検出された人物ＩＤと、を対応づけて新たに画像情報リストに登録して記憶する。
【００５５】
次に、制御部１００はカウンタ変数ｎをインクリメントし（ステップＳ１０７）、ステップＳ１０１で検出された顔の全てについて処理が終了したか判別する（ステップＳ１０８）。即ち、インクリメント後のｎが、ステップＳ１０１で検出された顔の個数より大きいか否かを判別する。
インクリメント後のｎがステップＳ１０１で検出された顔の個数以下である場合（ステップＳ１０８；ＮＯ）、未処理の顔の画像があるので、次の顔の画像についてステップＳ１０４からステップＳ１０７までの処理を行う。
その後、インクリメント後のｎが、ステップＳ１０１で検出された顔の個数より大きいと判別されると（ステップＳ１０８；ＹＥＳ）、すべての顔の画像について処理が終了したので、今回の顔認識・登録処理１を終了する。
【００５６】
次に、顔認識・登録処理１のステップＳ１０４で実行されるｎ個目の顔の人物判別処理について、図６を参照して詳細に説明する。
【００５７】
図５で示した顔認識・登録処理１のステップＳ１０４に至ると、制御部１００は図６に示すｎ個目の顔の人物判別処理を開始する。まず、制御部１００はｎ個目の顔の画像に付帯する情報を取得する（ステップＳ２０１）。具体的には、受信した画像の送信者を示す情報（送信者のアドレス）を、通信制御部１０１から取得する。併せて、受信した画像ファイルのヘッダ部等から、受信した画像の撮影日を取得する。具体的には、例えば、受信した画像がヘッダ部に撮影日が定義されている画像ファイル（例えばｅｘｉｆ形式のファイル）である場合は、ヘッダ部から定義された撮影日を取得する。また、受信した画像のヘッダ部等に撮影日を示す情報が無い場合には、その画像を受信した日を撮影日として推定する。あるいは、ユーザが受信した時に撮影日を入力してもよい。
【００５８】
次に、ｎ個目の顔の画像から顔の特徴量を算出する（ステップＳ２０２）。具体的には、制御部１００の記憶制御部１０４が顔特徴算出プログラム記憶部２０３から顔特徴算出プログラムを読み出す。そして、制御部１００の顔特徴算出部１０３が読み出したプログラムを用いてｎ個目の顔の画像から顔特徴量を算出する。ステップＳ２０２で読み出す顔特徴量算出プログラムは任意であるが、ここでは顔の画像の形状を抽出して目・鼻・口等の位置を特定して、これらの位置を特徴として算出する顔特徴量算出プログラムを読み出すこととする。
ここで、顔の画像から顔特徴量を抽出することは、換言すると、顔の画像を顔特徴量の各パラメータを軸とする、顔特徴量のパラメータ数を次元数とする特徴空間に顔の画像を配置することである。
【００５９】
ステップＳ２０２を終了すると、制御部１００は内部メモリのカウンタ変数ｈに１を代入する（ステップＳ２０３）。
【００６０】
ステップＳ２０３を終了すると、制御部１００は、図２に示す期間別基準特徴量リストのｈ人目の人物の判別用顔特徴を取得する（ステップＳ２０４）。
具体的には、制御部１００の記憶制御部１０４は、記憶装置２００の期間別基準特徴量記憶部２０４に記憶されている期間別基準特徴量リストを参照し、登録順にｈ人目の人物の人物ＩＤを検出して当該人物ＩＤに対応して登録されている期間の開始日と終了日とを読み出す。そして、読み出した期間の開始日と終了日と、ステップＳ２０１で取得した撮影日と、から対応する期間の基準特徴量を選択する。
即ち、撮影日を含む期間に対応する基準特徴量が、ｈ人目の人物ＩＤに対して登録されている場合は、その基準特徴量を選択する。一方、撮影日を含む期間に対応する基準特徴量が無い場合には、最も近い開始時又は終了時を持つ期間に対応する基準特徴量を選択する。
基準特徴量を選択することは、換言すれば、上記顔の画像が配置された特徴空間上に、基準となる点（基準点）を選択することである。
【００６１】
そして、制御部１００はステップＳ２０２で算出した顔の特徴量と、ステップＳ２０４で選択した基準特徴量との距離を算出して類似度を求める（ステップＳ２０５）。類似度の求め方は、任意の既知の顔類似度を求める方法を用いて良いが、ここでは以下のように距離を算出して、算出した距離を類似度とする。このとき、距離が大きいと類似度が低く、距離が小さいと類似度が高い。
具体的には、上記二つの特徴量の各特徴量パラメータそれぞれについて差を算出し、算出したパラメータ毎の差を二乗して加算し、加算した値の平方根を求める。
このとき、各パラメータの差の二乗に、実験等によって求めた重みを乗算して加算する。
具体的な式は、式（１）のとおりである。なお、式（１）では特徴量のパラメータ数をｋとする。ステップＳ２０２で算出した特徴量の各パラメータをＰ１１〜Ｐ１ｋ、ステップＳ２０５で選択された基準特徴量の各パラメータをＰ２１〜Ｐ２ｋ、実験によって求められた各パラメータの重みをＷ１〜Ｗｋ、算出された距離をΔとする。
【数１】
・・・（１）
【００６２】
ここで、Δは特徴空間における顔の画像と基準点との距離である。
なお、ここでは類似度を二つの特徴量の各特徴量パラメータそれぞれについて差を算出し、算出したパラメータ毎の差を二乗して加算し、加算した値の平方根によって定めたが、類似度を算出する式は上記式（１）に限定されず、例えば式（１）から平方根を削除した式であって良い。
【００６３】
ステップＳ２０５で特徴量の距離を算出すると、次に制御部１００はｈ人目の受信回数を取得する（ステップＳ２０６）。具体的には、制御部１００の記憶制御部１０４が、記憶装置２００の人物情報記憶部２０５に記憶されているメール受信回数リストを参照し、ｈ人目の人物の人物ＩＤと送信者に対応する受信回数を取得する。
【００６４】
ステップＳ２０６でｈ人目の受信回数を取得すると、制御部１００は閾値を算出する。具体的には、実験等によって求められた所定の閾値ｔｈに、ｈ人目の受信回数によって定まる補正値ｆを乗算して補正された閾値ｔｈ１（＝ｔｈ・ｆ）を求める。
補正値の算出方法は任意の方法であって良いが、ここでは以下の式（２）によって算出される値とする。なお、式（２）ではステップＳ２０６で取得したｈ人目の受信回数をaとする。
ｆ（ａ）＝１＋ｌｏｇ（ａ＋１）…（２）
ここで補正値ｆ(a)は、ｈ人目の人物と送信者との親密度を表し、受信した画像にh人目の人物の顔の画像が含まれていると想定される程度を示す。
即ち、画像の受信回数が多いほど、換言すると、親密度が高いほど、閾値ｔｈ１を大きくして、一致すると認識する範囲を広くする。このとき、補正値の上限を定め、一致すると認識する範囲が所定の範囲よりも大きくならないようにしてもよい。
【００６５】
ステップＳ２０７で閾値ｔｈ１を算出すると、次に制御部１００はステップＳ２０５で算出した距離Δが、閾値ｔｈ１以上であるか判別する（ステップＳ２０８）。そして、距離Δが閾値ｔｈ１以上であった場合（ステップＳ２０８；ＮＯ）、制御部１００はｎ個目の顔の画像の人物はｈ人目の人物ではないと判別する。
【００６６】
一方、距離Δが閾値ｔｈ１より小さい場合（ステップＳ２０８；ＹＥＳ）、ｎ個目の顔の画像の人物はｈ人目の人物であり得るので、次に制御部１００は距離Δが１〜ｈ人目の人物について算出された距離の中で最小距離であったか否か判別する（ステップＳ２０９）。
【００６７】
距離Δが１〜ｈ人目の人物について算出された距離の中で最小距離であった場合（ステップＳ２０９；ＹＥＳ）、ｈ人目の人物は、ｎ個目の顔の人物の候補であるため、制御部１００はｈ人目の人物を一時保存メモリに保存する（ステップＳ２１０）。
【００６８】
一方、距離Δが１〜ｈ人目の人物うちの最小距離で無い場合（ステップＳ２１０；ＮＯ）、ｈ人目の人物より、その最小距離にある人物がｎ個目の顔の人物である蓋然性が高いため、制御部１００はステップＳ２１０をスキップする。
【００６９】
Ｓ２０９又はＳ２１０でＮＯと判別されるか、ステップＳ２１１の処理を終了すると、制御部１００はｈ人目の人物についての処理を終了する。即ち、制御部１００はカウンタ変数ｈをインクリメントし（ステップＳ２１１）、期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストに登録された全ての人物について処理を終了したか判別する（ステップＳ２１２）。即ち、インクリメント後のｈが、期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストに登録された全ての人物の数（Ｈ）より大きいか判別し、大きい場合は（ステップＳ２１２；ＹＥＳ）すべての人物について処理が終了したと判別して処理を終了する。
一方、ｈがＨ以下の場合、未処理の人物があると判別し、次の判別対象となる人物についてステップＳ２０４からステップＳ２１２までの処理を行う。
【００７０】
以上で本実施形態のｎ個目の顔の人物判別処理についての説明を終わる。ｎ個目の顔の人物判別処理が終わると、制御部１００は図２のステップＳ１０５以下の処理を実行する。
【００７１】
このような処理を実行することにより、本実施形態に係る情報処理装置２０によれば、人物の顔の画像の撮影（取得）時期にかかわらず、正確に該当する人物を特定することができる。
【００７２】
次に、本実施形態の情報処理装置２０が実施する処理を図７を参照して具体例に基づいて説明する。
【００７３】
ここでは、情報処理装置２０が、メールアドレスａ＠ｘｘｘ．ｃｏ．ｊｐを持つ送信者Ａから、画像を受信した場合に行われる処理の概要を説明する。
説明の前提として、情報処理装置２０の期間別基準特徴量記憶部２０４は、判別対象となる人物Ｈ１及びＨ２について基準特徴量を予め期間別基準特徴量リストに保存しているものとする。具体的には、人物Ｈ１に関して、Ｈ１が赤ん坊だった時期の１９９５年３月２日から１９９５年６月１日に対応する基準量Ｂ１、Ｈ１が少年だった時期の２００８年５月２日から２００９年２月１０日に対応する基準量Ｂ２、Ｈ１が青年である時期の２００９年２月１１日から２０１０年３月２４日までに対応する基準量Ｂ３、等を記憶している。また、人物Ｈ２に関して、１９８５年７月１７日から１９８７年９月４日に対応する基準量Ｂ４、２０００年２月１２日から２００８年１２月８日に対応する基準量Ｂ５、２００８年１２月９日から２０１０年４月１日までに対応する基準量Ｂ６、等を記憶している。
【００７４】
また、情報処理装置２０の人物情報記憶部２０５は、送信者Ａが、過去に、人物Ｈ１の顔を含む画像を１１５回、人物Ｈ２の顔を含む画像を５回送信したことをメール受信回数リストに保存しているものとする。
【００７５】
送信者Ａは、２０１０年４月２日に撮影された画像Ｉ１を、メールサーバ１０を介して情報処理装置２０に新たに送信している（ステップＴ１）。情報処理装置２０は、受信した画像Ｉ１中の顔の画像Ｉ２を特定し、特定した顔の画像Ｉ２から顔特徴量を算出する（ステップＴ２、図５；ステップＳ１０１，図６；ステップＳ２０２）。
【００７６】
情報処理装置２０は、撮影日に最も近い期間に対応する基準特徴量を、人物Ｈ１と人物Ｈ２とについて選択する。具体的には、Ｈ１について、１９９５年３月２日〜１９９５年６月１日と、２００８年５月２日〜２００９年２月１０日と、２００９年２月１１日〜２０１０年３月２４日のうち、画像Ｉ１の撮影時である２０１０年４月２日に最も近い時期である２００９年２月１１日〜２０１０年３月２４日に対応する基準量Ｂ３を選択する（ステップＴ３、図６；ステップＳ２０４）。同様に、人物Ｈ２について最も近いＢ６を選択する（ステップＴ４、図６；ステップＳ２０４）。
【００７７】
次に、検出した顔の画像の特徴量と、選択された基準特徴量を特徴空間に当てはめる。具体的には、まず人物Ｈ１の基準量Ｂ３との距離Δ１を算出する（ステップＴ５、図６；ステップＳ２０５）。さらに、メール受信回数リストから、送信者Ａが人物Ｈ１を含む画像を送信した回数１１５回を取得し（図６；ステップＳ２０６）、式（２）にａ＝１１５を代入して補正値ｆ（＝１＋ｌｏｇ（１１５）＝３．０６）を算出する。さらに、内部メモリから閾値thを読み出し、算出した補正値ｆと乗算して補正した閾値ｔｈ１（＝３．０６・ｔｈ）を求める（ステップＴ６、図６；ステップＳ２０７）。これは、特徴空間上でＨ１と判別される範囲Ｒ１を算出することと等しい。
同様に、人物Ｈ２の基準量Ｂ６との距離Δ２を算出し（ステップＴ７、図６；ステップＳ２０５）、送信者Ａが人物Ｈ２を含む画像を送信した回数５回を取得し（図６；ステップＳ２０６）、補正値ｆ（＝１＋ｌｏｇ（５）＝１．７０）を算出する。そして、閾値ｔｈと補正値ｆを乗算し、補正した閾値ｔｈ２（＝１．７０・ｔｈ）を求める（ステップＴ８、図６；ステップＳ２０７）。これは、特徴空間上でＨ２と判別される範囲Ｒ２を算出することと等しい。
【００７８】
顔の画像Ｉ２の顔特徴量は、基準量Ｂ３を中心とした半径Ｒ１の範囲内にある。
一方、算出された顔特徴量は、基準量Ｂ６を中心とした半径Ｒ２の外にある。
その他により近い人物が居ないので、顔の画像Ｔ２は人物Ｈ１の顔の画像であると判別される（ステップＴ９）。
【００７９】
上記の説明のとおり、実施形態１に係る情報処理装置２０は、判別対象となる人物の顔の特徴量を、その特徴量が対応する期間と対応づけて記憶して、判別対象となる画像の生成日時（撮影日時）に即した特徴量を用いて判別を行う。
そのため、情報処理装置２０によれば、その人がどのような顔であるか、期間に分けて期間毎に判別することが出来るため、顔が頻繁に変わる時期には短い期間に対応する判別用の特徴量を必要な数だけ記憶し、顔の特徴が安定している場合には長い期間に対応する判別用の特徴量を記憶することにより、必要な記憶容量と処理量が膨大に成らず、人の顔の変化に対応して顔認識精度を高めることが出来る。
【００８０】
また、情報処理装置２０は、送信者と判別対象となる人物の親密度を、送信者がその人物の顔が含まれる画像を送信した回数に基づいて算出し、算出した親密度に基づいて判別結果を修正する。
このため、情報処理装置２０によれば、送信者と判別対象となる人物の関係に基づいた、より精度の高い判別を行うことが出来る。
【００８１】
（実施形態２）
次に、本発明の実施形態２について説明する。実施形態２は、実施形態１の構成に加え、受信した画像に含まれる顔の特徴量に基づいて期間別基準特徴量リストを更新する構成を持つことを特徴とする。
【００８２】
実施形態２に係る情報処理システム２、及び情報処理装置２１の構成は実施形態１の情報処理システム１及び情報処理装置２０と同様である。
【００８３】
実施形態２においては、実施形態１と比して記憶装置２００の期間別基準特徴量記憶部２０４が記憶する期間別基準特徴量リストの構成が異なる。
実施形態２において、記憶装置２００の期間別基準特徴量記憶部２０４が記憶する期間別基準特徴量リストの構成を、図８を参照して説明する。
【００８４】
実施形態２に係る期間別基準特徴量リストは、実施形態１に係る期間別基準特徴量リストと比して、基準特徴量に対応して、開始日の特徴量と、終了日の特徴量と、をさらに記憶する点で異なる（図８）。
【００８５】
続いて、実施形態２に係る情報処理装置２１が実行する処理について、図９〜図１１を参照して説明する。
【００８６】
情報処理装置２１の通信部３００は、メールサーバ１０から画像を受信すると、制御部１００の通信制御部１０１に受信を通知し、併せて受信した画像と送信者の情報とを伝達する。制御部１００は、受信を通知されると図９に示す顔認識・登録処理２を開始する。
【００８７】
顔認識・登録処理２は、ｎ個目の顔の判別処理を行ったあとに基準特徴量を更新する処理を行う点で、実施形態１に係る顔認識・登録処理１（図５）と異なる。
【００８８】
顔認識・登録処理２において、顔検出処理（ステップＳ３０１）からｎ個目の顔の人物判別処理（ステップＳ３０４）までの処理は、実施形態１における処理（図５；ステップＳ１０１〜ステップＳ１０４、図６）と同様に実行される。
【００８９】
ｎ個目の顔の人物判別処理（ステップＳ３０４）が終わると、次に制御部１００は基準特徴量更新処理（ステップＳ３０５、図１０）を行う。
【００９０】
ここで、基準特徴量更新処理を、図１０と図１１を参照して説明する。なお、図１１は図１０のステップＳ４０３〜ステップＳ４１０で行われる処理の概要を示す図である。顔認識・登録処理２のステップＳ３０５に至ると、制御部１００は図１０に示す基準特徴量更新処理を開始する。
【００９１】
まず、制御部１００は、顔認識・登録処理２のステップＳ３０４において、ｎ番目の顔の人物が誰であると判別されたか取得する。そして、判別された人物が、すでに期間別基準特徴量リストに登録された人物であるか否か判別する（ステップＳ４０１）。
【００９２】
判別された人物が、すでに期間別基準特徴量リストに登録された人物でない場合（ステップＳ４０１；ＮＯ）、制御部１００はその人物を新たな人物として期間別基準特徴量リストに登録する（ステップＳ４１１）。具体的には、制御部１００は、判別された人物に新しい人物ＩＤを発行する。また、記憶制御部１０４が、記憶装置２００の期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストに、新しい人物ＩＤを、新たな基準特徴量と対応づけて記憶する。ここでは、新たな基準特徴量として、ｎ個目の顔の人物判別処理のステップＳ２０２（図６）で算出された特徴量が記憶される。
【００９３】
このとき、新たな基準特徴量には、受信した画像の生成日が対応する期間の開始日時と終了日時として登録される。
【００９４】
一方、判別された人物が、予め期間別基準特徴量リストに登録された人物である場合（ステップＳ４０１；ＹＥＳ）、制御部１００はその人物に対応する基準特徴量とその期間を更新する処理を実行する（ステップＳ４０２〜ステップＳ４１０）。
【００９５】
その人物に対応する基準特徴量とその期間を更新する処理では、制御部１００はまず期間別基準特徴量リストに、その人物と対応して、受信した画像の生成日を含む期間の基準特徴量が登録されているか判別する（ステップＳ４０２）。
具体的には、制御部１００の記憶制御部１０４が、期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストを参照し、制御部１００がその人物を示す人物ＩＤと対応して、画像の生成日時を含む期間が記憶されているか判別する。
【００９６】
画像の生成日時を含む期間が記憶されている場合（ステップＳ４０２；ＹＥＳ）、その期間に対応する基準特徴量を更新する（ステップＳ４１０）。
具体的な更新方法は任意に設定可能であるが、ここでは期間に対応する基準特徴量と、ｎ個目の顔の人物判別処理のステップＳ２０２で算出された顔の特徴量（判別対象となる顔の特徴量）とを加算して平均することとする。
【００９７】
その他の更新方法として、今までその期間に対応するその人物の基準特徴量が更新された回数等の、現在の基準特徴量の確からしさを算出し、算出した確からしさを重みとして用いて、現在の基準特徴量と判別対象となる顔の特徴量とを加重平均して基準特徴量を更新してもよい。
【００９８】
一方、画像の生成日時を含む期間が記憶されていない場合（ステップＳ４０２；ＮＯ）、制御部１００は、その生成日時から最も近い期間に対応する基準特徴量を特定する（ステップＳ４０３）。
【００９９】
そして、制御部１００は、特定された最も近い期間に対応する基準特徴量に対して、受信した画像の生成日が対応する期間の前か後ろかを判別する（ステップＳ４０４）。
受信した画像の生成日が対応する期間の前であった場合、（ステップＳ４０４；ＹＥＳ、図１１の（Ａ１））、制御部１００は期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストで、その基準特徴量と対応して記憶された終了時の特徴量と、判別対象となる顔の特徴量と、の距離（特徴量の差）Δ１を算出する（ステップＳ４０５）。具体的な距離の算出方法は、ｎ個目の顔の人物判別処理のステップＳ２０５で説明した特徴量の距離算出方法と同じである。
【０１００】
一方、受信した画像の生成日が対応する期間の後であった場合、（ステップＳ４０４；ＮＯ、図１１の（Ｂ１））、制御部１００は期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストで、その基準特徴量と対応して記憶された開始時の特徴量と、判別対象となる顔の特徴量と、の距離（特徴量の差）Δ２を算出する（ステップＳ４０６）。具体的な距離の算出方法は、ｎ個目の顔の人物判別処理のステップＳ２０５で説明した特徴量の距離算出方法と同じである。
【０１０１】
距離の算出処理（ステップＳ４０５又はステップＳ４０６）が終わると、制御部１００は、算出された距離（Δ１又はΔ２）が所定の閾値ｔｈ２より大きいか否か判別する（ステップＳ４０７）。なお、ｔｈ２は予め実験により定められた所定の数値である。
【０１０２】
算出された距離（Δ１又はΔ２）が閾値ｔｈ２より大きい場合（ステップＳ４０７；ＹＥＳ、）、その人物は選択された基準特徴量が対応する期間から画像の生成日時の間に顔が変化したとの推測に基づき、判別対象となる顔特徴量（撮影日の特徴量）を、画像の生成日時を期間の始めと終わりとする新しい基準特徴量として、判別された人物を示す人物ＩＤと対応づけて、期間別基準特徴量リストに登録する（ステップＳ４０９、図１１の（Ａ２）又は（Ｂ２））。
【０１０３】
一方、算出された距離が閾値ｔｈ２以下の場合（ステップＳ４０７；ＮＯ）、その人物は選択された基準特徴量に対応する期間から画像の生成日時の間に顔が変化していないとの推定に基づき、制御部１００は選択された基準特徴量の期間を延長して記憶する（ステップＳ４０８）。具体的には、画像の生成日時を新たな期限に含むように、期限別基準特徴量リストに登録された、選択された基準特徴量に対応する期間の開始時又は終了時を、画像の生成日時に更新して登録し、併せて開始時の特徴量又は終了時の特徴量を判別用の特徴量として更新して登録する（図１１の（Ａ３）又は（Ｂ３））。
【０１０４】
ステップＳ４０８が終わると、選択された基準特徴量を更新する（ステップＳ４１０）。
ステップＳ４０９、ステップＳ４１０又はステップＳ４１１において期間別基準特徴量リストが更新されると、更新された期間別基準特徴量リストが記憶装置２００の期間別基準特徴量記憶部２０４に上書き保存され、基準特徴量更新処理（図９；ステップＳ３０５、図１０）は終了する。
【０１０５】
図９にもどり、基準特徴量更新処理（ステップＳ３０５）が終了すると、制御部１００はその後の処理（ステップＳ３０６〜ステップＳ３０９）を顔認識・登録処理１のステップＳ１０５〜ステップＳ１０８と同様に実行し、顔認識・登録処理２を終了する。
【０１０６】
以上説明したように、本実施形態の情報処理装置２１によれば、新たに受信した画像に含まれる顔の画像の判別結果に基づいて、期間別基準特徴量リストが更新される。そのため、ある人物の顔が変わった時期を推定し、自動的に期間別基準特徴量リストに登録された基準特徴量と対応する期間とを更新することができる。
そのため、判別結果に基づいて、その人物の顔が変わっていく過程に対応して更新された基準特徴量を用いてその後の判別を行うことができ、顔判別精度を高めることができる。また、判別結果に基づいて、その人の顔が変わっていないと判別された場合には基準特徴量が対応する期間を延長するため、判別に必要な基準特徴量を記憶するための容量を適正な量に抑えることができる。
【０１０７】
以上、本発明の実施形態について説明したが、本発明の実施形態は上記に限られるものではない。
【０１０８】
例えば、上記実施形態１及び２では、情報処理装置２０又は情報処理装置２１が画像を受信し、判別・登録処理等を行ったが、本発明の実施形態はこれに限られるものではない。
本発明のその他の実施形態に係る情報処理システム３は、メールサーバ１０が送信した画像を受信・表示装置３０が受信し、受信した画像を情報処理装置２２に伝達し、情報処理装置２２が図９〜図１１に示す処理を行う構成を持つ。
【０１０９】
受信・表示装置３０は、画像をメールサーバ１０から受信し、記憶装置５００に記憶し、記憶装置５００が記憶する画像を表示部８００に表示し、情報処理装置２２に伝達するデジタルフォトフレームであり、制御部４００と、記憶装置５００と、通信部７００と、表示部８００と、入出力部９００と、から構成される。
【０１１０】
制御部４００は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｅｒ）、内部メモリ等から構成され、記憶装置５００と、操作部６００と、通信部７００と、表示部８００と、入出力部９００と、から構成される。
制御部４００は、このような構成により、機能的には、通信制御部４０１、表示制御部４０２、記憶制御部４０３、操作制御部４０４、入出力制御部４０５、として機能する。
【０１１１】
通信制御部４０１は、通信部７００を制御し、メールサーバ１０とインターネットを通じて通信する。具体的には、メールサーバ１０から画像等の情報を受信し、メールサーバ１０に情報を送信する。
【０１１２】
表示制御部４０２は、表示部８００を制御する。具体的には、表示部８００に制御部４００が行った処理結果に基づき画面を表示させる。
【０１１３】
記憶制御部４０３は、記憶装置５００を制御する。具体的には、記憶装置５００に制御部４００の処理結果に基づく情報を記憶させる。また、記憶装置５００に記憶された情報を読み込む。
【０１１４】
操作制御部４０４は、操作部６００が検出したユーザの操作を示す情報を受け取る。
【０１１５】
入出力制御部４０５は、入出力部９００を制御する。具体的には、入出力部９００を用いて情報処理装置２２の入出力部３１０と通信を行って、制御部４００の処理結果に基づく情報を情報処理装置２２に伝達する。また、情報処理装置２２から情報を受け取る。
【０１１６】
記憶装置５００は、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成され、機能的には、画像記憶部５０１を含む。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、制御部４００の作業領域として用いられる。
外部記憶装置は、後述する処理を制御部４００に行わせるためのプログラムと情報とをあらかじめ記憶し、これらのプログラムや情報を制御部４００の指示に従って主記憶装置に伝達する。また、制御部４００の指示に従って、制御部４００の処理に基づく情報を記憶する。
【０１１７】
画像記憶部５０１は、受信・表示装置３０が受信した画像を記憶する。記憶する画像は、例えばデジタルカメラを用いて撮影された写真の画像である。
【０１１８】
情報処理装置２２は、通信部３００の代わりに入出力部３１０を持ち、制御部１００が通信制御部１０１に変わって入出力制御部１０５を持つ以外は、実施形態１に係る情報処理装置２０と同じ構成を持つ。
【０１１９】
情報処理システム３では、受信・表示装置３０がメールサーバ１０から画像を受信すると、入出力部９００を介して情報処理装置２２に伝達される。その後、情報処理装置２２が実行する処理は、実施形態２に係る情報処理装置２１が行う処理と同様である。
【０１２０】
なお、上記実施形態に係る情報処理システムを、メールサーバ１０をシステムに含まない構成として構築することも可能である。
【０１２１】
また、上記実施形態では送信者をメールアドレスで定義したが、送信者を人物ＩＤで定義してもよい。また、一人の送信者に対して複数のメールアドレスを定義してもよい。
【０１２２】
また、上記実施形態では情報処理装置が受信した判別対象となる人物の画像を含む画像の受信回数に基づいて親密度を算出したが、本発明で判別対象となる人物と送信者の親密度を算出する方法はこれに限られるものではない。
その他の親密度を算出する方法として、ユーザが自ら人物と送信者の親密度を設定する構成も可能である。また、ユーザと送信者とのメール通信を監視し、判別対象となる人物の名前がメール通信で使われる回数に基づいて親密度を算出してもよい。
【０１２３】
また、親密度から閾値ｔｈ１を補正する方法は、上記実施形態で説明した方法に限られない。その他の補正方法として、親密度と、対応する補正後の閾値と、を記憶する親密度閾値リストを記憶装置に記憶して、親密度閾値リストを参照して補正後の親密度を求めてもよい。
【０１２４】
さらに、親密度に基づいて判別結果を補正する方法は、上記の閾値に親密度を乗算して閾値を大きくする方法に限らない。その他の補正方法として、親密度から算出された補正値に基づいて上記類似度を補正して判別することにより、判別結果を親密度に基づいて補正する方法も可能である。
【０１２５】
なお、制御部１００、記憶装置２００、通信部３００、等から構成される情報処理装置のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する情報処理装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで情報処理装置を構成してもよい。
【０１２６】
また、情報処理装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【０１２７】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【０１２８】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【０１２９】
（付記１）
判別対象の人物の顔の特徴を表す複数の基準顔特徴量を、対応する期間を示す情報と対応づけて記憶する基準顔特徴記憶手段と、
顔の画像を取得する顔画像取得手段と、
前記顔画像取得手段が取得した顔の画像が生成された日時を特定する情報を取得する日時取得手段と、
前記日時取得手段が取得した日時と前記複数の基準顔特徴量に対応する期間とを比較し、比較結果に基づいて、前記基準顔特徴記憶手段に記憶された複数の基準顔特徴量から、前記顔の画像に対応する基準顔特徴量である対応基準顔特徴量を選択する選択手段と、
前記顔画像取得手段が取得した顔の画像から、その顔特徴量である取得顔特徴量を抽出する取得顔特徴抽出手段と、
前記対応基準顔特徴量と前記取得顔特徴量とに基づいて、前記顔画像取得手段が取得した顔の画像の顔を有する人物が前記判別対象の人物であるか否かを判別する判別手段と、
を備えることを特徴とする情報処理装置。
【０１３０】
（付記２）
前記顔画像取得手段は受信手段が受信した画像から顔の画像を検出することにより顔の画像を取得し、
さらに、
前記受信手段が受信した画像の送信者を特定する送信者特定手段と、
前記判別対象の人物と前記送信者との親密度を算出する親密度算出手段と、
を備え、
前記判別手段は、前記対応基準顔特徴量と前記取得顔特徴量と前記親密度とに基づいて判別する、
ことを特徴とする付記１に記載の情報処理装置。
【０１３１】
（付記３）
前記親密度算出手段は、前記受信手段が、前記送信者から、前記判別手段が前記判別対象の人物であると判別した顔の画像を含む画像を受信した回数に基づいて前記親密度を算出する、
ことを特徴とする付記２に記載の情報処理装置。
【０１３２】
（付記４）
前記判別手段が算出した類似度が所定の類似度の閾値よりも高い場合、前記基準顔特徴記憶手段が記憶する前記判別対象の人物の顔の特徴を表す複数の基準顔特徴量の少なくとも一つを、前記取得顔特徴量に基づいて更新する更新手段を、
さらに備えることを特徴とする、付記３に記載の情報処理装置。
【０１３３】
（付記５）
前記更新手段は、前記日時取得手段が取得した日時が、前記対応基準顔特徴量と対応する期間内に含まれる場合に、前記対応基準顔特徴量を前記取得顔特徴量に基づいて更新する、
ことを特徴とする付記４に記載の情報処理装置。
【０１３４】
（付記６）
前記基準顔特徴記憶手段は、前記複数の基準顔特徴量それぞれに対応づけて、前記複数の基準顔特徴量のそれぞれに対応する期間の始まりの日時の顔特徴量と、前記対応する期間の終わりの日時の顔特徴量と、をさらに記憶し、
さらに、
前記始まりの日時と前記終わりの日時とのうち前記取得した日時と遠い方の日時の顔特徴量と前記取得顔特徴量との差を算出する差算出手段を備え、
前記更新手段は、
前記日時取得手段が取得した日時が前記対応基準顔特徴量と対応する期間内に含まれず、かつ前記差算出手段が検出した差が所定の差の閾値よりも大きい場合に、前記取得顔特徴量と前記取得した日時に基づいて新たな期間と新たな基準顔情報量を記憶し、
前記日時取得手段が取得した日時が前記対応基準顔特徴量と対応する期間内に含まれず、かつ前記差算出手段が検出した差が前記差の閾値よりも小さい場合に、前記対応基準顔特徴量と、当該対応基準顔特徴量に対応する期間とを、前記取得顔特徴量と前記取得した日時に基づいて更新する、
ことを特徴とする付記５に記載の情報処理装置。
【０１３５】
（付記７）
コンピュータに、
判別対象の人物の顔の特徴を表す複数の基準顔特徴量を期間の情報と共に記憶する処理、
顔の画像を取得する処理、
前記取得した顔の画像が生成された日時を取得する処理、
期間別に予め記憶している基準顔特徴量のうちから、画像の生成日時と前記複数の基準顔特徴量に対応する期間とを比較し、比較結果に基づいて、前記顔の画像に対応する基準顔特徴量である対応基準顔特徴量を選択する処理、
前記取得した顔の画像から、その顔特徴量である取得顔特徴量を抽出する処理、
前記対応基準顔特徴量と前記取得顔特徴量との類似度を算出することにより、前記取得した顔の画像の顔を有する人物が前記判別対象の人物であるか否かを判別する処理、
を実行させることを特徴とするプログラム。
【符号の説明】
【０１３６】
１…情報処理システム、２…情報処理システム、３…情報処理システム、１０…メールサーバ、２０…情報処理装置、２１…情報処理装置、２２…情報処理装置、３０…受信・表示装置、１００…制御部、１０１…通信制御部、１０２…顔画像検出部、１０３…顔特徴算出部、１０４…記憶制御部、１０５…入出力制御部、２００…記憶装置、２０１…画像記憶部、２０２…顔画像検出プログラム記憶部、２０３…顔特徴量算出プログラム記憶部、２０４…期間別基準特徴量記憶部、２０５…人物情報記憶部、２０６…画像情報記憶部、３００…通信部、３１０…入出力部、４００…制御部、４０１…通信制御部、４０２…表示制御部、４０３…記憶制御部、４０４…操作制御部、４０５…入出力制御部、５００…記憶装置、５０１…画像記憶部、６００…操作部、７００…通信部、８００…表示部、９００…入出力部、１０００…操作部、１１００…表示部
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
人の顔の画像から、その人を認識する技術が知られている。このような技術では、人の顔を認識するに当たって、予め人の顔の特徴をデータベースに記憶しておく。そして、認識対象となる顔の画像から顔特徴量を抽出し、データベースに記憶された顔特徴量と比較して類似度を算出し、算出した類似度に基づいて認識対象となる顔の画像の認識を行う。顔認識に関連して、認識精度を上げるための技術が開発されている。
【０００３】
例えば、特許文献１は、データベースに、一人の人物に対応して、顔の特徴量を日時や表情等の属性毎に複数記憶しておき、認識対象となる人の顔の画像から顔の特徴量と属性とを抽出し、記憶した特徴量の内、抽出した属性に対応する特徴量と比較して認識対象となる人の顔の画像の認識を行う技術を開示している。
【０００４】
また、特許文献２は、顔認識を行う基準となる顔の特徴量を抽出するための写真を撮影するにあたって、撮影を適切に行えるようにユーザを補助する技術を開示している。特許文献２はさらに、新たに顔の写真を撮影した場合に、予めデータベースに記憶された基準特徴量のうち、新しい写真の撮影日に近い日時に撮影された写真から抽出された基準特徴量に基づいて、新しい写真に写っている顔を認識する技術を開示している。
【０００５】
また、特許文献３は、受信した画像に含まれる顔を認識するに当たって、過去の通信履歴に基づいて認識の基準を修正することにより顔認識の認識精度を高める技術を開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−０６１４６５号公報
【特許文献２】特開２００９−１５３２１９号公報
【特許文献３】特開２００９−１３５６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
成長や加齢等により、人の顔は時間の経過と共に変化するため、従来顔認識の精度が低かった。そこで、顔認識の対象となる被写体の顔が成長・加齢等によって変化していた場合でも、その人であると認識することができる技術が必要とされている。
【０００８】
特許文献１に記載の技術では、顔認識を成長・加齢等による変化に対応して行うためには、その人の顔が長期間にわたって持つ多くの属性に対応する膨大な量の顔特徴量を予め記憶する必要がある。さらに、認識処理に際して、認識対象となる顔の画像がどの属性を持つか判別する処理を行うことが必要になる。そのため、必要な記憶装置の容量と情報処理量とが膨大なものになるという問題点を持つ。
【０００９】
また、特許文献２に記載の技術は、認識対象となる写真の撮影日に近い日時に撮影された写真から抽出された基準特徴量に基づいて顔判別を行う。そのため、顔認識を成長・加齢等による変化に対応して行うためには、長期間に渡って撮影された写真から抽出された多数の基準特徴量を記憶していなければならず、記憶装置の必要容量が大きくなってしまう。
【００１０】
また、特許文献３に記載の技術は、画像の送信者が送信画像に写っている可能性が高いと推定して認識結果を修正するものであり、画像の顔が成長・加齢等によって変化していた場合でも、その人であると認識するという課題の解決に貢献するものではない。
【００１１】
本発明は上記のような事情に鑑みてなされたもので、従来精度が低かった顔認識を、高い認識精度で行うことができる情報処理装置およびプログラムを提供することを目的とする。
また、本発明は、被写体の顔が時間の経過によって変化した場合でも、顔の画像の認識精度が高く、かつ必要記憶容量と情報処理量とが少ない情報処理装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明に係る情報処理装置は、
判別対象の人物の顔の特徴を表す複数の基準顔特徴量を、対応する期間を示す情報と対応づけて記憶する基準顔特徴記憶手段と、
顔の画像を取得する顔画像取得手段と、
前記顔画像取得手段が取得した顔の画像が生成された日時を特定する情報を取得する日時取得手段と、
前記日時取得手段が取得した日時と前記複数の基準顔特徴量に対応する期間とを比較し、比較結果に基づいて、前記基準顔特徴記憶手段に記憶された複数の基準顔特徴量から、前記顔の画像に対応する基準顔特徴量である対応基準顔特徴量を選択する選択手段と、
前記顔画像取得手段が取得した顔の画像から、その顔特徴量である取得顔特徴量を抽出する取得顔特徴抽出手段と、
前記対応基準顔特徴量と前記取得顔特徴量とに基づいて、前記顔画像取得手段が取得した顔の画像の顔を有する人物が前記判別対象の人物であるか否かを判別する判別手段と、
を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、従来精度が低かった顔認識を、高い認識精度で行うことが出来る。
また、本発明によれば、被写体の顔が時間の経過によって変化した場合でも、認識精度が高く、かつ必要記憶容量と情報処理量とが少ない。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態１に係る情報処理システムの構成を示すブロック図である。
【図２】実施形態１に係る期間別基準特徴量リストの構成を示す図である。
【図３】実施形態１に係るメール受信回数リストの構成を示す図である。
【図４】実施形態１に係る画像情報リストの構成を示す図である。
【図５】実施形態１に係る情報処理装置が実行する顔認識・登録処理を示すフローチャートである。
【図６】実施形態１に係る情報処理装置が実行するｎ個目の顔の人物判別処理を示すフローチャートである。
【図７】実施形態１に係る情報処理装置の処理の概要を示す図である。
【図８】本発明の実施形態２に係る期間別基準特徴量リストの構成を示す図である。
【図９】実施形態２に係る情報処理装置が実行する顔認識・登録処理を示すフローチャートである。
【図１０】実施形態２に係る情報処理装置が実行する基準特徴量更新処理を示すフローチャートである。
【図１１】実施形態２に係る基準特徴量更新処理の概要を示す図である。
【図１２】その他の実施形態に係る情報処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態に係る情報処理システムを、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。
【００１６】
（実施形態１）
まず、本発明の実施形態１に係る情報処理システム１の構成について説明する。実施形態１に係る情報処理システム１は、画像が添付された電子メールを受信し、受信した画像に人の顔の画像が含まれているか判別し、人の顔が含まれている場合には、その画像が生成された日時に基づいて顔認識を行うことにより、受信した画像に予め登録された人物の顔の画像が含まれるか否か判別する。
【００１７】
情報処理システム１は、メールサーバ１０と、情報処理装置２０と、から構成される。
メールサーバ１０は、他機器から画像等の情報を受信し、情報処理装置２０に送信する。メールサーバ１０は、ＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ等の既存の任意のメールサーバから構成される。
【００１８】
情報処理装置２０は、メールサーバ１０から画像が添付された電子メールを受信し、記憶装置２００に記憶し、記憶装置２００に予め記憶された既存の人の顔情報に基づいて画像に予め記憶された人物の顔が含まれているか判別する情報処理装置（コンピュータ）であり、制御部１００と、記憶装置２００と、通信部３００と、から構成される。
【００１９】
制御部１００は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｅｒ）、内部メモリ等から構成され、記憶装置２００と、通信部３００と、を制御する。
制御部１００は、このような構成により、機能的には、通信制御部１０１、顔画像検出部１０２、顔特徴算出部１０３、記憶制御部１０４、として機能する。
【００２０】
通信制御部１０１は、通信部３００を制御し、メールサーバ１０とインターネットを通じて通信する。具体的には、メールサーバ１０から画像等の情報を受信し、メールサーバ１０に情報を送信する。
【００２１】
顔画像検出部１０２は、記憶装置２００の顔画像検出プログラム記憶部２０２に記憶された顔画像検出プログラムを用いて、画像に顔の画像が含まれるか判別し、含まれている場合にはその顔の画像を抽出する処理を実行する。
【００２２】
顔特徴算出部１０３は、記憶装置２００の顔特徴量算出プログラム記憶部２０３に記憶された顔特徴量算出プログラムを用いて、顔の画像から顔の特徴量を算出する処理を実行する。
【００２３】
記憶制御部１０４は、記憶装置２００を制御する。具体的には、記憶装置２００に制御部１００の処理結果に基づく情報を記憶させる。また、記憶装置２００に記憶された情報を読み込む。
【００２４】
記憶装置２００は、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成される。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、制御部１００の作業領域として用いられる。
外部記憶装置は、後述する処理を制御部１００に行わせるためのプログラムと情報とをあらかじめ記憶し、これらのプログラムや情報を制御部１００の指示に従って主記憶装置に伝達する。また、制御部１００の指示に従って、制御部１００の処理に基づく情報を記憶する。
【００２５】
記憶装置２００は、上記物理構成により、機能的には、画像記憶部２０１と、顔画像検出プログラム記憶部２０２と、顔特徴量算出プログラム記憶部２０３と、期間別基準特徴量記憶部２０４と、人物情報記憶部２０５と、画像情報記憶部２０６と、から構成される。
【００２６】
画像記憶部２０１は、通信部３００が受信した画像と、制御部１００が処理した画像と、を記憶する。ここで受信した画像は任意の画像であって良いが、例えばデジタルカメラを用いて撮影された人物のスナップ写真の画像等であることが望ましい。
【００２７】
顔画像検出プログラム記憶部２０２は、画像に人の顔の画像が含まれているか判別し、含まれている場合にはその顔の画像を検出する顔画像検出プログラムを記憶する。顔画像検出プログラムの種類は任意であるが、例えば（ｉ）Ｈａａｒ−ｌｉｋｅ特徴を使った顔画像検出プログラム、（ｉｉ）ＨＯＧ （Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）特徴を使った顔画像検出プログラム、（ｉｉｉ）画像の各画素のうち人肌の色と推定した色の画素が占める領域を検出し、当該領域の形状と所定の形状との比較結果に基づいてその部分が顔であるか判別することにより顔を検出する顔画像検出プログラム、等の既知の任意の顔画像検出プログラムを採用できる。
これらの顔画像検出プログラムは、ある画像が人の顔の画像を複数含んでいる場合には、各顔の画像をそれぞれ検出する。
【００２８】
顔特徴量算出プログラム記憶部２０３は、人の顔の画像から顔特徴量を算出する顔特徴量算出プログラムを記憶する。顔特徴算出プログラムの種類は任意であるが、例えば（ｉ）顔の画像から、顔の大きさ・方向等を正規化した後、顔の画像の形状を抽出して目・鼻・口等の位置を特定して、これらの位置を特徴として抽出する顔特徴検出プログラム、（ｉｉ）正面でない方向から撮影された顔の画像を３次元的に正規化し、検出対象となる眉の位置等の顔の特徴を抽出する顔特徴量検出プログラム、（ｉｉｉ）事前にトレーニングデータを独立成分分析して基底を求め、受信した顔の画像を正規化した画像をこれらの基底の線形結合として表した場合の線形結合係数を顔特徴量として抽出する顔特徴量検出プログラム、等の任意の既知の顔特徴量検出プログラムであってよい。
【００２９】
期間別基準特徴量記憶部２０４は、判別対象となる人物毎に、期間別に顔認識の基準となる顔特徴量の基準値を登録した期間別基準特徴量リストを記憶する。
【００３０】
ここで、期間別基準特徴量記憶部２０４が記憶する期間別基準特徴量リストについて、図２を参照して説明する。期間別基準特徴量リストは、判別対象となる人物を示す人物ＩＤと、各人物の顔特徴を示す基準特徴量と、基準特徴量に対応する期間の開始時と終了時と、等を対応づけて予め記憶する。
【００３１】
ここで、人物ＩＤは登録された判別対象となる人物を一意に示す識別子（ＩＤ、Ｉｄｅｎｔｉｆｉｅｒ) である。
【００３２】
期間別基準特徴量リストには、各人物ＩＤに対して、少なくとも一つの基準特徴量とその期間が対応づけて記憶されている。基準特徴量は、判別対象となる顔の画像が、人物ＩＤが示す人物の顔であるか否かを判別する基準となる顔特徴量である。基準特徴量のパラメータは、情報処理装置２０が採用する顔認識プログラムで用いられる顔特徴量によって定まるが、ここでは正規化した顔の画像における右眉の内端、左眉の内端、右目の内端、右目の外端、左目の内端、左目の外端、鼻の下端、鼻の上端、口の左端、口の右端、の位置等をパラメータとする。
なお、図２では見やすくするために期間別基準特徴量リストに記憶されている特徴量のパラメータを一部省略して表記している。
【００３３】
各基準特徴量には対応する期間が定められている。対応する期間は、基準特徴量の行の開始時が示す日と終了時が示す日の間の期間である。ここでいう基準特徴量に対応する期間とは、対応する人物ＩＤの人物の顔が、その基準特徴量で表される特徴を持っていると推定される期間を表す。
【００３４】
受信した画像に含まれる顔の画像が、登録された人物の誰であるか、あるいは新たな人物であるかの判別は、期間別基準特徴量リストに記憶された基準特徴量を用いて行われる。また、期間別基準特徴量リストは、後述する処理に基づいて更新される。
期間別基準特徴量リストを用いた判別処理、更新処理については後述する。
【００３５】
図１に戻って、人物情報記憶部２０５は、期間別基準特徴量リストに登録された判別対象となる人物毎に、その人物の顔の画像を含んでいると判別された画像を受信した回数を、その画像を送信した送信者と対応づけて記憶するメール受信回数リストを記憶する。
【００３６】
ここで、メール受信回数リストについて図３を参照して説明する。メール受信回数リストは、人物ＩＤ、送信者、受信回数、等を対応づけて記憶する。
【００３７】
人物ＩＤは、判別対象となる人物を一意に表す識別子である。メール受信回数リストの人物ＩＤは、期間別基準特徴量リストの人物ＩＤと対応する。
【００３８】
メール受信回数リストには予め、一つの人物ＩＤに対応して、一又は複数の送信者と受信回数とが対応づけて記憶されている。
送信者は、対応する人物ＩＤが示す人物の顔を含む画像を情報処理装置２０に送信した事がある人物を示す。送信者は、送信者が画像をメールで送信したメールアドレスによって定義されている。
受信回数は、対応する送信者のメールアドレスから、対応する人物ＩＤが示す人物の顔を含むと判別された画像を情報処理装置２０が受信した回数を示す。
【００３９】
本実施形態では、メール受信回数リストに登録された受信回数に基づいて、人物ＩＤが示す判別対象となる人物と送信者との親密度を推定する。送信者が情報処理装置２０に対して、人物ＩＤが示す人物の顔を含むと判別された画像を送った回数が多ければ、送信者と人物ＩＤが示す人物は親密であると推定される。そこで、本実施形態では、新たにその送信者が情報処理装置２０に送信した画像にその人物ＩＤが示す人物の顔の画像が含まれている可能性が高いと推定して、その送信者が送信した新たな画像に含まれている顔の画像とその人物ＩＤが示す人物の顔の基準特徴量との類似度が高くなるように修正する。
また、メール受信回数リストは、後述する顔認識・登録処理で更新され、記憶される。
【００４０】
図１に戻って、画像情報記憶部２０６は、画像ＩＤと、各画像の画像ファイルと、送信者と、その画像に顔が含まれていると判別された人物の人物ＩＤと、を対応づけて記録する画像情報リストを記憶する。
【００４１】
ここで、画像情報リストについて図４を参照して説明する。
画像情報リストは、各画像を表す画像ＩＤと、画像ファイルの場所と、その画像を送信した人物のアドレス（送信者）と、その画像に含まれる顔の画像の人物（人物ＩＤ）と、を対応づけて記憶する。
【００４２】
画像ＩＤは、画像を一意に表す識別子である。
【００４３】
画像ファイルは、その画像のファイルとファイルの保存場所とを表す。
【００４４】
送信者は、その画像を送信した人物のメールアドレスを示す。画像情報リストの送信者は、メール受信回数リストに登録された送信者と対応する。
【００４５】
人物ＩＤは、その画像に含まれる顔の画像の、顔を有する人物を示す人物ＩＤである。画像情報リストの人物ＩＤは、メール受信回数リストの人物ＩＤ及び期間別基準特徴量リストの人物ＩＤと対応する。画像情報リストは画像ＩＤと対応して、その画像ＩＤが示す画像に含まれる顔の画像の数だけ人物ＩＤを対応して記憶している。
【００４６】
画像情報リストは、後述する顔認識・登録処理において更新して記録される。画像情報リストは、各画像に対して、送信者と、どの人物の顔の画像が含まれるかと、を登録しているので、後にある人物（例えばＨ１）が含まれる画像を全て検索する場合等に利用することが出来る。
【００４７】
図１に戻って、通信部３００は、制御部１００の通信制御部１０１から制御され、メールサーバ１０から画像等の情報を受信し、受信した情報を、送信者を示す情報（アドレス等）と併せて通信制御部１０１に伝達する。
通信部３００は、物理的にはネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインターフェースまたはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インターフェースから構成されている。通信部３００は、ネットワークを介して、他のユーザに情報処理装置２０に記憶された情報を伝達する。また、他のユーザから情報を受信する。
【００４８】
情報処理装置２０は、キーボード等から構成される操作部１０００を備え、ユーザからの設定入力を受け付ける。さらに、液晶パネル等から構成される表示部１１００を備え、制御部１００の処理結果をユーザに表示する。情報処理装置２０を構成する制御部１００、記憶装置２００、通信部３００、操作部１０００、表示部１１００、等は、それぞれ内部パスによって接続されている。
【００４９】
次に、情報処理装置２０が実行する処理を、図１〜図６を参照して説明する。
情報処理装置２０の通信部３００は、メールサーバ１０から画像を受信すると、制御部１００の通信制御部１０１に受信を通知し、併せて受信した画像と送信者の情報とを伝達する。制御部１００は、受信を通知されると図５に示す顔認識・登録処理１を開始する。
【００５０】
顔認識・登録処理１を開始すると、まず、制御部１００の記憶制御部１０４が顔画像検出プログラム記憶部２０２に記憶された顔画像検出プログラムを読み出し、読み出した顔画像検出プログラムを用いて制御部１００の顔画像検出部１０２が受信した画像から顔の画像を検出し、検出した顔の画像を正規化する（ステップＳ１０１）。ステップＳ１０１で読み出す顔画像検出プログラムは任意であるが、ここではＨＯＧ特徴を使った顔検出プログラムを読み出す事とする。
【００５１】
次に、制御部１００はステップＳ１０１で顔が検出されたか否かを判別する（ステップＳ１０２）。顔の画像が一つも検出されなかった場合（Ｓ１０２；ＮＯ）、受信した画像は人の顔の画像を含まないため、処理対象ではないと判別し、制御部１００は顔認識・登録処理を終了する。
一方、ステップＳ１０１で、受信した画像から少なくとも一つの顔の画像を検出できた場合（ステップＳ１０２；ＹＥＳ）、制御部１００は検出したそれぞれの顔に番号を定義し、併せて内部メモリのカウンタ変数ｎに１を代入する（ステップＳ１０３）。そして、ステップＳ１０４からステップＳ１０６において、カウンタ変数ｎが示す番号の顔の画像（ｎ個目の顔の画像）について処理を行う（ステップＳ１０４〜ステップＳ１０６）。
【００５２】
まず、ｎ個目の顔の画像が、誰の顔であるか判別する人物判別処理を行う（ステップＳ１０４）。具体的には、ｎ個目の顔が、期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストに登録された判別対象となる人物の何れかの顔に一致するか、また新たな人物の顔であるかが判別される。併せて、判別された人物の人物ＩＤが検出される。
ここで行われる顔の人物判別処理については後述する。
【００５３】
ステップＳ１０４でｎ個目の顔の判別処理が行われ、ｎ個目の顔の画像が何れかの顔に一致すると判別し、その人物の人物ＩＤを検出すると、制御部１００はその人物ＩＤのメール受信回数を加算する処理を行なう（ステップＳ１０５）。具体的には、制御部１００の記憶制御部１０４が、記憶装置２００の人物情報記憶部２０５に記憶された図３に示すメール受信回数リストの、ステップＳ１０４で検出された人物ＩＤと送信者との行の受信回数をインクリメントして、メール受信回数リストを更新して記憶する。
【００５４】
次に、制御部１００は画像情報リストを更新する（ステップＳ１０６）。具体的には、制御部１００の記憶制御部１０４は、記憶装置２００の画像情報記憶部２０６に記憶された図４に示す画像情報リストを更新して保存する。即ち、受信した画像に画像ＩＤを定義し、画像ファイルとして画像記憶部２０１に記憶する。併せて、定義した画像ＩＤと、受信した画像を保存した場所とファイル名と、受信した画像を送信した送信者のアドレスと、ステップＳ１０４で検出された人物ＩＤと、を対応づけて新たに画像情報リストに登録して記憶する。
【００５５】
次に、制御部１００はカウンタ変数ｎをインクリメントし（ステップＳ１０７）、ステップＳ１０１で検出された顔の全てについて処理が終了したか判別する（ステップＳ１０８）。即ち、インクリメント後のｎが、ステップＳ１０１で検出された顔の個数より大きいか否かを判別する。
インクリメント後のｎがステップＳ１０１で検出された顔の個数以下である場合（ステップＳ１０８；ＮＯ）、未処理の顔の画像があるので、次の顔の画像についてステップＳ１０４からステップＳ１０７までの処理を行う。
その後、インクリメント後のｎが、ステップＳ１０１で検出された顔の個数より大きいと判別されると（ステップＳ１０８；ＹＥＳ）、すべての顔の画像について処理が終了したので、今回の顔認識・登録処理１を終了する。
【００５６】
次に、顔認識・登録処理１のステップＳ１０４で実行されるｎ個目の顔の人物判別処理について、図６を参照して詳細に説明する。
【００５７】
図５で示した顔認識・登録処理１のステップＳ１０４に至ると、制御部１００は図６に示すｎ個目の顔の人物判別処理を開始する。まず、制御部１００はｎ個目の顔の画像に付帯する情報を取得する（ステップＳ２０１）。具体的には、受信した画像の送信者を示す情報（送信者のアドレス）を、通信制御部１０１から取得する。併せて、受信した画像ファイルのヘッダ部等から、受信した画像の撮影日を取得する。具体的には、例えば、受信した画像がヘッダ部に撮影日が定義されている画像ファイル（例えばｅｘｉｆ形式のファイル）である場合は、ヘッダ部から定義された撮影日を取得する。また、受信した画像のヘッダ部等に撮影日を示す情報が無い場合には、その画像を受信した日を撮影日として推定する。あるいは、ユーザが受信した時に撮影日を入力してもよい。
【００５８】
次に、ｎ個目の顔の画像から顔の特徴量を算出する（ステップＳ２０２）。具体的には、制御部１００の記憶制御部１０４が顔特徴算出プログラム記憶部２０３から顔特徴算出プログラムを読み出す。そして、制御部１００の顔特徴算出部１０３が読み出したプログラムを用いてｎ個目の顔の画像から顔特徴量を算出する。ステップＳ２０２で読み出す顔特徴量算出プログラムは任意であるが、ここでは顔の画像の形状を抽出して目・鼻・口等の位置を特定して、これらの位置を特徴として算出する顔特徴量算出プログラムを読み出すこととする。
ここで、顔の画像から顔特徴量を抽出することは、換言すると、顔の画像を顔特徴量の各パラメータを軸とする、顔特徴量のパラメータ数を次元数とする特徴空間に顔の画像を配置することである。
【００５９】
ステップＳ２０２を終了すると、制御部１００は内部メモリのカウンタ変数ｈに１を代入する（ステップＳ２０３）。
【００６０】
ステップＳ２０３を終了すると、制御部１００は、図２に示す期間別基準特徴量リストのｈ人目の人物の判別用顔特徴を取得する（ステップＳ２０４）。
具体的には、制御部１００の記憶制御部１０４は、記憶装置２００の期間別基準特徴量記憶部２０４に記憶されている期間別基準特徴量リストを参照し、登録順にｈ人目の人物の人物ＩＤを検出して当該人物ＩＤに対応して登録されている期間の開始日と終了日とを読み出す。そして、読み出した期間の開始日と終了日と、ステップＳ２０１で取得した撮影日と、から対応する期間の基準特徴量を選択する。
即ち、撮影日を含む期間に対応する基準特徴量が、ｈ人目の人物ＩＤに対して登録されている場合は、その基準特徴量を選択する。一方、撮影日を含む期間に対応する基準特徴量が無い場合には、最も近い開始時又は終了時を持つ期間に対応する基準特徴量を選択する。
基準特徴量を選択することは、換言すれば、上記顔の画像が配置された特徴空間上に、基準となる点（基準点）を選択することである。
【００６１】
そして、制御部１００はステップＳ２０２で算出した顔の特徴量と、ステップＳ２０４で選択した基準特徴量との距離を算出して類似度を求める（ステップＳ２０５）。類似度の求め方は、任意の既知の顔類似度を求める方法を用いて良いが、ここでは以下のように距離を算出して、算出した距離を類似度とする。このとき、距離が大きいと類似度が低く、距離が小さいと類似度が高い。
具体的には、上記二つの特徴量の各特徴量パラメータそれぞれについて差を算出し、算出したパラメータ毎の差を二乗して加算し、加算した値の平方根を求める。
このとき、各パラメータの差の二乗に、実験等によって求めた重みを乗算して加算する。
具体的な式は、式（１）のとおりである。なお、式（１）では特徴量のパラメータ数をｋとする。ステップＳ２０２で算出した特徴量の各パラメータをＰ１１〜Ｐ１ｋ、ステップＳ２０５で選択された基準特徴量の各パラメータをＰ２１〜Ｐ２ｋ、実験によって求められた各パラメータの重みをＷ１〜Ｗｋ、算出された距離をΔとする。
【数１】
・・・（１）
【００６２】
ここで、Δは特徴空間における顔の画像と基準点との距離である。
なお、ここでは類似度を二つの特徴量の各特徴量パラメータそれぞれについて差を算出し、算出したパラメータ毎の差を二乗して加算し、加算した値の平方根によって定めたが、類似度を算出する式は上記式（１）に限定されず、例えば式（１）から平方根を削除した式であって良い。
【００６３】
ステップＳ２０５で特徴量の距離を算出すると、次に制御部１００はｈ人目の受信回数を取得する（ステップＳ２０６）。具体的には、制御部１００の記憶制御部１０４が、記憶装置２００の人物情報記憶部２０５に記憶されているメール受信回数リストを参照し、ｈ人目の人物の人物ＩＤと送信者に対応する受信回数を取得する。
【００６４】
ステップＳ２０６でｈ人目の受信回数を取得すると、制御部１００は閾値を算出する。具体的には、実験等によって求められた所定の閾値ｔｈに、ｈ人目の受信回数によって定まる補正値ｆを乗算して補正された閾値ｔｈ１（＝ｔｈ・ｆ）を求める。
補正値の算出方法は任意の方法であって良いが、ここでは以下の式（２）によって算出される値とする。なお、式（２）ではステップＳ２０６で取得したｈ人目の受信回数をaとする。
ｆ（ａ）＝１＋ｌｏｇ（ａ＋１）…（２）
ここで補正値ｆ(a)は、ｈ人目の人物と送信者との親密度を表し、受信した画像にh人目の人物の顔の画像が含まれていると想定される程度を示す。
即ち、画像の受信回数が多いほど、換言すると、親密度が高いほど、閾値ｔｈ１を大きくして、一致すると認識する範囲を広くする。このとき、補正値の上限を定め、一致すると認識する範囲が所定の範囲よりも大きくならないようにしてもよい。
【００６５】
ステップＳ２０７で閾値ｔｈ１を算出すると、次に制御部１００はステップＳ２０５で算出した距離Δが、閾値ｔｈ１以上であるか判別する（ステップＳ２０８）。そして、距離Δが閾値ｔｈ１以上であった場合（ステップＳ２０８；ＮＯ）、制御部１００はｎ個目の顔の画像の人物はｈ人目の人物ではないと判別する。
【００６６】
一方、距離Δが閾値ｔｈ１より小さい場合（ステップＳ２０８；ＹＥＳ）、ｎ個目の顔の画像の人物はｈ人目の人物であり得るので、次に制御部１００は距離Δが１〜ｈ人目の人物について算出された距離の中で最小距離であったか否か判別する（ステップＳ２０９）。
【００６７】
距離Δが１〜ｈ人目の人物について算出された距離の中で最小距離であった場合（ステップＳ２０９；ＹＥＳ）、ｈ人目の人物は、ｎ個目の顔の人物の候補であるため、制御部１００はｈ人目の人物を一時保存メモリに保存する（ステップＳ２１０）。
【００６８】
一方、距離Δが１〜ｈ人目の人物うちの最小距離で無い場合（ステップＳ２１０；ＮＯ）、ｈ人目の人物より、その最小距離にある人物がｎ個目の顔の人物である蓋然性が高いため、制御部１００はステップＳ２１０をスキップする。
【００６９】
Ｓ２０９又はＳ２１０でＮＯと判別されるか、ステップＳ２１１の処理を終了すると、制御部１００はｈ人目の人物についての処理を終了する。即ち、制御部１００はカウンタ変数ｈをインクリメントし（ステップＳ２１１）、期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストに登録された全ての人物について処理を終了したか判別する（ステップＳ２１２）。即ち、インクリメント後のｈが、期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストに登録された全ての人物の数（Ｈ）より大きいか判別し、大きい場合は（ステップＳ２１２；ＹＥＳ）すべての人物について処理が終了したと判別して処理を終了する。
一方、ｈがＨ以下の場合、未処理の人物があると判別し、次の判別対象となる人物についてステップＳ２０４からステップＳ２１２までの処理を行う。
【００７０】
以上で本実施形態のｎ個目の顔の人物判別処理についての説明を終わる。ｎ個目の顔の人物判別処理が終わると、制御部１００は図２のステップＳ１０５以下の処理を実行する。
【００７１】
このような処理を実行することにより、本実施形態に係る情報処理装置２０によれば、人物の顔の画像の撮影（取得）時期にかかわらず、正確に該当する人物を特定することができる。
【００７２】
次に、本実施形態の情報処理装置２０が実施する処理を図７を参照して具体例に基づいて説明する。
【００７３】
ここでは、情報処理装置２０が、メールアドレスａ＠ｘｘｘ．ｃｏ．ｊｐを持つ送信者Ａから、画像を受信した場合に行われる処理の概要を説明する。
説明の前提として、情報処理装置２０の期間別基準特徴量記憶部２０４は、判別対象となる人物Ｈ１及びＨ２について基準特徴量を予め期間別基準特徴量リストに保存しているものとする。具体的には、人物Ｈ１に関して、Ｈ１が赤ん坊だった時期の１９９５年３月２日から１９９５年６月１日に対応する基準量Ｂ１、Ｈ１が少年だった時期の２００８年５月２日から２００９年２月１０日に対応する基準量Ｂ２、Ｈ１が青年である時期の２００９年２月１１日から２０１０年３月２４日までに対応する基準量Ｂ３、等を記憶している。また、人物Ｈ２に関して、１９８５年７月１７日から１９８７年９月４日に対応する基準量Ｂ４、２０００年２月１２日から２００８年１２月８日に対応する基準量Ｂ５、２００８年１２月９日から２０１０年４月１日までに対応する基準量Ｂ６、等を記憶している。
【００７４】
また、情報処理装置２０の人物情報記憶部２０５は、送信者Ａが、過去に、人物Ｈ１の顔を含む画像を１１５回、人物Ｈ２の顔を含む画像を５回送信したことをメール受信回数リストに保存しているものとする。
【００７５】
送信者Ａは、２０１０年４月２日に撮影された画像Ｉ１を、メールサーバ１０を介して情報処理装置２０に新たに送信している（ステップＴ１）。情報処理装置２０は、受信した画像Ｉ１中の顔の画像Ｉ２を特定し、特定した顔の画像Ｉ２から顔特徴量を算出する（ステップＴ２、図５；ステップＳ１０１，図６；ステップＳ２０２）。
【００７６】
情報処理装置２０は、撮影日に最も近い期間に対応する基準特徴量を、人物Ｈ１と人物Ｈ２とについて選択する。具体的には、Ｈ１について、１９９５年３月２日〜１９９５年６月１日と、２００８年５月２日〜２００９年２月１０日と、２００９年２月１１日〜２０１０年３月２４日のうち、画像Ｉ１の撮影時である２０１０年４月２日に最も近い時期である２００９年２月１１日〜２０１０年３月２４日に対応する基準量Ｂ３を選択する（ステップＴ３、図６；ステップＳ２０４）。同様に、人物Ｈ２について最も近いＢ６を選択する（ステップＴ４、図６；ステップＳ２０４）。
【００７７】
次に、検出した顔の画像の特徴量と、選択された基準特徴量を特徴空間に当てはめる。具体的には、まず人物Ｈ１の基準量Ｂ３との距離Δ１を算出する（ステップＴ５、図６；ステップＳ２０５）。さらに、メール受信回数リストから、送信者Ａが人物Ｈ１を含む画像を送信した回数１１５回を取得し（図６；ステップＳ２０６）、式（２）にａ＝１１５を代入して補正値ｆ（＝１＋ｌｏｇ（１１５）＝３．０６）を算出する。さらに、内部メモリから閾値thを読み出し、算出した補正値ｆと乗算して補正した閾値ｔｈ１（＝３．０６・ｔｈ）を求める（ステップＴ６、図６；ステップＳ２０７）。これは、特徴空間上でＨ１と判別される範囲Ｒ１を算出することと等しい。
同様に、人物Ｈ２の基準量Ｂ６との距離Δ２を算出し（ステップＴ７、図６；ステップＳ２０５）、送信者Ａが人物Ｈ２を含む画像を送信した回数５回を取得し（図６；ステップＳ２０６）、補正値ｆ（＝１＋ｌｏｇ（５）＝１．７０）を算出する。そして、閾値ｔｈと補正値ｆを乗算し、補正した閾値ｔｈ２（＝１．７０・ｔｈ）を求める（ステップＴ８、図６；ステップＳ２０７）。これは、特徴空間上でＨ２と判別される範囲Ｒ２を算出することと等しい。
【００７８】
顔の画像Ｉ２の顔特徴量は、基準量Ｂ３を中心とした半径Ｒ１の範囲内にある。
一方、算出された顔特徴量は、基準量Ｂ６を中心とした半径Ｒ２の外にある。
その他により近い人物が居ないので、顔の画像Ｔ２は人物Ｈ１の顔の画像であると判別される（ステップＴ９）。
【００７９】
上記の説明のとおり、実施形態１に係る情報処理装置２０は、判別対象となる人物の顔の特徴量を、その特徴量が対応する期間と対応づけて記憶して、判別対象となる画像の生成日時（撮影日時）に即した特徴量を用いて判別を行う。
そのため、情報処理装置２０によれば、その人がどのような顔であるか、期間に分けて期間毎に判別することが出来るため、顔が頻繁に変わる時期には短い期間に対応する判別用の特徴量を必要な数だけ記憶し、顔の特徴が安定している場合には長い期間に対応する判別用の特徴量を記憶することにより、必要な記憶容量と処理量が膨大に成らず、人の顔の変化に対応して顔認識精度を高めることが出来る。
【００８０】
また、情報処理装置２０は、送信者と判別対象となる人物の親密度を、送信者がその人物の顔が含まれる画像を送信した回数に基づいて算出し、算出した親密度に基づいて判別結果を修正する。
このため、情報処理装置２０によれば、送信者と判別対象となる人物の関係に基づいた、より精度の高い判別を行うことが出来る。
【００８１】
（実施形態２）
次に、本発明の実施形態２について説明する。実施形態２は、実施形態１の構成に加え、受信した画像に含まれる顔の特徴量に基づいて期間別基準特徴量リストを更新する構成を持つことを特徴とする。
【００８２】
実施形態２に係る情報処理システム２、及び情報処理装置２１の構成は実施形態１の情報処理システム１及び情報処理装置２０と同様である。
【００８３】
実施形態２においては、実施形態１と比して記憶装置２００の期間別基準特徴量記憶部２０４が記憶する期間別基準特徴量リストの構成が異なる。
実施形態２において、記憶装置２００の期間別基準特徴量記憶部２０４が記憶する期間別基準特徴量リストの構成を、図８を参照して説明する。
【００８４】
実施形態２に係る期間別基準特徴量リストは、実施形態１に係る期間別基準特徴量リストと比して、基準特徴量に対応して、開始日の特徴量と、終了日の特徴量と、をさらに記憶する点で異なる（図８）。
【００８５】
続いて、実施形態２に係る情報処理装置２１が実行する処理について、図９〜図１１を参照して説明する。
【００８６】
情報処理装置２１の通信部３００は、メールサーバ１０から画像を受信すると、制御部１００の通信制御部１０１に受信を通知し、併せて受信した画像と送信者の情報とを伝達する。制御部１００は、受信を通知されると図９に示す顔認識・登録処理２を開始する。
【００８７】
顔認識・登録処理２は、ｎ個目の顔の判別処理を行ったあとに基準特徴量を更新する処理を行う点で、実施形態１に係る顔認識・登録処理１（図５）と異なる。
【００８８】
顔認識・登録処理２において、顔検出処理（ステップＳ３０１）からｎ個目の顔の人物判別処理（ステップＳ３０４）までの処理は、実施形態１における処理（図５；ステップＳ１０１〜ステップＳ１０４、図６）と同様に実行される。
【００８９】
ｎ個目の顔の人物判別処理（ステップＳ３０４）が終わると、次に制御部１００は基準特徴量更新処理（ステップＳ３０５、図１０）を行う。
【００９０】
ここで、基準特徴量更新処理を、図１０と図１１を参照して説明する。なお、図１１は図１０のステップＳ４０３〜ステップＳ４１０で行われる処理の概要を示す図である。顔認識・登録処理２のステップＳ３０５に至ると、制御部１００は図１０に示す基準特徴量更新処理を開始する。
【００９１】
まず、制御部１００は、顔認識・登録処理２のステップＳ３０４において、ｎ番目の顔の人物が誰であると判別されたか取得する。そして、判別された人物が、すでに期間別基準特徴量リストに登録された人物であるか否か判別する（ステップＳ４０１）。
【００９２】
判別された人物が、すでに期間別基準特徴量リストに登録された人物でない場合（ステップＳ４０１；ＮＯ）、制御部１００はその人物を新たな人物として期間別基準特徴量リストに登録する（ステップＳ４１１）。具体的には、制御部１００は、判別された人物に新しい人物ＩＤを発行する。また、記憶制御部１０４が、記憶装置２００の期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストに、新しい人物ＩＤを、新たな基準特徴量と対応づけて記憶する。ここでは、新たな基準特徴量として、ｎ個目の顔の人物判別処理のステップＳ２０２（図６）で算出された特徴量が記憶される。
【００９３】
このとき、新たな基準特徴量には、受信した画像の生成日が対応する期間の開始日時と終了日時として登録される。
【００９４】
一方、判別された人物が、予め期間別基準特徴量リストに登録された人物である場合（ステップＳ４０１；ＹＥＳ）、制御部１００はその人物に対応する基準特徴量とその期間を更新する処理を実行する（ステップＳ４０２〜ステップＳ４１０）。
【００９５】
その人物に対応する基準特徴量とその期間を更新する処理では、制御部１００はまず期間別基準特徴量リストに、その人物と対応して、受信した画像の生成日を含む期間の基準特徴量が登録されているか判別する（ステップＳ４０２）。
具体的には、制御部１００の記憶制御部１０４が、期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストを参照し、制御部１００がその人物を示す人物ＩＤと対応して、画像の生成日時を含む期間が記憶されているか判別する。
【００９６】
画像の生成日時を含む期間が記憶されている場合（ステップＳ４０２；ＹＥＳ）、その期間に対応する基準特徴量を更新する（ステップＳ４１０）。
具体的な更新方法は任意に設定可能であるが、ここでは期間に対応する基準特徴量と、ｎ個目の顔の人物判別処理のステップＳ２０２で算出された顔の特徴量（判別対象となる顔の特徴量）とを加算して平均することとする。
【００９７】
その他の更新方法として、今までその期間に対応するその人物の基準特徴量が更新された回数等の、現在の基準特徴量の確からしさを算出し、算出した確からしさを重みとして用いて、現在の基準特徴量と判別対象となる顔の特徴量とを加重平均して基準特徴量を更新してもよい。
【００９８】
一方、画像の生成日時を含む期間が記憶されていない場合（ステップＳ４０２；ＮＯ）、制御部１００は、その生成日時から最も近い期間に対応する基準特徴量を特定する（ステップＳ４０３）。
【００９９】
そして、制御部１００は、特定された最も近い期間に対応する基準特徴量に対して、受信した画像の生成日が対応する期間の前か後ろかを判別する（ステップＳ４０４）。
受信した画像の生成日が対応する期間の前であった場合、（ステップＳ４０４；ＹＥＳ、図１１の（Ａ１））、制御部１００は期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストで、その基準特徴量と対応して記憶された終了時の特徴量と、判別対象となる顔の特徴量と、の距離（特徴量の差）Δ１を算出する（ステップＳ４０５）。具体的な距離の算出方法は、ｎ個目の顔の人物判別処理のステップＳ２０５で説明した特徴量の距離算出方法と同じである。
【０１００】
一方、受信した画像の生成日が対応する期間の後であった場合、（ステップＳ４０４；ＮＯ、図１１の（Ｂ１））、制御部１００は期間別基準特徴量記憶部２０４に記憶された期間別基準特徴量リストで、その基準特徴量と対応して記憶された開始時の特徴量と、判別対象となる顔の特徴量と、の距離（特徴量の差）Δ２を算出する（ステップＳ４０６）。具体的な距離の算出方法は、ｎ個目の顔の人物判別処理のステップＳ２０５で説明した特徴量の距離算出方法と同じである。
【０１０１】
距離の算出処理（ステップＳ４０５又はステップＳ４０６）が終わると、制御部１００は、算出された距離（Δ１又はΔ２）が所定の閾値ｔｈ２より大きいか否か判別する（ステップＳ４０７）。なお、ｔｈ２は予め実験により定められた所定の数値である。
【０１０２】
算出された距離（Δ１又はΔ２）が閾値ｔｈ２より大きい場合（ステップＳ４０７；ＹＥＳ、）、その人物は選択された基準特徴量が対応する期間から画像の生成日時の間に顔が変化したとの推測に基づき、判別対象となる顔特徴量（撮影日の特徴量）を、画像の生成日時を期間の始めと終わりとする新しい基準特徴量として、判別された人物を示す人物ＩＤと対応づけて、期間別基準特徴量リストに登録する（ステップＳ４０９、図１１の（Ａ２）又は（Ｂ２））。
【０１０３】
一方、算出された距離が閾値ｔｈ２以下の場合（ステップＳ４０７；ＮＯ）、その人物は選択された基準特徴量に対応する期間から画像の生成日時の間に顔が変化していないとの推定に基づき、制御部１００は選択された基準特徴量の期間を延長して記憶する（ステップＳ４０８）。具体的には、画像の生成日時を新たな期限に含むように、期限別基準特徴量リストに登録された、選択された基準特徴量に対応する期間の開始時又は終了時を、画像の生成日時に更新して登録し、併せて開始時の特徴量又は終了時の特徴量を判別用の特徴量として更新して登録する（図１１の（Ａ３）又は（Ｂ３））。
【０１０４】
ステップＳ４０８が終わると、選択された基準特徴量を更新する（ステップＳ４１０）。
ステップＳ４０９、ステップＳ４１０又はステップＳ４１１において期間別基準特徴量リストが更新されると、更新された期間別基準特徴量リストが記憶装置２００の期間別基準特徴量記憶部２０４に上書き保存され、基準特徴量更新処理（図９；ステップＳ３０５、図１０）は終了する。
【０１０５】
図９にもどり、基準特徴量更新処理（ステップＳ３０５）が終了すると、制御部１００はその後の処理（ステップＳ３０６〜ステップＳ３０９）を顔認識・登録処理１のステップＳ１０５〜ステップＳ１０８と同様に実行し、顔認識・登録処理２を終了する。
【０１０６】
以上説明したように、本実施形態の情報処理装置２１によれば、新たに受信した画像に含まれる顔の画像の判別結果に基づいて、期間別基準特徴量リストが更新される。そのため、ある人物の顔が変わった時期を推定し、自動的に期間別基準特徴量リストに登録された基準特徴量と対応する期間とを更新することができる。
そのため、判別結果に基づいて、その人物の顔が変わっていく過程に対応して更新された基準特徴量を用いてその後の判別を行うことができ、顔判別精度を高めることができる。また、判別結果に基づいて、その人の顔が変わっていないと判別された場合には基準特徴量が対応する期間を延長するため、判別に必要な基準特徴量を記憶するための容量を適正な量に抑えることができる。
【０１０７】
以上、本発明の実施形態について説明したが、本発明の実施形態は上記に限られるものではない。
【０１０８】
例えば、上記実施形態１及び２では、情報処理装置２０又は情報処理装置２１が画像を受信し、判別・登録処理等を行ったが、本発明の実施形態はこれに限られるものではない。
本発明のその他の実施形態に係る情報処理システム３は、メールサーバ１０が送信した画像を受信・表示装置３０が受信し、受信した画像を情報処理装置２２に伝達し、情報処理装置２２が図９〜図１１に示す処理を行う構成を持つ。
【０１０９】
受信・表示装置３０は、画像をメールサーバ１０から受信し、記憶装置５００に記憶し、記憶装置５００が記憶する画像を表示部８００に表示し、情報処理装置２２に伝達するデジタルフォトフレームであり、制御部４００と、記憶装置５００と、通信部７００と、表示部８００と、入出力部９００と、から構成される。
【０１１０】
制御部４００は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｅｒ）、内部メモリ等から構成され、記憶装置５００と、操作部６００と、通信部７００と、表示部８００と、入出力部９００と、から構成される。
制御部４００は、このような構成により、機能的には、通信制御部４０１、表示制御部４０２、記憶制御部４０３、操作制御部４０４、入出力制御部４０５、として機能する。
【０１１１】
通信制御部４０１は、通信部７００を制御し、メールサーバ１０とインターネットを通じて通信する。具体的には、メールサーバ１０から画像等の情報を受信し、メールサーバ１０に情報を送信する。
【０１１２】
表示制御部４０２は、表示部８００を制御する。具体的には、表示部８００に制御部４００が行った処理結果に基づき画面を表示させる。
【０１１３】
記憶制御部４０３は、記憶装置５００を制御する。具体的には、記憶装置５００に制御部４００の処理結果に基づく情報を記憶させる。また、記憶装置５００に記憶された情報を読み込む。
【０１１４】
操作制御部４０４は、操作部６００が検出したユーザの操作を示す情報を受け取る。
【０１１５】
入出力制御部４０５は、入出力部９００を制御する。具体的には、入出力部９００を用いて情報処理装置２２の入出力部３１０と通信を行って、制御部４００の処理結果に基づく情報を情報処理装置２２に伝達する。また、情報処理装置２２から情報を受け取る。
【０１１６】
記憶装置５００は、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成され、機能的には、画像記憶部５０１を含む。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、制御部４００の作業領域として用いられる。
外部記憶装置は、後述する処理を制御部４００に行わせるためのプログラムと情報とをあらかじめ記憶し、これらのプログラムや情報を制御部４００の指示に従って主記憶装置に伝達する。また、制御部４００の指示に従って、制御部４００の処理に基づく情報を記憶する。
【０１１７】
画像記憶部５０１は、受信・表示装置３０が受信した画像を記憶する。記憶する画像は、例えばデジタルカメラを用いて撮影された写真の画像である。
【０１１８】
情報処理装置２２は、通信部３００の代わりに入出力部３１０を持ち、制御部１００が通信制御部１０１に変わって入出力制御部１０５を持つ以外は、実施形態１に係る情報処理装置２０と同じ構成を持つ。
【０１１９】
情報処理システム３では、受信・表示装置３０がメールサーバ１０から画像を受信すると、入出力部９００を介して情報処理装置２２に伝達される。その後、情報処理装置２２が実行する処理は、実施形態２に係る情報処理装置２１が行う処理と同様である。
【０１２０】
なお、上記実施形態に係る情報処理システムを、メールサーバ１０をシステムに含まない構成として構築することも可能である。
【０１２１】
また、上記実施形態では送信者をメールアドレスで定義したが、送信者を人物ＩＤで定義してもよい。また、一人の送信者に対して複数のメールアドレスを定義してもよい。
【０１２２】
また、上記実施形態では情報処理装置が受信した判別対象となる人物の画像を含む画像の受信回数に基づいて親密度を算出したが、本発明で判別対象となる人物と送信者の親密度を算出する方法はこれに限られるものではない。
その他の親密度を算出する方法として、ユーザが自ら人物と送信者の親密度を設定する構成も可能である。また、ユーザと送信者とのメール通信を監視し、判別対象となる人物の名前がメール通信で使われる回数に基づいて親密度を算出してもよい。
【０１２３】
また、親密度から閾値ｔｈ１を補正する方法は、上記実施形態で説明した方法に限られない。その他の補正方法として、親密度と、対応する補正後の閾値と、を記憶する親密度閾値リストを記憶装置に記憶して、親密度閾値リストを参照して補正後の親密度を求めてもよい。
【０１２４】
さらに、親密度に基づいて判別結果を補正する方法は、上記の閾値に親密度を乗算して閾値を大きくする方法に限らない。その他の補正方法として、親密度から算出された補正値に基づいて上記類似度を補正して判別することにより、判別結果を親密度に基づいて補正する方法も可能である。
【０１２５】
なお、制御部１００、記憶装置２００、通信部３００、等から構成される情報処理装置のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する情報処理装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで情報処理装置を構成してもよい。
【０１２６】
また、情報処理装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【０１２７】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【０１２８】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【０１２９】
（付記１）
判別対象の人物の顔の特徴を表す複数の基準顔特徴量を、対応する期間を示す情報と対応づけて記憶する基準顔特徴記憶手段と、
顔の画像を取得する顔画像取得手段と、
前記顔画像取得手段が取得した顔の画像が生成された日時を特定する情報を取得する日時取得手段と、
前記日時取得手段が取得した日時と前記複数の基準顔特徴量に対応する期間とを比較し、比較結果に基づいて、前記基準顔特徴記憶手段に記憶された複数の基準顔特徴量から、前記顔の画像に対応する基準顔特徴量である対応基準顔特徴量を選択する選択手段と、
前記顔画像取得手段が取得した顔の画像から、その顔特徴量である取得顔特徴量を抽出する取得顔特徴抽出手段と、
前記対応基準顔特徴量と前記取得顔特徴量とに基づいて、前記顔画像取得手段が取得した顔の画像の顔を有する人物が前記判別対象の人物であるか否かを判別する判別手段と、
を備えることを特徴とする情報処理装置。
【０１３０】
（付記２）
前記顔画像取得手段は受信手段が受信した画像から顔の画像を検出することにより顔の画像を取得し、
さらに、
前記受信手段が受信した画像の送信者を特定する送信者特定手段と、
前記判別対象の人物と前記送信者との親密度を算出する親密度算出手段と、
を備え、
前記判別手段は、前記対応基準顔特徴量と前記取得顔特徴量と前記親密度とに基づいて判別する、
ことを特徴とする付記１に記載の情報処理装置。
【０１３１】
（付記３）
前記親密度算出手段は、前記受信手段が、前記送信者から、前記判別手段が前記判別対象の人物であると判別した顔の画像を含む画像を受信した回数に基づいて前記親密度を算出する、
ことを特徴とする付記２に記載の情報処理装置。
【０１３２】
（付記４）
前記判別手段が算出した類似度が所定の類似度の閾値よりも高い場合、前記基準顔特徴記憶手段が記憶する前記判別対象の人物の顔の特徴を表す複数の基準顔特徴量の少なくとも一つを、前記取得顔特徴量に基づいて更新する更新手段を、
さらに備えることを特徴とする、付記３に記載の情報処理装置。
【０１３３】
（付記５）
前記更新手段は、前記日時取得手段が取得した日時が、前記対応基準顔特徴量と対応する期間内に含まれる場合に、前記対応基準顔特徴量を前記取得顔特徴量に基づいて更新する、
ことを特徴とする付記４に記載の情報処理装置。
【０１３４】
（付記６）
前記基準顔特徴記憶手段は、前記複数の基準顔特徴量それぞれに対応づけて、前記複数の基準顔特徴量のそれぞれに対応する期間の始まりの日時の顔特徴量と、前記対応する期間の終わりの日時の顔特徴量と、をさらに記憶し、
さらに、
前記始まりの日時と前記終わりの日時とのうち前記取得した日時と遠い方の日時の顔特徴量と前記取得顔特徴量との差を算出する差算出手段を備え、
前記更新手段は、
前記日時取得手段が取得した日時が前記対応基準顔特徴量と対応する期間内に含まれず、かつ前記差算出手段が検出した差が所定の差の閾値よりも大きい場合に、前記取得顔特徴量と前記取得した日時に基づいて新たな期間と新たな基準顔情報量を記憶し、
前記日時取得手段が取得した日時が前記対応基準顔特徴量と対応する期間内に含まれず、かつ前記差算出手段が検出した差が前記差の閾値よりも小さい場合に、前記対応基準顔特徴量と、当該対応基準顔特徴量に対応する期間とを、前記取得顔特徴量と前記取得した日時に基づいて更新する、
ことを特徴とする付記５に記載の情報処理装置。
【０１３５】
（付記７）
コンピュータに、
判別対象の人物の顔の特徴を表す複数の基準顔特徴量を期間の情報と共に記憶する処理、
顔の画像を取得する処理、
前記取得した顔の画像が生成された日時を取得する処理、
期間別に予め記憶している基準顔特徴量のうちから、画像の生成日時と前記複数の基準顔特徴量に対応する期間とを比較し、比較結果に基づいて、前記顔の画像に対応する基準顔特徴量である対応基準顔特徴量を選択する処理、
前記取得した顔の画像から、その顔特徴量である取得顔特徴量を抽出する処理、
前記対応基準顔特徴量と前記取得顔特徴量との類似度を算出することにより、前記取得した顔の画像の顔を有する人物が前記判別対象の人物であるか否かを判別する処理、
を実行させることを特徴とするプログラム。
【符号の説明】
【０１３６】
１…情報処理システム、２…情報処理システム、３…情報処理システム、１０…メールサーバ、２０…情報処理装置、２１…情報処理装置、２２…情報処理装置、３０…受信・表示装置、１００…制御部、１０１…通信制御部、１０２…顔画像検出部、１０３…顔特徴算出部、１０４…記憶制御部、１０５…入出力制御部、２００…記憶装置、２０１…画像記憶部、２０２…顔画像検出プログラム記憶部、２０３…顔特徴量算出プログラム記憶部、２０４…期間別基準特徴量記憶部、２０５…人物情報記憶部、２０６…画像情報記憶部、３００…通信部、３１０…入出力部、４００…制御部、４０１…通信制御部、４０２…表示制御部、４０３…記憶制御部、４０４…操作制御部、４０５…入出力制御部、５００…記憶装置、５０１…画像記憶部、６００…操作部、７００…通信部、８００…表示部、９００…入出力部、１０００…操作部、１１００…表示部
【特許請求の範囲】
【請求項１】
判別対象の人物の顔の特徴を表す複数の基準顔特徴量を、対応する期間を示す情報と対応づけて記憶する基準顔特徴記憶手段と、
顔の画像を取得する顔画像取得手段と、
前記顔画像取得手段が取得した顔の画像が生成された日時を特定する情報を取得する日時取得手段と、
前記日時取得手段が取得した日時と前記複数の基準顔特徴量に対応する期間とを比較し、比較結果に基づいて、前記基準顔特徴記憶手段に記憶された複数の基準顔特徴量から、前記顔の画像に対応する基準顔特徴量である対応基準顔特徴量を選択する選択手段と、
前記顔画像取得手段が取得した顔の画像から、その顔特徴量である取得顔特徴量を抽出する取得顔特徴抽出手段と、
前記対応基準顔特徴量と前記取得顔特徴量とに基づいて、前記顔画像取得手段が取得した顔の画像の顔を有する人物が前記判別対象の人物であるか否かを判別する判別手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記顔画像取得手段は受信手段が受信した画像から顔の画像を検出することにより顔の画像を取得し、
さらに、
前記受信手段が受信した画像の送信者を特定する送信者特定手段と、
前記判別対象の人物と前記送信者との親密度を算出する親密度算出手段と、
を備え、
前記判別手段は、前記対応基準顔特徴量と前記取得顔特徴量と前記親密度とに基づいて判別する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記親密度算出手段は、前記受信手段が、前記送信者から、前記判別手段が前記判別対象の人物であると判別した顔の画像を含む画像を受信した回数に基づいて前記親密度を算出する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記判別手段が算出した類似度が所定の類似度の閾値よりも高い場合、前記基準顔特徴記憶手段が記憶する前記判別対象の人物の顔の特徴を表す複数の基準顔特徴量の少なくとも一つを、前記取得顔特徴量に基づいて更新する更新手段を、
さらに備えることを特徴とする、請求項３に記載の情報処理装置。
【請求項５】
前記更新手段は、前記日時取得手段が取得した日時が、前記対応基準顔特徴量と対応する期間内に含まれる場合に、前記対応基準顔特徴量を前記取得顔特徴量に基づいて更新する、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記基準顔特徴記憶手段は、前記複数の基準顔特徴量それぞれに対応づけて、前記複数の基準顔特徴量のそれぞれに対応する期間の始まりの日時の顔特徴量と、前記対応する期間の終わりの日時の顔特徴量と、をさらに記憶し、
さらに、
前記始まりの日時と前記終わりの日時とのうち前記取得した日時と遠い方の日時の顔特徴量と前記取得顔特徴量との差を算出する差算出手段を備え、
前記更新手段は、
前記日時取得手段が取得した日時が前記対応基準顔特徴量と対応する期間内に含まれず、かつ前記差算出手段が検出した差が所定の差の閾値よりも大きい場合に、前記取得顔特徴量と前記取得した日時に基づいて新たな期間と新たな基準顔情報量を記憶し、
前記日時取得手段が取得した日時が前記対応基準顔特徴量と対応する期間内に含まれず、かつ前記差算出手段が検出した差が前記差の閾値よりも小さい場合に、前記対応基準顔特徴量と、当該対応基準顔特徴量に対応する期間とを、前記取得顔特徴量と前記取得した日時に基づいて更新する、
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
コンピュータに、
判別対象の人物の顔の特徴を表す複数の基準顔特徴量を期間の情報と共に記憶する処理、
顔の画像を取得する処理、
前記取得した顔の画像が生成された日時を取得する処理、
期間別に予め記憶している基準顔特徴量のうちから、画像の生成日時と前記複数の基準顔特徴量に対応する期間とを比較し、比較結果に基づいて、前記顔の画像に対応する基準顔特徴量である対応基準顔特徴量を選択する処理、
前記取得した顔の画像から、その顔特徴量である取得顔特徴量を抽出する処理、
前記対応基準顔特徴量と前記取得顔特徴量との類似度を算出することにより、前記取得した顔の画像の顔を有する人物が前記判別対象の人物であるか否かを判別する処理、
を実行させることを特徴とするプログラム。
【請求項１】
判別対象の人物の顔の特徴を表す複数の基準顔特徴量を、対応する期間を示す情報と対応づけて記憶する基準顔特徴記憶手段と、
顔の画像を取得する顔画像取得手段と、
前記顔画像取得手段が取得した顔の画像が生成された日時を特定する情報を取得する日時取得手段と、
前記日時取得手段が取得した日時と前記複数の基準顔特徴量に対応する期間とを比較し、比較結果に基づいて、前記基準顔特徴記憶手段に記憶された複数の基準顔特徴量から、前記顔の画像に対応する基準顔特徴量である対応基準顔特徴量を選択する選択手段と、
前記顔画像取得手段が取得した顔の画像から、その顔特徴量である取得顔特徴量を抽出する取得顔特徴抽出手段と、
前記対応基準顔特徴量と前記取得顔特徴量とに基づいて、前記顔画像取得手段が取得した顔の画像の顔を有する人物が前記判別対象の人物であるか否かを判別する判別手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記顔画像取得手段は受信手段が受信した画像から顔の画像を検出することにより顔の画像を取得し、
さらに、
前記受信手段が受信した画像の送信者を特定する送信者特定手段と、
前記判別対象の人物と前記送信者との親密度を算出する親密度算出手段と、
を備え、
前記判別手段は、前記対応基準顔特徴量と前記取得顔特徴量と前記親密度とに基づいて判別する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記親密度算出手段は、前記受信手段が、前記送信者から、前記判別手段が前記判別対象の人物であると判別した顔の画像を含む画像を受信した回数に基づいて前記親密度を算出する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記判別手段が算出した類似度が所定の類似度の閾値よりも高い場合、前記基準顔特徴記憶手段が記憶する前記判別対象の人物の顔の特徴を表す複数の基準顔特徴量の少なくとも一つを、前記取得顔特徴量に基づいて更新する更新手段を、
さらに備えることを特徴とする、請求項３に記載の情報処理装置。
【請求項５】
前記更新手段は、前記日時取得手段が取得した日時が、前記対応基準顔特徴量と対応する期間内に含まれる場合に、前記対応基準顔特徴量を前記取得顔特徴量に基づいて更新する、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記基準顔特徴記憶手段は、前記複数の基準顔特徴量それぞれに対応づけて、前記複数の基準顔特徴量のそれぞれに対応する期間の始まりの日時の顔特徴量と、前記対応する期間の終わりの日時の顔特徴量と、をさらに記憶し、
さらに、
前記始まりの日時と前記終わりの日時とのうち前記取得した日時と遠い方の日時の顔特徴量と前記取得顔特徴量との差を算出する差算出手段を備え、
前記更新手段は、
前記日時取得手段が取得した日時が前記対応基準顔特徴量と対応する期間内に含まれず、かつ前記差算出手段が検出した差が所定の差の閾値よりも大きい場合に、前記取得顔特徴量と前記取得した日時に基づいて新たな期間と新たな基準顔情報量を記憶し、
前記日時取得手段が取得した日時が前記対応基準顔特徴量と対応する期間内に含まれず、かつ前記差算出手段が検出した差が前記差の閾値よりも小さい場合に、前記対応基準顔特徴量と、当該対応基準顔特徴量に対応する期間とを、前記取得顔特徴量と前記取得した日時に基づいて更新する、
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
コンピュータに、
判別対象の人物の顔の特徴を表す複数の基準顔特徴量を期間の情報と共に記憶する処理、
顔の画像を取得する処理、
前記取得した顔の画像が生成された日時を取得する処理、
期間別に予め記憶している基準顔特徴量のうちから、画像の生成日時と前記複数の基準顔特徴量に対応する期間とを比較し、比較結果に基づいて、前記顔の画像に対応する基準顔特徴量である対応基準顔特徴量を選択する処理、
前記取得した顔の画像から、その顔特徴量である取得顔特徴量を抽出する処理、
前記対応基準顔特徴量と前記取得顔特徴量との類似度を算出することにより、前記取得した顔の画像の顔を有する人物が前記判別対象の人物であるか否かを判別する処理、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２４２８６３（Ｐ２０１２−２４２８６３Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１０８８５５（Ｐ２０１１−１０８８５５）
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]