人物認識システム、人物認識方法、及び人物認識プログラム
【課題】同一人物を互いに異なる複数の人物として誤認識した場合であっても、認識結果を修正して、精度の高い人物の認識結果を利用者に提供する。
【解決手段】複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像の少なくとも一部に含まれる複数の人物の中で、複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、排他検出部によって検出された２人の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える人物認識システムを提供する。
【解決手段】複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像の少なくとも一部に含まれる複数の人物の中で、複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、排他検出部によって検出された２人の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える人物認識システムを提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物認識システム、人物認識方法、及び人物認識プログラムに関する。特に本発明は、複数の画像のそれぞれに含まれる人物を認識する人物認識システム、人物認識方法、及び人物認識プログラムに関する。
【背景技術】
【０００２】
従来、人物の顔画像を画像認識することにより、当該人物を認識する人物認識システムが知られている（例えば、特許文献１参照。）。これらの人物認識システムにおいては、人物の顔画像に対して画像処理を行うことにより、当該顔画像から特徴量を抽出すると共に、抽出した特徴量の差異に基づいて、それぞれの人物を認識している。
【特許文献１】特開２００１−２７３４９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、人物認識に用いられる顔画像は、撮像されるアングルや撮像環境、被写体である人物の表情等によって様々に変化するので、従来の人物認識システムにおいて、常に高い認識率を維持することは容易ではない。このため、同一人物を示す複数の顔画像のそれぞれが、互いに異なる人物の顔画像であるとして誤認識される場合が少なからずあり、より高い精度で人物の認識結果を得ることのできる人物認識システムが待望されていた。
【０００４】
そこで本発明は、上記の課題を解決することができる人物認識システム、人物認識方法、及び人物認識プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像の少なくとも一部に含まれる複数の人物の中で、複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、排他検出部によって検出された２人の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える。当該人物認識システムは、排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部を更に備え、修正部は、更に、排他検出部によって検出された２人の人物の間における、類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、人物認識部による認識結果を修正してもよい。
【０００６】
修正部は、更に、排他検出部によって検出された２人の人物のうち一方の人物が含まれる第１の画像、及び当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であることを条件として、当該２人の人物が同一人物であると判定し、人物認識部による認識結果を修正してもよい。人物認識部は、複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している特徴量データベースと、複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、特徴量データベースに格納されている顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する認識処理部とを有し、修正部は、排他検出部によって検出された２人の人物が同一人物であると判定した場合に、更に、認識処理部によって当該２人の人物が同一人物として認識されるべく、認識処理部における類似度の基準値をより低く修正してもよい。
【０００７】
また、本発明の第２の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、複数の画像の少なくとも一部に含まれる複数の人物の中で、複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出段階と、排他検出段階において検出された２人の人物が同一人物であると判定し、人物認識段階における認識結果を修正する修正段階とを備える。当該人物認識方法は、排他検出段階において検出された２人の人物の間における、顔画像の類似度を算出する類似度算出段階を更に備え、修正段階は、更に、排他検出段階において検出された２人の人物の間における、類似度算出段階において算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、人物認識段階における認識結果を修正してもよい。
【０００８】
また、本発明の第３の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識システムとしてコンピュータを機能させる人物認識プログラムであって、コンピュータを、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像の少なくとも一部に含まれる複数の人物の中で、複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、排他検出部によって検出された２人の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える人物認識システムとして機能させる。当該人物認識プログラムは、コンピュータを、排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部を更に備え、修正部は、更に、排他検出部によって検出された２人の人物の間における、類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、人物認識部による認識結果を修正する人物認識システムとして機能させる。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１０】
本発明によれば、同一人物を互いに異なる複数の人物として誤認識した場合であっても、認識結果を修正して、精度の高い人物の認識結果を利用者に提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、本発明の実施形態に係る人物認識システム１０の機能構成の一例を示すブロック図である。人物認識システム１０は、画像格納部１００、人物認識部１１０、排他検出部１２０、類似度算出部１３０、及び修正部１４０を備える。例えば、人物認識システム１０は、電子アルバムに含まれる複数の画像が画像格納部１００に格納されている場合に、当該複数の画像のそれぞれに含まれる人物を認識すると共に、当該画像に含まれる人物のそれぞれが誰であるかを示す情報を、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ）フォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに記録してよい。これにより、利用者は、当該複数の画像を、容易に、人物毎にカテゴリ分けされたスライドショーとして鑑賞したり、また人物毎に整理したりすることができる。なお、人物認識システム１０は、例えばパーソナルコンピュータであってよく、また、デジタルスチルカメラや、デジタルスチルカメラが設けられた携帯電話端末等であってもよい。
【００１３】
本発明の実施形態に係る人物認識システム１０は、複数の画像に含まれる人物の中で、同一人物であるにも関わらず、互いに異なる２人の人物であるとして認識された人物を検出して、当該人物についての認識結果を修正することにより、精度の高い認識結果を利用者に提供することを目的とする。
【００１４】
画像格納部１００は、例えば、磁気記録媒体や半導体記録媒体等を用いた記憶装置であってよく、複数の画像を格納している。人物認識部１１０は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、公知の画像認識技術を用いることにより認識する。人物認識部１１０は、特徴量データベース１１２、及び認識処理部１１４を有する。特徴量データベース１１２は、複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している。認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、特徴量データベース１１２に格納されている顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する。そして、認識処理部１１４は、それぞれの画像についての人物の認識結果を、排他検出部１２０及び修正部１４０に出力する。
【００１５】
排他検出部１２０は、画像格納部１００に格納されている複数の画像の少なくとも一部に含まれる人物の中で、当該複数の画像の何れにおいても共に含まれることがない２人の人物を検出する。そして、排他検出部１２０は、検出した２人の人物を示す情報を、類似度算出部１３０に出力する。類似度算出部１３０は、排他検出部１２０によって検出された２人の人物の間における、顔画像の類似度を算出する。そして、類似度算出部１３０は、排他検出部１２０から受け取った当該２人の人物を示す情報、及び当該２人の人物について算出した顔画像の類似度を、修正部１４０に出力する。修正部１４０は、排他検出部１２０によって検出された２人の人物が同一人物であると判定し、認識処理部１１４による認識結果を修正する。ここで、修正部１４０は、更に、類似度算出部１３０によって算出された、当該２人の人物の間における顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定してよい。
【００１６】
本発明の実施形態に係る人物認識システム１０によれば、２人の人物が、何れの画像においても共に含まれることがなく、画像に含まれる機会が互いに排他的である場合に、当該２人の人物が実際には同一人物であるとして、人物の認識結果を修正することができる。これにより、画像認識技術を用いた人物認識処理において、１人の人物の画像を、互いに異なる２人の人物の画像として誤認識した場合であっても、当該２人の人物が同一人物であるとして認識結果を修正し、精度の高い人物認識結果を利用者に提供することができる。
【００１７】
また、例えば、画像格納部１００に格納されている画像の数が少ない場合になどにおいては、ある２人の人物が、実際には同一人物ではないにも関わらず、何れの画像においても共に含まれていないことにより、排他検出部１２０が当該２人の人物を検出する場合がある。しかし、人物認識システム１０によれば、当該２人の人物の間における顔画像の類似度が基準値以上でない場合には、当該２人の人物を同一人物であると判定しない。これにより、排他検出部１２０によって検出された２人の人物が同一人物であるか否かを、より高い精度で判定することができる。
【００１８】
図２は、本発明の実施形態に係る画像格納部１００の一例を示す。画像格納部１００は、複数の画像のそれぞれについて、当該画像を識別する画像識別子と、当該画像を示す画像データとを対応付けて格納している。ここで、画像識別子とは、画像格納部１００が画像を格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。なお、本図において、画像識別子は数値として示されているが、これに代えて、画像識別子は、例えば画像データを示すファイルに割り当てられたファイル名等の文字列であってもよい。また、画像格納部１００は、複数の画像のそれぞれを識別する画像識別子に対応付けて、更に、当該画像の撮像日時を示す情報を格納していてよい。
【００１９】
図３は、本発明の実施形態に係る特徴量データベース１１２の一例を示す。特徴量データベース１１２は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像の特徴量とを対応付けて格納している。ここで、人物識別子は、例えば、特徴量データベース１１２に人物の顔画像の特徴量が格納される場合に、それぞれの人物について一意となるべく定められた値であってよい。また、特徴量データベース１１２は、それぞれの人物について、複数の特徴量（例えば、Ａ、Ｂ、・・・等）を格納してよい。ここで、人物の顔画像の特徴量とは、例えば、顔画像そのものや、当該顔画像から公知の画像処理技術を用いて抽出された、顔の輪郭形状、或いは、眼や鼻、口といった、顔における特徴的な部位の形状、それぞれの部位の顔全体における位置、またはそれぞれの部位の間の位置関係といった、多様な情報であってよい。
【００２０】
図４は、本発明の実施形態に係る認識処理部１１４における人物の認識結果の一例を示す。認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する。例えば、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、認識処理部１１４は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、認識処理部１１４は、検出した人物の顔を示す部分画像から特徴量を抽出すると共に、抽出した特徴量を、図３に示した特徴量データベース１１２に格納されている、複数の人物のそれぞれについての顔画像の特徴量と比較する。そして、認識処理部１１４は、抽出した特徴量が、特徴量データベース１１２に格納されている顔画像の特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、画像から検出した被写体が、特徴量データベース１１２において当該顔画像の特徴量に対応付けられている人物であると認識し、当該人物を示す人物識別子を検出する。このようにして、認識処理部１１４は、図４に示すように、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物のそれぞれを認識し、当該複数の人物を示す複数の人物識別子を検出する。
【００２１】
なお、特徴量データベース１１２は、人物毎の顔画像の特徴量を、認識処理部１１４から受け取って格納してよい。具体的には、認識処理部１１４は、画像格納部１００に格納されている画像に含まれる人物を認識する場合において、当該画像に含まれる人物の顔画像から抽出した特徴量が、特徴量データベース１１２に格納されている何れの人物の特徴量に対しても、予め定められた基準値以上の類似度を示さない場合に、当該顔画像から抽出した特徴量を、新たな人物の顔画像の特徴量として、特徴量データベース１１２に格納させてよい。これにより、特徴量データベース１１２は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物の顔画像の特徴量を格納することができる。
【００２２】
図５は、本発明の実施形態に係る人物認識システム１０を用いた人物認識方法における処理の流れの一例を示すフローチャートである。まず、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する（Ｓ１０００）。続いて、排他検出部１２０は、複数の画像の少なくとも一部に含まれる人物の中で、当該複数の画像の何れにおいても共に含まれることがない２人の人物を検出する（Ｓ１０１０）。ここで、排他検出部１２０は、複数の画像の少なくとも一部に含まれる人物の中から、当該複数の画像の何れにおいても共に含まれることがない２人の人物の組み合わせを、複数検出してもよい。そして、人物認識システム１０は、排他検出部１２０が検出した２人の人物の組み合わせ毎に、以下の処理を繰り返す（Ｓ１０２０）。
【００２３】
まず、類似度算出部１３０は、当該２人の人物の間における顔画像の類似度を算出する（Ｓ１０３０）。例えば、類似度算出部１３０は、排他検出部１２０から受け取った、当該２人の人物のそれぞれを示す人物識別子と、認識処理部１１４から受け取った、画像格納部１００に格納されている複数の画像のそれぞれに含まれる人物を示す人物識別子とに基づいて、当該２人の人物のそれぞれが含まれる画像を、画像格納部１００から読み出す。そして、類似度算出部１３０は、読み出した画像のそれぞれから、当該２人の人物のそれぞれの顔画像を抽出する。そして、類似度算出部１３０は、抽出したそれぞれの顔画像を比較することにより、当該２人の人物の間における顔画像の類似度を算出する。ここで、類似度算出部１３０は、画像格納部１００から読み出した画像から抽出した顔画像を比較する代わりに、特徴量データベース１１２に格納されている、当該２人の人物のそれぞれにおける顔画像の特徴量を比較することにより、当該２人の人物の間における顔画像の類似度を算出してもよい。
【００２４】
続いて、修正部１４０は、当該２人の人物の間における顔画像の類似度が、予め定められた基準値以上であるか否かを判定する（Ｓ１０４０）。ここで、予め定められた基準値とは、例えば、同一人物を撮像した２枚の画像において、画像の撮像条件、または人物の表情等が異なることにより、それぞれの画像に含まれる人物の顔画像が異なる場合の、当該２枚の画像における顔画像の類似度の典型値、または当該典型値より低い値であってよく、利用者等によって予め定められてよい。
【００２５】
そして、当該２人の人物の間における顔画像の類似度が基準値以上であると判定した場合（Ｓ１０４０：Ｙｅｓ）、修正部１４０は、更に、当該２人の人物のうち一方の人物が含まれる第１の画像と、当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であるか否かを判定する（Ｓ１０５０）。ここで、修正部１４０は、当該第１の画像として、当該一方の人物が含まれる画像のうち、何れの画像を選択してもよい。また、修正部１４０は、当該第２の画像として、当該他方の人物が含まれる画像のうち、何れの画像を選択してもよい。なお、撮像日時の差における予め定められた基準値とは、例えば、旅行中に撮像された一連の画像や、同一のイベント中に撮像された一連の画像といった、画像の内容や撮像状況についてまとまりのある一連の画像における、それぞれの画像の、撮像日時の差の最大値であってよく、利用者等によって予め定められてよい。
【００２６】
そして、撮像日時の差が基準値以下であると判定した場合（Ｓ１０５０：Ｙｅｓ）、修正部１４０は、当該２人の人物が同一人物であると判定し、認識処理部１１４による人物の認識結果を修正する（Ｓ１０６０）。例えば、修正部１４０が、画像格納部１００に格納されている複数の画像のそれぞれについての、認識処理部１１４による人物の認識結果を示す情報、例えば当該画像に含まれる人物識別子等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに記録する場合を考える。この場合、修正部１４０は、当該２人の人物における人物識別子が同一の値となるべく修正した認識結果を示す情報を、当該２人の人物のそれぞれが含まれる画像を示す画像ファイルに記録してよい。また、例えば、修正部１４０は、認識処理部１１４による人物の認識結果を修正した後で、修正した認識結果を、例えば人物認識システム１０に設けられた表示装置に表示してもよい。
【００２７】
更に、修正部１４０は、当該２人の人物が同一人物であると判定した場合に、認識結果を修正するだけでなく、認識処理部１１４によって当該２人の人物が同一人物として認識されるべく、認識処理部１１４における顔画像の類似度の基準値をより低く修正してもよい。ここで、より低く修正された基準値とは、例えば、認識処理部１１４によって、当該２人の人物が同一人物として認識される基準値のうち、最大の値であってよい。そして、人物認識システム１０は、以上の処理を、排他検出部１２０が検出した２人の人物の組み合わせ毎に繰り返す（Ｓ１０７０）。
【００２８】
本発明の実施形態に係る人物認識システム１０によれば、排他検出部１２０が検出した２人の人物が含まれる画像のそれぞれにおける撮像日時の差が基準値以下であることを更なる条件として、当該２人の人物が同一人物であるか否かを判定することができる。例えば、旅行中に撮像された一連の画像や、同一のイベント中に撮像された一連の画像といった、撮像日時が近接している一連の画像において、２人の人物が、何れの画像においても共に含まれることがない場合、当該２人の人物は、同一人物である可能性が高い。人物認識システム１０によれば、こういった場合に、当該２人の人物を同一人物として判定することができるので、実際には同一人物でありながら、画像認識処理によって互いに異なる人物として認識された２人の人物を、より高い精度で同一人物として判定することができる。
【００２９】
なお、修正部１４０は、排他検出部１２０によって検出された２人の人物のうち一方の人物が含まれる第１の画像と、当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であるか否かを判定するだけでなく、当該第１の画像と当該第２の画像との撮像地点の間の距離が、予め定められた基準距離より短いか否かを更に判定してもよい。そして、修正部１４０は、互いの撮像地点の間の距離が基準距離より近い場合に、当該２人の人物が同一人物であると判定してもよい。この場合、画像格納部１００は、複数の画像のそれぞれを識別する画像識別子に対応付けて、更に、当該画像の撮像地点を示す情報を格納していてよい。
【００３０】
また、人物認識システム１０によれば、認識処理部１１４によって互いに異なる人物として認識された２人の人物が、修正部１４０によって同一人物であると判定された場合に、認識処理部１１４における人物の認識処理に用いる顔画像の類似度の基準値を、より低く修正することができる。例えば、人物認識システム１０は、認識処理部１１４における特徴量の類似度の基準値を、当初、利用者等によって予め定められた、画像認識処理における典型的な値に比べて、高く設定しておいてよい。この場合、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれに含まれる人物の認識において、同一人物であるにも関わらず、互いに異なる複数の人物として誤認識する場合が多くなる。しかし、人物認識システム１０によれば、何れの画像においても共に含まれることがない２人の人物を同一人物であると判定した場合に、認識処理部１１４における類似度の基準値を低下させて、当該人物についての適正な基準値を設定することができる。これにより、その後、認識処理部１１４は、当該人物について、精度の高い認識処理を実行することができる。
【００３１】
なお、以上の説明において、排他検出部１２０により検出された２人の人物の組み合わせのうち、少なくとも一部の組み合わせは、互いに同一の人物を含んでいてもよい。これにより、認識処理部１１４において、同一人物が、互いに異なる２人以上の数の人物として誤認識された場合であっても、認識結果を修正することができる。
【００３２】
また、以上の説明において、人物認識システム１０は、何れの画像においても共に含まれることがない２人の人物を検出した後で、当該２人の人物における顔画像の類似度に基づいて、当該２人の人物が同一人物であるか否かを判定している。しかし、人物認識システム１０は、以上の説明における順序とは異なる順序で、互いに異なる人物として認識された２人の人物が同一人物であるか否かを判定してよい。具体的には、まず、類似度算出部１３０が、画像格納部１００に格納されている複数の画像の少なくとも一部に含まれる、互いに異なる人物として認識された複数の人物のうち、顔画像の類似度が予め定められた基準値以上である２人の人物を検出する。続いて、排他検出部１２０は、類似度算出部１３０により検出された２人の人物が、複数の画像の何れにおいても共に含まれることがないか否かを判定する。そして、修正部１４０は、当該２人の人物が、何れの画像においても共に含まれることがない場合に、当該２人の人物が同一人物であると判定し、認識処理部１１４による人物の認識結果を修正する。何れの順序で処理を行う場合であっても、人物認識システム１０によれば、同一人物であるにも関わらず、互いに異なる２人の人物として誤認識された人物についての認識結果を修正して、精度の高い認識結果を利用者に提供することができる。
【００３３】
図６は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホストコントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィックコントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホストコントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスクドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００３４】
ホストコントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィックコントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレームバッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィックコントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。
【００３５】
入出力コントローラ１５８４は、ホストコントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
【００３６】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスクドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブートプログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスクドライブ１５５０や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。
【００３７】
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される人物認識プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。人物認識プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される人物認識プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図５にかけて説明した人物認識システムとして機能させる。
【００３８】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００３９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態に係る人物認識システム１０の機能構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る画像格納部１００の一例を示す図である。
【図３】本発明の実施形態に係る特徴量データベース１１２の一例を示す図である。
【図４】本発明の実施形態に係る認識処理部１１４における人物の認識結果の一例を示す図である。
【図５】本発明の実施形態に係る人物認識システム１０を用いた人物認識方法における処理の流れの一例を示すフローチャートである。
【図６】本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。
【符号の説明】
【００４１】
１０ 人物認識システム、１００ 画像格納部、１１０ 人物認識部、１１２ 特徴量データベース、１１４ 認識処理部、１２０ 排他検出部、１３０ 類似度算出部、１４０ 修正部
【技術分野】
【０００１】
本発明は、人物認識システム、人物認識方法、及び人物認識プログラムに関する。特に本発明は、複数の画像のそれぞれに含まれる人物を認識する人物認識システム、人物認識方法、及び人物認識プログラムに関する。
【背景技術】
【０００２】
従来、人物の顔画像を画像認識することにより、当該人物を認識する人物認識システムが知られている（例えば、特許文献１参照。）。これらの人物認識システムにおいては、人物の顔画像に対して画像処理を行うことにより、当該顔画像から特徴量を抽出すると共に、抽出した特徴量の差異に基づいて、それぞれの人物を認識している。
【特許文献１】特開２００１−２７３４９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、人物認識に用いられる顔画像は、撮像されるアングルや撮像環境、被写体である人物の表情等によって様々に変化するので、従来の人物認識システムにおいて、常に高い認識率を維持することは容易ではない。このため、同一人物を示す複数の顔画像のそれぞれが、互いに異なる人物の顔画像であるとして誤認識される場合が少なからずあり、より高い精度で人物の認識結果を得ることのできる人物認識システムが待望されていた。
【０００４】
そこで本発明は、上記の課題を解決することができる人物認識システム、人物認識方法、及び人物認識プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像の少なくとも一部に含まれる複数の人物の中で、複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、排他検出部によって検出された２人の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える。当該人物認識システムは、排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部を更に備え、修正部は、更に、排他検出部によって検出された２人の人物の間における、類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、人物認識部による認識結果を修正してもよい。
【０００６】
修正部は、更に、排他検出部によって検出された２人の人物のうち一方の人物が含まれる第１の画像、及び当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であることを条件として、当該２人の人物が同一人物であると判定し、人物認識部による認識結果を修正してもよい。人物認識部は、複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している特徴量データベースと、複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、特徴量データベースに格納されている顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する認識処理部とを有し、修正部は、排他検出部によって検出された２人の人物が同一人物であると判定した場合に、更に、認識処理部によって当該２人の人物が同一人物として認識されるべく、認識処理部における類似度の基準値をより低く修正してもよい。
【０００７】
また、本発明の第２の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、複数の画像の少なくとも一部に含まれる複数の人物の中で、複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出段階と、排他検出段階において検出された２人の人物が同一人物であると判定し、人物認識段階における認識結果を修正する修正段階とを備える。当該人物認識方法は、排他検出段階において検出された２人の人物の間における、顔画像の類似度を算出する類似度算出段階を更に備え、修正段階は、更に、排他検出段階において検出された２人の人物の間における、類似度算出段階において算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、人物認識段階における認識結果を修正してもよい。
【０００８】
また、本発明の第３の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識システムとしてコンピュータを機能させる人物認識プログラムであって、コンピュータを、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像の少なくとも一部に含まれる複数の人物の中で、複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、排他検出部によって検出された２人の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える人物認識システムとして機能させる。当該人物認識プログラムは、コンピュータを、排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部を更に備え、修正部は、更に、排他検出部によって検出された２人の人物の間における、類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、人物認識部による認識結果を修正する人物認識システムとして機能させる。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１０】
本発明によれば、同一人物を互いに異なる複数の人物として誤認識した場合であっても、認識結果を修正して、精度の高い人物の認識結果を利用者に提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、本発明の実施形態に係る人物認識システム１０の機能構成の一例を示すブロック図である。人物認識システム１０は、画像格納部１００、人物認識部１１０、排他検出部１２０、類似度算出部１３０、及び修正部１４０を備える。例えば、人物認識システム１０は、電子アルバムに含まれる複数の画像が画像格納部１００に格納されている場合に、当該複数の画像のそれぞれに含まれる人物を認識すると共に、当該画像に含まれる人物のそれぞれが誰であるかを示す情報を、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ）フォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに記録してよい。これにより、利用者は、当該複数の画像を、容易に、人物毎にカテゴリ分けされたスライドショーとして鑑賞したり、また人物毎に整理したりすることができる。なお、人物認識システム１０は、例えばパーソナルコンピュータであってよく、また、デジタルスチルカメラや、デジタルスチルカメラが設けられた携帯電話端末等であってもよい。
【００１３】
本発明の実施形態に係る人物認識システム１０は、複数の画像に含まれる人物の中で、同一人物であるにも関わらず、互いに異なる２人の人物であるとして認識された人物を検出して、当該人物についての認識結果を修正することにより、精度の高い認識結果を利用者に提供することを目的とする。
【００１４】
画像格納部１００は、例えば、磁気記録媒体や半導体記録媒体等を用いた記憶装置であってよく、複数の画像を格納している。人物認識部１１０は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、公知の画像認識技術を用いることにより認識する。人物認識部１１０は、特徴量データベース１１２、及び認識処理部１１４を有する。特徴量データベース１１２は、複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している。認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、特徴量データベース１１２に格納されている顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する。そして、認識処理部１１４は、それぞれの画像についての人物の認識結果を、排他検出部１２０及び修正部１４０に出力する。
【００１５】
排他検出部１２０は、画像格納部１００に格納されている複数の画像の少なくとも一部に含まれる人物の中で、当該複数の画像の何れにおいても共に含まれることがない２人の人物を検出する。そして、排他検出部１２０は、検出した２人の人物を示す情報を、類似度算出部１３０に出力する。類似度算出部１３０は、排他検出部１２０によって検出された２人の人物の間における、顔画像の類似度を算出する。そして、類似度算出部１３０は、排他検出部１２０から受け取った当該２人の人物を示す情報、及び当該２人の人物について算出した顔画像の類似度を、修正部１４０に出力する。修正部１４０は、排他検出部１２０によって検出された２人の人物が同一人物であると判定し、認識処理部１１４による認識結果を修正する。ここで、修正部１４０は、更に、類似度算出部１３０によって算出された、当該２人の人物の間における顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定してよい。
【００１６】
本発明の実施形態に係る人物認識システム１０によれば、２人の人物が、何れの画像においても共に含まれることがなく、画像に含まれる機会が互いに排他的である場合に、当該２人の人物が実際には同一人物であるとして、人物の認識結果を修正することができる。これにより、画像認識技術を用いた人物認識処理において、１人の人物の画像を、互いに異なる２人の人物の画像として誤認識した場合であっても、当該２人の人物が同一人物であるとして認識結果を修正し、精度の高い人物認識結果を利用者に提供することができる。
【００１７】
また、例えば、画像格納部１００に格納されている画像の数が少ない場合になどにおいては、ある２人の人物が、実際には同一人物ではないにも関わらず、何れの画像においても共に含まれていないことにより、排他検出部１２０が当該２人の人物を検出する場合がある。しかし、人物認識システム１０によれば、当該２人の人物の間における顔画像の類似度が基準値以上でない場合には、当該２人の人物を同一人物であると判定しない。これにより、排他検出部１２０によって検出された２人の人物が同一人物であるか否かを、より高い精度で判定することができる。
【００１８】
図２は、本発明の実施形態に係る画像格納部１００の一例を示す。画像格納部１００は、複数の画像のそれぞれについて、当該画像を識別する画像識別子と、当該画像を示す画像データとを対応付けて格納している。ここで、画像識別子とは、画像格納部１００が画像を格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。なお、本図において、画像識別子は数値として示されているが、これに代えて、画像識別子は、例えば画像データを示すファイルに割り当てられたファイル名等の文字列であってもよい。また、画像格納部１００は、複数の画像のそれぞれを識別する画像識別子に対応付けて、更に、当該画像の撮像日時を示す情報を格納していてよい。
【００１９】
図３は、本発明の実施形態に係る特徴量データベース１１２の一例を示す。特徴量データベース１１２は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像の特徴量とを対応付けて格納している。ここで、人物識別子は、例えば、特徴量データベース１１２に人物の顔画像の特徴量が格納される場合に、それぞれの人物について一意となるべく定められた値であってよい。また、特徴量データベース１１２は、それぞれの人物について、複数の特徴量（例えば、Ａ、Ｂ、・・・等）を格納してよい。ここで、人物の顔画像の特徴量とは、例えば、顔画像そのものや、当該顔画像から公知の画像処理技術を用いて抽出された、顔の輪郭形状、或いは、眼や鼻、口といった、顔における特徴的な部位の形状、それぞれの部位の顔全体における位置、またはそれぞれの部位の間の位置関係といった、多様な情報であってよい。
【００２０】
図４は、本発明の実施形態に係る認識処理部１１４における人物の認識結果の一例を示す。認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する。例えば、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、認識処理部１１４は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、認識処理部１１４は、検出した人物の顔を示す部分画像から特徴量を抽出すると共に、抽出した特徴量を、図３に示した特徴量データベース１１２に格納されている、複数の人物のそれぞれについての顔画像の特徴量と比較する。そして、認識処理部１１４は、抽出した特徴量が、特徴量データベース１１２に格納されている顔画像の特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、画像から検出した被写体が、特徴量データベース１１２において当該顔画像の特徴量に対応付けられている人物であると認識し、当該人物を示す人物識別子を検出する。このようにして、認識処理部１１４は、図４に示すように、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物のそれぞれを認識し、当該複数の人物を示す複数の人物識別子を検出する。
【００２１】
なお、特徴量データベース１１２は、人物毎の顔画像の特徴量を、認識処理部１１４から受け取って格納してよい。具体的には、認識処理部１１４は、画像格納部１００に格納されている画像に含まれる人物を認識する場合において、当該画像に含まれる人物の顔画像から抽出した特徴量が、特徴量データベース１１２に格納されている何れの人物の特徴量に対しても、予め定められた基準値以上の類似度を示さない場合に、当該顔画像から抽出した特徴量を、新たな人物の顔画像の特徴量として、特徴量データベース１１２に格納させてよい。これにより、特徴量データベース１１２は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物の顔画像の特徴量を格納することができる。
【００２２】
図５は、本発明の実施形態に係る人物認識システム１０を用いた人物認識方法における処理の流れの一例を示すフローチャートである。まず、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する（Ｓ１０００）。続いて、排他検出部１２０は、複数の画像の少なくとも一部に含まれる人物の中で、当該複数の画像の何れにおいても共に含まれることがない２人の人物を検出する（Ｓ１０１０）。ここで、排他検出部１２０は、複数の画像の少なくとも一部に含まれる人物の中から、当該複数の画像の何れにおいても共に含まれることがない２人の人物の組み合わせを、複数検出してもよい。そして、人物認識システム１０は、排他検出部１２０が検出した２人の人物の組み合わせ毎に、以下の処理を繰り返す（Ｓ１０２０）。
【００２３】
まず、類似度算出部１３０は、当該２人の人物の間における顔画像の類似度を算出する（Ｓ１０３０）。例えば、類似度算出部１３０は、排他検出部１２０から受け取った、当該２人の人物のそれぞれを示す人物識別子と、認識処理部１１４から受け取った、画像格納部１００に格納されている複数の画像のそれぞれに含まれる人物を示す人物識別子とに基づいて、当該２人の人物のそれぞれが含まれる画像を、画像格納部１００から読み出す。そして、類似度算出部１３０は、読み出した画像のそれぞれから、当該２人の人物のそれぞれの顔画像を抽出する。そして、類似度算出部１３０は、抽出したそれぞれの顔画像を比較することにより、当該２人の人物の間における顔画像の類似度を算出する。ここで、類似度算出部１３０は、画像格納部１００から読み出した画像から抽出した顔画像を比較する代わりに、特徴量データベース１１２に格納されている、当該２人の人物のそれぞれにおける顔画像の特徴量を比較することにより、当該２人の人物の間における顔画像の類似度を算出してもよい。
【００２４】
続いて、修正部１４０は、当該２人の人物の間における顔画像の類似度が、予め定められた基準値以上であるか否かを判定する（Ｓ１０４０）。ここで、予め定められた基準値とは、例えば、同一人物を撮像した２枚の画像において、画像の撮像条件、または人物の表情等が異なることにより、それぞれの画像に含まれる人物の顔画像が異なる場合の、当該２枚の画像における顔画像の類似度の典型値、または当該典型値より低い値であってよく、利用者等によって予め定められてよい。
【００２５】
そして、当該２人の人物の間における顔画像の類似度が基準値以上であると判定した場合（Ｓ１０４０：Ｙｅｓ）、修正部１４０は、更に、当該２人の人物のうち一方の人物が含まれる第１の画像と、当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であるか否かを判定する（Ｓ１０５０）。ここで、修正部１４０は、当該第１の画像として、当該一方の人物が含まれる画像のうち、何れの画像を選択してもよい。また、修正部１４０は、当該第２の画像として、当該他方の人物が含まれる画像のうち、何れの画像を選択してもよい。なお、撮像日時の差における予め定められた基準値とは、例えば、旅行中に撮像された一連の画像や、同一のイベント中に撮像された一連の画像といった、画像の内容や撮像状況についてまとまりのある一連の画像における、それぞれの画像の、撮像日時の差の最大値であってよく、利用者等によって予め定められてよい。
【００２６】
そして、撮像日時の差が基準値以下であると判定した場合（Ｓ１０５０：Ｙｅｓ）、修正部１４０は、当該２人の人物が同一人物であると判定し、認識処理部１１４による人物の認識結果を修正する（Ｓ１０６０）。例えば、修正部１４０が、画像格納部１００に格納されている複数の画像のそれぞれについての、認識処理部１１４による人物の認識結果を示す情報、例えば当該画像に含まれる人物識別子等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに記録する場合を考える。この場合、修正部１４０は、当該２人の人物における人物識別子が同一の値となるべく修正した認識結果を示す情報を、当該２人の人物のそれぞれが含まれる画像を示す画像ファイルに記録してよい。また、例えば、修正部１４０は、認識処理部１１４による人物の認識結果を修正した後で、修正した認識結果を、例えば人物認識システム１０に設けられた表示装置に表示してもよい。
【００２７】
更に、修正部１４０は、当該２人の人物が同一人物であると判定した場合に、認識結果を修正するだけでなく、認識処理部１１４によって当該２人の人物が同一人物として認識されるべく、認識処理部１１４における顔画像の類似度の基準値をより低く修正してもよい。ここで、より低く修正された基準値とは、例えば、認識処理部１１４によって、当該２人の人物が同一人物として認識される基準値のうち、最大の値であってよい。そして、人物認識システム１０は、以上の処理を、排他検出部１２０が検出した２人の人物の組み合わせ毎に繰り返す（Ｓ１０７０）。
【００２８】
本発明の実施形態に係る人物認識システム１０によれば、排他検出部１２０が検出した２人の人物が含まれる画像のそれぞれにおける撮像日時の差が基準値以下であることを更なる条件として、当該２人の人物が同一人物であるか否かを判定することができる。例えば、旅行中に撮像された一連の画像や、同一のイベント中に撮像された一連の画像といった、撮像日時が近接している一連の画像において、２人の人物が、何れの画像においても共に含まれることがない場合、当該２人の人物は、同一人物である可能性が高い。人物認識システム１０によれば、こういった場合に、当該２人の人物を同一人物として判定することができるので、実際には同一人物でありながら、画像認識処理によって互いに異なる人物として認識された２人の人物を、より高い精度で同一人物として判定することができる。
【００２９】
なお、修正部１４０は、排他検出部１２０によって検出された２人の人物のうち一方の人物が含まれる第１の画像と、当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であるか否かを判定するだけでなく、当該第１の画像と当該第２の画像との撮像地点の間の距離が、予め定められた基準距離より短いか否かを更に判定してもよい。そして、修正部１４０は、互いの撮像地点の間の距離が基準距離より近い場合に、当該２人の人物が同一人物であると判定してもよい。この場合、画像格納部１００は、複数の画像のそれぞれを識別する画像識別子に対応付けて、更に、当該画像の撮像地点を示す情報を格納していてよい。
【００３０】
また、人物認識システム１０によれば、認識処理部１１４によって互いに異なる人物として認識された２人の人物が、修正部１４０によって同一人物であると判定された場合に、認識処理部１１４における人物の認識処理に用いる顔画像の類似度の基準値を、より低く修正することができる。例えば、人物認識システム１０は、認識処理部１１４における特徴量の類似度の基準値を、当初、利用者等によって予め定められた、画像認識処理における典型的な値に比べて、高く設定しておいてよい。この場合、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれに含まれる人物の認識において、同一人物であるにも関わらず、互いに異なる複数の人物として誤認識する場合が多くなる。しかし、人物認識システム１０によれば、何れの画像においても共に含まれることがない２人の人物を同一人物であると判定した場合に、認識処理部１１４における類似度の基準値を低下させて、当該人物についての適正な基準値を設定することができる。これにより、その後、認識処理部１１４は、当該人物について、精度の高い認識処理を実行することができる。
【００３１】
なお、以上の説明において、排他検出部１２０により検出された２人の人物の組み合わせのうち、少なくとも一部の組み合わせは、互いに同一の人物を含んでいてもよい。これにより、認識処理部１１４において、同一人物が、互いに異なる２人以上の数の人物として誤認識された場合であっても、認識結果を修正することができる。
【００３２】
また、以上の説明において、人物認識システム１０は、何れの画像においても共に含まれることがない２人の人物を検出した後で、当該２人の人物における顔画像の類似度に基づいて、当該２人の人物が同一人物であるか否かを判定している。しかし、人物認識システム１０は、以上の説明における順序とは異なる順序で、互いに異なる人物として認識された２人の人物が同一人物であるか否かを判定してよい。具体的には、まず、類似度算出部１３０が、画像格納部１００に格納されている複数の画像の少なくとも一部に含まれる、互いに異なる人物として認識された複数の人物のうち、顔画像の類似度が予め定められた基準値以上である２人の人物を検出する。続いて、排他検出部１２０は、類似度算出部１３０により検出された２人の人物が、複数の画像の何れにおいても共に含まれることがないか否かを判定する。そして、修正部１４０は、当該２人の人物が、何れの画像においても共に含まれることがない場合に、当該２人の人物が同一人物であると判定し、認識処理部１１４による人物の認識結果を修正する。何れの順序で処理を行う場合であっても、人物認識システム１０によれば、同一人物であるにも関わらず、互いに異なる２人の人物として誤認識された人物についての認識結果を修正して、精度の高い認識結果を利用者に提供することができる。
【００３３】
図６は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホストコントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィックコントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホストコントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスクドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００３４】
ホストコントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィックコントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレームバッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィックコントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。
【００３５】
入出力コントローラ１５８４は、ホストコントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
【００３６】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスクドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブートプログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスクドライブ１５５０や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。
【００３７】
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される人物認識プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。人物認識プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される人物認識プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図５にかけて説明した人物認識システムとして機能させる。
【００３８】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００３９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態に係る人物認識システム１０の機能構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る画像格納部１００の一例を示す図である。
【図３】本発明の実施形態に係る特徴量データベース１１２の一例を示す図である。
【図４】本発明の実施形態に係る認識処理部１１４における人物の認識結果の一例を示す図である。
【図５】本発明の実施形態に係る人物認識システム１０を用いた人物認識方法における処理の流れの一例を示すフローチャートである。
【図６】本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。
【符号の説明】
【００４１】
１０ 人物認識システム、１００ 画像格納部、１１０ 人物認識部、１１２ 特徴量データベース、１１４ 認識処理部、１２０ 排他検出部、１３０ 類似度算出部、１４０ 修正部
【特許請求の範囲】
【請求項１】
複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記複数の画像の少なくとも一部に含まれる複数の人物の中で、前記複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、
前記排他検出部によって検出された２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する修正部と
を備える人物認識システム。
【請求項２】
前記排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部
を更に備え、
前記修正部は、更に、前記排他検出部によって検出された２人の人物の間における、前記類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する
請求項１に記載の人物認識システム。
【請求項３】
前記修正部は、更に、前記排他検出部によって検出された２人の人物のうち一方の人物が含まれる第１の画像、及び当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する請求項２に記載の人物認識システム。
【請求項４】
前記人物認識部は、
複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している特徴量データベースと、
前記複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、前記特徴量データベースに格納されている前記顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する認識処理部と
を有し、
前記修正部は、前記排他検出部によって検出された２人の人物が同一人物であると判定した場合に、更に、前記認識処理部によって当該２人の人物が同一人物として認識されるべく、前記認識処理部における類似度の基準値をより低く修正する
請求項３に記載の人物認識システム。
【請求項５】
複数の画像のそれぞれに含まれる人物を認識する人物認識方法であって、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
前記複数の画像の少なくとも一部に含まれる複数の人物の中で、前記複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出段階と、
前記排他検出段階において検出された２人の人物が同一人物であると判定し、前記人物認識段階における認識結果を修正する修正段階と
を備える人物認識方法。
【請求項６】
前記排他検出段階において検出された２人の人物の間における、顔画像の類似度を算出する類似度算出段階
を更に備え、
前記修正段階は、更に、前記排他検出段階において検出された２人の人物の間における、前記類似度算出段階において算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識段階における認識結果を修正する
請求項５に記載の人物認識方法。
【請求項７】
複数の画像のそれぞれに含まれる人物を認識する人物認識システムとしてコンピュータを機能させる人物認識プログラムであって、
前記コンピュータを、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記複数の画像の少なくとも一部に含まれる複数の人物の中で、前記複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、
前記排他検出部によって検出された２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する修正部と
を備える人物認識システムとして機能させる人物認識プログラム。
【請求項８】
前記コンピュータを、
前記排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部
を更に備え、
前記修正部は、更に、前記排他検出部によって検出された２人の人物の間における、前記類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する
人物認識システムとして機能させる請求項７に記載の人物認識プログラム。
【請求項１】
複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記複数の画像の少なくとも一部に含まれる複数の人物の中で、前記複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、
前記排他検出部によって検出された２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する修正部と
を備える人物認識システム。
【請求項２】
前記排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部
を更に備え、
前記修正部は、更に、前記排他検出部によって検出された２人の人物の間における、前記類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する
請求項１に記載の人物認識システム。
【請求項３】
前記修正部は、更に、前記排他検出部によって検出された２人の人物のうち一方の人物が含まれる第１の画像、及び当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する請求項２に記載の人物認識システム。
【請求項４】
前記人物認識部は、
複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している特徴量データベースと、
前記複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、前記特徴量データベースに格納されている前記顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する認識処理部と
を有し、
前記修正部は、前記排他検出部によって検出された２人の人物が同一人物であると判定した場合に、更に、前記認識処理部によって当該２人の人物が同一人物として認識されるべく、前記認識処理部における類似度の基準値をより低く修正する
請求項３に記載の人物認識システム。
【請求項５】
複数の画像のそれぞれに含まれる人物を認識する人物認識方法であって、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
前記複数の画像の少なくとも一部に含まれる複数の人物の中で、前記複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出段階と、
前記排他検出段階において検出された２人の人物が同一人物であると判定し、前記人物認識段階における認識結果を修正する修正段階と
を備える人物認識方法。
【請求項６】
前記排他検出段階において検出された２人の人物の間における、顔画像の類似度を算出する類似度算出段階
を更に備え、
前記修正段階は、更に、前記排他検出段階において検出された２人の人物の間における、前記類似度算出段階において算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識段階における認識結果を修正する
請求項５に記載の人物認識方法。
【請求項７】
複数の画像のそれぞれに含まれる人物を認識する人物認識システムとしてコンピュータを機能させる人物認識プログラムであって、
前記コンピュータを、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記複数の画像の少なくとも一部に含まれる複数の人物の中で、前記複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、
前記排他検出部によって検出された２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する修正部と
を備える人物認識システムとして機能させる人物認識プログラム。
【請求項８】
前記コンピュータを、
前記排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部
を更に備え、
前記修正部は、更に、前記排他検出部によって検出された２人の人物の間における、前記類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する
人物認識システムとして機能させる請求項７に記載の人物認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−２３６２１７（Ｐ２００６−２３６２１７Ａ）
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願番号】特願２００５−５３０６２（Ｐ２００５−５３０６２）
【出願日】平成１７年２月２８日（２００５．２．２８）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願日】平成１７年２月２８日（２００５．２．２８）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
[ Back to top ]