顔画像抽出装置、顔画像抽出装置の制御方法、及び制御プログラム
【課題】データベースに蓄積されている検索対象の人物の年齢範囲が広くても、該検索対象の人物の顔画像と撮像された顔画像とが同一の人物であるか否かの判定を精度よく行うことができる顔画像抽出装置を提供する。
【解決手段】顔画像抽出装置は、検索対象人物の顔画像を含む参照画像を設定する設定部１００と、参照画像から顔領域を抽出する抽出部１０１と、参照画像の撮影日時を起点に撮影日時を変更しながらデータベース１０４に蓄積された映像データを探索して取得し、取得した映像データから顔領域を抽出する抽出部１０２と、抽出部１０１，１０２で抽出された各顔領域に基づき、取得した映像データが参照画像と同一人物であるか否かを判定する処理部１０３と、該処理部１０３で同一人物であると判定された場合に、設定部１００で設定された参照画像を抽出部１０２で抽出された顔領域の画像に切替える切替え部１０７と、を備える。
【解決手段】顔画像抽出装置は、検索対象人物の顔画像を含む参照画像を設定する設定部１００と、参照画像から顔領域を抽出する抽出部１０１と、参照画像の撮影日時を起点に撮影日時を変更しながらデータベース１０４に蓄積された映像データを探索して取得し、取得した映像データから顔領域を抽出する抽出部１０２と、抽出部１０１，１０２で抽出された各顔領域に基づき、取得した映像データが参照画像と同一人物であるか否かを判定する処理部１０３と、該処理部１０３で同一人物であると判定された場合に、設定部１００で設定された参照画像を抽出部１０２で抽出された顔領域の画像に切替える切替え部１０７と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影日時情報を有する映像データから任意の日時を基準に撮影日時を変更しながら顔画像を検索して、検索対象の人物の顔画像を抽出する顔画像抽出装置、顔画像抽出装置の制御方法、及び制御プログラムに関する。
【背景技術】
【０００２】
従来、顔画像情報のデータベースから特定の人物を検索する顔画像検索装置が知られている（特許文献１）。
【０００３】
この顔画像検索装置は、撮像された人物の顔画像から顔領域を検出し、検出結果に基づいて目や口等のパーツを抽出するとともに顔の特徴量を抽出して、登録済の顔画像情報データベースとの類似度を評価することにより、撮像された顔画像の人物を特定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１７８３０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、人物の顔は、通常、加齢と共に大きく変化し、また、年代によってその変化の割合も異なる。
【０００６】
従って、上記特許文献１では、データベースに蓄積されている特定人物の顔画像情報と撮像された顔画像とが同一の人物であっても、年齢が大きく離れている場合には誤った人物と判定される可能性がある。
【０００７】
そこで、本発明は、データベースに蓄積されている検索対象の人物の年齢範囲が広くても、該検索対象の人物の顔画像と撮像された顔画像とが同一の人物であるか否かの判定を精度よく行うことができる顔画像抽出装置等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の顔画像抽出装置は、撮影日時情報を有する映像データを蓄積するデータベースと、検索対象人物の顔画像を含む参照画像を設定する参照画像設定手段と、前記参照画像から顔領域を抽出する第１の顔領域抽出手段と、前記参照画像の撮影日時を起点に撮影日時を変更しながら前記データベースに蓄積された映像データを探索して取得する取得手段と、該取得手段によって取得された映像データから顔領域を抽出する第２の顔領域抽出手段と、前記第１の顔領域抽出手段により抽出された顔領域と前記第２の顔領域抽出手段により抽出された顔領域とに基づき、前記取得手段によって取得された映像データが前記参照画像と同一人物であるか否かを判定する判定手段と、前記判定手段により前記取得手段によって取得された映像データが前記参照画像と同一人物であると判定された場合に、前記参照画像設定手段で設定された参照画像を前記第２の顔領域抽出手段により抽出された顔領域の画像に切替える切替え手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、データベースに蓄積されている検索対象の人物の年齢範囲が広くても、該検索対象の人物の顔画像と撮像された顔画像とが同一の人物であるか否かの判定を精度よく行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態である顔画像抽出装置を説明するためのブロック図である。
【図２】データベースに蓄積される映像データと参照画像設定部で設定した参照画像データの概略図である。
【図３】顔画像抽出装置の動作例について説明するためのフローチャート図である。
【図４】逆方向探索でデータベースから最初に取得した映像データから候補画像を抽出する処理を説明するための図である。
【図５】参照画像の顔領域に対する候補画像の類似度の算出結果を示す図である。
【図６】逆方向探索によりデータベースから取得した映像データから候補画像を抽出する処理を説明するための図である。
【図７】参照画像の顔領域に対する候補画像の類似度の算出結果を示す図である。
【図８】逆方向探索を繰り返してデータベースから先頭の映像データを取得し、取得した映像データから候補画像を抽出する処理を説明するための図である。
【図９】参照画像の顔領域に対する候補画像の類似度の算出結果を示す図である。
【図１０】逆方向探索により抽出された対象人物の候補画像を撮影日時と共に一覧表示した図である。
【図１１】本発明の第２の実施形態である顔画像抽出装置において、画像入力部に表示される、参照画像の検索対象人物の生年月日を設定する画面の一例を示す概略図である。
【図１２】検索対象人物の年齢とデータベースでの映像データの探索範囲との関係を示す図である。
【図１３】本発明の第３の実施形態である顔画像抽出装置において、データベースにおける映像データの全探索区間及び区分した探索区間の概略図である。
【図１４】検索対象人物の年代と探索区間との関係を示す図である。
【図１５】本発明の第４の実施形態である顔画像抽出装置について説明するためのブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面を参照して説明する。
【００１２】
（第１の実施形態）
図１は、本発明の第１の実施形態である顔画像抽出装置を説明するためのブロック図である。
【００１３】
図１において、参照画像設定部１００は、抽出対象の人物の顔画像の参照画像を設定する。なお、参照画像は、画像入力部１０６のインタフェースを介してビデオカメラ等で撮影した映像から所望の画像を選択して取り込むようにしてもよい。また、参照画像は、パーソナルコンピュータ等に保存されているデジタルカメラ等の撮影画像を画像入力部１０６のインタフェースを介して取り込んでも良い。更に、参照画像は、データベース１０４に蓄積されている映像から不図示の選択手段で選択した画像を参照画像として設定することも可能であり、また、デジタルカメラ等を直接接続して、撮影した画像を取り込むようにしてもよい。
【００１４】
第１の顔領域抽出部１０１は、参照画像設定部１００で設定した参照画像から抽出対象の人物の顔領域を抽出する。もし参照画像から複数の顔領域が抽出された場合には、その中のどの顔を抽出対象とするかをユーザに選択させるようにすればよい。第２の顔領域抽出部１０２は、データベース１０４から取得した映像データから顔領域を抽出する。
【００１５】
評価処理部１０３は、第１の顔領域抽出部１０１で抽出された第１の顔領域データと第２の顔領域抽出部１０２で抽出された第２の顔領域データを基に、第１の顔領域データに対する第２の顔領域データの類似度を算出して評価する。例えば、抽出された目、口および鼻等のパーツの個々の形状の類似度や、それぞれのパーツの相対位置の類似度の程度の総和を算出して評価する。
【００１６】
類似度は、０〜１００％の百分率で算出され、評価処理部１０３は、算出された類似度が所定のしきい値以上のとき、第１の顔領域データと第２の顔領域データを同一人物と判定する。
【００１７】
画像表示部１０５は、参照画像や抽出画像等を表示する。画像入力部１０６は、外部から参照画像等を入力する場合に用いられる。
【００１８】
参照画像切替え部１０７は、評価処理部１０３での評価結果に基づいて参照画像を切替える。ここで、参照画像を切替える条件としては、第２の顔領域データが第１の顔領域データと同一人物と判定された場合である。
【００１９】
図２は、データベース１０４に蓄積される映像データＮｏ．１〜Ｎｏ．１０００と参照画像設定部１００で設定した参照画像データ２００の概略図である。
【００２０】
映像データ及び参照画像データには、撮影日時情報が付与されている。図２の例では、１９７０年１月１日から２００８年１月１日までの映像データがデータベース１０４に蓄積されている。なお、本実施形態では、映像データは、撮影日時順にソートされてデータベース１０４に保持されているものとする。
【００２１】
次に、図３を参照して、上記構成の顔画像抽出装置の動作例について説明する。図３での各処理は、不図示のＲＯＭやＨＤＤ等に格納された制御プログラムがＲＡＭにロードされて、ＣＰＵ等により実行される。
【００２２】
ステップＳ８０１では、ＣＰＵは、参照画像設定部１００で参照画像が設定されると、第１の顔領域抽出部１０１により、参照画像から人物の顔領域を抽出し、ステップＳ８０２に進む。
【００２３】
ステップＳ８０２では、ＣＰＵは、データベース１０４に蓄積された映像データの撮影日時の探索開始点の設定を行い、ステップＳ８０３に進む。
【００２４】
ここで、参照画像設定部１００で設定された参照画像データの撮影日時は、例えば２００７年１１月１日とする。従って、データベース１０４での映像データの撮影日時の探索開始点を２００７年１１月１日とする。また、探索開始点を起点に撮影日時を遡ってデータベース１０４の映像データを探索する場合を逆方向探索とし、探索開始点を起点に撮影日時を進めてデータベース１０４の映像データを探索する場合を順方向探索とする。本実施形態では、まず、撮影日時の逆方向探索を行った後、順方向探索を行う。
【００２５】
ステップＳ８０３では、ＣＰＵは、前記逆方向探索及び／又は前記順方向探索の結果、データベース１０４に次の映像データが有るか否かを判断し、次の映像データが有る場合は、ステップＳ８０４に進み、次の映像データが無い場合は、処理を終了する。
【００２６】
ステップＳ８０４では、ＣＰＵは、データベース１０４から映像データを取得し、ステップＳ８０５に進む。
【００２７】
ステップＳ８０５では、ＣＰＵは、第２の顔領域抽出部１０２によりデータベース１０４から取得した映像データの顔領域（以下、候補画像という）の抽出が終了したか否かを判断する。
【００２８】
そして、ＣＰＵは、候補画像の抽出が終了した場合は、ステップＳ８０８に進み、終了していない場合は、ステップＳ８０６に進む。なお、候補画像の抽出が終了したことの判断は、映像データの録画時間の終了地点まで探索を終えているか否かにより判断することができる。
【００２９】
ステップＳ８０６では、ＣＰＵは、第２の顔領域抽出部１０２により映像データから候補画像を抽出し、ステップＳ８０７に進む。候補画像は、映像データの顔領域を検出して切り出すことにより行う。顔領域の検出は、例えば、特開２００１−１６７１１０号公報等の公知の技術を用いて行うことができる。
【００３０】
ステップＳ８０７では、ＣＰＵは、評価処理部１０３によりステップＳ８０１で抽出された参照画像の顔領域に対する候補画像の類似度を算出し、ステップＳ８０５に戻る。
【００３１】
ここで、図４及び図５を参照して、ステップＳ８０６及びステップＳ８０７の処理について具体的に説明する。
【００３２】
図４は逆方向探索でデータベース１０４から最初に取得した映像データ９９８から候補画像３０１〜３０３を抽出する処理を説明するための図、図５は参照画像３００の顔領域に対する候補画像３０１〜３０３の類似度の算出結果を示す図である。
【００３３】
図４において、映像データ９９８の録画時間は５分間であり、区間Ａの映像データから第２の顔領域抽出部１０２により候補画像３０１が抽出され、抽出された候補画像３０１は、評価処理部１０３で参照画像３００の顔領域に対する類似度が算出される。図５（ａ）に示すように、ここでの候補画像３０１の類似度は３０％と算出される。なお、類似度の算出方法としては、特開２００３−１７８３０４号公報等の公知の技術を用いることができる。
【００３４】
次に、図４の区間Ｂの映像データから第２の顔領域抽出部１０２により候補画像３０２が抽出され、候補画像３０２は、図５（ａ）に示すように、評価処理部１０３で参照画像３００の顔領域に対する類似度が２０％と算出される。
【００３５】
さらに、図４の区間Ｃの映像データから第２の顔領域抽出部１０２により候補画像３０３が抽出され、候補画像３０３は、図５（ａ）に示すように、評価処理部１０３で参照画像３００の顔領域に対する類似度が類似度９８％と算出される。
【００３６】
図３に戻って、ステップＳ８０８では、ＣＰＵは、評価処理部１０３により候補画像３０１〜３０３の類似度としきい値とを比較する類似度評価を行い、ステップＳ８０９に進む。ここで、本実施形態では、しきい値を８０％に設定している。
【００３７】
ステップＳ８０９では、ＣＰＵは、評価処理部１０３により類似度がしきい値以上の候補画像が有るか無いかを判断する。
【００３８】
そして、ＣＰＵは、類似度がしきい値以上の候補画像が有る場合は、参照画像３００の顔領域と候補画像が同一人物であるとしてステップＳ８１０に進み、無い場合は、参照画像３００の顔領域と同一人物の候補画像がないものとしてステップＳ８０３に戻る。ここでは、評価処理部１０３により類似度９８％の候補画像３０３が参照画像３００の顔領域と同一人物として判定される。
【００３９】
ステップＳ８１０では、ＣＰＵは、参照画像切替え部１０７により参照画像３００と同一人物と判定された候補画像３０３を新たな参照画像３１０（図５（ｂ））に切替える。
【００４０】
そして、ＣＰＵは、新たな参照画像３１０を参照画像設定部１００に設定するとともに、第１の顔領域抽出部１０１により参照画像３１０から人物の顔領域を抽出し、ステップＳ８０３に戻る。
【００４１】
ステップＳ８０３では、ＣＰＵは、データベース１０４に次の映像データが有るか無いかを判断し、映像データが有る場合は、ステップＳ８０４以降で前述と同様にデータベース１０４から取得した映像データから候補画像４０１〜４０３の抽出処理が実行される。
【００４２】
図６及び図７を参照して、参照画像３００が参照画像３１０に切り替えられた後のステップＳ８０６及びステップＳ８０７の処理について具体的に説明する。
【００４３】
図６は逆方向探索によりデータベース１０４から取得した映像データ９７０から候補画像４０１〜４０３を抽出する処理を説明するための図、図７は参照画像３１０の顔領域に対する候補画像４０１〜４０３の類似度の算出結果を示す図である。
【００４４】
図６において、映像データ９７０の録画時間は８分間であり、区間Ａの映像データから第２の顔領域抽出部１０２により候補画像４０１が抽出され、抽出された候補画像４０１は、評価処理部１０３で参照画像３１０の顔領域に対する類似度が算出される。図７（ａ）に示すように、ここでの候補画像４０１の類似度は２５％と算出される。
【００４５】
次に、図６の区間Ｂの映像データから第２の顔領域抽出部１０２により候補画像４０２が抽出され、候補画像４０２は、図７（ａ）に示すように、評価処理部１０３で参照画像３１０の顔領域に対する類似度が９０％と算出される。
【００４６】
さらに、図６の区間Ｃの映像データから第２の顔領域抽出部１０２により候補画像４０３が抽出され、候補画像４０３は、図７（ａ）に示すように、評価処理部１０３で参照画像３１０の顔領域に対する類似度が類似度１５％と算出される。
【００４７】
図３に戻って、ステップＳ８０８では、ＣＰＵは、評価処理部１０３により候補画像４０１〜４０３の類似度としきい値（８０％）とを比較する類似度評価を行い、ステップＳ８０９に進む。
【００４８】
ステップＳ８０９では、ＣＰＵは、評価処理部１０３により類似度がしきい値以上の候補画像が有るか無いかを判断する。
【００４９】
そして、ＣＰＵは、類似度がしきい値以上の候補画像が有る場合は、参照画像３１０の顔領域と候補画像が同一人物であるとしてステップＳ８１０に進み、無い場合は、参照画像３１０の顔領域と同一人物の候補画像がないものとしてステップＳ８０３に戻る。ここでは、評価処理部１０３により類似度９０％の候補画像４０２が参照画像３１０の顔領域と同一人物として判定される。
【００５０】
ステップＳ８１０では、ＣＰＵは、参照画像切替え部１０７により参照画像３１０と同一人物と判定された候補画像４０２を新たな参照画像４１０（図７（ｂ））に切替える。
【００５１】
そして、ＣＰＵは、新たな参照画像４１０を参照画像設定部１００に設定するとともに、第１の顔領域抽出部１０１により参照画像４１０から人物の顔領域を抽出し、ステップＳ８０３に戻る。
【００５２】
図８は、前述のように逆方向探索を繰り返してデータベース１０４から先頭の映像データ１を取得し、取得した映像データ１から候補画像５０１，５０２を抽出する処理を説明するための図である。図９は、参照画像５１０の顔領域に対する候補画像５０１，５０２の類似度の算出結果を示す図である。
【００５３】
前述のように、検索対象の人物の顔画像と同一人物と判定された候補画像が次の参照画像として切替えられながら検索が行われるため、映像データ１を探索する際の参照画像５１０は、対象人物の幼少期の画像となっている。
【００５４】
図８において、映像データ１の録画時間は１２分間であり、区間Ａの映像データから第２の顔領域抽出部１０２により候補画像５０１が抽出され、抽出された候補画像５０１は、評価処理部１０３で参照画像５１０の顔領域に対する類似度が算出される。図９（ａ）に示すように、ここでの候補画像５０１の類似度は５％と算出される。
【００５５】
次に、図８の区間Ｂの映像データから第２の顔領域抽出部１０２により候補画像５０２が抽出され、候補画像５０２は、図９（ａ）に示すように、評価処理部１０３で参照画像５１０の顔領域に対する類似度が８４％と算出される。
【００５６】
ここでは、類似度がしきい値（８０％）以上の候補画像５０２が評価処理部１０３により参照画像５１０の顔領域と同一人物として判定される。
【００５７】
そして、参照画像切替え部１０７により、参照画像５１０と同一人物と判定された候補画像５０２が新たな参照画像６１０（図９（ｂ））に切替えられる。即ち、参照画像５１０に替わって候補画像５０２が次の参照画像５１０として参照画像設定部１００に設定される。
【００５８】
以上の一連の処理により、データベース１０４に蓄積されている映像データから逆方向探索による映像データの取得が終わり、検索対象の人物の顔画像の判定処理が終了する。
【００５９】
図１０は、逆方向探索により抽出された対象人物の候補画像を撮影日時と共に一覧表示したものである。図１０において、候補画像７０５は、最初の参照画像３００に相当し、候補画像７０１は、最後の参照画像６１０に相当する。
【００６０】
順方向探索においても同様に、参照画像３００と撮影日時が近い映像データから順に候補画像を抽出し、候補画像が参照画像と同一人物である場合は、この候補画像を新たな参照画像として設定する処理を繰り返せばよい。
【００６１】
以上説明したように、本実施形態では、データベース１０４に蓄積された映像データの撮影日時情報を用いて逆方向探索及び／又は前記順方向探索によりデータベース１０４から映像データを取得する。そして、取得した映像データから候補画像を抽出し、抽出した候補画像が参照画像と同一人物である場合は、該候補画像を新たな参照画像に切り替え設定する。これにより、データベース１０４に蓄積されている検索対象の人物の年齢範囲が広くても、該検索対象の人物の顔画像と撮像された顔画像とが同一の人物であるか否かの判定を精度よく行うことができ、判定処理の信頼性が向上する。
【００６２】
（第２の実施形態）
次に、図１１及び図１２を参照して、本発明の第２の実施形態である顔画像抽出装置について説明する。なお、上記第１の実施形態に対して重複又は相当する部分については、図及び符号を流用して説明する。
【００６３】
本実施形態では、参照画像設定部１００で最初の参照画像を設定する際に、ユーザ操作により参照画像の検索対象の人物の生年月日を画像入力部１０６で入力することにより、データベース１０４で映像データの探索を行う撮影日時の範囲を制限する。
【００６４】
これにより、入力された生年月日から検索対象人物が登場する映像データの範囲が予測できるので、撮像画像の撮影日時情報を基に、撮影日時が誕生日から現在の日時までの範囲で映像データを探索すれば良いことになる。
【００６５】
また、データベース１０４内の映像データの蓄積年月期間が非常に長くなり、例えば数百年分となった場合でも、誕生日から１５０年分の期間に探索範囲を限定することで探索時間を削減することが可能でなる。
【００６６】
図１１は、画像入力部１０６に表示される、参照画像３００の検索対象人物の生年月日を設定する画面の一例を示す概略図である。この設定画面では、生年月日の数値を例えば画面上に数値キーを表示して選択することで対応する。なお、生年月日の数値の入力方法はこれに限るものではなく、適宜変更可能である。
【００６７】
本実施形態では、検索対象人物の生年月日を１９７０年５月１日とし、現在の日時を２００８年５月５日として説明をする。
【００６８】
図１１の設定画面で生年月日が入力されると、入力された生年月日に応じてデータベース１０４に蓄積された映像データの探索範囲が制限される。
【００６９】
探索範囲は、誕生日である１９７０年５月１日から現在の日時２００８年５月５日までの３８年と５日分である。但し、誕生日から現在の日時までの日時範囲が１５０年を超える場合には、誕生日から１５０年分を最長探索範囲として探索範囲を制限する。なお、ここでは、最長探索範囲を１５０年としているが、他の値に変更することは可能である。
【００７０】
図１２は、検索対象人物の年齢とデータベース１０４での映像データの探索範囲との関係を示す図である。
【００７１】
誕生日は、１９７０年５月１日であるので、参照画像の撮影日時時点では３５歳となり、また、現在の日時２００８年５月５日の時点では３８歳である。探索の開始点は、上記第１の実施形態と同様に、最初の参照画像の撮影日時である２００５年１０月１０日である。映像データの探索は、上記第１の実施形態と同様に、逆方向探索及び／又は順方向探索を行う。
【００７２】
以上説明したように、本実施形態では、参照画像設定部１００で最初の参照画像を設定する際に、ユーザ操作により参照画像の検索対象人物の生年月日を設定する。これにより、データベース１０４内の映像データを探索する撮影日時の範囲を制限することができるので、探索時間の高速化を実現することができる。その他の構成及び作用効果は、上記第１の実施形態と同様である。
【００７３】
（第３の実施形態）
次に、図１３及び図１４を参照して、本発明の第３の実施形態である顔画像抽出装置について説明する。なお、上記第１及び第２の実施形態に対して重複又は相当する部分については、図及び符号を流用して説明する。
【００７４】
本実施形態では、データベース１０４における映像データの全探索区間を複数の探索区間に区分し、区分した探索区間毎に検索対象人物の代表画像の映像データを取得し、また、探索区間を検索対象人物の年代に応じて変更する。
【００７５】
図１３は、データベース１０４における映像データの全探索区間及び区分した探索区間の概略図である。
【００７６】
ここで、本実施形態では、上記第２の実施形態と同様に、参照画像設定部１００で最初の参照画像を設定する際に、ユーザ操作により参照画像の検索対象人物の生年月日を設定する手段を有し、設定した生年月日を基に全探索区間を複数の探索区間に区分する。
【００７７】
また、本実施形態では、検索対象人物の生年月日を１９７０年５月１日とし、現在の日時を２００８年５月５日とし、最初の参照画像の撮影日時を２００５年１０月１０として説明する。
【００７８】
探索区間は、図１４に示すように、探索する画像の撮影日時に対応する検索対象人物の年代に応じて変更する。ここで、年代によって探索区間が異なるのは、幼少期は時間の経過に対して人物の顔の変化が大きく、年齢が増すと変化の割合が小さくなることを想定しているためである。
【００７９】
映像データの探索は、上記第１の実施形態と同様に、逆方向探索及び／又は順方向探索を行う。ここでは、逆方向探索について説明する。
【００８０】
図１３において、最初の参照画像の撮影日時は２００５年１０月１０日であるので、この日時を探索開始点とする。開始点での年齢は３５歳である。２０歳以上の場合の探索区間は１０年（図１４）であるので、検索対象人物の年代が３５歳から２５歳に対応する撮影日時２００５年１０月１０日から遡って１９９５年５月１日までの範囲の映像データに限定して探索する。
【００８１】
なお、ここでは映像データの探索範囲を日時まで指定しているが、年月日の年の単位まで、或いは月の単位までを指定して範囲設定しても良い。
【００８２】
例えば、参照画像の撮影日時である２００５年１０月１０日の年の単位までを評価して２００５年から遡って１０年分として撮影日時の年の値が１９９５年までを探索範囲とする場合などである。
【００８３】
ここで、本実施形態では、探索区間毎に検索対象人物の候補画像の代表画像を選択する必要がある。ここでは、評価処理部１０３により各探索区間内で参照画像との間で類似度の評価を行い、最初に参照画像と同一人物であると判定された候補画像をその探索区間の代表画像とする。そして、３５歳から２５歳の探索区間での代表画像が参照画像設定部１００で次の参照画像として設定される。
【００８４】
なお、代表画像は、各探索区間において類似度が所定のしきい値以上の候補画像の中で、最も類似度が高い候補画像を代表画像としても良い。
【００８５】
次の探索区間は２５歳から１０年分であるので、２５歳から１５歳までが探索区間となるが、図１４に示すように、１０歳から２０歳の年代は探索区間が５年であるので、探索区間が異なる年代に跨る場合には、境界の年齢で探索区間を区切る。
【００８６】
図１３においては、本来は２５歳から１０年分で１５歳までが探索区間であるが、境界の年齢２０歳で探索区間が区切られるので、２５歳から２０歳までが探索区間となり、探索の際の参照画像は、前述の探索区間で設定されているものを用いる。
【００８７】
図１４に示すように、本実施形態では、探索区間の長さが切り替わる境界の年齢は、５歳、１０歳、２０歳であるので、各探索区間毎に上記同様の処理を繰り返すことにより、各探索区間毎の代表画像が抽出される。
【００８８】
以上説明したように、本実施形態では、データベース１０４における映像データの全探索区間を複数の探索区間に区分し、区分した探索区間毎に検索対象人物の代表画像の映像データを取得し、また、探索区間を検索対象人物の年代に応じて変更する。これにより、検索対象の人物の顔画像と撮像された顔画像とが同一の人物であるか否かの判定処理の処理速度の向上と信頼性の向上を図ることができる。その他の構成及び作用効果は、上記第１及び第２の実施形態と同様である。
【００８９】
（第４の実施形態）
次に、図１５を参照して、本発明の第４の実施形態である顔画像抽出装置について説明する。なお、上記第１の実施形態に対して重複又は相当する部分については、図に同一符号を付して説明する。
【００９０】
本実施形態では、ビデオカメラに顔画像抽出装置が搭載される。図１５において、映像信号処理部１１１は、カメラ部１１０から出力された被写体像の映像信号を圧縮符号化してデータベース１０４に蓄積する。
【００９１】
参照画像入力部１１２は、映像信号処理部１１１からの映像を参照画像として参照画像設定部１００に入力することができる。
【００９２】
参照画像設定部１００は、参照画像入力部１１２から出力される画像を参照画像として設定する。なお、データベース１０４に蓄積された映像データから不図示の選択手段で選択した所望の画像を参照画像として参照画像設定部１００に設定することも可能である。参照画像設定部１００では、設定されている参照画像を電源断後も不揮発メモリ等に保持する。
【００９３】
画像表示部１０５は、カメラ部１１０で撮影している映像を表示したり、データベース１０４に保存されている映像を再生したりすることができる。
【００９４】
第１の顔領域抽出部１０１は、参照画像設定部１００で設定した参照画像から抽出対象の人物の顔領域を抽出する。第２の顔領域抽出部１０２は、データベース１０４に蓄積された映像データから顔領域を抽出する。
【００９５】
評価処理部１０３は、第１の顔領域抽出部１０１で抽出された第１の顔領域データと第２の顔領域抽出部１０２で抽出された第２の顔領域データを基に、第１の顔領域データに対する第２の顔領域データの類似度を算出して評価する。
【００９６】
類似度は、０〜１００％の百分率で算出され、評価処理部１０３は、算出された類似度が所定のしきい値以上のとき、第１の顔領域データと第２の顔領域データを同一人物と判定する。
【００９７】
参照画像切替え部１０７は、評価処理部１０３での評価結果に基づいて第２の顔領域データを参照画像として切替設定する。ここで、参照画像を切替える条件としては、第２の顔領域データが第１の顔領域データと同一人物と判定された場合である。
【００９８】
次に、顔画像抽出装置を搭載したビデオカメラにおける顔画像の抽出動作例について説明する。ここでの処理は、不図示のＲＯＭやＨＤＤ等に格納された制御プログラムがＲＡＭにロードされて、ＣＰＵ等の制御により実行される。
【００９９】
電源投入時に参照画像設定部１００に参照画像が設定されている場合には、電源投入後にカメラ部１１０で撮影された映像データを撮影日時情報を基にデータベース１０４から取得する。そして、取得した映像データから第２の顔領域抽出部１０２により顔領域（以下、候補画像という）を抽出する。
【０１００】
第２の顔領域抽出部１０２で抽出した候補画像は、上記第１の実施形態と同様に、評価処理部１０３により、第１の顔領域抽出部１０１で参照画像から抽出した顔領域との間で類似度が算出される。
【０１０１】
評価処理部１０３は、算出した類似度が所定のしきい値（例えば８０％）以上の場合は、候補画像が参照画像と同一人物であると判定する。
【０１０２】
参照画像と同一人物と判定された候補画像は、参照画像切替え部１０７により次回以降の検索の新たな参照画像に切り替えられ、新たな参照画像は、参照画像設定部１００に設定される。
【０１０３】
カメラ部１１０で新たに映像が撮影され、データベース１０４に保存されると上記同様の動作を行い、逐次参照画像が更新される。また、電源切断の際には、参照画像は、データベース１０４、あるいは不図示の記録媒体に保存される。
【０１０４】
次に、電源投入時に参照画像設定部１００に参照画像が設定されていない場合には、カメラ部１１０で撮影した画像を参照画像として新たに設定する。設定の際には、参照画像の設定を促すメッセージを画像表示部１０５に表示してもよい。
【０１０５】
参照画像設定部１００に参照画像を設定するには、画像表示部１０５に表示中の画像を映像信号処理部１１１から参照画像入力部１１２を通して参照画像設定部１００に設定する。参照画像の設定後の動作は、上記同様である。
【０１０６】
以上説明したように、本実施形態では、ビデオカメラで撮影を行う際に、撮影された映像と参照画像との比較が逐次行われるので、参照画像は常に最新の状態に更新される。これにより、検索対象の人物の顔画像と撮像された顔画像とが同一の人物であるか否かの判定処理の処理精度の向上と信頼性の向上を図ることができる。その他の構成及び作用効果は、上記第１の実施形態と同様である。
【０１０７】
なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
【０１０８】
また、上記各実施形態は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ（ＣＰＵ，プロセッサ）にて実行することでも実現できる。
【符号の説明】
【０１０９】
１００ 参照画像設定部
１０１ 第１の顔領域抽出部
１０２ 第２の顔領域抽出部
１０３ 評価処理部
１０４ データベース
１０５ 画像表示部
１０６ 画像入力部
１０７ 参照画像切替え部
【技術分野】
【０００１】
本発明は、撮影日時情報を有する映像データから任意の日時を基準に撮影日時を変更しながら顔画像を検索して、検索対象の人物の顔画像を抽出する顔画像抽出装置、顔画像抽出装置の制御方法、及び制御プログラムに関する。
【背景技術】
【０００２】
従来、顔画像情報のデータベースから特定の人物を検索する顔画像検索装置が知られている（特許文献１）。
【０００３】
この顔画像検索装置は、撮像された人物の顔画像から顔領域を検出し、検出結果に基づいて目や口等のパーツを抽出するとともに顔の特徴量を抽出して、登録済の顔画像情報データベースとの類似度を評価することにより、撮像された顔画像の人物を特定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１７８３０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、人物の顔は、通常、加齢と共に大きく変化し、また、年代によってその変化の割合も異なる。
【０００６】
従って、上記特許文献１では、データベースに蓄積されている特定人物の顔画像情報と撮像された顔画像とが同一の人物であっても、年齢が大きく離れている場合には誤った人物と判定される可能性がある。
【０００７】
そこで、本発明は、データベースに蓄積されている検索対象の人物の年齢範囲が広くても、該検索対象の人物の顔画像と撮像された顔画像とが同一の人物であるか否かの判定を精度よく行うことができる顔画像抽出装置等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の顔画像抽出装置は、撮影日時情報を有する映像データを蓄積するデータベースと、検索対象人物の顔画像を含む参照画像を設定する参照画像設定手段と、前記参照画像から顔領域を抽出する第１の顔領域抽出手段と、前記参照画像の撮影日時を起点に撮影日時を変更しながら前記データベースに蓄積された映像データを探索して取得する取得手段と、該取得手段によって取得された映像データから顔領域を抽出する第２の顔領域抽出手段と、前記第１の顔領域抽出手段により抽出された顔領域と前記第２の顔領域抽出手段により抽出された顔領域とに基づき、前記取得手段によって取得された映像データが前記参照画像と同一人物であるか否かを判定する判定手段と、前記判定手段により前記取得手段によって取得された映像データが前記参照画像と同一人物であると判定された場合に、前記参照画像設定手段で設定された参照画像を前記第２の顔領域抽出手段により抽出された顔領域の画像に切替える切替え手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、データベースに蓄積されている検索対象の人物の年齢範囲が広くても、該検索対象の人物の顔画像と撮像された顔画像とが同一の人物であるか否かの判定を精度よく行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態である顔画像抽出装置を説明するためのブロック図である。
【図２】データベースに蓄積される映像データと参照画像設定部で設定した参照画像データの概略図である。
【図３】顔画像抽出装置の動作例について説明するためのフローチャート図である。
【図４】逆方向探索でデータベースから最初に取得した映像データから候補画像を抽出する処理を説明するための図である。
【図５】参照画像の顔領域に対する候補画像の類似度の算出結果を示す図である。
【図６】逆方向探索によりデータベースから取得した映像データから候補画像を抽出する処理を説明するための図である。
【図７】参照画像の顔領域に対する候補画像の類似度の算出結果を示す図である。
【図８】逆方向探索を繰り返してデータベースから先頭の映像データを取得し、取得した映像データから候補画像を抽出する処理を説明するための図である。
【図９】参照画像の顔領域に対する候補画像の類似度の算出結果を示す図である。
【図１０】逆方向探索により抽出された対象人物の候補画像を撮影日時と共に一覧表示した図である。
【図１１】本発明の第２の実施形態である顔画像抽出装置において、画像入力部に表示される、参照画像の検索対象人物の生年月日を設定する画面の一例を示す概略図である。
【図１２】検索対象人物の年齢とデータベースでの映像データの探索範囲との関係を示す図である。
【図１３】本発明の第３の実施形態である顔画像抽出装置において、データベースにおける映像データの全探索区間及び区分した探索区間の概略図である。
【図１４】検索対象人物の年代と探索区間との関係を示す図である。
【図１５】本発明の第４の実施形態である顔画像抽出装置について説明するためのブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面を参照して説明する。
【００１２】
（第１の実施形態）
図１は、本発明の第１の実施形態である顔画像抽出装置を説明するためのブロック図である。
【００１３】
図１において、参照画像設定部１００は、抽出対象の人物の顔画像の参照画像を設定する。なお、参照画像は、画像入力部１０６のインタフェースを介してビデオカメラ等で撮影した映像から所望の画像を選択して取り込むようにしてもよい。また、参照画像は、パーソナルコンピュータ等に保存されているデジタルカメラ等の撮影画像を画像入力部１０６のインタフェースを介して取り込んでも良い。更に、参照画像は、データベース１０４に蓄積されている映像から不図示の選択手段で選択した画像を参照画像として設定することも可能であり、また、デジタルカメラ等を直接接続して、撮影した画像を取り込むようにしてもよい。
【００１４】
第１の顔領域抽出部１０１は、参照画像設定部１００で設定した参照画像から抽出対象の人物の顔領域を抽出する。もし参照画像から複数の顔領域が抽出された場合には、その中のどの顔を抽出対象とするかをユーザに選択させるようにすればよい。第２の顔領域抽出部１０２は、データベース１０４から取得した映像データから顔領域を抽出する。
【００１５】
評価処理部１０３は、第１の顔領域抽出部１０１で抽出された第１の顔領域データと第２の顔領域抽出部１０２で抽出された第２の顔領域データを基に、第１の顔領域データに対する第２の顔領域データの類似度を算出して評価する。例えば、抽出された目、口および鼻等のパーツの個々の形状の類似度や、それぞれのパーツの相対位置の類似度の程度の総和を算出して評価する。
【００１６】
類似度は、０〜１００％の百分率で算出され、評価処理部１０３は、算出された類似度が所定のしきい値以上のとき、第１の顔領域データと第２の顔領域データを同一人物と判定する。
【００１７】
画像表示部１０５は、参照画像や抽出画像等を表示する。画像入力部１０６は、外部から参照画像等を入力する場合に用いられる。
【００１８】
参照画像切替え部１０７は、評価処理部１０３での評価結果に基づいて参照画像を切替える。ここで、参照画像を切替える条件としては、第２の顔領域データが第１の顔領域データと同一人物と判定された場合である。
【００１９】
図２は、データベース１０４に蓄積される映像データＮｏ．１〜Ｎｏ．１０００と参照画像設定部１００で設定した参照画像データ２００の概略図である。
【００２０】
映像データ及び参照画像データには、撮影日時情報が付与されている。図２の例では、１９７０年１月１日から２００８年１月１日までの映像データがデータベース１０４に蓄積されている。なお、本実施形態では、映像データは、撮影日時順にソートされてデータベース１０４に保持されているものとする。
【００２１】
次に、図３を参照して、上記構成の顔画像抽出装置の動作例について説明する。図３での各処理は、不図示のＲＯＭやＨＤＤ等に格納された制御プログラムがＲＡＭにロードされて、ＣＰＵ等により実行される。
【００２２】
ステップＳ８０１では、ＣＰＵは、参照画像設定部１００で参照画像が設定されると、第１の顔領域抽出部１０１により、参照画像から人物の顔領域を抽出し、ステップＳ８０２に進む。
【００２３】
ステップＳ８０２では、ＣＰＵは、データベース１０４に蓄積された映像データの撮影日時の探索開始点の設定を行い、ステップＳ８０３に進む。
【００２４】
ここで、参照画像設定部１００で設定された参照画像データの撮影日時は、例えば２００７年１１月１日とする。従って、データベース１０４での映像データの撮影日時の探索開始点を２００７年１１月１日とする。また、探索開始点を起点に撮影日時を遡ってデータベース１０４の映像データを探索する場合を逆方向探索とし、探索開始点を起点に撮影日時を進めてデータベース１０４の映像データを探索する場合を順方向探索とする。本実施形態では、まず、撮影日時の逆方向探索を行った後、順方向探索を行う。
【００２５】
ステップＳ８０３では、ＣＰＵは、前記逆方向探索及び／又は前記順方向探索の結果、データベース１０４に次の映像データが有るか否かを判断し、次の映像データが有る場合は、ステップＳ８０４に進み、次の映像データが無い場合は、処理を終了する。
【００２６】
ステップＳ８０４では、ＣＰＵは、データベース１０４から映像データを取得し、ステップＳ８０５に進む。
【００２７】
ステップＳ８０５では、ＣＰＵは、第２の顔領域抽出部１０２によりデータベース１０４から取得した映像データの顔領域（以下、候補画像という）の抽出が終了したか否かを判断する。
【００２８】
そして、ＣＰＵは、候補画像の抽出が終了した場合は、ステップＳ８０８に進み、終了していない場合は、ステップＳ８０６に進む。なお、候補画像の抽出が終了したことの判断は、映像データの録画時間の終了地点まで探索を終えているか否かにより判断することができる。
【００２９】
ステップＳ８０６では、ＣＰＵは、第２の顔領域抽出部１０２により映像データから候補画像を抽出し、ステップＳ８０７に進む。候補画像は、映像データの顔領域を検出して切り出すことにより行う。顔領域の検出は、例えば、特開２００１−１６７１１０号公報等の公知の技術を用いて行うことができる。
【００３０】
ステップＳ８０７では、ＣＰＵは、評価処理部１０３によりステップＳ８０１で抽出された参照画像の顔領域に対する候補画像の類似度を算出し、ステップＳ８０５に戻る。
【００３１】
ここで、図４及び図５を参照して、ステップＳ８０６及びステップＳ８０７の処理について具体的に説明する。
【００３２】
図４は逆方向探索でデータベース１０４から最初に取得した映像データ９９８から候補画像３０１〜３０３を抽出する処理を説明するための図、図５は参照画像３００の顔領域に対する候補画像３０１〜３０３の類似度の算出結果を示す図である。
【００３３】
図４において、映像データ９９８の録画時間は５分間であり、区間Ａの映像データから第２の顔領域抽出部１０２により候補画像３０１が抽出され、抽出された候補画像３０１は、評価処理部１０３で参照画像３００の顔領域に対する類似度が算出される。図５（ａ）に示すように、ここでの候補画像３０１の類似度は３０％と算出される。なお、類似度の算出方法としては、特開２００３−１７８３０４号公報等の公知の技術を用いることができる。
【００３４】
次に、図４の区間Ｂの映像データから第２の顔領域抽出部１０２により候補画像３０２が抽出され、候補画像３０２は、図５（ａ）に示すように、評価処理部１０３で参照画像３００の顔領域に対する類似度が２０％と算出される。
【００３５】
さらに、図４の区間Ｃの映像データから第２の顔領域抽出部１０２により候補画像３０３が抽出され、候補画像３０３は、図５（ａ）に示すように、評価処理部１０３で参照画像３００の顔領域に対する類似度が類似度９８％と算出される。
【００３６】
図３に戻って、ステップＳ８０８では、ＣＰＵは、評価処理部１０３により候補画像３０１〜３０３の類似度としきい値とを比較する類似度評価を行い、ステップＳ８０９に進む。ここで、本実施形態では、しきい値を８０％に設定している。
【００３７】
ステップＳ８０９では、ＣＰＵは、評価処理部１０３により類似度がしきい値以上の候補画像が有るか無いかを判断する。
【００３８】
そして、ＣＰＵは、類似度がしきい値以上の候補画像が有る場合は、参照画像３００の顔領域と候補画像が同一人物であるとしてステップＳ８１０に進み、無い場合は、参照画像３００の顔領域と同一人物の候補画像がないものとしてステップＳ８０３に戻る。ここでは、評価処理部１０３により類似度９８％の候補画像３０３が参照画像３００の顔領域と同一人物として判定される。
【００３９】
ステップＳ８１０では、ＣＰＵは、参照画像切替え部１０７により参照画像３００と同一人物と判定された候補画像３０３を新たな参照画像３１０（図５（ｂ））に切替える。
【００４０】
そして、ＣＰＵは、新たな参照画像３１０を参照画像設定部１００に設定するとともに、第１の顔領域抽出部１０１により参照画像３１０から人物の顔領域を抽出し、ステップＳ８０３に戻る。
【００４１】
ステップＳ８０３では、ＣＰＵは、データベース１０４に次の映像データが有るか無いかを判断し、映像データが有る場合は、ステップＳ８０４以降で前述と同様にデータベース１０４から取得した映像データから候補画像４０１〜４０３の抽出処理が実行される。
【００４２】
図６及び図７を参照して、参照画像３００が参照画像３１０に切り替えられた後のステップＳ８０６及びステップＳ８０７の処理について具体的に説明する。
【００４３】
図６は逆方向探索によりデータベース１０４から取得した映像データ９７０から候補画像４０１〜４０３を抽出する処理を説明するための図、図７は参照画像３１０の顔領域に対する候補画像４０１〜４０３の類似度の算出結果を示す図である。
【００４４】
図６において、映像データ９７０の録画時間は８分間であり、区間Ａの映像データから第２の顔領域抽出部１０２により候補画像４０１が抽出され、抽出された候補画像４０１は、評価処理部１０３で参照画像３１０の顔領域に対する類似度が算出される。図７（ａ）に示すように、ここでの候補画像４０１の類似度は２５％と算出される。
【００４５】
次に、図６の区間Ｂの映像データから第２の顔領域抽出部１０２により候補画像４０２が抽出され、候補画像４０２は、図７（ａ）に示すように、評価処理部１０３で参照画像３１０の顔領域に対する類似度が９０％と算出される。
【００４６】
さらに、図６の区間Ｃの映像データから第２の顔領域抽出部１０２により候補画像４０３が抽出され、候補画像４０３は、図７（ａ）に示すように、評価処理部１０３で参照画像３１０の顔領域に対する類似度が類似度１５％と算出される。
【００４７】
図３に戻って、ステップＳ８０８では、ＣＰＵは、評価処理部１０３により候補画像４０１〜４０３の類似度としきい値（８０％）とを比較する類似度評価を行い、ステップＳ８０９に進む。
【００４８】
ステップＳ８０９では、ＣＰＵは、評価処理部１０３により類似度がしきい値以上の候補画像が有るか無いかを判断する。
【００４９】
そして、ＣＰＵは、類似度がしきい値以上の候補画像が有る場合は、参照画像３１０の顔領域と候補画像が同一人物であるとしてステップＳ８１０に進み、無い場合は、参照画像３１０の顔領域と同一人物の候補画像がないものとしてステップＳ８０３に戻る。ここでは、評価処理部１０３により類似度９０％の候補画像４０２が参照画像３１０の顔領域と同一人物として判定される。
【００５０】
ステップＳ８１０では、ＣＰＵは、参照画像切替え部１０７により参照画像３１０と同一人物と判定された候補画像４０２を新たな参照画像４１０（図７（ｂ））に切替える。
【００５１】
そして、ＣＰＵは、新たな参照画像４１０を参照画像設定部１００に設定するとともに、第１の顔領域抽出部１０１により参照画像４１０から人物の顔領域を抽出し、ステップＳ８０３に戻る。
【００５２】
図８は、前述のように逆方向探索を繰り返してデータベース１０４から先頭の映像データ１を取得し、取得した映像データ１から候補画像５０１，５０２を抽出する処理を説明するための図である。図９は、参照画像５１０の顔領域に対する候補画像５０１，５０２の類似度の算出結果を示す図である。
【００５３】
前述のように、検索対象の人物の顔画像と同一人物と判定された候補画像が次の参照画像として切替えられながら検索が行われるため、映像データ１を探索する際の参照画像５１０は、対象人物の幼少期の画像となっている。
【００５４】
図８において、映像データ１の録画時間は１２分間であり、区間Ａの映像データから第２の顔領域抽出部１０２により候補画像５０１が抽出され、抽出された候補画像５０１は、評価処理部１０３で参照画像５１０の顔領域に対する類似度が算出される。図９（ａ）に示すように、ここでの候補画像５０１の類似度は５％と算出される。
【００５５】
次に、図８の区間Ｂの映像データから第２の顔領域抽出部１０２により候補画像５０２が抽出され、候補画像５０２は、図９（ａ）に示すように、評価処理部１０３で参照画像５１０の顔領域に対する類似度が８４％と算出される。
【００５６】
ここでは、類似度がしきい値（８０％）以上の候補画像５０２が評価処理部１０３により参照画像５１０の顔領域と同一人物として判定される。
【００５７】
そして、参照画像切替え部１０７により、参照画像５１０と同一人物と判定された候補画像５０２が新たな参照画像６１０（図９（ｂ））に切替えられる。即ち、参照画像５１０に替わって候補画像５０２が次の参照画像５１０として参照画像設定部１００に設定される。
【００５８】
以上の一連の処理により、データベース１０４に蓄積されている映像データから逆方向探索による映像データの取得が終わり、検索対象の人物の顔画像の判定処理が終了する。
【００５９】
図１０は、逆方向探索により抽出された対象人物の候補画像を撮影日時と共に一覧表示したものである。図１０において、候補画像７０５は、最初の参照画像３００に相当し、候補画像７０１は、最後の参照画像６１０に相当する。
【００６０】
順方向探索においても同様に、参照画像３００と撮影日時が近い映像データから順に候補画像を抽出し、候補画像が参照画像と同一人物である場合は、この候補画像を新たな参照画像として設定する処理を繰り返せばよい。
【００６１】
以上説明したように、本実施形態では、データベース１０４に蓄積された映像データの撮影日時情報を用いて逆方向探索及び／又は前記順方向探索によりデータベース１０４から映像データを取得する。そして、取得した映像データから候補画像を抽出し、抽出した候補画像が参照画像と同一人物である場合は、該候補画像を新たな参照画像に切り替え設定する。これにより、データベース１０４に蓄積されている検索対象の人物の年齢範囲が広くても、該検索対象の人物の顔画像と撮像された顔画像とが同一の人物であるか否かの判定を精度よく行うことができ、判定処理の信頼性が向上する。
【００６２】
（第２の実施形態）
次に、図１１及び図１２を参照して、本発明の第２の実施形態である顔画像抽出装置について説明する。なお、上記第１の実施形態に対して重複又は相当する部分については、図及び符号を流用して説明する。
【００６３】
本実施形態では、参照画像設定部１００で最初の参照画像を設定する際に、ユーザ操作により参照画像の検索対象の人物の生年月日を画像入力部１０６で入力することにより、データベース１０４で映像データの探索を行う撮影日時の範囲を制限する。
【００６４】
これにより、入力された生年月日から検索対象人物が登場する映像データの範囲が予測できるので、撮像画像の撮影日時情報を基に、撮影日時が誕生日から現在の日時までの範囲で映像データを探索すれば良いことになる。
【００６５】
また、データベース１０４内の映像データの蓄積年月期間が非常に長くなり、例えば数百年分となった場合でも、誕生日から１５０年分の期間に探索範囲を限定することで探索時間を削減することが可能でなる。
【００６６】
図１１は、画像入力部１０６に表示される、参照画像３００の検索対象人物の生年月日を設定する画面の一例を示す概略図である。この設定画面では、生年月日の数値を例えば画面上に数値キーを表示して選択することで対応する。なお、生年月日の数値の入力方法はこれに限るものではなく、適宜変更可能である。
【００６７】
本実施形態では、検索対象人物の生年月日を１９７０年５月１日とし、現在の日時を２００８年５月５日として説明をする。
【００６８】
図１１の設定画面で生年月日が入力されると、入力された生年月日に応じてデータベース１０４に蓄積された映像データの探索範囲が制限される。
【００６９】
探索範囲は、誕生日である１９７０年５月１日から現在の日時２００８年５月５日までの３８年と５日分である。但し、誕生日から現在の日時までの日時範囲が１５０年を超える場合には、誕生日から１５０年分を最長探索範囲として探索範囲を制限する。なお、ここでは、最長探索範囲を１５０年としているが、他の値に変更することは可能である。
【００７０】
図１２は、検索対象人物の年齢とデータベース１０４での映像データの探索範囲との関係を示す図である。
【００７１】
誕生日は、１９７０年５月１日であるので、参照画像の撮影日時時点では３５歳となり、また、現在の日時２００８年５月５日の時点では３８歳である。探索の開始点は、上記第１の実施形態と同様に、最初の参照画像の撮影日時である２００５年１０月１０日である。映像データの探索は、上記第１の実施形態と同様に、逆方向探索及び／又は順方向探索を行う。
【００７２】
以上説明したように、本実施形態では、参照画像設定部１００で最初の参照画像を設定する際に、ユーザ操作により参照画像の検索対象人物の生年月日を設定する。これにより、データベース１０４内の映像データを探索する撮影日時の範囲を制限することができるので、探索時間の高速化を実現することができる。その他の構成及び作用効果は、上記第１の実施形態と同様である。
【００７３】
（第３の実施形態）
次に、図１３及び図１４を参照して、本発明の第３の実施形態である顔画像抽出装置について説明する。なお、上記第１及び第２の実施形態に対して重複又は相当する部分については、図及び符号を流用して説明する。
【００７４】
本実施形態では、データベース１０４における映像データの全探索区間を複数の探索区間に区分し、区分した探索区間毎に検索対象人物の代表画像の映像データを取得し、また、探索区間を検索対象人物の年代に応じて変更する。
【００７５】
図１３は、データベース１０４における映像データの全探索区間及び区分した探索区間の概略図である。
【００７６】
ここで、本実施形態では、上記第２の実施形態と同様に、参照画像設定部１００で最初の参照画像を設定する際に、ユーザ操作により参照画像の検索対象人物の生年月日を設定する手段を有し、設定した生年月日を基に全探索区間を複数の探索区間に区分する。
【００７７】
また、本実施形態では、検索対象人物の生年月日を１９７０年５月１日とし、現在の日時を２００８年５月５日とし、最初の参照画像の撮影日時を２００５年１０月１０として説明する。
【００７８】
探索区間は、図１４に示すように、探索する画像の撮影日時に対応する検索対象人物の年代に応じて変更する。ここで、年代によって探索区間が異なるのは、幼少期は時間の経過に対して人物の顔の変化が大きく、年齢が増すと変化の割合が小さくなることを想定しているためである。
【００７９】
映像データの探索は、上記第１の実施形態と同様に、逆方向探索及び／又は順方向探索を行う。ここでは、逆方向探索について説明する。
【００８０】
図１３において、最初の参照画像の撮影日時は２００５年１０月１０日であるので、この日時を探索開始点とする。開始点での年齢は３５歳である。２０歳以上の場合の探索区間は１０年（図１４）であるので、検索対象人物の年代が３５歳から２５歳に対応する撮影日時２００５年１０月１０日から遡って１９９５年５月１日までの範囲の映像データに限定して探索する。
【００８１】
なお、ここでは映像データの探索範囲を日時まで指定しているが、年月日の年の単位まで、或いは月の単位までを指定して範囲設定しても良い。
【００８２】
例えば、参照画像の撮影日時である２００５年１０月１０日の年の単位までを評価して２００５年から遡って１０年分として撮影日時の年の値が１９９５年までを探索範囲とする場合などである。
【００８３】
ここで、本実施形態では、探索区間毎に検索対象人物の候補画像の代表画像を選択する必要がある。ここでは、評価処理部１０３により各探索区間内で参照画像との間で類似度の評価を行い、最初に参照画像と同一人物であると判定された候補画像をその探索区間の代表画像とする。そして、３５歳から２５歳の探索区間での代表画像が参照画像設定部１００で次の参照画像として設定される。
【００８４】
なお、代表画像は、各探索区間において類似度が所定のしきい値以上の候補画像の中で、最も類似度が高い候補画像を代表画像としても良い。
【００８５】
次の探索区間は２５歳から１０年分であるので、２５歳から１５歳までが探索区間となるが、図１４に示すように、１０歳から２０歳の年代は探索区間が５年であるので、探索区間が異なる年代に跨る場合には、境界の年齢で探索区間を区切る。
【００８６】
図１３においては、本来は２５歳から１０年分で１５歳までが探索区間であるが、境界の年齢２０歳で探索区間が区切られるので、２５歳から２０歳までが探索区間となり、探索の際の参照画像は、前述の探索区間で設定されているものを用いる。
【００８７】
図１４に示すように、本実施形態では、探索区間の長さが切り替わる境界の年齢は、５歳、１０歳、２０歳であるので、各探索区間毎に上記同様の処理を繰り返すことにより、各探索区間毎の代表画像が抽出される。
【００８８】
以上説明したように、本実施形態では、データベース１０４における映像データの全探索区間を複数の探索区間に区分し、区分した探索区間毎に検索対象人物の代表画像の映像データを取得し、また、探索区間を検索対象人物の年代に応じて変更する。これにより、検索対象の人物の顔画像と撮像された顔画像とが同一の人物であるか否かの判定処理の処理速度の向上と信頼性の向上を図ることができる。その他の構成及び作用効果は、上記第１及び第２の実施形態と同様である。
【００８９】
（第４の実施形態）
次に、図１５を参照して、本発明の第４の実施形態である顔画像抽出装置について説明する。なお、上記第１の実施形態に対して重複又は相当する部分については、図に同一符号を付して説明する。
【００９０】
本実施形態では、ビデオカメラに顔画像抽出装置が搭載される。図１５において、映像信号処理部１１１は、カメラ部１１０から出力された被写体像の映像信号を圧縮符号化してデータベース１０４に蓄積する。
【００９１】
参照画像入力部１１２は、映像信号処理部１１１からの映像を参照画像として参照画像設定部１００に入力することができる。
【００９２】
参照画像設定部１００は、参照画像入力部１１２から出力される画像を参照画像として設定する。なお、データベース１０４に蓄積された映像データから不図示の選択手段で選択した所望の画像を参照画像として参照画像設定部１００に設定することも可能である。参照画像設定部１００では、設定されている参照画像を電源断後も不揮発メモリ等に保持する。
【００９３】
画像表示部１０５は、カメラ部１１０で撮影している映像を表示したり、データベース１０４に保存されている映像を再生したりすることができる。
【００９４】
第１の顔領域抽出部１０１は、参照画像設定部１００で設定した参照画像から抽出対象の人物の顔領域を抽出する。第２の顔領域抽出部１０２は、データベース１０４に蓄積された映像データから顔領域を抽出する。
【００９５】
評価処理部１０３は、第１の顔領域抽出部１０１で抽出された第１の顔領域データと第２の顔領域抽出部１０２で抽出された第２の顔領域データを基に、第１の顔領域データに対する第２の顔領域データの類似度を算出して評価する。
【００９６】
類似度は、０〜１００％の百分率で算出され、評価処理部１０３は、算出された類似度が所定のしきい値以上のとき、第１の顔領域データと第２の顔領域データを同一人物と判定する。
【００９７】
参照画像切替え部１０７は、評価処理部１０３での評価結果に基づいて第２の顔領域データを参照画像として切替設定する。ここで、参照画像を切替える条件としては、第２の顔領域データが第１の顔領域データと同一人物と判定された場合である。
【００９８】
次に、顔画像抽出装置を搭載したビデオカメラにおける顔画像の抽出動作例について説明する。ここでの処理は、不図示のＲＯＭやＨＤＤ等に格納された制御プログラムがＲＡＭにロードされて、ＣＰＵ等の制御により実行される。
【００９９】
電源投入時に参照画像設定部１００に参照画像が設定されている場合には、電源投入後にカメラ部１１０で撮影された映像データを撮影日時情報を基にデータベース１０４から取得する。そして、取得した映像データから第２の顔領域抽出部１０２により顔領域（以下、候補画像という）を抽出する。
【０１００】
第２の顔領域抽出部１０２で抽出した候補画像は、上記第１の実施形態と同様に、評価処理部１０３により、第１の顔領域抽出部１０１で参照画像から抽出した顔領域との間で類似度が算出される。
【０１０１】
評価処理部１０３は、算出した類似度が所定のしきい値（例えば８０％）以上の場合は、候補画像が参照画像と同一人物であると判定する。
【０１０２】
参照画像と同一人物と判定された候補画像は、参照画像切替え部１０７により次回以降の検索の新たな参照画像に切り替えられ、新たな参照画像は、参照画像設定部１００に設定される。
【０１０３】
カメラ部１１０で新たに映像が撮影され、データベース１０４に保存されると上記同様の動作を行い、逐次参照画像が更新される。また、電源切断の際には、参照画像は、データベース１０４、あるいは不図示の記録媒体に保存される。
【０１０４】
次に、電源投入時に参照画像設定部１００に参照画像が設定されていない場合には、カメラ部１１０で撮影した画像を参照画像として新たに設定する。設定の際には、参照画像の設定を促すメッセージを画像表示部１０５に表示してもよい。
【０１０５】
参照画像設定部１００に参照画像を設定するには、画像表示部１０５に表示中の画像を映像信号処理部１１１から参照画像入力部１１２を通して参照画像設定部１００に設定する。参照画像の設定後の動作は、上記同様である。
【０１０６】
以上説明したように、本実施形態では、ビデオカメラで撮影を行う際に、撮影された映像と参照画像との比較が逐次行われるので、参照画像は常に最新の状態に更新される。これにより、検索対象の人物の顔画像と撮像された顔画像とが同一の人物であるか否かの判定処理の処理精度の向上と信頼性の向上を図ることができる。その他の構成及び作用効果は、上記第１の実施形態と同様である。
【０１０７】
なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
【０１０８】
また、上記各実施形態は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ（ＣＰＵ，プロセッサ）にて実行することでも実現できる。
【符号の説明】
【０１０９】
１００ 参照画像設定部
１０１ 第１の顔領域抽出部
１０２ 第２の顔領域抽出部
１０３ 評価処理部
１０４ データベース
１０５ 画像表示部
１０６ 画像入力部
１０７ 参照画像切替え部
【特許請求の範囲】
【請求項１】
撮影日時情報を有する映像データを蓄積するデータベースと、
検索対象人物の顔画像を含む参照画像を設定する参照画像設定手段と、
前記参照画像から顔領域を抽出する第１の顔領域抽出手段と、
前記参照画像の撮影日時を起点に撮影日時を変更しながら前記データベースに蓄積された映像データを探索して取得する取得手段と、
該取得手段によって取得された映像データから顔領域を抽出する第２の顔領域抽出手段と、
前記第１の顔領域抽出手段により抽出された顔領域と前記第２の顔領域抽出手段により抽出された顔領域とに基づき、前記取得手段によって取得された映像データが前記参照画像と同一人物であるか否かを判定する判定手段と、
前記判定手段により前記取得手段によって取得された映像データが前記参照画像と同一人物であると判定された場合に、前記参照画像設定手段で設定された参照画像を前記第２の顔領域抽出手段により抽出された顔領域の画像に切替える切替え手段と、を備える
ことを特徴とする顔画像抽出装置。
【請求項２】
前記参照画像設定手段で参照画像を設定する際に、検索対象人物の生年月日を設定する手段を有し、前記取得手段は、前記設定された生年月日に基づき、撮影日時の探索範囲を制限する、
ことを特徴とする請求項１に記載の顔画像抽出装置。
【請求項３】
前記データベースにおける映像データの全探索区間を複数の探索区間に区分して、該区分した各探索区間を検索対象人物の年代に応じて変更する手段を備え、前記取得手段は、区分した探索区間毎に映像データを探索して取得する、
ことを特徴とする請求項１又は２に記載の顔画像抽出装置。
【請求項４】
被写体像を撮像する撮像手段と、電源投入後に前記参照画像設定手段で参照画像が設定されていない場合に、前記撮像手段により撮像された被写体像を参照画像として前記参照画像設定手段に出力する手段と、を備える
ことを特徴とする請求項１〜３のいずれか一項に記載の顔画像抽出装置。
【請求項５】
撮影日時情報を有する映像データを蓄積するデータベースを備える顔画像抽出装置の制御方法であって、
検索対象人物の顔画像を含む参照画像を設定する参照画像設定ステップと、
前記参照画像から顔領域を抽出する第１の顔領域抽出ステップと、
前記参照画像の撮影日時を起点に撮影日時を変更しながら前記データベースに蓄積された映像データを探索して取得する取得ステップと、
該取得ステップで取得された映像データから顔領域を抽出する第２の顔領域抽出ステップと、
前記第１の顔領域抽出ステップで抽出された顔領域と前記第２の顔領域抽出ステップで抽出された顔領域とに基づき、前記取得ステップで取得された映像データが前記参照画像と同一人物であるか否かを判定する判定ステップと、
前記判定ステップで前記取得ステップにより取得された映像データが前記参照画像と同一人物であると判定された場合に、前記参照画像設定ステップで設定された参照画像を前記第２の顔領域抽出ステップで抽出された顔領域の画像に切替える切替えステップと、を備える
ことを特徴とする顔画像抽出装置の制御方法。
【請求項６】
撮影日時情報を有する映像データを蓄積するデータベースを備える顔画像抽出装置の制御プログラムであって、
検索対象人物の顔画像を含む参照画像を設定する参照画像設定ステップと、
前記参照画像から顔領域を抽出する第１の顔領域抽出ステップと、
前記参照画像の撮影日時を起点に撮影日時を変更しながら前記データベースに蓄積された映像データを探索して取得する取得ステップと、
該取得ステップで取得された映像データから顔領域を抽出する第２の顔領域抽出ステップと、
前記第１の顔領域抽出ステップで抽出された顔領域と前記第２の顔領域抽出ステップで抽出された顔領域とに基づき、前記取得ステップで取得された映像データが前記参照画像と同一人物であるか否かを判定する判定ステップと、
前記判定ステップで前記取得ステップにより取得された映像データが前記参照画像と同一人物であると判定された場合に、前記参照画像設定ステップで設定された参照画像を前記第２の顔領域抽出ステップで抽出された顔領域の画像に切替える切替えステップと、をコンピュータに実行させる、
ことを特徴とする顔画像抽出装置の制御プログラム。
【請求項１】
撮影日時情報を有する映像データを蓄積するデータベースと、
検索対象人物の顔画像を含む参照画像を設定する参照画像設定手段と、
前記参照画像から顔領域を抽出する第１の顔領域抽出手段と、
前記参照画像の撮影日時を起点に撮影日時を変更しながら前記データベースに蓄積された映像データを探索して取得する取得手段と、
該取得手段によって取得された映像データから顔領域を抽出する第２の顔領域抽出手段と、
前記第１の顔領域抽出手段により抽出された顔領域と前記第２の顔領域抽出手段により抽出された顔領域とに基づき、前記取得手段によって取得された映像データが前記参照画像と同一人物であるか否かを判定する判定手段と、
前記判定手段により前記取得手段によって取得された映像データが前記参照画像と同一人物であると判定された場合に、前記参照画像設定手段で設定された参照画像を前記第２の顔領域抽出手段により抽出された顔領域の画像に切替える切替え手段と、を備える
ことを特徴とする顔画像抽出装置。
【請求項２】
前記参照画像設定手段で参照画像を設定する際に、検索対象人物の生年月日を設定する手段を有し、前記取得手段は、前記設定された生年月日に基づき、撮影日時の探索範囲を制限する、
ことを特徴とする請求項１に記載の顔画像抽出装置。
【請求項３】
前記データベースにおける映像データの全探索区間を複数の探索区間に区分して、該区分した各探索区間を検索対象人物の年代に応じて変更する手段を備え、前記取得手段は、区分した探索区間毎に映像データを探索して取得する、
ことを特徴とする請求項１又は２に記載の顔画像抽出装置。
【請求項４】
被写体像を撮像する撮像手段と、電源投入後に前記参照画像設定手段で参照画像が設定されていない場合に、前記撮像手段により撮像された被写体像を参照画像として前記参照画像設定手段に出力する手段と、を備える
ことを特徴とする請求項１〜３のいずれか一項に記載の顔画像抽出装置。
【請求項５】
撮影日時情報を有する映像データを蓄積するデータベースを備える顔画像抽出装置の制御方法であって、
検索対象人物の顔画像を含む参照画像を設定する参照画像設定ステップと、
前記参照画像から顔領域を抽出する第１の顔領域抽出ステップと、
前記参照画像の撮影日時を起点に撮影日時を変更しながら前記データベースに蓄積された映像データを探索して取得する取得ステップと、
該取得ステップで取得された映像データから顔領域を抽出する第２の顔領域抽出ステップと、
前記第１の顔領域抽出ステップで抽出された顔領域と前記第２の顔領域抽出ステップで抽出された顔領域とに基づき、前記取得ステップで取得された映像データが前記参照画像と同一人物であるか否かを判定する判定ステップと、
前記判定ステップで前記取得ステップにより取得された映像データが前記参照画像と同一人物であると判定された場合に、前記参照画像設定ステップで設定された参照画像を前記第２の顔領域抽出ステップで抽出された顔領域の画像に切替える切替えステップと、を備える
ことを特徴とする顔画像抽出装置の制御方法。
【請求項６】
撮影日時情報を有する映像データを蓄積するデータベースを備える顔画像抽出装置の制御プログラムであって、
検索対象人物の顔画像を含む参照画像を設定する参照画像設定ステップと、
前記参照画像から顔領域を抽出する第１の顔領域抽出ステップと、
前記参照画像の撮影日時を起点に撮影日時を変更しながら前記データベースに蓄積された映像データを探索して取得する取得ステップと、
該取得ステップで取得された映像データから顔領域を抽出する第２の顔領域抽出ステップと、
前記第１の顔領域抽出ステップで抽出された顔領域と前記第２の顔領域抽出ステップで抽出された顔領域とに基づき、前記取得ステップで取得された映像データが前記参照画像と同一人物であるか否かを判定する判定ステップと、
前記判定ステップで前記取得ステップにより取得された映像データが前記参照画像と同一人物であると判定された場合に、前記参照画像設定ステップで設定された参照画像を前記第２の顔領域抽出ステップで抽出された顔領域の画像に切替える切替えステップと、をコンピュータに実行させる、
ことを特徴とする顔画像抽出装置の制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−５９９４０（Ｐ２０１１−５９９４０Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２００９−２０８２７９（Ｐ２００９−２０８２７９）
【出願日】平成２１年９月９日（２００９．９．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２１年９月９日（２００９．９．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]