人物情報自動収集システム及び人物情報自動収集方法並びにそのプログラム
【課題】映像からグループ内の人物の誤認識を無くすことで人物を判定する精度を向上させ、また当該グループ内の人物の人数を把握する精度を向上させることのできる人物情報自動収集システムを提供する。
【解決手段】連続する２つのフレームデータ内の同一の出現領域に出現した顔画像については、顔画像特徴量が異なっていても同一の人物の顔画像について検出したものであるとして認識ＤＢ２３内の情報を更新する。また、連続する２つのフレームデータ内の同一の出現領域に出現した各顔画像が、過去の同一フレームデータ内に異なる人物の顔画像として撮影されている場合には、それら連続する２つのフレームデータ内の同一の出現領域に出現した各顔画像について、同一の人物の顔画像として認識ＤＢ２３内に登録しない。
【解決手段】連続する２つのフレームデータ内の同一の出現領域に出現した顔画像については、顔画像特徴量が異なっていても同一の人物の顔画像について検出したものであるとして認識ＤＢ２３内の情報を更新する。また、連続する２つのフレームデータ内の同一の出現領域に出現した各顔画像が、過去の同一フレームデータ内に異なる人物の顔画像として撮影されている場合には、それら連続する２つのフレームデータ内の同一の出現領域に出現した各顔画像について、同一の人物の顔画像として認識ＤＢ２３内に登録しない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像のフレームデータから人物情報を収集する人物情報自動収集システム及び人物情報自動収集方法並びにそのプログラムに関する。
【背景技術】
【０００２】
文字や画像、音声などをコンピュータにより解析して情報を認識する技術について、多くの研究がなされ、また、当該認識技術を応用した技術が存在する。特に画像から目的とする対象物（オブジェクト）を認識・抽出する画像認識技術は、ここ数年で目覚ましい進歩を遂げている。画像認識技術の中でも、人物の顔を認識する顔認識技術は、近年最も広く普及した技術の1つであるといえる。顔認識技術は、単に映像から顔の領域を抽出するだけでなく、性別、年齢や顔の向きを認識し、個人を特定することが可能である。そして、個人を特定する機能(個人認識技術)は、セキュリティ・チェックなどで使われており、当該セキュリティ・チェックの処理において、例えば事前に人物の画像から特徴量を抽出し、その後撮影される映像に類似する特徴量を有する顔画像が存在するかで個人を特定している。しかし、映像から特徴量を抽出する技術は、撮影の方向(顔の向き)や光源の位置による影の影響といった外部環境に特徴量が大きく依存してしまうため、多くの場合誤認識(他人受理・本人棄却)を起こすという問題があった。なお、関連する技術として、パターン認識において、偽の認識対象のパターンが与えられても、その偽学習が回避できるようセキュリティを充分に確保できるようにする技術が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１３７８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、家族などの特定グループを撮影した映像において、そのグループに何人の人物が存在するのか、またどのような年齢・性別の人物が存在するのかを正確に把握する技術の確立が望まれている。既存の技術では、RFIDタグなどを所持させるといった取組みにより、グループ内に何人の人物がいるかを検出する技術が存在するが、グループの構成が変動した場合に自動的な対応ができなかったり、RFIDを所持し忘れた場合に正確な人数が取得できないといった課題があった。
また、上述の個人認識技術を用い、グループに何人存在するかを計算機で判定する場合、先に記載した特徴量の誤認識により、従来はグループ内の実際の人数より多い数の人数がグループ内に存在すると誤認識してしまうことが多かった。
【０００５】
そこでこの発明は、映像からグループ内の人物の誤認識を無くすことで人物を判定する精度を向上させ、また当該グループ内の人物の人数を把握する精度を向上させることのできる人物情報自動収集システム及び人物情報自動収集方法並びにそのプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得部と、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較部と、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除するデータベース管理部と、を備えることを特徴とする人物情報自動収集システムである。
【０００７】
また本発明は、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得部と、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較部と、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換えるデータベース管理部と、を備えることを特徴とする人物情報自動収集システムである。
【０００８】
また本発明は、上述の人物情報自動収集システムにおいて、前記データベース管理部は、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記新顔画像特定情報と前記前顔画像特定情報とが一致せず、さらに、前記前フレームデータより更に前に読み込んだ過去の同一のフレームデータ内において検出した別の顔画像を示す情報として、前記新顔画像特定情報と前記前顔画像特定情報とが前記認識データベースに登録されていると判定した場合には、前記新顔画像特定情報についての前記認識データベースへの登録を停止することを特徴とする。
【０００９】
また本発明は、上述の人物情報自動収集システムにおいて、前記データベース管理部は、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記新顔画像特定情報と前記前顔画像特定情報とが一致せず、さらに、前記前フレームデータより更に前に読み込んだ過去の同一のフレームデータ内において検出した別の顔画像を示す情報として、前記新顔画像特定情報と前記前顔画像特定情報とが前記認識データベースに登録されていると判定した場合には、前記新顔画像特定情報についての前記人物特定データベースへの登録を停止することを特徴とする。
【００１０】
また本発明は、人物情報自動収集システムにおける人物情報自動収集方法であって、顔画像情報取得部が、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得し、比較部が、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較し、データベース管理部が、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除することを特徴とする人物情報自動収集方法である。
【００１１】
また本発明は、人物情報自動収集システムにおける人物情報自動収集方法であって、顔画像情報取得部が、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得し、比較部が、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較し、データベース管理部が、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換えることを特徴とする人物情報自動収集方法である。
【００１２】
また本発明は、人物情報自動収集システムのコンピュータを、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得手段、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較手段、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除するデータベース管理手段、として機能させることを特徴とするプログラムである。
【００１３】
また本発明は、人物情報自動収集システムのコンピュータを、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得手段、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較手段、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換えるデータベース管理手段、として機能させることを特徴とするプログラムである。
【発明の効果】
【００１４】
本発明によれば、同一人物の顔画像として登録されるべき情報が別人物の顔画像として登録されてしまう可能性を軽減し、これにより、連続して入力される複数のフレームデータ内に出現する顔画像から、当該出現した人物を特定する処理の精度を向上させるとともに、当該出現した人物の人数をより正確に把握することのできるデータベースを作成することができる。また、これによりデータベースに登録されるレコード数を削減することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態による人物情報自動収集システムの構成を示すブロック図である。
【図２】顔認識エンジンの処理フローを示す図である。
【図３】第１の実施形態による一時記憶部と認識ＤＢの記憶するデータテーブルの情報を示す図である。
【図４】第１の実施形態人物情報収集システムの処理フローを示す第１の図である。
【図５】第１の実施形態人物情報収集システムの処理フローを示す第２の図である。
【図６】第２の実施形態による人物情報自動収集システムの構成を示すブロック図である。
【図７】第２の実施形態による一時記憶部、認識ＤＢ、人物特定ＤＢの記憶するデータテーブルの情報を示す図である。
【図８】第２の実施形態人物情報収集システムの処理フローを示す第１の図である。
【図９】第２の実施形態人物情報収集システムの処理フローを示す第２の図である。
【図１０】第２の実施形態人物情報収集システムの処理フローを示す第３の図である。
【図１１】第３の実施形態による第１の実施形態に対応した一時記憶部と認識ＤＢの記憶するデータテーブルの情報を示す図である。
【図１２】第３の実施形態による処理を、第１の実施形態に適用した場合の処理フローを示す図である。
【図１３】第３の実施形態による処理を、第２の実施形態に適用した場合の処理フローを示す図である。
【発明を実施するための形態】
【００１６】
＜第１の実施形態＞
以下、本発明の第１の実施形態による人物情報自動収集システムを図面を参照して説明する。
図１は第１の実施形態による人物情報自動収集システムの構成を示すブロック図である。
この図において、符号１は人物情報自動収集システムである。また２は顔認識エンジンである。また３はカメラ、４は人物情報自動収集システムからの出力（例えば、グループ内にいる人数の情報、特定人物の出現回数、などを目的に合わせて出力）を利用した処理を行うアプリケーション処理部である。
ここで、顔認識エンジン２はカメラ３から入力した画像や映像から顔認識処理等によって、個人を認識する処理を行い、人物情報収集システム１は、その顔認識エンジン２の処理の結果を用いて、カメラ３から出力される複数のフレームデータ内に出現する人物の整合性を取る等の処理を行う。
【００１７】
ここで、本実施形態においては、顔認識エンジン２と人物情報収集システム１は１つのコンピュータ装置内に別々の機能として実装されているものとして説明する。ただし、コンピュータ装置内に実装された人物情報収集システム１内に顔認識エンジン２の機能が備えられるようにしてもよいし、または、顔認識エンジン２に備えられた処理部や記憶部のうちの何れか１つ又は複数の機能のみが人物情報収集システム１内に備えられるようにしてもよい。
また、アプリケーション処理部４についても本実施形態においては顔認識エンジン２や人物情報収集システム１と同じ１つのコンピュータ装置内に実装されているものとして説明するが、人物情報収集システム１、顔認識エンジン２、アプリケーション処理部４が、通信ネットワークや通信ケーブルなどを介して接続された異なるコンピュータ装置内にそれぞれ実装され、通信ネットワークや通信ケーブルを介して人物情報収集システム１や顔認識エンジン２やアプリケーション処理部４がそれぞれ実装されたコンピュータ装置間で情報を送受信するようにしてもよい。
また、カメラ３は専用のケーブル等により顔認識エンジン２の実装されたコンピュータ装置と接続されているものとする。または、カメラ３が顔認識エンジン２や人物情報収集システム１の実装されたコンピュータ装置に内蔵されるようにしてもよい。カメラ３は所定の位置に固定等されており、室内などのある空間を撮影する。
【００１８】
そして、本実施形態において、顔認識エンジン２は、図１で示すように、カメラ３から入力したフレームデータを用いて顔画像の特徴量を算出し、その顔画像の特徴量に基づいて過去に入力したフレームデータ内の顔画像の特徴量と一致するかによって、個人認識を行う個人認識部２１と、人物情報収集システム１からの出力に基づいて情報を登録する認識ＤＢ登録部２２、当該認識ＤＢ登録部２２の処理等によって過去に入力したフレームデータ内の顔画像の特徴量等の情報を記憶する認識ＤＢ２３を備えている。
【００１９】
また、人物情報収集システム１は、顔画像情報取得部１１、比較部１２、ＤＢ管理部１３、一時記憶部１４を備えている。
ここで顔画像情報取得部１１は、新たに読み込んだフレームデータ内において顔認識エンジン２が検出した１つまたは複数の顔画像を示す新顔画像特定情報と、該フレームデータ内において顔認識エンジン２が検出した１つまたは複数の顔画像それぞれに対応する出現領域などの情報を、顔認識エンジン２より取得する処理部である。
また、比較部１２は、顔認識エンジン２が新たに読み込んだフレームデータの前に当該顔認識エンジン２が読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、新たに顔認識エンジン２が検出した新顔画像特定情報とその出現領域を示す新出現領域とをそれぞれ比較する処理を行う処理部である。
また、ＤＢ管理部１３は、比較部１２の結果に基づいて、顔認識エンジン２の認識ＤＢ２３で記憶する情報を更新する処理を行う処理部である。
また、一時記憶部１４は、顔画像情報取得部１１が処理した結果を一時的に記憶する記憶部である。
【００２０】
そして、人物情報収集システム１においては、顔画像情報取得部１１、比較部１２、ＤＢ管理部１３の処理によって、カメラ３が順次撮影した映像や画像から、当該映像や画像内に写る人物の人数を把握するための情報を認識ＤＢ２３に登録する。そして、人物情報収集システム１の処理により、当該映像や画像内に写る人物の人数を把握する精度を向上させる。
以下、顔認識エンジン２や人物情報収集システム１の処理の詳細について説明する。
【００２１】
図２は顔認識エンジンの処理フローを示す図である。
図２より、まずカメラ３は、撮影した画像のフレームデータを順次、顔認識エンジン２へ出力する。次に、顔認識エンジン２ではカメラ３からフレームデータを入力すると（ステップＳ１１）、個人認識部２１がフレームデータ内の顔画像を検出する（ステップＳ１２）。当該顔画像の検出処理は、公知の顔認識技術によって行う。そして、個人認識部２１は顔画像の特徴量を算出し、認識ＤＢ２３内に記録されている過去のフレームデータ内で検出された顔画像の特徴量と比較し（ステップＳ１３）、一致するものがあれば、当該特徴量に対応付けられて認識ＤＢ２３内に登録されている個人認識ＩＤと特徴量とを人物情報収集システム１へ出力する（ステップＳ１４）。なお、認識ＤＢ２３内に登録されている個人認識ＩＤは、過去にフレームデータ内で出現された顔画像の特徴量に対して割り当てられた識別情報である。または、個人認識部２１は、認識ＤＢ２３内に記録されている過去のフレームデータ内で検出された顔画像の特徴量と、新たなフレームデータ内で検出された顔画像の特徴量とを比較し、一致するものがなければ、個人認識ＩＤを空欄にして、特徴量を人物情報収集システム１へ出力する（ステップＳ１５）。
【００２２】
また、個人認識部２１は、顔画像を検出したフレームデータ内の出現領域を検出し、当該出現領域ＩＤを人物情報収集システム１へ出力する（ステップＳ１６）。当該出現領域ＩＤは、フレームデータ内の顔画像の出現領域を特定するための情報であり、フレームデータを複数分割（例えば、横ｎ分割、縦横ｎ分割など（ｎ＞０））したときの当該分割領域を特定する情報である。なお、本実施形態においては、顔画像のフレームデータ内の出現位置を出現領域ＩＤによって表現する場合の例を示しているが、出現領域ＩＤの代わりに、フレームデータを複数分割したときの当該分割領域の特定の座標（例えば、矩形の頂点座標）を用いて、顔画像のフレームデータ内の出現位置を表現するようにしてもよい。
個人認識部２１は、フレームデータ内で複数の顔画像を検出した場合には、それぞれの顔画像に対して特徴量を算出し、認識ＤＢ２３内に記録されているものと一致するかの処理と、個人認識ＩＤの読み取りと、出現領域の検出とを行い、それら処理結果の人物情報収集システム１への出力（個人認識ＩＤと、特徴量と、出現領域ＩＤの出力）の処理を同様に行う。また、個人認識部２１は、入力したフレームデータそれぞれに対して同様の処理を行う。
【００２３】
図３は第１の実施形態による一時記憶部と認識ＤＢの記憶するデータテーブルの情報を示す図である。
この図が示すように一時記憶部１４は、フレームデータ毎に、当該フレームデータで検出された顔画像の個人認識ＩＤと、特徴量と、その出現領域ＩＤとを対応付けて記憶している。図３のフレームデータにおいては、まず、１番目のフレームデータを例とすると、当該１番目のフレームデータにおいて、出現領域ＩＤ＝１で示される領域に「特徴量：ＴＡ０」で示される顔画像が、また、出現領域ＩＤ＝２で示される領域に「特徴量ＴＢ０」で示される顔画像が、２つ検出されたことを示している。
また図３で示すように２番目のフレームデータにおいては、出現領域ＩＤ＝１で示される領域に「特徴量：ＴＡ０」で示される顔画像が、また、出現領域ＩＤ＝２で示される領域に「特徴量ＴＢ１」で示される顔画像が、２つ検出されたことを示している。
また図３で示すように３番目のフレームデータにおいては、出現領域ＩＤ＝１で示される領域に「特徴量：ＴＡ０」で示される顔画像が、また、出現領域ＩＤ＝３で示される領域に「特徴量ＴＣ０」で示される顔画像が、２つ検出されたことを示している。
また図３で示すように４番目のフレームデータにおいては、出現領域ＩＤ＝１で示される領域に「特徴量：ＴＡ０」で示される顔画像が、また、出現領域ＩＤ＝４で示される領域に「特徴量ＴＢ０」で示される顔画像が、２つ検出されたことを示している。
また図３で示すように５番目のフレームデータにおいては、出現領域ＩＤ＝４で示される領域に「特徴量：ＴＣ０」で示される顔画像が１つ検出されたことを示している。
また顔認識エンジン２の認識ＤＢ２３では、個人認識ＩＤと当該ＩＤで示される顔画像の特徴量とを対応付けて記憶する。
【００２４】
上述の顔認識エンジンのステップＳ１１〜Ｓ１６処理によって個人認識ＩＤと、顔画像の特徴量と、出現領域ＩＤとが人物情報収集システムへ出力されると、次に、人物情報収集システム１においては、顔画像情報取得部１１が顔認識エンジン２から出力された情報を取得する。そして、比較部１２は、顔画像情報取得部１１が取得した情報の通知を受けると、一時記憶部１４のデータテーブルを読み込む。そして、顔画像情報取得部１１が顔認識エンジン２から取得した情報と、一時記憶部１４から読み込んだデータテーブルの情報を解析する。そして、比較部１２は、顔認識エンジン２が新たに読み込んだフレームデータの１つ前に当該顔認識エンジン２が読み込んだ前フレームデータ内に出現する顔画像を示す「前顔画像特徴量（前顔画像特定情報）」とその出現領域を示す「前出現領域ＩＤ」とを特定する。また比較部１２は、新たに顔認識エンジン２が検出した「新顔画像特徴量（新顔画像特定情報）」とその出現領域を示す「新出現領域ＩＤ」とを特定する。そして比較部１２は、特定した「前顔画像特徴量（前顔画像特定情報）」および「前出現領域ＩＤ」と、「新顔画像特徴量（新顔画像特定情報）」および「新出現領域ＩＤ」とを、それぞれ比較する。また、比較部１２は新顔画像特徴量および新出現領域ＩＤと、認識ＤＢ２３に記録されている顔画像特徴量や出現領域ＩＤとを比較する。そして、ＤＢ管理部１３は比較部１２の比較結果に基づいて、図３で示すように、認識ＤＢ２３に情報を登録する処理や、既に登録される情報を更新、削除する処理を行う。
【００２５】
このＤＢ管理部１３の処理において、より具体的には、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが異なり、前フレームデータより前に過去に顔認識エンジン２が読み込んだフレームデータ内の顔画像について認識ＤＢ２３に登録されている全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定された場合には、ＤＢ管理部１３は、新たな人物の顔画像であるとして、個人認識ＩＤを新たに発行して当該個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する指示を顔認識エンジン２へ出力する＜ＤＢ管理処理（１ａ）＞。
当該ＤＢ管理処理（１ａ）は、図３で示すように、１番目のフレームデータ内の出現領域ＩＤ＝１および出現領域ＩＤ＝２のそれぞれに出現する顔画像、および３番目のフレームデータ内の出現領域ＩＤ＝３に出現する顔画像について行う（１番目のフレームデータ内の前に顔認識エンジン２が読み込んだフレームデータはないため、当該フレームデータについては、新出現領域ＩＤと前出現領域ＩＤとが異なり、前フレームデータより前に過去に顔認識エンジン２が読み込んだフレームデータ内の顔画像について認識ＤＢ２３に登録されている全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定する）。
【００２６】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定された場合には、ＤＢ管理部１３は、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像の特徴量であるとして、前顔画像特徴量が示す顔画像の個人認識ＩＤに新顔画像特徴量をさらに対応付けて認識ＤＢ２３に登録する指示を顔認識エンジン２へ出力する＜ＤＢ管理処理（２ａ）＞。
当該ＤＢ管理処理（２ａ）の処理は、図３で示すように、２番目のフレームデータ内の出現領域ＩＤ＝２に出現する顔画像について行う。
【００２７】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが異なり、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかに新顔画像特徴量が一致する場合には、ＤＢ管理部１３は、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、認識ＤＢ２３を更新する処理を停止する＜ＤＢ管理処理（３ａ）＞。
当該ＤＢ管理処理（３ａ）の処理は、図３で示すように、４番目のフレームデータ内の出現領域４に出現する顔画像について行う。
【００２８】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている前顔画像特徴量と、新顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、認識ＤＢ２３を更新する処理を停止する＜ＤＢ管理処理（４ａ）＞。
当該ＤＢ管理処理（４ａ）の処理は、図３で示すように２番目,３番目，４番目のそれぞれのフレームデータ内の出現領域１に出現する顔画像について行う。
【００２９】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている前顔画像特徴量以外の他の顔画像特徴量のうちのいずれかと、新顔画特徴量とが一致する場合には、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像であるとして、前顔画像特徴量が示す顔画像の個人認識ＩＤに新顔画像特徴量を対応付けて認識ＤＢ２３に登録すると共に、新顔画像特徴量の顔画像を特定する個人認識ＩＤにより特定される顔画像特徴量の全てを、前顔画像特徴量で示される顔画像に対して算出した特徴量として、当該前顔画像特徴量に対応付けて認識ＤＢ２３に登録し、かつ、新顔画像特徴量で示される顔画像を特定する個人認識ＩＤに対応付けられて登録されている過去のデータを認識ＤＢ２３から削除する処理を行う＜ＤＢ管理処理（５ａ）＞。
つまり、この処理においては、前顔画像特徴量で示される顔画像と、新顔画像特徴量で示される顔画像とが連続する２つのフレームデータ内の同じ領域に出現するため、同一人物であると判定し、また、新顔画像特徴量が示す顔画像の個人認識ＩＤに基づいて、過去に当該個人認識ＩＤを付与した顔画像の情報を認識ＤＢ２３から削除して、それら過去に当該個人認識ＩＤを付与した顔画像の全ての特徴量が、新顔画像特徴量や前顔画像特徴量が示す顔画像と同一の顔画像を示すものであるとして、認識ＤＢ２３を更新している。
当該ＤＢ管理処理（５ａ）の処理は、図３で示すように５番目のフレームデータ内の出現領域４に出現する顔画像において行う。
【００３０】
なお、上述の比較部１２の処理においては、新フレームデータ内の顔画像と、前フレームデータ内の顔画像のフレームデータ内の位置が全く一致する場合だけでなく、各顔画像の位置が多少ずれていても、ずれが一定の範囲内であれば新出現領域ＩＤが示す出現領域と、前出現領域ＩＤが示す出現領域とが一致するとしている。なお、本実施形態においては、新出現領域ＩＤと前出現領域ＩＤが一致するか否かによって、顔画像がフレームデータ内において同一とみなす領域の範囲内にあるかを判定している。しかしながら、顔画像のフレームデータ内における出現範囲が、多少ずれていても、ずれが一定の範囲内であれば、異なるフレームデータ内の顔画像が同一とみなす領域の範囲内にある、と判定できるような処理であれば、出現領域ＩＤを用いなくとも、どのような方法を用いるようにしてもよい。
【００３１】
図４は第１の実施形態人物情報収集システムの処理フローを示す第１の図である。
図５は第１の実施形態人物情報収集システムの処理フローを示す第２の図である。
以上、人物情報収集システムの処理について説明したが、次に、当該人物情報収集システムの処理のフローの詳細について順を追って説明する。
まず、人物情報収集システム１の顔画像情報取得部１１が、１フレーム内に出現する顔画像を示す個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤからなる１フレーム分のデータを取得する（ステップＳ１０１）。そして、比較部１２が、顔画像情報取得部１１より個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤの組み合わせを１つまたは複数（１フレーム内に複数の顔画像が出現する場合には複数）入力し、当該新出現領域ＩＤが一時記憶部１４から読み取ったデータテーブル内の前出現領域ＩＤと一致するかを判定する（ステップＳ１０２）。そして、一致しない場合（Ｎｏ）には、比較部１２は、新顔画像特徴量と、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかとが、一致するかを判定する（ステップＳ１０３）。そして、ステップＳ１０３において一致しない場合（Ｎｏ）には、ＤＢ管理部１３は、新顔画像特徴量で示される顔画像が新たな人物の顔画像であるとして、個人認識ＩＤを新たに生成し（ステップＳ１０４）、当該個人認識ＩＤと新顔画像特徴量とを対応付けて登録するよう要求する登録要求情報を顔認識エンジン２へ出力する（ステップＳ１０５）。顔認識エンジン２の認識ＤＢ登録部２２は、登録要求情報を受信すると、当該登録要求情報を解析して、当該登録要求情報に含まれる個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する。
【００３２】
また、ステップＳ１０２の処理において新出現領域ＩＤと前出現領域ＩＤとが一致する場合（Ｙｅｓ）には、比較部１２は、一致しない場合と同様に新顔画像特徴量と、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかとが、一致するかを判定する（ステップＳ１０６）。そして、ステップＳ１０６の処理において一致しないと判定した場合（Ｎｏ）、つまり、新顔画像特徴量と同じ特徴量が未登録の場合には、ＤＢ管理部１３は、新顔画像特徴量で示される顔画像の出現領域と同一の領域において、前フレームデータ内で出現した顔画像の個人認識ＩＤを読み取り（ステップＳ１０７）、当該個人認識ＩＤと、新顔画像特徴量とを対応付けて登録するよう要求する登録要求情報を顔認識エンジン２へ出力する（ステップＳ１０８）。つまり、この処理は、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像の特徴量であるとして、前顔画像特徴量と前出現領域ＩＤとに新顔画像特徴量をさらに対応付けて認識ＤＢ２３に登録する指示を行う処理である。顔認識エンジン２の認識ＤＢ登録部２２は、登録要求情報を受信すると、当該登録要求情報を解析して、当該登録要求情報に含まれる個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する。
【００３３】
そして、ステップＳ１０３の処理において、新顔画像特徴量と認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかとが一致すると判定した場合、また、ステップＳ１０５の処理の終了後、また、ステップＳ１０８の処理の終了後、比較部１２は、顔画像情報取得部１１から取得した１フレーム分のデータ内の全ての顔画像の情報について処理を終了したかを判定する（ステップＳ１０９）。そして、ステップＳ１０９の処理において１フレーム分のデータ内の全ての顔画像の情報について処理を終了したと判定した場合には、比較部１２は、顔画像情報取得部から取得した１フレーム分のデータ（１つまたは複数の個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤの組み合わせ）を、図３で示すように一時記憶部１４のデータテーブルへ登録する（ステップＳ１１０）。
【００３４】
また図５より、ステップＳ１０６の処理において、新顔画像特徴量と認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかとが一致すると判定した場合（Ｙｅｓ）には、次に、比較部１２は、新顔画像特徴量で示される顔画像の出現領域と同一の領域において、前フレームデータ内で出現した顔画像の個人認識ＩＤを読み取り（ステップＳ１１１）、当該個人認識ＩＤに対応付けられて認識ＤＢ２３に登録されている前顔画像特徴量を読み取る（ステップＳ１１２）。そして比較部１２は、新顔画像特徴量と前顔画像特徴量とが一致するかを判定する（ステップＳ１１３）。そして、新顔画像特徴量と前顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、ステップＳ１０９の処理へ移行する。
【００３５】
また、ステップＳ１１３において、新顔画像特徴量と前顔画像特徴量とが一致しない場合、ステップＳ１０６の処理において前顔画像特徴量以外の他の顔画像特徴量と一致していると判定したにもかかわらず、連続する２つのフレームデータ内の同一領域に顔画像が出現しているため、ＤＢ管理部１３は、それら新顔画像特徴量と前顔画像特徴量とが同一人物の顔画像を示すと判定する。そして、ＤＢ管理部１３は、新顔画像特徴量が示す顔画像の個人認識ＩＤを認識ＤＢ２３から読み取り（ステップＳ１１４）、当該個人認識ＩＤに対応付けられて認識ＤＢに登録されている全ての顔画像特徴量を認識ＤＢ２３から取得する（ステップＳ１１５）。そして、ＤＢ管理部１３は、それら取得した顔画像特徴量と、前顔画像特徴量が示す顔画像の個人認識ＩＤとを対応付けて登録するよう要求する登録要求情報を顔認識エンジン２へ出力する（ステップＳ１１６）。顔認識エンジン２の認識ＤＢ登録部２２は、登録要求情報を受信すると、当該登録要求情報を解析して、当該登録要求情報に含まれる前顔画像特徴量が示す顔画像の個人認識ＩＤと、新顔画像特徴量が示す顔画像の個人認識ＩＤに関連して過去に認識ＤＢ２３に登録された顔画像特徴量とを対応付けて認識ＤＢ２３に登録する。また、ＤＢ管理部１３は、新顔画像特徴量が示す顔画像の個人認識ＩＤに対応付けられて認識ＤＢ２３に過去に登録されたレコードを削除するよう要求する削除要求情報を顔認識エンジン２へ出力する（ステップＳ１１７）。顔認識エンジン２の認識ＤＢ登録部２２は、削除要求情報を受信すると、当該削除要求情報を解析して、当該削除要求情報に含まれる個人認識ＩＤに対応付けられて認識ＤＢ２３に過去に登録されたレコードを削除する。この後、ステップＳ１０９の処理に移行する。
【００３６】
以上の処理によれば、連続する２つのフレームデータ内の同一の出現領域に出現した顔画像については、顔画像特徴量が異なっていても同一の人物の顔画像について検出したものであるとして認識ＤＢ２３内の情報を更新し、また、連続する２つのフレームデータ内の同一の出現領域に出現した顔画像のうちの後のフレームデータ内の顔画像の特徴量と同一の過去に認識ＤＢに登録された顔画像についても同一の人物の顔画像について検出したものであるとして認識ＤＢ内の情報を更新している。これにより、認識ＤＢ２３に登録される情報が、同一人物の顔画像として登録されるべき情報が別人物の顔画像として登録されてしまう可能性を軽減し、これにより、連続して入力される複数のフレームデータ内に出現する顔画像から、当該出現した人物を特定する処理の精度を向上させるとともに、当該出現した人物の人数をより正確に把握することのできる認識ＤＢ２３を作成することができる。また、これにより認識ＤＢ２３に登録されるレコード数を削減することができる。
【００３７】
＜第２の実施形態＞
図６は第２の実施形態による人物情報自動収集システムの構成を示すブロック図である。
図６は、図１で示した人物情報収集システム１において、さらに人物特定ＤＢ１５を備えた場合の例を示している。人物特定ＤＢ１５は、連続する複数のフレームデータ内に出現する人物について整合を取った情報を、人物情報収集システム１側でのみ保持するために利用されるデータベースである。
【００３８】
図７は第２の実施形態による一時記憶部、認識ＤＢ、人物特定ＤＢの記憶するデータテーブルの情報を示す図である。
この図において、一時記憶部１４の記憶状態を示す例は、図３で示したものと同様である。一方、本実施形態において、認識ＤＢ２３と人物特定ＤＢ１５の記憶状態については、図７で示すように、図３とは異なるものとなる。つまり、第２の実施形態による人物情報収集システム１においては、ＤＢ管理部１３が、連続する複数のフレームデータ内に出現する人物について整合を取って人物特定ＤＢ１５内の情報を更新し、またＤＢ管理部１３は、認識ＤＢ２３については従来と同様の更新を行う。
【００３９】
このＤＢ管理部１３の処理は、より具体的には、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが異なり、前フレームデータより前に過去に顔認識エンジン２が読み込んだフレームデータ内の顔画像について認識ＤＢ２３に登録されている全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定された場合には、ＤＢ管理部１３は、新たな人物の顔画像であるとして、個人認識ＩＤを新たに発行して当該個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する指示を顔認識エンジン２へ出力するとともに、生成した個人認識ＩＤに対応する人物ＩＤを新たに生成して、個人認識ＩＤと人物ＩＤとを対応付けて人物特定ＤＢ１５へ登録する処理を行う＜ＤＢ管理処理（１ｂ）＞。
当該ＤＢ管理処理（１ｂ）は、第１の実施形態と同様に、１番目のフレームデータ内の出現領域ＩＤ＝１および出現領域ＩＤ＝２のそれぞれに出現する顔画像、および３番目のフレームデータ内の出現領域ＩＤ＝３に出現する顔画像について行う（１番目のフレームデータ内の前に顔認識エンジン２が読み込んだフレームデータはないため、当該フレームデータについては、新出現領域ＩＤと前出現領域ＩＤとが異なり、前フレームデータより前に過去に顔認識エンジン２が読み込んだフレームデータ内の顔画像について一時記憶部１４に登録されている全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定する）。
【００４０】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定された場合には、ＤＢ管理部１３は、個人認識ＩＤを新たに発行して当該個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する指示を顔認識エンジン２へ出力するとともに、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像の特徴量であるとして、新たに発行した個人認識ＩＤと前顔画像特徴量が示す顔画像に対して付与した人物ＩＤとを対応付けて人物特定ＤＢ１５へ登録する処理を行う。＜ＤＢ管理処理（２ｂ）＞。
当該ＤＢ管理処理（２ｂ）は、図７で示すように、２番目のフレームデータ内の出現領域２に出現する顔画像について行う。
【００４１】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかに新顔画像特徴量が一致する場合には、ＤＢ管理部１３は、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、認識ＤＢ２３を更新する処理を停止する＜ＤＢ管理処理（３ｂ）＞。
当該ＤＢ管理処理（３ｂ）は、図７で示すように、４番目のフレームデータ内の出現領域４に出現する顔画像について行う。
【００４２】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている前顔画像特徴量と、新顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、認識ＤＢ２３を更新する処理を停止する＜ＤＢ管理処理（４ｂ）＞。
当該ＤＢ管理処理（４ｂ）は、図７で示すように２番目,３番目，４番目のそれぞれのフレームデータ内の出現領域１に出現する顔画像について行う。
【００４３】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている前顔画像特徴量以外の他の顔画像特徴量のうちのいずれかと、新顔画特徴量とが一致する場合には、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像であるとして、新顔画像特徴量が示す顔画像の個人認識ＩＤに、前顔画像特徴量が示す顔画像の人物ＩＤを対応付けて人物特定ＤＢ１５へ登録する処理を行う。＜ＤＢ管理処理（５ｂ）＞。このとき、ＤＢ管理部１３は認識ＤＢ２３を更新する処理については停止する。
つまり、この処理においては、前顔画像特徴量で示される顔画像と、新顔画像特徴量で示される顔画像とが連続する２つのフレームデータ内の同じ領域に出現するため、同一人物であると判定し、人物特定ＤＢ１５においてそのような整合を取る更新を行っている。
当該ＤＢ管理処理（５ｂ）の処理は、図７で示すように５番目のフレームデータ内の出現領域４に出現する顔画像において行う。
【００４４】
なお、上述の比較部１２の処理においては、第１の実施形態と同様に、新フレームデータ内の顔画像と、前フレームデータ内の顔画像のフレームデータ内の位置が全く一致する場合だけでなく、各顔画像の位置が多少ずれていても、ある範囲を示す出現領域が同じであれば新出現領域ＩＤが示す出現領域と、前出現領域ＩＤが示す出現領域とが一致するとしている。
【００４５】
図８は第２の実施形態人物情報収集システムの処理フローを示す第１の図である。
図９は第２の実施形態人物情報収集システムの処理フローを示す第２の図である。
図１０は第２の実施形態人物情報収集システムの処理フローを示す第３の図である。
次に、当該人物情報収集システムの第２の実施形態による処理のフローの詳細について順を追って説明する。
まず、人物情報収集システム１の顔画像情報取得部１１が、１フレーム内に出現する顔画像を示す個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤからなる１フレーム分のデータを取得する（ステップＳ２０１）。そして、比較部１２が、顔画像情報取得部１１より個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤの組み合わせを１つまたは複数（１フレーム内に複数の顔画像が出現する場合には複数）入力し、それら情報のうちの１つの顔画像についての新顔画像特徴量が、認識ＤＢ２３内の何れかの顔画像特徴量と一致するかを判定する（ステップＳ２０２）。そして、一致しない場合には、ＤＢ管理部１３は、当該顔画像特徴量に対して個人認識ＩＤを生成して付与する（ステップＳ２０３）。一方、ステップＳ２０２において一致しない場合には、顔画像情報取得部１１から得た個人認識ＩＤを当該顔画像のＩＤとして取得する（ステップＳ２０４）。そして、ＤＢ管理部１３は、フレーム内の全ての顔画像について処理をしたかを判定する（ステップＳ２０５）。全ての顔画像について処理をしていない場合にはステップＳ２０２に戻る。
【００４６】
次に、図９より、ステップＳ２０５において、フレーム内の全ての顔画像について処理したと判定した場合には、比較部１２が、１フレーム内において１つの顔画像を選択し、当該顔画像の新出現領域ＩＤが一時記憶部１４から読み取ったデータテーブル内の前出現領域ＩＤと一致するかを判定する（ステップＳ２０６）。つまり、一時記憶部１４内に登録されているかを判定する。そして、ステップＳ２０６において一致しない場合（Ｎｏ）には、比較部１２は、新顔画像特徴量が示す顔画像の個人認識ＩＤと、認識ＤＢ２３内に登録されている他の全ての個人認識ＩＤの何れかとが、一致するかを判定する（ステップＳ２０７）。そして、ステップＳ２０７において一致しない場合、つまり未登録（Ｙｅｓ）の場合には、ＤＢ管理部１３は、新顔画像特徴量と、当該新顔画像特徴量で示される顔画像の個人認識ＩＤとを対応付けて登録するよう要求する登録要求情報を顔認識エンジン２へ出力する（ステップＳ２０８）。顔認識エンジン２の認識ＤＢ登録部２２は、登録要求情報を受信すると、当該登録要求情報を解析して、当該登録要求情報に含まれる個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する。さらに、ＤＢ管理部１３は、当該顔画像の個人認識ＩＤに対して人物ＩＤを生成して付与する（ステップＳ２０９）。そしてＤＢ管理部１３は、それら個人認識ＩＤと人物ＩＤとを対応付けて人物特定ＤＢ１５へ登録する（ステップＳ２１０）。
【００４７】
また、ステップＳ２０６の処理において新出現領域ＩＤと前出現領域ＩＤとが一致する場合（Ｙｅｓ）には、比較部１２は、一致しない場合と同様に新顔画像特徴量が示す顔画像の個人認識ＩＤと、認識ＤＢ２３内に登録されている他の全ての個人認識ＩＤの何れかとが、一致するかを判定する（ステップＳ２１１）。そして、ステップＳ２１１の処理において一致しないと判定した場合、つまり、個人認識ＩＤが認識ＤＢ２３内に未登録の場合（Ｙｅｓ）には、ＤＢ管理部１３は、ステップＳ２０９で付与した個人認識ＩＤと、ステップＳ２０６で選択した顔画像の特徴量を示す新顔画像特徴量とを対応付けて登録するよう要求する登録要求情報を顔認識エンジン２へ出力する（ステップＳ２１２）。顔認識エンジン２の認識ＤＢ登録部２２は、登録要求情報を受信すると、当該登録要求情報を解析して、当該登録要求情報に含まれる個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する。
【００４８】
またＤＢ管理部１３は、ステップＳ２０６で選択した顔画像の出現領域を示す新出現領域ＩＤと一致する前出現領域ＩＤに出現した顔画像の個人認識ＩＤを一時記憶部１４から読み取る（ステップＳ２１３）。そして、ＤＢ管理部１３は、当該読み取った個人認識ＩＤに対応する人物ＩＤを人物特定ＤＢ１５から読み取り（ステップＳ２１４）、ステップＳ２０２で判定した新顔画像特徴量が示す顔画像の個人認識ＩＤにステップＳ２１４で読み取った人物ＩＤを対応付けて人物特定ＤＢ１５へ登録する（ステップＳ２１５）。つまり、この処理は、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像であるとして、人物特定ＤＢ１５を更新する処理である。
【００４９】
そして、ステップＳ２０７の処理において、新顔画像特徴量が示す顔画像の個人認識ＩＤと、認識ＤＢ２３内に登録されている他の全ての個人認識ＩＤの何れかとが、一致するか場合、つまり未登録（Ｎｏ）の場合、および、ステップＳ２１０において個人認識ＩＤと人物ＩＤとを対応付けて人物特定ＤＢ１５へ登録した場合、および、ステップＳ２１５において個人認識ＩＤと人物ＩＤを対応付けて人物特定ＤＢ１５へ登録した場合、次に、フレーム内の全ての顔画像について処理をしたかを判定し（ステップＳ２１６）、処理済みでない場合にはステップＳ２０６に戻る。また処理済みである場合には、比較部１２は、顔画像情報取得部から取得した１フレーム分のデータ（１つまたは複数の個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤの組み合わせ）を、図７で示すように一時記憶部１４のデータテーブルへ登録する（ステップＳ２１７）。また処理を終了しない場合にはステップＳ２０１に戻る。
【００５０】
また図１０より、ステップＳ２１１において、新顔画像特徴量が示す顔画像の個人認識ＩＤと、認識ＤＢ２３内に登録されている他の全ての個人認識ＩＤの何れかとが、一致すると判定した場合、つまり未登録でない場合には、次に、ステップＳ２０６で選択した顔画像の出現領域を示す新出現領域ＩＤと一致する前出現領域ＩＤに出現した顔画像の個人認識ＩＤを一時記憶部１４から読み取る（ステップＳ２１８）。そして、ＤＢ管理部１３は、当該読み取った個人認識ＩＤに対応する顔画像を示す前顔画像特徴量を認識ＤＢ２３から読み取り（ステップＳ２１９）、新顔画像特徴量と前顔画像特徴量とが一致するかを判定する（ステップＳ２２０）。そして、新顔画像特徴量と前顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、ステップＳ２１５の処理へ移行する。
【００５１】
また、ステップＳ２２０において、新顔画像特徴量と前顔画像特徴量とが一致しない場合、連続する２つのフレームデータ内の同一領域に顔画像が出現しているため、ＤＢ管理部１３は、それら新顔画像特徴量と前顔画像特徴量とが同一人物の顔画像を示すと判定する。そして、ＤＢ管理部１３は、新顔画像特徴量で示される顔画像の新出現領域ＩＤと一致する前出現領域ＩＤの出現領域に出現する前フレームデータ内の顔画像の個人認識ＩＤに対応する人物ＩＤを人物特定ＤＢ１５から読み取り（ステップＳ２２１）、当該読み取った人物ＩＤを、新顔画像特徴量の個人認識ＩＤに対応付けて人物特定ＤＢ１５に登録する（ステップＳ２２２）。この後、ステップＳ２１６の処理に移行する。またステップＳ２２０において、新顔画像特徴量と前顔画像特徴量とが一致した場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、ステップＳ２１６の処理へ移行する。
【００５２】
以上の処理によれば、連続する２つのフレームデータ内の同一の出現領域に出現した顔画像については、顔画像特徴量が異なっていても同一の人物の顔画像について検出したものであるとして人物特定ＤＢ１５内の情報を更新し、また、連続する２つのフレームデータ内の同一の出現領域に出現した顔画像のうちの後のフレームデータ内の顔画像の特徴量と同一の過去に認識ＤＢ２３に登録された顔画像についても同一の人物の顔画像について検出した顔であるとして人物特定ＤＢ１５内の情報を更新している。これにより、人物特定ＤＢ１５に登録される情報が、同一人物の顔画像として登録されるべき情報が別人物の顔画像として登録されてしまう可能性を軽減し、これにより、連続して入力される複数のフレームデータ内に出現する顔画像から、当該出現した人物を特定する処理の精度を向上させるとともに、当該出現した人物の人数を正確に把握することのできる人物特定ＤＢ１５を作成することができる。また、これにより人物特定ＤＢ１５に登録されるレコード数を削減することができる。
【００５３】
＜第３の実施形態＞
次に、上記第１の実施形態および第２の実施形態において、顔認識エンジン２が新たに読み込んだフレームデータの１つ前に当該顔認識エンジン２が読み込んだ前フレームデータ内の顔画像を示す「前顔画像特徴量（前顔画像特定情報）」とその出現領域を示す「前出現領域ＩＤ」と、新たに顔認識エンジン２が検出した「新顔画像特徴量（新顔画像特定情報）」とその出現領域を示す「新出現領域ＩＤ」とのそれぞれの比較によって、比較部１２が、新出現領域ＩＤと前出現領域ＩＤとが同じであり、新顔画像特徴量と前顔画像特徴量とが、過去に同一のフレームデータ内で別々の顔として出現していたと判定した場合の処理について説明する。
このような場合には、過去には、同一フレームデータ内で別々の顔として出現していたため、別人として登録されているにもかかわらず、新たに読み込んだフレームデータと、その直前のフレームデータとでは、同一の出現領域に出現しているため、別人なのか、同一人物なのかの判定をしなければならない。
ここで、このように、新出現領域ＩＤと前出現領域ＩＤとが同じであり、新顔画像特徴量と前顔画像特徴量とが、過去に同一のフレームデータ内で別々の顔として出現していた場合には、過去に別々の顔として出現していたことを重視し、新顔画像特徴量が示す顔画像と前顔画像特徴量が示す顔画像は、同一人物ではないとして登録する処理を行う。
【００５４】
図１１は第３の実施形態による第１の実施形態に対応した一時記憶部と認識ＤＢの記憶するデータテーブルの情報を示す図である。
この図において、一時記憶部１４の記憶状態を示す例は、図３で示したものと同様である。一方、本実施形態において、認識ＤＢ２３については、図１１で示すように、図３とは異なるものとなる。つまり、第３の実施形態においては、人物情報収集システム１は、フレームデータ４の出現領域４に出現した顔画像と、フレームデータ５の出現領域４に出現した顔画像とを、同一人物の顔画像として登録せずに、フレームデータ１において別人物の顔画像として登録した情報をそのまま残すことにより、別人物のデータとして管理する処理を行う。
【００５５】
図１２は第３の実施形態による処理を、第１の実施形態に適用した場合の処理フローを示す図である。
この図が示すように、第３の実施形態による処理を、第１の実施形態に適用した場合には、ステップＳ１１３の処理までは、第１の実施形態の処理と同様である。つまり、ステップＳ１１３において、比較部１２が新顔画像特徴量と前顔画像特徴量とが一致するかを判定し、新顔画像特徴量と前顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、ステップＳ１０９の処理へ移行する。
【００５６】
また、ステップＳ１１３において、新顔画像特徴量と前顔画像特徴量とが一致しない場合（Ｎｏ）、比較部１２は、新顔画像特徴量と前顔画像特徴量の組み合わせと、認識ＤＢ２３に登録されている過去のフレームデータ内の２つの顔画像特徴量との組み合わせとを比較し、当該過去のフレームデータ内の２つの顔画像特徴量の組み合わせと、新顔画像特徴量と前顔画像特徴量の組み合わせとが一致するかを判定する（ステップＳ１１８）。そしてこの判定において、一致する場合には、新顔画像特徴量と前顔画像特徴量は別々の人物の顔画像を示す顔画像特徴量であると判定し、認識ＤＢ２３の更新を停止してステップＳ１０９へ処理を移行する。また、ステップＳ１１８の判定において、一致しない場合には、第１の実施形態におけるステップＳ１１４の処理へ移行する。
【００５７】
図１３は第３の実施形態による処理を、第２の実施形態に適用した場合の処理フローを示す図である。
この図が示すように、第３の実施形態による処理を、第２の実施形態に適用した場合には、ステップＳ２２０の処理までは、第２の実施形態の処理と同様である。つまり、ステップＳ２２０において、比較部１２が新顔画像特徴量と前顔画像特徴量とが一致するかを判定し、新顔画像特徴量と前顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、ステップＳ２１５の処理へ移行する。
【００５８】
また、ステップＳ２２０において、新顔画像特徴量と前顔画像特徴量とが一致しない場合、比較部１２は、新顔画像特徴量と前顔画像特徴量の組み合わせと、認識ＤＢ２３に登録されている過去のフレームデータ内の２つの顔画像特徴量との組み合わせとを比較し、当該過去のフレームデータ内の２つの顔画像特徴量の組み合わせと、新顔画像特徴量と前顔画像特徴量の組み合わせとが一致するかを判定する（ステップＳ２２３）。そしてこの判定において、一致する場合には、新顔画像特徴量と前顔画像特徴量は別々の人物の顔画像を示す顔画像特徴量であると判定し、認識ＤＢ２３の更新を停止してステップＳ２１５へ処理を移行する。また、ステップＳ２２３の判定において、一致しない場合には、第２の実施形態におけるステップＳ２２１の処理へ移行する。
【００５９】
以上の第３の実施形態による処理について説明したが、当該処理によれば、新出現領域ＩＤと前出現領域ＩＤとが同じであり、新顔画像特徴量と前顔画像特徴量とが、過去に同一のフレームデータ内で別々の顔として出現していた場合には、過去に別々の顔として出現していたことを重視し、新顔画像特徴量が示す顔画像と前顔画像特徴量が示す顔画像は、同一人物ではないとして登録する処理を行う。これにより、例えば、双子などのように顔の特徴が酷似している場合において、過去に同一フレームデータ内に別々の顔画像として写されている場合には、後日、異なる顔画像特徴量が連続する前後のフレームデータ内の同一出現領域に出現したとしても、それらを別々の人物として登録することができる。
【００６０】
なお上述の処理においては、新たなフレームデータ内の顔画像と、前のフレームデータ内の顔画像との出現位置が完全一致しなくても、所定の領域分割によって特定されたいずれか出現領域が一致しているかどうかによって判定しているが、特徴量に関しても、完全一致でなくともある程度の幅を持たせて近似値であれば、特徴量が一致していると判定するようにしてもよい。
【００６１】
上述の顔認識エンジンや人物情報収集システムを備えた装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００６２】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【産業上の利用可能性】
【００６３】
上述の人物情報収集システムの処理により、例えば、テレビの前に集まる家族の画像を撮影して、当該家族に何人の人物いるのかを判定し、その人数によって詳細なテレビの視聴率を算出するなどの処理に利用することができる。またその他、特定の空間を撮影した際に画像に出現した人物の人数の把握を精度良く行うことが可能となる。
【符号の説明】
【００６４】
１・・・人物情報収集システム
２・・・顔認識エンジン
３・・・カメラ
４・・・アプリケーション処理部
１１・・・顔画像情報取得部
１２・・・比較部
１３・・・ＤＢ管理部
１４・・・一時記憶部
１５・・・人物特定ＤＢ
２１・・・個人認識部
２２・・・認識ＤＢ登録部
２３・・・認識ＤＢ
【技術分野】
【０００１】
本発明は、撮影された画像のフレームデータから人物情報を収集する人物情報自動収集システム及び人物情報自動収集方法並びにそのプログラムに関する。
【背景技術】
【０００２】
文字や画像、音声などをコンピュータにより解析して情報を認識する技術について、多くの研究がなされ、また、当該認識技術を応用した技術が存在する。特に画像から目的とする対象物（オブジェクト）を認識・抽出する画像認識技術は、ここ数年で目覚ましい進歩を遂げている。画像認識技術の中でも、人物の顔を認識する顔認識技術は、近年最も広く普及した技術の1つであるといえる。顔認識技術は、単に映像から顔の領域を抽出するだけでなく、性別、年齢や顔の向きを認識し、個人を特定することが可能である。そして、個人を特定する機能(個人認識技術)は、セキュリティ・チェックなどで使われており、当該セキュリティ・チェックの処理において、例えば事前に人物の画像から特徴量を抽出し、その後撮影される映像に類似する特徴量を有する顔画像が存在するかで個人を特定している。しかし、映像から特徴量を抽出する技術は、撮影の方向(顔の向き)や光源の位置による影の影響といった外部環境に特徴量が大きく依存してしまうため、多くの場合誤認識(他人受理・本人棄却)を起こすという問題があった。なお、関連する技術として、パターン認識において、偽の認識対象のパターンが与えられても、その偽学習が回避できるようセキュリティを充分に確保できるようにする技術が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１３７８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、家族などの特定グループを撮影した映像において、そのグループに何人の人物が存在するのか、またどのような年齢・性別の人物が存在するのかを正確に把握する技術の確立が望まれている。既存の技術では、RFIDタグなどを所持させるといった取組みにより、グループ内に何人の人物がいるかを検出する技術が存在するが、グループの構成が変動した場合に自動的な対応ができなかったり、RFIDを所持し忘れた場合に正確な人数が取得できないといった課題があった。
また、上述の個人認識技術を用い、グループに何人存在するかを計算機で判定する場合、先に記載した特徴量の誤認識により、従来はグループ内の実際の人数より多い数の人数がグループ内に存在すると誤認識してしまうことが多かった。
【０００５】
そこでこの発明は、映像からグループ内の人物の誤認識を無くすことで人物を判定する精度を向上させ、また当該グループ内の人物の人数を把握する精度を向上させることのできる人物情報自動収集システム及び人物情報自動収集方法並びにそのプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得部と、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較部と、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除するデータベース管理部と、を備えることを特徴とする人物情報自動収集システムである。
【０００７】
また本発明は、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得部と、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較部と、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換えるデータベース管理部と、を備えることを特徴とする人物情報自動収集システムである。
【０００８】
また本発明は、上述の人物情報自動収集システムにおいて、前記データベース管理部は、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記新顔画像特定情報と前記前顔画像特定情報とが一致せず、さらに、前記前フレームデータより更に前に読み込んだ過去の同一のフレームデータ内において検出した別の顔画像を示す情報として、前記新顔画像特定情報と前記前顔画像特定情報とが前記認識データベースに登録されていると判定した場合には、前記新顔画像特定情報についての前記認識データベースへの登録を停止することを特徴とする。
【０００９】
また本発明は、上述の人物情報自動収集システムにおいて、前記データベース管理部は、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記新顔画像特定情報と前記前顔画像特定情報とが一致せず、さらに、前記前フレームデータより更に前に読み込んだ過去の同一のフレームデータ内において検出した別の顔画像を示す情報として、前記新顔画像特定情報と前記前顔画像特定情報とが前記認識データベースに登録されていると判定した場合には、前記新顔画像特定情報についての前記人物特定データベースへの登録を停止することを特徴とする。
【００１０】
また本発明は、人物情報自動収集システムにおける人物情報自動収集方法であって、顔画像情報取得部が、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得し、比較部が、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較し、データベース管理部が、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除することを特徴とする人物情報自動収集方法である。
【００１１】
また本発明は、人物情報自動収集システムにおける人物情報自動収集方法であって、顔画像情報取得部が、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得し、比較部が、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較し、データベース管理部が、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換えることを特徴とする人物情報自動収集方法である。
【００１２】
また本発明は、人物情報自動収集システムのコンピュータを、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得手段、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較手段、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除するデータベース管理手段、として機能させることを特徴とするプログラムである。
【００１３】
また本発明は、人物情報自動収集システムのコンピュータを、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得手段、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較手段、前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換えるデータベース管理手段、として機能させることを特徴とするプログラムである。
【発明の効果】
【００１４】
本発明によれば、同一人物の顔画像として登録されるべき情報が別人物の顔画像として登録されてしまう可能性を軽減し、これにより、連続して入力される複数のフレームデータ内に出現する顔画像から、当該出現した人物を特定する処理の精度を向上させるとともに、当該出現した人物の人数をより正確に把握することのできるデータベースを作成することができる。また、これによりデータベースに登録されるレコード数を削減することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態による人物情報自動収集システムの構成を示すブロック図である。
【図２】顔認識エンジンの処理フローを示す図である。
【図３】第１の実施形態による一時記憶部と認識ＤＢの記憶するデータテーブルの情報を示す図である。
【図４】第１の実施形態人物情報収集システムの処理フローを示す第１の図である。
【図５】第１の実施形態人物情報収集システムの処理フローを示す第２の図である。
【図６】第２の実施形態による人物情報自動収集システムの構成を示すブロック図である。
【図７】第２の実施形態による一時記憶部、認識ＤＢ、人物特定ＤＢの記憶するデータテーブルの情報を示す図である。
【図８】第２の実施形態人物情報収集システムの処理フローを示す第１の図である。
【図９】第２の実施形態人物情報収集システムの処理フローを示す第２の図である。
【図１０】第２の実施形態人物情報収集システムの処理フローを示す第３の図である。
【図１１】第３の実施形態による第１の実施形態に対応した一時記憶部と認識ＤＢの記憶するデータテーブルの情報を示す図である。
【図１２】第３の実施形態による処理を、第１の実施形態に適用した場合の処理フローを示す図である。
【図１３】第３の実施形態による処理を、第２の実施形態に適用した場合の処理フローを示す図である。
【発明を実施するための形態】
【００１６】
＜第１の実施形態＞
以下、本発明の第１の実施形態による人物情報自動収集システムを図面を参照して説明する。
図１は第１の実施形態による人物情報自動収集システムの構成を示すブロック図である。
この図において、符号１は人物情報自動収集システムである。また２は顔認識エンジンである。また３はカメラ、４は人物情報自動収集システムからの出力（例えば、グループ内にいる人数の情報、特定人物の出現回数、などを目的に合わせて出力）を利用した処理を行うアプリケーション処理部である。
ここで、顔認識エンジン２はカメラ３から入力した画像や映像から顔認識処理等によって、個人を認識する処理を行い、人物情報収集システム１は、その顔認識エンジン２の処理の結果を用いて、カメラ３から出力される複数のフレームデータ内に出現する人物の整合性を取る等の処理を行う。
【００１７】
ここで、本実施形態においては、顔認識エンジン２と人物情報収集システム１は１つのコンピュータ装置内に別々の機能として実装されているものとして説明する。ただし、コンピュータ装置内に実装された人物情報収集システム１内に顔認識エンジン２の機能が備えられるようにしてもよいし、または、顔認識エンジン２に備えられた処理部や記憶部のうちの何れか１つ又は複数の機能のみが人物情報収集システム１内に備えられるようにしてもよい。
また、アプリケーション処理部４についても本実施形態においては顔認識エンジン２や人物情報収集システム１と同じ１つのコンピュータ装置内に実装されているものとして説明するが、人物情報収集システム１、顔認識エンジン２、アプリケーション処理部４が、通信ネットワークや通信ケーブルなどを介して接続された異なるコンピュータ装置内にそれぞれ実装され、通信ネットワークや通信ケーブルを介して人物情報収集システム１や顔認識エンジン２やアプリケーション処理部４がそれぞれ実装されたコンピュータ装置間で情報を送受信するようにしてもよい。
また、カメラ３は専用のケーブル等により顔認識エンジン２の実装されたコンピュータ装置と接続されているものとする。または、カメラ３が顔認識エンジン２や人物情報収集システム１の実装されたコンピュータ装置に内蔵されるようにしてもよい。カメラ３は所定の位置に固定等されており、室内などのある空間を撮影する。
【００１８】
そして、本実施形態において、顔認識エンジン２は、図１で示すように、カメラ３から入力したフレームデータを用いて顔画像の特徴量を算出し、その顔画像の特徴量に基づいて過去に入力したフレームデータ内の顔画像の特徴量と一致するかによって、個人認識を行う個人認識部２１と、人物情報収集システム１からの出力に基づいて情報を登録する認識ＤＢ登録部２２、当該認識ＤＢ登録部２２の処理等によって過去に入力したフレームデータ内の顔画像の特徴量等の情報を記憶する認識ＤＢ２３を備えている。
【００１９】
また、人物情報収集システム１は、顔画像情報取得部１１、比較部１２、ＤＢ管理部１３、一時記憶部１４を備えている。
ここで顔画像情報取得部１１は、新たに読み込んだフレームデータ内において顔認識エンジン２が検出した１つまたは複数の顔画像を示す新顔画像特定情報と、該フレームデータ内において顔認識エンジン２が検出した１つまたは複数の顔画像それぞれに対応する出現領域などの情報を、顔認識エンジン２より取得する処理部である。
また、比較部１２は、顔認識エンジン２が新たに読み込んだフレームデータの前に当該顔認識エンジン２が読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、新たに顔認識エンジン２が検出した新顔画像特定情報とその出現領域を示す新出現領域とをそれぞれ比較する処理を行う処理部である。
また、ＤＢ管理部１３は、比較部１２の結果に基づいて、顔認識エンジン２の認識ＤＢ２３で記憶する情報を更新する処理を行う処理部である。
また、一時記憶部１４は、顔画像情報取得部１１が処理した結果を一時的に記憶する記憶部である。
【００２０】
そして、人物情報収集システム１においては、顔画像情報取得部１１、比較部１２、ＤＢ管理部１３の処理によって、カメラ３が順次撮影した映像や画像から、当該映像や画像内に写る人物の人数を把握するための情報を認識ＤＢ２３に登録する。そして、人物情報収集システム１の処理により、当該映像や画像内に写る人物の人数を把握する精度を向上させる。
以下、顔認識エンジン２や人物情報収集システム１の処理の詳細について説明する。
【００２１】
図２は顔認識エンジンの処理フローを示す図である。
図２より、まずカメラ３は、撮影した画像のフレームデータを順次、顔認識エンジン２へ出力する。次に、顔認識エンジン２ではカメラ３からフレームデータを入力すると（ステップＳ１１）、個人認識部２１がフレームデータ内の顔画像を検出する（ステップＳ１２）。当該顔画像の検出処理は、公知の顔認識技術によって行う。そして、個人認識部２１は顔画像の特徴量を算出し、認識ＤＢ２３内に記録されている過去のフレームデータ内で検出された顔画像の特徴量と比較し（ステップＳ１３）、一致するものがあれば、当該特徴量に対応付けられて認識ＤＢ２３内に登録されている個人認識ＩＤと特徴量とを人物情報収集システム１へ出力する（ステップＳ１４）。なお、認識ＤＢ２３内に登録されている個人認識ＩＤは、過去にフレームデータ内で出現された顔画像の特徴量に対して割り当てられた識別情報である。または、個人認識部２１は、認識ＤＢ２３内に記録されている過去のフレームデータ内で検出された顔画像の特徴量と、新たなフレームデータ内で検出された顔画像の特徴量とを比較し、一致するものがなければ、個人認識ＩＤを空欄にして、特徴量を人物情報収集システム１へ出力する（ステップＳ１５）。
【００２２】
また、個人認識部２１は、顔画像を検出したフレームデータ内の出現領域を検出し、当該出現領域ＩＤを人物情報収集システム１へ出力する（ステップＳ１６）。当該出現領域ＩＤは、フレームデータ内の顔画像の出現領域を特定するための情報であり、フレームデータを複数分割（例えば、横ｎ分割、縦横ｎ分割など（ｎ＞０））したときの当該分割領域を特定する情報である。なお、本実施形態においては、顔画像のフレームデータ内の出現位置を出現領域ＩＤによって表現する場合の例を示しているが、出現領域ＩＤの代わりに、フレームデータを複数分割したときの当該分割領域の特定の座標（例えば、矩形の頂点座標）を用いて、顔画像のフレームデータ内の出現位置を表現するようにしてもよい。
個人認識部２１は、フレームデータ内で複数の顔画像を検出した場合には、それぞれの顔画像に対して特徴量を算出し、認識ＤＢ２３内に記録されているものと一致するかの処理と、個人認識ＩＤの読み取りと、出現領域の検出とを行い、それら処理結果の人物情報収集システム１への出力（個人認識ＩＤと、特徴量と、出現領域ＩＤの出力）の処理を同様に行う。また、個人認識部２１は、入力したフレームデータそれぞれに対して同様の処理を行う。
【００２３】
図３は第１の実施形態による一時記憶部と認識ＤＢの記憶するデータテーブルの情報を示す図である。
この図が示すように一時記憶部１４は、フレームデータ毎に、当該フレームデータで検出された顔画像の個人認識ＩＤと、特徴量と、その出現領域ＩＤとを対応付けて記憶している。図３のフレームデータにおいては、まず、１番目のフレームデータを例とすると、当該１番目のフレームデータにおいて、出現領域ＩＤ＝１で示される領域に「特徴量：ＴＡ０」で示される顔画像が、また、出現領域ＩＤ＝２で示される領域に「特徴量ＴＢ０」で示される顔画像が、２つ検出されたことを示している。
また図３で示すように２番目のフレームデータにおいては、出現領域ＩＤ＝１で示される領域に「特徴量：ＴＡ０」で示される顔画像が、また、出現領域ＩＤ＝２で示される領域に「特徴量ＴＢ１」で示される顔画像が、２つ検出されたことを示している。
また図３で示すように３番目のフレームデータにおいては、出現領域ＩＤ＝１で示される領域に「特徴量：ＴＡ０」で示される顔画像が、また、出現領域ＩＤ＝３で示される領域に「特徴量ＴＣ０」で示される顔画像が、２つ検出されたことを示している。
また図３で示すように４番目のフレームデータにおいては、出現領域ＩＤ＝１で示される領域に「特徴量：ＴＡ０」で示される顔画像が、また、出現領域ＩＤ＝４で示される領域に「特徴量ＴＢ０」で示される顔画像が、２つ検出されたことを示している。
また図３で示すように５番目のフレームデータにおいては、出現領域ＩＤ＝４で示される領域に「特徴量：ＴＣ０」で示される顔画像が１つ検出されたことを示している。
また顔認識エンジン２の認識ＤＢ２３では、個人認識ＩＤと当該ＩＤで示される顔画像の特徴量とを対応付けて記憶する。
【００２４】
上述の顔認識エンジンのステップＳ１１〜Ｓ１６処理によって個人認識ＩＤと、顔画像の特徴量と、出現領域ＩＤとが人物情報収集システムへ出力されると、次に、人物情報収集システム１においては、顔画像情報取得部１１が顔認識エンジン２から出力された情報を取得する。そして、比較部１２は、顔画像情報取得部１１が取得した情報の通知を受けると、一時記憶部１４のデータテーブルを読み込む。そして、顔画像情報取得部１１が顔認識エンジン２から取得した情報と、一時記憶部１４から読み込んだデータテーブルの情報を解析する。そして、比較部１２は、顔認識エンジン２が新たに読み込んだフレームデータの１つ前に当該顔認識エンジン２が読み込んだ前フレームデータ内に出現する顔画像を示す「前顔画像特徴量（前顔画像特定情報）」とその出現領域を示す「前出現領域ＩＤ」とを特定する。また比較部１２は、新たに顔認識エンジン２が検出した「新顔画像特徴量（新顔画像特定情報）」とその出現領域を示す「新出現領域ＩＤ」とを特定する。そして比較部１２は、特定した「前顔画像特徴量（前顔画像特定情報）」および「前出現領域ＩＤ」と、「新顔画像特徴量（新顔画像特定情報）」および「新出現領域ＩＤ」とを、それぞれ比較する。また、比較部１２は新顔画像特徴量および新出現領域ＩＤと、認識ＤＢ２３に記録されている顔画像特徴量や出現領域ＩＤとを比較する。そして、ＤＢ管理部１３は比較部１２の比較結果に基づいて、図３で示すように、認識ＤＢ２３に情報を登録する処理や、既に登録される情報を更新、削除する処理を行う。
【００２５】
このＤＢ管理部１３の処理において、より具体的には、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが異なり、前フレームデータより前に過去に顔認識エンジン２が読み込んだフレームデータ内の顔画像について認識ＤＢ２３に登録されている全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定された場合には、ＤＢ管理部１３は、新たな人物の顔画像であるとして、個人認識ＩＤを新たに発行して当該個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する指示を顔認識エンジン２へ出力する＜ＤＢ管理処理（１ａ）＞。
当該ＤＢ管理処理（１ａ）は、図３で示すように、１番目のフレームデータ内の出現領域ＩＤ＝１および出現領域ＩＤ＝２のそれぞれに出現する顔画像、および３番目のフレームデータ内の出現領域ＩＤ＝３に出現する顔画像について行う（１番目のフレームデータ内の前に顔認識エンジン２が読み込んだフレームデータはないため、当該フレームデータについては、新出現領域ＩＤと前出現領域ＩＤとが異なり、前フレームデータより前に過去に顔認識エンジン２が読み込んだフレームデータ内の顔画像について認識ＤＢ２３に登録されている全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定する）。
【００２６】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定された場合には、ＤＢ管理部１３は、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像の特徴量であるとして、前顔画像特徴量が示す顔画像の個人認識ＩＤに新顔画像特徴量をさらに対応付けて認識ＤＢ２３に登録する指示を顔認識エンジン２へ出力する＜ＤＢ管理処理（２ａ）＞。
当該ＤＢ管理処理（２ａ）の処理は、図３で示すように、２番目のフレームデータ内の出現領域ＩＤ＝２に出現する顔画像について行う。
【００２７】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが異なり、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかに新顔画像特徴量が一致する場合には、ＤＢ管理部１３は、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、認識ＤＢ２３を更新する処理を停止する＜ＤＢ管理処理（３ａ）＞。
当該ＤＢ管理処理（３ａ）の処理は、図３で示すように、４番目のフレームデータ内の出現領域４に出現する顔画像について行う。
【００２８】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている前顔画像特徴量と、新顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、認識ＤＢ２３を更新する処理を停止する＜ＤＢ管理処理（４ａ）＞。
当該ＤＢ管理処理（４ａ）の処理は、図３で示すように２番目,３番目，４番目のそれぞれのフレームデータ内の出現領域１に出現する顔画像について行う。
【００２９】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている前顔画像特徴量以外の他の顔画像特徴量のうちのいずれかと、新顔画特徴量とが一致する場合には、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像であるとして、前顔画像特徴量が示す顔画像の個人認識ＩＤに新顔画像特徴量を対応付けて認識ＤＢ２３に登録すると共に、新顔画像特徴量の顔画像を特定する個人認識ＩＤにより特定される顔画像特徴量の全てを、前顔画像特徴量で示される顔画像に対して算出した特徴量として、当該前顔画像特徴量に対応付けて認識ＤＢ２３に登録し、かつ、新顔画像特徴量で示される顔画像を特定する個人認識ＩＤに対応付けられて登録されている過去のデータを認識ＤＢ２３から削除する処理を行う＜ＤＢ管理処理（５ａ）＞。
つまり、この処理においては、前顔画像特徴量で示される顔画像と、新顔画像特徴量で示される顔画像とが連続する２つのフレームデータ内の同じ領域に出現するため、同一人物であると判定し、また、新顔画像特徴量が示す顔画像の個人認識ＩＤに基づいて、過去に当該個人認識ＩＤを付与した顔画像の情報を認識ＤＢ２３から削除して、それら過去に当該個人認識ＩＤを付与した顔画像の全ての特徴量が、新顔画像特徴量や前顔画像特徴量が示す顔画像と同一の顔画像を示すものであるとして、認識ＤＢ２３を更新している。
当該ＤＢ管理処理（５ａ）の処理は、図３で示すように５番目のフレームデータ内の出現領域４に出現する顔画像において行う。
【００３０】
なお、上述の比較部１２の処理においては、新フレームデータ内の顔画像と、前フレームデータ内の顔画像のフレームデータ内の位置が全く一致する場合だけでなく、各顔画像の位置が多少ずれていても、ずれが一定の範囲内であれば新出現領域ＩＤが示す出現領域と、前出現領域ＩＤが示す出現領域とが一致するとしている。なお、本実施形態においては、新出現領域ＩＤと前出現領域ＩＤが一致するか否かによって、顔画像がフレームデータ内において同一とみなす領域の範囲内にあるかを判定している。しかしながら、顔画像のフレームデータ内における出現範囲が、多少ずれていても、ずれが一定の範囲内であれば、異なるフレームデータ内の顔画像が同一とみなす領域の範囲内にある、と判定できるような処理であれば、出現領域ＩＤを用いなくとも、どのような方法を用いるようにしてもよい。
【００３１】
図４は第１の実施形態人物情報収集システムの処理フローを示す第１の図である。
図５は第１の実施形態人物情報収集システムの処理フローを示す第２の図である。
以上、人物情報収集システムの処理について説明したが、次に、当該人物情報収集システムの処理のフローの詳細について順を追って説明する。
まず、人物情報収集システム１の顔画像情報取得部１１が、１フレーム内に出現する顔画像を示す個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤからなる１フレーム分のデータを取得する（ステップＳ１０１）。そして、比較部１２が、顔画像情報取得部１１より個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤの組み合わせを１つまたは複数（１フレーム内に複数の顔画像が出現する場合には複数）入力し、当該新出現領域ＩＤが一時記憶部１４から読み取ったデータテーブル内の前出現領域ＩＤと一致するかを判定する（ステップＳ１０２）。そして、一致しない場合（Ｎｏ）には、比較部１２は、新顔画像特徴量と、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかとが、一致するかを判定する（ステップＳ１０３）。そして、ステップＳ１０３において一致しない場合（Ｎｏ）には、ＤＢ管理部１３は、新顔画像特徴量で示される顔画像が新たな人物の顔画像であるとして、個人認識ＩＤを新たに生成し（ステップＳ１０４）、当該個人認識ＩＤと新顔画像特徴量とを対応付けて登録するよう要求する登録要求情報を顔認識エンジン２へ出力する（ステップＳ１０５）。顔認識エンジン２の認識ＤＢ登録部２２は、登録要求情報を受信すると、当該登録要求情報を解析して、当該登録要求情報に含まれる個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する。
【００３２】
また、ステップＳ１０２の処理において新出現領域ＩＤと前出現領域ＩＤとが一致する場合（Ｙｅｓ）には、比較部１２は、一致しない場合と同様に新顔画像特徴量と、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかとが、一致するかを判定する（ステップＳ１０６）。そして、ステップＳ１０６の処理において一致しないと判定した場合（Ｎｏ）、つまり、新顔画像特徴量と同じ特徴量が未登録の場合には、ＤＢ管理部１３は、新顔画像特徴量で示される顔画像の出現領域と同一の領域において、前フレームデータ内で出現した顔画像の個人認識ＩＤを読み取り（ステップＳ１０７）、当該個人認識ＩＤと、新顔画像特徴量とを対応付けて登録するよう要求する登録要求情報を顔認識エンジン２へ出力する（ステップＳ１０８）。つまり、この処理は、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像の特徴量であるとして、前顔画像特徴量と前出現領域ＩＤとに新顔画像特徴量をさらに対応付けて認識ＤＢ２３に登録する指示を行う処理である。顔認識エンジン２の認識ＤＢ登録部２２は、登録要求情報を受信すると、当該登録要求情報を解析して、当該登録要求情報に含まれる個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する。
【００３３】
そして、ステップＳ１０３の処理において、新顔画像特徴量と認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかとが一致すると判定した場合、また、ステップＳ１０５の処理の終了後、また、ステップＳ１０８の処理の終了後、比較部１２は、顔画像情報取得部１１から取得した１フレーム分のデータ内の全ての顔画像の情報について処理を終了したかを判定する（ステップＳ１０９）。そして、ステップＳ１０９の処理において１フレーム分のデータ内の全ての顔画像の情報について処理を終了したと判定した場合には、比較部１２は、顔画像情報取得部から取得した１フレーム分のデータ（１つまたは複数の個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤの組み合わせ）を、図３で示すように一時記憶部１４のデータテーブルへ登録する（ステップＳ１１０）。
【００３４】
また図５より、ステップＳ１０６の処理において、新顔画像特徴量と認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかとが一致すると判定した場合（Ｙｅｓ）には、次に、比較部１２は、新顔画像特徴量で示される顔画像の出現領域と同一の領域において、前フレームデータ内で出現した顔画像の個人認識ＩＤを読み取り（ステップＳ１１１）、当該個人認識ＩＤに対応付けられて認識ＤＢ２３に登録されている前顔画像特徴量を読み取る（ステップＳ１１２）。そして比較部１２は、新顔画像特徴量と前顔画像特徴量とが一致するかを判定する（ステップＳ１１３）。そして、新顔画像特徴量と前顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、ステップＳ１０９の処理へ移行する。
【００３５】
また、ステップＳ１１３において、新顔画像特徴量と前顔画像特徴量とが一致しない場合、ステップＳ１０６の処理において前顔画像特徴量以外の他の顔画像特徴量と一致していると判定したにもかかわらず、連続する２つのフレームデータ内の同一領域に顔画像が出現しているため、ＤＢ管理部１３は、それら新顔画像特徴量と前顔画像特徴量とが同一人物の顔画像を示すと判定する。そして、ＤＢ管理部１３は、新顔画像特徴量が示す顔画像の個人認識ＩＤを認識ＤＢ２３から読み取り（ステップＳ１１４）、当該個人認識ＩＤに対応付けられて認識ＤＢに登録されている全ての顔画像特徴量を認識ＤＢ２３から取得する（ステップＳ１１５）。そして、ＤＢ管理部１３は、それら取得した顔画像特徴量と、前顔画像特徴量が示す顔画像の個人認識ＩＤとを対応付けて登録するよう要求する登録要求情報を顔認識エンジン２へ出力する（ステップＳ１１６）。顔認識エンジン２の認識ＤＢ登録部２２は、登録要求情報を受信すると、当該登録要求情報を解析して、当該登録要求情報に含まれる前顔画像特徴量が示す顔画像の個人認識ＩＤと、新顔画像特徴量が示す顔画像の個人認識ＩＤに関連して過去に認識ＤＢ２３に登録された顔画像特徴量とを対応付けて認識ＤＢ２３に登録する。また、ＤＢ管理部１３は、新顔画像特徴量が示す顔画像の個人認識ＩＤに対応付けられて認識ＤＢ２３に過去に登録されたレコードを削除するよう要求する削除要求情報を顔認識エンジン２へ出力する（ステップＳ１１７）。顔認識エンジン２の認識ＤＢ登録部２２は、削除要求情報を受信すると、当該削除要求情報を解析して、当該削除要求情報に含まれる個人認識ＩＤに対応付けられて認識ＤＢ２３に過去に登録されたレコードを削除する。この後、ステップＳ１０９の処理に移行する。
【００３６】
以上の処理によれば、連続する２つのフレームデータ内の同一の出現領域に出現した顔画像については、顔画像特徴量が異なっていても同一の人物の顔画像について検出したものであるとして認識ＤＢ２３内の情報を更新し、また、連続する２つのフレームデータ内の同一の出現領域に出現した顔画像のうちの後のフレームデータ内の顔画像の特徴量と同一の過去に認識ＤＢに登録された顔画像についても同一の人物の顔画像について検出したものであるとして認識ＤＢ内の情報を更新している。これにより、認識ＤＢ２３に登録される情報が、同一人物の顔画像として登録されるべき情報が別人物の顔画像として登録されてしまう可能性を軽減し、これにより、連続して入力される複数のフレームデータ内に出現する顔画像から、当該出現した人物を特定する処理の精度を向上させるとともに、当該出現した人物の人数をより正確に把握することのできる認識ＤＢ２３を作成することができる。また、これにより認識ＤＢ２３に登録されるレコード数を削減することができる。
【００３７】
＜第２の実施形態＞
図６は第２の実施形態による人物情報自動収集システムの構成を示すブロック図である。
図６は、図１で示した人物情報収集システム１において、さらに人物特定ＤＢ１５を備えた場合の例を示している。人物特定ＤＢ１５は、連続する複数のフレームデータ内に出現する人物について整合を取った情報を、人物情報収集システム１側でのみ保持するために利用されるデータベースである。
【００３８】
図７は第２の実施形態による一時記憶部、認識ＤＢ、人物特定ＤＢの記憶するデータテーブルの情報を示す図である。
この図において、一時記憶部１４の記憶状態を示す例は、図３で示したものと同様である。一方、本実施形態において、認識ＤＢ２３と人物特定ＤＢ１５の記憶状態については、図７で示すように、図３とは異なるものとなる。つまり、第２の実施形態による人物情報収集システム１においては、ＤＢ管理部１３が、連続する複数のフレームデータ内に出現する人物について整合を取って人物特定ＤＢ１５内の情報を更新し、またＤＢ管理部１３は、認識ＤＢ２３については従来と同様の更新を行う。
【００３９】
このＤＢ管理部１３の処理は、より具体的には、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが異なり、前フレームデータより前に過去に顔認識エンジン２が読み込んだフレームデータ内の顔画像について認識ＤＢ２３に登録されている全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定された場合には、ＤＢ管理部１３は、新たな人物の顔画像であるとして、個人認識ＩＤを新たに発行して当該個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する指示を顔認識エンジン２へ出力するとともに、生成した個人認識ＩＤに対応する人物ＩＤを新たに生成して、個人認識ＩＤと人物ＩＤとを対応付けて人物特定ＤＢ１５へ登録する処理を行う＜ＤＢ管理処理（１ｂ）＞。
当該ＤＢ管理処理（１ｂ）は、第１の実施形態と同様に、１番目のフレームデータ内の出現領域ＩＤ＝１および出現領域ＩＤ＝２のそれぞれに出現する顔画像、および３番目のフレームデータ内の出現領域ＩＤ＝３に出現する顔画像について行う（１番目のフレームデータ内の前に顔認識エンジン２が読み込んだフレームデータはないため、当該フレームデータについては、新出現領域ＩＤと前出現領域ＩＤとが異なり、前フレームデータより前に過去に顔認識エンジン２が読み込んだフレームデータ内の顔画像について一時記憶部１４に登録されている全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定する）。
【００４０】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れにも新顔画像特徴量が一致しないと判定された場合には、ＤＢ管理部１３は、個人認識ＩＤを新たに発行して当該個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する指示を顔認識エンジン２へ出力するとともに、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像の特徴量であるとして、新たに発行した個人認識ＩＤと前顔画像特徴量が示す顔画像に対して付与した人物ＩＤとを対応付けて人物特定ＤＢ１５へ登録する処理を行う。＜ＤＢ管理処理（２ｂ）＞。
当該ＤＢ管理処理（２ｂ）は、図７で示すように、２番目のフレームデータ内の出現領域２に出現する顔画像について行う。
【００４１】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている他の全ての顔画像特徴量の何れかに新顔画像特徴量が一致する場合には、ＤＢ管理部１３は、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、認識ＤＢ２３を更新する処理を停止する＜ＤＢ管理処理（３ｂ）＞。
当該ＤＢ管理処理（３ｂ）は、図７で示すように、４番目のフレームデータ内の出現領域４に出現する顔画像について行う。
【００４２】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている前顔画像特徴量と、新顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、認識ＤＢ２３を更新する処理を停止する＜ＤＢ管理処理（４ｂ）＞。
当該ＤＢ管理処理（４ｂ）は、図７で示すように２番目,３番目，４番目のそれぞれのフレームデータ内の出現領域１に出現する顔画像について行う。
【００４３】
またＤＢ管理部１３は、比較部１２において、新出現領域ＩＤと前出現領域ＩＤとが同じであり、認識ＤＢ２３に登録されている前顔画像特徴量以外の他の顔画像特徴量のうちのいずれかと、新顔画特徴量とが一致する場合には、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像であるとして、新顔画像特徴量が示す顔画像の個人認識ＩＤに、前顔画像特徴量が示す顔画像の人物ＩＤを対応付けて人物特定ＤＢ１５へ登録する処理を行う。＜ＤＢ管理処理（５ｂ）＞。このとき、ＤＢ管理部１３は認識ＤＢ２３を更新する処理については停止する。
つまり、この処理においては、前顔画像特徴量で示される顔画像と、新顔画像特徴量で示される顔画像とが連続する２つのフレームデータ内の同じ領域に出現するため、同一人物であると判定し、人物特定ＤＢ１５においてそのような整合を取る更新を行っている。
当該ＤＢ管理処理（５ｂ）の処理は、図７で示すように５番目のフレームデータ内の出現領域４に出現する顔画像において行う。
【００４４】
なお、上述の比較部１２の処理においては、第１の実施形態と同様に、新フレームデータ内の顔画像と、前フレームデータ内の顔画像のフレームデータ内の位置が全く一致する場合だけでなく、各顔画像の位置が多少ずれていても、ある範囲を示す出現領域が同じであれば新出現領域ＩＤが示す出現領域と、前出現領域ＩＤが示す出現領域とが一致するとしている。
【００４５】
図８は第２の実施形態人物情報収集システムの処理フローを示す第１の図である。
図９は第２の実施形態人物情報収集システムの処理フローを示す第２の図である。
図１０は第２の実施形態人物情報収集システムの処理フローを示す第３の図である。
次に、当該人物情報収集システムの第２の実施形態による処理のフローの詳細について順を追って説明する。
まず、人物情報収集システム１の顔画像情報取得部１１が、１フレーム内に出現する顔画像を示す個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤからなる１フレーム分のデータを取得する（ステップＳ２０１）。そして、比較部１２が、顔画像情報取得部１１より個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤの組み合わせを１つまたは複数（１フレーム内に複数の顔画像が出現する場合には複数）入力し、それら情報のうちの１つの顔画像についての新顔画像特徴量が、認識ＤＢ２３内の何れかの顔画像特徴量と一致するかを判定する（ステップＳ２０２）。そして、一致しない場合には、ＤＢ管理部１３は、当該顔画像特徴量に対して個人認識ＩＤを生成して付与する（ステップＳ２０３）。一方、ステップＳ２０２において一致しない場合には、顔画像情報取得部１１から得た個人認識ＩＤを当該顔画像のＩＤとして取得する（ステップＳ２０４）。そして、ＤＢ管理部１３は、フレーム内の全ての顔画像について処理をしたかを判定する（ステップＳ２０５）。全ての顔画像について処理をしていない場合にはステップＳ２０２に戻る。
【００４６】
次に、図９より、ステップＳ２０５において、フレーム内の全ての顔画像について処理したと判定した場合には、比較部１２が、１フレーム内において１つの顔画像を選択し、当該顔画像の新出現領域ＩＤが一時記憶部１４から読み取ったデータテーブル内の前出現領域ＩＤと一致するかを判定する（ステップＳ２０６）。つまり、一時記憶部１４内に登録されているかを判定する。そして、ステップＳ２０６において一致しない場合（Ｎｏ）には、比較部１２は、新顔画像特徴量が示す顔画像の個人認識ＩＤと、認識ＤＢ２３内に登録されている他の全ての個人認識ＩＤの何れかとが、一致するかを判定する（ステップＳ２０７）。そして、ステップＳ２０７において一致しない場合、つまり未登録（Ｙｅｓ）の場合には、ＤＢ管理部１３は、新顔画像特徴量と、当該新顔画像特徴量で示される顔画像の個人認識ＩＤとを対応付けて登録するよう要求する登録要求情報を顔認識エンジン２へ出力する（ステップＳ２０８）。顔認識エンジン２の認識ＤＢ登録部２２は、登録要求情報を受信すると、当該登録要求情報を解析して、当該登録要求情報に含まれる個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する。さらに、ＤＢ管理部１３は、当該顔画像の個人認識ＩＤに対して人物ＩＤを生成して付与する（ステップＳ２０９）。そしてＤＢ管理部１３は、それら個人認識ＩＤと人物ＩＤとを対応付けて人物特定ＤＢ１５へ登録する（ステップＳ２１０）。
【００４７】
また、ステップＳ２０６の処理において新出現領域ＩＤと前出現領域ＩＤとが一致する場合（Ｙｅｓ）には、比較部１２は、一致しない場合と同様に新顔画像特徴量が示す顔画像の個人認識ＩＤと、認識ＤＢ２３内に登録されている他の全ての個人認識ＩＤの何れかとが、一致するかを判定する（ステップＳ２１１）。そして、ステップＳ２１１の処理において一致しないと判定した場合、つまり、個人認識ＩＤが認識ＤＢ２３内に未登録の場合（Ｙｅｓ）には、ＤＢ管理部１３は、ステップＳ２０９で付与した個人認識ＩＤと、ステップＳ２０６で選択した顔画像の特徴量を示す新顔画像特徴量とを対応付けて登録するよう要求する登録要求情報を顔認識エンジン２へ出力する（ステップＳ２１２）。顔認識エンジン２の認識ＤＢ登録部２２は、登録要求情報を受信すると、当該登録要求情報を解析して、当該登録要求情報に含まれる個人認識ＩＤと新顔画像特徴量とを対応付けて認識ＤＢ２３に登録する。
【００４８】
またＤＢ管理部１３は、ステップＳ２０６で選択した顔画像の出現領域を示す新出現領域ＩＤと一致する前出現領域ＩＤに出現した顔画像の個人認識ＩＤを一時記憶部１４から読み取る（ステップＳ２１３）。そして、ＤＢ管理部１３は、当該読み取った個人認識ＩＤに対応する人物ＩＤを人物特定ＤＢ１５から読み取り（ステップＳ２１４）、ステップＳ２０２で判定した新顔画像特徴量が示す顔画像の個人認識ＩＤにステップＳ２１４で読み取った人物ＩＤを対応付けて人物特定ＤＢ１５へ登録する（ステップＳ２１５）。つまり、この処理は、前顔画像特徴量と新顔画像特徴量とが同一人物の顔画像であるとして、人物特定ＤＢ１５を更新する処理である。
【００４９】
そして、ステップＳ２０７の処理において、新顔画像特徴量が示す顔画像の個人認識ＩＤと、認識ＤＢ２３内に登録されている他の全ての個人認識ＩＤの何れかとが、一致するか場合、つまり未登録（Ｎｏ）の場合、および、ステップＳ２１０において個人認識ＩＤと人物ＩＤとを対応付けて人物特定ＤＢ１５へ登録した場合、および、ステップＳ２１５において個人認識ＩＤと人物ＩＤを対応付けて人物特定ＤＢ１５へ登録した場合、次に、フレーム内の全ての顔画像について処理をしたかを判定し（ステップＳ２１６）、処理済みでない場合にはステップＳ２０６に戻る。また処理済みである場合には、比較部１２は、顔画像情報取得部から取得した１フレーム分のデータ（１つまたは複数の個人認識ＩＤと、新顔画像特徴量と、新出現領域ＩＤの組み合わせ）を、図７で示すように一時記憶部１４のデータテーブルへ登録する（ステップＳ２１７）。また処理を終了しない場合にはステップＳ２０１に戻る。
【００５０】
また図１０より、ステップＳ２１１において、新顔画像特徴量が示す顔画像の個人認識ＩＤと、認識ＤＢ２３内に登録されている他の全ての個人認識ＩＤの何れかとが、一致すると判定した場合、つまり未登録でない場合には、次に、ステップＳ２０６で選択した顔画像の出現領域を示す新出現領域ＩＤと一致する前出現領域ＩＤに出現した顔画像の個人認識ＩＤを一時記憶部１４から読み取る（ステップＳ２１８）。そして、ＤＢ管理部１３は、当該読み取った個人認識ＩＤに対応する顔画像を示す前顔画像特徴量を認識ＤＢ２３から読み取り（ステップＳ２１９）、新顔画像特徴量と前顔画像特徴量とが一致するかを判定する（ステップＳ２２０）。そして、新顔画像特徴量と前顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、ステップＳ２１５の処理へ移行する。
【００５１】
また、ステップＳ２２０において、新顔画像特徴量と前顔画像特徴量とが一致しない場合、連続する２つのフレームデータ内の同一領域に顔画像が出現しているため、ＤＢ管理部１３は、それら新顔画像特徴量と前顔画像特徴量とが同一人物の顔画像を示すと判定する。そして、ＤＢ管理部１３は、新顔画像特徴量で示される顔画像の新出現領域ＩＤと一致する前出現領域ＩＤの出現領域に出現する前フレームデータ内の顔画像の個人認識ＩＤに対応する人物ＩＤを人物特定ＤＢ１５から読み取り（ステップＳ２２１）、当該読み取った人物ＩＤを、新顔画像特徴量の個人認識ＩＤに対応付けて人物特定ＤＢ１５に登録する（ステップＳ２２２）。この後、ステップＳ２１６の処理に移行する。またステップＳ２２０において、新顔画像特徴量と前顔画像特徴量とが一致した場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、ステップＳ２１６の処理へ移行する。
【００５２】
以上の処理によれば、連続する２つのフレームデータ内の同一の出現領域に出現した顔画像については、顔画像特徴量が異なっていても同一の人物の顔画像について検出したものであるとして人物特定ＤＢ１５内の情報を更新し、また、連続する２つのフレームデータ内の同一の出現領域に出現した顔画像のうちの後のフレームデータ内の顔画像の特徴量と同一の過去に認識ＤＢ２３に登録された顔画像についても同一の人物の顔画像について検出した顔であるとして人物特定ＤＢ１５内の情報を更新している。これにより、人物特定ＤＢ１５に登録される情報が、同一人物の顔画像として登録されるべき情報が別人物の顔画像として登録されてしまう可能性を軽減し、これにより、連続して入力される複数のフレームデータ内に出現する顔画像から、当該出現した人物を特定する処理の精度を向上させるとともに、当該出現した人物の人数を正確に把握することのできる人物特定ＤＢ１５を作成することができる。また、これにより人物特定ＤＢ１５に登録されるレコード数を削減することができる。
【００５３】
＜第３の実施形態＞
次に、上記第１の実施形態および第２の実施形態において、顔認識エンジン２が新たに読み込んだフレームデータの１つ前に当該顔認識エンジン２が読み込んだ前フレームデータ内の顔画像を示す「前顔画像特徴量（前顔画像特定情報）」とその出現領域を示す「前出現領域ＩＤ」と、新たに顔認識エンジン２が検出した「新顔画像特徴量（新顔画像特定情報）」とその出現領域を示す「新出現領域ＩＤ」とのそれぞれの比較によって、比較部１２が、新出現領域ＩＤと前出現領域ＩＤとが同じであり、新顔画像特徴量と前顔画像特徴量とが、過去に同一のフレームデータ内で別々の顔として出現していたと判定した場合の処理について説明する。
このような場合には、過去には、同一フレームデータ内で別々の顔として出現していたため、別人として登録されているにもかかわらず、新たに読み込んだフレームデータと、その直前のフレームデータとでは、同一の出現領域に出現しているため、別人なのか、同一人物なのかの判定をしなければならない。
ここで、このように、新出現領域ＩＤと前出現領域ＩＤとが同じであり、新顔画像特徴量と前顔画像特徴量とが、過去に同一のフレームデータ内で別々の顔として出現していた場合には、過去に別々の顔として出現していたことを重視し、新顔画像特徴量が示す顔画像と前顔画像特徴量が示す顔画像は、同一人物ではないとして登録する処理を行う。
【００５４】
図１１は第３の実施形態による第１の実施形態に対応した一時記憶部と認識ＤＢの記憶するデータテーブルの情報を示す図である。
この図において、一時記憶部１４の記憶状態を示す例は、図３で示したものと同様である。一方、本実施形態において、認識ＤＢ２３については、図１１で示すように、図３とは異なるものとなる。つまり、第３の実施形態においては、人物情報収集システム１は、フレームデータ４の出現領域４に出現した顔画像と、フレームデータ５の出現領域４に出現した顔画像とを、同一人物の顔画像として登録せずに、フレームデータ１において別人物の顔画像として登録した情報をそのまま残すことにより、別人物のデータとして管理する処理を行う。
【００５５】
図１２は第３の実施形態による処理を、第１の実施形態に適用した場合の処理フローを示す図である。
この図が示すように、第３の実施形態による処理を、第１の実施形態に適用した場合には、ステップＳ１１３の処理までは、第１の実施形態の処理と同様である。つまり、ステップＳ１１３において、比較部１２が新顔画像特徴量と前顔画像特徴量とが一致するかを判定し、新顔画像特徴量と前顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、ステップＳ１０９の処理へ移行する。
【００５６】
また、ステップＳ１１３において、新顔画像特徴量と前顔画像特徴量とが一致しない場合（Ｎｏ）、比較部１２は、新顔画像特徴量と前顔画像特徴量の組み合わせと、認識ＤＢ２３に登録されている過去のフレームデータ内の２つの顔画像特徴量との組み合わせとを比較し、当該過去のフレームデータ内の２つの顔画像特徴量の組み合わせと、新顔画像特徴量と前顔画像特徴量の組み合わせとが一致するかを判定する（ステップＳ１１８）。そしてこの判定において、一致する場合には、新顔画像特徴量と前顔画像特徴量は別々の人物の顔画像を示す顔画像特徴量であると判定し、認識ＤＢ２３の更新を停止してステップＳ１０９へ処理を移行する。また、ステップＳ１１８の判定において、一致しない場合には、第１の実施形態におけるステップＳ１１４の処理へ移行する。
【００５７】
図１３は第３の実施形態による処理を、第２の実施形態に適用した場合の処理フローを示す図である。
この図が示すように、第３の実施形態による処理を、第２の実施形態に適用した場合には、ステップＳ２２０の処理までは、第２の実施形態の処理と同様である。つまり、ステップＳ２２０において、比較部１２が新顔画像特徴量と前顔画像特徴量とが一致するかを判定し、新顔画像特徴量と前顔画像特徴量とが一致する場合には、前顔画像特徴量と新顔画特徴量とが同一人物の顔画像であるため、新顔画像特徴量で示される人物の顔画像が既に登録されていると判断し、ステップＳ２１５の処理へ移行する。
【００５８】
また、ステップＳ２２０において、新顔画像特徴量と前顔画像特徴量とが一致しない場合、比較部１２は、新顔画像特徴量と前顔画像特徴量の組み合わせと、認識ＤＢ２３に登録されている過去のフレームデータ内の２つの顔画像特徴量との組み合わせとを比較し、当該過去のフレームデータ内の２つの顔画像特徴量の組み合わせと、新顔画像特徴量と前顔画像特徴量の組み合わせとが一致するかを判定する（ステップＳ２２３）。そしてこの判定において、一致する場合には、新顔画像特徴量と前顔画像特徴量は別々の人物の顔画像を示す顔画像特徴量であると判定し、認識ＤＢ２３の更新を停止してステップＳ２１５へ処理を移行する。また、ステップＳ２２３の判定において、一致しない場合には、第２の実施形態におけるステップＳ２２１の処理へ移行する。
【００５９】
以上の第３の実施形態による処理について説明したが、当該処理によれば、新出現領域ＩＤと前出現領域ＩＤとが同じであり、新顔画像特徴量と前顔画像特徴量とが、過去に同一のフレームデータ内で別々の顔として出現していた場合には、過去に別々の顔として出現していたことを重視し、新顔画像特徴量が示す顔画像と前顔画像特徴量が示す顔画像は、同一人物ではないとして登録する処理を行う。これにより、例えば、双子などのように顔の特徴が酷似している場合において、過去に同一フレームデータ内に別々の顔画像として写されている場合には、後日、異なる顔画像特徴量が連続する前後のフレームデータ内の同一出現領域に出現したとしても、それらを別々の人物として登録することができる。
【００６０】
なお上述の処理においては、新たなフレームデータ内の顔画像と、前のフレームデータ内の顔画像との出現位置が完全一致しなくても、所定の領域分割によって特定されたいずれか出現領域が一致しているかどうかによって判定しているが、特徴量に関しても、完全一致でなくともある程度の幅を持たせて近似値であれば、特徴量が一致していると判定するようにしてもよい。
【００６１】
上述の顔認識エンジンや人物情報収集システムを備えた装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００６２】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【産業上の利用可能性】
【００６３】
上述の人物情報収集システムの処理により、例えば、テレビの前に集まる家族の画像を撮影して、当該家族に何人の人物いるのかを判定し、その人数によって詳細なテレビの視聴率を算出するなどの処理に利用することができる。またその他、特定の空間を撮影した際に画像に出現した人物の人数の把握を精度良く行うことが可能となる。
【符号の説明】
【００６４】
１・・・人物情報収集システム
２・・・顔認識エンジン
３・・・カメラ
４・・・アプリケーション処理部
１１・・・顔画像情報取得部
１２・・・比較部
１３・・・ＤＢ管理部
１４・・・一時記憶部
１５・・・人物特定ＤＢ
２１・・・個人認識部
２２・・・認識ＤＢ登録部
２３・・・認識ＤＢ
【特許請求の範囲】
【請求項１】
新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得部と、
前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較部と、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除するデータベース管理部と、
を備えることを特徴とする人物情報自動収集システム。
【請求項２】
新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得部と、
前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較部と、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換えるデータベース管理部と、
を備えることを特徴とする人物情報自動収集システム。
【請求項３】
前記データベース管理部は、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記新顔画像特定情報と前記前顔画像特定情報とが一致せず、さらに、前記前フレームデータより更に前に読み込んだ過去の同一のフレームデータ内において検出した別の顔画像を示す情報として、前記新顔画像特定情報と前記前顔画像特定情報とが前記認識データベースに登録されていると判定した場合には、前記新顔画像特定情報についての前記認識データベースへの登録を停止する
ことを特徴とする請求項１に記載の人物情報自動収集システム。
【請求項４】
前記データベース管理部は、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記新顔画像特定情報と前記前顔画像特定情報とが一致せず、さらに、前記前フレームデータより更に前に読み込んだ過去の同一のフレームデータ内において検出した別の顔画像を示す情報として、前記新顔画像特定情報と前記前顔画像特定情報とが前記認識データベースに登録されていると判定した場合には、前記新顔画像特定情報についての前記人物特定データベースへの登録を停止する
ことを特徴とする請求項２に記載の人物情報自動収集システム。
【請求項５】
人物情報自動収集システムにおける人物情報自動収集方法であって、
顔画像情報取得部が、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得し、
比較部が、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較し、
データベース管理部が、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除する
ことを特徴とする人物情報自動収集方法。
【請求項６】
人物情報自動収集システムにおける人物情報自動収集方法であって、
顔画像情報取得部が、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得し、
比較部が、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較し、
データベース管理部が、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換える
ことを特徴とする人物情報自動収集方法。
【請求項７】
人物情報自動収集システムのコンピュータを、
新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得手段、
前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較手段、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除するデータベース管理手段、
として機能させることを特徴とするプログラム。
【請求項８】
人物情報自動収集システムのコンピュータを、
新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得手段、
前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較手段、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換えるデータベース管理手段、
として機能させることを特徴とするプログラム。
【請求項１】
新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得部と、
前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較部と、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除するデータベース管理部と、
を備えることを特徴とする人物情報自動収集システム。
【請求項２】
新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得部と、
前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較部と、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換えるデータベース管理部と、
を備えることを特徴とする人物情報自動収集システム。
【請求項３】
前記データベース管理部は、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記新顔画像特定情報と前記前顔画像特定情報とが一致せず、さらに、前記前フレームデータより更に前に読み込んだ過去の同一のフレームデータ内において検出した別の顔画像を示す情報として、前記新顔画像特定情報と前記前顔画像特定情報とが前記認識データベースに登録されていると判定した場合には、前記新顔画像特定情報についての前記認識データベースへの登録を停止する
ことを特徴とする請求項１に記載の人物情報自動収集システム。
【請求項４】
前記データベース管理部は、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記新顔画像特定情報と前記前顔画像特定情報とが一致せず、さらに、前記前フレームデータより更に前に読み込んだ過去の同一のフレームデータ内において検出した別の顔画像を示す情報として、前記新顔画像特定情報と前記前顔画像特定情報とが前記認識データベースに登録されていると判定した場合には、前記新顔画像特定情報についての前記人物特定データベースへの登録を停止する
ことを特徴とする請求項２に記載の人物情報自動収集システム。
【請求項５】
人物情報自動収集システムにおける人物情報自動収集方法であって、
顔画像情報取得部が、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得し、
比較部が、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較し、
データベース管理部が、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除する
ことを特徴とする人物情報自動収集方法。
【請求項６】
人物情報自動収集システムにおける人物情報自動収集方法であって、
顔画像情報取得部が、新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得し、
比較部が、前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較し、
データベース管理部が、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換える
ことを特徴とする人物情報自動収集方法。
【請求項７】
人物情報自動収集システムのコンピュータを、
新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得手段、
前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較手段、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録すると共に、前記新顔画像特定情報と一致する前記他の顔画像特定情報を前記認識データベースから削除するデータベース管理手段、
として機能させることを特徴とするプログラム。
【請求項８】
人物情報自動収集システムのコンピュータを、
新たに読み込んだフレームデータ内の１つまたは複数の顔画像を示す新顔画像特定情報と、当該新顔画像特定情報で示される顔画像の出現する前記フレームデータ内の新出現領域を取得する顔画像情報取得手段、
前記新たに読み込んだフレームデータの前に読み込んだ前フレームデータ内の顔画像を示す前顔画像特定情報とその出現領域を示す前出現領域と、前記新たに読み込んだフレームデータ内の顔画像を示す前記新顔画像特定情報とその出現領域を示す前記新出現領域とをそれぞれ比較する比較手段、
前記新出現領域と前記前出現領域とが異なる出現領域であるか又は前記新出現領域に一致する前出現領域がなく、認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、新たな人物の顔画像であるとして、前記新顔画像特定情報を新たに認識データベースへ登録するとともに、前記新顔画像特定情報と当該新顔画像特定情報で示される顔画像の人物を識別するための新たに生成した人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている他の全ての顔画像特定情報の何れにも前記新顔画像特定情報が一致しない場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、前記前顔画像特定情報と前記新顔画像特定情報とを対応付けて前記認識データベースに登録するとともに、前記新顔画像特定情報と前記前顔画像特定情報で示される顔画像の人物を識別するための人物識別情報とを対応付けて人物特定データベースへ登録し、
前記新出現領域と前記前出現領域とが同じ出現領域であり、前記認識データベースに登録されている前記前顔画像特定情報以外の他の顔画像特定情報のうちのいずれかと、前記新顔画像特定情報とが一致する場合には、前記前顔画像特定情報と前記新顔画像特定情報とが同一人物の顔画像であるとして、人物特定データベースにおいて全ての前記新顔画像特定情報の顔画像の人物を識別するための人物識別情報を前記前顔画像特定情報の顔画像の人物を識別するための人物識別情報に書き換えるデータベース管理手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２４８７５４（Ｐ２０１１−２４８７５４Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２３１６７（Ｐ２０１０−１２３１６７）
【出願日】平成２２年５月２８日（２０１０．５．２８）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２８日（２０１０．５．２８）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
[ Back to top ]