画像処理システム、顔情報蓄積方法、画像処理装置及びその制御方法と制御プログラム
【課題】顔情報そのものを蓄積せずに、顔のパーツ、属性情報および関連情報で顔情報の特徴を蓄積して照合し、記憶媒体や通信媒体のリソースの有効利用を図る。
【解決手段】撮影された画像から顔情報を検出して分析するための画像処理装置であって、撮像された画像から顔領域を検出する顔検出手段と、検出した前記顔領域から顔のパーツを検出するパーツ検出手段と、検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析手段と、前記顔検出手段が検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得手段と、前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積手段と、を備えることを特徴とする。
【解決手段】撮影された画像から顔情報を検出して分析するための画像処理装置であって、撮像された画像から顔領域を検出する顔検出手段と、検出した前記顔領域から顔のパーツを検出するパーツ検出手段と、検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析手段と、前記顔検出手段が検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得手段と、前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積手段と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像から顔情報を検出して照合するための技術に関する。
【背景技術】
【０００２】
撮影した画像から顔情報を検出して照合する技術として、特許文献１においては、入力された顔情報と予め蓄積された顔情報との照合では絞りきれないものについて、年齢や性別、人種などの属性を用いて照合をより確かなものにする技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１８０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術は、顔情報そのものの照合を必須とするため、顔情報を蓄積する記憶媒体の容量が増加すると共に、顔情報の取得部と蓄積部とがネットワークで接続している場合には顔情報を蓄積するために多くの通信帯域を使うことになってしまう。
【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る装置は、
撮影された画像から顔情報を検出して分析するための画像処理装置であって、
撮像された画像から顔領域を検出する顔検出手段と、
検出した前記顔領域から顔のパーツを検出するパーツ検出手段と、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析手段と、
前記顔検出手段が検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得手段と、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積手段と、
を備えることを特徴とする。
【０００７】
上記目的を達成するため、本発明に係る方法は、
撮影された画像から顔情報を検出して分析するための画像処理装置の制御方法であって、
撮像された画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
を含むことを特徴とする。
【０００８】
上記目的を達成するため、本発明に係るプログラムは、
撮影された画像から顔情報を検出して分析するための画像処理装置の制御プログラムであって、
撮像された画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
をコンピュータに実行させることを特徴とする。
【０００９】
上記目的を達成するため、本発明に係るシステムは、
撮影された画像から顔情報を検出して分析するための画像処理システムであって、
人物を含む画像を撮影する撮像手段と、
前記撮像手段が撮像した画像から顔領域を検出する顔検出手段と、
検出した前記顔領域から顔のパーツを検出するパーツ検出手段と、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析手段と、
前記顔検出手段が検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得手段と、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積手段と、
を備えることを特徴とする。
【００１０】
上記目的を達成するため、本発明に係る方法は、
撮影された画像から顔情報を検出して分析するための顔情報蓄積方法であって、
人物を含む画像を撮影する撮像ステップと、
前記撮像ステップにおいて撮像した画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、顔情報そのものを蓄積せずに、顔のパーツ、属性情報および関連情報で顔情報の特徴を蓄積して照合するので、記憶媒体や通信媒体のリソースの有効利用ができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る画像処理装置の構成を示すブロック図である。
【図２Ａ】本発明の第２実施形態に係る画像処理装置を含む画像処理システムの構成を示すブロック図である。
【図２Ｂ】本発明の第２実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図３Ａ】本発明の第２実施形態に係る画像処理装置のハードウエア構成を示すブロック図である。
【図３Ｂ】本発明の第２実施形態に係る画像処理装置の記憶部の構成を示すブロック図である。
【図４】本発明の第２実施形態に係る学習ＤＢの構成を示す図である。
【図５】本発明の第２実施形態に係る検出したパーツの例を示す図である。
【図６】本発明の第２実施形態に係る検出した装飾品の例を示す図である。
【図７】本発明の第２実施形態に係る推定した顔の属性の例を示す図である。
【図８Ａ】本発明の第２実施形態に係る検出した人物の特徴の例を示す図である。
【図８Ｂ】本発明の第２実施形態に係る検出したグループの例を示す図である。
【図９】本発明の第２実施形態に係る取得または入力した環境関連情報の例を示す図である。
【図１０】本発明の第２実施形態に係る顔情報ＤＢを含む格納例を示す図である。
【図１１】本発明の第２実施形態に係る売上ＤＢと使用状況の例を示す図である。
【図１２】本発明の第２実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図１３】本発明の第２実施形態に係るパーツ検出及び顔分析の処理手順を示すフローチャートである。
【図１４】本発明の第２実施形態に係る検索処理の処理手順を示すフローチャートである。
【図１５】本発明の第３実施形態に係る画像処理装置を含む画像処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１４】
［第１実施形態］
本発明の第１実施形態としての画像処理装置１００について、図１を用いて説明する。画像処理装置１００は、撮影された画像から顔情報を検出して分析するための装置である。
【００１５】
図１に示すように、画像処理装置１００は、顔検出部１１０と、パーツ検出部１３０と、属性分析部１２０と、関連情報取得部１４０と、蓄積部１５０とを含む。顔検出部１１０は、撮像された画像から顔領域を検出する。パーツ検出部１３０は、検出した顔領域から顔のパーツを検出する。属性分析部１２０は、検出したパーツの領域、パーツの周辺領域、顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する。関連情報取得部１４０は、検出した顔領域と関連付けられる関連情報を取得する。蓄積部１５０はと、パーツと、属性と、関連情報とを検索可能に関連付けて蓄積する。
【００１６】
本実施形態によれば、顔情報そのものを蓄積せずに、顔のパーツ、属性情報および関連情報で顔情報の特徴を蓄積して照合するので、記憶媒体や通信媒体のリソースの有効利用ができる。
【００１７】
［第２実施形態］
第２実施形態においては、カメラやビデオカメラを使って通行人や店舗の客などを撮影し、その画像から顔及びパーツを検出し、顔のパーツを様々な関連情報に基づいて検索可能なように顔情報蓄積部である顔情報ＤＢに蓄積する。本実施形態によれば、顔情報そのものを蓄積せずに、顔のパーツ、属性情報および関連情報で顔情報の特徴を蓄積したので、記憶媒体や通信媒体のリソースの有効利用ができる。なお、本発明の、顔のパーツや属性情報および関連情報の蓄積と、それを使った顔情報の照合結果は、顔分析に有効に適用できる。
【００１８】
〈第２実施形態の画像処理システムの構成〉
図２Ａは、第２実施形態の画像処理装置を含む画像処理システム２００の構成を示す図である。
【００１９】
図２Ａの画像処理システム２００は、本実施形態の画像処理を行なう画像処理装置２１０と、それに接続されて画像情報や関連情報を提供する部分とを含む。画像処理装置２１０には、本実施形態の画像処理を実現する構成の特徴的な機能構成要素として、パーツ検出部２１４と、顔分析部２１５と、関連情報取得部２２０と、学習ＤＢ２１６と、顔情報ＤＢ２１８とを備えている。ここで「ＤＢ」はデータベース(Database)の略であり、以下「ＤＢ」と記載する。なお、機能構成要素の接続は、図２Ｂで詳説される。パーツ検出部２１４は、撮影した画像の顔領域からパーツを検出する。顔分析部２１５は、検出されたパーツに基づいて顔分析を行なう。関連情報取得部２２０は、画像からパーツ以外の関連情報を取得し、且つ、外部の各種サーバ２３０やオペレータによる情報入力部２２６からの入力により撮影時の関連情報を取得する。学習ＤＢ２１６は、パーツ検出部２１４及び顔分析部２１５における処理結果を参照可能に蓄積する学習データ蓄積部であり、以降のパーツ検出及び顔分析に使用されるデータを格納する。顔情報ＤＢ２１８は、パーツ検出部２１４、顔分析部２１５、関連情報取得部２２０から得られたデータを、顔認識のために種々のキーワードで検索可能に格納する。
【００２０】
画像処理装置２１０に画像情報を提供する部分として、図２Ａの例では、各店舗２０１、２０２、２０３に設定されたカメラやビデオカメラ、あるいは人通りの多い路上やたまり場などに設置されたカメラ２０４やビデオカメラ２０５が図示されている。また、画像処理装置２１０に関連情報を提供する部分として、各種サーバ２３０と情報入力部２２６とが図示されている。なお、情報入力部２２６は、画像処理装置２１０に含まれても良い。また、図示しないセンサ、例えば温度センサ、などから関連情報を取得することが出来る。
【００２１】
〈第２実施形態の画像処理装置の機能構成〉
図２Ｂは、第２実施形態の画像処理装置２１０の機能構成を示すブロック図である。以下では、画像処理装置２１０へのデータの入力、データの処理、データの出力の順に、その機能と機能要素の接続を説明する。
【００２２】
通信制御部２１１を介して、カメラやビデオカメラから受信された画像データ（静止画像／動画像）は、まず画像補正部２１２に入力される。画像補正部２１２では、画像そのものが有するノイズの除去や撮影した条件による違いを吸収するために各種の画像補正が行なわれる。ここでは詳細は省略する。画像補正部２１２で補正された画像は、顔検出部２１３と人物検出部２２３とに送られる。顔検出部２１３は、受信した画像の中から人物の顔を検出する。かかる顔検出においては種々の方法が知られており、それを使用するものとする。
【００２３】
顔検出部２１３で検出された各人物の顔のデータに基づいて、以下の３つの処理が行なわれる。なおこの３つに限定されるものではない。１つは、各人物の顔のデータに基づいて、パーツ検出部２１４において顔のパーツ、例えば目や口など、を検出する。なお、本例では、パーツの検出は目や口などの検出以外に目の縁や上下の周囲、頬、などの領域・部位もパーツに含むものとする。これは、本画像処理装置の処理結果が、単純な顔認識に使用されるのみでなく、年齢、性別、嗜好などの分析に使用されるために必要な処理である。次に、パーツ検出部２１４で検出したパーツについて、顔分析部２１５において顔分析が行なわれる。パーツ検出部２１４及び顔分析部２１５の処理には、学習ＤＢ２１６に蓄積された情報が使用され、その結果は新たな情報として蓄積されて以降の処理に使用される。かかる、パーツ検出部２１４、顔分析部２１５及び学習ＤＢ２１６については、具体的なデータ構成により更に詳細に説明される。
【００２４】
２つ目は、各人物の顔のデータに基づいて、装飾品検出部２２１により顔の中及び周辺に有る装飾品、例えばメガネやイヤリングを検出する。なお、この装飾品には髪も含むものとする。３つめは、各人物の顔のデータに基づいて、属性推定部２２２により顔の特徴から、この人物の属性、例えば性別や年齢を検出する。人物の顔から推定する属性は生物、年齢には限定されない。
【００２５】
一方、画像補正部２１２から人物検出部２２３に送られた画像からは、人物が検出される。なお、人物の検出については、顔や頭の検出に基づくものや、動画像であれば頭の動きなどから実現される。人物検出部２２３で検出された人物からは、特徴検出部２２４において、顔から離れた服装やアクセサリ、その人物の行動履歴、またその人物が画像の中で単独かグループに属しているか、などが検出される。なお、属性推定部２２２と特徴検出部２２４は、互いに協働しても構わない。
【００２６】
通信制御部２１１からは、図２Ａに示した各種サーバ２３０からの特に撮影時における関連情報、例えば天気や流行情報など、が情報取得部２２５に送られる。かかる関連情報に、温度センサなどからの関連情報を含んでも良い。また、情報入力部２２６からは、手動であるいは記憶媒体などを介して、関連情報が入力される。
【００２７】
顔情報ＤＢ２１８は、上述の各データを検索可能に関連付けて蓄積し、通信制御部２１１を介して検索制御部２１９により顔認識、年齢、性別、嗜好などの分析のために検索される。顔情報ＤＢ２１８に蓄積されるデータは、パーツ検出部２１４、顔分析部２１５、装飾品検出部２２１、属性推定部２２２、特徴検出部２２４、情報取得部２２５、情報入力部２２６から収集されて、検索可能に蓄積される。
【００２８】
〈第２実施形態の画像処理装置のハードウエア構成〉
図３Ａ及び図３Ｂは、第２実施形態に係る画像処理装置２１０のハードウエア構成を示すブロック図である。図３Ｂは、特に画像処理装置２１０の記憶部（ＲＡＭ３４０とストレージ３５０）の構成を詳細に示したものである。
【００２９】
図３Ａで、ＣＰＵ３１０は演算制御用のプロセッサであり、プログラムを実行することで図２Ｂの各機能構成部を実現する。ＲＯＭ３２０は、初期データ及びプログラムなどの固定データ及びプログラムを記憶する。通信制御部２１１は、ネットワークを介して外部装置と通信する。通信制御部２１１により、各種サーバ２３０や各種センサなどから関連情報、あるいは外部装置の情報利用者から情報検索要求を受け、外部装置の情報利用者に対して顔情報ＤＢ２１８に蓄積され検索された顔情報を提供する。通信は無線でも有線でもよい。
【００３０】
ＲＡＭ３４０は、ＣＰＵ３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ３４０には、本実施形態の実現に必要なデータを記憶するデータ記憶領域３４１とＣＰＵ３１０の実行するプログラムをロードするプログラムロード領域３４２とが確保されている。データ記憶領域３４１には、図３Ｂに図示したデータが一時記憶される。
【００３１】
図３Ｂの３４１１は、カメラあるいはビデオカメラで撮像されて送信された静止画像または動画像の入力画像である。３４１２は、画像補正部２１２で補正した後の補正画像である。３４１３は、補正画像から顔検出部２１３で検出した顔領域画像（顔及び顔周辺領域を含む）である。３４１４は、顔領域画像からパーツ検出部２１４で検出した検出パーツである。３４１５は、検出パーツに基づいて顔分析部２１５で顔分析した顔分析結果である。３４１６は、顔領域画像から装飾品検出部２２１で検出した装飾品検出結果である。３４１７は、顔領域画像から属性推定部２２２で推定した属性推定結果である。３４１８は、補正画像から人物検出部２２３で検出した人物領域画像（人物及び装着品を含む）である。３４１９は、人物領域画像から特徴検出部２２４が検出した人物特徴検出結果である。３４２０は、情報取得部２２５で取得したまたは情報入力部２２６から入力した取得／入力関連情報である。
【００３２】
また、図３Ｂの３４２１は、検索制御部２１９が通信制御部２１１を介して外部装置から受け付けた検索キーワードである。３４２２は、顔情報ＤＢ２１８から検索キーワードに基づいて検索した検索結果であり、検索制御部２１９から通信制御部２１１を介して外部装置に返信される。
【００３３】
ストレージ３５０は、データベース３５１や各種のパラメータ３５２や、ＣＰＵ３１０が実行するプログラム３５３を、不揮発に記憶する大容量記憶装置である。ストレージ３５０には、本実施形態の実現に必要な以下のデータ又はプログラムが記憶されている。
【００３４】
図３Ａのデータベース３５１には、図３Ｂのように、学習ＤＢ２１６と顔情報ＤＢ２１８が含まれる。なお、図１０で後述するが売上ＤＢが記憶されてよい。
【００３５】
図３Ａのパラメータ３５２には、図３Ｂのように、画像補正部２１２による画像補正に使用される画像補正パラメータ３５２１が格納される。画像補正パラメータ３５２１のううち、３５２２は画像の正規化のために、画像全体の濃度、彩度、コントラストを補正するパラメータである。３５２３は、部分領域や境界領域を補正するパラメータである。３５２４は、色補正用のパラメータである。
【００３６】
図３Ａのプログラム３５３には、図３Ｂのように、各プログラムが格納される。３５３１は、全体の処理を実行させる画像処理プログラムである。その一例は図１２に示される。画像処理プログラム３５３１は、学習ＤＢ更新モジュール３５３２、パーツ検出モジュール３５３３、顔分析モジュール３５３４、顔情報ＤＢ作成モジュール３５３５を含んでいる。また、顔情報ＤＢから情報を検索する顔情報ＤＢ検索プログラム３５３６が格納される。
【００３７】
〈第２実施形態の画像処理装置で使用されるデータ構成〉
本実施形態における画像処理装置の処理には、以下のデータ類が使用される。特に、本実施形態においては、学習ＤＢ２１６と顔情報ＤＢ２１８とのデータが重要である。
【００３８】
学習ＤＢ２１６は、概略、次のようなものである。学習ＤＢ２１６は、各顔部位のパーツ属性判定用データと顔分析用データとを持つ。パーツ属性判定用データは、目や眉などの各パーツについて、属性ごとに分類した参照画像とする。属性は、例えば、太さ、大きさ、角度、形状とする。顔分析用データは、目、眉、唇、頬などの各部位ごとに、色および化粧の仕方で分類した色情報または参照画像とする。なお、色情報や参照画像の代わりに、パーツ属性判定処理および顔分析処理に適した情報に変換したデータを保持してもよい。なお、学習ＤＢ２１６は学習データの使い方、学習処理の認識の仕方によって蓄積する内容は変更する必要があり、上記の例はその一例に過ぎない。
【００３９】
顔情報ＤＢ２１８は、概略、次のようなものである。顔情報ＤＢ２１８は、それぞれの顔画像について、顔パーツ情報、顔分析情報、および付帯情報を対応づけて蓄積する。顔パーツ情報は、例えば、各パーツの位置とそれらの相対位置関係、パーツごとの太さ、大きさ、角度、形などの属性情報とする。顔分析情報は、例えば、顔の部位ごとの色、形、塗り方、位置とする。付帯情報は、例えば、顔画像が撮影された場所、日時、天候、被撮影者の性別、年齢、服装とする。
【００４０】
以下に、学習ＤＢ２１６と顔情報ＤＢ２１８とに蓄積されるデータの例を示す。データは、画像データとして蓄積されても良いし、画像から検出・抽出されたデータとして蓄積されても良い。
【００４１】
（学習ＤＢ２１６の例）
・属性が付加された眉毛画像
・太さ、傾き、形ごとに分類された参照画像、
または、それらを処理して抽出されたデータ
・属性が付加された目画像
・角度、傾きごとに分類された参照画像、
または、それらを処理して抽出されたデータ
・属性が付加された口画像
・唇の厚さごとに分類された参照画像、
または、それらを処理して抽出されたデータ
・顔分析用データ
・頭髪、眉、睫、鬚の色情報や参照画像、または、それらを処理して抽出したデータ
・目の色情報、または、それらを処理して抽出したデータ
・色白、色黒、そばかす、ほくろ等の個人の特徴を表す色情報や紋様画像、
または、それらを処理して抽出したデータ
・各顔部位の化粧の色情報、化粧の仕方で分類された参照画像、
または、それらを処理して抽出したデータ
（顔情報ＤＢ２１８の例）
・顔パーツ情報
・顔パーツ情報
・各パーツの位置
・目の傾き（つり目、垂れ目）、形（細目、円らな目）、瞳の色
・眉の角度、太さ、曲り方、色
・唇の厚さ
・輪郭形状（丸い、細い、四角いなど）
・顔分析情報
・頭髪、眉、睫、鬚の色、形
・目の色
・色白、色黒、そばかす、ほくろ等の特徴
・各顔部位の化粧の色、濃さ、形
・付帯情報
・撮影場所
・日時
・性別
・年齢
・服装
【００４２】
なお、上記のデータはその一例であり、これに限定されるものではない。また、以降の本実施形態の説明においては、これらのデータについては複雑になるので全てを説明せずに、本実施形態の画像処理装置が動作するために必要な、その一部の特徴的なデータ構成を簡略化して示す。データは、画像データではなく抽出・検出されたデータに基づいて示している。かかる説明により、データの全体像は当業者には明らかになると考える。
【００４３】
（学習ＤＢ２１６の構成）
最初に学習ＤＢ２１６の構成の具体例を説明する。図４は、第２実施形態に係る学習ＤＢ２１６の構成の一例を示す図である。図４では、特にパーツ検出部２１４でパーツを検出するために使用される部分を示している。なお、顔分析部２１５における学習ＤＢ２１６の使用は、各パーツの特徴によって色や形状の判断精度の相違などが加味されるが、その基本的構成は図４に示される。
【００４４】
図４で４０１は、顔領域内において顔の地色である肌色と識別された部分をパーツ候補として抽出した場合に、その位置を示す。例えば、第１行では、パーツ候補が顔の上半分で左右にある条件を示している。４０２は、パーツ候補の形状であり、長さや幅、曲率（あるいは傾きなど）によりパターンに分類する。一定の範囲内に入るものをそのパターンに属するとする。４０３は、パーツ候補の色である。複数の色がある場合は複数の色を、あるいはパーツ候補の面積中に占める割合を求め、微細なものは削除してよい。４０４は色の濃さであり、図４には例えば２５６階調であれば"２５５"を上限の１．０とした数値例で示されている。
【００４５】
４０６は、４０１から４０４の条件を満たすパーツ候補を、それぞれのパーツと判定するためのパーツＩＤである。以下のデータでパーツと示すものはパーツＩＤによって格納され検索される。
【００４６】
（検出した顔のパーツの構成）
図５は、第２実施形態に係るパーツ検出部２１４と顔分析部２１５との処理から出力されるパーツ情報５００の一例を示す図である。
【００４７】
図５の５０１は、パーツを表わすパーツＩＤである。このように、本実施形態では、顔の部分的な情報、年齢、性別などの顔分析を対象とするため、目などのパーツのみでなく、目の縁、目の上、目の下、頬などもパーツの１つとして検出され蓄積される。５０２は、この顔情報を取得した顔に付して、顔情報ＤＢ２１８の情報を管理するためのシリアルナンバー（以下ＳＮ）である。図５では、同じ顔からの各パーツであるとして、同じＳＮが付されている。５０３はパーツの色を示すデータ、５０４はパーツの形状を示すデータ、５０５はパーツの濃さを示すデータである。各パーツに属するデータはこれに限らない。また、学習ＤＢの構成で述べたように、図５の５０３〜５０５のデータは、顔分析部２１５において分析に使用される学習ＤＢ２１６によって、図４の４０２〜４０４と異なる物であってよい。図５の５０３〜５０５のデータは、パーツが既に判定されているので、よりパーツの特徴に即したより好適に利用可能な分析が可能である。
【００４８】
（検出した顔の装飾品の構成）
図６は、第２実施形態に係る装飾品検出部２２１が顔領域画像から検出した装飾品情報６００の一例を示す図である。
【００４９】
図６の６０１は、装飾品を表わす装飾品ＩＤである。このように、本実施形態では、顔分析と関連を有する顔領域の装飾品が検出され蓄積される。５０２は、図５と同様の顔画像取得ＳＮである。この顔画像取得ＳＮにより装飾品は図５のパーツと関連付けられる。図６では、上の４行が１つの顔から、下の３行が別の顔から検出したものであり、別のＳＮが付されている。６０３は装飾品の色を示すデータ、６０４は装飾品の形状を示すデータである。各装飾品に属するデータはこれに限らない。
【００５０】
（推定した顔の属性の構成）
図７は、第２実施形態に係る属性推定部２２２が推定した顔の属性７００の一例を示す図である。
【００５１】
図７の５０２は、図５及び図６と同様の顔画像取得ＳＮである。この顔画像取得ＳＮにより顔から推定した人物の属性は、図５のパーツや図６の装飾品と関連付けられる。図７では、各行が別の人物として別のＳＮが付されている。７０１は性別を示すデータ、７０２は年齢を示すデータである。顔から推定される属性データはこれに限らない。
【００５２】
（検出した人物の特徴の構成）
図８Ａは、第２実施形態に係る人物検出部２２３が検出した人物の特徴８００の一例を示す図である。
【００５３】
図８Ａの５０２は、図５乃至図７と同様の顔画像取得ＳＮである。この顔画像取得ＳＮにより人物の特徴は、図５のパーツや図６の装飾品や図７の属性と関連付けられる。図８では、各行が別の人物として別のＳＮが付されている。８０１はその人物が来ている服（特に上半身の）を示すデータ、８０２はアクセサリを示すデータ、８０３はその人物の動作履歴を示すデータである。なお、動作履歴は動作履歴から分析された動作傾向であってよい。また、携帯品を含む装飾パーツを含んでも良い。また、複数の人物がグループで画像中に居る場合は、８０４としてグループＩＤが付される。図８では、上の３行の３人が１つのグループ、下の４行の４人が別におグループであることを表わしている。８０５は、各グループ内で類似の顔をしている場合を関連付けるデータである。図８では、４行目と６行目の人物が類似の顔をしていることを示している。人物の特徴データはこれに限らない。
【００５４】
（グループ情報の構成）
図８Ｂは、第２実施形態に係る特徴検出部２２４で検出したグループ８０４の例を示す図である。
【００５５】
図８Ｂの８０４は、図８Ａと同様のグループＩＤである。各グループに別のグループＩＤが付される。８１１はグループの人間関係を表わすデータ、８１２はグループの人数を表わすデータ、８１３はグループの男女比を表わすデータである。例えば、グループＧ０００１は、３人連れの家族であり、男性１人に女性２人である。これは図８Ａのグループと整合性がとれている。グループＧ０００２は、４人連れの会社関係のグループであり、男性１人に女性３人である。グループを特徴付ける共通の属性はこれに限らない。
【００５６】
（取得または入力した環境情報の構成）
図９は、第２実施形態に係る情報取得部２２５が取得または情報入力部２２６が入力した環境関連情報の例を示す図である。
【００５７】
図９の５０２は、図５乃至図８Ａと同様の顔画像取得ＳＮである。この顔画像取得ＳＮにより環境関連情報は、図５のパーツや図６の装飾品、図７の属性、図８Ａの人物の特徴と関連付けられる。図９では、各行が別の人物として別のＳＮが付されている。９０１は画像を撮影した年を示すデータ、９０２は画像を撮影した季節を示すデータ、９０３は画像を撮影した時間帯を示すデータである。なお、季節は月に置き換えてもよい。また、９０４は画像を撮影した場所、９０５は画像を撮影した時の天気、９０６は画像を撮影した時の温度や湿度である。場所は、カメラやビデオカメラから通知されても、予め登録されていてもよい。また、天気や温度／湿度は、各種サーバ２３０から取得しても不図示のセンサ類で検出してもよい。更に、９０７は現在の流行情報である。この流行情報は各種サーバ２３０あるいは情報入力部２２６から取得されてよい。なお、関連情報はこれに限らず、顔分析に関連する情報であれば、有用である。
【００５８】
〈第２実施形態の顔情報ＤＢを含む構成〉
最後に、顔情報ＤＢ２１８の構成の具体例を説明する。図１０は、第２実施形態に係る顔情報ＤＢ２１８を含むストレージ３５０における格納例を示す図である。
【００５９】
図１０には、図３Ｂに加えて検索のための検索キーワード群１０１０と、売上げと実際の使用状況を知るための売上ＤＢ１０２０とが図示されている。
【００６０】
検索キーワード群１０１０には、例えば、パーツ／顔分析関連のキーワード群、人物関連のキーワード群、装飾品／装着品（アクセサリ）関連のキーワード群、環境情報関連のキーワード群、を含む。
【００６１】
上記検索キーワード群１０１０により、矢印で示すように、顔情報ＤＢ２１８から情報が検索されて出力される。顔情報ＤＢ２１８の検索キーとしては、例えば、顔情報取得ＳＮ、パーツＩＤ、装飾品ＩＤ、性別／年齢、装着品（アクセサリ）ＩＤ、人物関連情報のＩＤ、環境関連情報のＩＤ、が含まれる。
【００６２】
売上ＤＢ１０２０には、製品ＩＤに対応して、装飾品、色、月毎の売上、売上げの経過などが蓄積される。
【００６３】
（売上ＤＢと使用状況の例）
図１１は、第２実施形態に係る売上ＤＢ１０２０を参照した売上ＤＢと使用状況の例を示す図である。
【００６４】
図１１には、上記の製品ＩＤ１１０１に対応する、装飾品１１０２、色１１０３、月毎の売上１１０４に基づいて、顔情報ＤＢ２１８に蓄積された同じ装飾品の製品の各色の使用頻度１１０５が算出されている。図１１には、装飾品「眼鏡」についての情報が示されている。かかる売上げと使用頻度とを参照すれば、使用状況を把握することが可能である。なお、かかる売上ＤＢと使用状況については、顔情報ＤＢ２１８に蓄積されたデータの使用方法の一例を示したのみである。すなわち、顔情報ＤＢ２１８に蓄積されたデータが検索キーワード群１０１０で検索可能に格納されていることにより可能となる使用例であり、これに限定されない多様な使用が可能である。
【００６５】
〈第２実施形態の画像処理装置の動作手順〉
以下、上記本実施形態の画像処理装置２１０の構成、及びデータ類を使って、人物の種々の情報を観察してその情報を適切な形式により顔情報ＤＢ２１８に蓄積する手順を説明する。
【００６６】
（画像処理における顔情報ＤＢの蓄積手順）
図１２は、第２実施形態に係る画像処理装置２１０における顔情報ＤＢ２１８の生成の処理手順を示すフローチャートである。このフローチャートは、図３ＡのＣＰＵ３１０によってＲＡＭ３４０を使用しながら実行され、図２Ｂの画像処理装置２１０の各機能構成部を実現する。
【００６７】
まず、ステップＳ１２０１において、カメラやビデオカメラから画像（静止画像／動画像）を取得する。ステップＳ１２０３において、顔検出処理を実行する。次に、ステップＳ１２０５において、顔領域から学習ＤＢ２１６の情報を参照してパーツ検出処理を実行する。続いて、ステップＳ１２０７において、パーツ情報と学習ＤＢ２１６の情報とを参照して、顔分析処理を実行する。ステップＳ１２０９において、ステップＳ１２０５において検出したパーツと、ステップＳ１２０７において顔分析された分析結果とを、学習ＤＢ２１６に蓄積する。なお、ステップＳ１２０５〜Ｓ１２０９の処理は、図１３のフローチャートにおいて更に詳しく説明する。
【００６８】
ステップＳ１２１１において、顔情報に基づく関連情報を取得する。顔情報に基づく関連情報には、顔領域の装飾品や顔から推定される人物の属性が含まれるが、これに限定されない。ステップＳ１２１３において、人物検出処理が実行される。続いて、ステップＳ１２１５において、人物情報に基づく関連情報を取得する。人物情報に基づく関連情報には、例えば性別や年齢が含まれるが、これに限定されない。ステップＳ１２１７において、環境関連情報が取得あるいは入力される。環境関連情報には、画像の撮影日時や場所、天気などの環境情報、流行情報などが含まれるが、これに限定されない。
【００６９】
ステップＳ１２１９において、上記ステップＳ１２０５、Ｓ１２０７、Ｓ１２１１、Ｓ１２１５、Ｓ１２１７において収集された情報は、互いに関連付けられて検索可能に顔情報ＤＢ２１８に格納される。
【００７０】
（パーツ検出／顔分析の動作手順）
図１３は、図１２のステップＳ１２０５〜Ｓ１２０９のパーツ検出及び顔分析の処理手順を詳細に示すフローチャートである。このフローチャートは、図３ＡのＣＰＵ３１０によってＲＡＭ３４０を使用しながら実行され、図２Ｂの画像処理装置２１０の各機能構成部を実現する。
【００７１】
ステップＳ１３０１は、オプショナルな処理であり、補正された入力画像に対して素顔を認識する処理である。素顔の認識には、例えば、首付近の領域の肌色を基準としたり、肌領域のコントラストを上げるなどの処理が考えられる。かかる素顔の認識は、パーツの抽出及びパーツ自身の属性をより精度良く検出するために必要なステップである。ステップＳ１３０３において、パーツ候補を抽出する。パーツ候補は顔の肌色と異なる色の部分である。ステップＳ１３０５において、パーツ候補の顔における相対位置、色、形状を抽出する。ステップＳ１３０７において、パーツ候補の位置、色、形状から学習ＤＢ２１６を参照して相当するパーツが有るか否かが判断される。学習ＤＢ２１６に無ければパーツではないと判断してステップＳ１３０３に戻って、次のパーツ候補を抽出する。
【００７２】
パーツであると判断されれば、ステップＳ１３０９に進んで、パーツの位置の周辺のパーツ外の領域を抽出する。かかる領域は、例えば頬や額、顎などのパーツでない領域である。これらの領域の位置、色、形状が確定できれば形状も抽出する。ステップＳ１３１１においては、パーツとパーツの位置、色、形状とを対応付け、あるいはパーツ外の領域と位置、色、形状とを対応付ける。ステップＳ１３１３において、対応付けた情報を学習ＤＢ２１６に以後の参照のために蓄積する。
【００７３】
ステップＳ１３１５において、顔領域の全領域を処理したかを判定し、全領域を判定するまで繰り返す。このように、本実施形態では、顔分析に必要な情報として、パーツのみの情報でなく、パーツではない領域の分析・蓄積を行なう。
【００７４】
（顔情報ＤＢからの検索手順）
図１４は、第２実施形態に係る顔情報ＤＢ２１８からの情報の検索処理の処理手順を示すフローチャートである。このフローチャートは、図３ＡのＣＰＵ３１０によってＲＡＭ３４０を使用しながら実行され、図２Ｂの画像処理装置２１０の各機能構成部を実現する。
【００７５】
まず、ステップＳ１４０１において、顔情報ＤＢ２１８からの情報を要求する装置に対して、キーワード入力画面の表示を指示する。ステップＳ１４０３において、キーワード画面からの入力によるキーワード受信を待って、受信があればステップＳ１４０５に進む。このキーワードについては、図１０を参照してその例を示した。
【００７６】
ステップＳ１４０５において、受信したキーワードに基づく顔情報ＤＢ２１８からの検索処理を実行する。ステップＳ１４０７において、検索結果として出力された情報を出力用に整理する。ステップＳ１４０９において、検索結果を顔情報ＤＢ２１８からの情報を要求した装置に対して出力する。ステップＳ１４１１において、検索終了を判定し、終了でなければステップＳ１４０１に戻って次の検索を繰り返す。
【００７７】
［第３実施形態］
第２実施形態の画像処理装置２１０は、閉じられた画像処理システム２００において顔情報ＤＢ２１８の顔情報を蓄積して、提供する構成であった。第３実施形態にける画像処理装置２１０は、ネットワークを介して開かれた画像処理システムにおいて、同様に広く顔情報の照合に有用な情報を集め、提供する。本実施形態によれば、広く一般のユーザにまで情報を提供可能になる。
【００７８】
〈第３実施形態の画像処理システムの構成〉
図１５は、第３実施形態に係る画像処理装置を含む画像処理システム１５００の構成を示すブロック図である。
【００７９】
図１５においては、画像処理装置２１０はネットワーク１５８０を介して、情報収集のためのカメラ１５２０やビデオカメラ１５１０，１５３１、各種サーバ２３０、各種センサ類１５７０に接続される。また、画像処理装置２１０の情報提供相手として、モニタ１５３０やＰＣ１５４０、通信端末、あるいは顔情報を更に分析する情報処理装置１５５０に接続される。このように画像処理システム１５００を構成することで、多くの情報を収集でき、多くのユーザの収集データを提供可能になる。
【００８０】
［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステム又は装置も、本発明の範疇に含まれる。
【００８１】
また、本発明は、複数の機器から構成されるシステムに適用されても良いし、単体の装置に適用されても良い。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システム或いは装置に直接或いは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、或いはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【技術分野】
【０００１】
本発明は、撮影した画像から顔情報を検出して照合するための技術に関する。
【背景技術】
【０００２】
撮影した画像から顔情報を検出して照合する技術として、特許文献１においては、入力された顔情報と予め蓄積された顔情報との照合では絞りきれないものについて、年齢や性別、人種などの属性を用いて照合をより確かなものにする技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１８０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術は、顔情報そのものの照合を必須とするため、顔情報を蓄積する記憶媒体の容量が増加すると共に、顔情報の取得部と蓄積部とがネットワークで接続している場合には顔情報を蓄積するために多くの通信帯域を使うことになってしまう。
【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る装置は、
撮影された画像から顔情報を検出して分析するための画像処理装置であって、
撮像された画像から顔領域を検出する顔検出手段と、
検出した前記顔領域から顔のパーツを検出するパーツ検出手段と、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析手段と、
前記顔検出手段が検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得手段と、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積手段と、
を備えることを特徴とする。
【０００７】
上記目的を達成するため、本発明に係る方法は、
撮影された画像から顔情報を検出して分析するための画像処理装置の制御方法であって、
撮像された画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
を含むことを特徴とする。
【０００８】
上記目的を達成するため、本発明に係るプログラムは、
撮影された画像から顔情報を検出して分析するための画像処理装置の制御プログラムであって、
撮像された画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
をコンピュータに実行させることを特徴とする。
【０００９】
上記目的を達成するため、本発明に係るシステムは、
撮影された画像から顔情報を検出して分析するための画像処理システムであって、
人物を含む画像を撮影する撮像手段と、
前記撮像手段が撮像した画像から顔領域を検出する顔検出手段と、
検出した前記顔領域から顔のパーツを検出するパーツ検出手段と、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析手段と、
前記顔検出手段が検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得手段と、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積手段と、
を備えることを特徴とする。
【００１０】
上記目的を達成するため、本発明に係る方法は、
撮影された画像から顔情報を検出して分析するための顔情報蓄積方法であって、
人物を含む画像を撮影する撮像ステップと、
前記撮像ステップにおいて撮像した画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、顔情報そのものを蓄積せずに、顔のパーツ、属性情報および関連情報で顔情報の特徴を蓄積して照合するので、記憶媒体や通信媒体のリソースの有効利用ができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る画像処理装置の構成を示すブロック図である。
【図２Ａ】本発明の第２実施形態に係る画像処理装置を含む画像処理システムの構成を示すブロック図である。
【図２Ｂ】本発明の第２実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図３Ａ】本発明の第２実施形態に係る画像処理装置のハードウエア構成を示すブロック図である。
【図３Ｂ】本発明の第２実施形態に係る画像処理装置の記憶部の構成を示すブロック図である。
【図４】本発明の第２実施形態に係る学習ＤＢの構成を示す図である。
【図５】本発明の第２実施形態に係る検出したパーツの例を示す図である。
【図６】本発明の第２実施形態に係る検出した装飾品の例を示す図である。
【図７】本発明の第２実施形態に係る推定した顔の属性の例を示す図である。
【図８Ａ】本発明の第２実施形態に係る検出した人物の特徴の例を示す図である。
【図８Ｂ】本発明の第２実施形態に係る検出したグループの例を示す図である。
【図９】本発明の第２実施形態に係る取得または入力した環境関連情報の例を示す図である。
【図１０】本発明の第２実施形態に係る顔情報ＤＢを含む格納例を示す図である。
【図１１】本発明の第２実施形態に係る売上ＤＢと使用状況の例を示す図である。
【図１２】本発明の第２実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図１３】本発明の第２実施形態に係るパーツ検出及び顔分析の処理手順を示すフローチャートである。
【図１４】本発明の第２実施形態に係る検索処理の処理手順を示すフローチャートである。
【図１５】本発明の第３実施形態に係る画像処理装置を含む画像処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１４】
［第１実施形態］
本発明の第１実施形態としての画像処理装置１００について、図１を用いて説明する。画像処理装置１００は、撮影された画像から顔情報を検出して分析するための装置である。
【００１５】
図１に示すように、画像処理装置１００は、顔検出部１１０と、パーツ検出部１３０と、属性分析部１２０と、関連情報取得部１４０と、蓄積部１５０とを含む。顔検出部１１０は、撮像された画像から顔領域を検出する。パーツ検出部１３０は、検出した顔領域から顔のパーツを検出する。属性分析部１２０は、検出したパーツの領域、パーツの周辺領域、顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する。関連情報取得部１４０は、検出した顔領域と関連付けられる関連情報を取得する。蓄積部１５０はと、パーツと、属性と、関連情報とを検索可能に関連付けて蓄積する。
【００１６】
本実施形態によれば、顔情報そのものを蓄積せずに、顔のパーツ、属性情報および関連情報で顔情報の特徴を蓄積して照合するので、記憶媒体や通信媒体のリソースの有効利用ができる。
【００１７】
［第２実施形態］
第２実施形態においては、カメラやビデオカメラを使って通行人や店舗の客などを撮影し、その画像から顔及びパーツを検出し、顔のパーツを様々な関連情報に基づいて検索可能なように顔情報蓄積部である顔情報ＤＢに蓄積する。本実施形態によれば、顔情報そのものを蓄積せずに、顔のパーツ、属性情報および関連情報で顔情報の特徴を蓄積したので、記憶媒体や通信媒体のリソースの有効利用ができる。なお、本発明の、顔のパーツや属性情報および関連情報の蓄積と、それを使った顔情報の照合結果は、顔分析に有効に適用できる。
【００１８】
〈第２実施形態の画像処理システムの構成〉
図２Ａは、第２実施形態の画像処理装置を含む画像処理システム２００の構成を示す図である。
【００１９】
図２Ａの画像処理システム２００は、本実施形態の画像処理を行なう画像処理装置２１０と、それに接続されて画像情報や関連情報を提供する部分とを含む。画像処理装置２１０には、本実施形態の画像処理を実現する構成の特徴的な機能構成要素として、パーツ検出部２１４と、顔分析部２１５と、関連情報取得部２２０と、学習ＤＢ２１６と、顔情報ＤＢ２１８とを備えている。ここで「ＤＢ」はデータベース(Database)の略であり、以下「ＤＢ」と記載する。なお、機能構成要素の接続は、図２Ｂで詳説される。パーツ検出部２１４は、撮影した画像の顔領域からパーツを検出する。顔分析部２１５は、検出されたパーツに基づいて顔分析を行なう。関連情報取得部２２０は、画像からパーツ以外の関連情報を取得し、且つ、外部の各種サーバ２３０やオペレータによる情報入力部２２６からの入力により撮影時の関連情報を取得する。学習ＤＢ２１６は、パーツ検出部２１４及び顔分析部２１５における処理結果を参照可能に蓄積する学習データ蓄積部であり、以降のパーツ検出及び顔分析に使用されるデータを格納する。顔情報ＤＢ２１８は、パーツ検出部２１４、顔分析部２１５、関連情報取得部２２０から得られたデータを、顔認識のために種々のキーワードで検索可能に格納する。
【００２０】
画像処理装置２１０に画像情報を提供する部分として、図２Ａの例では、各店舗２０１、２０２、２０３に設定されたカメラやビデオカメラ、あるいは人通りの多い路上やたまり場などに設置されたカメラ２０４やビデオカメラ２０５が図示されている。また、画像処理装置２１０に関連情報を提供する部分として、各種サーバ２３０と情報入力部２２６とが図示されている。なお、情報入力部２２６は、画像処理装置２１０に含まれても良い。また、図示しないセンサ、例えば温度センサ、などから関連情報を取得することが出来る。
【００２１】
〈第２実施形態の画像処理装置の機能構成〉
図２Ｂは、第２実施形態の画像処理装置２１０の機能構成を示すブロック図である。以下では、画像処理装置２１０へのデータの入力、データの処理、データの出力の順に、その機能と機能要素の接続を説明する。
【００２２】
通信制御部２１１を介して、カメラやビデオカメラから受信された画像データ（静止画像／動画像）は、まず画像補正部２１２に入力される。画像補正部２１２では、画像そのものが有するノイズの除去や撮影した条件による違いを吸収するために各種の画像補正が行なわれる。ここでは詳細は省略する。画像補正部２１２で補正された画像は、顔検出部２１３と人物検出部２２３とに送られる。顔検出部２１３は、受信した画像の中から人物の顔を検出する。かかる顔検出においては種々の方法が知られており、それを使用するものとする。
【００２３】
顔検出部２１３で検出された各人物の顔のデータに基づいて、以下の３つの処理が行なわれる。なおこの３つに限定されるものではない。１つは、各人物の顔のデータに基づいて、パーツ検出部２１４において顔のパーツ、例えば目や口など、を検出する。なお、本例では、パーツの検出は目や口などの検出以外に目の縁や上下の周囲、頬、などの領域・部位もパーツに含むものとする。これは、本画像処理装置の処理結果が、単純な顔認識に使用されるのみでなく、年齢、性別、嗜好などの分析に使用されるために必要な処理である。次に、パーツ検出部２１４で検出したパーツについて、顔分析部２１５において顔分析が行なわれる。パーツ検出部２１４及び顔分析部２１５の処理には、学習ＤＢ２１６に蓄積された情報が使用され、その結果は新たな情報として蓄積されて以降の処理に使用される。かかる、パーツ検出部２１４、顔分析部２１５及び学習ＤＢ２１６については、具体的なデータ構成により更に詳細に説明される。
【００２４】
２つ目は、各人物の顔のデータに基づいて、装飾品検出部２２１により顔の中及び周辺に有る装飾品、例えばメガネやイヤリングを検出する。なお、この装飾品には髪も含むものとする。３つめは、各人物の顔のデータに基づいて、属性推定部２２２により顔の特徴から、この人物の属性、例えば性別や年齢を検出する。人物の顔から推定する属性は生物、年齢には限定されない。
【００２５】
一方、画像補正部２１２から人物検出部２２３に送られた画像からは、人物が検出される。なお、人物の検出については、顔や頭の検出に基づくものや、動画像であれば頭の動きなどから実現される。人物検出部２２３で検出された人物からは、特徴検出部２２４において、顔から離れた服装やアクセサリ、その人物の行動履歴、またその人物が画像の中で単独かグループに属しているか、などが検出される。なお、属性推定部２２２と特徴検出部２２４は、互いに協働しても構わない。
【００２６】
通信制御部２１１からは、図２Ａに示した各種サーバ２３０からの特に撮影時における関連情報、例えば天気や流行情報など、が情報取得部２２５に送られる。かかる関連情報に、温度センサなどからの関連情報を含んでも良い。また、情報入力部２２６からは、手動であるいは記憶媒体などを介して、関連情報が入力される。
【００２７】
顔情報ＤＢ２１８は、上述の各データを検索可能に関連付けて蓄積し、通信制御部２１１を介して検索制御部２１９により顔認識、年齢、性別、嗜好などの分析のために検索される。顔情報ＤＢ２１８に蓄積されるデータは、パーツ検出部２１４、顔分析部２１５、装飾品検出部２２１、属性推定部２２２、特徴検出部２２４、情報取得部２２５、情報入力部２２６から収集されて、検索可能に蓄積される。
【００２８】
〈第２実施形態の画像処理装置のハードウエア構成〉
図３Ａ及び図３Ｂは、第２実施形態に係る画像処理装置２１０のハードウエア構成を示すブロック図である。図３Ｂは、特に画像処理装置２１０の記憶部（ＲＡＭ３４０とストレージ３５０）の構成を詳細に示したものである。
【００２９】
図３Ａで、ＣＰＵ３１０は演算制御用のプロセッサであり、プログラムを実行することで図２Ｂの各機能構成部を実現する。ＲＯＭ３２０は、初期データ及びプログラムなどの固定データ及びプログラムを記憶する。通信制御部２１１は、ネットワークを介して外部装置と通信する。通信制御部２１１により、各種サーバ２３０や各種センサなどから関連情報、あるいは外部装置の情報利用者から情報検索要求を受け、外部装置の情報利用者に対して顔情報ＤＢ２１８に蓄積され検索された顔情報を提供する。通信は無線でも有線でもよい。
【００３０】
ＲＡＭ３４０は、ＣＰＵ３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ３４０には、本実施形態の実現に必要なデータを記憶するデータ記憶領域３４１とＣＰＵ３１０の実行するプログラムをロードするプログラムロード領域３４２とが確保されている。データ記憶領域３４１には、図３Ｂに図示したデータが一時記憶される。
【００３１】
図３Ｂの３４１１は、カメラあるいはビデオカメラで撮像されて送信された静止画像または動画像の入力画像である。３４１２は、画像補正部２１２で補正した後の補正画像である。３４１３は、補正画像から顔検出部２１３で検出した顔領域画像（顔及び顔周辺領域を含む）である。３４１４は、顔領域画像からパーツ検出部２１４で検出した検出パーツである。３４１５は、検出パーツに基づいて顔分析部２１５で顔分析した顔分析結果である。３４１６は、顔領域画像から装飾品検出部２２１で検出した装飾品検出結果である。３４１７は、顔領域画像から属性推定部２２２で推定した属性推定結果である。３４１８は、補正画像から人物検出部２２３で検出した人物領域画像（人物及び装着品を含む）である。３４１９は、人物領域画像から特徴検出部２２４が検出した人物特徴検出結果である。３４２０は、情報取得部２２５で取得したまたは情報入力部２２６から入力した取得／入力関連情報である。
【００３２】
また、図３Ｂの３４２１は、検索制御部２１９が通信制御部２１１を介して外部装置から受け付けた検索キーワードである。３４２２は、顔情報ＤＢ２１８から検索キーワードに基づいて検索した検索結果であり、検索制御部２１９から通信制御部２１１を介して外部装置に返信される。
【００３３】
ストレージ３５０は、データベース３５１や各種のパラメータ３５２や、ＣＰＵ３１０が実行するプログラム３５３を、不揮発に記憶する大容量記憶装置である。ストレージ３５０には、本実施形態の実現に必要な以下のデータ又はプログラムが記憶されている。
【００３４】
図３Ａのデータベース３５１には、図３Ｂのように、学習ＤＢ２１６と顔情報ＤＢ２１８が含まれる。なお、図１０で後述するが売上ＤＢが記憶されてよい。
【００３５】
図３Ａのパラメータ３５２には、図３Ｂのように、画像補正部２１２による画像補正に使用される画像補正パラメータ３５２１が格納される。画像補正パラメータ３５２１のううち、３５２２は画像の正規化のために、画像全体の濃度、彩度、コントラストを補正するパラメータである。３５２３は、部分領域や境界領域を補正するパラメータである。３５２４は、色補正用のパラメータである。
【００３６】
図３Ａのプログラム３５３には、図３Ｂのように、各プログラムが格納される。３５３１は、全体の処理を実行させる画像処理プログラムである。その一例は図１２に示される。画像処理プログラム３５３１は、学習ＤＢ更新モジュール３５３２、パーツ検出モジュール３５３３、顔分析モジュール３５３４、顔情報ＤＢ作成モジュール３５３５を含んでいる。また、顔情報ＤＢから情報を検索する顔情報ＤＢ検索プログラム３５３６が格納される。
【００３７】
〈第２実施形態の画像処理装置で使用されるデータ構成〉
本実施形態における画像処理装置の処理には、以下のデータ類が使用される。特に、本実施形態においては、学習ＤＢ２１６と顔情報ＤＢ２１８とのデータが重要である。
【００３８】
学習ＤＢ２１６は、概略、次のようなものである。学習ＤＢ２１６は、各顔部位のパーツ属性判定用データと顔分析用データとを持つ。パーツ属性判定用データは、目や眉などの各パーツについて、属性ごとに分類した参照画像とする。属性は、例えば、太さ、大きさ、角度、形状とする。顔分析用データは、目、眉、唇、頬などの各部位ごとに、色および化粧の仕方で分類した色情報または参照画像とする。なお、色情報や参照画像の代わりに、パーツ属性判定処理および顔分析処理に適した情報に変換したデータを保持してもよい。なお、学習ＤＢ２１６は学習データの使い方、学習処理の認識の仕方によって蓄積する内容は変更する必要があり、上記の例はその一例に過ぎない。
【００３９】
顔情報ＤＢ２１８は、概略、次のようなものである。顔情報ＤＢ２１８は、それぞれの顔画像について、顔パーツ情報、顔分析情報、および付帯情報を対応づけて蓄積する。顔パーツ情報は、例えば、各パーツの位置とそれらの相対位置関係、パーツごとの太さ、大きさ、角度、形などの属性情報とする。顔分析情報は、例えば、顔の部位ごとの色、形、塗り方、位置とする。付帯情報は、例えば、顔画像が撮影された場所、日時、天候、被撮影者の性別、年齢、服装とする。
【００４０】
以下に、学習ＤＢ２１６と顔情報ＤＢ２１８とに蓄積されるデータの例を示す。データは、画像データとして蓄積されても良いし、画像から検出・抽出されたデータとして蓄積されても良い。
【００４１】
（学習ＤＢ２１６の例）
・属性が付加された眉毛画像
・太さ、傾き、形ごとに分類された参照画像、
または、それらを処理して抽出されたデータ
・属性が付加された目画像
・角度、傾きごとに分類された参照画像、
または、それらを処理して抽出されたデータ
・属性が付加された口画像
・唇の厚さごとに分類された参照画像、
または、それらを処理して抽出されたデータ
・顔分析用データ
・頭髪、眉、睫、鬚の色情報や参照画像、または、それらを処理して抽出したデータ
・目の色情報、または、それらを処理して抽出したデータ
・色白、色黒、そばかす、ほくろ等の個人の特徴を表す色情報や紋様画像、
または、それらを処理して抽出したデータ
・各顔部位の化粧の色情報、化粧の仕方で分類された参照画像、
または、それらを処理して抽出したデータ
（顔情報ＤＢ２１８の例）
・顔パーツ情報
・顔パーツ情報
・各パーツの位置
・目の傾き（つり目、垂れ目）、形（細目、円らな目）、瞳の色
・眉の角度、太さ、曲り方、色
・唇の厚さ
・輪郭形状（丸い、細い、四角いなど）
・顔分析情報
・頭髪、眉、睫、鬚の色、形
・目の色
・色白、色黒、そばかす、ほくろ等の特徴
・各顔部位の化粧の色、濃さ、形
・付帯情報
・撮影場所
・日時
・性別
・年齢
・服装
【００４２】
なお、上記のデータはその一例であり、これに限定されるものではない。また、以降の本実施形態の説明においては、これらのデータについては複雑になるので全てを説明せずに、本実施形態の画像処理装置が動作するために必要な、その一部の特徴的なデータ構成を簡略化して示す。データは、画像データではなく抽出・検出されたデータに基づいて示している。かかる説明により、データの全体像は当業者には明らかになると考える。
【００４３】
（学習ＤＢ２１６の構成）
最初に学習ＤＢ２１６の構成の具体例を説明する。図４は、第２実施形態に係る学習ＤＢ２１６の構成の一例を示す図である。図４では、特にパーツ検出部２１４でパーツを検出するために使用される部分を示している。なお、顔分析部２１５における学習ＤＢ２１６の使用は、各パーツの特徴によって色や形状の判断精度の相違などが加味されるが、その基本的構成は図４に示される。
【００４４】
図４で４０１は、顔領域内において顔の地色である肌色と識別された部分をパーツ候補として抽出した場合に、その位置を示す。例えば、第１行では、パーツ候補が顔の上半分で左右にある条件を示している。４０２は、パーツ候補の形状であり、長さや幅、曲率（あるいは傾きなど）によりパターンに分類する。一定の範囲内に入るものをそのパターンに属するとする。４０３は、パーツ候補の色である。複数の色がある場合は複数の色を、あるいはパーツ候補の面積中に占める割合を求め、微細なものは削除してよい。４０４は色の濃さであり、図４には例えば２５６階調であれば"２５５"を上限の１．０とした数値例で示されている。
【００４５】
４０６は、４０１から４０４の条件を満たすパーツ候補を、それぞれのパーツと判定するためのパーツＩＤである。以下のデータでパーツと示すものはパーツＩＤによって格納され検索される。
【００４６】
（検出した顔のパーツの構成）
図５は、第２実施形態に係るパーツ検出部２１４と顔分析部２１５との処理から出力されるパーツ情報５００の一例を示す図である。
【００４７】
図５の５０１は、パーツを表わすパーツＩＤである。このように、本実施形態では、顔の部分的な情報、年齢、性別などの顔分析を対象とするため、目などのパーツのみでなく、目の縁、目の上、目の下、頬などもパーツの１つとして検出され蓄積される。５０２は、この顔情報を取得した顔に付して、顔情報ＤＢ２１８の情報を管理するためのシリアルナンバー（以下ＳＮ）である。図５では、同じ顔からの各パーツであるとして、同じＳＮが付されている。５０３はパーツの色を示すデータ、５０４はパーツの形状を示すデータ、５０５はパーツの濃さを示すデータである。各パーツに属するデータはこれに限らない。また、学習ＤＢの構成で述べたように、図５の５０３〜５０５のデータは、顔分析部２１５において分析に使用される学習ＤＢ２１６によって、図４の４０２〜４０４と異なる物であってよい。図５の５０３〜５０５のデータは、パーツが既に判定されているので、よりパーツの特徴に即したより好適に利用可能な分析が可能である。
【００４８】
（検出した顔の装飾品の構成）
図６は、第２実施形態に係る装飾品検出部２２１が顔領域画像から検出した装飾品情報６００の一例を示す図である。
【００４９】
図６の６０１は、装飾品を表わす装飾品ＩＤである。このように、本実施形態では、顔分析と関連を有する顔領域の装飾品が検出され蓄積される。５０２は、図５と同様の顔画像取得ＳＮである。この顔画像取得ＳＮにより装飾品は図５のパーツと関連付けられる。図６では、上の４行が１つの顔から、下の３行が別の顔から検出したものであり、別のＳＮが付されている。６０３は装飾品の色を示すデータ、６０４は装飾品の形状を示すデータである。各装飾品に属するデータはこれに限らない。
【００５０】
（推定した顔の属性の構成）
図７は、第２実施形態に係る属性推定部２２２が推定した顔の属性７００の一例を示す図である。
【００５１】
図７の５０２は、図５及び図６と同様の顔画像取得ＳＮである。この顔画像取得ＳＮにより顔から推定した人物の属性は、図５のパーツや図６の装飾品と関連付けられる。図７では、各行が別の人物として別のＳＮが付されている。７０１は性別を示すデータ、７０２は年齢を示すデータである。顔から推定される属性データはこれに限らない。
【００５２】
（検出した人物の特徴の構成）
図８Ａは、第２実施形態に係る人物検出部２２３が検出した人物の特徴８００の一例を示す図である。
【００５３】
図８Ａの５０２は、図５乃至図７と同様の顔画像取得ＳＮである。この顔画像取得ＳＮにより人物の特徴は、図５のパーツや図６の装飾品や図７の属性と関連付けられる。図８では、各行が別の人物として別のＳＮが付されている。８０１はその人物が来ている服（特に上半身の）を示すデータ、８０２はアクセサリを示すデータ、８０３はその人物の動作履歴を示すデータである。なお、動作履歴は動作履歴から分析された動作傾向であってよい。また、携帯品を含む装飾パーツを含んでも良い。また、複数の人物がグループで画像中に居る場合は、８０４としてグループＩＤが付される。図８では、上の３行の３人が１つのグループ、下の４行の４人が別におグループであることを表わしている。８０５は、各グループ内で類似の顔をしている場合を関連付けるデータである。図８では、４行目と６行目の人物が類似の顔をしていることを示している。人物の特徴データはこれに限らない。
【００５４】
（グループ情報の構成）
図８Ｂは、第２実施形態に係る特徴検出部２２４で検出したグループ８０４の例を示す図である。
【００５５】
図８Ｂの８０４は、図８Ａと同様のグループＩＤである。各グループに別のグループＩＤが付される。８１１はグループの人間関係を表わすデータ、８１２はグループの人数を表わすデータ、８１３はグループの男女比を表わすデータである。例えば、グループＧ０００１は、３人連れの家族であり、男性１人に女性２人である。これは図８Ａのグループと整合性がとれている。グループＧ０００２は、４人連れの会社関係のグループであり、男性１人に女性３人である。グループを特徴付ける共通の属性はこれに限らない。
【００５６】
（取得または入力した環境情報の構成）
図９は、第２実施形態に係る情報取得部２２５が取得または情報入力部２２６が入力した環境関連情報の例を示す図である。
【００５７】
図９の５０２は、図５乃至図８Ａと同様の顔画像取得ＳＮである。この顔画像取得ＳＮにより環境関連情報は、図５のパーツや図６の装飾品、図７の属性、図８Ａの人物の特徴と関連付けられる。図９では、各行が別の人物として別のＳＮが付されている。９０１は画像を撮影した年を示すデータ、９０２は画像を撮影した季節を示すデータ、９０３は画像を撮影した時間帯を示すデータである。なお、季節は月に置き換えてもよい。また、９０４は画像を撮影した場所、９０５は画像を撮影した時の天気、９０６は画像を撮影した時の温度や湿度である。場所は、カメラやビデオカメラから通知されても、予め登録されていてもよい。また、天気や温度／湿度は、各種サーバ２３０から取得しても不図示のセンサ類で検出してもよい。更に、９０７は現在の流行情報である。この流行情報は各種サーバ２３０あるいは情報入力部２２６から取得されてよい。なお、関連情報はこれに限らず、顔分析に関連する情報であれば、有用である。
【００５８】
〈第２実施形態の顔情報ＤＢを含む構成〉
最後に、顔情報ＤＢ２１８の構成の具体例を説明する。図１０は、第２実施形態に係る顔情報ＤＢ２１８を含むストレージ３５０における格納例を示す図である。
【００５９】
図１０には、図３Ｂに加えて検索のための検索キーワード群１０１０と、売上げと実際の使用状況を知るための売上ＤＢ１０２０とが図示されている。
【００６０】
検索キーワード群１０１０には、例えば、パーツ／顔分析関連のキーワード群、人物関連のキーワード群、装飾品／装着品（アクセサリ）関連のキーワード群、環境情報関連のキーワード群、を含む。
【００６１】
上記検索キーワード群１０１０により、矢印で示すように、顔情報ＤＢ２１８から情報が検索されて出力される。顔情報ＤＢ２１８の検索キーとしては、例えば、顔情報取得ＳＮ、パーツＩＤ、装飾品ＩＤ、性別／年齢、装着品（アクセサリ）ＩＤ、人物関連情報のＩＤ、環境関連情報のＩＤ、が含まれる。
【００６２】
売上ＤＢ１０２０には、製品ＩＤに対応して、装飾品、色、月毎の売上、売上げの経過などが蓄積される。
【００６３】
（売上ＤＢと使用状況の例）
図１１は、第２実施形態に係る売上ＤＢ１０２０を参照した売上ＤＢと使用状況の例を示す図である。
【００６４】
図１１には、上記の製品ＩＤ１１０１に対応する、装飾品１１０２、色１１０３、月毎の売上１１０４に基づいて、顔情報ＤＢ２１８に蓄積された同じ装飾品の製品の各色の使用頻度１１０５が算出されている。図１１には、装飾品「眼鏡」についての情報が示されている。かかる売上げと使用頻度とを参照すれば、使用状況を把握することが可能である。なお、かかる売上ＤＢと使用状況については、顔情報ＤＢ２１８に蓄積されたデータの使用方法の一例を示したのみである。すなわち、顔情報ＤＢ２１８に蓄積されたデータが検索キーワード群１０１０で検索可能に格納されていることにより可能となる使用例であり、これに限定されない多様な使用が可能である。
【００６５】
〈第２実施形態の画像処理装置の動作手順〉
以下、上記本実施形態の画像処理装置２１０の構成、及びデータ類を使って、人物の種々の情報を観察してその情報を適切な形式により顔情報ＤＢ２１８に蓄積する手順を説明する。
【００６６】
（画像処理における顔情報ＤＢの蓄積手順）
図１２は、第２実施形態に係る画像処理装置２１０における顔情報ＤＢ２１８の生成の処理手順を示すフローチャートである。このフローチャートは、図３ＡのＣＰＵ３１０によってＲＡＭ３４０を使用しながら実行され、図２Ｂの画像処理装置２１０の各機能構成部を実現する。
【００６７】
まず、ステップＳ１２０１において、カメラやビデオカメラから画像（静止画像／動画像）を取得する。ステップＳ１２０３において、顔検出処理を実行する。次に、ステップＳ１２０５において、顔領域から学習ＤＢ２１６の情報を参照してパーツ検出処理を実行する。続いて、ステップＳ１２０７において、パーツ情報と学習ＤＢ２１６の情報とを参照して、顔分析処理を実行する。ステップＳ１２０９において、ステップＳ１２０５において検出したパーツと、ステップＳ１２０７において顔分析された分析結果とを、学習ＤＢ２１６に蓄積する。なお、ステップＳ１２０５〜Ｓ１２０９の処理は、図１３のフローチャートにおいて更に詳しく説明する。
【００６８】
ステップＳ１２１１において、顔情報に基づく関連情報を取得する。顔情報に基づく関連情報には、顔領域の装飾品や顔から推定される人物の属性が含まれるが、これに限定されない。ステップＳ１２１３において、人物検出処理が実行される。続いて、ステップＳ１２１５において、人物情報に基づく関連情報を取得する。人物情報に基づく関連情報には、例えば性別や年齢が含まれるが、これに限定されない。ステップＳ１２１７において、環境関連情報が取得あるいは入力される。環境関連情報には、画像の撮影日時や場所、天気などの環境情報、流行情報などが含まれるが、これに限定されない。
【００６９】
ステップＳ１２１９において、上記ステップＳ１２０５、Ｓ１２０７、Ｓ１２１１、Ｓ１２１５、Ｓ１２１７において収集された情報は、互いに関連付けられて検索可能に顔情報ＤＢ２１８に格納される。
【００７０】
（パーツ検出／顔分析の動作手順）
図１３は、図１２のステップＳ１２０５〜Ｓ１２０９のパーツ検出及び顔分析の処理手順を詳細に示すフローチャートである。このフローチャートは、図３ＡのＣＰＵ３１０によってＲＡＭ３４０を使用しながら実行され、図２Ｂの画像処理装置２１０の各機能構成部を実現する。
【００７１】
ステップＳ１３０１は、オプショナルな処理であり、補正された入力画像に対して素顔を認識する処理である。素顔の認識には、例えば、首付近の領域の肌色を基準としたり、肌領域のコントラストを上げるなどの処理が考えられる。かかる素顔の認識は、パーツの抽出及びパーツ自身の属性をより精度良く検出するために必要なステップである。ステップＳ１３０３において、パーツ候補を抽出する。パーツ候補は顔の肌色と異なる色の部分である。ステップＳ１３０５において、パーツ候補の顔における相対位置、色、形状を抽出する。ステップＳ１３０７において、パーツ候補の位置、色、形状から学習ＤＢ２１６を参照して相当するパーツが有るか否かが判断される。学習ＤＢ２１６に無ければパーツではないと判断してステップＳ１３０３に戻って、次のパーツ候補を抽出する。
【００７２】
パーツであると判断されれば、ステップＳ１３０９に進んで、パーツの位置の周辺のパーツ外の領域を抽出する。かかる領域は、例えば頬や額、顎などのパーツでない領域である。これらの領域の位置、色、形状が確定できれば形状も抽出する。ステップＳ１３１１においては、パーツとパーツの位置、色、形状とを対応付け、あるいはパーツ外の領域と位置、色、形状とを対応付ける。ステップＳ１３１３において、対応付けた情報を学習ＤＢ２１６に以後の参照のために蓄積する。
【００７３】
ステップＳ１３１５において、顔領域の全領域を処理したかを判定し、全領域を判定するまで繰り返す。このように、本実施形態では、顔分析に必要な情報として、パーツのみの情報でなく、パーツではない領域の分析・蓄積を行なう。
【００７４】
（顔情報ＤＢからの検索手順）
図１４は、第２実施形態に係る顔情報ＤＢ２１８からの情報の検索処理の処理手順を示すフローチャートである。このフローチャートは、図３ＡのＣＰＵ３１０によってＲＡＭ３４０を使用しながら実行され、図２Ｂの画像処理装置２１０の各機能構成部を実現する。
【００７５】
まず、ステップＳ１４０１において、顔情報ＤＢ２１８からの情報を要求する装置に対して、キーワード入力画面の表示を指示する。ステップＳ１４０３において、キーワード画面からの入力によるキーワード受信を待って、受信があればステップＳ１４０５に進む。このキーワードについては、図１０を参照してその例を示した。
【００７６】
ステップＳ１４０５において、受信したキーワードに基づく顔情報ＤＢ２１８からの検索処理を実行する。ステップＳ１４０７において、検索結果として出力された情報を出力用に整理する。ステップＳ１４０９において、検索結果を顔情報ＤＢ２１８からの情報を要求した装置に対して出力する。ステップＳ１４１１において、検索終了を判定し、終了でなければステップＳ１４０１に戻って次の検索を繰り返す。
【００７７】
［第３実施形態］
第２実施形態の画像処理装置２１０は、閉じられた画像処理システム２００において顔情報ＤＢ２１８の顔情報を蓄積して、提供する構成であった。第３実施形態にける画像処理装置２１０は、ネットワークを介して開かれた画像処理システムにおいて、同様に広く顔情報の照合に有用な情報を集め、提供する。本実施形態によれば、広く一般のユーザにまで情報を提供可能になる。
【００７８】
〈第３実施形態の画像処理システムの構成〉
図１５は、第３実施形態に係る画像処理装置を含む画像処理システム１５００の構成を示すブロック図である。
【００７９】
図１５においては、画像処理装置２１０はネットワーク１５８０を介して、情報収集のためのカメラ１５２０やビデオカメラ１５１０，１５３１、各種サーバ２３０、各種センサ類１５７０に接続される。また、画像処理装置２１０の情報提供相手として、モニタ１５３０やＰＣ１５４０、通信端末、あるいは顔情報を更に分析する情報処理装置１５５０に接続される。このように画像処理システム１５００を構成することで、多くの情報を収集でき、多くのユーザの収集データを提供可能になる。
【００８０】
［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステム又は装置も、本発明の範疇に含まれる。
【００８１】
また、本発明は、複数の機器から構成されるシステムに適用されても良いし、単体の装置に適用されても良い。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システム或いは装置に直接或いは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、或いはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【特許請求の範囲】
【請求項１】
撮影された画像から顔情報を検出して分析するための画像処理装置であって、
撮像された画像から顔領域を検出する顔検出手段と、
検出した前記顔領域から顔のパーツを検出するパーツ検出手段と、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析手段と、
前記顔検出手段が検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得手段と、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記パーツ検出手段が前記顔領域から顔のパーツを検出するための学習データを蓄積する学習データ蓄積手段をさらに備え、
前記パーツ検出手段は、前記学習データ蓄積手段に蓄積された学習データを参照して前記顔領域から顔のパーツを検出し、検出した前記顔のパーツの情報を前記学習データ蓄積手段に対し参照可能に格納することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記学習データ蓄積手段は、前記属性分析手段が前記色を含む属性を分析するための学習データをさらに蓄積し
前記属性分析手段は、前記学習データ蓄積手段に蓄積された学習データを参照して前記色を含む属性を分析し、分析した前記色を含む属性を前記学習データ蓄積手段に対し参照可能に格納することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記関連情報は、前記顔領域の画像から抽出された前記顔のパーツを除くパーツを含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記関連情報は、前記顔領域の画像から推定される年齢、性別を含む前記顔領域を含む人物の属性を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記関連情報は、前記顔領域を含む人物の服装、装着しているアクセサリ、携帯品を含む装飾パーツを含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記関連情報は、前記顔領域を含む人物の行動履歴から推定される動作傾向を含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記関連情報は、前記撮像された画像から認識された前記顔領域を含む人物を含むグループ、該グループの人間関係、該グループに共通の属性を含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記関連情報は、前記顔領域を含む画像が撮像された日時、季節、時間、場所、天気を含む撮影の環境情報を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記蓄積手段に蓄積した前記パーツと前記属性と前記関連情報とを、前記パーツと前記属性と前記関連情報と少なくとも１つの情報をキーワードとして検索する検索手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
撮影された画像から顔情報を検出して分析するための画像処理装置の制御方法であって、
撮像された画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
を含むことを特徴とする画像処理装置の制御方法。
【請求項１２】
撮影された画像から顔情報を検出して分析するための画像処理装置の制御プログラムであって、
撮像された画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
【請求項１３】
撮影された画像から顔情報を検出して分析するための画像処理システムであって、
人物を含む画像を撮影する撮像手段と、
前記撮像手段が撮像した画像から顔領域を検出する顔検出手段と、
検出した前記顔領域から顔のパーツを検出するパーツ検出手段と、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析手段と、
前記顔検出手段が検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得手段と、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積手段と、
を備えることを特徴とする画像処理システム。
【請求項１４】
撮影された画像から顔情報を検出して分析するための顔情報蓄積方法であって、
人物を含む画像を撮影する撮像ステップと、
前記撮像ステップにおいて撮像した画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
を含むことを特徴とする顔情報蓄積方法。
【請求項１】
撮影された画像から顔情報を検出して分析するための画像処理装置であって、
撮像された画像から顔領域を検出する顔検出手段と、
検出した前記顔領域から顔のパーツを検出するパーツ検出手段と、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析手段と、
前記顔検出手段が検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得手段と、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記パーツ検出手段が前記顔領域から顔のパーツを検出するための学習データを蓄積する学習データ蓄積手段をさらに備え、
前記パーツ検出手段は、前記学習データ蓄積手段に蓄積された学習データを参照して前記顔領域から顔のパーツを検出し、検出した前記顔のパーツの情報を前記学習データ蓄積手段に対し参照可能に格納することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記学習データ蓄積手段は、前記属性分析手段が前記色を含む属性を分析するための学習データをさらに蓄積し
前記属性分析手段は、前記学習データ蓄積手段に蓄積された学習データを参照して前記色を含む属性を分析し、分析した前記色を含む属性を前記学習データ蓄積手段に対し参照可能に格納することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記関連情報は、前記顔領域の画像から抽出された前記顔のパーツを除くパーツを含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記関連情報は、前記顔領域の画像から推定される年齢、性別を含む前記顔領域を含む人物の属性を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記関連情報は、前記顔領域を含む人物の服装、装着しているアクセサリ、携帯品を含む装飾パーツを含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記関連情報は、前記顔領域を含む人物の行動履歴から推定される動作傾向を含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記関連情報は、前記撮像された画像から認識された前記顔領域を含む人物を含むグループ、該グループの人間関係、該グループに共通の属性を含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記関連情報は、前記顔領域を含む画像が撮像された日時、季節、時間、場所、天気を含む撮影の環境情報を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記蓄積手段に蓄積した前記パーツと前記属性と前記関連情報とを、前記パーツと前記属性と前記関連情報と少なくとも１つの情報をキーワードとして検索する検索手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
撮影された画像から顔情報を検出して分析するための画像処理装置の制御方法であって、
撮像された画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
を含むことを特徴とする画像処理装置の制御方法。
【請求項１２】
撮影された画像から顔情報を検出して分析するための画像処理装置の制御プログラムであって、
撮像された画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
【請求項１３】
撮影された画像から顔情報を検出して分析するための画像処理システムであって、
人物を含む画像を撮影する撮像手段と、
前記撮像手段が撮像した画像から顔領域を検出する顔検出手段と、
検出した前記顔領域から顔のパーツを検出するパーツ検出手段と、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析手段と、
前記顔検出手段が検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得手段と、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積手段と、
を備えることを特徴とする画像処理システム。
【請求項１４】
撮影された画像から顔情報を検出して分析するための顔情報蓄積方法であって、
人物を含む画像を撮影する撮像ステップと、
前記撮像ステップにおいて撮像した画像から顔領域を検出する顔検出ステップと、
検出した前記顔領域から顔のパーツを検出するパーツ検出ステップと、
検出した前記パーツの領域、前記パーツの周辺領域、前記顔領域の他の部分領域の少なくとも１つの領域における、色を含む属性を分析する属性分析ステップと、
前記顔検出ステップにおいて検出した前記顔領域と関連付けられる関連情報を取得する関連情報取得ステップと、
前記パーツと、前記属性と、前記関連情報とを検索可能に関連付けて蓄積する蓄積ステップと、
を含むことを特徴とする顔情報蓄積方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２０３５９２（Ｐ２０１２−２０３５９２Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６６８３０（Ｐ２０１１−６６８３０）
【出願日】平成２３年３月２４日（２０１１．３．２４）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（０００１６４４４９）九州日本電気ソフトウェア株式会社 (67)
【出願人】（０００２３２０９２）ＮＥＣソフト株式会社 (173)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２４日（２０１１．３．２４）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（０００１６４４４９）九州日本電気ソフトウェア株式会社 (67)
【出願人】（０００２３２０９２）ＮＥＣソフト株式会社 (173)
【Ｆターム（参考）】
[ Back to top ]