計数装置、計数方法、および計数プログラム
【課題】物体の属性を推定し、属性別に計数した計数値に対する補正の精度を高め、この補正によって得られる補正計数値の信頼性を十分に向上させることができる計数装置を提供する。
【解決手段】計数装置１は、カメラで撮像された撮像画像を処理し、この撮像画像に撮像されている物体の属性を推定し、属性毎に、推定した物体数を計数する。また、計数装置１は、推定される属性毎の推定割合を示す推定割合データを記憶している。計数装置１は、各属性の計数値、および推定割合データを用いて、各属性の補正計数値を算出する。したがって、属性の推定誤りを考慮した補正が行えるので、この補正によって得られる補正計数値の信頼性を十分に向上させることができる。
【解決手段】計数装置１は、カメラで撮像された撮像画像を処理し、この撮像画像に撮像されている物体の属性を推定し、属性毎に、推定した物体数を計数する。また、計数装置１は、推定される属性毎の推定割合を示す推定割合データを記憶している。計数装置１は、各属性の計数値、および推定割合データを用いて、各属性の補正計数値を算出する。したがって、属性の推定誤りを考慮した補正が行えるので、この補正によって得られる補正計数値の信頼性を十分に向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、物体の属性を推定し、属性別に物体を計数する計数装置、計数方法、および計数プログラム
【背景技術】
【０００２】
従来、店舗に来店した顧客や、商品を購入した顧客を属性別に計数する計数装置があった。ここで言う属性とは、性別や年代（または年齢）等である。この計数装置は、カメラの撮像画像を処理し、撮像されている顧客の目尻、ほうれい線、口元、顎等の特徴量を抽出し、抽出した特徴量から属性を推定する。来店した顧客を計数する場合には、カメラは店舗の入口付近に設置される。また、商品を購入した顧客を計数する場合には、カメラは店舗のレジ付近に設置される。
【０００３】
店舗では、この計数装置によって計数された属性毎の顧客の人数を参考にして、売上の向上や顧客サービスの向上を図っている。具体的には、計数装置の計数結果から来店する顧客や、商品を購入する顧客の傾向（性別や年齢層等）を判断し、店舗で販売する商品のラインアップや、商品の陳列方法等の改良を行っている。
【０００４】
顧客の属性は、その顧客を撮像した撮像画像によって推定することから、撮像画像における顔の向きや撮像環境等によって、属性を誤って推定することがある。例えば、西日などの外光の関係により、顧客の顔のしわや輪郭などが正確に撮影できないことにより、実際よりも若く計測したりすることがある。また、女性的特徴（顔器官に丸みがある、眉が細い等）を持つ男性を女性と推定したり、男性的特徴（彫りが深い、目が細い等）を持つ女性を男性と推定することがある。属性の推定誤りの発生頻度は、属性を判定するプログラム等の改良やカメラの設置環境の最適化によって、ある程度抑えられる。しかし、属性の推定誤りの発生頻度を０にすることはできない。また、属性誤りの発生頻度は、推定する属性の種類の増加にともなって大きくなる。
【０００５】
そこで、属性別の計数結果に、推定誤りによる誤差が含まれていることを考慮し、この属性別の計数値を補正し、その補正計数値を出力することが提案されている（特許文献１参照）。この特許文献１では、
（１）男性（または女性）と推定した人数を計数した計数値に対して、予め定めた識別精度（０以上、１以下の値）をかけた値を補正計数値値とする手法や、
（２）男性（または女性）と推定した人数を計数した計数値と、男性であるか女性であるかを推定できなかった人数を計数した計数値に対して、予め定めた男性比率（または女性比率）をかけた値と、の和を補正計数値とする手法や、
（３）上記（２）における男性比率（または女性比率）を、男性（または女性）と推定した人数を、男性と推定した人数と女性と推定した人数の和で除算した値とする手法、
を提案している。
【特許文献１】特開２００７−１０２４８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１における上記（１）の手法では、属性を推定した人数（サンプル数）と、補正された男性の人数と女性の人数との和（出力数）と、が一致しない。したがって、この手法では、属性別の計数値から、信頼性を十分に向上させた補正計数値を得ることはできない。
【０００７】
また、上記（２）、および（３）は、男性または女性と推定された属性の推定精度が１００％であることを前提にしている。このため、男性または女性と推定された属性の計数値に対して、何らの補正も行われない。したがって、これらの手法でも、属性別の計数値から、信頼性を十分に向上させた補正計数値を得ることはできない
この発明の目的は、物体の属性を推定し、属性別に計数した計数値に対する補正の精度を高め、この補正によって得られる補正計数値の信頼性を十分に向上させることができる計数装置、計数方法、および計数プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
この発明の計数装置は、上記課題を解決し、その目的を達するために、以下の構成を備えている。
【０００９】
属性推定手段が、例えば、ＣＣＤカメラ等の撮像装置で撮像された撮像画像を処理し、この撮像画像に撮像されている人や車両等の物体の属性を推定する。例えば、物体が、人である場合には、性別や年代（または年齢）等を属性として推定する。また、物体が車両である場合には、軽車両、小型車両、普通車両、大型車両等の車両種類を属性として推定する。計数手段が、属性毎に、前記属性推定手段によって推定された物体数を計数する。計数手段は、例えば、属性推定手段が物体の属性を推定する毎に、推定された属性の物体の計数値を１カウントアップする。
【００１０】
また、各属性の物体について、属性推定手段によって推定される属性毎の推定割合を示す推定割合データを推定割合記憶手段に記憶している。推定割合データは、具体的に言うと、属性ｎの物体を属性ｍと推定する割合である。例えば推定する属性の種類が属性１、属性２、属性３、および属性４の４つである場合、属性毎に、その属性ｎ（ｎ＝１、２、３、４）の物体が属性１に推定される推定割合［１，ｎ］、属性２に推定される推定割合［２，ｎ］、属性３に推定される推定割合［３，ｎ］、および属性４に推定される推定割合［４，ｎ］を記憶している。すなわち、推定割合データは、１６（４×４）個の推定割合によって構成される。
【００１１】
推定割合データを構成する推定割合の個数は、推定する属性の種類数ｎの２乗である。また、各属性ｍの推定割合の総和（［１，ｍ］＋［２，ｍ］＋・・・＋［ｎ，ｍ］）の総和は１である。ただし、ｍは、１〜ｎである。
【００１２】
そして、補正計数値算出手段が計数手段によって計数された各属性の計数値、および前記推定割合記憶手段が記憶する前記推定割合データを用いたｎ次元一次連立方程式により、各属性の補正計数値を算出する。
【００１３】
このｎ次元一次連立方程式は、
属性ｎ（ｎ＝１・・・ｎ）の計数値をＡｎ
属性ｎの補正計数値をＡｎ’
属性ｎの物体を属性ｍ（ｍ＝１・・・ｎ）と推定する推定割合を［ｍ，ｎ］とした場合、
【００１４】
【数２】
【００１５】
で表される、ｎ次元連立一次方程式になる。
【００１６】
例えば、推定する属性が属性１、属性２、属性３、および属性４である場合に、各属性の計数値をＡｎ（ｎ＝１、２、３、４）とすると、
Ａ１＝Ａ１’×［１，１］＋Ａ２’×［１，２］
＋Ａ３’×［１，３］＋Ａ４’×［１，４］
Ａ２＝Ａ１’×［２，１］＋Ａ２’×［２，２］
＋Ａ３’×［２，３］＋Ａ４’×［２，４］
Ａ３＝Ａ１’×［３，１］＋Ａ２’×［３，２］
＋Ａ３’×［３，３］＋Ａ４’×［３，４］
Ａ４＝Ａ１’×［４，１］＋Ａ２’×［４，２］
＋Ａ３’×［４，３］＋Ａ４’×［４，４］
で示される４次元一次連立方程式を解くことにより、各属性の補正計数値Ａｎ’を算出することができる。
【００１７】
ここで、［数２］で示されるｎ次元一次連立方程式は、
【００１８】
【数３】
【００１９】
に示す行列式で表すことができる。そして、この［数３］は、公知のガウス・ジョルダン法で解くことができる。
【００２０】
なお、属性毎の推定割合の総和は１である。
【００２１】
これにより、属性を推定した物体の個数（サンプル数）と、補正された各属性の補正計数値の総和と、は等しくなる。また、計数値に対して、属性の推定誤りを考慮した補正が行えるので、この補正によって得られる補正計数値の信頼性を十分に向上させることができる。
【発明の効果】
【００２２】
この発明によれば、物体の属性を推定し、属性別に計数した計数値に対する補正の精度を高め、この補正によって得られる補正計数値の信頼性を十分に向上させることができる。
【発明を実施するための最良の形態】
【００２３】
以下、この発明の実施形態である計数装置について説明する。
【００２４】
図１は、この発明の実施形態である計数装置の主要部の構成を示すブロック図である。この計数装置１は、顧客を属性別に計数する。計数装置１は、制御部２と、画像入力部３と、画像処理部４と、記憶部５と、操作部６と、出力部７と、を備えている。制御部２は、計数装置１本体各部の動作を制御する。画像入力部３には、撮像装置であるカメラ１０が接続されている。カメラ１０は、顧客を撮像する場所に取り付けられている。例えば、店舗に来店した顧客を属性別に計数する場合には、カメラ１０は、店舗の入口付近で、店舗に入る顧客を正面から撮像する向きに取り付ける。また、店舗で商品を購入した顧客を属性別に計数する場合には、カメラ１０は、店舗のレジ付近で、取引金額の精算を行っている顧客を正面から撮像する向きに取り付ける。画像入力部３には、接続されているカメラ１０の撮像画像が入力される。画像処理部４は、画像入力部３に入力された撮像画像を処理し、撮像されている顧客の属性を推定する。ここでは、性別、および年代を属性として推定する場合を例にして説明する。
【００２５】
記憶部５は、属性毎に、その属性であると推定した顧客の人数（計数値）を記憶する計数値記憶エリア５ａと、後述する補正計数値算出処理で用いる推定割合データを記憶する推定割合データ記憶エリア５ｂと、を有する。計数値記憶エリア５ａは、図２（Ａ）に示す計数値データを記憶している。この計数値データは、画像処理部４が顧客の属性を推定する毎に、このときに推定された属性の計数値を１カウントアップされる。ここでは、画像処理部４が推定する顧客の属性を、
属性１：１８歳未満の男性、
属性２：１８歳以上〜３０歳未満の男性、
属性３：３０歳以上〜４０歳未満の男性、
属性４：４０歳以上〜５０歳未満の男性、
属性５：５０歳以上の男性、
属性６：１８歳未満の女性、
属性７：１８歳以上〜３０歳未満の女性、
属性８：３０歳以上〜４０歳未満の女性、
属性９：４０歳以上〜５０歳未満の女性、
属性１０：５０歳以上の女性
の１０種類であるとして説明する。
【００２６】
また、ここでは、属性ｎ（ｎは、１〜１０）の顧客を、属性ｍ（ｍは、１〜１０）であると判定する割合［ｍ，ｎ］を推定割合という。推定割合データ記憶エリア５ｂは、図２（Ｂ）に示す推定割合データを記憶する。例えば推定割合［１，１］は、属性１である顧客を、正しく属性１であると推定する割合であり、推定割合［１，２］は、属性２である顧客を、誤って属性１であると推定する割合である。この例では、推定割合データは、［１，１］〜［１０，１０］からなる１００個の推定割合で構成される。推定割合データを構成する推定割合の個数は、推定する属性の種類数の２乗である。
【００２７】
なお、各推定割合は、０以上で１以下の値である。また、属性毎の推定割合の総和（図２（Ｂ）に示す横方向に並んでいる推定割合）は１である。
【００２８】
また、属性毎の推定割合は、その属性の複数人の顧客（例えば、１０００人や１００００人の顧客）を対象にして実際に属性を推定し、その推定結果に基づいて設定すればよい。
【００２９】
操作部６は、キーボードやマウス等の入力デバイスを有し、装置本体に対する入力操作を受け付ける。出力部７は、接続されている表示器やプリンタに対して、処理結果等を出力する。
【００３０】
制御部２は、計数値記憶エリア５ａに記憶する計数値データ、および推定割合データ記憶エリア５ｂに記憶する推定割合データに基づいて、各属性の補正計数値を算出する補正計数値算出処理を行う。この補正計数値算出処理の詳細については、後述する。この補正計数値は、画像処理部４における属性の推定精度を考慮して計数値を補正した各属性の顧客の人数である。
【００３１】
次に、この計数装置１の動作について説明する。この計数装置１は、カメラ１０の撮像画像を処理して、撮像されている人物の属性を推定し、顧客を属性別に計数する計数処理と、画像処理部４における属性の推定精度を考慮して計数値を補正する補正計数値算出処理と、を行う。
【００３２】
まず、計数処理について説明する。図３は、計数処理を示すフローチャートである。計数装置１の画像入力部３には、カメラ１０から１秒間に数十フレームの撮像画像が入力されている。画像処理部４は、画像入力部３に入力された撮像画像に顧客が撮像されているかどうかを判定する（ｓ１）。ｓ１では、例えば背景画像との差分画像を生成し、この差分画像に対する顔等の形状のパターンマッチング等を行い、人らしきものが撮像されているかどうかを判定する。また、特に差分画像を生成せずに、撮像画像に対して直接上述したパターンマッチング等を行ってもよい。さらに、時間的に連続する撮像画像の差分画像を生成し、移動体の有無を検出することによって、ｓ１にかかる判定を行うようにしてもよい。
【００３３】
画像処理部４は、ｓ１で顧客が撮像されていると判定すると、その人物の顔がほぼ正面から撮像されているカメラ１０の撮像画像を選択する（ｓ２）。上述したように、カメラ１０からは、１秒間に数十フレームの撮像画像が入力されているので、ｓ１で撮像されていることを検出した顧客が撮像されている撮像画像も複数フレームある。ｓ２は、顧客の属性を推定するのに適した撮像画像を選択する処理である。
【００３４】
画像処理部４は、ｓ２で選択した撮像画像を処理し、撮像されている顧客の属性を推定する（ｓ３）。ｓ３では、上述した属性１〜属性１０のいずれであるかを推定する。属性の推定は、例えば、目尻、ほうれい線、口元、顎等の特徴量を抽出し、抽出した特徴量に基づいて行う。計数装置１は、画像処理部４がｓ３推定した属性について、記憶部５の計数値記憶エリア５ａに記憶している該当する属性の計数値を１カウントアップし（ｓ４）、ｓ１に戻る。
【００３５】
計数装置１は、上記処理を繰り返すことにより、カメラ１０で撮像した顧客（例えば、店舗に来店した顧客や、商品を購入した顧客）の属性を推定し、属性別に人数を計数する。
【００３６】
次に、記憶部５の計数値記憶エリア５ａに記憶している属性別の計数値を補正する補正計数値算出処理について説明する。この補正計数値算出処理は、上述した計数処理において、顧客の属性の推定に誤りがあることを前提に、属性別の計数値Ａｎを補正する処理である。この補正計数値算出処理は、例えば、オペレータが操作部６を操作して実行開始かかる入力操作を行う構成であってもよいし、定期的に自動実行する構成であってもよい。
【００３７】
この計数装置１では、ある属性ｎの計数値は、属性毎に、その属性について求める人数（ここで言う、補正計数値に相当する。）と、その属性の人を属性ｎであると推定する推定割合との積、の総和であるとしている。
【００３８】
具体的には、第１の属性を属性Ｘ（上述した属性１〜属性１０のいずれか）とした場合、属性Ｘの計数値をＡｘ、属性Ｘの補正計数値をＡｘ’とすると、
【００３９】
【数４】
【００４０】
で示される１０次元連立一次方程式で表すことができる。
【００４１】
これは、
【００４２】
【数５】
【００４３】
に示す行列式で表すことができる。したがって、推定割合データに基づく行列Ｚの逆行列を両辺の左側にかけることにより、属性毎の補正計数値Ａｘ’を算出することができる。すなわち、［数４］は、公知のガウス・ジョルダン法で解くことができる。
【００４４】
計数装置１は、記憶部５の計数値記憶エリア５ａに記憶している計数値データを読み出すとともに、推定割合データ記憶エリア５ｂに記憶している推定割合データを読み出す（ｓ１１、ｓ１２）。ｓ１１、ｓ１２にかかる処理は、どちらが先に行われてもよい。計数装置１は、公知のガウス・ジョルダン法により、属性毎の補正計数値Ａｎ’を算出する（ｓ１３）。計数装置１は、ｓ１３で算出した属性毎の補正計数値Ａｎ’を出力部７から出力し（ｓ１４）、本処理を終了する。出力部７から出力された属性毎の補正計数値Ａｎ’は、この出力部７に接続している表示器で表示してもよいし、プリンタで印刷してもよい。
【００４５】
このように、計数値Ａｎに対して、属性の推定誤りを考慮した補正が行えるので、この補正によって得られる補正計数値Ａｎ’の信頼性を十分に向上させることができる。したがって、顧客の属性別の人数を精度良く得ることができる。
【００４６】
また、上記の説明では、画像入力部３に接続されているカメラ１０を１つとして説明したが、複数のカメラが接続されていてもよい。この場合には、カメラ１０毎に上述した処理を行えばよい。また、属性を推定する物体としては、人だけでなく、車両等の他の物体であってもよい。
【００４７】
なお、推定する属性が属性１、および属性２の２種類であるときには、推定割合［１，１］と［２，１］との和が１であり、推定割合［１，２］と［２，２］との和が１であるので、推定割合［２，１］と［１，２］を用いずに、
Ａ１’＝（Ａ２−（Ａ１＋Ａ２）×［２，２］）／（１−（［１，１］＋［２，２］））
Ａ２’＝（Ａ１−（Ａ１＋Ａ２）×［１，１］）／（１−（［１，１］＋［２，２］））
により算出することもできる。
【００４８】
また、画像処理部４で推定する属性の種類は、上記した１０種類に限らず、何種類であってもよい。
【図面の簡単な説明】
【００４９】
【図１】計数装置の主要部の構成を示すブロック図である。
【図２】計数値データ、および推定割合データを示す図である。
【図３】計数処理を示すフローチャートである。
【図４】補正計数値算出処理を示すフローチャートである。
【符号の説明】
【００５０】
１−計数装置
２−制御部
３−画像入力部
４−画像処理部
５−記憶部
５ａ−計数値記憶エリア
５ｂ−推定割合データ記憶エリア
１０−カメラ
【技術分野】
【０００１】
この発明は、物体の属性を推定し、属性別に物体を計数する計数装置、計数方法、および計数プログラム
【背景技術】
【０００２】
従来、店舗に来店した顧客や、商品を購入した顧客を属性別に計数する計数装置があった。ここで言う属性とは、性別や年代（または年齢）等である。この計数装置は、カメラの撮像画像を処理し、撮像されている顧客の目尻、ほうれい線、口元、顎等の特徴量を抽出し、抽出した特徴量から属性を推定する。来店した顧客を計数する場合には、カメラは店舗の入口付近に設置される。また、商品を購入した顧客を計数する場合には、カメラは店舗のレジ付近に設置される。
【０００３】
店舗では、この計数装置によって計数された属性毎の顧客の人数を参考にして、売上の向上や顧客サービスの向上を図っている。具体的には、計数装置の計数結果から来店する顧客や、商品を購入する顧客の傾向（性別や年齢層等）を判断し、店舗で販売する商品のラインアップや、商品の陳列方法等の改良を行っている。
【０００４】
顧客の属性は、その顧客を撮像した撮像画像によって推定することから、撮像画像における顔の向きや撮像環境等によって、属性を誤って推定することがある。例えば、西日などの外光の関係により、顧客の顔のしわや輪郭などが正確に撮影できないことにより、実際よりも若く計測したりすることがある。また、女性的特徴（顔器官に丸みがある、眉が細い等）を持つ男性を女性と推定したり、男性的特徴（彫りが深い、目が細い等）を持つ女性を男性と推定することがある。属性の推定誤りの発生頻度は、属性を判定するプログラム等の改良やカメラの設置環境の最適化によって、ある程度抑えられる。しかし、属性の推定誤りの発生頻度を０にすることはできない。また、属性誤りの発生頻度は、推定する属性の種類の増加にともなって大きくなる。
【０００５】
そこで、属性別の計数結果に、推定誤りによる誤差が含まれていることを考慮し、この属性別の計数値を補正し、その補正計数値を出力することが提案されている（特許文献１参照）。この特許文献１では、
（１）男性（または女性）と推定した人数を計数した計数値に対して、予め定めた識別精度（０以上、１以下の値）をかけた値を補正計数値値とする手法や、
（２）男性（または女性）と推定した人数を計数した計数値と、男性であるか女性であるかを推定できなかった人数を計数した計数値に対して、予め定めた男性比率（または女性比率）をかけた値と、の和を補正計数値とする手法や、
（３）上記（２）における男性比率（または女性比率）を、男性（または女性）と推定した人数を、男性と推定した人数と女性と推定した人数の和で除算した値とする手法、
を提案している。
【特許文献１】特開２００７−１０２４８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１における上記（１）の手法では、属性を推定した人数（サンプル数）と、補正された男性の人数と女性の人数との和（出力数）と、が一致しない。したがって、この手法では、属性別の計数値から、信頼性を十分に向上させた補正計数値を得ることはできない。
【０００７】
また、上記（２）、および（３）は、男性または女性と推定された属性の推定精度が１００％であることを前提にしている。このため、男性または女性と推定された属性の計数値に対して、何らの補正も行われない。したがって、これらの手法でも、属性別の計数値から、信頼性を十分に向上させた補正計数値を得ることはできない
この発明の目的は、物体の属性を推定し、属性別に計数した計数値に対する補正の精度を高め、この補正によって得られる補正計数値の信頼性を十分に向上させることができる計数装置、計数方法、および計数プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
この発明の計数装置は、上記課題を解決し、その目的を達するために、以下の構成を備えている。
【０００９】
属性推定手段が、例えば、ＣＣＤカメラ等の撮像装置で撮像された撮像画像を処理し、この撮像画像に撮像されている人や車両等の物体の属性を推定する。例えば、物体が、人である場合には、性別や年代（または年齢）等を属性として推定する。また、物体が車両である場合には、軽車両、小型車両、普通車両、大型車両等の車両種類を属性として推定する。計数手段が、属性毎に、前記属性推定手段によって推定された物体数を計数する。計数手段は、例えば、属性推定手段が物体の属性を推定する毎に、推定された属性の物体の計数値を１カウントアップする。
【００１０】
また、各属性の物体について、属性推定手段によって推定される属性毎の推定割合を示す推定割合データを推定割合記憶手段に記憶している。推定割合データは、具体的に言うと、属性ｎの物体を属性ｍと推定する割合である。例えば推定する属性の種類が属性１、属性２、属性３、および属性４の４つである場合、属性毎に、その属性ｎ（ｎ＝１、２、３、４）の物体が属性１に推定される推定割合［１，ｎ］、属性２に推定される推定割合［２，ｎ］、属性３に推定される推定割合［３，ｎ］、および属性４に推定される推定割合［４，ｎ］を記憶している。すなわち、推定割合データは、１６（４×４）個の推定割合によって構成される。
【００１１】
推定割合データを構成する推定割合の個数は、推定する属性の種類数ｎの２乗である。また、各属性ｍの推定割合の総和（［１，ｍ］＋［２，ｍ］＋・・・＋［ｎ，ｍ］）の総和は１である。ただし、ｍは、１〜ｎである。
【００１２】
そして、補正計数値算出手段が計数手段によって計数された各属性の計数値、および前記推定割合記憶手段が記憶する前記推定割合データを用いたｎ次元一次連立方程式により、各属性の補正計数値を算出する。
【００１３】
このｎ次元一次連立方程式は、
属性ｎ（ｎ＝１・・・ｎ）の計数値をＡｎ
属性ｎの補正計数値をＡｎ’
属性ｎの物体を属性ｍ（ｍ＝１・・・ｎ）と推定する推定割合を［ｍ，ｎ］とした場合、
【００１４】
【数２】
【００１５】
で表される、ｎ次元連立一次方程式になる。
【００１６】
例えば、推定する属性が属性１、属性２、属性３、および属性４である場合に、各属性の計数値をＡｎ（ｎ＝１、２、３、４）とすると、
Ａ１＝Ａ１’×［１，１］＋Ａ２’×［１，２］
＋Ａ３’×［１，３］＋Ａ４’×［１，４］
Ａ２＝Ａ１’×［２，１］＋Ａ２’×［２，２］
＋Ａ３’×［２，３］＋Ａ４’×［２，４］
Ａ３＝Ａ１’×［３，１］＋Ａ２’×［３，２］
＋Ａ３’×［３，３］＋Ａ４’×［３，４］
Ａ４＝Ａ１’×［４，１］＋Ａ２’×［４，２］
＋Ａ３’×［４，３］＋Ａ４’×［４，４］
で示される４次元一次連立方程式を解くことにより、各属性の補正計数値Ａｎ’を算出することができる。
【００１７】
ここで、［数２］で示されるｎ次元一次連立方程式は、
【００１８】
【数３】
【００１９】
に示す行列式で表すことができる。そして、この［数３］は、公知のガウス・ジョルダン法で解くことができる。
【００２０】
なお、属性毎の推定割合の総和は１である。
【００２１】
これにより、属性を推定した物体の個数（サンプル数）と、補正された各属性の補正計数値の総和と、は等しくなる。また、計数値に対して、属性の推定誤りを考慮した補正が行えるので、この補正によって得られる補正計数値の信頼性を十分に向上させることができる。
【発明の効果】
【００２２】
この発明によれば、物体の属性を推定し、属性別に計数した計数値に対する補正の精度を高め、この補正によって得られる補正計数値の信頼性を十分に向上させることができる。
【発明を実施するための最良の形態】
【００２３】
以下、この発明の実施形態である計数装置について説明する。
【００２４】
図１は、この発明の実施形態である計数装置の主要部の構成を示すブロック図である。この計数装置１は、顧客を属性別に計数する。計数装置１は、制御部２と、画像入力部３と、画像処理部４と、記憶部５と、操作部６と、出力部７と、を備えている。制御部２は、計数装置１本体各部の動作を制御する。画像入力部３には、撮像装置であるカメラ１０が接続されている。カメラ１０は、顧客を撮像する場所に取り付けられている。例えば、店舗に来店した顧客を属性別に計数する場合には、カメラ１０は、店舗の入口付近で、店舗に入る顧客を正面から撮像する向きに取り付ける。また、店舗で商品を購入した顧客を属性別に計数する場合には、カメラ１０は、店舗のレジ付近で、取引金額の精算を行っている顧客を正面から撮像する向きに取り付ける。画像入力部３には、接続されているカメラ１０の撮像画像が入力される。画像処理部４は、画像入力部３に入力された撮像画像を処理し、撮像されている顧客の属性を推定する。ここでは、性別、および年代を属性として推定する場合を例にして説明する。
【００２５】
記憶部５は、属性毎に、その属性であると推定した顧客の人数（計数値）を記憶する計数値記憶エリア５ａと、後述する補正計数値算出処理で用いる推定割合データを記憶する推定割合データ記憶エリア５ｂと、を有する。計数値記憶エリア５ａは、図２（Ａ）に示す計数値データを記憶している。この計数値データは、画像処理部４が顧客の属性を推定する毎に、このときに推定された属性の計数値を１カウントアップされる。ここでは、画像処理部４が推定する顧客の属性を、
属性１：１８歳未満の男性、
属性２：１８歳以上〜３０歳未満の男性、
属性３：３０歳以上〜４０歳未満の男性、
属性４：４０歳以上〜５０歳未満の男性、
属性５：５０歳以上の男性、
属性６：１８歳未満の女性、
属性７：１８歳以上〜３０歳未満の女性、
属性８：３０歳以上〜４０歳未満の女性、
属性９：４０歳以上〜５０歳未満の女性、
属性１０：５０歳以上の女性
の１０種類であるとして説明する。
【００２６】
また、ここでは、属性ｎ（ｎは、１〜１０）の顧客を、属性ｍ（ｍは、１〜１０）であると判定する割合［ｍ，ｎ］を推定割合という。推定割合データ記憶エリア５ｂは、図２（Ｂ）に示す推定割合データを記憶する。例えば推定割合［１，１］は、属性１である顧客を、正しく属性１であると推定する割合であり、推定割合［１，２］は、属性２である顧客を、誤って属性１であると推定する割合である。この例では、推定割合データは、［１，１］〜［１０，１０］からなる１００個の推定割合で構成される。推定割合データを構成する推定割合の個数は、推定する属性の種類数の２乗である。
【００２７】
なお、各推定割合は、０以上で１以下の値である。また、属性毎の推定割合の総和（図２（Ｂ）に示す横方向に並んでいる推定割合）は１である。
【００２８】
また、属性毎の推定割合は、その属性の複数人の顧客（例えば、１０００人や１００００人の顧客）を対象にして実際に属性を推定し、その推定結果に基づいて設定すればよい。
【００２９】
操作部６は、キーボードやマウス等の入力デバイスを有し、装置本体に対する入力操作を受け付ける。出力部７は、接続されている表示器やプリンタに対して、処理結果等を出力する。
【００３０】
制御部２は、計数値記憶エリア５ａに記憶する計数値データ、および推定割合データ記憶エリア５ｂに記憶する推定割合データに基づいて、各属性の補正計数値を算出する補正計数値算出処理を行う。この補正計数値算出処理の詳細については、後述する。この補正計数値は、画像処理部４における属性の推定精度を考慮して計数値を補正した各属性の顧客の人数である。
【００３１】
次に、この計数装置１の動作について説明する。この計数装置１は、カメラ１０の撮像画像を処理して、撮像されている人物の属性を推定し、顧客を属性別に計数する計数処理と、画像処理部４における属性の推定精度を考慮して計数値を補正する補正計数値算出処理と、を行う。
【００３２】
まず、計数処理について説明する。図３は、計数処理を示すフローチャートである。計数装置１の画像入力部３には、カメラ１０から１秒間に数十フレームの撮像画像が入力されている。画像処理部４は、画像入力部３に入力された撮像画像に顧客が撮像されているかどうかを判定する（ｓ１）。ｓ１では、例えば背景画像との差分画像を生成し、この差分画像に対する顔等の形状のパターンマッチング等を行い、人らしきものが撮像されているかどうかを判定する。また、特に差分画像を生成せずに、撮像画像に対して直接上述したパターンマッチング等を行ってもよい。さらに、時間的に連続する撮像画像の差分画像を生成し、移動体の有無を検出することによって、ｓ１にかかる判定を行うようにしてもよい。
【００３３】
画像処理部４は、ｓ１で顧客が撮像されていると判定すると、その人物の顔がほぼ正面から撮像されているカメラ１０の撮像画像を選択する（ｓ２）。上述したように、カメラ１０からは、１秒間に数十フレームの撮像画像が入力されているので、ｓ１で撮像されていることを検出した顧客が撮像されている撮像画像も複数フレームある。ｓ２は、顧客の属性を推定するのに適した撮像画像を選択する処理である。
【００３４】
画像処理部４は、ｓ２で選択した撮像画像を処理し、撮像されている顧客の属性を推定する（ｓ３）。ｓ３では、上述した属性１〜属性１０のいずれであるかを推定する。属性の推定は、例えば、目尻、ほうれい線、口元、顎等の特徴量を抽出し、抽出した特徴量に基づいて行う。計数装置１は、画像処理部４がｓ３推定した属性について、記憶部５の計数値記憶エリア５ａに記憶している該当する属性の計数値を１カウントアップし（ｓ４）、ｓ１に戻る。
【００３５】
計数装置１は、上記処理を繰り返すことにより、カメラ１０で撮像した顧客（例えば、店舗に来店した顧客や、商品を購入した顧客）の属性を推定し、属性別に人数を計数する。
【００３６】
次に、記憶部５の計数値記憶エリア５ａに記憶している属性別の計数値を補正する補正計数値算出処理について説明する。この補正計数値算出処理は、上述した計数処理において、顧客の属性の推定に誤りがあることを前提に、属性別の計数値Ａｎを補正する処理である。この補正計数値算出処理は、例えば、オペレータが操作部６を操作して実行開始かかる入力操作を行う構成であってもよいし、定期的に自動実行する構成であってもよい。
【００３７】
この計数装置１では、ある属性ｎの計数値は、属性毎に、その属性について求める人数（ここで言う、補正計数値に相当する。）と、その属性の人を属性ｎであると推定する推定割合との積、の総和であるとしている。
【００３８】
具体的には、第１の属性を属性Ｘ（上述した属性１〜属性１０のいずれか）とした場合、属性Ｘの計数値をＡｘ、属性Ｘの補正計数値をＡｘ’とすると、
【００３９】
【数４】
【００４０】
で示される１０次元連立一次方程式で表すことができる。
【００４１】
これは、
【００４２】
【数５】
【００４３】
に示す行列式で表すことができる。したがって、推定割合データに基づく行列Ｚの逆行列を両辺の左側にかけることにより、属性毎の補正計数値Ａｘ’を算出することができる。すなわち、［数４］は、公知のガウス・ジョルダン法で解くことができる。
【００４４】
計数装置１は、記憶部５の計数値記憶エリア５ａに記憶している計数値データを読み出すとともに、推定割合データ記憶エリア５ｂに記憶している推定割合データを読み出す（ｓ１１、ｓ１２）。ｓ１１、ｓ１２にかかる処理は、どちらが先に行われてもよい。計数装置１は、公知のガウス・ジョルダン法により、属性毎の補正計数値Ａｎ’を算出する（ｓ１３）。計数装置１は、ｓ１３で算出した属性毎の補正計数値Ａｎ’を出力部７から出力し（ｓ１４）、本処理を終了する。出力部７から出力された属性毎の補正計数値Ａｎ’は、この出力部７に接続している表示器で表示してもよいし、プリンタで印刷してもよい。
【００４５】
このように、計数値Ａｎに対して、属性の推定誤りを考慮した補正が行えるので、この補正によって得られる補正計数値Ａｎ’の信頼性を十分に向上させることができる。したがって、顧客の属性別の人数を精度良く得ることができる。
【００４６】
また、上記の説明では、画像入力部３に接続されているカメラ１０を１つとして説明したが、複数のカメラが接続されていてもよい。この場合には、カメラ１０毎に上述した処理を行えばよい。また、属性を推定する物体としては、人だけでなく、車両等の他の物体であってもよい。
【００４７】
なお、推定する属性が属性１、および属性２の２種類であるときには、推定割合［１，１］と［２，１］との和が１であり、推定割合［１，２］と［２，２］との和が１であるので、推定割合［２，１］と［１，２］を用いずに、
Ａ１’＝（Ａ２−（Ａ１＋Ａ２）×［２，２］）／（１−（［１，１］＋［２，２］））
Ａ２’＝（Ａ１−（Ａ１＋Ａ２）×［１，１］）／（１−（［１，１］＋［２，２］））
により算出することもできる。
【００４８】
また、画像処理部４で推定する属性の種類は、上記した１０種類に限らず、何種類であってもよい。
【図面の簡単な説明】
【００４９】
【図１】計数装置の主要部の構成を示すブロック図である。
【図２】計数値データ、および推定割合データを示す図である。
【図３】計数処理を示すフローチャートである。
【図４】補正計数値算出処理を示すフローチャートである。
【符号の説明】
【００５０】
１−計数装置
２−制御部
３−画像入力部
４−画像処理部
５−記憶部
５ａ−計数値記憶エリア
５ｂ−推定割合データ記憶エリア
１０−カメラ
【特許請求の範囲】
【請求項１】
物体の属性を推定する属性推定手段と、
属性毎に、前記属性推定手段によって推定された物体数を計数する計数手段と、
各属性の物体について、前記属性推定手段によって推定される属性毎の推定割合を示す推定割合データを記憶する推定割合記憶手段と、
前記計数手段によって計数された各属性の物体の計数値、および前記推定割合データに基づいて、各属性の補正計数値を算出する補正計数値算出手段と、を備えた計数装置。
【請求項２】
前記補正計数値算出手段は、
各属性ｎ（ｎ＝１・・・ｎ）の計数値をＡｎ
各属性ｎの補正計数値をＡｎ’とし、
前記推定割合記憶手段が記憶する、属性ｎの物体を属性ｍ（ｍ＝１・・・ｎ）と推定する推定割合を［ｍ，ｎ］とした場合に、
【数１】
で示されるｎ次元連立１次方程式により、各属性の補正計数値Ａｎ’を算出する手段である、請求項１に記載の計数装置。
【請求項３】
撮像装置で撮像された撮像画像が入力される撮像画像入力手段を備え、
前記属性推定手段は、前記撮像画像入力部に入力された撮像画像を処理し、撮像されている物体の属性を推定する手段である、請求項１、または２に記載の計数装置。
【請求項４】
撮像装置で撮像された撮像画像が入力される撮像画像入力手段を備え、
前記属性推定手段は、前記撮像画像入力部に入力された撮像画像を処理し、撮像されている人物の属性を推定する手段である、請求項１、または２に記載の計数装置。
【請求項５】
前記属性推定手段は、属性として、撮像されている人物の性別を推定する手段である、請求項４に記載の計数装置。
【請求項６】
属性推定手段が、物体の属性を推定し、
計数手段が、属性毎に、前記属性推定手段によって推定された物体数を計数し、
補正計数値算出手段が、記憶部に記憶している、各属性の物体について、前記属性推定手段によって推定される属性毎の推定割合を示す推定割合データ、および前記計数手段によって計数された各属性の物体の計数値に基づいて、各属性の補正計数値を算出する、計数方法。
【請求項７】
コンピュータを、
物体の属性を推定する属性推定手段、
属性毎に、前記属性推定手段によって推定された物体数を計数する計数手段、および、
記憶部に記憶している、各属性の物体について、前記属性推定手段によって推定される属性毎の推定割合を示す推定割合データ、および前記計数手段によって計数された各属性の物体の計数値に基づいて、各属性の補正計数値を算出する補正計数値算出手段、
として機能させるための計数プログラム。
【請求項１】
物体の属性を推定する属性推定手段と、
属性毎に、前記属性推定手段によって推定された物体数を計数する計数手段と、
各属性の物体について、前記属性推定手段によって推定される属性毎の推定割合を示す推定割合データを記憶する推定割合記憶手段と、
前記計数手段によって計数された各属性の物体の計数値、および前記推定割合データに基づいて、各属性の補正計数値を算出する補正計数値算出手段と、を備えた計数装置。
【請求項２】
前記補正計数値算出手段は、
各属性ｎ（ｎ＝１・・・ｎ）の計数値をＡｎ
各属性ｎの補正計数値をＡｎ’とし、
前記推定割合記憶手段が記憶する、属性ｎの物体を属性ｍ（ｍ＝１・・・ｎ）と推定する推定割合を［ｍ，ｎ］とした場合に、
【数１】
で示されるｎ次元連立１次方程式により、各属性の補正計数値Ａｎ’を算出する手段である、請求項１に記載の計数装置。
【請求項３】
撮像装置で撮像された撮像画像が入力される撮像画像入力手段を備え、
前記属性推定手段は、前記撮像画像入力部に入力された撮像画像を処理し、撮像されている物体の属性を推定する手段である、請求項１、または２に記載の計数装置。
【請求項４】
撮像装置で撮像された撮像画像が入力される撮像画像入力手段を備え、
前記属性推定手段は、前記撮像画像入力部に入力された撮像画像を処理し、撮像されている人物の属性を推定する手段である、請求項１、または２に記載の計数装置。
【請求項５】
前記属性推定手段は、属性として、撮像されている人物の性別を推定する手段である、請求項４に記載の計数装置。
【請求項６】
属性推定手段が、物体の属性を推定し、
計数手段が、属性毎に、前記属性推定手段によって推定された物体数を計数し、
補正計数値算出手段が、記憶部に記憶している、各属性の物体について、前記属性推定手段によって推定される属性毎の推定割合を示す推定割合データ、および前記計数手段によって計数された各属性の物体の計数値に基づいて、各属性の補正計数値を算出する、計数方法。
【請求項７】
コンピュータを、
物体の属性を推定する属性推定手段、
属性毎に、前記属性推定手段によって推定された物体数を計数する計数手段、および、
記憶部に記憶している、各属性の物体について、前記属性推定手段によって推定される属性毎の推定割合を示す推定割合データ、および前記計数手段によって計数された各属性の物体の計数値に基づいて、各属性の補正計数値を算出する補正計数値算出手段、
として機能させるための計数プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−９７５１８（Ｐ２０１０−９７５１８Ａ）
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願番号】特願２００８−２６９２６９（Ｐ２００８−２６９２６９）
【出願日】平成２０年１０月２０日（２００８．１０．２０）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願日】平成２０年１０月２０日（２００８．１０．２０）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]