入場者管理システム
【課題】
店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する入場者管理システムを提供することを目的とする。
【解決手段】
本発明の入場者管理システムは、監視カメラを備え、連続する２つの画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、所定領域に入場した入場者を検出する入場者検出手段と、連続する２つの画像データ間における、入場者が検出された位置関係に基づいて、入場者をそれぞれ識別する入場者識別手段と、入場者毎に該入場者が所定領域に入場した入場時刻を検出する入場時刻検出手段と、複数の所定領域が有る場合に、入場時刻に基づいて入場者毎の所定領域を通過する順序を検出する通過順序検出手段とを有することを特徴とする。
店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する入場者管理システムを提供することを目的とする。
【解決手段】
本発明の入場者管理システムは、監視カメラを備え、連続する２つの画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、所定領域に入場した入場者を検出する入場者検出手段と、連続する２つの画像データ間における、入場者が検出された位置関係に基づいて、入場者をそれぞれ識別する入場者識別手段と、入場者毎に該入場者が所定領域に入場した入場時刻を検出する入場時刻検出手段と、複数の所定領域が有る場合に、入場時刻に基づいて入場者毎の所定領域を通過する順序を検出する通過順序検出手段とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラで取得した動画像データの中から、予め定めるエリアへの入場者と該入場者の入場時刻とを検出した後、これらの検出結果を用いて各エリアの通過順序を検出する技術に関する。
【背景技術】
【０００２】
近年、動画像のデジタル圧縮技術等に代表されるマルチメディア映像技術の発展に伴い、様々な分野で映像情報サービスが提供されており、さらなる高速化・高品質化が求められている。特に、一般生活環境における、人、物、車両などの移動している物体の移動状態を検出し、記録する用途など応用範囲の広い映像情報提供サービスの期待が大きい。
【０００３】
ところで、小売業者の店舗等では、顧客入場者数や売り場間移動の動向、各売り場における滞在時間等は、収益環境を改善させるためにとても重要な情報と成り得るが、これらの情報を的確、かつ、容易に取得することは非常に困難な状況である。
【０００４】
他方、店舗や該店舗が備える駐車場等には防犯や安全のために監視カメラが設置され、当該監視カメラが撮影した映像は、例えば、不審人物、不審車両を発見することに役立てられ、または、店舗等で行われた万引き、強盗等の犯罪を事後的に検証するために役立てられている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、店舗や該店舗の駐車場等に設置された監視カメラが取得した映像には、店舗等に入場した顧客に関する情報が含まれているにも関わらず、該顧客に関する情報を有効に、または、十分には活用されていないという問題点があった。
【０００６】
そこで、本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する入場者管理システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る入場者管理システムは、所定の場所を所定の時間間隔で撮影した画像データと共に、該所定の場所を撮影した時刻を出力する監視カメラを備えた入場者管理システムであって、前記時刻に関して連続する２つの前記画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、前記画像データの所定領域の中で動く物体であって、該所定領域に入場した入場者を検出する入場者検出手段と、前記時刻に関して連続する２つの前記画像データ間における、前記入場者が検出された位置関係に基づいて、前記入場者をそれぞれ識別する入場者識別手段と、前記入場者識別手段により識別される前記入場者毎に、前記入場者が前記所定領域に入場した入場時刻を検出する入場時刻検出手段と、複数の前記所定領域が有る場合に、前記入場時刻検出手段により検出された前記入場時刻に基づいて、前記入場者毎の、前記所定領域を通過する順序を検出する通過順序検出手段と、を有することを特徴とする。
【０００８】
また、本発明に係る入場者管理システムにおいて、前記入場時刻検出手段は、前記入場者検出手段により前記入場者が一の前記所定領域において最初に検出された時刻を、前記入場時刻とすることを特徴とする。
【０００９】
また、本発明に係る入場者管理システムにおいて、前記通過順序検出手段による検出結果に基づいて、前記入場者が、一の前記所定領域から移動する頻度の高い他の前記所定領域を検出する遷移領域検出手段を有することを特徴とする。
【００１０】
また、本発明に係る入場者管理システムにおいて、性別の特徴を表す所定の性別特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の性別を判定する性別判定手段を有し、前記遷移領域検出手段は、前記性別判定手段により判定された前記性別に基づいて、該性別毎に、前記一の所定領域から移動する頻度の高い前記他の所定領域を検出することを特徴とする。
【００１１】
また、本発明に係る入場者管理システムにおいて、年齢の特徴を表す所定の年齢特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の年齢を判定する年齢判定手段を有し、前記遷移領域検出手段は、前記年齢判定手段により判定された前記年齢に基づいて、該年齢毎に、前記一の所定領域から移動する頻度の高い前記他の所定領域を検出することを特徴とする。
【００１２】
したがって、本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する入場者管理システムを提供することができる。
【発明の効果】
【００１３】
本発明は、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する入場者管理システムを提供する。
【発明を実施するための最良の形態】
【００１４】
図面を参照しながら、本発明を実施するための最良の形態について説明する。
＜本実施の形態に係る入場者管理システムの動作原理＞
ここでは、図１−４を用いて、本実施の形態に係る入場者管理システム１００の動作原理について説明する。はじめに、図１−３を用いて、入場者管理システム１００の概要を説明することとするが、図１は入場者管理システム１００の設置例を示す図であり、図２は入場者管理システム１００の撮影した画像データの一例を示す図であり、図３は入場者３１０が通過する領域（エリア）の順番を検出する処理を説明するための図である。
【００１５】
図１で示すように、入場者管理システム１００では、店舗３００の天井に設置した監視カメラ２５０によって店舗３００内の全体を撮影するものであり、店舗３００の入場口３２０から入場する入場者３１０が監視カメラ２５０によって撮影される。図１では、監視カメラ２５０は１つのみ図示しているが、監視カメラ２５０は複数であっても良い。また、監視カメラ２５０は天井の真ん中部分に設置されるように図示されているが、監視カメラ２５０の設置場所は天井のみならず、店舗３００の壁（側面）に設置する形態としても良く、天井の端とする形態としても良い。また、監視カメラ２５０は、平面レンズを用いて撮影する形態としても良く、（３６０°の）魚眼レンズを用いて撮影する形態としても良い。
【００１６】
そして、入場者管理システム１００は、監視カメラ２５０が撮影した動画像データに対して、後述する所定の情報処理を行うことによって動く物体を検出した上で、この動く物体を店舗３００への入場者と判定する。
【００１７】
通常、店舗３００への入場者は１人ではなく、複数人である場合が多いと考えられるが、この場合、入場者管理システム１００は、監視カメラ２５０が撮影した動画像データに対して、上記所定の情報処理で検出された複数の入場者を、入場者毎に識別する処理を行う。図２で示すように、例えば、店舗３００内に入場者３１０が３人存在する場合には、３人の入場者を動画像データ上でそれぞれ識別する。
【００１８】
そして、入場者管理システム１００は、各入場者３１０に関して、監視カメラ２５０の撮影した画像データ内に、例えば、図２中のエリアＡ３３０、エリアＢ３４０などと異なる領域を設定して、エリアＡ３３０、エリアＢ３４０毎の入場時刻を検出し、該入場時刻を比較することにより、入場者３１０が通過したエリアの順序を検出する。
例えば、図３で示すように、エリアＡ３３０、エリアＢ３４０、エリアＣ３５０を画像データ内に設定し、入場者３１０がエリアＡ３３０→エリアＢ３４０→エリアＣ３５０の順序で通過した場合、各エリアの入場時刻は早い順にエリアＡ３３０の入場時刻、エリアＢ３４０の入場時刻、エリアＣ３５０の入場時刻となる。
【００１９】
さらに、入場者管理システム１００は、全ての入場者を対象とした通過エリアの順序に関する検出結果を用いて、特定のエリアに存在する入場者３１０が、次に移動する傾向の高いエリアを検出する。
さらに、入場者管理システム１００は、店舗３００に入場した入場者３１０毎に、性別、年齢を判定することで、特定のエリアに存在する入場者３１０が、次に移動する傾向の高いエリアを、性別毎、年齢毎に検出することができる。
【００２０】
次に、図４を用いて入場者管理システム１００の動作原理を説明することとするが、図４は入場者管理システム１００の動作原理を説明するための図である。図４で示すように、入場者管理システム１００は、入場者検出手段１１０、入場者識別手段１２０、入場時刻検出手段１３０、通過順序検出手段１４０、性別判定手段１５０、年齢判定手段１６０、遷移領域検出手段１７０、記憶装置２４０、監視カメラ２５０を有する。
【００２１】
監視カメラ２５０は、先に述べたように、例えば、店舗３００の天井又は壁に設置され、店舗３００内を撮影するカメラである。監視カメラ２５０は、予め定められる一方向を継続して撮影するものであるが、レンズに関しては、平面レンズを備える形態でも良く、魚眼レンズ（例えば、３６０°の魚眼レンズ）を備え、店舗３００内を撮影する形態としても良い。そして、監視カメラ２５０は、所定の時間間隔で、撮影した画像データと撮影時刻とを出力し、出力した画像データと撮影時刻は記憶装置２４０に記憶される。ただし、入場者管理システム１００は、当該画像データと撮影時刻とをＲＡＭ２３０等のワークメモリに一旦記憶し、該記憶したデータに対しリアルタイムで後述する情報処理を行う形態としても良い。また、監視カメラ２５０は一台であっても複数台であっても良く、複数台である場合には、各監視カメラ２５０が撮影した画像データの重なる部分を認識し、この重なる部分で複数の画像データを繋げた１つの画像データのように取り扱うことで、後述の情報処理を行うことする。
【００２２】
記憶装置２４０は、監視カメラ２５０の撮影した画像データを記憶する装置であり、例えば、ＨＤＤ（Hard Disc Drive）のような大容量の記憶装置である。監視カメラ２５０により撮影された画像データはＭＰＥＧ（Moving Picture Experts Group）技術によりデータ圧縮され、圧縮された画像データはＨＤＤ２４０に記録されるものとし、以下で説明する各手段は、特段の断りのない限り、ＨＤＤ２４０に記録された画像データに対して所定の情報処理を行うものとする。
【００２３】
入場者検出手段１１０は、監視カメラ２５０が撮影した動画像データに基づいて、動く物体を検出し、該動く物体を店舗３００に入場した入場者３１０として判定する、つまり、入場者３１０を検出する情報処理を行う。具体的には、監視カメラ２５０は所定の時間間隔で（静止）画像データを出力するので、入場者検出手段１１０は、撮影時刻が連続する２つの画像データに関して、相対応する画素毎に画素値の差分を取り、該差分がゼロではない画素が有れば、この画素位置を動く物体として検出する。特に、本実施の形態においては、各画素の明度に着目して画素毎の差分を取り、動く物体を検出する。そして、画像データ内での入場者３１０の大きさを定めた画素範囲（以下、ウィンドウ）を考えた場合、上記の動く物体が検出された画素位置にはウィンドウで示す大きさの入場者３１０が存在すると認識（判定）する。また、ウィンドウの大きさは、監視カメラ２５０が撮影した画像データの中で、ユーザの指定により自由に定めることができ（画素数単位で指定する）、例えば、（縦２０画素、横１０画素）の画素範囲を指定して定めることができる。
【００２４】
また、入場者検出手段１１０は、監視カメラ２５０が撮影した画像データの中で、予め定めた所定領域（例えば、図２中のエリアＡ３３０、エリアＢ３４０）を対象として、上記の説明と同じ処理、つまり、所定領域の中で動く物体を検出し、入場者３１０と判定する処理を行う。ここで、所定領域は、監視カメラ２５０が撮影した画像データの中で、ユーザの指定により自由に定めることができ（画素位置と画素範囲とで指定する）、所定領域は１つでも複数指定されても良い。また、監視カメラ２５０の撮影した画像データ全体を所定領域とすることもできる。
【００２５】
入場者識別手段１２０は、入場者検出手段１１０により検出された入場者３１０が複数いる場合に、入場者毎に該入場者３１０を識別する。具体的には、上記ウィンドウの存在する画素位置と、該画素位置にあるウィンドウを識別するための識別情報（以下、ウィンドウＩＤ）とを関連付けて記憶装置２４０（ＲＡＭ２３０でも良い）に記憶する。そして、撮影時刻が連続する２つの画像データに関して、撮影時刻の早い画像データにおいてウィンドウの存在する画素位置（第１の画素位置）と、次の撮影時刻の画像データにおいてウィンドウの存在する画素位置（第２の画素位置）とが適当な位置関係に有る場合に、第１の画素位置に関するウィンドウＩＤを第２の画素位置に関するウィンドウＩＤとする。ここで、適当な位置関係とは、第１の画素位置と第２の画素位置との距離が所定の距離内である関係であっても良く、複数の第２の画素位置が有る場合に、第１の画素位置に最も近い第２の画素位置としても良い。つまり、撮影時刻が連続する２つの画像データどうしで、同じ入場者３１０を識別するという目的の範囲内において適宜定めることができるものとする。
【００２６】
入場時刻検出手段１３０は、入場者３１０が、監視カメラ２５０が撮影した画像データの中で、予め定めた所定領域（例えば、図３中のエリアＡ３３０、エリアＢ３４０、エリアＣ）のそれぞれに入場した時刻（以下、入場時刻）を検出し、入場者３１０毎、かつ、所定領域毎に、入場時刻を記憶装置２４０（ＲＡＭ２３０でも良い）に記憶する。具体的には、入場時刻検出手段１３０は、入場者３１０毎に所定領域毎の入場時刻を検出し、例えば、図５に示すような形式で、各入場者３１０に対応するウィンドウＩＤと関連付けて、該入場時刻を所定領域毎に記憶装置２４０（ＲＡＭ２３０でも良い）に記録する。
【００２７】
また、入場時刻検出手段１３０の一形態では、入場者検出手段１１０により各入場者３１０（動く物体）がそれぞれの所定領域内で最初に検出された時刻を入場時刻とし、この最初に検出された時刻は、動く物体が各所定領域内で最初に検出された画像データの撮影された時刻である。
さらには、入場時刻検出手段１３０は、入場者３１０が、所定領域毎に設定された入口３２０から入場した時刻を以て、入場時刻とする形態であっても良い。
【００２８】
通過順序検出手段１４０は、入場時刻検出手段１３０により検出された所定領域毎の入場時刻に基づいて、複数有る所定領域に関して、各所定領域を通過する順序を検出する。例えば、図５で示すウィンドウＩＤが「１」の入場者３１０は、エリアＡの入場時刻が「１０：０５」、エリアＢの入場時刻が「１０：１５」、エリアＣの入場時刻が「１０：１０」であるため、入場時刻の早い方から順にエリアＡ→エリアＣ→エリアＢの順序で各エリアを通過したものと検出する。一方、図５で示すウィンドウＩＤが「２」の入場者３１０は、エリアＡの入場時刻が「１４：３０」、エリアＢの入場時刻が「１４：３５」、エリアＣの入場時刻が「１４：４５」であるため、入場時刻の早い方から順にエリアＡ→エリアＢ→エリアＣの順序で各エリアを通過したものと検出する。このように、通過順序検出手段１４０は、入場者３１０毎に、入場時刻が検出された全ての所定領域（エリア）に対して、入場時刻を比較して、入場時刻の早い方から順に各所定領域を通過したことを検出する。
【００２９】
性別判定手段１５０は、入場者３１０毎に性別を判定し、例えば、図５に示すような形式で、各入場者３１０に対応するウィンドウＩＤと関連付けて、該性別を記憶装置２４０（ＲＡＭ２３０でも良い）に記録する。具体的には、性別判定手段１５０は、予め定めた性別毎の特徴データと上記ウィンドウ部分の画像データとをパターンマッチングすることにより、入場者３１０の性別を判定する。ここで、性別毎の特徴データは、頭髪部分のボリュームに関するデータ、服装部分の色彩に関するデータ、唇部分の色彩に関するデータ等であり、また、性別をパターンマッチングにより判定するという目的に合致する限り、性別を特徴付ける他のデータであっても良い。
【００３０】
また、頭髪部分のボリュームに関するデータを用いる場合、入場者３１０の頭部分を検出する前処理を行った後、該検出された頭部分とパターンマッチングさせ、服装部分の色彩に関するデータを用いる場合、入場者３１０の胴体部分を検出する前処理を行った後、該検出された胴体部分とパターンマッチングさせ、唇部分の色彩に関するデータを用いる場合、入場者３１０の顔部分を検出する前処理を行った後、該検出された顔部分とパターンマッチングさせる形態としても良い。そして、性別毎の特徴データを複数用いてパターンマッチングを行う場合のデータ間の重み付けは適宜定めることができるものとする。
【００３１】
年齢判定手段１６０は、入場者３１０毎に年齢を判定し、例えば、図５に示すような形式で、各入場者３１０に対応するウィンドウＩＤと関連付けて、該年齢を記憶装置２４０（ＲＡＭ２３０でも良い）に記録する。具体的には、年齢判定手段１６０は、予め定めた年齢毎の特徴データと上記ウィンドウ部分の画像データとをパターンマッチングすることにより、入場者３１０の年齢を判定する。ここで、年齢毎の特徴データは、身長と体型のバランスに関するデータ、等身比率に関するデータ、顔部分の皮膚のつやに関するデータ、皺の量に関するデータ等であり、また、年齢をパターンマッチングにより判定するという目的に合致する限り、年齢を特徴付ける他のデータであっても良い。
【００３２】
また、顔部分の皮膚のつやに関するデータ及び皺の量に関するデータを用いる場合、入場者３１０の顔部分を検出する前処理を行った後、該検出された顔部分とパターンマッチングさせる形態としても良い。そして、年齢毎の特徴データを複数用いてパターンマッチングを行う場合のデータ間の重み付けは適宜定めることができるものとする。また、上記でいう年齢は、年齢そのものであっても良く、年齢に一定の幅を持たせた年代（例えば、子供、年齢ゾーン）の形態でも良い。
【００３３】
遷移領域検出手段１７０は、通過順序検出手段１４０により検出された入場者３１０毎の所定領域を通過する順序に関する検出結果を、全ての入場者３１０に対して集計、分析することで、入場者３１０全体の傾向として、一の所定領域から移動する頻度の高い他の所定領域を検出する。具体的には、入場者３１０全体に対する通過順序検出手段１４０の検出結果の中から、一の所定領域に存在した入場者３１０が、次に移動した他の所定領域毎に、その移動した入場者数を計数し、該入場者数が最も多い他の所定領域を検出する。ここで、入場者数はウィンドウＩＤ数で計測することができる。
【００３４】
また、遷移領域検出手段１７０は、入場者３１０全体に対する通過順序検出手段１４０の検出結果の中から、入場者３１０が一の所定領域に存在した場合、次に移動した他の所定領域毎にその移動した入場者数を計数し、入場者数の多い順に該他の所定領域を順序づけする形態としても良い。
【００３５】
また、遷移領域検出手段１７０は、上記処理を行った後、入場時刻検出手段１３０により検出された入場者３１０毎の入場時刻に基づいて、時間帯毎に上記処理を行うことで、一の所定領域から移動する頻度の高い他の所定領域を、時間帯毎に検出する。時間帯毎とは、時間単位、日単位、週単位、月単位等の概念を含み、ここに挙げない他の時間の概念も含むものとする。
【００３６】
また、遷移領域検出手段１７０は、上記の処理を性別判定手段１５０により判定した性別毎に行うことで、一の所定領域から移動する頻度の高い他の所定領域を性別毎に検出する。具体的には、入場者３１０全体に対する通過順序検出手段１４０の検出結果の中から、一の所定領域に存在した入場者３１０が、次に移動した他の所定領域毎に、その移動した入場者数を性別毎に計数し、該入場者数が最も多い他の所定領域を検出する。
【００３７】
また、遷移領域検出手段１７０は、上記の処理を年齢判定手段１６０により判定した年齢毎に行うことで、一の所定領域から移動する頻度の高い他の所定領域を年齢毎に検出する。具体的には、入場者３１０全体に対する通過順序検出手段１４０の検出結果の中から、一の所定領域に存在した入場者３１０が、次に移動した他の所定領域毎に、その移動した入場者数を年齢毎に計数し、該入場者数が最も多い他の所定領域を検出する。年齢毎には、年代毎、子供と大人毎、年齢帯毎も含める。
そして、上記処理を組み合わせて、具体的には、時間帯毎、性別毎、年齢毎の属性を組み合わせて、一の所定領域から移動する頻度の高い他の所定領域を検出することができる。
【００３８】
上で説明した処理を行うことで、本発明に係る入場者管理システム１００は、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する。また、この移動エリアに関する動向は、時間帯別、性別、年齢別の様々な分類で検出することができる。
【００３９】
＜本実施の形態に係る入場者管理システムのハードウェア構成＞
図６を用いて、本実施の形態に係る入場者管理システム１００のハードウェア構成について説明する。図６は、本実施の形態に係る入場者管理システム１００のハードウェア構成の一例を示す図である。
入場者管理システム１００は、ＣＰＵ（Central Processing Unit）２１０、ＲＯＭ（Read-Only Memory）２２０、ＲＡＭ（Random Access Memory）２３０、ＨＤＤ２４０、監視カメラ２５０、表示装置２６０、通信Ｉ／Ｆ（InterFace）２７０を有する。
【００４０】
ＣＰＵ２１０は、ＲＯＭ２２０に記憶されたプログラムを実行する装置で、ＲＡＭ２３０に展開（ロード）されたデータを、プログラムの命令に従って演算処理し、入場者管理システム１００全体を制御する。ＲＯＭ２２０は、ＣＰＵ２１０が実行するプログラムやデータを記憶している。ＲＡＭ２３０は、ＣＰＵ２１０でＲＯＭ２２０に記憶されたプログラムを実行する際に、実行するプログラムやデータが展開（ロード）され、演算の間、演算データを一時的に保持する。本実施の形態において、リアルタイム処理を行う場合、監視カメラ２５０により撮影された画像データは、一時的にＲＡＭ２３０に保存される形態としても良い。
【００４１】
ＨＤＤ２４０は、基本ソフトウェアであるＯＳ（Operating System）、本実施の形態に係るアプリケーションプログラム等を、関連するデータとともに記憶する装置である。本実施の基本的形態として、監視カメラ２５０により撮影された画像データは、ＭＰＥＧ技術によるデータ圧縮後、ＨＤＤ２４０に一旦記録され、該記録された画像データを各手段により画像処理する。また、入場者管理システム１００の備える各手段により付与、判定、検出されるウィンドウＩＤとそれに対応する入場時刻、性別、年齢は、ＨＤＤ２４０に記録され、また、ＨＤＤ２４０から読み出される。
【００４２】
監視カメラ２５０は、入場者管理システム１００の動作原理で説明した通りである。
【００４３】
表示装置２６０は、ハードキーによるキースイッチ、ＬＣＤ（Liquid Crystal Display）等から構成され、入場者管理システム１００が有する機能をユーザが利用する（例えば、処理結果を表示する）際や、各種設定を行う際のユーザインタフェースとして機能する装置である。
【００４４】
通信Ｉ／Ｆ２７０は、インターネットやＬＡＮ（Local Area Network）等の通信ネットワークを介して接続された他の通信制御機能を備えた周辺機器と情報（データ）の授受を行う際のインタフェースである。本実施の形態においては、通信Ｉ／Ｆ２７０を介して接続されるＰＣ（Personal Computer）端末から、入場者管理システム１００の処理開始・終了、処理内容（所定領域の指定、性別、年齢等データ属性の指定等）の指示を受け付けたり、入場者管理システム１００の処理結果を通知する形態であっても良い。
【００４５】
また、入場者管理システム１００における各手段は、ＣＰＵ２１０が、ＲＯＭ２２０又はＨＤＤ２４０に記憶された各手段に対応するプログラムを実行することにより実現される形態としても良く、該各手段をハードウェアとして実現する形態としても良い。
【００４６】
＜本実施の形態に係る入場者管理システムによる処理例＞
図７を用いて、本実施の形態に係る入場者管理システム１００による処理例を説明する。図７は、本実施の形態に係る入場者管理システム１００による処理の一例を示すフローチャートである。
ここでは、図１で示すように、店舗３００の天井に設置した監視カメラ２５０により撮影された画像データに基づいて、店舗３００への入場者３１０とその入場時刻を検出した後、これらの検出結果を用いて店舗３００内に複数設定する所定領域の通過順序を検出する処理を行うものとする。
【００４７】
Ｓ１０で入場者管理システム１００が、監視カメラ２５０の撮影した画像データに基づき、入場者３１０毎に、店舗３００内の所定領域の通過順序を検出する処理を開始する。該処理の開始は、入場者管理システム１００の電源をオンにすることで開始するとしても良いし、ユーザによる開始指示を受け付けたことを以て開始するとしても良い。
【００４８】
Ｓ２０で監視カメラ２５０が、店舗３００内を所定の時間間隔で撮影した画像データを撮影時刻と共に出力し、出力された画像データはＭＰＥＧ技術等によりデータ圧縮されて、ＨＤＤ２４０に記録される。
【００４９】
Ｓ３０で入場者検出手段１１０が、ＨＤＤ２４０に記録された画像データに基づいて、該画像データ内の各所定領域の中で動く物体を検出し、該動く物体を店舗３００内の各所定領域への入場者３１０と判定し、該動く物体が検出された画素位置にウィンドウの大きさの入場者３１０が存在すると認識する。ここで、所定領域は、ユーザによって指定することができ、画像データ内に幾つ指定（設定）されても良い。
【００５０】
Ｓ４０で、図２で示すように、入場者検出手段１１０により検出された入場者３１０が店舗３００内に複数存在する場合、入場者識別手段１２０が、ＨＤＤ２４０に記録された画像データに基づいて、各入場者３１０に対応するウィンドウにそれぞれウィンドウＩＤを付与し、ＨＤＤ２４０に記録する。ウィンドウＩＤは新たに付与される毎に、ＨＤＤ２４０に記録される。入場者管理システム１００は、この処理により（ウィンドウＩＤにより）、それぞれの入場者３１０を識別している。
【００５１】
Ｓ５０で入場時刻検出手段１３０が、入場者識別手段１２０により識別される入場者３１０毎に、店舗３００内（画像データ内）に設定した各所定領域への入場時刻を検出し、検出した各入場時刻を入場者３１０のウィンドウＩＤと対応付けてＨＤＤ２４０に記録する。ここで、入場時刻検出手段１３０は、入場者検出手段１１０により入場者３１０が各所定領域内で最初に検出された時刻を入場時刻とする。例えば、各所定領域（各エリア）に関する入場時刻は、図５で示すような形式で、ＨＤＤ２４０に記録される。この処理により、入場者管理システム１００は、各所定領域を通過する順序を検出することができる。
【００５２】
Ｓ６０で性別判定手段１５０が、ＨＤＤ２４０に記録された画像データ内の各入場者３１０に対応する画素位置にあるウィンドウ部分と、性別の特徴を表す所定の性別特徴データとのパターンマッチング処理を行うことで、各入場者３１０の性別を判定し、該判定された性別を各入場者３１０に対応するウィンドウＩＤと対応付けてＨＤＤ２４０に記録する。例えば、性別情報は、図５で示すような形式（ここでは、男性＝Ｍ、女性＝Ｆと表示している）で、ＨＤＤ２４０に記録される。
【００５３】
Ｓ７０で年齢判定手段１６０が、ＨＤＤ２４０に記録された画像データ内の各入場者３１０に対応する画素位置にあるウィンドウ部分と、年齢別の特徴を表す所定の年齢特徴データとのパターンマッチング処理を行うことで、各入場者３１０の年齢を判定し、該判定された年齢を各入場者３１０に対応するウィンドウＩＤと対応付けてＨＤＤ２４０に記録する。例えば、年齢情報は、図５で示すような形式で、ＨＤＤ２４０に記録される。
【００５４】
Ｓ８０で通過順序検出手段１４０が、入場者識別手段１２０により検出された入場者３１０（ウィンドウＩＤ）毎の各所定領域に関する入場時刻について、該入場時刻の早い順でそれに対応する所定領域を通過したことを検出する。例えば、図５で示すような場合、各入場者３１０に関する所定領域の通過順序は、ウィンドウＩＤ「１」の入場者３１０に関してはエリアＡ→エリアＣ→エリアＢの順序となる。Ｓ８０での処理を全ての入場者３１０に対して行う。
【００５５】
Ｓ９０で遷移領域検出手段１７０が、通過順序検出手段１４０による全ての入場者３１０を対象とした検出結果を用いて、一の所定領域から移動する頻度の高い他の所定領域を検出する。つまり、入場者３１０が一の所定領域に存在した場合、入場者３１０の全体的な傾向として、次にどの所定領域へ移動するかを検出する、具体的には、入場者３１０が一の所定領域に存在した場合、次に移動した所定領域毎の入場者数を計数し、最も入場者数の多い所定領域を検出する（若しくは、入場者数の多い順に該他の所定領域を順序づけする）。
そして、遷移領域検出手段１７０は、ＨＤＤ２４０にウィンドウＩＤと関連付けて記録された入場時刻、性別、年齢毎に上記処理を行い、一の所定領域から移動する頻度の高い他の所定領域を時間帯毎、性別毎、年齢毎に検出する。
【００５６】
Ｓ１００で監視カメラ２５０の撮影した画像データに基づき、入場者３１０毎に、店舗３００内の所定領域の通過順序を検出する処理を終了する。該処理の終了は、ユーザによる終了指示を受け付けたことを以て終了するとしても良いし、上記滞在期間を算出した後自動的に終了するとしても良い。
【００５７】
（総括）
本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する入場者管理システムを提供することができる。
以上、本発明の実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００５８】
【図１】本実施の形態に係る入場者管理システムの概要を説明するための図である。
【図２】本実施の形態に係る入場者管理システムの撮影した画像データの一例を示す図である。
【図３】本実施の形態に係る入場者管理システムにおける通過エリアの順序を検出する原理を説明するための図である。
【図４】本実施の形態に係る入場者管理システムの動作原理を説明するための図である。
【図５】本実施の形態に係る入場者管理システムにおいて取り扱うデータの一例を説明するための図である。
【図６】本実施の形態に係る入場者管理システムのハードウェア構成の一例を示す図である。
【図７】本実施の形態に係る入場者管理システムによる処理の一例を示すフローチャートである。
【符号の説明】
【００５９】
１００ 入場者管理システム
１１０ 入場者検出手段
１２０ 入場者識別手段
１３０ 入場時刻検出手段
１４０ 通過順序検出手段
１５０ 性別判定手段
１６０ 年齢判定手段
１７０ 遷移領域検出手段
２１０ ＣＰＵ
２２０ ＲＯＭ
２３０ ＲＡＭ
２４０ ＨＤＤ
２５０ 監視カメラ
２６０ 表示装置
２７０ 通信Ｉ／Ｆ
３００ 店舗
３１０ 入場者
３２０ 入場口
３３０ エリアＡ
３４０ エリアＢ
３５０ エリアＣ
【技術分野】
【０００１】
本発明は、監視カメラで取得した動画像データの中から、予め定めるエリアへの入場者と該入場者の入場時刻とを検出した後、これらの検出結果を用いて各エリアの通過順序を検出する技術に関する。
【背景技術】
【０００２】
近年、動画像のデジタル圧縮技術等に代表されるマルチメディア映像技術の発展に伴い、様々な分野で映像情報サービスが提供されており、さらなる高速化・高品質化が求められている。特に、一般生活環境における、人、物、車両などの移動している物体の移動状態を検出し、記録する用途など応用範囲の広い映像情報提供サービスの期待が大きい。
【０００３】
ところで、小売業者の店舗等では、顧客入場者数や売り場間移動の動向、各売り場における滞在時間等は、収益環境を改善させるためにとても重要な情報と成り得るが、これらの情報を的確、かつ、容易に取得することは非常に困難な状況である。
【０００４】
他方、店舗や該店舗が備える駐車場等には防犯や安全のために監視カメラが設置され、当該監視カメラが撮影した映像は、例えば、不審人物、不審車両を発見することに役立てられ、または、店舗等で行われた万引き、強盗等の犯罪を事後的に検証するために役立てられている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、店舗や該店舗の駐車場等に設置された監視カメラが取得した映像には、店舗等に入場した顧客に関する情報が含まれているにも関わらず、該顧客に関する情報を有効に、または、十分には活用されていないという問題点があった。
【０００６】
そこで、本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する入場者管理システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る入場者管理システムは、所定の場所を所定の時間間隔で撮影した画像データと共に、該所定の場所を撮影した時刻を出力する監視カメラを備えた入場者管理システムであって、前記時刻に関して連続する２つの前記画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、前記画像データの所定領域の中で動く物体であって、該所定領域に入場した入場者を検出する入場者検出手段と、前記時刻に関して連続する２つの前記画像データ間における、前記入場者が検出された位置関係に基づいて、前記入場者をそれぞれ識別する入場者識別手段と、前記入場者識別手段により識別される前記入場者毎に、前記入場者が前記所定領域に入場した入場時刻を検出する入場時刻検出手段と、複数の前記所定領域が有る場合に、前記入場時刻検出手段により検出された前記入場時刻に基づいて、前記入場者毎の、前記所定領域を通過する順序を検出する通過順序検出手段と、を有することを特徴とする。
【０００８】
また、本発明に係る入場者管理システムにおいて、前記入場時刻検出手段は、前記入場者検出手段により前記入場者が一の前記所定領域において最初に検出された時刻を、前記入場時刻とすることを特徴とする。
【０００９】
また、本発明に係る入場者管理システムにおいて、前記通過順序検出手段による検出結果に基づいて、前記入場者が、一の前記所定領域から移動する頻度の高い他の前記所定領域を検出する遷移領域検出手段を有することを特徴とする。
【００１０】
また、本発明に係る入場者管理システムにおいて、性別の特徴を表す所定の性別特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の性別を判定する性別判定手段を有し、前記遷移領域検出手段は、前記性別判定手段により判定された前記性別に基づいて、該性別毎に、前記一の所定領域から移動する頻度の高い前記他の所定領域を検出することを特徴とする。
【００１１】
また、本発明に係る入場者管理システムにおいて、年齢の特徴を表す所定の年齢特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の年齢を判定する年齢判定手段を有し、前記遷移領域検出手段は、前記年齢判定手段により判定された前記年齢に基づいて、該年齢毎に、前記一の所定領域から移動する頻度の高い前記他の所定領域を検出することを特徴とする。
【００１２】
したがって、本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する入場者管理システムを提供することができる。
【発明の効果】
【００１３】
本発明は、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する入場者管理システムを提供する。
【発明を実施するための最良の形態】
【００１４】
図面を参照しながら、本発明を実施するための最良の形態について説明する。
＜本実施の形態に係る入場者管理システムの動作原理＞
ここでは、図１−４を用いて、本実施の形態に係る入場者管理システム１００の動作原理について説明する。はじめに、図１−３を用いて、入場者管理システム１００の概要を説明することとするが、図１は入場者管理システム１００の設置例を示す図であり、図２は入場者管理システム１００の撮影した画像データの一例を示す図であり、図３は入場者３１０が通過する領域（エリア）の順番を検出する処理を説明するための図である。
【００１５】
図１で示すように、入場者管理システム１００では、店舗３００の天井に設置した監視カメラ２５０によって店舗３００内の全体を撮影するものであり、店舗３００の入場口３２０から入場する入場者３１０が監視カメラ２５０によって撮影される。図１では、監視カメラ２５０は１つのみ図示しているが、監視カメラ２５０は複数であっても良い。また、監視カメラ２５０は天井の真ん中部分に設置されるように図示されているが、監視カメラ２５０の設置場所は天井のみならず、店舗３００の壁（側面）に設置する形態としても良く、天井の端とする形態としても良い。また、監視カメラ２５０は、平面レンズを用いて撮影する形態としても良く、（３６０°の）魚眼レンズを用いて撮影する形態としても良い。
【００１６】
そして、入場者管理システム１００は、監視カメラ２５０が撮影した動画像データに対して、後述する所定の情報処理を行うことによって動く物体を検出した上で、この動く物体を店舗３００への入場者と判定する。
【００１７】
通常、店舗３００への入場者は１人ではなく、複数人である場合が多いと考えられるが、この場合、入場者管理システム１００は、監視カメラ２５０が撮影した動画像データに対して、上記所定の情報処理で検出された複数の入場者を、入場者毎に識別する処理を行う。図２で示すように、例えば、店舗３００内に入場者３１０が３人存在する場合には、３人の入場者を動画像データ上でそれぞれ識別する。
【００１８】
そして、入場者管理システム１００は、各入場者３１０に関して、監視カメラ２５０の撮影した画像データ内に、例えば、図２中のエリアＡ３３０、エリアＢ３４０などと異なる領域を設定して、エリアＡ３３０、エリアＢ３４０毎の入場時刻を検出し、該入場時刻を比較することにより、入場者３１０が通過したエリアの順序を検出する。
例えば、図３で示すように、エリアＡ３３０、エリアＢ３４０、エリアＣ３５０を画像データ内に設定し、入場者３１０がエリアＡ３３０→エリアＢ３４０→エリアＣ３５０の順序で通過した場合、各エリアの入場時刻は早い順にエリアＡ３３０の入場時刻、エリアＢ３４０の入場時刻、エリアＣ３５０の入場時刻となる。
【００１９】
さらに、入場者管理システム１００は、全ての入場者を対象とした通過エリアの順序に関する検出結果を用いて、特定のエリアに存在する入場者３１０が、次に移動する傾向の高いエリアを検出する。
さらに、入場者管理システム１００は、店舗３００に入場した入場者３１０毎に、性別、年齢を判定することで、特定のエリアに存在する入場者３１０が、次に移動する傾向の高いエリアを、性別毎、年齢毎に検出することができる。
【００２０】
次に、図４を用いて入場者管理システム１００の動作原理を説明することとするが、図４は入場者管理システム１００の動作原理を説明するための図である。図４で示すように、入場者管理システム１００は、入場者検出手段１１０、入場者識別手段１２０、入場時刻検出手段１３０、通過順序検出手段１４０、性別判定手段１５０、年齢判定手段１６０、遷移領域検出手段１７０、記憶装置２４０、監視カメラ２５０を有する。
【００２１】
監視カメラ２５０は、先に述べたように、例えば、店舗３００の天井又は壁に設置され、店舗３００内を撮影するカメラである。監視カメラ２５０は、予め定められる一方向を継続して撮影するものであるが、レンズに関しては、平面レンズを備える形態でも良く、魚眼レンズ（例えば、３６０°の魚眼レンズ）を備え、店舗３００内を撮影する形態としても良い。そして、監視カメラ２５０は、所定の時間間隔で、撮影した画像データと撮影時刻とを出力し、出力した画像データと撮影時刻は記憶装置２４０に記憶される。ただし、入場者管理システム１００は、当該画像データと撮影時刻とをＲＡＭ２３０等のワークメモリに一旦記憶し、該記憶したデータに対しリアルタイムで後述する情報処理を行う形態としても良い。また、監視カメラ２５０は一台であっても複数台であっても良く、複数台である場合には、各監視カメラ２５０が撮影した画像データの重なる部分を認識し、この重なる部分で複数の画像データを繋げた１つの画像データのように取り扱うことで、後述の情報処理を行うことする。
【００２２】
記憶装置２４０は、監視カメラ２５０の撮影した画像データを記憶する装置であり、例えば、ＨＤＤ（Hard Disc Drive）のような大容量の記憶装置である。監視カメラ２５０により撮影された画像データはＭＰＥＧ（Moving Picture Experts Group）技術によりデータ圧縮され、圧縮された画像データはＨＤＤ２４０に記録されるものとし、以下で説明する各手段は、特段の断りのない限り、ＨＤＤ２４０に記録された画像データに対して所定の情報処理を行うものとする。
【００２３】
入場者検出手段１１０は、監視カメラ２５０が撮影した動画像データに基づいて、動く物体を検出し、該動く物体を店舗３００に入場した入場者３１０として判定する、つまり、入場者３１０を検出する情報処理を行う。具体的には、監視カメラ２５０は所定の時間間隔で（静止）画像データを出力するので、入場者検出手段１１０は、撮影時刻が連続する２つの画像データに関して、相対応する画素毎に画素値の差分を取り、該差分がゼロではない画素が有れば、この画素位置を動く物体として検出する。特に、本実施の形態においては、各画素の明度に着目して画素毎の差分を取り、動く物体を検出する。そして、画像データ内での入場者３１０の大きさを定めた画素範囲（以下、ウィンドウ）を考えた場合、上記の動く物体が検出された画素位置にはウィンドウで示す大きさの入場者３１０が存在すると認識（判定）する。また、ウィンドウの大きさは、監視カメラ２５０が撮影した画像データの中で、ユーザの指定により自由に定めることができ（画素数単位で指定する）、例えば、（縦２０画素、横１０画素）の画素範囲を指定して定めることができる。
【００２４】
また、入場者検出手段１１０は、監視カメラ２５０が撮影した画像データの中で、予め定めた所定領域（例えば、図２中のエリアＡ３３０、エリアＢ３４０）を対象として、上記の説明と同じ処理、つまり、所定領域の中で動く物体を検出し、入場者３１０と判定する処理を行う。ここで、所定領域は、監視カメラ２５０が撮影した画像データの中で、ユーザの指定により自由に定めることができ（画素位置と画素範囲とで指定する）、所定領域は１つでも複数指定されても良い。また、監視カメラ２５０の撮影した画像データ全体を所定領域とすることもできる。
【００２５】
入場者識別手段１２０は、入場者検出手段１１０により検出された入場者３１０が複数いる場合に、入場者毎に該入場者３１０を識別する。具体的には、上記ウィンドウの存在する画素位置と、該画素位置にあるウィンドウを識別するための識別情報（以下、ウィンドウＩＤ）とを関連付けて記憶装置２４０（ＲＡＭ２３０でも良い）に記憶する。そして、撮影時刻が連続する２つの画像データに関して、撮影時刻の早い画像データにおいてウィンドウの存在する画素位置（第１の画素位置）と、次の撮影時刻の画像データにおいてウィンドウの存在する画素位置（第２の画素位置）とが適当な位置関係に有る場合に、第１の画素位置に関するウィンドウＩＤを第２の画素位置に関するウィンドウＩＤとする。ここで、適当な位置関係とは、第１の画素位置と第２の画素位置との距離が所定の距離内である関係であっても良く、複数の第２の画素位置が有る場合に、第１の画素位置に最も近い第２の画素位置としても良い。つまり、撮影時刻が連続する２つの画像データどうしで、同じ入場者３１０を識別するという目的の範囲内において適宜定めることができるものとする。
【００２６】
入場時刻検出手段１３０は、入場者３１０が、監視カメラ２５０が撮影した画像データの中で、予め定めた所定領域（例えば、図３中のエリアＡ３３０、エリアＢ３４０、エリアＣ）のそれぞれに入場した時刻（以下、入場時刻）を検出し、入場者３１０毎、かつ、所定領域毎に、入場時刻を記憶装置２４０（ＲＡＭ２３０でも良い）に記憶する。具体的には、入場時刻検出手段１３０は、入場者３１０毎に所定領域毎の入場時刻を検出し、例えば、図５に示すような形式で、各入場者３１０に対応するウィンドウＩＤと関連付けて、該入場時刻を所定領域毎に記憶装置２４０（ＲＡＭ２３０でも良い）に記録する。
【００２７】
また、入場時刻検出手段１３０の一形態では、入場者検出手段１１０により各入場者３１０（動く物体）がそれぞれの所定領域内で最初に検出された時刻を入場時刻とし、この最初に検出された時刻は、動く物体が各所定領域内で最初に検出された画像データの撮影された時刻である。
さらには、入場時刻検出手段１３０は、入場者３１０が、所定領域毎に設定された入口３２０から入場した時刻を以て、入場時刻とする形態であっても良い。
【００２８】
通過順序検出手段１４０は、入場時刻検出手段１３０により検出された所定領域毎の入場時刻に基づいて、複数有る所定領域に関して、各所定領域を通過する順序を検出する。例えば、図５で示すウィンドウＩＤが「１」の入場者３１０は、エリアＡの入場時刻が「１０：０５」、エリアＢの入場時刻が「１０：１５」、エリアＣの入場時刻が「１０：１０」であるため、入場時刻の早い方から順にエリアＡ→エリアＣ→エリアＢの順序で各エリアを通過したものと検出する。一方、図５で示すウィンドウＩＤが「２」の入場者３１０は、エリアＡの入場時刻が「１４：３０」、エリアＢの入場時刻が「１４：３５」、エリアＣの入場時刻が「１４：４５」であるため、入場時刻の早い方から順にエリアＡ→エリアＢ→エリアＣの順序で各エリアを通過したものと検出する。このように、通過順序検出手段１４０は、入場者３１０毎に、入場時刻が検出された全ての所定領域（エリア）に対して、入場時刻を比較して、入場時刻の早い方から順に各所定領域を通過したことを検出する。
【００２９】
性別判定手段１５０は、入場者３１０毎に性別を判定し、例えば、図５に示すような形式で、各入場者３１０に対応するウィンドウＩＤと関連付けて、該性別を記憶装置２４０（ＲＡＭ２３０でも良い）に記録する。具体的には、性別判定手段１５０は、予め定めた性別毎の特徴データと上記ウィンドウ部分の画像データとをパターンマッチングすることにより、入場者３１０の性別を判定する。ここで、性別毎の特徴データは、頭髪部分のボリュームに関するデータ、服装部分の色彩に関するデータ、唇部分の色彩に関するデータ等であり、また、性別をパターンマッチングにより判定するという目的に合致する限り、性別を特徴付ける他のデータであっても良い。
【００３０】
また、頭髪部分のボリュームに関するデータを用いる場合、入場者３１０の頭部分を検出する前処理を行った後、該検出された頭部分とパターンマッチングさせ、服装部分の色彩に関するデータを用いる場合、入場者３１０の胴体部分を検出する前処理を行った後、該検出された胴体部分とパターンマッチングさせ、唇部分の色彩に関するデータを用いる場合、入場者３１０の顔部分を検出する前処理を行った後、該検出された顔部分とパターンマッチングさせる形態としても良い。そして、性別毎の特徴データを複数用いてパターンマッチングを行う場合のデータ間の重み付けは適宜定めることができるものとする。
【００３１】
年齢判定手段１６０は、入場者３１０毎に年齢を判定し、例えば、図５に示すような形式で、各入場者３１０に対応するウィンドウＩＤと関連付けて、該年齢を記憶装置２４０（ＲＡＭ２３０でも良い）に記録する。具体的には、年齢判定手段１６０は、予め定めた年齢毎の特徴データと上記ウィンドウ部分の画像データとをパターンマッチングすることにより、入場者３１０の年齢を判定する。ここで、年齢毎の特徴データは、身長と体型のバランスに関するデータ、等身比率に関するデータ、顔部分の皮膚のつやに関するデータ、皺の量に関するデータ等であり、また、年齢をパターンマッチングにより判定するという目的に合致する限り、年齢を特徴付ける他のデータであっても良い。
【００３２】
また、顔部分の皮膚のつやに関するデータ及び皺の量に関するデータを用いる場合、入場者３１０の顔部分を検出する前処理を行った後、該検出された顔部分とパターンマッチングさせる形態としても良い。そして、年齢毎の特徴データを複数用いてパターンマッチングを行う場合のデータ間の重み付けは適宜定めることができるものとする。また、上記でいう年齢は、年齢そのものであっても良く、年齢に一定の幅を持たせた年代（例えば、子供、年齢ゾーン）の形態でも良い。
【００３３】
遷移領域検出手段１７０は、通過順序検出手段１４０により検出された入場者３１０毎の所定領域を通過する順序に関する検出結果を、全ての入場者３１０に対して集計、分析することで、入場者３１０全体の傾向として、一の所定領域から移動する頻度の高い他の所定領域を検出する。具体的には、入場者３１０全体に対する通過順序検出手段１４０の検出結果の中から、一の所定領域に存在した入場者３１０が、次に移動した他の所定領域毎に、その移動した入場者数を計数し、該入場者数が最も多い他の所定領域を検出する。ここで、入場者数はウィンドウＩＤ数で計測することができる。
【００３４】
また、遷移領域検出手段１７０は、入場者３１０全体に対する通過順序検出手段１４０の検出結果の中から、入場者３１０が一の所定領域に存在した場合、次に移動した他の所定領域毎にその移動した入場者数を計数し、入場者数の多い順に該他の所定領域を順序づけする形態としても良い。
【００３５】
また、遷移領域検出手段１７０は、上記処理を行った後、入場時刻検出手段１３０により検出された入場者３１０毎の入場時刻に基づいて、時間帯毎に上記処理を行うことで、一の所定領域から移動する頻度の高い他の所定領域を、時間帯毎に検出する。時間帯毎とは、時間単位、日単位、週単位、月単位等の概念を含み、ここに挙げない他の時間の概念も含むものとする。
【００３６】
また、遷移領域検出手段１７０は、上記の処理を性別判定手段１５０により判定した性別毎に行うことで、一の所定領域から移動する頻度の高い他の所定領域を性別毎に検出する。具体的には、入場者３１０全体に対する通過順序検出手段１４０の検出結果の中から、一の所定領域に存在した入場者３１０が、次に移動した他の所定領域毎に、その移動した入場者数を性別毎に計数し、該入場者数が最も多い他の所定領域を検出する。
【００３７】
また、遷移領域検出手段１７０は、上記の処理を年齢判定手段１６０により判定した年齢毎に行うことで、一の所定領域から移動する頻度の高い他の所定領域を年齢毎に検出する。具体的には、入場者３１０全体に対する通過順序検出手段１４０の検出結果の中から、一の所定領域に存在した入場者３１０が、次に移動した他の所定領域毎に、その移動した入場者数を年齢毎に計数し、該入場者数が最も多い他の所定領域を検出する。年齢毎には、年代毎、子供と大人毎、年齢帯毎も含める。
そして、上記処理を組み合わせて、具体的には、時間帯毎、性別毎、年齢毎の属性を組み合わせて、一の所定領域から移動する頻度の高い他の所定領域を検出することができる。
【００３８】
上で説明した処理を行うことで、本発明に係る入場者管理システム１００は、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する。また、この移動エリアに関する動向は、時間帯別、性別、年齢別の様々な分類で検出することができる。
【００３９】
＜本実施の形態に係る入場者管理システムのハードウェア構成＞
図６を用いて、本実施の形態に係る入場者管理システム１００のハードウェア構成について説明する。図６は、本実施の形態に係る入場者管理システム１００のハードウェア構成の一例を示す図である。
入場者管理システム１００は、ＣＰＵ（Central Processing Unit）２１０、ＲＯＭ（Read-Only Memory）２２０、ＲＡＭ（Random Access Memory）２３０、ＨＤＤ２４０、監視カメラ２５０、表示装置２６０、通信Ｉ／Ｆ（InterFace）２７０を有する。
【００４０】
ＣＰＵ２１０は、ＲＯＭ２２０に記憶されたプログラムを実行する装置で、ＲＡＭ２３０に展開（ロード）されたデータを、プログラムの命令に従って演算処理し、入場者管理システム１００全体を制御する。ＲＯＭ２２０は、ＣＰＵ２１０が実行するプログラムやデータを記憶している。ＲＡＭ２３０は、ＣＰＵ２１０でＲＯＭ２２０に記憶されたプログラムを実行する際に、実行するプログラムやデータが展開（ロード）され、演算の間、演算データを一時的に保持する。本実施の形態において、リアルタイム処理を行う場合、監視カメラ２５０により撮影された画像データは、一時的にＲＡＭ２３０に保存される形態としても良い。
【００４１】
ＨＤＤ２４０は、基本ソフトウェアであるＯＳ（Operating System）、本実施の形態に係るアプリケーションプログラム等を、関連するデータとともに記憶する装置である。本実施の基本的形態として、監視カメラ２５０により撮影された画像データは、ＭＰＥＧ技術によるデータ圧縮後、ＨＤＤ２４０に一旦記録され、該記録された画像データを各手段により画像処理する。また、入場者管理システム１００の備える各手段により付与、判定、検出されるウィンドウＩＤとそれに対応する入場時刻、性別、年齢は、ＨＤＤ２４０に記録され、また、ＨＤＤ２４０から読み出される。
【００４２】
監視カメラ２５０は、入場者管理システム１００の動作原理で説明した通りである。
【００４３】
表示装置２６０は、ハードキーによるキースイッチ、ＬＣＤ（Liquid Crystal Display）等から構成され、入場者管理システム１００が有する機能をユーザが利用する（例えば、処理結果を表示する）際や、各種設定を行う際のユーザインタフェースとして機能する装置である。
【００４４】
通信Ｉ／Ｆ２７０は、インターネットやＬＡＮ（Local Area Network）等の通信ネットワークを介して接続された他の通信制御機能を備えた周辺機器と情報（データ）の授受を行う際のインタフェースである。本実施の形態においては、通信Ｉ／Ｆ２７０を介して接続されるＰＣ（Personal Computer）端末から、入場者管理システム１００の処理開始・終了、処理内容（所定領域の指定、性別、年齢等データ属性の指定等）の指示を受け付けたり、入場者管理システム１００の処理結果を通知する形態であっても良い。
【００４５】
また、入場者管理システム１００における各手段は、ＣＰＵ２１０が、ＲＯＭ２２０又はＨＤＤ２４０に記憶された各手段に対応するプログラムを実行することにより実現される形態としても良く、該各手段をハードウェアとして実現する形態としても良い。
【００４６】
＜本実施の形態に係る入場者管理システムによる処理例＞
図７を用いて、本実施の形態に係る入場者管理システム１００による処理例を説明する。図７は、本実施の形態に係る入場者管理システム１００による処理の一例を示すフローチャートである。
ここでは、図１で示すように、店舗３００の天井に設置した監視カメラ２５０により撮影された画像データに基づいて、店舗３００への入場者３１０とその入場時刻を検出した後、これらの検出結果を用いて店舗３００内に複数設定する所定領域の通過順序を検出する処理を行うものとする。
【００４７】
Ｓ１０で入場者管理システム１００が、監視カメラ２５０の撮影した画像データに基づき、入場者３１０毎に、店舗３００内の所定領域の通過順序を検出する処理を開始する。該処理の開始は、入場者管理システム１００の電源をオンにすることで開始するとしても良いし、ユーザによる開始指示を受け付けたことを以て開始するとしても良い。
【００４８】
Ｓ２０で監視カメラ２５０が、店舗３００内を所定の時間間隔で撮影した画像データを撮影時刻と共に出力し、出力された画像データはＭＰＥＧ技術等によりデータ圧縮されて、ＨＤＤ２４０に記録される。
【００４９】
Ｓ３０で入場者検出手段１１０が、ＨＤＤ２４０に記録された画像データに基づいて、該画像データ内の各所定領域の中で動く物体を検出し、該動く物体を店舗３００内の各所定領域への入場者３１０と判定し、該動く物体が検出された画素位置にウィンドウの大きさの入場者３１０が存在すると認識する。ここで、所定領域は、ユーザによって指定することができ、画像データ内に幾つ指定（設定）されても良い。
【００５０】
Ｓ４０で、図２で示すように、入場者検出手段１１０により検出された入場者３１０が店舗３００内に複数存在する場合、入場者識別手段１２０が、ＨＤＤ２４０に記録された画像データに基づいて、各入場者３１０に対応するウィンドウにそれぞれウィンドウＩＤを付与し、ＨＤＤ２４０に記録する。ウィンドウＩＤは新たに付与される毎に、ＨＤＤ２４０に記録される。入場者管理システム１００は、この処理により（ウィンドウＩＤにより）、それぞれの入場者３１０を識別している。
【００５１】
Ｓ５０で入場時刻検出手段１３０が、入場者識別手段１２０により識別される入場者３１０毎に、店舗３００内（画像データ内）に設定した各所定領域への入場時刻を検出し、検出した各入場時刻を入場者３１０のウィンドウＩＤと対応付けてＨＤＤ２４０に記録する。ここで、入場時刻検出手段１３０は、入場者検出手段１１０により入場者３１０が各所定領域内で最初に検出された時刻を入場時刻とする。例えば、各所定領域（各エリア）に関する入場時刻は、図５で示すような形式で、ＨＤＤ２４０に記録される。この処理により、入場者管理システム１００は、各所定領域を通過する順序を検出することができる。
【００５２】
Ｓ６０で性別判定手段１５０が、ＨＤＤ２４０に記録された画像データ内の各入場者３１０に対応する画素位置にあるウィンドウ部分と、性別の特徴を表す所定の性別特徴データとのパターンマッチング処理を行うことで、各入場者３１０の性別を判定し、該判定された性別を各入場者３１０に対応するウィンドウＩＤと対応付けてＨＤＤ２４０に記録する。例えば、性別情報は、図５で示すような形式（ここでは、男性＝Ｍ、女性＝Ｆと表示している）で、ＨＤＤ２４０に記録される。
【００５３】
Ｓ７０で年齢判定手段１６０が、ＨＤＤ２４０に記録された画像データ内の各入場者３１０に対応する画素位置にあるウィンドウ部分と、年齢別の特徴を表す所定の年齢特徴データとのパターンマッチング処理を行うことで、各入場者３１０の年齢を判定し、該判定された年齢を各入場者３１０に対応するウィンドウＩＤと対応付けてＨＤＤ２４０に記録する。例えば、年齢情報は、図５で示すような形式で、ＨＤＤ２４０に記録される。
【００５４】
Ｓ８０で通過順序検出手段１４０が、入場者識別手段１２０により検出された入場者３１０（ウィンドウＩＤ）毎の各所定領域に関する入場時刻について、該入場時刻の早い順でそれに対応する所定領域を通過したことを検出する。例えば、図５で示すような場合、各入場者３１０に関する所定領域の通過順序は、ウィンドウＩＤ「１」の入場者３１０に関してはエリアＡ→エリアＣ→エリアＢの順序となる。Ｓ８０での処理を全ての入場者３１０に対して行う。
【００５５】
Ｓ９０で遷移領域検出手段１７０が、通過順序検出手段１４０による全ての入場者３１０を対象とした検出結果を用いて、一の所定領域から移動する頻度の高い他の所定領域を検出する。つまり、入場者３１０が一の所定領域に存在した場合、入場者３１０の全体的な傾向として、次にどの所定領域へ移動するかを検出する、具体的には、入場者３１０が一の所定領域に存在した場合、次に移動した所定領域毎の入場者数を計数し、最も入場者数の多い所定領域を検出する（若しくは、入場者数の多い順に該他の所定領域を順序づけする）。
そして、遷移領域検出手段１７０は、ＨＤＤ２４０にウィンドウＩＤと関連付けて記録された入場時刻、性別、年齢毎に上記処理を行い、一の所定領域から移動する頻度の高い他の所定領域を時間帯毎、性別毎、年齢毎に検出する。
【００５６】
Ｓ１００で監視カメラ２５０の撮影した画像データに基づき、入場者３１０毎に、店舗３００内の所定領域の通過順序を検出する処理を終了する。該処理の終了は、ユーザによる終了指示を受け付けたことを以て終了するとしても良いし、上記滞在期間を算出した後自動的に終了するとしても良い。
【００５７】
（総括）
本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等における顧客の移動エリアに関する動向を検出する入場者管理システムを提供することができる。
以上、本発明の実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００５８】
【図１】本実施の形態に係る入場者管理システムの概要を説明するための図である。
【図２】本実施の形態に係る入場者管理システムの撮影した画像データの一例を示す図である。
【図３】本実施の形態に係る入場者管理システムにおける通過エリアの順序を検出する原理を説明するための図である。
【図４】本実施の形態に係る入場者管理システムの動作原理を説明するための図である。
【図５】本実施の形態に係る入場者管理システムにおいて取り扱うデータの一例を説明するための図である。
【図６】本実施の形態に係る入場者管理システムのハードウェア構成の一例を示す図である。
【図７】本実施の形態に係る入場者管理システムによる処理の一例を示すフローチャートである。
【符号の説明】
【００５９】
１００ 入場者管理システム
１１０ 入場者検出手段
１２０ 入場者識別手段
１３０ 入場時刻検出手段
１４０ 通過順序検出手段
１５０ 性別判定手段
１６０ 年齢判定手段
１７０ 遷移領域検出手段
２１０ ＣＰＵ
２２０ ＲＯＭ
２３０ ＲＡＭ
２４０ ＨＤＤ
２５０ 監視カメラ
２６０ 表示装置
２７０ 通信Ｉ／Ｆ
３００ 店舗
３１０ 入場者
３２０ 入場口
３３０ エリアＡ
３４０ エリアＢ
３５０ エリアＣ
【特許請求の範囲】
【請求項１】
所定の場所を所定の時間間隔で撮影した画像データと共に、該所定の場所を撮影した時刻を出力する監視カメラを備えた入場者管理システムであって、
前記時刻に関して連続する２つの前記画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、前記画像データの所定領域の中で動く物体であって、該所定領域に入場した入場者を検出する入場者検出手段と、
前記時刻に関して連続する２つの前記画像データ間における、前記入場者が検出された位置関係に基づいて、前記入場者をそれぞれ識別する入場者識別手段と、
前記入場者識別手段により識別される前記入場者毎に、前記入場者が前記所定領域に入場した入場時刻を検出する入場時刻検出手段と、
複数の前記所定領域が有る場合に、前記入場時刻検出手段により検出された前記入場時刻に基づいて、前記入場者毎の、前記所定領域を通過する順序を検出する通過順序検出手段と、を有することを特徴とする入場者管理システム。
【請求項２】
前記入場時刻検出手段は、前記入場者検出手段により前記入場者が一の前記所定領域において最初に検出された時刻を、前記入場時刻とすることを特徴とする請求項１に記載の入場者管理システム。
【請求項３】
前記通過順序検出手段による検出結果に基づいて、前記入場者が、一の前記所定領域から移動する頻度の高い他の前記所定領域を検出する遷移領域検出手段を有することを特徴とする請求項１又は２に記載の入場者管理システム。
【請求項４】
性別の特徴を表す所定の性別特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の性別を判定する性別判定手段を有し、
前記遷移領域検出手段は、前記性別判定手段により判定された前記性別に基づいて、該性別毎に、前記一の所定領域から移動する頻度の高い前記他の所定領域を検出することを特徴とする請求項３に記載の入場者管理システム。
【請求項５】
年齢の特徴を表す所定の年齢特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の年齢を判定する年齢判定手段を有し、
前記遷移領域検出手段は、前記年齢判定手段により判定された前記年齢に基づいて、該年齢毎に、前記一の所定領域から移動する頻度の高い前記他の所定領域を検出することを特徴とする請求項３又は４に記載の入場者管理システム。
【請求項１】
所定の場所を所定の時間間隔で撮影した画像データと共に、該所定の場所を撮影した時刻を出力する監視カメラを備えた入場者管理システムであって、
前記時刻に関して連続する２つの前記画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、前記画像データの所定領域の中で動く物体であって、該所定領域に入場した入場者を検出する入場者検出手段と、
前記時刻に関して連続する２つの前記画像データ間における、前記入場者が検出された位置関係に基づいて、前記入場者をそれぞれ識別する入場者識別手段と、
前記入場者識別手段により識別される前記入場者毎に、前記入場者が前記所定領域に入場した入場時刻を検出する入場時刻検出手段と、
複数の前記所定領域が有る場合に、前記入場時刻検出手段により検出された前記入場時刻に基づいて、前記入場者毎の、前記所定領域を通過する順序を検出する通過順序検出手段と、を有することを特徴とする入場者管理システム。
【請求項２】
前記入場時刻検出手段は、前記入場者検出手段により前記入場者が一の前記所定領域において最初に検出された時刻を、前記入場時刻とすることを特徴とする請求項１に記載の入場者管理システム。
【請求項３】
前記通過順序検出手段による検出結果に基づいて、前記入場者が、一の前記所定領域から移動する頻度の高い他の前記所定領域を検出する遷移領域検出手段を有することを特徴とする請求項１又は２に記載の入場者管理システム。
【請求項４】
性別の特徴を表す所定の性別特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の性別を判定する性別判定手段を有し、
前記遷移領域検出手段は、前記性別判定手段により判定された前記性別に基づいて、該性別毎に、前記一の所定領域から移動する頻度の高い前記他の所定領域を検出することを特徴とする請求項３に記載の入場者管理システム。
【請求項５】
年齢の特徴を表す所定の年齢特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の年齢を判定する年齢判定手段を有し、
前記遷移領域検出手段は、前記年齢判定手段により判定された前記年齢に基づいて、該年齢毎に、前記一の所定領域から移動する頻度の高い前記他の所定領域を検出することを特徴とする請求項３又は４に記載の入場者管理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１５４６７（Ｐ２０１０−１５４６７Ａ）
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願番号】特願２００８−１７６２３３（Ｐ２００８−１７６２３３）
【出願日】平成２０年７月４日（２００８．７．４）
【出願人】（３９８０５０６９６）セキュリオン・二四株式会社 (8)
【Ｆターム（参考）】
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願日】平成２０年７月４日（２００８．７．４）
【出願人】（３９８０５０６９６）セキュリオン・二四株式会社 (8)
【Ｆターム（参考）】
[ Back to top ]