入場者管理システム
【課題】
本発明では、店舗や駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出する入場者管理システムを提供することを目的とする。
【解決手段】
本発明は、所定の間隔で画像データと撮影時刻を出力する監視カメラを備えた入場者管理システムであって、連続する2つの画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、画像データの所定領域の中で入場者を検出する入場者検出手段と、連続する2つの画像データ間における、入場者が検出された位置関係に基づいて、入場者をそれぞれ識別する入場者識別手段と、入場者毎に所定領域に関する入場時刻と退場時刻を検出する入退場検出手段と、入場時刻と退場時刻に基づいて、入場者毎に所定領域内での滞在期間を算出する滞在期間算出手段と、を有することを特徴とする。
本発明では、店舗や駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出する入場者管理システムを提供することを目的とする。
【解決手段】
本発明は、所定の間隔で画像データと撮影時刻を出力する監視カメラを備えた入場者管理システムであって、連続する2つの画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、画像データの所定領域の中で入場者を検出する入場者検出手段と、連続する2つの画像データ間における、入場者が検出された位置関係に基づいて、入場者をそれぞれ識別する入場者識別手段と、入場者毎に所定領域に関する入場時刻と退場時刻を検出する入退場検出手段と、入場時刻と退場時刻に基づいて、入場者毎に所定領域内での滞在期間を算出する滞在期間算出手段と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視カメラで取得した動画像データの中から、入場者と該入場者の入場時刻及び退場時刻とを検出した後、これらの検出結果を用いて該入場者毎の滞在期間を算出する技術に関する。
【背景技術】
【0002】
近年、動画像のデジタル圧縮技術等に代表されるマルチメディア映像技術の発展に伴い、様々な分野で映像情報サービスが提供されており、さらなる高速化・高品質化が求められている。特に、一般生活環境における、人、物、車両などの移動している物体の移動状態を検出し、記録する用途など応用範囲の広い映像情報提供サービスの期待が大きい。
【0003】
ところで、小売業者の店舗等では、顧客入場者数や売り場間移動の動向、各売り場における滞在時間等は、収益環境を改善させるためにとても重要な情報と成り得るが、これらの情報を的確、かつ、容易に取得することは非常に困難な状況である。
【0004】
他方、店舗や該店舗が備える駐車場等には防犯や安全のために監視カメラが設置され、当該監視カメラが撮影した映像は、例えば、不審人物、不審車両を発見することに役立てられ、または、店舗等で行われた万引き、強盗等の犯罪を事後的に検証するために役立てられている。
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、店舗や該店舗の駐車場等に設置された監視カメラが取得した映像には、店舗等に入場した顧客に関する情報が含まれているにも関わらず、該顧客に関する情報を有効に、または、十分には活用されていないという問題点があった。
【0006】
そこで、本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出する入場者管理システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る入場者管理システムは、所定の場所を所定の時間間隔で撮影した画像データと共に、該所定の場所を撮影した時刻を出力する監視カメラを備えた入場者管理システムであって、前記時刻に関して連続する2つの前記画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、前記画像データの所定領域の中で動く物体であって、該所定領域に入場した入場者を検出する入場者検出手段と、前記時刻に関して連続する2つの前記画像データ間における、前記入場者が検出された位置関係に基づいて、前記入場者をそれぞれ識別する入場者識別手段と、前記入場者識別手段により識別される前記入場者毎に、前記入場者が前記所定領域に入場した時刻及び前記所定領域から退場した時刻を検出する入退場検出手段と、前記入退場検出手段により検出された前記入場した時刻及び前記退場した時刻に基づいて、前記入場者毎に、前記所定領域内に滞在した期間を算出する滞在期間算出手段と、を有することを特徴とする。
【0008】
また、本発明に係る入場者管理システムの一形態において、前記入退場検出手段は、前記入場者検出手段により前記入場者が最初に検出された時刻に基づいて、前記入場した時刻を検出することを特徴とする。
【0009】
また、本発明に係る入場者管理システムの一形態において、前記入退場検出手段は、前記入場者検出手段により前記入場者が最後に検出された時刻に基づいて、前記退場した時刻を検出することを特徴とする。
【0010】
また、本発明に係る入場者管理システムの一形態において、性別の特徴を表す所定の性別特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の性別を判定する性別判定手段を有し、前記滞在期間算出手段は、前記性別判定手段により判定された前記性別に基づいて、該性別毎に、前記滞在した期間を算出することを特徴とする。
【0011】
また、本発明に係る入場者管理システムの一形態において、年齢の特徴を表す所定の年齢特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の年齢を判定する年齢判定手段を有し、前記滞在期間算出手段は、前記年齢判定手段により判定された前記年齢に基づいて、該年齢毎に、前記滞在した期間を算出することを特徴とする。
【0012】
したがって、本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出する入場者管理システムを提供することができる。
【発明の効果】
【0013】
本発明は、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出する入場者管理システムを提供することができる。
【発明を実施するための最良の形態】
【0014】
図面を参照しながら、本発明を実施するための最良の形態について説明する。
<本実施の形態に係る入場者管理システムの動作原理>
ここでは、図1〜3を用いて、本実施の形態に係る入場者管理システム100の動作原理について説明する。はじめに、図1、2を用いて、入場者管理システム100の概要を説明することとするが、図1は入場者管理システム100の設置例を示す図であり、図2は入場者管理システム100の撮影した画像データの一例を示す図である。
【0015】
図1で示すように、入場者管理システム100では、店舗300の天井に設置した監視カメラ250によって店舗300内の全体を撮影するものであり、店舗300の入場口320から入場する入場者310が監視カメラ250によって撮影される。図1では、監視カメラ250は1つのみ図示しているが、監視カメラ250は複数であっても良い。また、監視カメラ250は天井の真ん中部分に設置されるように図示されているが、監視カメラ250の設置場所は天井のみならず、店舗300の壁(側面)に設置する形態としても良く、天井の端とする形態としても良い。また、監視カメラ250は、平面レンズを用いて撮影する形態としても良く、(360°の)魚眼レンズを用いて撮影する形態としても良い。
【0016】
そして、入場者管理システム100は、監視カメラ250が撮影した動画像データに対して、後述する所定の情報処理を行うことによって動く物体を検出した上で、この動く物体を店舗300への入場者と判定する。
【0017】
通常、店舗300への入場者は1人ではなく、複数人である場合が多いと考えられるが、この場合、入場者管理システム100は、監視カメラ250が撮影した動画像データに対して、上記所定の情報処理で検出された複数の入場者を、入場者毎に識別する処理を行う。図2で示すように、例えば、店舗300内に入場者310が3人いた場合には、3人の入場者を動画像データ上でそれぞれ識別する。
【0018】
そして、入場者管理システム100は、各入場者310に関して、店舗300への入場時刻と退場時刻とをそれぞれ検出し、入場者310毎にこの入場時刻と退場時刻との差を取ることで、店舗300内での滞在期間を算出することができる。
また、監視カメラ250の撮影した画像データ内に、例えば、図2中のエリアA330、エリアB340などと異なる領域を設定して、エリアA330、エリアB340毎の入場時刻と退場時刻を検出し、入場者310毎、かつ、設定したエリア毎に滞在期間を算出することもできる。
【0019】
また、この入場者毎の滞在期間は、店舗300に現に存在する入場者310のみを対象とするのではなく、店舗300に現在は存在しないものの過去に存在した入場者310を含めて算出することで、過去に遡っても滞在期間を算出することができる。
一方、入場者管理システム100は、店舗300に入場した入場者310毎に、性別、年齢を判定することで、性別毎、年齢毎の滞在期間を算出することができる。
【0020】
次に、図3を用いて入場者管理システム100の動作原理を説明することとするが、図3は入場者管理システム100の動作原理を説明するための図である。図3で示すように、入場者管理システム100は、入場者検出手段110、入場者識別手段120、入退場検出手段130、性別判定手段140、年齢判定手段150、滞在期間算出手段160、記憶装置240、監視カメラ250を有する。
【0021】
監視カメラ250は、先に述べたように、例えば、店舗300の天井又は壁に設置され、店舗300内を撮影するカメラである。監視カメラ250は、予め定められる一方向を継続して撮影するものであるが、レンズに関しては、平面レンズを備える形態でも良く、魚眼レンズ(例えば、360°の魚眼レンズ)を備え、店舗300内を撮影する形態としても良い。そして、監視カメラ250は、所定の時間間隔で、撮影した画像データと撮影時刻とを出力し、出力した画像データと撮影時刻は記憶装置240に記憶される。ただし、入場者管理システム100は、当該画像データと撮影時刻とをRAM230等のワークメモリに一旦記憶し、該記憶したデータに対しリアルタイムで後述する情報処理を行う形態としても良い。また、監視カメラ250は一台であっても複数台であっても良く、複数台である場合には、各監視カメラ250が撮影した画像データの重なる部分を認識し、この重なる部分で複数の画像データを繋げた1つの画像データのように取り扱うことで、後述の情報処理を行うことする。
【0022】
記憶装置240は、監視カメラ250の撮影した画像データを記憶する装置であり、例えば、HDD(Hard Disc Drive)のような大容量の記憶装置である。監視カメラ250により撮影された画像データはMPEG(Moving Picture Experts Group)技術によりデータ圧縮され、圧縮された画像データはHDD240に記録されるものとし、以下で説明する各手段は、特段の断りのない限り、HDD240に記録された画像データに対して所定の情報処理を行うものとする。
【0023】
入場者検出手段110は、監視カメラ250が撮影した動画像データに基づいて、動く物体を検出し、該動く物体を店舗300に入場した入場者310として判定する、つまり、入場者310を検出する情報処理を行う。具体的には、監視カメラ250は所定の時間間隔で(静止)画像データを出力するので、入場者検出手段110は、撮影時刻が連続する2つの画像データに関して、相対応する画素毎に画素値の差分を取り、該差分がゼロではない画素が有れば、この画素位置を動く物体として検出する。特に、本実施の形態においては、各画素の明度に着目して画素毎の差分を取り、動く物体を検出する。そして、画像データ内での入場者310の大きさを定めた画素範囲(以下、ウィンドウ)を考えた場合、上記の動く物体が検出された画素位置にはウィンドウで示す大きさの入場者310が存在すると認識(判定)する。また、ウィンドウの大きさは、監視カメラ250が撮影した画像データの中で、ユーザの指定により自由に定めることができ(画素数単位で指定する)、例えば、(縦20画素、横10画素)の画素範囲を指定して定めることができる。
【0024】
また、入場者検出手段110は、監視カメラ250が撮影した画像データの中で、予め定めた所定領域(例えば、図2中のエリアA330、エリアB340)を対象として、上記の説明と同じ処理、つまり、所定領域の中で動く物体を検出し、入場者310と判定する処理を行う。ここで、所定領域は、監視カメラ250が撮影した画像データの中で、ユーザの指定により自由に定めることができ(画素位置と画素範囲とで指定する)、所定領域は1つでも複数指定されても良い。また、監視カメラ250の撮影した画像データ全体を所定領域とすることもできる。こうすることで、店舗内300の所定領域を対象として、この所定領域における入場者310の滞在期間を算出することができる。
【0025】
入場者識別手段120は、入場者検出手段110により検出された入場者310が複数いる場合に、入場者毎に該入場者310を識別する。具体的には、上記ウィンドウの存在する画素位置と、該画素位置にあるウィンドウを識別するための識別情報(以下、ウィンドウID)とを関連付けて記憶装置240(RAM230でも良い)に記憶する。そして、撮影時刻が連続する2つの画像データに関して、撮影時刻の早い画像データにおいてウィンドウの存在する画素位置(第1の画素位置)と、次の撮影時刻の画像データにおいてウィンドウの存在する画素位置(第2の画素位置)とが適当な位置関係に有る場合に、第1の画素位置に関するウィンドウIDを第2の画素位置に関するウィンドウIDとする。ここで、適当な位置関係とは、第1の画素位置と第2の画素位置との距離が所定の距離内である関係であっても良く、複数の第2の画素位置が有る場合に、第1の画素位置に最も近い第2の画素位置としても良い。つまり、撮影時刻が連続する2つの画像データどうしで、同じ入場者310を識別するという目的の範囲内において適宜定めることができるものとする。
【0026】
入退場検出手段130は、入場者310が店舗300に入場した時刻(以下、入場時刻)及び退場した時刻(以下、退場時刻)を検出し、入場者310毎に、入場時刻と退場時刻とを記憶装置240(RAM230でも良い)に記憶する。具体的には、入退場検出手段130は、入場者310毎の入場時刻及び退場時刻を検出し、例えば、図4に示すような形式で、各入場者310に対応するウィンドウIDと関連付けて、該入場時刻及び退場時刻を記憶装置240(RAM230でも良い)に記録する。
また、入退場検出手段130の一形態では、入場者検出手段110により各入場者310(動く物体)が最初に検出された時刻を入場時刻とし、この最初に検出された時刻は、動く物体が最初に検出された画像データの撮影された時刻である。
他方、入退場検出手段130の一形態では、入場者検出手段110により各入場者310(動く物体)が最後に検出された時刻を退場時刻とし、この最後に検出された時刻は、動く物体が最後に検出された画像データの撮影された時刻である。
さらには、入退場検出手段130は、入場者310が、所定の入口320から入場又は退場した時刻を以て、入場時刻又は退場時刻とする形態であっても良い。
【0027】
そして、入退場検出手段130は、監視カメラ250が撮影した画像データの中で、予め定めた所定領域を対象として、上記の説明と同じ処理、つまり、所定領域に対する入場時刻及び退場時刻を検出する処理を行い、それは、所定領域内で各入場者310が最初又は最後に検出された時刻を入場時刻又は退場時刻とする処理であっても良い。
【0028】
性別判定手段140は、入場者310毎に性別を判定し、例えば、図4に示すような形式で、各入場者310に対応するウィンドウIDと関連付けて、該性別を記憶装置240(RAM230でも良い)に記録する。具体的には、性別判定手段140は、予め定めた性別毎の特徴データと上記ウィンドウ部分の画像データとをパターンマッチングすることにより、入場者310の性別を判定する。ここで、性別毎の特徴データは、頭髪部分のボリュームに関するデータ、服装部分の色彩に関するデータ、唇部分の色彩に関するデータ等であり、また、性別をパターンマッチングにより判定するという目的に合致する限り、性別を特徴付ける他のデータであっても良い。
【0029】
また、頭髪部分のボリュームに関するデータを用いる場合、入場者310の頭部分を検出する前処理を行った後、該検出された頭部分とパターンマッチングさせ、服装部分の色彩に関するデータを用いる場合、入場者310の胴体部分を検出する前処理を行った後、該検出された胴体部分とパターンマッチングさせ、唇部分の色彩に関するデータを用いる場合、入場者310の顔部分を検出する前処理を行った後、該検出された顔部分とパターンマッチングさせる形態としても良い。そして、性別毎の特徴データを複数用いてパターンマッチングを行う場合のデータ間の重み付けは適宜定めることができるものとする。
【0030】
年齢判定手段150は、入場者310毎に年齢を判定し、例えば、図4に示すような形式で、各入場者310に対応するウィンドウIDと関連付けて、該年齢を記憶装置240(RAM230でも良い)に記録する。具体的には、年齢判定手段150は、予め定めた年齢毎の特徴データと上記ウィンドウ部分の画像データとをパターンマッチングすることにより、入場者310の年齢を判定する。ここで、年齢毎の特徴データは、身長と体型のバランスに関するデータ、等身比率に関するデータ、顔部分の皮膚のつやに関するデータ、皺の量に関するデータ等であり、また、年齢をパターンマッチングにより判定するという目的に合致する限り、年齢を特徴付ける他のデータであっても良い。
【0031】
また、顔部分の皮膚のつやに関するデータ及び皺の量に関するデータを用いる場合、入場者310の顔部分を検出する前処理を行った後、該検出された顔部分とパターンマッチングさせる形態としても良い。そして、年齢毎の特徴データを複数用いてパターンマッチングを行う場合のデータ間の重み付けは適宜定めることができるものとする。また、上記でいう年齢は、年齢そのものであっても良く、年齢に一定の幅を持たせた年代(例えば、子供、年齢ゾーン)の形態でも良い。
【0032】
滞在期間算出手段160は、入退場検出手段130により検出された、入場者310(ウィンドウID)毎の入場時刻と退場時刻との差を取って、店舗300における滞在期間を算出する。例えば、図4に示すような形式で、店舗300における滞在期間は算出される。
【0033】
また、滞在期間算出手段160は、入場者310(ウィンドウID)毎に入場時刻と退場時刻との差を取り、滞在期間を算出した後、入退場検出手段130により検出された入場者310毎の入場時刻に基づいて、時間帯毎にこの滞在期間を集計(滞在期間の平均値を算出)することで、店舗300における時間帯毎の滞在期間を算出する。時間帯毎には、時間単位、日単位、週単位、月単位等の概念を含み、ここに挙げない他の時間の概念も含むものとする。
【0034】
また、滞在期間算出手段160は、入場者310(ウィンドウID)毎に入場時刻と退場時刻との差を取り、滞在期間を算出した後、性別判定手段140により判定した性別毎にこの滞在期間を集計(滞在期間の平均値を算出)することで、店舗300における性別毎の滞在期間を算出する。
【0035】
また、滞在期間算出手段160は、入場者310(ウィンドウID)毎に入場時刻と退場時刻との差を取り、滞在期間を算出した後、年齢判定手段150により判定した年齢毎にこの滞在期間を集計(滞在期間の平均値を算出)することで、店舗300における年齢毎の滞在期間を算出する。年齢毎には、年代毎、子供と大人毎、年齢帯毎も含める。
そして、上記処理を組み合わせて、具体的には、時間帯毎、性別毎、年齢毎の属性を組み合わせて、店舗300における滞在期間を算出することができる。
【0036】
さらに、滞在期間算出手段160は、監視カメラ250が撮影した画像データの中で、予め定めた所定領域を対象として、上記の説明と同じ処理、つまり、所定領域を対象として入場時刻と退場時刻との差を取って、所定領域における滞在期間を算出する。例えば、図4に示すような形式で、店舗300内の所定領域における滞在期間は算出される。
また、入場者管理システム100では、所定領域に所定期間以上滞在する入場者310を検出した場合には、後述する通信I/F270を介して、所定のPC端末や携帯端末へ通知する形態としても良い。
【0037】
上で説明した処理を行うことで、本発明に係る入場者管理システム100は、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出することができる。また、この滞在期間は、時間帯別、性別、年齢別の様々な分類で算出することができる。
【0038】
<本実施の形態に係る入場者管理システムのハードウェア構成>
図5を用いて、本実施の形態に係る入場者管理システム100のハードウェア構成について説明する。図5は、本実施の形態に係る入場者管理システム100のハードウェア構成の一例を示す図である。
入場者管理システム100は、CPU(Central Processing Unit)210、ROM(Read-Only Memory)220、RAM(Random Access Memory)230、HDD240、監視カメラ250、表示装置260、通信I/F(InterFace)270を有する。
【0039】
CPU210は、ROM220に記憶されたプログラムを実行する装置で、RAM230に展開(ロード)されたデータを、プログラムの命令に従って演算処理し、入場者管理システム100全体を制御する。ROM220は、CPU210が実行するプログラムやデータを記憶している。RAM230は、CPU210でROM220に記憶されたプログラムを実行する際に、実行するプログラムやデータが展開(ロード)され、演算の間、演算データを一時的に保持する。本実施の形態において、リアルタイム処理を行う場合、監視カメラ250により撮影された画像データは、一時的にRAM230に保存される形態としても良い。
【0040】
HDD240は、基本ソフトウェアであるOS(Operating System)、本実施の形態に係るアプリケーションプログラム等を、関連するデータとともに記憶する装置である。本実施の基本的形態として、監視カメラ250により撮影された画像データは、MPEG技術によるデータ圧縮後、HDD240に一旦記録され、該記録された画像データを各手段により画像処理する。また、入場者管理システム100の備える各手段により付与、判定、検出されるウィンドウIDとそれに対応する入場時刻、退場時刻、性別、年齢は、HDD240に記録され、また、HDD240から読み出される。
【0041】
監視カメラ250は、入場者管理システム100の動作原理で説明した通りである。
【0042】
表示装置260は、ハードキーによるキースイッチ、LCD(Liquid Crystal Display)等から構成され、入場者管理システム100が有する機能をユーザが利用する(例えば、処理結果を表示する)際や、各種設定を行う際のユーザインタフェースとして機能する装置である。
【0043】
通信I/F270は、インターネットやLAN(Local Area Network)等の通信ネットワークを介して接続された他の通信制御機能を備えた周辺機器と情報(データ)の授受を行う際のインタフェースである。本実施の形態においては、通信I/F270を介して接続されるPC(Personal Computer)端末から、入場者管理システム100の処理開始・終了、処理内容(所定領域の指定、滞在期間を算出する際のデータ属性の指定等)の指示を受け付けたり、入場者管理システム100の処理結果を通知する形態であっても良い。
【0044】
また、入場者管理システム100における各手段は、CPU210が、ROM220又はHDD240に記憶された各手段に対応するプログラムを実行することにより実現される形態としても良く、該各手段をハードウェアとして実現する形態としても良い。
【0045】
<本実施の形態に係る入場者管理システムによる処理例>
図6を用いて、本実施の形態に係る入場者管理システム100による処理例を説明する。図6は、本実施の形態に係る入場者管理システム100による処理の一例を示すフローチャートである。
ここでは、図1で示すように、店舗300の天井に設置した監視カメラ250により撮影された画像データに基づいて、店舗300への入場者310、入場時刻、退場時刻を検出し、これらの検出結果を用いて店舗300内の所定領域における滞在期間を算出する処理を行うものとする。
【0046】
S10で入場者管理システム100が、監視カメラ250の撮影した画像データに基づき、入場者310毎に店舗300内の所定領域における滞在期間を算出する処理を開始する。該処理の開始は、入場者管理システム100の電源をオンにすることで開始するとしても良いし、ユーザによる開始指示を受け付けたことを以て開始するとしても良い。
【0047】
S20で監視カメラ250が、店舗300内を所定の時間間隔で撮影した画像データを撮影時刻と共に出力し、出力された画像データはMPEG技術等によりデータ圧縮されて、HDD240に記録される。
【0048】
S30で入場者検出手段110が、HDD240に記録された画像データに基づいて、該画像データ内の所定領域の中で動く物体を検出し、該動く物体を店舗300内の所定領域への入場者310と判定し、該動く物体が検出された画素位置にウィンドウの大きさの入場者310が存在すると認識する。ここで、所定領域は、ユーザによって指定することができ、1つ指定されても複数指定されても良く、また、画像データ全体を所定領域としても良い。
【0049】
S40で、図2で示すように、入場者検出手段110により検出された入場者310が店舗300内の所定領域に複数存在する場合、入場者識別手段120が、HDD240に記録された画像データに基づいて、各入場者310に対応するウィンドウにそれぞれウィンドウIDを付与し、HDD240に記録する。ウィンドウIDは新たに付与される毎に、HDD240に記録される。入場者管理システム100は、この処理により(ウィンドウIDにより)、それぞれの入場者310を識別している。
【0050】
S50で入退場検出手段130が、入場者識別手段120により識別される入場者310毎に、店舗300への入場時刻及び退場時刻を検出し、入場者310のウィンドウIDと対応付けてHDD240に記録する。ここで、入退場検出手段130は、入場者検出手段110により入場者310が所定領域内で最初に検出された時刻を入場時刻とし、入場者検出手段110により入場者310が所定領域内で最後に検出された時刻を退場時刻とする。例えば、入場時刻と退場時刻とは、図4で示すような形式で、HDD240に記録される。入場者管理システム100は、この処理により、予め定めるエリア毎の滞在期間を算出することができる。
【0051】
S60で性別判定手段140が、HDD240に記録された画像データ内の各入場者310に対応する画素位置にあるウィンドウ部分と、性別の特徴を表す所定の性別特徴データとのパターンマッチング処理を行うことで、各入場者310の性別を判定し、該判定された性別を各入場者310に対応するウィンドウIDと対応付けてHDD240に記録する。例えば、性別情報は、図4で示すような形式で、HDD240に記録される。入場者管理システム100は、この処理により、性別毎の滞在期間を算出することができる。
【0052】
S70で年齢判定手段150が、HDD240に記録された画像データ内の各入場者310に対応する画素位置にあるウィンドウ部分と、年齢別の特徴を表す所定の年齢特徴データとのパターンマッチング処理を行うことで、各入場者310の年齢を判定し、該判定された年齢を各入場者310に対応するウィンドウIDと対応付けてHDD240に記録する。例えば、年齢情報は、図4で示すような形式で、HDD240に記録される。入場者管理システム100は、この処理により、年齢毎の滞在期間を算出することができる。
【0053】
S80で滞在期間算出手段160が、入場者識別手段120により検出された入場者310(ウィンドウID)毎の入場時刻と退場時刻との差を取って、所定領域における滞在期間を算出する。例えば、所定領域における滞在期間は、図4で示すような形式で算出される。そして、滞在期間算出手段160は、HDD240にウィンドウIDと関連付けて記録された入場時刻、性別、年齢毎にこの滞在期間を集計し、時間帯毎、性別毎、年齢毎の滞在期間を算出する。
【0054】
S90で入場者管理システム100が、監視カメラ250の撮影した画像データに基づき、入場者310毎に店舗300内の所定領域における滞在期間を算出する処理を終了する。該処理の終了は、ユーザによる終了指示を受け付けたことを以て終了するとしても良いし、上記滞在期間を算出した後自動的に終了するとしても良い。
【0055】
(総括)
本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出する入場者管理システムを提供することができる。
以上、本発明の実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲において、種々の変形・変更が可能である。
【図面の簡単な説明】
【0056】
【図1】本実施の形態に係る入場者管理システムの概要を説明するための図である。
【図2】本実施の形態に係る入場者管理システムの撮影した画像データの一例を示す図である。
【図3】本実施の形態に係る入場者管理システムの動作原理を説明するための図である。
【図4】本実施の形態に係る入場者管理システムにおいて取り扱うデータの一例を説明するための図である。
【図5】本実施の形態に係る入場者管理システムのハードウェア構成の一例を示す図である。
【図6】本実施の形態に係る入場者管理システムによる処理の一例を示すフローチャートである。
【符号の説明】
【0057】
100 入場者管理システム
110 入場者検出手段
120 入場者識別手段
130 入退場検出手段
140 性別判定手段
150 年齢判定手段
160 滞在期間算出手段
210 CPU
220 ROM
230 RAM
240 HDD
250 監視カメラ
260 表示装置
270 通信I/F
300 店舗
310 入場者
320 入場口
330 エリアA
340 エリアB
【技術分野】
【0001】
本発明は、監視カメラで取得した動画像データの中から、入場者と該入場者の入場時刻及び退場時刻とを検出した後、これらの検出結果を用いて該入場者毎の滞在期間を算出する技術に関する。
【背景技術】
【0002】
近年、動画像のデジタル圧縮技術等に代表されるマルチメディア映像技術の発展に伴い、様々な分野で映像情報サービスが提供されており、さらなる高速化・高品質化が求められている。特に、一般生活環境における、人、物、車両などの移動している物体の移動状態を検出し、記録する用途など応用範囲の広い映像情報提供サービスの期待が大きい。
【0003】
ところで、小売業者の店舗等では、顧客入場者数や売り場間移動の動向、各売り場における滞在時間等は、収益環境を改善させるためにとても重要な情報と成り得るが、これらの情報を的確、かつ、容易に取得することは非常に困難な状況である。
【0004】
他方、店舗や該店舗が備える駐車場等には防犯や安全のために監視カメラが設置され、当該監視カメラが撮影した映像は、例えば、不審人物、不審車両を発見することに役立てられ、または、店舗等で行われた万引き、強盗等の犯罪を事後的に検証するために役立てられている。
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、店舗や該店舗の駐車場等に設置された監視カメラが取得した映像には、店舗等に入場した顧客に関する情報が含まれているにも関わらず、該顧客に関する情報を有効に、または、十分には活用されていないという問題点があった。
【0006】
そこで、本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出する入場者管理システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る入場者管理システムは、所定の場所を所定の時間間隔で撮影した画像データと共に、該所定の場所を撮影した時刻を出力する監視カメラを備えた入場者管理システムであって、前記時刻に関して連続する2つの前記画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、前記画像データの所定領域の中で動く物体であって、該所定領域に入場した入場者を検出する入場者検出手段と、前記時刻に関して連続する2つの前記画像データ間における、前記入場者が検出された位置関係に基づいて、前記入場者をそれぞれ識別する入場者識別手段と、前記入場者識別手段により識別される前記入場者毎に、前記入場者が前記所定領域に入場した時刻及び前記所定領域から退場した時刻を検出する入退場検出手段と、前記入退場検出手段により検出された前記入場した時刻及び前記退場した時刻に基づいて、前記入場者毎に、前記所定領域内に滞在した期間を算出する滞在期間算出手段と、を有することを特徴とする。
【0008】
また、本発明に係る入場者管理システムの一形態において、前記入退場検出手段は、前記入場者検出手段により前記入場者が最初に検出された時刻に基づいて、前記入場した時刻を検出することを特徴とする。
【0009】
また、本発明に係る入場者管理システムの一形態において、前記入退場検出手段は、前記入場者検出手段により前記入場者が最後に検出された時刻に基づいて、前記退場した時刻を検出することを特徴とする。
【0010】
また、本発明に係る入場者管理システムの一形態において、性別の特徴を表す所定の性別特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の性別を判定する性別判定手段を有し、前記滞在期間算出手段は、前記性別判定手段により判定された前記性別に基づいて、該性別毎に、前記滞在した期間を算出することを特徴とする。
【0011】
また、本発明に係る入場者管理システムの一形態において、年齢の特徴を表す所定の年齢特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の年齢を判定する年齢判定手段を有し、前記滞在期間算出手段は、前記年齢判定手段により判定された前記年齢に基づいて、該年齢毎に、前記滞在した期間を算出することを特徴とする。
【0012】
したがって、本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出する入場者管理システムを提供することができる。
【発明の効果】
【0013】
本発明は、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出する入場者管理システムを提供することができる。
【発明を実施するための最良の形態】
【0014】
図面を参照しながら、本発明を実施するための最良の形態について説明する。
<本実施の形態に係る入場者管理システムの動作原理>
ここでは、図1〜3を用いて、本実施の形態に係る入場者管理システム100の動作原理について説明する。はじめに、図1、2を用いて、入場者管理システム100の概要を説明することとするが、図1は入場者管理システム100の設置例を示す図であり、図2は入場者管理システム100の撮影した画像データの一例を示す図である。
【0015】
図1で示すように、入場者管理システム100では、店舗300の天井に設置した監視カメラ250によって店舗300内の全体を撮影するものであり、店舗300の入場口320から入場する入場者310が監視カメラ250によって撮影される。図1では、監視カメラ250は1つのみ図示しているが、監視カメラ250は複数であっても良い。また、監視カメラ250は天井の真ん中部分に設置されるように図示されているが、監視カメラ250の設置場所は天井のみならず、店舗300の壁(側面)に設置する形態としても良く、天井の端とする形態としても良い。また、監視カメラ250は、平面レンズを用いて撮影する形態としても良く、(360°の)魚眼レンズを用いて撮影する形態としても良い。
【0016】
そして、入場者管理システム100は、監視カメラ250が撮影した動画像データに対して、後述する所定の情報処理を行うことによって動く物体を検出した上で、この動く物体を店舗300への入場者と判定する。
【0017】
通常、店舗300への入場者は1人ではなく、複数人である場合が多いと考えられるが、この場合、入場者管理システム100は、監視カメラ250が撮影した動画像データに対して、上記所定の情報処理で検出された複数の入場者を、入場者毎に識別する処理を行う。図2で示すように、例えば、店舗300内に入場者310が3人いた場合には、3人の入場者を動画像データ上でそれぞれ識別する。
【0018】
そして、入場者管理システム100は、各入場者310に関して、店舗300への入場時刻と退場時刻とをそれぞれ検出し、入場者310毎にこの入場時刻と退場時刻との差を取ることで、店舗300内での滞在期間を算出することができる。
また、監視カメラ250の撮影した画像データ内に、例えば、図2中のエリアA330、エリアB340などと異なる領域を設定して、エリアA330、エリアB340毎の入場時刻と退場時刻を検出し、入場者310毎、かつ、設定したエリア毎に滞在期間を算出することもできる。
【0019】
また、この入場者毎の滞在期間は、店舗300に現に存在する入場者310のみを対象とするのではなく、店舗300に現在は存在しないものの過去に存在した入場者310を含めて算出することで、過去に遡っても滞在期間を算出することができる。
一方、入場者管理システム100は、店舗300に入場した入場者310毎に、性別、年齢を判定することで、性別毎、年齢毎の滞在期間を算出することができる。
【0020】
次に、図3を用いて入場者管理システム100の動作原理を説明することとするが、図3は入場者管理システム100の動作原理を説明するための図である。図3で示すように、入場者管理システム100は、入場者検出手段110、入場者識別手段120、入退場検出手段130、性別判定手段140、年齢判定手段150、滞在期間算出手段160、記憶装置240、監視カメラ250を有する。
【0021】
監視カメラ250は、先に述べたように、例えば、店舗300の天井又は壁に設置され、店舗300内を撮影するカメラである。監視カメラ250は、予め定められる一方向を継続して撮影するものであるが、レンズに関しては、平面レンズを備える形態でも良く、魚眼レンズ(例えば、360°の魚眼レンズ)を備え、店舗300内を撮影する形態としても良い。そして、監視カメラ250は、所定の時間間隔で、撮影した画像データと撮影時刻とを出力し、出力した画像データと撮影時刻は記憶装置240に記憶される。ただし、入場者管理システム100は、当該画像データと撮影時刻とをRAM230等のワークメモリに一旦記憶し、該記憶したデータに対しリアルタイムで後述する情報処理を行う形態としても良い。また、監視カメラ250は一台であっても複数台であっても良く、複数台である場合には、各監視カメラ250が撮影した画像データの重なる部分を認識し、この重なる部分で複数の画像データを繋げた1つの画像データのように取り扱うことで、後述の情報処理を行うことする。
【0022】
記憶装置240は、監視カメラ250の撮影した画像データを記憶する装置であり、例えば、HDD(Hard Disc Drive)のような大容量の記憶装置である。監視カメラ250により撮影された画像データはMPEG(Moving Picture Experts Group)技術によりデータ圧縮され、圧縮された画像データはHDD240に記録されるものとし、以下で説明する各手段は、特段の断りのない限り、HDD240に記録された画像データに対して所定の情報処理を行うものとする。
【0023】
入場者検出手段110は、監視カメラ250が撮影した動画像データに基づいて、動く物体を検出し、該動く物体を店舗300に入場した入場者310として判定する、つまり、入場者310を検出する情報処理を行う。具体的には、監視カメラ250は所定の時間間隔で(静止)画像データを出力するので、入場者検出手段110は、撮影時刻が連続する2つの画像データに関して、相対応する画素毎に画素値の差分を取り、該差分がゼロではない画素が有れば、この画素位置を動く物体として検出する。特に、本実施の形態においては、各画素の明度に着目して画素毎の差分を取り、動く物体を検出する。そして、画像データ内での入場者310の大きさを定めた画素範囲(以下、ウィンドウ)を考えた場合、上記の動く物体が検出された画素位置にはウィンドウで示す大きさの入場者310が存在すると認識(判定)する。また、ウィンドウの大きさは、監視カメラ250が撮影した画像データの中で、ユーザの指定により自由に定めることができ(画素数単位で指定する)、例えば、(縦20画素、横10画素)の画素範囲を指定して定めることができる。
【0024】
また、入場者検出手段110は、監視カメラ250が撮影した画像データの中で、予め定めた所定領域(例えば、図2中のエリアA330、エリアB340)を対象として、上記の説明と同じ処理、つまり、所定領域の中で動く物体を検出し、入場者310と判定する処理を行う。ここで、所定領域は、監視カメラ250が撮影した画像データの中で、ユーザの指定により自由に定めることができ(画素位置と画素範囲とで指定する)、所定領域は1つでも複数指定されても良い。また、監視カメラ250の撮影した画像データ全体を所定領域とすることもできる。こうすることで、店舗内300の所定領域を対象として、この所定領域における入場者310の滞在期間を算出することができる。
【0025】
入場者識別手段120は、入場者検出手段110により検出された入場者310が複数いる場合に、入場者毎に該入場者310を識別する。具体的には、上記ウィンドウの存在する画素位置と、該画素位置にあるウィンドウを識別するための識別情報(以下、ウィンドウID)とを関連付けて記憶装置240(RAM230でも良い)に記憶する。そして、撮影時刻が連続する2つの画像データに関して、撮影時刻の早い画像データにおいてウィンドウの存在する画素位置(第1の画素位置)と、次の撮影時刻の画像データにおいてウィンドウの存在する画素位置(第2の画素位置)とが適当な位置関係に有る場合に、第1の画素位置に関するウィンドウIDを第2の画素位置に関するウィンドウIDとする。ここで、適当な位置関係とは、第1の画素位置と第2の画素位置との距離が所定の距離内である関係であっても良く、複数の第2の画素位置が有る場合に、第1の画素位置に最も近い第2の画素位置としても良い。つまり、撮影時刻が連続する2つの画像データどうしで、同じ入場者310を識別するという目的の範囲内において適宜定めることができるものとする。
【0026】
入退場検出手段130は、入場者310が店舗300に入場した時刻(以下、入場時刻)及び退場した時刻(以下、退場時刻)を検出し、入場者310毎に、入場時刻と退場時刻とを記憶装置240(RAM230でも良い)に記憶する。具体的には、入退場検出手段130は、入場者310毎の入場時刻及び退場時刻を検出し、例えば、図4に示すような形式で、各入場者310に対応するウィンドウIDと関連付けて、該入場時刻及び退場時刻を記憶装置240(RAM230でも良い)に記録する。
また、入退場検出手段130の一形態では、入場者検出手段110により各入場者310(動く物体)が最初に検出された時刻を入場時刻とし、この最初に検出された時刻は、動く物体が最初に検出された画像データの撮影された時刻である。
他方、入退場検出手段130の一形態では、入場者検出手段110により各入場者310(動く物体)が最後に検出された時刻を退場時刻とし、この最後に検出された時刻は、動く物体が最後に検出された画像データの撮影された時刻である。
さらには、入退場検出手段130は、入場者310が、所定の入口320から入場又は退場した時刻を以て、入場時刻又は退場時刻とする形態であっても良い。
【0027】
そして、入退場検出手段130は、監視カメラ250が撮影した画像データの中で、予め定めた所定領域を対象として、上記の説明と同じ処理、つまり、所定領域に対する入場時刻及び退場時刻を検出する処理を行い、それは、所定領域内で各入場者310が最初又は最後に検出された時刻を入場時刻又は退場時刻とする処理であっても良い。
【0028】
性別判定手段140は、入場者310毎に性別を判定し、例えば、図4に示すような形式で、各入場者310に対応するウィンドウIDと関連付けて、該性別を記憶装置240(RAM230でも良い)に記録する。具体的には、性別判定手段140は、予め定めた性別毎の特徴データと上記ウィンドウ部分の画像データとをパターンマッチングすることにより、入場者310の性別を判定する。ここで、性別毎の特徴データは、頭髪部分のボリュームに関するデータ、服装部分の色彩に関するデータ、唇部分の色彩に関するデータ等であり、また、性別をパターンマッチングにより判定するという目的に合致する限り、性別を特徴付ける他のデータであっても良い。
【0029】
また、頭髪部分のボリュームに関するデータを用いる場合、入場者310の頭部分を検出する前処理を行った後、該検出された頭部分とパターンマッチングさせ、服装部分の色彩に関するデータを用いる場合、入場者310の胴体部分を検出する前処理を行った後、該検出された胴体部分とパターンマッチングさせ、唇部分の色彩に関するデータを用いる場合、入場者310の顔部分を検出する前処理を行った後、該検出された顔部分とパターンマッチングさせる形態としても良い。そして、性別毎の特徴データを複数用いてパターンマッチングを行う場合のデータ間の重み付けは適宜定めることができるものとする。
【0030】
年齢判定手段150は、入場者310毎に年齢を判定し、例えば、図4に示すような形式で、各入場者310に対応するウィンドウIDと関連付けて、該年齢を記憶装置240(RAM230でも良い)に記録する。具体的には、年齢判定手段150は、予め定めた年齢毎の特徴データと上記ウィンドウ部分の画像データとをパターンマッチングすることにより、入場者310の年齢を判定する。ここで、年齢毎の特徴データは、身長と体型のバランスに関するデータ、等身比率に関するデータ、顔部分の皮膚のつやに関するデータ、皺の量に関するデータ等であり、また、年齢をパターンマッチングにより判定するという目的に合致する限り、年齢を特徴付ける他のデータであっても良い。
【0031】
また、顔部分の皮膚のつやに関するデータ及び皺の量に関するデータを用いる場合、入場者310の顔部分を検出する前処理を行った後、該検出された顔部分とパターンマッチングさせる形態としても良い。そして、年齢毎の特徴データを複数用いてパターンマッチングを行う場合のデータ間の重み付けは適宜定めることができるものとする。また、上記でいう年齢は、年齢そのものであっても良く、年齢に一定の幅を持たせた年代(例えば、子供、年齢ゾーン)の形態でも良い。
【0032】
滞在期間算出手段160は、入退場検出手段130により検出された、入場者310(ウィンドウID)毎の入場時刻と退場時刻との差を取って、店舗300における滞在期間を算出する。例えば、図4に示すような形式で、店舗300における滞在期間は算出される。
【0033】
また、滞在期間算出手段160は、入場者310(ウィンドウID)毎に入場時刻と退場時刻との差を取り、滞在期間を算出した後、入退場検出手段130により検出された入場者310毎の入場時刻に基づいて、時間帯毎にこの滞在期間を集計(滞在期間の平均値を算出)することで、店舗300における時間帯毎の滞在期間を算出する。時間帯毎には、時間単位、日単位、週単位、月単位等の概念を含み、ここに挙げない他の時間の概念も含むものとする。
【0034】
また、滞在期間算出手段160は、入場者310(ウィンドウID)毎に入場時刻と退場時刻との差を取り、滞在期間を算出した後、性別判定手段140により判定した性別毎にこの滞在期間を集計(滞在期間の平均値を算出)することで、店舗300における性別毎の滞在期間を算出する。
【0035】
また、滞在期間算出手段160は、入場者310(ウィンドウID)毎に入場時刻と退場時刻との差を取り、滞在期間を算出した後、年齢判定手段150により判定した年齢毎にこの滞在期間を集計(滞在期間の平均値を算出)することで、店舗300における年齢毎の滞在期間を算出する。年齢毎には、年代毎、子供と大人毎、年齢帯毎も含める。
そして、上記処理を組み合わせて、具体的には、時間帯毎、性別毎、年齢毎の属性を組み合わせて、店舗300における滞在期間を算出することができる。
【0036】
さらに、滞在期間算出手段160は、監視カメラ250が撮影した画像データの中で、予め定めた所定領域を対象として、上記の説明と同じ処理、つまり、所定領域を対象として入場時刻と退場時刻との差を取って、所定領域における滞在期間を算出する。例えば、図4に示すような形式で、店舗300内の所定領域における滞在期間は算出される。
また、入場者管理システム100では、所定領域に所定期間以上滞在する入場者310を検出した場合には、後述する通信I/F270を介して、所定のPC端末や携帯端末へ通知する形態としても良い。
【0037】
上で説明した処理を行うことで、本発明に係る入場者管理システム100は、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出することができる。また、この滞在期間は、時間帯別、性別、年齢別の様々な分類で算出することができる。
【0038】
<本実施の形態に係る入場者管理システムのハードウェア構成>
図5を用いて、本実施の形態に係る入場者管理システム100のハードウェア構成について説明する。図5は、本実施の形態に係る入場者管理システム100のハードウェア構成の一例を示す図である。
入場者管理システム100は、CPU(Central Processing Unit)210、ROM(Read-Only Memory)220、RAM(Random Access Memory)230、HDD240、監視カメラ250、表示装置260、通信I/F(InterFace)270を有する。
【0039】
CPU210は、ROM220に記憶されたプログラムを実行する装置で、RAM230に展開(ロード)されたデータを、プログラムの命令に従って演算処理し、入場者管理システム100全体を制御する。ROM220は、CPU210が実行するプログラムやデータを記憶している。RAM230は、CPU210でROM220に記憶されたプログラムを実行する際に、実行するプログラムやデータが展開(ロード)され、演算の間、演算データを一時的に保持する。本実施の形態において、リアルタイム処理を行う場合、監視カメラ250により撮影された画像データは、一時的にRAM230に保存される形態としても良い。
【0040】
HDD240は、基本ソフトウェアであるOS(Operating System)、本実施の形態に係るアプリケーションプログラム等を、関連するデータとともに記憶する装置である。本実施の基本的形態として、監視カメラ250により撮影された画像データは、MPEG技術によるデータ圧縮後、HDD240に一旦記録され、該記録された画像データを各手段により画像処理する。また、入場者管理システム100の備える各手段により付与、判定、検出されるウィンドウIDとそれに対応する入場時刻、退場時刻、性別、年齢は、HDD240に記録され、また、HDD240から読み出される。
【0041】
監視カメラ250は、入場者管理システム100の動作原理で説明した通りである。
【0042】
表示装置260は、ハードキーによるキースイッチ、LCD(Liquid Crystal Display)等から構成され、入場者管理システム100が有する機能をユーザが利用する(例えば、処理結果を表示する)際や、各種設定を行う際のユーザインタフェースとして機能する装置である。
【0043】
通信I/F270は、インターネットやLAN(Local Area Network)等の通信ネットワークを介して接続された他の通信制御機能を備えた周辺機器と情報(データ)の授受を行う際のインタフェースである。本実施の形態においては、通信I/F270を介して接続されるPC(Personal Computer)端末から、入場者管理システム100の処理開始・終了、処理内容(所定領域の指定、滞在期間を算出する際のデータ属性の指定等)の指示を受け付けたり、入場者管理システム100の処理結果を通知する形態であっても良い。
【0044】
また、入場者管理システム100における各手段は、CPU210が、ROM220又はHDD240に記憶された各手段に対応するプログラムを実行することにより実現される形態としても良く、該各手段をハードウェアとして実現する形態としても良い。
【0045】
<本実施の形態に係る入場者管理システムによる処理例>
図6を用いて、本実施の形態に係る入場者管理システム100による処理例を説明する。図6は、本実施の形態に係る入場者管理システム100による処理の一例を示すフローチャートである。
ここでは、図1で示すように、店舗300の天井に設置した監視カメラ250により撮影された画像データに基づいて、店舗300への入場者310、入場時刻、退場時刻を検出し、これらの検出結果を用いて店舗300内の所定領域における滞在期間を算出する処理を行うものとする。
【0046】
S10で入場者管理システム100が、監視カメラ250の撮影した画像データに基づき、入場者310毎に店舗300内の所定領域における滞在期間を算出する処理を開始する。該処理の開始は、入場者管理システム100の電源をオンにすることで開始するとしても良いし、ユーザによる開始指示を受け付けたことを以て開始するとしても良い。
【0047】
S20で監視カメラ250が、店舗300内を所定の時間間隔で撮影した画像データを撮影時刻と共に出力し、出力された画像データはMPEG技術等によりデータ圧縮されて、HDD240に記録される。
【0048】
S30で入場者検出手段110が、HDD240に記録された画像データに基づいて、該画像データ内の所定領域の中で動く物体を検出し、該動く物体を店舗300内の所定領域への入場者310と判定し、該動く物体が検出された画素位置にウィンドウの大きさの入場者310が存在すると認識する。ここで、所定領域は、ユーザによって指定することができ、1つ指定されても複数指定されても良く、また、画像データ全体を所定領域としても良い。
【0049】
S40で、図2で示すように、入場者検出手段110により検出された入場者310が店舗300内の所定領域に複数存在する場合、入場者識別手段120が、HDD240に記録された画像データに基づいて、各入場者310に対応するウィンドウにそれぞれウィンドウIDを付与し、HDD240に記録する。ウィンドウIDは新たに付与される毎に、HDD240に記録される。入場者管理システム100は、この処理により(ウィンドウIDにより)、それぞれの入場者310を識別している。
【0050】
S50で入退場検出手段130が、入場者識別手段120により識別される入場者310毎に、店舗300への入場時刻及び退場時刻を検出し、入場者310のウィンドウIDと対応付けてHDD240に記録する。ここで、入退場検出手段130は、入場者検出手段110により入場者310が所定領域内で最初に検出された時刻を入場時刻とし、入場者検出手段110により入場者310が所定領域内で最後に検出された時刻を退場時刻とする。例えば、入場時刻と退場時刻とは、図4で示すような形式で、HDD240に記録される。入場者管理システム100は、この処理により、予め定めるエリア毎の滞在期間を算出することができる。
【0051】
S60で性別判定手段140が、HDD240に記録された画像データ内の各入場者310に対応する画素位置にあるウィンドウ部分と、性別の特徴を表す所定の性別特徴データとのパターンマッチング処理を行うことで、各入場者310の性別を判定し、該判定された性別を各入場者310に対応するウィンドウIDと対応付けてHDD240に記録する。例えば、性別情報は、図4で示すような形式で、HDD240に記録される。入場者管理システム100は、この処理により、性別毎の滞在期間を算出することができる。
【0052】
S70で年齢判定手段150が、HDD240に記録された画像データ内の各入場者310に対応する画素位置にあるウィンドウ部分と、年齢別の特徴を表す所定の年齢特徴データとのパターンマッチング処理を行うことで、各入場者310の年齢を判定し、該判定された年齢を各入場者310に対応するウィンドウIDと対応付けてHDD240に記録する。例えば、年齢情報は、図4で示すような形式で、HDD240に記録される。入場者管理システム100は、この処理により、年齢毎の滞在期間を算出することができる。
【0053】
S80で滞在期間算出手段160が、入場者識別手段120により検出された入場者310(ウィンドウID)毎の入場時刻と退場時刻との差を取って、所定領域における滞在期間を算出する。例えば、所定領域における滞在期間は、図4で示すような形式で算出される。そして、滞在期間算出手段160は、HDD240にウィンドウIDと関連付けて記録された入場時刻、性別、年齢毎にこの滞在期間を集計し、時間帯毎、性別毎、年齢毎の滞在期間を算出する。
【0054】
S90で入場者管理システム100が、監視カメラ250の撮影した画像データに基づき、入場者310毎に店舗300内の所定領域における滞在期間を算出する処理を終了する。該処理の終了は、ユーザによる終了指示を受け付けたことを以て終了するとしても良いし、上記滞在期間を算出した後自動的に終了するとしても良い。
【0055】
(総括)
本発明では、店舗や該店舗の駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等での滞在期間を算出する入場者管理システムを提供することができる。
以上、本発明の実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲において、種々の変形・変更が可能である。
【図面の簡単な説明】
【0056】
【図1】本実施の形態に係る入場者管理システムの概要を説明するための図である。
【図2】本実施の形態に係る入場者管理システムの撮影した画像データの一例を示す図である。
【図3】本実施の形態に係る入場者管理システムの動作原理を説明するための図である。
【図4】本実施の形態に係る入場者管理システムにおいて取り扱うデータの一例を説明するための図である。
【図5】本実施の形態に係る入場者管理システムのハードウェア構成の一例を示す図である。
【図6】本実施の形態に係る入場者管理システムによる処理の一例を示すフローチャートである。
【符号の説明】
【0057】
100 入場者管理システム
110 入場者検出手段
120 入場者識別手段
130 入退場検出手段
140 性別判定手段
150 年齢判定手段
160 滞在期間算出手段
210 CPU
220 ROM
230 RAM
240 HDD
250 監視カメラ
260 表示装置
270 通信I/F
300 店舗
310 入場者
320 入場口
330 エリアA
340 エリアB
【特許請求の範囲】
【請求項1】
所定の場所を所定の時間間隔で撮影した画像データと共に、該所定の場所を撮影した時刻を出力する監視カメラを備えた入場者管理システムであって、
前記時刻に関して連続する2つの前記画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、前記画像データの所定領域の中で動く物体であって、該所定領域に入場した入場者を検出する入場者検出手段と、
前記時刻に関して連続する2つの前記画像データ間における、前記入場者が検出された位置関係に基づいて、前記入場者をそれぞれ識別する入場者識別手段と、
前記入場者識別手段により識別される前記入場者毎に、前記入場者が前記所定領域に入場した時刻及び前記所定領域から退場した時刻を検出する入退場検出手段と、
前記入退場検出手段により検出された前記入場した時刻及び前記退場した時刻に基づいて、前記入場者毎に、前記所定領域内に滞在した期間を算出する滞在期間算出手段と、を有することを特徴とする入場者管理システム。
【請求項2】
前記入退場検出手段は、前記入場者検出手段により前記入場者が最初に検出された時刻に基づいて、前記入場した時刻を検出することを特徴とする請求項1に記載の入場者管理システム。
【請求項3】
前記入退場検出手段は、前記入場者検出手段により前記入場者が最後に検出された時刻に基づいて、前記退場した時刻を検出することを特徴とする請求項1又は2に記載の入場者管理システム。
【請求項4】
性別の特徴を表す所定の性別特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の性別を判定する性別判定手段を有し、
前記滞在期間算出手段は、前記性別判定手段により判定された前記性別に基づいて、該性別毎に、前記滞在した期間を算出することを特徴とする請求項1乃至3の何れか一に記載の入場者管理システム。
【請求項5】
年齢の特徴を表す所定の年齢特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の年齢を判定する年齢判定手段を有し、
前記滞在期間算出手段は、前記年齢判定手段により判定された前記年齢に基づいて、該年齢毎に、前記滞在した期間を算出することを特徴とする請求項1乃至4の何れか一に記載の入場者管理システム。
【請求項1】
所定の場所を所定の時間間隔で撮影した画像データと共に、該所定の場所を撮影した時刻を出力する監視カメラを備えた入場者管理システムであって、
前記時刻に関して連続する2つの前記画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、前記画像データの所定領域の中で動く物体であって、該所定領域に入場した入場者を検出する入場者検出手段と、
前記時刻に関して連続する2つの前記画像データ間における、前記入場者が検出された位置関係に基づいて、前記入場者をそれぞれ識別する入場者識別手段と、
前記入場者識別手段により識別される前記入場者毎に、前記入場者が前記所定領域に入場した時刻及び前記所定領域から退場した時刻を検出する入退場検出手段と、
前記入退場検出手段により検出された前記入場した時刻及び前記退場した時刻に基づいて、前記入場者毎に、前記所定領域内に滞在した期間を算出する滞在期間算出手段と、を有することを特徴とする入場者管理システム。
【請求項2】
前記入退場検出手段は、前記入場者検出手段により前記入場者が最初に検出された時刻に基づいて、前記入場した時刻を検出することを特徴とする請求項1に記載の入場者管理システム。
【請求項3】
前記入退場検出手段は、前記入場者検出手段により前記入場者が最後に検出された時刻に基づいて、前記退場した時刻を検出することを特徴とする請求項1又は2に記載の入場者管理システム。
【請求項4】
性別の特徴を表す所定の性別特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の性別を判定する性別判定手段を有し、
前記滞在期間算出手段は、前記性別判定手段により判定された前記性別に基づいて、該性別毎に、前記滞在した期間を算出することを特徴とする請求項1乃至3の何れか一に記載の入場者管理システム。
【請求項5】
年齢の特徴を表す所定の年齢特徴データと前記入場者に対応する画像データとを比較した結果に基づいて、前記入場者識別手段により識別された前記入場者毎に、該入場者の年齢を判定する年齢判定手段を有し、
前記滞在期間算出手段は、前記年齢判定手段により判定された前記年齢に基づいて、該年齢毎に、前記滞在した期間を算出することを特徴とする請求項1乃至4の何れか一に記載の入場者管理システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図2】
【図3】
【図4】
【図5】
【図6】
【公開番号】特開2010−15466(P2010−15466A)
【公開日】平成22年1月21日(2010.1.21)
【国際特許分類】
【出願番号】特願2008−176232(P2008−176232)
【出願日】平成20年7月4日(2008.7.4)
【出願人】(398050696)セキュリオン・二四株式会社 (8)
【Fターム(参考)】
【公開日】平成22年1月21日(2010.1.21)
【国際特許分類】
【出願日】平成20年7月4日(2008.7.4)
【出願人】(398050696)セキュリオン・二四株式会社 (8)
【Fターム(参考)】
[ Back to top ]