滞留検出システム及びプログラム
【課題】固定カメラにおいて撮影された動画像を用いて、撮影範囲の領域における人物の静止・滞留・集合の度合いが高い箇所を検出して経営管理等に役立つ技術を提供する。
【解決手段】滞留検出システム１０は、監視カメラ３０で撮影した撮影範囲４５の動画像データまたはその解析情報２４（人物・動線情報１０２）と、フレーム領域を複数のブロックに分割してなる複数の要素を持つマトリックスデータ６２とを用いて、人物・動線の情報をマトリックス上にマッピングし、当該人物・動線が重なるブロック対応の要素ごとのスコアを記録する処理と、スコアが高い要素を抽出する処理と、スコアが高い要素のブロックの情報を滞留箇所の検出結果情報として出力する処理と、を行う。
【解決手段】滞留検出システム１０は、監視カメラ３０で撮影した撮影範囲４５の動画像データまたはその解析情報２４（人物・動線情報１０２）と、フレーム領域を複数のブロックに分割してなる複数の要素を持つマトリックスデータ６２とを用いて、人物・動線の情報をマトリックス上にマッピングし、当該人物・動線が重なるブロック対応の要素ごとのスコアを記録する処理と、スコアが高い要素を抽出する処理と、スコアが高い要素のブロックの情報を滞留箇所の検出結果情報として出力する処理と、を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ等の固定カメラにおいて撮影された動画像を利用してデータ情報処理等を行う技術に関し、特に、店舗などの施設において撮影された動画像の領域中において人物などが滞留する箇所などを検出するシステム及びプログラムに適用して有効な技術に関する。
【背景技術】
【０００２】
現在では、例えばコンビニエンスストア店舗などの様々な施設において、防犯目的などの様々な目的のために、監視カメラや監視カメラシステム（以下では単に「監視カメラ」と記載する場合がある）が設置されている。監視カメラは高機能・高性能化し続けており、様々な機能を有するものが市場に提供されている。
【０００３】
監視カメラの機能としては、施設内外の画像（動画像）の撮影と記録という基本的な機能に加えて、付加的な機能としては、撮影した動画像に対する画像解析処理等に基づいて、動体を検出する機能、および検出した動体の特徴に基づいて人物や顔などの特定の対象物を検出する機能などがある。
【０００４】
特開２０１０−１５４６５号公報（特許文献１）は、監視カメラの画像データを利用して、店舗等への入場者の数を計測するシステムについて記載されている。
【０００５】
特開２００７−７４３３０号公報（特許文献２）は、監視カメラの撮影映像を解析すること（人物の滞在時間の判別など）により、例えば購買意欲を持った顧客かどうか、不審者かどうか等を認識する技術について記載されている。特許文献２では、店舗ＰＣは、監視カメラによる撮影画像内に含まれている人物の特徴から監視対象者を特定すると共に、この監視対象者が登場してから現時点までの滞在時間を計時し、その判別に応じて担当者へ通知することが記載されている。また監視対象者の年齢層・性別などを推測することが記載されている。
【０００６】
特開２００６−１９７２２６号公報（特許文献３）は、防犯目的に限らず店舗管理にも利用できる監視カメラシステムについて記載されている。固定式カメラと移動式カメラを用いること等が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１５４６５号公報
【特許文献２】特開２００７−７４３３０号公報
【特許文献３】特開２００６−１９７２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の監視カメラシステムは、防犯目的で設置・利用されることが多く、防犯目的では店舗内の人物を概略的に把握することができ有効である。防犯目的以外の目的として、コンビニエンスストア店舗等の施設における経営管理等の目的で利用することが考えられるが（例えば特許文献１〜３）、活用が不十分であった。
【０００９】
例えば従来の監視カメラシステムでは、撮影範囲の領域における人物等の静止・滞留・集合などの状況を数値化・検出して経営管理に役立てるといった可能性については十分に検討・実現がされていない。例えば、撮影範囲に対応した背景領域（例えば店舗内の商品等の配置構成）において、来店客などが特定の箇所（通路や商品棚など）に立ち寄る・立ち止まること、あるいは特定の箇所に対し複数の人物が集まったり通過したりすること、等による特定の箇所（「滞留箇所」）を判定するシステムは実現されていない。例えば特許文献１は人物数の計測、特許文献２は滞在時間の計測であり、店舗内の特定の滞留箇所を判定するものではない。
【００１０】
以上を鑑み、本発明の目的は、監視カメラなどの固定カメラにおいて撮影された動画像を用いて、撮影範囲の領域における人物等の静止・滞留・集合などの度合いを数値化して滞留箇所を検出して経営管理等に役立てることができるシステム等を提供することにある。本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、本発明の代表的な実施の形態は、以下の特徴を有するものである。本滞留検出システムは、所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、撮影範囲の領域における人物等の対象物の滞留を検出するシステムであり、固定カメラで撮影した撮影範囲に対応した検出対象とする動画像または静止画のフレームデータまたはその画像解析情報の少なくとも一方を取得し、フレームデータまたは画像解析情報をもとに、撮影範囲に対応したフレーム領域における人物またはその動線の情報を取得する処理を行うデータ取得部と、撮影範囲に対応したフレーム領域を複数のブロックに分割してなる複数の要素を持つマトリックスのデータを用いて、フレーム領域における人物またはその動線の情報をマトリックス上のブロックにマッピングし、当該人物またはその動線が重なるブロック対応の要素ごとのスコアを記録する処理と、マトリックスにおけるスコアが高い要素を抽出する処理と、スコアが高い要素のブロックの情報を滞留箇所の検出結果情報として出力する処理と、を行う滞留検出部と、を有する。
【００１２】
また、本発明は、コンピュータを上記のようなシステムとして機能させるプログラムにも適用することができる。
【発明の効果】
【００１３】
本発明の代表的な実施の形態によれば、監視カメラなどの固定カメラにおいて撮影された動画像を用いて、撮影範囲の領域における人物等の静止・滞留・集合などの度合いを数値化して滞留箇所を検出して経営管理等に役立てることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態である滞留検出システムを含む監視カメラシステムの構成例について概要を示した図である。
【図２】本発明の一実施の形態における滞留検出処理の流れの例について概要を示したフローチャートである。
【図３】本発明の一実施の形態における、撮影範囲の領域及び対応情報の例を示した図である。
【図４】本発明の一実施の形態における、撮影範囲の領域に対応したマトリックスの構成例及びマトリックス上の人物動線のプロット例を示した図である。
【図５】本発明の一実施の形態における、マトリックス上の要素抽出の例及び滞留箇所の例を示した図である。
【図６】本発明の一実施の形態における、滞留箇所の例を示した図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。本実施の形態の滞留検出システムを含む監視カメラシステムでは、店舗等の施設で固定カメラにより撮影した動画像をもとに、撮影範囲の領域において人物（複数人の場合を含む）が静止・滞留・集合するような度合い（「滞留度」）が高い箇所（「滞留箇所」）を判定し検出する。
【００１６】
［システム構成］
図１において、本発明の一実施の形態であるシステム１０を含む監視カメラシステム（固定カメラシステム）１００の構成例について概要を示す。本監視カメラシステム１００は、滞留検出システム１０、監視カメラサーバ２０、監視カメラ（固定カメラ）３０、及び店舗４０などから構成される。
【００１７】
店舗４０には、１つ以上の監視カメラ３０が設置される。監視カメラ３０は所定の撮影範囲４５を撮影する。各監視カメラ３０は、監視カメラサーバ２０に接続される。監視カメラサーバ２０は、店舗４０内部に構成されるか、ネットワーク等を介して店舗４０外部に構成されてもよい。監視カメラサーバ２０に対し、滞留検出システム１０が接続される。滞留検出システム１０は、店舗４０内のシステムとして構成されてもよいし、外部ネットワーク上のシステムとして構成されてもよい。
【００１８】
店舗４０は、例えばコンビニエンスストア店舗などである。監視カメラ３０の撮影範囲４５は、例えば店舗４０内の通路や商品陳列棚などの所定の固定的な空間領域を対象とする。本実施の形態では、撮影範囲４５は、店舗４０内の商品陳列棚を含むものである（図３）。監視カメラ３０による撮影範囲４５を対象として撮影される動画像は、動画像データ２３として監視カメラサーバ２０内に記録される。
【００１９】
監視カメラサーバ２０は、例えば、コンピュータシステムによって構成され、ソフトウェアプログラムによって実装される監視カメラ制御部２１および画像解析部２２の各部と、動画像データ２３および解析情報２４の各データもしくはデータベースを有する。これにより、監視カメラサーバ２０は、監視カメラ３０によって撮影された動画像を動画像データ２３として記録する機能を有する。また監視カメラサーバ２０は、記録した動画像データ２３をもとに、画像解析部２２による画像解析処理を行うことにより、撮影範囲４５の領域内における、移動する人物やその顔などの対象、及びその動線（軌跡）などを検出することができる公知の機能（人物検出機能及び動線検出機能）を有する。画像解析部２２等の処理内容は設定情報に基づいて可変に設定できる。画像解析部２２（人物検出機能及び動線検出機能）による解析情報２４（人物・動線情報１０２）が監視カメラサーバ２０内に記録される。
【００２０】
本実施の形態では、監視カメラサーバ２０は上記の人物検出機能及び動線検出機能を備え、本滞留検出システム１０は、上記の公知の検出機能（その検出情報）を手段として利用して、目的（滞留検出）を実現する。なお滞留検出システム１０側に上記の検出機能を備えて実現してもよい。また検出対象は、人に限定せずに、他の動体（例えば自動車など）にすることもできる。その場合はその検出対象に対応した検出機能を有し、対応する座標情報などを処理する形態となる。
【００２１】
監視カメラサーバ２０は、監視カメラ制御部２１により監視カメラ３０を制御する。この制御としては、例えば、監視カメラ３０による撮影の実行・停止、撮影範囲４５の設定や変更、露出等の撮影条件の変更などが含まれ得る。特に監視カメラ３０の向き等を変えることにより、所望の撮影範囲４５を設定することが可能である。
【００２２】
滞留検出システム１０は、例えば、コンピュータシステムによって構成され、ソフトウェアプログラムによって実装されるデータ取得部（フレーム処理部）１１、滞留検出部１２、及び出力部１３の各部と、フレームデータ６０、人物・動線情報６１、マトリックスデータ６２、及び検出結果（滞留情報）６３の各データもしくはデータベースを有する。これにより、本滞留検出システム１０は、監視カメラ３０及び監視カメラサーバ２０による撮影動画像から撮影範囲４５の領域における滞留箇所の情報（滞留情報６３）を計算・検出する機能を有する。
【００２３】
また滞留検出システム１０は、図示しないが、店舗管理者等の操作により各種情報を設定するための設定手段を備え、処理対象のフレームや時間、判定用の閾値などを設定することが可能である。
【００２４】
データ取得部（フレーム処理部）１１は、監視カメラサーバ２０から、滞留検出部１２での処理に必要なデータ情報である、動画像データ２３及び解析情報２４（人物・動線情報１０２）を取得・入力する。取得した動画像データ２３は、例えば連続的な複数の静止画（フレーム）を含むフレームデータ６０として保存する。また取得した人物・動線情報１０２を、人物・動線情報６１として保存する。またデータ取得部１１は、フレーム領域を複数のブロックに分割する処理などを行ってもよい（マトリックスデータ６２の作成に関連する処理）。
【００２５】
またデータ取得部１１は、監視カメラサーバ２０から人物・動線情報１０２として人物・動線の時系列での座標情報を取得できるのであれば、動画像データ２３（フレームデータ６０）の取得や処理は必須ではない。例えば監視カメラサーバ２０と滞留検出システム１０（サーバ等）がネットワークを介して接続されるような形態とする場合、上記人物・動線情報１０２（例えばテキストデータ形式）のみをデータ取得部１１で取得（受信）し、動画像データ２３の授受をしないようにする。
【００２６】
滞留検出部１２は、フレームデータ６０、人物・動線情報６１、及びマトリックスデータ６２等を用いて、滞留検出処理（図２、後述）を行い、その検出結果（滞留情報を含む）６３を保存する。滞留情報６３は、監視カメラ３０の撮影範囲４５の領域における検出された滞留箇所の情報を含む。滞留検出部１２等の処理内容は設定情報に基づいて可変に設定できる。
【００２７】
出力部１３は、検出結果（滞留情報）６３を用いて出力処理を行う。例えば該当の店舗４０の管理者等のコンピュータ端末への検出結果６３のデータ送信や当該端末画面への情報表示などを行う。また例えばリアルタイムで撮影映像に検出結果６３などを重ね合わせて表示する場合、出力部１３は、検出結果６３のデータを、監視カメラサーバ２０等へフィードバック転送し、監視カメラサーバ２０等で撮影映像（撮影範囲４５の領域）に滞留情報６３などを重ね合わせるようにしてもよい。
【００２８】
フレームデータ６０や人物・動線情報６１の例は図３のフレーム３０１（人物の動線３１０）である。マトリックスデータ６２の例は図４の４０１である。検出結果（滞留情報）６３の例は図５の５０２や図６である。
【００２９】
なお、本実施の形態では、滞留検出システム１０を監視カメラサーバ２０とは独立した機器・システムとして実装する場合の例を示しているが、滞留検出システム１０の各部を構成するプログラムやデータを監視カメラサーバ２０内に組み込んで、監視カメラサーバ２０と一体として実装するようにしてもよい。
【００３０】
［処理内容］
図２は、本システム（１０，１００）において、監視カメラ３０の撮影映像をもとに滞留箇所などを計算・検出する際の処理（滞留検出処理）の流れの例について概要を示す。例えば店舗管理者等によるコンピュータ端末画面での操作に基づいて、滞留検出システム１０に対し、設定処理（Ｓ０１）、撮影処理（Ｓ０２）、滞留検出処理（Ｓ１０〜Ｓ４０）などを指示し実行する。また本実施の形態では、一旦Ｓ０２で対象の撮影範囲４５を撮影した後に、その撮影データ等を用いてＳ１０以降の処理を行う形態とするが、Ｓ０２の撮影実行と共にリアルタイムでＳ１０以降の処理を行う形態とすることもできる。なお事前に設定処理（Ｓ０１）や撮影処理（Ｓ０２）が済んでいる場合は当該処理実行を省略可能である。また監視カメラサーバ２０側で解析処理（Ｓ１０）が済んでいる場合は、滞留検出システム１０側での解析処理（Ｓ１０）は省略可能である。
【００３１】
（Ｓ０１） Ｓ０１では、設定処理として、店舗管理者等の操作に基づき、滞留検出システム１０（設定手段）に対し、滞留検出の対象とする撮影範囲４５、フレーム、日時、条件や閾値、マトリックス（６２）の分割構成などの情報を設定する。
【００３２】
（Ｓ０２） Ｓ０２では、対象の撮影範囲４５について、監視カメラ３０による撮影を実行し、データ取得部１１は、監視カメラサーバ２０から対象の動画像データ２３を取得し、フレームデータ６０とする。あるいは、データ取得部１１は、撮影済みの動画像データ２３を取得して、フレームデータ６０としてもよい。例えば店舗管理者等により撮影の開始・終了等を指定して、任意数のフレームを検出処理対象として取得する。また特に、日時ごとの撮影データを取得して検出処理対象としてもよい。
【００３３】
（Ｓ１０） Ｓ１０では、監視カメラ３０の撮影範囲４５の動画像（フレーム領域）の中から、人物やその動線を検出する処理（Ｓ１１，Ｓ１２）を行う。本実施の形態では、前述した監視カメラサーバ２０に備える画像解析部２２の公知の検出機能を利用して行われる。
【００３４】
（Ｓ１１） まず人物検出機能を用いて、フレーム領域（例えば図３の３０１）の中から、人物を検出する。複数の人物が存在する場合はそれぞれ検出する。検出情報は、例えばフレーム領域における人物の現在位置の座標の情報を有する。座標は、検出方式に応じて、例えば画素座標としてもよいし、画素よりも粗い単位での位置情報としてもよい。
【００３５】
（Ｓ１２） Ｓ１１で検出した人物について、フレーム領域の中で動いた軌跡（動線）をフレーム領域内の座標などの形で把握する。例えば、所定フレーム（例えば１フレーム）ごとに人物の現在位置の座標を把握し、各座標をつなげることで動線（例えば３１０）が構成される。
【００３６】
図３では、フレーム領域３０１は、所定の撮影範囲４５の３次元の空間領域に対応した例であり、背景領域（通路、商品棚などを含む）と、その上に重ね合わせた人物動線（３１０）などを示している。Ｋ１〜Ｋ３等は、店舗４０内における区画領域（通路等）を示す。破線は区画領域の境界線を示す。Ｅ１〜Ｅ４等は、商品棚などを示す。Ｐ２は商品例を示す。動線（軌跡）は、人物の位置の時系列（フレーム時間等）での変化を示す。ある人物の動線３１０上、３１１で示す三角のマークは、人物の現在位置（座標等）の例を示す。
【００３７】
また、フレーム領域３０２は、３次元のフレーム領域３０１に対応付けられた、２次元の領域を示す。店舗４０内の配置構成を上から俯瞰し、動線などの情報を重ねたものである。監視カメラ３０の設置や撮影範囲４５の設定に応じて、このように検出対象を２次元的にすることも可能である。例えば商品棚を正面から見る方向で撮影範囲４５を設定してもよい。また、３次元の情報と２次元の情報との間で所定の対応付け・変換処理を行うようにしてもよい。２次元化することで、例えば出力時に店舗管理者等が見やすい情報にすることができる。
【００３８】
（Ｓ２０） 次に、滞留検出部１２により、撮影範囲４５における単位領域ごとの滞留度を計算する処理を行う。本実施の形態では、マトリックス（６２）で規定するブロック（Ｂとする）を単位領域（分割領域）とし、このブロックＢ毎に滞留度をスコア（ｓとする）として計算する。滞留検出部１２は、Ｓ１０までのデータ、及びマトリックスデータ６２を用いて、要素（ブロックＢ）毎のスコアｓを記録・更新する。マトリックス（６２）は、行列・表などの形式である。各要素（ブロックＢ）はフレーム領域内での位置を示す情報などを持つ。
【００３９】
（Ｓ２１） 滞留検出部１２は、撮影映像（人物・動線情報６１）に基づく人物ごとの動線（３１０等）の座標を、フレーム領域に対応するマトリックス（６２）上の要素（ブロックＢ）に対してプロット（マッピング）することにより、要素ごとのスコアを記録する。動線（座標）の形式に応じて適宜マッピングする。簡単には、動線が重なる要素（Ｂ）のスコアを増加する。
【００４０】
図４のマトリックス４０１（対応フレーム領域）において、１フレーム領域、例えば縦４８０画素×横６４０画素を、縦・横に複数の領域（ブロックＢ）に分割し、マトリックスを構成している。本例では、縦・横にそれぞれ８分割し、８×８＝６４の要素（ブロックＢ）を持つ場合である。１要素（ブロックＢ）は、縦６０×横８０＝４８０画素の場合である。各要素（ブロックＢ）は、滞留度に関するスコアｓを持つ。スコアｓは、初期値を０とし、滞留単位（Ｓ２２で説明）に応じてカウントアップ（＋１）される。
【００４１】
マトリックス４０２は、マトリックス４０１（要素）上に、人物の動線（例えば４２０）を重ね合わせるようにプロット（マッピング）し、要素のスコアｓをカウントアップ（＋１）した例である。滞留検出部１２は、マトリックス４０１上で動線４２０（図３の動線３１０と同様）が重なる要素（ブロックＢ）を判定し、その重なる要素（Ｂ）のスコアｓを、滞留単位に応じてカウントアップ（＋１）する。なお４０２の例では、動線４２０が通る各要素（Ｂ）のスコアｓについて、１滞留単位の要素では＋１、２滞留単位の要素では＋２、５滞留単位の要素では＋５、といった増加の場合である。
【００４２】
（Ｓ２２） 滞留検出部１２は、動線における人物の現在位置に応じた要素（ブロックＢ）のスコアｓを、滞留単位の判定（例えば滞留時間の経過）ごとにカウントアップ（＋１）して更新する。検出対象とする複数フレーム（時間）、複数の動線にわたって、Ｓ２２のカウント処理を行う。本実施の形態では、滞留単位として、所定フレーム時間単位（例：１フレーム毎、１秒毎など）、及び人物単位を考慮し、これらの１単位ごとにカウントアップ（＋１）する。例えば、複数フレームで人物が同じブロックＢ上に留まり続ける場合、その複数フレームの分、当該要素（Ｂ）のスコアｓを増加する。また、複数の人物が同じブロックＢ上に留まったり通過したりする場合、その人物数の分、当該要素（Ｂ）のスコアｓを増加する。上記滞留単位（カウントの方式）は設定により可変である。
【００４３】
上記マトリックス（６２）の要素（ブロックＢ）の分割構成は、設定等に応じて可変であり、本分割構成に応じて、滞留検出の精度（効果）を調整することができる。例えば、要素の数を少なく（粗く）する場合、毎フレームの滞留箇所の計算を高速に実現できる。要素の数を多く（細かく）する場合、滞留箇所をより細かい単位で検出することができる。また例えば撮影範囲４５における店舗４０内の商品配置等の構成に対応付けて上記要素（ブロックＢ）の分割構成を設定するようにしてもよい。
【００４４】
（Ｓ３０） 次に、滞留検出部１２は、Ｓ２０までの処理結果（マトリックスデータ６２等）を用いて、マトリックス（６２）における滞留度（スコアｓ）の高い要素（ブロックＢ）を抽出する処理を行う。
【００４５】
（Ｓ３１） 本実施の形態では、まず、マトリックス（６２）の各要素（Ｂ）のスコアｓを、所定の閾値（ｓｔとする）と比較する。スコアｓが閾値ｓｔ以上の場合（ｓ≧ｓｔ）、当該要素（ブロックＢ）を抽出する。閾値ｓｔは設定により可変である。
【００４６】
図５のマトリックス５０１（対応フレーム領域）は、Ｓ２２の処理結果例のマトリックス５０１上で、スコアｓが所定の閾値ｓｔ（例えばｓｔ＝８）以上の要素（ブロックＢ）を抽出した例である。
【００４７】
また、マトリックス５０２では、５０１と同様に、星印で示す複数の各要素（ブロックＢ）が抽出された場合であり、このＳ３１で抽出した個々の要素（ブロックＢ）をそのまま個々の「滞留要素（滞留ブロック）」（第１の検出結果情報）とした例である。この第１の検出結果情報は滞留情報６３として保存される。
【００４８】
（Ｓ３２） また、滞留検出部１２は、Ｓ３１の結果を用いて、フレーム領域内に複数の抽出要素（ブロックＢ）が存在する場合は、以下の処理を行うようにしてもよい。滞留検出部１２は、複数の抽出要素（Ｂ）を、クラスタリングにより１つ以上のクラスタ集合に分類する。このクラスタリング方法としては、例えばＫ平均法などの公知技術を利用できる。
【００４９】
図５のマトリックス５０２で、各楕円で示す５２０は、上記クラスタリングによる分類結果であるクラスタ集合の例を示している。この分類結果であるクラスタ集合の情報は、滞留箇所を示す、第２の検出結果情報とすることができる（滞留情報６３として保存される）。
【００５０】
特にＳ３１で多数の要素が抽出された場合は、Ｓ３２の分類をすることで、フレーム領域内における滞留箇所が判断しやすくなる効果がある。
【００５１】
（Ｓ３３） また、滞留検出部１２は、Ｓ３１の第１の結果情報（滞留要素）、またはＳ３２の第２の結果情報（クラスタ集合）について、滞留箇所を示す円などの情報を作成し、関連付けてもよい。この情報を第３の検出結果情報とすることができる（滞留情報６３として保存される）。例えば円の中心を人物の滞留のポイントとみなし、円の大きさ（半径）を滞留範囲とみなすことができる。
【００５２】
図６のマトリックス６０１（対応フレーム領域）では、図５のクラスタ集合５２０（第２の結果情報）に対し、６１０のように滞留箇所を示す円を作成・関連付けた例である。円の作成の仕方として、例えば、円の中心点は、クラスタ集合ごとの１つ以上の要素（ブロックＢ）に関する重心点をとり、中心点とする。また例えば、円の半径は、重心点からの各要素の距離の平均値をとり、半径とする。また円に限らず、楕円などの図形にしてもよい。
【００５３】
（Ｓ４０） 滞留検出部１２は、上記Ｓ３０までの処理で得た検出結果情報を滞留情報６３としてまとめ、保存する。滞留情報６３は、例えば、数値情報だけでなく、出力処理のために、店舗管理者等のコンピュータ端末画面で表示可能な形式のデータにしてもよい。出力部１３は、店舗管理者等の操作に応じて、滞留情報６３を用いて出力処理を行う。例えば出力部１３は、該当の店舗４０の管理者等のコンピュータ端末に対して、滞留情報６３のデータ送信や画面表示処理などを行う。
【００５４】
図６のフレーム６０２は、６０１の第３の検出結果情報に対応した出力例であり、撮影範囲４５の背景領域（人物などがいない状態の画像など）上に、６０１の滞留箇所を示す円６１０を重ね合わせて表示した場合である。同様に、第１、第２の検出結果情報を重ね合わせて出力してもよい。また動線などの関連情報を適宜重ね合わせて出力してもよい。滞留箇所を示す円などの情報を作成して表示することにより、フレーム領域内における滞留箇所が判断しやすくなる効果がある。
【００５５】
上記結果情報（滞留情報６３）の参照により、店舗４０の管理者等は、撮影範囲４５の領域における特定の滞留箇所を判断・推定することができる。撮影範囲４５やマトリックスの構成などに応じて、検出された滞留箇所は、特定の通路（区画）、商品棚、商品などに対応付けられたものとなる。
【００５６】
また更に、滞留検出システム１０は、上記の滞留情報６３及び人物・動線情報６１などを用いて、人物検出機能による人物の区別に基づき、滞留箇所ごと及び時間帯ごとに立寄り人数などを計算し、検出結果情報に含めてもよい。例えば、前記ブロック等の単位で、人物の数を判定・カウントしてもよい。また例えば、図３の例のように、撮影範囲４５の領域内に設定される区画（境界線）の単位で人数の数を判定・カウントしてもよい。例えば人物による境界線の通過（出入り）を、画像上の座標に基づく幾何計算によって判定し、当該区画内に滞留する人物の数をカウントすることで、当該立寄り人数を計算できる。これにより例えば特定の商品棚の前に立寄る来店客の人数などを把握することができる。
【００５７】
［効果等］
以上説明したように、本実施の形態によれば、監視カメラ３０で撮影した動画像を用いて、撮影範囲４５の領域における人物の滞留を、滞留度（スコアｓ）として数値化し、滞留箇所を検出することができ、店舗４０の経営管理等に役立てることができる。例えば、店舗４０内の商品等の配置構成に対応付けられた形で、滞留箇所（特定の区画、商品棚、商品など）を検出することができる。検出された滞留箇所は、人物が静止・滞留している時間が長い箇所、あるいは複数の人物が集まる箇所などである。よって例えば、来店客が気になって足を止めた箇所であったり、商品を探したり手に取ったり等した箇所であると推定できる。
【００５８】
上記の滞留情報６３を店舗４０の経営管理に利用できる。例えば経営ノウハウ情報として、またＰＯＳシステム等と連携した活用などができる。例えば、店舗４０内の商品陳列や広告配置等の検討に役立ち、また、商品在庫・販売データ等と照らし合わせて、商品の仕入れなどに役立てることができる。
【００５９】
他の実施の形態として以下が挙げられる。
【００６０】
（１） 監視カメラサーバ２０等で備える解析・検出機能によっては、動画像（フレーム領域）内における複数の各人物を区別・特定することができない場合（人物ごとの動線を把握できない場合）も考えられる。その場合でも、概略的に滞留度（不特定多数の単位での滞留度）を判定し滞留箇所を検出することができる。例えば動線情報が無くても、フレーム領域（背景領域など）と対応のマトリックスの要素（ブロックＢ）に対する対象物の重なりが検出できれば（例えば背景領域と対象物との画素情報の差分を判定する公知の方法などを利用してもよい）、概略的な滞留度・滞留箇所を計算できる。
【００６１】
（２） 監視カメラサーバ２０等で備える機能に応じて、人物の現在位置の情報は、検出した顔の向きや視線の向きなどを考慮してその方向情報を持つようにしてもよい。例えば図３の３１１では商品棚Ｅ２（商品Ｐ２）の方向を向いている場合を示す。上記の方向情報を、滞留度・滞留箇所の判定に利用してもよい。例えば、人物現在位置にあたる要素（ブロックＢ）から、方向情報に対応した方向にある要素（ブロックＢ）の滞留度（スコアｓ）を所定の重み付けで高めるように計算する等。
【００６２】
（３） 前述した滞留（滞留度）の概念は、１人が静止する時間が長い場合だけでなく、複数人がそれぞれ通過する時間の累積による場合も含んでいる。例えば、店舗４０内に第１の区画と第２の区画がある場合で、第１の区画では１人の来店客が長く滞留し、第２の区画では複数人の来店客がそれぞれ短い時間で通過したような場合が考えられる。そこで、両者を区別して判定する形態としてもよい。人物・動線の検出機能により人物を区別し、個々の人物単位で滞留度を計算し滞留箇所を検出する第１の方式と、複数人の累積の単位で滞留度を計算し滞留箇所を検出する第２の方式（前述した実施の形態）と、が可能である。第１の方式を用いた場合、例えば第１の区画での滞留度が高く、第２の区画での滞留度が低いと判定する。また、第２の方式を用いた場合、例えば第１の区画での滞留度及び第２の区画での滞留度の両方が高いと判定する。
【００６３】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】
【００６４】
本発明は、監視カメラシステム、特に、店舗の経営管理等の目的での固定カメラシステム、公共交通における滞留（混雑）等を分析するシステム、等に利用できる。
【符号の説明】
【００６５】
１０…滞留検出システム、１１…データ取得部（フレーム処理部）、１２…滞留検出部、１３…出力部、
２０…監視カメラサーバ、２１…監視カメラ制御部、２２…画像解析部、２３…動画像データ、２４…解析情報、
３０…監視カメラ、
４０…店舗、４５…撮影範囲、
６０…フレームデータ、６１…人物・動線情報、６２…マトリックスデータ、６３…検出結果（滞留情報）、１０２…人物・動線情報。
【技術分野】
【０００１】
本発明は、監視カメラ等の固定カメラにおいて撮影された動画像を利用してデータ情報処理等を行う技術に関し、特に、店舗などの施設において撮影された動画像の領域中において人物などが滞留する箇所などを検出するシステム及びプログラムに適用して有効な技術に関する。
【背景技術】
【０００２】
現在では、例えばコンビニエンスストア店舗などの様々な施設において、防犯目的などの様々な目的のために、監視カメラや監視カメラシステム（以下では単に「監視カメラ」と記載する場合がある）が設置されている。監視カメラは高機能・高性能化し続けており、様々な機能を有するものが市場に提供されている。
【０００３】
監視カメラの機能としては、施設内外の画像（動画像）の撮影と記録という基本的な機能に加えて、付加的な機能としては、撮影した動画像に対する画像解析処理等に基づいて、動体を検出する機能、および検出した動体の特徴に基づいて人物や顔などの特定の対象物を検出する機能などがある。
【０００４】
特開２０１０−１５４６５号公報（特許文献１）は、監視カメラの画像データを利用して、店舗等への入場者の数を計測するシステムについて記載されている。
【０００５】
特開２００７−７４３３０号公報（特許文献２）は、監視カメラの撮影映像を解析すること（人物の滞在時間の判別など）により、例えば購買意欲を持った顧客かどうか、不審者かどうか等を認識する技術について記載されている。特許文献２では、店舗ＰＣは、監視カメラによる撮影画像内に含まれている人物の特徴から監視対象者を特定すると共に、この監視対象者が登場してから現時点までの滞在時間を計時し、その判別に応じて担当者へ通知することが記載されている。また監視対象者の年齢層・性別などを推測することが記載されている。
【０００６】
特開２００６−１９７２２６号公報（特許文献３）は、防犯目的に限らず店舗管理にも利用できる監視カメラシステムについて記載されている。固定式カメラと移動式カメラを用いること等が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１５４６５号公報
【特許文献２】特開２００７−７４３３０号公報
【特許文献３】特開２００６−１９７２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の監視カメラシステムは、防犯目的で設置・利用されることが多く、防犯目的では店舗内の人物を概略的に把握することができ有効である。防犯目的以外の目的として、コンビニエンスストア店舗等の施設における経営管理等の目的で利用することが考えられるが（例えば特許文献１〜３）、活用が不十分であった。
【０００９】
例えば従来の監視カメラシステムでは、撮影範囲の領域における人物等の静止・滞留・集合などの状況を数値化・検出して経営管理に役立てるといった可能性については十分に検討・実現がされていない。例えば、撮影範囲に対応した背景領域（例えば店舗内の商品等の配置構成）において、来店客などが特定の箇所（通路や商品棚など）に立ち寄る・立ち止まること、あるいは特定の箇所に対し複数の人物が集まったり通過したりすること、等による特定の箇所（「滞留箇所」）を判定するシステムは実現されていない。例えば特許文献１は人物数の計測、特許文献２は滞在時間の計測であり、店舗内の特定の滞留箇所を判定するものではない。
【００１０】
以上を鑑み、本発明の目的は、監視カメラなどの固定カメラにおいて撮影された動画像を用いて、撮影範囲の領域における人物等の静止・滞留・集合などの度合いを数値化して滞留箇所を検出して経営管理等に役立てることができるシステム等を提供することにある。本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、本発明の代表的な実施の形態は、以下の特徴を有するものである。本滞留検出システムは、所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、撮影範囲の領域における人物等の対象物の滞留を検出するシステムであり、固定カメラで撮影した撮影範囲に対応した検出対象とする動画像または静止画のフレームデータまたはその画像解析情報の少なくとも一方を取得し、フレームデータまたは画像解析情報をもとに、撮影範囲に対応したフレーム領域における人物またはその動線の情報を取得する処理を行うデータ取得部と、撮影範囲に対応したフレーム領域を複数のブロックに分割してなる複数の要素を持つマトリックスのデータを用いて、フレーム領域における人物またはその動線の情報をマトリックス上のブロックにマッピングし、当該人物またはその動線が重なるブロック対応の要素ごとのスコアを記録する処理と、マトリックスにおけるスコアが高い要素を抽出する処理と、スコアが高い要素のブロックの情報を滞留箇所の検出結果情報として出力する処理と、を行う滞留検出部と、を有する。
【００１２】
また、本発明は、コンピュータを上記のようなシステムとして機能させるプログラムにも適用することができる。
【発明の効果】
【００１３】
本発明の代表的な実施の形態によれば、監視カメラなどの固定カメラにおいて撮影された動画像を用いて、撮影範囲の領域における人物等の静止・滞留・集合などの度合いを数値化して滞留箇所を検出して経営管理等に役立てることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態である滞留検出システムを含む監視カメラシステムの構成例について概要を示した図である。
【図２】本発明の一実施の形態における滞留検出処理の流れの例について概要を示したフローチャートである。
【図３】本発明の一実施の形態における、撮影範囲の領域及び対応情報の例を示した図である。
【図４】本発明の一実施の形態における、撮影範囲の領域に対応したマトリックスの構成例及びマトリックス上の人物動線のプロット例を示した図である。
【図５】本発明の一実施の形態における、マトリックス上の要素抽出の例及び滞留箇所の例を示した図である。
【図６】本発明の一実施の形態における、滞留箇所の例を示した図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。本実施の形態の滞留検出システムを含む監視カメラシステムでは、店舗等の施設で固定カメラにより撮影した動画像をもとに、撮影範囲の領域において人物（複数人の場合を含む）が静止・滞留・集合するような度合い（「滞留度」）が高い箇所（「滞留箇所」）を判定し検出する。
【００１６】
［システム構成］
図１において、本発明の一実施の形態であるシステム１０を含む監視カメラシステム（固定カメラシステム）１００の構成例について概要を示す。本監視カメラシステム１００は、滞留検出システム１０、監視カメラサーバ２０、監視カメラ（固定カメラ）３０、及び店舗４０などから構成される。
【００１７】
店舗４０には、１つ以上の監視カメラ３０が設置される。監視カメラ３０は所定の撮影範囲４５を撮影する。各監視カメラ３０は、監視カメラサーバ２０に接続される。監視カメラサーバ２０は、店舗４０内部に構成されるか、ネットワーク等を介して店舗４０外部に構成されてもよい。監視カメラサーバ２０に対し、滞留検出システム１０が接続される。滞留検出システム１０は、店舗４０内のシステムとして構成されてもよいし、外部ネットワーク上のシステムとして構成されてもよい。
【００１８】
店舗４０は、例えばコンビニエンスストア店舗などである。監視カメラ３０の撮影範囲４５は、例えば店舗４０内の通路や商品陳列棚などの所定の固定的な空間領域を対象とする。本実施の形態では、撮影範囲４５は、店舗４０内の商品陳列棚を含むものである（図３）。監視カメラ３０による撮影範囲４５を対象として撮影される動画像は、動画像データ２３として監視カメラサーバ２０内に記録される。
【００１９】
監視カメラサーバ２０は、例えば、コンピュータシステムによって構成され、ソフトウェアプログラムによって実装される監視カメラ制御部２１および画像解析部２２の各部と、動画像データ２３および解析情報２４の各データもしくはデータベースを有する。これにより、監視カメラサーバ２０は、監視カメラ３０によって撮影された動画像を動画像データ２３として記録する機能を有する。また監視カメラサーバ２０は、記録した動画像データ２３をもとに、画像解析部２２による画像解析処理を行うことにより、撮影範囲４５の領域内における、移動する人物やその顔などの対象、及びその動線（軌跡）などを検出することができる公知の機能（人物検出機能及び動線検出機能）を有する。画像解析部２２等の処理内容は設定情報に基づいて可変に設定できる。画像解析部２２（人物検出機能及び動線検出機能）による解析情報２４（人物・動線情報１０２）が監視カメラサーバ２０内に記録される。
【００２０】
本実施の形態では、監視カメラサーバ２０は上記の人物検出機能及び動線検出機能を備え、本滞留検出システム１０は、上記の公知の検出機能（その検出情報）を手段として利用して、目的（滞留検出）を実現する。なお滞留検出システム１０側に上記の検出機能を備えて実現してもよい。また検出対象は、人に限定せずに、他の動体（例えば自動車など）にすることもできる。その場合はその検出対象に対応した検出機能を有し、対応する座標情報などを処理する形態となる。
【００２１】
監視カメラサーバ２０は、監視カメラ制御部２１により監視カメラ３０を制御する。この制御としては、例えば、監視カメラ３０による撮影の実行・停止、撮影範囲４５の設定や変更、露出等の撮影条件の変更などが含まれ得る。特に監視カメラ３０の向き等を変えることにより、所望の撮影範囲４５を設定することが可能である。
【００２２】
滞留検出システム１０は、例えば、コンピュータシステムによって構成され、ソフトウェアプログラムによって実装されるデータ取得部（フレーム処理部）１１、滞留検出部１２、及び出力部１３の各部と、フレームデータ６０、人物・動線情報６１、マトリックスデータ６２、及び検出結果（滞留情報）６３の各データもしくはデータベースを有する。これにより、本滞留検出システム１０は、監視カメラ３０及び監視カメラサーバ２０による撮影動画像から撮影範囲４５の領域における滞留箇所の情報（滞留情報６３）を計算・検出する機能を有する。
【００２３】
また滞留検出システム１０は、図示しないが、店舗管理者等の操作により各種情報を設定するための設定手段を備え、処理対象のフレームや時間、判定用の閾値などを設定することが可能である。
【００２４】
データ取得部（フレーム処理部）１１は、監視カメラサーバ２０から、滞留検出部１２での処理に必要なデータ情報である、動画像データ２３及び解析情報２４（人物・動線情報１０２）を取得・入力する。取得した動画像データ２３は、例えば連続的な複数の静止画（フレーム）を含むフレームデータ６０として保存する。また取得した人物・動線情報１０２を、人物・動線情報６１として保存する。またデータ取得部１１は、フレーム領域を複数のブロックに分割する処理などを行ってもよい（マトリックスデータ６２の作成に関連する処理）。
【００２５】
またデータ取得部１１は、監視カメラサーバ２０から人物・動線情報１０２として人物・動線の時系列での座標情報を取得できるのであれば、動画像データ２３（フレームデータ６０）の取得や処理は必須ではない。例えば監視カメラサーバ２０と滞留検出システム１０（サーバ等）がネットワークを介して接続されるような形態とする場合、上記人物・動線情報１０２（例えばテキストデータ形式）のみをデータ取得部１１で取得（受信）し、動画像データ２３の授受をしないようにする。
【００２６】
滞留検出部１２は、フレームデータ６０、人物・動線情報６１、及びマトリックスデータ６２等を用いて、滞留検出処理（図２、後述）を行い、その検出結果（滞留情報を含む）６３を保存する。滞留情報６３は、監視カメラ３０の撮影範囲４５の領域における検出された滞留箇所の情報を含む。滞留検出部１２等の処理内容は設定情報に基づいて可変に設定できる。
【００２７】
出力部１３は、検出結果（滞留情報）６３を用いて出力処理を行う。例えば該当の店舗４０の管理者等のコンピュータ端末への検出結果６３のデータ送信や当該端末画面への情報表示などを行う。また例えばリアルタイムで撮影映像に検出結果６３などを重ね合わせて表示する場合、出力部１３は、検出結果６３のデータを、監視カメラサーバ２０等へフィードバック転送し、監視カメラサーバ２０等で撮影映像（撮影範囲４５の領域）に滞留情報６３などを重ね合わせるようにしてもよい。
【００２８】
フレームデータ６０や人物・動線情報６１の例は図３のフレーム３０１（人物の動線３１０）である。マトリックスデータ６２の例は図４の４０１である。検出結果（滞留情報）６３の例は図５の５０２や図６である。
【００２９】
なお、本実施の形態では、滞留検出システム１０を監視カメラサーバ２０とは独立した機器・システムとして実装する場合の例を示しているが、滞留検出システム１０の各部を構成するプログラムやデータを監視カメラサーバ２０内に組み込んで、監視カメラサーバ２０と一体として実装するようにしてもよい。
【００３０】
［処理内容］
図２は、本システム（１０，１００）において、監視カメラ３０の撮影映像をもとに滞留箇所などを計算・検出する際の処理（滞留検出処理）の流れの例について概要を示す。例えば店舗管理者等によるコンピュータ端末画面での操作に基づいて、滞留検出システム１０に対し、設定処理（Ｓ０１）、撮影処理（Ｓ０２）、滞留検出処理（Ｓ１０〜Ｓ４０）などを指示し実行する。また本実施の形態では、一旦Ｓ０２で対象の撮影範囲４５を撮影した後に、その撮影データ等を用いてＳ１０以降の処理を行う形態とするが、Ｓ０２の撮影実行と共にリアルタイムでＳ１０以降の処理を行う形態とすることもできる。なお事前に設定処理（Ｓ０１）や撮影処理（Ｓ０２）が済んでいる場合は当該処理実行を省略可能である。また監視カメラサーバ２０側で解析処理（Ｓ１０）が済んでいる場合は、滞留検出システム１０側での解析処理（Ｓ１０）は省略可能である。
【００３１】
（Ｓ０１） Ｓ０１では、設定処理として、店舗管理者等の操作に基づき、滞留検出システム１０（設定手段）に対し、滞留検出の対象とする撮影範囲４５、フレーム、日時、条件や閾値、マトリックス（６２）の分割構成などの情報を設定する。
【００３２】
（Ｓ０２） Ｓ０２では、対象の撮影範囲４５について、監視カメラ３０による撮影を実行し、データ取得部１１は、監視カメラサーバ２０から対象の動画像データ２３を取得し、フレームデータ６０とする。あるいは、データ取得部１１は、撮影済みの動画像データ２３を取得して、フレームデータ６０としてもよい。例えば店舗管理者等により撮影の開始・終了等を指定して、任意数のフレームを検出処理対象として取得する。また特に、日時ごとの撮影データを取得して検出処理対象としてもよい。
【００３３】
（Ｓ１０） Ｓ１０では、監視カメラ３０の撮影範囲４５の動画像（フレーム領域）の中から、人物やその動線を検出する処理（Ｓ１１，Ｓ１２）を行う。本実施の形態では、前述した監視カメラサーバ２０に備える画像解析部２２の公知の検出機能を利用して行われる。
【００３４】
（Ｓ１１） まず人物検出機能を用いて、フレーム領域（例えば図３の３０１）の中から、人物を検出する。複数の人物が存在する場合はそれぞれ検出する。検出情報は、例えばフレーム領域における人物の現在位置の座標の情報を有する。座標は、検出方式に応じて、例えば画素座標としてもよいし、画素よりも粗い単位での位置情報としてもよい。
【００３５】
（Ｓ１２） Ｓ１１で検出した人物について、フレーム領域の中で動いた軌跡（動線）をフレーム領域内の座標などの形で把握する。例えば、所定フレーム（例えば１フレーム）ごとに人物の現在位置の座標を把握し、各座標をつなげることで動線（例えば３１０）が構成される。
【００３６】
図３では、フレーム領域３０１は、所定の撮影範囲４５の３次元の空間領域に対応した例であり、背景領域（通路、商品棚などを含む）と、その上に重ね合わせた人物動線（３１０）などを示している。Ｋ１〜Ｋ３等は、店舗４０内における区画領域（通路等）を示す。破線は区画領域の境界線を示す。Ｅ１〜Ｅ４等は、商品棚などを示す。Ｐ２は商品例を示す。動線（軌跡）は、人物の位置の時系列（フレーム時間等）での変化を示す。ある人物の動線３１０上、３１１で示す三角のマークは、人物の現在位置（座標等）の例を示す。
【００３７】
また、フレーム領域３０２は、３次元のフレーム領域３０１に対応付けられた、２次元の領域を示す。店舗４０内の配置構成を上から俯瞰し、動線などの情報を重ねたものである。監視カメラ３０の設置や撮影範囲４５の設定に応じて、このように検出対象を２次元的にすることも可能である。例えば商品棚を正面から見る方向で撮影範囲４５を設定してもよい。また、３次元の情報と２次元の情報との間で所定の対応付け・変換処理を行うようにしてもよい。２次元化することで、例えば出力時に店舗管理者等が見やすい情報にすることができる。
【００３８】
（Ｓ２０） 次に、滞留検出部１２により、撮影範囲４５における単位領域ごとの滞留度を計算する処理を行う。本実施の形態では、マトリックス（６２）で規定するブロック（Ｂとする）を単位領域（分割領域）とし、このブロックＢ毎に滞留度をスコア（ｓとする）として計算する。滞留検出部１２は、Ｓ１０までのデータ、及びマトリックスデータ６２を用いて、要素（ブロックＢ）毎のスコアｓを記録・更新する。マトリックス（６２）は、行列・表などの形式である。各要素（ブロックＢ）はフレーム領域内での位置を示す情報などを持つ。
【００３９】
（Ｓ２１） 滞留検出部１２は、撮影映像（人物・動線情報６１）に基づく人物ごとの動線（３１０等）の座標を、フレーム領域に対応するマトリックス（６２）上の要素（ブロックＢ）に対してプロット（マッピング）することにより、要素ごとのスコアを記録する。動線（座標）の形式に応じて適宜マッピングする。簡単には、動線が重なる要素（Ｂ）のスコアを増加する。
【００４０】
図４のマトリックス４０１（対応フレーム領域）において、１フレーム領域、例えば縦４８０画素×横６４０画素を、縦・横に複数の領域（ブロックＢ）に分割し、マトリックスを構成している。本例では、縦・横にそれぞれ８分割し、８×８＝６４の要素（ブロックＢ）を持つ場合である。１要素（ブロックＢ）は、縦６０×横８０＝４８０画素の場合である。各要素（ブロックＢ）は、滞留度に関するスコアｓを持つ。スコアｓは、初期値を０とし、滞留単位（Ｓ２２で説明）に応じてカウントアップ（＋１）される。
【００４１】
マトリックス４０２は、マトリックス４０１（要素）上に、人物の動線（例えば４２０）を重ね合わせるようにプロット（マッピング）し、要素のスコアｓをカウントアップ（＋１）した例である。滞留検出部１２は、マトリックス４０１上で動線４２０（図３の動線３１０と同様）が重なる要素（ブロックＢ）を判定し、その重なる要素（Ｂ）のスコアｓを、滞留単位に応じてカウントアップ（＋１）する。なお４０２の例では、動線４２０が通る各要素（Ｂ）のスコアｓについて、１滞留単位の要素では＋１、２滞留単位の要素では＋２、５滞留単位の要素では＋５、といった増加の場合である。
【００４２】
（Ｓ２２） 滞留検出部１２は、動線における人物の現在位置に応じた要素（ブロックＢ）のスコアｓを、滞留単位の判定（例えば滞留時間の経過）ごとにカウントアップ（＋１）して更新する。検出対象とする複数フレーム（時間）、複数の動線にわたって、Ｓ２２のカウント処理を行う。本実施の形態では、滞留単位として、所定フレーム時間単位（例：１フレーム毎、１秒毎など）、及び人物単位を考慮し、これらの１単位ごとにカウントアップ（＋１）する。例えば、複数フレームで人物が同じブロックＢ上に留まり続ける場合、その複数フレームの分、当該要素（Ｂ）のスコアｓを増加する。また、複数の人物が同じブロックＢ上に留まったり通過したりする場合、その人物数の分、当該要素（Ｂ）のスコアｓを増加する。上記滞留単位（カウントの方式）は設定により可変である。
【００４３】
上記マトリックス（６２）の要素（ブロックＢ）の分割構成は、設定等に応じて可変であり、本分割構成に応じて、滞留検出の精度（効果）を調整することができる。例えば、要素の数を少なく（粗く）する場合、毎フレームの滞留箇所の計算を高速に実現できる。要素の数を多く（細かく）する場合、滞留箇所をより細かい単位で検出することができる。また例えば撮影範囲４５における店舗４０内の商品配置等の構成に対応付けて上記要素（ブロックＢ）の分割構成を設定するようにしてもよい。
【００４４】
（Ｓ３０） 次に、滞留検出部１２は、Ｓ２０までの処理結果（マトリックスデータ６２等）を用いて、マトリックス（６２）における滞留度（スコアｓ）の高い要素（ブロックＢ）を抽出する処理を行う。
【００４５】
（Ｓ３１） 本実施の形態では、まず、マトリックス（６２）の各要素（Ｂ）のスコアｓを、所定の閾値（ｓｔとする）と比較する。スコアｓが閾値ｓｔ以上の場合（ｓ≧ｓｔ）、当該要素（ブロックＢ）を抽出する。閾値ｓｔは設定により可変である。
【００４６】
図５のマトリックス５０１（対応フレーム領域）は、Ｓ２２の処理結果例のマトリックス５０１上で、スコアｓが所定の閾値ｓｔ（例えばｓｔ＝８）以上の要素（ブロックＢ）を抽出した例である。
【００４７】
また、マトリックス５０２では、５０１と同様に、星印で示す複数の各要素（ブロックＢ）が抽出された場合であり、このＳ３１で抽出した個々の要素（ブロックＢ）をそのまま個々の「滞留要素（滞留ブロック）」（第１の検出結果情報）とした例である。この第１の検出結果情報は滞留情報６３として保存される。
【００４８】
（Ｓ３２） また、滞留検出部１２は、Ｓ３１の結果を用いて、フレーム領域内に複数の抽出要素（ブロックＢ）が存在する場合は、以下の処理を行うようにしてもよい。滞留検出部１２は、複数の抽出要素（Ｂ）を、クラスタリングにより１つ以上のクラスタ集合に分類する。このクラスタリング方法としては、例えばＫ平均法などの公知技術を利用できる。
【００４９】
図５のマトリックス５０２で、各楕円で示す５２０は、上記クラスタリングによる分類結果であるクラスタ集合の例を示している。この分類結果であるクラスタ集合の情報は、滞留箇所を示す、第２の検出結果情報とすることができる（滞留情報６３として保存される）。
【００５０】
特にＳ３１で多数の要素が抽出された場合は、Ｓ３２の分類をすることで、フレーム領域内における滞留箇所が判断しやすくなる効果がある。
【００５１】
（Ｓ３３） また、滞留検出部１２は、Ｓ３１の第１の結果情報（滞留要素）、またはＳ３２の第２の結果情報（クラスタ集合）について、滞留箇所を示す円などの情報を作成し、関連付けてもよい。この情報を第３の検出結果情報とすることができる（滞留情報６３として保存される）。例えば円の中心を人物の滞留のポイントとみなし、円の大きさ（半径）を滞留範囲とみなすことができる。
【００５２】
図６のマトリックス６０１（対応フレーム領域）では、図５のクラスタ集合５２０（第２の結果情報）に対し、６１０のように滞留箇所を示す円を作成・関連付けた例である。円の作成の仕方として、例えば、円の中心点は、クラスタ集合ごとの１つ以上の要素（ブロックＢ）に関する重心点をとり、中心点とする。また例えば、円の半径は、重心点からの各要素の距離の平均値をとり、半径とする。また円に限らず、楕円などの図形にしてもよい。
【００５３】
（Ｓ４０） 滞留検出部１２は、上記Ｓ３０までの処理で得た検出結果情報を滞留情報６３としてまとめ、保存する。滞留情報６３は、例えば、数値情報だけでなく、出力処理のために、店舗管理者等のコンピュータ端末画面で表示可能な形式のデータにしてもよい。出力部１３は、店舗管理者等の操作に応じて、滞留情報６３を用いて出力処理を行う。例えば出力部１３は、該当の店舗４０の管理者等のコンピュータ端末に対して、滞留情報６３のデータ送信や画面表示処理などを行う。
【００５４】
図６のフレーム６０２は、６０１の第３の検出結果情報に対応した出力例であり、撮影範囲４５の背景領域（人物などがいない状態の画像など）上に、６０１の滞留箇所を示す円６１０を重ね合わせて表示した場合である。同様に、第１、第２の検出結果情報を重ね合わせて出力してもよい。また動線などの関連情報を適宜重ね合わせて出力してもよい。滞留箇所を示す円などの情報を作成して表示することにより、フレーム領域内における滞留箇所が判断しやすくなる効果がある。
【００５５】
上記結果情報（滞留情報６３）の参照により、店舗４０の管理者等は、撮影範囲４５の領域における特定の滞留箇所を判断・推定することができる。撮影範囲４５やマトリックスの構成などに応じて、検出された滞留箇所は、特定の通路（区画）、商品棚、商品などに対応付けられたものとなる。
【００５６】
また更に、滞留検出システム１０は、上記の滞留情報６３及び人物・動線情報６１などを用いて、人物検出機能による人物の区別に基づき、滞留箇所ごと及び時間帯ごとに立寄り人数などを計算し、検出結果情報に含めてもよい。例えば、前記ブロック等の単位で、人物の数を判定・カウントしてもよい。また例えば、図３の例のように、撮影範囲４５の領域内に設定される区画（境界線）の単位で人数の数を判定・カウントしてもよい。例えば人物による境界線の通過（出入り）を、画像上の座標に基づく幾何計算によって判定し、当該区画内に滞留する人物の数をカウントすることで、当該立寄り人数を計算できる。これにより例えば特定の商品棚の前に立寄る来店客の人数などを把握することができる。
【００５７】
［効果等］
以上説明したように、本実施の形態によれば、監視カメラ３０で撮影した動画像を用いて、撮影範囲４５の領域における人物の滞留を、滞留度（スコアｓ）として数値化し、滞留箇所を検出することができ、店舗４０の経営管理等に役立てることができる。例えば、店舗４０内の商品等の配置構成に対応付けられた形で、滞留箇所（特定の区画、商品棚、商品など）を検出することができる。検出された滞留箇所は、人物が静止・滞留している時間が長い箇所、あるいは複数の人物が集まる箇所などである。よって例えば、来店客が気になって足を止めた箇所であったり、商品を探したり手に取ったり等した箇所であると推定できる。
【００５８】
上記の滞留情報６３を店舗４０の経営管理に利用できる。例えば経営ノウハウ情報として、またＰＯＳシステム等と連携した活用などができる。例えば、店舗４０内の商品陳列や広告配置等の検討に役立ち、また、商品在庫・販売データ等と照らし合わせて、商品の仕入れなどに役立てることができる。
【００５９】
他の実施の形態として以下が挙げられる。
【００６０】
（１） 監視カメラサーバ２０等で備える解析・検出機能によっては、動画像（フレーム領域）内における複数の各人物を区別・特定することができない場合（人物ごとの動線を把握できない場合）も考えられる。その場合でも、概略的に滞留度（不特定多数の単位での滞留度）を判定し滞留箇所を検出することができる。例えば動線情報が無くても、フレーム領域（背景領域など）と対応のマトリックスの要素（ブロックＢ）に対する対象物の重なりが検出できれば（例えば背景領域と対象物との画素情報の差分を判定する公知の方法などを利用してもよい）、概略的な滞留度・滞留箇所を計算できる。
【００６１】
（２） 監視カメラサーバ２０等で備える機能に応じて、人物の現在位置の情報は、検出した顔の向きや視線の向きなどを考慮してその方向情報を持つようにしてもよい。例えば図３の３１１では商品棚Ｅ２（商品Ｐ２）の方向を向いている場合を示す。上記の方向情報を、滞留度・滞留箇所の判定に利用してもよい。例えば、人物現在位置にあたる要素（ブロックＢ）から、方向情報に対応した方向にある要素（ブロックＢ）の滞留度（スコアｓ）を所定の重み付けで高めるように計算する等。
【００６２】
（３） 前述した滞留（滞留度）の概念は、１人が静止する時間が長い場合だけでなく、複数人がそれぞれ通過する時間の累積による場合も含んでいる。例えば、店舗４０内に第１の区画と第２の区画がある場合で、第１の区画では１人の来店客が長く滞留し、第２の区画では複数人の来店客がそれぞれ短い時間で通過したような場合が考えられる。そこで、両者を区別して判定する形態としてもよい。人物・動線の検出機能により人物を区別し、個々の人物単位で滞留度を計算し滞留箇所を検出する第１の方式と、複数人の累積の単位で滞留度を計算し滞留箇所を検出する第２の方式（前述した実施の形態）と、が可能である。第１の方式を用いた場合、例えば第１の区画での滞留度が高く、第２の区画での滞留度が低いと判定する。また、第２の方式を用いた場合、例えば第１の区画での滞留度及び第２の区画での滞留度の両方が高いと判定する。
【００６３】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】
【００６４】
本発明は、監視カメラシステム、特に、店舗の経営管理等の目的での固定カメラシステム、公共交通における滞留（混雑）等を分析するシステム、等に利用できる。
【符号の説明】
【００６５】
１０…滞留検出システム、１１…データ取得部（フレーム処理部）、１２…滞留検出部、１３…出力部、
２０…監視カメラサーバ、２１…監視カメラ制御部、２２…画像解析部、２３…動画像データ、２４…解析情報、
３０…監視カメラ、
４０…店舗、４５…撮影範囲、
６０…フレームデータ、６１…人物・動線情報、６２…マトリックスデータ、６３…検出結果（滞留情報）、１０２…人物・動線情報。
【特許請求の範囲】
【請求項１】
所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における対象物の滞留を検出するシステムであり、
前記固定カメラで撮影した検出対象とする動画像の解析処理により前記撮影範囲に対応したフレーム領域における対象物の位置の情報を取得する処理を行うデータ取得部と、
前記撮影範囲に対応したフレーム領域を複数のブロックに分割してなる複数の要素を持つマトリックスのデータを用いて、
前記フレーム領域における前記対象物の位置を前記マトリックス上のブロックにマッピングし、当該対象物の位置が重なるブロックに対応する要素ごとのスコアを記録する処理と、
前記マトリックスにおける前記スコアが高い要素を所定の閾値に基づき抽出する処理と、
前記スコアが高い要素に対応するブロックの情報を、滞留箇所の検出結果情報として出力する処理と、を行う滞留検出部と、を有すること、を特徴とする滞留検出システム。
【請求項２】
所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における人物の滞留を検出するシステムであり、
前記固定カメラで撮影した検出対象とする動画像または静止画のフレームデータまたはその画像解析情報の少なくとも一方を取得し、前記フレームデータまたは画像解析情報をもとに、前記撮影範囲に対応したフレーム領域における人物またはその動線の情報を取得する処理を行うデータ取得部と、
前記撮影範囲に対応したフレーム領域を複数のブロックに分割してなる複数の要素を持つマトリックスのデータを用いて、
前記フレーム領域における前記人物またはその動線の情報を前記マトリックス上のブロックにマッピングし、当該人物またはその動線が重なるブロックに対応する要素ごとのスコアを記録する処理と、
前記マトリックスにおける前記スコアが高い要素を所定の閾値に基づき抽出する処理と、
前記スコアが高い要素に対応するブロックの情報を、滞留箇所の検出結果情報として出力する処理と、を行う滞留検出部と、を有すること、を特徴とする滞留検出システム。
【請求項３】
請求項２に記載の滞留検出システムにおいて、
前記滞留検出部は、前記スコアを記録する処理において、前記フレーム領域における前記人物またはその動線の情報における当該人物の現在位置の座標を、前記マトリックス上のブロックにマッピングし、当該人物の現在位置の座標にあたる当該ブロックに対応する要素のスコアを、所定フレーム時間単位の経過ごとにカウントアップする処理を行うこと、を特徴とする滞留検出システム。
【請求項４】
請求項２に記載の滞留検出システムにおいて、
前記滞留検出部は、前記スコアを記録する処理において、前記人物またはその動線の情報を用いて、複数の人物の累積の単位で前記要素ごとのスコアをカウントアップし、前記抽出する処理において、前記複数の人物の累積のスコアが高い要素を抽出すること、を特徴とする滞留検出システム。
【請求項５】
請求項２に記載の滞留検出システムにおいて、
前記滞留検出部は、前記スコアを記録する処理において、前記人物またはその動線の情報を用いて、個別の人物の単位で前記要素ごとのスコアをカウントアップし、前記抽出する処理において、前記個別の人物ごとのスコアが高い要素を抽出すること、を特徴とする滞留検出システム。
【請求項６】
請求項２に記載の滞留検出システムにおいて、
前記滞留検出部は、前記抽出する処理の結果得られる情報として、複数の要素が存在する場合、クラスタリングによりクラスタ集合に分類する処理を行い、前記クラスタ集合の情報を滞留箇所の検出結果情報として出力すること、を特徴とする滞留検出システム。
【請求項７】
請求項２に記載の滞留検出システムにおいて、
前記滞留検出部は、前記抽出する処理の結果得られる情報に対して、滞留箇所を示す円の情報を作成して関連付ける処理を行い、前記滞留箇所を示す円の情報を前記滞留箇所の検出結果情報として出力すること、を特徴とする滞留検出システム。
【請求項８】
請求項２に記載の滞留検出システムにおいて、
前記撮影範囲における店舗内の空間的な配置の構成と、前記マトリックスの複数のブロックの構成と、が対応付けられて設定されることにより、前記滞留箇所は、前記店舗内の特定の箇所に対応付けられたブロックとして検出されること、を特徴とする滞留検出システム。
【請求項９】
所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における対象物の滞留を検出するシステムとしてコンピュータを機能させるプログラムであり、
前記固定カメラで撮影した検出対象とする動画像の解析処理により前記撮影範囲に対応したフレーム領域における対象物の位置の情報を取得する処理を行うステップと、
前記撮影範囲に対応したフレーム領域を複数のブロックに分割してなる複数の要素を持つマトリックスのデータを用いて、
前記フレーム領域における前記対象物の位置を前記マトリックス上のブロックにマッピングし、当該対象物の位置が重なるブロックに対応する要素ごとのスコアを記録する処理を行うステップと、
前記マトリックスにおける前記スコアが高い要素を所定の閾値に基づき抽出する処理を行うステップと、
前記スコアが高い要素に対応するブロックの情報を、滞留箇所の検出結果情報として出力する処理を行うステップと、を実行すること、を特徴とする滞留検出プログラム。
【請求項１】
所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における対象物の滞留を検出するシステムであり、
前記固定カメラで撮影した検出対象とする動画像の解析処理により前記撮影範囲に対応したフレーム領域における対象物の位置の情報を取得する処理を行うデータ取得部と、
前記撮影範囲に対応したフレーム領域を複数のブロックに分割してなる複数の要素を持つマトリックスのデータを用いて、
前記フレーム領域における前記対象物の位置を前記マトリックス上のブロックにマッピングし、当該対象物の位置が重なるブロックに対応する要素ごとのスコアを記録する処理と、
前記マトリックスにおける前記スコアが高い要素を所定の閾値に基づき抽出する処理と、
前記スコアが高い要素に対応するブロックの情報を、滞留箇所の検出結果情報として出力する処理と、を行う滞留検出部と、を有すること、を特徴とする滞留検出システム。
【請求項２】
所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における人物の滞留を検出するシステムであり、
前記固定カメラで撮影した検出対象とする動画像または静止画のフレームデータまたはその画像解析情報の少なくとも一方を取得し、前記フレームデータまたは画像解析情報をもとに、前記撮影範囲に対応したフレーム領域における人物またはその動線の情報を取得する処理を行うデータ取得部と、
前記撮影範囲に対応したフレーム領域を複数のブロックに分割してなる複数の要素を持つマトリックスのデータを用いて、
前記フレーム領域における前記人物またはその動線の情報を前記マトリックス上のブロックにマッピングし、当該人物またはその動線が重なるブロックに対応する要素ごとのスコアを記録する処理と、
前記マトリックスにおける前記スコアが高い要素を所定の閾値に基づき抽出する処理と、
前記スコアが高い要素に対応するブロックの情報を、滞留箇所の検出結果情報として出力する処理と、を行う滞留検出部と、を有すること、を特徴とする滞留検出システム。
【請求項３】
請求項２に記載の滞留検出システムにおいて、
前記滞留検出部は、前記スコアを記録する処理において、前記フレーム領域における前記人物またはその動線の情報における当該人物の現在位置の座標を、前記マトリックス上のブロックにマッピングし、当該人物の現在位置の座標にあたる当該ブロックに対応する要素のスコアを、所定フレーム時間単位の経過ごとにカウントアップする処理を行うこと、を特徴とする滞留検出システム。
【請求項４】
請求項２に記載の滞留検出システムにおいて、
前記滞留検出部は、前記スコアを記録する処理において、前記人物またはその動線の情報を用いて、複数の人物の累積の単位で前記要素ごとのスコアをカウントアップし、前記抽出する処理において、前記複数の人物の累積のスコアが高い要素を抽出すること、を特徴とする滞留検出システム。
【請求項５】
請求項２に記載の滞留検出システムにおいて、
前記滞留検出部は、前記スコアを記録する処理において、前記人物またはその動線の情報を用いて、個別の人物の単位で前記要素ごとのスコアをカウントアップし、前記抽出する処理において、前記個別の人物ごとのスコアが高い要素を抽出すること、を特徴とする滞留検出システム。
【請求項６】
請求項２に記載の滞留検出システムにおいて、
前記滞留検出部は、前記抽出する処理の結果得られる情報として、複数の要素が存在する場合、クラスタリングによりクラスタ集合に分類する処理を行い、前記クラスタ集合の情報を滞留箇所の検出結果情報として出力すること、を特徴とする滞留検出システム。
【請求項７】
請求項２に記載の滞留検出システムにおいて、
前記滞留検出部は、前記抽出する処理の結果得られる情報に対して、滞留箇所を示す円の情報を作成して関連付ける処理を行い、前記滞留箇所を示す円の情報を前記滞留箇所の検出結果情報として出力すること、を特徴とする滞留検出システム。
【請求項８】
請求項２に記載の滞留検出システムにおいて、
前記撮影範囲における店舗内の空間的な配置の構成と、前記マトリックスの複数のブロックの構成と、が対応付けられて設定されることにより、前記滞留箇所は、前記店舗内の特定の箇所に対応付けられたブロックとして検出されること、を特徴とする滞留検出システム。
【請求項９】
所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における対象物の滞留を検出するシステムとしてコンピュータを機能させるプログラムであり、
前記固定カメラで撮影した検出対象とする動画像の解析処理により前記撮影範囲に対応したフレーム領域における対象物の位置の情報を取得する処理を行うステップと、
前記撮影範囲に対応したフレーム領域を複数のブロックに分割してなる複数の要素を持つマトリックスのデータを用いて、
前記フレーム領域における前記対象物の位置を前記マトリックス上のブロックにマッピングし、当該対象物の位置が重なるブロックに対応する要素ごとのスコアを記録する処理を行うステップと、
前記マトリックスにおける前記スコアが高い要素を所定の閾値に基づき抽出する処理を行うステップと、
前記スコアが高い要素に対応するブロックの情報を、滞留箇所の検出結果情報として出力する処理を行うステップと、を実行すること、を特徴とする滞留検出プログラム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図１】
【図３】
【図４】
【図５】
【図６】
【図１】
【公開番号】特開２０１１−２４８８３６（Ｐ２０１１−２４８８３６Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２４２２６（Ｐ２０１０−１２４２２６）
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００１５５４６９）株式会社野村総合研究所 (1,067)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００１５５４６９）株式会社野村総合研究所 (1,067)
【Ｆターム（参考）】
[ Back to top ]