繁忙検知システム及び繁忙検知プログラム
【課題】固定カメラにおいて撮影された動画像を用いて、撮影範囲の領域における物体の移動や静止等の変動を数値化・検出して経営管理等に役立つ技術を提供する。
【解決手段】繁忙検知システム１０は、監視カメラ３０で撮影した撮影範囲４５の動画像（複数フレーム）をもとに、フレームの各エリアの画素値ヒストグラムを含む学習データ５１を作成する学習データ作成部１２と、フレームの各エリアの画素値ヒストグラムを含む検知対象データ５２を作成する検知対象データ作成部１３と、学習データ５１と検知対象データ５２を比較してエリア毎に距離値を計算する距離計算部１４と、エリア毎の距離値に基づき、撮影範囲の領域における物体の変動による繁忙の度合いを示す繁忙度を計算し、当該繁忙度をもとに繁忙箇所を検出する繁忙情報計算部１５と、を有する。
【解決手段】繁忙検知システム１０は、監視カメラ３０で撮影した撮影範囲４５の動画像（複数フレーム）をもとに、フレームの各エリアの画素値ヒストグラムを含む学習データ５１を作成する学習データ作成部１２と、フレームの各エリアの画素値ヒストグラムを含む検知対象データ５２を作成する検知対象データ作成部１３と、学習データ５１と検知対象データ５２を比較してエリア毎に距離値を計算する距離計算部１４と、エリア毎の距離値に基づき、撮影範囲の領域における物体の変動による繁忙の度合いを示す繁忙度を計算し、当該繁忙度をもとに繁忙箇所を検出する繁忙情報計算部１５と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ等の固定カメラにおいて撮影された動画像を利用してデータ情報処理等を行う技術に関し、特に、店舗等において撮影された動画像の領域中の物体の移動や静止などの変動から繁忙箇所などを検知するシステム及びプログラムに適用して有効な技術に関する。
【背景技術】
【０００２】
現在では、例えばコンビニエンスストア店舗などの様々な施設において、防犯目的などの様々な目的のために、監視カメラや監視カメラシステム（以下では単に「監視カメラ」と記載する場合がある）が設置されている。監視カメラは高機能・高性能化し続けており、様々な機能を有するものが市場に提供されている。
【０００３】
監視カメラの機能としては、施設内外の画像（動画像）の撮影と記録という基本的な機能に加えて、付加的な機能としては、撮影した動画像に対する画像解析処理等に基づいて、動体を検出する機能、および検出した動体の特徴に基づいて人物や顔などの特定の対象物を検出する機能などがある。
【０００４】
特開２０１０−１５４６５号公報（特許文献１）は、監視カメラの画像データを利用して、店舗等への入場者の数を計測するシステムについて記載されている。
【０００５】
特開２００７−７４３３０号公報（特許文献２）は、監視カメラの撮影映像を解析すること（人物の滞在時間の判別など）により、例えば購買意欲を持った顧客かどうか、不審者かどうか等を認識する技術について記載されている。
【０００６】
特開２００６−１９７２２６号公報（特許文献３）は、防犯目的に限らず店舗管理にも利用できる監視カメラシステムについて記載されている。固定式カメラと移動式カメラを用いること等が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１５４６５号公報
【特許文献２】特開２００７−７４３３０号公報
【特許文献３】特開２００６−１９７２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の監視カメラシステムは、防犯目的で設置・利用されることが多く、防犯目的では店舗内の人物を概略的に把握することができ有効である。防犯目的以外の目的として、コンビニエンスストア店舗等の施設における経営管理等の目的で利用することが考えられるが（例えば特許文献１〜３）、活用が不十分であった。
【０００９】
例えば従来の監視カメラシステムでは、撮影範囲の領域における人物等の移動や静止等の変動を数値化・検出して経営管理に役立てるといった可能性については十分に検討・実現がされていない。例えば、撮影範囲に対応した背景領域（例えば店舗内の商品等の配置構成）における物体の変動による繁忙箇所などを検知するようなシステムは実現されていない。
【００１０】
また従来の監視カメラシステムに備える画像解析等の機能を高度化することにより、例えば領域内における人物の動線を高精度に検出して経営管理に役立てることが考えられるが、必要とする時間やコストが大きくなってしまう不利点がある。
【００１１】
以上を鑑み、本発明の目的は、監視カメラなどの固定カメラにおいて撮影された動画像を用いて、撮影範囲の領域における人物等の物体の移動や静止等の変動を数値化・検出して経営管理等に役立てることができるシステム等を提供することにある。特に、必要とする時間やコストを小さく、撮影範囲に対応した背景領域における繁忙箇所などを検知することができる技術を提供することである。本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、本発明の代表的な実施の形態は、以下の特徴を有するものである。本繁忙検知システムは、所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における物体の変動による繁忙を検知するシステムであり、前記固定カメラで撮影した動画像または静止画に基づき、連続した複数の各々の静止画のフレームを取得し、各フレームを複数のエリアに分割する処理を行うフレーム処理部と、前記撮影範囲に対応した、基準とする第１の複数フレームをもとに、当該フレームの各エリアの各画素の情報を含む第１のデータを作成する処理を行う第１のデータ作成部と、前記撮影範囲に対応した、検知対象とする各々のフレームをもとに、当該フレームの各エリアの各画素の情報を含む第２のデータを作成する処理を行う第２のデータ作成部と、前記第１のデータの各エリアの画素の情報に対して前記第２のデータの各エリアの画素の情報を比較し、エリア毎に、当該第１、第２のデータ間における類似度を示す距離値を計算する距離計算部と、前記第２のデータについて、前記エリア毎の距離値に基づいて、前記エリア毎に、前記撮影範囲の領域における物体の変動による繁忙の度合いを示す繁忙度を計算し、前記エリア毎の繁忙度をもとに前記撮影範囲の領域における繁忙箇所を検出する繁忙情報計算部と、を有する。 また、本発明は、コンピュータを上記のようなシステムとして機能させるプログラムにも適用することができる。
【発明の効果】
【００１３】
本発明の代表的な実施の形態によれば、監視カメラなどの固定カメラにおいて撮影された動画像を用いて、撮影範囲の領域における人物等の物体の移動や静止等の変動を数値化・検出して経営管理等に役立てることができるシステム等を提供できる。特に、必要とする時間やコストを小さく、撮影範囲に対応した背景領域における繁忙箇所などを検知することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態である繁忙検知システムを含む監視カメラシステムの構成例について概要を示した図である。
【図２】本発明の一実施の形態における繁忙検知処理の流れの例について概要を示したフローチャートである。
【図３】本発明の一実施の形態における、学習データ用フレームにおける複数エリアへの分割の処理例を示した図である。
【図４】本発明の一実施の形態における、学習データと検知対象データとの間での対象エリアの画素値ヒストグラムの比較による距離値等の計算の処理例を示した図である。
【図５】本発明の一実施の形態における、検知対象データにおける繁忙度の計算及び繁忙箇所の検出の処理例を示した図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。本実施の形態の繁忙検知システムを含む監視カメラシステムでは、監視カメラで撮影した動画像の複数フレーム（学習データと検知対象データ）における、撮影範囲の領域から、物体の移動や静止等の変動による繁忙の度合いや箇所を数値化して検出する。繁忙とは、当該複数フレームのエリア及び時間帯に対して、人物などが、移動や静止などにより変動している状態を示し、本システムでは、その繁忙を検知対象とする。
【００１６】
［システム構成］
図１において、本発明の一実施の形態である繁忙検知システム１０を含む監視カメラシステム（固定カメラシステム）１００の構成例について概要を示す。本監視カメラシステム１００は、繁忙検知システム１０、監視カメラサーバ２０、監視カメラ（固定カメラ）３０、及び店舗４０などから構成される。
【００１７】
店舗４０には、１つ以上の監視カメラ３０が設置される。監視カメラ３０は所定の撮影範囲４５を撮影する。各監視カメラ３０は、監視カメラサーバ２０に接続される。監視カメラサーバ２０は、店舗４０内部に構成されるか、ネットワーク等を介して店舗４０外部に構成されてもよい。監視カメラサーバ２０に対し、繁忙検知システム１０が接続される。繁忙検知システム１０は、店舗４０内のシステムとして構成されてもよいし、外部ネットワーク上のシステムとして構成されてもよい。
【００１８】
店舗４０は、例えばコンビニエンスストア店舗などである。監視カメラ３０の撮影範囲４５は、例えば店舗４０内の通路や商品陳列棚などの所定の固定的な空間領域を対象とする。本実施の形態では、撮影範囲４５は、店舗４０内の商品陳列棚を含むものである（図３、３００）。監視カメラ３０による撮影範囲４５を対象として撮影される動画像は、動画像データ２３として監視カメラサーバ２０内に記録される。
【００１９】
監視カメラサーバ２０は、例えば、コンピュータシステムによって構成され、ソフトウェアプログラムによって実装される監視カメラ制御部２１および画像解析部２２の各部と、動画像データ２３および解析情報２４の各データもしくはデータベースを有する。
【００２０】
これにより、監視カメラサーバ２０は、監視カメラ３０によって撮影された動画像を動画像データ２３として記録する機能と、記録した動画像データをもとに、画像解析部２２による画像解析処理を行うことにより、例えば動画像内における移動する人物などを検出することができる公知の機能などを有する。画像解析部２２による解析情報２４は監視カメラサーバ２０内に記録される。また画像解析部２２等の処理内容は設定情報２５に基づいて可変に設定できる。なお、本実施の形態では、監視カメラサーバ２０による動体検出機能や人物検出機能などの具備は必須ではない。
【００２１】
監視カメラサーバ２０は、監視カメラ制御部２１により監視カメラ３０を制御する。この制御としては、例えば、監視カメラ３０による撮影の実行・停止、撮影範囲４５の設定や変更、露出等の撮影条件の変更などが含まれ得る。特に監視カメラ３０の向き等を変えることにより、所望の撮影範囲４５を設定することが可能である。
【００２２】
繁忙検知システム１０は、例えば、コンピュータシステムによって構成され、ソフトウェアプログラムによって実装されるフレーム処理部１１、学習データ作成部１２、検知対象データ作成部１３、距離計算部１４、及び繁忙情報計算部１５の各部と、フレームデータ５０、学習データ５１、検知対象データ５２、及び繁忙情報５３の各データもしくはデータベースを有する。これにより、監視カメラ３０及び監視カメラサーバ２０による撮影動画像から撮影範囲４５における繁忙情報５３を計算・検出する機能を有する。
【００２３】
また繁忙検知システム１０は、図示しないが、店舗管理者等の操作により各種情報を設定するための設定手段を備え、処理対象のフレームや時間、判定用の閾値などを設定することが可能である。
【００２４】
フレーム処理部１１は、監視カメラサーバ２０の動画像データ２３を入力し、当該動画像から、連続的な複数の各々の静止画（フレーム）をフレームデータ５０として作成し、保存する。またフレーム処理部１１では、後述するエリア分割処理を行ってもよい。
【００２５】
学習データ作成部１２は、フレームデータ５０をもとに、学習データ（基準データ）５１を作成する処理を行う。学習データ（基準データ）５１は、検知対象データ５２との比較元となるフレーム等のデータであり、撮影範囲４５における例えば人物などがいない状態（変動が少ない状態）での静的な背景領域などを対象として撮影・サンプリング・学習した内容によるデータである。
【００２６】
検知対象データ作成部１３は、フレームデータ５０をもとに、検知対象データ５２を作成する処理を行う。検知対象データ５２は、繁忙情報５３を検知する対象とする任意の時間のフレーム等のデータである。
【００２７】
距離計算部１４及び繁忙情報計算部１５は、学習データ５１と検知対象データ５２とを用いた比較等により、繁忙情報５３を計算・検出する処理を行う。各部の詳しい処理内容は後述される（図２等）。
【００２８】
繁忙情報５３は、繁忙検知システム１０の処理により結果として得られる情報である。繁忙情報５３は、監視カメラ３０の撮影範囲４５の領域における検出された繁忙箇所の情報を含む。繁忙情報５３は、例えばコンピュータ端末の画面で表示して確認することができる形式とするとよい。これにより例えば店舗４０の管理者等は、撮影範囲４５のうちどの箇所が繁忙状態であるか等を判断することができる。例えば撮影範囲４５に対応付けられる商品陳列棚の特定の商品の箇所で繁忙状態であること等がわかり、商品の仕入れ等、経営管理に役立てることができる。
【００２９】
なお、本実施の形態では、繁忙検知システム１０を監視カメラサーバ２０とは独立した機器・システムとして実装する場合の例を示しているが、繁忙検知システム１０の各部を構成するプログラムやデータを監視カメラサーバ２０内に組み込んで、監視カメラサーバ２０と一体として実装するようにしてもよい。
【００３０】
［処理内容］
図２は、本システム（１０，１００）において、監視カメラ３０の撮影画像をもとに繁忙箇所等を計算・検知する際の処理の流れの例について概要を示す。例えば店舗管理者等によるコンピュータ端末画面での操作に基づいて、繁忙検知システム１０に対し、（Ａ）学習データ作成処理（Ｓ１０，Ｓ２０）と、（Ｂ）繁忙検知処理（Ｓ１０，Ｓ３０〜Ｓ５０）とを、それぞれ指示して実行する。なお既に（Ａ）の処理が済んでいて学習データ５１がある場合、（Ａ）の処理の実行は省略可能である。
【００３１】
（１） 繁忙検知システム１０のフレーム処理部１１は、監視カメラサーバ２０から監視カメラ３０で撮影された撮影範囲４５に対応した動画像データ２３を入力・取得し、この動画像（例えばＭＰＥＧ等の差分方式のデータ）を、連続的な複数の個別のフレーム（静止画）に分割するフレーム処理（Ｓ１０）を行う。これによる複数フレームはフレームデータ５０として保持される。各フレームデータは、画素ごとに階調値（色）などのデータ情報を含む。
【００３２】
図３のフレーム３００は、所定の撮影範囲４５に対応したフレーム例を示し、背景領域３１０として商品陳列棚やその通路を含む場合である。なおわかりやすいように、商品陳列棚を正面から見た場合のフレームを図示しているが、監視カメラ３０の位置や向き等に応じて、例えば通路の斜め上からのフレーム等になる。
【００３３】
（２） 学習データ作成部１２は、フレームデータ５０を用いて、監視カメラ３０による撮影範囲４５（検知対象の撮影範囲４５と同じ）を対象として、学習データ５１を作成する処理（Ｓ２０）を行う。この処理（Ｓ２０）は詳しくは以下（Ｓ２１，Ｓ２２）である。
【００３４】
（Ｓ２１） 学習データ作成部１２（またはフレーム処理部１１）により、学習データ５１の取得対象とする複数の静止画の各フレーム領域を、縦・横にそれぞれ複数に分割することにより複数のエリア（分割エリア）Ｒを構成する。以降の処理でこのエリアＲ単位を用いる。
【００３５】
図３で、学習データ５１の取得用のフレーム（３００，３０１）における複数のエリアＲへの分割例を示す。フレーム３０１において、縦×横で４×６に分割して、２４個の矩形のエリアＲ｛Ｒ1-1〜Ｒ4-6｝へ分割した例である。
【００３６】
エリアＲへの分割の仕方は、設定等に応じて可変である。例えば、エリアＲの大きさや分割数を調整することで、繁忙情報５３の検知感度を変えることができる。また例えば撮影範囲４５における店舗４０内の商品配置等の構成に対応付けてエリア分割を設定するようにしてもよい。
【００３７】
（Ｓ２２） 次に学習データ作成部１２は、学習データ５１用の複数のフレーム３０１を以降の処理対象とする。ここで、学習データ５１用とする複数フレームの決め方としては、変動が少ない連続複数フレーム（変動が大きい箇所を含まない連続複数フレーム）を設定する。簡単には、人物などがいない状態（変動が少ない状態）での静的な背景領域３１０を撮影範囲４５として撮影・サンプリング等すればよい。
【００３８】
なお、学習データ作成部１２での自動的な処理により、適度な撮影画像（フレームデータ５０）をもとに、変動が大きい箇所（エリアＲ、フレーム等）を除く処理を行って、学習データ５１用の複数フレームを構成してもよい。例えば、フレームデータ５０をもとに、フレーム間（時間軸）での画素値の変化などがある程度以上に大きいエリアＲについては不適なものとして除く処理などを行ってもよい。また例えば、ヒストグラムの色（階調値）データそれぞれについて、平均、標準偏差などの統計値を取得し、明らかに突出して大きすぎる変化の部分を除外し、別の動画像を撮影し直すようにしてもよい。なお比較可能とするために最低限フレーム内の全エリアＲの情報を持つ学習データ５１を作成する。
【００３９】
次に、学習データ作成部１２は、学習データ５１用の複数（ｍ）のフレーム３０１について、エリアＲ毎に、学習データ５１となる画素値ヒストグラムデータを作成する。本実施の形態では、学習データ５１とは、エリアＲ毎の画素値のヒストグラム（ＨＡ）における、複数（ｍ）フレームにわたる平均値を計算したものとする。上記サンプリングするフレームの数（ｍ）は、動画像データ２３のフレームレート等によっても異なるが、例えば１００〜２００程度とする。
【００４０】
図４、左側（Ａ）で、学習データ５１の取得用フレーム３０１における１つの対象エリアＲ例における画素値ヒストグラムＨＡの例（４０１）を示す。画素値ヒストグラムＨＡ（４０１）において、横軸は画素値（階調値など）、縦軸は頻度値である。
【００４１】
（３） 検知対象データ作成部１３は、フレームデータ５０を用いて、監視カメラ３０による撮影範囲４５を対象として、検知対象データ５２を作成する処理を行う（Ｓ３０）。この処理（Ｓ３０）は詳しくは以下（Ｓ３１，Ｓ３２）である。作成のタイミングとしては、学習データ５１の作成の以降において、例えば店舗管理者等により撮影の開始・終了等を指定して、任意数（ｎ）のフレームを検知対象として撮影・サンプリング等する。
【００４２】
（Ｓ３１） 検知対象データ作成部１３（またはフレーム処理部１１）により、対象フレームを、Ｓ２１と同様に複数のエリアＲに分割する。そして、各フレームの各エリアＲ（全エリア）を、以降の処理対象のエリアＲとする。
【００４３】
（Ｓ３２） 次に検知対象データ作成部１３は、複数（ｎ）のフレーム（検知対象フレーム）の各々について、エリアＲ毎に、検知対象データ５２となる画素値ヒストグラムデータを作成する。本実施の形態では、検知対象データ５２とは、フレーム毎に、エリアＲ毎の画素値のヒストグラム（ＨＢ）を計算したものとする。
【００４４】
図４、右側（Ｂ）で、検知対象データ５２の取得用フレーム３０２における１つの対象エリアＲ例における画素値ヒストグラムＨＢの例（４０２）を示す。
【００４５】
変形例として、ヒストグラム（ＨＡ，ＨＢ）として、全階調（色）のデータを用いるのではなく、一部の階調（色）のデータを対象として設定してもよい。
【００４６】
（４） 距離計算部１４は、Ｓ２０の学習データ５１（ＨＡ）と、Ｓ３０の検知対象データ５２（ＨＢ）とを入力として用いて、検知対象データ５２の各フレームについて、学習データ５１との比較により、距離値Ｌ、及び第１の指標値Ｍなどを計算する処理（Ｓ４０）を行う。この処理（Ｓ４０）は詳しくは以下（Ｓ４１，Ｓ４２）である。
【００４７】
距離値Ｌは、エリアＲの画像（動画像）における検知対象データ５２を学習データ５１と対比したときの類似度を示す値であり、本実施の形態では、画素値ヒストグラム（ＨＡ，ＨＢ）の比較により計算する。
【００４８】
第１の指標値Ｍは、エリアＲの画像（動画像）における検知対象データ５２を学習データ５１（背景領域３１０など）と対比したときの、物体の移動や静止等の変動の度合いを指標化した値であり、２値または多値などの方式で指標化する。
【００４９】
（Ｓ４１） 距離計算部１４は、学習データ５１（ＨＡ）と検知対象データ５２（ＨＢ）とを比較し、距離値Ｌを計算する。距離値Ｌの計算の仕方は、各ヒストグラム（ＨＡ，ＨＢ）のデータにおいて、例えば階調値毎に頻度値の差分をとり、その差分値の大きさの総量や平均値などから距離値Ｌを決める。
【００５０】
図４で、Ｓ４１での距離値Ｌの計算例として、本実施の形態では、各ヒストグラム（ＨＡ，ＨＢ）の比較において、両者間で、階調値（横軸）毎に両者の頻度値の差分を算出し、それらの差分値を全階調において累積し、その累積値を当該ヒストグラムＨＡ，ＨＢ間の距離値Ｌとする。このＬが小さいほど類似度が高いことになる。
【００５１】
（Ｓ４２） 距離処理部１４は、Ｓ４１の距離値Ｌから、第１の指標値Ｍを計算する。本実施の形態では、２値の方式を用い、Ｓ４１の距離値Ｌを所定の閾値Ｌｔと比較することにより、２値の指標値Ｍ（Ｍ＝０または１）を得る。距離値Ｌが閾値Ｌｔ以上の大きさがある場合（Ｌ≧Ｌｔ）、Ｍ＝１（概略的に変動有りを示す）とし、ＬがＬｔ未満の場合（Ｌ＜Ｌｔ）、Ｍ＝０（概略的に変動無しを示す）とする。
【００５２】
また、多値の方式を用いる場合は、距離値Ｌを所定の関数等の計算により多値の値Ｍ（例えば０≦Ｍ≦１）に変換する。また距離値Ｌをそのまま変換無しで第１の指標値Ｍにし、以後の処理で使用してもよい。
【００５３】
前記学習データ５１（ＨＡ）として平均・標準偏差などの値をとる場合は以下のような処理例とする。ヒストグラムＨＡにおいて、［平均値（ａ）］±［標準偏差（σ）］×［特定の倍数（ｂ）］の範囲を比較元にする。この比較元の範囲に対して、検知対象のヒストグラムＨＢが収まるかどうか（その程度など）によって、距離値Ｌや指標値Ｍを判定（決定）する。即ち、学習データ５１では画素の変化量の散らばりを考慮する。上記範囲を管理者等により設定可能とする。例えば、ａ±σ、ａ±２σ、などの範囲とする。上記判定例としては、上記範囲に収まるヒストグラムＨＢの率を計算し、上記範囲に収まっていないヒストグラムの率が所定の閾値例えば７０％を超える場合はＭ＝１、７０％以下の場合はＭ＝０、といったように判定する。上記閾値（７０％）も管理者等により設定可能である。
【００５４】
Ｓ４０の処理の結果のデータ情報として、検知対象データ５２について、エリアＲ毎に、（Ｌ，Ｍ）の情報を持つ。
【００５５】
距離値Ｌが大きい場合（例えばＭ＝１）、当該エリアＲの元の画像と検知対象の画像とが類似していないことを示し、例えば背景領域３１０の画像上で人物などが動いていたり静止したりしていると推定できる。例えば、商品陳列棚の商品の前を人物などが移動（通過）している場合や静止している場合、商品を手に取っている場合、などが考えられる。
【００５６】
本システム１０では、Ｓ４０の処理では、固定的な監視カメラ３０の撮影範囲４５の画像の場合、特に２値の方式を用いて、閾値Ｌｔを比較的高く設定することで、物体の変動の有無（Ｍ＝０または１）の判断が容易になる効果がある。
【００５７】
（５） 繁忙情報計算部１５は、Ｓ４０の距離計算部１４による計算結果のデータ情報（Ｌ，Ｍ）を用いて、検知対象データ５２（複数（ｎ）の各フレーム）について、繁忙情報５３を計算する処理（Ｓ５０）を行う。この処理（Ｓ５０）は詳しくは以下（Ｓ５１，Ｓ５２）である。繁忙情報５３として、本実施の形態では、繁忙度Ｐ、繁忙箇所（繁忙エリアＲ）を計算する。
【００５８】
繁忙度Ｐは、撮影範囲４５の動画像における物体による移動や静止等の変動に関する第１の指標値Ｍをもとに、エリアＲ単位及び時間帯Ｔ単位で、繁忙度合いを指標化した値である。時間帯Ｔは、検知対象とする複数（ｎ）のフレームにおいて、所定の区切りの複数フレーム単位などである。繁忙箇所（繁忙エリアＲ）は、エリアＲ及び時間帯Ｔにおける繁忙度Ｐの情報に基づいて、繁忙箇所をエリアＲ単位で検出した情報である。
【００５９】
（Ｓ５１） 繁忙情報計算部１５は、検知対象データ５２について、エリアＲ毎及び時間帯Ｔ毎に、第１の指標値Ｍが大きい（距離値Ｌが大きい）ものに関して、統計値をとることにより、繁忙度Ｐを計算する処理を行う。繁忙度Ｐの計算の仕方として、例えば、エリアＲ及び時間帯Ｔの単位（Ｒ×Ｔ）において、第１の指標値Ｍに関する統計値として、時間帯Ｔ（複数フレーム）における、Ｍ＝１のエリアＲの出現の頻度（０〜１の範囲の多値）などを計算する。そして、その統計値を、繁忙度Ｐ（０〜１の範囲の多値）とする。
【００６０】
図５で、検知対象データ５２のフレーム５００（複数（ｎ）のフレーム、時間帯Ｔに対応する）において、エリアＲ毎に、前記第１の指標値Ｍの結果（Ｍ＝０または１）に応じた区分の例を示す。５０１は、あるフレーム５００でＭ＝１となった処理対象のエリアＲ（｛Ｒ2-3，Ｒ2-4，Ｒ2-6，Ｒ3-3｝）の例である。Ｒ０はＭ＝０のエリアＲ、Ｒ１はＭ＝１のエリアＲとする。Ｓ５１では、エリアＲ×時間帯Ｔの単位で、第１の指標値Ｍに関する統計値（Ｒ１出現頻度など）をとることにより、繁忙度Ｐを計算する。例えば、Ｍ＝１のエリアＲ１が頻繁に出現する場合（即ちＰが大きい場合）、当該エリアＲ×時間帯Ｔでは、人物などが頻繁に移動や静止等をしていると推定できる。
【００６１】
（Ｓ５２） 繁忙情報計算部１５は、上記Ｓ５１の統計値（繁忙度Ｐ）をもとに、繁忙箇所（エリアＲ毎かつ時間帯Ｔ毎）を検出する。例えばあるエリアＲ×時間帯Ｔの繁忙度Ｐ（０〜１）が、所定の閾値Ｐｔと比較して大きい場合（Ｐ≧Ｐｔ）、当該箇所を繁忙箇所（繁忙エリアＲ）として検出する。例えば検出した繁忙エリアＲ及び時間帯Ｔなどの情報を、繁忙情報５３の中に記述して出力・格納する。
【００６２】
図５で、５１０は、検知結果の繁忙情報５３の例として、繁忙箇所（繁忙エリアＲ）の例を示す。図３の背景領域３１０の例における、特定の繁忙エリアＲ｛Ｒ2-4，Ｒ3-3｝が検出された場合である。これにより、店舗管理者等は、撮影範囲４５のうち特定の箇所が繁忙状態であることがわかる。撮影範囲４５（背景領域３１０）の設定に応じて、繁忙箇所は、通路や棚や商品などに対応付けられたものとなる。
【００６３】
本システム１０では、Ｓ５０の処理では、監視カメラ３０（撮影範囲４５）における解像度（画素）が粗い場合であっても、繁忙箇所を効率的に検出することができる効果がある。
【００６４】
［効果等］
以上説明したように、本実施の形態によれば、監視カメラ３０で撮影した動画像を用いて、撮影範囲４５の領域における人物等の物体の移動や静止等の変動を、繁忙度Ｐ等として数値化し、経営管理等に役立てることができる。特に、必要とする時間やコストを小さく、撮影範囲４５に対応した背景領域３１０等における繁忙箇所などを検知することができる。例えば、店舗４０内の商品等の配置構成に対応付けられた形で、繁忙エリアＲを検出することができる。よって、例えば繁忙の理由が、当該商品の購入や興味などによるものであると推定することができ、店舗経営に役立てることができる。繁忙情報５３を店舗４０の経営管理に利用できる。例えば、店舗経営ノウハウとして利用できる。あるいはＰＯＳシステムによる商品在庫・販売データ等と照らし合わせて活用してもよい。
【００６５】
なお、本実施の形態のシステムは、特定の人物の検出を行ったり、人物の動線の高精度な計算などを行うものではなく、エリアＲ及び時間帯Ｔの単位で何らかの物体の変動による繁忙を効率的に検知することができるものであり、低負荷の処理、低コストで実現できる。
【００６６】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】
【００６７】
本発明は、監視カメラ等の固定カメラにおいて撮影された動画像を利用してデータ情報処理等を行う監視カメラシステム、特に、店舗の経営管理等の目的での固定カメラシステム等に利用できる。
【符号の説明】
【００６８】
１０…繁忙検知システム、１１…フレーム処理部、１２…学習データ作成部、１３…検知対象データ作成部、１４…距離計算部、１５…繁忙情報計算部、
２０…監視カメラサーバ、２１…監視カメラ制御部、２２…画像解析部、２３…動画像データ、２４…解析情報、２５…設定情報、
３０…監視カメラ、
４０…店舗、４５…撮影範囲、
５０…フレームデータ、５１…学習データ、５２…検知対象データ、５３…繁忙情報。
【技術分野】
【０００１】
本発明は、監視カメラ等の固定カメラにおいて撮影された動画像を利用してデータ情報処理等を行う技術に関し、特に、店舗等において撮影された動画像の領域中の物体の移動や静止などの変動から繁忙箇所などを検知するシステム及びプログラムに適用して有効な技術に関する。
【背景技術】
【０００２】
現在では、例えばコンビニエンスストア店舗などの様々な施設において、防犯目的などの様々な目的のために、監視カメラや監視カメラシステム（以下では単に「監視カメラ」と記載する場合がある）が設置されている。監視カメラは高機能・高性能化し続けており、様々な機能を有するものが市場に提供されている。
【０００３】
監視カメラの機能としては、施設内外の画像（動画像）の撮影と記録という基本的な機能に加えて、付加的な機能としては、撮影した動画像に対する画像解析処理等に基づいて、動体を検出する機能、および検出した動体の特徴に基づいて人物や顔などの特定の対象物を検出する機能などがある。
【０００４】
特開２０１０−１５４６５号公報（特許文献１）は、監視カメラの画像データを利用して、店舗等への入場者の数を計測するシステムについて記載されている。
【０００５】
特開２００７−７４３３０号公報（特許文献２）は、監視カメラの撮影映像を解析すること（人物の滞在時間の判別など）により、例えば購買意欲を持った顧客かどうか、不審者かどうか等を認識する技術について記載されている。
【０００６】
特開２００６−１９７２２６号公報（特許文献３）は、防犯目的に限らず店舗管理にも利用できる監視カメラシステムについて記載されている。固定式カメラと移動式カメラを用いること等が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１５４６５号公報
【特許文献２】特開２００７−７４３３０号公報
【特許文献３】特開２００６−１９７２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の監視カメラシステムは、防犯目的で設置・利用されることが多く、防犯目的では店舗内の人物を概略的に把握することができ有効である。防犯目的以外の目的として、コンビニエンスストア店舗等の施設における経営管理等の目的で利用することが考えられるが（例えば特許文献１〜３）、活用が不十分であった。
【０００９】
例えば従来の監視カメラシステムでは、撮影範囲の領域における人物等の移動や静止等の変動を数値化・検出して経営管理に役立てるといった可能性については十分に検討・実現がされていない。例えば、撮影範囲に対応した背景領域（例えば店舗内の商品等の配置構成）における物体の変動による繁忙箇所などを検知するようなシステムは実現されていない。
【００１０】
また従来の監視カメラシステムに備える画像解析等の機能を高度化することにより、例えば領域内における人物の動線を高精度に検出して経営管理に役立てることが考えられるが、必要とする時間やコストが大きくなってしまう不利点がある。
【００１１】
以上を鑑み、本発明の目的は、監視カメラなどの固定カメラにおいて撮影された動画像を用いて、撮影範囲の領域における人物等の物体の移動や静止等の変動を数値化・検出して経営管理等に役立てることができるシステム等を提供することにある。特に、必要とする時間やコストを小さく、撮影範囲に対応した背景領域における繁忙箇所などを検知することができる技術を提供することである。本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、本発明の代表的な実施の形態は、以下の特徴を有するものである。本繁忙検知システムは、所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における物体の変動による繁忙を検知するシステムであり、前記固定カメラで撮影した動画像または静止画に基づき、連続した複数の各々の静止画のフレームを取得し、各フレームを複数のエリアに分割する処理を行うフレーム処理部と、前記撮影範囲に対応した、基準とする第１の複数フレームをもとに、当該フレームの各エリアの各画素の情報を含む第１のデータを作成する処理を行う第１のデータ作成部と、前記撮影範囲に対応した、検知対象とする各々のフレームをもとに、当該フレームの各エリアの各画素の情報を含む第２のデータを作成する処理を行う第２のデータ作成部と、前記第１のデータの各エリアの画素の情報に対して前記第２のデータの各エリアの画素の情報を比較し、エリア毎に、当該第１、第２のデータ間における類似度を示す距離値を計算する距離計算部と、前記第２のデータについて、前記エリア毎の距離値に基づいて、前記エリア毎に、前記撮影範囲の領域における物体の変動による繁忙の度合いを示す繁忙度を計算し、前記エリア毎の繁忙度をもとに前記撮影範囲の領域における繁忙箇所を検出する繁忙情報計算部と、を有する。 また、本発明は、コンピュータを上記のようなシステムとして機能させるプログラムにも適用することができる。
【発明の効果】
【００１３】
本発明の代表的な実施の形態によれば、監視カメラなどの固定カメラにおいて撮影された動画像を用いて、撮影範囲の領域における人物等の物体の移動や静止等の変動を数値化・検出して経営管理等に役立てることができるシステム等を提供できる。特に、必要とする時間やコストを小さく、撮影範囲に対応した背景領域における繁忙箇所などを検知することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態である繁忙検知システムを含む監視カメラシステムの構成例について概要を示した図である。
【図２】本発明の一実施の形態における繁忙検知処理の流れの例について概要を示したフローチャートである。
【図３】本発明の一実施の形態における、学習データ用フレームにおける複数エリアへの分割の処理例を示した図である。
【図４】本発明の一実施の形態における、学習データと検知対象データとの間での対象エリアの画素値ヒストグラムの比較による距離値等の計算の処理例を示した図である。
【図５】本発明の一実施の形態における、検知対象データにおける繁忙度の計算及び繁忙箇所の検出の処理例を示した図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。本実施の形態の繁忙検知システムを含む監視カメラシステムでは、監視カメラで撮影した動画像の複数フレーム（学習データと検知対象データ）における、撮影範囲の領域から、物体の移動や静止等の変動による繁忙の度合いや箇所を数値化して検出する。繁忙とは、当該複数フレームのエリア及び時間帯に対して、人物などが、移動や静止などにより変動している状態を示し、本システムでは、その繁忙を検知対象とする。
【００１６】
［システム構成］
図１において、本発明の一実施の形態である繁忙検知システム１０を含む監視カメラシステム（固定カメラシステム）１００の構成例について概要を示す。本監視カメラシステム１００は、繁忙検知システム１０、監視カメラサーバ２０、監視カメラ（固定カメラ）３０、及び店舗４０などから構成される。
【００１７】
店舗４０には、１つ以上の監視カメラ３０が設置される。監視カメラ３０は所定の撮影範囲４５を撮影する。各監視カメラ３０は、監視カメラサーバ２０に接続される。監視カメラサーバ２０は、店舗４０内部に構成されるか、ネットワーク等を介して店舗４０外部に構成されてもよい。監視カメラサーバ２０に対し、繁忙検知システム１０が接続される。繁忙検知システム１０は、店舗４０内のシステムとして構成されてもよいし、外部ネットワーク上のシステムとして構成されてもよい。
【００１８】
店舗４０は、例えばコンビニエンスストア店舗などである。監視カメラ３０の撮影範囲４５は、例えば店舗４０内の通路や商品陳列棚などの所定の固定的な空間領域を対象とする。本実施の形態では、撮影範囲４５は、店舗４０内の商品陳列棚を含むものである（図３、３００）。監視カメラ３０による撮影範囲４５を対象として撮影される動画像は、動画像データ２３として監視カメラサーバ２０内に記録される。
【００１９】
監視カメラサーバ２０は、例えば、コンピュータシステムによって構成され、ソフトウェアプログラムによって実装される監視カメラ制御部２１および画像解析部２２の各部と、動画像データ２３および解析情報２４の各データもしくはデータベースを有する。
【００２０】
これにより、監視カメラサーバ２０は、監視カメラ３０によって撮影された動画像を動画像データ２３として記録する機能と、記録した動画像データをもとに、画像解析部２２による画像解析処理を行うことにより、例えば動画像内における移動する人物などを検出することができる公知の機能などを有する。画像解析部２２による解析情報２４は監視カメラサーバ２０内に記録される。また画像解析部２２等の処理内容は設定情報２５に基づいて可変に設定できる。なお、本実施の形態では、監視カメラサーバ２０による動体検出機能や人物検出機能などの具備は必須ではない。
【００２１】
監視カメラサーバ２０は、監視カメラ制御部２１により監視カメラ３０を制御する。この制御としては、例えば、監視カメラ３０による撮影の実行・停止、撮影範囲４５の設定や変更、露出等の撮影条件の変更などが含まれ得る。特に監視カメラ３０の向き等を変えることにより、所望の撮影範囲４５を設定することが可能である。
【００２２】
繁忙検知システム１０は、例えば、コンピュータシステムによって構成され、ソフトウェアプログラムによって実装されるフレーム処理部１１、学習データ作成部１２、検知対象データ作成部１３、距離計算部１４、及び繁忙情報計算部１５の各部と、フレームデータ５０、学習データ５１、検知対象データ５２、及び繁忙情報５３の各データもしくはデータベースを有する。これにより、監視カメラ３０及び監視カメラサーバ２０による撮影動画像から撮影範囲４５における繁忙情報５３を計算・検出する機能を有する。
【００２３】
また繁忙検知システム１０は、図示しないが、店舗管理者等の操作により各種情報を設定するための設定手段を備え、処理対象のフレームや時間、判定用の閾値などを設定することが可能である。
【００２４】
フレーム処理部１１は、監視カメラサーバ２０の動画像データ２３を入力し、当該動画像から、連続的な複数の各々の静止画（フレーム）をフレームデータ５０として作成し、保存する。またフレーム処理部１１では、後述するエリア分割処理を行ってもよい。
【００２５】
学習データ作成部１２は、フレームデータ５０をもとに、学習データ（基準データ）５１を作成する処理を行う。学習データ（基準データ）５１は、検知対象データ５２との比較元となるフレーム等のデータであり、撮影範囲４５における例えば人物などがいない状態（変動が少ない状態）での静的な背景領域などを対象として撮影・サンプリング・学習した内容によるデータである。
【００２６】
検知対象データ作成部１３は、フレームデータ５０をもとに、検知対象データ５２を作成する処理を行う。検知対象データ５２は、繁忙情報５３を検知する対象とする任意の時間のフレーム等のデータである。
【００２７】
距離計算部１４及び繁忙情報計算部１５は、学習データ５１と検知対象データ５２とを用いた比較等により、繁忙情報５３を計算・検出する処理を行う。各部の詳しい処理内容は後述される（図２等）。
【００２８】
繁忙情報５３は、繁忙検知システム１０の処理により結果として得られる情報である。繁忙情報５３は、監視カメラ３０の撮影範囲４５の領域における検出された繁忙箇所の情報を含む。繁忙情報５３は、例えばコンピュータ端末の画面で表示して確認することができる形式とするとよい。これにより例えば店舗４０の管理者等は、撮影範囲４５のうちどの箇所が繁忙状態であるか等を判断することができる。例えば撮影範囲４５に対応付けられる商品陳列棚の特定の商品の箇所で繁忙状態であること等がわかり、商品の仕入れ等、経営管理に役立てることができる。
【００２９】
なお、本実施の形態では、繁忙検知システム１０を監視カメラサーバ２０とは独立した機器・システムとして実装する場合の例を示しているが、繁忙検知システム１０の各部を構成するプログラムやデータを監視カメラサーバ２０内に組み込んで、監視カメラサーバ２０と一体として実装するようにしてもよい。
【００３０】
［処理内容］
図２は、本システム（１０，１００）において、監視カメラ３０の撮影画像をもとに繁忙箇所等を計算・検知する際の処理の流れの例について概要を示す。例えば店舗管理者等によるコンピュータ端末画面での操作に基づいて、繁忙検知システム１０に対し、（Ａ）学習データ作成処理（Ｓ１０，Ｓ２０）と、（Ｂ）繁忙検知処理（Ｓ１０，Ｓ３０〜Ｓ５０）とを、それぞれ指示して実行する。なお既に（Ａ）の処理が済んでいて学習データ５１がある場合、（Ａ）の処理の実行は省略可能である。
【００３１】
（１） 繁忙検知システム１０のフレーム処理部１１は、監視カメラサーバ２０から監視カメラ３０で撮影された撮影範囲４５に対応した動画像データ２３を入力・取得し、この動画像（例えばＭＰＥＧ等の差分方式のデータ）を、連続的な複数の個別のフレーム（静止画）に分割するフレーム処理（Ｓ１０）を行う。これによる複数フレームはフレームデータ５０として保持される。各フレームデータは、画素ごとに階調値（色）などのデータ情報を含む。
【００３２】
図３のフレーム３００は、所定の撮影範囲４５に対応したフレーム例を示し、背景領域３１０として商品陳列棚やその通路を含む場合である。なおわかりやすいように、商品陳列棚を正面から見た場合のフレームを図示しているが、監視カメラ３０の位置や向き等に応じて、例えば通路の斜め上からのフレーム等になる。
【００３３】
（２） 学習データ作成部１２は、フレームデータ５０を用いて、監視カメラ３０による撮影範囲４５（検知対象の撮影範囲４５と同じ）を対象として、学習データ５１を作成する処理（Ｓ２０）を行う。この処理（Ｓ２０）は詳しくは以下（Ｓ２１，Ｓ２２）である。
【００３４】
（Ｓ２１） 学習データ作成部１２（またはフレーム処理部１１）により、学習データ５１の取得対象とする複数の静止画の各フレーム領域を、縦・横にそれぞれ複数に分割することにより複数のエリア（分割エリア）Ｒを構成する。以降の処理でこのエリアＲ単位を用いる。
【００３５】
図３で、学習データ５１の取得用のフレーム（３００，３０１）における複数のエリアＲへの分割例を示す。フレーム３０１において、縦×横で４×６に分割して、２４個の矩形のエリアＲ｛Ｒ1-1〜Ｒ4-6｝へ分割した例である。
【００３６】
エリアＲへの分割の仕方は、設定等に応じて可変である。例えば、エリアＲの大きさや分割数を調整することで、繁忙情報５３の検知感度を変えることができる。また例えば撮影範囲４５における店舗４０内の商品配置等の構成に対応付けてエリア分割を設定するようにしてもよい。
【００３７】
（Ｓ２２） 次に学習データ作成部１２は、学習データ５１用の複数のフレーム３０１を以降の処理対象とする。ここで、学習データ５１用とする複数フレームの決め方としては、変動が少ない連続複数フレーム（変動が大きい箇所を含まない連続複数フレーム）を設定する。簡単には、人物などがいない状態（変動が少ない状態）での静的な背景領域３１０を撮影範囲４５として撮影・サンプリング等すればよい。
【００３８】
なお、学習データ作成部１２での自動的な処理により、適度な撮影画像（フレームデータ５０）をもとに、変動が大きい箇所（エリアＲ、フレーム等）を除く処理を行って、学習データ５１用の複数フレームを構成してもよい。例えば、フレームデータ５０をもとに、フレーム間（時間軸）での画素値の変化などがある程度以上に大きいエリアＲについては不適なものとして除く処理などを行ってもよい。また例えば、ヒストグラムの色（階調値）データそれぞれについて、平均、標準偏差などの統計値を取得し、明らかに突出して大きすぎる変化の部分を除外し、別の動画像を撮影し直すようにしてもよい。なお比較可能とするために最低限フレーム内の全エリアＲの情報を持つ学習データ５１を作成する。
【００３９】
次に、学習データ作成部１２は、学習データ５１用の複数（ｍ）のフレーム３０１について、エリアＲ毎に、学習データ５１となる画素値ヒストグラムデータを作成する。本実施の形態では、学習データ５１とは、エリアＲ毎の画素値のヒストグラム（ＨＡ）における、複数（ｍ）フレームにわたる平均値を計算したものとする。上記サンプリングするフレームの数（ｍ）は、動画像データ２３のフレームレート等によっても異なるが、例えば１００〜２００程度とする。
【００４０】
図４、左側（Ａ）で、学習データ５１の取得用フレーム３０１における１つの対象エリアＲ例における画素値ヒストグラムＨＡの例（４０１）を示す。画素値ヒストグラムＨＡ（４０１）において、横軸は画素値（階調値など）、縦軸は頻度値である。
【００４１】
（３） 検知対象データ作成部１３は、フレームデータ５０を用いて、監視カメラ３０による撮影範囲４５を対象として、検知対象データ５２を作成する処理を行う（Ｓ３０）。この処理（Ｓ３０）は詳しくは以下（Ｓ３１，Ｓ３２）である。作成のタイミングとしては、学習データ５１の作成の以降において、例えば店舗管理者等により撮影の開始・終了等を指定して、任意数（ｎ）のフレームを検知対象として撮影・サンプリング等する。
【００４２】
（Ｓ３１） 検知対象データ作成部１３（またはフレーム処理部１１）により、対象フレームを、Ｓ２１と同様に複数のエリアＲに分割する。そして、各フレームの各エリアＲ（全エリア）を、以降の処理対象のエリアＲとする。
【００４３】
（Ｓ３２） 次に検知対象データ作成部１３は、複数（ｎ）のフレーム（検知対象フレーム）の各々について、エリアＲ毎に、検知対象データ５２となる画素値ヒストグラムデータを作成する。本実施の形態では、検知対象データ５２とは、フレーム毎に、エリアＲ毎の画素値のヒストグラム（ＨＢ）を計算したものとする。
【００４４】
図４、右側（Ｂ）で、検知対象データ５２の取得用フレーム３０２における１つの対象エリアＲ例における画素値ヒストグラムＨＢの例（４０２）を示す。
【００４５】
変形例として、ヒストグラム（ＨＡ，ＨＢ）として、全階調（色）のデータを用いるのではなく、一部の階調（色）のデータを対象として設定してもよい。
【００４６】
（４） 距離計算部１４は、Ｓ２０の学習データ５１（ＨＡ）と、Ｓ３０の検知対象データ５２（ＨＢ）とを入力として用いて、検知対象データ５２の各フレームについて、学習データ５１との比較により、距離値Ｌ、及び第１の指標値Ｍなどを計算する処理（Ｓ４０）を行う。この処理（Ｓ４０）は詳しくは以下（Ｓ４１，Ｓ４２）である。
【００４７】
距離値Ｌは、エリアＲの画像（動画像）における検知対象データ５２を学習データ５１と対比したときの類似度を示す値であり、本実施の形態では、画素値ヒストグラム（ＨＡ，ＨＢ）の比較により計算する。
【００４８】
第１の指標値Ｍは、エリアＲの画像（動画像）における検知対象データ５２を学習データ５１（背景領域３１０など）と対比したときの、物体の移動や静止等の変動の度合いを指標化した値であり、２値または多値などの方式で指標化する。
【００４９】
（Ｓ４１） 距離計算部１４は、学習データ５１（ＨＡ）と検知対象データ５２（ＨＢ）とを比較し、距離値Ｌを計算する。距離値Ｌの計算の仕方は、各ヒストグラム（ＨＡ，ＨＢ）のデータにおいて、例えば階調値毎に頻度値の差分をとり、その差分値の大きさの総量や平均値などから距離値Ｌを決める。
【００５０】
図４で、Ｓ４１での距離値Ｌの計算例として、本実施の形態では、各ヒストグラム（ＨＡ，ＨＢ）の比較において、両者間で、階調値（横軸）毎に両者の頻度値の差分を算出し、それらの差分値を全階調において累積し、その累積値を当該ヒストグラムＨＡ，ＨＢ間の距離値Ｌとする。このＬが小さいほど類似度が高いことになる。
【００５１】
（Ｓ４２） 距離処理部１４は、Ｓ４１の距離値Ｌから、第１の指標値Ｍを計算する。本実施の形態では、２値の方式を用い、Ｓ４１の距離値Ｌを所定の閾値Ｌｔと比較することにより、２値の指標値Ｍ（Ｍ＝０または１）を得る。距離値Ｌが閾値Ｌｔ以上の大きさがある場合（Ｌ≧Ｌｔ）、Ｍ＝１（概略的に変動有りを示す）とし、ＬがＬｔ未満の場合（Ｌ＜Ｌｔ）、Ｍ＝０（概略的に変動無しを示す）とする。
【００５２】
また、多値の方式を用いる場合は、距離値Ｌを所定の関数等の計算により多値の値Ｍ（例えば０≦Ｍ≦１）に変換する。また距離値Ｌをそのまま変換無しで第１の指標値Ｍにし、以後の処理で使用してもよい。
【００５３】
前記学習データ５１（ＨＡ）として平均・標準偏差などの値をとる場合は以下のような処理例とする。ヒストグラムＨＡにおいて、［平均値（ａ）］±［標準偏差（σ）］×［特定の倍数（ｂ）］の範囲を比較元にする。この比較元の範囲に対して、検知対象のヒストグラムＨＢが収まるかどうか（その程度など）によって、距離値Ｌや指標値Ｍを判定（決定）する。即ち、学習データ５１では画素の変化量の散らばりを考慮する。上記範囲を管理者等により設定可能とする。例えば、ａ±σ、ａ±２σ、などの範囲とする。上記判定例としては、上記範囲に収まるヒストグラムＨＢの率を計算し、上記範囲に収まっていないヒストグラムの率が所定の閾値例えば７０％を超える場合はＭ＝１、７０％以下の場合はＭ＝０、といったように判定する。上記閾値（７０％）も管理者等により設定可能である。
【００５４】
Ｓ４０の処理の結果のデータ情報として、検知対象データ５２について、エリアＲ毎に、（Ｌ，Ｍ）の情報を持つ。
【００５５】
距離値Ｌが大きい場合（例えばＭ＝１）、当該エリアＲの元の画像と検知対象の画像とが類似していないことを示し、例えば背景領域３１０の画像上で人物などが動いていたり静止したりしていると推定できる。例えば、商品陳列棚の商品の前を人物などが移動（通過）している場合や静止している場合、商品を手に取っている場合、などが考えられる。
【００５６】
本システム１０では、Ｓ４０の処理では、固定的な監視カメラ３０の撮影範囲４５の画像の場合、特に２値の方式を用いて、閾値Ｌｔを比較的高く設定することで、物体の変動の有無（Ｍ＝０または１）の判断が容易になる効果がある。
【００５７】
（５） 繁忙情報計算部１５は、Ｓ４０の距離計算部１４による計算結果のデータ情報（Ｌ，Ｍ）を用いて、検知対象データ５２（複数（ｎ）の各フレーム）について、繁忙情報５３を計算する処理（Ｓ５０）を行う。この処理（Ｓ５０）は詳しくは以下（Ｓ５１，Ｓ５２）である。繁忙情報５３として、本実施の形態では、繁忙度Ｐ、繁忙箇所（繁忙エリアＲ）を計算する。
【００５８】
繁忙度Ｐは、撮影範囲４５の動画像における物体による移動や静止等の変動に関する第１の指標値Ｍをもとに、エリアＲ単位及び時間帯Ｔ単位で、繁忙度合いを指標化した値である。時間帯Ｔは、検知対象とする複数（ｎ）のフレームにおいて、所定の区切りの複数フレーム単位などである。繁忙箇所（繁忙エリアＲ）は、エリアＲ及び時間帯Ｔにおける繁忙度Ｐの情報に基づいて、繁忙箇所をエリアＲ単位で検出した情報である。
【００５９】
（Ｓ５１） 繁忙情報計算部１５は、検知対象データ５２について、エリアＲ毎及び時間帯Ｔ毎に、第１の指標値Ｍが大きい（距離値Ｌが大きい）ものに関して、統計値をとることにより、繁忙度Ｐを計算する処理を行う。繁忙度Ｐの計算の仕方として、例えば、エリアＲ及び時間帯Ｔの単位（Ｒ×Ｔ）において、第１の指標値Ｍに関する統計値として、時間帯Ｔ（複数フレーム）における、Ｍ＝１のエリアＲの出現の頻度（０〜１の範囲の多値）などを計算する。そして、その統計値を、繁忙度Ｐ（０〜１の範囲の多値）とする。
【００６０】
図５で、検知対象データ５２のフレーム５００（複数（ｎ）のフレーム、時間帯Ｔに対応する）において、エリアＲ毎に、前記第１の指標値Ｍの結果（Ｍ＝０または１）に応じた区分の例を示す。５０１は、あるフレーム５００でＭ＝１となった処理対象のエリアＲ（｛Ｒ2-3，Ｒ2-4，Ｒ2-6，Ｒ3-3｝）の例である。Ｒ０はＭ＝０のエリアＲ、Ｒ１はＭ＝１のエリアＲとする。Ｓ５１では、エリアＲ×時間帯Ｔの単位で、第１の指標値Ｍに関する統計値（Ｒ１出現頻度など）をとることにより、繁忙度Ｐを計算する。例えば、Ｍ＝１のエリアＲ１が頻繁に出現する場合（即ちＰが大きい場合）、当該エリアＲ×時間帯Ｔでは、人物などが頻繁に移動や静止等をしていると推定できる。
【００６１】
（Ｓ５２） 繁忙情報計算部１５は、上記Ｓ５１の統計値（繁忙度Ｐ）をもとに、繁忙箇所（エリアＲ毎かつ時間帯Ｔ毎）を検出する。例えばあるエリアＲ×時間帯Ｔの繁忙度Ｐ（０〜１）が、所定の閾値Ｐｔと比較して大きい場合（Ｐ≧Ｐｔ）、当該箇所を繁忙箇所（繁忙エリアＲ）として検出する。例えば検出した繁忙エリアＲ及び時間帯Ｔなどの情報を、繁忙情報５３の中に記述して出力・格納する。
【００６２】
図５で、５１０は、検知結果の繁忙情報５３の例として、繁忙箇所（繁忙エリアＲ）の例を示す。図３の背景領域３１０の例における、特定の繁忙エリアＲ｛Ｒ2-4，Ｒ3-3｝が検出された場合である。これにより、店舗管理者等は、撮影範囲４５のうち特定の箇所が繁忙状態であることがわかる。撮影範囲４５（背景領域３１０）の設定に応じて、繁忙箇所は、通路や棚や商品などに対応付けられたものとなる。
【００６３】
本システム１０では、Ｓ５０の処理では、監視カメラ３０（撮影範囲４５）における解像度（画素）が粗い場合であっても、繁忙箇所を効率的に検出することができる効果がある。
【００６４】
［効果等］
以上説明したように、本実施の形態によれば、監視カメラ３０で撮影した動画像を用いて、撮影範囲４５の領域における人物等の物体の移動や静止等の変動を、繁忙度Ｐ等として数値化し、経営管理等に役立てることができる。特に、必要とする時間やコストを小さく、撮影範囲４５に対応した背景領域３１０等における繁忙箇所などを検知することができる。例えば、店舗４０内の商品等の配置構成に対応付けられた形で、繁忙エリアＲを検出することができる。よって、例えば繁忙の理由が、当該商品の購入や興味などによるものであると推定することができ、店舗経営に役立てることができる。繁忙情報５３を店舗４０の経営管理に利用できる。例えば、店舗経営ノウハウとして利用できる。あるいはＰＯＳシステムによる商品在庫・販売データ等と照らし合わせて活用してもよい。
【００６５】
なお、本実施の形態のシステムは、特定の人物の検出を行ったり、人物の動線の高精度な計算などを行うものではなく、エリアＲ及び時間帯Ｔの単位で何らかの物体の変動による繁忙を効率的に検知することができるものであり、低負荷の処理、低コストで実現できる。
【００６６】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】
【００６７】
本発明は、監視カメラ等の固定カメラにおいて撮影された動画像を利用してデータ情報処理等を行う監視カメラシステム、特に、店舗の経営管理等の目的での固定カメラシステム等に利用できる。
【符号の説明】
【００６８】
１０…繁忙検知システム、１１…フレーム処理部、１２…学習データ作成部、１３…検知対象データ作成部、１４…距離計算部、１５…繁忙情報計算部、
２０…監視カメラサーバ、２１…監視カメラ制御部、２２…画像解析部、２３…動画像データ、２４…解析情報、２５…設定情報、
３０…監視カメラ、
４０…店舗、４５…撮影範囲、
５０…フレームデータ、５１…学習データ、５２…検知対象データ、５３…繁忙情報。
【特許請求の範囲】
【請求項１】
所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における物体の変動による繁忙を検知するシステムであり、
前記固定カメラで撮影した動画像または静止画に基づき、連続した複数の各々の静止画のフレームを取得し、各フレームを複数のエリアに分割する処理を行うフレーム処理部と、
前記撮影範囲に対応した、基準とする第１の複数フレームをもとに、当該フレームの各エリアの各画素の情報を含む第１のデータを作成する処理を行う第１のデータ作成部と、
前記撮影範囲に対応した、検知対象とする各々のフレームをもとに、当該フレームの各エリアの各画素の情報を含む第２のデータを作成する処理を行う第２のデータ作成部と、
前記第１のデータの各エリアの画素の情報に対して前記第２のデータの各エリアの画素の情報を比較し、エリア毎に、当該第１、第２のデータ間における類似度を示す距離値を計算する距離計算部と、
前記第２のデータについて、前記エリア毎の距離値に基づいて、前記エリア毎に、前記撮影範囲の領域における物体の変動による繁忙の度合いを示す繁忙度を計算し、前記エリア毎の繁忙度をもとに前記撮影範囲の領域における繁忙箇所を検出する繁忙情報計算部と、を有すること、を特徴とする繁忙検知システム。
【請求項２】
請求項１に記載の繁忙検知システムにおいて、
前記第１のデータ作成部は、前記第１の複数フレームにおける前記エリア毎の画素値のヒストグラムの統計値を含む前記第１のデータを作成する処理を行い、
前記第２のデータ作成部は、前記各々のフレームにおける前記エリア毎の画素値のヒストグラムを含む前記第２のデータを作成する処理を行い、
前記距離計算部は、前記第１のデータの各エリアの画素値のヒストグラムの統計値に対して前記第２のデータの各エリアの画素値のヒストグラムを比較して、両者の差分をとることにより、または前者の統計値による範囲内に後者が収まる度合いを判定することにより、前記エリア毎の距離値を計算すること、を特徴とする繁忙検知システム。
【請求項３】
請求項１に記載の繁忙検知システムにおいて、
前記距離計算部は、前記エリア毎の距離値をもとに、所定の閾値との比較により、前記エリア毎に、前記動体の変動に関する第１の指標値を２値で計算し、
前記繁忙情報計算部は、前記エリア毎の第１の指標値をもとに、前記エリア毎に、前記繁忙度を計算すること、を特徴とする繁忙検知システム。
【請求項４】
請求項１に記載の繁忙検知システムにおいて、
前記距離計算部は、前記エリア毎の距離値をもとに、前記エリア毎に、前記動体の変動に関する第１の指標値を多値で計算し、
前記繁忙情報計算部は、前記エリア毎の第１の指標値をもとに、前記エリア毎に、前記繁忙度を計算すること、を特徴とする繁忙検知システム。
【請求項５】
請求項１に記載の繁忙検知システムにおいて、
前記繁忙情報計算部は、前記エリア毎の距離値または当該距離値から計算した第１の指標値を用いて、前記エリア毎かつ時間帯毎に、統計値をとることにより、前記繁忙度を計算し、前記エリア毎かつ時間帯毎の繁忙度をもとに、前記撮影範囲の領域における繁忙箇所となるエリア及び時間帯を検出すること、を特徴とする繁忙検知システム。
【請求項６】
請求項５に記載の繁忙検知システムにおいて、
前記繁忙情報計算部は、前記エリア毎の距離値または当該距離値から計算した第１の指標値を用いて、前記統計値として、前記時間帯における前記距離値または第１の指標値が大きいエリアの出現の頻度を計算することにより、前記繁忙度を計算すること、を特徴とする繁忙検知システム。
【請求項７】
請求項１に記載の繁忙検知システムにおいて、
前記撮影範囲における店舗内の空間的な配置の構成と、前記フレームの分割による複数のエリアの構成と、が対応付けられて設定されることにより、前記繁忙箇所は、前記店舗内の特定の箇所に対応付けられたエリアとして検出されること、を特徴とする繁忙検知システム。
【請求項８】
所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における物体の変動による繁忙を検知するシステムとしてコンピュータを機能させるプログラムであり、
前記固定カメラで撮影した動画像または静止画に基づき、連続した複数の各々の静止画のフレームを取得し、各フレームを複数のエリアに分割する処理を行うステップと、
前記撮影範囲に対応した、基準とする第１の複数フレームをもとに、当該フレームの各エリアの各画素の情報を含む第１のデータを作成する処理を行うステップと、
前記撮影範囲に対応した、検知対象とする各々のフレームをもとに、当該フレームの各エリアの各画素の情報を含む第２のデータを作成する処理を行うステップと、
前記第１のデータの各エリアの画素値の情報に対して前記第２のデータの各エリアの画素値の情報を比較し、エリア毎に、当該第１、第２のデータ間における類似度を示す距離値を計算するステップと、
前記第２のデータについて、前記エリア毎の距離値に基づいて、前記エリア毎に、前記撮影範囲の領域における物体の変動による繁忙の度合いを示す繁忙度を計算し、前記エリア毎の繁忙度をもとに前記撮影範囲の領域における繁忙箇所を検出するステップと、を実行すること、を特徴とする繁忙検知プログラム。
【請求項１】
所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における物体の変動による繁忙を検知するシステムであり、
前記固定カメラで撮影した動画像または静止画に基づき、連続した複数の各々の静止画のフレームを取得し、各フレームを複数のエリアに分割する処理を行うフレーム処理部と、
前記撮影範囲に対応した、基準とする第１の複数フレームをもとに、当該フレームの各エリアの各画素の情報を含む第１のデータを作成する処理を行う第１のデータ作成部と、
前記撮影範囲に対応した、検知対象とする各々のフレームをもとに、当該フレームの各エリアの各画素の情報を含む第２のデータを作成する処理を行う第２のデータ作成部と、
前記第１のデータの各エリアの画素の情報に対して前記第２のデータの各エリアの画素の情報を比較し、エリア毎に、当該第１、第２のデータ間における類似度を示す距離値を計算する距離計算部と、
前記第２のデータについて、前記エリア毎の距離値に基づいて、前記エリア毎に、前記撮影範囲の領域における物体の変動による繁忙の度合いを示す繁忙度を計算し、前記エリア毎の繁忙度をもとに前記撮影範囲の領域における繁忙箇所を検出する繁忙情報計算部と、を有すること、を特徴とする繁忙検知システム。
【請求項２】
請求項１に記載の繁忙検知システムにおいて、
前記第１のデータ作成部は、前記第１の複数フレームにおける前記エリア毎の画素値のヒストグラムの統計値を含む前記第１のデータを作成する処理を行い、
前記第２のデータ作成部は、前記各々のフレームにおける前記エリア毎の画素値のヒストグラムを含む前記第２のデータを作成する処理を行い、
前記距離計算部は、前記第１のデータの各エリアの画素値のヒストグラムの統計値に対して前記第２のデータの各エリアの画素値のヒストグラムを比較して、両者の差分をとることにより、または前者の統計値による範囲内に後者が収まる度合いを判定することにより、前記エリア毎の距離値を計算すること、を特徴とする繁忙検知システム。
【請求項３】
請求項１に記載の繁忙検知システムにおいて、
前記距離計算部は、前記エリア毎の距離値をもとに、所定の閾値との比較により、前記エリア毎に、前記動体の変動に関する第１の指標値を２値で計算し、
前記繁忙情報計算部は、前記エリア毎の第１の指標値をもとに、前記エリア毎に、前記繁忙度を計算すること、を特徴とする繁忙検知システム。
【請求項４】
請求項１に記載の繁忙検知システムにおいて、
前記距離計算部は、前記エリア毎の距離値をもとに、前記エリア毎に、前記動体の変動に関する第１の指標値を多値で計算し、
前記繁忙情報計算部は、前記エリア毎の第１の指標値をもとに、前記エリア毎に、前記繁忙度を計算すること、を特徴とする繁忙検知システム。
【請求項５】
請求項１に記載の繁忙検知システムにおいて、
前記繁忙情報計算部は、前記エリア毎の距離値または当該距離値から計算した第１の指標値を用いて、前記エリア毎かつ時間帯毎に、統計値をとることにより、前記繁忙度を計算し、前記エリア毎かつ時間帯毎の繁忙度をもとに、前記撮影範囲の領域における繁忙箇所となるエリア及び時間帯を検出すること、を特徴とする繁忙検知システム。
【請求項６】
請求項５に記載の繁忙検知システムにおいて、
前記繁忙情報計算部は、前記エリア毎の距離値または当該距離値から計算した第１の指標値を用いて、前記統計値として、前記時間帯における前記距離値または第１の指標値が大きいエリアの出現の頻度を計算することにより、前記繁忙度を計算すること、を特徴とする繁忙検知システム。
【請求項７】
請求項１に記載の繁忙検知システムにおいて、
前記撮影範囲における店舗内の空間的な配置の構成と、前記フレームの分割による複数のエリアの構成と、が対応付けられて設定されることにより、前記繁忙箇所は、前記店舗内の特定の箇所に対応付けられたエリアとして検出されること、を特徴とする繁忙検知システム。
【請求項８】
所定の撮影範囲を撮影する固定カメラを含む固定カメラシステムに内蔵または接続され、前記撮影範囲の領域における物体の変動による繁忙を検知するシステムとしてコンピュータを機能させるプログラムであり、
前記固定カメラで撮影した動画像または静止画に基づき、連続した複数の各々の静止画のフレームを取得し、各フレームを複数のエリアに分割する処理を行うステップと、
前記撮影範囲に対応した、基準とする第１の複数フレームをもとに、当該フレームの各エリアの各画素の情報を含む第１のデータを作成する処理を行うステップと、
前記撮影範囲に対応した、検知対象とする各々のフレームをもとに、当該フレームの各エリアの各画素の情報を含む第２のデータを作成する処理を行うステップと、
前記第１のデータの各エリアの画素値の情報に対して前記第２のデータの各エリアの画素値の情報を比較し、エリア毎に、当該第１、第２のデータ間における類似度を示す距離値を計算するステップと、
前記第２のデータについて、前記エリア毎の距離値に基づいて、前記エリア毎に、前記撮影範囲の領域における物体の変動による繁忙の度合いを示す繁忙度を計算し、前記エリア毎の繁忙度をもとに前記撮影範囲の領域における繁忙箇所を検出するステップと、を実行すること、を特徴とする繁忙検知プログラム。
【図２】
【図４】
【図１】
【図３】
【図５】
【図４】
【図１】
【図３】
【図５】
【公開番号】特開２０１１−２４８５１３（Ｐ２０１１−２４８５１３Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１１９３９３（Ｐ２０１０−１１９３９３）
【出願日】平成２２年５月２５日（２０１０．５．２５）
【出願人】（０００１５５４６９）株式会社野村総合研究所 (1,067)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２５日（２０１０．５．２５）
【出願人】（０００１５５４６９）株式会社野村総合研究所 (1,067)
【Ｆターム（参考）】
[ Back to top ]