映像監視システム及び人数推定方法
【課題】撮像された画像内に存在する人物の人数を推定することが可能な映像監視システム及び人数推定方法を実現する。
【解決手段】撮像機器から取得した映像信号に基づく画像データから方向に関する特徴を算出するとともに、前記方向に関する特徴についてのヒストグラムを所定の大きさの時空間において算出した時空間ヒストグラムを作成し、前記時空間ヒストグラムから動きの複雑さを表す時空間評価値を算出するとともに、前記時空間評価値の時間変化を算出し、前記時空間評価値の時間変化から画像内または特定領域に存在する人数が２人以上の所定人数以上か否かを推定する。
【解決手段】撮像機器から取得した映像信号に基づく画像データから方向に関する特徴を算出するとともに、前記方向に関する特徴についてのヒストグラムを所定の大きさの時空間において算出した時空間ヒストグラムを作成し、前記時空間ヒストグラムから動きの複雑さを表す時空間評価値を算出するとともに、前記時空間評価値の時間変化を算出し、前記時空間評価値の時間変化から画像内または特定領域に存在する人数が２人以上の所定人数以上か否かを推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラなどの撮像機器から取得する映像から画像データを記録する機能を有し、いわゆる映像記録装置などの監視装置や画像認識機能による侵入者検知や、移動ロボットなどに搭載する接近者検知などの機能を実現する映像監視システムであって、特に、カメラ内に出現した人物の人数を検出することに優れた映像監視システム及び人数推定方法に関する。
【背景技術】
【０００２】
カメラなどの撮像機器から取得した映像に画像処理を施し、監視エリアに現れる人や車両などの移動物体を検出する機能を有する映像監視システムがある。この映像監視システムは、検出結果を利用することで移動物体の出現した映像のみ記録する機能，表示装置に警告アイコンを提示する機能，ブザー等を鳴らして監視員に注意を促す機能などを有する。このため、以前は常時確認作業が必要であった監視業務の負担低減に役立っている。また、この映像監視システムでは、窃盗などの犯罪行為や不正行為が発生した場合、記録した映像を事後の犯罪捜査などに役立てることも可能である。
【０００３】
近年、犯罪の多様化，犯罪件数の増加，検挙率の低下などにより量販店や金融機関，ビル・オフィス等での防犯意識が高まり、映像監視システムの導入が進んでいる。映像記録装置も大容量化し、ネットワークカメラなどの普及により様々な場所にカメラが設置されることで、カメラ台数も増加している。先に述べたように犯罪行為等を監視員の目視作業により記録映像から洗い出すことは非常に負担が大きいため、監視業務を支援する機能への要望が高まっている。例えば、特許文献１では、カメラ映像から時空間豊富度を用いて移動体を検出する技術について記載されている。
【０００４】
さらに、セキュリティ意識の高まりによって、入退室管理システムと映像監視システムの連動によるシステムについても導入される場面が多くなってきている。そこで問題となるのが、入室権限を持つ人物の後に続き、権限を持たない人物が入室する、共連れと呼ばれる事象である。セキュリティエリアに権限を持たない人物が入室しないようなアプリケーションを、システムを導入した管理者は強く希望している。
【０００５】
従来、こういった問題に関しては、人物を検出した大きさによって、複数人数を検出する手法が考えられる。また、特許文献２では、画像認識により顔を検出し、顔の個数によって人数を推定する方法について記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２０４８６０号公報
【特許文献２】特開２００８−４０８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された技術では、移動体の有無を検出するのみで、人数推定までは行っていない。人数推定を行うものとして特許文献２があるが、特許文献２に記載の画像処理装置では、カメラに顔が撮像されるという条件のため、カメラの設置状況に大きく依存する。これは、人物を撮像する際に、上部から見下ろす形でカメラが設置されていると、顔検出の性能は全く期待できない。
【０００８】
また、これらを解決するために、例えばステレオカメラなどを用いた距離計測、他のセンサを用いることが考えられるが、この場合は、システム全体のコストを増大させる。ユーザにとっては既設のカメラによる検出を望む場合が多く、これに対処する必要がある。
【０００９】
上記の課題を鑑みて、本発明は、カメラ画像を用いて、撮像された画像内に存在する人物の人数を推定することが可能な映像監視システム及び人数推定方法の実現と、これらの機能をカメラ内蔵可能な規模で実現することを課題とする。
【００１０】
尚、上記した課題以外のその他の課題は、本願明細書全体の記載または図面から明らかにされる。
【課題を解決するための手段】
【００１１】
前記課題を解決するために、本発明における映像監視システム及び人数推定方法は、撮像機器から取得した映像信号に基づく画像データから方向に関する特徴を算出するとともに、前記方向に関する特徴についてのヒストグラムを所定の大きさの時空間において算出した時空間ヒストグラムを作成し、前記時空間ヒストグラムから動きの複雑さを表す時空間評価値を算出するとともに、前記時空間評価値の時間変化を算出し、前記時空間評価値の時間変化から画像内または特定領域に存在する人数が２人以上の所定人数以上か否かを推定する。
【００１２】
尚、上記した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、上記した構成以外の本発明の構成の例は、本願明細書全体の記載または図面から明らかにされる。
【発明の効果】
【００１３】
本発明によれば、カメラ画像から、例えば時空間豊富度などの時空間評価値を求め、その時空間評価値の時間変化を判定することで、画像内に存在する人物の人数を推定することが可能な映像監視システム及び人数推定方法が実現でき、これらの機能をカメラ内蔵可能な規模で実現することが可能となる。
【００１４】
本発明のその他の効果については、明細書全体の記載から明らかにされる。
【図面の簡単な説明】
【００１５】
【図１】本発明による一実施形態の映像監視システムを示すブロック図である。
【図２】本発明の処理の概念図を示す図である。
【図３】動き情報算出部の処理ブロック図である。
【図４】方向符号化を説明する説明図であり、（ａ）は、原画像を示す図であり、（ｂ）は、エッジ強調フィルタを施した画像を示す図であり、（ｃ）は、（ｂ）に示す画像の明度勾配方向を示す図であり、（ｄ）は、（ｃ）に示す明度勾配方向に方向符号を割り当てた状態を示す図である。
【図５】時空間ヒストグラム作成部における処理の一例を示すフローチャートである。
【図６】時空間を説明する図であり、（ａ）は、時空間の概念を示す図であり、（ｂ）は、（ａ）に示す時空間における時空間ヒストグラムの例を示す図である。
【図７】時間・空間変化算出部の処理フローの一例を示している。
【図８】時空間ヒストグラムと人数の関係を示す図である。
【図９】推定人数部の処理フローの一例である。
【図１０】本実施例の設定画面の例である。
【図１１】本実施例で警報を出力する画面例である。
【発明を実施するための形態】
【００１６】
本発明の実施例を、図面を参照しながら説明する。尚、各図において、同一又は類似の構成要素には同じ符号を付し、説明を省略する。
【００１７】
図１は、本発明による一実施形態の映像監視システムを示すブロック図である。
【００１８】
この映像監視システムは、カメラ１０と、画像認識部２０と、判定部３０と、出力部４０とを備えている。この映像監視システムは電子計算機システムを適用した構成となる。この電子計算機システムのハードウェアは、ＣＰＵ，メモリ，Ｉ／Ｏなどを含み、所定のソフトウェアが実行可能にインストールされることによって、各図にブロックで表現される各機能部が実現されている。
【００１９】
カメラ１０は、ズーム機能を有するカメラレンズ、およびＣＭＯＳ（Ｃomplementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子（いずれも図示せず）を含む撮像機器である。このカメラ１０は、取得した映像信号を画像認識部２０（後記）へ出力する。また、このカメラ１０は、雲台に載置され俯仰および旋回が可能なパンチルトズームカメラである。
【００２０】
判定部３０は、画像認識部２０で出力した結果を用いてどのように出力部４０で出力するかを判断する部分である。例えば、画像認識部２０で出力した結果により、アラームを出力すべきか、もしくは周辺機器への動作信号を出力すべきかなどを判断する処理を実行する。そして、判断結果を用いて制御を行い、例えば周辺機器等に例えば警報などを出力させる。
【００２１】
出力部４０は、液晶表示装置やＣＲＴ（Cathode Ray Tube）表示装置などの表示装置である。出力部４０を備える代わりに、ＲＧＢ（Red-Green-Blue）モニタ出力、または、ネットワーク経由でのデータ出力などを行う構成としてもよい。
【００２２】
画像認識部２０や判定部３０等で用いられるパラメータのパラメータ設定は、図示しないユーザインターフェースにより実行される。本実施例の映像監視システムのユーザインターフェースは、マウスやキーボードなどの入力装置（図示せず）を含み、ユーザによるパラメータなどの入力を受け付ける。
【００２３】
次に、画像認識部２０について、詳細に説明する。
【００２４】
画像認識部２０は、カメラ１０から取得した映像信号（あるいは画像データ）から、映像内の動き領域を算出する動き情報算出部１００と、同じくカメラ１０から取得した映像信号（あるいは画像データ）から、時空間ヒストグラムを作成する時空間ヒストグラム作成部１０１と、時空間ヒストグラム作成部１０１で作成した時空間ヒストグラムから、動きの複雑さを表す時空間評価値を算出するととともにこの時空間評価値の時間変化を算出する時間・空間変化算出部１０２と、動き領域内の時空間評価値の時間変化から人数を推定する人数推定部１０３とを備えている。人数推定部１０３の出力は判定部３０に入力される。
【００２５】
ここで、人数推定部１０３の人数の推定とは、単に人が存在するか否か、すなわち０人か１人以上かを判定するのではなく、画像内または特定領域に存在する人数が２人以上の所定人数以上か否かを推定する機能を有する。尚、動き情報算出部１００は必須ではなく、人数推定部１０３は、動き領域の情報を用いずに例えば画面全体の時空間評価値の時間変化から人数を推定してもよい。
【００２６】
また、時空間ヒストグラムは、画像データから方向に関する特徴を算出するとともに、この方向に関する特徴についてのヒストグラムを所定の大きさの時空間において算出することによって算出できる。尚、方向に関する特徴としては、例えば方向符号や動きの方向を用いることができるが、ここでは方向符号を用いた場合を例に説明する。
【００２７】
また、時空間評価値としては、例えば時空間ヒストグラムの分散や、時空間豊富度を用いることができるが、ここでは時空間豊富度を用いた場合を例に説明する。
【００２８】
図２を用いて画像認識部２０の流れについて説明する。図２（Ａ）は入力画像を示す。図２（Ａ）から、動き情報算出部１００により、人物の動き領域を抽出する。図２（Ｂ）はその結果を示しており、図２（Ｂ）のＣ１は人物の領域、図２（Ｂ）のＣ２は人物の動き領域を表し、人物の領域Ｃ１に外接する領域がこれに該当する。また、図２（Ｃ）は時空間豊富度の時間変化を算出した結果であり、Ｃ３は時空間豊富度の時間変化の分布を表す。図２（Ｄ）は、図２（Ｂ）の動き領域Ｃ２の領域内における図２（Ｃ）の時空間豊富度の時間変化の分布Ｃ３を抽出したものであり、この情報を用いて、人数推定部１０３にて人数を推定する。
【００２９】
次に画像認識部２０の各ブロックの処理について詳細に説明する。
【００３０】
図３は動き情報算出部１００の内部処理を表す図である。
【００３１】
動き情報算出部１００は、フレーム差分部２００と、基準画像作成部２０１と、基準画像２０２と、ラベリング部２０３とを備えている。動き情報算出部１００は、画像データに対して、映像内に出現する移動体の領域（動き領域）を算出する処理を行う。尚、動き情報算出部１００は、動き領域を算出することが目的であるため、その方法としてはこれから説明するフレーム差分による手法に限定されず、ヒストグラムマッチングやオプティカルフローなどの画像処理を用いて動き領域を算出してもよい。
【００３２】
ここではまず、カメラ１０から取得した映像信号は、画像認識処理や映像記録に適した画像データに変換して用いる。ここで、画像データは、１次元配列または２次元配列の画像データとして取得される。ここでは、さらに、この画像データに、ノイズやフリッカなどの影響を低減するため、前処理として平滑化フィルタや輪郭強調フィルタ，濃度変換などの処理を施してもよい。また、用途に応じてＲＧＢカラーやモノクロなどのデータ形式を選択してもよい。あるいは、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。
【００３３】
次に、フレーム差分部２００における処理について説明する。本実施形態では、一般的な方法として、動き情報を算出するためにフレーム差分を用いている。フレーム差分とは、例えば、あるフレームの画像データと、その前時間などにおけるフレームの画像データとの差分を取得して、短時間に発生する画像の変化を検出したものである。
【００３４】
まず、フレーム差分部２００による処理に先立って、基準画像作成部２０１において、前時間の画像データから基準画像２０２を生成する（または、予め基準画像２０２を生成しておく）。ここでは処理の軽減のため、単に、前フレームの画像を基準画像２０２とする。フレーム差分は移動体候補領域やノイズを検出するので、明らかに背景である領域を削除することにも役立つ。入力画像をＩxyとし、基準画像２０２をＢxyと表現するとフレーム差分Ｓｕｂxyは、
Ｓｕｂxy＝｜Ｂxy−Ｉxy｜
と表現される。ここで、ｘ及びｙは画像上の画素の位置を表す。フレーム差分Ｓｕｂxyは例えば輝度値の差分で表現されるが、Ｓｕｂxyはしきい値Γsubによる処理を実行して、２値化画像として表現してもよい。
【００３５】
次にラベリング部２０３について説明する。ラベリング部２０３は、Ｓｕｂxyを物体ごとにラベリング処理し、外接する矩形領域や面積などを算出する。この外接する矩形領域が図２（Ｂ）の符号Ｃ２で示した動き領域である。ラベリング処理を実施する前に、２値化画像の膨張収縮処理やフィルタリングすることで動き領域の連結を実施すると性能が向上する場合がある。
【００３６】
このように算出した動き領域の情報を含む動き情報は人数推定部１０３に出力する。人数推定部１０３では、この情報のうち動き領域を用いて、動き領域内の人数を出力する処理を実行する。
【００３７】
次に、図１における時空間ヒストグラム作成部１０１及び時間・空間変化算出部１０２について説明する。これらの処理は、例えば時空間豊富度などの時空間評価値と、この時空間評価値の時間変化を算出する機能を有する。
【００３８】
図４は、方向符号化を説明する説明図であり、図４（ａ）は、原画像を示す図であり、図４（ｂ）は、エッジ強調フィルタを施した画像を示す図であり、図４（ｃ）は、図４（ｂ）に示す画像の明度勾配方向を示す図であり、図４（ｄ）は、図４（ｃ）に示す明度勾配方向に方向符号を割り当てた状態を示す図である。
【００３９】
図４に示すように、方向符号化とは、まず画像の明度勾配を算出し、その勾配方向を所定の方向に量子化し符号化する処理である。以下、その方法について詳述する。
【００４０】
図５は、時空間ヒストグラム作成部１０１における処理の一例を示すフローチャートである。
【００４１】
まず、画像内の各画素ｐ（ｘ，ｙ）の入力画像Ｉxyについて、水平方向，垂直方向（鉛直方向）の各エッジ勾配ΔＩu，ΔＩvを算出する（ステップＳ１）。ここで、エッジ勾配ΔＩu，ΔＩvの算出にはエッジ強調フィルタを用いることとする。エッジ強調フィルタとしてソーベル（Sobel）フィルタを用いる場合、その水平方向の算出係数ＦＬＴh，垂直方向の算出係数ＦＬＴvは、次の式（１）のとおりとなる。ソーベルフィルタの代わりに、プレヴィット（Prewitt）フィルタなどの他のエッジ強調フィルタを用いてもよい。
【００４２】
【数１】
【００４３】
次に、式（１）のフィルタを用いたフィルタ演算によって算出されたエッジ勾配ΔＩu，ΔＩvを用いて、エッジ強度ρxyを、式（２）により算出する（ステップＳ２）。
【００４４】
【数２】
【００４５】
次に、ρxy＞Γρであるか否かを判断する（ステップＳ３）。ここで、Γρは、予め設定されているしきい値である。
【００４６】
ρxy＞Γρである場合（ステップＳ３のＹ）、すなわちエッジ強度ρxyが所定のしきい値Γρより大きい場合、エッジ方向θxyを後述するとおり算出し（ステップＳ４）、次のステップ（ステップＳ５）へ進む。
【００４７】
ρxy＞Γρでない場合（ステップＳ３のＮ）、すなわちエッジ強度ρxyが所定のしきい値Γρ以下である場合、エッジ方向θxyを算出せず、次のステップ（ステップＳ５）へ進む。
【００４８】
つまり、エッジ強度ρxyの値が低い場合、ノイズ等の影響を大きく受けている場合があるため、予め設定したしきい値Γρを用いて、しきい値以下の画素ではステップＳ４を飛ばすことで方向符号を与えないようにする。しきい値を超えた画素ｐ（ｘ，ｙ）では、ステップＳ４においてエッジ方向θxyを、式（３）により算出する。
【００４９】
【数３】
【００５０】
次に、算出したエッジ方向θxyから方向符号Ｃxyを式（４）により算出する（ステップＳ５）。ステップＳ４を経由して処理が行われた場合、すなわちρxy＞Γρであった場合、θxy／Δθにより、方向符号Ｃxyを求める。ステップＳ４を経由しないで処理が行われた場合、すなわちρxy＞Γρでなかった場合、方向符号ＣxyはＮ＝２π／Δθとなる。
【００５１】
なお、ここでは、予め定めた量子化数Ｎで、全勾配方向２πを分割角度Δθごとに分割し、分割した勾配方向ごとに方向符号Ｃxyを割り当てている。例えば、図４（ｄ）に示すように量子化数Ｎを１６とした場合では、方向符号Ｃxyは、Ｃxy＝｛０，１，…，１５｝となる。また、ステップＳ３でしきい値Γρ以下であった画素ｐ（ｘ，ｙ）については、方向符号Ｃxyは、量子化数Ｎに等しい値とする。例えば、前記したように量子化数を１６とした場合、Ｃxy＝１６となる。この方向符号を与えられた画素は、無効な方向符号を有する画素である。ここまでが、画像データの方向符号化処理である。
【００５２】
【数４】
【００５３】
ステップＳ６では、ステップＳ１〜Ｓ５の処理を全画面で行ったか否かを判定し、終了していない場合はｘ，ｙを変化させて残りの画素についてステップＳ１に戻って繰り返し（ステップＳ６でＮ）、終了した場合はステップＳ７へ進む（ステップＳ６でＹ）。
【００５４】
次に、ステップＳ７の時空間ヒストグラムＰxytの算出について説明する。
【００５５】
図６は、時空間を説明する図であり、図６（ａ）は、時空間の概念を示す図であり、図６（ｂ）は、図６（ａ）に示す時空間における時空間ヒストグラムＰxytの例を示す図である。図６（ａ）に示すように、この時空間では、ｘｙ平面からなる画像が時刻ｔ方向にわたって、時刻Ｔ−ＴMから時刻ＴまでＭ枚連なっている。各画像には、寸法がＬ×Ｌである平面領域が設定されている。こうして、所定の大きさ（ｘｙ領域での寸法がＬ×Ｌで、時間的長さがＭ）である、時空間での形状が直方体状の領域（所定の大きさの時空間）が設定される。この領域を時空間Ｓ（図示せず）とする。
【００５６】
図６（ｂ）に示す時空間ヒストグラムＰxytは、この所定の大きさの時空間Ｓについて、後記するように処理を行って得たものであり、縦軸方向に方向符号Ｃxyの出現頻度、横軸方向に方向符号Ｃxyの値を示したものである。なお、図６において、ｉはＣxyの値である。
【００５７】
ステップＳ７では、所定の大きさ（ｘｙ領域Ｌ×Ｌ、時間方向にＭ）の時空間Ｓにおいて既にこれまで算出していた方向符号群Ｃxyt∈Ｓから、方向符号Ｃxyの出現頻度の時空間ヒストグラムＰxytを算出する。ここで、Ｃxytは、時刻ｔにおける画素ｐ（ｘ，ｙ）の方向符号である。時空間ヒストグラムＰxytは、まず、方向符号Ｃxytの出現頻度を表すｈxytを式（５）で算出する。ここで、δはクロネッカーデルタであり、ｉとＣxytの値が等しい場合には１、それ以外の場合には０となる。
【００５８】
【数５】
【００５９】
式（５）では、画素ｐ（ｘ，ｙ）をｘｙ領域の中心とした画素ｐ（ｘ，ｙ）およびその周囲のＬ×Ｌの領域で、時間方向に現在の時刻Ｔから時刻Ｔ−ＴMまでの時空間Ｓにおける方向符号Ｃxytの出現頻度を算出している。
【００６０】
さらに、エッジ強度ρxyがしきい値Γρ以下であり無効な方向符号と考えられるｈxyt（Ｎ）と、時空間Ｓの大きさを考慮して相対度数により表現される時空間ヒストグラムＰxytを式（６）で算出する。
【００６１】
【数６】
【００６２】
この式（６）で求まった時空間ヒストグラムＰxytは、画素ｐ（ｘ，ｙ），時刻ｔにおける時空間ヒストグラムであるため、これを画素ｐ（ｘ，ｙ）を変化させて全画面に対して算出する（ステップＳ７内でのこのループ処理は図示省略）。
【００６３】
なお、これまでの説明では、方向に関する特徴として方向符号を用いて時空間ヒストグラムを作成する例を示した。しかしながら、この方法に限られず、方向に関する特徴としてオプティカルフロー等で得られた動きの方向を用いたものとし、この動きの方向について時空間ヒストグラムを作成するようにしてもよい。この場合の時空間ヒストグラムをＨＯＦ（Histgram of Flow）と呼ぶこともある。この場合でも、これ以降の処理は同様に行える。
【００６４】
次に、図１における時間・空間変化算出部１０２について説明する。
【００６５】
図７は時間・空間変化算出部１０２の処理フローの一例を示している。時間・空間変化算出部１０２では、上記の手順で求めた時空間ヒストグラムＰxytを用いて時空間評価値の一例である時空間豊富度Ｒxytと、この時空間評価値の時間変化を求める処理である。
【００６６】
まず、時空間ヒストグラムＰxytから時空間豊富度Ｒxytを算出する（ステップＳ１１）。ここでは、時空間エントロピーＥxytを時空間ヒストグラムの評価値として表現し、最大エントロピーＥmaxを考慮した上で、時空間豊富度Ｒxytを算出する。式（７）に最大エントロピーＥmax、式（８）に時空間エントロピーＥxytと時空間豊富度Ｒxytの数式を示す。αeはしきい値の重み係数であり、画像の特徴に応じて適宜設定する。尚、最大エントロピーＥmaxは、式（８）の時空間エントロピーＥxytにおいて時空間ヒストグラムＰxytが全てのｉにおいて同じ１／Ｎの確率になっている場合（時空間ヒストグラムがフラットな場合）に相当する。
【００６７】
【数７】
【００６８】
【数８】
【００６９】
画素ｐ（ｘ，ｙ）の位置における時空間豊富度Ｒxytは、図８（ａ）に示すように、例えば少数の人物が存在する空間Ｓでは特定の方向符号の出現確率が高い。つまり、エントロピーの値が小さくなる。これは、人物のエッジが１つの方向に偏る傾向があることを示す。他方、図８（ｂ）に示すように、少数の場合よりも多い複数の人物がいる場合、その移動により様々な方向符号が検出された場合は、時空間豊富度が高くなる。つまり、エントロピーの値が大きくなる。
【００７０】
ここでさらに、時空間豊富度の時間変化（時空間評価値の時間変化）を調べると、少数の場合よりも多い複数人の場合の方が複雑な動きが行われるため、時空間豊富度の時間変化が大きくなる。したがって、この時空間豊富度の時間変化（時空間評価値の時間変化）を調べることで、より正確な人数の推定が可能となる。
【００７１】
そのために、次に、時空間豊富度の時間的な変化を表す時空間豊富度変化Ｒsubxyを求める。まず、予め算出している１つ前の時刻（Ｔ−１）における時空間豊富度Ｒxyt（Ｔ−１）と現在（時刻Ｔ）の時空間豊富度Ｒxyt（Ｔ）との差を画素ｐ（ｘ，ｙ）において求める（ステップＳ１２）。
【００７２】
この一連の処理を、全画面について処理したか否か判断する（ステップＳ１３）。処理していない場合（ステップＳ１３のＮ）、ステップＳ１に戻り、未処理の画素について処理を繰り返し、画像データのｘｙ空間全体に対して実行する。全画面について処理した場合（ステップＳ１３のＹ）、次のフィルタリング処理を実施する（ステップＳ１４）。
【００７３】
フィルタリング処理は、式（９）のようにステップＳ１２で算出した差分に対して、ガウシアンフィルタＧを実行する処理であり、ガウスフィルタ関数と時空間豊富度変化との畳込みである。フィルタの窓は画像の撮影状況により、人物の高さに応じて変更することが望ましい。例えば、７×１５など縦長にすると、より人物領域に沿った情報が得られる。これらの処理により、時空間豊富度の時間変化（時空間評価値の時間変化）が算出される。
【００７４】
【数９】
【００７５】
尚、以上の説明では時空間評価値の一例として時空間豊富度を用い、時空間豊富度の時間変化を算出する例を示したが、これに限られず、時空間ヒストグラムの統計量を時空間評価値として用いても良い。この統計量としては、例えば、エントロピーと近い概念で用いられる、モーメントにより求められる分散，標準偏差，歪度，尖度がある。このうち何れか１つ以上の統計量を時空間評価値として用い、この時空間ヒストグラムの統計量の時間変化を、時空間評価値の時間変化として算出するようにしてもよい。この場合でも、後述する人数推定部１０３における処理は時空間評価値の時間変化の中身が置き換わるだけで基本的に同じである。
【００７６】
次に、図１における、人数推定部１０３について述べる。この処理は図２における（Ｂ），（Ｃ）から（Ｄ）を求め、人数を推定する処理である。図９は人数推定部１０３の処理フローの一例である。
【００７７】
動き情報算出部１００で求めた動き領域（図２（Ｂ）のＣ２に相当）と、時間・空間変化算出部１０２で求めた時空間評価値の時間変化（ここでは時空間豊富度変化Ｒsubxyを用いた場合について説明する）を利用し、動き領域内における時空間豊富度変化Ｒsubxyの平均値Ｒaveを求める（ステップＳ２１）。
【００７８】
次に、求めた平均値Ｒaveをしきい値ｔｈｒと比較し、しきい値ｔｈｒ以上であれば（ステップＳ２２）、所定の人数以上であると判断し推定人数のデータを出力する。あるいは、比較した結果から所定の人数以上であるか否かを出力する。尚、しきい値を複数設けて、多段階で人数推定を行うようにしてもよい。ここで、所定の人数あるいはしきい値ｔｈｒは、ユーザが設定によって決定することができ、１人か２人以上かを判断する場合は、それに見合うようにｔｈｒを設定すればよい。設定方法については後述する。
【００７９】
これらの処理を、動き領域が複数ある場合にはすべてについて繰り返し行い、動き領域の全領域に対して処理したかを判断し（ステップＳ３３）、すべて終わった場合は処理を終了する。
【００８０】
尚、図９では動き領域を利用する場合について説明したが、動き領域を利用せず、画面上の全領域について処理を行うようにしてもよい。
【００８１】
次に画像認識部２０の結果を判断する判定部３０について説明する。図１０は判定部３０で用いる条件を設定する画面の一例である。例えば所定の人数以上の場合にアラーム出力する場合は、図１０のＣ４にてこの所定の人数を設定すればよい。この際に、この設定された人数に応じて前述のしきい値ｔｈｒを変更する。また、アラームが発報された際の動作は図１０のＣ５の警報を出力するか否か、施錠をするか否かなど設定することができる。また入退室管理装置と連動した際に、例えば２人以上であれば、ドアを施錠するなどの運用が可能となる。これにより、共連れ防止が可能となる。
【００８２】
また本実施例の警報を出力する人数を、例えば１０人と設定すれば、群衆が発生した際に警報を出力する装置としても応用が可能である。
【００８３】
図１０のＣ５にて警報がＯＮと設定された場合は、図１１に示すように、画面上に警告画面を出力するなどの運用が可能となる。
【００８４】
本発明によれば、カメラ画像から、例えば時空間豊富度などの時空間評価値を求め、その時空間評価値の時間変化を判定することで、画像内に存在する人物の人数を推定することが可能な映像監視システム及び人数推定方法が実現でき、これらの機能をカメラ内蔵可能な規模で実現できる。
【００８５】
以上、本発明を実施例を用いて説明してきたが、これまでの実施例で説明した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、実施例で説明した変形例の構成は、互いに矛盾しない限り、組み合わせて用いても良い。
【符号の説明】
【００８６】
１０ カメラ（撮像機器）
２０ 画像認識部
３０ 判定部
４０ 出力部
１００ 動き情報算出部
１０１ 時空間ヒストグラム作成部
１０２ 時間・空間変化算出部
１０３ 人数推定部
２００ フレーム差分部
２０１ 基準画像作成部
２０２ 基準画像
２０３ ラベリング部
【技術分野】
【０００１】
本発明は、カメラなどの撮像機器から取得する映像から画像データを記録する機能を有し、いわゆる映像記録装置などの監視装置や画像認識機能による侵入者検知や、移動ロボットなどに搭載する接近者検知などの機能を実現する映像監視システムであって、特に、カメラ内に出現した人物の人数を検出することに優れた映像監視システム及び人数推定方法に関する。
【背景技術】
【０００２】
カメラなどの撮像機器から取得した映像に画像処理を施し、監視エリアに現れる人や車両などの移動物体を検出する機能を有する映像監視システムがある。この映像監視システムは、検出結果を利用することで移動物体の出現した映像のみ記録する機能，表示装置に警告アイコンを提示する機能，ブザー等を鳴らして監視員に注意を促す機能などを有する。このため、以前は常時確認作業が必要であった監視業務の負担低減に役立っている。また、この映像監視システムでは、窃盗などの犯罪行為や不正行為が発生した場合、記録した映像を事後の犯罪捜査などに役立てることも可能である。
【０００３】
近年、犯罪の多様化，犯罪件数の増加，検挙率の低下などにより量販店や金融機関，ビル・オフィス等での防犯意識が高まり、映像監視システムの導入が進んでいる。映像記録装置も大容量化し、ネットワークカメラなどの普及により様々な場所にカメラが設置されることで、カメラ台数も増加している。先に述べたように犯罪行為等を監視員の目視作業により記録映像から洗い出すことは非常に負担が大きいため、監視業務を支援する機能への要望が高まっている。例えば、特許文献１では、カメラ映像から時空間豊富度を用いて移動体を検出する技術について記載されている。
【０００４】
さらに、セキュリティ意識の高まりによって、入退室管理システムと映像監視システムの連動によるシステムについても導入される場面が多くなってきている。そこで問題となるのが、入室権限を持つ人物の後に続き、権限を持たない人物が入室する、共連れと呼ばれる事象である。セキュリティエリアに権限を持たない人物が入室しないようなアプリケーションを、システムを導入した管理者は強く希望している。
【０００５】
従来、こういった問題に関しては、人物を検出した大きさによって、複数人数を検出する手法が考えられる。また、特許文献２では、画像認識により顔を検出し、顔の個数によって人数を推定する方法について記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２０４８６０号公報
【特許文献２】特開２００８−４０８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された技術では、移動体の有無を検出するのみで、人数推定までは行っていない。人数推定を行うものとして特許文献２があるが、特許文献２に記載の画像処理装置では、カメラに顔が撮像されるという条件のため、カメラの設置状況に大きく依存する。これは、人物を撮像する際に、上部から見下ろす形でカメラが設置されていると、顔検出の性能は全く期待できない。
【０００８】
また、これらを解決するために、例えばステレオカメラなどを用いた距離計測、他のセンサを用いることが考えられるが、この場合は、システム全体のコストを増大させる。ユーザにとっては既設のカメラによる検出を望む場合が多く、これに対処する必要がある。
【０００９】
上記の課題を鑑みて、本発明は、カメラ画像を用いて、撮像された画像内に存在する人物の人数を推定することが可能な映像監視システム及び人数推定方法の実現と、これらの機能をカメラ内蔵可能な規模で実現することを課題とする。
【００１０】
尚、上記した課題以外のその他の課題は、本願明細書全体の記載または図面から明らかにされる。
【課題を解決するための手段】
【００１１】
前記課題を解決するために、本発明における映像監視システム及び人数推定方法は、撮像機器から取得した映像信号に基づく画像データから方向に関する特徴を算出するとともに、前記方向に関する特徴についてのヒストグラムを所定の大きさの時空間において算出した時空間ヒストグラムを作成し、前記時空間ヒストグラムから動きの複雑さを表す時空間評価値を算出するとともに、前記時空間評価値の時間変化を算出し、前記時空間評価値の時間変化から画像内または特定領域に存在する人数が２人以上の所定人数以上か否かを推定する。
【００１２】
尚、上記した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、上記した構成以外の本発明の構成の例は、本願明細書全体の記載または図面から明らかにされる。
【発明の効果】
【００１３】
本発明によれば、カメラ画像から、例えば時空間豊富度などの時空間評価値を求め、その時空間評価値の時間変化を判定することで、画像内に存在する人物の人数を推定することが可能な映像監視システム及び人数推定方法が実現でき、これらの機能をカメラ内蔵可能な規模で実現することが可能となる。
【００１４】
本発明のその他の効果については、明細書全体の記載から明らかにされる。
【図面の簡単な説明】
【００１５】
【図１】本発明による一実施形態の映像監視システムを示すブロック図である。
【図２】本発明の処理の概念図を示す図である。
【図３】動き情報算出部の処理ブロック図である。
【図４】方向符号化を説明する説明図であり、（ａ）は、原画像を示す図であり、（ｂ）は、エッジ強調フィルタを施した画像を示す図であり、（ｃ）は、（ｂ）に示す画像の明度勾配方向を示す図であり、（ｄ）は、（ｃ）に示す明度勾配方向に方向符号を割り当てた状態を示す図である。
【図５】時空間ヒストグラム作成部における処理の一例を示すフローチャートである。
【図６】時空間を説明する図であり、（ａ）は、時空間の概念を示す図であり、（ｂ）は、（ａ）に示す時空間における時空間ヒストグラムの例を示す図である。
【図７】時間・空間変化算出部の処理フローの一例を示している。
【図８】時空間ヒストグラムと人数の関係を示す図である。
【図９】推定人数部の処理フローの一例である。
【図１０】本実施例の設定画面の例である。
【図１１】本実施例で警報を出力する画面例である。
【発明を実施するための形態】
【００１６】
本発明の実施例を、図面を参照しながら説明する。尚、各図において、同一又は類似の構成要素には同じ符号を付し、説明を省略する。
【００１７】
図１は、本発明による一実施形態の映像監視システムを示すブロック図である。
【００１８】
この映像監視システムは、カメラ１０と、画像認識部２０と、判定部３０と、出力部４０とを備えている。この映像監視システムは電子計算機システムを適用した構成となる。この電子計算機システムのハードウェアは、ＣＰＵ，メモリ，Ｉ／Ｏなどを含み、所定のソフトウェアが実行可能にインストールされることによって、各図にブロックで表現される各機能部が実現されている。
【００１９】
カメラ１０は、ズーム機能を有するカメラレンズ、およびＣＭＯＳ（Ｃomplementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子（いずれも図示せず）を含む撮像機器である。このカメラ１０は、取得した映像信号を画像認識部２０（後記）へ出力する。また、このカメラ１０は、雲台に載置され俯仰および旋回が可能なパンチルトズームカメラである。
【００２０】
判定部３０は、画像認識部２０で出力した結果を用いてどのように出力部４０で出力するかを判断する部分である。例えば、画像認識部２０で出力した結果により、アラームを出力すべきか、もしくは周辺機器への動作信号を出力すべきかなどを判断する処理を実行する。そして、判断結果を用いて制御を行い、例えば周辺機器等に例えば警報などを出力させる。
【００２１】
出力部４０は、液晶表示装置やＣＲＴ（Cathode Ray Tube）表示装置などの表示装置である。出力部４０を備える代わりに、ＲＧＢ（Red-Green-Blue）モニタ出力、または、ネットワーク経由でのデータ出力などを行う構成としてもよい。
【００２２】
画像認識部２０や判定部３０等で用いられるパラメータのパラメータ設定は、図示しないユーザインターフェースにより実行される。本実施例の映像監視システムのユーザインターフェースは、マウスやキーボードなどの入力装置（図示せず）を含み、ユーザによるパラメータなどの入力を受け付ける。
【００２３】
次に、画像認識部２０について、詳細に説明する。
【００２４】
画像認識部２０は、カメラ１０から取得した映像信号（あるいは画像データ）から、映像内の動き領域を算出する動き情報算出部１００と、同じくカメラ１０から取得した映像信号（あるいは画像データ）から、時空間ヒストグラムを作成する時空間ヒストグラム作成部１０１と、時空間ヒストグラム作成部１０１で作成した時空間ヒストグラムから、動きの複雑さを表す時空間評価値を算出するととともにこの時空間評価値の時間変化を算出する時間・空間変化算出部１０２と、動き領域内の時空間評価値の時間変化から人数を推定する人数推定部１０３とを備えている。人数推定部１０３の出力は判定部３０に入力される。
【００２５】
ここで、人数推定部１０３の人数の推定とは、単に人が存在するか否か、すなわち０人か１人以上かを判定するのではなく、画像内または特定領域に存在する人数が２人以上の所定人数以上か否かを推定する機能を有する。尚、動き情報算出部１００は必須ではなく、人数推定部１０３は、動き領域の情報を用いずに例えば画面全体の時空間評価値の時間変化から人数を推定してもよい。
【００２６】
また、時空間ヒストグラムは、画像データから方向に関する特徴を算出するとともに、この方向に関する特徴についてのヒストグラムを所定の大きさの時空間において算出することによって算出できる。尚、方向に関する特徴としては、例えば方向符号や動きの方向を用いることができるが、ここでは方向符号を用いた場合を例に説明する。
【００２７】
また、時空間評価値としては、例えば時空間ヒストグラムの分散や、時空間豊富度を用いることができるが、ここでは時空間豊富度を用いた場合を例に説明する。
【００２８】
図２を用いて画像認識部２０の流れについて説明する。図２（Ａ）は入力画像を示す。図２（Ａ）から、動き情報算出部１００により、人物の動き領域を抽出する。図２（Ｂ）はその結果を示しており、図２（Ｂ）のＣ１は人物の領域、図２（Ｂ）のＣ２は人物の動き領域を表し、人物の領域Ｃ１に外接する領域がこれに該当する。また、図２（Ｃ）は時空間豊富度の時間変化を算出した結果であり、Ｃ３は時空間豊富度の時間変化の分布を表す。図２（Ｄ）は、図２（Ｂ）の動き領域Ｃ２の領域内における図２（Ｃ）の時空間豊富度の時間変化の分布Ｃ３を抽出したものであり、この情報を用いて、人数推定部１０３にて人数を推定する。
【００２９】
次に画像認識部２０の各ブロックの処理について詳細に説明する。
【００３０】
図３は動き情報算出部１００の内部処理を表す図である。
【００３１】
動き情報算出部１００は、フレーム差分部２００と、基準画像作成部２０１と、基準画像２０２と、ラベリング部２０３とを備えている。動き情報算出部１００は、画像データに対して、映像内に出現する移動体の領域（動き領域）を算出する処理を行う。尚、動き情報算出部１００は、動き領域を算出することが目的であるため、その方法としてはこれから説明するフレーム差分による手法に限定されず、ヒストグラムマッチングやオプティカルフローなどの画像処理を用いて動き領域を算出してもよい。
【００３２】
ここではまず、カメラ１０から取得した映像信号は、画像認識処理や映像記録に適した画像データに変換して用いる。ここで、画像データは、１次元配列または２次元配列の画像データとして取得される。ここでは、さらに、この画像データに、ノイズやフリッカなどの影響を低減するため、前処理として平滑化フィルタや輪郭強調フィルタ，濃度変換などの処理を施してもよい。また、用途に応じてＲＧＢカラーやモノクロなどのデータ形式を選択してもよい。あるいは、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。
【００３３】
次に、フレーム差分部２００における処理について説明する。本実施形態では、一般的な方法として、動き情報を算出するためにフレーム差分を用いている。フレーム差分とは、例えば、あるフレームの画像データと、その前時間などにおけるフレームの画像データとの差分を取得して、短時間に発生する画像の変化を検出したものである。
【００３４】
まず、フレーム差分部２００による処理に先立って、基準画像作成部２０１において、前時間の画像データから基準画像２０２を生成する（または、予め基準画像２０２を生成しておく）。ここでは処理の軽減のため、単に、前フレームの画像を基準画像２０２とする。フレーム差分は移動体候補領域やノイズを検出するので、明らかに背景である領域を削除することにも役立つ。入力画像をＩxyとし、基準画像２０２をＢxyと表現するとフレーム差分Ｓｕｂxyは、
Ｓｕｂxy＝｜Ｂxy−Ｉxy｜
と表現される。ここで、ｘ及びｙは画像上の画素の位置を表す。フレーム差分Ｓｕｂxyは例えば輝度値の差分で表現されるが、Ｓｕｂxyはしきい値Γsubによる処理を実行して、２値化画像として表現してもよい。
【００３５】
次にラベリング部２０３について説明する。ラベリング部２０３は、Ｓｕｂxyを物体ごとにラベリング処理し、外接する矩形領域や面積などを算出する。この外接する矩形領域が図２（Ｂ）の符号Ｃ２で示した動き領域である。ラベリング処理を実施する前に、２値化画像の膨張収縮処理やフィルタリングすることで動き領域の連結を実施すると性能が向上する場合がある。
【００３６】
このように算出した動き領域の情報を含む動き情報は人数推定部１０３に出力する。人数推定部１０３では、この情報のうち動き領域を用いて、動き領域内の人数を出力する処理を実行する。
【００３７】
次に、図１における時空間ヒストグラム作成部１０１及び時間・空間変化算出部１０２について説明する。これらの処理は、例えば時空間豊富度などの時空間評価値と、この時空間評価値の時間変化を算出する機能を有する。
【００３８】
図４は、方向符号化を説明する説明図であり、図４（ａ）は、原画像を示す図であり、図４（ｂ）は、エッジ強調フィルタを施した画像を示す図であり、図４（ｃ）は、図４（ｂ）に示す画像の明度勾配方向を示す図であり、図４（ｄ）は、図４（ｃ）に示す明度勾配方向に方向符号を割り当てた状態を示す図である。
【００３９】
図４に示すように、方向符号化とは、まず画像の明度勾配を算出し、その勾配方向を所定の方向に量子化し符号化する処理である。以下、その方法について詳述する。
【００４０】
図５は、時空間ヒストグラム作成部１０１における処理の一例を示すフローチャートである。
【００４１】
まず、画像内の各画素ｐ（ｘ，ｙ）の入力画像Ｉxyについて、水平方向，垂直方向（鉛直方向）の各エッジ勾配ΔＩu，ΔＩvを算出する（ステップＳ１）。ここで、エッジ勾配ΔＩu，ΔＩvの算出にはエッジ強調フィルタを用いることとする。エッジ強調フィルタとしてソーベル（Sobel）フィルタを用いる場合、その水平方向の算出係数ＦＬＴh，垂直方向の算出係数ＦＬＴvは、次の式（１）のとおりとなる。ソーベルフィルタの代わりに、プレヴィット（Prewitt）フィルタなどの他のエッジ強調フィルタを用いてもよい。
【００４２】
【数１】
【００４３】
次に、式（１）のフィルタを用いたフィルタ演算によって算出されたエッジ勾配ΔＩu，ΔＩvを用いて、エッジ強度ρxyを、式（２）により算出する（ステップＳ２）。
【００４４】
【数２】
【００４５】
次に、ρxy＞Γρであるか否かを判断する（ステップＳ３）。ここで、Γρは、予め設定されているしきい値である。
【００４６】
ρxy＞Γρである場合（ステップＳ３のＹ）、すなわちエッジ強度ρxyが所定のしきい値Γρより大きい場合、エッジ方向θxyを後述するとおり算出し（ステップＳ４）、次のステップ（ステップＳ５）へ進む。
【００４７】
ρxy＞Γρでない場合（ステップＳ３のＮ）、すなわちエッジ強度ρxyが所定のしきい値Γρ以下である場合、エッジ方向θxyを算出せず、次のステップ（ステップＳ５）へ進む。
【００４８】
つまり、エッジ強度ρxyの値が低い場合、ノイズ等の影響を大きく受けている場合があるため、予め設定したしきい値Γρを用いて、しきい値以下の画素ではステップＳ４を飛ばすことで方向符号を与えないようにする。しきい値を超えた画素ｐ（ｘ，ｙ）では、ステップＳ４においてエッジ方向θxyを、式（３）により算出する。
【００４９】
【数３】
【００５０】
次に、算出したエッジ方向θxyから方向符号Ｃxyを式（４）により算出する（ステップＳ５）。ステップＳ４を経由して処理が行われた場合、すなわちρxy＞Γρであった場合、θxy／Δθにより、方向符号Ｃxyを求める。ステップＳ４を経由しないで処理が行われた場合、すなわちρxy＞Γρでなかった場合、方向符号ＣxyはＮ＝２π／Δθとなる。
【００５１】
なお、ここでは、予め定めた量子化数Ｎで、全勾配方向２πを分割角度Δθごとに分割し、分割した勾配方向ごとに方向符号Ｃxyを割り当てている。例えば、図４（ｄ）に示すように量子化数Ｎを１６とした場合では、方向符号Ｃxyは、Ｃxy＝｛０，１，…，１５｝となる。また、ステップＳ３でしきい値Γρ以下であった画素ｐ（ｘ，ｙ）については、方向符号Ｃxyは、量子化数Ｎに等しい値とする。例えば、前記したように量子化数を１６とした場合、Ｃxy＝１６となる。この方向符号を与えられた画素は、無効な方向符号を有する画素である。ここまでが、画像データの方向符号化処理である。
【００５２】
【数４】
【００５３】
ステップＳ６では、ステップＳ１〜Ｓ５の処理を全画面で行ったか否かを判定し、終了していない場合はｘ，ｙを変化させて残りの画素についてステップＳ１に戻って繰り返し（ステップＳ６でＮ）、終了した場合はステップＳ７へ進む（ステップＳ６でＹ）。
【００５４】
次に、ステップＳ７の時空間ヒストグラムＰxytの算出について説明する。
【００５５】
図６は、時空間を説明する図であり、図６（ａ）は、時空間の概念を示す図であり、図６（ｂ）は、図６（ａ）に示す時空間における時空間ヒストグラムＰxytの例を示す図である。図６（ａ）に示すように、この時空間では、ｘｙ平面からなる画像が時刻ｔ方向にわたって、時刻Ｔ−ＴMから時刻ＴまでＭ枚連なっている。各画像には、寸法がＬ×Ｌである平面領域が設定されている。こうして、所定の大きさ（ｘｙ領域での寸法がＬ×Ｌで、時間的長さがＭ）である、時空間での形状が直方体状の領域（所定の大きさの時空間）が設定される。この領域を時空間Ｓ（図示せず）とする。
【００５６】
図６（ｂ）に示す時空間ヒストグラムＰxytは、この所定の大きさの時空間Ｓについて、後記するように処理を行って得たものであり、縦軸方向に方向符号Ｃxyの出現頻度、横軸方向に方向符号Ｃxyの値を示したものである。なお、図６において、ｉはＣxyの値である。
【００５７】
ステップＳ７では、所定の大きさ（ｘｙ領域Ｌ×Ｌ、時間方向にＭ）の時空間Ｓにおいて既にこれまで算出していた方向符号群Ｃxyt∈Ｓから、方向符号Ｃxyの出現頻度の時空間ヒストグラムＰxytを算出する。ここで、Ｃxytは、時刻ｔにおける画素ｐ（ｘ，ｙ）の方向符号である。時空間ヒストグラムＰxytは、まず、方向符号Ｃxytの出現頻度を表すｈxytを式（５）で算出する。ここで、δはクロネッカーデルタであり、ｉとＣxytの値が等しい場合には１、それ以外の場合には０となる。
【００５８】
【数５】
【００５９】
式（５）では、画素ｐ（ｘ，ｙ）をｘｙ領域の中心とした画素ｐ（ｘ，ｙ）およびその周囲のＬ×Ｌの領域で、時間方向に現在の時刻Ｔから時刻Ｔ−ＴMまでの時空間Ｓにおける方向符号Ｃxytの出現頻度を算出している。
【００６０】
さらに、エッジ強度ρxyがしきい値Γρ以下であり無効な方向符号と考えられるｈxyt（Ｎ）と、時空間Ｓの大きさを考慮して相対度数により表現される時空間ヒストグラムＰxytを式（６）で算出する。
【００６１】
【数６】
【００６２】
この式（６）で求まった時空間ヒストグラムＰxytは、画素ｐ（ｘ，ｙ），時刻ｔにおける時空間ヒストグラムであるため、これを画素ｐ（ｘ，ｙ）を変化させて全画面に対して算出する（ステップＳ７内でのこのループ処理は図示省略）。
【００６３】
なお、これまでの説明では、方向に関する特徴として方向符号を用いて時空間ヒストグラムを作成する例を示した。しかしながら、この方法に限られず、方向に関する特徴としてオプティカルフロー等で得られた動きの方向を用いたものとし、この動きの方向について時空間ヒストグラムを作成するようにしてもよい。この場合の時空間ヒストグラムをＨＯＦ（Histgram of Flow）と呼ぶこともある。この場合でも、これ以降の処理は同様に行える。
【００６４】
次に、図１における時間・空間変化算出部１０２について説明する。
【００６５】
図７は時間・空間変化算出部１０２の処理フローの一例を示している。時間・空間変化算出部１０２では、上記の手順で求めた時空間ヒストグラムＰxytを用いて時空間評価値の一例である時空間豊富度Ｒxytと、この時空間評価値の時間変化を求める処理である。
【００６６】
まず、時空間ヒストグラムＰxytから時空間豊富度Ｒxytを算出する（ステップＳ１１）。ここでは、時空間エントロピーＥxytを時空間ヒストグラムの評価値として表現し、最大エントロピーＥmaxを考慮した上で、時空間豊富度Ｒxytを算出する。式（７）に最大エントロピーＥmax、式（８）に時空間エントロピーＥxytと時空間豊富度Ｒxytの数式を示す。αeはしきい値の重み係数であり、画像の特徴に応じて適宜設定する。尚、最大エントロピーＥmaxは、式（８）の時空間エントロピーＥxytにおいて時空間ヒストグラムＰxytが全てのｉにおいて同じ１／Ｎの確率になっている場合（時空間ヒストグラムがフラットな場合）に相当する。
【００６７】
【数７】
【００６８】
【数８】
【００６９】
画素ｐ（ｘ，ｙ）の位置における時空間豊富度Ｒxytは、図８（ａ）に示すように、例えば少数の人物が存在する空間Ｓでは特定の方向符号の出現確率が高い。つまり、エントロピーの値が小さくなる。これは、人物のエッジが１つの方向に偏る傾向があることを示す。他方、図８（ｂ）に示すように、少数の場合よりも多い複数の人物がいる場合、その移動により様々な方向符号が検出された場合は、時空間豊富度が高くなる。つまり、エントロピーの値が大きくなる。
【００７０】
ここでさらに、時空間豊富度の時間変化（時空間評価値の時間変化）を調べると、少数の場合よりも多い複数人の場合の方が複雑な動きが行われるため、時空間豊富度の時間変化が大きくなる。したがって、この時空間豊富度の時間変化（時空間評価値の時間変化）を調べることで、より正確な人数の推定が可能となる。
【００７１】
そのために、次に、時空間豊富度の時間的な変化を表す時空間豊富度変化Ｒsubxyを求める。まず、予め算出している１つ前の時刻（Ｔ−１）における時空間豊富度Ｒxyt（Ｔ−１）と現在（時刻Ｔ）の時空間豊富度Ｒxyt（Ｔ）との差を画素ｐ（ｘ，ｙ）において求める（ステップＳ１２）。
【００７２】
この一連の処理を、全画面について処理したか否か判断する（ステップＳ１３）。処理していない場合（ステップＳ１３のＮ）、ステップＳ１に戻り、未処理の画素について処理を繰り返し、画像データのｘｙ空間全体に対して実行する。全画面について処理した場合（ステップＳ１３のＹ）、次のフィルタリング処理を実施する（ステップＳ１４）。
【００７３】
フィルタリング処理は、式（９）のようにステップＳ１２で算出した差分に対して、ガウシアンフィルタＧを実行する処理であり、ガウスフィルタ関数と時空間豊富度変化との畳込みである。フィルタの窓は画像の撮影状況により、人物の高さに応じて変更することが望ましい。例えば、７×１５など縦長にすると、より人物領域に沿った情報が得られる。これらの処理により、時空間豊富度の時間変化（時空間評価値の時間変化）が算出される。
【００７４】
【数９】
【００７５】
尚、以上の説明では時空間評価値の一例として時空間豊富度を用い、時空間豊富度の時間変化を算出する例を示したが、これに限られず、時空間ヒストグラムの統計量を時空間評価値として用いても良い。この統計量としては、例えば、エントロピーと近い概念で用いられる、モーメントにより求められる分散，標準偏差，歪度，尖度がある。このうち何れか１つ以上の統計量を時空間評価値として用い、この時空間ヒストグラムの統計量の時間変化を、時空間評価値の時間変化として算出するようにしてもよい。この場合でも、後述する人数推定部１０３における処理は時空間評価値の時間変化の中身が置き換わるだけで基本的に同じである。
【００７６】
次に、図１における、人数推定部１０３について述べる。この処理は図２における（Ｂ），（Ｃ）から（Ｄ）を求め、人数を推定する処理である。図９は人数推定部１０３の処理フローの一例である。
【００７７】
動き情報算出部１００で求めた動き領域（図２（Ｂ）のＣ２に相当）と、時間・空間変化算出部１０２で求めた時空間評価値の時間変化（ここでは時空間豊富度変化Ｒsubxyを用いた場合について説明する）を利用し、動き領域内における時空間豊富度変化Ｒsubxyの平均値Ｒaveを求める（ステップＳ２１）。
【００７８】
次に、求めた平均値Ｒaveをしきい値ｔｈｒと比較し、しきい値ｔｈｒ以上であれば（ステップＳ２２）、所定の人数以上であると判断し推定人数のデータを出力する。あるいは、比較した結果から所定の人数以上であるか否かを出力する。尚、しきい値を複数設けて、多段階で人数推定を行うようにしてもよい。ここで、所定の人数あるいはしきい値ｔｈｒは、ユーザが設定によって決定することができ、１人か２人以上かを判断する場合は、それに見合うようにｔｈｒを設定すればよい。設定方法については後述する。
【００７９】
これらの処理を、動き領域が複数ある場合にはすべてについて繰り返し行い、動き領域の全領域に対して処理したかを判断し（ステップＳ３３）、すべて終わった場合は処理を終了する。
【００８０】
尚、図９では動き領域を利用する場合について説明したが、動き領域を利用せず、画面上の全領域について処理を行うようにしてもよい。
【００８１】
次に画像認識部２０の結果を判断する判定部３０について説明する。図１０は判定部３０で用いる条件を設定する画面の一例である。例えば所定の人数以上の場合にアラーム出力する場合は、図１０のＣ４にてこの所定の人数を設定すればよい。この際に、この設定された人数に応じて前述のしきい値ｔｈｒを変更する。また、アラームが発報された際の動作は図１０のＣ５の警報を出力するか否か、施錠をするか否かなど設定することができる。また入退室管理装置と連動した際に、例えば２人以上であれば、ドアを施錠するなどの運用が可能となる。これにより、共連れ防止が可能となる。
【００８２】
また本実施例の警報を出力する人数を、例えば１０人と設定すれば、群衆が発生した際に警報を出力する装置としても応用が可能である。
【００８３】
図１０のＣ５にて警報がＯＮと設定された場合は、図１１に示すように、画面上に警告画面を出力するなどの運用が可能となる。
【００８４】
本発明によれば、カメラ画像から、例えば時空間豊富度などの時空間評価値を求め、その時空間評価値の時間変化を判定することで、画像内に存在する人物の人数を推定することが可能な映像監視システム及び人数推定方法が実現でき、これらの機能をカメラ内蔵可能な規模で実現できる。
【００８５】
以上、本発明を実施例を用いて説明してきたが、これまでの実施例で説明した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、実施例で説明した変形例の構成は、互いに矛盾しない限り、組み合わせて用いても良い。
【符号の説明】
【００８６】
１０ カメラ（撮像機器）
２０ 画像認識部
３０ 判定部
４０ 出力部
１００ 動き情報算出部
１０１ 時空間ヒストグラム作成部
１０２ 時間・空間変化算出部
１０３ 人数推定部
２００ フレーム差分部
２０１ 基準画像作成部
２０２ 基準画像
２０３ ラベリング部
【特許請求の範囲】
【請求項１】
撮像機器から取得した映像信号に基づく画像データから方向に関する特徴を算出するとともに、前記方向に関する特徴についてのヒストグラムを所定の大きさの時空間において算出した時空間ヒストグラムを作成する時空間ヒストグラム作成部と、
前記時空間ヒストグラムから動きの複雑さを表す時空間評価値を算出するとともに、前記時空間評価値の時間変化を算出する時間・空間変化算出部と、
前記時空間評価値の時間変化から画像内または特定領域に存在する人数が２人以上の所定人数以上か否かを推定する人数推定部とを有することを特徴とする映像監視システム。
【請求項２】
前記画像データから動き領域を算出する動き情報算出部を有し、
前記人数推定部は、前記動き領域における前記時空間評価値の時間変化から前記動き領域に存在する人数が２人以上の所定人数か否かを推定することを特徴とする請求項１に記載の映像監視システム。
【請求項３】
前記時間・空間変化算出部は、前記時空間ヒストグラムのエントロピーに基づき時空間豊富度を算出し、前記時空間評価値として用いることを特徴とする請求項１または２に記載の映像監視システム。
【請求項４】
前記時間・空間変化算出部は、前記時空間ヒストグラムの分散，標準偏差，歪度，尖度の何れか１つ以上を算出し、前記時空間評価値として用いることを特徴とする請求項１または２に記載の映像監視システム。
【請求項５】
前記時空間ヒストグラム作成部は、前記画像データから、前記方向に関する特徴として明度勾配方向を量子化した方向符号を算出し、前記時空間内の前記方向符号の出現頻度を表す前記時空間ヒストグラムを作成することを特徴とする請求項１から４の何れかに記載の映像監視システム。
【請求項６】
前記時空間ヒストグラム作成部は、前記画像データから、前記方向に関する特徴として動きの方向を算出し、前記時空間内の前記動きの方向の出現頻度を表す前記時空間ヒストグラムを作成することを特徴とする請求項１から４の何れかに記載の映像監視システム。
【請求項７】
前記人数推定部は、前記時空間評価値の時間変化から画像内または特定領域に存在する人数が１人か２人以上かを推定することを特徴とする請求項１から６の何れかに記載の映像監視システム。
【請求項８】
前記人数推定部によって推定された人数が前記所定人数以上である場合に警報を出力させる判定部を有することを特徴とする請求項１から７の何れかに記載の映像監視システム。
【請求項９】
撮像機器から取得した映像信号に基づく画像データから方向に関する特徴を算出するとともに、前記方向に関する特徴についてのヒストグラムを所定の大きさの時空間において算出した時空間ヒストグラムを作成し、
前記時空間ヒストグラムから動きの複雑さを表す時空間評価値を算出するとともに、前記時空間評価値の時間変化を算出し、
前記時空間評価値の時間変化から画像内または特定領域に存在する人数が２人以上の所定人数以上か否かを推定することを特徴とする人数推定方法。
【請求項１】
撮像機器から取得した映像信号に基づく画像データから方向に関する特徴を算出するとともに、前記方向に関する特徴についてのヒストグラムを所定の大きさの時空間において算出した時空間ヒストグラムを作成する時空間ヒストグラム作成部と、
前記時空間ヒストグラムから動きの複雑さを表す時空間評価値を算出するとともに、前記時空間評価値の時間変化を算出する時間・空間変化算出部と、
前記時空間評価値の時間変化から画像内または特定領域に存在する人数が２人以上の所定人数以上か否かを推定する人数推定部とを有することを特徴とする映像監視システム。
【請求項２】
前記画像データから動き領域を算出する動き情報算出部を有し、
前記人数推定部は、前記動き領域における前記時空間評価値の時間変化から前記動き領域に存在する人数が２人以上の所定人数か否かを推定することを特徴とする請求項１に記載の映像監視システム。
【請求項３】
前記時間・空間変化算出部は、前記時空間ヒストグラムのエントロピーに基づき時空間豊富度を算出し、前記時空間評価値として用いることを特徴とする請求項１または２に記載の映像監視システム。
【請求項４】
前記時間・空間変化算出部は、前記時空間ヒストグラムの分散，標準偏差，歪度，尖度の何れか１つ以上を算出し、前記時空間評価値として用いることを特徴とする請求項１または２に記載の映像監視システム。
【請求項５】
前記時空間ヒストグラム作成部は、前記画像データから、前記方向に関する特徴として明度勾配方向を量子化した方向符号を算出し、前記時空間内の前記方向符号の出現頻度を表す前記時空間ヒストグラムを作成することを特徴とする請求項１から４の何れかに記載の映像監視システム。
【請求項６】
前記時空間ヒストグラム作成部は、前記画像データから、前記方向に関する特徴として動きの方向を算出し、前記時空間内の前記動きの方向の出現頻度を表す前記時空間ヒストグラムを作成することを特徴とする請求項１から４の何れかに記載の映像監視システム。
【請求項７】
前記人数推定部は、前記時空間評価値の時間変化から画像内または特定領域に存在する人数が１人か２人以上かを推定することを特徴とする請求項１から６の何れかに記載の映像監視システム。
【請求項８】
前記人数推定部によって推定された人数が前記所定人数以上である場合に警報を出力させる判定部を有することを特徴とする請求項１から７の何れかに記載の映像監視システム。
【請求項９】
撮像機器から取得した映像信号に基づく画像データから方向に関する特徴を算出するとともに、前記方向に関する特徴についてのヒストグラムを所定の大きさの時空間において算出した時空間ヒストグラムを作成し、
前記時空間ヒストグラムから動きの複雑さを表す時空間評価値を算出するとともに、前記時空間評価値の時間変化を算出し、
前記時空間評価値の時間変化から画像内または特定領域に存在する人数が２人以上の所定人数以上か否かを推定することを特徴とする人数推定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２２１３３１（Ｐ２０１２−２２１３３１Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８７８５２（Ｐ２０１１−８７８５２）
【出願日】平成２３年４月１２日（２０１１．４．１２）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１２日（２０１１．４．１２）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]