監視装置
【課題】安全管理・セキュリティ面から特に重要な滞留人数を特定して効果的に監視する。
【解決手段】監視エリア付近の画像取得手段１と、前記画像取得手段１からの入力画像を処理して、監視エリア内の検知対象の人数を０人、１人、２人以上の区分のうち１人か１人以外かを推定する人数推定部７と、前記監視エリア内の推定人数が１人のときの滞留を特定して発報する滞留発報部８を備えることで、一人の滞留を効果的に監視する。
【解決手段】監視エリア付近の画像取得手段１と、前記画像取得手段１からの入力画像を処理して、監視エリア内の検知対象の人数を０人、１人、２人以上の区分のうち１人か１人以外かを推定する人数推定部７と、前記監視エリア内の推定人数が１人のときの滞留を特定して発報する滞留発報部８を備えることで、一人の滞留を効果的に監視する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ等を用いて監視エリア内の画像を取得し、この取得画像を処理して監視員等に通報する監視装置に関する。
【背景技術】
【０００２】
監視カメラを目視により安全確認する監視員の負荷の軽減のために、撮影画像から画像認識によって事故の発生時の人物の挙動や、事故につながる危険行為といった異常挙動を検知し、監視員に発報する監視システムが普及しつつある。
【０００３】
前記の異常挙動のうち人物が特定の場所に居続ける滞留は、たとえば安全管理を目的とした監視システムでは人物が事故や負傷により動けない状況や、またセキュリティを目的とした監視システムでは家屋への進入の準備をしているなどの状況に結びつくために重要度が高い異常挙動である。
【０００４】
監視エリア内の滞留を検出する技術として、特許文献１ではエスカレータのデッキ付近を監視エリアとして、２時刻の撮影画像のフレーム間の差分の量が多いほど、また監視エリアの背景差分（監視エリアからの入力画像と背景画像との間の差分）の面積が広いほど、デッキ上にたくさんの乗客がいて混雑度が高いと推測する技術が開示されている。この特許文献１では、前記の方法により計算した混雑度を閑散時と混雑時の２レベルに区分し、閑散時にはデッキ上での座り込みやハンドレールへのいたずらといった乗客の異常挙動を検出し、混雑時には乗客の通行を妨げるような異常挙動は発生している可能性が低いとみなして異常挙動の検知は行わず、代わりに乗客の通行量を計測するように画像認識の内容を切り替えている。
【０００５】
また、一般に、取得した画像の時間的変化を分析することで人物の挙動及び移動等を検知する技術としては非特許文献１等が知られており、エスカレータの分野においても、取得した画像の時空間的特徴を抽出し、エスカレータの動きと人物の動きとを区別して認識することで、人物の異常行動を検知する技術が非特許文献２で提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−７２６４号公報
【非特許文献】
【０００７】
【非特許文献１】G. Bradski and J. Davis.著、「Real-time recognition of activity using temporal templates」、Third IEEE Workshop on Applications of Computer Vision(1996年12月)
【非特許文献２】村井泰裕， 藤吉弘亘， 数井誠人著、「時空間特徴に基づくエスカレータシーンにおける人の異常行動検知」、社団法人 情報処理学会 研究報告、ＣＶＩＭ、第１６４回、 ｐｐ． ２５１−２５８（２００８年９月）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
滞留の中でも特に滞留の当事者以外に周囲に人がいない状況は、たとえば安全管理を目的とした監視システムでは、事故発生時において周囲の人により事故の当事者が救助されることを期待できないので危険度が高く、またセキュリティを目的とした監視システムでは、他の人物からの人目によって犯罪が抑止されることが期待できないので危険度が高く、監視員は重点的に監視する必要がある。
【０００９】
また、非特許文献１又は２の様な画像処理によって人物の移動及び挙動を検知する監視システムにおいて、異常な挙動と類似した画像上の変化があっても、実際には監視エリア内に人物がいないシーンにおいては、監視システムから発報する必要はない。不要な発報は監視員に煩わしさを感じさせてしまうからである。
【００１０】
以上のことから、画像認識により滞留を検知する監視システムでは、滞留を検知するとともに、滞留時に監視エリア内にいるのが０人、１人、２人以上の区分で人数を推定することが望ましいことが判った。
【００１１】
そこで、特許文献１の技術を０人、１人、２人以上という人数推定に適用しようとすると、特許文献１に開示されている背景差分の面積が広いほど混雑度が高いという基準では、夕陽のように低い角度で照明光が差し込んで影が伸びる状況においては、影の部分で発生した面積が影響して誤判定してしまうという問題がある。たとえば人物がエスカレータのデッキ上に１人の場合に人物から長い影が伸びる状況では、影のために背景差分の面積が広くなってしまい、実際には乗客１人で閑散なのに混雑と判定してしまう可能性がある。また、ハンドレールなどの構造物の影が伸びる状況では、デッキ上に乗客が１人もいないにもかかわらず、ハンドレールなどの構造物の影によって背景差分の面積が広くなり、実際には乗客がひとりもいなく閑散なのに混雑と判定してしまう可能性がある。よって、特許文献１で開示されている技術では、監視エリア内の人数が０人の場合と１人あるいは２人以上の場合とを正確に判別できない。
また、特許文献１で開示されているもう１つの基準であるフレーム間の差分の面積が広いほど混雑度が高いという基準では、たとえば１人の乗客が転倒後に起き上がろうとしてもがいている状況では、乗客の動きによってフレーム間の差分の面積が広くなり、実際には乗客が１人しかおらず閑散なのに混雑していると誤判定してしまう可能性がある。また反対に、極度に混雑して多数の乗客が身動きできない状況では、乗客の動きが小さいためにフレーム間の差分の面積が狭くなり、実際にはたくさんの人物で混雑しているのに、閑散であると誤判定してしまう可能性がある。よって、特許文献１で開示されている技術を人数推定に適用しても、乗客が少数いる場合と多数いる場合とを区別できないので、監視エリア内の人数が０人あるいは１人の状況と２人以上の状況を正確に推定できない。
【００１２】
以上のことから、特許文献１の技術では、監視エリア内の人数が０人であるのか、１人であるのか、２人以上であるのかを正確に判別することは困難である。
【００１３】
一方、前記非特許文献１及び２は、人物の移動、エスカレータの動きと区別した人物の認識技術等で優れているが、監視エリア内にいる人物を０人、１人、２人以上の区分で人数を推定する思想は無く、監視エリア内の人数に着目することで、人物がいないシーンでの発報を軽減すること等については配慮されていない。
【００１４】
本発明は、このような従来の監視技術に鑑みて成されたもので、その主な目的とするところは、安全管理及びセキュリティの面から特に重要な人数である１人のみの状況を特定できるように人数を推定することで、監視エリア内を効果的に監視することのできる監視装置を提供することにある。
【００１５】
本発明の他の目的は、前記人数が１人であることを精度よく推定するとともに、検知対象の人数を０人、１人、２人以上に区分して推定するに好適な装置等を提供することにあるが、それらの目的については以下述べる実施の態様で詳述する。
【課題を解決するための手段】
【００１６】
前記主な目的を達成するため、本発明の特徴とするところは、監視エリア付近の入力画像を取得する画像取得手段と、前記画像取得手段からの入力画像を処理して、監視エリア内の検知対象の人数を０人、１人、２人以上の区分のうち１人か１人以外かを推定する人数推定手段と、前記監視エリア内の推定人数が１人のときの滞留を特定して外部に発報する滞留発報手段とを備えることである。これにより、監視エリア内の人数が０人又は２以上の場合と区別し、１人であることを特定して知らせることができるので、１人の滞留という特に重要な場面を特定して監視員等の注意を促すようにできる。
【００１７】
ここで、前記「監視エリア内の推定人数が１人のときの滞留を特定して外部に発報する」とは、滞留人数が１人のときを０人又は２以上の場合と区別して発報することであって、人数が１人以外の場合には発報しないようにしてもよいし、人数が１人以外の場合にも発報するが、信号の内容又は長さ等を変えたり、特定の信号を付加することで、０人又は２人以上の場合と１人の場合とを区別することも含む概念である。
【００１８】
本発明の他の特徴は、前記検知対象の人数が１人であることを精度よく推定するための構成、更には、検知対象の人数を０人、１人、２人以上に区分して推定するに好適な構成及びその応用例等の構成であるが、それらの特徴については以下述べる実施の態様で詳述する。
【発明の効果】
【００１９】
本発明によれば、監視エリア内の人数が１人であることを特定して注意を促すことができるので、安全管理及びセキュリティの面からも監視エリア内を効果的に監視することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例に係る監視装置の機能ブロック図。
【図２】本発明の一実施例をエスカレータに適用した場合の機器構成図。
【図３】本発明の一実施例に係る長期変化抽出部を説明する図。
【図４】本発明の一実施例に係る短期変化抽出部を説明する図。
【図５】本発明の一実施例に係る人数推定手段の処理フローを説明する図。
【図６】本発明の一実施例に係る人数推定手段の時間関係を補足する図。
【図７】本発明の一実施例に係る人物の移動軌跡の抽出手法を説明する図。
【図８】本発明の一実施例に係る影部分の移動軌跡の抽出手法を説明する図。
【図９】本発明の一実施例に係る人物の移動軌跡の抽出手法を説明する図。
【図１０】本発明の一実施例に係る密集した人物の移動軌跡の抽出手法を説明する図。
【図１１】本発明の一実施例に係る警報手段の画面表示例を説明する図。
【図１２】本発明の一実施例に係る短期変化抽出部を補足する図。
【図１３】本発明の他の実施例に係る監視装置の機能構成図。
【図１４】本発明の他の実施例をエスカレータに適用した場合の機器構成図。
【図１５】本発明の他の実施例の検知エリアを説明する図。
【図１６】本発明の更に他の実施例に係る監視装置の機器構成図。
【発明を実施するための形態】
【００２１】
以下、本発明にかかる監視装置の具体的な実施形態について、図面を参照しながら説明する。なお、本実施形態では、監視対象としてエスカレータに適用した場合を例に挙げて説明するが、本発明の監視装置はこれに限らず、エレベータ、建屋の内外等、人物が移動及び滞留する任意の場所に適用可能である。
【実施例１】
【００２２】
本発明の実施例１に係る監視装置の機能ブロック図を図１に示し、エスカレータの監視装置として適用した場合の装置構成例を図２に示す。本実施例１では、エスカレータのデッキを監視エリアとし、エスカレータの運行によって移動するステップやハンドレール付近における人物の滞留が、ステップやハンドレールに巻き込まれるような事故につながる恐れのある挙動として検知の対象としている。
【００２３】
図２において、１０１はエスカレータで、１１０はエスカレータの下部の乗り場のデッキ、１０３はデッキ１１０の後方からデッキ１１０の周囲を視野内にとらえたカメラ、１０４は画像処理装置、１０５はエスカレータ１０１の制御装置、１０６はエスカレータ１０１の乗客に向けてスピーカによる音声やライトの発光等により警報する警報装置、１０７は監視員に向けて画面出力や音声出力を行うモニタ、１０８はカメラ１０３の画像あるいは画像処理装置１０４の映像を遠隔に伝送する伝送装置、１０９はカメラ１０３の入力画像あるいは画像処理装置１０４の出力画像を連続的に記録する録画装置である。カメラ１０３は可視光の撮像装置に限らず、近赤外の撮像装置のように、デッキ１１０およびデッキ１１０付近の２次元的な像を取得する装置を適用することができる。
【００２４】
画像処理装置１０４の具体的機能ブロックを図１に示す。図１において、画像取得部１からの取得画像は、背景作成部２、長期変化抽出部３、短期変化抽出部４、短期変化蓄積部５、軌跡抽出部６、人数推定部７、滞留発報部８から構成される画像処理装置１０４により処理され、警報部９（図２では警報装置１０６に対応）及び制御部１０（図２では制御装置１０５に対応）へ出力する。
【００２５】
尚、画像処理装置１０４は匡体に納められた所定の計算機によって実現されるほか、カメラ１０３および制御装置１０５、警報装置１０６、モニタ１０７、伝送装置１０８、録画装置１０９の各機能との接続が可能であれば、機能の全てあるいは機能の一部を制御装置１０５、警報装置１０６、モニタ１０７、伝送装置１０８、録画装置１０９内の信号処理装置と共用してもよい。
【００２６】
また図１において、検知対象情報記憶部１１及び地点情報記憶部１２は、画像処理装置１０４に設けられた記憶部であって、画像取得部１、背景作成部２、長期変化抽出部３、短期変化抽出部４、短期変化蓄積部５、軌跡抽出部６、人数推定部７、滞留発報部８等の各機能ブロックの信号処理に必要なデータが格納されている。検知対象情報記憶部１１は検知対象の空間中における高さや幅といった大きさや、移動速度の情報を保持している。地点情報記憶部１２はカメラ１０３の入力画像上における領域の情報（例えば、入力画像上のどの領域がデッキに対応し、どの領域がステップに対応し、どの領域を検知エリアとするかなどの情報）や、カメラ１０３の地点毎に合わせた画像処理に必要なしきい値や、カメラ１０３の入力画像上における検知対象の画像上における高さや幅や移動速度の情報を保持している。
【００２７】
図１において、画像取得部１は、カメラ１０３から各フレームの入力画像を連続的に取得するように構成しているが、カメラ１０３の画像を記録したものを再生しても同等の機能を達成できる。また、画像取得部１からの取得画像は、背景作成部２、長期変化抽出部３、短期変化抽出部４、及び短期変化蓄積部５で処理及び記憶されるが、これらの部分が監視エリア内における検知対象の滞留を検知する手段を構成している。
【００２８】
以下、図１における各機能ブロックの処理内容について順次説明する。
【００２９】
短期変化抽出部４は、短期の変化として、２時刻［Ｔ−ΔＴ、Ｔ］の入力画像の差分から、画像上で短期に変化した部分を抽出する。図４（ａ）および（ｂ）は短期変化抽出部４の時刻Ｔ−ΔＴおよび時刻Ｔの入力画像の例を示し、１１１はハンドレール、１１２はステップ、１１３は人物、矢印１１７は人物１１３の移動方向である。図４（ａ）から図４（ｂ）の間に、人物１１３は、ステップ１１２に向けて歩行した分、入力画像内を下から上に少し移動している。短期変化抽出部４は、２時刻の画像から所定のしきい値以上に明度が変化した差分（短期の変化）を画素単位で抽出する。また、短期変化抽出部４は、前記短期の変化から、差分の連結領域を抽出する。
【００３０】
図４（ｃ）は、短期変化抽出部４の抽出結果の例として、図４（ａ）と図４（ｂ）から差分を抽出した結果の一例を示しており、１３２はステップ１１２の移動による差分の連結領域であり、１３３は人物１１３の移動による差分の連結領域である。この連結領域１３３は、２時刻［Ｔ−ΔＴ，Ｔ］の間の人物１１３の画面上の移動の輪郭に相当する。図４（ｃ）の例では人物１１３が入力画像において画面の下から上に移動するために、連結領域１３３は縦方向に移動量に相当した厚みを持っている。短期変化抽出部４は、図４（ｃ）の例のように、短期の変化から、連結領域１３３を抽出し、連結領域１３３から、連結領域１３３の外接矩形１３５、外接矩形１３５の代表辺１３６、代表辺１３６の代表点１３７を抽出する。
【００３１】
図４（ｃ）において、連結領域１３３が人物１１３の全体を捉えている場合、図２に示すようにデッキ１１０を斜め後ろから捉えるカメラ１０３の画角では、外接矩形１３５の底辺がデッキ１１０上にあるので、代表辺１３６は外接矩形１３５の底辺とする。この代表辺１３６の幅は人物１１３の幅に相当する。代表点１３７は代表辺１３６の中点であり、人物１１３の足元の左右の中心に相当する。
【００３２】
なお、人物１１３の形状が縦長であるために、画面上を下から上に移動するときには２時刻［Ｔ−ΔＴ、Ｔ］の間における人物１１３の横方向の移動が小さいために、２時刻［Ｔ−ΔＴ、Ｔ］の入力画像の間で差分をとったときに、図４（ｄ）のように人物１１３の側面で差分の連結領域が１３３ａ、１３３ｂのように、人物１１３の上部と下部に分断される場合がある。
【００３３】
図４（ｄ）のように人物１１３の差分の連結領域が分断された場合にも、個別の連結領域１３３ａ、１３３ｂから、外接矩形１３５ａ、１３５ｂ、代表辺１３６ａ、１３６ｂ、代表点１３７ａ、１３７ｂを抽出しておけば、少なくとも一方からは人物１１３の足元の座標を抽出できる。
【００３４】
なお、人物１１３が画面上を横方向に移動する場合には、連結領域１３３は左右に分断される可能性があるが、その場合も同様に分断されたそれぞれの連結領域に対して外接矩形、代表辺、代表点を求める。
【００３５】
また、連結領域１３３には、デッキ１１０上で反射した天井の照明の揺らぎのような微小なノイズが混じることがあるので、短期変化抽出部４は、外接矩形１３５の縦方法あるいは横方向の長さが、カメラ１０３の入力画像上における人物のサイズを見積もったしきい値未満のものである場合は、その外接矩形１３５を、ノイズとして棄却する。
【００３６】
以上の説明では、短期変化抽出部４が、短期の変化として、連結領域１３３を２時刻の入力画像上の同一画素の明度から差分を抽出する方法について述べたが、あくまでこれは一例であり、２時刻の入力画像それぞれからＲＧＢやＨＳＩのような色の特徴量や、エッジの特徴量などの特徴量を抽出して、同一画素における特徴量の差分から連結領域１３３を抽出してもよい。
【００３７】
また、連結領域１３３を抽出する方法としては、２時刻の同一画素の明度あるいは特徴量の変化を用いる方法以外にも、移動ベクトルにより入力画像上の動きある部分を抽出する方法で、連結領域１３３を抽出してもよい。また、短期変化抽出部４は、２時刻の入力画像を使う方法以外にも、非特許文献１に記載されたＭｏｔｉｏｎ Ｈｉｓｔｏｒｙ Ｉｍａｇｅのような２時刻以上の複数の時刻の入力画像上から動きを抽出する手法で連結領域１３３を抽出してもよい。
【００３８】
短期変化抽出部４は、以上述べた機能を所定の処理周期で繰り返す。そして、短期変化蓄積部５は、短期変化抽出部４が処理周期ごとに抽出した代表点１３７を時系列で蓄積する。
【００３９】
次に、背景作成部２は、異常挙動時の人物１１３の滞留の継続時間よりも十分にゆっくりとした周期で背景画像を更新することで、人物１１３が存在しない背景画像を生成する。この背景作成部２の背景画像の作成の方法には、たとえば短期変化抽出部４の変化が小さなフレームの画像を収集し、現時刻から所定時間内の収集画像から各画素のメジアンをとる方法が考えられるが、この例に限らない。
【００４０】
長期変化抽出部３は、長期の変化として、各フレームの入力画像と背景画像との間で変化している部分を抽出するために、入力画像と背景画像との間の差分である背景差分を求める。また、長期変化抽出部３は、求めた背景差分から、デッキ１１０上の背景差分の連結領域を求める。
【００４１】
図３は長期変化抽出部３を説明する図であり、図３（ａ）は背景作成部２が保持する背景画像の例を示し、１１１はハンドレール、１１２はステップを示している。図３（ｂ）は入力画像の例であり、１１３は人物であってステップ１１２に乗り損ねて倒れている。人物１１３はステップ１１２の近くで転倒しているために、移動するステップ１１２に靴やズボンのすそが巻き込まれる可能性があって危険である。図３（ｃ）は図３（ａ）と図３（ｂ）の間で同一画素において明度変化が所定のしきい値以上生じた部分であり、入力画像内における長期の差分（背景差分）を示している。図３（ｃ）において、１２０はデッキ１１０に対応した検知エリア、１２２はステップ１１２が背景画像と入力画像との間で移動した差分の連結領域であり、１２３は倒れた人物の差分の連結領域を示している。
【００４２】
長期変化抽出部３は、前記長期の変化から、検知エリア１２０内の入力画像と背景画像との差分である背景差分の連結領域を求めて、連結領域のうち面積が検知対象情報記憶部１１の保持する人物のサイズを想定したしきい値以上のものを有効な連結領域として選定し、有効な連結領域から外接矩形を求める。入力画像が図３（ａ）の場合、連結領域１２３を有効とし、連結領域１２３の外接矩形１２５を求める。また、長期変化抽出部３は、外接矩形１２５の場所を示す情報として、中心座標と縦横の長さを保持しておく。また、長期変化抽出部３は、連結領域１２３のように有効な連結領域を複数抽出した時は、外接矩形１２５のような外接矩形を複数抽出する。
【００４３】
さらに、長期変化抽出部３は、以上述べた方法で抽出した外接矩形１２５が一つ以上抽出された時刻を保持しておく。また、一つ以上の外接矩形１２５の検出が同じ場所で継続する場合、滞留であると判断し、その滞留が発生している時期を示す情報を、滞留の時期の情報として保持しておく。尚、ここで滞留の時期の情報は、例えば、滞留の開始時刻と終了時刻、あるいは、滞留の開始時刻と継続時間の長さなど、滞留の発生している時刻と長さを特定できる情報を含む。また、長期変化抽出部３は、滞留が発生している場所の情報についても保持しておく。
【００４４】
なお、図３において、ステップの移動による差分１２２は、検知エリア１２０外なので外接矩形１２５の抽出に影響を与えない。よって、長期変化抽出部３が差分を計算する範囲を検知エリア１２０内に限定してもよい。
【００４５】
以上の説明では、長期変化抽出部３が、長期の変化として連結領域１２３を背景画像と入力画像の同一画素の明度の変化から抽出すると述べたが、あくまでこれは一例であり、背景画像と入力画像それぞれからＲＧＢやＨＳＩのような色の特徴量や、エッジの特徴量などの特徴量を抽出して、同一画素における特徴量の差分から連結領域１２３を抽出してもよい。また、背景画像としては、一枚の画像を用いる方法以外に、各画素の明度を確率分布のパラメータで記述したものを背景画像とし、背景差分を演算する際には、この各画素の明度を確率分布のパラメータで記述した背景画像と入力画像との差分を演算するような方法をとってもよい。
【００４６】
次に、人数推定部７は、図５に示す処理フローによって検知エリア１２０上の人数を０人、１人、２人以上の区分で推定する。以下、図５の処理ステップＳ１〜Ｓ７、及び図６に示す人数推定時の時間関係を補足する図を適宜引用して、その処理内容を説明する。尚、図６（ａ）（ｂ）（ｃ）は、それぞれ、検知エリア内に０人、１人、２人以上がいる場合に対応する。
【００４７】
Ｓ１では、人数推定部７は、長期変化抽出部３での背景差分の抽出結果または滞留の抽出結果に基づき、滞留の最低継続時間である時間τ以上に滞留が継続しているか否かを判定する。滞留が時間τ以上に継続していなければ（Ｓ１でｎｏ）、検知エリア１２０上に人物１１３の滞留はないとみなして０人と推定する（Ｓ５）。
【００４８】
Ｓ１において、滞留が時間τ以上に継続している場合には、処理ステップＳ２に進む。このときの時間関係は図６（ａ）（ｂ）（ｃ）の何れかのようになっており、滞留の開始時刻を時刻Ｔ２、時刻Ｔ２から時間τだけ後を時刻Ｔ３とすると、時刻Ｔ２から時刻Ｔ３の間に滞留の継続期間２０１が存在する。
【００４９】
Ｓ２では、人数推定部７は、時刻Ｔ２の直前に、Ｓ１の滞留箇所に向けて検知エリア１２０の外（検知エリア１２０の端）から移動する移動軌跡があるか否かを判定する。
【００５０】
尚、Ｓ２における判定に用いられる移動軌跡の抽出は、軌跡抽出部６で行われる。検知エリア１２０の長さと、人物１１３の最低の移動速度から見積もった、人物１１３が検知エリア１２０を通過するのに最も長く要する最長通過時間を時間πとしたとき、時刻Ｔ２から時間πだけ遡った時刻Ｔ１と時刻Ｔ２との間において、軌跡抽出部６が前記移動軌跡を探索する。
【００５１】
軌跡抽出部６による移動軌跡の抽出を、人物１１３がデッキ１１０上において図３（ｂ）のように倒れた状態で時刻Ｔ２から時刻Ｔ３まで滞留した場面を例に挙げて説明する。図３（ａ）が背景画像であり図３（ｂ）が入力画像であるときに、長期変化抽出部３は、長期の変化（背景差分）から、人物１１３の連結領域１２３、連結領域１２３の外接矩形１２５を抽出している。図７（ａ）と図７（ｂ）は、時刻Ｔ２と時刻Ｔ１との間の時刻Ｔａから、時刻Ｔ２のまでの間に、人物１１３がデッキ１１０の外から矢印１１７の方向にステップ１１２の付近まで歩行した状況を示している。
【００５２】
図７（ａ）から図７（ｂ）の間、短期変化抽出部４は、動作周期ごとに短期の変化を抽出し、短期変化蓄積部５は、動作周期ごとの短期変化抽出部４の出力（代表点１３７）の時系列を蓄積している。軌跡抽出部６は、時刻Ｔ２から遡って短期変化蓄積部５に蓄積された代表点１３７の時系列から対応点を探索することで移動軌跡を抽出する。対応点の探索の方法には、隣接する２時刻の代表点１３７の最近傍点を探索し、最近傍の２つの代表点１３７の画像上の座標のずれが許容誤差の範囲内に収まる対応点同士を連結する方法が考えられるが、これに限らない。図７（ｃ）は、軌跡抽出部６が、図７（ａ）から図７（ｂ）の間の代表点１３７の移動軌跡１５３を抽出した例を示している。
【００５３】
なお、以上の説明では軌跡抽出部６が代表点１３７の時系列から移動軌跡１５３を抽出する方法を述べたが、軌跡抽出部６は代表点１３７以外のデータから移動軌跡１５３を求めてもよい。一例としては、非特許文献１では、連結領域１３３のような２時刻［Ｔ−ΔＴ、Ｔ］の人物１１３の変化（例えば、フレーム間差分）を累積させて、所定の時間の間に物体が移動した領域を特定する方法が記されてあり、これを利用して移動軌跡１５３を求めることも可能であり、前記実施例に限られるものではない。この場合、短期変化蓄積部５は、代表点１３７の時系列を蓄積することに代えて、短期の変化（例えばフレーム間差分）の時系列を蓄積するようにしてもよい。
【００５４】
例えば、図７に示すように、時刻Ｔ１より後の時刻Ｔａから時刻Ｔ２の期間に人物１１３がデッキ１１０の外からステップ１１２の付近まで歩行し、時刻Ｔ２から時刻Ｔ３の期間に、図３に示すように人物１１３がステップ１１２の付近で滞留した場面では、図６（ｂ）に示す時間関係となり、時刻Ｔ１から時刻Ｔ２の期間に図３および図７に示すように検知エリア１２０の外から外接矩形１２５まで移動軌跡１５３が伸びているために、Ｓ２の判定はｙｅｓとなる。尚、図６（ｂ）では、時刻Ｔａから時刻Ｔ２の間に、検知エリア１２０の外から滞留の箇所まで伸びる移動軌跡１５３の発生期間２０２が存在している。
【００５５】
一方、図８（ａ）（ｂ）のように時刻Ｔ２から時刻Ｔ３の間に、ハンドレール１１１から影１１５がデッキ１１０上に伸びることが継続した場面では、時刻Ｔ２から時刻Ｔ１まで遡っても、軌跡抽出部６はエスカレータ１０１付近の照明条件の動揺による影１１５の動揺によって図８（ｃ）に示すわずかな移動軌跡１５５を抽出するか、あるいはまったく移動軌跡を抽出しない。よって、Ｓ２の判定はｎｏとなり、人数推定部７はデッキ１１０内に滞留する人数を０人と推定する（Ｓ５）。この場合は、図６（ａ）に示す時間関係となる。
【００５６】
人数推定部７はＳ２の判定がｙｅｓであれば、少なくとも１人以上の人物１１３が時刻Ｔ１から時刻Ｔ２の間にデッキ１２０内に進入し、時刻Ｔ２から時刻Ｔ３の間に滞留したものと考え、Ｓ３に進む。
【００５７】
次に、Ｓ３では、人数推定部７は、時刻Ｔ１から時刻Ｔ２の間に、検知エリア１２０の外からいずれかの外接矩形１２５に伸びる移動軌跡１５３が２つ以上あるか否かを判定する。２つ以上あれば、時刻Ｔ１から時刻Ｔ２の間に２人以上の人物が進入して時刻Ｔ２から時刻Ｔ３の間に滞留したとみなして、人数推定部７はデッキ１１０内に滞留する人数を２人以上と推定する（Ｓ７）。Ｓ３の判定がｎｏの場合、Ｓ４に進む。
【００５８】
次に、Ｓ４では、人数推定部７は、時刻Ｔ２から時刻Ｔ３の間に移動軌跡（２人目の人物）が検知エリア１２０の外から検知エリア１２０に進入したか否かを判定する。図９（ａ）（ｂ）は、時刻Ｔ２から時刻Ｔ３の間に２人目の人物１１４がデッキ１１０の外からデッキ１１０の中に進入した例を示している。Ｓ４において、軌跡抽出部６は、Ｓ２と同様に時刻Ｔ２から時刻Ｔ３の間の代表点１３７の時系列から移動軌跡を探索し、図９（ｃ）のように検知エリア１２０の外から検知エリア１２０に進入する２人目の人物１１４の移動軌跡１５４が一つでも見つかればＳ４の判定はｙｅｓとなり、時刻Ｔ１から時刻Ｔ２の間に進入した人物１１３に加えて、時刻Ｔ２から時刻Ｔ３の期間に２人目の人物１１４あるいはそれ以上多くの人物が進入したとみなして、人数推定部７は人数を２人以上と推定する（Ｓ７）。この場合の時間関係は、例えば図６（ｃ）のようになる。図６（ｃ）において、２０３は人物１１３の移動軌跡１５３の発生期間で、２０４は人物１１４の移動軌跡１５４の発生期間に相当する。
【００５９】
反対に、Ｓ４の判定がｎｏの場合、時刻Ｔ２から時刻Ｔ３の間に新たな人物１１４の進入はないと考えて、人数推定部７はデッキ１１０内に滞留する人数を１人と推定する（Ｓ６）。
【００６０】
尚、図６（ｃ）では、検知エリア１２０内に２人以上の場合の一例を示しているが、これに限られず、他のパターンも存在する。例えば、Ｓ３で説明したように、時刻Ｔ１から時刻Ｔ２の間に２人以上の人物が進入して時刻Ｔ２から時刻Ｔ３の間に滞留した場合は、図６（ｃ）における移動軌跡の発生期間２０３、２０４のうち、２０３のみが存在（但し２人分の移動軌跡が存在）することもありうる。この場合でも、Ｓ３により２人以上と判定することが可能である。
【００６１】
次に、エスカレータ１０１が非常に混み合っている場合について図５ではどのような判定が行われるかを説明する。図１０（ａ）（ｂ）は、エスカレータ１０１が非常に混み合っていて、時刻Ｔ２から時刻Ｔ３の間に、人物の密集１４３が、デッキ１１０上を進んだり立ち止まったりを繰り返しながら、矢印１１７の方向に脈動的にゆっくりとステップ１１２に向かって進んでいる場面の例を示している。図１０（ａ）（ｂ）のような場面では、人物の密集１４３は、デッキ１１０上の広い範囲に居続けるので、図１０（ｃ）のように長期変化抽出部３において長期の変化から抽出された連結領域１７３の検知エリア１２０内における外接矩形１７５は、検知エリア１２０の広い範囲にまたがり、図５のＳ１の判定はｙｅｓとなる。
【００６２】
次にＳ２について述べると、まず人物の密集１４３は時刻Ｔ１から時刻Ｔ２の間も図１０（ａ）（ｂ）と同様にデッキ１１０上を脈動的に進み続けるので、時刻Ｔ１から時刻Ｔ２の間に短期変化抽出部４は図示しない連結領域１３３および代表点１３７を抽出している。そのような時、人物の密集１４３から抽出した移動軌跡は、多くの場合、人物の密集１４３中の人物が移動と停止を繰り返すことによって連結領域１３３が断続的に表れることによって、図１０（ｄ）の移動軌跡１６３ａ、１６３ｂ、１６３ｃように短く断片的になる。また、人物の密集１４３の中の人物が同時に動いた場合には、連結領域１３３が検知エリア１２０付近で一塊りになって代表点１３７が抽出できないことが生じる。Ｓ２では、検知エリア１２０の境界付近の人物の動きの状態によって、移動軌跡１６３ａのように検知エリア１２０の外から検知エリア１２０に進入する移動軌跡をとらえることができれば、外接矩形１７５が検知エリア１２０の広い範囲に広がっていることより、移動軌跡１６３ａは外接矩形１７５まで伸びて判定はｙｅｓとなりＳ３に進む。反対に、検知エリア１２０の境界付近の人物の動きの状態によって、Ｓ２において移動軌跡が１６３ｂや１６３ｃのように検知エリアの中央付近にしかない場合や移動軌跡が全くない場合には、Ｓ２の判定はｎｏになり、人数推定部７は０人と推定する（Ｓ５）。
【００６３】
Ｓ２の判定がｙｅｓの場合、次にＳ３では、移動軌跡１６３ａのような検知エリア１２０の外から伸びる移動軌跡が時刻Ｔ１から時刻Ｔ２の間に２つ以上存在すれば、判定はｙｅｓとなり人数推定部７は２人以上と推定する（Ｓ７）。Ｓ３の判定がｎｏの場合、次にＳ４では、移動軌跡１６３ａのような検知エリア１２０の外から伸びる移動軌跡が時刻Ｔ２から時刻Ｔ３の間に少なくとも１つ存在すれば、判定はｙｅｓとなり人数推定部７は２人以上と推定する（Ｓ７）。ここで、滞留の最低継続時間である時間τを十分に長くとれば、移動軌跡１６３ａのように検知エリア１２０の外から伸びるものを確実に抽出して、Ｓ４の判定がｎｏになることの抑止が可能である。
【００６４】
以上述べたように人数推定部７は、人物の密集１４３に対して、Ｓ２で０人と誤って判定することはあっても、Ｓ４で発報の対象となる１人と判定することはない。なお、人物の密集１４３に対して、人数推定部７がＳ２で０人と誤って判定してしまうことは、最長通過時間である時間πを滞留の最低継続時間である時間τと同程度に長くとれば抑止することが可能である。
【００６５】
前記の滞留の最低継続時間である時間τはあらかじめ見積もっておく。例えば、Ｓ１において人物１１３が立ち止まって時計を見るなどの正常挙動ではなく倒れているなどの異常挙動をして滞留していると判断できる時間を時間τ１とし、Ｓ３で人物の密集１４３から移動軌跡１６３ａが確実に抽出されるのに十分な長さの時間を時間τ２としたとき、時間τ１と時間τ２の最大値ｍａｘ（τ１，τ２）をもって時間τとする。時間τは地点情報記憶部１２に値を記憶しておく。最長通過時間である時間πは、デッキ１１０の空間での長さを人物１１３の空間での最低の移動速度で除算するか、検知エリア１２０の画像での長さを人物１１３の画像での最低の移動速度で除算することで計算できる。
【００６６】
軌跡抽出部６を補足すると、図４（ｄ）のように人物１１３の差分の連結領域が１３３ａや１３３ｂのように２つ以上に分断された場合でも、軌跡抽出部６は連結領域１３３ａや１３３ｂの代表点１３７ａや１３７ｂの時系列のデータから最近傍点を連結させることで、図４（ｃ）のように人物１１３の連結領域が分断されない場合と同様に移動軌跡１５３を抽出できる。このとき、複数の代表点１３７ａや１３７ｂの時系列から移動軌跡１５３が２つ以上抽出される可能性があるが、両者の距離が人物の大きさを考慮した許容誤差以内である移動軌跡１５３を１つに統合することで１人の人物１１３から１本の移動軌跡を抽出することが可能となる。
【００６７】
次に、滞留発報部８は、人数推定部７が検知エリア１２０に１人の人物１１３が滞留していると判定した時に限定して、即ち、０人でも２人以上でもなく、１人のときの滞留であることを特定して警報部９と制御部１０の少なくとも一方に発報を出力する。
【００６８】
警報部９は、滞留発報部８から発報を受け取ると、警報装置１０６のライトを明滅させることやスピーカの音声出力などによって、滞留する人物への注意喚起や、エスカレータ１０１の周囲の人物への救助の要請を行う。更に、警報部９は、滞留発報部８から発報を受け取ると、カメラ１０３の入力画像をモニタ１０７へ画面表示させ、あるいは伝送装置１０８から外部装置への送信を行わせ、あるいは録画装置１０９を制御して記録を行うよう制御する。
【００６９】
ここで警報部９は、滞留の発生に監視員の注意が引き付けられるように、所定周期でカメラ１０３の入力画像を明滅させるような、画面効果を加えてもよい。また警報部９は、モニタ１０７へ画面表示する入力画像の上に外接矩形１２５や移動軌跡１５３を描画して表示させるようにしてもよい。監視員は移動軌跡１５３を見ることで、人物１１３がデッキ１１０のどこから進入したか、また人物１１３がデッキ１１０上をどう移動したかを容易に把握できる。
【００７０】
警報部９は、画面描画を行う場合、描画画像あるいは描画画像とカメラ１０３の入力画像をモニタ１０７あるいは伝送装置１０８あるいは録画装置１０９に出力する。なお、図２の装置構成において、警報部９は、警報装置１０６、モニタ１０７、伝送装置１０８、録画装置１０９のうち、少なくとも１つ以上の装置があれば、機能を実現することができる。
【００７１】
最後に、制御部１０は、警報発報部８から発報を受け取ると、エスカレータ１０１の運行速度を低下させたり、エスカレータ１０１を緩停止させることで、滞留した人物の事故を防止したり、事故発生時の被害を軽減する。
【００７２】
以上述べた機能構成によって、本実施例１では、デッキ１１０上の滞留を検知するとともに、デッキ１１０上の人数を０人、１人、２人以上の区分で推定し、デッキ１１０上の人数が１人の場合の滞留時のみ発報すること、あるいはデッキ１１０上の人数が１人の場合の滞留に高い重要度を付与して発報することが可能である。なお、本実施例１は、人数推定部７が図５の処理フロー以外の方法により０人、１人、２人以上の区分で人数を推定した場合にも、同様の効果を発揮する。
【００７３】
実施例１では、人数推定部７の図５の処理フローにおいて、Ｓ３とＳ４を省いた場合、Ｓ１とＳ２の判定結果から、０人（Ｓ５）と、１人（Ｓ６）あるいは２人以上（Ｓ７）の２区分で人数を推定することができる。前記の０人と１人あるいは２人以上の区分には、滞留が継続した時に（Ｓ１でｙｅｓ）、滞留が図８に示すような影１１５のような人物１１３以外によるものか（Ｓ５）、人物１１３によるものか（Ｓ６あるいはＳ７）を判別することが可能になる。前記の０人と１人あるいは２人以上の２区分の人数推定には、滞留に対して発報する監視装置において、影１１５のような人物１１３以外の滞留に対して滞留発報部８が発報することを抑止する効果がある。なお、人数推定部７が図５のフロー以外の方法により、前記の０人と１人あるいは２人以上の２区分の人数推定をした場合にも、同様の効果を発揮する。
【００７４】
また、実施例１では、人数推定部７の図５の処理フローにおいて滞留が継続した時に（Ｓ１でｙｅｓ）、Ｓ２を省いてＳ１がｙｅｓのときにＳ３に移るようにした場合、Ｓ３がｙｅｓになった場合およびＳ３がｎｏでＳ４がｙｅｓの場合とそれ以外の場合とで、０人（Ｓ５）あるいは１人（Ｓ６）と、２人以上（Ｓ７）の２区分で人数を推定することができる。前記の０人あるいは１人と２人以上の２区分の人数推定には、滞留が継続した時に（Ｓ１でｙｅｓ）、滞留が図１０に示すような人物の密集１４３によるものか（Ｓ７）、そうでないのか（Ｓ５あるいはＳ６）を判別することが可能になる。前記の０人あるいは１人と２人以上の区分には、異常挙動による滞留に対して発報する監視装置において、人物の密集１４３のようなエスカレータ１０１の利用者が多く特に異常事象でない状況において、滞留発報部８が発報することを抑止する効果がある。なお、人数推定部７が図５の処理フロー以外の方法により前記の０人あるいは１人と２人以上の２区分の人数推定をした場合にも、同様の効果を発揮する。
【００７５】
実施例１において、人数推定部７は、滞留が発生した時に、前記監視エリアの外から滞留箇所までの移動軌跡１５３あるいは、前記移動軌跡１５３と長期の変化の位置あるいは外接矩形１２５の位置情報から、滞留している検知対象（人物１１３）の挙動の種別を判別する、図示しない挙動判別部を備える。滞留発報部８は、挙動判別部で判別した結果に応じて、例えば警報部９の画面出力に描画するなどの制御を行ってもよい。図１１（ａ）は、移動軌跡１５３がステップ１１２付近まで伸びていて、外接矩形１５３がステップ１１２付近からデッキ１１０の手前にあることより、人物１１３がステップ１１２の付近で倒れの挙動をしていると滞留発報部８が判定した場面において、画面出力３０１上にステップ近くで倒れの文字列３１１ａを出力した例を示している。また、図１１（ｂ）は、移動軌跡１５３がハンドレール１１付近まで伸びていて、外接矩形１２５がハンドレール１１１にかかっていることより、人物１１３がハンドレール１１１にいたずらの挙動をしていると滞留発報部８が判定した場面において、画面出力３０１上にハンドレールいたずらの文字列３１１ｂを出力した例を示している。また、３１２は周囲に人がいなく危険であることを監視員に喚起する注意文の例である。３１２の文字列の文面（一人で危険）はあくまで例であり、他のものでもよい。なお、図１１（ａ）および（ｂ）において、文字列３１１ａおよび文字列３１１ｂ以外の構成要素、外接矩形１２５、移動軌跡１５３、文字列３１２は必須でないので省いてもよい。
【００７６】
更に、実施例１において、滞留発報部８は発報に重要度を付加して、人数推定部７が１人と推定した場合に高い重要度を付加し、人数推定部７が２人以上と推定した場合に低い重要度を付加して発報するようにしてもよい。滞留発報部８が発報に重要度を付加する場合、警報部９は警報装置１０６に対して、重要度の高いあるいは低いに応じたスピーカの音声出力やライトの明滅パターンを指示するか、あるいは低い重要度のときにはスピーカの音声出力やライトの明滅パターンを出力しないようにする。また、滞留発報部８が発報に重要度を付加する場合、警報部９は警報装置１０６に対して、制御装置１０５に重要度の高いあるいは低いに応じた運行の制御をおこなうか、重要度が高い場合にのみエスカレータ１０１の運行を制御するようにする。
【００７７】
また、滞留発報部８が発報に重要度を付加する場合、警報部９は画面出力３０１上の文字列３１２の内容を重要度に応じて切り替えるあるいは重要度が高い場合のみ描画するようにしてよい。
【００７８】
また、実施例１において、短期変化抽出部４は、連結領域１３３の代表辺１３６が検知エリア１２０内に収まる場合と収まらない場合とで、連結領域１３３を抽出した人物１１３がデッキ１１０の内側にいるのか外側にいるのか判定してもよい。例として、図１２（ａ）に、長い影がついた人物１１３ｐが、矢印１１７ｐの方向にデッキ１１０の横を通り過ぎる場面、図１２（ｂ）に、図１２（ａ）の場面において短期変化抽出部４が抽出した連結領域１３３ｐ、１３３ｐの外接矩形１３５ｐ、１３５ｐの代表辺１３６ｐ、１３６ｐの中心の代表点１３７ｐを、それぞれ示す。また、図１２（ｃ）に、人物１１３ｑが、矢印１１７ｑの方向にデッキ１１０の手前を通り過ぎる場面、図１２（ｄ）に、図１２（ｃ）の場面において短期変化抽出部４が抽出した連結領域１３３ｑ、１３３ｑの外接矩形１３５ｑ、１３５ｑの代表辺１３６ｑ、１３６ｑの中心の代表点１３７ｑを、それぞれ示す。代表辺１３６ｐおよび代表辺１３６ｑは、人物１１３ｐおよび人物１１３ｑがデッキ１１０の外にいるために、どちらも検知エリア１２０から大きくはみ出している。一方で、図４（ｃ）のように人物１１３がデッキ１１０上にいるときは、代表辺１３６はデッキ１１０上に収まっている。よって、短期変化抽出部４は、代表辺１３６が検知エリア１２０内に収まる場合と収まらない場合とで、連結領域１３３を抽出した人物１１３がデッキ１１０の内側にいるのか外側にいるのかの判定が可能である。
【００７９】
実施例１において、この代表点１３７ｐおよび１３７ｑは、軌跡抽出部６においてデッキ外に存在する人物から抽出した代表点１３７を短期変化蓄積部５に蓄積してしまうと、軌跡抽出部６はデッキ１１０外の人物１１３から誤った移動軌跡１５３を抽出してしまう。よって、短期変化抽出部４は代表辺１３６が検知エリア１２０からはみ出ている場合に代表点１３７を棄却すれば、デッキ１１０外の人物１１３の代表点１３７が短期変化蓄積部５に蓄積されることを防止できる。尚、短期変化蓄積部５が短期の変化そのものを蓄積する場合には、短期変化抽出部４は、デッキ１１０外（検知エリア１２０外）に存在する人物に対応する短期の変化を棄却し、短期変化蓄積部５に蓄積されるのを防止する。
【００８０】
実施例１において、カメラ１０３はデッキ１１０の付近を視野内に捉えることができれば、図２における１０３ｂのようにデッキ１１０の真上付近から捉える設置条件あるいは、１０３ｃのようにデッキ１１０の斜め前からからデッキ１１０の付近を捉える設置条件を適用してもよい。
【００８１】
また、カメラ１０３ｂのようにデッキ１１０の真上付近から捉える設置条件では、人物１１３の側面がほとんど入力画像上にみえなくなるので、人物１１３の縦方向の長さがカメラ１０３の入力画像と大きく異なる。よって、監視装置を複数地点においてカメラ１０３、１０３ｂ、１０３ｃのように異なる画角で適用する場合、入力画像上の人物１１３の画像上の大きさや移動速度、検知エリア１２０の大きさが地点毎に変わるので、地点情報記憶部１２はあらかじめ画角毎の情報を記憶しておき、カメラ１０３を設置する画角に合わせて情報を切り替えるようにしてもよい。あるいは、モニタ１０７にユーザインタフェースを設けて監視員からカメラ１０３の画角に関する情報を受け取り、監視員から受け取った画角に関する情報に応じて地点情報記憶部１２内の情報を切り替えるか微調整するようにしてもよい。
【００８２】
実施例１において、非特許文献２に示された時空間特徴による背景モデルでステップ１１２のような可動部の動きをあらかじめ学習しておき、図４（ｃ）に示すような短期変化抽出部４における連結領域１３２、および図３（ｃ）に示すような長期変化抽出部３による連結領域１２２を、ステップ１１２による定常的な変化として判断し、不要な情報として捨てることで、差分として抽出することを抑止することができる。前記時空間勾配による動的な背景モデルを短期変化抽出部４に適用した場合、人物１１３がステップ１１２を逆流した場合にも移動軌跡１５３を抽出し、エスカレータ１１２が下りで人物１１３がステップ１１２からデッキ１１０に進入したときに移動軌跡１５３を抽出することができる。
【００８３】
また、長期変化抽出部３において、連結領域１２３がデッキ１１０からはみでた部分を含んだ外接矩形１２５を抽出できる。前記デッキ１１０からはみでた部分を含んだ外接矩形１２５を抽出できれば、図１１（ｂ）のように人物１１３がデッキ１１０からはみ出たときにも、外接矩形１２５を人物１１３の全身をカバーするように抽出して、警報部９の描画を見易くできる。
【実施例２】
【００８４】
本発明の実施例２の機能ブロック図を図１３に示す。図１３において、画像取得部１、軌跡抽出部６、人数推定部７、滞留発報部８、警報部９、制御部１０、検知対象情報記憶部１１、地点情報記憶部１２は実施例１と同じ機能をはたす。また、エスカレータに適用した場合の装置構成例を図１４に示す。
【００８５】
図１４において、センサ２０３はなんらかの計測原理により人物１１３の有無を検知し、同時に人物１１３のデッキ１１０付近での場所に関係した情報を出力可能なセンサであり、デッキ１１０上の少なくとも一部をセンシング範囲に捉え、所定の動作周期で信号を出力している。
【００８６】
図１３において、センシング部２３は、所定の取り込み周期でセンサ２０３から信号を受け取り、長期変化抽出部３あるいは短期変化抽出部４の少なくとも一方に出力する。センサ２０３の計測原理には、レーザレーダやミリ波レーダなどによる測距離情報と設置情報から、地上面から所定の高さがある物体を人物１１３として抽出すると同時に測距離情報から人物１１３の場所を特定する方法や、指向性をもった感熱センサで体温に相当した温度の部分から人物１１３を検出しての場所を特定する方法が例に挙げられるが、この例に限らない。また、センサ２０３には、顔認識のように１枚の入力画像から人物１１３を検出し位置を特定するパターン認識を含む。センサ２０３がパターン認識の場合、カメラ１０３の入力画像を信号処理の入力としてよい。
【００８７】
図１３の機能構成において、センシング部２３は、センサ２０３により検出した人物１１３の検知情報を、長期の変化を長期変化抽出部３に出力するか、短期の変化を短期変化蓄積部５に出力するかの、少なくとも一方を行う。
【００８８】
長期変化抽出部３は、実施例１の方法による長期の変化の抽出、あるいはセンシング部２３からの長期の変化の受信の少なくともどちらか一方を行う。実施例２では、長期変化抽出部３は前記実施例１の方法による長期の変化の抽出を行う場合、実施例１と同じ背景作成部２を設ける。
【００８９】
短期変化蓄積部５は、実施例１の方法による短期の変化の、あるいはセンシング部２３からの短期の変化の受信の少なくともどちらか一方を行う。実施例２では、短期変化抽出部４が前記実施例１の方法による短期の変化の抽出を行う場合、実施例１と同じ短期変化抽出部３を設ける。
【００９０】
以上述べたように、実施例２では、実施例１の方法によって抽出した人物１１３の長期の変化および短期の変化に加えて、センサ２０３の信号から人物１１３の長期の変化あるいは短期の変化の少なくとも一方が抽出可能である。たとえば、カメラ１０３が可視光のカメラの場合、デッキ１１０上の特定の場所で外光が強く反射すれば実施例１の構成では人物１１３の長期の変化および短期の変化を安定して抽出することは困難であるが、実施例２ではレーザレーダのような外光の影響を受けにくいセンサをセンサ２０３とすれば、少なくともデッキ１１０上の一部の範囲を人物１１３の長期の変化あるいは短期の変化の抽出を補足して監視装置の全体の信頼度を向上させることができる。
【００９１】
また、実施例２では図１５の検知エリア１９０のようにデッキ１１０とステップ１１２の境界のような巻き込まれによる事故が発生しやすい特定の場所の付近を、高い精度のセンサ２０３で捉えておけば、検知エリア１９０の長期の変化を確実に捉えて、監視装置の全体の信頼度を向上させることができる。また、検知エリア１９０を捉えるセンサ２０３を測距離型のセンサにすれば、人物１１３が図３（ｂ）のように倒れている場合や、図７（ｂ）の位置にて立ち続けている場合とで、人物１１３の挙動を判別することができる。
【実施例３】
【００９２】
本発明の実施例３に係る監視装置の装置構成を図１６に示す。図１６において、通路３８３に設けられた扉３８１、扉３８１に備え付けられた認証装置３８２、扉３８１および認証装置３８２の付近に設けられた監視エリア３１０、および監視エリア３１０の付近を視野内にとらえたカメラ１０３、扉３８１の脇に備え付けられた制御装置１０５および警報装置１０６、画像処理装置１０４、モニタ１０７、伝送装置１０８、録画装置１０９を示す。図１６において通路３８３を往来する人物１１３を示している。
【００９３】
図１６において、扉３８１は開閉により人物１１３の通行をコントロールし、認証装置３８２はカードキーや指紋認証などの所定の認証手段により、認証手段で通行許可を与えた人物１１３に対して扉３８１が開くことを許可する。制御装置１０５は、扉３８１の開閉を制御し、警報装置１０６は監視エリア３１０付近の人物に向けて警報ができるライトあるいはスピーカを有する。１０４、１０７、１０８、１０９の各装置は、図１に示す実施例１の同一番号の装置と同じ機能を果たす。なお、実施例３では、監視エリア３１０内の特定部分に検知エリア３９０を設けたセンサ２０３を備えてもよい。
【００９４】
監視エリア３１０内に極端に長い時間に滞留する人物は、扉３８１の通行許可がないにも関わらず、認証装置３８２あるいは扉３８１に工作、あるいは通行許可を有す人物が来るのを待って通行許可をもった人物が扉３８１を開けた瞬間に不正に扉３８１を通行することを企んでいる可能性があり、異常行動として検知すべきである。また、監視エリア３１０内に人物が１人しかいない場合は、不正な扉３８１の通過を目撃する周囲の人物がいなくて危険度が高い。
【００９５】
よって、本実施例３では、センサ２０３がない場合には図１に示す実施例１の機能構成によって、またセンサ２０３がある場合には図１３に示す実施例２の機能構成によって、監視エリア３１０上の滞留を検知するとともに、監視エリア３１０上の人数を０人、１人、２人以上の区分で推定し、監視エリア３１０内の人数が１人で滞留している場合にのみ発報すること、あるいは監視エリア３１０内の人数が１人の場合の滞留に高い重要度を付与して発報することで、１人のときの滞留であることを特定して注意を促すことができ、安全管理及びセキュリティの面からも効果的に監視することができる。
【符号の説明】
【００９６】
１・・・画像取得部
２・・・背景作成部
３・・・長期変化抽出部
４・・・短期変化抽出部
５・・・短期変化蓄積部
６・・・軌跡抽出部
７・・・人数推定部
８・・・滞留発報部
９・・・警報部
１０・・・制御部
１１・・・検知対象情報記憶部
１２・・・地点情報記憶部
１０１・・・エスカレータ
１０３，１０３ａ，１０３ｂ・・・カメラ
１１０・・・乗り場デッキ
１１３・・・人物
【技術分野】
【０００１】
本発明は、監視カメラ等を用いて監視エリア内の画像を取得し、この取得画像を処理して監視員等に通報する監視装置に関する。
【背景技術】
【０００２】
監視カメラを目視により安全確認する監視員の負荷の軽減のために、撮影画像から画像認識によって事故の発生時の人物の挙動や、事故につながる危険行為といった異常挙動を検知し、監視員に発報する監視システムが普及しつつある。
【０００３】
前記の異常挙動のうち人物が特定の場所に居続ける滞留は、たとえば安全管理を目的とした監視システムでは人物が事故や負傷により動けない状況や、またセキュリティを目的とした監視システムでは家屋への進入の準備をしているなどの状況に結びつくために重要度が高い異常挙動である。
【０００４】
監視エリア内の滞留を検出する技術として、特許文献１ではエスカレータのデッキ付近を監視エリアとして、２時刻の撮影画像のフレーム間の差分の量が多いほど、また監視エリアの背景差分（監視エリアからの入力画像と背景画像との間の差分）の面積が広いほど、デッキ上にたくさんの乗客がいて混雑度が高いと推測する技術が開示されている。この特許文献１では、前記の方法により計算した混雑度を閑散時と混雑時の２レベルに区分し、閑散時にはデッキ上での座り込みやハンドレールへのいたずらといった乗客の異常挙動を検出し、混雑時には乗客の通行を妨げるような異常挙動は発生している可能性が低いとみなして異常挙動の検知は行わず、代わりに乗客の通行量を計測するように画像認識の内容を切り替えている。
【０００５】
また、一般に、取得した画像の時間的変化を分析することで人物の挙動及び移動等を検知する技術としては非特許文献１等が知られており、エスカレータの分野においても、取得した画像の時空間的特徴を抽出し、エスカレータの動きと人物の動きとを区別して認識することで、人物の異常行動を検知する技術が非特許文献２で提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−７２６４号公報
【非特許文献】
【０００７】
【非特許文献１】G. Bradski and J. Davis.著、「Real-time recognition of activity using temporal templates」、Third IEEE Workshop on Applications of Computer Vision(1996年12月)
【非特許文献２】村井泰裕， 藤吉弘亘， 数井誠人著、「時空間特徴に基づくエスカレータシーンにおける人の異常行動検知」、社団法人 情報処理学会 研究報告、ＣＶＩＭ、第１６４回、 ｐｐ． ２５１−２５８（２００８年９月）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
滞留の中でも特に滞留の当事者以外に周囲に人がいない状況は、たとえば安全管理を目的とした監視システムでは、事故発生時において周囲の人により事故の当事者が救助されることを期待できないので危険度が高く、またセキュリティを目的とした監視システムでは、他の人物からの人目によって犯罪が抑止されることが期待できないので危険度が高く、監視員は重点的に監視する必要がある。
【０００９】
また、非特許文献１又は２の様な画像処理によって人物の移動及び挙動を検知する監視システムにおいて、異常な挙動と類似した画像上の変化があっても、実際には監視エリア内に人物がいないシーンにおいては、監視システムから発報する必要はない。不要な発報は監視員に煩わしさを感じさせてしまうからである。
【００１０】
以上のことから、画像認識により滞留を検知する監視システムでは、滞留を検知するとともに、滞留時に監視エリア内にいるのが０人、１人、２人以上の区分で人数を推定することが望ましいことが判った。
【００１１】
そこで、特許文献１の技術を０人、１人、２人以上という人数推定に適用しようとすると、特許文献１に開示されている背景差分の面積が広いほど混雑度が高いという基準では、夕陽のように低い角度で照明光が差し込んで影が伸びる状況においては、影の部分で発生した面積が影響して誤判定してしまうという問題がある。たとえば人物がエスカレータのデッキ上に１人の場合に人物から長い影が伸びる状況では、影のために背景差分の面積が広くなってしまい、実際には乗客１人で閑散なのに混雑と判定してしまう可能性がある。また、ハンドレールなどの構造物の影が伸びる状況では、デッキ上に乗客が１人もいないにもかかわらず、ハンドレールなどの構造物の影によって背景差分の面積が広くなり、実際には乗客がひとりもいなく閑散なのに混雑と判定してしまう可能性がある。よって、特許文献１で開示されている技術では、監視エリア内の人数が０人の場合と１人あるいは２人以上の場合とを正確に判別できない。
また、特許文献１で開示されているもう１つの基準であるフレーム間の差分の面積が広いほど混雑度が高いという基準では、たとえば１人の乗客が転倒後に起き上がろうとしてもがいている状況では、乗客の動きによってフレーム間の差分の面積が広くなり、実際には乗客が１人しかおらず閑散なのに混雑していると誤判定してしまう可能性がある。また反対に、極度に混雑して多数の乗客が身動きできない状況では、乗客の動きが小さいためにフレーム間の差分の面積が狭くなり、実際にはたくさんの人物で混雑しているのに、閑散であると誤判定してしまう可能性がある。よって、特許文献１で開示されている技術を人数推定に適用しても、乗客が少数いる場合と多数いる場合とを区別できないので、監視エリア内の人数が０人あるいは１人の状況と２人以上の状況を正確に推定できない。
【００１２】
以上のことから、特許文献１の技術では、監視エリア内の人数が０人であるのか、１人であるのか、２人以上であるのかを正確に判別することは困難である。
【００１３】
一方、前記非特許文献１及び２は、人物の移動、エスカレータの動きと区別した人物の認識技術等で優れているが、監視エリア内にいる人物を０人、１人、２人以上の区分で人数を推定する思想は無く、監視エリア内の人数に着目することで、人物がいないシーンでの発報を軽減すること等については配慮されていない。
【００１４】
本発明は、このような従来の監視技術に鑑みて成されたもので、その主な目的とするところは、安全管理及びセキュリティの面から特に重要な人数である１人のみの状況を特定できるように人数を推定することで、監視エリア内を効果的に監視することのできる監視装置を提供することにある。
【００１５】
本発明の他の目的は、前記人数が１人であることを精度よく推定するとともに、検知対象の人数を０人、１人、２人以上に区分して推定するに好適な装置等を提供することにあるが、それらの目的については以下述べる実施の態様で詳述する。
【課題を解決するための手段】
【００１６】
前記主な目的を達成するため、本発明の特徴とするところは、監視エリア付近の入力画像を取得する画像取得手段と、前記画像取得手段からの入力画像を処理して、監視エリア内の検知対象の人数を０人、１人、２人以上の区分のうち１人か１人以外かを推定する人数推定手段と、前記監視エリア内の推定人数が１人のときの滞留を特定して外部に発報する滞留発報手段とを備えることである。これにより、監視エリア内の人数が０人又は２以上の場合と区別し、１人であることを特定して知らせることができるので、１人の滞留という特に重要な場面を特定して監視員等の注意を促すようにできる。
【００１７】
ここで、前記「監視エリア内の推定人数が１人のときの滞留を特定して外部に発報する」とは、滞留人数が１人のときを０人又は２以上の場合と区別して発報することであって、人数が１人以外の場合には発報しないようにしてもよいし、人数が１人以外の場合にも発報するが、信号の内容又は長さ等を変えたり、特定の信号を付加することで、０人又は２人以上の場合と１人の場合とを区別することも含む概念である。
【００１８】
本発明の他の特徴は、前記検知対象の人数が１人であることを精度よく推定するための構成、更には、検知対象の人数を０人、１人、２人以上に区分して推定するに好適な構成及びその応用例等の構成であるが、それらの特徴については以下述べる実施の態様で詳述する。
【発明の効果】
【００１９】
本発明によれば、監視エリア内の人数が１人であることを特定して注意を促すことができるので、安全管理及びセキュリティの面からも監視エリア内を効果的に監視することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例に係る監視装置の機能ブロック図。
【図２】本発明の一実施例をエスカレータに適用した場合の機器構成図。
【図３】本発明の一実施例に係る長期変化抽出部を説明する図。
【図４】本発明の一実施例に係る短期変化抽出部を説明する図。
【図５】本発明の一実施例に係る人数推定手段の処理フローを説明する図。
【図６】本発明の一実施例に係る人数推定手段の時間関係を補足する図。
【図７】本発明の一実施例に係る人物の移動軌跡の抽出手法を説明する図。
【図８】本発明の一実施例に係る影部分の移動軌跡の抽出手法を説明する図。
【図９】本発明の一実施例に係る人物の移動軌跡の抽出手法を説明する図。
【図１０】本発明の一実施例に係る密集した人物の移動軌跡の抽出手法を説明する図。
【図１１】本発明の一実施例に係る警報手段の画面表示例を説明する図。
【図１２】本発明の一実施例に係る短期変化抽出部を補足する図。
【図１３】本発明の他の実施例に係る監視装置の機能構成図。
【図１４】本発明の他の実施例をエスカレータに適用した場合の機器構成図。
【図１５】本発明の他の実施例の検知エリアを説明する図。
【図１６】本発明の更に他の実施例に係る監視装置の機器構成図。
【発明を実施するための形態】
【００２１】
以下、本発明にかかる監視装置の具体的な実施形態について、図面を参照しながら説明する。なお、本実施形態では、監視対象としてエスカレータに適用した場合を例に挙げて説明するが、本発明の監視装置はこれに限らず、エレベータ、建屋の内外等、人物が移動及び滞留する任意の場所に適用可能である。
【実施例１】
【００２２】
本発明の実施例１に係る監視装置の機能ブロック図を図１に示し、エスカレータの監視装置として適用した場合の装置構成例を図２に示す。本実施例１では、エスカレータのデッキを監視エリアとし、エスカレータの運行によって移動するステップやハンドレール付近における人物の滞留が、ステップやハンドレールに巻き込まれるような事故につながる恐れのある挙動として検知の対象としている。
【００２３】
図２において、１０１はエスカレータで、１１０はエスカレータの下部の乗り場のデッキ、１０３はデッキ１１０の後方からデッキ１１０の周囲を視野内にとらえたカメラ、１０４は画像処理装置、１０５はエスカレータ１０１の制御装置、１０６はエスカレータ１０１の乗客に向けてスピーカによる音声やライトの発光等により警報する警報装置、１０７は監視員に向けて画面出力や音声出力を行うモニタ、１０８はカメラ１０３の画像あるいは画像処理装置１０４の映像を遠隔に伝送する伝送装置、１０９はカメラ１０３の入力画像あるいは画像処理装置１０４の出力画像を連続的に記録する録画装置である。カメラ１０３は可視光の撮像装置に限らず、近赤外の撮像装置のように、デッキ１１０およびデッキ１１０付近の２次元的な像を取得する装置を適用することができる。
【００２４】
画像処理装置１０４の具体的機能ブロックを図１に示す。図１において、画像取得部１からの取得画像は、背景作成部２、長期変化抽出部３、短期変化抽出部４、短期変化蓄積部５、軌跡抽出部６、人数推定部７、滞留発報部８から構成される画像処理装置１０４により処理され、警報部９（図２では警報装置１０６に対応）及び制御部１０（図２では制御装置１０５に対応）へ出力する。
【００２５】
尚、画像処理装置１０４は匡体に納められた所定の計算機によって実現されるほか、カメラ１０３および制御装置１０５、警報装置１０６、モニタ１０７、伝送装置１０８、録画装置１０９の各機能との接続が可能であれば、機能の全てあるいは機能の一部を制御装置１０５、警報装置１０６、モニタ１０７、伝送装置１０８、録画装置１０９内の信号処理装置と共用してもよい。
【００２６】
また図１において、検知対象情報記憶部１１及び地点情報記憶部１２は、画像処理装置１０４に設けられた記憶部であって、画像取得部１、背景作成部２、長期変化抽出部３、短期変化抽出部４、短期変化蓄積部５、軌跡抽出部６、人数推定部７、滞留発報部８等の各機能ブロックの信号処理に必要なデータが格納されている。検知対象情報記憶部１１は検知対象の空間中における高さや幅といった大きさや、移動速度の情報を保持している。地点情報記憶部１２はカメラ１０３の入力画像上における領域の情報（例えば、入力画像上のどの領域がデッキに対応し、どの領域がステップに対応し、どの領域を検知エリアとするかなどの情報）や、カメラ１０３の地点毎に合わせた画像処理に必要なしきい値や、カメラ１０３の入力画像上における検知対象の画像上における高さや幅や移動速度の情報を保持している。
【００２７】
図１において、画像取得部１は、カメラ１０３から各フレームの入力画像を連続的に取得するように構成しているが、カメラ１０３の画像を記録したものを再生しても同等の機能を達成できる。また、画像取得部１からの取得画像は、背景作成部２、長期変化抽出部３、短期変化抽出部４、及び短期変化蓄積部５で処理及び記憶されるが、これらの部分が監視エリア内における検知対象の滞留を検知する手段を構成している。
【００２８】
以下、図１における各機能ブロックの処理内容について順次説明する。
【００２９】
短期変化抽出部４は、短期の変化として、２時刻［Ｔ−ΔＴ、Ｔ］の入力画像の差分から、画像上で短期に変化した部分を抽出する。図４（ａ）および（ｂ）は短期変化抽出部４の時刻Ｔ−ΔＴおよび時刻Ｔの入力画像の例を示し、１１１はハンドレール、１１２はステップ、１１３は人物、矢印１１７は人物１１３の移動方向である。図４（ａ）から図４（ｂ）の間に、人物１１３は、ステップ１１２に向けて歩行した分、入力画像内を下から上に少し移動している。短期変化抽出部４は、２時刻の画像から所定のしきい値以上に明度が変化した差分（短期の変化）を画素単位で抽出する。また、短期変化抽出部４は、前記短期の変化から、差分の連結領域を抽出する。
【００３０】
図４（ｃ）は、短期変化抽出部４の抽出結果の例として、図４（ａ）と図４（ｂ）から差分を抽出した結果の一例を示しており、１３２はステップ１１２の移動による差分の連結領域であり、１３３は人物１１３の移動による差分の連結領域である。この連結領域１３３は、２時刻［Ｔ−ΔＴ，Ｔ］の間の人物１１３の画面上の移動の輪郭に相当する。図４（ｃ）の例では人物１１３が入力画像において画面の下から上に移動するために、連結領域１３３は縦方向に移動量に相当した厚みを持っている。短期変化抽出部４は、図４（ｃ）の例のように、短期の変化から、連結領域１３３を抽出し、連結領域１３３から、連結領域１３３の外接矩形１３５、外接矩形１３５の代表辺１３６、代表辺１３６の代表点１３７を抽出する。
【００３１】
図４（ｃ）において、連結領域１３３が人物１１３の全体を捉えている場合、図２に示すようにデッキ１１０を斜め後ろから捉えるカメラ１０３の画角では、外接矩形１３５の底辺がデッキ１１０上にあるので、代表辺１３６は外接矩形１３５の底辺とする。この代表辺１３６の幅は人物１１３の幅に相当する。代表点１３７は代表辺１３６の中点であり、人物１１３の足元の左右の中心に相当する。
【００３２】
なお、人物１１３の形状が縦長であるために、画面上を下から上に移動するときには２時刻［Ｔ−ΔＴ、Ｔ］の間における人物１１３の横方向の移動が小さいために、２時刻［Ｔ−ΔＴ、Ｔ］の入力画像の間で差分をとったときに、図４（ｄ）のように人物１１３の側面で差分の連結領域が１３３ａ、１３３ｂのように、人物１１３の上部と下部に分断される場合がある。
【００３３】
図４（ｄ）のように人物１１３の差分の連結領域が分断された場合にも、個別の連結領域１３３ａ、１３３ｂから、外接矩形１３５ａ、１３５ｂ、代表辺１３６ａ、１３６ｂ、代表点１３７ａ、１３７ｂを抽出しておけば、少なくとも一方からは人物１１３の足元の座標を抽出できる。
【００３４】
なお、人物１１３が画面上を横方向に移動する場合には、連結領域１３３は左右に分断される可能性があるが、その場合も同様に分断されたそれぞれの連結領域に対して外接矩形、代表辺、代表点を求める。
【００３５】
また、連結領域１３３には、デッキ１１０上で反射した天井の照明の揺らぎのような微小なノイズが混じることがあるので、短期変化抽出部４は、外接矩形１３５の縦方法あるいは横方向の長さが、カメラ１０３の入力画像上における人物のサイズを見積もったしきい値未満のものである場合は、その外接矩形１３５を、ノイズとして棄却する。
【００３６】
以上の説明では、短期変化抽出部４が、短期の変化として、連結領域１３３を２時刻の入力画像上の同一画素の明度から差分を抽出する方法について述べたが、あくまでこれは一例であり、２時刻の入力画像それぞれからＲＧＢやＨＳＩのような色の特徴量や、エッジの特徴量などの特徴量を抽出して、同一画素における特徴量の差分から連結領域１３３を抽出してもよい。
【００３７】
また、連結領域１３３を抽出する方法としては、２時刻の同一画素の明度あるいは特徴量の変化を用いる方法以外にも、移動ベクトルにより入力画像上の動きある部分を抽出する方法で、連結領域１３３を抽出してもよい。また、短期変化抽出部４は、２時刻の入力画像を使う方法以外にも、非特許文献１に記載されたＭｏｔｉｏｎ Ｈｉｓｔｏｒｙ Ｉｍａｇｅのような２時刻以上の複数の時刻の入力画像上から動きを抽出する手法で連結領域１３３を抽出してもよい。
【００３８】
短期変化抽出部４は、以上述べた機能を所定の処理周期で繰り返す。そして、短期変化蓄積部５は、短期変化抽出部４が処理周期ごとに抽出した代表点１３７を時系列で蓄積する。
【００３９】
次に、背景作成部２は、異常挙動時の人物１１３の滞留の継続時間よりも十分にゆっくりとした周期で背景画像を更新することで、人物１１３が存在しない背景画像を生成する。この背景作成部２の背景画像の作成の方法には、たとえば短期変化抽出部４の変化が小さなフレームの画像を収集し、現時刻から所定時間内の収集画像から各画素のメジアンをとる方法が考えられるが、この例に限らない。
【００４０】
長期変化抽出部３は、長期の変化として、各フレームの入力画像と背景画像との間で変化している部分を抽出するために、入力画像と背景画像との間の差分である背景差分を求める。また、長期変化抽出部３は、求めた背景差分から、デッキ１１０上の背景差分の連結領域を求める。
【００４１】
図３は長期変化抽出部３を説明する図であり、図３（ａ）は背景作成部２が保持する背景画像の例を示し、１１１はハンドレール、１１２はステップを示している。図３（ｂ）は入力画像の例であり、１１３は人物であってステップ１１２に乗り損ねて倒れている。人物１１３はステップ１１２の近くで転倒しているために、移動するステップ１１２に靴やズボンのすそが巻き込まれる可能性があって危険である。図３（ｃ）は図３（ａ）と図３（ｂ）の間で同一画素において明度変化が所定のしきい値以上生じた部分であり、入力画像内における長期の差分（背景差分）を示している。図３（ｃ）において、１２０はデッキ１１０に対応した検知エリア、１２２はステップ１１２が背景画像と入力画像との間で移動した差分の連結領域であり、１２３は倒れた人物の差分の連結領域を示している。
【００４２】
長期変化抽出部３は、前記長期の変化から、検知エリア１２０内の入力画像と背景画像との差分である背景差分の連結領域を求めて、連結領域のうち面積が検知対象情報記憶部１１の保持する人物のサイズを想定したしきい値以上のものを有効な連結領域として選定し、有効な連結領域から外接矩形を求める。入力画像が図３（ａ）の場合、連結領域１２３を有効とし、連結領域１２３の外接矩形１２５を求める。また、長期変化抽出部３は、外接矩形１２５の場所を示す情報として、中心座標と縦横の長さを保持しておく。また、長期変化抽出部３は、連結領域１２３のように有効な連結領域を複数抽出した時は、外接矩形１２５のような外接矩形を複数抽出する。
【００４３】
さらに、長期変化抽出部３は、以上述べた方法で抽出した外接矩形１２５が一つ以上抽出された時刻を保持しておく。また、一つ以上の外接矩形１２５の検出が同じ場所で継続する場合、滞留であると判断し、その滞留が発生している時期を示す情報を、滞留の時期の情報として保持しておく。尚、ここで滞留の時期の情報は、例えば、滞留の開始時刻と終了時刻、あるいは、滞留の開始時刻と継続時間の長さなど、滞留の発生している時刻と長さを特定できる情報を含む。また、長期変化抽出部３は、滞留が発生している場所の情報についても保持しておく。
【００４４】
なお、図３において、ステップの移動による差分１２２は、検知エリア１２０外なので外接矩形１２５の抽出に影響を与えない。よって、長期変化抽出部３が差分を計算する範囲を検知エリア１２０内に限定してもよい。
【００４５】
以上の説明では、長期変化抽出部３が、長期の変化として連結領域１２３を背景画像と入力画像の同一画素の明度の変化から抽出すると述べたが、あくまでこれは一例であり、背景画像と入力画像それぞれからＲＧＢやＨＳＩのような色の特徴量や、エッジの特徴量などの特徴量を抽出して、同一画素における特徴量の差分から連結領域１２３を抽出してもよい。また、背景画像としては、一枚の画像を用いる方法以外に、各画素の明度を確率分布のパラメータで記述したものを背景画像とし、背景差分を演算する際には、この各画素の明度を確率分布のパラメータで記述した背景画像と入力画像との差分を演算するような方法をとってもよい。
【００４６】
次に、人数推定部７は、図５に示す処理フローによって検知エリア１２０上の人数を０人、１人、２人以上の区分で推定する。以下、図５の処理ステップＳ１〜Ｓ７、及び図６に示す人数推定時の時間関係を補足する図を適宜引用して、その処理内容を説明する。尚、図６（ａ）（ｂ）（ｃ）は、それぞれ、検知エリア内に０人、１人、２人以上がいる場合に対応する。
【００４７】
Ｓ１では、人数推定部７は、長期変化抽出部３での背景差分の抽出結果または滞留の抽出結果に基づき、滞留の最低継続時間である時間τ以上に滞留が継続しているか否かを判定する。滞留が時間τ以上に継続していなければ（Ｓ１でｎｏ）、検知エリア１２０上に人物１１３の滞留はないとみなして０人と推定する（Ｓ５）。
【００４８】
Ｓ１において、滞留が時間τ以上に継続している場合には、処理ステップＳ２に進む。このときの時間関係は図６（ａ）（ｂ）（ｃ）の何れかのようになっており、滞留の開始時刻を時刻Ｔ２、時刻Ｔ２から時間τだけ後を時刻Ｔ３とすると、時刻Ｔ２から時刻Ｔ３の間に滞留の継続期間２０１が存在する。
【００４９】
Ｓ２では、人数推定部７は、時刻Ｔ２の直前に、Ｓ１の滞留箇所に向けて検知エリア１２０の外（検知エリア１２０の端）から移動する移動軌跡があるか否かを判定する。
【００５０】
尚、Ｓ２における判定に用いられる移動軌跡の抽出は、軌跡抽出部６で行われる。検知エリア１２０の長さと、人物１１３の最低の移動速度から見積もった、人物１１３が検知エリア１２０を通過するのに最も長く要する最長通過時間を時間πとしたとき、時刻Ｔ２から時間πだけ遡った時刻Ｔ１と時刻Ｔ２との間において、軌跡抽出部６が前記移動軌跡を探索する。
【００５１】
軌跡抽出部６による移動軌跡の抽出を、人物１１３がデッキ１１０上において図３（ｂ）のように倒れた状態で時刻Ｔ２から時刻Ｔ３まで滞留した場面を例に挙げて説明する。図３（ａ）が背景画像であり図３（ｂ）が入力画像であるときに、長期変化抽出部３は、長期の変化（背景差分）から、人物１１３の連結領域１２３、連結領域１２３の外接矩形１２５を抽出している。図７（ａ）と図７（ｂ）は、時刻Ｔ２と時刻Ｔ１との間の時刻Ｔａから、時刻Ｔ２のまでの間に、人物１１３がデッキ１１０の外から矢印１１７の方向にステップ１１２の付近まで歩行した状況を示している。
【００５２】
図７（ａ）から図７（ｂ）の間、短期変化抽出部４は、動作周期ごとに短期の変化を抽出し、短期変化蓄積部５は、動作周期ごとの短期変化抽出部４の出力（代表点１３７）の時系列を蓄積している。軌跡抽出部６は、時刻Ｔ２から遡って短期変化蓄積部５に蓄積された代表点１３７の時系列から対応点を探索することで移動軌跡を抽出する。対応点の探索の方法には、隣接する２時刻の代表点１３７の最近傍点を探索し、最近傍の２つの代表点１３７の画像上の座標のずれが許容誤差の範囲内に収まる対応点同士を連結する方法が考えられるが、これに限らない。図７（ｃ）は、軌跡抽出部６が、図７（ａ）から図７（ｂ）の間の代表点１３７の移動軌跡１５３を抽出した例を示している。
【００５３】
なお、以上の説明では軌跡抽出部６が代表点１３７の時系列から移動軌跡１５３を抽出する方法を述べたが、軌跡抽出部６は代表点１３７以外のデータから移動軌跡１５３を求めてもよい。一例としては、非特許文献１では、連結領域１３３のような２時刻［Ｔ−ΔＴ、Ｔ］の人物１１３の変化（例えば、フレーム間差分）を累積させて、所定の時間の間に物体が移動した領域を特定する方法が記されてあり、これを利用して移動軌跡１５３を求めることも可能であり、前記実施例に限られるものではない。この場合、短期変化蓄積部５は、代表点１３７の時系列を蓄積することに代えて、短期の変化（例えばフレーム間差分）の時系列を蓄積するようにしてもよい。
【００５４】
例えば、図７に示すように、時刻Ｔ１より後の時刻Ｔａから時刻Ｔ２の期間に人物１１３がデッキ１１０の外からステップ１１２の付近まで歩行し、時刻Ｔ２から時刻Ｔ３の期間に、図３に示すように人物１１３がステップ１１２の付近で滞留した場面では、図６（ｂ）に示す時間関係となり、時刻Ｔ１から時刻Ｔ２の期間に図３および図７に示すように検知エリア１２０の外から外接矩形１２５まで移動軌跡１５３が伸びているために、Ｓ２の判定はｙｅｓとなる。尚、図６（ｂ）では、時刻Ｔａから時刻Ｔ２の間に、検知エリア１２０の外から滞留の箇所まで伸びる移動軌跡１５３の発生期間２０２が存在している。
【００５５】
一方、図８（ａ）（ｂ）のように時刻Ｔ２から時刻Ｔ３の間に、ハンドレール１１１から影１１５がデッキ１１０上に伸びることが継続した場面では、時刻Ｔ２から時刻Ｔ１まで遡っても、軌跡抽出部６はエスカレータ１０１付近の照明条件の動揺による影１１５の動揺によって図８（ｃ）に示すわずかな移動軌跡１５５を抽出するか、あるいはまったく移動軌跡を抽出しない。よって、Ｓ２の判定はｎｏとなり、人数推定部７はデッキ１１０内に滞留する人数を０人と推定する（Ｓ５）。この場合は、図６（ａ）に示す時間関係となる。
【００５６】
人数推定部７はＳ２の判定がｙｅｓであれば、少なくとも１人以上の人物１１３が時刻Ｔ１から時刻Ｔ２の間にデッキ１２０内に進入し、時刻Ｔ２から時刻Ｔ３の間に滞留したものと考え、Ｓ３に進む。
【００５７】
次に、Ｓ３では、人数推定部７は、時刻Ｔ１から時刻Ｔ２の間に、検知エリア１２０の外からいずれかの外接矩形１２５に伸びる移動軌跡１５３が２つ以上あるか否かを判定する。２つ以上あれば、時刻Ｔ１から時刻Ｔ２の間に２人以上の人物が進入して時刻Ｔ２から時刻Ｔ３の間に滞留したとみなして、人数推定部７はデッキ１１０内に滞留する人数を２人以上と推定する（Ｓ７）。Ｓ３の判定がｎｏの場合、Ｓ４に進む。
【００５８】
次に、Ｓ４では、人数推定部７は、時刻Ｔ２から時刻Ｔ３の間に移動軌跡（２人目の人物）が検知エリア１２０の外から検知エリア１２０に進入したか否かを判定する。図９（ａ）（ｂ）は、時刻Ｔ２から時刻Ｔ３の間に２人目の人物１１４がデッキ１１０の外からデッキ１１０の中に進入した例を示している。Ｓ４において、軌跡抽出部６は、Ｓ２と同様に時刻Ｔ２から時刻Ｔ３の間の代表点１３７の時系列から移動軌跡を探索し、図９（ｃ）のように検知エリア１２０の外から検知エリア１２０に進入する２人目の人物１１４の移動軌跡１５４が一つでも見つかればＳ４の判定はｙｅｓとなり、時刻Ｔ１から時刻Ｔ２の間に進入した人物１１３に加えて、時刻Ｔ２から時刻Ｔ３の期間に２人目の人物１１４あるいはそれ以上多くの人物が進入したとみなして、人数推定部７は人数を２人以上と推定する（Ｓ７）。この場合の時間関係は、例えば図６（ｃ）のようになる。図６（ｃ）において、２０３は人物１１３の移動軌跡１５３の発生期間で、２０４は人物１１４の移動軌跡１５４の発生期間に相当する。
【００５９】
反対に、Ｓ４の判定がｎｏの場合、時刻Ｔ２から時刻Ｔ３の間に新たな人物１１４の進入はないと考えて、人数推定部７はデッキ１１０内に滞留する人数を１人と推定する（Ｓ６）。
【００６０】
尚、図６（ｃ）では、検知エリア１２０内に２人以上の場合の一例を示しているが、これに限られず、他のパターンも存在する。例えば、Ｓ３で説明したように、時刻Ｔ１から時刻Ｔ２の間に２人以上の人物が進入して時刻Ｔ２から時刻Ｔ３の間に滞留した場合は、図６（ｃ）における移動軌跡の発生期間２０３、２０４のうち、２０３のみが存在（但し２人分の移動軌跡が存在）することもありうる。この場合でも、Ｓ３により２人以上と判定することが可能である。
【００６１】
次に、エスカレータ１０１が非常に混み合っている場合について図５ではどのような判定が行われるかを説明する。図１０（ａ）（ｂ）は、エスカレータ１０１が非常に混み合っていて、時刻Ｔ２から時刻Ｔ３の間に、人物の密集１４３が、デッキ１１０上を進んだり立ち止まったりを繰り返しながら、矢印１１７の方向に脈動的にゆっくりとステップ１１２に向かって進んでいる場面の例を示している。図１０（ａ）（ｂ）のような場面では、人物の密集１４３は、デッキ１１０上の広い範囲に居続けるので、図１０（ｃ）のように長期変化抽出部３において長期の変化から抽出された連結領域１７３の検知エリア１２０内における外接矩形１７５は、検知エリア１２０の広い範囲にまたがり、図５のＳ１の判定はｙｅｓとなる。
【００６２】
次にＳ２について述べると、まず人物の密集１４３は時刻Ｔ１から時刻Ｔ２の間も図１０（ａ）（ｂ）と同様にデッキ１１０上を脈動的に進み続けるので、時刻Ｔ１から時刻Ｔ２の間に短期変化抽出部４は図示しない連結領域１３３および代表点１３７を抽出している。そのような時、人物の密集１４３から抽出した移動軌跡は、多くの場合、人物の密集１４３中の人物が移動と停止を繰り返すことによって連結領域１３３が断続的に表れることによって、図１０（ｄ）の移動軌跡１６３ａ、１６３ｂ、１６３ｃように短く断片的になる。また、人物の密集１４３の中の人物が同時に動いた場合には、連結領域１３３が検知エリア１２０付近で一塊りになって代表点１３７が抽出できないことが生じる。Ｓ２では、検知エリア１２０の境界付近の人物の動きの状態によって、移動軌跡１６３ａのように検知エリア１２０の外から検知エリア１２０に進入する移動軌跡をとらえることができれば、外接矩形１７５が検知エリア１２０の広い範囲に広がっていることより、移動軌跡１６３ａは外接矩形１７５まで伸びて判定はｙｅｓとなりＳ３に進む。反対に、検知エリア１２０の境界付近の人物の動きの状態によって、Ｓ２において移動軌跡が１６３ｂや１６３ｃのように検知エリアの中央付近にしかない場合や移動軌跡が全くない場合には、Ｓ２の判定はｎｏになり、人数推定部７は０人と推定する（Ｓ５）。
【００６３】
Ｓ２の判定がｙｅｓの場合、次にＳ３では、移動軌跡１６３ａのような検知エリア１２０の外から伸びる移動軌跡が時刻Ｔ１から時刻Ｔ２の間に２つ以上存在すれば、判定はｙｅｓとなり人数推定部７は２人以上と推定する（Ｓ７）。Ｓ３の判定がｎｏの場合、次にＳ４では、移動軌跡１６３ａのような検知エリア１２０の外から伸びる移動軌跡が時刻Ｔ２から時刻Ｔ３の間に少なくとも１つ存在すれば、判定はｙｅｓとなり人数推定部７は２人以上と推定する（Ｓ７）。ここで、滞留の最低継続時間である時間τを十分に長くとれば、移動軌跡１６３ａのように検知エリア１２０の外から伸びるものを確実に抽出して、Ｓ４の判定がｎｏになることの抑止が可能である。
【００６４】
以上述べたように人数推定部７は、人物の密集１４３に対して、Ｓ２で０人と誤って判定することはあっても、Ｓ４で発報の対象となる１人と判定することはない。なお、人物の密集１４３に対して、人数推定部７がＳ２で０人と誤って判定してしまうことは、最長通過時間である時間πを滞留の最低継続時間である時間τと同程度に長くとれば抑止することが可能である。
【００６５】
前記の滞留の最低継続時間である時間τはあらかじめ見積もっておく。例えば、Ｓ１において人物１１３が立ち止まって時計を見るなどの正常挙動ではなく倒れているなどの異常挙動をして滞留していると判断できる時間を時間τ１とし、Ｓ３で人物の密集１４３から移動軌跡１６３ａが確実に抽出されるのに十分な長さの時間を時間τ２としたとき、時間τ１と時間τ２の最大値ｍａｘ（τ１，τ２）をもって時間τとする。時間τは地点情報記憶部１２に値を記憶しておく。最長通過時間である時間πは、デッキ１１０の空間での長さを人物１１３の空間での最低の移動速度で除算するか、検知エリア１２０の画像での長さを人物１１３の画像での最低の移動速度で除算することで計算できる。
【００６６】
軌跡抽出部６を補足すると、図４（ｄ）のように人物１１３の差分の連結領域が１３３ａや１３３ｂのように２つ以上に分断された場合でも、軌跡抽出部６は連結領域１３３ａや１３３ｂの代表点１３７ａや１３７ｂの時系列のデータから最近傍点を連結させることで、図４（ｃ）のように人物１１３の連結領域が分断されない場合と同様に移動軌跡１５３を抽出できる。このとき、複数の代表点１３７ａや１３７ｂの時系列から移動軌跡１５３が２つ以上抽出される可能性があるが、両者の距離が人物の大きさを考慮した許容誤差以内である移動軌跡１５３を１つに統合することで１人の人物１１３から１本の移動軌跡を抽出することが可能となる。
【００６７】
次に、滞留発報部８は、人数推定部７が検知エリア１２０に１人の人物１１３が滞留していると判定した時に限定して、即ち、０人でも２人以上でもなく、１人のときの滞留であることを特定して警報部９と制御部１０の少なくとも一方に発報を出力する。
【００６８】
警報部９は、滞留発報部８から発報を受け取ると、警報装置１０６のライトを明滅させることやスピーカの音声出力などによって、滞留する人物への注意喚起や、エスカレータ１０１の周囲の人物への救助の要請を行う。更に、警報部９は、滞留発報部８から発報を受け取ると、カメラ１０３の入力画像をモニタ１０７へ画面表示させ、あるいは伝送装置１０８から外部装置への送信を行わせ、あるいは録画装置１０９を制御して記録を行うよう制御する。
【００６９】
ここで警報部９は、滞留の発生に監視員の注意が引き付けられるように、所定周期でカメラ１０３の入力画像を明滅させるような、画面効果を加えてもよい。また警報部９は、モニタ１０７へ画面表示する入力画像の上に外接矩形１２５や移動軌跡１５３を描画して表示させるようにしてもよい。監視員は移動軌跡１５３を見ることで、人物１１３がデッキ１１０のどこから進入したか、また人物１１３がデッキ１１０上をどう移動したかを容易に把握できる。
【００７０】
警報部９は、画面描画を行う場合、描画画像あるいは描画画像とカメラ１０３の入力画像をモニタ１０７あるいは伝送装置１０８あるいは録画装置１０９に出力する。なお、図２の装置構成において、警報部９は、警報装置１０６、モニタ１０７、伝送装置１０８、録画装置１０９のうち、少なくとも１つ以上の装置があれば、機能を実現することができる。
【００７１】
最後に、制御部１０は、警報発報部８から発報を受け取ると、エスカレータ１０１の運行速度を低下させたり、エスカレータ１０１を緩停止させることで、滞留した人物の事故を防止したり、事故発生時の被害を軽減する。
【００７２】
以上述べた機能構成によって、本実施例１では、デッキ１１０上の滞留を検知するとともに、デッキ１１０上の人数を０人、１人、２人以上の区分で推定し、デッキ１１０上の人数が１人の場合の滞留時のみ発報すること、あるいはデッキ１１０上の人数が１人の場合の滞留に高い重要度を付与して発報することが可能である。なお、本実施例１は、人数推定部７が図５の処理フロー以外の方法により０人、１人、２人以上の区分で人数を推定した場合にも、同様の効果を発揮する。
【００７３】
実施例１では、人数推定部７の図５の処理フローにおいて、Ｓ３とＳ４を省いた場合、Ｓ１とＳ２の判定結果から、０人（Ｓ５）と、１人（Ｓ６）あるいは２人以上（Ｓ７）の２区分で人数を推定することができる。前記の０人と１人あるいは２人以上の区分には、滞留が継続した時に（Ｓ１でｙｅｓ）、滞留が図８に示すような影１１５のような人物１１３以外によるものか（Ｓ５）、人物１１３によるものか（Ｓ６あるいはＳ７）を判別することが可能になる。前記の０人と１人あるいは２人以上の２区分の人数推定には、滞留に対して発報する監視装置において、影１１５のような人物１１３以外の滞留に対して滞留発報部８が発報することを抑止する効果がある。なお、人数推定部７が図５のフロー以外の方法により、前記の０人と１人あるいは２人以上の２区分の人数推定をした場合にも、同様の効果を発揮する。
【００７４】
また、実施例１では、人数推定部７の図５の処理フローにおいて滞留が継続した時に（Ｓ１でｙｅｓ）、Ｓ２を省いてＳ１がｙｅｓのときにＳ３に移るようにした場合、Ｓ３がｙｅｓになった場合およびＳ３がｎｏでＳ４がｙｅｓの場合とそれ以外の場合とで、０人（Ｓ５）あるいは１人（Ｓ６）と、２人以上（Ｓ７）の２区分で人数を推定することができる。前記の０人あるいは１人と２人以上の２区分の人数推定には、滞留が継続した時に（Ｓ１でｙｅｓ）、滞留が図１０に示すような人物の密集１４３によるものか（Ｓ７）、そうでないのか（Ｓ５あるいはＳ６）を判別することが可能になる。前記の０人あるいは１人と２人以上の区分には、異常挙動による滞留に対して発報する監視装置において、人物の密集１４３のようなエスカレータ１０１の利用者が多く特に異常事象でない状況において、滞留発報部８が発報することを抑止する効果がある。なお、人数推定部７が図５の処理フロー以外の方法により前記の０人あるいは１人と２人以上の２区分の人数推定をした場合にも、同様の効果を発揮する。
【００７５】
実施例１において、人数推定部７は、滞留が発生した時に、前記監視エリアの外から滞留箇所までの移動軌跡１５３あるいは、前記移動軌跡１５３と長期の変化の位置あるいは外接矩形１２５の位置情報から、滞留している検知対象（人物１１３）の挙動の種別を判別する、図示しない挙動判別部を備える。滞留発報部８は、挙動判別部で判別した結果に応じて、例えば警報部９の画面出力に描画するなどの制御を行ってもよい。図１１（ａ）は、移動軌跡１５３がステップ１１２付近まで伸びていて、外接矩形１５３がステップ１１２付近からデッキ１１０の手前にあることより、人物１１３がステップ１１２の付近で倒れの挙動をしていると滞留発報部８が判定した場面において、画面出力３０１上にステップ近くで倒れの文字列３１１ａを出力した例を示している。また、図１１（ｂ）は、移動軌跡１５３がハンドレール１１付近まで伸びていて、外接矩形１２５がハンドレール１１１にかかっていることより、人物１１３がハンドレール１１１にいたずらの挙動をしていると滞留発報部８が判定した場面において、画面出力３０１上にハンドレールいたずらの文字列３１１ｂを出力した例を示している。また、３１２は周囲に人がいなく危険であることを監視員に喚起する注意文の例である。３１２の文字列の文面（一人で危険）はあくまで例であり、他のものでもよい。なお、図１１（ａ）および（ｂ）において、文字列３１１ａおよび文字列３１１ｂ以外の構成要素、外接矩形１２５、移動軌跡１５３、文字列３１２は必須でないので省いてもよい。
【００７６】
更に、実施例１において、滞留発報部８は発報に重要度を付加して、人数推定部７が１人と推定した場合に高い重要度を付加し、人数推定部７が２人以上と推定した場合に低い重要度を付加して発報するようにしてもよい。滞留発報部８が発報に重要度を付加する場合、警報部９は警報装置１０６に対して、重要度の高いあるいは低いに応じたスピーカの音声出力やライトの明滅パターンを指示するか、あるいは低い重要度のときにはスピーカの音声出力やライトの明滅パターンを出力しないようにする。また、滞留発報部８が発報に重要度を付加する場合、警報部９は警報装置１０６に対して、制御装置１０５に重要度の高いあるいは低いに応じた運行の制御をおこなうか、重要度が高い場合にのみエスカレータ１０１の運行を制御するようにする。
【００７７】
また、滞留発報部８が発報に重要度を付加する場合、警報部９は画面出力３０１上の文字列３１２の内容を重要度に応じて切り替えるあるいは重要度が高い場合のみ描画するようにしてよい。
【００７８】
また、実施例１において、短期変化抽出部４は、連結領域１３３の代表辺１３６が検知エリア１２０内に収まる場合と収まらない場合とで、連結領域１３３を抽出した人物１１３がデッキ１１０の内側にいるのか外側にいるのか判定してもよい。例として、図１２（ａ）に、長い影がついた人物１１３ｐが、矢印１１７ｐの方向にデッキ１１０の横を通り過ぎる場面、図１２（ｂ）に、図１２（ａ）の場面において短期変化抽出部４が抽出した連結領域１３３ｐ、１３３ｐの外接矩形１３５ｐ、１３５ｐの代表辺１３６ｐ、１３６ｐの中心の代表点１３７ｐを、それぞれ示す。また、図１２（ｃ）に、人物１１３ｑが、矢印１１７ｑの方向にデッキ１１０の手前を通り過ぎる場面、図１２（ｄ）に、図１２（ｃ）の場面において短期変化抽出部４が抽出した連結領域１３３ｑ、１３３ｑの外接矩形１３５ｑ、１３５ｑの代表辺１３６ｑ、１３６ｑの中心の代表点１３７ｑを、それぞれ示す。代表辺１３６ｐおよび代表辺１３６ｑは、人物１１３ｐおよび人物１１３ｑがデッキ１１０の外にいるために、どちらも検知エリア１２０から大きくはみ出している。一方で、図４（ｃ）のように人物１１３がデッキ１１０上にいるときは、代表辺１３６はデッキ１１０上に収まっている。よって、短期変化抽出部４は、代表辺１３６が検知エリア１２０内に収まる場合と収まらない場合とで、連結領域１３３を抽出した人物１１３がデッキ１１０の内側にいるのか外側にいるのかの判定が可能である。
【００７９】
実施例１において、この代表点１３７ｐおよび１３７ｑは、軌跡抽出部６においてデッキ外に存在する人物から抽出した代表点１３７を短期変化蓄積部５に蓄積してしまうと、軌跡抽出部６はデッキ１１０外の人物１１３から誤った移動軌跡１５３を抽出してしまう。よって、短期変化抽出部４は代表辺１３６が検知エリア１２０からはみ出ている場合に代表点１３７を棄却すれば、デッキ１１０外の人物１１３の代表点１３７が短期変化蓄積部５に蓄積されることを防止できる。尚、短期変化蓄積部５が短期の変化そのものを蓄積する場合には、短期変化抽出部４は、デッキ１１０外（検知エリア１２０外）に存在する人物に対応する短期の変化を棄却し、短期変化蓄積部５に蓄積されるのを防止する。
【００８０】
実施例１において、カメラ１０３はデッキ１１０の付近を視野内に捉えることができれば、図２における１０３ｂのようにデッキ１１０の真上付近から捉える設置条件あるいは、１０３ｃのようにデッキ１１０の斜め前からからデッキ１１０の付近を捉える設置条件を適用してもよい。
【００８１】
また、カメラ１０３ｂのようにデッキ１１０の真上付近から捉える設置条件では、人物１１３の側面がほとんど入力画像上にみえなくなるので、人物１１３の縦方向の長さがカメラ１０３の入力画像と大きく異なる。よって、監視装置を複数地点においてカメラ１０３、１０３ｂ、１０３ｃのように異なる画角で適用する場合、入力画像上の人物１１３の画像上の大きさや移動速度、検知エリア１２０の大きさが地点毎に変わるので、地点情報記憶部１２はあらかじめ画角毎の情報を記憶しておき、カメラ１０３を設置する画角に合わせて情報を切り替えるようにしてもよい。あるいは、モニタ１０７にユーザインタフェースを設けて監視員からカメラ１０３の画角に関する情報を受け取り、監視員から受け取った画角に関する情報に応じて地点情報記憶部１２内の情報を切り替えるか微調整するようにしてもよい。
【００８２】
実施例１において、非特許文献２に示された時空間特徴による背景モデルでステップ１１２のような可動部の動きをあらかじめ学習しておき、図４（ｃ）に示すような短期変化抽出部４における連結領域１３２、および図３（ｃ）に示すような長期変化抽出部３による連結領域１２２を、ステップ１１２による定常的な変化として判断し、不要な情報として捨てることで、差分として抽出することを抑止することができる。前記時空間勾配による動的な背景モデルを短期変化抽出部４に適用した場合、人物１１３がステップ１１２を逆流した場合にも移動軌跡１５３を抽出し、エスカレータ１１２が下りで人物１１３がステップ１１２からデッキ１１０に進入したときに移動軌跡１５３を抽出することができる。
【００８３】
また、長期変化抽出部３において、連結領域１２３がデッキ１１０からはみでた部分を含んだ外接矩形１２５を抽出できる。前記デッキ１１０からはみでた部分を含んだ外接矩形１２５を抽出できれば、図１１（ｂ）のように人物１１３がデッキ１１０からはみ出たときにも、外接矩形１２５を人物１１３の全身をカバーするように抽出して、警報部９の描画を見易くできる。
【実施例２】
【００８４】
本発明の実施例２の機能ブロック図を図１３に示す。図１３において、画像取得部１、軌跡抽出部６、人数推定部７、滞留発報部８、警報部９、制御部１０、検知対象情報記憶部１１、地点情報記憶部１２は実施例１と同じ機能をはたす。また、エスカレータに適用した場合の装置構成例を図１４に示す。
【００８５】
図１４において、センサ２０３はなんらかの計測原理により人物１１３の有無を検知し、同時に人物１１３のデッキ１１０付近での場所に関係した情報を出力可能なセンサであり、デッキ１１０上の少なくとも一部をセンシング範囲に捉え、所定の動作周期で信号を出力している。
【００８６】
図１３において、センシング部２３は、所定の取り込み周期でセンサ２０３から信号を受け取り、長期変化抽出部３あるいは短期変化抽出部４の少なくとも一方に出力する。センサ２０３の計測原理には、レーザレーダやミリ波レーダなどによる測距離情報と設置情報から、地上面から所定の高さがある物体を人物１１３として抽出すると同時に測距離情報から人物１１３の場所を特定する方法や、指向性をもった感熱センサで体温に相当した温度の部分から人物１１３を検出しての場所を特定する方法が例に挙げられるが、この例に限らない。また、センサ２０３には、顔認識のように１枚の入力画像から人物１１３を検出し位置を特定するパターン認識を含む。センサ２０３がパターン認識の場合、カメラ１０３の入力画像を信号処理の入力としてよい。
【００８７】
図１３の機能構成において、センシング部２３は、センサ２０３により検出した人物１１３の検知情報を、長期の変化を長期変化抽出部３に出力するか、短期の変化を短期変化蓄積部５に出力するかの、少なくとも一方を行う。
【００８８】
長期変化抽出部３は、実施例１の方法による長期の変化の抽出、あるいはセンシング部２３からの長期の変化の受信の少なくともどちらか一方を行う。実施例２では、長期変化抽出部３は前記実施例１の方法による長期の変化の抽出を行う場合、実施例１と同じ背景作成部２を設ける。
【００８９】
短期変化蓄積部５は、実施例１の方法による短期の変化の、あるいはセンシング部２３からの短期の変化の受信の少なくともどちらか一方を行う。実施例２では、短期変化抽出部４が前記実施例１の方法による短期の変化の抽出を行う場合、実施例１と同じ短期変化抽出部３を設ける。
【００９０】
以上述べたように、実施例２では、実施例１の方法によって抽出した人物１１３の長期の変化および短期の変化に加えて、センサ２０３の信号から人物１１３の長期の変化あるいは短期の変化の少なくとも一方が抽出可能である。たとえば、カメラ１０３が可視光のカメラの場合、デッキ１１０上の特定の場所で外光が強く反射すれば実施例１の構成では人物１１３の長期の変化および短期の変化を安定して抽出することは困難であるが、実施例２ではレーザレーダのような外光の影響を受けにくいセンサをセンサ２０３とすれば、少なくともデッキ１１０上の一部の範囲を人物１１３の長期の変化あるいは短期の変化の抽出を補足して監視装置の全体の信頼度を向上させることができる。
【００９１】
また、実施例２では図１５の検知エリア１９０のようにデッキ１１０とステップ１１２の境界のような巻き込まれによる事故が発生しやすい特定の場所の付近を、高い精度のセンサ２０３で捉えておけば、検知エリア１９０の長期の変化を確実に捉えて、監視装置の全体の信頼度を向上させることができる。また、検知エリア１９０を捉えるセンサ２０３を測距離型のセンサにすれば、人物１１３が図３（ｂ）のように倒れている場合や、図７（ｂ）の位置にて立ち続けている場合とで、人物１１３の挙動を判別することができる。
【実施例３】
【００９２】
本発明の実施例３に係る監視装置の装置構成を図１６に示す。図１６において、通路３８３に設けられた扉３８１、扉３８１に備え付けられた認証装置３８２、扉３８１および認証装置３８２の付近に設けられた監視エリア３１０、および監視エリア３１０の付近を視野内にとらえたカメラ１０３、扉３８１の脇に備え付けられた制御装置１０５および警報装置１０６、画像処理装置１０４、モニタ１０７、伝送装置１０８、録画装置１０９を示す。図１６において通路３８３を往来する人物１１３を示している。
【００９３】
図１６において、扉３８１は開閉により人物１１３の通行をコントロールし、認証装置３８２はカードキーや指紋認証などの所定の認証手段により、認証手段で通行許可を与えた人物１１３に対して扉３８１が開くことを許可する。制御装置１０５は、扉３８１の開閉を制御し、警報装置１０６は監視エリア３１０付近の人物に向けて警報ができるライトあるいはスピーカを有する。１０４、１０７、１０８、１０９の各装置は、図１に示す実施例１の同一番号の装置と同じ機能を果たす。なお、実施例３では、監視エリア３１０内の特定部分に検知エリア３９０を設けたセンサ２０３を備えてもよい。
【００９４】
監視エリア３１０内に極端に長い時間に滞留する人物は、扉３８１の通行許可がないにも関わらず、認証装置３８２あるいは扉３８１に工作、あるいは通行許可を有す人物が来るのを待って通行許可をもった人物が扉３８１を開けた瞬間に不正に扉３８１を通行することを企んでいる可能性があり、異常行動として検知すべきである。また、監視エリア３１０内に人物が１人しかいない場合は、不正な扉３８１の通過を目撃する周囲の人物がいなくて危険度が高い。
【００９５】
よって、本実施例３では、センサ２０３がない場合には図１に示す実施例１の機能構成によって、またセンサ２０３がある場合には図１３に示す実施例２の機能構成によって、監視エリア３１０上の滞留を検知するとともに、監視エリア３１０上の人数を０人、１人、２人以上の区分で推定し、監視エリア３１０内の人数が１人で滞留している場合にのみ発報すること、あるいは監視エリア３１０内の人数が１人の場合の滞留に高い重要度を付与して発報することで、１人のときの滞留であることを特定して注意を促すことができ、安全管理及びセキュリティの面からも効果的に監視することができる。
【符号の説明】
【００９６】
１・・・画像取得部
２・・・背景作成部
３・・・長期変化抽出部
４・・・短期変化抽出部
５・・・短期変化蓄積部
６・・・軌跡抽出部
７・・・人数推定部
８・・・滞留発報部
９・・・警報部
１０・・・制御部
１１・・・検知対象情報記憶部
１２・・・地点情報記憶部
１０１・・・エスカレータ
１０３，１０３ａ，１０３ｂ・・・カメラ
１１０・・・乗り場デッキ
１１３・・・人物
【特許請求の範囲】
【請求項１】
監視エリア付近の入力画像を取得する画像取得手段と、
前記画像取得手段からの入力画像を処理して、監視エリア内の検知対象の人数を０人、１人、２人以上の区分のうち１人か１人以外かを推定する人数推定手段と、
前記監視エリア内の推定人数が１人のときの滞留を特定して外部に発報する滞留発報手段とを備えたことを特徴とする監視装置。
【請求項２】
監視エリア付近の入力画像を取得する画像取得手段と、
前記画像取得手段からの入力画像を用いて監視エリア内における検知対象の滞留を検知する滞留検知手段と、
前記監視エリア内で検知対象が移動する軌跡を抽出する移動軌跡抽出手段と、
前記滞留検知手段からの滞留情報及び前記移動軌跡抽出手段からの移動軌跡情報を用いて、前記監視エリア内の検知対象の人数を０人、１人、２人以上の区分のうち１人か１人以外かを推定する人数推定手段と、
前記監視エリア内の推定人数が１人のときの滞留を特定して外部に発報する滞留発報手段とを備えたことを特徴とする監視装置。
【請求項３】
監視エリア付近の入力画像を取得する画像取得手段と、
背景画像を作成する背景作成部、長期の変化として前記入力画像と前記背景画像との間で変化している部分を抽出するとともに前記長期の変化から滞留の場所と時期を抽出する長期変化抽出部、短期の変化として２時刻以上の前記入力画像から画像上で短期に変化している部分を抽出する短期変化抽出部、及び前記短期の変化の時系列または前記短期の変化から抽出された情報を蓄積する短期変化蓄積部とから、前記監視エリア内における検知対象の滞留を検知する滞留検知手段と、
前記短期の変化の時系列または前記短期の変化から抽出された情報の時系列の蓄積から移動軌跡を抽出する移動軌跡抽出手段と、
前記滞留と前記移動軌跡それぞれが発生した時期と場所から、前記監視エリア内の検知対象の人数を０人、１人、２人以上の区分のうち１人か１人以外かを推定する人数推定手段と、
前記監視エリア内の推定人数が１人のときの滞留を特定して外部に発報する滞留発報手段とを備えたことを特徴とする監視装置。
【請求項４】
請求項１〜３記載のいずれかの監視装置において、前記滞留発報手段からの出力に応じて、画面出力あるいは音声出力の少なくとも一方により警報する警報手段又は前記監視エリア付近の装置を制御する制御手段の少なくとも一方を備えることを特徴とする監視装置。
【請求項５】
請求項２又は３記載の監視装置において、前記人数推定手段は、前記滞留の検知が継続した直前において前記監視エリアの外から前記滞留の場所まで移動軌跡が検知されない場合に、前記監視エリア内の人数を０人と推定し、残りの場合の人数を１人あるいは２人以上と推定することを特徴とする監視装置。
【請求項６】
請求項２又は３記載の監視装置において、前記人数推定手段は、前記滞留の検知が継続した直前において前記監視エリアの外から前記滞留の場所まで移動軌跡が検知されるとともに前記監視エリア内に前記滞留の検知が継続している間に前記監視エリアの外から前記監視エリア内に進入した前記移動軌跡が１つ以上検知された場合、あるいは前記監視エリア内に前記滞留が継続した直前に前記監視エリアの外から前記監視エリア内に進入した前記移動軌跡が２つ以上検知された場合には、前記監視エリア内の検知対象を２人以上と推定し、残りの場合の人数を０人あるいは１人と推定することを特徴とする監視装置。
【請求項７】
請求項３記載の監視装置において、前記短期の変化から抽出された情報は、前記短期の変化から抽出された連結領域の外接矩形の代表辺の代表点であることを特徴とする監視装置。
【請求項８】
請求項３記載の監視装置において、前記短期変化抽出部は、前記短期の変化、または、前記短期の変化から抽出された情報の位置から、前記短期の変化を抽出した検知対象が前記監視エリア内にいるか監視エリア外にいるのかを判別し、前記監視エリア外にいる場合には、対応する前記短期の変化または対応する前記短期の変化から抽出された情報を棄却することを特徴とする監視装置。
【請求項９】
請求項４記載の監視装置において、前記警報手段は、前記滞留発報手段からの出力に応じて、前記監視エリアの外から滞留箇所までの移動軌跡を画面出力することを特徴とする監視装置。
【請求項１０】
請求項２又は請求項３記載の監視装置において、前記人数推定部は、前記滞留が発生した時に、前記監視エリアの外から滞留箇所までの移動軌跡、又は前記移動軌跡と前記長期の変化の位置あるいは外接矩形の位置情報から、滞留している検知対象の挙動の種別を判定する挙動判別手段を備えたことを特徴とする監視装置。
【請求項１１】
請求項１〜３記載のいずれかの監視装置において、前記監視エリアの少なくとも一部を捉えるセンサを前記画像取得手段とは別に備え、前記人数推定手段は、前記画像取得手段からの入力画像と前記センサからのエリア情報を用いて、前記監視エリア内の検知対象の人数を推定することを特徴とする監視装置。
【請求項１２】
請求項３記載の監視装置において、前記監視エリアの少なくとも一部を捉えるセンサを前記画像取得手段とは別に備え、前記センサが前記監視エリア内の検知対象にかかわる長期の変化あるいは短期の変化を抽出して、前記背景作成部による長期の変化に置き換えるか、前記短期変化抽出部による短期の変化に置き換えるか、前記背景作成部による長期の変化を補うか、前記短期変化抽出部による短期の変化を補うか、少なくともいずれか一つを行うことを特徴とする監視装置。
【請求項１３】
請求項１〜３記載のいずれかの監視装置において、前記画像取得手段の監視エリアをエスカレータのデッキ部に設定することにより、前記エスカレータの監視を行うことを特徴とする監視装置。
【請求項１】
監視エリア付近の入力画像を取得する画像取得手段と、
前記画像取得手段からの入力画像を処理して、監視エリア内の検知対象の人数を０人、１人、２人以上の区分のうち１人か１人以外かを推定する人数推定手段と、
前記監視エリア内の推定人数が１人のときの滞留を特定して外部に発報する滞留発報手段とを備えたことを特徴とする監視装置。
【請求項２】
監視エリア付近の入力画像を取得する画像取得手段と、
前記画像取得手段からの入力画像を用いて監視エリア内における検知対象の滞留を検知する滞留検知手段と、
前記監視エリア内で検知対象が移動する軌跡を抽出する移動軌跡抽出手段と、
前記滞留検知手段からの滞留情報及び前記移動軌跡抽出手段からの移動軌跡情報を用いて、前記監視エリア内の検知対象の人数を０人、１人、２人以上の区分のうち１人か１人以外かを推定する人数推定手段と、
前記監視エリア内の推定人数が１人のときの滞留を特定して外部に発報する滞留発報手段とを備えたことを特徴とする監視装置。
【請求項３】
監視エリア付近の入力画像を取得する画像取得手段と、
背景画像を作成する背景作成部、長期の変化として前記入力画像と前記背景画像との間で変化している部分を抽出するとともに前記長期の変化から滞留の場所と時期を抽出する長期変化抽出部、短期の変化として２時刻以上の前記入力画像から画像上で短期に変化している部分を抽出する短期変化抽出部、及び前記短期の変化の時系列または前記短期の変化から抽出された情報を蓄積する短期変化蓄積部とから、前記監視エリア内における検知対象の滞留を検知する滞留検知手段と、
前記短期の変化の時系列または前記短期の変化から抽出された情報の時系列の蓄積から移動軌跡を抽出する移動軌跡抽出手段と、
前記滞留と前記移動軌跡それぞれが発生した時期と場所から、前記監視エリア内の検知対象の人数を０人、１人、２人以上の区分のうち１人か１人以外かを推定する人数推定手段と、
前記監視エリア内の推定人数が１人のときの滞留を特定して外部に発報する滞留発報手段とを備えたことを特徴とする監視装置。
【請求項４】
請求項１〜３記載のいずれかの監視装置において、前記滞留発報手段からの出力に応じて、画面出力あるいは音声出力の少なくとも一方により警報する警報手段又は前記監視エリア付近の装置を制御する制御手段の少なくとも一方を備えることを特徴とする監視装置。
【請求項５】
請求項２又は３記載の監視装置において、前記人数推定手段は、前記滞留の検知が継続した直前において前記監視エリアの外から前記滞留の場所まで移動軌跡が検知されない場合に、前記監視エリア内の人数を０人と推定し、残りの場合の人数を１人あるいは２人以上と推定することを特徴とする監視装置。
【請求項６】
請求項２又は３記載の監視装置において、前記人数推定手段は、前記滞留の検知が継続した直前において前記監視エリアの外から前記滞留の場所まで移動軌跡が検知されるとともに前記監視エリア内に前記滞留の検知が継続している間に前記監視エリアの外から前記監視エリア内に進入した前記移動軌跡が１つ以上検知された場合、あるいは前記監視エリア内に前記滞留が継続した直前に前記監視エリアの外から前記監視エリア内に進入した前記移動軌跡が２つ以上検知された場合には、前記監視エリア内の検知対象を２人以上と推定し、残りの場合の人数を０人あるいは１人と推定することを特徴とする監視装置。
【請求項７】
請求項３記載の監視装置において、前記短期の変化から抽出された情報は、前記短期の変化から抽出された連結領域の外接矩形の代表辺の代表点であることを特徴とする監視装置。
【請求項８】
請求項３記載の監視装置において、前記短期変化抽出部は、前記短期の変化、または、前記短期の変化から抽出された情報の位置から、前記短期の変化を抽出した検知対象が前記監視エリア内にいるか監視エリア外にいるのかを判別し、前記監視エリア外にいる場合には、対応する前記短期の変化または対応する前記短期の変化から抽出された情報を棄却することを特徴とする監視装置。
【請求項９】
請求項４記載の監視装置において、前記警報手段は、前記滞留発報手段からの出力に応じて、前記監視エリアの外から滞留箇所までの移動軌跡を画面出力することを特徴とする監視装置。
【請求項１０】
請求項２又は請求項３記載の監視装置において、前記人数推定部は、前記滞留が発生した時に、前記監視エリアの外から滞留箇所までの移動軌跡、又は前記移動軌跡と前記長期の変化の位置あるいは外接矩形の位置情報から、滞留している検知対象の挙動の種別を判定する挙動判別手段を備えたことを特徴とする監視装置。
【請求項１１】
請求項１〜３記載のいずれかの監視装置において、前記監視エリアの少なくとも一部を捉えるセンサを前記画像取得手段とは別に備え、前記人数推定手段は、前記画像取得手段からの入力画像と前記センサからのエリア情報を用いて、前記監視エリア内の検知対象の人数を推定することを特徴とする監視装置。
【請求項１２】
請求項３記載の監視装置において、前記監視エリアの少なくとも一部を捉えるセンサを前記画像取得手段とは別に備え、前記センサが前記監視エリア内の検知対象にかかわる長期の変化あるいは短期の変化を抽出して、前記背景作成部による長期の変化に置き換えるか、前記短期変化抽出部による短期の変化に置き換えるか、前記背景作成部による長期の変化を補うか、前記短期変化抽出部による短期の変化を補うか、少なくともいずれか一つを行うことを特徴とする監視装置。
【請求項１３】
請求項１〜３記載のいずれかの監視装置において、前記画像取得手段の監視エリアをエスカレータのデッキ部に設定することにより、前記エスカレータの監視を行うことを特徴とする監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１４３０２（Ｐ２０１２−１４３０２Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１４８４１３（Ｐ２０１０−１４８４１３）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]