説明

映像監視システム

【課題】
高精度なカメラ異常検知を実現し、カメラ異常が発生した場合の警告を即座に発することを可能とする映像監視システムを提供すること。
【解決手段】
撮像機器からの信号を取得する映像取得部と、前記映像取得部から得られた入力画像を用いて認識処理を施す画像認識部と、前記入力画像から動き検知情報を取得する動き検知部と、ユーザにより設定する該監視エリアの基準画像を登録する基準画像登録部と、前記基準画像の特徴を算出し保存領域で保持する基準画像記録部と、前記基準画像の特徴と前記入力画像の基準変化量を算出し、前記動き検知情報と前記基準変化量から前記撮像機器の異常を判定するカメラ異常検知手段を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラなどの撮像装置から映像を取得し、カメラへの悪戯や機器不良による映像取得不良を検知する機能を有する映像監視システムに係わる。
【背景技術】
【0002】
カメラから取得した映像から画像認識により監視エリアに現れる人や車両などの移動物体を検知する機能を有する映像監視システムは、検出結果を利用することで移動物体の出現した映像のみ記録する機能や、表示装置の警告アイコンの表示、またブザー等を鳴らして監視員の注意を促すことができるため、従来の常時確認作業が必要であった監視業務の負担低減に役立つ。
【0003】
また、前述の映像監視システムでは、窃盗などの不正行為が発生した場合、記録した映像を事後の犯罪立証に役立てることも可能である。
【0004】
このような映像監視システムに対して、証拠となる映像を取得されないよう、犯行者がカメラの撮像角度を変更する行為や、カメラ前に遮蔽物を置く、カメラを破壊するなどの行為が問題視されている。また撮像機器自体の故障が発生した場合であっても映像が取得できないため、映像監視システムが無力化する恐れがあり、監視員等へ機器の異常を知らせカメラの異常を修復し映像監視システムを復旧させる必要がある。
【0005】
この問題に対処するため、基準となる正常な画像を保持し、その画像と入力画像との比較を行いカメラの異常を検知する方法が例えば特許文献1として知られている。
【0006】
【特許文献1】特開2000−222646号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1では画像の輝度値の変化量に着目した方法であり、基準となる画像と入力画像において、所定以上の輝度値変化が発生した画素の割合を求め、一定以上の変化画素があった場合に、カメラへの妨害行為として発報する構成である。この構成の場合、遮蔽物やカメラ画角の変更で明らかに妨害行為となる条件では発報することは可能であるが、レンズに対して例えば撮像ボケ(本願において、ボケとは、画像のはっきりとせず、ぼやけている状態を意味するものとする)が発生し得るような状況の判断が困難な事象では失報となる可能性がある。逆に照明条件の変化や天候変動などの正常な変化の場合に誤報が多発することも考えられる。
【0008】
本発明の目的は、以上の問題を解決するもので、撮像ボケや照明条件の変化や天候変動が生じる状況においても正確なカメラ異常検知を実現する映像監視システムを提供することにある。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明における映像監視システムは、1台以上のカメラなどの撮像機器からの信号を取得する映像取得部とカメラからの信号を取得する映像取得部と、該映像取得部からの入力画像から基準画像を登録する手段と、前記基準画像と前記入力画像の撮像ボケの相違を検出する撮像ボケ検出手段と、前記基準画像と前記入力画像の類似度を算出する類似度算出手段と、前記撮像ボケの相違と前記類似度とから前記カメラの異常を判定するカメラ異常検知手段と、を備える。
【発明の効果】
【0010】
本発明によれば、撮像ボケや照明条件の変化や天候変動が生じる状況においてもカメラから入力される映像の異常を検知することが可能な映像監視システムを提供することが可能となる。
【発明を実施するための最良の形態】
【0011】
以下に本発明における3つの実施例を示す。各実施例は、撮像ボケや照明条件の変化や天候変動が生じる状況においてもカメラから入力される映像の異常を検知するという本発明の目的を小さくとも達成するものである。
【実施例1】
【0012】
以下に、本発明の一実施形態について図面を参照しながら説明する。図1はカメラ異常検知を映像監視システムに適用した場合の構成であり、ハードウェアとしてはCPUを備えた電子計算機システムにより構成され、夫々の機能が実行されるようになっている。1台のTVカメラなどの撮像装置から得られる信号を映像として取得する映像取得部10,映像取得部10より得られた画像データを入力として画像認識処理を行う画像認識部20,画像認識部20で算出した結果を用いて記録制御,記録映像の圧縮率や記録間隔を制御する記録制御部30,画像認識部20の結果や映像取得部10の映像をモニタ等に出力したり、ブザーなどの警報を発する出力部40、基準画像の登録や種々の設定値をユーザインターフェースなどにより入力する入力部50で構成される。
【0013】
映像取得部10においてはリアルタイムのカメラからの画像データや、画像データが記録されている映像記録装置などから入力された映像信号から1次元配列もしくは2次元配列の画像データとして取得する。この画像データにおいては、ノイズやフリッカなどの影響を低減するために、前処理として平滑化フィルタや輪郭強調フィルタ,濃度変換などの処理を施してもよい。また、用途に応じてRGBカラーやモノクロなどのデータ形式を選択してもよい。さらには、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。
【0014】
画像認識部20においては、映像取得部10より取得した映像から映像内の動きを検知する動き検知部100,画像取得部10からの画像から入力部50により基準画像を設定する基準画像登録部200,基準画像登録部200で登録した画像を保持する基準画像記憶部300,動き検知部100で算出した結果と映像取得部10より取得した映像と基準画像記憶部300に確保された基準画像とからカメラの異常を検知するカメラ異常検知部400によって構成される。
【0015】
次に、画像認識部20の処理の詳細について説明する。図2は動き検知部100の内部処理の構成図である。映像取得部10により取得した画像データの特徴を抽出する特徴抽出手段101,映像取得部10により取得した画像データから比較基準となる背景画像を生成する背景画像生成手段102,特徴抽出手段101により抽出された画像データの特徴と背景画像を比較し変化部分を抽出する変化抽出手段103で構成される。
【0016】
特徴抽出手段101で取得される特徴は入力画像の各画素で算出される明度値やRGB値,ソーベルオペレータなどの微分フィルタによって算出されるエッジ強度や方向など任意のオペレータによって算出される特徴量、またそれらを統合した特徴ベクトルを用いてよい。それぞれの特徴量によって環境変動に対するロバスト性や検出精度は異なり、状況に応じた特徴量の決定が必要であるが、本実施例では最も一般的である明度値を選択する。
【0017】
次に背景画像生成手段102について説明する。背景画像生成手段102で生成される背景画像は、移動物体を含まずに時々刻々と変化する天候や照明条件などの環境変化に適応した画像が理想である。これは、移動物体を含む背景画像と入力画像を比較した場合、背景画像に含まれる移動物体が変化として検出される可能性があり、また環境変化に追従しなければ、背景画像と入力画像の照明変動による明るさの変化を検出してしまう場合があるためである。そのため本実施例において、背景画像生成手段102では後述する変化抽出手段103の結果を利用し、一定期間に取得される画像から移動物体の影響を除去した画像を平均化するなど、統計処理を施すことで移動物体を含まない画像を再構成する手法を用いる。また、背景画像は監視員による登録できるようにすることにより、移動物体を含まず、環境変化に対応した背景画像を生成することが可能で、移動物体を精度よく検出することができる。その他、カメラ内の映像は、天候や季節により日照条件が異なるため、夫々の状況に応じた画像を複数保持し、この画像を時刻や季節,明るさの情報を用いて自動的に更新することもできる。このようにすることで誤報を低減すことができる。
【0018】
次に変化抽出手段103について述べる。ここでは、画素単位での算出方法や注目画素周辺の局所領域で判定する方法、背景画像に対して、数フレームの入力画像によって時間軸方向に判定基準を拡張する方法が考えられるが、本実施例では、画素単位での差分演算による算出方法を選択する。具体的な算出方法を以下に説明する。画像データを2次元配列とした場合、任意のx座標とy座標である画素位置pはp=(x,y)と表現する。この画素位置pにおける背景画像の明度値をBp、入力画像の明度値をIpと表す。ここで背景画像と入力画像との画素位置pにおける変化量Δpは、Δp=Bp−Ipで算出する。このΔp が所定のしきい値以上の場合、移動物体に含まれる画素であると判定する。この判定を画像全体に施せば、移動物体の領域を抽出することが出来る。しかしながら画素単位ではノイズ等に反応する場合があり、移動物体の領域の過検出や虫食い状態が発生する場合があるため、抽出した画素の膨張収縮処理などにより、移動物体と判定した領域の整形処理を施す。変化抽出手段103の結果はカメラ異常検知部400に出力される。同じく記録制御部30にも出力され、動き検知による記録制御を行うことも可能である。
【0019】
次にカメラ異常検知に用いる基準画像登録部200に関して図3を用いて述べる。ここでは特徴抽出手段201によって前述の特徴抽出手段101と同様に、入力部50より指定した基準画像の特徴を取得する。基準画像は監視カメラの設置された監視対象エリアの代表画像として、監視員および保守員が図4に示すようなユーザインターフェースを介して、入力されたライブ映像から基準画像を確認や登録,更新などをすることが可能である。この操作は入力部50により行われ、その映像は出力部40によりモニタ表示する。ここで登録された画像は基準画像記憶部300に保持される。また、基準画像は前述の背景画像生成手段102と同様に、移動物体を含まずに時々刻々と変化する天候や照明条件などの環境変化に適応した画像となるように自動で登録と更新がされるようにしても良い。
【0020】
次にカメラ異常検知部400について図5を用いて説明する。カメラ異常検知部400では、映像取得部10,基準画像記憶部300,動き検知部100のデータを入力にして最終的にカメラ異常判定手段403により、カメラの異常度を判定する。先ず特徴抽出手段401により、入力画像の特徴を算出する。監視エリアの構造を的確に捉えるためには輪郭情報が有効なため、画像の微分フィルタによりエッジ強調を行い特徴量とする。また画像全体の輝度もカメラ異常検知に有効な情報なため合わせて用いる。基準画像記憶部300でも同じ特徴量算出の結果が保持されているものとする。次に基準画像変化抽出手段402において、予め登録済みの基準画像と特徴抽出手段401からの入力画像との変化を検出する。
【0021】
次に詳細な処理手順について説明する。画像の任意の位置をp=(x,y)と表現し、この画素位置pにおける基準画像のエッジ強度をBedgep、入力画像のエッジ強度をIedgepと表すと、画素位置pにおける基準画像と入力画像のエッジ強度の差分はΔpedge=Bedgep−Iedgepと表現することが出来る。この差分を画像全体の各画素で求めて、すべてを足し合わせたものは〔数1〕のようになり、基準画像と入力画像のエッジ強度の差分を表す。
【0022】
【数1】

【0023】
さらには、画面全体のエッジ強度の平均値をそれぞれ

とすると、これらの値に差分が生じた場合は正常なカメラ映像と比較してカメラにボケが発生していることとなる。画像全体のエッジ強度平均の差分は〔数2〕のようになる。
【0024】
【数2】

【0025】
他に周波数解析なども有効な手段であり、高周波成分が低下している場合をボケとして判断することも可能である。
【0026】
また、画像全体の輝度値平均の差分

、もしくは〔数3〕示すような正規化相関演算などの相関値算出により画像の類似度を算出することが可能である。
【0027】
【数3】

【0028】
さらに、カメラ異常判定手段403により、動き検知部100の結果を利用する。単に画像内に移動物体が存在することによる誤検知を抑制するために、動き検知部100にて抽出された移動物体の領域の広さや画素数等を動き検知ブロック数Nmotionとして一つの判断指標として用いることもできる。ここで、上述のエッジ強度の差分およびエッジ強度平均の差分および類似度は、画像全体もしくは動き検知部100にて抽出された移動物体の領域を除いた画像領域について、算出しても良い。カメラ異常判定手段のカメラ異常度Ralarmを〔数4〕に示す。
【0029】
【数4】

【0030】
〔数4〕に示すように、夫々の画像比較結果を統合し、所定のしきい値判断をすることで、撮像ボケや照明条件の変化や天候変動が生じる状況においても適切にカメラ異常を判定することが可能となる。
【実施例2】
【0031】
さらに上記のカメラ異常判定の信頼性を向上するための、周辺カメラの情報を用いる実施形態について図6を用いて述べる。複数カメラの映像を取得する映像監視システムにおいて、前述の実施形態に映像取得部(B)11,画像認識部(B)21,カメラ異常検知統合判定部60,カメラ情報設定部70を付加する。ここでは、2台のカメラ入力を可能とするシステムについて説明するが、3台以上のカメラを有するシステムにも適応できる。
【0032】
基準画像登録部200と入力画像の比較において、撮像環境の急激な変化が発生した場合とカメラに対する妨害行為とが適切に判断されない可能性も考えられる。そこで、同一の監視エリアに設置されている各カメラの映像情報間では画像の明るさや分散,色情報などに大きな相違はないことを利用し、カメラ異常検知部400において、カメラ異常度Ralarmが所定以上の異常と判断されたとき、映像取得部10と映像取得部(B)11より取得される画像の特徴をカメラ異常検知統合判定部60において比較し、カメラ異常検知部400におけるカメラ異常の確信度を判定する。あるカメラに対して映像情報を補間するカメラは入力部50およびカメラ情報設定部70により設定する。図7に示すように、あるカメラ内と重複のエリアを撮像するカメラを補間カメラとして設定し、同一物体を指定することで、一方のカメラでのみ物体が遮蔽される場合などを検出し、カメラ異常であるか、レイアウト変更であるかの判断を可能とする。これらの設定は、図7a1,a2のように物体を指定する。
【0033】
カメラ異常検知統合判定部60について図8を用いて説明する。ここでは画像認識部(B)21において、補間カメラの映像である映像取得部(B)11に対して妨害行為が行われていないことが前提である。映像取得部10,映像取得部(B)11から取得した映像を用いて、カメラ間変化検出手段601およびカメラ間物体判定手段602でカメラ間の物体相違度を判定する。
【0034】
カメラ間変化検出手段601では、画像の基本情報の比較を行い、本実施例では画像全体の平均輝度を適用した例で説明する。画像間の平均輝度は

と算出することができ、所定値以上の変化があった場合画像間での相違があるものと判断する。
【0035】
また、カメラ間物体判定手段602では、図7a1,a2の同一物体が同じ領域に在るか否かを画像のパターンマッチングを用いて判定する。比較演算は種々のパターンマッチング方法を適用可能であるが、最も簡単なSAD(Sum of Absolute Difference)を選択する。SADは、画素位置pにおける各々の輝度値をA1p,A2pとする。ここで、画像データの全画素数がMとすれば、類似度SはS=Σ|A1p−A2p|/Mと算出できる。ここで、補間カメラで物体が存在するにも関わらず、映像取得部10では存在しない場合、遮蔽等の可能性が高い。
【0036】
これらのカメラ間変化検出手段601とカメラ間物体判定手段602で判定したカメラ間の相違情報およびカメラ異常検知部400の結果を用いてカメラ異常検知判定手段603でカメラの異常を判定する。その結果は出力部40および記録制御部30に転送される。記録制御部30では、あるカメラが異常と判断された場合、周辺カメラで取得された画像の記録を開始する処理も行うことができる。
【0037】
本実施例のように複数のカメラ画像をカメラの異常判定に用いることで撮像環境の急激な変化が発生した場合やカメラに対する妨害行為を適切に判断することが可能となる。さらに、あるカメラが異常と判断された場合、周辺カメラで取得された画像の記録を開始することで、異常が生じて正常な画像を取得できなくなったカメラの情報を周囲のカメラが補うことが可能となる。
【実施例3】
【0038】
上述の実施例によるカメラ異常検知においては、カメラ異常と判断された場合には、そのカメラの撮像が不可となるため、周辺カメラで撮像範囲を補完する機能を付加した映像監視システムの一実施例を図9を用いて説明する。ここでは、PTZ機能付きカメラおよびカメラ位置制御部80を前述の実施例2に付加した形態とする。予め設定したPTZ設定に対して、カメラ異常検知統合判定部60によりカメラ1が異常と判定された場合、カメラ異常時の補間設定に基づいてPTZ設定を変更し、カメラ異常となったカメラ1の撮像範囲を補完することを可能とする。具体的には、カメラ異常と判定された場合、設定した補完カメラの所定のパラメータに基づいて、異常と判定されたカメラの方位へ撮像することを可能とする。カメラ異常時のPTZ設定は、図10に示すユーザインターフェースにより、カメラ1の撮像範囲を補完するカメラを選択し、そのカメラの撮像範囲を決定するためのパン角,チルト角,ズームをそれぞれ設定することができる。この設定値に基づきカメラ位置制御部80はPTZカメラに対してカメラ設定変更を行う。
【0039】
このように、あるカメラの異常を検出した時に、周辺カメラの撮像範囲を異常のあるカメラの撮像範囲を補完するように設定することで、異常が生じた監視カメラの撮像範囲をより確実に補完できるため、カメラへの妨害に対しロバストな監視システムを提供することが可能となる。
【産業上の利用可能性】
【0040】
以上に説明した実施例の内容によれば、カメラから入力される映像の異常を検知し、モニタ表示や警告を発することで監視員への注意喚起が可能であり、カメラへの妨害行為が発生した場合であっても、犯行時の映像を撮り逃すことを防止できるため、特にカメラへ妨害がなされる可能性のある監視システムに有用である。
【図面の簡単な説明】
【0041】
【図1】本発明における一実施例の全体構成を示した図である。
【図2】本発明における動き検知部の処理構成を示した図である。
【図3】本発明における基準画像登録部について示した図である。
【図4】本発明における基準画像登録時のユーザインターフェースについて示した図である。
【図5】本発明におけるカメラ異常検知部について示した図である。
【図6】本発明における周辺カメラ情報を用いてカメラ異常検知の統合判定を付加した実施例の全体構成を示した図である。
【図7】本発明における補間カメラ設定時のユーザインターフェースについて示した図である。
【図8】本発明におけるカメラ異常検知統合判定部について示した図である。
【図9】本発明における周辺カメラ制御を付加した一実施例について示した図である。
【図10】本発明におけるカメラ設定値の変更時のユーザインターフェースについて示した図である。
【符号の説明】
【0042】
10 映像取得部
11 映像取得部(B)
20 画像認識部
21 画像認識部(B)
30 記録制御部
40 出力部
50 入力部
60 カメラ異常検知統合判定部
70 カメラ情報設定部
80 カメラ位置制御部
100 動き検知部
101,201,401 特徴抽出手段
102 背景画像生成手段
103 変化抽出手段
200 基準画像登録部
300 基準画像記憶部
400 カメラ異常検知部
402 基準画像変化抽出手段
403 カメラ異常判定手段
601 カメラ間変化検出手段
602 カメラ間物体判定手段
603 カメラ異常検知判定手段
a1 カメラ1登録物体
a2 補間カメラ登録物体

【特許請求の範囲】
【請求項1】
カメラからの信号を取得する映像取得部と、
前記映像取得部から得られた入力画像を用いて認識処理を行う画像認識部と、を有する映像監視システムにおいて、
前記認識処理部は、
前記入力画像から基準画像を登録する手段と、
前記基準画像と前記入力画像の撮像ボケの相違を検出する撮像ボケ検出手段と、
前記基準画像と前記入力画像の類似度を算出する類似度算出手段と、
前記撮像ボケの相違と前記類似度とから前記カメラの異常を判定するカメラ異常検知手段と、を有することを特徴とする映像監視システム。
【請求項2】
請求項1の映像監視システムにおいて、
前記撮像ボケ検出手段は、前記基準画像と前記入力画像のエッジ強度の比較もしくは周波数解析により撮像ボケの相違を検出することを特徴とする映像監視システム。
【請求項3】
請求項1の映像監視システムにおいて、
前記類似度算出手段は、輝度値の差分もしくは相関値により前記類似度を算出することを特徴とする映像監視システム。
【請求項4】
カメラからの信号を取得する映像取得部と、
前記映像取得部から得られた入力画像を用いて認識処理を行う画像認識部と、を有する映像監視システムにおいて、
前記認識処理部は、
前記入力画像から基準画像を登録する手段と、
前記入力画像から動き検知情報を取得する動き検知手段と、
前記基準画像と前記入力画像の撮像ボケの相違を検出する撮像ボケ検出手段と、
前記基準画像と前記入力画像の類似度を算出する類似度算出手段と、
前記動き検出情報と前記撮像ボケの相違と前記類似度とから前記カメラ異常を判定するカメラ異常検知手段と、を有することを特徴とする映像監視システム。
【請求項5】
請求項4の映像監視システムにおいて、
前記動き検知手段は、
前記入力画像から自動的に背景画像を生成する手段を備え、
前記背景画像と前記入力画像の比較により、前記動き検知情報を取得することを特徴とする映像監視システム。
【請求項6】
請求項4の映像監視システムにおいて、
前記撮像ボケ検出手段は、前記基準画像と前記入力画像のエッジ強度の比較もしくは周波数解析により撮像ボケの相違を検出することを特徴とする映像監視システム。
【請求項7】
請求項4の映像監視システムにおいて、
前記類似度算出手段は、輝度値の差分もしくは相関値により前記類似度を算出することを特徴とする映像監視システム。
【請求項8】
複数のカメラと、
複数の前記カメラからの信号を取得する複数の映像取得部と、
複数の前記映像取得部から得られた入力画像を用いて認識処理を行う画像認識部と、を有する映像監視システムにおいて、
前記認識処理部は、
第一カメラの第一入力画像から基準画像を登録する手段と、
前記第一入力画像と前記基準画像の撮像ボケを検出する撮像ボケ検出手段と、
前記第一入力画像と前記基準画像の類似度を算出する類似度算出手段と、
第二カメラの第二入力画像と前記撮像ボケと前記類似度とから前記第一カメラの異常を判定するカメラ異常検知手段とを有することを特徴とする映像監視システム。
【請求項9】
請求項8の映像監視システムにおいて、
前記撮像ボケ検出手段は、前記基準画像と前記入力画像のエッジ強度の比較もしくは周波数解析により撮像ボケを検出することを特徴とする映像監視システム。
【請求項10】
請求項8の映像監視システムにおいて、
前記類似度算出手段は、輝度値の差分もしくは相関値により前記類似度を算出することを特徴とする映像監視システム。
【請求項11】
請求項8の映像監視システムにおいて、
前記認識処理部は、
前記入力画像から動き検知情報を取得する動き検知手段を備え、
前記カメラ異常検知手段は、前記動き検知情報をカメラ異常の判定に用いることを特徴とする映像監視システム。
【請求項12】
請求項11の映像監視システムにおいて、
前記動き検知手段は、
前記第一入力画像から自動的に背景画像を生成する手段を備え、
前記第一入力画像と前記背景画像の比較により、前記動き検知情報を取得することを特徴とする映像監視システム。
【請求項13】
請求項8の映像監視システムにおいて、
前記カメラ異常検知手段は、
前記第一カメラと前記第二カメラの撮像領域に同一の物体が存在する場合に、
前記第一入力画像と第二入力画像の双方に前記物体が映っていることをカメラ異常の判定に用いることを特徴とする映像監視システム。
【請求項14】
請求項8の映像監視システムにおいて、
カメラ異常検知手段がカメラの異常を検知した場合に、
前記第一カメラ以外の他のカメラは、前記第一カメラの監視エリアを補完する方向に監視エリアを変化させることを特徴とする映像監視システム。
【請求項15】
請求項8の映像監視システムにおいて、
カメラ異常検知手段がカメラの異常を検知した場合に、
前記第一カメラ以外の他のカメラによる入力画像の記録が開始されることを特徴とする映像監視システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2009−5198(P2009−5198A)
【公開日】平成21年1月8日(2009.1.8)
【国際特許分類】
【出願番号】特願2007−165744(P2007−165744)
【出願日】平成19年6月25日(2007.6.25)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】