カメラ異常検出装置を有する監視カメラシステム
【課題】カメラに対する妨害行為である、遮蔽，画角ずれなどを検出しカメラ異常として出力し、そのカメラ異常に対する異常復帰や保守・点検方法，要因なども通知することで、業務の効率化を実現する監視カメラシステムを提供する。
【解決手段】カメラ異常検出装置を有する監視カメラシステムにおいて、取得画像および基準画像からそれぞれの全体特徴量を抽出する全体特徴抽出手段と、ブロック分割手段によりブロック分割された取得画像および基準画像のブロック分割後の画像からそれぞれのブロックの特徴量であるブロック特徴量を抽出するブロック特徴抽出手段と、基準画像の全体特徴量と取得画像の全体特徴量との間の変化量、および、基準画像のブロック特徴量と取得画像のブロック特徴量との間の変化量を算出し、しきい値判定することで、カメラ異常を判定するとともに、各ブロックごとにカメラ異常の種類を示す情報を出力する異常判定手段を有する。
【解決手段】カメラ異常検出装置を有する監視カメラシステムにおいて、取得画像および基準画像からそれぞれの全体特徴量を抽出する全体特徴抽出手段と、ブロック分割手段によりブロック分割された取得画像および基準画像のブロック分割後の画像からそれぞれのブロックの特徴量であるブロック特徴量を抽出するブロック特徴抽出手段と、基準画像の全体特徴量と取得画像の全体特徴量との間の変化量、および、基準画像のブロック特徴量と取得画像のブロック特徴量との間の変化量を算出し、しきい値判定することで、カメラ異常を判定するとともに、各ブロックごとにカメラ異常の種類を示す情報を出力する異常判定手段を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラなどの撮像装置から映像を取得し、画像認識による侵入者検知等の機能を有する映像監視システム（監視カメラシステム）において、カメラへの妨害行為や機器不具合による映像取得不良を検知するカメラ異常検出機能を有する映像監視システムに係わる。
【背景技術】
【０００２】
カメラから取得した映像から画像認識により監視エリアに現れる人や車両などの移動物体を検知する機能を有する映像監視システムは、検出結果を利用することで移動物体の出現した映像のみ記録する機能や、表示装置の警告アイコンの表示、またブザー等を鳴らして監視員の注意を促すことができるため、従来の常時確認作業が必要であった監視業務の負担低減に役立つ。また、前述の映像監視システムでは、窃盗などの不正行為が発生した場合、記録した映像を事後の犯罪立証に役立てることも可能である。
【０００３】
このような映像監視システムに対して、証拠となる映像を取得されないよう、犯行者がカメラの撮像角度を変更する行為や、カメラ前に遮蔽物を置く、カメラレンズに危害を加えるなどの行為が問題視されている。これらの行為は、映像信号自体は取得できるため、目視等による確認が行われない限り有益な映像を取得できないという問題がある。
【０００４】
また撮像機器自体の故障が発生した場合であっても当然のことながら映像が取得できないため、映像監視システムが無力化する恐れがあり、監視員等へ機器の異常を知らせカメラの異常を修復し映像監視システムを復旧させる必要がある。
【０００５】
この問題に対処するため、画像の変化を画像認識により検出し、カメラの異常を検知する方法が例えば特許文献１〜３として知られている。特許文献１では、補助照明として赤外線ＬＥＤを備え、監視環境の明るさを検出するホトセンサを有し、これらの検出手段によりカメラの妨害行為を検知する手段を有する技術が記載されている。特許文献２では、まず基準画像と入力画像との比較により、画素ごとの変化を算出し、この結果から、カメラを覆うなどして画像を黒や白などに単色化する単色化妨害か、カメラの向きを変えるなどして画像全体にわたり変化がある混合変化妨害かを、輝度の差分もしくは分散を用いて、妨害行為を検出する技術が記載されている。特許文献３では、画像データを複数のブロックに分割し、ブロックごとに輝度値の標準偏差と変化量を算出することで、カメラに対する隠蔽行為を検出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−６０５６号公報
【特許文献２】特開２００８−７７５１７号公報
【特許文献３】特開２００９−１９３４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
カメラ異常検出を備える監視カメラシステムは、カメラに対する妨害行為を検出した場合、即座に警告を通知し、その状況に応じた保守・点検などの手続きを実施可能とすることが主な目的である。例えば、レンズが破壊された場合はレンズの交換，カメラの角度を変えられた場合はカメラの再調整など、カメラ異常の種類によってその手続きを変える必要がある。そのため、カメラ異常検出は、異常だけではなくカメラ異常の種類を検出することが重要となる。
【０００８】
上記特許文献１〜３の従来方式は、赤外線センサなどの情報、もしくは輝度値の変化による検出方法を用いてカメラの妨害行為を検出する方式である。このため、上記従来方式では、カメラの異常のうち、主にレンズの遮蔽のみが検知可能である。
【０００９】
しかしながら、カメラ異常検出を備える監視カメラシステムとしては、カメラ異常の種類として、部分的な遮蔽，全体的な遮蔽，画角ずれ（カメラ方向のずれ），ぼけ，ノイズ，ハレーション（白とび）など様々な種類に対応しなければならないという問題がある。
【００１０】
さらに、上記従来方式では通常の映像、例えば人の動きなどを誤報しやすいという問題がある。輝度の変化は人の動きでも発生し得るため、人物の出入りが頻繁にある箇所などでは、これらをカメラ異常として検出する可能性が高い。
【００１１】
本発明の目的は、これらの問題点を改善し、監視カメラの異常検出とその種類を通知することで、異常復帰や保守・点検などの業務の効率化を実現する監視カメラシステムを提供することにある。
【００１２】
尚、上記した課題以外のその他の課題は、本願明細書全体の記載または図面から明らかにされる。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、本発明では、例えば以下のような構成とすることができる。
【００１４】
（１）取得画像と基準画像とからカメラ異常を検出するカメラ異常検出装置を有する監視カメラシステムにおいて、
比較対象となる基準画像を生成もしくは選択する基準画像更新手段と、
前記取得画像および前記基準画像をそれぞれブロック分割するブロック分割手段と、
前記取得画像および前記基準画像からそれぞれの全体特徴量を抽出する全体特徴抽出手段と、
前記ブロック分割手段によりブロック分割された前記取得画像および前記基準画像のブロック分割後の画像からそれぞれのブロックの特徴量であるブロック特徴量を抽出するブロック特徴抽出手段と、
前記基準画像の前記全体特徴量と前記取得画像の前記全体特徴量との間の変化量、および、前記基準画像の前記ブロック特徴量と前記取得画像の前記ブロック特徴量との間の変化量を算出し、しきい値判定することで、前記カメラ異常を判定するとともに、各ブロックごとに前記カメラ異常の種類を示す情報を出力する異常判定手段と、
前記各ブロックごとの前記カメラ異常の種類を示す情報に基づいて、予め設定した前記カメラ異常の異常分類基準を参照することで前記カメラ異常を分類するカメラ異常分類手段と、
前記カメラ異常分類手段で分類されたカメラ異常を出力する出力部とを有する。
【００１５】
（２）（１）において、
前記特徴量として、画像特徴量，統計特徴量のうち少なくとも１つ以上の特徴量を用い、前記変化量として差分，相関値のうち少なくとも１つ以上を用い、
前記異常判定手段は、前記しきい値判定により前記カメラ異常であると判定された領域を、前記カメラ異常の異常候補領域として出力する構成としてもよい。
【００１６】
（３）（２）において、
前記取得画像と前記基準画像とに基づいて、前記取得画像内で前記基準画像から動きのある動き領域を検出する動き領域検出手段を有し、
前記異常判定手段は、前記異常候補領域が前記動き領域ではなく異常の継続時間が所定時間以上継続する場合に前記異常候補領域を異常領域として算出し、前記異常領域の面積がしきい値以上の場合に、前記カメラ異常であると判定する構成としてもよい。
【００１７】
（４）（１）から（３）のいずれかにおいて、
前記異常分類基準は、前記カメラ異常の種類ごとに、前記ブロック特徴量または前記全体特徴量の何れを用いるか、前記カメラ異常を判定するのに用いる前記特徴量、前記カメラ異常を判定する優先度の情報を有する構成としてもよい。
【００１８】
（５）（４）において、
異常判定手段は、前記ブロック分割手段で分割したブロック単位で、前記異常分類基準で定義した前記カメラ異常を検出し、
前記カメラ異常分類手段は、複数の前記カメラ異常が検出された場合に、前記優先度に基づき前記カメラ異常を分類することを特徴とするカメラ異常検出装置を有する構成としてもよい。
【００１９】
（６）（１）から（５）のいずれかにおいて、
前記異常分類基準に、前記カメラ異常の種類ごとに、前記カメラ異常から復帰させるための保守作業もしくは前記カメラ異常の要因の情報を有することを特徴とするカメラ異常検出装置を有する構成としてもよい。
【００２０】
（７）（６）において、
前記出力部は、前記カメラ異常に加えて、前記異常分類基準を参照し、前記カメラ異常に該当する前記保守作業もしくは前記要因を出力する構成としてもよい。
【００２１】
（８）（１）から（７）のいずれかにおいて、
前記出力部は、前記カメラ異常と前記取得画像とを記録媒体に保存させる構成としてもよい。
【００２２】
尚、上記した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、上記した構成以外の本発明の構成の例は、本願明細書全体の記載または図面から明らかにされる。
【発明の効果】
【００２３】
本発明によれば、基準画像と入力画像の全体および複数のブロックに分割した特徴量、動き領域を用いることで、部分的な遮蔽，全体的な遮蔽，画角ずれ（カメラ方向のずれ），ぼけ，ノイズ，ハレーションなど様々なカメラ異常を検出及び分類することが可能となり、異常復帰や保守・点検などの業務効率化を支援し、効率的な監視カメラシステムを提供することが可能となる。
【００２４】
本発明のその他の効果については、明細書全体の記載から明らかにされる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態の全体構成について示した図である。
【図２】本発明の認識部について示した図である。
【図３】本発明の動き領域検出手段の処理手順について示した図である。
【図４】本発明の基準画像更新手段の処理手順について示した図である。
【図５】本発明の特徴抽出手段について示した図である。
【図６】本発明のブロック分割について示した図である。
【図７】本発明で認識するカメラ異常の例について示した図である。
【図８】本発明の全体特徴量を用いた異常判定の処理手順について示した図である。
【図９】本発明のブロックごとの特徴量を用いた異常判定の処理手順について示した図である。
【図１０】本発明の動き領域ブロックと異常候補ブロックと異常領域ブロックの模式図である。
【図１１】本発明の異常判定手段の処理手順について示した図である。
【図１２】本発明の異常分類手段を説明するための図である。
【図１３】本発明の異常分類基準の一例について示した図である。
【図１４】本発明の出力例について示した図である。
【図１５】本発明のカメラ内蔵の場合の実施形態について示した図である。
【図１６】本発明のネットワークを介した実施形態について示した図である。
【発明を実施するための形態】
【００２６】
本発明の実施例を、図面を参照しながら説明する。尚、各図において、同一又は類似の構成要素には同じ符号を付し、説明を省略する。
【００２７】
図１は、本発明の一実施形態の全体構成について示した図である。図１は本発明をカメラ，記録媒体，出力装置で構成される監視カメラシステム（映像監視システム）に適用した場合の構成である。監視カメラシステムは、ハードウェアとしてはＣＰＵ，メモリ，ＬＳＩ等を備えた電子計算機システムを有しており、夫々の機能を実行するようになっている。ここでは、ハードウェアの構成単位ではなく、それらのハードウェアやソフトウェアにより構成される各機能をブロックで表現している。
【００２８】
図１の監視カメラシステムは、カメラ１０，画像取得部２０，認識部３０，出力部４０，出力装置５０，記録媒体６０を有しており、記録媒体６０にはカメラ１０から取得した映像信号に認識部３０で取得した認識結果情報を付加し保存する。
【００２９】
カメラ１０は、カメラレンズとＣＭＯＳやＣＣＤなどの撮像媒体により構成される撮像装置から取得した映像信号を画像取得部２０へ出力する。ここで、映像信号は１次元配列もしくは２次元配列の画像データとして取得することができ、この画像データにおいては、ノイズやフリッカなどの影響を低減するために、前処理として平滑化フィルタや輪郭強調フィルタ，濃度変換などの処理を施してもよい。また、用途に応じてＲＧＢカラーやモノクロなどのデータ形式を選択してもよい。さらには、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。
【００３０】
出力部４０は認識部３０での認識結果及びカメラ１０より取得した映像信号を出力装置５０または記録媒体６０に出力する。出力装置５０は認識部３０の結果により、たとえばカメラ異常が認識された場合は、警報などを出力する装置である。ここでは、警報器，スピーカー，ランプ，モニタなどの出力デバイスを選択することができる。
【００３１】
記録媒体６０はハードディスクドライブ，フラッシュメモリなどの電子記録媒体やテープなどを用いることができる。また、出力部４０はＲＧＢモニタ出力、ネットワーク経由でのデータ出力などを含むことができ、パラメータ設定はユーザインターフェースより実行される。ユーザインターフェースにおける入力は、マウスやキーボードなどの入力機器などのインターフェース機能を用いる。ユーザインターフェースにおける出力は、出力装置５０の１つであるモニタを用いることができる。
【００３２】
以下は、本発明の重要部分である、認識部３０を中心に詳細に述べることとする。
【００３３】
図２を用いて、認識部３０について説明する。認識部３０は、動き領域検出手段３００，基準画像更新手段３０１，特徴抽出手段３０２，異常判定手段３０３と異常分類手段３０４で構成される。認識部では、監視カメラの異常を異常分類手段３０４により分類し出力する機能を有する。以下、認識部３０における各手段の詳細について順に説明する。
【００３４】
動き領域検出手段３００は、画像取得部２０で取得した入力画像と、基準画像更新手段３０１で事前に作成した基準画像との比較から動き領域画像を作成する。図３を用いて動き領域検出手段３００の処理手順を説明する。動き領域検出手段３００は、入力画像を入力として、画素ごともしくは任意のブロックごとに演算する。まず、前処理ｓ１０を実施する。これは動き領域の検出性能を向上させるための処理であり、例えばノイズ除去として平滑化フィルタ、頑健性向上のためにエッジ抽出フィルタ、処理高速化のために、任意の大きさへ画像縮小処理などを実行するとよい。また、あらかじめ差分画像Ｄ１００の全ての画素を０で初期化しておく。
【００３５】
入力画像内の画素位置を選択し（ｓ１１）動き領域抽出のための処理を実行し、次の画素へ移動することを画像全体に繰り返す（ｓ１４）。以下、簡単のため任意画素での演算について説明する。
【００３６】
任意の画素位置ｐ（ｘ，ｙ）において、入力画像と予め取得した基準画像Ｄ１００との差分を抽出する（ｓ１２）。例えば輝度値を用いた差分処理の場合、入力画像と基準画像Ｄ１００の輝度値をそれぞれＩ（ｐ），Ｂ（ｐ）とすると、その差分Ｄ（ｐ）は、Ｄ（ｐ）＝｜Ｉ（ｐ）−Ｂ（ｐ）｜となる。差分処理は、エッジや色情報など、画像情報として得られる差分であれば、実施環境に応じてどの情報を用いても実行可能である。
【００３７】
次に、差分処理ｓ１２で得られた差分Ｄ（ｐ）においてしきい値処理を実行する（ｓ１３）。Ｄ（ｐ）がしきい値以上の場合、その値を差分画像Ｄ１０１の対応する位置に採用し（ｓ１３でＹ）、次の画素へ進む（ｓ１４）。Ｄ（ｐ）がしきい未満の場合、画像の変化が少なく、明るさの変化やノイズであるとみなし、Ｄ（ｐ）＝０のままとして（ｓ１３でＮ）、次の画素へ進む（ｓ１４）。これらの結果により画像を構成することで、差分画像Ｄ１０１が得られる。さらに、差分画像Ｄ１０１に対して、後処理を実行し動き領域画像Ｄ１０２を生成する（ｓ１５）。
【００３８】
後処理ｓ１５は、本実施例では二値画像処理を実行し、膨張収縮処理や、二値画像領域の統合や面積によるフィルタリングが可能なラベリング処理により動き領域の整形を行う。この時点で、動き領域画像Ｄ１０２は、動き領域は２５５、動きの無い領域では０の値で構成される二値画像となる。後処理ｓ１５では、たとえばガウスフィルタリングやノイズ除去処理などを実行しても良い。
【００３９】
図４を用いて、基準画像更新手段３０１について説明する。基準画像は、基準となる画像であり、背景画像に相当する画像である。画像内の画素位置を選択し（ｓ２０）、画素ごとに基準画像を更新し、次の画素へ移動することを画像全体に繰り返す（ｓ２５）。基準画像は、画像内に動きやカメラ異常が発生していない場合に更新する。これは、動きやカメラ異常が発生している場合に基準画像を更新すると、人物の動きやカメラ異常が混入した映像を基準画像に取り込み、性能低下をもたらすことが考えられるためである。以下、簡単のため任意画素での演算について説明する。
【００４０】
任意の画素位置ｐ（ｘ，ｙ）において、動き領域検出手段３００で取得した動き領域画像Ｄ１０２を参照し、画素位置ｐで動きがあるかないかを判断する（ｓ２１）。本実施例において、動き領域画像Ｄ１０２は０もしくは２５５の値を持っており、処理ｓ２１は動き領域画像Ｄ１０２の画素位置ｐでの値が２５５であるか否かを判断する処理となる。動きがある場合（ｓ２１でＹ）、基準画像Ｄ１００を更新せず、次の画像位置へ移動する（ｓ２５）。
【００４１】
動きがない場合（ｓ２１でＮ）、次にカメラ異常か否かについて、異常領域画像Ｄ１０９を用いて判定する（ｓ２２）。異常領域画像Ｄ１０９の生成については後述する。ここで、カメラ異常と判断された場合（ｓ２２でＹ）は、ステップｓ２１と同様に、基準画像Ｄ１００を更新せず次の画素位置へ移動する（ｓ２５）。
【００４２】
カメラ異常でない場合（ｓ２２でＮ）、更新前処理ｓ２３では、前述のステップにより動き領域でもカメラ異常でも無いと判断された画像位置において、画像取得部２０から入力画像Ｄ１０３を取得し、基準画像更新の前処理を実行する。前述の動き領域画像Ｄ１０２や異常領域画像Ｄ１０９の結果が問題ない場合であっても、入力画像内にノイズなどの外乱が混入する可能性があるため、更新前処理ｓ２３では、入力画像のノイズ除去等を実行する。本実施例では、入力画像Ｄ１０３を画素位置ごとに任意フレーム分平均化した画像を生成することで、短時間に発生するノイズの除去行う。ここでは例えば、画素ごとの統計処理、平滑化フィルタなどのフィルタリング処理、画質補正を実行してもよい。
【００４３】
次に更新処理ｓ２４は、更新前処理ｓ２３を実行したデータを用いて現在選択されている画素位置における基準画像Ｄ１００を更新する。つまり、ここでの基準画像Ｄ１００は、人物などの動きやカメラ異常が混入していない画像となる。以上の処理を画像全体に繰り返し実行する。
【００４４】
基準画像Ｄ１００は、基準画像更新手段３０１のように自動で更新する手段を用いなくとも、ユーザによって任意に設定することが可能である。これにより例えば指定された時刻において、入力画像と設定された基準画像との比較を行うことで、カメラの異常を検出することが可能である。
【００４５】
次に図２における、特徴抽出手段３０２について図５を用いて説明する。特徴抽出手段３０２は、画像取得部２０から取得した入力画像と、基準画像更新手段３０１から取得した基準画像を入力とし、それぞれの画像の特徴量を抽出し異常判定手段３０３へ入力する。以下、入力画像と基準画像を区別せずに任意画像における特徴抽出の処理として特徴抽出手段３０２を説明する。
【００４６】
特徴抽出手段３０２では、画像全体の特徴量は全体特徴抽出手段３０２０にて算出し、ブロック分割手段３０２１によって任意のブロックに分割されたブロックごとの特徴量はブロック特徴抽出手段３０２２で抽出する。まずブロック分割手段３０２１について説明し、それぞれの特徴抽出処理について説明する。
【００４７】
ブロック分割手段３０２１について、図６を用いて説明する。図６（ａ）は入力画像（または基準画像）であり、幅Ｗ×高さＨの画像データである。これを任意のブロック数に分割する。図６（ｂ）はブロック分割について示した図である。水平方向にＮｗ分割、垂直方向にＮｈ分割した場合、１ブロックのサイズはｗ（＝Ｗ／Ｎｗ）×ｈ（＝Ｈ／Ｎｈ）となり、総ブロック数はＮ＝Ｎｗ×Ｎｈとなる。ここで、各ブロックをｂｎ（Ｎ＝０，１，…，Ｎ）とする。
【００４８】
ブロックの分割数は認識処理の感度に関係し、より詳細にカメラ異常を検出したい場合は、ブロック分割数を細分化すればよく、逆に外乱などが多いため感度を低く設定したい場合はブロック分割数を減らすことで、適用環境に応じた検出結果を得ることが可能となる。
【００４９】
次に、全体特徴抽出手段３０２０とブロック特徴抽出手段３０２２における画像特徴量について、簡単のため画像全体とブロックごとの処理を区別せずに述べる。
【００５０】
本実施例で抽出する特徴量について、画像の特徴を画像特徴量，統計特徴量に大別して説明する。画像特徴量とは輝度画像，微分画像，ＲＧＢ表色系やＨＳＶ表色系などのカラー画像など、画像データとして得られる情報のことを示す。輝度画像は入力画像の明るさ成分のみの画像である。微分画像は、Ｓｏｂｅｌフィルタなどのエッジ強調フィルタにより画像の輪郭情報を強調した画像であり、エッジ強度やエッジ方向の情報を得られる。また、増分符号画像など隣接画素の輝度勾配を０または１に符号化した画像も微分画像の一つである。ＲＧＢ画像やＨＳＶ画像はカラー画像の一つの表現であり、ＹＣｂＣｒ画像，ＨＬＳ画像など、環境に合わせて色空間を選択することも可能である。
【００５１】
統計特徴量とは、画像内の任意の空間における統計量であり、たとえば平均，中間値（メディアン），分散，最大値，最小値などが挙げられる。この統計特徴量は前述の全体特徴抽出手段３０２０であれば、画像全体の統計量、ブロック特徴抽出手段３０２２ではブロックごとの統計量となる。
【００５２】
尚、これらの特徴量の類似性を算出した相関特徴量も特徴量の一種ではあるが、本発明では、特徴抽出手段３０２ではこれを算出せず、異常判定手段３０３において算出する変化量の１種として、この相関特徴量を用いることができる。例えば、正規化相関，差分自乗和，差分絶対和，ヒストグラム交差値，ヒストグラム距離など、画像特徴量や統計特徴量の類似性もしくは非類似性が相関特徴量である。尚、異常判定手段３０３において算出する変化量としては、差分を用いることも可能である。
【００５３】
また、これらの特徴量は、実施環境に合わせて、各特徴量を組み合わせて用いても良い。例えば、エッジ画像におけるエッジ強度の分散値や、ＲＧＢ画像のＲ平均値、色距離による類似度など、組合せを任意に選択できる。
【００５４】
全体特徴抽出手段３０２０及びブロック特徴抽出手段３０２２では、前述の特徴量を算出する。全体特徴抽出手段３０２０では画像全体に対して、ブロック特徴抽出手段３０２２ではブロックごとに各特徴量を算出する。特徴量の選定は、検出したいカメラ異常によって異なり、これらはユーザによって設定することが可能である。これについては後述することとする。
【００５５】
次に、図２に示す異常判定手段３０３と異常分類手段３０４について説明する。異常判定手段３０３は上述の動き領域検出手段３００で得られた映像内の動き情報と、特徴抽出手段３０２で得られた特徴量を用いてカメラの異常を判定する。
【００５６】
ここで、まずカメラ異常について図７を用いて説明する。図７はカメラ異常の種類の例を表しており、（ａ）を正常な映像とする。（ｂ）はテープや布などの物体により部分的にカメラレンズへの遮蔽が発生した例である。（ｃ）はカメラ全体に遮蔽が発生した例である。なお、遮蔽された場合は、遮蔽する物体やカメラレンズとの隙間等で見え方が異なる。レンズに接触した場合は暗い映像となり、レンズとの隙間に比例して明るくなる傾向がある。また、遮蔽物に模様等がある場合、その模様が撮像される場合もある。さらに、遮蔽物に透過性がある場合は背景が透けて撮像される状態となるが、本実施例ではこれも遮蔽の一つとして定義する。（ｄ）は（ａ）の位置に対してカメラの向きに変更が発生した、画角ずれの例である。なお、本発明では、画角ずれをカメラ光軸の移動，カメラの回転，ズーム等による視野範囲のずれを含む意味として定義する。（ｅ）はカメラの焦点が合わず、ぼけが発生した例である。ぼけにより、物体の輪郭がぼやけた状態となる。また、湿気やほこりなどのレンズ表面に発生する一様な変化によって輪郭がぼやける場合があり、これも本実施例ではぼけとして定義する。（ｆ）は映像にノイズが付加された例である。ノイズはカメラレンズや撮像センサの不具合，ケーブル断線，周辺機器の影響などによっても発生する。ケーブル等の不具合により、映像に乱れが発生する場合もあり、本発明ではこれもノイズとして定義する。（ｇ）は映像に照明や反射光が入射し、ハレーションが発生した例である。光がレンズ内に入射すると、映像の一部もしくは全体が白とびした状態となる。（ｈ）はカメラレンズの一部に汚れ等が発生した例である。レンズに対してスプレーなどで塗装された場合、部分的もしくは全体的に（ｂ）（ｃ）の遮蔽と近い状態となる。なお、上記のカメラ異常は一例であり、カメラに対する妨害行為の方法によっては見え方が異なる。またこれらの定義はユーザによって変更することも可能である。これは、後述する異常判定の基準を変更することで実現できる。
【００５７】
次に異常判定手段３０３について説明する。異常判定手段３０３では、画像の特徴変化を算出するステップと、異常候補の領域と先に述べた動き領域の情報を統合し、異常領域を算出するステップに大別でき、順に説明する。
【００５８】
先ず、特徴変化を算出するステップについて、画角ずれを検出する手順を例に図８を用いて説明する。画角ずれの検出は、画像全体の特徴量を用いる。事前に特徴抽出手段３０２で取得した、入力特徴画像Ｄ１０４と基準特徴画像Ｄ１０５との間の変化量を算出する（ｓ３１）。尚、入力特徴画像Ｄ１０４は、画像取得部２０からの入力画像Ｄ１０３から全体特徴抽出手段３０２０が抽出した全体特徴量である。また、尚、基準特徴画像Ｄ１０５は、基準画像更新手段３０１からの基準画像Ｄ１００から全体特徴抽出手段３０２０が抽出した全体特徴量である。画角ずれの変化は画像全体の特徴量において、入力画像の全体特徴量（入力特徴画像Ｄ１０４）と基準画像の特徴量（基準特徴画像Ｄ１０５）との間の相関値が低下することである。本実施例では、特徴量に輝度画像を選択し、入力特徴画像Ｄ１０４と基準特徴画像Ｄ１０５を増分符号画像とする。増分符号とは輝度画像の隣接画素との勾配を０または１に符号化した画像である。ｓ３１では、変化量として、入力特徴画像Ｄ１０４と基準特徴画像Ｄ１０５との間の相関値を求める。増分符号画像間の相関値は、各画素位置の符号の一致率を０から１までの実数として表す手法である。
【００５９】
次に、ステップｓ３２においてｓ３１で求めた変化量がしきい値以下かどうかを判定する。尚、ｓ３１で求めた変化量（この場合は相関値）は、入力特徴画像Ｄ１０４と基準特徴画像Ｄ１０５とが完全に一致する場合は「１」、無相関の場合は「０.５」となることが知られている。したがって、この場合のしきい値としては０.５から１までの値を設定し、変化量がしきい値以下、すなわち画角が変化していると判断した場合（ｓ３２でＹ）、異常候補画像Ｄ１０６の全画素もしくは全ブロックに対して、その情報領域に“０”以外の値を格納する。異常候補画像Ｄ１０６は、検出された異常に応じて予め設定した代入値を変更する。例えば画素及びブロックごとに８ビットの格納領域があれば、画角ずれの場合は“０００００００１”、遮蔽の場合は、“００００００１０”と各ビットに異常分類を割り当てビットのＯＮ／ＯＦＦを切り替えるとよい。ここでは、画角ずれの検出なので、異常候補画像Ｄ１０６の最下位のビットを１にする。尚、ｓ３１において、変化量として１から相関値を減算したものを用い、ｓ３２において変化量がしきい値以上の場合に画角が変化していると判断してもよい。本実施例では画角ずれの変化を増分符号の変化（相関値）により求めたが、異常種別における特徴量の選択は、先述した様々な特徴量や複数特徴の組合せで実現することも可能である。また、検出したい異常の種類や用いる特徴量に応じて、変化量として、相関値を算出してもよいし、差分を算出してもよい。
【００６０】
次に、図９を用いてブロックごとの特徴量を用いる方法について、遮蔽を検出する手順を例に説明する。遮蔽は部分的にレンズを覆う変化が発生する場合があり、部分的な変化を判定する必要がある。そのため、まずブロック位置を選択し（ｓ４０）、ブロックごとに入力ブロック特徴画像Ｄ１０７と基準ブロック特徴画像Ｄ１０８の変化を算出する（ｓ４１）。ここで、入力ブロック特徴画像Ｄ１０７とは、画像取得部２０からの入力画像Ｄ１０３をブロック分割手段３０２１により分割したそれぞれの画像についてブロック特徴抽出手段３０２２が抽出したブロック特徴量である。また、基準ブロック特徴画像Ｄ１０８とは、基準画像更新手段３０１からの基準画像Ｄ１００をブロック分割手段３０２１により分割したそれぞれの画像についてブロック特徴抽出手段３０２２が抽出したブロック特徴量である。そして、ｓ４１で求めた変化量をしきい値判定し（ｓ４２）、異常候補画像Ｄ１０６を算出することを全ブロックで繰り返す（ｓ４３）。
【００６１】
遮蔽とは、遮蔽によって背景画像と入力画像において明るさに変化が発生し、遮蔽された部分は画像の微分成分が低下する。本実施例ではこれらの変化の検出をブロックごとに検出する。ブロック特徴抽出手段３０２２において、各ブロックｂｎにおいて、輝度平均Ａ（ｂｎ）を算出する。また、ブロックごとにエッジ強度の分散値を算出しＶ（ｂｎ）とする。すなわち、入力ブロック特徴画像Ｄ１０７および基準ブロック特徴画像Ｄ１０８として、輝度平均およびエッジ強度の分散値を用いる。以降、簡単のため任意ブロックの演算として説明する。
【００６２】
入力画像と背景画像の輝度平均をそれぞれＡ，Ａ′とし、エッジ強度の分散値をＶ，Ｖ′とする。それらの変化（この場合は差分）をＤ_Ａ＝｜Ａ−Ａ′｜，Ｄ_Ｖ＝｜Ｖ−Ｖ′｜で算出し（ｓ４１）、Ｄ_Ａ，Ｄ_Ｖそれぞれ、しきい値以上であるか判定し（ｓ４２）、しきい値以上の場合に異常候補画像Ｄ１０６の該当ブロックに“０”以外の値を代入し出力する。これらの処理を全てのブロックに対して実施する（ｓ４３）。
【００６３】
ここまでに述べた異常候補の算出は、異常として出力したい事象毎に、画像全体あるいはブロック毎の特徴量と変化算出方法を選択して、異常候補画像Ｄ１０６を算出すれば良い。異常候補画像Ｄ１０６の各ブロックの情報領域の各ビットに予め設定した値が格納されている。尚、ブロックごとの特徴量を用いる方法においても、検出したい異常の種類や用いる特徴量に応じて、変化量として、相関値を算出してもよいし、差分を算出してもよい。
【００６４】
ここまで、画像全体の特徴およびブロック毎の特徴を算出した時点で、動き領域画像Ｄ１０２、異常候補画像Ｄ１０６が出力されている。尚、異常候補画像Ｄ１０６は、各ブロックごとにカメラ異常の種類を示す情報の一例である。次に、これらの画像を用いた異常判定手段３０３の処理について説明する。これは、異常判定手段３０３において、異常候補の領域と動き領域の情報を統合し、異常領域を算出するステップに相当する。図１０に本実施例の概念図を示す。図１０の左から動き領域ブロック，異常候補ブロック，異常領域ブロックとし、動き領域ブロックと異常候補ブロックを用いて異常領域ブロックを算出する。
【００６５】
次に図１１を用いて、異常判定し出力するまでの流れを説明する。ここでは、ブロック位置を選択し（ｓ５０）、ブロックごとに判定し、画像全体に繰り返す（ｓ５３）。まず、動き領域画像Ｄ１０２を用いて、ブロック内に動きがあるか否かを判定する（ｓ５１）。ここでは、例えばブロック内において所定のしきい値以上の画素数に動きがあった場合にブロック内に動きがあったと判定する。動きがあった場合（ｓ５１でＹ）は次のブロックへ移動する（ｓ５３）。動きがない場合（ｓ５１でＮ）、次に異常候補画像Ｄ１０６を用いて、異常の継続性を判断する。このステップは、カメラの異常は瞬時に発生し、正常に戻らない場合が多いため、異常の継続性を判断することで誤報を低減することを目的とする。異常の継続時間がしきい値以下（あるいはしきい値未満）（ｓ５２でＹ）の場合には次のブロックへ移動する（ｓ５３）。この時点で、動きが無く、継続時間がしきい値より大きい（あるいはしきい値以上である）場合（ｓ５２でＮ）に、そのブロックに異常が発生しているとみなし、異常領域画像Ｄ１０９の該当ブロックに異常候補画像Ｄ１０６の格納値を代入する。ここまでの処理で、異常候補画像Ｄ１０６では、異常と判断されたブロックに“０”以外の値、正常と判断されたブロックに“０”が格納されている。すなわち、図１０における異常領域ブロックの様に、異常領域が検出される。
【００６６】
次に、異常領域画像Ｄ１０９で“０”以外の値が格納されたブロック数を計算し、しきい値以上の場合にカメラ異常と判断する（ｓ５４）。異常と判断した場合は異常検知として出力する（ｓ５５）。ステップｓ５４での判断は、カメラ異常の感度に関連する判定であり、このしきい値を高くすると、画面全体に発生した異常のみ出力することになり、これは使用環境によって任意に設定することが可能である。
【００６７】
次に図２の異常分類手段３０４について説明する。図１２は、異常分類手段を説明するための図であり、異常判定手段３０３までで検出した異常領域画像Ｄ１０９について、異常の種類別の出力例を示した図である。この異常領域画像Ｄ１０９も、各ブロックごとにカメラ異常の種類を示す情報の一例である。画角ずれは画像全体に発生する事象であるから、全ブロックに対して画角ずれ異常となる。ぼけや遮蔽は、部分的に発生する場合もあり、部分的に異常と判断された箇所がハッチングされている。異常分類手段３０４では、これらの情報を統合して最終的に異常種別を算出する。図１３は、異常分類基準の一例を示し、その判定基準は図１３に示す優先度により設定される。例えば、部分遮蔽は判定に用いる特徴量はブロック特徴量であり特徴量は輝度平均とエッジ強度分散、優先度は１となっている。また、画角ずれは判定に用いる特徴量は全体特徴量であり特徴量は増分符号相関、優先度は３となっている。ぼけは判定に用いる特徴量はブロック特徴量であり特徴量はエッジ強度，エッジ角度，輝度平均，優先度は２である。尚、図８や図９の処理を行う際に、用いる特徴量ごとに、しきい値と、しきい値判定方法（しきい値以上か閾値以下か）などの情報を予め定めておいてもよい。また、図８や図９の処理を行う際に、変化量を算出するにあたって、差分を算出するのか、相関値を算出するのかの情報を予め定めておいてもよい。尚、図１３において、「増分符号相関」や「ＲＧＢ相関」など「相関」とある場合には、特徴量として増分符号やＲＧＢ画像を用い、変化量としてその相関値を算出することとし、「相関」となっていない場合には、差分を求めることとしているが、これに限られず、特徴量としては増分符号やＲＧＢと記述しておき、別途、特徴量ごとに変化量として差分を算出するのか相関値を算出するのかを定める情報を設けておいてもよい。これらの情報により、ブロック毎に複数の異常と出力された場合は優先順位により、優先順位が高いものを出力する。その結果、図１２の下段に示す異常分類画像が出力される。この異常分類画像において最もブロック数の多い異常種別をカメラ異常とし、図２の出力部４０を通して出力装置５０や記録媒体６０に出力する。記録媒体６０へは映像データとともに格納することで、カメラ異常が発生した日時やその異常種別を確認，検索することが可能となる。そして、本実施例では、このような検索を可能とする図示しない検索手段を有する。
【００６８】
また、図１３において、異常種類ごとに保守作業も設定する。例えば、部分遮蔽及び全体遮蔽と判定された場合は、“遮蔽物除去”を設定し、画角ずれであれば、“カメラ調整”を保守作業として設定する。これらの設定はユーザの環境により任意に設定することが可能である。
【００６９】
また、異常種類ごとにその要因を設定することもでき、異常検知された場合にその要因を通知するように本実施例を置き換えることも可能である。
【００７０】
図１４に、図１の出力部４０及び出力装置５０を通してカメラ異常と保守作業を出力する例を示す。監視カメラやレコーダ映像を確認するユーザインターフェースにおいて、どのカメラが異常であるかをウィンドウにて出力し（ｃ１０）、カメラ異常の種類を出力する（ｃ１１）。図１３の設定により、保守作業の出力も同時に出力可能である（ｃ１２）。
【００７１】
本実施例は、図１５のように、レンズユニット１１とカメラ制御部１２とで構成されるカメラのような、機器に内蔵した形態を取っても良い。
【００７２】
さらに図１６に示すように、複数のカメラが設置される環境である監視サイト７０，７１から、ネットワーク８０，８１，８２を介して、監視サーバ９０や保守サイト９１に映像等の情報を伝送する形態を取っても良く、カメラ異常の出力（通知）を任意の通知方法により遠隔の保守サイト９１に通知する形態も考えられる。
【００７３】
本発明によれば、基準画像と入力画像の全体および複数のブロックに分割した特徴量や動き領域を用いることで、部分的な遮蔽，全体的な遮蔽，画角ずれ（カメラ方向のずれ），ぼけ，ノイズ，ハレーションなど様々なカメラ異常を検出及び分類することが可能となり、異常の種類と保守作業，カメラ異常の要因も併せて通知することで、異常復帰や保守・点検などの業務効率化を支援し、効率的な監視カメラシステムを提供することが可能となる。
【００７４】
以上、本発明を実施例を用いて説明してきたが、これまでの実施例で説明した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、実施例で説明したそれぞれの構成は、互いに矛盾しない限り、組合せて用いても良い。
【符号の説明】
【００７５】
１０ カメラ
１１ レンズユニット
１２ カメラ制御部
２０ 画像取得部
３０ 認識部
４０ 出力部
５０ 出力装置
６０ 記録媒体
７０，７１ 監視サイト
８０，８１，８２ ネットワーク
９０ 監視サーバ
９１ 保守サイト
３００ 動き領域検出手段
３０１ 基準画像更新手段
３０２ 特徴抽出手段
３０３ 異常判定手段
３０４ 異常分類手段
３０２０ 全体特徴抽出手段
３０２１ ブロック分割手段
３０２２ ブロック特徴抽出手段
Ｄ１００ 基準画像
Ｄ１０１ 差分画像
Ｄ１０２ 動き領域画像
Ｄ１０３ 入力画像
Ｄ１０４ 入力特徴画像
Ｄ１０５ 基準特徴画像
Ｄ１０６ 異常候補画像
Ｄ１０７ 入力ブロック特徴画像
Ｄ１０８ 基準ブロック特徴画像
Ｄ１０９ 異常領域画像
【技術分野】
【０００１】
本発明は、カメラなどの撮像装置から映像を取得し、画像認識による侵入者検知等の機能を有する映像監視システム（監視カメラシステム）において、カメラへの妨害行為や機器不具合による映像取得不良を検知するカメラ異常検出機能を有する映像監視システムに係わる。
【背景技術】
【０００２】
カメラから取得した映像から画像認識により監視エリアに現れる人や車両などの移動物体を検知する機能を有する映像監視システムは、検出結果を利用することで移動物体の出現した映像のみ記録する機能や、表示装置の警告アイコンの表示、またブザー等を鳴らして監視員の注意を促すことができるため、従来の常時確認作業が必要であった監視業務の負担低減に役立つ。また、前述の映像監視システムでは、窃盗などの不正行為が発生した場合、記録した映像を事後の犯罪立証に役立てることも可能である。
【０００３】
このような映像監視システムに対して、証拠となる映像を取得されないよう、犯行者がカメラの撮像角度を変更する行為や、カメラ前に遮蔽物を置く、カメラレンズに危害を加えるなどの行為が問題視されている。これらの行為は、映像信号自体は取得できるため、目視等による確認が行われない限り有益な映像を取得できないという問題がある。
【０００４】
また撮像機器自体の故障が発生した場合であっても当然のことながら映像が取得できないため、映像監視システムが無力化する恐れがあり、監視員等へ機器の異常を知らせカメラの異常を修復し映像監視システムを復旧させる必要がある。
【０００５】
この問題に対処するため、画像の変化を画像認識により検出し、カメラの異常を検知する方法が例えば特許文献１〜３として知られている。特許文献１では、補助照明として赤外線ＬＥＤを備え、監視環境の明るさを検出するホトセンサを有し、これらの検出手段によりカメラの妨害行為を検知する手段を有する技術が記載されている。特許文献２では、まず基準画像と入力画像との比較により、画素ごとの変化を算出し、この結果から、カメラを覆うなどして画像を黒や白などに単色化する単色化妨害か、カメラの向きを変えるなどして画像全体にわたり変化がある混合変化妨害かを、輝度の差分もしくは分散を用いて、妨害行為を検出する技術が記載されている。特許文献３では、画像データを複数のブロックに分割し、ブロックごとに輝度値の標準偏差と変化量を算出することで、カメラに対する隠蔽行為を検出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−６０５６号公報
【特許文献２】特開２００８−７７５１７号公報
【特許文献３】特開２００９−１９３４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
カメラ異常検出を備える監視カメラシステムは、カメラに対する妨害行為を検出した場合、即座に警告を通知し、その状況に応じた保守・点検などの手続きを実施可能とすることが主な目的である。例えば、レンズが破壊された場合はレンズの交換，カメラの角度を変えられた場合はカメラの再調整など、カメラ異常の種類によってその手続きを変える必要がある。そのため、カメラ異常検出は、異常だけではなくカメラ異常の種類を検出することが重要となる。
【０００８】
上記特許文献１〜３の従来方式は、赤外線センサなどの情報、もしくは輝度値の変化による検出方法を用いてカメラの妨害行為を検出する方式である。このため、上記従来方式では、カメラの異常のうち、主にレンズの遮蔽のみが検知可能である。
【０００９】
しかしながら、カメラ異常検出を備える監視カメラシステムとしては、カメラ異常の種類として、部分的な遮蔽，全体的な遮蔽，画角ずれ（カメラ方向のずれ），ぼけ，ノイズ，ハレーション（白とび）など様々な種類に対応しなければならないという問題がある。
【００１０】
さらに、上記従来方式では通常の映像、例えば人の動きなどを誤報しやすいという問題がある。輝度の変化は人の動きでも発生し得るため、人物の出入りが頻繁にある箇所などでは、これらをカメラ異常として検出する可能性が高い。
【００１１】
本発明の目的は、これらの問題点を改善し、監視カメラの異常検出とその種類を通知することで、異常復帰や保守・点検などの業務の効率化を実現する監視カメラシステムを提供することにある。
【００１２】
尚、上記した課題以外のその他の課題は、本願明細書全体の記載または図面から明らかにされる。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、本発明では、例えば以下のような構成とすることができる。
【００１４】
（１）取得画像と基準画像とからカメラ異常を検出するカメラ異常検出装置を有する監視カメラシステムにおいて、
比較対象となる基準画像を生成もしくは選択する基準画像更新手段と、
前記取得画像および前記基準画像をそれぞれブロック分割するブロック分割手段と、
前記取得画像および前記基準画像からそれぞれの全体特徴量を抽出する全体特徴抽出手段と、
前記ブロック分割手段によりブロック分割された前記取得画像および前記基準画像のブロック分割後の画像からそれぞれのブロックの特徴量であるブロック特徴量を抽出するブロック特徴抽出手段と、
前記基準画像の前記全体特徴量と前記取得画像の前記全体特徴量との間の変化量、および、前記基準画像の前記ブロック特徴量と前記取得画像の前記ブロック特徴量との間の変化量を算出し、しきい値判定することで、前記カメラ異常を判定するとともに、各ブロックごとに前記カメラ異常の種類を示す情報を出力する異常判定手段と、
前記各ブロックごとの前記カメラ異常の種類を示す情報に基づいて、予め設定した前記カメラ異常の異常分類基準を参照することで前記カメラ異常を分類するカメラ異常分類手段と、
前記カメラ異常分類手段で分類されたカメラ異常を出力する出力部とを有する。
【００１５】
（２）（１）において、
前記特徴量として、画像特徴量，統計特徴量のうち少なくとも１つ以上の特徴量を用い、前記変化量として差分，相関値のうち少なくとも１つ以上を用い、
前記異常判定手段は、前記しきい値判定により前記カメラ異常であると判定された領域を、前記カメラ異常の異常候補領域として出力する構成としてもよい。
【００１６】
（３）（２）において、
前記取得画像と前記基準画像とに基づいて、前記取得画像内で前記基準画像から動きのある動き領域を検出する動き領域検出手段を有し、
前記異常判定手段は、前記異常候補領域が前記動き領域ではなく異常の継続時間が所定時間以上継続する場合に前記異常候補領域を異常領域として算出し、前記異常領域の面積がしきい値以上の場合に、前記カメラ異常であると判定する構成としてもよい。
【００１７】
（４）（１）から（３）のいずれかにおいて、
前記異常分類基準は、前記カメラ異常の種類ごとに、前記ブロック特徴量または前記全体特徴量の何れを用いるか、前記カメラ異常を判定するのに用いる前記特徴量、前記カメラ異常を判定する優先度の情報を有する構成としてもよい。
【００１８】
（５）（４）において、
異常判定手段は、前記ブロック分割手段で分割したブロック単位で、前記異常分類基準で定義した前記カメラ異常を検出し、
前記カメラ異常分類手段は、複数の前記カメラ異常が検出された場合に、前記優先度に基づき前記カメラ異常を分類することを特徴とするカメラ異常検出装置を有する構成としてもよい。
【００１９】
（６）（１）から（５）のいずれかにおいて、
前記異常分類基準に、前記カメラ異常の種類ごとに、前記カメラ異常から復帰させるための保守作業もしくは前記カメラ異常の要因の情報を有することを特徴とするカメラ異常検出装置を有する構成としてもよい。
【００２０】
（７）（６）において、
前記出力部は、前記カメラ異常に加えて、前記異常分類基準を参照し、前記カメラ異常に該当する前記保守作業もしくは前記要因を出力する構成としてもよい。
【００２１】
（８）（１）から（７）のいずれかにおいて、
前記出力部は、前記カメラ異常と前記取得画像とを記録媒体に保存させる構成としてもよい。
【００２２】
尚、上記した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、上記した構成以外の本発明の構成の例は、本願明細書全体の記載または図面から明らかにされる。
【発明の効果】
【００２３】
本発明によれば、基準画像と入力画像の全体および複数のブロックに分割した特徴量、動き領域を用いることで、部分的な遮蔽，全体的な遮蔽，画角ずれ（カメラ方向のずれ），ぼけ，ノイズ，ハレーションなど様々なカメラ異常を検出及び分類することが可能となり、異常復帰や保守・点検などの業務効率化を支援し、効率的な監視カメラシステムを提供することが可能となる。
【００２４】
本発明のその他の効果については、明細書全体の記載から明らかにされる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態の全体構成について示した図である。
【図２】本発明の認識部について示した図である。
【図３】本発明の動き領域検出手段の処理手順について示した図である。
【図４】本発明の基準画像更新手段の処理手順について示した図である。
【図５】本発明の特徴抽出手段について示した図である。
【図６】本発明のブロック分割について示した図である。
【図７】本発明で認識するカメラ異常の例について示した図である。
【図８】本発明の全体特徴量を用いた異常判定の処理手順について示した図である。
【図９】本発明のブロックごとの特徴量を用いた異常判定の処理手順について示した図である。
【図１０】本発明の動き領域ブロックと異常候補ブロックと異常領域ブロックの模式図である。
【図１１】本発明の異常判定手段の処理手順について示した図である。
【図１２】本発明の異常分類手段を説明するための図である。
【図１３】本発明の異常分類基準の一例について示した図である。
【図１４】本発明の出力例について示した図である。
【図１５】本発明のカメラ内蔵の場合の実施形態について示した図である。
【図１６】本発明のネットワークを介した実施形態について示した図である。
【発明を実施するための形態】
【００２６】
本発明の実施例を、図面を参照しながら説明する。尚、各図において、同一又は類似の構成要素には同じ符号を付し、説明を省略する。
【００２７】
図１は、本発明の一実施形態の全体構成について示した図である。図１は本発明をカメラ，記録媒体，出力装置で構成される監視カメラシステム（映像監視システム）に適用した場合の構成である。監視カメラシステムは、ハードウェアとしてはＣＰＵ，メモリ，ＬＳＩ等を備えた電子計算機システムを有しており、夫々の機能を実行するようになっている。ここでは、ハードウェアの構成単位ではなく、それらのハードウェアやソフトウェアにより構成される各機能をブロックで表現している。
【００２８】
図１の監視カメラシステムは、カメラ１０，画像取得部２０，認識部３０，出力部４０，出力装置５０，記録媒体６０を有しており、記録媒体６０にはカメラ１０から取得した映像信号に認識部３０で取得した認識結果情報を付加し保存する。
【００２９】
カメラ１０は、カメラレンズとＣＭＯＳやＣＣＤなどの撮像媒体により構成される撮像装置から取得した映像信号を画像取得部２０へ出力する。ここで、映像信号は１次元配列もしくは２次元配列の画像データとして取得することができ、この画像データにおいては、ノイズやフリッカなどの影響を低減するために、前処理として平滑化フィルタや輪郭強調フィルタ，濃度変換などの処理を施してもよい。また、用途に応じてＲＧＢカラーやモノクロなどのデータ形式を選択してもよい。さらには、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。
【００３０】
出力部４０は認識部３０での認識結果及びカメラ１０より取得した映像信号を出力装置５０または記録媒体６０に出力する。出力装置５０は認識部３０の結果により、たとえばカメラ異常が認識された場合は、警報などを出力する装置である。ここでは、警報器，スピーカー，ランプ，モニタなどの出力デバイスを選択することができる。
【００３１】
記録媒体６０はハードディスクドライブ，フラッシュメモリなどの電子記録媒体やテープなどを用いることができる。また、出力部４０はＲＧＢモニタ出力、ネットワーク経由でのデータ出力などを含むことができ、パラメータ設定はユーザインターフェースより実行される。ユーザインターフェースにおける入力は、マウスやキーボードなどの入力機器などのインターフェース機能を用いる。ユーザインターフェースにおける出力は、出力装置５０の１つであるモニタを用いることができる。
【００３２】
以下は、本発明の重要部分である、認識部３０を中心に詳細に述べることとする。
【００３３】
図２を用いて、認識部３０について説明する。認識部３０は、動き領域検出手段３００，基準画像更新手段３０１，特徴抽出手段３０２，異常判定手段３０３と異常分類手段３０４で構成される。認識部では、監視カメラの異常を異常分類手段３０４により分類し出力する機能を有する。以下、認識部３０における各手段の詳細について順に説明する。
【００３４】
動き領域検出手段３００は、画像取得部２０で取得した入力画像と、基準画像更新手段３０１で事前に作成した基準画像との比較から動き領域画像を作成する。図３を用いて動き領域検出手段３００の処理手順を説明する。動き領域検出手段３００は、入力画像を入力として、画素ごともしくは任意のブロックごとに演算する。まず、前処理ｓ１０を実施する。これは動き領域の検出性能を向上させるための処理であり、例えばノイズ除去として平滑化フィルタ、頑健性向上のためにエッジ抽出フィルタ、処理高速化のために、任意の大きさへ画像縮小処理などを実行するとよい。また、あらかじめ差分画像Ｄ１００の全ての画素を０で初期化しておく。
【００３５】
入力画像内の画素位置を選択し（ｓ１１）動き領域抽出のための処理を実行し、次の画素へ移動することを画像全体に繰り返す（ｓ１４）。以下、簡単のため任意画素での演算について説明する。
【００３６】
任意の画素位置ｐ（ｘ，ｙ）において、入力画像と予め取得した基準画像Ｄ１００との差分を抽出する（ｓ１２）。例えば輝度値を用いた差分処理の場合、入力画像と基準画像Ｄ１００の輝度値をそれぞれＩ（ｐ），Ｂ（ｐ）とすると、その差分Ｄ（ｐ）は、Ｄ（ｐ）＝｜Ｉ（ｐ）−Ｂ（ｐ）｜となる。差分処理は、エッジや色情報など、画像情報として得られる差分であれば、実施環境に応じてどの情報を用いても実行可能である。
【００３７】
次に、差分処理ｓ１２で得られた差分Ｄ（ｐ）においてしきい値処理を実行する（ｓ１３）。Ｄ（ｐ）がしきい値以上の場合、その値を差分画像Ｄ１０１の対応する位置に採用し（ｓ１３でＹ）、次の画素へ進む（ｓ１４）。Ｄ（ｐ）がしきい未満の場合、画像の変化が少なく、明るさの変化やノイズであるとみなし、Ｄ（ｐ）＝０のままとして（ｓ１３でＮ）、次の画素へ進む（ｓ１４）。これらの結果により画像を構成することで、差分画像Ｄ１０１が得られる。さらに、差分画像Ｄ１０１に対して、後処理を実行し動き領域画像Ｄ１０２を生成する（ｓ１５）。
【００３８】
後処理ｓ１５は、本実施例では二値画像処理を実行し、膨張収縮処理や、二値画像領域の統合や面積によるフィルタリングが可能なラベリング処理により動き領域の整形を行う。この時点で、動き領域画像Ｄ１０２は、動き領域は２５５、動きの無い領域では０の値で構成される二値画像となる。後処理ｓ１５では、たとえばガウスフィルタリングやノイズ除去処理などを実行しても良い。
【００３９】
図４を用いて、基準画像更新手段３０１について説明する。基準画像は、基準となる画像であり、背景画像に相当する画像である。画像内の画素位置を選択し（ｓ２０）、画素ごとに基準画像を更新し、次の画素へ移動することを画像全体に繰り返す（ｓ２５）。基準画像は、画像内に動きやカメラ異常が発生していない場合に更新する。これは、動きやカメラ異常が発生している場合に基準画像を更新すると、人物の動きやカメラ異常が混入した映像を基準画像に取り込み、性能低下をもたらすことが考えられるためである。以下、簡単のため任意画素での演算について説明する。
【００４０】
任意の画素位置ｐ（ｘ，ｙ）において、動き領域検出手段３００で取得した動き領域画像Ｄ１０２を参照し、画素位置ｐで動きがあるかないかを判断する（ｓ２１）。本実施例において、動き領域画像Ｄ１０２は０もしくは２５５の値を持っており、処理ｓ２１は動き領域画像Ｄ１０２の画素位置ｐでの値が２５５であるか否かを判断する処理となる。動きがある場合（ｓ２１でＹ）、基準画像Ｄ１００を更新せず、次の画像位置へ移動する（ｓ２５）。
【００４１】
動きがない場合（ｓ２１でＮ）、次にカメラ異常か否かについて、異常領域画像Ｄ１０９を用いて判定する（ｓ２２）。異常領域画像Ｄ１０９の生成については後述する。ここで、カメラ異常と判断された場合（ｓ２２でＹ）は、ステップｓ２１と同様に、基準画像Ｄ１００を更新せず次の画素位置へ移動する（ｓ２５）。
【００４２】
カメラ異常でない場合（ｓ２２でＮ）、更新前処理ｓ２３では、前述のステップにより動き領域でもカメラ異常でも無いと判断された画像位置において、画像取得部２０から入力画像Ｄ１０３を取得し、基準画像更新の前処理を実行する。前述の動き領域画像Ｄ１０２や異常領域画像Ｄ１０９の結果が問題ない場合であっても、入力画像内にノイズなどの外乱が混入する可能性があるため、更新前処理ｓ２３では、入力画像のノイズ除去等を実行する。本実施例では、入力画像Ｄ１０３を画素位置ごとに任意フレーム分平均化した画像を生成することで、短時間に発生するノイズの除去行う。ここでは例えば、画素ごとの統計処理、平滑化フィルタなどのフィルタリング処理、画質補正を実行してもよい。
【００４３】
次に更新処理ｓ２４は、更新前処理ｓ２３を実行したデータを用いて現在選択されている画素位置における基準画像Ｄ１００を更新する。つまり、ここでの基準画像Ｄ１００は、人物などの動きやカメラ異常が混入していない画像となる。以上の処理を画像全体に繰り返し実行する。
【００４４】
基準画像Ｄ１００は、基準画像更新手段３０１のように自動で更新する手段を用いなくとも、ユーザによって任意に設定することが可能である。これにより例えば指定された時刻において、入力画像と設定された基準画像との比較を行うことで、カメラの異常を検出することが可能である。
【００４５】
次に図２における、特徴抽出手段３０２について図５を用いて説明する。特徴抽出手段３０２は、画像取得部２０から取得した入力画像と、基準画像更新手段３０１から取得した基準画像を入力とし、それぞれの画像の特徴量を抽出し異常判定手段３０３へ入力する。以下、入力画像と基準画像を区別せずに任意画像における特徴抽出の処理として特徴抽出手段３０２を説明する。
【００４６】
特徴抽出手段３０２では、画像全体の特徴量は全体特徴抽出手段３０２０にて算出し、ブロック分割手段３０２１によって任意のブロックに分割されたブロックごとの特徴量はブロック特徴抽出手段３０２２で抽出する。まずブロック分割手段３０２１について説明し、それぞれの特徴抽出処理について説明する。
【００４７】
ブロック分割手段３０２１について、図６を用いて説明する。図６（ａ）は入力画像（または基準画像）であり、幅Ｗ×高さＨの画像データである。これを任意のブロック数に分割する。図６（ｂ）はブロック分割について示した図である。水平方向にＮｗ分割、垂直方向にＮｈ分割した場合、１ブロックのサイズはｗ（＝Ｗ／Ｎｗ）×ｈ（＝Ｈ／Ｎｈ）となり、総ブロック数はＮ＝Ｎｗ×Ｎｈとなる。ここで、各ブロックをｂｎ（Ｎ＝０，１，…，Ｎ）とする。
【００４８】
ブロックの分割数は認識処理の感度に関係し、より詳細にカメラ異常を検出したい場合は、ブロック分割数を細分化すればよく、逆に外乱などが多いため感度を低く設定したい場合はブロック分割数を減らすことで、適用環境に応じた検出結果を得ることが可能となる。
【００４９】
次に、全体特徴抽出手段３０２０とブロック特徴抽出手段３０２２における画像特徴量について、簡単のため画像全体とブロックごとの処理を区別せずに述べる。
【００５０】
本実施例で抽出する特徴量について、画像の特徴を画像特徴量，統計特徴量に大別して説明する。画像特徴量とは輝度画像，微分画像，ＲＧＢ表色系やＨＳＶ表色系などのカラー画像など、画像データとして得られる情報のことを示す。輝度画像は入力画像の明るさ成分のみの画像である。微分画像は、Ｓｏｂｅｌフィルタなどのエッジ強調フィルタにより画像の輪郭情報を強調した画像であり、エッジ強度やエッジ方向の情報を得られる。また、増分符号画像など隣接画素の輝度勾配を０または１に符号化した画像も微分画像の一つである。ＲＧＢ画像やＨＳＶ画像はカラー画像の一つの表現であり、ＹＣｂＣｒ画像，ＨＬＳ画像など、環境に合わせて色空間を選択することも可能である。
【００５１】
統計特徴量とは、画像内の任意の空間における統計量であり、たとえば平均，中間値（メディアン），分散，最大値，最小値などが挙げられる。この統計特徴量は前述の全体特徴抽出手段３０２０であれば、画像全体の統計量、ブロック特徴抽出手段３０２２ではブロックごとの統計量となる。
【００５２】
尚、これらの特徴量の類似性を算出した相関特徴量も特徴量の一種ではあるが、本発明では、特徴抽出手段３０２ではこれを算出せず、異常判定手段３０３において算出する変化量の１種として、この相関特徴量を用いることができる。例えば、正規化相関，差分自乗和，差分絶対和，ヒストグラム交差値，ヒストグラム距離など、画像特徴量や統計特徴量の類似性もしくは非類似性が相関特徴量である。尚、異常判定手段３０３において算出する変化量としては、差分を用いることも可能である。
【００５３】
また、これらの特徴量は、実施環境に合わせて、各特徴量を組み合わせて用いても良い。例えば、エッジ画像におけるエッジ強度の分散値や、ＲＧＢ画像のＲ平均値、色距離による類似度など、組合せを任意に選択できる。
【００５４】
全体特徴抽出手段３０２０及びブロック特徴抽出手段３０２２では、前述の特徴量を算出する。全体特徴抽出手段３０２０では画像全体に対して、ブロック特徴抽出手段３０２２ではブロックごとに各特徴量を算出する。特徴量の選定は、検出したいカメラ異常によって異なり、これらはユーザによって設定することが可能である。これについては後述することとする。
【００５５】
次に、図２に示す異常判定手段３０３と異常分類手段３０４について説明する。異常判定手段３０３は上述の動き領域検出手段３００で得られた映像内の動き情報と、特徴抽出手段３０２で得られた特徴量を用いてカメラの異常を判定する。
【００５６】
ここで、まずカメラ異常について図７を用いて説明する。図７はカメラ異常の種類の例を表しており、（ａ）を正常な映像とする。（ｂ）はテープや布などの物体により部分的にカメラレンズへの遮蔽が発生した例である。（ｃ）はカメラ全体に遮蔽が発生した例である。なお、遮蔽された場合は、遮蔽する物体やカメラレンズとの隙間等で見え方が異なる。レンズに接触した場合は暗い映像となり、レンズとの隙間に比例して明るくなる傾向がある。また、遮蔽物に模様等がある場合、その模様が撮像される場合もある。さらに、遮蔽物に透過性がある場合は背景が透けて撮像される状態となるが、本実施例ではこれも遮蔽の一つとして定義する。（ｄ）は（ａ）の位置に対してカメラの向きに変更が発生した、画角ずれの例である。なお、本発明では、画角ずれをカメラ光軸の移動，カメラの回転，ズーム等による視野範囲のずれを含む意味として定義する。（ｅ）はカメラの焦点が合わず、ぼけが発生した例である。ぼけにより、物体の輪郭がぼやけた状態となる。また、湿気やほこりなどのレンズ表面に発生する一様な変化によって輪郭がぼやける場合があり、これも本実施例ではぼけとして定義する。（ｆ）は映像にノイズが付加された例である。ノイズはカメラレンズや撮像センサの不具合，ケーブル断線，周辺機器の影響などによっても発生する。ケーブル等の不具合により、映像に乱れが発生する場合もあり、本発明ではこれもノイズとして定義する。（ｇ）は映像に照明や反射光が入射し、ハレーションが発生した例である。光がレンズ内に入射すると、映像の一部もしくは全体が白とびした状態となる。（ｈ）はカメラレンズの一部に汚れ等が発生した例である。レンズに対してスプレーなどで塗装された場合、部分的もしくは全体的に（ｂ）（ｃ）の遮蔽と近い状態となる。なお、上記のカメラ異常は一例であり、カメラに対する妨害行為の方法によっては見え方が異なる。またこれらの定義はユーザによって変更することも可能である。これは、後述する異常判定の基準を変更することで実現できる。
【００５７】
次に異常判定手段３０３について説明する。異常判定手段３０３では、画像の特徴変化を算出するステップと、異常候補の領域と先に述べた動き領域の情報を統合し、異常領域を算出するステップに大別でき、順に説明する。
【００５８】
先ず、特徴変化を算出するステップについて、画角ずれを検出する手順を例に図８を用いて説明する。画角ずれの検出は、画像全体の特徴量を用いる。事前に特徴抽出手段３０２で取得した、入力特徴画像Ｄ１０４と基準特徴画像Ｄ１０５との間の変化量を算出する（ｓ３１）。尚、入力特徴画像Ｄ１０４は、画像取得部２０からの入力画像Ｄ１０３から全体特徴抽出手段３０２０が抽出した全体特徴量である。また、尚、基準特徴画像Ｄ１０５は、基準画像更新手段３０１からの基準画像Ｄ１００から全体特徴抽出手段３０２０が抽出した全体特徴量である。画角ずれの変化は画像全体の特徴量において、入力画像の全体特徴量（入力特徴画像Ｄ１０４）と基準画像の特徴量（基準特徴画像Ｄ１０５）との間の相関値が低下することである。本実施例では、特徴量に輝度画像を選択し、入力特徴画像Ｄ１０４と基準特徴画像Ｄ１０５を増分符号画像とする。増分符号とは輝度画像の隣接画素との勾配を０または１に符号化した画像である。ｓ３１では、変化量として、入力特徴画像Ｄ１０４と基準特徴画像Ｄ１０５との間の相関値を求める。増分符号画像間の相関値は、各画素位置の符号の一致率を０から１までの実数として表す手法である。
【００５９】
次に、ステップｓ３２においてｓ３１で求めた変化量がしきい値以下かどうかを判定する。尚、ｓ３１で求めた変化量（この場合は相関値）は、入力特徴画像Ｄ１０４と基準特徴画像Ｄ１０５とが完全に一致する場合は「１」、無相関の場合は「０.５」となることが知られている。したがって、この場合のしきい値としては０.５から１までの値を設定し、変化量がしきい値以下、すなわち画角が変化していると判断した場合（ｓ３２でＹ）、異常候補画像Ｄ１０６の全画素もしくは全ブロックに対して、その情報領域に“０”以外の値を格納する。異常候補画像Ｄ１０６は、検出された異常に応じて予め設定した代入値を変更する。例えば画素及びブロックごとに８ビットの格納領域があれば、画角ずれの場合は“０００００００１”、遮蔽の場合は、“００００００１０”と各ビットに異常分類を割り当てビットのＯＮ／ＯＦＦを切り替えるとよい。ここでは、画角ずれの検出なので、異常候補画像Ｄ１０６の最下位のビットを１にする。尚、ｓ３１において、変化量として１から相関値を減算したものを用い、ｓ３２において変化量がしきい値以上の場合に画角が変化していると判断してもよい。本実施例では画角ずれの変化を増分符号の変化（相関値）により求めたが、異常種別における特徴量の選択は、先述した様々な特徴量や複数特徴の組合せで実現することも可能である。また、検出したい異常の種類や用いる特徴量に応じて、変化量として、相関値を算出してもよいし、差分を算出してもよい。
【００６０】
次に、図９を用いてブロックごとの特徴量を用いる方法について、遮蔽を検出する手順を例に説明する。遮蔽は部分的にレンズを覆う変化が発生する場合があり、部分的な変化を判定する必要がある。そのため、まずブロック位置を選択し（ｓ４０）、ブロックごとに入力ブロック特徴画像Ｄ１０７と基準ブロック特徴画像Ｄ１０８の変化を算出する（ｓ４１）。ここで、入力ブロック特徴画像Ｄ１０７とは、画像取得部２０からの入力画像Ｄ１０３をブロック分割手段３０２１により分割したそれぞれの画像についてブロック特徴抽出手段３０２２が抽出したブロック特徴量である。また、基準ブロック特徴画像Ｄ１０８とは、基準画像更新手段３０１からの基準画像Ｄ１００をブロック分割手段３０２１により分割したそれぞれの画像についてブロック特徴抽出手段３０２２が抽出したブロック特徴量である。そして、ｓ４１で求めた変化量をしきい値判定し（ｓ４２）、異常候補画像Ｄ１０６を算出することを全ブロックで繰り返す（ｓ４３）。
【００６１】
遮蔽とは、遮蔽によって背景画像と入力画像において明るさに変化が発生し、遮蔽された部分は画像の微分成分が低下する。本実施例ではこれらの変化の検出をブロックごとに検出する。ブロック特徴抽出手段３０２２において、各ブロックｂｎにおいて、輝度平均Ａ（ｂｎ）を算出する。また、ブロックごとにエッジ強度の分散値を算出しＶ（ｂｎ）とする。すなわち、入力ブロック特徴画像Ｄ１０７および基準ブロック特徴画像Ｄ１０８として、輝度平均およびエッジ強度の分散値を用いる。以降、簡単のため任意ブロックの演算として説明する。
【００６２】
入力画像と背景画像の輝度平均をそれぞれＡ，Ａ′とし、エッジ強度の分散値をＶ，Ｖ′とする。それらの変化（この場合は差分）をＤ_Ａ＝｜Ａ−Ａ′｜，Ｄ_Ｖ＝｜Ｖ−Ｖ′｜で算出し（ｓ４１）、Ｄ_Ａ，Ｄ_Ｖそれぞれ、しきい値以上であるか判定し（ｓ４２）、しきい値以上の場合に異常候補画像Ｄ１０６の該当ブロックに“０”以外の値を代入し出力する。これらの処理を全てのブロックに対して実施する（ｓ４３）。
【００６３】
ここまでに述べた異常候補の算出は、異常として出力したい事象毎に、画像全体あるいはブロック毎の特徴量と変化算出方法を選択して、異常候補画像Ｄ１０６を算出すれば良い。異常候補画像Ｄ１０６の各ブロックの情報領域の各ビットに予め設定した値が格納されている。尚、ブロックごとの特徴量を用いる方法においても、検出したい異常の種類や用いる特徴量に応じて、変化量として、相関値を算出してもよいし、差分を算出してもよい。
【００６４】
ここまで、画像全体の特徴およびブロック毎の特徴を算出した時点で、動き領域画像Ｄ１０２、異常候補画像Ｄ１０６が出力されている。尚、異常候補画像Ｄ１０６は、各ブロックごとにカメラ異常の種類を示す情報の一例である。次に、これらの画像を用いた異常判定手段３０３の処理について説明する。これは、異常判定手段３０３において、異常候補の領域と動き領域の情報を統合し、異常領域を算出するステップに相当する。図１０に本実施例の概念図を示す。図１０の左から動き領域ブロック，異常候補ブロック，異常領域ブロックとし、動き領域ブロックと異常候補ブロックを用いて異常領域ブロックを算出する。
【００６５】
次に図１１を用いて、異常判定し出力するまでの流れを説明する。ここでは、ブロック位置を選択し（ｓ５０）、ブロックごとに判定し、画像全体に繰り返す（ｓ５３）。まず、動き領域画像Ｄ１０２を用いて、ブロック内に動きがあるか否かを判定する（ｓ５１）。ここでは、例えばブロック内において所定のしきい値以上の画素数に動きがあった場合にブロック内に動きがあったと判定する。動きがあった場合（ｓ５１でＹ）は次のブロックへ移動する（ｓ５３）。動きがない場合（ｓ５１でＮ）、次に異常候補画像Ｄ１０６を用いて、異常の継続性を判断する。このステップは、カメラの異常は瞬時に発生し、正常に戻らない場合が多いため、異常の継続性を判断することで誤報を低減することを目的とする。異常の継続時間がしきい値以下（あるいはしきい値未満）（ｓ５２でＹ）の場合には次のブロックへ移動する（ｓ５３）。この時点で、動きが無く、継続時間がしきい値より大きい（あるいはしきい値以上である）場合（ｓ５２でＮ）に、そのブロックに異常が発生しているとみなし、異常領域画像Ｄ１０９の該当ブロックに異常候補画像Ｄ１０６の格納値を代入する。ここまでの処理で、異常候補画像Ｄ１０６では、異常と判断されたブロックに“０”以外の値、正常と判断されたブロックに“０”が格納されている。すなわち、図１０における異常領域ブロックの様に、異常領域が検出される。
【００６６】
次に、異常領域画像Ｄ１０９で“０”以外の値が格納されたブロック数を計算し、しきい値以上の場合にカメラ異常と判断する（ｓ５４）。異常と判断した場合は異常検知として出力する（ｓ５５）。ステップｓ５４での判断は、カメラ異常の感度に関連する判定であり、このしきい値を高くすると、画面全体に発生した異常のみ出力することになり、これは使用環境によって任意に設定することが可能である。
【００６７】
次に図２の異常分類手段３０４について説明する。図１２は、異常分類手段を説明するための図であり、異常判定手段３０３までで検出した異常領域画像Ｄ１０９について、異常の種類別の出力例を示した図である。この異常領域画像Ｄ１０９も、各ブロックごとにカメラ異常の種類を示す情報の一例である。画角ずれは画像全体に発生する事象であるから、全ブロックに対して画角ずれ異常となる。ぼけや遮蔽は、部分的に発生する場合もあり、部分的に異常と判断された箇所がハッチングされている。異常分類手段３０４では、これらの情報を統合して最終的に異常種別を算出する。図１３は、異常分類基準の一例を示し、その判定基準は図１３に示す優先度により設定される。例えば、部分遮蔽は判定に用いる特徴量はブロック特徴量であり特徴量は輝度平均とエッジ強度分散、優先度は１となっている。また、画角ずれは判定に用いる特徴量は全体特徴量であり特徴量は増分符号相関、優先度は３となっている。ぼけは判定に用いる特徴量はブロック特徴量であり特徴量はエッジ強度，エッジ角度，輝度平均，優先度は２である。尚、図８や図９の処理を行う際に、用いる特徴量ごとに、しきい値と、しきい値判定方法（しきい値以上か閾値以下か）などの情報を予め定めておいてもよい。また、図８や図９の処理を行う際に、変化量を算出するにあたって、差分を算出するのか、相関値を算出するのかの情報を予め定めておいてもよい。尚、図１３において、「増分符号相関」や「ＲＧＢ相関」など「相関」とある場合には、特徴量として増分符号やＲＧＢ画像を用い、変化量としてその相関値を算出することとし、「相関」となっていない場合には、差分を求めることとしているが、これに限られず、特徴量としては増分符号やＲＧＢと記述しておき、別途、特徴量ごとに変化量として差分を算出するのか相関値を算出するのかを定める情報を設けておいてもよい。これらの情報により、ブロック毎に複数の異常と出力された場合は優先順位により、優先順位が高いものを出力する。その結果、図１２の下段に示す異常分類画像が出力される。この異常分類画像において最もブロック数の多い異常種別をカメラ異常とし、図２の出力部４０を通して出力装置５０や記録媒体６０に出力する。記録媒体６０へは映像データとともに格納することで、カメラ異常が発生した日時やその異常種別を確認，検索することが可能となる。そして、本実施例では、このような検索を可能とする図示しない検索手段を有する。
【００６８】
また、図１３において、異常種類ごとに保守作業も設定する。例えば、部分遮蔽及び全体遮蔽と判定された場合は、“遮蔽物除去”を設定し、画角ずれであれば、“カメラ調整”を保守作業として設定する。これらの設定はユーザの環境により任意に設定することが可能である。
【００６９】
また、異常種類ごとにその要因を設定することもでき、異常検知された場合にその要因を通知するように本実施例を置き換えることも可能である。
【００７０】
図１４に、図１の出力部４０及び出力装置５０を通してカメラ異常と保守作業を出力する例を示す。監視カメラやレコーダ映像を確認するユーザインターフェースにおいて、どのカメラが異常であるかをウィンドウにて出力し（ｃ１０）、カメラ異常の種類を出力する（ｃ１１）。図１３の設定により、保守作業の出力も同時に出力可能である（ｃ１２）。
【００７１】
本実施例は、図１５のように、レンズユニット１１とカメラ制御部１２とで構成されるカメラのような、機器に内蔵した形態を取っても良い。
【００７２】
さらに図１６に示すように、複数のカメラが設置される環境である監視サイト７０，７１から、ネットワーク８０，８１，８２を介して、監視サーバ９０や保守サイト９１に映像等の情報を伝送する形態を取っても良く、カメラ異常の出力（通知）を任意の通知方法により遠隔の保守サイト９１に通知する形態も考えられる。
【００７３】
本発明によれば、基準画像と入力画像の全体および複数のブロックに分割した特徴量や動き領域を用いることで、部分的な遮蔽，全体的な遮蔽，画角ずれ（カメラ方向のずれ），ぼけ，ノイズ，ハレーションなど様々なカメラ異常を検出及び分類することが可能となり、異常の種類と保守作業，カメラ異常の要因も併せて通知することで、異常復帰や保守・点検などの業務効率化を支援し、効率的な監視カメラシステムを提供することが可能となる。
【００７４】
以上、本発明を実施例を用いて説明してきたが、これまでの実施例で説明した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、実施例で説明したそれぞれの構成は、互いに矛盾しない限り、組合せて用いても良い。
【符号の説明】
【００７５】
１０ カメラ
１１ レンズユニット
１２ カメラ制御部
２０ 画像取得部
３０ 認識部
４０ 出力部
５０ 出力装置
６０ 記録媒体
７０，７１ 監視サイト
８０，８１，８２ ネットワーク
９０ 監視サーバ
９１ 保守サイト
３００ 動き領域検出手段
３０１ 基準画像更新手段
３０２ 特徴抽出手段
３０３ 異常判定手段
３０４ 異常分類手段
３０２０ 全体特徴抽出手段
３０２１ ブロック分割手段
３０２２ ブロック特徴抽出手段
Ｄ１００ 基準画像
Ｄ１０１ 差分画像
Ｄ１０２ 動き領域画像
Ｄ１０３ 入力画像
Ｄ１０４ 入力特徴画像
Ｄ１０５ 基準特徴画像
Ｄ１０６ 異常候補画像
Ｄ１０７ 入力ブロック特徴画像
Ｄ１０８ 基準ブロック特徴画像
Ｄ１０９ 異常領域画像
【特許請求の範囲】
【請求項１】
取得画像と基準画像とからカメラ異常を検出するカメラ異常検出装置を有する監視カメラシステムにおいて、
比較対象となる基準画像を生成もしくは選択する基準画像更新手段と、
前記取得画像および前記基準画像をそれぞれブロック分割するブロック分割手段と、
前記取得画像および前記基準画像からそれぞれの全体特徴量を抽出する全体特徴抽出手段と、
前記ブロック分割手段によりブロック分割された前記取得画像および前記基準画像のブロック分割後の画像からそれぞれのブロックの特徴量であるブロック特徴量を抽出するブロック特徴抽出手段と、
前記基準画像の前記全体特徴量と前記取得画像の前記全体特徴量との間の変化量、および、前記基準画像の前記ブロック特徴量と前記取得画像の前記ブロック特徴量との間の変化量を算出し、しきい値判定することで、前記カメラ異常を判定するとともに、各ブロックごとに前記カメラ異常の種類を示す情報を出力する異常判定手段と、
前記各ブロックごとの前記カメラ異常の種類を示す情報に基づいて、予め設定した前記カメラ異常の異常分類基準を参照することで前記カメラ異常を分類するカメラ異常分類手段と、
前記カメラ異常分類手段で分類されたカメラ異常を出力する出力部とを有することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項２】
請求項１において、
前記特徴量として、画像特徴量，統計特徴量のうち少なくとも１つ以上の特徴量を用い、前記変化量として差分，相関値のうち少なくとも１つ以上を用い、
前記異常判定手段は、前記しきい値判定により前記カメラ異常であると判定された領域を、前記カメラ異常の異常候補領域として出力することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項３】
請求項２において、
前記取得画像と前記基準画像とに基づいて、前記取得画像内で前記基準画像から動きのある動き領域を検出する動き領域検出手段を有し、
前記異常判定手段は、前記異常候補領域が前記動き領域ではなく異常の継続時間が所定時間以上継続する場合に前記異常候補領域を異常領域として算出し、前記異常領域の面積がしきい値以上の場合に、前記カメラ異常であると判定することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項４】
請求項１から３のいずれかにおいて、
前記異常分類基準は、前記カメラ異常の種類ごとに、前記ブロック特徴量または前記全体特徴量の何れを用いるか、前記カメラ異常を判定するのに用いる前記特徴量，前記カメラ異常を判定する優先度の情報を有することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項５】
請求項４において、
異常判定手段は、前記ブロック分割手段で分割したブロック単位で、前記異常分類基準で定義した前記カメラ異常を検出し、
前記カメラ異常分類手段は、複数の前記カメラ異常が検出された場合に、前記優先度に基づき前記カメラ異常を分類することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項６】
請求項１から５のいずれかにおいて、
前記異常分類基準に、前記カメラ異常の種類ごとに、前記カメラ異常から復帰させるための保守作業もしくは前記カメラ異常の要因の情報を有することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項７】
請求項６において、
前記出力部は、前記カメラ異常に加えて、前記異常分類基準を参照し、前記カメラ異常に該当する前記保守作業もしくは前記要因を出力することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項８】
請求項１から７のいずれかにおいて、
前記出力部は、前記カメラ異常と前記取得画像とを記録媒体に保存させることを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項１】
取得画像と基準画像とからカメラ異常を検出するカメラ異常検出装置を有する監視カメラシステムにおいて、
比較対象となる基準画像を生成もしくは選択する基準画像更新手段と、
前記取得画像および前記基準画像をそれぞれブロック分割するブロック分割手段と、
前記取得画像および前記基準画像からそれぞれの全体特徴量を抽出する全体特徴抽出手段と、
前記ブロック分割手段によりブロック分割された前記取得画像および前記基準画像のブロック分割後の画像からそれぞれのブロックの特徴量であるブロック特徴量を抽出するブロック特徴抽出手段と、
前記基準画像の前記全体特徴量と前記取得画像の前記全体特徴量との間の変化量、および、前記基準画像の前記ブロック特徴量と前記取得画像の前記ブロック特徴量との間の変化量を算出し、しきい値判定することで、前記カメラ異常を判定するとともに、各ブロックごとに前記カメラ異常の種類を示す情報を出力する異常判定手段と、
前記各ブロックごとの前記カメラ異常の種類を示す情報に基づいて、予め設定した前記カメラ異常の異常分類基準を参照することで前記カメラ異常を分類するカメラ異常分類手段と、
前記カメラ異常分類手段で分類されたカメラ異常を出力する出力部とを有することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項２】
請求項１において、
前記特徴量として、画像特徴量，統計特徴量のうち少なくとも１つ以上の特徴量を用い、前記変化量として差分，相関値のうち少なくとも１つ以上を用い、
前記異常判定手段は、前記しきい値判定により前記カメラ異常であると判定された領域を、前記カメラ異常の異常候補領域として出力することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項３】
請求項２において、
前記取得画像と前記基準画像とに基づいて、前記取得画像内で前記基準画像から動きのある動き領域を検出する動き領域検出手段を有し、
前記異常判定手段は、前記異常候補領域が前記動き領域ではなく異常の継続時間が所定時間以上継続する場合に前記異常候補領域を異常領域として算出し、前記異常領域の面積がしきい値以上の場合に、前記カメラ異常であると判定することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項４】
請求項１から３のいずれかにおいて、
前記異常分類基準は、前記カメラ異常の種類ごとに、前記ブロック特徴量または前記全体特徴量の何れを用いるか、前記カメラ異常を判定するのに用いる前記特徴量，前記カメラ異常を判定する優先度の情報を有することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項５】
請求項４において、
異常判定手段は、前記ブロック分割手段で分割したブロック単位で、前記異常分類基準で定義した前記カメラ異常を検出し、
前記カメラ異常分類手段は、複数の前記カメラ異常が検出された場合に、前記優先度に基づき前記カメラ異常を分類することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項６】
請求項１から５のいずれかにおいて、
前記異常分類基準に、前記カメラ異常の種類ごとに、前記カメラ異常から復帰させるための保守作業もしくは前記カメラ異常の要因の情報を有することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項７】
請求項６において、
前記出力部は、前記カメラ異常に加えて、前記異常分類基準を参照し、前記カメラ異常に該当する前記保守作業もしくは前記要因を出力することを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【請求項８】
請求項１から７のいずれかにおいて、
前記出力部は、前記カメラ異常と前記取得画像とを記録媒体に保存させることを特徴とするカメラ異常検出装置を有する監視カメラシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−３４１４７（Ｐ２０１２−３４１４７Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１７１３０６（Ｐ２０１０−１７１３０６）
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]