撮影妨害検知方法、妨害検知装置及び監視カメラシステム
【課題】 監視カメラで撮影された映像における物体の状態が予め定められた複数の条件を満たしているか否かを判定し、撮影妨害やいたずらの誤検知を防止可能な装置及び方法を提供する。
【解決手段】 監視カメラは、撮影した映像から物体の状態を検出し、検出された物体の状態が予め定められた複数の条件を満たしているか否かを判定する。そして、検出された物体の状態が予め定められた複数の条件を満たしていると判定された場合に、当該物体を撮影妨害の物体として検知し、検知結果を表示装置に送信する。
【解決手段】 監視カメラは、撮影した映像から物体の状態を検出し、検出された物体の状態が予め定められた複数の条件を満たしているか否かを判定する。そして、検出された物体の状態が予め定められた複数の条件を満たしていると判定された場合に、当該物体を撮影妨害の物体として検知し、検知結果を表示装置に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラに対する撮影妨害を検知する技術に関する。
【背景技術】
【０００２】
監視カメラシステムでは、画像解析処理を用いて侵入、置き去り、持ち去りなどの検知機能の搭載が進んでいる。また、カメラに対して、方向を変える、布で覆う、スプレーやガムを貼り付けるなどの、いたずら行為や撮影妨害行為がある。これらを検出する方法として、近接センサーや赤外線センサーを用いる手法に加え、画像処理を用いる手法が提案されている。
【０００３】
例えば、画像データの符号化サイズが予め設定したデータ量の閾値より減少したことを用いて撮影妨害を検出する手法がある（特許文献１）。また、視野内で所定の輝度値以上の画像の所定領域が所定数以上となったこと、或いは所定の輝度値以下の画像の所定領域が所定数以上となったことを検出することで妨害検出を行う手法がある（特許文献２）。また、映像信号の高周成分の変化を用いてレンズ面のへの半透明遮光物の貼り付けを検出する技術がある（特許文献３）。
【０００４】
更に、平均明度の異なる複数の基準画像と現在の画像との間で正規化エッジ強度を比較し、一致度が低い場合に撮影妨害を検出する手法がある（特許文献４）。そして、基準のエッジ画像と現在のエッジ画像との類似性を計測し、類似性の連続性から撮影妨害か否かを検出する手法がある（特許文献５）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−０７４５５３号公報
【特許文献２】特開２０００−２２２６４６号公報
【特許文献３】特開２００１−２３８２０４号公報
【特許文献４】特開２００５−２５２４７９号公報
【特許文献５】特開２００８−１６７４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来の方式は、画素の輝度値、エッジ成分、高周波成分などの画像特徴量の変化に注目したものである。また、上述の特徴量の時間的な連続性に注目し、所定時間以上連続して通常と異なる状態が続いた場合に異常を検出するものもある。
【０００７】
しかしながら、上述の特徴量の変化が、通常の複数の物体に起因するものか、撮影妨害に起因するものかは判別しにくいため、例えば雑踏などで複数の人物が動いているシーンを撮影妨害と誤検出する可能性がある。
【０００８】
また、例えばカメラがドーム内に設置され、ドームを柄のある布で覆った場合、その布に対して合焦する場合がある。この場合、符号化量が減少しないか、高周波成分に対する分布が維持される可能性がある。また、画面内に複数の物体が存在する場合、輝度値以上又は以下の所定領域が発生し、これを撮影妨害と誤検出する場合がある。更に、基準画像との比較では、複数物体が相当時間存在し続ける場合と区別できない。これはエッジ画像でも同じことが言える。
【０００９】
本発明は、監視カメラで撮影された映像中の物体の状態の変化が予め定められた複数の条件を満たしているか否かを判定し、撮影妨害やいたずらの誤検知を防止可能な装置及び方法を提供する。
【課題を解決するための手段】
【００１０】
本発明は、監視カメラに対する撮影妨害を検知する妨害検知装置にて実行される撮影妨害検知方法であって、
検出手段が、前記監視カメラで撮影された映像から物体の状態を検出する検出工程と、
判定手段が、前記検出された物体の状態が予め定められた複数の条件を満たしているか否かを判定する判定工程と、
検知手段が、前記検出された物体の状態が予め定められた複数の条件を満たしていると判定された場合に、当該物体を撮影を妨害する物体として検知する検知工程と、
を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、監視カメラで撮影された映像中の物体の状態の変化が予め定められた複数の条件を満たしているか否かを判定することで、撮影妨害やいたずらの誤検知を防止することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における監視カメラシステムの構成を示す図。
【図２】ネットワークカメラ１００の概略構成を示す図。
【図３】撮影妨害検知の一例を説明するための図。
【図４】撮影妨害検知処理を示すフローチャート。
【図５】物体検出処理を示すフローチャート。
【図６】イベント検知処理を示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら発明を実施するための形態について詳細に説明する。なお、以下の実施形態として示す構成は一例に過ぎず、本発明はこの構成に限定されるものではない。
【００１４】
本実施形態として、映像中で検出した物体の状態から撮影妨害を検知する撮影妨害検知処理を典型的な監視カメラシステムの構成を示す図１を用いて説明する。図１に示す例は、ネットワークカメラ１００、表示装置（ビューワ）２００、録画サーバ３００がネットワーク１０経由で接続された監視カメラシステムである。
【００１５】
ネットワークカメラ１００は、詳細は後述する物体を検出する機能や検出した被写体の状態を判別する妨害検知装置としての機能を有する。この機能により撮影妨害やいたずらなどの異常状態を検知することができる。異常検知処理はネットワークカメラ１００側でなくても録画サーバ３００ないし表示装置２００で実行されてもよい。ネットワークカメラ１００からは、映像１０１とメタデータ１０２が配信される。このメタデータ１０２には、被写体情報や異常情報が含まれる。各機器間で授受される情報は映像１０１とメタデータ１０２とが組み合わされたものである。
【００１６】
表示装置２００は映像１０１とメタデータ１０２を受信し、映像上に被写体情報を重畳して表示する。録画サーバ３００は映像１０１とメタデータ１０２とを蓄積する。なお、メタデータ１０２は映像１０１に添付されてもよいし、映像１０１とは別のストリームで配信されてもよい。
【００１７】
次に、妨害検知装置として機能するネットワークカメラ１００の概略構成を、図２を用いて説明する。ネットワークカメラ１００は、大きく分けて光学系と撮像素子とを有し、映像を撮影する撮像系１１０、パン・チルト機能を備えた雲台駆動系１２０、ネットワークカメラ１００全体を制御する制御系１３０で構成されている。
【００１８】
制御系１３０には、撮像素子により撮像された撮像画像を取得する画像取得部１３１、撮像画像を符号化する符号化部１３２、符号化された映像を表示装置２００や録画サーバ３００に配信する映像配信制御部１３３が含まれる。撮像画像を映像に符号化する符号化方式には、モーションＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４などの方式があるが、本発明は特定の符号化方式に依存しない。
【００１９】
また、制御系１３０には物体検出処理部１３４、イベント検知処理部１３５、イベント配信制御部１３６が含まれる。物体検出方法としては、背景差分による手法や人体を直接検出する方法がある。物体検出処理部１３４の検知感知などは設定制御部１３９から設定される。イベント検知処理部１３５は、物体検出処理部１３４で検出された物体の状態を判断し、侵入、置き去り、持ち去り、いたずらなどのイベントを検知する。イベント配信制御部１３６は、イベント検知処理部１３５の検知結果を表示装置２００や録画サーバ３００に配信するか否かを判定し、配信する場合はイベント情報を生成する。
【００２０】
更に、制御系１３０には撮像系制御部１３７、雲台制御部１３８、設定制御部１３９、通信部１４０が含まれる。撮像系制御部１３７は、撮像系１１０でのズーム、フォーカスなどの制御を行う。雲台制御部１３８は、設定制御部１３９のパン・チルト設定に従って左右及び上下方向に撮像系１１０の向きを変える制御を行う。設定制御部１３９は、撮像系制御部１３７、雲台制御部１３８、物体検出処理部１３４に設定情報を通知する。
【００２１】
通信部１４０は、映像配信制御部１３３の映像やイベント配信制御部１３６の妨害検知などのイベント情報をネットワーク１０経由で表示装置２００や録画サーバ３００へ送信する。一方で、通信部１４０は表示装置２００から設定情報を受信し、設定制御部１３９へ送信する。
【００２２】
次に、本実施形態で想定する典型的な撮影妨害検知の一例を、図３を用いて説明する。図３に示す（Ａ）は、布で撮像素子のレンズ面を覆った例である。ドームを覆った場合や布が薄い場合は図のように柄が映る場合がある。次に、図３に示す（Ｂ）は、シールなどを貼り付けた場合であり、隠れていない部分が存在する。また、図３に示す（Ｃ）はスプレーを吹きかけた場合である。最後に、図３に示す（Ｄ）は撮影妨害に相当しない正常なシーンの例であり、混雑時において複数の人物が移動しているシーンである。なお、図中に付与した「検知領域被覆率」、「最大物体サイズ」、「物体静止率」については、後述する撮影妨害検知処理と共に詳細に説明する。
【００２３】
次に、本実施形態による撮影妨害検知処理を説明する。撮影妨害検知処理は、まず物体検出を行い、次に検出した物体の状態が撮影妨害の条件を満たすか否かを判定する。ここで物体検出は背景差分による方法を用いる。背景差分は物体が存在しない状態で撮影した基準の画像特徴と現在の画像特徴との差分量を算出し、その差分の大きな領域を物体領域として検出する。
【００２４】
基準の画像特徴は、複数の背景状態に対応する特徴量を保持している。特徴量としては、画素単位の輝度、色成分、ブロック単位での周波数成分などがある。また、複数の状態を保持することにより、定常的に変化のある背景をモデル化できる。
【００２５】
ある状態が最初に出現してからの経過時間が予め定められた（所定の）値以上の場合、その状態を背景とみなすことができる。逆に、経過時間が所定の値に満たない場合、その状態は前景である。物体領域は、前景領域を結合した領域である。ある物体領域に属する部分領域の経過時間の平均を当該物体の存在時間とする。
【００２６】
また、経過時間のうち、直近の画像からの入力特徴量と既に保持している状態の特徴量とが一致した時間を背景状態毎に記録することで、この状態が最初に出現してから現在に至るまでに、実際に観測された総時間を計測できる。この総時間と経過時間との比率は、この状態の出現率として定義できる。その結果、物体に属する部分領域において、出現率の平均値をとれば、その物体が長時間静止しているか否かを判定することが可能である。これを「物体静止率」と呼ぶ。
【００２７】
以上の処理の結果、各物体の領域、サイズ、存在時間、物体静止率を求めることができる。また、画面上に配置した所定の領域に対して物体の占める割合を「検知領域被覆率」と定義する。検知領域は、通常画面全体を指定するが、任意の部分を指定しても構わない。また、物体のサイズは前記検知領域面積に対する比率で取り扱うことも可能である。
【００２８】
ここで、状態判定処理は、検知領域被覆率に加えて、物体サイズ、存在時間、物体静止率、合致した物体数を算出し、所定の条件（判別ルール）を満たすか否かを判定する処理である。この処理は、条件の変更によって様々な撮影妨害を検知することが可能である。この撮影妨害の条件は、領域を画面全体に設定し、検知領域被覆率が所定の値以上、物体サイズが所定の値以上、物体静止率が所定の値以上であると定義する。このような複数の条件を判定することで、複数の物体が移動している場合（正常シーン）と、レンズ前面を布で覆った場合（撮影妨害シーン）とを判別できる。
【００２９】
この状態判定処理により、図３に示す（Ａ）〜（Ｄ）のシーンが撮影妨害に該当するか否かを確認する。図３に示す（Ａ）は、布でレンズ前面を覆ったシーンであり、検知領域被覆率、最大物体サイズ、物体静止率が共に高い。これは布を覆った状態で放置したためである。従って、撮影妨害と判定される。図３に示す（Ｂ）も同様である。
【００３０】
一方、図３に示す（Ｃ）は、検知領域被覆率と最大物体サイズとでは図３に示す（Ｄ）と区別できない。しかし、一旦スプレーを吹き付けた領域は変化しないため、物体静止率が高く撮影妨害と判定できる。最後に、図３に示す（Ｄ）は、複数人物の往来があるため、物体静止率が低いことから正常なシーンと判定できる。
【００３１】
以上説明したように、一例として、検知領域被覆率を６０％、最大物体サイズを３３、物体静止率を７０％、などと設定することにより、撮影妨害と正常なシーンとを判別することができる。
【００３２】
ここで撮影妨害検知処理を、図４乃至図６に示すフローチャート用いて説明する。図４は、撮影妨害検知処理を示すフローチャートである。まず、Ｓ４０１で、物体検出処理部１３４が画像取得部１３１で取得された画像から背景差分により物体を検出する物体検出処理を行う。この物体検出処理の詳細は、図５を用いて更に後述する。尚、撮影妨害検知処理はネットワークカメラ１００側でなくても録画サーバ３００ないし表示装置２００で実行されてもよい。
【００３３】
次に、Ｓ４０２で、イベント検知処理部１３５が物体の状態を判定することでイベント検知処理を行う。このイベント検知処理は、各々の判別ルールを全ての検出物体に対して適用することによって行われる。このイベント検知処理の詳細は、図６を用いて更に後述する。
【００３４】
次に、Ｓ４０３で、全てのイベント検知処理が終了したか否かを判定し、全て終了するまでＳ４０２の処理を繰り返し、イベント検知処理が全て終了すると、Ｓ４０４へ処理を進める。そして、Ｓ４０４で、イベントを検知したか否かを判定する。判定の結果、検知した場合にはＳ４０５へ処理を進め、検知結果を検知メッセージとして表示装置２００に送信して終了する。Ｓ４０２でのイベント検知のうち、少なくとも一つが撮影妨害検知のルールとして設定されているものとする。
【００３５】
ここで、Ｓ４０１における物体検出処理を、図５を用いて説明する。本実施形態では、ＪＰＥＧの各ブロックにおけるＤＣＴ（離散コサイン変換）係数から求めた複数の特徴量を背景モデルに用いる背景差分手法を使用する。特徴量としては、ＤＣＴ計数の絶対値和や隣接フレーム間の対応成分の差分和などがある。その他の背景モデルとして画素単位の濃度分布を持つ手法（例えば特開平１０−２５５０３６）も利用可能である。
【００３６】
まず、Ｓ５０１で、原画像からＤＣＴ係数を生成して画像特徴を抽出する。ここで画像特徴にはＹ、Ｕ、Ｖ各部の低周波数成分を用いる。そして、Ｓ５０２で、Ｓ５０１で生成した複数の特徴量が既存の背景モデルと合致するか比較する。背景の変化に対応するため、背景モデルは複数の状態を持つ。これをモードと称する。また、各モードは、上述した特徴量を背景情報として保持し、現在画像から求めた特徴量との差分演算によって比較を行う。
【００３７】
次に、Ｓ５０３で、類似のモードが存在するか否かを判定し、類似のモードが存在する場合はＳ５０４へ処理を進め、対応するモードの特徴量を更新する。ここでは新規特徴量と既存特徴量とを一定比率で混合することにより既存状態を更新する。
【００３８】
また、Ｓ５０３で、類似のモードが存在しない場合はＳ５０５へ処理を進め、影か否かを判別する。これは特徴量のうち、既存背景と比較して色に起因する特徴量成分に変化が無いことから判別可能である。判別の結果、影と判定された場合はＳ５０６へ処理を進め、更新は行わない。一方、影でないと判定された場合はＳ５０７へ処理を進め、新規状態として新規背景モードを生成する。新規背景モードは自動的に前景となる。
【００３９】
次に、Ｓ５０８で、全てのブロックで処理が終了したか否かを判定し、処理が終了していない場合はＳ５０１に戻り、上述した処理を繰り返す。一方、全てのブロックで処理が終了した場合はＳ５０９へ処理を進め、物体領域の抽出処理を行う。ここでは各ブロックにおいて、複数の背景モデルのモードを実際の背景と物体などの前景とに分離する。
【００４０】
次に、Ｓ５１０で前景ブロックの隣接連結による領域統合処理を行う。次に、Ｓ５１１で小領域をノイズとして除去する。そして、Ｓ５１２で全物体の物体情報を抽出し、更に物体の追尾処理を行って終了する。上述の物体検出処理によれば、背景モデルを逐次更新しながら安定して物体情報を抽出することができる。
【００４１】
次に、Ｓ４０２におけるイベント検知処理を、図６を用いて詳細に説明する。イベント検知処理は、物体の状態を判定することにより、動体の存在、置き去り、持ち去り、撮影妨害、などのイベントを検知する処理である。具体的には、物体検出処理部１３４で検出した物体に対して、検知領域被覆率、物体サイズ、存在時間、物体静止率が所定の範囲にあるか否かを判定する。
【００４２】
まず、Ｓ７０１で検知領域被覆率が所定の範囲にあるか否かを判別する。これは各物体と検知領域との重複部分の合計を分子とし、検知領域の面積を分母とする比率を判定する処理である。ここで、検知領域被覆率が所定の範囲にない場合は、この処理を終了するが、所定の範囲にあればＳ７０２へ処理を進め、ルール番号１から判定を開始する。
【００４３】
次に、Ｓ７０４〜Ｓ７０６では、各物体の状態が判別ルールの所定範囲にあるか否かを判定する。つまり、Ｓ７０４では物体サイズについて、Ｓ７０５では存在時間について、Ｓ７０６では物体静止率について、それぞれ所定の範囲にあるか否かを判定する。そして、Ｓ７０７で全ての物体に対して処理が完了したか否かを判定し、処理が完了していなければＳ７０４に戻り、上述の判定処理を繰り返す。
【００４４】
また、Ｓ７０７で処理が完了したならばＳ７０８へ進み、この判定処理で判別ルールに合致する物体数が所定の範囲にあるか否かを判定する。判定の結果、所定の範囲にあればＳ７０９へ進み、ルール番号に該当するイベントの検知結果として“ＯＮ”を設定する。一方、Ｓ７０８で物体数が所定の範囲になければＳ７１０へ進み、ルール番号に該当するイベントの検知結果として“ＯＦＦ”を設定する。
【００４５】
次に、Ｓ７１１で全てのイベントの検知が終了したか否かを判定し、終了していなければＳ７１２へ進み、次の判別ルールのためにルール番号を更新し、Ｓ７０４に戻り、上述の処理を繰り返す。その後、Ｓ７１１で全てのイベントの検知が終了すると、この処理を終了する。
【００４６】
この処理では、検知領域被覆率、物体サイズ、存在時間、物体静止率を設定することによって様々な検知が可能である。撮影妨害検知は、既定のルール設定値に対して検知領域被覆率の下限、物体サイズの下限、物体静止率の下限を設定する。物体数の下限は規定の値で１とする。
【００４７】
本実施形態によれば、映像中で検出した物体に対して、状態判定処理を適用することにより撮影妨害を検知することができる。また、判別ルールの設定値を適切に調整することにより複数の物体が存在する正常なシーンとレンズ前面に布などを被せるシーンとを判別することができる。その結果、誤検知の少ない撮影妨害検知を実現することができる。
【００４８】
［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、監視カメラに対する撮影妨害を検知する技術に関する。
【背景技術】
【０００２】
監視カメラシステムでは、画像解析処理を用いて侵入、置き去り、持ち去りなどの検知機能の搭載が進んでいる。また、カメラに対して、方向を変える、布で覆う、スプレーやガムを貼り付けるなどの、いたずら行為や撮影妨害行為がある。これらを検出する方法として、近接センサーや赤外線センサーを用いる手法に加え、画像処理を用いる手法が提案されている。
【０００３】
例えば、画像データの符号化サイズが予め設定したデータ量の閾値より減少したことを用いて撮影妨害を検出する手法がある（特許文献１）。また、視野内で所定の輝度値以上の画像の所定領域が所定数以上となったこと、或いは所定の輝度値以下の画像の所定領域が所定数以上となったことを検出することで妨害検出を行う手法がある（特許文献２）。また、映像信号の高周成分の変化を用いてレンズ面のへの半透明遮光物の貼り付けを検出する技術がある（特許文献３）。
【０００４】
更に、平均明度の異なる複数の基準画像と現在の画像との間で正規化エッジ強度を比較し、一致度が低い場合に撮影妨害を検出する手法がある（特許文献４）。そして、基準のエッジ画像と現在のエッジ画像との類似性を計測し、類似性の連続性から撮影妨害か否かを検出する手法がある（特許文献５）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−０７４５５３号公報
【特許文献２】特開２０００−２２２６４６号公報
【特許文献３】特開２００１−２３８２０４号公報
【特許文献４】特開２００５−２５２４７９号公報
【特許文献５】特開２００８−１６７４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来の方式は、画素の輝度値、エッジ成分、高周波成分などの画像特徴量の変化に注目したものである。また、上述の特徴量の時間的な連続性に注目し、所定時間以上連続して通常と異なる状態が続いた場合に異常を検出するものもある。
【０００７】
しかしながら、上述の特徴量の変化が、通常の複数の物体に起因するものか、撮影妨害に起因するものかは判別しにくいため、例えば雑踏などで複数の人物が動いているシーンを撮影妨害と誤検出する可能性がある。
【０００８】
また、例えばカメラがドーム内に設置され、ドームを柄のある布で覆った場合、その布に対して合焦する場合がある。この場合、符号化量が減少しないか、高周波成分に対する分布が維持される可能性がある。また、画面内に複数の物体が存在する場合、輝度値以上又は以下の所定領域が発生し、これを撮影妨害と誤検出する場合がある。更に、基準画像との比較では、複数物体が相当時間存在し続ける場合と区別できない。これはエッジ画像でも同じことが言える。
【０００９】
本発明は、監視カメラで撮影された映像中の物体の状態の変化が予め定められた複数の条件を満たしているか否かを判定し、撮影妨害やいたずらの誤検知を防止可能な装置及び方法を提供する。
【課題を解決するための手段】
【００１０】
本発明は、監視カメラに対する撮影妨害を検知する妨害検知装置にて実行される撮影妨害検知方法であって、
検出手段が、前記監視カメラで撮影された映像から物体の状態を検出する検出工程と、
判定手段が、前記検出された物体の状態が予め定められた複数の条件を満たしているか否かを判定する判定工程と、
検知手段が、前記検出された物体の状態が予め定められた複数の条件を満たしていると判定された場合に、当該物体を撮影を妨害する物体として検知する検知工程と、
を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、監視カメラで撮影された映像中の物体の状態の変化が予め定められた複数の条件を満たしているか否かを判定することで、撮影妨害やいたずらの誤検知を防止することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における監視カメラシステムの構成を示す図。
【図２】ネットワークカメラ１００の概略構成を示す図。
【図３】撮影妨害検知の一例を説明するための図。
【図４】撮影妨害検知処理を示すフローチャート。
【図５】物体検出処理を示すフローチャート。
【図６】イベント検知処理を示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら発明を実施するための形態について詳細に説明する。なお、以下の実施形態として示す構成は一例に過ぎず、本発明はこの構成に限定されるものではない。
【００１４】
本実施形態として、映像中で検出した物体の状態から撮影妨害を検知する撮影妨害検知処理を典型的な監視カメラシステムの構成を示す図１を用いて説明する。図１に示す例は、ネットワークカメラ１００、表示装置（ビューワ）２００、録画サーバ３００がネットワーク１０経由で接続された監視カメラシステムである。
【００１５】
ネットワークカメラ１００は、詳細は後述する物体を検出する機能や検出した被写体の状態を判別する妨害検知装置としての機能を有する。この機能により撮影妨害やいたずらなどの異常状態を検知することができる。異常検知処理はネットワークカメラ１００側でなくても録画サーバ３００ないし表示装置２００で実行されてもよい。ネットワークカメラ１００からは、映像１０１とメタデータ１０２が配信される。このメタデータ１０２には、被写体情報や異常情報が含まれる。各機器間で授受される情報は映像１０１とメタデータ１０２とが組み合わされたものである。
【００１６】
表示装置２００は映像１０１とメタデータ１０２を受信し、映像上に被写体情報を重畳して表示する。録画サーバ３００は映像１０１とメタデータ１０２とを蓄積する。なお、メタデータ１０２は映像１０１に添付されてもよいし、映像１０１とは別のストリームで配信されてもよい。
【００１７】
次に、妨害検知装置として機能するネットワークカメラ１００の概略構成を、図２を用いて説明する。ネットワークカメラ１００は、大きく分けて光学系と撮像素子とを有し、映像を撮影する撮像系１１０、パン・チルト機能を備えた雲台駆動系１２０、ネットワークカメラ１００全体を制御する制御系１３０で構成されている。
【００１８】
制御系１３０には、撮像素子により撮像された撮像画像を取得する画像取得部１３１、撮像画像を符号化する符号化部１３２、符号化された映像を表示装置２００や録画サーバ３００に配信する映像配信制御部１３３が含まれる。撮像画像を映像に符号化する符号化方式には、モーションＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４などの方式があるが、本発明は特定の符号化方式に依存しない。
【００１９】
また、制御系１３０には物体検出処理部１３４、イベント検知処理部１３５、イベント配信制御部１３６が含まれる。物体検出方法としては、背景差分による手法や人体を直接検出する方法がある。物体検出処理部１３４の検知感知などは設定制御部１３９から設定される。イベント検知処理部１３５は、物体検出処理部１３４で検出された物体の状態を判断し、侵入、置き去り、持ち去り、いたずらなどのイベントを検知する。イベント配信制御部１３６は、イベント検知処理部１３５の検知結果を表示装置２００や録画サーバ３００に配信するか否かを判定し、配信する場合はイベント情報を生成する。
【００２０】
更に、制御系１３０には撮像系制御部１３７、雲台制御部１３８、設定制御部１３９、通信部１４０が含まれる。撮像系制御部１３７は、撮像系１１０でのズーム、フォーカスなどの制御を行う。雲台制御部１３８は、設定制御部１３９のパン・チルト設定に従って左右及び上下方向に撮像系１１０の向きを変える制御を行う。設定制御部１３９は、撮像系制御部１３７、雲台制御部１３８、物体検出処理部１３４に設定情報を通知する。
【００２１】
通信部１４０は、映像配信制御部１３３の映像やイベント配信制御部１３６の妨害検知などのイベント情報をネットワーク１０経由で表示装置２００や録画サーバ３００へ送信する。一方で、通信部１４０は表示装置２００から設定情報を受信し、設定制御部１３９へ送信する。
【００２２】
次に、本実施形態で想定する典型的な撮影妨害検知の一例を、図３を用いて説明する。図３に示す（Ａ）は、布で撮像素子のレンズ面を覆った例である。ドームを覆った場合や布が薄い場合は図のように柄が映る場合がある。次に、図３に示す（Ｂ）は、シールなどを貼り付けた場合であり、隠れていない部分が存在する。また、図３に示す（Ｃ）はスプレーを吹きかけた場合である。最後に、図３に示す（Ｄ）は撮影妨害に相当しない正常なシーンの例であり、混雑時において複数の人物が移動しているシーンである。なお、図中に付与した「検知領域被覆率」、「最大物体サイズ」、「物体静止率」については、後述する撮影妨害検知処理と共に詳細に説明する。
【００２３】
次に、本実施形態による撮影妨害検知処理を説明する。撮影妨害検知処理は、まず物体検出を行い、次に検出した物体の状態が撮影妨害の条件を満たすか否かを判定する。ここで物体検出は背景差分による方法を用いる。背景差分は物体が存在しない状態で撮影した基準の画像特徴と現在の画像特徴との差分量を算出し、その差分の大きな領域を物体領域として検出する。
【００２４】
基準の画像特徴は、複数の背景状態に対応する特徴量を保持している。特徴量としては、画素単位の輝度、色成分、ブロック単位での周波数成分などがある。また、複数の状態を保持することにより、定常的に変化のある背景をモデル化できる。
【００２５】
ある状態が最初に出現してからの経過時間が予め定められた（所定の）値以上の場合、その状態を背景とみなすことができる。逆に、経過時間が所定の値に満たない場合、その状態は前景である。物体領域は、前景領域を結合した領域である。ある物体領域に属する部分領域の経過時間の平均を当該物体の存在時間とする。
【００２６】
また、経過時間のうち、直近の画像からの入力特徴量と既に保持している状態の特徴量とが一致した時間を背景状態毎に記録することで、この状態が最初に出現してから現在に至るまでに、実際に観測された総時間を計測できる。この総時間と経過時間との比率は、この状態の出現率として定義できる。その結果、物体に属する部分領域において、出現率の平均値をとれば、その物体が長時間静止しているか否かを判定することが可能である。これを「物体静止率」と呼ぶ。
【００２７】
以上の処理の結果、各物体の領域、サイズ、存在時間、物体静止率を求めることができる。また、画面上に配置した所定の領域に対して物体の占める割合を「検知領域被覆率」と定義する。検知領域は、通常画面全体を指定するが、任意の部分を指定しても構わない。また、物体のサイズは前記検知領域面積に対する比率で取り扱うことも可能である。
【００２８】
ここで、状態判定処理は、検知領域被覆率に加えて、物体サイズ、存在時間、物体静止率、合致した物体数を算出し、所定の条件（判別ルール）を満たすか否かを判定する処理である。この処理は、条件の変更によって様々な撮影妨害を検知することが可能である。この撮影妨害の条件は、領域を画面全体に設定し、検知領域被覆率が所定の値以上、物体サイズが所定の値以上、物体静止率が所定の値以上であると定義する。このような複数の条件を判定することで、複数の物体が移動している場合（正常シーン）と、レンズ前面を布で覆った場合（撮影妨害シーン）とを判別できる。
【００２９】
この状態判定処理により、図３に示す（Ａ）〜（Ｄ）のシーンが撮影妨害に該当するか否かを確認する。図３に示す（Ａ）は、布でレンズ前面を覆ったシーンであり、検知領域被覆率、最大物体サイズ、物体静止率が共に高い。これは布を覆った状態で放置したためである。従って、撮影妨害と判定される。図３に示す（Ｂ）も同様である。
【００３０】
一方、図３に示す（Ｃ）は、検知領域被覆率と最大物体サイズとでは図３に示す（Ｄ）と区別できない。しかし、一旦スプレーを吹き付けた領域は変化しないため、物体静止率が高く撮影妨害と判定できる。最後に、図３に示す（Ｄ）は、複数人物の往来があるため、物体静止率が低いことから正常なシーンと判定できる。
【００３１】
以上説明したように、一例として、検知領域被覆率を６０％、最大物体サイズを３３、物体静止率を７０％、などと設定することにより、撮影妨害と正常なシーンとを判別することができる。
【００３２】
ここで撮影妨害検知処理を、図４乃至図６に示すフローチャート用いて説明する。図４は、撮影妨害検知処理を示すフローチャートである。まず、Ｓ４０１で、物体検出処理部１３４が画像取得部１３１で取得された画像から背景差分により物体を検出する物体検出処理を行う。この物体検出処理の詳細は、図５を用いて更に後述する。尚、撮影妨害検知処理はネットワークカメラ１００側でなくても録画サーバ３００ないし表示装置２００で実行されてもよい。
【００３３】
次に、Ｓ４０２で、イベント検知処理部１３５が物体の状態を判定することでイベント検知処理を行う。このイベント検知処理は、各々の判別ルールを全ての検出物体に対して適用することによって行われる。このイベント検知処理の詳細は、図６を用いて更に後述する。
【００３４】
次に、Ｓ４０３で、全てのイベント検知処理が終了したか否かを判定し、全て終了するまでＳ４０２の処理を繰り返し、イベント検知処理が全て終了すると、Ｓ４０４へ処理を進める。そして、Ｓ４０４で、イベントを検知したか否かを判定する。判定の結果、検知した場合にはＳ４０５へ処理を進め、検知結果を検知メッセージとして表示装置２００に送信して終了する。Ｓ４０２でのイベント検知のうち、少なくとも一つが撮影妨害検知のルールとして設定されているものとする。
【００３５】
ここで、Ｓ４０１における物体検出処理を、図５を用いて説明する。本実施形態では、ＪＰＥＧの各ブロックにおけるＤＣＴ（離散コサイン変換）係数から求めた複数の特徴量を背景モデルに用いる背景差分手法を使用する。特徴量としては、ＤＣＴ計数の絶対値和や隣接フレーム間の対応成分の差分和などがある。その他の背景モデルとして画素単位の濃度分布を持つ手法（例えば特開平１０−２５５０３６）も利用可能である。
【００３６】
まず、Ｓ５０１で、原画像からＤＣＴ係数を生成して画像特徴を抽出する。ここで画像特徴にはＹ、Ｕ、Ｖ各部の低周波数成分を用いる。そして、Ｓ５０２で、Ｓ５０１で生成した複数の特徴量が既存の背景モデルと合致するか比較する。背景の変化に対応するため、背景モデルは複数の状態を持つ。これをモードと称する。また、各モードは、上述した特徴量を背景情報として保持し、現在画像から求めた特徴量との差分演算によって比較を行う。
【００３７】
次に、Ｓ５０３で、類似のモードが存在するか否かを判定し、類似のモードが存在する場合はＳ５０４へ処理を進め、対応するモードの特徴量を更新する。ここでは新規特徴量と既存特徴量とを一定比率で混合することにより既存状態を更新する。
【００３８】
また、Ｓ５０３で、類似のモードが存在しない場合はＳ５０５へ処理を進め、影か否かを判別する。これは特徴量のうち、既存背景と比較して色に起因する特徴量成分に変化が無いことから判別可能である。判別の結果、影と判定された場合はＳ５０６へ処理を進め、更新は行わない。一方、影でないと判定された場合はＳ５０７へ処理を進め、新規状態として新規背景モードを生成する。新規背景モードは自動的に前景となる。
【００３９】
次に、Ｓ５０８で、全てのブロックで処理が終了したか否かを判定し、処理が終了していない場合はＳ５０１に戻り、上述した処理を繰り返す。一方、全てのブロックで処理が終了した場合はＳ５０９へ処理を進め、物体領域の抽出処理を行う。ここでは各ブロックにおいて、複数の背景モデルのモードを実際の背景と物体などの前景とに分離する。
【００４０】
次に、Ｓ５１０で前景ブロックの隣接連結による領域統合処理を行う。次に、Ｓ５１１で小領域をノイズとして除去する。そして、Ｓ５１２で全物体の物体情報を抽出し、更に物体の追尾処理を行って終了する。上述の物体検出処理によれば、背景モデルを逐次更新しながら安定して物体情報を抽出することができる。
【００４１】
次に、Ｓ４０２におけるイベント検知処理を、図６を用いて詳細に説明する。イベント検知処理は、物体の状態を判定することにより、動体の存在、置き去り、持ち去り、撮影妨害、などのイベントを検知する処理である。具体的には、物体検出処理部１３４で検出した物体に対して、検知領域被覆率、物体サイズ、存在時間、物体静止率が所定の範囲にあるか否かを判定する。
【００４２】
まず、Ｓ７０１で検知領域被覆率が所定の範囲にあるか否かを判別する。これは各物体と検知領域との重複部分の合計を分子とし、検知領域の面積を分母とする比率を判定する処理である。ここで、検知領域被覆率が所定の範囲にない場合は、この処理を終了するが、所定の範囲にあればＳ７０２へ処理を進め、ルール番号１から判定を開始する。
【００４３】
次に、Ｓ７０４〜Ｓ７０６では、各物体の状態が判別ルールの所定範囲にあるか否かを判定する。つまり、Ｓ７０４では物体サイズについて、Ｓ７０５では存在時間について、Ｓ７０６では物体静止率について、それぞれ所定の範囲にあるか否かを判定する。そして、Ｓ７０７で全ての物体に対して処理が完了したか否かを判定し、処理が完了していなければＳ７０４に戻り、上述の判定処理を繰り返す。
【００４４】
また、Ｓ７０７で処理が完了したならばＳ７０８へ進み、この判定処理で判別ルールに合致する物体数が所定の範囲にあるか否かを判定する。判定の結果、所定の範囲にあればＳ７０９へ進み、ルール番号に該当するイベントの検知結果として“ＯＮ”を設定する。一方、Ｓ７０８で物体数が所定の範囲になければＳ７１０へ進み、ルール番号に該当するイベントの検知結果として“ＯＦＦ”を設定する。
【００４５】
次に、Ｓ７１１で全てのイベントの検知が終了したか否かを判定し、終了していなければＳ７１２へ進み、次の判別ルールのためにルール番号を更新し、Ｓ７０４に戻り、上述の処理を繰り返す。その後、Ｓ７１１で全てのイベントの検知が終了すると、この処理を終了する。
【００４６】
この処理では、検知領域被覆率、物体サイズ、存在時間、物体静止率を設定することによって様々な検知が可能である。撮影妨害検知は、既定のルール設定値に対して検知領域被覆率の下限、物体サイズの下限、物体静止率の下限を設定する。物体数の下限は規定の値で１とする。
【００４７】
本実施形態によれば、映像中で検出した物体に対して、状態判定処理を適用することにより撮影妨害を検知することができる。また、判別ルールの設定値を適切に調整することにより複数の物体が存在する正常なシーンとレンズ前面に布などを被せるシーンとを判別することができる。その結果、誤検知の少ない撮影妨害検知を実現することができる。
【００４８】
［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
監視カメラに対する撮影妨害を検知する妨害検知装置にて実行される撮影妨害検知方法であって、
検出手段が、前記監視カメラで撮影された映像から物体の状態を検出する検出工程と、
判定手段が、前記検出された物体の状態が予め定められた複数の条件を満たしているか否かを判定する判定工程と、
検知手段が、前記検出された物体の状態が予め定められた複数の条件を満たしていると判定された場合に、当該物体を撮影を妨害する物体として検知する検知工程と、
を有することを特徴とする撮影妨害検知方法。
【請求項２】
前記条件は、前記映像の領域に対して前記物体の占める割合が予め定められた値以上であることを特徴とする請求項１に記載の撮影妨害検知方法。
【請求項３】
前記条件は、前記物体のサイズが予め定められた値以上であることを特徴とする請求項１に記載の撮影妨害検知方法。
【請求項４】
前記条件は、前記物体が存在する時間が予め定められた値以上であることを特徴とする請求項１に記載の撮影妨害検知方法。
【請求項５】
前記条件は、前記物体が静止している静止率が予め定められた値以上であることを特徴とする請求項１に記載の撮影妨害検知方法。
【請求項６】
送信手段が、前記検知された検知結果を表示装置に送信する送信工程を更に有することを特徴とする請求項１乃至５の何れか１項に記載の撮影妨害検知方法。
【請求項７】
監視カメラに対する撮影妨害を検知する妨害検知装置であって、
撮影した映像から物体の状態を検出する検出手段と、
前記検出された物体の状態が予め定められた複数の条件を満たしているか否かを判定する判定手段と、
前記判定手段で前記検出された物体の状態が予め定められた複数の条件を満たしていると判定された場合に、当該物体を撮影を妨害する物体として検知する検知手段と、
を有することを特徴とする妨害検知装置。
【請求項８】
監視カメラと、当該監視カメラで撮影された映像を表示する表示装置と、当該監視カメラで撮影された映像を録画する録画サーバとを有する監視カメラシステムであって、
撮影した映像から物体の状態を検出する検出手段と、
前記検出された物体の状態が予め定められた複数の条件を満たしているか否かを判定する判定手段と、
前記判定手段で前記検出された物体の状態が予め定められた複数の条件を満たしていると判定された場合に、当該物体を撮影を妨害する物体として検知する検知手段と、
を有することを特徴とする監視カメラシステム。
【請求項９】
コンピュータを、請求項７に記載の妨害検知装置の各手段として機能させるためのプログラム。
【請求項１】
監視カメラに対する撮影妨害を検知する妨害検知装置にて実行される撮影妨害検知方法であって、
検出手段が、前記監視カメラで撮影された映像から物体の状態を検出する検出工程と、
判定手段が、前記検出された物体の状態が予め定められた複数の条件を満たしているか否かを判定する判定工程と、
検知手段が、前記検出された物体の状態が予め定められた複数の条件を満たしていると判定された場合に、当該物体を撮影を妨害する物体として検知する検知工程と、
を有することを特徴とする撮影妨害検知方法。
【請求項２】
前記条件は、前記映像の領域に対して前記物体の占める割合が予め定められた値以上であることを特徴とする請求項１に記載の撮影妨害検知方法。
【請求項３】
前記条件は、前記物体のサイズが予め定められた値以上であることを特徴とする請求項１に記載の撮影妨害検知方法。
【請求項４】
前記条件は、前記物体が存在する時間が予め定められた値以上であることを特徴とする請求項１に記載の撮影妨害検知方法。
【請求項５】
前記条件は、前記物体が静止している静止率が予め定められた値以上であることを特徴とする請求項１に記載の撮影妨害検知方法。
【請求項６】
送信手段が、前記検知された検知結果を表示装置に送信する送信工程を更に有することを特徴とする請求項１乃至５の何れか１項に記載の撮影妨害検知方法。
【請求項７】
監視カメラに対する撮影妨害を検知する妨害検知装置であって、
撮影した映像から物体の状態を検出する検出手段と、
前記検出された物体の状態が予め定められた複数の条件を満たしているか否かを判定する判定手段と、
前記判定手段で前記検出された物体の状態が予め定められた複数の条件を満たしていると判定された場合に、当該物体を撮影を妨害する物体として検知する検知手段と、
を有することを特徴とする妨害検知装置。
【請求項８】
監視カメラと、当該監視カメラで撮影された映像を表示する表示装置と、当該監視カメラで撮影された映像を録画する録画サーバとを有する監視カメラシステムであって、
撮影した映像から物体の状態を検出する検出手段と、
前記検出された物体の状態が予め定められた複数の条件を満たしているか否かを判定する判定手段と、
前記判定手段で前記検出された物体の状態が予め定められた複数の条件を満たしていると判定された場合に、当該物体を撮影を妨害する物体として検知する検知手段と、
を有することを特徴とする監視カメラシステム。
【請求項９】
コンピュータを、請求項７に記載の妨害検知装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図３】
【図２】
【図４】
【図５】
【図６】
【図３】
【公開番号】特開２０１２−９９９４０（Ｐ２０１２−９９９４０Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４４２８７（Ｐ２０１０−２４４２８７）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]