画像処理装置、画像処理方法、およびプログラム
【課題】監視カメラに対する妨害行為を検出できるようにする。
【解決手段】画像の画像データを取得し、取得された画像をＮ（Ｎ＞１）個のブロックに分割し、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックを、更新対象のブロックとして順次指定し、指定されたＭ個のブロックの画像データに所定のフィルタによるフィルタリングを施し、フィルタリング結果が、所定の値より大きい画素をカウントし、カウントされた画素の数と所定の値を比較することで、ブロックに異常があるか否かを判定し、異常があると判定された画像内のブロック数と所定の値を比較することで、妨害が発生したか否かが判定される。本技術は、例えば、監視システムに適用できる。
【解決手段】画像の画像データを取得し、取得された画像をＮ（Ｎ＞１）個のブロックに分割し、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックを、更新対象のブロックとして順次指定し、指定されたＭ個のブロックの画像データに所定のフィルタによるフィルタリングを施し、フィルタリング結果が、所定の値より大きい画素をカウントし、カウントされた画素の数と所定の値を比較することで、ブロックに異常があるか否かを判定し、異常があると判定された画像内のブロック数と所定の値を比較することで、妨害が発生したか否かが判定される。本技術は、例えば、監視システムに適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関する。詳しくは、監視カメラなどに加えられた妨害行為を検出できるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
所定の空間への人、動物などの侵入者を発見するために、監視カメラにより対象とされる空間を撮影し、撮影画像から侵入者を検知する監視システムが知られている。かかる監視システムは、監視カメラに布を被せる、監視カメラの向きを変える、監視カメラのレンズにスプレーをかける、などの妨害行為が行われると、監視ができなくなる。
【０００３】
監視カメラに対してされた妨害行為を検知する技術として、監視カメラにより撮像された現在の画像と予め記憶されている参照画像（または過去画像）との類似度を演算したり、エッジ強度を演算したりして、妨害行為があったか否かを判定することが提案されている（例えば、特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許04626632号公報
【特許文献２】特許04227539号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記した特許文献１および特許文献２によれば、妨害行為があったことを検知することはできる。しかしながら、妨害の種類を判定することは困難である。妨害の種類を判定することができることで、妨害を取り除くための対処が異なるため、妨害の種類までも判定することができることが望まれている。
【０００６】
また、特許文献１では、動体による誤検知を抑えるために動体検出処理も処理に含めることが開示されている。しかしながら、動体が画面全体を覆うようなシーンでなければ検出することができず、より細かな状況に応じた検出を行うことは困難である。
【０００７】
また、特許文献２では、領域毎に処理を行うことが提案されている。しかしながら、妨害あったか否かの判定の際に、全領域の結果の値を加算して全体の値を算出していたため、一部の領域に極端にエッジ強度が強い領域があると、判定結果が、その領域に依存してしまうことがあり、誤判定をしてしまう可能性があった。
【０００８】
監視カメラに対する妨害行為を、誤検出なく、より精度良く検出できるようにし、妨害の種類が判別でき、適切な対応を即座に取れるようにすることが所望されている。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、監視カメラなどに妨害が加えられたときに、その妨害を精度良く検出し、さらに妨害の種類も判別することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置においては、画像の画像データを取得する取得部と、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割部と、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定部と、指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施すフィルタリング部と、前記フィルタリング部からのフィルタリング結果が、所定の値より大きい画素をカウントするカウント部と、前記カウント部によりカウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定する第１の判定部と、前記第１の判定部により異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する第２の判定部とを備える。
【００１１】
前記カウント部は、前記フィルタリング結果が、前記所定の値より大きい画素の数をカウントした画素数と、前記フィルタリング結果が、前記所定の値以上であると判定された画素の値を加算した累積値を前記画素数で除算した平均値を算出し、前記第１の判定部は、前記画素数が所定の値より小さいか否かの第１の判定と、前記平均値が所定の値より小さいか否かの第２の判定を行い、前記第１の判定と前記第２の判定の論理和を判定結果とするようにすることができる。
【００１２】
指定されたＭ個の前記ブロックの前記画像データのヒストグラムを生成するヒストグラム生成部と、生成された前記ヒストグラムを順次更新して保存するヒストグラム保存部と、生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定部と、前記ヒストグラムの正規化を行うか否かを判定する正規化判定部と、前記正規化判定部において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化部とをさらに備え、前記変化判定部は、前記正規化部により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定し、変化があったと判定した場合、妨害があったと判定するようにすることができる。
【００１３】
前記第２の判定部による判定結果と、前記変化判定部による判定結果を統合し、前記妨害の種類を判定するようにすることができる。
【００１４】
本技術の一側面の画像処理方法は、画像の画像データを取得し、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、フィルタリング結果が、所定の値より大きい画素をカウントし、カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定するステップを含む。
【００１５】
本技術の一側面のプログラムは、コンピュータに、画像の画像データを取得し、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、フィルタリング結果が、所定の値より大きい画素をカウントし、カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定するステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラムである。
【００１６】
本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、取得された画像がＮ（Ｎ＞１）個のブロックに分割され、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックが、更新対象のブロックとして順次指定され、指定されたＭ個のブロックの画像データに所定のフィルタによるフィルタリングが施され、そのフィルタリング結果が、所定の値より大きい画素がカウントされ、そのカウントされた画素の数と所定の値が比較されることで、ブロックに異常があるか否かが判定される。そして、異常があると判定された画像内のブロック数と所定の値がさらに比較されることで、妨害が発生したか否かが判定される。
【発明の効果】
【００１７】
本技術の一側面によれば、監視カメラなどに妨害が加えられたときに、その妨害を精度良く検出することができる。また妨害の種類も判別することができる。妨害の種類を判別することができるようになることで、妨害の除去に対する適切な対処を、ユーザが行いやすくなる。
【図面の簡単な説明】
【００１８】
【図１】本発明の画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】画像解析部の構成を示すブロック図である。
【図３】グローバルチェンジ検出部の詳細構成例を示すブロック図である。
【図４】正規化処理部の詳細構成例を示すブロック図である。
【図５】デフォーカス検出部の構成を示す図である。
【図６】正規化判定部の処理を説明する図である。
【図７】正規化値算出部の処理を説明する図である。
【図８】正規化部の処理を説明する図である。
【図９】正規化部の処理を説明する図である。
【図１０】変化判定部の詳細構成例を示すブロック図である。
【図１１】変化判定部の処理を説明する図である。
【図１２】グローバルチェンジ検出部の処理を説明するフローチャートである。
【図１３】更新するブロックの移動を説明する図である。
【図１４】正規化処理の詳細を説明するフローチャートである。
【図１５】ブロックの形状を示す図である。
【図１６】ブロックの形状を示す図である。
【図１７】デフォーカス検出部の処理を説明するフローチャートである。
【図１８】検出結果の統合について説明するための図である。
【図１９】検出結果の統合について説明するためのフローチャートである。
【図２０】記録媒体について説明するための図である。
【発明を実施するための形態】
【００１９】
以下に、本技術の実施の形態について図面を参照して説明する。
【００２０】
［画像処理装置の構成］
図１は、本技術の画像処理装置の一実施の形態の構成を示すブロック図である。本技術は、監視カメラにより撮像される画像を解析し、監視カメラに対して加えられた妨害を検出する装置に適用できる。図１に示した画像処理装置１１は、取得された画像に基づいて、監視カメラ（監視装置）に対する妨害行為を検出し、妨害行為が検出されたときアラームを出力する。
【００２１】
ここで、監視カメラに関する妨害について説明する。監視カメラに関する妨害として、監視対象を視野外（撮影範囲外）にする妨害がある。この妨害は、監視カメラの向きを変える首振りと称される妨害や、監視カメラに布などを被せる覆いと称される妨害がある。このような監視対象を視野外にする妨害をここでは、グローバルチェンジと記述する。
【００２２】
また、監視カメラのフォーカスをずらす妨害もある。この妨害としては、監視カメラのフォーカスをずらすフォーカスずらしや、監視カメラのズームをずらすズームずらしがある。このようなフォーカスをずらす妨害をここでは、デフォーカスと記述する。
【００２３】
図１に示した画像処理装置１１は、取得部２１と画像処理部２２により構成されている。画像の画像データを取得する取得手段としての取得部２１は、CMOS（Complementary Metal Oxide Semiconductor）センサ、ビデオカメラなどの撮像部を内蔵し、撮像部が監視する対象空間などの被写体を撮影することで得られた画像データを取得し、出力する。取得部２１はまた、ネットワークを介して外部から供給される画像データを取得することもできる。
【００２４】
画像処理部２２は、撮像信号処理部３１、データ保存部３２、および画像解析部３３により構成される。撮像信号処理部３１は、取得部２１より得られた画像データに対して、黒レベル補正処理、ホワイトバランス処理、γ補正処理、色補正処理等の各種画像処理を施す。
【００２５】
撮像信号処理部３１は、例えばDSP(Digital Signal Processor)により構成される。データ保存部３２は、撮像信号処理部３１により処理された画像データを保存する。データ保存部３２は、例えばRAM(Random Access Memory）により構成される。画像解析部３３は、撮像信号処理部３１より供給される現在の画像と、データ保存部３２より供給される過去の画像である参照画像を解析することにより、妨害行為を検出する。画像解析部３３は、例えばCPU（Central Processing Unit）により構成される。
【００２６】
［画像解析部３３の詳細構成］
図２は、画像解析部３３の内部構成を示す図である。画像解析部３３は、グローバルチェンジ検出部４１、デフォーカス検出部４２、および検出結果統合部４３を含む。グローバルチェンジ検出部４１は、上記したグローバルチェンジに係わる妨害を検出するための処理を行う。デフォーカス検出部４２は、上記したデフォーカスに係わる妨害を検出するための処理を行う。検出結果統合部４３は、グローバルチェンジ検出部４１とデフォーカス検出部４２からそれぞれ出力される検出結果を統合し、監視カメラに対する妨害行為の種類などを判別する。
【００２７】
［グローバルチェンジ検出部４１の詳細構成］
図３は、グローバルチェンジ検出部４１の詳細構成例を示すブロック図である。グローバルチェンジ検出部４１は、更新領域選択部６１、ヒストグラム保存部６２、画像分割部６３、ヒストグラム生成部６４、正規化処理部６５、変化判定部６６、変化領域保存部６７、カウンタ部６８、および閾値判定部６９により構成されている。
【００２８】
更新領域選択部６１は、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックを、更新するブロックとして順次指定する指定手段として機能する。この更新領域選択部６１は、撮像信号処理部３１から供給されるデータから、取得部２１により取得された画像のフレーム番号を抽出し、更新するフレーム番号を決定する。さらに更新領域選択部６１は、更新するフレームの中の更新するブロックを決定する。
【００２９】
取得された画像をＮ（Ｎ＞１）個のブロックに分割する分割手段としての画像分割部６３は、撮像信号処理部３１から供給される画像データに基づく各フレームの画像のうち、更新領域選択部６１により指定されるフレームを複数のブロックに分割する。画像分割部６３はまた、分割されたブロックのうち、更新領域選択部６１により指定されるブロックの画像データを、ヒストグラム生成部６４に供給する。
【００３０】
取得された画像データのヒストグラムを生成するヒストグラム生成手段としてのヒストグラム生成部６４は、画像分割部６３から供給されたブロックのヒストグラムを生成する。なお、撮像信号処理部３１がヒストグラム生成機能を備える場合がある。その場合には、ヒストグラム生成部６４は撮像信号処理部３１内に設けることができる。
【００３１】
生成されたヒストグラムを順次更新して保存するヒストグラム保存手段としてのヒストグラム保存部６２は、更新領域選択部６１により更新領域として指定されるブロックのヒストグラムを更新する。すなわち、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムにより、既に記憶されている過去のフレームの対応するブロックのヒストグラムが書き換えられる。
【００３２】
正規化処理部６５は、ブロックのヒストグラムを必要に応じて正規化する。正規化処理部６５には、ヒストグラム生成部６４から、現在のフレームの更新対象のブロックのヒストグラムが供給される。また、正規化処理部６５には、ヒストグラム生成部６４から供給されたブロックに対応する過去のヒストグラムが、ヒストグラム保存部６２から供給される。正規化処理部６５は、ヒストグラム生成部６４から供給される現在のフレームの更新対象の各ブロックについてヒストグラムの正規化の要否を判定し、必要に応じて正規化する。なお、現在のフレームの更新対象のブロックのヒストグラムと、それに対応する過去のブロックのヒストグラムのどちらが正規化されるかは、ヒストグラムの状況に応じて判定される。
【００３３】
取得された画像の変化を判定する変化判定手段としての変化判定部６６は、生成された現在のヒストグラムと、保存されていた過去のヒストグラムの類似度に基づいて、変化判定処理を行う。変化判定部６６は、類似度演算部７１と閾値判定部７２により構成されている。
【００３４】
類似度演算部７１は、現在と過去のヒストグラムの類似度を演算する類似度演算手段として機能する。即ち、類似度演算部７１は、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムと、それに対応する過去のブロックのヒストグラムとの類似度を演算する。
【００３５】
類似度閾値判定手段としての閾値判定部７２は、演算された類似度を類似度閾値と比較し、類似度が類似度閾値より大きいとき、ブロックの画像に変化があったと判定する。閾値判定部７２は、ブロックの画像の変化についての判定結果（変化の有無）を、変化領域保存部６７およびカウンタ部６８に出力する。
【００３６】
変化領域保存部６７は、変化判定部６６による判定結果を保存する。即ち、現在のフレームの更新対象のブロックの、過去のブロックに対する変化の有無が、新たな画像の画像データが取得される毎に、順次、変化領域保存部６７に保存される。
【００３７】
変化があったと判定されたブロックの数をカウントするカウント手段としてのカウンタ部６８には、変化判定部６６から、現在のフレームの更新対象のブロックの判定結果（変化の有無）が供給される。また、変化領域保存部６７からは、現在のフレームの更新対象のブロック以外のブロックの判定結果が、カウンタ部６８に供給される。カウンタ部６８は、変化判定部６６の出力と変化領域保存部６７の出力に基づいて、1つの監視中の画像中の変化があったブロックの数をカウントする。
【００３８】
カウントされた値をアラーム閾値と比較し、カウントされた値がアラーム閾値より大きいときアラームを出力するアラーム閾値判定手段としての閾値判定部６９は、カウンタ部６８によりカウントされたブロックの数を、予め決められている所定の閾値と比較する。カウントされたブロックの数が閾値より大きいとき、妨害行為が検出されたと判定し、検出信号が出力される。この検出信号は例えばアラームとすることができる。
【００３９】
［正規化処理部６５の詳細構成］
図４は、正規化処理部６５の詳細構成例を示すブロック図である。正規化処理部６５は、正規化判定部８１、正規化値算出部８２、平均値保存部８３、および正規化部８４により構成されている。
【００４０】
正規化判定部８１には、ヒストグラム生成部６４から、現在のフレームの更新対象のブロックのヒストグラムが供給され、ヒストグラム生成部６４から供給されたブロックに対応する過去のヒストグラムが、ヒストグラム保存部６２から供給される。以下では、適宜、現在のフレームの更新対象のブロックのヒストグラムを現在のヒストグラム、過去のフレームの対応するブロックのヒストグラムを過去のヒストグラムと称する。
【００４１】
正規化判定部８１は、現在のフレームの更新対象のブロックに対して正規化を行うか否かを判定する。正規化判定部８１は、正規化を行わない（行う必要がない）と判定した場合、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムを、そのまま変化判定部６６に供給する。正規化判定部８１は、正規化を行う（必要がある）と判定した場合、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムを、正規化値算出部８２に供給する。
【００４２】
正規化値算出部８２は、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムから、正規化に用いる正規化値を算出する。算出された正規化値は、更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムとともに、正規化部８４に供給される。
【００４３】
平均値保存部８３には、現在のフレームより前に計算された、更新対象のブロック以外のブロックの、ヒストグラムの平均値の変化の方向と変化率などが保存される。また、現在のフレームに対し正規化判定部８１および正規化値算出部８２で計算された同様の値も、次フレーム以降の処理のため、平均値保存部８３に供給され、保存（更新）される。平均値保存部８３に保存される値（ヒストグラムの平均値の変化の方向と変化率）の詳細については後述する。
【００４４】
正規化部８４は、正規化値算出部８２で算出された正規化値に基づいて、更新対象の各ブロックの現在のヒストグラムか、または、過去のヒストグラムのいずれか一方を正規化する。これにより、現在のヒストグラムと過去のヒストグラムとで、ブロックの明るさを補正したヒストグラムを生成することができる。正規化部８４は、正規化後の現在のヒストグラムと過去のヒストグラムを変化判定部６６に出力する。
【００４５】
なお、図４に示したような構成とすることで、性能を向上させることができる。すなわち、正規化判定部８１を設け、上記および後述するように正規化を行うか否かを判定することで、全体の性能を向上させることができる。しかしながら、正規化判定部８１を設けずに、全ての領域に関して正規化値算出部８２による正規化値の算出が行われ、正規化部８４で正規化が行われる構成とすることも可能である。また正規化判定部８１を設けない構成とした場合、平均値保存部８３も削除した構成とされる。すなわち、正規化処理部６５は、正規化値算出部８２と正規化部８４から構成されるように構成することも可能である。
【００４６】
［デフォーカス検出部４２の詳細構成］
図５は、デフォーカス検出部４２の詳細構成例を示すブロック図である。デフォーカス検出部４２は、更新領域選択部１０１、画像分割部１０２、異常領域検出部１０３、高周波フィルタ１０４、異常判定部１０５、エッジ強度カウンタ１０６、閾値判定部１０７、異常領域保存部１０８、妨害判定部１０９、カウンタ部１１０、および閾値判定部１１１により構成されている。
【００４７】
更新領域選択部１０１は、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックを、更新するブロックとして順次指定する指定手段として機能する。この更新領域選択部１０１は、撮像信号処理部３１から供給されるデータから、取得部２１により取得された画像のフレーム番号を抽出し、更新するフレーム番号を決定する。さらに更新領域選択部１０１は、更新するフレームの中の更新するブロックを決定する。
【００４８】
取得された画像をＮ（Ｎ＞１）個のブロックに分割する分割手段としての画像分割部１０２は、撮像信号処理部３１から供給される画像データに基づく各フレームの画像のうち、更新領域選択部１０１により指定されるフレームを複数のブロックに分割する。画像分割部１０２はまた、分割されたブロックのうち、更新領域選択部１０１により指定されるブロックの画像データを、異常領域検出部１０３の高周波フィルタ１０４に供給する。
【００４９】
取得された画像データに対して、高周波フィルタによるフィルタリングを行うフィルタリング手段としての高周波フィルタ１０４は、画像分割部１０２から供給されたブロックに、所定の高周波フィルタによるフィルタリング処理を施す。
【００５０】
取得された画像の異常を判定する異常判定手段としての異常判定部１０５は、エッジ強度カウンタ１０６と閾値判定部１０７により構成されている。エッジ強度カウンタ１０６は、エッジ強度が所定の閾値より大きい画素の数をカウントし、エッジ強度の平均値などを算出する算出手段として機能する。
【００５１】
閾値判定手段としての閾値判定部１０７は、画素数や平均値を所定の閾値と比較し、閾値より大きいブロックの画像は異常があったと判定する。閾値判定部１０７は、ブロックの画像の異常についての判定結果（異常の有無）を、異常領域保存部１０８およびカウンタ部１１０に出力する。
【００５２】
異常領域保存部１０８は、異常判定部１０５による判定結果を保存する。即ち、現在のフレームの更新対象のブロックの、過去のブロックに対する異常の有無が、新たな画像の画像データが取得される毎に、順次、異常領域保存部１０８に保存される。
【００５３】
妨害判定部１０９は、カウンタ部１１０と閾値判定部１１１から構成されている。妨害判定部１０９は、監視カメラに対して妨害があったか否かを判定する。異常があったと判定されたブロックの数をカウントするカウント手段としてのカウンタ部１１０には、異常判定部１０５から、現在のフレームの更新対象のブロックの判定結果（異常の有無）が供給される。また、異常領域保存部１０８からは、現在のフレームの更新対象のブロック以外のブロックの判定結果が、カウンタ部１１０に供給される。カウンタ部１１０は、異常判定部１０５の出力と異常領域保存部１０８の出力に基づいて、1つの監視中の画像中の異常があったブロックの数をカウントする。
【００５４】
カウントされた値をアラーム閾値と比較し、カウントされた値がアラーム閾値より大きいときアラームを出力するアラーム閾値判定手段としての閾値判定部１１１は、カウンタ部１１０によりカウントされたブロックの数を、予め決められている所定の閾値と比較する。カウントされたブロックの数が閾値より大きいとき、妨害行為が検出されたと判定し、検出信号が出力される。この検出信号は例えばアラームとすることができる。
【００５５】
このように、本実施の形態においては、グローバルチェンジ検出部４１とデフォーカス検出部４２が設けられているため、それぞれの検出部で、グローバルチェンジに関する妨害と、デフォーカスに関する妨害を検出することができる。よって、種々の妨害を検出することができる。以下に、グローバルチェンジ検出部４１とデフォーカス検出部４２のそれぞれが行う処理についてさらに説明を加える。まず、グローバルチェンジ検出部４１について説明する。
【００５６】
［グローバルチェンジ検出部４１の検出について］
グローバルチェンジ検出部４１が行う妨害行為検出の原理（概要）について説明する。グローバルチェンジ検出部４１は、過去の画像PIと、現在の画像NIをそれぞれ取得し、過去の画像PIと現在の画像NIのそれぞれを、所定の大きさのブロックに分割し、ブロック毎に画素値のヒストグラムを演算する。そして過去の画像PIの所定の位置のブロックのヒストグラムと、現在の画像NIの対応する位置のブロックのヒストグラムの類似度が演算される。類似度が低いブロックは、変化領域VIとして検出され、変化領域VIの数が多い場合、妨害行為があったと判定され、アラームが出力される。次に、グローバルチェンジ検出部４１を構成するここのブロックが行う処理について説明する。
【００５７】
［正規化判定部８１の処理］
図６を参照して、正規化判定部８１の処理について説明する。正規化判定部８１には、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと、過去のヒストグラムが供給される。図６の例では、画像が１６個のブロックに分割され、斜線で示される４個のブロックが、現在のフレームでの更新対象のブロックを示している。
【００５８】
正規化判定部８１は、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出し、過去から現在への平均値の変化の方向が、増加、減少、または変動なし、のいずれであるかを判定する。例えば、過去と現在のヒストグラムの平均値の差（絶対値）が、所定の範囲TH以内であれば変動なし、所定の範囲THより大であれば、その変化の方向に応じて増加または減少とすることができる。
【００５９】
正規化判定部８１はまた、現在のフレームの更新対象ではないブロックについて、同様に判定したときの判定結果（変化の方向）を、平均値保存部８３から取得する。そして、正規化判定部８１は、画面全体の変化として、増加、減少、変動なし、のいずれであるかを判定する。例えば、画面全体のブロック数に対する増加（減少）のブロック数が、予め設定した所定の比率以上であれば、画面全体として増加（減少）の変化であると判定することができる。
【００６０】
図６右側の図は、プラス（＋）が付されたブロックは変化の方向が増加であるブロックを示し、マイナス（−）が付されたブロックは変化の方向が減少であるブロックを示している。無印のブロックは変動なしのブロックである。図６右側のフレームは、画面全体としては、増加の変化が見られたフレームと判定される。
【００６１】
画面全体として、ヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合、画面全体が明るくなった、または暗くなったことを意味する。この場合、AE機能や照明による画像全体の輝度の変化、もしくは、監視カメラが隠されるなどの妨害行為により、画面全体の輝度が変化したと考えられ、正規化を行った方がよい。一方、画面全体としてのヒストグラムの平均値の変化がない場合や、平均値の増加および減少に偏りが見られない場合には、正規化を行わない方がよい。
【００６２】
このような場合には、画像に変化がない、画面の一部に動体が入るなどして変化した、または、監視カメラの向きを変えられるなどの妨害行為が行われたなどが考えられ、正規化することにより偶然ヒストグラムの形が一致する領域が多くなることがある。その結果、かえって妨害行為を検出できなくなる事態が考えられるので、これを防止するためである。
【００６３】
以上より、正規化判定部８１は、画面全体として、ヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合、正規化を行う必要があると判定する。一方、画面全体としてヒストグラムの平均値に変動がない場合や、平均値の増加および減少に偏りが見られない場合には、正規化を行う必要がないと判定する。
【００６４】
［正規化値算出部８２の処理］
図７を参照して、正規化値算出部８２の処理について説明する。正規化値算出部８２は、画面全体のヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合に、画面全体で、どの程度変化したのかを表す変化の比率（以下、変化率と記載する）を求め、それを正規化値とする。
【００６５】
最初に、正規化値算出部８２は、各ブロックで、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出する。現在のフレームの更新対象の各ブロックについては、供給されるヒストグラムから平均値を算出する。現在のフレームの更新対象のブロック以外のブロックの現在と過去のヒストグラムの平均値は、既に計算されて保存されている平均値保存部８３から取得される。
【００６６】
次に、正規化値算出部８２は、画面全体のなかから有効領域を決定する。ここで、正規化判定部８１において画面全体の変化の方向が増加であると判定された場合には、ブロックの変化の方向が増加であるブロックの各領域が有効領域とされる。そして、正規化値算出部８２は、有効領域とされた各ブロックについて、現在のヒストグラムの平均値を、過去のヒストグラムの平均値で除算し、その結果を変化率とする。これにより、有効領域とされた各ブロックについて変化率が求まる。
【００６７】
なお、画面全体の変化の方向が増加であると判定された場合、ブロックの変化の方向が増加であるブロックの各領域が有効領域とされるが、増加率が所定値以上に大きい、換言すれば極端に明るくなったブロックも有効領域から除外される。変動なしのブロック、平均値の変化の方向が減少のブロック、極端に明るくなったブロックが有効領域から除外されるのは、そのブロックに、AE機能によって明るさが変化した原因の動体が存在する可能性が高いためである。
【００６８】
図７において、斜線が付されたブロックが有効領域とされたブロックを示している。
【００６９】
これに対して、正規化判定部８１において画面全体の変化の方向が減少であると判定された場合には、ブロックの変化の方向が減少であるブロックの各領域が有効領域とされる。そして、正規化値算出部８２は、有効領域とされた各ブロックについて、過去のヒストグラムの平均値を、現在のヒストグラムの平均値で除算し、その結果を変化率とする。これにより、画面全体の変化の方向が減少であると判定された場合も、有効領域とされた各ブロックについて変化率が求まる。
【００７０】
最後に、正規化値算出部８２は、有効領域とされた各ブロックについて求めた変化率の平均値を算出し、その結果を正規化値に決定する。
【００７１】
以上のように、有効領域を決定し、その変化率の平均値を求めることで、動体領域の影響を除外した画面全体の変化率を求め、正規化値とするので、後段の正規化部８４において、正規化を精度良く行うことができる。
【００７２】
［正規化部８４の処理］
図８と図９を参照して、正規化部８４の処理について説明する。正規化部８４は、現在のフレームの更新対象のブロックの、現在と過去のヒストグラム間で、正規化値算出部８２で算出された正規化値を用いたストレッチングを行う。正規化判定部８１において画面全体の変化の方向が増加である、即ち、画面全体で明るくなったと判定された場合には、過去のヒストグラムを引き延ばし、逆に画面全体で暗くなったと判定された場合には、現在のヒストグラムを引き延ばすストレッチングが行われる。即ち、過去と現在のヒストグラムのうち、暗い側のヒストグラムがストレッチングされる。
【００７３】
図８は、現在のフレームの更新対象のあるブロックの現在と過去のヒストグラムを示している。ヒストグラムの横軸は輝度、縦軸は度数（所定の範囲の輝度値を有する画素の個数）を示している。
【００７４】
図８Ａに示される現在のヒストグラムの平均値は５で、面積は８である。一方、図８Ｂに示される過去のヒストグラムの平均値は１０で、面積は８である。このような現在と過去のヒストグラムの関係は、例えば、同じ被写体で照明（太陽光）が暗くなった場合などのときに起こり得る。このような現在と過去のヒストグラムに対し、正規化を行わず変化の有無を判定すれば、ヒストグラムの重なりの程度で類似度を判定する変化判定部６６において、変化ありと判定される。しかし、単に照明によるヒストグラムの変化であるならば、変化ありの判定は誤判定である。
【００７５】
そこで、正規化部８４は、図９に示すような、正規化値算出部８２で算出された正規化値を用いて現在のヒストグラムを引き延ばすストレッチングを行う。具体的には、正規化部８４は、現在のヒストグラムを正規化値で横軸方向（輝度方向）に引き延ばす。
【００７６】
図９の例は、正規化値が「２」である場合の例である。ストレッチング前の輝度値は「４」、「５」、及び「６」しかないので、２倍すると、「８」、「１０」、及び「１２」のみとなるが、それ以外輝度値の度数についても、周辺の度数から補間して求められる。
【００７７】
ヒストグラムを引き延ばすと、ヒストグラムの面積が増えてしまうため、次に、正規化部８４は、正規化の前後で面積が同一となるようにヒストグラムの度数を調整する。図９の例では、現在のヒストグラムのストレッチング後の面積が「１６」であり、ストレッチング前の面積が「８」であるので、ストレッチング後の現在のヒストグラムの各輝度値の度数が、「８／１６＝１／２倍」される。これにより、正規化後の現在のヒストグラムの面積は正規化前と同一の「８」となる。
【００７８】
以上のように、画面全体の変化の方向に応じて、現在または過去のヒストグラムが正規化される。そして、正規化後のヒストグラムが変化判定部６６に出力される。
【００７９】
［変化判定部６６の処理］
図１０と図１１を参照して、変化判定部６６が行う、ブロックの画像の変化の有無の判定について説明する。図１０は、類似度演算部７１に供給される現在のヒストグラムと過去のヒストグラムの例を示している。即ち、図１０Ａのヒストグラムh1は、現在のヒストグラムの例であり、図１０Ｂのヒストグラムh0は、過去のヒストグラムの例である。なお、横軸は輝度値に代表される画素値を表し、縦軸は所定の範囲の画素値を有する画素の個数（度数）を表している。
【００８０】
図１０に示すような現在のヒストグラムh1と過去のヒストグラムh0に対して、類似度演算部７１において、インタセクションを用いた次式（１）により、類似度が演算される。
Ｄ＝Σmin(Ai,Bi) ・・・・・・・・（１）
【００８１】
式（１）のAi,Biは、それぞれ現在のヒストグラムh1の１つの画素値と、過去のヒストグラムh0の１つの画素値を表している。従って、式（１）によれば、各画素値において、画素の数値（画素値）が小さい方の和が求められる。この比較処理は、直近の過去のＮ（Ｎ＞１）フレームについて行われる。
【００８２】
図１１Ａに示されるように、現在のヒストグラムh1と過去のヒストグラムh0の殆どが重なっている場合、式（１）で演算される値Ｄは、大きくなる。それに対して、図１１Ｂに示されるように、現在のヒストグラムh1と過去のヒストグラムh0の重なりが少ない場合、値Ｄは小さくなる。即ち、式（１）の値Ｄは、類似度が高いとき大きくなり、類似度が低いとき小さくなる。
【００８３】
次に、図１２のフローチャートを参照して、画像処理装置１１のグローバルチェンジ検出部４１による妨害行為検出処理について説明する。初めに、ステップＳ１において、取得部２１はカメラ画像を取得する。すなわち撮像部が所定の監視対象を撮像しており、その撮像画像の画像データが取得される。
【００８４】
ステップＳ２において、画像分割部６３は、Ｎ個のブロックに画像を分割する。この実施の形態においては、画像データに基づく各フレームの画像が８×８個のブロックに分割される。ステップＳ３において、更新領域選択部６１は、更新領域（更新対象のブロック）を選択する。すなわち、８×８個のブロックのうちの所定のＭ（Ｍ≦Ｎ）個のブロックが、更新対象のブロックとして選択される。この更新領域の選択について、図１３を参照して説明する。
【００８５】
図１３は、更新するブロックの移動を説明する図である。この実施の形態においては、Ｍ＝４とされ、８×８個のブロックが４×４個のブロックからなる４個のグループに区分される。そして、各グループから１個のブロックが選択されて、合計４個のブロックが更新対象のブロックとして選択される。具体的には、図１３Ａに示されるように、更新領域選択部６１は、最初のフレームの８×８個のブロックのうちの、１行目の最も左側に位置するブロックb11、最も右側に位置するブロックb18、８行目の最も左側に位置するブロックb81、最も右側に位置するブロックb88の４つのブロックを更新ブロックとして選択する。
【００８６】
なお、図１３において、上からｉ番目の行に位置し、左からｊ番目の列に位置するブロックを、bijのように表す。後述する図１５、図１６においても同様とする。
【００８７】
次の更新領域を選択するステップでは、図１３Ｂに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、ブロックb11の１つ右側に位置するブロックb12、ブロックb18の１つ左側に位置するブロックb17、８行目のブロックb81の１つ右側に位置するブロックb82、ブロックb88の１つ左側に位置するブロックb87の４つのブロックを更新ブロックとして選択する。
【００８８】
次の更新領域を選択するステップでは、図１３Ｃに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、１行目のブロックb12の１つ右側に位置するブロックb13、ブロックb17の１つ左側に位置するブロックb16、８行目のブロックb82の１つ右側に位置するブロックb83、ブロックb87の１つ左側に位置するブロックb86の４つのブロックを更新ブロックとして選択する。
【００８９】
次の更新領域を選択するステップでは、図１３Ｄに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、１行目のブロックb13の１つ右側に位置するブロックb14、ブロックb16の１つ左側に位置するブロックb15、８行目のブロックb83の１つ右側に位置するブロックb84、ブロックb86の１つ左側に位置するブロックb85の４つのブロックを更新ブロックとして選択する。
【００９０】
以上のようにして最上行と最下行におけるブロックの選択、移動が終了すると、次の更新領域を選択するステップでは、第２行目と第７行目とが選択される。そして図１３Ｅに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、２行目の最も左側に位置するブロックb１１、最も右側に位置するブロックb28、７行目の最も左側に位置するブロックb71、最も右側に位置するブロックb78の４つのブロックを更新ブロックとして選択する。
【００９１】
次の更新領域を選択するステップでは、図１３Ｆに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、２行目のブロックb１１の１つ右側に位置するブロックb22、ブロックb28の１つ左側に位置するブロックb27、７行目のブロックb71の１つ右側に位置するブロックb72、ブロックb78の１つ左側に位置するブロックb77の４つのブロックを更新ブロックとして選択する。
【００９２】
以下、同様の手順により、更新対象のブロックとして、１フレームにおいて４個のブロックが順次選択される。すなわち、左側半分の上側半分の領域においては、行内においては左から右方向に、そして行は上から下方向に順次選択される。右側半分の上側半分の領域においては、行内においては右から左方向に、そして行は上から下方向に順次選択される。左側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。右側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。
【００９３】
なお、図１３に示した領域の移動順序は、一例であり、限定を示すものではない。４×４個のブロックからなる４個のグループに区分され、そのグループ内で、更新ブロックが上記したように、順次、選択されるとして説明したが、上記した説明のような選択に限定されるわけではない。例えば、図１３Ａに示したように、更新ブロックの開始位置は、左上のブロックb11、右上のブロックb18、左下のブロックb81、および右下のブロックb88が、それぞれ選択されるとして説明したが、各グループ内の、例えば右上にあるブロックが更新ブロックの開始位置とされても良い。
【００９４】
また、同じような規則に基づいて各グループ内の更新ブロックが選択されなくても良い。例えば、横方向に更新ブロックが選択されるグループ、縦方向に更新ブロックが選択されるグループ、ジグザグに更新ブロックが選択されるグループなど、グループ毎に異なる規則で更新ブロックが選択されるようにしても良い。
【００９５】
また、規則としてランダムに選択する規則もある。ランダムに更新ブロックが選択される場合、それぞれのグループで、ランダムな位置が選択されるようにしても良いし、ランダムに選択された位置が、全てのグループに適用されるようにしても良い。前者の場合は、例えば、右上、左下、右上から横方向に２番目、中央、といったように、各グループ内で選択される更新ブロックの位置は異なる。後者は、例えば、ランダムに設定された位置が右上であれば、各グループの右上に位置するブロックが更新ブロックとされる。
【００９６】
また、グローバルチェンジ検出部４１とデフォーカス検出部４２は、それぞれ、図１３に示した一例としての更新ブロックの選択に基づいて更新ブロックを選択し、その更新ブロック内に変化（異常）があるか否かを判定する。監視カメラにより撮像される１画像内で、何らかの妨害があったときに、変換（異常）が検出されやすい領域（ブロック）がある場合、その領域が他の領域よりも多く選択されるようにしても良い。換言すれば、各グループ内のブロックの全てが同一時間内に同一回数選択されるようにしても良いし、異なる回数選択されるようにしても良い。
【００９７】
図１２に示したフローチャートの説明に戻る。ステップＳ４において、ヒストグラム生成部６４は、更新領域のヒストグラムを生成する。ステップＳ５において、ヒストグラム保存部６２は、ステップＳ４で生成されたヒストグラムを保存する。ヒストグラム保存部６２は、過去のデータをヒストグラムとして保存するので、例えば画素値などの画像データとして保存する場合に比べて、記憶容量を小さくし、低コスト化することができる。
【００９８】
ステップＳ６において、正規化処理部６５は、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムに基づいて正規化の要否を判定し、必要に応じて正規化する正規化処理を実行する。
【００９９】
ステップＳ７において、類似度演算部７１は、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと、それに対応する過去のヒストグラムとの類似度を演算する。なお、ステップＳ６で正規化を行うと判定された場合には、正規化後のヒストグラムを用いて類似度が演算される。
【０１００】
ステップＳ８において、閾値判定部７２は、現在のフレームの更新対象の各ブロックについて、変化領域であるか否かを判定する。すなわち、ステップＳ７で演算された類似度Ｄが、予め定められた所定の閾値Thdと比較される。類似度Ｄが閾値Thdより小さいとき、そのブロックは変化があった領域であると判定される。直近の過去のＮフレームのうち、類似度Ｄが閾値Thdより小さいフレームが１フレームでもあった場合、領域に変化があったと判定される。
【０１０１】
ステップＳ９において、変化領域保存部６７は、現在のフレームの更新対象の各ブロックについて、判定結果を更新する。すなわち変化領域保存部６７は、ブロック毎に１フレーム分の判定結果（つまり、ブロック数分の判定結果）を保存しており、ステップＳ８での判定結果により古い判定結果を更新する。
【０１０２】
ステップＳ１０において、カウンタ部６８は、全領域の変化領域数をカウントする。即ち、変化判定部６６からの、現在のフレームの更新対象のブロックの判定結果（変化の有無）と、変化領域保存部６７からの、現在のフレームの更新対象のブロック以外のブロックの判定結果とに基づいて、監視対象の画像のフレームを構成する６４個のブロック全体で、変化領域とされるブロックの数がカウントされる。
【０１０３】
ステップＳ１１において、閾値判定部６９は、カウントされた変化領域数が閾値より大きいかを判定する。より具体的には、ステップＳ１０でカウントされた変化領域とされたブロックの数が、予め定められている所定の閾値Thcと比較される。
【０１０４】
ステップＳ１１で、カウントされた変化領域数が閾値より大きいと判定された場合、処理はステップＳ１２に進み、閾値判定部６９は、妨害行為があったことを示すアラームなどの信号を出力する。一方、ステップＳ１１で、カウントされた変化領域数が閾値以下であると判定された場合、およびステップＳ１２の処理の後、妨害行為検出処理は終了する。
【０１０５】
以上の処理は、フレーム毎に実行される。
【０１０６】
［正規化処理の詳細］
図１４は、図１２のステップＳ６として実行される正規化処理の詳細なフローチャートである。この処理では、初めに、ステップＳ３１において、正規化判定部８１は、更新対象の各ブロックについて、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出する。
【０１０７】
ステップＳ３２において、正規化判定部８１は、更新対象の各ブロックについて、ヒストグラムの平均値の変化方向を判定する。即ち、正規化判定部８１は、更新対象の各ブロックについて、過去から現在へのヒストグラムの平均値の変化の方向が、増加、減少、または変動なし、のいずれであるかを判定する。
【０１０８】
ステップＳ３３において、正規化判定部８１は、画面全体について変化方向をカウントする。具体的には、正規化判定部８１は、更新対象ではないブロックについて同様に判定したときの判定結果を平均値保存部８３から取得し、更新対象の各ブロックの判定結果とともに、画面全体について、増加、減少、変動なし、のそれぞれのブロック数がカウントされる。
【０１０９】
ステップＳ３４において、正規化判定部８１は、画面全体として、増加または減少のどちらかに一定以上の偏りがあるかを判定する。ステップＳ３４で、増加および減少のいずれにも一定以上の偏りがないと判定された場合、処理はステップＳ３５に進み、正規化判定部８１は、更新対象の各ブロックの現在と過去のヒストグラムそれぞれを、そのまま変化判定部６６に出力する。
【０１１０】
一方、ステップＳ３４で、増加または減少のどちらかに一定以上の偏りがあると判定された場合、処理はステップＳ３６に進み、正規化判定部８１は、更新対象の各ブロックの現在と過去のヒストグラムそれぞれを正規化値算出部８２に供給する。そして、正規化値算出部８２は、画面全体から異常領域を除外した有効領域の各ブロックの変化率を算出する。
【０１１１】
より具体的には、更新対象の各ブロックについて、現在と過去のヒストグラムそれぞれの平均値が算出される。また、更新対象のブロック以外のブロックについては、現在と過去のヒストグラムそれぞれの平均値が平均値保存部８３から取得される。そして、画面全体の変化方向に応じて有効領域が決定され、有効領域とされた各ブロックについて過去のヒストグラムの平均値と現在のヒストグラムの平均値の一方を他方で除算することにより、有効領域の各ブロックの変化率が求められる。
【０１１２】
ステップＳ３７において、正規化値算出部８２は、有効領域とされた各ブロックについて求めた変化率の平均値を算出し、その結果を正規化値に決定する。ステップＳ３８において、正規化部８４は、ステップＳ３７で算出された正規化値を用いて、現在または過去のヒストグラムを引き延ばすストレッチングを行う。
【０１１３】
ステップＳ３９において、正規化部８４は、引き延ばしたヒストグラムに対し、正規化の前後で面積が同一となるように調整する。即ち、ストレッチング前後の面積倍率の逆数を、引き延ばしたヒストグラムの各輝度値の度数に乗算することで、正規化の前後で面積が同一となるように調整される。
【０１１４】
ステップＳ４０において、正規化部８４は、正規化後のヒストグラムを変化判定部６６に出力する。即ち、正規化部８４は、正規化された現在または過去のヒストグラムと残りの一方を、変化判定部６６に出力する。
【０１１５】
ステップＳ４０の処理後、または、ステップＳ３５の処理後、正規化処理は終了し、図１２の妨害行為検出処理に戻る。
［ブロックの形状］
上記した図１３に示す実施の形態においては、ブロックを横長の形状として、その長手方向、すなわち横方向に移動させるようにしたが、このような形状に本技術の適用が限定されるのではない。例えば、ブロックの形状を、移動方向と垂直な方向に長い形状にすることができる。換言すれば、ブロックをその長手方向と垂直な方向に移動させることができる。
【０１１６】
図１５は、ブロックの形状を示す図である。図１５においては、画面が上半分と下半分に区分され、それぞれが８個のブロックb11乃至b18,b21乃至b28に分割されている。その結果、各ブロックは縦長の形状とされている。そして更新時のブロックの移動方向は、長手方向と垂直な方向、すなわち横方向とされている。例えば撮像部が横方向にしか移動できないなどの理由で、妨害行為が横方向に限られる場合、横方向の移動のみが検出できればよい。そこで、図１５に示されるように、変化の方向に対して平行な辺より垂直な辺が長くなる形状のブロックとすることができる。
【０１１７】
図１６は、ブロックの形状を示す図である。図１６においては、画面が左半分と右半分に区分され、それぞれが８個のブロックb11乃至b81,b12乃至b82に分割されている。その結果、各ブロックは横長の形状とされている。そして更新時のブロックの移動方向は、長手方向と垂直な方向、すなわち縦方向とされている。例えば撮像部が縦方向にしか移動できないなどの理由で、妨害行為が縦方向に限られる場合、縦方向の移動のみが検出できればよい。そこで、図１６に示されるように、変化の方向に対して平行な辺より垂直な辺が長くなる形状のブロックとすることができる。
【０１１８】
以上のように、正規化処理によれば、正規化を行うか否かを判定し、必要に応じてヒストグラムの正規化が行われる。具体的には、画面全体の変化の方向に増加または減少の一定以上の偏りがある場合に、ヒストグラムの正規化が行われる。これにより、AE機能や照明変化などに起因する、妨害行為の誤検出を抑制することができる。また、一律に全てのヒストグラムを正規化した場合に生じる妨害行為の検出漏れを抑制することができる。さらに、ヒストグラムを正規化する際には、正規化値として、変化の方向が画面全体の変化の方向と異なる領域を除外した変化率を算出することで、精度良く正規化を行うことができる。
【０１１９】
このようにして、グローバルチェンジ検出部４１により、グローバルチェンジに関する妨害、すなわち、監視カメラの向きを変えたり、布などを被せたりする妨害を、精度良く検知することが可能となる。次に、デフォーカス検出部４２による処理について説明する。
【０１２０】
［デフォーカス検出部４２の処理について］
次に、図１７のフローチャートを参照して、画像処理装置１１のデフォーカス検出部４２による妨害行為検出処理について説明する。初めに、ステップＳ５１において、取得部２１はカメラ画像を取得する。すなわち撮像部が所定の監視対象を撮像しており、その撮像画像の画像データが取得される。
【０１２１】
ステップＳ５２において、画像分割部１０２は、Ｎ個のブロックに画像を分割する。この実施の形態においては、画像データに基づく各フレームの画像が８×８個のブロックに分割される。ステップＳ５３において、更新領域選択部１０１は、更新領域（更新対象のブロック）を選択する。すなわち、８×８個のブロックのうちの所定のＭ（Ｍ≦Ｎ）個のブロックが、更新対象のブロックとして選択される。この更新領域の選択は、図１３を参照して説明した場合と同様に行うことが可能であるため、ここではその説明を省略する。
【０１２２】
ステップＳ５１乃至Ｓ５３の処理は、図１２に示したフローチャートのステップＳ１乃至Ｓ３と同様に行われる。換言すれば、デフォーカス検出部４２の更新領域設定部１０１と画像分割部１０２による処理は、図３に示したグローバルチェンジ検出部４１の更新領域設定部６１と画像分割部６３による処理と同様の処理とすることができる。
【０１２３】
よって、デフォーカス検出部４２の更新領域設定部１０１と画像分割部１０２が、グローバルチェンジ検出部４１の更新領域設定部６１と画像分割部６３と共用される構成とすることも可能である。例えば、図５に示したデフォーカス検出部４２の更新領域設定部１０１と画像分割部１０２を、デフォーカス検出部４２から削除した構成とし、グローバルチェンジ検出部４１の更新領域設定部６１から更新領域の設定を受け、画像分割部６３から分割された画像領域の画像群の供給を受ける構成とすることも可能である。
【０１２４】
勿論、グローバルチェンジ検出部４１とデフォーカス検出部４２が、それぞれ異なる領域を処理する、異なる大きさの領域を処理するなどの場合、図３と図５にそれぞれ示したように、グローバルチェンジ検出部４１とデフォーカス検出部４２がそれぞれ構成される。また、グローバルチェンジ検出部４１とデフォーカス検出部４２が、それぞれフレーム毎に処理する領域数が異なっていても良く、異なる領域数が処理される場合には、図３と図５にそれぞれ示したように、グローバルチェンジ検出部４１とデフォーカス検出部４２がそれぞれ構成される。
【０１２５】
例えば、グローバルチェンジ検出部４１は、１フレームを４つのグループに分割し、それぞれのグループから、１領域（１ブロック）を処理対象とし、合計４領域を処理対象として処理する（図１３を参照して説明したように処理する）。これに対して、デフォーカス検出部４２は、グローバルチェンジ検出部４１と同じく、１フレームを４つのグループに分割し、それぞれのグループから、１領域（１ブロック）を処理対象とするが、全てのブロックを順次処理対象として処理を行うようにしても良い。
【０１２６】
ステップＳ５４において、高周波フィルタ１０４は、更新領域を所定のフィルタでフィルタリングする。このフィルタリング処理が施されることで、更新領域内のエッジが抽出される。ステップＳ５５において、エッジ強度カウンタ１０６は、処理対象とされている領域から算出されたエッジの強度をカウントする。そして、そのカウント値を用いて、ステップＳ５６において、閾値判定部１０７は、現在のフレームの更新対象の各ブロックについて、異常領域であるか否かを判定する。この高周波フィルタ１０４、異常判定部１０５（エッジ強度カウンタ１０６と閾値判定部１０７）の処理について、説明を加える。
【０１２７】
高周波フィルタ１０４は、入力された所定領域内の画像に含まれる高周波成分を抽出する。例えば、高周波フィルタ１０４の伝達関数ＨをＺ変換で表現すると、下記の式（２）により表現される。但し、表記を簡単にするため、同式は１次元で表現されているが入力画像は２次元であるため、実際には同式を２次元に拡張したものが用いられる。
【０１２８】
【数１】
【０１２９】
なお、ウェーブレット変換等の変換処理を用いて高周波成分を抽出するように高周波フィルタ１０４が構成されていてもよい。高周波フィルタ１０４で抽出された入力画像の高周波成分は、入力画像（処理対象とされている領域内の画像）のエッジ強度を表す。このようなエッジ強度は、エッジ強度カウンタ１０６に入力される。エッジ強度カウンタ１０６においては、高周波フィルタ１０４を通過した高周波成分の領域内で周波数成分の値が算出される。
【０１３０】
エッジ強度カウンタ１０６は、算出した周波数成分の値が所定の閾値（以下、高周波閾値）を越える画素の個数をカウントする。また領域内の各画素の高周波成分の値を加算することで累積値を算出する。すなわち、エッジ強度カウンタ１０６は、領域内のエッジ強度の高い画素の画素数と、領域内のエッジ強度の累積値を算出する。
【０１３１】
さらに累積値は、エッジ強度の高い画素数で除算されることで平均値が算出され、その平均値が以下の処理に用いられる。
エッジ強度の平均値＝累積値／エッジ強度の高い画素数
なお、エッジ強度の高い画素数が０の場合、すなわち、算出された周波数成分の値が高周波閾値を超えた画素が無かった場合、エッジ強度の平均値は０として扱われる。
【０１３２】
この画素数と累積値が、閾値判定部１０７により所定の閾値と比較されることで、処理対象とされている領域に異常が生じているか否かが判定される。閾値判定部１０７は、以下の判定式を有している。
判定式１ エッジ強度が閾値より高い画素数＜画素数の閾値（defocus consensus rate）
判定式２ エッジ強度の平均値＜エッジ強度値の閾値（defocus noise th）
【０１３３】
判定式１は、エッジ強度が低い画素数が多いか否かを判定するための式である。監視カメラのフォーカスがずらされると、ぼやけた画像が撮像され、そのために、エッジ自体もぼやけ、エッジ強度の低い画素値が多い領域となる可能性がある。判定式１では、このような状況を検出するための式である。
【０１３４】
判定式２は、エッジ強度が全体的に低い領域であるか否かを判定するための式である。監視カメラのフォーカスがずらされていない状態であれば、ピントがあった画像が撮像されるため、エッジが存在する領域は、エッジ強度の累積値は高くなり、エッジ強度の高い画素数は少なくなる傾向にある。よってピントが合っている画像の所定の領域においては、エッジ強度の平均値は、高い値となる傾向にある。
【０１３５】
これに対して、監視カメラのフォーカスがずらされると、ぼやけた画像が撮像され、そのために、エッジが抽出されづらい画像（領域）となり、エッジが広がったようなぼけた領域となる。このような領域においては、エッジが存在する領域であっても、エッジ強度の累積値は低くなり、エッジ強度の高い画素数は多くなる傾向にある。よって、ピントが合っていない画像の所定の領域においては、エッジ強度の平均値は低い値となる傾向にある。
【０１３６】
閾値判定部１０７は、判定式１または判定式２のいずれか一方が少なくとも満たされるとき、処理対象とされた領域には、異常があると判定する。すなわち、閾値判定部１０７は、判定式１と判定式２の論理和を取り、その論理和を判定結果として、後段のカウンタ部１１０（図５）に出力する。
【０１３７】
図１７のフローチャートの説明に戻り、ステップＳ５６において、異常領域であるか否かが判定されると、ステップＳ５７において、異常領域保存部１０８は、現在のフレームの更新対象の各ブロックについて、判定結果を更新する。すなわち異常領域保存部１０８は、ブロック毎に１フレーム分の判定結果（すなわち、ブロック数分の判定結果）を保存しており、ステップＳ５６での判定結果により古い判定結果を更新する。
【０１３８】
ステップＳ５８において、カウンタ部１１０は、全領域の異常領域数をカウントする。即ち、異常判定部１０５からの、現在のフレームの更新対象のブロックの判定結果（変化の有無）と、異常領域保存部１０８からの、現在のフレームの更新対象のブロック以外のブロックの判定結果とに基づいて、監視対象の画像のフレームを構成する６４個のブロック全体で、異常領域とされるブロックの数がカウントされる。
【０１３９】
ステップＳ５９において、閾値判定部１１１は、カウントされた異常領域数が閾値より大きいかを判定する。より具体的には、ステップＳ５９でカウントされた異常領域とされたブロックの数が、予め定められている所定の閾値Thcと比較される。ここでは、予め定められている所定の閾値Thcと比較されるとして説明を続けるが、所定数前のフレームの異常領域の数を閾値Thcとすることも可能である。
【０１４０】
ステップＳ５９で、カウントされた異常領域数が閾値より大きいと判定された場合、処理はステップＳ６０に進み、閾値判定部１１１は、妨害行為があったことを示すアラームなどの信号を出力する。ただし、ステップＳ６０において出されるアラームは、後段の処理部に妨害行為が行われた可能性のあることを知らせる信号である。一方、ステップＳ５９で、カウントされた異常領域数が閾値以下であると判定された場合、およびステップＳ６０の処理の後、デフォーカス検出処理は終了する。
【０１４１】
以上の処理は、フレーム毎に実行される。
【０１４２】
このようにして、デフォーカス検出部４２により、デフォーカスに関する妨害、すなわち、監視カメラのフォーカスをずらしたり、ズームをずらしたりする妨害を、精度良く検知することが可能となる。
【０１４３】
［妨害検知の統合について］
ここで、再度図２を参照する。図２に示したように、本実施の形態においては、監視カメラに対する妨害のうちのグローバルチェンジに関する妨害を検出するグローバルチェンジ検出部４１と、監視カメラに対する妨害のうちのデフォーカスに関する妨害を検出するデフォーカス検出部４２で、それぞれ妨害の有無を検出する。そして、それぞれの検出部で検出された結果を統合し、最終的な妨害の有無の結果を出す検出結果統合部４３が備えられている。
【０１４４】
この検出結果統合部４３は、例えば、図１８に示すようなテーブルを保持し、そのテーブルに基づき、２つの検出部からの結果を統合し、最終的な結果を出す。図１８を参照するに、グローバルチェンジ検出部４１からの検出結果が、異常なしとの結果であり、デフォーカス検出部４２からの検出結果も異常なしとの結果である場合、異常なしとの判定がされる。
【０１４５】
グローバルチェンジ検出部４１からの検出結果が、異常なしとの結果であり、デフォーカス検出部４２からの検出結果が、異常ありとの結果である場合、フォーカスずらしの妨害が発生したと判定される。
【０１４６】
グローバルチェンジ検出部４１からの検出結果が、異常ありとの結果であり、かつ、ヒストグラムの異常が、輝度が同一方向に変化する異常であるとの結果であり、デフォーカス検出部４２からの検出結果が、異常なしとの結果である場合、首ふりの妨害が発生したと判定される。
【０１４７】
グローバルチェンジ検出部４１からの検出結果が、異常ありとの結果であり、かつ、ヒストグラムの異常が、輝度が同一方向に変化する異常であるとの結果であり、デフォーカス検出部４２からの検出結果が、異常ありとの結果である場合、覆いの妨害が発生したと判定される。
【０１４８】
グローバルチェンジ検出部４１からの検出結果が、異常ありとの結果であり、かつ、ヒストグラムの異常が、輝度が複数方向に変化する異常であるとの結果であり、デフォーカス検出部４２からの検出結果が、異常なしとの結果である場合、首ふりの妨害が発生したと判定される。
【０１４９】
グローバルチェンジ検出部４１からの検出結果が、異常ありとの結果であり、かつ、ヒストグラムの異常が、輝度が複数方向に変化する異常であるとの結果であり、デフォーカス検出部４２からの検出結果が、異常ありとの結果である場合、ズームずらしの妨害が発生したと判定される。
【０１５０】
このようなテーブルに基づき、検出結果の統合が行われ、最終的な検出結果が出力される際の、検出結果統合部４３の処理について、図１９のフローチャートを参照して説明する。なお、ここでは、処理の一例を示し、判定の順序などに限定を示すものではない。
【０１５１】
ステップＳ７１において、グローバルチェンジ検出部４１からの検出結果が、妨害を検出したことを示しているか否かが判定される。ステップＳ７１において、グローバルチェンジは、検出されていないと判定された場合、ステップＳ７２に処理が進められる。ステップＳ７２において、デフォーカス検出部４２からの検出結果が、妨害を検出したことを示しているか否かが判定される。ステップＳ７２において、デフォーカスは検出されていないと判定された場合、ステップＳ７３に処理が進められる。
【０１５２】
この場合、グローバルチェンジとデフォーカスの両方が検出されていないために、監視カメラに対する妨害は検出されていないと判定され、異常なしと判定される。
【０１５３】
一方、ステップＳ７２において、デフォーカスが検出されたと判定された場合、処理は、ステップＳ７４に進められる。この場合、グローバルチェンジは検出されていないが、デフォーカスは検出されているので、監視カメラに対する妨害が検出され、かつその妨害は、フォーカスずらしであると判定される。
【０１５４】
フォーカスがずらされる妨害の場合、監視カメラからの画像は、輝度が大きく変化しない可能性もあり、グローバルチェンジ検出部４１で妨害が発生したと検出されないことがある。しかしながら、エッジ強度が低下する傾向にあるため、デフォーカス検出部４２で妨害が発生したと検出される。よって、ステップＳ７４においては、フォーカスずらしの妨害が発生したと判定される。
【０１５５】
この判定結果は、監視カメラを管理する管理者に通知される。通知される際、単に、妨害が発生したことを通知するだけでなく、その妨害が、フォーカスずらしであることも通知することができる。
【０１５６】
このように、妨害の種類までも通知できるようになることで、管理者は、妨害の種類に対する適切な処理を即座にとることが可能となる。例えば、フォーカスずらしであることが通知されたときには、フォーカスを元に戻すという対処を行えば良いことが、単に妨害が発生したことを通知された時よりもはるかに早く認識でき、対処することが可能となる。またフォーカスを管理者の指示によらず合わせる機能を有する監視カメラの場合、フォーカスずらしの妨害が発生したことを検知した時点で、フォーカスを合わすといった制御を開始することも可能となる。このようなことは、妨害の種類が判別できることで、行うことができるようになる制御である。
【０１５７】
図１９のフローチャートの説明に戻り、ステップＳ７１において、グローバルチェンジが検出された場合、ステップＳ７５に処理が進められる。ステップＳ７５において、輝度が同一方向に変化しているか否かが判定される。ステップＳ７５において、輝度が同一方向に変化していると判定された場合、ステップＳ７６に処理が進められる。ステップＳ７６において、デフォーカスが検出されたか否かが判定される。
【０１５８】
ステップＳ７６において、デフォーカスが検出されたと判定された場合、ステップＳ７７に処理が進められる。この場合、輝度が同一方向に変化するグローバルチェンジが検出され、デフォーカスが検出された状況である。このような状況は、監視カメラに布などが被せられた覆いという妨害が発生したと判定される。
【０１５９】
布などにより監視カメラが覆われた場合、輝度値が一様に変化する傾向にある。よって、グローバルチェンジ検出部４１により、輝度が同一方向に変化する異常が検出される。また、布などにより監視カメラが覆われた場合、監視カメラで撮像されている画像からエッジが無くなり（減少し）、エッジ強度が低下する可能性が高い。
【０１６０】
よって、グローバルチェンジ検出部４１とデフォーカス検出部４２のそれぞれで、異常ありとの検出結果が出力される。また、グローバルチェンジ検出部４１により、輝度が同一方向に変化する異常が検出されていれば、覆いの妨害が発生したと判定することができる。この場合も、妨害が発生したことを通知するだけでなく、その妨害が、覆いあることも通知することができるので、管理者が対処をとるまでの時間を短縮することが可能となる。
【０１６１】
また、通知する際、対処法が通知されるようにしても良い。例えば、このような覆いという妨害が検出されたときには、”覆い妨害が発生したので、被せられている布などを至急取り除いてください”といったメッセージが妨害発生の通知として通知されるようにしてもよい。また、妨害が発生したことが検出された監視カメラの付近を映し出せる他の監視カメラに映像が切り換えられるなどの対処がされるようにしてもよい。
【０１６２】
一方、ステップＳ７６において、デフォーカスは検出されていないと判定された場合、ステップＳ７８に処理が進められる。この場合、輝度が同一方向に変化するグローバルチェンジが検出されたが、デフォーカスは検出されていない状況である。このような状況は、監視カメラの方向が他の方向にされた首ふりという妨害が発生したと判定される。
【０１６３】
首振りの場合、監視カメラの方向が変えられるため、撮像される画像が、首振りの前後で異なる。よって、輝度値が変化するので、グローバルチェンジ検出部４１により妨害が発生しと検出される。しかしながら、首振り後に監視カメラで撮像される画像も、ピントが合っている状態であるとエッジ強度の変化が小さく、デフォーカス検出部４２で妨害が検出されないことも有る。このような場合であっても、グローバルチェンジ検出部４１とデフォーカス検出部４２を備えることで、グローバルチェンジ検出部４１で妨害を検出することができ、かつ、その妨害が首振りであると判定することができる。
【０１６４】
この場合も、妨害が発生したことを通知するだけでなく、その妨害が、首ふりであることも通知することができるので、管理者が対処をとるまでの時間を短縮することが可能となる。首振りの場合、監視カメラが設置されているところまで管理者が行って、正しい位置に直す、遠隔操作で、パンやチルトを制御できる機能を有する監視カメラであれば、遠隔操作で、正しい位置に直すといった対処がとられる。
【０１６５】
一方、ステップＳ７５において、輝度が同一方向に変化していないと判定された場合、換言すれば、輝度が複数方向に変化していると判定された場合、ステップＳ７９に処理が進められる。ステップＳ７９において、デフォーカスが検出されたか否かが判定される。ステップＳ７９において、デフォーカスが検出されたと判定された場合、ステップＳ８０に処理が進められる。
【０１６６】
この場合、輝度が複数方向に変化するグローバルチェンジが検出され、デフォーカスが検出された状況である。このような状況は、監視カメラのズームがずらされたズームずらしという妨害が発生したと判定される。監視カメラのズームがずらされると、撮像される画像が変化するため、輝度値が変化する可能性が高い。しかしながら、布などで監視カメラが覆われた場合と異なり、一様に輝度値が変化する可能性は低い。よって、グローバルチェンジ検出部４１においては、輝度値が複数方向に変化する異常が検出される。
【０１６７】
また、監視カメラのズームがずらされ、撮像される画像が変化することで、エッジ強度も変化する可能性が高い。よって、デフォーカス検出部４２でも異常が検出される。このようなときには、ズームずらしの妨害が発生したと判定される。
【０１６８】
この場合も、妨害が発生したことを通知するだけでなく、その妨害が、ズームずらしであることも通知することができるので、管理者が対処をとるまでの時間を短縮することが可能となる。管理者は、監視カメラが設置されているところまで行って、正しいズーム位置に直す、遠隔操作で、ズームを制御できる機能を有する監視カメラであれば、遠隔操作で、正しいズーム位置に直すといった対処がとられる。
【０１６９】
一方、ステップＳ７９において、デフォーカスは検出されていない判定された場合、ステップＳ７８に処理が進められる。この場合、輝度が複数方向に変化するグローバルチェンジが検出されたが、デフォーカスは検出されていない状況である。このような状況は、監視カメラの方向が他の方向にされた首ふりという妨害が発生したと判定される。
【０１７０】
この場合も、妨害が発生したことを通知するだけでなく、その妨害が、首ふりであることも通知することができるので、管理者が対処をとるまでの時間を短縮することが可能となる。
【０１７１】
このように、グローバルチェンジ検出部４１からの検出結果と、デフォーカス検出部４２からの検出結果を統合することで、監視カメラに対する妨害が発生したことを検出することができるだけでなく、その妨害が、どのような妨害であるのか、妨害の種類までも検出することが可能となる。また、グローバルチェンジ検出部４１とデフォーカス検出部４２で、それぞれ妨害を検出するので、検出漏れや誤検出を低減させることが可能となる。
【０１７２】
妨害の種類を検出することが可能となることで、妨害の種類も管理者に通知することができるようになり、管理者が、妨害に対する対処を取りやすくなる。妨害の種類によっては、監視カメラ側で妨害を除去できる場合もある。このような場合、妨害の種類がわかることで、監視カメラ自体が、その妨害を除去できるか否かを判定し、除去できるときには、管理者の指示を待たずに、妨害の除去を開始することが可能となる。
【０１７３】
また、上述した実施の形態においては、グローバルチェンジ検出部４１とデフォーカス検出部４２は、それぞれ、１画像を複数の領域に分割し、領域毎に、妨害が発生した可能性があるか否かを判定し、領域毎の判定結果を用いて１画像における妨害が発生したか否かの判定を行うようにした。よって、例えば、一部の領域に極端にエッジ強度が強い領域があるような画像であっても、その領域に依存することなく、妨害の検知を行うことが可能となる。すなわち、より精度良く妨害の検知を行うことが可能となる。
【０１７４】
［記録媒体について］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１７５】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１７６】
コンピュータにおいて、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【０１７７】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０１７８】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１７９】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８０】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１８１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１８３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８４】
なお、本技術は以下のような構成も取ることができる。
【０１８５】
（１）
画像の画像データを取得する取得部と、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割部と、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定部と、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施すフィルタリング部と、
前記フィルタリング部からのフィルタリング結果が、所定の値より大きい画素をカウントするカウント部と、
前記カウント部によりカウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定する第１の判定部と、
前記第１の判定部により異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する第２の判定部と
を備える画像処理装置。
（２）
前記カウント部は、前記フィルタリング結果が、前記所定の値より大きい画素の数をカウントした画素数と、前記フィルタリング結果が、前記所定の値以上であると判定された画素の値を加算した累積値を前記画素数で除算した平均値を算出し、
前記第１の判定部は、前記画素数が所定の値より小さいか否かの第１の判定と、前記平均値が所定の値より小さいか否かの第２の判定を行い、前記第１の判定と前記第２の判定の論理和を判定結果とする
前記（１）に記載の画像処理装置。
（３）
指定されたＭ個の前記ブロックの前記画像データのヒストグラムを生成するヒストグラム生成部と、
生成された前記ヒストグラムを順次更新して保存するヒストグラム保存部と、
生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定部と、
前記ヒストグラムの正規化を行うか否かを判定する正規化判定部と、
前記正規化判定部において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化部と
をさらに備え、
前記変化判定部は、前記正規化部により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定し、変化があったと判定した場合、妨害があったと判定する
前記（１）または前記（２）のいずれかに記載の画像処理装置。
（４）
前記第２の判定部による判定結果と、前記変化判定部による判定結果を統合し、前記妨害の種類を判定する
前記（３）に記載の画像処理装置。
（５）
画像の画像データを取得し、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、
フィルタリング結果が、所定の値より大きい画素をカウントし、
カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、
異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する
ステップを含む画像処理方法。
（６）
コンピュータに、
画像の画像データを取得し、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、
フィルタリング結果が、所定の値より大きい画素をカウントし、
カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、
異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
【符号の説明】
【０１８６】
１１ 画像処理装置， ２１ 取得部， ２２ 画像処理部， ３１ 撮像信号処理部， ３２ データ保存部， ３３ 画像解析部， ４１ グローバルチェンジ検出部， ４２ デフォーカス検出部， ４３ 検出結果統合部， ６１ 更新領域選択部， ６２ ヒストグラム保存部， ６３ 画像分割部， ６４ ヒストグラム生成部， ６５ 正規化処理部， ６６ 変化判定部， ６７ 変化領域保存部， ６８ カウンタ部， ６９ 閾値判定部， ７１ 類似度演算部， ７２ 閾値判定部， ８１ 正規化判定部， ８２ 正規化値算出部， ８３ 平均値保存部， ８４ 正規化部， １０１ 更新領域選択部， １０２ 画像分割部， １０３ 異常領域検出部， １０４ 高周波フィルタ， １０５異常判定部， １０６ エッジ強度カウンタ， １０７ 閾値判定部， １０８ 異常領域保存部， １０９ 妨害判定部， １１０ カウンタ部， １１１ 閾値判定部
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関する。詳しくは、監視カメラなどに加えられた妨害行為を検出できるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
所定の空間への人、動物などの侵入者を発見するために、監視カメラにより対象とされる空間を撮影し、撮影画像から侵入者を検知する監視システムが知られている。かかる監視システムは、監視カメラに布を被せる、監視カメラの向きを変える、監視カメラのレンズにスプレーをかける、などの妨害行為が行われると、監視ができなくなる。
【０００３】
監視カメラに対してされた妨害行為を検知する技術として、監視カメラにより撮像された現在の画像と予め記憶されている参照画像（または過去画像）との類似度を演算したり、エッジ強度を演算したりして、妨害行為があったか否かを判定することが提案されている（例えば、特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許04626632号公報
【特許文献２】特許04227539号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記した特許文献１および特許文献２によれば、妨害行為があったことを検知することはできる。しかしながら、妨害の種類を判定することは困難である。妨害の種類を判定することができることで、妨害を取り除くための対処が異なるため、妨害の種類までも判定することができることが望まれている。
【０００６】
また、特許文献１では、動体による誤検知を抑えるために動体検出処理も処理に含めることが開示されている。しかしながら、動体が画面全体を覆うようなシーンでなければ検出することができず、より細かな状況に応じた検出を行うことは困難である。
【０００７】
また、特許文献２では、領域毎に処理を行うことが提案されている。しかしながら、妨害あったか否かの判定の際に、全領域の結果の値を加算して全体の値を算出していたため、一部の領域に極端にエッジ強度が強い領域があると、判定結果が、その領域に依存してしまうことがあり、誤判定をしてしまう可能性があった。
【０００８】
監視カメラに対する妨害行為を、誤検出なく、より精度良く検出できるようにし、妨害の種類が判別でき、適切な対応を即座に取れるようにすることが所望されている。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、監視カメラなどに妨害が加えられたときに、その妨害を精度良く検出し、さらに妨害の種類も判別することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置においては、画像の画像データを取得する取得部と、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割部と、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定部と、指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施すフィルタリング部と、前記フィルタリング部からのフィルタリング結果が、所定の値より大きい画素をカウントするカウント部と、前記カウント部によりカウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定する第１の判定部と、前記第１の判定部により異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する第２の判定部とを備える。
【００１１】
前記カウント部は、前記フィルタリング結果が、前記所定の値より大きい画素の数をカウントした画素数と、前記フィルタリング結果が、前記所定の値以上であると判定された画素の値を加算した累積値を前記画素数で除算した平均値を算出し、前記第１の判定部は、前記画素数が所定の値より小さいか否かの第１の判定と、前記平均値が所定の値より小さいか否かの第２の判定を行い、前記第１の判定と前記第２の判定の論理和を判定結果とするようにすることができる。
【００１２】
指定されたＭ個の前記ブロックの前記画像データのヒストグラムを生成するヒストグラム生成部と、生成された前記ヒストグラムを順次更新して保存するヒストグラム保存部と、生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定部と、前記ヒストグラムの正規化を行うか否かを判定する正規化判定部と、前記正規化判定部において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化部とをさらに備え、前記変化判定部は、前記正規化部により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定し、変化があったと判定した場合、妨害があったと判定するようにすることができる。
【００１３】
前記第２の判定部による判定結果と、前記変化判定部による判定結果を統合し、前記妨害の種類を判定するようにすることができる。
【００１４】
本技術の一側面の画像処理方法は、画像の画像データを取得し、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、フィルタリング結果が、所定の値より大きい画素をカウントし、カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定するステップを含む。
【００１５】
本技術の一側面のプログラムは、コンピュータに、画像の画像データを取得し、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、フィルタリング結果が、所定の値より大きい画素をカウントし、カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定するステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラムである。
【００１６】
本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、取得された画像がＮ（Ｎ＞１）個のブロックに分割され、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックが、更新対象のブロックとして順次指定され、指定されたＭ個のブロックの画像データに所定のフィルタによるフィルタリングが施され、そのフィルタリング結果が、所定の値より大きい画素がカウントされ、そのカウントされた画素の数と所定の値が比較されることで、ブロックに異常があるか否かが判定される。そして、異常があると判定された画像内のブロック数と所定の値がさらに比較されることで、妨害が発生したか否かが判定される。
【発明の効果】
【００１７】
本技術の一側面によれば、監視カメラなどに妨害が加えられたときに、その妨害を精度良く検出することができる。また妨害の種類も判別することができる。妨害の種類を判別することができるようになることで、妨害の除去に対する適切な対処を、ユーザが行いやすくなる。
【図面の簡単な説明】
【００１８】
【図１】本発明の画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】画像解析部の構成を示すブロック図である。
【図３】グローバルチェンジ検出部の詳細構成例を示すブロック図である。
【図４】正規化処理部の詳細構成例を示すブロック図である。
【図５】デフォーカス検出部の構成を示す図である。
【図６】正規化判定部の処理を説明する図である。
【図７】正規化値算出部の処理を説明する図である。
【図８】正規化部の処理を説明する図である。
【図９】正規化部の処理を説明する図である。
【図１０】変化判定部の詳細構成例を示すブロック図である。
【図１１】変化判定部の処理を説明する図である。
【図１２】グローバルチェンジ検出部の処理を説明するフローチャートである。
【図１３】更新するブロックの移動を説明する図である。
【図１４】正規化処理の詳細を説明するフローチャートである。
【図１５】ブロックの形状を示す図である。
【図１６】ブロックの形状を示す図である。
【図１７】デフォーカス検出部の処理を説明するフローチャートである。
【図１８】検出結果の統合について説明するための図である。
【図１９】検出結果の統合について説明するためのフローチャートである。
【図２０】記録媒体について説明するための図である。
【発明を実施するための形態】
【００１９】
以下に、本技術の実施の形態について図面を参照して説明する。
【００２０】
［画像処理装置の構成］
図１は、本技術の画像処理装置の一実施の形態の構成を示すブロック図である。本技術は、監視カメラにより撮像される画像を解析し、監視カメラに対して加えられた妨害を検出する装置に適用できる。図１に示した画像処理装置１１は、取得された画像に基づいて、監視カメラ（監視装置）に対する妨害行為を検出し、妨害行為が検出されたときアラームを出力する。
【００２１】
ここで、監視カメラに関する妨害について説明する。監視カメラに関する妨害として、監視対象を視野外（撮影範囲外）にする妨害がある。この妨害は、監視カメラの向きを変える首振りと称される妨害や、監視カメラに布などを被せる覆いと称される妨害がある。このような監視対象を視野外にする妨害をここでは、グローバルチェンジと記述する。
【００２２】
また、監視カメラのフォーカスをずらす妨害もある。この妨害としては、監視カメラのフォーカスをずらすフォーカスずらしや、監視カメラのズームをずらすズームずらしがある。このようなフォーカスをずらす妨害をここでは、デフォーカスと記述する。
【００２３】
図１に示した画像処理装置１１は、取得部２１と画像処理部２２により構成されている。画像の画像データを取得する取得手段としての取得部２１は、CMOS（Complementary Metal Oxide Semiconductor）センサ、ビデオカメラなどの撮像部を内蔵し、撮像部が監視する対象空間などの被写体を撮影することで得られた画像データを取得し、出力する。取得部２１はまた、ネットワークを介して外部から供給される画像データを取得することもできる。
【００２４】
画像処理部２２は、撮像信号処理部３１、データ保存部３２、および画像解析部３３により構成される。撮像信号処理部３１は、取得部２１より得られた画像データに対して、黒レベル補正処理、ホワイトバランス処理、γ補正処理、色補正処理等の各種画像処理を施す。
【００２５】
撮像信号処理部３１は、例えばDSP(Digital Signal Processor)により構成される。データ保存部３２は、撮像信号処理部３１により処理された画像データを保存する。データ保存部３２は、例えばRAM(Random Access Memory）により構成される。画像解析部３３は、撮像信号処理部３１より供給される現在の画像と、データ保存部３２より供給される過去の画像である参照画像を解析することにより、妨害行為を検出する。画像解析部３３は、例えばCPU（Central Processing Unit）により構成される。
【００２６】
［画像解析部３３の詳細構成］
図２は、画像解析部３３の内部構成を示す図である。画像解析部３３は、グローバルチェンジ検出部４１、デフォーカス検出部４２、および検出結果統合部４３を含む。グローバルチェンジ検出部４１は、上記したグローバルチェンジに係わる妨害を検出するための処理を行う。デフォーカス検出部４２は、上記したデフォーカスに係わる妨害を検出するための処理を行う。検出結果統合部４３は、グローバルチェンジ検出部４１とデフォーカス検出部４２からそれぞれ出力される検出結果を統合し、監視カメラに対する妨害行為の種類などを判別する。
【００２７】
［グローバルチェンジ検出部４１の詳細構成］
図３は、グローバルチェンジ検出部４１の詳細構成例を示すブロック図である。グローバルチェンジ検出部４１は、更新領域選択部６１、ヒストグラム保存部６２、画像分割部６３、ヒストグラム生成部６４、正規化処理部６５、変化判定部６６、変化領域保存部６７、カウンタ部６８、および閾値判定部６９により構成されている。
【００２８】
更新領域選択部６１は、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックを、更新するブロックとして順次指定する指定手段として機能する。この更新領域選択部６１は、撮像信号処理部３１から供給されるデータから、取得部２１により取得された画像のフレーム番号を抽出し、更新するフレーム番号を決定する。さらに更新領域選択部６１は、更新するフレームの中の更新するブロックを決定する。
【００２９】
取得された画像をＮ（Ｎ＞１）個のブロックに分割する分割手段としての画像分割部６３は、撮像信号処理部３１から供給される画像データに基づく各フレームの画像のうち、更新領域選択部６１により指定されるフレームを複数のブロックに分割する。画像分割部６３はまた、分割されたブロックのうち、更新領域選択部６１により指定されるブロックの画像データを、ヒストグラム生成部６４に供給する。
【００３０】
取得された画像データのヒストグラムを生成するヒストグラム生成手段としてのヒストグラム生成部６４は、画像分割部６３から供給されたブロックのヒストグラムを生成する。なお、撮像信号処理部３１がヒストグラム生成機能を備える場合がある。その場合には、ヒストグラム生成部６４は撮像信号処理部３１内に設けることができる。
【００３１】
生成されたヒストグラムを順次更新して保存するヒストグラム保存手段としてのヒストグラム保存部６２は、更新領域選択部６１により更新領域として指定されるブロックのヒストグラムを更新する。すなわち、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムにより、既に記憶されている過去のフレームの対応するブロックのヒストグラムが書き換えられる。
【００３２】
正規化処理部６５は、ブロックのヒストグラムを必要に応じて正規化する。正規化処理部６５には、ヒストグラム生成部６４から、現在のフレームの更新対象のブロックのヒストグラムが供給される。また、正規化処理部６５には、ヒストグラム生成部６４から供給されたブロックに対応する過去のヒストグラムが、ヒストグラム保存部６２から供給される。正規化処理部６５は、ヒストグラム生成部６４から供給される現在のフレームの更新対象の各ブロックについてヒストグラムの正規化の要否を判定し、必要に応じて正規化する。なお、現在のフレームの更新対象のブロックのヒストグラムと、それに対応する過去のブロックのヒストグラムのどちらが正規化されるかは、ヒストグラムの状況に応じて判定される。
【００３３】
取得された画像の変化を判定する変化判定手段としての変化判定部６６は、生成された現在のヒストグラムと、保存されていた過去のヒストグラムの類似度に基づいて、変化判定処理を行う。変化判定部６６は、類似度演算部７１と閾値判定部７２により構成されている。
【００３４】
類似度演算部７１は、現在と過去のヒストグラムの類似度を演算する類似度演算手段として機能する。即ち、類似度演算部７１は、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムと、それに対応する過去のブロックのヒストグラムとの類似度を演算する。
【００３５】
類似度閾値判定手段としての閾値判定部７２は、演算された類似度を類似度閾値と比較し、類似度が類似度閾値より大きいとき、ブロックの画像に変化があったと判定する。閾値判定部７２は、ブロックの画像の変化についての判定結果（変化の有無）を、変化領域保存部６７およびカウンタ部６８に出力する。
【００３６】
変化領域保存部６７は、変化判定部６６による判定結果を保存する。即ち、現在のフレームの更新対象のブロックの、過去のブロックに対する変化の有無が、新たな画像の画像データが取得される毎に、順次、変化領域保存部６７に保存される。
【００３７】
変化があったと判定されたブロックの数をカウントするカウント手段としてのカウンタ部６８には、変化判定部６６から、現在のフレームの更新対象のブロックの判定結果（変化の有無）が供給される。また、変化領域保存部６７からは、現在のフレームの更新対象のブロック以外のブロックの判定結果が、カウンタ部６８に供給される。カウンタ部６８は、変化判定部６６の出力と変化領域保存部６７の出力に基づいて、1つの監視中の画像中の変化があったブロックの数をカウントする。
【００３８】
カウントされた値をアラーム閾値と比較し、カウントされた値がアラーム閾値より大きいときアラームを出力するアラーム閾値判定手段としての閾値判定部６９は、カウンタ部６８によりカウントされたブロックの数を、予め決められている所定の閾値と比較する。カウントされたブロックの数が閾値より大きいとき、妨害行為が検出されたと判定し、検出信号が出力される。この検出信号は例えばアラームとすることができる。
【００３９】
［正規化処理部６５の詳細構成］
図４は、正規化処理部６５の詳細構成例を示すブロック図である。正規化処理部６５は、正規化判定部８１、正規化値算出部８２、平均値保存部８３、および正規化部８４により構成されている。
【００４０】
正規化判定部８１には、ヒストグラム生成部６４から、現在のフレームの更新対象のブロックのヒストグラムが供給され、ヒストグラム生成部６４から供給されたブロックに対応する過去のヒストグラムが、ヒストグラム保存部６２から供給される。以下では、適宜、現在のフレームの更新対象のブロックのヒストグラムを現在のヒストグラム、過去のフレームの対応するブロックのヒストグラムを過去のヒストグラムと称する。
【００４１】
正規化判定部８１は、現在のフレームの更新対象のブロックに対して正規化を行うか否かを判定する。正規化判定部８１は、正規化を行わない（行う必要がない）と判定した場合、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムを、そのまま変化判定部６６に供給する。正規化判定部８１は、正規化を行う（必要がある）と判定した場合、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムを、正規化値算出部８２に供給する。
【００４２】
正規化値算出部８２は、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムから、正規化に用いる正規化値を算出する。算出された正規化値は、更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムとともに、正規化部８４に供給される。
【００４３】
平均値保存部８３には、現在のフレームより前に計算された、更新対象のブロック以外のブロックの、ヒストグラムの平均値の変化の方向と変化率などが保存される。また、現在のフレームに対し正規化判定部８１および正規化値算出部８２で計算された同様の値も、次フレーム以降の処理のため、平均値保存部８３に供給され、保存（更新）される。平均値保存部８３に保存される値（ヒストグラムの平均値の変化の方向と変化率）の詳細については後述する。
【００４４】
正規化部８４は、正規化値算出部８２で算出された正規化値に基づいて、更新対象の各ブロックの現在のヒストグラムか、または、過去のヒストグラムのいずれか一方を正規化する。これにより、現在のヒストグラムと過去のヒストグラムとで、ブロックの明るさを補正したヒストグラムを生成することができる。正規化部８４は、正規化後の現在のヒストグラムと過去のヒストグラムを変化判定部６６に出力する。
【００４５】
なお、図４に示したような構成とすることで、性能を向上させることができる。すなわち、正規化判定部８１を設け、上記および後述するように正規化を行うか否かを判定することで、全体の性能を向上させることができる。しかしながら、正規化判定部８１を設けずに、全ての領域に関して正規化値算出部８２による正規化値の算出が行われ、正規化部８４で正規化が行われる構成とすることも可能である。また正規化判定部８１を設けない構成とした場合、平均値保存部８３も削除した構成とされる。すなわち、正規化処理部６５は、正規化値算出部８２と正規化部８４から構成されるように構成することも可能である。
【００４６】
［デフォーカス検出部４２の詳細構成］
図５は、デフォーカス検出部４２の詳細構成例を示すブロック図である。デフォーカス検出部４２は、更新領域選択部１０１、画像分割部１０２、異常領域検出部１０３、高周波フィルタ１０４、異常判定部１０５、エッジ強度カウンタ１０６、閾値判定部１０７、異常領域保存部１０８、妨害判定部１０９、カウンタ部１１０、および閾値判定部１１１により構成されている。
【００４７】
更新領域選択部１０１は、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックを、更新するブロックとして順次指定する指定手段として機能する。この更新領域選択部１０１は、撮像信号処理部３１から供給されるデータから、取得部２１により取得された画像のフレーム番号を抽出し、更新するフレーム番号を決定する。さらに更新領域選択部１０１は、更新するフレームの中の更新するブロックを決定する。
【００４８】
取得された画像をＮ（Ｎ＞１）個のブロックに分割する分割手段としての画像分割部１０２は、撮像信号処理部３１から供給される画像データに基づく各フレームの画像のうち、更新領域選択部１０１により指定されるフレームを複数のブロックに分割する。画像分割部１０２はまた、分割されたブロックのうち、更新領域選択部１０１により指定されるブロックの画像データを、異常領域検出部１０３の高周波フィルタ１０４に供給する。
【００４９】
取得された画像データに対して、高周波フィルタによるフィルタリングを行うフィルタリング手段としての高周波フィルタ１０４は、画像分割部１０２から供給されたブロックに、所定の高周波フィルタによるフィルタリング処理を施す。
【００５０】
取得された画像の異常を判定する異常判定手段としての異常判定部１０５は、エッジ強度カウンタ１０６と閾値判定部１０７により構成されている。エッジ強度カウンタ１０６は、エッジ強度が所定の閾値より大きい画素の数をカウントし、エッジ強度の平均値などを算出する算出手段として機能する。
【００５１】
閾値判定手段としての閾値判定部１０７は、画素数や平均値を所定の閾値と比較し、閾値より大きいブロックの画像は異常があったと判定する。閾値判定部１０７は、ブロックの画像の異常についての判定結果（異常の有無）を、異常領域保存部１０８およびカウンタ部１１０に出力する。
【００５２】
異常領域保存部１０８は、異常判定部１０５による判定結果を保存する。即ち、現在のフレームの更新対象のブロックの、過去のブロックに対する異常の有無が、新たな画像の画像データが取得される毎に、順次、異常領域保存部１０８に保存される。
【００５３】
妨害判定部１０９は、カウンタ部１１０と閾値判定部１１１から構成されている。妨害判定部１０９は、監視カメラに対して妨害があったか否かを判定する。異常があったと判定されたブロックの数をカウントするカウント手段としてのカウンタ部１１０には、異常判定部１０５から、現在のフレームの更新対象のブロックの判定結果（異常の有無）が供給される。また、異常領域保存部１０８からは、現在のフレームの更新対象のブロック以外のブロックの判定結果が、カウンタ部１１０に供給される。カウンタ部１１０は、異常判定部１０５の出力と異常領域保存部１０８の出力に基づいて、1つの監視中の画像中の異常があったブロックの数をカウントする。
【００５４】
カウントされた値をアラーム閾値と比較し、カウントされた値がアラーム閾値より大きいときアラームを出力するアラーム閾値判定手段としての閾値判定部１１１は、カウンタ部１１０によりカウントされたブロックの数を、予め決められている所定の閾値と比較する。カウントされたブロックの数が閾値より大きいとき、妨害行為が検出されたと判定し、検出信号が出力される。この検出信号は例えばアラームとすることができる。
【００５５】
このように、本実施の形態においては、グローバルチェンジ検出部４１とデフォーカス検出部４２が設けられているため、それぞれの検出部で、グローバルチェンジに関する妨害と、デフォーカスに関する妨害を検出することができる。よって、種々の妨害を検出することができる。以下に、グローバルチェンジ検出部４１とデフォーカス検出部４２のそれぞれが行う処理についてさらに説明を加える。まず、グローバルチェンジ検出部４１について説明する。
【００５６】
［グローバルチェンジ検出部４１の検出について］
グローバルチェンジ検出部４１が行う妨害行為検出の原理（概要）について説明する。グローバルチェンジ検出部４１は、過去の画像PIと、現在の画像NIをそれぞれ取得し、過去の画像PIと現在の画像NIのそれぞれを、所定の大きさのブロックに分割し、ブロック毎に画素値のヒストグラムを演算する。そして過去の画像PIの所定の位置のブロックのヒストグラムと、現在の画像NIの対応する位置のブロックのヒストグラムの類似度が演算される。類似度が低いブロックは、変化領域VIとして検出され、変化領域VIの数が多い場合、妨害行為があったと判定され、アラームが出力される。次に、グローバルチェンジ検出部４１を構成するここのブロックが行う処理について説明する。
【００５７】
［正規化判定部８１の処理］
図６を参照して、正規化判定部８１の処理について説明する。正規化判定部８１には、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと、過去のヒストグラムが供給される。図６の例では、画像が１６個のブロックに分割され、斜線で示される４個のブロックが、現在のフレームでの更新対象のブロックを示している。
【００５８】
正規化判定部８１は、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出し、過去から現在への平均値の変化の方向が、増加、減少、または変動なし、のいずれであるかを判定する。例えば、過去と現在のヒストグラムの平均値の差（絶対値）が、所定の範囲TH以内であれば変動なし、所定の範囲THより大であれば、その変化の方向に応じて増加または減少とすることができる。
【００５９】
正規化判定部８１はまた、現在のフレームの更新対象ではないブロックについて、同様に判定したときの判定結果（変化の方向）を、平均値保存部８３から取得する。そして、正規化判定部８１は、画面全体の変化として、増加、減少、変動なし、のいずれであるかを判定する。例えば、画面全体のブロック数に対する増加（減少）のブロック数が、予め設定した所定の比率以上であれば、画面全体として増加（減少）の変化であると判定することができる。
【００６０】
図６右側の図は、プラス（＋）が付されたブロックは変化の方向が増加であるブロックを示し、マイナス（−）が付されたブロックは変化の方向が減少であるブロックを示している。無印のブロックは変動なしのブロックである。図６右側のフレームは、画面全体としては、増加の変化が見られたフレームと判定される。
【００６１】
画面全体として、ヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合、画面全体が明るくなった、または暗くなったことを意味する。この場合、AE機能や照明による画像全体の輝度の変化、もしくは、監視カメラが隠されるなどの妨害行為により、画面全体の輝度が変化したと考えられ、正規化を行った方がよい。一方、画面全体としてのヒストグラムの平均値の変化がない場合や、平均値の増加および減少に偏りが見られない場合には、正規化を行わない方がよい。
【００６２】
このような場合には、画像に変化がない、画面の一部に動体が入るなどして変化した、または、監視カメラの向きを変えられるなどの妨害行為が行われたなどが考えられ、正規化することにより偶然ヒストグラムの形が一致する領域が多くなることがある。その結果、かえって妨害行為を検出できなくなる事態が考えられるので、これを防止するためである。
【００６３】
以上より、正規化判定部８１は、画面全体として、ヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合、正規化を行う必要があると判定する。一方、画面全体としてヒストグラムの平均値に変動がない場合や、平均値の増加および減少に偏りが見られない場合には、正規化を行う必要がないと判定する。
【００６４】
［正規化値算出部８２の処理］
図７を参照して、正規化値算出部８２の処理について説明する。正規化値算出部８２は、画面全体のヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合に、画面全体で、どの程度変化したのかを表す変化の比率（以下、変化率と記載する）を求め、それを正規化値とする。
【００６５】
最初に、正規化値算出部８２は、各ブロックで、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出する。現在のフレームの更新対象の各ブロックについては、供給されるヒストグラムから平均値を算出する。現在のフレームの更新対象のブロック以外のブロックの現在と過去のヒストグラムの平均値は、既に計算されて保存されている平均値保存部８３から取得される。
【００６６】
次に、正規化値算出部８２は、画面全体のなかから有効領域を決定する。ここで、正規化判定部８１において画面全体の変化の方向が増加であると判定された場合には、ブロックの変化の方向が増加であるブロックの各領域が有効領域とされる。そして、正規化値算出部８２は、有効領域とされた各ブロックについて、現在のヒストグラムの平均値を、過去のヒストグラムの平均値で除算し、その結果を変化率とする。これにより、有効領域とされた各ブロックについて変化率が求まる。
【００６７】
なお、画面全体の変化の方向が増加であると判定された場合、ブロックの変化の方向が増加であるブロックの各領域が有効領域とされるが、増加率が所定値以上に大きい、換言すれば極端に明るくなったブロックも有効領域から除外される。変動なしのブロック、平均値の変化の方向が減少のブロック、極端に明るくなったブロックが有効領域から除外されるのは、そのブロックに、AE機能によって明るさが変化した原因の動体が存在する可能性が高いためである。
【００６８】
図７において、斜線が付されたブロックが有効領域とされたブロックを示している。
【００６９】
これに対して、正規化判定部８１において画面全体の変化の方向が減少であると判定された場合には、ブロックの変化の方向が減少であるブロックの各領域が有効領域とされる。そして、正規化値算出部８２は、有効領域とされた各ブロックについて、過去のヒストグラムの平均値を、現在のヒストグラムの平均値で除算し、その結果を変化率とする。これにより、画面全体の変化の方向が減少であると判定された場合も、有効領域とされた各ブロックについて変化率が求まる。
【００７０】
最後に、正規化値算出部８２は、有効領域とされた各ブロックについて求めた変化率の平均値を算出し、その結果を正規化値に決定する。
【００７１】
以上のように、有効領域を決定し、その変化率の平均値を求めることで、動体領域の影響を除外した画面全体の変化率を求め、正規化値とするので、後段の正規化部８４において、正規化を精度良く行うことができる。
【００７２】
［正規化部８４の処理］
図８と図９を参照して、正規化部８４の処理について説明する。正規化部８４は、現在のフレームの更新対象のブロックの、現在と過去のヒストグラム間で、正規化値算出部８２で算出された正規化値を用いたストレッチングを行う。正規化判定部８１において画面全体の変化の方向が増加である、即ち、画面全体で明るくなったと判定された場合には、過去のヒストグラムを引き延ばし、逆に画面全体で暗くなったと判定された場合には、現在のヒストグラムを引き延ばすストレッチングが行われる。即ち、過去と現在のヒストグラムのうち、暗い側のヒストグラムがストレッチングされる。
【００７３】
図８は、現在のフレームの更新対象のあるブロックの現在と過去のヒストグラムを示している。ヒストグラムの横軸は輝度、縦軸は度数（所定の範囲の輝度値を有する画素の個数）を示している。
【００７４】
図８Ａに示される現在のヒストグラムの平均値は５で、面積は８である。一方、図８Ｂに示される過去のヒストグラムの平均値は１０で、面積は８である。このような現在と過去のヒストグラムの関係は、例えば、同じ被写体で照明（太陽光）が暗くなった場合などのときに起こり得る。このような現在と過去のヒストグラムに対し、正規化を行わず変化の有無を判定すれば、ヒストグラムの重なりの程度で類似度を判定する変化判定部６６において、変化ありと判定される。しかし、単に照明によるヒストグラムの変化であるならば、変化ありの判定は誤判定である。
【００７５】
そこで、正規化部８４は、図９に示すような、正規化値算出部８２で算出された正規化値を用いて現在のヒストグラムを引き延ばすストレッチングを行う。具体的には、正規化部８４は、現在のヒストグラムを正規化値で横軸方向（輝度方向）に引き延ばす。
【００７６】
図９の例は、正規化値が「２」である場合の例である。ストレッチング前の輝度値は「４」、「５」、及び「６」しかないので、２倍すると、「８」、「１０」、及び「１２」のみとなるが、それ以外輝度値の度数についても、周辺の度数から補間して求められる。
【００７７】
ヒストグラムを引き延ばすと、ヒストグラムの面積が増えてしまうため、次に、正規化部８４は、正規化の前後で面積が同一となるようにヒストグラムの度数を調整する。図９の例では、現在のヒストグラムのストレッチング後の面積が「１６」であり、ストレッチング前の面積が「８」であるので、ストレッチング後の現在のヒストグラムの各輝度値の度数が、「８／１６＝１／２倍」される。これにより、正規化後の現在のヒストグラムの面積は正規化前と同一の「８」となる。
【００７８】
以上のように、画面全体の変化の方向に応じて、現在または過去のヒストグラムが正規化される。そして、正規化後のヒストグラムが変化判定部６６に出力される。
【００７９】
［変化判定部６６の処理］
図１０と図１１を参照して、変化判定部６６が行う、ブロックの画像の変化の有無の判定について説明する。図１０は、類似度演算部７１に供給される現在のヒストグラムと過去のヒストグラムの例を示している。即ち、図１０Ａのヒストグラムh1は、現在のヒストグラムの例であり、図１０Ｂのヒストグラムh0は、過去のヒストグラムの例である。なお、横軸は輝度値に代表される画素値を表し、縦軸は所定の範囲の画素値を有する画素の個数（度数）を表している。
【００８０】
図１０に示すような現在のヒストグラムh1と過去のヒストグラムh0に対して、類似度演算部７１において、インタセクションを用いた次式（１）により、類似度が演算される。
Ｄ＝Σmin(Ai,Bi) ・・・・・・・・（１）
【００８１】
式（１）のAi,Biは、それぞれ現在のヒストグラムh1の１つの画素値と、過去のヒストグラムh0の１つの画素値を表している。従って、式（１）によれば、各画素値において、画素の数値（画素値）が小さい方の和が求められる。この比較処理は、直近の過去のＮ（Ｎ＞１）フレームについて行われる。
【００８２】
図１１Ａに示されるように、現在のヒストグラムh1と過去のヒストグラムh0の殆どが重なっている場合、式（１）で演算される値Ｄは、大きくなる。それに対して、図１１Ｂに示されるように、現在のヒストグラムh1と過去のヒストグラムh0の重なりが少ない場合、値Ｄは小さくなる。即ち、式（１）の値Ｄは、類似度が高いとき大きくなり、類似度が低いとき小さくなる。
【００８３】
次に、図１２のフローチャートを参照して、画像処理装置１１のグローバルチェンジ検出部４１による妨害行為検出処理について説明する。初めに、ステップＳ１において、取得部２１はカメラ画像を取得する。すなわち撮像部が所定の監視対象を撮像しており、その撮像画像の画像データが取得される。
【００８４】
ステップＳ２において、画像分割部６３は、Ｎ個のブロックに画像を分割する。この実施の形態においては、画像データに基づく各フレームの画像が８×８個のブロックに分割される。ステップＳ３において、更新領域選択部６１は、更新領域（更新対象のブロック）を選択する。すなわち、８×８個のブロックのうちの所定のＭ（Ｍ≦Ｎ）個のブロックが、更新対象のブロックとして選択される。この更新領域の選択について、図１３を参照して説明する。
【００８５】
図１３は、更新するブロックの移動を説明する図である。この実施の形態においては、Ｍ＝４とされ、８×８個のブロックが４×４個のブロックからなる４個のグループに区分される。そして、各グループから１個のブロックが選択されて、合計４個のブロックが更新対象のブロックとして選択される。具体的には、図１３Ａに示されるように、更新領域選択部６１は、最初のフレームの８×８個のブロックのうちの、１行目の最も左側に位置するブロックb11、最も右側に位置するブロックb18、８行目の最も左側に位置するブロックb81、最も右側に位置するブロックb88の４つのブロックを更新ブロックとして選択する。
【００８６】
なお、図１３において、上からｉ番目の行に位置し、左からｊ番目の列に位置するブロックを、bijのように表す。後述する図１５、図１６においても同様とする。
【００８７】
次の更新領域を選択するステップでは、図１３Ｂに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、ブロックb11の１つ右側に位置するブロックb12、ブロックb18の１つ左側に位置するブロックb17、８行目のブロックb81の１つ右側に位置するブロックb82、ブロックb88の１つ左側に位置するブロックb87の４つのブロックを更新ブロックとして選択する。
【００８８】
次の更新領域を選択するステップでは、図１３Ｃに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、１行目のブロックb12の１つ右側に位置するブロックb13、ブロックb17の１つ左側に位置するブロックb16、８行目のブロックb82の１つ右側に位置するブロックb83、ブロックb87の１つ左側に位置するブロックb86の４つのブロックを更新ブロックとして選択する。
【００８９】
次の更新領域を選択するステップでは、図１３Ｄに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、１行目のブロックb13の１つ右側に位置するブロックb14、ブロックb16の１つ左側に位置するブロックb15、８行目のブロックb83の１つ右側に位置するブロックb84、ブロックb86の１つ左側に位置するブロックb85の４つのブロックを更新ブロックとして選択する。
【００９０】
以上のようにして最上行と最下行におけるブロックの選択、移動が終了すると、次の更新領域を選択するステップでは、第２行目と第７行目とが選択される。そして図１３Ｅに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、２行目の最も左側に位置するブロックb１１、最も右側に位置するブロックb28、７行目の最も左側に位置するブロックb71、最も右側に位置するブロックb78の４つのブロックを更新ブロックとして選択する。
【００９１】
次の更新領域を選択するステップでは、図１３Ｆに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、２行目のブロックb１１の１つ右側に位置するブロックb22、ブロックb28の１つ左側に位置するブロックb27、７行目のブロックb71の１つ右側に位置するブロックb72、ブロックb78の１つ左側に位置するブロックb77の４つのブロックを更新ブロックとして選択する。
【００９２】
以下、同様の手順により、更新対象のブロックとして、１フレームにおいて４個のブロックが順次選択される。すなわち、左側半分の上側半分の領域においては、行内においては左から右方向に、そして行は上から下方向に順次選択される。右側半分の上側半分の領域においては、行内においては右から左方向に、そして行は上から下方向に順次選択される。左側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。右側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。
【００９３】
なお、図１３に示した領域の移動順序は、一例であり、限定を示すものではない。４×４個のブロックからなる４個のグループに区分され、そのグループ内で、更新ブロックが上記したように、順次、選択されるとして説明したが、上記した説明のような選択に限定されるわけではない。例えば、図１３Ａに示したように、更新ブロックの開始位置は、左上のブロックb11、右上のブロックb18、左下のブロックb81、および右下のブロックb88が、それぞれ選択されるとして説明したが、各グループ内の、例えば右上にあるブロックが更新ブロックの開始位置とされても良い。
【００９４】
また、同じような規則に基づいて各グループ内の更新ブロックが選択されなくても良い。例えば、横方向に更新ブロックが選択されるグループ、縦方向に更新ブロックが選択されるグループ、ジグザグに更新ブロックが選択されるグループなど、グループ毎に異なる規則で更新ブロックが選択されるようにしても良い。
【００９５】
また、規則としてランダムに選択する規則もある。ランダムに更新ブロックが選択される場合、それぞれのグループで、ランダムな位置が選択されるようにしても良いし、ランダムに選択された位置が、全てのグループに適用されるようにしても良い。前者の場合は、例えば、右上、左下、右上から横方向に２番目、中央、といったように、各グループ内で選択される更新ブロックの位置は異なる。後者は、例えば、ランダムに設定された位置が右上であれば、各グループの右上に位置するブロックが更新ブロックとされる。
【００９６】
また、グローバルチェンジ検出部４１とデフォーカス検出部４２は、それぞれ、図１３に示した一例としての更新ブロックの選択に基づいて更新ブロックを選択し、その更新ブロック内に変化（異常）があるか否かを判定する。監視カメラにより撮像される１画像内で、何らかの妨害があったときに、変換（異常）が検出されやすい領域（ブロック）がある場合、その領域が他の領域よりも多く選択されるようにしても良い。換言すれば、各グループ内のブロックの全てが同一時間内に同一回数選択されるようにしても良いし、異なる回数選択されるようにしても良い。
【００９７】
図１２に示したフローチャートの説明に戻る。ステップＳ４において、ヒストグラム生成部６４は、更新領域のヒストグラムを生成する。ステップＳ５において、ヒストグラム保存部６２は、ステップＳ４で生成されたヒストグラムを保存する。ヒストグラム保存部６２は、過去のデータをヒストグラムとして保存するので、例えば画素値などの画像データとして保存する場合に比べて、記憶容量を小さくし、低コスト化することができる。
【００９８】
ステップＳ６において、正規化処理部６５は、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムに基づいて正規化の要否を判定し、必要に応じて正規化する正規化処理を実行する。
【００９９】
ステップＳ７において、類似度演算部７１は、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと、それに対応する過去のヒストグラムとの類似度を演算する。なお、ステップＳ６で正規化を行うと判定された場合には、正規化後のヒストグラムを用いて類似度が演算される。
【０１００】
ステップＳ８において、閾値判定部７２は、現在のフレームの更新対象の各ブロックについて、変化領域であるか否かを判定する。すなわち、ステップＳ７で演算された類似度Ｄが、予め定められた所定の閾値Thdと比較される。類似度Ｄが閾値Thdより小さいとき、そのブロックは変化があった領域であると判定される。直近の過去のＮフレームのうち、類似度Ｄが閾値Thdより小さいフレームが１フレームでもあった場合、領域に変化があったと判定される。
【０１０１】
ステップＳ９において、変化領域保存部６７は、現在のフレームの更新対象の各ブロックについて、判定結果を更新する。すなわち変化領域保存部６７は、ブロック毎に１フレーム分の判定結果（つまり、ブロック数分の判定結果）を保存しており、ステップＳ８での判定結果により古い判定結果を更新する。
【０１０２】
ステップＳ１０において、カウンタ部６８は、全領域の変化領域数をカウントする。即ち、変化判定部６６からの、現在のフレームの更新対象のブロックの判定結果（変化の有無）と、変化領域保存部６７からの、現在のフレームの更新対象のブロック以外のブロックの判定結果とに基づいて、監視対象の画像のフレームを構成する６４個のブロック全体で、変化領域とされるブロックの数がカウントされる。
【０１０３】
ステップＳ１１において、閾値判定部６９は、カウントされた変化領域数が閾値より大きいかを判定する。より具体的には、ステップＳ１０でカウントされた変化領域とされたブロックの数が、予め定められている所定の閾値Thcと比較される。
【０１０４】
ステップＳ１１で、カウントされた変化領域数が閾値より大きいと判定された場合、処理はステップＳ１２に進み、閾値判定部６９は、妨害行為があったことを示すアラームなどの信号を出力する。一方、ステップＳ１１で、カウントされた変化領域数が閾値以下であると判定された場合、およびステップＳ１２の処理の後、妨害行為検出処理は終了する。
【０１０５】
以上の処理は、フレーム毎に実行される。
【０１０６】
［正規化処理の詳細］
図１４は、図１２のステップＳ６として実行される正規化処理の詳細なフローチャートである。この処理では、初めに、ステップＳ３１において、正規化判定部８１は、更新対象の各ブロックについて、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出する。
【０１０７】
ステップＳ３２において、正規化判定部８１は、更新対象の各ブロックについて、ヒストグラムの平均値の変化方向を判定する。即ち、正規化判定部８１は、更新対象の各ブロックについて、過去から現在へのヒストグラムの平均値の変化の方向が、増加、減少、または変動なし、のいずれであるかを判定する。
【０１０８】
ステップＳ３３において、正規化判定部８１は、画面全体について変化方向をカウントする。具体的には、正規化判定部８１は、更新対象ではないブロックについて同様に判定したときの判定結果を平均値保存部８３から取得し、更新対象の各ブロックの判定結果とともに、画面全体について、増加、減少、変動なし、のそれぞれのブロック数がカウントされる。
【０１０９】
ステップＳ３４において、正規化判定部８１は、画面全体として、増加または減少のどちらかに一定以上の偏りがあるかを判定する。ステップＳ３４で、増加および減少のいずれにも一定以上の偏りがないと判定された場合、処理はステップＳ３５に進み、正規化判定部８１は、更新対象の各ブロックの現在と過去のヒストグラムそれぞれを、そのまま変化判定部６６に出力する。
【０１１０】
一方、ステップＳ３４で、増加または減少のどちらかに一定以上の偏りがあると判定された場合、処理はステップＳ３６に進み、正規化判定部８１は、更新対象の各ブロックの現在と過去のヒストグラムそれぞれを正規化値算出部８２に供給する。そして、正規化値算出部８２は、画面全体から異常領域を除外した有効領域の各ブロックの変化率を算出する。
【０１１１】
より具体的には、更新対象の各ブロックについて、現在と過去のヒストグラムそれぞれの平均値が算出される。また、更新対象のブロック以外のブロックについては、現在と過去のヒストグラムそれぞれの平均値が平均値保存部８３から取得される。そして、画面全体の変化方向に応じて有効領域が決定され、有効領域とされた各ブロックについて過去のヒストグラムの平均値と現在のヒストグラムの平均値の一方を他方で除算することにより、有効領域の各ブロックの変化率が求められる。
【０１１２】
ステップＳ３７において、正規化値算出部８２は、有効領域とされた各ブロックについて求めた変化率の平均値を算出し、その結果を正規化値に決定する。ステップＳ３８において、正規化部８４は、ステップＳ３７で算出された正規化値を用いて、現在または過去のヒストグラムを引き延ばすストレッチングを行う。
【０１１３】
ステップＳ３９において、正規化部８４は、引き延ばしたヒストグラムに対し、正規化の前後で面積が同一となるように調整する。即ち、ストレッチング前後の面積倍率の逆数を、引き延ばしたヒストグラムの各輝度値の度数に乗算することで、正規化の前後で面積が同一となるように調整される。
【０１１４】
ステップＳ４０において、正規化部８４は、正規化後のヒストグラムを変化判定部６６に出力する。即ち、正規化部８４は、正規化された現在または過去のヒストグラムと残りの一方を、変化判定部６６に出力する。
【０１１５】
ステップＳ４０の処理後、または、ステップＳ３５の処理後、正規化処理は終了し、図１２の妨害行為検出処理に戻る。
［ブロックの形状］
上記した図１３に示す実施の形態においては、ブロックを横長の形状として、その長手方向、すなわち横方向に移動させるようにしたが、このような形状に本技術の適用が限定されるのではない。例えば、ブロックの形状を、移動方向と垂直な方向に長い形状にすることができる。換言すれば、ブロックをその長手方向と垂直な方向に移動させることができる。
【０１１６】
図１５は、ブロックの形状を示す図である。図１５においては、画面が上半分と下半分に区分され、それぞれが８個のブロックb11乃至b18,b21乃至b28に分割されている。その結果、各ブロックは縦長の形状とされている。そして更新時のブロックの移動方向は、長手方向と垂直な方向、すなわち横方向とされている。例えば撮像部が横方向にしか移動できないなどの理由で、妨害行為が横方向に限られる場合、横方向の移動のみが検出できればよい。そこで、図１５に示されるように、変化の方向に対して平行な辺より垂直な辺が長くなる形状のブロックとすることができる。
【０１１７】
図１６は、ブロックの形状を示す図である。図１６においては、画面が左半分と右半分に区分され、それぞれが８個のブロックb11乃至b81,b12乃至b82に分割されている。その結果、各ブロックは横長の形状とされている。そして更新時のブロックの移動方向は、長手方向と垂直な方向、すなわち縦方向とされている。例えば撮像部が縦方向にしか移動できないなどの理由で、妨害行為が縦方向に限られる場合、縦方向の移動のみが検出できればよい。そこで、図１６に示されるように、変化の方向に対して平行な辺より垂直な辺が長くなる形状のブロックとすることができる。
【０１１８】
以上のように、正規化処理によれば、正規化を行うか否かを判定し、必要に応じてヒストグラムの正規化が行われる。具体的には、画面全体の変化の方向に増加または減少の一定以上の偏りがある場合に、ヒストグラムの正規化が行われる。これにより、AE機能や照明変化などに起因する、妨害行為の誤検出を抑制することができる。また、一律に全てのヒストグラムを正規化した場合に生じる妨害行為の検出漏れを抑制することができる。さらに、ヒストグラムを正規化する際には、正規化値として、変化の方向が画面全体の変化の方向と異なる領域を除外した変化率を算出することで、精度良く正規化を行うことができる。
【０１１９】
このようにして、グローバルチェンジ検出部４１により、グローバルチェンジに関する妨害、すなわち、監視カメラの向きを変えたり、布などを被せたりする妨害を、精度良く検知することが可能となる。次に、デフォーカス検出部４２による処理について説明する。
【０１２０】
［デフォーカス検出部４２の処理について］
次に、図１７のフローチャートを参照して、画像処理装置１１のデフォーカス検出部４２による妨害行為検出処理について説明する。初めに、ステップＳ５１において、取得部２１はカメラ画像を取得する。すなわち撮像部が所定の監視対象を撮像しており、その撮像画像の画像データが取得される。
【０１２１】
ステップＳ５２において、画像分割部１０２は、Ｎ個のブロックに画像を分割する。この実施の形態においては、画像データに基づく各フレームの画像が８×８個のブロックに分割される。ステップＳ５３において、更新領域選択部１０１は、更新領域（更新対象のブロック）を選択する。すなわち、８×８個のブロックのうちの所定のＭ（Ｍ≦Ｎ）個のブロックが、更新対象のブロックとして選択される。この更新領域の選択は、図１３を参照して説明した場合と同様に行うことが可能であるため、ここではその説明を省略する。
【０１２２】
ステップＳ５１乃至Ｓ５３の処理は、図１２に示したフローチャートのステップＳ１乃至Ｓ３と同様に行われる。換言すれば、デフォーカス検出部４２の更新領域設定部１０１と画像分割部１０２による処理は、図３に示したグローバルチェンジ検出部４１の更新領域設定部６１と画像分割部６３による処理と同様の処理とすることができる。
【０１２３】
よって、デフォーカス検出部４２の更新領域設定部１０１と画像分割部１０２が、グローバルチェンジ検出部４１の更新領域設定部６１と画像分割部６３と共用される構成とすることも可能である。例えば、図５に示したデフォーカス検出部４２の更新領域設定部１０１と画像分割部１０２を、デフォーカス検出部４２から削除した構成とし、グローバルチェンジ検出部４１の更新領域設定部６１から更新領域の設定を受け、画像分割部６３から分割された画像領域の画像群の供給を受ける構成とすることも可能である。
【０１２４】
勿論、グローバルチェンジ検出部４１とデフォーカス検出部４２が、それぞれ異なる領域を処理する、異なる大きさの領域を処理するなどの場合、図３と図５にそれぞれ示したように、グローバルチェンジ検出部４１とデフォーカス検出部４２がそれぞれ構成される。また、グローバルチェンジ検出部４１とデフォーカス検出部４２が、それぞれフレーム毎に処理する領域数が異なっていても良く、異なる領域数が処理される場合には、図３と図５にそれぞれ示したように、グローバルチェンジ検出部４１とデフォーカス検出部４２がそれぞれ構成される。
【０１２５】
例えば、グローバルチェンジ検出部４１は、１フレームを４つのグループに分割し、それぞれのグループから、１領域（１ブロック）を処理対象とし、合計４領域を処理対象として処理する（図１３を参照して説明したように処理する）。これに対して、デフォーカス検出部４２は、グローバルチェンジ検出部４１と同じく、１フレームを４つのグループに分割し、それぞれのグループから、１領域（１ブロック）を処理対象とするが、全てのブロックを順次処理対象として処理を行うようにしても良い。
【０１２６】
ステップＳ５４において、高周波フィルタ１０４は、更新領域を所定のフィルタでフィルタリングする。このフィルタリング処理が施されることで、更新領域内のエッジが抽出される。ステップＳ５５において、エッジ強度カウンタ１０６は、処理対象とされている領域から算出されたエッジの強度をカウントする。そして、そのカウント値を用いて、ステップＳ５６において、閾値判定部１０７は、現在のフレームの更新対象の各ブロックについて、異常領域であるか否かを判定する。この高周波フィルタ１０４、異常判定部１０５（エッジ強度カウンタ１０６と閾値判定部１０７）の処理について、説明を加える。
【０１２７】
高周波フィルタ１０４は、入力された所定領域内の画像に含まれる高周波成分を抽出する。例えば、高周波フィルタ１０４の伝達関数ＨをＺ変換で表現すると、下記の式（２）により表現される。但し、表記を簡単にするため、同式は１次元で表現されているが入力画像は２次元であるため、実際には同式を２次元に拡張したものが用いられる。
【０１２８】
【数１】
【０１２９】
なお、ウェーブレット変換等の変換処理を用いて高周波成分を抽出するように高周波フィルタ１０４が構成されていてもよい。高周波フィルタ１０４で抽出された入力画像の高周波成分は、入力画像（処理対象とされている領域内の画像）のエッジ強度を表す。このようなエッジ強度は、エッジ強度カウンタ１０６に入力される。エッジ強度カウンタ１０６においては、高周波フィルタ１０４を通過した高周波成分の領域内で周波数成分の値が算出される。
【０１３０】
エッジ強度カウンタ１０６は、算出した周波数成分の値が所定の閾値（以下、高周波閾値）を越える画素の個数をカウントする。また領域内の各画素の高周波成分の値を加算することで累積値を算出する。すなわち、エッジ強度カウンタ１０６は、領域内のエッジ強度の高い画素の画素数と、領域内のエッジ強度の累積値を算出する。
【０１３１】
さらに累積値は、エッジ強度の高い画素数で除算されることで平均値が算出され、その平均値が以下の処理に用いられる。
エッジ強度の平均値＝累積値／エッジ強度の高い画素数
なお、エッジ強度の高い画素数が０の場合、すなわち、算出された周波数成分の値が高周波閾値を超えた画素が無かった場合、エッジ強度の平均値は０として扱われる。
【０１３２】
この画素数と累積値が、閾値判定部１０７により所定の閾値と比較されることで、処理対象とされている領域に異常が生じているか否かが判定される。閾値判定部１０７は、以下の判定式を有している。
判定式１ エッジ強度が閾値より高い画素数＜画素数の閾値（defocus consensus rate）
判定式２ エッジ強度の平均値＜エッジ強度値の閾値（defocus noise th）
【０１３３】
判定式１は、エッジ強度が低い画素数が多いか否かを判定するための式である。監視カメラのフォーカスがずらされると、ぼやけた画像が撮像され、そのために、エッジ自体もぼやけ、エッジ強度の低い画素値が多い領域となる可能性がある。判定式１では、このような状況を検出するための式である。
【０１３４】
判定式２は、エッジ強度が全体的に低い領域であるか否かを判定するための式である。監視カメラのフォーカスがずらされていない状態であれば、ピントがあった画像が撮像されるため、エッジが存在する領域は、エッジ強度の累積値は高くなり、エッジ強度の高い画素数は少なくなる傾向にある。よってピントが合っている画像の所定の領域においては、エッジ強度の平均値は、高い値となる傾向にある。
【０１３５】
これに対して、監視カメラのフォーカスがずらされると、ぼやけた画像が撮像され、そのために、エッジが抽出されづらい画像（領域）となり、エッジが広がったようなぼけた領域となる。このような領域においては、エッジが存在する領域であっても、エッジ強度の累積値は低くなり、エッジ強度の高い画素数は多くなる傾向にある。よって、ピントが合っていない画像の所定の領域においては、エッジ強度の平均値は低い値となる傾向にある。
【０１３６】
閾値判定部１０７は、判定式１または判定式２のいずれか一方が少なくとも満たされるとき、処理対象とされた領域には、異常があると判定する。すなわち、閾値判定部１０７は、判定式１と判定式２の論理和を取り、その論理和を判定結果として、後段のカウンタ部１１０（図５）に出力する。
【０１３７】
図１７のフローチャートの説明に戻り、ステップＳ５６において、異常領域であるか否かが判定されると、ステップＳ５７において、異常領域保存部１０８は、現在のフレームの更新対象の各ブロックについて、判定結果を更新する。すなわち異常領域保存部１０８は、ブロック毎に１フレーム分の判定結果（すなわち、ブロック数分の判定結果）を保存しており、ステップＳ５６での判定結果により古い判定結果を更新する。
【０１３８】
ステップＳ５８において、カウンタ部１１０は、全領域の異常領域数をカウントする。即ち、異常判定部１０５からの、現在のフレームの更新対象のブロックの判定結果（変化の有無）と、異常領域保存部１０８からの、現在のフレームの更新対象のブロック以外のブロックの判定結果とに基づいて、監視対象の画像のフレームを構成する６４個のブロック全体で、異常領域とされるブロックの数がカウントされる。
【０１３９】
ステップＳ５９において、閾値判定部１１１は、カウントされた異常領域数が閾値より大きいかを判定する。より具体的には、ステップＳ５９でカウントされた異常領域とされたブロックの数が、予め定められている所定の閾値Thcと比較される。ここでは、予め定められている所定の閾値Thcと比較されるとして説明を続けるが、所定数前のフレームの異常領域の数を閾値Thcとすることも可能である。
【０１４０】
ステップＳ５９で、カウントされた異常領域数が閾値より大きいと判定された場合、処理はステップＳ６０に進み、閾値判定部１１１は、妨害行為があったことを示すアラームなどの信号を出力する。ただし、ステップＳ６０において出されるアラームは、後段の処理部に妨害行為が行われた可能性のあることを知らせる信号である。一方、ステップＳ５９で、カウントされた異常領域数が閾値以下であると判定された場合、およびステップＳ６０の処理の後、デフォーカス検出処理は終了する。
【０１４１】
以上の処理は、フレーム毎に実行される。
【０１４２】
このようにして、デフォーカス検出部４２により、デフォーカスに関する妨害、すなわち、監視カメラのフォーカスをずらしたり、ズームをずらしたりする妨害を、精度良く検知することが可能となる。
【０１４３】
［妨害検知の統合について］
ここで、再度図２を参照する。図２に示したように、本実施の形態においては、監視カメラに対する妨害のうちのグローバルチェンジに関する妨害を検出するグローバルチェンジ検出部４１と、監視カメラに対する妨害のうちのデフォーカスに関する妨害を検出するデフォーカス検出部４２で、それぞれ妨害の有無を検出する。そして、それぞれの検出部で検出された結果を統合し、最終的な妨害の有無の結果を出す検出結果統合部４３が備えられている。
【０１４４】
この検出結果統合部４３は、例えば、図１８に示すようなテーブルを保持し、そのテーブルに基づき、２つの検出部からの結果を統合し、最終的な結果を出す。図１８を参照するに、グローバルチェンジ検出部４１からの検出結果が、異常なしとの結果であり、デフォーカス検出部４２からの検出結果も異常なしとの結果である場合、異常なしとの判定がされる。
【０１４５】
グローバルチェンジ検出部４１からの検出結果が、異常なしとの結果であり、デフォーカス検出部４２からの検出結果が、異常ありとの結果である場合、フォーカスずらしの妨害が発生したと判定される。
【０１４６】
グローバルチェンジ検出部４１からの検出結果が、異常ありとの結果であり、かつ、ヒストグラムの異常が、輝度が同一方向に変化する異常であるとの結果であり、デフォーカス検出部４２からの検出結果が、異常なしとの結果である場合、首ふりの妨害が発生したと判定される。
【０１４７】
グローバルチェンジ検出部４１からの検出結果が、異常ありとの結果であり、かつ、ヒストグラムの異常が、輝度が同一方向に変化する異常であるとの結果であり、デフォーカス検出部４２からの検出結果が、異常ありとの結果である場合、覆いの妨害が発生したと判定される。
【０１４８】
グローバルチェンジ検出部４１からの検出結果が、異常ありとの結果であり、かつ、ヒストグラムの異常が、輝度が複数方向に変化する異常であるとの結果であり、デフォーカス検出部４２からの検出結果が、異常なしとの結果である場合、首ふりの妨害が発生したと判定される。
【０１４９】
グローバルチェンジ検出部４１からの検出結果が、異常ありとの結果であり、かつ、ヒストグラムの異常が、輝度が複数方向に変化する異常であるとの結果であり、デフォーカス検出部４２からの検出結果が、異常ありとの結果である場合、ズームずらしの妨害が発生したと判定される。
【０１５０】
このようなテーブルに基づき、検出結果の統合が行われ、最終的な検出結果が出力される際の、検出結果統合部４３の処理について、図１９のフローチャートを参照して説明する。なお、ここでは、処理の一例を示し、判定の順序などに限定を示すものではない。
【０１５１】
ステップＳ７１において、グローバルチェンジ検出部４１からの検出結果が、妨害を検出したことを示しているか否かが判定される。ステップＳ７１において、グローバルチェンジは、検出されていないと判定された場合、ステップＳ７２に処理が進められる。ステップＳ７２において、デフォーカス検出部４２からの検出結果が、妨害を検出したことを示しているか否かが判定される。ステップＳ７２において、デフォーカスは検出されていないと判定された場合、ステップＳ７３に処理が進められる。
【０１５２】
この場合、グローバルチェンジとデフォーカスの両方が検出されていないために、監視カメラに対する妨害は検出されていないと判定され、異常なしと判定される。
【０１５３】
一方、ステップＳ７２において、デフォーカスが検出されたと判定された場合、処理は、ステップＳ７４に進められる。この場合、グローバルチェンジは検出されていないが、デフォーカスは検出されているので、監視カメラに対する妨害が検出され、かつその妨害は、フォーカスずらしであると判定される。
【０１５４】
フォーカスがずらされる妨害の場合、監視カメラからの画像は、輝度が大きく変化しない可能性もあり、グローバルチェンジ検出部４１で妨害が発生したと検出されないことがある。しかしながら、エッジ強度が低下する傾向にあるため、デフォーカス検出部４２で妨害が発生したと検出される。よって、ステップＳ７４においては、フォーカスずらしの妨害が発生したと判定される。
【０１５５】
この判定結果は、監視カメラを管理する管理者に通知される。通知される際、単に、妨害が発生したことを通知するだけでなく、その妨害が、フォーカスずらしであることも通知することができる。
【０１５６】
このように、妨害の種類までも通知できるようになることで、管理者は、妨害の種類に対する適切な処理を即座にとることが可能となる。例えば、フォーカスずらしであることが通知されたときには、フォーカスを元に戻すという対処を行えば良いことが、単に妨害が発生したことを通知された時よりもはるかに早く認識でき、対処することが可能となる。またフォーカスを管理者の指示によらず合わせる機能を有する監視カメラの場合、フォーカスずらしの妨害が発生したことを検知した時点で、フォーカスを合わすといった制御を開始することも可能となる。このようなことは、妨害の種類が判別できることで、行うことができるようになる制御である。
【０１５７】
図１９のフローチャートの説明に戻り、ステップＳ７１において、グローバルチェンジが検出された場合、ステップＳ７５に処理が進められる。ステップＳ７５において、輝度が同一方向に変化しているか否かが判定される。ステップＳ７５において、輝度が同一方向に変化していると判定された場合、ステップＳ７６に処理が進められる。ステップＳ７６において、デフォーカスが検出されたか否かが判定される。
【０１５８】
ステップＳ７６において、デフォーカスが検出されたと判定された場合、ステップＳ７７に処理が進められる。この場合、輝度が同一方向に変化するグローバルチェンジが検出され、デフォーカスが検出された状況である。このような状況は、監視カメラに布などが被せられた覆いという妨害が発生したと判定される。
【０１５９】
布などにより監視カメラが覆われた場合、輝度値が一様に変化する傾向にある。よって、グローバルチェンジ検出部４１により、輝度が同一方向に変化する異常が検出される。また、布などにより監視カメラが覆われた場合、監視カメラで撮像されている画像からエッジが無くなり（減少し）、エッジ強度が低下する可能性が高い。
【０１６０】
よって、グローバルチェンジ検出部４１とデフォーカス検出部４２のそれぞれで、異常ありとの検出結果が出力される。また、グローバルチェンジ検出部４１により、輝度が同一方向に変化する異常が検出されていれば、覆いの妨害が発生したと判定することができる。この場合も、妨害が発生したことを通知するだけでなく、その妨害が、覆いあることも通知することができるので、管理者が対処をとるまでの時間を短縮することが可能となる。
【０１６１】
また、通知する際、対処法が通知されるようにしても良い。例えば、このような覆いという妨害が検出されたときには、”覆い妨害が発生したので、被せられている布などを至急取り除いてください”といったメッセージが妨害発生の通知として通知されるようにしてもよい。また、妨害が発生したことが検出された監視カメラの付近を映し出せる他の監視カメラに映像が切り換えられるなどの対処がされるようにしてもよい。
【０１６２】
一方、ステップＳ７６において、デフォーカスは検出されていないと判定された場合、ステップＳ７８に処理が進められる。この場合、輝度が同一方向に変化するグローバルチェンジが検出されたが、デフォーカスは検出されていない状況である。このような状況は、監視カメラの方向が他の方向にされた首ふりという妨害が発生したと判定される。
【０１６３】
首振りの場合、監視カメラの方向が変えられるため、撮像される画像が、首振りの前後で異なる。よって、輝度値が変化するので、グローバルチェンジ検出部４１により妨害が発生しと検出される。しかしながら、首振り後に監視カメラで撮像される画像も、ピントが合っている状態であるとエッジ強度の変化が小さく、デフォーカス検出部４２で妨害が検出されないことも有る。このような場合であっても、グローバルチェンジ検出部４１とデフォーカス検出部４２を備えることで、グローバルチェンジ検出部４１で妨害を検出することができ、かつ、その妨害が首振りであると判定することができる。
【０１６４】
この場合も、妨害が発生したことを通知するだけでなく、その妨害が、首ふりであることも通知することができるので、管理者が対処をとるまでの時間を短縮することが可能となる。首振りの場合、監視カメラが設置されているところまで管理者が行って、正しい位置に直す、遠隔操作で、パンやチルトを制御できる機能を有する監視カメラであれば、遠隔操作で、正しい位置に直すといった対処がとられる。
【０１６５】
一方、ステップＳ７５において、輝度が同一方向に変化していないと判定された場合、換言すれば、輝度が複数方向に変化していると判定された場合、ステップＳ７９に処理が進められる。ステップＳ７９において、デフォーカスが検出されたか否かが判定される。ステップＳ７９において、デフォーカスが検出されたと判定された場合、ステップＳ８０に処理が進められる。
【０１６６】
この場合、輝度が複数方向に変化するグローバルチェンジが検出され、デフォーカスが検出された状況である。このような状況は、監視カメラのズームがずらされたズームずらしという妨害が発生したと判定される。監視カメラのズームがずらされると、撮像される画像が変化するため、輝度値が変化する可能性が高い。しかしながら、布などで監視カメラが覆われた場合と異なり、一様に輝度値が変化する可能性は低い。よって、グローバルチェンジ検出部４１においては、輝度値が複数方向に変化する異常が検出される。
【０１６７】
また、監視カメラのズームがずらされ、撮像される画像が変化することで、エッジ強度も変化する可能性が高い。よって、デフォーカス検出部４２でも異常が検出される。このようなときには、ズームずらしの妨害が発生したと判定される。
【０１６８】
この場合も、妨害が発生したことを通知するだけでなく、その妨害が、ズームずらしであることも通知することができるので、管理者が対処をとるまでの時間を短縮することが可能となる。管理者は、監視カメラが設置されているところまで行って、正しいズーム位置に直す、遠隔操作で、ズームを制御できる機能を有する監視カメラであれば、遠隔操作で、正しいズーム位置に直すといった対処がとられる。
【０１６９】
一方、ステップＳ７９において、デフォーカスは検出されていない判定された場合、ステップＳ７８に処理が進められる。この場合、輝度が複数方向に変化するグローバルチェンジが検出されたが、デフォーカスは検出されていない状況である。このような状況は、監視カメラの方向が他の方向にされた首ふりという妨害が発生したと判定される。
【０１７０】
この場合も、妨害が発生したことを通知するだけでなく、その妨害が、首ふりであることも通知することができるので、管理者が対処をとるまでの時間を短縮することが可能となる。
【０１７１】
このように、グローバルチェンジ検出部４１からの検出結果と、デフォーカス検出部４２からの検出結果を統合することで、監視カメラに対する妨害が発生したことを検出することができるだけでなく、その妨害が、どのような妨害であるのか、妨害の種類までも検出することが可能となる。また、グローバルチェンジ検出部４１とデフォーカス検出部４２で、それぞれ妨害を検出するので、検出漏れや誤検出を低減させることが可能となる。
【０１７２】
妨害の種類を検出することが可能となることで、妨害の種類も管理者に通知することができるようになり、管理者が、妨害に対する対処を取りやすくなる。妨害の種類によっては、監視カメラ側で妨害を除去できる場合もある。このような場合、妨害の種類がわかることで、監視カメラ自体が、その妨害を除去できるか否かを判定し、除去できるときには、管理者の指示を待たずに、妨害の除去を開始することが可能となる。
【０１７３】
また、上述した実施の形態においては、グローバルチェンジ検出部４１とデフォーカス検出部４２は、それぞれ、１画像を複数の領域に分割し、領域毎に、妨害が発生した可能性があるか否かを判定し、領域毎の判定結果を用いて１画像における妨害が発生したか否かの判定を行うようにした。よって、例えば、一部の領域に極端にエッジ強度が強い領域があるような画像であっても、その領域に依存することなく、妨害の検知を行うことが可能となる。すなわち、より精度良く妨害の検知を行うことが可能となる。
【０１７４】
［記録媒体について］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１７５】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１７６】
コンピュータにおいて、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【０１７７】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０１７８】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１７９】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８０】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１８１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１８３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８４】
なお、本技術は以下のような構成も取ることができる。
【０１８５】
（１）
画像の画像データを取得する取得部と、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割部と、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定部と、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施すフィルタリング部と、
前記フィルタリング部からのフィルタリング結果が、所定の値より大きい画素をカウントするカウント部と、
前記カウント部によりカウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定する第１の判定部と、
前記第１の判定部により異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する第２の判定部と
を備える画像処理装置。
（２）
前記カウント部は、前記フィルタリング結果が、前記所定の値より大きい画素の数をカウントした画素数と、前記フィルタリング結果が、前記所定の値以上であると判定された画素の値を加算した累積値を前記画素数で除算した平均値を算出し、
前記第１の判定部は、前記画素数が所定の値より小さいか否かの第１の判定と、前記平均値が所定の値より小さいか否かの第２の判定を行い、前記第１の判定と前記第２の判定の論理和を判定結果とする
前記（１）に記載の画像処理装置。
（３）
指定されたＭ個の前記ブロックの前記画像データのヒストグラムを生成するヒストグラム生成部と、
生成された前記ヒストグラムを順次更新して保存するヒストグラム保存部と、
生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定部と、
前記ヒストグラムの正規化を行うか否かを判定する正規化判定部と、
前記正規化判定部において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化部と
をさらに備え、
前記変化判定部は、前記正規化部により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定し、変化があったと判定した場合、妨害があったと判定する
前記（１）または前記（２）のいずれかに記載の画像処理装置。
（４）
前記第２の判定部による判定結果と、前記変化判定部による判定結果を統合し、前記妨害の種類を判定する
前記（３）に記載の画像処理装置。
（５）
画像の画像データを取得し、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、
フィルタリング結果が、所定の値より大きい画素をカウントし、
カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、
異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する
ステップを含む画像処理方法。
（６）
コンピュータに、
画像の画像データを取得し、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、
フィルタリング結果が、所定の値より大きい画素をカウントし、
カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、
異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
【符号の説明】
【０１８６】
１１ 画像処理装置， ２１ 取得部， ２２ 画像処理部， ３１ 撮像信号処理部， ３２ データ保存部， ３３ 画像解析部， ４１ グローバルチェンジ検出部， ４２ デフォーカス検出部， ４３ 検出結果統合部， ６１ 更新領域選択部， ６２ ヒストグラム保存部， ６３ 画像分割部， ６４ ヒストグラム生成部， ６５ 正規化処理部， ６６ 変化判定部， ６７ 変化領域保存部， ６８ カウンタ部， ６９ 閾値判定部， ７１ 類似度演算部， ７２ 閾値判定部， ８１ 正規化判定部， ８２ 正規化値算出部， ８３ 平均値保存部， ８４ 正規化部， １０１ 更新領域選択部， １０２ 画像分割部， １０３ 異常領域検出部， １０４ 高周波フィルタ， １０５異常判定部， １０６ エッジ強度カウンタ， １０７ 閾値判定部， １０８ 異常領域保存部， １０９ 妨害判定部， １１０ カウンタ部， １１１ 閾値判定部
【特許請求の範囲】
【請求項１】
画像の画像データを取得する取得部と、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割部と、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定部と、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施すフィルタリング部と、
前記フィルタリング部からのフィルタリング結果が、所定の値より大きい画素をカウントするカウント部と、
前記カウント部によりカウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定する第１の判定部と、
前記第１の判定部により異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する第２の判定部と
を備える画像処理装置。
【請求項２】
前記カウント部は、前記フィルタリング結果が、前記所定の値より大きい画素の数をカウントした画素数と、前記フィルタリング結果が、前記所定の値以上であると判定された画素の値を加算した累積値を前記画素数で除算した平均値を算出し、
前記第１の判定部は、前記画素数が所定の値より小さいか否かの第１の判定と、前記平均値が所定の値より小さいか否かの第２の判定を行い、前記第１の判定と前記第２の判定の論理和を判定結果とする
請求項１に記載の画像処理装置。
【請求項３】
指定されたＭ個の前記ブロックの前記画像データのヒストグラムを生成するヒストグラム生成部と、
生成された前記ヒストグラムを順次更新して保存するヒストグラム保存部と、
生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定部と、
前記ヒストグラムの正規化を行うか否かを判定する正規化判定部と、
前記正規化判定部において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化部と
をさらに備え、
前記変化判定部は、前記正規化部により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定し、変化があったと判定した場合、妨害があったと判定する
請求項１に記載の画像処理装置。
【請求項４】
前記第２の判定部による判定結果と、前記変化判定部による判定結果を統合し、前記妨害の種類を判定する
請求項３に記載の画像処理装置。
【請求項５】
画像の画像データを取得し、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、
フィルタリング結果が、所定の値より大きい画素をカウントし、
カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、
異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する
ステップを含む画像処理方法。
【請求項６】
コンピュータに、
画像の画像データを取得し、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、
フィルタリング結果が、所定の値より大きい画素をカウントし、
カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、
異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
【請求項１】
画像の画像データを取得する取得部と、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割部と、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定部と、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施すフィルタリング部と、
前記フィルタリング部からのフィルタリング結果が、所定の値より大きい画素をカウントするカウント部と、
前記カウント部によりカウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定する第１の判定部と、
前記第１の判定部により異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する第２の判定部と
を備える画像処理装置。
【請求項２】
前記カウント部は、前記フィルタリング結果が、前記所定の値より大きい画素の数をカウントした画素数と、前記フィルタリング結果が、前記所定の値以上であると判定された画素の値を加算した累積値を前記画素数で除算した平均値を算出し、
前記第１の判定部は、前記画素数が所定の値より小さいか否かの第１の判定と、前記平均値が所定の値より小さいか否かの第２の判定を行い、前記第１の判定と前記第２の判定の論理和を判定結果とする
請求項１に記載の画像処理装置。
【請求項３】
指定されたＭ個の前記ブロックの前記画像データのヒストグラムを生成するヒストグラム生成部と、
生成された前記ヒストグラムを順次更新して保存するヒストグラム保存部と、
生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定部と、
前記ヒストグラムの正規化を行うか否かを判定する正規化判定部と、
前記正規化判定部において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化部と
をさらに備え、
前記変化判定部は、前記正規化部により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定し、変化があったと判定した場合、妨害があったと判定する
請求項１に記載の画像処理装置。
【請求項４】
前記第２の判定部による判定結果と、前記変化判定部による判定結果を統合し、前記妨害の種類を判定する
請求項３に記載の画像処理装置。
【請求項５】
画像の画像データを取得し、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、
フィルタリング結果が、所定の値より大きい画素をカウントし、
カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、
異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する
ステップを含む画像処理方法。
【請求項６】
コンピュータに、
画像の画像データを取得し、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割し、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定し、
指定されたＭ個の前記ブロックの前記画像データに所定のフィルタによるフィルタリングを施し、
フィルタリング結果が、所定の値より大きい画素をカウントし、
カウントされた前記画素の数と所定の値を比較することで、前記ブロックに異常があるか否かを判定し、
異常があると判定された前記画像内のブロック数と所定の値を比較することで、妨害が発生したか否かを判定する
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−４１４００（Ｐ２０１３−４１４００Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７７５６９（Ｐ２０１１−１７７５６９）
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]