画像処理装置、画像処理方法、およびプログラム
【課題】画像の正規化による妨害行為の誤検出及び検出漏れを抑制することができるようにする。
【解決手段】取得された画像は画像分割部６３により分割され、更新領域選択部６１により更新対象として選択されたブロックのヒストグラムがヒストグラム生成部６４により生成される。ヒストグラム保存部６２は生成されたヒストグラムを順次更新して保存する。正規化処理部６５は、ヒストグラムを正規化するか否かを判定する。変化判定部６６は、ヒストグラム生成部６４により生成されたヒストグラムと、ヒストグラム保存部６２に保存されている過去のヒストグラムの類似度を演算し、その演算結果に基づいて、取得された画像の変化を判定する。本発明は、例えば、監視システムに適用できる。
【解決手段】取得された画像は画像分割部６３により分割され、更新領域選択部６１により更新対象として選択されたブロックのヒストグラムがヒストグラム生成部６４により生成される。ヒストグラム保存部６２は生成されたヒストグラムを順次更新して保存する。正規化処理部６５は、ヒストグラムを正規化するか否かを判定する。変化判定部６６は、ヒストグラム生成部６４により生成されたヒストグラムと、ヒストグラム保存部６２に保存されている過去のヒストグラムの類似度を演算し、その演算結果に基づいて、取得された画像の変化を判定する。本発明は、例えば、監視システムに適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、画像の正規化による妨害行為の誤検出および検出漏れを抑制することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
所定の空間への人、動物などの侵入者を発見するために、監視カメラにより対象とされる空間を撮影し、撮影画像から侵入者を検知する監視システムが知られている。かかる監視システムは、監視カメラに布を被せる、監視カメラの向きを変える、監視カメラのレンズにスプレーをかける、などの妨害行為が行われると、監視ができなくなる。
【０００３】
そこで、監視カメラにより撮像された現在の画像と予め記憶されている参照画像の輝度値の差分を演算し、差分値が一定値以上である場合には、妨害行為があったと判定することが提案されている（例えば、特許文献１参照）。
【０００４】
図１は、監視カメラにより撮像された画像の更新を説明する図である。図１に示されるように、フレームＦ１乃至フレームＦ６が順次得られたとき、例えば１フレームおきに得られる画像が参照画像として記憶され、順次更新される。すなわち、この例の場合、フレームＦ１，Ｆ３，Ｆ５が参照画像として順次更新される。
【０００５】
妨害行為が存在しない場合、時間的に前の背景画像と時間的に後の背景画像とは同じであるので、輝度値の差分は小さい。これに対して、妨害行為により監視カメラの向きが変更された場合、時間的に前の背景画像と時間的に後の背景画像とは異なったものとなるので、輝度値の差分は大きくなる。
【０００６】
そこで、フレームＦ３が得られたとき、そのときの過去の画像である参照画像としてのフレームＦ１との輝度値の差分が演算される。同様に、フレームＦ５が得られたとき、そのときの過去の画像であるフレームＦ３の画像との輝度値の差分が演算される。大きな差分値が得られたとき、妨害行為があったと判定することができる。
【０００７】
ところで、監視カメラにより撮像された画像において、照明や天候の変化、あるいは監視カメラのAE（Automatic Exposure：自動露出）機能により、取得される画像全体の明るさ（輝度値）が変化する場合がある。この画像全体の明るさの変化による誤検出を防止するため、画像の輝度値のヒストグラムを正規化してから、画像を比較するようにしたものがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−７７５１７号公報
【特許文献２】特許３５０６９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、取得された画像に対して常に正規化を行うようにすると、逆に、正規化を行ったことにより、妨害行為を検出できなくなる場合がある。
【００１０】
図２は、正規化を行うことにより、妨害行為の誤検出を低減させることができる例を示している。
【００１１】
図２Aは、明るい服を着用している人が検出対象の空間に侵入し、撮像された画像の全体の明るさがAE機能により変化した例を示している。この例において、正規化を行わない場合、妨害行為の誤検出が発生する。即ち、明るい現在の画像を、参照画像としての背景が暗い画像と比較すると、監視システムは、背景の輝度値の変化を検出し、妨害行為と認識してしまう。従って、画像の正規化を行うことで、AE機能による背景の輝度値の変化を吸収し、妨害行為の誤検出を防ぐことができる。
【００１２】
図２Bは、照明（太陽光）が変化した例を示している。この例においても、正規化を行わないと、妨害行為の誤検出が発生するが、正規化を行うことで、妨害行為の誤検出を防ぐことができる。
【００１３】
図３は、正規化を行うことにより、妨害行為の検出漏れが発生する例であり、監視カメラの向きを変える、という妨害行為が行われた場合の画像の変化例を示している。
【００１４】
妨害行為の前後の画像では、撮像されるシーン（景色）は似ており、空は同一の明るさであるが、建物の明るさが、妨害行為前の画像（図３左側の画像）より、妨害行為後の画像（図３右側の画像）の方が暗くなっている。
【００１５】
このような例では、正規化を行わなければ、建物の明るさの変化を検出するため、妨害行為を検出することができる。一方、正規化を行った場合には、建物の明るさの違いが調整されるため、変化がないものとなり、妨害行為を検出しない可能性がある。即ち、正規化により、妨害行為の検出漏れが発生する可能性がある。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、画像の正規化による妨害行為の誤検出及び検出漏れを抑制することができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の一側面の画像処理装置は、画像の画像データを取得する取得手段と、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割手段と、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定手段と、指定されたＭ個の前記ブロックの前記画像データのヒストグラムを生成するヒストグラム生成手段と、生成された前記ヒストグラムを順次更新して保存するヒストグラム保存手段と、生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定手段と、前記ヒストグラムの正規化を行うか否かを判定する正規化判定手段と、前記正規化判定手段において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化手段とを備え、前記変化判定手段は、前記正規化手段により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する。
【００１８】
本発明の一側面の画像処理方法は、画像の画像データを取得する取得ステップと、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割ステップと、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定ステップと、取得された前記画像データのヒストグラムを生成するヒストグラム生成ステップと、生成された前記ヒストグラムを順次更新して保存するヒストグラム保存ステップと、生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定ステップと、前記ヒストグラムの正規化を行うか否かを判定する正規化判定ステップと、前記正規化判定ステップの処理において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化ステップとを含み、前記変化判定ステップの処理は、前記正規化ステップの処理により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する。
【００１９】
本発明の一側面のプログラムは、コンピュータに、画像の画像データを取得する取得ステップと、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割ステップと、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定ステップと、取得された前記画像データのヒストグラムを生成するヒストグラム生成ステップと、生成された前記ヒストグラムを順次更新して保存するヒストグラム保存ステップと、生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定ステップと、前記ヒストグラムの正規化を行うか否かを判定する正規化判定ステップと、前記正規化判定ステップの処理において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化ステップとを含み、前記変化判定ステップの処理は、前記正規化ステップの処理により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する処理を実行させる。
【００２０】
本発明の一側面においては、画像の画像データが取得され、取得された画像がＮ（Ｎ＞１）個のブロックに分割され、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックが、更新対象のブロックとして順次指定される。指定されたＭ個のブロックの画像データのヒストグラムが生成され、生成されたヒストグラムが順次更新されて保存される。そして、生成されたＭ個のブロックのヒストグラムと、保存されていた対応する過去のＭ個のブロックのヒストグラムの類似度に基づいて、取得された画像の変化が判定され、ヒストグラムの正規化を行うか否かが判定され、正規化を行うと判定された場合に、生成されたＭ個のブロックのヒストグラムか、または、保存されていた対応する過去のＭ個のブロックのヒストグラムのいずれか一方が正規化される。ヒストグラムの正規化が行われた場合には、正規化後のヒストグラムを用いた類似度に基づいて、取得された画像の変化が判定される。
【００２１】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００２２】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２３】
本発明の一側面によれば、画像の正規化による妨害行為の誤検出及び検出漏れを抑制することができる。
【図面の簡単な説明】
【００２４】
【図１】従来の画像の更新を説明する図である。
【図２】正規化の良い例を説明する図である。
【図３】正規化の悪い例を説明する図である。
【図４】本発明の画像処理装置の一実施の形態の構成を示すブロック図である。
【図５】妨害行為検出の原理を説明する図である。
【図６】画像解析部の詳細構成例を示すブロック図である。
【図７】正規化処理部の詳細構成例を示すブロック図である。
【図８】正規化判定部の処理を説明する図である。
【図９】正規化値算出部の処理を説明する図である。
【図１０】正規化部の処理を説明する図である。
【図１１】正規化部の処理を説明する図である。
【図１２】変化判定部の詳細構成例を示すブロック図である。
【図１３】変化判定部の処理を説明する図である。
【図１４】変化判定部の処理を説明する図である。
【図１５】妨害行為検出処理を説明するフローチャートである。
【図１６】更新するブロックの移動を説明する図である。
【図１７】正規化処理の詳細を説明するフローチャートである。
【図１８】更新するブロックの移動を説明する図である。
【図１９】更新の間隔を説明する図である。
【図２０】更新の間隔を説明する図である。
【図２１】更新の間隔を説明する図である。
【図２２】更新の間隔を説明する図である。
【図２３】移動体の移動とブロックの移動との関係を説明する図である。
【図２４】更新するブロックの移動順序を示す図である。
【図２５】ブロックの形状を示す図である。
【図２６】ブロックの形状を示す図である。
【発明を実施するための形態】
【００２５】
［画像処理装置の構成］
図４は、本発明の画像処理装置の一実施の形態の構成を示すブロック図である。
【００２６】
画像処理装置２１は、取得された画像に基づいて、監視カメラ（監視装置）に対する妨害行為を検出し、妨害行為が検出されたときアラームを出力する。画像処理装置２１は、取得部３１と画像処理部３２により構成されている。
【００２７】
画像の画像データを取得する取得手段としての取得部３１は、CMOS（Complementary Metal Oxide Semiconductor）センサ、ビデオカメラなどの撮像部を内蔵し、撮像部が監視する対象空間などの被写体を撮影することで得られた画像データを取得し、出力する。取得部３１はまた、ネットワークを介して外部から供給される画像データを取得することもできる。
【００２８】
画像処理部３２は、撮像信号処理部４１、データ保存部４２、および画像解析部４３により構成される。
【００２９】
撮像信号処理部４１は、取得部３１より得られた画像データに対して、黒レベル補正処理、ホワイトバランス処理、γ補正処理、色補正処理等の各種画像処理を施す。撮像信号処理部４１は、例えばDSP(Digital Signal Processor)により構成される。データ保存部４２は、撮像信号処理部４１により処理された画像データを保存する。データ保存部４２は、例えばRAM(Random Access Memory）により構成される。画像解析部４３は、撮像信号処理部４１より供給される現在の画像と、データ保存部４２より供給される過去の画像である参照画像を解析することにより、妨害行為を検出する。画像解析部４３は、例えばCPU（Central Processing Unit）により構成される。
【００３０】
［妨害行為検出の原理］
図５を参照して、画像処理装置２１が行う妨害行為検出の原理（概要）について説明する。本発明の一実施の形態においては、過去の画像PIと、現在の画像NIが変化領域検出部５１に入力される。変化領域検出部５１は、過去の画像PIと現在の画像NIのそれぞれを、所定の大きさのブロックに分割する。そして、ブロック毎に画素値のヒストグラムが演算される。過去の画像PIの所定の位置のブロックのヒストグラムと、現在の画像NIの対応する位置のブロックのヒストグラムの類似度が演算される。類似度が低いブロックは、変化領域VIとして検出される。
【００３１】
妨害判定部５２は、変化領域VIの数が多い場合、妨害行為があったと判定し、アラームを出力する。
【００３２】
［画像解析部４３の詳細構成］
図６は、画像解析部４３の詳細構成例を示すブロック図である。
【００３３】
画像解析部４３は、更新領域選択部６１、ヒストグラム保存部６２、画像分割部６３、ヒストグラム生成部６４、正規化処理部６５、変化判定部６６、変化領域保存部６７、カウンタ部６８、および閾値判定部６９により構成されている。
【００３４】
なお、図５の変化領域検出部５１は、図６のヒストグラム生成部６４、正規化処理部６５、および変化判定部６６に対応する。また、図５の妨害判定部５２は、図６のカウンタ部６８および閾値判定部６９に対応する。そして、図６のヒストグラム保存部６２は、図４のデータ保存部４２に対応する。図６に示す構成の全部または一部は、画像解析部４３ではなく、図４の撮像信号処理部４１またはデータ保存部４２に設けることもできる。
【００３５】
更新領域選択部６１は、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックを、更新するブロックとして順次指定する指定手段として機能する。この更新新領域選択部６１は、撮像信号処理部４１から供給されるデータから、取得部３１により取得された画像のフレーム番号を抽出し、更新するフレーム番号を決定する。さらに更新領域選択部６１は、更新するフレームの中の更新するブロックを決定する。
【００３６】
取得された画像をＮ（Ｎ＞１）個のブロックに分割する分割手段としての画像分割部６３は、撮像信号処理部４１から供給される画像データに基づく各フレームの画像のうち、更新領域選択部６１により指定されるフレームを複数のブロックに分割する。画像分割部６３はまた、分割されたブロックのうち、更新領域選択部６１により指定されるブロックの画像データを、ヒストグラム生成部６４に供給する。
【００３７】
取得された画像データのヒストグラムを生成するヒストグラム生成手段としてのヒストグラム生成部６４は、画像分割部６３から供給されたブロックのヒストグラムを生成する。なお、撮像信号処理部４１がヒストグラム生成機能を備える場合がある。その場合には、ヒストグラム生成部６４は撮像信号処理部４１内に設けることができる。
【００３８】
生成されたヒストグラムを順次更新して保存するヒストグラム保存手段としてのヒストグラム保存部６２は、更新領域選択部６１により更新領域として指定されるブロックのヒストグラムを更新する。すなわち、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムにより、既に記憶されている過去のフレームの対応するブロックのヒストグラムが書き換えられる。
【００３９】
正規化処理部６５は、ブロックのヒストグラムを必要に応じて正規化する。正規化処理部６５には、ヒストグラム生成部６４から、現在のフレームの更新対象のブロックのヒストグラムが供給される。また、正規化処理部６５には、ヒストグラム生成部６４から供給されたブロックに対応する過去のヒストグラムが、ヒストグラム保存部６２から供給される。正規化処理部６５は、ヒストグラム生成部６４から供給される現在のフレームの更新対象の各ブロックについてヒストグラムの正規化の要否を判断し、必要に応じて正規化する。なお、現在のフレームの更新対象のブロックのヒストグラムと、それに対応する過去のブロックのヒストグラムのどちらが正規化されるかは、ヒストグラムの状況に応じて判断される。
【００４０】
取得された画像の変化を判定する変化判定手段としての変化判定部６６は、生成された現在のヒストグラムと、保存されていた過去のヒストグラムの類似度に基づいて、変化判定処理を行う。すなわち、ヒストグラム生成部６４より供給される現在のフレームの更新対象のブロックのヒストグラムと、ヒストグラム保存部６２から供給される過去のフレームの対応するブロックのヒストグラムに基づいて、画像の変化が判定される。正規化処理部６５より供給される更新対象のブロックの過去と現在のヒストグラムは、正規化処理部６５で正規化が行われた場合には、正規化後のヒストグラムとなっている。
【００４１】
変化領域保存部６７は、変化判定部６６による判定結果を保存する。即ち、現在のフレームの更新対象のブロックの、過去のブロックに対する変化の有無が、新たな画像の画像データが取得される毎に、順次、変化領域保存部６７に保存される。
【００４２】
変化があったと判定されたブロックの数をカウントするカウント手段としてのカウンタ部６８には、変化判定部６６から、現在のフレームの更新対象のブロックの判定結果（変化の有無）が供給される。また、変化領域保存部６７からは、現在のフレームの更新対象のブロック以外のブロックの判定結果が、カウンタ部６８に供給される。カウンタ部６８は、変化判定部６６の出力と変化領域保存部６７の出力に基づいて、1つの監視中の画像中の変化があったブロックの数をカウントする。
【００４３】
カウントされた値をアラーム閾値と比較し、カウントされた値がアラーム閾値より大きいときアラームを出力するアラーム閾値判定手段としての閾値判定部６９は、カウンタ部６８によりカウントされたブロックの数を、予め決められている所定の閾値と比較する。カウントされたブロックの数が閾値より大きいとき、妨害行為が検出されたと判断し、検出信号が出力される。この検出信号は例えばアラームとすることができる。
【００４４】
［正規化処理部６５の詳細構成］
図７は、正規化処理部６５の詳細構成例を示すブロック図である。正規化処理部６５は、正規化判定部８１、正規化値算出部８２、平均値保存部８３、および正規化部８４により構成されている。
【００４５】
正規化判定部８１には、ヒストグラム生成部６４から、現在のフレームの更新対象のブロックのヒストグラムが供給され、ヒストグラム生成部６４から供給されたブロックに対応する過去のヒストグラムが、ヒストグラム保存部６２から供給される。以下では、適宜、現在のフレームの更新対象のブロックのヒストグラムを現在のヒストグラム、過去のフレームの対応するブロックのヒストグラムを過去のヒストグラムと称する。
【００４６】
正規化判定部８１は、現在のフレームの更新対象のブロックに対して正規化を行うか否かを判定する。正規化判定部８１は、正規化を行わない（行う必要がない）と判定した場合、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムを、そのまま変化判定部６６に供給する。正規化判定部８１は、正規化を行う（必要がある）と判定した場合、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムを、正規化値算出部８２に供給する。
【００４７】
正規化値算出部８２は、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムから、正規化に用いる正規化値を算出する。算出された正規化値は、更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムとともに、正規化部８４に供給される。
【００４８】
平均値保存部８３には、現在のフレームより前に計算された、更新対象のブロック以外のブロックの、ヒストグラムの平均値の変化の方向と変化率などが保存される。また、現在のフレームに対し正規化判定部８１および正規化値算出部８２で計算された同様の値も、次フレーム以降の処理のため、平均値保存部８３に供給され、保存（更新）される。平均値保存部８３に保存される値（ヒストグラムの平均値の変化の方向と変化率）の詳細については、図８と図９を参照して後述する。
【００４９】
正規化部８４は、正規化値算出部８２で算出された正規化値に基づいて、更新対象の各ブロックの現在のヒストグラムか、または、過去のヒストグラムのいずれか一方を正規化する。これにより、現在のヒストグラムと過去のヒストグラムとで、ブロックの明るさを補正したヒストグラムを生成することができる。正規化部８４は、正規化後の現在のヒストグラムと過去のヒストグラムを変化判定部６６に出力する。
【００５０】
［正規化判定部８１の処理］
図８を参照して、正規化判定部８１の処理について説明する。
【００５１】
正規化判定部８１には、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと、過去のヒストグラムが供給される。図８の例では、画像が１６個のブロックに分割され、斜線で示される４個のブロックが、現在のフレームでの更新対象のブロックを示している。
【００５２】
正規化判定部８１は、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出し、過去から現在への平均値の変化の方向が、増加、減少、または変動なし、のいずれであるかを判定する。例えば、過去と現在のヒストグラムの平均値の差（絶対値）が、所定の範囲TH以内であれば変動なし、所定の範囲THより大であれば、その変化の方向に応じて増加または減少とすることができる。
【００５３】
正規化判定部８１はまた、現在のフレームの更新対象ではないブロックについて、同様に判定したときの判定結果（変化の方向）を、平均値保存部８３から取得する。そして、正規化判定部８１は、画面全体の変化として、増加、減少、変動なし、のいずれであるかを判定する。例えば、画面全体のブロック数に対する増加（減少）のブロック数が、予め設定した所定の比率以上であれば、画面全体として増加（減少）の変化であると判定することができる。
【００５４】
図８右側の図は、プラス（＋）が付されたブロックは変化の方向が増加であるブロックを示し、マイナス（−）が付されたブロックは変化の方向が減少であるブロックを示している。無印のブロックは変動なしのブロックである。図８右側のフレームは、画面全体としては、増加の変化が見られたフレームと判定される。
【００５５】
画面全体として、ヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合、画面全体が明るくなった、または暗くなったことを意味する。この場合、AE機能や照明による画像全体の輝度の変化、もしくは、監視カメラが隠されるなどの妨害行為により、画面全体の輝度が変化したと考えられ、正規化を行った方がよい。一方、画面全体としてのヒストグラムの平均値の変化がない場合や、平均値の増加および減少に偏りが見られない場合には、正規化を行わない方がよい。このような場合には、画像に変化がない、画面の一部に動体が入るなどして変化した、または、監視カメラの向きを変えられるなどの妨害行為が行われたなどが考えられ、正規化することにより偶然ヒストグラムの形が一致する領域が多くなることがある。その結果、かえって妨害行為を検出できなくなる事態が考えられるので、これを防止するためである。
【００５６】
以上より、正規化判定部８１は、画面全体として、ヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合、正規化を行う必要があると判定する。一方、画面全体としてヒストグラムの平均値に変動がない場合や、平均値の増加および減少に偏りが見られない場合には、正規化を行う必要がないと判定する。
【００５７】
［正規化値算出部８２の処理］
図９を参照して、正規化値算出部８２の処理について説明する。
【００５８】
正規化値算出部８２は、画面全体のヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合に、画面全体で、どの程度変化したのかを表す変化の比率（以下、変化率という。）を求め、それを正規化値とする。
【００５９】
最初に、正規化値算出部８２は、各ブロックで、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出する。現在のフレームの更新対象の各ブロックについては、供給されるヒストグラムから平均値を算出する。現在のフレームの更新対象のブロック以外のブロックの現在と過去のヒストグラムの平均値は、既に計算されて保存されている平均値保存部８３から取得される。
【００６０】
次に、正規化値算出部８２は、画面全体のなかから有効領域を決定する。ここで、正規化判定部８１において画面全体の変化の方向が増加であると判定された場合には、ブロックの変化の方向が増加であるブロックの各領域が有効領域とされる。そして、正規化値算出部８２は、有効領域とされた各ブロックについて、現在のヒストグラムの平均値を、過去のヒストグラムの平均値で除算し、その結果を変化率とする。これにより、有効領域とされた各ブロックについて変化率が求まる。
【００６１】
なお、画面全体の変化の方向が増加であると判定された場合、ブロックの変化の方向が増加であるブロックの各領域が有効領域とされるが、増加率が所定値以上に大きい、換言すれば極端に明るくなったブロックも有効領域から除外される。変動なしのブロック、平均値の変化の方向が減少のブロック、極端に明るくなったブロックが有効領域から除外されるのは、そのブロックに、AE機能によって明るさが変化した原因の動体が存在する可能性が高いためである。
【００６２】
図９において、斜線が付されたブロックが有効領域とされたブロックを示している。
【００６３】
これに対して、正規化判定部８１において画面全体の変化の方向が減少であると判定された場合には、ブロックの変化の方向が減少であるブロックの各領域が有効領域とされる。そして、正規化値算出部８２は、有効領域とされた各ブロックについて、過去のヒストグラムの平均値を、現在のヒストグラムの平均値で除算し、その結果を変化率とする。これにより、画面全体の変化の方向が減少であると判定された場合も、有効領域とされた各ブロックについて変化率が求まる。
【００６４】
最後に、正規化値算出部８２は、有効領域とされた各ブロックについて求めた変化率の平均値を算出し、その結果を正規化値に決定する。
【００６５】
以上のように、有効領域を決定し、その変化率の平均値を求めることで、動体領域の影響を除外した画面全体の変化率を求め、正規化値とするので、後段の正規化部８４において、正規化を精度良く行うことができる。
【００６６】
［正規化部８４の処理］
図１０と図１１を参照して、正規化部８４の処理について説明する。
【００６７】
正規化部８４は、現在のフレームの更新対象のブロックの、現在と過去のヒストグラム間で、正規化値算出部８２で算出された正規化値を用いたストレッチングを行う。正規化判定部８１において画面全体の変化の方向が増加である、即ち、画面全体で明るくなったと判定された場合には、過去のヒストグラムを引き延ばし、逆に画面全体で暗くなったと判定された場合には、現在のヒストグラムを引き延ばすストレッチングが行われる。即ち、過去と現在のヒストグラムのうち、暗い側のヒストグラムがストレッチングされる。
【００６８】
図１０は、現在のフレームの更新対象のあるブロックの現在と過去のヒストグラムを示している。ヒストグラムの横軸は輝度、縦軸は度数（所定の範囲の輝度値を有する画素の個数）を示している。
【００６９】
図１０Ａに示される現在のヒストグラムの平均値は５で、面積は８である。一方、図１０Ｂに示される過去のヒストグラムの平均値は１０で、面積は８である。このような現在と過去のヒストグラムの関係は、例えば、同じ被写体で照明（太陽光）が暗くなった場合などのときに起こり得る。このような現在と過去のヒストグラムに対し、正規化を行わず変化の有無を判定すれば、ヒストグラムの重なりの程度で類似度を判定する変化判定部６６において、変化ありと判定される。しかし、単に照明によるヒストグラムの変化であるならば、変化ありの判定は誤判定である。
【００７０】
そこで、正規化部８４は、図１１に示すような、正規化値算出部８２で算出された正規化値を用いて現在のヒストグラムを引き延ばすストレッチングを行う。具体的には、正規化部８４は、現在のヒストグラムを正規化値で横軸方向（輝度方向）に引き延ばす。
【００７１】
図１１の例は、正規化値が「２」である場合の例である。ストレッチング前の輝度値は「４」、「５」、及び「６」しかないので、２倍すると、「８」、「１０」、及び「１２」のみとなるが、それ以外輝度値の度数についても、周辺の度数から補間して求められる。
【００７２】
ヒストグラムを引き延ばすと、ヒストグラムの面積が増えてしまうため、次に、正規化部８４は、正規化の前後で面積が同一となるようにヒストグラムの度数を調整する。図１１の例では、現在のヒストグラムのストレッチング後の面積が「１６」であり、ストレッチング前の面積が「８」であるので、ストレッチング後の現在のヒストグラムの各輝度値の度数が、「８／１６＝１／２倍」される。これにより、正規化後の現在のヒストグラムの面積は正規化前と同一の「８」となる。
【００７３】
以上のように、画面全体の変化の方向に応じて、現在または過去のヒストグラムが正規化される。そして、正規化後のヒストグラムが変化判定部６６に出力される。
【００７４】
［変化判定部６６の詳細構成］
図１２は、変化判定部６６の詳細構成例を示すブロック図である。変化判定部６６は、類似度演算部１１１と閾値判定部１１２により構成されている。
【００７５】
類似度演算部１１１は、現在と過去のヒストグラムの類似度を演算する類似度演算手段として機能する。即ち、類似度演算部１１１は、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムと、それに対応する過去のブロックのヒストグラムとの類似度を演算する。
【００７６】
類似度閾値判定手段としての閾値判定部１１２は、演算された類似度を類似度閾値と比較し、類似度が類似度閾値より大きいとき、ブロックの画像に変化があったと判定する。閾値判定部１１２は、ブロックの画像の変化についての判定結果（変化の有無）を、変化領域保存部６７およびカウンタ部６８（図６）に出力する。
【００７７】
［変化判定部６６の処理］
図１３と図１４を参照して、変化判定部６６が行う、ブロックの画像の変化の有無の判定について説明する。
【００７８】
図１３は、類似度演算部１１１に供給される現在のヒストグラムと過去のヒストグラムの例を示している。即ち、図１３Ａのヒストグラムh1は、現在のヒストグラムの例であり、図１３Ｂのヒストグラムh0は、過去のヒストグラムの例である。なお、横軸は輝度値に代表される画素値を表し、縦軸は所定の範囲の画素値を有する画素の個数（度数）を表している。
【００７９】
図１３に示すような現在のヒストグラムh1と過去のヒストグラムh0に対して、類似度演算部１１１において、インタセクションを用いた次式（１）により、類似度が演算される。
Ｄ＝Σmin(Ai,Bi) ・・・・・・・・（１）
【００８０】
式（１）のAi,Biは、それぞれ現在のヒストグラムh1の１つの画素値と、過去のヒストグラムh0の１つの画素値を表している。従って、式（１）によれば、各画素値において、画素の数値（画素値）が小さい方の和が求められる。この比較処理は、直近の過去のＮ（Ｎ＞１）フレームについて行われる。
【００８１】
図１４Ａに示されるように、現在のヒストグラムh1と過去のヒストグラムh0の殆どが重なっている場合、式（１）で演算される値Ｄは、大きくなる。それに対して、図１４Ｂに示されるように、現在のヒストグラムh1と過去のヒストグラムh0の重なりが少ない場合、値Ｄは小さくなる。即ち、式（１）の値Ｄは、類似度が高いとき大きくなり、類似度が低いとき小さくなる。
【００８２】
［妨害行為検出処理］
次に、図１５のフローチャートを参照して、画像処理装置２１による妨害行為検出処理について説明する。
【００８３】
初めに、ステップＳ１において、取得部３１はカメラ画像を取得する。すなわち撮像部が所定の監視対象を撮像しており、その撮像画像の画像データが取得される。
【００８４】
ステップＳ２において、画像分割部６３は、Ｎ個のブロックに画像を分割する。この実施の形態においては、画像データに基づく各フレームの画像が８×８個のブロックに分割される。
【００８５】
ステップＳ３において、更新領域選択部６１は、更新領域（更新対象のブロック）を選択する。すなわち、８×８個のブロックのうちの所定のＭ（Ｍ≦Ｎ）個のブロックが、更新対象のブロックとして選択される。この更新領域の選択について、図１６を参照して説明する。
【００８６】
図１６は、更新するブロックの移動を説明する図である。この実施の形態においては、Ｍ＝４とされ、８×８個のブロックが４×４個のブロックからなる４個のグループに区分される。そして、各グループから１個のブロックが選択されて、合計４個のブロックが更新対象のブロックとして選択される。具体的には、図１６Ａに示されるように、更新領域選択部６１は、最初のフレームの８×８個のブロックのうちの、１行目の最も左側に位置するブロックb11、最も右側に位置するブロックb18、８行目の最も左側に位置するブロックb81、最も右側に位置するブロックb88の４つのブロックを更新ブロックとして選択する。
【００８７】
なお、図１６において、上からｉ番目の行に位置し、左からｊ番目の列に位置するブロックを、bijのように表す。後述する図１９乃至図２６においても同様とする。
【００８８】
次の更新領域を選択するステップでは、図１６Ｂに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、ブロックb11の１つ右側に位置するブロックb12、ブロックb18の１つ左側に位置するブロックb17、８行目のブロックb81の１つ右側に位置するブロックb82、ブロックb88の１つ左側に位置するブロックb87の４つのブロックを更新ブロックとして選択する。
【００８９】
次の更新領域を選択するステップでは、図１６Ｃに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、１行目のブロックb12の１つ右側に位置するブロックb13、ブロックb17の１つ左側に位置するブロックb16、８行目のブロックb82の１つ右側に位置するブロックb83、ブロックb87の１つ左側に位置するブロックb86の４つのブロックを更新ブロックとして選択する。
【００９０】
次の更新領域を選択するステップでは、図１６Ｄに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、１行目のブロックb13の１つ右側に位置するブロックb14、ブロックb16の１つ左側に位置するブロックb15、８行目のブロックb83の１つ右側に位置するブロックb84、ブロックb86の１つ左側に位置するブロックb85の４つのブロックを更新ブロックとして選択する。
【００９１】
以上のようにして最上行と最下行におけるブロックの選択、移動が終了すると、次の更新領域を選択するステップでは、第２行目と第７行目とが選択される。そして図１６Ｅに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、２行目の最も左側に位置するブロックb21、最も右側に位置するブロックb28、７行目の最も左側に位置するブロックb71、最も右側に位置するブロックb78の４つのブロックを更新ブロックとして選択する。
【００９２】
次の更新領域を選択するステップでは、図１６Ｆに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、２行目のブロックb21の１つ右側に位置するブロックb22、ブロックb28の１つ左側に位置するブロックb27、７行目のブロックb71の１つ右側に位置するブロックb72、ブロックb78の１つ左側に位置するブロックb77の４つのブロックを更新ブロックとして選択する。
【００９３】
以下、同様の手順により、更新対象のブロックとして、１フレームにおいて４個のブロックが順次選択される。すなわち、左側半分の上側半分の領域においては、行内においては左から右方向に、そして行は上から下方向に順次選択される。右側半分の上側半分の領域においては、行内においては右から左方向に、そして行は上から下方向に順次選択される。左側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。右側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。
【００９４】
図１５に戻って、ステップＳ４において、ヒストグラム生成部６４は、更新領域のヒストグラムを生成する。
【００９５】
ステップＳ５において、ヒストグラム保存部６２は、ステップＳ４で生成されたヒストグラムを保存する。ヒストグラム保存部６２は、過去のデータをヒストグラムとして保存するので、例えば画素値などの画像データとして保存する場合に比べて、記憶容量を小さくし、低コスト化することができる。
【００９６】
ステップＳ６において、正規化処理部６５は、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムに基づいて正規化の要否を判断し、必要に応じて正規化する正規化処理を実行する。
【００９７】
ステップＳ７において、類似度演算部１１１は、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと、それに対応する過去のヒストグラムとの類似度を演算する。なお、ステップＳ６で正規化を行うと判断された場合には、正規化後のヒストグラムを用いて類似度が演算される。
【００９８】
ステップＳ８において、閾値判定部１１２は、現在のフレームの更新対象の各ブロックについて、変化領域であるか否かを判定する。すなわち、ステップＳ７で演算された類似度Ｄが、予め定められた所定の閾値Thdと比較される。類似度Ｄが閾値Thdより小さいとき、そのブロックは変化があった領域であると判定される。直近の過去のＮフレームのうち、類似度Ｄが閾値Thdより小さいフレームが１フレームでもあった場合、領域に変化があったと判定される。
【００９９】
ステップＳ９において、変化領域保存部６７は、現在のフレームの更新対象の各ブロックについて、判定結果を更新する。すなわち変化領域保存部６７は、ブロック毎に１フレーム分の判定結果（つまり、ブロック数分の判定結果）を保存しており、ステップＳ８での判定結果により古い判定結果を更新する。
【０１００】
ステップＳ１０において、カウンタ部６８は、全領域の変化領域数をカウントする。即ち、変化判定部６６からの、現在のフレームの更新対象のブロックの判定結果（変化の有無）と、変化領域保存部６７からの、現在のフレームの更新対象のブロック以外のブロックの判定結果とに基づいて、監視対象の画像のフレームを構成する６４個のブロック全体で、変化領域とされるブロックの数がカウントされる。
【０１０１】
ステップＳ１１において、閾値判定部６９は、カウントされた変化領域数が閾値より大きいかを判定する。より具体的には、ステップＳ１０でカウントされた変化領域とされたブロックの数が、予め定められている所定の閾値Thcと比較される。
【０１０２】
ステップＳ１１で、カウントされた変化領域数が閾値より大きいと判定された場合、処理はステップＳ１２に進み、閾値判定部６９は、妨害行為があったことを示すアラームなどの信号を出力する。
【０１０３】
一方、ステップＳ１１で、カウントされた変化領域数が閾値以下であると判定された場合、およびステップＳ１２の処理の後、妨害行為検出処理は終了する。
【０１０４】
以上の処理は、フレーム毎に実行される。
【０１０５】
［正規化処理の詳細］
図１７は、図１５のステップＳ６として実行される正規化処理の詳細なフローチャートである。
【０１０６】
この処理では、初めに、ステップＳ３１において、正規化判定部８１は、更新対象の各ブロックについて、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出する。
【０１０７】
ステップＳ３２において、正規化判定部８１は、更新対象の各ブロックについて、ヒストグラムの平均値の変化方向を判定する。即ち、正規化判定部８１は、更新対象の各ブロックについて、過去から現在へのヒストグラムの平均値の変化の方向が、増加、減少、または変動なし、のいずれであるかを判定する。
【０１０８】
ステップＳ３３において、正規化判定部８１は、画面全体について変化方向をカウントする。具体的には、正規化判定部８１は、更新対象ではないブロックについて同様に判定したときの判定結果を平均値保存部８３から取得し、更新対象の各ブロックの判定結果とともに、画面全体について、増加、減少、変動なし、のそれぞれのブロック数がカウントされる。
【０１０９】
ステップＳ３４において、正規化判定部８１は、画面全体として、増加または減少のどちらかに一定以上の偏りがあるかを判定する。
【０１１０】
ステップＳ３４で、増加および減少のいずれにも一定以上の偏りがないと判定された場合、処理はステップＳ３５に進み、正規化判定部８１は、更新対象の各ブロックの現在と過去のヒストグラムそれぞれを、そのまま変化判定部６６に出力する。
【０１１１】
一方、ステップＳ３４で、増加または減少のどちらかに一定以上の偏りがあると判定された場合、処理はステップＳ３６に進み、正規化判定部８１は、更新対象の各ブロックの現在と過去のヒストグラムそれぞれを正規化値算出部８２に供給する。そして、正規化値算出部８２は、画面全体から異常領域を除外した有効領域の各ブロックの変化率を算出する。より具体的には、更新対象の各ブロックについて、現在と過去のヒストグラムそれぞれの平均値が算出される。また、更新対象のブロック以外のブロックについては、現在と過去のヒストグラムそれぞれの平均値が平均値保存部８３から取得される。そして、画面全体の変化方向に応じて有効領域が決定され、有効領域とされた各ブロックについて過去のヒストグラムの平均値と現在のヒストグラムの平均値の一方を他方で除算することにより、有効領域の各ブロックの変化率が求められる。
【０１１２】
ステップＳ３７において、正規化値算出部８２は、有効領域とされた各ブロックについて求めた変化率の平均値を算出し、その結果を正規化値に決定する。
【０１１３】
ステップＳ３８において、正規化部８４は、ステップＳ３７で算出された正規化値を用いて、現在または過去のヒストグラムを引き延ばすストレッチングを行う。
【０１１４】
ステップＳ３９において、正規化部８４は、引き延ばしたヒストグラムに対し、正規化の前後で面積が同一となるように調整する。即ち、ストレッチング前後の面積倍率の逆数を、引き延ばしたヒストグラムの各輝度値の度数に乗算することで、正規化の前後で面積が同一となるように調整される。
【０１１５】
ステップＳ４０において、正規化部８４は、正規化後のヒストグラムを変化判定部６６に出力する。即ち、正規化部８４は、正規化された現在または過去のヒストグラムと残りの一方を、変化判定部６６に出力する。
【０１１６】
ステップＳ４０の処理後、または、ステップＳ３５の処理後、正規化処理は終了し、図１５の妨害行為検出処理に戻る。
【０１１７】
以上のように、正規化処理によれば、正規化を行うか否かを判断し、必要に応じてヒストグラムの正規化が行われる。具体的には、画面全体の変化の方向に増加または減少の一定以上の偏りがある場合に、ヒストグラムの正規化が行われる。これにより、AE機能や照明変化などに起因する、妨害行為の誤検出を抑制することができる。また、一律に全てのヒストグラムを正規化した場合に生じる妨害行為の検出漏れを抑制することができる。さらに、ヒストグラムを正規化する際には、正規化値として、変化の方向が画面全体の変化の方向と異なる領域を除外した変化率を算出することで、精度良く正規化を行うことができる。
【０１１８】
［ブロックの移動］
図１８は、更新するブロックの移動を説明する図である。同図に示されるように、この実施の形態の場合、更新されるブロックは、各フレーム毎に、横方向であって、左方向と右方向という異なる２つの方向に移動する。その結果、横方向の変化を敏感に検出することができる。その具体例が図１９と図２０に示されている。
【０１１９】
図１９は、妨害行為による撮像部の速い移動があった場合の更新の間隔を説明する図である。いま取得部３１の撮像部が妨害行為により、向きを速い速度で左方向に変えられたとする。この場合の画像の変化は次のようになる。すなわち、図１９の左側のフレームＦ５１のブロックｂ１１乃至ｂ８８には何も写っていない。フレームＦ５１から時間α後のフレームＦ５２は、図１９の中央に示されている。このフレームでは、ブロックb14,b15,b24,b25,b34,b35,b43〜b46,b53〜b56,b63〜b66,b72〜b77,b84,b85に１本の樹木の一部が写る。さらに時間α後のフレームＦ５３においては、図１９の右側に示されるように、ブロックb11〜b88のいずれにも樹木は写っていない。
【０１２０】
ブロック間の更新間隔は短い。例えばフレームＦ５１でブロックb13が更新された後、次のフレームＦ５２では右隣のブロックb14が更新される。同様に、図１６Ｃと図１６Ｄに示されているように、フレームＦ５１では、ブロックb16,b83,b86が更新された後、フレームＦ５２では、ブロックb15,b84,b85が更新される。フレームＦ５２においてブロックb14, b15,b84,b85が更新されるとき、直近のＮフレームの画像にフレームＦ５１も含まれるので、これらの更新対象のブロックが変化領域として検出される。従って、ブロックの画像の変化から、妨害行為による撮像部の速い移動を検出することができる。
【０１２１】
図２０は、遅い移動があった場合の更新の間隔を説明する図である。いま取得部３１の撮像部が妨害行為により、向きを遅い速度で左方向に変えられたとする。この場合の時間β毎のフレームＦ６１乃至Ｆ６３が示されている。フレームＦ６１では、ブロックb13,b14,b23,b24,b33,b34,b42〜b45,b52〜b55,b62〜b65,b71〜b76,b72〜b77,b83,b84に樹木の一部が写る。フレームＦ６２では、ブロックb14,b15,b24,b25,b34,b35,b43〜b46,b53〜b56,b63〜b66,b72〜b77,b84,b85に樹木の一部が写る。フレームＦ６３では、ブロックb15,b16,b25,b26,b35,b36,b44〜b47,b54〜b57,b64〜b67,b73〜b78,b85,b86に樹木の一部が写る。
【０１２２】
同じブロックの更新間隔は長い。６４個のブロックを４個ずつ更新する場合、同じブロックは１６（＝６４／４）フレーム毎に更新されることになる。例えばフレームＦ６１で更新されたブロックb13は１６フレーム後のフレームＦ６３で更新される。同様に、図１６Ｃに示されるように、ブロックb16,b83,b86が更新される。フレームＦ６３においてブロックb13,b16,b83,b86が更新されるとき、直近のＮフレームの画像にフレームＦ６１も含まれれば、これらの更新対象のブロックが変化領域として検出される。従って、ブロックの画像の変化から、妨害行為による撮像部の遅い移動を検出することができる。
【０１２３】
このように、速い移動を検出するには、ブロックを更新する間隔を短くし、遅い移動を検出するには同じブロックが更新される間隔を長くする必要がある。そしてヒストグラム保存部６２に保存するフレーム数Ｎは、同じ位置のブロックが更新されたフレームから、直前にブロックが更新されたフレームまでの数に設定される。
【０１２４】
［フレームの画像全体を更新する場合における画像の変化の検出］
参考のために、本実施の形態のようにブロック単位で更新するのではなく、１フレームの画像全体を更新する場合について説明すると次のようになる。
【０１２５】
図２１と図２２は、１フレームの画像全体を更新する場合における画像の更新の間隔を説明する図である。図２１は図１９に対応し、図２２は図２０に対応する。
【０１２６】
図２１は、取得部３１の撮像部が妨害行為により、向きを速い速度で左方向に変えられた場合の画像の変化を表している。図２１の左側のフレームＦ８１には何も写っていない。フレームＦ８１から時間α後のフレームＦ８２には、図２１の中央に示されているように、１本の樹木が写っている。さらに時間α後のフレームＦ８３においては、図２１の右側に示されるように、樹木は写っていない。
【０１２７】
図２２は、取得部３１の撮像部が妨害行為により、向きを遅い速度で左方向に変えられた場合の画像の変化を表している。図２２の左側のフレームＦ９１には画面の中央よりやや左側に１本の樹木が写っている。フレームＦ９１から時間α後のフレームＦ９２には、図２２の中央に示されているように、樹木が画面のほぼ中央に写っている。さらに時間α後のフレームＦ９３においては、図２２の右側に示されるように、樹木は画面の中央よりやや右側に写っている。
【０１２８】
図２１に示されるように、取得部３１の撮像部が妨害行為により、向きが速い速度で左方向に変えられた場合、フレームＦ８２を更新するとき、フレームＦ８２をフレームＦ８１と比較することで、またフレームＦ８３を更新するとき、フレームＦ８３をフレームＦ８２と比較することで、妨害行為を検出することができる。しかし、更新間隔を長くして、例えば、フレームＦ８３を更新するとき、フレームＦ８３をフレームＦ８１と比較すると、画像の変化を検出することができない。
【０１２９】
これに対して、図２２に示されるように、妨害行為の速度が遅い場合、フレームＦ９２を更新するとき、フレームＦ９２をフレームＦ９１と比較しても、画像の変化が検出できない。同様に、フレームＦ９３を更新するとき、フレームＦ９３をフレームＦ９２と比較しても、画像の変化が検出できない。フレームＦ９３をフレームＦ９１と比較しても、画像の変化が検出できない。つまり、画面内の樹木の位置がさらに右側に移動し、画面から少なくとも樹木の一部が外れるまで移動しないと、画像の変化を検出することができない。すなわち、遅い妨害行為を検出するには更新間隔を長くしなければならない。
【０１３０】
このように、フレーム全体を更新する場合、速い妨害行為を検出するには更新間隔を短くする必要があり、逆に遅い妨害行為を検出するには更新間隔を長くする必要があり、両方を検出することが困難である。この点、図１９と図２０に示されるように、本実施の形態は、ブロックを単位として更新するので、速い妨害行為と遅い妨害行為の両方を検出することが可能である。
【０１３１】
［ブロックの移動順序］
図２３は、移動体の移動とブロックの移動との関係を説明する図である。同図に示されるように、更新するブロックの移動方向が、常に画面の右から左方向であるとする。この場合、画面内で移動体Ｇがブロックの移動方向と同じ方向に、すなわち右から左方向に移動すると、ブロックb35で検出された移動体Ｇ１が、ブロックb33でも移動体Ｇ２として検出される。その結果、妨害行為に基づく画像の変化があったものとして誤検出が発生する。そこで更新する少なくとも２つのブロックの画像上の位置の変化の方向が、例えば図１８に示されるように、右方向と左方向など、異なる方向になるように指定することが好ましい。さらにランダムに変化させることもできる。
【０１３２】
図２４は、更新するブロックの移動順序を示す図である。この実施の形態においても、図１６および図１８の実施の形態と同様に、８×８個のブロックが４×４個のブロックからなる４個のグループに区分される。そして、各グループから１個のブロックが選択されて、合計４個のブロックが更新対象のブロックとして選択される。すなわち、左上、右上、左下、および右下の４個の４×４個のブロックのグループに区分され、各グループから１個のブロックが更新対象のブロックとして選択され、１回に４個のブロックが更新対象のブロックとされる。ただし、各グループにおいて１つのブロックを選択する規則が、図１６および図１８の実施の形態の場合と異なっている。
【０１３３】
図２４の実施の形態においては、各グループにおいては、４×４個のブロックのうち所定のものが、次のような規則に従って順番に更新対象として選択される。この規則を、図２４の左上のグループのブロックに基づいて説明する。他のグループにおいても同じ規則で更新対象のブロックが選択される。
【０１３４】
まず、４×４個のブロックが、次の規則に基づいて、４つのサブグループに区分される。
規則１ 各サブグループは、４×４個のブロックのうちの角のブロックを１個有する。
規則２ 同一のサブグループでは、各ブロックのｘ，ｙ座標が重ならない。
規則３ 各サブグループのブロックのうち、１つのペアだけが斜め方向に隣接する。
【０１３５】
図２４においてサブグループは、模様を付して表されている。同じ模様が付されたブロックが同じサブグループに属するブロックである。図２４の例では、番号１乃至４が付されたブロックが第１のサブグループを構成し、番号５乃至８が付されたブロックが第２のサブグループを構成する。さらに、番号９乃至１２が付されたブロックが第３のサブグループを構成し、番号１３乃至１６が付されたブロックが第４のサブグループを構成する。
【０１３６】
図２４の例では、上記規則１に基づき、第１乃至第４のサブグループは、それぞれ番号１，５，９，１３の角のブロックを有している。規則２に基づき、４×４個のブロックの各行には、異なるサブグループのブロックが１個ずつ配置される。また各列にも、異なるサブグループのブロックが１個ずつ配置される。規則３に基づき、第１のサブグループにおいては番号２，４のブロック、第２のサブグループにおいては番号６，８のブロック、第３のサブグループにおいては番号１０，１２のブロック、第４のサブグループにおいては番号１４，１６のブロックが、それぞれ斜め方向に隣接する。これにより同一のサブグループのブロックの最小の距離を長くすることができる。すなわち、同一のサブグループのブロックをできるだけ離間させることができる。
【０１３７】
規則４ 各サブグループの最も小さい番号のブロックは、４×４個の対角線上に位置する。
【０１３８】
図２４の例では、第１のサブグループ乃至第４のサブグループの最も小さい番号のブロック１，５，９，１３が、対角線上に位置している。
【０１３９】
同一のサブグループ内のブロックの更新の順番は、次の規則に従う。
規則５ ４×４個の角のブロックに最も小さい番号が割り当てられる。
規則６ 規則５で決定された番号のブロックからｘ座標が最も遠い位置のブロックに次の番号が割り当てられる。
規則７ 残った２個のブロックのうち、規則６で決定された番号のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号が割り当てられる。
規則８ 最後に残ったブロックに次の番号が割り当てられる。
【０１４０】
図２４の例において、規則５に基づいて、第１のサブグループでは、番号１乃至４のうち、最も小さい番号１が角に位置するブロックに割り当てられている。同様に、第２のサブグループでは、番号５乃至８のうち、最も小さい番号５が角に位置するブロックに割り当てられている。第３のサブグループでは、番号９乃至１２のうち、最も小さい番号９が角に位置するブロックに割り当てられている。第４のサブグループでは、番号１３乃至１６のうち、最も小さい番号１３が角に位置するブロックに割り当てられている。
【０１４１】
図２４の例において、規則６に基づいて、第１のサブグループでは、番号１のブロックからｘ座標が最も遠い位置のブロックに次の番号２が割り当てられている。同様に、第２のサブグループでは、番号５のブロックからｘ座標が最も遠い位置のブロックに次の番号６が割り当てられている。第３のサブグループでは、番号９のブロックからｘ座標が最も遠い位置のブロックに次の番号１０が割り当てられている。第４のサブグループでは、番号１３のブロックからｘ座標が最も遠い位置のブロックに次の番号１４が割り当てられている。
【０１４２】
図２４の例において、規則７に基づいて、第１のサブグループでは、残った２個のブロックのうち、規則６で決定された番号２のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号３が割り当てられている。第２のサブグループでは、残った２個のブロックのうち、規則６で決定された番号６のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号７が割り当てられている。第３のサブグループでは、残った２個のブロックのうち、規則６で決定された番号１０のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号１１が割り当てられている。第４のサブグループでは、残った２個のブロックのうち、規則６で決定された番号１４のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号１５が割り当てられている。
【０１４３】
図２４の例において、規則８に基づいて、第１のサブグループでは、最後に残ったブロックに次の番号４が割り当てられている。第２のサブグループでは、最後に残ったブロックに次の番号８が割り当てられている。第３のサブグループでは、最後に残ったブロックに次の番号１２が割り当てられている。第４のサブグループでは、最後に残ったブロックに次の番号１６が割り当てられている。
【０１４４】
以上のようにして、図２４の左上のグループの各ブロックに付した番号１乃至１６が、規則に基づいて決定され、各ブロックはこの番号の順番に更新対象とされる。４個のサブグループの所定のものが順番に選択され、選択された１つのサブグループで、４個のブロックのうち所定のものが順番に選択されている。これにより誤検出の発生が抑制される。また、この規則では、各ブロックのｘ座標、すなわち横方向の座標ができるだけ離れているブロックが先に選択されるように順番が決定される。従って、特に横方向に移動する移動体による誤検出を抑制することができる。
【０１４５】
規則６，７で、各ブロックのｙ座標、すなわち縦方向の座標ができるだけ離れているブロックが先に選択されるように順番を決定すれば、縦方向に移動する移動体による誤検出を抑制することができる。
【０１４６】
［ブロックの形状］
図１６に示す実施の形態においては、ブロックを横長の形状として、その長手方向、すなわち横方向に移動させるようにした。ブロックの形状を、移動方向と垂直な方向に長い形状にすることができる。換言すれば、ブロックをその長手方向と垂直な方向に移動させることができる。
【０１４７】
図２５は、ブロックの形状を示す図である。図２５においては、画面が上半分と下半分に区分され、それぞれが８個のブロックb11乃至b18,b21乃至b28に分割されている。その結果、各ブロックは縦長の形状とされている。そして更新時のブロックの移動方向は、長手方向と垂直な方向、すなわち横方向とされている。例えば撮像部が横方向にしか移動できないなどの理由で、妨害行為が横方向に限られる場合、横方向の移動のみが検出できればよい。そこで、図２５に示されるように、変化の方向に対して平行な辺より垂直な辺が長くなる形状のブロックとすることができる。
【０１４８】
図２６は、ブロックの形状を示す図である。図２６においては、画面が左半分と右半分に区分され、それぞれが８個のブロックb11乃至b81,b12乃至b82に分割されている。その結果、各ブロックは横長の形状とされている。そして更新時のブロックの移動方向は、長手方向と垂直な方向、すなわち縦方向とされている。例えば撮像部が縦方向にしか移動できないなどの理由で、妨害行為が縦方向に限られる場合、縦方向の移動のみが検出できればよい。そこで、図２６に示されるように、変化の方向に対して平行な辺より垂直な辺が長くなる形状のブロックとすることができる。
【０１４９】
[本発明のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
【０１５０】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５１】
このようなプログラムを含む記録媒体は、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVDを含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなる記録媒体により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROMや、ハードディスクなどで構成される。
【０１５２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５３】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１５４】
２１ 画像処理装置， ３１ 取得部， ３２ 画像処理部， ４１ 撮像信号処理部， ４２ データ保存部， ４３ 画像解析部， ６１ 更新領域選択部， ６２ ヒストグラム保存部， ６３ 画像分割部， ６４ ヒストグラム生成部， ６５ 正規化処理部， ６６ 変化判定部， ６７ 変化領域保存部， ６８ カウンタ部， ６９ 閾値判定部， ８１ 正規化判定部， ８２ 正規化値算出部， ８３ 平均値保存部， ８４ 正規化部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、画像の正規化による妨害行為の誤検出および検出漏れを抑制することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
所定の空間への人、動物などの侵入者を発見するために、監視カメラにより対象とされる空間を撮影し、撮影画像から侵入者を検知する監視システムが知られている。かかる監視システムは、監視カメラに布を被せる、監視カメラの向きを変える、監視カメラのレンズにスプレーをかける、などの妨害行為が行われると、監視ができなくなる。
【０００３】
そこで、監視カメラにより撮像された現在の画像と予め記憶されている参照画像の輝度値の差分を演算し、差分値が一定値以上である場合には、妨害行為があったと判定することが提案されている（例えば、特許文献１参照）。
【０００４】
図１は、監視カメラにより撮像された画像の更新を説明する図である。図１に示されるように、フレームＦ１乃至フレームＦ６が順次得られたとき、例えば１フレームおきに得られる画像が参照画像として記憶され、順次更新される。すなわち、この例の場合、フレームＦ１，Ｆ３，Ｆ５が参照画像として順次更新される。
【０００５】
妨害行為が存在しない場合、時間的に前の背景画像と時間的に後の背景画像とは同じであるので、輝度値の差分は小さい。これに対して、妨害行為により監視カメラの向きが変更された場合、時間的に前の背景画像と時間的に後の背景画像とは異なったものとなるので、輝度値の差分は大きくなる。
【０００６】
そこで、フレームＦ３が得られたとき、そのときの過去の画像である参照画像としてのフレームＦ１との輝度値の差分が演算される。同様に、フレームＦ５が得られたとき、そのときの過去の画像であるフレームＦ３の画像との輝度値の差分が演算される。大きな差分値が得られたとき、妨害行為があったと判定することができる。
【０００７】
ところで、監視カメラにより撮像された画像において、照明や天候の変化、あるいは監視カメラのAE（Automatic Exposure：自動露出）機能により、取得される画像全体の明るさ（輝度値）が変化する場合がある。この画像全体の明るさの変化による誤検出を防止するため、画像の輝度値のヒストグラムを正規化してから、画像を比較するようにしたものがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−７７５１７号公報
【特許文献２】特許３５０６９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、取得された画像に対して常に正規化を行うようにすると、逆に、正規化を行ったことにより、妨害行為を検出できなくなる場合がある。
【００１０】
図２は、正規化を行うことにより、妨害行為の誤検出を低減させることができる例を示している。
【００１１】
図２Aは、明るい服を着用している人が検出対象の空間に侵入し、撮像された画像の全体の明るさがAE機能により変化した例を示している。この例において、正規化を行わない場合、妨害行為の誤検出が発生する。即ち、明るい現在の画像を、参照画像としての背景が暗い画像と比較すると、監視システムは、背景の輝度値の変化を検出し、妨害行為と認識してしまう。従って、画像の正規化を行うことで、AE機能による背景の輝度値の変化を吸収し、妨害行為の誤検出を防ぐことができる。
【００１２】
図２Bは、照明（太陽光）が変化した例を示している。この例においても、正規化を行わないと、妨害行為の誤検出が発生するが、正規化を行うことで、妨害行為の誤検出を防ぐことができる。
【００１３】
図３は、正規化を行うことにより、妨害行為の検出漏れが発生する例であり、監視カメラの向きを変える、という妨害行為が行われた場合の画像の変化例を示している。
【００１４】
妨害行為の前後の画像では、撮像されるシーン（景色）は似ており、空は同一の明るさであるが、建物の明るさが、妨害行為前の画像（図３左側の画像）より、妨害行為後の画像（図３右側の画像）の方が暗くなっている。
【００１５】
このような例では、正規化を行わなければ、建物の明るさの変化を検出するため、妨害行為を検出することができる。一方、正規化を行った場合には、建物の明るさの違いが調整されるため、変化がないものとなり、妨害行為を検出しない可能性がある。即ち、正規化により、妨害行為の検出漏れが発生する可能性がある。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、画像の正規化による妨害行為の誤検出及び検出漏れを抑制することができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の一側面の画像処理装置は、画像の画像データを取得する取得手段と、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割手段と、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定手段と、指定されたＭ個の前記ブロックの前記画像データのヒストグラムを生成するヒストグラム生成手段と、生成された前記ヒストグラムを順次更新して保存するヒストグラム保存手段と、生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定手段と、前記ヒストグラムの正規化を行うか否かを判定する正規化判定手段と、前記正規化判定手段において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化手段とを備え、前記変化判定手段は、前記正規化手段により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する。
【００１８】
本発明の一側面の画像処理方法は、画像の画像データを取得する取得ステップと、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割ステップと、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定ステップと、取得された前記画像データのヒストグラムを生成するヒストグラム生成ステップと、生成された前記ヒストグラムを順次更新して保存するヒストグラム保存ステップと、生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定ステップと、前記ヒストグラムの正規化を行うか否かを判定する正規化判定ステップと、前記正規化判定ステップの処理において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化ステップとを含み、前記変化判定ステップの処理は、前記正規化ステップの処理により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する。
【００１９】
本発明の一側面のプログラムは、コンピュータに、画像の画像データを取得する取得ステップと、取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割ステップと、新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定ステップと、取得された前記画像データのヒストグラムを生成するヒストグラム生成ステップと、生成された前記ヒストグラムを順次更新して保存するヒストグラム保存ステップと、生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定ステップと、前記ヒストグラムの正規化を行うか否かを判定する正規化判定ステップと、前記正規化判定ステップの処理において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化ステップとを含み、前記変化判定ステップの処理は、前記正規化ステップの処理により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する処理を実行させる。
【００２０】
本発明の一側面においては、画像の画像データが取得され、取得された画像がＮ（Ｎ＞１）個のブロックに分割され、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックが、更新対象のブロックとして順次指定される。指定されたＭ個のブロックの画像データのヒストグラムが生成され、生成されたヒストグラムが順次更新されて保存される。そして、生成されたＭ個のブロックのヒストグラムと、保存されていた対応する過去のＭ個のブロックのヒストグラムの類似度に基づいて、取得された画像の変化が判定され、ヒストグラムの正規化を行うか否かが判定され、正規化を行うと判定された場合に、生成されたＭ個のブロックのヒストグラムか、または、保存されていた対応する過去のＭ個のブロックのヒストグラムのいずれか一方が正規化される。ヒストグラムの正規化が行われた場合には、正規化後のヒストグラムを用いた類似度に基づいて、取得された画像の変化が判定される。
【００２１】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００２２】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２３】
本発明の一側面によれば、画像の正規化による妨害行為の誤検出及び検出漏れを抑制することができる。
【図面の簡単な説明】
【００２４】
【図１】従来の画像の更新を説明する図である。
【図２】正規化の良い例を説明する図である。
【図３】正規化の悪い例を説明する図である。
【図４】本発明の画像処理装置の一実施の形態の構成を示すブロック図である。
【図５】妨害行為検出の原理を説明する図である。
【図６】画像解析部の詳細構成例を示すブロック図である。
【図７】正規化処理部の詳細構成例を示すブロック図である。
【図８】正規化判定部の処理を説明する図である。
【図９】正規化値算出部の処理を説明する図である。
【図１０】正規化部の処理を説明する図である。
【図１１】正規化部の処理を説明する図である。
【図１２】変化判定部の詳細構成例を示すブロック図である。
【図１３】変化判定部の処理を説明する図である。
【図１４】変化判定部の処理を説明する図である。
【図１５】妨害行為検出処理を説明するフローチャートである。
【図１６】更新するブロックの移動を説明する図である。
【図１７】正規化処理の詳細を説明するフローチャートである。
【図１８】更新するブロックの移動を説明する図である。
【図１９】更新の間隔を説明する図である。
【図２０】更新の間隔を説明する図である。
【図２１】更新の間隔を説明する図である。
【図２２】更新の間隔を説明する図である。
【図２３】移動体の移動とブロックの移動との関係を説明する図である。
【図２４】更新するブロックの移動順序を示す図である。
【図２５】ブロックの形状を示す図である。
【図２６】ブロックの形状を示す図である。
【発明を実施するための形態】
【００２５】
［画像処理装置の構成］
図４は、本発明の画像処理装置の一実施の形態の構成を示すブロック図である。
【００２６】
画像処理装置２１は、取得された画像に基づいて、監視カメラ（監視装置）に対する妨害行為を検出し、妨害行為が検出されたときアラームを出力する。画像処理装置２１は、取得部３１と画像処理部３２により構成されている。
【００２７】
画像の画像データを取得する取得手段としての取得部３１は、CMOS（Complementary Metal Oxide Semiconductor）センサ、ビデオカメラなどの撮像部を内蔵し、撮像部が監視する対象空間などの被写体を撮影することで得られた画像データを取得し、出力する。取得部３１はまた、ネットワークを介して外部から供給される画像データを取得することもできる。
【００２８】
画像処理部３２は、撮像信号処理部４１、データ保存部４２、および画像解析部４３により構成される。
【００２９】
撮像信号処理部４１は、取得部３１より得られた画像データに対して、黒レベル補正処理、ホワイトバランス処理、γ補正処理、色補正処理等の各種画像処理を施す。撮像信号処理部４１は、例えばDSP(Digital Signal Processor)により構成される。データ保存部４２は、撮像信号処理部４１により処理された画像データを保存する。データ保存部４２は、例えばRAM(Random Access Memory）により構成される。画像解析部４３は、撮像信号処理部４１より供給される現在の画像と、データ保存部４２より供給される過去の画像である参照画像を解析することにより、妨害行為を検出する。画像解析部４３は、例えばCPU（Central Processing Unit）により構成される。
【００３０】
［妨害行為検出の原理］
図５を参照して、画像処理装置２１が行う妨害行為検出の原理（概要）について説明する。本発明の一実施の形態においては、過去の画像PIと、現在の画像NIが変化領域検出部５１に入力される。変化領域検出部５１は、過去の画像PIと現在の画像NIのそれぞれを、所定の大きさのブロックに分割する。そして、ブロック毎に画素値のヒストグラムが演算される。過去の画像PIの所定の位置のブロックのヒストグラムと、現在の画像NIの対応する位置のブロックのヒストグラムの類似度が演算される。類似度が低いブロックは、変化領域VIとして検出される。
【００３１】
妨害判定部５２は、変化領域VIの数が多い場合、妨害行為があったと判定し、アラームを出力する。
【００３２】
［画像解析部４３の詳細構成］
図６は、画像解析部４３の詳細構成例を示すブロック図である。
【００３３】
画像解析部４３は、更新領域選択部６１、ヒストグラム保存部６２、画像分割部６３、ヒストグラム生成部６４、正規化処理部６５、変化判定部６６、変化領域保存部６７、カウンタ部６８、および閾値判定部６９により構成されている。
【００３４】
なお、図５の変化領域検出部５１は、図６のヒストグラム生成部６４、正規化処理部６５、および変化判定部６６に対応する。また、図５の妨害判定部５２は、図６のカウンタ部６８および閾値判定部６９に対応する。そして、図６のヒストグラム保存部６２は、図４のデータ保存部４２に対応する。図６に示す構成の全部または一部は、画像解析部４３ではなく、図４の撮像信号処理部４１またはデータ保存部４２に設けることもできる。
【００３５】
更新領域選択部６１は、新たな画像の画像データが取得される毎に、Ｎ個のブロックのうちのＭ（Ｎ≧Ｍ＞１）個のブロックを、更新するブロックとして順次指定する指定手段として機能する。この更新新領域選択部６１は、撮像信号処理部４１から供給されるデータから、取得部３１により取得された画像のフレーム番号を抽出し、更新するフレーム番号を決定する。さらに更新領域選択部６１は、更新するフレームの中の更新するブロックを決定する。
【００３６】
取得された画像をＮ（Ｎ＞１）個のブロックに分割する分割手段としての画像分割部６３は、撮像信号処理部４１から供給される画像データに基づく各フレームの画像のうち、更新領域選択部６１により指定されるフレームを複数のブロックに分割する。画像分割部６３はまた、分割されたブロックのうち、更新領域選択部６１により指定されるブロックの画像データを、ヒストグラム生成部６４に供給する。
【００３７】
取得された画像データのヒストグラムを生成するヒストグラム生成手段としてのヒストグラム生成部６４は、画像分割部６３から供給されたブロックのヒストグラムを生成する。なお、撮像信号処理部４１がヒストグラム生成機能を備える場合がある。その場合には、ヒストグラム生成部６４は撮像信号処理部４１内に設けることができる。
【００３８】
生成されたヒストグラムを順次更新して保存するヒストグラム保存手段としてのヒストグラム保存部６２は、更新領域選択部６１により更新領域として指定されるブロックのヒストグラムを更新する。すなわち、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムにより、既に記憶されている過去のフレームの対応するブロックのヒストグラムが書き換えられる。
【００３９】
正規化処理部６５は、ブロックのヒストグラムを必要に応じて正規化する。正規化処理部６５には、ヒストグラム生成部６４から、現在のフレームの更新対象のブロックのヒストグラムが供給される。また、正規化処理部６５には、ヒストグラム生成部６４から供給されたブロックに対応する過去のヒストグラムが、ヒストグラム保存部６２から供給される。正規化処理部６５は、ヒストグラム生成部６４から供給される現在のフレームの更新対象の各ブロックについてヒストグラムの正規化の要否を判断し、必要に応じて正規化する。なお、現在のフレームの更新対象のブロックのヒストグラムと、それに対応する過去のブロックのヒストグラムのどちらが正規化されるかは、ヒストグラムの状況に応じて判断される。
【００４０】
取得された画像の変化を判定する変化判定手段としての変化判定部６６は、生成された現在のヒストグラムと、保存されていた過去のヒストグラムの類似度に基づいて、変化判定処理を行う。すなわち、ヒストグラム生成部６４より供給される現在のフレームの更新対象のブロックのヒストグラムと、ヒストグラム保存部６２から供給される過去のフレームの対応するブロックのヒストグラムに基づいて、画像の変化が判定される。正規化処理部６５より供給される更新対象のブロックの過去と現在のヒストグラムは、正規化処理部６５で正規化が行われた場合には、正規化後のヒストグラムとなっている。
【００４１】
変化領域保存部６７は、変化判定部６６による判定結果を保存する。即ち、現在のフレームの更新対象のブロックの、過去のブロックに対する変化の有無が、新たな画像の画像データが取得される毎に、順次、変化領域保存部６７に保存される。
【００４２】
変化があったと判定されたブロックの数をカウントするカウント手段としてのカウンタ部６８には、変化判定部６６から、現在のフレームの更新対象のブロックの判定結果（変化の有無）が供給される。また、変化領域保存部６７からは、現在のフレームの更新対象のブロック以外のブロックの判定結果が、カウンタ部６８に供給される。カウンタ部６８は、変化判定部６６の出力と変化領域保存部６７の出力に基づいて、1つの監視中の画像中の変化があったブロックの数をカウントする。
【００４３】
カウントされた値をアラーム閾値と比較し、カウントされた値がアラーム閾値より大きいときアラームを出力するアラーム閾値判定手段としての閾値判定部６９は、カウンタ部６８によりカウントされたブロックの数を、予め決められている所定の閾値と比較する。カウントされたブロックの数が閾値より大きいとき、妨害行為が検出されたと判断し、検出信号が出力される。この検出信号は例えばアラームとすることができる。
【００４４】
［正規化処理部６５の詳細構成］
図７は、正規化処理部６５の詳細構成例を示すブロック図である。正規化処理部６５は、正規化判定部８１、正規化値算出部８２、平均値保存部８３、および正規化部８４により構成されている。
【００４５】
正規化判定部８１には、ヒストグラム生成部６４から、現在のフレームの更新対象のブロックのヒストグラムが供給され、ヒストグラム生成部６４から供給されたブロックに対応する過去のヒストグラムが、ヒストグラム保存部６２から供給される。以下では、適宜、現在のフレームの更新対象のブロックのヒストグラムを現在のヒストグラム、過去のフレームの対応するブロックのヒストグラムを過去のヒストグラムと称する。
【００４６】
正規化判定部８１は、現在のフレームの更新対象のブロックに対して正規化を行うか否かを判定する。正規化判定部８１は、正規化を行わない（行う必要がない）と判定した場合、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムを、そのまま変化判定部６６に供給する。正規化判定部８１は、正規化を行う（必要がある）と判定した場合、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムを、正規化値算出部８２に供給する。
【００４７】
正規化値算出部８２は、入力された更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムから、正規化に用いる正規化値を算出する。算出された正規化値は、更新対象の各ブロックの現在のヒストグラムと過去のヒストグラムとともに、正規化部８４に供給される。
【００４８】
平均値保存部８３には、現在のフレームより前に計算された、更新対象のブロック以外のブロックの、ヒストグラムの平均値の変化の方向と変化率などが保存される。また、現在のフレームに対し正規化判定部８１および正規化値算出部８２で計算された同様の値も、次フレーム以降の処理のため、平均値保存部８３に供給され、保存（更新）される。平均値保存部８３に保存される値（ヒストグラムの平均値の変化の方向と変化率）の詳細については、図８と図９を参照して後述する。
【００４９】
正規化部８４は、正規化値算出部８２で算出された正規化値に基づいて、更新対象の各ブロックの現在のヒストグラムか、または、過去のヒストグラムのいずれか一方を正規化する。これにより、現在のヒストグラムと過去のヒストグラムとで、ブロックの明るさを補正したヒストグラムを生成することができる。正規化部８４は、正規化後の現在のヒストグラムと過去のヒストグラムを変化判定部６６に出力する。
【００５０】
［正規化判定部８１の処理］
図８を参照して、正規化判定部８１の処理について説明する。
【００５１】
正規化判定部８１には、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと、過去のヒストグラムが供給される。図８の例では、画像が１６個のブロックに分割され、斜線で示される４個のブロックが、現在のフレームでの更新対象のブロックを示している。
【００５２】
正規化判定部８１は、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出し、過去から現在への平均値の変化の方向が、増加、減少、または変動なし、のいずれであるかを判定する。例えば、過去と現在のヒストグラムの平均値の差（絶対値）が、所定の範囲TH以内であれば変動なし、所定の範囲THより大であれば、その変化の方向に応じて増加または減少とすることができる。
【００５３】
正規化判定部８１はまた、現在のフレームの更新対象ではないブロックについて、同様に判定したときの判定結果（変化の方向）を、平均値保存部８３から取得する。そして、正規化判定部８１は、画面全体の変化として、増加、減少、変動なし、のいずれであるかを判定する。例えば、画面全体のブロック数に対する増加（減少）のブロック数が、予め設定した所定の比率以上であれば、画面全体として増加（減少）の変化であると判定することができる。
【００５４】
図８右側の図は、プラス（＋）が付されたブロックは変化の方向が増加であるブロックを示し、マイナス（−）が付されたブロックは変化の方向が減少であるブロックを示している。無印のブロックは変動なしのブロックである。図８右側のフレームは、画面全体としては、増加の変化が見られたフレームと判定される。
【００５５】
画面全体として、ヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合、画面全体が明るくなった、または暗くなったことを意味する。この場合、AE機能や照明による画像全体の輝度の変化、もしくは、監視カメラが隠されるなどの妨害行為により、画面全体の輝度が変化したと考えられ、正規化を行った方がよい。一方、画面全体としてのヒストグラムの平均値の変化がない場合や、平均値の増加および減少に偏りが見られない場合には、正規化を行わない方がよい。このような場合には、画像に変化がない、画面の一部に動体が入るなどして変化した、または、監視カメラの向きを変えられるなどの妨害行為が行われたなどが考えられ、正規化することにより偶然ヒストグラムの形が一致する領域が多くなることがある。その結果、かえって妨害行為を検出できなくなる事態が考えられるので、これを防止するためである。
【００５６】
以上より、正規化判定部８１は、画面全体として、ヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合、正規化を行う必要があると判定する。一方、画面全体としてヒストグラムの平均値に変動がない場合や、平均値の増加および減少に偏りが見られない場合には、正規化を行う必要がないと判定する。
【００５７】
［正規化値算出部８２の処理］
図９を参照して、正規化値算出部８２の処理について説明する。
【００５８】
正規化値算出部８２は、画面全体のヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合に、画面全体で、どの程度変化したのかを表す変化の比率（以下、変化率という。）を求め、それを正規化値とする。
【００５９】
最初に、正規化値算出部８２は、各ブロックで、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出する。現在のフレームの更新対象の各ブロックについては、供給されるヒストグラムから平均値を算出する。現在のフレームの更新対象のブロック以外のブロックの現在と過去のヒストグラムの平均値は、既に計算されて保存されている平均値保存部８３から取得される。
【００６０】
次に、正規化値算出部８２は、画面全体のなかから有効領域を決定する。ここで、正規化判定部８１において画面全体の変化の方向が増加であると判定された場合には、ブロックの変化の方向が増加であるブロックの各領域が有効領域とされる。そして、正規化値算出部８２は、有効領域とされた各ブロックについて、現在のヒストグラムの平均値を、過去のヒストグラムの平均値で除算し、その結果を変化率とする。これにより、有効領域とされた各ブロックについて変化率が求まる。
【００６１】
なお、画面全体の変化の方向が増加であると判定された場合、ブロックの変化の方向が増加であるブロックの各領域が有効領域とされるが、増加率が所定値以上に大きい、換言すれば極端に明るくなったブロックも有効領域から除外される。変動なしのブロック、平均値の変化の方向が減少のブロック、極端に明るくなったブロックが有効領域から除外されるのは、そのブロックに、AE機能によって明るさが変化した原因の動体が存在する可能性が高いためである。
【００６２】
図９において、斜線が付されたブロックが有効領域とされたブロックを示している。
【００６３】
これに対して、正規化判定部８１において画面全体の変化の方向が減少であると判定された場合には、ブロックの変化の方向が減少であるブロックの各領域が有効領域とされる。そして、正規化値算出部８２は、有効領域とされた各ブロックについて、過去のヒストグラムの平均値を、現在のヒストグラムの平均値で除算し、その結果を変化率とする。これにより、画面全体の変化の方向が減少であると判定された場合も、有効領域とされた各ブロックについて変化率が求まる。
【００６４】
最後に、正規化値算出部８２は、有効領域とされた各ブロックについて求めた変化率の平均値を算出し、その結果を正規化値に決定する。
【００６５】
以上のように、有効領域を決定し、その変化率の平均値を求めることで、動体領域の影響を除外した画面全体の変化率を求め、正規化値とするので、後段の正規化部８４において、正規化を精度良く行うことができる。
【００６６】
［正規化部８４の処理］
図１０と図１１を参照して、正規化部８４の処理について説明する。
【００６７】
正規化部８４は、現在のフレームの更新対象のブロックの、現在と過去のヒストグラム間で、正規化値算出部８２で算出された正規化値を用いたストレッチングを行う。正規化判定部８１において画面全体の変化の方向が増加である、即ち、画面全体で明るくなったと判定された場合には、過去のヒストグラムを引き延ばし、逆に画面全体で暗くなったと判定された場合には、現在のヒストグラムを引き延ばすストレッチングが行われる。即ち、過去と現在のヒストグラムのうち、暗い側のヒストグラムがストレッチングされる。
【００６８】
図１０は、現在のフレームの更新対象のあるブロックの現在と過去のヒストグラムを示している。ヒストグラムの横軸は輝度、縦軸は度数（所定の範囲の輝度値を有する画素の個数）を示している。
【００６９】
図１０Ａに示される現在のヒストグラムの平均値は５で、面積は８である。一方、図１０Ｂに示される過去のヒストグラムの平均値は１０で、面積は８である。このような現在と過去のヒストグラムの関係は、例えば、同じ被写体で照明（太陽光）が暗くなった場合などのときに起こり得る。このような現在と過去のヒストグラムに対し、正規化を行わず変化の有無を判定すれば、ヒストグラムの重なりの程度で類似度を判定する変化判定部６６において、変化ありと判定される。しかし、単に照明によるヒストグラムの変化であるならば、変化ありの判定は誤判定である。
【００７０】
そこで、正規化部８４は、図１１に示すような、正規化値算出部８２で算出された正規化値を用いて現在のヒストグラムを引き延ばすストレッチングを行う。具体的には、正規化部８４は、現在のヒストグラムを正規化値で横軸方向（輝度方向）に引き延ばす。
【００７１】
図１１の例は、正規化値が「２」である場合の例である。ストレッチング前の輝度値は「４」、「５」、及び「６」しかないので、２倍すると、「８」、「１０」、及び「１２」のみとなるが、それ以外輝度値の度数についても、周辺の度数から補間して求められる。
【００７２】
ヒストグラムを引き延ばすと、ヒストグラムの面積が増えてしまうため、次に、正規化部８４は、正規化の前後で面積が同一となるようにヒストグラムの度数を調整する。図１１の例では、現在のヒストグラムのストレッチング後の面積が「１６」であり、ストレッチング前の面積が「８」であるので、ストレッチング後の現在のヒストグラムの各輝度値の度数が、「８／１６＝１／２倍」される。これにより、正規化後の現在のヒストグラムの面積は正規化前と同一の「８」となる。
【００７３】
以上のように、画面全体の変化の方向に応じて、現在または過去のヒストグラムが正規化される。そして、正規化後のヒストグラムが変化判定部６６に出力される。
【００７４】
［変化判定部６６の詳細構成］
図１２は、変化判定部６６の詳細構成例を示すブロック図である。変化判定部６６は、類似度演算部１１１と閾値判定部１１２により構成されている。
【００７５】
類似度演算部１１１は、現在と過去のヒストグラムの類似度を演算する類似度演算手段として機能する。即ち、類似度演算部１１１は、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムと、それに対応する過去のブロックのヒストグラムとの類似度を演算する。
【００７６】
類似度閾値判定手段としての閾値判定部１１２は、演算された類似度を類似度閾値と比較し、類似度が類似度閾値より大きいとき、ブロックの画像に変化があったと判定する。閾値判定部１１２は、ブロックの画像の変化についての判定結果（変化の有無）を、変化領域保存部６７およびカウンタ部６８（図６）に出力する。
【００７７】
［変化判定部６６の処理］
図１３と図１４を参照して、変化判定部６６が行う、ブロックの画像の変化の有無の判定について説明する。
【００７８】
図１３は、類似度演算部１１１に供給される現在のヒストグラムと過去のヒストグラムの例を示している。即ち、図１３Ａのヒストグラムh1は、現在のヒストグラムの例であり、図１３Ｂのヒストグラムh0は、過去のヒストグラムの例である。なお、横軸は輝度値に代表される画素値を表し、縦軸は所定の範囲の画素値を有する画素の個数（度数）を表している。
【００７９】
図１３に示すような現在のヒストグラムh1と過去のヒストグラムh0に対して、類似度演算部１１１において、インタセクションを用いた次式（１）により、類似度が演算される。
Ｄ＝Σmin(Ai,Bi) ・・・・・・・・（１）
【００８０】
式（１）のAi,Biは、それぞれ現在のヒストグラムh1の１つの画素値と、過去のヒストグラムh0の１つの画素値を表している。従って、式（１）によれば、各画素値において、画素の数値（画素値）が小さい方の和が求められる。この比較処理は、直近の過去のＮ（Ｎ＞１）フレームについて行われる。
【００８１】
図１４Ａに示されるように、現在のヒストグラムh1と過去のヒストグラムh0の殆どが重なっている場合、式（１）で演算される値Ｄは、大きくなる。それに対して、図１４Ｂに示されるように、現在のヒストグラムh1と過去のヒストグラムh0の重なりが少ない場合、値Ｄは小さくなる。即ち、式（１）の値Ｄは、類似度が高いとき大きくなり、類似度が低いとき小さくなる。
【００８２】
［妨害行為検出処理］
次に、図１５のフローチャートを参照して、画像処理装置２１による妨害行為検出処理について説明する。
【００８３】
初めに、ステップＳ１において、取得部３１はカメラ画像を取得する。すなわち撮像部が所定の監視対象を撮像しており、その撮像画像の画像データが取得される。
【００８４】
ステップＳ２において、画像分割部６３は、Ｎ個のブロックに画像を分割する。この実施の形態においては、画像データに基づく各フレームの画像が８×８個のブロックに分割される。
【００８５】
ステップＳ３において、更新領域選択部６１は、更新領域（更新対象のブロック）を選択する。すなわち、８×８個のブロックのうちの所定のＭ（Ｍ≦Ｎ）個のブロックが、更新対象のブロックとして選択される。この更新領域の選択について、図１６を参照して説明する。
【００８６】
図１６は、更新するブロックの移動を説明する図である。この実施の形態においては、Ｍ＝４とされ、８×８個のブロックが４×４個のブロックからなる４個のグループに区分される。そして、各グループから１個のブロックが選択されて、合計４個のブロックが更新対象のブロックとして選択される。具体的には、図１６Ａに示されるように、更新領域選択部６１は、最初のフレームの８×８個のブロックのうちの、１行目の最も左側に位置するブロックb11、最も右側に位置するブロックb18、８行目の最も左側に位置するブロックb81、最も右側に位置するブロックb88の４つのブロックを更新ブロックとして選択する。
【００８７】
なお、図１６において、上からｉ番目の行に位置し、左からｊ番目の列に位置するブロックを、bijのように表す。後述する図１９乃至図２６においても同様とする。
【００８８】
次の更新領域を選択するステップでは、図１６Ｂに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、ブロックb11の１つ右側に位置するブロックb12、ブロックb18の１つ左側に位置するブロックb17、８行目のブロックb81の１つ右側に位置するブロックb82、ブロックb88の１つ左側に位置するブロックb87の４つのブロックを更新ブロックとして選択する。
【００８９】
次の更新領域を選択するステップでは、図１６Ｃに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、１行目のブロックb12の１つ右側に位置するブロックb13、ブロックb17の１つ左側に位置するブロックb16、８行目のブロックb82の１つ右側に位置するブロックb83、ブロックb87の１つ左側に位置するブロックb86の４つのブロックを更新ブロックとして選択する。
【００９０】
次の更新領域を選択するステップでは、図１６Ｄに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、１行目のブロックb13の１つ右側に位置するブロックb14、ブロックb16の１つ左側に位置するブロックb15、８行目のブロックb83の１つ右側に位置するブロックb84、ブロックb86の１つ左側に位置するブロックb85の４つのブロックを更新ブロックとして選択する。
【００９１】
以上のようにして最上行と最下行におけるブロックの選択、移動が終了すると、次の更新領域を選択するステップでは、第２行目と第７行目とが選択される。そして図１６Ｅに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、２行目の最も左側に位置するブロックb21、最も右側に位置するブロックb28、７行目の最も左側に位置するブロックb71、最も右側に位置するブロックb78の４つのブロックを更新ブロックとして選択する。
【００９２】
次の更新領域を選択するステップでは、図１６Ｆに示されるように、更新領域選択部６１は、次のフレームの８×８個のブロックのうちの、２行目のブロックb21の１つ右側に位置するブロックb22、ブロックb28の１つ左側に位置するブロックb27、７行目のブロックb71の１つ右側に位置するブロックb72、ブロックb78の１つ左側に位置するブロックb77の４つのブロックを更新ブロックとして選択する。
【００９３】
以下、同様の手順により、更新対象のブロックとして、１フレームにおいて４個のブロックが順次選択される。すなわち、左側半分の上側半分の領域においては、行内においては左から右方向に、そして行は上から下方向に順次選択される。右側半分の上側半分の領域においては、行内においては右から左方向に、そして行は上から下方向に順次選択される。左側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。右側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。
【００９４】
図１５に戻って、ステップＳ４において、ヒストグラム生成部６４は、更新領域のヒストグラムを生成する。
【００９５】
ステップＳ５において、ヒストグラム保存部６２は、ステップＳ４で生成されたヒストグラムを保存する。ヒストグラム保存部６２は、過去のデータをヒストグラムとして保存するので、例えば画素値などの画像データとして保存する場合に比べて、記憶容量を小さくし、低コスト化することができる。
【００９６】
ステップＳ６において、正規化処理部６５は、ヒストグラム生成部６４から供給される現在のフレームの更新対象のブロックのヒストグラムに基づいて正規化の要否を判断し、必要に応じて正規化する正規化処理を実行する。
【００９７】
ステップＳ７において、類似度演算部１１１は、現在のフレームの更新対象の各ブロックについて、現在のヒストグラムと、それに対応する過去のヒストグラムとの類似度を演算する。なお、ステップＳ６で正規化を行うと判断された場合には、正規化後のヒストグラムを用いて類似度が演算される。
【００９８】
ステップＳ８において、閾値判定部１１２は、現在のフレームの更新対象の各ブロックについて、変化領域であるか否かを判定する。すなわち、ステップＳ７で演算された類似度Ｄが、予め定められた所定の閾値Thdと比較される。類似度Ｄが閾値Thdより小さいとき、そのブロックは変化があった領域であると判定される。直近の過去のＮフレームのうち、類似度Ｄが閾値Thdより小さいフレームが１フレームでもあった場合、領域に変化があったと判定される。
【００９９】
ステップＳ９において、変化領域保存部６７は、現在のフレームの更新対象の各ブロックについて、判定結果を更新する。すなわち変化領域保存部６７は、ブロック毎に１フレーム分の判定結果（つまり、ブロック数分の判定結果）を保存しており、ステップＳ８での判定結果により古い判定結果を更新する。
【０１００】
ステップＳ１０において、カウンタ部６８は、全領域の変化領域数をカウントする。即ち、変化判定部６６からの、現在のフレームの更新対象のブロックの判定結果（変化の有無）と、変化領域保存部６７からの、現在のフレームの更新対象のブロック以外のブロックの判定結果とに基づいて、監視対象の画像のフレームを構成する６４個のブロック全体で、変化領域とされるブロックの数がカウントされる。
【０１０１】
ステップＳ１１において、閾値判定部６９は、カウントされた変化領域数が閾値より大きいかを判定する。より具体的には、ステップＳ１０でカウントされた変化領域とされたブロックの数が、予め定められている所定の閾値Thcと比較される。
【０１０２】
ステップＳ１１で、カウントされた変化領域数が閾値より大きいと判定された場合、処理はステップＳ１２に進み、閾値判定部６９は、妨害行為があったことを示すアラームなどの信号を出力する。
【０１０３】
一方、ステップＳ１１で、カウントされた変化領域数が閾値以下であると判定された場合、およびステップＳ１２の処理の後、妨害行為検出処理は終了する。
【０１０４】
以上の処理は、フレーム毎に実行される。
【０１０５】
［正規化処理の詳細］
図１７は、図１５のステップＳ６として実行される正規化処理の詳細なフローチャートである。
【０１０６】
この処理では、初めに、ステップＳ３１において、正規化判定部８１は、更新対象の各ブロックについて、現在のヒストグラムと過去のヒストグラムそれぞれの平均値を算出する。
【０１０７】
ステップＳ３２において、正規化判定部８１は、更新対象の各ブロックについて、ヒストグラムの平均値の変化方向を判定する。即ち、正規化判定部８１は、更新対象の各ブロックについて、過去から現在へのヒストグラムの平均値の変化の方向が、増加、減少、または変動なし、のいずれであるかを判定する。
【０１０８】
ステップＳ３３において、正規化判定部８１は、画面全体について変化方向をカウントする。具体的には、正規化判定部８１は、更新対象ではないブロックについて同様に判定したときの判定結果を平均値保存部８３から取得し、更新対象の各ブロックの判定結果とともに、画面全体について、増加、減少、変動なし、のそれぞれのブロック数がカウントされる。
【０１０９】
ステップＳ３４において、正規化判定部８１は、画面全体として、増加または減少のどちらかに一定以上の偏りがあるかを判定する。
【０１１０】
ステップＳ３４で、増加および減少のいずれにも一定以上の偏りがないと判定された場合、処理はステップＳ３５に進み、正規化判定部８１は、更新対象の各ブロックの現在と過去のヒストグラムそれぞれを、そのまま変化判定部６６に出力する。
【０１１１】
一方、ステップＳ３４で、増加または減少のどちらかに一定以上の偏りがあると判定された場合、処理はステップＳ３６に進み、正規化判定部８１は、更新対象の各ブロックの現在と過去のヒストグラムそれぞれを正規化値算出部８２に供給する。そして、正規化値算出部８２は、画面全体から異常領域を除外した有効領域の各ブロックの変化率を算出する。より具体的には、更新対象の各ブロックについて、現在と過去のヒストグラムそれぞれの平均値が算出される。また、更新対象のブロック以外のブロックについては、現在と過去のヒストグラムそれぞれの平均値が平均値保存部８３から取得される。そして、画面全体の変化方向に応じて有効領域が決定され、有効領域とされた各ブロックについて過去のヒストグラムの平均値と現在のヒストグラムの平均値の一方を他方で除算することにより、有効領域の各ブロックの変化率が求められる。
【０１１２】
ステップＳ３７において、正規化値算出部８２は、有効領域とされた各ブロックについて求めた変化率の平均値を算出し、その結果を正規化値に決定する。
【０１１３】
ステップＳ３８において、正規化部８４は、ステップＳ３７で算出された正規化値を用いて、現在または過去のヒストグラムを引き延ばすストレッチングを行う。
【０１１４】
ステップＳ３９において、正規化部８４は、引き延ばしたヒストグラムに対し、正規化の前後で面積が同一となるように調整する。即ち、ストレッチング前後の面積倍率の逆数を、引き延ばしたヒストグラムの各輝度値の度数に乗算することで、正規化の前後で面積が同一となるように調整される。
【０１１５】
ステップＳ４０において、正規化部８４は、正規化後のヒストグラムを変化判定部６６に出力する。即ち、正規化部８４は、正規化された現在または過去のヒストグラムと残りの一方を、変化判定部６６に出力する。
【０１１６】
ステップＳ４０の処理後、または、ステップＳ３５の処理後、正規化処理は終了し、図１５の妨害行為検出処理に戻る。
【０１１７】
以上のように、正規化処理によれば、正規化を行うか否かを判断し、必要に応じてヒストグラムの正規化が行われる。具体的には、画面全体の変化の方向に増加または減少の一定以上の偏りがある場合に、ヒストグラムの正規化が行われる。これにより、AE機能や照明変化などに起因する、妨害行為の誤検出を抑制することができる。また、一律に全てのヒストグラムを正規化した場合に生じる妨害行為の検出漏れを抑制することができる。さらに、ヒストグラムを正規化する際には、正規化値として、変化の方向が画面全体の変化の方向と異なる領域を除外した変化率を算出することで、精度良く正規化を行うことができる。
【０１１８】
［ブロックの移動］
図１８は、更新するブロックの移動を説明する図である。同図に示されるように、この実施の形態の場合、更新されるブロックは、各フレーム毎に、横方向であって、左方向と右方向という異なる２つの方向に移動する。その結果、横方向の変化を敏感に検出することができる。その具体例が図１９と図２０に示されている。
【０１１９】
図１９は、妨害行為による撮像部の速い移動があった場合の更新の間隔を説明する図である。いま取得部３１の撮像部が妨害行為により、向きを速い速度で左方向に変えられたとする。この場合の画像の変化は次のようになる。すなわち、図１９の左側のフレームＦ５１のブロックｂ１１乃至ｂ８８には何も写っていない。フレームＦ５１から時間α後のフレームＦ５２は、図１９の中央に示されている。このフレームでは、ブロックb14,b15,b24,b25,b34,b35,b43〜b46,b53〜b56,b63〜b66,b72〜b77,b84,b85に１本の樹木の一部が写る。さらに時間α後のフレームＦ５３においては、図１９の右側に示されるように、ブロックb11〜b88のいずれにも樹木は写っていない。
【０１２０】
ブロック間の更新間隔は短い。例えばフレームＦ５１でブロックb13が更新された後、次のフレームＦ５２では右隣のブロックb14が更新される。同様に、図１６Ｃと図１６Ｄに示されているように、フレームＦ５１では、ブロックb16,b83,b86が更新された後、フレームＦ５２では、ブロックb15,b84,b85が更新される。フレームＦ５２においてブロックb14, b15,b84,b85が更新されるとき、直近のＮフレームの画像にフレームＦ５１も含まれるので、これらの更新対象のブロックが変化領域として検出される。従って、ブロックの画像の変化から、妨害行為による撮像部の速い移動を検出することができる。
【０１２１】
図２０は、遅い移動があった場合の更新の間隔を説明する図である。いま取得部３１の撮像部が妨害行為により、向きを遅い速度で左方向に変えられたとする。この場合の時間β毎のフレームＦ６１乃至Ｆ６３が示されている。フレームＦ６１では、ブロックb13,b14,b23,b24,b33,b34,b42〜b45,b52〜b55,b62〜b65,b71〜b76,b72〜b77,b83,b84に樹木の一部が写る。フレームＦ６２では、ブロックb14,b15,b24,b25,b34,b35,b43〜b46,b53〜b56,b63〜b66,b72〜b77,b84,b85に樹木の一部が写る。フレームＦ６３では、ブロックb15,b16,b25,b26,b35,b36,b44〜b47,b54〜b57,b64〜b67,b73〜b78,b85,b86に樹木の一部が写る。
【０１２２】
同じブロックの更新間隔は長い。６４個のブロックを４個ずつ更新する場合、同じブロックは１６（＝６４／４）フレーム毎に更新されることになる。例えばフレームＦ６１で更新されたブロックb13は１６フレーム後のフレームＦ６３で更新される。同様に、図１６Ｃに示されるように、ブロックb16,b83,b86が更新される。フレームＦ６３においてブロックb13,b16,b83,b86が更新されるとき、直近のＮフレームの画像にフレームＦ６１も含まれれば、これらの更新対象のブロックが変化領域として検出される。従って、ブロックの画像の変化から、妨害行為による撮像部の遅い移動を検出することができる。
【０１２３】
このように、速い移動を検出するには、ブロックを更新する間隔を短くし、遅い移動を検出するには同じブロックが更新される間隔を長くする必要がある。そしてヒストグラム保存部６２に保存するフレーム数Ｎは、同じ位置のブロックが更新されたフレームから、直前にブロックが更新されたフレームまでの数に設定される。
【０１２４】
［フレームの画像全体を更新する場合における画像の変化の検出］
参考のために、本実施の形態のようにブロック単位で更新するのではなく、１フレームの画像全体を更新する場合について説明すると次のようになる。
【０１２５】
図２１と図２２は、１フレームの画像全体を更新する場合における画像の更新の間隔を説明する図である。図２１は図１９に対応し、図２２は図２０に対応する。
【０１２６】
図２１は、取得部３１の撮像部が妨害行為により、向きを速い速度で左方向に変えられた場合の画像の変化を表している。図２１の左側のフレームＦ８１には何も写っていない。フレームＦ８１から時間α後のフレームＦ８２には、図２１の中央に示されているように、１本の樹木が写っている。さらに時間α後のフレームＦ８３においては、図２１の右側に示されるように、樹木は写っていない。
【０１２７】
図２２は、取得部３１の撮像部が妨害行為により、向きを遅い速度で左方向に変えられた場合の画像の変化を表している。図２２の左側のフレームＦ９１には画面の中央よりやや左側に１本の樹木が写っている。フレームＦ９１から時間α後のフレームＦ９２には、図２２の中央に示されているように、樹木が画面のほぼ中央に写っている。さらに時間α後のフレームＦ９３においては、図２２の右側に示されるように、樹木は画面の中央よりやや右側に写っている。
【０１２８】
図２１に示されるように、取得部３１の撮像部が妨害行為により、向きが速い速度で左方向に変えられた場合、フレームＦ８２を更新するとき、フレームＦ８２をフレームＦ８１と比較することで、またフレームＦ８３を更新するとき、フレームＦ８３をフレームＦ８２と比較することで、妨害行為を検出することができる。しかし、更新間隔を長くして、例えば、フレームＦ８３を更新するとき、フレームＦ８３をフレームＦ８１と比較すると、画像の変化を検出することができない。
【０１２９】
これに対して、図２２に示されるように、妨害行為の速度が遅い場合、フレームＦ９２を更新するとき、フレームＦ９２をフレームＦ９１と比較しても、画像の変化が検出できない。同様に、フレームＦ９３を更新するとき、フレームＦ９３をフレームＦ９２と比較しても、画像の変化が検出できない。フレームＦ９３をフレームＦ９１と比較しても、画像の変化が検出できない。つまり、画面内の樹木の位置がさらに右側に移動し、画面から少なくとも樹木の一部が外れるまで移動しないと、画像の変化を検出することができない。すなわち、遅い妨害行為を検出するには更新間隔を長くしなければならない。
【０１３０】
このように、フレーム全体を更新する場合、速い妨害行為を検出するには更新間隔を短くする必要があり、逆に遅い妨害行為を検出するには更新間隔を長くする必要があり、両方を検出することが困難である。この点、図１９と図２０に示されるように、本実施の形態は、ブロックを単位として更新するので、速い妨害行為と遅い妨害行為の両方を検出することが可能である。
【０１３１】
［ブロックの移動順序］
図２３は、移動体の移動とブロックの移動との関係を説明する図である。同図に示されるように、更新するブロックの移動方向が、常に画面の右から左方向であるとする。この場合、画面内で移動体Ｇがブロックの移動方向と同じ方向に、すなわち右から左方向に移動すると、ブロックb35で検出された移動体Ｇ１が、ブロックb33でも移動体Ｇ２として検出される。その結果、妨害行為に基づく画像の変化があったものとして誤検出が発生する。そこで更新する少なくとも２つのブロックの画像上の位置の変化の方向が、例えば図１８に示されるように、右方向と左方向など、異なる方向になるように指定することが好ましい。さらにランダムに変化させることもできる。
【０１３２】
図２４は、更新するブロックの移動順序を示す図である。この実施の形態においても、図１６および図１８の実施の形態と同様に、８×８個のブロックが４×４個のブロックからなる４個のグループに区分される。そして、各グループから１個のブロックが選択されて、合計４個のブロックが更新対象のブロックとして選択される。すなわち、左上、右上、左下、および右下の４個の４×４個のブロックのグループに区分され、各グループから１個のブロックが更新対象のブロックとして選択され、１回に４個のブロックが更新対象のブロックとされる。ただし、各グループにおいて１つのブロックを選択する規則が、図１６および図１８の実施の形態の場合と異なっている。
【０１３３】
図２４の実施の形態においては、各グループにおいては、４×４個のブロックのうち所定のものが、次のような規則に従って順番に更新対象として選択される。この規則を、図２４の左上のグループのブロックに基づいて説明する。他のグループにおいても同じ規則で更新対象のブロックが選択される。
【０１３４】
まず、４×４個のブロックが、次の規則に基づいて、４つのサブグループに区分される。
規則１ 各サブグループは、４×４個のブロックのうちの角のブロックを１個有する。
規則２ 同一のサブグループでは、各ブロックのｘ，ｙ座標が重ならない。
規則３ 各サブグループのブロックのうち、１つのペアだけが斜め方向に隣接する。
【０１３５】
図２４においてサブグループは、模様を付して表されている。同じ模様が付されたブロックが同じサブグループに属するブロックである。図２４の例では、番号１乃至４が付されたブロックが第１のサブグループを構成し、番号５乃至８が付されたブロックが第２のサブグループを構成する。さらに、番号９乃至１２が付されたブロックが第３のサブグループを構成し、番号１３乃至１６が付されたブロックが第４のサブグループを構成する。
【０１３６】
図２４の例では、上記規則１に基づき、第１乃至第４のサブグループは、それぞれ番号１，５，９，１３の角のブロックを有している。規則２に基づき、４×４個のブロックの各行には、異なるサブグループのブロックが１個ずつ配置される。また各列にも、異なるサブグループのブロックが１個ずつ配置される。規則３に基づき、第１のサブグループにおいては番号２，４のブロック、第２のサブグループにおいては番号６，８のブロック、第３のサブグループにおいては番号１０，１２のブロック、第４のサブグループにおいては番号１４，１６のブロックが、それぞれ斜め方向に隣接する。これにより同一のサブグループのブロックの最小の距離を長くすることができる。すなわち、同一のサブグループのブロックをできるだけ離間させることができる。
【０１３７】
規則４ 各サブグループの最も小さい番号のブロックは、４×４個の対角線上に位置する。
【０１３８】
図２４の例では、第１のサブグループ乃至第４のサブグループの最も小さい番号のブロック１，５，９，１３が、対角線上に位置している。
【０１３９】
同一のサブグループ内のブロックの更新の順番は、次の規則に従う。
規則５ ４×４個の角のブロックに最も小さい番号が割り当てられる。
規則６ 規則５で決定された番号のブロックからｘ座標が最も遠い位置のブロックに次の番号が割り当てられる。
規則７ 残った２個のブロックのうち、規則６で決定された番号のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号が割り当てられる。
規則８ 最後に残ったブロックに次の番号が割り当てられる。
【０１４０】
図２４の例において、規則５に基づいて、第１のサブグループでは、番号１乃至４のうち、最も小さい番号１が角に位置するブロックに割り当てられている。同様に、第２のサブグループでは、番号５乃至８のうち、最も小さい番号５が角に位置するブロックに割り当てられている。第３のサブグループでは、番号９乃至１２のうち、最も小さい番号９が角に位置するブロックに割り当てられている。第４のサブグループでは、番号１３乃至１６のうち、最も小さい番号１３が角に位置するブロックに割り当てられている。
【０１４１】
図２４の例において、規則６に基づいて、第１のサブグループでは、番号１のブロックからｘ座標が最も遠い位置のブロックに次の番号２が割り当てられている。同様に、第２のサブグループでは、番号５のブロックからｘ座標が最も遠い位置のブロックに次の番号６が割り当てられている。第３のサブグループでは、番号９のブロックからｘ座標が最も遠い位置のブロックに次の番号１０が割り当てられている。第４のサブグループでは、番号１３のブロックからｘ座標が最も遠い位置のブロックに次の番号１４が割り当てられている。
【０１４２】
図２４の例において、規則７に基づいて、第１のサブグループでは、残った２個のブロックのうち、規則６で決定された番号２のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号３が割り当てられている。第２のサブグループでは、残った２個のブロックのうち、規則６で決定された番号６のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号７が割り当てられている。第３のサブグループでは、残った２個のブロックのうち、規則６で決定された番号１０のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号１１が割り当てられている。第４のサブグループでは、残った２個のブロックのうち、規則６で決定された番号１４のブロックからｘ座標が最も遠い位置のブロックにさらに次の番号１５が割り当てられている。
【０１４３】
図２４の例において、規則８に基づいて、第１のサブグループでは、最後に残ったブロックに次の番号４が割り当てられている。第２のサブグループでは、最後に残ったブロックに次の番号８が割り当てられている。第３のサブグループでは、最後に残ったブロックに次の番号１２が割り当てられている。第４のサブグループでは、最後に残ったブロックに次の番号１６が割り当てられている。
【０１４４】
以上のようにして、図２４の左上のグループの各ブロックに付した番号１乃至１６が、規則に基づいて決定され、各ブロックはこの番号の順番に更新対象とされる。４個のサブグループの所定のものが順番に選択され、選択された１つのサブグループで、４個のブロックのうち所定のものが順番に選択されている。これにより誤検出の発生が抑制される。また、この規則では、各ブロックのｘ座標、すなわち横方向の座標ができるだけ離れているブロックが先に選択されるように順番が決定される。従って、特に横方向に移動する移動体による誤検出を抑制することができる。
【０１４５】
規則６，７で、各ブロックのｙ座標、すなわち縦方向の座標ができるだけ離れているブロックが先に選択されるように順番を決定すれば、縦方向に移動する移動体による誤検出を抑制することができる。
【０１４６】
［ブロックの形状］
図１６に示す実施の形態においては、ブロックを横長の形状として、その長手方向、すなわち横方向に移動させるようにした。ブロックの形状を、移動方向と垂直な方向に長い形状にすることができる。換言すれば、ブロックをその長手方向と垂直な方向に移動させることができる。
【０１４７】
図２５は、ブロックの形状を示す図である。図２５においては、画面が上半分と下半分に区分され、それぞれが８個のブロックb11乃至b18,b21乃至b28に分割されている。その結果、各ブロックは縦長の形状とされている。そして更新時のブロックの移動方向は、長手方向と垂直な方向、すなわち横方向とされている。例えば撮像部が横方向にしか移動できないなどの理由で、妨害行為が横方向に限られる場合、横方向の移動のみが検出できればよい。そこで、図２５に示されるように、変化の方向に対して平行な辺より垂直な辺が長くなる形状のブロックとすることができる。
【０１４８】
図２６は、ブロックの形状を示す図である。図２６においては、画面が左半分と右半分に区分され、それぞれが８個のブロックb11乃至b81,b12乃至b82に分割されている。その結果、各ブロックは横長の形状とされている。そして更新時のブロックの移動方向は、長手方向と垂直な方向、すなわち縦方向とされている。例えば撮像部が縦方向にしか移動できないなどの理由で、妨害行為が縦方向に限られる場合、縦方向の移動のみが検出できればよい。そこで、図２６に示されるように、変化の方向に対して平行な辺より垂直な辺が長くなる形状のブロックとすることができる。
【０１４９】
[本発明のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
【０１５０】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５１】
このようなプログラムを含む記録媒体は、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVDを含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなる記録媒体により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROMや、ハードディスクなどで構成される。
【０１５２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５３】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１５４】
２１ 画像処理装置， ３１ 取得部， ３２ 画像処理部， ４１ 撮像信号処理部， ４２ データ保存部， ４３ 画像解析部， ６１ 更新領域選択部， ６２ ヒストグラム保存部， ６３ 画像分割部， ６４ ヒストグラム生成部， ６５ 正規化処理部， ６６ 変化判定部， ６７ 変化領域保存部， ６８ カウンタ部， ６９ 閾値判定部， ８１ 正規化判定部， ８２ 正規化値算出部， ８３ 平均値保存部， ８４ 正規化部
【特許請求の範囲】
【請求項１】
画像の画像データを取得する取得手段と、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割手段と、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定手段と、
指定されたＭ個の前記ブロックの前記画像データのヒストグラムを生成するヒストグラム生成手段と、
生成された前記ヒストグラムを順次更新して保存するヒストグラム保存手段と、
生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定手段と、
前記ヒストグラムの正規化を行うか否かを判定する正規化判定手段と、
前記正規化判定手段において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化手段と
を備え、
前記変化判定手段は、前記正規化手段により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する
画像処理装置。
【請求項２】
前記正規化判定手段において正規化を行うと判定された場合に、ヒストグラムの正規化に用いる正規化値を算出する正規化値算出手段をさらに備え、
前記正規化手段は、前記正規化値算出手段により算出された前記正規化値に基づいて、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する
請求項１に記載の画像処理装置。
【請求項３】
前記正規化判定手段は、生成されたＭ個の各前記ブロックの前記ヒストグラムを、保存されていた対応する過去のＭ個の各前記ブロックの前記ヒストグラムと比較して、ヒストグラムの平均値の変化の方向が、増加、減少、または変動なしのいずれであるかを判定し、画面全体のヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合、正規化を行うと判定する
請求項２に記載の画像処理装置。
【請求項４】
前記正規化値算出手段は、前記画面全体のヒストグラムの平均値の変化の方向に対応する領域を有効領域に決定し、その有効領域とされた各ブロックの前記ヒストグラムの平均値の変化の比率の平均値を、前記正規化値として算出する
請求項３に記載の画像処理装置。
【請求項５】
生成されたＭ個の各前記ブロックの前記ヒストグラムを、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムと比較したときの、Ｍ個の各前記ブロックの前記ヒストグラムの平均値の変化の方向と変化の比率を保存する平均値保存手段をさらに備える
請求項４に記載の画像処理装置。
【請求項６】
前記正規化手段は、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を、前記正規化値算出手段により算出された前記正規化値に基づいて輝度方向にストレッチングした後、正規化の前後で面積が同一となるようにヒストグラムの度数を調整することにより、正規化する
請求項２に記載の画像処理装置。
【請求項７】
画像の画像データを取得する取得ステップと、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割ステップと、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定ステップと、
取得された前記画像データのヒストグラムを生成するヒストグラム生成ステップと、
生成された前記ヒストグラムを順次更新して保存するヒストグラム保存ステップと、
生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定ステップと、
前記ヒストグラムの正規化を行うか否かを判定する正規化判定ステップと、
前記正規化判定ステップの処理において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化ステップと
を含み、
前記変化判定ステップの処理は、前記正規化ステップの処理により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する
画像処理方法。
【請求項８】
コンピュータに、
画像の画像データを取得する取得ステップと、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割ステップと、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定ステップと、
取得された前記画像データのヒストグラムを生成するヒストグラム生成ステップと、
生成された前記ヒストグラムを順次更新して保存するヒストグラム保存ステップと、
生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定ステップと、
前記ヒストグラムの正規化を行うか否かを判定する正規化判定ステップと、
前記正規化判定ステップの処理において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化ステップと
を含み、
前記変化判定ステップの処理は、前記正規化ステップの処理により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する
処理を実行させるプログラム。
【請求項１】
画像の画像データを取得する取得手段と、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割手段と、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定手段と、
指定されたＭ個の前記ブロックの前記画像データのヒストグラムを生成するヒストグラム生成手段と、
生成された前記ヒストグラムを順次更新して保存するヒストグラム保存手段と、
生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定手段と、
前記ヒストグラムの正規化を行うか否かを判定する正規化判定手段と、
前記正規化判定手段において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化手段と
を備え、
前記変化判定手段は、前記正規化手段により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する
画像処理装置。
【請求項２】
前記正規化判定手段において正規化を行うと判定された場合に、ヒストグラムの正規化に用いる正規化値を算出する正規化値算出手段をさらに備え、
前記正規化手段は、前記正規化値算出手段により算出された前記正規化値に基づいて、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する
請求項１に記載の画像処理装置。
【請求項３】
前記正規化判定手段は、生成されたＭ個の各前記ブロックの前記ヒストグラムを、保存されていた対応する過去のＭ個の各前記ブロックの前記ヒストグラムと比較して、ヒストグラムの平均値の変化の方向が、増加、減少、または変動なしのいずれであるかを判定し、画面全体のヒストグラムの平均値の変化の方向が、増加または減少のどちらかに一定以上偏っている場合、正規化を行うと判定する
請求項２に記載の画像処理装置。
【請求項４】
前記正規化値算出手段は、前記画面全体のヒストグラムの平均値の変化の方向に対応する領域を有効領域に決定し、その有効領域とされた各ブロックの前記ヒストグラムの平均値の変化の比率の平均値を、前記正規化値として算出する
請求項３に記載の画像処理装置。
【請求項５】
生成されたＭ個の各前記ブロックの前記ヒストグラムを、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムと比較したときの、Ｍ個の各前記ブロックの前記ヒストグラムの平均値の変化の方向と変化の比率を保存する平均値保存手段をさらに備える
請求項４に記載の画像処理装置。
【請求項６】
前記正規化手段は、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を、前記正規化値算出手段により算出された前記正規化値に基づいて輝度方向にストレッチングした後、正規化の前後で面積が同一となるようにヒストグラムの度数を調整することにより、正規化する
請求項２に記載の画像処理装置。
【請求項７】
画像の画像データを取得する取得ステップと、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割ステップと、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定ステップと、
取得された前記画像データのヒストグラムを生成するヒストグラム生成ステップと、
生成された前記ヒストグラムを順次更新して保存するヒストグラム保存ステップと、
生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定ステップと、
前記ヒストグラムの正規化を行うか否かを判定する正規化判定ステップと、
前記正規化判定ステップの処理において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化ステップと
を含み、
前記変化判定ステップの処理は、前記正規化ステップの処理により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する
画像処理方法。
【請求項８】
コンピュータに、
画像の画像データを取得する取得ステップと、
取得された前記画像をＮ（Ｎ＞１）個のブロックに分割する分割ステップと、
新たな前記画像の前記画像データが取得される毎に、Ｎ個の前記ブロックのうちのＭ（Ｎ≧Ｍ＞１）個の前記ブロックを、更新対象の前記ブロックとして順次指定する指定ステップと、
取得された前記画像データのヒストグラムを生成するヒストグラム生成ステップと、
生成された前記ヒストグラムを順次更新して保存するヒストグラム保存ステップと、
生成されたＭ個の前記ブロックの前記ヒストグラムと、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムの類似度に基づいて、取得された前記画像の変化を判定する変化判定ステップと、
前記ヒストグラムの正規化を行うか否かを判定する正規化判定ステップと、
前記正規化判定ステップの処理において正規化を行うと判定された場合に、生成されたＭ個の前記ブロックの前記ヒストグラムか、または、保存されていた対応する過去のＭ個の前記ブロックの前記ヒストグラムのいずれか一方を正規化する正規化ステップと
を含み、
前記変化判定ステップの処理は、前記正規化ステップの処理により前記ヒストグラムの正規化が行われた場合、正規化後の前記ヒストグラムを用いた類似度に基づいて、取得された前記画像の変化を判定する
処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１２−１２８６２１（Ｐ２０１２−１２８６２１Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７８８９７（Ｐ２０１０−２７８８９７）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]