侵入物体検知装置
【課題】監視空間内での急激な照度変動が生じても、その照度変動を侵入物体として誤検出することを防止できる侵入物体検知装置を提供する。
【解決手段】侵入物体検知装置１は、監視空間を撮像して監視画像を生成する撮像部１０と、複数の監視画像の各画素における画素値の出現確率分布を表す背景モデル、及び背景モデルを代表する画素値を代表画素値として記憶する記憶部２３と、監視画像の注目画素の画素値を、注目画素に対応する背景モデルの代表画素値にて置換することにより合成背景画像を生成する背景合成部２４２と、監視画像の注目画素及び注目画素の近傍に位置する複数の画素を含む局所領域を設定し、局所領域における監視画像と局所領域における合成背景画像の相関値を注目画素の相関値として算出する相関値算出部２４３と、相関値が所定の閾値以下となる画素に基づいて監視空間に侵入物体が存在するか否かを判定する侵入物体検出部２４４とを有する。
【解決手段】侵入物体検知装置１は、監視空間を撮像して監視画像を生成する撮像部１０と、複数の監視画像の各画素における画素値の出現確率分布を表す背景モデル、及び背景モデルを代表する画素値を代表画素値として記憶する記憶部２３と、監視画像の注目画素の画素値を、注目画素に対応する背景モデルの代表画素値にて置換することにより合成背景画像を生成する背景合成部２４２と、監視画像の注目画素及び注目画素の近傍に位置する複数の画素を含む局所領域を設定し、局所領域における監視画像と局所領域における合成背景画像の相関値を注目画素の相関値として算出する相関値算出部２４３と、相関値が所定の閾値以下となる画素に基づいて監視空間に侵入物体が存在するか否かを判定する侵入物体検出部２４４とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視空間を撮影した監視画像からその監視空間への侵入物体を検知する侵入物体検知装置に関する。特に、監視画像内に、急激な照度変動が生じる屋外等の環境下で使用される侵入物体検知装置に関する。
【背景技術】
【０００２】
従来より、監視空間を撮影した監視画像から監視空間へ侵入する移動物体を検出するために、画素値の統計的な特徴量を用いて、背景と前景を切り分ける方法がある（例えば、特許文献１を参照）。このような方法では、例えば、過去に観測され、蓄積された監視画像内の各画素の画素値などの統計情報に基づいて作成された、「背景モデル」と呼ばれるモデルを使用する。背景モデルは、画素ごとに、「この画素はこの輝度となることが多い若しくは少ない」ということを表す各輝度の出現度合いの組からなる。そして、背景と前景の切り分けを行う画像における注目画素の画素値が、対応する背景モデルにおいて出現度合いが高ければ、その注目画素は背景であると判定され、出現度合いが低ければ、その注目画素は前景であると判定される。特許文献１には、画素ごとに過去の観測結果に基づく出現頻度を保持することで、背景の画素値の分布範囲を学習し、背景の画素値の分布範囲から外れる現フレームの画素を移動物体が写っている画素と判定する方法が開示されている。これにより、特許文献１に開示の技術は、屋外等において背景の明るさが緩やかに変化することで背景領域内の画素の画素値に変動が生じても、監視画像中に写った動物体の像を背景から分離し、抽出することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０５−０３５８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、屋外等において監視空間の照度が緩やかにばかり変動するとは限らない。例えば、雲の動きや草木の動きと太陽の位置関係によっては、監視空間の一部または全体において照度が急激に変動することがある。他方、監視空間内に侵入した物体によっても、監視画像上の画素値は急激に変動する可能性が高い。そのため、急激な照度変動を取り込むように背景モデルを作成しようとすると、侵入物体による画素値変動も背景モデルに含まれてしまい、その結果、侵入物体の検知精度が低下してしまう。
【０００５】
また、屋外等に設定された監視空間では、急激な照度変動と同時に、監視空間内の草木または旗の揺れなど、背景構造物の形状変化が生じることもある。このような場合、急激な照度変動による画素値の変化に、背景構造物の変形による画素値の変化も加わる。そのため、画素値の変動幅が大きくなり、その画素値が背景モデルにより表される画素値の分布範囲から外れる可能性が高くなってしまう。その結果として、従来技術では、背景構造物の変形を侵入物体として誤検出してしまうおそれがあった。
【０００６】
そこで、本発明の目的は、監視空間内での急激な照度変動が生じても、その照度変動を侵入物体として誤検出することを防止できる侵入物体検知装置を提供することにある。
【課題を解決するための手段】
【０００７】
かかる課題を解決するための本発明は、監視空間を撮像した監視画像から、侵入物体を検出する侵入物体検知装置が提供される。係る侵入物体検知装置は、監視空間を撮像して監視画像を生成する撮像部と、複数の監視画像の各画素における画素値の出現確率分布を表す背景モデル、及び背景モデルごとに出現確率が略極大値を示す１以上の画素値を代表画素値として記憶する記憶部と、監視画像の注目画素の画素値を、注目画素に対応する背景モデルの代表画素値にて置換することにより合成背景画像を生成する背景合成部と、監視画像の注目画素及び注目画素の近傍に位置する複数の画素を含む局所領域を設定し、局所領域における監視画像と局所領域における合成背景画像の相関値を注目画素の相関値として算出する相関値算出部と、相関値が所定の閾値以下となる画素を検出し、検出された画素を用いて監視空間に侵入物体が存在するか否かを判定する侵入物体検出部とを有する。
【０００８】
また、記憶部は、背景モデルとして出現確率分布の互いに異なる一部の分布範囲を表す複数の部分背景モデル、及び代表画素値として部分背景モデルごとに分布範囲にて略極大値を示す画素値を記憶し、背景合成部は、監視画像の注目画素に対応する部分背景モデルの代表画素値のうち、注目画素の画素値に最も近い代表画素値にて置換を行うことが好ましい。
【０００９】
さらに、かかる侵入物体検知装置は、部分背景モデルが表す出現確率分布の信頼度を求め、信頼度が所定の基準を満たすときに部分背景モデルの代表画素値に信頼性があると判定する信頼性判定部をさらに有し、背景合成部は、信頼性判定部により信頼性があると判定された代表画素値の中から置換に用いる代表画素値を選択することが好ましい。
【００１０】
また、かかる侵入物体検知装置は、監視画像の各画素の画素値と、その画素に対応する部分背景モデルのそれぞれとの距離を算出し、それら距離のうちの最小値を決定する背景差分部をさらに有することが好ましい。この場合において、相関値算出部は、画素値と部分背景モデルとの距離の最小値が所定の距離閾値を超える画素についてのみ、相関値を算出することが好ましい。
【発明の効果】
【００１１】
本発明にかかる侵入物体検知装置は、監視空間内での急激な照度変動が生じても、その照度変動を侵入物体として誤検出することを防止できるという格別の効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明を適用した侵入物体検知装置を利用する画像監視システムの全体システム構成を示す図である。
【図２】本発明の一実施形態にかかる侵入物体検知装置の概略構成図である。
【図３】一つの画素に対する背景モデルの一例を示す図である。
【図４】図３に示した背景モデルの各パラメータを含むテーブルの一例を示す図である。
【図５】監視画像と合成背景画像の関係を示す概念図である。
【図６】侵入物体検出処理の全体動作を示すフローチャートである。
【図７】背景合成処理のフローチャートである。
【図８】正規化相関値算出処理のフローチャートである。
【図９】侵入物体存在判定処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明にかかる侵入物体検知装置を用いた屋外用画像監視システムについて図を参照しつつ説明する。
本発明を適用した侵入物体検知装置は、監視空間である庭を撮影した監視画像と、監視画像の各画素における、背景に相当する画素値の出現確率を表す背景モデルから、監視空間内に侵入した侵入物体である侵入者を検知する。特に、この侵入物体検知装置は、監視画像の各画素を背景モデルが表す背景に相当する画素値範囲の代表値で近似した合成背景画像を作成するとともに、複数の画素を含む局所領域単位での監視画像と合成背景画像の一致度合いを調べることで、照度変動及び背景構造物の形状変化による侵入物体の誤検出を防ぐ。
【００１４】
図１は、本発明を適用した画像監視システム１０００の全体システム構成を示す図である。図１に示すように、画像監視システム１０００は、少なくとも一つの侵入物体検知装置１と、コントローラ３と警備センタ装置５とを有する。そして侵入物体検知装置１とコントローラ３とは、監視空間またはその近傍に設置され、無線または有線のローカルエリアネットワーク２により接続される。一方警備センタ装置５は、遠隔地にある警備センタに設置され、公衆電話回線などの広域通信ネットワーク４を介してコントローラ３と接続される。
そして侵入物体検知装置１が、監視空間内に侵入した侵入物体を検知すると、侵入物体を検知したことを示す検知信号を、ローカルエリアネットワーク２を通じてコントローラ３へ送信する。コントローラ３は、侵入物体検知装置１から検知信号を受信すると、検知信号及び侵入物体が検知された監視空間を特定する識別コードなどの情報を警備センタ装置５へ送信する。なお、侵入物体が検知された監視空間を特定する識別コードは、例えば、侵入物体検知装置１または対応する監視空間若しくはコントローラ３の識別コードなどとすることができる。
【００１５】
図２に、侵入物体検知装置１の概略構成を示す。侵入物体検知装置１は、例えば、画像センサとして構成され、撮像装置１０と制御装置２０とを有する。
【００１６】
撮像装置１０は、侵入物体の検知を行う監視空間を撮影し、監視画像を取得する。そのために、撮像装置１０は、ＣＣＤ、Ｃ−ＭＯＳセンサなどの光電変換器で構成された２次元検出器と、その２次元検出器上に監視空間の像を結像する結像光学系などで構成される。また撮像装置１０は、ＮＴＳＣタイプのカメラでもよく、あるいはハイビジョン対応などの高解像度タイプのデジタルカメラでもよい。撮像装置１０は固定設置され、視野は一定に保たれる。そして撮像装置１０は、一定の時間間隔（例えば１／５秒）ごとに撮影を行い、監視画像を取得する。なお、以下では、便宜上、撮像装置１０が監視画像を取得する時間間隔で刻まれる時間の単位を時刻と称する。
監視画像は、各画素が例えば0〜255の画素値を有するデジタル画像データとして表現される。なお、撮像装置１０は、監視画像をカラー画像として作成してもよい。
撮像装置１０は、監視画像を取得する度に、その監視画像を制御装置２０へ送信する。
【００１７】
制御装置２０は、画像インターフェース部２１と、通信部２２と、記憶部２３と、画像処理部２４とを有する。
【００１８】
画像インターフェース部２１は、撮像装置１０と制御装置２０とを接続するためのインターフェースであり、IEEE1394、USB2.0、NTSC、イーサネット（登録商標）などの規格に準じる通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。そして画像インターフェース部２１は、撮像装置１０から監視画像を受信し、その監視画像を制御装置２０の各部へ出力する。
【００１９】
通信部２２は、侵入物体検知装置１をローカルエリアネットワーク２に接続するためのインターフェースであり、イーサネット（登録商標）、IEEE1394b、IEEE802.11などの通信規格に準じる通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。そして通信部２２は、画像処理部２４から受け取った検知信号、侵入物体が検知された監視空間の識別コードなどをローカルエリアネットワーク２を介してコントローラ３へ送信する。
【００２０】
記憶部２３は、半導体メモリ、磁気ディスク（ＨＤＤ）、またはＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどの光ディスクドライブおよびその記録媒体により構成される。そして記憶部２３は、制御装置２０の動作を制御するソフトウェア、パラメータ、制御装置２０の各種処理で使用される情報、背景モデルを規定する各パラメータなどを記憶する。そして、記憶部２３は、制御装置２０の各部からの要求に応じて、必要な情報を提供する。
【００２１】
画像処理部２４は、デジタル信号プロセッサ、マイクロコントロールユニットまたは数値演算プロセッサなどの演算装置及びその周辺回路を有する。そして画像処理部２４は、監視画像を解析することにより、監視空間内に侵入物体が存在するか否かを判定する。そして画像処理部２４は、監視空間内に侵入物体が存在すると判定すると、そのことを示す検知信号等を通信部２２へ出力する。
そのために、画像処理部２４は、背景モデル作成部２４０と、信頼性判定部２４１と、背景合成部２４２と、相関値算出部２４３と、侵入物体検出部２４４とを有する。画像処理部２４が有するこれらの各部は、画像処理部２４が有する演算装置上で動作するソフトウェアモジュールとして実装される。
【００２２】
背景モデル作成部２４０は、背景モデルを作成または更新する。背景モデルは、監視画像の各画素において撮像される画素値の分布を表す統計情報である。背景モデルは、過去に撮像された複数の監視画像を、画素ごとに統計分析することで作成される。監視空間に侵入物体が存在しないときの監視画像が背景モデルの作成に用いられ、または出現頻度の低い画素値の情報が淘汰されることで、背景モデルは背景の画素値の分布を表す。本実施形態において、各背景モデルは複数の正規分布の和で一つの分布を表す混合正規分布によりモデル化される。各背景モデルは画素値ごとの出現確率分布を表すことになる。具体的には、背景モデルは、次式により表される。
【数１】
ここでxは、注目画素の画素値であり、P(x|B)は、注目画素が背景Bであるときに注目画素の画素値がxとして観測される確率である。またN(x;mi,σ2i)は、画素値xの確率密度を表す、確率に関する画素値の平均値がmi、分散がσ2iであるi番目(i=1,2,...,K)の正規分布である。この正規分布N(x;mi,σ2i)は、注目画素の画素値の出現確率分布の互いに異なる一部（部分分布）を表すものであるため、以下では、この正規分布N(x;mi,σ2i)を部分背景モデルと呼ぶ。またwiは、i番目の正規分布に対する重み係数であり、w1からwKまでの総和が1となるように設定される。そしてKは、注目画素の背景モデルに含まれる正規分布の総数を表し、1以上の整数に設定される。
【００２３】
図３に、背景モデルの一例を示す。図３において、監視画像３００の画素３０１に対する背景モデル３１０は、横軸が画素値で縦軸が出現確率を表すグラフにより表現される。この例では、背景モデル３１０は、３個の部分背景モデル３１１〜３１３を有し、各部分背景モデル３１１〜３１３は、それぞれ、画素値m1〜m3を中心とする正規分布となっている。画素３０１に背景が写っている場合、画素３０１の画素値は、これら部分背景モデル３１１〜３１３に従った出現確率で現れる。したがって、図３に示されるように、画素３０１に背景が写っている場合、画素３０１の画素値は、m3となる確率が最も高い。一方、ある時点において取得された監視画像中の画素３０１の画素値が、各部分背景モデル３１１〜３１３の何れについても低い出現確率となっている場合には、画素３０１には、監視空間に侵入した侵入物体など、背景以外の物が写っている可能性が高いことになる。
【００２４】
背景モデル作成部２４０は、背景モデルの更新について、例えば、島田、有田、谷口、「混合ガウス分布による動的背景モデルの分布数増減法」、MIRU2006、2006年、に開示されているオンラインＥＭ法を用いた背景モデルの作成または更新方法を利用できる。具体的には、背景モデル作成部２４０は、以下の手順に従って背景モデルを更新する。
【００２５】
まず、注目する画素について、K個の部分背景モデルを準備する。部分背景モデルの一つには、平均値として最初の監視画像の画素値を初期設定し、分散及び重みとして予め定められた一定値をそれぞれ初期設定する。残り(K-1)個の部分背景モデルには、平均値として最初の監視画像の画素値に一定のオフセット値またはランダム値を加算または減算した値を初期設定し、分散として上記一定値を初期設定し、重みとして、上記の一つの部分背景モデルに設定される重みに対して極めて小さな値を初期設定する。
ここで、時刻tにおいて新たな監視画像が得られると、背景モデル作成部２４０は、重み係数wiを、以下に示す（２）式に従って更新する。
【数２】
ここで、M0iは0または1の何れかの値を取る変数である。そして背景モデル作成部２４０は、i番目の部分背景モデルN(xt;mi,σi2)について、miとxtとのマハラノビス距離の絶対値が一定値以下であれば、変数M0iを1に設定し、そうでないならば0に設定する。この一定値は、例えば、2.5に設定される。なお、更新後においても、wi(i=1,2,...,K)の総和が1となるように更新される。また、αは学習率であり、この値を大きくするほど新たに取得された画素値を背景モデルに反映させ易くなる。
【００２６】
次に、変数M0iの値が1であるN(xt;mi,σi2)について、背景モデル作成部２４０は、新たに取得された画素値xtを用いて、平均mi、分散σi2を、それぞれ下記の（３）、（４）式にしたがって更新する。
【数３】
ここで、βは、N(xt;mi,σi2)にαを乗算したものである。
【００２７】
背景モデル作成部２４０は、各画素について、上記の（２）〜（４）式に従って部分背景モデルの各パラメータを更新することにより、各画素の部分背景モデルを更新する。なお、背景モデル作成部２４０は、各画素について、部分背景モデルの数を増減させてもよい。この場合、背景モデル作成部２４０は、上記の「混合ガウス分布による動的背景モデルの分布数増減法」に開示されている方法に従って、部分背景モデルの数を変更できる。
【００２８】
次に、背景モデル作成部２４０は、背景モデルが表す分布の特徴を代表する画素値、すなわち、背景が取り得る画素値範囲を代表する画素値である代表画素値γiを決定する。背景モデル作成部２４０は、各部分背景モデルN(xt;mi,σi2)の平均値miを代表画素値γi（部分代表画素値）に設定する。例えば、背景モデルが表す分布において、出現確率が極大値を示す１以上の画素値が代表画素値に設定される。
【００２９】
背景モデル作成部２４０は、新たな監視画像が取得される度に、背景モデルを更新する。あるいは、背景モデル作成部２４０は、一定の間隔（例えば、1秒間、10秒間あるいは1分間）で取得された監視画像を用いて背景モデルを更新してもよい。また、背景モデル作成部２４０は、最新の監視画像に対して侵入物体が検出されている場合、その最新の監視画像を背景モデルの更新に使用しないようにしてもよい。
背景モデル作成部２４０は、更新した各画素の背景モデルに含まれる部分背景モデルを規定する各パラメータmi、σi2、重み係数wi及び代表画素値γiを記憶部２３に記憶する。
【００３０】
信頼性判定部２４１は、各部分背景モデルの代表画素値について、真に背景を表しているという信頼性を有しているか否かを判定し、その判定結果を対応する代表画素値に関連付けて記憶部２３に記憶する。
代表画素値が部分背景モデルごとに設定されている本例の場合、部分背景モデルの信頼性の有無が代表画素値の信頼性の有無となる。信頼性判定部２４１は、注目する画素のi番目の部分背景モデルN(xt;mi,σi2)の信頼性の有無を、以下の何れかの判定基準の少なくとも一つに従って判定する。
（１）信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)に対する選出回数を、その部分背景モデルが背景に相当する画素の出現確率を表すことの確からしさを示す信頼度とし、その選出回数が多いほど、信頼性が高いと判定する。この場合、背景モデルが作成されたときに各部分背景モデルに対する選出回数は0に初期化される。そして信頼性判定部２４１は、背景モデルが更新される度に、背景モデルの更新に用いられた画素値とのマハラノビス距離が最も近い部分背景モデルの平均値を決定し、その平均値に対応する部分背景モデルに対する選出回数を1インクリメントする。そして信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)について、対応する選出回数が所定の閾値Tr1以上であれば、その部分背景モデルN(xt;mi,σi2)は信頼性を有すると判定する。一方、対応する選出回数が所定の閾値Tr1未満であれば、信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)は信頼性を有さないと判定する。なお選出回数は、直近の一定期間（例えば、１分間あるいは１０分間）に取得された監視画像に限定してカウントされてもよい。これにより、監視空間の環境条件が時間的に変化することにより、背景に相当する画素値が変動する場合でも、信頼性判定部２４１は、各部分背景モデルの信頼性を正確に評価できる。
【００３１】
ここで、注目画素に、建造物など変形しない構造物が写っている場合、注目画素の画素値は定常的に所定の値となる。一方、注目画素に、植栽または旗のような変形する物体が写っている場合、注目画素の画素値は、反復的に異なる複数の値となる。また、注目画素に、侵入物体が写っている場合、注目画素の画素値は一時的な値となる。そのため、背景に相当する画素値の出現頻度は高くなる。一方、侵入物体に相当する画素値の出現頻度は低くなる。出現頻度が高い画素値の分布を表す部分背景モデルほど、多く選出されるのであるから、選出回数が多い部分背景モデルほど、真に背景を現している信頼性が高いと推定される。
なお、閾値Tr1は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に設定される。例えば、その滞在期間の上限値が10秒間であれば、閾値Tr1は、10秒間に取得される監視画像の数、例えば50に設定される。
【００３２】
（２）信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)に対応する重み係数wiを信頼度とし、重み係数wiが所定の閾値Tr2よりも大きければ、その部分背景モデルN(xt;mi,σi2)は信頼性を有すると判定し、一方、重み係数wiが所定の閾値Tr2以下であれば、その部分背景モデルN(xt;mi,σi2)は信頼性を有さないと判定する。
重み係数wiは、（２）式から明らかなように、対応する部分背景モデルN(xt;mi,σi2)にマッチする画素値の出現頻度が高いほど大きな値となる。そして重み係数の総和は1に設定される。そのため、重み係数wiは、部分背景モデルN(xt;mi,σi2)が監視画像の注目画素に現れる事前確率に相当する。従って、対応する重み係数が大きい部分背景モデルほど、真に背景を表している信頼性が高いと推定される。
なお、閾値Tr2は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率に設定される。例えば、閾値Tr2は、0.2に設定される。あるいは、閾値Tr2は、注目画素に写る背景を部分的に表すに足る事前確率に相当する値、例えば、0.3に設定されてもよい。
【００３３】
（３）信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)について、wi/σi2を信頼度とし、wi/σi2が所定の閾値Tr3よりも大きければ、その部分背景モデルN(xt;mi,σi2)は信頼性を有すると判定し、一方、wi/σi2が所定の閾値Tr3以下であれば、その部分背景モデルN(xt;mi,σi2)は信頼性を有さないと判定する。
分散σi2が小さいほど、対応する部分背景モデルN(xt;mi,σi2)に相当する画素値のバラツキは小さいので、その部分背景モデルN(xt;mi,σi2)が注目画素に写る背景の特定の構造物に相当する画素値を表している可能性は高い。したがって、wi/σi2が大きい部分背景モデルほど、真に背景を表している信頼性が高いと推定される。
なお、閾値Tr3は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率と、実験的に定められる画素値のバラツキの上限に相当する分散値との比、例えば、0.03に設定される。あるいは、閾値Tr3は、注目画素に写る背景を部分的に表すに足る事前確率に相当する値と、実験的に定められる画素値のバラツキの下限に相当する分散値との比に設定されてもよい。
【００３４】
（４）信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)に対応する重み係数wiを信頼度とし、その重み係数wiを大きい方から順に足し合わせた合計値を所定の選出閾値Tsと比較する。そしてj番目の重み係数wjを足し合わせたときに、その合計値が選出閾値Tsを最初に超えた場合、信頼性判定部２４１は、そのj番目に大きい重み係数wjに対応する部分背景モデルN(xt;mj,σj2)及びwjよりも大きい重み係数に対応する部分背景モデルは信頼性を有すると判定する。一方、重み係数wjよりも小さい重み係数に対応する部分背景モデルは選出される可能性が小さく、背景に相当する画素値を表していない可能性が高い。そこで信頼性判定部２４１は、重み係数wjよりも小さい重み係数に対応する部分背景モデルは信頼性を有さないと判定する。
なお、閾値Tsは、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率0.2を1.0から減じた値、すなわち0.8に設定される。
【００３５】
信頼性判定部２４１は、上記の判定基準のうち、何れか一つに従って、各部分背景モデルの信頼性の有無を判定する。あるいは、信頼性判定部２４１は、上記の判定基準のうち、二つ以上の判定基準に従って各部分背景モデルの信頼性の有無を判定してもよい。この場合、信頼性判定部２４１は、二つ以上の判定基準のうち、何れか一つでも信頼性が無いと判定された部分背景モデルについては、信頼性が無いとする。
信頼性判定部２４１は、各部分背景モデルに対する信頼性判定結果を、対応する部分背景モデルと関連付けて記憶部２３に記憶する。
【００３６】
図４は、記憶部２３に記憶された、図３に示した背景モデル３１０の各パラメータを含むテーブルの一例を示す図である。
背景モデルテーブル４００には、左の列から順に、部分背景モデルの識別番号、平均値mi、分散値σi2、対応する重み係数wi、代表画素値γi及び部分背景モデルに対する信頼性判定結果を表す判定フラグが含まれる。なお、判定フラグは、例えば、信頼性有りと判定された部分背景モデルに対して'1'に設定され、信頼性無しと判定された部分背景モデルに対して'0'に設定される。また各行には、一つの部分背景モデルのパラメータが含まれる。例えば、行４０１を参照すると、識別番号1の部分背景モデルについて、平均値m1=180、分散値σ12=100、重み係数w1=0.5、代表画素値γ1=180、信頼性有りであることが示されている。
【００３７】
背景合成部２４２は、監視画像から侵入物体を検出する際の基準となる合成背景画像を生成する。背景合成部２４２は、監視画像の各画素を、当該画素の背景モデルに含まれる何れかの部分背景モデルの代表画素値で置換することにより合成背景画像を生成する。このようにして生成される合成背景画像は、処理対象の監視画像取得時における監視空間内の構造物の形状に応じた背景を近似した画像となる。
背景合成部２４２は、監視画像の各画素の画素値を、当該画素値に最も近い代表画素値で置換することにより、合成背景画像を作成する。
具体的には、背景合成部２４２は、次式に従って注目する画素の画素値xと部分背景モデルN(x;mi,σi2)とのマハラノビス距離di(i=1,2,...,K)、及びその最小距離Dを算出し、注目する画素の画素値xを、最小距離Dが算出された部分背景モデルの代表画素値で置換する。
【数４】
ここで関数min(d1,d2,..,dK)は、変数d1,d2,..,dKのうちの最小値を出力する関数である。なおKは、注目する画素の背景モデルに含まれる部分背景モデルの総数を表す。
監視画像の画素値と代表画素値の距離は、L2距離として算出することもできるが、L2距離をσiにより正規化したマハラノビス距離として算出することにより、個々の部分背景モデルが表す部分分布の広がりの違いが加味される。換言すると、部分背景モデルとその代表画素値を正規分布とその平均値に設定することで分布状態を加味したより正確な近似が可能となっているのである。
例えば、注目する画素の背景モデルが図４の背景モデルテーブル４００で表され、当該画素の画素値との距離が最小となる部分背景モデルの識別番号が'1'である場合、背景合成部２４２は、合成背景画像における当該画素の画素値を、識別番号'1'に対応する代表画素値である'180'とする。
【００３８】
なお、背景合成部２４２は、（５）式において、記憶部２３に記憶されている背景モデルテーブルの判定フラグを参照することにより、信頼性有りと判定されている部分背景モデルと画素値xとのマハラノビス距離diのみを関数min()の変数とすることが好ましい。これにより、距離Dによって観測された画素値と背景に相当する画素値との距離が正確に表わされる可能性が高くなる。
背景合成部２４２は、作成した合成背景画像を相関値算出部２４３へ渡す。
【００３９】
相関値算出部２４３は、監視画像の画素ごとに、当該画素を含む局所領域を設定し、局所領域における監視画像と合成背景画像の正規化相関値を算出し、各画素の正規化相関値Cを侵入物体検出部２４４へ通知する。
注目する画素の正規化相関値Cは、次式により算出される。
【数５】
ここでRは、局所領域を表す。局所領域は、局所的な背景の構造、例えば、草木の葉、幹などの形状が表される程度の大きさに設定される。例えば、局所領域Rは、注目画素を中心とするL×L画素の矩形領域、直径L画素の円形領域、あるいは縦L画素、横L画素の十字型領域（ただし、Lは、例えば３または５）とすることができる。また局所領域Rでは、縦方向と横方向のサイズが異なっていてもよい。xijは、監視画像上の局所領域Rに含まれる画素の画素値を表し、Axは、監視画像上の局所領域R内に含まれる画素の平均画素値を表す。またbijは、合成背景画像上の局所領域Rに含まれる画素の画素値を表し、Abは、合成背景画像上の局所領域R内に含まれる画素の平均画素値を表す。
この正規化相関値Cの値域は、-1〜1であり、監視画像と合成背景画像の同一領域内の画素値パターンが似ているほど、正規化相関値Cの値は1に近づく。逆に、監視画像と合成背景画像の同一領域内の画素値パターンが異なるほど、正規化相関値Cの値は小さくなり、両画像の同一領域内の画素値パターンが反転している場合に正規化相関値Cの値は-1となる。
このようにして算出される正規化相関値Cは、急激な照度変動の影響を受けずに侵入物体と背景とを切り分けることを可能にする。以下、このことについて説明する。
【００４０】
監視空間内に急激な照度変動がないときに撮像された監視画像において、背景が写っている画素に対しては、その画素値と近い代表画素値が存在する。つまり、合成背景画像において当該画素は高い精度で近似される。そのため、急激な照度変動がないときに撮像された監視画像において背景が写っている局所領域では高い正規化相関値が算出される。
他方、急激な照度変動がないときに撮像された監視画像において侵入物体が写っている画素に対しては、その画素値と近い代表画素値が存在する可能性は低い。つまり、合成背景画像において当該画素の近似精度は低い。そのため、急激な照度変動がないときに撮像された監視画像において侵入物体が写っている局所領域では低い正規化相関値が算出される。
【００４１】
一方、急激な照度変動が生じたときに撮像された監視画像において、その照度変動の影響を受けた画素が何れの代表画素値からも遠くなることがある。そのため、急激な照度変動が生じた部分では、画素単位でみると、合成背景画像の近似精度は低くなり得る。
ただし、照度変動が生じた部分に対応する監視画像上の領域では、一様に画素値が変動する。例えば、日が当たっていた部分に急激に日が当たらなくなると、その部分に対応する監視画像上の領域内の各画素の値が、それまでと比較してほぼ同程度だけ低くなる。すなわち、照度変動が生じた部分に対応する領域内でも、背景が写っている限り、画素値パターン（近傍画素との画素値の相対関係）は、合成背景画像において再現される。そのため、照度変動が生じたとしても、背景が写っている局所領域では、高い正規化相関値が算出されるのである。他方、侵入物体が写っている局所領域では、合成背景画像上で画素値パターンは再現されないため、低い正規化相関値が算出される。
【００４２】
図５を参照しつつ、この様子を説明する。図５において、画像５００は監視画像であり、部分画像５１０は、監視画像５００において背景が写っている一部領域を拡大表示したものである。この部分は急に暗くなったものとする。また画像５２０は、監視画像５００に基づいて作成された合成背景画像であり、部分画像５３０は、合成背景画像５２０中の部分画像５１０に対応する領域を拡大表示したものである。
部分画像５１０中の画素５１１に対応する背景モデル５５０が、３個の部分背景モデル５５１〜５５３によって構成されている。このとき、画素５１１の画素値xと各部分背景モデルの平均値m1〜m3とのマハラノビス距離のうち、部分背景モデル５５１の平均値m1とのマハラノビス距離が最も近い。そのため、合成背景画像５２０において画素５１１と対応する画素５３１の画素値は、部分背景モデル５５１の代表画素値γ1(=m1)に設定される。このように、画素５３１には画素５１１より輝度の高い画素値が設定されるが、近傍の画素でも同程度だけ輝度の高い画素が設定される。これは、近傍の画素の背景モデルも背景モデル５５０と同じ環境で生成されているためである。その結果、部分画像５３０は、部分画像５１０よりも全体的に明るくなるものの、背景である木などの画素値パターンは、部分画像５１０と部分画像５３０とで互いに類似している。そのため、部分画像５３０の局所領域５３２と部分画像５１０の局所領域５１２との正規化相関値（つまり、画素５１１の正規化相関値）は高い値となる。
【００４３】
一方、監視画像５００上に写っている侵入者像５１５は、合成背景画像５２０上で再現されていない。そのため、侵入者像５１５内の各画素についての正規化相関値は他の画素よりも低くなる。従って、各画素についての正規化相関値を画像５４０として表せば、画像５４０上では侵入者像５１５に対応する領域５４５に含まれる画素の正規化相関値と、他の画素の正規化相関値は大きく異なることになる。
【００４４】
なお、（７）式のVの値が0または実質的に0であることを表す閾値Tv以下である場合、相関値算出部２４３は、正規化相関値Cを-1とする。Vの値が非常に小さいということは、対応する局所領域内の画素値の分散も非常に小さいので、その局所領域にほぼ一様で明るさの変化が少ない構造が写っていることになる。そのため、相関値算出部２４３は正規化相関値C自体に信頼性がないと推定し、そのような正規化相関値Cを持つ画素に侵入物体が写っていても、侵入物体を検知し損ねないように、その局所領域における正規化相関値Cも相関が無いこと（侵入物体が存在すること）に対応する値に設定するものである。
【００４５】
侵入物体検出部２４４は、各画素の正規化相関値Cに基づいて、監視空間内に侵入物体が存在するか否かを判定する。そして侵入物体検出部２４４は、監視空間内に存在する侵入物体を検知した場合、通信部２２を介して、侵入物体を検知したことを示す検知信号をコントローラ３へ出力する。
上記のように、正規化相関値Cが低いほど、その画素には背景以外のもの、例えば侵入物体が写っている可能性が高い。そこで侵入物体検出部２４４は、正規化相関値Cが所定の閾値Tc以下となる画素を侵入物体候補画素として検出し、侵入物体候補画素に基づいて侵入物体の存在を判定する。なお、所定の閾値Tcは、例えば、0.7に予め設定される。
侵入物体検出部２４４は、侵入物体候補画素に対してラベリング処理を行い、互いに近接した侵入物体候補画素群を一つの侵入物体候補領域として連結する。そして侵入物体検出部２４４は、互いに独立した侵入物体候補領域、すなわち、互いに連結されない侵入物体候補領域ごとに異なるラベルを付す。なお、ラベリング処理は公知の技術であるので、ここでは詳細な説明は省略する。
【００４６】
侵入物体検出部２４４は、侵入物体候補領域ごとに、面積、すなわち、その領域に含まれる画素数を算出する。そして、侵入物体検出部２４４は、算出した面積が検出対象として想定される侵入物体の大きさに相当する面積範囲内であれば、その領域は侵入物体に相当するものとする。
上記面積は、侵入物体候補領域の侵入物体らしさを表す属性情報の一つである。属性情報には、他にも、侵入物体候補領域の縦横比、輝度分散値などのテクスチャ情報若しくは色情報、複数の監視画像に渡って検出された侵入物体候補領域をトラッキングすることで求められる移動速度などを含めることができる。なお、本実施形態においては、様々な公知の属性情報を利用でき、その算出方法も公知であるので、属性情報の算出方法の詳細な説明は省略する。
【００４７】
また上記面積範囲は、属性情報が、侵入物体が写っている領域から算出される属性情報に相当する値の範囲に含まれるか否かを判定するために予め設定される属性基準値の一つである。侵入物体検出部２４４は、属性情報がその属性情報に対応する属性基準値の範囲内であれば侵入物体が存在すると判定する。例えば、侵入物体候補領域の縦横比が属性情報であれば、それに対応する属性基準値は1/3:1〜3:1の範囲と設定される。
なお、侵入物体検出部２４４は、属性情報が属性基準値の範囲内か否か判定するために、様々な公知の方法を利用することができる。例えば、侵入物体検出部２４４は、特開２００１−２４３４７５号公報に開示されるように、「侵入物体らしさ」を表す類似度をファジー理論のメンバシップ関数を用いて算出し、得られた類似度が所定の閾値以上となれば、属性情報が属性基準値の範囲内であると判定してもよい。
【００４８】
図６のフローチャートを参照しつつ、画像処理部２４による侵入物体検知処理の全体動作を示す。
【００４９】
まず、監視空間が無人であることを確認した管理者が侵入物体検知装置１の電源を投入すると、侵入物体検知装置１は起動する。そして予め設定された起動後の準備期間（例えば、1分間）中に、画像処理部２４の背景モデル作成部２４０は各画素の背景モデルを初期化する。すなわち、背景モデル作成部２４０は、準備期間中、一時刻目に取得された監視画像に基づいて背景モデルの初期値を記憶部２３に記憶させ、その後の時刻に取得された複数の監視画像を用いて背景モデルを順次更新することにより、各背景モデルを初期化する。また背景モデル作成部２４０は、初期化された背景モデルの代表画素値を決定して、対応する背景モデルと関連付けて記憶部２３に記憶させる。また画像処理部２４の信頼性判定部２４１は、各背景モデルの代表画素値の信頼性の有無を判定し、その判定結果を記憶部２３に記憶させる。
【００５０】
準備期間が終了すると、画像処理部２４は、侵入物体検知処理を開始する。なお、以下の動作は、監視画像が取得される度に実行される。
画像処理部２４は、画像インターフェース部２１を介して撮像装置１０から監視画像を取得する（ステップＳ１０１）。そして画像処理部２４の背景合成部２４２は、背景モデルを用いて監視画像の各画素を近似することにより合成背景画像を生成する（ステップ１０２；詳細は図７を参照して後述）。そして背景合成部２４２は、作成した合成背景画像を画像処理部２４の相関値算出部２４３へ渡す。
相関値算出部２４３は、監視画像と合成背景画像の各画素について、その画素を含む局所領域間の正規化相関値Cを算出する（ステップＳ１０３；詳細は図８を参照して後述）。相関値算出部２４３は、各画素の正規化相関値Cを画像処理部２４の侵入物体検出部２４４へ渡す。そして侵入物体検出部２４４は、各画素の正規化相関値Cに基づいて侵入物体存在判定処理を実行し（ステップＳ１０４；詳細は図９を参照して後述）、監視空間内に侵入物体が存在すると判定された場合（ステップＳ１０５にてＹｅｓ）、侵入物体検出部２４４は、通信部２２を介して、侵入物体を検知したことを示す検知信号をコントローラ３へ出力する（ステップＳ１０６）。
【００５１】
ステップＳ１０６の後、またはステップＳ１０５において監視空間内に侵入物体が存在しないと判定された場合、背景モデル作成部２４０は、最新の監視画像に基づいて、記憶されている各画素の背景モデルを更新する（ステップＳ１０７）。またこのとき背景モデル作成部２４０は、更新された背景モデルにあわせて代表画素値を更新する。また信頼性判定部２４１は、更新された代表画素値の信頼性の有無を判定し（ステップＳ１０８）、その判定結果を対応する代表画素値に関連付けて記憶部２３に記憶させる。
その後、画像処理部２４は、１枚の監視画像に対する侵入物体検知処理を終了する。
【００５２】
図７は、背景合成処理のフローチャートである。
背景合成部２４２は、監視画像の各画素のうち、注目画素に設定されていない画素を注目画素に設定する（ステップＳ２０１）。そして背景合成部２４２は、記憶部２３から注目画素の背景モデル関連のパラメータを読み出す（ステップＳ２０２）。
次に、背景合成部２４２は、読み出した背景モデルの代表画素値のうち、注目代表画素値に設定されていない代表画素値を注目代表画素値に設定する（ステップＳ２０３）。そして背景合成部２４２は、読み出した背景モデルのパラメータを参照することにより、注目代表画素値が信頼性を有するか否か判定する（ステップＳ２０４）。注目代表画素値が信頼性を有する場合、背景合成部２４２は、注目画素の画素値と注目代表画素値との距離を、（６）式に従って算出する（ステップＳ２０５）。
ステップＳ２０５の後、あるいはステップＳ２０４にて注目代表画素値が信頼性を有さない場合、背景合成部２４２は、注目画素に対応する全ての代表画素値が注目代表画素値に設定されたか否か判定する（ステップＳ２０６）。
【００５３】
何れかの代表画素値が注目代表画素値に設定されていない場合、背景合成部２４２は、ステップＳ２０３〜Ｓ２０６の処理を繰り返す。
こうして、注目画素に対応する全ての代表画素値に対する処理が終わると、背景合成部２４２は、注目画素に対して最小の距離が算出された代表画素値を選択し（ステップＳ２０７）、合成背景画像における注目画素の画素値を選択された代表画素値で置換する（ステップＳ２０８）。
ステップＳ２０８の後、背景合成部２４２は、監視画像の全ての画素が注目画素に設定されたか否か判定する（ステップＳ２０９）。何れかの画素が注目画素に設定されていない場合、背景合成部２４２は、ステップＳ２０１〜Ｓ２０９の処理を繰り返す。
こうして、全ての画素に対する処理が終わると、背景合成部２４２は、背景合成処理を終了する。
【００５４】
図８は、正規化相関値算出処理のフローチャートである。
相関値算出部２４３は、監視画像の各画素のうち、注目画素に設定されていない画素を注目画素に設定する（ステップＳ３０１）。そして相関値算出部２４３は、注目画素及びその周囲の複数の画素を含む局所領域を設定する（ステップＳ３０２）。相関値算出部２４３は、局所領域に対応する監視画像及び合成背景画像の画素値に基づいて、（７）式の分母値Vを算出する（ステップＳ３０３）。相関値算出部２４３は、分母値Vが閾値Tvより大きいか否か判定する（ステップＳ３０４）。分母値Vが閾値Tv以下であれば、正規化相関値Cの信頼性の低さが原因で侵入物体の検出に失敗しないよう、相関値算出部２４３は、注目画素の正規化相関値Cを-1に設定する（ステップＳ３０５）。
一方、分母値Vが閾値Tvよりも大きければ、相関値算出部２４３は注目画素の正規化相関値Cを（７）式に従って算出する（ステップＳ３０６）。
ステップＳ３０５またはＳ３０６の後、相関値算出部２４３は、監視画像の全ての画素が注目画素に設定されたか否か判定する（ステップＳ３０７）。何れかの画素が注目画素に設定されていない場合、相関値算出部２４３は、ステップＳ３０１〜Ｓ３０７の処理を繰り返す。
こうして、全ての画素に対する処理を終えると、相関値算出部２４３は、正規化相関値算出処理を終了する。
【００５５】
図９は、侵入物体存在判定処理のフローチャートである。
侵入物体検出部２４４は、監視画像の各画素のうち、算出された正規化相関値が閾値Tc以下となる画素を侵入物体候補画素として抽出する（ステップＳ４０１）。侵入物体候補画素が抽出されると、侵入物体検出部２４４は、ラベリング処理を実行して、互いに近接する侵入物体候補画素を連結することにより、侵入物体候補領域を求める（ステップＳ４０２）。
【００５６】
次に、侵入物体検出部２４４は、各侵入物体候補領域のうち、何れかの領域を注目領域に設定する（ステップＳ４０３）。注目領域を設定すると、侵入物体検出部２４４は、その注目領域の属性情報を算出する（ステップＳ４０４）。そして侵入物体検出部２４４は、算出された属性情報が、侵入物体が写っている領域から算出される属性基準値の範囲内に含まれるか否か判定する（ステップＳ４０５）。注目領域の属性情報が、属性基準値の範囲内に含まれる場合、侵入物体検出部２４４は、監視空間への侵入物体が存在すると判定し（ステップＳ４０６）、その後侵入物体存在判定処理を終了する。
一方、ステップＳ４０５において、注目領域の属性情報が属性基準値の範囲から外れる場合、侵入物体検出部２４４は、注目領域に設定されていない侵入物体候補領域が存在するか否か調べる（ステップＳ４０７）。そして注目領域に設定されていない侵入物体候補領域が存在すれば、侵入物体検出部２４４は、ステップＳ４０３〜Ｓ４０７の処理を繰り返す。一方、ステップＳ４０７において、注目領域に設定されていない侵入物体候補領域がなく、全ての侵入物体候補領域についてステップＳ４０３〜Ｓ４０６の処理が終了していれば、侵入物体検出部２４４は、侵入物体は存在しないと判定し（ステップＳ４０８）、その後侵入物体存在判定処理を終了する。
【００５７】
以上説明してきたように、本発明を適用した侵入物体検知装置は、監視画像との比較用の合成背景画像の各画素値を、監視画像の各画素をその画素値に最も近い部分背景モデルの代表画素値で近似した値とする。そのため、この侵入物体検知装置は、監視空間内の背景構造物の形状が変化する場合でも、基準となる合成背景画像を適切に作成できる。このとき画素単位で近似を行うことにより、少ない記憶容量及び少ない演算量で多くの背景構造物の形状変化に対応できる。仮に画像単位または領域単位で近似を行うとすれば、必要な記憶容量及び演算量は膨大となろう。
そしてこの侵入物体検知装置は、各画素について、その画素及び周囲の画素を含む局所領域単位で算出された監視画像と合成背景画像の正規化相関値に基づいて、監視空間内に侵入物体が存在するか否かを判定する。そのため、この侵入物体検知装置は、周辺における監視画像と合成背景画像の画素値パターンが異なる画素のみを侵入物体が写っている候補として検出できる。従って、この侵入物体検知装置は、照度変動により画素値が急激に変動してその画素値が背景モデルと乖離する画素を侵入物体として誤検出することを防止できる。特に、背景構造物の形状変化と急激な照度変動が生じても、この侵入物体検知装置はこれらを侵入物体として誤検出することを防止できる。このとき、背景モデルから合成背景画像を生成することにより、監視画像と背景モデルとを局所領域単位で比較することが可能となっている。
【００５８】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、個々の部分背景モデルを、正規分布の代わりにラプラス分布で表し、背景モデルを、そのラブラス分布の重み付け和としてもよい。
【００５９】
また、他の実施形態では、背景モデルを、正規化ヒストグラムにて表してもよい。この場合、背景モデル作成部２４０は、複数の監視画像の各画素について、画素値ごとの度数を計数して各度数を全度数で割ることにより、背景モデルを作成する。作成される背景モデルは、画素値ごとの出現確率を表す。この場合、背景モデル作成部２４０は、正規化ヒストグラムにおいて出現確率の極大値を一つ以上検出して、極大値が検出された画素値を代表画素値に設定する。なお、極大値が密集している場合には、それら極大値を平均した値を代表画素値としてもよい。また、背景モデル作成部２４０は、所定の画素値範囲（ビン）ごとの度数を計数して各度数を全度数で割ることにより、背景モデルを作成してもよい。この場合、背景モデル作成部２４０は、正規化度数が極大値を取るビンの画素値範囲の中央値、最小値または最大値、あるいは、そのビンに含まれる、計数された画素値の平均値、最頻値若しくは中央値を、代表画素値に設定してもよい。
またこの場合、信頼性判定部２４１は、代表画素値の出現確率が予め設定された閾値Tr2を超えていれば、その代表画素値は信頼性を有すると判定し、一方、その出現確率が閾値Tr2以下であれば、その代表画素値は信頼性を有さないと判定する。なお閾値Tr2は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率に設定される。例えば、閾値Tr2は、0.2に設定される。
また背景合成部２４２は、監視画像の各画素の値と代表画素値との距離を、マハラノビス距離の代わりに両画素値の差の絶対値とする。
【００６０】
また、他の実施形態によれば、侵入物体検知装置は、監視画像から侵入物体を検出する際に、侵入物体が写っている可能性が高い画素を前景画素として検出する背景差分部をさらに有してもよい。この場合において、相関値算出部２４３は、前景画素として検出された画素についてのみ相関値を算出することで、相関演算が実行される画素の数が減少するので、侵入物体検知装置は、演算量を大幅に軽減できる。
具体的には、背景差分部は、監視画像の各画素について、その画素値とその画素に対応する背景モデルとの距離Dを、（５）、（６）式に従って算出する。
背景差分部は、各画素におけるその距離Dを所定の閾値Tdとそれぞれ比較する。そして背景差分部は、その距離Dが所定の閾値Tdよりも大きい画素を前景画素とする。なお、閾値Tdは、例えば、2に設定される。
背景差分部は、各画素についての前景画素か否かの判定結果を相関値算出部２４３へ通知する。また背景差分部は、必要に応じて、各画素の画素値とのマハラノビス距離が最小となる部分背景モデルに対応する代表画素値を、背景合成部２４２へ通知する。
【００６１】
前景画素でない画素については、背景に相当する可能性が高い。そこで相関値算出部２４３は、演算負荷を抑制するため、背景差分部により前景画素であると判定された画素についてのみ（７）式に従って正規化相関値Cを算出する。その他の画素の正規化相関値Cは1に設定してもよい。
また、上記のように、背景差分部が前景画素を決定するために画素値と各部分背景モデルの平均値とのマハラノビス距離の最小値を求める処理は、背景合成部２４２が各画素の画素値を置換する代表画素値を決定するためにマハラノビス距離の最小値を求める処理と同一である。そこで、背景合成部２４２は、合成背景画像の各画素値を、背景差分部から通知された部分背景モデルの代表画素値としてもよい。
【００６２】
さらに他の実施形態によれば、信頼性判定部２４１は、各部分背景モデルが信頼性を有するか否かの判定基準を２段階で設定し、段階ごとの判定結果を出力してもよい。例えば、信頼度として、部分背景モデルN(xt;mi,σi2)に対する選出回数が用いられる場合、上記の閾値Tr1を50に設定した第１段階と、閾値Tr1を50よりも高い60に設定した第２段階とを用いる。
この場合、背景合成部２４２は、第１段階の判定基準を用いた信頼性判定により信頼性有りと判定された代表画素値との距離の最小値を求める。そして背景合成部２４２は、その最小値に対応する代表画素値を置換に用いる。一方、背景差分部は、第２段階の判定基準を用いた信頼性判定により信頼性有りと判定された代表画素値との距離を閾値Tdと比較して前景画素を検出する。これにより、背景差分部が、侵入物体が写っている画素を、背景合成部２４２等での処理対象とならないように分類してしまうことを防止できる。
【００６３】
また、侵入物体検知部２４４は、ラベリングを行わずに侵入物体候補画素の数が侵入物体像の面積に所定のマージンを加えた基準値を超えたときに侵入物体が存在すると判定することもできる。
【００６４】
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００６５】
１ 侵入物体検知装置
２ ローカルエリアネットワーク
３ コントローラ
４ 広域通信ネットワーク
５ 警備センタ装置
１０ 撮像装置
２０ 制御装置
２１ 画像インターフェース部
２２ 通信部
２３ 記憶部
２４ 画像処理部
２４０ 背景モデル作成部
２４１ 信頼性判定部
２４２ 背景合成部
２４３ 相関値算出部
２４４ 侵入物体検出部
【技術分野】
【０００１】
本発明は、監視空間を撮影した監視画像からその監視空間への侵入物体を検知する侵入物体検知装置に関する。特に、監視画像内に、急激な照度変動が生じる屋外等の環境下で使用される侵入物体検知装置に関する。
【背景技術】
【０００２】
従来より、監視空間を撮影した監視画像から監視空間へ侵入する移動物体を検出するために、画素値の統計的な特徴量を用いて、背景と前景を切り分ける方法がある（例えば、特許文献１を参照）。このような方法では、例えば、過去に観測され、蓄積された監視画像内の各画素の画素値などの統計情報に基づいて作成された、「背景モデル」と呼ばれるモデルを使用する。背景モデルは、画素ごとに、「この画素はこの輝度となることが多い若しくは少ない」ということを表す各輝度の出現度合いの組からなる。そして、背景と前景の切り分けを行う画像における注目画素の画素値が、対応する背景モデルにおいて出現度合いが高ければ、その注目画素は背景であると判定され、出現度合いが低ければ、その注目画素は前景であると判定される。特許文献１には、画素ごとに過去の観測結果に基づく出現頻度を保持することで、背景の画素値の分布範囲を学習し、背景の画素値の分布範囲から外れる現フレームの画素を移動物体が写っている画素と判定する方法が開示されている。これにより、特許文献１に開示の技術は、屋外等において背景の明るさが緩やかに変化することで背景領域内の画素の画素値に変動が生じても、監視画像中に写った動物体の像を背景から分離し、抽出することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０５−０３５８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、屋外等において監視空間の照度が緩やかにばかり変動するとは限らない。例えば、雲の動きや草木の動きと太陽の位置関係によっては、監視空間の一部または全体において照度が急激に変動することがある。他方、監視空間内に侵入した物体によっても、監視画像上の画素値は急激に変動する可能性が高い。そのため、急激な照度変動を取り込むように背景モデルを作成しようとすると、侵入物体による画素値変動も背景モデルに含まれてしまい、その結果、侵入物体の検知精度が低下してしまう。
【０００５】
また、屋外等に設定された監視空間では、急激な照度変動と同時に、監視空間内の草木または旗の揺れなど、背景構造物の形状変化が生じることもある。このような場合、急激な照度変動による画素値の変化に、背景構造物の変形による画素値の変化も加わる。そのため、画素値の変動幅が大きくなり、その画素値が背景モデルにより表される画素値の分布範囲から外れる可能性が高くなってしまう。その結果として、従来技術では、背景構造物の変形を侵入物体として誤検出してしまうおそれがあった。
【０００６】
そこで、本発明の目的は、監視空間内での急激な照度変動が生じても、その照度変動を侵入物体として誤検出することを防止できる侵入物体検知装置を提供することにある。
【課題を解決するための手段】
【０００７】
かかる課題を解決するための本発明は、監視空間を撮像した監視画像から、侵入物体を検出する侵入物体検知装置が提供される。係る侵入物体検知装置は、監視空間を撮像して監視画像を生成する撮像部と、複数の監視画像の各画素における画素値の出現確率分布を表す背景モデル、及び背景モデルごとに出現確率が略極大値を示す１以上の画素値を代表画素値として記憶する記憶部と、監視画像の注目画素の画素値を、注目画素に対応する背景モデルの代表画素値にて置換することにより合成背景画像を生成する背景合成部と、監視画像の注目画素及び注目画素の近傍に位置する複数の画素を含む局所領域を設定し、局所領域における監視画像と局所領域における合成背景画像の相関値を注目画素の相関値として算出する相関値算出部と、相関値が所定の閾値以下となる画素を検出し、検出された画素を用いて監視空間に侵入物体が存在するか否かを判定する侵入物体検出部とを有する。
【０００８】
また、記憶部は、背景モデルとして出現確率分布の互いに異なる一部の分布範囲を表す複数の部分背景モデル、及び代表画素値として部分背景モデルごとに分布範囲にて略極大値を示す画素値を記憶し、背景合成部は、監視画像の注目画素に対応する部分背景モデルの代表画素値のうち、注目画素の画素値に最も近い代表画素値にて置換を行うことが好ましい。
【０００９】
さらに、かかる侵入物体検知装置は、部分背景モデルが表す出現確率分布の信頼度を求め、信頼度が所定の基準を満たすときに部分背景モデルの代表画素値に信頼性があると判定する信頼性判定部をさらに有し、背景合成部は、信頼性判定部により信頼性があると判定された代表画素値の中から置換に用いる代表画素値を選択することが好ましい。
【００１０】
また、かかる侵入物体検知装置は、監視画像の各画素の画素値と、その画素に対応する部分背景モデルのそれぞれとの距離を算出し、それら距離のうちの最小値を決定する背景差分部をさらに有することが好ましい。この場合において、相関値算出部は、画素値と部分背景モデルとの距離の最小値が所定の距離閾値を超える画素についてのみ、相関値を算出することが好ましい。
【発明の効果】
【００１１】
本発明にかかる侵入物体検知装置は、監視空間内での急激な照度変動が生じても、その照度変動を侵入物体として誤検出することを防止できるという格別の効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明を適用した侵入物体検知装置を利用する画像監視システムの全体システム構成を示す図である。
【図２】本発明の一実施形態にかかる侵入物体検知装置の概略構成図である。
【図３】一つの画素に対する背景モデルの一例を示す図である。
【図４】図３に示した背景モデルの各パラメータを含むテーブルの一例を示す図である。
【図５】監視画像と合成背景画像の関係を示す概念図である。
【図６】侵入物体検出処理の全体動作を示すフローチャートである。
【図７】背景合成処理のフローチャートである。
【図８】正規化相関値算出処理のフローチャートである。
【図９】侵入物体存在判定処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明にかかる侵入物体検知装置を用いた屋外用画像監視システムについて図を参照しつつ説明する。
本発明を適用した侵入物体検知装置は、監視空間である庭を撮影した監視画像と、監視画像の各画素における、背景に相当する画素値の出現確率を表す背景モデルから、監視空間内に侵入した侵入物体である侵入者を検知する。特に、この侵入物体検知装置は、監視画像の各画素を背景モデルが表す背景に相当する画素値範囲の代表値で近似した合成背景画像を作成するとともに、複数の画素を含む局所領域単位での監視画像と合成背景画像の一致度合いを調べることで、照度変動及び背景構造物の形状変化による侵入物体の誤検出を防ぐ。
【００１４】
図１は、本発明を適用した画像監視システム１０００の全体システム構成を示す図である。図１に示すように、画像監視システム１０００は、少なくとも一つの侵入物体検知装置１と、コントローラ３と警備センタ装置５とを有する。そして侵入物体検知装置１とコントローラ３とは、監視空間またはその近傍に設置され、無線または有線のローカルエリアネットワーク２により接続される。一方警備センタ装置５は、遠隔地にある警備センタに設置され、公衆電話回線などの広域通信ネットワーク４を介してコントローラ３と接続される。
そして侵入物体検知装置１が、監視空間内に侵入した侵入物体を検知すると、侵入物体を検知したことを示す検知信号を、ローカルエリアネットワーク２を通じてコントローラ３へ送信する。コントローラ３は、侵入物体検知装置１から検知信号を受信すると、検知信号及び侵入物体が検知された監視空間を特定する識別コードなどの情報を警備センタ装置５へ送信する。なお、侵入物体が検知された監視空間を特定する識別コードは、例えば、侵入物体検知装置１または対応する監視空間若しくはコントローラ３の識別コードなどとすることができる。
【００１５】
図２に、侵入物体検知装置１の概略構成を示す。侵入物体検知装置１は、例えば、画像センサとして構成され、撮像装置１０と制御装置２０とを有する。
【００１６】
撮像装置１０は、侵入物体の検知を行う監視空間を撮影し、監視画像を取得する。そのために、撮像装置１０は、ＣＣＤ、Ｃ−ＭＯＳセンサなどの光電変換器で構成された２次元検出器と、その２次元検出器上に監視空間の像を結像する結像光学系などで構成される。また撮像装置１０は、ＮＴＳＣタイプのカメラでもよく、あるいはハイビジョン対応などの高解像度タイプのデジタルカメラでもよい。撮像装置１０は固定設置され、視野は一定に保たれる。そして撮像装置１０は、一定の時間間隔（例えば１／５秒）ごとに撮影を行い、監視画像を取得する。なお、以下では、便宜上、撮像装置１０が監視画像を取得する時間間隔で刻まれる時間の単位を時刻と称する。
監視画像は、各画素が例えば0〜255の画素値を有するデジタル画像データとして表現される。なお、撮像装置１０は、監視画像をカラー画像として作成してもよい。
撮像装置１０は、監視画像を取得する度に、その監視画像を制御装置２０へ送信する。
【００１７】
制御装置２０は、画像インターフェース部２１と、通信部２２と、記憶部２３と、画像処理部２４とを有する。
【００１８】
画像インターフェース部２１は、撮像装置１０と制御装置２０とを接続するためのインターフェースであり、IEEE1394、USB2.0、NTSC、イーサネット（登録商標）などの規格に準じる通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。そして画像インターフェース部２１は、撮像装置１０から監視画像を受信し、その監視画像を制御装置２０の各部へ出力する。
【００１９】
通信部２２は、侵入物体検知装置１をローカルエリアネットワーク２に接続するためのインターフェースであり、イーサネット（登録商標）、IEEE1394b、IEEE802.11などの通信規格に準じる通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。そして通信部２２は、画像処理部２４から受け取った検知信号、侵入物体が検知された監視空間の識別コードなどをローカルエリアネットワーク２を介してコントローラ３へ送信する。
【００２０】
記憶部２３は、半導体メモリ、磁気ディスク（ＨＤＤ）、またはＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどの光ディスクドライブおよびその記録媒体により構成される。そして記憶部２３は、制御装置２０の動作を制御するソフトウェア、パラメータ、制御装置２０の各種処理で使用される情報、背景モデルを規定する各パラメータなどを記憶する。そして、記憶部２３は、制御装置２０の各部からの要求に応じて、必要な情報を提供する。
【００２１】
画像処理部２４は、デジタル信号プロセッサ、マイクロコントロールユニットまたは数値演算プロセッサなどの演算装置及びその周辺回路を有する。そして画像処理部２４は、監視画像を解析することにより、監視空間内に侵入物体が存在するか否かを判定する。そして画像処理部２４は、監視空間内に侵入物体が存在すると判定すると、そのことを示す検知信号等を通信部２２へ出力する。
そのために、画像処理部２４は、背景モデル作成部２４０と、信頼性判定部２４１と、背景合成部２４２と、相関値算出部２４３と、侵入物体検出部２４４とを有する。画像処理部２４が有するこれらの各部は、画像処理部２４が有する演算装置上で動作するソフトウェアモジュールとして実装される。
【００２２】
背景モデル作成部２４０は、背景モデルを作成または更新する。背景モデルは、監視画像の各画素において撮像される画素値の分布を表す統計情報である。背景モデルは、過去に撮像された複数の監視画像を、画素ごとに統計分析することで作成される。監視空間に侵入物体が存在しないときの監視画像が背景モデルの作成に用いられ、または出現頻度の低い画素値の情報が淘汰されることで、背景モデルは背景の画素値の分布を表す。本実施形態において、各背景モデルは複数の正規分布の和で一つの分布を表す混合正規分布によりモデル化される。各背景モデルは画素値ごとの出現確率分布を表すことになる。具体的には、背景モデルは、次式により表される。
【数１】
ここでxは、注目画素の画素値であり、P(x|B)は、注目画素が背景Bであるときに注目画素の画素値がxとして観測される確率である。またN(x;mi,σ2i)は、画素値xの確率密度を表す、確率に関する画素値の平均値がmi、分散がσ2iであるi番目(i=1,2,...,K)の正規分布である。この正規分布N(x;mi,σ2i)は、注目画素の画素値の出現確率分布の互いに異なる一部（部分分布）を表すものであるため、以下では、この正規分布N(x;mi,σ2i)を部分背景モデルと呼ぶ。またwiは、i番目の正規分布に対する重み係数であり、w1からwKまでの総和が1となるように設定される。そしてKは、注目画素の背景モデルに含まれる正規分布の総数を表し、1以上の整数に設定される。
【００２３】
図３に、背景モデルの一例を示す。図３において、監視画像３００の画素３０１に対する背景モデル３１０は、横軸が画素値で縦軸が出現確率を表すグラフにより表現される。この例では、背景モデル３１０は、３個の部分背景モデル３１１〜３１３を有し、各部分背景モデル３１１〜３１３は、それぞれ、画素値m1〜m3を中心とする正規分布となっている。画素３０１に背景が写っている場合、画素３０１の画素値は、これら部分背景モデル３１１〜３１３に従った出現確率で現れる。したがって、図３に示されるように、画素３０１に背景が写っている場合、画素３０１の画素値は、m3となる確率が最も高い。一方、ある時点において取得された監視画像中の画素３０１の画素値が、各部分背景モデル３１１〜３１３の何れについても低い出現確率となっている場合には、画素３０１には、監視空間に侵入した侵入物体など、背景以外の物が写っている可能性が高いことになる。
【００２４】
背景モデル作成部２４０は、背景モデルの更新について、例えば、島田、有田、谷口、「混合ガウス分布による動的背景モデルの分布数増減法」、MIRU2006、2006年、に開示されているオンラインＥＭ法を用いた背景モデルの作成または更新方法を利用できる。具体的には、背景モデル作成部２４０は、以下の手順に従って背景モデルを更新する。
【００２５】
まず、注目する画素について、K個の部分背景モデルを準備する。部分背景モデルの一つには、平均値として最初の監視画像の画素値を初期設定し、分散及び重みとして予め定められた一定値をそれぞれ初期設定する。残り(K-1)個の部分背景モデルには、平均値として最初の監視画像の画素値に一定のオフセット値またはランダム値を加算または減算した値を初期設定し、分散として上記一定値を初期設定し、重みとして、上記の一つの部分背景モデルに設定される重みに対して極めて小さな値を初期設定する。
ここで、時刻tにおいて新たな監視画像が得られると、背景モデル作成部２４０は、重み係数wiを、以下に示す（２）式に従って更新する。
【数２】
ここで、M0iは0または1の何れかの値を取る変数である。そして背景モデル作成部２４０は、i番目の部分背景モデルN(xt;mi,σi2)について、miとxtとのマハラノビス距離の絶対値が一定値以下であれば、変数M0iを1に設定し、そうでないならば0に設定する。この一定値は、例えば、2.5に設定される。なお、更新後においても、wi(i=1,2,...,K)の総和が1となるように更新される。また、αは学習率であり、この値を大きくするほど新たに取得された画素値を背景モデルに反映させ易くなる。
【００２６】
次に、変数M0iの値が1であるN(xt;mi,σi2)について、背景モデル作成部２４０は、新たに取得された画素値xtを用いて、平均mi、分散σi2を、それぞれ下記の（３）、（４）式にしたがって更新する。
【数３】
ここで、βは、N(xt;mi,σi2)にαを乗算したものである。
【００２７】
背景モデル作成部２４０は、各画素について、上記の（２）〜（４）式に従って部分背景モデルの各パラメータを更新することにより、各画素の部分背景モデルを更新する。なお、背景モデル作成部２４０は、各画素について、部分背景モデルの数を増減させてもよい。この場合、背景モデル作成部２４０は、上記の「混合ガウス分布による動的背景モデルの分布数増減法」に開示されている方法に従って、部分背景モデルの数を変更できる。
【００２８】
次に、背景モデル作成部２４０は、背景モデルが表す分布の特徴を代表する画素値、すなわち、背景が取り得る画素値範囲を代表する画素値である代表画素値γiを決定する。背景モデル作成部２４０は、各部分背景モデルN(xt;mi,σi2)の平均値miを代表画素値γi（部分代表画素値）に設定する。例えば、背景モデルが表す分布において、出現確率が極大値を示す１以上の画素値が代表画素値に設定される。
【００２９】
背景モデル作成部２４０は、新たな監視画像が取得される度に、背景モデルを更新する。あるいは、背景モデル作成部２４０は、一定の間隔（例えば、1秒間、10秒間あるいは1分間）で取得された監視画像を用いて背景モデルを更新してもよい。また、背景モデル作成部２４０は、最新の監視画像に対して侵入物体が検出されている場合、その最新の監視画像を背景モデルの更新に使用しないようにしてもよい。
背景モデル作成部２４０は、更新した各画素の背景モデルに含まれる部分背景モデルを規定する各パラメータmi、σi2、重み係数wi及び代表画素値γiを記憶部２３に記憶する。
【００３０】
信頼性判定部２４１は、各部分背景モデルの代表画素値について、真に背景を表しているという信頼性を有しているか否かを判定し、その判定結果を対応する代表画素値に関連付けて記憶部２３に記憶する。
代表画素値が部分背景モデルごとに設定されている本例の場合、部分背景モデルの信頼性の有無が代表画素値の信頼性の有無となる。信頼性判定部２４１は、注目する画素のi番目の部分背景モデルN(xt;mi,σi2)の信頼性の有無を、以下の何れかの判定基準の少なくとも一つに従って判定する。
（１）信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)に対する選出回数を、その部分背景モデルが背景に相当する画素の出現確率を表すことの確からしさを示す信頼度とし、その選出回数が多いほど、信頼性が高いと判定する。この場合、背景モデルが作成されたときに各部分背景モデルに対する選出回数は0に初期化される。そして信頼性判定部２４１は、背景モデルが更新される度に、背景モデルの更新に用いられた画素値とのマハラノビス距離が最も近い部分背景モデルの平均値を決定し、その平均値に対応する部分背景モデルに対する選出回数を1インクリメントする。そして信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)について、対応する選出回数が所定の閾値Tr1以上であれば、その部分背景モデルN(xt;mi,σi2)は信頼性を有すると判定する。一方、対応する選出回数が所定の閾値Tr1未満であれば、信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)は信頼性を有さないと判定する。なお選出回数は、直近の一定期間（例えば、１分間あるいは１０分間）に取得された監視画像に限定してカウントされてもよい。これにより、監視空間の環境条件が時間的に変化することにより、背景に相当する画素値が変動する場合でも、信頼性判定部２４１は、各部分背景モデルの信頼性を正確に評価できる。
【００３１】
ここで、注目画素に、建造物など変形しない構造物が写っている場合、注目画素の画素値は定常的に所定の値となる。一方、注目画素に、植栽または旗のような変形する物体が写っている場合、注目画素の画素値は、反復的に異なる複数の値となる。また、注目画素に、侵入物体が写っている場合、注目画素の画素値は一時的な値となる。そのため、背景に相当する画素値の出現頻度は高くなる。一方、侵入物体に相当する画素値の出現頻度は低くなる。出現頻度が高い画素値の分布を表す部分背景モデルほど、多く選出されるのであるから、選出回数が多い部分背景モデルほど、真に背景を現している信頼性が高いと推定される。
なお、閾値Tr1は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に設定される。例えば、その滞在期間の上限値が10秒間であれば、閾値Tr1は、10秒間に取得される監視画像の数、例えば50に設定される。
【００３２】
（２）信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)に対応する重み係数wiを信頼度とし、重み係数wiが所定の閾値Tr2よりも大きければ、その部分背景モデルN(xt;mi,σi2)は信頼性を有すると判定し、一方、重み係数wiが所定の閾値Tr2以下であれば、その部分背景モデルN(xt;mi,σi2)は信頼性を有さないと判定する。
重み係数wiは、（２）式から明らかなように、対応する部分背景モデルN(xt;mi,σi2)にマッチする画素値の出現頻度が高いほど大きな値となる。そして重み係数の総和は1に設定される。そのため、重み係数wiは、部分背景モデルN(xt;mi,σi2)が監視画像の注目画素に現れる事前確率に相当する。従って、対応する重み係数が大きい部分背景モデルほど、真に背景を表している信頼性が高いと推定される。
なお、閾値Tr2は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率に設定される。例えば、閾値Tr2は、0.2に設定される。あるいは、閾値Tr2は、注目画素に写る背景を部分的に表すに足る事前確率に相当する値、例えば、0.3に設定されてもよい。
【００３３】
（３）信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)について、wi/σi2を信頼度とし、wi/σi2が所定の閾値Tr3よりも大きければ、その部分背景モデルN(xt;mi,σi2)は信頼性を有すると判定し、一方、wi/σi2が所定の閾値Tr3以下であれば、その部分背景モデルN(xt;mi,σi2)は信頼性を有さないと判定する。
分散σi2が小さいほど、対応する部分背景モデルN(xt;mi,σi2)に相当する画素値のバラツキは小さいので、その部分背景モデルN(xt;mi,σi2)が注目画素に写る背景の特定の構造物に相当する画素値を表している可能性は高い。したがって、wi/σi2が大きい部分背景モデルほど、真に背景を表している信頼性が高いと推定される。
なお、閾値Tr3は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率と、実験的に定められる画素値のバラツキの上限に相当する分散値との比、例えば、0.03に設定される。あるいは、閾値Tr3は、注目画素に写る背景を部分的に表すに足る事前確率に相当する値と、実験的に定められる画素値のバラツキの下限に相当する分散値との比に設定されてもよい。
【００３４】
（４）信頼性判定部２４１は、部分背景モデルN(xt;mi,σi2)に対応する重み係数wiを信頼度とし、その重み係数wiを大きい方から順に足し合わせた合計値を所定の選出閾値Tsと比較する。そしてj番目の重み係数wjを足し合わせたときに、その合計値が選出閾値Tsを最初に超えた場合、信頼性判定部２４１は、そのj番目に大きい重み係数wjに対応する部分背景モデルN(xt;mj,σj2)及びwjよりも大きい重み係数に対応する部分背景モデルは信頼性を有すると判定する。一方、重み係数wjよりも小さい重み係数に対応する部分背景モデルは選出される可能性が小さく、背景に相当する画素値を表していない可能性が高い。そこで信頼性判定部２４１は、重み係数wjよりも小さい重み係数に対応する部分背景モデルは信頼性を有さないと判定する。
なお、閾値Tsは、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率0.2を1.0から減じた値、すなわち0.8に設定される。
【００３５】
信頼性判定部２４１は、上記の判定基準のうち、何れか一つに従って、各部分背景モデルの信頼性の有無を判定する。あるいは、信頼性判定部２４１は、上記の判定基準のうち、二つ以上の判定基準に従って各部分背景モデルの信頼性の有無を判定してもよい。この場合、信頼性判定部２４１は、二つ以上の判定基準のうち、何れか一つでも信頼性が無いと判定された部分背景モデルについては、信頼性が無いとする。
信頼性判定部２４１は、各部分背景モデルに対する信頼性判定結果を、対応する部分背景モデルと関連付けて記憶部２３に記憶する。
【００３６】
図４は、記憶部２３に記憶された、図３に示した背景モデル３１０の各パラメータを含むテーブルの一例を示す図である。
背景モデルテーブル４００には、左の列から順に、部分背景モデルの識別番号、平均値mi、分散値σi2、対応する重み係数wi、代表画素値γi及び部分背景モデルに対する信頼性判定結果を表す判定フラグが含まれる。なお、判定フラグは、例えば、信頼性有りと判定された部分背景モデルに対して'1'に設定され、信頼性無しと判定された部分背景モデルに対して'0'に設定される。また各行には、一つの部分背景モデルのパラメータが含まれる。例えば、行４０１を参照すると、識別番号1の部分背景モデルについて、平均値m1=180、分散値σ12=100、重み係数w1=0.5、代表画素値γ1=180、信頼性有りであることが示されている。
【００３７】
背景合成部２４２は、監視画像から侵入物体を検出する際の基準となる合成背景画像を生成する。背景合成部２４２は、監視画像の各画素を、当該画素の背景モデルに含まれる何れかの部分背景モデルの代表画素値で置換することにより合成背景画像を生成する。このようにして生成される合成背景画像は、処理対象の監視画像取得時における監視空間内の構造物の形状に応じた背景を近似した画像となる。
背景合成部２４２は、監視画像の各画素の画素値を、当該画素値に最も近い代表画素値で置換することにより、合成背景画像を作成する。
具体的には、背景合成部２４２は、次式に従って注目する画素の画素値xと部分背景モデルN(x;mi,σi2)とのマハラノビス距離di(i=1,2,...,K)、及びその最小距離Dを算出し、注目する画素の画素値xを、最小距離Dが算出された部分背景モデルの代表画素値で置換する。
【数４】
ここで関数min(d1,d2,..,dK)は、変数d1,d2,..,dKのうちの最小値を出力する関数である。なおKは、注目する画素の背景モデルに含まれる部分背景モデルの総数を表す。
監視画像の画素値と代表画素値の距離は、L2距離として算出することもできるが、L2距離をσiにより正規化したマハラノビス距離として算出することにより、個々の部分背景モデルが表す部分分布の広がりの違いが加味される。換言すると、部分背景モデルとその代表画素値を正規分布とその平均値に設定することで分布状態を加味したより正確な近似が可能となっているのである。
例えば、注目する画素の背景モデルが図４の背景モデルテーブル４００で表され、当該画素の画素値との距離が最小となる部分背景モデルの識別番号が'1'である場合、背景合成部２４２は、合成背景画像における当該画素の画素値を、識別番号'1'に対応する代表画素値である'180'とする。
【００３８】
なお、背景合成部２４２は、（５）式において、記憶部２３に記憶されている背景モデルテーブルの判定フラグを参照することにより、信頼性有りと判定されている部分背景モデルと画素値xとのマハラノビス距離diのみを関数min()の変数とすることが好ましい。これにより、距離Dによって観測された画素値と背景に相当する画素値との距離が正確に表わされる可能性が高くなる。
背景合成部２４２は、作成した合成背景画像を相関値算出部２４３へ渡す。
【００３９】
相関値算出部２４３は、監視画像の画素ごとに、当該画素を含む局所領域を設定し、局所領域における監視画像と合成背景画像の正規化相関値を算出し、各画素の正規化相関値Cを侵入物体検出部２４４へ通知する。
注目する画素の正規化相関値Cは、次式により算出される。
【数５】
ここでRは、局所領域を表す。局所領域は、局所的な背景の構造、例えば、草木の葉、幹などの形状が表される程度の大きさに設定される。例えば、局所領域Rは、注目画素を中心とするL×L画素の矩形領域、直径L画素の円形領域、あるいは縦L画素、横L画素の十字型領域（ただし、Lは、例えば３または５）とすることができる。また局所領域Rでは、縦方向と横方向のサイズが異なっていてもよい。xijは、監視画像上の局所領域Rに含まれる画素の画素値を表し、Axは、監視画像上の局所領域R内に含まれる画素の平均画素値を表す。またbijは、合成背景画像上の局所領域Rに含まれる画素の画素値を表し、Abは、合成背景画像上の局所領域R内に含まれる画素の平均画素値を表す。
この正規化相関値Cの値域は、-1〜1であり、監視画像と合成背景画像の同一領域内の画素値パターンが似ているほど、正規化相関値Cの値は1に近づく。逆に、監視画像と合成背景画像の同一領域内の画素値パターンが異なるほど、正規化相関値Cの値は小さくなり、両画像の同一領域内の画素値パターンが反転している場合に正規化相関値Cの値は-1となる。
このようにして算出される正規化相関値Cは、急激な照度変動の影響を受けずに侵入物体と背景とを切り分けることを可能にする。以下、このことについて説明する。
【００４０】
監視空間内に急激な照度変動がないときに撮像された監視画像において、背景が写っている画素に対しては、その画素値と近い代表画素値が存在する。つまり、合成背景画像において当該画素は高い精度で近似される。そのため、急激な照度変動がないときに撮像された監視画像において背景が写っている局所領域では高い正規化相関値が算出される。
他方、急激な照度変動がないときに撮像された監視画像において侵入物体が写っている画素に対しては、その画素値と近い代表画素値が存在する可能性は低い。つまり、合成背景画像において当該画素の近似精度は低い。そのため、急激な照度変動がないときに撮像された監視画像において侵入物体が写っている局所領域では低い正規化相関値が算出される。
【００４１】
一方、急激な照度変動が生じたときに撮像された監視画像において、その照度変動の影響を受けた画素が何れの代表画素値からも遠くなることがある。そのため、急激な照度変動が生じた部分では、画素単位でみると、合成背景画像の近似精度は低くなり得る。
ただし、照度変動が生じた部分に対応する監視画像上の領域では、一様に画素値が変動する。例えば、日が当たっていた部分に急激に日が当たらなくなると、その部分に対応する監視画像上の領域内の各画素の値が、それまでと比較してほぼ同程度だけ低くなる。すなわち、照度変動が生じた部分に対応する領域内でも、背景が写っている限り、画素値パターン（近傍画素との画素値の相対関係）は、合成背景画像において再現される。そのため、照度変動が生じたとしても、背景が写っている局所領域では、高い正規化相関値が算出されるのである。他方、侵入物体が写っている局所領域では、合成背景画像上で画素値パターンは再現されないため、低い正規化相関値が算出される。
【００４２】
図５を参照しつつ、この様子を説明する。図５において、画像５００は監視画像であり、部分画像５１０は、監視画像５００において背景が写っている一部領域を拡大表示したものである。この部分は急に暗くなったものとする。また画像５２０は、監視画像５００に基づいて作成された合成背景画像であり、部分画像５３０は、合成背景画像５２０中の部分画像５１０に対応する領域を拡大表示したものである。
部分画像５１０中の画素５１１に対応する背景モデル５５０が、３個の部分背景モデル５５１〜５５３によって構成されている。このとき、画素５１１の画素値xと各部分背景モデルの平均値m1〜m3とのマハラノビス距離のうち、部分背景モデル５５１の平均値m1とのマハラノビス距離が最も近い。そのため、合成背景画像５２０において画素５１１と対応する画素５３１の画素値は、部分背景モデル５５１の代表画素値γ1(=m1)に設定される。このように、画素５３１には画素５１１より輝度の高い画素値が設定されるが、近傍の画素でも同程度だけ輝度の高い画素が設定される。これは、近傍の画素の背景モデルも背景モデル５５０と同じ環境で生成されているためである。その結果、部分画像５３０は、部分画像５１０よりも全体的に明るくなるものの、背景である木などの画素値パターンは、部分画像５１０と部分画像５３０とで互いに類似している。そのため、部分画像５３０の局所領域５３２と部分画像５１０の局所領域５１２との正規化相関値（つまり、画素５１１の正規化相関値）は高い値となる。
【００４３】
一方、監視画像５００上に写っている侵入者像５１５は、合成背景画像５２０上で再現されていない。そのため、侵入者像５１５内の各画素についての正規化相関値は他の画素よりも低くなる。従って、各画素についての正規化相関値を画像５４０として表せば、画像５４０上では侵入者像５１５に対応する領域５４５に含まれる画素の正規化相関値と、他の画素の正規化相関値は大きく異なることになる。
【００４４】
なお、（７）式のVの値が0または実質的に0であることを表す閾値Tv以下である場合、相関値算出部２４３は、正規化相関値Cを-1とする。Vの値が非常に小さいということは、対応する局所領域内の画素値の分散も非常に小さいので、その局所領域にほぼ一様で明るさの変化が少ない構造が写っていることになる。そのため、相関値算出部２４３は正規化相関値C自体に信頼性がないと推定し、そのような正規化相関値Cを持つ画素に侵入物体が写っていても、侵入物体を検知し損ねないように、その局所領域における正規化相関値Cも相関が無いこと（侵入物体が存在すること）に対応する値に設定するものである。
【００４５】
侵入物体検出部２４４は、各画素の正規化相関値Cに基づいて、監視空間内に侵入物体が存在するか否かを判定する。そして侵入物体検出部２４４は、監視空間内に存在する侵入物体を検知した場合、通信部２２を介して、侵入物体を検知したことを示す検知信号をコントローラ３へ出力する。
上記のように、正規化相関値Cが低いほど、その画素には背景以外のもの、例えば侵入物体が写っている可能性が高い。そこで侵入物体検出部２４４は、正規化相関値Cが所定の閾値Tc以下となる画素を侵入物体候補画素として検出し、侵入物体候補画素に基づいて侵入物体の存在を判定する。なお、所定の閾値Tcは、例えば、0.7に予め設定される。
侵入物体検出部２４４は、侵入物体候補画素に対してラベリング処理を行い、互いに近接した侵入物体候補画素群を一つの侵入物体候補領域として連結する。そして侵入物体検出部２４４は、互いに独立した侵入物体候補領域、すなわち、互いに連結されない侵入物体候補領域ごとに異なるラベルを付す。なお、ラベリング処理は公知の技術であるので、ここでは詳細な説明は省略する。
【００４６】
侵入物体検出部２４４は、侵入物体候補領域ごとに、面積、すなわち、その領域に含まれる画素数を算出する。そして、侵入物体検出部２４４は、算出した面積が検出対象として想定される侵入物体の大きさに相当する面積範囲内であれば、その領域は侵入物体に相当するものとする。
上記面積は、侵入物体候補領域の侵入物体らしさを表す属性情報の一つである。属性情報には、他にも、侵入物体候補領域の縦横比、輝度分散値などのテクスチャ情報若しくは色情報、複数の監視画像に渡って検出された侵入物体候補領域をトラッキングすることで求められる移動速度などを含めることができる。なお、本実施形態においては、様々な公知の属性情報を利用でき、その算出方法も公知であるので、属性情報の算出方法の詳細な説明は省略する。
【００４７】
また上記面積範囲は、属性情報が、侵入物体が写っている領域から算出される属性情報に相当する値の範囲に含まれるか否かを判定するために予め設定される属性基準値の一つである。侵入物体検出部２４４は、属性情報がその属性情報に対応する属性基準値の範囲内であれば侵入物体が存在すると判定する。例えば、侵入物体候補領域の縦横比が属性情報であれば、それに対応する属性基準値は1/3:1〜3:1の範囲と設定される。
なお、侵入物体検出部２４４は、属性情報が属性基準値の範囲内か否か判定するために、様々な公知の方法を利用することができる。例えば、侵入物体検出部２４４は、特開２００１−２４３４７５号公報に開示されるように、「侵入物体らしさ」を表す類似度をファジー理論のメンバシップ関数を用いて算出し、得られた類似度が所定の閾値以上となれば、属性情報が属性基準値の範囲内であると判定してもよい。
【００４８】
図６のフローチャートを参照しつつ、画像処理部２４による侵入物体検知処理の全体動作を示す。
【００４９】
まず、監視空間が無人であることを確認した管理者が侵入物体検知装置１の電源を投入すると、侵入物体検知装置１は起動する。そして予め設定された起動後の準備期間（例えば、1分間）中に、画像処理部２４の背景モデル作成部２４０は各画素の背景モデルを初期化する。すなわち、背景モデル作成部２４０は、準備期間中、一時刻目に取得された監視画像に基づいて背景モデルの初期値を記憶部２３に記憶させ、その後の時刻に取得された複数の監視画像を用いて背景モデルを順次更新することにより、各背景モデルを初期化する。また背景モデル作成部２４０は、初期化された背景モデルの代表画素値を決定して、対応する背景モデルと関連付けて記憶部２３に記憶させる。また画像処理部２４の信頼性判定部２４１は、各背景モデルの代表画素値の信頼性の有無を判定し、その判定結果を記憶部２３に記憶させる。
【００５０】
準備期間が終了すると、画像処理部２４は、侵入物体検知処理を開始する。なお、以下の動作は、監視画像が取得される度に実行される。
画像処理部２４は、画像インターフェース部２１を介して撮像装置１０から監視画像を取得する（ステップＳ１０１）。そして画像処理部２４の背景合成部２４２は、背景モデルを用いて監視画像の各画素を近似することにより合成背景画像を生成する（ステップ１０２；詳細は図７を参照して後述）。そして背景合成部２４２は、作成した合成背景画像を画像処理部２４の相関値算出部２４３へ渡す。
相関値算出部２４３は、監視画像と合成背景画像の各画素について、その画素を含む局所領域間の正規化相関値Cを算出する（ステップＳ１０３；詳細は図８を参照して後述）。相関値算出部２４３は、各画素の正規化相関値Cを画像処理部２４の侵入物体検出部２４４へ渡す。そして侵入物体検出部２４４は、各画素の正規化相関値Cに基づいて侵入物体存在判定処理を実行し（ステップＳ１０４；詳細は図９を参照して後述）、監視空間内に侵入物体が存在すると判定された場合（ステップＳ１０５にてＹｅｓ）、侵入物体検出部２４４は、通信部２２を介して、侵入物体を検知したことを示す検知信号をコントローラ３へ出力する（ステップＳ１０６）。
【００５１】
ステップＳ１０６の後、またはステップＳ１０５において監視空間内に侵入物体が存在しないと判定された場合、背景モデル作成部２４０は、最新の監視画像に基づいて、記憶されている各画素の背景モデルを更新する（ステップＳ１０７）。またこのとき背景モデル作成部２４０は、更新された背景モデルにあわせて代表画素値を更新する。また信頼性判定部２４１は、更新された代表画素値の信頼性の有無を判定し（ステップＳ１０８）、その判定結果を対応する代表画素値に関連付けて記憶部２３に記憶させる。
その後、画像処理部２４は、１枚の監視画像に対する侵入物体検知処理を終了する。
【００５２】
図７は、背景合成処理のフローチャートである。
背景合成部２４２は、監視画像の各画素のうち、注目画素に設定されていない画素を注目画素に設定する（ステップＳ２０１）。そして背景合成部２４２は、記憶部２３から注目画素の背景モデル関連のパラメータを読み出す（ステップＳ２０２）。
次に、背景合成部２４２は、読み出した背景モデルの代表画素値のうち、注目代表画素値に設定されていない代表画素値を注目代表画素値に設定する（ステップＳ２０３）。そして背景合成部２４２は、読み出した背景モデルのパラメータを参照することにより、注目代表画素値が信頼性を有するか否か判定する（ステップＳ２０４）。注目代表画素値が信頼性を有する場合、背景合成部２４２は、注目画素の画素値と注目代表画素値との距離を、（６）式に従って算出する（ステップＳ２０５）。
ステップＳ２０５の後、あるいはステップＳ２０４にて注目代表画素値が信頼性を有さない場合、背景合成部２４２は、注目画素に対応する全ての代表画素値が注目代表画素値に設定されたか否か判定する（ステップＳ２０６）。
【００５３】
何れかの代表画素値が注目代表画素値に設定されていない場合、背景合成部２４２は、ステップＳ２０３〜Ｓ２０６の処理を繰り返す。
こうして、注目画素に対応する全ての代表画素値に対する処理が終わると、背景合成部２４２は、注目画素に対して最小の距離が算出された代表画素値を選択し（ステップＳ２０７）、合成背景画像における注目画素の画素値を選択された代表画素値で置換する（ステップＳ２０８）。
ステップＳ２０８の後、背景合成部２４２は、監視画像の全ての画素が注目画素に設定されたか否か判定する（ステップＳ２０９）。何れかの画素が注目画素に設定されていない場合、背景合成部２４２は、ステップＳ２０１〜Ｓ２０９の処理を繰り返す。
こうして、全ての画素に対する処理が終わると、背景合成部２４２は、背景合成処理を終了する。
【００５４】
図８は、正規化相関値算出処理のフローチャートである。
相関値算出部２４３は、監視画像の各画素のうち、注目画素に設定されていない画素を注目画素に設定する（ステップＳ３０１）。そして相関値算出部２４３は、注目画素及びその周囲の複数の画素を含む局所領域を設定する（ステップＳ３０２）。相関値算出部２４３は、局所領域に対応する監視画像及び合成背景画像の画素値に基づいて、（７）式の分母値Vを算出する（ステップＳ３０３）。相関値算出部２４３は、分母値Vが閾値Tvより大きいか否か判定する（ステップＳ３０４）。分母値Vが閾値Tv以下であれば、正規化相関値Cの信頼性の低さが原因で侵入物体の検出に失敗しないよう、相関値算出部２４３は、注目画素の正規化相関値Cを-1に設定する（ステップＳ３０５）。
一方、分母値Vが閾値Tvよりも大きければ、相関値算出部２４３は注目画素の正規化相関値Cを（７）式に従って算出する（ステップＳ３０６）。
ステップＳ３０５またはＳ３０６の後、相関値算出部２４３は、監視画像の全ての画素が注目画素に設定されたか否か判定する（ステップＳ３０７）。何れかの画素が注目画素に設定されていない場合、相関値算出部２４３は、ステップＳ３０１〜Ｓ３０７の処理を繰り返す。
こうして、全ての画素に対する処理を終えると、相関値算出部２４３は、正規化相関値算出処理を終了する。
【００５５】
図９は、侵入物体存在判定処理のフローチャートである。
侵入物体検出部２４４は、監視画像の各画素のうち、算出された正規化相関値が閾値Tc以下となる画素を侵入物体候補画素として抽出する（ステップＳ４０１）。侵入物体候補画素が抽出されると、侵入物体検出部２４４は、ラベリング処理を実行して、互いに近接する侵入物体候補画素を連結することにより、侵入物体候補領域を求める（ステップＳ４０２）。
【００５６】
次に、侵入物体検出部２４４は、各侵入物体候補領域のうち、何れかの領域を注目領域に設定する（ステップＳ４０３）。注目領域を設定すると、侵入物体検出部２４４は、その注目領域の属性情報を算出する（ステップＳ４０４）。そして侵入物体検出部２４４は、算出された属性情報が、侵入物体が写っている領域から算出される属性基準値の範囲内に含まれるか否か判定する（ステップＳ４０５）。注目領域の属性情報が、属性基準値の範囲内に含まれる場合、侵入物体検出部２４４は、監視空間への侵入物体が存在すると判定し（ステップＳ４０６）、その後侵入物体存在判定処理を終了する。
一方、ステップＳ４０５において、注目領域の属性情報が属性基準値の範囲から外れる場合、侵入物体検出部２４４は、注目領域に設定されていない侵入物体候補領域が存在するか否か調べる（ステップＳ４０７）。そして注目領域に設定されていない侵入物体候補領域が存在すれば、侵入物体検出部２４４は、ステップＳ４０３〜Ｓ４０７の処理を繰り返す。一方、ステップＳ４０７において、注目領域に設定されていない侵入物体候補領域がなく、全ての侵入物体候補領域についてステップＳ４０３〜Ｓ４０６の処理が終了していれば、侵入物体検出部２４４は、侵入物体は存在しないと判定し（ステップＳ４０８）、その後侵入物体存在判定処理を終了する。
【００５７】
以上説明してきたように、本発明を適用した侵入物体検知装置は、監視画像との比較用の合成背景画像の各画素値を、監視画像の各画素をその画素値に最も近い部分背景モデルの代表画素値で近似した値とする。そのため、この侵入物体検知装置は、監視空間内の背景構造物の形状が変化する場合でも、基準となる合成背景画像を適切に作成できる。このとき画素単位で近似を行うことにより、少ない記憶容量及び少ない演算量で多くの背景構造物の形状変化に対応できる。仮に画像単位または領域単位で近似を行うとすれば、必要な記憶容量及び演算量は膨大となろう。
そしてこの侵入物体検知装置は、各画素について、その画素及び周囲の画素を含む局所領域単位で算出された監視画像と合成背景画像の正規化相関値に基づいて、監視空間内に侵入物体が存在するか否かを判定する。そのため、この侵入物体検知装置は、周辺における監視画像と合成背景画像の画素値パターンが異なる画素のみを侵入物体が写っている候補として検出できる。従って、この侵入物体検知装置は、照度変動により画素値が急激に変動してその画素値が背景モデルと乖離する画素を侵入物体として誤検出することを防止できる。特に、背景構造物の形状変化と急激な照度変動が生じても、この侵入物体検知装置はこれらを侵入物体として誤検出することを防止できる。このとき、背景モデルから合成背景画像を生成することにより、監視画像と背景モデルとを局所領域単位で比較することが可能となっている。
【００５８】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、個々の部分背景モデルを、正規分布の代わりにラプラス分布で表し、背景モデルを、そのラブラス分布の重み付け和としてもよい。
【００５９】
また、他の実施形態では、背景モデルを、正規化ヒストグラムにて表してもよい。この場合、背景モデル作成部２４０は、複数の監視画像の各画素について、画素値ごとの度数を計数して各度数を全度数で割ることにより、背景モデルを作成する。作成される背景モデルは、画素値ごとの出現確率を表す。この場合、背景モデル作成部２４０は、正規化ヒストグラムにおいて出現確率の極大値を一つ以上検出して、極大値が検出された画素値を代表画素値に設定する。なお、極大値が密集している場合には、それら極大値を平均した値を代表画素値としてもよい。また、背景モデル作成部２４０は、所定の画素値範囲（ビン）ごとの度数を計数して各度数を全度数で割ることにより、背景モデルを作成してもよい。この場合、背景モデル作成部２４０は、正規化度数が極大値を取るビンの画素値範囲の中央値、最小値または最大値、あるいは、そのビンに含まれる、計数された画素値の平均値、最頻値若しくは中央値を、代表画素値に設定してもよい。
またこの場合、信頼性判定部２４１は、代表画素値の出現確率が予め設定された閾値Tr2を超えていれば、その代表画素値は信頼性を有すると判定し、一方、その出現確率が閾値Tr2以下であれば、その代表画素値は信頼性を有さないと判定する。なお閾値Tr2は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率に設定される。例えば、閾値Tr2は、0.2に設定される。
また背景合成部２４２は、監視画像の各画素の値と代表画素値との距離を、マハラノビス距離の代わりに両画素値の差の絶対値とする。
【００６０】
また、他の実施形態によれば、侵入物体検知装置は、監視画像から侵入物体を検出する際に、侵入物体が写っている可能性が高い画素を前景画素として検出する背景差分部をさらに有してもよい。この場合において、相関値算出部２４３は、前景画素として検出された画素についてのみ相関値を算出することで、相関演算が実行される画素の数が減少するので、侵入物体検知装置は、演算量を大幅に軽減できる。
具体的には、背景差分部は、監視画像の各画素について、その画素値とその画素に対応する背景モデルとの距離Dを、（５）、（６）式に従って算出する。
背景差分部は、各画素におけるその距離Dを所定の閾値Tdとそれぞれ比較する。そして背景差分部は、その距離Dが所定の閾値Tdよりも大きい画素を前景画素とする。なお、閾値Tdは、例えば、2に設定される。
背景差分部は、各画素についての前景画素か否かの判定結果を相関値算出部２４３へ通知する。また背景差分部は、必要に応じて、各画素の画素値とのマハラノビス距離が最小となる部分背景モデルに対応する代表画素値を、背景合成部２４２へ通知する。
【００６１】
前景画素でない画素については、背景に相当する可能性が高い。そこで相関値算出部２４３は、演算負荷を抑制するため、背景差分部により前景画素であると判定された画素についてのみ（７）式に従って正規化相関値Cを算出する。その他の画素の正規化相関値Cは1に設定してもよい。
また、上記のように、背景差分部が前景画素を決定するために画素値と各部分背景モデルの平均値とのマハラノビス距離の最小値を求める処理は、背景合成部２４２が各画素の画素値を置換する代表画素値を決定するためにマハラノビス距離の最小値を求める処理と同一である。そこで、背景合成部２４２は、合成背景画像の各画素値を、背景差分部から通知された部分背景モデルの代表画素値としてもよい。
【００６２】
さらに他の実施形態によれば、信頼性判定部２４１は、各部分背景モデルが信頼性を有するか否かの判定基準を２段階で設定し、段階ごとの判定結果を出力してもよい。例えば、信頼度として、部分背景モデルN(xt;mi,σi2)に対する選出回数が用いられる場合、上記の閾値Tr1を50に設定した第１段階と、閾値Tr1を50よりも高い60に設定した第２段階とを用いる。
この場合、背景合成部２４２は、第１段階の判定基準を用いた信頼性判定により信頼性有りと判定された代表画素値との距離の最小値を求める。そして背景合成部２４２は、その最小値に対応する代表画素値を置換に用いる。一方、背景差分部は、第２段階の判定基準を用いた信頼性判定により信頼性有りと判定された代表画素値との距離を閾値Tdと比較して前景画素を検出する。これにより、背景差分部が、侵入物体が写っている画素を、背景合成部２４２等での処理対象とならないように分類してしまうことを防止できる。
【００６３】
また、侵入物体検知部２４４は、ラベリングを行わずに侵入物体候補画素の数が侵入物体像の面積に所定のマージンを加えた基準値を超えたときに侵入物体が存在すると判定することもできる。
【００６４】
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００６５】
１ 侵入物体検知装置
２ ローカルエリアネットワーク
３ コントローラ
４ 広域通信ネットワーク
５ 警備センタ装置
１０ 撮像装置
２０ 制御装置
２１ 画像インターフェース部
２２ 通信部
２３ 記憶部
２４ 画像処理部
２４０ 背景モデル作成部
２４１ 信頼性判定部
２４２ 背景合成部
２４３ 相関値算出部
２４４ 侵入物体検出部
【特許請求の範囲】
【請求項１】
監視空間を撮像して監視画像を生成する撮像部と、
複数の前記監視画像の各画素における画素値の出現確率分布を表す背景モデル、及び前記背景モデルごとに出現確率が略極大値を示す１以上の画素値を代表画素値として記憶する記憶部と、
前記監視画像の注目画素の画素値を、当該注目画素に対応する前記背景モデルの代表画素値にて置換することにより合成背景画像を生成する背景合成部と、
前記監視画像の注目画素及び当該注目画素の近傍に位置する複数の画素を含む局所領域を設定し、当該局所領域における前記監視画像と当該局所領域における前記合成背景画像の相関値を前記注目画素の相関値として算出する相関値算出部と、
前記相関値が所定の閾値以下となる画素を検出し、前記検出された画素を用いて前記監視空間に侵入物体が存在するか否かを判定する侵入物体検出部と、
を有することを特徴とした侵入物体検知装置。
【請求項２】
前記記憶部は、前記背景モデルとして前記出現確率分布の互いに異なる一部の分布範囲を表す複数の部分背景モデル、及び前記代表画素値として前記部分背景モデルごとに前記分布範囲にて略極大値を示す画素値を記憶し、
前記背景合成部は、前記監視画像の注目画素に対応する前記部分背景モデルの前記代表画素値のうち、当該注目画素の画素値に最も近い代表画素値にて前記置換を行う、
請求項１に記載の侵入物体検知装置。
【請求項３】
前記部分背景モデルが表す出現確率分布の信頼度を求め、当該信頼度が所定の基準を満たすときに当該部分背景モデルの代表画素値に信頼性があると判定する信頼性判定部をさらに有し、
前記背景合成部は、前記信頼性判定部により信頼性があると判定された前記代表画素値の中から前記置換に用いる代表画素値を選択する、請求項２に記載の侵入物体検知装置。
【請求項１】
監視空間を撮像して監視画像を生成する撮像部と、
複数の前記監視画像の各画素における画素値の出現確率分布を表す背景モデル、及び前記背景モデルごとに出現確率が略極大値を示す１以上の画素値を代表画素値として記憶する記憶部と、
前記監視画像の注目画素の画素値を、当該注目画素に対応する前記背景モデルの代表画素値にて置換することにより合成背景画像を生成する背景合成部と、
前記監視画像の注目画素及び当該注目画素の近傍に位置する複数の画素を含む局所領域を設定し、当該局所領域における前記監視画像と当該局所領域における前記合成背景画像の相関値を前記注目画素の相関値として算出する相関値算出部と、
前記相関値が所定の閾値以下となる画素を検出し、前記検出された画素を用いて前記監視空間に侵入物体が存在するか否かを判定する侵入物体検出部と、
を有することを特徴とした侵入物体検知装置。
【請求項２】
前記記憶部は、前記背景モデルとして前記出現確率分布の互いに異なる一部の分布範囲を表す複数の部分背景モデル、及び前記代表画素値として前記部分背景モデルごとに前記分布範囲にて略極大値を示す画素値を記憶し、
前記背景合成部は、前記監視画像の注目画素に対応する前記部分背景モデルの前記代表画素値のうち、当該注目画素の画素値に最も近い代表画素値にて前記置換を行う、
請求項１に記載の侵入物体検知装置。
【請求項３】
前記部分背景モデルが表す出現確率分布の信頼度を求め、当該信頼度が所定の基準を満たすときに当該部分背景モデルの代表画素値に信頼性があると判定する信頼性判定部をさらに有し、
前記背景合成部は、前記信頼性判定部により信頼性があると判定された前記代表画素値の中から前記置換に用いる代表画素値を選択する、請求項２に記載の侵入物体検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１２３７４２（Ｐ２０１１−１２３７４２Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２８１８８９（Ｐ２００９−２８１８８９）
【出願日】平成２１年１２月１１日（２００９．１２．１１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月１１日（２００９．１２．１１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]