移動物体検知装置
【課題】監視領域内に形状の変化する物体の影が写っている場合でも、その物体の形状変化に伴う影の揺れによる誤検出を防止できる移動物体検知装置を提供する。
【解決手段】本発明に係る移動物体検知装置は、所定周期にて撮像した監視画像を順次画像処理して移動物体を検知する。係る移動物体検知装置は、移動物体が写っていない画像である背景画像と影の揺れが生じる可能性のある背景画像中の影境界領域を記憶する記憶部４と、監視画像と背景画像とを差分処理して差分領域を抽出する差分領域抽出手段２０と、所定周期で撮影された複数の監視画像において輝度変動を繰り返し、且つ影境界領域に含まれる変動影画素を抽出する変動影画素抽出手段１０と、変動影画素の全部または一部が差分領域に含まれていると当該差分領域が移動物体によるものである可能性が下がる判定値を用いて移動物体によるものか否かを判定する判定手段５０とを有する。
【解決手段】本発明に係る移動物体検知装置は、所定周期にて撮像した監視画像を順次画像処理して移動物体を検知する。係る移動物体検知装置は、移動物体が写っていない画像である背景画像と影の揺れが生じる可能性のある背景画像中の影境界領域を記憶する記憶部４と、監視画像と背景画像とを差分処理して差分領域を抽出する差分領域抽出手段２０と、所定周期で撮影された複数の監視画像において輝度変動を繰り返し、且つ影境界領域に含まれる変動影画素を抽出する変動影画素抽出手段１０と、変動影画素の全部または一部が差分領域に含まれていると当該差分領域が移動物体によるものである可能性が下がる判定値を用いて移動物体によるものか否かを判定する判定手段５０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視領域に進入した移動物体を検知する移動物体検知装置に関し、特に、監視領域を撮影した監視画像に写った影の揺れを移動物体と誤認識することを防止できる移動物体検知装置に関する。
移動物体には、侵入者、車、動物など種々想定されるが、以下では単に「侵入者」として述べる。
【背景技術】
【０００２】
近年、セキュリティシステムにおいて、カメラ等の撮像装置によって撮像された画像を画像処理して侵入者を検出する画像センサが提供されている。このようなシステムでは、侵入者が写っていない基準となる背景画像を記憶しておき、随時撮像される監視画像と背景画像との背景差分処理によって差分画像を生成する。そして、この差分画像中の差分領域の大きさ、テクスチャ、継続時間などの条件に基づいて、その差分領域が侵入者によるものか否かを判定する。
【０００３】
しかし、監視画像中に、木または旗などのように、強風などにより形状の変化する物体の影が映りこむ場合がある。このような場合、その物体が揺れると、監視画像と背景画像の差分画像において、その物体の変動部分の影が差分領域として抽出される。このとき、上記のようなセキュリティシステムは、強風状態が継続して差分画像が複数の時刻で抽出されると、実際には侵入者がいないにも関わらず侵入者として判定し、誤警報を発してしまうことがある。
【０００４】
上記の問題に対して、特許文献１に開示された侵入物体検出方法は、木々の揺れによって生じる輝度差が大きいことを利用して、逐次入力される監視画像の各画素において最大輝度値と最小輝度値を更新しつつ記憶する。そして、その侵入物体検出方法は、最大輝度値と最小輝度値の差が所定以上のときにマスク領域として設定し、当該マスク領域で発生する変化を侵入物体として判定しないことにより、誤警報の発生を防止している。
【０００５】
【特許文献１】特開２００２−２７９４２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、影の揺れによる監視画像間の輝度値の差は、侵入物体が通過することにより生じる輝度値の差と比較して必ずしも大きな値をとるとは限らない。そのため、侵入物体の通過あるいは照明変動等により、監視画像間で大きな輝度差が生じると、マスク領域が設定されてしまい、侵入物体を検知できないおそれがある。
【０００７】
そこで、本発明の目的は、監視領域内に形状の変化する物体の影が写っている場合でも、その物体の形状変化に伴う影の揺れによる誤検出を防止できる移動物体検知装置を提供することにある。
【課題を解決するための手段】
【０００８】
かかる課題を解決するための本発明は、所定周期にて撮像した監視画像を順次画像処理して移動物体を検知する移動物体検知装置を提供する。係る移動物体検知装置は、移動物体が写っていない画像である背景画像と影の揺れが生じる可能性のある背景画像中の影境界領域を記憶する記憶部と、監視画像と背景画像とを差分処理して差分領域を抽出する差分領域抽出手段と、所定周期で撮影された複数の監視画像において輝度変動を繰り返し、且つ影境界領域に含まれる変動影画素を抽出する変動影画素抽出手段と、変動影画素の全部または一部が差分領域に含まれていると当該差分領域が移動物体によるものである可能性が下がる判定値を用いて移動物体によるものか否かを判定する判定手段とを有する。
【０００９】
また、本発明に係る移動物体検知装置において、変動影画素抽出手段は、背景画像における影と影以外の領域の境界を抽出し、その境界及びその周辺領域を記憶部に影境界領域として記憶させる影境界領域抽出手段をさらに有することが好ましい。
【００１０】
さらに、本発明に係る移動物体検知装置は、監視画像における差分領域の画像が移動物体の示す画像上の特徴を有している度合が高くなるほど移動物体特徴量を高く算出する移動物体属性量算出手段と、少なくとも差分領域に占める変動影画素の割合が高いほど変動影特徴量を高く算出する変動影特徴量算出手段を有し、判定値は、移動物体特徴量を変動影特徴量にて反比例関係に作用させた値であることが好ましい。
【００１１】
さらに、本発明に係る移動物体検知装置において、変動影特徴量算出手段は、差分領域に変動影画素が含まれた状態の継続期間が長いほど高くなる変動影特徴量を算出することが好ましい。
【発明の効果】
【００１２】
本発明によれば、監視領域内に形状の変化する物体の影が写っている場合でも、その物体の形状変化に伴う影の揺れによる誤検出を防止できる移動物体検知装置を提供することが可能となった。
【発明を実施するための最良の形態】
【００１３】
以下、本発明にかかる移動物体検知装置を侵入者検知装置に適用した実施の形態について図を参照しつつ説明する。
本発明を適用した侵入者検知装置は、監視領域を撮影した監視画像と背景画像との差分領域に基づいて侵入者を検知する装置である。特に、この侵入者検知装置は、求めた差分領域について、監視画像に写りこんだ植栽などの影が、風によって植栽などの形状の変化に伴って揺れた可能性を調べることにより、その影の揺れを侵入者と誤って検知することを防止するものである。
【００１４】
図１は、本発明を適用した侵入者検知装置１の全体システム構成を示す図である。図１に示すように、侵入者検知装置１は、撮像部２、通信部３、記憶部４、画像処理部５及び警報部６を有する。以下、侵入者検知装置１の各部について詳細に説明する。
【００１５】
撮像部２は、侵入者の検知を行う監視領域を撮影し、監視画像を取得する。そのために、撮像部２は、ＣＣＤ、Ｃ−ＭＯＳセンサなどの光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などで構成される。また撮像部２は、一定の時間間隔（例えば１／５秒）ごとに撮影を行う。ここで監視画像I(x,y)（ただし、ｘ、ｙは、それぞれ画像データ中の画素の水平座標、垂直座標を表す。以下同じ）は、各画素が例えば0〜255の輝度値を有するデジタル画像データとして表現される。撮像部２で取得された監視画像は、通信部３を通じて画像処理部５へ送られる。
【００１６】
通信部３は、画像処理部５と、撮像部２または外部の機器との間で各種の信号を送受信する入出力インタフェースであり、ＵＳＢ、ＳＣＳＩ、ＲＳ２３２Ｃ、イーサネット（登録商標）などの各種の通信インタフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。そして通信部３は、撮像部２で取得された監視画像を画像処理部５へ送る。また、通信部３は、画像処理部５によって侵入者が検知されたことを示す異常発生信号を、警備装置または遠隔の監視センタ（図示せず）などに出力する。
【００１７】
記憶部４は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）などの半導体メモリ、磁気ディスク（ＨＤＤ）、またはＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどの光ディスクドライブおよびその記録媒体で構成される。また記憶部４は、画像処理部５の動作を制御するソフトウェア、画像処理部５の各種処理で使用される情報、例えば、監視画像との比較対象となる過去の画像および各種閾値などを記憶する。そして、記憶部４は、画像処理部５からの要求に応じて、必要な情報を提供する。
【００１８】
画像処理部５は、ＣＰＵまたは数値演算プロセッサなどの演算装置、および記憶部４からその演算装置で実行可能に読み込まれたソフトウェアなどで構成される。そして、画像処理部５は、撮像部２から取得した監視画像I(x,y)に基づいて、監視領域内に侵入者がいるか否かを判定する。そのために、画像処理部５は、侵入者の無い状態で監視領域を撮影した背景画像と監視画像との差分処理を行って背景差分領域を求め、その背景差分領域から、人らしさを表す人属性量を求める。一方、画像処理部５は、植栽など形状の変化する物体の影の揺れにより輝度変動の生じ得る変動影画素を抽出し、背景差分領域にその変動影画素が含まれている画素数やその割合などに基づいて、影の揺れらしさを表す変動影特徴量を求める。そして、画像処理部５は、人属性量と変動影特徴量に基づいて、監視領域内に侵入者がいるか否かを判定する。
【００１９】
この様子を図２を参照しつつ説明する。
撮像部２で取得された監視画像２０１は、所定の時間間隔で画像処理部５に入力される。そこで、画像処理部５は、最新の監視画像を取得する前に、１フレーム前に取得した監視画像との間でフレーム間差分演算を行って２値化したフレーム間差分２値画像２０２を求め、記憶部４に記憶する。そして、画像処理部５は、Ｎ枚のフレーム間差分２値画像より、過去Nフレームで輝度が所定回数変動した画素の位置を抽出して輝度変動位置画像２０３を記憶する。
一方、背景画像２０４が更新される度に、画像処理部５は、背景画像２０４から２値画像２０６を算出して、さらに２値画像２０６の影以外の部分（白画素）を膨張させた膨張画像から、その白画素を収縮させた収縮画像を引いたものを、影境界領域画像２０７として抽出し、記憶部４に記憶する。なお、本実施の形態では、影境界領域画像２０７を背景画像２０４が更新される度に記憶しているが、操作者が予め手動により領域を設定し記憶部４に記憶させるようにしてもよい。
その後、画像処理部５は、影境界領域画像２０７と輝度変動位置画像２０３の論理積を変動影画像２０８として算出する。この変動影画像２０８では、影境界領域内で、明滅を繰り返す画素が変動影画素２０９として抽出されている。
【００２０】
そして、ある時刻ｔにおいて取得された監視画像に侵入者が写っている場合、その監視画像と背景画像の差分画像２１０には、侵入者による背景差分領域２１１と影の揺れによる背景差分領域２１２が検出される。しかし、画像処理部５は、背景差分領域２１２については、変動影画像２０８に記憶された変動影画素２０９とほぼ一致するので影の揺れらしいと判定できる。一方、画像処理部５は、侵入者による背景差分領域２１１については、変動影画像２０８に記憶された変動影画素２０９と重ならないので、侵入者らしいと判定することができる。なお、画像処理部５の個々の処理の詳細については後述する。
【００２１】
警報部６は、ＬＥＤ、ブザーなどで構成される。そして警報部６は、画像処理部５で侵入者が検知されると、ＬＥＤを点灯若しくは点滅させたり、ブザーを鳴らしたりして侵入者を検知したことを報知する。
【００２２】
以下、画像処理部５について詳細に説明する。図１に示すように、画像処理部５は、変動影画素抽出手段１０、背景差分領域抽出手段２０、変動影特徴量算出手段３０、人属性量算出手段４０、侵入者判定手段５０及び背景画像設定手段６０を有する。
【００２３】
変動影画素抽出手段１０は、監視領域内に写りこんだ植栽などの影の揺れによって、監視画像間で輝度変動の生じる変動影画素を抽出する。そのために、変動影画素抽出手段１０は、影境界領域抽出手段１１と、輝度変動位置抽出手段１２と、変動影画素特定手段１３とを有する。
【００２４】
影境界領域抽出手段１１は、背景画像上の影とそれ以外の部分との境界領域を抽出する。背景画像に影の写る物体が風等で揺れると、監視画像におけるその物体の影の形状が背景画像における影の形状と異なってしまうため、この境界領域において、監視画像と背景画像との間で輝度変動が生じる。そこで、影の揺れに相当する領域を特定する一つ目の情報として、この境界領域を抽出するものである。
【００２５】
図３に示したフローチャートを参照しつつ、影境界領域抽出手段１１の動作を説明する。影境界領域抽出手段１１は、まず、背景画像を２値化閾値より大きい輝度値を有する画素値と、２値化閾値以下の輝度値を有する画素に２値化する（ステップＳＴ４１）。２値化処理を行うことにより、背景画像上で２値化閾値より大きい輝度値を有する画素（白画素）が１の輝度値を有し、２値化閾値以下の輝度値を有する画素（黒画素）が０の輝度値を持つ２値画像が得られる。２値化閾値は、例えば、背景画像全体の輝度平均値とすることができる。また、２値化閾値を、実験により求めた固定値としてもよいし、背景画像全体の輝度分散値や、背景画像のエッジ周辺の輝度値を用いて画像状態に応じて適宜決定するようにしてもよい。
【００２６】
次に、影境界領域抽出手段１１は、上記の２値画像の白画素に対して膨張処理を行い、膨張処理画像を求める（ステップＳＴ４２）。膨張処理として、画像処理の一般的な手法を用いることができる。例えば、影境界領域抽出手段１１は、２値画像の任意の画素を注目画素とし、その注目画素の４近傍の何れかに輝度値１を有する画素（白画素）が存在すれば、注目画素の輝度値を１とする。影境界領域抽出手段１１は、膨張処理を複数回実行してもよい。この処理により白画素部分（影以外の部分）を膨張させた画像が得られる。
【００２７】
また、影境界領域抽出手段１１は、２値画像の白画素に対して収縮処理を行い、収縮画像を算出する（ステップＳＴ４３）。収縮処理として、膨張処理同様、画像処理の一般的な手法を用いることができる。例えば、影境界領域抽出手段１１は、２値画像の任意の画素を注目画素とし、その注目画素の４近傍の何れかに輝度値０を有する画素（黒画素）があれば注目画素の輝度値を０とする。影境界領域抽出手段１１は、収縮処理を複数回実行してもよい。この処理により白画素部分（影以外の部分）を収縮させた画像が得られる。
最後に、影境界領域抽出手段１１は、膨張処理画像から収縮処理画像の同一画素同士の差分値を算出した差分２値画像を影境界領域画像Ｐ(x,y)として抽出する（ステップＳＴ４４）。影境界領域画像Ｐ(x,y)では、背景画像の２値画像の白画素と黒画素の境界に相当する領域が、輝度値１を有する影境界領域として抽出される。
【００２８】
上記の膨張処理及び収縮処理の実行回数は、実験結果に基づいて適宜決定することができる。膨張処理の実行回数を増やすほど、影境界領域は影側に広く（太く）なり、収縮処理の実行回数を増やすと影境界領域は影以外（日向）側に広く（太く）なることになる。なお、膨張処理と収縮処理の実行回数は、同一でなくてもよい。例えば、膨張処理の実行回数の方が、収縮処理の実行回数よりも多くてもよい。さらに、膨張処理と収縮処理の何れか一方を省略してもよい。
【００２９】
また、撮像部２の近くにある物体の影の揺れは、撮像部２から遠く離れた位置にある物体の影の揺れよりも、背景画像上で輝度値の変動する領域が広くなる。そこで、予め背景画像に対して、撮像部２の近くにある物体の影に相当する部分と、撮像部２から遠く離れた位置にある物体の影に相当する部分とを区別し、撮像部２の近くにある物体の影に相当する部分に対する膨張処理または収縮処理の実施回数を、撮像部２から遠く離れた位置にある物体の影に相当する部分に対する膨張処理の実施回数よりも多くしてもよい。
【００３０】
さらに、影境界領域の抽出方法は、上記に限られない。例えば、別の抽出方法として、影境界領域抽出手段１１は、背景画像に対して近傍画素間の差分演算を行い、得られた近傍画素間差分画像に対して所定の閾値以上のエッジ強度を有する画素をエッジ画素として抽出した２値エッジ画像を求める。そして、影境界領域抽出手段１１は、２値エッジ画像のエッジ画素に対して膨張処理を行って、影境界領域画像Ｐ(x,y)を求めてもよい。
影境界領域抽出手段１１は、影境界領域画像Ｐ(x,y)を記憶部４に一時的に保存する。また、影境界領域抽出手段１１は、背景画像が更新されるごとに影境界領域画像Ｐ(x,y)を再度求める。
【００３１】
輝度変動位置抽出手段１２は、監視画像において、所定期間中に影に相当する輝度値と日向に相当する輝度値の相互間の変動が所定回観測される画素位置を抽出する。時々刻々の変動位置を抽出するために、前後の入力画像の差分であるフレーム間差分の２値画像を所定期間分蓄積する。そしてフレーム間差分の結果、上記変動が所定回数以上の画素位置を抽出する。なお、所定期間及び所定回数は、撮像している環境や、他のパラメータとの関係にて実験的または経験的に定めたものとなる。
【００３２】
図４に示したフローチャートを参照しつつ、輝度変動位置抽出手段１２の動作を説明する。まず、輝度変動位置抽出手段１２は、撮像部２から取得された監視画像と記憶部４に記憶してある１フレーム前の監視画像間で互いに対応する画素同士の差分を算出する。そして、輝度変動位置抽出手段１２は、その差分の絶対値が所定の閾値以上の場合に１、所定閾値未満の場合に０とする２値化を行って、フレーム間差分２値画像を生成する（ステップＳＴ５１）。生成したフレーム間差分２値画像は、記憶部４に記憶される。なお、記憶部４は、現在時刻tにおいて、１フレーム前の時刻(t-1)に算出されたフレーム間差分２値画像F(t-1,t-2)から、Nフレーム前の時刻(t-N)において算出されたフレーム間差分２値画像F(t-N、t-N-1)までのＮ枚（例えば８枚）を記憶しておく。
【００３３】
次に、輝度変動位置抽出手段１２は、記憶部４から、現在時刻ｔの１時刻前t-1から所定時刻前t−Ｎまでに、各時刻で算出したＮ枚のフレーム間差分２値画像を読み出す（ステップＳＴ５２）。そして、輝度変動位置抽出手段１２は、フレーム間差分２値画像の注目する画素の座標(x,y)を設定する（ステップＳＴ５３）。その後、輝度変動位置抽出手段１２は、読み出したＮ枚のフレーム間差分２値画像において、注目画素の輝度値が１の画像数を当該注目画素における輝度の変動回数Ｎｆ(x,y)として計数する（ステップＳＴ５４）。
【００３４】
次に、輝度変動位置抽出手段１２は、変動回数Ｎｆ(x,y)と予め設定した閾値Ｔｆ（例えば３回）とを比較する（ステップＳＴ５５）。変動回数Ｎｆ(x,y)が閾値Ｔｆ以上である場合、輝度変動位置抽出手段１２は、注目画素を輝度変動画素として抽出し、輝度変動位置画像Ｖ(x,y)の当該注目画素の輝度値を１に設定する（ステップＳＴ５６）。一方、ステップＳＴ５５において、変動回数Ｎｆ(x,y)が閾値Ｔｆ未満の場合、輝度変動位置抽出手段１２は、輝度変動位置画像Ｖ(x,y)の当該注目画素の輝度値を０に設定する（ステップＳＴ５７）。
【００３５】
そして、輝度変動位置抽出手段１２は、全画素についてステップＳＴ５３〜ＳＴ５７の処理を行ったか否か判定する（ステップＳＴ５８）。そして、全画素について処理が終了した場合、輝度変動位置抽出手段１２は、輝度変動位置画像Ｖ(x,y)を記憶部４に保存し、処理を終了する。一方、ステップＳＴ５８において、ステップＳＴ５３〜ＳＴ５７の処理が終了していない画素が有れば、次に処理対象とする画素の座標を設定して同様の処理を繰り返すべくステップＳＴ５３へ戻る。
【００３６】
変動影画素特定手段１３は、影境界領域と、輝度変動位置との両方に相当する画素を、影の揺れによって輝度が変動する変動影画素として特定する。
【００３７】
図５に示したフローチャートを参照しつつ、変動影画素特定手段１３の動作を説明する。変動影画素特定手段１３は、記憶部４から先の処理で求めた影境界領域画像Ｐ(x,y)及び輝度変動位置画像Ｖ(x,y)を読み出す（ステップＳＴ６１）。次に、変動影画素特定手段１３は、影境界領域画像Ｐ(x,y)及び輝度変動位置画像Ｖ(x,y)において、注目する画素の座標(x,y)を設定する（ステップＳＴ６２）。その後、変動影画素特定手段１３は、影境界領域画像Ｐ(x,y)の注目画素の輝度値が１であり、かつ輝度変動位置画像Ｖ(x,y)の注目画素の輝度値が１であるか否かを判定する（ステップＳＴ６３）。双方とも１であれば、変動影画素特定手段１３は、変動影画素を表す変動影画像Ｓ(x,y)の注目画素の輝度値を１に設定する（ステップＳＴ６４）。すなわち、注目画素の位置を変動影位置とする。一方、ステップＳＴ６３において、Ｐ(x,y)またはＶ(x,y)の少なくとも何れかの注目画素の輝度値が０である場合は、変動影画素特定手段１３は、Ｓ(x,y)の注目画素の輝度値を０に設定する（ステップＳＴ６５）。
【００３８】
そして、変動影画素特定手段１３は、全画素についてステップＳＴ６２〜ＳＴ６５の処理を行ったか否か判定する（ステップＳＴ６６）。そして、全画素について処理が終了した場合、変動影画素特定手段１３は、変動影画像Ｓ(x,y)を記憶部４に保存し、処理を終了する。一方、ステップＳＴ６６において、ステップＳＴ６２〜ＳＴ６６の処理が終了していない画素が有れば、次に処理対象とする画素の座標を設定して同様の処理を繰り返すべくステップＳＴ６２へ戻る。
【００３９】
背景差分領域抽出手段２０は、監視領域内に侵入した侵入者などによって、監視画像と背景画像との間で輝度変動を生じた背景差分領域を抽出する。そのために、背景差分領域抽出手段２０は、撮像部２から取得した最新の監視画像と背景画像の互いに対応する画素同士の差分値を算出し、差分画像を生成する。そして、背景差分領域抽出手段２０は、生成した差分画像に含まれる各画素の輝度値を所定のしきい値と比較して、輝度値の変動が閾値以上となる背景差分領域を抽出した差分２値画像Ｂ(x,y)を生成する。ここで、所定の閾値は、例えば、差分画像の輝度値に関して、最小値からの累積ヒストグラムが、差分画像全体の累積ヒストグラムに対して所定の比率（例えば、７０％）となったときの輝度値とすることができる。また所定の閾値は、差分画像の輝度値の平均値に、所定のバイアス値を加えた値としてもよい。
【００４０】
さらに、背景差分領域抽出手段２０は、モルフォロジー演算の膨張・収縮処理、または微小面積除外のフィルタリング処理を差分２値画像Ｂ(x,y)に対して行い、ノイズを除去することが好ましい。また、背景差分領域抽出手段２０は、差分２値画像Ｂ(x,y)に対してラベリング処理を行い、独立した背景差分領域、すなわち、互いに連結されない背景差分領域ごとにラベルを付す。なお、ラベリング処理は公知の技術であるので、ここでは詳細な説明は省略する。その後、背景差分領域抽出手段２０は、独立した背景差分領域ごとに、面積、すなわち、その領域に含まれる画素数を算出する。そして、背景差分領域抽出手段２０は、算出した面積が予め設定した面積閾値以上の背景差分領域について、以降の処理の対象とし管理番号を付与して管理する。一方、背景差分領域抽出手段２０は、その面積が面積閾値未満の背景差分領域については、ノイズにより生じた領域と判断して削除し、以降の処理対象としない。
ラベリングされた差分２値画像Ｂ(x,y)は、人属性量及び変動影特徴量の算出に用いるため、及び、次に取得された監視画像に対するトラッキング処理の基準とするために記憶部４に記憶される。
【００４１】
変動影特徴量算出手段３０は、背景差分領域抽出手段２０により抽出された背景差分領域に対して、変動影画素抽出手段１０によって抽出された変動影画素との一致度などに基づいて「影の揺れらしさ」を表す変動影特徴量を算出する。なお、ラベリングされた背景差分領域が差分２値画像に複数個含まれる場合、変動影特徴量算出手段３０は、各背景差分領域に対して変動影特徴量を算出する。
【００４２】
変動影特徴量算出手段３０は、異なる観点から「影の揺れらしさ」の度合いを表すパラメータを複数種類算出する。そして変動影特徴量算出手段３０は、それら複数のパラメータを重み付けした後、加算または積算して求めた値を正規化することにより、変動影特徴量を算出する。
ここで、変動影特徴量算出手段３０は、「影の揺れらしさ」の度合いを表すパラメータとして、例えば、背景差分領域に占める変動影画素の割合、背景差分領域が変動影画素に重なる継続フレーム数などを算出する。以下、これらのパラメータの具体的な算出方法の例について説明する。なお、以下の例では、何れのパラメータについても、その値が大きいほど「影の揺れらしさ」の度合いも大きいことを表すものとする。
【００４３】
まず、背景差分領域に占める変動影画素の割合を表すパラメータについて説明する。変動影特徴量算出手段３０は、背景差分領域抽出手段２０で求めた差分２値画像Ｂ(x,y)と、変動影画素抽出手段１０で求めた変動影画像Ｓ(x,y)の対応画素同士で論理積を求める。そして、変動影特徴量算出手段３０は、注目する背景差分領域において、その論理積が１となった画素の数の合計を求め、その合計を、注目する背景差分領域に含まれる画素数で割った値を、背景差分領域に占める変動影画素の割合を表すパラメータの値とする。このパラメータの値は、注目する背景差分領域に含まれる画素が全て変動影画素に含まれる場合、１となり、注目する背景差分領域に含まれる何れの画素も変動影画素に含まれない場合、０となる。
【００４４】
次に、背景差分領域が変動影画素に重なる継続フレーム数を表すパラメータについて説明する。まず、変動影特徴量算出手段３０は、最新の時刻tに取得された監視画像から求めた差分２値画像Ｂt(x,y)に含まれる各背景差分領域について、上記と同様の方法により、変動影画素の占める割合を調べる。そして、変動影画素の占める割合が、所定の閾値Ｔｈ１以上である背景差分領域を、注目する背景差分領域とする。なお、所定の閾値Ｔｈ１は、例えば0.2とすることができる。
【００４５】
次に、変動影特徴量算出手段３０は、最新の差分２値画像Ｂt(x,y)において注目する背景差分領域と、１フレーム前の時刻t-1に取得された監視画像から求めた差分２値画像Ｂt-1(x,y)に含まれる背景差分領域のうち、同一の物体によると考えられる背景差分領域を関係付ける。そのために変動影特徴量算出手段３０は、最新の差分２値画像Ｂt(x,y)から、注目する背景差分領域の重心位置Gt(x,y)を求める。次に、変動影特徴量算出手段３０は、１フレーム前の差分２値画像Ｂt-1(x,y)に含まれる各背景差分領域mの重心Gmt-1(x,y)（ただし、mは各背景差分領域を表すラベル番号であり、例えば、m=1,2,..）を求める。そして、変動影特徴量算出手段３０は、Gt(x,y)と各Gmt-1(x,y)の距離ΔGmを求める。変動影特徴量算出手段３０は、１フレーム前の差分２値画像Ｂt-1(x,y)に含まれる背景差分領域のうち、その距離ΔGmの値が最も小さくなる背景差分領域を、最新の差分２値画像Ｂt(x,y)の注目する背景差分領域と同一の物体によるものとし、それらの背景差分領域に同一の参照番号を付する。
【００４６】
次に、変動影特徴量算出手段３０は、１フレーム前の差分２値画像Ｂt-1(x,y)のうち、注目する背景差分領域と同一の物体によると考えられる背景差分領域について、変動影画素の占める割合を調べる。そして、変動影画素の占める割合が、上記の所定の閾値Ｔｈ１以上である場合、変動影特徴量算出手段３０は、その注目する背景差分領域について、変動影画素に重なっている状態が継続していると判断する。一方、１フレーム前の差分２値画像Ｂt-1(x,y)における背景差分領域について、変動影画素の占める割合が、所定の閾値Ｔｈ１未満であれば、その背景差分領域は変動影画素に重なっていないと判断する。
【００４７】
注目する背景差分領域について、変動影画素に重なっている状態が継続していると判断された場合、変動影特徴量算出手段３０は、上記と同様の処理を、１フレーム前に求められた差分２値画像と２フレーム前に求められた差分２値画像に置き換えて実施する。そして変動影特徴量算出手段３０は、注目する背景差分領域と同一の物体による背景差分領域が、変動影画素に重なっている状態が２フレーム前に求めた差分２値画像でも継続しているか否かを判断する。変動影特徴量算出手段３０は、同様の処理を変動影画素と重なっていないと判断されるまで過去に求めた差分２値画像に遡って繰り返し、注目する背景差分領域と同一の物体によると考えられる背景差分領域が変動影画素と重なった状態が継続しているフレーム数を算出する。
そして、変動影特徴量算出手段３０は、その継続フレーム数を所定数で割った値を、継続フレーム数を表すパラメータの値とする。ただし、その継続フレーム数を所定数で割った値が１を超えた場合は、そのパラメータの値を１とする。なお、所定数は、例えば人が歩行する速度で影境界領域を横切るのに要する時間に相当するフレーム数（例えば１０フレーム）とすることができる。
【００４８】
上記の他、変動影特徴量算出手段３０は、影の揺れに相当する領域では、物体の影が写っているために比較的一様な輝度分布になり易いという特性に基づいて、背景差分領域内の輝度分散値を、影の揺れを表すパラメータとして使用してもよい。この場合、変動影特徴量算出手段３０は、背景差分領域に対応する監視画像の画素について輝度分散値を求め、その輝度分散値が低いほど１に近づき、輝度分散値が高いほど０に近づくような関数を用いてパラメータ値を決定する。
【００４９】
さらに変動影特徴量算出手段３０は、侵入者の場合、比較的直線的に移動するのに対し、影の揺れであれば同じところを行ったり来たりするという特性に基づいて、背景差分領域の移動距離を影の揺れらしさを表すパラメータとして用いてもよい。この場合、変動影特徴量算出手段３０は、最新の差分２値画像Ｂt(x,y)における注目背景差分領域の重心と、Ｎフレーム前の差分２値画像Ｂt-N(x,y)における、その注目背景差分領域と同一の物体によると考えられる背景差分領域の重心との距離ｄを求める。また、変動影特徴量算出手段３０は、最新の２値差分画像Ｂt(x,y)からＮフレーム前の差分２値画像Ｂt-N(x,y)までの間で、注目背景差分領域と同一の物体によると考えられる背景差分領域の重心の１フレームごとの移動距離を求め、その累積値dsを求める。そして変動影特徴量算出手段３０は、(1-d/ds)を、背景差分領域の移動距離を表すパラメータの値とする。このパラメータの値は、背景差分領域が同じ場所を往復するように移動するほど１に近づき、背景差分領域が直線的に移動するほど０に近づく。
【００５０】
なお、各パラメータ値の決定方法は上記に限られない。例えば、各パラメータ値の算出に用いる値（上記のd/dsなど）とパラメータ値の関係を表す非線形関数を予め定めておき、変動影特徴量算出手段３０は、その非線形関数に基づいてパラメータ値を算出するようにしてもよい。
【００５１】
変動影特徴量算出手段３０は、各パラメータの値に対し、実験などに基づいて最適化した重み係数を用いて重み付けする。そして、変動影特徴量算出手段３０は、その重み付けを行なった各パラメータの値を、加算または積算して求めた値を０〜１の範囲で正規化する。変動影特徴量算出手段３０は、その正規化された値を変動影特徴量とする。変動影特徴量は、上記の各パラメータの値が大きいほど大きな値となり、その値が１に近いほど、影の揺れである可能性が高いことを表す。あるいは、変動影特徴量算出手段３０は、各パラメータの値から、ファジー推論に基づいて変動影特徴量を求めるようにしてもよい。この場合、変動影特徴量算出手段３０は、各パラメータについて予め定めたメンバシップ関数に、求めたパラメータ値を入力して得られる関数値の積として、変動影特徴量を算出することができる。
【００５２】
なお、変動影特徴量算出手段３０は、上記の全てのパラメータを用いて変動影特徴量を求めてもよく、あるいは、上記の一部のパラメータのみを用いて変動影特徴量を求めてもよい。さらに、変動影特徴量算出手段３０は、背景差分領域に占める変動影画素の割合が所定以下（例えば、0.05以下）の場合、他のパラメータ値の如何にかかわらず、変動影特徴量の値を０としてもよい。
【００５３】
人属性量算出手段４０は、背景差分領域抽出手段２０により抽出された背景差分領域に対して、「人らしさ」を表す人属性量を算出する。なお、ラベリングされた背景差分領域が差分２値画像に複数個含まれる場合、人属性量算出手段４０は、各背景差分領域に対して人属性量を算出する。
【００５４】
人属性量算出手段４０は、異なる観点から「人らしさ」の度合いを表すパラメータを複数種類算出する。そして人属性量算出手段４０は、それら複数のパラメータを重み付けした後、加算または積算して求めた値を正規化することにより、人属性量を算出する。
ここで、人属性量算出手段４０は、「人らしさ」の度合いを表すパラメータとして、例えば、背景差分領域内のエッジの類似度、テクスチャの類似度などを算出する。以下、これらのパラメータの具体的な算出方法の例について説明する。なお、以下の例では、何れのパラメータについても、その値が大きいほど「人らしさ」の度合いも大きいことを表すものとする。
【００５５】
まず、背景差分領域内のエッジの類似度を表すパラメータについて説明する。人属性量算出手段４０は、注目する背景差分領域について、最新の監視画像と背景画像の対応する領域内で、エッジ画素の分布を調べる。そのために、人属性量算出手段４０は、注目する領域内の各画素について、例えばラプラシアンフィルタを用いてエッジ強度を算出したエッジ画像を求める。そして人属性量算出手段４０は、最新の監視画像について求めたエッジ画像のうち、所定以上のエッジ強度（例えば、５０）を有する画素の合計Etotalを求める。また人属性量算出手段４０は、最新の監視画像について求めたエッジ画像のうち、所定以上のエッジ強度を有する画素について、背景画像について求めたエッジ画像の対応する画素とのエッジ強度の差の絶対値を求める。そして人属性量算出手段４０は、エッジ強度の差の絶対値が所定の閾値（例えば、３０）以上である画素の累計値Esを求める。そして、人属性量算出手段４０は、(1-Es/Etotal)を、エッジの類似度を表すパラメータの値とする。このパラメータの値は、注目する背景差分領域について、最新の監視画像のエッジ分布と背景画像のエッジ分布が異なるほど１に近づき、そのエッジ分布が似ているほど０に近づく。
【００５６】
次に、背景差分領域内のテクスチャの類似度を表すパラメータについて説明する。テクスチャの指標としては、例えば、輝度値のヒストグラムの中央値または最頻値、輝度分散値、フーリエパワースペクトルの所定周波数の強度、濃度共起行列の所定要素の値などを用いることができる。人属性量算出手段４０は、注目する背景差分領域について、最新の監視画像と背景画像の対応する領域のそれぞれについて、これらテクスチャの指標のうち、少なくとも一つについてその値を算出する。そして、人属性量算出手段４０は、監視画像について算出したテクスチャの指標値Tと、背景画像について算出したテクスチャの指標値TBとに基づいて、両者の値が一致するほど０に近い値となるような関数を用いて、テクスチャの類似度を表すパラメータの値を算出する。なお、上記の関数として、例えば、次に示すものを用いることができる。
【数１】
ここでαは定数である。
【００５７】
人属性量算出手段４０は、上記のパラメータの他、例えば、輝度変化の極性分布、背景差分領域の形状及び面積などを基準としたパラメータを算出してもよい。
各パラメータ値を算出すると、人属性量算出手段４０は、変動影特徴量算出手段３０と同様に、各パラメータの値に対し、実験などに基づいて最適化した重み係数を用いて重み付けする。そして、人属性量算出手段４０は、その重み付けを行なった各パラメータの値を、加算または積算して求めた値を０〜１の範囲で正規化する。人属性量算出手段４０は、その正規化された値を人属性量とする。得られた人属性量は、１に近いほど、人である可能性が高いことを表す。また人属性量算出手段４０は、各パラメータの値から、ファジー推論に基づいて人属性量を求めるようにしてもよい。
【００５８】
侵入者判定手段５０は、変動影特徴量算出手段３０で算出された変動影特徴量と、人属性量算出手段４０で算出された人属性量に基づいて、背景差分領域が侵入者によるものか否かを判定する。そのために、侵入者判定手段５０は、例えば以下の式にしたがって、その判定に用いる判定値を算出する。
判定値＝人属性量／（１＋変動影特徴量）
そして侵入者判定手段５０は、得られた判定値を所定の閾値と比較する。所定の閾値は、用途に応じて実験的に定めることができる。判定値が所定の閾値以上であれば、侵入者判定手段５０は、その背景差分領域は侵入者によるものと判定する。そして、警報部６や、通信部３を通じて警備装置などに異常発生信号を送信する。一方、判定値が所定の閾値未満であれば、侵入者判定手段５０は、その背景差分領域は侵入者によるものではないと判定する。なお、判定値の算出方法は、上記のものに限られない。例えば、（人属性量−変動影特徴量）を判定値として用いてもよい。
【００５９】
さらに、侵入者判定手段６０は、人属性量そのものと、所定の閾値を変動影特徴量に応じて修正した閾値とを比較して、背景差分領域が侵入者によるものか否かを判定するようにしてもよい。また侵入者判定手段６０は、複数の時刻において取得された監視画像において、同一の物体によると考えられる背景差分領域が継続して存在する場合、上記の判定値を、継続して存在する間累積してもよい。そして、その累積値が、所定の閾値を超えると、その背景差分領域が侵入者によるものと判定するようにしてもよい。この場合、侵入者判定手段６０は、あるフレームにおいて、対応する背景差分領域が見つからなくなると、その累積値を0.9倍するなどして減らす。そして数フレームの間継続して対応する背景差分領域が見つからなければ、侵入者判定手段６０は、その背景差分領域に対する判定値を初期化する。
【００６０】
背景画像設定手段６０は、侵入者の無い状態で監視領域を撮影した監視画像を、侵入者検知の基準となる背景画像として設定し、記憶部４に記憶する。具体的には、背景画像設定手段６０は、侵入者検知装置１を設置したときなど、侵入者検知装置１が初期化された後、最初に撮影された監視画像を背景画像とする。また、侵入者検知装置１が稼動している間、時間経過による監視領域内の明るさの変化や、影の位置の変化に対応するため、背景画像設定手段６０は、一定周期ごとに、撮像部２で取得された監視画像のうち、背景差分領域がないと判定されたもの、あるいは、侵入者が検知されなかった監視画像を、背景画像として更新する。また、背景画像設定手段６０は、数フレーム（例えば５フレーム）にわたって取得された監視画像を平均化した画像を、背景画像としてもよい。
【００６１】
図６に示したフローチャートを参照しつつ、本発明を適用した侵入者検知装置１の動作を以下に説明する。
まず、侵入者検知装置１に電源が投入されると、撮像部２は、一定の時間間隔で監視領域を撮影し、監視画像を取得する。そして、撮像部２は、監視画像を通信部３を介して画像処理部５へ送信する（ステップＳＴ０１）。そして、画像処理部５は、取得した監視画像を、その取得時刻の順番にしたがって配列するように、記憶部４に記憶する。次に、画像処理部５は、背景画像設定手段６０において、背景画像が設定されているか否かを判定する（ステップＳＴ０２）。侵入者検知装置１の起動直後など、背景画像が設定されていない場合、画像処理部５は取得した監視画像を背景画像として設定し、記憶部４に記憶する（ステップＳＴ０３）。背景画像が設定されると、画像処理部５は、影境界領域抽出手段１１において、設定された背景画像から影境界領域を抽出する（ステップＳＴ０４）。そして、抽出された影境界領域とその他の領域に２値化された影境界領域画像Ｐ(x,y)を記憶部４に記憶する。
【００６２】
一方、ステップＳＴ０２において、背景画像が既に設定されている場合、画像処理部５は、輝度変動位置抽出手段１２において、フレーム間で行ったフレーム間差分演算に基づき、所定期間中に影に相当する輝度値と日向に相当する輝度値の変動が複数回観測される輝度変動位置を抽出する（ステップＳＴ０５）。そして、抽出された輝度変動位置に相当する輝度変動画素とその他の画素に２値化された輝度変動位置画像Ｖ(x,y)を記憶部４に記憶する。そして、画像処理部５は、変動影画素特定手段１３において、影の揺れに相当する領域と考えられる変動影画素を抽出する（ステップＳＴ０６）。そして、抽出された変動影画素とその他の領域に２値化された変動影画像Ｓ(x,y)を記憶部４に記憶する。なお、影境界領域の抽出処理、輝度変動位置の抽出処理の詳細及び変動影画素の抽出処理の詳細については、図３〜５とともに上述したとおりである。
【００６３】
次に、画像処理部５は、背景差分領域抽出手段２０において、最新の監視画像と背景画像との対応画素間で差分を行い、輝度変動が相対的に大きい背景差分領域を抽出する（ステップＳＴ０７）。そして、画像処理部５は、変動影特徴量算出手段３０において、各背景差分領域について、影の揺れらしさを表す変動影特徴量を算出する（ステップＳＴ０８）。さらに、人属性量算出手段４０において、各背景差分領域について、人らしさを表す人属性量を算出する（ステップＳＴ０９）。
【００６４】
その後、画像処理部５の侵入者判定手段５０において、各背景差分領域について、変動影特徴量及び人属性量に基づいて算出された判定値が所定の閾値以上か否か判定することにより、その背景差分領域が侵入者によるものか否かを判定する（ステップＳＴ１０）。画像処理部５は、何れの背景差分領域についても、侵入者によるものではないと判定すると、背景画像設定手段６０において、背景画像の更新が必要か否か判定する（ステップＳＴ１１）。画像処理部５は、前回の背景画像の更新から所定の期間を経過している場合、最新の監視画像中に背景差分領域が存在するか否かを判断し、背景差分領域が存在しなければ、その最新の監視画像を新たな背景画像とし、記憶部４に記憶されている背景画像と置き換える（ステップＳＴ１２）。なお、画像処理部５は、最新の監視画像と記憶部４に記憶された背景画像とを平均化した画像を新たな背景画像とし、記憶部４に上書きしてもよい。なお、画像処理部５は、監視画像が取得される度に背景画像の更新を行ってもよい。
背景画像が更新されると、画像処理部５は、新たに影境界領域の抽出を行う（ステップＳＴ１３）。この処理はステップＳＴ０４と同じ処理であるため、説明を省略する。
【００６５】
一方、画像処理部５は、何れか一つの背景差分領域でも侵入者によるものと判定すると、警報部６へ異常発生信号を送信し、警報部６はその異常発生信号の受信に伴って、ＬＥＤの明滅、ブザー音の発振など、異常の報知を行う。また画像処理部５は、通信部３を介して、外部の警備装置または監視センタへ異常発生信号を送信する（ステップＳＴ１４）。そして、処理を終了する。
【００６６】
なお、演算負荷を減らすために、上記のステップＳＴ０７の処理を、ステップＳＴ０５及びＳＴ０６の前に行って、背景差分領域を変動影画素よりも先に抽出し、輝度変動位置抽出手段１２及び変動影画素特定手段１３による処理を、背景差分領域に限定して行ってもよい。
【００６７】
以上説明してきたように、本発明を適用した侵入者検知装置１は、監視領域内に写り込んだ植栽などの影の輪郭部分では、風の影響などによって繰り返し輝度変動が生じることに着目し、そのような領域を変動影画素として抽出する。そして、侵入者の可能性があるとして抽出した背景差分領域と、その変動影画素の重なり度合いなどに基づいて、背景差分領域が侵入者によるものか否かを判定するので、影の揺れを監視領域内への侵入者と誤って検知することを防止できる。
また、日中の太陽光が強い場合など影とそれ以外の部分の境界が明確な場合に影境界領域が設定されるが、曇りの日や、夜間など、画像上に影がない時間帯、場所では影境界領域は設定されないので、監視画像中に影の揺れによる輝度変動が生じない場合にまで影の揺れと誤って侵入者の検知に失敗することを防止できる。
さらに、影境界領域は背景画像の更新とともに再抽出されるので、太陽の移動、雲の移動等により影の位置が時々刻々変動しても、画像の状況に応じて影の揺れに相当する変動影画素を正確に抽出することができる。
【００６８】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、上記の実施形態では、物体の影の揺れによる変動が発生する可能性のある領域を変動影画素として設定し、監視画像と背景画像の差分により抽出された背景差分領域と変動影画素が重なる場合に、いくつかの条件に基づき影の揺れによるものか人によるものかを判定するようにしていたが、抽出された変動影画素を侵入者の検出を行わないマスク領域として設定してもよい。
【００６９】
また、影境界領域自体を変動影画素としてもよい。但しこの場合には、輝度変動位置抽出手段１２で求めた輝度変動画素が、背景差分領域と変動影画素の重複部分に占める割合を、変動影特徴量の算出に用いるパラメータとすることが好ましい。このパラメータの値は、例えば、背景差分領域が全て輝度変動画素のときに１、すなわち、影の揺れらしさが最大となる。一方、このパラメータの値は、背景差分領域に輝度変動画素が一つも含まれないときに０、すなわち、影の揺れらしさが最小となる。このように構成しても、影の境界部分で明滅を繰り返す画素が多ければ、影の揺れらしいと判断できるので、本発明を適用した侵入者検知装置は、影の揺れを侵入者と誤って検知して誤警報を発することを防止できる。
【００７０】
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【図面の簡単な説明】
【００７１】
【図１】本発明を適用した侵入者検知装置の機能ブロック図である。
【図２】画像処理部によって行われる処理の概略を説明する図である。
【図３】影境界領域を抽出する動作を示すフローチャートである。
【図４】輝度変動位置を抽出する動作を示すフローチャートである。
【図５】変動影画素を抽出する動作を示すフローチャートである。
【図６】本発明を適用した侵入者検知装置の動作フローチャートである。
【符号の説明】
【００７２】
１ 侵入者検知装置
２ 撮像部
３ 通信部
４ 記憶部
５ 画像処理部
６ 警報部
１０ 変動影画素抽出手段
１１ 影境界領域抽出手段
１２ 輝度変動位置抽出手段
１３ 変動影画素特定手段
２０ 背景差分領域抽出手段
３０ 変動影特徴量算出手段
４０ 人属性量算出手段
５０ 侵入者判定手段
６０ 背景画像設定手段
【技術分野】
【０００１】
本発明は、監視領域に進入した移動物体を検知する移動物体検知装置に関し、特に、監視領域を撮影した監視画像に写った影の揺れを移動物体と誤認識することを防止できる移動物体検知装置に関する。
移動物体には、侵入者、車、動物など種々想定されるが、以下では単に「侵入者」として述べる。
【背景技術】
【０００２】
近年、セキュリティシステムにおいて、カメラ等の撮像装置によって撮像された画像を画像処理して侵入者を検出する画像センサが提供されている。このようなシステムでは、侵入者が写っていない基準となる背景画像を記憶しておき、随時撮像される監視画像と背景画像との背景差分処理によって差分画像を生成する。そして、この差分画像中の差分領域の大きさ、テクスチャ、継続時間などの条件に基づいて、その差分領域が侵入者によるものか否かを判定する。
【０００３】
しかし、監視画像中に、木または旗などのように、強風などにより形状の変化する物体の影が映りこむ場合がある。このような場合、その物体が揺れると、監視画像と背景画像の差分画像において、その物体の変動部分の影が差分領域として抽出される。このとき、上記のようなセキュリティシステムは、強風状態が継続して差分画像が複数の時刻で抽出されると、実際には侵入者がいないにも関わらず侵入者として判定し、誤警報を発してしまうことがある。
【０００４】
上記の問題に対して、特許文献１に開示された侵入物体検出方法は、木々の揺れによって生じる輝度差が大きいことを利用して、逐次入力される監視画像の各画素において最大輝度値と最小輝度値を更新しつつ記憶する。そして、その侵入物体検出方法は、最大輝度値と最小輝度値の差が所定以上のときにマスク領域として設定し、当該マスク領域で発生する変化を侵入物体として判定しないことにより、誤警報の発生を防止している。
【０００５】
【特許文献１】特開２００２−２７９４２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、影の揺れによる監視画像間の輝度値の差は、侵入物体が通過することにより生じる輝度値の差と比較して必ずしも大きな値をとるとは限らない。そのため、侵入物体の通過あるいは照明変動等により、監視画像間で大きな輝度差が生じると、マスク領域が設定されてしまい、侵入物体を検知できないおそれがある。
【０００７】
そこで、本発明の目的は、監視領域内に形状の変化する物体の影が写っている場合でも、その物体の形状変化に伴う影の揺れによる誤検出を防止できる移動物体検知装置を提供することにある。
【課題を解決するための手段】
【０００８】
かかる課題を解決するための本発明は、所定周期にて撮像した監視画像を順次画像処理して移動物体を検知する移動物体検知装置を提供する。係る移動物体検知装置は、移動物体が写っていない画像である背景画像と影の揺れが生じる可能性のある背景画像中の影境界領域を記憶する記憶部と、監視画像と背景画像とを差分処理して差分領域を抽出する差分領域抽出手段と、所定周期で撮影された複数の監視画像において輝度変動を繰り返し、且つ影境界領域に含まれる変動影画素を抽出する変動影画素抽出手段と、変動影画素の全部または一部が差分領域に含まれていると当該差分領域が移動物体によるものである可能性が下がる判定値を用いて移動物体によるものか否かを判定する判定手段とを有する。
【０００９】
また、本発明に係る移動物体検知装置において、変動影画素抽出手段は、背景画像における影と影以外の領域の境界を抽出し、その境界及びその周辺領域を記憶部に影境界領域として記憶させる影境界領域抽出手段をさらに有することが好ましい。
【００１０】
さらに、本発明に係る移動物体検知装置は、監視画像における差分領域の画像が移動物体の示す画像上の特徴を有している度合が高くなるほど移動物体特徴量を高く算出する移動物体属性量算出手段と、少なくとも差分領域に占める変動影画素の割合が高いほど変動影特徴量を高く算出する変動影特徴量算出手段を有し、判定値は、移動物体特徴量を変動影特徴量にて反比例関係に作用させた値であることが好ましい。
【００１１】
さらに、本発明に係る移動物体検知装置において、変動影特徴量算出手段は、差分領域に変動影画素が含まれた状態の継続期間が長いほど高くなる変動影特徴量を算出することが好ましい。
【発明の効果】
【００１２】
本発明によれば、監視領域内に形状の変化する物体の影が写っている場合でも、その物体の形状変化に伴う影の揺れによる誤検出を防止できる移動物体検知装置を提供することが可能となった。
【発明を実施するための最良の形態】
【００１３】
以下、本発明にかかる移動物体検知装置を侵入者検知装置に適用した実施の形態について図を参照しつつ説明する。
本発明を適用した侵入者検知装置は、監視領域を撮影した監視画像と背景画像との差分領域に基づいて侵入者を検知する装置である。特に、この侵入者検知装置は、求めた差分領域について、監視画像に写りこんだ植栽などの影が、風によって植栽などの形状の変化に伴って揺れた可能性を調べることにより、その影の揺れを侵入者と誤って検知することを防止するものである。
【００１４】
図１は、本発明を適用した侵入者検知装置１の全体システム構成を示す図である。図１に示すように、侵入者検知装置１は、撮像部２、通信部３、記憶部４、画像処理部５及び警報部６を有する。以下、侵入者検知装置１の各部について詳細に説明する。
【００１５】
撮像部２は、侵入者の検知を行う監視領域を撮影し、監視画像を取得する。そのために、撮像部２は、ＣＣＤ、Ｃ−ＭＯＳセンサなどの光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などで構成される。また撮像部２は、一定の時間間隔（例えば１／５秒）ごとに撮影を行う。ここで監視画像I(x,y)（ただし、ｘ、ｙは、それぞれ画像データ中の画素の水平座標、垂直座標を表す。以下同じ）は、各画素が例えば0〜255の輝度値を有するデジタル画像データとして表現される。撮像部２で取得された監視画像は、通信部３を通じて画像処理部５へ送られる。
【００１６】
通信部３は、画像処理部５と、撮像部２または外部の機器との間で各種の信号を送受信する入出力インタフェースであり、ＵＳＢ、ＳＣＳＩ、ＲＳ２３２Ｃ、イーサネット（登録商標）などの各種の通信インタフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。そして通信部３は、撮像部２で取得された監視画像を画像処理部５へ送る。また、通信部３は、画像処理部５によって侵入者が検知されたことを示す異常発生信号を、警備装置または遠隔の監視センタ（図示せず）などに出力する。
【００１７】
記憶部４は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）などの半導体メモリ、磁気ディスク（ＨＤＤ）、またはＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどの光ディスクドライブおよびその記録媒体で構成される。また記憶部４は、画像処理部５の動作を制御するソフトウェア、画像処理部５の各種処理で使用される情報、例えば、監視画像との比較対象となる過去の画像および各種閾値などを記憶する。そして、記憶部４は、画像処理部５からの要求に応じて、必要な情報を提供する。
【００１８】
画像処理部５は、ＣＰＵまたは数値演算プロセッサなどの演算装置、および記憶部４からその演算装置で実行可能に読み込まれたソフトウェアなどで構成される。そして、画像処理部５は、撮像部２から取得した監視画像I(x,y)に基づいて、監視領域内に侵入者がいるか否かを判定する。そのために、画像処理部５は、侵入者の無い状態で監視領域を撮影した背景画像と監視画像との差分処理を行って背景差分領域を求め、その背景差分領域から、人らしさを表す人属性量を求める。一方、画像処理部５は、植栽など形状の変化する物体の影の揺れにより輝度変動の生じ得る変動影画素を抽出し、背景差分領域にその変動影画素が含まれている画素数やその割合などに基づいて、影の揺れらしさを表す変動影特徴量を求める。そして、画像処理部５は、人属性量と変動影特徴量に基づいて、監視領域内に侵入者がいるか否かを判定する。
【００１９】
この様子を図２を参照しつつ説明する。
撮像部２で取得された監視画像２０１は、所定の時間間隔で画像処理部５に入力される。そこで、画像処理部５は、最新の監視画像を取得する前に、１フレーム前に取得した監視画像との間でフレーム間差分演算を行って２値化したフレーム間差分２値画像２０２を求め、記憶部４に記憶する。そして、画像処理部５は、Ｎ枚のフレーム間差分２値画像より、過去Nフレームで輝度が所定回数変動した画素の位置を抽出して輝度変動位置画像２０３を記憶する。
一方、背景画像２０４が更新される度に、画像処理部５は、背景画像２０４から２値画像２０６を算出して、さらに２値画像２０６の影以外の部分（白画素）を膨張させた膨張画像から、その白画素を収縮させた収縮画像を引いたものを、影境界領域画像２０７として抽出し、記憶部４に記憶する。なお、本実施の形態では、影境界領域画像２０７を背景画像２０４が更新される度に記憶しているが、操作者が予め手動により領域を設定し記憶部４に記憶させるようにしてもよい。
その後、画像処理部５は、影境界領域画像２０７と輝度変動位置画像２０３の論理積を変動影画像２０８として算出する。この変動影画像２０８では、影境界領域内で、明滅を繰り返す画素が変動影画素２０９として抽出されている。
【００２０】
そして、ある時刻ｔにおいて取得された監視画像に侵入者が写っている場合、その監視画像と背景画像の差分画像２１０には、侵入者による背景差分領域２１１と影の揺れによる背景差分領域２１２が検出される。しかし、画像処理部５は、背景差分領域２１２については、変動影画像２０８に記憶された変動影画素２０９とほぼ一致するので影の揺れらしいと判定できる。一方、画像処理部５は、侵入者による背景差分領域２１１については、変動影画像２０８に記憶された変動影画素２０９と重ならないので、侵入者らしいと判定することができる。なお、画像処理部５の個々の処理の詳細については後述する。
【００２１】
警報部６は、ＬＥＤ、ブザーなどで構成される。そして警報部６は、画像処理部５で侵入者が検知されると、ＬＥＤを点灯若しくは点滅させたり、ブザーを鳴らしたりして侵入者を検知したことを報知する。
【００２２】
以下、画像処理部５について詳細に説明する。図１に示すように、画像処理部５は、変動影画素抽出手段１０、背景差分領域抽出手段２０、変動影特徴量算出手段３０、人属性量算出手段４０、侵入者判定手段５０及び背景画像設定手段６０を有する。
【００２３】
変動影画素抽出手段１０は、監視領域内に写りこんだ植栽などの影の揺れによって、監視画像間で輝度変動の生じる変動影画素を抽出する。そのために、変動影画素抽出手段１０は、影境界領域抽出手段１１と、輝度変動位置抽出手段１２と、変動影画素特定手段１３とを有する。
【００２４】
影境界領域抽出手段１１は、背景画像上の影とそれ以外の部分との境界領域を抽出する。背景画像に影の写る物体が風等で揺れると、監視画像におけるその物体の影の形状が背景画像における影の形状と異なってしまうため、この境界領域において、監視画像と背景画像との間で輝度変動が生じる。そこで、影の揺れに相当する領域を特定する一つ目の情報として、この境界領域を抽出するものである。
【００２５】
図３に示したフローチャートを参照しつつ、影境界領域抽出手段１１の動作を説明する。影境界領域抽出手段１１は、まず、背景画像を２値化閾値より大きい輝度値を有する画素値と、２値化閾値以下の輝度値を有する画素に２値化する（ステップＳＴ４１）。２値化処理を行うことにより、背景画像上で２値化閾値より大きい輝度値を有する画素（白画素）が１の輝度値を有し、２値化閾値以下の輝度値を有する画素（黒画素）が０の輝度値を持つ２値画像が得られる。２値化閾値は、例えば、背景画像全体の輝度平均値とすることができる。また、２値化閾値を、実験により求めた固定値としてもよいし、背景画像全体の輝度分散値や、背景画像のエッジ周辺の輝度値を用いて画像状態に応じて適宜決定するようにしてもよい。
【００２６】
次に、影境界領域抽出手段１１は、上記の２値画像の白画素に対して膨張処理を行い、膨張処理画像を求める（ステップＳＴ４２）。膨張処理として、画像処理の一般的な手法を用いることができる。例えば、影境界領域抽出手段１１は、２値画像の任意の画素を注目画素とし、その注目画素の４近傍の何れかに輝度値１を有する画素（白画素）が存在すれば、注目画素の輝度値を１とする。影境界領域抽出手段１１は、膨張処理を複数回実行してもよい。この処理により白画素部分（影以外の部分）を膨張させた画像が得られる。
【００２７】
また、影境界領域抽出手段１１は、２値画像の白画素に対して収縮処理を行い、収縮画像を算出する（ステップＳＴ４３）。収縮処理として、膨張処理同様、画像処理の一般的な手法を用いることができる。例えば、影境界領域抽出手段１１は、２値画像の任意の画素を注目画素とし、その注目画素の４近傍の何れかに輝度値０を有する画素（黒画素）があれば注目画素の輝度値を０とする。影境界領域抽出手段１１は、収縮処理を複数回実行してもよい。この処理により白画素部分（影以外の部分）を収縮させた画像が得られる。
最後に、影境界領域抽出手段１１は、膨張処理画像から収縮処理画像の同一画素同士の差分値を算出した差分２値画像を影境界領域画像Ｐ(x,y)として抽出する（ステップＳＴ４４）。影境界領域画像Ｐ(x,y)では、背景画像の２値画像の白画素と黒画素の境界に相当する領域が、輝度値１を有する影境界領域として抽出される。
【００２８】
上記の膨張処理及び収縮処理の実行回数は、実験結果に基づいて適宜決定することができる。膨張処理の実行回数を増やすほど、影境界領域は影側に広く（太く）なり、収縮処理の実行回数を増やすと影境界領域は影以外（日向）側に広く（太く）なることになる。なお、膨張処理と収縮処理の実行回数は、同一でなくてもよい。例えば、膨張処理の実行回数の方が、収縮処理の実行回数よりも多くてもよい。さらに、膨張処理と収縮処理の何れか一方を省略してもよい。
【００２９】
また、撮像部２の近くにある物体の影の揺れは、撮像部２から遠く離れた位置にある物体の影の揺れよりも、背景画像上で輝度値の変動する領域が広くなる。そこで、予め背景画像に対して、撮像部２の近くにある物体の影に相当する部分と、撮像部２から遠く離れた位置にある物体の影に相当する部分とを区別し、撮像部２の近くにある物体の影に相当する部分に対する膨張処理または収縮処理の実施回数を、撮像部２から遠く離れた位置にある物体の影に相当する部分に対する膨張処理の実施回数よりも多くしてもよい。
【００３０】
さらに、影境界領域の抽出方法は、上記に限られない。例えば、別の抽出方法として、影境界領域抽出手段１１は、背景画像に対して近傍画素間の差分演算を行い、得られた近傍画素間差分画像に対して所定の閾値以上のエッジ強度を有する画素をエッジ画素として抽出した２値エッジ画像を求める。そして、影境界領域抽出手段１１は、２値エッジ画像のエッジ画素に対して膨張処理を行って、影境界領域画像Ｐ(x,y)を求めてもよい。
影境界領域抽出手段１１は、影境界領域画像Ｐ(x,y)を記憶部４に一時的に保存する。また、影境界領域抽出手段１１は、背景画像が更新されるごとに影境界領域画像Ｐ(x,y)を再度求める。
【００３１】
輝度変動位置抽出手段１２は、監視画像において、所定期間中に影に相当する輝度値と日向に相当する輝度値の相互間の変動が所定回観測される画素位置を抽出する。時々刻々の変動位置を抽出するために、前後の入力画像の差分であるフレーム間差分の２値画像を所定期間分蓄積する。そしてフレーム間差分の結果、上記変動が所定回数以上の画素位置を抽出する。なお、所定期間及び所定回数は、撮像している環境や、他のパラメータとの関係にて実験的または経験的に定めたものとなる。
【００３２】
図４に示したフローチャートを参照しつつ、輝度変動位置抽出手段１２の動作を説明する。まず、輝度変動位置抽出手段１２は、撮像部２から取得された監視画像と記憶部４に記憶してある１フレーム前の監視画像間で互いに対応する画素同士の差分を算出する。そして、輝度変動位置抽出手段１２は、その差分の絶対値が所定の閾値以上の場合に１、所定閾値未満の場合に０とする２値化を行って、フレーム間差分２値画像を生成する（ステップＳＴ５１）。生成したフレーム間差分２値画像は、記憶部４に記憶される。なお、記憶部４は、現在時刻tにおいて、１フレーム前の時刻(t-1)に算出されたフレーム間差分２値画像F(t-1,t-2)から、Nフレーム前の時刻(t-N)において算出されたフレーム間差分２値画像F(t-N、t-N-1)までのＮ枚（例えば８枚）を記憶しておく。
【００３３】
次に、輝度変動位置抽出手段１２は、記憶部４から、現在時刻ｔの１時刻前t-1から所定時刻前t−Ｎまでに、各時刻で算出したＮ枚のフレーム間差分２値画像を読み出す（ステップＳＴ５２）。そして、輝度変動位置抽出手段１２は、フレーム間差分２値画像の注目する画素の座標(x,y)を設定する（ステップＳＴ５３）。その後、輝度変動位置抽出手段１２は、読み出したＮ枚のフレーム間差分２値画像において、注目画素の輝度値が１の画像数を当該注目画素における輝度の変動回数Ｎｆ(x,y)として計数する（ステップＳＴ５４）。
【００３４】
次に、輝度変動位置抽出手段１２は、変動回数Ｎｆ(x,y)と予め設定した閾値Ｔｆ（例えば３回）とを比較する（ステップＳＴ５５）。変動回数Ｎｆ(x,y)が閾値Ｔｆ以上である場合、輝度変動位置抽出手段１２は、注目画素を輝度変動画素として抽出し、輝度変動位置画像Ｖ(x,y)の当該注目画素の輝度値を１に設定する（ステップＳＴ５６）。一方、ステップＳＴ５５において、変動回数Ｎｆ(x,y)が閾値Ｔｆ未満の場合、輝度変動位置抽出手段１２は、輝度変動位置画像Ｖ(x,y)の当該注目画素の輝度値を０に設定する（ステップＳＴ５７）。
【００３５】
そして、輝度変動位置抽出手段１２は、全画素についてステップＳＴ５３〜ＳＴ５７の処理を行ったか否か判定する（ステップＳＴ５８）。そして、全画素について処理が終了した場合、輝度変動位置抽出手段１２は、輝度変動位置画像Ｖ(x,y)を記憶部４に保存し、処理を終了する。一方、ステップＳＴ５８において、ステップＳＴ５３〜ＳＴ５７の処理が終了していない画素が有れば、次に処理対象とする画素の座標を設定して同様の処理を繰り返すべくステップＳＴ５３へ戻る。
【００３６】
変動影画素特定手段１３は、影境界領域と、輝度変動位置との両方に相当する画素を、影の揺れによって輝度が変動する変動影画素として特定する。
【００３７】
図５に示したフローチャートを参照しつつ、変動影画素特定手段１３の動作を説明する。変動影画素特定手段１３は、記憶部４から先の処理で求めた影境界領域画像Ｐ(x,y)及び輝度変動位置画像Ｖ(x,y)を読み出す（ステップＳＴ６１）。次に、変動影画素特定手段１３は、影境界領域画像Ｐ(x,y)及び輝度変動位置画像Ｖ(x,y)において、注目する画素の座標(x,y)を設定する（ステップＳＴ６２）。その後、変動影画素特定手段１３は、影境界領域画像Ｐ(x,y)の注目画素の輝度値が１であり、かつ輝度変動位置画像Ｖ(x,y)の注目画素の輝度値が１であるか否かを判定する（ステップＳＴ６３）。双方とも１であれば、変動影画素特定手段１３は、変動影画素を表す変動影画像Ｓ(x,y)の注目画素の輝度値を１に設定する（ステップＳＴ６４）。すなわち、注目画素の位置を変動影位置とする。一方、ステップＳＴ６３において、Ｐ(x,y)またはＶ(x,y)の少なくとも何れかの注目画素の輝度値が０である場合は、変動影画素特定手段１３は、Ｓ(x,y)の注目画素の輝度値を０に設定する（ステップＳＴ６５）。
【００３８】
そして、変動影画素特定手段１３は、全画素についてステップＳＴ６２〜ＳＴ６５の処理を行ったか否か判定する（ステップＳＴ６６）。そして、全画素について処理が終了した場合、変動影画素特定手段１３は、変動影画像Ｓ(x,y)を記憶部４に保存し、処理を終了する。一方、ステップＳＴ６６において、ステップＳＴ６２〜ＳＴ６６の処理が終了していない画素が有れば、次に処理対象とする画素の座標を設定して同様の処理を繰り返すべくステップＳＴ６２へ戻る。
【００３９】
背景差分領域抽出手段２０は、監視領域内に侵入した侵入者などによって、監視画像と背景画像との間で輝度変動を生じた背景差分領域を抽出する。そのために、背景差分領域抽出手段２０は、撮像部２から取得した最新の監視画像と背景画像の互いに対応する画素同士の差分値を算出し、差分画像を生成する。そして、背景差分領域抽出手段２０は、生成した差分画像に含まれる各画素の輝度値を所定のしきい値と比較して、輝度値の変動が閾値以上となる背景差分領域を抽出した差分２値画像Ｂ(x,y)を生成する。ここで、所定の閾値は、例えば、差分画像の輝度値に関して、最小値からの累積ヒストグラムが、差分画像全体の累積ヒストグラムに対して所定の比率（例えば、７０％）となったときの輝度値とすることができる。また所定の閾値は、差分画像の輝度値の平均値に、所定のバイアス値を加えた値としてもよい。
【００４０】
さらに、背景差分領域抽出手段２０は、モルフォロジー演算の膨張・収縮処理、または微小面積除外のフィルタリング処理を差分２値画像Ｂ(x,y)に対して行い、ノイズを除去することが好ましい。また、背景差分領域抽出手段２０は、差分２値画像Ｂ(x,y)に対してラベリング処理を行い、独立した背景差分領域、すなわち、互いに連結されない背景差分領域ごとにラベルを付す。なお、ラベリング処理は公知の技術であるので、ここでは詳細な説明は省略する。その後、背景差分領域抽出手段２０は、独立した背景差分領域ごとに、面積、すなわち、その領域に含まれる画素数を算出する。そして、背景差分領域抽出手段２０は、算出した面積が予め設定した面積閾値以上の背景差分領域について、以降の処理の対象とし管理番号を付与して管理する。一方、背景差分領域抽出手段２０は、その面積が面積閾値未満の背景差分領域については、ノイズにより生じた領域と判断して削除し、以降の処理対象としない。
ラベリングされた差分２値画像Ｂ(x,y)は、人属性量及び変動影特徴量の算出に用いるため、及び、次に取得された監視画像に対するトラッキング処理の基準とするために記憶部４に記憶される。
【００４１】
変動影特徴量算出手段３０は、背景差分領域抽出手段２０により抽出された背景差分領域に対して、変動影画素抽出手段１０によって抽出された変動影画素との一致度などに基づいて「影の揺れらしさ」を表す変動影特徴量を算出する。なお、ラベリングされた背景差分領域が差分２値画像に複数個含まれる場合、変動影特徴量算出手段３０は、各背景差分領域に対して変動影特徴量を算出する。
【００４２】
変動影特徴量算出手段３０は、異なる観点から「影の揺れらしさ」の度合いを表すパラメータを複数種類算出する。そして変動影特徴量算出手段３０は、それら複数のパラメータを重み付けした後、加算または積算して求めた値を正規化することにより、変動影特徴量を算出する。
ここで、変動影特徴量算出手段３０は、「影の揺れらしさ」の度合いを表すパラメータとして、例えば、背景差分領域に占める変動影画素の割合、背景差分領域が変動影画素に重なる継続フレーム数などを算出する。以下、これらのパラメータの具体的な算出方法の例について説明する。なお、以下の例では、何れのパラメータについても、その値が大きいほど「影の揺れらしさ」の度合いも大きいことを表すものとする。
【００４３】
まず、背景差分領域に占める変動影画素の割合を表すパラメータについて説明する。変動影特徴量算出手段３０は、背景差分領域抽出手段２０で求めた差分２値画像Ｂ(x,y)と、変動影画素抽出手段１０で求めた変動影画像Ｓ(x,y)の対応画素同士で論理積を求める。そして、変動影特徴量算出手段３０は、注目する背景差分領域において、その論理積が１となった画素の数の合計を求め、その合計を、注目する背景差分領域に含まれる画素数で割った値を、背景差分領域に占める変動影画素の割合を表すパラメータの値とする。このパラメータの値は、注目する背景差分領域に含まれる画素が全て変動影画素に含まれる場合、１となり、注目する背景差分領域に含まれる何れの画素も変動影画素に含まれない場合、０となる。
【００４４】
次に、背景差分領域が変動影画素に重なる継続フレーム数を表すパラメータについて説明する。まず、変動影特徴量算出手段３０は、最新の時刻tに取得された監視画像から求めた差分２値画像Ｂt(x,y)に含まれる各背景差分領域について、上記と同様の方法により、変動影画素の占める割合を調べる。そして、変動影画素の占める割合が、所定の閾値Ｔｈ１以上である背景差分領域を、注目する背景差分領域とする。なお、所定の閾値Ｔｈ１は、例えば0.2とすることができる。
【００４５】
次に、変動影特徴量算出手段３０は、最新の差分２値画像Ｂt(x,y)において注目する背景差分領域と、１フレーム前の時刻t-1に取得された監視画像から求めた差分２値画像Ｂt-1(x,y)に含まれる背景差分領域のうち、同一の物体によると考えられる背景差分領域を関係付ける。そのために変動影特徴量算出手段３０は、最新の差分２値画像Ｂt(x,y)から、注目する背景差分領域の重心位置Gt(x,y)を求める。次に、変動影特徴量算出手段３０は、１フレーム前の差分２値画像Ｂt-1(x,y)に含まれる各背景差分領域mの重心Gmt-1(x,y)（ただし、mは各背景差分領域を表すラベル番号であり、例えば、m=1,2,..）を求める。そして、変動影特徴量算出手段３０は、Gt(x,y)と各Gmt-1(x,y)の距離ΔGmを求める。変動影特徴量算出手段３０は、１フレーム前の差分２値画像Ｂt-1(x,y)に含まれる背景差分領域のうち、その距離ΔGmの値が最も小さくなる背景差分領域を、最新の差分２値画像Ｂt(x,y)の注目する背景差分領域と同一の物体によるものとし、それらの背景差分領域に同一の参照番号を付する。
【００４６】
次に、変動影特徴量算出手段３０は、１フレーム前の差分２値画像Ｂt-1(x,y)のうち、注目する背景差分領域と同一の物体によると考えられる背景差分領域について、変動影画素の占める割合を調べる。そして、変動影画素の占める割合が、上記の所定の閾値Ｔｈ１以上である場合、変動影特徴量算出手段３０は、その注目する背景差分領域について、変動影画素に重なっている状態が継続していると判断する。一方、１フレーム前の差分２値画像Ｂt-1(x,y)における背景差分領域について、変動影画素の占める割合が、所定の閾値Ｔｈ１未満であれば、その背景差分領域は変動影画素に重なっていないと判断する。
【００４７】
注目する背景差分領域について、変動影画素に重なっている状態が継続していると判断された場合、変動影特徴量算出手段３０は、上記と同様の処理を、１フレーム前に求められた差分２値画像と２フレーム前に求められた差分２値画像に置き換えて実施する。そして変動影特徴量算出手段３０は、注目する背景差分領域と同一の物体による背景差分領域が、変動影画素に重なっている状態が２フレーム前に求めた差分２値画像でも継続しているか否かを判断する。変動影特徴量算出手段３０は、同様の処理を変動影画素と重なっていないと判断されるまで過去に求めた差分２値画像に遡って繰り返し、注目する背景差分領域と同一の物体によると考えられる背景差分領域が変動影画素と重なった状態が継続しているフレーム数を算出する。
そして、変動影特徴量算出手段３０は、その継続フレーム数を所定数で割った値を、継続フレーム数を表すパラメータの値とする。ただし、その継続フレーム数を所定数で割った値が１を超えた場合は、そのパラメータの値を１とする。なお、所定数は、例えば人が歩行する速度で影境界領域を横切るのに要する時間に相当するフレーム数（例えば１０フレーム）とすることができる。
【００４８】
上記の他、変動影特徴量算出手段３０は、影の揺れに相当する領域では、物体の影が写っているために比較的一様な輝度分布になり易いという特性に基づいて、背景差分領域内の輝度分散値を、影の揺れを表すパラメータとして使用してもよい。この場合、変動影特徴量算出手段３０は、背景差分領域に対応する監視画像の画素について輝度分散値を求め、その輝度分散値が低いほど１に近づき、輝度分散値が高いほど０に近づくような関数を用いてパラメータ値を決定する。
【００４９】
さらに変動影特徴量算出手段３０は、侵入者の場合、比較的直線的に移動するのに対し、影の揺れであれば同じところを行ったり来たりするという特性に基づいて、背景差分領域の移動距離を影の揺れらしさを表すパラメータとして用いてもよい。この場合、変動影特徴量算出手段３０は、最新の差分２値画像Ｂt(x,y)における注目背景差分領域の重心と、Ｎフレーム前の差分２値画像Ｂt-N(x,y)における、その注目背景差分領域と同一の物体によると考えられる背景差分領域の重心との距離ｄを求める。また、変動影特徴量算出手段３０は、最新の２値差分画像Ｂt(x,y)からＮフレーム前の差分２値画像Ｂt-N(x,y)までの間で、注目背景差分領域と同一の物体によると考えられる背景差分領域の重心の１フレームごとの移動距離を求め、その累積値dsを求める。そして変動影特徴量算出手段３０は、(1-d/ds)を、背景差分領域の移動距離を表すパラメータの値とする。このパラメータの値は、背景差分領域が同じ場所を往復するように移動するほど１に近づき、背景差分領域が直線的に移動するほど０に近づく。
【００５０】
なお、各パラメータ値の決定方法は上記に限られない。例えば、各パラメータ値の算出に用いる値（上記のd/dsなど）とパラメータ値の関係を表す非線形関数を予め定めておき、変動影特徴量算出手段３０は、その非線形関数に基づいてパラメータ値を算出するようにしてもよい。
【００５１】
変動影特徴量算出手段３０は、各パラメータの値に対し、実験などに基づいて最適化した重み係数を用いて重み付けする。そして、変動影特徴量算出手段３０は、その重み付けを行なった各パラメータの値を、加算または積算して求めた値を０〜１の範囲で正規化する。変動影特徴量算出手段３０は、その正規化された値を変動影特徴量とする。変動影特徴量は、上記の各パラメータの値が大きいほど大きな値となり、その値が１に近いほど、影の揺れである可能性が高いことを表す。あるいは、変動影特徴量算出手段３０は、各パラメータの値から、ファジー推論に基づいて変動影特徴量を求めるようにしてもよい。この場合、変動影特徴量算出手段３０は、各パラメータについて予め定めたメンバシップ関数に、求めたパラメータ値を入力して得られる関数値の積として、変動影特徴量を算出することができる。
【００５２】
なお、変動影特徴量算出手段３０は、上記の全てのパラメータを用いて変動影特徴量を求めてもよく、あるいは、上記の一部のパラメータのみを用いて変動影特徴量を求めてもよい。さらに、変動影特徴量算出手段３０は、背景差分領域に占める変動影画素の割合が所定以下（例えば、0.05以下）の場合、他のパラメータ値の如何にかかわらず、変動影特徴量の値を０としてもよい。
【００５３】
人属性量算出手段４０は、背景差分領域抽出手段２０により抽出された背景差分領域に対して、「人らしさ」を表す人属性量を算出する。なお、ラベリングされた背景差分領域が差分２値画像に複数個含まれる場合、人属性量算出手段４０は、各背景差分領域に対して人属性量を算出する。
【００５４】
人属性量算出手段４０は、異なる観点から「人らしさ」の度合いを表すパラメータを複数種類算出する。そして人属性量算出手段４０は、それら複数のパラメータを重み付けした後、加算または積算して求めた値を正規化することにより、人属性量を算出する。
ここで、人属性量算出手段４０は、「人らしさ」の度合いを表すパラメータとして、例えば、背景差分領域内のエッジの類似度、テクスチャの類似度などを算出する。以下、これらのパラメータの具体的な算出方法の例について説明する。なお、以下の例では、何れのパラメータについても、その値が大きいほど「人らしさ」の度合いも大きいことを表すものとする。
【００５５】
まず、背景差分領域内のエッジの類似度を表すパラメータについて説明する。人属性量算出手段４０は、注目する背景差分領域について、最新の監視画像と背景画像の対応する領域内で、エッジ画素の分布を調べる。そのために、人属性量算出手段４０は、注目する領域内の各画素について、例えばラプラシアンフィルタを用いてエッジ強度を算出したエッジ画像を求める。そして人属性量算出手段４０は、最新の監視画像について求めたエッジ画像のうち、所定以上のエッジ強度（例えば、５０）を有する画素の合計Etotalを求める。また人属性量算出手段４０は、最新の監視画像について求めたエッジ画像のうち、所定以上のエッジ強度を有する画素について、背景画像について求めたエッジ画像の対応する画素とのエッジ強度の差の絶対値を求める。そして人属性量算出手段４０は、エッジ強度の差の絶対値が所定の閾値（例えば、３０）以上である画素の累計値Esを求める。そして、人属性量算出手段４０は、(1-Es/Etotal)を、エッジの類似度を表すパラメータの値とする。このパラメータの値は、注目する背景差分領域について、最新の監視画像のエッジ分布と背景画像のエッジ分布が異なるほど１に近づき、そのエッジ分布が似ているほど０に近づく。
【００５６】
次に、背景差分領域内のテクスチャの類似度を表すパラメータについて説明する。テクスチャの指標としては、例えば、輝度値のヒストグラムの中央値または最頻値、輝度分散値、フーリエパワースペクトルの所定周波数の強度、濃度共起行列の所定要素の値などを用いることができる。人属性量算出手段４０は、注目する背景差分領域について、最新の監視画像と背景画像の対応する領域のそれぞれについて、これらテクスチャの指標のうち、少なくとも一つについてその値を算出する。そして、人属性量算出手段４０は、監視画像について算出したテクスチャの指標値Tと、背景画像について算出したテクスチャの指標値TBとに基づいて、両者の値が一致するほど０に近い値となるような関数を用いて、テクスチャの類似度を表すパラメータの値を算出する。なお、上記の関数として、例えば、次に示すものを用いることができる。
【数１】
ここでαは定数である。
【００５７】
人属性量算出手段４０は、上記のパラメータの他、例えば、輝度変化の極性分布、背景差分領域の形状及び面積などを基準としたパラメータを算出してもよい。
各パラメータ値を算出すると、人属性量算出手段４０は、変動影特徴量算出手段３０と同様に、各パラメータの値に対し、実験などに基づいて最適化した重み係数を用いて重み付けする。そして、人属性量算出手段４０は、その重み付けを行なった各パラメータの値を、加算または積算して求めた値を０〜１の範囲で正規化する。人属性量算出手段４０は、その正規化された値を人属性量とする。得られた人属性量は、１に近いほど、人である可能性が高いことを表す。また人属性量算出手段４０は、各パラメータの値から、ファジー推論に基づいて人属性量を求めるようにしてもよい。
【００５８】
侵入者判定手段５０は、変動影特徴量算出手段３０で算出された変動影特徴量と、人属性量算出手段４０で算出された人属性量に基づいて、背景差分領域が侵入者によるものか否かを判定する。そのために、侵入者判定手段５０は、例えば以下の式にしたがって、その判定に用いる判定値を算出する。
判定値＝人属性量／（１＋変動影特徴量）
そして侵入者判定手段５０は、得られた判定値を所定の閾値と比較する。所定の閾値は、用途に応じて実験的に定めることができる。判定値が所定の閾値以上であれば、侵入者判定手段５０は、その背景差分領域は侵入者によるものと判定する。そして、警報部６や、通信部３を通じて警備装置などに異常発生信号を送信する。一方、判定値が所定の閾値未満であれば、侵入者判定手段５０は、その背景差分領域は侵入者によるものではないと判定する。なお、判定値の算出方法は、上記のものに限られない。例えば、（人属性量−変動影特徴量）を判定値として用いてもよい。
【００５９】
さらに、侵入者判定手段６０は、人属性量そのものと、所定の閾値を変動影特徴量に応じて修正した閾値とを比較して、背景差分領域が侵入者によるものか否かを判定するようにしてもよい。また侵入者判定手段６０は、複数の時刻において取得された監視画像において、同一の物体によると考えられる背景差分領域が継続して存在する場合、上記の判定値を、継続して存在する間累積してもよい。そして、その累積値が、所定の閾値を超えると、その背景差分領域が侵入者によるものと判定するようにしてもよい。この場合、侵入者判定手段６０は、あるフレームにおいて、対応する背景差分領域が見つからなくなると、その累積値を0.9倍するなどして減らす。そして数フレームの間継続して対応する背景差分領域が見つからなければ、侵入者判定手段６０は、その背景差分領域に対する判定値を初期化する。
【００６０】
背景画像設定手段６０は、侵入者の無い状態で監視領域を撮影した監視画像を、侵入者検知の基準となる背景画像として設定し、記憶部４に記憶する。具体的には、背景画像設定手段６０は、侵入者検知装置１を設置したときなど、侵入者検知装置１が初期化された後、最初に撮影された監視画像を背景画像とする。また、侵入者検知装置１が稼動している間、時間経過による監視領域内の明るさの変化や、影の位置の変化に対応するため、背景画像設定手段６０は、一定周期ごとに、撮像部２で取得された監視画像のうち、背景差分領域がないと判定されたもの、あるいは、侵入者が検知されなかった監視画像を、背景画像として更新する。また、背景画像設定手段６０は、数フレーム（例えば５フレーム）にわたって取得された監視画像を平均化した画像を、背景画像としてもよい。
【００６１】
図６に示したフローチャートを参照しつつ、本発明を適用した侵入者検知装置１の動作を以下に説明する。
まず、侵入者検知装置１に電源が投入されると、撮像部２は、一定の時間間隔で監視領域を撮影し、監視画像を取得する。そして、撮像部２は、監視画像を通信部３を介して画像処理部５へ送信する（ステップＳＴ０１）。そして、画像処理部５は、取得した監視画像を、その取得時刻の順番にしたがって配列するように、記憶部４に記憶する。次に、画像処理部５は、背景画像設定手段６０において、背景画像が設定されているか否かを判定する（ステップＳＴ０２）。侵入者検知装置１の起動直後など、背景画像が設定されていない場合、画像処理部５は取得した監視画像を背景画像として設定し、記憶部４に記憶する（ステップＳＴ０３）。背景画像が設定されると、画像処理部５は、影境界領域抽出手段１１において、設定された背景画像から影境界領域を抽出する（ステップＳＴ０４）。そして、抽出された影境界領域とその他の領域に２値化された影境界領域画像Ｐ(x,y)を記憶部４に記憶する。
【００６２】
一方、ステップＳＴ０２において、背景画像が既に設定されている場合、画像処理部５は、輝度変動位置抽出手段１２において、フレーム間で行ったフレーム間差分演算に基づき、所定期間中に影に相当する輝度値と日向に相当する輝度値の変動が複数回観測される輝度変動位置を抽出する（ステップＳＴ０５）。そして、抽出された輝度変動位置に相当する輝度変動画素とその他の画素に２値化された輝度変動位置画像Ｖ(x,y)を記憶部４に記憶する。そして、画像処理部５は、変動影画素特定手段１３において、影の揺れに相当する領域と考えられる変動影画素を抽出する（ステップＳＴ０６）。そして、抽出された変動影画素とその他の領域に２値化された変動影画像Ｓ(x,y)を記憶部４に記憶する。なお、影境界領域の抽出処理、輝度変動位置の抽出処理の詳細及び変動影画素の抽出処理の詳細については、図３〜５とともに上述したとおりである。
【００６３】
次に、画像処理部５は、背景差分領域抽出手段２０において、最新の監視画像と背景画像との対応画素間で差分を行い、輝度変動が相対的に大きい背景差分領域を抽出する（ステップＳＴ０７）。そして、画像処理部５は、変動影特徴量算出手段３０において、各背景差分領域について、影の揺れらしさを表す変動影特徴量を算出する（ステップＳＴ０８）。さらに、人属性量算出手段４０において、各背景差分領域について、人らしさを表す人属性量を算出する（ステップＳＴ０９）。
【００６４】
その後、画像処理部５の侵入者判定手段５０において、各背景差分領域について、変動影特徴量及び人属性量に基づいて算出された判定値が所定の閾値以上か否か判定することにより、その背景差分領域が侵入者によるものか否かを判定する（ステップＳＴ１０）。画像処理部５は、何れの背景差分領域についても、侵入者によるものではないと判定すると、背景画像設定手段６０において、背景画像の更新が必要か否か判定する（ステップＳＴ１１）。画像処理部５は、前回の背景画像の更新から所定の期間を経過している場合、最新の監視画像中に背景差分領域が存在するか否かを判断し、背景差分領域が存在しなければ、その最新の監視画像を新たな背景画像とし、記憶部４に記憶されている背景画像と置き換える（ステップＳＴ１２）。なお、画像処理部５は、最新の監視画像と記憶部４に記憶された背景画像とを平均化した画像を新たな背景画像とし、記憶部４に上書きしてもよい。なお、画像処理部５は、監視画像が取得される度に背景画像の更新を行ってもよい。
背景画像が更新されると、画像処理部５は、新たに影境界領域の抽出を行う（ステップＳＴ１３）。この処理はステップＳＴ０４と同じ処理であるため、説明を省略する。
【００６５】
一方、画像処理部５は、何れか一つの背景差分領域でも侵入者によるものと判定すると、警報部６へ異常発生信号を送信し、警報部６はその異常発生信号の受信に伴って、ＬＥＤの明滅、ブザー音の発振など、異常の報知を行う。また画像処理部５は、通信部３を介して、外部の警備装置または監視センタへ異常発生信号を送信する（ステップＳＴ１４）。そして、処理を終了する。
【００６６】
なお、演算負荷を減らすために、上記のステップＳＴ０７の処理を、ステップＳＴ０５及びＳＴ０６の前に行って、背景差分領域を変動影画素よりも先に抽出し、輝度変動位置抽出手段１２及び変動影画素特定手段１３による処理を、背景差分領域に限定して行ってもよい。
【００６７】
以上説明してきたように、本発明を適用した侵入者検知装置１は、監視領域内に写り込んだ植栽などの影の輪郭部分では、風の影響などによって繰り返し輝度変動が生じることに着目し、そのような領域を変動影画素として抽出する。そして、侵入者の可能性があるとして抽出した背景差分領域と、その変動影画素の重なり度合いなどに基づいて、背景差分領域が侵入者によるものか否かを判定するので、影の揺れを監視領域内への侵入者と誤って検知することを防止できる。
また、日中の太陽光が強い場合など影とそれ以外の部分の境界が明確な場合に影境界領域が設定されるが、曇りの日や、夜間など、画像上に影がない時間帯、場所では影境界領域は設定されないので、監視画像中に影の揺れによる輝度変動が生じない場合にまで影の揺れと誤って侵入者の検知に失敗することを防止できる。
さらに、影境界領域は背景画像の更新とともに再抽出されるので、太陽の移動、雲の移動等により影の位置が時々刻々変動しても、画像の状況に応じて影の揺れに相当する変動影画素を正確に抽出することができる。
【００６８】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、上記の実施形態では、物体の影の揺れによる変動が発生する可能性のある領域を変動影画素として設定し、監視画像と背景画像の差分により抽出された背景差分領域と変動影画素が重なる場合に、いくつかの条件に基づき影の揺れによるものか人によるものかを判定するようにしていたが、抽出された変動影画素を侵入者の検出を行わないマスク領域として設定してもよい。
【００６９】
また、影境界領域自体を変動影画素としてもよい。但しこの場合には、輝度変動位置抽出手段１２で求めた輝度変動画素が、背景差分領域と変動影画素の重複部分に占める割合を、変動影特徴量の算出に用いるパラメータとすることが好ましい。このパラメータの値は、例えば、背景差分領域が全て輝度変動画素のときに１、すなわち、影の揺れらしさが最大となる。一方、このパラメータの値は、背景差分領域に輝度変動画素が一つも含まれないときに０、すなわち、影の揺れらしさが最小となる。このように構成しても、影の境界部分で明滅を繰り返す画素が多ければ、影の揺れらしいと判断できるので、本発明を適用した侵入者検知装置は、影の揺れを侵入者と誤って検知して誤警報を発することを防止できる。
【００７０】
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【図面の簡単な説明】
【００７１】
【図１】本発明を適用した侵入者検知装置の機能ブロック図である。
【図２】画像処理部によって行われる処理の概略を説明する図である。
【図３】影境界領域を抽出する動作を示すフローチャートである。
【図４】輝度変動位置を抽出する動作を示すフローチャートである。
【図５】変動影画素を抽出する動作を示すフローチャートである。
【図６】本発明を適用した侵入者検知装置の動作フローチャートである。
【符号の説明】
【００７２】
１ 侵入者検知装置
２ 撮像部
３ 通信部
４ 記憶部
５ 画像処理部
６ 警報部
１０ 変動影画素抽出手段
１１ 影境界領域抽出手段
１２ 輝度変動位置抽出手段
１３ 変動影画素特定手段
２０ 背景差分領域抽出手段
３０ 変動影特徴量算出手段
４０ 人属性量算出手段
５０ 侵入者判定手段
６０ 背景画像設定手段
【特許請求の範囲】
【請求項１】
所定周期にて撮像した監視画像を順次画像処理して移動物体を検知する移動物体検知装置であって、
前記移動物体が写っていない画像である背景画像と影の揺れが生じる可能性のある前記背景画像中の影境界領域を記憶する記憶部と、
前記監視画像と前記背景画像とを差分処理して差分領域を抽出する差分領域抽出手段と、
前記所定周期で撮影された複数の監視画像において輝度変動を繰り返し、且つ前記影境界領域に含まれる変動影画素を抽出する変動影画素抽出手段と、
前記変動影画素の全部または一部が前記差分領域に含まれていると当該差分領域が前記移動物体によるものである可能性が下がる判定値を用いて移動物体によるものか否かを判定する判定手段と、
を有することを特徴とした移動物体検知装置。
【請求項２】
前記変動影画素抽出手段は、前記背景画像における影と影以外の領域の境界を抽出し、該境界及びその周辺領域を前記記憶部に影境界領域として記憶させる影境界領域抽出手段をさらに有する請求項１に記載の移動物体検知装置。
【請求項３】
さらに、前記監視画像における前記差分領域の画像が移動物体の示す画像上の特徴を有している度合が高くなるほど移動物体特徴量を高く算出する移動物体属性量算出手段と、
少なくとも前記差分領域に占める前記変動影画素の割合が高いほど変動影特徴量を高く算出する変動影特徴量算出手段を有し、
前記判定値は、前記移動物体特徴量を前記変動影特徴量にて反比例関係に作用させた値である請求項１または２に記載の移動物体検知装置。
【請求項４】
前記変動影特徴量算出手段は、前記差分領域に前記変動影画素が含まれた状態の継続期間が長いほど高くなる変動影特徴量を算出する請求項３に記載の移動物体検知装置。
【請求項１】
所定周期にて撮像した監視画像を順次画像処理して移動物体を検知する移動物体検知装置であって、
前記移動物体が写っていない画像である背景画像と影の揺れが生じる可能性のある前記背景画像中の影境界領域を記憶する記憶部と、
前記監視画像と前記背景画像とを差分処理して差分領域を抽出する差分領域抽出手段と、
前記所定周期で撮影された複数の監視画像において輝度変動を繰り返し、且つ前記影境界領域に含まれる変動影画素を抽出する変動影画素抽出手段と、
前記変動影画素の全部または一部が前記差分領域に含まれていると当該差分領域が前記移動物体によるものである可能性が下がる判定値を用いて移動物体によるものか否かを判定する判定手段と、
を有することを特徴とした移動物体検知装置。
【請求項２】
前記変動影画素抽出手段は、前記背景画像における影と影以外の領域の境界を抽出し、該境界及びその周辺領域を前記記憶部に影境界領域として記憶させる影境界領域抽出手段をさらに有する請求項１に記載の移動物体検知装置。
【請求項３】
さらに、前記監視画像における前記差分領域の画像が移動物体の示す画像上の特徴を有している度合が高くなるほど移動物体特徴量を高く算出する移動物体属性量算出手段と、
少なくとも前記差分領域に占める前記変動影画素の割合が高いほど変動影特徴量を高く算出する変動影特徴量算出手段を有し、
前記判定値は、前記移動物体特徴量を前記変動影特徴量にて反比例関係に作用させた値である請求項１または２に記載の移動物体検知装置。
【請求項４】
前記変動影特徴量算出手段は、前記差分領域に前記変動影画素が含まれた状態の継続期間が長いほど高くなる変動影特徴量を算出する請求項３に記載の移動物体検知装置。
【図１】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【公開番号】特開２００８−２９９５１６（Ｐ２００８−２９９５１６Ａ）
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願番号】特願２００７−１４３７２７（Ｐ２００７−１４３７２７）
【出願日】平成１９年５月３０日（２００７．５．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願日】平成１９年５月３０日（２００７．５．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]