不審物検知装置
【課題】不審物が当該不審物と似た色の背景部分に放置されても背景物と誤判定しない不審物検知装置を提供すること。
【解決手段】画素相違度算出手段４１は撮像部２から入力された入力画像と背景画像３０を画素ごとに比較して画素相違度を算出し、静止物領域検出手段４２は第１閾値を超える画素相違度が所定時間以上算出され続けた画素のまとまりを静止物領域として検出し、強変化部分検出手段４３は第１閾値より高く設定された第２閾値を超える画素相違度が算出された画素を強変化部分として検出し、不審物判定手段４４は静止物領域内の強変化部分における入力画像の輝度分布と当該強変化部分における背景画像３０の輝度分布を比較し、２つの輝度分布が相違する場合に当該静止物領域に不審物の存在を判定する。
強変化部分の輝度分布を比較することで背景画像に対する入力画像中の背景物と不審物の違いが強調され、検知精度が向上する。
【解決手段】画素相違度算出手段４１は撮像部２から入力された入力画像と背景画像３０を画素ごとに比較して画素相違度を算出し、静止物領域検出手段４２は第１閾値を超える画素相違度が所定時間以上算出され続けた画素のまとまりを静止物領域として検出し、強変化部分検出手段４３は第１閾値より高く設定された第２閾値を超える画素相違度が算出された画素を強変化部分として検出し、不審物判定手段４４は静止物領域内の強変化部分における入力画像の輝度分布と当該強変化部分における背景画像３０の輝度分布を比較し、２つの輝度分布が相違する場合に当該静止物領域に不審物の存在を判定する。
強変化部分の輝度分布を比較することで背景画像に対する入力画像中の背景物と不審物の違いが強調され、検知精度が向上する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視空間が撮像された画像から不審物を検知する不審物検知装置に関し、特に監視空間に持ち込まれた不審物を検知する不審物検知装置に関する。
【背景技術】
【０００２】
有人の監視空間における防犯を目的として、放置された危険物や忘れ物といった不審物の存在を監視画像から検知する装置が提案されている。これら不審物は監視空間外から持ち込まれたものであることから、以下では持込物とも称する。持込物は、元々空間内に存在していなかったものであり放置後は動かないことから、背景画像との差分領域が同じ位置に一定時間以上検出され続けていることをもって検知することができる。
【０００３】
ところが有人の監視空間では元々当該空間に存在していた椅子などがずらされることがある。これら椅子などの物体は、その像が背景の一部として背景画像中に含まれていることから、以下では背景物と称する。背景物がずらされた後は、持込物の場合と同様に背景画像との差分領域が同じ位置に一定時間以上検出され続ける。有人の監視空間において持込物を確実、且つ効率的に監視するには背景物と区別して持込物を検知しなくてはならない。
【０００４】
特許文献１には、差分領域における入力画像と背景画像の色ヒストグラムを比較することにより持込物と背景物を区別することが記載されている。すなわち差分領域において色ヒストグラムが類似していなければ持込物、色ヒストグラムが類似していれば背景物と判定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３６２２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、背景の色も持込物の色も多様であるため、持込物が当該持込物と似た色の背景部分に放置されることが起こり得る。このようなことが起こると持込物による差分領域において入力画像と背景画像の色ヒストグラムが類似してしまう。そのため従来技術においては、持込物を背景物と誤判定し、不審物を検知し損ねてしまう問題があった。
【０００７】
本発明は、上記問題を鑑みてなされたものであり、持込物が当該持込物と似た色の背景部分に放置されても当該持込物を背景物と誤判定せず、不審物を高精度に検知できる不審物検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる不審物検知装置は、監視空間が撮像された画像から不審物を検知する不審物検知装置であって、監視空間を順次撮像する撮像部と、予め不審物が存在しないときに撮像された背景画像を記憶する記憶部と、撮像部から入力された入力画像と背景画像を画素ごとに比較して画素相違度を算出する画素相違度算出手段と、予め設定された第１閾値を超える画素相違度が所定時間以上算出され続けた画素のまとまりを静止物領域として検出する静止物領域検出手段と、第１閾値より高く設定された第２閾値を超える画素相違度が算出された画素を強変化部分として検出する強変化部分検出手段と、静止物領域内の強変化部分における入力画像の輝度分布と当該強変化部分における背景画像の輝度分布を比較し、２つの輝度分布が予め設定された基準を超えて相違する場合に当該静止物領域に不審物の存在を判定する不審物判定手段と、を備えたことを特徴とする。
【０００９】
かかる構成によれば、第２閾値より低い第１閾値を用いることで背景物や不審物それぞれの静止物領域を正しくひとまとまりに検出でき、第１閾値より高い第２閾値を用いて静止物領域内に検出された強変化部分において輝度分布を比較することで背景画像に対する入力画像中の背景物と背景画像に対する入力画像中の不審物の違いが強調できるので正確に不審物を判定でき、静止物領域を不審物の存在範囲と判定するので不審物の全容を正確に判定できる。
よって不審物が当該不審物と部分的に似た色の背景部分に持ち込まれたとしても当該不審物を高精度に検知することが可能となる。
【００１０】
また、本発明の好適な態様においては、不審物判定手段は、さらに、静止物領域内に検出された強変化部分が予め設定された下限値よりも小さい場合に当該静止物領域に不審物の存在を判定する。
かかる構成によれば、不審物の全体が当該不審物と似た色の背景部分に重なってしまっても当該不審物を高精度に検知することが可能となる。
【００１１】
また、本発明の好適な態様においては、記憶部は不揮発性メモリを含んで構成され、不審物検知装置は、不審物判定手段によって不審物の存在が判定された静止物領域と当該判定がなされたときの入力画像を不揮発性メモリに保存する不審物情報保存手段と、保存が行なわれた後に、背景画像のうち保存の対象となった静止物領域と対応する部分を入力画像により更新する背景画像生成手段と、をさらに備える。
かかる構成によれば、検知した不審物の情報を確実に保全しつつ、同位置に新たな不審物が出現してもこれを間断なく検知できる。
【００１２】
また、本発明の好適な態様においては、不審物検知装置は、背景画像のうち不審物判定手段によって不審物の存在が判定されなかった静止物領域と対応する部分を入力画像により更新する背景画像生成手段、をさらに備える。
かかる構成によれば、背景物が動かされた位置に不審物が出現してもこれを間断なく検知できる。
【発明の効果】
【００１３】
本発明によれば、不審物が当該不審物と似た色の背景部分に持ち込まれたとしても当該不審物を高精度に検知することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態に係る不審物検知装置の機能ブロック図である。
【図２】静止物領域と強変化部分の関係を説明する図である。
【図３】本発明により不審物の判定が行われる様子を説明する図である。
【図４】不審物検知処理のフローチャートを示す図である。
【図５】本発明と異なり、１つの閾値で不審物の判定を行ったときの例を説明する図である。
【発明を実施するための形態】
【００１５】
本発明の好適な実施形態の一例として、不特定多数の人が行き交う待合室を監視空間とし、監視空間に持ち込まれる不審物を背景物と区別して検知する不審物検知装置について説明する。
【００１６】
［不審物検知装置１の構成］
不審物検知装置１の機能ブロック図を図１に示す。
不審物検知装置１は、撮像部２、記憶部３、表示部５及び記録装置６が制御部４に接続されて構成される。
【００１７】
撮像部２は所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像した画像を順次、制御部４へ出力する。以下、上記時間間隔で刻まれる時間単位を時刻と称する。
【００１８】
記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置である。記憶部３は、各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。各種データには、背景画像３０、追跡情報３１及び不審物情報３２が含まれる。ＲＡＭの少なくとも一部はＦｌａｓｈメモリ等の不揮発性メモリ（不揮発性ＲＡＭ）を含んでおり、不審物情報３２は不揮発性メモリに記憶される。
【００１９】
背景画像３０は、監視空間の背景の像のみが含まれ、不審物及び通行者の像が含まれていない画像である。背景画像３０は、不審物検知処理に先立って生成され、記憶される。
【００２０】
追跡情報３１は、監視空間に存在している不審物や通行者等の物体を複数時刻に亘り追跡するための情報と追跡した結果の情報である。追跡情報３１は、参照特徴量３１０と移動軌跡３１１を含み、物体ごとに記憶される。
【００２１】
参照特徴量３１０は追跡中の物体を特徴付ける色ヒストグラムなどの画像特徴量である。参照特徴量３１０は、過去の物体像から抽出され、現時刻の物体像がいずれの物体であるか同定するために、現時刻の物体像から抽出された画像特徴量と比較される。
画像特徴量としては、色ヒストグラム以外にもエッジ点数、代表色又はこれらのうち２以上の組み合わせなど種々の特徴量を採用することができる。
【００２２】
移動軌跡３１１は、物体の位置の履歴であり、各時刻における物体の位置データを時系列に並べたデータである。移動軌跡３１１は追跡の結果情報として生成される。また移動軌跡３１１は、現時刻の物体像の位置と比較され、現時刻の物体像がいずれの物体であるか同定するために用いられる。
【００２３】
不審物情報３２は検知された不審物に関する情報である。具体的には不審物情報３２は、不審物が検知された画像、当該画像において当該不審物が検知された領域の情報、及び当該不審物が検知された日時を含んでなる。
【００２４】
制御部４は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置である。制御部４は、背景画像生成手段４０、画素相違度算出手段４１、静止物領域検出手段４２、強変化部分検出手段４３、不審物判定手段４４、不審物情報保存手段４５等の動作を記述したプログラムを記憶部３から読み出して実行することにより各手段として機能する。制御部４は、撮像部２から入力された画像（以下、入力画像と称する）を処理して不審物を検知し、検知した不審物に関する不審物情報３２を記憶部３に保存するとともに、当該情報を表示部５及び記録装置６に出力する。また制御部４は、不図示の時計手段を備え、時計手段から現在の日時を取得することができる。
【００２５】
背景画像生成手段４０は、監視空間に不審物及び通行者が存在しないときに撮像された入力画像の全体を背景画像３０として記憶部３に記憶させる。また、背景画像生成手段４０は、以下のように入力画像を部分的に背景画像３０に合成することで背景画像３０を更新する。
【００２６】
第１に背景画像生成手段４０は、各時刻において、背景画像３０のうち入力画像との間で画像変化が検出されなかった部分（後述する変化領域が抽出されなかった部分）を当該入力画像により更新する。刻々と変化する照明環境に背景画像３０を最大限適応させることができる。照明変動による画像変化を誤抽出しにくくなるので不審物の検知精度が向上する。
【００２７】
第２に背景画像生成手段４０は、不審物情報保存手段４５から不審物情報３２を保存した旨の通知を受けると直ちに、背景画像３０のうち保存の対象となった不審物が検知された部分（後述する静止物領域のうち不審物の存在が判定された静止物領域）を入力画像により更新する。これにより既検知の不審物の情報を確実に保全しつつ、同部分において新たな不審物による画像変化を間断なく抽出できる。
【００２８】
第３に背景画像生成手段４０は、不審物判定手段４４により背景物の存在が判定されると直ちに、背景画像３０のうち当該背景物の存在が判定された部分（後述する静止物領域のうち不審物の存在が判定されなかった静止物領域）を入力画像により更新する。これにより同部分において新たな不審物による画像変化を間断なく抽出できる。
【００２９】
画素相違度算出手段４１は、各時刻において、入力画像と背景画像３０とを画素ごとに比較して各画素の相違度を算出する。以下、この相違度を画素相違度と称する。算出された画素相違度は静止物領域検出手段４２及び強変化部分検出手段４３に出力される。
【００３０】
画素相違度は対応する画素同士の差の絶対値として算出することができる。また、別の実施形態において画素相違度は、対応する画素同士の比の絶対値、或いは対応する画素間の距離として算出することができる。
【００３１】
静止物領域検出手段４２は、画素相違度算出手段４１にて算出された画素相違度を参照して、予め設定された第１閾値ＴＨ１を超える画素相違度が予め設定された静止判定時間Ｔｓ以上算出され続けた画素のまとまりを静止物領域として検出し、検出された静止物領域の情報を不審物判定手段４４に出力する。
【００３２】
具体的には、まず静止物領域検出手段４２は、各画素の画素相違度をＴＨ１と比較してＴＨ１以上の画素相違度が算出された画素を検出し、近接して検出された画素をまとめて画素のまとまりを変化領域として抽出する。
次に静止物領域検出手段４２は、前後する時刻にて抽出された変化領域の追跡を行ない、変化領域の移動軌跡３１１を求める。追跡は、変化領域における入力画像の画像特徴量及び変化領域の重心位置を追跡情報３１と比較することにより行なわれる。追跡の結果、同一物体によって異なる時刻に生じた変化領域が対応付けられ、その変化領域の重心位置の履歴が移動軌跡３１１として求められる。
続いて静止物領域検出手段４２は、変化領域の移動軌跡３１１から静止判定時間Ｔｓの間の総移動距離を算出し、算出された総移動距離が静止判定距離Ｔｄ未満であれば、当該変化領域を静止物領域として検出する。
【００３３】
強変化部分検出手段４３は、画素相違度算出手段４１にて算出された画素相違度を参照し、第１閾値ＴＨ１より高く設定された第２閾値ＴＨ２を超える画素相違度が算出された画素を強変化部分として検出し、強変化部分の情報を不審物判定手段４４に出力する。
静止物領域と強変化部分はともに同一の画素相違度を基に検出され、ＴＨ２＞ＴＨ１であることから、強変化部分はいずれかの静止物領域に内包される。
【００３４】
第１閾値ＴＨ１は、背景の一部と似た色の不審物が出現してもその不審物の存在範囲全体を変化領域として抽出できるよう低めの値に設定される。一方、第２閾値ＴＨ２は、背景の一部と似た色の不審物が出現したときに似た色の部分を検出しない程度に高い値が設定される。いずれも事前の実験を通じて適宜に設定される。
【００３５】
図２に具体的な一例を示して、静止物領域と強変化部分の関係を説明する。
【００３６】
画像１００は背景画像である。背景画像１００には背景物である椅子１０１、同じく背景物である棚１０２、床１０３、壁１０４などが撮像されている。
【００３７】
画像１１０は背景画像１００と対応する入力画像である。椅子１０１は、当該椅子が元々撮像されていた画像範囲と重なる程度にずらされている。このような変化は背景物に生じる典型的な変化のひとつである。椅子１０１の像は、入力画像１１０においても撮像されているが、動かされたために位置や見かけが変化している。
また入力画像１１０には背景画像１００には存在しなかった箱１１５と箱１１６が撮像されている。つまり箱１１５及び箱１１６は監視空間外からの持込物である。箱１１５，１１６の色は棚１０２と似ており、床１０３とは似ていない。入力画像１１０において、箱１１５は床１０３のみと重なる位置に撮像され、箱１１６は上半分が棚１０２と重なり下半分が床１０３と重なる位置に撮像されている。
【００３８】
画像１２０は静止物領域検出手段４２により検出された静止物領域１２１，１２５，１２６の情報を保持している通常差分画像である。
椅子１０１に係る静止物領域１２１は、背景画像１００において椅子１０１が撮像されていなかったが入力画像１１０において椅子１０１が撮像されている画素、背景画像１００において椅子１０１が撮像されていたが入力画像１１０において椅子１０１が撮像されなくなった画素、及び背景画像１００においても入力画像１１０においても椅子１０１が撮像されているが椅子１０１が動かされたことにより見かけ上の変化が起こった画素から構成されている。そのため静止物領域１２１は、入力画像１１０における椅子１０１のシルエットと背景画像１００における椅子１０１のシルエットを合成したような形状となっている。
箱１１５，１１６は元々背景画像１００には存在しなかったため、箱１１５全体のシルエット形状をした静止物領域１２５、箱１１６全体のシルエット形状をした静止物領域１２６がそれぞれ検出されている。
【００３９】
画像１３０は強変化部分検出手段４３により抽出された強変化部分１３１，１３５，１３６の情報を保持している強差分画像である。
背景画像１００と入力画像１１０のいずれにおいても椅子１０１が撮像されているが椅子１０１の見かけ上の変化が起こっただけの画素は、画素相違度が比較的小さいため、強変化部分として抽出されない。そのため椅子１０１に係る強変化部分１３１は、静止物領域１２１のうち、背景画像１００と入力画像１１０の一方にだけ椅子１０１が撮像されている画素のみから構成されている。
箱１１５は当該箱と色が似ていない床１０３と重なっていることから、箱１１５のシルエット全体が強変化部分１３５として抽出される。
箱１１６は、下半分が当該箱と色が似ていない床１０３と重なっているが、上半分は当該箱と色が似ている棚１０２と重なっていることから、箱１１６のシルエットの下半分が強変化部分１３６として抽出される。
【００４０】
不審物判定手段４４は、静止物領域に監視空間外から持ち込まれた持込物（不審物）が存在するか否かを判定する。持込物の存在が判定されなかった静止物領域は元々監視空間内に存在していた背景物によって生じたものであるということになる。
具体的には、不審物判定手段４４は、静止物領域内の強変化部分における入力画像の輝度分布と当該強変化部分における背景画像３０の輝度分布を比較し、２つの輝度分布が予め設定された基準を超えて相違する場合に当該静止物領域に持込物の存在を判定し、２つの輝度分布が類似する場合は当該静止物領域に背景物の存在を判定する。
【００４１】
不審物判定手段４４は、持込物の存在が判定された静止物領域の情報は不審物情報保存手段４５に出力し、持込物の存在が判定されなかった静止物領域の情報は背景画像生成手段４０に出力する。
【００４２】
輝度分布の特徴量としては色ヒストグラムを採用することができる。不審物判定手段４４は、強変化部分の入力画像の画素を色（各色の輝度）ごとに計数して色ヒストグラムＨｉを算出し、同強変化部分の背景画像３０の画素を色ごとに計数して色ヒストグラムＨｂを算出する。
別の実施形態においては輝度平均値及び輝度分散値を輝度分布の特徴量とすることもできる。この場合、不審物判定手段４４は、強変化部分の入力画像の輝度平均値と輝度分散値、及び同強変化部分の背景画像３０の輝度平均値と輝度分散値を算出する。
【００４３】
輝度分布の相違は、色ヒストグラム間の距離を算出して当該距離を予め設定された分布判定閾値Ｔｃと比較することにより判定することができる。不審物判定手段４４は、色ヒストグラムＨｉと色ヒストグラムＨｂの計数値の差の二乗の平方根或いは差の絶対値を色ごとに求めて積算することで距離を求め、距離がＴｃ以上であれば相違、距離がＴｃ未満であれば類似と判定する。分布判定閾値は強変化部分の画素数の５０％程度に相当する値として設定することができる。
【００４４】
別の実施形態においては距離に代えて類似度を算出することができる。不審物判定手段４４は、色ヒストグラムＨｉと色ヒストグラムＨｂの計数値のうち小さい方を色ごとに求めて積算することで類似度を求め、類似度が予め設定された分布判定閾値を超える場合に類似と判定し、そうでない場合に相違と判定する。
輝度平均値及び輝度分散値を用いる別の実施形態においては、不審物判定手段４４は、輝度平均値同士の差と輝度分散値同士の差を重み付け加算して輝度分布の相違度を求め、相違度が予め設定された分布判定閾値を超える場合に相違と判定し、そうでない場合に類似と判定する。
【００４５】
図３は、図２で例示した椅子１０１、箱１１５及び箱１１６の静止物領域及び強変化部分を基にして、不審物判定手段４４が判定を行う様子を説明する図である。
【００４６】
画像１５１は、背景画像１００から強変化部分１３１に対応する部分を切り出した画像である。画像１５１の左側には椅子１０１が撮像された画素、画像１５１の右側には床１０３又は壁１０４が撮像された画素が分布している。不審物判定手段４４は画像１５１の色ヒストグラムＨｂを算出する。
【００４７】
画像１６１は、入力画像１１０から強変化部分１３１に対応する部分を切り出した画像である。画像１６１の左側には床１０３又は壁１０４が撮像された画素、画像１６１の右側には椅子１０１が撮像された画素が分布している。不審物判定手段４４は画像１６１の色ヒストグラムＨｉを算出する。
【００４８】
不審物判定手段４４は、画像１５１の色ヒストグラムＨｂと画像１６１の色ヒストグラムＨｉの距離を算出する。色ヒストグラムは領域単位の特徴量であり、色ヒストグラムの距離は領域単位の相違度である。色ヒストグラムを比較する場合、画素単位で算出した画素相違度と異なり画素位置は不問となる。画像１５１と画像１６１はいずれも、椅子１０１が撮像された画素、床１０３が撮像された画素、壁１０４が撮像された画素から構成され、色ヒストグラムは似通ったものとなる。算出される色ヒストグラムの距離は小さな値となり、不審物判定手段４４は、強変化部分１３１の輝度分布が類似するとして、椅子１０１に係る静止物領域１２１に背景物の存在を判定する。
【００４９】
画像１５５は、背景画像１００から強変化部分１３５に対応する部分を切り出した画像である。画像１５５には床１０３が撮像された画素が分布している。
画像１６５は、入力画像１１０から強変化部分１３５に対応する部分を切り出した画像である。画像１６５には箱１１５が撮像された画素が分布している。
不審物判定手段４４は、画像１５５の色ヒストグラムＨｂと画像１６５の色ヒストグラムＨｉを算出して比較する。色ヒストグラムの距離は大きな値となり、不審物判定手段４４は、強変化部分１３５の色ヒストグラムは相違するとして、箱１１５に係る静止物領域１２５に持込物の存在を判定する。
【００５０】
画像１５６は、背景画像１００から強変化部分１３６に対応する部分を切り出した画像である。画像１５６には床１０３が撮像された画素が分布している。
画像１６６は、入力画像１１０から強変化部分１３６に対応する部分を切り出した画像である。画像１６６には箱１１６が撮像された画素が分布している。
不審物判定手段４４は、画像１５６の色ヒストグラムＨｂと画像１６６の色ヒストグラムＨｉを算出して比較する。色ヒストグラムの距離は大きな値となり、不審物判定手段４４は、強変化部分１３６の輝度分布は相違するとして、箱１１６に係る静止物領域１２６に持込物の存在を判定する。
このように不審物判定手段４４は、似た色の背景部分に放置された箱１１６を正しく持込物と判定することができる。
【００５１】
以上のように不審物判定手段４４は、入力画像と背景画像の間で「静止物領域内の強変化部分の輝度分布」を比較する。強変化部分に着目したこの比較は、入力画像と背景画像の間で同位置且つ似た色の画素が排除された比較となる。さらに輝度分布に着目したこの比較は、画素の位置に依存しない比較となる。
強変化部分に着目することで、持込物により生じた静止物領域から背景画像と似てしまった画素を除外して比較が行われる。そのため持込物に関する背景画像と入力画像の相違は強調される。
他方、背景物に関する静止物領域は元々背景画像中に含まれている物体の位置変化により生じたものである。そのため、画素位置に依存しない輝度分布を比較することで、背景物については強変化部分に着目しても背景画像と入力画像が類似すると判定できる。
これらのことから第１閾値より高い第２閾値を用いて検出された強変化部分において輝度分布を比較することで背景画像に対する入力画像中の背景物と背景画像に対する入力画像中の不審物の違いが適確に強調され、不審物が存在するか否かの判定が正確になる。
【００５２】
また以上のように、静止物領域検出手段４２は第２閾値より低い第１閾値を用いて静止物領域を検出し、不審物判定手段４４は相違が判定された強変化部分を有する静止物領域に不審物の存在を判定する。
このように第２閾値より低い第１閾値を用いて静止物領域を検出することで、背景物や不審物それぞれの静止物領域をひとまとまりに検出できるので、不審物が存在するか否かの判定が正確になり、また不審物の全容を正確に判定できる。
【００５３】
このように２つの閾値を用いることにより、不審物が当該不審物と部分的に似た色の背景部分に持ち込まれたとしても当該不審物の存在有無および存在範囲を高精度に判定することが可能となる。
【００５４】
本発明との対比のために、仮に１つの閾値を用いて不審物の判定を行なう場合の例を示す。
【００５５】
例えば図２及び図３の例で、仮に第２閾値のみを用いて静止物領域を検出すると画像１３０に示したような領域が静止物領域となる。椅子１０１の静止物領域はひとまとまりに検出されず複数に分離し、分離してしまえば入力画像と背景画像の間で輝度分布が類似していると判定するのは困難となり、背景物が不審物と誤判定されるのである。また箱１１６の静止物領域は欠けて検出される。放置された場所によっては複数に分離して検出されたり、そもそも検出されなくもなる。そのため不審物の存在範囲、存在数又は存在有無を正しく判定することが困難となる。
【００５６】
また例えば図２及び図３の例で、仮に第１閾値のみを用いて不審物の判定を行なう場合の例を、図５を参照して説明する。
この場合、入力画像１１０と背景画像１００の間で（強変化部分ではなく）静止物領域の色ヒストグラムを比較することになる。椅子１０１に関しては静止物領域１２１における背景画像１００の部分画像９５１と同領域における入力画像１１０の部分画像９６１を比較することになる。また、箱１１６に関しては静止物領域１２６における背景画像１００の部分画像９５６と同領域における入力画像１１０の部分画像９６６を比較することになる。
椅子１０１の場合も箱１１６の場合も同程度に類似してしまい、背景物と不審物を区別することは困難となる。
【００５７】
以上、仮に１つの閾値を用いて不審物の判定を行なうと正しい判定は困難であることを説明した。
【００５８】
ところで、上述した例では持込物の少なくとも一部が当該持込物と類似しない背景部分に撮像されていたが、持込物の全体が当該持込物と似た色の背景部分に撮像される場合もある。例えば箱１１５の色が床１０３と似ている場合がある。
【００５９】
ここで背景物により生じる静止物領域に注目する。当該静止物領域には背景物が動かされたことにより撮像されなくなった背景部分と背景物が動かされたことにより新たに撮像されるようになった背景部分とが含まれている。このことから当該静止物領域には必ず強変化部分が検出されるのである。
【００６０】
そこで、不審物判定手段４４は、静止物領域内に検出された強変化部分が予め設定された下限値よりも小さい場合に当該静止物領域に不審物が存在すると判定する。
具体的には、不審物判定手段４４は、静止物領域の面積Ｓｎに対する強変化部分の面積Ｓｓの比Ｒ（＝Ｓｓ／Ｓｎ）を求め、比Ｒと予め設定された下限値Ｔｒとを比較する。ＲがＴｒ未満であれば静止物領域に不審物が存在すると判定される。
Ｔｒは例えば０．０１と設定すればよい。Ｔｒを０としないのはノイズ等による静止物領域の抽出誤差や強変化部分の抽出誤差を考慮しているためである。
これにより、持込物の全体が当該持込物と似た色の背景部分に撮像されたとしても、当該持込物（不審物）を背景物と区別して正しく判定することができる。
【００６１】
不審物情報保存手段４５は、不審物の存在が判定されたときの画像情報と当該不審物の存在が判定された日時情報からなる不審物情報３２を生成して、生成された不審物情報３２を記憶部３の不揮発性メモリに保存し、保存した旨を背景画像生成手段４０に通知する。また不審物情報保存手段４５は不揮発性メモリに保存された不審物情報３２を順次記録装置６に移動させる。
【００６２】
不審物の画像情報は、不審物判定手段４４から入力された静止物領域（すなわち不審物の存在が判定された静止物領域）と、当該静止物領域が入力された時刻に撮像された入力画像から生成される不審物を視認可能な画像情報である。具体的には不審物情報保存手段４５は、上記静止物領域を示す枠を上記入力画像に重畳して不審物の画像情報を生成する。別の実施形態において不審物情報保存手段４５は上記入力画像から上記静止物領域に対応する部分画像を切り出して不審物の画像情報を生成する。
不審物の存在が判定された日時情報は、不審物判定手段４４から静止物領域の情報が入力されたときに不図示の時計手段から取得する。
【００６３】
表示部５は、不審物情報３２を視認可能に表示する液晶ディスプレイ等の表示装置などである。表示部５は、制御部４から不審物情報３２又はその他の情報が入力されると、これらの情報を視認可能に表示して監視員に伝達する。
【００６４】
記録装置６は、ハードディスクレコーダー或いはＤＶＤレコーダー等であり、不審物情報３２を長期保存する。記録装置６は、制御部４の不審物情報保存手段４５から不審物情報３２が入力されると、当該不審物情報３２をハードディスク等の磁気記録媒体或いはＤＶＤ等の光記憶媒体に保存する。
【００６５】
［不審物検知装置１の動作］
以下、図４を参照して、不審物検知装置１の動作を説明する。
【００６６】
監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段は初期化されて動作を始める（Ｓ１）。背景画像生成手段４０は、初期化中の入力画像を背景画像３０として記憶部３に記憶させる。
【００６７】
初期化の後は、撮像部２から制御部４へ新たな画像が入力されるたびにＳ２〜Ｓ１８の処理が繰り返される。
【００６８】
新たな画像が入力されると（Ｓ２）、制御部４の画素相違度算出手段４１は当該入力画像の画素ごとに対応する背景画像３０の画素との差の絶対値を画素相違度として算出する（Ｓ３）。算出結果として、各画素の画素値が画素相違度である差画像が生成される。
【００６９】
差画像が生成されると、制御部４の静止物領域検出手段４２は、差画像に第１閾値ＴＨ１を適用して画素値すなわち画素相違度がＴＨ１以上の画素を検出し、近接して検出された画素同士をまとめて変化領域を抽出する（Ｓ４）。この処理は一般に背景差分処理と呼ばれる。抽出結果として、変化領域内の画素値を１、変化領域外の画素値を０に設定した通常差分画像が生成される。
【００７０】
その一方で、制御部４の強変化部分検出手段４３は、上記差画像に第２閾値ＴＨ２を適用して画素値すなわち画素相違度がＴＨ２以上の画素群を強変化部分として検出する（Ｓ５）。検出結果として、強変化部分内の画素値を１、強変化部分外の画素値を０に設定した強差分画像が生成される。
【００７１】
続いて静止物領域検出手段４２は、前後する時刻に抽出された変化領域を同定することで各変化領域を追跡し（各物体を追跡し）、各変化領域の移動軌跡３１１（各物体の移動軌跡３１１）を検出する（Ｓ６）。
【００７２】
ステップＳ６の処理について詳説する。
【００７３】
まず静止物領域検出手段４２は、現時刻において抽出された変化領域内の入力画像から画像特徴量を抽出するとともに、当該変化領域の重心位置を算出する。現時刻より前の時刻においても同様に画像特徴量の抽出及び重心位置の算出が行われ、これらの情報が参照特徴量３１０及び移動軌跡３１１として記憶されている。
【００７４】
次に静止物領域検出手段４２は、前時刻までの移動軌跡３１１に等速直線モデル或いはカルマンフィルタを適用して現時刻の予測位置を求め、現時刻の画像特徴量と参照特徴量３１０の距離（特徴間距離）、及び現時刻の重心位置と予測位置の距離（重心間距離）を算出し、｛α×特徴間距離＋（１−α）×重心間距離｝を変化領域と追跡情報３１との総合距離として算出する。但し、０＜α＜１である。
【００７５】
続いて静止物領域検出手段４２は、総合距離が同定閾値Ｔｍ以下である変化領域と追跡情報３１の組み合わせを同一物体によるものとして同定する。ひとつの変化領域或いはひとつの追跡情報３１に対して総合距離がＴｍ以下である組み合わせが複数ある場合は、総合距離が最も小さい組み合わせに決定される。
いずれの変化領域とも同定されなかった追跡情報３１は監視空間外への消失が判定される。また、いずれの追跡情報３１とも同定されなかった変化領域は新規出現が判定される。
【００７６】
続いて静止物領域検出手段４２は、追跡情報３１を当該追跡情報３１と同定された変化領域の情報で更新する。参照特徴量３１０は変化領域の画像特徴量で置換され、移動軌跡３１１には変化領域の重心位置が追加される。
また、静止物領域検出手段４２は消失が判定された追跡情報３１を記憶部３から削除する。当該物体は追跡対象外となる。
また、静止物領域検出手段４２は新規出現が判定された変化領域の画像特徴量と重心位置は、新たな追跡情報３１として記憶部３に追加記憶される。当該物体は新たに追跡対象となる。
【００７７】
こうして追跡が進捗して各変化領域の移動軌跡３１１が更新されると、制御部４は各変化領域を順次処理対象に設定してステップＳ７〜Ｓ１８のループ処理を実行する。
【００７８】
ループ処理において、まず、静止物領域検出手段４２は、処理対象の変化領域が静止物領域か否かを判定する（Ｓ８）。静止物領域検出手段４２は、処理対象の変化領域の移動軌跡３１１を構成する位置情報のうち新しいものから順に静止判定時間Ｔｓに相当する個数の位置情報を記憶部３から選択的に読み出し、読み出した位置情報間の距離を累積して総移動距離を算出し、総移動距離を静止判定距離Ｔｄと比較する。総移動距離がＴｄ未満であれば変化領域は静止物領域と判定される。尚、移動軌跡３１１を構成する位置情報の個数が不足している場合、判定は次時刻以降に持ち越され、現時刻の判定結果は便宜的に静止物領域でないとされる。
【００７９】
処理対象の変化領域が静止物領域と判定された場合（Ｓ８にてＹＥＳ）、不審物判定手段４４は、検出された静止物領域の面積Ｓｎと当該静止物領域内の強変化部分の面積Ｓｓの比Ｒを求め、比Ｒと予め設定された比率判定閾値Ｔｒとを比較する（Ｓ９）。ＲがＴｒ未満であれば強変化部分が極小サイズであると判定される。
【００８０】
強変化部分が極小サイズと判定された場合、不審物判定手段４４は処理対象の静止物領域に持込物（不審物）の存在を判定する（Ｓ９にてＹＥＳ→Ｓ１２）。
【００８１】
不審物の存在が判定されると、不審物情報保存手段４５は、処理対象の静止物領域の外枠を現時刻の入力画像に描画し、時計手段から現在日時を取得し、枠が描画された入力画像と現在日時を不審物情報３２として記憶部３に短期保存する（Ｓ１３）。また、不審物情報保存手段４５は表示部５に不審物情報３２を出力する。このとき不審物情報保存手段４５は、保存した不審物情報３２の読み出しを試験し、読み出せたなら保存が成功したとして背景画像生成手段４０に通知する（Ｓ１４）。保存エラー又は読み出し試験エラーが発生した場合、不審物情報保存手段４５はその旨を表示部５に表示させる。
【００８２】
保存成功の通知後、不審物情報保存手段４５は、短期保存された不審物情報３２を長期保存可能な記録装置６に移動する処理を開始する。記録装置６への移動は不審物検知処理のバックグラウンド処理として行われる。そして、移動が終わると当該不審物情報３２を記憶部３から削除し、バックグラウンド処理を終了する。
【００８３】
強変化部分が極小サイズと判定されなかった場合、不審物判定手段４４は、当該強変化部分における入力画像の色ヒストグラムＨｉと同強変化部分における背景画像３０の色ヒストグラムＨｂを算出してＨｉとＨｂの距離を算出し、算出された距離を分布判定閾値Ｔｃと比較する（Ｓ９にてＮＯ→Ｓ１０→Ｓ１１）。
【００８４】
距離がＴｃ以上であれば強変化部分における輝度分布は相違していると判定され、不審物判定手段４４は処理対象の静止物領域に持込物（不審物）の存在を判定し、不審物情報保存手段４５は不審物情報３２を生成して保存してその旨を通知する（Ｓ１１にてＹＥＳ→Ｓ１２→Ｓ１３→Ｓ１４）。ステップＳ１２，Ｓ１３，Ｓ１４における処理は上述の通りである。
【００８５】
一方、強変化部分における輝度分布が相違していなければ、不審物判定手段４４は、処理対象の静止物領域に持込物の存在を判定せず、当該静止物領域は背景物により生じたものと判定する（Ｓ１１にてＮＯ→Ｓ１５）。背景物と判定された場合、不審物情報３２は出力されない。
【００８６】
こうして静止物領域が不審物によるものか背景物によるものか判定され、不審物によるものと判定されればその情報が保存される。
【００８７】
処理対象の静止物領域が不審物によるものと判定されて不審物情報３２の保存成功が通知された場合（Ｓ１４にてＹＥＳ）又は処理対象の静止物領域が背景物によるものと判定された場合（Ｓ１５）、背景画像生成手段４０は、処理対象の静止物領域の入力画像を背景画像３０に合成して背景画像３０を更新する（Ｓ１６）。合成は重み付け平均処理又は置換処理により行われる。
次時刻以降、区別が終わった静止物に関する変化領域は抽出されなくなり、当該静止物と画像上で重なる位置に新たに持ち込まれた不審物を引き続き検知することが可能となる。
【００８８】
一方、処理対象の静止物領域が不審物によるものと判定されたが保存成功が通知されなかった場合（Ｓ１４にてＮＯ）、背景画像３０は更新されない。更新されないことにより次時刻においても同じ静止物領域が検出されて不審物情報３２の保存が実行されるので、不審物の情報の喪失を防止できる。
【００８９】
尚、処理対象の変化領域が静止物領域と判定されなかった場合、制御部４は当該変化領域の移動軌跡３１１を基にして長時間滞留者などの不審者を検知し、不審者が検知されるとその情報を表示部５に出力する（Ｓ８にてＮＯ→Ｓ１７）。
【００９０】
以上で説明したＳ７〜Ｓ１８までの処理が全ての変化領域に対して行われると、背景画像生成手段４０は変化領域以外の入力画像を背景画像３０に合成して背景画像３０を更新する（Ｓ１９）。
【００９１】
［変形例］
上記実施形態において静止物領域検出手段４２は、前後する時刻において抽出された変化領域を追跡することによって静止物領域を検出した。上記実施形態は静止物体の追跡処理と移動物体の追跡処理を共通化できるので、不審物検知処理と不審者検知処理の両方を行う場合に保守性が向上する。
別の実施形態において静止物領域検出手段４２は、画素単位で画素相違度を観測することによって、第１閾値ＴＨ１を超える画素相違度が静止判定時間Ｔｓ以上算出され続けた画素のまとまりを静止物領域として検出する。不審物検知処理に特化するのであれば、このような実施形態でもよい。
すなわち静止物領域検出手段４２は、追跡情報３１に代えて過去の静止判定時間Ｔｓの間に生成された通常差分画像を記憶部３に記憶させ、これらの通常差分画像と現時刻に生成された通常差分画像の論理積画像を生成し、論理積画像において画素値が１の画素のうち近接する画素をまとめて静止物領域を検出する。あるいはＴｅ時刻分の抽出漏れを許容するのであれば、静止物領域検出手段４２は、同様に記憶された過去の通常差分画像と現時刻に生成された通常差分画像の画素値が１である画像数を画素ごとに計数し、計数値が（Ｔｓ−Ｔｅ）以上の画素のうち近接する画素をまとめて静止物領域を検出する。
【符号の説明】
【００９２】
１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・制御部
５・・・表示部
６・・・記録装置
３０・・・背景画像
３１・・・追跡情報
３２・・・不審物情報
４０・・・背景画像生成手段
４１・・・画素相違度算出手段
４２・・・静止物領域検出手段
４３・・・強変化部分検出手段
４４・・・不審物判定手段
４５・・・不審物情報保存手段
３１０・・・参照特徴量
３１１・・・移動軌跡
【技術分野】
【０００１】
本発明は、監視空間が撮像された画像から不審物を検知する不審物検知装置に関し、特に監視空間に持ち込まれた不審物を検知する不審物検知装置に関する。
【背景技術】
【０００２】
有人の監視空間における防犯を目的として、放置された危険物や忘れ物といった不審物の存在を監視画像から検知する装置が提案されている。これら不審物は監視空間外から持ち込まれたものであることから、以下では持込物とも称する。持込物は、元々空間内に存在していなかったものであり放置後は動かないことから、背景画像との差分領域が同じ位置に一定時間以上検出され続けていることをもって検知することができる。
【０００３】
ところが有人の監視空間では元々当該空間に存在していた椅子などがずらされることがある。これら椅子などの物体は、その像が背景の一部として背景画像中に含まれていることから、以下では背景物と称する。背景物がずらされた後は、持込物の場合と同様に背景画像との差分領域が同じ位置に一定時間以上検出され続ける。有人の監視空間において持込物を確実、且つ効率的に監視するには背景物と区別して持込物を検知しなくてはならない。
【０００４】
特許文献１には、差分領域における入力画像と背景画像の色ヒストグラムを比較することにより持込物と背景物を区別することが記載されている。すなわち差分領域において色ヒストグラムが類似していなければ持込物、色ヒストグラムが類似していれば背景物と判定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３６２２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、背景の色も持込物の色も多様であるため、持込物が当該持込物と似た色の背景部分に放置されることが起こり得る。このようなことが起こると持込物による差分領域において入力画像と背景画像の色ヒストグラムが類似してしまう。そのため従来技術においては、持込物を背景物と誤判定し、不審物を検知し損ねてしまう問題があった。
【０００７】
本発明は、上記問題を鑑みてなされたものであり、持込物が当該持込物と似た色の背景部分に放置されても当該持込物を背景物と誤判定せず、不審物を高精度に検知できる不審物検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる不審物検知装置は、監視空間が撮像された画像から不審物を検知する不審物検知装置であって、監視空間を順次撮像する撮像部と、予め不審物が存在しないときに撮像された背景画像を記憶する記憶部と、撮像部から入力された入力画像と背景画像を画素ごとに比較して画素相違度を算出する画素相違度算出手段と、予め設定された第１閾値を超える画素相違度が所定時間以上算出され続けた画素のまとまりを静止物領域として検出する静止物領域検出手段と、第１閾値より高く設定された第２閾値を超える画素相違度が算出された画素を強変化部分として検出する強変化部分検出手段と、静止物領域内の強変化部分における入力画像の輝度分布と当該強変化部分における背景画像の輝度分布を比較し、２つの輝度分布が予め設定された基準を超えて相違する場合に当該静止物領域に不審物の存在を判定する不審物判定手段と、を備えたことを特徴とする。
【０００９】
かかる構成によれば、第２閾値より低い第１閾値を用いることで背景物や不審物それぞれの静止物領域を正しくひとまとまりに検出でき、第１閾値より高い第２閾値を用いて静止物領域内に検出された強変化部分において輝度分布を比較することで背景画像に対する入力画像中の背景物と背景画像に対する入力画像中の不審物の違いが強調できるので正確に不審物を判定でき、静止物領域を不審物の存在範囲と判定するので不審物の全容を正確に判定できる。
よって不審物が当該不審物と部分的に似た色の背景部分に持ち込まれたとしても当該不審物を高精度に検知することが可能となる。
【００１０】
また、本発明の好適な態様においては、不審物判定手段は、さらに、静止物領域内に検出された強変化部分が予め設定された下限値よりも小さい場合に当該静止物領域に不審物の存在を判定する。
かかる構成によれば、不審物の全体が当該不審物と似た色の背景部分に重なってしまっても当該不審物を高精度に検知することが可能となる。
【００１１】
また、本発明の好適な態様においては、記憶部は不揮発性メモリを含んで構成され、不審物検知装置は、不審物判定手段によって不審物の存在が判定された静止物領域と当該判定がなされたときの入力画像を不揮発性メモリに保存する不審物情報保存手段と、保存が行なわれた後に、背景画像のうち保存の対象となった静止物領域と対応する部分を入力画像により更新する背景画像生成手段と、をさらに備える。
かかる構成によれば、検知した不審物の情報を確実に保全しつつ、同位置に新たな不審物が出現してもこれを間断なく検知できる。
【００１２】
また、本発明の好適な態様においては、不審物検知装置は、背景画像のうち不審物判定手段によって不審物の存在が判定されなかった静止物領域と対応する部分を入力画像により更新する背景画像生成手段、をさらに備える。
かかる構成によれば、背景物が動かされた位置に不審物が出現してもこれを間断なく検知できる。
【発明の効果】
【００１３】
本発明によれば、不審物が当該不審物と似た色の背景部分に持ち込まれたとしても当該不審物を高精度に検知することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態に係る不審物検知装置の機能ブロック図である。
【図２】静止物領域と強変化部分の関係を説明する図である。
【図３】本発明により不審物の判定が行われる様子を説明する図である。
【図４】不審物検知処理のフローチャートを示す図である。
【図５】本発明と異なり、１つの閾値で不審物の判定を行ったときの例を説明する図である。
【発明を実施するための形態】
【００１５】
本発明の好適な実施形態の一例として、不特定多数の人が行き交う待合室を監視空間とし、監視空間に持ち込まれる不審物を背景物と区別して検知する不審物検知装置について説明する。
【００１６】
［不審物検知装置１の構成］
不審物検知装置１の機能ブロック図を図１に示す。
不審物検知装置１は、撮像部２、記憶部３、表示部５及び記録装置６が制御部４に接続されて構成される。
【００１７】
撮像部２は所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像した画像を順次、制御部４へ出力する。以下、上記時間間隔で刻まれる時間単位を時刻と称する。
【００１８】
記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置である。記憶部３は、各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。各種データには、背景画像３０、追跡情報３１及び不審物情報３２が含まれる。ＲＡＭの少なくとも一部はＦｌａｓｈメモリ等の不揮発性メモリ（不揮発性ＲＡＭ）を含んでおり、不審物情報３２は不揮発性メモリに記憶される。
【００１９】
背景画像３０は、監視空間の背景の像のみが含まれ、不審物及び通行者の像が含まれていない画像である。背景画像３０は、不審物検知処理に先立って生成され、記憶される。
【００２０】
追跡情報３１は、監視空間に存在している不審物や通行者等の物体を複数時刻に亘り追跡するための情報と追跡した結果の情報である。追跡情報３１は、参照特徴量３１０と移動軌跡３１１を含み、物体ごとに記憶される。
【００２１】
参照特徴量３１０は追跡中の物体を特徴付ける色ヒストグラムなどの画像特徴量である。参照特徴量３１０は、過去の物体像から抽出され、現時刻の物体像がいずれの物体であるか同定するために、現時刻の物体像から抽出された画像特徴量と比較される。
画像特徴量としては、色ヒストグラム以外にもエッジ点数、代表色又はこれらのうち２以上の組み合わせなど種々の特徴量を採用することができる。
【００２２】
移動軌跡３１１は、物体の位置の履歴であり、各時刻における物体の位置データを時系列に並べたデータである。移動軌跡３１１は追跡の結果情報として生成される。また移動軌跡３１１は、現時刻の物体像の位置と比較され、現時刻の物体像がいずれの物体であるか同定するために用いられる。
【００２３】
不審物情報３２は検知された不審物に関する情報である。具体的には不審物情報３２は、不審物が検知された画像、当該画像において当該不審物が検知された領域の情報、及び当該不審物が検知された日時を含んでなる。
【００２４】
制御部４は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置である。制御部４は、背景画像生成手段４０、画素相違度算出手段４１、静止物領域検出手段４２、強変化部分検出手段４３、不審物判定手段４４、不審物情報保存手段４５等の動作を記述したプログラムを記憶部３から読み出して実行することにより各手段として機能する。制御部４は、撮像部２から入力された画像（以下、入力画像と称する）を処理して不審物を検知し、検知した不審物に関する不審物情報３２を記憶部３に保存するとともに、当該情報を表示部５及び記録装置６に出力する。また制御部４は、不図示の時計手段を備え、時計手段から現在の日時を取得することができる。
【００２５】
背景画像生成手段４０は、監視空間に不審物及び通行者が存在しないときに撮像された入力画像の全体を背景画像３０として記憶部３に記憶させる。また、背景画像生成手段４０は、以下のように入力画像を部分的に背景画像３０に合成することで背景画像３０を更新する。
【００２６】
第１に背景画像生成手段４０は、各時刻において、背景画像３０のうち入力画像との間で画像変化が検出されなかった部分（後述する変化領域が抽出されなかった部分）を当該入力画像により更新する。刻々と変化する照明環境に背景画像３０を最大限適応させることができる。照明変動による画像変化を誤抽出しにくくなるので不審物の検知精度が向上する。
【００２７】
第２に背景画像生成手段４０は、不審物情報保存手段４５から不審物情報３２を保存した旨の通知を受けると直ちに、背景画像３０のうち保存の対象となった不審物が検知された部分（後述する静止物領域のうち不審物の存在が判定された静止物領域）を入力画像により更新する。これにより既検知の不審物の情報を確実に保全しつつ、同部分において新たな不審物による画像変化を間断なく抽出できる。
【００２８】
第３に背景画像生成手段４０は、不審物判定手段４４により背景物の存在が判定されると直ちに、背景画像３０のうち当該背景物の存在が判定された部分（後述する静止物領域のうち不審物の存在が判定されなかった静止物領域）を入力画像により更新する。これにより同部分において新たな不審物による画像変化を間断なく抽出できる。
【００２９】
画素相違度算出手段４１は、各時刻において、入力画像と背景画像３０とを画素ごとに比較して各画素の相違度を算出する。以下、この相違度を画素相違度と称する。算出された画素相違度は静止物領域検出手段４２及び強変化部分検出手段４３に出力される。
【００３０】
画素相違度は対応する画素同士の差の絶対値として算出することができる。また、別の実施形態において画素相違度は、対応する画素同士の比の絶対値、或いは対応する画素間の距離として算出することができる。
【００３１】
静止物領域検出手段４２は、画素相違度算出手段４１にて算出された画素相違度を参照して、予め設定された第１閾値ＴＨ１を超える画素相違度が予め設定された静止判定時間Ｔｓ以上算出され続けた画素のまとまりを静止物領域として検出し、検出された静止物領域の情報を不審物判定手段４４に出力する。
【００３２】
具体的には、まず静止物領域検出手段４２は、各画素の画素相違度をＴＨ１と比較してＴＨ１以上の画素相違度が算出された画素を検出し、近接して検出された画素をまとめて画素のまとまりを変化領域として抽出する。
次に静止物領域検出手段４２は、前後する時刻にて抽出された変化領域の追跡を行ない、変化領域の移動軌跡３１１を求める。追跡は、変化領域における入力画像の画像特徴量及び変化領域の重心位置を追跡情報３１と比較することにより行なわれる。追跡の結果、同一物体によって異なる時刻に生じた変化領域が対応付けられ、その変化領域の重心位置の履歴が移動軌跡３１１として求められる。
続いて静止物領域検出手段４２は、変化領域の移動軌跡３１１から静止判定時間Ｔｓの間の総移動距離を算出し、算出された総移動距離が静止判定距離Ｔｄ未満であれば、当該変化領域を静止物領域として検出する。
【００３３】
強変化部分検出手段４３は、画素相違度算出手段４１にて算出された画素相違度を参照し、第１閾値ＴＨ１より高く設定された第２閾値ＴＨ２を超える画素相違度が算出された画素を強変化部分として検出し、強変化部分の情報を不審物判定手段４４に出力する。
静止物領域と強変化部分はともに同一の画素相違度を基に検出され、ＴＨ２＞ＴＨ１であることから、強変化部分はいずれかの静止物領域に内包される。
【００３４】
第１閾値ＴＨ１は、背景の一部と似た色の不審物が出現してもその不審物の存在範囲全体を変化領域として抽出できるよう低めの値に設定される。一方、第２閾値ＴＨ２は、背景の一部と似た色の不審物が出現したときに似た色の部分を検出しない程度に高い値が設定される。いずれも事前の実験を通じて適宜に設定される。
【００３５】
図２に具体的な一例を示して、静止物領域と強変化部分の関係を説明する。
【００３６】
画像１００は背景画像である。背景画像１００には背景物である椅子１０１、同じく背景物である棚１０２、床１０３、壁１０４などが撮像されている。
【００３７】
画像１１０は背景画像１００と対応する入力画像である。椅子１０１は、当該椅子が元々撮像されていた画像範囲と重なる程度にずらされている。このような変化は背景物に生じる典型的な変化のひとつである。椅子１０１の像は、入力画像１１０においても撮像されているが、動かされたために位置や見かけが変化している。
また入力画像１１０には背景画像１００には存在しなかった箱１１５と箱１１６が撮像されている。つまり箱１１５及び箱１１６は監視空間外からの持込物である。箱１１５，１１６の色は棚１０２と似ており、床１０３とは似ていない。入力画像１１０において、箱１１５は床１０３のみと重なる位置に撮像され、箱１１６は上半分が棚１０２と重なり下半分が床１０３と重なる位置に撮像されている。
【００３８】
画像１２０は静止物領域検出手段４２により検出された静止物領域１２１，１２５，１２６の情報を保持している通常差分画像である。
椅子１０１に係る静止物領域１２１は、背景画像１００において椅子１０１が撮像されていなかったが入力画像１１０において椅子１０１が撮像されている画素、背景画像１００において椅子１０１が撮像されていたが入力画像１１０において椅子１０１が撮像されなくなった画素、及び背景画像１００においても入力画像１１０においても椅子１０１が撮像されているが椅子１０１が動かされたことにより見かけ上の変化が起こった画素から構成されている。そのため静止物領域１２１は、入力画像１１０における椅子１０１のシルエットと背景画像１００における椅子１０１のシルエットを合成したような形状となっている。
箱１１５，１１６は元々背景画像１００には存在しなかったため、箱１１５全体のシルエット形状をした静止物領域１２５、箱１１６全体のシルエット形状をした静止物領域１２６がそれぞれ検出されている。
【００３９】
画像１３０は強変化部分検出手段４３により抽出された強変化部分１３１，１３５，１３６の情報を保持している強差分画像である。
背景画像１００と入力画像１１０のいずれにおいても椅子１０１が撮像されているが椅子１０１の見かけ上の変化が起こっただけの画素は、画素相違度が比較的小さいため、強変化部分として抽出されない。そのため椅子１０１に係る強変化部分１３１は、静止物領域１２１のうち、背景画像１００と入力画像１１０の一方にだけ椅子１０１が撮像されている画素のみから構成されている。
箱１１５は当該箱と色が似ていない床１０３と重なっていることから、箱１１５のシルエット全体が強変化部分１３５として抽出される。
箱１１６は、下半分が当該箱と色が似ていない床１０３と重なっているが、上半分は当該箱と色が似ている棚１０２と重なっていることから、箱１１６のシルエットの下半分が強変化部分１３６として抽出される。
【００４０】
不審物判定手段４４は、静止物領域に監視空間外から持ち込まれた持込物（不審物）が存在するか否かを判定する。持込物の存在が判定されなかった静止物領域は元々監視空間内に存在していた背景物によって生じたものであるということになる。
具体的には、不審物判定手段４４は、静止物領域内の強変化部分における入力画像の輝度分布と当該強変化部分における背景画像３０の輝度分布を比較し、２つの輝度分布が予め設定された基準を超えて相違する場合に当該静止物領域に持込物の存在を判定し、２つの輝度分布が類似する場合は当該静止物領域に背景物の存在を判定する。
【００４１】
不審物判定手段４４は、持込物の存在が判定された静止物領域の情報は不審物情報保存手段４５に出力し、持込物の存在が判定されなかった静止物領域の情報は背景画像生成手段４０に出力する。
【００４２】
輝度分布の特徴量としては色ヒストグラムを採用することができる。不審物判定手段４４は、強変化部分の入力画像の画素を色（各色の輝度）ごとに計数して色ヒストグラムＨｉを算出し、同強変化部分の背景画像３０の画素を色ごとに計数して色ヒストグラムＨｂを算出する。
別の実施形態においては輝度平均値及び輝度分散値を輝度分布の特徴量とすることもできる。この場合、不審物判定手段４４は、強変化部分の入力画像の輝度平均値と輝度分散値、及び同強変化部分の背景画像３０の輝度平均値と輝度分散値を算出する。
【００４３】
輝度分布の相違は、色ヒストグラム間の距離を算出して当該距離を予め設定された分布判定閾値Ｔｃと比較することにより判定することができる。不審物判定手段４４は、色ヒストグラムＨｉと色ヒストグラムＨｂの計数値の差の二乗の平方根或いは差の絶対値を色ごとに求めて積算することで距離を求め、距離がＴｃ以上であれば相違、距離がＴｃ未満であれば類似と判定する。分布判定閾値は強変化部分の画素数の５０％程度に相当する値として設定することができる。
【００４４】
別の実施形態においては距離に代えて類似度を算出することができる。不審物判定手段４４は、色ヒストグラムＨｉと色ヒストグラムＨｂの計数値のうち小さい方を色ごとに求めて積算することで類似度を求め、類似度が予め設定された分布判定閾値を超える場合に類似と判定し、そうでない場合に相違と判定する。
輝度平均値及び輝度分散値を用いる別の実施形態においては、不審物判定手段４４は、輝度平均値同士の差と輝度分散値同士の差を重み付け加算して輝度分布の相違度を求め、相違度が予め設定された分布判定閾値を超える場合に相違と判定し、そうでない場合に類似と判定する。
【００４５】
図３は、図２で例示した椅子１０１、箱１１５及び箱１１６の静止物領域及び強変化部分を基にして、不審物判定手段４４が判定を行う様子を説明する図である。
【００４６】
画像１５１は、背景画像１００から強変化部分１３１に対応する部分を切り出した画像である。画像１５１の左側には椅子１０１が撮像された画素、画像１５１の右側には床１０３又は壁１０４が撮像された画素が分布している。不審物判定手段４４は画像１５１の色ヒストグラムＨｂを算出する。
【００４７】
画像１６１は、入力画像１１０から強変化部分１３１に対応する部分を切り出した画像である。画像１６１の左側には床１０３又は壁１０４が撮像された画素、画像１６１の右側には椅子１０１が撮像された画素が分布している。不審物判定手段４４は画像１６１の色ヒストグラムＨｉを算出する。
【００４８】
不審物判定手段４４は、画像１５１の色ヒストグラムＨｂと画像１６１の色ヒストグラムＨｉの距離を算出する。色ヒストグラムは領域単位の特徴量であり、色ヒストグラムの距離は領域単位の相違度である。色ヒストグラムを比較する場合、画素単位で算出した画素相違度と異なり画素位置は不問となる。画像１５１と画像１６１はいずれも、椅子１０１が撮像された画素、床１０３が撮像された画素、壁１０４が撮像された画素から構成され、色ヒストグラムは似通ったものとなる。算出される色ヒストグラムの距離は小さな値となり、不審物判定手段４４は、強変化部分１３１の輝度分布が類似するとして、椅子１０１に係る静止物領域１２１に背景物の存在を判定する。
【００４９】
画像１５５は、背景画像１００から強変化部分１３５に対応する部分を切り出した画像である。画像１５５には床１０３が撮像された画素が分布している。
画像１６５は、入力画像１１０から強変化部分１３５に対応する部分を切り出した画像である。画像１６５には箱１１５が撮像された画素が分布している。
不審物判定手段４４は、画像１５５の色ヒストグラムＨｂと画像１６５の色ヒストグラムＨｉを算出して比較する。色ヒストグラムの距離は大きな値となり、不審物判定手段４４は、強変化部分１３５の色ヒストグラムは相違するとして、箱１１５に係る静止物領域１２５に持込物の存在を判定する。
【００５０】
画像１５６は、背景画像１００から強変化部分１３６に対応する部分を切り出した画像である。画像１５６には床１０３が撮像された画素が分布している。
画像１６６は、入力画像１１０から強変化部分１３６に対応する部分を切り出した画像である。画像１６６には箱１１６が撮像された画素が分布している。
不審物判定手段４４は、画像１５６の色ヒストグラムＨｂと画像１６６の色ヒストグラムＨｉを算出して比較する。色ヒストグラムの距離は大きな値となり、不審物判定手段４４は、強変化部分１３６の輝度分布は相違するとして、箱１１６に係る静止物領域１２６に持込物の存在を判定する。
このように不審物判定手段４４は、似た色の背景部分に放置された箱１１６を正しく持込物と判定することができる。
【００５１】
以上のように不審物判定手段４４は、入力画像と背景画像の間で「静止物領域内の強変化部分の輝度分布」を比較する。強変化部分に着目したこの比較は、入力画像と背景画像の間で同位置且つ似た色の画素が排除された比較となる。さらに輝度分布に着目したこの比較は、画素の位置に依存しない比較となる。
強変化部分に着目することで、持込物により生じた静止物領域から背景画像と似てしまった画素を除外して比較が行われる。そのため持込物に関する背景画像と入力画像の相違は強調される。
他方、背景物に関する静止物領域は元々背景画像中に含まれている物体の位置変化により生じたものである。そのため、画素位置に依存しない輝度分布を比較することで、背景物については強変化部分に着目しても背景画像と入力画像が類似すると判定できる。
これらのことから第１閾値より高い第２閾値を用いて検出された強変化部分において輝度分布を比較することで背景画像に対する入力画像中の背景物と背景画像に対する入力画像中の不審物の違いが適確に強調され、不審物が存在するか否かの判定が正確になる。
【００５２】
また以上のように、静止物領域検出手段４２は第２閾値より低い第１閾値を用いて静止物領域を検出し、不審物判定手段４４は相違が判定された強変化部分を有する静止物領域に不審物の存在を判定する。
このように第２閾値より低い第１閾値を用いて静止物領域を検出することで、背景物や不審物それぞれの静止物領域をひとまとまりに検出できるので、不審物が存在するか否かの判定が正確になり、また不審物の全容を正確に判定できる。
【００５３】
このように２つの閾値を用いることにより、不審物が当該不審物と部分的に似た色の背景部分に持ち込まれたとしても当該不審物の存在有無および存在範囲を高精度に判定することが可能となる。
【００５４】
本発明との対比のために、仮に１つの閾値を用いて不審物の判定を行なう場合の例を示す。
【００５５】
例えば図２及び図３の例で、仮に第２閾値のみを用いて静止物領域を検出すると画像１３０に示したような領域が静止物領域となる。椅子１０１の静止物領域はひとまとまりに検出されず複数に分離し、分離してしまえば入力画像と背景画像の間で輝度分布が類似していると判定するのは困難となり、背景物が不審物と誤判定されるのである。また箱１１６の静止物領域は欠けて検出される。放置された場所によっては複数に分離して検出されたり、そもそも検出されなくもなる。そのため不審物の存在範囲、存在数又は存在有無を正しく判定することが困難となる。
【００５６】
また例えば図２及び図３の例で、仮に第１閾値のみを用いて不審物の判定を行なう場合の例を、図５を参照して説明する。
この場合、入力画像１１０と背景画像１００の間で（強変化部分ではなく）静止物領域の色ヒストグラムを比較することになる。椅子１０１に関しては静止物領域１２１における背景画像１００の部分画像９５１と同領域における入力画像１１０の部分画像９６１を比較することになる。また、箱１１６に関しては静止物領域１２６における背景画像１００の部分画像９５６と同領域における入力画像１１０の部分画像９６６を比較することになる。
椅子１０１の場合も箱１１６の場合も同程度に類似してしまい、背景物と不審物を区別することは困難となる。
【００５７】
以上、仮に１つの閾値を用いて不審物の判定を行なうと正しい判定は困難であることを説明した。
【００５８】
ところで、上述した例では持込物の少なくとも一部が当該持込物と類似しない背景部分に撮像されていたが、持込物の全体が当該持込物と似た色の背景部分に撮像される場合もある。例えば箱１１５の色が床１０３と似ている場合がある。
【００５９】
ここで背景物により生じる静止物領域に注目する。当該静止物領域には背景物が動かされたことにより撮像されなくなった背景部分と背景物が動かされたことにより新たに撮像されるようになった背景部分とが含まれている。このことから当該静止物領域には必ず強変化部分が検出されるのである。
【００６０】
そこで、不審物判定手段４４は、静止物領域内に検出された強変化部分が予め設定された下限値よりも小さい場合に当該静止物領域に不審物が存在すると判定する。
具体的には、不審物判定手段４４は、静止物領域の面積Ｓｎに対する強変化部分の面積Ｓｓの比Ｒ（＝Ｓｓ／Ｓｎ）を求め、比Ｒと予め設定された下限値Ｔｒとを比較する。ＲがＴｒ未満であれば静止物領域に不審物が存在すると判定される。
Ｔｒは例えば０．０１と設定すればよい。Ｔｒを０としないのはノイズ等による静止物領域の抽出誤差や強変化部分の抽出誤差を考慮しているためである。
これにより、持込物の全体が当該持込物と似た色の背景部分に撮像されたとしても、当該持込物（不審物）を背景物と区別して正しく判定することができる。
【００６１】
不審物情報保存手段４５は、不審物の存在が判定されたときの画像情報と当該不審物の存在が判定された日時情報からなる不審物情報３２を生成して、生成された不審物情報３２を記憶部３の不揮発性メモリに保存し、保存した旨を背景画像生成手段４０に通知する。また不審物情報保存手段４５は不揮発性メモリに保存された不審物情報３２を順次記録装置６に移動させる。
【００６２】
不審物の画像情報は、不審物判定手段４４から入力された静止物領域（すなわち不審物の存在が判定された静止物領域）と、当該静止物領域が入力された時刻に撮像された入力画像から生成される不審物を視認可能な画像情報である。具体的には不審物情報保存手段４５は、上記静止物領域を示す枠を上記入力画像に重畳して不審物の画像情報を生成する。別の実施形態において不審物情報保存手段４５は上記入力画像から上記静止物領域に対応する部分画像を切り出して不審物の画像情報を生成する。
不審物の存在が判定された日時情報は、不審物判定手段４４から静止物領域の情報が入力されたときに不図示の時計手段から取得する。
【００６３】
表示部５は、不審物情報３２を視認可能に表示する液晶ディスプレイ等の表示装置などである。表示部５は、制御部４から不審物情報３２又はその他の情報が入力されると、これらの情報を視認可能に表示して監視員に伝達する。
【００６４】
記録装置６は、ハードディスクレコーダー或いはＤＶＤレコーダー等であり、不審物情報３２を長期保存する。記録装置６は、制御部４の不審物情報保存手段４５から不審物情報３２が入力されると、当該不審物情報３２をハードディスク等の磁気記録媒体或いはＤＶＤ等の光記憶媒体に保存する。
【００６５】
［不審物検知装置１の動作］
以下、図４を参照して、不審物検知装置１の動作を説明する。
【００６６】
監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段は初期化されて動作を始める（Ｓ１）。背景画像生成手段４０は、初期化中の入力画像を背景画像３０として記憶部３に記憶させる。
【００６７】
初期化の後は、撮像部２から制御部４へ新たな画像が入力されるたびにＳ２〜Ｓ１８の処理が繰り返される。
【００６８】
新たな画像が入力されると（Ｓ２）、制御部４の画素相違度算出手段４１は当該入力画像の画素ごとに対応する背景画像３０の画素との差の絶対値を画素相違度として算出する（Ｓ３）。算出結果として、各画素の画素値が画素相違度である差画像が生成される。
【００６９】
差画像が生成されると、制御部４の静止物領域検出手段４２は、差画像に第１閾値ＴＨ１を適用して画素値すなわち画素相違度がＴＨ１以上の画素を検出し、近接して検出された画素同士をまとめて変化領域を抽出する（Ｓ４）。この処理は一般に背景差分処理と呼ばれる。抽出結果として、変化領域内の画素値を１、変化領域外の画素値を０に設定した通常差分画像が生成される。
【００７０】
その一方で、制御部４の強変化部分検出手段４３は、上記差画像に第２閾値ＴＨ２を適用して画素値すなわち画素相違度がＴＨ２以上の画素群を強変化部分として検出する（Ｓ５）。検出結果として、強変化部分内の画素値を１、強変化部分外の画素値を０に設定した強差分画像が生成される。
【００７１】
続いて静止物領域検出手段４２は、前後する時刻に抽出された変化領域を同定することで各変化領域を追跡し（各物体を追跡し）、各変化領域の移動軌跡３１１（各物体の移動軌跡３１１）を検出する（Ｓ６）。
【００７２】
ステップＳ６の処理について詳説する。
【００７３】
まず静止物領域検出手段４２は、現時刻において抽出された変化領域内の入力画像から画像特徴量を抽出するとともに、当該変化領域の重心位置を算出する。現時刻より前の時刻においても同様に画像特徴量の抽出及び重心位置の算出が行われ、これらの情報が参照特徴量３１０及び移動軌跡３１１として記憶されている。
【００７４】
次に静止物領域検出手段４２は、前時刻までの移動軌跡３１１に等速直線モデル或いはカルマンフィルタを適用して現時刻の予測位置を求め、現時刻の画像特徴量と参照特徴量３１０の距離（特徴間距離）、及び現時刻の重心位置と予測位置の距離（重心間距離）を算出し、｛α×特徴間距離＋（１−α）×重心間距離｝を変化領域と追跡情報３１との総合距離として算出する。但し、０＜α＜１である。
【００７５】
続いて静止物領域検出手段４２は、総合距離が同定閾値Ｔｍ以下である変化領域と追跡情報３１の組み合わせを同一物体によるものとして同定する。ひとつの変化領域或いはひとつの追跡情報３１に対して総合距離がＴｍ以下である組み合わせが複数ある場合は、総合距離が最も小さい組み合わせに決定される。
いずれの変化領域とも同定されなかった追跡情報３１は監視空間外への消失が判定される。また、いずれの追跡情報３１とも同定されなかった変化領域は新規出現が判定される。
【００７６】
続いて静止物領域検出手段４２は、追跡情報３１を当該追跡情報３１と同定された変化領域の情報で更新する。参照特徴量３１０は変化領域の画像特徴量で置換され、移動軌跡３１１には変化領域の重心位置が追加される。
また、静止物領域検出手段４２は消失が判定された追跡情報３１を記憶部３から削除する。当該物体は追跡対象外となる。
また、静止物領域検出手段４２は新規出現が判定された変化領域の画像特徴量と重心位置は、新たな追跡情報３１として記憶部３に追加記憶される。当該物体は新たに追跡対象となる。
【００７７】
こうして追跡が進捗して各変化領域の移動軌跡３１１が更新されると、制御部４は各変化領域を順次処理対象に設定してステップＳ７〜Ｓ１８のループ処理を実行する。
【００７８】
ループ処理において、まず、静止物領域検出手段４２は、処理対象の変化領域が静止物領域か否かを判定する（Ｓ８）。静止物領域検出手段４２は、処理対象の変化領域の移動軌跡３１１を構成する位置情報のうち新しいものから順に静止判定時間Ｔｓに相当する個数の位置情報を記憶部３から選択的に読み出し、読み出した位置情報間の距離を累積して総移動距離を算出し、総移動距離を静止判定距離Ｔｄと比較する。総移動距離がＴｄ未満であれば変化領域は静止物領域と判定される。尚、移動軌跡３１１を構成する位置情報の個数が不足している場合、判定は次時刻以降に持ち越され、現時刻の判定結果は便宜的に静止物領域でないとされる。
【００７９】
処理対象の変化領域が静止物領域と判定された場合（Ｓ８にてＹＥＳ）、不審物判定手段４４は、検出された静止物領域の面積Ｓｎと当該静止物領域内の強変化部分の面積Ｓｓの比Ｒを求め、比Ｒと予め設定された比率判定閾値Ｔｒとを比較する（Ｓ９）。ＲがＴｒ未満であれば強変化部分が極小サイズであると判定される。
【００８０】
強変化部分が極小サイズと判定された場合、不審物判定手段４４は処理対象の静止物領域に持込物（不審物）の存在を判定する（Ｓ９にてＹＥＳ→Ｓ１２）。
【００８１】
不審物の存在が判定されると、不審物情報保存手段４５は、処理対象の静止物領域の外枠を現時刻の入力画像に描画し、時計手段から現在日時を取得し、枠が描画された入力画像と現在日時を不審物情報３２として記憶部３に短期保存する（Ｓ１３）。また、不審物情報保存手段４５は表示部５に不審物情報３２を出力する。このとき不審物情報保存手段４５は、保存した不審物情報３２の読み出しを試験し、読み出せたなら保存が成功したとして背景画像生成手段４０に通知する（Ｓ１４）。保存エラー又は読み出し試験エラーが発生した場合、不審物情報保存手段４５はその旨を表示部５に表示させる。
【００８２】
保存成功の通知後、不審物情報保存手段４５は、短期保存された不審物情報３２を長期保存可能な記録装置６に移動する処理を開始する。記録装置６への移動は不審物検知処理のバックグラウンド処理として行われる。そして、移動が終わると当該不審物情報３２を記憶部３から削除し、バックグラウンド処理を終了する。
【００８３】
強変化部分が極小サイズと判定されなかった場合、不審物判定手段４４は、当該強変化部分における入力画像の色ヒストグラムＨｉと同強変化部分における背景画像３０の色ヒストグラムＨｂを算出してＨｉとＨｂの距離を算出し、算出された距離を分布判定閾値Ｔｃと比較する（Ｓ９にてＮＯ→Ｓ１０→Ｓ１１）。
【００８４】
距離がＴｃ以上であれば強変化部分における輝度分布は相違していると判定され、不審物判定手段４４は処理対象の静止物領域に持込物（不審物）の存在を判定し、不審物情報保存手段４５は不審物情報３２を生成して保存してその旨を通知する（Ｓ１１にてＹＥＳ→Ｓ１２→Ｓ１３→Ｓ１４）。ステップＳ１２，Ｓ１３，Ｓ１４における処理は上述の通りである。
【００８５】
一方、強変化部分における輝度分布が相違していなければ、不審物判定手段４４は、処理対象の静止物領域に持込物の存在を判定せず、当該静止物領域は背景物により生じたものと判定する（Ｓ１１にてＮＯ→Ｓ１５）。背景物と判定された場合、不審物情報３２は出力されない。
【００８６】
こうして静止物領域が不審物によるものか背景物によるものか判定され、不審物によるものと判定されればその情報が保存される。
【００８７】
処理対象の静止物領域が不審物によるものと判定されて不審物情報３２の保存成功が通知された場合（Ｓ１４にてＹＥＳ）又は処理対象の静止物領域が背景物によるものと判定された場合（Ｓ１５）、背景画像生成手段４０は、処理対象の静止物領域の入力画像を背景画像３０に合成して背景画像３０を更新する（Ｓ１６）。合成は重み付け平均処理又は置換処理により行われる。
次時刻以降、区別が終わった静止物に関する変化領域は抽出されなくなり、当該静止物と画像上で重なる位置に新たに持ち込まれた不審物を引き続き検知することが可能となる。
【００８８】
一方、処理対象の静止物領域が不審物によるものと判定されたが保存成功が通知されなかった場合（Ｓ１４にてＮＯ）、背景画像３０は更新されない。更新されないことにより次時刻においても同じ静止物領域が検出されて不審物情報３２の保存が実行されるので、不審物の情報の喪失を防止できる。
【００８９】
尚、処理対象の変化領域が静止物領域と判定されなかった場合、制御部４は当該変化領域の移動軌跡３１１を基にして長時間滞留者などの不審者を検知し、不審者が検知されるとその情報を表示部５に出力する（Ｓ８にてＮＯ→Ｓ１７）。
【００９０】
以上で説明したＳ７〜Ｓ１８までの処理が全ての変化領域に対して行われると、背景画像生成手段４０は変化領域以外の入力画像を背景画像３０に合成して背景画像３０を更新する（Ｓ１９）。
【００９１】
［変形例］
上記実施形態において静止物領域検出手段４２は、前後する時刻において抽出された変化領域を追跡することによって静止物領域を検出した。上記実施形態は静止物体の追跡処理と移動物体の追跡処理を共通化できるので、不審物検知処理と不審者検知処理の両方を行う場合に保守性が向上する。
別の実施形態において静止物領域検出手段４２は、画素単位で画素相違度を観測することによって、第１閾値ＴＨ１を超える画素相違度が静止判定時間Ｔｓ以上算出され続けた画素のまとまりを静止物領域として検出する。不審物検知処理に特化するのであれば、このような実施形態でもよい。
すなわち静止物領域検出手段４２は、追跡情報３１に代えて過去の静止判定時間Ｔｓの間に生成された通常差分画像を記憶部３に記憶させ、これらの通常差分画像と現時刻に生成された通常差分画像の論理積画像を生成し、論理積画像において画素値が１の画素のうち近接する画素をまとめて静止物領域を検出する。あるいはＴｅ時刻分の抽出漏れを許容するのであれば、静止物領域検出手段４２は、同様に記憶された過去の通常差分画像と現時刻に生成された通常差分画像の画素値が１である画像数を画素ごとに計数し、計数値が（Ｔｓ−Ｔｅ）以上の画素のうち近接する画素をまとめて静止物領域を検出する。
【符号の説明】
【００９２】
１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・制御部
５・・・表示部
６・・・記録装置
３０・・・背景画像
３１・・・追跡情報
３２・・・不審物情報
４０・・・背景画像生成手段
４１・・・画素相違度算出手段
４２・・・静止物領域検出手段
４３・・・強変化部分検出手段
４４・・・不審物判定手段
４５・・・不審物情報保存手段
３１０・・・参照特徴量
３１１・・・移動軌跡
【特許請求の範囲】
【請求項１】
監視空間が撮像された画像から不審物を検知する不審物検知装置であって、
前記監視空間を順次撮像する撮像部と、
予め前記不審物が存在しないときに撮像された背景画像を記憶する記憶部と、
前記撮像部から入力された入力画像と前記背景画像を画素ごとに比較して画素相違度を算出する画素相違度算出手段と、
予め設定された第１閾値を超える前記画素相違度が所定時間以上算出され続けた画素のまとまりを静止物領域として検出する静止物領域検出手段と、
前記第１閾値より高く設定された第２閾値を超える前記画素相違度が算出された画素を強変化部分として検出する強変化部分検出手段と、
前記静止物領域内の前記強変化部分における前記入力画像の輝度分布と当該強変化部分における前記背景画像の輝度分布を比較し、前記２つの輝度分布が予め設定された基準を超えて相違する場合に当該静止物領域に不審物の存在を判定する不審物判定手段と、
を備えたことを特徴とする不審物検知装置。
【請求項２】
前記不審物判定手段は、さらに、前記静止物領域内に検出された前記強変化部分が予め設定された下限値よりも小さい場合に当該静止物領域に不審物の存在を判定する請求項１に記載の不審物検知装置。
【請求項３】
前記記憶部は不揮発性メモリを含んで構成され、
前記不審物判定手段によって不審物の存在が判定された前記静止物領域と当該判定がなされたときの前記入力画像を前記不揮発性メモリに保存する不審物情報保存手段と、
前記保存が行なわれた後に、前記背景画像のうち前記保存の対象となった静止物領域と対応する部分を前記入力画像により更新する背景画像生成手段と、
をさらに備えた請求項１又は２に記載の不審物検知装置。
【請求項４】
前記背景画像のうち前記不審物判定手段によって不審物の存在が判定されなかった静止物領域と対応する部分を前記入力画像により更新する背景画像生成手段、をさらに備えた請求項１又は２に記載の不審物検知装置。
【請求項１】
監視空間が撮像された画像から不審物を検知する不審物検知装置であって、
前記監視空間を順次撮像する撮像部と、
予め前記不審物が存在しないときに撮像された背景画像を記憶する記憶部と、
前記撮像部から入力された入力画像と前記背景画像を画素ごとに比較して画素相違度を算出する画素相違度算出手段と、
予め設定された第１閾値を超える前記画素相違度が所定時間以上算出され続けた画素のまとまりを静止物領域として検出する静止物領域検出手段と、
前記第１閾値より高く設定された第２閾値を超える前記画素相違度が算出された画素を強変化部分として検出する強変化部分検出手段と、
前記静止物領域内の前記強変化部分における前記入力画像の輝度分布と当該強変化部分における前記背景画像の輝度分布を比較し、前記２つの輝度分布が予め設定された基準を超えて相違する場合に当該静止物領域に不審物の存在を判定する不審物判定手段と、
を備えたことを特徴とする不審物検知装置。
【請求項２】
前記不審物判定手段は、さらに、前記静止物領域内に検出された前記強変化部分が予め設定された下限値よりも小さい場合に当該静止物領域に不審物の存在を判定する請求項１に記載の不審物検知装置。
【請求項３】
前記記憶部は不揮発性メモリを含んで構成され、
前記不審物判定手段によって不審物の存在が判定された前記静止物領域と当該判定がなされたときの前記入力画像を前記不揮発性メモリに保存する不審物情報保存手段と、
前記保存が行なわれた後に、前記背景画像のうち前記保存の対象となった静止物領域と対応する部分を前記入力画像により更新する背景画像生成手段と、
をさらに備えた請求項１又は２に記載の不審物検知装置。
【請求項４】
前記背景画像のうち前記不審物判定手段によって不審物の存在が判定されなかった静止物領域と対応する部分を前記入力画像により更新する背景画像生成手段、をさらに備えた請求項１又は２に記載の不審物検知装置。
【図２】
【図３】
【図５】
【図１】
【図４】
【図３】
【図５】
【図１】
【図４】
【公開番号】特開２０１１−３９５８４（Ｐ２０１１−３９５８４Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８３５１３（Ｐ２００９−１８３５１３）
【出願日】平成２１年８月６日（２００９．８．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＬＡＳＨ
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月６日（２００９．８．６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＬＡＳＨ
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]