物体検出方法
【課題】監視領域に人、車の両方が入ってくる環境において、監視領域に車が存在することを、差分、二値化、ノイズ除去、ラベリング、大きさ判定処理で行った場合には、二値化のしきい値は環境変化に応じて高くなったり、低くなったりするため、二値化しきい値によっては、１つの物体が複数に分かれて検出されることにより、個々のサイズが小さくなり、車が存在することを認識することができなかった。
【解決手段】正規化相関を使用することで物体の存在領域の認識精度を向上する。この結果、監視領域に車が存在するときには誤検知防止のために処理を停止し、車が存在しないときに侵入者の検知を行う場合、正規化相関処理、差分処理を組合せることにより、車が存在することを認識する性能を向上した。
【解決手段】正規化相関を使用することで物体の存在領域の認識精度を向上する。この結果、監視領域に車が存在するときには誤検知防止のために処理を停止し、車が存在しないときに侵入者の検知を行う場合、正規化相関処理、差分処理を組合せることにより、車が存在することを認識する性能を向上した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、侵入者あるいは侵入物を監視する監視用ＣＣＴＶ（Closed Circuit Tele-Vision）装置における侵入者あるいは侵入物の検知手法に関する。
【背景技術】
【０００２】
監視領域内に入ってきた人を検知する画像処理装置において、車が入ってきた場合には処理を停止する動作について、図４を用いて説明する。図４は、従来の物体検出方法について説明するためのフローチャートである。
【０００３】
図４において、まず、ステップ４０１〜ステップ４０３では、背景画像および閾値画像の初期化を行う。
【０００４】
入力画像取込ステップ４０１では、カメラから背景画像作成、閾値作成、および、物体検出に用いる入力画像を取込む。
背景画像・閾値作成ステップ４０２では、取込んだ入力画像を加重平均することにより、監視領域内に人や車等の検出すべき物体のない、基準となる背景画像の作成、および、検知に用いる閾値の作成を行う（例えば、特許文献１参照。）。
背景画像作成終了判定ステップ４０３では、フレームの処理回数を判定し、フレームの処理回数が規定値以上であるか否かを判定する。フレームの処理回数が規定値未満である場合には入力画像取込ステップ４０１に戻りステップ４０１〜ステップ４０３の処理を繰り返し、フレームの処理回数が規定値以上である場合には、入力画像取込ステップ４０４の処理に移行する。
【０００５】
物体の検知処理は、入力画像取込ステップ４０４、差分処理ステップ４０５、二値化処理ステップ４０６、ノイズ除去処理ステップ４０７、ラベリング処理ステップ４０８、大きさによる検知処理停止判定ステップ４０９、物体判定処理ステップ４１０、侵入者判定ステップ４１１で物体検出処理を行い、警報処理ステップ４１２で警報処理を行い、映像表示処理ステップ４１４で映像表示処理を行う。また、警報処理ステップ４１２と映像表示処理ステップ４１４の間で、背景画像・閾値作成処理ステップ４１３を行う。
【０００６】
入力画像取込ステップ４０４では、ステップ４０１と同様に、カメラから映像を取込み、入力画像を作成する。
差分処理ステップ４０５では、取込んだ入力画像と、背景画像・閾値作成処理ステップ４０２または４１３で作成された最新の背景画像との差分を算出し、差分画像を作成する。なお、差分処理は、入力画像−背景画像の算出について、正負の符号付で算出しても、絶対値でもどちらでも良い。
二値化処理ステップ４０６では、差分処理ステップ４０５で得られた差分画像を、背景画像・閾値作成処理ステップ（ステップ４０２またはステップ４１３）で得られた最新の閾値に、係数Ｋを乗じた値で二値化を行う（Ｋは、例えば、１〜２５５の整数）。
二値化処理ステップで得られた二値画像には、数画素で構成されているノイズが含まれている。このため、ノイズ除去処理ステップ４０７では、二値画像から数画素で構成されるノイズを除去し、ノイズ除去画像を作成する。
ラベリング処理ステップ４０８では、ノイズ除去ステップ４０７で得られたノイズ除去画像について、かたまり毎に、ラベル付け、幅、高さ、および面積算出を行う。
【０００７】
大きさによる処理停止判定ステップ４０９では、ラベリング処理ステップ４０８で得られたかたまり毎の幅および高さから決定される物体の大きさを用いて、車のサイズに相当する物体が存在するか否かを判定する。車が存在する場合には、判定処理を行わず、背景画像・閾値作成処理ステップ４１３の処理に移行する。車が存在しない場合には、物体判定処理ステップ４１０の処理に移行する。
物体判定処理ステップ４１０では、物体の大きさ（幅と高さ）、滞在時間、移動距離等を用いて、ラベリング処理ステップ４０８で得られたかたまりごとに、侵入者か否かを判定する。
侵入者判定ステップ４１１では、物体判定処理ステップ４１０で侵入者と判定された物体があるか否かを判定する。侵入者があった場合には警報処理ステップ４１２の処理に移行し、侵入者がいない場合には背景画像・閾値作成処理ステップ４１３の処理に移行する。
警報処理ステップ４１２では、回転灯や積層式表示灯を点灯する等、外部機器に対して警報出力を行う。警報出力としては、この外に、ブザーを鳴らす、記録装置に通知する等があり、少なくともいずれか１つを実行する。
【０００８】
次に、背景画像・閾値作成処理ステップ４１３では、撮影環境の変化に対応して時々刻々と変わる映像状態に追従するため、入力画像を取込むたびに、背景画像・閾値作成ステップ４０２と同様の処理、即ち、基準となる背景画像の作成、および、検知に用いる閾値の作成を行う。
そして、映像表示処理ステップ４１４では、侵入者ありの場合には「侵入者検知」の文字、検知部分を示すマーカを入力映像に重畳し、侵入者なしの場合には入力画像を出力し、監視員の監視するモニタに表示する。
映像表示処理ステップ４１４の処理後は、再び入力画像取込ステップ４０４の処理に移行し、物体の検知処理を続行する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−２８２９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
図４と図５によって、上述の従来技術での車判定の弱点を説明する。図５は、従来の物体検出方法の一例を説明するための模式図である。５０１は入力画像、５０２〜５０５は入力画像５０１内から検出された侵入者や侵入物体等の物体である。物体５０２は侵入者、物体５０３〜５０５は、侵入物体（例えば、侵入車）の一部である。
上述の従来技術では、画素ごとに、背景画像・閾値作成処理ステップ４０２で得られた閾値に係数を乗じた値で二値化処理を行う。このため、例えば、日照変化や照明の点滅等の影響で、影があった部分が増えたり無くなったりすることにより、一定時間、閾値が大きな値となっている画素が存在する。このような場合には、図５に示す入力画像５０１のように、例えば、人は物体５０２として１つの物体と認識できる。しかし、車は、物体５０３〜５０５に分かれて検出されてしまう場合がある。
図５の場合、物体５０３〜５０５それぞれに対して、車のサイズか否かを判定するため、車のサイズよりも高さが小さく算出され、車が存在すると認識できない。
従来の物体検出方法では、加重平均を用いて、画素ごとに二値化閾値を決定するため、日照変化が発生した場合、一定時間は二値化閾値が比較的大きな値に設定され、物体が複数に分かれて検出される確率が増加する。物体が複数に分かれて検出された場合、個々の物体サイズは小さくなるため、車が存在するにもかかわらず車が存在しないと判定してしまうことがある。
【００１１】
上述のように、従来、監視領域に車が存在することを、差分、二値化、ノイズ除去、ラベリング、大きさ判定処理で行った場合には、二値化のしきい値は環境変化に応じて高くなったり、低くなったりするため、二値化しきい値によっては、１つの物体が複数に分かれて検出されることにより、個々のサイズが小さくなり、車が存在することを認識することができなかった。
本発明の目的は、上記のような問題に鑑み、物体の検出精度が向上する物体検出方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明の物体検出方法は、監視領域を撮像するカメラから入力画像を取込み、該取込んだ入力画像を画像処理して物体検出処理し、前記監視領域内の侵入者あるいは侵入物を検出する物体検出装置の物体検出方法において、前記入力画像を複数のブロックに分割し、該分割したブロックごとの相関値および差分値から物体の存在領域を判定し、該物体の存在領域が所定の閾値以上の場合には、前記物体検出処理を停止するものである。
【発明の効果】
【００１３】
本発明によれば、正規化相関を用いることにより、物体存在領域の認識精度の向上が可能となる。また、正規化相関で認識するためには、ある程度の大きさ・パターンが必要であることから、画素ごとではなくブロックごとに物体存在領域を判断することになり、物体存在領域が分割され難くなる。
【図面の簡単な説明】
【００１４】
【図１】本発明の物体検出方法の一実施例における検知停止判定処理ステップを説明するためのフローチャートである。
【図２】本発明の物体検出方法の一実施例を説明するための模式図である。
【図３】本発明の物体検出方法の一実施例について説明するためのフローチャートである。
【図４】従来の物体検出方法について説明するためのフローチャートである。
【図５】従来の物体検出方法の一例を説明するための模式図である。
【図６】本発明に係る監視装置の構成を示す図である。
【発明を実施するための形態】
【００１５】
本発明は、監視領域に人、車の両方が入ってくる環境において、監視領域に車が存在するときには誤検知防止のために処理を停止し、車が存在しないときに侵入者の検知を行う場合、正規化相関処理、差分処理を組合せることにより、車が存在することを認識する性能を向上するものである。
上記の処理において、正規化相関を使用することで物体の存在領域の認識精度を向上する。また、正規化相関は、アスファルト等均一なパターン（明るさ）の部分では相関が低く出る場合があるため、正規化相関以外に、差分も組合せ、正規化相関が一定以下でかつ、存在領域検知用の閾値（物体検出よりは小さな値）以上の差分が発生する部分を物体存在領域とすることで、正規化相関に認識精度低下を補う。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、既に従来技術で説明した図４および図５も含め、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避ける。
また、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
【００１６】
図６は、本発明に係る監視用ＣＣＴＶ装置の構成を示す図である。監視用ＣＣＴＶ装置は、カメラ６０１、物体検出装置６００、指示装置６０９、および表示装置６１０で構成される。
物体検出装置６００は、映像入力回路６０２と、画像処理プロセッサ６０３と、プログラムメモリ６０４と、ワークメモリ６０５と、外部Ｉ／Ｆ回路６０６と、映像出力回路６０７と、バス６０８とを具備している。映像入力回路６０２と、画像処理プロセッサ６０３と、プログラムメモリ６０４と、ワークメモリ６０５と、外部Ｉ／Ｆ回路６０６と、映像出力回路６０７は、バス６０８に接続されている。バス６０８は、物体検出装置６００内の各機器が、それぞれ、相互にアクセスするためのデータバスである。
【００１７】
カメラ６０１は、監視の対象となる領域（監視領域）を撮像し、撮像した画像を入力画像として物体検出装置６００に出力する。
物体検出装置６００において、カメラ６０１から入力された画像は、映像入力回路６０２に入力される。映像入力回路６０２は、入力画像を取込み、ワークメモリ６０５に出力する。ワークメモリ６０５は、入力画像を記録する。
画像処理プロセッサ６０３は、プログラムメモリ６０４に記録されているプログラムに従って、ワークメモリ６０５内に記録された入力画像を処理し、その処理結果を映像出力回路６０７を介して表示装置６１０に出力する。
表示装置６１０は、映像出力回路６０７から入力された処理結果を表示部に表示する。
また、指示装置６０９は、例えばマウス、キーボードなどの指示装置６０９を使って、オペレータが物体検出装置６００を操作する入力装置である。画像処理プロセッサ６０３は、指示装置６０９から、外部Ｉ／Ｆ回路６０６を介して入力されるオペレータからの指示に基づいて、プログラムメモリ６０４に記憶されているプログラムのパラメータを変更および修正しながら、入力画像の処理をする。
【００１８】
図３によって、本発明の物体検出方法の一実施例を説明する。図３は、本発明の物体検出方法の一実施例について説明するためのフローチャートである。なお、図３のフローチャートの処理は、図６で説明した物体検出装置６００の画像処理プロセッサ６０３が、プログラムメモリ６０４に記録されているプログラムに従って実行する。
図３は、図４で説明した従来の物体検出方法のフローチャートに対して、大きさによる処理停止判定ステップ４０９を削除し、差分処理ステップ４０５の前に、検知停止判定処理ステップ３０１および、検知処理実行判定ステップ３０２を追加したものである。検知停止判定処理ステップ３０１の詳細については、後述する。
検知処理実行判定ステップ３０２では、検知停止判定処理ステップ３０１で判定された結果（「検知処理実行」、または「検知処理停止」）に基づいて、「検知処理実行」と判定された場合にのみ、差分処理ステップ４０５、二値化処理ステップ４０６、ノイズ除去処理ステップ４０７、ラベリング処理ステップ４０８、物体判定処理ステップ４１０、侵入者判定ステップ４１１、警報処理ステップ４１２、背景画像・閾値作成処理ステップ４１３、および映像表示処理ステップ４１４を行う。
なお、検知停止判定処理ステップ３０１が「検知処理停止」と判定した場合には、入力画像取込ステップ４０４の処理に戻り、次の入力画像を取込んで、物体の検知処理を行う。
【００１９】
次に、検知停止判定処理ステップ３０１の詳細について、図１および図２を用いて説明する。図１は、本発明の物体検出方法の一実施例における検知停止判定処理ステップを説明するためのフローチャートである。図２は、本発明の物体検出方法の一実施例を説明するための模式図である。図２（ａ）は背景画像２０１、図２（ｂ）は入力画像２０２を示す。図２（ａ）および図２（ｂ）は、どちらも、画像の幅を（Ｍ＋１）個のブロックに分割し、画像の高さを（Ｎ＋１）個のブロックに分割した処理を説明するものである。Ｂｒ００〜ＢｒＭ０は背景画像２０１の１行目の０〜Ｍ番目のブロック、Ｂｒ０Ｎ〜ＢｒＭＮは背景画像２０１のＮ行目の０〜Ｍ番目のブロックである。また、Ｂｎ００〜ＢｎＭ０は入力画像２０２の１行目の０〜Ｍ番目のブロック、Ｂｎ０Ｎ〜ＢｎＭＮは入力画像２０２のＮ行目の０〜Ｍ番目のブロックである。さらに、背景画像２０１および入力画像２０２において、１ブロックの幅はＷＢ、高さはＨＢである。
またさらに、図２の背景画像２０１および入力画像２０２では、門を通過する人および車を監視している。従って、背景画像２０１には、門と塀がある画像が映り、入力画像２０２には、門と塀に加え、人を示す物体２０３と車を示す物体２０４が映っている。
検知停止判定処理ステップ３０１は、背景画像および入力画像を、画像の幅を（Ｍ＋１）個のブロック、画像の高さを（Ｎ＋１）個のブロックに分割し、分割したブロックごとに正規化相関の値および差分値により、物体存在領域を判定する処理である。
なお、図１のフローチャートの処理もまた、図６で説明した物体検出装置６００の画像処理プロセッサ６０３が、プログラムメモリ６０４に記録されているプログラムに従って実行する。
【００２０】
図１において、物体存在領域数初期化ステップ１０１では、物体存在領域のカウンタＣを０で初期化する（Ｃ＝０）。
処理回数Ｎ判定ステップ１０２では、画像の高さ方向のブロック処理回数ＰｎがＮ以下か否かを判定する。処理回数ＰｎがＮ以下（Ｐｎ≦Ｎ）であれば処理回数Ｍ判定ステップ１０３の処理に移行し、処理回数ＰｎがＮより大きい（Ｐｎ＞Ｎ）であれば物体存在領域判定処理ステップ１０８の処理に移行する。なお、判定後、Ｐｎに１を加えて次の処理に移行する（Ｐｎ＝Ｐｎ＋１）。
処理回数Ｍ判定ステップ１０３では、画像の幅方向のブロック処理回数ＰｍがＭ以下か否かを判定する。処理回数ＰｍがＮ以下（Ｐｍ≦Ｍ）であれば平均相関値算出ステップ１０４の処理に移行し、処理回数ＰｍがＭより大きい（Ｐｎ＞Ｎ）であれば処理回数Ｎ判定ステップ１０２の処理に移行する。なお、判定後、Ｐｍに１を加えて次の処理に移行する（Ｐｍ＝Ｐｍ＋１）。
【００２１】
平均相関値算出ステップ１０４では、処理回数Ｐｎ＝０、処理回数Ｐｍ＝０の場合、背景画像２０１のＢｒ００と、入力画像２０２のＢｎ００の正規化相関を算出する。正規化相関を用いることにより、差分よりも日照変化等が発生しレベルが変化した場合でも影響を受け難いため、差分処理よりも物体の存在領域の認識精度が高い。
平均差分値算出ステップ１０５では、背景画像２０１のＢｒ００と、入力画像２０２のＢｎ００の各画素に対して、差分（入力画像−背景画像、正負の符号付で算出しても、絶対値でもどちらでも良い）を算出し、平均差分値を算出する。
正規化相関では、パターンが無い部分は相関値が正しく得られないため、正規化相関値が０．９５未満でも平均差分値の低い部分は物体が存在しないと判定する。
【００２２】
相関値および差分を用いた物体領域判定ステップ１０６では、平均相関値算出ステップ１０４で得られた平均相関値Ｒａを予め定められた閾値Ｔｈｃと比較し、かつ、平均差分値算出ステップ１０５で得られた平均差分値Ｄａを予め定められた閾値Ｔｈｓと比較し、物体が存在する領域であるか否かを判定する。
即ち、Ｒａ＜Ｔｈｃであり、かつ、Ｄａ＞Ｔｈｓであった場合には、物体が存在すると判定し、物体存在領域インクリメントステップ１０７の処理に移行する。また、それ以外であれば、処理回数Ｍ判定ステップ１０３の処理に戻る。
物体存在領域インクリメントステップ１０７では、物体存在領域をカウントアップする。本実施例では、Ｔｈｃ＝０．９５（背景と５％以上異なる場合、物体が存在する）、Ｔｈｓ＝９（差分が９以上の場合、物体が存在する）とした。例えば、平均相関値算出ステップ１０４で、処理回数Ｐｎ＝０、処理回数Ｐｍ＝０の場合、このステップ１０７の処理の結果、処理回数Ｐｎ＝０、処理回数Ｐｍ＝１となり、背景画像２０１のＢｒ１０と、入力画像２０２のＢｎ１０に対して、平均相関値算出ステップ１０４、平均差分値算出ステップ１０５、相関値および差分を用いた物体領域判定ステップ１０６で物体が存在しているか否かを判定し、物体が存在していると判断した場合、物体存在領域インクリメントステップ１０７で、物体存在領域をカウントアップする。
この処理を、処理回数Ｐｎ＝Ｎ、処理回数Ｐｍ＝Ｍとなるまで繰り返す。処理回数Ｐｎ＝Ｎ、処理回数Ｐｍ＝Ｍとなった場合には、検知処理停止判定ステップ１０８の処理に移行する。
【００２３】
検知処理停止判定ステップ１０８では、「物体存在領域 ＞ ＴｈＡ」
が成立した場合には、車が存在すると判定し、検知処理停止フラグ設定ステップ１１０の処理に移行する。また、「物体存在領域 ＞ ＴｈＡ」が成立しなかった場合には、検知処理実行フラグ設定ステップ１０９の処理に移行する。
検知処理実行フラグ設定ステップ１０９では、検知処理実行フラグを設定する。
検知処理停止フラグ設定ステップ１１０では、検知処理停止フラグを設定する。
【００２４】
図１〜図３の実施例によれば、正規化相関を使用することで物体の存在領域の認識精度を向上する。正規化相関以外に、差分も組合せることにより、パターンが少ない（明るさが均一）内場所での認識精度の低下を防ぐことができる。また、画素ごとではなく、ブロックごとに物体存在領域を判断するため、物体存在領域が分割され難くなる。
その結果、監視領域に人、車の両方が入ってくる環境において、監視領域に車が存在するときには誤検知防止のために処理を停止し、車が存在しないときに侵入者の検知を行う場合、正規化相関処理、差分処理を組合せることにより、車が存在することを認識する性能（認識精度）が向上した。
【符号の説明】
【００２５】
１０１：物体存在領域数初期化ステップ、 １０２：処理回数Ｎ判定ステップ、 １０３：処理回数Ｍ判定ステップ、 １０４：平均相関値算出ステップ、 １０５：平均差分値算出ステップ、 １０６：物体領域判定ステップ、 １０７：物体存在領域インクリメントステップ、 １０８：検知処理停止判定ステップ、 １０９：検知処理実行フラグ設定ステップ、 １１０：検知処理停止フラグ設定ステップ、 ２０１：背景画像、 ２０２：入力画像、 ２０３、２０４：物体、 ３０１：検知停止判定処理ステップ、 ３０２：検知処理実行判定ステップ、 ４０１：入力画像取込ステップ、 ４０２：背景画像・閾値作成ステップ、 ４０３：背景画像作成終了判定ステップ、 ４０４：入力画像取込ステップ、 ４０５：差分処理ステップ、 ４０６：二値化処理ステップ、 ４０７：ノイズ除去処理ステップ、 ４０８：ラベリング処理ステップ、 ４０９：大きさによる検知処理停止判定ステップ、 ４１０：物体判定処理ステップ、 ４１１：侵入者判定ステップ、 ４１２：警報処理ステップ、 ４１３：背景画像・閾値作成処理ステップ、４１４：映像表示処理ステップ４１４、 ５０１：入力画像、 ５０２〜５０５：物体、 ６００：物体検出装置、 ６０１：カメラ、 ６０２：映像入力回路、 ６０３：画像処理プロセッサ、 ６０４：プログラムメモリ、 ６０５：ワークメモリ、 ６０６：外部Ｉ／Ｆ回路、 ６０７：映像出力回路、 ６０８：通信路、 ６０９：指示装置、 ６１０：表示装置。
【技術分野】
【０００１】
本発明は、侵入者あるいは侵入物を監視する監視用ＣＣＴＶ（Closed Circuit Tele-Vision）装置における侵入者あるいは侵入物の検知手法に関する。
【背景技術】
【０００２】
監視領域内に入ってきた人を検知する画像処理装置において、車が入ってきた場合には処理を停止する動作について、図４を用いて説明する。図４は、従来の物体検出方法について説明するためのフローチャートである。
【０００３】
図４において、まず、ステップ４０１〜ステップ４０３では、背景画像および閾値画像の初期化を行う。
【０００４】
入力画像取込ステップ４０１では、カメラから背景画像作成、閾値作成、および、物体検出に用いる入力画像を取込む。
背景画像・閾値作成ステップ４０２では、取込んだ入力画像を加重平均することにより、監視領域内に人や車等の検出すべき物体のない、基準となる背景画像の作成、および、検知に用いる閾値の作成を行う（例えば、特許文献１参照。）。
背景画像作成終了判定ステップ４０３では、フレームの処理回数を判定し、フレームの処理回数が規定値以上であるか否かを判定する。フレームの処理回数が規定値未満である場合には入力画像取込ステップ４０１に戻りステップ４０１〜ステップ４０３の処理を繰り返し、フレームの処理回数が規定値以上である場合には、入力画像取込ステップ４０４の処理に移行する。
【０００５】
物体の検知処理は、入力画像取込ステップ４０４、差分処理ステップ４０５、二値化処理ステップ４０６、ノイズ除去処理ステップ４０７、ラベリング処理ステップ４０８、大きさによる検知処理停止判定ステップ４０９、物体判定処理ステップ４１０、侵入者判定ステップ４１１で物体検出処理を行い、警報処理ステップ４１２で警報処理を行い、映像表示処理ステップ４１４で映像表示処理を行う。また、警報処理ステップ４１２と映像表示処理ステップ４１４の間で、背景画像・閾値作成処理ステップ４１３を行う。
【０００６】
入力画像取込ステップ４０４では、ステップ４０１と同様に、カメラから映像を取込み、入力画像を作成する。
差分処理ステップ４０５では、取込んだ入力画像と、背景画像・閾値作成処理ステップ４０２または４１３で作成された最新の背景画像との差分を算出し、差分画像を作成する。なお、差分処理は、入力画像−背景画像の算出について、正負の符号付で算出しても、絶対値でもどちらでも良い。
二値化処理ステップ４０６では、差分処理ステップ４０５で得られた差分画像を、背景画像・閾値作成処理ステップ（ステップ４０２またはステップ４１３）で得られた最新の閾値に、係数Ｋを乗じた値で二値化を行う（Ｋは、例えば、１〜２５５の整数）。
二値化処理ステップで得られた二値画像には、数画素で構成されているノイズが含まれている。このため、ノイズ除去処理ステップ４０７では、二値画像から数画素で構成されるノイズを除去し、ノイズ除去画像を作成する。
ラベリング処理ステップ４０８では、ノイズ除去ステップ４０７で得られたノイズ除去画像について、かたまり毎に、ラベル付け、幅、高さ、および面積算出を行う。
【０００７】
大きさによる処理停止判定ステップ４０９では、ラベリング処理ステップ４０８で得られたかたまり毎の幅および高さから決定される物体の大きさを用いて、車のサイズに相当する物体が存在するか否かを判定する。車が存在する場合には、判定処理を行わず、背景画像・閾値作成処理ステップ４１３の処理に移行する。車が存在しない場合には、物体判定処理ステップ４１０の処理に移行する。
物体判定処理ステップ４１０では、物体の大きさ（幅と高さ）、滞在時間、移動距離等を用いて、ラベリング処理ステップ４０８で得られたかたまりごとに、侵入者か否かを判定する。
侵入者判定ステップ４１１では、物体判定処理ステップ４１０で侵入者と判定された物体があるか否かを判定する。侵入者があった場合には警報処理ステップ４１２の処理に移行し、侵入者がいない場合には背景画像・閾値作成処理ステップ４１３の処理に移行する。
警報処理ステップ４１２では、回転灯や積層式表示灯を点灯する等、外部機器に対して警報出力を行う。警報出力としては、この外に、ブザーを鳴らす、記録装置に通知する等があり、少なくともいずれか１つを実行する。
【０００８】
次に、背景画像・閾値作成処理ステップ４１３では、撮影環境の変化に対応して時々刻々と変わる映像状態に追従するため、入力画像を取込むたびに、背景画像・閾値作成ステップ４０２と同様の処理、即ち、基準となる背景画像の作成、および、検知に用いる閾値の作成を行う。
そして、映像表示処理ステップ４１４では、侵入者ありの場合には「侵入者検知」の文字、検知部分を示すマーカを入力映像に重畳し、侵入者なしの場合には入力画像を出力し、監視員の監視するモニタに表示する。
映像表示処理ステップ４１４の処理後は、再び入力画像取込ステップ４０４の処理に移行し、物体の検知処理を続行する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−２８２９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
図４と図５によって、上述の従来技術での車判定の弱点を説明する。図５は、従来の物体検出方法の一例を説明するための模式図である。５０１は入力画像、５０２〜５０５は入力画像５０１内から検出された侵入者や侵入物体等の物体である。物体５０２は侵入者、物体５０３〜５０５は、侵入物体（例えば、侵入車）の一部である。
上述の従来技術では、画素ごとに、背景画像・閾値作成処理ステップ４０２で得られた閾値に係数を乗じた値で二値化処理を行う。このため、例えば、日照変化や照明の点滅等の影響で、影があった部分が増えたり無くなったりすることにより、一定時間、閾値が大きな値となっている画素が存在する。このような場合には、図５に示す入力画像５０１のように、例えば、人は物体５０２として１つの物体と認識できる。しかし、車は、物体５０３〜５０５に分かれて検出されてしまう場合がある。
図５の場合、物体５０３〜５０５それぞれに対して、車のサイズか否かを判定するため、車のサイズよりも高さが小さく算出され、車が存在すると認識できない。
従来の物体検出方法では、加重平均を用いて、画素ごとに二値化閾値を決定するため、日照変化が発生した場合、一定時間は二値化閾値が比較的大きな値に設定され、物体が複数に分かれて検出される確率が増加する。物体が複数に分かれて検出された場合、個々の物体サイズは小さくなるため、車が存在するにもかかわらず車が存在しないと判定してしまうことがある。
【００１１】
上述のように、従来、監視領域に車が存在することを、差分、二値化、ノイズ除去、ラベリング、大きさ判定処理で行った場合には、二値化のしきい値は環境変化に応じて高くなったり、低くなったりするため、二値化しきい値によっては、１つの物体が複数に分かれて検出されることにより、個々のサイズが小さくなり、車が存在することを認識することができなかった。
本発明の目的は、上記のような問題に鑑み、物体の検出精度が向上する物体検出方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明の物体検出方法は、監視領域を撮像するカメラから入力画像を取込み、該取込んだ入力画像を画像処理して物体検出処理し、前記監視領域内の侵入者あるいは侵入物を検出する物体検出装置の物体検出方法において、前記入力画像を複数のブロックに分割し、該分割したブロックごとの相関値および差分値から物体の存在領域を判定し、該物体の存在領域が所定の閾値以上の場合には、前記物体検出処理を停止するものである。
【発明の効果】
【００１３】
本発明によれば、正規化相関を用いることにより、物体存在領域の認識精度の向上が可能となる。また、正規化相関で認識するためには、ある程度の大きさ・パターンが必要であることから、画素ごとではなくブロックごとに物体存在領域を判断することになり、物体存在領域が分割され難くなる。
【図面の簡単な説明】
【００１４】
【図１】本発明の物体検出方法の一実施例における検知停止判定処理ステップを説明するためのフローチャートである。
【図２】本発明の物体検出方法の一実施例を説明するための模式図である。
【図３】本発明の物体検出方法の一実施例について説明するためのフローチャートである。
【図４】従来の物体検出方法について説明するためのフローチャートである。
【図５】従来の物体検出方法の一例を説明するための模式図である。
【図６】本発明に係る監視装置の構成を示す図である。
【発明を実施するための形態】
【００１５】
本発明は、監視領域に人、車の両方が入ってくる環境において、監視領域に車が存在するときには誤検知防止のために処理を停止し、車が存在しないときに侵入者の検知を行う場合、正規化相関処理、差分処理を組合せることにより、車が存在することを認識する性能を向上するものである。
上記の処理において、正規化相関を使用することで物体の存在領域の認識精度を向上する。また、正規化相関は、アスファルト等均一なパターン（明るさ）の部分では相関が低く出る場合があるため、正規化相関以外に、差分も組合せ、正規化相関が一定以下でかつ、存在領域検知用の閾値（物体検出よりは小さな値）以上の差分が発生する部分を物体存在領域とすることで、正規化相関に認識精度低下を補う。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、既に従来技術で説明した図４および図５も含め、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避ける。
また、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
【００１６】
図６は、本発明に係る監視用ＣＣＴＶ装置の構成を示す図である。監視用ＣＣＴＶ装置は、カメラ６０１、物体検出装置６００、指示装置６０９、および表示装置６１０で構成される。
物体検出装置６００は、映像入力回路６０２と、画像処理プロセッサ６０３と、プログラムメモリ６０４と、ワークメモリ６０５と、外部Ｉ／Ｆ回路６０６と、映像出力回路６０７と、バス６０８とを具備している。映像入力回路６０２と、画像処理プロセッサ６０３と、プログラムメモリ６０４と、ワークメモリ６０５と、外部Ｉ／Ｆ回路６０６と、映像出力回路６０７は、バス６０８に接続されている。バス６０８は、物体検出装置６００内の各機器が、それぞれ、相互にアクセスするためのデータバスである。
【００１７】
カメラ６０１は、監視の対象となる領域（監視領域）を撮像し、撮像した画像を入力画像として物体検出装置６００に出力する。
物体検出装置６００において、カメラ６０１から入力された画像は、映像入力回路６０２に入力される。映像入力回路６０２は、入力画像を取込み、ワークメモリ６０５に出力する。ワークメモリ６０５は、入力画像を記録する。
画像処理プロセッサ６０３は、プログラムメモリ６０４に記録されているプログラムに従って、ワークメモリ６０５内に記録された入力画像を処理し、その処理結果を映像出力回路６０７を介して表示装置６１０に出力する。
表示装置６１０は、映像出力回路６０７から入力された処理結果を表示部に表示する。
また、指示装置６０９は、例えばマウス、キーボードなどの指示装置６０９を使って、オペレータが物体検出装置６００を操作する入力装置である。画像処理プロセッサ６０３は、指示装置６０９から、外部Ｉ／Ｆ回路６０６を介して入力されるオペレータからの指示に基づいて、プログラムメモリ６０４に記憶されているプログラムのパラメータを変更および修正しながら、入力画像の処理をする。
【００１８】
図３によって、本発明の物体検出方法の一実施例を説明する。図３は、本発明の物体検出方法の一実施例について説明するためのフローチャートである。なお、図３のフローチャートの処理は、図６で説明した物体検出装置６００の画像処理プロセッサ６０３が、プログラムメモリ６０４に記録されているプログラムに従って実行する。
図３は、図４で説明した従来の物体検出方法のフローチャートに対して、大きさによる処理停止判定ステップ４０９を削除し、差分処理ステップ４０５の前に、検知停止判定処理ステップ３０１および、検知処理実行判定ステップ３０２を追加したものである。検知停止判定処理ステップ３０１の詳細については、後述する。
検知処理実行判定ステップ３０２では、検知停止判定処理ステップ３０１で判定された結果（「検知処理実行」、または「検知処理停止」）に基づいて、「検知処理実行」と判定された場合にのみ、差分処理ステップ４０５、二値化処理ステップ４０６、ノイズ除去処理ステップ４０７、ラベリング処理ステップ４０８、物体判定処理ステップ４１０、侵入者判定ステップ４１１、警報処理ステップ４１２、背景画像・閾値作成処理ステップ４１３、および映像表示処理ステップ４１４を行う。
なお、検知停止判定処理ステップ３０１が「検知処理停止」と判定した場合には、入力画像取込ステップ４０４の処理に戻り、次の入力画像を取込んで、物体の検知処理を行う。
【００１９】
次に、検知停止判定処理ステップ３０１の詳細について、図１および図２を用いて説明する。図１は、本発明の物体検出方法の一実施例における検知停止判定処理ステップを説明するためのフローチャートである。図２は、本発明の物体検出方法の一実施例を説明するための模式図である。図２（ａ）は背景画像２０１、図２（ｂ）は入力画像２０２を示す。図２（ａ）および図２（ｂ）は、どちらも、画像の幅を（Ｍ＋１）個のブロックに分割し、画像の高さを（Ｎ＋１）個のブロックに分割した処理を説明するものである。Ｂｒ００〜ＢｒＭ０は背景画像２０１の１行目の０〜Ｍ番目のブロック、Ｂｒ０Ｎ〜ＢｒＭＮは背景画像２０１のＮ行目の０〜Ｍ番目のブロックである。また、Ｂｎ００〜ＢｎＭ０は入力画像２０２の１行目の０〜Ｍ番目のブロック、Ｂｎ０Ｎ〜ＢｎＭＮは入力画像２０２のＮ行目の０〜Ｍ番目のブロックである。さらに、背景画像２０１および入力画像２０２において、１ブロックの幅はＷＢ、高さはＨＢである。
またさらに、図２の背景画像２０１および入力画像２０２では、門を通過する人および車を監視している。従って、背景画像２０１には、門と塀がある画像が映り、入力画像２０２には、門と塀に加え、人を示す物体２０３と車を示す物体２０４が映っている。
検知停止判定処理ステップ３０１は、背景画像および入力画像を、画像の幅を（Ｍ＋１）個のブロック、画像の高さを（Ｎ＋１）個のブロックに分割し、分割したブロックごとに正規化相関の値および差分値により、物体存在領域を判定する処理である。
なお、図１のフローチャートの処理もまた、図６で説明した物体検出装置６００の画像処理プロセッサ６０３が、プログラムメモリ６０４に記録されているプログラムに従って実行する。
【００２０】
図１において、物体存在領域数初期化ステップ１０１では、物体存在領域のカウンタＣを０で初期化する（Ｃ＝０）。
処理回数Ｎ判定ステップ１０２では、画像の高さ方向のブロック処理回数ＰｎがＮ以下か否かを判定する。処理回数ＰｎがＮ以下（Ｐｎ≦Ｎ）であれば処理回数Ｍ判定ステップ１０３の処理に移行し、処理回数ＰｎがＮより大きい（Ｐｎ＞Ｎ）であれば物体存在領域判定処理ステップ１０８の処理に移行する。なお、判定後、Ｐｎに１を加えて次の処理に移行する（Ｐｎ＝Ｐｎ＋１）。
処理回数Ｍ判定ステップ１０３では、画像の幅方向のブロック処理回数ＰｍがＭ以下か否かを判定する。処理回数ＰｍがＮ以下（Ｐｍ≦Ｍ）であれば平均相関値算出ステップ１０４の処理に移行し、処理回数ＰｍがＭより大きい（Ｐｎ＞Ｎ）であれば処理回数Ｎ判定ステップ１０２の処理に移行する。なお、判定後、Ｐｍに１を加えて次の処理に移行する（Ｐｍ＝Ｐｍ＋１）。
【００２１】
平均相関値算出ステップ１０４では、処理回数Ｐｎ＝０、処理回数Ｐｍ＝０の場合、背景画像２０１のＢｒ００と、入力画像２０２のＢｎ００の正規化相関を算出する。正規化相関を用いることにより、差分よりも日照変化等が発生しレベルが変化した場合でも影響を受け難いため、差分処理よりも物体の存在領域の認識精度が高い。
平均差分値算出ステップ１０５では、背景画像２０１のＢｒ００と、入力画像２０２のＢｎ００の各画素に対して、差分（入力画像−背景画像、正負の符号付で算出しても、絶対値でもどちらでも良い）を算出し、平均差分値を算出する。
正規化相関では、パターンが無い部分は相関値が正しく得られないため、正規化相関値が０．９５未満でも平均差分値の低い部分は物体が存在しないと判定する。
【００２２】
相関値および差分を用いた物体領域判定ステップ１０６では、平均相関値算出ステップ１０４で得られた平均相関値Ｒａを予め定められた閾値Ｔｈｃと比較し、かつ、平均差分値算出ステップ１０５で得られた平均差分値Ｄａを予め定められた閾値Ｔｈｓと比較し、物体が存在する領域であるか否かを判定する。
即ち、Ｒａ＜Ｔｈｃであり、かつ、Ｄａ＞Ｔｈｓであった場合には、物体が存在すると判定し、物体存在領域インクリメントステップ１０７の処理に移行する。また、それ以外であれば、処理回数Ｍ判定ステップ１０３の処理に戻る。
物体存在領域インクリメントステップ１０７では、物体存在領域をカウントアップする。本実施例では、Ｔｈｃ＝０．９５（背景と５％以上異なる場合、物体が存在する）、Ｔｈｓ＝９（差分が９以上の場合、物体が存在する）とした。例えば、平均相関値算出ステップ１０４で、処理回数Ｐｎ＝０、処理回数Ｐｍ＝０の場合、このステップ１０７の処理の結果、処理回数Ｐｎ＝０、処理回数Ｐｍ＝１となり、背景画像２０１のＢｒ１０と、入力画像２０２のＢｎ１０に対して、平均相関値算出ステップ１０４、平均差分値算出ステップ１０５、相関値および差分を用いた物体領域判定ステップ１０６で物体が存在しているか否かを判定し、物体が存在していると判断した場合、物体存在領域インクリメントステップ１０７で、物体存在領域をカウントアップする。
この処理を、処理回数Ｐｎ＝Ｎ、処理回数Ｐｍ＝Ｍとなるまで繰り返す。処理回数Ｐｎ＝Ｎ、処理回数Ｐｍ＝Ｍとなった場合には、検知処理停止判定ステップ１０８の処理に移行する。
【００２３】
検知処理停止判定ステップ１０８では、「物体存在領域 ＞ ＴｈＡ」
が成立した場合には、車が存在すると判定し、検知処理停止フラグ設定ステップ１１０の処理に移行する。また、「物体存在領域 ＞ ＴｈＡ」が成立しなかった場合には、検知処理実行フラグ設定ステップ１０９の処理に移行する。
検知処理実行フラグ設定ステップ１０９では、検知処理実行フラグを設定する。
検知処理停止フラグ設定ステップ１１０では、検知処理停止フラグを設定する。
【００２４】
図１〜図３の実施例によれば、正規化相関を使用することで物体の存在領域の認識精度を向上する。正規化相関以外に、差分も組合せることにより、パターンが少ない（明るさが均一）内場所での認識精度の低下を防ぐことができる。また、画素ごとではなく、ブロックごとに物体存在領域を判断するため、物体存在領域が分割され難くなる。
その結果、監視領域に人、車の両方が入ってくる環境において、監視領域に車が存在するときには誤検知防止のために処理を停止し、車が存在しないときに侵入者の検知を行う場合、正規化相関処理、差分処理を組合せることにより、車が存在することを認識する性能（認識精度）が向上した。
【符号の説明】
【００２５】
１０１：物体存在領域数初期化ステップ、 １０２：処理回数Ｎ判定ステップ、 １０３：処理回数Ｍ判定ステップ、 １０４：平均相関値算出ステップ、 １０５：平均差分値算出ステップ、 １０６：物体領域判定ステップ、 １０７：物体存在領域インクリメントステップ、 １０８：検知処理停止判定ステップ、 １０９：検知処理実行フラグ設定ステップ、 １１０：検知処理停止フラグ設定ステップ、 ２０１：背景画像、 ２０２：入力画像、 ２０３、２０４：物体、 ３０１：検知停止判定処理ステップ、 ３０２：検知処理実行判定ステップ、 ４０１：入力画像取込ステップ、 ４０２：背景画像・閾値作成ステップ、 ４０３：背景画像作成終了判定ステップ、 ４０４：入力画像取込ステップ、 ４０５：差分処理ステップ、 ４０６：二値化処理ステップ、 ４０７：ノイズ除去処理ステップ、 ４０８：ラベリング処理ステップ、 ４０９：大きさによる検知処理停止判定ステップ、 ４１０：物体判定処理ステップ、 ４１１：侵入者判定ステップ、 ４１２：警報処理ステップ、 ４１３：背景画像・閾値作成処理ステップ、４１４：映像表示処理ステップ４１４、 ５０１：入力画像、 ５０２〜５０５：物体、 ６００：物体検出装置、 ６０１：カメラ、 ６０２：映像入力回路、 ６０３：画像処理プロセッサ、 ６０４：プログラムメモリ、 ６０５：ワークメモリ、 ６０６：外部Ｉ／Ｆ回路、 ６０７：映像出力回路、 ６０８：通信路、 ６０９：指示装置、 ６１０：表示装置。
【特許請求の範囲】
【請求項１】
監視領域を撮像するカメラから入力画像を取込み、該取込んだ入力画像を画像処理して物体検出処理し、前記監視領域内の侵入者あるいは侵入物を検出する物体検出装置の物体検出方法において、前記入力画像を複数のブロックに分割し、該分割したブロックごとの相関値および差分値から物体の存在領域を判定し、該物体の存在領域が所定の閾値以上の場合には、前記物体検出処理を停止することを特徴とする物体検出方法。
【請求項１】
監視領域を撮像するカメラから入力画像を取込み、該取込んだ入力画像を画像処理して物体検出処理し、前記監視領域内の侵入者あるいは侵入物を検出する物体検出装置の物体検出方法において、前記入力画像を複数のブロックに分割し、該分割したブロックごとの相関値および差分値から物体の存在領域を判定し、該物体の存在領域が所定の閾値以上の場合には、前記物体検出処理を停止することを特徴とする物体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−４５１８８（Ｐ２０１３−４５１８８Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８１０３０（Ｐ２０１１−１８１０３０）
【出願日】平成２３年８月２３日（２０１１．８．２３）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２３日（２０１１．８．２３）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]