物体検出システムのメンテナンス方法
【課題】仕様通りの性能保持が容易に得られるようにした侵入物体監視方法及び侵入物体監視装置を提供すること。
【解決手段】画像入力ステップ１０２から物体検出ステップ１０９に至る処理により、監視対象領域内に侵入した物体を検出し、警報・モニタ表示ステップ１１２による警報処理を得るようにした侵入物体監視システムにおいて、監視情報記録ステップ１１４による処理を設け、侵入物体を検出したときの監視情報を逐次、記憶すると共に、再現要求判定ステップ１０３と監視情報退避ステップ１０４、それに監視情報の読み込みステップ１０６による処理を設け、再現要求を出すことにより、作業者は、任意の時点で、以前に起こった監視情報の中から必要とする適当な監視情報を検索し、当該監視情報のパラメータを調整しながら監視結果を得ることができるので、的確なパラメータの調整作業を容易に行なうことができ、監視システムの性能を、熟練者の常駐を要することなく、常時、仕様通り保持することができる。
【解決手段】画像入力ステップ１０２から物体検出ステップ１０９に至る処理により、監視対象領域内に侵入した物体を検出し、警報・モニタ表示ステップ１１２による警報処理を得るようにした侵入物体監視システムにおいて、監視情報記録ステップ１１４による処理を設け、侵入物体を検出したときの監視情報を逐次、記憶すると共に、再現要求判定ステップ１０３と監視情報退避ステップ１０４、それに監視情報の読み込みステップ１０６による処理を設け、再現要求を出すことにより、作業者は、任意の時点で、以前に起こった監視情報の中から必要とする適当な監視情報を検索し、当該監視情報のパラメータを調整しながら監視結果を得ることができるので、的確なパラメータの調整作業を容易に行なうことができ、監視システムの性能を、熟練者の常駐を要することなく、常時、仕様通り保持することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を用いた画像による物体検出システムに係り、特に検出対象領域内に侵入した物体を画像信号の処理により自動的に検出するようにした物体検出方法及び物体監視装置並びに監視システムのメンテナンス方法及び物体検出装置のメンテナンス方法に関する。
【背景技術】
【０００２】
ＴＶカメラ(テレビジョンカメラ)などの撮像装置を用いた遠隔モニタ方式の監視システムは、従来から広く用いられているが、その多くは、監視員がモニタに表示される画像を見ながら監視を行なう、いわゆる有人監視方式の監視システムである。
【０００３】
しかし、この有人監視方式の監視システムでは、監視員が常時、モニタに表示される画像を見ていて、監視対象領域内に入り込んでくる人間や自動車などの侵入物体をリアルタイムで識別する必要があり、従って、監視員に大きな負担がかかる上、人の集中力には限りがあるので、見落しの発生が無視できず、信頼性の面で問題がある。
【０００４】
そこで、このような人による監視ではなく、ＴＶカメラで撮像された画像から信号処理により侵入物体を自動的に検出し、所定の報知や警報処置が得られるようにした、いわゆる自動検出方式の監視システムが、近年、強く要求されるようになってきている。
【０００５】
ところで、このようなシステムの実現には、所定の監視方式を用い、侵入物体と見做すべき監視対象物体を画像信号から検出する機能が必要となるがこのときの監視方式の一例に、差分法と呼ばれる方法があり、従来から広く用いられている(例えば、特許文献１参照。)。
【０００６】
ここで、この差分法とは、ＴＶカメラで撮像した画像の中で、検出すべき侵入物体が存在していない画像を基準背景画像として予め選定し記憶しておき、入力画像(ＴＶカメラから出力されてくる画像)を、この基準背景画像と対比させ、各画素毎に輝度値の差分を求め、その差分値を所定のしきい値(閾値と記す)のもとで判別処理して生成した二値化画像が所定の大きさを越えた領域が現れたとき、それを侵入物体と見做して検出する方法である。
【０００７】
ところで、差分法の場合、侵入物体の検出精度の向上には、パラメータとして考慮すべき条件がいくつかあり、その代表的なものに、上記した閾値と、後述するマスク領域がある。
【０００８】
まず、閾値について説明する。図４Ａは、設定した閾値が適切で、入力画像４０１と基準背景画像の差分を閾値処理した結果、入力画像４０１中に存在する人物が侵入物体４０１ａとして正しく検出できた場合の例である。
【０００９】
一方、図４Ｂは、閾値が適切な値より小さかった場合の例で、閾値が小さいため、入力画像と基準背景画像の間で差が小さい(適切な閾値よりも差が小さい)筈の草木の部分も侵入物体として検出され、入力画像４０２の中に３種の侵入物体４０２ａ、４０２ｂ、４０２ｃが存在していると見做してしまった場合の例である。
【００１０】
反対に、図４Ｃは、閾値が適切な値より大きかった場合の例で、閾値が大きいため、検出すべき物体が存在する領域で、入力画像４０３と基準背景画像との差が小さい部分が検出できず、本来は図４Ａに示すように、侵入物体４０１ａとして検出されるべき１人の人物が、分裂した複数の物体４０３ａ、４０３ｂとして検出されてしまった場合である。
【００１１】
以上のことから、差分法においては、閾値の設定が物体検出の性能を決定し、検出精度を決める大きな要因の一種であることが容易に理解でき、且つ、この閾値の正しい設定には高度の熟練を要することが容易に理解される。
【００１２】
次に、マスク領域について説明する。ここで、まず図５Ａは、図４Ａと同じく、物体５０１ａの検出が正常に得られた場合の入力画像５０１の例であるが、しかし、ここで図５Ｂは、本来は画像内で背景となっている筈の物体、例えば入力画像５０２内に存在する草木が何らかの理由で動いてしまった場合、例えば風で揺れてしまった場合の例である。
【００１３】
そして、この図５Ｂの場合、侵入物体は、物体(人物)５０２ａ以外には存在していないにも関わらず、草木の部分でも入力画像５０２と基準背景画像に差が生じてしまい、入力画像５０２中に３種の物体５０２ａ、５０２ｂ、５０２ｃが存在していると見做されてしまう。
【００１４】
そこで、このような場合、図５Ｃに示すように、入力画像５０３の中に、例えば木々や草木のように、風で動くような物体が存在している領域についてマスク領域５０３ｂを設定し、このマスク領域内を不感帯(物体の存在判定を行なわない領域)として処理するマスク処理が必要である(例えば、特許文献２参照。)。
【００１５】
なお、このマスク処理は、差分法に限らず、さまざまな物体検出方法に適用することができ、物体検出性能の向上に有効である。
【００１６】
しかして、このマスク処理の場合、マスク領域の設定が適切になされていないと、充分な性能が得られない。例えば図５Ｃの入力画像５０３の場合は、侵入物体５０３ａが現われるべき領域を除き、風などにより動かされ、侵入物体として誤検出されてしまう虞れがある草木などの物体だけが正しくマスクされるようにマスク領域が設定されなければならない。
【００１７】
従って、差分法においては、マスク領域の設定も物体検出の性能を決定し、検出精度を決める大きな要因の一種であることが容易に理解でき、且つ、このマスク領域の正しい設定にも、高度な熟練を要することが容易に理解される。
【００１８】
なお、以上は、差分法を挙げて説明したが、差分法に限らず、他の物体検出方法においても、物体検出の性能保持には、閾値、マスク領域などのパラメータが必要であり、その正しい設定が必要である。
【００１９】
そこで、従来技術による自動検出方式の監視システムでは、当該監視システムの運用開始時、オペレータによりこれらのパラメータを適切なものに設定するのは当然として、システム稼働中も、必要に応じて適宜、オペレータが調整を繰り返し行ない、常に適切なパラメータの設定のもとで、常時、監視システムの性能が仕様通り保持されるようにしている。
【特許文献１】特開平７−７９４２９号公報
【特許文献２】米国特許出願Serial No.１０／３８７、４３３
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかし、上記従来技術では、オペレータを監視システムのサイト(設置現場)に常駐させる必要があり、それが困難なときには監視システムの性能保持が困難で、侵入物体の検出精度と信頼性に問題があった。
【００２１】
すなわち、上記したパラメータについては、その設定が適切か否かの判断は、オペレータが物体の誤検出が実際に現われたとき、丁度、そこに居合わせないと難しい。
【００２２】
そこで、適切なパラメータの設定のもとで、監視システムの性能が常時、適切に保持されるようにするためには、誤検出の発生をまって、オペレータがパラメータの再設定を行う必要がある。
【００２３】
このため、従来は、オペレータが監視システムのサイトに常駐(常時待機)し、何時発生するか判らない監視システムによる侵入物体の検出を待たなければならず、従って、上記したように、監視システムの性能保持が困難で、侵入物体の検出精度と信頼性に問題が生じてしまうのである。
【００２４】
本発明の目的は、物体検出が容易な物体検出方法及び物体検出装置を提供することにある。
【００２５】
本発明の別の目的は、物体検出の検出条件を容易に修正することが可能な物体検出方法および物体検出装置を提供することにある。
【００２６】
本発明の更に別の目的は、遠隔地において監視情報のパラメータの調整を行うことができる監視システムのメンテナンス方法及び物体検出装置のメンテナンス方法を提供することにある。
【課題を解決するための手段】
【００２７】
上記の目的を達成するために、本発明の物体検出システムのメンテナンス方法は、画像処理によりパラメータに基づいて物体を検出する物体検出装置と、上記物体検出装置にネットワークを介して接続された操作装置からなる物体検出システムのメンテナンス方法であって、定期的な保存の場合と、物体検出による保存の場合と、入力画像が異常であった時の保存の場合の少なくとも１の場合に、少なくともその際のパラメータと画像を含む監視情報を記録するステップと、上記記録された監視情報に基づいて、物体の検出結果が表された画像とパラメータを表示するステップと、パラメータを変更するステップと、メンテナンス日時とメンテナンス内容を記録するステップと、を有する。
【００２８】
本発明の一側面による物体検出装置は、対象領域を撮像する撮像部と、上記撮像部からの画像信号を基準画像として蓄積する第１の記録装置と、上記画像信号の監視情報を定めるテーブルを記憶する第２の記録装置と、上記撮像部からの画像信号と上記第１の記録装置からの基準画像とから対象となる物体を検出する物体検出処理部と、上記物体検出処理部の処理結果を記憶するメモリテーブルおよび表示部からなり、上記撮像部からの画像信号は、上記第２の記録装置に記憶された監視情報を定める上記テーブルに基づいて保存され、上記メモリテーブルに保存された上記物体検出処理部の結果を上記表示部に表示するものである。
【００２９】
ここで、好ましくは、上記表示部に表示された上記物体検出処理部の処理結果の表示に基づいて上記第２の記録装置の記憶された上記テーブルの監視情報を変更する。
【００３０】
本発明の別の側面による監視システムの保守方法は、複数の監視装置と、上記監視装置に伝送路を介して結合された操作器からなる上記監視システムにおいて、上記複数の監視装置の各々は、対象領域を撮像する撮像部と、上記撮像部からの画像信号を基準画像として蓄積する第１の記録装置と、上記画像信号の監視情報を定めるテーブルを記憶する第２の記録装置と、上記撮像部からの画像信号と上記第1の記録装置からの基準画像とから対象となる物体を検出する物体検出処理部と、上記物体検出処理部の処理結果を記憶する第１のメモリテーブルおよび表示部からなり、上記複数の監視装置のいずれか１つを上記操作器により選択し、上記選択された監視装置のメモリテーブルの内容を上記操作器の表示部に表示し、上記表示内容に基づいて上記第２の記録装置に記録されている監視情報を変更する。
【００３１】
従って、上記目的は、対象領域の所定の物体を、当該対象領域の画像信号に設定したパラメータに基づいて検出する方式の物体検出方法において、上記物体が検出された場合と、入力画像が異常になった場合と、所定の期間が経過した場合の少なくとも１の事象が現われた場合に、上記パラメータを含む上記所定の物体を監視するための情報である監視情報を記録する処理ステップと、上記記録された監視情報に基づいて、上記物体の監視結果を再現して表示する処理ステップとを有することにより達成される。
【００３２】
このとき上記画像信号に設定したパラメータを上記再現表示に基づいて変更することによっても上記目的が達成され、更に上記画像信号に設定したパラメータを上記再現表示に基づいて変更することによっても上記目的が達成される。
【００３３】
更にまた、上記物体の監視結果を再現する処理ステップが、上記記録された監視情報の中から所定の監視情報を選択し、検索する監視情報検索ステップを有することによっても上記目的が達成され、このとき更に所定の間隔毎に上記物体が検出されているか否かの情報を記録する処理ステップを有することによっても上記目的が達成される。
【００３４】
同じく、上記目的は、撮像装置から逐次入力される画像信号により所定の物体を検出する方式の物体検出装置において、対象領域を逐次撮像する撮像装置と、該撮像装置が取得した映像信号を逐次画像信号に変換する画像入力インターフェイスと、物体を監視するための情報である監視情報を記録する監視情報記録手段と、前記画像入力インターフェイスによって変換された前記画像信号と前記監視情報記録手段に記録された監視情報の何れかを予め決めた手順で処理する処理手段を備え、前記処理手段は、監視情報を前記監視情報記録手段に記録し、前記監視情報記録手段に記録された複数の監視情報のうち目的の監視情報を検索し、監視情報を前記監視情報記録手段から読み込み、該監視情報に基づいて物体の監視結果を再現することによっても達成される。
【００３５】
同じく、上記目的は、複数の監視装置と、上記監視装置に伝送路を介して結合された操作器からなる監視システムにおいて、上記複数の監視装置の各々は、対象領域を撮像する撮像部と、上記撮像部からの画像信号を基準画像として蓄積する第1の記録装置と、上記画像信号の監視情報を定めるテーブルを記憶する第２の記録装置と、上記撮像部からの画像信号と上記第１の記録装置からの基準画像とから対象となる物体を検出する物体検出処理部と、上記物体検出処理部の処理結果を記憶する第１のメモリテーブルと、表示部とからなり、上記複数の監視装置のいずれか１つを上記操作器により選択し、上記選択された監視装置のメモリテーブルの内容を上記操作器の表示部に表示し、上記表示内容に基づいて上記第２の記録装置に記録されている監視情報を変更することによっても達成される。
【００３６】
また、このとき、上記物体の監視結果を再現する処理ステップが、上記記録された監視情報の中から所定の監視情報を選択し、検索する監視情報検索ステップを有することによっても上記目的が達成でき、更に所定の間隔毎に上記物体が検出されているか否かの情報を記録する処理ステップを有することによっても上記目的が達成される。
【００３７】
同じく上記目的は、対象領域の物体を撮像する撮像装置と、上記撮像装置から出力される画像信号と所定の監視情報とを記録する記録装置と、上記画像信号に対して上記監視情報に基づいて上記対象領域の上記物体を検出する検出処理部と、上記検出処理部の処理結果を表示する表示部とからなる物体検出装置において、上記検出処理部からの処理結果を上記表示部に表示するステップと、上記表示部に表示された処理結果に基づいて上記記録装置に記憶されている監視情報を変更するステップとを有することにより達成される。
【００３８】
このとき、上記操作器は、更に第２のメモリテーブルを備え、上記第２のメモリテーブルは、上記複数の監視装置のそれぞれについてメンテナンス日時とメンテナンス内容を記録するようにしても上記目的が達成され、更に上記第２のメモリテーブルは、更に上記メンテナンス内容に対応して費用に関する情報を記録しているようにしても上記目的が達成される。
【００３９】
同じく、上記目的は、対象領域の物体を撮像する撮像装置と、上記撮像装置から出力される画像信号と所定の監視情報とを記録する記録装置と、上記画像信号に対して上記監視情報に基づいて上記対象領域の上記物体を検出する検出処理部と、上記検出処理部の処理結果を表示する表示部とからなる物体検出装置において、上記検出処理部からの処理結果を上記表示部に表示するステップと、上記表示部に表示された処理結果に基づいて上記記録装置に記憶されている監視情報を変更するステップを有することにより達成される。
【００４０】
このとき、上記表示部に表示するステップは、上記記録された画像信号と所定の監視情報とから上記対象領域の上記物体を検出するステップを含むようにしても上記目的が達成され、上記表示部に表示するステップは、更に上記記録された画像信号と所定の監視情報を検索するステップ及び上記検索して得られる画像信号と所定の監視情報とから上記対象領域の上記物体を検出するステップを含むことによっても上記目的が達成される。
【発明の効果】
【００４１】
本発明によれば、任意の時点で、それ以前の監視結果が再現できるようにし、パラメータの調整不足による物体の誤検出の発生タイミングにとらわれることなく監視結果の再現が行えるので、適切なパラメータの調整が容易になり、信頼性の高い物体検出を得ることができる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明による物体検出方法及び物体検出装置について、図面を参照して、より詳細に説明する。なお、全ての図において、同等の部材には同じ参照符号が付してある。
【００４３】
図３は、本発明の実施形態が適用された監視装置Ｅ００のブロック構成の一例を示したもので、この図において、Ｅ０１は撮像装置で、これはＴＶカメラＥ０１ａとズームレンズＥ０１ｂ、それに図示しない電動カメラ旋回台を含むカメラ雲台Ｅ０１ｃで構成されている。
【００４４】
Ｅ０２は処理装置で、画像入力部Ｅ０２ａと雲台制御部Ｅ０２ｂ、レンズ制御部Ｅ０２ｃ、操作入力部Ｅ０２ｄ、画像メモリＥ０２ｅ、ＭＰＵ(マイクロプロセッシングユニット)Ｅ０２ｆ、ワークメモリＥ０２ｇ、外部入出力部Ｅ０２ｈ、画像出力部Ｅ０２ｉ、警報出力部Ｅ０２ｊ、それにデータバスＥ０２ｋで構成され、これに操作器Ｅ０３とハードディスクドライブ(hard disk drive)などからなる外部記憶装置Ｅ０４、画像モニタＥ０５、それに警告灯Ｅ０６が組合わされている。
【００４５】
ＴＶカメラＥ０１ａの出力は、画像入力部Ｅ０２ａを介してデータバスＥ０２ｋに接続され、ズームレンズＥ０１ｂの制御部は、レンズ制御部Ｅ０２ｃを介してデータバスＥ０２ｋに接続され、カメラ雲台Ｅ０１ｃの電動旋回台は、雲台制御部Ｅ０２ｂを介してデータバスＥ０２ｋに接続され、ジョイスティックなどからなる操作器Ｅ０３の出力は、操作入力部Ｅ０２ｄを介してデータバスＥ０２ｋに接続されている。
【００４６】
また、外部記憶装置Ｅ０４は、外部入出力部Ｅ０２ｈを介してデータバスＥ０２ｋに接続され、監視用の画像モニタＥ０５は、画像出力部Ｅ０２ｉを介してデータバスＥ０２ｋに接続され、警告灯Ｅ０６は、警報出力部Ｅ０２ｊを介してデータバスＥ０２ｋに接続されている。一方、ＭＰＵＥ０２ｆとワークメモリＥ０２ｇは、そのままデータバスＥ０２ｋに接続されている。
【００４７】
ここで、ＴＶカメラＥ０１ａは、監視対象を所定の視野内に捉え、監視対象を撮像して映像信号を出力する。このためズームレンズＥ０１ｂを備え、カメラ雲台Ｅ０１ｃに搭載されている。そして、撮像された映像信号は、画像入力部Ｅ０２ａからデータバスＥ０２ｋを介して画像メモリＥ０２ｅに蓄積される。
【００４８】
外部記憶装置Ｅ０４は、プログラムデータなどを記憶する働きをし、このプログラムなどのデータが必要に応じてワークメモリＥ０２ｇに読み込まれ、反対にワークメモリＥ０２ｇから外部記憶装置Ｅ０４に保存される。
【００４９】
ＭＰＵＥ０２ｆは、外部記憶装置Ｅ０４に保存され、動作開始時にワークメモリＥ０２ｇにロードされるプログラムに従って処理を実行し、ワークメモリＥ０２ｇ内で画像メモリＥ０２ｅに蓄積された画像の解析を行なう。
【００５０】
そして、この処理結果に応じて、ＭＰＵＥ０２ｆは、ズームレンズＥ０１ｂを制御し、カメラ雲台Ｅ０１ｃを制御して、ＴＶカメラＥ０１ａの撮像視野を変えると共に、必要に応じて監視モニタＥ０５に侵入物体検出結果の画像を表示し、警告灯Ｅ０６を点灯させる働きをする。なお、撮像装置Ｅ０１、処理装置Ｅ０２、外部記憶装置Ｅ０４などの機能が一体化された装置が用いられても良く、構成は図３に示された形態に限定されない。
【００５１】
次に、本発明による物体検出方法の実施形態について説明する。ここで、以下に説明する実施形態は、何れも図３で説明した監視装置Ｅ００のブロック構成により動作するもので、まず、本発明の第１の実施形態の動作について、図１により説明する。ここで、この図１は、本発明の第１の実施形態における処理プロセスをフローチャートで示したものである。
【００５２】
この図１の処理プロセスは、まず初期化処理ステップ１０１から開始され、ここでは、物体検出処理において使用する、画像メモリＥ０２ｅ内に確保された画像記録用の画像メモリ領域や、ワークメモリＥ０２ｇ内に確保された変数、監視情報のパラメータ(後述する)などの記憶領域の初期化を実行する。
【００５３】
次いで、画像入力ステップ１０２では、画像入力部Ｅ０２ａを介して、ＴＶカメラＥ０１ａで撮像された画像信号を入力し、例えば幅方向の画素数３２０で、高さ方向の画素数２４０、１画素当りのデータビット数８、すなわち、各画素が０から２５５までの２５６段階のいずれかの画素値の入力画像を取得する。
【００５４】
続く再現要求判定ステップ１０３では、オペレータによる再現要求の有無を判定する。このため、操作入力部Ｅ０２ｅを介して操作器Ｅ０３から入力される信号を調べ、例えば操作器Ｅ０３に設けられているボタンの押下があったか否かを判定する。なお、この図３では、操作器Ｅ０３の例としてジョイスティックが示されているが、キーボードや他の入力手段でもよい。
【００５５】
そして、再現要求有りのときは監視情報退避ステップ１０４に進み、再現要求無しのときは画像検出処理ステップ１０９内の差分処理ステップ１０９ａに分岐し、このときは、監視情報退避ステップ１０４と、これに続く監視情報読み込みステップ１０６はスキップ(skip)される。
【００５６】
なお、ここで「再現要求有り」とは、オペレータが所定時間後に、後述する図６Ｂの監視情報を再現するため、一時的にその監視情報をメモリに記憶することを言う。従って、「再現要求有り」(ＹＥＳ)のときは、監視情報の待避ステップ１０４に進み、後述する所定期間後の画像処理のために一時監視情報が記録される。一方、「監視要求なし」(ＮＯ)のときは、監視情報は、画像検出処理ステップ１０９に直接入力される。
【００５７】
監視情報退避ステップ１０４では、ステップ１０９とステップ１１１での処理プロセスで必要となる現在の監視情報を外部記憶装置Ｅ０４に記憶(記録)し、保存する。このときの監視情報は、図６Ａにテーブル６０１として示したような、例えば、保存時刻、保存条件、入力画像、基準背景画像、マスク画像、しきい値(閾値)、物体検出条件等のパラメータが記憶され、更に、必要に応じて他にも各種のパラメータが記憶される。ステップ１０４については、後でより詳細に説明する。
【００５８】
ここで、まず、保存時刻とは、当該監視情報を保存したときの時刻のことで、年、月、日、時、分、秒の各単位にわたって記録され、更に撮像された画像のフレーム番号も記録される。
【００５９】
次に、保存条件とは、当該監視情報を保存した条件のことで、これには、後述するように、例えば定期的な保存の場合、物体検出による保存の場合、異常な入力画像であった場合の保存など、それぞれの保存条件に合致した監視情報が記録される。
【００６０】
図６Ｂは、例えばテーブル形式で外部記憶装置Ｅ０４に記録される監視情報の一例を示したもので、この場合、保存時刻は、２００３年５月２３日、１３時００分０６秒にフレームＮｏ．１００の画像を記録したことを示す。
【００６１】
このときの保存条件は、定期保存の場合、例えば１時間当たり１フレームを記録していることを示す。そして、入力画像とは、画像入力ステップ１０２でＴＶカメラＥ０１ａから取得した入力画像(例えば３２０×２４０pix、８bit／pixの画像)を示す。
【００６２】
一方、基準背景画像とは、後述する差分処理ステップ１０９ａで使用される基準背景画像(例えば上記した３２０×２４０pix、８bit／pixの画像)であり、マスク画像とは、後述するマスク処理ステップ１０９ｃで使用するマスク画像(同じく、３２０×２４０pix、８bit／pixの画像)のことである。
【００６３】
また、しきい値(：２０)とは、二値化処理ステップ１０９ｂで使用される二値化用の閾値(後述する)のことで、ここでは、その値が２０であることを表しており、次に、物体検出条件とは、後述する物体存在判定ステップ１１１で使用される物体の最小面積、最大面積、大きさの範囲などのことであり、ここには更に監視情報に対する備考なども付加できるようになっている。
【００６４】
更に、物体検出条件とは、最小面積と最大面積、それに大きさの範囲などであり、ここで最小面積とは、例えば５０ピクセルからなる面積のことで、最大面積とは、例えば５０００ピクセルからなる面積のことであり、大きさの範囲とは、例えば図６Ｂに示されているように、物体の外接矩形が、例えば縦×横が５×１０から５０×１００ピクセルの範囲のことを言う。ここで、物体検出条件の単位はピクセルである。
【００６５】
このとき監視情報退避ステップ１０４で現在の監視情報を退避する理由は、続く監視情報読み込みステップ１０６で、現在の監視情報と別の監視情報を読み込むため、現在の監視情報を一時的に記憶しておくためである。
【００６６】
続く監視情報読み込みステップ１０６では、外部記憶装置Ｅ０４に記録されている過去の監視情報を読み込み、読み込んだ監視情報をワークメモリＥ０２ｇに書き込む。なお、上述した実施形態では、読み込んだ監視情報を外部記憶装置Ｅ０４に保存した場合について説明したが、監視情報は、ワークメモリＥ０２ｇと画像メモリＥ０２ｅに分けて記録しても良い。
【００６７】
例えば、詳細は後述するが、図７では、パラメータ「入力画像」、「背景画像」、「マスク画像」のデータがワークメモリＥ０２ｇ内に格納されているが、例えば「背景画像」と「マスク画像」のデータは画像メモリＥ０２ｅに格納するようにしても良い。
【００６８】
続くステップ１０９(破線で囲った部分)は、監視処理を行うべき物体を検出するための処理で、これは差分処理ステップ１０９ａと二値化処理ステップ１０９ｂ、マスク処理ステップ１０９ｃ、それにラベリング処理ステップ１０９ｄで構成されている。
【００６９】
差分処理ステップ１０９ａでは、画像メモリＥ０２ｅに記録された入力画像と基準背景画像を画素毎に比較し、それらの差分を計算して差分画像を得る。なお、再現要求判定ステップ１０３における判定結果が再現要求無しの場合は、差分処理ステップ１０９以下の処理は、画像入力ステップ１０２でＴＶカメラＥ０１ａから取得した入力画像に対して行われる。
【００７０】
次に、二値化処理ステップ１０９ｂでは、いま得られた差分画像の各画素毎に閾値処理を行い、ワークメモリＥ０２ｇに保持されている二値化閾値に応じて、画素値が閾値(６以上２５５未満の範囲内で実験的に決めた数値で、例えば２０)未満の場合は、画素値が“０”となり、閾値以上の場合は画素値が“２５５”となるようにして、二値化画像を得る。そうすると、このとき得られた二値化画像は、入力画像の変化領域を表わすことになる。
【００７１】
次に、マスク処理ステップ１０９ｃは、図５Ｃで説明したマスク処理を行なう。具体的に説明すると、このマスク処理ステップ１０９ｃでは、画像メモリＥ０２ｅ内に記録したマスク画像内で二値化画像として検出した変化領域の画素値を“２５５”から“０”に修正する(マスクする)のである。
【００７２】
このようにすることにより、二値化画像で検出される変化領域の内、例えば草木が存在する領域内で検出された、検出対象物以外で変化した変化領域について、それを削除することができる。
【００７３】
次のラベリング処理１０９ｄでは、二値化画像内の画素値が“２５５”の画素のかたまり(塊り)を検出して、各々のかたまりの領域に番号を付けて、互いに区別できるようにする。例えば、図４Ｂにおいて、領域４０２ａには番号１を、領域４０２ｂには番号２を、そして、領域４０２ｃには番号３を付すのである。
【００７４】
従って、この物体検出ステップ１０９では、再現要求判定ステップ１０３で監視結果の再現が要求されていない場合は、画像入力ステップ１０２によって入力された入力画像に対して物体検出処理が実行され、再現要求判定ステップ１０３で監視結果の再現が要求されている場合は、外部記憶装置Ｅ０４に記憶された過去の監視情報のパラメータに基づいて処理が実行される。
【００７５】
この結果、オペレータは、現在の入力画像についての物体検出処理による監視結果と、操作器Ｅ０３を操作することにより、外部記憶装置Ｅ０４に記録されている過去の監視情報に基づいて得られた監視結果とを適宜切り換えて判断することが可能である。
【００７６】
次に、物体検出結果表示ステップ１１０では、例えば入力画像に、物体検出処理ステップ１０９で検出した侵入物体を重畳させ、画像出力部Ｅ０２ｉを介して出力モニタＥ０５に供給し、表示する。
【００７７】
このとき、入力画像に重畳する侵入物体の表示形態は、ステップ１０９で得られた侵入物体の二値化画像そのもの、又はその外接矩形、或いは侵入物体が人間であれば、その頭上に三角マークを付す、更には、カラー表示する等々、様々な形態が可能である。
【００７８】
続く物体存在判定ステップ１１１では、前記ラベリング処理１０９ｄで番号付けされた二値化画像内の画素値“２５５”の画素のかたまりの中で、所定の物体検出条件によって検出すべき物体と判断できる画素のかたまりが存在するか否かを調べる。
【００７９】
そして、画素のかたまりが存在した場合、入力画像異常の判定処理ステップ１１１２に進み、存在しない場合は、監視情報記録判定ステップ１１３に分岐し、入力画像異常の判定処理ステップ１１１２、警報／モニタ表示ステップ１１２はスキップする。
【００８０】
このとき物体存在判定ステップ１１１において、検出すべき物体と判断できる上述の物体検出条件とは、二値化画像内の画素値“２５５”の画素のかたまりが監視情報のパラメータ「最小面積」、「最大面積」、「大きさ範囲」等と比較され、例えば、面積(画素数)が最小面積(例えば５０画素)以上、最大面積(例えば５０００画素)未満であるか、画素のかたまりに外接する矩形の大きさが所定の範囲内(例えば、幅が５画素で高さが１０画素以上、且つ、幅が５０画素で高さが１００画素未満)であった場合、検出すべき物体、すなわち侵入物体が存在すると判断するのである。
【００８１】
次に、ステップ１１１２において、二値化画像内の画素値“２５５”の画素のかたまりの面積が監視情報に記録されたパラメータに基づき、最大面積以上、大きさが大きさ範囲以上であった場合、入力画像異常(入力画像と基準背景画像が大きく異なっている)と判断される。
【００８２】
なお、入力画像の異常／正常の判定は、入力画像の検出対象領域の面積に対する二値化画像内の画素値“２５５”の画素のかたまりの面積の比に基づいて行っても良い。これを図８Ａから図８Ｄにより説明する。
【００８３】
まず、図８Ａは入力画像の一例で、入力画像８０１に家と木が映っていて、破線で囲った木の葉の部分８０２にマスク領域が設定されている。すなわち、マスク領域以外の領域が検出対象領域となり、このときの入力画像８０１の面積をＳ０とする。
【００８４】
次に、図８Ｂはマスク領域８０２と、それ以外のハッチング(hatched)を施した領域、すなわち検出対象領域８０３を示したもので、このときの検出対象領域８０３の面積をＳ１とし、マスク領域Ｓ０２の面積はＳ２とする。
【００８５】
更に、図８Ｃは入力画像８０１から検出された二値化画像の一例を示したもので、ハッチングを施した領域８０４が二値化画像内の画素値“２５５”の画素のかたまり、すなわち、検出物体を表わしたもので、このとき、領域８０４の面積をＳ４とする。
【００８６】
そして、図８Ｄは、入力画像の正常／異常の判定を説明するための図で、この図８Ｄにおいて、入力画像８０１を横３２０画素、縦２４０画素の画像とすると、その面積Ｓ０は以下の通りになる。すなわち、
Ｓ０＝３２０(pixels)×２４０(pixels)
となる。
【００８７】
そうすると、検出対象領域８０３の面積Ｓ１は、以下のようにして求まる。すなわち、
Ｓ１＝Ｓ０−Ｓ２
となる。
【００８８】
ここで、検出対象領域の面積の所定の割合、例えば１０パーセントの領域の面積をＡとする。そうすると、この面積Ａは次の通りになる。すなわち、
Ａ＝０．１×Ｓ１
となる。
【００８９】
そして、入力画像の異常／正常の判定は、検出物体の面積Ｓ４と面積Ａの比較結果に基づいて判定する。すなわち、
Ｓ４＞Ａ ⇒ 入力画像は異常
Ｓ４≦Ａ ⇒ 入力画像は正常
となる。従って、このような判定ステップ１１１２を設けることにより、入力画像の異常判定を行うことができる。
【００９０】
図１に戻り、次の警報／モニタ表示ステップ１１２では、例えば出力モニタＥ０５に検出した物体の画像を表示し、警告灯Ｅ０７を点灯させ、侵入物体が存在することを表す報知が行われる。このとき、入力画像異常を表す報知も併せて行ってもよい。
【００９１】
次に、監視情報記録判定ステップ１１３では、監視情報の記録を必要とするか否かが判定される。このとき、侵入物体が検出された場合と、入力画像が異常になった場合、それに、通常の監視において例えば１時間間隔など、所定の時刻になった場合のうちの少なくとも１つの事象が現れたとき、監視情報の記録を必要とすると判定する。
【００９２】
そして、監視情報の記録が必要であると判定された場合は、監視情報記録ステップ１１４に進み、監視情報の記録が必要でないと判定された場合は、監視情報復帰判定ステップ１１５に分岐して、監視情報記録ステップ１１４はスキップする。
【００９３】
なお、ステップ１０３で再現要求があったと判定された場合についての処理の進行中の場合にも、ステップ１０６で読み込んだ監視情報の外部記憶装置Ｅ０４への再記録は必要無い。そして、監視情報記録ステップ１１４では、ワークメモリＥ０２ｇと画像メモリＥ０２ｅに記録されている監視情報を、例えばメモリテーブルの形式で外部記憶装置Ｅ０４に記録する。
【００９４】
次に、監視情報復帰判定ステップ１１５では、監視情報退避ステップ１０４で外部記憶装置Ｅ０４に監視情報を退避した場合は、監視情報復帰ステップ１１６に進み、退避していない場合は、画像入力ステップ１０２に分岐し、監視情報復帰ステップ１１６はスキップする。
【００９５】
監視情報復帰ステップ１１６では、ステップ１０４において外部記憶装置Ｅ０４に退避した監視情報を読み込み、ワークメモリＥ０２ｇに書き込む。そして、この監視情報復帰ステップ１１６が終了したら画像入力ステップ１０２に戻り、同じ処理が繰り返されることになる。
【００９６】
次に、ステップ１０３で再現要求があった場合の第１の実施形態による処理について、監視情報の待避ステップ１０４、監視情報の読み込みステップ１０６、監視情報の復帰ステップ１１６を中心として更に図７により説明する。ここで、この図７は、例えばワークメモリ５０２ｇと外部記憶装置Ｅ０４との間の情報の流れを示したものである。
【００９７】
ステップ１０３で再現要求があると、この時点の１組の監視情報１１００ａ(図７の例では２００３年５月２６日、１０時０５分２３秒、フレーム番号１５)がステップ１０４で外部記憶装置Ｅ０４に待避(格納)される。
【００９８】
このとき、この１組の監視情報は、「入力画像」、「背景画像」、「マスク画像」、二値化閾値その他の１組のデータを含む。なお、この１組の情報は図７では簡略化されて示されているが、ここで、より詳しくは、例えば上記した図６Ｂに示す通りである。
【００９９】
次のステップ１０４で情報１１００ａを外部記憶装置Ｅ０４へ格納した後、ステップ１０６で外部記憶装置Ｅ０４に格納されている過去の１組の監視情報１１００ｂが外部記憶装置Ｅ０４から読み出され、ワークメモリＥ０２ｇに書き込まれる。そして、この書き込まれた情報１１００ｂに対して物体検出ステップ１０９、物体検出結果表示ステップ１１０、物体存在判定ステップ１１１、警報／モニタ表示ステップ１１２、監視情報復帰判定ステップ１１５、監視情報復帰ステップ１１６の各処理が施こされる。
【０１００】
このとき、ステップ１０４で外部記憶装置Ｅ０４に監視情報を待避しているので、監視情報復帰判定ステップ１１５では処理は監視情報復帰ステップ１１６に進む。そして、ここで、外部記憶装置Ｅ０４に待避してあった、例えば時刻２００３年５月２６日、１０時１０分１０秒、フレーム番号１００の１組の監視情報を読み出し、再びワークメモリＥ０２ｇに格納し、格納した監視情報にステップ１０２以下の処理を続行するため、処理を画像入力ステップ１０２へ戻す。
【０１０１】
このようにして、再現要求の処理のために中断していた通常の監視を再開することができ、この結果、外部記憶装置Ｅ０４に記録した監視情報に基づいて監視結果を再現することができ、所定の時刻に、それ以前の監視結果を再現させることができるようになる。
【０１０２】
従って、図１の実施形態によれば、物体の誤検出が実際に現れたときの監視結果が、以後の任意の時点で簡単に再現できることになり、この結果、オペレータは、監視情報のパラメータの設定が適切か否かを、所定の時点で操作器Ｅ０３を操作するだけで、再現された物体の誤検出結果(例えば、侵入者が居たにもかかわらず検出されなかった等)を用いて的確に判断することができる。
【０１０３】
よって、この図１の実施形態によれば、オペレータの常駐を要することなく、常時、監視システムが適切に作動しているか否かを確認することができる。
【０１０４】
次に、図２Ａと図２Ｂにより本発明の第２の実施形態について説明する。ここで、これら図２Ａ、Ｂは、本発明の第２の実施形態による処理プロセスを説明するフローチャートである。
【０１０５】
そして、まず、これら図２Ａ、Ｂに示した第２の実施形態は、図１に示した第１の実施形態において、その監視情報の待避ステップ１０４と監視情報読み込みステップ１０６の間に、検索条件入力完了判定ステップ１０５０と監視情報検索ステップ１０５を追加し、且つ監視情報読み込みステップ１０６と物体検出ステップ１０９内の差分処理ステップ１０９ａの間に監視情報修正判定ステップ１０７と監視情報修正ステップ１０８を追加したものである。
【０１０６】
次に、この第２の実施形態は、同じく監視情報の記録ステップ１１４と監視情報復帰判定ステップ１１５の間に、処理結果記録判定ステップ１１４１と処理結果記録ステップ１１４２を追加し、更に、監視情報の復帰ステップ１１６の後に監視情報反映要否判定ステップ１１７と監視情報の反映ステップ１１８を追加したものである。
【０１０７】
そして、これら以外のステップは、図１で説明した第１の実施形態と同じであるので、追加されたステップに重点をおいて説明し、他のステップについての説明は省略する。
【０１０８】
まず、検索条件入力完了判定ステップ１０５０ではオペレータが監視情報の検索条件の入力を完了したか否かを判定する。このとき、オペレータは、例えば操作器Ｅ０３の操作により、監視システムに対して保存時間や保存条件等の検索ができるようになっており、さらに、所定のボタンにより検索条件入力の完了を監視システムに指示できるようになっている。
【０１０９】
そして、まず、検索条件入力完了判定ステップ１０５０では、監視情報の検索条件の入力が完了していない場合は、再度検索条件入力完了判定ステップ１０５０に戻り(入力が完了するまでループしている)、検索条件の入力が完了したとき、監視情報検索ステップ１０５に進む。
【０１１０】
監視情報検索ステップ１０５では、外部記憶装置Ｅ０４に記録してある複数の監視情報から所定の保存時刻(例えば、現時点から１週間前までの時間範囲、フレーム番号等)、保存条件(例えば、物体検出時の保存等)の少なくとも１つの条件に合致する監視情報を検索する。このときの検索条件は、上述したように、オペレータが適宜選択した上で、操作器Ｅ０３を用いて入力する。
【０１１１】
ここで、入力された検索条件に対して複数の監視情報が合致し、検索された場合には、例えば最も新しく記録された監視情報を選択するようにしても良い。また、入力された検索条件に対して合致する監視情報がないときは、その条件に一番近い監視情報を選択するようにしても良い。
【０１１２】
なお、検索は上述した形式に限らず、例えば、モニタＥ０５に外部記憶装置Ｅ０４に記録されている複数の監視情報の一覧リストを表示させ、オペレータにその一覧リストから所望の監視情報を選択させるようにしても良い。
【０１１３】
次に、監視情報読み込みステップ１０６では、監視情報検索ステップ１０５で検索された監視情報を外部記憶装置Ｅ０４から読み込み、更に、読み込まれた監視情報の内容をワークメモリＥ０２ｇに書き込む。
【０１１４】
次に、監視情報修正判定ステップ１０７では、ワークメモリＥ０２ｇに保持されている監視情報の中のパラメータについて、オペレータが修正を要求しているか否かが判定される。
【０１１５】
このとき、オペレータは、例えば操作器Ｅ０３により、処理装置Ｅ０２に対して修正するか否か指示することができる。そして、修正要求があると判断された場合は監視情報修正ステップ１０８に進むが、修正要求がない場合は差分処理ステップ１０９ａに分岐し、監視情報修正判定ステップ１０７と監視情報修正ステップ１０８はスキップされる。
【０１１６】
この監視情報修正判定ステップ１０７における判断はオペレータが行い、判断結果は、例えば操作器Ｅ０３から入力される。そして、監視情報修正ステップ１０８では、オペレータにより操作器Ｅ０３から入力された値に基づき、図６Ａに示す監視情報のパラメータについて、例えば「二値化しきい値」の値を５ポイント増加させる等の修正を行う。そして、このステップ１０８で修正された監視情報のパラメータは、後述する監視情報反映ステップ１１８の処理のために、別途ワークメモリＥ０２ｇに記録される。
【０１１７】
この結果、検出処理ステップ１０９から監視情報復帰ステップ１１６までのステップによる物体検出処理では、修正された監視情報のパラメータに基づいて実行されることになる。
【０１１８】
そして、この監視情報復帰ステップ１１６では、第１の実施形態に関連して説明したように、ステップ１０４で外部記憶装置Ｅ０４に待避した監視情報を読み込みワークメモリＥ０２ｇに書き込む。
【０１１９】
次に、監視情報反映要否判定ステップ１１７では、監視情報修正ステップ１０８の修正結果を以降の通常の監視処理の監視情報に反映させることがオペレータにより要求されているか否かを判定する。
【０１２０】
このとき、例えば、モニタＥ０５上に反映の要否を選択する入力ボックスが表示され、オペレータは操作器Ｅ０３の操作により、処理装置Ｅ０２に対して反映の要否を指示することができるようになっている。
【０１２１】
ここで、もしも修正した監視情報のパラメータについて、反映要求がなされた場合は、監視情報反映ステップ１１８で監視情報のパラメータの反映を行う。すなわち、ワークメモリＥ０２ｇに別途記録されているステップ１０８の修正結果を、現在の監視情報のパラメータに反映させるのである。
【０１２２】
その後、処理は画像入力ステップ１０２に戻り、入力された画像に対し、修正されたパラメータで画像入力ステップ１０２以下の一連の処理が実施され、他方、反映要求がなされなかった場合は、以前のパラメータのままでステップ１０２以降の処理が実行され、この結果、オペレータによる適切な二値化しきい値等のパラメータの設定のもとでの的確な侵入物体の検出が可能となる。
【０１２３】
なお、監視情報修正ステップ１０８において監視情報のパラメータ(例えば、マスク領域や二値化しきい値など)の修正を行っていない場合には、ステップ１１７とステップ１１８の処理はスキップされる。
【０１２４】
ここで、処理結果記録判定ステップ１１４１及び処理結果記録ステップ１１４２について説明すると、この処理結果記録判定ステップ１１４１では、処理結果を記録するか否かが判定される。このときの処理結果とは、例えば、物体存在判定ステップ１１１で検出物体が存在すると判定されたか否かや、入力画像異常判定処理ステップ１１１２で入力画像が異常であると判定されたか否か等の情報のことをいう。
【０１２５】
例えば、５フレーム毎に処理結果を記録する設定の場合には、ステップ１１４１では、入力画像のフレーム番号に基づき、現在のフレームが処理結果を記録するフレームであるか否かが判断される。そして、処理結果を記録する設定の場合にはステップ１１４２に進み、記録しない場合にはステップ１１５に進む。
【０１２６】
このとき、ステップ１０３で再現要求があったと判定される場合についての処理の進行中は、ステップ１１４１とステップ１１４２はスキップされる。なお、ここでは５フレーム毎など定期的に処理結果を記録する設定に限られず、例えば、検出物体が存在すると判定された場合にのみ、処理結果を記録するという設定にしてもよい。
【０１２７】
次に、処理結果記録ステップ１１４２では、ワークメモリＥ０２ｇと画像メモリＥ０２ｅに記録されている監視情報と、上述した処理ステップの処理結果から、例えば、図９に示すレコード９０１を作成し、外部入出力部Ｅ０２ｈを介して外部記録装置Ｅ０４に記憶し、必要に応じてモニタＥ０５に表示できるようにする。
【０１２８】
このとき図９に示したレコード９０１は、５フレーム間隔で入力画像のフレーム番号とその入力画像中での侵入者の有無(ステップ１１１において判定)を記録したもので、ここで、フレーム番号５、１０、１５、２０、３５、４０においては、侵入者が検出されたことを示し、フレーム番号２５、３０では侵入者がいないことを示している。
【０１２９】
そこで、オペレータは、レコード９０１に記憶された情報を任意の時刻にモニタＥ０５上で参照することが可能になり、且つ、レコード９０１に基づいて、侵入者の検出条件が不備で、パラメータの調整を行う必要性があるかもしれない、という情報を認識することができる。
【０１３０】
例えば、オペレータは、図９に示したレコード９０１を参照することにより、侵入者が「有」から「無」へと変化しているフレーム番号２５、３０において、侵入者の検出条件が不備か否かを確認し、必要であればパラメータを調整する、という作業を行う。この場合、オペレータは、上述したステップ１０５０に際して、検索条件として「フレーム番号２５、３０」と入力すればよい。
【０１３１】
このように、オペレータはレコード９０１を参照することにより、何らかの監視情報のパラメータ、例えば２値化しきい値レベル等の調整が必要であるか否かが分かる。
【０１３２】
なお、このレコード９０１としては、侵入検知結果に限らず、入力画像異常についても同様に作成し、外部記憶装置Ｅ０４に記録しても良く、処理結果記録ステップ１１４２において、処理結果として、上述した物体検出結果表示ステップ１１０で表示される、例えば、検出した侵入物体が入力画像に重畳した画像を記録するようにしてもよい。
【０１３３】
ここで、物体検出結果表示ステップ１１０で表示される画像を記録するようにした場合には、上述したステップ１０９、１１０、１１１の処理を行うことなく、外部記録装置Ｅ０４に記録された過去の監視情報に基づいて、モニタＥ０５上に過去の処理結果画像(例えば、入力画像に検出した侵入物体を重畳した画像など)を表示させることができる。
【０１３４】
次に、この第２の実施形態による処理について、ステップ１０４、１０６、１０８、１１６、１１７、１１８を中心とし、図１０により更に詳細に説明する。ここで、この図１０は、ワークメモリＥ０２ｇと外部記憶装置Ｅ０４間の監視情報の移動状況を示したものである。
【０１３５】
ステップ１０３で再現要求があると、その時点の１組の監視情報１２００ａがステップ１０４で外部記憶装置Ｅ０４に待避(格納)される。この図１０の例では、２００３年５月２６日、１０時１０分１０秒、フレーム番号２５の１組の監視情報が監視情報１２００ａとなる。
【０１３６】
その後、ステップ１０６で、外部記憶装置Ｅ０４に格納されている過去の監視情報の中からオペレータが所望する１組の監視情報１２００ｂが読み出され、ワークメモリＥ０２ｇに書き込まれる。このとき、もしオペレータが監視情報の修正を要求している場合、修正対象の監視情報のパラメータを書換える。
【０１３７】
そして、ワークメモリＥ０２ｇに書き込まれた情報１２００ｂに対して物体検出ステップ１０９、物体検出結果表示ステップ１１０、物体存在判定ステップ１１１、入力画像異常判定ステップ１１１２、警報／モニタ表示ステップ１１２、監視情報記録判定ステップ１１３、監視情報の記録ステップ１１４、監視情報復帰判定ステップ１１５、監視情報復帰ステップ１１６が実施される。
【０１３８】
このとき、監視情報復帰判定ステップ１１５では、ステップ１０４で外部記憶装置Ｅ０４に監視情報を待避しているので、処理は監視情報復帰ステップ１１６に進む。ステップ１１６では、ステップ１０４で外部記憶装置Ｅ０４に待避させていた１組の監視情報１２００ａを読み出し、再びワークメモリＥ０２ｇに格納する。
【０１３９】
その際、修正された監視情報の書換え要否判定ステップ１１７で、以降の侵入物体監視をステップ１０８で修正したパラメータで実施することをオペレータが要求しているか否か判定する。
【０１４０】
そして、もし要求しているなら、修正された監視情報への書換えステップ１１８で監視情報のパラメータをステップ１０８で修正した値に書換える。次いで、ワークメモリＥ０２ｇに格納した監視情報１２００ａにステップ１０２以下の処理を続行するため、処理を画像入力ステップ１０２へ戻す。
【０１４１】
このようにして、再現要求の処理のために中断していた通常の監視を再開することができ、この結果、オペレータは、任意の時点で、外部記憶装置Ｅ０４に記録した複数の監視情報の中から必要とする適当な監視情報を任意に検索し、監視情報のパラメータを調整しながら監視結果を得ることができ、容易に的確なパラメータの調整作業を行なうことができる。
【０１４２】
従って、この図２の実施形態によっても、オペレータの常駐を要することなく、適切なパラメータの設定のもとで、常時、監視システムの性能を保持することができ、信頼性の高い監視システムが容易に構築できる。
【０１４３】
次に、第２の実施形態におけるオペレータのパラメータ設定操作の例を図１２Ａと図１２Ｂで説明する。ここで、図１２ＡはモニタＥ０５に表示されるしきい値設定画面の一例を示したもので、次に図１２Ｂはマスク領域設定画面の一例を示したものである。
【０１４４】
まず、図１２Ａにおいて、このときの設定画面Ｓ０１には、処理装置Ｅ０２の入力画像とマスク画像及び処理結果を重畳した画像等を表示する表示画面Ｓ０２と、監視情報のパラメータを設定するタブメニューＳ０６、それにリストボックスＳ１１ａ、Ｓ１２ａ、表示実行ボタンＳ１２ｃ、設定終了ボタンＳ１３が表示される。
【０１４５】
タブメニューＳ０６には、例えば、しきい値、マスク領域、面積設定、大きさ設定などの設定項目を表示するタブが存在し、しきい値設定タブＳ０７を操作器Ｅ０３で指定するとしきい値設定項目(後述する)が表示され、マスク領域タブＳ０８を指定するとマスク領域設定項目(後述する)が表示される。
【０１４６】
また、リストボックスＳ１１ａは、外部記憶装置Ｅ０４に記録してある監視情報のパラメータを読み込むための検索条件を選択するプルダウンメニューで、検索実行ボタンＳ１１ｃは、リストボックスＳ１１ａで選択された検索条件で監視情報の検索を行うボタン、リストボックスＳ１２ａは、図９に示したレコードの種類(例えば、侵入検知、入力画像異常等)を選択するボックス、表示実行ボタンＳ１２ｃは、リストボックスＳ１２ａで選択されたレコードを表示するボタン、そして、設定終了ボタンＳ１３は、監視情報のパラメータの設定操作を終了するボタンである。
【０１４７】
ここで、いま、リストボックスＳ１１ａによって検索条件が選択されると、選択されている検索条件の名称がテキストフィールドＳ１１ｂに表示されると共に、検索条件の詳細を入力する入力ボックス(図示してない)が表示される。
【０１４８】
そこで、オペレータが検索条件を入力し、検索実行ボタンＳ１１ｃが操作器Ｅ０３で指定されると、外部記憶装置Ｅ０４に記録してある監視情報のパラメータ(検索条件に合致したもの)がワークメモリＥ０２ｇに読み込まれ、表示画面Ｓ０２及びタブメニューＳ０６によりパラメータの詳細が確認できるようになる。
【０１４９】
また、リストボックスＳ１２ａによってレコードの種類が選択されると、選択されているレコードの種類の名称がテキストフィールドＳ１２ｂに表示され、表示実行ボタンＳ１２ｃが操作器Ｅ０３で指定されると、外部記憶装置Ｅ０４に記憶されているレコードがモニタＥ０５上に表示される(図示してない)。
【０１５０】
一方、設定終了ボタンＳ１３が指定されると、監視情報のパラメータの設定操作が終了する。
【０１５１】
ここで、この図１２Ａは、操作器Ｅ０３により、タブメニューＳ０６の中のしきい値設定タブＳ０７が指定された場合の設定画面であり、この設定画面により、例えば高感度、低感度の２種類のしきい値が設定できるようになっている。
【０１５２】
このとき、高感度とは、一般に、より小さな画像変化を検出するために、しきい値が小さく設定されている状態のことをいう。例えば小さな画像変化でも検出したい場合には、高感度のしきい値を使い、反対の場合には、低感度のしきい値を用いる。
【０１５３】
そして、まず、高感度のしきい値設定に際しては、スライドバーＳ０７ａ、スライドＳ０７ｂ、スライドバー増減ボタンＳ０７ｃ、Ｓ０７ｄ、それに入力フィールドＳ０７ｅを用い、操作器Ｅ０３によりスライドＳ０７ｂが左右に動かされた場合には、動かした量に応じてしきい値を増減させ、この操作の結果、しきい値の値を入力フィールドＳ０７ｅに表示する。
【０１５４】
次に、しきい値増減ボタンＳ０７ｃが操作器Ｅ０３により指定された場合は、しきい値が例えば１ポイントづつ減少し、この操作の結果、スライドＳ０７ｂをしきい値に応じた位置に描画し、しきい値の値を入力フィールドＳ０７ｅに表示する。
【０１５５】
同様に、しきい値増減ボタンＳ０７ｄが操作器Ｅ０３により指定された場合、しきい値は例えば１ポイントづつ増加し、この操作の結果、スライドＳ０７ｂをしきい値に応じた位置に描画し、しきい値の値を入力フィールドＳ０７ｅに表示する。
【０１５６】
ここで、指定すべきしきい値の大きさが予め分かっている場合には、入力フィールドＳ０７ｅに直接数値を入力しても良い。この場合、スライドＳ０７ｂはしきい値に応じた位置に描画される。
【０１５７】
そして、低感度のしきい値に関しても上記操作と同様で、スライドＳ０７ｇ、スライドバー増減ボタンＳ０７ｈ及びＳ０７ｉ、入力フィールドＳ０７ｊを用いてしきい値の設定を行なうことができ、これにより、ワークメモリＥ０２ｇの監視情報のしきい値のパラメータを修正することができる。
【０１５８】
次に、図１２Ｂは、操作器Ｅ０３により、タブメニューＳ０６のマスク領域設定タブＳ０８が指定された場合の設定画面で、ここでは、図１２Ａと同じ符号を付与したものについては上記機能と同様であるため説明を省略する。
【０１５９】
そして、この図１２Ｂにおいて、マスク領域の設定操作は、入力画像を表示した表示画面Ｓ０２に対して、例えば操作器Ｅ０３により行なう。
【０１６０】
マスク領域は、表示画面Ｓ０２において、マスク領域Ｓ０８ａで示すように、多角形で表され、操作器Ｅ０３で多角形の頂点を指定することにより、当該頂点の座標がワークメモリＥ０２ｇに記憶されていく。このとき、マスク領域Ｓ０８ａは、図示のように、入力画像上に重ねて表示されるため、入力画像(監視領域)とマスク領域の位置関係を容易に把握することができる。
【０１６１】
そして、マスク領域の設定を終了する場合は、操作器Ｅ０３により終了ボタンＳ０８ｂを指定する。そうすると、これまでワークメモリＥ０２ｇに記憶された頂点の座標からマスク領域Ｓ０８ａとなる多角形が算出され、この多角形の領域がワークメモリＥ０２ｇにマスク領域として設定される。
【０１６２】
なお、上述した実施形態では、外部記録装置Ｅ０４に記録した過去の監視情報に基づいて過去の監視結果を再現する場合について説明したが、他の例として、過去の監視情報とワークメモリＥ０２に記憶されている現在の監視情報とに基づいて物体検出処理をし、パラメータの調整作業を行うこともできる。
【０１６３】
例えば、外部記憶装置Ｅ０４に記録されている過去の入力画像に対して現在ワークメモリに設定されているしきい値、マスク画像等で物体検出処理を行うようにすることも可能である。
【０１６４】
次に、本発明の第３の実施形態について、図１１Ａと図１１Ｂにより説明する。ここでこの第３の実施形態は、通常の侵入物体検出処理と、監視情報のパラメータの調整処理とを分離して独立に処理するようにした侵入物体監視方法であり、図１１Ａは通常の侵入物体検出処理フローを、図１１Ｂはパラメータ調整時の処理フローを示す。
【０１６５】
そして、通常の侵入物体監視時は、図１１Ａの手順に従って侵入物体の監視が行われ、このときの各ステップの処理内容は、図１の第１の実施形態及び図２の第２の実施形態で説明した処理と同様なので説明は省略し、以下、図１１Ｂのパラメータ調整時の処理について説明する。
【０１６６】
この図１１Ｂのパラメータ調整時の処理は、所望の時刻にオペレータが操作器Ｅ０３を操作し、パラメータの調整作業指令を出すことにより起動され、このため、監視情報の検索条件の入力が完了するのを判定処理ステップ１００で待っている。
【０１６７】
そして、監視情報の検索条件の入力が完了したら、監視情報の検索処理ステップ１０５に進み、オペレータの望む監視情報を外部記憶装置Ｅ００４から検索し、読み込み処理ステップ１０６を実行する。このとき、読み出された監視情報は、例えば図６Ｂに示すような情報(過去の入力画像とその検出パラメータその他の情報)を含む。
【０１６８】
画像検出処理ステップ１０９では、読み出された過去の入力画像に対して物体検出を行い、物体検出結果表示処理ステップ１１０でモニタＥ０５上に過去の入力画像及び検出結果が再現される。このとき、前述の通り、モニタＥ０５上には、検出した侵入物体が入力画像に重畳されて表示される。
【０１６９】
物体存在判定ステップ１１１では、ラベリング処理１０９ｄで番号付された二値化画像内の画素値“２５５”の画素のかたまりの中で、所定の物体検出条件によって検出すべき物体と判断できるかたまりが存在するか否かを調べる。このとき物体存在判定ステップ１１１で検出すべき物体か否かの判定処理に使用される基準或いは判定条件については、図１の実施形態で説明した通りである。
【０１７０】
物体存在判定ステップ１１１で検出すべき物体と判断できるかたまりが存在した場合、入力画像異常の判定処理ステップ１１１２に進み、存在しない場合は、監視情報修正判定ステップ１０７′に分岐し、入力画像異常の判定処理ステップ１１１２、警報／モニタ表示ステップ１１２はスキップする。
【０１７１】
入力画像異常の判定処理ステップ１１１２では、二値化画像内の画素値“２５５”の画素値の画素のかたまりの面積を用いて入力画像異常か否かが判断される。そして、入力画像が正常な場合、警報／モニタ表示ステップ１１２が起動される。
【０１７２】
ここで、オペレータが検出パラメータ(例えば、二値化しきい値、マスク画像等)の修正を望んだ場合は、警報／モニタ表示ステップ１１２の後で、監視情報修正判定ステップ１０７′と監視情報修正ステップ１０８′が実行され、オペレータが操作器Ｅ０３から入力した値に基づいてパラメータの修正が行われた後、再び画像検出処理ステップ１０９に戻る。
【０１７３】
そして、モニタＥ０５上に表示されている入力画像に対して修正されたパラメータに基づき再度物体検出を行い、物体検出結果をモニタＥ０５上に表示する(ステップ１０９とステップ１１０)。
【０１７４】
次いで、操作器Ｅ０３から修正したパラメータで満足出来る旨のオペレータからの指示入力があった場合、監視情報修正判定ステップ１０７′から監視情報記録ステップ１１４０に進み、ワークメモリＥ０２ｇと画像メモリＥ０２ｅに記録されている監視情報を書き換える。
【０１７５】
よって、その後、図１１Ａの通常の侵入物体監視処理が起動されると。初期化ステップ１０１で修正したパラメータが読み出され、それに基づき以降の侵入物体の検出が実施されることになる。
【０１７６】
従って、この第３の実施形態によれば、オペレータはモニタを見ながら繰り返しパラメータの調整作業を行うことができる。なお、初期値として記憶させる代わりに、新たな保存条件として「調整作業」という項目を設けて、外部記憶装置Ｅ０４に修正された監視情報を記録してもよい。
【０１７７】
ところで、上記の実施形態では、図６Ａに示した監視情報の「入力画像」とは１フレーム分の画像(静止画)である場合を例に挙げて説明したが、「入力画像」は時間的に連続した複数フレームからなる動画像として記録しても良い。従って、モニタＥ０５上に動画像を再現しながらパラメータの調整をすることもできる。
【０１７８】
次に、本発明の第４の実施形態について、図１３〜図１６により説明する。ここで、この第４の実施形態は、監視装置から遠隔地において、監視装置の監視情報パラメータの調整が行なえるようにしたものであり、このとき、遠隔地とは、ユーザ側にある監視装置の運用を任されているメンテナンス業者のオフィスなどのことである。
【０１７９】
まず、図１４は、第４の実施形態に係る監視装置Ｅ００のハードウエア構成の一例を示したもので、このとき、図において、Ｅ０１からＥ０６までの構成要素は、処理装置Ｅ０２を除き、図３に示した第１の実施形態におけるハードウエア構成の一例と同じある。
【０１８０】
そして、この図１４の実施形態では、第４の実施形態における処理装置Ｅ０２に代えて処理装置Ｅ０２′が設けてあるが、これは、上記の図３で説明した処理装置Ｅ０２に通信部Ｅ０２ｍを追加したもので、これにより、遠隔地にある遠隔操作器Ｅ１０と通信が行なえるようにしてある。
【０１８１】
ここで、通信部Ｅ０２ｍは、例えばＩＰ(Internet Protocol)等の通信プロトコルに従って、ＭＰＵＥ０２ｆにより制御され、例えばＬＡＮやインターネットなどの外部ネットワークＥ０９を介して遠隔操作器Ｅ１０と通信が行なえるようにしてある。
【０１８２】
このため、処理装置Ｅ０２′には、通信データの経路選択を行なうためのルータＥ０７と、外部ネットワークＥ０９と通信データのやり取りをするためのゲートウェイＥ０８がもうけてあり、これにより処理装置Ｅ０２′の通信部Ｅ０２ｍから遠隔操作器Ｅ１０に送信される通信データは、まずルータＥ０７により外部ネットワークＥ０９に繋がるゲートウェイＥ０８までの経路選択がなされ、次いで選択されたゲートウェイＥ０８を介して外部ネットワークＥ０９に送信される。
【０１８３】
こうして外部ネットワークＥ０９に送信された通信データは、ゲートウェイＥ１１によりルータＥ１２への経路が選択がなされ、選択されたルータＥ１２を介して遠隔操作器Ｅ１０に伝達されることになる。
【０１８４】
反対に、遠隔操作器Ｅ１０から処理装置Ｅ０２′に送信される通信データは、ルータＥ０７により、外部ネットワークＥ０９に繋がるゲートウェイＥ０８までの経路選択がなされ、ゲートウェイＥ０８を介して外部ネットワークＥ０９に送信され、外部ネットワークＥ０９に送信された通信データは、ゲートウェイＥ０８によりルータＥ０７への経路選択がなされ、ルータＥ０７を介して処理装置Ｅ０２′に伝達されることになる。
【０１８５】
次に、図１５は、この第４の実施形態における遠隔操作器Ｅ１０のハードウエア構成の一例で、ここでは、図１４における監視装置Ｅ００と同様の機能のものには同じ符号に添字「″」を付してあり、従って、この図１５において、遠隔操作器Ｅ１０は、処理装置Ｅ０２″、操作手段Ｅ０３″、外部記憶装置Ｅ０４″、監視モニタＥ０５″、それに警告灯Ｅ０６″を備えている。
【０１８６】
但し、ここで処理装置Ｅ０２″は、図１４に示した処理装置Ｅ０２′から画像入力部Ｅ０２ａ、雲台制御部Ｅ０２ｂ、レンズ制御部Ｅ０２ｃを除いたものとなる。これは、遠隔操作器Ｅ１０は監視装置Ｅ００に記録された監視情報のパラメータの調整を行なうための装置であり、従って、画像入力、雲台制御、レンズ制御等の監視領域を撮像するための手段を必要としないためである。なお、それ以外の機器に関しては、図１４で説明した処理装置Ｅ０２′と同じであるため説明は省略する。
【０１８７】
上記したように、処理装置Ｅ０２″は通信部Ｅ０２ｍを介して監視装置Ｅ００と通信を行なう。このときの通信経路も上記した通り、ルータＥ０７、Ｅ１２、ゲートウェイＥ０８、Ｅ１１、それに外部ネットワークＥ０９によって構成される。
【０１８８】
このとき、遠隔操作器Ｅ１０と監視装置Ｅ００の通信は、その構成によって、例えば図１６に示すように、外部ネットワークＥ０９を介して監視装置Ｅ００ａ、監視装置Ｅ００ｂ、監視装置Ｅ００ｃと通信したり、外部ネットワークＥ０９を介さず、ルータＥ０７だけを介して監視装置Ｅ００ｄと通信したりすることができる。すなわち、処理装置Ｅ０２は、通信経路を構成する機器によって少なくとも２基の監視装置Ｅ００と通信することができる。
【０１８９】
ここで、この図１６は、本発明の第５の実施形態で、これは、監視システムが複数基あり、これら複数基の監視システムに対して共通に１基の遠隔操作器を設けた場合の一実施形態であり、図１４の実施形態において、複数基の監視システムの本体である監視装置Ｅ００ａ〜Ｅ００ｄについて共通に１基の遠隔操作器Ｅ１０を設けたものに相当し、このため、監視装置側のルータＥ０７とゲートウェイＥ０８についても、それぞれルータＥ０７Ａ、Ｅ０７ＢとゲートウェイＥ０８Ａ、Ｅ０８Ｂの２系統を設けたものである。
【０１９０】
そこで、以下、図１６の監視システムにおける遠隔操作器Ｅ１０の処理装置Ｅ０２″による処理プロセスの一例について、図１３の処理フローにより説明する。なお、この図１３においても、図２と同様の処理ステップには同じ符号が付してある。
【０１９１】
ここで、まず、この図１３の処理フローは、図２に示した第２の実施形態の処理フローに監視装置設定ステップ７０１、監視装置選択ステップ７０２、監視装置切換ステップ７０３を追加した上で、画像入力ステップ１０２、再現要求判定ステップ１０３、監視情報退避ステップ１０４、監視情報復帰判定ステップ１１５、監視情報復帰ステップ１１６を削除したものに相当する。
【０１９２】
そして、この処理フローにおける監視情報検索ステップ１０５′、監視情報読み込みステップ１０６′、監視情報修正ステップ１０８′、監視情報記録判定ステップ１１３′、監視情報記録ステップ１１４′は、それぞれ図２の処理フローにおける監視情報検索ステップ１０５、監視情報読み込みステップ１０６、監視情報修正ステップ１０８、監視情報記録ステップ１１４について、各々の機能拡張し、遠隔操作器Ｅ１０が通信部Ｅ０２ｍを介して所定の監視装置Ｅ００と通信し、該監視装置内に記録された監視情報を検索、読み込み、修正、記録できるようにしたものである。
【０１９３】
従って、ここでは、新たに追加されたステップを中心に説明し、それ以外のステップに関しては、図２と同様であるため、説明は省略する。そして、まず、図１３において、監視装置設定ステップ７０１は、遠隔操作器Ｅ１０を起動した際に、最初に接続する監視装置Ｅ００を決定する。例えば、処理装置Ｅ０２に最も近い(通信データが通過する機器の数が最も少ない)監視装置Ｅ００ｄを選択したり、或いは遠隔操作器Ｅ１０が前回最後に通信した監視装置を選択したりする。
【０１９４】
次に、監視装置選択判定ステップ７０２では、遠隔操作器Ｅ１０のオペレータから監視情報のパラメータを調整すべき監視装置Ｅ００の切替を行う旨の入力があったか否かを判定する。このためオペレータは、例えば操作器Ｅ０３″を操作して監視装置Ｅ００の切換が遠隔操作器Ｅ１０の処理装置Ｅ０２″に指示できるようになっている。
【０１９５】
そして、監視装置Ｅ００の切換を行なう指示の場合は監視装置切換ステップ７０３に分岐し、監視装置Ｅ００の切換を行なわない場合には検索条件入力判定ステップ１０５０へ分岐する。
【０１９６】
監視装置切換ステップ７０３に分岐したときは、監視情報のパラメータを調整する監視装置Ｅ００の切換を行なう。このとき、監視装置Ｅ００(Ｅ００ａ〜Ｅ００ｄ)は、例えばＩＰアドレスによって管理されている。ここでＩＰアドレスとは、ＩＰ通信プロトコルにおいて、通信データの送受信を行なう機器に割り当てられたユニークな３２ビットのアドレスデータのことである。
【０１９７】
このときの監視装置Ｅ００の切換は、監視装置Ｅ００のＩＰアドレスの一覧を遠隔操作器Ｅ１０のモニタＥ０５に表示し、遠隔操作器Ｅ１０のオペレータがその中から一つを選択することによって行なわれ、従って、オペレータは、例えば操作器Ｅ０３″を操作するだけでパラメータを調整すべき監視装置Ｅ００が選択できる。
【０１９８】
こうして監視装置Ｅ００の切換がなされると、処理装置Ｅ０２″の通信部Ｅ０２ｍは、次回に監視装置Ｅ００の切換が行なわれるまで、選択した監視装置Ｅ００(Ｅ００ａ〜Ｅ００ｄの何れか、以下、同じ)と通信を行なうように設定される。
【０１９９】
なお、監視装置Ｅ００の選択については、ここに示したＩＰアドレスの一覧を表示する方法に限るものてばなく、その他にもドメイン名や、監視装置Ｅ００の名称などを一覧表示するようにしても良い。ここで、ドメイン名とは、ＤＮＳ(Domain Name Server：ドメイン名サーバー)によって管理され、通信の際にドメイン名からＩＰアドレスに自動的に変換されるもののことである。
【０２００】
また、通信系路上で、監視情報の盗聴や改ざんを防止する目的で、ゲートウェイＥ０８上にＶＰＮ(Virtual Path Network)機能や暗号化などを行なう機能を設けても良く、更に監視情報のパラメータの調整を要求している監視装置Ｅ００の一覧や、一定期間以上パラメータの調整をしていない監視装置Ｅ００の一覧等を表示させ、オペレータに監視装置Ｅ００の選択を行わせるようにしても良い。
【０２０１】
以上のように、遠隔操作器Ｅ１０では、監視情報のパラメータの調整を行なう監視装置Ｅ００を選択し、監視情報検索ステップ１０５′では、選択された監視装置Ｅ００の外部記録装置Ｅ０４(図１４)に記録されている監視情報の検索を行う。
【０２０２】
そして、監視情報読み込みステップ１０６′では、検索された所望の監視情報を通信部Ｅ０２ｍを介して選択した監視装置Ｅ００から受け取り、受け取った監視情報を処理装置Ｅ０２″のワークメモリＥ０２ｇに書き込む。
【０２０３】
監視情報修正ステップ１０８′では、遠隔操作器Ｅ１０のオペレータからの指示に基づきパラメータの修正を行う。次に、処理装置Ｅ０２′(図１４)により物体検出処理等が行われ(ステップ１０９〜１１１)、ステップ１１２により修正したパラメータによる検出処理の結果が遠隔操作器Ｅ１０のモニタＥ０５″に表示される。
【０２０４】
そして、遠隔操作器Ｅ１０のオペレータにより操作器Ｅ０３″から修正したパラメータで満足できる旨の指示入力があった場合(監視情報記録判定ステップ１１３′でＹＥＳと判定した場合)、監視情報記録ステップ１１４′では、遠隔操作器Ｅ１０は通信部Ｅ０２ｍを介して選択した監視装置Ｅ００に修正したパラメータを送信し、これにより、当該監視装置Ｅ００は、受信したパラメータを処理装置Ｅ０２′のワークメモリＥ０２ｇ(図１４)に記録させる。
【０２０５】
また、このとき(監視情報記録判定ステップ１１３′でＹＥＳと判定された場合)、監視情報記録ステップ１１４′では、監視情報のパラメータの調整を行った監視装置Ｅ００の例えばＩＤナンバー、調整日時、調整内容、サービスポイント等を遠隔操作器Ｅ１０の外部記憶装置Ｅ０４″にテーブルとして記録する。
【０２０６】
ここで、図１７は、ステップ１１４´の処理により外部記憶装置Ｅ０４″に記憶されたテーブル１６０１の内容の一例を示した図で、ここで、サービスポイントとは、メンテナンス(調整)内容に応じて予め定められている対価点のことで、この図１７の例では、例えばしきい値を調整した場合は１ポイント、基準背景画像の更新をした場合は２ポイントといったようにサービスポイントが定められている。
【０２０７】
そこで、メンテナンス業者は、テーブル１６０１の記録内容に基づき、例えば、月に１回、サービスポイントに応じた料金を各監視装置Ｅ００のユーザから徴集することができる。なお、このときの料金については、メンテナンスの回数等に応じて定めるようにしても良いし、月毎に定額とした料金体系としても良い。
【０２０８】
こうして遠隔操作器Ｅ１０を用いることにより、この実施形態によれば、遠隔地に設置された監視装置Ｅ００の監視情報を検索し、読み込み、修正し、記録を行ない、この結果として監視情報のパラメータの調整を行なうことができる。
【０２０９】
すなわち、この実施形態によれば、監視情報のパラメータ調整について責務を負っているオペレータは、監視装置Ｅ００が設置された場所に行かなくても、遠隔操作器Ｅ１０を介して監視装置Ｅ００の監視情報のパラメータの調整が行なえ、このとき、パラメータの調整作業の内容を記録することで、調整作業に応じた料金を各監視装置Ｅ００のユーザから徴集することができる。
【０２１０】
従って、これら第４と第５の実施形態によれば、監視装置Ｅ００を運用するメンテナンス業者は顧客である監視装置Ｅ００のユーザに対して監視情報のパラメータ調整サービスを提供することができ、これにより、監視装置Ｅ００の侵入物体検知性能を常に高いレベルに維持することができる。
【０２１１】
このときの監視装置Ｅ００の監視情報や、監視情報修正ステップ１０８′による修正後の監視情報のパラメータは、更に遠隔操作器Ｅ１０の外部記録装置Ｅ０４″に記録させてもよい。このとき、遠隔操作器Ｅ１０から各監視装置Ｅ００の外部記録装置Ｅ０４に記録されている図９のテーブル９０１を参照することも可能である。
【０２１２】
また、修正作業に際して、物体検出ステップ１０９などの処理を監視装置Ｅ００側の処理装置Ｅ０２′に行わせ、検出結果の画像のみを遠隔操作器Ｅ１０が受信するようにしてもよい。
【０２１３】
なお、遠隔操作器Ｅ１０から各監視装置Ｅ００へのパラメータ調整サービスとしては、上述した形態に限られず、例えば、監視装置Ｅ００ａから受け取った監視情報に基づき遠隔操作器Ｅ１０内で修正したパラメータを他の監視装置、すなわち、監視装置Ｅ００ｂ、監視装置Ｅ００ｃ、監視装置Ｅ００ｃの何れか、又はそれぞれに送信することも可能であり、更に、例えば時間帯、季節、天候等に応じたパラメータを所定の監視装置Ｅ００に対して定期的に送信するようにしてもよい。
【０２１４】
従って、これらの機能が付加された実施形態によれば、更に利便性が高められ、コストパフォーマンスに優れた監視システムを提供することができる。
【０２１５】
ここで、上記の実施形態では、物体検出法に差分法を適用した場合を例に挙げて説明したが、物体検出法としては、差分法以外のものでも監視情報を構成するパラメータの種類が違うものの、同様の監視情報の記録、検索、読込み、パラメータの修正が行えることは言うまでもない。
【０２１６】
また、上記の実施形態では、侵入者を検出した場合を例に挙げて説明したが、検出対象としては、種々なものが用いられてもよく、例えば、静止物体の検出、外観検査のための異物検出などであっても良い。
【図面の簡単な説明】
【０２１７】
【図１】本発明の第１の実施形態による処理の流れを説明するためのフローチャートである。
【図２Ａ】本発明の第２の実施形態による処理の流れを説明するためのフローチャートである。
【図２Ｂ】本発明の第２の実施形態による処理の流れを説明するためのフローチャートである。
【図３】本発明の実施形態が適用された監視システムの１例を示す構成図である。
【０２１８】
【図４Ａ】差分法による物体検出動作の説明図である。
【図４Ｂ】差分法による物体検出動作の説明図である。
【図４Ｃ】差分法による物体検出動作の説明図である。
【図５Ａ】差分法による物体検出動作の別の説明図である。
【図５Ｂ】差分法による物体検出動作の別の説明図である。
【図５Ｃ】差分法による物体検出動作の別の説明図である。
【図６Ａ】本発明の一実施形態における監視情報のパラメータと監視情報のレコードを示す説明図である。
【図６Ｂ】本発明の実施形態における監視情報のパラメータと監視情報のレコードの一例を示す説明図である。
【図７】本発明の実施形態における情報の移動状況を説明するための模式図である。
【図８Ａ】本発明の実施形態における入力画像異常の判定方法の一例を示す説明図である。
【図８Ｂ】本発明の実施形態における入力画像異常の判定方法の一例を示す説明図である。
【図８Ｃ】本発明の実施形態における入力画像異常の判定方法の一例を示す説明図である。
【図８Ｄ】本発明の実施形態における入力画像異常の判定方法の一例を示す説明図である。
【図９】本発明の実施形態における監視結果の情報の記録形態の一例を示す説明図である。
【図１０】本発明の実施形態における情報の移動状況の一例を示す説明図である。
【０２１９】
【図１１Ａ】本発明の第３の実施形態による処理の流れを説明するためのフローチャートである。
【図１１Ｂ】本発明の第３の実施形態による処理の流れを説明するためのフローチャートである。
【図１２Ａ】本発明の実施形態におけるオペレータのパラメータ設定操作用表示画面の一例を示す説明図である。
【図１２Ｂ】本発明の実施形態におけるオペレータのパラメータ設定操作用表示画面の一例を示す説明図である。
【図１３】本発明の第４の実施形態による処理の流れを説明するためのフローチャートである。
【図１４】本発明の第４の実施形態のハードウエア構成図である。
【図１５】本発明の第４の実施形態による遠隔操作器のハードウエア構成図である。
【図１６】本発明の第５の実施形態のハードウエア構成図である。
【図１７】本発明の実施形態における監視情報のパラメータの調整内容の記録形態の一例を示す説明図である。
【符号の説明】
【０２２０】
１０１：初期化処理ステップ、１０２：画像入力ステップ、１０３：再現要求判定ステップ、１０４：監視情報退避ステップ、１０５０：検索条件入力完了判定ステップ、１０５：監視情報検索ステップ、１０６：監視情報読み込みステップ、１０７：監視情報修正判定ステップ、１０８：監視情報修正ステップ、１０９：物体検出ステップ、１０９ａ：差分処理ステップ、１０９ｂ：二値化処理ステップ、１０９ｃ：マスク処理ステップ、１０９ｄ：ラベリング処理ステップ、１１０：物体検出結果表示ステップ、１１１：物体存在判定ステップ、１１１２：入力画像異常判定処理、１１２：警報・モニタ表示ステップ、１１３：監視情報記録判定ステップ、１１４：監視情報記録ステップ、１１４１：処理結果記録判定ステップ、１１４２：処理結果記録ステップ１１４２、１１５：監視情報復帰判定ステップ、１１６：監視情報復帰ステップ、１１７：監視情報反映要否判定ステップ、１１８：監視情報反映ステップ、Ｅ０１：撮像装置、Ｅ０１ａ：テレビジョンカメラ(ＴＶカメラ)、Ｅ０１ｂ：ズームレンズ、Ｅ０１ｃ：カメラ雲台(電動カメラ旋回台) 、Ｅ０２：処理装置、Ｅ０２ａ：画像入力部、Ｅ０２ｂ：雲台制御部、Ｅ０２ｃ：レンズ制御部、Ｅ０２ｄ：操作入力部、Ｅ０２ｅ：画像メモリ、Ｅ０２ｆ：ＭＰＵ(マイクロプロセッシングユニット)、Ｅ０２ｇ：ワークメモリ、Ｅ０２ｈ：外部入出力部、Ｅ０２ｉ：画像出力部、Ｅ０２ｊ：警報出力部、Ｅ０２ｋ：データバス、Ｅ０３：操作手段、Ｅ０４：外部記憶装置、Ｅ０５：画像モニタ、Ｅ０６：警告灯。
【技術分野】
【０００１】
本発明は、撮像装置を用いた画像による物体検出システムに係り、特に検出対象領域内に侵入した物体を画像信号の処理により自動的に検出するようにした物体検出方法及び物体監視装置並びに監視システムのメンテナンス方法及び物体検出装置のメンテナンス方法に関する。
【背景技術】
【０００２】
ＴＶカメラ(テレビジョンカメラ)などの撮像装置を用いた遠隔モニタ方式の監視システムは、従来から広く用いられているが、その多くは、監視員がモニタに表示される画像を見ながら監視を行なう、いわゆる有人監視方式の監視システムである。
【０００３】
しかし、この有人監視方式の監視システムでは、監視員が常時、モニタに表示される画像を見ていて、監視対象領域内に入り込んでくる人間や自動車などの侵入物体をリアルタイムで識別する必要があり、従って、監視員に大きな負担がかかる上、人の集中力には限りがあるので、見落しの発生が無視できず、信頼性の面で問題がある。
【０００４】
そこで、このような人による監視ではなく、ＴＶカメラで撮像された画像から信号処理により侵入物体を自動的に検出し、所定の報知や警報処置が得られるようにした、いわゆる自動検出方式の監視システムが、近年、強く要求されるようになってきている。
【０００５】
ところで、このようなシステムの実現には、所定の監視方式を用い、侵入物体と見做すべき監視対象物体を画像信号から検出する機能が必要となるがこのときの監視方式の一例に、差分法と呼ばれる方法があり、従来から広く用いられている(例えば、特許文献１参照。)。
【０００６】
ここで、この差分法とは、ＴＶカメラで撮像した画像の中で、検出すべき侵入物体が存在していない画像を基準背景画像として予め選定し記憶しておき、入力画像(ＴＶカメラから出力されてくる画像)を、この基準背景画像と対比させ、各画素毎に輝度値の差分を求め、その差分値を所定のしきい値(閾値と記す)のもとで判別処理して生成した二値化画像が所定の大きさを越えた領域が現れたとき、それを侵入物体と見做して検出する方法である。
【０００７】
ところで、差分法の場合、侵入物体の検出精度の向上には、パラメータとして考慮すべき条件がいくつかあり、その代表的なものに、上記した閾値と、後述するマスク領域がある。
【０００８】
まず、閾値について説明する。図４Ａは、設定した閾値が適切で、入力画像４０１と基準背景画像の差分を閾値処理した結果、入力画像４０１中に存在する人物が侵入物体４０１ａとして正しく検出できた場合の例である。
【０００９】
一方、図４Ｂは、閾値が適切な値より小さかった場合の例で、閾値が小さいため、入力画像と基準背景画像の間で差が小さい(適切な閾値よりも差が小さい)筈の草木の部分も侵入物体として検出され、入力画像４０２の中に３種の侵入物体４０２ａ、４０２ｂ、４０２ｃが存在していると見做してしまった場合の例である。
【００１０】
反対に、図４Ｃは、閾値が適切な値より大きかった場合の例で、閾値が大きいため、検出すべき物体が存在する領域で、入力画像４０３と基準背景画像との差が小さい部分が検出できず、本来は図４Ａに示すように、侵入物体４０１ａとして検出されるべき１人の人物が、分裂した複数の物体４０３ａ、４０３ｂとして検出されてしまった場合である。
【００１１】
以上のことから、差分法においては、閾値の設定が物体検出の性能を決定し、検出精度を決める大きな要因の一種であることが容易に理解でき、且つ、この閾値の正しい設定には高度の熟練を要することが容易に理解される。
【００１２】
次に、マスク領域について説明する。ここで、まず図５Ａは、図４Ａと同じく、物体５０１ａの検出が正常に得られた場合の入力画像５０１の例であるが、しかし、ここで図５Ｂは、本来は画像内で背景となっている筈の物体、例えば入力画像５０２内に存在する草木が何らかの理由で動いてしまった場合、例えば風で揺れてしまった場合の例である。
【００１３】
そして、この図５Ｂの場合、侵入物体は、物体(人物)５０２ａ以外には存在していないにも関わらず、草木の部分でも入力画像５０２と基準背景画像に差が生じてしまい、入力画像５０２中に３種の物体５０２ａ、５０２ｂ、５０２ｃが存在していると見做されてしまう。
【００１４】
そこで、このような場合、図５Ｃに示すように、入力画像５０３の中に、例えば木々や草木のように、風で動くような物体が存在している領域についてマスク領域５０３ｂを設定し、このマスク領域内を不感帯(物体の存在判定を行なわない領域)として処理するマスク処理が必要である(例えば、特許文献２参照。)。
【００１５】
なお、このマスク処理は、差分法に限らず、さまざまな物体検出方法に適用することができ、物体検出性能の向上に有効である。
【００１６】
しかして、このマスク処理の場合、マスク領域の設定が適切になされていないと、充分な性能が得られない。例えば図５Ｃの入力画像５０３の場合は、侵入物体５０３ａが現われるべき領域を除き、風などにより動かされ、侵入物体として誤検出されてしまう虞れがある草木などの物体だけが正しくマスクされるようにマスク領域が設定されなければならない。
【００１７】
従って、差分法においては、マスク領域の設定も物体検出の性能を決定し、検出精度を決める大きな要因の一種であることが容易に理解でき、且つ、このマスク領域の正しい設定にも、高度な熟練を要することが容易に理解される。
【００１８】
なお、以上は、差分法を挙げて説明したが、差分法に限らず、他の物体検出方法においても、物体検出の性能保持には、閾値、マスク領域などのパラメータが必要であり、その正しい設定が必要である。
【００１９】
そこで、従来技術による自動検出方式の監視システムでは、当該監視システムの運用開始時、オペレータによりこれらのパラメータを適切なものに設定するのは当然として、システム稼働中も、必要に応じて適宜、オペレータが調整を繰り返し行ない、常に適切なパラメータの設定のもとで、常時、監視システムの性能が仕様通り保持されるようにしている。
【特許文献１】特開平７−７９４２９号公報
【特許文献２】米国特許出願Serial No.１０／３８７、４３３
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかし、上記従来技術では、オペレータを監視システムのサイト(設置現場)に常駐させる必要があり、それが困難なときには監視システムの性能保持が困難で、侵入物体の検出精度と信頼性に問題があった。
【００２１】
すなわち、上記したパラメータについては、その設定が適切か否かの判断は、オペレータが物体の誤検出が実際に現われたとき、丁度、そこに居合わせないと難しい。
【００２２】
そこで、適切なパラメータの設定のもとで、監視システムの性能が常時、適切に保持されるようにするためには、誤検出の発生をまって、オペレータがパラメータの再設定を行う必要がある。
【００２３】
このため、従来は、オペレータが監視システムのサイトに常駐(常時待機)し、何時発生するか判らない監視システムによる侵入物体の検出を待たなければならず、従って、上記したように、監視システムの性能保持が困難で、侵入物体の検出精度と信頼性に問題が生じてしまうのである。
【００２４】
本発明の目的は、物体検出が容易な物体検出方法及び物体検出装置を提供することにある。
【００２５】
本発明の別の目的は、物体検出の検出条件を容易に修正することが可能な物体検出方法および物体検出装置を提供することにある。
【００２６】
本発明の更に別の目的は、遠隔地において監視情報のパラメータの調整を行うことができる監視システムのメンテナンス方法及び物体検出装置のメンテナンス方法を提供することにある。
【課題を解決するための手段】
【００２７】
上記の目的を達成するために、本発明の物体検出システムのメンテナンス方法は、画像処理によりパラメータに基づいて物体を検出する物体検出装置と、上記物体検出装置にネットワークを介して接続された操作装置からなる物体検出システムのメンテナンス方法であって、定期的な保存の場合と、物体検出による保存の場合と、入力画像が異常であった時の保存の場合の少なくとも１の場合に、少なくともその際のパラメータと画像を含む監視情報を記録するステップと、上記記録された監視情報に基づいて、物体の検出結果が表された画像とパラメータを表示するステップと、パラメータを変更するステップと、メンテナンス日時とメンテナンス内容を記録するステップと、を有する。
【００２８】
本発明の一側面による物体検出装置は、対象領域を撮像する撮像部と、上記撮像部からの画像信号を基準画像として蓄積する第１の記録装置と、上記画像信号の監視情報を定めるテーブルを記憶する第２の記録装置と、上記撮像部からの画像信号と上記第１の記録装置からの基準画像とから対象となる物体を検出する物体検出処理部と、上記物体検出処理部の処理結果を記憶するメモリテーブルおよび表示部からなり、上記撮像部からの画像信号は、上記第２の記録装置に記憶された監視情報を定める上記テーブルに基づいて保存され、上記メモリテーブルに保存された上記物体検出処理部の結果を上記表示部に表示するものである。
【００２９】
ここで、好ましくは、上記表示部に表示された上記物体検出処理部の処理結果の表示に基づいて上記第２の記録装置の記憶された上記テーブルの監視情報を変更する。
【００３０】
本発明の別の側面による監視システムの保守方法は、複数の監視装置と、上記監視装置に伝送路を介して結合された操作器からなる上記監視システムにおいて、上記複数の監視装置の各々は、対象領域を撮像する撮像部と、上記撮像部からの画像信号を基準画像として蓄積する第１の記録装置と、上記画像信号の監視情報を定めるテーブルを記憶する第２の記録装置と、上記撮像部からの画像信号と上記第1の記録装置からの基準画像とから対象となる物体を検出する物体検出処理部と、上記物体検出処理部の処理結果を記憶する第１のメモリテーブルおよび表示部からなり、上記複数の監視装置のいずれか１つを上記操作器により選択し、上記選択された監視装置のメモリテーブルの内容を上記操作器の表示部に表示し、上記表示内容に基づいて上記第２の記録装置に記録されている監視情報を変更する。
【００３１】
従って、上記目的は、対象領域の所定の物体を、当該対象領域の画像信号に設定したパラメータに基づいて検出する方式の物体検出方法において、上記物体が検出された場合と、入力画像が異常になった場合と、所定の期間が経過した場合の少なくとも１の事象が現われた場合に、上記パラメータを含む上記所定の物体を監視するための情報である監視情報を記録する処理ステップと、上記記録された監視情報に基づいて、上記物体の監視結果を再現して表示する処理ステップとを有することにより達成される。
【００３２】
このとき上記画像信号に設定したパラメータを上記再現表示に基づいて変更することによっても上記目的が達成され、更に上記画像信号に設定したパラメータを上記再現表示に基づいて変更することによっても上記目的が達成される。
【００３３】
更にまた、上記物体の監視結果を再現する処理ステップが、上記記録された監視情報の中から所定の監視情報を選択し、検索する監視情報検索ステップを有することによっても上記目的が達成され、このとき更に所定の間隔毎に上記物体が検出されているか否かの情報を記録する処理ステップを有することによっても上記目的が達成される。
【００３４】
同じく、上記目的は、撮像装置から逐次入力される画像信号により所定の物体を検出する方式の物体検出装置において、対象領域を逐次撮像する撮像装置と、該撮像装置が取得した映像信号を逐次画像信号に変換する画像入力インターフェイスと、物体を監視するための情報である監視情報を記録する監視情報記録手段と、前記画像入力インターフェイスによって変換された前記画像信号と前記監視情報記録手段に記録された監視情報の何れかを予め決めた手順で処理する処理手段を備え、前記処理手段は、監視情報を前記監視情報記録手段に記録し、前記監視情報記録手段に記録された複数の監視情報のうち目的の監視情報を検索し、監視情報を前記監視情報記録手段から読み込み、該監視情報に基づいて物体の監視結果を再現することによっても達成される。
【００３５】
同じく、上記目的は、複数の監視装置と、上記監視装置に伝送路を介して結合された操作器からなる監視システムにおいて、上記複数の監視装置の各々は、対象領域を撮像する撮像部と、上記撮像部からの画像信号を基準画像として蓄積する第1の記録装置と、上記画像信号の監視情報を定めるテーブルを記憶する第２の記録装置と、上記撮像部からの画像信号と上記第１の記録装置からの基準画像とから対象となる物体を検出する物体検出処理部と、上記物体検出処理部の処理結果を記憶する第１のメモリテーブルと、表示部とからなり、上記複数の監視装置のいずれか１つを上記操作器により選択し、上記選択された監視装置のメモリテーブルの内容を上記操作器の表示部に表示し、上記表示内容に基づいて上記第２の記録装置に記録されている監視情報を変更することによっても達成される。
【００３６】
また、このとき、上記物体の監視結果を再現する処理ステップが、上記記録された監視情報の中から所定の監視情報を選択し、検索する監視情報検索ステップを有することによっても上記目的が達成でき、更に所定の間隔毎に上記物体が検出されているか否かの情報を記録する処理ステップを有することによっても上記目的が達成される。
【００３７】
同じく上記目的は、対象領域の物体を撮像する撮像装置と、上記撮像装置から出力される画像信号と所定の監視情報とを記録する記録装置と、上記画像信号に対して上記監視情報に基づいて上記対象領域の上記物体を検出する検出処理部と、上記検出処理部の処理結果を表示する表示部とからなる物体検出装置において、上記検出処理部からの処理結果を上記表示部に表示するステップと、上記表示部に表示された処理結果に基づいて上記記録装置に記憶されている監視情報を変更するステップとを有することにより達成される。
【００３８】
このとき、上記操作器は、更に第２のメモリテーブルを備え、上記第２のメモリテーブルは、上記複数の監視装置のそれぞれについてメンテナンス日時とメンテナンス内容を記録するようにしても上記目的が達成され、更に上記第２のメモリテーブルは、更に上記メンテナンス内容に対応して費用に関する情報を記録しているようにしても上記目的が達成される。
【００３９】
同じく、上記目的は、対象領域の物体を撮像する撮像装置と、上記撮像装置から出力される画像信号と所定の監視情報とを記録する記録装置と、上記画像信号に対して上記監視情報に基づいて上記対象領域の上記物体を検出する検出処理部と、上記検出処理部の処理結果を表示する表示部とからなる物体検出装置において、上記検出処理部からの処理結果を上記表示部に表示するステップと、上記表示部に表示された処理結果に基づいて上記記録装置に記憶されている監視情報を変更するステップを有することにより達成される。
【００４０】
このとき、上記表示部に表示するステップは、上記記録された画像信号と所定の監視情報とから上記対象領域の上記物体を検出するステップを含むようにしても上記目的が達成され、上記表示部に表示するステップは、更に上記記録された画像信号と所定の監視情報を検索するステップ及び上記検索して得られる画像信号と所定の監視情報とから上記対象領域の上記物体を検出するステップを含むことによっても上記目的が達成される。
【発明の効果】
【００４１】
本発明によれば、任意の時点で、それ以前の監視結果が再現できるようにし、パラメータの調整不足による物体の誤検出の発生タイミングにとらわれることなく監視結果の再現が行えるので、適切なパラメータの調整が容易になり、信頼性の高い物体検出を得ることができる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明による物体検出方法及び物体検出装置について、図面を参照して、より詳細に説明する。なお、全ての図において、同等の部材には同じ参照符号が付してある。
【００４３】
図３は、本発明の実施形態が適用された監視装置Ｅ００のブロック構成の一例を示したもので、この図において、Ｅ０１は撮像装置で、これはＴＶカメラＥ０１ａとズームレンズＥ０１ｂ、それに図示しない電動カメラ旋回台を含むカメラ雲台Ｅ０１ｃで構成されている。
【００４４】
Ｅ０２は処理装置で、画像入力部Ｅ０２ａと雲台制御部Ｅ０２ｂ、レンズ制御部Ｅ０２ｃ、操作入力部Ｅ０２ｄ、画像メモリＥ０２ｅ、ＭＰＵ(マイクロプロセッシングユニット)Ｅ０２ｆ、ワークメモリＥ０２ｇ、外部入出力部Ｅ０２ｈ、画像出力部Ｅ０２ｉ、警報出力部Ｅ０２ｊ、それにデータバスＥ０２ｋで構成され、これに操作器Ｅ０３とハードディスクドライブ(hard disk drive)などからなる外部記憶装置Ｅ０４、画像モニタＥ０５、それに警告灯Ｅ０６が組合わされている。
【００４５】
ＴＶカメラＥ０１ａの出力は、画像入力部Ｅ０２ａを介してデータバスＥ０２ｋに接続され、ズームレンズＥ０１ｂの制御部は、レンズ制御部Ｅ０２ｃを介してデータバスＥ０２ｋに接続され、カメラ雲台Ｅ０１ｃの電動旋回台は、雲台制御部Ｅ０２ｂを介してデータバスＥ０２ｋに接続され、ジョイスティックなどからなる操作器Ｅ０３の出力は、操作入力部Ｅ０２ｄを介してデータバスＥ０２ｋに接続されている。
【００４６】
また、外部記憶装置Ｅ０４は、外部入出力部Ｅ０２ｈを介してデータバスＥ０２ｋに接続され、監視用の画像モニタＥ０５は、画像出力部Ｅ０２ｉを介してデータバスＥ０２ｋに接続され、警告灯Ｅ０６は、警報出力部Ｅ０２ｊを介してデータバスＥ０２ｋに接続されている。一方、ＭＰＵＥ０２ｆとワークメモリＥ０２ｇは、そのままデータバスＥ０２ｋに接続されている。
【００４７】
ここで、ＴＶカメラＥ０１ａは、監視対象を所定の視野内に捉え、監視対象を撮像して映像信号を出力する。このためズームレンズＥ０１ｂを備え、カメラ雲台Ｅ０１ｃに搭載されている。そして、撮像された映像信号は、画像入力部Ｅ０２ａからデータバスＥ０２ｋを介して画像メモリＥ０２ｅに蓄積される。
【００４８】
外部記憶装置Ｅ０４は、プログラムデータなどを記憶する働きをし、このプログラムなどのデータが必要に応じてワークメモリＥ０２ｇに読み込まれ、反対にワークメモリＥ０２ｇから外部記憶装置Ｅ０４に保存される。
【００４９】
ＭＰＵＥ０２ｆは、外部記憶装置Ｅ０４に保存され、動作開始時にワークメモリＥ０２ｇにロードされるプログラムに従って処理を実行し、ワークメモリＥ０２ｇ内で画像メモリＥ０２ｅに蓄積された画像の解析を行なう。
【００５０】
そして、この処理結果に応じて、ＭＰＵＥ０２ｆは、ズームレンズＥ０１ｂを制御し、カメラ雲台Ｅ０１ｃを制御して、ＴＶカメラＥ０１ａの撮像視野を変えると共に、必要に応じて監視モニタＥ０５に侵入物体検出結果の画像を表示し、警告灯Ｅ０６を点灯させる働きをする。なお、撮像装置Ｅ０１、処理装置Ｅ０２、外部記憶装置Ｅ０４などの機能が一体化された装置が用いられても良く、構成は図３に示された形態に限定されない。
【００５１】
次に、本発明による物体検出方法の実施形態について説明する。ここで、以下に説明する実施形態は、何れも図３で説明した監視装置Ｅ００のブロック構成により動作するもので、まず、本発明の第１の実施形態の動作について、図１により説明する。ここで、この図１は、本発明の第１の実施形態における処理プロセスをフローチャートで示したものである。
【００５２】
この図１の処理プロセスは、まず初期化処理ステップ１０１から開始され、ここでは、物体検出処理において使用する、画像メモリＥ０２ｅ内に確保された画像記録用の画像メモリ領域や、ワークメモリＥ０２ｇ内に確保された変数、監視情報のパラメータ(後述する)などの記憶領域の初期化を実行する。
【００５３】
次いで、画像入力ステップ１０２では、画像入力部Ｅ０２ａを介して、ＴＶカメラＥ０１ａで撮像された画像信号を入力し、例えば幅方向の画素数３２０で、高さ方向の画素数２４０、１画素当りのデータビット数８、すなわち、各画素が０から２５５までの２５６段階のいずれかの画素値の入力画像を取得する。
【００５４】
続く再現要求判定ステップ１０３では、オペレータによる再現要求の有無を判定する。このため、操作入力部Ｅ０２ｅを介して操作器Ｅ０３から入力される信号を調べ、例えば操作器Ｅ０３に設けられているボタンの押下があったか否かを判定する。なお、この図３では、操作器Ｅ０３の例としてジョイスティックが示されているが、キーボードや他の入力手段でもよい。
【００５５】
そして、再現要求有りのときは監視情報退避ステップ１０４に進み、再現要求無しのときは画像検出処理ステップ１０９内の差分処理ステップ１０９ａに分岐し、このときは、監視情報退避ステップ１０４と、これに続く監視情報読み込みステップ１０６はスキップ(skip)される。
【００５６】
なお、ここで「再現要求有り」とは、オペレータが所定時間後に、後述する図６Ｂの監視情報を再現するため、一時的にその監視情報をメモリに記憶することを言う。従って、「再現要求有り」(ＹＥＳ)のときは、監視情報の待避ステップ１０４に進み、後述する所定期間後の画像処理のために一時監視情報が記録される。一方、「監視要求なし」(ＮＯ)のときは、監視情報は、画像検出処理ステップ１０９に直接入力される。
【００５７】
監視情報退避ステップ１０４では、ステップ１０９とステップ１１１での処理プロセスで必要となる現在の監視情報を外部記憶装置Ｅ０４に記憶(記録)し、保存する。このときの監視情報は、図６Ａにテーブル６０１として示したような、例えば、保存時刻、保存条件、入力画像、基準背景画像、マスク画像、しきい値(閾値)、物体検出条件等のパラメータが記憶され、更に、必要に応じて他にも各種のパラメータが記憶される。ステップ１０４については、後でより詳細に説明する。
【００５８】
ここで、まず、保存時刻とは、当該監視情報を保存したときの時刻のことで、年、月、日、時、分、秒の各単位にわたって記録され、更に撮像された画像のフレーム番号も記録される。
【００５９】
次に、保存条件とは、当該監視情報を保存した条件のことで、これには、後述するように、例えば定期的な保存の場合、物体検出による保存の場合、異常な入力画像であった場合の保存など、それぞれの保存条件に合致した監視情報が記録される。
【００６０】
図６Ｂは、例えばテーブル形式で外部記憶装置Ｅ０４に記録される監視情報の一例を示したもので、この場合、保存時刻は、２００３年５月２３日、１３時００分０６秒にフレームＮｏ．１００の画像を記録したことを示す。
【００６１】
このときの保存条件は、定期保存の場合、例えば１時間当たり１フレームを記録していることを示す。そして、入力画像とは、画像入力ステップ１０２でＴＶカメラＥ０１ａから取得した入力画像(例えば３２０×２４０pix、８bit／pixの画像)を示す。
【００６２】
一方、基準背景画像とは、後述する差分処理ステップ１０９ａで使用される基準背景画像(例えば上記した３２０×２４０pix、８bit／pixの画像)であり、マスク画像とは、後述するマスク処理ステップ１０９ｃで使用するマスク画像(同じく、３２０×２４０pix、８bit／pixの画像)のことである。
【００６３】
また、しきい値(：２０)とは、二値化処理ステップ１０９ｂで使用される二値化用の閾値(後述する)のことで、ここでは、その値が２０であることを表しており、次に、物体検出条件とは、後述する物体存在判定ステップ１１１で使用される物体の最小面積、最大面積、大きさの範囲などのことであり、ここには更に監視情報に対する備考なども付加できるようになっている。
【００６４】
更に、物体検出条件とは、最小面積と最大面積、それに大きさの範囲などであり、ここで最小面積とは、例えば５０ピクセルからなる面積のことで、最大面積とは、例えば５０００ピクセルからなる面積のことであり、大きさの範囲とは、例えば図６Ｂに示されているように、物体の外接矩形が、例えば縦×横が５×１０から５０×１００ピクセルの範囲のことを言う。ここで、物体検出条件の単位はピクセルである。
【００６５】
このとき監視情報退避ステップ１０４で現在の監視情報を退避する理由は、続く監視情報読み込みステップ１０６で、現在の監視情報と別の監視情報を読み込むため、現在の監視情報を一時的に記憶しておくためである。
【００６６】
続く監視情報読み込みステップ１０６では、外部記憶装置Ｅ０４に記録されている過去の監視情報を読み込み、読み込んだ監視情報をワークメモリＥ０２ｇに書き込む。なお、上述した実施形態では、読み込んだ監視情報を外部記憶装置Ｅ０４に保存した場合について説明したが、監視情報は、ワークメモリＥ０２ｇと画像メモリＥ０２ｅに分けて記録しても良い。
【００６７】
例えば、詳細は後述するが、図７では、パラメータ「入力画像」、「背景画像」、「マスク画像」のデータがワークメモリＥ０２ｇ内に格納されているが、例えば「背景画像」と「マスク画像」のデータは画像メモリＥ０２ｅに格納するようにしても良い。
【００６８】
続くステップ１０９(破線で囲った部分)は、監視処理を行うべき物体を検出するための処理で、これは差分処理ステップ１０９ａと二値化処理ステップ１０９ｂ、マスク処理ステップ１０９ｃ、それにラベリング処理ステップ１０９ｄで構成されている。
【００６９】
差分処理ステップ１０９ａでは、画像メモリＥ０２ｅに記録された入力画像と基準背景画像を画素毎に比較し、それらの差分を計算して差分画像を得る。なお、再現要求判定ステップ１０３における判定結果が再現要求無しの場合は、差分処理ステップ１０９以下の処理は、画像入力ステップ１０２でＴＶカメラＥ０１ａから取得した入力画像に対して行われる。
【００７０】
次に、二値化処理ステップ１０９ｂでは、いま得られた差分画像の各画素毎に閾値処理を行い、ワークメモリＥ０２ｇに保持されている二値化閾値に応じて、画素値が閾値(６以上２５５未満の範囲内で実験的に決めた数値で、例えば２０)未満の場合は、画素値が“０”となり、閾値以上の場合は画素値が“２５５”となるようにして、二値化画像を得る。そうすると、このとき得られた二値化画像は、入力画像の変化領域を表わすことになる。
【００７１】
次に、マスク処理ステップ１０９ｃは、図５Ｃで説明したマスク処理を行なう。具体的に説明すると、このマスク処理ステップ１０９ｃでは、画像メモリＥ０２ｅ内に記録したマスク画像内で二値化画像として検出した変化領域の画素値を“２５５”から“０”に修正する(マスクする)のである。
【００７２】
このようにすることにより、二値化画像で検出される変化領域の内、例えば草木が存在する領域内で検出された、検出対象物以外で変化した変化領域について、それを削除することができる。
【００７３】
次のラベリング処理１０９ｄでは、二値化画像内の画素値が“２５５”の画素のかたまり(塊り)を検出して、各々のかたまりの領域に番号を付けて、互いに区別できるようにする。例えば、図４Ｂにおいて、領域４０２ａには番号１を、領域４０２ｂには番号２を、そして、領域４０２ｃには番号３を付すのである。
【００７４】
従って、この物体検出ステップ１０９では、再現要求判定ステップ１０３で監視結果の再現が要求されていない場合は、画像入力ステップ１０２によって入力された入力画像に対して物体検出処理が実行され、再現要求判定ステップ１０３で監視結果の再現が要求されている場合は、外部記憶装置Ｅ０４に記憶された過去の監視情報のパラメータに基づいて処理が実行される。
【００７５】
この結果、オペレータは、現在の入力画像についての物体検出処理による監視結果と、操作器Ｅ０３を操作することにより、外部記憶装置Ｅ０４に記録されている過去の監視情報に基づいて得られた監視結果とを適宜切り換えて判断することが可能である。
【００７６】
次に、物体検出結果表示ステップ１１０では、例えば入力画像に、物体検出処理ステップ１０９で検出した侵入物体を重畳させ、画像出力部Ｅ０２ｉを介して出力モニタＥ０５に供給し、表示する。
【００７７】
このとき、入力画像に重畳する侵入物体の表示形態は、ステップ１０９で得られた侵入物体の二値化画像そのもの、又はその外接矩形、或いは侵入物体が人間であれば、その頭上に三角マークを付す、更には、カラー表示する等々、様々な形態が可能である。
【００７８】
続く物体存在判定ステップ１１１では、前記ラベリング処理１０９ｄで番号付けされた二値化画像内の画素値“２５５”の画素のかたまりの中で、所定の物体検出条件によって検出すべき物体と判断できる画素のかたまりが存在するか否かを調べる。
【００７９】
そして、画素のかたまりが存在した場合、入力画像異常の判定処理ステップ１１１２に進み、存在しない場合は、監視情報記録判定ステップ１１３に分岐し、入力画像異常の判定処理ステップ１１１２、警報／モニタ表示ステップ１１２はスキップする。
【００８０】
このとき物体存在判定ステップ１１１において、検出すべき物体と判断できる上述の物体検出条件とは、二値化画像内の画素値“２５５”の画素のかたまりが監視情報のパラメータ「最小面積」、「最大面積」、「大きさ範囲」等と比較され、例えば、面積(画素数)が最小面積(例えば５０画素)以上、最大面積(例えば５０００画素)未満であるか、画素のかたまりに外接する矩形の大きさが所定の範囲内(例えば、幅が５画素で高さが１０画素以上、且つ、幅が５０画素で高さが１００画素未満)であった場合、検出すべき物体、すなわち侵入物体が存在すると判断するのである。
【００８１】
次に、ステップ１１１２において、二値化画像内の画素値“２５５”の画素のかたまりの面積が監視情報に記録されたパラメータに基づき、最大面積以上、大きさが大きさ範囲以上であった場合、入力画像異常(入力画像と基準背景画像が大きく異なっている)と判断される。
【００８２】
なお、入力画像の異常／正常の判定は、入力画像の検出対象領域の面積に対する二値化画像内の画素値“２５５”の画素のかたまりの面積の比に基づいて行っても良い。これを図８Ａから図８Ｄにより説明する。
【００８３】
まず、図８Ａは入力画像の一例で、入力画像８０１に家と木が映っていて、破線で囲った木の葉の部分８０２にマスク領域が設定されている。すなわち、マスク領域以外の領域が検出対象領域となり、このときの入力画像８０１の面積をＳ０とする。
【００８４】
次に、図８Ｂはマスク領域８０２と、それ以外のハッチング(hatched)を施した領域、すなわち検出対象領域８０３を示したもので、このときの検出対象領域８０３の面積をＳ１とし、マスク領域Ｓ０２の面積はＳ２とする。
【００８５】
更に、図８Ｃは入力画像８０１から検出された二値化画像の一例を示したもので、ハッチングを施した領域８０４が二値化画像内の画素値“２５５”の画素のかたまり、すなわち、検出物体を表わしたもので、このとき、領域８０４の面積をＳ４とする。
【００８６】
そして、図８Ｄは、入力画像の正常／異常の判定を説明するための図で、この図８Ｄにおいて、入力画像８０１を横３２０画素、縦２４０画素の画像とすると、その面積Ｓ０は以下の通りになる。すなわち、
Ｓ０＝３２０(pixels)×２４０(pixels)
となる。
【００８７】
そうすると、検出対象領域８０３の面積Ｓ１は、以下のようにして求まる。すなわち、
Ｓ１＝Ｓ０−Ｓ２
となる。
【００８８】
ここで、検出対象領域の面積の所定の割合、例えば１０パーセントの領域の面積をＡとする。そうすると、この面積Ａは次の通りになる。すなわち、
Ａ＝０．１×Ｓ１
となる。
【００８９】
そして、入力画像の異常／正常の判定は、検出物体の面積Ｓ４と面積Ａの比較結果に基づいて判定する。すなわち、
Ｓ４＞Ａ ⇒ 入力画像は異常
Ｓ４≦Ａ ⇒ 入力画像は正常
となる。従って、このような判定ステップ１１１２を設けることにより、入力画像の異常判定を行うことができる。
【００９０】
図１に戻り、次の警報／モニタ表示ステップ１１２では、例えば出力モニタＥ０５に検出した物体の画像を表示し、警告灯Ｅ０７を点灯させ、侵入物体が存在することを表す報知が行われる。このとき、入力画像異常を表す報知も併せて行ってもよい。
【００９１】
次に、監視情報記録判定ステップ１１３では、監視情報の記録を必要とするか否かが判定される。このとき、侵入物体が検出された場合と、入力画像が異常になった場合、それに、通常の監視において例えば１時間間隔など、所定の時刻になった場合のうちの少なくとも１つの事象が現れたとき、監視情報の記録を必要とすると判定する。
【００９２】
そして、監視情報の記録が必要であると判定された場合は、監視情報記録ステップ１１４に進み、監視情報の記録が必要でないと判定された場合は、監視情報復帰判定ステップ１１５に分岐して、監視情報記録ステップ１１４はスキップする。
【００９３】
なお、ステップ１０３で再現要求があったと判定された場合についての処理の進行中の場合にも、ステップ１０６で読み込んだ監視情報の外部記憶装置Ｅ０４への再記録は必要無い。そして、監視情報記録ステップ１１４では、ワークメモリＥ０２ｇと画像メモリＥ０２ｅに記録されている監視情報を、例えばメモリテーブルの形式で外部記憶装置Ｅ０４に記録する。
【００９４】
次に、監視情報復帰判定ステップ１１５では、監視情報退避ステップ１０４で外部記憶装置Ｅ０４に監視情報を退避した場合は、監視情報復帰ステップ１１６に進み、退避していない場合は、画像入力ステップ１０２に分岐し、監視情報復帰ステップ１１６はスキップする。
【００９５】
監視情報復帰ステップ１１６では、ステップ１０４において外部記憶装置Ｅ０４に退避した監視情報を読み込み、ワークメモリＥ０２ｇに書き込む。そして、この監視情報復帰ステップ１１６が終了したら画像入力ステップ１０２に戻り、同じ処理が繰り返されることになる。
【００９６】
次に、ステップ１０３で再現要求があった場合の第１の実施形態による処理について、監視情報の待避ステップ１０４、監視情報の読み込みステップ１０６、監視情報の復帰ステップ１１６を中心として更に図７により説明する。ここで、この図７は、例えばワークメモリ５０２ｇと外部記憶装置Ｅ０４との間の情報の流れを示したものである。
【００９７】
ステップ１０３で再現要求があると、この時点の１組の監視情報１１００ａ(図７の例では２００３年５月２６日、１０時０５分２３秒、フレーム番号１５)がステップ１０４で外部記憶装置Ｅ０４に待避(格納)される。
【００９８】
このとき、この１組の監視情報は、「入力画像」、「背景画像」、「マスク画像」、二値化閾値その他の１組のデータを含む。なお、この１組の情報は図７では簡略化されて示されているが、ここで、より詳しくは、例えば上記した図６Ｂに示す通りである。
【００９９】
次のステップ１０４で情報１１００ａを外部記憶装置Ｅ０４へ格納した後、ステップ１０６で外部記憶装置Ｅ０４に格納されている過去の１組の監視情報１１００ｂが外部記憶装置Ｅ０４から読み出され、ワークメモリＥ０２ｇに書き込まれる。そして、この書き込まれた情報１１００ｂに対して物体検出ステップ１０９、物体検出結果表示ステップ１１０、物体存在判定ステップ１１１、警報／モニタ表示ステップ１１２、監視情報復帰判定ステップ１１５、監視情報復帰ステップ１１６の各処理が施こされる。
【０１００】
このとき、ステップ１０４で外部記憶装置Ｅ０４に監視情報を待避しているので、監視情報復帰判定ステップ１１５では処理は監視情報復帰ステップ１１６に進む。そして、ここで、外部記憶装置Ｅ０４に待避してあった、例えば時刻２００３年５月２６日、１０時１０分１０秒、フレーム番号１００の１組の監視情報を読み出し、再びワークメモリＥ０２ｇに格納し、格納した監視情報にステップ１０２以下の処理を続行するため、処理を画像入力ステップ１０２へ戻す。
【０１０１】
このようにして、再現要求の処理のために中断していた通常の監視を再開することができ、この結果、外部記憶装置Ｅ０４に記録した監視情報に基づいて監視結果を再現することができ、所定の時刻に、それ以前の監視結果を再現させることができるようになる。
【０１０２】
従って、図１の実施形態によれば、物体の誤検出が実際に現れたときの監視結果が、以後の任意の時点で簡単に再現できることになり、この結果、オペレータは、監視情報のパラメータの設定が適切か否かを、所定の時点で操作器Ｅ０３を操作するだけで、再現された物体の誤検出結果(例えば、侵入者が居たにもかかわらず検出されなかった等)を用いて的確に判断することができる。
【０１０３】
よって、この図１の実施形態によれば、オペレータの常駐を要することなく、常時、監視システムが適切に作動しているか否かを確認することができる。
【０１０４】
次に、図２Ａと図２Ｂにより本発明の第２の実施形態について説明する。ここで、これら図２Ａ、Ｂは、本発明の第２の実施形態による処理プロセスを説明するフローチャートである。
【０１０５】
そして、まず、これら図２Ａ、Ｂに示した第２の実施形態は、図１に示した第１の実施形態において、その監視情報の待避ステップ１０４と監視情報読み込みステップ１０６の間に、検索条件入力完了判定ステップ１０５０と監視情報検索ステップ１０５を追加し、且つ監視情報読み込みステップ１０６と物体検出ステップ１０９内の差分処理ステップ１０９ａの間に監視情報修正判定ステップ１０７と監視情報修正ステップ１０８を追加したものである。
【０１０６】
次に、この第２の実施形態は、同じく監視情報の記録ステップ１１４と監視情報復帰判定ステップ１１５の間に、処理結果記録判定ステップ１１４１と処理結果記録ステップ１１４２を追加し、更に、監視情報の復帰ステップ１１６の後に監視情報反映要否判定ステップ１１７と監視情報の反映ステップ１１８を追加したものである。
【０１０７】
そして、これら以外のステップは、図１で説明した第１の実施形態と同じであるので、追加されたステップに重点をおいて説明し、他のステップについての説明は省略する。
【０１０８】
まず、検索条件入力完了判定ステップ１０５０ではオペレータが監視情報の検索条件の入力を完了したか否かを判定する。このとき、オペレータは、例えば操作器Ｅ０３の操作により、監視システムに対して保存時間や保存条件等の検索ができるようになっており、さらに、所定のボタンにより検索条件入力の完了を監視システムに指示できるようになっている。
【０１０９】
そして、まず、検索条件入力完了判定ステップ１０５０では、監視情報の検索条件の入力が完了していない場合は、再度検索条件入力完了判定ステップ１０５０に戻り(入力が完了するまでループしている)、検索条件の入力が完了したとき、監視情報検索ステップ１０５に進む。
【０１１０】
監視情報検索ステップ１０５では、外部記憶装置Ｅ０４に記録してある複数の監視情報から所定の保存時刻(例えば、現時点から１週間前までの時間範囲、フレーム番号等)、保存条件(例えば、物体検出時の保存等)の少なくとも１つの条件に合致する監視情報を検索する。このときの検索条件は、上述したように、オペレータが適宜選択した上で、操作器Ｅ０３を用いて入力する。
【０１１１】
ここで、入力された検索条件に対して複数の監視情報が合致し、検索された場合には、例えば最も新しく記録された監視情報を選択するようにしても良い。また、入力された検索条件に対して合致する監視情報がないときは、その条件に一番近い監視情報を選択するようにしても良い。
【０１１２】
なお、検索は上述した形式に限らず、例えば、モニタＥ０５に外部記憶装置Ｅ０４に記録されている複数の監視情報の一覧リストを表示させ、オペレータにその一覧リストから所望の監視情報を選択させるようにしても良い。
【０１１３】
次に、監視情報読み込みステップ１０６では、監視情報検索ステップ１０５で検索された監視情報を外部記憶装置Ｅ０４から読み込み、更に、読み込まれた監視情報の内容をワークメモリＥ０２ｇに書き込む。
【０１１４】
次に、監視情報修正判定ステップ１０７では、ワークメモリＥ０２ｇに保持されている監視情報の中のパラメータについて、オペレータが修正を要求しているか否かが判定される。
【０１１５】
このとき、オペレータは、例えば操作器Ｅ０３により、処理装置Ｅ０２に対して修正するか否か指示することができる。そして、修正要求があると判断された場合は監視情報修正ステップ１０８に進むが、修正要求がない場合は差分処理ステップ１０９ａに分岐し、監視情報修正判定ステップ１０７と監視情報修正ステップ１０８はスキップされる。
【０１１６】
この監視情報修正判定ステップ１０７における判断はオペレータが行い、判断結果は、例えば操作器Ｅ０３から入力される。そして、監視情報修正ステップ１０８では、オペレータにより操作器Ｅ０３から入力された値に基づき、図６Ａに示す監視情報のパラメータについて、例えば「二値化しきい値」の値を５ポイント増加させる等の修正を行う。そして、このステップ１０８で修正された監視情報のパラメータは、後述する監視情報反映ステップ１１８の処理のために、別途ワークメモリＥ０２ｇに記録される。
【０１１７】
この結果、検出処理ステップ１０９から監視情報復帰ステップ１１６までのステップによる物体検出処理では、修正された監視情報のパラメータに基づいて実行されることになる。
【０１１８】
そして、この監視情報復帰ステップ１１６では、第１の実施形態に関連して説明したように、ステップ１０４で外部記憶装置Ｅ０４に待避した監視情報を読み込みワークメモリＥ０２ｇに書き込む。
【０１１９】
次に、監視情報反映要否判定ステップ１１７では、監視情報修正ステップ１０８の修正結果を以降の通常の監視処理の監視情報に反映させることがオペレータにより要求されているか否かを判定する。
【０１２０】
このとき、例えば、モニタＥ０５上に反映の要否を選択する入力ボックスが表示され、オペレータは操作器Ｅ０３の操作により、処理装置Ｅ０２に対して反映の要否を指示することができるようになっている。
【０１２１】
ここで、もしも修正した監視情報のパラメータについて、反映要求がなされた場合は、監視情報反映ステップ１１８で監視情報のパラメータの反映を行う。すなわち、ワークメモリＥ０２ｇに別途記録されているステップ１０８の修正結果を、現在の監視情報のパラメータに反映させるのである。
【０１２２】
その後、処理は画像入力ステップ１０２に戻り、入力された画像に対し、修正されたパラメータで画像入力ステップ１０２以下の一連の処理が実施され、他方、反映要求がなされなかった場合は、以前のパラメータのままでステップ１０２以降の処理が実行され、この結果、オペレータによる適切な二値化しきい値等のパラメータの設定のもとでの的確な侵入物体の検出が可能となる。
【０１２３】
なお、監視情報修正ステップ１０８において監視情報のパラメータ(例えば、マスク領域や二値化しきい値など)の修正を行っていない場合には、ステップ１１７とステップ１１８の処理はスキップされる。
【０１２４】
ここで、処理結果記録判定ステップ１１４１及び処理結果記録ステップ１１４２について説明すると、この処理結果記録判定ステップ１１４１では、処理結果を記録するか否かが判定される。このときの処理結果とは、例えば、物体存在判定ステップ１１１で検出物体が存在すると判定されたか否かや、入力画像異常判定処理ステップ１１１２で入力画像が異常であると判定されたか否か等の情報のことをいう。
【０１２５】
例えば、５フレーム毎に処理結果を記録する設定の場合には、ステップ１１４１では、入力画像のフレーム番号に基づき、現在のフレームが処理結果を記録するフレームであるか否かが判断される。そして、処理結果を記録する設定の場合にはステップ１１４２に進み、記録しない場合にはステップ１１５に進む。
【０１２６】
このとき、ステップ１０３で再現要求があったと判定される場合についての処理の進行中は、ステップ１１４１とステップ１１４２はスキップされる。なお、ここでは５フレーム毎など定期的に処理結果を記録する設定に限られず、例えば、検出物体が存在すると判定された場合にのみ、処理結果を記録するという設定にしてもよい。
【０１２７】
次に、処理結果記録ステップ１１４２では、ワークメモリＥ０２ｇと画像メモリＥ０２ｅに記録されている監視情報と、上述した処理ステップの処理結果から、例えば、図９に示すレコード９０１を作成し、外部入出力部Ｅ０２ｈを介して外部記録装置Ｅ０４に記憶し、必要に応じてモニタＥ０５に表示できるようにする。
【０１２８】
このとき図９に示したレコード９０１は、５フレーム間隔で入力画像のフレーム番号とその入力画像中での侵入者の有無(ステップ１１１において判定)を記録したもので、ここで、フレーム番号５、１０、１５、２０、３５、４０においては、侵入者が検出されたことを示し、フレーム番号２５、３０では侵入者がいないことを示している。
【０１２９】
そこで、オペレータは、レコード９０１に記憶された情報を任意の時刻にモニタＥ０５上で参照することが可能になり、且つ、レコード９０１に基づいて、侵入者の検出条件が不備で、パラメータの調整を行う必要性があるかもしれない、という情報を認識することができる。
【０１３０】
例えば、オペレータは、図９に示したレコード９０１を参照することにより、侵入者が「有」から「無」へと変化しているフレーム番号２５、３０において、侵入者の検出条件が不備か否かを確認し、必要であればパラメータを調整する、という作業を行う。この場合、オペレータは、上述したステップ１０５０に際して、検索条件として「フレーム番号２５、３０」と入力すればよい。
【０１３１】
このように、オペレータはレコード９０１を参照することにより、何らかの監視情報のパラメータ、例えば２値化しきい値レベル等の調整が必要であるか否かが分かる。
【０１３２】
なお、このレコード９０１としては、侵入検知結果に限らず、入力画像異常についても同様に作成し、外部記憶装置Ｅ０４に記録しても良く、処理結果記録ステップ１１４２において、処理結果として、上述した物体検出結果表示ステップ１１０で表示される、例えば、検出した侵入物体が入力画像に重畳した画像を記録するようにしてもよい。
【０１３３】
ここで、物体検出結果表示ステップ１１０で表示される画像を記録するようにした場合には、上述したステップ１０９、１１０、１１１の処理を行うことなく、外部記録装置Ｅ０４に記録された過去の監視情報に基づいて、モニタＥ０５上に過去の処理結果画像(例えば、入力画像に検出した侵入物体を重畳した画像など)を表示させることができる。
【０１３４】
次に、この第２の実施形態による処理について、ステップ１０４、１０６、１０８、１１６、１１７、１１８を中心とし、図１０により更に詳細に説明する。ここで、この図１０は、ワークメモリＥ０２ｇと外部記憶装置Ｅ０４間の監視情報の移動状況を示したものである。
【０１３５】
ステップ１０３で再現要求があると、その時点の１組の監視情報１２００ａがステップ１０４で外部記憶装置Ｅ０４に待避(格納)される。この図１０の例では、２００３年５月２６日、１０時１０分１０秒、フレーム番号２５の１組の監視情報が監視情報１２００ａとなる。
【０１３６】
その後、ステップ１０６で、外部記憶装置Ｅ０４に格納されている過去の監視情報の中からオペレータが所望する１組の監視情報１２００ｂが読み出され、ワークメモリＥ０２ｇに書き込まれる。このとき、もしオペレータが監視情報の修正を要求している場合、修正対象の監視情報のパラメータを書換える。
【０１３７】
そして、ワークメモリＥ０２ｇに書き込まれた情報１２００ｂに対して物体検出ステップ１０９、物体検出結果表示ステップ１１０、物体存在判定ステップ１１１、入力画像異常判定ステップ１１１２、警報／モニタ表示ステップ１１２、監視情報記録判定ステップ１１３、監視情報の記録ステップ１１４、監視情報復帰判定ステップ１１５、監視情報復帰ステップ１１６が実施される。
【０１３８】
このとき、監視情報復帰判定ステップ１１５では、ステップ１０４で外部記憶装置Ｅ０４に監視情報を待避しているので、処理は監視情報復帰ステップ１１６に進む。ステップ１１６では、ステップ１０４で外部記憶装置Ｅ０４に待避させていた１組の監視情報１２００ａを読み出し、再びワークメモリＥ０２ｇに格納する。
【０１３９】
その際、修正された監視情報の書換え要否判定ステップ１１７で、以降の侵入物体監視をステップ１０８で修正したパラメータで実施することをオペレータが要求しているか否か判定する。
【０１４０】
そして、もし要求しているなら、修正された監視情報への書換えステップ１１８で監視情報のパラメータをステップ１０８で修正した値に書換える。次いで、ワークメモリＥ０２ｇに格納した監視情報１２００ａにステップ１０２以下の処理を続行するため、処理を画像入力ステップ１０２へ戻す。
【０１４１】
このようにして、再現要求の処理のために中断していた通常の監視を再開することができ、この結果、オペレータは、任意の時点で、外部記憶装置Ｅ０４に記録した複数の監視情報の中から必要とする適当な監視情報を任意に検索し、監視情報のパラメータを調整しながら監視結果を得ることができ、容易に的確なパラメータの調整作業を行なうことができる。
【０１４２】
従って、この図２の実施形態によっても、オペレータの常駐を要することなく、適切なパラメータの設定のもとで、常時、監視システムの性能を保持することができ、信頼性の高い監視システムが容易に構築できる。
【０１４３】
次に、第２の実施形態におけるオペレータのパラメータ設定操作の例を図１２Ａと図１２Ｂで説明する。ここで、図１２ＡはモニタＥ０５に表示されるしきい値設定画面の一例を示したもので、次に図１２Ｂはマスク領域設定画面の一例を示したものである。
【０１４４】
まず、図１２Ａにおいて、このときの設定画面Ｓ０１には、処理装置Ｅ０２の入力画像とマスク画像及び処理結果を重畳した画像等を表示する表示画面Ｓ０２と、監視情報のパラメータを設定するタブメニューＳ０６、それにリストボックスＳ１１ａ、Ｓ１２ａ、表示実行ボタンＳ１２ｃ、設定終了ボタンＳ１３が表示される。
【０１４５】
タブメニューＳ０６には、例えば、しきい値、マスク領域、面積設定、大きさ設定などの設定項目を表示するタブが存在し、しきい値設定タブＳ０７を操作器Ｅ０３で指定するとしきい値設定項目(後述する)が表示され、マスク領域タブＳ０８を指定するとマスク領域設定項目(後述する)が表示される。
【０１４６】
また、リストボックスＳ１１ａは、外部記憶装置Ｅ０４に記録してある監視情報のパラメータを読み込むための検索条件を選択するプルダウンメニューで、検索実行ボタンＳ１１ｃは、リストボックスＳ１１ａで選択された検索条件で監視情報の検索を行うボタン、リストボックスＳ１２ａは、図９に示したレコードの種類(例えば、侵入検知、入力画像異常等)を選択するボックス、表示実行ボタンＳ１２ｃは、リストボックスＳ１２ａで選択されたレコードを表示するボタン、そして、設定終了ボタンＳ１３は、監視情報のパラメータの設定操作を終了するボタンである。
【０１４７】
ここで、いま、リストボックスＳ１１ａによって検索条件が選択されると、選択されている検索条件の名称がテキストフィールドＳ１１ｂに表示されると共に、検索条件の詳細を入力する入力ボックス(図示してない)が表示される。
【０１４８】
そこで、オペレータが検索条件を入力し、検索実行ボタンＳ１１ｃが操作器Ｅ０３で指定されると、外部記憶装置Ｅ０４に記録してある監視情報のパラメータ(検索条件に合致したもの)がワークメモリＥ０２ｇに読み込まれ、表示画面Ｓ０２及びタブメニューＳ０６によりパラメータの詳細が確認できるようになる。
【０１４９】
また、リストボックスＳ１２ａによってレコードの種類が選択されると、選択されているレコードの種類の名称がテキストフィールドＳ１２ｂに表示され、表示実行ボタンＳ１２ｃが操作器Ｅ０３で指定されると、外部記憶装置Ｅ０４に記憶されているレコードがモニタＥ０５上に表示される(図示してない)。
【０１５０】
一方、設定終了ボタンＳ１３が指定されると、監視情報のパラメータの設定操作が終了する。
【０１５１】
ここで、この図１２Ａは、操作器Ｅ０３により、タブメニューＳ０６の中のしきい値設定タブＳ０７が指定された場合の設定画面であり、この設定画面により、例えば高感度、低感度の２種類のしきい値が設定できるようになっている。
【０１５２】
このとき、高感度とは、一般に、より小さな画像変化を検出するために、しきい値が小さく設定されている状態のことをいう。例えば小さな画像変化でも検出したい場合には、高感度のしきい値を使い、反対の場合には、低感度のしきい値を用いる。
【０１５３】
そして、まず、高感度のしきい値設定に際しては、スライドバーＳ０７ａ、スライドＳ０７ｂ、スライドバー増減ボタンＳ０７ｃ、Ｓ０７ｄ、それに入力フィールドＳ０７ｅを用い、操作器Ｅ０３によりスライドＳ０７ｂが左右に動かされた場合には、動かした量に応じてしきい値を増減させ、この操作の結果、しきい値の値を入力フィールドＳ０７ｅに表示する。
【０１５４】
次に、しきい値増減ボタンＳ０７ｃが操作器Ｅ０３により指定された場合は、しきい値が例えば１ポイントづつ減少し、この操作の結果、スライドＳ０７ｂをしきい値に応じた位置に描画し、しきい値の値を入力フィールドＳ０７ｅに表示する。
【０１５５】
同様に、しきい値増減ボタンＳ０７ｄが操作器Ｅ０３により指定された場合、しきい値は例えば１ポイントづつ増加し、この操作の結果、スライドＳ０７ｂをしきい値に応じた位置に描画し、しきい値の値を入力フィールドＳ０７ｅに表示する。
【０１５６】
ここで、指定すべきしきい値の大きさが予め分かっている場合には、入力フィールドＳ０７ｅに直接数値を入力しても良い。この場合、スライドＳ０７ｂはしきい値に応じた位置に描画される。
【０１５７】
そして、低感度のしきい値に関しても上記操作と同様で、スライドＳ０７ｇ、スライドバー増減ボタンＳ０７ｈ及びＳ０７ｉ、入力フィールドＳ０７ｊを用いてしきい値の設定を行なうことができ、これにより、ワークメモリＥ０２ｇの監視情報のしきい値のパラメータを修正することができる。
【０１５８】
次に、図１２Ｂは、操作器Ｅ０３により、タブメニューＳ０６のマスク領域設定タブＳ０８が指定された場合の設定画面で、ここでは、図１２Ａと同じ符号を付与したものについては上記機能と同様であるため説明を省略する。
【０１５９】
そして、この図１２Ｂにおいて、マスク領域の設定操作は、入力画像を表示した表示画面Ｓ０２に対して、例えば操作器Ｅ０３により行なう。
【０１６０】
マスク領域は、表示画面Ｓ０２において、マスク領域Ｓ０８ａで示すように、多角形で表され、操作器Ｅ０３で多角形の頂点を指定することにより、当該頂点の座標がワークメモリＥ０２ｇに記憶されていく。このとき、マスク領域Ｓ０８ａは、図示のように、入力画像上に重ねて表示されるため、入力画像(監視領域)とマスク領域の位置関係を容易に把握することができる。
【０１６１】
そして、マスク領域の設定を終了する場合は、操作器Ｅ０３により終了ボタンＳ０８ｂを指定する。そうすると、これまでワークメモリＥ０２ｇに記憶された頂点の座標からマスク領域Ｓ０８ａとなる多角形が算出され、この多角形の領域がワークメモリＥ０２ｇにマスク領域として設定される。
【０１６２】
なお、上述した実施形態では、外部記録装置Ｅ０４に記録した過去の監視情報に基づいて過去の監視結果を再現する場合について説明したが、他の例として、過去の監視情報とワークメモリＥ０２に記憶されている現在の監視情報とに基づいて物体検出処理をし、パラメータの調整作業を行うこともできる。
【０１６３】
例えば、外部記憶装置Ｅ０４に記録されている過去の入力画像に対して現在ワークメモリに設定されているしきい値、マスク画像等で物体検出処理を行うようにすることも可能である。
【０１６４】
次に、本発明の第３の実施形態について、図１１Ａと図１１Ｂにより説明する。ここでこの第３の実施形態は、通常の侵入物体検出処理と、監視情報のパラメータの調整処理とを分離して独立に処理するようにした侵入物体監視方法であり、図１１Ａは通常の侵入物体検出処理フローを、図１１Ｂはパラメータ調整時の処理フローを示す。
【０１６５】
そして、通常の侵入物体監視時は、図１１Ａの手順に従って侵入物体の監視が行われ、このときの各ステップの処理内容は、図１の第１の実施形態及び図２の第２の実施形態で説明した処理と同様なので説明は省略し、以下、図１１Ｂのパラメータ調整時の処理について説明する。
【０１６６】
この図１１Ｂのパラメータ調整時の処理は、所望の時刻にオペレータが操作器Ｅ０３を操作し、パラメータの調整作業指令を出すことにより起動され、このため、監視情報の検索条件の入力が完了するのを判定処理ステップ１００で待っている。
【０１６７】
そして、監視情報の検索条件の入力が完了したら、監視情報の検索処理ステップ１０５に進み、オペレータの望む監視情報を外部記憶装置Ｅ００４から検索し、読み込み処理ステップ１０６を実行する。このとき、読み出された監視情報は、例えば図６Ｂに示すような情報(過去の入力画像とその検出パラメータその他の情報)を含む。
【０１６８】
画像検出処理ステップ１０９では、読み出された過去の入力画像に対して物体検出を行い、物体検出結果表示処理ステップ１１０でモニタＥ０５上に過去の入力画像及び検出結果が再現される。このとき、前述の通り、モニタＥ０５上には、検出した侵入物体が入力画像に重畳されて表示される。
【０１６９】
物体存在判定ステップ１１１では、ラベリング処理１０９ｄで番号付された二値化画像内の画素値“２５５”の画素のかたまりの中で、所定の物体検出条件によって検出すべき物体と判断できるかたまりが存在するか否かを調べる。このとき物体存在判定ステップ１１１で検出すべき物体か否かの判定処理に使用される基準或いは判定条件については、図１の実施形態で説明した通りである。
【０１７０】
物体存在判定ステップ１１１で検出すべき物体と判断できるかたまりが存在した場合、入力画像異常の判定処理ステップ１１１２に進み、存在しない場合は、監視情報修正判定ステップ１０７′に分岐し、入力画像異常の判定処理ステップ１１１２、警報／モニタ表示ステップ１１２はスキップする。
【０１７１】
入力画像異常の判定処理ステップ１１１２では、二値化画像内の画素値“２５５”の画素値の画素のかたまりの面積を用いて入力画像異常か否かが判断される。そして、入力画像が正常な場合、警報／モニタ表示ステップ１１２が起動される。
【０１７２】
ここで、オペレータが検出パラメータ(例えば、二値化しきい値、マスク画像等)の修正を望んだ場合は、警報／モニタ表示ステップ１１２の後で、監視情報修正判定ステップ１０７′と監視情報修正ステップ１０８′が実行され、オペレータが操作器Ｅ０３から入力した値に基づいてパラメータの修正が行われた後、再び画像検出処理ステップ１０９に戻る。
【０１７３】
そして、モニタＥ０５上に表示されている入力画像に対して修正されたパラメータに基づき再度物体検出を行い、物体検出結果をモニタＥ０５上に表示する(ステップ１０９とステップ１１０)。
【０１７４】
次いで、操作器Ｅ０３から修正したパラメータで満足出来る旨のオペレータからの指示入力があった場合、監視情報修正判定ステップ１０７′から監視情報記録ステップ１１４０に進み、ワークメモリＥ０２ｇと画像メモリＥ０２ｅに記録されている監視情報を書き換える。
【０１７５】
よって、その後、図１１Ａの通常の侵入物体監視処理が起動されると。初期化ステップ１０１で修正したパラメータが読み出され、それに基づき以降の侵入物体の検出が実施されることになる。
【０１７６】
従って、この第３の実施形態によれば、オペレータはモニタを見ながら繰り返しパラメータの調整作業を行うことができる。なお、初期値として記憶させる代わりに、新たな保存条件として「調整作業」という項目を設けて、外部記憶装置Ｅ０４に修正された監視情報を記録してもよい。
【０１７７】
ところで、上記の実施形態では、図６Ａに示した監視情報の「入力画像」とは１フレーム分の画像(静止画)である場合を例に挙げて説明したが、「入力画像」は時間的に連続した複数フレームからなる動画像として記録しても良い。従って、モニタＥ０５上に動画像を再現しながらパラメータの調整をすることもできる。
【０１７８】
次に、本発明の第４の実施形態について、図１３〜図１６により説明する。ここで、この第４の実施形態は、監視装置から遠隔地において、監視装置の監視情報パラメータの調整が行なえるようにしたものであり、このとき、遠隔地とは、ユーザ側にある監視装置の運用を任されているメンテナンス業者のオフィスなどのことである。
【０１７９】
まず、図１４は、第４の実施形態に係る監視装置Ｅ００のハードウエア構成の一例を示したもので、このとき、図において、Ｅ０１からＥ０６までの構成要素は、処理装置Ｅ０２を除き、図３に示した第１の実施形態におけるハードウエア構成の一例と同じある。
【０１８０】
そして、この図１４の実施形態では、第４の実施形態における処理装置Ｅ０２に代えて処理装置Ｅ０２′が設けてあるが、これは、上記の図３で説明した処理装置Ｅ０２に通信部Ｅ０２ｍを追加したもので、これにより、遠隔地にある遠隔操作器Ｅ１０と通信が行なえるようにしてある。
【０１８１】
ここで、通信部Ｅ０２ｍは、例えばＩＰ(Internet Protocol)等の通信プロトコルに従って、ＭＰＵＥ０２ｆにより制御され、例えばＬＡＮやインターネットなどの外部ネットワークＥ０９を介して遠隔操作器Ｅ１０と通信が行なえるようにしてある。
【０１８２】
このため、処理装置Ｅ０２′には、通信データの経路選択を行なうためのルータＥ０７と、外部ネットワークＥ０９と通信データのやり取りをするためのゲートウェイＥ０８がもうけてあり、これにより処理装置Ｅ０２′の通信部Ｅ０２ｍから遠隔操作器Ｅ１０に送信される通信データは、まずルータＥ０７により外部ネットワークＥ０９に繋がるゲートウェイＥ０８までの経路選択がなされ、次いで選択されたゲートウェイＥ０８を介して外部ネットワークＥ０９に送信される。
【０１８３】
こうして外部ネットワークＥ０９に送信された通信データは、ゲートウェイＥ１１によりルータＥ１２への経路が選択がなされ、選択されたルータＥ１２を介して遠隔操作器Ｅ１０に伝達されることになる。
【０１８４】
反対に、遠隔操作器Ｅ１０から処理装置Ｅ０２′に送信される通信データは、ルータＥ０７により、外部ネットワークＥ０９に繋がるゲートウェイＥ０８までの経路選択がなされ、ゲートウェイＥ０８を介して外部ネットワークＥ０９に送信され、外部ネットワークＥ０９に送信された通信データは、ゲートウェイＥ０８によりルータＥ０７への経路選択がなされ、ルータＥ０７を介して処理装置Ｅ０２′に伝達されることになる。
【０１８５】
次に、図１５は、この第４の実施形態における遠隔操作器Ｅ１０のハードウエア構成の一例で、ここでは、図１４における監視装置Ｅ００と同様の機能のものには同じ符号に添字「″」を付してあり、従って、この図１５において、遠隔操作器Ｅ１０は、処理装置Ｅ０２″、操作手段Ｅ０３″、外部記憶装置Ｅ０４″、監視モニタＥ０５″、それに警告灯Ｅ０６″を備えている。
【０１８６】
但し、ここで処理装置Ｅ０２″は、図１４に示した処理装置Ｅ０２′から画像入力部Ｅ０２ａ、雲台制御部Ｅ０２ｂ、レンズ制御部Ｅ０２ｃを除いたものとなる。これは、遠隔操作器Ｅ１０は監視装置Ｅ００に記録された監視情報のパラメータの調整を行なうための装置であり、従って、画像入力、雲台制御、レンズ制御等の監視領域を撮像するための手段を必要としないためである。なお、それ以外の機器に関しては、図１４で説明した処理装置Ｅ０２′と同じであるため説明は省略する。
【０１８７】
上記したように、処理装置Ｅ０２″は通信部Ｅ０２ｍを介して監視装置Ｅ００と通信を行なう。このときの通信経路も上記した通り、ルータＥ０７、Ｅ１２、ゲートウェイＥ０８、Ｅ１１、それに外部ネットワークＥ０９によって構成される。
【０１８８】
このとき、遠隔操作器Ｅ１０と監視装置Ｅ００の通信は、その構成によって、例えば図１６に示すように、外部ネットワークＥ０９を介して監視装置Ｅ００ａ、監視装置Ｅ００ｂ、監視装置Ｅ００ｃと通信したり、外部ネットワークＥ０９を介さず、ルータＥ０７だけを介して監視装置Ｅ００ｄと通信したりすることができる。すなわち、処理装置Ｅ０２は、通信経路を構成する機器によって少なくとも２基の監視装置Ｅ００と通信することができる。
【０１８９】
ここで、この図１６は、本発明の第５の実施形態で、これは、監視システムが複数基あり、これら複数基の監視システムに対して共通に１基の遠隔操作器を設けた場合の一実施形態であり、図１４の実施形態において、複数基の監視システムの本体である監視装置Ｅ００ａ〜Ｅ００ｄについて共通に１基の遠隔操作器Ｅ１０を設けたものに相当し、このため、監視装置側のルータＥ０７とゲートウェイＥ０８についても、それぞれルータＥ０７Ａ、Ｅ０７ＢとゲートウェイＥ０８Ａ、Ｅ０８Ｂの２系統を設けたものである。
【０１９０】
そこで、以下、図１６の監視システムにおける遠隔操作器Ｅ１０の処理装置Ｅ０２″による処理プロセスの一例について、図１３の処理フローにより説明する。なお、この図１３においても、図２と同様の処理ステップには同じ符号が付してある。
【０１９１】
ここで、まず、この図１３の処理フローは、図２に示した第２の実施形態の処理フローに監視装置設定ステップ７０１、監視装置選択ステップ７０２、監視装置切換ステップ７０３を追加した上で、画像入力ステップ１０２、再現要求判定ステップ１０３、監視情報退避ステップ１０４、監視情報復帰判定ステップ１１５、監視情報復帰ステップ１１６を削除したものに相当する。
【０１９２】
そして、この処理フローにおける監視情報検索ステップ１０５′、監視情報読み込みステップ１０６′、監視情報修正ステップ１０８′、監視情報記録判定ステップ１１３′、監視情報記録ステップ１１４′は、それぞれ図２の処理フローにおける監視情報検索ステップ１０５、監視情報読み込みステップ１０６、監視情報修正ステップ１０８、監視情報記録ステップ１１４について、各々の機能拡張し、遠隔操作器Ｅ１０が通信部Ｅ０２ｍを介して所定の監視装置Ｅ００と通信し、該監視装置内に記録された監視情報を検索、読み込み、修正、記録できるようにしたものである。
【０１９３】
従って、ここでは、新たに追加されたステップを中心に説明し、それ以外のステップに関しては、図２と同様であるため、説明は省略する。そして、まず、図１３において、監視装置設定ステップ７０１は、遠隔操作器Ｅ１０を起動した際に、最初に接続する監視装置Ｅ００を決定する。例えば、処理装置Ｅ０２に最も近い(通信データが通過する機器の数が最も少ない)監視装置Ｅ００ｄを選択したり、或いは遠隔操作器Ｅ１０が前回最後に通信した監視装置を選択したりする。
【０１９４】
次に、監視装置選択判定ステップ７０２では、遠隔操作器Ｅ１０のオペレータから監視情報のパラメータを調整すべき監視装置Ｅ００の切替を行う旨の入力があったか否かを判定する。このためオペレータは、例えば操作器Ｅ０３″を操作して監視装置Ｅ００の切換が遠隔操作器Ｅ１０の処理装置Ｅ０２″に指示できるようになっている。
【０１９５】
そして、監視装置Ｅ００の切換を行なう指示の場合は監視装置切換ステップ７０３に分岐し、監視装置Ｅ００の切換を行なわない場合には検索条件入力判定ステップ１０５０へ分岐する。
【０１９６】
監視装置切換ステップ７０３に分岐したときは、監視情報のパラメータを調整する監視装置Ｅ００の切換を行なう。このとき、監視装置Ｅ００(Ｅ００ａ〜Ｅ００ｄ)は、例えばＩＰアドレスによって管理されている。ここでＩＰアドレスとは、ＩＰ通信プロトコルにおいて、通信データの送受信を行なう機器に割り当てられたユニークな３２ビットのアドレスデータのことである。
【０１９７】
このときの監視装置Ｅ００の切換は、監視装置Ｅ００のＩＰアドレスの一覧を遠隔操作器Ｅ１０のモニタＥ０５に表示し、遠隔操作器Ｅ１０のオペレータがその中から一つを選択することによって行なわれ、従って、オペレータは、例えば操作器Ｅ０３″を操作するだけでパラメータを調整すべき監視装置Ｅ００が選択できる。
【０１９８】
こうして監視装置Ｅ００の切換がなされると、処理装置Ｅ０２″の通信部Ｅ０２ｍは、次回に監視装置Ｅ００の切換が行なわれるまで、選択した監視装置Ｅ００(Ｅ００ａ〜Ｅ００ｄの何れか、以下、同じ)と通信を行なうように設定される。
【０１９９】
なお、監視装置Ｅ００の選択については、ここに示したＩＰアドレスの一覧を表示する方法に限るものてばなく、その他にもドメイン名や、監視装置Ｅ００の名称などを一覧表示するようにしても良い。ここで、ドメイン名とは、ＤＮＳ(Domain Name Server：ドメイン名サーバー)によって管理され、通信の際にドメイン名からＩＰアドレスに自動的に変換されるもののことである。
【０２００】
また、通信系路上で、監視情報の盗聴や改ざんを防止する目的で、ゲートウェイＥ０８上にＶＰＮ(Virtual Path Network)機能や暗号化などを行なう機能を設けても良く、更に監視情報のパラメータの調整を要求している監視装置Ｅ００の一覧や、一定期間以上パラメータの調整をしていない監視装置Ｅ００の一覧等を表示させ、オペレータに監視装置Ｅ００の選択を行わせるようにしても良い。
【０２０１】
以上のように、遠隔操作器Ｅ１０では、監視情報のパラメータの調整を行なう監視装置Ｅ００を選択し、監視情報検索ステップ１０５′では、選択された監視装置Ｅ００の外部記録装置Ｅ０４(図１４)に記録されている監視情報の検索を行う。
【０２０２】
そして、監視情報読み込みステップ１０６′では、検索された所望の監視情報を通信部Ｅ０２ｍを介して選択した監視装置Ｅ００から受け取り、受け取った監視情報を処理装置Ｅ０２″のワークメモリＥ０２ｇに書き込む。
【０２０３】
監視情報修正ステップ１０８′では、遠隔操作器Ｅ１０のオペレータからの指示に基づきパラメータの修正を行う。次に、処理装置Ｅ０２′(図１４)により物体検出処理等が行われ(ステップ１０９〜１１１)、ステップ１１２により修正したパラメータによる検出処理の結果が遠隔操作器Ｅ１０のモニタＥ０５″に表示される。
【０２０４】
そして、遠隔操作器Ｅ１０のオペレータにより操作器Ｅ０３″から修正したパラメータで満足できる旨の指示入力があった場合(監視情報記録判定ステップ１１３′でＹＥＳと判定した場合)、監視情報記録ステップ１１４′では、遠隔操作器Ｅ１０は通信部Ｅ０２ｍを介して選択した監視装置Ｅ００に修正したパラメータを送信し、これにより、当該監視装置Ｅ００は、受信したパラメータを処理装置Ｅ０２′のワークメモリＥ０２ｇ(図１４)に記録させる。
【０２０５】
また、このとき(監視情報記録判定ステップ１１３′でＹＥＳと判定された場合)、監視情報記録ステップ１１４′では、監視情報のパラメータの調整を行った監視装置Ｅ００の例えばＩＤナンバー、調整日時、調整内容、サービスポイント等を遠隔操作器Ｅ１０の外部記憶装置Ｅ０４″にテーブルとして記録する。
【０２０６】
ここで、図１７は、ステップ１１４´の処理により外部記憶装置Ｅ０４″に記憶されたテーブル１６０１の内容の一例を示した図で、ここで、サービスポイントとは、メンテナンス(調整)内容に応じて予め定められている対価点のことで、この図１７の例では、例えばしきい値を調整した場合は１ポイント、基準背景画像の更新をした場合は２ポイントといったようにサービスポイントが定められている。
【０２０７】
そこで、メンテナンス業者は、テーブル１６０１の記録内容に基づき、例えば、月に１回、サービスポイントに応じた料金を各監視装置Ｅ００のユーザから徴集することができる。なお、このときの料金については、メンテナンスの回数等に応じて定めるようにしても良いし、月毎に定額とした料金体系としても良い。
【０２０８】
こうして遠隔操作器Ｅ１０を用いることにより、この実施形態によれば、遠隔地に設置された監視装置Ｅ００の監視情報を検索し、読み込み、修正し、記録を行ない、この結果として監視情報のパラメータの調整を行なうことができる。
【０２０９】
すなわち、この実施形態によれば、監視情報のパラメータ調整について責務を負っているオペレータは、監視装置Ｅ００が設置された場所に行かなくても、遠隔操作器Ｅ１０を介して監視装置Ｅ００の監視情報のパラメータの調整が行なえ、このとき、パラメータの調整作業の内容を記録することで、調整作業に応じた料金を各監視装置Ｅ００のユーザから徴集することができる。
【０２１０】
従って、これら第４と第５の実施形態によれば、監視装置Ｅ００を運用するメンテナンス業者は顧客である監視装置Ｅ００のユーザに対して監視情報のパラメータ調整サービスを提供することができ、これにより、監視装置Ｅ００の侵入物体検知性能を常に高いレベルに維持することができる。
【０２１１】
このときの監視装置Ｅ００の監視情報や、監視情報修正ステップ１０８′による修正後の監視情報のパラメータは、更に遠隔操作器Ｅ１０の外部記録装置Ｅ０４″に記録させてもよい。このとき、遠隔操作器Ｅ１０から各監視装置Ｅ００の外部記録装置Ｅ０４に記録されている図９のテーブル９０１を参照することも可能である。
【０２１２】
また、修正作業に際して、物体検出ステップ１０９などの処理を監視装置Ｅ００側の処理装置Ｅ０２′に行わせ、検出結果の画像のみを遠隔操作器Ｅ１０が受信するようにしてもよい。
【０２１３】
なお、遠隔操作器Ｅ１０から各監視装置Ｅ００へのパラメータ調整サービスとしては、上述した形態に限られず、例えば、監視装置Ｅ００ａから受け取った監視情報に基づき遠隔操作器Ｅ１０内で修正したパラメータを他の監視装置、すなわち、監視装置Ｅ００ｂ、監視装置Ｅ００ｃ、監視装置Ｅ００ｃの何れか、又はそれぞれに送信することも可能であり、更に、例えば時間帯、季節、天候等に応じたパラメータを所定の監視装置Ｅ００に対して定期的に送信するようにしてもよい。
【０２１４】
従って、これらの機能が付加された実施形態によれば、更に利便性が高められ、コストパフォーマンスに優れた監視システムを提供することができる。
【０２１５】
ここで、上記の実施形態では、物体検出法に差分法を適用した場合を例に挙げて説明したが、物体検出法としては、差分法以外のものでも監視情報を構成するパラメータの種類が違うものの、同様の監視情報の記録、検索、読込み、パラメータの修正が行えることは言うまでもない。
【０２１６】
また、上記の実施形態では、侵入者を検出した場合を例に挙げて説明したが、検出対象としては、種々なものが用いられてもよく、例えば、静止物体の検出、外観検査のための異物検出などであっても良い。
【図面の簡単な説明】
【０２１７】
【図１】本発明の第１の実施形態による処理の流れを説明するためのフローチャートである。
【図２Ａ】本発明の第２の実施形態による処理の流れを説明するためのフローチャートである。
【図２Ｂ】本発明の第２の実施形態による処理の流れを説明するためのフローチャートである。
【図３】本発明の実施形態が適用された監視システムの１例を示す構成図である。
【０２１８】
【図４Ａ】差分法による物体検出動作の説明図である。
【図４Ｂ】差分法による物体検出動作の説明図である。
【図４Ｃ】差分法による物体検出動作の説明図である。
【図５Ａ】差分法による物体検出動作の別の説明図である。
【図５Ｂ】差分法による物体検出動作の別の説明図である。
【図５Ｃ】差分法による物体検出動作の別の説明図である。
【図６Ａ】本発明の一実施形態における監視情報のパラメータと監視情報のレコードを示す説明図である。
【図６Ｂ】本発明の実施形態における監視情報のパラメータと監視情報のレコードの一例を示す説明図である。
【図７】本発明の実施形態における情報の移動状況を説明するための模式図である。
【図８Ａ】本発明の実施形態における入力画像異常の判定方法の一例を示す説明図である。
【図８Ｂ】本発明の実施形態における入力画像異常の判定方法の一例を示す説明図である。
【図８Ｃ】本発明の実施形態における入力画像異常の判定方法の一例を示す説明図である。
【図８Ｄ】本発明の実施形態における入力画像異常の判定方法の一例を示す説明図である。
【図９】本発明の実施形態における監視結果の情報の記録形態の一例を示す説明図である。
【図１０】本発明の実施形態における情報の移動状況の一例を示す説明図である。
【０２１９】
【図１１Ａ】本発明の第３の実施形態による処理の流れを説明するためのフローチャートである。
【図１１Ｂ】本発明の第３の実施形態による処理の流れを説明するためのフローチャートである。
【図１２Ａ】本発明の実施形態におけるオペレータのパラメータ設定操作用表示画面の一例を示す説明図である。
【図１２Ｂ】本発明の実施形態におけるオペレータのパラメータ設定操作用表示画面の一例を示す説明図である。
【図１３】本発明の第４の実施形態による処理の流れを説明するためのフローチャートである。
【図１４】本発明の第４の実施形態のハードウエア構成図である。
【図１５】本発明の第４の実施形態による遠隔操作器のハードウエア構成図である。
【図１６】本発明の第５の実施形態のハードウエア構成図である。
【図１７】本発明の実施形態における監視情報のパラメータの調整内容の記録形態の一例を示す説明図である。
【符号の説明】
【０２２０】
１０１：初期化処理ステップ、１０２：画像入力ステップ、１０３：再現要求判定ステップ、１０４：監視情報退避ステップ、１０５０：検索条件入力完了判定ステップ、１０５：監視情報検索ステップ、１０６：監視情報読み込みステップ、１０７：監視情報修正判定ステップ、１０８：監視情報修正ステップ、１０９：物体検出ステップ、１０９ａ：差分処理ステップ、１０９ｂ：二値化処理ステップ、１０９ｃ：マスク処理ステップ、１０９ｄ：ラベリング処理ステップ、１１０：物体検出結果表示ステップ、１１１：物体存在判定ステップ、１１１２：入力画像異常判定処理、１１２：警報・モニタ表示ステップ、１１３：監視情報記録判定ステップ、１１４：監視情報記録ステップ、１１４１：処理結果記録判定ステップ、１１４２：処理結果記録ステップ１１４２、１１５：監視情報復帰判定ステップ、１１６：監視情報復帰ステップ、１１７：監視情報反映要否判定ステップ、１１８：監視情報反映ステップ、Ｅ０１：撮像装置、Ｅ０１ａ：テレビジョンカメラ(ＴＶカメラ)、Ｅ０１ｂ：ズームレンズ、Ｅ０１ｃ：カメラ雲台(電動カメラ旋回台) 、Ｅ０２：処理装置、Ｅ０２ａ：画像入力部、Ｅ０２ｂ：雲台制御部、Ｅ０２ｃ：レンズ制御部、Ｅ０２ｄ：操作入力部、Ｅ０２ｅ：画像メモリ、Ｅ０２ｆ：ＭＰＵ(マイクロプロセッシングユニット)、Ｅ０２ｇ：ワークメモリ、Ｅ０２ｈ：外部入出力部、Ｅ０２ｉ：画像出力部、Ｅ０２ｊ：警報出力部、Ｅ０２ｋ：データバス、Ｅ０３：操作手段、Ｅ０４：外部記憶装置、Ｅ０５：画像モニタ、Ｅ０６：警告灯。
【特許請求の範囲】
【請求項１】
画像処理によりパラメータに基づいて物体を検出する物体検出装置と、上記物体検出装置にネットワークを介して接続された操作装置からなる物体検出システムのメンテナンス方法であって、
定期的な保存の場合と、物体検出による保存の場合と、入力画像が異常であった時の保存の場合の少なくとも１の場合に、少なくともその際のパラメータと画像を含む監視情報を記録するステップと、
上記記録された監視情報に基づいて、物体の検出結果が表された画像とパラメータを表示するステップと、
パラメータを変更するステップと、
メンテナンス日時とメンテナンス内容を記録するステップと、を有する、
ことを特徴とする物体検出システムのメンテナンス方法。
【請求項１】
画像処理によりパラメータに基づいて物体を検出する物体検出装置と、上記物体検出装置にネットワークを介して接続された操作装置からなる物体検出システムのメンテナンス方法であって、
定期的な保存の場合と、物体検出による保存の場合と、入力画像が異常であった時の保存の場合の少なくとも１の場合に、少なくともその際のパラメータと画像を含む監視情報を記録するステップと、
上記記録された監視情報に基づいて、物体の検出結果が表された画像とパラメータを表示するステップと、
パラメータを変更するステップと、
メンテナンス日時とメンテナンス内容を記録するステップと、を有する、
ことを特徴とする物体検出システムのメンテナンス方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−３１１５４５（Ｐ２００６−３１１５４５Ａ）
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願番号】特願２００６−１１８０７３（Ｐ２００６−１１８０７３）
【出願日】平成１８年４月２１日（２００６．４．２１）
【分割の表示】特願２００３−２９２４４２（Ｐ２００３−２９２４４２）の分割
【原出願日】平成１５年８月１２日（２００３．８．１２）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願日】平成１８年４月２１日（２００６．４．２１）
【分割の表示】特願２００３−２９２４４２（Ｐ２００３−２９２４４２）の分割
【原出願日】平成１５年８月１２日（２００３．８．１２）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]