監視装置、及びプログラム
【課題】
監視システムにおいて、物体の消失を検知した際に監視者の監視負担を軽減する。
【解決手段】イベント検知部２２は、メモリー３０内の時系列的に異なる複数の画像フレームを読み込んで比較し、画像フレーム内の領域にイベントが発生したことを検知する。消失画像処理部２３１は、メモリー３０内の過去の画像フレームを読み込み、過去の画像フレーム内の画像を抽出する。そして、ＭＰＥＧ処理部２３２が、消失画像処理部２３１で抽出した画像を、入力画像フレームに重畳させて映像データを生成し出力する。
監視システムにおいて、物体の消失を検知した際に監視者の監視負担を軽減する。
【解決手段】イベント検知部２２は、メモリー３０内の時系列的に異なる複数の画像フレームを読み込んで比較し、画像フレーム内の領域にイベントが発生したことを検知する。消失画像処理部２３１は、メモリー３０内の過去の画像フレームを読み込み、過去の画像フレーム内の画像を抽出する。そして、ＭＰＥＧ処理部２３２が、消失画像処理部２３１で抽出した画像を、入力画像フレームに重畳させて映像データを生成し出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の監視領域を監視するための監視装置、監視方法、及びこの監視方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
所定の場所を監視する目的で、例えば監視カメラを用いた監視システムが普及しており、高機能化が進んでいる。
高機能な監視システムの中には、監視カメラで撮影した監視領域の映像（以下、「監視映像」という）の中に存在していた何らかの物体が、移動や持ち去り等によって存在していた場所から消失したことを検知するものがある。
ここでいう物体とは、監視領域に存在する物や人物の総称である。
このような物体の消失を検知する技術を、持ち去り検知と呼ぶ場合がある。
例えば特許文献１〜３は、持ち去り検知について開示している。
物体の消失を検知する方法は工夫が進んでいるが、基本的には、予め用意した監視領域の基準画像と監視カメラで逐次入力される画像とを比較することで行うか、もしくは、監視カメラで逐次入力される画像を時系列的に相互に比較することで行う。
いずれの方法でも、比較の結果、所定の変化が生じた画像領域に物体の消失が発生したと判断することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０５−００７３６３号公報
【特許文献２】特公表２００４−５１９７８６号公報
【特許文献３】特開２０１０−２５８７０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような物体の消失を検知した場合、過去に存在していた場所から物体が消失したのであるから、監視カメラの現在の入力画像には消失した物体が含まれていない。
このため、物体の消失検知の後、監視者が監視カメラの撮像映像を確認しても、そこには消失した物体は写っておらず、監視者は何が消失したのか確認することができない。
仮に、物体の消失検知の際に、物体の消失が検知された画像領域を指し示すインジケーターを表示したとしても、物体の消失事実は確認できるが、過去にその画像領域に何が存在していて消失したのか確認することができない。
このような場合、監視者は、監視カメラの過去の撮像映像を見直して何が消失したのか確認しなければならず、面倒である。加えて、監視カメラの撮像映像を長期に渡って記録しておく必要があり、記録資源の逼迫を招く。
【０００５】
本発明は、上記のような監視システムにおいて、物体の消失を検知した際に監視者の監視負担を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る監視装置は、所定の監視領域の映像を入力する入力手段と、前記監視領域に対応する基準画像を保持する基準画像保持手段と、前記基準画像と入力映像とを比較して、前記入力映像内の領域に生じたイベントを検知する検知手段と、前記イベントの検知に応じて、前記イベントが検知された前記領域の画像で現在の入力映像を補完した映像を生成する生成手段と、生成した前記映像を出力する出力手段とを備える。
【０００７】
また、本発明に係るプログラムは、所定の監視領域を監視する処理をコンピュータに実行させるためのプログラムであって、前記処理は、所定の監視領域の映像を入力する工程と、前記監視領域に対応する基準画像を保持する工程と、前記基準画像と入力映像とを比較して、前記入力映像内の領域に生じたイベントを検知する工程と、前記イベントの検知に応じて、前記イベントが検知された前記領域の画像で現在の入力映像を補完した映像を生成する工程と、生成した前記映像を出力する工程とを含む。
【発明の効果】
【０００８】
本発明によれば、監視者は、出力される補完された映像を見ることで消失した物体を容易に確認することができ、監視者の監視負担を軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、監視システムを示す図である。（実施形態１）
【図２】図２は、監視装置の構成を示すブロック図である。（実施形態１）
【図３】図３は、画像フレームを示す図である。（実施形態１）
【図４】図４は、監視装置の詳細な構成を示す図である。（実施形態１）
【図５】図５は、監視装置の処理を示す図である。（実施形態１）
【図６】図６は、監視装置のイベント検知を示す図である。（実施形態１）
【図７】図７は、監視装置の映像補完を示す図である。（実施形態１）
【図８】図８は、イベント検知の具体例を示す図である。（実施形態１）
【図９】図９は、映像補完の具体例を示す図である。（実施形態１）
【図１０】図１０は、監視装置の処理を示すフローチャートである。（実施形態１）
【図１１】図１１は、監視装置の処理を示す図である。（実施形態２）
【図１２】図１２は、監視装置の処理を示すフローチャートである。（実施形態２）
【図１３】図１３は、監視システムの変形例を示す図である。
【発明を実施するための形態】
【００１０】
実施形態に基づき本発明について説明する。
まず、本発明の実施形態１について説明する。
＜実施形態１＞
（構成）
図１は、実施形態１に係る本発明の監視システムを示す図である。
監視システムは、監視カメラ１、監視用のＰＣ（パーソナルコンピューター）２、及びレコーダー３を含んで構成されている。
監視カメラ１は、監視対象の場所に設置され、監視領域の映像を撮像するカメラである。この監視カメラ１は、撮像した映像を異なる２系統（ａ１、ａ２）で出力できるようになっている。
監視カメラ１はネットワーク（ＮＷ）を介してＰＣ２及びレコーダー３に接続されており、出力系統ａ１から出力した映像をＰＣ２に伝送し、出力系統ａ２から出力した映像をレコーダー３に伝送する。
ＰＣ２は、例えば監視者がいる監視室に設置される。ＰＣ２は液晶ディスプレイ等の表示装置を備えており、ネットワークを介して監視カメラ１から伝送される映像を受信して表示装置に表示する。これにより、監視者が表示装置に表示された映像を見ることで、監視領域の監視を行うことができる。
レコーダー３は、例えば監視室や管理室などに設置される。レコーダー３は記録媒体を備えており、ネットワークを介して監視カメラ１から伝送される映像を例えばＨＤＤ（ハードディスクドライブ）などの記録媒体に記録、蓄積する。これにより、監視者や捜査機関などが監視領域の過去の映像を確認することができる。
なお、ネットワークは、インターネットなどの広域通信網や、ＬＡＮ（ローカルエリアネットワーク）などの小規模通信網を含み、その種類は問わない。実際にはハブやルーターなども含んで構成されることがあるが図示していない。
【００１１】
図２は監視カメラ１の主要な構成を示すブロック図である。
監視カメラ１は、主として、撮像素子１０、メモリー３０、ＤＳＰ（デジタルシグナルプロセッサー）２０、及びネットワークインターフェース４０ａ、４０ｂを備えている。
撮像素子１０は、例えばＣＣＤ（電界結合素子）やＣＭＯＳ（相補性金属酸化膜半導体）などの撮像素子であり、光電変換を行うことで監視領域に対応する画像信号を生成する。
より具体的には、撮像素子１０は、所定時間ごとに逐次監視領域の画像信号を生成する。本明細書では、画像信号で体現される１枚１枚の画像を画像フレームと呼ぶ。図３に示すように、所定時間ごとに得られた複数の画像フレームが連続することで映像として再現される。
ＤＳＰ２０は、撮像素子１０から受けた画像信号に対して信号処理を行うプロセッサーである。信号処理については後述する。
メモリー３０は、ＤＳＰ２０が信号処理を行うために画像フレームやＤＳＰ２０が処理したデータを記憶する。
ネットワークインターフェース４０ａ、４０ｂは、ＤＳＰ２０で処理されたデータネットワークに伝送するためのインターフェースであり、例えば、ＴＣＰ／ＩＰなどの通信プロトコルでデータをネットワークに出力する。
【００１２】
次に、ＤＳＰ２０による信号処理について詳述する。
図４は、ＤＳＰ２０の機能に着目して図示した機能ブロック図である。
破線で示すＤＳＰ２０は、機能として、書き込み部２１、イベント検知部２２、第１映像処理部２３、及び第２映像処理部２４を有している。
第１映像処理部２３はさらに消失画像処理部２３１及びＭＰＥＧ処理部２３２を含んでおり、第２映像処理部２４はＭｏｔｉｏｎＪＰＥＧ処理部２４１を含んでいる。
ＤＳＰ２０は、記述されたプログラムに従って動作するプロセッサーであり、上記処理部２１〜２４１の処理がプログラムで記述され、ＤＳＰ２０がプログラムを実行することで実現することができる。
書き込み部２１は、撮像素子１０から受け取った画像フレームをメモリー３０に書き込む。
イベント検知部２２は、メモリー３０内の時系列的に異なる複数の画像フレームを読み込んで比較し、画像フレーム内の領域にイベントが発生したことを検知する。また、イベントを検知したら第１映像処理部２３にその旨を通知する。イベントについては後述する。
第１映像処理部２３は、メモリー３０内の画像フレームを読み込み、ネットワークインターフェース４０ａを介してＰＣ２に伝送するための映像データを処理生成して出力する。特に、消失画像処理部２３１は、イベント検知部２２からの通知に応じて、所定の画像フレーム内の所定領域の画像を抽出する処理を行う。また、ＭＰＥＧ処理部２３２には、メモリー３０内の画像フレームをＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）符号化して映像データを生成し、出力する。
第２映像処理部２４は、メモリー３０内の画像フレームを読み込み、ネットワークインターフェース４０ｂを介してレコーダー３に伝送するための映像データを処理生成して出力する。特に、ＭｏｔｉｏｎＪＰＥＧ処理部２４１は画像フレームをＭｏｔｉｏｎＪＰＥＧ（Ｍｏｔｉｏｎ−Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）符号化して映像データを生成して出力する。
【００１３】
（画像フレームの書き込み）
ここで、書き込み部２１の書き込み処理について詳述する。
書き込み部２１は、撮像素子１０から逐次送られてくる画像フレームを数枚メモリー３０の所定領域にＦＩＦＯ方式で逐次記憶していく。つまり、逐次画像フレームを受け取るごとにメモリー３０に保持される画像フレームが更新されていく。本明細書では、この逐次保持される数枚の画像フレームを「入力画像フレーム」と呼ぶ。
また、書き込み部２１は、撮像素子１０から逐次受け取る画像フレームの中から、所定フレーム毎に選択的に１枚の画像フレームをメモリー３０の別領域にＦＩＦＯ方式で記憶する。つまり、入力画像フレームとは別に、過去の１枚の画像フレームが所定フレーム毎に更新されながらメモリー３０に保持される。本明細書では、この画像フレームを「過去の画像フレーム」と呼ぶ。
図５では、書き込み部２１は、入力画像フレームとして、直近４枚の画像フレーム（時系列的にｔ〜ｔ−３）をメモリー３０に書き込み、過去の画像フレームとして、２０フレームごとに画像フレームをメモリー３０に保持する例を示している。
【００１４】
（イベント検知）
次に、イベント検知部２２のイベント検知処理について詳述する。
イベント検知部２２は、メモリー３０内の過去の画像フレームを基準画像とし、入力画像フレームの中の任意の画像フレームを比較画像とし、基準画像と比較画像とを比較する。
具体的には、図６に示すように、基準画像（ａ）と比較画像（ｂ）との差分を取って、画像が抽出されるか判断する。
差分画像が抽出された場合（ｃ）、この差分画像に対応する物体が、基準画像（ｔ−２０時点での画像フレーム）には存在していたが、比較画像（直近の画像フレーム）には存在しなくなった（＝消失した）物体であると判断できる。
このため、イベント検知部２２は、差分画像が抽出されると、消失物体の発生というイベントを検知し、第１映像処理部２３に通知する。この通知の際、イベント検知部２２は、抽出された差分画像の画像領域の情報（例えば座標情報）を第１映像処理部２３に通知する。
【００１５】
（第１映像処理）
続いて、第１映像処理部２３の映像処理について詳述する。
第１映像処理部２３は、メモリー３０内の入力画像フレームを逐次読み込み、ＭＰＥＧ処理部２３２にＭＥＰＧ符号化を行い映像データを生成して出力する。
イベント検知部２２から通知が来なければ、入力画像フレームをそのままＭＰＥＧ符号化した映像データを逐次出力していく。
ところが、イベント検知部２２からイベント検知と差分画像の画像領域情報の通知を受けると、消失画像処理部２３１が、メモリー３０内の過去の画像フレーム（＝基準画像）を読み込み、通知を受けた画像領域情報に基づいて過去の画像フレーム内の画像を抽出する。ここで抽出した画像は、イベント検知部２２が比較の結果抽出した差分画像に相当し、消失した物体の画像に相当するものである。
そして、ＭＰＥＧ処理部２３２が、消失画像処理部２３１で抽出した画像を、入力画像フレームに重畳させて映像データを生成し出力する。
具体的には、図７に示すように、所定フレーム間隔（例えば３０フレーム間隔）で抽出画像を入力画像フレームに重ね合わせて逐次映像データを生成する。
こうすることで、抽出画像が重畳された画像フレームと、重畳されていない素の画像フレームとが所定フレームごとに交互に出現する映像データが生成され、その結果、図６の（ｄ）に示すように、出力される映像データの映像上では抽出画像（＝消失した物体）が点滅して表示される。
ここで、例として３０フレームとしたのは、これは一般的に映像信号は秒間３０フレームあるからであるが、これに限定されないのは明白である。
【００１６】
（処理の流れ）
ここで改めて、イベント検知処理と第１映像処理とを図８のフローチャートに沿って説明する。
イベント検知部２２は、基準画像として過去の画像フレームを基準画像として読み込み（Ｓ１０）、入力画像フレームを比較画像として読み込む（Ｓ１１）。
イベント検知部２２は、基準画像と比較画像とを除算比較する（Ｓ１２）。
比較の結果、差分画像が抽出された場合（Ｓ１３：ＹＥＳ）、イベント検知部２２は、物体消失のイベント検知を行い（Ｓ１４）、抽出画像の画像領域情報を第１映像処理部２３に通知する（Ｓ１５）。通知後は、Ｓ１０に戻って、新たな入力画像フレームで比較処理を行う。
差分画像が抽出されない場合は（Ｓ１３：ＮＯ）、そのままＳ１０に戻る。
第１映像処理部２３は、イベント検知部２２から通知を受けると、過去の画像フレームを読み出して、通知された画像領域に対応する画像を抽出し（Ｓ１６）、所定フレーム間隔で入力画像フレームに抽出画像を重畳し出力する（Ｓ１７）。
入力画像フレームが逐次入力されていて映像が終了していなければ（Ｓ１８：ＮＯ）、Ｓ１７に戻る。映像が終了したら（Ｓ１８：ＹＥＳ）、第１映像処理部２３の処理も終了する。
【００１７】
（効果）
監視領域内で物体の消失が発生した場合、消失発生以降監視カメラ１の撮像映像には本来消失した物体が映っておらず、監視者が映像を見ても何が消失したのか確認できなかった。これに対し、上記本実施形態の処理を行うことで、消失した物体が映像上で点滅表示されることで補完的に表示され、監視者は容易に何が消失したか確認することができる。
また、あくまで補完的な表示であるため、現在の映像とは明確に区別できる、監視者が戸惑うこともない。
その一方で、イベント検知に関わらず、第２映像処理部２４は、入力画像フレームをそのまま符号化して出力していくため、レコーダー３には監視カメラ１の撮像映像をそのまま記録、蓄積することができる。
【００１８】
（具体例）
図９〜１０は、実際の監視映像に対して本実施形態に係る処理を行った具体例を示す図である。
図９の基準画像（ａ）と比較画像（ｂ）との比較の結果、差分画像として自動車が抽出された（ｃ）。
図１０に示すように、抽出された自動車の画像を所定フレーム間隔で画像フレームに重畳すると、映像内で自動車の画像が点滅表示する（図９（ｄ））。
【００１９】
＜実施形態２＞
次に、本発明の実施形態２について説明する。
（概要）
実施形態１では、１枚の過去の画像フレームと、入力画像フレームの中の任意の画像フレームとの比較結果に応じてイベント検知を行っていた。これに対し、実施形態２では、複数の過去の画像フレームとに基づき比較を行う。
【００２０】
（構成）
実施形態２に係る監視システムの構成は実施形態１のそれと同様である。実施形態１との違いは監視カメラ１の書き込み部２１、イベント検知部２２、及び第１映像処理部２３の処理であるため、ここでは実施形態１の書き込み部２１、イベント検知部２２、及び第１映像処理部２３と異なる部分を重点的に説明する。
（画像フレームの書き込み）
本実施形態の書き込み部２１は、撮像素子１０から逐次送られてくる画像フレームを入力画像フレームとして、数枚メモリー３０の所定領域にＦＩＦＯ方式で逐次記憶していく他、過去の画像フレームとして、所定フレーム毎に選択的に複数枚の画像フレームをメモリー３０の別領域にＦＩＦＯ方式で記憶する。
図１１では、書き込み部２１は、入力画像フレームとして、直近４枚の画像フレーム（時系列的にｔ〜ｔ−３）をメモリー３０に書き込み、過去の画像フレームとして、２０フレームごとに４枚の画像フレームをメモリー３０に保持する例を示している。
【００２１】
（イベント検知）
本実施形態のイベント検知部２２は、メモリー３０内の複数の過去の画像フレームを読み込み、平均化して基準画像をいったん生成してメモリー３０に書き込む。
同様に、メモリー３０内の複数の入力画像フレームを読み込み、平均化して比較画像をいったん生成してメモリー３０に書き込む。
そして、イベント検知部２２は、生成した基準画像と比較画像とを比較する。
基準画像と比較画像との差分を取って、画像が抽出されるか判断し、差分画像が抽出された場合、消失物体の発生というイベントを検知し、第１映像処理部２３に通知するのが実施形態１と同様である。この通知の際、イベント検知部２２は、抽出された差分画像の画像領域の情報（例えば座標情報）を第１映像処理部２３に通知するのも実施形態１と同様である。
【００２２】
（第１映像処理）
続いて、本実施形態の第１映像処理部２３は、イベント検知部２２からイベント検知と差分画像の画像領域情報の通知を受けると、消失画像処理部２３１が、メモリー３０内の過去の画像フレームの中から任意の画像フレーム（例えばｔ−２３の画像フレーム）を読み込み、通知を受けた画像領域情報に基づいて読み込んだ画像フレーム内の画像を抽出する。ここで抽出した画像は、イベント検知部２２が比較の結果抽出した差分画像が表す物体（＝消失物体）に相当するものである。
ＭＰＥＧ処理部２３２が、消失画像処理部２３１で抽出した画像を、入力画像フレームに重畳させて映像データを生成し出力するのは実施形態１と同様である。
【００２３】
（処理の流れ）
実施形態２に係るイベント検知処理と第１映像処理とを図１２のフローチャートに沿って説明する。
イベント検知部２２は、複数の過去の画像フレームから基準画像を生成してメモリー３０に保持し（Ｓ２０）、複数の入力画像フレーから比較画像を生成してメモリー３０に保持する（Ｓ２１）。
イベント検知部２２は、基準画像と比較画像とを読み出し（Ｓ２２）、除算比較する（Ｓ２３）。
比較の結果、差分画像が抽出された場合（Ｓ２４：ＹＥＳ）、イベント検知部２２は、物体消失のイベント検知を行い（Ｓ２５）、抽出画像の画像領域情報を第１映像処理部２３に通知する（Ｓ２６）。通知後は、Ｓ２０に戻って、新たな入力画像フレームで比較処理を行う。
差分画像が抽出されない場合は（Ｓ２４：ＮＯ）、そのままＳ２０に戻る。
第１映像処理部２３は、イベント検知部２２から通知を受けると、過去の画像フレームの中から任意の画像フレームを読み出して、通知された画像領域に対応する画像を抽出し（Ｓ２７）、所定フレーム間隔で入力画像フレームに抽出画像を重畳し出力する（Ｓ２８）。
入力画像フレームが逐次入力されていて映像が終了していなければ（Ｓ２９：ＮＯ）、Ｓ２８に戻る。映像が終了したら（Ｓ２９：ＹＥＳ）、第１映像処理部２３の処理も終了する。
【００２４】
（効果）
通常、監視領域には一定時間動かないで存在する物体のみならず、例えば歩行者や風邪に揺られる木々など、常時動きがある物体も存在することがある。そのような監視領域の画像フレーム１枚を比較した場合、上記歩行者や木々など動きのある物体が差分画像として抽出されてしまい、一定時間不動で存在していたが消失した物体（＝消失物体）と区別つかず誤検知となってしまうことがある。
これに対し実施形態２では、複数の過去の画像フレームを平均化した基準画像と、同様に複数の入力画像フレームを平均化した比較が像とを比較して差分画像の有無を判断する。
複数の画像フレームの平均化によって常時動きのある物体を無視することができる。
【００２５】
＜変形例＞
以上、実施形態１〜２に基づいて本発明を説明したが、実施形態１〜２の構成には種々の変形を加えることが可能である。
（１）実施形態１及び２の監視装置１において、第１映像処理部２３は、所定のフレーム間隔で過去の画像フレームから抽出した画像を逐次入力画像フレームに重畳させることで、抽出画像を映像上で点滅表示させる例を示したが、これに限定されない。
点滅表示をさせることは、抽出画像で入力画像フレームを補完することの一態様である。
例えば、第１映像処理部２３は、抽出画像を半透明にし、入力画像フレームに重ね合わせるようにしてもよい。
その他、抽出画像の輝度を変えて、入力画像フレームの輝度と差をつけて、入力画像フレームに重ね合わせるようにしてもよい。
その他、抽出画像を白黒にして、入力画像フレームに重ね合わせるようにしてもよい。
（２）実施形態１の監視装置１において、書き込み部２１は過去の画像フレームを１枚メモリー３０に書き込む例を示したが、これに限定されない。
例えば、書き込み部２１は、時系列的に幅のある複数の過去の画像フレームを別々にメモリー３０に書き込んでも良い。
この場合、イベント検知部２２は、一方の過去の画像フレームを基準画像として用い、第１映像処理部２３は他方の過去の画像フレームから画像を抽出するようにしてもよい。
（３）実施形態１及び２では、監視カメラ１がＤＳＰ２０を備えてイベント検知や第１映像処理を行っているが、これに限定されない。
例えば、図１３に示すように、監視カメラ１をレコーダー３に直接接続し、レコーダー３を介してＰＣ２を接続する構成を採ることも想定される。
このような場合、監視カメラ１からは映像信号をレコーダー３に送信するようにし、レコーダー３に備えるＤＳＰによってイベント検知処理、第１映像処理、および第２映像処理を行うようにしても良い。この場合、レコーダー３内のＤＳＰで第１映像処理した映像データをＰＣ２に伝送し、第２映像処理した映像を自機内の記憶媒体に記憶すればよい。
【００２６】
＜補足＞
（１）実施形態２において、イベント検知部２２が、複数の過去の画像フレームを平均化して基準画像を生成し、また、複数の入力画像フレームを平均化して比較画像を生成する例を示した。
この際、イベント検知部２２は、複数の過去の画像フレームを縮小した基準画像を生成し、また、同じ比率で複数の入力画像フレームを縮小した比較画像を生成するようにすると効果的である。
基準画像及び比較画像は差分画像が存在するか否かを判断するのに使用するためのものなので、高精度、高画質である必要が無く、また、縮小してピクセル数が減少した画像の方が画素の比較を行う処理負担が軽くＤＳＰ２０にとって軽負担となるからである。
この場合、縮小された基準画像及び比較画像と、消失画像処理部２３１が画像抽出を行う過去の画像フレームとでは、サイズが異なるため座標が一致しない。このため、イベント検知部２２は、比較の結果特定した差分画像の画像領域をそのまま第１映像処理部２３に通知しても、第１映像処理部２３は差分画像に相当する画像を過去の画像フレームから抽出できない。
そこで、この場合、イベント検知処理部２２は、基準画像及び比較画像の縮小率に応じて、縮小前の画像フレーム上で差分画像がどの画像領域に位置するかを特定し、第１映像処理部２３に通知するようにすれば良い。
（２）実施形態２において、第１映像処理部２３が、複数の過去の画像フレーム中の任意の画像フレームから画像を抽出する例を示した。任意の画像フレームであるので、いずれの画像フレームでも良いが、複数の過去の画像フレーム中時系列的に最も古い画像フレームから画像を抽出するのが好適である。
複数の過去の画像フレームの相当時間に物体の消失が発生していた場合、時系列的に新しい方の画像フレームには消失した物体の画像がすでに存在していない可能性があるが、時系列的に最も古い画像フレームであれば、時間的に消失前であって、消失した物体がまだ画像として含まれているからである。
【産業上の利用可能性】
【００２７】
本発明は監視システムで有用である。
【符号の説明】
【００２８】
１ 監視カメラ（監視装置）
２ ＰＣ（表示装置）
３ レコーダー（記録装置）
１０ 撮像素子（入力手段）
２０ ＤＳＰ
３０ メモリー（保持手段）
４０ ネットワークインターフェース（出力手段）
２１ 書き込み部
２２ イベント検知部（検知手段）
２３ 第１映像処理部（生成手段）
２４ 第２映像処理部
【技術分野】
【０００１】
本発明は、所定の監視領域を監視するための監視装置、監視方法、及びこの監視方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
所定の場所を監視する目的で、例えば監視カメラを用いた監視システムが普及しており、高機能化が進んでいる。
高機能な監視システムの中には、監視カメラで撮影した監視領域の映像（以下、「監視映像」という）の中に存在していた何らかの物体が、移動や持ち去り等によって存在していた場所から消失したことを検知するものがある。
ここでいう物体とは、監視領域に存在する物や人物の総称である。
このような物体の消失を検知する技術を、持ち去り検知と呼ぶ場合がある。
例えば特許文献１〜３は、持ち去り検知について開示している。
物体の消失を検知する方法は工夫が進んでいるが、基本的には、予め用意した監視領域の基準画像と監視カメラで逐次入力される画像とを比較することで行うか、もしくは、監視カメラで逐次入力される画像を時系列的に相互に比較することで行う。
いずれの方法でも、比較の結果、所定の変化が生じた画像領域に物体の消失が発生したと判断することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０５−００７３６３号公報
【特許文献２】特公表２００４−５１９７８６号公報
【特許文献３】特開２０１０−２５８７０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような物体の消失を検知した場合、過去に存在していた場所から物体が消失したのであるから、監視カメラの現在の入力画像には消失した物体が含まれていない。
このため、物体の消失検知の後、監視者が監視カメラの撮像映像を確認しても、そこには消失した物体は写っておらず、監視者は何が消失したのか確認することができない。
仮に、物体の消失検知の際に、物体の消失が検知された画像領域を指し示すインジケーターを表示したとしても、物体の消失事実は確認できるが、過去にその画像領域に何が存在していて消失したのか確認することができない。
このような場合、監視者は、監視カメラの過去の撮像映像を見直して何が消失したのか確認しなければならず、面倒である。加えて、監視カメラの撮像映像を長期に渡って記録しておく必要があり、記録資源の逼迫を招く。
【０００５】
本発明は、上記のような監視システムにおいて、物体の消失を検知した際に監視者の監視負担を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る監視装置は、所定の監視領域の映像を入力する入力手段と、前記監視領域に対応する基準画像を保持する基準画像保持手段と、前記基準画像と入力映像とを比較して、前記入力映像内の領域に生じたイベントを検知する検知手段と、前記イベントの検知に応じて、前記イベントが検知された前記領域の画像で現在の入力映像を補完した映像を生成する生成手段と、生成した前記映像を出力する出力手段とを備える。
【０００７】
また、本発明に係るプログラムは、所定の監視領域を監視する処理をコンピュータに実行させるためのプログラムであって、前記処理は、所定の監視領域の映像を入力する工程と、前記監視領域に対応する基準画像を保持する工程と、前記基準画像と入力映像とを比較して、前記入力映像内の領域に生じたイベントを検知する工程と、前記イベントの検知に応じて、前記イベントが検知された前記領域の画像で現在の入力映像を補完した映像を生成する工程と、生成した前記映像を出力する工程とを含む。
【発明の効果】
【０００８】
本発明によれば、監視者は、出力される補完された映像を見ることで消失した物体を容易に確認することができ、監視者の監視負担を軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、監視システムを示す図である。（実施形態１）
【図２】図２は、監視装置の構成を示すブロック図である。（実施形態１）
【図３】図３は、画像フレームを示す図である。（実施形態１）
【図４】図４は、監視装置の詳細な構成を示す図である。（実施形態１）
【図５】図５は、監視装置の処理を示す図である。（実施形態１）
【図６】図６は、監視装置のイベント検知を示す図である。（実施形態１）
【図７】図７は、監視装置の映像補完を示す図である。（実施形態１）
【図８】図８は、イベント検知の具体例を示す図である。（実施形態１）
【図９】図９は、映像補完の具体例を示す図である。（実施形態１）
【図１０】図１０は、監視装置の処理を示すフローチャートである。（実施形態１）
【図１１】図１１は、監視装置の処理を示す図である。（実施形態２）
【図１２】図１２は、監視装置の処理を示すフローチャートである。（実施形態２）
【図１３】図１３は、監視システムの変形例を示す図である。
【発明を実施するための形態】
【００１０】
実施形態に基づき本発明について説明する。
まず、本発明の実施形態１について説明する。
＜実施形態１＞
（構成）
図１は、実施形態１に係る本発明の監視システムを示す図である。
監視システムは、監視カメラ１、監視用のＰＣ（パーソナルコンピューター）２、及びレコーダー３を含んで構成されている。
監視カメラ１は、監視対象の場所に設置され、監視領域の映像を撮像するカメラである。この監視カメラ１は、撮像した映像を異なる２系統（ａ１、ａ２）で出力できるようになっている。
監視カメラ１はネットワーク（ＮＷ）を介してＰＣ２及びレコーダー３に接続されており、出力系統ａ１から出力した映像をＰＣ２に伝送し、出力系統ａ２から出力した映像をレコーダー３に伝送する。
ＰＣ２は、例えば監視者がいる監視室に設置される。ＰＣ２は液晶ディスプレイ等の表示装置を備えており、ネットワークを介して監視カメラ１から伝送される映像を受信して表示装置に表示する。これにより、監視者が表示装置に表示された映像を見ることで、監視領域の監視を行うことができる。
レコーダー３は、例えば監視室や管理室などに設置される。レコーダー３は記録媒体を備えており、ネットワークを介して監視カメラ１から伝送される映像を例えばＨＤＤ（ハードディスクドライブ）などの記録媒体に記録、蓄積する。これにより、監視者や捜査機関などが監視領域の過去の映像を確認することができる。
なお、ネットワークは、インターネットなどの広域通信網や、ＬＡＮ（ローカルエリアネットワーク）などの小規模通信網を含み、その種類は問わない。実際にはハブやルーターなども含んで構成されることがあるが図示していない。
【００１１】
図２は監視カメラ１の主要な構成を示すブロック図である。
監視カメラ１は、主として、撮像素子１０、メモリー３０、ＤＳＰ（デジタルシグナルプロセッサー）２０、及びネットワークインターフェース４０ａ、４０ｂを備えている。
撮像素子１０は、例えばＣＣＤ（電界結合素子）やＣＭＯＳ（相補性金属酸化膜半導体）などの撮像素子であり、光電変換を行うことで監視領域に対応する画像信号を生成する。
より具体的には、撮像素子１０は、所定時間ごとに逐次監視領域の画像信号を生成する。本明細書では、画像信号で体現される１枚１枚の画像を画像フレームと呼ぶ。図３に示すように、所定時間ごとに得られた複数の画像フレームが連続することで映像として再現される。
ＤＳＰ２０は、撮像素子１０から受けた画像信号に対して信号処理を行うプロセッサーである。信号処理については後述する。
メモリー３０は、ＤＳＰ２０が信号処理を行うために画像フレームやＤＳＰ２０が処理したデータを記憶する。
ネットワークインターフェース４０ａ、４０ｂは、ＤＳＰ２０で処理されたデータネットワークに伝送するためのインターフェースであり、例えば、ＴＣＰ／ＩＰなどの通信プロトコルでデータをネットワークに出力する。
【００１２】
次に、ＤＳＰ２０による信号処理について詳述する。
図４は、ＤＳＰ２０の機能に着目して図示した機能ブロック図である。
破線で示すＤＳＰ２０は、機能として、書き込み部２１、イベント検知部２２、第１映像処理部２３、及び第２映像処理部２４を有している。
第１映像処理部２３はさらに消失画像処理部２３１及びＭＰＥＧ処理部２３２を含んでおり、第２映像処理部２４はＭｏｔｉｏｎＪＰＥＧ処理部２４１を含んでいる。
ＤＳＰ２０は、記述されたプログラムに従って動作するプロセッサーであり、上記処理部２１〜２４１の処理がプログラムで記述され、ＤＳＰ２０がプログラムを実行することで実現することができる。
書き込み部２１は、撮像素子１０から受け取った画像フレームをメモリー３０に書き込む。
イベント検知部２２は、メモリー３０内の時系列的に異なる複数の画像フレームを読み込んで比較し、画像フレーム内の領域にイベントが発生したことを検知する。また、イベントを検知したら第１映像処理部２３にその旨を通知する。イベントについては後述する。
第１映像処理部２３は、メモリー３０内の画像フレームを読み込み、ネットワークインターフェース４０ａを介してＰＣ２に伝送するための映像データを処理生成して出力する。特に、消失画像処理部２３１は、イベント検知部２２からの通知に応じて、所定の画像フレーム内の所定領域の画像を抽出する処理を行う。また、ＭＰＥＧ処理部２３２には、メモリー３０内の画像フレームをＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）符号化して映像データを生成し、出力する。
第２映像処理部２４は、メモリー３０内の画像フレームを読み込み、ネットワークインターフェース４０ｂを介してレコーダー３に伝送するための映像データを処理生成して出力する。特に、ＭｏｔｉｏｎＪＰＥＧ処理部２４１は画像フレームをＭｏｔｉｏｎＪＰＥＧ（Ｍｏｔｉｏｎ−Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）符号化して映像データを生成して出力する。
【００１３】
（画像フレームの書き込み）
ここで、書き込み部２１の書き込み処理について詳述する。
書き込み部２１は、撮像素子１０から逐次送られてくる画像フレームを数枚メモリー３０の所定領域にＦＩＦＯ方式で逐次記憶していく。つまり、逐次画像フレームを受け取るごとにメモリー３０に保持される画像フレームが更新されていく。本明細書では、この逐次保持される数枚の画像フレームを「入力画像フレーム」と呼ぶ。
また、書き込み部２１は、撮像素子１０から逐次受け取る画像フレームの中から、所定フレーム毎に選択的に１枚の画像フレームをメモリー３０の別領域にＦＩＦＯ方式で記憶する。つまり、入力画像フレームとは別に、過去の１枚の画像フレームが所定フレーム毎に更新されながらメモリー３０に保持される。本明細書では、この画像フレームを「過去の画像フレーム」と呼ぶ。
図５では、書き込み部２１は、入力画像フレームとして、直近４枚の画像フレーム（時系列的にｔ〜ｔ−３）をメモリー３０に書き込み、過去の画像フレームとして、２０フレームごとに画像フレームをメモリー３０に保持する例を示している。
【００１４】
（イベント検知）
次に、イベント検知部２２のイベント検知処理について詳述する。
イベント検知部２２は、メモリー３０内の過去の画像フレームを基準画像とし、入力画像フレームの中の任意の画像フレームを比較画像とし、基準画像と比較画像とを比較する。
具体的には、図６に示すように、基準画像（ａ）と比較画像（ｂ）との差分を取って、画像が抽出されるか判断する。
差分画像が抽出された場合（ｃ）、この差分画像に対応する物体が、基準画像（ｔ−２０時点での画像フレーム）には存在していたが、比較画像（直近の画像フレーム）には存在しなくなった（＝消失した）物体であると判断できる。
このため、イベント検知部２２は、差分画像が抽出されると、消失物体の発生というイベントを検知し、第１映像処理部２３に通知する。この通知の際、イベント検知部２２は、抽出された差分画像の画像領域の情報（例えば座標情報）を第１映像処理部２３に通知する。
【００１５】
（第１映像処理）
続いて、第１映像処理部２３の映像処理について詳述する。
第１映像処理部２３は、メモリー３０内の入力画像フレームを逐次読み込み、ＭＰＥＧ処理部２３２にＭＥＰＧ符号化を行い映像データを生成して出力する。
イベント検知部２２から通知が来なければ、入力画像フレームをそのままＭＰＥＧ符号化した映像データを逐次出力していく。
ところが、イベント検知部２２からイベント検知と差分画像の画像領域情報の通知を受けると、消失画像処理部２３１が、メモリー３０内の過去の画像フレーム（＝基準画像）を読み込み、通知を受けた画像領域情報に基づいて過去の画像フレーム内の画像を抽出する。ここで抽出した画像は、イベント検知部２２が比較の結果抽出した差分画像に相当し、消失した物体の画像に相当するものである。
そして、ＭＰＥＧ処理部２３２が、消失画像処理部２３１で抽出した画像を、入力画像フレームに重畳させて映像データを生成し出力する。
具体的には、図７に示すように、所定フレーム間隔（例えば３０フレーム間隔）で抽出画像を入力画像フレームに重ね合わせて逐次映像データを生成する。
こうすることで、抽出画像が重畳された画像フレームと、重畳されていない素の画像フレームとが所定フレームごとに交互に出現する映像データが生成され、その結果、図６の（ｄ）に示すように、出力される映像データの映像上では抽出画像（＝消失した物体）が点滅して表示される。
ここで、例として３０フレームとしたのは、これは一般的に映像信号は秒間３０フレームあるからであるが、これに限定されないのは明白である。
【００１６】
（処理の流れ）
ここで改めて、イベント検知処理と第１映像処理とを図８のフローチャートに沿って説明する。
イベント検知部２２は、基準画像として過去の画像フレームを基準画像として読み込み（Ｓ１０）、入力画像フレームを比較画像として読み込む（Ｓ１１）。
イベント検知部２２は、基準画像と比較画像とを除算比較する（Ｓ１２）。
比較の結果、差分画像が抽出された場合（Ｓ１３：ＹＥＳ）、イベント検知部２２は、物体消失のイベント検知を行い（Ｓ１４）、抽出画像の画像領域情報を第１映像処理部２３に通知する（Ｓ１５）。通知後は、Ｓ１０に戻って、新たな入力画像フレームで比較処理を行う。
差分画像が抽出されない場合は（Ｓ１３：ＮＯ）、そのままＳ１０に戻る。
第１映像処理部２３は、イベント検知部２２から通知を受けると、過去の画像フレームを読み出して、通知された画像領域に対応する画像を抽出し（Ｓ１６）、所定フレーム間隔で入力画像フレームに抽出画像を重畳し出力する（Ｓ１７）。
入力画像フレームが逐次入力されていて映像が終了していなければ（Ｓ１８：ＮＯ）、Ｓ１７に戻る。映像が終了したら（Ｓ１８：ＹＥＳ）、第１映像処理部２３の処理も終了する。
【００１７】
（効果）
監視領域内で物体の消失が発生した場合、消失発生以降監視カメラ１の撮像映像には本来消失した物体が映っておらず、監視者が映像を見ても何が消失したのか確認できなかった。これに対し、上記本実施形態の処理を行うことで、消失した物体が映像上で点滅表示されることで補完的に表示され、監視者は容易に何が消失したか確認することができる。
また、あくまで補完的な表示であるため、現在の映像とは明確に区別できる、監視者が戸惑うこともない。
その一方で、イベント検知に関わらず、第２映像処理部２４は、入力画像フレームをそのまま符号化して出力していくため、レコーダー３には監視カメラ１の撮像映像をそのまま記録、蓄積することができる。
【００１８】
（具体例）
図９〜１０は、実際の監視映像に対して本実施形態に係る処理を行った具体例を示す図である。
図９の基準画像（ａ）と比較画像（ｂ）との比較の結果、差分画像として自動車が抽出された（ｃ）。
図１０に示すように、抽出された自動車の画像を所定フレーム間隔で画像フレームに重畳すると、映像内で自動車の画像が点滅表示する（図９（ｄ））。
【００１９】
＜実施形態２＞
次に、本発明の実施形態２について説明する。
（概要）
実施形態１では、１枚の過去の画像フレームと、入力画像フレームの中の任意の画像フレームとの比較結果に応じてイベント検知を行っていた。これに対し、実施形態２では、複数の過去の画像フレームとに基づき比較を行う。
【００２０】
（構成）
実施形態２に係る監視システムの構成は実施形態１のそれと同様である。実施形態１との違いは監視カメラ１の書き込み部２１、イベント検知部２２、及び第１映像処理部２３の処理であるため、ここでは実施形態１の書き込み部２１、イベント検知部２２、及び第１映像処理部２３と異なる部分を重点的に説明する。
（画像フレームの書き込み）
本実施形態の書き込み部２１は、撮像素子１０から逐次送られてくる画像フレームを入力画像フレームとして、数枚メモリー３０の所定領域にＦＩＦＯ方式で逐次記憶していく他、過去の画像フレームとして、所定フレーム毎に選択的に複数枚の画像フレームをメモリー３０の別領域にＦＩＦＯ方式で記憶する。
図１１では、書き込み部２１は、入力画像フレームとして、直近４枚の画像フレーム（時系列的にｔ〜ｔ−３）をメモリー３０に書き込み、過去の画像フレームとして、２０フレームごとに４枚の画像フレームをメモリー３０に保持する例を示している。
【００２１】
（イベント検知）
本実施形態のイベント検知部２２は、メモリー３０内の複数の過去の画像フレームを読み込み、平均化して基準画像をいったん生成してメモリー３０に書き込む。
同様に、メモリー３０内の複数の入力画像フレームを読み込み、平均化して比較画像をいったん生成してメモリー３０に書き込む。
そして、イベント検知部２２は、生成した基準画像と比較画像とを比較する。
基準画像と比較画像との差分を取って、画像が抽出されるか判断し、差分画像が抽出された場合、消失物体の発生というイベントを検知し、第１映像処理部２３に通知するのが実施形態１と同様である。この通知の際、イベント検知部２２は、抽出された差分画像の画像領域の情報（例えば座標情報）を第１映像処理部２３に通知するのも実施形態１と同様である。
【００２２】
（第１映像処理）
続いて、本実施形態の第１映像処理部２３は、イベント検知部２２からイベント検知と差分画像の画像領域情報の通知を受けると、消失画像処理部２３１が、メモリー３０内の過去の画像フレームの中から任意の画像フレーム（例えばｔ−２３の画像フレーム）を読み込み、通知を受けた画像領域情報に基づいて読み込んだ画像フレーム内の画像を抽出する。ここで抽出した画像は、イベント検知部２２が比較の結果抽出した差分画像が表す物体（＝消失物体）に相当するものである。
ＭＰＥＧ処理部２３２が、消失画像処理部２３１で抽出した画像を、入力画像フレームに重畳させて映像データを生成し出力するのは実施形態１と同様である。
【００２３】
（処理の流れ）
実施形態２に係るイベント検知処理と第１映像処理とを図１２のフローチャートに沿って説明する。
イベント検知部２２は、複数の過去の画像フレームから基準画像を生成してメモリー３０に保持し（Ｓ２０）、複数の入力画像フレーから比較画像を生成してメモリー３０に保持する（Ｓ２１）。
イベント検知部２２は、基準画像と比較画像とを読み出し（Ｓ２２）、除算比較する（Ｓ２３）。
比較の結果、差分画像が抽出された場合（Ｓ２４：ＹＥＳ）、イベント検知部２２は、物体消失のイベント検知を行い（Ｓ２５）、抽出画像の画像領域情報を第１映像処理部２３に通知する（Ｓ２６）。通知後は、Ｓ２０に戻って、新たな入力画像フレームで比較処理を行う。
差分画像が抽出されない場合は（Ｓ２４：ＮＯ）、そのままＳ２０に戻る。
第１映像処理部２３は、イベント検知部２２から通知を受けると、過去の画像フレームの中から任意の画像フレームを読み出して、通知された画像領域に対応する画像を抽出し（Ｓ２７）、所定フレーム間隔で入力画像フレームに抽出画像を重畳し出力する（Ｓ２８）。
入力画像フレームが逐次入力されていて映像が終了していなければ（Ｓ２９：ＮＯ）、Ｓ２８に戻る。映像が終了したら（Ｓ２９：ＹＥＳ）、第１映像処理部２３の処理も終了する。
【００２４】
（効果）
通常、監視領域には一定時間動かないで存在する物体のみならず、例えば歩行者や風邪に揺られる木々など、常時動きがある物体も存在することがある。そのような監視領域の画像フレーム１枚を比較した場合、上記歩行者や木々など動きのある物体が差分画像として抽出されてしまい、一定時間不動で存在していたが消失した物体（＝消失物体）と区別つかず誤検知となってしまうことがある。
これに対し実施形態２では、複数の過去の画像フレームを平均化した基準画像と、同様に複数の入力画像フレームを平均化した比較が像とを比較して差分画像の有無を判断する。
複数の画像フレームの平均化によって常時動きのある物体を無視することができる。
【００２５】
＜変形例＞
以上、実施形態１〜２に基づいて本発明を説明したが、実施形態１〜２の構成には種々の変形を加えることが可能である。
（１）実施形態１及び２の監視装置１において、第１映像処理部２３は、所定のフレーム間隔で過去の画像フレームから抽出した画像を逐次入力画像フレームに重畳させることで、抽出画像を映像上で点滅表示させる例を示したが、これに限定されない。
点滅表示をさせることは、抽出画像で入力画像フレームを補完することの一態様である。
例えば、第１映像処理部２３は、抽出画像を半透明にし、入力画像フレームに重ね合わせるようにしてもよい。
その他、抽出画像の輝度を変えて、入力画像フレームの輝度と差をつけて、入力画像フレームに重ね合わせるようにしてもよい。
その他、抽出画像を白黒にして、入力画像フレームに重ね合わせるようにしてもよい。
（２）実施形態１の監視装置１において、書き込み部２１は過去の画像フレームを１枚メモリー３０に書き込む例を示したが、これに限定されない。
例えば、書き込み部２１は、時系列的に幅のある複数の過去の画像フレームを別々にメモリー３０に書き込んでも良い。
この場合、イベント検知部２２は、一方の過去の画像フレームを基準画像として用い、第１映像処理部２３は他方の過去の画像フレームから画像を抽出するようにしてもよい。
（３）実施形態１及び２では、監視カメラ１がＤＳＰ２０を備えてイベント検知や第１映像処理を行っているが、これに限定されない。
例えば、図１３に示すように、監視カメラ１をレコーダー３に直接接続し、レコーダー３を介してＰＣ２を接続する構成を採ることも想定される。
このような場合、監視カメラ１からは映像信号をレコーダー３に送信するようにし、レコーダー３に備えるＤＳＰによってイベント検知処理、第１映像処理、および第２映像処理を行うようにしても良い。この場合、レコーダー３内のＤＳＰで第１映像処理した映像データをＰＣ２に伝送し、第２映像処理した映像を自機内の記憶媒体に記憶すればよい。
【００２６】
＜補足＞
（１）実施形態２において、イベント検知部２２が、複数の過去の画像フレームを平均化して基準画像を生成し、また、複数の入力画像フレームを平均化して比較画像を生成する例を示した。
この際、イベント検知部２２は、複数の過去の画像フレームを縮小した基準画像を生成し、また、同じ比率で複数の入力画像フレームを縮小した比較画像を生成するようにすると効果的である。
基準画像及び比較画像は差分画像が存在するか否かを判断するのに使用するためのものなので、高精度、高画質である必要が無く、また、縮小してピクセル数が減少した画像の方が画素の比較を行う処理負担が軽くＤＳＰ２０にとって軽負担となるからである。
この場合、縮小された基準画像及び比較画像と、消失画像処理部２３１が画像抽出を行う過去の画像フレームとでは、サイズが異なるため座標が一致しない。このため、イベント検知部２２は、比較の結果特定した差分画像の画像領域をそのまま第１映像処理部２３に通知しても、第１映像処理部２３は差分画像に相当する画像を過去の画像フレームから抽出できない。
そこで、この場合、イベント検知処理部２２は、基準画像及び比較画像の縮小率に応じて、縮小前の画像フレーム上で差分画像がどの画像領域に位置するかを特定し、第１映像処理部２３に通知するようにすれば良い。
（２）実施形態２において、第１映像処理部２３が、複数の過去の画像フレーム中の任意の画像フレームから画像を抽出する例を示した。任意の画像フレームであるので、いずれの画像フレームでも良いが、複数の過去の画像フレーム中時系列的に最も古い画像フレームから画像を抽出するのが好適である。
複数の過去の画像フレームの相当時間に物体の消失が発生していた場合、時系列的に新しい方の画像フレームには消失した物体の画像がすでに存在していない可能性があるが、時系列的に最も古い画像フレームであれば、時間的に消失前であって、消失した物体がまだ画像として含まれているからである。
【産業上の利用可能性】
【００２７】
本発明は監視システムで有用である。
【符号の説明】
【００２８】
１ 監視カメラ（監視装置）
２ ＰＣ（表示装置）
３ レコーダー（記録装置）
１０ 撮像素子（入力手段）
２０ ＤＳＰ
３０ メモリー（保持手段）
４０ ネットワークインターフェース（出力手段）
２１ 書き込み部
２２ イベント検知部（検知手段）
２３ 第１映像処理部（生成手段）
２４ 第２映像処理部
【特許請求の範囲】
【請求項１】
所定の監視領域の映像を入力する入力手段と、
前記監視領域に対応する基準画像を保持する基準画像保持手段と、
前記基準画像と入力映像とを比較して、前記入力映像内の領域に生じたイベントを検知する検知手段と、
前記イベントの検知に応じて、前記イベントが検知された前記領域の画像で現在の入力映像を補完した映像を生成する生成手段と、
生成した前記映像を出力する出力手段とを備える監視装置。
【請求項２】
前記生成手段は、前記イベントが検知された前記領域の画像を現在の入力映像に重ねた映像を生成する請求項１記載の監視装置。
【請求項３】
前記入力映像は複数の画像フレームから構成され、
前記生成手段は、前記イベントが検知された前記領域の画像を、所定の画像フレーム間隔で現在の入力映像に重ねた映像を生成する請求項２記載の監視装置。
【請求項４】
前記生成手段は、前記イベントが検知された前記領域の画像を、前記基準画像から取得して補完した映像を生成する請求項１記載の監視装置。
【請求項５】
前記検知手段は、前記基準画像と前記入力映像との比較に基づき、所定の変化がある領域を特定し、
前記生成手段は、特定された領域の画像で現在の入力映像を補完した映像を生成する請求項１記載の監視装置。
【請求項６】
前記入力手段は、監視領域の映像を構成する画像フレームを所定時間ごとに逐次入力し、
前記保持手段手段は、入力した時系列的に古い１又は複数の画像フレームを基準画像として保持し、
前記検知手段は、前記基準画像と時系列的に新しい１又は複数の画像フレームとの比較に基づき、所定の変化がある領域を特定し、
前記生成手段は、特定された領域の画像を前記時系列的に古い画像フレームから取得し、取得した画像で現在の入力映像を補完した映像を生成する請求項１記載の監視装置。
【請求項７】
前記入力手段は、監視領域の映像を構成する画像フレームを所定時間ごとに逐次入力するものであって、
前記監視装置はさらに、入力した時系列的に古い１又は複数の画像フレームを記憶する記憶手段を備え、
前記保持手段手段は、入力した時系列的に古い１又は複数の画像フレームを縮小した画像を基準画像として保持し、時系列的に新しい１又は複数の画像フレームを縮小した画像を比較画像として保持し、
前記検知手段は、前記基準画像と前記比較画像との比較に基づき、所定の変化がある領域を特定し、
前記生成手段は、特定された領域の画像を前記記憶手段に記憶された前記時系列的に古い画像フレームから取得し、取得した画像で現在の入力映像を補完した映像を生成する請求項１記載の監視装置。
【請求項８】
前記入力手段で入力した映像を記録装置に出力する記録用出力手段をさらに備え、
前記出力手段は、前記生成手段で生成した映像を表示装置に出力する請求項１記載の監視装置。
【請求項９】
所定の監視領域を監視する処理をコンピュータに実行させるためのプログラムであって、前記処理は、
所定の監視領域の映像を入力する工程と、
前記監視領域に対応する基準画像を保持する工程と、
前記基準画像と入力映像とを比較して、前記入力映像内の領域に生じたイベントを検知する工程と、
前記イベントの検知に応じて、前記イベントが検知された前記領域の画像で現在の入力映像を補完した映像を生成する工程と、
生成した前記映像を出力する工程とを含むプログラム。
【請求項１】
所定の監視領域の映像を入力する入力手段と、
前記監視領域に対応する基準画像を保持する基準画像保持手段と、
前記基準画像と入力映像とを比較して、前記入力映像内の領域に生じたイベントを検知する検知手段と、
前記イベントの検知に応じて、前記イベントが検知された前記領域の画像で現在の入力映像を補完した映像を生成する生成手段と、
生成した前記映像を出力する出力手段とを備える監視装置。
【請求項２】
前記生成手段は、前記イベントが検知された前記領域の画像を現在の入力映像に重ねた映像を生成する請求項１記載の監視装置。
【請求項３】
前記入力映像は複数の画像フレームから構成され、
前記生成手段は、前記イベントが検知された前記領域の画像を、所定の画像フレーム間隔で現在の入力映像に重ねた映像を生成する請求項２記載の監視装置。
【請求項４】
前記生成手段は、前記イベントが検知された前記領域の画像を、前記基準画像から取得して補完した映像を生成する請求項１記載の監視装置。
【請求項５】
前記検知手段は、前記基準画像と前記入力映像との比較に基づき、所定の変化がある領域を特定し、
前記生成手段は、特定された領域の画像で現在の入力映像を補完した映像を生成する請求項１記載の監視装置。
【請求項６】
前記入力手段は、監視領域の映像を構成する画像フレームを所定時間ごとに逐次入力し、
前記保持手段手段は、入力した時系列的に古い１又は複数の画像フレームを基準画像として保持し、
前記検知手段は、前記基準画像と時系列的に新しい１又は複数の画像フレームとの比較に基づき、所定の変化がある領域を特定し、
前記生成手段は、特定された領域の画像を前記時系列的に古い画像フレームから取得し、取得した画像で現在の入力映像を補完した映像を生成する請求項１記載の監視装置。
【請求項７】
前記入力手段は、監視領域の映像を構成する画像フレームを所定時間ごとに逐次入力するものであって、
前記監視装置はさらに、入力した時系列的に古い１又は複数の画像フレームを記憶する記憶手段を備え、
前記保持手段手段は、入力した時系列的に古い１又は複数の画像フレームを縮小した画像を基準画像として保持し、時系列的に新しい１又は複数の画像フレームを縮小した画像を比較画像として保持し、
前記検知手段は、前記基準画像と前記比較画像との比較に基づき、所定の変化がある領域を特定し、
前記生成手段は、特定された領域の画像を前記記憶手段に記憶された前記時系列的に古い画像フレームから取得し、取得した画像で現在の入力映像を補完した映像を生成する請求項１記載の監視装置。
【請求項８】
前記入力手段で入力した映像を記録装置に出力する記録用出力手段をさらに備え、
前記出力手段は、前記生成手段で生成した映像を表示装置に出力する請求項１記載の監視装置。
【請求項９】
所定の監視領域を監視する処理をコンピュータに実行させるためのプログラムであって、前記処理は、
所定の監視領域の映像を入力する工程と、
前記監視領域に対応する基準画像を保持する工程と、
前記基準画像と入力映像とを比較して、前記入力映像内の領域に生じたイベントを検知する工程と、
前記イベントの検知に応じて、前記イベントが検知された前記領域の画像で現在の入力映像を補完した映像を生成する工程と、
生成した前記映像を出力する工程とを含むプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−２６７２３（Ｐ２０１３−２６７２３Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５７９８９（Ｐ２０１１−１５７９８９）
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（０００２２３１８２）ＴＯＡ株式会社 (190)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（０００２２３１８２）ＴＯＡ株式会社 (190)
【Ｆターム（参考）】
[ Back to top ]