画像処理装置、画像処理方法、およびプログラム
【課題】領域情報の変更に対するユーザの作業負担を軽減することができるようにする。
【解決手段】背景画像更新部１７は、画像取得部１１で取得された画像を用いて、背景画像を逐次更新し、更新された最新の背景画像と、その所定時間前の背景画像とを背景画像保存部１８に保存させる。領域情報変化判定部１９は、最新の背景画像と、その所定時間前の背景画像とを比較し、比較結果に応じて背景画像のなかの所定の領域を示す領域情報を更新する。本発明は、例えば、監視カメラで撮像された画像を用いた監視装置に適用できる。
【解決手段】背景画像更新部１７は、画像取得部１１で取得された画像を用いて、背景画像を逐次更新し、更新された最新の背景画像と、その所定時間前の背景画像とを背景画像保存部１８に保存させる。領域情報変化判定部１９は、最新の背景画像と、その所定時間前の背景画像とを比較し、比較結果に応じて背景画像のなかの所定の領域を示す領域情報を更新する。本発明は、例えば、監視カメラで撮像された画像を用いた監視装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、領域情報の変更に対するユーザの作業負担を軽減することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
所定の空間への人、動物などの侵入者を発見するために、監視カメラにより対象とされる空間を撮影し、撮影画像から侵入者を検知する監視システムが知られている。このような監視システムでは、監視カメラの撮影により得られた画像に対して、検知対象の除外領域を設定するなどの各種の目的に応じて、所定の領域を領域情報として設定することがある。
【０００３】
異なる配置を有する複数の監視カメラを用いた監視システムにおいて、所定の１つの監視カメラで撮影された画像で設定した領域情報に基づいて、異なる視点の他の監視カメラの画像の領域情報を設定できるようにしたものがある（例えば、特許文献１参照）。これにより、複数の監視カメラで撮影される複数の画像それぞれに対して領域情報を設定する作業の負担を軽減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０１７１７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１で開示されている方法を利用しても、一度設定した領域情報に変更があった場合には、再度領域情報を設定し直す作業が必要となる。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、領域情報の変更に対するユーザの作業負担を軽減することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の画像処理装置は、対象空間を撮像して得られた画像を取得する取得手段と、取得された前記画像を用いて、背景画像を逐次更新する背景画像更新手段と、前記背景画像更新手段により更新された最新の前記背景画像と、その所定時間前の前記背景画像とを保存する背景画像保存手段と、最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新する領域情報変化判定手段とを備える。
【０００８】
本発明の一側面の画像処理方法は、取得手段と、背景画像更新手段と、背景画像保存手段と、領域情報変化判定手段とを備える画像処理装置の、前記取得手段が、対象空間を撮像して得られた画像を取得し、前記背景画像更新手段が、取得された前記画像を用いて、背景画像を逐次更新し、更新された最新の前記背景画像と、その所定時間前の前記背景画像とを前記背景画像保存手段に保存し、前記領域情報変化判定手段が、最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新するステップを含む。
【０００９】
本発明の一側面のプログラムは、コンピュータを、対象空間を撮像して得られた画像を取得する取得手段と、取得された前記画像を用いて、背景画像を逐次更新し、更新された最新の前記背景画像と、その所定時間前の前記背景画像とを背景画像保存手段に保存させる背景画像更新手段と、最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新する領域情報変化判定手段として機能させるためのものである。
【００１０】
本発明の一側面においては、対象空間を撮像して得られた画像が取得され、取得された画像を用いて、背景画像が逐次更新される。そして、更新された最新の背景画像と、その所定時間前の背景画像とが比較され、比較結果に応じて背景画像のなかの所定の領域を示す領域情報が更新される。
【００１１】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１２】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１３】
本発明の一側面によれば、領域情報の変更に対するユーザの作業負担を軽減することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した画像処理装置としての監視システムの一実施の形態の構成例を示すブロック図である。
【図２】背景画像の生成について説明する図である。
【図３】領域情報変更処理について説明する図である。
【図４】領域情報保存処理を説明するフローチャートである。
【図５】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
［監視システムの構成例］
図１は、本発明を適用した画像処理装置としての監視装置の一実施の形態の構成例を示している。
【００１６】
監視装置１は、対象とされる空間を撮影した画像に基づいて、対象空間への人、動物などの侵入者を検知する。侵入者が検知された場合、監視装置１は、警報等のアラームを出力する。
【００１７】
監視装置１は、画像取得部１１、領域情報初期設定部１２、領域情報保存部１３、差分処理部１４、ラベリング処理部１５、トラッキング処理部１６、背景画像更新部１７、背景画像保存部１８、領域情報変化判定部１９、侵入判定部２０、および操作入力部２１により構成されている。
【００１８】
画像取得部１１は、CMOS（Complementary Metal Oxide Semiconductor）センサ、監視カメラなどの撮像部を内蔵し、監視する対象空間などの被写体を撮影することで得られた画像データを取得し、出力する。画像取得部１１はまた、外部のビデオカメラ等からネットワークや信号ケーブルを介して供給される画像データを取得するものでもよい。
【００１９】
領域情報初期設定部１２は、操作入力部２１を介して行われるユーザの操作に基づいて、領域情報の初期設定を行う。領域情報初期設定部１２により設定された領域情報は、領域情報保存部１３に保存される。
【００２０】
ここで、領域情報とは、画像取得部１１で撮像される画像に対して、所定の目的で設定する領域の情報であり、例えば、検知して欲しくない範囲を設定する検知対象除外領域の領域情報などがある。また、領域情報には、障害物の領域や、オクルージョンが発生する領域を設定するなど、誤検知の防止や監視精度を向上させるために設定するものもある。さらに、領域情報は、地図上に精度良く人物の位置をマッピングするための有益な情報として用いる場合もある。本発明は、どのような目的で領域情報を設定するかは問わないが、以下では、領域情報として、障害物の領域を設定する例について説明する。
【００２１】
差分処理部１４は、画像取得部１１から供給される、撮像部（監視カメラ）が撮像したカメラ画像と、背景画像保存部１８に保存されている背景画像の、対応する画素ごとの画素値（輝度値）の差分を計算して得られる差分画像を生成する。
【００２２】
ラベリング処理部１５は、差分処理部１４から供給される差分画像に対してラベリング処理を施す。即ち、ラベリング処理部１５は、背景画像には現れず、カメラ画像のみに現れている１以上のオブジェクト（画素のかたまり）を抽出し、抽出された各オブジェクトに異なるラベルを付与して識別する。なお、差分処理部１４から供給される差分画像には、二値化処理等を必要に応じて行うことができる。
【００２３】
トラッキング処理部１６は、ラベリング処理部１５により識別された１以上のオブジェクトに対してトラッキング処理を行う。これにより、差分画像から抽出された各オブジェクトに位置の移動があった場合にも、同一のオブジェクトとして認識することができる。
【００２４】
背景画像更新部１７は、画像取得部１１で得られた最新のカメラ画像に基づいて背景画像を生成（更新）し、生成した背景画像を、背景画像保存部１８に保存されている既存の背景画像に上書きして保存（更新）する。背景画像は、例えば、最新のカメラ画像を含むＷ枚（Ｗは２以上の整数で、例えば、３００枚）のカメラ画像の対応する画素どうしの画素値の平均など、連続するＷ枚のカメラ画像を合成することにより生成される。Ｗ枚の撮影時間はＷＴ時間であるとする。なお、最新のカメラ画像は、画像取得部１１から直接取得してもよいし、差分処理部１４乃至トラッキング処理部１６を介して取得してもよい。
【００２５】
差分処理部１４、ラベリング処理部１５、トラッキング処理部１６、及び背景画像更新部１７は、背景画像を参照画像としてカメラ画像と比較し、動物体を検知する動体検知部を構成する。
【００２６】
背景画像保存部１８は、背景画像更新部１７により生成された最新の背景画像を保存（記憶）する。また、背景画像保存部１８は、最新の背景画像よりも所定時間（T時間）まえに生成された背景画像も保存する。即ち、背景画像保存部１８は、最新の背景画像と、それよりT時間前に最新の背景画像として生成されたものを少なくとも記憶している。最新の背景画像よりもどれくらい前の背景画像を保存しておくかを表すパラメータ（T時間）は、ユーザが任意に決定することができる。背景画像保存部１８は、最新の背景画像を差分処理部１４に供給し、また、最新の背景画像とT時間前の背景画像を、領域情報変化判定部１９に供給する。
【００２７】
領域情報変化判定部１９は、背景画像保存部１８から供給される、最新の背景画像とT時間前の背景画像に基づいて、領域情報保存部１３に保存されている領域情報が示す領域の画像に変化があったか否かを判定する。そして、領域情報が示す領域の画像に変化があったと判定された場合、領域情報変化判定部１９は、領域情報保存部１３に保存されている領域情報を変更（更新）する。
【００２８】
侵入判定部２０は、動体検知部で動体検知された各オブジェクトと、領域情報保存部１３に保存されている領域情報とに基づいて、侵入者があるか否かを判定する。侵入判定部２０は、侵入者があると判定された場合、警報等のアラームを出力する。また、侵入判定部２０は、LCD等の表示部を備え、画像取得部１１で得られたカメラ画像上に警告表示を行うなどの映像によるアラーム出力を行ってもよい。
【００２９】
操作入力部２１は、ユーザの操作を受け付け、入力された各種のパラメータを、そのパラメータに応じて決められた供給先へ出力する。例えば、操作入力部２１は、画像取得部１１で得られたカメラ画像上に領域情報を設定する操作を受け付け、入力された領域情報を領域情報初期設定部１２に供給する。また、操作入力部２１は、背景画像を生成するためのパラメータである合成枚数Ｗなどの入力も受け付ける。
【００３０】
［背景画像の説明］
次に、図２を参照して、監視装置１で実行される、背景画像の生成（更新）について説明する。
【００３１】
図２Aは、監視装置１と、領域情報が設定される障害物Qとの配置関係を示す俯瞰図である。図２Aにおいて、監視装置１から放射する三角形の領域Pは、監視装置１の撮像範囲（視野角）を示している。
【００３２】
図２Bは、図２Aの配置関係にある状況で、監視装置１が撮像して得たカメラ画像を示している。
【００３３】
図２Bのカメラ画像には障害物Qが含まれており、ユーザは操作入力部２１を操作して、例えば、カメラ画像上の障害物Qを囲む矩形によって、障害物Qの領域情報Rを設定する。領域情報初期設定部１２は、ユーザによって設定された障害物Qの領域情報Rを領域情報保存部１３に保存する。
【００３４】
その後、ユーザが、障害物Qを、図２Cに示すように移動したとする。移動直後の背景画像には、移動後の位置に障害物Qは現れない。背景画像を生成するためのＷ枚のカメラ画像のうち、移動後の位置に障害物Qがあるカメラ画像の枚数の比率が小さいためである。そして、背景画像における移動後の位置に障害物Qがあるカメラ画像の割合が大きくなるにつれて、図２Dに示すように、移動前の位置の障害物Qの画像が、徐々に地面などの背景の画像に変更されるとともに、移動後の位置の領域では、徐々に障害物Qの画像に変更される。
【００３５】
そして、背景画像を構成するＷ枚のカメラ画像が、全て移動後の障害物Ｑを撮像した画像となったとき、換言すれば、障害物Qが移動されてからＷＴ時間が経過したとき、背景画像は、図２Eに示すように、完全に移動後の位置に障害物Qが存在する画像となる。従って、障害物Ｑに対して設定した領域情報Ｒも、破線で示される移動後の位置に対応する領域に変更する必要がある。
【００３６】
［領域情報変更処理の説明］
そこで次に、図３を参照して、障害物Qの領域情報Rを自動で（ユーザの変更操作なしに）変更する領域情報変更処理について説明する。
【００３７】
図３は、時刻ｔ１乃至時刻ｔ４におけるカメラ画像C、背景画像B、及び俯瞰図Mを示している。なお、横方向に並ぶカメラ画像C、背景画像B、及び俯瞰図Mは同一時刻のものであり、カメラ画像C、背景画像B、及び俯瞰図Mそれぞれの右下に付された添え字は時刻ｔ１乃至ｔ４に対応している。
【００３８】
時刻ｔ１では、障害物Qは撮像範囲P内の右寄りに設置されており、カメラ画像C１と背景画像B１のいずれにおいても、画像内の右側に障害物Qが撮影されている。時刻ｔ１において、障害物Qの領域を設定した領域情報Rは、障害物Qを囲む矩形の領域となっている。
【００３９】
時刻ｔ１の直後、俯瞰図M２に示されるように、障害物Qが撮像範囲P内の左寄りに移動されると、リアルタイムのカメラ画像では、時刻ｔ２のカメラ画像C２のように、障害物Qが即座に移動先に変更される。このとき、トラッキング処理部１６は、設定されている領域情報R周辺から出現したオブジェクトObjをトラッキングし、障害物Qの移動を検知する。
【００４０】
これに対して、時刻ｔ２の背景画像B２は、障害物Qの移動からＷＴ時間がまだ経過していないので、移動前に障害物Qがあった領域に、まだ障害物Qの画像の一部が残っている。移動前に障害物Qがあった領域は、背景画像B２、背景画像B３のように、時間の経過とともに障害物Qの背景にあった地面または壁の画像に変化していく。逆に、障害物Qの移動先の領域は、時間の経過とともに、地面または壁の画像から、徐々に、障害物Qの画像に変化していく。背景画像B２および背景画像B３の、移動前に障害物Qがあった領域と移動先の領域の画素値は、障害物Qの画像の画素値と、地面または壁の画像の画素値を所定の混合比で合成した値となっている。
【００４１】
障害物Qの移動からＷT時間が経過すると、背景画像B４のように、移動前に障害物Qがあった領域は完全に地面または壁の画像に変化し、障害物Qの移動先の領域は完全に障害物Qの画像に変化している。なお、図３の背景画像B４では、移動前の領域に障害物Ｑに相当する破線を描いているが、説明のためであり、実際には表示されない。
【００４２】
背景画像更新部１７により生成された最新の背景画像が時刻ｔ４の背景画像B４であり、背景画像保存部１８に保存されているT時間前の背景画像が時刻ｔ１の背景画像B１であるとする。このとき、領域情報変化判定部１９は、移動前と移動後の障害物Qの領域の画像を、最新の背景画像B４とT時間前の背景画像B１とで比較する。
【００４３】
より詳しくは、移動前の障害物Qの領域、即ち、現在設定されている障害物Qの領域情報Rが示す領域について、最新の背景画像B４とT時間前の背景画像B１とが比較される。そして次に、障害物Qの移動先の領域、即ち、障害物Qの移動をトラッキングしたオブジェクトObjの領域について、最新の背景画像B４とT時間前の背景画像B１とが比較される。そして、障害物Qの移動前の領域と移動先の領域のいずれについても、最新の背景画像B４とT時間前の背景画像B１とで変化があると判定された場合、現在設定されている障害物Qの領域情報Rが、障害物Qの移動をトラッキングしたオブジェクトObjの領域を示す情報に変更される。
【００４４】
最新の背景画像と比較される過去の背景画像を決定するパラメータである時間T、および、最新の背景画像B４とT時間前の背景画像B１で、領域の画像に変化があるか否かを判断するためのパラメータである、画像の変化量を表す閾値は、デフォルトとして所定の値が設定されている。また、それらの値は、ユーザが所望の値に変更することもできる。
【００４５】
なお、図３では、説明のため領域情報Rを画像上に表示したが、領域情報Rの表示は省略してもよい。
【００４６】
［領域情報保存処理のフローチャート］
図４は、初期設定としての障害物領域の領域情報の保存と、障害物の移動に伴う領域情報の変更とを行う領域情報保存処理のフローチャートを示している。図４を参照して、領域情報保存処理について説明する。
【００４７】
初めに、ステップＳ１において、画像取得部１１は、撮像部で撮像したカメラ画像を取得し、領域情報初期設定部１２および差分処理部１４に出力する。
【００４８】
ステップＳ２において、監視装置１は、領域情報の初期設定を行う初期設定モードであるかを判定する。ステップＳ２で、初期設定モードであると判定された場合、処理はステップＳ３に進み、領域情報初期設定部１２は、画像取得部１１から供給されたカメラ画像を所定の表示部に表示させ、ユーザに障害物領域を入力（設定）させる。そして、領域情報初期設定部１２は、ユーザの入力に応じて設定した障害物領域の領域情報を領域情報保存部１３に保存する。ステップＳ３の後、処理はステップＳ１に戻る。
【００４９】
一方、ステップＳ２で、初期設定モードではないと判定された場合、処理はステップＳ４に進み、差分処理部１４は、差分処理を行う。即ち、差分処理部１４は、画像取得部１１から供給されたカメラ画像と、背景画像保存部１８に保存されている最新の背景画像の、対応する画素ごとの画素値の差分を計算し、その結果得られる差分画像を生成する。
【００５０】
ステップＳ５において、ラベリング処理部１５は、差分処理部１４から供給される差分画像に対してラベリング処理を施す。即ち、ラベリング処理部１５は、背景画像には現れず、カメラ画像のみに現れている１以上のオブジェクト（画素のかたまり）を抽出し、抽出された各オブジェクトに異なるラベルを付与して識別する。
【００５１】
ステップＳ６において、トラッキング処理部１６は、ラベリング処理部１５により識別された１以上のオブジェクトに対して、トラッキング処理を行う。
【００５２】
ステップＳ７において、背景画像更新部１７は、背景画像更新処理を行う。即ち、背景画像更新部１７は、最新のカメラ画像に基づいて背景画像を生成し、生成した背景画像を、背景画像保存部１８に保存されている既存の背景画像に上書きして保存（更新）する。また、背景画像更新部１７は、最新の背景画像の更新に合わせて、Ｔ時間前の背景画像も更新する。
【００５３】
ステップＳ８において、領域情報変化判定部１９は、背景画像保存部１８から、最新の背景画像と、そのT時間前の背景画像の２枚の背景画像を取得する。
【００５４】
ステップＳ９において、領域情報変化判定部１９は、現在設定されている障害物Qの領域情報Rが示す領域の画像が、最新の背景画像とT時間前の背景画像とで大きく変化しているかを判定する。
【００５５】
ステップＳ９で、現在設定されている障害物Qの領域情報Rが示す領域の画像が最新の背景画像とT時間前の背景画像とで大きく変化していないと判定された場合、処理はステップＳ１に戻る。
【００５６】
一方、ステップＳ９で、現在設定されている障害物Qの領域情報Rが示す領域の画像が最新の背景画像とT時間前の背景画像とで大きく変化していると判定された場合、即ち、障害物Ｑが移動された場合、処理はステップＳ１０に進む。そして、ステップＳ１０において、領域情報変化判定部１９は、障害物Qの移動先の領域、即ち、障害物Qの移動をトラッキングしたオブジェクトObjの領域の画像が、最新の背景画像とT時間前の背景画像とで大きく変化しているかを判定する。
【００５７】
ステップＳ１０で、障害物Qの移動先の領域の画像が、最新の背景画像とT時間前の背景画像とで大きく変化していないと判定された場合、処理はステップＳ１に戻る。
【００５８】
一方、ステップＳ１０で、障害物Qの移動先の領域の画像が、最新の背景画像とT時間前の背景画像とで大きく変化していると判定された場合、処理はステップＳ１１に進み、領域情報変化判定部１９は、障害物Qの領域情報Rを更新する。即ち、領域情報保存部１３に保存されている障害物Qの領域情報Rが、障害物Qが移動されたオブジェクトObjの領域を示す情報に変更される。
【００５９】
ステップＳ１１の後、処理はステップＳ１に戻る。ステップＳ１乃至Ｓ１１の処理は、画像取得部１１がカメラ画像を取得する毎に実行される。
【００６０】
以上のように、監視装置１によれば、撮影環境に変化が生じ、最初に設定した障害物等の領域を示す領域情報を変更する必要がある場合でも、撮影環境の変化を検出して自動的に（ユーザの変更操作なしに）領域情報を変更することができる。即ち、領域情報の変更に対するユーザの作業負担を軽減することができる。
【００６１】
なお、上述の説明では、領域情報をどのような座標系を用いて設定および保存するかについては言及しなかったが、領域情報を設定保存する際の座標系は問わない。１台の監視カメラのみを用いた監視装置であれば、カメラ画像の座標系で領域情報を保存しても良いし、複数の監視カメラを用いた監視システムであれば、特許文献１のように、ワールド座標系に変換して保存してもよい。
【００６２】
また、上述した実施の形態では、背景画像を、W枚のカメラ画像の対応する画素どうしの輝度値の平均により生成するようにしたが、背景画像は、これ以外の方法により生成するものでもよい。
【００６３】
例えば、その他の背景画像の生成方法としては、輝度値の確率分布を用いて背景画像を生成する方法がある。具体的に例を挙げると、時刻ｔ=１，２，・・・，９の間にカメラ画像のある画素PIXの輝度値が１，１，１，１，５，５，５，５，５と変化したとする。このとき、W=５として、上述したW枚の輝度値の平均によって背景画像を生成した場合には、背景画像の画素PIXの画素値は、
時刻ｔ＝６のとき、(1+1+1+5+5)/5 = 2.6
時刻ｔ＝７のとき、(1+1+5+5+5)/5 = 3.4
時刻ｔ＝８のとき、(1+5+5+5+5)/5 = 4.2
時刻ｔ＝９のとき、(5+5+5+5+5)/5 = 5.0
となる。これに対して、W枚のカメラ画像の画素PIXの輝度値の確率分布を用いて、最も出現頻度が高い輝度値を背景画像の輝度値として、背景画像の画素PIXの輝度値を、
時刻ｔ＝６のとき、1 (1,1,1,5,5で1が3回、5が2回なので)
時刻ｔ＝７のとき、5 (1,1,5,5,5で1が２回、5が３回なので)
時刻ｔ＝８のとき、5 (1,5,5,5,5)
時刻ｔ＝９のとき、5 (5,5,5,5,5)
とすることができる。このように、背景画像は、W枚のカメラ画像の輝度値の平均などのように徐々に変化するようなものの他、確率分布を用いた場合のように、輝度値がW枚のカメラ画像の輝度値の変化に対応して一気に変化するように更新されるものでもよい。
【００６４】
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００６５】
図５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００６６】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００６７】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【００６８】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【００６９】
撮像部１１２は、CCD(Charge Coupled Device)やCMOSセンサ等の撮像素子により構成される。撮像部１１２は、被写体を撮像し、撮像した被写体の画像データを、入出力インタフェース１０５を介してCPU１０１等に供給する。
【００７０】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００７１】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００７２】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【００７３】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００７４】
１ 監視装置， １１ 画像取得部， １３ 領域情報保存部， １７ 背景画像更新部， １８ 背景画像保存部， １９ 領域情報変化判定部， ２１ 操作入力部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、領域情報の変更に対するユーザの作業負担を軽減することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
所定の空間への人、動物などの侵入者を発見するために、監視カメラにより対象とされる空間を撮影し、撮影画像から侵入者を検知する監視システムが知られている。このような監視システムでは、監視カメラの撮影により得られた画像に対して、検知対象の除外領域を設定するなどの各種の目的に応じて、所定の領域を領域情報として設定することがある。
【０００３】
異なる配置を有する複数の監視カメラを用いた監視システムにおいて、所定の１つの監視カメラで撮影された画像で設定した領域情報に基づいて、異なる視点の他の監視カメラの画像の領域情報を設定できるようにしたものがある（例えば、特許文献１参照）。これにより、複数の監視カメラで撮影される複数の画像それぞれに対して領域情報を設定する作業の負担を軽減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０１７１７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１で開示されている方法を利用しても、一度設定した領域情報に変更があった場合には、再度領域情報を設定し直す作業が必要となる。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、領域情報の変更に対するユーザの作業負担を軽減することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の画像処理装置は、対象空間を撮像して得られた画像を取得する取得手段と、取得された前記画像を用いて、背景画像を逐次更新する背景画像更新手段と、前記背景画像更新手段により更新された最新の前記背景画像と、その所定時間前の前記背景画像とを保存する背景画像保存手段と、最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新する領域情報変化判定手段とを備える。
【０００８】
本発明の一側面の画像処理方法は、取得手段と、背景画像更新手段と、背景画像保存手段と、領域情報変化判定手段とを備える画像処理装置の、前記取得手段が、対象空間を撮像して得られた画像を取得し、前記背景画像更新手段が、取得された前記画像を用いて、背景画像を逐次更新し、更新された最新の前記背景画像と、その所定時間前の前記背景画像とを前記背景画像保存手段に保存し、前記領域情報変化判定手段が、最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新するステップを含む。
【０００９】
本発明の一側面のプログラムは、コンピュータを、対象空間を撮像して得られた画像を取得する取得手段と、取得された前記画像を用いて、背景画像を逐次更新し、更新された最新の前記背景画像と、その所定時間前の前記背景画像とを背景画像保存手段に保存させる背景画像更新手段と、最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新する領域情報変化判定手段として機能させるためのものである。
【００１０】
本発明の一側面においては、対象空間を撮像して得られた画像が取得され、取得された画像を用いて、背景画像が逐次更新される。そして、更新された最新の背景画像と、その所定時間前の背景画像とが比較され、比較結果に応じて背景画像のなかの所定の領域を示す領域情報が更新される。
【００１１】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１２】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１３】
本発明の一側面によれば、領域情報の変更に対するユーザの作業負担を軽減することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した画像処理装置としての監視システムの一実施の形態の構成例を示すブロック図である。
【図２】背景画像の生成について説明する図である。
【図３】領域情報変更処理について説明する図である。
【図４】領域情報保存処理を説明するフローチャートである。
【図５】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
［監視システムの構成例］
図１は、本発明を適用した画像処理装置としての監視装置の一実施の形態の構成例を示している。
【００１６】
監視装置１は、対象とされる空間を撮影した画像に基づいて、対象空間への人、動物などの侵入者を検知する。侵入者が検知された場合、監視装置１は、警報等のアラームを出力する。
【００１７】
監視装置１は、画像取得部１１、領域情報初期設定部１２、領域情報保存部１３、差分処理部１４、ラベリング処理部１５、トラッキング処理部１６、背景画像更新部１７、背景画像保存部１８、領域情報変化判定部１９、侵入判定部２０、および操作入力部２１により構成されている。
【００１８】
画像取得部１１は、CMOS（Complementary Metal Oxide Semiconductor）センサ、監視カメラなどの撮像部を内蔵し、監視する対象空間などの被写体を撮影することで得られた画像データを取得し、出力する。画像取得部１１はまた、外部のビデオカメラ等からネットワークや信号ケーブルを介して供給される画像データを取得するものでもよい。
【００１９】
領域情報初期設定部１２は、操作入力部２１を介して行われるユーザの操作に基づいて、領域情報の初期設定を行う。領域情報初期設定部１２により設定された領域情報は、領域情報保存部１３に保存される。
【００２０】
ここで、領域情報とは、画像取得部１１で撮像される画像に対して、所定の目的で設定する領域の情報であり、例えば、検知して欲しくない範囲を設定する検知対象除外領域の領域情報などがある。また、領域情報には、障害物の領域や、オクルージョンが発生する領域を設定するなど、誤検知の防止や監視精度を向上させるために設定するものもある。さらに、領域情報は、地図上に精度良く人物の位置をマッピングするための有益な情報として用いる場合もある。本発明は、どのような目的で領域情報を設定するかは問わないが、以下では、領域情報として、障害物の領域を設定する例について説明する。
【００２１】
差分処理部１４は、画像取得部１１から供給される、撮像部（監視カメラ）が撮像したカメラ画像と、背景画像保存部１８に保存されている背景画像の、対応する画素ごとの画素値（輝度値）の差分を計算して得られる差分画像を生成する。
【００２２】
ラベリング処理部１５は、差分処理部１４から供給される差分画像に対してラベリング処理を施す。即ち、ラベリング処理部１５は、背景画像には現れず、カメラ画像のみに現れている１以上のオブジェクト（画素のかたまり）を抽出し、抽出された各オブジェクトに異なるラベルを付与して識別する。なお、差分処理部１４から供給される差分画像には、二値化処理等を必要に応じて行うことができる。
【００２３】
トラッキング処理部１６は、ラベリング処理部１５により識別された１以上のオブジェクトに対してトラッキング処理を行う。これにより、差分画像から抽出された各オブジェクトに位置の移動があった場合にも、同一のオブジェクトとして認識することができる。
【００２４】
背景画像更新部１７は、画像取得部１１で得られた最新のカメラ画像に基づいて背景画像を生成（更新）し、生成した背景画像を、背景画像保存部１８に保存されている既存の背景画像に上書きして保存（更新）する。背景画像は、例えば、最新のカメラ画像を含むＷ枚（Ｗは２以上の整数で、例えば、３００枚）のカメラ画像の対応する画素どうしの画素値の平均など、連続するＷ枚のカメラ画像を合成することにより生成される。Ｗ枚の撮影時間はＷＴ時間であるとする。なお、最新のカメラ画像は、画像取得部１１から直接取得してもよいし、差分処理部１４乃至トラッキング処理部１６を介して取得してもよい。
【００２５】
差分処理部１４、ラベリング処理部１５、トラッキング処理部１６、及び背景画像更新部１７は、背景画像を参照画像としてカメラ画像と比較し、動物体を検知する動体検知部を構成する。
【００２６】
背景画像保存部１８は、背景画像更新部１７により生成された最新の背景画像を保存（記憶）する。また、背景画像保存部１８は、最新の背景画像よりも所定時間（T時間）まえに生成された背景画像も保存する。即ち、背景画像保存部１８は、最新の背景画像と、それよりT時間前に最新の背景画像として生成されたものを少なくとも記憶している。最新の背景画像よりもどれくらい前の背景画像を保存しておくかを表すパラメータ（T時間）は、ユーザが任意に決定することができる。背景画像保存部１８は、最新の背景画像を差分処理部１４に供給し、また、最新の背景画像とT時間前の背景画像を、領域情報変化判定部１９に供給する。
【００２７】
領域情報変化判定部１９は、背景画像保存部１８から供給される、最新の背景画像とT時間前の背景画像に基づいて、領域情報保存部１３に保存されている領域情報が示す領域の画像に変化があったか否かを判定する。そして、領域情報が示す領域の画像に変化があったと判定された場合、領域情報変化判定部１９は、領域情報保存部１３に保存されている領域情報を変更（更新）する。
【００２８】
侵入判定部２０は、動体検知部で動体検知された各オブジェクトと、領域情報保存部１３に保存されている領域情報とに基づいて、侵入者があるか否かを判定する。侵入判定部２０は、侵入者があると判定された場合、警報等のアラームを出力する。また、侵入判定部２０は、LCD等の表示部を備え、画像取得部１１で得られたカメラ画像上に警告表示を行うなどの映像によるアラーム出力を行ってもよい。
【００２９】
操作入力部２１は、ユーザの操作を受け付け、入力された各種のパラメータを、そのパラメータに応じて決められた供給先へ出力する。例えば、操作入力部２１は、画像取得部１１で得られたカメラ画像上に領域情報を設定する操作を受け付け、入力された領域情報を領域情報初期設定部１２に供給する。また、操作入力部２１は、背景画像を生成するためのパラメータである合成枚数Ｗなどの入力も受け付ける。
【００３０】
［背景画像の説明］
次に、図２を参照して、監視装置１で実行される、背景画像の生成（更新）について説明する。
【００３１】
図２Aは、監視装置１と、領域情報が設定される障害物Qとの配置関係を示す俯瞰図である。図２Aにおいて、監視装置１から放射する三角形の領域Pは、監視装置１の撮像範囲（視野角）を示している。
【００３２】
図２Bは、図２Aの配置関係にある状況で、監視装置１が撮像して得たカメラ画像を示している。
【００３３】
図２Bのカメラ画像には障害物Qが含まれており、ユーザは操作入力部２１を操作して、例えば、カメラ画像上の障害物Qを囲む矩形によって、障害物Qの領域情報Rを設定する。領域情報初期設定部１２は、ユーザによって設定された障害物Qの領域情報Rを領域情報保存部１３に保存する。
【００３４】
その後、ユーザが、障害物Qを、図２Cに示すように移動したとする。移動直後の背景画像には、移動後の位置に障害物Qは現れない。背景画像を生成するためのＷ枚のカメラ画像のうち、移動後の位置に障害物Qがあるカメラ画像の枚数の比率が小さいためである。そして、背景画像における移動後の位置に障害物Qがあるカメラ画像の割合が大きくなるにつれて、図２Dに示すように、移動前の位置の障害物Qの画像が、徐々に地面などの背景の画像に変更されるとともに、移動後の位置の領域では、徐々に障害物Qの画像に変更される。
【００３５】
そして、背景画像を構成するＷ枚のカメラ画像が、全て移動後の障害物Ｑを撮像した画像となったとき、換言すれば、障害物Qが移動されてからＷＴ時間が経過したとき、背景画像は、図２Eに示すように、完全に移動後の位置に障害物Qが存在する画像となる。従って、障害物Ｑに対して設定した領域情報Ｒも、破線で示される移動後の位置に対応する領域に変更する必要がある。
【００３６】
［領域情報変更処理の説明］
そこで次に、図３を参照して、障害物Qの領域情報Rを自動で（ユーザの変更操作なしに）変更する領域情報変更処理について説明する。
【００３７】
図３は、時刻ｔ１乃至時刻ｔ４におけるカメラ画像C、背景画像B、及び俯瞰図Mを示している。なお、横方向に並ぶカメラ画像C、背景画像B、及び俯瞰図Mは同一時刻のものであり、カメラ画像C、背景画像B、及び俯瞰図Mそれぞれの右下に付された添え字は時刻ｔ１乃至ｔ４に対応している。
【００３８】
時刻ｔ１では、障害物Qは撮像範囲P内の右寄りに設置されており、カメラ画像C１と背景画像B１のいずれにおいても、画像内の右側に障害物Qが撮影されている。時刻ｔ１において、障害物Qの領域を設定した領域情報Rは、障害物Qを囲む矩形の領域となっている。
【００３９】
時刻ｔ１の直後、俯瞰図M２に示されるように、障害物Qが撮像範囲P内の左寄りに移動されると、リアルタイムのカメラ画像では、時刻ｔ２のカメラ画像C２のように、障害物Qが即座に移動先に変更される。このとき、トラッキング処理部１６は、設定されている領域情報R周辺から出現したオブジェクトObjをトラッキングし、障害物Qの移動を検知する。
【００４０】
これに対して、時刻ｔ２の背景画像B２は、障害物Qの移動からＷＴ時間がまだ経過していないので、移動前に障害物Qがあった領域に、まだ障害物Qの画像の一部が残っている。移動前に障害物Qがあった領域は、背景画像B２、背景画像B３のように、時間の経過とともに障害物Qの背景にあった地面または壁の画像に変化していく。逆に、障害物Qの移動先の領域は、時間の経過とともに、地面または壁の画像から、徐々に、障害物Qの画像に変化していく。背景画像B２および背景画像B３の、移動前に障害物Qがあった領域と移動先の領域の画素値は、障害物Qの画像の画素値と、地面または壁の画像の画素値を所定の混合比で合成した値となっている。
【００４１】
障害物Qの移動からＷT時間が経過すると、背景画像B４のように、移動前に障害物Qがあった領域は完全に地面または壁の画像に変化し、障害物Qの移動先の領域は完全に障害物Qの画像に変化している。なお、図３の背景画像B４では、移動前の領域に障害物Ｑに相当する破線を描いているが、説明のためであり、実際には表示されない。
【００４２】
背景画像更新部１７により生成された最新の背景画像が時刻ｔ４の背景画像B４であり、背景画像保存部１８に保存されているT時間前の背景画像が時刻ｔ１の背景画像B１であるとする。このとき、領域情報変化判定部１９は、移動前と移動後の障害物Qの領域の画像を、最新の背景画像B４とT時間前の背景画像B１とで比較する。
【００４３】
より詳しくは、移動前の障害物Qの領域、即ち、現在設定されている障害物Qの領域情報Rが示す領域について、最新の背景画像B４とT時間前の背景画像B１とが比較される。そして次に、障害物Qの移動先の領域、即ち、障害物Qの移動をトラッキングしたオブジェクトObjの領域について、最新の背景画像B４とT時間前の背景画像B１とが比較される。そして、障害物Qの移動前の領域と移動先の領域のいずれについても、最新の背景画像B４とT時間前の背景画像B１とで変化があると判定された場合、現在設定されている障害物Qの領域情報Rが、障害物Qの移動をトラッキングしたオブジェクトObjの領域を示す情報に変更される。
【００４４】
最新の背景画像と比較される過去の背景画像を決定するパラメータである時間T、および、最新の背景画像B４とT時間前の背景画像B１で、領域の画像に変化があるか否かを判断するためのパラメータである、画像の変化量を表す閾値は、デフォルトとして所定の値が設定されている。また、それらの値は、ユーザが所望の値に変更することもできる。
【００４５】
なお、図３では、説明のため領域情報Rを画像上に表示したが、領域情報Rの表示は省略してもよい。
【００４６】
［領域情報保存処理のフローチャート］
図４は、初期設定としての障害物領域の領域情報の保存と、障害物の移動に伴う領域情報の変更とを行う領域情報保存処理のフローチャートを示している。図４を参照して、領域情報保存処理について説明する。
【００４７】
初めに、ステップＳ１において、画像取得部１１は、撮像部で撮像したカメラ画像を取得し、領域情報初期設定部１２および差分処理部１４に出力する。
【００４８】
ステップＳ２において、監視装置１は、領域情報の初期設定を行う初期設定モードであるかを判定する。ステップＳ２で、初期設定モードであると判定された場合、処理はステップＳ３に進み、領域情報初期設定部１２は、画像取得部１１から供給されたカメラ画像を所定の表示部に表示させ、ユーザに障害物領域を入力（設定）させる。そして、領域情報初期設定部１２は、ユーザの入力に応じて設定した障害物領域の領域情報を領域情報保存部１３に保存する。ステップＳ３の後、処理はステップＳ１に戻る。
【００４９】
一方、ステップＳ２で、初期設定モードではないと判定された場合、処理はステップＳ４に進み、差分処理部１４は、差分処理を行う。即ち、差分処理部１４は、画像取得部１１から供給されたカメラ画像と、背景画像保存部１８に保存されている最新の背景画像の、対応する画素ごとの画素値の差分を計算し、その結果得られる差分画像を生成する。
【００５０】
ステップＳ５において、ラベリング処理部１５は、差分処理部１４から供給される差分画像に対してラベリング処理を施す。即ち、ラベリング処理部１５は、背景画像には現れず、カメラ画像のみに現れている１以上のオブジェクト（画素のかたまり）を抽出し、抽出された各オブジェクトに異なるラベルを付与して識別する。
【００５１】
ステップＳ６において、トラッキング処理部１６は、ラベリング処理部１５により識別された１以上のオブジェクトに対して、トラッキング処理を行う。
【００５２】
ステップＳ７において、背景画像更新部１７は、背景画像更新処理を行う。即ち、背景画像更新部１７は、最新のカメラ画像に基づいて背景画像を生成し、生成した背景画像を、背景画像保存部１８に保存されている既存の背景画像に上書きして保存（更新）する。また、背景画像更新部１７は、最新の背景画像の更新に合わせて、Ｔ時間前の背景画像も更新する。
【００５３】
ステップＳ８において、領域情報変化判定部１９は、背景画像保存部１８から、最新の背景画像と、そのT時間前の背景画像の２枚の背景画像を取得する。
【００５４】
ステップＳ９において、領域情報変化判定部１９は、現在設定されている障害物Qの領域情報Rが示す領域の画像が、最新の背景画像とT時間前の背景画像とで大きく変化しているかを判定する。
【００５５】
ステップＳ９で、現在設定されている障害物Qの領域情報Rが示す領域の画像が最新の背景画像とT時間前の背景画像とで大きく変化していないと判定された場合、処理はステップＳ１に戻る。
【００５６】
一方、ステップＳ９で、現在設定されている障害物Qの領域情報Rが示す領域の画像が最新の背景画像とT時間前の背景画像とで大きく変化していると判定された場合、即ち、障害物Ｑが移動された場合、処理はステップＳ１０に進む。そして、ステップＳ１０において、領域情報変化判定部１９は、障害物Qの移動先の領域、即ち、障害物Qの移動をトラッキングしたオブジェクトObjの領域の画像が、最新の背景画像とT時間前の背景画像とで大きく変化しているかを判定する。
【００５７】
ステップＳ１０で、障害物Qの移動先の領域の画像が、最新の背景画像とT時間前の背景画像とで大きく変化していないと判定された場合、処理はステップＳ１に戻る。
【００５８】
一方、ステップＳ１０で、障害物Qの移動先の領域の画像が、最新の背景画像とT時間前の背景画像とで大きく変化していると判定された場合、処理はステップＳ１１に進み、領域情報変化判定部１９は、障害物Qの領域情報Rを更新する。即ち、領域情報保存部１３に保存されている障害物Qの領域情報Rが、障害物Qが移動されたオブジェクトObjの領域を示す情報に変更される。
【００５９】
ステップＳ１１の後、処理はステップＳ１に戻る。ステップＳ１乃至Ｓ１１の処理は、画像取得部１１がカメラ画像を取得する毎に実行される。
【００６０】
以上のように、監視装置１によれば、撮影環境に変化が生じ、最初に設定した障害物等の領域を示す領域情報を変更する必要がある場合でも、撮影環境の変化を検出して自動的に（ユーザの変更操作なしに）領域情報を変更することができる。即ち、領域情報の変更に対するユーザの作業負担を軽減することができる。
【００６１】
なお、上述の説明では、領域情報をどのような座標系を用いて設定および保存するかについては言及しなかったが、領域情報を設定保存する際の座標系は問わない。１台の監視カメラのみを用いた監視装置であれば、カメラ画像の座標系で領域情報を保存しても良いし、複数の監視カメラを用いた監視システムであれば、特許文献１のように、ワールド座標系に変換して保存してもよい。
【００６２】
また、上述した実施の形態では、背景画像を、W枚のカメラ画像の対応する画素どうしの輝度値の平均により生成するようにしたが、背景画像は、これ以外の方法により生成するものでもよい。
【００６３】
例えば、その他の背景画像の生成方法としては、輝度値の確率分布を用いて背景画像を生成する方法がある。具体的に例を挙げると、時刻ｔ=１，２，・・・，９の間にカメラ画像のある画素PIXの輝度値が１，１，１，１，５，５，５，５，５と変化したとする。このとき、W=５として、上述したW枚の輝度値の平均によって背景画像を生成した場合には、背景画像の画素PIXの画素値は、
時刻ｔ＝６のとき、(1+1+1+5+5)/5 = 2.6
時刻ｔ＝７のとき、(1+1+5+5+5)/5 = 3.4
時刻ｔ＝８のとき、(1+5+5+5+5)/5 = 4.2
時刻ｔ＝９のとき、(5+5+5+5+5)/5 = 5.0
となる。これに対して、W枚のカメラ画像の画素PIXの輝度値の確率分布を用いて、最も出現頻度が高い輝度値を背景画像の輝度値として、背景画像の画素PIXの輝度値を、
時刻ｔ＝６のとき、1 (1,1,1,5,5で1が3回、5が2回なので)
時刻ｔ＝７のとき、5 (1,1,5,5,5で1が２回、5が３回なので)
時刻ｔ＝８のとき、5 (1,5,5,5,5)
時刻ｔ＝９のとき、5 (5,5,5,5,5)
とすることができる。このように、背景画像は、W枚のカメラ画像の輝度値の平均などのように徐々に変化するようなものの他、確率分布を用いた場合のように、輝度値がW枚のカメラ画像の輝度値の変化に対応して一気に変化するように更新されるものでもよい。
【００６４】
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００６５】
図５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００６６】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００６７】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【００６８】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【００６９】
撮像部１１２は、CCD(Charge Coupled Device)やCMOSセンサ等の撮像素子により構成される。撮像部１１２は、被写体を撮像し、撮像した被写体の画像データを、入出力インタフェース１０５を介してCPU１０１等に供給する。
【００７０】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００７１】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００７２】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【００７３】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００７４】
１ 監視装置， １１ 画像取得部， １３ 領域情報保存部， １７ 背景画像更新部， １８ 背景画像保存部， １９ 領域情報変化判定部， ２１ 操作入力部
【特許請求の範囲】
【請求項１】
対象空間を撮像して得られた画像を取得する取得手段と、
取得された前記画像を用いて、背景画像を逐次更新する背景画像更新手段と、
前記背景画像更新手段により更新された最新の前記背景画像と、その所定時間前の前記背景画像とを保存する背景画像保存手段と、
最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新する領域情報変化判定手段と
を備える画像処理装置。
【請求項２】
前記領域情報は、移動可能な物体の領域を示す情報であり、
前記物体の領域を前記物体の移動に応じてトラッキングするトラッキング手段をさらに備え、
前記領域情報変化判定手段は、現在設定されている前記領域情報が示す領域と、前記トラッキング手段によりトラッキングされた前記物体の移動先の領域について、最新の前記背景画像と、その所定時間前の前記背景画像とを比較する
請求項１に記載の画像処理装置。
【請求項３】
前記領域情報変化判定手段は、現在設定されている前記領域情報が示す領域の画像が、最新の前記背景画像と、その所定時間前の前記背景画像とで大きく変化しているか否かを判定し、大きく変化していると判定された場合、前記物体の移動先の領域の画像が、最新の前記背景画像と、その所定時間前の前記背景画像とで大きく変化しているか否かを判定し、大きく変化していると判定された場合、前記領域情報を更新する
請求項２に記載の画像処理装置。
【請求項４】
前記背景画像保存手段に保存する前記所定時間前の前記背景画像を特定する前記所定時間のパラメータを設定する設定手段をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
前記最新の前記背景画像と、その所定時間前の前記背景画像との間の画像の変化量を表す閾値のパラメータを設定する設定手段をさらに備える
請求項１に記載の画像処理装置。
【請求項６】
前記背景画像更新手段は、連続する所定枚数の前記画像を合成することで、更新する前記背景画像を生成する
請求項１に記載の画像処理装置。
【請求項７】
取得手段と、背景画像更新手段と、背景画像保存手段と、領域情報変化判定手段とを備える画像処理装置の、
前記取得手段が、対象空間を撮像して得られた画像を取得し、
前記背景画像更新手段が、取得された前記画像を用いて、背景画像を逐次更新し、更新された最新の前記背景画像と、その所定時間前の前記背景画像とを前記背景画像保存手段に保存し、
前記領域情報変化判定手段が、最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新する
ステップを含む画像処理方法。
【請求項８】
コンピュータを、
対象空間を撮像して得られた画像を取得する取得手段と、
取得された前記画像を用いて、背景画像を逐次更新し、更新された最新の前記背景画像と、その所定時間前の前記背景画像とを背景画像保存手段に保存させる背景画像更新手段と、
最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新する領域情報変化判定手段
として機能させるためのプログラム。
【請求項１】
対象空間を撮像して得られた画像を取得する取得手段と、
取得された前記画像を用いて、背景画像を逐次更新する背景画像更新手段と、
前記背景画像更新手段により更新された最新の前記背景画像と、その所定時間前の前記背景画像とを保存する背景画像保存手段と、
最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新する領域情報変化判定手段と
を備える画像処理装置。
【請求項２】
前記領域情報は、移動可能な物体の領域を示す情報であり、
前記物体の領域を前記物体の移動に応じてトラッキングするトラッキング手段をさらに備え、
前記領域情報変化判定手段は、現在設定されている前記領域情報が示す領域と、前記トラッキング手段によりトラッキングされた前記物体の移動先の領域について、最新の前記背景画像と、その所定時間前の前記背景画像とを比較する
請求項１に記載の画像処理装置。
【請求項３】
前記領域情報変化判定手段は、現在設定されている前記領域情報が示す領域の画像が、最新の前記背景画像と、その所定時間前の前記背景画像とで大きく変化しているか否かを判定し、大きく変化していると判定された場合、前記物体の移動先の領域の画像が、最新の前記背景画像と、その所定時間前の前記背景画像とで大きく変化しているか否かを判定し、大きく変化していると判定された場合、前記領域情報を更新する
請求項２に記載の画像処理装置。
【請求項４】
前記背景画像保存手段に保存する前記所定時間前の前記背景画像を特定する前記所定時間のパラメータを設定する設定手段をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
前記最新の前記背景画像と、その所定時間前の前記背景画像との間の画像の変化量を表す閾値のパラメータを設定する設定手段をさらに備える
請求項１に記載の画像処理装置。
【請求項６】
前記背景画像更新手段は、連続する所定枚数の前記画像を合成することで、更新する前記背景画像を生成する
請求項１に記載の画像処理装置。
【請求項７】
取得手段と、背景画像更新手段と、背景画像保存手段と、領域情報変化判定手段とを備える画像処理装置の、
前記取得手段が、対象空間を撮像して得られた画像を取得し、
前記背景画像更新手段が、取得された前記画像を用いて、背景画像を逐次更新し、更新された最新の前記背景画像と、その所定時間前の前記背景画像とを前記背景画像保存手段に保存し、
前記領域情報変化判定手段が、最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新する
ステップを含む画像処理方法。
【請求項８】
コンピュータを、
対象空間を撮像して得られた画像を取得する取得手段と、
取得された前記画像を用いて、背景画像を逐次更新し、更新された最新の前記背景画像と、その所定時間前の前記背景画像とを背景画像保存手段に保存させる背景画像更新手段と、
最新の前記背景画像と、その所定時間前の前記背景画像とを比較し、比較結果に応じて前記背景画像のなかの所定の領域を示す領域情報を更新する領域情報変化判定手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１４７０８３（Ｐ２０１２−１４７０８３Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−１９５４（Ｐ２０１１−１９５４）
【出願日】平成２３年１月７日（２０１１．１．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月７日（２０１１．１．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]