ネットワーク機器、ネットワークシステムおよび監視カメラシステム
【課題】監視カメラにおける動体または不動体の検知部の検知状態（検知中、検知停止中等）を、ネットワークを介して接続される監視装置側で認識可能とする。
【解決手段】監視カメラは動体または不動体の検知部を有している。検知部は、１フレーム毎に、画像データを処理して、動体または不動体を検知する。監視カメラは、画像データおよびメタデータを、監視装置に送信する。各フレームのメタデータは、時刻情報、位置情報および検知情報を含む。検知情報は、検知部の検知状態を示す情報（検知ステータス）と、検知部で検知された動体または不動体に関する情報（オブジェクト数、オブジェクト情報）とを持つ。検知ステータスは、「検知中」あるいは「検知停止中」を示す。監視装置側では、メタデータに含まれる検知ステータスにより、検知部の検知状態を認識でき、その後の処理に利用できる。
【解決手段】監視カメラは動体または不動体の検知部を有している。検知部は、１フレーム毎に、画像データを処理して、動体または不動体を検知する。監視カメラは、画像データおよびメタデータを、監視装置に送信する。各フレームのメタデータは、時刻情報、位置情報および検知情報を含む。検知情報は、検知部の検知状態を示す情報（検知ステータス）と、検知部で検知された動体または不動体に関する情報（オブジェクト数、オブジェクト情報）とを持つ。検知ステータスは、「検知中」あるいは「検知停止中」を示す。監視装置側では、メタデータに含まれる検知ステータスにより、検知部の検知状態を認識でき、その後の処理に利用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ネットワーク機器、ネットワークシステムおよび監視カメラシステムに関する。詳しくは、この発明は、他のネットワーク機器に画像データと共に送信するメタデータに、検知部で検知された動体または不動体に関する情報の他に、検知部の検知状態を示す情報を含めることにより、他のネットワーク機器側で当該検知部の検知状態を認識可能としたネットワーク機器等に係るものである。
【背景技術】
【０００２】
監視カメラシステムとして、監視カメラ（ネットワークカメラ）がネットワークを介して記録装置に接続され、監視画像を撮像して得られた画像データを監視カメラからネットワークを通じて記録装置に送信して記録するものがある（例えば、特許文献１参照）。この種の監視カメラシステムで、さらに、監視カメラが動体検知、不動体検知等の機能を持ち、当該監視カメラから記録装置に、検知情報を含むメタデータを送信して画像データと共に記録することが考えられている。
【特許文献１】特開２００６−８０５９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述したように監視カメラから記録装置に送信される検知情報は、例えば、機器の異常等によって動体または不動体の検知が停止されている期間にあっては、動体または不動体が検知されなかった場合と同じ状態となる。この場合、記録装置に記録された画像データから、検知情報に基づいて、動体または不動体がある期間を探索する場合、実際には動体または不動体が存在する期間であっても、動体または不動体の検知が停止されている期間であった場合には、動体または不動体のない場合と検知情報が同じになっているので、正確な探索を行うことができなくなる。
【０００４】
図１４は、従来における、監視カメラから記録装置に送信されて記録される画像データおよび動体の検知情報の一例を示している。
【０００５】
第ｎフレームでは、動体検知によって動体が検知されず、監視カメラから記録装置には動体なしの検知情報が送信されて記録される。第ｎ＋１フレームでは、動体検知によって動体が検知され、監視カメラから記録装置には動体ありの検知情報が送信されて記録される。第ｎ＋２フレームでは、動体検知によって動体が検知され、監視カメラから記録装置には動体ありの検知情報が送信されて記録される。
【０００６】
第ｎ＋３フレームでは、動体検知によって動体が検知されず、監視カメラから記録装置には動体なしの検知情報が送信されて記録される。第ｎ＋４フレーム〜第ｎ＋６フレームでは、何らかの原因で動体検知が停止されており、動体が検知されず、検知情報は第ｎ＋３フレームと同じであることから、監視カメラから記録装置には検知情報は送信されない。第ｎ＋７フレームでは、動体検知が再開されるが、当該動体検知によって動体が検知されず、検知情報は第ｎ＋３フレームと同じであることから、監視カメラから記録装置には検知情報は送信されない。
【０００７】
なお、図１４においては、送信される検知情報を実線で示し、送信されない検知情報を破線で示している。
【０００８】
このように、動体検知が停止されている第ｎ＋４フレーム〜第ｎ＋６フレームでは動体がない場合と検知情報が同じになるので、例えば、第ｎ＋５フレームに動体ＭＯがあった場合にあっても、検知情報から当該動体ＭＯがある期間（第ｎ＋５フレーム）を探索することができない。
【０００９】
この発明の目的は、第１のネットワーク機器における動体または不動体の検知部の検知状態を、第１のネットワークから画像データおよびメタデータを送る第２のネットワーク機器側で認識可能とすることにある。
【課題を解決するための手段】
【００１０】
この発明の概念は、
第１のネットワーク機器と第２のネットワーク機器とがネットワークを介して接続されたネットワークシステムであって、
上記第１のネットワーク機器は、
画像データを処理し、動体または不動体を検知する検知部と、
上記検知部の検知状態を示す情報および上記検知部で検知された動体または不動体に関する情報を含むメタデータを生成するメタデータ生成部と、
上記画像データおよび上記メタデータ生成部で生成されたメタデータを上記第２のネットワーク機器に送信するデータ送信部とを有し、
上記第２のネットワーク機器は、 上記第１のネットワーク機器から送信されてくる画像データおよびメタデータを受信するデータ受信部と、
上記データ受信部で受信された画像データおよびメタデータを記録するデータ記録部とを有する
ことを特徴とするネットワークシステムにある。
【００１１】
この発明において、例えば、監視カメラ、カメラサーバ等の第１のネットワーク機器は、ネットワークを介して、監視装置（コンピュータ）、記録装置（レコーダ）等の第２のネットワーク機器に接続されている。
【００１２】
第１のネットワーク機器では、検知部において、画像データを処理して、動体または不動体が検知される。この検知部では、例えば、フレーム毎に動体または不動体の検知動作が行われる。第１のネットワーク機器が監視カメラである場合、処理対象の画像データは、撮像して得られた監視画像に対応した画像データである。第１のネットワーク機器から第２のネットワーク機器には、画像データおよびメタデータが送信される。
【００１３】
このメタデータには、検知部の検知状態を示す情報および検知部で検知された動体または不動体に関する情報が含まれる。検知部の検知状態を示す情報は、例えば、検知中、背景取得中、ＰＴＺ（Pan Tilt Zoom）動作中、映像異常、機器異常等である。例えば、検知部の検知状態が検知中である場合には動体または不動体の検知が行われるが、その他の場合には動体または不動体の検知は行われず、検知停止中となる。
【００１４】
第２のネットワーク機器では、第１のネットワーク機器から送信されてくる画像データおよびメタデータが受信されて、記録される。メタデータには、上述したように、検知部の検知状態を示す情報が含まれていることから、当該第２のネットワーク機器では、第１のネットワーク機器の検知部における検知状態を容易に知ることができる。
【００１５】
この発明において、例えば、第２のネットワーク機器では、上述の検知部の検知状態を示す情報を利用した処理が行われるようにしてもよい。例えば、第２のネットワーク機器では、検知部の検知状態を示す情報を利用して、検知部が検知を停止している期間に対応した画像データを処理し、動体または不動体を検知する処理が行われる。また、例えば、第２のネットワーク機器では、検知部の検知状態を示す情報を利用して、検知部の検知状態を、画像データによる画像に対応させて表示する処理が行われる。
【発明の効果】
【００１６】
この発明によれば、他のネットワーク機器に画像データと共に送信するメタデータに、検知部で検知された動体または不動体に関する情報の他に、検知部の検知状態を示す情報を含めるものであり、他のネットワーク機器側で当該検知部の検知状態を認識でき、その後の処理に利用できる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照しながら、この発明の実施の形態について説明する。
【００１８】
図１は、第１のネットワーク機器１１と第２のネットワーク機器１２とがネットワーク１３を介して接続されたネットワークシステム１０である。第１のネットワーク機器１１は、例えば、監視カメラ、カメラサーバ等である。また、第２のネットワーク機器１２は、例えば、監視装置（コンピュータ）、記録装置（レコーダ）等である。
【００１９】
第１のネットワーク機器１１は、動体または不動体を検知する検知部を有している。この検知部は、画像データを処理し、動体または不動体を検知する。この場合、検知部は、フレーム毎に、動体または不動体の検知動作を行う。例えば、第１のネットワーク機器１１が監視カメラ等の撮像機器である場合、当該第１のネットワーク機器１１では、自身が撮像して生成した画像データを処理して、動体または不動体の検知が行われる。この場合、第１のネットワーク機器１１は、データ生成部を有している。また、例えば、第１のネットワーク機器１１がカメラサーバ等の録画機器である場合、当該第１のネットワーク機器１１では、他の機器から供給される画像データ、あるいは自身が記録メディアから再生した画像データを処理して、動体または不動体の検知が行われる。
【００２０】
第１のネットワーク機器は、検知情報（検知部の検知状態を示す情報および検知部で検知された動体または不動体に関する情報）を含むメタデータを生成するメタデータ生成部を有している。図２は、例えば、後述する監視カメラで生成されて監視装置に送信される、メタデータの１フレーム分を示している。このメタデータには、時刻情報、位置情報および検知情報が含まれている。
【００２１】
時刻情報は、時刻およびフレームカウントからなっている。時刻は現在時刻を示す時分秒であり、フレームカウントは監視カメラが起動してからのフレーム数である。位置情報は、パン位置、チルト位置およびズーム倍率からなっている。検知情報は、検知ステータス、オブジェクト数、およびオブジェクト情報からなっている。
【００２２】
検知ステータスは、検知部の検知状態を示す情報を構成している。この検知ステータスは、例えば、検知中(0x01）、背景取得中(0x02）、ＰＴＺ（Pan Tilt Zoom）動作中(0x03）、映像異常(0x04）、機器異常(0x05）等である。なお、検知部では、検知中である場合には動体または不動体の検知が行われるが、その他の場合には動体または不動体の検知は行われず、検知停止中となる。
【００２３】
オブジェクト数は、検知された動体または不動体の個数である。オブジェクト情報は、オブジェクト数分だけ存在する。オブジェクト情報は、検知部で検知された動体または不動体に関する情報を構成している。オブジェクト数が０である場合、オブジェクト情報は存在しない。オブジェクト数が０となるのは、検知ステータスが検知中(0x01）で、検知部で検知が行われたが、動体または不動体が検知されなかった場合、あるいは、検知ステータスが検知中以外で、検知部で検知が行われなかった場合が該当する。
【００２４】
オブジェクト情報は、オブジェクトクラス、座標、差分値、検知時間からなっている。オブジェクトクラスは、動体検知であるか不動体検知であるかを示す情報である。座標は、検知された動体または不動体の位置を示す座標である。差分値は、検知された動体または不動体と背景との画素レベルの差である。検知時間は、検知された動体または不動体が最初に検知された時刻である。この検知時間により、動体または不動体の滞在時間を求めることができる。
【００２５】
第１のネットワーク機器１１は、第２のネットワーク機器１２に、画像データおよびメタデータを送信するデータ送信部を有している。データ送信部は、画像データの各フレームに対応して、図２に示すようなメタデータを送信する。ただし、データ送信部は、検知情報を構成する各情報に変化がないフレームにあっては、伝送容量を低減するために、当該メタデータを送信しない。例えば、動体または不動体が検知されないフレームが連続する場合、最初のフレームでのみメタデータの送信が行われる。また、検知中以外の所定の検知ステータスにあるフレームが連続する場合、最初のフレームでのみメタデータの送信が行われる。
【００２６】
第２のネットワーク機器１２は、第１のネットワーク機器１１から送信されてくる画像データおよびメタデータを受信するデータ受信部と、この受信された画像データおよびメタデータ記録するデータ記録部を有している。上述したように、画像データの各フレームに対応して送信されてくるメタデータには、検知部の検知状態を示す情報を構成する検知ステータスが含まれているので、第２のネットワーク機器１２側では、第１のネットワーク機器１１の検知部における検知状態を認識できる。
【００２７】
第２のネットワーク機器１２は、検知ステータス（検知部の検知状態を示す情報）を利用した処理を行うデータ処理部を有している。例えば、データ処理部は、検知ステータスを利用して、検知部が検知を停止している期間に対応した画像データを処理し、動体または不動体を検知する処理を行う。また、例えば、データ処理部は、検知ステータスを利用して、検知部の検知状態を、画像データによる画像に対応させて表示する処理を行う。
【００２８】
次に、ネットワークシステム１０の具体例としての監視カメラシステム１００を説明する。図３は、監視カメラシステム１００の構成例を示している。この監視カメラシステム１００は、ネットワーク１０１に、監視カメラ１０２ａ，１０２ｂおよび監視装置１０４が接続された構成となっている。監視装置１０４はパーソナルコンピュータで構成されている。
【００２９】
監視カメラ１０２ａ，１０２ｂは、ＰＴＺ型のカメラであり、パン・チルト・ズームの機能を持っている。この監視カメラ１０２ａ，１０２ｂは、監視画像を撮像し、この監視画像に対応した画像データを生成し、この画像データを監視装置１０４に送信する。また、この監視カメラ１０２ａ，１０２ｂは、動体または不動体の検知機能を持っており、検知された動体または不動体に関する情報を含むメタデータを生成し、このメタデータを監視装置１０４に送信する。
【００３０】
監視装置１０４は、監視カメラ１０２ａ，１０２ｂからネットワーク１０１を介して送られてくる画像データおよびメタデータをストレージに蓄積し、またこの画像データによる画像をモニタに表示する。ユーザは、監視カメラ１０２ａ，１０２ｂのパン・チルト・ズームの設定、さらには、動体または不動体の検知条件の設定等を、監視装置１０４側で行うことができる。ユーザが監視カメラ１０２ａ，１０２ｂにおける動体または不動体の検知条件の設定を行う際、監視装置１０４はユーザに設定画面を提供する。
【００３１】
監視カメラ１０２（１０２ａ，１０２ｂ）の構成例を、図４を用いて説明する。
【００３２】
図４において、監視カメラ１０２は、制御部１２１と、撮像部１２２と、ＰＴＺ制御部１２３と、撮像信号処理部１２４と、画像データ処理部１２５と、動体検知部１２６と、不動体検知部１２７と、メタデータ生成部１２８と、伝送部１２９とを有している。
【００３３】
制御部１２１は、監視カメラ１０２の各部の動作を制御する。この制御部１２１は、例えば、ＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read OnlyMemory)と、ＲＡＭ(Random Access Memory)を備えている。この場合、ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出し、読み出した制御プログラムをＲＡＭに転送して展開し、当該展開された制御プログラムを読み出して実行することで、各部の動作を制御する。
【００３４】
撮像部１２２は、図示しない撮像レンズおよび撮像素子を有しており、監視画像を撮像し、この監視画像に対応した撮像信号を出力する。撮像素子は、ＣＣＤ(Charged Coupled Device)あるいはＣＭＯＳ(ComplementaryMetal-Oxide Semiconductor)等の撮像素子である。撮像部１２２は、さらに、パン・チルト・ズーム機能（ＰＴＺ機能）を備えている。ＰＴＺ制御部１２３は、制御部１２１の制御の下、撮像部１２２におけるパン位置、チルト位置、ズーム倍率を制御する。
【００３５】
撮像信号処理部１２４は、撮像部１２２から出力される撮像信号（アナログ信号）のサンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、画像データを生成する。撮像部１２２および撮像信号処理部１２４は、画像データ生成部を構成している。画像データ処理部１２５は、撮像信号処理部１２４で生成された画像データに対してデータ圧縮処理を行って圧縮画像データを生成する。
【００３６】
動体検知部１２６は、撮像信号処理部１２４で生成された画像データを処理することで、この画像データによる画像から動体領域を検知する。不動体検知部１２７は、撮像信号処理部１２４で生成された画像データを処理することで、この画像データによる画像から不動体領域（物体の発生領域、物体の消失領域）を検知する。
【００３７】
動体検知部１２６における動体検知は、ユーザによる設定で動体の検知が選択され、かつ当該動体検知部１２６の検知状態が「検知中」にある場合に、１フレーム毎に行われる。動体検知が選択されるが、当該動体検知部１２６の検知状態が、「検知中」以外、つまり、「背景取得中」、「ＰＴＺ動作中」、「映像異常」、「機器異常」等にある場合には、動体検知は行われない。「背景取得中」、「映像異常」および「機器異常」の各場合には、検知動作を行うことができないからである。また、「ＰＴＺ動作中」の場合には、検知動作自体は可能であるが、検知結果が不安定となるからである。
【００３８】
同様に、不動体検知部１２７における不動体検知は、ユーザによる設定で不動体の検知が選択され、かつ当該不動体検知部１２７の検知状態が「検知中」にある場合に、１フレーム毎に行われる。不動体検知が選択されるが、当該不動体検知部１２７の検知状態が、「検知中」以外、つまり、「背景取得中」、「ＰＴＺ動作中」、「映像異常」、「機器異常」等にある場合には、不動体検知は行われない。
【００３９】
メタデータ生成部１２８は、各フレームで、検知情報を含むメタデータを生成する（図２参照）。ここで、検知情報は、動体検知部１２６または不動体検知部１２７の検知状態（検知ステータス）、および動体検知部１２６または不動体検知部１２７で検知された動体または不動体に関する情報（オブジェクト数、オブジェクト情報等）である。メタデータ生成部１２８は、メタデータに含める検知情報を、検知部１２６，１２７からの検知情報および制御部１２１からの情報等に基づいて生成する。
【００４０】
伝送部１２９は、画像データ処理部１２５で生成された圧縮画像データおよびメタデータ生成部１２８で生成されたメタデータを、ＦＴＰ（File Transfer Protocol）、ＨＴＴＰ（HypertextTransfer Protocol）等のプロトコルにより、ネットワーク１０１を介して、監視装置１０４に送信する。この伝送部１２９は、データ送信部を構成している。ここで、伝送部１２９は、検知情報を構成する各情報に変化がないフレームにあっては、伝送容量を低減するために、当該メタデータを送信しない。例えば、動体または不動体が検知されないフレームが連続する場合、最初のフレームでのみメタデータの送信が行われる。また、検知中以外の所定の検知ステータスにあるフレームが連続する場合、最初のフレームでのみメタデータの送信が行われる。
【００４１】
上述の動体検知部１２６の具体例（特願２００４−２６６０１２号参照）を、図５を用いて説明する。図５において、動体検知部１２６は、入力端子１３１、過去画像保持部１３２、フレーム間差分処理部１３３、背景画像保持部１３４、フレーム間差分処理部１３５、変化連続性検出部１３６および出力端子１３７を有している。
【００４２】
入力端子１３１は、画像データＶＤを入力するための端子である。過去画像保持部１３２は、過去数フレームの画像データを過去画像データ群として保持する。フレーム間差分処理部１３３は、過去画像保持部１３２に保持されている過去数フレームの画像データと、入力端子１３１に入力される現フレームの画像データとの差分値を求める。
【００４３】
背景画像保持部１３４は、背景画像の画像データを保持する。フレーム間差分処理部１３５は、背景画像保持部１３４に保持されている背景画像の画像データと、入力端子１３１に入力される現フレームの画像データとの差分を検出し、この差分値に基づいて現フレーム画像のうち背景画像と異なる領域を検出する。
【００４４】
上述したフレーム間差分処理部１３３は、フレーム間差分処理部１３５で検出された領域に基づき、差分値を求める処理を、当該検出領域のみで行い、高速な処理を実現すると共に、動き領域として過去に動体が存在していた領域（残像領域）が検出されることを防止する。
【００４５】
変化連続性検出部１３６は、フレーム間差分処理部１３３で求められた数フレーム分の差分値に基づいて、画素毎に、変化連続性を検出して、動体領域（動き領域）か否かを検出する。この場合、画素毎に、数フレーム分の差分値に対してそれぞれ閾値処理を行い、閾値を越えた状態が一定時間以上継続した場合には、動体領域を構成する画素であるとする。
【００４６】
変化連続性検出部１３６における検出処理について、図６（Ａ）〜（Ｃ）を参照して、さらに説明する。この図６（Ａ）〜（Ｃ）は、ある画素における数フレーム分の差分値を、横軸に過去フレームの時間、縦軸にそれぞれの過去フレームの差分値をとって、示している。
【００４７】
ある画素に物体（動体）が無い場合、図６（Ａ）に示すように、数フレーム分の差分値は小さい状態が継続したものとなる。次に、ある画素に時刻ｔ１のフレームで物体が進入してきて、現フレームでも当該物体が存在する場合、図６（Ｂ）に示すように、時刻ｔ１以前のフレームの差分値は大きく、それ以後のフレームの差分値は小さくなる。次に、ある画素に木の葉や波等の揺らぎ（周期的な動き）がある場合、図６（Ｃ）に示ように、差分値はランダムに変動する。
【００４８】
このように、ある画素に物体が進入してきた場合には、図６（Ｂ）に示すように、一定時間の間、差分値が大きい状態におかれる。そのため、変化連続性検出部１２６は、差分値が大きなフレームの連続数がカウントされ、その値が所定数を越えるとき、動体領域を構成する画素であるとする。
【００４９】
なお、ある画素に木の葉や波等の揺らぎがある場合には、図６（Ｃ）に示ように、差分値が大きなフレームの連続数は少なく、当該ある画素が動き領域を構成する画素とはされない。また、差分値の図示は省略するが、ある画素に物体の進入によらない輝度変化（単発的な動き）がある場合も、上述した木の葉や波等の揺らぎ（周期的な動き）がある場合と同様に、差分値が大きなフレームの連続数は少なく、当該ある画素が動き領域を構成する画素とはされない。これにより、動体領域として、突発的あるいは周期的な動き領域が除かれ、画像内に進入してきた物体の領域のみ検出可能となる。
【００５０】
変化連続性検出部１３６は、上述したように動き領域を構成する画素とした各画素に対して隣接画素との結合処理等によるラベリングを行って動体領域Ｄａを検知し、その情報を出力端子１３７に出力する。
【００５１】
図５に示す動体検知部１２６の動作を説明する。入力端子１３１には画像データＶＤが入力される。この画像データＶＤは背景画像保持部１３４に供給され、物体が存在していない状態における画像データＶＤが背景画像の画像データとして保持される。
【００５２】
入力端子１３１に入力される画像データＶＤはフレーム間差分処理部１３５に供給される。そして、フレーム間差分処理部１３５では、背景画像保持部１３４に保持されている背景画像の画像データと、入力端子１３１に入力される現フレームの画像データとの差分値が検出され、この差分値に基づいて現フレーム画像のうち背景画像と異なる領域が検出される。
【００５３】
入力端子１３１に入力される画像データＶＤが過去画像保持部１３２に供給され、この過去画像保持部１３２には過去数フレーム分の画像データが過去画像データ群として保持される。
【００５４】
入力端子１３１に入力される画像データＶＤがフレーム間差分処理部１３３に供給される。そして、このフレーム間差分処理部１３３では、過去画像保持部１３２に保持されている過去数フレームの画像データと、入力端子１２１に入力される現フレームの画像データとの差分値が求められる。この場合、上述のフレーム間差分処理部１３５で検出された領域に基づき、差分値を求める処理は、当該検出領域のみで行われ、処理の高速化が図られ、また残像領域の検出が防止される。
【００５５】
このようにフレーム間差分処理部１３３で求められた数フレーム分の差分値は変化連続性検出部１３６に供給される。この変化連続性検出部１３６では、画素毎に、数フレーム分の差分値に対してそれぞれ閾値処理が行われ、閾値を越えた状態が一定時間以上継続した場合には、動体領域を構成する画素であるとする決定が行われる。
【００５６】
そして、この変化連続性検出部１３６では、上述したように動体領域を構成する画素とした各画素に基づいて隣接画素との結合処理などのラベリングが行われて動体領域Ｄａが検知される。この動体領域Ｄａの情報は出力端子１３７に出力される。
【００５７】
次に、上述の不動体検知部１２７の具体例（特願２００５−１５７５８８号参照）を、図７を用いて説明する。この例は、基準背景画像の更新方法として、重み付き混合正規分布を用いるものである。
【００５８】
図７において、不動体検知部１２７は、入力端子１４１、重み付き混合正規分布算出部１４２、上位重み抽出部１４３、クラス分類部１４４、基準輝度値更新部１４５、変化後輝度値検出部１４６、クラス遷移判別部１４７、比較部１４８、不動体検知判定部１４９および出力端子１５０を有している。
【００５９】
入力端子１４１は、画像データＶＤを入力するための端子である。重み付き混合正規分布算出部１４２は、画素毎に、輝度値が複数個の輝度正規分布のいずれに属するかを判定し、複数個の輝度正規分布のそれぞれについての重みを更新すると共に、平均値を更新する。そして、この重み付き混合正規分布算出部１４２は、その算出結果（少なくとも各分布の重みおよび平均値（平均輝度値））を上位重み抽出部１４３に供給する。
【００６０】
ここで、輝度正規分布の平均値および重みの更新についてさらに説明する。
【００６１】
現在（時点ｔ）の画素の輝度Ｘｔの確率Ｐ（Ｘｔ）は、一般に、（１）式のように表すことができる。
【００６２】
【数１】
【００６３】
この（１）式における確率密度関数ηは、（２）式のように表すことができる。
【００６４】
【数２】
【００６５】
各画素の輝度が、ｋ個（ｋは正の整数）の正規分布のいずれに属するかを探す。例えば、１画素の輝度データが８ビットで表される画像データの場合、図８（Ａ）に示すような４個の輝度正規分布を用意し、各画素の輝度が、当該４個の輝度正規分布のどれに属するかを探す。
【００６６】
ある画素の輝度Ｘｔが、例えば、その輝度正規分布の平均値μk±２σk以内の値であるか否か判定し、以内であれば当該輝度正規分布に属していると判定し、以外であれば当該輝度正規分布に属していないと判定する。もしも、いずれの輝度正規分布にも属さないときには、ｋ個の輝度正規分布のうち後述する重みが最も小さい輝度正規分布の平均値μを、そのときの画素の輝度Ｘｔに置き換える。
【００６７】
そして、画素毎に、当該画素の輝度Ｘｔが属した輝度正規分布の重みを大きく、属さなかった輝度正規分布の重みを小さくするように、各輝度正規分布の重みωk,tを更新する。すなわち、例えば、画素の輝度Ｘｔが属した輝度正規分布の重みωk,tは、以下の（３）式にしたがって更新し、また、属さなかった輝度正規分布の重みωk,tは、以下の（４）式にしたがって更新する。なお、（３）式および（４）式において、αは重みの更新速度であり、０≦α≦１である。
【００６８】
【数３】
【００６９】
そして、各輝度正規分布の平均値μtと分散σは、以下の（５）式、（６）式、（７）式に基づいて、更新される。
【００７０】
【数４】
【００７１】
以上により、各画素について、複数個の輝度正規分布のそれぞれの重みωk,tの情報が、図８（Ｂ）に示すように更新されてゆく。
【００７２】
上位重み抽出部１４３は、複数個の輝度正規分布のうち、重みの大きさが上位２個の分布の重みをクラス分類部１４４に供給すると共に、重みが最大である分布の平均輝度値を基準輝度値更新部１４５および変化後輝度値検出部１４６に供給する。
【００７３】
クラス分類部１４４は、重みの大きさが上位２個の分布の重みを用い、以下の（８）式および（９）式に基づいて、現時点における画素の輝度の変化状態についてクラス分類し、その分類結果のクラスの情報をクラス遷移判別部１４７に供給する。
【００７４】
重みの大きさが上位２個の分布の重みを用いたクラス分類について説明する。この場合、重みの大きさの上位２個の輝度正規分布の重みの関係、特にこの実施の形態では、上位２個の輝度正規分布の重みの比に基づいてクラス分類をする。上位２つの輝度正規分布の重みのうち、重みの大きさが大きい方をｗｂ、小さい方をｗｓとしたときに、（８）式で表される比ｒの値に基づいてクラス分類する。
【００７５】
ｒ＝ｗｂ／ｗｓ ・・・（８）
【００７６】
この場合、比ｒ＝１および１近傍のときには、画素の輝度は、上位２個の輝度正規分布のどちらに属するかが不安定な状態であるので、不安定クラスとする。
【００７７】
そして、比ｒが所定値以上であれば、上位２個の輝度正規分布の重みに大きな違いがあり、いずれの輝度正規分布に画素の輝度が属するかは安定して判定できるので、安定クラスとする。そして、安定クラスと、不安定クラスとの中間の状態は、中間クラスとする。
【００７８】
比ｒの値に対するクラス分類のための閾値は、例えば試行錯誤により決定される。この実施の形態では、例えば、（９）式で示されるものとする。
【００７９】
不安定クラス ； １≦ｒ＜１．１〜１．２
中間クラス ； １．１〜１．２≦ｒ＜１．５
安定クラス ； １．５≦ｒ
・・・（９）
【００８０】
クラス遷移判別部１４７は、クラス分類部１４４からのクラスの情報の時間的な遷移を判別する。そして、クラス遷移判別部１４７は、この実施形態では、判別したクラス遷移に基づいて、基準輝度値の更新タイミング信号Ｓstおよび輝度変化検出タイミング信号Ｓchを生成する。
【００８１】
図９に、上位２個の輝度正規分布の重みの比に基づいて、画素の輝度の状態を安定クラス、中間クラス、不安定クラスの３つのクラスに分類したときの遷移状態を示す。この図９では、便宜上、安定クラスをＡ、中間クラスをＢ、不安定クラスをＣとし、遷移状態を表す値、遷移状態値をＳＴＡＴＥ＿Ｘとする。ここで、遷移状態値ＳＴＡＴＥ＿ＸにおけるＸは、不安定クラスＣになったときには、Ｃ（ＳＴＡＴＥ＿Ｃ）となるが、その他のときには、前のクラスの状態を考慮した値とされる。
【００８２】
すなわち、ＳＴＡＴＥ＿ＡおよびＳＴＡＴＥ＿Ｂは、初期状態がＡクラスおよびＢクラスの場合の遷移状態値である。初期状態がＣクラスのときにも遷移状態値は、ＳＴＡＴＥ＿Ｃとなる。ＳＴＡＴＥ＿ＢＡは、ＡクラスからＢクラスに遷移したとき、または、ＢクラスからＡクラスに遷移したときの遷移状態値である。ＳＴＡＴＥ＿ＣＢは、ＢクラスからＣクラスに遷移したとき、または、ＣクラスからＢクラスに遷移したときの遷移状態値である。さらに、ＳＴＡＴＥ＿ＣＢＡは、ＡクラスからＢクラス、さらにＣクラスに遷移したとき、または、ＣクラスからＢクラス、さらにＡクラスに遷移したときの遷移状態値である。
【００８３】
初期状態の遷移状態値をＳＴＡＴＥ＿Ａとし、例えば安定→中間→不安定と遷移した場合、遷移状態値はＳＴＡＴＥ＿ＡからＳＴＡＴＥ＿ＢＡ、さらにＳＴＡＴＥ＿Ｃと変化する。
【００８４】
また、例えば、ＳＴＡＴＥ＿Ａは、最大重みの分布が変わらず、変化がないことを示す。また、ＳＴＡＴＥ＿ＣＢＡは、重みの大きさが２番目から最大に変化した分布であることを示し、いままで、監視領域中に在った物がなくなったか、新たに静止状態のものが監視領域内に入ったことを表している。
【００８５】
したがって、不動体を検知するタイミング、つまり、輝度変化検出タイミングは、この実施形態では、遷移状態値がＳＴＡＴＥ＿ＣＢＡであるときとする。そして、この実施形態では、安定性を上げるため、クラス遷移判別部１４７は、遷移状態値がＳＴＡＴＥ＿ＣＢＡになったときに即座に輝度変化検出タイミングとするのではなく、ＳＴＡＴＥ＿ＣＢＡの状態がある所定時間継続したときを輝度変化検出タイミングとして、輝度変化検出タイミング信号Ｓchを生成し出力する。
【００８６】
例えば、この実施の形態では、輝度変化検出（不動体検出）は、画像データの毎フレームではなく、例えば４フレームごとに行なうようにしており、ＳＴＡＴＥ＿ＣＢＡの状態が、例えば３０回（４秒）続いた後を、輝度変化検出タイミングとする。
【００８７】
ここで、図１０の例について説明する。この例は、監視領域に車が入ってきて停止した場合における上位２つの重みの推移に関連して、上述した３つのクラスを示したものである。この図１０において、ｆ１（ｗ１＿ｔ,ｍ１＿ｔ）は、時刻ｔで、重みｗ１＿ｔと輝度（輝度正規分布の平均値）ｍ１＿ｔとを持つ背景を表し、ｆ２（ｗ２＿ｔ，ｍ２＿ｔ）は、時刻ｔで、重みｗ２＿ｔと輝度（輝度正規分布の平均値）ｍ２＿ｔとを持つ車を表している。重みも、輝度（輝度正規分布の平均値）も、上述した（５）式、（６）式、（７）式により時間ｔの経過に伴って更新される。
【００８８】
図１０に示すように、最初は、背景の重みｗ１＿ｔが大きく、停車すると徐々に車の重みｗ２＿ｔが増し、それに伴い背景の重みｗ１＿ｔが減り、最終的には車の重みｗ２＿ｔが最大になる。したがって、重みが一番大きい輝度正規分布の平均値（輝度）の変化、すなわち、図１０の場合であれば、ｍ１＿ｔとｍ２＿ｔの差を検知すれば、注目画素の部分が背景から停止している車に変化したことがわかる。
【００８９】
図１０の例において、時点ｔ２は遷移状態値がＳＴＡＴＥ＿ＣＢＡになった時刻であり、輝度変化検出タイミングは、時点ｔ３である。また、クラス遷移判別部１４７は、基準輝度値を更新するタイミングを、上位２個の重みの関係が不安定クラスであって、かつ、前回の遷移状態値が、かつて安定したクラスに属していたことを示すＳＴＡＴＥ＿ＢＡかＳＴＡＴＥ＿ＣＢＡの場合とする。そして、クラス遷移判別部１４７は、この基準輝度値の更新タイミングの時点で、基準輝度値の更新タイミング信号Ｓstを生成する。この更新タイミングの時点は、図１０の例であれば、時点ｔ１のタイミングである。
【００９０】
ただし、クラス遷移判別部１４７は、上述した滞在時間の短い物を不動体として検出しないようにするために、更新タイミングの時点と判定される時点であっても、前回の輝度変化検出タイミング信号Ｓchの生成時点から指定滞在時間以上経過していないときには、基準輝度値の更新タイミング信号Ｓstは生成せず、基準輝度値は更新しないようにする。
【００９１】
このために、この実施形態では、基準輝度値の更新を許可するかどうかを示すフラグ（以下、「更新フラグ」という）を用意する。この更新フラグは、初期状態では「ｆａｌｓｅ（＝偽）」として、更新を許可する状態とする。すなわち、更新タイミング時点において、この更新フラグを参照し、更新フラグが「ｆａｌｓｅ」の時には、更新タイミング信号Ｓstを生成して出力することを許可する。
【００９２】
そして、この実施形態では、基準輝度値を更新タイミングで更新したときに、つまり、更新タイミング信号Ｓstを出力したときに、更新フラグを「ｔｒｕｅ（＝真）」として、更新の禁止状態にする。クラス遷移判別部１４７は、更新フラグが「ｔｒｕｅ」の状態のときには、更新タイミング信号Ｓstを出力しない。
【００９３】
クラス遷移判別部１４７では、検出すべき不動体の指定滞在時間以上、更新フラグが「ｔｒｕｅ」の状態が継続したときには、「ｆａｌｓｅ」に戻して、更新タイミング信号Ｓstの出力を許可するようにする。また、クラス遷移判別部１４７は、画素の輝度変化がないと判断できるときに、更新フラグを「ｔｒｕｅ」から「ｆａｌｓｅ」の状態に戻すようにしてもよい。
【００９４】
以上のようにして、クラス遷移判別部１４７は、基準輝度値の更新タイミング信号Ｓstを生成し、この基準輝度値の更新タイミング信号Ｓstを基準輝度値更新部１４５に供給する。基準輝度値更新部１４５は、この基準輝度値の更新タイミング信号Ｓstにより、重みが最大である輝度正規分布の平均値を、基準輝度値として取得して更新する。
【００９５】
また、クラス遷移判別部１４７は、上述のようにして生成した輝度変化検出タイミング信号Ｓchを変化後輝度値検出部１４６に供給する。変化後輝度値検出部１４６は、この輝度変化検出タイミング信号Ｓchにより、重みが最大である輝度正規分布の平均値を、変化後輝度値として取得する。
【００９６】
そして、基準輝度値更新部１４５で更新された基準輝度値が比較部１４８に供給されると共に、変化後輝度値検出部１４６で取得された変化後輝度値が比較部１４８に供給される。さらに、クラス遷移判別１４７からの輝度変化検出タイミング信号Ｓchが、比較タイミング信号としてこの比較部１４８に供給される。比較部１４８では、変化後輝度値検出部１４６で取得された変化後輝度値と、基準輝度値更新部１４５で更新された基準輝度値とが比較されて、両者に有意差があるかどうか判定され、その比較判定結果が不動体検知判定部１４９に供給される。
【００９７】
不動体検知判定部１４９は、比較部１４８からの比較判定結果を受けて、当該比較判定結果が変化後輝度値と基準輝度値との間に有意差があることを示しているときに、そのときの時間、例えばフレーム番号を不動体検知時間として保存する。そして、不動体検知判定部１４９は、比較判定結果が変化後輝度値と基準輝度値との間に有意差があることを示している状態が、その後継続しているときには、予め定められた時間後、不動体を検知した状態となる。
【００９８】
上述した図１０の例について、上述した不動体の検知処理動作をさらに説明する。図１０において、初期状態ｔ＝ｔ０では更新フラグは「ｆａｌｓｅ」、基準輝度値はｍ１＿ｔ０とされる。図１０に示す時点ｔ＝ｔ１では、更新フラグは「ｆａｌｓｅ」であり、上位２つの重みの関係から、画素の輝度の状態は不安定クラスであり、かつ、前回の遷移状態値がＳＴＡＴＥ＿ＢＡなので、更新タイミング信号Ｓstが発生され、基準輝度値は、ｍ１＿ｔ０からｍ１＿ｔ１に更新され、更新フラグは「ｔｒｕｅ」とされる。
【００９９】
そして、時点ｔ＝ｔ３では、輝度変化検出タイミング信号Ｓchが発生するので、基準輝度値ｍ１＿ｔ１と変化後輝度値ｍ２＿ｔ３とが比較されて、画素の輝度値の変化が検知される。このとき、基準輝度値ｍ１＿ｔ１と変化後輝度値ｍ２＿ｔ３との間には、有意差があるので、そのときの時間、例えばフレーム番号が検知時間として保存される。そして、その後変化がなければ、不動体を検知した状態となる。
【０１００】
次に、一旦静止した物が、指定した滞在検知時間に満たずに移動した場合につき、図１１の例を用いて説明する。この図１１の例において、ｆ１（ｗ１＿ｔ,ｍ１＿ｔ）は背景についての、ｆ２（ｗ２＿ｔ,ｍ２＿ｔ）は車についての、重みの変化を示す。初期状態ｔ０では、更新フラグは「ｆａｌｓｅ」、基準輝度値はｍ１＿ｔ０とされる。
【０１０１】
時点ｔ１では、上位２つの重みの関係は、不安定クラスの状態で、前回の遷移状態値がＳＴＡＴＥ＿ＢＡなので、基準輝度値は、ｍ１＿ｔ０からｍ１＿ｔ１に更新され、更新フラグは「ｔｒｕｅ」とされる。そして、時点ｔ３では、基準輝度値ｍ１＿ｔ１と、変化後輝度値ｍ２＿ｔ３とが比較されて、画素の輝度値の変化が検知される。次の時点ｔ４では、前の輝度変化検出タイミング時点ｔ３から指定滞在時間以内にあるので、更新フラグは「ｆａｌｓｅ」に戻されることなく、「ｔｒｕｅ」のままとされる。そのため、この時点ｔ４では、基準輝度値の更新は行われない。
【０１０２】
したがって、このときには次の輝度変化検出タイミングである時点ｔ６では、基準輝度値ｍ１＿ｔ１と、当該時点ｔ６での変化後輝度値ｍ１＿ｔ６とが比較されるので、画素の輝度値の変化はないとされる。このようにして、指定滞在時間よりも短い時間停止で移動する物の場合には、不動体を検知した状態とはならない。
【０１０３】
不動体検知判定部１４９は、上述した不動体検知処理を画素単位で行っている。この不動体検知判定部１４９では、上述した画素単位の不動体検知処理が終了すると、画素単位で検知した検知領域をまとめるために検知フラグを基に、ブロック化処理を行う。このブロック化処理は、例えば、縦×横＝４×４画素の範囲を１つのブロックとした場合に、そのブロック中に検知画素が半分以上あれば、そのブロック内の画素の全部を不動体として検知したことにし、反対に、上述のブロック中に検知画素が半分未満ならば、そのブロック内の画素は不動体とは検知しなかったことにする。この場合、ブロック範囲の動かし方は、１画素ずつずらしていってもよいし、あるいは４画素飛ばしでもよい。
【０１０４】
不動体検知判定部１４９では、上述したようにブロック検知領域に対して、隣接画素との結合処理などのラベリングが行われて不動体領域Ｄｂが検知される。この不動体領域Ｄｂの情報は出力端子１５０に出力される。
【０１０５】
図４に示す監視カメラ１０２の動作を説明する。撮像部１２２からは監視画像に対応した撮像信号（アナログ信号）が得られる。この撮像信号は撮像信号処理部１２４に供給される。撮像信号処理部１２４では、撮像信号に対して、サンプルホールドおよび利得制御等のアナログ信号処理、Ａ／Ｄ変換処理、さらにはホワイトバランス調整、ガンマ補正等のデジタル信号処理が施されて、画像データが生成される。この画像データ１２５は、画像データ処理部１２５に供給される。画像データ処理部１２５では、画像データに対してデータ圧縮処理が施されて、圧縮画像データが生成される。この圧縮画像データは伝送部１２９に供給される。
【０１０６】
また、撮像信号処理部１２４で生成された画像データは、動体検知部１２６および不動体検知部１２７に供給される。動体検知部１２６では、動体の検知が選択されている場合に、画像データが処理されて、動体領域の検知が行われる。動体検知部１２６で検知される動体領域の情報はメタデータ生成部１２８に供給される。
【０１０７】
一方、不動体検知部１２７では、不動体の検知が選択されている場合に、画像データが処理されて、不動体領域の検知が行われる。このように不動体検知部１２７で検知される不動体領域の情報はメタデータ生成部１２８に供給される。
【０１０８】
メタデータ生成部１２８では、検知部１２６，１２７からの検知情報および制御部１２１からの情報等に基づいて、１フレーム毎に、動体検知部１２６、あるいは不動体検知部１２７で検知された動体または不動体に関する情報（オブジェクト数、オブジェクト情報）、およびこれら検知部の検知状態を示す情報（検知ステータス）を含むメタデータ（図２参照）が生成される。このようにメタデータ生成部１２８で生成されたメタデータは、伝送部１２９に供給される。
【０１０９】
伝送部１２９では、画像データ処理部で生成された圧縮画像データおよびメタデータ生成部１２８で生成されたメタデータが、ＦＴＰ、ＨＴＴＰ等のプロトコルにより、ネットワーク１０１を介して、監視装置１０４に送信することが行われる。ここで、動体または不動体が検知されないフレームが連続する場合、あるいは、「検知中」以外の所定の検知ステータスにあるフレームが連続する場合等、検知情報を構成する各情報に変化がないフレームにあっては、伝送容量を低減するために、最初のフレームでのみメタデータの送信が行われる。
【０１１０】
次に、監視装置１０４の構成例を、図１０の機能ブロックを用いて説明する。
【０１１１】
図１０において、監視装置１０４は、制御部１６１と、ユーザインタフェース部１６２と、伝送部１６３と、画像データ処理部１６４と、記録再生処理部１６５と、オンスクリーンディスプレイ（ＯＳＤ）部１６６と、合成部１６７と、ストレージ１６８と、モニタ１６９とを有している。
【０１１２】
制御部１６１は、監視装置１０４の各部の動作を制御する。この制御部１６１は、ＣＰＵで構成される。ＣＰＵは、ＲＯＭ等に格納されている制御プログラムを必要に応じて読み出し、読み出した制御プログラムをＲＡＭに転送して展開し、当該展開された制御プログラムを読み出して実行することで、各部の動作を制御する。ユーザインタフェース部１６２は、操作キー、リモートコントロール信号受信器等で構成されている。このユーザインタフェース部１６２は、制御部１６１に接続されている。ユーザインタフェース部１６２は、ユーザ操作に応じた操作信号を生成して制御部１６１に供給する。
【０１１３】
伝送部１６３は、監視カメラ１０２（１０２ａ，１０２ｂ）からネットワーク１０１を介して送信されてくる画像データ（圧縮画像データ）およびメタデータを受信する。ストレージ１６８は、伝送部１６３で受信された画像データ（圧縮画像データ）およびメタデータを記録する。このストレージ１６８は、例えば、ハードディスクドライブ（ＨＤＤ）で構成されている。記録再生処理部１６５は、ストレージ１６８への画像データおよびメタデータの記録、さらには、このストレージ１６８からの画像データおよびメタデータの再生を制御する。
【０１１４】
画像データ処理部１６４は、伝送部で受信された画像データ（圧縮画像データ）、あるいはストレージ１６８から再生された画像データ（圧縮画像データ）に対してデータ伸長処理を行って、出力用の画像データを生成する。画像データ処理部１６４は、通常は、伝送部１６３で受信されている画像データに対してデータ伸長処理を行うが、再生時には、ストレージ１６８から再生された画像データに対してデータ伸長処理を行う。
【０１１５】
ＯＳＤ部１６６は、制御部１６１の制御に基づいて、ＯＳＤ用の表示信号を生成する。例えば、ＯＳＤ部１６６は、監視カメラ１０２の検知部２０６、２０７における検知情報（検知部の検知状態を示す情報、検知部で検知された動体または不動体に関する情報）を表示する際、当該検知情報を表示するための表示信号を発生する。
【０１１６】
合成部１６７は、画像データ処理部１６４で得られた画像データにＯＳＤ部１６６から出力される表示信号を合成し、合成信号をモニタ１６９に供給する。この場合、モニタ１６９には、画像データ処理部１６４で得られた画像データによる画像が表示されると共に、ＯＳＤ部１６６から出力される表示信号によるＯＳＤ表示が行われる。
【０１１７】
図１２に示す監視装置１０４の動作を説明する。伝送部１６３では、監視カメラ１０２（１０２ａ，１０２ｂ）から送信されてくる画像データ（圧縮画像データ）およびメタデータが受信される。この画像データは、記録再生処理部１６５および画像データ処理部１６４に供給される。一方、メタデータは、記録再生処理部１６５および制御部１６１に供給される。ユーザの設定により、記録指示がなされている場合には、当該画像データおよびメタデータは記録再生処理部１６５により、ストレージ１６８に記録される。
【０１１８】
画像データ処理部１６４では、伝送部１６３から供給される画像データに対して、データ伸長処理が施されて、出力用の画像データが生成される。また、制御部１６１は、伝送部１６３から供給されるメタデータに基づいて、ＯＳＤ部１６６を制御し、当該ＯＳＤ部１６６から、監視カメラ１０２の検知部２０６、２０７における検知情報等を表示するための表示信号を発生させる。
【０１１９】
合成部１６７では、画像データ処理部１６４で得られた画像データに、ＯＳＤ部１６６で発生された表示信号が合成され、その合成信号はモニタ１６９に供給される。これにより、モニタ１６９には、監視カメラ１０２（１０２ａ，１０２ｂ）で撮像された監視画像に対応した画像が表示される。そして、その画像上に、例えば、監視カメラ１０２の検知部２０６，２０７における検知情報等がＯＳＤ表示される。
【０１２０】
また、ストレージ１６８からの画像データおよびメタデータの再生時には、再生された画像データは記録再生処理部１６５を介して画像データ処理部１６４に供給され、再生されたメタデータは記録再生処理部１６５を介して制御部１６１に供給される。以下は、上述した伝送部１６３で受信された画像データおよびメタデータに対する動作と同様にして、モニタ１６９に再生された画像データによる画像が表示されると共に、その画像上に、例えば、監視カメラ１０２の検知部２０６，２０７における検知情報等がＯＳＤ表示される。
【０１２１】
上述したように、図３に示す監視カメラシステム１００においては、監視カメラ１０２（１０２ａ，１０２ｂ）から監視装置１０４に画像データおよびメタデータが送信される。このメタデータには、検知部２０６，２０７の検知状態を示す情報（検知ステータス）および検知部２０６，２０７で検知された動体または不動体に関する情報（オブジェクト数、オブジェクト情報等）が含まれている。そのため、監視装置１０４側では、監視カメラ１０２（１０２ａ，１０２ｂ）の検知部２０６，２０７における検知状態（「検知中」、「背景取得中」、「ＰＴＺ動作中」、「映像異常」、「機器異常」等）を認識でき、その後の処理、例えば、上述したように、当該検知状態をモニタ１６９にＯＳＤ表示する処理を行うことができる。
【０１２２】
また、監視装置１０４側では、検知部２０６，２０７の検知状態を示す情報（検知ステータス）に基づいて、検知部２０６，２０７が検知を停止している期間（例えば「映像異常」、「機器異常」等の期間）、に対応した画像データを処理し、動体または不動体を検知する処理を行うことができる。この検知処理、および上述の表示処理は制御部１６１により行われる。この場合、制御部１６１は、データ処理部を構成する。
【０１２３】
図１３は、監視カメラ１０２から監視装置１０４に送信されて記録される画像データおよび動体の検知情報の一例を示している。
【０１２４】
第ｎフレームでは、動体検知によって動体が検知されず、監視カメラ１０２から監視装置１０４には、「検知中」を示す検知ステータスと、動体なしの情報（オブジェクト数が０を示し、オブジェクト情報を持たない）を含むメタデータが送信されて記録される。第ｎ＋１フレーム、第ｎ＋２フレームでは、動体検知によって動体が検知され、監視カメラ１０２から監視装置１０４には、「検知中」を示す検知ステータスと、動体ありの情報（オブジェクト数が１以上の数を示し、オブジェクト数に対応した個数のオブジェクト情報を持つ）を含むメタデータが送信されて記録される。
【０１２５】
第ｎ＋３フレームでは、動体検知によって動体が検知されず、監視カメラ１０２から監視装置１０４には、「検知中」を示す検知ステータスと、動体なしの情報を含むメタデータが送信されて記録される。第ｎ＋４フレーム〜第ｎ＋６フレームでは、何らかの原因で動体検知が停止されており、第ｎ＋４フレームでのみ、「検知停止中」を示す検知ステータス（「背景取得中」、「ＰＴＺ動作中」、「映像異常」、「機器異常」等）と、動体なしの情報を含むメタデータが送信されて記録される。第ｎ＋７フレームでは、動体検知が再開されるが、当該動体検知によって動体が検知されず、監視カメラ１０２から監視装置１０４には、「検知中」を示す検知ステータスと、動体なしの情報を含むメタデータが送信されて記録される。
【０１２６】
このように、監視カメラ１０２の検知部２０６でなんらかの原因で動体検知が停止される場合、その停止期間の最初のフレームで「検知停止中」を示す検知ステータスを含むメタデータが監視カメラ１０２から監視装置１０４に送信されて記録される。そのため、監視装置１０４側では、メタデータに含まれる検知ステータス（検知部の検知状態を示す情報）を用いて、動体検知が停止されている期間に対応した画像データを特定でき、当該画像データを処理して動体の検知処理を行うことができる。この場合、検知停止期間内の第ｎ＋５フレームに動体ＭＯがあった場合、監視装置１０４側における検知処理により、当該動体ＭＯの検知が可能となる。
【０１２７】
なお、上述実施の形態においては、監視装置１０４側で監視カメラ１０２から送信されてくるメタデータに含まれる検知ステータス（検知部の検知状態を示す情報）を利用する処理として、検知状態を画像上にＯＳＤ表示する処理、検知停止期間の画像データから動体または不動体を検知する処理を述べたが、当該検知ステータスを利用した処理は、これに限定されるものではない。例えば、その他に、この検知ステータスを利用して、監視装置側に画像データおよびメタデータを送っている監視カメラが何らかの理由で検知停止の状態となった場合に、他の監視カメラから画像データおよびメタデータを送ってもらうようにカメラの切り替え処理を行うことができる。
【産業上の利用可能性】
【０１２８】
この発明は、例えば監視カメラからネットワークを介して接続された監視装置に、画像データ、および検知された動体または不動体に関する情報を含むメタデータを送る監視カメラ装置に適用できる。
【図面の簡単な説明】
【０１２９】
【図１】第１のネットワーク機器と第２のネットワーク機器とがネットワークを介して接続されたネットワークシステムを示すブロック図である。
【図２】監視カメラで生成されて監視装置に送信される、メタデータの１フレーム分を示す図である。
【図３】監視カメラと監視装置とがネットワークを介して接続された監視カメラシステムを示すブロック図である。
【図４】監視カメラの構成例を示すブロック図である。
【図５】動体検知部の具体例を示すブロック図である。
【図６】動体検知部における変化連続性の検出処理を説明するための図である。
【図７】不動体検知部の具体例を示すブロック図である。
【図８】重み付き混合正規分布を説明するための図である。
【図９】画素の輝度の状態を安定クラス、中間クラス、不安定クラスの３つのクラスに分類したときのクラス遷移状態を示す図である。
【図１０】背景と車の重みの推移例とクラス分類（不動体を検知）を示す図である。
【図１１】背景と車の重みの推移例とクラス分類（不動体を非検知）を示す図である。
【図１２】監視装置の構成例を示す機能ブロック図である。
【図１３】監視カメラから監視装置に送信されて記録される画像データおよび動体の検知情報の一例を示す図である。
【図１４】従来における、監視カメラから記録装置に送信されて記録される画像データおよび動体の検知情報の一例を示す図である。
【符号の説明】
【０１３０】
１０・・・ネットワークシステム、１１・・・第１のネットワーク機器、１２・・・第２のネットワーク機器、１３・・・ネットワーク、１００・・・監視カメラシステム、１０１・・・ネットワーク、１０２，１０２ａ，１０２ｂ・・・監視カメラ、１０４・・・監視装置、１２１・・・制御部、１２２・・・撮像部、１２３・・・ＰＴＺ制御部、１２４・・・撮像信号処理部、１２５・・・画像データ処理部、１２６・・・動体検知部、１２７・・・不動体検知部、１２８・・・メタデータ生成部、１２９・・・伝送部、１６１・・・制御部、１６２・・・ユーザインタフェース部、１６３・・・伝送部、１６４・・・画像データ処理部、１６５・・・記録再生処理部、１６６・・・ＯＳＤ部、１６７・・・合成部、１６８・・・ストレージ、１６９・・・モニタ、１７０・・・設定画面、１７１・・・画像表示部、１７２・・・検知選択部、１７３・・・検知設定部、１７４-1〜１７４-3・・・チェックボックス、１７５・・・しきい値設定スライドバー、１７６・・・検知枠、１７７・・・動体、１７８・・・動体検知インジケータ、１７９・・・しきい値表示部、１８０・・・ＯＫボタン
【技術分野】
【０００１】
この発明は、ネットワーク機器、ネットワークシステムおよび監視カメラシステムに関する。詳しくは、この発明は、他のネットワーク機器に画像データと共に送信するメタデータに、検知部で検知された動体または不動体に関する情報の他に、検知部の検知状態を示す情報を含めることにより、他のネットワーク機器側で当該検知部の検知状態を認識可能としたネットワーク機器等に係るものである。
【背景技術】
【０００２】
監視カメラシステムとして、監視カメラ（ネットワークカメラ）がネットワークを介して記録装置に接続され、監視画像を撮像して得られた画像データを監視カメラからネットワークを通じて記録装置に送信して記録するものがある（例えば、特許文献１参照）。この種の監視カメラシステムで、さらに、監視カメラが動体検知、不動体検知等の機能を持ち、当該監視カメラから記録装置に、検知情報を含むメタデータを送信して画像データと共に記録することが考えられている。
【特許文献１】特開２００６−８０５９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述したように監視カメラから記録装置に送信される検知情報は、例えば、機器の異常等によって動体または不動体の検知が停止されている期間にあっては、動体または不動体が検知されなかった場合と同じ状態となる。この場合、記録装置に記録された画像データから、検知情報に基づいて、動体または不動体がある期間を探索する場合、実際には動体または不動体が存在する期間であっても、動体または不動体の検知が停止されている期間であった場合には、動体または不動体のない場合と検知情報が同じになっているので、正確な探索を行うことができなくなる。
【０００４】
図１４は、従来における、監視カメラから記録装置に送信されて記録される画像データおよび動体の検知情報の一例を示している。
【０００５】
第ｎフレームでは、動体検知によって動体が検知されず、監視カメラから記録装置には動体なしの検知情報が送信されて記録される。第ｎ＋１フレームでは、動体検知によって動体が検知され、監視カメラから記録装置には動体ありの検知情報が送信されて記録される。第ｎ＋２フレームでは、動体検知によって動体が検知され、監視カメラから記録装置には動体ありの検知情報が送信されて記録される。
【０００６】
第ｎ＋３フレームでは、動体検知によって動体が検知されず、監視カメラから記録装置には動体なしの検知情報が送信されて記録される。第ｎ＋４フレーム〜第ｎ＋６フレームでは、何らかの原因で動体検知が停止されており、動体が検知されず、検知情報は第ｎ＋３フレームと同じであることから、監視カメラから記録装置には検知情報は送信されない。第ｎ＋７フレームでは、動体検知が再開されるが、当該動体検知によって動体が検知されず、検知情報は第ｎ＋３フレームと同じであることから、監視カメラから記録装置には検知情報は送信されない。
【０００７】
なお、図１４においては、送信される検知情報を実線で示し、送信されない検知情報を破線で示している。
【０００８】
このように、動体検知が停止されている第ｎ＋４フレーム〜第ｎ＋６フレームでは動体がない場合と検知情報が同じになるので、例えば、第ｎ＋５フレームに動体ＭＯがあった場合にあっても、検知情報から当該動体ＭＯがある期間（第ｎ＋５フレーム）を探索することができない。
【０００９】
この発明の目的は、第１のネットワーク機器における動体または不動体の検知部の検知状態を、第１のネットワークから画像データおよびメタデータを送る第２のネットワーク機器側で認識可能とすることにある。
【課題を解決するための手段】
【００１０】
この発明の概念は、
第１のネットワーク機器と第２のネットワーク機器とがネットワークを介して接続されたネットワークシステムであって、
上記第１のネットワーク機器は、
画像データを処理し、動体または不動体を検知する検知部と、
上記検知部の検知状態を示す情報および上記検知部で検知された動体または不動体に関する情報を含むメタデータを生成するメタデータ生成部と、
上記画像データおよび上記メタデータ生成部で生成されたメタデータを上記第２のネットワーク機器に送信するデータ送信部とを有し、
上記第２のネットワーク機器は、 上記第１のネットワーク機器から送信されてくる画像データおよびメタデータを受信するデータ受信部と、
上記データ受信部で受信された画像データおよびメタデータを記録するデータ記録部とを有する
ことを特徴とするネットワークシステムにある。
【００１１】
この発明において、例えば、監視カメラ、カメラサーバ等の第１のネットワーク機器は、ネットワークを介して、監視装置（コンピュータ）、記録装置（レコーダ）等の第２のネットワーク機器に接続されている。
【００１２】
第１のネットワーク機器では、検知部において、画像データを処理して、動体または不動体が検知される。この検知部では、例えば、フレーム毎に動体または不動体の検知動作が行われる。第１のネットワーク機器が監視カメラである場合、処理対象の画像データは、撮像して得られた監視画像に対応した画像データである。第１のネットワーク機器から第２のネットワーク機器には、画像データおよびメタデータが送信される。
【００１３】
このメタデータには、検知部の検知状態を示す情報および検知部で検知された動体または不動体に関する情報が含まれる。検知部の検知状態を示す情報は、例えば、検知中、背景取得中、ＰＴＺ（Pan Tilt Zoom）動作中、映像異常、機器異常等である。例えば、検知部の検知状態が検知中である場合には動体または不動体の検知が行われるが、その他の場合には動体または不動体の検知は行われず、検知停止中となる。
【００１４】
第２のネットワーク機器では、第１のネットワーク機器から送信されてくる画像データおよびメタデータが受信されて、記録される。メタデータには、上述したように、検知部の検知状態を示す情報が含まれていることから、当該第２のネットワーク機器では、第１のネットワーク機器の検知部における検知状態を容易に知ることができる。
【００１５】
この発明において、例えば、第２のネットワーク機器では、上述の検知部の検知状態を示す情報を利用した処理が行われるようにしてもよい。例えば、第２のネットワーク機器では、検知部の検知状態を示す情報を利用して、検知部が検知を停止している期間に対応した画像データを処理し、動体または不動体を検知する処理が行われる。また、例えば、第２のネットワーク機器では、検知部の検知状態を示す情報を利用して、検知部の検知状態を、画像データによる画像に対応させて表示する処理が行われる。
【発明の効果】
【００１６】
この発明によれば、他のネットワーク機器に画像データと共に送信するメタデータに、検知部で検知された動体または不動体に関する情報の他に、検知部の検知状態を示す情報を含めるものであり、他のネットワーク機器側で当該検知部の検知状態を認識でき、その後の処理に利用できる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照しながら、この発明の実施の形態について説明する。
【００１８】
図１は、第１のネットワーク機器１１と第２のネットワーク機器１２とがネットワーク１３を介して接続されたネットワークシステム１０である。第１のネットワーク機器１１は、例えば、監視カメラ、カメラサーバ等である。また、第２のネットワーク機器１２は、例えば、監視装置（コンピュータ）、記録装置（レコーダ）等である。
【００１９】
第１のネットワーク機器１１は、動体または不動体を検知する検知部を有している。この検知部は、画像データを処理し、動体または不動体を検知する。この場合、検知部は、フレーム毎に、動体または不動体の検知動作を行う。例えば、第１のネットワーク機器１１が監視カメラ等の撮像機器である場合、当該第１のネットワーク機器１１では、自身が撮像して生成した画像データを処理して、動体または不動体の検知が行われる。この場合、第１のネットワーク機器１１は、データ生成部を有している。また、例えば、第１のネットワーク機器１１がカメラサーバ等の録画機器である場合、当該第１のネットワーク機器１１では、他の機器から供給される画像データ、あるいは自身が記録メディアから再生した画像データを処理して、動体または不動体の検知が行われる。
【００２０】
第１のネットワーク機器は、検知情報（検知部の検知状態を示す情報および検知部で検知された動体または不動体に関する情報）を含むメタデータを生成するメタデータ生成部を有している。図２は、例えば、後述する監視カメラで生成されて監視装置に送信される、メタデータの１フレーム分を示している。このメタデータには、時刻情報、位置情報および検知情報が含まれている。
【００２１】
時刻情報は、時刻およびフレームカウントからなっている。時刻は現在時刻を示す時分秒であり、フレームカウントは監視カメラが起動してからのフレーム数である。位置情報は、パン位置、チルト位置およびズーム倍率からなっている。検知情報は、検知ステータス、オブジェクト数、およびオブジェクト情報からなっている。
【００２２】
検知ステータスは、検知部の検知状態を示す情報を構成している。この検知ステータスは、例えば、検知中(0x01）、背景取得中(0x02）、ＰＴＺ（Pan Tilt Zoom）動作中(0x03）、映像異常(0x04）、機器異常(0x05）等である。なお、検知部では、検知中である場合には動体または不動体の検知が行われるが、その他の場合には動体または不動体の検知は行われず、検知停止中となる。
【００２３】
オブジェクト数は、検知された動体または不動体の個数である。オブジェクト情報は、オブジェクト数分だけ存在する。オブジェクト情報は、検知部で検知された動体または不動体に関する情報を構成している。オブジェクト数が０である場合、オブジェクト情報は存在しない。オブジェクト数が０となるのは、検知ステータスが検知中(0x01）で、検知部で検知が行われたが、動体または不動体が検知されなかった場合、あるいは、検知ステータスが検知中以外で、検知部で検知が行われなかった場合が該当する。
【００２４】
オブジェクト情報は、オブジェクトクラス、座標、差分値、検知時間からなっている。オブジェクトクラスは、動体検知であるか不動体検知であるかを示す情報である。座標は、検知された動体または不動体の位置を示す座標である。差分値は、検知された動体または不動体と背景との画素レベルの差である。検知時間は、検知された動体または不動体が最初に検知された時刻である。この検知時間により、動体または不動体の滞在時間を求めることができる。
【００２５】
第１のネットワーク機器１１は、第２のネットワーク機器１２に、画像データおよびメタデータを送信するデータ送信部を有している。データ送信部は、画像データの各フレームに対応して、図２に示すようなメタデータを送信する。ただし、データ送信部は、検知情報を構成する各情報に変化がないフレームにあっては、伝送容量を低減するために、当該メタデータを送信しない。例えば、動体または不動体が検知されないフレームが連続する場合、最初のフレームでのみメタデータの送信が行われる。また、検知中以外の所定の検知ステータスにあるフレームが連続する場合、最初のフレームでのみメタデータの送信が行われる。
【００２６】
第２のネットワーク機器１２は、第１のネットワーク機器１１から送信されてくる画像データおよびメタデータを受信するデータ受信部と、この受信された画像データおよびメタデータ記録するデータ記録部を有している。上述したように、画像データの各フレームに対応して送信されてくるメタデータには、検知部の検知状態を示す情報を構成する検知ステータスが含まれているので、第２のネットワーク機器１２側では、第１のネットワーク機器１１の検知部における検知状態を認識できる。
【００２７】
第２のネットワーク機器１２は、検知ステータス（検知部の検知状態を示す情報）を利用した処理を行うデータ処理部を有している。例えば、データ処理部は、検知ステータスを利用して、検知部が検知を停止している期間に対応した画像データを処理し、動体または不動体を検知する処理を行う。また、例えば、データ処理部は、検知ステータスを利用して、検知部の検知状態を、画像データによる画像に対応させて表示する処理を行う。
【００２８】
次に、ネットワークシステム１０の具体例としての監視カメラシステム１００を説明する。図３は、監視カメラシステム１００の構成例を示している。この監視カメラシステム１００は、ネットワーク１０１に、監視カメラ１０２ａ，１０２ｂおよび監視装置１０４が接続された構成となっている。監視装置１０４はパーソナルコンピュータで構成されている。
【００２９】
監視カメラ１０２ａ，１０２ｂは、ＰＴＺ型のカメラであり、パン・チルト・ズームの機能を持っている。この監視カメラ１０２ａ，１０２ｂは、監視画像を撮像し、この監視画像に対応した画像データを生成し、この画像データを監視装置１０４に送信する。また、この監視カメラ１０２ａ，１０２ｂは、動体または不動体の検知機能を持っており、検知された動体または不動体に関する情報を含むメタデータを生成し、このメタデータを監視装置１０４に送信する。
【００３０】
監視装置１０４は、監視カメラ１０２ａ，１０２ｂからネットワーク１０１を介して送られてくる画像データおよびメタデータをストレージに蓄積し、またこの画像データによる画像をモニタに表示する。ユーザは、監視カメラ１０２ａ，１０２ｂのパン・チルト・ズームの設定、さらには、動体または不動体の検知条件の設定等を、監視装置１０４側で行うことができる。ユーザが監視カメラ１０２ａ，１０２ｂにおける動体または不動体の検知条件の設定を行う際、監視装置１０４はユーザに設定画面を提供する。
【００３１】
監視カメラ１０２（１０２ａ，１０２ｂ）の構成例を、図４を用いて説明する。
【００３２】
図４において、監視カメラ１０２は、制御部１２１と、撮像部１２２と、ＰＴＺ制御部１２３と、撮像信号処理部１２４と、画像データ処理部１２５と、動体検知部１２６と、不動体検知部１２７と、メタデータ生成部１２８と、伝送部１２９とを有している。
【００３３】
制御部１２１は、監視カメラ１０２の各部の動作を制御する。この制御部１２１は、例えば、ＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read OnlyMemory)と、ＲＡＭ(Random Access Memory)を備えている。この場合、ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出し、読み出した制御プログラムをＲＡＭに転送して展開し、当該展開された制御プログラムを読み出して実行することで、各部の動作を制御する。
【００３４】
撮像部１２２は、図示しない撮像レンズおよび撮像素子を有しており、監視画像を撮像し、この監視画像に対応した撮像信号を出力する。撮像素子は、ＣＣＤ(Charged Coupled Device)あるいはＣＭＯＳ(ComplementaryMetal-Oxide Semiconductor)等の撮像素子である。撮像部１２２は、さらに、パン・チルト・ズーム機能（ＰＴＺ機能）を備えている。ＰＴＺ制御部１２３は、制御部１２１の制御の下、撮像部１２２におけるパン位置、チルト位置、ズーム倍率を制御する。
【００３５】
撮像信号処理部１２４は、撮像部１２２から出力される撮像信号（アナログ信号）のサンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、画像データを生成する。撮像部１２２および撮像信号処理部１２４は、画像データ生成部を構成している。画像データ処理部１２５は、撮像信号処理部１２４で生成された画像データに対してデータ圧縮処理を行って圧縮画像データを生成する。
【００３６】
動体検知部１２６は、撮像信号処理部１２４で生成された画像データを処理することで、この画像データによる画像から動体領域を検知する。不動体検知部１２７は、撮像信号処理部１２４で生成された画像データを処理することで、この画像データによる画像から不動体領域（物体の発生領域、物体の消失領域）を検知する。
【００３７】
動体検知部１２６における動体検知は、ユーザによる設定で動体の検知が選択され、かつ当該動体検知部１２６の検知状態が「検知中」にある場合に、１フレーム毎に行われる。動体検知が選択されるが、当該動体検知部１２６の検知状態が、「検知中」以外、つまり、「背景取得中」、「ＰＴＺ動作中」、「映像異常」、「機器異常」等にある場合には、動体検知は行われない。「背景取得中」、「映像異常」および「機器異常」の各場合には、検知動作を行うことができないからである。また、「ＰＴＺ動作中」の場合には、検知動作自体は可能であるが、検知結果が不安定となるからである。
【００３８】
同様に、不動体検知部１２７における不動体検知は、ユーザによる設定で不動体の検知が選択され、かつ当該不動体検知部１２７の検知状態が「検知中」にある場合に、１フレーム毎に行われる。不動体検知が選択されるが、当該不動体検知部１２７の検知状態が、「検知中」以外、つまり、「背景取得中」、「ＰＴＺ動作中」、「映像異常」、「機器異常」等にある場合には、不動体検知は行われない。
【００３９】
メタデータ生成部１２８は、各フレームで、検知情報を含むメタデータを生成する（図２参照）。ここで、検知情報は、動体検知部１２６または不動体検知部１２７の検知状態（検知ステータス）、および動体検知部１２６または不動体検知部１２７で検知された動体または不動体に関する情報（オブジェクト数、オブジェクト情報等）である。メタデータ生成部１２８は、メタデータに含める検知情報を、検知部１２６，１２７からの検知情報および制御部１２１からの情報等に基づいて生成する。
【００４０】
伝送部１２９は、画像データ処理部１２５で生成された圧縮画像データおよびメタデータ生成部１２８で生成されたメタデータを、ＦＴＰ（File Transfer Protocol）、ＨＴＴＰ（HypertextTransfer Protocol）等のプロトコルにより、ネットワーク１０１を介して、監視装置１０４に送信する。この伝送部１２９は、データ送信部を構成している。ここで、伝送部１２９は、検知情報を構成する各情報に変化がないフレームにあっては、伝送容量を低減するために、当該メタデータを送信しない。例えば、動体または不動体が検知されないフレームが連続する場合、最初のフレームでのみメタデータの送信が行われる。また、検知中以外の所定の検知ステータスにあるフレームが連続する場合、最初のフレームでのみメタデータの送信が行われる。
【００４１】
上述の動体検知部１２６の具体例（特願２００４−２６６０１２号参照）を、図５を用いて説明する。図５において、動体検知部１２６は、入力端子１３１、過去画像保持部１３２、フレーム間差分処理部１３３、背景画像保持部１３４、フレーム間差分処理部１３５、変化連続性検出部１３６および出力端子１３７を有している。
【００４２】
入力端子１３１は、画像データＶＤを入力するための端子である。過去画像保持部１３２は、過去数フレームの画像データを過去画像データ群として保持する。フレーム間差分処理部１３３は、過去画像保持部１３２に保持されている過去数フレームの画像データと、入力端子１３１に入力される現フレームの画像データとの差分値を求める。
【００４３】
背景画像保持部１３４は、背景画像の画像データを保持する。フレーム間差分処理部１３５は、背景画像保持部１３４に保持されている背景画像の画像データと、入力端子１３１に入力される現フレームの画像データとの差分を検出し、この差分値に基づいて現フレーム画像のうち背景画像と異なる領域を検出する。
【００４４】
上述したフレーム間差分処理部１３３は、フレーム間差分処理部１３５で検出された領域に基づき、差分値を求める処理を、当該検出領域のみで行い、高速な処理を実現すると共に、動き領域として過去に動体が存在していた領域（残像領域）が検出されることを防止する。
【００４５】
変化連続性検出部１３６は、フレーム間差分処理部１３３で求められた数フレーム分の差分値に基づいて、画素毎に、変化連続性を検出して、動体領域（動き領域）か否かを検出する。この場合、画素毎に、数フレーム分の差分値に対してそれぞれ閾値処理を行い、閾値を越えた状態が一定時間以上継続した場合には、動体領域を構成する画素であるとする。
【００４６】
変化連続性検出部１３６における検出処理について、図６（Ａ）〜（Ｃ）を参照して、さらに説明する。この図６（Ａ）〜（Ｃ）は、ある画素における数フレーム分の差分値を、横軸に過去フレームの時間、縦軸にそれぞれの過去フレームの差分値をとって、示している。
【００４７】
ある画素に物体（動体）が無い場合、図６（Ａ）に示すように、数フレーム分の差分値は小さい状態が継続したものとなる。次に、ある画素に時刻ｔ１のフレームで物体が進入してきて、現フレームでも当該物体が存在する場合、図６（Ｂ）に示すように、時刻ｔ１以前のフレームの差分値は大きく、それ以後のフレームの差分値は小さくなる。次に、ある画素に木の葉や波等の揺らぎ（周期的な動き）がある場合、図６（Ｃ）に示ように、差分値はランダムに変動する。
【００４８】
このように、ある画素に物体が進入してきた場合には、図６（Ｂ）に示すように、一定時間の間、差分値が大きい状態におかれる。そのため、変化連続性検出部１２６は、差分値が大きなフレームの連続数がカウントされ、その値が所定数を越えるとき、動体領域を構成する画素であるとする。
【００４９】
なお、ある画素に木の葉や波等の揺らぎがある場合には、図６（Ｃ）に示ように、差分値が大きなフレームの連続数は少なく、当該ある画素が動き領域を構成する画素とはされない。また、差分値の図示は省略するが、ある画素に物体の進入によらない輝度変化（単発的な動き）がある場合も、上述した木の葉や波等の揺らぎ（周期的な動き）がある場合と同様に、差分値が大きなフレームの連続数は少なく、当該ある画素が動き領域を構成する画素とはされない。これにより、動体領域として、突発的あるいは周期的な動き領域が除かれ、画像内に進入してきた物体の領域のみ検出可能となる。
【００５０】
変化連続性検出部１３６は、上述したように動き領域を構成する画素とした各画素に対して隣接画素との結合処理等によるラベリングを行って動体領域Ｄａを検知し、その情報を出力端子１３７に出力する。
【００５１】
図５に示す動体検知部１２６の動作を説明する。入力端子１３１には画像データＶＤが入力される。この画像データＶＤは背景画像保持部１３４に供給され、物体が存在していない状態における画像データＶＤが背景画像の画像データとして保持される。
【００５２】
入力端子１３１に入力される画像データＶＤはフレーム間差分処理部１３５に供給される。そして、フレーム間差分処理部１３５では、背景画像保持部１３４に保持されている背景画像の画像データと、入力端子１３１に入力される現フレームの画像データとの差分値が検出され、この差分値に基づいて現フレーム画像のうち背景画像と異なる領域が検出される。
【００５３】
入力端子１３１に入力される画像データＶＤが過去画像保持部１３２に供給され、この過去画像保持部１３２には過去数フレーム分の画像データが過去画像データ群として保持される。
【００５４】
入力端子１３１に入力される画像データＶＤがフレーム間差分処理部１３３に供給される。そして、このフレーム間差分処理部１３３では、過去画像保持部１３２に保持されている過去数フレームの画像データと、入力端子１２１に入力される現フレームの画像データとの差分値が求められる。この場合、上述のフレーム間差分処理部１３５で検出された領域に基づき、差分値を求める処理は、当該検出領域のみで行われ、処理の高速化が図られ、また残像領域の検出が防止される。
【００５５】
このようにフレーム間差分処理部１３３で求められた数フレーム分の差分値は変化連続性検出部１３６に供給される。この変化連続性検出部１３６では、画素毎に、数フレーム分の差分値に対してそれぞれ閾値処理が行われ、閾値を越えた状態が一定時間以上継続した場合には、動体領域を構成する画素であるとする決定が行われる。
【００５６】
そして、この変化連続性検出部１３６では、上述したように動体領域を構成する画素とした各画素に基づいて隣接画素との結合処理などのラベリングが行われて動体領域Ｄａが検知される。この動体領域Ｄａの情報は出力端子１３７に出力される。
【００５７】
次に、上述の不動体検知部１２７の具体例（特願２００５−１５７５８８号参照）を、図７を用いて説明する。この例は、基準背景画像の更新方法として、重み付き混合正規分布を用いるものである。
【００５８】
図７において、不動体検知部１２７は、入力端子１４１、重み付き混合正規分布算出部１４２、上位重み抽出部１４３、クラス分類部１４４、基準輝度値更新部１４５、変化後輝度値検出部１４６、クラス遷移判別部１４７、比較部１４８、不動体検知判定部１４９および出力端子１５０を有している。
【００５９】
入力端子１４１は、画像データＶＤを入力するための端子である。重み付き混合正規分布算出部１４２は、画素毎に、輝度値が複数個の輝度正規分布のいずれに属するかを判定し、複数個の輝度正規分布のそれぞれについての重みを更新すると共に、平均値を更新する。そして、この重み付き混合正規分布算出部１４２は、その算出結果（少なくとも各分布の重みおよび平均値（平均輝度値））を上位重み抽出部１４３に供給する。
【００６０】
ここで、輝度正規分布の平均値および重みの更新についてさらに説明する。
【００６１】
現在（時点ｔ）の画素の輝度Ｘｔの確率Ｐ（Ｘｔ）は、一般に、（１）式のように表すことができる。
【００６２】
【数１】
【００６３】
この（１）式における確率密度関数ηは、（２）式のように表すことができる。
【００６４】
【数２】
【００６５】
各画素の輝度が、ｋ個（ｋは正の整数）の正規分布のいずれに属するかを探す。例えば、１画素の輝度データが８ビットで表される画像データの場合、図８（Ａ）に示すような４個の輝度正規分布を用意し、各画素の輝度が、当該４個の輝度正規分布のどれに属するかを探す。
【００６６】
ある画素の輝度Ｘｔが、例えば、その輝度正規分布の平均値μk±２σk以内の値であるか否か判定し、以内であれば当該輝度正規分布に属していると判定し、以外であれば当該輝度正規分布に属していないと判定する。もしも、いずれの輝度正規分布にも属さないときには、ｋ個の輝度正規分布のうち後述する重みが最も小さい輝度正規分布の平均値μを、そのときの画素の輝度Ｘｔに置き換える。
【００６７】
そして、画素毎に、当該画素の輝度Ｘｔが属した輝度正規分布の重みを大きく、属さなかった輝度正規分布の重みを小さくするように、各輝度正規分布の重みωk,tを更新する。すなわち、例えば、画素の輝度Ｘｔが属した輝度正規分布の重みωk,tは、以下の（３）式にしたがって更新し、また、属さなかった輝度正規分布の重みωk,tは、以下の（４）式にしたがって更新する。なお、（３）式および（４）式において、αは重みの更新速度であり、０≦α≦１である。
【００６８】
【数３】
【００６９】
そして、各輝度正規分布の平均値μtと分散σは、以下の（５）式、（６）式、（７）式に基づいて、更新される。
【００７０】
【数４】
【００７１】
以上により、各画素について、複数個の輝度正規分布のそれぞれの重みωk,tの情報が、図８（Ｂ）に示すように更新されてゆく。
【００７２】
上位重み抽出部１４３は、複数個の輝度正規分布のうち、重みの大きさが上位２個の分布の重みをクラス分類部１４４に供給すると共に、重みが最大である分布の平均輝度値を基準輝度値更新部１４５および変化後輝度値検出部１４６に供給する。
【００７３】
クラス分類部１４４は、重みの大きさが上位２個の分布の重みを用い、以下の（８）式および（９）式に基づいて、現時点における画素の輝度の変化状態についてクラス分類し、その分類結果のクラスの情報をクラス遷移判別部１４７に供給する。
【００７４】
重みの大きさが上位２個の分布の重みを用いたクラス分類について説明する。この場合、重みの大きさの上位２個の輝度正規分布の重みの関係、特にこの実施の形態では、上位２個の輝度正規分布の重みの比に基づいてクラス分類をする。上位２つの輝度正規分布の重みのうち、重みの大きさが大きい方をｗｂ、小さい方をｗｓとしたときに、（８）式で表される比ｒの値に基づいてクラス分類する。
【００７５】
ｒ＝ｗｂ／ｗｓ ・・・（８）
【００７６】
この場合、比ｒ＝１および１近傍のときには、画素の輝度は、上位２個の輝度正規分布のどちらに属するかが不安定な状態であるので、不安定クラスとする。
【００７７】
そして、比ｒが所定値以上であれば、上位２個の輝度正規分布の重みに大きな違いがあり、いずれの輝度正規分布に画素の輝度が属するかは安定して判定できるので、安定クラスとする。そして、安定クラスと、不安定クラスとの中間の状態は、中間クラスとする。
【００７８】
比ｒの値に対するクラス分類のための閾値は、例えば試行錯誤により決定される。この実施の形態では、例えば、（９）式で示されるものとする。
【００７９】
不安定クラス ； １≦ｒ＜１．１〜１．２
中間クラス ； １．１〜１．２≦ｒ＜１．５
安定クラス ； １．５≦ｒ
・・・（９）
【００８０】
クラス遷移判別部１４７は、クラス分類部１４４からのクラスの情報の時間的な遷移を判別する。そして、クラス遷移判別部１４７は、この実施形態では、判別したクラス遷移に基づいて、基準輝度値の更新タイミング信号Ｓstおよび輝度変化検出タイミング信号Ｓchを生成する。
【００８１】
図９に、上位２個の輝度正規分布の重みの比に基づいて、画素の輝度の状態を安定クラス、中間クラス、不安定クラスの３つのクラスに分類したときの遷移状態を示す。この図９では、便宜上、安定クラスをＡ、中間クラスをＢ、不安定クラスをＣとし、遷移状態を表す値、遷移状態値をＳＴＡＴＥ＿Ｘとする。ここで、遷移状態値ＳＴＡＴＥ＿ＸにおけるＸは、不安定クラスＣになったときには、Ｃ（ＳＴＡＴＥ＿Ｃ）となるが、その他のときには、前のクラスの状態を考慮した値とされる。
【００８２】
すなわち、ＳＴＡＴＥ＿ＡおよびＳＴＡＴＥ＿Ｂは、初期状態がＡクラスおよびＢクラスの場合の遷移状態値である。初期状態がＣクラスのときにも遷移状態値は、ＳＴＡＴＥ＿Ｃとなる。ＳＴＡＴＥ＿ＢＡは、ＡクラスからＢクラスに遷移したとき、または、ＢクラスからＡクラスに遷移したときの遷移状態値である。ＳＴＡＴＥ＿ＣＢは、ＢクラスからＣクラスに遷移したとき、または、ＣクラスからＢクラスに遷移したときの遷移状態値である。さらに、ＳＴＡＴＥ＿ＣＢＡは、ＡクラスからＢクラス、さらにＣクラスに遷移したとき、または、ＣクラスからＢクラス、さらにＡクラスに遷移したときの遷移状態値である。
【００８３】
初期状態の遷移状態値をＳＴＡＴＥ＿Ａとし、例えば安定→中間→不安定と遷移した場合、遷移状態値はＳＴＡＴＥ＿ＡからＳＴＡＴＥ＿ＢＡ、さらにＳＴＡＴＥ＿Ｃと変化する。
【００８４】
また、例えば、ＳＴＡＴＥ＿Ａは、最大重みの分布が変わらず、変化がないことを示す。また、ＳＴＡＴＥ＿ＣＢＡは、重みの大きさが２番目から最大に変化した分布であることを示し、いままで、監視領域中に在った物がなくなったか、新たに静止状態のものが監視領域内に入ったことを表している。
【００８５】
したがって、不動体を検知するタイミング、つまり、輝度変化検出タイミングは、この実施形態では、遷移状態値がＳＴＡＴＥ＿ＣＢＡであるときとする。そして、この実施形態では、安定性を上げるため、クラス遷移判別部１４７は、遷移状態値がＳＴＡＴＥ＿ＣＢＡになったときに即座に輝度変化検出タイミングとするのではなく、ＳＴＡＴＥ＿ＣＢＡの状態がある所定時間継続したときを輝度変化検出タイミングとして、輝度変化検出タイミング信号Ｓchを生成し出力する。
【００８６】
例えば、この実施の形態では、輝度変化検出（不動体検出）は、画像データの毎フレームではなく、例えば４フレームごとに行なうようにしており、ＳＴＡＴＥ＿ＣＢＡの状態が、例えば３０回（４秒）続いた後を、輝度変化検出タイミングとする。
【００８７】
ここで、図１０の例について説明する。この例は、監視領域に車が入ってきて停止した場合における上位２つの重みの推移に関連して、上述した３つのクラスを示したものである。この図１０において、ｆ１（ｗ１＿ｔ,ｍ１＿ｔ）は、時刻ｔで、重みｗ１＿ｔと輝度（輝度正規分布の平均値）ｍ１＿ｔとを持つ背景を表し、ｆ２（ｗ２＿ｔ，ｍ２＿ｔ）は、時刻ｔで、重みｗ２＿ｔと輝度（輝度正規分布の平均値）ｍ２＿ｔとを持つ車を表している。重みも、輝度（輝度正規分布の平均値）も、上述した（５）式、（６）式、（７）式により時間ｔの経過に伴って更新される。
【００８８】
図１０に示すように、最初は、背景の重みｗ１＿ｔが大きく、停車すると徐々に車の重みｗ２＿ｔが増し、それに伴い背景の重みｗ１＿ｔが減り、最終的には車の重みｗ２＿ｔが最大になる。したがって、重みが一番大きい輝度正規分布の平均値（輝度）の変化、すなわち、図１０の場合であれば、ｍ１＿ｔとｍ２＿ｔの差を検知すれば、注目画素の部分が背景から停止している車に変化したことがわかる。
【００８９】
図１０の例において、時点ｔ２は遷移状態値がＳＴＡＴＥ＿ＣＢＡになった時刻であり、輝度変化検出タイミングは、時点ｔ３である。また、クラス遷移判別部１４７は、基準輝度値を更新するタイミングを、上位２個の重みの関係が不安定クラスであって、かつ、前回の遷移状態値が、かつて安定したクラスに属していたことを示すＳＴＡＴＥ＿ＢＡかＳＴＡＴＥ＿ＣＢＡの場合とする。そして、クラス遷移判別部１４７は、この基準輝度値の更新タイミングの時点で、基準輝度値の更新タイミング信号Ｓstを生成する。この更新タイミングの時点は、図１０の例であれば、時点ｔ１のタイミングである。
【００９０】
ただし、クラス遷移判別部１４７は、上述した滞在時間の短い物を不動体として検出しないようにするために、更新タイミングの時点と判定される時点であっても、前回の輝度変化検出タイミング信号Ｓchの生成時点から指定滞在時間以上経過していないときには、基準輝度値の更新タイミング信号Ｓstは生成せず、基準輝度値は更新しないようにする。
【００９１】
このために、この実施形態では、基準輝度値の更新を許可するかどうかを示すフラグ（以下、「更新フラグ」という）を用意する。この更新フラグは、初期状態では「ｆａｌｓｅ（＝偽）」として、更新を許可する状態とする。すなわち、更新タイミング時点において、この更新フラグを参照し、更新フラグが「ｆａｌｓｅ」の時には、更新タイミング信号Ｓstを生成して出力することを許可する。
【００９２】
そして、この実施形態では、基準輝度値を更新タイミングで更新したときに、つまり、更新タイミング信号Ｓstを出力したときに、更新フラグを「ｔｒｕｅ（＝真）」として、更新の禁止状態にする。クラス遷移判別部１４７は、更新フラグが「ｔｒｕｅ」の状態のときには、更新タイミング信号Ｓstを出力しない。
【００９３】
クラス遷移判別部１４７では、検出すべき不動体の指定滞在時間以上、更新フラグが「ｔｒｕｅ」の状態が継続したときには、「ｆａｌｓｅ」に戻して、更新タイミング信号Ｓstの出力を許可するようにする。また、クラス遷移判別部１４７は、画素の輝度変化がないと判断できるときに、更新フラグを「ｔｒｕｅ」から「ｆａｌｓｅ」の状態に戻すようにしてもよい。
【００９４】
以上のようにして、クラス遷移判別部１４７は、基準輝度値の更新タイミング信号Ｓstを生成し、この基準輝度値の更新タイミング信号Ｓstを基準輝度値更新部１４５に供給する。基準輝度値更新部１４５は、この基準輝度値の更新タイミング信号Ｓstにより、重みが最大である輝度正規分布の平均値を、基準輝度値として取得して更新する。
【００９５】
また、クラス遷移判別部１４７は、上述のようにして生成した輝度変化検出タイミング信号Ｓchを変化後輝度値検出部１４６に供給する。変化後輝度値検出部１４６は、この輝度変化検出タイミング信号Ｓchにより、重みが最大である輝度正規分布の平均値を、変化後輝度値として取得する。
【００９６】
そして、基準輝度値更新部１４５で更新された基準輝度値が比較部１４８に供給されると共に、変化後輝度値検出部１４６で取得された変化後輝度値が比較部１４８に供給される。さらに、クラス遷移判別１４７からの輝度変化検出タイミング信号Ｓchが、比較タイミング信号としてこの比較部１４８に供給される。比較部１４８では、変化後輝度値検出部１４６で取得された変化後輝度値と、基準輝度値更新部１４５で更新された基準輝度値とが比較されて、両者に有意差があるかどうか判定され、その比較判定結果が不動体検知判定部１４９に供給される。
【００９７】
不動体検知判定部１４９は、比較部１４８からの比較判定結果を受けて、当該比較判定結果が変化後輝度値と基準輝度値との間に有意差があることを示しているときに、そのときの時間、例えばフレーム番号を不動体検知時間として保存する。そして、不動体検知判定部１４９は、比較判定結果が変化後輝度値と基準輝度値との間に有意差があることを示している状態が、その後継続しているときには、予め定められた時間後、不動体を検知した状態となる。
【００９８】
上述した図１０の例について、上述した不動体の検知処理動作をさらに説明する。図１０において、初期状態ｔ＝ｔ０では更新フラグは「ｆａｌｓｅ」、基準輝度値はｍ１＿ｔ０とされる。図１０に示す時点ｔ＝ｔ１では、更新フラグは「ｆａｌｓｅ」であり、上位２つの重みの関係から、画素の輝度の状態は不安定クラスであり、かつ、前回の遷移状態値がＳＴＡＴＥ＿ＢＡなので、更新タイミング信号Ｓstが発生され、基準輝度値は、ｍ１＿ｔ０からｍ１＿ｔ１に更新され、更新フラグは「ｔｒｕｅ」とされる。
【００９９】
そして、時点ｔ＝ｔ３では、輝度変化検出タイミング信号Ｓchが発生するので、基準輝度値ｍ１＿ｔ１と変化後輝度値ｍ２＿ｔ３とが比較されて、画素の輝度値の変化が検知される。このとき、基準輝度値ｍ１＿ｔ１と変化後輝度値ｍ２＿ｔ３との間には、有意差があるので、そのときの時間、例えばフレーム番号が検知時間として保存される。そして、その後変化がなければ、不動体を検知した状態となる。
【０１００】
次に、一旦静止した物が、指定した滞在検知時間に満たずに移動した場合につき、図１１の例を用いて説明する。この図１１の例において、ｆ１（ｗ１＿ｔ,ｍ１＿ｔ）は背景についての、ｆ２（ｗ２＿ｔ,ｍ２＿ｔ）は車についての、重みの変化を示す。初期状態ｔ０では、更新フラグは「ｆａｌｓｅ」、基準輝度値はｍ１＿ｔ０とされる。
【０１０１】
時点ｔ１では、上位２つの重みの関係は、不安定クラスの状態で、前回の遷移状態値がＳＴＡＴＥ＿ＢＡなので、基準輝度値は、ｍ１＿ｔ０からｍ１＿ｔ１に更新され、更新フラグは「ｔｒｕｅ」とされる。そして、時点ｔ３では、基準輝度値ｍ１＿ｔ１と、変化後輝度値ｍ２＿ｔ３とが比較されて、画素の輝度値の変化が検知される。次の時点ｔ４では、前の輝度変化検出タイミング時点ｔ３から指定滞在時間以内にあるので、更新フラグは「ｆａｌｓｅ」に戻されることなく、「ｔｒｕｅ」のままとされる。そのため、この時点ｔ４では、基準輝度値の更新は行われない。
【０１０２】
したがって、このときには次の輝度変化検出タイミングである時点ｔ６では、基準輝度値ｍ１＿ｔ１と、当該時点ｔ６での変化後輝度値ｍ１＿ｔ６とが比較されるので、画素の輝度値の変化はないとされる。このようにして、指定滞在時間よりも短い時間停止で移動する物の場合には、不動体を検知した状態とはならない。
【０１０３】
不動体検知判定部１４９は、上述した不動体検知処理を画素単位で行っている。この不動体検知判定部１４９では、上述した画素単位の不動体検知処理が終了すると、画素単位で検知した検知領域をまとめるために検知フラグを基に、ブロック化処理を行う。このブロック化処理は、例えば、縦×横＝４×４画素の範囲を１つのブロックとした場合に、そのブロック中に検知画素が半分以上あれば、そのブロック内の画素の全部を不動体として検知したことにし、反対に、上述のブロック中に検知画素が半分未満ならば、そのブロック内の画素は不動体とは検知しなかったことにする。この場合、ブロック範囲の動かし方は、１画素ずつずらしていってもよいし、あるいは４画素飛ばしでもよい。
【０１０４】
不動体検知判定部１４９では、上述したようにブロック検知領域に対して、隣接画素との結合処理などのラベリングが行われて不動体領域Ｄｂが検知される。この不動体領域Ｄｂの情報は出力端子１５０に出力される。
【０１０５】
図４に示す監視カメラ１０２の動作を説明する。撮像部１２２からは監視画像に対応した撮像信号（アナログ信号）が得られる。この撮像信号は撮像信号処理部１２４に供給される。撮像信号処理部１２４では、撮像信号に対して、サンプルホールドおよび利得制御等のアナログ信号処理、Ａ／Ｄ変換処理、さらにはホワイトバランス調整、ガンマ補正等のデジタル信号処理が施されて、画像データが生成される。この画像データ１２５は、画像データ処理部１２５に供給される。画像データ処理部１２５では、画像データに対してデータ圧縮処理が施されて、圧縮画像データが生成される。この圧縮画像データは伝送部１２９に供給される。
【０１０６】
また、撮像信号処理部１２４で生成された画像データは、動体検知部１２６および不動体検知部１２７に供給される。動体検知部１２６では、動体の検知が選択されている場合に、画像データが処理されて、動体領域の検知が行われる。動体検知部１２６で検知される動体領域の情報はメタデータ生成部１２８に供給される。
【０１０７】
一方、不動体検知部１２７では、不動体の検知が選択されている場合に、画像データが処理されて、不動体領域の検知が行われる。このように不動体検知部１２７で検知される不動体領域の情報はメタデータ生成部１２８に供給される。
【０１０８】
メタデータ生成部１２８では、検知部１２６，１２７からの検知情報および制御部１２１からの情報等に基づいて、１フレーム毎に、動体検知部１２６、あるいは不動体検知部１２７で検知された動体または不動体に関する情報（オブジェクト数、オブジェクト情報）、およびこれら検知部の検知状態を示す情報（検知ステータス）を含むメタデータ（図２参照）が生成される。このようにメタデータ生成部１２８で生成されたメタデータは、伝送部１２９に供給される。
【０１０９】
伝送部１２９では、画像データ処理部で生成された圧縮画像データおよびメタデータ生成部１２８で生成されたメタデータが、ＦＴＰ、ＨＴＴＰ等のプロトコルにより、ネットワーク１０１を介して、監視装置１０４に送信することが行われる。ここで、動体または不動体が検知されないフレームが連続する場合、あるいは、「検知中」以外の所定の検知ステータスにあるフレームが連続する場合等、検知情報を構成する各情報に変化がないフレームにあっては、伝送容量を低減するために、最初のフレームでのみメタデータの送信が行われる。
【０１１０】
次に、監視装置１０４の構成例を、図１０の機能ブロックを用いて説明する。
【０１１１】
図１０において、監視装置１０４は、制御部１６１と、ユーザインタフェース部１６２と、伝送部１６３と、画像データ処理部１６４と、記録再生処理部１６５と、オンスクリーンディスプレイ（ＯＳＤ）部１６６と、合成部１６７と、ストレージ１６８と、モニタ１６９とを有している。
【０１１２】
制御部１６１は、監視装置１０４の各部の動作を制御する。この制御部１６１は、ＣＰＵで構成される。ＣＰＵは、ＲＯＭ等に格納されている制御プログラムを必要に応じて読み出し、読み出した制御プログラムをＲＡＭに転送して展開し、当該展開された制御プログラムを読み出して実行することで、各部の動作を制御する。ユーザインタフェース部１６２は、操作キー、リモートコントロール信号受信器等で構成されている。このユーザインタフェース部１６２は、制御部１６１に接続されている。ユーザインタフェース部１６２は、ユーザ操作に応じた操作信号を生成して制御部１６１に供給する。
【０１１３】
伝送部１６３は、監視カメラ１０２（１０２ａ，１０２ｂ）からネットワーク１０１を介して送信されてくる画像データ（圧縮画像データ）およびメタデータを受信する。ストレージ１６８は、伝送部１６３で受信された画像データ（圧縮画像データ）およびメタデータを記録する。このストレージ１６８は、例えば、ハードディスクドライブ（ＨＤＤ）で構成されている。記録再生処理部１６５は、ストレージ１６８への画像データおよびメタデータの記録、さらには、このストレージ１６８からの画像データおよびメタデータの再生を制御する。
【０１１４】
画像データ処理部１６４は、伝送部で受信された画像データ（圧縮画像データ）、あるいはストレージ１６８から再生された画像データ（圧縮画像データ）に対してデータ伸長処理を行って、出力用の画像データを生成する。画像データ処理部１６４は、通常は、伝送部１６３で受信されている画像データに対してデータ伸長処理を行うが、再生時には、ストレージ１６８から再生された画像データに対してデータ伸長処理を行う。
【０１１５】
ＯＳＤ部１６６は、制御部１６１の制御に基づいて、ＯＳＤ用の表示信号を生成する。例えば、ＯＳＤ部１６６は、監視カメラ１０２の検知部２０６、２０７における検知情報（検知部の検知状態を示す情報、検知部で検知された動体または不動体に関する情報）を表示する際、当該検知情報を表示するための表示信号を発生する。
【０１１６】
合成部１６７は、画像データ処理部１６４で得られた画像データにＯＳＤ部１６６から出力される表示信号を合成し、合成信号をモニタ１６９に供給する。この場合、モニタ１６９には、画像データ処理部１６４で得られた画像データによる画像が表示されると共に、ＯＳＤ部１６６から出力される表示信号によるＯＳＤ表示が行われる。
【０１１７】
図１２に示す監視装置１０４の動作を説明する。伝送部１６３では、監視カメラ１０２（１０２ａ，１０２ｂ）から送信されてくる画像データ（圧縮画像データ）およびメタデータが受信される。この画像データは、記録再生処理部１６５および画像データ処理部１６４に供給される。一方、メタデータは、記録再生処理部１６５および制御部１６１に供給される。ユーザの設定により、記録指示がなされている場合には、当該画像データおよびメタデータは記録再生処理部１６５により、ストレージ１６８に記録される。
【０１１８】
画像データ処理部１６４では、伝送部１６３から供給される画像データに対して、データ伸長処理が施されて、出力用の画像データが生成される。また、制御部１６１は、伝送部１６３から供給されるメタデータに基づいて、ＯＳＤ部１６６を制御し、当該ＯＳＤ部１６６から、監視カメラ１０２の検知部２０６、２０７における検知情報等を表示するための表示信号を発生させる。
【０１１９】
合成部１６７では、画像データ処理部１６４で得られた画像データに、ＯＳＤ部１６６で発生された表示信号が合成され、その合成信号はモニタ１６９に供給される。これにより、モニタ１６９には、監視カメラ１０２（１０２ａ，１０２ｂ）で撮像された監視画像に対応した画像が表示される。そして、その画像上に、例えば、監視カメラ１０２の検知部２０６，２０７における検知情報等がＯＳＤ表示される。
【０１２０】
また、ストレージ１６８からの画像データおよびメタデータの再生時には、再生された画像データは記録再生処理部１６５を介して画像データ処理部１６４に供給され、再生されたメタデータは記録再生処理部１６５を介して制御部１６１に供給される。以下は、上述した伝送部１６３で受信された画像データおよびメタデータに対する動作と同様にして、モニタ１６９に再生された画像データによる画像が表示されると共に、その画像上に、例えば、監視カメラ１０２の検知部２０６，２０７における検知情報等がＯＳＤ表示される。
【０１２１】
上述したように、図３に示す監視カメラシステム１００においては、監視カメラ１０２（１０２ａ，１０２ｂ）から監視装置１０４に画像データおよびメタデータが送信される。このメタデータには、検知部２０６，２０７の検知状態を示す情報（検知ステータス）および検知部２０６，２０７で検知された動体または不動体に関する情報（オブジェクト数、オブジェクト情報等）が含まれている。そのため、監視装置１０４側では、監視カメラ１０２（１０２ａ，１０２ｂ）の検知部２０６，２０７における検知状態（「検知中」、「背景取得中」、「ＰＴＺ動作中」、「映像異常」、「機器異常」等）を認識でき、その後の処理、例えば、上述したように、当該検知状態をモニタ１６９にＯＳＤ表示する処理を行うことができる。
【０１２２】
また、監視装置１０４側では、検知部２０６，２０７の検知状態を示す情報（検知ステータス）に基づいて、検知部２０６，２０７が検知を停止している期間（例えば「映像異常」、「機器異常」等の期間）、に対応した画像データを処理し、動体または不動体を検知する処理を行うことができる。この検知処理、および上述の表示処理は制御部１６１により行われる。この場合、制御部１６１は、データ処理部を構成する。
【０１２３】
図１３は、監視カメラ１０２から監視装置１０４に送信されて記録される画像データおよび動体の検知情報の一例を示している。
【０１２４】
第ｎフレームでは、動体検知によって動体が検知されず、監視カメラ１０２から監視装置１０４には、「検知中」を示す検知ステータスと、動体なしの情報（オブジェクト数が０を示し、オブジェクト情報を持たない）を含むメタデータが送信されて記録される。第ｎ＋１フレーム、第ｎ＋２フレームでは、動体検知によって動体が検知され、監視カメラ１０２から監視装置１０４には、「検知中」を示す検知ステータスと、動体ありの情報（オブジェクト数が１以上の数を示し、オブジェクト数に対応した個数のオブジェクト情報を持つ）を含むメタデータが送信されて記録される。
【０１２５】
第ｎ＋３フレームでは、動体検知によって動体が検知されず、監視カメラ１０２から監視装置１０４には、「検知中」を示す検知ステータスと、動体なしの情報を含むメタデータが送信されて記録される。第ｎ＋４フレーム〜第ｎ＋６フレームでは、何らかの原因で動体検知が停止されており、第ｎ＋４フレームでのみ、「検知停止中」を示す検知ステータス（「背景取得中」、「ＰＴＺ動作中」、「映像異常」、「機器異常」等）と、動体なしの情報を含むメタデータが送信されて記録される。第ｎ＋７フレームでは、動体検知が再開されるが、当該動体検知によって動体が検知されず、監視カメラ１０２から監視装置１０４には、「検知中」を示す検知ステータスと、動体なしの情報を含むメタデータが送信されて記録される。
【０１２６】
このように、監視カメラ１０２の検知部２０６でなんらかの原因で動体検知が停止される場合、その停止期間の最初のフレームで「検知停止中」を示す検知ステータスを含むメタデータが監視カメラ１０２から監視装置１０４に送信されて記録される。そのため、監視装置１０４側では、メタデータに含まれる検知ステータス（検知部の検知状態を示す情報）を用いて、動体検知が停止されている期間に対応した画像データを特定でき、当該画像データを処理して動体の検知処理を行うことができる。この場合、検知停止期間内の第ｎ＋５フレームに動体ＭＯがあった場合、監視装置１０４側における検知処理により、当該動体ＭＯの検知が可能となる。
【０１２７】
なお、上述実施の形態においては、監視装置１０４側で監視カメラ１０２から送信されてくるメタデータに含まれる検知ステータス（検知部の検知状態を示す情報）を利用する処理として、検知状態を画像上にＯＳＤ表示する処理、検知停止期間の画像データから動体または不動体を検知する処理を述べたが、当該検知ステータスを利用した処理は、これに限定されるものではない。例えば、その他に、この検知ステータスを利用して、監視装置側に画像データおよびメタデータを送っている監視カメラが何らかの理由で検知停止の状態となった場合に、他の監視カメラから画像データおよびメタデータを送ってもらうようにカメラの切り替え処理を行うことができる。
【産業上の利用可能性】
【０１２８】
この発明は、例えば監視カメラからネットワークを介して接続された監視装置に、画像データ、および検知された動体または不動体に関する情報を含むメタデータを送る監視カメラ装置に適用できる。
【図面の簡単な説明】
【０１２９】
【図１】第１のネットワーク機器と第２のネットワーク機器とがネットワークを介して接続されたネットワークシステムを示すブロック図である。
【図２】監視カメラで生成されて監視装置に送信される、メタデータの１フレーム分を示す図である。
【図３】監視カメラと監視装置とがネットワークを介して接続された監視カメラシステムを示すブロック図である。
【図４】監視カメラの構成例を示すブロック図である。
【図５】動体検知部の具体例を示すブロック図である。
【図６】動体検知部における変化連続性の検出処理を説明するための図である。
【図７】不動体検知部の具体例を示すブロック図である。
【図８】重み付き混合正規分布を説明するための図である。
【図９】画素の輝度の状態を安定クラス、中間クラス、不安定クラスの３つのクラスに分類したときのクラス遷移状態を示す図である。
【図１０】背景と車の重みの推移例とクラス分類（不動体を検知）を示す図である。
【図１１】背景と車の重みの推移例とクラス分類（不動体を非検知）を示す図である。
【図１２】監視装置の構成例を示す機能ブロック図である。
【図１３】監視カメラから監視装置に送信されて記録される画像データおよび動体の検知情報の一例を示す図である。
【図１４】従来における、監視カメラから記録装置に送信されて記録される画像データおよび動体の検知情報の一例を示す図である。
【符号の説明】
【０１３０】
１０・・・ネットワークシステム、１１・・・第１のネットワーク機器、１２・・・第２のネットワーク機器、１３・・・ネットワーク、１００・・・監視カメラシステム、１０１・・・ネットワーク、１０２，１０２ａ，１０２ｂ・・・監視カメラ、１０４・・・監視装置、１２１・・・制御部、１２２・・・撮像部、１２３・・・ＰＴＺ制御部、１２４・・・撮像信号処理部、１２５・・・画像データ処理部、１２６・・・動体検知部、１２７・・・不動体検知部、１２８・・・メタデータ生成部、１２９・・・伝送部、１６１・・・制御部、１６２・・・ユーザインタフェース部、１６３・・・伝送部、１６４・・・画像データ処理部、１６５・・・記録再生処理部、１６６・・・ＯＳＤ部、１６７・・・合成部、１６８・・・ストレージ、１６９・・・モニタ、１７０・・・設定画面、１７１・・・画像表示部、１７２・・・検知選択部、１７３・・・検知設定部、１７４-1〜１７４-3・・・チェックボックス、１７５・・・しきい値設定スライドバー、１７６・・・検知枠、１７７・・・動体、１７８・・・動体検知インジケータ、１７９・・・しきい値表示部、１８０・・・ＯＫボタン
【特許請求の範囲】
【請求項１】
他のネットワーク機器にネットワークを介して接続されたネットワーク機器であって、
画像データを処理し、動体または不動体を検知する検知部と、
上記検知部の検知状態を示す情報および上記検知部で検知された動体または不動体に関する情報を含むメタデータを生成するメタデータ生成部と、
上記画像データおよび上記メタデータ生成部で生成されたメタデータを上記他のネットワーク機器に送信するデータ送信部と
を備えることを特徴とするネットワーク機器。
【請求項２】
監視画像を撮像し、該監視画像に対応した画像データを生成する画像データ生成部をさらに備え、
上記検知部は、上記画像データ生成部で生成された画像データを処理して、上記動体または不動体を検知する
ことを特徴とする請求項１に記載のネットワーク機器。
【請求項３】
他のネットワーク機器にネットワークを介して接続されたネットワーク機器であって、
上記他のネットワーク機器から送信されてくる画像データおよびメタデータを受信するデータ受信部と、
上記データ受信部で受信された画像データおよびメタデータを記録するデータ記録部とを有し、
上記メタデータは、動体または不動体を検知する上記他のネットワーク機器の検知部の検知状態を示す情報および該検知部で検知された動体または不動体に関する情報を含み、
上記検知部の検知状態を示す情報を利用した処理を行うデータ処理部をさらに有する
ことを特徴とするネットワーク機器。
【請求項４】
上記データ処理部は、上記検知部の検知状態を示す情報を利用して、上記他のネットワーク機器の検知部が検知を停止している期間に対応した上記画像データを処理し、動体または不動体を検知する処理を行う
ことを特徴とする請求項３に記載のネットワーク機器。
【請求項５】
上記データ処理部は、上記検知部の検知状態を示す情報を利用して、該検知部の検知状態を、上記画像データによる画像に対応させて表示する処理を行う
ことを特徴とする請求項３に記載のネットワーク機器。
【請求項６】
第１のネットワーク機器と第２のネットワーク機器とがネットワークを介して接続されたネットワークシステムであって、
上記第１のネットワーク機器は、
画像データを処理し、動体または不動体を検知する検知部と、
上記検知部の検知状態を示す情報および上記検知部で検知された動体または不動体に関する情報を含むメタデータを生成するメタデータ生成部と、
上記画像データおよび上記メタデータ生成部で生成されたメタデータを上記第２のネットワーク機器に送信するデータ送信部とを有し、
上記第２のネットワーク機器は、
上記第１のネットワーク機器から送信されてくる画像データおよびメタデータを受信するデータ受信部と、
上記データ受信部で受信された画像データおよびメタデータを記録するデータ記録部とを有する
ことを特徴とするネットワークシステム。
【請求項７】
監視カメラと監視装置とがネットワークを介して接続された監視カメラシステムであって、
上記監視カメラは、
監視画像を撮像し、該監視画像に対応した画像データを生成する画像データ生成部と、
上記画像データ生成部で生成された画像データを処理し、動体または不動体を検知する検知部と、
上記検知部の検知状態を示す情報および上記検知部で検知された動体または不動体に関する情報を含むメタデータを生成するメタデータ生成部と、
上記画像データ生成部で生成された画像データおよび上記メタデータ生成部で生成されたメタデータを上記監視装置に送信する送信部とを有し、
上記監視装置は、
上記監視カメラから送信されてくる画像データおよびメタデータを受信するデータ受信部と、
上記データ受信部で受信された画像データおよびメタデータを記録するデータ記録部とを有する
ことを特徴とする監視カメラシステム。
【請求項１】
他のネットワーク機器にネットワークを介して接続されたネットワーク機器であって、
画像データを処理し、動体または不動体を検知する検知部と、
上記検知部の検知状態を示す情報および上記検知部で検知された動体または不動体に関する情報を含むメタデータを生成するメタデータ生成部と、
上記画像データおよび上記メタデータ生成部で生成されたメタデータを上記他のネットワーク機器に送信するデータ送信部と
を備えることを特徴とするネットワーク機器。
【請求項２】
監視画像を撮像し、該監視画像に対応した画像データを生成する画像データ生成部をさらに備え、
上記検知部は、上記画像データ生成部で生成された画像データを処理して、上記動体または不動体を検知する
ことを特徴とする請求項１に記載のネットワーク機器。
【請求項３】
他のネットワーク機器にネットワークを介して接続されたネットワーク機器であって、
上記他のネットワーク機器から送信されてくる画像データおよびメタデータを受信するデータ受信部と、
上記データ受信部で受信された画像データおよびメタデータを記録するデータ記録部とを有し、
上記メタデータは、動体または不動体を検知する上記他のネットワーク機器の検知部の検知状態を示す情報および該検知部で検知された動体または不動体に関する情報を含み、
上記検知部の検知状態を示す情報を利用した処理を行うデータ処理部をさらに有する
ことを特徴とするネットワーク機器。
【請求項４】
上記データ処理部は、上記検知部の検知状態を示す情報を利用して、上記他のネットワーク機器の検知部が検知を停止している期間に対応した上記画像データを処理し、動体または不動体を検知する処理を行う
ことを特徴とする請求項３に記載のネットワーク機器。
【請求項５】
上記データ処理部は、上記検知部の検知状態を示す情報を利用して、該検知部の検知状態を、上記画像データによる画像に対応させて表示する処理を行う
ことを特徴とする請求項３に記載のネットワーク機器。
【請求項６】
第１のネットワーク機器と第２のネットワーク機器とがネットワークを介して接続されたネットワークシステムであって、
上記第１のネットワーク機器は、
画像データを処理し、動体または不動体を検知する検知部と、
上記検知部の検知状態を示す情報および上記検知部で検知された動体または不動体に関する情報を含むメタデータを生成するメタデータ生成部と、
上記画像データおよび上記メタデータ生成部で生成されたメタデータを上記第２のネットワーク機器に送信するデータ送信部とを有し、
上記第２のネットワーク機器は、
上記第１のネットワーク機器から送信されてくる画像データおよびメタデータを受信するデータ受信部と、
上記データ受信部で受信された画像データおよびメタデータを記録するデータ記録部とを有する
ことを特徴とするネットワークシステム。
【請求項７】
監視カメラと監視装置とがネットワークを介して接続された監視カメラシステムであって、
上記監視カメラは、
監視画像を撮像し、該監視画像に対応した画像データを生成する画像データ生成部と、
上記画像データ生成部で生成された画像データを処理し、動体または不動体を検知する検知部と、
上記検知部の検知状態を示す情報および上記検知部で検知された動体または不動体に関する情報を含むメタデータを生成するメタデータ生成部と、
上記画像データ生成部で生成された画像データおよび上記メタデータ生成部で生成されたメタデータを上記監視装置に送信する送信部とを有し、
上記監視装置は、
上記監視カメラから送信されてくる画像データおよびメタデータを受信するデータ受信部と、
上記データ受信部で受信された画像データおよびメタデータを記録するデータ記録部とを有する
ことを特徴とする監視カメラシステム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図３】
【公開番号】特開２００８−１８７３２８（Ｐ２００８−１８７３２８Ａ）
【公開日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願番号】特願２００７−１７４８９（Ｐ２００７−１７４８９）
【出願日】平成１９年１月２９日（２００７．１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願日】平成１９年１月２９日（２００７．１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]