画像処理システム及び画像処理方法、並びに、プログラム
【課題】監視対象領域の画像にマスク設定を行っても動体であるオブジェクトを正確に検知できるようにする。
【解決手段】メタデータ生成部１３において、オブジェクト検知部１３１は、フレーム単位の画像データＤｖから動体であるオブジェクトを検知する処理を行う。オブジェクト発生位置検知部１３２は、オブジェクト検知部１３１によって検知されたオブジェクトの発生位置を検知する。有効オブジェクト判定部１３３は、現在マスク領域内にあるオブジェクトの発生位置がマスク領域外である場合にはこのオブジェクトを有効オブジェクトであると判定する。
【解決手段】メタデータ生成部１３において、オブジェクト検知部１３１は、フレーム単位の画像データＤｖから動体であるオブジェクトを検知する処理を行う。オブジェクト発生位置検知部１３２は、オブジェクト検知部１３１によって検知されたオブジェクトの発生位置を検知する。有効オブジェクト判定部１３３は、現在マスク領域内にあるオブジェクトの発生位置がマスク領域外である場合にはこのオブジェクトを有効オブジェクトであると判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像を解析して監視結果を出力する画像処理システム及び画像処理方法、並びに、プログラムに関する。
【背景技術】
【０００２】
従来より、監視カメラにて所定領域を撮影した画像を解析し、人や車等の動体を検知することにより監視を行う画像処理システム（以下、監視システムという。）がある。
【０００３】
図９は、このような監視システムにおける動体検知の様子を示す図である。監視カメラ（図示せず）が、手前から、動体である人５１、及びこの人５１の背後に位置する背景物である標識５２を撮影する。人５１は、監視対象となるオブジェクトとして動体検知枠５３に捉えられる。このような動体検知処理では、例えば、画像中の各画素値の時間的変化を算出し、各画素値の差異が所定値以上であった場合に画像中に動体があると判断するといったアルゴリズムを適用することができる（特許文献１参照。）。
【０００４】
この図９に示すように、オブジェクトである人５１は、標識５２の手前を通過している。標識５２は、静止しているため時間的変化を生じることがなく、人５１のみが監視カメラによって動体検知枠５３内に捉えられて検知される。
【０００５】
なお、この例において、動体としては人５１に限られず、例えば車や自転車等であってもよく、背景物５２としては、例えば家や樹木等であってもよい。
【０００６】
ところで、図１０に示すように、標識５２を構成するポール５２１に太陽光が照射された場合、ポール５２１表面上の領域５２２において太陽光が反射し、大きな輝度変化を生じさせる。これは、標識５２のように、背景物が例えば金属製の倉庫の壁面や縁石等の光の反射を生じさせる表面を有する物体であれば同様の現象が生じる。標識５２は、移動しないにも拘らず、輝度変化が大きいため、動体検知アルゴリズムにおいては監視カメラを介してこのような光反射がオブジェクトとして誤検知されてしまう。
【０００７】
また、図１１は、標識５２の太陽光が照射される側を人５１が通過する様子を示す図である。この図１１に示すように、人５１によって太陽光が遮断されると、ポール５２１表面の領域５２２の一部に影５２３ができる。この場合、ポール５２１の表面の輝度は、大きく変化する。人５１は、監視カメラと標識５２との間を通過していないにも拘らず、輝度変化が大きいため、動体検知アルゴリズムにおいては監視カメラを介してこのような影がオブジェクトとして誤検知されてしまう。
【０００８】
このような誤検知は、夜間においても生じることがある。通常、夜間においては、図１２（Ａ）に示すように、標識５２のポール５２１表面からは光を生じない。しかしながら、図１２（Ｂ）に示すように、ポール５２１に対し、車のライト等の何らかの光が照射されるとポール５２１表面の例えば領域５２４にて反射されて反射光を生じる。このような場合においても、人５１などの動体が監視カメラと標識５２との間を通過しないにも拘らず、輝度変化が大きいため、動体検知アルゴリズムにおいては監視カメラを介して反射光がオブジェクトとして誤検知されてしまう。
【０００９】
そこで、従来の動体検知アルゴリズムにおいては、例えば、図１３に示すように、標識５２のポール５２１の位置に非検知領域としてマスク領域５４を設定し、このマスク領域５４では画像処理を行わないようにする処理が行われている。これにより、ポール５２１表面上での誤検知を防ぐことができる。
【００１０】
【特許文献１】特開２００６−１０７４５７号公報
【特許文献２】特許第３９９７０６２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、このようなマスク領域の設定処理を行った場合、例えば図１４に示すように、人５１は、マスク領域５４では検知されず、動体検知枠５３に示すように非検知領域外でしか検知されない。
【００１２】
本発明は、このような従来の実情に鑑みて提案されたものであり、マスク領域が設定された画像において動体であるオブジェクトを正確に検出することができる画像処理システム及び画像処理方法、並びに、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した目的を達成するために、本発明は、所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知部と、上記オブジェクト検知部によって検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知部と、上記オブジェクト検知部によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定部とを備える画像処理システムである。
【００１４】
また、上述した目的を達成するために、本発明は、所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知工程と、上記オブジェクト検知工程にて検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知工程と、上記オブジェクト検知工程によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定工程とを有する画像処理方法である。
【００１５】
また、上述した目的を達成するために、本発明は、所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知工程と、上記オブジェクト検知工程にて検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知工程と、上記オブジェクト検知工程によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定工程とをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１６】
本発明によれば、環境変化が生じやすい屋外であっても、監視カメラを用いて侵入者等を監視する際に、動体であるオブジェクトを正確に検知することができ、さらにはアラートの失報を軽減することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明を適用した実施の形態における監視システムの構成例を示す図である。図１に示す監視システム１００において、クライアント端末３は、１台又は複数台の監視カメラから出力されたデータをネットワークを介して取得する。
【００１９】
監視システム１００は、３台の監視カメラである監視カメラ１ａ，１ｂ，１ｃがネットワーク２を介してクライアント端末３と接続されて構成される。このクライアント端末３は、図１に示すようにパーソナルコンピュータ等、表示部を備えた情報処理装置であれば何れのものでもよい。
【００２０】
監視カメラ１ａ，１ｂ，１ｃは、それぞれ指定された監視領域において監視対象物である動体をフレーム単位で撮影して画像データを生成するとともに、このフレーム毎の画像データからメタデータを生成する。本実施の形態において、監視対象となるオブジェクトとしては、人物、車、自転車、動物等、種々の動体を挙げることができる。
【００２１】
クライアント端末３は、ネットワーク２を介して監視カメラ１ａ，１ｂ，１ｃより画像データ及びメタデータを取得すると、この画像データに基づく画像を表示部３１１に表示する。また、クライアント端末３は、この画像データ及びメタデータを記憶部（図示せず）に記憶させるとともにメタデータの解析を行い、その結果を出力する。
【００２２】
クライアント端末３が、ネットワーク２を介して監視カメラ１ａ，１ｂ，１ｃより取得したメタデータは、メタデータフィルタ（以下、「フィルタ」という。）を介して解析される。フィルタ処理結果の内容によっては、クライアント端末３は、監視に適した監視画像が取得される監視カメラ１ａ，１ｂ，１ｃの動作を制御するために、監視カメラ１ａ，１ｂ，１ｃに対して切替指示信号を供給する。
【００２３】
ここで、監視カメラ内で生成されるメタデータについて説明する。メタデータとは、監視カメラの撮像部で撮像された画像の画像データの属性情報のことであり、例えば下記のようなものがある。
・オブジェクト情報（監視カメラでオブジェクトを検知した場合のオブジェクトの位置、動きベクトル、ＩＤ、座標、サイズ等の情報）
・撮像時刻データ、監視カメラの向き情報（パン、チルト等）
・監視カメラの位置情報
・撮像された画像の署名情報
【００２４】
オブジェクト情報とは、メタデータ内にバイナリデータとして記載された情報を、構造体等の意味のあるデータ構造に展開した情報のことである。
【００２５】
メタデータフィルタとは、オブジェクト情報からアラート情報を生成する場合の判断条件のことであり、アラート情報とは、メタデータから展開したオブジェクト情報を元にフィルタ処理をかけた後の情報のことである。アラート情報は、複数フレームのメタデータを解析し、動体の位置の変化から速度を割り出したり、動体がある線を越えたか否かの確認をしたり、又は、これらを複合的に解析することによって得られる。
【００２６】
クライアント端末３におけるフィルタの種類としては、例えば以下の７種類があり、このうち任意のフィルタの種類を選択することができる。
【００２７】
Appearance（存在）：オブジェクトがある領域内に存在するか否かを判断するためのフィルタ
【００２８】
Disappearance（消失）：物体がある領域に現れ、領域から出たか否かを判断するためのフィルタ
【００２９】
Passing（通過）：ある境界線を物体が超えたか否かを判断するためのフィルタ
【００３０】
Capacity（物体数制限）：ある領域内の物体の数をカウントし、その累積数が所定値を超えたか否かを判断するためのフィルタ
【００３１】
Loitering（滞留）：所定の時間を越えて、ある領域内に滞留しているか否かを判別するためのフィルタ
【００３２】
Unattended（置き去り）：所定の時間を越えて、ある領域内に侵入し動かない物体が存在するか否かを判別するためのフィルタ
【００３３】
Removed（持ち去り）：ある領域内に存在した物体が取り除かれたことを検出するためのフィルタ
【００３４】
アラート情報に含まれるデータとしては、例えば、上述したフィルタのうちの“Capacity”等、検知されたオブジェクトの累計値を用いるフィルタを通して生成された“累積オブジェクト数”や、フィルタの条件に合致したオブジェクトの数である“オブジェクト数”、特定のフレーム内においてフィルタの条件に合致したオブジェクト数、フィルタの条件に合致したオブジェクトの属性情報（オブジェクトのＩＤ、Ｘ座標、Ｙ座標、サイズ）等がある。アラート情報には、このように画像内の員数（人数）や、それらの統計が含まれ、レポート機能としても使用できる。
【００３５】
なお、本実施の形態では、このように、クライアント端末３が監視カメラ１ａ，１ｂ，１ｃから送信されたメタデータに基づいて上述のようなアラート情報を生成している。近年、演算処理デバイスの小型化、省電力化等の条件により、カメラ上においても、従来クライアント端末で行っていたような処理を行うことが可能になってきており、監視カメラ１ａ，１ｂ，１ｃ内で、所定の条件（フィルタ）に基づいて、アラート情報を生成することも可能になっている。
【００３６】
次に、監視カメラ１ａ，１ｂ，１ｃの詳細な構成について説明する。図２は、監視カメラ１ａの構成を示す機能ブロック図である。ここで、監視カメラ１ａ，１ｂ，１ｃは、同一の構成であるため、監視カメラ１ｂ，１ｃの構成については説明を省略する。
【００３７】
監視カメラ１ａは、画像データ生成部１１と、撮像動作切替部１２と、メタデータ生成部１３とを備えて構成される。
【００３８】
画像データ生成部１１は、レンズ部１１１と、撮像部１１２と、撮像信号処理部１１３と、データ処理部１１４とを備える。
【００３９】
撮像部１１２は、レンズ部１１１を通してフレーム単位で撮影し、撮像素子（図示せず）に結像された撮像光を光電変換してフレーム単位の撮像信号Ｓｖを生成する。
【００４０】
撮像部１１２は、例えば図示しないプリアンプ部及びＡ／Ｄ（Analog to Digital）変換部を備え、プリアンプ部では、撮像信号Ｓｖの電気信号レベルの増幅や、相関二重サンプリングによるリセット雑音の除去を行い、Ａ／Ｄ変換部では撮像信号Ｓｖをアナログ信号からデジタル信号に変換する。
【００４１】
また、撮像部１１２は、供給されたフレーム単位の撮像信号Ｓｖのゲイン調整や黒レベルの安定化、ダイナミックレンジの調整等も行う。その後、撮像信号Ｓｖは、撮像信号処理部１１３に供給される。
【００４２】
撮像信号処理部１１３は、撮像部１１２から供給された撮像信号Ｓｖに対して種々の信号処理を行い、画像データＤｖを生成する。例えば、撮像信号Ｓｖのあるレベル以上を圧縮するニー補正、撮像信号Ｓｖのレベルを設定されたγカーブに従って補正するγ補正、撮像信号Ｓｖの信号レベルが所定範囲となるように制限するホワイトクリップ処理やブラッククリップ処理等を行う。そして、撮像信号処理部１１３は、画像データＤｖをデータ処理部１１４及びメタデータ生成部１３に供給するとともにこの画像データＤｖを記憶部（図示せず）に記憶させる。
【００４３】
データ処理部１１４は、クライアント端末３等と通信を行う際のデータ量を少なくするために、画像データＤｖに対して符号化処理を行い、画像データＤｔを生成する。さらに、データ処理部１１４は、生成した画像データＤｔを所定のデータ構造としてクライアント端末３に供給する。監視システム１００では、動体であるオブジェクトを検知する処理を行う。このため、オブジェクトを含む画像は、他のオブジェクトを含まない画像よりも重要度が高い。そこで、データ処理部１１４は、この符号化処理において、このオブジェクトを含む画像の画像データＤｖに対しては圧縮率を上げ、オブジェクトを含まない画像の画像データＤｖに対しては圧縮率を下げるようにしてもよい。これにより、オブジェクトを含む画像を高精度に再生することができる。
【００４４】
撮像動作切替部１２は、クライアント端末３から入力される切替指示信号ＣＡに基づいて最適な撮像画像が得られるようにレンズ部１１１、撮像部１１２、撮像信号処理部１１３、データ処理部を制御し、監視カメラ１の動作切り替えを行う。撮像動作切替部１２は、例えば、撮像部の撮像方向の切り替えを行う他、レンズ部１１１に制御信号ＣＭａを供給してズーム比やアイリスの切り替えを行わせたり、撮像部１１２と撮像信号処理部１１３とに制御信号ＣＭｂを供給して撮像画像のフレームレートの切り替えを行わせたり、さらにはデータ処理部１１４に制御信号ＣＭｃを供給して画像データの圧縮率の切り替えを行わせる等の処理を行う。
【００４５】
また、撮像動作切替部１２は、メタデータ生成部１３に、撮像動作信号ＱＦ（例えば監視対象であるオブジェクトを撮像したときの撮像方向やズーム状態、画像データ生成部の設定情報等）を供給してメタデータ生成部１３を制御する。
【００４６】
メタデータ生成部１３は、オブジェクトに関する情報を含むメタデータＤｍを生成する。本実施の形態のように、動体を監視対象物であるオブジェクトとする場合であれば、画像データ生成部１１で生成された画像データＤｔを用いて動体であるオブジェクトを検知し、オブジェクトが検知されているか否かを示すオブジェクト検知情報や、検知したオブジェクトの位置を示すオブジェクト位置情報を生成し、これをオブジェクト情報としてメタデータＤｍに含める。このとき、検知されたオブジェクトには、それぞれに一意のＩＤが割り振られる。
【００４７】
なお、メタデータＤｍに含まれる監視対象に関する情報は、オブジェクトに関連した情報に限られるものではなく、監視カメラで監視する領域の状態を示す情報であってもよい。例えば、監視する領域の温度や明るさ等の情報であってもよい。あるいは、監視する領域内で行われた操作等の情報であってもよい。温度を監視対象とする場合には、温度測定結果をメタデータＤｍに含め、明るさを監視対象とする場合には、メタデータ生成部１３は、画像データＤｖに基づいて、例えば監視画像の平均輝度を判別し、この判別結果をメタデータＤｍに含めるようにすればよい。
【００４８】
さらに、ＡＴＭ（Automated Teller Machine）やＰＯＳ（Point Of Sales）端末等を対象としてユーザが行った操作を監視対象とする場合には、操作キーや操作パネル等を通して行われたユーザ操作をメタデータＤｍに含めるようにすればよい。
【００４９】
また、メタデータ生成部１３は、撮像動作切替部１２から供給された撮像動作信号ＱＦ（例えば監視対象を撮像したときの撮像方向やズーム状態、画像データ生成部の設定情報等）や、時刻情報等をメタデータＤｍに含めることにより、メタデータＤｍが生成された時刻や状況を記録して残すことができる。
【００５０】
ここで、画像データＤｔとメタデータＤｍの構成について説明する。画像データＤｔとメタデータＤｍは、それぞれデータ本体とリンク情報とで構成されている。データ本体は、画像データＤｔの場合、監視カメラ１ａ，１ｂが撮影した監視画像の画像データである。また、メタデータＤｍの場合、監視対象であるオブジェクトを示す情報等と、この情報の記述方式を定義した属性情報を記述したものである。一方、リンク情報とは、画像データＤｔとメタデータＤｍとの関連付けを示す関連付け情報と、この情報の内容の記述方式を定義した属性情報等を記述したものである。
【００５１】
関連付け情報としては、例えば、画像データＤｔを特定するためのタイムスタンプやシーケンス番号を使用する。タイムスタンプとは、画像データＤｔの生成時刻を与える情報（時刻情報）であり、シーケンス番号とは、コンテンツデータの生成順序を与える情報（順序情報）である。タイムスタンプの等しい監視画像が複数存在するような場合、タイムスタンプの等しい画像データＤｔの生成順序を識別することができる。また、関連付け情報には、画像データＤｔを生成する機器を特定するための情報（例えば製造会社名や機種名、製造番号等）を使用するものとしてもよい。
【００５２】
リンク情報やメタデータ本体の記述には、ウェブ（ＷＷＷ：World Wide Web）上で交換される情報を記述するために定義されたマークアップ言語を用いるものとする。マークアップ言語を用いると、ネットワーク２を介した情報の交換を容易に行うことができ、さらに、マークアップ言語として、例えば文書や電子データの交換に利用されているＸＭＬ（Extensible Markup Language）を用いることで、画像データとメタデータの交換も容易に行うことができる。ＸＭＬを用いるとした場合、情報の記述方式を定義した属性情報は、例えばＸＭＬスキーマを使用する。
【００５３】
監視カメラ１ａ，１ｂ，１ｃで生成した画像データＤｔやメタデータＤｍは、１つのストリームとしてクライアント端末３に供給するものとしてもよく、画像データＤｔとメタデータＤｍとを別のストリームで非同期にクライアント端末３に供給するものとしてもよい。
【００５４】
従来のオブジェクト検知処理においては、非検知対象の領域内での誤検知を防止するために、非検知対象に対してマスク領域を設定し、このマスク領域では画像処理を行わないようにする。しかしながら、このような従来のオブジェクト検知処理では、動体は、マスク領域内に存在する場合には検知されなくなる。
【００５５】
そこで、本実施の形態における監視システム１００は、オブジェクトがマスク領域内に侵入した場合であっても検知されるようにするオブジェクト検知処理を行う。
【００５６】
このオブジェクト検知処理では、例えば図３に示すように、標識６２のポール６２１の位置に非検知領域であるマスク領域６４を設定した場合に、オブジェクトである人６１がマスク領域６４外からこのマスク領域６４内に侵入してもこのマスク領域６４内で検知されるようにする。すなわち、人６１は、動体検知枠６３にて捉えられて検知される。
【００５７】
図４は、メタデータ生成部１３の構成を示す図である。メタデータ生成部１３は、オブジェクト検知部１３１と、オブジェクト発生位置検知部１３２と、有効オブジェクト判定部１３３と、有効メタデータ生成部１３４とを備えてこのような動体検知処理を行う。
【００５８】
メタデータ生成部１３は、オブジェクトに関する情報を含むメタデータＤｍを生成する。メタデータ生成部１３は、画像データ生成部１１で生成された画像データＤｔを用いて動体であるオブジェクトを検知し、オブジェクトが検知されているか否かを示すオブジェクト検知情報や、検知したオブジェクトの発生位置を示す発生位置情報を生成し、これをオブジェクト情報としてメタデータＤｍに含める。この際、検知されたオブジェクトは、それぞれに固有のＩＤが割り当てられて記憶部（図示せず）に記憶される。
【００５９】
監視システム１００では、メタデータ生成部１３が動体検知処理を行う前に、予めクライアント端末３において、ユーザの操作に基づき、オブジェクトの検知処理にて処理を除外する可能性のある箇所に対して非検知領域としてマスクを設定する。そして、クライアント端末３から、マスク設定情報であるマスク設定信号がネットワーク２を介して監視カメラ１ａ，１ｂ，１ｃに供給される。
【００６０】
オブジェクト検知部１３１には、撮像信号処理部１１３から、例えば人６１等の動体であるオブジェクトの画像データＤｖが供給される。撮像システム１００では、撮像部１１２がフレーム毎に画像を撮影する。そして、撮像信号処理部１１３は、撮像部１１２にて取得されたフレーム単位の撮像信号Ｓｖに対し、画像処理を行う。オブジェクト検知部１３１には、フレーム毎の画像データＤｖが供給される。オブジェクト検知部１３１は、撮像信号処理部１１３より供給された画像データＤｖを画像処理してオブジェクトを取得する。オブジェクト検知部１３１は、オブジェクトを検知したか否かを示すオブジェクト検知情報をメタデータＤｍとする。また、オブジェクト検知部１３１は、検知したオブジェクトにオブジェクト固有のＩＤを割り当てる。オブジェクト検知部１３１は、このオブジェクト検知情報をオブジェクト情報としてメタデータＤｍに含め、このメタデータＤｍを記憶部（図示せず）に記憶させる。また、オブジェクト検知部１３１は、このメタデータＤｍをクライアント端末３に送信する。
【００６１】
撮像信号処理部１１３が行うオブジェクトの検知処理においては、例えば特許文献１に記載の動体検知アルゴリズムを適用することができる。オブジェクトの画像は、複数取得されることもあるが、この場合も同様のアルゴリズムが適用される。この特許文献１に記載のアルゴリズムにおいては、フレーム単位の画像において時間的な輝度変化を検出し、輝度の変化がある領域を動体であるオブジェクトとする。ただし、ここで得られたオブジェクトは、誤検知された無効オブジェクトをも含む。ここで、後述の有効オブジェクトとは、監視対象であって、検知された場合にフィルタの条件に適合すればアラートを発報する必要のあるオブジェクトである。無効オブジェクトとは、監視対象ではなく検知してもアラートを発報する必要のないオブジェクトである。このような無効オブジェクトは、有効オブジェクト判定部１３３が行う後述の処理により取り除かれる。
【００６２】
監視カメラ１ａでは、輝度変化に基づいて検知されたオブジェクトを、オブジェクトの発生後から追跡するための処理を行う。これにより、マスク領域とオブジェクト発生位置との関係を特定することができる。具体的に説明すると、オブジェクト発生位置検知部１３２は、撮像されて記憶部（図示せず）に記憶されている全フレームの画像データＤｖからオブジェクトが発生した時点の画像フレームを特定する。オブジェクト発生位置検知部１３２は、このフレーム画像からオブジェクトの発生位置を検知し、オブジェクト発生位置情報を生成する。そして、オブジェクト発生位置検知部１３２は、このオブジェクト発生位置情報をオブジェクト情報としてメタデータＤｍに含め、このメタデータＤｍを記憶部（図示せず）に記憶させる。また、オブジェクト発生位置検知部１３２は、このメタデータＤｍをクライアント端末３に送信する。
【００６３】
オブジェクト発生位置検知部１３２が行うオブジェクト発生位置の検知方法としては、例えば特開２００７−３３４６３１号公報に記載されている物体領域追跡方法を適用することができる。この物体領域追跡方法は、重なりや隠れによって物体領域が一時的に消滅した場合であっても、物体領域に対応付けられた識別情報の継続が可能であり、高性能に物体追跡をすることができるものである。
【００６４】
なお、オブジェクト発生位置検知部１３２は、マスク領域内で輝度変化によりオブジェクトが検知された場合には、オブジェクト周囲の画像に対して動きベクトルを算出し、オブジェクトが１フレーム前の画像中の何れの位置にあったのかを算出する処理を行うようにしてもよい。この場合、後述の有効オブジェクト判定部１３３は、ベクトル算出処理により得られた動きベクトルに基づき、１フレーム前の画像中でマスク領域外にあったオブジェクトをマスク領域内で発生したものではなく有効オブジェクトであると判定する。また、マスク領域内の画像にて輝度変化があったにも拘らず動きベクトルが算出されない場合には、検知されているオブジェクトは、反射光又は影であり、誤検知であると判定する。
【００６５】
さらには、このような処理を組み合わせて行うことにより、オブジェクト判定の精度を向上させることが可能である。
【００６６】
有効オブジェクト判定部１３３は、全フレームの画像データにおいて現在までに既にオブジェクト検知部１３１によって検知されている全てのオブジェクト（無効オブジェクトも含む。）の内、マスク領域内に存在するオブジェクトがこのマスク領域内で発生したか、又は、マスク領域外で発生したかを判断する。すなわち、有効オブジェクト判定部１３３は、オブジェクト発生位置検知部１３２によって検知された、マスク領域内に存在するオブジェクトの発生位置がマスク領域内であるか否かを判断する。
【００６７】
有効オブジェクト判定部１３３は、このオブジェクトがマスク領域外で発生した場合には、そのオブジェクトを有効オブジェクトと判定し、このオブジェクトがマスク領域内で発生した場合には、そのオブジェクトを無効オブジェクトと判定する。
【００６８】
このような処理により、オブジェクトがマスク領域外からマスク領域内へ進入したのか、マスク領域内でオブジェクトが発生したのかを判定することができる。マスク領域内でしか動かないオブジェクトは、有効オブジェクトではないと判定する。また、この判定処理において、マスク領域内で発生したオブジェクトであっても、領域外へ出て行ったオブジェクトは、有効オブジェクトであるという判定基準をさらに設けることも可能である。
【００６９】
有効メタデータ生成部１３４は、有効オブジェクト判定部１３３にてオブジェクトが有効オブジェクトであると判定された旨の情報である動体のメタデータＤｍを生成する。このメタデータＤｍは、ネットワーク２を介してクライアント端末３に供給されてクライアント端末において、フィルタ処理によりこのアラートが発報される。または、オブジェクトを検知した監視カメラ自体が、このメタデータＤｍに基づいてこのアラートを発報するようにしてもよい。
【００７０】
これにより、監視システム１００が例えば侵入者を監視する場合には、従来よりも誤報を減らして動体であるオブジェクトを検知した旨のアラートを発報することができる。
【００７１】
なお、有効オブジェクト判定部１３３が行う有効オブジェクトの判定基準は、上述のような有効オブジェクトの存在の有無だけでなく、例えばオブジェクトがある仮想ラインを通過したか否か、オブジェクトがある仮想のエリアに侵入したか否か等、オブジェクトの動きに基づく判定基準をさらに追加するようにしてもよい。
【００７２】
従来のオブジェクト検知処理では、画像の輝度変化の情報だけでオブジェクト検知を行っていたため、反射光や影等、大きな輝度変化を生じる背景物が動体のオブジェクトとして誤検知されてしまうことが多かった。これに対し、上述のようなオブジェクト検知処理を行う監視システム１００によれば、オブジェクトの発生位置を検知することにより、検知されたオブジェクトが動体として正確に検知される。
【００７３】
次に、監視システム１００におけるオブジェクト検知処理動作について図５のフローチャートを参照して説明する。なお、以下では監視カメラ１ａがオブジェクトを検知する場合について説明するが、監視カメラ１ａ，１ｂ，１ｃは、同一の構成であるため、監視カメラ１ｂ又は監視カメラ１ｃがオブジェクトを検知した場合においてもこれと同様の処理工程でオブジェクト検知処理が行われる。
【００７４】
ステップＳ１において、監視システム１００は、オブジェクト検知処理動作を開始する。
【００７５】
ステップＳ２において、クライアント端末３は、ユーザの操作に基づいてマスクの設定処理を行い、マスク設定信号を監視カメラ１ａの撮像動作切替部１２に供給する。
【００７６】
ステップＳ３において、監視カメラ１ａの撮像部１１２は、撮像動作切替部１２の制御動作に基づいて、レンズ部１１１を介して例えば３０ｆｐｓ、１５ｆｐｓ等のフレーム単位で監視領域を撮影する。そして、撮像部１１２は、このフレーム単位の撮像信号Ｓｖを撮像信号処理部１１３に供給する。撮像部１１２は、この撮像信号Ｓｖを撮像信号処理部１１３に供給する。撮像信号処理部１１３は、撮像信号Ｓｖに対して上述した種々の信号処理を行って画像データＤｖを生成し、メタデータ生成部１３に供給する。
【００７７】
このステップＳ３において、撮像動作切替部１２は、ステップＳ２にて設定されたマスク設定信号に基づく非検知領域のマスク設定処理を行う。そして、撮像動作切替部１２は、設定したマスクのデータ（マスクデータ）をメタデータ生成部１３が備える有効オブジェクト判定部１３３に供給する。
【００７８】
なお、このマスク設定処理は、ユーザの操作に基づいて設定される場合に限られず、クライアント端末３又は監視カメラ１ａにおいて、誤検知が多発する領域を統計的に算出し、その領域をマスク領域として設定するようにしてもよい。
【００７９】
ステップＳ４において、監視カメラ１ａのメタデータ生成部１３が備えるオブジェクト検知部１３１は、撮像信号処理部１１３から画像データＤｖが供給されると、この画像において動体であるオブジェクトの検知処理を行う。
【００８０】
このステップＳ４において、オブジェクト検知部１３１は、オブジェクトがあるか否かを判断する。このステップＳ４において、オブジェクト検知部１３１は、オブジェクトがあると判断した場合にはステップＳ５に進み、オブジェクトがないと判断した場合にはステップＳ３に戻る。
【００８１】
ステップＳ５において、有効オブジェクト判定部１３３は、オブジェクト検知部１３１が検知したオブジェクトの位置がマスク領域内であるか否かを判断する。このステップＳ５において、オブジェクトの位置がマスク領域内である場合にはステップＳ６に進み、オブジェクトの位置がマスク領域外である場合にはステップＳ７に進む。
【００８２】
ステップＳ６において、オブジェクト発生位置検知部１３２は、撮像されて記憶部（図示せず）に記憶されている全フレームの画像データＤｖからオブジェクトが発生した時点の画像フレームを特定し、その画像内でオブジェクトの発生位置を検知する。有効オブジェクト判定部１３３は、オブジェクト発生位置検知部１３２によって検知されたオブジェクトの発生位置がマスク領域内であるか否かを判断する。このステップＳ６において、オブジェクトの発生位置がマスク領域外である場合、すなわちマスク設定された非検知領域外にてオブジェクトが発生した場合には、ステップＳ７に進み、オブジェクトの発生位置がマスク領域内である場合にはステップＳ３に戻る。
【００８３】
ステップＳ７において、有効メタデータ生成部１３４は、動体であるオブジェクトを検知した旨の情報であるメタデータＤｍを生成する。
【００８４】
ステップＳ８において、生成されたメタデータＤｍは、クライアント端末３でフィルタ処理されてアラート情報が生成される。そして、クライアント端末３がこのアラート情報に基づいてアラート発報を行う。もしくは、このようなフィルタ処理及びアラート情報の生成は監視カメラ１ａ内でも行うことができる。その後、ステップＳ３に戻る。
【００８５】
このように、監視システム１００においては、オブジェクトの発生位置がマスク領域外であれば、そのオブジェクトは有効オブジェクトであると判定される。
【００８６】
この図５のフローチャートに示す処理工程では、マスク領域内で発生したオブジェクトが、現在までマスク領域内にある間は、無効オブジェクトであると判断される。その後、オブジェクトの追跡が続けられ、この追跡を行っている間にオブジェクトがマスク領域外に出た場合には、この時点でオブジェクトは、有効オブジェクトであると判定される。この場合、有効オブジェクトであると判定された時点で、画像データを遡り、オブジェクトの発生時からそのオブジェクトが有効であったと認定することもできる。
【００８７】
また、図５のフローチャートでは述べていないが、監視システム１００では、オブジェクトの発生位置がマスク領域内であっても、現在のオブジェクトの位置がマスク領域外であれば、そのオブジェクトは、有効オブジェクトであると判定される。
【００８８】
なお、本実施の形態における監視システム１００における監視カメラ１ａ，１ｂ，１ｃの構成は、上述のような固定式のカメラに限られず、例えば旋回可能な機構メカニズムを有するパンチルト式のカメラであってもよい。
【００８９】
上述のような固定式のカメラでは、一度設定されると、画像の撮像範囲は常に一定である。このような固定式カメラの場合、常に一定の領域内でマスクが設定される。
【００９０】
一方、監視カメラがパンチルト式のカメラである場合、旋回することにより広範囲に撮像することができる。これにより、ユーザは、広範囲に撮像されることにより生成されたパノラマ画像内でマスクを設定することができる。
【００９１】
以下にパンチルト式である監視カメラの動作例について説明する。
【００９２】
図６に示すように、パンチルト式である監視カメラ７は、円弧で示される仮想円筒面７０で囲まれる領域を撮影するように旋回する。そして、監視カメラ７は、旋回して、例えば撮像視野Ａ、撮像視野Ｂ、及び撮像視野Ｃに示す視野を有する画像を撮影する。このとき、監視カメラ７は、自身のパン及びチルトの値を記憶部（図示せず）に記憶させる。監視カメラ７は、記憶部に記憶されたパン、チルト値に基づいて撮影された各画像をカメラの回転中心を同じ中心とする仮想的な円筒面に投射することにより、仮想円筒面７０上に１枚のパノラマ画像を作成する。この作成された画像を用いることにより、監視カメラが上述の固定式のカメラである場合と同様に、マスクを設定することができる。なお、ここでは、仮想円筒面７０に投影するとしたが、球面に投影したり、メルカトル地図等のような展開した平面へ投影することも可能である。
【００９３】
なお、監視カメラ７がパン、チルト値を記憶させることができない場合は、領域Ａ、領域Ｂ、領域Ｃで撮影された画像の特徴量を、例えば、エッジ抽出、コーナー抽出により抽出して特徴点のマッチング処理を行い、１枚のパノラマ画像を作成するようにしてもよい。これは、監視カメラ７の回転中心が、画像の焦点に一致しない場合等に有効的である。
【００９４】
また、本実施の形態では、監視カメラ７を回転させながら撮影された画像の一部をスリット上に抜き取り、その画像を監視カメラの回転に合わせて並べ直す等の方法をも用いることができる。
【００９５】
また、本実施の形態では、ズーム式の監視カメラを用いることができる。ズーム式の監視カメラにおいては、例えば、レンズを介してワイド端で撮影した画像に基づいてマスクを設定することが可能である。
【００９６】
次に、図１に示したクライアント端末３の詳細な構成を、図７の機能ブロック図を参照して説明する。ただし、クライアント端末３の各機能ブロックは、ハードウェアで構成するものとしてもよく、また、ソフトウェアで構成するものとしてもよい。
【００９７】
クライアント端末３は、監視カメラ１ａ，１ｂ，１ｃとのデータ伝送を行うネットワーク接続部３０１と、監視カメラ１ａ，１ｂ，１ｃから画像データを取得する画像バッファ部３０２と、監視カメラ１ａ，１ｂ，１ｃからメタデータを取得するメタデータバッファ部３０３と、フィルタ処理に応じたフィルタ設定を蓄積するフィルタ設定データベース（ＤＢ）３０７と、メタデータのフィルタ処理を行うフィルタ部としてのメタデータフィルタ部３０６と、監視カメラ１ａ，１ｂ，１ｃに設定変更を通知するルール切替部３０８と、画像データを蓄積する画像データ蓄積データベース３０４と、メタデータを蓄積するメタデータ蓄積データベース３０５と、画像データやメタデータ等を表示する表示部３１１と、画像データを表示部３１１で再生させるための処理を行う画像データ処理部３０９と、メタデータを表示部３１１で再生させるための処理を行うメタデータ処理部３１０と、メタデータと画像データとの再生を同期させる再生同期部３１２とを備える。
【００９８】
画像バッファ部３０２は、監視カメラ１ａ，１ｂから画像データＤｔを取得し、符号化されている画像データＤｔの復号化処理を行う。そして、画像バッファ部３０２は、得られた画像データを画像バッファ部３０２に設けられている図示しないバッファに保持する。さらに、画像バッファ部３０２は、図示しないバッファに保持している画像データを順次、画像を表示する表示部３１１に供給する処理も行う。このように、図示しないバッファに画像データを保持することにより、監視カメラ１ａ，１ｂ，１ｃから送信される画像データの受信タイミングによらずに、表示部３１１に対して順次画像データを供給することができる。また、画像バッファ部３０２は、後述するルール切替部３０８から供給される録画要求信号に基づいて、保持している画像データを画像データ蓄積データベース３０４に蓄積させる。なお、画像データ蓄積データベース３０４には、符号化されている画像データを蓄積させるようにし、後述する画像データ処理部３０９で復号化を行うようにしてもよい。
【００９９】
メタデータバッファ部３０３は、メタデータバッファ部３０３に設けられている図示しないバッファに、監視カメラ１ａ，１ｂ，１ｃから取得したメタデータＤｍを保持する。また、メタデータバッファ部３０３は、保持しているメタデータＤｍを後述するメタデータフィルタ部３０６に供給する処理も行う。このように、図示しないバッファがメタデータを保持することにより、監視カメラ１ａ，１ｂ，１ｃからのメタデータＤｍの受信タイミングによらずに、表示部３１１に対して順次メタデータを供給することができる。
【０１００】
さらに、メタデータバッファ部３０３は、監視カメラ１ａ，１ｂ，１ｃから取得したメタデータＤｍをメタデータ蓄積データベース３０５に蓄積する際に、メタデータと同期する画像データの時刻情報を付加しておく。これにより、メタデータＤｍの内容を読み出して時刻を判別しなくとも、付加されている時刻情報を利用して所望の時刻のメタデータＤｍをメタデータ蓄積データベース３０５から読み出すことが可能となる。
【０１０１】
フィルタ設定データベース３０７は、後述するメタデータフィルタ部３０６で行うフィルタ処理に応じたフィルタ設定を蓄積するとともに、フィルタ設定をメタデータフィルタ部３０６に供給する。このフィルタ設定とは、アラーム情報等の出力や、監視カメラ１ａ，１ｂ，１ｃの撮像動作の切替を行う必要があるか否かの判断基準等をメタデータに含まれている監視対象に関する情報ごとに示す設定である。このフィルタ設定を用いてメタデータのフィルタ処理を行うことにより、オブジェクトに関する情報ごとにフィルタ処理結果を示すことができる。フィルタ処理結果によっては、アラーム情報等の出力を行う必要があることや、監視カメラ１ａ，１ｂ，１ｃの撮像動作の切り替えが必要であることが示される。
【０１０２】
メタデータフィルタ部３０６は、フィルタ設定データベース３０７に蓄積されているフィルタ設定を用いてメタデータのフィルタ処理を行い、アラートを発報させるかどうかを判断する。そして、メタデータフィルタ部３０６は、メタデータバッファ部３０３で取得したメタデータ、又は、メタデータ蓄積データベース３０５から供給されたメタデータのフィルタ処理を行い、フィルタ処理結果をルール切替部３０８に通知する。
【０１０３】
ルール切替部３０８は、メタデータフィルタ部３０６から通知されたフィルタ処理結果に基づいて、切替指示信号を生成し、監視カメラ１ａ，１ｂ，１ｃに撮像方向切替等の変更を通知する。例えば、メタデータフィルタ部３０６から得られたフィルタ処理結果に基づき、監視に適した監視画像が得られるように監視カメラ１ａ，１ｂ，１ｃの動作を切り替える指令を出力する。また、ルール切替部３０８は、フィルタ処理結果に基づいて画像データ蓄積データベース３０４に録画要求信号を供給し、画像バッファ部３０２で取得した画像データを画像データ蓄積データベース３０４に蓄積させる。
【０１０４】
画像データ蓄積データベース３０４は、画像バッファ部３０２で取得された画像データを蓄積する。メタデータ蓄積データベース３０５は、メタデータバッファ部３０３で取得されたメタデータＤｍを蓄積する。
【０１０５】
画像データ処理部３０９は、画像データ蓄積データベース３０４に蓄積されている画像データを表示部３１１に表示させるための処理を行う。すなわち、画像データ処理部３０９は、ユーザによって指示された再生位置から順次画像データを読み出して、読み出した画像データを表示部３１１に供給する。また、画像データ処理部３０９は、再生している画像データの再生位置（再生時刻）を再生同期部３１２に供給する。
【０１０６】
メタデータＤｍと画像データとの再生を同期させる再生同期部３１２は、画像データ処理部３０９から供給された再生位置と、メタデータ処理部３１０で、メタデータ蓄積データベース３０５に蓄積されているメタデータを再生するときの再生位置が同期するように、同期制御信号をメタデータ処理部３１０に供給して、メタデータ処理部３１０の動作を制御する。
【０１０７】
メタデータ処理部３１０は、メタデータ蓄積データベース３０５に蓄積されているメタデータＤｍを表示部３１１に表示させるための処理を行う。すなわち、メタデータ処理部３１０は、ユーザによって指示された再生位置から順次メタデータＤｍを読み出して、読み出したメタデータＤｍを表示部３１１に供給する。また、画像データとメタデータＤｍとの双方を再生する場合、メタデータ処理部３１０は、上述したように、再生同期部３１２から供給された同期制御信号に基づいて再生動作を制御して、画像データに同期したメタデータＤｍを表示部３１１に出力する。
【０１０８】
表示部３１１は、画像バッファ部３０２から供給されたライブ（生）の画像データや画像データ処理部３０９から供給された再生画像データ、メタデータバッファ部３０３から供給されたライブのメタデータＤｍやメタデータ処理部３１０から供給された再生メタデータを表示する。また、表示部３１１は、メタデータフィルタ部３０６からのフィルタ設定に基づいて、監視画像やメタデータの画像やフィルタ設定の画像のいずれか、又は、これらを合成した画像を用いて、フィルタ処理結果に基づく監視結果を示す画像を表示（出力）する。
【０１０９】
また、表示部３１１は、グラフィカルユーザインターフェース（ＧＵＩ：Graphical User Interface）としても機能する。ユーザは、図示しない操作キーや、マウス、リモートコントローラ等を用いて表示部３１１に表示されたフィルタ設定メニュー等を選択することによりフィルタを定義したり、各処理部の情報やアラート情報の解析結果等をＧＵＩ表示することができる。
【０１１０】
このような本実施の形態における監視システム１００によれば、環境変化が起こりやすい屋外において動体であるオブジェクトを正確に検知することができる。
【０１１１】
すなわち、屋外においては、標識、看板、縁石等の背景物において、太陽光や車のライト等により、昼夜問わず、反射光や影を生じさせる。従来の動体検知処理においては固定マスクを設定することが主であった。ユーザは、オブジェクトの誤検知を避けるために背景物に多くの固定マスクを設定していた。このため、本来検知されるべき動体であるオブジェクトを検知することができず、監視システム上重大な問題であるアラートの失報となる場合が多かった。これに対し、本実施の形態における監視システム１００によれば、上述のようなオブジェクト発生位置の検知処理を行うことにより、アラートの失報を軽減することができる。
【０１１２】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１１３】
例えば、本実施の形態における監視システムは、図８に示すように、上述の監視システム１の構成にサーバ４をさらに備えてクライアント機能を分割した構成としてもよい。すなわち、図８に示すように、本実施の形態における監視システム２００は、サーバ４を備えて図１の例と同様の機能、効果を得ることができる。この図８に示す監視システム２００は、サーバ４が、上述のようなクライアント端末３と同様の構成を備え、監視カメラ１ａ，１ｂ，１ｃから出力されたデータをネットワーク２を介して取得し、クライアント端末３にデータを供給するシステムである。このような監視システム２００によれば、サーバ機能とクライアント機能とを分割することにより、処理性能が高いサーバ４で大量にデータを処理し、処理性能が低いクライアント端末３が専ら処理結果を閲覧するといった使い分けが可能となる。このように、監視システム２００は、サーバを介して機能を分散することで、より柔軟性に富んだ監視システムとすることができる。
【０１１４】
また、本実施の形態における監視システムが備える監視カメラ、クライアント端末、サーバの台数及びこれらの構成は、上述の例に限られないことは勿論である。
【０１１５】
また、上述した実施の形態では、監視カメラ１ａ，１ｂ，１ｃが、クライアント端末３又はサーバ４にメタデータを送信し、クライアント端末３又はサーバ４がこのメタデータＤｍを生成する場合について説明したが、これに限らず、監視カメラ１ａ、１ｂ、１ｃ内にメタデータ処理部を有し、アラート情報を生成、出力するようにしてもよい。
【図面の簡単な説明】
【０１１６】
【図１】本実施の形態における監視システムの構成例を示す図である。
【図２】本実施の形態における監視システムが備える監視カメラの構成を示す機能ブロック図である。
【図３】本実施の形態における監視システムが非検知対象である背景物にマスク領域を設定した場合のオブジェクト検知の様子を示す図である。
【図４】メタデータ生成部の構成を示す図である。
【図５】本実施の形態における監視システムのオブジェクト検知処理動作を説明するためのフローチャートである。
【図６】本実施の形態における監視システムが備えるパンチルト式の監視カメラが旋回する様子を示す図である。
【図７】クライアント端末の詳細な構成を示す機能ブロック図である。
【図８】本実施の形態における監視システムの他の構成例を示す図である。
【図９】従来の監視システムにおける動体検知の様子を示す図である。
【図１０】太陽光が照射された標識のポール表面上の一部領域において太陽光が反射し、大きな輝度変化を生じさせる様子を示す図である。
【図１１】背景物の太陽光が照射される側をオブジェクトである人が通過する様子を示す図である。
【図１２】夜間におけるオブジェクトの誤検知を説明するための図である。
【図１３】従来の監視システムにおけるマスク設定処理を説明するための図である。
【図１４】従来の監視システムにおけるオブジェクト検知の様子を示す図である。
【符号の説明】
【０１１７】
１ａ，１ｂ，１ｃ，７ 監視カメラ、２ ネットワーク、３ クライアント端末、４ サーバ、１１ 画像データ生成部、１２ 撮像動作切替部、１３ メタデータ生成部
【技術分野】
【０００１】
本発明は、入力画像を解析して監視結果を出力する画像処理システム及び画像処理方法、並びに、プログラムに関する。
【背景技術】
【０００２】
従来より、監視カメラにて所定領域を撮影した画像を解析し、人や車等の動体を検知することにより監視を行う画像処理システム（以下、監視システムという。）がある。
【０００３】
図９は、このような監視システムにおける動体検知の様子を示す図である。監視カメラ（図示せず）が、手前から、動体である人５１、及びこの人５１の背後に位置する背景物である標識５２を撮影する。人５１は、監視対象となるオブジェクトとして動体検知枠５３に捉えられる。このような動体検知処理では、例えば、画像中の各画素値の時間的変化を算出し、各画素値の差異が所定値以上であった場合に画像中に動体があると判断するといったアルゴリズムを適用することができる（特許文献１参照。）。
【０００４】
この図９に示すように、オブジェクトである人５１は、標識５２の手前を通過している。標識５２は、静止しているため時間的変化を生じることがなく、人５１のみが監視カメラによって動体検知枠５３内に捉えられて検知される。
【０００５】
なお、この例において、動体としては人５１に限られず、例えば車や自転車等であってもよく、背景物５２としては、例えば家や樹木等であってもよい。
【０００６】
ところで、図１０に示すように、標識５２を構成するポール５２１に太陽光が照射された場合、ポール５２１表面上の領域５２２において太陽光が反射し、大きな輝度変化を生じさせる。これは、標識５２のように、背景物が例えば金属製の倉庫の壁面や縁石等の光の反射を生じさせる表面を有する物体であれば同様の現象が生じる。標識５２は、移動しないにも拘らず、輝度変化が大きいため、動体検知アルゴリズムにおいては監視カメラを介してこのような光反射がオブジェクトとして誤検知されてしまう。
【０００７】
また、図１１は、標識５２の太陽光が照射される側を人５１が通過する様子を示す図である。この図１１に示すように、人５１によって太陽光が遮断されると、ポール５２１表面の領域５２２の一部に影５２３ができる。この場合、ポール５２１の表面の輝度は、大きく変化する。人５１は、監視カメラと標識５２との間を通過していないにも拘らず、輝度変化が大きいため、動体検知アルゴリズムにおいては監視カメラを介してこのような影がオブジェクトとして誤検知されてしまう。
【０００８】
このような誤検知は、夜間においても生じることがある。通常、夜間においては、図１２（Ａ）に示すように、標識５２のポール５２１表面からは光を生じない。しかしながら、図１２（Ｂ）に示すように、ポール５２１に対し、車のライト等の何らかの光が照射されるとポール５２１表面の例えば領域５２４にて反射されて反射光を生じる。このような場合においても、人５１などの動体が監視カメラと標識５２との間を通過しないにも拘らず、輝度変化が大きいため、動体検知アルゴリズムにおいては監視カメラを介して反射光がオブジェクトとして誤検知されてしまう。
【０００９】
そこで、従来の動体検知アルゴリズムにおいては、例えば、図１３に示すように、標識５２のポール５２１の位置に非検知領域としてマスク領域５４を設定し、このマスク領域５４では画像処理を行わないようにする処理が行われている。これにより、ポール５２１表面上での誤検知を防ぐことができる。
【００１０】
【特許文献１】特開２００６−１０７４５７号公報
【特許文献２】特許第３９９７０６２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、このようなマスク領域の設定処理を行った場合、例えば図１４に示すように、人５１は、マスク領域５４では検知されず、動体検知枠５３に示すように非検知領域外でしか検知されない。
【００１２】
本発明は、このような従来の実情に鑑みて提案されたものであり、マスク領域が設定された画像において動体であるオブジェクトを正確に検出することができる画像処理システム及び画像処理方法、並びに、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した目的を達成するために、本発明は、所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知部と、上記オブジェクト検知部によって検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知部と、上記オブジェクト検知部によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定部とを備える画像処理システムである。
【００１４】
また、上述した目的を達成するために、本発明は、所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知工程と、上記オブジェクト検知工程にて検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知工程と、上記オブジェクト検知工程によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定工程とを有する画像処理方法である。
【００１５】
また、上述した目的を達成するために、本発明は、所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知工程と、上記オブジェクト検知工程にて検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知工程と、上記オブジェクト検知工程によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定工程とをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１６】
本発明によれば、環境変化が生じやすい屋外であっても、監視カメラを用いて侵入者等を監視する際に、動体であるオブジェクトを正確に検知することができ、さらにはアラートの失報を軽減することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明を適用した実施の形態における監視システムの構成例を示す図である。図１に示す監視システム１００において、クライアント端末３は、１台又は複数台の監視カメラから出力されたデータをネットワークを介して取得する。
【００１９】
監視システム１００は、３台の監視カメラである監視カメラ１ａ，１ｂ，１ｃがネットワーク２を介してクライアント端末３と接続されて構成される。このクライアント端末３は、図１に示すようにパーソナルコンピュータ等、表示部を備えた情報処理装置であれば何れのものでもよい。
【００２０】
監視カメラ１ａ，１ｂ，１ｃは、それぞれ指定された監視領域において監視対象物である動体をフレーム単位で撮影して画像データを生成するとともに、このフレーム毎の画像データからメタデータを生成する。本実施の形態において、監視対象となるオブジェクトとしては、人物、車、自転車、動物等、種々の動体を挙げることができる。
【００２１】
クライアント端末３は、ネットワーク２を介して監視カメラ１ａ，１ｂ，１ｃより画像データ及びメタデータを取得すると、この画像データに基づく画像を表示部３１１に表示する。また、クライアント端末３は、この画像データ及びメタデータを記憶部（図示せず）に記憶させるとともにメタデータの解析を行い、その結果を出力する。
【００２２】
クライアント端末３が、ネットワーク２を介して監視カメラ１ａ，１ｂ，１ｃより取得したメタデータは、メタデータフィルタ（以下、「フィルタ」という。）を介して解析される。フィルタ処理結果の内容によっては、クライアント端末３は、監視に適した監視画像が取得される監視カメラ１ａ，１ｂ，１ｃの動作を制御するために、監視カメラ１ａ，１ｂ，１ｃに対して切替指示信号を供給する。
【００２３】
ここで、監視カメラ内で生成されるメタデータについて説明する。メタデータとは、監視カメラの撮像部で撮像された画像の画像データの属性情報のことであり、例えば下記のようなものがある。
・オブジェクト情報（監視カメラでオブジェクトを検知した場合のオブジェクトの位置、動きベクトル、ＩＤ、座標、サイズ等の情報）
・撮像時刻データ、監視カメラの向き情報（パン、チルト等）
・監視カメラの位置情報
・撮像された画像の署名情報
【００２４】
オブジェクト情報とは、メタデータ内にバイナリデータとして記載された情報を、構造体等の意味のあるデータ構造に展開した情報のことである。
【００２５】
メタデータフィルタとは、オブジェクト情報からアラート情報を生成する場合の判断条件のことであり、アラート情報とは、メタデータから展開したオブジェクト情報を元にフィルタ処理をかけた後の情報のことである。アラート情報は、複数フレームのメタデータを解析し、動体の位置の変化から速度を割り出したり、動体がある線を越えたか否かの確認をしたり、又は、これらを複合的に解析することによって得られる。
【００２６】
クライアント端末３におけるフィルタの種類としては、例えば以下の７種類があり、このうち任意のフィルタの種類を選択することができる。
【００２７】
Appearance（存在）：オブジェクトがある領域内に存在するか否かを判断するためのフィルタ
【００２８】
Disappearance（消失）：物体がある領域に現れ、領域から出たか否かを判断するためのフィルタ
【００２９】
Passing（通過）：ある境界線を物体が超えたか否かを判断するためのフィルタ
【００３０】
Capacity（物体数制限）：ある領域内の物体の数をカウントし、その累積数が所定値を超えたか否かを判断するためのフィルタ
【００３１】
Loitering（滞留）：所定の時間を越えて、ある領域内に滞留しているか否かを判別するためのフィルタ
【００３２】
Unattended（置き去り）：所定の時間を越えて、ある領域内に侵入し動かない物体が存在するか否かを判別するためのフィルタ
【００３３】
Removed（持ち去り）：ある領域内に存在した物体が取り除かれたことを検出するためのフィルタ
【００３４】
アラート情報に含まれるデータとしては、例えば、上述したフィルタのうちの“Capacity”等、検知されたオブジェクトの累計値を用いるフィルタを通して生成された“累積オブジェクト数”や、フィルタの条件に合致したオブジェクトの数である“オブジェクト数”、特定のフレーム内においてフィルタの条件に合致したオブジェクト数、フィルタの条件に合致したオブジェクトの属性情報（オブジェクトのＩＤ、Ｘ座標、Ｙ座標、サイズ）等がある。アラート情報には、このように画像内の員数（人数）や、それらの統計が含まれ、レポート機能としても使用できる。
【００３５】
なお、本実施の形態では、このように、クライアント端末３が監視カメラ１ａ，１ｂ，１ｃから送信されたメタデータに基づいて上述のようなアラート情報を生成している。近年、演算処理デバイスの小型化、省電力化等の条件により、カメラ上においても、従来クライアント端末で行っていたような処理を行うことが可能になってきており、監視カメラ１ａ，１ｂ，１ｃ内で、所定の条件（フィルタ）に基づいて、アラート情報を生成することも可能になっている。
【００３６】
次に、監視カメラ１ａ，１ｂ，１ｃの詳細な構成について説明する。図２は、監視カメラ１ａの構成を示す機能ブロック図である。ここで、監視カメラ１ａ，１ｂ，１ｃは、同一の構成であるため、監視カメラ１ｂ，１ｃの構成については説明を省略する。
【００３７】
監視カメラ１ａは、画像データ生成部１１と、撮像動作切替部１２と、メタデータ生成部１３とを備えて構成される。
【００３８】
画像データ生成部１１は、レンズ部１１１と、撮像部１１２と、撮像信号処理部１１３と、データ処理部１１４とを備える。
【００３９】
撮像部１１２は、レンズ部１１１を通してフレーム単位で撮影し、撮像素子（図示せず）に結像された撮像光を光電変換してフレーム単位の撮像信号Ｓｖを生成する。
【００４０】
撮像部１１２は、例えば図示しないプリアンプ部及びＡ／Ｄ（Analog to Digital）変換部を備え、プリアンプ部では、撮像信号Ｓｖの電気信号レベルの増幅や、相関二重サンプリングによるリセット雑音の除去を行い、Ａ／Ｄ変換部では撮像信号Ｓｖをアナログ信号からデジタル信号に変換する。
【００４１】
また、撮像部１１２は、供給されたフレーム単位の撮像信号Ｓｖのゲイン調整や黒レベルの安定化、ダイナミックレンジの調整等も行う。その後、撮像信号Ｓｖは、撮像信号処理部１１３に供給される。
【００４２】
撮像信号処理部１１３は、撮像部１１２から供給された撮像信号Ｓｖに対して種々の信号処理を行い、画像データＤｖを生成する。例えば、撮像信号Ｓｖのあるレベル以上を圧縮するニー補正、撮像信号Ｓｖのレベルを設定されたγカーブに従って補正するγ補正、撮像信号Ｓｖの信号レベルが所定範囲となるように制限するホワイトクリップ処理やブラッククリップ処理等を行う。そして、撮像信号処理部１１３は、画像データＤｖをデータ処理部１１４及びメタデータ生成部１３に供給するとともにこの画像データＤｖを記憶部（図示せず）に記憶させる。
【００４３】
データ処理部１１４は、クライアント端末３等と通信を行う際のデータ量を少なくするために、画像データＤｖに対して符号化処理を行い、画像データＤｔを生成する。さらに、データ処理部１１４は、生成した画像データＤｔを所定のデータ構造としてクライアント端末３に供給する。監視システム１００では、動体であるオブジェクトを検知する処理を行う。このため、オブジェクトを含む画像は、他のオブジェクトを含まない画像よりも重要度が高い。そこで、データ処理部１１４は、この符号化処理において、このオブジェクトを含む画像の画像データＤｖに対しては圧縮率を上げ、オブジェクトを含まない画像の画像データＤｖに対しては圧縮率を下げるようにしてもよい。これにより、オブジェクトを含む画像を高精度に再生することができる。
【００４４】
撮像動作切替部１２は、クライアント端末３から入力される切替指示信号ＣＡに基づいて最適な撮像画像が得られるようにレンズ部１１１、撮像部１１２、撮像信号処理部１１３、データ処理部を制御し、監視カメラ１の動作切り替えを行う。撮像動作切替部１２は、例えば、撮像部の撮像方向の切り替えを行う他、レンズ部１１１に制御信号ＣＭａを供給してズーム比やアイリスの切り替えを行わせたり、撮像部１１２と撮像信号処理部１１３とに制御信号ＣＭｂを供給して撮像画像のフレームレートの切り替えを行わせたり、さらにはデータ処理部１１４に制御信号ＣＭｃを供給して画像データの圧縮率の切り替えを行わせる等の処理を行う。
【００４５】
また、撮像動作切替部１２は、メタデータ生成部１３に、撮像動作信号ＱＦ（例えば監視対象であるオブジェクトを撮像したときの撮像方向やズーム状態、画像データ生成部の設定情報等）を供給してメタデータ生成部１３を制御する。
【００４６】
メタデータ生成部１３は、オブジェクトに関する情報を含むメタデータＤｍを生成する。本実施の形態のように、動体を監視対象物であるオブジェクトとする場合であれば、画像データ生成部１１で生成された画像データＤｔを用いて動体であるオブジェクトを検知し、オブジェクトが検知されているか否かを示すオブジェクト検知情報や、検知したオブジェクトの位置を示すオブジェクト位置情報を生成し、これをオブジェクト情報としてメタデータＤｍに含める。このとき、検知されたオブジェクトには、それぞれに一意のＩＤが割り振られる。
【００４７】
なお、メタデータＤｍに含まれる監視対象に関する情報は、オブジェクトに関連した情報に限られるものではなく、監視カメラで監視する領域の状態を示す情報であってもよい。例えば、監視する領域の温度や明るさ等の情報であってもよい。あるいは、監視する領域内で行われた操作等の情報であってもよい。温度を監視対象とする場合には、温度測定結果をメタデータＤｍに含め、明るさを監視対象とする場合には、メタデータ生成部１３は、画像データＤｖに基づいて、例えば監視画像の平均輝度を判別し、この判別結果をメタデータＤｍに含めるようにすればよい。
【００４８】
さらに、ＡＴＭ（Automated Teller Machine）やＰＯＳ（Point Of Sales）端末等を対象としてユーザが行った操作を監視対象とする場合には、操作キーや操作パネル等を通して行われたユーザ操作をメタデータＤｍに含めるようにすればよい。
【００４９】
また、メタデータ生成部１３は、撮像動作切替部１２から供給された撮像動作信号ＱＦ（例えば監視対象を撮像したときの撮像方向やズーム状態、画像データ生成部の設定情報等）や、時刻情報等をメタデータＤｍに含めることにより、メタデータＤｍが生成された時刻や状況を記録して残すことができる。
【００５０】
ここで、画像データＤｔとメタデータＤｍの構成について説明する。画像データＤｔとメタデータＤｍは、それぞれデータ本体とリンク情報とで構成されている。データ本体は、画像データＤｔの場合、監視カメラ１ａ，１ｂが撮影した監視画像の画像データである。また、メタデータＤｍの場合、監視対象であるオブジェクトを示す情報等と、この情報の記述方式を定義した属性情報を記述したものである。一方、リンク情報とは、画像データＤｔとメタデータＤｍとの関連付けを示す関連付け情報と、この情報の内容の記述方式を定義した属性情報等を記述したものである。
【００５１】
関連付け情報としては、例えば、画像データＤｔを特定するためのタイムスタンプやシーケンス番号を使用する。タイムスタンプとは、画像データＤｔの生成時刻を与える情報（時刻情報）であり、シーケンス番号とは、コンテンツデータの生成順序を与える情報（順序情報）である。タイムスタンプの等しい監視画像が複数存在するような場合、タイムスタンプの等しい画像データＤｔの生成順序を識別することができる。また、関連付け情報には、画像データＤｔを生成する機器を特定するための情報（例えば製造会社名や機種名、製造番号等）を使用するものとしてもよい。
【００５２】
リンク情報やメタデータ本体の記述には、ウェブ（ＷＷＷ：World Wide Web）上で交換される情報を記述するために定義されたマークアップ言語を用いるものとする。マークアップ言語を用いると、ネットワーク２を介した情報の交換を容易に行うことができ、さらに、マークアップ言語として、例えば文書や電子データの交換に利用されているＸＭＬ（Extensible Markup Language）を用いることで、画像データとメタデータの交換も容易に行うことができる。ＸＭＬを用いるとした場合、情報の記述方式を定義した属性情報は、例えばＸＭＬスキーマを使用する。
【００５３】
監視カメラ１ａ，１ｂ，１ｃで生成した画像データＤｔやメタデータＤｍは、１つのストリームとしてクライアント端末３に供給するものとしてもよく、画像データＤｔとメタデータＤｍとを別のストリームで非同期にクライアント端末３に供給するものとしてもよい。
【００５４】
従来のオブジェクト検知処理においては、非検知対象の領域内での誤検知を防止するために、非検知対象に対してマスク領域を設定し、このマスク領域では画像処理を行わないようにする。しかしながら、このような従来のオブジェクト検知処理では、動体は、マスク領域内に存在する場合には検知されなくなる。
【００５５】
そこで、本実施の形態における監視システム１００は、オブジェクトがマスク領域内に侵入した場合であっても検知されるようにするオブジェクト検知処理を行う。
【００５６】
このオブジェクト検知処理では、例えば図３に示すように、標識６２のポール６２１の位置に非検知領域であるマスク領域６４を設定した場合に、オブジェクトである人６１がマスク領域６４外からこのマスク領域６４内に侵入してもこのマスク領域６４内で検知されるようにする。すなわち、人６１は、動体検知枠６３にて捉えられて検知される。
【００５７】
図４は、メタデータ生成部１３の構成を示す図である。メタデータ生成部１３は、オブジェクト検知部１３１と、オブジェクト発生位置検知部１３２と、有効オブジェクト判定部１３３と、有効メタデータ生成部１３４とを備えてこのような動体検知処理を行う。
【００５８】
メタデータ生成部１３は、オブジェクトに関する情報を含むメタデータＤｍを生成する。メタデータ生成部１３は、画像データ生成部１１で生成された画像データＤｔを用いて動体であるオブジェクトを検知し、オブジェクトが検知されているか否かを示すオブジェクト検知情報や、検知したオブジェクトの発生位置を示す発生位置情報を生成し、これをオブジェクト情報としてメタデータＤｍに含める。この際、検知されたオブジェクトは、それぞれに固有のＩＤが割り当てられて記憶部（図示せず）に記憶される。
【００５９】
監視システム１００では、メタデータ生成部１３が動体検知処理を行う前に、予めクライアント端末３において、ユーザの操作に基づき、オブジェクトの検知処理にて処理を除外する可能性のある箇所に対して非検知領域としてマスクを設定する。そして、クライアント端末３から、マスク設定情報であるマスク設定信号がネットワーク２を介して監視カメラ１ａ，１ｂ，１ｃに供給される。
【００６０】
オブジェクト検知部１３１には、撮像信号処理部１１３から、例えば人６１等の動体であるオブジェクトの画像データＤｖが供給される。撮像システム１００では、撮像部１１２がフレーム毎に画像を撮影する。そして、撮像信号処理部１１３は、撮像部１１２にて取得されたフレーム単位の撮像信号Ｓｖに対し、画像処理を行う。オブジェクト検知部１３１には、フレーム毎の画像データＤｖが供給される。オブジェクト検知部１３１は、撮像信号処理部１１３より供給された画像データＤｖを画像処理してオブジェクトを取得する。オブジェクト検知部１３１は、オブジェクトを検知したか否かを示すオブジェクト検知情報をメタデータＤｍとする。また、オブジェクト検知部１３１は、検知したオブジェクトにオブジェクト固有のＩＤを割り当てる。オブジェクト検知部１３１は、このオブジェクト検知情報をオブジェクト情報としてメタデータＤｍに含め、このメタデータＤｍを記憶部（図示せず）に記憶させる。また、オブジェクト検知部１３１は、このメタデータＤｍをクライアント端末３に送信する。
【００６１】
撮像信号処理部１１３が行うオブジェクトの検知処理においては、例えば特許文献１に記載の動体検知アルゴリズムを適用することができる。オブジェクトの画像は、複数取得されることもあるが、この場合も同様のアルゴリズムが適用される。この特許文献１に記載のアルゴリズムにおいては、フレーム単位の画像において時間的な輝度変化を検出し、輝度の変化がある領域を動体であるオブジェクトとする。ただし、ここで得られたオブジェクトは、誤検知された無効オブジェクトをも含む。ここで、後述の有効オブジェクトとは、監視対象であって、検知された場合にフィルタの条件に適合すればアラートを発報する必要のあるオブジェクトである。無効オブジェクトとは、監視対象ではなく検知してもアラートを発報する必要のないオブジェクトである。このような無効オブジェクトは、有効オブジェクト判定部１３３が行う後述の処理により取り除かれる。
【００６２】
監視カメラ１ａでは、輝度変化に基づいて検知されたオブジェクトを、オブジェクトの発生後から追跡するための処理を行う。これにより、マスク領域とオブジェクト発生位置との関係を特定することができる。具体的に説明すると、オブジェクト発生位置検知部１３２は、撮像されて記憶部（図示せず）に記憶されている全フレームの画像データＤｖからオブジェクトが発生した時点の画像フレームを特定する。オブジェクト発生位置検知部１３２は、このフレーム画像からオブジェクトの発生位置を検知し、オブジェクト発生位置情報を生成する。そして、オブジェクト発生位置検知部１３２は、このオブジェクト発生位置情報をオブジェクト情報としてメタデータＤｍに含め、このメタデータＤｍを記憶部（図示せず）に記憶させる。また、オブジェクト発生位置検知部１３２は、このメタデータＤｍをクライアント端末３に送信する。
【００６３】
オブジェクト発生位置検知部１３２が行うオブジェクト発生位置の検知方法としては、例えば特開２００７−３３４６３１号公報に記載されている物体領域追跡方法を適用することができる。この物体領域追跡方法は、重なりや隠れによって物体領域が一時的に消滅した場合であっても、物体領域に対応付けられた識別情報の継続が可能であり、高性能に物体追跡をすることができるものである。
【００６４】
なお、オブジェクト発生位置検知部１３２は、マスク領域内で輝度変化によりオブジェクトが検知された場合には、オブジェクト周囲の画像に対して動きベクトルを算出し、オブジェクトが１フレーム前の画像中の何れの位置にあったのかを算出する処理を行うようにしてもよい。この場合、後述の有効オブジェクト判定部１３３は、ベクトル算出処理により得られた動きベクトルに基づき、１フレーム前の画像中でマスク領域外にあったオブジェクトをマスク領域内で発生したものではなく有効オブジェクトであると判定する。また、マスク領域内の画像にて輝度変化があったにも拘らず動きベクトルが算出されない場合には、検知されているオブジェクトは、反射光又は影であり、誤検知であると判定する。
【００６５】
さらには、このような処理を組み合わせて行うことにより、オブジェクト判定の精度を向上させることが可能である。
【００６６】
有効オブジェクト判定部１３３は、全フレームの画像データにおいて現在までに既にオブジェクト検知部１３１によって検知されている全てのオブジェクト（無効オブジェクトも含む。）の内、マスク領域内に存在するオブジェクトがこのマスク領域内で発生したか、又は、マスク領域外で発生したかを判断する。すなわち、有効オブジェクト判定部１３３は、オブジェクト発生位置検知部１３２によって検知された、マスク領域内に存在するオブジェクトの発生位置がマスク領域内であるか否かを判断する。
【００６７】
有効オブジェクト判定部１３３は、このオブジェクトがマスク領域外で発生した場合には、そのオブジェクトを有効オブジェクトと判定し、このオブジェクトがマスク領域内で発生した場合には、そのオブジェクトを無効オブジェクトと判定する。
【００６８】
このような処理により、オブジェクトがマスク領域外からマスク領域内へ進入したのか、マスク領域内でオブジェクトが発生したのかを判定することができる。マスク領域内でしか動かないオブジェクトは、有効オブジェクトではないと判定する。また、この判定処理において、マスク領域内で発生したオブジェクトであっても、領域外へ出て行ったオブジェクトは、有効オブジェクトであるという判定基準をさらに設けることも可能である。
【００６９】
有効メタデータ生成部１３４は、有効オブジェクト判定部１３３にてオブジェクトが有効オブジェクトであると判定された旨の情報である動体のメタデータＤｍを生成する。このメタデータＤｍは、ネットワーク２を介してクライアント端末３に供給されてクライアント端末において、フィルタ処理によりこのアラートが発報される。または、オブジェクトを検知した監視カメラ自体が、このメタデータＤｍに基づいてこのアラートを発報するようにしてもよい。
【００７０】
これにより、監視システム１００が例えば侵入者を監視する場合には、従来よりも誤報を減らして動体であるオブジェクトを検知した旨のアラートを発報することができる。
【００７１】
なお、有効オブジェクト判定部１３３が行う有効オブジェクトの判定基準は、上述のような有効オブジェクトの存在の有無だけでなく、例えばオブジェクトがある仮想ラインを通過したか否か、オブジェクトがある仮想のエリアに侵入したか否か等、オブジェクトの動きに基づく判定基準をさらに追加するようにしてもよい。
【００７２】
従来のオブジェクト検知処理では、画像の輝度変化の情報だけでオブジェクト検知を行っていたため、反射光や影等、大きな輝度変化を生じる背景物が動体のオブジェクトとして誤検知されてしまうことが多かった。これに対し、上述のようなオブジェクト検知処理を行う監視システム１００によれば、オブジェクトの発生位置を検知することにより、検知されたオブジェクトが動体として正確に検知される。
【００７３】
次に、監視システム１００におけるオブジェクト検知処理動作について図５のフローチャートを参照して説明する。なお、以下では監視カメラ１ａがオブジェクトを検知する場合について説明するが、監視カメラ１ａ，１ｂ，１ｃは、同一の構成であるため、監視カメラ１ｂ又は監視カメラ１ｃがオブジェクトを検知した場合においてもこれと同様の処理工程でオブジェクト検知処理が行われる。
【００７４】
ステップＳ１において、監視システム１００は、オブジェクト検知処理動作を開始する。
【００７５】
ステップＳ２において、クライアント端末３は、ユーザの操作に基づいてマスクの設定処理を行い、マスク設定信号を監視カメラ１ａの撮像動作切替部１２に供給する。
【００７６】
ステップＳ３において、監視カメラ１ａの撮像部１１２は、撮像動作切替部１２の制御動作に基づいて、レンズ部１１１を介して例えば３０ｆｐｓ、１５ｆｐｓ等のフレーム単位で監視領域を撮影する。そして、撮像部１１２は、このフレーム単位の撮像信号Ｓｖを撮像信号処理部１１３に供給する。撮像部１１２は、この撮像信号Ｓｖを撮像信号処理部１１３に供給する。撮像信号処理部１１３は、撮像信号Ｓｖに対して上述した種々の信号処理を行って画像データＤｖを生成し、メタデータ生成部１３に供給する。
【００７７】
このステップＳ３において、撮像動作切替部１２は、ステップＳ２にて設定されたマスク設定信号に基づく非検知領域のマスク設定処理を行う。そして、撮像動作切替部１２は、設定したマスクのデータ（マスクデータ）をメタデータ生成部１３が備える有効オブジェクト判定部１３３に供給する。
【００７８】
なお、このマスク設定処理は、ユーザの操作に基づいて設定される場合に限られず、クライアント端末３又は監視カメラ１ａにおいて、誤検知が多発する領域を統計的に算出し、その領域をマスク領域として設定するようにしてもよい。
【００７９】
ステップＳ４において、監視カメラ１ａのメタデータ生成部１３が備えるオブジェクト検知部１３１は、撮像信号処理部１１３から画像データＤｖが供給されると、この画像において動体であるオブジェクトの検知処理を行う。
【００８０】
このステップＳ４において、オブジェクト検知部１３１は、オブジェクトがあるか否かを判断する。このステップＳ４において、オブジェクト検知部１３１は、オブジェクトがあると判断した場合にはステップＳ５に進み、オブジェクトがないと判断した場合にはステップＳ３に戻る。
【００８１】
ステップＳ５において、有効オブジェクト判定部１３３は、オブジェクト検知部１３１が検知したオブジェクトの位置がマスク領域内であるか否かを判断する。このステップＳ５において、オブジェクトの位置がマスク領域内である場合にはステップＳ６に進み、オブジェクトの位置がマスク領域外である場合にはステップＳ７に進む。
【００８２】
ステップＳ６において、オブジェクト発生位置検知部１３２は、撮像されて記憶部（図示せず）に記憶されている全フレームの画像データＤｖからオブジェクトが発生した時点の画像フレームを特定し、その画像内でオブジェクトの発生位置を検知する。有効オブジェクト判定部１３３は、オブジェクト発生位置検知部１３２によって検知されたオブジェクトの発生位置がマスク領域内であるか否かを判断する。このステップＳ６において、オブジェクトの発生位置がマスク領域外である場合、すなわちマスク設定された非検知領域外にてオブジェクトが発生した場合には、ステップＳ７に進み、オブジェクトの発生位置がマスク領域内である場合にはステップＳ３に戻る。
【００８３】
ステップＳ７において、有効メタデータ生成部１３４は、動体であるオブジェクトを検知した旨の情報であるメタデータＤｍを生成する。
【００８４】
ステップＳ８において、生成されたメタデータＤｍは、クライアント端末３でフィルタ処理されてアラート情報が生成される。そして、クライアント端末３がこのアラート情報に基づいてアラート発報を行う。もしくは、このようなフィルタ処理及びアラート情報の生成は監視カメラ１ａ内でも行うことができる。その後、ステップＳ３に戻る。
【００８５】
このように、監視システム１００においては、オブジェクトの発生位置がマスク領域外であれば、そのオブジェクトは有効オブジェクトであると判定される。
【００８６】
この図５のフローチャートに示す処理工程では、マスク領域内で発生したオブジェクトが、現在までマスク領域内にある間は、無効オブジェクトであると判断される。その後、オブジェクトの追跡が続けられ、この追跡を行っている間にオブジェクトがマスク領域外に出た場合には、この時点でオブジェクトは、有効オブジェクトであると判定される。この場合、有効オブジェクトであると判定された時点で、画像データを遡り、オブジェクトの発生時からそのオブジェクトが有効であったと認定することもできる。
【００８７】
また、図５のフローチャートでは述べていないが、監視システム１００では、オブジェクトの発生位置がマスク領域内であっても、現在のオブジェクトの位置がマスク領域外であれば、そのオブジェクトは、有効オブジェクトであると判定される。
【００８８】
なお、本実施の形態における監視システム１００における監視カメラ１ａ，１ｂ，１ｃの構成は、上述のような固定式のカメラに限られず、例えば旋回可能な機構メカニズムを有するパンチルト式のカメラであってもよい。
【００８９】
上述のような固定式のカメラでは、一度設定されると、画像の撮像範囲は常に一定である。このような固定式カメラの場合、常に一定の領域内でマスクが設定される。
【００９０】
一方、監視カメラがパンチルト式のカメラである場合、旋回することにより広範囲に撮像することができる。これにより、ユーザは、広範囲に撮像されることにより生成されたパノラマ画像内でマスクを設定することができる。
【００９１】
以下にパンチルト式である監視カメラの動作例について説明する。
【００９２】
図６に示すように、パンチルト式である監視カメラ７は、円弧で示される仮想円筒面７０で囲まれる領域を撮影するように旋回する。そして、監視カメラ７は、旋回して、例えば撮像視野Ａ、撮像視野Ｂ、及び撮像視野Ｃに示す視野を有する画像を撮影する。このとき、監視カメラ７は、自身のパン及びチルトの値を記憶部（図示せず）に記憶させる。監視カメラ７は、記憶部に記憶されたパン、チルト値に基づいて撮影された各画像をカメラの回転中心を同じ中心とする仮想的な円筒面に投射することにより、仮想円筒面７０上に１枚のパノラマ画像を作成する。この作成された画像を用いることにより、監視カメラが上述の固定式のカメラである場合と同様に、マスクを設定することができる。なお、ここでは、仮想円筒面７０に投影するとしたが、球面に投影したり、メルカトル地図等のような展開した平面へ投影することも可能である。
【００９３】
なお、監視カメラ７がパン、チルト値を記憶させることができない場合は、領域Ａ、領域Ｂ、領域Ｃで撮影された画像の特徴量を、例えば、エッジ抽出、コーナー抽出により抽出して特徴点のマッチング処理を行い、１枚のパノラマ画像を作成するようにしてもよい。これは、監視カメラ７の回転中心が、画像の焦点に一致しない場合等に有効的である。
【００９４】
また、本実施の形態では、監視カメラ７を回転させながら撮影された画像の一部をスリット上に抜き取り、その画像を監視カメラの回転に合わせて並べ直す等の方法をも用いることができる。
【００９５】
また、本実施の形態では、ズーム式の監視カメラを用いることができる。ズーム式の監視カメラにおいては、例えば、レンズを介してワイド端で撮影した画像に基づいてマスクを設定することが可能である。
【００９６】
次に、図１に示したクライアント端末３の詳細な構成を、図７の機能ブロック図を参照して説明する。ただし、クライアント端末３の各機能ブロックは、ハードウェアで構成するものとしてもよく、また、ソフトウェアで構成するものとしてもよい。
【００９７】
クライアント端末３は、監視カメラ１ａ，１ｂ，１ｃとのデータ伝送を行うネットワーク接続部３０１と、監視カメラ１ａ，１ｂ，１ｃから画像データを取得する画像バッファ部３０２と、監視カメラ１ａ，１ｂ，１ｃからメタデータを取得するメタデータバッファ部３０３と、フィルタ処理に応じたフィルタ設定を蓄積するフィルタ設定データベース（ＤＢ）３０７と、メタデータのフィルタ処理を行うフィルタ部としてのメタデータフィルタ部３０６と、監視カメラ１ａ，１ｂ，１ｃに設定変更を通知するルール切替部３０８と、画像データを蓄積する画像データ蓄積データベース３０４と、メタデータを蓄積するメタデータ蓄積データベース３０５と、画像データやメタデータ等を表示する表示部３１１と、画像データを表示部３１１で再生させるための処理を行う画像データ処理部３０９と、メタデータを表示部３１１で再生させるための処理を行うメタデータ処理部３１０と、メタデータと画像データとの再生を同期させる再生同期部３１２とを備える。
【００９８】
画像バッファ部３０２は、監視カメラ１ａ，１ｂから画像データＤｔを取得し、符号化されている画像データＤｔの復号化処理を行う。そして、画像バッファ部３０２は、得られた画像データを画像バッファ部３０２に設けられている図示しないバッファに保持する。さらに、画像バッファ部３０２は、図示しないバッファに保持している画像データを順次、画像を表示する表示部３１１に供給する処理も行う。このように、図示しないバッファに画像データを保持することにより、監視カメラ１ａ，１ｂ，１ｃから送信される画像データの受信タイミングによらずに、表示部３１１に対して順次画像データを供給することができる。また、画像バッファ部３０２は、後述するルール切替部３０８から供給される録画要求信号に基づいて、保持している画像データを画像データ蓄積データベース３０４に蓄積させる。なお、画像データ蓄積データベース３０４には、符号化されている画像データを蓄積させるようにし、後述する画像データ処理部３０９で復号化を行うようにしてもよい。
【００９９】
メタデータバッファ部３０３は、メタデータバッファ部３０３に設けられている図示しないバッファに、監視カメラ１ａ，１ｂ，１ｃから取得したメタデータＤｍを保持する。また、メタデータバッファ部３０３は、保持しているメタデータＤｍを後述するメタデータフィルタ部３０６に供給する処理も行う。このように、図示しないバッファがメタデータを保持することにより、監視カメラ１ａ，１ｂ，１ｃからのメタデータＤｍの受信タイミングによらずに、表示部３１１に対して順次メタデータを供給することができる。
【０１００】
さらに、メタデータバッファ部３０３は、監視カメラ１ａ，１ｂ，１ｃから取得したメタデータＤｍをメタデータ蓄積データベース３０５に蓄積する際に、メタデータと同期する画像データの時刻情報を付加しておく。これにより、メタデータＤｍの内容を読み出して時刻を判別しなくとも、付加されている時刻情報を利用して所望の時刻のメタデータＤｍをメタデータ蓄積データベース３０５から読み出すことが可能となる。
【０１０１】
フィルタ設定データベース３０７は、後述するメタデータフィルタ部３０６で行うフィルタ処理に応じたフィルタ設定を蓄積するとともに、フィルタ設定をメタデータフィルタ部３０６に供給する。このフィルタ設定とは、アラーム情報等の出力や、監視カメラ１ａ，１ｂ，１ｃの撮像動作の切替を行う必要があるか否かの判断基準等をメタデータに含まれている監視対象に関する情報ごとに示す設定である。このフィルタ設定を用いてメタデータのフィルタ処理を行うことにより、オブジェクトに関する情報ごとにフィルタ処理結果を示すことができる。フィルタ処理結果によっては、アラーム情報等の出力を行う必要があることや、監視カメラ１ａ，１ｂ，１ｃの撮像動作の切り替えが必要であることが示される。
【０１０２】
メタデータフィルタ部３０６は、フィルタ設定データベース３０７に蓄積されているフィルタ設定を用いてメタデータのフィルタ処理を行い、アラートを発報させるかどうかを判断する。そして、メタデータフィルタ部３０６は、メタデータバッファ部３０３で取得したメタデータ、又は、メタデータ蓄積データベース３０５から供給されたメタデータのフィルタ処理を行い、フィルタ処理結果をルール切替部３０８に通知する。
【０１０３】
ルール切替部３０８は、メタデータフィルタ部３０６から通知されたフィルタ処理結果に基づいて、切替指示信号を生成し、監視カメラ１ａ，１ｂ，１ｃに撮像方向切替等の変更を通知する。例えば、メタデータフィルタ部３０６から得られたフィルタ処理結果に基づき、監視に適した監視画像が得られるように監視カメラ１ａ，１ｂ，１ｃの動作を切り替える指令を出力する。また、ルール切替部３０８は、フィルタ処理結果に基づいて画像データ蓄積データベース３０４に録画要求信号を供給し、画像バッファ部３０２で取得した画像データを画像データ蓄積データベース３０４に蓄積させる。
【０１０４】
画像データ蓄積データベース３０４は、画像バッファ部３０２で取得された画像データを蓄積する。メタデータ蓄積データベース３０５は、メタデータバッファ部３０３で取得されたメタデータＤｍを蓄積する。
【０１０５】
画像データ処理部３０９は、画像データ蓄積データベース３０４に蓄積されている画像データを表示部３１１に表示させるための処理を行う。すなわち、画像データ処理部３０９は、ユーザによって指示された再生位置から順次画像データを読み出して、読み出した画像データを表示部３１１に供給する。また、画像データ処理部３０９は、再生している画像データの再生位置（再生時刻）を再生同期部３１２に供給する。
【０１０６】
メタデータＤｍと画像データとの再生を同期させる再生同期部３１２は、画像データ処理部３０９から供給された再生位置と、メタデータ処理部３１０で、メタデータ蓄積データベース３０５に蓄積されているメタデータを再生するときの再生位置が同期するように、同期制御信号をメタデータ処理部３１０に供給して、メタデータ処理部３１０の動作を制御する。
【０１０７】
メタデータ処理部３１０は、メタデータ蓄積データベース３０５に蓄積されているメタデータＤｍを表示部３１１に表示させるための処理を行う。すなわち、メタデータ処理部３１０は、ユーザによって指示された再生位置から順次メタデータＤｍを読み出して、読み出したメタデータＤｍを表示部３１１に供給する。また、画像データとメタデータＤｍとの双方を再生する場合、メタデータ処理部３１０は、上述したように、再生同期部３１２から供給された同期制御信号に基づいて再生動作を制御して、画像データに同期したメタデータＤｍを表示部３１１に出力する。
【０１０８】
表示部３１１は、画像バッファ部３０２から供給されたライブ（生）の画像データや画像データ処理部３０９から供給された再生画像データ、メタデータバッファ部３０３から供給されたライブのメタデータＤｍやメタデータ処理部３１０から供給された再生メタデータを表示する。また、表示部３１１は、メタデータフィルタ部３０６からのフィルタ設定に基づいて、監視画像やメタデータの画像やフィルタ設定の画像のいずれか、又は、これらを合成した画像を用いて、フィルタ処理結果に基づく監視結果を示す画像を表示（出力）する。
【０１０９】
また、表示部３１１は、グラフィカルユーザインターフェース（ＧＵＩ：Graphical User Interface）としても機能する。ユーザは、図示しない操作キーや、マウス、リモートコントローラ等を用いて表示部３１１に表示されたフィルタ設定メニュー等を選択することによりフィルタを定義したり、各処理部の情報やアラート情報の解析結果等をＧＵＩ表示することができる。
【０１１０】
このような本実施の形態における監視システム１００によれば、環境変化が起こりやすい屋外において動体であるオブジェクトを正確に検知することができる。
【０１１１】
すなわち、屋外においては、標識、看板、縁石等の背景物において、太陽光や車のライト等により、昼夜問わず、反射光や影を生じさせる。従来の動体検知処理においては固定マスクを設定することが主であった。ユーザは、オブジェクトの誤検知を避けるために背景物に多くの固定マスクを設定していた。このため、本来検知されるべき動体であるオブジェクトを検知することができず、監視システム上重大な問題であるアラートの失報となる場合が多かった。これに対し、本実施の形態における監視システム１００によれば、上述のようなオブジェクト発生位置の検知処理を行うことにより、アラートの失報を軽減することができる。
【０１１２】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１１３】
例えば、本実施の形態における監視システムは、図８に示すように、上述の監視システム１の構成にサーバ４をさらに備えてクライアント機能を分割した構成としてもよい。すなわち、図８に示すように、本実施の形態における監視システム２００は、サーバ４を備えて図１の例と同様の機能、効果を得ることができる。この図８に示す監視システム２００は、サーバ４が、上述のようなクライアント端末３と同様の構成を備え、監視カメラ１ａ，１ｂ，１ｃから出力されたデータをネットワーク２を介して取得し、クライアント端末３にデータを供給するシステムである。このような監視システム２００によれば、サーバ機能とクライアント機能とを分割することにより、処理性能が高いサーバ４で大量にデータを処理し、処理性能が低いクライアント端末３が専ら処理結果を閲覧するといった使い分けが可能となる。このように、監視システム２００は、サーバを介して機能を分散することで、より柔軟性に富んだ監視システムとすることができる。
【０１１４】
また、本実施の形態における監視システムが備える監視カメラ、クライアント端末、サーバの台数及びこれらの構成は、上述の例に限られないことは勿論である。
【０１１５】
また、上述した実施の形態では、監視カメラ１ａ，１ｂ，１ｃが、クライアント端末３又はサーバ４にメタデータを送信し、クライアント端末３又はサーバ４がこのメタデータＤｍを生成する場合について説明したが、これに限らず、監視カメラ１ａ、１ｂ、１ｃ内にメタデータ処理部を有し、アラート情報を生成、出力するようにしてもよい。
【図面の簡単な説明】
【０１１６】
【図１】本実施の形態における監視システムの構成例を示す図である。
【図２】本実施の形態における監視システムが備える監視カメラの構成を示す機能ブロック図である。
【図３】本実施の形態における監視システムが非検知対象である背景物にマスク領域を設定した場合のオブジェクト検知の様子を示す図である。
【図４】メタデータ生成部の構成を示す図である。
【図５】本実施の形態における監視システムのオブジェクト検知処理動作を説明するためのフローチャートである。
【図６】本実施の形態における監視システムが備えるパンチルト式の監視カメラが旋回する様子を示す図である。
【図７】クライアント端末の詳細な構成を示す機能ブロック図である。
【図８】本実施の形態における監視システムの他の構成例を示す図である。
【図９】従来の監視システムにおける動体検知の様子を示す図である。
【図１０】太陽光が照射された標識のポール表面上の一部領域において太陽光が反射し、大きな輝度変化を生じさせる様子を示す図である。
【図１１】背景物の太陽光が照射される側をオブジェクトである人が通過する様子を示す図である。
【図１２】夜間におけるオブジェクトの誤検知を説明するための図である。
【図１３】従来の監視システムにおけるマスク設定処理を説明するための図である。
【図１４】従来の監視システムにおけるオブジェクト検知の様子を示す図である。
【符号の説明】
【０１１７】
１ａ，１ｂ，１ｃ，７ 監視カメラ、２ ネットワーク、３ クライアント端末、４ サーバ、１１ 画像データ生成部、１２ 撮像動作切替部、１３ メタデータ生成部
【特許請求の範囲】
【請求項１】
所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知部と、
上記オブジェクト検知部によって検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知部と、
上記オブジェクト検知部によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定部と
を備える画像処理システム。
【請求項２】
上記有効オブジェクト判定部によって上記オブジェクトが有効オブジェクトであると判定された場合に上記動体であるオブジェクトを検知した旨のメタデータを生成する有効メタデータ生成部をさらに備える請求項１記載の画像処理システム。
【請求項３】
上記所定領域を撮影して撮像信号を生成する撮像部と、
上記撮像部によって生成された撮像信号に所定の画像処理を行って上記所定領域の画像の画像データを生成する撮像信号処理部と
をさらに備える請求項１記載の画像処理システム。
【請求項４】
上記撮像部は、フレーム毎に上記撮像信号を生成する請求項３記載の画像処理システム。
【請求項５】
所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知工程と、
上記オブジェクト検知工程にて検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知工程と、
上記オブジェクト検知工程によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定工程と
を有する画像処理方法。
【請求項６】
所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知工程と、
上記オブジェクト検知工程にて検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知工程と、
上記オブジェクト検知工程によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定工程と
をコンピュータに実行させるためのプログラム。
【請求項１】
所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知部と、
上記オブジェクト検知部によって検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知部と、
上記オブジェクト検知部によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定部と
を備える画像処理システム。
【請求項２】
上記有効オブジェクト判定部によって上記オブジェクトが有効オブジェクトであると判定された場合に上記動体であるオブジェクトを検知した旨のメタデータを生成する有効メタデータ生成部をさらに備える請求項１記載の画像処理システム。
【請求項３】
上記所定領域を撮影して撮像信号を生成する撮像部と、
上記撮像部によって生成された撮像信号に所定の画像処理を行って上記所定領域の画像の画像データを生成する撮像信号処理部と
をさらに備える請求項１記載の画像処理システム。
【請求項４】
上記撮像部は、フレーム毎に上記撮像信号を生成する請求項３記載の画像処理システム。
【請求項５】
所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知工程と、
上記オブジェクト検知工程にて検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知工程と、
上記オブジェクト検知工程によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定工程と
を有する画像処理方法。
【請求項６】
所定領域の画像の画像データから動体であるオブジェクトを検知するオブジェクト検知工程と、
上記オブジェクト検知工程にて検知されたオブジェクトの発生位置を検知するオブジェクト発生位置検知工程と、
上記オブジェクト検知工程によって検知されたオブジェクトが上記所定領域の画像中の非検出対象に設定されたマスク領域内にあり、且つ、上記オブジェクト発生位置検知部によって検知された上記マスク領域内にあるオブジェクトの発生位置が上記マスク領域外である場合に当該オブジェクトは有効オブジェクトであると判定する有効オブジェクト判定工程と
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−９１３４（Ｐ２０１０−９１３４Ａ）
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願番号】特願２００８−１６４８５６（Ｐ２００８−１６４８５６）
【出願日】平成２０年６月２４日（２００８．６．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願日】平成２０年６月２４日（２００８．６．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]