ビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法
【課題】物体の動きの発生による侵入者発生と、カメラの動きや揺れなどによる誤った侵入者感知発生とを区分し、該当物体を抽出するビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法を提供する。
【解決手段】本発明によれば、入力動映像からオプティカルフロー(Optical Flow)を求めた後、これを角度値に変形して分類し、この角度値が一定の臨界値を超過する場合、物体の動きであると判断し、角度値が一定の臨界値を超過しなくなる場合、カメラの動きや揺れであると判断する。ここで、物体の動きであると判断される場合、物体のオプティカルフローに対するX−Y投影を用いて動きが発生した部分だけを抽出する作業を進行することによって、客体を分割し、これを連続したフレームにおいて追跡し、物体の移動経路を追跡する。
【解決手段】本発明によれば、入力動映像からオプティカルフロー(Optical Flow)を求めた後、これを角度値に変形して分類し、この角度値が一定の臨界値を超過する場合、物体の動きであると判断し、角度値が一定の臨界値を超過しなくなる場合、カメラの動きや揺れであると判断する。ここで、物体の動きであると判断される場合、物体のオプティカルフローに対するX−Y投影を用いて動きが発生した部分だけを抽出する作業を進行することによって、客体を分割し、これを連続したフレームにおいて追跡し、物体の移動経路を追跡する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法に関し、特に、物体の動きを感知し侵入者発生有無を判断する無人ビデオ監視システムにおいて、物体の動きの発生による侵入者発生と、カメラの動きや揺れなどによる誤った侵入者感知発生とを区分し、物体の動きによる侵入者発生であると判断される場合、該当物体を抽出するビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法に関する。
【背景技術】
【0002】
従来のビデオ監視システムでは、物体の動きを感知するために、2つのフレーム間の差分信号を利用する方法と、動きベクトルを利用する方法とに分けられることができる。
【0003】
差分映像信号を利用する方法は、以前のフレームと現在入力されたフレームにおいて対応する座標点の画素値を減算する方法であって、2つのフレーム間に若干の動きでも発生した場合、該当画素は、0以外の値を有する原理を利用する。
【0004】
このような画素が所定の基準値以上となる場合、物体の出現などによる画素値の変化として認識し、侵入者が発生したと判断する方法である。
【0005】
そして、動きベクトルを利用する方法は、全域探索(Full Search)のような方法で現在のフレームと以前のフレーム間の動きベクトルを検出し、動きベクトルの検出された量が所定の基準値以上である場合、侵入者発生として判断する方法である。
【0006】
前述のような差分映像信号を利用する方法は、演算方法が単純なので、早い時間内に動き検出可否を判断することができるという長所があるが、照明変化及びノイズに敏感であるという短所がある。また、カメラが停止しており、動きが発生しないと、全ての画素の差異値は、0となるが、カメラが移動したり揺れる場合、画素値の変化が大きくなり、実際の物体の動きとカメラの動きや揺れによる物体の動きとを区分しないという問題点がある。
【0007】
一方、前述のような動きベクトルを利用する方法は、相対的に前述の差分映像信号を利用した方法に比べて、照明変化やノイズにあまり敏感でなく、動きが発生した物体の動き方向を知ることができるという長所はあるが、この方法もやはり、物体の動きとカメラの動きによる動きベクトル発生の差異点を区分しないという問題点がある。
【0008】
また、前記方法の他に、入力される映像信号を用いて移動物体を追跡する代表的な方法は、コリレイション(Correlation: Block Matching Algorithm)を利用した方法、ディスターバンスマップ(Disturbance Map)を利用する方法、カラー分布を利用する方法及びオプティカルフロー(Optical Flow)を利用する方法などが挙げられる。
【0009】
このような方法を複合的に適用して商用化に取り組んだ多重移動物体追跡監視システムが特許文献1に開示されている。
【0010】
特許文献1に開示された技術もやはり、カメラが停止した状態では物体の抽出性能に優れているが、カメラが動く場合には、映像補正が必ず要求され、このため、カメラ補正アルゴリズムを利用しているが、これは、その分、システムにおいて処理すべきデータ量が増加するようになり、処理速度に負担となり、また、正確な映像補正がなされないという問題点を有する。
【0011】
また、特許文献1に開示された技術に利用されるブロック整合アルゴリズムは、物体が移動しながら、大きさ、形状、明るさなどが変わる場合、その追跡性能が低下し、ブロックの大きさが大きくなるほど、処理速度が低下する問題点と、追跡誤差がフレーム毎に蓄積され、結局は、動く物体がブロック整合する基準ブロックから外れる問題点が発生する。
【特許文献1】大韓民国特許出願公開第2000−22818号明細書
【発明の開示】
【発明が解決しようとする課題】
【0012】
したがって、本発明は、前述のような問題点を解決するためになされたもので、本発明の目的は、物体の動きを感知し侵入者発生有無を判断する無人ビデオ監視システムにおいて、物体の動きの発生による侵入者発生と、カメラの動きや揺れなどによる誤った侵入者感知発生とを区分し、物体の動きによる侵入者発生であると判断される場合、該当物体を抽出するビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法を提供することにある。
【課題を解決するための手段】
【0013】
前記目的を達成するために、本発明の一態様に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置は、現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出するオプティカルフロー抽出部と、前記オプティカルフロー抽出部で抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する角度ヒストグラム生成部と、前記角度ヒストグラム生成部で生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する制御部とを備えることを特徴とする。
【0014】
前記現在の入力映像フレーム及び以前の映像フレームの各々に含まれたノイズを除去した後、ノイズが除去された現在のフレーム及び以前のフレームを前記オプティカルフロー抽出部に提供するノイズ除去部をさらに備え、ノイズ除去部は、ガウスノイズを除去するガウスフィルタを備える。
【0015】
前記角度ヒストグラム生成部は、前記オプティカルフロー抽出部で抽出したオプティカルフローに対するベクトル値を角度値に変化させた後、オプティカルフローベクトル値に対するヒストグラムを生成する。
【0016】
前記角度ヒストグラムは、ラジアン値(−π〜+π)を角度値(0〜360)に変化させ、変化した角度値を0〜35の値に正規化させた後、角度ヒストグラムを生成する。
【0017】
前記制御部は、カメラの動き及び物体の動きが同時に発生した場合、以前のフレームと現在のフレーム間における全てのオプティカルフローから、動きが最も多い角度に該当するオプティカルフローを除去した後、残りの角度のオプティカルフローに対してX−Y投影法を用いて動き物体を抽出する。
【0018】
また、本発明の他の態様に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法は、現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出する段階と、前記抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する段階と、前記生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する段階とを備えることを特徴とする。
【発明の効果】
【0019】
本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法は、物体の動きを感知し侵入者発生有無を判断する無人ビデオ監視システムにおいて、物体の動きの発生による侵入者発生と、カメラの動きや揺れなどによる誤った侵入者感知発生とを区分し、物体の動きによる侵入者発生であると判断される場合、該当物体を抽出する。本発明によれば、入力動映像からオプティカルフロー(Optical Flow)を求めた後、これを角度値に変形して分類し、この角度値が一定の臨界値を超過する場合、物体の動きであると判断し、角度値が一定の臨界値を超過しなくなる場合、カメラの動きや揺れであると判断する。ここで、物体の動きであると判断される場合、物体のオプティカルフローに対するX−Y投影を用いて動きが発生した部分だけを抽出する作業を進行することによって、客体を分割し、これを連続したフレームにおいて追跡し、物体の移動経路を追跡する。
【0020】
また、本発明は、URC(Ubiquitous Robot Companion)においてロボットの無人監視システムに適用され、侵入者の検出に使われることができる。現在の動き感知方法は、カメラが固定されており、動かないという条件下で、単純に差分映像だけを利用する方法を使用している。しかし、ロボットの場合、継続的に動きながら監視地点を移動しなければならないので、ロボットの動きによるカメラ画素値の変動と実際の物体の動きによる画素値の変動とを区分しなければならない。従って、本発明をURC監視システムに適用する場合、実際に物体の動きが発生した場合を区分し、該当物体だけを検出して追跡するのに適用されることができる。
【発明を実施するための最良の形態】
【0021】
以下、添付の図面を参照して、本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法について詳細に説明する。
【0022】
図1は、本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置を示すブロック図である。
【0023】
図1に示すように、ビデオ監視システムは、映像入力部100、ノイズ除去部110、オプティカルフロー検出部120、角度ヒストグラム生成部130、制御部140及び客体抽出部150を含むことができる。
【0024】
映像入力部100は、パニング/チルト可能なカメラで、撮影した現在の映像に対する映像フレームをノイズ除去部110に提供する。
【0025】
ノイズ除去部110は、映像入力部100から入力される現在の映像フレーム及び以前の映像フレームに対して各々ノイズを除去する。ここで、ノイズ除去フィルタとして、ガウスノイズを低域フィルタリングするガウスフィルタ(Gaussian Filter)を利用することができる。
【0026】
オプティカルフロー検出部120は、ノイズ除去部110で各々ガウスノイズが除去された以前のフレームと現在のフレーム間のオプティカルフローを検出する。ここで、オプティカルフローとは、明度類型(brightness pattern)を徐々に変化させることによって発生する映像における明白な動きの速度分布を示すもので、以前のフレームと現在のフレーム間の動きベクトル値で表現することができる。
【0027】
角度ヒストグラム生成部130は、オプティカルフロー検出部120で検出された各オプティカルフローに対するオプティカルフローのベクトル値を角度(Degree)値に変化させ、角度ヒストグラムを生成した後、生成した角度ヒストグラムの角度0〜360度の値を0〜36の値に正規化させる。
【0028】
制御部140は、角度ヒストグラム生成部130で生成した角度ヒストグラムを用いて映像の画素値の変化が物体の動きにより発生したか、それとも、カメラの動き(パニング、チルト、揺れ)により発生したかを、所定の規則により判別する。ここで、所定の規則によって物体の動きまたはカメラの動きを判別する方法については後述する。
【0029】
客体抽出部150は、制御部140で映像に対する画素値の変化が物体の動きにより発生したものと判断された場合、前記オプティカルフロー検出部130で検出したオプティカルフローに対するベクトル値をX−Y方向に投影させ、物体(客体)だけを背景映像から抽出する。
【0030】
以下、このような構成を有する本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置の動作について説明する。
【0031】
まず、ノイズ除去部110は、映像入力部100から入力される現在の映像フレームと以前の映像フレームに対して各々ガウスフィルタを用いてフレームに付加されたガウスノイズを除去した後、ノイズが除去された現在のフレーム及び以前のフレームをオプティカルフロー検出部120に提供する。
【0032】
オプティカルフロー検出部120は、ノイズ除去部110から提供されるノイズが除去された以前のフレームと現在のフレーム間のオプティカルフローを検出する。
【0033】
オプティカルフローは、モーションベクトル(Motion Vector)と類似した方法であるが、動きの方向を各画素毎に測定することができ、速度の観点から全域探索(Full Search)方法より速い検出速度を有するという長所がある。ここで、オプティカルフローを検出する方法として、本発明では、HornとSchunckが提案したオプティカルフロー検出方法を使用する。
【0034】
この方法は、一定の領域内のオプティカルフローは同一であると仮定し、隣接する8方向の各画素のオプティカルフロー拘束式を連立させ、拘束条件を満足させる最小値を最小自乗法で計算し、オプティカルフローを計算する方法である。このような方法により求められたオプティカルフローの結果は、図2に示されている。すなわち、図2Aは、以前のフレームの映像であり、図2Bは、現在のフレームの映像であり、図2Cは、図2A及び図2Bのような以前のフレームと現在のフレーム間のオプティカルフローを検出した結果に対するフレームの映像を示す図である。ここで、図2Cでのオプティカルフローは、図2A及び図2Bのフレームの映像において顔部分の動きの変化によってオプティカルフローの変化が顔部分に現れることが分かる。
【0035】
このような方法により、以前のフレームと現在のフレーム間のオプティカルフローが検出されれば、検出されたオプティカルフローに対するベクトル値を角度ヒストグラム生成部130に提供する。
【0036】
角度ヒストグラム生成部130は、オプティカルフロー検出部120で検出したオプティカルフローに対する動きベクトル値をラジアン(Radian)角度の値に変化させる。
【0037】
ラジアン値を推定するために、X軸移動量dxとY軸移動量dyをradian=atan2(dx、dy)関数に適用させる場合、この値は、(−π〜+π)値を有するが、これを下記の数1式により角度値に変形し、その結果、角度値Dが負数となる場合、次の数2式を用いてさらに計算する。
【0038】
【数1】
【0039】
【数2】
【0040】
この場合、全てのオプティカルフローに対するベクトル値は、0〜360度の間の値に変形されるが、分析を容易にするために、0〜360度の値を0〜35の値に正規化させる。
【0041】
例えば、0〜9度間の値は、0に変形させ、10〜19度間の値は、1に変形させる。
【0042】
このようにオプティカルフローのベクトル値を角度値に変形させた結果は、図3D、図4D、図5Dから確認することができる。
【0043】
ここで、図3Aは、以前のフレームの映像、図3Bは、現在のフレームの映像、図3Cは、カメラは固定されており、物体だけが動いた場合のオプティカルフロー分布を示す映像、図3Dは、物体だけが動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。図4Aは、以前のフレームの映像、図4Bは、現在のフレームの映像、図4Cは、物体の動きはなく、カメラだけがパニングまたはチルト形態で動いた場合のオプティカルフロー分布を示す映像、図4Dは、カメラがパニングまたはチルトで動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。
【0044】
また、図5Aは、以前のフレームの映像、図5Bは、現在のフレームの映像、図5Cは、物体の動きはなく、カメラの揺れが発生した場合のオプティカルフロー分布を示す映像、図5Dは、カメラの揺れが発生した場合のオプティカルフローに対する角度ヒストグラムを示す図である。
【0045】
図3Cに示すように、カメラの動きは発生せず、物体の動きだけが発生した場合、オプティカルフローは、映像の一定部分にのみ局所的に発生する。反対に、図4C及び図5Cに示すように、カメラの揺れやカメラの動き(パニング、チルト)に起因して発生するオプティカルフローの場合、カメラが動くことによって、全体映像に発生することが分かる。
【0046】
カメラの動きのうちパニング(panning)は、固定された1台のカメラが水平に視点(view point)を移動させることを言い、チルト(tilt)は、垂直に移動させる場合を意味する。カメラのパニングやチルトの場合、図4Dのように、角度ヒストグラムが水平または垂直のように一方の角度で大きく発生するが、カメラの揺れの場合、図5Dに示すように、全体的な角度において均一に現れる特徴を有する。このような特徴を用いて、物体の動き、カメラの動き(パニング、チルト、揺れ)を判断することができる。
【0047】
図1に示すように、制御部10は、上記のように角度ヒストグラム生成部130で生成した角度ヒストグラムを分析することによって、物体の動き、カメラの動きなどを判断する。
【0048】
すなわち、制御部140は、角度ヒストグラム生成部130で角度ヒストグラムが求められると、物体の動きとカメラの動き間の特性を用いて次のような規則を生成し、これを用いて物体の動きとカメラの動きとを区分する。また、カメラの動きの場合、揺れとパニング及びチルトを区分することができる。
【0049】
まず、制御部140は、角度ヒストグラムを分析し、次の規則1により物体の動き及びカメラの動きだけをまず検出する。
【0050】
[規則1]カメラの動きと物体の動きの区分規則
物体の動きは、映像内で局所的にオプティカルフローが発生する特徴を有するので、次の数3式を用いて物体の動きを検出する。
【0051】
【数3】
【0052】
ここで、Mvは、実際に発生したオプティカルフローの数を意味し、TMvは、オプティカルフローが発生し得る全体画素の数を意味する。オプティカルフローが発生した個数が全体の30%未満である場合は、物体の動きとして判断する。
【0053】
すなわち、制御部140は、前記数3式で、θ値が例えば臨界値0.3(30%)より小さい場合、カメラの動きは発生せず、物体の動きだけが発生したものと判断し、θ値が臨界値0.3(30%)より大きいか同じ場合には、物体の動きは発生せず、カメラの動きだけが発生したものと判断する。
【0054】
このように、前記数3式で、θ値が所定の臨界値より小さい場合、すなわち、実際にオプティカルフローが発生した数が全体画素の30%未満である場合、制御部140は、物体の動きだけが発生したものと判断し、動き客体を抽出するために、客体抽出部150にオプティカルフロー検出映像を提供する。
【0055】
客体抽出部150は、以前のフレームと現在のフレーム間のオプティカルフロー発生領域をX−Y軸に投影させ、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。このように、物体(客体)抽出過程は、図6Aから図6Dに示されている。
【0056】
図6Aから図6Dは、カメラの動きがなく、物体の動きだけが発生した場合、物体(客体)を抽出する過程を説明するための画面の一例を示す図である。物体抽出過程を簡単に要約すれば、図6Aから図6Dに示すように、まず、入力映像(以前のフレーム及び現在のフレーム)に対してオプティカルフローを検出し、検出したオプティカル検出領域をx−y軸に投影させた後、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。
【0057】
一方、制御部140で前記規則1の数3式の結果、θ値が所定の臨界値以上である場合、物体の動きが発生せず、カメラの動きだけが発生したものと判断する。
【0058】
しかし、カメラの動きの種類がパニング、チルト、揺れなどに区分されるので、これらもやはり区分されなければならない。
【0059】
したがって、カメラの動きの種類を区分するために、制御部140は、次のような所定の規則2を適用して区分する。
【0060】
[規則2]カメラの揺れ、パニング、チルトの区分規則
カメラの揺れの場合、図5Dに示すように、角度ヒストグラムが全体的なヒストグラムにおいて均一に現れるのに対して、カメラのパニング及びチルトの場合、図4Dに示すように、上下または左右方向のうち一方の方向にカメラが動くため、1つの角度でヒストグラムが顕著に現れる特徴を有する。
【0061】
したがって、制御部140は、このような特徴を用いて下記の数4式を適用させ、カメラの揺れ、パニング及びチルトを区分する。
【0062】
【数4】
【0063】
ここで、bは、角度ヒストグラムHにおいて累積個数が最も多い角度を意味し、θbは、累積個数が最も多い角度におけるヒストグラム累積個数を意味する。また、θvは、v角度におけるヒストグラム累積個数を意味する。また、Tは、カメラの動きを区分するための臨界値である。
【0064】
前記数4式は、パニング、チルトの場合、一方の方向にカメラが移動する特徴を有するので、角度ヒストグラムが特定の方向に多く現れるため、標準バラツキが小さく、反対に、カメラ揺れの場合、一方の方向でなくいろいろな方向に同時に現れる特徴を有するため、標準バラツキが相対的に大きい特徴を利用したものである。一般的に、数4式で、bの値が0〜1間、34〜35間に存在する場合、カメラのパニングが発生した場合であり、bの値が17〜19間、26〜27間に存在する場合、カメラのチルト現象が発生した場合である。
【0065】
一方、制御部140で、カメラの揺れ、パニング及びチルト現象が発生すると同時に、物体の動きが発生する場合もあり得る。
【0066】
したがって、制御部140では、次の規則3を適用してカメラの揺れ、パニングまたはチルトが発生すると同時に、物体の動きを検出することができる。
【0067】
[規則3]カメラの揺れ、パニングまたはチルト発生と物体の動きの同時発生
カメラのパニングやチルト動作が発生する途中に物体の動きが発生する場合、これを区分する必要がある。このために、図1に示された制御部140は、まず、前記規則1での数3式と前記規則2での数4式を用いてカメラのパニングまたはチルト現象が発生した場合、角度ヒストグラムHにおいて累積個数が最も多い角度bを除いた残りのヒストグラムに対してさらに規則1の数3式を適用させる。かくして、規則1の数3式の結果値が基準臨界値を超過する場合、パニング及びチルトと一緒に物体の動きが同時に発生したものと判断する。
【0068】
このように、物体の動きとカメラの動きを検出した後、物体の動きから物体だけを抽出して追跡する過程が必要である。
【0069】
物体の背景から物体を抽出するためには、まず、オプティカルフロー検出部120で検出したオプティカルフロー領域をX−Y軸に投影させ、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。この過程は、図6Aから図6Dに示されている。
【0070】
仮りに、カメラのパニングまたはチルトと物体の動きが同時に発生した場合、全てのオプティカルフローから、動きが最も多いb角度に該当するオプティカルフローを除去した残りのオプティカルフローだけを用いてX−Y投影方法で物体の領域を抽出する。
【0071】
前述のような本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置の動作に相当する本発明に係るカメラ/物体の動き区分及び客体抽出方法について、図7の流れ図を用いて段階的に説明する。
【0072】
図7は、本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法を示す動作流れ図である。
【0073】
図7に示すように、まず、カメラを通じて映像が入力されれば(S101)、入力される映像の現在のフレームのガウスノイズをガウスフィルタを用いて除去する(S102、S103)。
【0074】
また、以前のフレームの映像に対してもガウスフィルタを適用して、ノイズを除去する(S104、S105)。
【0075】
ノイズが除去された以前のフレームの映像と現在のフレームの映像間のオプティカルフローを図2に示すように抽出する(S106)。ここで、オプティカルフローは、モーションベクトルと類似した方法であるが、動きの方向を各画素毎に測定することができ、速度の観点から全域探索方法より速い検出速度を有するという長所がある。ここで、オプティカルフローを検出する方法として、本発明では、HornとSchunckが提案したオプティカルフロー検出方法を使用する。この方法は、一定の領域内のオプティカルフローは同一であると仮定し、隣接する8方向の各画素のオプティカルフロー拘束式を連立させ、拘束条件を満足させる最小値を最小自乗法で計算し、オプティカルフローを計算する方法である。
【0076】
以前のフレームの映像及び現在のフレームの映像に対してオプティカルフローが検出されれば、検出されたオプティカルフローのベクトル値に対して角度ヒストグラムを生成する(S107)。ここで、角度ヒストグラムの生成方法については、上記で具体的に説明したので、その説明は省略する。
【0077】
角度ヒストグラムが生成されれば、前記規則1の数3式を用いて物体の動き及びカメラの動きを区分する(S108)。
【0078】
すなわち、数3式のθ値と臨界値を比較し(S109)、θ値が所定の臨界値より小さい場合、すなわち、実際にオプティカルフローが発生した数が全体画素の30%未満である場合、物体の動きだけが発生したものと判断し、以前のフレームと現在のフレーム間のオプティカルフロー発生領域をX−Y軸に投影させ(S115)、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する(S116)。このように、物体(客体)抽出過程は、図6Aから図6Dに示されている。
【0079】
物体抽出過程を簡単に要約すれば、図6Aから図6Dに示すように、まず、入力映像(以前のフレーム及び現在のフレーム)に対してオプティカルフローを検出し、検出したオプティカルフロー検出領域をx−y軸に投影させた後、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。
【0080】
一方、前記S109段階で、前記規則1の数3式の結果、θ値が所定の臨界値以上である場合、物体の動きは発生せず、カメラの動きだけが発生したものと判断する。
【0081】
しかし、カメラの動きの種類がパニング、チルト、揺れなどに区分されるため、これらもやはり区分されなければならない。
【0082】
したがって、カメラの動きの種類を区分するために、前記規則2の数4式を適用して区分する(S110、S111)。
【0083】
すなわち、カメラの揺れの場合、図5Dに示すように、角度ヒストグラムが全体的なヒストグラムにおいて均一に現れるのに対して、カメラのパニング及びチルトの場合は、図4Dに示すように、上下または左右方向のうち一方の方向にカメラが動くため、1つの角度でヒストグラムが顕著に現れる特徴を有する。
【0084】
したがって、前記数4式を適用させて、カメラの揺れ、パニング及びチルトを区分する。
【0085】
前記数4式は、パニング、チルトの場合、一方の方向にカメラが移動する特徴を有するので、角度ヒストグラムが特定の方向に多く現れるため、標準バラツキが小さく、反対に、カメラ揺れの場合、一方の方向でなくいろいろな方向に同時に現れる特徴を有するので、標準バラツキが相対的に大きい特徴を利用したものである。一般的に、数4式で、bの値が0〜1間、34〜35間に存在する場合、カメラのパニングが発生した場合であり、bの値が17〜19間、26〜27間に存在する場合、カメラのチルト現象が発生した場合である。
【0086】
一方、カメラの揺れ、パニング及びチルト現象が発生すると同時に、物体の動きが発生する場合もあり得る。
【0087】
したがって、この場合、前記規則3を適用して、カメラの揺れ、パニングまたはチルトが発生すると同時に、物体の動きの発生を検出することができる(S112)。
【0088】
すなわち、カメラのパニングやチルト動作が発生する途中に物体の動きが発生する場合、これを区分する必要がある。このために、まず、前記規則1での数3式及び前記規則2での数4式を用いて、カメラのパニングまたはチルト現象が発生した場合、角度ヒストグラムHにおいて累積個数が最も多い角度bを除いた残りのヒストグラムに対してさらに前記規則1の数3式を適用させる。かくして、前記規則1の数3式の結果値が基準臨界値を超過する場合、パニング及びチルトと一緒に、物体の動きが同時に発生したものと判断する。
【0089】
このように物体の動きとカメラの動きを検出した後、物体の動きから物体だけを抽出して追跡する過程が必要である。
【0090】
物体の背景から物体を抽出するためには、まず、検出された以前のフレームと現在のフレーム間のオプティカルフロー領域をX−Y軸に投影させ、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。この過程は、図6Aから図6Dに示されている。
【0091】
仮りに、カメラのパニングまたはチルトと物体の動きが同時に発生した場合、全てのオプティカルフローから、動きが最も多いb角度に該当するオプティカルフローを除去した残りのオプティカルフローだけを用いてX−Y投影方法で物体の領域を抽出する(S113、S114、S115、S116)
【0092】
以上において説明した本発明は、本発明が属する技術の分野における通常の知識を有する者であれば、本発明の技術的思想を逸脱しない範囲内で、様々な置換、変形及び変更が可能であるので、上述した実施例及び添付された図面に限定されるものではない。
【図面の簡単な説明】
【0093】
【図1】本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置を示すブロック図である。
【図2A】以前のフレームの映像を示す図である。
【図2B】現在のフレームの映像を示す図である。
【図2C】以前のフレームと現在のフレーム間のオプティカルフローを検出した結果に対するフレームの映像を示す図である。
【図3A】以前のフレームの映像を示す図である。
【図3B】現在のフレームの映像を示す図である。
【図3C】カメラは固定されており、物体だけが動いた場合のオプティカルフロー分布を示す映像の図である。
【図3D】物体だけが動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。
【図4A】以前のフレームの映像を示す図である。
【図4B】現在のフレームの映像を示す図である。
【図4C】物体の動きはなく、カメラだけがパニングまたはチルト形態で動いた場合のオプティカルフロー分布を示す映像の図である。
【図4D】カメラがパニングまたはチルトで動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。
【図5A】以前のフレームの映像を示す図である。
【図5B】現在のフレームの映像を示す図である。
【図5C】物体の動きはなく、カメラの揺れが発生した場合のオプティカルフロー分布を示す映像の図である。
【図5D】カメラの揺れが発生した場合のオプティカルフローに対する角度ヒストグラムを示す図である。
【図6A】カメラの動きがなく、物体の動きだけが発生した場合、物体(客体)を抽出する過程を説明するための映像を示す図である。
【図6B】カメラの動きがなく、物体の動きだけが発生した場合、物体(客体)を抽出する過程を説明するための映像を示す図である。
【図6C】カメラの動きがなく、物体の動きだけが発生した場合、物体(客体)を抽出する過程を説明するための映像を示す図である。
【図6D】カメラの動きがなく、物体の動きだけが発生した場合、物体(客体)を抽出する過程を説明するための映像を示す図である。
【図7】本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法を示す動作流れ図である。
【符号の説明】
【0094】
100 映像入力部
110 ノイズ除去部
120 オプティカルフロー検出部
130 角度ヒストグラム生成部
140 制御部
150 客体抽出部
【技術分野】
【0001】
本発明は、ビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法に関し、特に、物体の動きを感知し侵入者発生有無を判断する無人ビデオ監視システムにおいて、物体の動きの発生による侵入者発生と、カメラの動きや揺れなどによる誤った侵入者感知発生とを区分し、物体の動きによる侵入者発生であると判断される場合、該当物体を抽出するビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法に関する。
【背景技術】
【0002】
従来のビデオ監視システムでは、物体の動きを感知するために、2つのフレーム間の差分信号を利用する方法と、動きベクトルを利用する方法とに分けられることができる。
【0003】
差分映像信号を利用する方法は、以前のフレームと現在入力されたフレームにおいて対応する座標点の画素値を減算する方法であって、2つのフレーム間に若干の動きでも発生した場合、該当画素は、0以外の値を有する原理を利用する。
【0004】
このような画素が所定の基準値以上となる場合、物体の出現などによる画素値の変化として認識し、侵入者が発生したと判断する方法である。
【0005】
そして、動きベクトルを利用する方法は、全域探索(Full Search)のような方法で現在のフレームと以前のフレーム間の動きベクトルを検出し、動きベクトルの検出された量が所定の基準値以上である場合、侵入者発生として判断する方法である。
【0006】
前述のような差分映像信号を利用する方法は、演算方法が単純なので、早い時間内に動き検出可否を判断することができるという長所があるが、照明変化及びノイズに敏感であるという短所がある。また、カメラが停止しており、動きが発生しないと、全ての画素の差異値は、0となるが、カメラが移動したり揺れる場合、画素値の変化が大きくなり、実際の物体の動きとカメラの動きや揺れによる物体の動きとを区分しないという問題点がある。
【0007】
一方、前述のような動きベクトルを利用する方法は、相対的に前述の差分映像信号を利用した方法に比べて、照明変化やノイズにあまり敏感でなく、動きが発生した物体の動き方向を知ることができるという長所はあるが、この方法もやはり、物体の動きとカメラの動きによる動きベクトル発生の差異点を区分しないという問題点がある。
【0008】
また、前記方法の他に、入力される映像信号を用いて移動物体を追跡する代表的な方法は、コリレイション(Correlation: Block Matching Algorithm)を利用した方法、ディスターバンスマップ(Disturbance Map)を利用する方法、カラー分布を利用する方法及びオプティカルフロー(Optical Flow)を利用する方法などが挙げられる。
【0009】
このような方法を複合的に適用して商用化に取り組んだ多重移動物体追跡監視システムが特許文献1に開示されている。
【0010】
特許文献1に開示された技術もやはり、カメラが停止した状態では物体の抽出性能に優れているが、カメラが動く場合には、映像補正が必ず要求され、このため、カメラ補正アルゴリズムを利用しているが、これは、その分、システムにおいて処理すべきデータ量が増加するようになり、処理速度に負担となり、また、正確な映像補正がなされないという問題点を有する。
【0011】
また、特許文献1に開示された技術に利用されるブロック整合アルゴリズムは、物体が移動しながら、大きさ、形状、明るさなどが変わる場合、その追跡性能が低下し、ブロックの大きさが大きくなるほど、処理速度が低下する問題点と、追跡誤差がフレーム毎に蓄積され、結局は、動く物体がブロック整合する基準ブロックから外れる問題点が発生する。
【特許文献1】大韓民国特許出願公開第2000−22818号明細書
【発明の開示】
【発明が解決しようとする課題】
【0012】
したがって、本発明は、前述のような問題点を解決するためになされたもので、本発明の目的は、物体の動きを感知し侵入者発生有無を判断する無人ビデオ監視システムにおいて、物体の動きの発生による侵入者発生と、カメラの動きや揺れなどによる誤った侵入者感知発生とを区分し、物体の動きによる侵入者発生であると判断される場合、該当物体を抽出するビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法を提供することにある。
【課題を解決するための手段】
【0013】
前記目的を達成するために、本発明の一態様に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置は、現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出するオプティカルフロー抽出部と、前記オプティカルフロー抽出部で抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する角度ヒストグラム生成部と、前記角度ヒストグラム生成部で生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する制御部とを備えることを特徴とする。
【0014】
前記現在の入力映像フレーム及び以前の映像フレームの各々に含まれたノイズを除去した後、ノイズが除去された現在のフレーム及び以前のフレームを前記オプティカルフロー抽出部に提供するノイズ除去部をさらに備え、ノイズ除去部は、ガウスノイズを除去するガウスフィルタを備える。
【0015】
前記角度ヒストグラム生成部は、前記オプティカルフロー抽出部で抽出したオプティカルフローに対するベクトル値を角度値に変化させた後、オプティカルフローベクトル値に対するヒストグラムを生成する。
【0016】
前記角度ヒストグラムは、ラジアン値(−π〜+π)を角度値(0〜360)に変化させ、変化した角度値を0〜35の値に正規化させた後、角度ヒストグラムを生成する。
【0017】
前記制御部は、カメラの動き及び物体の動きが同時に発生した場合、以前のフレームと現在のフレーム間における全てのオプティカルフローから、動きが最も多い角度に該当するオプティカルフローを除去した後、残りの角度のオプティカルフローに対してX−Y投影法を用いて動き物体を抽出する。
【0018】
また、本発明の他の態様に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法は、現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出する段階と、前記抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する段階と、前記生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する段階とを備えることを特徴とする。
【発明の効果】
【0019】
本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法は、物体の動きを感知し侵入者発生有無を判断する無人ビデオ監視システムにおいて、物体の動きの発生による侵入者発生と、カメラの動きや揺れなどによる誤った侵入者感知発生とを区分し、物体の動きによる侵入者発生であると判断される場合、該当物体を抽出する。本発明によれば、入力動映像からオプティカルフロー(Optical Flow)を求めた後、これを角度値に変形して分類し、この角度値が一定の臨界値を超過する場合、物体の動きであると判断し、角度値が一定の臨界値を超過しなくなる場合、カメラの動きや揺れであると判断する。ここで、物体の動きであると判断される場合、物体のオプティカルフローに対するX−Y投影を用いて動きが発生した部分だけを抽出する作業を進行することによって、客体を分割し、これを連続したフレームにおいて追跡し、物体の移動経路を追跡する。
【0020】
また、本発明は、URC(Ubiquitous Robot Companion)においてロボットの無人監視システムに適用され、侵入者の検出に使われることができる。現在の動き感知方法は、カメラが固定されており、動かないという条件下で、単純に差分映像だけを利用する方法を使用している。しかし、ロボットの場合、継続的に動きながら監視地点を移動しなければならないので、ロボットの動きによるカメラ画素値の変動と実際の物体の動きによる画素値の変動とを区分しなければならない。従って、本発明をURC監視システムに適用する場合、実際に物体の動きが発生した場合を区分し、該当物体だけを検出して追跡するのに適用されることができる。
【発明を実施するための最良の形態】
【0021】
以下、添付の図面を参照して、本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置並びにその方法について詳細に説明する。
【0022】
図1は、本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置を示すブロック図である。
【0023】
図1に示すように、ビデオ監視システムは、映像入力部100、ノイズ除去部110、オプティカルフロー検出部120、角度ヒストグラム生成部130、制御部140及び客体抽出部150を含むことができる。
【0024】
映像入力部100は、パニング/チルト可能なカメラで、撮影した現在の映像に対する映像フレームをノイズ除去部110に提供する。
【0025】
ノイズ除去部110は、映像入力部100から入力される現在の映像フレーム及び以前の映像フレームに対して各々ノイズを除去する。ここで、ノイズ除去フィルタとして、ガウスノイズを低域フィルタリングするガウスフィルタ(Gaussian Filter)を利用することができる。
【0026】
オプティカルフロー検出部120は、ノイズ除去部110で各々ガウスノイズが除去された以前のフレームと現在のフレーム間のオプティカルフローを検出する。ここで、オプティカルフローとは、明度類型(brightness pattern)を徐々に変化させることによって発生する映像における明白な動きの速度分布を示すもので、以前のフレームと現在のフレーム間の動きベクトル値で表現することができる。
【0027】
角度ヒストグラム生成部130は、オプティカルフロー検出部120で検出された各オプティカルフローに対するオプティカルフローのベクトル値を角度(Degree)値に変化させ、角度ヒストグラムを生成した後、生成した角度ヒストグラムの角度0〜360度の値を0〜36の値に正規化させる。
【0028】
制御部140は、角度ヒストグラム生成部130で生成した角度ヒストグラムを用いて映像の画素値の変化が物体の動きにより発生したか、それとも、カメラの動き(パニング、チルト、揺れ)により発生したかを、所定の規則により判別する。ここで、所定の規則によって物体の動きまたはカメラの動きを判別する方法については後述する。
【0029】
客体抽出部150は、制御部140で映像に対する画素値の変化が物体の動きにより発生したものと判断された場合、前記オプティカルフロー検出部130で検出したオプティカルフローに対するベクトル値をX−Y方向に投影させ、物体(客体)だけを背景映像から抽出する。
【0030】
以下、このような構成を有する本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置の動作について説明する。
【0031】
まず、ノイズ除去部110は、映像入力部100から入力される現在の映像フレームと以前の映像フレームに対して各々ガウスフィルタを用いてフレームに付加されたガウスノイズを除去した後、ノイズが除去された現在のフレーム及び以前のフレームをオプティカルフロー検出部120に提供する。
【0032】
オプティカルフロー検出部120は、ノイズ除去部110から提供されるノイズが除去された以前のフレームと現在のフレーム間のオプティカルフローを検出する。
【0033】
オプティカルフローは、モーションベクトル(Motion Vector)と類似した方法であるが、動きの方向を各画素毎に測定することができ、速度の観点から全域探索(Full Search)方法より速い検出速度を有するという長所がある。ここで、オプティカルフローを検出する方法として、本発明では、HornとSchunckが提案したオプティカルフロー検出方法を使用する。
【0034】
この方法は、一定の領域内のオプティカルフローは同一であると仮定し、隣接する8方向の各画素のオプティカルフロー拘束式を連立させ、拘束条件を満足させる最小値を最小自乗法で計算し、オプティカルフローを計算する方法である。このような方法により求められたオプティカルフローの結果は、図2に示されている。すなわち、図2Aは、以前のフレームの映像であり、図2Bは、現在のフレームの映像であり、図2Cは、図2A及び図2Bのような以前のフレームと現在のフレーム間のオプティカルフローを検出した結果に対するフレームの映像を示す図である。ここで、図2Cでのオプティカルフローは、図2A及び図2Bのフレームの映像において顔部分の動きの変化によってオプティカルフローの変化が顔部分に現れることが分かる。
【0035】
このような方法により、以前のフレームと現在のフレーム間のオプティカルフローが検出されれば、検出されたオプティカルフローに対するベクトル値を角度ヒストグラム生成部130に提供する。
【0036】
角度ヒストグラム生成部130は、オプティカルフロー検出部120で検出したオプティカルフローに対する動きベクトル値をラジアン(Radian)角度の値に変化させる。
【0037】
ラジアン値を推定するために、X軸移動量dxとY軸移動量dyをradian=atan2(dx、dy)関数に適用させる場合、この値は、(−π〜+π)値を有するが、これを下記の数1式により角度値に変形し、その結果、角度値Dが負数となる場合、次の数2式を用いてさらに計算する。
【0038】
【数1】
【0039】
【数2】
【0040】
この場合、全てのオプティカルフローに対するベクトル値は、0〜360度の間の値に変形されるが、分析を容易にするために、0〜360度の値を0〜35の値に正規化させる。
【0041】
例えば、0〜9度間の値は、0に変形させ、10〜19度間の値は、1に変形させる。
【0042】
このようにオプティカルフローのベクトル値を角度値に変形させた結果は、図3D、図4D、図5Dから確認することができる。
【0043】
ここで、図3Aは、以前のフレームの映像、図3Bは、現在のフレームの映像、図3Cは、カメラは固定されており、物体だけが動いた場合のオプティカルフロー分布を示す映像、図3Dは、物体だけが動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。図4Aは、以前のフレームの映像、図4Bは、現在のフレームの映像、図4Cは、物体の動きはなく、カメラだけがパニングまたはチルト形態で動いた場合のオプティカルフロー分布を示す映像、図4Dは、カメラがパニングまたはチルトで動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。
【0044】
また、図5Aは、以前のフレームの映像、図5Bは、現在のフレームの映像、図5Cは、物体の動きはなく、カメラの揺れが発生した場合のオプティカルフロー分布を示す映像、図5Dは、カメラの揺れが発生した場合のオプティカルフローに対する角度ヒストグラムを示す図である。
【0045】
図3Cに示すように、カメラの動きは発生せず、物体の動きだけが発生した場合、オプティカルフローは、映像の一定部分にのみ局所的に発生する。反対に、図4C及び図5Cに示すように、カメラの揺れやカメラの動き(パニング、チルト)に起因して発生するオプティカルフローの場合、カメラが動くことによって、全体映像に発生することが分かる。
【0046】
カメラの動きのうちパニング(panning)は、固定された1台のカメラが水平に視点(view point)を移動させることを言い、チルト(tilt)は、垂直に移動させる場合を意味する。カメラのパニングやチルトの場合、図4Dのように、角度ヒストグラムが水平または垂直のように一方の角度で大きく発生するが、カメラの揺れの場合、図5Dに示すように、全体的な角度において均一に現れる特徴を有する。このような特徴を用いて、物体の動き、カメラの動き(パニング、チルト、揺れ)を判断することができる。
【0047】
図1に示すように、制御部10は、上記のように角度ヒストグラム生成部130で生成した角度ヒストグラムを分析することによって、物体の動き、カメラの動きなどを判断する。
【0048】
すなわち、制御部140は、角度ヒストグラム生成部130で角度ヒストグラムが求められると、物体の動きとカメラの動き間の特性を用いて次のような規則を生成し、これを用いて物体の動きとカメラの動きとを区分する。また、カメラの動きの場合、揺れとパニング及びチルトを区分することができる。
【0049】
まず、制御部140は、角度ヒストグラムを分析し、次の規則1により物体の動き及びカメラの動きだけをまず検出する。
【0050】
[規則1]カメラの動きと物体の動きの区分規則
物体の動きは、映像内で局所的にオプティカルフローが発生する特徴を有するので、次の数3式を用いて物体の動きを検出する。
【0051】
【数3】
【0052】
ここで、Mvは、実際に発生したオプティカルフローの数を意味し、TMvは、オプティカルフローが発生し得る全体画素の数を意味する。オプティカルフローが発生した個数が全体の30%未満である場合は、物体の動きとして判断する。
【0053】
すなわち、制御部140は、前記数3式で、θ値が例えば臨界値0.3(30%)より小さい場合、カメラの動きは発生せず、物体の動きだけが発生したものと判断し、θ値が臨界値0.3(30%)より大きいか同じ場合には、物体の動きは発生せず、カメラの動きだけが発生したものと判断する。
【0054】
このように、前記数3式で、θ値が所定の臨界値より小さい場合、すなわち、実際にオプティカルフローが発生した数が全体画素の30%未満である場合、制御部140は、物体の動きだけが発生したものと判断し、動き客体を抽出するために、客体抽出部150にオプティカルフロー検出映像を提供する。
【0055】
客体抽出部150は、以前のフレームと現在のフレーム間のオプティカルフロー発生領域をX−Y軸に投影させ、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。このように、物体(客体)抽出過程は、図6Aから図6Dに示されている。
【0056】
図6Aから図6Dは、カメラの動きがなく、物体の動きだけが発生した場合、物体(客体)を抽出する過程を説明するための画面の一例を示す図である。物体抽出過程を簡単に要約すれば、図6Aから図6Dに示すように、まず、入力映像(以前のフレーム及び現在のフレーム)に対してオプティカルフローを検出し、検出したオプティカル検出領域をx−y軸に投影させた後、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。
【0057】
一方、制御部140で前記規則1の数3式の結果、θ値が所定の臨界値以上である場合、物体の動きが発生せず、カメラの動きだけが発生したものと判断する。
【0058】
しかし、カメラの動きの種類がパニング、チルト、揺れなどに区分されるので、これらもやはり区分されなければならない。
【0059】
したがって、カメラの動きの種類を区分するために、制御部140は、次のような所定の規則2を適用して区分する。
【0060】
[規則2]カメラの揺れ、パニング、チルトの区分規則
カメラの揺れの場合、図5Dに示すように、角度ヒストグラムが全体的なヒストグラムにおいて均一に現れるのに対して、カメラのパニング及びチルトの場合、図4Dに示すように、上下または左右方向のうち一方の方向にカメラが動くため、1つの角度でヒストグラムが顕著に現れる特徴を有する。
【0061】
したがって、制御部140は、このような特徴を用いて下記の数4式を適用させ、カメラの揺れ、パニング及びチルトを区分する。
【0062】
【数4】
【0063】
ここで、bは、角度ヒストグラムHにおいて累積個数が最も多い角度を意味し、θbは、累積個数が最も多い角度におけるヒストグラム累積個数を意味する。また、θvは、v角度におけるヒストグラム累積個数を意味する。また、Tは、カメラの動きを区分するための臨界値である。
【0064】
前記数4式は、パニング、チルトの場合、一方の方向にカメラが移動する特徴を有するので、角度ヒストグラムが特定の方向に多く現れるため、標準バラツキが小さく、反対に、カメラ揺れの場合、一方の方向でなくいろいろな方向に同時に現れる特徴を有するため、標準バラツキが相対的に大きい特徴を利用したものである。一般的に、数4式で、bの値が0〜1間、34〜35間に存在する場合、カメラのパニングが発生した場合であり、bの値が17〜19間、26〜27間に存在する場合、カメラのチルト現象が発生した場合である。
【0065】
一方、制御部140で、カメラの揺れ、パニング及びチルト現象が発生すると同時に、物体の動きが発生する場合もあり得る。
【0066】
したがって、制御部140では、次の規則3を適用してカメラの揺れ、パニングまたはチルトが発生すると同時に、物体の動きを検出することができる。
【0067】
[規則3]カメラの揺れ、パニングまたはチルト発生と物体の動きの同時発生
カメラのパニングやチルト動作が発生する途中に物体の動きが発生する場合、これを区分する必要がある。このために、図1に示された制御部140は、まず、前記規則1での数3式と前記規則2での数4式を用いてカメラのパニングまたはチルト現象が発生した場合、角度ヒストグラムHにおいて累積個数が最も多い角度bを除いた残りのヒストグラムに対してさらに規則1の数3式を適用させる。かくして、規則1の数3式の結果値が基準臨界値を超過する場合、パニング及びチルトと一緒に物体の動きが同時に発生したものと判断する。
【0068】
このように、物体の動きとカメラの動きを検出した後、物体の動きから物体だけを抽出して追跡する過程が必要である。
【0069】
物体の背景から物体を抽出するためには、まず、オプティカルフロー検出部120で検出したオプティカルフロー領域をX−Y軸に投影させ、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。この過程は、図6Aから図6Dに示されている。
【0070】
仮りに、カメラのパニングまたはチルトと物体の動きが同時に発生した場合、全てのオプティカルフローから、動きが最も多いb角度に該当するオプティカルフローを除去した残りのオプティカルフローだけを用いてX−Y投影方法で物体の領域を抽出する。
【0071】
前述のような本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置の動作に相当する本発明に係るカメラ/物体の動き区分及び客体抽出方法について、図7の流れ図を用いて段階的に説明する。
【0072】
図7は、本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法を示す動作流れ図である。
【0073】
図7に示すように、まず、カメラを通じて映像が入力されれば(S101)、入力される映像の現在のフレームのガウスノイズをガウスフィルタを用いて除去する(S102、S103)。
【0074】
また、以前のフレームの映像に対してもガウスフィルタを適用して、ノイズを除去する(S104、S105)。
【0075】
ノイズが除去された以前のフレームの映像と現在のフレームの映像間のオプティカルフローを図2に示すように抽出する(S106)。ここで、オプティカルフローは、モーションベクトルと類似した方法であるが、動きの方向を各画素毎に測定することができ、速度の観点から全域探索方法より速い検出速度を有するという長所がある。ここで、オプティカルフローを検出する方法として、本発明では、HornとSchunckが提案したオプティカルフロー検出方法を使用する。この方法は、一定の領域内のオプティカルフローは同一であると仮定し、隣接する8方向の各画素のオプティカルフロー拘束式を連立させ、拘束条件を満足させる最小値を最小自乗法で計算し、オプティカルフローを計算する方法である。
【0076】
以前のフレームの映像及び現在のフレームの映像に対してオプティカルフローが検出されれば、検出されたオプティカルフローのベクトル値に対して角度ヒストグラムを生成する(S107)。ここで、角度ヒストグラムの生成方法については、上記で具体的に説明したので、その説明は省略する。
【0077】
角度ヒストグラムが生成されれば、前記規則1の数3式を用いて物体の動き及びカメラの動きを区分する(S108)。
【0078】
すなわち、数3式のθ値と臨界値を比較し(S109)、θ値が所定の臨界値より小さい場合、すなわち、実際にオプティカルフローが発生した数が全体画素の30%未満である場合、物体の動きだけが発生したものと判断し、以前のフレームと現在のフレーム間のオプティカルフロー発生領域をX−Y軸に投影させ(S115)、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する(S116)。このように、物体(客体)抽出過程は、図6Aから図6Dに示されている。
【0079】
物体抽出過程を簡単に要約すれば、図6Aから図6Dに示すように、まず、入力映像(以前のフレーム及び現在のフレーム)に対してオプティカルフローを検出し、検出したオプティカルフロー検出領域をx−y軸に投影させた後、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。
【0080】
一方、前記S109段階で、前記規則1の数3式の結果、θ値が所定の臨界値以上である場合、物体の動きは発生せず、カメラの動きだけが発生したものと判断する。
【0081】
しかし、カメラの動きの種類がパニング、チルト、揺れなどに区分されるため、これらもやはり区分されなければならない。
【0082】
したがって、カメラの動きの種類を区分するために、前記規則2の数4式を適用して区分する(S110、S111)。
【0083】
すなわち、カメラの揺れの場合、図5Dに示すように、角度ヒストグラムが全体的なヒストグラムにおいて均一に現れるのに対して、カメラのパニング及びチルトの場合は、図4Dに示すように、上下または左右方向のうち一方の方向にカメラが動くため、1つの角度でヒストグラムが顕著に現れる特徴を有する。
【0084】
したがって、前記数4式を適用させて、カメラの揺れ、パニング及びチルトを区分する。
【0085】
前記数4式は、パニング、チルトの場合、一方の方向にカメラが移動する特徴を有するので、角度ヒストグラムが特定の方向に多く現れるため、標準バラツキが小さく、反対に、カメラ揺れの場合、一方の方向でなくいろいろな方向に同時に現れる特徴を有するので、標準バラツキが相対的に大きい特徴を利用したものである。一般的に、数4式で、bの値が0〜1間、34〜35間に存在する場合、カメラのパニングが発生した場合であり、bの値が17〜19間、26〜27間に存在する場合、カメラのチルト現象が発生した場合である。
【0086】
一方、カメラの揺れ、パニング及びチルト現象が発生すると同時に、物体の動きが発生する場合もあり得る。
【0087】
したがって、この場合、前記規則3を適用して、カメラの揺れ、パニングまたはチルトが発生すると同時に、物体の動きの発生を検出することができる(S112)。
【0088】
すなわち、カメラのパニングやチルト動作が発生する途中に物体の動きが発生する場合、これを区分する必要がある。このために、まず、前記規則1での数3式及び前記規則2での数4式を用いて、カメラのパニングまたはチルト現象が発生した場合、角度ヒストグラムHにおいて累積個数が最も多い角度bを除いた残りのヒストグラムに対してさらに前記規則1の数3式を適用させる。かくして、前記規則1の数3式の結果値が基準臨界値を超過する場合、パニング及びチルトと一緒に、物体の動きが同時に発生したものと判断する。
【0089】
このように物体の動きとカメラの動きを検出した後、物体の動きから物体だけを抽出して追跡する過程が必要である。
【0090】
物体の背景から物体を抽出するためには、まず、検出された以前のフレームと現在のフレーム間のオプティカルフロー領域をX−Y軸に投影させ、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。この過程は、図6Aから図6Dに示されている。
【0091】
仮りに、カメラのパニングまたはチルトと物体の動きが同時に発生した場合、全てのオプティカルフローから、動きが最も多いb角度に該当するオプティカルフローを除去した残りのオプティカルフローだけを用いてX−Y投影方法で物体の領域を抽出する(S113、S114、S115、S116)
【0092】
以上において説明した本発明は、本発明が属する技術の分野における通常の知識を有する者であれば、本発明の技術的思想を逸脱しない範囲内で、様々な置換、変形及び変更が可能であるので、上述した実施例及び添付された図面に限定されるものではない。
【図面の簡単な説明】
【0093】
【図1】本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置を示すブロック図である。
【図2A】以前のフレームの映像を示す図である。
【図2B】現在のフレームの映像を示す図である。
【図2C】以前のフレームと現在のフレーム間のオプティカルフローを検出した結果に対するフレームの映像を示す図である。
【図3A】以前のフレームの映像を示す図である。
【図3B】現在のフレームの映像を示す図である。
【図3C】カメラは固定されており、物体だけが動いた場合のオプティカルフロー分布を示す映像の図である。
【図3D】物体だけが動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。
【図4A】以前のフレームの映像を示す図である。
【図4B】現在のフレームの映像を示す図である。
【図4C】物体の動きはなく、カメラだけがパニングまたはチルト形態で動いた場合のオプティカルフロー分布を示す映像の図である。
【図4D】カメラがパニングまたはチルトで動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。
【図5A】以前のフレームの映像を示す図である。
【図5B】現在のフレームの映像を示す図である。
【図5C】物体の動きはなく、カメラの揺れが発生した場合のオプティカルフロー分布を示す映像の図である。
【図5D】カメラの揺れが発生した場合のオプティカルフローに対する角度ヒストグラムを示す図である。
【図6A】カメラの動きがなく、物体の動きだけが発生した場合、物体(客体)を抽出する過程を説明するための映像を示す図である。
【図6B】カメラの動きがなく、物体の動きだけが発生した場合、物体(客体)を抽出する過程を説明するための映像を示す図である。
【図6C】カメラの動きがなく、物体の動きだけが発生した場合、物体(客体)を抽出する過程を説明するための映像を示す図である。
【図6D】カメラの動きがなく、物体の動きだけが発生した場合、物体(客体)を抽出する過程を説明するための映像を示す図である。
【図7】本発明に係るビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法を示す動作流れ図である。
【符号の説明】
【0094】
100 映像入力部
110 ノイズ除去部
120 オプティカルフロー検出部
130 角度ヒストグラム生成部
140 制御部
150 客体抽出部
【特許請求の範囲】
【請求項1】
ビデオ監視システムにおいて、
現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出するオプティカルフロー抽出部と、
前記オプティカルフロー抽出部で抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する角度ヒストグラム生成部と、
前記角度ヒストグラム生成部で生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する制御部とを備えることを特徴とするビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項2】
前記現在の入力映像フレームと以前の映像フレームの各々に含まれたノイズを除去した後、ノイズが除去された現在のフレーム及び以前のフレームを前記オプティカルフロー抽出部に提供するノイズ除去部をさらに備えることを特徴とする請求項1に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項3】
前記ノイズ除去部は、ガウスノイズを除去するガウスフィルタを備えることを特徴とする請求項2に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項4】
前記角度ヒストグラム生成部は、
前記オプティカルフロー抽出部で抽出したオプティカルフローに対するベクトル値を角度値に変化させた後、オプティカルフローベクトル値に対するヒストグラムを生成することを特徴とする請求項1に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項5】
前記角度ヒストグラムは、
ラジアン値(−π〜+π)を角度値(0〜360)に変化させ、変化した角度値を0〜35の値に正規化させた後、角度ヒストグラムを生成することを特徴とする請求項4に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項6】
前記制御部は、下記の数1式の結果値が所定の臨界値より小さい場合、物体の動きとして判断し、下記の数1式の結果値が臨界値以上である場合、物体の動きは発生せず、カメラの動きだけが発生したものと判断することを特徴とする請求項1に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【数1】
ここで、Mvは、実際に発生したオプティカルフローの数を意味し、TMvは、オプティカルフローが発生し得る全体画素の数を意味する。
【請求項7】
前記臨界値は、実際にオプティカルフローが発生した数であり、略全体画素の30%(0.3)に相当することを特徴とする請求項6に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項8】
前記制御部は、
カメラの動きがなく物体の動きだけが発生したものと判断された場合、前記オプティカルフロー検出部で検出したオプティカルフローに対してX−Y投影を用いて動き物体を抽出する客体抽出部を備えることを特徴とする請求項6に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項9】
前記制御部は、
下記の数2式を用いてカメラの動きの種類(揺れ、パニング、チルト)を区分して判断することを特徴とする請求項1に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【数2】
ここで、bは、角度ヒストグラムHにおいて累積個数が最も多い角度を意味し、θbは、累積個数が最も多い角度におけるヒストグラム累積個数を意味する。また、θvは、v角度におけるヒストグラム累積個数を意味する。また、Tは、カメラの動きを区分するための臨界値である。
【請求項10】
前記制御部は、
前記数2式のbの値が0〜1間、34〜35間に存在する場合、カメラのパニングが発生した場合と判断し、bの値が17〜19間、26〜27間に存在する場合、カメラのチルト現象が発生した場合と判断することを特徴とする請求項9に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項11】
前記制御部は、
前記数2式を用いてカメラの動きの種類を判断した後、生成された角度ヒストグラムHにおいて累積個数が最も多い角度bを除いた残りの角度ヒストグラム値θが前記数1式の臨界値(0.3)以上である場合、カメラの動きが発生すると同時に、物体の動きが発生した場合と判断することを特徴とする請求項6又は請求項9に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項12】
前記制御部は、
カメラの動き及び物体の動きが同時に発生した場合、以前のフレームと現在のフレーム間における全てのオプティカルフローから、動きが最も多い角度に該当するオプティカルフローを除去した後、残りの角度のオプティカルフローに対してX−Y投影法を用いて動き物体を抽出することを特徴とする請求項11に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項13】
監視システムにおけるカメラ/物体の動き区分及び客体抽出方法において、
現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出する段階と、
前記抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する段階と、
前記生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する段階とを備えることを特徴とするビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項14】
前記オプティカルフローに対する動きベクトル値を抽出する段階は、現在の入力映像フレーム及び以前の映像フレームの各々に含まれたノイズを除去した後、ノイズが除去された現在のフレームと以前のフレーム間のオプティカルフローを抽出する段階を備えることを特徴とする請求項13に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項15】
前記ノイズ除去は、ガウスフィルタを利用することを特徴とする請求項14に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項16】
前記角度ヒストグラムを生成する段階は、
前記抽出したオプティカルフローに対するベクトル値を角度値に変化させた後、オプティカルフローベクトル値に対するヒストグラムを生成することを特徴とする請求項13に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項17】
前記角度ヒストグラムは、
ラジアン値(−π〜+π)を角度値(0〜360)に変化させ、変化した角度値を0〜35の値に正規化させた後、角度ヒストグラムを生成することを特徴とする請求項16に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項18】
前記客体を抽出する段階は、
下記の数3式の結果値が所定の臨界値より小さい場合、物体の動きとして判断し、下記の数3式の結果値が臨界値以上である場合、物体の動きは発生せず、カメラの動きだけが発生したものと判断することを特徴とする請求項13に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【数3】
ここで、Mvは、実際に発生したオプティカルフローの数を意味し、TMvは、オプティカルフローが発生し得る全体画素の数を意味する。
【請求項19】
前記臨界値は、実際にオプティカルフローが発生した数であり、略全体画素の30%(0.3)に相当することを特徴とする請求項18に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項20】
前記客体を抽出する段階は、
カメラの動きがなく物体の動きだけが発生したものと判断された場合、前記検出されたオプティカルフローに対してX−Y投影を用いて動き物体を抽出することを特徴とする請求項13に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項21】
前記客体を抽出する段階は、
下記の数4式を用いてカメラの動きの種類(揺れ、パニング、チルト)を区分して判断することを特徴とする請求項13に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【数4】
ここで、bは、角度ヒストグラムHにおいて累積個数が最も多い角度を意味し、θbは、累積個数が最も多い角度におけるヒストグラム累積個数を意味する。また、θvは、v角度におけるヒストグラム累積個数を意味する。また、Tは、カメラの動きを区分するための臨界値である。
【請求項22】
前記客体を抽出する段階は、
前記数4式のb値が0〜1間、34〜35間に存在する場合、カメラのパニングが発生した場合と判断し、bの値が17〜19間、26〜27間に存在する場合、カメラのチルト現象が発生した場合と判断することを特徴とする請求項21に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項23】
前記客体を抽出する段階は、
前記数4式を用いてカメラの動きの種類を判断した後、生成された角度ヒストグラムHにおいて累積個数が最も多い角度bを除いた角度ヒストグラム値θが前記数3式の臨界値(0.3)以上である場合、カメラの動きが発生すると同時に、物体の動きが発生した場合と判断することを特徴とする請求項18又は請求項21に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項24】
前記客体を抽出する段階は、
カメラの動き及び物体の動きが同時に発生した場合、以前のフレームと現在のフレーム間における全てのオプティカルフローから、動きが最も多い角度に該当するオプティカルフローを除去した後、残りの角度のオプティカルフローに対してX−Y投影法を用いて動き物体を抽出することを特徴とする請求項23に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項1】
ビデオ監視システムにおいて、
現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出するオプティカルフロー抽出部と、
前記オプティカルフロー抽出部で抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する角度ヒストグラム生成部と、
前記角度ヒストグラム生成部で生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する制御部とを備えることを特徴とするビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項2】
前記現在の入力映像フレームと以前の映像フレームの各々に含まれたノイズを除去した後、ノイズが除去された現在のフレーム及び以前のフレームを前記オプティカルフロー抽出部に提供するノイズ除去部をさらに備えることを特徴とする請求項1に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項3】
前記ノイズ除去部は、ガウスノイズを除去するガウスフィルタを備えることを特徴とする請求項2に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項4】
前記角度ヒストグラム生成部は、
前記オプティカルフロー抽出部で抽出したオプティカルフローに対するベクトル値を角度値に変化させた後、オプティカルフローベクトル値に対するヒストグラムを生成することを特徴とする請求項1に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項5】
前記角度ヒストグラムは、
ラジアン値(−π〜+π)を角度値(0〜360)に変化させ、変化した角度値を0〜35の値に正規化させた後、角度ヒストグラムを生成することを特徴とする請求項4に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項6】
前記制御部は、下記の数1式の結果値が所定の臨界値より小さい場合、物体の動きとして判断し、下記の数1式の結果値が臨界値以上である場合、物体の動きは発生せず、カメラの動きだけが発生したものと判断することを特徴とする請求項1に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【数1】
ここで、Mvは、実際に発生したオプティカルフローの数を意味し、TMvは、オプティカルフローが発生し得る全体画素の数を意味する。
【請求項7】
前記臨界値は、実際にオプティカルフローが発生した数であり、略全体画素の30%(0.3)に相当することを特徴とする請求項6に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項8】
前記制御部は、
カメラの動きがなく物体の動きだけが発生したものと判断された場合、前記オプティカルフロー検出部で検出したオプティカルフローに対してX−Y投影を用いて動き物体を抽出する客体抽出部を備えることを特徴とする請求項6に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項9】
前記制御部は、
下記の数2式を用いてカメラの動きの種類(揺れ、パニング、チルト)を区分して判断することを特徴とする請求項1に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【数2】
ここで、bは、角度ヒストグラムHにおいて累積個数が最も多い角度を意味し、θbは、累積個数が最も多い角度におけるヒストグラム累積個数を意味する。また、θvは、v角度におけるヒストグラム累積個数を意味する。また、Tは、カメラの動きを区分するための臨界値である。
【請求項10】
前記制御部は、
前記数2式のbの値が0〜1間、34〜35間に存在する場合、カメラのパニングが発生した場合と判断し、bの値が17〜19間、26〜27間に存在する場合、カメラのチルト現象が発生した場合と判断することを特徴とする請求項9に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項11】
前記制御部は、
前記数2式を用いてカメラの動きの種類を判断した後、生成された角度ヒストグラムHにおいて累積個数が最も多い角度bを除いた残りの角度ヒストグラム値θが前記数1式の臨界値(0.3)以上である場合、カメラの動きが発生すると同時に、物体の動きが発生した場合と判断することを特徴とする請求項6又は請求項9に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項12】
前記制御部は、
カメラの動き及び物体の動きが同時に発生した場合、以前のフレームと現在のフレーム間における全てのオプティカルフローから、動きが最も多い角度に該当するオプティカルフローを除去した後、残りの角度のオプティカルフローに対してX−Y投影法を用いて動き物体を抽出することを特徴とする請求項11に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出装置。
【請求項13】
監視システムにおけるカメラ/物体の動き区分及び客体抽出方法において、
現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出する段階と、
前記抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する段階と、
前記生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する段階とを備えることを特徴とするビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項14】
前記オプティカルフローに対する動きベクトル値を抽出する段階は、現在の入力映像フレーム及び以前の映像フレームの各々に含まれたノイズを除去した後、ノイズが除去された現在のフレームと以前のフレーム間のオプティカルフローを抽出する段階を備えることを特徴とする請求項13に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項15】
前記ノイズ除去は、ガウスフィルタを利用することを特徴とする請求項14に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項16】
前記角度ヒストグラムを生成する段階は、
前記抽出したオプティカルフローに対するベクトル値を角度値に変化させた後、オプティカルフローベクトル値に対するヒストグラムを生成することを特徴とする請求項13に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項17】
前記角度ヒストグラムは、
ラジアン値(−π〜+π)を角度値(0〜360)に変化させ、変化した角度値を0〜35の値に正規化させた後、角度ヒストグラムを生成することを特徴とする請求項16に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項18】
前記客体を抽出する段階は、
下記の数3式の結果値が所定の臨界値より小さい場合、物体の動きとして判断し、下記の数3式の結果値が臨界値以上である場合、物体の動きは発生せず、カメラの動きだけが発生したものと判断することを特徴とする請求項13に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【数3】
ここで、Mvは、実際に発生したオプティカルフローの数を意味し、TMvは、オプティカルフローが発生し得る全体画素の数を意味する。
【請求項19】
前記臨界値は、実際にオプティカルフローが発生した数であり、略全体画素の30%(0.3)に相当することを特徴とする請求項18に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項20】
前記客体を抽出する段階は、
カメラの動きがなく物体の動きだけが発生したものと判断された場合、前記検出されたオプティカルフローに対してX−Y投影を用いて動き物体を抽出することを特徴とする請求項13に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項21】
前記客体を抽出する段階は、
下記の数4式を用いてカメラの動きの種類(揺れ、パニング、チルト)を区分して判断することを特徴とする請求項13に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【数4】
ここで、bは、角度ヒストグラムHにおいて累積個数が最も多い角度を意味し、θbは、累積個数が最も多い角度におけるヒストグラム累積個数を意味する。また、θvは、v角度におけるヒストグラム累積個数を意味する。また、Tは、カメラの動きを区分するための臨界値である。
【請求項22】
前記客体を抽出する段階は、
前記数4式のb値が0〜1間、34〜35間に存在する場合、カメラのパニングが発生した場合と判断し、bの値が17〜19間、26〜27間に存在する場合、カメラのチルト現象が発生した場合と判断することを特徴とする請求項21に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項23】
前記客体を抽出する段階は、
前記数4式を用いてカメラの動きの種類を判断した後、生成された角度ヒストグラムHにおいて累積個数が最も多い角度bを除いた角度ヒストグラム値θが前記数3式の臨界値(0.3)以上である場合、カメラの動きが発生すると同時に、物体の動きが発生した場合と判断することを特徴とする請求項18又は請求項21に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【請求項24】
前記客体を抽出する段階は、
カメラの動き及び物体の動きが同時に発生した場合、以前のフレームと現在のフレーム間における全てのオプティカルフローから、動きが最も多い角度に該当するオプティカルフローを除去した後、残りの角度のオプティカルフローに対してX−Y投影法を用いて動き物体を抽出することを特徴とする請求項23に記載のビデオ監視システムにおけるカメラ/物体の動き区分及び客体抽出方法。
【図1】
【図3D】
【図4D】
【図5D】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【図3D】
【図4D】
【図5D】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【公開番号】特開2006−180479(P2006−180479A)
【公開日】平成18年7月6日(2006.7.6)
【国際特許分類】
【出願番号】特願2005−359406(P2005−359406)
【出願日】平成17年12月13日(2005.12.13)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】416,Maetan−dong,Yeongtong−gu,Suwon−si Gyeonggi−do,Republic of Korea
【Fターム(参考)】
【公開日】平成18年7月6日(2006.7.6)
【国際特許分類】
【出願日】平成17年12月13日(2005.12.13)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】416,Maetan−dong,Yeongtong−gu,Suwon−si Gyeonggi−do,Republic of Korea
【Fターム(参考)】
[ Back to top ]