物体のトラッキングおよび活動分析のためのシステムおよび方法
本発明の実施形態は、混雑した環境のリアルタイムのビデオ監視を提供するための方法およびシステムに関する。本方法は、入力ビデオの解像度およびオクルージョン・レベルに基づいて、個々の物体またはグループの物体をトラッキングするために、自動的に選択されてもよい複数の物体検出およびトラッキングのプロセスから構成されている。可能な対象となる物体（ＯＯＩ）は人間、動物、車等であってよい。本発明は混雑した環境の中で人をトラッキングするために、または渋滞した交通状況の中で車をトラッキングするために使用されてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、内容の全体が参照により本明細書に組み込まれている、２００５年９月１３日に出願した米国仮出願第６０／７１６，５４４号の利益を主張するものである。
【０００２】
本発明の実施形態は、ビデオ監視を提供するための方法およびシステムに関し、より詳細には、混雑した環境のビデオ監視を提供するためのシステムおよび方法に関する。
【背景技術】
【０００３】
物体の検出およびトラッキングのために、異なる方法が存在している。しかしながら、これらの方法およびシステムのうちの大部分は、当業者には知られているように、オクルージョン（ｏｃｃｌｕｓｉｏｎ）が少なく、解像度のレベルが高い個々の物体を検出するために適したものである。さらに、対象となる物体（ＯＯＩ）をうまく抽出すること、および対象となる物体は一般に背景シーンの複雑さか、またはいかなる前景物体も伴わない背景シーンの入手可能性によって決まる。
【特許文献１】米国仮出願第６０／７１６，５４４号
【特許文献２】米国特許出願公開第２００３／００５３６５９号
【非特許文献１】Ｇｒｉｍｓｏｎ他、「Ｕｓｉｎｇ ａｄａｐｔｉｖｅ ｔｒａｃｋｉｎｇ ｔｏ ｃｌａｓｓｉｆｙ ａｎｄ ｍｏｎｉｔｏｒ ａｃｔｉｖｉｔｉｅｓ ｉｎ ａ ｓｉｔｅ」、ＣＶＰＲ、１９９８年
【非特許文献２】Ｇｒｉｍｓｏｎ他、「Ｌｅａｒｎｉｎｇ ｐａｔｔｅｒｎｓ ｏｆ ａｃｔｉｖｉｔｙ ｕｓｉｎｇ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＰＡＭＩ、Ｖｏｌ２２、Ｎｏ８、２０００年
【非特許文献３】Ｄ．Ａ．Ｆｏｒｓｙｔｈ ａｎｄ Ｊ．Ｐｏｎｃｅ、「Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ａ Ｍｏｄｅｒｎ Ａｐｐｒｏａｃｈ」、Ｐｅａｒｓｏｎ Ｅｄｕｃａｔｉｏｎ、２００３年
【非特許文献４】Ｍａｒｋ．Ｄ．Ｆａｉｒｃｈｉｌｄ、「Ｃｏｌｏｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ」、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ、１９９８年
【発明の開示】
【発明が解決しようとする課題】
【０００４】
したがって、高性能カメラ・システムのための、改良された前景物体抽出、検出およびトラッキングのためのシステムおよび方法が必要とされている。
【課題を解決するための手段】
【０００５】
本発明の実施形態は、物体のトラッキングおよび活動分析のためのシステムおよび方法を提供することによって、これらの必要性およびその他の必要性を満たす。本発明の実施形態は、ａ）改良された背景モデルの適合のために高度な時間セマンティクスを使用すること（例えば持続時間の統計値（すなわち信頼レベルを備えた平均、分散）、およびカラー・モデルが異なるモデル分布の混合に対応する反復パターンなど）、ｂ）改良された背景モデルの適合のために高度なシーン・セマンティクスを使用すること（例えば、物体に基づくシーンの変化対視野に基づくシーンの変化についての統計値など）、ｃ）監視エリアの分析のために、高度な時間セマンティクスとシーン・セマンティクスとを組み合わせること、およびｄ）前景物体のないシーン・モデルを必要とせずに、最初の背景分析の堅固性を改良するために時間セマンティクスを使用することに基づいて、圧縮されていない領域および圧縮された領域で、カラー・モデルを使用して、背景を除去し、前景の区域を見つけ出すための手段を含む、混雑した環境の中での物体のトラッキングおよび活動分析のための装置および方法に関する。
【０００６】
本発明の実施形態は、添付の図面と合わせて考慮される、以下に示された例示的実施形態の詳細な説明から理解されることが可能である。
添付の図面は、本発明の概念を示すためのものであるということを理解されたい。
【発明を実施するための最良の形態】
【０００７】
図１に示されているように、システムは複数の部分から構成されている。初期化部分１００の後の最初の構成要素は、背景除去部分１０１である。シーンの背景モデルを得るための初期化プロセスの後、このモデルは、変化またはカメラの動きに基づいた視野によるか（例えば明暗などによる）、または物体による（例えば新たな物体の追加、または背景物体の位置の変化による）シーンの変化に適合するために、その後更新される。次いで抽出された前景物体の区域は、対象となる物体（ＯＯＩ）の存在を検出し、シーンの密集レベルを推定するために分析される（ブロック１０２）。推定されるオクルージョンおよび解像度のレベルとともに、密集レベルは適切なトラッキング・アルゴリズムを選択するために使用される（ブロック１０３）。フロー推定（１０４）およびトラッキング（１０５）アルゴリズムの出力は、イベント検出（１０６）のための運動分析を提供する。検出される可能性のあるイベントの一部は、以下で示されている例の中で挙げられているが、運動分析は異なるパターンについて調整されることが可能なので、その他のイベントがエンド・ユーザによって定義されてもよい。
【０００８】
背景の除去
本発明の実施形態のこの部分（１０１）は、ビデオでの背景の除去方法に関する。この方法は、シーンの中の一時的な変化と永続的な変化とを区別するために、高レベルなセマンティクスを発展させることに基づいている。さらに、高レベルなセマンティクスからのフィードバックは、背景モデルの統計値を適合するために使用される。
【０００９】
背景の除去プロセスのために、今日異なる方法が存在する。２つの主な分類は、連続したフレームを区別することと、現在のフレームをシーンの背景モデルと比較することに基づいている。本発明の実施形態は、後の方の方法を使用する。
【００１０】
筆者は、Ｇｒｉｍｓｏｎ他、「Ｕｓｉｎｇ ａｄａｐｔｉｖｅ ｔｒａｃｋｉｎｇ ｔｏ ｃｌａｓｓｉｆｙ ａｎｄ ｍｏｎｉｔｏｒ ａｃｔｉｖｉｔｉｅｓ ｉｎ ａ ｓｉｔｅ」（ＣＶＰＲ、１９９８年）およびＧｒｉｍｓｏｎ他、「Ｌｅａｒｎｉｎｇ ｐａｔｔｅｒｎｓ ｏｆ ａｃｔｉｖｉｔｙ ｕｓｉｎｇ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰＡＭＩ、Ｖｏｌ．２２、Ｎｏ．８、２０００年）の中で、観測されるピクセルがｔの時間に輝度値ｖを有する確率をモデル化するために混合ガウス分布を使用している。ガウス確率の合計は、重みが対応するピクセルの混合モデルの各分布に割り当てられるところで加重される。この重みは、指数平滑移動平均（ｅｘｐｏｎｅｎｔｉａｌ ｍｏｖｉｎｇ ａｖｅｒａｇｅ）を使用することによって更新される。さらに、分布の平均、分散は指数平滑移動平均を使用して、合致した分布のために更新される。
【００１１】
米国特許出願公開第２００３／００５３６５９号では、探索エリアの中で移動する物体を監視し、悪影響を及ぼす恐れのある物体の経路を検出するためのシステムが定義されている。発明者によって述べられているように、前景物体の抽出は、各ピクセルが多変量正規（ｍｕｌｔｉ−ｎｏｒｍａｌ）の表現式を有する、上で引用されたＧｒｉｍｓｏｎの方法に類似している。高周波数でオンやオフになる背景の変化（例えば通り過ぎる雲など）は、Ｇｒｉｍｓｏｎの方法では適切ではないので、この方法は変更されている。このため発明者は、ピクセルが既存の分布に合致する場合、およびピクセルがいかなる既存の分布にも合致しない場合に、ガウス確率の重みの計算を変更する。
【００１２】
しかしながら、本発明の実施形態は、シーンの一時的な変化について高レベルなセマンティクスを得ることを可能にする異なる方法に関するものである。各分布に関連した１つの重みを用いる既存の方法は、例えば周期性および偶発性のレベルが異なる反復的な変化と長期間持続する変化など、シーンの変化のパターンを区別することができない。この情報は、長期間にわたりエリアを監視する高度な監視アプリケーションのために、特に重要なものである。さらに、この方法は、システムが移動中のカメラのパラメータを背景の変化の中に組み込むことをより簡単にすることができる。
【００１３】
Ｄ．Ａ．Ｆｏｒｓｙｔｈ ａｎｄ Ｊ．Ｐｏｎｃｅの「Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ａ Ｍｏｄｅｒｎ Ａｐｐｒｏａｃｈ」（Ｐｅａｒｓｏｎ Ｅｄｕｃａｔｉｏｎ、２００３年）、およびＭａｒｋ．Ｄ．Ｆａｉｒｃｈｉｌｄの「Ｃｏｌｏｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ」（Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ、１９９８年）の中で説明されているように、異なるカラー・モデルが背景の除去プロセスのために使用されてもよい。本発明の実施形態によって、ＨＳＶおよびＹＵＶ／ＹＩＱのカラー・モデルが別々に、または組み合わせて使用されてもよい。当業者であれば、その他の適切なモデルが使用されてもよいということを理解されよう。ＹＵＶ（またはＹＩＱ）とは、１つのルミナンス（Ｙ）と２つのクロミナンス要素（ＵおよびＶ）を有するカラー・モデルである。ＹＵＶはカラーＴＶに適したカラー・モデルであり、また人間の目はルミナンスに対してよりもクロミナンスに対しての方がより感度が低いことから、クロミナンス情報の圧縮のために優れた表現である。ＹＵＶスペースは、欧州でＰＡＬブロードキャスト・テレビジョン・システムのために使用されている。ＹＩＱカラー・スペースは、北米でＮＴＳＣブロードキャスト規格のために使用されている。ＨＳＶは色相、彩度および数値で表現されるカラー・モデルである。数値は、明度または輝度を表す。彩度は色の彩度を判定し、円錐の半径である。色相は、０から３６０度までで波光（波長）の周波数を判定する。値は、０から１までで白色光のレベルを判定し、円錐の高さである。彩度は色の豊かさである。中心軸近くの色が低い彩度を有する一方で、円錐の表面近くの色は高い彩度を有する。色相値は、赤が０で（赤は、Ｖ＝１．０；Ｓ＝１．０で、Ｈ＝０度の座標を有する）、０から３６０度の間である。彩度が０に設定されると、色相は判定されず、値の軸はグレイ・スケールのイメージを表す。最も一般的なＨＳＶの量子化は１６２（１８×３×３）ビンの中にある。
【００１４】
背景は、異なる理由のせいで変化する場合がある。背景の変化は、例えば明暗および物体の変化など、また例えば雲、新たな永続的な物体などの、環境の変化によるものである場合がある。時間的な特性については、これらは反復的および一定的変化として分類されることが可能である。例えば、木の枝および雲の動きによって、異なる背景モデルを有するピクセル／ブロックは反復的な方法で変化する。木の枝によって影響を受けるエリアでは、これらのエリアの中での反復の持続時間は、通り過ぎる雲によって影響を受ける空のエリアとは異なる。駐車中の車は、変化が一定である時間間隔の間、背景モデルを変化させる。明暗は、例えば昼対夜などの長い期間についての反復的な方法か、または電気をオンにすること、新たな物体による影等などの偶発的な方法で突然に変化することが可能である。
【００１５】
既存のアルゴリズムの１つの欠点は、絶対時間に関して、背景の除去のための時間的モデルを判定することが簡単ではないということである。本発明の実施形態の目的は、変化が生じる持続時間および変化の時間的特性に応じて変化を分類することによって、背景シーンの中の変化をモデル化することである。このために、持続時間および忘却係数の２つの時間パラメータが使用されることが可能である。持続時間は、ピクセル／ブロックが背景モデルに割り当てられるフレームの数を判定する。忘却係数は、ピクセル／ブロックが背景モデルに最後に割り当てられた時を判定する。反復モデルでは、２つの背景モデルの持続時間は同様のものであるが、その一方で忘却係数はこれら２つのモデルについて、それぞれ異なっている。比較的一定した変化では、新たな背景モデルについて持続時間はより長くなり、忘却要素は小さくなるが、その一方で対応するエリアについてのその他の背景モデルの忘却係数はより大きくなり、継続期間は一定のままである。前景物体モデルについては、同じパラメータが使用されるということに留意されたい。さらに、これらのパラメータによって、エンド・ユーザは前景物体抽出モデルを制御することができる。例えば１つの適用例では、目的は駐車時間などの情報を集めるために、駐車中の車を前景物体として分類することであってもよく、一方で別の適用例では、道に沿って駐車された車が背景物体とみなされてもよい。
【００１６】
初期化段階の間に背景モデルの統計値が計算される（図２）。背景モデルの統計値はモデル構成要素の平均および共分散、ならびに背景モデルの持続時間（すなわちピクセル／ブロックが対応する背景モデルに割り当てられるフレームの数）から構成されている。さらに忘却係数が計算され、その分散が観測される。はじめに、ステップ２０１でパラメータが初期化される。画像は、平滑化オプションが選択される（ブロック２０２）場合、背景ノイズの影響を減少させるために平滑化されてもよい（ブロック２０３）。初期化段階での各フレームのために、背景モデルのパラメータが更新される（ブロック２０４）。初期化段階は、調整条件の基準が満たされるまで継続する（ブロック２０５）。この基準は、調整期間の間の持続時間が最も多い分布の分散に基づいていてもよい。初期化段階の間、異なる分類方法（例えばＫ−ｍｅａｎｓアルゴリズムなど）が適用されることが可能である。
【００１７】
物体の検出およびトラッキングは、最初の調整部分の間には実行されないということに留意されたい。背景モデル化の調整部分は、シーンの情報を得ることが、アルゴリズムの検出およびトラッキングの信頼性および堅固性を向上させることを可能にする。目的は、任意の静止した前景物体を除去することである。適合段階は、シーンの中の一時的な変化と永続的な変化とを区別し続ける。
【００１８】
持続時間および忘却係数は、上述のような背景モデルの中の変化についての高レベルなセマンティクスを得るために使用される時間的な統計値である。
【００１９】
調整段階の間、一部の前景物体はしばらく静止してもよい。調整段階の間に物体が長い期間静止している場合、それは背景物体として仮定される。したがって、調整期間は、一時的な物体と永続的な物体とを区別するための基準を定義する。例えば、監視カメラが信号のところに配備されている場合、最初に赤信号で停止している車は背景物体とはならないが、一方で道の隣で駐車されている車は背景の一部となる。また、この分類は適合段階の間継続するということにも留意されたい。さらに、対象となる物体の検出は、前景物体を区別するために使用されてもよい。
【００２０】
調整の後、最初の背景モデル（ブロック３０２）は変化に対して適合される（図３）。調整段階が処理の前にフレームを平滑化する場合、同じ平滑化プロセス（ブロック２０３）が後で適合される。忘却係数を用いて指数移動平均を取り入れることによって、背景モデルが更新される（ブロック３０１）。忘却係数が大きい場合、新たな更新が有力なものとなる。そうではない場合、平均部分が有力なものとなる。各ピクセルのカラー構成要素は、各分布の統計値と比較される。ピクセルが分布のうちの１つと合致する場合、平均、分布の共分散、持続時間および忘却係数が更新される。そうではない場合、新たな背景の分布が作成される。新たな前景物体が永続的な背景の変化である場合、このエリアはその後背景とみなされる。この判定は、これが視野に基づくか、または物体に基づく変化による反復的な変化であるかどうかを理解するために、持続時間および忘却係数に基づくものでもよい。持続時間パラメータは、背景の変化の再出現に基づいて計算されてもよい所定の期間に応じて正規化されることが可能であるということに留意されたい。物体の検出およびトラッキングの結果（ブロック１０２〜１０５）は、ＯＯＩモデルに合致しない前景としてラベル付けされた区分がある場合に（ブロック３０３）、背景モデルを修正するために使用される。対象となる物体の隣にある区分は、陰影、背景エラー等の複数の要素によって、前景区域として誤って分類される場合がある。この区域が物体検出ステップ（１０２）で、対象となる物体の一部として分類されない場合、この区域を背景物体として分類するためにフィードバックが使用される。この機能は、前述のような陰影を除去するような場合を改良するために役立つ。このシステムの目的は、背景−前景分類のための柔軟なモデルを有するということである。例えば駅の監視システムは、人以外のすべてのものは背景とみなされながら、人々だけを監視することを目的としてもよい。このため、シーンの中のその他の物体を背景物体として分類するために、物体検出アルゴリズムからのフィードバックが使用されてもよい。
【００２１】
背景モデルの大部分は、可能な前景物体を形成するために、接続された構成要素が後で適用される場所に基づいたピクセルである。背景のピクセルを再分類するために、前景物体検出からのフィードバックを使用することは、例えば人が、その人の衣服に類似した背景色のエリアに向かって歩いている場合など、複数の場合における誤分類を克服するためにも役立つ。さらに、背景モデルの高レベルなセマンティクスが計算され（ブロック３０４）、それらは更新プロセスに対するフィードバックとして使用される。
【００２２】
アルゴリズムは、ピクセル／ブロックが有する可能性のある分布の最大数を使用する。この数はピクセル／ブロックを背景モデルに割り当てるために、比較基準によって制御される。例えば、基準が０と２５５との間のルミナンス構成要素の平均に基づいており、しきい値が６４である場合には、この値は最大で４である。分布の最大数に厳しい制限がある場合、最大の忘却係数と最小の持続時間とを備えた背景モデルが上書きされてもよい。忘却係数は、ピクセル／ブロックが対応する背景モデルに最後に割り当てられた時を現在のフレーム数に設定することによって、更新される。
【００２３】
ＯＯＩの検出および密集レベルの推定
本発明の実施形態のこの部分（１０２）は、ＯＯＩの存在を見つけ出す方法に関する。この方法は、オクルージョンのレベルが高く、解像度のレベルが低い混雑した環境の中で人などのＯＯＩを検出するために適している。可能な適用例は、密集レベルを検出するために、密集したエリアの中で人々を検出することである。他の物体検出方式とは違って、解像度が低く、オクルージョンのレベルが高いために、これらの画像の中で確実に色、形状および運動が使用されることはできない。したがって、検出のために、ＤＣＴ係数に基づいたより抽象的な表現が使用される（図４）。
【００２４】
上で定義された背景除去アルゴリズムは、運動分析が行われる対象となる区域（ＲＯＩ）を抽出するために（４０１）、高レベルなシーン情報とともに使用される。高レベルな情報（４０２）は、マスキング・プロセスとしてユーザによって導入されるか、またはシーンの中で所定のＯＯＩを検出するためにアプリオリな調整を実行することによって導入されてもよい。後者のものは、類似のシーンを使用することによって、その区域にラベル付けするために自動的に行われる。例えば、駅の中の監視エリアはプラットフォームおよび鉄道エリアから構成されていてもよい。物体の検出は、所定の対象となる区域の中だけで行われてもよい。その後、異なる対象となる区域での物体検出結果に応じて、異なるイベントが定義される。
【００２５】
次いでこれらの対象となる区域は、物体検出アルゴリズムを適用するために、ブロック分割される（４０３）。ＯＯＩを検索するための画像中のブロック・サイズは、カメラに対する位置によって決まる。このために、従来のカメラ補正方法が使用されることが可能である。最も簡単な形態では、複数の（ｎ個の）ブロック・サイズは、フレームをｙ方向でｎの区域に分割することによって使用されてもよい。
【００２６】
両方の方向にスライドされた各ブロックのために、ＤＣＴ係数が計算される（４０４）。解像度が低い画像エリアでは、カラー構成要素は一般に信頼性が高いものではないので、ルミナンス値のＤＣＴ係数のみが使用されてもよい。彩度のレベルが高い（例えばＳ＞ＨＳＶカラー・モデルのしきい値）場合、カラー構成要素のＤＣＴ係数も使用されてよい。
【００２７】
次いで、ＤＣＴ係数に基づいたＯＯＩのテンプレート（４０５）は、モデル・テンプレート（４０６）と比較するために（４０７）作成される。このテンプレートのための選択肢は、元々のブロックのより小さなブロックの中でＤＣＴ係数を使用することである。例えば、先頭エリアは、円形エリアの境界の中で高いＡＣ値を形成する。その他の選択肢は、ＤＣＴ値に基づいて固有画像（ｅｉｇｅｎｉｍａｇｅｓ）を作成することである。このために、第１のｍのＡＣ係数の加重総和が使用されてもよい。固有画像は、ＯＯＩのシルエットを作成する。例えばこのために、人々の頭−肩のエリアのシルエットが使用されてもよい。シルエットのためのモデル・テンプレートは、遮蔽されたシルエットための調整によって作成されることが可能である。その後、モデル・テンプレートを計算されたシルエットと比較するために、主要構成要素分析が使用されてもよい。
【００２８】
ＤＣＴ係数の変わりに、ウェーブレット・パラメータ（または同様の圧縮方法）もまた、遮蔽されたＯＯＩを検出するために使用されてもよい。
【００２９】
この部分の出力によって、シーンの中の密集レベルの推定が可能になる。シーン（またはシーンの一部）の密集レベルによって、グループまたは個々の運動分析が実行される。後で、異なるアプリケーションが実装されてもよい。例えば、エリア当たりの起立している人の数がしきい値を上回る場合に警報を与えるために、次の節で説明されるフロー推定アルゴリズムが使用されてもよい。
【００３０】
密集レベルを計算するために、各ブロックで、ＯＯＩが検索されるエリアは１とマークされる。エリア全体に対して１とマークされるエリアの割合が所定のしきい値よりも大きい場合、そのエリアは密集しており、エリア当たりの密集レベルが計算される。ブロックのサイズは、カメラの補正結果に応じて適合されるということに留意されたい。
【００３１】
検出プロセスの信頼度を高めるために、同じアルゴリズムがＮ個のフレームに適用され、結果の平均がブロックのために使用される。フレームの数Ｎは、フロー推定の結果によって決まる。フロー推定がブロックの中で高い運動性および変化を示す場合、Ｎのために小さな数が選択され、そうでない場合、検出の信頼度を高めるために大きな数が使用される。結果は、ＲＯＩ（４０２）およびＯＯＩ（４０６）の属性を更新するために使用される。例えば、ＯＯＩの固有画像は大きな数Ｎのための小さな分散で計算される場合、テンプレート・モデルの中に含まれる。
【００３２】
ＯＯＩグループのフロー推定
図５を参照し、続いて図１を参照すると、本発明の実施形態のこの部分（１０４）は、ＯＯＩのフローを推定する方法に関する。本発明の実施形態の目的は、低レベルな運動特徴を計算するために単純で迅速なアルゴリズムを使用しながら、それらを群集運動の平均の推定などの高レベルな属性に結び付けるために、堅固で信頼度の高い方法を使用することである。このアルゴリズムは、検出されたＯＯＩに運動特徴を結び付けるために、物体検出アルゴリズムとともに使用される。ＯＯＩは柔らかい物体（例えば人、動物など）および堅い物体（例えば車、列車など）であることが可能である。このアルゴリズムの結果は、群集フローの推定のために使用されてよい。考えられる適用例は、人々、動物、車等のグループのためのフロー推定を含む。
【００３３】
前節で選択されたブロックのために、例えばＫａｎａｄｅ−Ｌｕｃａｓトラッキング・アルゴリズムなどの異なるアルゴリズムが、低レベルの運動特徴（５０１）を計算するために使用されることが可能である。このアルゴリズムの出力は、ｘおよびｙ方向で運動ベクトルを示す。運動ベクトルの大きさが所定のしきい値よりも大きい場合、グループの中の各ピクセルのための方向（例えば４または８の方向）が判定される。全体の方向および大きさは、方向および大きさの値（５０３）に基づくピクセルを使用することによって計算される。例えば平均および分散値など、異なる統計値が運動属性のために使用されてもよい。ブロックの中の分散は、ブロックエリア中のＯＯＩの異なる運動、またはこのブロックの中のＯＯＩの一部の異なる運動によるものである可能性がある。これらの２つの場合を区別し、運動分析をより信頼できるものにするために、前節で検出された運動グループおよびＯＯＩ区域は、低レベルの運動パラメータを、例えば特定のＯＯＩの運動などの高レベルのセマンティクスに結び付けることを目的としてマップされる。このために、ＯＯＩとラベル付けされたエリアは、特定の運動ベクトルのために、１とマーク付けされたエリアと比較される。
【００３４】
フロー推定の信頼度を高めるために、ブロックの運動がＭ個のフレームでトラッキングされ、平均運動が計算される。Ｍは、ブロック中の個々のピクセルの方向およびブロック全体の方向の分散などの運動パラメータによって決まる。パラメータは、Ｍ個のフレームの各々で再設定される。Ｍはブロック当たりで選択されるか、またはシーン中の最も高い運動性に基づいて選択されてもよい。
【００３５】
運動ベクトルは、ＲＯＩ（４０２）およびＯＯＩ（４０６）の属性を特徴付けるためにも使用される。例えば、鉄道エリアの運動ベクトルは、運動ベクトルが同じ方向にうまく向けられた高速エリアに一致する。これは、前節で定義された特徴に関連した形状などのその他の属性とともに、（やって着て、停止し、出発する）列車を検出するために使用される。
【００３６】
イベント検出（５０４）は、物体検出の出力およびフロー推定アルゴリズムを使用することによって、使用される。例えば鉄道駅については、ＲＯＩはプラットフォームおよび鉄道エリアであり、一方でＯＯＩは人々および列車である。ブロックの中でまとめられた運動ベクトルは、その大きさが特定のしきい値を上回る場合、処理されてもよい。一例では、起立している移動中の人の割合が計算され、表示される。エリア当たりの起立している人の数がしきい値を上回る場合、警報が与えられる。
【００３７】
トラッキング
図６を参照し、続いて図１を参照すると、本発明の実施形態のこの部分（１０５）は、例えば個々の人々の行為などの運動分析を行うために個々のＯＯＩをトラッキングする方法に関する。この部分のトラッキング・アルゴリズムは対象となる物体（ＯＯＩ）の形状、色および運動パターンに基づいている。目的は、異なるフレーム中の区分の低レベルの画像特徴を合致させるために単純で迅速なアルゴリズムを使用しながら、それらを高レベルのＯＯＩの属性に結び付けるために、区域を結合／分割するための高度なアルゴリズムを使用することである。低レベルの特徴はフレーム中の区域のピクセルの色、運動ベクトルであることが可能であり、その一方で高レベルの属性は、この区域（例えば、カメラの方に向かって移動している人の頭−胴体エリアに対応する区域など）に割り当てられたラベルである。ＯＯＩは柔らかい物体（例えば人、動物など）および堅い物体（例えば車、列車など）であることが可能である。このアルゴリズムの結果は、イベント分類のための関節運動、ジェスチャー、剛体運動を含めて、運動分析のために使用されてもよい。この発明の目的は、オクルージョンおよび視野変更の場合にも、堅固で信頼度の高いＯＯＩのトラッキングを提供することである。
【００３８】
前景区域は、前景とマーク付けされたピクセルの結び付けられた構成要素として、背景除去アルゴリズム（１０１）から取得される。区域は、異なる前景区分の組合せであってもよい。
【００３９】
各区域は、（ステップ６０２で属性を形成するための）以下の構造を有する。
【００４０】
区域の輪郭点が使用される場合：
Ｎｕｍｂｅｒ：この区域の輪郭点の数
Ｘ：この区域の輪郭点のｘ座標
Ｙ：この区域の輪郭点のｘ座標
Ｍ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の平均（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）。一部の実施形態では、その他の統計値が含まれてもよい。
ＣＶ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の共分散（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
Ｂｌａｃｋｌｉｓｔ＿ｎｕｍ：この区域に合致されるべきではないＯＯＩ区域の数。実装によって、Ｂｌａｃｋｌｉｓｔ属性は、ＯＯＩ区域の属性として設定されてもよい。
Ｂｌａｃｋｌｉｓｔ：この区域に合致されるべきではないＯＯＩ区域のＩＤ（ｉｄｓ）を維持するための配列。
Ｄｉｆｆｅｒｅｎｃｅ：この区域とトラッキングされる人区域との間の属性の場合の差を保持するための時間的値。一部の実施形態では、実装によって、この値は置き換えられてもよい。
【００４１】
区域中のすべての点が使用される場合：
Ｎｕｍｂｅｒ：この区域の中の点の数
Ｘ：この区域の点のｘ座標
Ｙ：この区域の点のｘ座標
Ｍ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の平均（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
ＣＶ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の共分散（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
Ｂｌａｃｋｌｉｓｔ＿ｎｕｍ：この区域に合致されるべきではない人区域の数。
Ｂｌａｃｋｌｉｓｔ：この区域に合致されるべきではない人区域のＩＤを維持するための配列。
Ｄｉｆｆｅｒｅｎｃｅ：この区域とトラッキングされる人区域との間の属性の場合の差異を保持するための時間的値。
【００４２】
例えばテクスチャ・パターンおよび／または肌色の小区域など、その他の属性が属性リストの中に追加されてもよいということが、当業者には理解されよう。
【００４３】
各前景区域（６０１）のための属性は、ステップ６０２で計算される。入力引数はＮｕｍｂｅｒ、ｘ、ｙおよびフレーム中の点のカラー値である。カラー構成要素の統計値（例えば平均および分散など）は、区域の異なるブロックのために生産される。これは、ＯＯＩの異なる部分を区別し、オクルージョンの場合にＯＯＩの部分をトラッキングするために役立つ。
【００４４】
トラッキングされる各ＯＯＩ区域は以下のような属性を有する。
Ｍｅａｎ＿Ｘ：ＯＯＩ区域の中の点のＸ座標の平均
Ｍｅａｎ＿Ｙ：ＯＯＩ区域の中の点のＹ座標の平均
Ｍａｘ＿Ｘ：ＯＯＩ区域の中の点の最大値Ｘの座標
Ｍｉｎ＿Ｘ：ＯＯＩ区域の中の点の最小値Ｘの座標
Ｍａｘ＿Ｙ：ＯＯＩ区域の中の点の最大値Ｙの座標
Ｍｉｎ＿Ｙ：ＯＯＩ区域の中の点の最小値Ｙの座標
Ｍａｊｏｒ＿Ｘ：ＯＯＩ区域の中の点のＸ座標の長軸
Ｍａｊｏｒ＿Ｘ：ＯＯＩ区域の中の点のＹ座標の長軸
Ｆｉｒｓｔ Ｆｒａｍｅ：このＯＯＩが検出される第１フレーム。実装（例えば割り込み優先順位、速度制約など）およびコンピュータの処理能力によっては、すべてのフレームがトラッキングのために処理されるわけではない。フレームのうちのいくつかは、スキップされる場合がある。すべてのフレーム、および処理されるフレームのために、フレーム数を別にしておくことが重要である。ＯＯＩのための属性は、処理されるフレームの数に基づくことが可能である。
Ｌａｓｔ Ｆｒａｍｅ：このＯＯＩが検出される最後のフレーム
Ｃｏｍｂｉｎｅｄ＿Ｆｌａｇ：ＯＯＩが現在のフレームの中の単一の物体として、または別の物体に隠蔽されたものとして検出される場合に示されるフラグ。
Ｍ＿ｃｏｌｏｒ［ｉ］：ウィンドウ中のカラー・モデルのｉ番目の構成要素の平均（ＯＯＩの異なるウィンドウで表示されたエリアの中のカラー属性）（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
ＣＶ＿ｃｏｌｏｒ［ｉ］：ウィンドウ・エリアの中のカラー・モデルのｉ番目の構成要素の共分散（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
ＭａｔｃｈｅｄＲｅｇｉｏｎ：このＯＯＩに合致された前景区域のＩＤ
Ｄｘ：現在のフレームの中のこのＯＯＩのＭｅａｎ＿Ｘと検出されていた前のフレームの中のこのＯＯＩのＭｅａｎ＿Ｘとの間の距離
Ｄｙ：現在のフレームの中のこのＯＯＩのＭｅａｎ＿Ｙと検出されていた前のフレームの中のこのＯＯＩのＭｅａｎ＿Ｙとの間の距離
Ｄｖ：ＤｘとＤｙとから計算されたＯＯＩの運動の速度。速度は、このＯＯＩのための現在のフレームと最後に処理されたフレームとの間の差に応じて、正規化されるべきである。
【００４５】
さらに、物体が遮蔽される場合にエラーを減少させるために、単一のＯＯＩが単一の区域か、または区域の組合せに合致される場合、以下の属性が保持される（視野の角度および／またはそれらの運動が変化すると、物体の属性はやがて変化するので、これらの属性の使用法はＯＯＩによって決まる）。
Ｓｉｎｇｌｅ＿Ｍｅａｎ＿Ｘ：ＯＯＩ区域の中の点のＸ座標の平均
Ｓｉｎｇｌｅ＿Ｍｅａｎ＿Ｙ：ＯＯＩ区域の中の点のＹ座標の平均
Ｓｉｎｇｌｅ＿Ｍａｊｏｒ＿Ｘ：ＯＯＩ区域の中の点のＸ座標の長軸
Ｓｉｎｇｌｅ＿Ｍａｊｏｒ＿Ｘ：ＯＯＩ区域の中の点のＹ座標の長軸
Ｓｉｎｇｌｅ＿ＬａｓｔＦｒａｍｅ：このＯＯＩが検出される最後のフレーム
Ｓｉｎｇｌｅ＿Ｍ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の平均（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
Ｓｉｎｇｌｅ＿ＣＶ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の共分散（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
【００４６】
例えばテクスチャ・パターンおよび／または肌色の小区域など、その他の属性が属性リストの中に追加されてもよいということが、当業者には理解されよう。
【００４７】
アクティブ・リストからＯＯＩを除去するための複数の選択肢が存在する。１つの選択肢では、ＯＯＩは監視エリアの視野の外側にいると仮定される場合、それ以上トラッキングされた物体の表の中に維持されることはない。この仮定は、このＯＯＩがその最後のフレーム以来検出されていない処理されたフレームの数を述べるしきい値に基づいている。さらに、この目的で（例えば、検出されたＯＯＩの最初フレームおよび最後のフレームの位置を使用することによって、シーンの入場／退場エリアを推定することなど）、シーンについての高レベルな情報が使用されることになる。しかしながら、このリストは、１）同じＯＯＩが視野のエリアに入った／視野のエリアから退いたと仮定される場合（例えば人々のＩＤが、フレームの高解像度が利用可能であるときに、顔認識またはその他のアイデンティティに基づいた認識アルゴリズムに基づいて保持される場合など）、および２）ＯＯＩがカメラの視野エリアから出て、別の隣のカメラの視野エリアに入るところで、複数のカメラの調整が実施される場合の２つの場合について、物体が視野エリアの外側にある場合でもＯＯＩの情報を保持してよい。本発明の実施形態は、監視のために複数のカメラが使用されるところで使用されてもよい。既存のアルゴリズムは、複数のカメラからの画像融合のために使用されてもよい。この場合、中央プロセッサは複数のカメラから得られたフレームのために本発明の実施形態を適用する。別の選択肢は、各カメラがその視野エリアを処理し、次いで位置情報に基づいて、候補のカメラにトラッキング・データを送信する分散型システムを使用することである。任意で、各ＯＯＩの属性は対応するフレーム番号とともに保存される。
【００４８】
合致ブロック６０３のための入力は、現在のフレームの中の前景区分と、以前のフレームの中の検出されたＯＯＩである。処理されるべき個々の前景区域および組み合わせられた前景区域（ＲＥＧ）の区域番号が存在する。本明細書で説明される例示的なアルゴリズムは、区域についての外側ループを使用し、複数の区域に対して、トラッキングされているものと同じＯＯＩを合致させてもよい。したがって、この区域を別のＯＯＩに合致させるために、区域が以前にＯＯＩに合致していない場合、区域番号が増やされてもよい。
【００４９】
ＯＯＩについて、以下の遷移が生じてもよい。
１．区域に合致された単一のＯＯＩ→別のＯＯＩのある領域に合致された、遮蔽されたＯＯＩ
２．別のＯＯＩのある区域に合致された、遮蔽されたＯＯＩ→区域に合致された単一のＯＯＩ
【００５０】
第２の選択肢は、以前のフレームの中でＯＯＩが単一のＯＯＩとして検出されなかった場合、最初にオクルージョンのレベルおよび利用可能な解像度に応じて、１つのＯＯＩとして２つのＯＯＩが合致することにつながってもよい。
【００５１】
合致アルゴリズムは、ＲＥＧ（個々の前景区分または組み合わせられた前景区分）によって示された区域を個々のＯＯＩまたは組み合わせられたＯＯＩに合致させる。合致プロセスを明確にするために、以下に（ブロック６０３〜６０５についての）例示的なアルゴリズム・フローが示される。トラッキングを目的として、シーンの中の新たな区分を合致させるために、同様のアルゴリズムがＯＯＩの高レベルの属性を集めるために使用されてもよい。
【００５２】
ＲＥＧのＯＯＩへの合致
【００５３】
組合せが、それらの中でいかなる制約もなく行われる場合、一部の組合せは意味のないものである場合がある。２つの領域があって間に別の区域を有するが、その中間のものが取られることはないといった場合である。組み合わせられた区域の間の小さな区域のミスを考慮に入れるために、組み合わせられた検索の選択肢が含まれる。
【００５４】
ＬＯＣＡＴＩＯＮ＿ＴＡＢＬＥは、ＲＥＧの中の個々のＯＯＩの位置を定義する。ＯＯＩは区域の最も左側（ＭＩＮ＿Ｘ）および／または区域の最も右側（ＭＡＸ＿Ｘ）および／または区域の最下部（ＭＩＮ＿Ｙ）および／または区域の最上部（ＭＡＸ＿Ｙ）および／または区域の内側にあってもよい。ＯＯＩが別のＯＯＩか、または背景物体で遮蔽されている場合、ＯＯＩの位置はＯＯＩ上の異なるウィンドウで表示されたエリアに基づいて、色、形状、運動属性および（変位制約などの）制約を使用することによって見つけ出される。例えば、ＯＯＩ上の異なるウィンドウで表示されたエリアは、カラー構成要素に基づいて、ＲＥＧに対して合致される。ＯＯＩの一部が遮蔽されている場合、一部のウィンドウで表示されたエリアは合致されることはないが、別のエリアは、（物体の平均の推移についてだけ対処するアルゴリズムとは対照的に）オクルージョンのレベルに応じて合致する。
【００５５】
ＯＯＩが任意の区域（６０６）に合致されない場合、以下のように、対応するＲＥＧのために新たなＯＯＩが作成される（６０７）。
新たなＯＯＩ属性の設定
ＯＯＩ．Ｍａｘ＿Ｘ＝ＲＥＧ．Ｍａｘ＿Ｘ
ＯＯＩ．Ｍｉｎ＿Ｘ＝ＲＥＧ．Ｍｉｎ＿Ｘ
ＯＯＩ．Ｍａｘ＿Ｙ＝ＲＥＧ．Ｍａｘ＿Ｙ
ＯＯＩ．Ｍｉｎ＿Ｙ＝ＲＥＧ．Ｍｉｎ＿Ｙ
ＯＯＩ．Ｍａｊｏｒ＿Ｘ＝ＯＯＩ．Ｍａｘ＿Ｘ−ＯＯＩ．Ｍｉｎ＿Ｘ；
ＯＯＩ．Ｍａｊｏｒ＿Ｙ＝ＯＯＩ．Ｍａｘ＿Ｙ−ＯＯＩ．Ｍｉｎ＿Ｙ；
ＯＯＩ＿Ｍｅａｎ＿Ｘ＝ＲＥＧ＿Ｍｅａｎ＿Ｘ；
ＯＯＩ＿Ｍｅａｎ＿Ｙ＝ＲＥＧ＿ｍｅａｎ＿Ｙ；
ＯＯＩ＿Ｌａｓｔｆｒａｍｅ＝ｔｈｉｓ ｆｒａｍｅ；
ＯＯＩ＿Ｆｉｒｓｔｆｒａｍｅ＝ｔｈｉｓ ｆｒａｍｅ；
ＯＯＩ＿Ｍａｔｃｈｅｄｒｅｇｉｏｎ＝ＲＥＧ；
ＯＯＩ．Ｃｏｍｂｉｎｅｄ＿ｆｌａｇ＝０
ＯＯＩ．Ｍ＿ｃｏｌｏ［ｉ］＝ＲＥＧ．Ｍ＿Ｃｏｌｏｒ［ｉ］
ＯＯＩ．ＣＶ＿ｃｏｌｏｒ［ｉ］＝ＲＥＧ．ＣＶ＿Ｃｏｌｏｒ［ｉ］
ＯＯＩ．Ｄｘ＝０
ＯＯＩ．Ｄｙ＝０
ＯＯＩ．Ｄｖ＝０
ＯＯＩ．Ｓｉｎｇｌｅ＿Ｍｅａｎ＿Ｘ＝ＯＯＩ．Ｍｅａｎ＿Ｘ
ＯＯＩ．Ｓｉｎｇｌｅ＿Ｍｅａｎ＿Ｙ＝ＯＯＩ．Ｍｅａｎ＿Ｙ
ＯＯＩ．Ｓｉｎｇｌｅ＿Ｍａｊｏｒ＿Ｘ＝ＯＯＩ．Ｍａｊｏｒ＿Ｘ
ＯＯＩ．Ｓｉｎｇｌｅ＿Ｍａｊｏｒ＿Ｘ＝ＯＯＩ．Ｍａｊｏｒ＿Ｘ
ＯＯＩ．Ｓｉｎｇｌｅ＿ＬａｓｔＦｒａｍｅ＝ＯＯＩ．ＬａｓｔＦｒａｍｅ
ＯＯＩ．Ｓｉｎｇｌｅ＿Ｍ＿ｃｏｌｏｒ［ｉ］＝ＯＯＩ．Ｍ＿ｃｏｌｏｒ［ｉ］
ＯＯＩ．Ｓｉｎｇｌｅ＿ＣＶ＿ｃｏｌｏｒ［ｉ］＝ＯＯＩ．ＣＶ＿ｃｏｌｏｒ［ｉ］
【００５６】
１つのＯＯＩが２つ以上の区域（６０８）に合致される場合、以下のサブルーチン（６０９）が実行される。
ＯＯＩに合致されるべき最も近いＲＦＧを見つけ出す
【００５７】
合致プロセスは、アクティブ・リストの中のＯＯＩ間の色、形状および運動の差、および現在のフレームの中の新たな区分を考慮に入れるので、オクルージョンの影響は減少される。運動推定部分は、ＯＯＩに合致された区域の部分の平均運動を計算する。異なる運動推定アルゴリズムは、上述のような低レベルの特徴を使用することによって、現在のフレームの中の区域を前のフレームの中のＯＯＩに対応する区域と合致させるために使用されることが可能である。この部分は、低レベルの特徴によって合致された区分の組合せ／断片化として見つけ出された区域の高レベルな合致に対処する。したがって、以下の運動パラメータは、ＯＯＩの全体またはＯＯＩの一部（例えば、人間の四肢、胴など）としてラベル付けされた区域に対応する。
【００５８】
以下のサブルーチンは、シーンを離れたＯＯＩのなどの古い情報を除去するための一例である。著しいオクルージョンまたはその他のエラーによって合致が失敗する可能性があるので、ＯＯＩはリストから直ちに除去されることはない。
ＯＯＩリストの更新
【００５９】
アルゴリズムは、複数のＯＯＩについて、特定のフレーム当たり処理時間を超えないように最適化されなければならない。ＯＯＩが多数ある複雑なシーンについては、処理能力の制限のために、いくつかのフレームがスキップされる場合がある。これは処理されるフレームの数に対する、しきい値（特には位置および運動の差）の適合を必要とする。例えば２つのフレームがスキップされる場合、ＯＯＩの最後の位置とその新たな位置との間の差は大きくなる。
【００６０】
（物体のサイズが小さな）解像度の低い画像では、運動分析は本体の全体に基づいて実行され、一方で解像度の高い画像では、運動分析は異なる物体の部分の分析に基づいて実行される。この節で説明されている後者のものの結果は、異なるイベント検出のために使用されてもよい。例えばＤｘおよびＤｙ値は、ＯＯＩの方向およびその速度（例えば歩行対走行など）を推定するために使用されてもよい。（起立している人のためのＭＡＸ＿Ｙ部分に対応する）検出された頭部エリアとともにＭａｊｏｒ＿ＸおよびＭａｊｏｒ＿Ｙ属性を使用することは、落下した人を検出するために役立つことがある。列車、車などの堅い物体の運動分析は、ＯＯＩ．Ｄｘ、ＯＯＩ．ＤｙおよびＯＯＩ．Ｄｖの属性を比較することによって同様に行われる。
【００６１】
本発明の実施形態による例示的装置
本発明の実施形態は、ａ）改良された背景モデルの適合のために高度な時間セマンティクスを使用すること（例えば持続時間の統計値（すなわち信頼度を備えた平均、分散）、およびカラー・モデルが異なるモデル分布の混合に対応する反復パターンなど）、ｂ）改良された背景モデル適合のために高度なシーン・セマンティクスを使用すること（例えば、物体に基づくシーンの変化対視野に基づくシーンの変化についての統計値など）、ｃ）監視エリアの分析のために、高度な時間セマンティクスとシーン・セマンティクスとを組み合わせること、およびｄ）前景物体のないシーン・モデルを必要とせずに、最初の背景分析の堅固性を改良するために時間セマンティクスを使用することに基づいて、圧縮されていない領域および圧縮された領域で、カラー・モデルを使用して、背景を除去し、前景の区域を見つけ出すための手段を含む、混雑した環境の中での物体のトラッキングおよび活動分析のための装置に関する。
【００６２】
この装置はさらに、ａ）カメラ補正およびシーン中の物体のサイズの分析に基づいて、ブロックに分割された対象となる区域を抽出すること、ｂ）（例えばＤＣＴを使用して）低周波および高周波のブロックの構成要素のためにテンプレートを計算すること、ｃ）テンプレートをラベル付けされたテンプレート（例えば、一緒に起立している人々のグループの頭−肩エリアなど）に合致させるために調整を行うこと、およびｄ）対象となる物体の存在を見つけ出すために、入力画像テンプレートを調整されたテンプレートのものと比較することに基づいて、解像度が低く、オクルージョン・レベルが高いところで対象となる物体を見つけ出すための手段を含むことができる。
【００６３】
本発明の実施形態によって、この装置は、推定された密集レベルおよびオクルージョン・レベルに基づいて、（例えばグループ対個々の物体などの）適切な検出およびトラッキング・アルゴリズムを選択するための手段を含むことができる。さらに、この装置は、ａ）フロー・ブロックを可能な対象となる物体でマーク付けされたエリアに対応させること、ｂ）そのブロック中の個々のピクセルの方向およびブロック全体の方向の分散などの運動パラメータを使用して、これらの統計値に基づいてグループの運動についての信頼レベルを計算することに基づいて、解像度が低く、オクルージョン・レベルが高いところで対象となるグループ物体をトラッキングするための手段を含む。
【００６４】
本発明の実施形態によって、この装置は、ａ）解像度が低く、オクルージョン・レベルが高いところで対象となる物体を見つけ出す方法に基づいて、密集レベルを推定すること、ｂ）光フロー計算の方法を使用することによって、対象となる物体のグループのフローを推定すること、およびｃ）活動およびイベントを見つけ出すためにａ）およびｂ）の結果を組み合わせること（例えば増加する密集レベルをトラッキングし、起こりうる危険な状況などのイベント検出のために、密集レベルが高く、運動が少ないエリアを区別すること、列車／バス駅の自動分析など）に基づいて、解像度が低く、オクルージョン・レベルが高いところで活動を分析するための方法を含むことができる。
【００６５】
実施形態はまた、ａ）画像ブロックの加重された形状、色、運動パターンを使用して、オクルージョン問題を克服することを目的として、対象となる物体のテンプレートを合致させるためにブロックを結合／分割すること、ｂ）分散／平均などの統計値に基づいた各パターンの信頼レベルを使用することによって、パターンの重みを変更すること、ｃ）前景区域の個々のもの、および／または組合せに合致させるため、および検出された対象となる物体の組合せを前景区域に合致させるために、シーンの中で検出された対象となる物体のリストを保持すること、ｄ）歩行／走行／落下などの活動を見つけ出すためにａ、ｂおよびｃを使用すること、ｅ）シーンの高レベルなセマンティクスを見つけ出すために（例えば、シーンの退場／入場エリアを見つけ出すことなど）、物体検出の出力を使用し、検出の信頼度を高めるために高レベルなセマンティクスを使用すること（例えば物体がシーンを離れるか、または遮蔽されている可能性を理解するために、退場／入場エリアを使用することなど）、およびｆ）信頼できる分散型監視システムを提供することを目的として、可能な物体のトラッキングについて隣のカメラに通知を行うために、高レベルなセマンティクスを使用することに基づいて、個々の対象となる物体およびそれらの活動を見つけ出すための手段も含むことができる。
【００６６】
本発明の実施形態による例示的な方法
本発明の実施形態は、
１）ａ）改良された背景モデルの適合のために高度な時間セマンティクスを使用すること（例えば持続時間の統計値（すなわち信頼度を備えた平均、分散）、およびカラー・モデルが異なるモデル分布の混合に対応する反復パターンなど）、ｂ）改良された背景モデル適合のために高度なシーン・セマンティクスを使用すること（例えば、物体に基づくシーンの変化対視野に基づくシーンの変化についての統計値など）、ｃ）監視エリアの分析のために、高度な時間セマンティクスとシーン・セマンティクスとを組み合わせること、およびｄ）前景物体のないシーン・モデルを必要とせずに、最初の背景分析の堅固性を改良するために時間セマンティクスを使用することに基づいて、圧縮されていない領域および圧縮された領域で、カラー・モデルを使用して、背景を除去し、前景の区域を見つけ出すステップと、
２）ａ）カメラ補正およびシーン中の物体のサイズの分析に基づいて、ブロックに分割された対象となる区域を抽出すること、ｂ）（例えばＤＣＴを使用して）ブロックの低周波および高周波の構成要素のためにテンプレートを計算すること、ｃ）テンプレートをラベル付けされたテンプレート（例えば、一緒に起立している人々のグループの頭−肩エリアなど）に合致させるために調整を行うこと、およびｄ）対象となる物体の存在を見つけ出すために、入力画像テンプレートを調整されたテンプレートのものと比較することに基づいて、解像度が低く、オクルージョン・レベルが高いところで対象となる物体を見つけ出すステップと、
３）推定された密集レベルおよびオクルージョン・レベルに基づいて、適切な検出およびトラッキング・アルゴリズム（例えばグループ対個々の物体など）を選択するステップと、
４）ａ）フロー・ブロックを可能な対象となる物体でマーク付けされたエリアに対応させること、およびｂ）そのブロック中の個々のピクセルの方向およびブロック全体の方向の分散などの運動パラメータを使用して、これらの統計値に基づいてグループの運動についての信頼レベルを計算することに基づいて、解像度が低くオクルージョン・レベルが高いところで対象となるグループ物体をトラッキングするステップと、
５）ａ）解像度が低く、オクルージョン・レベルが高いところで対象となる物体を見つけ出す方法に基づいて、密集レベルを推定すること、ｂ）光フロー計算の方法を使用することによって、対象となる物体のグループのフローを推定すること、およびｃ）活動およびイベントを見つけ出すためにａ）およびｂ）の結果を組み合わせること（例えば増加する密集レベルをトラッキングし、起こりうる危険な状況などのイベント検出のために、密集レベルが高く、運動が少ないエリアを区別すること、列車／バス駅の自動分析など）に基づいて、解像度が低く、オクルージョン・レベルが高いところで活動を分析するステップと、
６）ａ）画像ブロックの加重された形状、色、運動パターンを使用して、オクルージョン問題を克服することを目的として、対象となる物体のテンプレートを合致させるためにブロックを結合／分割すること、ｂ）分散／平均などの統計値に基づいた各パターンの信頼レベルを使用することによって、パターンの重みを変更すること、ｃ）前景区域の個々のもの、および／または組合せに合致させるため、および検出された対象となる物体の組合せを前景区域に合致させるために、シーンの中で検出された対象となる物体のリストを保持すること、ｄ）歩行／走行／落下などの活動を見つけ出すためにａ、ｂおよびｃを使用すること、ｅ）シーンの高レベルなセマンティクスを見つけ出すために（例えば、シーンの退場／入場エリアを見つけ出すことなど）、物体検出の出力を使用し、検出の信頼度を高めるために高レベルなセマンティクスを使用すること（例えば物体がシーンを離れるか、または遮蔽されている可能性を理解するために、退場／入場エリアを使用することなど）、およびｆ）信頼できる分散型監視システムを提供することを目的として、可能な物体のトラッキングについて隣のカメラに通知を行うために、高レベルなセマンティクスを使用することに基づいて、個々の対象となる物体およびそれらの活動を見つけ出すステップとを含む、混雑した環境の中での物体のトラッキングおよび活動分析のための方法に関する。
【００６７】
この例示的な実施形態は、単に本発明を解説するものであり、本発明の範囲から逸脱することなく、当業者によって上述の実施形態の多くの変形形態が考案されることが可能であるということを理解されたい。したがって、すべての前述のような変形形態は、冒頭の特許請求の範囲およびその等価物の範囲内に含まれるということが意図されている。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施形態によるイベント検出のための方法を示す流れ図である。
【図２】本発明の実施形態による背景モデルの初期化のための方法を示す流れ図である。
【図３】本発明の実施形態による背景モデルの更新のための方法を示す流れ図である。
【図４】本発明の実施形態による、解像度が低く、オクルージョンのレベルが高い場合の物体検出のための方法を示す流れ図である。
【図５】本発明の実施形態による、対象となる物体（ＯＯＩ）グループのフロー推定のための方法を示す流れ図である。
【図６】本発明の実施形態によるトラッキングのための方法を示す流れ図である。
【技術分野】
【０００１】
本出願は、内容の全体が参照により本明細書に組み込まれている、２００５年９月１３日に出願した米国仮出願第６０／７１６，５４４号の利益を主張するものである。
【０００２】
本発明の実施形態は、ビデオ監視を提供するための方法およびシステムに関し、より詳細には、混雑した環境のビデオ監視を提供するためのシステムおよび方法に関する。
【背景技術】
【０００３】
物体の検出およびトラッキングのために、異なる方法が存在している。しかしながら、これらの方法およびシステムのうちの大部分は、当業者には知られているように、オクルージョン（ｏｃｃｌｕｓｉｏｎ）が少なく、解像度のレベルが高い個々の物体を検出するために適したものである。さらに、対象となる物体（ＯＯＩ）をうまく抽出すること、および対象となる物体は一般に背景シーンの複雑さか、またはいかなる前景物体も伴わない背景シーンの入手可能性によって決まる。
【特許文献１】米国仮出願第６０／７１６，５４４号
【特許文献２】米国特許出願公開第２００３／００５３６５９号
【非特許文献１】Ｇｒｉｍｓｏｎ他、「Ｕｓｉｎｇ ａｄａｐｔｉｖｅ ｔｒａｃｋｉｎｇ ｔｏ ｃｌａｓｓｉｆｙ ａｎｄ ｍｏｎｉｔｏｒ ａｃｔｉｖｉｔｉｅｓ ｉｎ ａ ｓｉｔｅ」、ＣＶＰＲ、１９９８年
【非特許文献２】Ｇｒｉｍｓｏｎ他、「Ｌｅａｒｎｉｎｇ ｐａｔｔｅｒｎｓ ｏｆ ａｃｔｉｖｉｔｙ ｕｓｉｎｇ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＰＡＭＩ、Ｖｏｌ２２、Ｎｏ８、２０００年
【非特許文献３】Ｄ．Ａ．Ｆｏｒｓｙｔｈ ａｎｄ Ｊ．Ｐｏｎｃｅ、「Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ａ Ｍｏｄｅｒｎ Ａｐｐｒｏａｃｈ」、Ｐｅａｒｓｏｎ Ｅｄｕｃａｔｉｏｎ、２００３年
【非特許文献４】Ｍａｒｋ．Ｄ．Ｆａｉｒｃｈｉｌｄ、「Ｃｏｌｏｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ」、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ、１９９８年
【発明の開示】
【発明が解決しようとする課題】
【０００４】
したがって、高性能カメラ・システムのための、改良された前景物体抽出、検出およびトラッキングのためのシステムおよび方法が必要とされている。
【課題を解決するための手段】
【０００５】
本発明の実施形態は、物体のトラッキングおよび活動分析のためのシステムおよび方法を提供することによって、これらの必要性およびその他の必要性を満たす。本発明の実施形態は、ａ）改良された背景モデルの適合のために高度な時間セマンティクスを使用すること（例えば持続時間の統計値（すなわち信頼レベルを備えた平均、分散）、およびカラー・モデルが異なるモデル分布の混合に対応する反復パターンなど）、ｂ）改良された背景モデルの適合のために高度なシーン・セマンティクスを使用すること（例えば、物体に基づくシーンの変化対視野に基づくシーンの変化についての統計値など）、ｃ）監視エリアの分析のために、高度な時間セマンティクスとシーン・セマンティクスとを組み合わせること、およびｄ）前景物体のないシーン・モデルを必要とせずに、最初の背景分析の堅固性を改良するために時間セマンティクスを使用することに基づいて、圧縮されていない領域および圧縮された領域で、カラー・モデルを使用して、背景を除去し、前景の区域を見つけ出すための手段を含む、混雑した環境の中での物体のトラッキングおよび活動分析のための装置および方法に関する。
【０００６】
本発明の実施形態は、添付の図面と合わせて考慮される、以下に示された例示的実施形態の詳細な説明から理解されることが可能である。
添付の図面は、本発明の概念を示すためのものであるということを理解されたい。
【発明を実施するための最良の形態】
【０００７】
図１に示されているように、システムは複数の部分から構成されている。初期化部分１００の後の最初の構成要素は、背景除去部分１０１である。シーンの背景モデルを得るための初期化プロセスの後、このモデルは、変化またはカメラの動きに基づいた視野によるか（例えば明暗などによる）、または物体による（例えば新たな物体の追加、または背景物体の位置の変化による）シーンの変化に適合するために、その後更新される。次いで抽出された前景物体の区域は、対象となる物体（ＯＯＩ）の存在を検出し、シーンの密集レベルを推定するために分析される（ブロック１０２）。推定されるオクルージョンおよび解像度のレベルとともに、密集レベルは適切なトラッキング・アルゴリズムを選択するために使用される（ブロック１０３）。フロー推定（１０４）およびトラッキング（１０５）アルゴリズムの出力は、イベント検出（１０６）のための運動分析を提供する。検出される可能性のあるイベントの一部は、以下で示されている例の中で挙げられているが、運動分析は異なるパターンについて調整されることが可能なので、その他のイベントがエンド・ユーザによって定義されてもよい。
【０００８】
背景の除去
本発明の実施形態のこの部分（１０１）は、ビデオでの背景の除去方法に関する。この方法は、シーンの中の一時的な変化と永続的な変化とを区別するために、高レベルなセマンティクスを発展させることに基づいている。さらに、高レベルなセマンティクスからのフィードバックは、背景モデルの統計値を適合するために使用される。
【０００９】
背景の除去プロセスのために、今日異なる方法が存在する。２つの主な分類は、連続したフレームを区別することと、現在のフレームをシーンの背景モデルと比較することに基づいている。本発明の実施形態は、後の方の方法を使用する。
【００１０】
筆者は、Ｇｒｉｍｓｏｎ他、「Ｕｓｉｎｇ ａｄａｐｔｉｖｅ ｔｒａｃｋｉｎｇ ｔｏ ｃｌａｓｓｉｆｙ ａｎｄ ｍｏｎｉｔｏｒ ａｃｔｉｖｉｔｉｅｓ ｉｎ ａ ｓｉｔｅ」（ＣＶＰＲ、１９９８年）およびＧｒｉｍｓｏｎ他、「Ｌｅａｒｎｉｎｇ ｐａｔｔｅｒｎｓ ｏｆ ａｃｔｉｖｉｔｙ ｕｓｉｎｇ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰＡＭＩ、Ｖｏｌ．２２、Ｎｏ．８、２０００年）の中で、観測されるピクセルがｔの時間に輝度値ｖを有する確率をモデル化するために混合ガウス分布を使用している。ガウス確率の合計は、重みが対応するピクセルの混合モデルの各分布に割り当てられるところで加重される。この重みは、指数平滑移動平均（ｅｘｐｏｎｅｎｔｉａｌ ｍｏｖｉｎｇ ａｖｅｒａｇｅ）を使用することによって更新される。さらに、分布の平均、分散は指数平滑移動平均を使用して、合致した分布のために更新される。
【００１１】
米国特許出願公開第２００３／００５３６５９号では、探索エリアの中で移動する物体を監視し、悪影響を及ぼす恐れのある物体の経路を検出するためのシステムが定義されている。発明者によって述べられているように、前景物体の抽出は、各ピクセルが多変量正規（ｍｕｌｔｉ−ｎｏｒｍａｌ）の表現式を有する、上で引用されたＧｒｉｍｓｏｎの方法に類似している。高周波数でオンやオフになる背景の変化（例えば通り過ぎる雲など）は、Ｇｒｉｍｓｏｎの方法では適切ではないので、この方法は変更されている。このため発明者は、ピクセルが既存の分布に合致する場合、およびピクセルがいかなる既存の分布にも合致しない場合に、ガウス確率の重みの計算を変更する。
【００１２】
しかしながら、本発明の実施形態は、シーンの一時的な変化について高レベルなセマンティクスを得ることを可能にする異なる方法に関するものである。各分布に関連した１つの重みを用いる既存の方法は、例えば周期性および偶発性のレベルが異なる反復的な変化と長期間持続する変化など、シーンの変化のパターンを区別することができない。この情報は、長期間にわたりエリアを監視する高度な監視アプリケーションのために、特に重要なものである。さらに、この方法は、システムが移動中のカメラのパラメータを背景の変化の中に組み込むことをより簡単にすることができる。
【００１３】
Ｄ．Ａ．Ｆｏｒｓｙｔｈ ａｎｄ Ｊ．Ｐｏｎｃｅの「Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ａ Ｍｏｄｅｒｎ Ａｐｐｒｏａｃｈ」（Ｐｅａｒｓｏｎ Ｅｄｕｃａｔｉｏｎ、２００３年）、およびＭａｒｋ．Ｄ．Ｆａｉｒｃｈｉｌｄの「Ｃｏｌｏｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ」（Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ、１９９８年）の中で説明されているように、異なるカラー・モデルが背景の除去プロセスのために使用されてもよい。本発明の実施形態によって、ＨＳＶおよびＹＵＶ／ＹＩＱのカラー・モデルが別々に、または組み合わせて使用されてもよい。当業者であれば、その他の適切なモデルが使用されてもよいということを理解されよう。ＹＵＶ（またはＹＩＱ）とは、１つのルミナンス（Ｙ）と２つのクロミナンス要素（ＵおよびＶ）を有するカラー・モデルである。ＹＵＶはカラーＴＶに適したカラー・モデルであり、また人間の目はルミナンスに対してよりもクロミナンスに対しての方がより感度が低いことから、クロミナンス情報の圧縮のために優れた表現である。ＹＵＶスペースは、欧州でＰＡＬブロードキャスト・テレビジョン・システムのために使用されている。ＹＩＱカラー・スペースは、北米でＮＴＳＣブロードキャスト規格のために使用されている。ＨＳＶは色相、彩度および数値で表現されるカラー・モデルである。数値は、明度または輝度を表す。彩度は色の彩度を判定し、円錐の半径である。色相は、０から３６０度までで波光（波長）の周波数を判定する。値は、０から１までで白色光のレベルを判定し、円錐の高さである。彩度は色の豊かさである。中心軸近くの色が低い彩度を有する一方で、円錐の表面近くの色は高い彩度を有する。色相値は、赤が０で（赤は、Ｖ＝１．０；Ｓ＝１．０で、Ｈ＝０度の座標を有する）、０から３６０度の間である。彩度が０に設定されると、色相は判定されず、値の軸はグレイ・スケールのイメージを表す。最も一般的なＨＳＶの量子化は１６２（１８×３×３）ビンの中にある。
【００１４】
背景は、異なる理由のせいで変化する場合がある。背景の変化は、例えば明暗および物体の変化など、また例えば雲、新たな永続的な物体などの、環境の変化によるものである場合がある。時間的な特性については、これらは反復的および一定的変化として分類されることが可能である。例えば、木の枝および雲の動きによって、異なる背景モデルを有するピクセル／ブロックは反復的な方法で変化する。木の枝によって影響を受けるエリアでは、これらのエリアの中での反復の持続時間は、通り過ぎる雲によって影響を受ける空のエリアとは異なる。駐車中の車は、変化が一定である時間間隔の間、背景モデルを変化させる。明暗は、例えば昼対夜などの長い期間についての反復的な方法か、または電気をオンにすること、新たな物体による影等などの偶発的な方法で突然に変化することが可能である。
【００１５】
既存のアルゴリズムの１つの欠点は、絶対時間に関して、背景の除去のための時間的モデルを判定することが簡単ではないということである。本発明の実施形態の目的は、変化が生じる持続時間および変化の時間的特性に応じて変化を分類することによって、背景シーンの中の変化をモデル化することである。このために、持続時間および忘却係数の２つの時間パラメータが使用されることが可能である。持続時間は、ピクセル／ブロックが背景モデルに割り当てられるフレームの数を判定する。忘却係数は、ピクセル／ブロックが背景モデルに最後に割り当てられた時を判定する。反復モデルでは、２つの背景モデルの持続時間は同様のものであるが、その一方で忘却係数はこれら２つのモデルについて、それぞれ異なっている。比較的一定した変化では、新たな背景モデルについて持続時間はより長くなり、忘却要素は小さくなるが、その一方で対応するエリアについてのその他の背景モデルの忘却係数はより大きくなり、継続期間は一定のままである。前景物体モデルについては、同じパラメータが使用されるということに留意されたい。さらに、これらのパラメータによって、エンド・ユーザは前景物体抽出モデルを制御することができる。例えば１つの適用例では、目的は駐車時間などの情報を集めるために、駐車中の車を前景物体として分類することであってもよく、一方で別の適用例では、道に沿って駐車された車が背景物体とみなされてもよい。
【００１６】
初期化段階の間に背景モデルの統計値が計算される（図２）。背景モデルの統計値はモデル構成要素の平均および共分散、ならびに背景モデルの持続時間（すなわちピクセル／ブロックが対応する背景モデルに割り当てられるフレームの数）から構成されている。さらに忘却係数が計算され、その分散が観測される。はじめに、ステップ２０１でパラメータが初期化される。画像は、平滑化オプションが選択される（ブロック２０２）場合、背景ノイズの影響を減少させるために平滑化されてもよい（ブロック２０３）。初期化段階での各フレームのために、背景モデルのパラメータが更新される（ブロック２０４）。初期化段階は、調整条件の基準が満たされるまで継続する（ブロック２０５）。この基準は、調整期間の間の持続時間が最も多い分布の分散に基づいていてもよい。初期化段階の間、異なる分類方法（例えばＫ−ｍｅａｎｓアルゴリズムなど）が適用されることが可能である。
【００１７】
物体の検出およびトラッキングは、最初の調整部分の間には実行されないということに留意されたい。背景モデル化の調整部分は、シーンの情報を得ることが、アルゴリズムの検出およびトラッキングの信頼性および堅固性を向上させることを可能にする。目的は、任意の静止した前景物体を除去することである。適合段階は、シーンの中の一時的な変化と永続的な変化とを区別し続ける。
【００１８】
持続時間および忘却係数は、上述のような背景モデルの中の変化についての高レベルなセマンティクスを得るために使用される時間的な統計値である。
【００１９】
調整段階の間、一部の前景物体はしばらく静止してもよい。調整段階の間に物体が長い期間静止している場合、それは背景物体として仮定される。したがって、調整期間は、一時的な物体と永続的な物体とを区別するための基準を定義する。例えば、監視カメラが信号のところに配備されている場合、最初に赤信号で停止している車は背景物体とはならないが、一方で道の隣で駐車されている車は背景の一部となる。また、この分類は適合段階の間継続するということにも留意されたい。さらに、対象となる物体の検出は、前景物体を区別するために使用されてもよい。
【００２０】
調整の後、最初の背景モデル（ブロック３０２）は変化に対して適合される（図３）。調整段階が処理の前にフレームを平滑化する場合、同じ平滑化プロセス（ブロック２０３）が後で適合される。忘却係数を用いて指数移動平均を取り入れることによって、背景モデルが更新される（ブロック３０１）。忘却係数が大きい場合、新たな更新が有力なものとなる。そうではない場合、平均部分が有力なものとなる。各ピクセルのカラー構成要素は、各分布の統計値と比較される。ピクセルが分布のうちの１つと合致する場合、平均、分布の共分散、持続時間および忘却係数が更新される。そうではない場合、新たな背景の分布が作成される。新たな前景物体が永続的な背景の変化である場合、このエリアはその後背景とみなされる。この判定は、これが視野に基づくか、または物体に基づく変化による反復的な変化であるかどうかを理解するために、持続時間および忘却係数に基づくものでもよい。持続時間パラメータは、背景の変化の再出現に基づいて計算されてもよい所定の期間に応じて正規化されることが可能であるということに留意されたい。物体の検出およびトラッキングの結果（ブロック１０２〜１０５）は、ＯＯＩモデルに合致しない前景としてラベル付けされた区分がある場合に（ブロック３０３）、背景モデルを修正するために使用される。対象となる物体の隣にある区分は、陰影、背景エラー等の複数の要素によって、前景区域として誤って分類される場合がある。この区域が物体検出ステップ（１０２）で、対象となる物体の一部として分類されない場合、この区域を背景物体として分類するためにフィードバックが使用される。この機能は、前述のような陰影を除去するような場合を改良するために役立つ。このシステムの目的は、背景−前景分類のための柔軟なモデルを有するということである。例えば駅の監視システムは、人以外のすべてのものは背景とみなされながら、人々だけを監視することを目的としてもよい。このため、シーンの中のその他の物体を背景物体として分類するために、物体検出アルゴリズムからのフィードバックが使用されてもよい。
【００２１】
背景モデルの大部分は、可能な前景物体を形成するために、接続された構成要素が後で適用される場所に基づいたピクセルである。背景のピクセルを再分類するために、前景物体検出からのフィードバックを使用することは、例えば人が、その人の衣服に類似した背景色のエリアに向かって歩いている場合など、複数の場合における誤分類を克服するためにも役立つ。さらに、背景モデルの高レベルなセマンティクスが計算され（ブロック３０４）、それらは更新プロセスに対するフィードバックとして使用される。
【００２２】
アルゴリズムは、ピクセル／ブロックが有する可能性のある分布の最大数を使用する。この数はピクセル／ブロックを背景モデルに割り当てるために、比較基準によって制御される。例えば、基準が０と２５５との間のルミナンス構成要素の平均に基づいており、しきい値が６４である場合には、この値は最大で４である。分布の最大数に厳しい制限がある場合、最大の忘却係数と最小の持続時間とを備えた背景モデルが上書きされてもよい。忘却係数は、ピクセル／ブロックが対応する背景モデルに最後に割り当てられた時を現在のフレーム数に設定することによって、更新される。
【００２３】
ＯＯＩの検出および密集レベルの推定
本発明の実施形態のこの部分（１０２）は、ＯＯＩの存在を見つけ出す方法に関する。この方法は、オクルージョンのレベルが高く、解像度のレベルが低い混雑した環境の中で人などのＯＯＩを検出するために適している。可能な適用例は、密集レベルを検出するために、密集したエリアの中で人々を検出することである。他の物体検出方式とは違って、解像度が低く、オクルージョンのレベルが高いために、これらの画像の中で確実に色、形状および運動が使用されることはできない。したがって、検出のために、ＤＣＴ係数に基づいたより抽象的な表現が使用される（図４）。
【００２４】
上で定義された背景除去アルゴリズムは、運動分析が行われる対象となる区域（ＲＯＩ）を抽出するために（４０１）、高レベルなシーン情報とともに使用される。高レベルな情報（４０２）は、マスキング・プロセスとしてユーザによって導入されるか、またはシーンの中で所定のＯＯＩを検出するためにアプリオリな調整を実行することによって導入されてもよい。後者のものは、類似のシーンを使用することによって、その区域にラベル付けするために自動的に行われる。例えば、駅の中の監視エリアはプラットフォームおよび鉄道エリアから構成されていてもよい。物体の検出は、所定の対象となる区域の中だけで行われてもよい。その後、異なる対象となる区域での物体検出結果に応じて、異なるイベントが定義される。
【００２５】
次いでこれらの対象となる区域は、物体検出アルゴリズムを適用するために、ブロック分割される（４０３）。ＯＯＩを検索するための画像中のブロック・サイズは、カメラに対する位置によって決まる。このために、従来のカメラ補正方法が使用されることが可能である。最も簡単な形態では、複数の（ｎ個の）ブロック・サイズは、フレームをｙ方向でｎの区域に分割することによって使用されてもよい。
【００２６】
両方の方向にスライドされた各ブロックのために、ＤＣＴ係数が計算される（４０４）。解像度が低い画像エリアでは、カラー構成要素は一般に信頼性が高いものではないので、ルミナンス値のＤＣＴ係数のみが使用されてもよい。彩度のレベルが高い（例えばＳ＞ＨＳＶカラー・モデルのしきい値）場合、カラー構成要素のＤＣＴ係数も使用されてよい。
【００２７】
次いで、ＤＣＴ係数に基づいたＯＯＩのテンプレート（４０５）は、モデル・テンプレート（４０６）と比較するために（４０７）作成される。このテンプレートのための選択肢は、元々のブロックのより小さなブロックの中でＤＣＴ係数を使用することである。例えば、先頭エリアは、円形エリアの境界の中で高いＡＣ値を形成する。その他の選択肢は、ＤＣＴ値に基づいて固有画像（ｅｉｇｅｎｉｍａｇｅｓ）を作成することである。このために、第１のｍのＡＣ係数の加重総和が使用されてもよい。固有画像は、ＯＯＩのシルエットを作成する。例えばこのために、人々の頭−肩のエリアのシルエットが使用されてもよい。シルエットのためのモデル・テンプレートは、遮蔽されたシルエットための調整によって作成されることが可能である。その後、モデル・テンプレートを計算されたシルエットと比較するために、主要構成要素分析が使用されてもよい。
【００２８】
ＤＣＴ係数の変わりに、ウェーブレット・パラメータ（または同様の圧縮方法）もまた、遮蔽されたＯＯＩを検出するために使用されてもよい。
【００２９】
この部分の出力によって、シーンの中の密集レベルの推定が可能になる。シーン（またはシーンの一部）の密集レベルによって、グループまたは個々の運動分析が実行される。後で、異なるアプリケーションが実装されてもよい。例えば、エリア当たりの起立している人の数がしきい値を上回る場合に警報を与えるために、次の節で説明されるフロー推定アルゴリズムが使用されてもよい。
【００３０】
密集レベルを計算するために、各ブロックで、ＯＯＩが検索されるエリアは１とマークされる。エリア全体に対して１とマークされるエリアの割合が所定のしきい値よりも大きい場合、そのエリアは密集しており、エリア当たりの密集レベルが計算される。ブロックのサイズは、カメラの補正結果に応じて適合されるということに留意されたい。
【００３１】
検出プロセスの信頼度を高めるために、同じアルゴリズムがＮ個のフレームに適用され、結果の平均がブロックのために使用される。フレームの数Ｎは、フロー推定の結果によって決まる。フロー推定がブロックの中で高い運動性および変化を示す場合、Ｎのために小さな数が選択され、そうでない場合、検出の信頼度を高めるために大きな数が使用される。結果は、ＲＯＩ（４０２）およびＯＯＩ（４０６）の属性を更新するために使用される。例えば、ＯＯＩの固有画像は大きな数Ｎのための小さな分散で計算される場合、テンプレート・モデルの中に含まれる。
【００３２】
ＯＯＩグループのフロー推定
図５を参照し、続いて図１を参照すると、本発明の実施形態のこの部分（１０４）は、ＯＯＩのフローを推定する方法に関する。本発明の実施形態の目的は、低レベルな運動特徴を計算するために単純で迅速なアルゴリズムを使用しながら、それらを群集運動の平均の推定などの高レベルな属性に結び付けるために、堅固で信頼度の高い方法を使用することである。このアルゴリズムは、検出されたＯＯＩに運動特徴を結び付けるために、物体検出アルゴリズムとともに使用される。ＯＯＩは柔らかい物体（例えば人、動物など）および堅い物体（例えば車、列車など）であることが可能である。このアルゴリズムの結果は、群集フローの推定のために使用されてよい。考えられる適用例は、人々、動物、車等のグループのためのフロー推定を含む。
【００３３】
前節で選択されたブロックのために、例えばＫａｎａｄｅ−Ｌｕｃａｓトラッキング・アルゴリズムなどの異なるアルゴリズムが、低レベルの運動特徴（５０１）を計算するために使用されることが可能である。このアルゴリズムの出力は、ｘおよびｙ方向で運動ベクトルを示す。運動ベクトルの大きさが所定のしきい値よりも大きい場合、グループの中の各ピクセルのための方向（例えば４または８の方向）が判定される。全体の方向および大きさは、方向および大きさの値（５０３）に基づくピクセルを使用することによって計算される。例えば平均および分散値など、異なる統計値が運動属性のために使用されてもよい。ブロックの中の分散は、ブロックエリア中のＯＯＩの異なる運動、またはこのブロックの中のＯＯＩの一部の異なる運動によるものである可能性がある。これらの２つの場合を区別し、運動分析をより信頼できるものにするために、前節で検出された運動グループおよびＯＯＩ区域は、低レベルの運動パラメータを、例えば特定のＯＯＩの運動などの高レベルのセマンティクスに結び付けることを目的としてマップされる。このために、ＯＯＩとラベル付けされたエリアは、特定の運動ベクトルのために、１とマーク付けされたエリアと比較される。
【００３４】
フロー推定の信頼度を高めるために、ブロックの運動がＭ個のフレームでトラッキングされ、平均運動が計算される。Ｍは、ブロック中の個々のピクセルの方向およびブロック全体の方向の分散などの運動パラメータによって決まる。パラメータは、Ｍ個のフレームの各々で再設定される。Ｍはブロック当たりで選択されるか、またはシーン中の最も高い運動性に基づいて選択されてもよい。
【００３５】
運動ベクトルは、ＲＯＩ（４０２）およびＯＯＩ（４０６）の属性を特徴付けるためにも使用される。例えば、鉄道エリアの運動ベクトルは、運動ベクトルが同じ方向にうまく向けられた高速エリアに一致する。これは、前節で定義された特徴に関連した形状などのその他の属性とともに、（やって着て、停止し、出発する）列車を検出するために使用される。
【００３６】
イベント検出（５０４）は、物体検出の出力およびフロー推定アルゴリズムを使用することによって、使用される。例えば鉄道駅については、ＲＯＩはプラットフォームおよび鉄道エリアであり、一方でＯＯＩは人々および列車である。ブロックの中でまとめられた運動ベクトルは、その大きさが特定のしきい値を上回る場合、処理されてもよい。一例では、起立している移動中の人の割合が計算され、表示される。エリア当たりの起立している人の数がしきい値を上回る場合、警報が与えられる。
【００３７】
トラッキング
図６を参照し、続いて図１を参照すると、本発明の実施形態のこの部分（１０５）は、例えば個々の人々の行為などの運動分析を行うために個々のＯＯＩをトラッキングする方法に関する。この部分のトラッキング・アルゴリズムは対象となる物体（ＯＯＩ）の形状、色および運動パターンに基づいている。目的は、異なるフレーム中の区分の低レベルの画像特徴を合致させるために単純で迅速なアルゴリズムを使用しながら、それらを高レベルのＯＯＩの属性に結び付けるために、区域を結合／分割するための高度なアルゴリズムを使用することである。低レベルの特徴はフレーム中の区域のピクセルの色、運動ベクトルであることが可能であり、その一方で高レベルの属性は、この区域（例えば、カメラの方に向かって移動している人の頭−胴体エリアに対応する区域など）に割り当てられたラベルである。ＯＯＩは柔らかい物体（例えば人、動物など）および堅い物体（例えば車、列車など）であることが可能である。このアルゴリズムの結果は、イベント分類のための関節運動、ジェスチャー、剛体運動を含めて、運動分析のために使用されてもよい。この発明の目的は、オクルージョンおよび視野変更の場合にも、堅固で信頼度の高いＯＯＩのトラッキングを提供することである。
【００３８】
前景区域は、前景とマーク付けされたピクセルの結び付けられた構成要素として、背景除去アルゴリズム（１０１）から取得される。区域は、異なる前景区分の組合せであってもよい。
【００３９】
各区域は、（ステップ６０２で属性を形成するための）以下の構造を有する。
【００４０】
区域の輪郭点が使用される場合：
Ｎｕｍｂｅｒ：この区域の輪郭点の数
Ｘ：この区域の輪郭点のｘ座標
Ｙ：この区域の輪郭点のｘ座標
Ｍ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の平均（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）。一部の実施形態では、その他の統計値が含まれてもよい。
ＣＶ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の共分散（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
Ｂｌａｃｋｌｉｓｔ＿ｎｕｍ：この区域に合致されるべきではないＯＯＩ区域の数。実装によって、Ｂｌａｃｋｌｉｓｔ属性は、ＯＯＩ区域の属性として設定されてもよい。
Ｂｌａｃｋｌｉｓｔ：この区域に合致されるべきではないＯＯＩ区域のＩＤ（ｉｄｓ）を維持するための配列。
Ｄｉｆｆｅｒｅｎｃｅ：この区域とトラッキングされる人区域との間の属性の場合の差を保持するための時間的値。一部の実施形態では、実装によって、この値は置き換えられてもよい。
【００４１】
区域中のすべての点が使用される場合：
Ｎｕｍｂｅｒ：この区域の中の点の数
Ｘ：この区域の点のｘ座標
Ｙ：この区域の点のｘ座標
Ｍ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の平均（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
ＣＶ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の共分散（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
Ｂｌａｃｋｌｉｓｔ＿ｎｕｍ：この区域に合致されるべきではない人区域の数。
Ｂｌａｃｋｌｉｓｔ：この区域に合致されるべきではない人区域のＩＤを維持するための配列。
Ｄｉｆｆｅｒｅｎｃｅ：この区域とトラッキングされる人区域との間の属性の場合の差異を保持するための時間的値。
【００４２】
例えばテクスチャ・パターンおよび／または肌色の小区域など、その他の属性が属性リストの中に追加されてもよいということが、当業者には理解されよう。
【００４３】
各前景区域（６０１）のための属性は、ステップ６０２で計算される。入力引数はＮｕｍｂｅｒ、ｘ、ｙおよびフレーム中の点のカラー値である。カラー構成要素の統計値（例えば平均および分散など）は、区域の異なるブロックのために生産される。これは、ＯＯＩの異なる部分を区別し、オクルージョンの場合にＯＯＩの部分をトラッキングするために役立つ。
【００４４】
トラッキングされる各ＯＯＩ区域は以下のような属性を有する。
Ｍｅａｎ＿Ｘ：ＯＯＩ区域の中の点のＸ座標の平均
Ｍｅａｎ＿Ｙ：ＯＯＩ区域の中の点のＹ座標の平均
Ｍａｘ＿Ｘ：ＯＯＩ区域の中の点の最大値Ｘの座標
Ｍｉｎ＿Ｘ：ＯＯＩ区域の中の点の最小値Ｘの座標
Ｍａｘ＿Ｙ：ＯＯＩ区域の中の点の最大値Ｙの座標
Ｍｉｎ＿Ｙ：ＯＯＩ区域の中の点の最小値Ｙの座標
Ｍａｊｏｒ＿Ｘ：ＯＯＩ区域の中の点のＸ座標の長軸
Ｍａｊｏｒ＿Ｘ：ＯＯＩ区域の中の点のＹ座標の長軸
Ｆｉｒｓｔ Ｆｒａｍｅ：このＯＯＩが検出される第１フレーム。実装（例えば割り込み優先順位、速度制約など）およびコンピュータの処理能力によっては、すべてのフレームがトラッキングのために処理されるわけではない。フレームのうちのいくつかは、スキップされる場合がある。すべてのフレーム、および処理されるフレームのために、フレーム数を別にしておくことが重要である。ＯＯＩのための属性は、処理されるフレームの数に基づくことが可能である。
Ｌａｓｔ Ｆｒａｍｅ：このＯＯＩが検出される最後のフレーム
Ｃｏｍｂｉｎｅｄ＿Ｆｌａｇ：ＯＯＩが現在のフレームの中の単一の物体として、または別の物体に隠蔽されたものとして検出される場合に示されるフラグ。
Ｍ＿ｃｏｌｏｒ［ｉ］：ウィンドウ中のカラー・モデルのｉ番目の構成要素の平均（ＯＯＩの異なるウィンドウで表示されたエリアの中のカラー属性）（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
ＣＶ＿ｃｏｌｏｒ［ｉ］：ウィンドウ・エリアの中のカラー・モデルのｉ番目の構成要素の共分散（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
ＭａｔｃｈｅｄＲｅｇｉｏｎ：このＯＯＩに合致された前景区域のＩＤ
Ｄｘ：現在のフレームの中のこのＯＯＩのＭｅａｎ＿Ｘと検出されていた前のフレームの中のこのＯＯＩのＭｅａｎ＿Ｘとの間の距離
Ｄｙ：現在のフレームの中のこのＯＯＩのＭｅａｎ＿Ｙと検出されていた前のフレームの中のこのＯＯＩのＭｅａｎ＿Ｙとの間の距離
Ｄｖ：ＤｘとＤｙとから計算されたＯＯＩの運動の速度。速度は、このＯＯＩのための現在のフレームと最後に処理されたフレームとの間の差に応じて、正規化されるべきである。
【００４５】
さらに、物体が遮蔽される場合にエラーを減少させるために、単一のＯＯＩが単一の区域か、または区域の組合せに合致される場合、以下の属性が保持される（視野の角度および／またはそれらの運動が変化すると、物体の属性はやがて変化するので、これらの属性の使用法はＯＯＩによって決まる）。
Ｓｉｎｇｌｅ＿Ｍｅａｎ＿Ｘ：ＯＯＩ区域の中の点のＸ座標の平均
Ｓｉｎｇｌｅ＿Ｍｅａｎ＿Ｙ：ＯＯＩ区域の中の点のＹ座標の平均
Ｓｉｎｇｌｅ＿Ｍａｊｏｒ＿Ｘ：ＯＯＩ区域の中の点のＸ座標の長軸
Ｓｉｎｇｌｅ＿Ｍａｊｏｒ＿Ｘ：ＯＯＩ区域の中の点のＹ座標の長軸
Ｓｉｎｇｌｅ＿ＬａｓｔＦｒａｍｅ：このＯＯＩが検出される最後のフレーム
Ｓｉｎｇｌｅ＿Ｍ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の平均（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
Ｓｉｎｇｌｅ＿ＣＶ＿ｃｏｌｏｒ［ｉ］：この区域の中のカラー・モデルのｉ番目の構成要素の共分散（例えば、ＨＳＶカラー・モデルが使用される場合、色相、彩度および値の構成要素が計算される）
【００４６】
例えばテクスチャ・パターンおよび／または肌色の小区域など、その他の属性が属性リストの中に追加されてもよいということが、当業者には理解されよう。
【００４７】
アクティブ・リストからＯＯＩを除去するための複数の選択肢が存在する。１つの選択肢では、ＯＯＩは監視エリアの視野の外側にいると仮定される場合、それ以上トラッキングされた物体の表の中に維持されることはない。この仮定は、このＯＯＩがその最後のフレーム以来検出されていない処理されたフレームの数を述べるしきい値に基づいている。さらに、この目的で（例えば、検出されたＯＯＩの最初フレームおよび最後のフレームの位置を使用することによって、シーンの入場／退場エリアを推定することなど）、シーンについての高レベルな情報が使用されることになる。しかしながら、このリストは、１）同じＯＯＩが視野のエリアに入った／視野のエリアから退いたと仮定される場合（例えば人々のＩＤが、フレームの高解像度が利用可能であるときに、顔認識またはその他のアイデンティティに基づいた認識アルゴリズムに基づいて保持される場合など）、および２）ＯＯＩがカメラの視野エリアから出て、別の隣のカメラの視野エリアに入るところで、複数のカメラの調整が実施される場合の２つの場合について、物体が視野エリアの外側にある場合でもＯＯＩの情報を保持してよい。本発明の実施形態は、監視のために複数のカメラが使用されるところで使用されてもよい。既存のアルゴリズムは、複数のカメラからの画像融合のために使用されてもよい。この場合、中央プロセッサは複数のカメラから得られたフレームのために本発明の実施形態を適用する。別の選択肢は、各カメラがその視野エリアを処理し、次いで位置情報に基づいて、候補のカメラにトラッキング・データを送信する分散型システムを使用することである。任意で、各ＯＯＩの属性は対応するフレーム番号とともに保存される。
【００４８】
合致ブロック６０３のための入力は、現在のフレームの中の前景区分と、以前のフレームの中の検出されたＯＯＩである。処理されるべき個々の前景区域および組み合わせられた前景区域（ＲＥＧ）の区域番号が存在する。本明細書で説明される例示的なアルゴリズムは、区域についての外側ループを使用し、複数の区域に対して、トラッキングされているものと同じＯＯＩを合致させてもよい。したがって、この区域を別のＯＯＩに合致させるために、区域が以前にＯＯＩに合致していない場合、区域番号が増やされてもよい。
【００４９】
ＯＯＩについて、以下の遷移が生じてもよい。
１．区域に合致された単一のＯＯＩ→別のＯＯＩのある領域に合致された、遮蔽されたＯＯＩ
２．別のＯＯＩのある区域に合致された、遮蔽されたＯＯＩ→区域に合致された単一のＯＯＩ
【００５０】
第２の選択肢は、以前のフレームの中でＯＯＩが単一のＯＯＩとして検出されなかった場合、最初にオクルージョンのレベルおよび利用可能な解像度に応じて、１つのＯＯＩとして２つのＯＯＩが合致することにつながってもよい。
【００５１】
合致アルゴリズムは、ＲＥＧ（個々の前景区分または組み合わせられた前景区分）によって示された区域を個々のＯＯＩまたは組み合わせられたＯＯＩに合致させる。合致プロセスを明確にするために、以下に（ブロック６０３〜６０５についての）例示的なアルゴリズム・フローが示される。トラッキングを目的として、シーンの中の新たな区分を合致させるために、同様のアルゴリズムがＯＯＩの高レベルの属性を集めるために使用されてもよい。
【００５２】
ＲＥＧのＯＯＩへの合致
【００５３】
組合せが、それらの中でいかなる制約もなく行われる場合、一部の組合せは意味のないものである場合がある。２つの領域があって間に別の区域を有するが、その中間のものが取られることはないといった場合である。組み合わせられた区域の間の小さな区域のミスを考慮に入れるために、組み合わせられた検索の選択肢が含まれる。
【００５４】
ＬＯＣＡＴＩＯＮ＿ＴＡＢＬＥは、ＲＥＧの中の個々のＯＯＩの位置を定義する。ＯＯＩは区域の最も左側（ＭＩＮ＿Ｘ）および／または区域の最も右側（ＭＡＸ＿Ｘ）および／または区域の最下部（ＭＩＮ＿Ｙ）および／または区域の最上部（ＭＡＸ＿Ｙ）および／または区域の内側にあってもよい。ＯＯＩが別のＯＯＩか、または背景物体で遮蔽されている場合、ＯＯＩの位置はＯＯＩ上の異なるウィンドウで表示されたエリアに基づいて、色、形状、運動属性および（変位制約などの）制約を使用することによって見つけ出される。例えば、ＯＯＩ上の異なるウィンドウで表示されたエリアは、カラー構成要素に基づいて、ＲＥＧに対して合致される。ＯＯＩの一部が遮蔽されている場合、一部のウィンドウで表示されたエリアは合致されることはないが、別のエリアは、（物体の平均の推移についてだけ対処するアルゴリズムとは対照的に）オクルージョンのレベルに応じて合致する。
【００５５】
ＯＯＩが任意の区域（６０６）に合致されない場合、以下のように、対応するＲＥＧのために新たなＯＯＩが作成される（６０７）。
新たなＯＯＩ属性の設定
ＯＯＩ．Ｍａｘ＿Ｘ＝ＲＥＧ．Ｍａｘ＿Ｘ
ＯＯＩ．Ｍｉｎ＿Ｘ＝ＲＥＧ．Ｍｉｎ＿Ｘ
ＯＯＩ．Ｍａｘ＿Ｙ＝ＲＥＧ．Ｍａｘ＿Ｙ
ＯＯＩ．Ｍｉｎ＿Ｙ＝ＲＥＧ．Ｍｉｎ＿Ｙ
ＯＯＩ．Ｍａｊｏｒ＿Ｘ＝ＯＯＩ．Ｍａｘ＿Ｘ−ＯＯＩ．Ｍｉｎ＿Ｘ；
ＯＯＩ．Ｍａｊｏｒ＿Ｙ＝ＯＯＩ．Ｍａｘ＿Ｙ−ＯＯＩ．Ｍｉｎ＿Ｙ；
ＯＯＩ＿Ｍｅａｎ＿Ｘ＝ＲＥＧ＿Ｍｅａｎ＿Ｘ；
ＯＯＩ＿Ｍｅａｎ＿Ｙ＝ＲＥＧ＿ｍｅａｎ＿Ｙ；
ＯＯＩ＿Ｌａｓｔｆｒａｍｅ＝ｔｈｉｓ ｆｒａｍｅ；
ＯＯＩ＿Ｆｉｒｓｔｆｒａｍｅ＝ｔｈｉｓ ｆｒａｍｅ；
ＯＯＩ＿Ｍａｔｃｈｅｄｒｅｇｉｏｎ＝ＲＥＧ；
ＯＯＩ．Ｃｏｍｂｉｎｅｄ＿ｆｌａｇ＝０
ＯＯＩ．Ｍ＿ｃｏｌｏ［ｉ］＝ＲＥＧ．Ｍ＿Ｃｏｌｏｒ［ｉ］
ＯＯＩ．ＣＶ＿ｃｏｌｏｒ［ｉ］＝ＲＥＧ．ＣＶ＿Ｃｏｌｏｒ［ｉ］
ＯＯＩ．Ｄｘ＝０
ＯＯＩ．Ｄｙ＝０
ＯＯＩ．Ｄｖ＝０
ＯＯＩ．Ｓｉｎｇｌｅ＿Ｍｅａｎ＿Ｘ＝ＯＯＩ．Ｍｅａｎ＿Ｘ
ＯＯＩ．Ｓｉｎｇｌｅ＿Ｍｅａｎ＿Ｙ＝ＯＯＩ．Ｍｅａｎ＿Ｙ
ＯＯＩ．Ｓｉｎｇｌｅ＿Ｍａｊｏｒ＿Ｘ＝ＯＯＩ．Ｍａｊｏｒ＿Ｘ
ＯＯＩ．Ｓｉｎｇｌｅ＿Ｍａｊｏｒ＿Ｘ＝ＯＯＩ．Ｍａｊｏｒ＿Ｘ
ＯＯＩ．Ｓｉｎｇｌｅ＿ＬａｓｔＦｒａｍｅ＝ＯＯＩ．ＬａｓｔＦｒａｍｅ
ＯＯＩ．Ｓｉｎｇｌｅ＿Ｍ＿ｃｏｌｏｒ［ｉ］＝ＯＯＩ．Ｍ＿ｃｏｌｏｒ［ｉ］
ＯＯＩ．Ｓｉｎｇｌｅ＿ＣＶ＿ｃｏｌｏｒ［ｉ］＝ＯＯＩ．ＣＶ＿ｃｏｌｏｒ［ｉ］
【００５６】
１つのＯＯＩが２つ以上の区域（６０８）に合致される場合、以下のサブルーチン（６０９）が実行される。
ＯＯＩに合致されるべき最も近いＲＦＧを見つけ出す
【００５７】
合致プロセスは、アクティブ・リストの中のＯＯＩ間の色、形状および運動の差、および現在のフレームの中の新たな区分を考慮に入れるので、オクルージョンの影響は減少される。運動推定部分は、ＯＯＩに合致された区域の部分の平均運動を計算する。異なる運動推定アルゴリズムは、上述のような低レベルの特徴を使用することによって、現在のフレームの中の区域を前のフレームの中のＯＯＩに対応する区域と合致させるために使用されることが可能である。この部分は、低レベルの特徴によって合致された区分の組合せ／断片化として見つけ出された区域の高レベルな合致に対処する。したがって、以下の運動パラメータは、ＯＯＩの全体またはＯＯＩの一部（例えば、人間の四肢、胴など）としてラベル付けされた区域に対応する。
【００５８】
以下のサブルーチンは、シーンを離れたＯＯＩのなどの古い情報を除去するための一例である。著しいオクルージョンまたはその他のエラーによって合致が失敗する可能性があるので、ＯＯＩはリストから直ちに除去されることはない。
ＯＯＩリストの更新
【００５９】
アルゴリズムは、複数のＯＯＩについて、特定のフレーム当たり処理時間を超えないように最適化されなければならない。ＯＯＩが多数ある複雑なシーンについては、処理能力の制限のために、いくつかのフレームがスキップされる場合がある。これは処理されるフレームの数に対する、しきい値（特には位置および運動の差）の適合を必要とする。例えば２つのフレームがスキップされる場合、ＯＯＩの最後の位置とその新たな位置との間の差は大きくなる。
【００６０】
（物体のサイズが小さな）解像度の低い画像では、運動分析は本体の全体に基づいて実行され、一方で解像度の高い画像では、運動分析は異なる物体の部分の分析に基づいて実行される。この節で説明されている後者のものの結果は、異なるイベント検出のために使用されてもよい。例えばＤｘおよびＤｙ値は、ＯＯＩの方向およびその速度（例えば歩行対走行など）を推定するために使用されてもよい。（起立している人のためのＭＡＸ＿Ｙ部分に対応する）検出された頭部エリアとともにＭａｊｏｒ＿ＸおよびＭａｊｏｒ＿Ｙ属性を使用することは、落下した人を検出するために役立つことがある。列車、車などの堅い物体の運動分析は、ＯＯＩ．Ｄｘ、ＯＯＩ．ＤｙおよびＯＯＩ．Ｄｖの属性を比較することによって同様に行われる。
【００６１】
本発明の実施形態による例示的装置
本発明の実施形態は、ａ）改良された背景モデルの適合のために高度な時間セマンティクスを使用すること（例えば持続時間の統計値（すなわち信頼度を備えた平均、分散）、およびカラー・モデルが異なるモデル分布の混合に対応する反復パターンなど）、ｂ）改良された背景モデル適合のために高度なシーン・セマンティクスを使用すること（例えば、物体に基づくシーンの変化対視野に基づくシーンの変化についての統計値など）、ｃ）監視エリアの分析のために、高度な時間セマンティクスとシーン・セマンティクスとを組み合わせること、およびｄ）前景物体のないシーン・モデルを必要とせずに、最初の背景分析の堅固性を改良するために時間セマンティクスを使用することに基づいて、圧縮されていない領域および圧縮された領域で、カラー・モデルを使用して、背景を除去し、前景の区域を見つけ出すための手段を含む、混雑した環境の中での物体のトラッキングおよび活動分析のための装置に関する。
【００６２】
この装置はさらに、ａ）カメラ補正およびシーン中の物体のサイズの分析に基づいて、ブロックに分割された対象となる区域を抽出すること、ｂ）（例えばＤＣＴを使用して）低周波および高周波のブロックの構成要素のためにテンプレートを計算すること、ｃ）テンプレートをラベル付けされたテンプレート（例えば、一緒に起立している人々のグループの頭−肩エリアなど）に合致させるために調整を行うこと、およびｄ）対象となる物体の存在を見つけ出すために、入力画像テンプレートを調整されたテンプレートのものと比較することに基づいて、解像度が低く、オクルージョン・レベルが高いところで対象となる物体を見つけ出すための手段を含むことができる。
【００６３】
本発明の実施形態によって、この装置は、推定された密集レベルおよびオクルージョン・レベルに基づいて、（例えばグループ対個々の物体などの）適切な検出およびトラッキング・アルゴリズムを選択するための手段を含むことができる。さらに、この装置は、ａ）フロー・ブロックを可能な対象となる物体でマーク付けされたエリアに対応させること、ｂ）そのブロック中の個々のピクセルの方向およびブロック全体の方向の分散などの運動パラメータを使用して、これらの統計値に基づいてグループの運動についての信頼レベルを計算することに基づいて、解像度が低く、オクルージョン・レベルが高いところで対象となるグループ物体をトラッキングするための手段を含む。
【００６４】
本発明の実施形態によって、この装置は、ａ）解像度が低く、オクルージョン・レベルが高いところで対象となる物体を見つけ出す方法に基づいて、密集レベルを推定すること、ｂ）光フロー計算の方法を使用することによって、対象となる物体のグループのフローを推定すること、およびｃ）活動およびイベントを見つけ出すためにａ）およびｂ）の結果を組み合わせること（例えば増加する密集レベルをトラッキングし、起こりうる危険な状況などのイベント検出のために、密集レベルが高く、運動が少ないエリアを区別すること、列車／バス駅の自動分析など）に基づいて、解像度が低く、オクルージョン・レベルが高いところで活動を分析するための方法を含むことができる。
【００６５】
実施形態はまた、ａ）画像ブロックの加重された形状、色、運動パターンを使用して、オクルージョン問題を克服することを目的として、対象となる物体のテンプレートを合致させるためにブロックを結合／分割すること、ｂ）分散／平均などの統計値に基づいた各パターンの信頼レベルを使用することによって、パターンの重みを変更すること、ｃ）前景区域の個々のもの、および／または組合せに合致させるため、および検出された対象となる物体の組合せを前景区域に合致させるために、シーンの中で検出された対象となる物体のリストを保持すること、ｄ）歩行／走行／落下などの活動を見つけ出すためにａ、ｂおよびｃを使用すること、ｅ）シーンの高レベルなセマンティクスを見つけ出すために（例えば、シーンの退場／入場エリアを見つけ出すことなど）、物体検出の出力を使用し、検出の信頼度を高めるために高レベルなセマンティクスを使用すること（例えば物体がシーンを離れるか、または遮蔽されている可能性を理解するために、退場／入場エリアを使用することなど）、およびｆ）信頼できる分散型監視システムを提供することを目的として、可能な物体のトラッキングについて隣のカメラに通知を行うために、高レベルなセマンティクスを使用することに基づいて、個々の対象となる物体およびそれらの活動を見つけ出すための手段も含むことができる。
【００６６】
本発明の実施形態による例示的な方法
本発明の実施形態は、
１）ａ）改良された背景モデルの適合のために高度な時間セマンティクスを使用すること（例えば持続時間の統計値（すなわち信頼度を備えた平均、分散）、およびカラー・モデルが異なるモデル分布の混合に対応する反復パターンなど）、ｂ）改良された背景モデル適合のために高度なシーン・セマンティクスを使用すること（例えば、物体に基づくシーンの変化対視野に基づくシーンの変化についての統計値など）、ｃ）監視エリアの分析のために、高度な時間セマンティクスとシーン・セマンティクスとを組み合わせること、およびｄ）前景物体のないシーン・モデルを必要とせずに、最初の背景分析の堅固性を改良するために時間セマンティクスを使用することに基づいて、圧縮されていない領域および圧縮された領域で、カラー・モデルを使用して、背景を除去し、前景の区域を見つけ出すステップと、
２）ａ）カメラ補正およびシーン中の物体のサイズの分析に基づいて、ブロックに分割された対象となる区域を抽出すること、ｂ）（例えばＤＣＴを使用して）ブロックの低周波および高周波の構成要素のためにテンプレートを計算すること、ｃ）テンプレートをラベル付けされたテンプレート（例えば、一緒に起立している人々のグループの頭−肩エリアなど）に合致させるために調整を行うこと、およびｄ）対象となる物体の存在を見つけ出すために、入力画像テンプレートを調整されたテンプレートのものと比較することに基づいて、解像度が低く、オクルージョン・レベルが高いところで対象となる物体を見つけ出すステップと、
３）推定された密集レベルおよびオクルージョン・レベルに基づいて、適切な検出およびトラッキング・アルゴリズム（例えばグループ対個々の物体など）を選択するステップと、
４）ａ）フロー・ブロックを可能な対象となる物体でマーク付けされたエリアに対応させること、およびｂ）そのブロック中の個々のピクセルの方向およびブロック全体の方向の分散などの運動パラメータを使用して、これらの統計値に基づいてグループの運動についての信頼レベルを計算することに基づいて、解像度が低くオクルージョン・レベルが高いところで対象となるグループ物体をトラッキングするステップと、
５）ａ）解像度が低く、オクルージョン・レベルが高いところで対象となる物体を見つけ出す方法に基づいて、密集レベルを推定すること、ｂ）光フロー計算の方法を使用することによって、対象となる物体のグループのフローを推定すること、およびｃ）活動およびイベントを見つけ出すためにａ）およびｂ）の結果を組み合わせること（例えば増加する密集レベルをトラッキングし、起こりうる危険な状況などのイベント検出のために、密集レベルが高く、運動が少ないエリアを区別すること、列車／バス駅の自動分析など）に基づいて、解像度が低く、オクルージョン・レベルが高いところで活動を分析するステップと、
６）ａ）画像ブロックの加重された形状、色、運動パターンを使用して、オクルージョン問題を克服することを目的として、対象となる物体のテンプレートを合致させるためにブロックを結合／分割すること、ｂ）分散／平均などの統計値に基づいた各パターンの信頼レベルを使用することによって、パターンの重みを変更すること、ｃ）前景区域の個々のもの、および／または組合せに合致させるため、および検出された対象となる物体の組合せを前景区域に合致させるために、シーンの中で検出された対象となる物体のリストを保持すること、ｄ）歩行／走行／落下などの活動を見つけ出すためにａ、ｂおよびｃを使用すること、ｅ）シーンの高レベルなセマンティクスを見つけ出すために（例えば、シーンの退場／入場エリアを見つけ出すことなど）、物体検出の出力を使用し、検出の信頼度を高めるために高レベルなセマンティクスを使用すること（例えば物体がシーンを離れるか、または遮蔽されている可能性を理解するために、退場／入場エリアを使用することなど）、およびｆ）信頼できる分散型監視システムを提供することを目的として、可能な物体のトラッキングについて隣のカメラに通知を行うために、高レベルなセマンティクスを使用することに基づいて、個々の対象となる物体およびそれらの活動を見つけ出すステップとを含む、混雑した環境の中での物体のトラッキングおよび活動分析のための方法に関する。
【００６７】
この例示的な実施形態は、単に本発明を解説するものであり、本発明の範囲から逸脱することなく、当業者によって上述の実施形態の多くの変形形態が考案されることが可能であるということを理解されたい。したがって、すべての前述のような変形形態は、冒頭の特許請求の範囲およびその等価物の範囲内に含まれるということが意図されている。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施形態によるイベント検出のための方法を示す流れ図である。
【図２】本発明の実施形態による背景モデルの初期化のための方法を示す流れ図である。
【図３】本発明の実施形態による背景モデルの更新のための方法を示す流れ図である。
【図４】本発明の実施形態による、解像度が低く、オクルージョンのレベルが高い場合の物体検出のための方法を示す流れ図である。
【図５】本発明の実施形態による、対象となる物体（ＯＯＩ）グループのフロー推定のための方法を示す流れ図である。
【図６】本発明の実施形態によるトラッキングのための方法を示す流れ図である。
【特許請求の範囲】
【請求項１】
監視エリアでの物体トラッキングのための方法であって、
圧縮された領域および圧縮されていない領域で、カラー・モデルを使用して、背景を除去し、前景領域を識別するステップと、
解像度が低く、オクルージョン・レベルが高いところで、１つまたは複数の対象となる物体（ＯＯＩ）を識別するステップと、
推定された密集レベルおよび推定されたオクルージョン・レベルに基づいて、適切な検出およびトラッキング・アルゴリズムを選択するステップと、
グループのＯＯＩを検出するステップと、
解像度が低く、オクルージョン・レベルが高いところで、前記グループのＯＯＩをトラッキングするステップと、
解像度が低く、オクルージョン・レベルが高いところで、前記監視エリアを分析するステップと、
１つまたは複数の個々のＯＯＩを識別するステップとを含む方法。
【請求項２】
圧縮された領域および圧縮されていない領域で、カラー・モデルを使用して、背景を除去し、前景領域を識別する前記ステップが、
高レベルな時間セマンティクスを使用して、背景モデルを適合するステップと、
高レベルなシーン・セマンティクスを使用して、前記背景モデルを適合するステップと、
高レベルな時間セマンティクスと高レベルなシーン・セマンティクスとの組合せを使用して、前記監視エリアを分析するステップと
時間セマンティクスを用いて、前記背景モデルの堅固性を改良するステップとを含む請求項１に記載の方法。
【請求項３】
解像度が低く、オクルージョン・レベルが高いところで、１つまたは複数の対象となる物体（ＯＯＩ）を識別する前記ステップが、
使用されるカメラの補正、および前記エリア中の物体のサイズの分析に基づいて、ブロックに分割された対象となる区域を抽出するステップと、
前記ブロックの低周波および高周波の構成要素のためにテンプレートを計算するステップと、
前記計算されたテンプレートを、以前に記憶されたラベル付けされたテンプレートに合致させるために調整を行うステップと
ＯＯＩを識別するために、前記計算されたテンプレートを、以前に記憶されたラベル付けされたテンプレートと比較するステップとを含む請求項１に記載の方法。
【請求項４】
推定された密集レベルおよび推定されたオクルージョン・レベルに基づいて、適切な検出およびトラッキング・アルゴリズムを選択する前記ステップが、１つまたは複数のグループ物体のトラッキング・アルゴリズムおよび個々の物体のトラッキング・アルゴリズムを選択することを含む請求項１に記載の方法。
【請求項５】
解像度が低く、オクルージョン・レベルが高いところで、グループのＯＯＩをトラッキングする前記ステップが、
フロー・ブロックを潜在的ＯＯＩとしてマーク付けされたエリアに対応させるステップと、
運動パラメータに基づいて、グループの運動についての信頼レベルを計算するステップとを含む請求項１に記載の方法。
【請求項６】
解像度が低く、オクルージョン・レベルが高いところで、前記監視エリアを分析する前記ステップが、
密集レベルを推定するステップと、
グループのＯＯＩのフローを推定するステップと、
前記推定された密集レベルおよびフローに基づいて、起こりうるイベントを検出するステップとを含む請求項１に記載の方法。
【請求項７】
１つまたは複数の個々のＯＯＩを識別する前記ステップが、
１つまたは複数のデータ要素を得る画像ブロックの加重された形状、色または運動パターンを組み合わせることによって、画像ブロックをＯＯＩのテンプレートに合致させるステップと、
前記パターンの前記信頼レベルを使用することによって、前記パターンの重みを変更するステップと、
異なる前景区域に合致させるために、前記監視エリアで検出されたＯＯＩのリストを形成するステップと、
前記ＯＯＩの運動のパターンを判定するステップと、
前記監視エリアの高レベルなセマンティクスを判定するステップとを含む請求項１に記載の方法。
【請求項１】
監視エリアでの物体トラッキングのための方法であって、
圧縮された領域および圧縮されていない領域で、カラー・モデルを使用して、背景を除去し、前景領域を識別するステップと、
解像度が低く、オクルージョン・レベルが高いところで、１つまたは複数の対象となる物体（ＯＯＩ）を識別するステップと、
推定された密集レベルおよび推定されたオクルージョン・レベルに基づいて、適切な検出およびトラッキング・アルゴリズムを選択するステップと、
グループのＯＯＩを検出するステップと、
解像度が低く、オクルージョン・レベルが高いところで、前記グループのＯＯＩをトラッキングするステップと、
解像度が低く、オクルージョン・レベルが高いところで、前記監視エリアを分析するステップと、
１つまたは複数の個々のＯＯＩを識別するステップとを含む方法。
【請求項２】
圧縮された領域および圧縮されていない領域で、カラー・モデルを使用して、背景を除去し、前景領域を識別する前記ステップが、
高レベルな時間セマンティクスを使用して、背景モデルを適合するステップと、
高レベルなシーン・セマンティクスを使用して、前記背景モデルを適合するステップと、
高レベルな時間セマンティクスと高レベルなシーン・セマンティクスとの組合せを使用して、前記監視エリアを分析するステップと
時間セマンティクスを用いて、前記背景モデルの堅固性を改良するステップとを含む請求項１に記載の方法。
【請求項３】
解像度が低く、オクルージョン・レベルが高いところで、１つまたは複数の対象となる物体（ＯＯＩ）を識別する前記ステップが、
使用されるカメラの補正、および前記エリア中の物体のサイズの分析に基づいて、ブロックに分割された対象となる区域を抽出するステップと、
前記ブロックの低周波および高周波の構成要素のためにテンプレートを計算するステップと、
前記計算されたテンプレートを、以前に記憶されたラベル付けされたテンプレートに合致させるために調整を行うステップと
ＯＯＩを識別するために、前記計算されたテンプレートを、以前に記憶されたラベル付けされたテンプレートと比較するステップとを含む請求項１に記載の方法。
【請求項４】
推定された密集レベルおよび推定されたオクルージョン・レベルに基づいて、適切な検出およびトラッキング・アルゴリズムを選択する前記ステップが、１つまたは複数のグループ物体のトラッキング・アルゴリズムおよび個々の物体のトラッキング・アルゴリズムを選択することを含む請求項１に記載の方法。
【請求項５】
解像度が低く、オクルージョン・レベルが高いところで、グループのＯＯＩをトラッキングする前記ステップが、
フロー・ブロックを潜在的ＯＯＩとしてマーク付けされたエリアに対応させるステップと、
運動パラメータに基づいて、グループの運動についての信頼レベルを計算するステップとを含む請求項１に記載の方法。
【請求項６】
解像度が低く、オクルージョン・レベルが高いところで、前記監視エリアを分析する前記ステップが、
密集レベルを推定するステップと、
グループのＯＯＩのフローを推定するステップと、
前記推定された密集レベルおよびフローに基づいて、起こりうるイベントを検出するステップとを含む請求項１に記載の方法。
【請求項７】
１つまたは複数の個々のＯＯＩを識別する前記ステップが、
１つまたは複数のデータ要素を得る画像ブロックの加重された形状、色または運動パターンを組み合わせることによって、画像ブロックをＯＯＩのテンプレートに合致させるステップと、
前記パターンの前記信頼レベルを使用することによって、前記パターンの重みを変更するステップと、
異なる前景区域に合致させるために、前記監視エリアで検出されたＯＯＩのリストを形成するステップと、
前記ＯＯＩの運動のパターンを判定するステップと、
前記監視エリアの高レベルなセマンティクスを判定するステップとを含む請求項１に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公表番号】特表２００９−５０８４５０（Ｐ２００９−５０８４５０Ａ）
【公表日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願番号】特願２００８−５３１３０５（Ｐ２００８−５３１３０５）
【出願日】平成１８年９月１３日（２００６．９．１３）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０３５７４９
【国際公開番号】ＷＯ２００７／０３３２８６
【国際公開日】平成１９年３月２２日（２００７．３．２２）
【出願人】（５０８０７８００８）ヴェリフィコン コーポレーション (1)
【Ｆターム（参考）】
【公表日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願日】平成１８年９月１３日（２００６．９．１３）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０３５７４９
【国際公開番号】ＷＯ２００７／０３３２８６
【国際公開日】平成１９年３月２２日（２００７．３．２２）
【出願人】（５０８０７８００８）ヴェリフィコン コーポレーション (1)
【Ｆターム（参考）】
[ Back to top ]