ビデオデータを処理するための方法及びシステム
インテリジェントビデオ監視システムにおいて、ビデオ処理ソフトウェアは、カメラから受信されるビデオデータに関して、前景抽出、陰影除去及び被写体追跡を含む多くの動作を実行する。前景抽出段階は、前景又は背景のどちらかを表すものとして受信フレームの各ピクセルを分類する。陰影領域は誤って前景として分類されることがあるので、弱い陰影除去（３２）と強い陰影除去（３３）を備える二分岐陰影除去動作が利用される。弱い陰影除去（３２）の目的は各フレームの最も深刻な陰影だけを除去することである。逆に、強い陰影除去（３３）の目的は各フレームに存在する実質的にあらゆる陰影を除去することである。結果として生じる２つの画像の中の前景領域の重複を比較することによって、強い陰影除去のために分裂した前景領域を特定し、その後共通前景被写体を表すものとして前景領域を分類することが可能である。前景被写体は、被写体の形状という点でさらに良く定義され、その後の処理段階は分裂した領域を別々の被写体を表すものとして処理しない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、限定されないが、特にインテリジェントビデオシステムにおいてビデオデータを処理するための方法及びシステムに関する。
【背景技術】
【０００２】
インテリジェントビデオシステムは当分野で公知である。一般的に、このようなシステムはビデオフレームを入力として受信し、画像内における移動する被写体等のような関心のある被写体を、被写体を背景から区別するための背景減算技法を使用して検出しようと試みる。例えば動画をベースにした検出技法等の他の技法も使用されてよい。単一の入力フレームの中で被写体を検出してから、システムはさらに検出された被写体の特徴を用いて検出された被写体をフレームからフレームへ追跡するように動作してもよい。
【０００３】
典型的なインテリジェントビデオシステムは、図１に示されているように多くの処理段階を備えている。背景学習段階１では、ビデオデータの初期セグメントを使用して背景モデルが確立される。前景の被写体と比較して、背景シーンは一般的に静止したままであるので、この段階で、移動する前景被写体が視覚できない背景モデルを生成する。第２の段階３では、前景抽出及び背景適応が入信ビデオフレームごとに実行される。どの画像ピクセルが前景被写体を表し、どれが背景を表すのかを決定するために、入信フレームが背景モデルと比較される。各ピクセルは相応して分類され、結果として生じる画像が被写体マスクと呼ばれる。背景モデルの小さな変化も適応して更新される。第３の段階５では、被写体マスク内で識別される前景領域がフレームからフレームへ追跡される。現在のフレーム内の前景被写体と以前のフレームで既に追跡された前景被写体の間に対応が確立される。軌跡データベースは、例えば、ビデオの中の１つ以上の前景被写体によって取られる累積経路を示す追跡線を表示するさらに高水準のアプリケーションに各前景被写体の追跡履歴が使用できるように維持される。各前景被写体の形状を現実世界の被写体のデータベースと比較するために被写体分類アプリケーションを利用してもよい。一致が検出されると、前景被写体は例えば「人物」又は「車両」として適切に分類される。
【０００４】
各フレームを処理した後、通常は背景モデルに関する有効性チェックが、背景モデルが依然として有効であることを保証するために実行される。大きな変更又は突然の変更は、新しい背景モデルが学習されることを必要とする。
【０００５】
インテリジェントビデオシステムは、有利にビデオ監視で使用される。多くの監視状況では、人間のオペレータが多数のビデオシーンを同時に監視するのは現実的ではない。被写体を特定し、被写体のそれぞれの動きを経時的にモニタすることによって、オペレータが絶えずある特定のディスプレイをモニタする必要はない。オペレータがディスプレイをモニタしていない間に事象が発生すると、被写体によって取られた累積的な経路が視認可能であり、ビデオシステムは事象を見直すためにオフラインで使用することもできる。
【０００６】
ある公知のインテリジェントビデオシステムは、米国特許出願公開第２００３／００５３６５９Ａ１号に開示されている。
【発明の開示】
【０００７】
従来技術での公知の問題は、入信ビデオでの陰影の出現によって引き起こされる。通常、陰影は画像領域をその真の輝度強度より暗く見せる。したがって前景抽出段階では、投げかけられた陰影領域のピクセルが実際に背景を表すときに該陰影領域が前景として誤って検出される場合がある。したがって、陰影によって前景抽出段階３による被写体マスクが前景形状の歪んだ表現を示すことになる。これはビデオシステムの以後の処理段階において、特にその段階で被写体の形状を特定する必要がある場合に明白な欠点となる。
【０００８】
同様の問題はハイライトの出現によっても生じる。この場合、ハイライトは、画像領域をその真の輝度強度より明るく見えるようにする。
【０００９】
陰影を特定し、取り除くために色彩恒常及び／又はテクスチャ情報を使用することが提案されている。しかしながら、このような技法には不利な点がある。すべてではない場合も、大部分の陰影が取り除かれることを保証するときに、真の前景領域も取り除かれる可能性がある。これは自己陰影、つまり被写体が被写体自体に投げかける陰影による独特の問題である。結果として、前景被写体が分裂して見える画像が生じる。以後の処理段階では分裂した各部分が別々の被写体して処理され得る。
【００１０】
公知の陰影除去方法は、ＨｏｒｐｒａｓｅｒｔらによってＩＥＥＥ ＩＣＣＶフレームレートワークショップ、１９９９年、「リアルタイムの頑健な背景除去及び陰影の検出のための統計的な手法（Ａ Ｓｔａｔｉｓｔｉｃａｌ Ａｐｐｒｏａｃｈ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｒｏｂｕｓｔ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ａｎｄ Ｓｈａｄｏｗ Ｄｅｔｅｃｔｉｏｎ）」に開示されている。
【００１１】
本発明の第１の態様によると、ビデオフレームのピクセルを表すデータを処理する方法が提供される。ピクセルは前景領域又は背景領域のどちらかに属するとして事前に分類されている。該方法は（ａ）ビデオフレームの中で、２つ以上の隣接する前景ピクセルを含む領域を特定することと、（ｂ）ビデオフレームの中で、所定のアルゴリズムを使用することによって再分類のための候補であるとして１つ以上の前景ピクセルを特定することと、（ｃ）背景ピクセルとして候補ピクセルを再分類し、前記再分類されたピクセルを含む比較フレームを生成することと、（ｄ）比較フレームから、それぞれのフレーム位置がステップ（ａ）で特定された領域内にある前景ピクセルを特定することと、（ｄ）ステップ（ｄ）で特定される前景ピクセルを共通の前景被写体を表すものとして分類することとを備える。
【００１２】
この方法は、例えば、陰影除去動作において前景ピクセルを背景ピクセルとして再分類する有利な方法を提供する。再分類の前後における前景領域の重複を比較することにより、分裂した前景領域を特定し、前景領域をその後共通の（つまり同じ）前景被写体を表すものとして分類することが可能である。前景被写体は、被写体の形状という点でより良く定義され、以後の処理段階は分裂した領域を別々の被写体として扱わない。
【００１３】
本方法はビデオ監視において特に有利な点を提供する。複数のビデオフレームを表すデータはビデオカメラ等のソースから、前述されたステップを実行するように構成されたコンピュータシステムに送信される。ステップはリアルタイムで実行することができ、処理された画像データは画面上に表示できる。
【００１４】
本方法はビデオ監視アプリケーションに限定されない。実際には、本方法は背景からの前景領域の抽出を必要とする任意のアプリケーションで使用できる。バーチャルリアリティ（ＶＲ）システムは前景抽出を活用するアプリケーションの別の例である。
【００１５】
本明細書では、前景ピクセルは、フレーム内でのピクセルのそれぞれの位置が、方向に関係なく互いに隣である場合に隣接していると見なされる。
【００１６】
好ましくは、ステップ（ｂ）は、基準フレームを占有する対応する基準ピクセルの輝度（Ｙｂ）と異なる輝度（Ｙｆ）を有する１つ以上の前景ピクセルを特定することと、候補ピクセルの色成分と基準ピクセルの色成分との間の所定の関係性に基づいて特定されたピクセル又はそれぞれの特定されたピクセルにパラメータを割り当てることと、パラメータを、ピクセルが候補ピクセルとして分類するべきかどうかを示す値の範囲に対して比較することとを含む。
【００１７】
基準フレームは、背景学習動作から獲得される、記憶されている背景フレームを備えてもよい。
【００１８】
前述されたパラメータは以下によって示されてもよく、
【数５】
【００１９】
ここでは、Ｒｆ、Ｇｆ、Ｂｆはそれぞれ前景ピクセルの赤、緑、及び青の色成分を表し、Ｒｂ、Ｇｂ、Ｂｂは基準ピクセルの赤、緑、及び青の色成分を表す。
【００２０】
あるいはさらに複雑な式が特定の説明で説明されるように、数値パラメータに使用されてもよい。
【００２１】
代替実施形態では、ステップ（ｂ）は基準フレームを占有する対応する基準ピクセルの輝度（Ｙｂ）と異なる輝度（Ｙｆ）を有する１つ以上の前景ピクセルを特定することと、候補ピクセルの色成分と基準ピクセルの色成分の間のそれぞれ異なる第１の関係性と第２の関係性に基づいて特定されたピクセル又はそれぞれの特定されたピクセルに第１のパラメータと第２のパラメータを割り当てることと、ピクセルが候補ピクセルとして分類されるべきかどうかを示す値の第１の範囲及び第２の範囲のそれぞれに対して第１のパラメータと第２のパラメータを比較することとを含む。
【００２２】
代替実施形態では、第１のパラメータは以下によって示され、
【数６】
【００２３】
ここではα、β、及びγは輝度係数である。
【００２４】
ステップ（ａ）で特定された領域は、好ましくは、それぞれの隣接する前景ピクセルを含むほど十分な大きさの矩形のピクセルアレイを備えている。好ましくは、アレイの各端縁は隣接するピクセルの少なくとも１つを含む。
【００２５】
本発明の第２の態様によると、ビデオフレームのピクセルを表すデータを処理する方法が提供される。ピクセルは前景領域又は背景領域のどちらかに属すとして事前に分類される。該方法は（ａ）再分類のための候補であるとして１つ以上の前景ピクセルを特定することと、（ｂ）候補ピクセルと基準ピクセルの間の所定の関係性に基づいて各候補ピクセルに数値パラメータを割り当てることと、（ｃ）候補ピクセルごとに、候補ピクセルの数値パラメータを第１の範囲の値と比較し、パラメータが第１の範囲に入る場合に、背景ピクセルとしてピクセルを再分類することと、（ｄ）候補ピクセルごとに、候補ピクセルのパラメータを、第１の範囲内にある第２の値の範囲に比較し、パラメータが第２の範囲に入る場合に、背景ピクセルとしてピクセルを再分類することと、（ｅ）ステップ（ｃ）及び（ｄ）のそれぞれで再分類された各ピクセルを含む更新された画像データの第１の組及び第２の組を提供することと、（ｆ）近接する前景ピクセルのクラスタを含む領域を、更新された画像データの第２の集合から特定することと、（ｇ）それぞれの位置がステップ（ｆ）で特定された領域内にある前景ピクセルを、更新された画像データの第１の組から特定し、その後１つの共通する被写体をあらわすものとして前記複数の前景ピクセルを分類することとを備える。
【００２６】
本発明の第３の態様によると、ビデオシーケンスのフレームを表すデータを処理する方法が提供される。各フレームは、それぞれが各フレーム位置を占める複数のピクセルを備える。該方法は（ａ）前景又は背景のどちらかとしてピクセル分類を示す第１のマスクを提供することと、（ｂ）近接した前景ピクセルのクラスタを含む第１のマスクの中に領域を特定することと、（ｃ）前景ピクセルごとに、前記ピクセルが再分割のための候補とならなければならないかどうかを、記憶されている基準フレーム内の同じフレーム位置を占める基準ピクセルと前記ピクセルを比較することによって特定することと、（ｄ）ほぼすべての候補ピクセルを背景ピクセルとして再分類し、再分類後のピクセル分類を示す第２のマスクをそこから生成することと、（ｅ）（ｂ）で特定された領域に入る第２のマスク内の２つ以上の前景ピクセルを特定するために第１のマスクと第２のマスクを比較することと、（ｆ）共通の被写体を表すものとして（ｅ）で特定された前景ピクセルを特定する第３のマスクを提供することとを備える。
【００２７】
本発明の第４の態様によると、ビデオフレームのピクセルを表すデータを処理するように構成されたビデオ処理システムが提供される。ピクセルは前景領域又は背景領域のどちらかに属すとして事前に分類される。該システムは、（ａ）ビデオフレームの中で、（ｉ）複数の近接した前景ピクセルを含む領域と、（ｉｉ）所定のアルゴリズムを使用することによって再分類のための候補であるとして１つ以上の前景ピクセルとを特定し、（ｂ）背景ピクセルとして候補ピクセルを再分類し、前記再分類されたピクセルを含む比較フレームを生成し、（ｃ）比較フレームから、それぞれのフレーム位置がステップ（ａ）で特定された領域内にある前景ピクセルを特定し、（ｄ）共通する前景被写体を表すものとしてステップ（ｃ）で特定された前景ピクセルを分類するように構成された手段を備える。
【００２８】
ビデオ処理システムはビデオ監視システムの一部を形成してもよい。
【００２９】
発明は、添付図面に関して一例として説明される。
【発明を実施するための最良の形態】
【００３０】
図２を参照すると、インテリジェントビデオ監視システム１０は、カメラ１１と、パーソナルコンピュータ（ＰＣ）１３と、ビデオモニタ１５とを備えている。カメラ１１は例えばＬｏｇｉｔｅｃ（商標） Ｐｒｏ ４０００ ｃｏｌｏｕｒ ｗｅｂｃａｍ等のウェブカメラである。例えば、デジタルカムコーダ又はアナログ／デジタル変換手段付きのアナログカメラ等のデジタル画像データを出力できる任意のタイプのカメラを使用できる。ウェブカメラ１１は、ローカルエリアネットワーク（ＬＡＮ）又はインターネット等の任意のネットワークであろうネットワーク１４上でＰＣ１３と通信する。実際には、ウェブカメラ１１、及びＰＣ１３はデジタル加入者回線（ＤＳＬ）モデム等のそれぞれのネットワーク接続（図示しない）を介してネットワーク１４に接続される。代わりに、ウェブカメラ１１はＰＣのユニバーサルシリアルバス（ＵＳＢ）ポート１２によってＰＣ１３に直接接続できるであろう。ＰＣ１３は任意の標準コンピュータで構成されてもよい。この場合、ＰＣ１３は１ＧＨｚのプロセッサ、５１２メガバイトのランダムアクセスメモリ（ＲＡＭ）、及び４０ギガバイトのハードディスクドライブを有するデスクトップコンピュータである。ビデオモニタ１５は、標準ビデオコネクタによってＰＣ１３に接続された１７”薄膜トランジスタ（ＴＦＴ）モニタである。
【００３１】
ビデオ処理ソフトウェアはＰＣ１３のハードディスクドライブに提供される。ソフトウェアは、ウェブカメラ１１から受信されるビデオデータに対して多くの処理動作を実行するように構成されている。ビデオデータは捕捉されたビデオの個々のフレームを表し、各フレームは複数のピクチャエレメント、又はピクセルから構成されている。この実施形態では、各フレームは３２０ピクセル（幅）×２４０ピクセル（高さ）の表示フォーマットを有する。代わりの表示フォーマットは、アプリケーションに応じて使用されてよい。ウェブカメラ１１はカラーカメラであるため、各ピクセルは、フレームにおけるピクセルの位置を示すデータだけでなく、表示されている色を決定する、３つの色成分つまり、赤、緑及び青の成分のそれぞれの重み付けによっても表される。当分野において理解されるように、既定のピクセルの輝度Ｙは以下の式によって近似することができる。
【００３２】
Ｙ＝α・Ｒ＋β・Ｇ＋γ・Ｂ （１）
ここでは、α＝０．１１４、β＝０．５８７及びγ＝０．２９９である。
【００３３】
Ｒ、Ｇ及びＢはそれぞれ、赤、緑、及び青の色成分の値を表している。Ｙの代替式は公知であるが、出願人は上記の式が好ましいことに気付いた。
【００３４】
ビデオ処理ソフトウェアは、図３に示されているように多くの異なる段階を備えている。図３は図２に類似しており、陰影除去段階１７及び被写体特徴付け段階１８が加えられ、両方の段階とも前景抽出段階３と被写体追跡段階５の間に組み込まれている。
【００３５】
陰影除去段階１７の目的は、陰影領域とハイライト領域のかなりの割合を各ビデオフレームから取り除くことである。このようにして、前景領域の形状を特定する以後の処理段階は、改善された信頼性を持って動作できる。
【００３６】
被写体特徴付け段階１８の目的は、前景の抽出及び陰影の除去に続いて前景特徴を特定することである。出力は、被写体追跡段階５によって使用される被写体記述子の組をから成る。この段階１８の詳細な理解は、本発明の理解には必須ではない。
【００３７】
最初に、ビデオ処理ソフトウェアは背景学習段階１を実行する。序論で述べたように、この段階の目的はビデオデータの初期のセグメントから背景モデルを確立することである。このビデオセグメントは、通常、２００フレームを備える。任意の画像の背景シーンは（前景被写体と比較して）相対的に固定されたままである場合が多いので、この段階で前景被写体が視覚できない背景モデルを確立する。
【００３８】
図４は、前述された背景学習段階１の間に確立された背景モデル１９を示す。この場合、ウェブカメラ１１は駐車場に向けられていた。ＰＣ１３のメモリでは、背景モデル１９は、ピクセルの位置を表す記憶されているデータの組、及び各ピクセルの赤、緑及び青の色成分のそれぞれの重み付けによって表される。
【００３９】
背景モデル１９を確立してから、入信ビデオフレームがＰＣ１３によって受信され、ビデオ処理ソフトウェアによって処理される。以後の前景抽出段階３、陰影除去段階１７、被写体特徴付け段階１８、被写体追跡段階５、及び高水準アプリケーション７はリアルタイムでビデオフレームを処理する。
【００４０】
前景抽出及び背景適応段階３（以後「前景抽出段階」と呼ぶ）は、現在フレームの各ピクセルを処理する。各ピクセルは、現在フレームのピクセルが前景被写体の一部を表すのか、あるいは背景の一部を表すのかを推定するために、背景モデル１９内の対応する位置を占有するピクセルと比較される。背景モデル１９の小さな変化は適応して更新される。背景モデル１９のより深刻な変化又は突然の変化は、参照符号９によって示される試験を使用して実行される再学習動作を必要とする。
【００４１】
前景抽出段階３の詳細な説明は本発明の理解に必須ではないが、当業者は前景抽出３を実行するための公知の方法があることを理解するであろう。恐らく最も簡単なのは、各ピクセルの輝度を、背景モデル１９内の対応する位置を占有するピクセルの輝度と比較することである。２つの間の差異が所定の閾値を超える場合は、現在のピクセルは前景ピクセルとして分類される。
【００４２】
特に有効な方法は、Ｓｔａｕｆｆｅｒ及びＧｒｉｍｓｏｎによってパターン分析及び機械インテリジェンスに関するＩＥＥＥ会議録（ＩＥＥＥ Ｔｒａｎｓｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）、第２２巻、第８号、２０００年８月、７４７から７５７頁、「リアルタイム追跡を使用する活動の学習パターン（Ｌｅａｒｎｉｎｇ Ｐａｔｅｒｎｓ ｏｆ Ａｃｔｉｖｉｔｙ Ｕｓｉｎｇ Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ）」、に詳細に説明されているいわゆるガウスの混合（Ｍｉｘｔｕｒｅ ｏｆ Ｇａｕｓｓｉａｎ（ＭｏＧ））方法である。ＭｏＧ方法の実現は米国特許出願公開第２００３／００５３６５８号にも説明されている。両方の参考資料とも、前述の背景モデル１９を確立するために適切な背景学習方法を説明する。
【００４３】
要約すれば、ＭｏＧ方法は、異なる混合ガウス（又は正規）静的分布として入信ビデオフレームの各ピクセルをモデル化することを必要とする。これは、同じシーンポイントのサンプルがガウスのノイズ分布を示す傾向にあるという前提を反映する。混合正規分布は、１つ以上のプロセスを経時的に観察できるという期待を反映する。混合分布のそれぞれの持続性及び不偏分散に基づいて、どの分散が現在の背景と一致し得るかが決定される。背景分散に適合しない分散は、対応し、多くのフレームにわたって構築される一貫した証拠によって裏付けられる分散があるまで、前景ピクセルとして分類される。
【００４４】
ここで説明されている実施形態の場合、前景抽出段階３は、好ましくは、ＭｏＧ方法を使用して動作する。しかしながら、これは決して必須ではなく、任意の代替方法を使用することができる。
【００４５】
前景抽出段階３の動作は、ウェブカメラ１１からの入信ビデオフレーム２１を示す図５を参照することによってさらに良く理解される。ビデオフレーム２１は（ａ）駐車場を横切って歩いている人物２３と、（ｂ）駐車場の下部を横断している車両２５とを描いている。ビデオフレーム２１の各ピクセルは、そのピクセルが前景ピクセルとして分類されるべきなのか、あるいは背景ピクセルとして分類されるべきなのかを判断するために、背景モデル１９内の対応するピクセルと比較される。結果として、前景抽出段階３は前景マスクを生成する。マスクは、各ピクセルの分類に関する情報、つまりピクセルが前景を表すのか、あるいは背景を表すのかを含む画像データの組である。図６を参照すると、前景ピクセルが白で示され、背景ピクセルが黒で示されている前景マスク２７の視覚表現が示されている。
【００４６】
前景マスク２７は、第１及び第２の前景領域２９、３１を含む。しかしながら、前景領域２９、３１のどちらもその形状に関して特に良く画定されておらず、前景マスク２７だけを使用しても、どの前景被写体が実際に表現されるのかを決定することは困難である。これは、図５に示されるように、人物２３及び車両２５によって背景の上に投げかけられる陰影の存在のためである。陰影を表すピクセルは背景モデル１９において対応する位置を占有するピクセルより暗い輝度強度を有する。したがって、これらのピクセルは前景ピクセルとして間違って分類された。ピクセルがその対応する背景ピクセルの輝度より明るい輝度強度を有するハイライトの存在によっても同様な問題が引き起こされることがある。
【００４７】
陰影及びハイライトの結果として、以後の処理段階で問題が発生する可能性が高い。例えば、被写体特徴付け段階１８が前景抽出段階３から直接的に前景マスク２７を受け取る場合、被写体特徴付け段階は前景被写体の特徴を特定するのが困難である。これは後の処理段階でさらに問題を引き起こす可能性がある。被写体追跡段階５は、現在のフレームの前景被写体と、前のフレームで追跡された前景被写体の間の対応を行うのが困難である。ビデオ監視システム１０が、被写体のそれぞれのマスクプロファイルがどの「現実世界の」被写体に似ているのかに応じて被写体が分類される、被写体分類段階を含む場合に、同様の問題が生じる可能性がある。
【００４８】
前述された問題を緩和するために、ビデオ処理ソフトウェアは陰影除去段階１７を含む。
【００４９】
図７は、陰影除去段階１７の主要機能要素を示している。弱い陰影除去３２と強い陰影除去３３を備える二分岐プロセスが利用されている。両方とも前景マスク２７上で並列に動作し、そこからそれぞれ更新されたマスク及び部分領域マスクを生成する。
【００５０】
並列動作が本発明にとって必須ではないことが理解されなければならない。しかしながら、このリアルタイムビデオ監視システム１０の目的のために、並列動作が好ましい。
【００５１】
弱い陰影除去３２の目的は、現在のフレーム内に存在する最も激しい陰影だけを除去することである。実際には、極めて区別可能な陰影は２、３しか存在しないと推定される。しかしながら、フレームは、現実にはさまざまな輝度強度の多くの印影を有する可能性が高いので、弱い陰影除去３２はそのままでは不十分であろう。結果として、多くのピクセルが依然として間違って、前景ピクセルとして分類される可能性がある。
【００５２】
逆に、強い陰影除去３３の目的は、現在のフレーム内に存在する実質的にあらゆる陰影を除去することである。結果として、いくつかの真の前景領域が間違って陰影領域として検出される可能性がある。被写体自体の上に陰影を投げかける被写体、いわゆる自己陰影は特に脆弱である。例えば、人間の顔を示しているフレームは、頬の上に鼻によって投げかけられる自己陰影領域を含み得る。強い陰影除去３３によって、この領域のピクセルが前景被写体、つまり顔の部分を実際に形成するにも関わらずこの領域が削除される。結果として、通常、同じ被写体の部分が互いから切り離されているように見える分裂した画像が生じる。以後の処理ステップは、各断片を別々の被写体として解釈し得る。
【００５３】
陰影除去段階１７は弱い陰影除去と強い陰影除去２９、３０の両方からの出力を使用し、いわゆる被写体分類マスクを生じさせる。被写体分類マスクは、効果的に部分領域マスクを備え、部分領域マスクは、適切な場合には分裂した被写体部分が共通の被写体に属すとして識別されることを確実にするための追加の分類情報を持つ、前景被写体形状の改善された表現を提供する。これを達成するために、連結成分分析（ＣＣＡ）動作３４が、弱い陰影除去３２に続く更新されたマスク上で利用される。ＣＣＡ動作は、前景被写体形成段階３５に送信される被写体マスクを生成する。ＣＣＡ段階３４及び前景被写体形成段階３５の動作が後述される。
【００５４】
ＣＣＡ動作３４の目的は更新された前景マスクの中の画像ピクセルの１つ以上のクラスタを特定することである。クラスタは２つ以上の近接した、つまり隣接するピクセルから成り得る。これに続いて各クラスタを囲む最小の矩形領域を画定する境界がソフトウェアによって自動的に確立される。フレーム上での各矩形領域の位置は、被写体マスクを形成するために第１の更新されたマスクに加えられる。
【００５５】
上記のプロセスを説明するために、図６に示されている前景マスク２７が陰影除去段階１７に対する現在の入力であると仮定する。図８ａは、弱い陰影除去３２から生じる更新された前景マスク３６を示している。予想されたように、いくつかの陰影は除去されたが、各被写体２９’、３１’の形状は不十分に画定されたままである。図８ｂは、それぞれのクラスタ２９’と３１’を囲む矩形の境界が加えられたＣＣＡ段階３４によって生成される被写体マスク３７を示す。
【００５６】
図８ｃは、強い陰影除去３３後の部分領域マスク３８を示している。各被写体２９”、３１”の形状が良く画定されていることが分かる。しかしながら、強い陰影除去３３が背景ピクセルとして間違って分類されたいくつかの前景ピクセルを生じさせ、各被写体が多くの別々の部分に分裂したのは不可避である。
【００５７】
前景被写体形成段階３５では、被写体マスク３７と部分領域マスク３８とが比較され、位置が被写体マスク３７の共通矩形領域内に入る部分領域マスク３８内の前景ピクセルを特定する。共通矩形領域内に入るすべての前景ピクセルは、同じ前景被写体に属すとして分類される。
【００５８】
前述されたように、前景被写体形成段階３５によって生成される出力は被写体分類マスク３９と呼ばれる。被写体分類マスク３９は、強い陰影除去３３を使用して前景被写体の改善された形状表現を提供する。前景領域の分裂による潜在的な問題は、弱い陰影除去３２によってサイズが決定される既定の境界領域内に入る各部に共通のアイデンティティを割り当てることによって回避される。図８ｄは、前景被写体形成段階３５によって得られる被写体分類マスク３９の視覚表現を示している。
【００５９】
ＣＣＡ段階３４及び被写体形成段階３５の動作原則は、図８ｅから図８ｈを参照することによってさらに良く理解される。図８ｅは弱い陰影除去３２後の前景マスクのクローズアップ部分を示している。前景ピクセルの単一クラスタが存在する。図８ｆは、ＣＣＡ段階３４によって生成される被写体マスクのクローズアップ部分を示す。ＣＣＡ段階３４は、各前景ピクセルを囲むのにちょうど十分な大きさの矩形境界を画定した。図８ｇは、強い陰影除去３３後の部分領域マスクのクローズアップ部分を示す。前景ピクセルの単一のクラスタが存在するというよりむしろ、２つの別々のクラスタがある。図８ｈは前景被写体形成段階３５後の被写体分類マスクのクローズアップ部分を示す。ＣＣＡ段階３４によって画定される矩形境界内に入る部分領域マスク内のすべての前景ピクセルは、共通前景領域を表すものとして分類された。
【００６０】
完全さのために、陰影除去段階１７のソフトウェアレベルの動作の詳細な説明がここで説明される。２つの実施形態が説明され、第１の実施形態は図９から図１２に関して後述される。第２の実施形態はさらに図１３から図１６に関して説明される。
【００６１】
図９を参照すると、第１の実施形態では、第１のステップ４１は現在のフレーム内の次の前景ピクセルを取得することである。続くステップ４２では、ピクセル（Ｙｆ）の輝度は、記憶されている背景モデル内の同じ位置を占有するピクセルの輝度（Ｙｂ）と比較される。ピクセルが背景ピクセルより暗い輝度強度を有することを意味するＹｆ＜Ｙｂである場合、ピクセルが陰影領域を占有するかどうかを判断するために試験が実行される。ピクセルが占有しない場合、ステップ４３において、Ｙｆ＞Ｙｂであるかどうかを判断する追加試験が実行され、ここで、ピクセルがハイライト領域を占有するかどうかを判断する試験が実行される。これは、後述される。
【００６２】
Ｙｆ＜Ｙｂである場合、ピクセルは再分類のための候補と見なされてよい。次のステップ４４は、候補ピクセルのためのいわゆる明度歪みパラメータ（ＢＤＰ）を計算することである。ＢＤＰを計算するための単純な式は、以下により示され
【数７】
【００６３】
ここでは、Ｒｆ、Ｇｆ、Ｂｆはそれぞれ、候補ピクセルの赤、緑及び青の色成分を表し、Ｒｂ、Ｇｂ、Ｂｂはそれぞれ、背景モデル内の対応するピクセルの赤、緑及び青の色成分を表す。
【００６４】
ＢＤＰを計算するためのさらに複雑な式は、第２の実施形態に関して下記に詳説される。しかしながらこの代替式は第１の実施形態とともに使用できる。
【００６５】
候補ピクセルのためにＢＤＰを計算してから、前述された弱い陰影除去動作と強い陰影除去動作３２、３３に対応するステップの２つの別々の組が実行される。これらが後述される。
【００６６】
ステップ４５では、候補ピクセルのＢＤＰが、図１０ａに表現されるようにＢＤＰ値の第１の範囲と比較される。範囲は閾値「Ｔｓｈａｄｏｗ」によって２つの部分に分けられる。一般的な場合には、Ｔｓｈａｄｏｗは０と１の間の値となる。この実施形態では、０．９という値が選ばれている。ＢＤＰがＴｓｈａｄｏｗの値に等しい、又は以下である場合には、候補ピクセルは前景ピクセルとして正しく分類されていると見なされる。しかしながら、ＢＤＰがＴｓｈａｄｏｗの値を超えている場合、候補ピクセルは陰影領域の部分を表すと見なされるため、候補ピクセルはステップ４７で背景ピクセルとして再分類される。
【００６７】
ステップ５１では、候補ピクセルのＢＤＰは、図１０ｂに表されるようにＢＤＰ値の第２の範囲と比較される。この場合、Ｔｓｈａｄｏｗの値は０．７というさらに低い値に設定される。前述のように、ＢＤＰの値がＴｓｈａｄｏｗの値を超えている場合、候補ピクセルが陰影領域の部分を表すために採取されるため、ステップ５３では背景ピクセルとして再分類される。
【００６８】
第２の領域の「陰影」領域が第１より大きな値の範囲を対象とすると、ステップ４５と４６は弱い陰影除去３２に対応し、ステップ５１と５３は強い陰影除去３３に対応することになる。
【００６９】
前述されたステップの動作に続き、現在のフレーム内にあらゆる残りの候補ピクセルがあるかどうかが判断される（ステップ４７、５５）。すべての候補ピクセルがチェックされた場合、前のステップから再分類されたピクセルを含む更新されたマスクが生成される。ステップ４９では弱い陰影動作後のピクセル分類を示す更新された前景マスクが生成され、ステップ５７では、強い陰影除去後のピクセル分類を示す部分領域マスクが生成される。
【００７０】
ステップ５９では、隣接した前景ピクセルのクラスタを囲む１つ以上の領域が更新された前景マスクから特定される。ステップ５９はＣＣＡ動作に対応し、前述されたように、被写体マスクを生成する。続くステップ６１では、部分領域マスク及び被写体マスクが、それぞれの位置が被写体マスク内に特定される共通領域内に入る部分領域マスク内のピクセルのグループを特定するために比較される。ステップ６３では、１つの共通領域に入る前景ピクセルが単一の前景被写体を表すものとして分類される。結果として生じる被写体分類マスクは被写体追跡段階５に転送される。次のフレームがステップ６５で要求され、プロセスはステップ４１から繰り返す。
【００７１】
図１０に示されているように、ステップ４２で実行される試験が否定的である場合、Ｙｆ＞Ｙｂであるかどうかを判断するためにステップ４３で追加試験が実行される。結果が肯定的であり、ピクセルの輝度強度が背景ピクセルより大きいことを意味する場合、ピクセルがハイライト領域の部分を占有するかどうかを判断するために追加試験が実行される。この試験で必要とされる段階は図１１のフローチャートに示される。段階が図９に示される段階に本質的に同一であることが理解されるため、各ステップの詳細な説明は扱われない。しかしながら、ステップ４４’で言及されたＢＤＰがステップ４４に関するのと同じ式を使用して計算されることに留意する価値があり、図９を参照すること。ステップ４５’及び５１’はそれぞれ弱い陰影除去ステップと強い陰影除去ステップ４５と５１に対応する。図１２ａ及び図１２ｂは、ステップ４５’及び５１’で使用されるそれぞれ第１のハイライト範囲及び第２のハイライト範囲を示す。この場合、各範囲は、１を超える値となる閾値「Ｔｈｉｇｈｌｉｇｈｔ」によって分割される。この実施形態では、１．０５という値が第１のハイライト範囲について選ばれ、１．２５という値が第２のハイライト範囲について選ばれる。いずれの場合も、ＢＤＰがＴｈｉｇｈｌｉｇｈｔの値以下である、つまり０とＴｈｉｇｈｌｉｇｈｔの間にある場合、候補ピクセルは、背景ピクセルとして再分類される。
【００７２】
Ｔｓｈａｄｏｗ及びＴｈｉｇｈｌｉｇｈｔに選ばれる前述の値は、照明条件及び／又は気象条件における漸次の変化に関わりなく、大部分の監視状況において非常に効果的であることが実験を通して判明している。これらの値は、ビデオ監視システム１０が動作中も固定したままであり、したがってＰＣの処理負荷を最小限に抑える。これは、リアルタイムシステムにおいては明らかに有利である。わずかな調整が望ましい場合には、手動の調整が画像処理ソフトウェアによって促進される。
【００７３】
陰影除去段階１７の第２の実施形態が、ここで添付図面の図１３から図１６に関して説明される。
【００７４】
図１３を参照すると、示されているステップの大部分は図９に示されているステップと同一であることが理解される。したがって、類似する参照符号は類似する要素に使用され、これらの特定のステップの詳細な説明は必要とされていない。主要な相違点は、ステップ４２後の陰影試験手順にある。
【００７５】
ステップ４２では、Ｙｆ＜Ｙｂである場合、次のステップ７５は候補ピクセルのための２つの異なるパラメータを計算することである。第１はＢＤＰであり、第２はいわゆる「陰影歪みパラメータ」（ＳＤＰ）である。ＢＤＰとＳＤＰは、前景ピクセルが正しく分類されているか、あるいは間違って分類されているのかを判断するために２つのそれぞれの試験で使用される。
【００７６】
この実施形態で使用されるＢＤＰは、式（２）のＢＤＰの代替バージョンであり、以下により示され、
【数８】
【００７７】
ここでは、α、β及びγの値が（１）に示されている同じ値である。式（３）は、輝度値Ｙを計算するために使用される前述された係数を考慮に入れるため、式（３）はさらに満足の行く結果を生じさせることが判明している。
【００７８】
式（１）又は（３）のどちらかはＢＤＰを生成するために使用することができ、その使用は特定の一実施形態に限定されない。
【００７９】
ＳＤＰは、以下の式によって示される数値である。
【数９】
【００８０】
したがって３つの式が計算され、最大の値がＳＤＰとして返される。
【００８１】
候補ピクセルのためにＢＤＰ及びＳＤＰを計算した後、ステップ７６で、比較動作が実行され、ＢＤＰが所定の範囲内にあるかどうかを判断する。この場合には、範囲は０．５と最大ＢＤＰ値の間である。ＢＤＰが範囲内にない、つまり０．５未満である場合には、ピクセルは正しく分類されていると見なされ、次の前景ピクセルがステップ４１で得られる。ＢＤＰが範囲内にある場合、前述された弱い陰影除去動作３２と強い陰影除去動作３３に対応するステップの２つの別々のセットが実行される。図１４ａは、ステップ７６で使用されるＢＤＰ値の範囲を示している。
【００８２】
ステップ７７では、候補ピクセルのＳＤＰが、図１４ｂに表されているようにＳＤＰ値の第１の範囲と比較される。第１の実施形態と同様に、範囲は閾値「Ｔｓｈａｄｏｗ」によって２つの部分に分割される。一般的な場合、Ｔｓｈａｄｏｗは０と１の間の値となる。この実施形態では、０．９という値が選ばれる。ＳＤＰがＴｓｈａｄｏｗという値に等しい又は未満の場合には、候補ピクセルは前景ピクセルとして正しく分類されていると見なされる。しかしながら、ＳＤＰがＴｓｈａｄｏｗの値を上回っている場合は、候補ピクセルが陰影領域の部分を表すと見なされるため、ステップ４６では、候補ピクセルは背景ピクセルとして再分類される。
【００８３】
ステップ７８では、候補ピクセルのＳＤＰは、図１４ｃに表されているように、ＳＤＰ値の第２の範囲と比較される。この場合、Ｔｓｈａｄｏｗの値は０．７というさらに低い値に設定される。前述されたように、ＳＤＰの値がＴｓｈａｄｏｗの値を上回っている場合には、候補ピクセルは、陰影領域の部分を表すと解釈されるため、ステップ５３で、背景ピクセルとして再分類される。
【００８４】
第２の範囲の「陰影」領域が第１の範囲よりさらに大きな範囲をカバーすることを考慮すると、当然、ステップ７７及び４６は弱い陰影除去３２に対応し、ステップ７８及び５３は強い陰影除去３３に対応する。
【００８５】
残りのステップは、図９に関して前述されたステップと同一である。
【００８６】
図１３に示されているように、ステップ４２で実行される試験が否定的である場合には、Ｙｆ＞Ｙｂであるかどうかを判断するために追加試験がステップ４３で実行される。結果が肯定的であり、ピクセルの輝度強度が背景ピクセルより大きいことを意味する場合、候補ピクセルがハイライト領域の部分を占有するかどうかを判断するために追加試験が実行される。この試験に含まれる段階は図１５のフローチャートに示されている。
【００８７】
図１５が大部分は図１３と同一であるため、各ステップの詳細な説明が扱われないことが分かる。ステップ７５’で言及されたＢＤＰは式（３）を使用して計算される。ステップ７６’では、ＢＤＰが所定の範囲内、この場合には１．５とゼロの間にあるかどうかが判断される。図１６ａはＢＤＰ値のこの範囲を描く。ＢＤＰが範囲内にない場合、ピクセルは前景ピクセルとして正しく分類されていると見なされ、プロセスはステップ４１から繰り返す。ＢＤＰが範囲内にある場合、弱い陰影除去及び強い陰影除去が、ステップ７７’、７８’で始まる以後のステップで実行される。
【００８８】
ＳＤＰパラメータを使用する代わりに、いわゆる「ハイライト歪みパラメータ」（ＨＤＰ）がハイライト試験に使用される。ＨＤＰは以下の式を使用して計算される。
【数１０】
【００８９】
３つの式が計算され、最小の値がＨＤＰとして返される。
【００９０】
ステップ７７’及び７８’はそれぞれ弱い陰影除去ステップと強い陰影除去ステップ７７と７８に対応する。図１６ｂ及び図１６ｂは、ステップ７７’及び７８’で使用されるそれぞれの第１のハイライト範囲及び第２のハイライト範囲を示す。この場合、各範囲は１を超える値となるであろう閾値「Ｔｈｉｇｈｌｉｇｈｔ」によって分割される。この実施形態では、第１のハイライト範囲に１．０５という値が選ばれ、第２のハイライト範囲に１．２５という値が選ばれている。候補ピクセルは、いずれの場合も、そのＢＤＰがＴｈｉｇｈｌｉｇｈｔという値を下回る、つまり０とＴｈｉｇｈｌｉｇｈｔの間にある場合に、背景ピクセルとして再分類されるであろう。
【００９１】
したがって、第２の実施形態では、陰影試験、ハイライト試験のそれぞれは、２つの異なるパラメータの組を使用する。初期の試験は、より多くのＢＤＰ値が以後の試験を合格するように配列されるＢＤＰ閾値を使用する。陰影除去ステップ７６では、例えば、ＢＤＰ閾値は相対的に低い（０．５）。ステップ７７及び７８では、各追加試験が、ピクセルが事実上再分類を必要とするかどうかを判断するためにさらに狭い範囲の値に対してＳＤＰ式を使用する。式（４）が３つの副次式に起因する最高の値を取ることが留意される。各副次式は、３つの色成分の内の２つだけを含み、１つの色成分が偽の又はスプリアスな値を与える可能性を考慮に入れる。類似するコメントは、相対的に高いＢＤＰ閾値（１．５）を使用するハイライト除去ステップ７６’に関連しても当てはまる。ステップ７７’及び７８’では、各追加試験はさらに狭い範囲の値に対するＨＤＰ値を使用する。式（５）は、３つの副次式に起因する最低の値を取り、各副次式は３つの色成分の内の２つだけを含む。
【００９２】
第２の実施形態で使用されている式は第１の実施形態で使用されている式よりさらに複雑に見えるが、以下のように式を簡略化できる。輝度値（Ｙ）に関して、式（１）を以下のように書き換えることができる。
【００９３】
Ｙ＝１１４・Ｒ＋５８７・Ｇ＋２９９・Ｂ （６）
１０３で重み付け値を乗算することによって、浮動小数点計算及び除算計算を回避する。
【００９４】
同様に、ＢＤＰ、ＳＤＰ及びＨＤＰを計算する際に、α２、β２及びγ２の値はそれぞれ０．０１２９９６、０．３４４５６９及び０．０８９４０１でなければならない。これらの値を四捨五入し、１０４で乗算し、それぞれα２＝１３０、β２＝３４４６、及びγ２＝８９４を得る。ここでも、浮動小数点計算及び除算計算が回避される。ＢＤＰ、ＳＤＰ及びＨＤＰを計算する際に、繰り返す計算を回避するために６つの項目を事前にプログラミングできる。
【数１１】
【００９５】
前記項目を事前にプログラミングすることにより、すべての除算計算が適切な乗算式及び加算式で置換できることが理解できる。例えば、第２の実施形態では、ＢＤ＞０．５は２・（Ａ１＋Ａ２＋Ａ３）＞（Ｂ１＋Ｂ２＋Ｂ３）と書き換えることができ、ＢＤＰ＜１．５は２・（Ａ１＋Ａ２＋Ａ３）＜３・（Ｂ１＋Ｂ２＋Ｂ３）と書き換えることができる。ＳＢＤ及びＨＢＤを計算するとき、比較ステップは同様に実現できる。例えば、
【数１２】
であるかどうかを判断することを希望する場合、（Ａ１＋Ａ２）・（Ｂ２＋Ｂ３）＞（Ａ２＋Ａ３）・（Ｂ１＋Ｂ２）を使用できる。
【００９６】
要約すると、すべての計算において、整数ベースの加算及び乗算の実行のみが必要とされる。これにより陰影除去段階１７の動作は非常に効率的になる。これは特にリアルタイムアプリケーションで重要である。
【００９７】
被写体特徴付け段階１８は、陰影除去段階１９から被写体分類マスク３９を受信する。この段階は本発明を理解するためには重要ではないので、この段階の詳細な説明は示されない。要約すると、被写体特徴付け段階１８は、被写体分類マスク３９を分析し、以後の被写体追跡段階５で有用である場合がある前景被写体の特定の特徴を特定する。被写体特徴付け段階１８からの出力は被写体記述子の形態を取る。例えば、「中心位置」、「寸法」、「色」及び「ピクセル密度」等の複数の種類の記述子が生成されてよい。
【００９８】
被写体追跡段階５は、被写体特徴付け段階１８から被写体記述子を受け取る。前景被写体はフレームごとに追跡される。被写体記述子を使用して、現在フレーム内の前景被写体と、以前のフレームで既に追跡された前景被写体の間に対応が確立される。軌跡データベースは、１つ以上の高水準アプリケーション７に各前景被写体の追跡履歴が利用できるように維持される。例えば、高水準アプリケーション７は、ビデオの中の１つ以上の前景被写体によって取られる累積経路を示す追跡線を表示してもよい。複数の前景被写体がウェブカメラ１１の視界に入ると、迅速な識別のために各追跡線に異なる色を割り当てることができる。
【００９９】
被写体分類アプリケーションは、各前景被写体の形状を現実世界の被写体のデータベースと比較するために利用されてよい。一致が検出されると、前景被写体は、適切に、例えば「人物」又は「車両」と分類される。
【０１００】
ビデオモニタ１５上の画像データの表示は、ＰＣ１３のハードドライブに記憶される表示制御アプリケーション７０によって制御される。図１７を参照すると、表示制御アプリケーション７０は図３に示されているすべての処理段階からビデオデータを受信し、その後このビデオデータによって表される任意のビデオシーケンスを表示できる。実際には、オペレータは、単一画面上で複数の画像を見ることができる。例えば、オペレータが背景モデル１９と被写体分類マスク３９の両方を同時に見ることを希望することがある。オペレータにとって主な関心は、被写体追跡段階５及び高水準アプリケーション７から得られる、処理後のビデオデータであろう。処理後のフレーム７０が図１８に示されている。陰影除去段階１７におけるピクセル再分類の結果として、以前に陰影領域を占有していたピクセルが現在背景の一部を形成することが留意される。さらに、各前景被写体２３、２５が、被写体追跡段階５によって特定され、追跡されてよい。追跡線７１、７３は、現在のフレームまでつながるビデオセグメントのコース上で被写体によって取られる累積経路を表している。各前景被写体は、高水準被写体分類アプリケーションの、記憶されている現実の被写体の集合の１つに一致した。
【０１０１】
前述されたビデオ処理ソフトウェアは色ビデオデータに対して動作するが、当業者は、本発明が白黒ビデオシステムにも等しく適用可能であることを理解する。
【図面の簡単な説明】
【０１０２】
【図１】従来の技術のインテリジェントビデオシステムにおける処理段階を示すブロック図である。
【図２】本発明によるインテリジェントビデオシステムの構成要素を示すブロック図である。
【図３】インテリジェントビデオシステムの処理段階を示すブロック図である。
【図４】ビデオシステムの前景抽出段階によって使用される背景モデルの画像の表示である。
【図５】前景抽出段階への入信ビデオフレームの表示である。
【図６】前景抽出段階によって生成される前景マスク画像の表示である。
【図７】ビデオシステムの陰影除去段階の機能要素を示すブロック図である。
【図８ａ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図８ｂ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図８ｃ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図８ｄ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図８ｅ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図８ｆ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図９】陰影除去段階により実行される陰影除去動作の各ステップを示すフローチャートである。
【図１０】図９のフローチャートの異なるステップによって使用されている値範囲を表す図である。
【図１１】陰影除去段階によって実行されるハイライト除去動作の各ステップを示すフローチャートである。
【図１２】図１１のフローチャートの異なるステップによって使用される値範囲を表す図である。
【図１３】第２の好ましい実施形態の陰影除去動作のステップを描くフローチャートである。
【図１４】図１３のフローチャートの異なる段階によって使用される値範囲を表す図である。
【図１５】第２の好ましい実施形態におけるハイライト除去動作のステップを示すフローチャートである。
【図１６】図１５のフローチャートの異なる段階によって使用される値範囲を表す図である。
【図１７】ビデオシステムの一部を形成するディスプレイ制御アプリケーションを示すブロック図である。
【図１８】後処理されたビデオ画像の表示である。
【技術分野】
【０００１】
本発明は、限定されないが、特にインテリジェントビデオシステムにおいてビデオデータを処理するための方法及びシステムに関する。
【背景技術】
【０００２】
インテリジェントビデオシステムは当分野で公知である。一般的に、このようなシステムはビデオフレームを入力として受信し、画像内における移動する被写体等のような関心のある被写体を、被写体を背景から区別するための背景減算技法を使用して検出しようと試みる。例えば動画をベースにした検出技法等の他の技法も使用されてよい。単一の入力フレームの中で被写体を検出してから、システムはさらに検出された被写体の特徴を用いて検出された被写体をフレームからフレームへ追跡するように動作してもよい。
【０００３】
典型的なインテリジェントビデオシステムは、図１に示されているように多くの処理段階を備えている。背景学習段階１では、ビデオデータの初期セグメントを使用して背景モデルが確立される。前景の被写体と比較して、背景シーンは一般的に静止したままであるので、この段階で、移動する前景被写体が視覚できない背景モデルを生成する。第２の段階３では、前景抽出及び背景適応が入信ビデオフレームごとに実行される。どの画像ピクセルが前景被写体を表し、どれが背景を表すのかを決定するために、入信フレームが背景モデルと比較される。各ピクセルは相応して分類され、結果として生じる画像が被写体マスクと呼ばれる。背景モデルの小さな変化も適応して更新される。第３の段階５では、被写体マスク内で識別される前景領域がフレームからフレームへ追跡される。現在のフレーム内の前景被写体と以前のフレームで既に追跡された前景被写体の間に対応が確立される。軌跡データベースは、例えば、ビデオの中の１つ以上の前景被写体によって取られる累積経路を示す追跡線を表示するさらに高水準のアプリケーションに各前景被写体の追跡履歴が使用できるように維持される。各前景被写体の形状を現実世界の被写体のデータベースと比較するために被写体分類アプリケーションを利用してもよい。一致が検出されると、前景被写体は例えば「人物」又は「車両」として適切に分類される。
【０００４】
各フレームを処理した後、通常は背景モデルに関する有効性チェックが、背景モデルが依然として有効であることを保証するために実行される。大きな変更又は突然の変更は、新しい背景モデルが学習されることを必要とする。
【０００５】
インテリジェントビデオシステムは、有利にビデオ監視で使用される。多くの監視状況では、人間のオペレータが多数のビデオシーンを同時に監視するのは現実的ではない。被写体を特定し、被写体のそれぞれの動きを経時的にモニタすることによって、オペレータが絶えずある特定のディスプレイをモニタする必要はない。オペレータがディスプレイをモニタしていない間に事象が発生すると、被写体によって取られた累積的な経路が視認可能であり、ビデオシステムは事象を見直すためにオフラインで使用することもできる。
【０００６】
ある公知のインテリジェントビデオシステムは、米国特許出願公開第２００３／００５３６５９Ａ１号に開示されている。
【発明の開示】
【０００７】
従来技術での公知の問題は、入信ビデオでの陰影の出現によって引き起こされる。通常、陰影は画像領域をその真の輝度強度より暗く見せる。したがって前景抽出段階では、投げかけられた陰影領域のピクセルが実際に背景を表すときに該陰影領域が前景として誤って検出される場合がある。したがって、陰影によって前景抽出段階３による被写体マスクが前景形状の歪んだ表現を示すことになる。これはビデオシステムの以後の処理段階において、特にその段階で被写体の形状を特定する必要がある場合に明白な欠点となる。
【０００８】
同様の問題はハイライトの出現によっても生じる。この場合、ハイライトは、画像領域をその真の輝度強度より明るく見えるようにする。
【０００９】
陰影を特定し、取り除くために色彩恒常及び／又はテクスチャ情報を使用することが提案されている。しかしながら、このような技法には不利な点がある。すべてではない場合も、大部分の陰影が取り除かれることを保証するときに、真の前景領域も取り除かれる可能性がある。これは自己陰影、つまり被写体が被写体自体に投げかける陰影による独特の問題である。結果として、前景被写体が分裂して見える画像が生じる。以後の処理段階では分裂した各部分が別々の被写体して処理され得る。
【００１０】
公知の陰影除去方法は、ＨｏｒｐｒａｓｅｒｔらによってＩＥＥＥ ＩＣＣＶフレームレートワークショップ、１９９９年、「リアルタイムの頑健な背景除去及び陰影の検出のための統計的な手法（Ａ Ｓｔａｔｉｓｔｉｃａｌ Ａｐｐｒｏａｃｈ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｒｏｂｕｓｔ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ａｎｄ Ｓｈａｄｏｗ Ｄｅｔｅｃｔｉｏｎ）」に開示されている。
【００１１】
本発明の第１の態様によると、ビデオフレームのピクセルを表すデータを処理する方法が提供される。ピクセルは前景領域又は背景領域のどちらかに属するとして事前に分類されている。該方法は（ａ）ビデオフレームの中で、２つ以上の隣接する前景ピクセルを含む領域を特定することと、（ｂ）ビデオフレームの中で、所定のアルゴリズムを使用することによって再分類のための候補であるとして１つ以上の前景ピクセルを特定することと、（ｃ）背景ピクセルとして候補ピクセルを再分類し、前記再分類されたピクセルを含む比較フレームを生成することと、（ｄ）比較フレームから、それぞれのフレーム位置がステップ（ａ）で特定された領域内にある前景ピクセルを特定することと、（ｄ）ステップ（ｄ）で特定される前景ピクセルを共通の前景被写体を表すものとして分類することとを備える。
【００１２】
この方法は、例えば、陰影除去動作において前景ピクセルを背景ピクセルとして再分類する有利な方法を提供する。再分類の前後における前景領域の重複を比較することにより、分裂した前景領域を特定し、前景領域をその後共通の（つまり同じ）前景被写体を表すものとして分類することが可能である。前景被写体は、被写体の形状という点でより良く定義され、以後の処理段階は分裂した領域を別々の被写体として扱わない。
【００１３】
本方法はビデオ監視において特に有利な点を提供する。複数のビデオフレームを表すデータはビデオカメラ等のソースから、前述されたステップを実行するように構成されたコンピュータシステムに送信される。ステップはリアルタイムで実行することができ、処理された画像データは画面上に表示できる。
【００１４】
本方法はビデオ監視アプリケーションに限定されない。実際には、本方法は背景からの前景領域の抽出を必要とする任意のアプリケーションで使用できる。バーチャルリアリティ（ＶＲ）システムは前景抽出を活用するアプリケーションの別の例である。
【００１５】
本明細書では、前景ピクセルは、フレーム内でのピクセルのそれぞれの位置が、方向に関係なく互いに隣である場合に隣接していると見なされる。
【００１６】
好ましくは、ステップ（ｂ）は、基準フレームを占有する対応する基準ピクセルの輝度（Ｙｂ）と異なる輝度（Ｙｆ）を有する１つ以上の前景ピクセルを特定することと、候補ピクセルの色成分と基準ピクセルの色成分との間の所定の関係性に基づいて特定されたピクセル又はそれぞれの特定されたピクセルにパラメータを割り当てることと、パラメータを、ピクセルが候補ピクセルとして分類するべきかどうかを示す値の範囲に対して比較することとを含む。
【００１７】
基準フレームは、背景学習動作から獲得される、記憶されている背景フレームを備えてもよい。
【００１８】
前述されたパラメータは以下によって示されてもよく、
【数５】
【００１９】
ここでは、Ｒｆ、Ｇｆ、Ｂｆはそれぞれ前景ピクセルの赤、緑、及び青の色成分を表し、Ｒｂ、Ｇｂ、Ｂｂは基準ピクセルの赤、緑、及び青の色成分を表す。
【００２０】
あるいはさらに複雑な式が特定の説明で説明されるように、数値パラメータに使用されてもよい。
【００２１】
代替実施形態では、ステップ（ｂ）は基準フレームを占有する対応する基準ピクセルの輝度（Ｙｂ）と異なる輝度（Ｙｆ）を有する１つ以上の前景ピクセルを特定することと、候補ピクセルの色成分と基準ピクセルの色成分の間のそれぞれ異なる第１の関係性と第２の関係性に基づいて特定されたピクセル又はそれぞれの特定されたピクセルに第１のパラメータと第２のパラメータを割り当てることと、ピクセルが候補ピクセルとして分類されるべきかどうかを示す値の第１の範囲及び第２の範囲のそれぞれに対して第１のパラメータと第２のパラメータを比較することとを含む。
【００２２】
代替実施形態では、第１のパラメータは以下によって示され、
【数６】
【００２３】
ここではα、β、及びγは輝度係数である。
【００２４】
ステップ（ａ）で特定された領域は、好ましくは、それぞれの隣接する前景ピクセルを含むほど十分な大きさの矩形のピクセルアレイを備えている。好ましくは、アレイの各端縁は隣接するピクセルの少なくとも１つを含む。
【００２５】
本発明の第２の態様によると、ビデオフレームのピクセルを表すデータを処理する方法が提供される。ピクセルは前景領域又は背景領域のどちらかに属すとして事前に分類される。該方法は（ａ）再分類のための候補であるとして１つ以上の前景ピクセルを特定することと、（ｂ）候補ピクセルと基準ピクセルの間の所定の関係性に基づいて各候補ピクセルに数値パラメータを割り当てることと、（ｃ）候補ピクセルごとに、候補ピクセルの数値パラメータを第１の範囲の値と比較し、パラメータが第１の範囲に入る場合に、背景ピクセルとしてピクセルを再分類することと、（ｄ）候補ピクセルごとに、候補ピクセルのパラメータを、第１の範囲内にある第２の値の範囲に比較し、パラメータが第２の範囲に入る場合に、背景ピクセルとしてピクセルを再分類することと、（ｅ）ステップ（ｃ）及び（ｄ）のそれぞれで再分類された各ピクセルを含む更新された画像データの第１の組及び第２の組を提供することと、（ｆ）近接する前景ピクセルのクラスタを含む領域を、更新された画像データの第２の集合から特定することと、（ｇ）それぞれの位置がステップ（ｆ）で特定された領域内にある前景ピクセルを、更新された画像データの第１の組から特定し、その後１つの共通する被写体をあらわすものとして前記複数の前景ピクセルを分類することとを備える。
【００２６】
本発明の第３の態様によると、ビデオシーケンスのフレームを表すデータを処理する方法が提供される。各フレームは、それぞれが各フレーム位置を占める複数のピクセルを備える。該方法は（ａ）前景又は背景のどちらかとしてピクセル分類を示す第１のマスクを提供することと、（ｂ）近接した前景ピクセルのクラスタを含む第１のマスクの中に領域を特定することと、（ｃ）前景ピクセルごとに、前記ピクセルが再分割のための候補とならなければならないかどうかを、記憶されている基準フレーム内の同じフレーム位置を占める基準ピクセルと前記ピクセルを比較することによって特定することと、（ｄ）ほぼすべての候補ピクセルを背景ピクセルとして再分類し、再分類後のピクセル分類を示す第２のマスクをそこから生成することと、（ｅ）（ｂ）で特定された領域に入る第２のマスク内の２つ以上の前景ピクセルを特定するために第１のマスクと第２のマスクを比較することと、（ｆ）共通の被写体を表すものとして（ｅ）で特定された前景ピクセルを特定する第３のマスクを提供することとを備える。
【００２７】
本発明の第４の態様によると、ビデオフレームのピクセルを表すデータを処理するように構成されたビデオ処理システムが提供される。ピクセルは前景領域又は背景領域のどちらかに属すとして事前に分類される。該システムは、（ａ）ビデオフレームの中で、（ｉ）複数の近接した前景ピクセルを含む領域と、（ｉｉ）所定のアルゴリズムを使用することによって再分類のための候補であるとして１つ以上の前景ピクセルとを特定し、（ｂ）背景ピクセルとして候補ピクセルを再分類し、前記再分類されたピクセルを含む比較フレームを生成し、（ｃ）比較フレームから、それぞれのフレーム位置がステップ（ａ）で特定された領域内にある前景ピクセルを特定し、（ｄ）共通する前景被写体を表すものとしてステップ（ｃ）で特定された前景ピクセルを分類するように構成された手段を備える。
【００２８】
ビデオ処理システムはビデオ監視システムの一部を形成してもよい。
【００２９】
発明は、添付図面に関して一例として説明される。
【発明を実施するための最良の形態】
【００３０】
図２を参照すると、インテリジェントビデオ監視システム１０は、カメラ１１と、パーソナルコンピュータ（ＰＣ）１３と、ビデオモニタ１５とを備えている。カメラ１１は例えばＬｏｇｉｔｅｃ（商標） Ｐｒｏ ４０００ ｃｏｌｏｕｒ ｗｅｂｃａｍ等のウェブカメラである。例えば、デジタルカムコーダ又はアナログ／デジタル変換手段付きのアナログカメラ等のデジタル画像データを出力できる任意のタイプのカメラを使用できる。ウェブカメラ１１は、ローカルエリアネットワーク（ＬＡＮ）又はインターネット等の任意のネットワークであろうネットワーク１４上でＰＣ１３と通信する。実際には、ウェブカメラ１１、及びＰＣ１３はデジタル加入者回線（ＤＳＬ）モデム等のそれぞれのネットワーク接続（図示しない）を介してネットワーク１４に接続される。代わりに、ウェブカメラ１１はＰＣのユニバーサルシリアルバス（ＵＳＢ）ポート１２によってＰＣ１３に直接接続できるであろう。ＰＣ１３は任意の標準コンピュータで構成されてもよい。この場合、ＰＣ１３は１ＧＨｚのプロセッサ、５１２メガバイトのランダムアクセスメモリ（ＲＡＭ）、及び４０ギガバイトのハードディスクドライブを有するデスクトップコンピュータである。ビデオモニタ１５は、標準ビデオコネクタによってＰＣ１３に接続された１７”薄膜トランジスタ（ＴＦＴ）モニタである。
【００３１】
ビデオ処理ソフトウェアはＰＣ１３のハードディスクドライブに提供される。ソフトウェアは、ウェブカメラ１１から受信されるビデオデータに対して多くの処理動作を実行するように構成されている。ビデオデータは捕捉されたビデオの個々のフレームを表し、各フレームは複数のピクチャエレメント、又はピクセルから構成されている。この実施形態では、各フレームは３２０ピクセル（幅）×２４０ピクセル（高さ）の表示フォーマットを有する。代わりの表示フォーマットは、アプリケーションに応じて使用されてよい。ウェブカメラ１１はカラーカメラであるため、各ピクセルは、フレームにおけるピクセルの位置を示すデータだけでなく、表示されている色を決定する、３つの色成分つまり、赤、緑及び青の成分のそれぞれの重み付けによっても表される。当分野において理解されるように、既定のピクセルの輝度Ｙは以下の式によって近似することができる。
【００３２】
Ｙ＝α・Ｒ＋β・Ｇ＋γ・Ｂ （１）
ここでは、α＝０．１１４、β＝０．５８７及びγ＝０．２９９である。
【００３３】
Ｒ、Ｇ及びＢはそれぞれ、赤、緑、及び青の色成分の値を表している。Ｙの代替式は公知であるが、出願人は上記の式が好ましいことに気付いた。
【００３４】
ビデオ処理ソフトウェアは、図３に示されているように多くの異なる段階を備えている。図３は図２に類似しており、陰影除去段階１７及び被写体特徴付け段階１８が加えられ、両方の段階とも前景抽出段階３と被写体追跡段階５の間に組み込まれている。
【００３５】
陰影除去段階１７の目的は、陰影領域とハイライト領域のかなりの割合を各ビデオフレームから取り除くことである。このようにして、前景領域の形状を特定する以後の処理段階は、改善された信頼性を持って動作できる。
【００３６】
被写体特徴付け段階１８の目的は、前景の抽出及び陰影の除去に続いて前景特徴を特定することである。出力は、被写体追跡段階５によって使用される被写体記述子の組をから成る。この段階１８の詳細な理解は、本発明の理解には必須ではない。
【００３７】
最初に、ビデオ処理ソフトウェアは背景学習段階１を実行する。序論で述べたように、この段階の目的はビデオデータの初期のセグメントから背景モデルを確立することである。このビデオセグメントは、通常、２００フレームを備える。任意の画像の背景シーンは（前景被写体と比較して）相対的に固定されたままである場合が多いので、この段階で前景被写体が視覚できない背景モデルを確立する。
【００３８】
図４は、前述された背景学習段階１の間に確立された背景モデル１９を示す。この場合、ウェブカメラ１１は駐車場に向けられていた。ＰＣ１３のメモリでは、背景モデル１９は、ピクセルの位置を表す記憶されているデータの組、及び各ピクセルの赤、緑及び青の色成分のそれぞれの重み付けによって表される。
【００３９】
背景モデル１９を確立してから、入信ビデオフレームがＰＣ１３によって受信され、ビデオ処理ソフトウェアによって処理される。以後の前景抽出段階３、陰影除去段階１７、被写体特徴付け段階１８、被写体追跡段階５、及び高水準アプリケーション７はリアルタイムでビデオフレームを処理する。
【００４０】
前景抽出及び背景適応段階３（以後「前景抽出段階」と呼ぶ）は、現在フレームの各ピクセルを処理する。各ピクセルは、現在フレームのピクセルが前景被写体の一部を表すのか、あるいは背景の一部を表すのかを推定するために、背景モデル１９内の対応する位置を占有するピクセルと比較される。背景モデル１９の小さな変化は適応して更新される。背景モデル１９のより深刻な変化又は突然の変化は、参照符号９によって示される試験を使用して実行される再学習動作を必要とする。
【００４１】
前景抽出段階３の詳細な説明は本発明の理解に必須ではないが、当業者は前景抽出３を実行するための公知の方法があることを理解するであろう。恐らく最も簡単なのは、各ピクセルの輝度を、背景モデル１９内の対応する位置を占有するピクセルの輝度と比較することである。２つの間の差異が所定の閾値を超える場合は、現在のピクセルは前景ピクセルとして分類される。
【００４２】
特に有効な方法は、Ｓｔａｕｆｆｅｒ及びＧｒｉｍｓｏｎによってパターン分析及び機械インテリジェンスに関するＩＥＥＥ会議録（ＩＥＥＥ Ｔｒａｎｓｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）、第２２巻、第８号、２０００年８月、７４７から７５７頁、「リアルタイム追跡を使用する活動の学習パターン（Ｌｅａｒｎｉｎｇ Ｐａｔｅｒｎｓ ｏｆ Ａｃｔｉｖｉｔｙ Ｕｓｉｎｇ Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ）」、に詳細に説明されているいわゆるガウスの混合（Ｍｉｘｔｕｒｅ ｏｆ Ｇａｕｓｓｉａｎ（ＭｏＧ））方法である。ＭｏＧ方法の実現は米国特許出願公開第２００３／００５３６５８号にも説明されている。両方の参考資料とも、前述の背景モデル１９を確立するために適切な背景学習方法を説明する。
【００４３】
要約すれば、ＭｏＧ方法は、異なる混合ガウス（又は正規）静的分布として入信ビデオフレームの各ピクセルをモデル化することを必要とする。これは、同じシーンポイントのサンプルがガウスのノイズ分布を示す傾向にあるという前提を反映する。混合正規分布は、１つ以上のプロセスを経時的に観察できるという期待を反映する。混合分布のそれぞれの持続性及び不偏分散に基づいて、どの分散が現在の背景と一致し得るかが決定される。背景分散に適合しない分散は、対応し、多くのフレームにわたって構築される一貫した証拠によって裏付けられる分散があるまで、前景ピクセルとして分類される。
【００４４】
ここで説明されている実施形態の場合、前景抽出段階３は、好ましくは、ＭｏＧ方法を使用して動作する。しかしながら、これは決して必須ではなく、任意の代替方法を使用することができる。
【００４５】
前景抽出段階３の動作は、ウェブカメラ１１からの入信ビデオフレーム２１を示す図５を参照することによってさらに良く理解される。ビデオフレーム２１は（ａ）駐車場を横切って歩いている人物２３と、（ｂ）駐車場の下部を横断している車両２５とを描いている。ビデオフレーム２１の各ピクセルは、そのピクセルが前景ピクセルとして分類されるべきなのか、あるいは背景ピクセルとして分類されるべきなのかを判断するために、背景モデル１９内の対応するピクセルと比較される。結果として、前景抽出段階３は前景マスクを生成する。マスクは、各ピクセルの分類に関する情報、つまりピクセルが前景を表すのか、あるいは背景を表すのかを含む画像データの組である。図６を参照すると、前景ピクセルが白で示され、背景ピクセルが黒で示されている前景マスク２７の視覚表現が示されている。
【００４６】
前景マスク２７は、第１及び第２の前景領域２９、３１を含む。しかしながら、前景領域２９、３１のどちらもその形状に関して特に良く画定されておらず、前景マスク２７だけを使用しても、どの前景被写体が実際に表現されるのかを決定することは困難である。これは、図５に示されるように、人物２３及び車両２５によって背景の上に投げかけられる陰影の存在のためである。陰影を表すピクセルは背景モデル１９において対応する位置を占有するピクセルより暗い輝度強度を有する。したがって、これらのピクセルは前景ピクセルとして間違って分類された。ピクセルがその対応する背景ピクセルの輝度より明るい輝度強度を有するハイライトの存在によっても同様な問題が引き起こされることがある。
【００４７】
陰影及びハイライトの結果として、以後の処理段階で問題が発生する可能性が高い。例えば、被写体特徴付け段階１８が前景抽出段階３から直接的に前景マスク２７を受け取る場合、被写体特徴付け段階は前景被写体の特徴を特定するのが困難である。これは後の処理段階でさらに問題を引き起こす可能性がある。被写体追跡段階５は、現在のフレームの前景被写体と、前のフレームで追跡された前景被写体の間の対応を行うのが困難である。ビデオ監視システム１０が、被写体のそれぞれのマスクプロファイルがどの「現実世界の」被写体に似ているのかに応じて被写体が分類される、被写体分類段階を含む場合に、同様の問題が生じる可能性がある。
【００４８】
前述された問題を緩和するために、ビデオ処理ソフトウェアは陰影除去段階１７を含む。
【００４９】
図７は、陰影除去段階１７の主要機能要素を示している。弱い陰影除去３２と強い陰影除去３３を備える二分岐プロセスが利用されている。両方とも前景マスク２７上で並列に動作し、そこからそれぞれ更新されたマスク及び部分領域マスクを生成する。
【００５０】
並列動作が本発明にとって必須ではないことが理解されなければならない。しかしながら、このリアルタイムビデオ監視システム１０の目的のために、並列動作が好ましい。
【００５１】
弱い陰影除去３２の目的は、現在のフレーム内に存在する最も激しい陰影だけを除去することである。実際には、極めて区別可能な陰影は２、３しか存在しないと推定される。しかしながら、フレームは、現実にはさまざまな輝度強度の多くの印影を有する可能性が高いので、弱い陰影除去３２はそのままでは不十分であろう。結果として、多くのピクセルが依然として間違って、前景ピクセルとして分類される可能性がある。
【００５２】
逆に、強い陰影除去３３の目的は、現在のフレーム内に存在する実質的にあらゆる陰影を除去することである。結果として、いくつかの真の前景領域が間違って陰影領域として検出される可能性がある。被写体自体の上に陰影を投げかける被写体、いわゆる自己陰影は特に脆弱である。例えば、人間の顔を示しているフレームは、頬の上に鼻によって投げかけられる自己陰影領域を含み得る。強い陰影除去３３によって、この領域のピクセルが前景被写体、つまり顔の部分を実際に形成するにも関わらずこの領域が削除される。結果として、通常、同じ被写体の部分が互いから切り離されているように見える分裂した画像が生じる。以後の処理ステップは、各断片を別々の被写体として解釈し得る。
【００５３】
陰影除去段階１７は弱い陰影除去と強い陰影除去２９、３０の両方からの出力を使用し、いわゆる被写体分類マスクを生じさせる。被写体分類マスクは、効果的に部分領域マスクを備え、部分領域マスクは、適切な場合には分裂した被写体部分が共通の被写体に属すとして識別されることを確実にするための追加の分類情報を持つ、前景被写体形状の改善された表現を提供する。これを達成するために、連結成分分析（ＣＣＡ）動作３４が、弱い陰影除去３２に続く更新されたマスク上で利用される。ＣＣＡ動作は、前景被写体形成段階３５に送信される被写体マスクを生成する。ＣＣＡ段階３４及び前景被写体形成段階３５の動作が後述される。
【００５４】
ＣＣＡ動作３４の目的は更新された前景マスクの中の画像ピクセルの１つ以上のクラスタを特定することである。クラスタは２つ以上の近接した、つまり隣接するピクセルから成り得る。これに続いて各クラスタを囲む最小の矩形領域を画定する境界がソフトウェアによって自動的に確立される。フレーム上での各矩形領域の位置は、被写体マスクを形成するために第１の更新されたマスクに加えられる。
【００５５】
上記のプロセスを説明するために、図６に示されている前景マスク２７が陰影除去段階１７に対する現在の入力であると仮定する。図８ａは、弱い陰影除去３２から生じる更新された前景マスク３６を示している。予想されたように、いくつかの陰影は除去されたが、各被写体２９’、３１’の形状は不十分に画定されたままである。図８ｂは、それぞれのクラスタ２９’と３１’を囲む矩形の境界が加えられたＣＣＡ段階３４によって生成される被写体マスク３７を示す。
【００５６】
図８ｃは、強い陰影除去３３後の部分領域マスク３８を示している。各被写体２９”、３１”の形状が良く画定されていることが分かる。しかしながら、強い陰影除去３３が背景ピクセルとして間違って分類されたいくつかの前景ピクセルを生じさせ、各被写体が多くの別々の部分に分裂したのは不可避である。
【００５７】
前景被写体形成段階３５では、被写体マスク３７と部分領域マスク３８とが比較され、位置が被写体マスク３７の共通矩形領域内に入る部分領域マスク３８内の前景ピクセルを特定する。共通矩形領域内に入るすべての前景ピクセルは、同じ前景被写体に属すとして分類される。
【００５８】
前述されたように、前景被写体形成段階３５によって生成される出力は被写体分類マスク３９と呼ばれる。被写体分類マスク３９は、強い陰影除去３３を使用して前景被写体の改善された形状表現を提供する。前景領域の分裂による潜在的な問題は、弱い陰影除去３２によってサイズが決定される既定の境界領域内に入る各部に共通のアイデンティティを割り当てることによって回避される。図８ｄは、前景被写体形成段階３５によって得られる被写体分類マスク３９の視覚表現を示している。
【００５９】
ＣＣＡ段階３４及び被写体形成段階３５の動作原則は、図８ｅから図８ｈを参照することによってさらに良く理解される。図８ｅは弱い陰影除去３２後の前景マスクのクローズアップ部分を示している。前景ピクセルの単一クラスタが存在する。図８ｆは、ＣＣＡ段階３４によって生成される被写体マスクのクローズアップ部分を示す。ＣＣＡ段階３４は、各前景ピクセルを囲むのにちょうど十分な大きさの矩形境界を画定した。図８ｇは、強い陰影除去３３後の部分領域マスクのクローズアップ部分を示す。前景ピクセルの単一のクラスタが存在するというよりむしろ、２つの別々のクラスタがある。図８ｈは前景被写体形成段階３５後の被写体分類マスクのクローズアップ部分を示す。ＣＣＡ段階３４によって画定される矩形境界内に入る部分領域マスク内のすべての前景ピクセルは、共通前景領域を表すものとして分類された。
【００６０】
完全さのために、陰影除去段階１７のソフトウェアレベルの動作の詳細な説明がここで説明される。２つの実施形態が説明され、第１の実施形態は図９から図１２に関して後述される。第２の実施形態はさらに図１３から図１６に関して説明される。
【００６１】
図９を参照すると、第１の実施形態では、第１のステップ４１は現在のフレーム内の次の前景ピクセルを取得することである。続くステップ４２では、ピクセル（Ｙｆ）の輝度は、記憶されている背景モデル内の同じ位置を占有するピクセルの輝度（Ｙｂ）と比較される。ピクセルが背景ピクセルより暗い輝度強度を有することを意味するＹｆ＜Ｙｂである場合、ピクセルが陰影領域を占有するかどうかを判断するために試験が実行される。ピクセルが占有しない場合、ステップ４３において、Ｙｆ＞Ｙｂであるかどうかを判断する追加試験が実行され、ここで、ピクセルがハイライト領域を占有するかどうかを判断する試験が実行される。これは、後述される。
【００６２】
Ｙｆ＜Ｙｂである場合、ピクセルは再分類のための候補と見なされてよい。次のステップ４４は、候補ピクセルのためのいわゆる明度歪みパラメータ（ＢＤＰ）を計算することである。ＢＤＰを計算するための単純な式は、以下により示され
【数７】
【００６３】
ここでは、Ｒｆ、Ｇｆ、Ｂｆはそれぞれ、候補ピクセルの赤、緑及び青の色成分を表し、Ｒｂ、Ｇｂ、Ｂｂはそれぞれ、背景モデル内の対応するピクセルの赤、緑及び青の色成分を表す。
【００６４】
ＢＤＰを計算するためのさらに複雑な式は、第２の実施形態に関して下記に詳説される。しかしながらこの代替式は第１の実施形態とともに使用できる。
【００６５】
候補ピクセルのためにＢＤＰを計算してから、前述された弱い陰影除去動作と強い陰影除去動作３２、３３に対応するステップの２つの別々の組が実行される。これらが後述される。
【００６６】
ステップ４５では、候補ピクセルのＢＤＰが、図１０ａに表現されるようにＢＤＰ値の第１の範囲と比較される。範囲は閾値「Ｔｓｈａｄｏｗ」によって２つの部分に分けられる。一般的な場合には、Ｔｓｈａｄｏｗは０と１の間の値となる。この実施形態では、０．９という値が選ばれている。ＢＤＰがＴｓｈａｄｏｗの値に等しい、又は以下である場合には、候補ピクセルは前景ピクセルとして正しく分類されていると見なされる。しかしながら、ＢＤＰがＴｓｈａｄｏｗの値を超えている場合、候補ピクセルは陰影領域の部分を表すと見なされるため、候補ピクセルはステップ４７で背景ピクセルとして再分類される。
【００６７】
ステップ５１では、候補ピクセルのＢＤＰは、図１０ｂに表されるようにＢＤＰ値の第２の範囲と比較される。この場合、Ｔｓｈａｄｏｗの値は０．７というさらに低い値に設定される。前述のように、ＢＤＰの値がＴｓｈａｄｏｗの値を超えている場合、候補ピクセルが陰影領域の部分を表すために採取されるため、ステップ５３では背景ピクセルとして再分類される。
【００６８】
第２の領域の「陰影」領域が第１より大きな値の範囲を対象とすると、ステップ４５と４６は弱い陰影除去３２に対応し、ステップ５１と５３は強い陰影除去３３に対応することになる。
【００６９】
前述されたステップの動作に続き、現在のフレーム内にあらゆる残りの候補ピクセルがあるかどうかが判断される（ステップ４７、５５）。すべての候補ピクセルがチェックされた場合、前のステップから再分類されたピクセルを含む更新されたマスクが生成される。ステップ４９では弱い陰影動作後のピクセル分類を示す更新された前景マスクが生成され、ステップ５７では、強い陰影除去後のピクセル分類を示す部分領域マスクが生成される。
【００７０】
ステップ５９では、隣接した前景ピクセルのクラスタを囲む１つ以上の領域が更新された前景マスクから特定される。ステップ５９はＣＣＡ動作に対応し、前述されたように、被写体マスクを生成する。続くステップ６１では、部分領域マスク及び被写体マスクが、それぞれの位置が被写体マスク内に特定される共通領域内に入る部分領域マスク内のピクセルのグループを特定するために比較される。ステップ６３では、１つの共通領域に入る前景ピクセルが単一の前景被写体を表すものとして分類される。結果として生じる被写体分類マスクは被写体追跡段階５に転送される。次のフレームがステップ６５で要求され、プロセスはステップ４１から繰り返す。
【００７１】
図１０に示されているように、ステップ４２で実行される試験が否定的である場合、Ｙｆ＞Ｙｂであるかどうかを判断するためにステップ４３で追加試験が実行される。結果が肯定的であり、ピクセルの輝度強度が背景ピクセルより大きいことを意味する場合、ピクセルがハイライト領域の部分を占有するかどうかを判断するために追加試験が実行される。この試験で必要とされる段階は図１１のフローチャートに示される。段階が図９に示される段階に本質的に同一であることが理解されるため、各ステップの詳細な説明は扱われない。しかしながら、ステップ４４’で言及されたＢＤＰがステップ４４に関するのと同じ式を使用して計算されることに留意する価値があり、図９を参照すること。ステップ４５’及び５１’はそれぞれ弱い陰影除去ステップと強い陰影除去ステップ４５と５１に対応する。図１２ａ及び図１２ｂは、ステップ４５’及び５１’で使用されるそれぞれ第１のハイライト範囲及び第２のハイライト範囲を示す。この場合、各範囲は、１を超える値となる閾値「Ｔｈｉｇｈｌｉｇｈｔ」によって分割される。この実施形態では、１．０５という値が第１のハイライト範囲について選ばれ、１．２５という値が第２のハイライト範囲について選ばれる。いずれの場合も、ＢＤＰがＴｈｉｇｈｌｉｇｈｔの値以下である、つまり０とＴｈｉｇｈｌｉｇｈｔの間にある場合、候補ピクセルは、背景ピクセルとして再分類される。
【００７２】
Ｔｓｈａｄｏｗ及びＴｈｉｇｈｌｉｇｈｔに選ばれる前述の値は、照明条件及び／又は気象条件における漸次の変化に関わりなく、大部分の監視状況において非常に効果的であることが実験を通して判明している。これらの値は、ビデオ監視システム１０が動作中も固定したままであり、したがってＰＣの処理負荷を最小限に抑える。これは、リアルタイムシステムにおいては明らかに有利である。わずかな調整が望ましい場合には、手動の調整が画像処理ソフトウェアによって促進される。
【００７３】
陰影除去段階１７の第２の実施形態が、ここで添付図面の図１３から図１６に関して説明される。
【００７４】
図１３を参照すると、示されているステップの大部分は図９に示されているステップと同一であることが理解される。したがって、類似する参照符号は類似する要素に使用され、これらの特定のステップの詳細な説明は必要とされていない。主要な相違点は、ステップ４２後の陰影試験手順にある。
【００７５】
ステップ４２では、Ｙｆ＜Ｙｂである場合、次のステップ７５は候補ピクセルのための２つの異なるパラメータを計算することである。第１はＢＤＰであり、第２はいわゆる「陰影歪みパラメータ」（ＳＤＰ）である。ＢＤＰとＳＤＰは、前景ピクセルが正しく分類されているか、あるいは間違って分類されているのかを判断するために２つのそれぞれの試験で使用される。
【００７６】
この実施形態で使用されるＢＤＰは、式（２）のＢＤＰの代替バージョンであり、以下により示され、
【数８】
【００７７】
ここでは、α、β及びγの値が（１）に示されている同じ値である。式（３）は、輝度値Ｙを計算するために使用される前述された係数を考慮に入れるため、式（３）はさらに満足の行く結果を生じさせることが判明している。
【００７８】
式（１）又は（３）のどちらかはＢＤＰを生成するために使用することができ、その使用は特定の一実施形態に限定されない。
【００７９】
ＳＤＰは、以下の式によって示される数値である。
【数９】
【００８０】
したがって３つの式が計算され、最大の値がＳＤＰとして返される。
【００８１】
候補ピクセルのためにＢＤＰ及びＳＤＰを計算した後、ステップ７６で、比較動作が実行され、ＢＤＰが所定の範囲内にあるかどうかを判断する。この場合には、範囲は０．５と最大ＢＤＰ値の間である。ＢＤＰが範囲内にない、つまり０．５未満である場合には、ピクセルは正しく分類されていると見なされ、次の前景ピクセルがステップ４１で得られる。ＢＤＰが範囲内にある場合、前述された弱い陰影除去動作３２と強い陰影除去動作３３に対応するステップの２つの別々のセットが実行される。図１４ａは、ステップ７６で使用されるＢＤＰ値の範囲を示している。
【００８２】
ステップ７７では、候補ピクセルのＳＤＰが、図１４ｂに表されているようにＳＤＰ値の第１の範囲と比較される。第１の実施形態と同様に、範囲は閾値「Ｔｓｈａｄｏｗ」によって２つの部分に分割される。一般的な場合、Ｔｓｈａｄｏｗは０と１の間の値となる。この実施形態では、０．９という値が選ばれる。ＳＤＰがＴｓｈａｄｏｗという値に等しい又は未満の場合には、候補ピクセルは前景ピクセルとして正しく分類されていると見なされる。しかしながら、ＳＤＰがＴｓｈａｄｏｗの値を上回っている場合は、候補ピクセルが陰影領域の部分を表すと見なされるため、ステップ４６では、候補ピクセルは背景ピクセルとして再分類される。
【００８３】
ステップ７８では、候補ピクセルのＳＤＰは、図１４ｃに表されているように、ＳＤＰ値の第２の範囲と比較される。この場合、Ｔｓｈａｄｏｗの値は０．７というさらに低い値に設定される。前述されたように、ＳＤＰの値がＴｓｈａｄｏｗの値を上回っている場合には、候補ピクセルは、陰影領域の部分を表すと解釈されるため、ステップ５３で、背景ピクセルとして再分類される。
【００８４】
第２の範囲の「陰影」領域が第１の範囲よりさらに大きな範囲をカバーすることを考慮すると、当然、ステップ７７及び４６は弱い陰影除去３２に対応し、ステップ７８及び５３は強い陰影除去３３に対応する。
【００８５】
残りのステップは、図９に関して前述されたステップと同一である。
【００８６】
図１３に示されているように、ステップ４２で実行される試験が否定的である場合には、Ｙｆ＞Ｙｂであるかどうかを判断するために追加試験がステップ４３で実行される。結果が肯定的であり、ピクセルの輝度強度が背景ピクセルより大きいことを意味する場合、候補ピクセルがハイライト領域の部分を占有するかどうかを判断するために追加試験が実行される。この試験に含まれる段階は図１５のフローチャートに示されている。
【００８７】
図１５が大部分は図１３と同一であるため、各ステップの詳細な説明が扱われないことが分かる。ステップ７５’で言及されたＢＤＰは式（３）を使用して計算される。ステップ７６’では、ＢＤＰが所定の範囲内、この場合には１．５とゼロの間にあるかどうかが判断される。図１６ａはＢＤＰ値のこの範囲を描く。ＢＤＰが範囲内にない場合、ピクセルは前景ピクセルとして正しく分類されていると見なされ、プロセスはステップ４１から繰り返す。ＢＤＰが範囲内にある場合、弱い陰影除去及び強い陰影除去が、ステップ７７’、７８’で始まる以後のステップで実行される。
【００８８】
ＳＤＰパラメータを使用する代わりに、いわゆる「ハイライト歪みパラメータ」（ＨＤＰ）がハイライト試験に使用される。ＨＤＰは以下の式を使用して計算される。
【数１０】
【００８９】
３つの式が計算され、最小の値がＨＤＰとして返される。
【００９０】
ステップ７７’及び７８’はそれぞれ弱い陰影除去ステップと強い陰影除去ステップ７７と７８に対応する。図１６ｂ及び図１６ｂは、ステップ７７’及び７８’で使用されるそれぞれの第１のハイライト範囲及び第２のハイライト範囲を示す。この場合、各範囲は１を超える値となるであろう閾値「Ｔｈｉｇｈｌｉｇｈｔ」によって分割される。この実施形態では、第１のハイライト範囲に１．０５という値が選ばれ、第２のハイライト範囲に１．２５という値が選ばれている。候補ピクセルは、いずれの場合も、そのＢＤＰがＴｈｉｇｈｌｉｇｈｔという値を下回る、つまり０とＴｈｉｇｈｌｉｇｈｔの間にある場合に、背景ピクセルとして再分類されるであろう。
【００９１】
したがって、第２の実施形態では、陰影試験、ハイライト試験のそれぞれは、２つの異なるパラメータの組を使用する。初期の試験は、より多くのＢＤＰ値が以後の試験を合格するように配列されるＢＤＰ閾値を使用する。陰影除去ステップ７６では、例えば、ＢＤＰ閾値は相対的に低い（０．５）。ステップ７７及び７８では、各追加試験が、ピクセルが事実上再分類を必要とするかどうかを判断するためにさらに狭い範囲の値に対してＳＤＰ式を使用する。式（４）が３つの副次式に起因する最高の値を取ることが留意される。各副次式は、３つの色成分の内の２つだけを含み、１つの色成分が偽の又はスプリアスな値を与える可能性を考慮に入れる。類似するコメントは、相対的に高いＢＤＰ閾値（１．５）を使用するハイライト除去ステップ７６’に関連しても当てはまる。ステップ７７’及び７８’では、各追加試験はさらに狭い範囲の値に対するＨＤＰ値を使用する。式（５）は、３つの副次式に起因する最低の値を取り、各副次式は３つの色成分の内の２つだけを含む。
【００９２】
第２の実施形態で使用されている式は第１の実施形態で使用されている式よりさらに複雑に見えるが、以下のように式を簡略化できる。輝度値（Ｙ）に関して、式（１）を以下のように書き換えることができる。
【００９３】
Ｙ＝１１４・Ｒ＋５８７・Ｇ＋２９９・Ｂ （６）
１０３で重み付け値を乗算することによって、浮動小数点計算及び除算計算を回避する。
【００９４】
同様に、ＢＤＰ、ＳＤＰ及びＨＤＰを計算する際に、α２、β２及びγ２の値はそれぞれ０．０１２９９６、０．３４４５６９及び０．０８９４０１でなければならない。これらの値を四捨五入し、１０４で乗算し、それぞれα２＝１３０、β２＝３４４６、及びγ２＝８９４を得る。ここでも、浮動小数点計算及び除算計算が回避される。ＢＤＰ、ＳＤＰ及びＨＤＰを計算する際に、繰り返す計算を回避するために６つの項目を事前にプログラミングできる。
【数１１】
【００９５】
前記項目を事前にプログラミングすることにより、すべての除算計算が適切な乗算式及び加算式で置換できることが理解できる。例えば、第２の実施形態では、ＢＤ＞０．５は２・（Ａ１＋Ａ２＋Ａ３）＞（Ｂ１＋Ｂ２＋Ｂ３）と書き換えることができ、ＢＤＰ＜１．５は２・（Ａ１＋Ａ２＋Ａ３）＜３・（Ｂ１＋Ｂ２＋Ｂ３）と書き換えることができる。ＳＢＤ及びＨＢＤを計算するとき、比較ステップは同様に実現できる。例えば、
【数１２】
であるかどうかを判断することを希望する場合、（Ａ１＋Ａ２）・（Ｂ２＋Ｂ３）＞（Ａ２＋Ａ３）・（Ｂ１＋Ｂ２）を使用できる。
【００９６】
要約すると、すべての計算において、整数ベースの加算及び乗算の実行のみが必要とされる。これにより陰影除去段階１７の動作は非常に効率的になる。これは特にリアルタイムアプリケーションで重要である。
【００９７】
被写体特徴付け段階１８は、陰影除去段階１９から被写体分類マスク３９を受信する。この段階は本発明を理解するためには重要ではないので、この段階の詳細な説明は示されない。要約すると、被写体特徴付け段階１８は、被写体分類マスク３９を分析し、以後の被写体追跡段階５で有用である場合がある前景被写体の特定の特徴を特定する。被写体特徴付け段階１８からの出力は被写体記述子の形態を取る。例えば、「中心位置」、「寸法」、「色」及び「ピクセル密度」等の複数の種類の記述子が生成されてよい。
【００９８】
被写体追跡段階５は、被写体特徴付け段階１８から被写体記述子を受け取る。前景被写体はフレームごとに追跡される。被写体記述子を使用して、現在フレーム内の前景被写体と、以前のフレームで既に追跡された前景被写体の間に対応が確立される。軌跡データベースは、１つ以上の高水準アプリケーション７に各前景被写体の追跡履歴が利用できるように維持される。例えば、高水準アプリケーション７は、ビデオの中の１つ以上の前景被写体によって取られる累積経路を示す追跡線を表示してもよい。複数の前景被写体がウェブカメラ１１の視界に入ると、迅速な識別のために各追跡線に異なる色を割り当てることができる。
【００９９】
被写体分類アプリケーションは、各前景被写体の形状を現実世界の被写体のデータベースと比較するために利用されてよい。一致が検出されると、前景被写体は、適切に、例えば「人物」又は「車両」と分類される。
【０１００】
ビデオモニタ１５上の画像データの表示は、ＰＣ１３のハードドライブに記憶される表示制御アプリケーション７０によって制御される。図１７を参照すると、表示制御アプリケーション７０は図３に示されているすべての処理段階からビデオデータを受信し、その後このビデオデータによって表される任意のビデオシーケンスを表示できる。実際には、オペレータは、単一画面上で複数の画像を見ることができる。例えば、オペレータが背景モデル１９と被写体分類マスク３９の両方を同時に見ることを希望することがある。オペレータにとって主な関心は、被写体追跡段階５及び高水準アプリケーション７から得られる、処理後のビデオデータであろう。処理後のフレーム７０が図１８に示されている。陰影除去段階１７におけるピクセル再分類の結果として、以前に陰影領域を占有していたピクセルが現在背景の一部を形成することが留意される。さらに、各前景被写体２３、２５が、被写体追跡段階５によって特定され、追跡されてよい。追跡線７１、７３は、現在のフレームまでつながるビデオセグメントのコース上で被写体によって取られる累積経路を表している。各前景被写体は、高水準被写体分類アプリケーションの、記憶されている現実の被写体の集合の１つに一致した。
【０１０１】
前述されたビデオ処理ソフトウェアは色ビデオデータに対して動作するが、当業者は、本発明が白黒ビデオシステムにも等しく適用可能であることを理解する。
【図面の簡単な説明】
【０１０２】
【図１】従来の技術のインテリジェントビデオシステムにおける処理段階を示すブロック図である。
【図２】本発明によるインテリジェントビデオシステムの構成要素を示すブロック図である。
【図３】インテリジェントビデオシステムの処理段階を示すブロック図である。
【図４】ビデオシステムの前景抽出段階によって使用される背景モデルの画像の表示である。
【図５】前景抽出段階への入信ビデオフレームの表示である。
【図６】前景抽出段階によって生成される前景マスク画像の表示である。
【図７】ビデオシステムの陰影除去段階の機能要素を示すブロック図である。
【図８ａ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図８ｂ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図８ｃ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図８ｄ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図８ｅ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図８ｆ】陰影除去段階の異なる段階で生成されるマスク画像の表示を示す。
【図９】陰影除去段階により実行される陰影除去動作の各ステップを示すフローチャートである。
【図１０】図９のフローチャートの異なるステップによって使用されている値範囲を表す図である。
【図１１】陰影除去段階によって実行されるハイライト除去動作の各ステップを示すフローチャートである。
【図１２】図１１のフローチャートの異なるステップによって使用される値範囲を表す図である。
【図１３】第２の好ましい実施形態の陰影除去動作のステップを描くフローチャートである。
【図１４】図１３のフローチャートの異なる段階によって使用される値範囲を表す図である。
【図１５】第２の好ましい実施形態におけるハイライト除去動作のステップを示すフローチャートである。
【図１６】図１５のフローチャートの異なる段階によって使用される値範囲を表す図である。
【図１７】ビデオシステムの一部を形成するディスプレイ制御アプリケーションを示すブロック図である。
【図１８】後処理されたビデオ画像の表示である。
【特許請求の範囲】
【請求項１】
ビデオフレームのピクセルを表すデータを処理する方法であって、前記ピクセルは前景領域又は背景領域のどちらかに属すとして事前に分類され、
（ａ）前記ビデオフレームの中で、２つ以上の隣接した前景ピクセルを含む領域を特定することと、
（ｂ）前記ビデオフレームの中で、所定のアルゴリズムを使用することによる再分類のための候補であるとして１つ以上の前景ピクセルを特定することと、
（ｃ）背景ピクセルとして前記候補ピクセルを再分類し、前記再分類されたピクセルを含む比較フレームを生成することと、
（ｄ）前記比較フレームから、それぞれのフレーム位置がステップ（ａ）で特定された前記領域内にある前景ピクセルを特定することと、
（ｅ）ステップ（ｄ）で特定された前景ピクセルを共通の前景被写体を表すものとして分類することと、
を備える方法。
【請求項２】
ステップ（ｂ）は基準フレームを占有する対応する基準ピクセルの輝度（Ｙｂ）と異なる輝度（Ｙｆ）を有する１つ以上の前景ピクセルを特定することと、前記候補ピクセルの色成分と前記基準ピクセルの色成分の間の所定の関係性に基づいて、前記特定されたピクセル又はそれぞれの特定されたピクセルにパラメータを割り当てることと、前記パラメータを、前記ピクセルが候補ピクセルとして分類されるべきかどうかを示す値の範囲に対して比較することとを含む、請求項１に記載の方法。
【請求項３】
前記基準フレームは、背景学習動作から獲得される、記憶された背景フレームを備える、請求項２に記載の方法。
【請求項４】
前記パラメータは、
【数１】
によって示され、ここではＲｆ、Ｇｆ、Ｂｆがそれぞれ、前景ピクセルの赤、緑、及び青の色成分を表し、Ｒｂ、Ｇｂ、Ｂｂがそれぞれ前記基準ピクセルの赤、緑、及び青の色成分を表す、請求項２又は請求項３に記載の方法。
【請求項５】
ステップ（ｂ）は、基準フレームを占有する対応する基準ピクセルの前記輝度（Ｙｂ）と異なる輝度（Ｙｆ）を有する１つ以上の前景ピクセルを特定することと、前記候補ピクセルの色成分と前記基準ピクセルの色成分の間の、異なる第１の関係性と第２の関係性のそれぞれに基づいて、前記特定されたピクセル又はそれぞれの特定されたピクセルに第１のパラメータ及び第２のパラメータを割り当てることと、前記ピクセルが候補ピクセルとして分類されるベきかどうかを示す値の、第１の範囲及び第２の範囲のそれぞれに対して前記第１のパラメータと第２のパラメータを比較することとを含む、請求項１に記載の方法。
【請求項６】
前記第１のパラメータが、
【数２】
【数３】
によって示され、ここで、α、β及びγは輝度係数であり、Ｒｆ、Ｇｆ、Ｂｆは前景ピクセルの赤、緑及び青の色成分をそれぞれ表し、Ｒｂ、Ｇｂ、Ｂｂは前記基準ピクセルの赤、緑及び青の色成分をそれぞれ表す、請求項５に記載の方法。
【請求項７】
前記第２のパラメータが、
【数４】
によって示され、ここでα、β及びγは輝度係数であり、Ｒｆ、Ｇｆ、Ｂｆはそれぞれ前景ピクセルの赤、緑及び青の色成分を表し、Ｒｂ、Ｇｂ、Ｂｂがそれぞれ前記基準ピクセルの赤、緑及び青の色成分を表す、請求項５または請求項６に記載の方法。
【請求項８】
ステップ（ａ）で特定された前記領域が、各隣接する前景ピクセルを含む十分な大きさである矩形のピクセル領域を備える、請求項１乃至請求項７のいずれか１項に記載の方法。
【請求項９】
ビデオフレームのピクセルを表すデータを処理する方法であって、前記ピクセルは前景領域又は背景領域のどちらかに属すとして事前に分類され、（ａ）再分類のための候補であるとして１つ以上の前景ピクセルを特定することと、（ｂ）前記候補ピクセルと基準ピクセルとの間の所定の関係性に基づいて各候補ピクセルに数値パラメータを割り当てることと、（ｃ）候補ピクセルごとに、前記候補ピクセルの数値パラメータを第１の範囲の値と比較し、前記パラメータが前記第１の範囲内に入る場合には背景ピクセルとして前記ピクセルを再分類することと、（ｄ）候補ピクセルごとに、前記候補ピクセルの数値パラメータを、前記第１の範囲内にある第２の範囲の値と比較し、前記パラメータが前記第２の範囲内に入る場合に背景ピクセルとして前記ピクセルを再分類することと、（ｅ）ステップ（ｃ）及び（ｄ）のそれぞれで再分類された各ピクセルを含む更新された画像データの第１の集合及び第２の集合を提供することと、（ｆ）近接する前景ピクセルのクラスタを含む領域を、更新された画像データの前記第２の集合から特定することと、（ｇ）それぞれの位置がステップ（ｆ）で特定された領域内にある前景ピクセルを、更新された画像データの前記第１の集合から特定し、その後、前記複数の前景ピクセルを共通の被写体を表すものとして分類することとを備える方法。
【請求項１０】
ステップ（ｂ）で参照された前記基準ピクセルは、基準フレームの一部を構成するピクセルであり、前記基準フレーム内の基準ピクセルの位置は前記候補ピクセルのフレーム位置に対応する、請求項９に記載の方法。
【請求項１１】
ステップ（ｂ）で割り当てられた前記数値パラメータが、前記候補ピクセルの色成分と前記基準ピクセルの色成分との間の所定の関係性を使用して計算される、請求項９又は請求項１０に記載の方法。
【請求項１２】
ステップ（ａ）が、前記対応する基準ピクセル又はそれぞれの対応する基準ピクセルの輝度（Ｙｂ）と異なる輝度（Ｙｆ）を有する１つ以上の前景ピクセルを特定することを備える、請求項９乃至請求項１１のいずれか１項に記載の方法。
【請求項１３】
ステップ（ｆ）で特定された前記領域は、前記クラスタの各ピクセルを含むために十分な大きさの矩形ピクセルアレイを備える、請求項９乃至請求項１２のいずれか１項に記載の方法。
【請求項１４】
ビデオシーケンスのフレームを表すデータを処理する方法であって、各フレームが、それぞれが各フレーム位置を占有する複数のピクセルを備え、
（ａ）前景又は背景のどちらかとしてピクセル分類を示す第１のマスクを提供することと、
（ｂ）近接する前景ピクセルのクラスタを含む前記第１のマスク内の領域を特定することと、
（ｃ）前景ピクセルごとに、前記ピクセルが再分類のための候補でなければならないかどうかを、前記ピクセルを、記憶されている基準フレーム内の同じフレーム位置を占有する基準ピクセルと比較することによって特定することと、
（ｄ）ほぼすべての候補ピクセルを背景ピクセルとして再分類し、再分類の後のピクセル分類を示す第２のマスクをそこから生成することと、
（ｅ）（ｂ）で特定された領域に入る前記第２のマスク内の２つ以上の前景ピクセルを特定するために前記第１のマスクと前記第２のマスクを比較することと、
（ｆ）共通の被写体を表すものとして（ｅ）で特定された前景ピクセルを特定する第３のマスクを提供することと、
を備える方法。
【請求項１５】
コンピュータに請求項１乃至請求項１４のいずれか１項に記載の方法を実行させるための命令の組を備えるコンピュータプログラム。
【請求項１６】
ビデオフレームのピクセルを表すデータを処理するように構成されたビデオ処理システムであって、前記ピクセルは前景領域又は背景領域のどちらかに属すとして事前に分類され、（ａ）前記ビデオフレームの中で、（ｉ）複数の近接する前景ピクセルを含む領域と、（ｉｉ）所定のアルゴリズムを使用することによる再分類のための候補であるとして１つ以上の前景ピクセルとを特定し、（ｂ）背景ピクセルとして前記候補ピクセルを再分類し、前記再分類されたピクセルを含む比較フレームを生成し、（ｃ）前記比較フレームから、それぞれのフレーム位置がステップ（ａ）で特定された領域内にある前景ピクセルを特定し、（ｄ）ステップ（ｃ）で特定された前景ピクセルを共通する前景被写体を表すものとして分類するように構成された手段を備えるシステム。
【請求項１７】
ビデオフレームのピクセルを表すデータを受信する手段と、前記ピクセルの事前分類を実行するように構成された前景抽出手段とをさらに備える、請求項１６に記載のシステム。
【請求項１８】
ビデオソースと、請求項１６又は請求項１７に記載のビデオ処理システムと、ビデオディスプレイとを備える監視システムであって、前記ビデオソースがビデオフレームのピクセルを表すデータを供給するように構成され、前記ビデオディスプレイが前記ビデオ処理システムによって処理されるビデオフレームのシーケンスを表示するように構成された監視システム。
【請求項１】
ビデオフレームのピクセルを表すデータを処理する方法であって、前記ピクセルは前景領域又は背景領域のどちらかに属すとして事前に分類され、
（ａ）前記ビデオフレームの中で、２つ以上の隣接した前景ピクセルを含む領域を特定することと、
（ｂ）前記ビデオフレームの中で、所定のアルゴリズムを使用することによる再分類のための候補であるとして１つ以上の前景ピクセルを特定することと、
（ｃ）背景ピクセルとして前記候補ピクセルを再分類し、前記再分類されたピクセルを含む比較フレームを生成することと、
（ｄ）前記比較フレームから、それぞれのフレーム位置がステップ（ａ）で特定された前記領域内にある前景ピクセルを特定することと、
（ｅ）ステップ（ｄ）で特定された前景ピクセルを共通の前景被写体を表すものとして分類することと、
を備える方法。
【請求項２】
ステップ（ｂ）は基準フレームを占有する対応する基準ピクセルの輝度（Ｙｂ）と異なる輝度（Ｙｆ）を有する１つ以上の前景ピクセルを特定することと、前記候補ピクセルの色成分と前記基準ピクセルの色成分の間の所定の関係性に基づいて、前記特定されたピクセル又はそれぞれの特定されたピクセルにパラメータを割り当てることと、前記パラメータを、前記ピクセルが候補ピクセルとして分類されるべきかどうかを示す値の範囲に対して比較することとを含む、請求項１に記載の方法。
【請求項３】
前記基準フレームは、背景学習動作から獲得される、記憶された背景フレームを備える、請求項２に記載の方法。
【請求項４】
前記パラメータは、
【数１】
によって示され、ここではＲｆ、Ｇｆ、Ｂｆがそれぞれ、前景ピクセルの赤、緑、及び青の色成分を表し、Ｒｂ、Ｇｂ、Ｂｂがそれぞれ前記基準ピクセルの赤、緑、及び青の色成分を表す、請求項２又は請求項３に記載の方法。
【請求項５】
ステップ（ｂ）は、基準フレームを占有する対応する基準ピクセルの前記輝度（Ｙｂ）と異なる輝度（Ｙｆ）を有する１つ以上の前景ピクセルを特定することと、前記候補ピクセルの色成分と前記基準ピクセルの色成分の間の、異なる第１の関係性と第２の関係性のそれぞれに基づいて、前記特定されたピクセル又はそれぞれの特定されたピクセルに第１のパラメータ及び第２のパラメータを割り当てることと、前記ピクセルが候補ピクセルとして分類されるベきかどうかを示す値の、第１の範囲及び第２の範囲のそれぞれに対して前記第１のパラメータと第２のパラメータを比較することとを含む、請求項１に記載の方法。
【請求項６】
前記第１のパラメータが、
【数２】
【数３】
によって示され、ここで、α、β及びγは輝度係数であり、Ｒｆ、Ｇｆ、Ｂｆは前景ピクセルの赤、緑及び青の色成分をそれぞれ表し、Ｒｂ、Ｇｂ、Ｂｂは前記基準ピクセルの赤、緑及び青の色成分をそれぞれ表す、請求項５に記載の方法。
【請求項７】
前記第２のパラメータが、
【数４】
によって示され、ここでα、β及びγは輝度係数であり、Ｒｆ、Ｇｆ、Ｂｆはそれぞれ前景ピクセルの赤、緑及び青の色成分を表し、Ｒｂ、Ｇｂ、Ｂｂがそれぞれ前記基準ピクセルの赤、緑及び青の色成分を表す、請求項５または請求項６に記載の方法。
【請求項８】
ステップ（ａ）で特定された前記領域が、各隣接する前景ピクセルを含む十分な大きさである矩形のピクセル領域を備える、請求項１乃至請求項７のいずれか１項に記載の方法。
【請求項９】
ビデオフレームのピクセルを表すデータを処理する方法であって、前記ピクセルは前景領域又は背景領域のどちらかに属すとして事前に分類され、（ａ）再分類のための候補であるとして１つ以上の前景ピクセルを特定することと、（ｂ）前記候補ピクセルと基準ピクセルとの間の所定の関係性に基づいて各候補ピクセルに数値パラメータを割り当てることと、（ｃ）候補ピクセルごとに、前記候補ピクセルの数値パラメータを第１の範囲の値と比較し、前記パラメータが前記第１の範囲内に入る場合には背景ピクセルとして前記ピクセルを再分類することと、（ｄ）候補ピクセルごとに、前記候補ピクセルの数値パラメータを、前記第１の範囲内にある第２の範囲の値と比較し、前記パラメータが前記第２の範囲内に入る場合に背景ピクセルとして前記ピクセルを再分類することと、（ｅ）ステップ（ｃ）及び（ｄ）のそれぞれで再分類された各ピクセルを含む更新された画像データの第１の集合及び第２の集合を提供することと、（ｆ）近接する前景ピクセルのクラスタを含む領域を、更新された画像データの前記第２の集合から特定することと、（ｇ）それぞれの位置がステップ（ｆ）で特定された領域内にある前景ピクセルを、更新された画像データの前記第１の集合から特定し、その後、前記複数の前景ピクセルを共通の被写体を表すものとして分類することとを備える方法。
【請求項１０】
ステップ（ｂ）で参照された前記基準ピクセルは、基準フレームの一部を構成するピクセルであり、前記基準フレーム内の基準ピクセルの位置は前記候補ピクセルのフレーム位置に対応する、請求項９に記載の方法。
【請求項１１】
ステップ（ｂ）で割り当てられた前記数値パラメータが、前記候補ピクセルの色成分と前記基準ピクセルの色成分との間の所定の関係性を使用して計算される、請求項９又は請求項１０に記載の方法。
【請求項１２】
ステップ（ａ）が、前記対応する基準ピクセル又はそれぞれの対応する基準ピクセルの輝度（Ｙｂ）と異なる輝度（Ｙｆ）を有する１つ以上の前景ピクセルを特定することを備える、請求項９乃至請求項１１のいずれか１項に記載の方法。
【請求項１３】
ステップ（ｆ）で特定された前記領域は、前記クラスタの各ピクセルを含むために十分な大きさの矩形ピクセルアレイを備える、請求項９乃至請求項１２のいずれか１項に記載の方法。
【請求項１４】
ビデオシーケンスのフレームを表すデータを処理する方法であって、各フレームが、それぞれが各フレーム位置を占有する複数のピクセルを備え、
（ａ）前景又は背景のどちらかとしてピクセル分類を示す第１のマスクを提供することと、
（ｂ）近接する前景ピクセルのクラスタを含む前記第１のマスク内の領域を特定することと、
（ｃ）前景ピクセルごとに、前記ピクセルが再分類のための候補でなければならないかどうかを、前記ピクセルを、記憶されている基準フレーム内の同じフレーム位置を占有する基準ピクセルと比較することによって特定することと、
（ｄ）ほぼすべての候補ピクセルを背景ピクセルとして再分類し、再分類の後のピクセル分類を示す第２のマスクをそこから生成することと、
（ｅ）（ｂ）で特定された領域に入る前記第２のマスク内の２つ以上の前景ピクセルを特定するために前記第１のマスクと前記第２のマスクを比較することと、
（ｆ）共通の被写体を表すものとして（ｅ）で特定された前景ピクセルを特定する第３のマスクを提供することと、
を備える方法。
【請求項１５】
コンピュータに請求項１乃至請求項１４のいずれか１項に記載の方法を実行させるための命令の組を備えるコンピュータプログラム。
【請求項１６】
ビデオフレームのピクセルを表すデータを処理するように構成されたビデオ処理システムであって、前記ピクセルは前景領域又は背景領域のどちらかに属すとして事前に分類され、（ａ）前記ビデオフレームの中で、（ｉ）複数の近接する前景ピクセルを含む領域と、（ｉｉ）所定のアルゴリズムを使用することによる再分類のための候補であるとして１つ以上の前景ピクセルとを特定し、（ｂ）背景ピクセルとして前記候補ピクセルを再分類し、前記再分類されたピクセルを含む比較フレームを生成し、（ｃ）前記比較フレームから、それぞれのフレーム位置がステップ（ａ）で特定された領域内にある前景ピクセルを特定し、（ｄ）ステップ（ｃ）で特定された前景ピクセルを共通する前景被写体を表すものとして分類するように構成された手段を備えるシステム。
【請求項１７】
ビデオフレームのピクセルを表すデータを受信する手段と、前記ピクセルの事前分類を実行するように構成された前景抽出手段とをさらに備える、請求項１６に記載のシステム。
【請求項１８】
ビデオソースと、請求項１６又は請求項１７に記載のビデオ処理システムと、ビデオディスプレイとを備える監視システムであって、前記ビデオソースがビデオフレームのピクセルを表すデータを供給するように構成され、前記ビデオディスプレイが前記ビデオ処理システムによって処理されるビデオフレームのシーケンスを表示するように構成された監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８ａ】
【図８ｂ】
【図８ｃ】
【図８ｄ】
【図８ｅ】
【図８ｆ】
【図８ｇ】
【図８ｈ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８ａ】
【図８ｂ】
【図８ｃ】
【図８ｄ】
【図８ｅ】
【図８ｆ】
【図８ｇ】
【図８ｈ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公表番号】特表２００８−５１８３４４（Ｐ２００８−５１８３４４Ａ）
【公表日】平成２０年５月２９日（２００８．５．２９）
【国際特許分類】
【出願番号】特願２００７−５３８４９８（Ｐ２００７−５３８４９８）
【出願日】平成１７年１０月２４日（２００５．１０．２４）
【国際出願番号】ＰＣＴ／ＧＢ２００５／００４１１１
【国際公開番号】ＷＯ２００６／０４６０２１
【国際公開日】平成１８年５月４日（２００６．５．４）
【出願人】（３９００２８５８７）ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】ＢＲＩＴＩＳＨ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＰＵＢＬＩＣ ＬＩＭＩＴＥＤ ＣＯＭＰＡＮＹ
【Ｆターム（参考）】
【公表日】平成２０年５月２９日（２００８．５．２９）
【国際特許分類】
【出願日】平成１７年１０月２４日（２００５．１０．２４）
【国際出願番号】ＰＣＴ／ＧＢ２００５／００４１１１
【国際公開番号】ＷＯ２００６／０４６０２１
【国際公開日】平成１８年５月４日（２００６．５．４）
【出願人】（３９００２８５８７）ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】ＢＲＩＴＩＳＨ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＰＵＢＬＩＣ ＬＩＭＩＴＥＤ ＣＯＭＰＡＮＹ
【Ｆターム（参考）】
[ Back to top ]