特徴レベル・セグメンテーションを実行するシステムおよび方法
【課題】前景画素を正確に解釈するための信頼できかつロバストな特徴レベル・セグメンテーションを提供する。
【解決手段】本発明は、ａ．背景画像を選択し、ｂ．入力画像を選択し、ｃ．前記入力画像の各入力画素について、ｃ．ｉ．前記画素を前景候補画素または背景候補画素として分類し、ｃ．ｉｉ．前記画素の近傍画像を選択し、ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、ｃ．ｉｖ．前記集合体変化に応じて、前記画素を前景画素または背景画素として再分類し、ｄ．前景画素として再分類された画像の画素全部の標識を出力する。
【解決手段】本発明は、ａ．背景画像を選択し、ｂ．入力画像を選択し、ｃ．前記入力画像の各入力画素について、ｃ．ｉ．前記画素を前景候補画素または背景候補画素として分類し、ｃ．ｉｉ．前記画素の近傍画像を選択し、ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、ｃ．ｉｖ．前記集合体変化に応じて、前記画素を前景画素または背景画素として再分類し、ｄ．前景画素として再分類された画像の画素全部の標識を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像画像(video imaging)に関し、詳細には、映像ストリーム中の特徴の自動検出およびセグメンテーションに関する。すなわち、特徴レベル・セグメンテーションを実行するシステムおよび方法に関する。
【背景技術】
【０００２】
現場におけるイベント発生の自動的理解は、知的ビジュアル監視システムの最終目的である。イベントの高レベルの理解には、特定の低レベルのコンピュータ・ビジョン・タスクの実行が要求される。これらは、移動物体の識別および分類、人間のような移動物体の追跡、並びに人々の相互作用の理解を含むかもしれない。これらのタスクの多くを達成するために、動的映像シーンにおける高速かつ信頼できる移動物体セグメンテーション方法を開発する必要がある。
【０００３】
背景減算は、移動物体を検出するための効果的な従来の手法である。多くの研究者が、背景減算に関する問題に対処する方法を提案してきた。１つの先行技術の方法は、適正な(legitimate)動きの領域を決定し、続いて適応背景減算によって移動領域を抽出する、３フレーム差分演算を提案している。別の先行技術の方法では、各画素をガウス分布の混合としてモデル化し、オンライン近似を用いてモデルを更新する。さらに別の先行技術の方法は、ノンパラメトリック・カーネル密度推定を用いて各画素の明度分布(intensity distribution)をモデル化し、別の方法は、影除去のために前景領域で正規化相互相関を算出し、閾値を用いて暗領域における影の検知を回避する。この最後の方法は、画素レベル背景減算によって生成される画像が全ての可能な前景領域を含むという想定に基づいている。しかしながら、画素レベル背景減算が（例えば、前景と背景との間の類似色のために）失敗した場合には、この想定は無効である。さらに、最後の方法における閾値は、様々なシーンの変化に敏感である。したがって、誤って分類された画素は無視され、正規化相互相関計算に使用されない。これらの方法に関するさらなる情報は、非特許文献１〜９に見ることができる。非特許文献１〜９の開示内容全体を参照によって本書に援用する。
【０００４】
上述した先行技術の方法は全て、画素レベル減算に基づいている。当然の弱点は、これらの方法が前景減算中に各画素の差を比較するだけであるので、局所領域情報を無視することである。その結果、これらの方法は往々にして、
（１）入力画像と背景との間の類似色
（２）影
（３）突然の照明の変化
（４）無作為な動き（例えば風で揺れる木の葉）
などの状況で失敗する。すなわち、比較で領域情報を使用した場合でも、比較のための領域の選択が画素レベルの比較に基づいて行なわれた。したがって、誤って背景と同等と分類された画素に対しては、領域情報が使用されなかった。
【０００５】
したがって、入力映像ストリームで前景画素を正確に解釈するための信頼できかつロバストな方法が必要である。
【非特許文献１】Ｒ．コリンズ（Ｒ．Ｃｏｌｌｉｎｓ）ら、「映像監視およびモニタリングのためのシステム：ＶＳＡＭ最終報告（A system for video surveillance and monitoring: VSAM final report）」、カーネギー・メロン大学（Carnegie Mellon University）、技術レポート、２０００年、ＣＭＵ−ＲＩ−ＴＲ−００−１２
【非特許文献２】Ｃ．スタウファ（Ｃ．Ｓｔａｕｆｆｅｒ）ら、「実時間追跡を使用する活動のパターンの学習（Learning Patterns of Activity Using Real-time Tracking）」、パターン解析および機械知能に関するＩＥＥＥ会報（IEEE Transaction on Pattern Analysis and Machine Intelligence）、２０００年８月、第２２巻、第８号、頁７４７〜７５７
【非特許文献３】Ａ．エルガマル（Ａ．Ｅｌｇａｍｍａｌ）ら、「映像監視のためのノンパラメトリック・カーネル密度推定を使用する背景および前景モデリング（Background and Foreground Modeling using Non-parametric Kernel Density Estimation for Video Surveillance）」、ＩＥＥＥ会報、２００２年、９０（７）、頁１１５１〜１１６３
【非特許文献４】イン・リ（Ｙｉｎｇ−ｌｉ）ら、「実時間映像監視のためのロバストかつ効率的な前景解析（Robust and Efficient Foreground Analysis for Real-time Video Surveillance）」、ＩＥＥＥコンピュータ・ビジョンおよびパターン認識、サンディエゴ、２００５年６月
【非特許文献５】マイケル・ハーヴィル（Ｍｉｃｈａｅｌ Ｈａｒｖｉｌｌｅ）、「適応型画素毎ガウス分布混合背景モデルへの高レベル・フィードバックのための枠組（A Framework for High-Level Feedback to Adaptive, Per-Pixel, Mixture-of-Gaussian Background Models）」、ＥＣＣＶ ２００２、頁５４３〜５６０
【非特許文献６】デンシェン・ツァン（Ｄｅｎｇｓｈｅｎｇ Ｚｈａｎｇ）ら、「画像シーケンスにおける移動物体のセグメンテーション：概説（Segmentation of moving objects in image sequence: A review）」、回路・システム・信号処理（Circuits, Systems, and signal Processing）、第２０巻、第２号、２００１年３月
【非特許文献７】フィリッペ・ノリエガ（Ｐｈｉｌｉｐｐｅ Ｎｏｒｉｅｇａ）ら、「局所カーネル・ヒストグラムを使用する実時間照明不変量背景減算（Real Time Illumination Invariant Background subtraction Using Local Kernel Histograms）」、ＢＭＶＣ ２００６
【非特許文献８】トウフィク・パラグ（Ｔｏｕｆｉｑ Ｐａｒａｇ）ら、「背景減算のための特徴選択の枠組（A framework for Feature Selection for Background Subtraction）」、コンピュータ・ビジョンおよびパターン認識に関する２００６年ＩＥＥＥコンピュータ・ソサイエティ会議会報、第２巻、頁１９１６〜１９２３
【非特許文献９】Ｊ．Ｐ．ルイス（Ｊ．Ｐ．Ｌｅｗｉｓ）、「高速正規化相互相関(Fast normalized cross-correlation)」、ビジョン・インタフェース（Vision Interface）、１９９５年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記状況を鑑み、前景画素を正確に解釈するための信頼できかつロバストな特徴レベル・セグメンテーションを提供する。
【課題を解決するための手段】
【０００７】
本発明は、様々な照明および陰影条件下を含め、実世界の動的シーンにおける高速かつロバストな前景セグメンテーションを提供する。本発明の様々な実施形態は、移動物体の分類、移動物体（人間を含む）の追跡、および屋内または屋外環境における様々なイベント検出のような様々な自動化タスクのために１台または複数のカメラによって使用することができる。
【０００８】
本発明の実施形態では、画素対画素減算の後に、新規の特徴レベルに基づく前景セグメンテーション方法を使用して、前景画素を適切に有効化する。このステップで、画像内の各画素について、画素の近傍が選択され、近傍の画像の集合体変化(aggregate change)を使用して前景および背景画素が分類される。実施形態の一つでは、集合体変化は、画素対画素減算ステップ中に前景として分類された画素の数である。別の実施形態では、集合体変化は、画素対画素減算ステップ中に前景として分類された画素の百分率である。さらに別の実施形態では、集合体変化は、対応する背景画素の全明度と比較した画素の近傍の明度の合計の差である。前景セグメンテーションが完了すると、有効化された前景画素および対応する背景画素に正規化相互相関が適用される。
【０００９】
本発明の第１の態様は、特徴レベル・セグメンテーションを実行する方法であって、該方法は、ａ．背景画像を選択し、ｂ．入力画像を選択し、ｃ．前記入力画像の各入力画素について、ｃ．ｉ．前記画素を前景候補画素または背景候補画素として分類し、ｃ．ｉｉ．前記画素の近傍画像を選択し、ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、ｃ．ｉｖ．前記集合体変化に応じて、前記画素を前景画素または背景画素として再分類し、ｄ．前景画素として再分類された画像の画素全部の標識を出力する。
【００１０】
本発明の第２の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．前景画素として再分類された各画素について、ｅ．ｉ．前記再分類された前景画素の近傍画像と、対応する背景近傍画像と、の差を算出し、ｅ．ｉｉ．前記差が設定された閾値を越えた場合には、前記画素が確認された前景画素であるという標識を出力する、ことをさらに含む。
【００１１】
本発明の第３の態様は、第２の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．ｉｉｉ．前記確認された前景画素の全部から特徴抽出画像を生成する、ことをさらに含む。
【００１２】
本発明の第４の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．ｉｖ．前景画素として再分類された入力画素の全部から特徴抽出画像を生成することをさらに含む。
【００１３】
本発明の第５の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉｉ．における前記集合体変化の決定が、ｃ．ｉ．で前景候補画素として分類された近傍画像の画素の総数を計数することを含む。
【００１４】
また、第５の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉｉ．における前記集合体変化の決定が、前記総数と閾値とを比較することをさらに含んでもよい。
【００１５】
また、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉｉ．における前記集合体変化の決定が、ｃ．ｉ．で前景候補画素として分類された近傍画像の画素の百分率を算出することを含んでもよい。
【００１６】
また、ｃ．ｉｉｉ．における前記集合体変化の決定が、前記百分率と閾値とを比較することをさらに含んでもよい。
【００１７】
本発明の第６の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉｉ．における前記集合体変化の決定が、ｃ．ｉ．で前景候補画素として分類された画素の明度の合計を算出することを含む。
【００１８】
また、第６の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉｉ．における前記集合体変化の決定が、明度の前記合計を対応する背景近傍画素の背景明度の合計から減算して明度差を生成し、前記明度差の絶対値と閾値とを比較することをさらに含んでもよい。
【００１９】
本発明の第７の態様は、第２の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．ｉ．の差の前記算出が、前記近傍画像および前記背景近傍画像の正規化相互相関を算出することを含む。
【００２０】
また、第７の態様の特徴レベル・セグメンテーションを実行する方法であって、前記相互相関が全体画像を用いて算出されてもよい。
【００２１】
本発明の第８の態様は、第２の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．ｉ．の差の前記算出が、近傍画像明度マトリクスおよび背景近傍画像明度マトリクスを作成し、前記近傍画像明度マトリクスおよび前記背景近傍画像明度マトリクスのドット積を演算することを含む。
【００２２】
本発明の第９の態様は、第２の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．ｉ．の差の前記算出が、近傍画像勾配分布および背景近傍勾配分布を作成し、前記近傍画像勾配分布および前記背景近傍画像勾配分布の相似性を算出することを含む。
【００２３】
本発明の第１０の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉ．が、前記入力画素と前記背景画像の対応する背景画素とを比較して、前記画素を前景候補画素または背景候補画素として分類することを含む。
【００２４】
本発明の第１１の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉ．が、前記画素の周囲の複数の画素を選択して近傍を画定することを含む。
【００２５】
本発明の第１２の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｂ．ｉ．前記入力画像を使用して前記背景画像を更新する、をさらに含む。
【００２６】
また、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｖ．が前記集合体変化と閾値とを比較することを含んでよい。
【００２７】
本発明の第１３の態様は、特徴レベル・セグメンテーションを実行するシステムであって、少なくとも１つのビデオ・カメラから映像の少なくとも１つのストリームを受け取る映像記憶モジュールと、特徴セグメント化画像を記憶する特徴セグメント化記憶モジュールと、特徴抽出モジュールと、を含み、前記特徴抽出モジュールが、背景画像を格納する背景画像記憶モジュールと、前記映像ストリームの画像を受け取り、各画像について前記画像の各画素を背景画素または前景画素として分類する、画素レベル減算モジュールと、前記画素レベル減算モジュールから背景画素および前景画素を受け取り、各画素について、近傍画像を画定する複数の近傍画素を選択し、近傍の変化の合計を算出し、前記変化の合計に基づいて、各画素を再分類背景画素または再分類前景画素として再分類する前景密度推定モジュールと、前記再分類前景画素を受け取り、特徴セグメント化画像を生成し、記憶されるべき特徴セグメント化画像を出力する特徴抽出モジュールと、を備える。
【００２８】
本発明の第１４の態様は、第１３の態様の特徴レベル・セグメンテーションを実行するシステムであって、前記特徴抽出モジュールが、前記再分類前景画素を受け取り、前記再分類前景画素の各々の近傍で正規化相互相関を演算して、特徴抽出画像を生成するための画素を選択する、特徴レベル減算モジュールを含む。
【００２９】
本発明の第１５の態様は、第１４の態様の特徴レベル・セグメンテーションを実行するシステムであって、前記映像ストリームを受け取り、前記背景画像を更新する、画素レベル背景モデル化モジュールをさらに含む。
【００３０】
本発明の第１６の態様は、特徴レベル・セグメンテーションを実行する機能をコンピュータに実行させるためのプログラムであって、該機能は、ｂ．入力画像を選択し、ｃ．前記入力画像の各入力画素について、 ｃ．ｉ．前記画素を前景候補画素または背景候補画素として分類し、ｃ．ｉｉ．前記画素の近傍画像を選択し、ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、ｃ．ｉｖ．前記集合体変化に応じて、前記画素を前景画素または背景画素として再分類し、ｄ．前景画素として再分類された画像の画素全部の標識を出力する。
【発明の効果】
【００３１】
本発明は、ａ．背景画像を選択し、ｂ．入力画像を選択し、ｃ．前記入力画像の各入力画素について、ｃ．ｉ．前記画素を前景候補画素または背候補景画素として分類し、ｃ．ｉｉ．前記画素の近傍画像を選択し、ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、ｃ．ｉｖ．前記集合体変化に応じて、前記画素を前景画素または背景画素として再分類し、ｄ．前景画素として再分類された画像の画素全部の標識を出力するようにしている。これにより、本発明は、前景画素を正確に解釈するための信頼できかつロバストな特徴レベル・セグメンテーションを提供することができる。
【発明を実施するための最良の形態】
【００３２】
この明細書に組み込まれ、その一部を構成する添付の図面は、本発明の実施形態を例示し、記載と共に発明技術の原理を説明しかつ例証するのに役立つ。
【００３３】
添付の図面は、限定ではなく、例証として、本発明の原理に適合する特定の実施形態および実現を示す。これらの実現について、当業者が本発明を実施することができるように充分に詳細に説明するが、他の実現を利用することができ、かつ本発明の範囲および精神から逸脱することなく、構造的変化および／または様々な要素の置換を適応することができることを理解されたい。したがって、以下の詳細な説明は、限定的な意味で解釈すべきではない。加えて、記載する本発明の様々な実施形態は、汎用コンピュータで実行されるソフトウェアの形で、専用ハードウェアの形で、またはソフトウェアおよびハードウェアの組合せで実現することができる。
【００３４】
本発明の様々な実施形態は、複雑な実世界のシーンにおける前景セグメンテーションの方法を提示する。該方法の独自の特徴は、陰影が投じられ照明が変化する困難な屋内環境下でも、正確なセグメンテーション結果を達成するその能力である。本発明の例示的実施形態では、画素レベル減算のみに基づく前景画素の分類の代わりに、画素の近傍を考慮に入れるために特徴レベル減算が実行される。すなわち本発明の実施形態では、特徴レベル減算モジュールは、よりロバストな前景減算のために局所領域情報を使用する。画像の各画素について、その画素を中心とする近傍が選択され、近傍画素の集合体変化が決定される。集合体変化は、画素レベル減算中に前景画素として分類された近傍の画素数を示す。集合体変化が設定閾値より高い場合、画素は前景画素として選択される。次いで、各前景画素に対し、近傍および対応する背景近傍が相関されて、特徴セグメントが提供される。これは、全ての前景画素に対して、または選択された画素のみに対して実行することができる。例えば、特定の用途では、各画素の決定(resolution)は必要なく、むしろｎ個の前景画素毎に１つの画素を選択して相関を計算するだけでよいかもしれない。
【００３５】
したがって、本発明の実施形態では、２つのベクトルまたはアレイ間の相似性を測定できる一般的メトリクスを使用することができる。すなわち、前景および背景近傍の選択された画素をベクトルまたはマトリクスによって提示することができ、次いで式を使用して、ベクトルまたはマトリクスの相似性が決定される。例えば各画素の明度、勾配等を使用して、表現することができる。相似性は、例えばドット積、正規化相互相関等を実行することによって求めることができる。
【００３６】
本発明の実施形態では、画素レベル背景モデル化のためにガウス分布混合モデルを利用する。これは、上述した非特許文献２（Ｓｔａｕｆｆｅｒ）および非特許文献４（Ｔｉａｎら）の論文に記載されたものと同様の方法を使用して行なうことができるが、画素レベル背景減算のための任意の方法を使用することができる。この実施例で、我々はグレイスケール画像でガウス分布モデルを計算するだけである。各画素Ｘについて、時間ｔで、画素の確率(probability)は式（１）と書くことができる。
【数１】
式（１）
ここで、
【数２】
式（２）
および
【数３】
式（３）
である。
ここで、Ｋはガウス分布の混合の数であり、μは平均であり、式（４）は分散、αは学習率であり、Ｍk,ｔは合致するモデルの場合１、残りのモデルの場合０である。オンライン検出中にガウス分布はω／αの値によって順序付けられる。最初のＮ個の分布が、画素レベル背景減算のために選択される。
【数４】
式（４）
【数５】
式（５）
ここでＴは背景モデルの部分である。ガウス分布混合の方法は、クラッタ環境(cluttered environment)における遅い照明変化および無作為の動きに対してロバストであるが、他の画素レベルに基づく方法と同様に、前景減算で各画素の差を考慮するだけであるので、局所領域情報を無視する。
【００３７】
先行技術では、次に、画像の各前景画素周囲の近傍の相互相関を算出し、相互相関が充分に類似しているか否かに基づいて、前景画素を影または真の前景として分類する。この手順は新しい前景画素を形成しない。むしろそれらの一部を影としてラベル付けすることによって、前景画素の初期の集合が低減される。相互相関計算にどの画素を選択するかの決定が、前景画素の画素レベル識別に基づいていたことが注目される。したがって、相互相関計算は関連画素の全部に対して行なわれないので、誤った画素レベルの識別は誤った前景画素を導く。
【００３８】
本発明に係る実施形態の特徴は、相互相関計算に選択される画素が、問題の画素の近傍を考慮することによって決定されることである。すなわち、我々は最初に、前景マスクを基本的に「平滑化して」、より緩やかな前景マスクを計算し、次いで相互相関を使用して、新しい前景マスクの選択された画素に対して修正された前景推定を計算する。この手順は、動く背景が存在する場合、または前景色が背景色と同様であった場合に、当初の前景マスクにあったものより多くの前景画素を生成する傾向がある。これは次のように実行される。最初に、次のように定義する、
【数６】
式（６）
式６は、カメラＣｉにおける画素（ｘ，ｙ）の局所的矩形領域の位置およびサイズである。
次に、相互相関計算に使用する画素の部分集合を識別する。これは、次の通り、画素の局所近傍の前景分類に基づく。
ＦＰ（ｔ）を時間ｔにおける画素レベル背景減算の出力前景画像として、式７、つまり時間ｔにおける画素（ｘ，ｙ）に位置する領域（式（８））の内部の前景比を式（９）のように計算する。
【数７】
式（７）
【数８】
式（８）
【数９】
式（９）
前景比（式（７））が比ＴＰより高い画素を、正規化相互相関が計算される画素として選択する。画素のこの部分集合は、元の前景マスクの平滑化バージョンと考えることができ、「前景候補」画素である。正規化相互相関計算中に、使用する混合成分の部分集合を決定する。
Ｐ、すなわち最大加重を持つガウス分布混合モデルの成分を決定する。
【数１０】
式（１０）
Ｐは通常単一の成分であるが、２つ以上の成分を使用することもできる。
Ｂ（ｔ）、すなわち時間ｔにおけるガウス分布混合モデルのガウス分布Ｐの平均値を識別する。２個以上の混合成分が識別される場合には、Ｂ（ｔ）は対応する個数のガウス平均値を含む。
【００３９】
１．１次元表現およびメトリック
ヒストグラムに基づく記述子のようなベクトルを使用して、画像のブロック内の画素を表わすことができる。入力画像および背景画像の領域の１次元ヒストグラムをベクトルＩおよびＢとしてそれぞれ描く。様々な記述子を使用してヒストグラムを計算することができる。例えば、カラー・ヒストグラムまたは勾配方向ヒストグラムを計算することができる。勾配方向ヒストグラムは、各画素の「勾配方向」をカウントすることによって導出される画像の表現である。
【００４０】
（ｘ，ｙ）を中心とする長さｍの２つのベクトルの相似性Ｍ１（ｘ，ｙ）を比較するために、標準正規化相互相関（式（１１））は、使用することのできるメトリックの一例である。
【数１１】
式（１１）
使用することのできる他の例として、へリンジャー・トリック(Hellinger metric)、対称的ＫＬ発散、余弦相似(cosine similarity)等が挙げられる。
２．２次元表現およびメトリック
２次元の場合、我々は、選択された画素および選択された混合成分のみに対して正規化相互相関Ｍ（ｘ，ｙ）を計算する。
【数１２】
式（１２）
Ｍ（ｘ，ｙ）が閾値ＭＴより低い場合、画素は前景としてラベル付けされる。実施形態の一つでは、３つの重要なパラメータ、適合率の閾値ＭＴ、局所領域のサイズ（式（８））、および前景比閾値ＰＴを設定する必要がある。カメラの較正情報に基づいて、領域のサイズは、異なる距離のため変化することがある。一例では、パラメータはＭＴ＝０．９１、局所領域のサイズ（式（８））＝｛ｘ，ｙ，１５，１５｝、およびＰＴ＝１０％として選択された。相互相関は、全体画像(integral image)を使用して効率的に計算することができる（例えば、非特許文献９を参照されたい）。
【００４１】
Ａ．実施例１
図１は、本発明の実施形態に係る特徴レベル前景セグメンテーションの方法およびシステムの枠組を示す。図１に示す各要素は、回路、ルーチン、および／またはアプリケーションとして、つまり、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組合せで実現されるモジュールとして、かつ適切にプログラムされた汎用データ・プロセッサの一部分として、実現することができる。
【００４２】
入力画像１００を受け取ると、画素レベル背景モデル技術１２０を利用して、背景画像１１０が更新される。次いで、更新された背景画像１１０に対して、画素レベル減算１４０が画像１００全体に実行される。次いで前景密度推定１５０が入力画像１００全体に実行される。前景密度推定１５０は、入力画像１００の各画素についての有界領域／近傍を画定する。次いで各画素を選択し、その画素の近傍の集合体変化を検査する。この実施例では、集合体変化は、画素レベル減算１４０中に前景として分類されたその画素の有界領域の画素の百分率である。すなわち、閾値が前景密度推定１５０で設定され、該閾値は、それより高い値の選択画素が前景画素として定義される、有界領域の前景画素の百分率を示す。
【００４３】
前景画素の標識は、前景密度推定１５０によって特徴抽出１３０に出力され、次いでそれは、前景画素の有界領域の画素および背景画像１１０からの対応する画素を特徴レベル減算１６０に提供する。特徴レベル減算１６０は、特徴抽出１３０から受け取った各有界領域の画素に対し正規化相互相関を実行する。代替的に、前景画素の標識は、前景密度推定１５０によって特徴レベル減算１６０に出力することができる。この場合、特徴抽出１３０は画素の全てを特徴レベル減算１６０に提供し、次いで、前景密度推定１５０から受け取った各有界領域の画素のみに対して正規化相互相関を実行する。
【００４４】
特徴レベル減算１６０で相互相関プロセス中に前景画素として確認された画素は、抽出特徴画像を形成し前景画像１８０として定義される出力画像を生成するために、一緒に使用される。図１に示すように、任意選択的に、形態学的フィルタ１７０が特徴レベル減算１６０の出力に適用される。形態学的フィルタ１７０は一般的に、完全かつ平滑化された前景画像、つまり特徴抽出画像を提供するために、欠損画素の推定を実行する。
【００４５】
記載した実施形態について、複数カメラ映像監視システムを使用して試験し、検出された結果を物体追跡および複数のカメラのハンドオフ(hand off)に使用した。図２（Ａ）〜（Ｅ）は、様々な照明条件下の前景セグメンテーションのために、記載した実施形態に係る方法を使用した幾つかの実施例を、先行技術の方法を用いて得られた結果と比較して示す。図２（Ａ）〜（Ｅ）で、カラム（ａ）は入力画像および検出された有界ボックス(bounding box)を示す。カラム（ｂ）は、先行技術に係る方法を用いて得られたガウス分布混合モデルの前景領域を示す。カラム（ｃ）は本発明の実施形態の前景領域であり、カラム（ｄ）はセグメント化前景画像を示す。カラム（ｂ）および（ｃ）のマスクを比較することによって分かるように、カラム（ｃ）のマスクは、カラム（ｂ）のマスクと比較して、特徴に関連する画素数が多い。逆に、カラム（ｃ）のマスクは、カラム（ｂ）に比較して、「ノイズ」または「偽前景」画素が少ない。
【００４６】
本発明の実施形態の一つを使用して、４台のカメラから捕捉した映像を、単一のペンティアム（登録商標）ＩＶコンピュータで動作する本発明の方法を使用して同時に処理し、３２０×２４０の画像サイズで、各カメラで７ｆｐｓ（フレーム毎秒）の処理を行った。この実施形態は、本発明の方法が、影、類似の色、および照明変化のような困難な条件下でさえも、前景セグメンテーションに対し高速かつロバストであることを実証している。
【００４７】
Ｂ．実施例ＩＩ
図４は、本発明に係るシステムの実施形態を示す。図４のシステムでは、１台またはそれ以上のカメラ４００が、ローカル・エリア・ネットワーク（ＬＡＮ）のようなネットワーク４０５に接続される。接続は、有線、無線等のようないずれかの従来の手段によって行なうことができ、各カメラ４００はＩＰアドレスのようなそれ自体の識別指定を有することができる。各カメラ４００からの映像ストリームは、デジタル映像レコーダ・サーバＤＶＲＳ４１０に記憶される。前景画像抽出モジュール４２０はＤＶＲＳ４１０からフレームを受け取り、上述した新規の方法のいずれかに従って前景画像抽出を実行し、抽出された前景画像をデータベース・サーバ４３０に出力する。前記画像抽出モジュール４２０は、特別にプログラムされた汎用ＰＣまたは本明細書に記載する処理を実行する任意の特別設計プロセッサとすることができる。代替的に、前景画像抽出モジュール４２０は、ＤＶＲＳ４１０サーバまたはデータベース・サーバ４３０の一部とすることができる。同様に、ＤＶＲＳ４１０およびデータベース・サーバ４３０は同一の物理的機械、または別個の機械とすることができる。さらに、ユーザがデータベース・サーバ４３０で画像を調査することができるように、ヒューマン・コンピュータ・インタフェースＨＣＩ４４０が設けられる。前景画像抽出４２０によって出力された特徴セグメント化画像は、ＨＣＩ４４０に表示することができる。前景画像抽出モジュール４２０がＤＶＲＳ４１０サーバまたはデータベース・サーバ４３０の一部として実現される場合、ＨＣＩ４４０は、前景画像抽出モジュール４２０を制御するためにも使用することができる。任意選択的に、システムはトリガ機構４５０をも含む。例えば、システムをセキュリティのために使用する場合、前景画像が潜在的侵入者（侵入者であるかもしれない物体）の動きを示したときに、トリガ機構４５０はアラームを作動させることができる。
【００４８】
Ｃ．長所および利点
以上の説明から理解できるように、先行技術の前景セグメンテーション・アルゴリズムの大部分は、画素レベル解析に基づいている。これらの先行技術の方法は、画素間の差を比較するだけであり、したがって局所領域情報を無視する。すなわち、基本的な先行技術の処理枠組は、２つのステップ、つまり（１）画素対画素減算を使用して大まかな前景画像を取得し、（２）事後処理モデルを使用して検出された前景領域の偽アラーム画素を除去する、ことを含む。したがって、第１ステップで誤って背景として分類された画素は、第２ステップで回復することができない。その結果、多くの情報が最終的な前景画像から紛失することがある。これを図３に示す。図３は、前景画像を取得するために取り込まれ、かつ、処理された画像を表わす。画像３００は背景画像であり、画像３１０は入力画像である。画像３２０は、先行技術に係る画素対画素減算処理の結果得られる。見て分かるように、人間の濃い色のシャツが影のようであり、あるいはその色が背景色と同様であったために、おそらく、多くの画素が誤って背景と分類され、これらの画素が除去された。したがって、この結果にもとづいて相互相関が適用される場合、前景であると誤識別されるものとして、この結果から画素を除去することができるだけである。しかしながら、誤って背景として識別された画素は回復することができない。したがって結果として生じる前景画素は画像３３０によって表されるように不完全である。
【００４９】
他方、本発明は、影または照明変化の下における単一画素の明度より安定した、局所領域情報を使用する。すなわち、本発明の実施形態では、入力画像３１０の各画素に対し、画素の近傍が画定される。次いで、入力画像３１０の各画素について、近傍画素の何パーセントが前景画素として分類されたかが決定される。百分率が閾値より高ければ、その画素は前景画素として指定される。このようにして、画素対画素減算中に誤って背景画素として分類された画素を回復することができる。逆に、画素対画素減算中に誤って前景画素として分類された画素は、除去することができる。その結果、図３の画像３４０に示すように前景マスクが得られる。このプロセスは、影、照明変化、背景および前景の類似色、背景における要素の急速な動き（例えば木の葉）等のような、先行技術の方法に関連する前景決定の問題点を克服することができるので、先行技術の方法より優れている。次いで、前景マスクが完成すると、それを画像に適用して、マスク３４０で識別される適切な前景画素が選択され、特徴セグメント化画像である最終画像３５０が得られる。
【００５０】
例えば、図１に関連して述べたように、本発明の様々な実施形態は、プログラムされた汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、または類似物で実行されるソフトウェアとして実現することができる。また、図１に示す各要素は、回路、ルーチン、および／またはアプリケーションとして、つまり、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組合せで実現されるモジュールとして、かつ適切にプログラムされた汎用データ・プロセッサの一部分として、実現することができることも理解されたい。代替的に、図１に示す回路、ルーチン、および／またはアプリケーションの各々を、ＡＳＩＣ、デジタル信号プロセッサ（ＤＳＰ）、ＦＰＧＡ、ＰＬＤ、ＰＬＡ、および／またはＰＡＬ内の物理的に別個のハードウェア回路として、または離散論理素子もしくは離散回路素子として実現することができる。一般的に、有限状態機械を実現することができ、つまり、ひいては図１に示す枠組を実現することのできる、いずれかの装置を使用して、本発明の実施形態に係る前景セグメンテーションを実現することができる。図１に示す回路、ルーチン、アプリケーション、および／またはオブジェクトの特定の形は、設計選択とすることができ、当業者には明瞭であり予見可能であろう。図１に示す回路、ルーチン、アプリケーション、および／またはオブジェクトは、同一設計である必要は無いことを理解されたい。
【００５１】
本発明について上に概説した例示的実施形態に関連して説明したが、既知であるか否かに関わらず、あるいは現在予測不可能である否かに関わらず、様々な代替例、変形例、変化例、改良例、および／または実質的な均等物が、少なくとも通常の当業者には明らかになるであろう。したがって、上に列挙した本発明の例示的実施形態は、限定ではなく例証のつもりである。本発明の精神および範囲から逸脱することなく、様々な変化を施すことができる。したがって、出願されかつ補正されるかもしれない特許請求の範囲は、既知または今後開発される代替例、変形例、変化例、改良例、および／または実質的均等物を全て網羅するつもりである。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施形態に係る特徴レベル前景セグメンテーションの枠組を示す。
【図２】先行技術の結果と比較して、様々な照明条件下の前景セグメンテーションを説明する実施形態に係る方法の使用の幾つかの実施例を示す。
【図３】前景画像を得るために取り込まれ処理された画像を示す。
【図４】本発明に係るシステムの実施形態を示す。
【符号の説明】
【００５３】
１２０ 画素レベル背景モデル化
１３０ 特徴抽出
１４０ 画素レベル減算
１５０ 前景密度推定
１６０ 特徴レベル減算
【技術分野】
【０００１】
本発明は映像画像(video imaging)に関し、詳細には、映像ストリーム中の特徴の自動検出およびセグメンテーションに関する。すなわち、特徴レベル・セグメンテーションを実行するシステムおよび方法に関する。
【背景技術】
【０００２】
現場におけるイベント発生の自動的理解は、知的ビジュアル監視システムの最終目的である。イベントの高レベルの理解には、特定の低レベルのコンピュータ・ビジョン・タスクの実行が要求される。これらは、移動物体の識別および分類、人間のような移動物体の追跡、並びに人々の相互作用の理解を含むかもしれない。これらのタスクの多くを達成するために、動的映像シーンにおける高速かつ信頼できる移動物体セグメンテーション方法を開発する必要がある。
【０００３】
背景減算は、移動物体を検出するための効果的な従来の手法である。多くの研究者が、背景減算に関する問題に対処する方法を提案してきた。１つの先行技術の方法は、適正な(legitimate)動きの領域を決定し、続いて適応背景減算によって移動領域を抽出する、３フレーム差分演算を提案している。別の先行技術の方法では、各画素をガウス分布の混合としてモデル化し、オンライン近似を用いてモデルを更新する。さらに別の先行技術の方法は、ノンパラメトリック・カーネル密度推定を用いて各画素の明度分布(intensity distribution)をモデル化し、別の方法は、影除去のために前景領域で正規化相互相関を算出し、閾値を用いて暗領域における影の検知を回避する。この最後の方法は、画素レベル背景減算によって生成される画像が全ての可能な前景領域を含むという想定に基づいている。しかしながら、画素レベル背景減算が（例えば、前景と背景との間の類似色のために）失敗した場合には、この想定は無効である。さらに、最後の方法における閾値は、様々なシーンの変化に敏感である。したがって、誤って分類された画素は無視され、正規化相互相関計算に使用されない。これらの方法に関するさらなる情報は、非特許文献１〜９に見ることができる。非特許文献１〜９の開示内容全体を参照によって本書に援用する。
【０００４】
上述した先行技術の方法は全て、画素レベル減算に基づいている。当然の弱点は、これらの方法が前景減算中に各画素の差を比較するだけであるので、局所領域情報を無視することである。その結果、これらの方法は往々にして、
（１）入力画像と背景との間の類似色
（２）影
（３）突然の照明の変化
（４）無作為な動き（例えば風で揺れる木の葉）
などの状況で失敗する。すなわち、比較で領域情報を使用した場合でも、比較のための領域の選択が画素レベルの比較に基づいて行なわれた。したがって、誤って背景と同等と分類された画素に対しては、領域情報が使用されなかった。
【０００５】
したがって、入力映像ストリームで前景画素を正確に解釈するための信頼できかつロバストな方法が必要である。
【非特許文献１】Ｒ．コリンズ（Ｒ．Ｃｏｌｌｉｎｓ）ら、「映像監視およびモニタリングのためのシステム：ＶＳＡＭ最終報告（A system for video surveillance and monitoring: VSAM final report）」、カーネギー・メロン大学（Carnegie Mellon University）、技術レポート、２０００年、ＣＭＵ−ＲＩ−ＴＲ−００−１２
【非特許文献２】Ｃ．スタウファ（Ｃ．Ｓｔａｕｆｆｅｒ）ら、「実時間追跡を使用する活動のパターンの学習（Learning Patterns of Activity Using Real-time Tracking）」、パターン解析および機械知能に関するＩＥＥＥ会報（IEEE Transaction on Pattern Analysis and Machine Intelligence）、２０００年８月、第２２巻、第８号、頁７４７〜７５７
【非特許文献３】Ａ．エルガマル（Ａ．Ｅｌｇａｍｍａｌ）ら、「映像監視のためのノンパラメトリック・カーネル密度推定を使用する背景および前景モデリング（Background and Foreground Modeling using Non-parametric Kernel Density Estimation for Video Surveillance）」、ＩＥＥＥ会報、２００２年、９０（７）、頁１１５１〜１１６３
【非特許文献４】イン・リ（Ｙｉｎｇ−ｌｉ）ら、「実時間映像監視のためのロバストかつ効率的な前景解析（Robust and Efficient Foreground Analysis for Real-time Video Surveillance）」、ＩＥＥＥコンピュータ・ビジョンおよびパターン認識、サンディエゴ、２００５年６月
【非特許文献５】マイケル・ハーヴィル（Ｍｉｃｈａｅｌ Ｈａｒｖｉｌｌｅ）、「適応型画素毎ガウス分布混合背景モデルへの高レベル・フィードバックのための枠組（A Framework for High-Level Feedback to Adaptive, Per-Pixel, Mixture-of-Gaussian Background Models）」、ＥＣＣＶ ２００２、頁５４３〜５６０
【非特許文献６】デンシェン・ツァン（Ｄｅｎｇｓｈｅｎｇ Ｚｈａｎｇ）ら、「画像シーケンスにおける移動物体のセグメンテーション：概説（Segmentation of moving objects in image sequence: A review）」、回路・システム・信号処理（Circuits, Systems, and signal Processing）、第２０巻、第２号、２００１年３月
【非特許文献７】フィリッペ・ノリエガ（Ｐｈｉｌｉｐｐｅ Ｎｏｒｉｅｇａ）ら、「局所カーネル・ヒストグラムを使用する実時間照明不変量背景減算（Real Time Illumination Invariant Background subtraction Using Local Kernel Histograms）」、ＢＭＶＣ ２００６
【非特許文献８】トウフィク・パラグ（Ｔｏｕｆｉｑ Ｐａｒａｇ）ら、「背景減算のための特徴選択の枠組（A framework for Feature Selection for Background Subtraction）」、コンピュータ・ビジョンおよびパターン認識に関する２００６年ＩＥＥＥコンピュータ・ソサイエティ会議会報、第２巻、頁１９１６〜１９２３
【非特許文献９】Ｊ．Ｐ．ルイス（Ｊ．Ｐ．Ｌｅｗｉｓ）、「高速正規化相互相関(Fast normalized cross-correlation)」、ビジョン・インタフェース（Vision Interface）、１９９５年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記状況を鑑み、前景画素を正確に解釈するための信頼できかつロバストな特徴レベル・セグメンテーションを提供する。
【課題を解決するための手段】
【０００７】
本発明は、様々な照明および陰影条件下を含め、実世界の動的シーンにおける高速かつロバストな前景セグメンテーションを提供する。本発明の様々な実施形態は、移動物体の分類、移動物体（人間を含む）の追跡、および屋内または屋外環境における様々なイベント検出のような様々な自動化タスクのために１台または複数のカメラによって使用することができる。
【０００８】
本発明の実施形態では、画素対画素減算の後に、新規の特徴レベルに基づく前景セグメンテーション方法を使用して、前景画素を適切に有効化する。このステップで、画像内の各画素について、画素の近傍が選択され、近傍の画像の集合体変化(aggregate change)を使用して前景および背景画素が分類される。実施形態の一つでは、集合体変化は、画素対画素減算ステップ中に前景として分類された画素の数である。別の実施形態では、集合体変化は、画素対画素減算ステップ中に前景として分類された画素の百分率である。さらに別の実施形態では、集合体変化は、対応する背景画素の全明度と比較した画素の近傍の明度の合計の差である。前景セグメンテーションが完了すると、有効化された前景画素および対応する背景画素に正規化相互相関が適用される。
【０００９】
本発明の第１の態様は、特徴レベル・セグメンテーションを実行する方法であって、該方法は、ａ．背景画像を選択し、ｂ．入力画像を選択し、ｃ．前記入力画像の各入力画素について、ｃ．ｉ．前記画素を前景候補画素または背景候補画素として分類し、ｃ．ｉｉ．前記画素の近傍画像を選択し、ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、ｃ．ｉｖ．前記集合体変化に応じて、前記画素を前景画素または背景画素として再分類し、ｄ．前景画素として再分類された画像の画素全部の標識を出力する。
【００１０】
本発明の第２の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．前景画素として再分類された各画素について、ｅ．ｉ．前記再分類された前景画素の近傍画像と、対応する背景近傍画像と、の差を算出し、ｅ．ｉｉ．前記差が設定された閾値を越えた場合には、前記画素が確認された前景画素であるという標識を出力する、ことをさらに含む。
【００１１】
本発明の第３の態様は、第２の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．ｉｉｉ．前記確認された前景画素の全部から特徴抽出画像を生成する、ことをさらに含む。
【００１２】
本発明の第４の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．ｉｖ．前景画素として再分類された入力画素の全部から特徴抽出画像を生成することをさらに含む。
【００１３】
本発明の第５の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉｉ．における前記集合体変化の決定が、ｃ．ｉ．で前景候補画素として分類された近傍画像の画素の総数を計数することを含む。
【００１４】
また、第５の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉｉ．における前記集合体変化の決定が、前記総数と閾値とを比較することをさらに含んでもよい。
【００１５】
また、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉｉ．における前記集合体変化の決定が、ｃ．ｉ．で前景候補画素として分類された近傍画像の画素の百分率を算出することを含んでもよい。
【００１６】
また、ｃ．ｉｉｉ．における前記集合体変化の決定が、前記百分率と閾値とを比較することをさらに含んでもよい。
【００１７】
本発明の第６の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉｉ．における前記集合体変化の決定が、ｃ．ｉ．で前景候補画素として分類された画素の明度の合計を算出することを含む。
【００１８】
また、第６の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉｉ．における前記集合体変化の決定が、明度の前記合計を対応する背景近傍画素の背景明度の合計から減算して明度差を生成し、前記明度差の絶対値と閾値とを比較することをさらに含んでもよい。
【００１９】
本発明の第７の態様は、第２の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．ｉ．の差の前記算出が、前記近傍画像および前記背景近傍画像の正規化相互相関を算出することを含む。
【００２０】
また、第７の態様の特徴レベル・セグメンテーションを実行する方法であって、前記相互相関が全体画像を用いて算出されてもよい。
【００２１】
本発明の第８の態様は、第２の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．ｉ．の差の前記算出が、近傍画像明度マトリクスおよび背景近傍画像明度マトリクスを作成し、前記近傍画像明度マトリクスおよび前記背景近傍画像明度マトリクスのドット積を演算することを含む。
【００２２】
本発明の第９の態様は、第２の態様の特徴レベル・セグメンテーションを実行する方法であって、ｅ．ｉ．の差の前記算出が、近傍画像勾配分布および背景近傍勾配分布を作成し、前記近傍画像勾配分布および前記背景近傍画像勾配分布の相似性を算出することを含む。
【００２３】
本発明の第１０の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉ．が、前記入力画素と前記背景画像の対応する背景画素とを比較して、前記画素を前景候補画素または背景候補画素として分類することを含む。
【００２４】
本発明の第１１の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｉ．が、前記画素の周囲の複数の画素を選択して近傍を画定することを含む。
【００２５】
本発明の第１２の態様は、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｂ．ｉ．前記入力画像を使用して前記背景画像を更新する、をさらに含む。
【００２６】
また、第１の態様の特徴レベル・セグメンテーションを実行する方法であって、ｃ．ｉｖ．が前記集合体変化と閾値とを比較することを含んでよい。
【００２７】
本発明の第１３の態様は、特徴レベル・セグメンテーションを実行するシステムであって、少なくとも１つのビデオ・カメラから映像の少なくとも１つのストリームを受け取る映像記憶モジュールと、特徴セグメント化画像を記憶する特徴セグメント化記憶モジュールと、特徴抽出モジュールと、を含み、前記特徴抽出モジュールが、背景画像を格納する背景画像記憶モジュールと、前記映像ストリームの画像を受け取り、各画像について前記画像の各画素を背景画素または前景画素として分類する、画素レベル減算モジュールと、前記画素レベル減算モジュールから背景画素および前景画素を受け取り、各画素について、近傍画像を画定する複数の近傍画素を選択し、近傍の変化の合計を算出し、前記変化の合計に基づいて、各画素を再分類背景画素または再分類前景画素として再分類する前景密度推定モジュールと、前記再分類前景画素を受け取り、特徴セグメント化画像を生成し、記憶されるべき特徴セグメント化画像を出力する特徴抽出モジュールと、を備える。
【００２８】
本発明の第１４の態様は、第１３の態様の特徴レベル・セグメンテーションを実行するシステムであって、前記特徴抽出モジュールが、前記再分類前景画素を受け取り、前記再分類前景画素の各々の近傍で正規化相互相関を演算して、特徴抽出画像を生成するための画素を選択する、特徴レベル減算モジュールを含む。
【００２９】
本発明の第１５の態様は、第１４の態様の特徴レベル・セグメンテーションを実行するシステムであって、前記映像ストリームを受け取り、前記背景画像を更新する、画素レベル背景モデル化モジュールをさらに含む。
【００３０】
本発明の第１６の態様は、特徴レベル・セグメンテーションを実行する機能をコンピュータに実行させるためのプログラムであって、該機能は、ｂ．入力画像を選択し、ｃ．前記入力画像の各入力画素について、 ｃ．ｉ．前記画素を前景候補画素または背景候補画素として分類し、ｃ．ｉｉ．前記画素の近傍画像を選択し、ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、ｃ．ｉｖ．前記集合体変化に応じて、前記画素を前景画素または背景画素として再分類し、ｄ．前景画素として再分類された画像の画素全部の標識を出力する。
【発明の効果】
【００３１】
本発明は、ａ．背景画像を選択し、ｂ．入力画像を選択し、ｃ．前記入力画像の各入力画素について、ｃ．ｉ．前記画素を前景候補画素または背候補景画素として分類し、ｃ．ｉｉ．前記画素の近傍画像を選択し、ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、ｃ．ｉｖ．前記集合体変化に応じて、前記画素を前景画素または背景画素として再分類し、ｄ．前景画素として再分類された画像の画素全部の標識を出力するようにしている。これにより、本発明は、前景画素を正確に解釈するための信頼できかつロバストな特徴レベル・セグメンテーションを提供することができる。
【発明を実施するための最良の形態】
【００３２】
この明細書に組み込まれ、その一部を構成する添付の図面は、本発明の実施形態を例示し、記載と共に発明技術の原理を説明しかつ例証するのに役立つ。
【００３３】
添付の図面は、限定ではなく、例証として、本発明の原理に適合する特定の実施形態および実現を示す。これらの実現について、当業者が本発明を実施することができるように充分に詳細に説明するが、他の実現を利用することができ、かつ本発明の範囲および精神から逸脱することなく、構造的変化および／または様々な要素の置換を適応することができることを理解されたい。したがって、以下の詳細な説明は、限定的な意味で解釈すべきではない。加えて、記載する本発明の様々な実施形態は、汎用コンピュータで実行されるソフトウェアの形で、専用ハードウェアの形で、またはソフトウェアおよびハードウェアの組合せで実現することができる。
【００３４】
本発明の様々な実施形態は、複雑な実世界のシーンにおける前景セグメンテーションの方法を提示する。該方法の独自の特徴は、陰影が投じられ照明が変化する困難な屋内環境下でも、正確なセグメンテーション結果を達成するその能力である。本発明の例示的実施形態では、画素レベル減算のみに基づく前景画素の分類の代わりに、画素の近傍を考慮に入れるために特徴レベル減算が実行される。すなわち本発明の実施形態では、特徴レベル減算モジュールは、よりロバストな前景減算のために局所領域情報を使用する。画像の各画素について、その画素を中心とする近傍が選択され、近傍画素の集合体変化が決定される。集合体変化は、画素レベル減算中に前景画素として分類された近傍の画素数を示す。集合体変化が設定閾値より高い場合、画素は前景画素として選択される。次いで、各前景画素に対し、近傍および対応する背景近傍が相関されて、特徴セグメントが提供される。これは、全ての前景画素に対して、または選択された画素のみに対して実行することができる。例えば、特定の用途では、各画素の決定(resolution)は必要なく、むしろｎ個の前景画素毎に１つの画素を選択して相関を計算するだけでよいかもしれない。
【００３５】
したがって、本発明の実施形態では、２つのベクトルまたはアレイ間の相似性を測定できる一般的メトリクスを使用することができる。すなわち、前景および背景近傍の選択された画素をベクトルまたはマトリクスによって提示することができ、次いで式を使用して、ベクトルまたはマトリクスの相似性が決定される。例えば各画素の明度、勾配等を使用して、表現することができる。相似性は、例えばドット積、正規化相互相関等を実行することによって求めることができる。
【００３６】
本発明の実施形態では、画素レベル背景モデル化のためにガウス分布混合モデルを利用する。これは、上述した非特許文献２（Ｓｔａｕｆｆｅｒ）および非特許文献４（Ｔｉａｎら）の論文に記載されたものと同様の方法を使用して行なうことができるが、画素レベル背景減算のための任意の方法を使用することができる。この実施例で、我々はグレイスケール画像でガウス分布モデルを計算するだけである。各画素Ｘについて、時間ｔで、画素の確率(probability)は式（１）と書くことができる。
【数１】
式（１）
ここで、
【数２】
式（２）
および
【数３】
式（３）
である。
ここで、Ｋはガウス分布の混合の数であり、μは平均であり、式（４）は分散、αは学習率であり、Ｍk,ｔは合致するモデルの場合１、残りのモデルの場合０である。オンライン検出中にガウス分布はω／αの値によって順序付けられる。最初のＮ個の分布が、画素レベル背景減算のために選択される。
【数４】
式（４）
【数５】
式（５）
ここでＴは背景モデルの部分である。ガウス分布混合の方法は、クラッタ環境(cluttered environment)における遅い照明変化および無作為の動きに対してロバストであるが、他の画素レベルに基づく方法と同様に、前景減算で各画素の差を考慮するだけであるので、局所領域情報を無視する。
【００３７】
先行技術では、次に、画像の各前景画素周囲の近傍の相互相関を算出し、相互相関が充分に類似しているか否かに基づいて、前景画素を影または真の前景として分類する。この手順は新しい前景画素を形成しない。むしろそれらの一部を影としてラベル付けすることによって、前景画素の初期の集合が低減される。相互相関計算にどの画素を選択するかの決定が、前景画素の画素レベル識別に基づいていたことが注目される。したがって、相互相関計算は関連画素の全部に対して行なわれないので、誤った画素レベルの識別は誤った前景画素を導く。
【００３８】
本発明に係る実施形態の特徴は、相互相関計算に選択される画素が、問題の画素の近傍を考慮することによって決定されることである。すなわち、我々は最初に、前景マスクを基本的に「平滑化して」、より緩やかな前景マスクを計算し、次いで相互相関を使用して、新しい前景マスクの選択された画素に対して修正された前景推定を計算する。この手順は、動く背景が存在する場合、または前景色が背景色と同様であった場合に、当初の前景マスクにあったものより多くの前景画素を生成する傾向がある。これは次のように実行される。最初に、次のように定義する、
【数６】
式（６）
式６は、カメラＣｉにおける画素（ｘ，ｙ）の局所的矩形領域の位置およびサイズである。
次に、相互相関計算に使用する画素の部分集合を識別する。これは、次の通り、画素の局所近傍の前景分類に基づく。
ＦＰ（ｔ）を時間ｔにおける画素レベル背景減算の出力前景画像として、式７、つまり時間ｔにおける画素（ｘ，ｙ）に位置する領域（式（８））の内部の前景比を式（９）のように計算する。
【数７】
式（７）
【数８】
式（８）
【数９】
式（９）
前景比（式（７））が比ＴＰより高い画素を、正規化相互相関が計算される画素として選択する。画素のこの部分集合は、元の前景マスクの平滑化バージョンと考えることができ、「前景候補」画素である。正規化相互相関計算中に、使用する混合成分の部分集合を決定する。
Ｐ、すなわち最大加重を持つガウス分布混合モデルの成分を決定する。
【数１０】
式（１０）
Ｐは通常単一の成分であるが、２つ以上の成分を使用することもできる。
Ｂ（ｔ）、すなわち時間ｔにおけるガウス分布混合モデルのガウス分布Ｐの平均値を識別する。２個以上の混合成分が識別される場合には、Ｂ（ｔ）は対応する個数のガウス平均値を含む。
【００３９】
１．１次元表現およびメトリック
ヒストグラムに基づく記述子のようなベクトルを使用して、画像のブロック内の画素を表わすことができる。入力画像および背景画像の領域の１次元ヒストグラムをベクトルＩおよびＢとしてそれぞれ描く。様々な記述子を使用してヒストグラムを計算することができる。例えば、カラー・ヒストグラムまたは勾配方向ヒストグラムを計算することができる。勾配方向ヒストグラムは、各画素の「勾配方向」をカウントすることによって導出される画像の表現である。
【００４０】
（ｘ，ｙ）を中心とする長さｍの２つのベクトルの相似性Ｍ１（ｘ，ｙ）を比較するために、標準正規化相互相関（式（１１））は、使用することのできるメトリックの一例である。
【数１１】
式（１１）
使用することのできる他の例として、へリンジャー・トリック(Hellinger metric)、対称的ＫＬ発散、余弦相似(cosine similarity)等が挙げられる。
２．２次元表現およびメトリック
２次元の場合、我々は、選択された画素および選択された混合成分のみに対して正規化相互相関Ｍ（ｘ，ｙ）を計算する。
【数１２】
式（１２）
Ｍ（ｘ，ｙ）が閾値ＭＴより低い場合、画素は前景としてラベル付けされる。実施形態の一つでは、３つの重要なパラメータ、適合率の閾値ＭＴ、局所領域のサイズ（式（８））、および前景比閾値ＰＴを設定する必要がある。カメラの較正情報に基づいて、領域のサイズは、異なる距離のため変化することがある。一例では、パラメータはＭＴ＝０．９１、局所領域のサイズ（式（８））＝｛ｘ，ｙ，１５，１５｝、およびＰＴ＝１０％として選択された。相互相関は、全体画像(integral image)を使用して効率的に計算することができる（例えば、非特許文献９を参照されたい）。
【００４１】
Ａ．実施例１
図１は、本発明の実施形態に係る特徴レベル前景セグメンテーションの方法およびシステムの枠組を示す。図１に示す各要素は、回路、ルーチン、および／またはアプリケーションとして、つまり、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組合せで実現されるモジュールとして、かつ適切にプログラムされた汎用データ・プロセッサの一部分として、実現することができる。
【００４２】
入力画像１００を受け取ると、画素レベル背景モデル技術１２０を利用して、背景画像１１０が更新される。次いで、更新された背景画像１１０に対して、画素レベル減算１４０が画像１００全体に実行される。次いで前景密度推定１５０が入力画像１００全体に実行される。前景密度推定１５０は、入力画像１００の各画素についての有界領域／近傍を画定する。次いで各画素を選択し、その画素の近傍の集合体変化を検査する。この実施例では、集合体変化は、画素レベル減算１４０中に前景として分類されたその画素の有界領域の画素の百分率である。すなわち、閾値が前景密度推定１５０で設定され、該閾値は、それより高い値の選択画素が前景画素として定義される、有界領域の前景画素の百分率を示す。
【００４３】
前景画素の標識は、前景密度推定１５０によって特徴抽出１３０に出力され、次いでそれは、前景画素の有界領域の画素および背景画像１１０からの対応する画素を特徴レベル減算１６０に提供する。特徴レベル減算１６０は、特徴抽出１３０から受け取った各有界領域の画素に対し正規化相互相関を実行する。代替的に、前景画素の標識は、前景密度推定１５０によって特徴レベル減算１６０に出力することができる。この場合、特徴抽出１３０は画素の全てを特徴レベル減算１６０に提供し、次いで、前景密度推定１５０から受け取った各有界領域の画素のみに対して正規化相互相関を実行する。
【００４４】
特徴レベル減算１６０で相互相関プロセス中に前景画素として確認された画素は、抽出特徴画像を形成し前景画像１８０として定義される出力画像を生成するために、一緒に使用される。図１に示すように、任意選択的に、形態学的フィルタ１７０が特徴レベル減算１６０の出力に適用される。形態学的フィルタ１７０は一般的に、完全かつ平滑化された前景画像、つまり特徴抽出画像を提供するために、欠損画素の推定を実行する。
【００４５】
記載した実施形態について、複数カメラ映像監視システムを使用して試験し、検出された結果を物体追跡および複数のカメラのハンドオフ(hand off)に使用した。図２（Ａ）〜（Ｅ）は、様々な照明条件下の前景セグメンテーションのために、記載した実施形態に係る方法を使用した幾つかの実施例を、先行技術の方法を用いて得られた結果と比較して示す。図２（Ａ）〜（Ｅ）で、カラム（ａ）は入力画像および検出された有界ボックス(bounding box)を示す。カラム（ｂ）は、先行技術に係る方法を用いて得られたガウス分布混合モデルの前景領域を示す。カラム（ｃ）は本発明の実施形態の前景領域であり、カラム（ｄ）はセグメント化前景画像を示す。カラム（ｂ）および（ｃ）のマスクを比較することによって分かるように、カラム（ｃ）のマスクは、カラム（ｂ）のマスクと比較して、特徴に関連する画素数が多い。逆に、カラム（ｃ）のマスクは、カラム（ｂ）に比較して、「ノイズ」または「偽前景」画素が少ない。
【００４６】
本発明の実施形態の一つを使用して、４台のカメラから捕捉した映像を、単一のペンティアム（登録商標）ＩＶコンピュータで動作する本発明の方法を使用して同時に処理し、３２０×２４０の画像サイズで、各カメラで７ｆｐｓ（フレーム毎秒）の処理を行った。この実施形態は、本発明の方法が、影、類似の色、および照明変化のような困難な条件下でさえも、前景セグメンテーションに対し高速かつロバストであることを実証している。
【００４７】
Ｂ．実施例ＩＩ
図４は、本発明に係るシステムの実施形態を示す。図４のシステムでは、１台またはそれ以上のカメラ４００が、ローカル・エリア・ネットワーク（ＬＡＮ）のようなネットワーク４０５に接続される。接続は、有線、無線等のようないずれかの従来の手段によって行なうことができ、各カメラ４００はＩＰアドレスのようなそれ自体の識別指定を有することができる。各カメラ４００からの映像ストリームは、デジタル映像レコーダ・サーバＤＶＲＳ４１０に記憶される。前景画像抽出モジュール４２０はＤＶＲＳ４１０からフレームを受け取り、上述した新規の方法のいずれかに従って前景画像抽出を実行し、抽出された前景画像をデータベース・サーバ４３０に出力する。前記画像抽出モジュール４２０は、特別にプログラムされた汎用ＰＣまたは本明細書に記載する処理を実行する任意の特別設計プロセッサとすることができる。代替的に、前景画像抽出モジュール４２０は、ＤＶＲＳ４１０サーバまたはデータベース・サーバ４３０の一部とすることができる。同様に、ＤＶＲＳ４１０およびデータベース・サーバ４３０は同一の物理的機械、または別個の機械とすることができる。さらに、ユーザがデータベース・サーバ４３０で画像を調査することができるように、ヒューマン・コンピュータ・インタフェースＨＣＩ４４０が設けられる。前景画像抽出４２０によって出力された特徴セグメント化画像は、ＨＣＩ４４０に表示することができる。前景画像抽出モジュール４２０がＤＶＲＳ４１０サーバまたはデータベース・サーバ４３０の一部として実現される場合、ＨＣＩ４４０は、前景画像抽出モジュール４２０を制御するためにも使用することができる。任意選択的に、システムはトリガ機構４５０をも含む。例えば、システムをセキュリティのために使用する場合、前景画像が潜在的侵入者（侵入者であるかもしれない物体）の動きを示したときに、トリガ機構４５０はアラームを作動させることができる。
【００４８】
Ｃ．長所および利点
以上の説明から理解できるように、先行技術の前景セグメンテーション・アルゴリズムの大部分は、画素レベル解析に基づいている。これらの先行技術の方法は、画素間の差を比較するだけであり、したがって局所領域情報を無視する。すなわち、基本的な先行技術の処理枠組は、２つのステップ、つまり（１）画素対画素減算を使用して大まかな前景画像を取得し、（２）事後処理モデルを使用して検出された前景領域の偽アラーム画素を除去する、ことを含む。したがって、第１ステップで誤って背景として分類された画素は、第２ステップで回復することができない。その結果、多くの情報が最終的な前景画像から紛失することがある。これを図３に示す。図３は、前景画像を取得するために取り込まれ、かつ、処理された画像を表わす。画像３００は背景画像であり、画像３１０は入力画像である。画像３２０は、先行技術に係る画素対画素減算処理の結果得られる。見て分かるように、人間の濃い色のシャツが影のようであり、あるいはその色が背景色と同様であったために、おそらく、多くの画素が誤って背景と分類され、これらの画素が除去された。したがって、この結果にもとづいて相互相関が適用される場合、前景であると誤識別されるものとして、この結果から画素を除去することができるだけである。しかしながら、誤って背景として識別された画素は回復することができない。したがって結果として生じる前景画素は画像３３０によって表されるように不完全である。
【００４９】
他方、本発明は、影または照明変化の下における単一画素の明度より安定した、局所領域情報を使用する。すなわち、本発明の実施形態では、入力画像３１０の各画素に対し、画素の近傍が画定される。次いで、入力画像３１０の各画素について、近傍画素の何パーセントが前景画素として分類されたかが決定される。百分率が閾値より高ければ、その画素は前景画素として指定される。このようにして、画素対画素減算中に誤って背景画素として分類された画素を回復することができる。逆に、画素対画素減算中に誤って前景画素として分類された画素は、除去することができる。その結果、図３の画像３４０に示すように前景マスクが得られる。このプロセスは、影、照明変化、背景および前景の類似色、背景における要素の急速な動き（例えば木の葉）等のような、先行技術の方法に関連する前景決定の問題点を克服することができるので、先行技術の方法より優れている。次いで、前景マスクが完成すると、それを画像に適用して、マスク３４０で識別される適切な前景画素が選択され、特徴セグメント化画像である最終画像３５０が得られる。
【００５０】
例えば、図１に関連して述べたように、本発明の様々な実施形態は、プログラムされた汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、または類似物で実行されるソフトウェアとして実現することができる。また、図１に示す各要素は、回路、ルーチン、および／またはアプリケーションとして、つまり、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組合せで実現されるモジュールとして、かつ適切にプログラムされた汎用データ・プロセッサの一部分として、実現することができることも理解されたい。代替的に、図１に示す回路、ルーチン、および／またはアプリケーションの各々を、ＡＳＩＣ、デジタル信号プロセッサ（ＤＳＰ）、ＦＰＧＡ、ＰＬＤ、ＰＬＡ、および／またはＰＡＬ内の物理的に別個のハードウェア回路として、または離散論理素子もしくは離散回路素子として実現することができる。一般的に、有限状態機械を実現することができ、つまり、ひいては図１に示す枠組を実現することのできる、いずれかの装置を使用して、本発明の実施形態に係る前景セグメンテーションを実現することができる。図１に示す回路、ルーチン、アプリケーション、および／またはオブジェクトの特定の形は、設計選択とすることができ、当業者には明瞭であり予見可能であろう。図１に示す回路、ルーチン、アプリケーション、および／またはオブジェクトは、同一設計である必要は無いことを理解されたい。
【００５１】
本発明について上に概説した例示的実施形態に関連して説明したが、既知であるか否かに関わらず、あるいは現在予測不可能である否かに関わらず、様々な代替例、変形例、変化例、改良例、および／または実質的な均等物が、少なくとも通常の当業者には明らかになるであろう。したがって、上に列挙した本発明の例示的実施形態は、限定ではなく例証のつもりである。本発明の精神および範囲から逸脱することなく、様々な変化を施すことができる。したがって、出願されかつ補正されるかもしれない特許請求の範囲は、既知または今後開発される代替例、変形例、変化例、改良例、および／または実質的均等物を全て網羅するつもりである。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施形態に係る特徴レベル前景セグメンテーションの枠組を示す。
【図２】先行技術の結果と比較して、様々な照明条件下の前景セグメンテーションを説明する実施形態に係る方法の使用の幾つかの実施例を示す。
【図３】前景画像を得るために取り込まれ処理された画像を示す。
【図４】本発明に係るシステムの実施形態を示す。
【符号の説明】
【００５３】
１２０ 画素レベル背景モデル化
１３０ 特徴抽出
１４０ 画素レベル減算
１５０ 前景密度推定
１６０ 特徴レベル減算
【特許請求の範囲】
【請求項１】
ａ．背景画像を選択し、
ｂ．入力画像を選択し、
ｃ．前記入力画像の各入力画素について、
ｃ．ｉ．前記画素を前景候補画素または背景候補画素として分類し、
ｃ．ｉｉ．前記画素の近傍画像を選択し、
ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、
ｃ．ｉｖ．前記集合体変化に応じて、前記前景候補画素または背景候補画素を前景画素または背景画素として再分類し、
ｄ．前景画素として再分類された画像の画素全部の標識を出力する、
特徴レベル・セグメンテーションを実行する方法。
【請求項２】
ｅ．前景画素として再分類された各画素について、
ｅ．ｉ．前記再分類された前景画素の近傍画像と、対応する背景近傍画像と、の差を算出し、
ｅ．ｉｉ．前記差が設定された閾値を越えた場合には、前記画素が確認された前景画素であるという標識を出力する、
ことをさらに含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項３】
ｅ．ｉｉｉ．前記確認された前景画素の全部から特徴抽出画像を生成する、
ことをさらに含む、請求項２に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項４】
ｅ．ｉｖ．前景画素として再分類された入力画素の全部から特徴抽出画像を生成することをさらに含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項５】
ｃ．ｉｉｉ．における前記集合体変化の決定が、ｃ．ｉ．で前景候補画素として分類された近傍画像の画素の総数を計数することを含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項６】
ｃ．ｉｉｉ．における前記集合体変化の決定が、ｃ．ｉ．で前景候補画素として分類された画素の明度の合計を算出することを含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項７】
ｅ．ｉ．の差の前記算出が、前記近傍画像および前記背景近傍画像の正規化相互相関を算出することを含む、請求項２に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項８】
ｅ．ｉ．の差の前記算出が、近傍画像明度マトリクスおよび背景近傍画像明度マトリクスを作成し、前記近傍画像明度マトリクスおよび前記背景近傍画像明度マトリクスのドット積を演算することを含む、請求項２に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項９】
ｅ．ｉ．の差の前記算出が、近傍画像勾配分布および背景近傍勾配分布を作成し、前記近傍画像勾配分布および前記背景近傍画像勾配分布の相似性を算出することを含む、請求項２に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項１０】
ｃ．ｉ．が、前記入力画素と前記背景画像の対応する背景画素とを比較して、前記画素を前景候補画素または背景候補画素として分類することを含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項１１】
ｃ．ｉｉ．が、前記画素の周囲の複数の画素を選択して近傍を画定することを含む、請求項１に記載の方法。
【請求項１２】
ｂ．ｉ．前記入力画像を使用して前記背景画像を更新する、
ことをさらに含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項１３】
少なくとも１つのビデオ・カメラから映像の少なくとも１つのストリームを受け取る映像記憶モジュールと、
特徴セグメント化画像を記憶する特徴セグメント化記憶モジュールと、
特徴抽出モジュールと、
を含み、
前記特徴抽出モジュールが、
背景画像を格納する背景画像記憶モジュールと、
前記映像ストリームの画像を受け取り、各画像について前記画像の各画素を背景画素または前景画素として分類する、画素レベル減算モジュールと、
前記画素レベル減算モジュールから背景画素および前景画素を受け取り、各画素について、近傍画像を画定する複数の近傍画素を選択し、近傍の変化の合計を算出し、前記変化の合計に基づいて、各画素を再分類背景画素または再分類前景画素として再分類する前景密度推定モジュールと、
前記再分類前景画素を受け取り、特徴セグメント化画像を生成し、記憶されるべき特徴セグメント化画像を出力する特徴抽出モジュールと、
を備える特徴レベル・セグメンテーションを実行するシステム。
【請求項１４】
前記特徴抽出モジュールが、前記再分類前景画素を受け取り、前記再分類前景画素の各々の近傍で正規化相互相関を演算して、特徴抽出画像を生成するための画素を選択する、特徴レベル減算モジュールを含む、請求項１３に記載の特徴レベル・セグメンテーションを実行するシステム。
【請求項１５】
前記映像ストリームを受け取り、前記背景画像を更新する、画素レベル背景モデル化モジュールをさらに含む、請求項１４に記載の特徴レベル・セグメンテーションを実行するシステム。
【請求項１６】
特徴レベル・セグメンテーションを実行する機能をコンピュータに実行させるためのコンピュータプログラムであって、
該機能は、
ｂ．入力画像を選択し、
ｃ．前記入力画像の各入力画素について、
ｃ．ｉ．前記画素を前景候補画素または背景候補画素として分類し、
ｃ．ｉｉ．前記画素の近傍画像を選択し、
ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、
ｃ．ｉｖ．前記集合体変化に応じて、前記画素を前景画素または背景画素として再分類し、
ｄ．前景画素として再分類された画像の画素全部の標識を出力する、
コンピュータプログラム。
【請求項１】
ａ．背景画像を選択し、
ｂ．入力画像を選択し、
ｃ．前記入力画像の各入力画素について、
ｃ．ｉ．前記画素を前景候補画素または背景候補画素として分類し、
ｃ．ｉｉ．前記画素の近傍画像を選択し、
ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、
ｃ．ｉｖ．前記集合体変化に応じて、前記前景候補画素または背景候補画素を前景画素または背景画素として再分類し、
ｄ．前景画素として再分類された画像の画素全部の標識を出力する、
特徴レベル・セグメンテーションを実行する方法。
【請求項２】
ｅ．前景画素として再分類された各画素について、
ｅ．ｉ．前記再分類された前景画素の近傍画像と、対応する背景近傍画像と、の差を算出し、
ｅ．ｉｉ．前記差が設定された閾値を越えた場合には、前記画素が確認された前景画素であるという標識を出力する、
ことをさらに含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項３】
ｅ．ｉｉｉ．前記確認された前景画素の全部から特徴抽出画像を生成する、
ことをさらに含む、請求項２に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項４】
ｅ．ｉｖ．前景画素として再分類された入力画素の全部から特徴抽出画像を生成することをさらに含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項５】
ｃ．ｉｉｉ．における前記集合体変化の決定が、ｃ．ｉ．で前景候補画素として分類された近傍画像の画素の総数を計数することを含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項６】
ｃ．ｉｉｉ．における前記集合体変化の決定が、ｃ．ｉ．で前景候補画素として分類された画素の明度の合計を算出することを含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項７】
ｅ．ｉ．の差の前記算出が、前記近傍画像および前記背景近傍画像の正規化相互相関を算出することを含む、請求項２に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項８】
ｅ．ｉ．の差の前記算出が、近傍画像明度マトリクスおよび背景近傍画像明度マトリクスを作成し、前記近傍画像明度マトリクスおよび前記背景近傍画像明度マトリクスのドット積を演算することを含む、請求項２に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項９】
ｅ．ｉ．の差の前記算出が、近傍画像勾配分布および背景近傍勾配分布を作成し、前記近傍画像勾配分布および前記背景近傍画像勾配分布の相似性を算出することを含む、請求項２に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項１０】
ｃ．ｉ．が、前記入力画素と前記背景画像の対応する背景画素とを比較して、前記画素を前景候補画素または背景候補画素として分類することを含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項１１】
ｃ．ｉｉ．が、前記画素の周囲の複数の画素を選択して近傍を画定することを含む、請求項１に記載の方法。
【請求項１２】
ｂ．ｉ．前記入力画像を使用して前記背景画像を更新する、
ことをさらに含む、請求項１に記載の特徴レベル・セグメンテーションを実行する方法。
【請求項１３】
少なくとも１つのビデオ・カメラから映像の少なくとも１つのストリームを受け取る映像記憶モジュールと、
特徴セグメント化画像を記憶する特徴セグメント化記憶モジュールと、
特徴抽出モジュールと、
を含み、
前記特徴抽出モジュールが、
背景画像を格納する背景画像記憶モジュールと、
前記映像ストリームの画像を受け取り、各画像について前記画像の各画素を背景画素または前景画素として分類する、画素レベル減算モジュールと、
前記画素レベル減算モジュールから背景画素および前景画素を受け取り、各画素について、近傍画像を画定する複数の近傍画素を選択し、近傍の変化の合計を算出し、前記変化の合計に基づいて、各画素を再分類背景画素または再分類前景画素として再分類する前景密度推定モジュールと、
前記再分類前景画素を受け取り、特徴セグメント化画像を生成し、記憶されるべき特徴セグメント化画像を出力する特徴抽出モジュールと、
を備える特徴レベル・セグメンテーションを実行するシステム。
【請求項１４】
前記特徴抽出モジュールが、前記再分類前景画素を受け取り、前記再分類前景画素の各々の近傍で正規化相互相関を演算して、特徴抽出画像を生成するための画素を選択する、特徴レベル減算モジュールを含む、請求項１３に記載の特徴レベル・セグメンテーションを実行するシステム。
【請求項１５】
前記映像ストリームを受け取り、前記背景画像を更新する、画素レベル背景モデル化モジュールをさらに含む、請求項１４に記載の特徴レベル・セグメンテーションを実行するシステム。
【請求項１６】
特徴レベル・セグメンテーションを実行する機能をコンピュータに実行させるためのコンピュータプログラムであって、
該機能は、
ｂ．入力画像を選択し、
ｃ．前記入力画像の各入力画素について、
ｃ．ｉ．前記画素を前景候補画素または背景候補画素として分類し、
ｃ．ｉｉ．前記画素の近傍画像を選択し、
ｃ．ｉｉｉ．前記近傍画像の集合体変化を決定し、
ｃ．ｉｖ．前記集合体変化に応じて、前記画素を前景画素または背景画素として再分類し、
ｄ．前景画素として再分類された画像の画素全部の標識を出力する、
コンピュータプログラム。
【図１】
【図４】
【図２】
【図３】
【図４】
【図２】
【図３】
【公開番号】特開２００８−１９２１３１（Ｐ２００８−１９２１３１Ａ）
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願番号】特願２００７−３３０７０４（Ｐ２００７−３３０７０４）
【出願日】平成１９年１２月２１日（２００７．１２．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願日】平成１９年１２月２１日（２００７．１２．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]