画像処理装置
【課題】監視画像から背景画像を生成する画像処理装置において、監視空間内に似た色の服を着た人物が多く往来していたり、滞留する人物がいたりすると、生成した背景画像の一部に人の画素値が混入することがあった。
【解決手段】背景モデル生成部は、注目時刻より過去の入力画像の画素値から、注目画素３００の特徴量の頻度分布３３０を生成し、当該頻度分布からなる背景モデルを生成する。背景特徴選出部は、注目画素３００、近傍画素３２０の頻度分布３３０，３４０において集中度が最大ピークとなる正規分布３３１，３４２をそれぞれの画素の位置での背景特徴量として抽出する。背景モデル修正部は、注目画素３００の頻度分布３３０のうち、近傍画素３２０の背景特徴量として選出される正規分布３４２に対応するものである正規分布３３２の頻度を高める修正を行う。
【解決手段】背景モデル生成部は、注目時刻より過去の入力画像の画素値から、注目画素３００の特徴量の頻度分布３３０を生成し、当該頻度分布からなる背景モデルを生成する。背景特徴選出部は、注目画素３００、近傍画素３２０の頻度分布３３０，３４０において集中度が最大ピークとなる正規分布３３１，３４２をそれぞれの画素の位置での背景特徴量として抽出する。背景モデル修正部は、注目画素３００の頻度分布３３０のうち、近傍画素３２０の背景特徴量として選出される正規分布３４２に対応するものである正規分布３３２の頻度を高める修正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体が現れる空間を撮影した動画像からその背景画像情報を生成する画像処理装置に関する。
【背景技術】
【０００２】
監視空間内を移動する人物等の移動物体を検出するために、監視空間を撮像した画像から当該監視空間の背景画像を差し引いて所定以上の差がある領域を移動物体によるものとして抽出する背景差分処理が行われる。
【０００３】
背景差分処理により移動物体を高精度に検出するには移動物体の像を含まない背景画像が必要である。監視空間に移動物体が存在しているときでもこのような背景画像を生成できれば容易に監視を始めることができる。
【０００４】
従来、移動物体が存在していても背景は断続的に撮像されることから、画素ごとに最も高い時間頻度で出現する画素値を検出し、各画素の最頻値からなる背景画像を生成していた（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−９４５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、監視空間内に似た色の服を着た人物が多く往来していたり、滞留する人物がいたりすると、一部の画素において人の画素値の頻度が背景の画素値の頻度を上回り、背景画像の一部に人の画素値が混入することがあった。
【０００７】
そのため、似た色を有する移動物体が存在しているとき又は移動物体が滞留しているときに監視を始めると移動物体の領域を高精度に抽出できないという問題があった。
【０００８】
本発明は上記課題を鑑みてなされたものであり、移動物体の特徴量の頻度が背景の特徴量の頻度を上回る画素があってもそれを背景の特徴量に補正した背景画像情報を生成できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、移動物体が現れる所定空間を撮影した時系列の画像から当該空間についての背景モデルを生成するものであって、前記各画像の画素値から画素ごとの特徴量を抽出する特徴抽出部と、前記時系列における前記各画素の前記特徴量の頻度分布を分析して背景モデルを生成する背景モデル生成部と、前記各画素の前記頻度分布において、前記特徴量の分布範囲ごとに頻度の集中度を算出し、少なくとも最も高い前記集中度が算出された前記分布範囲を背景特徴量として選出する背景特徴選出部と、前記各画素の前記頻度分布に対し、当該画素の画像上における近傍領域にて選出された前記背景特徴量と対応する特徴量の頻度を高める修正を行う背景モデル修正部と、を有する。
【００１０】
他の本発明に係る画像処理装置においては、前記背景モデル修正部は、大きさが互いに異なる複数の前記近傍領域を当該大きさの降順で順次、設定して前記修正を繰り返し行う。
【００１１】
さらに他の本発明に係る画像処理装置においては、前記背景モデル修正部は、設定する前記近傍領域が小さいほど前記修正の度合いを大きくする。
【００１２】
別の本発明に係る画像処理装置においては、前記背景モデル修正部は、前記近傍領域での前記背景特徴量の前記集中度が高いほど前記修正の度合いを大きくする。
【００１３】
さらに別の本発明に係る画像処理装置においては、前記背景モデル修正部は、前記各画素の前記頻度分布に対する前記修正を前記背景特徴量の前記集中度が高い画素から順に行う。
【００１４】
また別の本発明に係る画像処理装置においては、前記特徴量抽出部は、少なくともエッジ情報を抽出し、前記背景モデル修正部は、前記近傍領域にて選出された前記背景特徴量に含まれる前記エッジ情報の多寡に応じた背景複雑度を算出し、前記近傍領域での前記背景複雑度が低いほど前記修正の度合いを大きくする。
【００１５】
さらに別の本発明に係る画像処理装置においては、前記特徴量抽出部は、少なくともエッジ情報を抽出し、前記背景モデル修正部は、前記近傍領域において選出された前記背景特徴量に含まれる前記エッジ情報の多寡に応じた背景複雑度を算出し、前記背景複雑度が予め設定されたしきい値未満である前記近傍領域を用いて前記修正を行なう。
【発明の効果】
【００１６】
本発明によれば、移動物体の特徴量が背景の特徴量の頻度を上回る画素があってもそれを背景の特徴量に補正するので移動物体を大幅に排除した背景画像情報を生成できる。当該背景画像情報を用いれば、例えば、監視画像における移動物体の領域を高精度に抽出できる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る監視カメラシステムのブロック構成図である。
【図２】（１）式の混合正規分布を模式的に示すグラフである。
【図３】背景モデルを構成するデータを模式的に示すテーブルである。
【図４】背景モデル生成部及び背景特徴選出部による処理の具体例を説明する模式図である。
【図５】注目画素に対して３×３の近傍領域を設定した場合を例に修正処理を説明する説明図である。
【図６】背景モデル生成から物体検出までの処理の流れを示すタイミング図である。
【図７】監視カメラシステムの概略の動作を示すフロー図である。
【図８】背景モデル修正部による修正処理の概略のフロー図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面に基づいて説明する。本実施形態は、店舗等の監視空間内を移動する人物を監視対象の移動物体とし、監視空間を撮像した動画像内の人物領域を抽出する監視カメラシステムである。当該監視カメラシステムは、各人物のプライバシーを保護するために、動画像を表示する際に、抽出した人物領域にマスク処理を施す。これらの処理において監視カメラシステムは背景モデルを生成し、生成した背景モデルを用いて人物領域を抽出し、また、生成した背景モデルを用いてマスク処理の下地となる背景画像を作成する。
【００１９】
図１は、実施形態に係る監視カメラシステム１のブロック構成図である。監視カメラシステム１は、撮像部２、記憶部３、制御部４及び表示部５を含んで構成される。撮像部２、記憶部３及び表示部５は制御部４に接続される。
【００２０】
撮像部２は監視カメラであり、監視空間の天井部に監視空間を俯瞰して固定設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部４へ出力される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。
【００２１】
記憶部３はＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部３は各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。各種データには背景モデル３０が含まれる。
【００２２】
背景モデル３０は、監視画像の各画素における当該画素の特徴量の時間方向の出現頻度を表す頻度分布、各頻度分布において頻度が集中しており背景の特徴量であると推定される背景特徴量、及び各背景特徴量の集中の度合いを表す集中度を含んで構成される。本実施形態では各頻度分布を混合正規分布によりモデル化し、各画素における頻度分布（出現確率）ＰをＫ個の正規分布Ｎの重み付け和で表す。
【００２３】
【数１】
【００２４】
ここで、Ｐ（ａ）は注目画素において特徴量ａが出現する確率である。Ｎ（ａ；μｉ，σ２ｉ）は、平均がμｉ、分散がσ２ｉであるｉ番目の正規分布関数に従い特徴量ａが出現する確率である。また、ｗｉはｉ番目の正規分布に対する重み係数である。
【００２５】
また、頻度分布において真の背景特徴量と背景の前を通過する移動物体による偽の背景特徴量とを区別して近似できるよう、Ｋは２以上であることが望ましい。例えばＫ＝３とすることができる。
【００２６】
混合正規分布を用いる本実施形態においては、頻度分布においていずれかの正規分布が表す範囲に分布している特徴量を背景特徴量とすることができ、背景特徴量はそのインデックスｉで示すことができる。また、集中度をＣで表記することにする。
【００２７】
図２は（１）式の混合正規分布を模式的に示すグラフであり、図３は背景モデル３０を構成するデータを模式的に示すテーブルである。図２に示す混合正規分布のグラフ１００、及び図３に示すテーブル１５０はある１つの画素（ｘ，ｙ）に関するものである。頻度分布Ｐ（ａ）は実際には多次元分布であるが、簡単のため図２では１次元で模式的に表しており、またＫ＝３としている。テーブル１５０は当該画素のｘ座標及びｙ座標、各正規分布のインデックス番号ｉと当該正規分布の平均値μｉと分散値σ２ｉと重み係数ｗｉとの組、当該画素の背景特徴量である正規分布のインデックスＩＢ、当該画素の集中度ＣＢを含む。なお、図２に示す例ではＩＢ＝３である。背景モデル３０にはこのテーブル１５０に示す情報が画素の数だけ列挙される。
【００２８】
制御部４は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、特徴抽出部４０、背景モデル生成部４１、背景特徴選出部４２、背景モデル修正部４３、物体検出部４４及びマスク画像生成部４５等の動作が記述されたプログラムを記憶部３から読み出して実行することにより各手段として動作する。制御部４は撮像部２より入力される監視画像から人物領域を抽出して人物領域にマスク処理を施し、マスク処理した画像を表示部５へ出力する。
【００２９】
特徴抽出部４０は監視画像の各画素の特徴量を算出し、算出された特徴量を背景モデル生成部４１及び物体検出部４４へ出力する。特徴量は具体的には、輝度情報とエッジ情報とからなる１２次元ベクトルであり、また輝度情報はＲ成分値、Ｇ成分値、Ｂ成分値を並べた３次元ベクトルで表され、エッジ情報はエッジ方向ごとのエッジ強度のヒストグラムを分析した９次元ベクトルで表される。
【００３０】
特徴抽出部４０は監視画像から公知のソーベル・フィルターなどを用いて各画素におけるエッジ強度とエッジ方向を算出し、エッジ方向を９方向に量子化するとともに各画素を中心に所定サイズ（例えば９×９画素）の分析窓を設定して分析窓内でエッジ方向ごとにエッジ強度を累積したヒストグラムをエッジ情報として求める。
【００３１】
なお、各画素の特徴量として輝度情報のみ或いはエッジ情報のみを抽出してもよい。輝度情報はＲＧＢ値をＨＳＶ表色系に変換したものとしてもよい。エッジ情報はエッジ強度エッジ情報とエッジ方向とからなる２次元ベクトルとしてもよい。また、カラー画像ではなくグレースケール画像を入力画像としてその輝度情報とエッジ情報とからなる特徴量又はその輝度情報のみ或いはそのエッジ情報のみからなる特徴量を抽出してもよい。
【００３２】
背景モデル生成部４１は現時刻（注目時刻）より過去の監視画像から抽出された特徴量の時間方向の出現頻度を分析して頻度分布を画素ごとに生成し、各画素の頻度分布からなる背景モデル３０を記憶部３に記憶させる。例えば、背景モデル生成部４１は時系列の監視画像に公知のオンラインＥＭ法等などを適用して各画素の頻度分布を表す平均値μｉ、分散値σ２ｉ、重み係数ｗｉを算出する。この背景モデルの構築法については、島田,有田,谷口:「混合ガウス分布による動的背景モデルの分布数増減法」，画像の認識・理解シンポジウム（MIRU2006），2006年．が参考となる。
【００３３】
背景特徴選出部４２は画素ごとの頻度分布のそれぞれにおいて特徴量の集中度Ｃを算出するとともに、集中度Ｃが予め設定された条件を満たす背景特徴量を選出する。つまり、頻度分布にピークが形成される特徴量の中から予め設定した条件に基づいて、少なくとも最大ピークに対応するものを含む背景特徴量を選出する。本実施形態では、各画素について下記（２）式で示すように当該画素の頻度分布を構成する各正規分布ｉ（ｉは正規分布を示すインデックス）の重みｗｉを分散σ２ｉで除して集中度Ｃｉを算出する。集中度Ｃｉが高い正規分布ｉほど、当該正規分布ｉは高く急峻な分布形状であり、当該正規分布ｉと対応する特徴量は頻度分布全体の中で集中して偏在しており背景らしさが高い。そこで、集中度Ｃｉが最も高い正規分布のインデックスＩＢを当該画素の背景特徴量として選出する。
【００３４】
【数２】
【００３５】
背景特徴選出部４２は選出した背景特徴量及びその集中度を記憶部３の背景モデル３０に記憶させる。
【００３６】
別の実施形態では、集中度が最も高い正規分布と、集中度が予め設定された集中度閾値Ｔｃ１以上である正規分布とを背景特徴量として選出し、集中度が高い順に記憶部３に書き込む。この実施形態では特徴量が集中して偏在する正規分布が複数存在するときにこれらのいずれをも背景特徴量として選出することができ、後述する修正処理を複数の正規分布に対して行うことが可能となる。この実施形態は正規分布の混合数Ｋを比較的多く設定する場合に有用である。
【００３７】
図４は、背景モデル生成部４１及び背景特徴選出部４２による処理の具体例を説明する模式図であり、図４（ａ）は起動直後の監視画像２００を示しており、図４（ｂ）は起動直後の初期化期間の動画像に基づいて得られる背景画像２５０を示している。初期化期間は予め設定され、例えば、起動直後からの２０秒間を初期化期間として設定する。背景モデル生成部４１は初期化期間の監視画像を用いて背景モデル３０を初期化し、背景特徴選出部４２は、この背景モデル３０から背景特徴量を抽出する。背景画像２５０は各画素の特徴量として、抽出された背景特徴量を設定された画像である。図４では図示の都合上、背景画像２５０は背景特徴量のうち輝度情報を画素値に設定したものを表している。
【００３８】
図４（ａ）の監視画像２００は、複数の通行人が、斜線で示す床及び白い壁を有する監視空間を歩いている様子を示している。図４（ｂ）の背景画像２５０の殆どの画素では床や壁などの真の背景特徴量が選出されているが、画素３００などの一部の画素においてズボン（画像２００中にて網目模様で示している）の特徴量が背景特徴量として誤選出され、背景画像２５０中にズボンの特徴量に相当する黒画素がまだらに現れている。この例において当該まだらが現れている原因は、初期化期間中、絶えず黒いズボンを着用した通行人が監視空間を往来していたことにあり、そのため、黒画素となる一部の画素においてズボンの特徴量が床や壁の特徴量の頻度を上回り背景特徴量として抽出されてしまっている。通行人の滞留も当該通行人と床・壁との頻度の逆転の原因となる。このように出現頻度の逆転が生じた画素を放置しておくと、物体領域の一部欠損や物体の誤検出が生じる。
【００３９】
次に説明する背景モデル修正部４３は、この逆転を解消するために背景モデル３０の修正処理を実行する。修正実行期間は例えば初期化期間の終わりの１秒間と予め設定される。
【００４０】
背景モデル修正部４３は記憶部３から背景モデル３０を読み出して、各画素の頻度分布に対し、当該画素の近傍領域にて選出された背景特徴量と対応する特徴量の頻度を高める修正を行ない、修正した背景モデルで記憶部３の背景モデル３０を更新する。すなわち背景モデル修正部４３は各画素を注目画素に順次設定し、注目画素の頻度分布のうちその近傍領域内の各画素（近傍画素）にて選出された背景特徴量と対応する特徴量それぞれの頻度を所定値だけ増加させることで修正を行なう。具体的には背景モデル修正部４３は、注目画素の頻度分布を構成する正規分布のうち、各近傍画素にて背景特徴量として選出された正規分布と対応する正規分布の重み係数を所定値Δｗだけ増加させることで修正を行なう。なお、（１）式に示したように重み係数の総和は１であることから背景モデル修正部４３は同時に他の正規分布の重み係数を減少させる。
【００４１】
近傍画素と注目画素との特徴量の対応付けは、混合正規分布を用いる本実施形態においては、近傍画素の背景特徴量に対応する正規分布と注目画素の頻度分布を構成する正規分布との対応付けとなる。この点に関して、注目画素の頻度分布において重み係数を増加させる正規分布は、近傍画素において背景特徴量として選出された正規分布と十分に近い正規分布とするのがよい。具体的には背景モデル修正部４３は、背景特徴量として選出された正規分布の平均値μＢと注目画素の頻度分布を構成する各正規分布ｉとの間で下記（３）式で表されるマハラノビス距離ｄｉを算出し、当該距離ｄｉを予め設定された閾値ＴＰと比較する。そして、マハラノビス距離ｄｉが閾値ＴＰ以下である注目画素側の正規分布の重み係数を増加させる。
【００４２】
【数３】
【００４３】
なお、マハラノビス距離ｄｉが閾値ＴＰ以下である正規分布が複数となった場合は、マハラノビス距離ｄｉが最小の正規分布の重み係数を増加させる。
【００４４】
またマハラノビス距離ｄｉが閾値ＴＰ以下である正規分布がない場合、すなわち注目画素の頻度分布において近傍画素の背景特徴量と対応する特徴量が分布していない場合は当該近傍画素に基づく修正を行なわない。こうすることで注目画素に対して背景の境界をまたいで近傍画素が設定されてしまったとしても（例えば壁と床）、注目画素において偽の背景特徴量の集中度が高まることを防止できる。
【００４５】
別の実施形態においては、マハラノビス距離ｄｉが閾値ＴＰ以下である正規分布が複数となった場合にそれら複数の正規分布それぞれの重み係数を増加させることもできる。
【００４６】
このように注目画素の頻度分布の中で、注目画素の近傍領域にて選出された背景特徴量と対応する特徴量の頻度を選択的に増加させることにより、注目画素の頻度分布における真の背景特徴量の集中度を多数決的に高めることができる。
【００４７】
このとき背景モデル修正部４３は特に近傍領域にて最も多く選出された背景特徴量と対応する特徴量に限定して頻度を高める修正を行なう構成とすることができる。これにより注目画素の頻度分布における真の背景特徴量の集中度をより効果的に高めることができる。具体的には、近傍領域の背景特徴量のうち注目画素の特徴量と対応付けがとれたものに関して「投票」を行い、投票値が最大となった背景特徴量に対応する注目画素の特徴量に関して重み係数を増加させる修正をする。各近傍画素は注目画素の特徴量のうち、自身の背景特徴量に対応するものに１票を投じることができる。つまり、背景モデル修正部４３はどの特徴量を修正するかを決めるために投票処理を行い、投票処理として、注目画素の各特徴量について近傍画素の背景特徴量と対応付けがされた回数を計数する。計数された値が投票値となる。そして、背景モデル修正部４３は修正量Δｗを最大の投票値ＶＭＡＸに比例させることで修正の度合いを調整する。
【００４８】
また、注目画素の頻度分布における真の背景特徴量の集中度を効果的に高める別の実施形態として、各近傍画素が自身の背景特徴量に対応する集中度を投票する構成とすることもできる。具体的には修正量Δｗを修正対象となった注目画素の特徴量との対応付けがとれた近傍画素の集中度（Ｃqとする）の和に比例させることで修正の度合いを調整する。
【００４９】
図５は注目画素に対して３×３画素の範囲に近傍領域を設定した場合を例に修正処理を説明する説明図である。ここでは図４（ｂ）の画素３００を注目画素とし、図５の上側の近傍領域３１０は修正前、下側の近傍領域３１０は修正後のものである。グラフ３３０は修正前の注目画素３００の頻度分布であり、横軸は本実施形態において１２次元のベクトルである特徴量ａを便宜的に１次元座標で表している。縦軸は頻度分布Ｐに対応している。頻度分布３３０は３つの正規分布３３１，３３２，３３３の混合正規分布として生成されており、正規分布３３１はズボンの特徴量の出現頻度、正規分布３３２は床の特徴量の出現頻度、正規分布３３３はシャツ等の特徴量の出現頻度を表している。頻度分布３３０は床の特徴量の正規分布３３２の集中度よりもズボンの特徴量の正規分布３３１の集中度の方が高くなってしまい出現頻度の逆転が生じていることを示している。一方、近傍領域３１０内の画素の１つである近傍画素３２０には逆転が生じておらず、その頻度分布３４０においてはズボンの特徴量に対応する正規分布３４１の集中度及びシャツ等の特徴量に対応する正規分布３４３の集中度よりも床の特徴量に対応する正規分布３４２の集中度の方が高くなっており、床の特徴量が背景特徴量として選出されている。
【００５０】
背景モデル修正部４３は、注目画素３００の頻度分布３３０において近傍画素３２０の背景特徴量である正規分布３４２に対応する正規分布３３２の重み係数を所定値だけ増加させる修正を行なう。背景モデル修正部４３は同様の処理を近傍領域３１０内の各画素に対して行なう。近傍領域３１０内には逆転した画素が３画素あるが、逆転していない画素は５画素であり、逆転していない画素の方が多い。従って、正規分布３３１や正規分布３３３を増加させる修正よりも正規分布３３２を増加させる修正の方が多く行われるので、逆転を解消することが可能である。上述したように最も多く選出された背景特徴量と対応する特徴量に修正を限定すれば、逆転していない５画素に関する修正すなわち正規分布３３１に関する修正のみが行なわれて逆転解消の可能性がさらに高まる。
【００５１】
頻度分布３５０は、注目画素３００における頻度分布３３０に対して近傍領域３１０内の全画素に基づき修正した後の状態を示している。当該頻度分布３５０は、床の特徴量に対応する正規分布３５２の集中度がズボンの特徴量に対応する正規分布３５１の集中度及びシャツ等の特徴量に対応する正規分布３５３の集中度よりも高くなるように修正され、逆転が解消した状態を示している。
【００５２】
ここで近傍領域が小さ過ぎると修正の信頼性が低くなる場合がある。すなわち出現頻度の逆転が生じている画素が密集している位置に小さな近傍領域を設定すると逆転している画素の割合が多くなってしまうことがある。例えば、図４（ｂ）に示す例において画面右下の画素に３×３の近傍領域を設定すると逆転を解消し切れない部分が発生する。
【００５３】
そこで背景モデル修正部４３は、大きさが互いに異なる複数の近傍領域を設定し、これら複数の近傍領域を用いた修正を大きさの降順に繰り返し行なうことで上記逆転画素密集問題の解決を図る構成を採用することができる。具体的には背景モデル修正部４３は、まず７×７画素の大きさの近傍領域を各画素に設定して修正処理を行い、次に５×５画素の近傍領域を各画素に設定して修正処理を行い、最後に３×３画素の近傍領域を各画素に設定して修正処理を行う。
【００５４】
なお、近傍領域の上記サイズ設定は一例であり、近傍領域の最大サイズは監視画像中に撮像される移動物体の幅などに応じて適宜設定すればよいし、サイズの段階もそれに合わせて適宜設定することができる。
【００５５】
こうすることで逆転画素が疎な近傍領域による修正結果が順次内側へ伝播されるので、小さな近傍領域における逆転画素の割合が減少し、逆転画素が密集している部分があっても真の背景特徴量の頻度が高い背景モデル３０に修正できる可能性が高まる。
【００５６】
他方、背景は一様ではなく床や壁やその他様々なもので構成されていることから注目画素に近い位置の近傍画素における真の背景特徴量は注目画素と同じであることが多く、近傍画素の位置が注目画素から離れるほど近傍画素における真の背景特徴量が注目画素と異なる可能性が高い。そのため、逆転画素密集問題を除いて考えると、近傍領域を小さく設定したときに行われる修正の信頼性の方が、近傍領域を大きく設定したときに行われる修正の信頼性よりも高い。
【００５７】
そこで背景モデル修正部４３は、上述した繰り返し修正処理において、小さな近傍領域を用いたときほど修正の度合いを大きくすることができる。具体的には修正量Δｗを近傍領域の大きさｍ×ｍに反比例させることで修正の度合いを調整することができる。
【００５８】
こうすることで注目画素とは真の背景特徴量が異なる可能性の高い修正結果ほど弱く、注目画素と真の背景特徴量が同じである可能性の高い修正結果ほど強く注目画素に向かって順次伝播されるので、小さな近傍領域における逆転画素の割合を減少させつつ、近傍領域において注目画素にとっての真の背景特徴量が選出される割合を高めることができるので、逆転画素が密集している部分があっても真の背景特徴量の頻度が高い背景モデル３０に修正できる可能性が高まる。
【００５９】
ちなみに、集中度に基づく選択的修正が時系列的な信頼性の選択であるのに対し、ここで述べた複数サイズの近傍領域による修正及び近傍領域の大小に応じた修正度合いの調整は空間的な信頼性の選択であるといえる。
【００６０】
また背景が一様でないことへのもう１つの対応策として、背景モデル修正部４３は近傍領域内の各画素において選出された背景特徴量に含まれるエッジ情報の多寡に応じた背景複雑度Ｚを算出し、背景複雑度に応じて修正量を調整し、及び背景複雑度に応じて近傍領域の大きさを制限することができる。具体的には、背景モデル修正部４３は近傍領域内の各画素にて選出された背景特徴量に含まれるエッジ強度を閾値ＴＥと比較して閾値ＴＥ以上のエッジ強度を有する画素数Ｅを求め、下記（４）式に示すように、当該画素数Ｅを近傍領域内の総画素数ｍ×ｍで除して背景複雑度Ｚを算出する。
【００６１】
【数４】
【００６２】
背景複雑度Ｚが高い近傍領域は背景構造物同士の境目や模様などを多く含む複雑な領域であることを意味し、背景複雑度Ｚが低い近傍領域は一様性が高い単純な領域であることを意味する。
【００６３】
そこで、背景モデル修正部４３は、背景複雑度Ｚが低い近傍領域を用いたときほど注目画素の頻度分布に対する修正量を大きくすることで、一様性が高い近傍領域を用いたときの修正を大きく反映させる。具体的には修正量Δｗを背景複雑度Ｚに反比例させることで修正の度合いを調整することができる。これにより真の背景特徴量の頻度が高い背景モデル３０に修正できる可能性が高まる。
【００６４】
また背景モデル修正部４３は、背景複雑度Ｚが予め設定された閾値ＴＺ未満である近傍領域を用いて修正を行ない、背景複雑度Ｚが閾値ＴＺ以上である近傍領域は修正に用いないように構成することができる。これにより注目画素における真の背景特徴量とは異なる特徴量の頻度を増加させる誤修正を防ぐことができ、真の背景特徴量の頻度が高い背景モデル３０に修正できる可能性が高まる。
【００６５】
修正を施す画素の順番は単にその並び順とすることもできるが、各画素は自身が修正対象となる一方で他の画素の近傍画素として修正処理に利用されることから、真の背景特徴量に頻度が集中している画素から順に処理を施していくことが望ましい。
【００６６】
そこで背景モデル修正部４３は、各画素の集中度を参照して、各画素の頻度分布に対する修正を集中度が高い画素から順に行うように構成することができる。このように信頼性の高い近傍画素の修正結果を先行させることで背景モデル３０全体対する修正の信頼性を高めることができる。
【００６７】
上述した各種の構成を取り入れると、注目画素の正規分布の重み係数に対する修正量（加算値）Δｗは次式のようになる。
【００６８】
【数５】
【００６９】
ここで、Ｃｑ，Ｃｇは近傍画素の背景特徴量に対する集中度であり、このうちＣｑは最大投票値を得た注目画素の特徴量との対応が得られた近傍画素の背景特徴量の集中度であり、ΣＣｑは当該集中度の総和である。一方、Ｃｇは注目画素のいずれかの特徴量との対応が得られた近傍画素の背景特徴量の集中度であり、ΣＣｇは当該集中度の総和である。（α・ΣＣq／ΣＣg）は集中度を投票値とした場合の当該投票値が修正量に与える影響を定める因子であり、近傍領域において多数派の背景特徴量と対応する特徴量ほど修正量を大きくする作用を有している。αはΔｗに対して投票値に関する因子の寄与率を調整するために予め設定される定数であり０＜αである。ｍは近傍領域サイズであり、（γ／ｍ・ｍ）は近傍領域サイズの影響に関する因子であって、小さな近傍領域を用いたときほど修正量を大きくする作用を有している。γはΔｗに対して近傍領域サイズに関する因子の寄与率を調整するために予め設定される定数であり０＜γである。Ｚは背景複雑度であり、（ζ／Ｚ）は背景複雑度に関する因子であって、近傍領域の背景の一様性が高いほど修正量を大きくする作用を有している。ζはΔｗに対して背景複雑度に関する因子の寄与率を調整するために予め設定される定数であり０＜ζである。
【００７０】
修正量に集中度を反映させない場合、（５）式の代わりに（６）式を用いる。
【００７１】
【数６】
【００７２】
ここで、ＶＭＡＸは注目画素の特徴量に対する最大投票値、またＶＶＡＲＩＤは投票値の総和（注目画素との対応が得られた近傍画素の数）であり、（β・ＶＭＡＸ／ＶＶＡＲＩＤ）は投票値に係る加算値である。当該加算値は、上記（５）式の場合と同様、近傍領域において多数派の背景特徴量と対応する特徴量ほど修正量を大きくする作用を有しており、βは上記αと同様、加算値寄与率の調整のための定数であり０＜βである。
【００７３】
なお、修正量Δｗに近傍領域サイズを反映させない場合は（５）式又は（６）式から因子（γ／ｍ・ｍ）を除いた式を用いることができ、修正量Δｗに背景複雑度を反映させない場合は因子（ζ／Ｚ）を除いた（５）式又は（６）式を用いることができる。
【００７４】
物体検出部４４は注目時刻の監視画像から抽出された特徴量と背景モデル３０とを対応する画素ごとに比較して所定以上の差を有する画素のまとまりを物体領域として抽出し、抽出された物体領域の情報をマスク画像生成部４５へ出力する。具体的には、監視画像の各画素の特徴量と当該画素の背景特徴量との差Ｄを算出して、当該差Ｄを予め設定された差分閾値Ｔｄと比較し差Ｄが差分閾値Ｔｄを超える差分画素を検出する。そして、互いに近接する差分画素同士を１つの領域としてまとめ、まとめられた領域の面積が人物像の大きさ程度に予め設定された大きさ閾値を超える場合に当該領域を人物領域として抽出する。注目する画素の特徴量ａとそれに対応する画素の背景特徴量との差Ｄは、当該背景特徴量として選出された正規分布ｉとのマハラノビス距離とすることができ、次式で与えられる。
【００７５】
【数７】
【００７６】
この差Ｄはｉ番目の正規分布の平均値μｉと注目画素の特徴量ａとの距離を分散σ２ｉの大小に応じて正規化したものである。この正規化により背景特徴量と注目画素の近さが統計的に正しく計算される。
【００７７】
なお、物体検出処理の高速化を優先するために、分散による正規化を省略し、差Ｄをｉ番目の正規分布関数の平均値μｉと注目画素の特徴量ａとの距離｜ａ−μｉ｜で算出してもよい。
【００７８】
マスク画像生成部４５は各画素の画素値に背景特徴量を設定した背景画像を生成するとともに、物体検出部４４により抽出された物体領域を単色で塗りつぶした領域画像を生成し、背景画像と領域画像とを透過合成してマスク画像を生成し、生成されたマスク画像を表示部５に出力する。背景特徴量を正規分布とする本実施形態において、マスク画像生成部４５は各画素の背景徴量の正規分布の平均値での輝度情報を背景画像の画素値に設定する。
【００７９】
表示部５は、制御部４から入力されるマスク処理済みの監視画像を表示する液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置である。表示部５は例えば、その表示面を店舗内の売り場に向けて設置され、顧客のプライバシーを保護しつつ店員が不審な動きをしている顧客の存在を確認することを可能にする。
【００８０】
次に監視カメラシステム１の動作を説明する。図６は、背景モデル生成から物体検出までの処理の流れを示すタイミング図である。背景モデル生成部４１は監視カメラシステム１の起動直後から動作を開始する。起動直後は背景モデル３０の元となるデータが不足しているため、物体検出部４４は予め設定された初期化期間（例えば、２０秒間に設定）だけ処理を実行せずに待機する。背景モデル修正部４３は初期化期間の終わりに設定される修正実行期間（例えば、１秒間に設定）に動作する。そして初期化期間が過ぎると物体検出部４４は処理を開始する。初期化期間後も背景モデル生成部４１は随時、背景モデル３０の更新を行う。
【００８１】
ちなみに、逆転解消のために初期化時間を長く設定することは当該時間が経過するまで監視を始めることができない点で好ましくない上、逆転解消に必要な時間は移動物体の挙動次第であるため長さに応じた効果を期待することは難しい。この点、背景モデル修正部４３による修正処理は、逆転を解消して高精度な物体検出を可能とすることに加え、初期化時間の短縮をも可能としている。
【００８２】
図７は監視カメラシステム１の概略の動作を示すフロー図である。監視カメラシステム１が起動すると、撮像部２は所定時間おきに監視空間を撮像して監視画像を制御部４に入力する（Ｓ１）。また制御部４は、起動時にカウンタを用意して０にリセットし、当該カウンタにより監視画像の入力回数をカウントする。以降、監視画像が撮像されるたびにステップＳ１〜Ｓ１０までの処理が繰り返される。
【００８３】
監視画像が入力されると制御部４の特徴抽出部４０は該画像にエッジ抽出処理を施して輝度情報とエッジ情報とからなる特徴量を画素ごとに抽出する（Ｓ２）。以下、最新の監視画像を現画像と称する。
【００８４】
特徴量が抽出されると、制御部４はカウンタを参照して初期化期間が経過しているか確認する（Ｓ３）。初期化期間が未だ経過していなければ（Ｓ３にてＮＯ）、制御部４はステップＳ４〜Ｓ６を省略して処理をステップＳ７へ進める。
【００８５】
一方、初期化期間が経過していれば（Ｓ３にてＹＥＳ）、制御部４は処理をステップＳ４へ進める。制御部４の物体検出部４４は記憶部３の背景モデル３０から各画素の背景特徴量を読み出して、読み出した背景特徴量と現画像の対応する画素の特徴量との差Ｄを算出して差分閾値Ｔｄと比較し、Ｄ≧Ｔｄである画素のまとまりを物体領域として抽出する（Ｓ４）。物体領域が抽出されると、制御部４のマスク画像生成部４５は記憶部３の背景モデル３０から各画素の背景特徴量に選出された正規分布ｉの平均値μｉにおける輝度情報を読み出して、読み出した輝度情報を当該画素の画素値に設定した背景画像を生成する。さらに、抽出された物体領域内の画素値を所定の単色（例えば赤）に設定し且つその他の画素値を０に設定した領域画像を生成し、背景画像と領域画像を透過合成してマスク画像を生成する（Ｓ５）。そして、マスク画像生成部４５は生成したマスク画像を表示部５に出力し、表示部５は入力されたマスク画像を視認可能に表示する（Ｓ６）。
【００８６】
マスク画像の表示処理を終えた後、または初期化期間未了によりステップＳ４〜Ｓ６が省略された場合（Ｓ３にてＮＯであった場合）、制御部４の背景モデル生成部４１は現画像を用いて記憶部３の背景モデル３０における各画素の頻度分布を更新する（Ｓ７）。
【００８７】
各頻度分布が更新されると、制御部４の背景特徴選出部４２は更新された頻度分布を参照し、画素ごとに当該画素の頻度分布を構成する正規分布ｉそれぞれに対する頻度の集中度Ｃｉを算出する。そして、当該集中度が最大となる正規分布ＩＢを当該画素の背景特徴量に選出してそのインデックスＩＢ及びその集中度ＣＢを記憶部３の背景モデル３０に記憶させる。
【００８８】
背景モデル３０の更新が終わると、制御部４はカウンタを参照して修正実行期間であるか否かを確認する（Ｓ９）。修正実行期間でなければ（ステップＳ９にてＮＯ）、制御部４はステップＳ１０を省略して処理を再びステップＳ１へ戻す。
【００８９】
他方、修正実行期間が訪れていると（ステップＳ９にてＹＥＳ）、制御部４の背景モデル修正部４３は背景モデル３０の修正処理を行う（Ｓ１０）。
【００９０】
図８は修正処理の概略のフロー図であり、以下、図８に基づいて修正処理の流れを説明する。背景モデル修正部４３は、近傍領域の大きさｍを７，５，３の順に順次設定し（Ｓ１００）、ステップＳ１００〜Ｓ１１６のループ処理を設定する。
【００９１】
近傍領域サイズのループ処理において、背景モデル修正部４３は記憶部３の背景モデル３０を参照して各画素をその背景特徴量の集中度ＣＢが大きい順に順次、注目画素に設定し（Ｓ１０１）、ステップＳ１０１〜Ｓ１１５の処理を実行する。
【００９２】
注目画素を設定した背景モデル修正部４３は、注目画素を中心とするｍ×ｍの近傍領域を設定するとともに記憶部３の背景モデル３０を参照し、近傍領域内の各画素に対して選出された背景特徴量に関しその平均ベクトルμＢに含まれるエッジ情報の強度を閾値ＴＥと比較する。そして、当該強度がＴＥ以上である画素数Ｅを計数し、計数した画素数Ｅとｍに（４）式を適用して背景複雑度Ｚを算出する（Ｓ１０２）。
【００９３】
背景モデル修正部４３は算出した背景複雑度Ｚを閾値ＴＺと比較し（Ｓ１０３）、Ｚ≧ＴＺであれば（Ｓ１０３にてＹＥＳ）、注目画素に設定中の近傍領域を用いた修正処理を行わないとして注目画素に対する修正処理Ｓ１０４〜Ｓ１１４を省略してステップＳ１１５へ処理を進める。
【００９４】
一方、Ｚ＜ＴＺの場合（Ｓ１０３にてＮＯ）、背景モデル修正部４３は注目画素に対する修正処理を行う。修正処理のうちステップＳ１０４〜Ｓ１１０は投票処理である。背景モデル修正部４３は、まず投票値をクリアする（Ｓ１０４）。投票値はそれぞれ１〜Ｋのインデックスを付与されたＫ個の値で、これらの値が０に設定される。次に背景モデル修正部４３は注目画素を中心とするサイズｍ×ｍの近傍領域内で注目画素を除く各画素を順次、近傍画素に設定し（Ｓ１０５）、注目画素の頻度分布を構成する正規分布ｉのうち近傍画素の背景特徴量ＩＢと対応する正規分布ｉを対応特徴量として検出する（Ｓ１０６）。対応特徴量が検出された場合は当該対応特徴量のインデックスが付与された投票値に処理中の近傍画素における背景特徴量の集中度ＣＢを累積加算する（Ｓ１０７にてＹＥＳ→Ｓ１０９）。一方、対応特徴量が検出されない場合はステップＳ１０９を省略する。背景モデル修正部４３は処理Ｓ１０５〜Ｓ１０９を全近傍画素に対して繰り返し行う（Ｓ１１０）。
【００９５】
なお、ステップＳ１０６の処理において、背景モデル修正部４３は記憶部３の背景モデル３０から注目画素の頻度分布を構成する各正規分布ｉの平均値μｉ、及び近傍画素の背景特徴量ＩＢの平均値μＢ及び分散σ２Ｂを読み出して、これらの値に（３）式を適用することでマハラビノス距離ｄｉを算出する。そして、算出したマハラビノス距離ｄｉを閾値Ｔｐと比較して、ｄｉ≦ＴＰである注目画素の正規分布ｉを近傍画素の背景特徴量ＩＢと対応する対応特徴量として検出する。
【００９６】
こうして投票処理を終えた背景モデル修正部４３は、投票値を参照して最多得票である対応特徴量のインデックスＩＶを特定する（Ｓ１１１）。背景モデル修正部４３は当該対応特徴量ＩＶのインデックスに対応する投票値を集中度累積値ΣＣqとし、全てのインデックスｉに対応する集中度累積値の総和をΣＣgとして求め、これらとステップＳ１００にて設定された近傍領域サイズｍ、及びステップＳ１０２にて算出された背景複雑度Ｚを（５）式に適用して修正量Δｗを算出する（Ｓ１１２）。なお、（５）式に代えて（６）式を用いる場合には、ステップＳ１０８にて集中度ＣＢに代えて近傍画素ごとに１を累積加算し、ステップＳ１１２では最多得票のインデックスＩＶに対応する投票値をＶＭＡＸとし、全てのインデックスｉに対応する投票値の総和を求めてＶＶＡＲＩＤとする。
【００９７】
背景モデル修正部４３は記憶部３の背景モデル３０から注目画素の頻度分布を読み出して、対応特徴量の正規分布ＩＶの重みｗＶにΔｗを加算し、加算処理後のＫ個の重みの総和が１になるように調整して修正し、修正後の注目画素の頻度分布を記憶部３に書き戻す（Ｓ１１３）。例えば、当該調整は各重みｗｉに共通の係数を乗じることにより実現できる。また背景特徴選出部４２は記憶部３の修正された背景モデル３０から注目画素の頻度分布を読み出して、読み出した頻度分布に対して背景特徴量の選出をし直して選出結果を記憶部３に書き戻す（Ｓ１１４）。
【００９８】
背景モデル修正部４３は全ての画素に対してループ処理Ｓ１０１〜Ｓ１１４を終え（Ｓ１１５にてＹＥＳ）、さらに全ての近傍領域サイズに対してループ処理Ｓ１００〜Ｓ１１５のループ処理を終えると（Ｓ１１６にてＹＥＳ）、処理を図７のステップＳ１へ戻し、制御部４は次の監視画像に対する処理へと進む。
【００９９】
上記実施形態では、混合正規分布を用いた背景モデル３０を例示したが、ヒストグラムを用いた背景モデル３０とすることもできる。この場合における背景特徴選出部４２による集中度算出処理、及び背景モデル修正部４３による修正処理は以下のように行うことができる。
【０１００】
まず、集中度算出処理はヒストグラムにおいて０より大きな頻度を有する特徴量をクラスタリングして、各クラスタにおける特徴量の平均値と分散を算出して（３）式に代入することで集中度を算出する。そして、集中度が予め設定された集中度閾値Ｔｃ３以上であるクラスタに属する特徴量を背景特徴量として選出する。また、各クラスタに属する特徴量の頻度の総和がヒストグラム全体における特徴量の頻度の総和に占める割合を集中度として算出することもできる。
【０１０１】
修正処理では、クラスタを上記実施形態における正規分布と同様に扱う。クラスタ間の距離は当該クラスタの平均値と分散を用いたマハラノビス距離とする。分散を算出しない場合、クラスタ間の距離は当該クラスタの平均値間の距離にすればよい。修正は、対応特徴量として検出されたクラスタに属する特徴量の頻度を一律に増加させる、または対応特徴量として検出されたクラスタに属する特徴量のうち近傍画素の背景特徴量の平均値それぞれの頻度を個別に増加させる、または対応特徴量として検出されたクラスタの平均値の頻度を個別に増加させるという手法を採用することができる。
【０１０２】
さらに別の構成では、物体検出部４４により抽出された物体領域を用いて侵入者を検知してもよい。また、物体検出部４４により抽出された物体領域を用いて移動物体の追跡を行って、不審者を検知してもよい。
【０１０３】
また、近傍領域は必ずしも矩形領域である必要は無く、円形領域としてもよいし、注目画素から所定距離範囲内の画素からランダムにサンプリングして近傍領域を都度形成してもよい。
【符号の説明】
【０１０４】
１ 監視カメラシステム、２ 撮像部、３ 記憶部、４ 制御部、５ 表示部、４０ 特徴抽出部、４１ 背景モデル生成部、４２ 背景特徴選出部、４３ 背景モデル修正部、４４ 物体検出部、４５ マスク画像生成部。
【技術分野】
【０００１】
本発明は、移動物体が現れる空間を撮影した動画像からその背景画像情報を生成する画像処理装置に関する。
【背景技術】
【０００２】
監視空間内を移動する人物等の移動物体を検出するために、監視空間を撮像した画像から当該監視空間の背景画像を差し引いて所定以上の差がある領域を移動物体によるものとして抽出する背景差分処理が行われる。
【０００３】
背景差分処理により移動物体を高精度に検出するには移動物体の像を含まない背景画像が必要である。監視空間に移動物体が存在しているときでもこのような背景画像を生成できれば容易に監視を始めることができる。
【０００４】
従来、移動物体が存在していても背景は断続的に撮像されることから、画素ごとに最も高い時間頻度で出現する画素値を検出し、各画素の最頻値からなる背景画像を生成していた（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−９４５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、監視空間内に似た色の服を着た人物が多く往来していたり、滞留する人物がいたりすると、一部の画素において人の画素値の頻度が背景の画素値の頻度を上回り、背景画像の一部に人の画素値が混入することがあった。
【０００７】
そのため、似た色を有する移動物体が存在しているとき又は移動物体が滞留しているときに監視を始めると移動物体の領域を高精度に抽出できないという問題があった。
【０００８】
本発明は上記課題を鑑みてなされたものであり、移動物体の特徴量の頻度が背景の特徴量の頻度を上回る画素があってもそれを背景の特徴量に補正した背景画像情報を生成できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、移動物体が現れる所定空間を撮影した時系列の画像から当該空間についての背景モデルを生成するものであって、前記各画像の画素値から画素ごとの特徴量を抽出する特徴抽出部と、前記時系列における前記各画素の前記特徴量の頻度分布を分析して背景モデルを生成する背景モデル生成部と、前記各画素の前記頻度分布において、前記特徴量の分布範囲ごとに頻度の集中度を算出し、少なくとも最も高い前記集中度が算出された前記分布範囲を背景特徴量として選出する背景特徴選出部と、前記各画素の前記頻度分布に対し、当該画素の画像上における近傍領域にて選出された前記背景特徴量と対応する特徴量の頻度を高める修正を行う背景モデル修正部と、を有する。
【００１０】
他の本発明に係る画像処理装置においては、前記背景モデル修正部は、大きさが互いに異なる複数の前記近傍領域を当該大きさの降順で順次、設定して前記修正を繰り返し行う。
【００１１】
さらに他の本発明に係る画像処理装置においては、前記背景モデル修正部は、設定する前記近傍領域が小さいほど前記修正の度合いを大きくする。
【００１２】
別の本発明に係る画像処理装置においては、前記背景モデル修正部は、前記近傍領域での前記背景特徴量の前記集中度が高いほど前記修正の度合いを大きくする。
【００１３】
さらに別の本発明に係る画像処理装置においては、前記背景モデル修正部は、前記各画素の前記頻度分布に対する前記修正を前記背景特徴量の前記集中度が高い画素から順に行う。
【００１４】
また別の本発明に係る画像処理装置においては、前記特徴量抽出部は、少なくともエッジ情報を抽出し、前記背景モデル修正部は、前記近傍領域にて選出された前記背景特徴量に含まれる前記エッジ情報の多寡に応じた背景複雑度を算出し、前記近傍領域での前記背景複雑度が低いほど前記修正の度合いを大きくする。
【００１５】
さらに別の本発明に係る画像処理装置においては、前記特徴量抽出部は、少なくともエッジ情報を抽出し、前記背景モデル修正部は、前記近傍領域において選出された前記背景特徴量に含まれる前記エッジ情報の多寡に応じた背景複雑度を算出し、前記背景複雑度が予め設定されたしきい値未満である前記近傍領域を用いて前記修正を行なう。
【発明の効果】
【００１６】
本発明によれば、移動物体の特徴量が背景の特徴量の頻度を上回る画素があってもそれを背景の特徴量に補正するので移動物体を大幅に排除した背景画像情報を生成できる。当該背景画像情報を用いれば、例えば、監視画像における移動物体の領域を高精度に抽出できる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る監視カメラシステムのブロック構成図である。
【図２】（１）式の混合正規分布を模式的に示すグラフである。
【図３】背景モデルを構成するデータを模式的に示すテーブルである。
【図４】背景モデル生成部及び背景特徴選出部による処理の具体例を説明する模式図である。
【図５】注目画素に対して３×３の近傍領域を設定した場合を例に修正処理を説明する説明図である。
【図６】背景モデル生成から物体検出までの処理の流れを示すタイミング図である。
【図７】監視カメラシステムの概略の動作を示すフロー図である。
【図８】背景モデル修正部による修正処理の概略のフロー図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面に基づいて説明する。本実施形態は、店舗等の監視空間内を移動する人物を監視対象の移動物体とし、監視空間を撮像した動画像内の人物領域を抽出する監視カメラシステムである。当該監視カメラシステムは、各人物のプライバシーを保護するために、動画像を表示する際に、抽出した人物領域にマスク処理を施す。これらの処理において監視カメラシステムは背景モデルを生成し、生成した背景モデルを用いて人物領域を抽出し、また、生成した背景モデルを用いてマスク処理の下地となる背景画像を作成する。
【００１９】
図１は、実施形態に係る監視カメラシステム１のブロック構成図である。監視カメラシステム１は、撮像部２、記憶部３、制御部４及び表示部５を含んで構成される。撮像部２、記憶部３及び表示部５は制御部４に接続される。
【００２０】
撮像部２は監視カメラであり、監視空間の天井部に監視空間を俯瞰して固定設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部４へ出力される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。
【００２１】
記憶部３はＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部３は各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。各種データには背景モデル３０が含まれる。
【００２２】
背景モデル３０は、監視画像の各画素における当該画素の特徴量の時間方向の出現頻度を表す頻度分布、各頻度分布において頻度が集中しており背景の特徴量であると推定される背景特徴量、及び各背景特徴量の集中の度合いを表す集中度を含んで構成される。本実施形態では各頻度分布を混合正規分布によりモデル化し、各画素における頻度分布（出現確率）ＰをＫ個の正規分布Ｎの重み付け和で表す。
【００２３】
【数１】
【００２４】
ここで、Ｐ（ａ）は注目画素において特徴量ａが出現する確率である。Ｎ（ａ；μｉ，σ２ｉ）は、平均がμｉ、分散がσ２ｉであるｉ番目の正規分布関数に従い特徴量ａが出現する確率である。また、ｗｉはｉ番目の正規分布に対する重み係数である。
【００２５】
また、頻度分布において真の背景特徴量と背景の前を通過する移動物体による偽の背景特徴量とを区別して近似できるよう、Ｋは２以上であることが望ましい。例えばＫ＝３とすることができる。
【００２６】
混合正規分布を用いる本実施形態においては、頻度分布においていずれかの正規分布が表す範囲に分布している特徴量を背景特徴量とすることができ、背景特徴量はそのインデックスｉで示すことができる。また、集中度をＣで表記することにする。
【００２７】
図２は（１）式の混合正規分布を模式的に示すグラフであり、図３は背景モデル３０を構成するデータを模式的に示すテーブルである。図２に示す混合正規分布のグラフ１００、及び図３に示すテーブル１５０はある１つの画素（ｘ，ｙ）に関するものである。頻度分布Ｐ（ａ）は実際には多次元分布であるが、簡単のため図２では１次元で模式的に表しており、またＫ＝３としている。テーブル１５０は当該画素のｘ座標及びｙ座標、各正規分布のインデックス番号ｉと当該正規分布の平均値μｉと分散値σ２ｉと重み係数ｗｉとの組、当該画素の背景特徴量である正規分布のインデックスＩＢ、当該画素の集中度ＣＢを含む。なお、図２に示す例ではＩＢ＝３である。背景モデル３０にはこのテーブル１５０に示す情報が画素の数だけ列挙される。
【００２８】
制御部４は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、特徴抽出部４０、背景モデル生成部４１、背景特徴選出部４２、背景モデル修正部４３、物体検出部４４及びマスク画像生成部４５等の動作が記述されたプログラムを記憶部３から読み出して実行することにより各手段として動作する。制御部４は撮像部２より入力される監視画像から人物領域を抽出して人物領域にマスク処理を施し、マスク処理した画像を表示部５へ出力する。
【００２９】
特徴抽出部４０は監視画像の各画素の特徴量を算出し、算出された特徴量を背景モデル生成部４１及び物体検出部４４へ出力する。特徴量は具体的には、輝度情報とエッジ情報とからなる１２次元ベクトルであり、また輝度情報はＲ成分値、Ｇ成分値、Ｂ成分値を並べた３次元ベクトルで表され、エッジ情報はエッジ方向ごとのエッジ強度のヒストグラムを分析した９次元ベクトルで表される。
【００３０】
特徴抽出部４０は監視画像から公知のソーベル・フィルターなどを用いて各画素におけるエッジ強度とエッジ方向を算出し、エッジ方向を９方向に量子化するとともに各画素を中心に所定サイズ（例えば９×９画素）の分析窓を設定して分析窓内でエッジ方向ごとにエッジ強度を累積したヒストグラムをエッジ情報として求める。
【００３１】
なお、各画素の特徴量として輝度情報のみ或いはエッジ情報のみを抽出してもよい。輝度情報はＲＧＢ値をＨＳＶ表色系に変換したものとしてもよい。エッジ情報はエッジ強度エッジ情報とエッジ方向とからなる２次元ベクトルとしてもよい。また、カラー画像ではなくグレースケール画像を入力画像としてその輝度情報とエッジ情報とからなる特徴量又はその輝度情報のみ或いはそのエッジ情報のみからなる特徴量を抽出してもよい。
【００３２】
背景モデル生成部４１は現時刻（注目時刻）より過去の監視画像から抽出された特徴量の時間方向の出現頻度を分析して頻度分布を画素ごとに生成し、各画素の頻度分布からなる背景モデル３０を記憶部３に記憶させる。例えば、背景モデル生成部４１は時系列の監視画像に公知のオンラインＥＭ法等などを適用して各画素の頻度分布を表す平均値μｉ、分散値σ２ｉ、重み係数ｗｉを算出する。この背景モデルの構築法については、島田,有田,谷口:「混合ガウス分布による動的背景モデルの分布数増減法」，画像の認識・理解シンポジウム（MIRU2006），2006年．が参考となる。
【００３３】
背景特徴選出部４２は画素ごとの頻度分布のそれぞれにおいて特徴量の集中度Ｃを算出するとともに、集中度Ｃが予め設定された条件を満たす背景特徴量を選出する。つまり、頻度分布にピークが形成される特徴量の中から予め設定した条件に基づいて、少なくとも最大ピークに対応するものを含む背景特徴量を選出する。本実施形態では、各画素について下記（２）式で示すように当該画素の頻度分布を構成する各正規分布ｉ（ｉは正規分布を示すインデックス）の重みｗｉを分散σ２ｉで除して集中度Ｃｉを算出する。集中度Ｃｉが高い正規分布ｉほど、当該正規分布ｉは高く急峻な分布形状であり、当該正規分布ｉと対応する特徴量は頻度分布全体の中で集中して偏在しており背景らしさが高い。そこで、集中度Ｃｉが最も高い正規分布のインデックスＩＢを当該画素の背景特徴量として選出する。
【００３４】
【数２】
【００３５】
背景特徴選出部４２は選出した背景特徴量及びその集中度を記憶部３の背景モデル３０に記憶させる。
【００３６】
別の実施形態では、集中度が最も高い正規分布と、集中度が予め設定された集中度閾値Ｔｃ１以上である正規分布とを背景特徴量として選出し、集中度が高い順に記憶部３に書き込む。この実施形態では特徴量が集中して偏在する正規分布が複数存在するときにこれらのいずれをも背景特徴量として選出することができ、後述する修正処理を複数の正規分布に対して行うことが可能となる。この実施形態は正規分布の混合数Ｋを比較的多く設定する場合に有用である。
【００３７】
図４は、背景モデル生成部４１及び背景特徴選出部４２による処理の具体例を説明する模式図であり、図４（ａ）は起動直後の監視画像２００を示しており、図４（ｂ）は起動直後の初期化期間の動画像に基づいて得られる背景画像２５０を示している。初期化期間は予め設定され、例えば、起動直後からの２０秒間を初期化期間として設定する。背景モデル生成部４１は初期化期間の監視画像を用いて背景モデル３０を初期化し、背景特徴選出部４２は、この背景モデル３０から背景特徴量を抽出する。背景画像２５０は各画素の特徴量として、抽出された背景特徴量を設定された画像である。図４では図示の都合上、背景画像２５０は背景特徴量のうち輝度情報を画素値に設定したものを表している。
【００３８】
図４（ａ）の監視画像２００は、複数の通行人が、斜線で示す床及び白い壁を有する監視空間を歩いている様子を示している。図４（ｂ）の背景画像２５０の殆どの画素では床や壁などの真の背景特徴量が選出されているが、画素３００などの一部の画素においてズボン（画像２００中にて網目模様で示している）の特徴量が背景特徴量として誤選出され、背景画像２５０中にズボンの特徴量に相当する黒画素がまだらに現れている。この例において当該まだらが現れている原因は、初期化期間中、絶えず黒いズボンを着用した通行人が監視空間を往来していたことにあり、そのため、黒画素となる一部の画素においてズボンの特徴量が床や壁の特徴量の頻度を上回り背景特徴量として抽出されてしまっている。通行人の滞留も当該通行人と床・壁との頻度の逆転の原因となる。このように出現頻度の逆転が生じた画素を放置しておくと、物体領域の一部欠損や物体の誤検出が生じる。
【００３９】
次に説明する背景モデル修正部４３は、この逆転を解消するために背景モデル３０の修正処理を実行する。修正実行期間は例えば初期化期間の終わりの１秒間と予め設定される。
【００４０】
背景モデル修正部４３は記憶部３から背景モデル３０を読み出して、各画素の頻度分布に対し、当該画素の近傍領域にて選出された背景特徴量と対応する特徴量の頻度を高める修正を行ない、修正した背景モデルで記憶部３の背景モデル３０を更新する。すなわち背景モデル修正部４３は各画素を注目画素に順次設定し、注目画素の頻度分布のうちその近傍領域内の各画素（近傍画素）にて選出された背景特徴量と対応する特徴量それぞれの頻度を所定値だけ増加させることで修正を行なう。具体的には背景モデル修正部４３は、注目画素の頻度分布を構成する正規分布のうち、各近傍画素にて背景特徴量として選出された正規分布と対応する正規分布の重み係数を所定値Δｗだけ増加させることで修正を行なう。なお、（１）式に示したように重み係数の総和は１であることから背景モデル修正部４３は同時に他の正規分布の重み係数を減少させる。
【００４１】
近傍画素と注目画素との特徴量の対応付けは、混合正規分布を用いる本実施形態においては、近傍画素の背景特徴量に対応する正規分布と注目画素の頻度分布を構成する正規分布との対応付けとなる。この点に関して、注目画素の頻度分布において重み係数を増加させる正規分布は、近傍画素において背景特徴量として選出された正規分布と十分に近い正規分布とするのがよい。具体的には背景モデル修正部４３は、背景特徴量として選出された正規分布の平均値μＢと注目画素の頻度分布を構成する各正規分布ｉとの間で下記（３）式で表されるマハラノビス距離ｄｉを算出し、当該距離ｄｉを予め設定された閾値ＴＰと比較する。そして、マハラノビス距離ｄｉが閾値ＴＰ以下である注目画素側の正規分布の重み係数を増加させる。
【００４２】
【数３】
【００４３】
なお、マハラノビス距離ｄｉが閾値ＴＰ以下である正規分布が複数となった場合は、マハラノビス距離ｄｉが最小の正規分布の重み係数を増加させる。
【００４４】
またマハラノビス距離ｄｉが閾値ＴＰ以下である正規分布がない場合、すなわち注目画素の頻度分布において近傍画素の背景特徴量と対応する特徴量が分布していない場合は当該近傍画素に基づく修正を行なわない。こうすることで注目画素に対して背景の境界をまたいで近傍画素が設定されてしまったとしても（例えば壁と床）、注目画素において偽の背景特徴量の集中度が高まることを防止できる。
【００４５】
別の実施形態においては、マハラノビス距離ｄｉが閾値ＴＰ以下である正規分布が複数となった場合にそれら複数の正規分布それぞれの重み係数を増加させることもできる。
【００４６】
このように注目画素の頻度分布の中で、注目画素の近傍領域にて選出された背景特徴量と対応する特徴量の頻度を選択的に増加させることにより、注目画素の頻度分布における真の背景特徴量の集中度を多数決的に高めることができる。
【００４７】
このとき背景モデル修正部４３は特に近傍領域にて最も多く選出された背景特徴量と対応する特徴量に限定して頻度を高める修正を行なう構成とすることができる。これにより注目画素の頻度分布における真の背景特徴量の集中度をより効果的に高めることができる。具体的には、近傍領域の背景特徴量のうち注目画素の特徴量と対応付けがとれたものに関して「投票」を行い、投票値が最大となった背景特徴量に対応する注目画素の特徴量に関して重み係数を増加させる修正をする。各近傍画素は注目画素の特徴量のうち、自身の背景特徴量に対応するものに１票を投じることができる。つまり、背景モデル修正部４３はどの特徴量を修正するかを決めるために投票処理を行い、投票処理として、注目画素の各特徴量について近傍画素の背景特徴量と対応付けがされた回数を計数する。計数された値が投票値となる。そして、背景モデル修正部４３は修正量Δｗを最大の投票値ＶＭＡＸに比例させることで修正の度合いを調整する。
【００４８】
また、注目画素の頻度分布における真の背景特徴量の集中度を効果的に高める別の実施形態として、各近傍画素が自身の背景特徴量に対応する集中度を投票する構成とすることもできる。具体的には修正量Δｗを修正対象となった注目画素の特徴量との対応付けがとれた近傍画素の集中度（Ｃqとする）の和に比例させることで修正の度合いを調整する。
【００４９】
図５は注目画素に対して３×３画素の範囲に近傍領域を設定した場合を例に修正処理を説明する説明図である。ここでは図４（ｂ）の画素３００を注目画素とし、図５の上側の近傍領域３１０は修正前、下側の近傍領域３１０は修正後のものである。グラフ３３０は修正前の注目画素３００の頻度分布であり、横軸は本実施形態において１２次元のベクトルである特徴量ａを便宜的に１次元座標で表している。縦軸は頻度分布Ｐに対応している。頻度分布３３０は３つの正規分布３３１，３３２，３３３の混合正規分布として生成されており、正規分布３３１はズボンの特徴量の出現頻度、正規分布３３２は床の特徴量の出現頻度、正規分布３３３はシャツ等の特徴量の出現頻度を表している。頻度分布３３０は床の特徴量の正規分布３３２の集中度よりもズボンの特徴量の正規分布３３１の集中度の方が高くなってしまい出現頻度の逆転が生じていることを示している。一方、近傍領域３１０内の画素の１つである近傍画素３２０には逆転が生じておらず、その頻度分布３４０においてはズボンの特徴量に対応する正規分布３４１の集中度及びシャツ等の特徴量に対応する正規分布３４３の集中度よりも床の特徴量に対応する正規分布３４２の集中度の方が高くなっており、床の特徴量が背景特徴量として選出されている。
【００５０】
背景モデル修正部４３は、注目画素３００の頻度分布３３０において近傍画素３２０の背景特徴量である正規分布３４２に対応する正規分布３３２の重み係数を所定値だけ増加させる修正を行なう。背景モデル修正部４３は同様の処理を近傍領域３１０内の各画素に対して行なう。近傍領域３１０内には逆転した画素が３画素あるが、逆転していない画素は５画素であり、逆転していない画素の方が多い。従って、正規分布３３１や正規分布３３３を増加させる修正よりも正規分布３３２を増加させる修正の方が多く行われるので、逆転を解消することが可能である。上述したように最も多く選出された背景特徴量と対応する特徴量に修正を限定すれば、逆転していない５画素に関する修正すなわち正規分布３３１に関する修正のみが行なわれて逆転解消の可能性がさらに高まる。
【００５１】
頻度分布３５０は、注目画素３００における頻度分布３３０に対して近傍領域３１０内の全画素に基づき修正した後の状態を示している。当該頻度分布３５０は、床の特徴量に対応する正規分布３５２の集中度がズボンの特徴量に対応する正規分布３５１の集中度及びシャツ等の特徴量に対応する正規分布３５３の集中度よりも高くなるように修正され、逆転が解消した状態を示している。
【００５２】
ここで近傍領域が小さ過ぎると修正の信頼性が低くなる場合がある。すなわち出現頻度の逆転が生じている画素が密集している位置に小さな近傍領域を設定すると逆転している画素の割合が多くなってしまうことがある。例えば、図４（ｂ）に示す例において画面右下の画素に３×３の近傍領域を設定すると逆転を解消し切れない部分が発生する。
【００５３】
そこで背景モデル修正部４３は、大きさが互いに異なる複数の近傍領域を設定し、これら複数の近傍領域を用いた修正を大きさの降順に繰り返し行なうことで上記逆転画素密集問題の解決を図る構成を採用することができる。具体的には背景モデル修正部４３は、まず７×７画素の大きさの近傍領域を各画素に設定して修正処理を行い、次に５×５画素の近傍領域を各画素に設定して修正処理を行い、最後に３×３画素の近傍領域を各画素に設定して修正処理を行う。
【００５４】
なお、近傍領域の上記サイズ設定は一例であり、近傍領域の最大サイズは監視画像中に撮像される移動物体の幅などに応じて適宜設定すればよいし、サイズの段階もそれに合わせて適宜設定することができる。
【００５５】
こうすることで逆転画素が疎な近傍領域による修正結果が順次内側へ伝播されるので、小さな近傍領域における逆転画素の割合が減少し、逆転画素が密集している部分があっても真の背景特徴量の頻度が高い背景モデル３０に修正できる可能性が高まる。
【００５６】
他方、背景は一様ではなく床や壁やその他様々なもので構成されていることから注目画素に近い位置の近傍画素における真の背景特徴量は注目画素と同じであることが多く、近傍画素の位置が注目画素から離れるほど近傍画素における真の背景特徴量が注目画素と異なる可能性が高い。そのため、逆転画素密集問題を除いて考えると、近傍領域を小さく設定したときに行われる修正の信頼性の方が、近傍領域を大きく設定したときに行われる修正の信頼性よりも高い。
【００５７】
そこで背景モデル修正部４３は、上述した繰り返し修正処理において、小さな近傍領域を用いたときほど修正の度合いを大きくすることができる。具体的には修正量Δｗを近傍領域の大きさｍ×ｍに反比例させることで修正の度合いを調整することができる。
【００５８】
こうすることで注目画素とは真の背景特徴量が異なる可能性の高い修正結果ほど弱く、注目画素と真の背景特徴量が同じである可能性の高い修正結果ほど強く注目画素に向かって順次伝播されるので、小さな近傍領域における逆転画素の割合を減少させつつ、近傍領域において注目画素にとっての真の背景特徴量が選出される割合を高めることができるので、逆転画素が密集している部分があっても真の背景特徴量の頻度が高い背景モデル３０に修正できる可能性が高まる。
【００５９】
ちなみに、集中度に基づく選択的修正が時系列的な信頼性の選択であるのに対し、ここで述べた複数サイズの近傍領域による修正及び近傍領域の大小に応じた修正度合いの調整は空間的な信頼性の選択であるといえる。
【００６０】
また背景が一様でないことへのもう１つの対応策として、背景モデル修正部４３は近傍領域内の各画素において選出された背景特徴量に含まれるエッジ情報の多寡に応じた背景複雑度Ｚを算出し、背景複雑度に応じて修正量を調整し、及び背景複雑度に応じて近傍領域の大きさを制限することができる。具体的には、背景モデル修正部４３は近傍領域内の各画素にて選出された背景特徴量に含まれるエッジ強度を閾値ＴＥと比較して閾値ＴＥ以上のエッジ強度を有する画素数Ｅを求め、下記（４）式に示すように、当該画素数Ｅを近傍領域内の総画素数ｍ×ｍで除して背景複雑度Ｚを算出する。
【００６１】
【数４】
【００６２】
背景複雑度Ｚが高い近傍領域は背景構造物同士の境目や模様などを多く含む複雑な領域であることを意味し、背景複雑度Ｚが低い近傍領域は一様性が高い単純な領域であることを意味する。
【００６３】
そこで、背景モデル修正部４３は、背景複雑度Ｚが低い近傍領域を用いたときほど注目画素の頻度分布に対する修正量を大きくすることで、一様性が高い近傍領域を用いたときの修正を大きく反映させる。具体的には修正量Δｗを背景複雑度Ｚに反比例させることで修正の度合いを調整することができる。これにより真の背景特徴量の頻度が高い背景モデル３０に修正できる可能性が高まる。
【００６４】
また背景モデル修正部４３は、背景複雑度Ｚが予め設定された閾値ＴＺ未満である近傍領域を用いて修正を行ない、背景複雑度Ｚが閾値ＴＺ以上である近傍領域は修正に用いないように構成することができる。これにより注目画素における真の背景特徴量とは異なる特徴量の頻度を増加させる誤修正を防ぐことができ、真の背景特徴量の頻度が高い背景モデル３０に修正できる可能性が高まる。
【００６５】
修正を施す画素の順番は単にその並び順とすることもできるが、各画素は自身が修正対象となる一方で他の画素の近傍画素として修正処理に利用されることから、真の背景特徴量に頻度が集中している画素から順に処理を施していくことが望ましい。
【００６６】
そこで背景モデル修正部４３は、各画素の集中度を参照して、各画素の頻度分布に対する修正を集中度が高い画素から順に行うように構成することができる。このように信頼性の高い近傍画素の修正結果を先行させることで背景モデル３０全体対する修正の信頼性を高めることができる。
【００６７】
上述した各種の構成を取り入れると、注目画素の正規分布の重み係数に対する修正量（加算値）Δｗは次式のようになる。
【００６８】
【数５】
【００６９】
ここで、Ｃｑ，Ｃｇは近傍画素の背景特徴量に対する集中度であり、このうちＣｑは最大投票値を得た注目画素の特徴量との対応が得られた近傍画素の背景特徴量の集中度であり、ΣＣｑは当該集中度の総和である。一方、Ｃｇは注目画素のいずれかの特徴量との対応が得られた近傍画素の背景特徴量の集中度であり、ΣＣｇは当該集中度の総和である。（α・ΣＣq／ΣＣg）は集中度を投票値とした場合の当該投票値が修正量に与える影響を定める因子であり、近傍領域において多数派の背景特徴量と対応する特徴量ほど修正量を大きくする作用を有している。αはΔｗに対して投票値に関する因子の寄与率を調整するために予め設定される定数であり０＜αである。ｍは近傍領域サイズであり、（γ／ｍ・ｍ）は近傍領域サイズの影響に関する因子であって、小さな近傍領域を用いたときほど修正量を大きくする作用を有している。γはΔｗに対して近傍領域サイズに関する因子の寄与率を調整するために予め設定される定数であり０＜γである。Ｚは背景複雑度であり、（ζ／Ｚ）は背景複雑度に関する因子であって、近傍領域の背景の一様性が高いほど修正量を大きくする作用を有している。ζはΔｗに対して背景複雑度に関する因子の寄与率を調整するために予め設定される定数であり０＜ζである。
【００７０】
修正量に集中度を反映させない場合、（５）式の代わりに（６）式を用いる。
【００７１】
【数６】
【００７２】
ここで、ＶＭＡＸは注目画素の特徴量に対する最大投票値、またＶＶＡＲＩＤは投票値の総和（注目画素との対応が得られた近傍画素の数）であり、（β・ＶＭＡＸ／ＶＶＡＲＩＤ）は投票値に係る加算値である。当該加算値は、上記（５）式の場合と同様、近傍領域において多数派の背景特徴量と対応する特徴量ほど修正量を大きくする作用を有しており、βは上記αと同様、加算値寄与率の調整のための定数であり０＜βである。
【００７３】
なお、修正量Δｗに近傍領域サイズを反映させない場合は（５）式又は（６）式から因子（γ／ｍ・ｍ）を除いた式を用いることができ、修正量Δｗに背景複雑度を反映させない場合は因子（ζ／Ｚ）を除いた（５）式又は（６）式を用いることができる。
【００７４】
物体検出部４４は注目時刻の監視画像から抽出された特徴量と背景モデル３０とを対応する画素ごとに比較して所定以上の差を有する画素のまとまりを物体領域として抽出し、抽出された物体領域の情報をマスク画像生成部４５へ出力する。具体的には、監視画像の各画素の特徴量と当該画素の背景特徴量との差Ｄを算出して、当該差Ｄを予め設定された差分閾値Ｔｄと比較し差Ｄが差分閾値Ｔｄを超える差分画素を検出する。そして、互いに近接する差分画素同士を１つの領域としてまとめ、まとめられた領域の面積が人物像の大きさ程度に予め設定された大きさ閾値を超える場合に当該領域を人物領域として抽出する。注目する画素の特徴量ａとそれに対応する画素の背景特徴量との差Ｄは、当該背景特徴量として選出された正規分布ｉとのマハラノビス距離とすることができ、次式で与えられる。
【００７５】
【数７】
【００７６】
この差Ｄはｉ番目の正規分布の平均値μｉと注目画素の特徴量ａとの距離を分散σ２ｉの大小に応じて正規化したものである。この正規化により背景特徴量と注目画素の近さが統計的に正しく計算される。
【００７７】
なお、物体検出処理の高速化を優先するために、分散による正規化を省略し、差Ｄをｉ番目の正規分布関数の平均値μｉと注目画素の特徴量ａとの距離｜ａ−μｉ｜で算出してもよい。
【００７８】
マスク画像生成部４５は各画素の画素値に背景特徴量を設定した背景画像を生成するとともに、物体検出部４４により抽出された物体領域を単色で塗りつぶした領域画像を生成し、背景画像と領域画像とを透過合成してマスク画像を生成し、生成されたマスク画像を表示部５に出力する。背景特徴量を正規分布とする本実施形態において、マスク画像生成部４５は各画素の背景徴量の正規分布の平均値での輝度情報を背景画像の画素値に設定する。
【００７９】
表示部５は、制御部４から入力されるマスク処理済みの監視画像を表示する液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置である。表示部５は例えば、その表示面を店舗内の売り場に向けて設置され、顧客のプライバシーを保護しつつ店員が不審な動きをしている顧客の存在を確認することを可能にする。
【００８０】
次に監視カメラシステム１の動作を説明する。図６は、背景モデル生成から物体検出までの処理の流れを示すタイミング図である。背景モデル生成部４１は監視カメラシステム１の起動直後から動作を開始する。起動直後は背景モデル３０の元となるデータが不足しているため、物体検出部４４は予め設定された初期化期間（例えば、２０秒間に設定）だけ処理を実行せずに待機する。背景モデル修正部４３は初期化期間の終わりに設定される修正実行期間（例えば、１秒間に設定）に動作する。そして初期化期間が過ぎると物体検出部４４は処理を開始する。初期化期間後も背景モデル生成部４１は随時、背景モデル３０の更新を行う。
【００８１】
ちなみに、逆転解消のために初期化時間を長く設定することは当該時間が経過するまで監視を始めることができない点で好ましくない上、逆転解消に必要な時間は移動物体の挙動次第であるため長さに応じた効果を期待することは難しい。この点、背景モデル修正部４３による修正処理は、逆転を解消して高精度な物体検出を可能とすることに加え、初期化時間の短縮をも可能としている。
【００８２】
図７は監視カメラシステム１の概略の動作を示すフロー図である。監視カメラシステム１が起動すると、撮像部２は所定時間おきに監視空間を撮像して監視画像を制御部４に入力する（Ｓ１）。また制御部４は、起動時にカウンタを用意して０にリセットし、当該カウンタにより監視画像の入力回数をカウントする。以降、監視画像が撮像されるたびにステップＳ１〜Ｓ１０までの処理が繰り返される。
【００８３】
監視画像が入力されると制御部４の特徴抽出部４０は該画像にエッジ抽出処理を施して輝度情報とエッジ情報とからなる特徴量を画素ごとに抽出する（Ｓ２）。以下、最新の監視画像を現画像と称する。
【００８４】
特徴量が抽出されると、制御部４はカウンタを参照して初期化期間が経過しているか確認する（Ｓ３）。初期化期間が未だ経過していなければ（Ｓ３にてＮＯ）、制御部４はステップＳ４〜Ｓ６を省略して処理をステップＳ７へ進める。
【００８５】
一方、初期化期間が経過していれば（Ｓ３にてＹＥＳ）、制御部４は処理をステップＳ４へ進める。制御部４の物体検出部４４は記憶部３の背景モデル３０から各画素の背景特徴量を読み出して、読み出した背景特徴量と現画像の対応する画素の特徴量との差Ｄを算出して差分閾値Ｔｄと比較し、Ｄ≧Ｔｄである画素のまとまりを物体領域として抽出する（Ｓ４）。物体領域が抽出されると、制御部４のマスク画像生成部４５は記憶部３の背景モデル３０から各画素の背景特徴量に選出された正規分布ｉの平均値μｉにおける輝度情報を読み出して、読み出した輝度情報を当該画素の画素値に設定した背景画像を生成する。さらに、抽出された物体領域内の画素値を所定の単色（例えば赤）に設定し且つその他の画素値を０に設定した領域画像を生成し、背景画像と領域画像を透過合成してマスク画像を生成する（Ｓ５）。そして、マスク画像生成部４５は生成したマスク画像を表示部５に出力し、表示部５は入力されたマスク画像を視認可能に表示する（Ｓ６）。
【００８６】
マスク画像の表示処理を終えた後、または初期化期間未了によりステップＳ４〜Ｓ６が省略された場合（Ｓ３にてＮＯであった場合）、制御部４の背景モデル生成部４１は現画像を用いて記憶部３の背景モデル３０における各画素の頻度分布を更新する（Ｓ７）。
【００８７】
各頻度分布が更新されると、制御部４の背景特徴選出部４２は更新された頻度分布を参照し、画素ごとに当該画素の頻度分布を構成する正規分布ｉそれぞれに対する頻度の集中度Ｃｉを算出する。そして、当該集中度が最大となる正規分布ＩＢを当該画素の背景特徴量に選出してそのインデックスＩＢ及びその集中度ＣＢを記憶部３の背景モデル３０に記憶させる。
【００８８】
背景モデル３０の更新が終わると、制御部４はカウンタを参照して修正実行期間であるか否かを確認する（Ｓ９）。修正実行期間でなければ（ステップＳ９にてＮＯ）、制御部４はステップＳ１０を省略して処理を再びステップＳ１へ戻す。
【００８９】
他方、修正実行期間が訪れていると（ステップＳ９にてＹＥＳ）、制御部４の背景モデル修正部４３は背景モデル３０の修正処理を行う（Ｓ１０）。
【００９０】
図８は修正処理の概略のフロー図であり、以下、図８に基づいて修正処理の流れを説明する。背景モデル修正部４３は、近傍領域の大きさｍを７，５，３の順に順次設定し（Ｓ１００）、ステップＳ１００〜Ｓ１１６のループ処理を設定する。
【００９１】
近傍領域サイズのループ処理において、背景モデル修正部４３は記憶部３の背景モデル３０を参照して各画素をその背景特徴量の集中度ＣＢが大きい順に順次、注目画素に設定し（Ｓ１０１）、ステップＳ１０１〜Ｓ１１５の処理を実行する。
【００９２】
注目画素を設定した背景モデル修正部４３は、注目画素を中心とするｍ×ｍの近傍領域を設定するとともに記憶部３の背景モデル３０を参照し、近傍領域内の各画素に対して選出された背景特徴量に関しその平均ベクトルμＢに含まれるエッジ情報の強度を閾値ＴＥと比較する。そして、当該強度がＴＥ以上である画素数Ｅを計数し、計数した画素数Ｅとｍに（４）式を適用して背景複雑度Ｚを算出する（Ｓ１０２）。
【００９３】
背景モデル修正部４３は算出した背景複雑度Ｚを閾値ＴＺと比較し（Ｓ１０３）、Ｚ≧ＴＺであれば（Ｓ１０３にてＹＥＳ）、注目画素に設定中の近傍領域を用いた修正処理を行わないとして注目画素に対する修正処理Ｓ１０４〜Ｓ１１４を省略してステップＳ１１５へ処理を進める。
【００９４】
一方、Ｚ＜ＴＺの場合（Ｓ１０３にてＮＯ）、背景モデル修正部４３は注目画素に対する修正処理を行う。修正処理のうちステップＳ１０４〜Ｓ１１０は投票処理である。背景モデル修正部４３は、まず投票値をクリアする（Ｓ１０４）。投票値はそれぞれ１〜Ｋのインデックスを付与されたＫ個の値で、これらの値が０に設定される。次に背景モデル修正部４３は注目画素を中心とするサイズｍ×ｍの近傍領域内で注目画素を除く各画素を順次、近傍画素に設定し（Ｓ１０５）、注目画素の頻度分布を構成する正規分布ｉのうち近傍画素の背景特徴量ＩＢと対応する正規分布ｉを対応特徴量として検出する（Ｓ１０６）。対応特徴量が検出された場合は当該対応特徴量のインデックスが付与された投票値に処理中の近傍画素における背景特徴量の集中度ＣＢを累積加算する（Ｓ１０７にてＹＥＳ→Ｓ１０９）。一方、対応特徴量が検出されない場合はステップＳ１０９を省略する。背景モデル修正部４３は処理Ｓ１０５〜Ｓ１０９を全近傍画素に対して繰り返し行う（Ｓ１１０）。
【００９５】
なお、ステップＳ１０６の処理において、背景モデル修正部４３は記憶部３の背景モデル３０から注目画素の頻度分布を構成する各正規分布ｉの平均値μｉ、及び近傍画素の背景特徴量ＩＢの平均値μＢ及び分散σ２Ｂを読み出して、これらの値に（３）式を適用することでマハラビノス距離ｄｉを算出する。そして、算出したマハラビノス距離ｄｉを閾値Ｔｐと比較して、ｄｉ≦ＴＰである注目画素の正規分布ｉを近傍画素の背景特徴量ＩＢと対応する対応特徴量として検出する。
【００９６】
こうして投票処理を終えた背景モデル修正部４３は、投票値を参照して最多得票である対応特徴量のインデックスＩＶを特定する（Ｓ１１１）。背景モデル修正部４３は当該対応特徴量ＩＶのインデックスに対応する投票値を集中度累積値ΣＣqとし、全てのインデックスｉに対応する集中度累積値の総和をΣＣgとして求め、これらとステップＳ１００にて設定された近傍領域サイズｍ、及びステップＳ１０２にて算出された背景複雑度Ｚを（５）式に適用して修正量Δｗを算出する（Ｓ１１２）。なお、（５）式に代えて（６）式を用いる場合には、ステップＳ１０８にて集中度ＣＢに代えて近傍画素ごとに１を累積加算し、ステップＳ１１２では最多得票のインデックスＩＶに対応する投票値をＶＭＡＸとし、全てのインデックスｉに対応する投票値の総和を求めてＶＶＡＲＩＤとする。
【００９７】
背景モデル修正部４３は記憶部３の背景モデル３０から注目画素の頻度分布を読み出して、対応特徴量の正規分布ＩＶの重みｗＶにΔｗを加算し、加算処理後のＫ個の重みの総和が１になるように調整して修正し、修正後の注目画素の頻度分布を記憶部３に書き戻す（Ｓ１１３）。例えば、当該調整は各重みｗｉに共通の係数を乗じることにより実現できる。また背景特徴選出部４２は記憶部３の修正された背景モデル３０から注目画素の頻度分布を読み出して、読み出した頻度分布に対して背景特徴量の選出をし直して選出結果を記憶部３に書き戻す（Ｓ１１４）。
【００９８】
背景モデル修正部４３は全ての画素に対してループ処理Ｓ１０１〜Ｓ１１４を終え（Ｓ１１５にてＹＥＳ）、さらに全ての近傍領域サイズに対してループ処理Ｓ１００〜Ｓ１１５のループ処理を終えると（Ｓ１１６にてＹＥＳ）、処理を図７のステップＳ１へ戻し、制御部４は次の監視画像に対する処理へと進む。
【００９９】
上記実施形態では、混合正規分布を用いた背景モデル３０を例示したが、ヒストグラムを用いた背景モデル３０とすることもできる。この場合における背景特徴選出部４２による集中度算出処理、及び背景モデル修正部４３による修正処理は以下のように行うことができる。
【０１００】
まず、集中度算出処理はヒストグラムにおいて０より大きな頻度を有する特徴量をクラスタリングして、各クラスタにおける特徴量の平均値と分散を算出して（３）式に代入することで集中度を算出する。そして、集中度が予め設定された集中度閾値Ｔｃ３以上であるクラスタに属する特徴量を背景特徴量として選出する。また、各クラスタに属する特徴量の頻度の総和がヒストグラム全体における特徴量の頻度の総和に占める割合を集中度として算出することもできる。
【０１０１】
修正処理では、クラスタを上記実施形態における正規分布と同様に扱う。クラスタ間の距離は当該クラスタの平均値と分散を用いたマハラノビス距離とする。分散を算出しない場合、クラスタ間の距離は当該クラスタの平均値間の距離にすればよい。修正は、対応特徴量として検出されたクラスタに属する特徴量の頻度を一律に増加させる、または対応特徴量として検出されたクラスタに属する特徴量のうち近傍画素の背景特徴量の平均値それぞれの頻度を個別に増加させる、または対応特徴量として検出されたクラスタの平均値の頻度を個別に増加させるという手法を採用することができる。
【０１０２】
さらに別の構成では、物体検出部４４により抽出された物体領域を用いて侵入者を検知してもよい。また、物体検出部４４により抽出された物体領域を用いて移動物体の追跡を行って、不審者を検知してもよい。
【０１０３】
また、近傍領域は必ずしも矩形領域である必要は無く、円形領域としてもよいし、注目画素から所定距離範囲内の画素からランダムにサンプリングして近傍領域を都度形成してもよい。
【符号の説明】
【０１０４】
１ 監視カメラシステム、２ 撮像部、３ 記憶部、４ 制御部、５ 表示部、４０ 特徴抽出部、４１ 背景モデル生成部、４２ 背景特徴選出部、４３ 背景モデル修正部、４４ 物体検出部、４５ マスク画像生成部。
【特許請求の範囲】
【請求項１】
移動物体が現れる所定空間を撮影した時系列の画像から当該空間についての背景モデルを生成する画像処理装置であって、
前記各画像の画素値から画素ごとの特徴量を抽出する特徴抽出部と、
前記時系列における前記各画素の前記特徴量の頻度分布を分析して背景モデルを生成する背景モデル生成部と、
前記各画素の前記頻度分布において、前記特徴量の分布範囲ごとに頻度の集中度を算出し、少なくとも最も高い前記集中度が算出された前記分布範囲を背景特徴量として選出する背景特徴選出部と、
前記各画素の前記頻度分布に対し、当該画素の画像上における近傍領域にて選出された前記背景特徴量と対応する特徴量の頻度を高める修正を行う背景モデル修正部と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記背景モデル修正部は、大きさが互いに異なる複数の前記近傍領域を当該大きさの降順で順次、設定して前記修正を繰り返し行うこと、を特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記背景モデル修正部は、設定する前記近傍領域が小さいほど前記修正の度合いを大きくすること、を特徴とする画像処理装置。
【請求項４】
請求項１から請求項３のいずれか１つに記載の画像処理装置において、
前記背景モデル修正部は、前記近傍領域での前記背景特徴量の前記集中度が高いほど前記修正の度合いを大きくすること、を特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１つに記載の画像処理装置において、
前記背景モデル修正部は、前記各画素の前記頻度分布に対する前記修正を前記背景特徴量の前記集中度が高い画素から順に行うこと、を特徴とする画像処理装置。
【請求項６】
請求項１から請求項５のいずれか１つに記載の画像処理装置において、
前記特徴量抽出部は、少なくともエッジ情報を抽出し、
前記背景モデル修正部は、前記近傍領域にて選出された前記背景特徴量に含まれる前記エッジ情報の多寡に応じた背景複雑度を算出し、前記近傍領域での前記背景複雑度が低いほど前記修正の度合いを大きくすること、
を特徴とする画像処理装置。
【請求項７】
請求項１から請求項５のいずれか１つに記載の画像処理装置において、
前記特徴量抽出部は、少なくともエッジ情報を抽出し、
前記背景モデル修正部は、前記近傍領域において選出された前記背景特徴量に含まれる前記エッジ情報の多寡に応じた背景複雑度を算出し、前記背景複雑度が予め設定されたしきい値未満である前記近傍領域を用いて前記修正を行なうこと、
を特徴とする画像処理装置。
【請求項１】
移動物体が現れる所定空間を撮影した時系列の画像から当該空間についての背景モデルを生成する画像処理装置であって、
前記各画像の画素値から画素ごとの特徴量を抽出する特徴抽出部と、
前記時系列における前記各画素の前記特徴量の頻度分布を分析して背景モデルを生成する背景モデル生成部と、
前記各画素の前記頻度分布において、前記特徴量の分布範囲ごとに頻度の集中度を算出し、少なくとも最も高い前記集中度が算出された前記分布範囲を背景特徴量として選出する背景特徴選出部と、
前記各画素の前記頻度分布に対し、当該画素の画像上における近傍領域にて選出された前記背景特徴量と対応する特徴量の頻度を高める修正を行う背景モデル修正部と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記背景モデル修正部は、大きさが互いに異なる複数の前記近傍領域を当該大きさの降順で順次、設定して前記修正を繰り返し行うこと、を特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記背景モデル修正部は、設定する前記近傍領域が小さいほど前記修正の度合いを大きくすること、を特徴とする画像処理装置。
【請求項４】
請求項１から請求項３のいずれか１つに記載の画像処理装置において、
前記背景モデル修正部は、前記近傍領域での前記背景特徴量の前記集中度が高いほど前記修正の度合いを大きくすること、を特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１つに記載の画像処理装置において、
前記背景モデル修正部は、前記各画素の前記頻度分布に対する前記修正を前記背景特徴量の前記集中度が高い画素から順に行うこと、を特徴とする画像処理装置。
【請求項６】
請求項１から請求項５のいずれか１つに記載の画像処理装置において、
前記特徴量抽出部は、少なくともエッジ情報を抽出し、
前記背景モデル修正部は、前記近傍領域にて選出された前記背景特徴量に含まれる前記エッジ情報の多寡に応じた背景複雑度を算出し、前記近傍領域での前記背景複雑度が低いほど前記修正の度合いを大きくすること、
を特徴とする画像処理装置。
【請求項７】
請求項１から請求項５のいずれか１つに記載の画像処理装置において、
前記特徴量抽出部は、少なくともエッジ情報を抽出し、
前記背景モデル修正部は、前記近傍領域において選出された前記背景特徴量に含まれる前記エッジ情報の多寡に応じた背景複雑度を算出し、前記背景複雑度が予め設定されたしきい値未満である前記近傍領域を用いて前記修正を行なうこと、
を特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２０３６８０（Ｐ２０１２−２０３６８０Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６８１０２（Ｐ２０１１−６８１０２）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]