画像処理ユニット、および画像処理プログラム
【課題】生成する背景差分画像の精度の低下を抑えるとともに、装置本体にかかる処理負荷の増大も抑え、装置本体のコストダウンを図った画像処理ユニットを提供する。
【解決手段】メモリ４ａは、代表画素毎に、その代表画素の特徴と、その代表画素の画素値の発生頻度をモデル化した背景モデルと、を関連付けて記憶する。画像処理部４は、画像入力部３に入力されたフレーム画像の画素毎に、その画素の特徴に対応する代表画素の背景モデルを探索する。画像処理部４は、この探索で得た背景モデルに基づき、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定する。画像処理部４は、画像入力部３に入力されたフレーム画像のいずれかの画素において、その画素が背景画素、または前景画素のいずれであるかの判定に用いた背景モデルを、この背景モデルを用いた画素の画素値に基づいて更新する。
【解決手段】メモリ４ａは、代表画素毎に、その代表画素の特徴と、その代表画素の画素値の発生頻度をモデル化した背景モデルと、を関連付けて記憶する。画像処理部４は、画像入力部３に入力されたフレーム画像の画素毎に、その画素の特徴に対応する代表画素の背景モデルを探索する。画像処理部４は、この探索で得た背景モデルに基づき、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定する。画像処理部４は、画像入力部３に入力されたフレーム画像のいずれかの画素において、その画素が背景画素、または前景画素のいずれであるかの判定に用いた背景モデルを、この背景モデルを用いた画素の画素値に基づいて更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ビデオカメラ等の撮像装置が撮像した撮像エリアのフレーム画像を処理して、背景差分画像を生成する画像処理ユニット、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラ等の撮像装置を利用して、不審者の侵入や、不審物の放置を監視する監視システムが実用化されている。撮像装置の撮像エリアが、不審者の侵入や、不審物の放置を監視する監視対象エリアである。この種の監視システムは、撮像装置が撮像した監視対象エリアのフレーム画像を処理し、撮像されている物体（不審者や不審物等）を検出する画像処理ユニットを備えている。上位装置は、画像処理ユニットにおける物体の検出結果に応じて、物体の検出を係員に対して報知する処理や、検出した物体が撮像されているフレーム画像を表示器に表示する処理等を行う。
【０００３】
画像処理ユニットは、入力されたフレーム画像の画素毎に、その画素について記憶している背景モデルを用いて、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定する。背景モデルは、画素値に対する発生頻度（発生確率）をモデル化したものである。画像処理ユニットは、画素値に対応する発生頻度が予め定めた値（閾値）以上であれば背景画素であると判定し、反対に、画素値に対応する発生頻度が予め定めた値（閾値）未満であれば前景画素であると判定する。
【０００４】
画像処理ユニットは、上記の判定結果に基づいて、背景が撮像されている背景画素と、物体が撮像されている前景画素と、で区別した背景差分画像を生成する。この背景差分画像は、２値化画像である。また、画像処理ユニットは、背景差分画像から撮像されている物体を検出し、その物体の大きさや形状等から物体の種別の推定も行う。
【０００５】
画像処理ユニットは、監視対象エリア内の明るさの変化等の環境変化による影響を抑え、背景差分画像を精度よく生成するには、入力されたフレーム画像を用いて背景モデルを更新する必要がある。画像処理ユニットは、入力されるフレーム画像の画素毎に、背景モデルを記憶する構成であると、背景モデルを記憶する記憶部（メモリ）の記憶容量が増大するとともに、背景モデルの更新にかかる処理負荷も増大し、装置本体が高価になる。
【０００６】
非特許文献１は、背景モデルを記憶する記憶部（メモリ）の記憶容量を抑え、且つ背景モデルの更新にかかる処理負荷を抑えることで、装置本体のコストダウンが図れる構成を提案している。この非特許文献１で提案している構成は、クラスタリング手法により、入力されるフレーム画像において類似した画素値が観測されることを条件にして、フレーム画像の各画素を複数のクラスタに分類する。そして、クラスタ毎に背景モデルを記憶する構成である。すなわち、クラスタ毎に、そのクラスタに属する複数の画素で、１つの背景モデルを共有することで、背景モデルの総数が減少させる構成である。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Atsushi Shimada,Tatsuya Tanaka,Daisaku Arita,and Rinichiro Taniguchi.Spatial-temporal integration of adaptive gaussian mixture background models. Proceedings of the 14th Korea-Japan Joint Workshop on Frontiers of Computer Vision,2008.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１は、クラスタ毎に、そのクラスタに属する各画素の背景モデルの画素値の変動が同じであることを前提にしている。このため、クラスタに属する一部の画素において、他の画素と異なる画素値の変動が生じた場合、この一部の画素に対する背景モデルが不適正になる。その結果、この一部の画素に対する背景画素、または前景画素のいずれであるかの判定精度が低下し、その結果、生成される背景差分画像の精度を低下させる。また、背景差分画像の精度の低下は、撮像されている物体の検出精度を低下させる。
【０００９】
なお、画像処理ユニットは、入力されるフレーム画像において類似した画素値が観測される画素を複数のクラスタに分類する処理（再クラスタリング）を、適当なタイミングで繰り返すことで、生成する背景差分画像の精度の低下を抑えることはできる。しかし、画像処理ユニットは、この再クラスタリングにかかる処理負荷の増大により、装置本体のコストダウンを十分に図ることができない。
【００１０】
この発明の目的は、生成する背景差分画像の精度の低下を抑えるとともに、装置本体にかかる処理負荷の増大も抑え、装置本体のコストダウンを図った画像処理ユニット、および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
この発明の画像処理ユニットは、上記課題を解決し、その目的を達するために以下のように構成している。
【００１２】
画像入力部には、ビデオカメラ等の撮像装置が撮像した撮像エリアのフレーム画像が入力される。画像入力部は、フレーム画像を撮像装置から直接入力する構成であってもよいし、撮像装置で撮像した撮像エリアのフレーム画像を一旦ハードディスク等の記録媒体に記録保存し、この記録保存したフレーム画像を入力する構成であってもよい。撮像装置は、例えば、撮像エリアのフレーム画像を１秒間に３０フレーム程度出力するビデオカメラである。
【００１３】
背景モデル記憶部は、代表画素毎に、その代表画素の特徴と、その代表画素の画素値の発生頻度をモデル化した背景モデルと、を関連付けて記憶する。背景モデルは、画素値に対する発生頻度（発生確率）を、混合ガウス分布等を利用してモデル化したものである。代表画素の特徴は、フレーム画像上における位置と、画素値と、時間経過にともなう画素値の変化の傾向等を含む。
【００１４】
背景差分画像生成部は、画像入力部に入力されたフレーム画像の画素毎に、その画素の特徴に対応する代表画素の背景モデルを探索する。すなわち、背景差分画像生成部は、画像入力部に入力されたフレーム画像の画素毎に、特徴が近い代表ベクトルの背景モデルを探索する。また、背景差分画像生成部は、この探索で得た背景モデルに基づき、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定する。背景差分画像生成部は、画像入力部に入力されたフレーム画像の全ての画素について、背景画素、または前景画素のいずれであるかを判定することで、背景差分画像を生成する。
【００１５】
さらに、背景モデル更新部は、背景差分画像生成部が、画像入力部に入力されたフレーム画像のいずれかの画素において、その画素が背景画素、または前景画素のいずれであるかの判定に用いた背景モデルを、この背景モデルを用いた画素の画素値に基づいて更新する。
【００１６】
このように、画像入力部に入力されたフレーム画像における、特徴が近い複数の画素が１つの背景モデルを共有する。このため、背景モデルを記憶する代表画素の画素数を抑えることができ、背景モデルの記憶に必要な記憶容量が抑えられる。
【００１７】
また、背景モデルの総数が抑えられるので、背景モデルの更新にかかる処理負荷も抑えられる。したがって、装置本体のコストダウンが図れる。また、画像入力部に入力されたフレーム画像のいずれの画素においても、その画素が背景画素であるか前景画素であるかの判定に用いられなかった背景モデルについては、その背景モデルを更新しなくてもよい。
【００１８】
さらに、フレーム画像毎に、各画素について、特徴に近い代表画素の背景モデルを探索し、その背景モデルを用いて背景差分画像を生成する。すなわち、フレーム画像の各画素について、予め定めた背景モデルで背景画素、または前景画素のいずれであるかを判定するのではなく、そのフレーム画像における画素の特徴に応じて、背景画素、または前景画素のいずれであるかの判定に用いる背景モデルを探索する。したがって、生成する背景差分画像の精度の低下も抑えられる。
【００１９】
また、代表画像の画素や、フレーム画像の画素の特徴は、画素のフレーム画像上における位置、および画素値を特徴としてもよいし、さらに、前回入力されたフレーム画像における画素値を加えてもよい。
【００２０】
また、画素の特徴を探索パラメータとし、この探索パラメータを予め定めた局所鋭敏なハッシュ関数に入力して得られたハッシュ値で、この画素の特徴に対応する代表画素の背景モデルを探索するようにしてもよい。すなわち、ハッシュに基づく近似最近傍探索手法の１つである、ＬＳＨ（Locality Sensitive Hashing）で背景モデルを探索する構成としてもよい。
【００２１】
また、背景モデルが得られなかった画素については、この画素を代表画素とし、その特徴と、画素値の発生頻度をモデル化した背景モデルと、を関連付けて背景モデル記憶部に追加登録すればよい。また、予め定めたフレーム枚数にわたって、背景画素であるか前景画素であるかの判定に用いられなかった背景モデルについては、背景モデル記憶部から削除すればよい。
【発明の効果】
【００２２】
この発明によれば、背景モデルを記憶するための記憶容量が抑えられるとともに、背景モデルの更新にかかる処理負荷も抑えられ、装置本体のコストダウンが図れる。また、生成する背景差分画像の精度の低下も抑えられる。
【図面の簡単な説明】
【００２３】
【図１】画像処理ユニットの主要部の構成を示すブロック図である。
【図２】背景モデルを説明する図である。
【図３】メモリの背景モデル記憶領域の構造を説明する図である。
【図４】画像処理ユニットの動作を示すフローチャートである。
【図５】フレーム画像の各画素において探索される背景モデルの概念を説明する図である。
【図６】フレーム画像の各画素において探索される背景モデルの概念を説明する図である。
【図７】フレーム画像の各画素において探索される背景モデルの概念を説明する図である。
【発明を実施するための形態】
【００２４】
以下、この発明の実施形態である画像処理ユニットについて説明する。
【００２５】
図１は、この画像処理ユニットの主要部の構成を示すブロック図である。画像処理ユニット１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。
【００２６】
制御部２は、画像処理ユニット１本体各部の動作を制御する。
【００２７】
画像入力部３には、ビデオカメラ１０が接続されている。ビデオカメラ１０は、不審者の侵入や、不審物の放置等を監視する監視対象エリアが撮像エリア内に収まるように設置している。ビデオカメラ１０は、撮像エリアを撮像したフレーム画像を、１秒間に３０フレーム程度出力する。画像入力部３には、ビデオカメラ１０が出力したフレーム画像が入力される。
【００２８】
なお、ここでは、ビデオカメラ１０を画像入力部３に接続した構成を例にしているが、ビデオカメラ１０で撮像した動画像を記録したハードディスク等の記録媒体を画像入力部３に接続し、画像入力部３がビデオカメラ１０で撮像したフレーム画像をこの記録媒体から順次読み出す構成であってもよい。
【００２９】
画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されている物体（背景でない物体）を検出する。画像処理部４は、撮像エリアの背景画像と、画像入力部３に入力されたフレーム画像との差分画像である背景差分画像を生成する。この背景差分画像は、各画素を、背景画素（例えば、黒）と、前景画素（例えば、白）とで区別した２値化画像である。画像処理部４は、この背景差分画像から撮像されている物体を検出し、その物体の大きさや形状等から物体の種別の推定も行う。
【００３０】
また、画像処理部４は、メモリ４ａを備えている。画像処理部４は、画像入力部３に入力されたフレーム画像に撮像されている物体の検出等にかかる処理を行うときに、メモリ４ａをワーキングエリアとして使用する。また、このメモリ４ａには、この発明で言う背景モデル記憶部に相当する背景モデル記憶領域が設けられている。
【００３１】
なお、画像処理部４は、画像入力部３に入力されたフレーム画像に対する画像処理等を実行するマイコンを備えている。この発明にかかる画像処理プログラムは、このマイコンを動作させるプログラムであり、予め画像処理部４にインストールしている。
【００３２】
入出力部５は、図示していない上位装置との間におけるデータの入出力を制御する。入出力部５は、画像処理部４で物体が検出されたときに、その旨を上位装置（不図示）に通知する信号を出力する。入出力部５は、物体の検出を通知する信号を出力する構成であってもよいし、物体を検出したフレーム画像とともに、物体の検出を通知する信号を出力する構成であってもよい。
【００３３】
なお、上位装置は、画像処理ユニット１の入出力部５から出力された信号によって、監視対象エリア内に位置する物体の検出が通知されたとき、その旨を音声等で出力して、周辺にいる係員等に報知する。また、上位装置は、画像処理ユニット１から物体を検出したフレーム画像が送信されてきている場合、そのフレーム画像を表示器に表示する。
【００３４】
次に、メモリ４ａが記憶する背景モデルについて説明する。この画像処理ユニット１は、画像入力部３に入力されるフレーム画像の画素毎に背景モデルをメモリ４ａに記憶するのではなく、一部の代表画素についてのみ背景モデルをメモリ４ａに記憶する。背景モデルは、代表画素について、その画素値の発生頻度（発生確率）を、混合ガウス分布等を利用してモデル化したものである。図２は、ある代表画素の背景モデルを示している。図２において、横軸は画素値であり、縦軸は発生頻度である。また、図２に示す閾値Ｄは、ある画素について、この背景モデルに基づいて、この画素が背景画素であるか、前景画素であるとかを判定するのに用いる境界値である。具体的には、判定する画素の画素値に対する発生頻度が閾値Ｄ以上であれば、この画素を背景画素と判定する。一方、判定する画素の画素値に対する発生頻度が閾値Ｄ未満であれば、この画素を前景画素と判定する。
【００３５】
メモリ４ａの背景モデル記憶領域は、図３に示すように、代表画素毎に、そのインデックス（Ｍｘ）と、背景モデルとを対応付けて記憶する。このインデックスＭｘは、代表画素の特徴から得られたコードである。詳細については後述するが、このインデックスＭｘは、その代表画素の特徴を示すパラメータ（代表ベクトル）を予め定めたハッシュ関数群に入力し、その結果として得られたハッシュ値である。すなわち、インデックスＭｘはシリアルな値ではなく、ランダムな値である。
【００３６】
画像処理部４は、後述するように、画像入力部３に入力されたフレーム画像の画素毎に、その画素の特徴に近い特徴の代表画素の背景モデルを探索する。画像処理部４は、この背景モデルの探索を高速にするため、ハッシュに基づく探索手法の１つであるＬＳＨ（Locality Sensitive Hashing）を用いている。ＬＳＨでは、距離の近い特徴ベクトル同士が同じハッシュ値を取る確率が高く、距離の遠い特徴ベクトル同士が同じハッシュ値を取る確率が低い、局所鋭敏なハッシュ関数を用いる。
【００３７】
局所鋭敏なハッシュ関数ｈ（ｐ）は、
【００３８】
【数１】
【００３９】
で表され、ｐは特徴ベクトル、ａは各次元の要素の値をガウス分布から独立に取得したベクトル、ｂは、区間［０，ω］からランダムに選択した実数、ωはハッシュ幅である。
【００４０】
ＬＳＨでは、局所鋭敏なハッシュ関数をｋ個生成し、それらを１組のハッシュ関数群とし、ハッシュ値を得る。さらに、このような処理をＬ個のハッシュ関数群で行い、各ハッシュ関数群から得られたハッシュ値の和集合を最終的なハッシュ値にする。すなわち、ＬＳＨは、ｋ×Ｌ個のハッシュテーブルを作成してハッシュ値を得る。上述のインデックスＭｘは、代表画素の特徴を示す代表ベクトルを入力としたときに得られたハッシュ値である。したがって、ある画素について、その画素の特徴に近い特徴の代表画素（インデックスＭｘ）の探索は、この画素の特徴を示す探索パラメータ（画素ベクトル）を、上述のハッシュ関数群に入力したときに得られたハッシュ値を、各代表画素のインデックスＭｘと照合することにより行える。このＬＳＨにかかるハッシュ関数群は、メモリ４ａに記憶している。
【００４１】
次に、この画像処理ユニット１の動作について説明する。図４は、画像処理ユニットの動作を示すフローチャートである。
【００４２】
画像処理ユニット１は、画像入力部３に入力されたフレーム画像を画像処理部４に取り込む（ｓ１）。画像処理部４は、注目画素ｉを決定する（ｓ２）。画像入力部３に入力されるフレーム画像は、図５に示すように主走査方向（図５における左右方向）にｎ画素、副走査方向（図５における上下方向）にｍ画素の画像である。また、主走査方向にＮ番目、副走査方向にＭ番目である画素の画素番号ｉは、
ｉ＝ｎ×（Ｍ−１）＋Ｎ
である。ｓ２では、ｉ＝１に設定する。これにより、図５に示す左上角の画素が、注目画素になる。
【００４３】
画像処理部４は、注目画素ｉの特徴を示す画素ベクトルｑiを検出する（ｓ３）。画素ベクトルｑiは、
【００４４】
【数２】
【００４５】
である。ｘit-1は１フレーム前における注目画素ｉの画素値、ｘitは今回のフレームにおける注目画素ｉの画素値、（ｕi、ｖi）は、フレーム画像上における注目画素ｉの画素位置である。
【００４６】
画素ベクトルｑiは、ｘit-1を含まないものとしてもよいが、この場合、画素値ｘiの変化の傾向（上昇傾向、下降傾向、その変化量等）が画素ベクトルｑiに含まれない。すなわち、そのときの画素値ｘiの変化の傾向を考慮することなく、そのときの画素値ｘiで後述する背景モデルを探索することになる。これに対し、［数２］に示す画素ベクトルｑiであれば、画素値ｘiの変化の傾向も考慮した背景モデルの探索が行える。
【００４７】
なお、画素ベクトルｑiは、２フレーム前における注目画素ｉの画素値ｘit-2や、３フレーム前における注目画素ｉの画素値ｘit-3等を含むものとしてもよい。
【００４８】
また、画素ベクトルｑiは、フレーム画像上における注目画素ｉの画素位置を含んでいる。一般に、フレーム画像において、画素間の距離が小さい画素同士では、類似した画素値の変化があらわれやすい。一方で、画素間の距離が大きい画素同士では、類似した画素値の変化があらわれにくいが、一時的に、類似した画素値の変化があらわれることがある。
【００４９】
上述したように、画素ベクトルｑiは、フレーム画像上における注目画素ｉの画素位置を含んでいるので、画素間の距離が大きい画素同士で一時的に生じた類似した画素値の変化による影響を受けることがなく、背景モデルの探索が行える。
【００５０】
画像処理部４は、ｓ３で検出した注目画素ｉの画素ベクトルｑiに対応する背景モデルを探索する。背景モデルは、上述したように、インデックスＭｘを対応づけてメモリ４ａに記憶している。画像処理部４は、メモリ４ａに記憶しているＬＳＨにかかる局所鋭敏なハッシュ関数群に対して画素ベクトルｑiを入力し、その出力であるハッシュ値を得る（ｓ４）。画像処理部４は、ここで得られたハッシュ値と、一致するインデックスＭｘを検索する（ｓ５）。
【００５１】
画像処理部４は、ｓ５で一致するインデックスＭｘがあれば、このインデックスＭｘに対応づけられている背景モデルを注目画素ｉの背景モデルとして取得する（ｓ６）。
【００５２】
上述したように、ＬＳＨでは、距離の近い特徴ベクトル同士が同じハッシュ値を取る確率が高く、距離の遠い特徴ベクトル同士が同じハッシュ値を取る確率が低い。したがって、画像処理部４は、注目画素ｉの画素ベクトルｑiに近い代表ベクトルの画素（代表画素）について記憶している背景モデルを、この注目画素ｉの背景モデルとして取得する。
【００５３】
画像処理部４は、ｓ６で取得した背景モデルに基づき、この注目画素ｉが前景画素であるか、背景画素であるかを判定する（ｓ７）。
【００５４】
一方、画像処理部４は、ｓ５で一致するインデックスＭｘがなければ、注目画素ｉを前景画素であると判定する（ｓ８）。また、画像処理部４は、この注目画素ｉについて背景モデルを生成する（ｓ９）。ｓ９では、混合ガウス分布を用いた統計的背景モデルを生成する。具体的には、注目画素ｉについて観測されていた画素値｛ｘi1，・・・，ｘit｝をＫ個のガウス分布を用いてモデル化する。画素における画素値ｘitの生起確率は、
【００５５】
【数３】
【００５６】
で表せる。ωkt，μkt，Σktは、時刻ｔにおけるｋ番目のガウス分布の重み、平均値、分散共分散行列である。また、ηは、
【００５７】
【数４】
【００５８】
で表されるガウス分布の密度関数である。Ｋは、背景変動の頻度に応じて設定すればよい。
【００５９】
画像処理部４は、ｓ４で得た注目画素ｉのハッシュ値と、ｓ９で生成した背景モデルと、を対応付けてメモリ４ａの背景モデル記憶領域に追加登録する（ｓ１０）。
【００６０】
画像処理部４は、ｓ７、またはｓ１０にかかる処理が完了すると、注目画素ｉの画素番号ｉがフレーム画像の画素数に達しているかどうかを判定する（ｓ１１）。ｓ１１では、入力されたフレーム画像の全ての画素について、上述したｓ３〜ｓ１０にかかる処理を実行したかどうかを判定している。画像処理部４は、ｓ１１で注目画素ｉの画素番号ｉがフレーム画像の画素数に達していないと判定すると、注目画素ｉの画素番号ｉをインクリメントし（ｉ＝ｉ＋１）（ｓ１２）、ｓ３に戻る。
【００６１】
画像処理部４は、ｓ１１で注目画素ｉの画素番号ｉがフレーム画像の画素数に達していると判定すると、今回の処理で得られた背景差分画像から撮像されている物体を検出する（ｓ１３）。画像処理部４は、この時点で、入力されたフレーム画像の全ての画素について、その画素が背景画素であるか、前景画素であるかの判定を完了している。画像処理部１３は、ｓ１３で検出した物体毎に、その物体の大きさや形状等から種別を推定する。
【００６２】
入出力部５が、ｓ１３における物体の検出結果を上位装置に通知する。
【００６３】
画像処理部４は、今回のフレーム画像の処理において探索された背景モデル毎に、その背景モデルを更新する（ｓ１４）。ｓ１４では、この背景モデルを探索した画素の特徴を用いて更新する。上記の背景モデルの探索処理では、複数の画素が、１つの背景モデルを得ることがある。この場合、その背景モデルを得た複数の画素の特徴の平均を用いて、当該背景モデルを更新してもよいし、いずれかの画素をランダムに選択し、選択した画素の特徴を用いて更新してもよい。また、背景モデルの更新に用いる画素を選択する条件を予め定めておいてもよい。
【００６４】
なお、上記の例では、画素をランダムに選択する方法が、画像処理部４にかかる処理負荷を最も低減できる。
【００６５】
また、ｓ１４では、今回のフレーム画像の処理において、いずれの画素からも探索されなかった背景モデルについては、その更新を行わない。
【００６６】
画像処理部４は、メモリ４ａに記憶されている背景モデルの中で、予め定めたフレーム枚数にわたって一度も、背景画素であるか、前景画素であるかの判定に用いられていない背景モデルを抽出し、ここで抽出した背景モデルをメモリ４ａから削除し（ｓ１５）、ｓ１に戻る。これにより、メモリ４ａが、無用な背景モデルをいつまでも記憶しつづけるのを防止でき、メモリ４ａの背景モデル記憶領域を効率的に利用できる。
【００６７】
このように、この画像処理ユニット１は、図６、および図７に示すように、入力されたフレーム画像の複数の画素が、同じ背景モデルを背景画素であるか、前景画素であるかの判定に用いる。図６では、背景モデルの探索において、フレーム画像の３つの画素が背景モデルＭ１を取得し、４つの画素が背景モデルＭ２を取得した場合を例示している。また、図７では、背景モデルの探索において、フレーム画像の３つの画素が背景モデルＭ１を取得し、３つの画素が背景モデルＭ２を取得し、さらに１つの画素が適当な背景モデルを探索することができず、背景モデルＭｎを追加登録した場合を例示している。
【００６８】
図６、および図７に示すように、この画像処理ユニット１は、１つの背景モデルを、複数の画素で共有することができる。したがって、背景モデルを記憶するメモリ４ａの記憶領域を低減することができる。また、背景モデルＭｘの総数の低減により、背景モデルの更新にかかる処理負荷も低減できる。
【００６９】
また、この画像処理ユニット１は、フレーム画像毎に、各画素について、特徴に近い代表画素の背景モデルを探索し、その背景モデルを用いて背景差分画像を生成する。すなわち、フレーム画像の各画素について、予め定めた背景モデルで背景画素、または前景画素のいずれであるかを判定するのではなく、そのフレーム画像における画素の特徴に応じて、背景画素、または前景画素のいずれであるかの判定に用いる背景モデルを探索する。したがって、生成する背景差分画像の精度の低下も抑えられる。
【００７０】
また、メモリ４ａの背景モデル記憶領域に対する、背景モデルの追加、および削除も適宜行うので、メモリ４ａの記憶容量を十分に抑え、効率的に利用することができる。
【符号の説明】
【００７１】
１…画像処理ユニット
２…制御部
３…画像入力部
４…画像処理部
４ａ…メモリ
５…入出力部
１０…ビデオカメラ
【技術分野】
【０００１】
この発明は、ビデオカメラ等の撮像装置が撮像した撮像エリアのフレーム画像を処理して、背景差分画像を生成する画像処理ユニット、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラ等の撮像装置を利用して、不審者の侵入や、不審物の放置を監視する監視システムが実用化されている。撮像装置の撮像エリアが、不審者の侵入や、不審物の放置を監視する監視対象エリアである。この種の監視システムは、撮像装置が撮像した監視対象エリアのフレーム画像を処理し、撮像されている物体（不審者や不審物等）を検出する画像処理ユニットを備えている。上位装置は、画像処理ユニットにおける物体の検出結果に応じて、物体の検出を係員に対して報知する処理や、検出した物体が撮像されているフレーム画像を表示器に表示する処理等を行う。
【０００３】
画像処理ユニットは、入力されたフレーム画像の画素毎に、その画素について記憶している背景モデルを用いて、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定する。背景モデルは、画素値に対する発生頻度（発生確率）をモデル化したものである。画像処理ユニットは、画素値に対応する発生頻度が予め定めた値（閾値）以上であれば背景画素であると判定し、反対に、画素値に対応する発生頻度が予め定めた値（閾値）未満であれば前景画素であると判定する。
【０００４】
画像処理ユニットは、上記の判定結果に基づいて、背景が撮像されている背景画素と、物体が撮像されている前景画素と、で区別した背景差分画像を生成する。この背景差分画像は、２値化画像である。また、画像処理ユニットは、背景差分画像から撮像されている物体を検出し、その物体の大きさや形状等から物体の種別の推定も行う。
【０００５】
画像処理ユニットは、監視対象エリア内の明るさの変化等の環境変化による影響を抑え、背景差分画像を精度よく生成するには、入力されたフレーム画像を用いて背景モデルを更新する必要がある。画像処理ユニットは、入力されるフレーム画像の画素毎に、背景モデルを記憶する構成であると、背景モデルを記憶する記憶部（メモリ）の記憶容量が増大するとともに、背景モデルの更新にかかる処理負荷も増大し、装置本体が高価になる。
【０００６】
非特許文献１は、背景モデルを記憶する記憶部（メモリ）の記憶容量を抑え、且つ背景モデルの更新にかかる処理負荷を抑えることで、装置本体のコストダウンが図れる構成を提案している。この非特許文献１で提案している構成は、クラスタリング手法により、入力されるフレーム画像において類似した画素値が観測されることを条件にして、フレーム画像の各画素を複数のクラスタに分類する。そして、クラスタ毎に背景モデルを記憶する構成である。すなわち、クラスタ毎に、そのクラスタに属する複数の画素で、１つの背景モデルを共有することで、背景モデルの総数が減少させる構成である。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Atsushi Shimada,Tatsuya Tanaka,Daisaku Arita,and Rinichiro Taniguchi.Spatial-temporal integration of adaptive gaussian mixture background models. Proceedings of the 14th Korea-Japan Joint Workshop on Frontiers of Computer Vision,2008.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１は、クラスタ毎に、そのクラスタに属する各画素の背景モデルの画素値の変動が同じであることを前提にしている。このため、クラスタに属する一部の画素において、他の画素と異なる画素値の変動が生じた場合、この一部の画素に対する背景モデルが不適正になる。その結果、この一部の画素に対する背景画素、または前景画素のいずれであるかの判定精度が低下し、その結果、生成される背景差分画像の精度を低下させる。また、背景差分画像の精度の低下は、撮像されている物体の検出精度を低下させる。
【０００９】
なお、画像処理ユニットは、入力されるフレーム画像において類似した画素値が観測される画素を複数のクラスタに分類する処理（再クラスタリング）を、適当なタイミングで繰り返すことで、生成する背景差分画像の精度の低下を抑えることはできる。しかし、画像処理ユニットは、この再クラスタリングにかかる処理負荷の増大により、装置本体のコストダウンを十分に図ることができない。
【００１０】
この発明の目的は、生成する背景差分画像の精度の低下を抑えるとともに、装置本体にかかる処理負荷の増大も抑え、装置本体のコストダウンを図った画像処理ユニット、および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
この発明の画像処理ユニットは、上記課題を解決し、その目的を達するために以下のように構成している。
【００１２】
画像入力部には、ビデオカメラ等の撮像装置が撮像した撮像エリアのフレーム画像が入力される。画像入力部は、フレーム画像を撮像装置から直接入力する構成であってもよいし、撮像装置で撮像した撮像エリアのフレーム画像を一旦ハードディスク等の記録媒体に記録保存し、この記録保存したフレーム画像を入力する構成であってもよい。撮像装置は、例えば、撮像エリアのフレーム画像を１秒間に３０フレーム程度出力するビデオカメラである。
【００１３】
背景モデル記憶部は、代表画素毎に、その代表画素の特徴と、その代表画素の画素値の発生頻度をモデル化した背景モデルと、を関連付けて記憶する。背景モデルは、画素値に対する発生頻度（発生確率）を、混合ガウス分布等を利用してモデル化したものである。代表画素の特徴は、フレーム画像上における位置と、画素値と、時間経過にともなう画素値の変化の傾向等を含む。
【００１４】
背景差分画像生成部は、画像入力部に入力されたフレーム画像の画素毎に、その画素の特徴に対応する代表画素の背景モデルを探索する。すなわち、背景差分画像生成部は、画像入力部に入力されたフレーム画像の画素毎に、特徴が近い代表ベクトルの背景モデルを探索する。また、背景差分画像生成部は、この探索で得た背景モデルに基づき、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定する。背景差分画像生成部は、画像入力部に入力されたフレーム画像の全ての画素について、背景画素、または前景画素のいずれであるかを判定することで、背景差分画像を生成する。
【００１５】
さらに、背景モデル更新部は、背景差分画像生成部が、画像入力部に入力されたフレーム画像のいずれかの画素において、その画素が背景画素、または前景画素のいずれであるかの判定に用いた背景モデルを、この背景モデルを用いた画素の画素値に基づいて更新する。
【００１６】
このように、画像入力部に入力されたフレーム画像における、特徴が近い複数の画素が１つの背景モデルを共有する。このため、背景モデルを記憶する代表画素の画素数を抑えることができ、背景モデルの記憶に必要な記憶容量が抑えられる。
【００１７】
また、背景モデルの総数が抑えられるので、背景モデルの更新にかかる処理負荷も抑えられる。したがって、装置本体のコストダウンが図れる。また、画像入力部に入力されたフレーム画像のいずれの画素においても、その画素が背景画素であるか前景画素であるかの判定に用いられなかった背景モデルについては、その背景モデルを更新しなくてもよい。
【００１８】
さらに、フレーム画像毎に、各画素について、特徴に近い代表画素の背景モデルを探索し、その背景モデルを用いて背景差分画像を生成する。すなわち、フレーム画像の各画素について、予め定めた背景モデルで背景画素、または前景画素のいずれであるかを判定するのではなく、そのフレーム画像における画素の特徴に応じて、背景画素、または前景画素のいずれであるかの判定に用いる背景モデルを探索する。したがって、生成する背景差分画像の精度の低下も抑えられる。
【００１９】
また、代表画像の画素や、フレーム画像の画素の特徴は、画素のフレーム画像上における位置、および画素値を特徴としてもよいし、さらに、前回入力されたフレーム画像における画素値を加えてもよい。
【００２０】
また、画素の特徴を探索パラメータとし、この探索パラメータを予め定めた局所鋭敏なハッシュ関数に入力して得られたハッシュ値で、この画素の特徴に対応する代表画素の背景モデルを探索するようにしてもよい。すなわち、ハッシュに基づく近似最近傍探索手法の１つである、ＬＳＨ（Locality Sensitive Hashing）で背景モデルを探索する構成としてもよい。
【００２１】
また、背景モデルが得られなかった画素については、この画素を代表画素とし、その特徴と、画素値の発生頻度をモデル化した背景モデルと、を関連付けて背景モデル記憶部に追加登録すればよい。また、予め定めたフレーム枚数にわたって、背景画素であるか前景画素であるかの判定に用いられなかった背景モデルについては、背景モデル記憶部から削除すればよい。
【発明の効果】
【００２２】
この発明によれば、背景モデルを記憶するための記憶容量が抑えられるとともに、背景モデルの更新にかかる処理負荷も抑えられ、装置本体のコストダウンが図れる。また、生成する背景差分画像の精度の低下も抑えられる。
【図面の簡単な説明】
【００２３】
【図１】画像処理ユニットの主要部の構成を示すブロック図である。
【図２】背景モデルを説明する図である。
【図３】メモリの背景モデル記憶領域の構造を説明する図である。
【図４】画像処理ユニットの動作を示すフローチャートである。
【図５】フレーム画像の各画素において探索される背景モデルの概念を説明する図である。
【図６】フレーム画像の各画素において探索される背景モデルの概念を説明する図である。
【図７】フレーム画像の各画素において探索される背景モデルの概念を説明する図である。
【発明を実施するための形態】
【００２４】
以下、この発明の実施形態である画像処理ユニットについて説明する。
【００２５】
図１は、この画像処理ユニットの主要部の構成を示すブロック図である。画像処理ユニット１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。
【００２６】
制御部２は、画像処理ユニット１本体各部の動作を制御する。
【００２７】
画像入力部３には、ビデオカメラ１０が接続されている。ビデオカメラ１０は、不審者の侵入や、不審物の放置等を監視する監視対象エリアが撮像エリア内に収まるように設置している。ビデオカメラ１０は、撮像エリアを撮像したフレーム画像を、１秒間に３０フレーム程度出力する。画像入力部３には、ビデオカメラ１０が出力したフレーム画像が入力される。
【００２８】
なお、ここでは、ビデオカメラ１０を画像入力部３に接続した構成を例にしているが、ビデオカメラ１０で撮像した動画像を記録したハードディスク等の記録媒体を画像入力部３に接続し、画像入力部３がビデオカメラ１０で撮像したフレーム画像をこの記録媒体から順次読み出す構成であってもよい。
【００２９】
画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されている物体（背景でない物体）を検出する。画像処理部４は、撮像エリアの背景画像と、画像入力部３に入力されたフレーム画像との差分画像である背景差分画像を生成する。この背景差分画像は、各画素を、背景画素（例えば、黒）と、前景画素（例えば、白）とで区別した２値化画像である。画像処理部４は、この背景差分画像から撮像されている物体を検出し、その物体の大きさや形状等から物体の種別の推定も行う。
【００３０】
また、画像処理部４は、メモリ４ａを備えている。画像処理部４は、画像入力部３に入力されたフレーム画像に撮像されている物体の検出等にかかる処理を行うときに、メモリ４ａをワーキングエリアとして使用する。また、このメモリ４ａには、この発明で言う背景モデル記憶部に相当する背景モデル記憶領域が設けられている。
【００３１】
なお、画像処理部４は、画像入力部３に入力されたフレーム画像に対する画像処理等を実行するマイコンを備えている。この発明にかかる画像処理プログラムは、このマイコンを動作させるプログラムであり、予め画像処理部４にインストールしている。
【００３２】
入出力部５は、図示していない上位装置との間におけるデータの入出力を制御する。入出力部５は、画像処理部４で物体が検出されたときに、その旨を上位装置（不図示）に通知する信号を出力する。入出力部５は、物体の検出を通知する信号を出力する構成であってもよいし、物体を検出したフレーム画像とともに、物体の検出を通知する信号を出力する構成であってもよい。
【００３３】
なお、上位装置は、画像処理ユニット１の入出力部５から出力された信号によって、監視対象エリア内に位置する物体の検出が通知されたとき、その旨を音声等で出力して、周辺にいる係員等に報知する。また、上位装置は、画像処理ユニット１から物体を検出したフレーム画像が送信されてきている場合、そのフレーム画像を表示器に表示する。
【００３４】
次に、メモリ４ａが記憶する背景モデルについて説明する。この画像処理ユニット１は、画像入力部３に入力されるフレーム画像の画素毎に背景モデルをメモリ４ａに記憶するのではなく、一部の代表画素についてのみ背景モデルをメモリ４ａに記憶する。背景モデルは、代表画素について、その画素値の発生頻度（発生確率）を、混合ガウス分布等を利用してモデル化したものである。図２は、ある代表画素の背景モデルを示している。図２において、横軸は画素値であり、縦軸は発生頻度である。また、図２に示す閾値Ｄは、ある画素について、この背景モデルに基づいて、この画素が背景画素であるか、前景画素であるとかを判定するのに用いる境界値である。具体的には、判定する画素の画素値に対する発生頻度が閾値Ｄ以上であれば、この画素を背景画素と判定する。一方、判定する画素の画素値に対する発生頻度が閾値Ｄ未満であれば、この画素を前景画素と判定する。
【００３５】
メモリ４ａの背景モデル記憶領域は、図３に示すように、代表画素毎に、そのインデックス（Ｍｘ）と、背景モデルとを対応付けて記憶する。このインデックスＭｘは、代表画素の特徴から得られたコードである。詳細については後述するが、このインデックスＭｘは、その代表画素の特徴を示すパラメータ（代表ベクトル）を予め定めたハッシュ関数群に入力し、その結果として得られたハッシュ値である。すなわち、インデックスＭｘはシリアルな値ではなく、ランダムな値である。
【００３６】
画像処理部４は、後述するように、画像入力部３に入力されたフレーム画像の画素毎に、その画素の特徴に近い特徴の代表画素の背景モデルを探索する。画像処理部４は、この背景モデルの探索を高速にするため、ハッシュに基づく探索手法の１つであるＬＳＨ（Locality Sensitive Hashing）を用いている。ＬＳＨでは、距離の近い特徴ベクトル同士が同じハッシュ値を取る確率が高く、距離の遠い特徴ベクトル同士が同じハッシュ値を取る確率が低い、局所鋭敏なハッシュ関数を用いる。
【００３７】
局所鋭敏なハッシュ関数ｈ（ｐ）は、
【００３８】
【数１】
【００３９】
で表され、ｐは特徴ベクトル、ａは各次元の要素の値をガウス分布から独立に取得したベクトル、ｂは、区間［０，ω］からランダムに選択した実数、ωはハッシュ幅である。
【００４０】
ＬＳＨでは、局所鋭敏なハッシュ関数をｋ個生成し、それらを１組のハッシュ関数群とし、ハッシュ値を得る。さらに、このような処理をＬ個のハッシュ関数群で行い、各ハッシュ関数群から得られたハッシュ値の和集合を最終的なハッシュ値にする。すなわち、ＬＳＨは、ｋ×Ｌ個のハッシュテーブルを作成してハッシュ値を得る。上述のインデックスＭｘは、代表画素の特徴を示す代表ベクトルを入力としたときに得られたハッシュ値である。したがって、ある画素について、その画素の特徴に近い特徴の代表画素（インデックスＭｘ）の探索は、この画素の特徴を示す探索パラメータ（画素ベクトル）を、上述のハッシュ関数群に入力したときに得られたハッシュ値を、各代表画素のインデックスＭｘと照合することにより行える。このＬＳＨにかかるハッシュ関数群は、メモリ４ａに記憶している。
【００４１】
次に、この画像処理ユニット１の動作について説明する。図４は、画像処理ユニットの動作を示すフローチャートである。
【００４２】
画像処理ユニット１は、画像入力部３に入力されたフレーム画像を画像処理部４に取り込む（ｓ１）。画像処理部４は、注目画素ｉを決定する（ｓ２）。画像入力部３に入力されるフレーム画像は、図５に示すように主走査方向（図５における左右方向）にｎ画素、副走査方向（図５における上下方向）にｍ画素の画像である。また、主走査方向にＮ番目、副走査方向にＭ番目である画素の画素番号ｉは、
ｉ＝ｎ×（Ｍ−１）＋Ｎ
である。ｓ２では、ｉ＝１に設定する。これにより、図５に示す左上角の画素が、注目画素になる。
【００４３】
画像処理部４は、注目画素ｉの特徴を示す画素ベクトルｑiを検出する（ｓ３）。画素ベクトルｑiは、
【００４４】
【数２】
【００４５】
である。ｘit-1は１フレーム前における注目画素ｉの画素値、ｘitは今回のフレームにおける注目画素ｉの画素値、（ｕi、ｖi）は、フレーム画像上における注目画素ｉの画素位置である。
【００４６】
画素ベクトルｑiは、ｘit-1を含まないものとしてもよいが、この場合、画素値ｘiの変化の傾向（上昇傾向、下降傾向、その変化量等）が画素ベクトルｑiに含まれない。すなわち、そのときの画素値ｘiの変化の傾向を考慮することなく、そのときの画素値ｘiで後述する背景モデルを探索することになる。これに対し、［数２］に示す画素ベクトルｑiであれば、画素値ｘiの変化の傾向も考慮した背景モデルの探索が行える。
【００４７】
なお、画素ベクトルｑiは、２フレーム前における注目画素ｉの画素値ｘit-2や、３フレーム前における注目画素ｉの画素値ｘit-3等を含むものとしてもよい。
【００４８】
また、画素ベクトルｑiは、フレーム画像上における注目画素ｉの画素位置を含んでいる。一般に、フレーム画像において、画素間の距離が小さい画素同士では、類似した画素値の変化があらわれやすい。一方で、画素間の距離が大きい画素同士では、類似した画素値の変化があらわれにくいが、一時的に、類似した画素値の変化があらわれることがある。
【００４９】
上述したように、画素ベクトルｑiは、フレーム画像上における注目画素ｉの画素位置を含んでいるので、画素間の距離が大きい画素同士で一時的に生じた類似した画素値の変化による影響を受けることがなく、背景モデルの探索が行える。
【００５０】
画像処理部４は、ｓ３で検出した注目画素ｉの画素ベクトルｑiに対応する背景モデルを探索する。背景モデルは、上述したように、インデックスＭｘを対応づけてメモリ４ａに記憶している。画像処理部４は、メモリ４ａに記憶しているＬＳＨにかかる局所鋭敏なハッシュ関数群に対して画素ベクトルｑiを入力し、その出力であるハッシュ値を得る（ｓ４）。画像処理部４は、ここで得られたハッシュ値と、一致するインデックスＭｘを検索する（ｓ５）。
【００５１】
画像処理部４は、ｓ５で一致するインデックスＭｘがあれば、このインデックスＭｘに対応づけられている背景モデルを注目画素ｉの背景モデルとして取得する（ｓ６）。
【００５２】
上述したように、ＬＳＨでは、距離の近い特徴ベクトル同士が同じハッシュ値を取る確率が高く、距離の遠い特徴ベクトル同士が同じハッシュ値を取る確率が低い。したがって、画像処理部４は、注目画素ｉの画素ベクトルｑiに近い代表ベクトルの画素（代表画素）について記憶している背景モデルを、この注目画素ｉの背景モデルとして取得する。
【００５３】
画像処理部４は、ｓ６で取得した背景モデルに基づき、この注目画素ｉが前景画素であるか、背景画素であるかを判定する（ｓ７）。
【００５４】
一方、画像処理部４は、ｓ５で一致するインデックスＭｘがなければ、注目画素ｉを前景画素であると判定する（ｓ８）。また、画像処理部４は、この注目画素ｉについて背景モデルを生成する（ｓ９）。ｓ９では、混合ガウス分布を用いた統計的背景モデルを生成する。具体的には、注目画素ｉについて観測されていた画素値｛ｘi1，・・・，ｘit｝をＫ個のガウス分布を用いてモデル化する。画素における画素値ｘitの生起確率は、
【００５５】
【数３】
【００５６】
で表せる。ωkt，μkt，Σktは、時刻ｔにおけるｋ番目のガウス分布の重み、平均値、分散共分散行列である。また、ηは、
【００５７】
【数４】
【００５８】
で表されるガウス分布の密度関数である。Ｋは、背景変動の頻度に応じて設定すればよい。
【００５９】
画像処理部４は、ｓ４で得た注目画素ｉのハッシュ値と、ｓ９で生成した背景モデルと、を対応付けてメモリ４ａの背景モデル記憶領域に追加登録する（ｓ１０）。
【００６０】
画像処理部４は、ｓ７、またはｓ１０にかかる処理が完了すると、注目画素ｉの画素番号ｉがフレーム画像の画素数に達しているかどうかを判定する（ｓ１１）。ｓ１１では、入力されたフレーム画像の全ての画素について、上述したｓ３〜ｓ１０にかかる処理を実行したかどうかを判定している。画像処理部４は、ｓ１１で注目画素ｉの画素番号ｉがフレーム画像の画素数に達していないと判定すると、注目画素ｉの画素番号ｉをインクリメントし（ｉ＝ｉ＋１）（ｓ１２）、ｓ３に戻る。
【００６１】
画像処理部４は、ｓ１１で注目画素ｉの画素番号ｉがフレーム画像の画素数に達していると判定すると、今回の処理で得られた背景差分画像から撮像されている物体を検出する（ｓ１３）。画像処理部４は、この時点で、入力されたフレーム画像の全ての画素について、その画素が背景画素であるか、前景画素であるかの判定を完了している。画像処理部１３は、ｓ１３で検出した物体毎に、その物体の大きさや形状等から種別を推定する。
【００６２】
入出力部５が、ｓ１３における物体の検出結果を上位装置に通知する。
【００６３】
画像処理部４は、今回のフレーム画像の処理において探索された背景モデル毎に、その背景モデルを更新する（ｓ１４）。ｓ１４では、この背景モデルを探索した画素の特徴を用いて更新する。上記の背景モデルの探索処理では、複数の画素が、１つの背景モデルを得ることがある。この場合、その背景モデルを得た複数の画素の特徴の平均を用いて、当該背景モデルを更新してもよいし、いずれかの画素をランダムに選択し、選択した画素の特徴を用いて更新してもよい。また、背景モデルの更新に用いる画素を選択する条件を予め定めておいてもよい。
【００６４】
なお、上記の例では、画素をランダムに選択する方法が、画像処理部４にかかる処理負荷を最も低減できる。
【００６５】
また、ｓ１４では、今回のフレーム画像の処理において、いずれの画素からも探索されなかった背景モデルについては、その更新を行わない。
【００６６】
画像処理部４は、メモリ４ａに記憶されている背景モデルの中で、予め定めたフレーム枚数にわたって一度も、背景画素であるか、前景画素であるかの判定に用いられていない背景モデルを抽出し、ここで抽出した背景モデルをメモリ４ａから削除し（ｓ１５）、ｓ１に戻る。これにより、メモリ４ａが、無用な背景モデルをいつまでも記憶しつづけるのを防止でき、メモリ４ａの背景モデル記憶領域を効率的に利用できる。
【００６７】
このように、この画像処理ユニット１は、図６、および図７に示すように、入力されたフレーム画像の複数の画素が、同じ背景モデルを背景画素であるか、前景画素であるかの判定に用いる。図６では、背景モデルの探索において、フレーム画像の３つの画素が背景モデルＭ１を取得し、４つの画素が背景モデルＭ２を取得した場合を例示している。また、図７では、背景モデルの探索において、フレーム画像の３つの画素が背景モデルＭ１を取得し、３つの画素が背景モデルＭ２を取得し、さらに１つの画素が適当な背景モデルを探索することができず、背景モデルＭｎを追加登録した場合を例示している。
【００６８】
図６、および図７に示すように、この画像処理ユニット１は、１つの背景モデルを、複数の画素で共有することができる。したがって、背景モデルを記憶するメモリ４ａの記憶領域を低減することができる。また、背景モデルＭｘの総数の低減により、背景モデルの更新にかかる処理負荷も低減できる。
【００６９】
また、この画像処理ユニット１は、フレーム画像毎に、各画素について、特徴に近い代表画素の背景モデルを探索し、その背景モデルを用いて背景差分画像を生成する。すなわち、フレーム画像の各画素について、予め定めた背景モデルで背景画素、または前景画素のいずれであるかを判定するのではなく、そのフレーム画像における画素の特徴に応じて、背景画素、または前景画素のいずれであるかの判定に用いる背景モデルを探索する。したがって、生成する背景差分画像の精度の低下も抑えられる。
【００７０】
また、メモリ４ａの背景モデル記憶領域に対する、背景モデルの追加、および削除も適宜行うので、メモリ４ａの記憶容量を十分に抑え、効率的に利用することができる。
【符号の説明】
【００７１】
１…画像処理ユニット
２…制御部
３…画像入力部
４…画像処理部
４ａ…メモリ
５…入出力部
１０…ビデオカメラ
【特許請求の範囲】
【請求項１】
撮像装置が撮像した撮像エリアのフレーム画像を入力する画像入力部と、
代表画素毎に、その代表画素の特徴と、その代表画素の画素値の発生頻度をモデル化した背景モデルと、を関連付けて記憶する背景モデル記憶部と、
前記画像入力部に入力されたフレーム画像の画素毎に、その画素の特徴に対応する前記代表画素の背景モデルの探索を前記背景モデル記憶部に対して行い、この探索で得た背景モデルに基づき、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定し、このフレーム画像に対する背景差分画像を生成する背景差分画像生成部と、
前記背景差分画像生成部が、前記画像入力部に入力されたフレーム画像のいずれかの画素において、その画素が背景画素であるか前景画素であるかの判定に用いた前記背景モデルを、この背景モデルを用いた画素の画素値に基づいて更新する背景モデル更新部と、を備えた画像処理ユニット。
【請求項２】
前記背景モデル更新部は、前記背景差分画像生成部が前記画像入力部に入力されたフレーム画像のいずれの画素においても、その画素が背景画素であるか前景画素であるかの判定に用いられなかった前記背景モデルについては、その背景モデルを更新しない、請求項１に記載の画像処理ユニット。
【請求項３】
前記差分画像生成部は、前記画像入力部に入力されたフレーム画像の画素毎に、その画素のフレーム画像上における位置、および画素値を特徴とする探索パラメータを用いて、この画素の特徴に対応する前記代表画素の背景モデルの探索を前記背景モデル記憶部に対して行う、請求項１、または２に記載の画像処理ユニット。
【請求項４】
前記差分画像生成部は、前記画像入力部に入力されたフレーム画像の画素毎に、その画素のフレーム画像上における位置、画素値、および前回入力されたフレーム画像における画素値を特徴とする探索パラメータを用いて、この画素の特徴に対応する前記代表画素の背景モデルの探索を前記背景モデル記憶部に対して行う、請求項１、または２に記載の画像処理ユニット。
【請求項５】
前記差分画像生成部は、前記画像入力部に入力されたフレーム画像の画素毎に、前記探索パラメータを予め定めた局所鋭敏なハッシュ関数に入力して得られたハッシュ値で、この画素の特徴に対応する前記代表画素の背景モデルを探索する、請求項３、または４に記載の画像処理ユニット。
【請求項６】
前記背景モデル更新部は、前記差分画像生成部が前記背景モデル記憶部に対する探索で前記背景モデルが得られなかった画素については、この画素を代表画素とし、その特徴と、画素値の発生頻度をモデル化した背景モデルと、を関連付けて前記背景モデル記憶部に追加登録する、請求項１〜５のいずれかに記載の画像処理ユニット。
【請求項７】
前記背景モデル更新部は、予め定めたフレーム枚数にわたって、背景画素であるか前景画素であるかの判定に用いられなかった前記背景モデルを前記背景モデル記憶部から削除する、請求項１〜６のいずれかに記載の画像処理ユニット。
【請求項８】
背景モデル記憶部が、代表画素毎に、その代表画素の特徴と、その代表画素の画素値の発生頻度をモデル化した背景モデルと、を関連付けて記憶し、
画像入力部に入力されたフレーム画像の画素毎に、その画素の特徴に対応する代表画素の前記背景モデルの探索を前記背景モデル記憶部に対して行う第１のステップと、
前記第１のステップで得た背景モデルに基づき、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定し、このフレーム画像に対する背景差分画像を生成する第２のステップと、
前記画像入力部に入力されたフレーム画像のいずれかの画素において、その画素が背景画素であるか前景画素であるかの判定に用いた前記背景モデルを、この背景モデルを用いた画素の画素値に基づいて更新する第３のステップと、をコンピュータに実行させる画像処理プログラム。
【請求項１】
撮像装置が撮像した撮像エリアのフレーム画像を入力する画像入力部と、
代表画素毎に、その代表画素の特徴と、その代表画素の画素値の発生頻度をモデル化した背景モデルと、を関連付けて記憶する背景モデル記憶部と、
前記画像入力部に入力されたフレーム画像の画素毎に、その画素の特徴に対応する前記代表画素の背景モデルの探索を前記背景モデル記憶部に対して行い、この探索で得た背景モデルに基づき、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定し、このフレーム画像に対する背景差分画像を生成する背景差分画像生成部と、
前記背景差分画像生成部が、前記画像入力部に入力されたフレーム画像のいずれかの画素において、その画素が背景画素であるか前景画素であるかの判定に用いた前記背景モデルを、この背景モデルを用いた画素の画素値に基づいて更新する背景モデル更新部と、を備えた画像処理ユニット。
【請求項２】
前記背景モデル更新部は、前記背景差分画像生成部が前記画像入力部に入力されたフレーム画像のいずれの画素においても、その画素が背景画素であるか前景画素であるかの判定に用いられなかった前記背景モデルについては、その背景モデルを更新しない、請求項１に記載の画像処理ユニット。
【請求項３】
前記差分画像生成部は、前記画像入力部に入力されたフレーム画像の画素毎に、その画素のフレーム画像上における位置、および画素値を特徴とする探索パラメータを用いて、この画素の特徴に対応する前記代表画素の背景モデルの探索を前記背景モデル記憶部に対して行う、請求項１、または２に記載の画像処理ユニット。
【請求項４】
前記差分画像生成部は、前記画像入力部に入力されたフレーム画像の画素毎に、その画素のフレーム画像上における位置、画素値、および前回入力されたフレーム画像における画素値を特徴とする探索パラメータを用いて、この画素の特徴に対応する前記代表画素の背景モデルの探索を前記背景モデル記憶部に対して行う、請求項１、または２に記載の画像処理ユニット。
【請求項５】
前記差分画像生成部は、前記画像入力部に入力されたフレーム画像の画素毎に、前記探索パラメータを予め定めた局所鋭敏なハッシュ関数に入力して得られたハッシュ値で、この画素の特徴に対応する前記代表画素の背景モデルを探索する、請求項３、または４に記載の画像処理ユニット。
【請求項６】
前記背景モデル更新部は、前記差分画像生成部が前記背景モデル記憶部に対する探索で前記背景モデルが得られなかった画素については、この画素を代表画素とし、その特徴と、画素値の発生頻度をモデル化した背景モデルと、を関連付けて前記背景モデル記憶部に追加登録する、請求項１〜５のいずれかに記載の画像処理ユニット。
【請求項７】
前記背景モデル更新部は、予め定めたフレーム枚数にわたって、背景画素であるか前景画素であるかの判定に用いられなかった前記背景モデルを前記背景モデル記憶部から削除する、請求項１〜６のいずれかに記載の画像処理ユニット。
【請求項８】
背景モデル記憶部が、代表画素毎に、その代表画素の特徴と、その代表画素の画素値の発生頻度をモデル化した背景モデルと、を関連付けて記憶し、
画像入力部に入力されたフレーム画像の画素毎に、その画素の特徴に対応する代表画素の前記背景モデルの探索を前記背景モデル記憶部に対して行う第１のステップと、
前記第１のステップで得た背景モデルに基づき、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定し、このフレーム画像に対する背景差分画像を生成する第２のステップと、
前記画像入力部に入力されたフレーム画像のいずれかの画素において、その画素が背景画素であるか前景画素であるかの判定に用いた前記背景モデルを、この背景モデルを用いた画素の画素値に基づいて更新する第３のステップと、をコンピュータに実行させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−２５４３４（Ｐ２０１３−２５４３４Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５７６０２（Ｐ２０１１−１５７６０２）
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５０４１４５３４２）国立大学法人九州大学 (960)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５０４１４５３４２）国立大学法人九州大学 (960)
【Ｆターム（参考）】
[ Back to top ]