移動物体追跡装置
【課題】本発明は、監視画像より移動物体を追跡中に照明変動等の環境変動が発生して入力画像が不安定になっても継続して移動物体を追跡可能とすることを目的とする。
【解決手段】
環境変動検出手段により監視領域内の照明変動を検出し入力画像が不安定となると、移動物体の抽出処理を背景差分処理からテンプレートマッチング処理に切り替え、継続して移動物体の追跡処理を行う。また、照明変動を検出すると入力画像を照明変動前の背景画像との輝度差に応じて補償を行い、テンプレートマッチングを精度良く行う。
【解決手段】
環境変動検出手段により監視領域内の照明変動を検出し入力画像が不安定となると、移動物体の抽出処理を背景差分処理からテンプレートマッチング処理に切り替え、継続して移動物体の追跡処理を行う。また、照明変動を検出すると入力画像を照明変動前の背景画像との輝度差に応じて補償を行い、テンプレートマッチングを精度良く行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像監視により監視領域内の移動物体を追跡監視する移動物体追跡装置に関し、特に、監視領域内に発生した照明変動等の環境変動により入力画像が不安定な状態である場合にも追跡中の移動物体を見失うことなく継続して追跡が可能な移動物体追跡装置に関する。
【背景技術】
【０００２】
従来、監視装置の一部として画像中の移動物体を追跡する移動物体追跡装置が用いられている。監視装置は、オフィス内のサーバルーム、銀行の現金自動預け払い機コーナーなどに、主に防犯を目的として設置されている。この場合には、移動物体追跡装置が追跡する対象物は、追跡領域内を移動する人物等である。
【０００３】
このような監視装置において画像中の移動物体を追跡する手法として、特許文献１には、予め記憶した背景画像と現在の入力画像との差分をとることにより物体を抽出する背景差分法により移動物体を追跡する方法が開示されている。また特許文献２には、一時刻前の画像で抽出した移動物体をテンプレートとして、現在時刻の入力画像からテンプレートに類似する領域を抽出する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１８０７４９号公報
【特許文献２】特開２００９−０４８４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような監視装置が設置される環境は、通常時は省電のため照明をオフに設定し、人の出入があると人感センサが作動して照明がオンになるような運用となっている場合が多い。このような環境では、監視領域に設置されたカメラの撮像範囲は人感センサの検知範囲よりも広いのが通常であるため、監視領域に人が進入すると、照明がオフの状態でも完全に暗い環境でない限り、前述の背景差分法やテンプレートマッチング法による移動物体が抽出され、追跡が開始される。
【０００６】
しかし、移動物体追跡中に人感センサが検出して照明がオンになると、画像の明るさや色合いが大きく変化するため、背景差分法による移動物体の抽出が困難となる。
照明オン時の背景画像も予め記憶していれば、照明がオンとなった後、入力画像が安定すると、背景差分法やテンプレートマッチング法による移動物体の追跡が可能となる。
ただし、照明オン直後は、カメラ内で露光調整がされるため、入力画像が安定するまで不安定なフレームが数フレームあり、特に移動物体が複数存在する場合など、照明変動前後の移動物体の関連付けが困難となる。そして、結果として移動物体の追跡に失敗するおそれがある。
【０００７】
そこで、本発明は、かかる課題を解決するため、画像監視中に照明変動等が発生して、入力画像が不安定な状態となったとしても、移動物体の追跡を継続して可能とする移動物体追跡装置の実現を目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は、監視領域内を撮像して順次入力される入力画像から移動物体を抽出し、移動物体を追跡する移動物体追跡装置であって、
監視領域内の環境変動を検出する環境変動検出手段と、入力画像が安定か否かを判定する判定手段と、監視領域内に移動物体が存在しないときの入力画像を背景画像として設定する背景画像設定手段と、背景画像を記憶する記憶手段と、背景差分処理を用いて移動物体の追跡処理を行う背景差分処理手段と、テンプレートマッチング処理を用いて移動物体の追跡処理を行うテンプレートマッチング処理手段とを備え、通常時は背景差分処理手段にて移動物体の追跡処理を行い、環境変動検出手段が監視領域内の環境変動を検出すると、
入力画像が安定か否かを判定し、安定でないと判定した場合に、背景差分処理手段による移動物体の追跡処理を前記テンプレートマッチング処理に切替える移動物体追跡装置を提供する。
かかる態様により、監視領域内に環境変動が発生し、カメラ等から入力される入力画像が不安定な間は、追跡処理を切り替えることにより、移動物体を確実に抽出し、追跡処理を継続させることが可能となる。
【０００９】
また、背景画像設定手段は、入力画像と設定された背景画像が所定期間以上類似すると安定であることを示す安定度情報を背景画像に付与して記憶手段に記憶させ、環境変動検出手段が環境変動を検出しても、設定されている背景画像が安定であると判定した場合は、入力画像が安定であるとして移動物体の追跡処理を切り替えない。
【００１０】
さらに、記憶手段には異なる時刻で設定された背景画像が複数記憶されており、
背景画像設定手段は、入力画像が入力されると、設定されている背景画像との類似度を求め、複数の背景画像の中から入力画像と最も類似するものを背景画像として設定する。
この処理は、入力画像と設定された背景画像の類似度が所定以下の場合、即ち、入力画像と背景画像が似ていない場合に記憶手段の他の背景画像との類似度を求めるようにしてもよい。設定されている背景画像が入力画像と類似していなくても、記憶手段に入力画像と類似する他の背景画像が存在すれば、当該背景画像を新たに設定する。
これは、上記環境変動手段にて監視領域の変動が検出されたとしても、背景画像の更新処理を行い、新たに設定された背景画像が安定であれば、入力画像は安定として追跡処理の切り換えを行わないようにするものである。
【００１１】
また、移動物体の追跡処理がテンプレートマッチング処理手段に切替られた後に、入力画像が不安定な状態から安定になることが確認できると、移動物体の追跡処理を背景差分処理手段に戻す。
【００１２】
また、本発明において環境変動検出手段は、入力画像が現背景画像に類似しない場合に監視領域内に照明変動が発生したと判定する。
【００１３】
そして、移動物体の追跡処理がテンプレートマッチング処理手段に切り替えられると、入力画像を変動検知前の背景画像の輝度値に近くなるように補正する照明補償手段を有する。
これにより照明変動が発生しても入力画像を補正することによりテンプレートマッチング処理による追跡が可能となる。
【００１４】
本発明の他の態様として、監視領域内を撮像して順次入力される入力画像から移動物体を抽出し、移動物体を追跡する移動物体追跡装置であって、監視領域内の環境変動を検出する環境変動検出手段と、監視領域内に移動物体が存在しないときの入力画像を背景画像として記憶させる背景画像設定手段と、背景画像を記憶する記憶手段と、入力画像と背景画像を比較して抽出した背景差分領域に識別番号を付与して背景差分領域の位置情報とともに追跡情報として記憶手段に記憶する差分領域抽出手段と、背景差分領域からテンプレートを生成し、当該テンプレートに背景差分領域と同一の識別番号を付与して、テンプレートの位置情報とともに追跡情報に追加記憶させるテンプレート生成手段と、追跡情報に基づき異なる時刻の入力画像から抽出された背景差分領域同士を同一移動物体候補とし、同一の識別番号を付与して追跡処理を行う第一の追跡処理手段と、入力画像から追跡情報に記憶されたテンプレートに類似する画像領域を前記背景差分領域と同一の移動物体候補として同一の識別番号を付与して追跡処理を行う第二の追跡処理手段とを有し、第一の追跡処理手段にて移動物体の追跡中に、環境変動検出手段が監視領域内の環境変動を検出すると、第一の追跡処理手段にて追跡中の移動物体候補が存在すれば、第二の追跡処理手段に切り替えるとともに、追跡情報に基づき、第一の追跡処理手段にて追跡中の移動物体候補に付与された識別番号と同一の識別番号のテンプレートを用いて移動物体の追跡を行う移動物体追跡装置を提供する。
【００１５】
かかる態様により、背景差分処理法で抽出した背景差分領域を移動物体候補として識別番号を付与するとともに、背景差分領域に基づいてテンプレートを生成し、同一の識別番号を付与して管理することにより、照明変動等の環境変動の発生したとしても、追跡処理を第一の追跡処理手段である背景差分処理法から第二の追跡処理手段であるテンプレートマッチング処理法に切り換えたとき、追跡中の背景差分領域と同一の識別番号を付与された
テンプレートに基づいて追跡処理を継続して行うことが可能となる。
【発明の効果】
【００１６】
本発明の移動物体追跡装置によれば、カメラにて監視領域の監視中に照明変動などが発生しても照明変動中でも途切れることなく追跡対象を継続して追跡することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る移動物体追跡装置の機能ブロック図である。
【図２】本発明に係る記憶部１０２の記憶内容の模式図である。
【図３】画像が入力されたときの追跡部１０３の処理フローチャートである。
【図４】環境変動検出手段１０４の処理フローチャートである。
【図５】背景画像更新の処理フローチャートである。
【図６】移動物体追跡処理の処理フローチャートである。
【図７】テンプレートマッチングの処理フローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明を適用した移動物体追跡装置を、その好ましい一実施形態に基づいて、図を参照しながら説明する。
【００１９】
図１は、移動物体追跡装置１０の機能ブロック図である。移動物体追跡装置１０は、入力された画像中に捉えた移動物体の追跡を行う装置である。例えば、監視カメラシステムの一部として用いられることにより、監視領域内を移動する人物などを追跡し、その移動パターンなどから異常を検出する用途に用いることができる。
【００２０】
移動物体追跡装置１０は、カメラ１５０やその他記録装置などから画像が順次入力される画像入力部１０１と、追跡された移動物体の位置などを記憶する記憶部１０２と、移動物体の追跡処理を行う追跡部１０３と、監視領域の照明変動等を検出する環境変動検出部１０４、移動物体が滞留している等の異常状態を判定する判定部１０５と、モニタに追跡した結果を出力する出力部１０６とを備えており、これらの処理は制御部１００により制御される。
【００２１】
移動物体追跡装置１０のハードウェア構成は、例えば、中央演算装置（ＣＰＵ）、数値演算プロセッサ、ＲＯＭまたはＲＡＭなどの半導体メモリ、磁気記録媒体または光記録媒体、入出力インターフェースなどから構成することができる。
【００２２】
画像入力部１０１には、カメラ１５０が接続されている。カメラ１５０がアナログカメラの場合は、アナログ信号である画像をデジタル信号の画像データに変換して取り込む。なお、デジタル画像を出力するカメラが接続されていれば、このようなＡ／Ｄ変換機能は必要ない。
【００２３】
カメラ１５０は、１秒間に２フレームなど所定の時間間隔にて撮像して、画像を画像入力部１０１に出力する。また、画像の撮像に用いる波長帯としては、可視光波長または赤外線波長などの具体的な用途に応じて選択される。
【００２４】
なお、カメラ１５０は、１つの移動物体が他の移動物体などの後方に隠れて完全に見えなくなることを防止する観点から、監視領域を上方から撮影できるように、部屋の天井から下向きに設置することが好ましい。
【００２５】
環境変動検出部１０４は、監視領域内で発生した環境変動の発生を検出する。本実施形態では、環境変動として特に照明変動の発生を検出する例について説明する。環境変動検出部１０４は照明変動の発生を画像処理により検出する。具体的には、入力画像と背景画像を比較して、その類似度が所定値以上か否かに基づいて照明変動の有無を判定している。
【００２６】
判定部１０５は、記憶部１０２の追跡情報に基づいて、滞留している移動物体の存在などを判定する手段である。例えば、追跡情報における同一移動物体が、所定フレーム数（例えば、１０００フレーム）にわたって連続または断続的に追跡されていれば、滞留している移動物体であると判定する。
【００２７】
出力部１０６は、図示していないモニタに接続されており、判定部１０５が滞留している移動物体が存在していると判定した場合に、画像とともに滞留移動物体の抽出信号を出力する。なお、出力先は、モニタに限らず、通信回線を介して遠隔の監視装置に出力するようにしても良い。
【００２８】
制御部１００は、記憶部１０２に記憶されているプログラムや各種パラメータに基づいて、上述した各構成要素の処理を実行する。
【００２９】
次に追跡部１０３について説明する。追跡部１０３は、入力画像から抽出した移動物体の追跡処理を行う本願の移動物体追跡装置の主要部であり、追跡処理切替手段１０７、背景画像設定手段１０８、背景差分処理手段１０９、テンプレートマッチング処理手段１１０からなる。
【００３０】
追跡処理切替手段１０７は、入力画像から抽出した移動物体を追跡する処理を適宜切り替える。本実施の形態では、移動物体を追跡する処理手段として、背景差分処理手段１０９とテンプレートマッチング処理手段１１０があり、この２つの処理を、環境変動検出手段１０４による監視領域の照明変動検出結果、記憶部１０２に記憶された背景画像の安定度に基づいて、適宜切り替える。
【００３１】
背景画像設定手段１０８は、背景差分処理に用いる背景画像の設定や入力画像と背景画像との類似度などに応じて記憶部に記憶されている背景画像の追加、更新、又は各背景画像に対する安定フラグの付与などを行う。
【００３２】
背景差分処理手段１０９は、入力画像と背景画像の差分を検出して、移動物体の抽出及び追跡処理を行う。背景差分処理手段１０９は、差分領域抽出手段１０９１、ラベリング手段１０９２、トラッキング手段１０９３からなる。本実施形態の移動物体追跡装置においては、通常時は、この背景差分処理手段１０９により入力画像から抽出した移動物体の追跡処理を行い、照明変動等の環境変動を検出すると、テンプレートマッチング処理手段１１０によるテンプレートマッチング処理により移動物体の追跡処理が行われる。
【００３３】
通常時即ち、入力画像が安定している場合に、テンプレートマッチング処理を用いず、背景差分処理法を用いるのは、背景差分処理法の方が安定して移動物体を抽出できるのと、処理量が少ないためである。以下背景差分処理手段１０９の各構成要素について説明する。
【００３４】
差分領域抽出手段１０９１は、監視領域内に侵入した人物などによって、入力画像と背景画像との間で輝度変動を生じた背景差分領域を抽出する。
そのために、差分領域抽出手段１０９１は、カメラ１５０から取得した最新の入力画像と背景画像の互いに対応する画素同士の差分値を算出し、差分画像を生成する。そして、差分領域抽出手段１０９１は、生成した差分画像に含まれる各画素の輝度値を所定のしきい値と比較して、輝度値の変動が閾値以上となる背景差分領域を抽出した差分２値画像Ｂ(x,y)を生成する。ここで、所定の閾値は、例えば、差分画像の輝度値に関して、最小値からの累積ヒストグラムが、差分画像全体の累積ヒストグラムに対して所定の比率（例えば、７０％）となったときの輝度値とすることができる。また所定の閾値は、差分画像の輝度値の平均値に、所定のバイアス値を加えた値としてもよい。
【００３５】
さらに、差分領域抽出手段１０９１は、モルフォロジー演算の膨張・収縮処理、または微小面積除外のフィルタリング処理を差分２値画像Ｂ(x,y)に対して行い、ノイズを除去することが好ましい。
【００３６】
ラベリング手段１０９２は、差分領域抽出手段１０９１で得られた差分２値画像Ｂ(x,y)に対してラベリング処理を行い、独立した背景差分領域、すなわち、互いに連結されない背景差分領域ごとにラベルを付す。なお、ラベリング処理は公知の技術を用いて行うことができるので、ここでは詳細な説明を省略する。その後、ラベリング手段１０９２は、独立した背景差分領域ごとに、面積、すなわち、その領域に含まれる画素数を算出する。そして、ラベリング手段１０９２は、算出した面積が予め設定した面積閾値以上の背景差分領域を、以降の処理の対象となる移動物体として管理番号である「移動物体番号」を付与して、その重心位置、面積とともに、後述の記憶部１０２に記憶する。一方、ラベリング手段１０９２は、その面積が面積閾値未満の背景差分領域については、ノイズにより生じた領域と判断して削除し、以降の追跡対象としない。
【００３７】
トラッキング手段１０９３は、最新の差分２値画像Ｂt(x,y)において注目する移動物体と、１フレーム前の時刻t-1に取得された入力画像から求めた差分２値画像Ｂt-1(x,y)に含まれる移動物体のうち、同一の物体によると考えられる移動物体を関係付ける。そのためにトラッキング手段１０９３は、最新の差分２値画像Ｂt(x,y)から、注目する移動物体の重心位置Gt(x,y)及び面積を求める。次に、トラッキング手段１０９３は、記憶部１０２に記憶された１フレーム前の差分２値画像Ｂt-1(x,y)に含まれる各移動物体mの重心Gmt-1(x,y)（ただし、mは各移動物体を表す移動物体番号であり、例えば、m=1,2,..）を参照する。
そして、トラッキング手段１０９３は、Gt(x,y)と各Gmt-1(x,y)の距離ΔGmを求める。トラッキング手段１０９３は、１フレーム前の差分２値画像Ｂt-1(x,y)に含まれる移動物体のうち、その距離ΔGmの値が人の移動速度から想定される最大移動距離よりも小さく、且つその面積が注目する物体候補領域に最も近いものを、最新の差分２値画像Ｂt(x,y)の注目する移動物体と同一の物体によるものとし、それらの移動物体に同一の参照番号（移動物体番号）を付する。
なお、トラッキング手段１０９３は、他のトラッキング方法を用いて、同一の物体による、最新の入力画像に対する移動物体と過去に取得された入力画像に対する移動物体を関連付けてもよい。
【００３８】
次に、本実施形態における他の追跡処理を行うテンプレートマッチング処理手段１１０について説明する。テンプレートマッチング処理手段１１０は、予め生成したテンプレートを用いて入力画像中からテンプレートと類似する領域を移動物体として抽出する処理であり、テンプレートマッチング処理手段１１０はテンプレート生成手段１１０１と、画像領域抽出手段１１０２、画像補償手段１１０３からなる。
本実施形態では、環境変動検出手段１０４が監視領域内の照明変動を検出すると、追跡処理切替手段１０７が移動物体の追跡処理を背景差分処理から本テンプレートマッチング処理に切り替えるとともに入力画像を照明補償して、移動物体の追跡を継続する。
【００３９】
ここで照明変動が発生したときにテンプレートマッチング処理に切り替える理由について説明する。前述のように移動物体の抽出は背景差分処理法の方が安定度に優れ、処理負荷も少ない。しかし、照明変動により入力画像が不安定な状態となった場合は、背景差分処理はできなくなる。これはテンプレートマッチングの処理も同様であるが、入力画像を補償して輝度値を変化前の画像に近似した画像にすることでテンプレートマッチング処理は実行可能となる。一方、背景差分処理では照明補償しても全ての画素で正確に補正できるわけではないため、移動物体以外の領域まで背景差分領域として抽出してしまい実行が、困難である。
【００４０】
以下、テンプレートマッチング処理手段１１０の各部構成について詳細に説明する。
テンプレート生成手段１１０１は、背景差分処理手段１０９より背景差分領域が抽出される毎に、当該背景差分領域を用いて、移動物体の特徴が反映されたテンプレートを生成する。すなわち、テンプレート生成手段１１０１は、背景差分処理手段１０９が抽出した背景差分領域に現れた移動物体を円形状で近似し、円形状の半径・輝度・色などの特徴をテンプレートの属性情報として取得する。また、この際に、画像上における円形状の重心位置をテンプレート位置として取得し、これらの情報を後述する記憶部１０２における追跡情報のうち、当該背景差分領域に付与された移動物体番号に対応する記憶領域のテンプレート情報として記憶する。
【００４１】
なお、本実施の形態では、移動物体が変形してもその形をその都度変えなくても済む円形のテンプレートを用いているが、背景差分領域の外接矩形や背景差分領域そのものの形状などを適宜用いても良い。
【００４２】
本実施の形態では、テンプレートの更新は毎フレーム行うこととしているが、一定のフレーム間隔をあけて更新する方法、追跡評価値が減少したことを検出して更新する方法などを採用しても良い。
【００４３】
一方、入力画像で照明変動が生じて入力画像が不安定な間は、背景差分処理が行われない。そこで、この場合はテンプレートマッチングにより追跡処理を行った結果の領域を、そのまま入力画像のテンプレートとして用い、円形状の輝度や色などの属性情報を取得する。
【００４４】
画像領域抽出手段１１０２は、記憶部１０２に記憶している追跡情報の履歴に基づき、移動物体ごとに入力画像における予測位置を求め、入力画像におけるテンプレートの予測位置近傍の所定範囲をテンプレートとのパターンマッチング法にて探索し、追跡評価値が最大となる位置を特定する手段である。
【００４５】
画像領域抽出手段１１０２では、まず、移動物体ごとに追跡情報の過去数フレームにおける背景差分領域の重心座標の推移から、当該移動物体の速度ベクトルを移動平均法にて予測算出する。そして、１フレーム前のテンプレートの重心位置に速度ベクトル分移動した位置を、入力画像でのテンプレートの予測位置として設定する。
【００４６】
なお、速度ベクトルを予測算出する方法については、時系列解析で一般的に用いられる線形予測やカルマンフィルタなどを用いることも可能である。
【００４７】
また、画像領域抽出手段１１０２でパターンマッチング法にて探索する範囲は、本実施の形態では処理を簡単にするため設定した固定のものとするが、移動物体の運動に応じてダイナミックに変更させても良い。ダイナミックに変更させる場合には、一般に移動物体の速度が大きいほど予測とのずれが大きくなることが予想されるため、速度が大きいほど上記探索範囲を広く取る方法が好ましい。
【００４８】
なお、追跡評価値の最大値が所定の閾値を超えていないと、追跡対象である移動物体が入力画像上に存在しないとの判定を行う。この場合の所定閾値とは、１フレーム前のテンプレートと同等のテンプレートが入力画像に含まれているとの判断ができる程度の追跡評価値を採用する。具体的な値は、追跡対象や撮影環境などの諸条件に応じて適宜決定される。
【００４９】
画像領域抽出手段１１０２で用いられるテンプレートマッチングの方法としては、パターンマッチング法に限らず、ヒストグラムマッチング法などの公知の方法を用いることができる。
【００５０】
次に、追跡評価値の具体的な算出方法について説明する。すなわち、入力画像中の座標（ｘ、ｙ）における追跡評価値ｓ（ｘ、ｙ）は、［数１］に示すように、テンプレートと入力画像の対応する領域との差の絶対値の逆数にて求める。ここで、Ｓはテンプレートの面積、Ｉ（ｘ、ｙ）は入力画像、Ｐ（ｘ、ｙ）はテンプレートのそれぞれ輝度または色を表し、分母の和はテンプレート内の全ての画素について求める。εはゼロで割ることを避けるための適当な定数である。
【００５１】
【数１】
【００５２】
ヒストグラムマッチング法を用いる場合は、追跡評価値ｓ（ｘ、ｙ）は、テンプレートの色（または輝度）ヒストグラムと入力画像の対応する領域の色（または輝度）のヒストグラムを用い、［数２］にて求める。
【００５３】
【数２】
ここで、入力画像のヒストグラムを［数３］、テンプレートのヒストグラムを［数４］のようにおいた。
【００５４】
【数３】
【数４】
【００５５】
Ｍはヒストグラムのビンの数であり、ヒストグラムの全ビンにわたって和を求める。ビンとは、ヒストグラムの各階調である。例えば２５６階調を８階調に量子化する場合には、そのヒストグラムは８ビンとなる。
【００５６】
いずれの場合も、追跡評価値ｓ（ｘ、ｙ）が大きいほどテンプレートと入力画像は類似していることになる。
【００５７】
以上の処理で、入力画像でのテンプレートの位置が求まる。尚、前述のようにテンプレートマッチング処理が行われるときは、照明変動により入力画像が不安定となり背景差分処理手段による追跡処理が出来ない場合である。従って、テンプレートマッチング処理で移動物体の追跡処理を行っている間は、後述する記憶部１０２には入力画像から背景差分領域が抽出されないため、入力画像が安定して再び背景差分処理手段による追跡処理に戻したときに、過去の移動体の追跡情報がないと継続して移動物体の追跡ができない。従って本実施の形態では、テンプレートマッチング処理で求めた移動体情報と、１フレーム前の背景差分領域に基づく情報から、入力画像における背景差分領域に基づく情報を推定する。
【００５８】
具体的には、テンプレートのマッチング処理を実行中の画像の背景差分領域の情報として、位置情報（重心座標）をテンプレートの位置情報（重心座標）から取得し、面積等の属性情報は、１フレーム前の背景差分領域の情報から取得して用いる。
これにより、テンプレートマッチング処理から背景差分処理に戻してもテンプレート情報等から推定した背景差分領域に基づいて移動物体の追跡処理を継続して行うことが可能となる。
【００５９】
画像補償手段１１０３は、環境変動検出手段１０４が監視領域内の照明変動を検出して移動物体の追跡処理を背景差分処理からテンプレートマッチング処理に切り替えたときに、背景画像が安定になるまでの間、入力画像を照明変動の直前に用いていた背景画像と比較し、入力画像の輝度値を補償する。
【００６０】
具体的には、照明変動前の背景画像の各画素の画素値を、Ｉｒｅｆ（ｘ，ｙ）とし、照明変動後の入力画像の各画素の画素値を、Ｉｉｎ（ｘ，ｙ）とした場合に、全ての画素において、照明変動前後の画素値の比率Ｉｒｅｆ（ｘ，ｙ）／Ｉｉｎ（ｘ，ｙ）を求め、比率を配列に格納する（ただし、変化前後のいずれかで画素値が０の場合は、その画素は除く）。次に格納された比率の配列をソートし、中間値Ｐを求める。
次に入力画像の各画素の画素値を、Ｉ’ｉｎ（ｘ，ｙ） ＝ Ｐ × Ｉｉｎ（ｘ，ｙ）の関係式で補正する（ただし、Ｉ’ｉｎ（ｘ，ｙ）の値が画像の２５５を超える場合は、Ｉ’ｉｎ（ｘ，ｙ）＝２５５とする）。
【００６１】
次に、記憶部１０２について、図２を参照して説明する。図２は、記憶部１０２の記憶内容を示す図である。図２（ａ）に示すように記憶部１０２は、追跡情報１０２１、背景画像１０２２を少なくとも記憶している。なお、図示していないが、その他にプログラム・各種パラメータ・ワークエリア・入力画像などが記憶される。
【００６２】
図２（ｂ）は、追跡情報１０２１の具体的な内容を示している。追跡情報１０２１は、移動物体番号１０２３と各移動物体の追跡情報１０２４を関連付けて記憶している。移動物体番号１０２３は、背景差分領域として抽出された移動物体に対してユニークに付与される番号であって、移動物体が入力画像から初めて抽出されたときに付与される。したがって、移動物体番号１０２３は、追跡中の移動物体に対し同一の番号が付与され、複数の移動物体を追跡中は、それぞれの移動物体にユニークに移動物体番号が付与される。
【００６３】
各移動物体の追跡情報１０２４の内容を図２（ｃ）に示す。各移動物体の追跡情報１０２４は、背景差分処理手段１０９により追跡処理を行うための背景差分領域情報１０２５と、テンプレートマッチング処理手段１１０により追跡処理を行うためのテンプレート情報１０２６を記憶している。
【００６４】
背景差分領域情報１０９は、差分領域抽出手段１０９１により抽出された過去数フレームにわたる背景差分領域の情報として、領域の重心座標の他、移動体属性として、移動体の面積などの属性情報を記憶している。
【００６５】
また、テンプレート情報１０２６には、テンプレート生成手段１１０１で生成されたテンプレートの重心座標やその他のテンプレートの属性情報として、半径、輝度、色などの情報を記憶している。
【００６６】
本実施の形態では、テンプレートマッチングを行う場合、一つの移動物体に単一のテンプレートを採用しているが、複数種類のテンプレートを採用することも可能である。この場合、各移動物体の追跡情報は複数のテンプレート情報を記憶することになる。
【００６７】
上述のように、追跡情報１０２４として移動物体番号に関連づけて、背景差分処理とテンプレートマッチング処理の異なる追跡処理に関する追跡情報を記憶させることで、いずれかの追跡処理で移動物体を追跡中に他の追跡処理に切り換えたときでも追跡情報を元に継続して同一の移動物体の追跡が可能となる。
【００６８】
図２（ｄ）は、この背景画像１０２２の具体的内容を示している。背景画像１０２２は、カメラ１５０の視野内に移動体が存在しない状態にて撮影された画像である。背景画像は、記憶部１０２に背景画像ＩＤ１０２７に関連づけて複数記憶され、入力画像等により適宜更新される。背景差分処理を行うときに用いる背景画像が背景画像設定手段１０８により「現背景画像」として設定され、本実施形態では入力画像と最も類似する背景画像が「現背景画像」として設定される。
【００６９】
入力画像と現背景画像の類似度は毎フレーム判定され、現背景画像として設定された背景画像が、次フレームでも連続して現背景画像として設定されると背景画像継続カウンタ１０３０がカウントアップされる。
この背景画像継続カウンタ１０３０は他の背景画像が現背景画像として選択されるとリセットされて０となる。そして新たに現背景画像として選択された他の背景画像に対する背景画像継続カウンタがカウントアップされる。即ち、この背景画像継続カウンタが０でない背景画像が「現背景画像」であることがわかる。
【００７０】
さらに、各背景画像には安定か否かを示す安定フラグ１０２９が付与されている。これは、背景継続カウンタが所定値以上場合に現背景画像を安定として、安定フラグ１０２９が付与される。この安定フラグ１０２９は背景画像の安定度を示す指標として用いられる。
【００７１】
以上、本実施形態の移動物体追跡装置１０の構成について説明した。
次に、移動物体追跡装置１０の移動物体追跡処理について、図３から図７のフローチャートを参照しながら説明する。図３から図７はカメラから画像が入力されたときの追跡部１０３の処理を示すフローチャートである。図４は、図３における照明変動検出のフローチャートである。図５は背景画像設定・更新のフローチャートである。図６は移動物体追跡時の物体抽出手段選択の詳細を説明したフローチャートである。図７は、テンプレートマッチングのフローチャートである。
【００７２】
図３において、先ず、移動物体追跡装置１０の電源が投入され、カメラ１５０から画像が画像入力部１０１から入力されると、入力された画像を背景画像の初期値として設定し記憶部１０２の空き領域に記憶する（ステップＳ０１）。
【００７３】
次に、初期設定として、照明変動検出フラグをＯＦＦ、背景画像継続カウンタを０、安定フラグを０にリセットする（ステップＳ０２）。
照明変動検出フラグは入力された画像から照明変動を検出するとＯＮになり、背景画像が安定するとＯＦＦになるフラグである。
【００７４】
初期設定が完了すると、カメラから入力される画像に対して移動物体の抽出、追跡処理が開始される（ステップＳ０３）。
また、このとき追跡中の移動物体が有る場合は、記憶部１０２における対応する移動体の追跡情報において、背景差分領域情報を１フレーム分ずつ過去の領域に移動する。すなわち、入力画像についての情報を１フレーム前の領域に、１フレーム前の領域に格納されていた情報は２フレーム前の領域に移動していく。
なお、カメラ１５０は、所定の間隔で１フレームごとの画像を撮像し画像入力部１０１に入力する。
【００７５】
ステップＳ０４では、監視領域で環境変動が発生したか否かを判定する処理が行われる。尚、ここでは照明変動が発生したか否かを判定する。ステップＳ０４の処理はサブルーチン化されており、詳細については、後述する。
【００７６】
ステップＳ０５では、入力画像と背景画像と差分を計算し、背景差分領域の有無を算出する。ただし、ステップＳ０４で照明変動を検知している場合は背景差分処理は行わない。
背景差分領域の算出方法については前述の通りである。
ここで背景差分領域を移動物体と判定した場合は、ラベリング手段１０９２によりラベルリングされ、記憶部１０２に記憶される。
【００７７】
次にステップＳ０６では、追跡中の移動物体があるか否かが判定される。具体的には記憶部に前フレーム以前に移動物体が記憶されているか否かを判定する。
最初に移動物体を抽出した場合は、追跡中の移動物体はないため、ステップＳ０６−ＮＯでステップＳ０８のテンプレート生成処理に進む。この処理は照明変動の検出の有無にかかわらず行われる。
追跡中の移動物体がある場合は、ステップＳ０６−ＹＥＳでステップＳ０７の移動物体追跡処理に進む。
【００７８】
ステップＳ０７では、移動物体追跡処理が行われる。ここではステップＳ０５の照明変動検出処理の結果、及び背景差分処理に用いる背景画像の安定性に基づいて移動物体抽出処理が選択される。ステップＳ０７の移動物体追跡処理はサブルーチン化されており、詳細は後述する。
また、入力画像にて抽出された背景差分領域の中で、追跡成功しなかった領域は初めて現れた追跡対象なので、記憶部１０２の追跡情報に追加記憶させる。
【００７９】
ステップＳ０８では、テンプレート生成処理が行われる。テンプレートの生成方法は前述したとおりである。テンプレート生成処理はステップＳ０５の背景差分処理において抽出された背景差分領域に基づきテンプレートを生成する処理である。従って、背景差分領域が抽出されていない場合は、何もせずステップＳ０９へ進む。テンプレートは毎フレーム更新される。
【００８０】
ステップＳ０９では判定部１０５により移動物体追跡処理を継続するか否かが判定される。
これは例えば、警備センタや防災センタにて、追跡中の不審者をモニタにより観察中の警備員等が手動により、追跡処理の中止操作を行う場合は、ステップＳ０９−ＮＯにより追跡処理が終了される。追跡処理を継続する場合は、ステップＳ０９−ＹＥＳでステップＳ０３の画像入力に戻る。
【００８１】
次に照明変動の検出処理について説明する。本実施形態では、環境変動検出手段１０４により、入力画像と「現背景画像」の類似度が小さい場合に照明変動が発生したと判定している。以下、図４のフローチャートを用いて説明する。
【００８２】
まずステップＳ０６１では、現在背景画像として設定されている背景画像と入力画像との類似度を算出する。類似度は、入力画像と背景画像を直接比較して求めることができる。例えば、入力画像と背景画像を対応する画素同士で比較し、輝度値の比の絶対値が所定値以上の画素の累計値を類似度とすることができる。即ち、累計値が少ないほど類似度が高いことになる。
【００８３】
また、類似度は、ステップＳ０５の背景差分処理で求めた差分２値画像を算出される際に同時に求めるようにしてよい。即ち、算出された差分２値画像で変化があったとされた画素の累計値を求め、これを類似度とすることもできる。
【００８４】
次に、ステップＳ６２では、類似度として算出された変化画素の累計値が予め設定した閾値以下か否かを判定する。ここでは照明変動の有無を判定しているので、この閾値は背景差分領域を移動物体と判断する面積の閾値よりもはるかに大きな値が設定される（例えば全画素数の８割程度）。入力画像に人物が写っていても、照明変動が発生していない場合は類似していると判定される。入力画像が背景画像と類似していないと判定された場合は、ステップＳ６３では、背景画像の更新処理が行われるとともに、照明変動が発生したとして、ステップＳ６４で照明変動検出フラグがＯＮに設定される。背景画像の更新処理については後述する。
【００８５】
一方、ステップＳ６２で入力画像と背景画像が類似すると判定された場合は、ステップＳ６５へ進む。ステップＳ６５では背景画像の継続カウンタをカウントアップする。ステップＳ６６では、背景画像の継続カウントが所定の閾値Ｔ２以上か否かを判定する。閾値Ｔ２を超えていればステップＳ６７へ進む、現背景画像の安定フラグをＯＮにする。ステップＳ６８では照明検出フラグをＯＦＦに設定する。
【００８６】
次に、ステップＳ６４の背景画像設定処理について図６のフローチャートを用いて説明する。本処理は追跡部１０３を構成する背景画像設定手段１０８により実施される。
【００８７】
まず、ステップＳ０６７１では、記憶部１０２に記憶されている「現背景画像」以外の他の背景画像と入力画像の類似度を計算する。
【００８８】
次に、ステップＳ０６７２で、ステップＳ０６７１で計算した各背景画像と入力画像との類似度の中から最大値を求め、当該最大値に対応する背景画像を選択する。
【００８９】
ステップＳ０６７３では、ステップＳ０６７２で求めた最大類似度が所定閾値Ｔ１以上か否かを判定する。この閾値は、前述のＳ０６２の判定に用いた閾値と同じ値とすることができる。最大類似度が所定閾値Ｔ１以上の場合はステップＳ０６７５に進む。
これは、設定されている「現背景画像」とは異なる背景画像で、入力画像と類似する背景画像が記憶部１０２に記憶されているか否かを判定する処理となる。
【００９０】
ステップＳ０６７３で現背景画像とは異なる背景画像で、入力画像に類似する背景画像が存在する場合は、ステップＳ０６７５に進み、当該背景画像を背景差分処理に用いる新たな「現背景画像」として設定する。
そして、ステップＳ０６７６に進み、「現背景画像」が更新されたので、更新前の「現背景画像」に対する背景画像継続カウンタをリセットし、新たに設定された「現背景画像」に対する背景画像継続カウンタに１がカウントされる。
【００９１】
一方、ステップＳ０６７３で選択された背景画像の類似度が所定閾値Ｔ１未満の場合、ステップＳ０６７４に進む。ステップＳ０６７４では、入力画像を記憶部１０２に記憶し、当該入力画像を新たな「現背景画像」に設定する。この場合は、入力画像に類似する背景画像が記憶部１０２に記憶されていない場合に相当する。尚、記憶部１０２に空き領域があれば、そのまま入力画像を新たな背景画像として追加記憶するものとし、記憶部１０２に空きがなければ、背景画像の安定度、類似度に応じて現在記憶されている背景画像を適宜置換して記憶する。
次にステップＳ０６７６に進むが、上記と同様の処理が実行される。
【００９２】
以上、環境変動検出部１０４による照明変動検出の処理について説明した。尚、本実施の形態では、画像処理により照明変動の検出を行ったが、照度センサ等を用いて照明変動を検出する環境変動検出手段１０４として用いることもできる。
【００９３】
次に図７のフローチャートを用いて移動物体追跡処理について説明する。この処理は、図４のフローチャートのステップＳ０７において記憶部１０２の追跡情報１０２１に追跡中の移動物体が記憶されている場合に実行される。
【００９４】
まず、ステップＳ０８１では、照明変動検出フラグがＯＮの状態であるか否かが判定される。照明変動検出フラグがＯＦＦであれば、ステップＳ０８５にて通常の背景差分処理に基づく移動物体のトラッキング処理が実行される。
【００９５】
またステップＳ０８１にて照明変動検出フラグがＯＮである場合、即ち監視領域に照明変動が発生したことを検知すると、追跡処理切替手段１０７は移動物体の抽出処理を背景差分処理からテンプレートマッチング処理に切り替えようとする。しかし、その前にステップＳ０８２において現在設定されている「現背景画像」に安定フラグが付与されているか否かが判定される。そして現背景画像が安定である場合は、図示しない判定手段により、テンプレートマッチング処理への切替を禁止して、ステップＳ０８５に進み、背景差分処理による移動物体抽出が継続実行される。この判定手段は、追跡処理切替手段に含まれてもよいし、個別に追加するようにしてもよい。
【００９６】
これは例えば、照明変動の発生を検知し、入力画像と類似度の大きい背景画像で現背景画像が更新され（図５のステップＳ０６７５）、かつ現背景画像が安定の場合である。即ち、照明変動が発生したが、入力画像が照明変動直後に安定した画像となった場合である。この場合は、入力画像が安定しているので背景差分処理を実行することが可能であり、テンプレートマッチングに切り替える必要がない。本実施形態では、上述のように入力画像が安定かどうかを設定されている現背景画像が安定か否かで判定している。
【００９７】
ステップＳ０８２において現背景画像が安定でないと判定された場合は、ステップＳ０８３において入力画像の補償処理を行う。これは、次のステップＳ０８４のテンプレートマッチング処理の前処理に相当する。
【００９８】
入力画像の照明補償処理を行うと、次にステップＳ０８４のテンプレートマッチング処理を行う。ステップＳ０８４の処理はサブルーチン化されており、図７のフローチャートを用いて詳細に説明する。
【００９９】
記憶部１０２に記憶されている追跡情報１０２１を参照し、１フレーム前に追跡中だった全ての追跡移動体のテンプレートに対して、ステップＳ０８４１からＳ０８４３の処理を行う。
【０１００】
ステップＳ０８４１では、処理対象であるテンプレートについて予測処理を行なう。すなわち、処理対象であるテンプレートの入力画像での移動先の予測位置を求める。なお、本実施の形態では、処理対象の決定を移動体番号の若い順にて決定することにしている。
【０１０１】
ステップＳ０８４２では、画像領域抽出手段１１０２により、予測位置周辺の所定領域をテンプレートのマッチング処理にて探索し、追跡評価値を算出するとともに、追跡評価値が最大となっている位置を特定する。追跡評価値及び追跡評価値が最大となっている位置を記憶部１０２に一時記憶しておく。
【０１０２】
また、ステップＳ０８４２では、画像領域抽出手段１１０２により、追跡評価値の最大値が所定の閾値を超えていないと、追跡対象である移動物体が入力画像上に存在しないと判定されるので、追跡評価値及び追跡評価値が最大となっている位置を記憶しない。
【０１０３】
１フレーム前に追跡中だった全ての追跡移動体のテンプレートに対して、処理が終わると、ステップＳ０８４３に進む。
尚、本実施の形態では、１フレーム前に追跡情報にあるテンプレートのみを対象としているが、これに限らず過去数フレームにおけるテンプレートを対象としても良い。これにより、１フレームだけで追跡できなかったが、数フレームを見れば追跡できるテンプレートを追跡できるようになる。
【０１０４】
ステップＳ０８４３では、テンプレート生成手段１１０１により、記憶部１０２に追跡評価値の最大となった位置が記憶されているテンプレートが追跡成功したものであるので、当該位置における入力画像からテンプレート属性を抽出し、追跡評価値が最大となった位置をテンプレート位置とし、新たなテンプレート情報として上書きする。また、追跡情報の背景差分領域情報は、１フレーム前の情報をそのままコピーし、重心座標のみテンプレートの移動ベクトルと同じだけ移動したものとする。
【０１０５】
本発明に好適な実施の形態は、これまでに説明してきたものに限られるものではない。以下に述べるように、他の方法を採用することもできる。
【０１０６】
テンプレート生成手段１１０１において、背景差分法以外にも、追跡対象である移動物体の特徴を事前に学習し、その特徴に基づき入力画像から部分画像を切り出して、テンプレートを生成する方法でも良い。その場合には、事前学習された移動物体の特徴量を記憶部１０２に記憶しておく。
【０１０７】
ステップＳ０８２において、画像領域抽出手段１１０２が行う処理として、平均シフト法用いることもできる。
これは、追跡評価値をテンプレートの確率密度関数として捉え、確率密度関数の勾配を用いた山登り法によって、予測点から最も近い追跡評価値の極大点を求める方法である。この方法によれば、前記テンプレートマッチングに比べて少ない演算量で高速に追跡評価値の極大点を得られることが知られている。また、この手法では類似度合いの尺度として重み付きの色ヒストグラムを用いることが一般的であるが、前記エッジ強度・方向のヒストグラムを用いても良い。
【０１０８】
以上、本願発明の移動物体追跡装置に係る好適な実施形態について説明した。本発明の移動物体追跡装置は、本実施形態に限定されるものではなく、他の態様についても実施可能である。
【０１０９】
例えば、監視領域の変動検出の対象として、照明変動だけでなく他の環境変動を対象にすることも可能である。具体的には、屋外に設置したカメラが突風により揺れる場合や、屋内外に設置したカメラが地震等による揺れにより入力画像が不安定な状態になる場合を環境変動の対象とし、入力画像と背景画像との類似度から捉える環境変動対象とすることも可能である。この場合も環境変動の検出として入力画像と背景画像の類似度を用いて判定することが可能であるし、既存の揺れ検出技術を応用することもできる。また、照明変動時と異なり入力画像の輝度値を補正する必要はない。
【符号の説明】
【０１１０】
１０・・・・移動物体追跡装置
１００・・・制御部
１０１・・・画像入力部
１０２・・・記憶部
１０３・・・追跡部
１０４・・・環境変動検出部
１０７・・・追跡処理切替手段
１０８・・・背景画像設定手段
１０９・・・背景差分処理手段
１１０・・・テンプレートマッチング処理手段
１５０・・・カメラ
【技術分野】
【０００１】
本発明は、画像監視により監視領域内の移動物体を追跡監視する移動物体追跡装置に関し、特に、監視領域内に発生した照明変動等の環境変動により入力画像が不安定な状態である場合にも追跡中の移動物体を見失うことなく継続して追跡が可能な移動物体追跡装置に関する。
【背景技術】
【０００２】
従来、監視装置の一部として画像中の移動物体を追跡する移動物体追跡装置が用いられている。監視装置は、オフィス内のサーバルーム、銀行の現金自動預け払い機コーナーなどに、主に防犯を目的として設置されている。この場合には、移動物体追跡装置が追跡する対象物は、追跡領域内を移動する人物等である。
【０００３】
このような監視装置において画像中の移動物体を追跡する手法として、特許文献１には、予め記憶した背景画像と現在の入力画像との差分をとることにより物体を抽出する背景差分法により移動物体を追跡する方法が開示されている。また特許文献２には、一時刻前の画像で抽出した移動物体をテンプレートとして、現在時刻の入力画像からテンプレートに類似する領域を抽出する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１８０７４９号公報
【特許文献２】特開２００９−０４８４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような監視装置が設置される環境は、通常時は省電のため照明をオフに設定し、人の出入があると人感センサが作動して照明がオンになるような運用となっている場合が多い。このような環境では、監視領域に設置されたカメラの撮像範囲は人感センサの検知範囲よりも広いのが通常であるため、監視領域に人が進入すると、照明がオフの状態でも完全に暗い環境でない限り、前述の背景差分法やテンプレートマッチング法による移動物体が抽出され、追跡が開始される。
【０００６】
しかし、移動物体追跡中に人感センサが検出して照明がオンになると、画像の明るさや色合いが大きく変化するため、背景差分法による移動物体の抽出が困難となる。
照明オン時の背景画像も予め記憶していれば、照明がオンとなった後、入力画像が安定すると、背景差分法やテンプレートマッチング法による移動物体の追跡が可能となる。
ただし、照明オン直後は、カメラ内で露光調整がされるため、入力画像が安定するまで不安定なフレームが数フレームあり、特に移動物体が複数存在する場合など、照明変動前後の移動物体の関連付けが困難となる。そして、結果として移動物体の追跡に失敗するおそれがある。
【０００７】
そこで、本発明は、かかる課題を解決するため、画像監視中に照明変動等が発生して、入力画像が不安定な状態となったとしても、移動物体の追跡を継続して可能とする移動物体追跡装置の実現を目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は、監視領域内を撮像して順次入力される入力画像から移動物体を抽出し、移動物体を追跡する移動物体追跡装置であって、
監視領域内の環境変動を検出する環境変動検出手段と、入力画像が安定か否かを判定する判定手段と、監視領域内に移動物体が存在しないときの入力画像を背景画像として設定する背景画像設定手段と、背景画像を記憶する記憶手段と、背景差分処理を用いて移動物体の追跡処理を行う背景差分処理手段と、テンプレートマッチング処理を用いて移動物体の追跡処理を行うテンプレートマッチング処理手段とを備え、通常時は背景差分処理手段にて移動物体の追跡処理を行い、環境変動検出手段が監視領域内の環境変動を検出すると、
入力画像が安定か否かを判定し、安定でないと判定した場合に、背景差分処理手段による移動物体の追跡処理を前記テンプレートマッチング処理に切替える移動物体追跡装置を提供する。
かかる態様により、監視領域内に環境変動が発生し、カメラ等から入力される入力画像が不安定な間は、追跡処理を切り替えることにより、移動物体を確実に抽出し、追跡処理を継続させることが可能となる。
【０００９】
また、背景画像設定手段は、入力画像と設定された背景画像が所定期間以上類似すると安定であることを示す安定度情報を背景画像に付与して記憶手段に記憶させ、環境変動検出手段が環境変動を検出しても、設定されている背景画像が安定であると判定した場合は、入力画像が安定であるとして移動物体の追跡処理を切り替えない。
【００１０】
さらに、記憶手段には異なる時刻で設定された背景画像が複数記憶されており、
背景画像設定手段は、入力画像が入力されると、設定されている背景画像との類似度を求め、複数の背景画像の中から入力画像と最も類似するものを背景画像として設定する。
この処理は、入力画像と設定された背景画像の類似度が所定以下の場合、即ち、入力画像と背景画像が似ていない場合に記憶手段の他の背景画像との類似度を求めるようにしてもよい。設定されている背景画像が入力画像と類似していなくても、記憶手段に入力画像と類似する他の背景画像が存在すれば、当該背景画像を新たに設定する。
これは、上記環境変動手段にて監視領域の変動が検出されたとしても、背景画像の更新処理を行い、新たに設定された背景画像が安定であれば、入力画像は安定として追跡処理の切り換えを行わないようにするものである。
【００１１】
また、移動物体の追跡処理がテンプレートマッチング処理手段に切替られた後に、入力画像が不安定な状態から安定になることが確認できると、移動物体の追跡処理を背景差分処理手段に戻す。
【００１２】
また、本発明において環境変動検出手段は、入力画像が現背景画像に類似しない場合に監視領域内に照明変動が発生したと判定する。
【００１３】
そして、移動物体の追跡処理がテンプレートマッチング処理手段に切り替えられると、入力画像を変動検知前の背景画像の輝度値に近くなるように補正する照明補償手段を有する。
これにより照明変動が発生しても入力画像を補正することによりテンプレートマッチング処理による追跡が可能となる。
【００１４】
本発明の他の態様として、監視領域内を撮像して順次入力される入力画像から移動物体を抽出し、移動物体を追跡する移動物体追跡装置であって、監視領域内の環境変動を検出する環境変動検出手段と、監視領域内に移動物体が存在しないときの入力画像を背景画像として記憶させる背景画像設定手段と、背景画像を記憶する記憶手段と、入力画像と背景画像を比較して抽出した背景差分領域に識別番号を付与して背景差分領域の位置情報とともに追跡情報として記憶手段に記憶する差分領域抽出手段と、背景差分領域からテンプレートを生成し、当該テンプレートに背景差分領域と同一の識別番号を付与して、テンプレートの位置情報とともに追跡情報に追加記憶させるテンプレート生成手段と、追跡情報に基づき異なる時刻の入力画像から抽出された背景差分領域同士を同一移動物体候補とし、同一の識別番号を付与して追跡処理を行う第一の追跡処理手段と、入力画像から追跡情報に記憶されたテンプレートに類似する画像領域を前記背景差分領域と同一の移動物体候補として同一の識別番号を付与して追跡処理を行う第二の追跡処理手段とを有し、第一の追跡処理手段にて移動物体の追跡中に、環境変動検出手段が監視領域内の環境変動を検出すると、第一の追跡処理手段にて追跡中の移動物体候補が存在すれば、第二の追跡処理手段に切り替えるとともに、追跡情報に基づき、第一の追跡処理手段にて追跡中の移動物体候補に付与された識別番号と同一の識別番号のテンプレートを用いて移動物体の追跡を行う移動物体追跡装置を提供する。
【００１５】
かかる態様により、背景差分処理法で抽出した背景差分領域を移動物体候補として識別番号を付与するとともに、背景差分領域に基づいてテンプレートを生成し、同一の識別番号を付与して管理することにより、照明変動等の環境変動の発生したとしても、追跡処理を第一の追跡処理手段である背景差分処理法から第二の追跡処理手段であるテンプレートマッチング処理法に切り換えたとき、追跡中の背景差分領域と同一の識別番号を付与された
テンプレートに基づいて追跡処理を継続して行うことが可能となる。
【発明の効果】
【００１６】
本発明の移動物体追跡装置によれば、カメラにて監視領域の監視中に照明変動などが発生しても照明変動中でも途切れることなく追跡対象を継続して追跡することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る移動物体追跡装置の機能ブロック図である。
【図２】本発明に係る記憶部１０２の記憶内容の模式図である。
【図３】画像が入力されたときの追跡部１０３の処理フローチャートである。
【図４】環境変動検出手段１０４の処理フローチャートである。
【図５】背景画像更新の処理フローチャートである。
【図６】移動物体追跡処理の処理フローチャートである。
【図７】テンプレートマッチングの処理フローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明を適用した移動物体追跡装置を、その好ましい一実施形態に基づいて、図を参照しながら説明する。
【００１９】
図１は、移動物体追跡装置１０の機能ブロック図である。移動物体追跡装置１０は、入力された画像中に捉えた移動物体の追跡を行う装置である。例えば、監視カメラシステムの一部として用いられることにより、監視領域内を移動する人物などを追跡し、その移動パターンなどから異常を検出する用途に用いることができる。
【００２０】
移動物体追跡装置１０は、カメラ１５０やその他記録装置などから画像が順次入力される画像入力部１０１と、追跡された移動物体の位置などを記憶する記憶部１０２と、移動物体の追跡処理を行う追跡部１０３と、監視領域の照明変動等を検出する環境変動検出部１０４、移動物体が滞留している等の異常状態を判定する判定部１０５と、モニタに追跡した結果を出力する出力部１０６とを備えており、これらの処理は制御部１００により制御される。
【００２１】
移動物体追跡装置１０のハードウェア構成は、例えば、中央演算装置（ＣＰＵ）、数値演算プロセッサ、ＲＯＭまたはＲＡＭなどの半導体メモリ、磁気記録媒体または光記録媒体、入出力インターフェースなどから構成することができる。
【００２２】
画像入力部１０１には、カメラ１５０が接続されている。カメラ１５０がアナログカメラの場合は、アナログ信号である画像をデジタル信号の画像データに変換して取り込む。なお、デジタル画像を出力するカメラが接続されていれば、このようなＡ／Ｄ変換機能は必要ない。
【００２３】
カメラ１５０は、１秒間に２フレームなど所定の時間間隔にて撮像して、画像を画像入力部１０１に出力する。また、画像の撮像に用いる波長帯としては、可視光波長または赤外線波長などの具体的な用途に応じて選択される。
【００２４】
なお、カメラ１５０は、１つの移動物体が他の移動物体などの後方に隠れて完全に見えなくなることを防止する観点から、監視領域を上方から撮影できるように、部屋の天井から下向きに設置することが好ましい。
【００２５】
環境変動検出部１０４は、監視領域内で発生した環境変動の発生を検出する。本実施形態では、環境変動として特に照明変動の発生を検出する例について説明する。環境変動検出部１０４は照明変動の発生を画像処理により検出する。具体的には、入力画像と背景画像を比較して、その類似度が所定値以上か否かに基づいて照明変動の有無を判定している。
【００２６】
判定部１０５は、記憶部１０２の追跡情報に基づいて、滞留している移動物体の存在などを判定する手段である。例えば、追跡情報における同一移動物体が、所定フレーム数（例えば、１０００フレーム）にわたって連続または断続的に追跡されていれば、滞留している移動物体であると判定する。
【００２７】
出力部１０６は、図示していないモニタに接続されており、判定部１０５が滞留している移動物体が存在していると判定した場合に、画像とともに滞留移動物体の抽出信号を出力する。なお、出力先は、モニタに限らず、通信回線を介して遠隔の監視装置に出力するようにしても良い。
【００２８】
制御部１００は、記憶部１０２に記憶されているプログラムや各種パラメータに基づいて、上述した各構成要素の処理を実行する。
【００２９】
次に追跡部１０３について説明する。追跡部１０３は、入力画像から抽出した移動物体の追跡処理を行う本願の移動物体追跡装置の主要部であり、追跡処理切替手段１０７、背景画像設定手段１０８、背景差分処理手段１０９、テンプレートマッチング処理手段１１０からなる。
【００３０】
追跡処理切替手段１０７は、入力画像から抽出した移動物体を追跡する処理を適宜切り替える。本実施の形態では、移動物体を追跡する処理手段として、背景差分処理手段１０９とテンプレートマッチング処理手段１１０があり、この２つの処理を、環境変動検出手段１０４による監視領域の照明変動検出結果、記憶部１０２に記憶された背景画像の安定度に基づいて、適宜切り替える。
【００３１】
背景画像設定手段１０８は、背景差分処理に用いる背景画像の設定や入力画像と背景画像との類似度などに応じて記憶部に記憶されている背景画像の追加、更新、又は各背景画像に対する安定フラグの付与などを行う。
【００３２】
背景差分処理手段１０９は、入力画像と背景画像の差分を検出して、移動物体の抽出及び追跡処理を行う。背景差分処理手段１０９は、差分領域抽出手段１０９１、ラベリング手段１０９２、トラッキング手段１０９３からなる。本実施形態の移動物体追跡装置においては、通常時は、この背景差分処理手段１０９により入力画像から抽出した移動物体の追跡処理を行い、照明変動等の環境変動を検出すると、テンプレートマッチング処理手段１１０によるテンプレートマッチング処理により移動物体の追跡処理が行われる。
【００３３】
通常時即ち、入力画像が安定している場合に、テンプレートマッチング処理を用いず、背景差分処理法を用いるのは、背景差分処理法の方が安定して移動物体を抽出できるのと、処理量が少ないためである。以下背景差分処理手段１０９の各構成要素について説明する。
【００３４】
差分領域抽出手段１０９１は、監視領域内に侵入した人物などによって、入力画像と背景画像との間で輝度変動を生じた背景差分領域を抽出する。
そのために、差分領域抽出手段１０９１は、カメラ１５０から取得した最新の入力画像と背景画像の互いに対応する画素同士の差分値を算出し、差分画像を生成する。そして、差分領域抽出手段１０９１は、生成した差分画像に含まれる各画素の輝度値を所定のしきい値と比較して、輝度値の変動が閾値以上となる背景差分領域を抽出した差分２値画像Ｂ(x,y)を生成する。ここで、所定の閾値は、例えば、差分画像の輝度値に関して、最小値からの累積ヒストグラムが、差分画像全体の累積ヒストグラムに対して所定の比率（例えば、７０％）となったときの輝度値とすることができる。また所定の閾値は、差分画像の輝度値の平均値に、所定のバイアス値を加えた値としてもよい。
【００３５】
さらに、差分領域抽出手段１０９１は、モルフォロジー演算の膨張・収縮処理、または微小面積除外のフィルタリング処理を差分２値画像Ｂ(x,y)に対して行い、ノイズを除去することが好ましい。
【００３６】
ラベリング手段１０９２は、差分領域抽出手段１０９１で得られた差分２値画像Ｂ(x,y)に対してラベリング処理を行い、独立した背景差分領域、すなわち、互いに連結されない背景差分領域ごとにラベルを付す。なお、ラベリング処理は公知の技術を用いて行うことができるので、ここでは詳細な説明を省略する。その後、ラベリング手段１０９２は、独立した背景差分領域ごとに、面積、すなわち、その領域に含まれる画素数を算出する。そして、ラベリング手段１０９２は、算出した面積が予め設定した面積閾値以上の背景差分領域を、以降の処理の対象となる移動物体として管理番号である「移動物体番号」を付与して、その重心位置、面積とともに、後述の記憶部１０２に記憶する。一方、ラベリング手段１０９２は、その面積が面積閾値未満の背景差分領域については、ノイズにより生じた領域と判断して削除し、以降の追跡対象としない。
【００３７】
トラッキング手段１０９３は、最新の差分２値画像Ｂt(x,y)において注目する移動物体と、１フレーム前の時刻t-1に取得された入力画像から求めた差分２値画像Ｂt-1(x,y)に含まれる移動物体のうち、同一の物体によると考えられる移動物体を関係付ける。そのためにトラッキング手段１０９３は、最新の差分２値画像Ｂt(x,y)から、注目する移動物体の重心位置Gt(x,y)及び面積を求める。次に、トラッキング手段１０９３は、記憶部１０２に記憶された１フレーム前の差分２値画像Ｂt-1(x,y)に含まれる各移動物体mの重心Gmt-1(x,y)（ただし、mは各移動物体を表す移動物体番号であり、例えば、m=1,2,..）を参照する。
そして、トラッキング手段１０９３は、Gt(x,y)と各Gmt-1(x,y)の距離ΔGmを求める。トラッキング手段１０９３は、１フレーム前の差分２値画像Ｂt-1(x,y)に含まれる移動物体のうち、その距離ΔGmの値が人の移動速度から想定される最大移動距離よりも小さく、且つその面積が注目する物体候補領域に最も近いものを、最新の差分２値画像Ｂt(x,y)の注目する移動物体と同一の物体によるものとし、それらの移動物体に同一の参照番号（移動物体番号）を付する。
なお、トラッキング手段１０９３は、他のトラッキング方法を用いて、同一の物体による、最新の入力画像に対する移動物体と過去に取得された入力画像に対する移動物体を関連付けてもよい。
【００３８】
次に、本実施形態における他の追跡処理を行うテンプレートマッチング処理手段１１０について説明する。テンプレートマッチング処理手段１１０は、予め生成したテンプレートを用いて入力画像中からテンプレートと類似する領域を移動物体として抽出する処理であり、テンプレートマッチング処理手段１１０はテンプレート生成手段１１０１と、画像領域抽出手段１１０２、画像補償手段１１０３からなる。
本実施形態では、環境変動検出手段１０４が監視領域内の照明変動を検出すると、追跡処理切替手段１０７が移動物体の追跡処理を背景差分処理から本テンプレートマッチング処理に切り替えるとともに入力画像を照明補償して、移動物体の追跡を継続する。
【００３９】
ここで照明変動が発生したときにテンプレートマッチング処理に切り替える理由について説明する。前述のように移動物体の抽出は背景差分処理法の方が安定度に優れ、処理負荷も少ない。しかし、照明変動により入力画像が不安定な状態となった場合は、背景差分処理はできなくなる。これはテンプレートマッチングの処理も同様であるが、入力画像を補償して輝度値を変化前の画像に近似した画像にすることでテンプレートマッチング処理は実行可能となる。一方、背景差分処理では照明補償しても全ての画素で正確に補正できるわけではないため、移動物体以外の領域まで背景差分領域として抽出してしまい実行が、困難である。
【００４０】
以下、テンプレートマッチング処理手段１１０の各部構成について詳細に説明する。
テンプレート生成手段１１０１は、背景差分処理手段１０９より背景差分領域が抽出される毎に、当該背景差分領域を用いて、移動物体の特徴が反映されたテンプレートを生成する。すなわち、テンプレート生成手段１１０１は、背景差分処理手段１０９が抽出した背景差分領域に現れた移動物体を円形状で近似し、円形状の半径・輝度・色などの特徴をテンプレートの属性情報として取得する。また、この際に、画像上における円形状の重心位置をテンプレート位置として取得し、これらの情報を後述する記憶部１０２における追跡情報のうち、当該背景差分領域に付与された移動物体番号に対応する記憶領域のテンプレート情報として記憶する。
【００４１】
なお、本実施の形態では、移動物体が変形してもその形をその都度変えなくても済む円形のテンプレートを用いているが、背景差分領域の外接矩形や背景差分領域そのものの形状などを適宜用いても良い。
【００４２】
本実施の形態では、テンプレートの更新は毎フレーム行うこととしているが、一定のフレーム間隔をあけて更新する方法、追跡評価値が減少したことを検出して更新する方法などを採用しても良い。
【００４３】
一方、入力画像で照明変動が生じて入力画像が不安定な間は、背景差分処理が行われない。そこで、この場合はテンプレートマッチングにより追跡処理を行った結果の領域を、そのまま入力画像のテンプレートとして用い、円形状の輝度や色などの属性情報を取得する。
【００４４】
画像領域抽出手段１１０２は、記憶部１０２に記憶している追跡情報の履歴に基づき、移動物体ごとに入力画像における予測位置を求め、入力画像におけるテンプレートの予測位置近傍の所定範囲をテンプレートとのパターンマッチング法にて探索し、追跡評価値が最大となる位置を特定する手段である。
【００４５】
画像領域抽出手段１１０２では、まず、移動物体ごとに追跡情報の過去数フレームにおける背景差分領域の重心座標の推移から、当該移動物体の速度ベクトルを移動平均法にて予測算出する。そして、１フレーム前のテンプレートの重心位置に速度ベクトル分移動した位置を、入力画像でのテンプレートの予測位置として設定する。
【００４６】
なお、速度ベクトルを予測算出する方法については、時系列解析で一般的に用いられる線形予測やカルマンフィルタなどを用いることも可能である。
【００４７】
また、画像領域抽出手段１１０２でパターンマッチング法にて探索する範囲は、本実施の形態では処理を簡単にするため設定した固定のものとするが、移動物体の運動に応じてダイナミックに変更させても良い。ダイナミックに変更させる場合には、一般に移動物体の速度が大きいほど予測とのずれが大きくなることが予想されるため、速度が大きいほど上記探索範囲を広く取る方法が好ましい。
【００４８】
なお、追跡評価値の最大値が所定の閾値を超えていないと、追跡対象である移動物体が入力画像上に存在しないとの判定を行う。この場合の所定閾値とは、１フレーム前のテンプレートと同等のテンプレートが入力画像に含まれているとの判断ができる程度の追跡評価値を採用する。具体的な値は、追跡対象や撮影環境などの諸条件に応じて適宜決定される。
【００４９】
画像領域抽出手段１１０２で用いられるテンプレートマッチングの方法としては、パターンマッチング法に限らず、ヒストグラムマッチング法などの公知の方法を用いることができる。
【００５０】
次に、追跡評価値の具体的な算出方法について説明する。すなわち、入力画像中の座標（ｘ、ｙ）における追跡評価値ｓ（ｘ、ｙ）は、［数１］に示すように、テンプレートと入力画像の対応する領域との差の絶対値の逆数にて求める。ここで、Ｓはテンプレートの面積、Ｉ（ｘ、ｙ）は入力画像、Ｐ（ｘ、ｙ）はテンプレートのそれぞれ輝度または色を表し、分母の和はテンプレート内の全ての画素について求める。εはゼロで割ることを避けるための適当な定数である。
【００５１】
【数１】
【００５２】
ヒストグラムマッチング法を用いる場合は、追跡評価値ｓ（ｘ、ｙ）は、テンプレートの色（または輝度）ヒストグラムと入力画像の対応する領域の色（または輝度）のヒストグラムを用い、［数２］にて求める。
【００５３】
【数２】
ここで、入力画像のヒストグラムを［数３］、テンプレートのヒストグラムを［数４］のようにおいた。
【００５４】
【数３】
【数４】
【００５５】
Ｍはヒストグラムのビンの数であり、ヒストグラムの全ビンにわたって和を求める。ビンとは、ヒストグラムの各階調である。例えば２５６階調を８階調に量子化する場合には、そのヒストグラムは８ビンとなる。
【００５６】
いずれの場合も、追跡評価値ｓ（ｘ、ｙ）が大きいほどテンプレートと入力画像は類似していることになる。
【００５７】
以上の処理で、入力画像でのテンプレートの位置が求まる。尚、前述のようにテンプレートマッチング処理が行われるときは、照明変動により入力画像が不安定となり背景差分処理手段による追跡処理が出来ない場合である。従って、テンプレートマッチング処理で移動物体の追跡処理を行っている間は、後述する記憶部１０２には入力画像から背景差分領域が抽出されないため、入力画像が安定して再び背景差分処理手段による追跡処理に戻したときに、過去の移動体の追跡情報がないと継続して移動物体の追跡ができない。従って本実施の形態では、テンプレートマッチング処理で求めた移動体情報と、１フレーム前の背景差分領域に基づく情報から、入力画像における背景差分領域に基づく情報を推定する。
【００５８】
具体的には、テンプレートのマッチング処理を実行中の画像の背景差分領域の情報として、位置情報（重心座標）をテンプレートの位置情報（重心座標）から取得し、面積等の属性情報は、１フレーム前の背景差分領域の情報から取得して用いる。
これにより、テンプレートマッチング処理から背景差分処理に戻してもテンプレート情報等から推定した背景差分領域に基づいて移動物体の追跡処理を継続して行うことが可能となる。
【００５９】
画像補償手段１１０３は、環境変動検出手段１０４が監視領域内の照明変動を検出して移動物体の追跡処理を背景差分処理からテンプレートマッチング処理に切り替えたときに、背景画像が安定になるまでの間、入力画像を照明変動の直前に用いていた背景画像と比較し、入力画像の輝度値を補償する。
【００６０】
具体的には、照明変動前の背景画像の各画素の画素値を、Ｉｒｅｆ（ｘ，ｙ）とし、照明変動後の入力画像の各画素の画素値を、Ｉｉｎ（ｘ，ｙ）とした場合に、全ての画素において、照明変動前後の画素値の比率Ｉｒｅｆ（ｘ，ｙ）／Ｉｉｎ（ｘ，ｙ）を求め、比率を配列に格納する（ただし、変化前後のいずれかで画素値が０の場合は、その画素は除く）。次に格納された比率の配列をソートし、中間値Ｐを求める。
次に入力画像の各画素の画素値を、Ｉ’ｉｎ（ｘ，ｙ） ＝ Ｐ × Ｉｉｎ（ｘ，ｙ）の関係式で補正する（ただし、Ｉ’ｉｎ（ｘ，ｙ）の値が画像の２５５を超える場合は、Ｉ’ｉｎ（ｘ，ｙ）＝２５５とする）。
【００６１】
次に、記憶部１０２について、図２を参照して説明する。図２は、記憶部１０２の記憶内容を示す図である。図２（ａ）に示すように記憶部１０２は、追跡情報１０２１、背景画像１０２２を少なくとも記憶している。なお、図示していないが、その他にプログラム・各種パラメータ・ワークエリア・入力画像などが記憶される。
【００６２】
図２（ｂ）は、追跡情報１０２１の具体的な内容を示している。追跡情報１０２１は、移動物体番号１０２３と各移動物体の追跡情報１０２４を関連付けて記憶している。移動物体番号１０２３は、背景差分領域として抽出された移動物体に対してユニークに付与される番号であって、移動物体が入力画像から初めて抽出されたときに付与される。したがって、移動物体番号１０２３は、追跡中の移動物体に対し同一の番号が付与され、複数の移動物体を追跡中は、それぞれの移動物体にユニークに移動物体番号が付与される。
【００６３】
各移動物体の追跡情報１０２４の内容を図２（ｃ）に示す。各移動物体の追跡情報１０２４は、背景差分処理手段１０９により追跡処理を行うための背景差分領域情報１０２５と、テンプレートマッチング処理手段１１０により追跡処理を行うためのテンプレート情報１０２６を記憶している。
【００６４】
背景差分領域情報１０９は、差分領域抽出手段１０９１により抽出された過去数フレームにわたる背景差分領域の情報として、領域の重心座標の他、移動体属性として、移動体の面積などの属性情報を記憶している。
【００６５】
また、テンプレート情報１０２６には、テンプレート生成手段１１０１で生成されたテンプレートの重心座標やその他のテンプレートの属性情報として、半径、輝度、色などの情報を記憶している。
【００６６】
本実施の形態では、テンプレートマッチングを行う場合、一つの移動物体に単一のテンプレートを採用しているが、複数種類のテンプレートを採用することも可能である。この場合、各移動物体の追跡情報は複数のテンプレート情報を記憶することになる。
【００６７】
上述のように、追跡情報１０２４として移動物体番号に関連づけて、背景差分処理とテンプレートマッチング処理の異なる追跡処理に関する追跡情報を記憶させることで、いずれかの追跡処理で移動物体を追跡中に他の追跡処理に切り換えたときでも追跡情報を元に継続して同一の移動物体の追跡が可能となる。
【００６８】
図２（ｄ）は、この背景画像１０２２の具体的内容を示している。背景画像１０２２は、カメラ１５０の視野内に移動体が存在しない状態にて撮影された画像である。背景画像は、記憶部１０２に背景画像ＩＤ１０２７に関連づけて複数記憶され、入力画像等により適宜更新される。背景差分処理を行うときに用いる背景画像が背景画像設定手段１０８により「現背景画像」として設定され、本実施形態では入力画像と最も類似する背景画像が「現背景画像」として設定される。
【００６９】
入力画像と現背景画像の類似度は毎フレーム判定され、現背景画像として設定された背景画像が、次フレームでも連続して現背景画像として設定されると背景画像継続カウンタ１０３０がカウントアップされる。
この背景画像継続カウンタ１０３０は他の背景画像が現背景画像として選択されるとリセットされて０となる。そして新たに現背景画像として選択された他の背景画像に対する背景画像継続カウンタがカウントアップされる。即ち、この背景画像継続カウンタが０でない背景画像が「現背景画像」であることがわかる。
【００７０】
さらに、各背景画像には安定か否かを示す安定フラグ１０２９が付与されている。これは、背景継続カウンタが所定値以上場合に現背景画像を安定として、安定フラグ１０２９が付与される。この安定フラグ１０２９は背景画像の安定度を示す指標として用いられる。
【００７１】
以上、本実施形態の移動物体追跡装置１０の構成について説明した。
次に、移動物体追跡装置１０の移動物体追跡処理について、図３から図７のフローチャートを参照しながら説明する。図３から図７はカメラから画像が入力されたときの追跡部１０３の処理を示すフローチャートである。図４は、図３における照明変動検出のフローチャートである。図５は背景画像設定・更新のフローチャートである。図６は移動物体追跡時の物体抽出手段選択の詳細を説明したフローチャートである。図７は、テンプレートマッチングのフローチャートである。
【００７２】
図３において、先ず、移動物体追跡装置１０の電源が投入され、カメラ１５０から画像が画像入力部１０１から入力されると、入力された画像を背景画像の初期値として設定し記憶部１０２の空き領域に記憶する（ステップＳ０１）。
【００７３】
次に、初期設定として、照明変動検出フラグをＯＦＦ、背景画像継続カウンタを０、安定フラグを０にリセットする（ステップＳ０２）。
照明変動検出フラグは入力された画像から照明変動を検出するとＯＮになり、背景画像が安定するとＯＦＦになるフラグである。
【００７４】
初期設定が完了すると、カメラから入力される画像に対して移動物体の抽出、追跡処理が開始される（ステップＳ０３）。
また、このとき追跡中の移動物体が有る場合は、記憶部１０２における対応する移動体の追跡情報において、背景差分領域情報を１フレーム分ずつ過去の領域に移動する。すなわち、入力画像についての情報を１フレーム前の領域に、１フレーム前の領域に格納されていた情報は２フレーム前の領域に移動していく。
なお、カメラ１５０は、所定の間隔で１フレームごとの画像を撮像し画像入力部１０１に入力する。
【００７５】
ステップＳ０４では、監視領域で環境変動が発生したか否かを判定する処理が行われる。尚、ここでは照明変動が発生したか否かを判定する。ステップＳ０４の処理はサブルーチン化されており、詳細については、後述する。
【００７６】
ステップＳ０５では、入力画像と背景画像と差分を計算し、背景差分領域の有無を算出する。ただし、ステップＳ０４で照明変動を検知している場合は背景差分処理は行わない。
背景差分領域の算出方法については前述の通りである。
ここで背景差分領域を移動物体と判定した場合は、ラベリング手段１０９２によりラベルリングされ、記憶部１０２に記憶される。
【００７７】
次にステップＳ０６では、追跡中の移動物体があるか否かが判定される。具体的には記憶部に前フレーム以前に移動物体が記憶されているか否かを判定する。
最初に移動物体を抽出した場合は、追跡中の移動物体はないため、ステップＳ０６−ＮＯでステップＳ０８のテンプレート生成処理に進む。この処理は照明変動の検出の有無にかかわらず行われる。
追跡中の移動物体がある場合は、ステップＳ０６−ＹＥＳでステップＳ０７の移動物体追跡処理に進む。
【００７８】
ステップＳ０７では、移動物体追跡処理が行われる。ここではステップＳ０５の照明変動検出処理の結果、及び背景差分処理に用いる背景画像の安定性に基づいて移動物体抽出処理が選択される。ステップＳ０７の移動物体追跡処理はサブルーチン化されており、詳細は後述する。
また、入力画像にて抽出された背景差分領域の中で、追跡成功しなかった領域は初めて現れた追跡対象なので、記憶部１０２の追跡情報に追加記憶させる。
【００７９】
ステップＳ０８では、テンプレート生成処理が行われる。テンプレートの生成方法は前述したとおりである。テンプレート生成処理はステップＳ０５の背景差分処理において抽出された背景差分領域に基づきテンプレートを生成する処理である。従って、背景差分領域が抽出されていない場合は、何もせずステップＳ０９へ進む。テンプレートは毎フレーム更新される。
【００８０】
ステップＳ０９では判定部１０５により移動物体追跡処理を継続するか否かが判定される。
これは例えば、警備センタや防災センタにて、追跡中の不審者をモニタにより観察中の警備員等が手動により、追跡処理の中止操作を行う場合は、ステップＳ０９−ＮＯにより追跡処理が終了される。追跡処理を継続する場合は、ステップＳ０９−ＹＥＳでステップＳ０３の画像入力に戻る。
【００８１】
次に照明変動の検出処理について説明する。本実施形態では、環境変動検出手段１０４により、入力画像と「現背景画像」の類似度が小さい場合に照明変動が発生したと判定している。以下、図４のフローチャートを用いて説明する。
【００８２】
まずステップＳ０６１では、現在背景画像として設定されている背景画像と入力画像との類似度を算出する。類似度は、入力画像と背景画像を直接比較して求めることができる。例えば、入力画像と背景画像を対応する画素同士で比較し、輝度値の比の絶対値が所定値以上の画素の累計値を類似度とすることができる。即ち、累計値が少ないほど類似度が高いことになる。
【００８３】
また、類似度は、ステップＳ０５の背景差分処理で求めた差分２値画像を算出される際に同時に求めるようにしてよい。即ち、算出された差分２値画像で変化があったとされた画素の累計値を求め、これを類似度とすることもできる。
【００８４】
次に、ステップＳ６２では、類似度として算出された変化画素の累計値が予め設定した閾値以下か否かを判定する。ここでは照明変動の有無を判定しているので、この閾値は背景差分領域を移動物体と判断する面積の閾値よりもはるかに大きな値が設定される（例えば全画素数の８割程度）。入力画像に人物が写っていても、照明変動が発生していない場合は類似していると判定される。入力画像が背景画像と類似していないと判定された場合は、ステップＳ６３では、背景画像の更新処理が行われるとともに、照明変動が発生したとして、ステップＳ６４で照明変動検出フラグがＯＮに設定される。背景画像の更新処理については後述する。
【００８５】
一方、ステップＳ６２で入力画像と背景画像が類似すると判定された場合は、ステップＳ６５へ進む。ステップＳ６５では背景画像の継続カウンタをカウントアップする。ステップＳ６６では、背景画像の継続カウントが所定の閾値Ｔ２以上か否かを判定する。閾値Ｔ２を超えていればステップＳ６７へ進む、現背景画像の安定フラグをＯＮにする。ステップＳ６８では照明検出フラグをＯＦＦに設定する。
【００８６】
次に、ステップＳ６４の背景画像設定処理について図６のフローチャートを用いて説明する。本処理は追跡部１０３を構成する背景画像設定手段１０８により実施される。
【００８７】
まず、ステップＳ０６７１では、記憶部１０２に記憶されている「現背景画像」以外の他の背景画像と入力画像の類似度を計算する。
【００８８】
次に、ステップＳ０６７２で、ステップＳ０６７１で計算した各背景画像と入力画像との類似度の中から最大値を求め、当該最大値に対応する背景画像を選択する。
【００８９】
ステップＳ０６７３では、ステップＳ０６７２で求めた最大類似度が所定閾値Ｔ１以上か否かを判定する。この閾値は、前述のＳ０６２の判定に用いた閾値と同じ値とすることができる。最大類似度が所定閾値Ｔ１以上の場合はステップＳ０６７５に進む。
これは、設定されている「現背景画像」とは異なる背景画像で、入力画像と類似する背景画像が記憶部１０２に記憶されているか否かを判定する処理となる。
【００９０】
ステップＳ０６７３で現背景画像とは異なる背景画像で、入力画像に類似する背景画像が存在する場合は、ステップＳ０６７５に進み、当該背景画像を背景差分処理に用いる新たな「現背景画像」として設定する。
そして、ステップＳ０６７６に進み、「現背景画像」が更新されたので、更新前の「現背景画像」に対する背景画像継続カウンタをリセットし、新たに設定された「現背景画像」に対する背景画像継続カウンタに１がカウントされる。
【００９１】
一方、ステップＳ０６７３で選択された背景画像の類似度が所定閾値Ｔ１未満の場合、ステップＳ０６７４に進む。ステップＳ０６７４では、入力画像を記憶部１０２に記憶し、当該入力画像を新たな「現背景画像」に設定する。この場合は、入力画像に類似する背景画像が記憶部１０２に記憶されていない場合に相当する。尚、記憶部１０２に空き領域があれば、そのまま入力画像を新たな背景画像として追加記憶するものとし、記憶部１０２に空きがなければ、背景画像の安定度、類似度に応じて現在記憶されている背景画像を適宜置換して記憶する。
次にステップＳ０６７６に進むが、上記と同様の処理が実行される。
【００９２】
以上、環境変動検出部１０４による照明変動検出の処理について説明した。尚、本実施の形態では、画像処理により照明変動の検出を行ったが、照度センサ等を用いて照明変動を検出する環境変動検出手段１０４として用いることもできる。
【００９３】
次に図７のフローチャートを用いて移動物体追跡処理について説明する。この処理は、図４のフローチャートのステップＳ０７において記憶部１０２の追跡情報１０２１に追跡中の移動物体が記憶されている場合に実行される。
【００９４】
まず、ステップＳ０８１では、照明変動検出フラグがＯＮの状態であるか否かが判定される。照明変動検出フラグがＯＦＦであれば、ステップＳ０８５にて通常の背景差分処理に基づく移動物体のトラッキング処理が実行される。
【００９５】
またステップＳ０８１にて照明変動検出フラグがＯＮである場合、即ち監視領域に照明変動が発生したことを検知すると、追跡処理切替手段１０７は移動物体の抽出処理を背景差分処理からテンプレートマッチング処理に切り替えようとする。しかし、その前にステップＳ０８２において現在設定されている「現背景画像」に安定フラグが付与されているか否かが判定される。そして現背景画像が安定である場合は、図示しない判定手段により、テンプレートマッチング処理への切替を禁止して、ステップＳ０８５に進み、背景差分処理による移動物体抽出が継続実行される。この判定手段は、追跡処理切替手段に含まれてもよいし、個別に追加するようにしてもよい。
【００９６】
これは例えば、照明変動の発生を検知し、入力画像と類似度の大きい背景画像で現背景画像が更新され（図５のステップＳ０６７５）、かつ現背景画像が安定の場合である。即ち、照明変動が発生したが、入力画像が照明変動直後に安定した画像となった場合である。この場合は、入力画像が安定しているので背景差分処理を実行することが可能であり、テンプレートマッチングに切り替える必要がない。本実施形態では、上述のように入力画像が安定かどうかを設定されている現背景画像が安定か否かで判定している。
【００９７】
ステップＳ０８２において現背景画像が安定でないと判定された場合は、ステップＳ０８３において入力画像の補償処理を行う。これは、次のステップＳ０８４のテンプレートマッチング処理の前処理に相当する。
【００９８】
入力画像の照明補償処理を行うと、次にステップＳ０８４のテンプレートマッチング処理を行う。ステップＳ０８４の処理はサブルーチン化されており、図７のフローチャートを用いて詳細に説明する。
【００９９】
記憶部１０２に記憶されている追跡情報１０２１を参照し、１フレーム前に追跡中だった全ての追跡移動体のテンプレートに対して、ステップＳ０８４１からＳ０８４３の処理を行う。
【０１００】
ステップＳ０８４１では、処理対象であるテンプレートについて予測処理を行なう。すなわち、処理対象であるテンプレートの入力画像での移動先の予測位置を求める。なお、本実施の形態では、処理対象の決定を移動体番号の若い順にて決定することにしている。
【０１０１】
ステップＳ０８４２では、画像領域抽出手段１１０２により、予測位置周辺の所定領域をテンプレートのマッチング処理にて探索し、追跡評価値を算出するとともに、追跡評価値が最大となっている位置を特定する。追跡評価値及び追跡評価値が最大となっている位置を記憶部１０２に一時記憶しておく。
【０１０２】
また、ステップＳ０８４２では、画像領域抽出手段１１０２により、追跡評価値の最大値が所定の閾値を超えていないと、追跡対象である移動物体が入力画像上に存在しないと判定されるので、追跡評価値及び追跡評価値が最大となっている位置を記憶しない。
【０１０３】
１フレーム前に追跡中だった全ての追跡移動体のテンプレートに対して、処理が終わると、ステップＳ０８４３に進む。
尚、本実施の形態では、１フレーム前に追跡情報にあるテンプレートのみを対象としているが、これに限らず過去数フレームにおけるテンプレートを対象としても良い。これにより、１フレームだけで追跡できなかったが、数フレームを見れば追跡できるテンプレートを追跡できるようになる。
【０１０４】
ステップＳ０８４３では、テンプレート生成手段１１０１により、記憶部１０２に追跡評価値の最大となった位置が記憶されているテンプレートが追跡成功したものであるので、当該位置における入力画像からテンプレート属性を抽出し、追跡評価値が最大となった位置をテンプレート位置とし、新たなテンプレート情報として上書きする。また、追跡情報の背景差分領域情報は、１フレーム前の情報をそのままコピーし、重心座標のみテンプレートの移動ベクトルと同じだけ移動したものとする。
【０１０５】
本発明に好適な実施の形態は、これまでに説明してきたものに限られるものではない。以下に述べるように、他の方法を採用することもできる。
【０１０６】
テンプレート生成手段１１０１において、背景差分法以外にも、追跡対象である移動物体の特徴を事前に学習し、その特徴に基づき入力画像から部分画像を切り出して、テンプレートを生成する方法でも良い。その場合には、事前学習された移動物体の特徴量を記憶部１０２に記憶しておく。
【０１０７】
ステップＳ０８２において、画像領域抽出手段１１０２が行う処理として、平均シフト法用いることもできる。
これは、追跡評価値をテンプレートの確率密度関数として捉え、確率密度関数の勾配を用いた山登り法によって、予測点から最も近い追跡評価値の極大点を求める方法である。この方法によれば、前記テンプレートマッチングに比べて少ない演算量で高速に追跡評価値の極大点を得られることが知られている。また、この手法では類似度合いの尺度として重み付きの色ヒストグラムを用いることが一般的であるが、前記エッジ強度・方向のヒストグラムを用いても良い。
【０１０８】
以上、本願発明の移動物体追跡装置に係る好適な実施形態について説明した。本発明の移動物体追跡装置は、本実施形態に限定されるものではなく、他の態様についても実施可能である。
【０１０９】
例えば、監視領域の変動検出の対象として、照明変動だけでなく他の環境変動を対象にすることも可能である。具体的には、屋外に設置したカメラが突風により揺れる場合や、屋内外に設置したカメラが地震等による揺れにより入力画像が不安定な状態になる場合を環境変動の対象とし、入力画像と背景画像との類似度から捉える環境変動対象とすることも可能である。この場合も環境変動の検出として入力画像と背景画像の類似度を用いて判定することが可能であるし、既存の揺れ検出技術を応用することもできる。また、照明変動時と異なり入力画像の輝度値を補正する必要はない。
【符号の説明】
【０１１０】
１０・・・・移動物体追跡装置
１００・・・制御部
１０１・・・画像入力部
１０２・・・記憶部
１０３・・・追跡部
１０４・・・環境変動検出部
１０７・・・追跡処理切替手段
１０８・・・背景画像設定手段
１０９・・・背景差分処理手段
１１０・・・テンプレートマッチング処理手段
１５０・・・カメラ
【特許請求の範囲】
【請求項１】
監視領域内を撮像して順次入力される入力画像から移動物体を抽出し、前記移動物体を追跡する移動物体追跡装置であって、
前記監視領域内の環境変動を検出する環境変動検出手段と、
前記入力画像が安定か否かを判定する判定手段と、
前記監視領域内に移動物体が存在しないときの入力画像を背景画像として設定する背景画像設定手段と
前記背景画像を記憶する記憶手段と、
背景差分処理を用いて移動物体の追跡処理を行う背景差分処理手段と、
テンプレートマッチング処理を用いて移動物体の追跡処理を行うテンプレートマッチング処理手段とを備え、
通常時は前記背景差分処理手段にて移動物体の追跡処理を行い、
前記環境変動検出手段が前記監視領域内の環境変動を検出したとき、
前記判定手段が、前記入力画像が安定でないと判定した場合に、
前記背景差分処理手段による移動物体の追跡処理を前記テンプレートマッチング処理に切替えることを特徴とする移動物体追跡装置。
【請求項２】
前記背景画像設定手段は、前記入力画像と前記背景画像が所定期間以上類似すると安定であることを示す安定度情報を前記背景画像に付与して前記記憶手段に記憶させ、
前記判定手段は、前記環境変動検出手段が前記環境変動を検出したとき、前記設定されている背景画像が安定である場合に、前記入力画像が安定であるとして前記移動物体の追跡処理を切り替えないことを特徴とする請求項１の移動物体追跡装置。
【請求項３】
前記記憶手段には異なる時刻の背景画像が複数記憶され、
前記背景画像設定手段は、前記複数の背景画像の中から前記入力画像と最も類似するものを背景画像として設定する請求項２の移動物体追跡装置。
【請求項４】
前記移動物体追跡装置は、前記移動物体の追跡処理が前記テンプレートマッチング処理手段に切替られた後に、前記入力画像が安定になると、前記移動物体の追跡処理を前記背景差分処理手段に戻すことを特徴とする請求項１乃至３の移動物体追跡装置。
【請求項５】
前記環境変動検出手段は、前記入力画像が前記現背景画像に類似しない場合に前記監視領域内に照明変動が発生したと判定する請求項１乃至４の移動物体追跡装置。
【請求項６】
前記移動物体追跡装置は、
前記移動物体の追跡処理が前記テンプレートマッチング処理手段に切り替えられると、
前記入力画像を前記変動検知前の前記背景画像の輝度値に近くなるように補正する照明補償手段を有することを特徴とする請求項５に記載の移動物体追跡装置。
【請求項７】
監視領域内を撮像して順次入力される入力画像から移動物体を抽出し、前記移動物体を追跡する移動物体追跡装置であって、
前記監視領域内の環境変動を検出する環境変動検出手段と、
前記監視領域内に移動物体が存在しないときの入力画像を背景画像として記憶させる背景画像設定手段と、
前記背景画像を記憶する記憶手段と、
前記入力画像と前記背景画像を比較して抽出した背景差分領域に識別番号を付与して前記背景差分領域の位置情報とともに追跡情報として前記記憶手段に記憶する差分領域抽出手段と、
前記背景差分領域からテンプレートを生成し、当該テンプレートに前記背景差分領域と同一の識別番号を付与して、テンプレートの位置情報とともに前記追跡情報に追加記憶させるテンプレート生成手段と、
前記追跡情報に基づき異なる時刻の入力画像から抽出された前記背景差分領域同士を同一移動物体候補とし、同一の識別番号を付与して追跡処理を行う第一の追跡処理手段と、
前記入力画像から前記追跡情報に記憶されたテンプレートに類似する画像領域を前記背景差分領域と同一の移動物体候補として同一の識別番号を付与して追跡処理を行う第二の追跡処理手段とを有し、
前記第一の追跡処理手段にて移動物体の追跡中に、前記環境変動検出手段が前記監視領域内の環境変動を検出すると、前記第一の追跡処理手段にて追跡中の移動物体候補が存在すれば、
前記第二の追跡処理手段に切り替えるとともに、
前記第一の追跡処理手段にて追跡中の移動物体候補に付与された識別番号と同一の識別番号のテンプレートを用いて当該移動物体候補の追跡を行うことを特徴とする移動物体追跡装置。
【請求項１】
監視領域内を撮像して順次入力される入力画像から移動物体を抽出し、前記移動物体を追跡する移動物体追跡装置であって、
前記監視領域内の環境変動を検出する環境変動検出手段と、
前記入力画像が安定か否かを判定する判定手段と、
前記監視領域内に移動物体が存在しないときの入力画像を背景画像として設定する背景画像設定手段と
前記背景画像を記憶する記憶手段と、
背景差分処理を用いて移動物体の追跡処理を行う背景差分処理手段と、
テンプレートマッチング処理を用いて移動物体の追跡処理を行うテンプレートマッチング処理手段とを備え、
通常時は前記背景差分処理手段にて移動物体の追跡処理を行い、
前記環境変動検出手段が前記監視領域内の環境変動を検出したとき、
前記判定手段が、前記入力画像が安定でないと判定した場合に、
前記背景差分処理手段による移動物体の追跡処理を前記テンプレートマッチング処理に切替えることを特徴とする移動物体追跡装置。
【請求項２】
前記背景画像設定手段は、前記入力画像と前記背景画像が所定期間以上類似すると安定であることを示す安定度情報を前記背景画像に付与して前記記憶手段に記憶させ、
前記判定手段は、前記環境変動検出手段が前記環境変動を検出したとき、前記設定されている背景画像が安定である場合に、前記入力画像が安定であるとして前記移動物体の追跡処理を切り替えないことを特徴とする請求項１の移動物体追跡装置。
【請求項３】
前記記憶手段には異なる時刻の背景画像が複数記憶され、
前記背景画像設定手段は、前記複数の背景画像の中から前記入力画像と最も類似するものを背景画像として設定する請求項２の移動物体追跡装置。
【請求項４】
前記移動物体追跡装置は、前記移動物体の追跡処理が前記テンプレートマッチング処理手段に切替られた後に、前記入力画像が安定になると、前記移動物体の追跡処理を前記背景差分処理手段に戻すことを特徴とする請求項１乃至３の移動物体追跡装置。
【請求項５】
前記環境変動検出手段は、前記入力画像が前記現背景画像に類似しない場合に前記監視領域内に照明変動が発生したと判定する請求項１乃至４の移動物体追跡装置。
【請求項６】
前記移動物体追跡装置は、
前記移動物体の追跡処理が前記テンプレートマッチング処理手段に切り替えられると、
前記入力画像を前記変動検知前の前記背景画像の輝度値に近くなるように補正する照明補償手段を有することを特徴とする請求項５に記載の移動物体追跡装置。
【請求項７】
監視領域内を撮像して順次入力される入力画像から移動物体を抽出し、前記移動物体を追跡する移動物体追跡装置であって、
前記監視領域内の環境変動を検出する環境変動検出手段と、
前記監視領域内に移動物体が存在しないときの入力画像を背景画像として記憶させる背景画像設定手段と、
前記背景画像を記憶する記憶手段と、
前記入力画像と前記背景画像を比較して抽出した背景差分領域に識別番号を付与して前記背景差分領域の位置情報とともに追跡情報として前記記憶手段に記憶する差分領域抽出手段と、
前記背景差分領域からテンプレートを生成し、当該テンプレートに前記背景差分領域と同一の識別番号を付与して、テンプレートの位置情報とともに前記追跡情報に追加記憶させるテンプレート生成手段と、
前記追跡情報に基づき異なる時刻の入力画像から抽出された前記背景差分領域同士を同一移動物体候補とし、同一の識別番号を付与して追跡処理を行う第一の追跡処理手段と、
前記入力画像から前記追跡情報に記憶されたテンプレートに類似する画像領域を前記背景差分領域と同一の移動物体候補として同一の識別番号を付与して追跡処理を行う第二の追跡処理手段とを有し、
前記第一の追跡処理手段にて移動物体の追跡中に、前記環境変動検出手段が前記監視領域内の環境変動を検出すると、前記第一の追跡処理手段にて追跡中の移動物体候補が存在すれば、
前記第二の追跡処理手段に切り替えるとともに、
前記第一の追跡処理手段にて追跡中の移動物体候補に付与された識別番号と同一の識別番号のテンプレートを用いて当該移動物体候補の追跡を行うことを特徴とする移動物体追跡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−６０１６７（Ｐ２０１１−６０１６７Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２００９−２１１４１８（Ｐ２００９−２１１４１８）
【出願日】平成２１年９月１４日（２００９．９．１４）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２１年９月１４日（２００９．９．１４）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]