物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
【課題】カメラを設置したシーンに対するパラメータを設定して物体と外乱の区別を精度よく行う。
【解決手段】画像データを取得する画像取得部と、画像データを構成する部分領域ごとに特徴量を抽出する特徴抽出部と、対象物体を含まない背景画像データから特徴抽出部により抽出された特徴量を、背景特徴量として部分領域ごとに記憶する背景特徴量記憶部と、部分領域ごとに、抽出された特徴量と背景特徴量とを比較して、部分領域のそれぞれが対象物体であるか否かを判定する第１の物体領域判定部と、第１の物体領域判定部による複数の判定結果に基づいて、部分領域ごとにパラメータを決定するパラメータ決定部と、決定されたパラメータと、第１の物体領域判定部による判定結果とに基づいて、部分領域が対象物体であるか否かを判定する第２の物体領域判定部と、を備える。
【解決手段】画像データを取得する画像取得部と、画像データを構成する部分領域ごとに特徴量を抽出する特徴抽出部と、対象物体を含まない背景画像データから特徴抽出部により抽出された特徴量を、背景特徴量として部分領域ごとに記憶する背景特徴量記憶部と、部分領域ごとに、抽出された特徴量と背景特徴量とを比較して、部分領域のそれぞれが対象物体であるか否かを判定する第１の物体領域判定部と、第１の物体領域判定部による複数の判定結果に基づいて、部分領域ごとにパラメータを決定するパラメータ決定部と、決定されたパラメータと、第１の物体領域判定部による判定結果とに基づいて、部分領域が対象物体であるか否かを判定する第２の物体領域判定部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検知装置、物体検知方法、監視カメラシステム、およびプログラムに関し、特にカメラ等の撮像装置により撮影された画像から所定の物体を検知する物体検知装置、物体検知方法、監視カメラシステム、およびプログラムに関する。
【背景技術】
【０００２】
近年、セキュリティのために監視カメラの設置が急速に普及している。また、そのようなカメラを使って、不審な人物や物体の侵入を自動的に検知する装置が提案されている。このような物体検知機能に適用可能な技術としては、予め侵入者のいないシーンを背景画像として撮影しておき、入力画像と背景画像との差分から侵入者としての物体領域を検知する方法が知られている。
【０００３】
しかしながら、背景で木の葉が揺らいでいたり、水面が揺れていたりするシーンにおいては、侵入した人物や物体を検知するだけでなく、背景部分を誤検知してしまうといった問題があった。このような課題を解決する為に、特許文献１では入力画像と背景画像との差異の時間的な変化を捉え、木の葉の揺らぎを判定する方法が提案されている。また、非特許文献１では入力画像に対応する背景画像だけでなく近傍の背景モデルとの比較も行うことで物体の侵入と外乱とを区別する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１０７４５７号公報
【非特許文献】
【０００５】
【非特許文献１】Dalley, Migdal and Grimson, “Background Subtraction for Temporally Irregular Dynamic Textures”, Workshop on Applications of Computer Vision, January 2008
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来例において精度良く物体を検知し、外乱との区別を行う為には、判定する際のパラメータを適切に定める必要がある。一方、そのようなパラメータの値はカメラを設置したシーンに依存するが、それらを適切かつ簡易に設定する方法は提案されていないという課題がある。
【０００７】
上記の課題に鑑み、本発明は、カメラを設置したシーンに最適なパラメータを設定して物体と外乱との区別を精度よく行うことを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成する本発明に係る物体検知装置は、
画像データから対象物体を検知する物体検知装置であって、
所定の視点から所定の方向を撮像した画像データを取得する画像取得手段と、
前記画像取得手段により取得された前記画像データを構成する部分領域ごとに特徴量を抽出する特徴抽出手段と、
前記画像取得手段により取得された前記対象物体を含まない背景画像データから前記特徴抽出手段により抽出された特徴量を、背景特徴量として前記部分領域ごとに記憶する背景特徴量記憶手段と、
前記部分領域ごとに、前記特徴抽出手段により抽出された特徴量と、前記背景特徴量とを比較して、当該部分領域のそれぞれが前記対象物体であるか否かを判定する第１の物体領域判定手段と、
前記第１の物体領域判定手段による複数の判定結果に基づいて、部分領域ごとにパラメータを決定するパラメータ決定手段と、
前記パラメータ決定手段により決定された前記パラメータと、前記第１の物体領域判定手段による判定結果とに基づいて、前記部分領域が前記対象物体であるか否かを判定する第２の物体領域判定手段と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、カメラを設置したシーンに最適なパラメータを設定して物体と外乱との区別を精度よく行うことが可能となる。
【００１０】
更に、画像の部分領域毎に前記パラメータを決定し、物体と外乱の区別を行うようにすることで、一つの撮影シーンに様々な誤検知要因が混在していても物体と外乱の区別を精度よく行うことが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態に係る物体検知装置の機能構成を示す図。
【図２】第１実施形態に係るパラメータ設定時の処理を示すフローチャート。
【図３】第１の物体領域判定部による判定結果の例を示す図。
【図４】第１実施形態に係る物体検知処理を示すフローチャート。
【図５】第２実施形態に係る物体検知装置の機能構成を示す図。
【図６】第２実施形態に係るパラメータ設定時の処理を示すフローチャート。
【図７】第２実施形態に係る物体検知処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
（第１実施形態）
図１を参照して、第１実施形態に係る物体検知装置の機能構成を説明する。画像取得部１０は、ビデオカメラ等の撮像部により所定の視点から所定の方向を連続して撮像した画像データを取得する。特徴抽出部２０は、画像取得部１０により取得された各フレームの画像データから部分領域毎に特徴量を抽出する。第１の物体領域判定部３０は、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている背景特徴量とを比較し、特徴量が抽出された部分領域が物体領域であるか否かを判定する。背景モデル記憶部４０は、画像取得部１０により取得された背景のみの画像データ（背景画像データ）から特徴抽出部２０により抽出された特徴量に基づいて構成される背景特徴量を、基準モデルとして記憶する（背景特徴量記憶処理）。
【００１３】
判定結果記憶部５０は、第１の物体領域判定部３０による判定結果を部分領域毎に記憶する。モデル更新部６０は、第１の物体領域判定部３０および後述の第２の物体領域判定部８０による判定結果に基づいて背景モデル記憶部４０に記憶されている背景モデルを更新する。統計量算出部７０は、判定結果記憶部５０に記憶された複数の判定結果から統計量を算出する。
【００１４】
第２の物体領域判定部８０は、統計量算出部７０により算出された統計量に基づいて、第１の物体領域判定部３０により物体領域であると判定された部分領域が、物体領域であるかまたは外乱であるかを判定する。パラメータ記憶部９０は、第２の物体領域判定部８０が判定のために用いるパラメータを部分領域毎に記憶する。
【００１５】
物体領域出力部１００は、第２の物体領域判定部８０により判定された結果を出力する。教示部１１０は、画像取得部１０により取得された画像データから検知対象とする物体を含まない範囲を入力する。統計量記憶部１２０は、統計量算出部７０により算出された統計量を記憶する。パラメータ決定部１３０は、統計量記憶部１２０に記憶された統計量に基づいて第２の物体領域判定部８０で用いるパラメータを決定する。画像記憶部２００は、画像取得部１０により取得された画像を記憶する。
【００１６】
以下、本実施形態に係る各種動作を説明する。まず、図２のフローチャートを参照して、パラメータ設定時の処理の流れを説明する。
【００１７】
まず、ステップＳ１０１において、画像取得部１０は、ビデオカメラ等の撮像部により撮像された画像データを取得する。取得された画像データは画像記憶部２００に所定フレーム分だけ記憶される。
【００１８】
ステップＳ１０２において、教示部１１０は、ユーザが教示するパラメータ設定期間を取得する。ステップＳ１０１において画像記憶部２００に記憶された画像データが不図示の表示装置に表示される。ユーザは表示された画像データを見て検知対象が写っていない範囲がどの時刻からどの時刻までであるかをパラメータ設定期間として教示する。すなわち、背景画像データはユーザにより選択される（選択受付処理）。教示部１１０は指定された期間を内部メモリに記憶しておく。なお、明らかに検知対象が存在しない状態で撮影が行われていれば、上述したようなユーザによる撮影後の範囲の教示は不要である。
【００１９】
次に、ステップＳ１０３において、画像記憶部２００に記憶された画像データに基づいて背景モデルを初期化する。まず、特徴抽出部２０は画像記憶部２００に記憶されている最初のフレームの画像データから部分領域画像を取得する。部分領域画像は、例えば、画像データを８×８画素のブロックに分割して、ブロック毎に取得される。そして、部分領域画像の特徴量を抽出する。本実施形態では、特徴量として最も簡単な輝度平均値を用いる。この他にも、部分領域画像内の各画素の輝度値をヒストグラム化したものを特徴量としてもよいし、ＲＧＢ値やエッジ方向のヒストグラムを特徴量としてもよい。また、部分領域画像にＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）処理を行った出力値であるＤＣＴ係数の一部を特徴量としてもよい。そして、モデル更新部６０は特徴抽出部２０により抽出された特徴量から部分領域毎に背景モデルを生成し、背景モデル記憶部４０に記憶する。即ち、特徴抽出部２０で部分領域毎に抽出された輝度平均値が背景モデルとして記憶される。以上の処理が所定フレーム分だけ順次繰り返して行われる。
【００２０】
なお、モデル更新部６０による第２フレーム以降の処理は、既に生成された背景モデルを更新する処理である。即ち、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている対応する部分領域の特徴量とを、所定の重みを付けて加算する。検知対象が写っていないシーンにおいては基本的には画像が変化しないので各部分領域において類似の特徴量が抽出される。そのため、更新時に背景モデルは大きく変動することはない。但し、背景が変動するような場合には対応できないので、背景モデルの特徴量が大きく変動する場合には部分領域毎に複数の背景モデルを持つように構成してもよい。
【００２１】
ステップＳ１０４において、第１の物体領域判定部３０は、部分領域毎に、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている背景モデルとを比較し、特徴量が抽出された部分領域が物体領域であるか否かを判定する。ここでは、ステップＳ１０３の処理で背景モデル初期化に使用された以降の時刻の画像データに基づいて物体領域を判定する。第１の物体領域判定部３０は、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている対応する部分領域の特徴量との差分絶対値を算出し、その結果を所定の閾値と比較する。第１の物体領域判定部３０は、閾値以上の場合は物体領域であると判定し、閾値未満の場合は背景領域であると判定する。そして、物体領域であると判定された場合「１」として、それ以外の背景領域であると判定された場合「０」として、２値の何れかの値が判定結果記憶部５０に部分領域毎に記憶される。また、この際、モデル更新部６０は、第１の物体領域判定部３０による判定結果に応じて背景モデルを更新する。即ち、背景領域であると判定された場合に、その領域の画像を用いて、ステップＳ１０３で説明した方法と同様に背景モデルを更新する。
【００２２】
以上の処理が順次繰り返して行われ、判定結果記憶部５０では部分領域毎に第１の物体領域判定部３０による判定結果が時系列に記憶される。なお、教示部１１０では検知対象とする物体を含まない画像を教示しているので、ここで物体領域とされた判定結果は全て誤判定である。
【００２３】
ステップＳ１０５において、統計量算出部７０は、判定結果記憶部５０に記憶された複数フレームの判定結果から統計量を算出する。本実施形態では、所定フレーム分連続した物体領域の判定結果を、部分領域毎に判定結果記憶部５０から取得し、その期間における物体領域と判定された結果の継続時間（フレーム連続数）を統計量として算出する。例えば、１０フレーム分の連続した判定結果が得られた時点で物体領域、即ち「１」として記憶された値の継続時間を出力する。図３にその例を示す。図３の数値はある部分領域の１０フレーム分の物体領域判定結果であり、「１」は物体領域、「０」は背景領域と判定された結果を表す。また、図３（ａ）は水面など外乱により誤判定が起こりやすい領域での判定結果の例であり、図３（ｂ）は通常の安定した背景領域での判定結果の例である。このとき、図３（ａ）の場合は統計量として継続時間「２」を１回、継続時間「１」を３回出力する。また、図３（ｂ）の場合は統計量を出力しない。統計量算出部７０は、第１の物体領域判定部３０の処理進行に従って順次統計量を算出し、統計量記憶部１２０に記憶していく。
【００２４】
ステップＳ１０４の物体領域判定処理とステップＳ１０５の統計量算出処理とが、ステップＳ１０２で教示された期間に対応するフレーム分だけ順次繰り返して行われる。すなわち、ステップＳ１０６において、全フレーム処理されたか否かが判定される。全フレームが処理されたと判定された場合（ステップＳ１０６；ＹＥＳ）、ステップＳ１０７へ進む。一方、全フレーム処理されていないと判定された場合（ステップＳ１０６；ＮＯ）、ステップＳ１０４へ戻り、次のフレームを処理する。
【００２５】
ステップＳ１０７において、パラメータ決定部１３０は、統計量記憶部１２０に記憶された統計量から第２の物体領域判定部８０で用いるパラメータを決定する。本実施形態では、統計量記憶部１２０に記憶されている継続時間のヒストグラムからパラメータの決定を部分領域毎に行う。まず、継続時間のヒストグラムを正規化する。本実施形態では、１０フレーム分の物体領域判定結果から継続時間を得ているので１から１０の各継続時間に対するカウント値の総和が１になるように各継続時間のカウント値を割合に変換する。そして、その割合が所定値よりも大きいか小さいかを判定する。そして、割合が所定値を越える最大の継続時間をパラメータとして部分領域毎にパラメータ記憶部９０に記憶する。継続時間の占める割合が所定値よりも大きい範囲を後述する第２の物体領域判定部８０による処理で「外乱」と判定するようにパラメータを求める。これにより、領域別に頻繁に短時間に発生する誤判定パターンを抑制することができる。即ち、ここでは誤判定パターンを誤判定の発生する継続時間として捉えている。
【００２６】
次に図４のフローチャートを参照して、物体検知処理の流れを説明する。
【００２７】
ステップＳ２０１において、画像取得部１０は、画像データを取得し、取得された画像データは画像取得部１０の内部メモリに記憶される。
【００２８】
ステップＳ２０２において、特徴抽出部２０は、画像取得部１０により取得された画像データから部分領域毎に特徴量を抽出する。特徴抽出は画像取得部１０に記憶されている画像データから行うが、前述したパラメータ設定時と同様の処理が行われる。
【００２９】
ステップＳ２０３において、第１の物体領域判定部３０は、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている背景モデルとを比較し、特徴量が抽出された部分領域が物体領域であるか否かを判定する。ここでは前述したパラメータ設定時のステップＳ１０４と同様の処理が行われる。
【００３０】
ステップＳ２０４において、統計量算出部７０は、判定結果記憶部５０に記憶された複数の判定結果から統計量を算出する。ここでは前述したパラメータ設定時のステップＳ１０５と同様の処理が行われるが、算出された統計量は第２の物体領域判定部８０に出力される。
【００３１】
ステップＳ２０５において、第２の物体領域判定部８０は、統計量算出部７０により算出された統計量に基づいて、第１の物体領域判定部３０により物体領域であると判定された部分領域が物体領域であるかまたは外乱であるかを判定する。即ち、第２の物体領域判定部８０は、統計量算出部７０で求められた物体判定継続時間がパラメータ設定時に求められてパラメータ記憶部９０に記憶されているパラメータを越える場合にその領域を「外乱」ではなく「対象物体」であると判定する。判定結果は部分領域毎に第１の物体領域判定部３０と同様に物体領域を「１」、外乱を含むそれ以外の背景領域を「０」とした２値画像として第２の物体領域判定部８０内のメモリに記憶される。また、この際、モデル更新部６０は第２の物体領域判定部８０による判定結果に応じて背景モデルを更新する。
【００３２】
ステップＳ２０６において、物体領域出力部１００は、第２の物体領域判定部８０による判定結果を出力する。例えば、第２の物体領域判定部８０に記憶されている物体領域を表す２値画像を画像データに重畳してディスプレイに表示する。
【００３３】
ステップＳ２０１からステップＳ２０６までの各処理が不図示の制御部によってフレーム毎に順次繰り返して行われるよう制御される。すなわち、ステップＳ２０７において、全フレーム処理されたか否かが判定される。全フレームが処理されたと判定された場合（ステップＳ２０７；ＹＥＳ）、処理を終了する。一方、全フレーム処理されていないと判定された場合（ステップＳ２０７；ＮＯ）、ステップＳ２０１へ戻る。
【００３４】
以上説明したように本実施形態では、検知対象とする物体を含まない画像から物体領域として誤判定された複数フレームの結果から統計量を求め、物体と外乱とを区別するパラメータを決定する。そして、決定されたパラメータを用いて物体領域を判定する。このような構成により、外乱による誤判定を抑制することができる。
【００３５】
（第２実施形態）
本実施形態では物体領域判定部による複数の判定結果から第２特徴量を抽出し、検知対象とする物体を含まない画像から抽出された第２特徴量に基づいて機械学習によって物体と外乱を区別するパラメータを決定する例について説明する。
【００３６】
図５を参照して、本実施形態に係る物体検知装置の機能構成を説明する。本実施形態では、第１実施形態における統計量算出部７０、統計量記憶部１２０、およびパラメータ決定部１３０の代わりに、それぞれ第２の特徴抽出部２１０、第２の特徴量記憶部２２０、および学習部２３０を用いる。
【００３７】
第２の特徴抽出部２１０は、判定結果記憶部５０に記憶された複数の判定結果から第２特徴量を抽出する。特徴量記憶部２２０は、第２の特徴抽出部２１０により抽出された第２特徴量を記憶する。学習部２３０は、特徴量記憶部２２０に記憶された第２特徴量から第２の物体領域判定部８０で用いるパラメータを機械学習により決定する。
【００３８】
以下、本実施形態に係る各種動作を説明する。まず、図６のフローチャートを参照して、パラメータ設定時の処理の流れを説明する。図６のステップＳ３０５、ステップＳ３０７、および後述の図７のステップＳ４０４以外の処理は、第１実施形態で説明した図２および図４における対応する処理と同じである。以下、第１実施形態と異なる部分を詳細に説明する。
【００３９】
図６を参照して、本実施形態に係るパラメータ設定処理の流れについて説明する。ステップＳ３０１において、画像取得部１０はカメラ等の撮像部により撮像された画像データを取得する。
【００４０】
ステップＳ３０２において、教示部１１０は、ユーザが教示する検知対象が写っていない範囲をパラメータ設定期間として取得する。次に、ステップＳ３０３において、画像記憶部２００に記憶された画像データに基づいて背景モデルを初期化する。
【００４１】
ステップＳ３０４において、第１の物体領域判定部３０は、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている背景モデルとを比較し、特徴量が抽出された部分領域が物体領域であるか否かを判定する。
【００４２】
ステップＳ３０５において、第２の特徴抽出部２１０は、判定結果記憶部５０に記憶された複数フレームの判定結果に基づいて第２特徴量を抽出する。本実施形態では、所定フレーム分連続した物体領域の判定結果を部分領域毎に判定結果記憶部５０から取得し、その期間における物体判定結果を結合して特徴ベクトルとして抽出する。例えば、図３（ａ）に示した物体判定結果が得られた場合は、各フレームの判定結果を結合して、ベクトル（０,１,０,１,１,０,１,０,１,０）を特徴量とする。この他にも、このベクトルをバイナリ値として扱い、１０ビットのバイナリパターン「０１０１１０１０１０」を第２特徴量としてもよい。第２の特徴抽出部２１０は、第１の物体領域判定部３０による処理の進行に従って順次特徴量を抽出し、特徴量記憶部２２０に記憶していく。但し、物体判定結果が「１」を含まない特徴量は出力しない。
【００４３】
ステップＳ３０４における物体領域判定処理とステップＳ３０５における第２の特徴量抽出処理とが、ステップＳ３０２において教示された期間に対応するフレーム分だけ順次繰り返して行われる。すなわち、ステップＳ３０６において、全フレーム処理されたか否かが判定される。全フレームが処理されたと判定された場合（ステップＳ３０６；ＹＥＳ）、ステップＳ３０７へ進む。一方、全フレーム処理されていないと判定された場合（ステップＳ３０６；ＮＯ）、ステップＳ３０４へ戻る。
【００４４】
ステップＳ３０７において、学習部２３０は、特徴量記憶部２２０に記憶された第２特徴量から第２の物体領域判定部８０で用いられるパラメータを機械学習により決定する。即ち、特徴量記憶部２２０に記憶されている検知対象とする物体を含まないフレームから得られた、誤判定パターンである特徴ベクトルを外乱クラスの教師サンプルとして機械学習を行い、パラメータを得る。例えば、１クラスＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いて学習を行う。線形ＳＶＭにより学習を行い、求められた重みベクトルおよび閾値をパラメータとして出力し、パラメータ記憶部９０に記憶する。なお、機械学習の方法は１クラスＳＶＭに限定されるものではなく、例えば、外乱クラスのサンプルに対して主成分分析を行い、固有ベクトルを用いたパターン認識を行うようにしてもよい。
【００４５】
次に図７のフローチャートを参照して、物体検知処理の流れを説明する。ステップＳ４０１において、画像取得部１０は、画像データを取得する。ステップＳ４０２において、特徴抽出部２０は、画像取得部１０により取得された画像データから部分領域毎に特徴量を抽出する。
【００４６】
ステップＳ４０３において、第１の物体領域判定部３０は、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている背景モデルとを比較し、特徴量が抽出された部分領域が物体領域であるか否かを判定する。
【００４７】
ステップＳ４０４において、第２の特徴抽出部２１０は、判定結果記憶部５０に記憶された複数の判定結果に基づいて第２特徴量を抽出する。
【００４８】
ステップＳ４０５において、第２の物体領域判定部８０は、第２の特徴抽出部２１０により抽出された特徴量に基づいて、第１の物体領域判定部３０により物体領域と判定された部分領域が物体領域であるかまたは外乱であるかを判定する。即ち、第２の物体領域判定部８０は、第２の特徴抽出部２１０により求められた特徴ベクトルとパラメータ記憶部９０に記憶されている重みベクトルとの内積を計算する。そして、第２の物体領域判定部８０は、その計算結果をパラメータ記憶部９０に記憶されている閾値と比較し、閾値を越える場合にその領域を「外乱」ではなく「物体」であると判定する。判定結果は第１実施形態と同様に第２の物体領域判定部８０内のメモリに記憶される。
【００４９】
ステップＳ４０６において、物体領域出力部１００は、第２の物体領域判定部８０による判定結果を出力する。
【００５０】
ステップＳ４０１からステップＳ４０６までの処理が不図示の制御部によってフレーム毎に順次繰り返して行われるよう制御される。すなわち、ステップＳ４０７において、全フレーム処理されたか否かが判定される。全フレームが処理されたと判定された場合（ステップＳ４０７；ＹＥＳ）、処理を終了する。一方、全フレーム処理されていないと判定された場合（ステップＳ４０７；ＮＯ）、ステップＳ４０１へ戻る。
【００５１】
以上説明したように本実施形態では、第２の特徴抽出部２１０は、第１の物体領域判定部による複数の判定結果から第２特徴量を抽出する。そして、検知対象とする物体を含まない画像から抽出された第２特徴量に基づいて機械学習によって物体と外乱とを区別するパラメータを決定する。さらに、決定されたパラメータを用いて物体領域を判定する。これにより、外乱による誤判定を抑制することができる。
【００５２】
なお、本実施形態では、異なる時刻のフレームから第１の物体領域判定部の判定結果を用いて特徴量を抽出するようにしたが、本発明は非特許文献１で提案されている外乱の判定方法にも適用可能である。即ち、第１の物体領域判定部３０において、特徴抽出部２０により抽出された特徴量と、対応する部分領域の背景モデルとの判定だけでなく、近傍の背景モデルとの判定も行う。そして、第２の特徴抽出部２１０において、近傍の背景モデルとの判定結果も用いてそれらの結果を結合した特徴ベクトルを抽出するようにする。
【００５３】
また、近傍の背景モデルとの判定を行う代わりに、解像度の異なる背景モデルとの判定によって外乱との判定を行う方法も考えられる。例えば、１画素を最小単位の部分領域として対応する背景モデルを初期化時に作成しておき、背景モデルとの比較を行う。更に、８×８画素のブロックを部分領域とした背景モデルとの比較、１６×１６画素のブロックを部分領域とした背景モデルとの比較も並行して行う。そして、異なる複数の解像度の判定結果を結合した特徴ベクトルによって外乱との判定を行うようにする。
【００５４】
即ち、特徴抽出部２０が画像中の複数サイズの部分領域から複数解像度の特徴量を抽出する。そして、背景モデル記憶部４０が複数サイズの部分領域に対応する複数の解像度で背景モデルを記憶する。また、第１の物体領域判定部３０が、部分領域毎に複数解像度で、特徴抽出部２０により抽出された特徴量と背景モデルとを比較して物体領域の判定を行う。そして、第２の特徴抽出部２１０において、それらの判定結果を結合した特徴ベクトルを抽出するようにする。
【００５５】
なお、近傍の背景モデルとの判定や複数解像度で判定を行う方法は、本実施形態で説明した機械学習によるパラメータ決定だけでなく、第１の実施形態で説明した方法にも適用可能である。
【００５６】
（第３実施形態）
以上説明した実施形態の応用形態として、監視カメラおよびネットワークを介して接続されている監視サーバで構成される監視カメラシステムにも本発明を適用することができる。ここで、監視サーバは監視カメラにより撮像された画像を記録して、モニタする機能を有する。例えば、第１または第２実施形態で説明した構成要件を監視サーバに組み込み、監視カメラにより撮像された画像データに対して第１または第２実施形態で説明した処理を行う。その他にも、第１または第２実施形態で説明した構成要件を監視カメラに組み込み、監視カメラにより撮像された画像データとともに検知結果を監視サーバに送信して記録する構成も可能である。また、第１または第２実施形態で説明したパラメータ設定時の動作に必要な構成要件を監視サーバに設け、監視サーバに記録された画像データに対してパラメータ設定処理を行い、監視カメラで検知処理を行う構成も可能である。この場合、監視カメラに第１または第２実施形態で説明した物体検知処理の動作に必要な構成要件を設け、監視サーバからパラメータを受け取って監視カメラで検知処理を行う。例えば監視カメラの設置時にパラメータを決定すればよい。
【００５７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、物体検知装置、物体検知方法、監視カメラシステム、およびプログラムに関し、特にカメラ等の撮像装置により撮影された画像から所定の物体を検知する物体検知装置、物体検知方法、監視カメラシステム、およびプログラムに関する。
【背景技術】
【０００２】
近年、セキュリティのために監視カメラの設置が急速に普及している。また、そのようなカメラを使って、不審な人物や物体の侵入を自動的に検知する装置が提案されている。このような物体検知機能に適用可能な技術としては、予め侵入者のいないシーンを背景画像として撮影しておき、入力画像と背景画像との差分から侵入者としての物体領域を検知する方法が知られている。
【０００３】
しかしながら、背景で木の葉が揺らいでいたり、水面が揺れていたりするシーンにおいては、侵入した人物や物体を検知するだけでなく、背景部分を誤検知してしまうといった問題があった。このような課題を解決する為に、特許文献１では入力画像と背景画像との差異の時間的な変化を捉え、木の葉の揺らぎを判定する方法が提案されている。また、非特許文献１では入力画像に対応する背景画像だけでなく近傍の背景モデルとの比較も行うことで物体の侵入と外乱とを区別する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１０７４５７号公報
【非特許文献】
【０００５】
【非特許文献１】Dalley, Migdal and Grimson, “Background Subtraction for Temporally Irregular Dynamic Textures”, Workshop on Applications of Computer Vision, January 2008
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来例において精度良く物体を検知し、外乱との区別を行う為には、判定する際のパラメータを適切に定める必要がある。一方、そのようなパラメータの値はカメラを設置したシーンに依存するが、それらを適切かつ簡易に設定する方法は提案されていないという課題がある。
【０００７】
上記の課題に鑑み、本発明は、カメラを設置したシーンに最適なパラメータを設定して物体と外乱との区別を精度よく行うことを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成する本発明に係る物体検知装置は、
画像データから対象物体を検知する物体検知装置であって、
所定の視点から所定の方向を撮像した画像データを取得する画像取得手段と、
前記画像取得手段により取得された前記画像データを構成する部分領域ごとに特徴量を抽出する特徴抽出手段と、
前記画像取得手段により取得された前記対象物体を含まない背景画像データから前記特徴抽出手段により抽出された特徴量を、背景特徴量として前記部分領域ごとに記憶する背景特徴量記憶手段と、
前記部分領域ごとに、前記特徴抽出手段により抽出された特徴量と、前記背景特徴量とを比較して、当該部分領域のそれぞれが前記対象物体であるか否かを判定する第１の物体領域判定手段と、
前記第１の物体領域判定手段による複数の判定結果に基づいて、部分領域ごとにパラメータを決定するパラメータ決定手段と、
前記パラメータ決定手段により決定された前記パラメータと、前記第１の物体領域判定手段による判定結果とに基づいて、前記部分領域が前記対象物体であるか否かを判定する第２の物体領域判定手段と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、カメラを設置したシーンに最適なパラメータを設定して物体と外乱との区別を精度よく行うことが可能となる。
【００１０】
更に、画像の部分領域毎に前記パラメータを決定し、物体と外乱の区別を行うようにすることで、一つの撮影シーンに様々な誤検知要因が混在していても物体と外乱の区別を精度よく行うことが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態に係る物体検知装置の機能構成を示す図。
【図２】第１実施形態に係るパラメータ設定時の処理を示すフローチャート。
【図３】第１の物体領域判定部による判定結果の例を示す図。
【図４】第１実施形態に係る物体検知処理を示すフローチャート。
【図５】第２実施形態に係る物体検知装置の機能構成を示す図。
【図６】第２実施形態に係るパラメータ設定時の処理を示すフローチャート。
【図７】第２実施形態に係る物体検知処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
（第１実施形態）
図１を参照して、第１実施形態に係る物体検知装置の機能構成を説明する。画像取得部１０は、ビデオカメラ等の撮像部により所定の視点から所定の方向を連続して撮像した画像データを取得する。特徴抽出部２０は、画像取得部１０により取得された各フレームの画像データから部分領域毎に特徴量を抽出する。第１の物体領域判定部３０は、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている背景特徴量とを比較し、特徴量が抽出された部分領域が物体領域であるか否かを判定する。背景モデル記憶部４０は、画像取得部１０により取得された背景のみの画像データ（背景画像データ）から特徴抽出部２０により抽出された特徴量に基づいて構成される背景特徴量を、基準モデルとして記憶する（背景特徴量記憶処理）。
【００１３】
判定結果記憶部５０は、第１の物体領域判定部３０による判定結果を部分領域毎に記憶する。モデル更新部６０は、第１の物体領域判定部３０および後述の第２の物体領域判定部８０による判定結果に基づいて背景モデル記憶部４０に記憶されている背景モデルを更新する。統計量算出部７０は、判定結果記憶部５０に記憶された複数の判定結果から統計量を算出する。
【００１４】
第２の物体領域判定部８０は、統計量算出部７０により算出された統計量に基づいて、第１の物体領域判定部３０により物体領域であると判定された部分領域が、物体領域であるかまたは外乱であるかを判定する。パラメータ記憶部９０は、第２の物体領域判定部８０が判定のために用いるパラメータを部分領域毎に記憶する。
【００１５】
物体領域出力部１００は、第２の物体領域判定部８０により判定された結果を出力する。教示部１１０は、画像取得部１０により取得された画像データから検知対象とする物体を含まない範囲を入力する。統計量記憶部１２０は、統計量算出部７０により算出された統計量を記憶する。パラメータ決定部１３０は、統計量記憶部１２０に記憶された統計量に基づいて第２の物体領域判定部８０で用いるパラメータを決定する。画像記憶部２００は、画像取得部１０により取得された画像を記憶する。
【００１６】
以下、本実施形態に係る各種動作を説明する。まず、図２のフローチャートを参照して、パラメータ設定時の処理の流れを説明する。
【００１７】
まず、ステップＳ１０１において、画像取得部１０は、ビデオカメラ等の撮像部により撮像された画像データを取得する。取得された画像データは画像記憶部２００に所定フレーム分だけ記憶される。
【００１８】
ステップＳ１０２において、教示部１１０は、ユーザが教示するパラメータ設定期間を取得する。ステップＳ１０１において画像記憶部２００に記憶された画像データが不図示の表示装置に表示される。ユーザは表示された画像データを見て検知対象が写っていない範囲がどの時刻からどの時刻までであるかをパラメータ設定期間として教示する。すなわち、背景画像データはユーザにより選択される（選択受付処理）。教示部１１０は指定された期間を内部メモリに記憶しておく。なお、明らかに検知対象が存在しない状態で撮影が行われていれば、上述したようなユーザによる撮影後の範囲の教示は不要である。
【００１９】
次に、ステップＳ１０３において、画像記憶部２００に記憶された画像データに基づいて背景モデルを初期化する。まず、特徴抽出部２０は画像記憶部２００に記憶されている最初のフレームの画像データから部分領域画像を取得する。部分領域画像は、例えば、画像データを８×８画素のブロックに分割して、ブロック毎に取得される。そして、部分領域画像の特徴量を抽出する。本実施形態では、特徴量として最も簡単な輝度平均値を用いる。この他にも、部分領域画像内の各画素の輝度値をヒストグラム化したものを特徴量としてもよいし、ＲＧＢ値やエッジ方向のヒストグラムを特徴量としてもよい。また、部分領域画像にＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）処理を行った出力値であるＤＣＴ係数の一部を特徴量としてもよい。そして、モデル更新部６０は特徴抽出部２０により抽出された特徴量から部分領域毎に背景モデルを生成し、背景モデル記憶部４０に記憶する。即ち、特徴抽出部２０で部分領域毎に抽出された輝度平均値が背景モデルとして記憶される。以上の処理が所定フレーム分だけ順次繰り返して行われる。
【００２０】
なお、モデル更新部６０による第２フレーム以降の処理は、既に生成された背景モデルを更新する処理である。即ち、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている対応する部分領域の特徴量とを、所定の重みを付けて加算する。検知対象が写っていないシーンにおいては基本的には画像が変化しないので各部分領域において類似の特徴量が抽出される。そのため、更新時に背景モデルは大きく変動することはない。但し、背景が変動するような場合には対応できないので、背景モデルの特徴量が大きく変動する場合には部分領域毎に複数の背景モデルを持つように構成してもよい。
【００２１】
ステップＳ１０４において、第１の物体領域判定部３０は、部分領域毎に、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている背景モデルとを比較し、特徴量が抽出された部分領域が物体領域であるか否かを判定する。ここでは、ステップＳ１０３の処理で背景モデル初期化に使用された以降の時刻の画像データに基づいて物体領域を判定する。第１の物体領域判定部３０は、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている対応する部分領域の特徴量との差分絶対値を算出し、その結果を所定の閾値と比較する。第１の物体領域判定部３０は、閾値以上の場合は物体領域であると判定し、閾値未満の場合は背景領域であると判定する。そして、物体領域であると判定された場合「１」として、それ以外の背景領域であると判定された場合「０」として、２値の何れかの値が判定結果記憶部５０に部分領域毎に記憶される。また、この際、モデル更新部６０は、第１の物体領域判定部３０による判定結果に応じて背景モデルを更新する。即ち、背景領域であると判定された場合に、その領域の画像を用いて、ステップＳ１０３で説明した方法と同様に背景モデルを更新する。
【００２２】
以上の処理が順次繰り返して行われ、判定結果記憶部５０では部分領域毎に第１の物体領域判定部３０による判定結果が時系列に記憶される。なお、教示部１１０では検知対象とする物体を含まない画像を教示しているので、ここで物体領域とされた判定結果は全て誤判定である。
【００２３】
ステップＳ１０５において、統計量算出部７０は、判定結果記憶部５０に記憶された複数フレームの判定結果から統計量を算出する。本実施形態では、所定フレーム分連続した物体領域の判定結果を、部分領域毎に判定結果記憶部５０から取得し、その期間における物体領域と判定された結果の継続時間（フレーム連続数）を統計量として算出する。例えば、１０フレーム分の連続した判定結果が得られた時点で物体領域、即ち「１」として記憶された値の継続時間を出力する。図３にその例を示す。図３の数値はある部分領域の１０フレーム分の物体領域判定結果であり、「１」は物体領域、「０」は背景領域と判定された結果を表す。また、図３（ａ）は水面など外乱により誤判定が起こりやすい領域での判定結果の例であり、図３（ｂ）は通常の安定した背景領域での判定結果の例である。このとき、図３（ａ）の場合は統計量として継続時間「２」を１回、継続時間「１」を３回出力する。また、図３（ｂ）の場合は統計量を出力しない。統計量算出部７０は、第１の物体領域判定部３０の処理進行に従って順次統計量を算出し、統計量記憶部１２０に記憶していく。
【００２４】
ステップＳ１０４の物体領域判定処理とステップＳ１０５の統計量算出処理とが、ステップＳ１０２で教示された期間に対応するフレーム分だけ順次繰り返して行われる。すなわち、ステップＳ１０６において、全フレーム処理されたか否かが判定される。全フレームが処理されたと判定された場合（ステップＳ１０６；ＹＥＳ）、ステップＳ１０７へ進む。一方、全フレーム処理されていないと判定された場合（ステップＳ１０６；ＮＯ）、ステップＳ１０４へ戻り、次のフレームを処理する。
【００２５】
ステップＳ１０７において、パラメータ決定部１３０は、統計量記憶部１２０に記憶された統計量から第２の物体領域判定部８０で用いるパラメータを決定する。本実施形態では、統計量記憶部１２０に記憶されている継続時間のヒストグラムからパラメータの決定を部分領域毎に行う。まず、継続時間のヒストグラムを正規化する。本実施形態では、１０フレーム分の物体領域判定結果から継続時間を得ているので１から１０の各継続時間に対するカウント値の総和が１になるように各継続時間のカウント値を割合に変換する。そして、その割合が所定値よりも大きいか小さいかを判定する。そして、割合が所定値を越える最大の継続時間をパラメータとして部分領域毎にパラメータ記憶部９０に記憶する。継続時間の占める割合が所定値よりも大きい範囲を後述する第２の物体領域判定部８０による処理で「外乱」と判定するようにパラメータを求める。これにより、領域別に頻繁に短時間に発生する誤判定パターンを抑制することができる。即ち、ここでは誤判定パターンを誤判定の発生する継続時間として捉えている。
【００２６】
次に図４のフローチャートを参照して、物体検知処理の流れを説明する。
【００２７】
ステップＳ２０１において、画像取得部１０は、画像データを取得し、取得された画像データは画像取得部１０の内部メモリに記憶される。
【００２８】
ステップＳ２０２において、特徴抽出部２０は、画像取得部１０により取得された画像データから部分領域毎に特徴量を抽出する。特徴抽出は画像取得部１０に記憶されている画像データから行うが、前述したパラメータ設定時と同様の処理が行われる。
【００２９】
ステップＳ２０３において、第１の物体領域判定部３０は、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている背景モデルとを比較し、特徴量が抽出された部分領域が物体領域であるか否かを判定する。ここでは前述したパラメータ設定時のステップＳ１０４と同様の処理が行われる。
【００３０】
ステップＳ２０４において、統計量算出部７０は、判定結果記憶部５０に記憶された複数の判定結果から統計量を算出する。ここでは前述したパラメータ設定時のステップＳ１０５と同様の処理が行われるが、算出された統計量は第２の物体領域判定部８０に出力される。
【００３１】
ステップＳ２０５において、第２の物体領域判定部８０は、統計量算出部７０により算出された統計量に基づいて、第１の物体領域判定部３０により物体領域であると判定された部分領域が物体領域であるかまたは外乱であるかを判定する。即ち、第２の物体領域判定部８０は、統計量算出部７０で求められた物体判定継続時間がパラメータ設定時に求められてパラメータ記憶部９０に記憶されているパラメータを越える場合にその領域を「外乱」ではなく「対象物体」であると判定する。判定結果は部分領域毎に第１の物体領域判定部３０と同様に物体領域を「１」、外乱を含むそれ以外の背景領域を「０」とした２値画像として第２の物体領域判定部８０内のメモリに記憶される。また、この際、モデル更新部６０は第２の物体領域判定部８０による判定結果に応じて背景モデルを更新する。
【００３２】
ステップＳ２０６において、物体領域出力部１００は、第２の物体領域判定部８０による判定結果を出力する。例えば、第２の物体領域判定部８０に記憶されている物体領域を表す２値画像を画像データに重畳してディスプレイに表示する。
【００３３】
ステップＳ２０１からステップＳ２０６までの各処理が不図示の制御部によってフレーム毎に順次繰り返して行われるよう制御される。すなわち、ステップＳ２０７において、全フレーム処理されたか否かが判定される。全フレームが処理されたと判定された場合（ステップＳ２０７；ＹＥＳ）、処理を終了する。一方、全フレーム処理されていないと判定された場合（ステップＳ２０７；ＮＯ）、ステップＳ２０１へ戻る。
【００３４】
以上説明したように本実施形態では、検知対象とする物体を含まない画像から物体領域として誤判定された複数フレームの結果から統計量を求め、物体と外乱とを区別するパラメータを決定する。そして、決定されたパラメータを用いて物体領域を判定する。このような構成により、外乱による誤判定を抑制することができる。
【００３５】
（第２実施形態）
本実施形態では物体領域判定部による複数の判定結果から第２特徴量を抽出し、検知対象とする物体を含まない画像から抽出された第２特徴量に基づいて機械学習によって物体と外乱を区別するパラメータを決定する例について説明する。
【００３６】
図５を参照して、本実施形態に係る物体検知装置の機能構成を説明する。本実施形態では、第１実施形態における統計量算出部７０、統計量記憶部１２０、およびパラメータ決定部１３０の代わりに、それぞれ第２の特徴抽出部２１０、第２の特徴量記憶部２２０、および学習部２３０を用いる。
【００３７】
第２の特徴抽出部２１０は、判定結果記憶部５０に記憶された複数の判定結果から第２特徴量を抽出する。特徴量記憶部２２０は、第２の特徴抽出部２１０により抽出された第２特徴量を記憶する。学習部２３０は、特徴量記憶部２２０に記憶された第２特徴量から第２の物体領域判定部８０で用いるパラメータを機械学習により決定する。
【００３８】
以下、本実施形態に係る各種動作を説明する。まず、図６のフローチャートを参照して、パラメータ設定時の処理の流れを説明する。図６のステップＳ３０５、ステップＳ３０７、および後述の図７のステップＳ４０４以外の処理は、第１実施形態で説明した図２および図４における対応する処理と同じである。以下、第１実施形態と異なる部分を詳細に説明する。
【００３９】
図６を参照して、本実施形態に係るパラメータ設定処理の流れについて説明する。ステップＳ３０１において、画像取得部１０はカメラ等の撮像部により撮像された画像データを取得する。
【００４０】
ステップＳ３０２において、教示部１１０は、ユーザが教示する検知対象が写っていない範囲をパラメータ設定期間として取得する。次に、ステップＳ３０３において、画像記憶部２００に記憶された画像データに基づいて背景モデルを初期化する。
【００４１】
ステップＳ３０４において、第１の物体領域判定部３０は、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている背景モデルとを比較し、特徴量が抽出された部分領域が物体領域であるか否かを判定する。
【００４２】
ステップＳ３０５において、第２の特徴抽出部２１０は、判定結果記憶部５０に記憶された複数フレームの判定結果に基づいて第２特徴量を抽出する。本実施形態では、所定フレーム分連続した物体領域の判定結果を部分領域毎に判定結果記憶部５０から取得し、その期間における物体判定結果を結合して特徴ベクトルとして抽出する。例えば、図３（ａ）に示した物体判定結果が得られた場合は、各フレームの判定結果を結合して、ベクトル（０,１,０,１,１,０,１,０,１,０）を特徴量とする。この他にも、このベクトルをバイナリ値として扱い、１０ビットのバイナリパターン「０１０１１０１０１０」を第２特徴量としてもよい。第２の特徴抽出部２１０は、第１の物体領域判定部３０による処理の進行に従って順次特徴量を抽出し、特徴量記憶部２２０に記憶していく。但し、物体判定結果が「１」を含まない特徴量は出力しない。
【００４３】
ステップＳ３０４における物体領域判定処理とステップＳ３０５における第２の特徴量抽出処理とが、ステップＳ３０２において教示された期間に対応するフレーム分だけ順次繰り返して行われる。すなわち、ステップＳ３０６において、全フレーム処理されたか否かが判定される。全フレームが処理されたと判定された場合（ステップＳ３０６；ＹＥＳ）、ステップＳ３０７へ進む。一方、全フレーム処理されていないと判定された場合（ステップＳ３０６；ＮＯ）、ステップＳ３０４へ戻る。
【００４４】
ステップＳ３０７において、学習部２３０は、特徴量記憶部２２０に記憶された第２特徴量から第２の物体領域判定部８０で用いられるパラメータを機械学習により決定する。即ち、特徴量記憶部２２０に記憶されている検知対象とする物体を含まないフレームから得られた、誤判定パターンである特徴ベクトルを外乱クラスの教師サンプルとして機械学習を行い、パラメータを得る。例えば、１クラスＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いて学習を行う。線形ＳＶＭにより学習を行い、求められた重みベクトルおよび閾値をパラメータとして出力し、パラメータ記憶部９０に記憶する。なお、機械学習の方法は１クラスＳＶＭに限定されるものではなく、例えば、外乱クラスのサンプルに対して主成分分析を行い、固有ベクトルを用いたパターン認識を行うようにしてもよい。
【００４５】
次に図７のフローチャートを参照して、物体検知処理の流れを説明する。ステップＳ４０１において、画像取得部１０は、画像データを取得する。ステップＳ４０２において、特徴抽出部２０は、画像取得部１０により取得された画像データから部分領域毎に特徴量を抽出する。
【００４６】
ステップＳ４０３において、第１の物体領域判定部３０は、特徴抽出部２０により抽出された特徴量と背景モデル記憶部４０に記憶されている背景モデルとを比較し、特徴量が抽出された部分領域が物体領域であるか否かを判定する。
【００４７】
ステップＳ４０４において、第２の特徴抽出部２１０は、判定結果記憶部５０に記憶された複数の判定結果に基づいて第２特徴量を抽出する。
【００４８】
ステップＳ４０５において、第２の物体領域判定部８０は、第２の特徴抽出部２１０により抽出された特徴量に基づいて、第１の物体領域判定部３０により物体領域と判定された部分領域が物体領域であるかまたは外乱であるかを判定する。即ち、第２の物体領域判定部８０は、第２の特徴抽出部２１０により求められた特徴ベクトルとパラメータ記憶部９０に記憶されている重みベクトルとの内積を計算する。そして、第２の物体領域判定部８０は、その計算結果をパラメータ記憶部９０に記憶されている閾値と比較し、閾値を越える場合にその領域を「外乱」ではなく「物体」であると判定する。判定結果は第１実施形態と同様に第２の物体領域判定部８０内のメモリに記憶される。
【００４９】
ステップＳ４０６において、物体領域出力部１００は、第２の物体領域判定部８０による判定結果を出力する。
【００５０】
ステップＳ４０１からステップＳ４０６までの処理が不図示の制御部によってフレーム毎に順次繰り返して行われるよう制御される。すなわち、ステップＳ４０７において、全フレーム処理されたか否かが判定される。全フレームが処理されたと判定された場合（ステップＳ４０７；ＹＥＳ）、処理を終了する。一方、全フレーム処理されていないと判定された場合（ステップＳ４０７；ＮＯ）、ステップＳ４０１へ戻る。
【００５１】
以上説明したように本実施形態では、第２の特徴抽出部２１０は、第１の物体領域判定部による複数の判定結果から第２特徴量を抽出する。そして、検知対象とする物体を含まない画像から抽出された第２特徴量に基づいて機械学習によって物体と外乱とを区別するパラメータを決定する。さらに、決定されたパラメータを用いて物体領域を判定する。これにより、外乱による誤判定を抑制することができる。
【００５２】
なお、本実施形態では、異なる時刻のフレームから第１の物体領域判定部の判定結果を用いて特徴量を抽出するようにしたが、本発明は非特許文献１で提案されている外乱の判定方法にも適用可能である。即ち、第１の物体領域判定部３０において、特徴抽出部２０により抽出された特徴量と、対応する部分領域の背景モデルとの判定だけでなく、近傍の背景モデルとの判定も行う。そして、第２の特徴抽出部２１０において、近傍の背景モデルとの判定結果も用いてそれらの結果を結合した特徴ベクトルを抽出するようにする。
【００５３】
また、近傍の背景モデルとの判定を行う代わりに、解像度の異なる背景モデルとの判定によって外乱との判定を行う方法も考えられる。例えば、１画素を最小単位の部分領域として対応する背景モデルを初期化時に作成しておき、背景モデルとの比較を行う。更に、８×８画素のブロックを部分領域とした背景モデルとの比較、１６×１６画素のブロックを部分領域とした背景モデルとの比較も並行して行う。そして、異なる複数の解像度の判定結果を結合した特徴ベクトルによって外乱との判定を行うようにする。
【００５４】
即ち、特徴抽出部２０が画像中の複数サイズの部分領域から複数解像度の特徴量を抽出する。そして、背景モデル記憶部４０が複数サイズの部分領域に対応する複数の解像度で背景モデルを記憶する。また、第１の物体領域判定部３０が、部分領域毎に複数解像度で、特徴抽出部２０により抽出された特徴量と背景モデルとを比較して物体領域の判定を行う。そして、第２の特徴抽出部２１０において、それらの判定結果を結合した特徴ベクトルを抽出するようにする。
【００５５】
なお、近傍の背景モデルとの判定や複数解像度で判定を行う方法は、本実施形態で説明した機械学習によるパラメータ決定だけでなく、第１の実施形態で説明した方法にも適用可能である。
【００５６】
（第３実施形態）
以上説明した実施形態の応用形態として、監視カメラおよびネットワークを介して接続されている監視サーバで構成される監視カメラシステムにも本発明を適用することができる。ここで、監視サーバは監視カメラにより撮像された画像を記録して、モニタする機能を有する。例えば、第１または第２実施形態で説明した構成要件を監視サーバに組み込み、監視カメラにより撮像された画像データに対して第１または第２実施形態で説明した処理を行う。その他にも、第１または第２実施形態で説明した構成要件を監視カメラに組み込み、監視カメラにより撮像された画像データとともに検知結果を監視サーバに送信して記録する構成も可能である。また、第１または第２実施形態で説明したパラメータ設定時の動作に必要な構成要件を監視サーバに設け、監視サーバに記録された画像データに対してパラメータ設定処理を行い、監視カメラで検知処理を行う構成も可能である。この場合、監視カメラに第１または第２実施形態で説明した物体検知処理の動作に必要な構成要件を設け、監視サーバからパラメータを受け取って監視カメラで検知処理を行う。例えば監視カメラの設置時にパラメータを決定すればよい。
【００５７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
画像データから対象物体を検知する物体検知装置であって、
所定の視点から所定の方向を撮像した画像データを取得する画像取得手段と、
前記画像取得手段により取得された前記画像データを構成する部分領域ごとに特徴量を抽出する特徴抽出手段と、
前記画像取得手段により取得された前記対象物体を含まない背景画像データから前記特徴抽出手段により抽出された特徴量を、背景特徴量として前記部分領域ごとに記憶する背景特徴量記憶手段と、
前記部分領域ごとに、前記特徴抽出手段により抽出された特徴量と、前記背景特徴量とを比較して、当該部分領域が前記対象物体であるか否かを判定する第１の物体領域判定手段と、
前記第１の物体領域判定手段による複数の判定結果に基づいて、部分領域ごとにパラメータを決定するパラメータ決定手段と、
前記パラメータ決定手段により決定された前記パラメータと、前記第１の物体領域判定手段による判定結果とに基づいて、前記部分領域が前記対象物体であるか否かを判定する第２の物体領域判定手段と、
を備えることを特徴とする物体検知装置。
【請求項２】
前記第１の物体領域判定手段による複数の判定結果に基づいて、前記画像データから前記部分領域ごとに当該部分領域が前記対象物体であるか否かを示す統計量を算出する統計量算出手段をさらに備えることを特徴とする請求項１に記載の物体検知装置。
【請求項３】
前記統計量算出手段は、前記背景画像データから前記第１の物体領域判定手段により前記対象物体であると判定された部分領域を含む、複数フレームの判定結果から前記部分領域ごとに前記統計量を算出し、
前記パラメータ決定手段は、当該統計量に基づいて前記部分領域ごとに前記パラメータを予め決定し、
前記第２の物体領域判定手段は、前記パラメータ決定手段により決定された前記パラメータと、前記画像データから前記統計量算出手段により算出された前記統計量とに基づいて、前記部分領域が前記対象物体であるか否かを判定することを特徴とする請求項２に記載の物体検知装置。
【請求項４】
前記統計量は、前記第１の物体領域判定手段により前記対象物体であると判定された画像データのフレーム連続数であることを特徴とする請求項３に記載の物体検知装置。
【請求項５】
前記部分領域ごとに前記パラメータ決定手段により決定された前記パラメータを記憶するパラメータ記憶手段をさらに備えることを特徴とする請求項１乃至４の何れか１項に記載の物体検知装置。
【請求項６】
前記第１の物体領域判定手段による複数の判定結果に基づいて、前記部分領域ごとに当該部分領域が前記対象物体であるか否かを示す第２特徴量を抽出する第２の特徴抽出手段をさらに備えることを特徴とする請求項１に記載の物体検知装置。
【請求項７】
前記第２の特徴抽出手段は、前記背景画像データから前記第１の物体領域判定手段により前記対象物体であると判定された部分領域を含む複数の判定結果に基づいて前記部分領域ごとに第２特徴量を算出し、
前記パラメータ決定手段は、当該第２特徴量に基づいて前記パラメータを機械学習により予め決定し、
前記第２の物体領域判定手段は、前記パラメータ決定手段により決定された前記パラメータと、前記画像データから前記第２の特徴抽出手段により抽出された前記第２特徴量とに基づいて、前記部分領域が前記対象物体であるか否かを判定することを特徴とする請求項６に記載の物体検知装置。
【請求項８】
前記第２特徴量は、前記第１の物体領域判定手段による複数の判定結果を結合した特徴ベクトルであることを特徴とする請求項７に記載の物体検知装置。
【請求項９】
前記特徴抽出手段は、複数サイズの部分領域から複数の解像度の特徴量を抽出し、
前記背景特徴量記憶手段は、前記特徴抽出手段により抽出された複数サイズの部分領域に対応する複数の解像度の特徴量を背景特徴量として記憶し、
前記第１の物体領域判定手段による判定結果は、前記特徴抽出手段により抽出された前記部分領域の複数の解像度の特徴量と、前記背景特徴量記憶手段に記憶されている対応する解像度における前記部分領域の背景特徴量との比較による判定結果であることを特徴とする請求項１乃至８の何れか１項に記載の物体検知装置。
【請求項１０】
前記対象物体を含まない前記背景画像データを選択させる選択受付手段を備えることを特徴とする請求項１乃至９の何れか１項に記載の物体検知装置。
【請求項１１】
請求項１乃至１０の何れか１項に記載の物体検知装置と、監視カメラをと備える監視カメラシステムであって、
前記パラメータ決定手段は、前記監視カメラの設置時に前記パラメータを決定することを特徴とする監視カメラシステム。
【請求項１２】
画像取得手段と、特徴抽出手段と、背景特徴量記憶手段と、第１の物体領域判定手段と、パラメータ決定手段と、第２の物体領域判定手段とを備え、画像データから対象物体を検知する物体検知装置における物体検知方法であって、
前記画像取得手段が、所定の視点から所定の方向を撮像した画像データを取得する画像取得工程と、
前記特徴抽出手段が、前記画像取得工程により取得された前記画像データを構成する部分領域ごとに特徴量を抽出する特徴抽出工程と、
前記背景特徴量記憶手段が、前記画像取得工程により取得された前記対象物体を含まない背景画像データから前記特徴抽出工程により抽出された特徴量を、背景特徴量として前記部分領域ごとに記憶する背景特徴量記憶工程と、
前記第１の物体領域判定手段が、前記部分領域ごとに、前記特徴抽出工程により抽出された特徴量と、前記背景特徴量とを比較して、当該部分領域が前記対象物体であるか否かを判定する第１の物体領域判定工程と、
前記パラメータ決定手段が、前記第１の物体領域判定工程による複数の判定結果に基づいて、部分領域ごとにパラメータを決定するパラメータ決定工程と、
前記第２の物体領域判定手段が、前記パラメータ決定工程により決定された前記パラメータと、前記第１の物体領域判定工程による判定結果とに基づいて、前記部分領域が前記対象物体であるか否かを判定する第２の物体領域判定工程と、
を備えることを特徴とする物体検知方法。
【請求項１３】
請求項１２に記載の物体検知方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
画像データから対象物体を検知する物体検知装置であって、
所定の視点から所定の方向を撮像した画像データを取得する画像取得手段と、
前記画像取得手段により取得された前記画像データを構成する部分領域ごとに特徴量を抽出する特徴抽出手段と、
前記画像取得手段により取得された前記対象物体を含まない背景画像データから前記特徴抽出手段により抽出された特徴量を、背景特徴量として前記部分領域ごとに記憶する背景特徴量記憶手段と、
前記部分領域ごとに、前記特徴抽出手段により抽出された特徴量と、前記背景特徴量とを比較して、当該部分領域が前記対象物体であるか否かを判定する第１の物体領域判定手段と、
前記第１の物体領域判定手段による複数の判定結果に基づいて、部分領域ごとにパラメータを決定するパラメータ決定手段と、
前記パラメータ決定手段により決定された前記パラメータと、前記第１の物体領域判定手段による判定結果とに基づいて、前記部分領域が前記対象物体であるか否かを判定する第２の物体領域判定手段と、
を備えることを特徴とする物体検知装置。
【請求項２】
前記第１の物体領域判定手段による複数の判定結果に基づいて、前記画像データから前記部分領域ごとに当該部分領域が前記対象物体であるか否かを示す統計量を算出する統計量算出手段をさらに備えることを特徴とする請求項１に記載の物体検知装置。
【請求項３】
前記統計量算出手段は、前記背景画像データから前記第１の物体領域判定手段により前記対象物体であると判定された部分領域を含む、複数フレームの判定結果から前記部分領域ごとに前記統計量を算出し、
前記パラメータ決定手段は、当該統計量に基づいて前記部分領域ごとに前記パラメータを予め決定し、
前記第２の物体領域判定手段は、前記パラメータ決定手段により決定された前記パラメータと、前記画像データから前記統計量算出手段により算出された前記統計量とに基づいて、前記部分領域が前記対象物体であるか否かを判定することを特徴とする請求項２に記載の物体検知装置。
【請求項４】
前記統計量は、前記第１の物体領域判定手段により前記対象物体であると判定された画像データのフレーム連続数であることを特徴とする請求項３に記載の物体検知装置。
【請求項５】
前記部分領域ごとに前記パラメータ決定手段により決定された前記パラメータを記憶するパラメータ記憶手段をさらに備えることを特徴とする請求項１乃至４の何れか１項に記載の物体検知装置。
【請求項６】
前記第１の物体領域判定手段による複数の判定結果に基づいて、前記部分領域ごとに当該部分領域が前記対象物体であるか否かを示す第２特徴量を抽出する第２の特徴抽出手段をさらに備えることを特徴とする請求項１に記載の物体検知装置。
【請求項７】
前記第２の特徴抽出手段は、前記背景画像データから前記第１の物体領域判定手段により前記対象物体であると判定された部分領域を含む複数の判定結果に基づいて前記部分領域ごとに第２特徴量を算出し、
前記パラメータ決定手段は、当該第２特徴量に基づいて前記パラメータを機械学習により予め決定し、
前記第２の物体領域判定手段は、前記パラメータ決定手段により決定された前記パラメータと、前記画像データから前記第２の特徴抽出手段により抽出された前記第２特徴量とに基づいて、前記部分領域が前記対象物体であるか否かを判定することを特徴とする請求項６に記載の物体検知装置。
【請求項８】
前記第２特徴量は、前記第１の物体領域判定手段による複数の判定結果を結合した特徴ベクトルであることを特徴とする請求項７に記載の物体検知装置。
【請求項９】
前記特徴抽出手段は、複数サイズの部分領域から複数の解像度の特徴量を抽出し、
前記背景特徴量記憶手段は、前記特徴抽出手段により抽出された複数サイズの部分領域に対応する複数の解像度の特徴量を背景特徴量として記憶し、
前記第１の物体領域判定手段による判定結果は、前記特徴抽出手段により抽出された前記部分領域の複数の解像度の特徴量と、前記背景特徴量記憶手段に記憶されている対応する解像度における前記部分領域の背景特徴量との比較による判定結果であることを特徴とする請求項１乃至８の何れか１項に記載の物体検知装置。
【請求項１０】
前記対象物体を含まない前記背景画像データを選択させる選択受付手段を備えることを特徴とする請求項１乃至９の何れか１項に記載の物体検知装置。
【請求項１１】
請求項１乃至１０の何れか１項に記載の物体検知装置と、監視カメラをと備える監視カメラシステムであって、
前記パラメータ決定手段は、前記監視カメラの設置時に前記パラメータを決定することを特徴とする監視カメラシステム。
【請求項１２】
画像取得手段と、特徴抽出手段と、背景特徴量記憶手段と、第１の物体領域判定手段と、パラメータ決定手段と、第２の物体領域判定手段とを備え、画像データから対象物体を検知する物体検知装置における物体検知方法であって、
前記画像取得手段が、所定の視点から所定の方向を撮像した画像データを取得する画像取得工程と、
前記特徴抽出手段が、前記画像取得工程により取得された前記画像データを構成する部分領域ごとに特徴量を抽出する特徴抽出工程と、
前記背景特徴量記憶手段が、前記画像取得工程により取得された前記対象物体を含まない背景画像データから前記特徴抽出工程により抽出された特徴量を、背景特徴量として前記部分領域ごとに記憶する背景特徴量記憶工程と、
前記第１の物体領域判定手段が、前記部分領域ごとに、前記特徴抽出工程により抽出された特徴量と、前記背景特徴量とを比較して、当該部分領域が前記対象物体であるか否かを判定する第１の物体領域判定工程と、
前記パラメータ決定手段が、前記第１の物体領域判定工程による複数の判定結果に基づいて、部分領域ごとにパラメータを決定するパラメータ決定工程と、
前記第２の物体領域判定手段が、前記パラメータ決定工程により決定された前記パラメータと、前記第１の物体領域判定工程による判定結果とに基づいて、前記部分領域が前記対象物体であるか否かを判定する第２の物体領域判定工程と、
を備えることを特徴とする物体検知方法。
【請求項１３】
請求項１２に記載の物体検知方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−８９９２９（Ｐ２０１２−８９９２９Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３２７８６（Ｐ２０１０−２３２７８６）
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]