画像処理装置、画像処理方法、及びコンピュータプログラム
【課題】画像中の新たな変化を持続的に検出しつつ、画像中の実際の物体の状態と、画像中の物体の状態の解析結果とに矛盾が生じることを防止する。
【解決手段】画像中で長時間静止している物体を背景化した後、背景化した物体の形状情報及び経過時間情報を背景化物体情報として生成し、背景化物体記憶部４２０に記憶しておく。そして、入力した画像の物体情報と、記憶しておいた背景化物体情報とを照合し、背景化物体情報に合致する物体情報がない場合には、当該背景化物体情報に解析ルールを適用し、背景化した物体の状態を解析する。
【解決手段】画像中で長時間静止している物体を背景化した後、背景化した物体の形状情報及び経過時間情報を背景化物体情報として生成し、背景化物体記憶部４２０に記憶しておく。そして、入力した画像の物体情報と、記憶しておいた背景化物体情報とを照合し、背景化物体情報に合致する物体情報がない場合には、当該背景化物体情報に解析ルールを適用し、背景化した物体の状態を解析する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、画像処理によって画像中の物体の状態変化を解析するために用いて好適なものである。
【背景技術】
【０００２】
近年、画像処理によって画像中の物体の状態変化を解析することが行われるようになった。フレーム間差分法や背景差分法等により画像の変化を検出し、その変化を画像中の物体の状態変化（例えば物体の出現や消滅）として解析する。特に、背景差分法を用いた場合には、画像中に出現した後に静止し続けている物体も検出できるので、物体の置き去りや放置を知ることができる。
背景差分法では、物体の検出精度が、入力画像との比較に用いる背景画像に大きく依存する。そのため、より適切な背景画像を用いるための方法が提案されている。
【０００３】
特許文献１では、適応的に背景モデルを生成する方法が開示されている。また、特許文献２では、背景画像とすべきでない物体の背景画像への影響を低減する方法が開示されている。
特許文献１に開示された方法により、静止している物体を検出し続けた後に、当該静止している物体を背景画像にすることができる。また、特許文献２の方法により、出現頻度の低い物体を背景画像にすることなく、長時間静止している（即ち出現頻度が高い）物体を背景画像にすることができる。特許文献１、２に開示された方法では、ともに、静止している物体を背景画像にすることで、その後に画像中に起きる新たな変化を検出できるようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３２３５７２号公報
【特許文献２】特開２００９−６４２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、背景画像になった時点で入力画像との差分がなくなるので、静止している物体は、物体として検出されなくなってしまう。そうすると、実際には、物体は静止している（即ち存在し続けている）にも関わらず、物体が消滅したとして解析されてしまうことになる。その後、物体が移動する等して実際に画像中に存在しなくなった場合、画面上ではそれまで物体の陰になっていた部分が新たに見えるようになり、それが変化として検出される。ところが、物体が消滅したと解析した後なので、その変化を、新規の物体の出現として解析されることになり、物体の状態と物体の状態の解析結果とが矛盾をきたすようになってしまう。
【０００６】
これに対して、特許文献１では、静止している物体として検出させ続ける時間を制御する方法は開示されているが、背景画像化して物体として検出されなくなった際の解析方法については開示されていない。また、特許文献２でも、静止している物体として検出させ続けるために物体を検出した領域の画像処理を停止する方法は開示されているが、特許文献１と同様に、背景画像化して物体として検出されなくなった際の解析方法については開示されていない。
本発明は、このような問題点に鑑みてなされたものであり、画像中の新たな変化を持続的に検出しつつ、画像中の実際の物体の状態と、画像中の物体の状態の解析結果とに矛盾が生じることを防止することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像から背景差分法により物体を検出する物体検出手段と、前記物体検出手段により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する背景化手段と、前記物体検出手段により検出された物体が前記背景化された物体に対応するか否かを判断する判断手段と、前記物体検出手段により検出された物体、及び前記背景化された物体の状態を解析する解析手段と、を有し、前記解析手段は、前記判断手段により、前記物体検出手段により検出された物体が前記背景化手段により背景化された物体に対応しないと判断された場合に、前記背景化された物体の状態を解析し、対応すると判断された場合には、前記背景化された物体の状態を解析しないことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、背景化された物体に対し、検出された物体が背景化された物体に対応しないと判断された場合に、背景化された物体の状態を解析するようにした。したがって、画面上の新たな物体の状態の変化を持続的に検出しつつ、実際の物体の状態と、画像から検出した物体の状態の解析結果とに矛盾が生じることを防止することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の画像処理装置の構成を示す図である。
【図２】第１の実施形態の物体検出部の構成を示すブロック図である。
【図３】第１の実施形態のサンプリングデータ更新部の動作フローチャートである。
【図４】第１の実施形態の状態解析部の構成を示すブロック図である。
【図５】第１の実施形態の解析ルール適用部の動作フローチャートである。
【図６】第２の実施形態の物体検出部の構成を示すブロック図である。
【図７】第２の実施形態の状態解析部の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下、図１〜図５を参照して、本発明の第１の実施形態について説明する。
図１は、第１の実施形態に関わる画像処理装置の構成の一例を示すブロック図である。
画像処理装置１００は、画像入力部１１０、物体検出部１２０、状態解析部１３０、及び解析結果出力部１４０を有する。画像処理装置１００は、画像を入力とし、その解析結果を出力する。
【００１１】
画像入力部１１０は、画像処理装置１００に接続された図示しない外部装置（ビデオカメラや、ビデオテープ・ＤＶＤ・半導体メモリ等を用いた画像記憶再生装置）から画像データを連続的に取り込む。画像入力部１１０は、取り込んだ画像を、物体検出部１２０が取り扱うことができる所定の画像形式に変換した上で画像データとして物体検出部１２０に供給する。画像入力部１１０は、例えば、入力インターフェース及び画像変換装置を用いて実現される。
物体検出部１２０及び状態解析部１３０については後述する。
【００１２】
解析結果出力部１４０は、状態解析部１３０が出力する解析情報を、画像処理装置１００に接続された図示しない「画像処理結果を利用する装置」が取り扱うことができる所定の形式に変換した上で解析結果として出力する。解析結果出力部１４０は、例えば、出力インターフェース及びデータ変換装置を用いて実現される。例えば、画像処理結果を利用する装置として画像記憶再生装置を画像処理装置１００に接続する場合、解析結果出力部１４０は、静止している物体の出現と消失の検索用インデックス形式に解析情報を変換して出力する。また、解析結果出力部１４０は、入力されたイベントをトリガーに電子メールを発信することにより解析情報を出力することもできる。また、警告音を再生するイベント処理装置を画像処理装置１００に接続する場合、解析結果出力部１４０は、静止している物体の出現と消失のイベント形式に解析情報を変換して出力する。
【００１３】
続いて物体検出部１２０の構成と動作について、図２及び図３を参照しながら説明する。
図２は、物体検出部１２０の詳細な構成を示すブロック図である。
物体検出部１２０は、サンプリング部２００、サンプリングデータ記憶部２１０、差分計算部２２０、物体データ集約部２３０、サンプリングデータ更新部２４０、及び背景化物体データ集約部２５０を有する。
【００１４】
物体検出部１２０は、画像入力部１１０からの画像データを入力とし、背景差分法によって検出した物体情報と背景化物体情報とを状態解析部１３０に対して出力する。背景化物体情報を用いる点が本実施形態の特徴の一つである。物体検出部１２０は、例えば、プログラム制御により動作するデータ処理装置を用いて実現される。尚、背景差分法に関しては、特許文献１及び２に詳細に開示されているので、以下では、必要最小限の構成と動作について説明し、詳細な説明を省略する。背景差分法は、無論これらに開示されているものに限定されるものではない。
【００１５】
サンプリング部２００は、画素単位、又は複数の画素からなるブロック単位で、画像入力部１１０からの画像データの特徴量を抽出する。特徴量としては、例えば、画素毎、又はブロック毎の輝度や色相の値を用いることができる。サンプリング部２００で抽出された特徴量は、差分計算部２２０を経て、サンプリングデータ更新部２４０によって、サンプリングデータとして、サンプリングデータ記憶部２１０に記憶される。
まず、サンプリングデータ記憶部２１０に記録されるサンプリングデータについて説明する。サンプリングデータ記憶部２１０には、サンプリング単位である「画素毎又はブロック毎」の背景の特徴量（背景特徴量）と、検出された物体の特徴量（物体特徴量）とが記憶される。このとき、物体特徴量には、その特徴量を持つ物体が最初に検出されてからの経過時間情報が併せて記憶される。
【００１６】
差分計算部２２０は、サンプリング部２００からの「画素毎又はブロック毎の特徴量」と、サンプリングデータ記憶部２１０に記憶された「該当画素又は該当ブロックの背景特徴量」とを比較する。サンプリングデータ記憶部２１０には、１画面分の特徴量が記憶されている。差分計算部２２０は、サンプリング部２００が画像データの画像から抽出した特徴量を入力し、サンプリング部２００が特徴量を抽出した位置に対応する特徴量をサンプリングデータ記憶部２１０から読み出して、両者を比較する。ここで両者が予め設定された閾値の範囲内であれば、該当画素又は該当ブロックの特徴量は、背景特徴量と同一又は類似なので、差分計算部２２０は、該当画素又は該当ブロックは背景であると判断する。逆に、両者が予め設定された閾値の範囲外であれば、差分計算部２２０は、該当画素又は該当ブロックが、背景とは異なる物体であると判断し、該当画素又は該当ブロックの「座標情報と経過時間情報」を物体データ集約部２３０に出力する。
【００１７】
物体データ集約部２３０は、差分計算部２２０からの「物体が存在する『画素又はブロック』の座標情報」を集約し、物体が存在する画素又はブロックのうち、相互に隣接する画素同士又はブロック同士を連結処理することで物体毎の形状情報を生成する。また、物体データ集約部２３０は、物体が存在する「画素又はブロック」の経過時間情報を集約し、最初に検出されてからの経過時間情報を物体毎に生成する。物体データ集約部２３０は、これらの物体毎の「形状情報及び経過時間情報」を物体毎の物体情報として状態解析部１３０に出力する。
一方、サンプリング部２００からの「画素毎又はブロック毎の特徴量」は、差分計算部２２０を経てサンプリングデータ更新部２４０にも渡される。サンプリングデータ更新部２４０は、サンプリングデータ記憶部２１０に記憶された「画素毎又はブロック毎の背景特徴量と物体特徴量」の更新を行う。以下、図３を参照しながらサンプリングデータ更新部２４０の詳細な動作について説明する。
【００１８】
図３は、サンプリングデータ更新部２４０の動作の一例を説明するフローチャートである。まず、サンプリングデータ更新部２４０は、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている背景特徴量と類似であるか否かを判断する(ステップＳ３００）。この判断の結果、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている背景特徴量と類似であった場合には、差分計算部２２０からの特徴量は背景のものであるので、特徴量の更新を行わず、そのまま処理を終了する。一方、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている背景特徴量と類似でなかった場合には、差分計算部２２０からの特徴量は物体のものであるのでステップＳ３１０に進む。
【００１９】
ステップＳ３１０に進むと、サンプリングデータ更新部２４０は、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている物体特徴量と類似であるか否かを判断する。この判断の結果、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている物体特徴量と類似でなかった場合には、差分計算部２２０からの特徴量は、それまで検出されていた物体とは別の新たな物体のものである。よって、サンプリングデータ更新部２４０は、サンプリングデータ記憶部２１０に記憶されている物体特徴量を、差分計算部２２０からの新たな特徴量に置き換える（ステップＳ３３０）。これと共に、サンプリングデータ更新部２４０は、当該特徴量を持つ物体が最初に検出されてからの経過時間情報をリセットする。
【００２０】
一方、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている物体特徴量と類似であった場合には、差分計算部２２０からの特徴量は、それまでと同じ物体のものである。よって、サンプリングデータ更新部２４０は、サンプリングデータ記憶部２１０の物体特徴量の経過時間情報をインクリメントする（ステップＳ３２０）。ここで、この物体特徴量の経過時間情報が増加を続ける場合は、類似の特徴量が連続して入力される場合であり、同じ物体が、同じ画素の位置又は同じブロックの位置に存在し続けている場合（即ち物体がその場に静止している場合）である。物体の静止状態が長く続く場合、その後に画像中に起きる新たな変化を適切に検出するために、画像中の静止している物体の部分を新たな背景画像として置き換える必要がある。
【００２１】
そこで、続くステップＳ３４０では、サンプリングデータ更新部２４０は、差分計算部２２０により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する。たとえば、サンプリングデータ更新部２４０は、サンプリングデータ記憶部２１０の物体特徴量の経過時間情報が、予め設定された「背景化する時間閾値」を越えたか否かを判断する。この判定の結果、物体特徴量の経過時間情報が、時間閾値以内であった場合には、当該物体特徴量の物体を背景化する必要がないのでそのまま処理を終了する。一方、物体特徴量の経過時間情報が、時間閾値を越えていた場合には、サンプリングデータ更新部２４０は、サンプリングデータ記憶部２１０に記憶された背景特徴量を物体特徴量の情報で置き換え、当該物体特徴量の情報をリセットする(ステップＳ３５０)。例えば、置き換え前の背景特徴量が５００、物体特徴量が３００であれば、置き換え後の背景特徴量は３００になる。さらに、サンプリングデータ更新部２４０は、背景化した「画素又はブロック」の「座標情報と経過時間情報」を、背景化物体データ集約部２５０に出力して処理を終了する(ステップＳ３６０)。
【００２２】
背景化物体データ集約部２５０は、サンプリングデータ更新部２４０からの「背景化した物体が存在する『画素又はブロック』の座標情報」を集約する。そして、背景化物体データ集約部２５０は、背景化した物体が存在する画素又はブロックのうち、相互に隣接する画素同士又はブロック同士を連結処理することで物体毎の形状情報を生成する。また、背景化物体データ集約部２５０は、背景化した物体が存在する「画素又はブロック」の経過時間情報を集約し、最初に検出されてからの経過時間情報を、背景化した物体毎に生成する。背景化物体データ集約部２５０は、これら背景化した物体毎の「形状情報及び経過時間情報」を、背景化した物体毎の背景化物体情報として状態解析部１３０に出力する。
【００２３】
続いて状態解析部１３０の構成と動作の一例について、図４および図５を用いて説明する。
図４は、状態解析部１３０の詳細な構成を示すブロック図である。
状態解析部１３０は、解析ルール記憶部４００、解析ルール適用部４１０、背景化物体記憶部４２０、及び背景化物体検索部４３０を有する。状態解析部１３０は、物体検出部１２０からの「物体情報と背景化物体情報」を入力とし、解析ルールを適用した結果の解析情報を解析結果出力部１４０に対して出力する。状態解析部１３０は、例えば、プログラム制御により動作するデータ処理装置を用いて実現される。
【００２４】
まず、背景化物体記憶部４２０から説明する。背景化物体記憶部４２０は、物体検出部１２０から出力された背景化物体情報を記憶する。背景化物体記憶部４２０に記憶された背景化物体情報は、同じ座標・形状値を持つ背景化物体情報が背景化物体記憶部４２０に入力された際に削除される。
背景化物体検索部４３０は、背景化物体記憶部４２０に対して、解析ルール適用部４１０から指定された「座標・形状や経過時間等の値」をキーに検索を行い、該当する背景化物体情報の全部又は一部を解析ルール適用部４１０に返す。尚、解析ルール適用部４１０は、そのとき処理している物体情報の座標・形状や経過時間等をキーとして用いる。解析ルール記憶部４００には、後述の解析ルール適用部４１０で用いる解析ルールが予め設定・記憶されている。ここで、解析とは、画面上の変化を物体に生じた状態変化として判断することをいう。例えば、解析ルール適用部４１０は、画面上で新たに検出された物体が同じ場所で一定時間以上存在し続けた（所定時間以上静止している）場合、その場に持ち込まれた物体が放置されたと判断するといった解析を行う。解析ルールは、このような物体の状態の判断基準となるものであり、例えば、物体の座標や経過時間の値の範囲で表現される。
【００２５】
解析ルール適用部４１０は、物体検出部１２０からの物体情報に対して、前述の解析ルール記憶部４００に記憶された解析ルールと、背景化物体検索部４３０による背景化物体情報の検索結果とを適用して解析処理を行う。以下、図５を参照しながら解析ルール適用部４１０の詳細な動作について説明する。
図５は、解析ルール適用部４１０の動作の一例を説明するフローチャートである。
最初に、解析ルール適用部４１０は、背景化物体検索部４３０を用いて背景化物体情報を検索する（ステップＳ５００）。
【００２６】
そして、解析ルール適用部４１０は、背景化物体検索部４３０の検索の結果に基づいて、背景化物体記憶部４２０に背景化物体情報があったか否かを判断する（ステップＳ５１０）。この判断の結果、背景化物体情報がなかった場合には、解析ルール適用部４１０は、物体検出部１２０からの物体情報があるか否かを判断する（ステップＳ５３０）。この判断の結果、物体情報がなかった場合にはそのまま処理を終了する。一方、物体情報があった場合には、解析ルール適用部４１０は、その物体情報に対して解析ルールを適用し、該当する物体の状態を解析する（ステップＳ５４０）。例えば、解析ルール適用部４１０は、物体が放置されたか解析する。そして、解析ルール適用部４１０は、物体の状態の解析結果である解析情報を解析結果出力部１４０に出力する（ステップＳ５５０）。
【００２７】
ステップＳ５１０で、背景化物体情報があったと判断された場合には、ステップＳ５２０に進む。そして、解析ルール適用部４１０は、物体検出部１２０からの物体情報が背景化物体記憶部４２０に記憶されている背景化物体情報と対応するか否かを判断する。物体情報と背景化物体情報とが対応するか否かは、例えば、それらの座標と形状値とが等しいか否かで判断する。
この判断の結果、背景化物体情報と物体情報が対応しなかった場合、解析ルール適用部４１０は、実際には画像中に物体が存在する状態であると判断する。逆に、背景化物体情報と物体情報が対応した場合、解析ルール適用部４１０は、実際には画像中に物体が存在しない状態であると判断する。図３のステップＳ３５０の処理で物体が背景化した時点で、入力した画像の特徴量と、サンプリングデータ記憶部２１０に記憶された背景特徴量との差分が閾値の範囲内になるので、物体は検出されなくなる。その結果、当該物体の物体情報が物体検出部１２０出力されないので、背景化物体情報に対応する物体情報がないことになる。その後、背景化していた物体が移動して、当該物体の陰になっていた部分（本来の背景）が見えるようになると、その部分の背景特徴量と、入力した画像の特徴量との差分が生じ、物体情報として出力されるようになる。この部分は、座標値と形状値とが対応する。例えば、床の上に箱が放置され、当該箱が背景化した場合では、背景である床面が物体である箱の陰になって見えなくなるが、箱が取り除かれると、再び床面が見えるようになる。ここで箱と、当該箱の陰になった床面の「画面上の座標と形状」は対応する。この対応した物体は本来の背景であるので、物体は存在しないと判断する。
【００２８】
以上のことから、ステップＳ５２０で、背景化物体情報と物体情報が対応した場合には、実際には画像中に物体が存在しないのでそのまま処理を終了する。一方、背景化物体情報と物体情報が対応しなかった場合には、ステップＳ５４０に進み、解析ルール適用部４１０は、背景化物体情報、物体情報に対して解析ルールを適用し、該当する物体の状態を解析する。例えば、物体が持ち去られたかどうかを解析する。そして、解析ルール適用部４１０は、背景化された物体の状態の解析結果である解析情報を解析結果出力部１４０に出力する（ステップＳ５５０）。
【００２９】
以上のように本実施形態では、画像中で長時間静止している物体を背景化した後、背景化した物体の形状情報及び経過時間情報を背景化物体情報として生成し、背景化物体記憶部４２０に記憶しておく。そして、入力した画像の物体情報と、記憶しておいた背景化物体情報とを照合し、背景化物体情報に対応する物体情報がない場合には、当該背景化物体情報に解析ルールを適用し、背景化した物体の状態を解析する。したがって、静止している物体が背景化しても引き続き物体が存在するものとして状態解析処理を継続できるので、実際の物体の状態と物体の状態の解析結果とに矛盾が生じないようになる。
尚、背景化物体情報と座標値及び形状値が対応する物体情報があるか否かを判定するようにしたが、必ずしもこれらが厳密に合致する物体情報があるか否かを判定する必要はなく、これらが所定の範囲内にある物体情報があるか否かを判定するようにしてもよい。
【００３０】
尚、本実施形態では、例えば、画像入力部１１０を用いることにより画像入力手段の一例が実現される。また、例えば、サンプリングデータ更新部２４０が、図３のステップＳ３３０、Ｓ３５０の処理を行うことにより、物体検出手段、背景化手段の一例がそれぞれ実現され、背景化物体検索部４３０を用いることにより判断手段の一例が実現される。また、例えば、背景化物体記憶部４２０を用いることにより記憶手段の一例が実現される。
【００３１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態と第１の実施形態とは、背景化物体情報を生成、検索する部分が異なるが、その他の部分は同一である。そのため、本実施形態では、第１の実施形態と同一の部分については、図１〜図５に付した符号を付す等して詳細な説明を省略し、第１の実施形態との差異部分のみを説明する。
本実施形態の画像処理装置の構成を示すブロック図は、図１に示した物体検出部１２０を図６に示す物体検出部１２５に、図１に示した状態解析部１３０を図７に示す状態解析部１３５にそれぞれ置き換えたものである。
本実施形態の物体検出部１２５は、第１の実施形態の物体検出部１２０におけるサンプリングデータ記憶部２１０、サンプリングデータ更新部２４０の代わりに、サンプリングデータ記憶部６００、サンプリングデータ更新部６１０をそれぞれ有する。また、本実施形態の物体検出部１２５は、背景化物体データ集約部２５０の前段に、基準背景差分計算部６２０をさらに有する。
【００３２】
サンプリングデータ記憶部６００は、第１の実施形態におけるサンプリングデータ記憶部２１０に記憶されるサンプリングデータ（背景特徴量及び物体特徴量）に加えて、基準となる背景の特徴量が記憶される。ここで基準となる背景とは、物体がまったく検出されていない状態の背景のことである。基準となる背景の特徴量は、例えば、画像処理装置１００の起動時に、物体検出部１２０が自動的に生成して記憶する。ただし、必ずしもこのようにする必要はなく、利用者の指示により、基準となる背景の特徴量を生成して記憶するようにしてもよい。基準となる背景の特徴量は、後述の基準背景差分計算部６２０に対して、その時点の背景特徴量とともに出力される。尚、以下の説明では、「基準となる背景の特徴量」を必要に応じて「基準背景特徴量」と称する。
【００３３】
サンプリングデータ更新部６１０の動作は、第１の実施形態のサンプリングデータ更新部２４０の動作から、図３のステップＳ３６０の処理を削除した動作となる。
基準背景差分計算部６２０は、サンプリングデータ記憶部６００からの基準背景特徴量と、その時点の背景特徴量との差分を計算する。この差分の計算方法は、差分計算部２２０と同様である。基準背景差分計算部６２０は、この差分が閾値の範囲外となった場合、該当画素又は該当ブロックの「座標情報と経過時間情報」を後続の背景化物体データ集約部２５０に出力する。そして、背景化物体データ集約部２５０において背景化物体情報が生成される。
【００３４】
物体検出部１２５は、画像データの入力の都度、背景化物体情報を生成する。このため、本実施形態の状態解析部１３５は、背景化物体記憶部４２０を持たない。よって、背景化物体検索部７００は、物体検出部１２５からの背景化物体情報に対して直接背景化物体の検索を行う。また、解析ルール適用部４１０は、図５のステップＳ５００において、背景化物体検索部７００を用いて背景化物体情報を検索するが、それ以外の動作は第１の実施形態の動作と同じである。
以上のように本実施形態では、物体の存在しない状態の基準背景画像とその時点の背景画像の差分から背景化物体情報を生成するようにした。よって、画像データの入力の都度、背景化物体情報を生成することができる。したがって、背景化物体情報を記憶する必要がなくなり、メモリ容量の削減を図れる。本実施形態は、特に、基準となる背景が安定していて変動がない入力画像について適用するのが好適である。
【００３５】
尚、本実施形態では、例えば、画像入力部１１０を用いることにより画像入力手段の一例が実現される。また、例えば、サンプリングデータ更新部６１０が、図３のステップＳ３３０、Ｓ３５０の処理を行うことにより、物体検出手段、背景化手段の一例がそれぞれ実現され、背景化物体検索部７００を用いることにより判断手段の一例が実現される。
【００３６】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００３７】
１００ 画像処理装置、１２０ 物体検出部、１３０ 状態解析部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、画像処理によって画像中の物体の状態変化を解析するために用いて好適なものである。
【背景技術】
【０００２】
近年、画像処理によって画像中の物体の状態変化を解析することが行われるようになった。フレーム間差分法や背景差分法等により画像の変化を検出し、その変化を画像中の物体の状態変化（例えば物体の出現や消滅）として解析する。特に、背景差分法を用いた場合には、画像中に出現した後に静止し続けている物体も検出できるので、物体の置き去りや放置を知ることができる。
背景差分法では、物体の検出精度が、入力画像との比較に用いる背景画像に大きく依存する。そのため、より適切な背景画像を用いるための方法が提案されている。
【０００３】
特許文献１では、適応的に背景モデルを生成する方法が開示されている。また、特許文献２では、背景画像とすべきでない物体の背景画像への影響を低減する方法が開示されている。
特許文献１に開示された方法により、静止している物体を検出し続けた後に、当該静止している物体を背景画像にすることができる。また、特許文献２の方法により、出現頻度の低い物体を背景画像にすることなく、長時間静止している（即ち出現頻度が高い）物体を背景画像にすることができる。特許文献１、２に開示された方法では、ともに、静止している物体を背景画像にすることで、その後に画像中に起きる新たな変化を検出できるようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３２３５７２号公報
【特許文献２】特開２００９−６４２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、背景画像になった時点で入力画像との差分がなくなるので、静止している物体は、物体として検出されなくなってしまう。そうすると、実際には、物体は静止している（即ち存在し続けている）にも関わらず、物体が消滅したとして解析されてしまうことになる。その後、物体が移動する等して実際に画像中に存在しなくなった場合、画面上ではそれまで物体の陰になっていた部分が新たに見えるようになり、それが変化として検出される。ところが、物体が消滅したと解析した後なので、その変化を、新規の物体の出現として解析されることになり、物体の状態と物体の状態の解析結果とが矛盾をきたすようになってしまう。
【０００６】
これに対して、特許文献１では、静止している物体として検出させ続ける時間を制御する方法は開示されているが、背景画像化して物体として検出されなくなった際の解析方法については開示されていない。また、特許文献２でも、静止している物体として検出させ続けるために物体を検出した領域の画像処理を停止する方法は開示されているが、特許文献１と同様に、背景画像化して物体として検出されなくなった際の解析方法については開示されていない。
本発明は、このような問題点に鑑みてなされたものであり、画像中の新たな変化を持続的に検出しつつ、画像中の実際の物体の状態と、画像中の物体の状態の解析結果とに矛盾が生じることを防止することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像から背景差分法により物体を検出する物体検出手段と、前記物体検出手段により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する背景化手段と、前記物体検出手段により検出された物体が前記背景化された物体に対応するか否かを判断する判断手段と、前記物体検出手段により検出された物体、及び前記背景化された物体の状態を解析する解析手段と、を有し、前記解析手段は、前記判断手段により、前記物体検出手段により検出された物体が前記背景化手段により背景化された物体に対応しないと判断された場合に、前記背景化された物体の状態を解析し、対応すると判断された場合には、前記背景化された物体の状態を解析しないことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、背景化された物体に対し、検出された物体が背景化された物体に対応しないと判断された場合に、背景化された物体の状態を解析するようにした。したがって、画面上の新たな物体の状態の変化を持続的に検出しつつ、実際の物体の状態と、画像から検出した物体の状態の解析結果とに矛盾が生じることを防止することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の画像処理装置の構成を示す図である。
【図２】第１の実施形態の物体検出部の構成を示すブロック図である。
【図３】第１の実施形態のサンプリングデータ更新部の動作フローチャートである。
【図４】第１の実施形態の状態解析部の構成を示すブロック図である。
【図５】第１の実施形態の解析ルール適用部の動作フローチャートである。
【図６】第２の実施形態の物体検出部の構成を示すブロック図である。
【図７】第２の実施形態の状態解析部の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下、図１〜図５を参照して、本発明の第１の実施形態について説明する。
図１は、第１の実施形態に関わる画像処理装置の構成の一例を示すブロック図である。
画像処理装置１００は、画像入力部１１０、物体検出部１２０、状態解析部１３０、及び解析結果出力部１４０を有する。画像処理装置１００は、画像を入力とし、その解析結果を出力する。
【００１１】
画像入力部１１０は、画像処理装置１００に接続された図示しない外部装置（ビデオカメラや、ビデオテープ・ＤＶＤ・半導体メモリ等を用いた画像記憶再生装置）から画像データを連続的に取り込む。画像入力部１１０は、取り込んだ画像を、物体検出部１２０が取り扱うことができる所定の画像形式に変換した上で画像データとして物体検出部１２０に供給する。画像入力部１１０は、例えば、入力インターフェース及び画像変換装置を用いて実現される。
物体検出部１２０及び状態解析部１３０については後述する。
【００１２】
解析結果出力部１４０は、状態解析部１３０が出力する解析情報を、画像処理装置１００に接続された図示しない「画像処理結果を利用する装置」が取り扱うことができる所定の形式に変換した上で解析結果として出力する。解析結果出力部１４０は、例えば、出力インターフェース及びデータ変換装置を用いて実現される。例えば、画像処理結果を利用する装置として画像記憶再生装置を画像処理装置１００に接続する場合、解析結果出力部１４０は、静止している物体の出現と消失の検索用インデックス形式に解析情報を変換して出力する。また、解析結果出力部１４０は、入力されたイベントをトリガーに電子メールを発信することにより解析情報を出力することもできる。また、警告音を再生するイベント処理装置を画像処理装置１００に接続する場合、解析結果出力部１４０は、静止している物体の出現と消失のイベント形式に解析情報を変換して出力する。
【００１３】
続いて物体検出部１２０の構成と動作について、図２及び図３を参照しながら説明する。
図２は、物体検出部１２０の詳細な構成を示すブロック図である。
物体検出部１２０は、サンプリング部２００、サンプリングデータ記憶部２１０、差分計算部２２０、物体データ集約部２３０、サンプリングデータ更新部２４０、及び背景化物体データ集約部２５０を有する。
【００１４】
物体検出部１２０は、画像入力部１１０からの画像データを入力とし、背景差分法によって検出した物体情報と背景化物体情報とを状態解析部１３０に対して出力する。背景化物体情報を用いる点が本実施形態の特徴の一つである。物体検出部１２０は、例えば、プログラム制御により動作するデータ処理装置を用いて実現される。尚、背景差分法に関しては、特許文献１及び２に詳細に開示されているので、以下では、必要最小限の構成と動作について説明し、詳細な説明を省略する。背景差分法は、無論これらに開示されているものに限定されるものではない。
【００１５】
サンプリング部２００は、画素単位、又は複数の画素からなるブロック単位で、画像入力部１１０からの画像データの特徴量を抽出する。特徴量としては、例えば、画素毎、又はブロック毎の輝度や色相の値を用いることができる。サンプリング部２００で抽出された特徴量は、差分計算部２２０を経て、サンプリングデータ更新部２４０によって、サンプリングデータとして、サンプリングデータ記憶部２１０に記憶される。
まず、サンプリングデータ記憶部２１０に記録されるサンプリングデータについて説明する。サンプリングデータ記憶部２１０には、サンプリング単位である「画素毎又はブロック毎」の背景の特徴量（背景特徴量）と、検出された物体の特徴量（物体特徴量）とが記憶される。このとき、物体特徴量には、その特徴量を持つ物体が最初に検出されてからの経過時間情報が併せて記憶される。
【００１６】
差分計算部２２０は、サンプリング部２００からの「画素毎又はブロック毎の特徴量」と、サンプリングデータ記憶部２１０に記憶された「該当画素又は該当ブロックの背景特徴量」とを比較する。サンプリングデータ記憶部２１０には、１画面分の特徴量が記憶されている。差分計算部２２０は、サンプリング部２００が画像データの画像から抽出した特徴量を入力し、サンプリング部２００が特徴量を抽出した位置に対応する特徴量をサンプリングデータ記憶部２１０から読み出して、両者を比較する。ここで両者が予め設定された閾値の範囲内であれば、該当画素又は該当ブロックの特徴量は、背景特徴量と同一又は類似なので、差分計算部２２０は、該当画素又は該当ブロックは背景であると判断する。逆に、両者が予め設定された閾値の範囲外であれば、差分計算部２２０は、該当画素又は該当ブロックが、背景とは異なる物体であると判断し、該当画素又は該当ブロックの「座標情報と経過時間情報」を物体データ集約部２３０に出力する。
【００１７】
物体データ集約部２３０は、差分計算部２２０からの「物体が存在する『画素又はブロック』の座標情報」を集約し、物体が存在する画素又はブロックのうち、相互に隣接する画素同士又はブロック同士を連結処理することで物体毎の形状情報を生成する。また、物体データ集約部２３０は、物体が存在する「画素又はブロック」の経過時間情報を集約し、最初に検出されてからの経過時間情報を物体毎に生成する。物体データ集約部２３０は、これらの物体毎の「形状情報及び経過時間情報」を物体毎の物体情報として状態解析部１３０に出力する。
一方、サンプリング部２００からの「画素毎又はブロック毎の特徴量」は、差分計算部２２０を経てサンプリングデータ更新部２４０にも渡される。サンプリングデータ更新部２４０は、サンプリングデータ記憶部２１０に記憶された「画素毎又はブロック毎の背景特徴量と物体特徴量」の更新を行う。以下、図３を参照しながらサンプリングデータ更新部２４０の詳細な動作について説明する。
【００１８】
図３は、サンプリングデータ更新部２４０の動作の一例を説明するフローチャートである。まず、サンプリングデータ更新部２４０は、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている背景特徴量と類似であるか否かを判断する(ステップＳ３００）。この判断の結果、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている背景特徴量と類似であった場合には、差分計算部２２０からの特徴量は背景のものであるので、特徴量の更新を行わず、そのまま処理を終了する。一方、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている背景特徴量と類似でなかった場合には、差分計算部２２０からの特徴量は物体のものであるのでステップＳ３１０に進む。
【００１９】
ステップＳ３１０に進むと、サンプリングデータ更新部２４０は、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている物体特徴量と類似であるか否かを判断する。この判断の結果、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている物体特徴量と類似でなかった場合には、差分計算部２２０からの特徴量は、それまで検出されていた物体とは別の新たな物体のものである。よって、サンプリングデータ更新部２４０は、サンプリングデータ記憶部２１０に記憶されている物体特徴量を、差分計算部２２０からの新たな特徴量に置き換える（ステップＳ３３０）。これと共に、サンプリングデータ更新部２４０は、当該特徴量を持つ物体が最初に検出されてからの経過時間情報をリセットする。
【００２０】
一方、差分計算部２２０からの特徴量が、サンプリングデータ記憶部２１０に記憶されている物体特徴量と類似であった場合には、差分計算部２２０からの特徴量は、それまでと同じ物体のものである。よって、サンプリングデータ更新部２４０は、サンプリングデータ記憶部２１０の物体特徴量の経過時間情報をインクリメントする（ステップＳ３２０）。ここで、この物体特徴量の経過時間情報が増加を続ける場合は、類似の特徴量が連続して入力される場合であり、同じ物体が、同じ画素の位置又は同じブロックの位置に存在し続けている場合（即ち物体がその場に静止している場合）である。物体の静止状態が長く続く場合、その後に画像中に起きる新たな変化を適切に検出するために、画像中の静止している物体の部分を新たな背景画像として置き換える必要がある。
【００２１】
そこで、続くステップＳ３４０では、サンプリングデータ更新部２４０は、差分計算部２２０により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する。たとえば、サンプリングデータ更新部２４０は、サンプリングデータ記憶部２１０の物体特徴量の経過時間情報が、予め設定された「背景化する時間閾値」を越えたか否かを判断する。この判定の結果、物体特徴量の経過時間情報が、時間閾値以内であった場合には、当該物体特徴量の物体を背景化する必要がないのでそのまま処理を終了する。一方、物体特徴量の経過時間情報が、時間閾値を越えていた場合には、サンプリングデータ更新部２４０は、サンプリングデータ記憶部２１０に記憶された背景特徴量を物体特徴量の情報で置き換え、当該物体特徴量の情報をリセットする(ステップＳ３５０)。例えば、置き換え前の背景特徴量が５００、物体特徴量が３００であれば、置き換え後の背景特徴量は３００になる。さらに、サンプリングデータ更新部２４０は、背景化した「画素又はブロック」の「座標情報と経過時間情報」を、背景化物体データ集約部２５０に出力して処理を終了する(ステップＳ３６０)。
【００２２】
背景化物体データ集約部２５０は、サンプリングデータ更新部２４０からの「背景化した物体が存在する『画素又はブロック』の座標情報」を集約する。そして、背景化物体データ集約部２５０は、背景化した物体が存在する画素又はブロックのうち、相互に隣接する画素同士又はブロック同士を連結処理することで物体毎の形状情報を生成する。また、背景化物体データ集約部２５０は、背景化した物体が存在する「画素又はブロック」の経過時間情報を集約し、最初に検出されてからの経過時間情報を、背景化した物体毎に生成する。背景化物体データ集約部２５０は、これら背景化した物体毎の「形状情報及び経過時間情報」を、背景化した物体毎の背景化物体情報として状態解析部１３０に出力する。
【００２３】
続いて状態解析部１３０の構成と動作の一例について、図４および図５を用いて説明する。
図４は、状態解析部１３０の詳細な構成を示すブロック図である。
状態解析部１３０は、解析ルール記憶部４００、解析ルール適用部４１０、背景化物体記憶部４２０、及び背景化物体検索部４３０を有する。状態解析部１３０は、物体検出部１２０からの「物体情報と背景化物体情報」を入力とし、解析ルールを適用した結果の解析情報を解析結果出力部１４０に対して出力する。状態解析部１３０は、例えば、プログラム制御により動作するデータ処理装置を用いて実現される。
【００２４】
まず、背景化物体記憶部４２０から説明する。背景化物体記憶部４２０は、物体検出部１２０から出力された背景化物体情報を記憶する。背景化物体記憶部４２０に記憶された背景化物体情報は、同じ座標・形状値を持つ背景化物体情報が背景化物体記憶部４２０に入力された際に削除される。
背景化物体検索部４３０は、背景化物体記憶部４２０に対して、解析ルール適用部４１０から指定された「座標・形状や経過時間等の値」をキーに検索を行い、該当する背景化物体情報の全部又は一部を解析ルール適用部４１０に返す。尚、解析ルール適用部４１０は、そのとき処理している物体情報の座標・形状や経過時間等をキーとして用いる。解析ルール記憶部４００には、後述の解析ルール適用部４１０で用いる解析ルールが予め設定・記憶されている。ここで、解析とは、画面上の変化を物体に生じた状態変化として判断することをいう。例えば、解析ルール適用部４１０は、画面上で新たに検出された物体が同じ場所で一定時間以上存在し続けた（所定時間以上静止している）場合、その場に持ち込まれた物体が放置されたと判断するといった解析を行う。解析ルールは、このような物体の状態の判断基準となるものであり、例えば、物体の座標や経過時間の値の範囲で表現される。
【００２５】
解析ルール適用部４１０は、物体検出部１２０からの物体情報に対して、前述の解析ルール記憶部４００に記憶された解析ルールと、背景化物体検索部４３０による背景化物体情報の検索結果とを適用して解析処理を行う。以下、図５を参照しながら解析ルール適用部４１０の詳細な動作について説明する。
図５は、解析ルール適用部４１０の動作の一例を説明するフローチャートである。
最初に、解析ルール適用部４１０は、背景化物体検索部４３０を用いて背景化物体情報を検索する（ステップＳ５００）。
【００２６】
そして、解析ルール適用部４１０は、背景化物体検索部４３０の検索の結果に基づいて、背景化物体記憶部４２０に背景化物体情報があったか否かを判断する（ステップＳ５１０）。この判断の結果、背景化物体情報がなかった場合には、解析ルール適用部４１０は、物体検出部１２０からの物体情報があるか否かを判断する（ステップＳ５３０）。この判断の結果、物体情報がなかった場合にはそのまま処理を終了する。一方、物体情報があった場合には、解析ルール適用部４１０は、その物体情報に対して解析ルールを適用し、該当する物体の状態を解析する（ステップＳ５４０）。例えば、解析ルール適用部４１０は、物体が放置されたか解析する。そして、解析ルール適用部４１０は、物体の状態の解析結果である解析情報を解析結果出力部１４０に出力する（ステップＳ５５０）。
【００２７】
ステップＳ５１０で、背景化物体情報があったと判断された場合には、ステップＳ５２０に進む。そして、解析ルール適用部４１０は、物体検出部１２０からの物体情報が背景化物体記憶部４２０に記憶されている背景化物体情報と対応するか否かを判断する。物体情報と背景化物体情報とが対応するか否かは、例えば、それらの座標と形状値とが等しいか否かで判断する。
この判断の結果、背景化物体情報と物体情報が対応しなかった場合、解析ルール適用部４１０は、実際には画像中に物体が存在する状態であると判断する。逆に、背景化物体情報と物体情報が対応した場合、解析ルール適用部４１０は、実際には画像中に物体が存在しない状態であると判断する。図３のステップＳ３５０の処理で物体が背景化した時点で、入力した画像の特徴量と、サンプリングデータ記憶部２１０に記憶された背景特徴量との差分が閾値の範囲内になるので、物体は検出されなくなる。その結果、当該物体の物体情報が物体検出部１２０出力されないので、背景化物体情報に対応する物体情報がないことになる。その後、背景化していた物体が移動して、当該物体の陰になっていた部分（本来の背景）が見えるようになると、その部分の背景特徴量と、入力した画像の特徴量との差分が生じ、物体情報として出力されるようになる。この部分は、座標値と形状値とが対応する。例えば、床の上に箱が放置され、当該箱が背景化した場合では、背景である床面が物体である箱の陰になって見えなくなるが、箱が取り除かれると、再び床面が見えるようになる。ここで箱と、当該箱の陰になった床面の「画面上の座標と形状」は対応する。この対応した物体は本来の背景であるので、物体は存在しないと判断する。
【００２８】
以上のことから、ステップＳ５２０で、背景化物体情報と物体情報が対応した場合には、実際には画像中に物体が存在しないのでそのまま処理を終了する。一方、背景化物体情報と物体情報が対応しなかった場合には、ステップＳ５４０に進み、解析ルール適用部４１０は、背景化物体情報、物体情報に対して解析ルールを適用し、該当する物体の状態を解析する。例えば、物体が持ち去られたかどうかを解析する。そして、解析ルール適用部４１０は、背景化された物体の状態の解析結果である解析情報を解析結果出力部１４０に出力する（ステップＳ５５０）。
【００２９】
以上のように本実施形態では、画像中で長時間静止している物体を背景化した後、背景化した物体の形状情報及び経過時間情報を背景化物体情報として生成し、背景化物体記憶部４２０に記憶しておく。そして、入力した画像の物体情報と、記憶しておいた背景化物体情報とを照合し、背景化物体情報に対応する物体情報がない場合には、当該背景化物体情報に解析ルールを適用し、背景化した物体の状態を解析する。したがって、静止している物体が背景化しても引き続き物体が存在するものとして状態解析処理を継続できるので、実際の物体の状態と物体の状態の解析結果とに矛盾が生じないようになる。
尚、背景化物体情報と座標値及び形状値が対応する物体情報があるか否かを判定するようにしたが、必ずしもこれらが厳密に合致する物体情報があるか否かを判定する必要はなく、これらが所定の範囲内にある物体情報があるか否かを判定するようにしてもよい。
【００３０】
尚、本実施形態では、例えば、画像入力部１１０を用いることにより画像入力手段の一例が実現される。また、例えば、サンプリングデータ更新部２４０が、図３のステップＳ３３０、Ｓ３５０の処理を行うことにより、物体検出手段、背景化手段の一例がそれぞれ実現され、背景化物体検索部４３０を用いることにより判断手段の一例が実現される。また、例えば、背景化物体記憶部４２０を用いることにより記憶手段の一例が実現される。
【００３１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態と第１の実施形態とは、背景化物体情報を生成、検索する部分が異なるが、その他の部分は同一である。そのため、本実施形態では、第１の実施形態と同一の部分については、図１〜図５に付した符号を付す等して詳細な説明を省略し、第１の実施形態との差異部分のみを説明する。
本実施形態の画像処理装置の構成を示すブロック図は、図１に示した物体検出部１２０を図６に示す物体検出部１２５に、図１に示した状態解析部１３０を図７に示す状態解析部１３５にそれぞれ置き換えたものである。
本実施形態の物体検出部１２５は、第１の実施形態の物体検出部１２０におけるサンプリングデータ記憶部２１０、サンプリングデータ更新部２４０の代わりに、サンプリングデータ記憶部６００、サンプリングデータ更新部６１０をそれぞれ有する。また、本実施形態の物体検出部１２５は、背景化物体データ集約部２５０の前段に、基準背景差分計算部６２０をさらに有する。
【００３２】
サンプリングデータ記憶部６００は、第１の実施形態におけるサンプリングデータ記憶部２１０に記憶されるサンプリングデータ（背景特徴量及び物体特徴量）に加えて、基準となる背景の特徴量が記憶される。ここで基準となる背景とは、物体がまったく検出されていない状態の背景のことである。基準となる背景の特徴量は、例えば、画像処理装置１００の起動時に、物体検出部１２０が自動的に生成して記憶する。ただし、必ずしもこのようにする必要はなく、利用者の指示により、基準となる背景の特徴量を生成して記憶するようにしてもよい。基準となる背景の特徴量は、後述の基準背景差分計算部６２０に対して、その時点の背景特徴量とともに出力される。尚、以下の説明では、「基準となる背景の特徴量」を必要に応じて「基準背景特徴量」と称する。
【００３３】
サンプリングデータ更新部６１０の動作は、第１の実施形態のサンプリングデータ更新部２４０の動作から、図３のステップＳ３６０の処理を削除した動作となる。
基準背景差分計算部６２０は、サンプリングデータ記憶部６００からの基準背景特徴量と、その時点の背景特徴量との差分を計算する。この差分の計算方法は、差分計算部２２０と同様である。基準背景差分計算部６２０は、この差分が閾値の範囲外となった場合、該当画素又は該当ブロックの「座標情報と経過時間情報」を後続の背景化物体データ集約部２５０に出力する。そして、背景化物体データ集約部２５０において背景化物体情報が生成される。
【００３４】
物体検出部１２５は、画像データの入力の都度、背景化物体情報を生成する。このため、本実施形態の状態解析部１３５は、背景化物体記憶部４２０を持たない。よって、背景化物体検索部７００は、物体検出部１２５からの背景化物体情報に対して直接背景化物体の検索を行う。また、解析ルール適用部４１０は、図５のステップＳ５００において、背景化物体検索部７００を用いて背景化物体情報を検索するが、それ以外の動作は第１の実施形態の動作と同じである。
以上のように本実施形態では、物体の存在しない状態の基準背景画像とその時点の背景画像の差分から背景化物体情報を生成するようにした。よって、画像データの入力の都度、背景化物体情報を生成することができる。したがって、背景化物体情報を記憶する必要がなくなり、メモリ容量の削減を図れる。本実施形態は、特に、基準となる背景が安定していて変動がない入力画像について適用するのが好適である。
【００３５】
尚、本実施形態では、例えば、画像入力部１１０を用いることにより画像入力手段の一例が実現される。また、例えば、サンプリングデータ更新部６１０が、図３のステップＳ３３０、Ｓ３５０の処理を行うことにより、物体検出手段、背景化手段の一例がそれぞれ実現され、背景化物体検索部７００を用いることにより判断手段の一例が実現される。
【００３６】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００３７】
１００ 画像処理装置、１２０ 物体検出部、１３０ 状態解析部
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像から背景差分法により物体を検出する物体検出手段と、
前記物体検出手段により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する背景化手段と、
前記物体検出手段により検出された物体が前記背景化された物体に対応するか否かを判断する判断手段と、
前記物体検出手段により検出された物体、及び前記背景化された物体の状態を解析する解析手段と、を有し、
前記解析手段は、前記判断手段により、前記物体検出手段により検出された物体が前記背景化手段により背景化された物体に対応しないと判断された場合に、前記背景化された物体の状態を解析し、対応すると判断された場合には、前記背景化された物体の状態を解析しないことを特徴とする画像処理装置。
【請求項２】
前記背景化手段により物体が背景化されると、当該背景化された物体の位置の情報を記憶する記憶手段を有し、
前記判断手段は、前記記憶手段に記憶された情報に基づいて、前記物体検出手段により検出された物体が、前記背景化手段により背景化された物体に対し、位置及び形状が所定の範囲内にあるか否かを判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像を入力する画像入力工程と、
前記画像入力工程により入力された画像から背景差分法により物体を検出する物体検出工程と、
前記物体検出工程により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する背景化工程と、
前記物体検出工程により検出された物体が前記背景化された物体に対応するか否かを判断する判断工程と、
前記判断工程により、前記物体検出工程により検出された物体が前記背景化工程により背景化された物体に対応しないと判断されると、前記背景化された物体の状態を解析する解析工程と、
を有することを特徴とする画像処理方法。
【請求項４】
前記背景化工程により物体が背景化されると、当該背景化された物体の位置の情報を記憶する記憶工程を有し、
前記判断工程は、前記記憶工程に記憶された情報に基づいて、前記物体検出工程により検出された物体が、前記背景化工程により背景化された物体に対し、位置及び形状が所定の範囲内にあるか否かを判断することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
画像を入力する画像入力工程と、
前記画像入力工程により入力された画像から背景差分法により物体を検出する物体検出工程と、
前記物体検出工程により検出された物体が背景化条件を満たすと、当該物体を背景化する背景化工程と、
前記物体検出工程により検出された物体が前記背景化された物体に対応するか否かを判断する判断工程と、
前記判断工程により、前記物体検出工程により検出された物体が前記背景化工程により背景化された物体に対応しないと判断されると、前記背景化された物体の状態を解析する解析工程と、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１】
画像を入力する画像入力手段と、
前記画像入力手段により入力された画像から背景差分法により物体を検出する物体検出手段と、
前記物体検出手段により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する背景化手段と、
前記物体検出手段により検出された物体が前記背景化された物体に対応するか否かを判断する判断手段と、
前記物体検出手段により検出された物体、及び前記背景化された物体の状態を解析する解析手段と、を有し、
前記解析手段は、前記判断手段により、前記物体検出手段により検出された物体が前記背景化手段により背景化された物体に対応しないと判断された場合に、前記背景化された物体の状態を解析し、対応すると判断された場合には、前記背景化された物体の状態を解析しないことを特徴とする画像処理装置。
【請求項２】
前記背景化手段により物体が背景化されると、当該背景化された物体の位置の情報を記憶する記憶手段を有し、
前記判断手段は、前記記憶手段に記憶された情報に基づいて、前記物体検出手段により検出された物体が、前記背景化手段により背景化された物体に対し、位置及び形状が所定の範囲内にあるか否かを判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像を入力する画像入力工程と、
前記画像入力工程により入力された画像から背景差分法により物体を検出する物体検出工程と、
前記物体検出工程により検出された物体が所定の背景化条件を満たすと、当該物体を背景化する背景化工程と、
前記物体検出工程により検出された物体が前記背景化された物体に対応するか否かを判断する判断工程と、
前記判断工程により、前記物体検出工程により検出された物体が前記背景化工程により背景化された物体に対応しないと判断されると、前記背景化された物体の状態を解析する解析工程と、
を有することを特徴とする画像処理方法。
【請求項４】
前記背景化工程により物体が背景化されると、当該背景化された物体の位置の情報を記憶する記憶工程を有し、
前記判断工程は、前記記憶工程に記憶された情報に基づいて、前記物体検出工程により検出された物体が、前記背景化工程により背景化された物体に対し、位置及び形状が所定の範囲内にあるか否かを判断することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
画像を入力する画像入力工程と、
前記画像入力工程により入力された画像から背景差分法により物体を検出する物体検出工程と、
前記物体検出工程により検出された物体が背景化条件を満たすと、当該物体を背景化する背景化工程と、
前記物体検出工程により検出された物体が前記背景化された物体に対応するか否かを判断する判断工程と、
前記判断工程により、前記物体検出工程により検出された物体が前記背景化工程により背景化された物体に対応しないと判断されると、前記背景化された物体の状態を解析する解析工程と、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−３３１００（Ｐ２０１２−３３１００Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１７３７４９（Ｐ２０１０−１７３７４９）
【出願日】平成２２年８月２日（２０１０．８．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年８月２日（２０１０．８．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]