画像処理装置および方法、並びにプログラム
【課題】撮像状態により入力画像が変化しても高い精度で前景画像となる対象物のみを抽出する。
【解決手段】背景画像格納部２９は、基準背景画像を格納する。対象物検出部２５は、撮像部２１により撮像された撮像画像から対象物を検出し、検出された対象物マスクを推定する。背景差分画像生成部２２は、撮像画像と基準背景画像との画素間の差分からなる背景差分画像を生成する。破綻判定部２４は、背景差分画像と、対象物マスクとに基づいて、背景差分画像が破綻しているか否かを判定する。破綻種別特定部２６は、破綻の種別を特定する。基準背景更新部２７は、破綻の種別に対応して基準背景画像を更新する。本発明は、画像処理装置に適用することができる。
【解決手段】背景画像格納部２９は、基準背景画像を格納する。対象物検出部２５は、撮像部２１により撮像された撮像画像から対象物を検出し、検出された対象物マスクを推定する。背景差分画像生成部２２は、撮像画像と基準背景画像との画素間の差分からなる背景差分画像を生成する。破綻判定部２４は、背景差分画像と、対象物マスクとに基づいて、背景差分画像が破綻しているか否かを判定する。破綻種別特定部２６は、破綻の種別を特定する。基準背景更新部２７は、破綻の種別に対応して基準背景画像を更新する。本発明は、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、前景画像からなる対象物を入力画像から正確に抽出できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
カメラ等により撮像された入力画像から、前景画像からなり対象物となる動物体領域を抽出する技術が一般に普及している。
【０００３】
これらの技術のうち、予め動きのない基準背景画像を撮像しておき、基準背景画像とカメラで撮像している画像との差分を画素毎に求めることで、動物体領域だけが抽出される背景差分画像生成処理は、簡単、かつ高速に動物体領域を抽出できる方法として、幅広く利用されている。
【０００４】
例えば、カメラの撮像位置からみて手前に存在する人物のみを抽出し、背景領域にCG（Computer Graphics）等により生成された画像を合成することで、テレビジョン電話器に人物を表示する際、人物の背景となる住環境を写すことなく人物のみをテレビジョン電話器の表示部に表示させる技術が提案されている（特許文献１参照）。
【０００５】
より詳細には、図１で示されるように、差分計算部１は、予め撮像された基準背景画像ｆ１と、その後に撮像した画像ｆ２とで、画素毎に画素値の差分を計算する。そして、差分計算部１は、差分値が所定の閾値よりも小さい値については画素値をゼロ、すなわち、背景を削除することで、動物体領域のみを残した背景差分画像ｆ３を生成する。
【０００６】
しかしながら、図２の入力画像ｆ５で示されるように、輝度の増減、および照明色温度などの照明条件の変化、または、絞り、ゲイン、ホワイトバランスなどのカメラパラメータの変化があった場合、動物体領域以外の領域についても、変化が生じることになる。このため、図２で示されるように、基準背景画像ｆ１と入力画像ｆ５との画素間の画素値の差分値が所定の閾値よりも小さくならず、動物体領域のみを抽出することができなくなり、背景画像も残った画像ｆ６のような状態となることがあった。
【０００７】
このような問題を解決すべく、照明条件の変動などに強い背景差分画像生成処理技術として、注目画素と周辺の画素との輝度の増減関係を求め、その関係の差分値を評価値にすることによって動物体領域を抽出する技術が提案されている（非特許文献１参照）。この技術によれば、照明変動によっても近傍画素間の明度の関係が変化しにくいため、ロバストな背景差分画像を抽出することが可能となっている。
【０００８】
また、照明条件等が徐々に変化する場合に対応する技術として、GMM（Gaussian Mixture Model）を用いた背景差分画像生成処理が提案されている。また、撮像された入力画像と基準背景画像との背景差分画像の生成処理を行うと共に、複数フレーム間の対応する画素値を比較し、変化が急激である場合、基準背景画像の画素値を更新せず、変化が緩やかである場合、所定の比率で撮像された入力画像の画素値に近づくよう、基準背景画像の画素値を変化させ、照明条件が緩やかに変化する場合であっても頑健な背景差分画像の生成処理を実現する技術が開示されている（特許文献２参照）。
【０００９】
さらに、複数枚の、照明条件等の異なる背景画像群をあらかじめ取得しておき、被写体が存在すると推定される予測領域と、それ以外の非予測領域に分割し、非予測領域の画像の特性に近い背景画像を背景画像群から選ぶことで、照明条件の変化に対応できるようにする技術が提案されている（特許文献３参照）。
【００１０】
また、急激な照明変動が発生した場合を自動的に判別する方法として、背景差分画像の前景の大きさが所定の大きさ以上になった場合、破綻したと判別するという技術が開示されている（非特許文献２参照）。これは、急激な照明変動が発生した場合、背景差分が破綻して、背景差分画像である前景画像が肥大するという前提に基づいたものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開昭６３−１８７８８９号公報
【特許文献２】米国公開特許第６０４４１６６号公報
【特許文献３】特開２００９−２６５８２７号公報
【非特許文献】
【００１２】
【非特許文献１】佐藤, 金子, 五十嵐, 周辺増分符号相関画像に基づくロバスト物体検出及び分離、電子情報通信学会論文誌、Vol.J80-D-II, No.12, pp.2585-2594, Dec. 2001.
【非特許文献２】Toyama, et al, "Wallflower: Principles and practice of background maintenance", ICCV1999, Corfu, Greece.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、非特許文献１に記載の技術では、テクスチャの少ない対象に対しては、照明変動や画素ノイズによって近傍画素間の関係が崩れ、誤検出が発生し易くなることがあった。
【００１４】
また、非特許文献２に記載の技術では、前景のサイズが所定の大きさよりも大きく、例えば、画面全体の70%に達した場合、破綻しているとみなすものとすれば、例えば、人物が画面を大きく占める場合などでは、破綻していないにも拘らず、破綻したものと誤認してしまうことがあった。
【００１５】
また、特許文献２に記載の技術では、緩やかな変化には対応できるものの、急激な変化が発生した場合、その領域に動物体が存在すると仮定しているため、急激な照明変動に対しては有効ではなかった。
【００１６】
さらに、特許文献３に記載の技術では、前景となる対象物が存在しえない部分の情報から、前景となり得る背景の推定を行うことで、急激な照明条件の変化にも対応できるが、複数枚の照明条件が異なった背景画像を予め取得しておく必要があった。
【００１７】
本発明はこのような状況に鑑みてなされたものであり、特に、撮像状態により入力画像が変化しても高い精度で前景画像となる対象物のみを抽出できるようにするものである。
【課題を解決するための手段】
【００１８】
本発明の一側面の画像処理装置は、基準背景画像を格納する基準背景格納手段と、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、前記破綻の種別を特定する破綻種別特定手段と、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段とを含む。
【００１９】
前記破綻判定手段には、前記対象物と、上記背景差分画像とを比較して、前記背景差分画像の領域が前記対象物の領域に対して、所定の比率よりも大きいか否かに基づいて破綻しているか否かを判定させるようにすることができる。
【００２０】
前記推定手段により推定された対象物の領域を除いた前記基準背景画像と前記背景差分画像との対応する画素間の変化量を算出する変化量算出手段をさらに含ませるようにすることができ、前記破綻種別特定手段には、前記変化量が所定値よりも大きい場合、破綻種別を色変化に基づいた、色破綻であるものとして特定させ、前記変化量が所定値よりも大きくない場合、破綻種別を入力画像の撮像方向のずれに基づいた、ずれ破綻であるものとして特定させるようにすることができる。
【００２１】
前記入力画像と前記基準背景画像とを比較して、前記入力画像の撮像方向のずれを動きベクトルとして求める動きベクトル算出手段と、前記動きベクトルに基づいて、前記基準背景画像に動き補償を施し、動き補償背景画像を生成する動き補償手段と、前記基準背景画像と前記推定手段により推定された対象物の領域を除いた前記背景差分画像との対応する画素間の画素値の関係式を算出する算出手段と、前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換手段とをさらに含ませるようにすることができ、前記破綻種別特定手段により特定される前記破綻種別がずれ破綻であるとき、前記背景画像更新手段には、前記動き補償背景画像により置換して前記基準背景画像を更新させ、前記破綻種別特定手段により特定される前記破綻種別が色破綻であるとき、前記背景画像更新手段には、前記画素値変換背景画像により置換して前記基準背景画像を更新させるようにすることができる。
【００２２】
前記破綻判定手段により前記破綻していないと判定された場合、前記背景画像更新手段には、前記基準背景画像をそのままの状態とすることができる。
【００２３】
前記動きベクトル算出手段には、前記対象物の領域以外について、前記基準背景画像と前記入力画像とを比較し、対応する画像の画素間の差分絶対値の和が最小になるような動きベクトルを求めるようにさせることができる。
【００２４】
前記対象物検出手段には、人物を対象物として検出する人物検出手段と、動物を対象物として検出する動物検出手段と、車両を対象物として検出する車両検出手段とを含ませるようにすることができる。
【００２５】
前記人物検出手段には、前記入力画像より人物の顔画像を検出する顔検出手段と、前記顔検出手段により検出された顔画像に基づいて、推定される前記人物の体の存在する位置とサイズから体マスクを推定する体マスク推定手段を含ませるようにすることができる。
【００２６】
本発明の一側面の画像処理方法は、基準背景画像を格納する基準背景格納手段と、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、前記破綻の種別を特定する破綻種別特定手段と、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段とを含む画像処理装置の画像処理方法であって、前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、前記破綻判定手段における、前記背景差分画像生成ステップの処理により生成された背景差分画像と、前記推定ステップの処理により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定ステップと、前記破綻種別特定手段における、前記破綻の種別を特定する破綻種別特定ステップと、前記背景画像更新手段における、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新ステップとを含む。
【００２７】
本発明の一側面のプログラムは、基準背景画像を格納する基準背景格納手段と、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、前記破綻の種別を特定する破綻種別特定手段と、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段とを含む画像処理装置を制御するコンピュータに、前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、前記破綻判定手段における、前記背景差分画像生成ステップの処理により生成された背景差分画像と、前記推定ステップの処理により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定ステップと、前記破綻種別特定手段における、前記破綻の種別を特定する破綻種別特定ステップと、前記背景画像更新手段における、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新ステップとを含む処理を実行させるプログラム。
【００２８】
本発明の一側面においては、基準背景画像が格納され、前記入力画像から対象物が検出され、検出された対象物の概略位置及び形状が推定され、前記入力画像と前記基準背景画像との差分値からなる背景差分画像が生成され、生成された背景差分画像と、推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かが判定され、前記破綻の種別が特定され、前記破綻の種別に対応して前記基準背景画像が更新される。
【００２９】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００３０】
本発明の一側面によれば、撮像状態により入力画像が変化しても高い精度で前景画像となる対象物のみを抽出することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】従来の背景差分画像による対象物の抽出処理を説明する図である。
【図２】従来の背景差分画像による対象物の抽出処理を説明する図である。
【図３】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図４】基準背景画像格納処理を説明するフローチャートである。
【図５】背景差分画像抽出処理を説明するフローチャートである。
【図６】基準背景画像更新処理を説明するフローチャートである。
【図７】対象物検出処理を説明するフローチャートである。
【図８】破綻の種別を説明する図である。
【図９】破綻種別特定処理を説明するフローチャートである。
【図１０】破綻種別特定処理を説明する図である。
【図１１】更新背景画像生成処理を説明するフローチャートである。
【図１２】色変換更新画像生成処理を説明するフローチャートである。
【図１３】色変換更新画像生成処理を説明する図である。
【図１４】動き補償更新画像生成処理を説明するフローチャートである。
【図１５】動き補償更新画像生成処理を説明する図である。
【図１６】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００３２】
［画像処理装置の構成例］
図３は、本発明を適用した画像処理装置のハードウェアの一実施の形態の構成例を示している。図１の画像処理装置１は、撮像された入力画像より前景となる対象物の位置および形状を特定し、対象物の領域のみを抽出するものである。
【００３３】
画像処理装置１は、撮像部２１、背景差分画像生成部２２、出力部２３、破綻判定部２４、対象物検出部２５、破綻種別特定部２６、基準背景更新部２７、基準背景画像取得部２８、背景画像格納部２９、および動作モード切替部３０を備えている。
【００３４】
撮像部２１は、基本的に撮像方向、および焦点位置などが固定された状態のままで、画像を撮像し、撮像した撮像画像を背景差分画像生成部２２、破綻判定部２４、対象物検出部２５、基準背景更新部２７、および基準背景画像取得部２８に供給する。
【００３５】
背景差分画像生成部２２は、撮像部２１からの撮像画像と、背景画像格納部２９に格納されている背景画像との各画素間の画素値の差分絶対値を求める。そして、背景差分画像生成部２２は、差分絶対値が所定値よりも高い画素については、撮像画像の画素値とし、それ以外の画素は画素値をゼロ、または最大画素値とした背景差分画像を生成して、出力部２３、および破綻判定部２４に供給する。すなわち、この処理により、対象物の無い背景画像が背景画像格納部２９に格納されているとすれば、理想的には、撮像画像内に対象物が存在すれば、対象物の領域の画素値のみが抽出された画像が背景差分画像として求められることになる。
【００３６】
出力部２３は、背景差分画像生成部２２より供給されてくる背景差分画像を出力し、例えば、図示せぬ記録媒体に記録させたり、または、図示せぬ表示部などに表示させる。
【００３７】
対象物検出部２５は、撮像画像内に存在する対象物を検出し、対象物の画像（対象物を構成する画素からなる領域の情報）として破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。より詳細には、対象物検出部２５は、人物検出部４１、動物検出部４２、および車両検出部４３を備えており、それぞれ対象物として、人物、動物、および車両の画像を検出する。そして、対象物検出部２５は、撮像画像内における、人物、動物、および車両の画像を対象物として検出し、検出した対象物の領域の画像を対象物マスクとして破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００３８】
人物検出部４１は、顔検出部４１ａおよび体推定部４１ｂを備えている。顔検出部４１ａは、撮像画像内における人物の顔画像を検出する。体推定部４１ｂは、顔検出部４１ａにより検出された顔画像の位置、および大きさから体の存在する領域を推定する。そして、人物検出部４１は、顔画像の領域と、推定された体の領域とを併せて体マスクを検出結果として生成する。動物検出部４２は、動物特徴量検出部４２ａ、および動物体推定部４２ｂを供えている。動物特徴量検出部４２ａは、動物の顔画像、および４本の足などの画像と、その位置および大きさを特徴量として抽出する。動物体推定部４２ｂは、動物の顔画像の位置、および４本の足の画像からなる特徴量に基づいて、対象物としての動物の体の存在する領域、および大きさを推定する。そして、動物検出部４２は、動物の顔画像の領域、および推定した体の領域とを併せて動物体マスクを検出結果として生成する。車両検出部４３は、車輪検出部４３ａ、および車体推定部４３ｂを備えている。車輪検出部４３ａは、画像より車両の車輪となる領域の位置および大きさの情報を検出する。車体推定部４３ｂは、検出された車輪の領域の位置および大きさの情報に基づいて、車体の領域の位置および大きさを推定する。車両検出部４３は、推定された車体の領域と車輪の領域とを併せて車体マスクを検出結果として生成する。
【００３９】
尚、図３の対象物検出部２５においては、検出する対象物の例として、人物、動物、および車両といった画像を検出するものを例としているが、その他の対象物を検出できるようにしてもよい。
【００４０】
破綻判定部２４は、背景差分画像、および対象物マスクの大きさに基づいて、背景差分画像の大きさが対象物マスクの大きさよりも極端に大きいか否かに基づいて、背景差分画像生成部２２の背景差分画像生成処理が破綻しているか否かを判定する。そして、破綻判定部２４は、判定結果を破綻種別特定部２６に供給する。
【００４１】
破綻種別特定部２６は、破綻判定部２４の破綻判定結果、背景画像格納部２９に格納されている基準背景画像、対象物検出部２５からの対象物マスク、および撮像画像に基づいて、破綻がないという結果を含めた、破綻の種別を特定する。そして、破綻種別特定部２６は、特定した破綻の種別の情報を基準背景更新部２７に供給する。
【００４２】
より詳細には、破綻種別特定部２６は、破綻種別決定部６１、および色変化計算部６２を備えている。色変化計算部６２は、対象物マスクの領域を除く撮像画像と基準背景画像とのそれぞれの画素値の平均、または色相の変化を計算し、計算結果を色特徴量の差分値として破綻種別決定部６１に供給する。破綻種別決定部６１は、破綻判定部２４の判定結果が破綻ありで、かつ、色特徴量の差分値が所定の閾値よりも大きいとき、撮像画像内の照明の大きな変化やホワイトバランスの変化に起因する色破綻であるとして破綻種別を決定する。また、破綻種別決定部６１は、破綻判定部２４の判定結果が破綻ありで、かつ、色特徴量の差分値が所定の閾値よりも大きくないとき、撮像画像を撮像する撮像部２１の撮像範囲のずれに起因するずれ破綻であるとして破綻種別を決定する。さらに、破綻種別決定部６１は、破綻判定部２４の判定結果が破綻なしのとき、破綻が発生していないという情報を、破綻種別を特定する情報として決定する。すなわち、破綻種別特定部２６は、破綻判定結果、対象物マスク、基準背景画像、および撮像画像に基づいて、背景差分画像生成処理が、破綻していない、色破綻による破綻が発生している、または、ずれ破綻による破綻が発生している３種類のいずれかを特定する。
【００４３】
基準背景更新部２７は、破綻種別特定部２６からの破綻種別の情報に基づいて、対象物マスクの情報、背景画像記憶部２９に記憶された基準背景画像、および撮像画像より、基準背景画像を更新して、背景画像格納部２９に格納させる。より詳細には、基準背景更新部２７は、グローバルモーション推定部８１、動き補償変換部８２、選択部８３、特徴量変換式計算部８４、および色変換部８５を備えている。
【００４４】
グローバルモーション推定部８１は、対象物マスクの領域を除いた基準背景画像と撮像画像との情報から、撮像部２１の撮像方向のずれの方向と大きさを示すグローバルモーションを動きベクトルとして推定し、動き補償変換部８２に供給する。動き補償変換部８２は、動きベクトルに基づいて、今現在背景画像格納部２９に格納されている基準背景画像および撮像画像から基準背景画像の更新画像である動き補償画像を生成し、選択部８３に供給する。特徴量変換式計算部８４は、対象物マスクを除く撮像画像および今現在背景画像格納部２９に格納されている基準背景画像における対応する画素間の色変化を示す変換式を、最小二乗法により求めて、求めた変換式を色変換部８５に供給する。色変換部８５は、特徴量変換式計算部８４により求められた変換式を用いて、背景画像格納部２９に格納されている基準背景画像の各画素の画素値を変換して、基準背景画像の更新画像である色変換画像を生成して選択部８３に供給する。選択部８３は、動き補償変換部８２より供給されてくる動き補償画像、色変換部８５より供給されてくる色変換画像、および撮像画像のいずれかを破綻種別特定部２６より供給されてくる破綻種別に基づいて選択する。そして、選択部８３は、選択した画像で、背景画像格納部２９に格納されている基準背景画像を置換することにより基準背景画像を更新する。
【００４５】
基準背景画像取得部２８は、基準背景画像を初期登録するとき、撮像部２１より供給されてくる画像を基準背景画像とみなして、背景画像格納部２９に格納させる。
【００４６】
動作モード切替部３０は、画像処理装置１１の動作モードを制御するものであり、基準背景画像格納モード、背景差分画像抽出モード、および背景画像更新モードの３種類の動作モードを切り替える。尚、図３においては、動作モード切替部３０は、撮像部２１、出力部２３、および基準背景画像取得部２８のみにその動作のオン、またはオフを制御するための矢印が表記されている。しかしながら、実際には、動作モード切替部３０は、撮像部２１乃至背景画像格納部２９の全てを各動作モードごとにオン、またはオフに制御する。したがって、実際には、全ての構成に対して矢印を引くべきであるが、構成が複雑になりすぎるため、省略して表記している。
【００４７】
［基準背景画像登録処理］
次に、図４のフローチャートを参照して、基準背景画像登録処理について説明する。
【００４８】
ステップＳ１１において、動作モード切替部３０は、基準背景画像登録モードとするため、その動作に必要とされる撮像部２１、基準背景画像取得部２８、および背景画像格納部２９をオンに制御し、その他の構成については、オフに制御する。尚、この基準背景画像登録モードは、図示せぬ操作部を画像処理装置１１のユーザが操作するとき発生する操作信号に基づいて設定される動作モードである。したがって、この動作モードとされる場合、基準背景画像としたい画像であって、以降の動作により対象物を抽出しようとする画像が撮像可能な状態に撮像部２１がユーザにより設定されていることが前提となる。
【００４９】
ステップＳ１２において、撮像部２１は、固定された撮像方向を撮像し、撮像した画像を撮像画像として基準背景画像取得部２８に供給する。
【００５０】
ステップＳ１３において、基準背景画像取得部２８は、撮像部２１より供給されてきた撮像画像を基準背景画像として取得し、背景画像格納部２９に格納させる。
【００５１】
以上の処理により、以降の処理において基準となる背景画像が背景画像格納部２９に格納されることになる。
【００５２】
［背景差分画像抽出処理］
次に、図５のフローチャートを参照して、背景差分画像抽出処理について説明する。尚
、この処理は、上述した基準背景画像登録処理により背景画像格納部２９に基準背景画像が格納されていることが前提となる。
【００５３】
ステップＳ２１において、動作モード切替部３０は、背景差分画像抽出モードとするため、その動作に必要とされる撮像部２１、背景差分画像生成部２２、出力部２３、背景画像格納部２９をオンに制御し、その他の構成については、オフに制御する。
【００５４】
ステップＳ２２において、撮像部２１は、基準背景画像を撮像した状態と同一の状態に固定された撮像方向を撮像し、撮像した撮像画像を背景差分画像生成部２２に供給する。
【００５５】
ステップＳ２３において、背景差分画像生成部２２は、背景画像格納部２９に格納されている基準背景画像を読み出す。
【００５６】
ステップＳ２４において、背景差分画像生成部２２は、基準背景画像と撮像画像との画素毎に、画素値の差分を求め、求められた差分値と所定の閾値とを比較する。そして、背景差分画像生成部２２は、所定の閾値よりも小さい場合、その画素の画素値をゼロ、または最高画素値とし、差分値が所定の閾値よりも高い場合、その画素の画素値を撮像画像の画素の画素値とすることで、背景差分画像を生成し、出力部２３に供給する。
【００５７】
ステップＳ２５において、出力部２３は、背景差分画像を図示せぬ表示部に表示したり、図示せぬ記録媒体に記憶させる。
【００５８】
以上の処理により、理想的には図１の基準背景画像ｆ１が背景画像格納部２９に格納されており、図１の撮像画像ｆ２が撮像された場合、背景差分画像ｆ３で示されるような、対象物である人物のみが抽出された画像が生成されることになる。
【００５９】
［基準背景画像更新処理］
次に、図６のフローチャートを参照して、基準背景画像更新処理について説明する。
【００６０】
ステップＳ４１において、動作モード切替部３０は、基準背景画像更新モードとするため、その動作に必要とされない出力部２３、および基準背景画像取得部２８をオフに制御し、その他の構成については、オンに制御する。
【００６１】
ステップＳ４２において、撮像部２１は、基準背景画像を撮像した状態と同一の状態に固定された撮像方向を撮像し、撮像した撮像画像を背景差分画像生成部２２、破綻判定部２４、対象物検出部２５、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００６２】
ステップＳ４３において、背景差分画像生成部２２は、背景画像格納部２９に格納されている基準背景画像を読み出す。
【００６３】
ステップＳ４４において、背景差分画像生成部２２は、基準背景画像と撮像画像との画素毎に、画素値の差分を求め、求められた差分値と所定の閾値とを比較する。そして、背景差分画像生成部２２は、所定の閾値よりも小さい場合、その画素の画素値をゼロ、または最高画素値とし、差分値が所定の閾値よりも高い場合、その画素の画素値を撮像画像の画素の画素値とすることで、背景差分画像を生成し、破綻判定部２４に供給する。
【００６４】
ステップＳ４５において、対象物検出部２５は、対象物検出処理を実行し、対象物である人物、動物、および車体の有無を検出し、検出した場合、検出結果である対象物マスクを破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００６５】
［対象物検出処理］
ここで、図７のフローチャートを参照して、対象物検出処理について説明する。
【００６６】
ステップＳ６１において、対象物検出部２５は、撮像画像に対してラプラシアンフィルタ処理やソーベルフィルタ処理を施すことにより、エッジ画像を抽出する。
【００６７】
ステップＳ６２において、人物検出部４１は、顔検出部４１ａを制御して、エッジ画像より形状により顔画像を構成し得る器官を抽出する。より詳細には、顔検出部４１ａは、エッジ画像より顔を構成する目、鼻、口、または耳といった器官の構成を、その形状に基づいて検索して抽出する。
【００６８】
ステップＳ６３において、人物検出部４１は、顔検出部４１ａを制御して、顔画像を構成する器官が抽出されたか否かを判定させる。ステップＳ６３において、器官が抽出された場合、ステップＳ６４において、人物検出部４１は、顔検出部４１ａを制御して、抽出された器官の位置、配置、および大きさなどから顔画像の領域を特定させ、さらに、矩形状の顔画像を特定させる。すなわち、例えば、図８の画像Ｆ１で示されるように、人物が含まれている撮像画像の場合、図８の画像Ｆ２における顔画像（顔マスク）ＫＭが特定される。尚、この図８で示される矩形状の顔画像については、以降において顔マスクＫＭと称するものとする。
【００６９】
ステップＳ６５において、人物検出部４１は、体推定部４１ｂを制御して、特定された矩形状の顔画像の位置から、その人物の体の領域を推定させる。すなわち、図８の画像Ｆ２の場合、顔マスクＫＭが特定されることにより、顔マスクＫＭの位置、大きさ、および方向に基づいて、体推定部４１ｂは、体の領域の形状、大きさ、および位置を推定する。
【００７０】
ステップＳ６６において、人物検出部４１は、体推定部４１ｂにより推定された体の領域と、顔マスクＫＭとを合わせた領域とから、対象物としての人物が撮像されている領域を含む人物の体マスクＭを対象物マスクとして生成する。そして、人物検出部４１は、対象物として人物が検出されたことを示す体マスクＭからなる対象物マスクを破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００７１】
尚、ステップＳ６３において、器官が抽出されなかったと判定された場合、撮像画像には人物の領域が存在しないものとみなされ、ステップＳ６４乃至Ｓ６６の処理はスキップされる。
【００７２】
ステップＳ６７において、動物検出部４２は、動物特徴量検出部４２ａを制御して、エッジ画像より、動物を構成し得る特徴量を抽出する。すなわち、動物特徴量とは、例えば、動物を構成する顔画像の目、鼻、口、および耳といった器官、４本の足、または尻尾など、形状に基づいて、対象物である動物を構成し得る特徴量を検出する。
【００７３】
ステップＳ６８において、動物検出部４２は、動物特徴量検出部４２ａを制御して、動物特徴量が抽出されたか否かを判定する。ステップＳ６８において、動物特徴量が抽出された場合、ステップＳ６９において、動物検出部４２は、動物体推定部４２ｂを制御して、検出された動物特徴量に基づいて、撮像画像内における動物の頭部を含む体の領域の形状、大きさ、および位置を推定させる。
【００７４】
ステップＳ７０において、動物検出部４２は、動物体推定部４２ｂにより推定された動物の頭部を含む体の領域となる範囲を動物の対象物マスクとして生成する。そして、動物検出部４２は、対象物として動物が検出されたことを示す対象物マスクを破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００７５】
尚、ステップＳ６８において、動物特徴量が抽出できなかったと判定された場合、撮像画像には動物の領域が存在しないものとみなされ、ステップＳ６９，Ｓ７０の処理はスキップされる。
【００７６】
ステップＳ７１において、車両検出部４３は、車輪検出部４３ａを制御して、エッジ画像より、車両の特徴量である車輪の画像を検出させる。
【００７７】
ステップＳ７２において、車両検出部４３は、車輪検出部４３ａを制御して、車輪の画像を検出することができたか否かを判定する。ステップＳ７２において、車輪を検出することができたと判定された場合、ステップＳ７３において、車両検出部４３は、車体推定部４３ｂを制御して、検出された車輪の画像の位置、および大きさから車体の領域の位置、および大きさを推定させる。
【００７８】
ステップＳ７４において、車両検出部４３は、車体推定部４３ｂにより推定された車体の領域の範囲を対象物を車両としたときの対象物マスクを生成する。そして、車両検出部４３は、対象物として車両が検出されたことを示す対象物マスクを破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００７９】
尚、ステップＳ７２において、車輪が検出できないと判定された場合、撮像画像には車両の領域が存在しないものとみなされ、ステップＳ７３，Ｓ７４の処理はスキップされる。
【００８０】
すなわち、以上の処理により、対象物として人物、動物、および車両の全て、またはそれらのいずれかが検出された場合、それらに対応する対象物マスクが生成されて、破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給される。尚、以上においては、対象物として人物、動物、および車両を検出する例について説明してきたが、それ以外の対象物を検出するようにしてもよい。
【００８１】
ここで、図６のフローチャートの説明に戻る。
【００８２】
ステップＳ４５において、対象物検出処理が実行されると、ステップＳ４６において、破綻判定部２４は、対象物検出部２５より対象物マスクが供給されてきたか否かに基づいて、対象物が検出されたか否かを判定する。ステップＳ４５において、対象物が検出されなかった場合、基準背景画像更新処理は、終了する。すなわち、この場合、対象物マスクが検出されず、その後の処理において基準背景画像の更新が必要であるか否かを判定することができないので、基準背景画像は更新されることなく、処理は終了する。また、ステップＳ４５において、対象物マスクが検出されると、対象物が検出されたものとみなされて、処理は、ステップＳ４７に進む。
【００８３】
ステップＳ４７において、破綻判定部２４は、対象物検出処理により検出された対象物マスクの面積Ｓｂと、差分背景画像の差分結果として画素値がゼロとはなっていない領域の面積との面積比を求める。すなわち、破綻判定部２４は、対象物マスクの面積Ｓｂと、差分背景画像の差分結果として画素値がゼロとはなっていない領域である、実質的に差分背景画像によりマスクとして求められる領域の面積Ｓとの面積比Ｒ（＝Ｓ／Ｓｂ）を求める。
【００８４】
ステップＳ４８において、破綻判定部２４は、面積比Ｒが所定の閾値よりも大きいか否かを判定する。すなわち、対象物マスクＳの大きさは、対象物が人物である場合、図８の画像Ｆ１が入力画像のとき、図８の画像Ｆ２の対象物マスクＭで示されるように、人物Ｈ（図３）の領域そのものよりも若干広い範囲が求められる。これに対して、背景差分画像が、理想的な状態で求められる場合、マスク画像は、図８の画像Ｆ３で示されるように、事実上人物Ｈの領域のみとなる。従って、図８の画像Ｆ２で示されるように、対象物検出処理により求められる対象物マスクＭの面積Ｓに対して、画像Ｆ３の人物Ｈの面積Ｓｂは小さくなるため、面積比Ｒは、１より大きな所定の閾値より小さな値となるべきである。しかしながら、背景差分画像に何らかの破綻が生じると、本来人物Ｈの領域のみに求められるべき領域が、背景となるべき画像から現れてくることとなるため、例えば、図８の画像Ｆ４で示されるように、破綻領域Ｚ１，Ｚ２で示される領域が現れて、これら全てが背景差分画像により求められるマスク領域の面積として求められる。この結果、背景差分画像として求められる領域の面積Ｓｂは極端に大きくなり、結果として、破綻した場合、面積比Ｒは、極端に小さな値となる。従って、この面積比Ｒが所定の閾値よりも大きければ、背景差分画像生成処理による破綻は生じていないと判定することができる。
【００８５】
そこで、ステップＳ４８において、破綻判定部２４は、面積比Ｒが所定の閾値よりも大きいとき、破綻が生じていないものとみなし、処理は、ステップＳ５５に進み、破綻種別特定部２６に対して、破綻が発生していないことを通知する。この場合、破綻が生じていないため、基準背景画像の更新をする必要がないため、処理は、終了する。
【００８６】
また、ステップＳ４８において、破綻判定部２４は、面積比Ｒが所定の閾値よりも大きくないとき、破綻が生じているものとみなし、処理は、ステップＳ４９に進み、破綻種別特定部２６に対して、破綻が発生していることを通知する。
【００８７】
ステップＳ５０において、破綻種別特定部２６は、破綻が生じているものとみなし、破綻の種別を特定するため、破綻種別特定処理を実行し、発生した破綻の種別を特定する。
【００８８】
［破綻種別特定処理］
ここで、図９のフローチャートを参照して、破綻種別特定処理について説明する。
【００８９】
ステップＳ９１において、色変化計算部６２は、撮像部２１により撮像される画像の撮像環境である照明条件やカラーパラメータの変化の有無に基づいた破綻であるか否かを判定するため、対象物マスクを除く領域における撮像画像、および基準背景画像の色特徴量の変化を計算する。より詳細には、色変化計算部６２は、撮像画像、および基準背景画像のうち、対象物マスクを除く領域における各画素について、その近傍の画素を含む平均値を求める。より詳細には、色変化計算部６２は、例えば、撮像画像、および基準背景画像の各画素について、各画素を含み、水平方向および垂直方向に隣接する画素からなる合計５画素の平均値を求める。さらに、色変化計算部６２は、撮像画像、および基準背景画像の各画素の近傍の画素の平均値の全画像内における平均値を各画像における色特徴量として求め、破綻種別決定部６１に供給する。
【００９０】
ステップＳ９２において、破綻種別決定部６１は、撮像画像における色特徴量と基準背景画像における色特徴量との差分絶対値を求め、その差分絶対値が所定の閾値よりも大きいか否かを判定する。すなわち、撮像部２１により撮像される環境における照明条件やパラーパラメータなどが変化すると、色特徴量は変化することが考えられるため、撮像画像と基準背景画像との色特徴量の差分絶対値は所定の閾値よりも大きく変化すると考えられる。そこで、ステップＳ９２において、色特徴量の差分絶対値が所定の閾値よりも大きい場合、ステップＳ９３において、破綻種別決定部６１は、破綻種別を、照明条件またはカラーパラメータの変化に起因する背景差分画像生成処理の破綻、すなわち、色破綻であるものと決定する。尚、色特徴量については、上述した各画素の近傍の平均値を用いるだけでなく、例えば、各画素の色相を求めるようにして、撮像画像と基準背景画像との色相の変化を用いて色破綻が生じているか否かを判定するようにしてもよい。
【００９１】
一方、ステップＳ９２において、撮像画像と基準背景画像との色特徴量の差分絶対値が所定の閾値よりも大きくない場合、処理は、ステップＳ９４に進む。
【００９２】
ステップＳ９４において、破綻種別決定部６１は、破綻種別を、撮像部２１の撮像位置がずれることによる背景差分画像生成処理の破綻、すなわち、ずれ破綻であるものと決定する。
【００９３】
以上の処理により、破綻種別決定部６１は、色特徴量の変化を求めることにより、撮像部２１により撮像される環境の照明条件の変化に伴う色破綻であるか、または、撮像部２１の撮像方向のずれに起因して発生するずれ破綻であるかのいずかを特定する。
【００９４】
すなわち、図１０の画像Ｆ１１で示される基準背景画像に対して、図８の画像Ｆ１で示されるような照明条件の変化や撮像方向のずれなどが生じない場合、人物Ｈを含む画像が撮像されたとき、図１０の画像Ｆ１４で示されるような対象物マスクＭが求められる。この場合、対象物マスクＭを除く範囲においては、基準背景画像との変化は生じないので、例えば、図８の画像Ｆ４で示されるような破綻は生じない。
【００９５】
一方、図１０の画像Ｆ１２で示されるように、撮像部２１により撮像される画像の照明条件が変化した状態で人物Ｈを含む撮像画像が撮像されると、対象物マスクＭを除く背景差分画像においては、照明条件の変化に伴って背景差分画像において対象物と異なる背景部分が現れることになる。このため、背景差分画像を求めると、図８の画像Ｆ４で示されるような破綻が生じる恐れがある。
【００９６】
さらに、図１０の画像Ｆ１３で示されるように、撮像部２１の撮像方向がずれることにより、対象物である人物および背景が人物Ｈ’（画像Ｆ１２参照）のように左にずれている。このような場合、画像Ｆ１６で示されるように、対象物マスクＭを除く範囲における画像に人物Ｈ’が含まれると共に、背景となる山の位置もずれる。この結果、背景差分画像を求めると、図８の画像Ｆ４で示されるような破綻が生じる恐れがある。
【００９７】
以上のような比較により、画像Ｆ１２，Ｆ１５は、照明条件が変化するため、基準背景画像Ｆ１１との間には、対象物マスクＭ以外の領域において、色特徴量の差分絶対値に大きな変化が生じる。これに対して、画像Ｆ１３，Ｆ１６で示されるように、撮像部２１の撮像方向が変化するだけであれば、色特徴量による差分絶対値には大きな変化がない。このような特性の違いに基づいて、破綻種別を特定することができる。
【００９８】
ここで、図６のフローチャートの説明に戻る。
【００９９】
ステップＳ５０において、破綻種別が特定されると、ステップＳ５１において、基準背景更新部２７は、更新背景画像生成処理を実行し、破綻種別毎に対応した基準背景画像の更新に用いられる更新背景画像を生成する。
【０１００】
［更新背景画像生成処理］
ここで、図１１のフローチャートを参照して、更新背景画像生成処理について説明する。
【０１０１】
ステップＳ１０１において、基準背景更新部２７は、色変換更新画像生成処理を実行し、色変換更新画像を生成する。
【０１０２】
［色変換更新画像生成処理］
ここで、図１２のフローチャートを参照して、色変換更新画像生成処理について説明する。
【０１０３】
ステップＳ１２１において、基準背景更新部２７は、特徴量変換式計算部８４を制御して、撮像画像、および背景画像格納部２９に格納されている基準背景画像のうち、対象物マスクを除く領域の画素を用いて、特徴量変換式を計算させ、色変換部８５に供給する。
【０１０４】
ここで、特徴量変換式とは、例えば、以下の式（１）で示される。
【０１０５】
【数１】
【０１０６】
ここで、ｒｄｉは、例えば、図１３の上部で示される撮像画像Ｆ２１における対象物マスクＭの領域を除いた画素の画素値であり、ｒｓｉは、図１３の下部で示される基準背景画像Ｆ２２における対象物マスクＭの領域を除いた画素の画素値である。また、ａ，ｂは、それぞれ特徴量変換式の係数（線形近似係数）であり、ｉは、それぞれの対応する画素を識別する識別子である。
【０１０７】
すなわち、式（１）で示される特徴量変換式は、図１３で示されるように、対象物マスクの領域を除いた、基準背景画像の各画素の画素値ｒｓｉを撮像画像の各画素の画素値ｒｄｉに変換させる式である。従って、特徴量変換式計算部８４は、係数ａ，ｂを求めることにより特徴量変換式を求めることができる。
【０１０８】
より詳細には、特徴量変換式を求めるには、式（１）を変形した以下の式（２）を最小にする係数ａ，ｂが求められばよいことになる。
【０１０９】
【数２】
【０１１０】
ここで、Ｎは、画素数を示す変数である。すなわち、式（２）は、対象物マスクの領域を除いた、基準背景画像の各画素の画素値ｒｓｉを特徴量変換式に代入した値と、撮像画像の各画素の画素値ｒｄｉとの差分を、全画素について積算した値を示している。
【０１１１】
そこで、特徴量変換式計算部８４は、撮像画像、および基準背景画像のうち、対象物マスクを除く領域の対応する各画素を用いて、最小二乗法により以下の式（３）で示されるように係数ａ，ｂを求める。
【０１１２】
【数３】
【０１１３】
すなわち、特徴量変換式計算部８４は、上述した係数ａ，ｂを式（３）で示されるような計算により求めて、特徴量変換式を計算する。尚、以上においては、線形近似関数を用いた特徴量変換式を求める例について説明してきたが、対象物マスクの領域を除いた、基準背景画像の各画素の画素値を撮像画像の各画素の画素値に変換できる式であればよいので、他の近似関数を用いるようにしてもよい。例えば、他項近似関数を用いて特徴量変換式を求めるようにしてもよい。
【０１１４】
ステップＳ１２２において、色変換部８５は、求められた特徴量変換式を用いて、基準背景画像の全画素を色変換して、色変換更新画像を生成し、選択部８３に供給する。
【０１１５】
以上の処理により、照明条件の変化やホワイトバランスなどのカラーパラメータの変化により基準背景画像に対して撮像画像が変化してしまうようなことがあっても、それらの変化に対応して基準背景画像を更新させる、色変換更新画像を生成することが可能となる。このため、上述した色破綻に起因する背景差分画像生成処理における破綻を抑制することが可能となる。
【０１１６】
ここで、図１１のフローチャートの説明に戻る。
【０１１７】
ステップＳ１０１において、色変換更新画像生成処理により色変換更新画像が生成されると、ステップＳ１０２において、基準背景更新部２７は、動き補償更新画像生成処理を実行して、動き補償更新画像を生成する。
【０１１８】
［動き補償更新画像生成処理］
ここで、図１４のフローチャートを参照して、動き補償更新画像生成処理について説明する。
【０１１９】
ステップＳ１４１において、基準背景更新部２７は、グローバルモーション推定部８１を制御して、撮像画像、および基準背景画像における、対象物マスク以外の領域の画素間のブロックマッチングにより、グローバルモーションを動きベクトルＶとして求める。そして、グローバルモーション推定部８１は、求めた動きベクトルＶを動き補償変換部８２に供給する。すなわち、グローバルモーションは、撮像部２１が、基準背景画像となる画像を撮像した後、パン、チルト、およびズームのいずれか、または、それらの組み合わせの変化に起因して生じるずれの大きさを示すものであり、ここでは、動きベクトルＶとして求められる。
【０１２０】
動きベクトルＶとして求められるグローバルモーションは、撮像画像と基準背景画像との対象物マスク以外の領域の画素値を用いて、それらの画像をアフィン変換させるときに用いられるパラメータにより求められる。より具体的には、動きベクトルＶは、以下の式（４）で示されるアフィン変換に用いられる変換式により求められる。
【０１２１】
【数４】
【０１２２】
ここで、ｘ’ｉ，ｙ’ｉは、撮像画像上の対象物マスク以外の領域の画素位置（ｘ’ｉ，ｙ’ｉ）を示すパラメータであり、ｉは、各画素を識別する識別子である。また、ｘｉ，ｙｉは、基準背景画像上の対象物マスク以外の領域の画素位置（ｘｉ，ｙｉ）を示すパラメータである。尚、同一の識別子ｉが用いられる撮像画像上の画素（ｘ’ｉ，ｙ’ｉ）と、基準背景画像上の画素（ｘｉ，ｙｉ）とは、ブロックマッチングにより検索された画素同士である。そして、ベクトルＶは、以下の式（５）で示されるような行列式である。
【０１２３】
【数５】
【０１２４】
ここで、ａ１乃至ａ６は、それぞれ係数である。
【０１２５】
すなわち、グローバルモーション推定部８１は、撮像画像および基準背景画像のうち、対象物マスクの領域以外の画素を用いて、ブロックマッチングで検索された画素間の関係から式（４）を用いて、最小二乗法により係数ａ１乃至ａ６を求める。このような処理により、グローバルモーション推定部８１は、撮像部２１の撮像方向のずれに起因して生じるずれを示す動きベクトルＶを求める。換言すれば、このずれを示すグローバルモーションとしての動きベクトルは、撮像画像上の各画素を始点とし、ブロックマッチングにより一致が認められた基準背景画像上の画素を終点とする複数のベクトルが統計処理されることにより求められる。
【０１２６】
ステップＳ１４２において、動き補償変換部８２は、撮像画像上の垂直方向を表現するカウンタｙを０に初期化する。
【０１２７】
尚、以降においては、動き補償更新画像の各画素はｇ（ｘ，ｙ）とし、背景基準画像上の各画素は、画素ｆ（ｘ，ｙ）とし、撮像画像上の各画素はｈ（ｘ，ｙ）として表現するものとする。また、基準背景画像の画素ｆ（ｘ，ｙ）における動きベクトルＶは、動きベクトルＶ（ｖｘ，ｖｙ）と定義する。ここで、ｖｘ，ｖｙは、それぞれ上述した式（４）により求められる。
【０１２８】
ステップＳ１４３において、動き補償変換部８２は、基準背景画像上の水平方向を表現するカウンタｘを０に初期化する。
【０１２９】
ステップＳ１４４において、動き補償変換部８２は、基準背景画像の画素ｆ（ｘ，ｙ）に対応する動きベクトルにより変換される画素位置（ｘ−ｖｘ，ｙ−ｖｙ）が、基準背景画像内に存在する座標であるか否かを判定する。
【０１３０】
ステップＳ１４４において、例えば、変換される画素位置が基準背景画像内に存在する場合、ステップＳ１４５において、動き補償変換部８２は、動き補償更新画像の画素ｇ（ｘ，ｙ）を基準背景画像における画素ｆ（ｘ−ｖｘ，ｙ−ｖｙ）で置換する。
【０１３１】
一方、ステップＳ１４４において、例えば、変換される画素位置が基準背景画像内に存在しない場合、ステップＳ１４６において、動き補償変換部８２は、変換後の動き補償更新画像の画素ｇ（ｘ，ｙ）を、撮像画像における画素ｈ（ｘ，ｙ）で置換する。
【０１３２】
ステップＳ１４７において、動き補償変換部８２は、カウンタｘを１インクリメントし、処理は、ステップＳ１４８に進む。
【０１３３】
ステップＳ１４８において、動き補償変換部８２は、カウンタｘが基準背景画像の水平方向の画素数よりも大きな値となったか否かを判定し、水平方向の画素数よりも大きな値ではない場合、処理は、ステップＳ１４４に戻る。すなわち、ステップＳ１４８において、カウンタｘが基準背景画像の水平方向の画素数よりも大きな値となるまで、ステップＳ１４４乃至Ｓ１４８の処理が繰り返される。
【０１３４】
そして、ステップイＳ１４８において、カウンタｘが基準背景画像の水平方向の画素数よりも大きな値となった場合、ステップＳ１４９において、動き補償変換部８２は、カウンタｙを１インクリメントする。そして、ステップＳ１５０において、動き補償変換部８２は、カウンタｙが、基準背景画像の水平方向の画素数よりも大きいか否かを判定し、例えば、大きくない場合、処理は、ステップＳ１４３に戻る。すなわち、カウンタｙが、基準背景画像の垂直方向の画素数よりも大きくなるまで、ステップＳ１４３乃至Ｓ１５０の処理を繰り返す。
【０１３５】
そして、ステップＳ１５０において、カウンタｙが、基準背景画像の垂直方向の画素数よりも大きくなったと判定された場合、ステップＳ１５１において、動き補償変換部８２は、画素ｇ（ｘ，ｙ）からなる動き補償更新画像を選択部８３に出力する。そして、処理は終了する。
【０１３６】
すなわち、基準背景画像の各画素について、ステップＳ１４４において、変換される画素位置が基準背景画像内に存在する場合とは、例えば、図１５の画像Ｆ５２における水平方向の位置Ｑ（基準背景画像の右端の位置）よりも左側の範囲の場合である。この場合、変換される画素は、元の基準背景画像内に存在する。このため、ずれに対応した動き補償更新画像の画素ｇ（ｘ，ｙ）の各画素は、いずれの画素も動きベクトルＶに対応する位置に移動された画素ｆ（ｘ−ｖｘ，ｙ−ｖｙ）により、図１５の画像Ｆ５３で示されるように置換されて変換される。
【０１３７】
一方、基準背景画像の各画素について、ステップＳ１４４において、例えば、変換される画素位置が基準背景画像内に存在しない場合とは、例えば、図１５の画像Ｆ５２における水平方向の位置Ｑ（基準背景画像の右端の位置）より右側の範囲の場合である。この場合、変換される画素が、元の基準背景画像内に存在しないことになる。このため、ずれに対応した動き補償更新画像の画素ｇ（ｘ，ｙ）の各画素は、同位置の撮像画像の画素ｈ（ｘ，ｙ）により、図１５の画像Ｆ５４で示されるように置換されて変換される。
【０１３８】
そして、これらの処理が全画素に対して施されることにより、図１５の画像Ｆ５５で示されるような撮像部２１の撮像方向のずれに対応した動き補償更新画像が生成される。すなわち、画像Ｆ５２で示されるように、撮像方向のずれにより背景基準画像Ｆ５１の点線で示される山の稜線Ｂ２が、実線で示される稜線Ｂ１のように全体として左方向にシフトした撮像画像に対応するように動き補償更新画像Ｆ５５が求められる。
【０１３９】
ここで、図６のフローチャートの説明に戻る。
【０１４０】
ステップＳ５２において、基準背景更新部２７は、選択部８３を制御して、破綻種別が色破綻であったか否かを判定させる。ステップＳ５２において、例えば、色破綻であった場合、ステップＳ５３において、選択部８３は、背景画像格納部２９に格納されている基準背景画像を色変換部８５より供給されてきた色変換更新画像で置換して基準背景画像を更新する。
【０１４１】
一方、ステップＳ５２において、色破綻ではない場合、すなわち、ずれ破綻である場合、ステップＳ５４において、選択部８３は、背景画像格納部２９に格納されている基準背景画像を動き補償変換部８２より供給されてきた動き補償変換更新画像で置換して基準背景画像を更新する。
【０１４２】
以上の処理により、撮像画像と基準背景画像との差分により生成される背景差分画像の生成処理において、撮像画像の照明条件やカラーパラメータなどの変化により生じる色破綻に対して、色変換更新画像を生成し、基準背景画像を更新することが可能となる。また、撮像画像の撮像方向がずれることにより生じるずれ破綻に対して、動き補償更新画像を生成し、基準背景画像を更新することが可能となる。さらに、色破綻、または、ずれ破綻といった破綻の種別を特定することが可能となる。結果として、破綻の種別に対応して、基準背景画像を更新することが可能となったので、背景差分画像を生成することで、前景を構成する対象物のみを高い精度で抽出することが可能となる。
【０１４３】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１４４】
図１６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１４５】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１４６】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４７】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１４８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【符号の説明】
【０１４９】
１１ 画像処理装置， ２１ 撮像部， ２２ 背景差分画像生成部， ２３ 出力部， ２４ 破綻判定部， ２５ 対象物検出部， ２６ 破綻種別特定部， ２７ 基準背景更新部， ２８ 基準背景画像取得部， ２９ 背景画像格納部， ３０ 動作モード切替部
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、前景画像からなる対象物を入力画像から正確に抽出できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
カメラ等により撮像された入力画像から、前景画像からなり対象物となる動物体領域を抽出する技術が一般に普及している。
【０００３】
これらの技術のうち、予め動きのない基準背景画像を撮像しておき、基準背景画像とカメラで撮像している画像との差分を画素毎に求めることで、動物体領域だけが抽出される背景差分画像生成処理は、簡単、かつ高速に動物体領域を抽出できる方法として、幅広く利用されている。
【０００４】
例えば、カメラの撮像位置からみて手前に存在する人物のみを抽出し、背景領域にCG（Computer Graphics）等により生成された画像を合成することで、テレビジョン電話器に人物を表示する際、人物の背景となる住環境を写すことなく人物のみをテレビジョン電話器の表示部に表示させる技術が提案されている（特許文献１参照）。
【０００５】
より詳細には、図１で示されるように、差分計算部１は、予め撮像された基準背景画像ｆ１と、その後に撮像した画像ｆ２とで、画素毎に画素値の差分を計算する。そして、差分計算部１は、差分値が所定の閾値よりも小さい値については画素値をゼロ、すなわち、背景を削除することで、動物体領域のみを残した背景差分画像ｆ３を生成する。
【０００６】
しかしながら、図２の入力画像ｆ５で示されるように、輝度の増減、および照明色温度などの照明条件の変化、または、絞り、ゲイン、ホワイトバランスなどのカメラパラメータの変化があった場合、動物体領域以外の領域についても、変化が生じることになる。このため、図２で示されるように、基準背景画像ｆ１と入力画像ｆ５との画素間の画素値の差分値が所定の閾値よりも小さくならず、動物体領域のみを抽出することができなくなり、背景画像も残った画像ｆ６のような状態となることがあった。
【０００７】
このような問題を解決すべく、照明条件の変動などに強い背景差分画像生成処理技術として、注目画素と周辺の画素との輝度の増減関係を求め、その関係の差分値を評価値にすることによって動物体領域を抽出する技術が提案されている（非特許文献１参照）。この技術によれば、照明変動によっても近傍画素間の明度の関係が変化しにくいため、ロバストな背景差分画像を抽出することが可能となっている。
【０００８】
また、照明条件等が徐々に変化する場合に対応する技術として、GMM（Gaussian Mixture Model）を用いた背景差分画像生成処理が提案されている。また、撮像された入力画像と基準背景画像との背景差分画像の生成処理を行うと共に、複数フレーム間の対応する画素値を比較し、変化が急激である場合、基準背景画像の画素値を更新せず、変化が緩やかである場合、所定の比率で撮像された入力画像の画素値に近づくよう、基準背景画像の画素値を変化させ、照明条件が緩やかに変化する場合であっても頑健な背景差分画像の生成処理を実現する技術が開示されている（特許文献２参照）。
【０００９】
さらに、複数枚の、照明条件等の異なる背景画像群をあらかじめ取得しておき、被写体が存在すると推定される予測領域と、それ以外の非予測領域に分割し、非予測領域の画像の特性に近い背景画像を背景画像群から選ぶことで、照明条件の変化に対応できるようにする技術が提案されている（特許文献３参照）。
【００１０】
また、急激な照明変動が発生した場合を自動的に判別する方法として、背景差分画像の前景の大きさが所定の大きさ以上になった場合、破綻したと判別するという技術が開示されている（非特許文献２参照）。これは、急激な照明変動が発生した場合、背景差分が破綻して、背景差分画像である前景画像が肥大するという前提に基づいたものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開昭６３−１８７８８９号公報
【特許文献２】米国公開特許第６０４４１６６号公報
【特許文献３】特開２００９−２６５８２７号公報
【非特許文献】
【００１２】
【非特許文献１】佐藤, 金子, 五十嵐, 周辺増分符号相関画像に基づくロバスト物体検出及び分離、電子情報通信学会論文誌、Vol.J80-D-II, No.12, pp.2585-2594, Dec. 2001.
【非特許文献２】Toyama, et al, "Wallflower: Principles and practice of background maintenance", ICCV1999, Corfu, Greece.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、非特許文献１に記載の技術では、テクスチャの少ない対象に対しては、照明変動や画素ノイズによって近傍画素間の関係が崩れ、誤検出が発生し易くなることがあった。
【００１４】
また、非特許文献２に記載の技術では、前景のサイズが所定の大きさよりも大きく、例えば、画面全体の70%に達した場合、破綻しているとみなすものとすれば、例えば、人物が画面を大きく占める場合などでは、破綻していないにも拘らず、破綻したものと誤認してしまうことがあった。
【００１５】
また、特許文献２に記載の技術では、緩やかな変化には対応できるものの、急激な変化が発生した場合、その領域に動物体が存在すると仮定しているため、急激な照明変動に対しては有効ではなかった。
【００１６】
さらに、特許文献３に記載の技術では、前景となる対象物が存在しえない部分の情報から、前景となり得る背景の推定を行うことで、急激な照明条件の変化にも対応できるが、複数枚の照明条件が異なった背景画像を予め取得しておく必要があった。
【００１７】
本発明はこのような状況に鑑みてなされたものであり、特に、撮像状態により入力画像が変化しても高い精度で前景画像となる対象物のみを抽出できるようにするものである。
【課題を解決するための手段】
【００１８】
本発明の一側面の画像処理装置は、基準背景画像を格納する基準背景格納手段と、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、前記破綻の種別を特定する破綻種別特定手段と、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段とを含む。
【００１９】
前記破綻判定手段には、前記対象物と、上記背景差分画像とを比較して、前記背景差分画像の領域が前記対象物の領域に対して、所定の比率よりも大きいか否かに基づいて破綻しているか否かを判定させるようにすることができる。
【００２０】
前記推定手段により推定された対象物の領域を除いた前記基準背景画像と前記背景差分画像との対応する画素間の変化量を算出する変化量算出手段をさらに含ませるようにすることができ、前記破綻種別特定手段には、前記変化量が所定値よりも大きい場合、破綻種別を色変化に基づいた、色破綻であるものとして特定させ、前記変化量が所定値よりも大きくない場合、破綻種別を入力画像の撮像方向のずれに基づいた、ずれ破綻であるものとして特定させるようにすることができる。
【００２１】
前記入力画像と前記基準背景画像とを比較して、前記入力画像の撮像方向のずれを動きベクトルとして求める動きベクトル算出手段と、前記動きベクトルに基づいて、前記基準背景画像に動き補償を施し、動き補償背景画像を生成する動き補償手段と、前記基準背景画像と前記推定手段により推定された対象物の領域を除いた前記背景差分画像との対応する画素間の画素値の関係式を算出する算出手段と、前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換手段とをさらに含ませるようにすることができ、前記破綻種別特定手段により特定される前記破綻種別がずれ破綻であるとき、前記背景画像更新手段には、前記動き補償背景画像により置換して前記基準背景画像を更新させ、前記破綻種別特定手段により特定される前記破綻種別が色破綻であるとき、前記背景画像更新手段には、前記画素値変換背景画像により置換して前記基準背景画像を更新させるようにすることができる。
【００２２】
前記破綻判定手段により前記破綻していないと判定された場合、前記背景画像更新手段には、前記基準背景画像をそのままの状態とすることができる。
【００２３】
前記動きベクトル算出手段には、前記対象物の領域以外について、前記基準背景画像と前記入力画像とを比較し、対応する画像の画素間の差分絶対値の和が最小になるような動きベクトルを求めるようにさせることができる。
【００２４】
前記対象物検出手段には、人物を対象物として検出する人物検出手段と、動物を対象物として検出する動物検出手段と、車両を対象物として検出する車両検出手段とを含ませるようにすることができる。
【００２５】
前記人物検出手段には、前記入力画像より人物の顔画像を検出する顔検出手段と、前記顔検出手段により検出された顔画像に基づいて、推定される前記人物の体の存在する位置とサイズから体マスクを推定する体マスク推定手段を含ませるようにすることができる。
【００２６】
本発明の一側面の画像処理方法は、基準背景画像を格納する基準背景格納手段と、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、前記破綻の種別を特定する破綻種別特定手段と、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段とを含む画像処理装置の画像処理方法であって、前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、前記破綻判定手段における、前記背景差分画像生成ステップの処理により生成された背景差分画像と、前記推定ステップの処理により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定ステップと、前記破綻種別特定手段における、前記破綻の種別を特定する破綻種別特定ステップと、前記背景画像更新手段における、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新ステップとを含む。
【００２７】
本発明の一側面のプログラムは、基準背景画像を格納する基準背景格納手段と、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、前記破綻の種別を特定する破綻種別特定手段と、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段とを含む画像処理装置を制御するコンピュータに、前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、前記破綻判定手段における、前記背景差分画像生成ステップの処理により生成された背景差分画像と、前記推定ステップの処理により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定ステップと、前記破綻種別特定手段における、前記破綻の種別を特定する破綻種別特定ステップと、前記背景画像更新手段における、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新ステップとを含む処理を実行させるプログラム。
【００２８】
本発明の一側面においては、基準背景画像が格納され、前記入力画像から対象物が検出され、検出された対象物の概略位置及び形状が推定され、前記入力画像と前記基準背景画像との差分値からなる背景差分画像が生成され、生成された背景差分画像と、推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かが判定され、前記破綻の種別が特定され、前記破綻の種別に対応して前記基準背景画像が更新される。
【００２９】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００３０】
本発明の一側面によれば、撮像状態により入力画像が変化しても高い精度で前景画像となる対象物のみを抽出することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】従来の背景差分画像による対象物の抽出処理を説明する図である。
【図２】従来の背景差分画像による対象物の抽出処理を説明する図である。
【図３】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図４】基準背景画像格納処理を説明するフローチャートである。
【図５】背景差分画像抽出処理を説明するフローチャートである。
【図６】基準背景画像更新処理を説明するフローチャートである。
【図７】対象物検出処理を説明するフローチャートである。
【図８】破綻の種別を説明する図である。
【図９】破綻種別特定処理を説明するフローチャートである。
【図１０】破綻種別特定処理を説明する図である。
【図１１】更新背景画像生成処理を説明するフローチャートである。
【図１２】色変換更新画像生成処理を説明するフローチャートである。
【図１３】色変換更新画像生成処理を説明する図である。
【図１４】動き補償更新画像生成処理を説明するフローチャートである。
【図１５】動き補償更新画像生成処理を説明する図である。
【図１６】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００３２】
［画像処理装置の構成例］
図３は、本発明を適用した画像処理装置のハードウェアの一実施の形態の構成例を示している。図１の画像処理装置１は、撮像された入力画像より前景となる対象物の位置および形状を特定し、対象物の領域のみを抽出するものである。
【００３３】
画像処理装置１は、撮像部２１、背景差分画像生成部２２、出力部２３、破綻判定部２４、対象物検出部２５、破綻種別特定部２６、基準背景更新部２７、基準背景画像取得部２８、背景画像格納部２９、および動作モード切替部３０を備えている。
【００３４】
撮像部２１は、基本的に撮像方向、および焦点位置などが固定された状態のままで、画像を撮像し、撮像した撮像画像を背景差分画像生成部２２、破綻判定部２４、対象物検出部２５、基準背景更新部２７、および基準背景画像取得部２８に供給する。
【００３５】
背景差分画像生成部２２は、撮像部２１からの撮像画像と、背景画像格納部２９に格納されている背景画像との各画素間の画素値の差分絶対値を求める。そして、背景差分画像生成部２２は、差分絶対値が所定値よりも高い画素については、撮像画像の画素値とし、それ以外の画素は画素値をゼロ、または最大画素値とした背景差分画像を生成して、出力部２３、および破綻判定部２４に供給する。すなわち、この処理により、対象物の無い背景画像が背景画像格納部２９に格納されているとすれば、理想的には、撮像画像内に対象物が存在すれば、対象物の領域の画素値のみが抽出された画像が背景差分画像として求められることになる。
【００３６】
出力部２３は、背景差分画像生成部２２より供給されてくる背景差分画像を出力し、例えば、図示せぬ記録媒体に記録させたり、または、図示せぬ表示部などに表示させる。
【００３７】
対象物検出部２５は、撮像画像内に存在する対象物を検出し、対象物の画像（対象物を構成する画素からなる領域の情報）として破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。より詳細には、対象物検出部２５は、人物検出部４１、動物検出部４２、および車両検出部４３を備えており、それぞれ対象物として、人物、動物、および車両の画像を検出する。そして、対象物検出部２５は、撮像画像内における、人物、動物、および車両の画像を対象物として検出し、検出した対象物の領域の画像を対象物マスクとして破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００３８】
人物検出部４１は、顔検出部４１ａおよび体推定部４１ｂを備えている。顔検出部４１ａは、撮像画像内における人物の顔画像を検出する。体推定部４１ｂは、顔検出部４１ａにより検出された顔画像の位置、および大きさから体の存在する領域を推定する。そして、人物検出部４１は、顔画像の領域と、推定された体の領域とを併せて体マスクを検出結果として生成する。動物検出部４２は、動物特徴量検出部４２ａ、および動物体推定部４２ｂを供えている。動物特徴量検出部４２ａは、動物の顔画像、および４本の足などの画像と、その位置および大きさを特徴量として抽出する。動物体推定部４２ｂは、動物の顔画像の位置、および４本の足の画像からなる特徴量に基づいて、対象物としての動物の体の存在する領域、および大きさを推定する。そして、動物検出部４２は、動物の顔画像の領域、および推定した体の領域とを併せて動物体マスクを検出結果として生成する。車両検出部４３は、車輪検出部４３ａ、および車体推定部４３ｂを備えている。車輪検出部４３ａは、画像より車両の車輪となる領域の位置および大きさの情報を検出する。車体推定部４３ｂは、検出された車輪の領域の位置および大きさの情報に基づいて、車体の領域の位置および大きさを推定する。車両検出部４３は、推定された車体の領域と車輪の領域とを併せて車体マスクを検出結果として生成する。
【００３９】
尚、図３の対象物検出部２５においては、検出する対象物の例として、人物、動物、および車両といった画像を検出するものを例としているが、その他の対象物を検出できるようにしてもよい。
【００４０】
破綻判定部２４は、背景差分画像、および対象物マスクの大きさに基づいて、背景差分画像の大きさが対象物マスクの大きさよりも極端に大きいか否かに基づいて、背景差分画像生成部２２の背景差分画像生成処理が破綻しているか否かを判定する。そして、破綻判定部２４は、判定結果を破綻種別特定部２６に供給する。
【００４１】
破綻種別特定部２６は、破綻判定部２４の破綻判定結果、背景画像格納部２９に格納されている基準背景画像、対象物検出部２５からの対象物マスク、および撮像画像に基づいて、破綻がないという結果を含めた、破綻の種別を特定する。そして、破綻種別特定部２６は、特定した破綻の種別の情報を基準背景更新部２７に供給する。
【００４２】
より詳細には、破綻種別特定部２６は、破綻種別決定部６１、および色変化計算部６２を備えている。色変化計算部６２は、対象物マスクの領域を除く撮像画像と基準背景画像とのそれぞれの画素値の平均、または色相の変化を計算し、計算結果を色特徴量の差分値として破綻種別決定部６１に供給する。破綻種別決定部６１は、破綻判定部２４の判定結果が破綻ありで、かつ、色特徴量の差分値が所定の閾値よりも大きいとき、撮像画像内の照明の大きな変化やホワイトバランスの変化に起因する色破綻であるとして破綻種別を決定する。また、破綻種別決定部６１は、破綻判定部２４の判定結果が破綻ありで、かつ、色特徴量の差分値が所定の閾値よりも大きくないとき、撮像画像を撮像する撮像部２１の撮像範囲のずれに起因するずれ破綻であるとして破綻種別を決定する。さらに、破綻種別決定部６１は、破綻判定部２４の判定結果が破綻なしのとき、破綻が発生していないという情報を、破綻種別を特定する情報として決定する。すなわち、破綻種別特定部２６は、破綻判定結果、対象物マスク、基準背景画像、および撮像画像に基づいて、背景差分画像生成処理が、破綻していない、色破綻による破綻が発生している、または、ずれ破綻による破綻が発生している３種類のいずれかを特定する。
【００４３】
基準背景更新部２７は、破綻種別特定部２６からの破綻種別の情報に基づいて、対象物マスクの情報、背景画像記憶部２９に記憶された基準背景画像、および撮像画像より、基準背景画像を更新して、背景画像格納部２９に格納させる。より詳細には、基準背景更新部２７は、グローバルモーション推定部８１、動き補償変換部８２、選択部８３、特徴量変換式計算部８４、および色変換部８５を備えている。
【００４４】
グローバルモーション推定部８１は、対象物マスクの領域を除いた基準背景画像と撮像画像との情報から、撮像部２１の撮像方向のずれの方向と大きさを示すグローバルモーションを動きベクトルとして推定し、動き補償変換部８２に供給する。動き補償変換部８２は、動きベクトルに基づいて、今現在背景画像格納部２９に格納されている基準背景画像および撮像画像から基準背景画像の更新画像である動き補償画像を生成し、選択部８３に供給する。特徴量変換式計算部８４は、対象物マスクを除く撮像画像および今現在背景画像格納部２９に格納されている基準背景画像における対応する画素間の色変化を示す変換式を、最小二乗法により求めて、求めた変換式を色変換部８５に供給する。色変換部８５は、特徴量変換式計算部８４により求められた変換式を用いて、背景画像格納部２９に格納されている基準背景画像の各画素の画素値を変換して、基準背景画像の更新画像である色変換画像を生成して選択部８３に供給する。選択部８３は、動き補償変換部８２より供給されてくる動き補償画像、色変換部８５より供給されてくる色変換画像、および撮像画像のいずれかを破綻種別特定部２６より供給されてくる破綻種別に基づいて選択する。そして、選択部８３は、選択した画像で、背景画像格納部２９に格納されている基準背景画像を置換することにより基準背景画像を更新する。
【００４５】
基準背景画像取得部２８は、基準背景画像を初期登録するとき、撮像部２１より供給されてくる画像を基準背景画像とみなして、背景画像格納部２９に格納させる。
【００４６】
動作モード切替部３０は、画像処理装置１１の動作モードを制御するものであり、基準背景画像格納モード、背景差分画像抽出モード、および背景画像更新モードの３種類の動作モードを切り替える。尚、図３においては、動作モード切替部３０は、撮像部２１、出力部２３、および基準背景画像取得部２８のみにその動作のオン、またはオフを制御するための矢印が表記されている。しかしながら、実際には、動作モード切替部３０は、撮像部２１乃至背景画像格納部２９の全てを各動作モードごとにオン、またはオフに制御する。したがって、実際には、全ての構成に対して矢印を引くべきであるが、構成が複雑になりすぎるため、省略して表記している。
【００４７】
［基準背景画像登録処理］
次に、図４のフローチャートを参照して、基準背景画像登録処理について説明する。
【００４８】
ステップＳ１１において、動作モード切替部３０は、基準背景画像登録モードとするため、その動作に必要とされる撮像部２１、基準背景画像取得部２８、および背景画像格納部２９をオンに制御し、その他の構成については、オフに制御する。尚、この基準背景画像登録モードは、図示せぬ操作部を画像処理装置１１のユーザが操作するとき発生する操作信号に基づいて設定される動作モードである。したがって、この動作モードとされる場合、基準背景画像としたい画像であって、以降の動作により対象物を抽出しようとする画像が撮像可能な状態に撮像部２１がユーザにより設定されていることが前提となる。
【００４９】
ステップＳ１２において、撮像部２１は、固定された撮像方向を撮像し、撮像した画像を撮像画像として基準背景画像取得部２８に供給する。
【００５０】
ステップＳ１３において、基準背景画像取得部２８は、撮像部２１より供給されてきた撮像画像を基準背景画像として取得し、背景画像格納部２９に格納させる。
【００５１】
以上の処理により、以降の処理において基準となる背景画像が背景画像格納部２９に格納されることになる。
【００５２】
［背景差分画像抽出処理］
次に、図５のフローチャートを参照して、背景差分画像抽出処理について説明する。尚
、この処理は、上述した基準背景画像登録処理により背景画像格納部２９に基準背景画像が格納されていることが前提となる。
【００５３】
ステップＳ２１において、動作モード切替部３０は、背景差分画像抽出モードとするため、その動作に必要とされる撮像部２１、背景差分画像生成部２２、出力部２３、背景画像格納部２９をオンに制御し、その他の構成については、オフに制御する。
【００５４】
ステップＳ２２において、撮像部２１は、基準背景画像を撮像した状態と同一の状態に固定された撮像方向を撮像し、撮像した撮像画像を背景差分画像生成部２２に供給する。
【００５５】
ステップＳ２３において、背景差分画像生成部２２は、背景画像格納部２９に格納されている基準背景画像を読み出す。
【００５６】
ステップＳ２４において、背景差分画像生成部２２は、基準背景画像と撮像画像との画素毎に、画素値の差分を求め、求められた差分値と所定の閾値とを比較する。そして、背景差分画像生成部２２は、所定の閾値よりも小さい場合、その画素の画素値をゼロ、または最高画素値とし、差分値が所定の閾値よりも高い場合、その画素の画素値を撮像画像の画素の画素値とすることで、背景差分画像を生成し、出力部２３に供給する。
【００５７】
ステップＳ２５において、出力部２３は、背景差分画像を図示せぬ表示部に表示したり、図示せぬ記録媒体に記憶させる。
【００５８】
以上の処理により、理想的には図１の基準背景画像ｆ１が背景画像格納部２９に格納されており、図１の撮像画像ｆ２が撮像された場合、背景差分画像ｆ３で示されるような、対象物である人物のみが抽出された画像が生成されることになる。
【００５９】
［基準背景画像更新処理］
次に、図６のフローチャートを参照して、基準背景画像更新処理について説明する。
【００６０】
ステップＳ４１において、動作モード切替部３０は、基準背景画像更新モードとするため、その動作に必要とされない出力部２３、および基準背景画像取得部２８をオフに制御し、その他の構成については、オンに制御する。
【００６１】
ステップＳ４２において、撮像部２１は、基準背景画像を撮像した状態と同一の状態に固定された撮像方向を撮像し、撮像した撮像画像を背景差分画像生成部２２、破綻判定部２４、対象物検出部２５、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００６２】
ステップＳ４３において、背景差分画像生成部２２は、背景画像格納部２９に格納されている基準背景画像を読み出す。
【００６３】
ステップＳ４４において、背景差分画像生成部２２は、基準背景画像と撮像画像との画素毎に、画素値の差分を求め、求められた差分値と所定の閾値とを比較する。そして、背景差分画像生成部２２は、所定の閾値よりも小さい場合、その画素の画素値をゼロ、または最高画素値とし、差分値が所定の閾値よりも高い場合、その画素の画素値を撮像画像の画素の画素値とすることで、背景差分画像を生成し、破綻判定部２４に供給する。
【００６４】
ステップＳ４５において、対象物検出部２５は、対象物検出処理を実行し、対象物である人物、動物、および車体の有無を検出し、検出した場合、検出結果である対象物マスクを破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００６５】
［対象物検出処理］
ここで、図７のフローチャートを参照して、対象物検出処理について説明する。
【００６６】
ステップＳ６１において、対象物検出部２５は、撮像画像に対してラプラシアンフィルタ処理やソーベルフィルタ処理を施すことにより、エッジ画像を抽出する。
【００６７】
ステップＳ６２において、人物検出部４１は、顔検出部４１ａを制御して、エッジ画像より形状により顔画像を構成し得る器官を抽出する。より詳細には、顔検出部４１ａは、エッジ画像より顔を構成する目、鼻、口、または耳といった器官の構成を、その形状に基づいて検索して抽出する。
【００６８】
ステップＳ６３において、人物検出部４１は、顔検出部４１ａを制御して、顔画像を構成する器官が抽出されたか否かを判定させる。ステップＳ６３において、器官が抽出された場合、ステップＳ６４において、人物検出部４１は、顔検出部４１ａを制御して、抽出された器官の位置、配置、および大きさなどから顔画像の領域を特定させ、さらに、矩形状の顔画像を特定させる。すなわち、例えば、図８の画像Ｆ１で示されるように、人物が含まれている撮像画像の場合、図８の画像Ｆ２における顔画像（顔マスク）ＫＭが特定される。尚、この図８で示される矩形状の顔画像については、以降において顔マスクＫＭと称するものとする。
【００６９】
ステップＳ６５において、人物検出部４１は、体推定部４１ｂを制御して、特定された矩形状の顔画像の位置から、その人物の体の領域を推定させる。すなわち、図８の画像Ｆ２の場合、顔マスクＫＭが特定されることにより、顔マスクＫＭの位置、大きさ、および方向に基づいて、体推定部４１ｂは、体の領域の形状、大きさ、および位置を推定する。
【００７０】
ステップＳ６６において、人物検出部４１は、体推定部４１ｂにより推定された体の領域と、顔マスクＫＭとを合わせた領域とから、対象物としての人物が撮像されている領域を含む人物の体マスクＭを対象物マスクとして生成する。そして、人物検出部４１は、対象物として人物が検出されたことを示す体マスクＭからなる対象物マスクを破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００７１】
尚、ステップＳ６３において、器官が抽出されなかったと判定された場合、撮像画像には人物の領域が存在しないものとみなされ、ステップＳ６４乃至Ｓ６６の処理はスキップされる。
【００７２】
ステップＳ６７において、動物検出部４２は、動物特徴量検出部４２ａを制御して、エッジ画像より、動物を構成し得る特徴量を抽出する。すなわち、動物特徴量とは、例えば、動物を構成する顔画像の目、鼻、口、および耳といった器官、４本の足、または尻尾など、形状に基づいて、対象物である動物を構成し得る特徴量を検出する。
【００７３】
ステップＳ６８において、動物検出部４２は、動物特徴量検出部４２ａを制御して、動物特徴量が抽出されたか否かを判定する。ステップＳ６８において、動物特徴量が抽出された場合、ステップＳ６９において、動物検出部４２は、動物体推定部４２ｂを制御して、検出された動物特徴量に基づいて、撮像画像内における動物の頭部を含む体の領域の形状、大きさ、および位置を推定させる。
【００７４】
ステップＳ７０において、動物検出部４２は、動物体推定部４２ｂにより推定された動物の頭部を含む体の領域となる範囲を動物の対象物マスクとして生成する。そして、動物検出部４２は、対象物として動物が検出されたことを示す対象物マスクを破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００７５】
尚、ステップＳ６８において、動物特徴量が抽出できなかったと判定された場合、撮像画像には動物の領域が存在しないものとみなされ、ステップＳ６９，Ｓ７０の処理はスキップされる。
【００７６】
ステップＳ７１において、車両検出部４３は、車輪検出部４３ａを制御して、エッジ画像より、車両の特徴量である車輪の画像を検出させる。
【００７７】
ステップＳ７２において、車両検出部４３は、車輪検出部４３ａを制御して、車輪の画像を検出することができたか否かを判定する。ステップＳ７２において、車輪を検出することができたと判定された場合、ステップＳ７３において、車両検出部４３は、車体推定部４３ｂを制御して、検出された車輪の画像の位置、および大きさから車体の領域の位置、および大きさを推定させる。
【００７８】
ステップＳ７４において、車両検出部４３は、車体推定部４３ｂにより推定された車体の領域の範囲を対象物を車両としたときの対象物マスクを生成する。そして、車両検出部４３は、対象物として車両が検出されたことを示す対象物マスクを破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給する。
【００７９】
尚、ステップＳ７２において、車輪が検出できないと判定された場合、撮像画像には車両の領域が存在しないものとみなされ、ステップＳ７３，Ｓ７４の処理はスキップされる。
【００８０】
すなわち、以上の処理により、対象物として人物、動物、および車両の全て、またはそれらのいずれかが検出された場合、それらに対応する対象物マスクが生成されて、破綻判定部２４、破綻種別特定部２６、および基準背景更新部２７に供給される。尚、以上においては、対象物として人物、動物、および車両を検出する例について説明してきたが、それ以外の対象物を検出するようにしてもよい。
【００８１】
ここで、図６のフローチャートの説明に戻る。
【００８２】
ステップＳ４５において、対象物検出処理が実行されると、ステップＳ４６において、破綻判定部２４は、対象物検出部２５より対象物マスクが供給されてきたか否かに基づいて、対象物が検出されたか否かを判定する。ステップＳ４５において、対象物が検出されなかった場合、基準背景画像更新処理は、終了する。すなわち、この場合、対象物マスクが検出されず、その後の処理において基準背景画像の更新が必要であるか否かを判定することができないので、基準背景画像は更新されることなく、処理は終了する。また、ステップＳ４５において、対象物マスクが検出されると、対象物が検出されたものとみなされて、処理は、ステップＳ４７に進む。
【００８３】
ステップＳ４７において、破綻判定部２４は、対象物検出処理により検出された対象物マスクの面積Ｓｂと、差分背景画像の差分結果として画素値がゼロとはなっていない領域の面積との面積比を求める。すなわち、破綻判定部２４は、対象物マスクの面積Ｓｂと、差分背景画像の差分結果として画素値がゼロとはなっていない領域である、実質的に差分背景画像によりマスクとして求められる領域の面積Ｓとの面積比Ｒ（＝Ｓ／Ｓｂ）を求める。
【００８４】
ステップＳ４８において、破綻判定部２４は、面積比Ｒが所定の閾値よりも大きいか否かを判定する。すなわち、対象物マスクＳの大きさは、対象物が人物である場合、図８の画像Ｆ１が入力画像のとき、図８の画像Ｆ２の対象物マスクＭで示されるように、人物Ｈ（図３）の領域そのものよりも若干広い範囲が求められる。これに対して、背景差分画像が、理想的な状態で求められる場合、マスク画像は、図８の画像Ｆ３で示されるように、事実上人物Ｈの領域のみとなる。従って、図８の画像Ｆ２で示されるように、対象物検出処理により求められる対象物マスクＭの面積Ｓに対して、画像Ｆ３の人物Ｈの面積Ｓｂは小さくなるため、面積比Ｒは、１より大きな所定の閾値より小さな値となるべきである。しかしながら、背景差分画像に何らかの破綻が生じると、本来人物Ｈの領域のみに求められるべき領域が、背景となるべき画像から現れてくることとなるため、例えば、図８の画像Ｆ４で示されるように、破綻領域Ｚ１，Ｚ２で示される領域が現れて、これら全てが背景差分画像により求められるマスク領域の面積として求められる。この結果、背景差分画像として求められる領域の面積Ｓｂは極端に大きくなり、結果として、破綻した場合、面積比Ｒは、極端に小さな値となる。従って、この面積比Ｒが所定の閾値よりも大きければ、背景差分画像生成処理による破綻は生じていないと判定することができる。
【００８５】
そこで、ステップＳ４８において、破綻判定部２４は、面積比Ｒが所定の閾値よりも大きいとき、破綻が生じていないものとみなし、処理は、ステップＳ５５に進み、破綻種別特定部２６に対して、破綻が発生していないことを通知する。この場合、破綻が生じていないため、基準背景画像の更新をする必要がないため、処理は、終了する。
【００８６】
また、ステップＳ４８において、破綻判定部２４は、面積比Ｒが所定の閾値よりも大きくないとき、破綻が生じているものとみなし、処理は、ステップＳ４９に進み、破綻種別特定部２６に対して、破綻が発生していることを通知する。
【００８７】
ステップＳ５０において、破綻種別特定部２６は、破綻が生じているものとみなし、破綻の種別を特定するため、破綻種別特定処理を実行し、発生した破綻の種別を特定する。
【００８８】
［破綻種別特定処理］
ここで、図９のフローチャートを参照して、破綻種別特定処理について説明する。
【００８９】
ステップＳ９１において、色変化計算部６２は、撮像部２１により撮像される画像の撮像環境である照明条件やカラーパラメータの変化の有無に基づいた破綻であるか否かを判定するため、対象物マスクを除く領域における撮像画像、および基準背景画像の色特徴量の変化を計算する。より詳細には、色変化計算部６２は、撮像画像、および基準背景画像のうち、対象物マスクを除く領域における各画素について、その近傍の画素を含む平均値を求める。より詳細には、色変化計算部６２は、例えば、撮像画像、および基準背景画像の各画素について、各画素を含み、水平方向および垂直方向に隣接する画素からなる合計５画素の平均値を求める。さらに、色変化計算部６２は、撮像画像、および基準背景画像の各画素の近傍の画素の平均値の全画像内における平均値を各画像における色特徴量として求め、破綻種別決定部６１に供給する。
【００９０】
ステップＳ９２において、破綻種別決定部６１は、撮像画像における色特徴量と基準背景画像における色特徴量との差分絶対値を求め、その差分絶対値が所定の閾値よりも大きいか否かを判定する。すなわち、撮像部２１により撮像される環境における照明条件やパラーパラメータなどが変化すると、色特徴量は変化することが考えられるため、撮像画像と基準背景画像との色特徴量の差分絶対値は所定の閾値よりも大きく変化すると考えられる。そこで、ステップＳ９２において、色特徴量の差分絶対値が所定の閾値よりも大きい場合、ステップＳ９３において、破綻種別決定部６１は、破綻種別を、照明条件またはカラーパラメータの変化に起因する背景差分画像生成処理の破綻、すなわち、色破綻であるものと決定する。尚、色特徴量については、上述した各画素の近傍の平均値を用いるだけでなく、例えば、各画素の色相を求めるようにして、撮像画像と基準背景画像との色相の変化を用いて色破綻が生じているか否かを判定するようにしてもよい。
【００９１】
一方、ステップＳ９２において、撮像画像と基準背景画像との色特徴量の差分絶対値が所定の閾値よりも大きくない場合、処理は、ステップＳ９４に進む。
【００９２】
ステップＳ９４において、破綻種別決定部６１は、破綻種別を、撮像部２１の撮像位置がずれることによる背景差分画像生成処理の破綻、すなわち、ずれ破綻であるものと決定する。
【００９３】
以上の処理により、破綻種別決定部６１は、色特徴量の変化を求めることにより、撮像部２１により撮像される環境の照明条件の変化に伴う色破綻であるか、または、撮像部２１の撮像方向のずれに起因して発生するずれ破綻であるかのいずかを特定する。
【００９４】
すなわち、図１０の画像Ｆ１１で示される基準背景画像に対して、図８の画像Ｆ１で示されるような照明条件の変化や撮像方向のずれなどが生じない場合、人物Ｈを含む画像が撮像されたとき、図１０の画像Ｆ１４で示されるような対象物マスクＭが求められる。この場合、対象物マスクＭを除く範囲においては、基準背景画像との変化は生じないので、例えば、図８の画像Ｆ４で示されるような破綻は生じない。
【００９５】
一方、図１０の画像Ｆ１２で示されるように、撮像部２１により撮像される画像の照明条件が変化した状態で人物Ｈを含む撮像画像が撮像されると、対象物マスクＭを除く背景差分画像においては、照明条件の変化に伴って背景差分画像において対象物と異なる背景部分が現れることになる。このため、背景差分画像を求めると、図８の画像Ｆ４で示されるような破綻が生じる恐れがある。
【００９６】
さらに、図１０の画像Ｆ１３で示されるように、撮像部２１の撮像方向がずれることにより、対象物である人物および背景が人物Ｈ’（画像Ｆ１２参照）のように左にずれている。このような場合、画像Ｆ１６で示されるように、対象物マスクＭを除く範囲における画像に人物Ｈ’が含まれると共に、背景となる山の位置もずれる。この結果、背景差分画像を求めると、図８の画像Ｆ４で示されるような破綻が生じる恐れがある。
【００９７】
以上のような比較により、画像Ｆ１２，Ｆ１５は、照明条件が変化するため、基準背景画像Ｆ１１との間には、対象物マスクＭ以外の領域において、色特徴量の差分絶対値に大きな変化が生じる。これに対して、画像Ｆ１３，Ｆ１６で示されるように、撮像部２１の撮像方向が変化するだけであれば、色特徴量による差分絶対値には大きな変化がない。このような特性の違いに基づいて、破綻種別を特定することができる。
【００９８】
ここで、図６のフローチャートの説明に戻る。
【００９９】
ステップＳ５０において、破綻種別が特定されると、ステップＳ５１において、基準背景更新部２７は、更新背景画像生成処理を実行し、破綻種別毎に対応した基準背景画像の更新に用いられる更新背景画像を生成する。
【０１００】
［更新背景画像生成処理］
ここで、図１１のフローチャートを参照して、更新背景画像生成処理について説明する。
【０１０１】
ステップＳ１０１において、基準背景更新部２７は、色変換更新画像生成処理を実行し、色変換更新画像を生成する。
【０１０２】
［色変換更新画像生成処理］
ここで、図１２のフローチャートを参照して、色変換更新画像生成処理について説明する。
【０１０３】
ステップＳ１２１において、基準背景更新部２７は、特徴量変換式計算部８４を制御して、撮像画像、および背景画像格納部２９に格納されている基準背景画像のうち、対象物マスクを除く領域の画素を用いて、特徴量変換式を計算させ、色変換部８５に供給する。
【０１０４】
ここで、特徴量変換式とは、例えば、以下の式（１）で示される。
【０１０５】
【数１】
【０１０６】
ここで、ｒｄｉは、例えば、図１３の上部で示される撮像画像Ｆ２１における対象物マスクＭの領域を除いた画素の画素値であり、ｒｓｉは、図１３の下部で示される基準背景画像Ｆ２２における対象物マスクＭの領域を除いた画素の画素値である。また、ａ，ｂは、それぞれ特徴量変換式の係数（線形近似係数）であり、ｉは、それぞれの対応する画素を識別する識別子である。
【０１０７】
すなわち、式（１）で示される特徴量変換式は、図１３で示されるように、対象物マスクの領域を除いた、基準背景画像の各画素の画素値ｒｓｉを撮像画像の各画素の画素値ｒｄｉに変換させる式である。従って、特徴量変換式計算部８４は、係数ａ，ｂを求めることにより特徴量変換式を求めることができる。
【０１０８】
より詳細には、特徴量変換式を求めるには、式（１）を変形した以下の式（２）を最小にする係数ａ，ｂが求められばよいことになる。
【０１０９】
【数２】
【０１１０】
ここで、Ｎは、画素数を示す変数である。すなわち、式（２）は、対象物マスクの領域を除いた、基準背景画像の各画素の画素値ｒｓｉを特徴量変換式に代入した値と、撮像画像の各画素の画素値ｒｄｉとの差分を、全画素について積算した値を示している。
【０１１１】
そこで、特徴量変換式計算部８４は、撮像画像、および基準背景画像のうち、対象物マスクを除く領域の対応する各画素を用いて、最小二乗法により以下の式（３）で示されるように係数ａ，ｂを求める。
【０１１２】
【数３】
【０１１３】
すなわち、特徴量変換式計算部８４は、上述した係数ａ，ｂを式（３）で示されるような計算により求めて、特徴量変換式を計算する。尚、以上においては、線形近似関数を用いた特徴量変換式を求める例について説明してきたが、対象物マスクの領域を除いた、基準背景画像の各画素の画素値を撮像画像の各画素の画素値に変換できる式であればよいので、他の近似関数を用いるようにしてもよい。例えば、他項近似関数を用いて特徴量変換式を求めるようにしてもよい。
【０１１４】
ステップＳ１２２において、色変換部８５は、求められた特徴量変換式を用いて、基準背景画像の全画素を色変換して、色変換更新画像を生成し、選択部８３に供給する。
【０１１５】
以上の処理により、照明条件の変化やホワイトバランスなどのカラーパラメータの変化により基準背景画像に対して撮像画像が変化してしまうようなことがあっても、それらの変化に対応して基準背景画像を更新させる、色変換更新画像を生成することが可能となる。このため、上述した色破綻に起因する背景差分画像生成処理における破綻を抑制することが可能となる。
【０１１６】
ここで、図１１のフローチャートの説明に戻る。
【０１１７】
ステップＳ１０１において、色変換更新画像生成処理により色変換更新画像が生成されると、ステップＳ１０２において、基準背景更新部２７は、動き補償更新画像生成処理を実行して、動き補償更新画像を生成する。
【０１１８】
［動き補償更新画像生成処理］
ここで、図１４のフローチャートを参照して、動き補償更新画像生成処理について説明する。
【０１１９】
ステップＳ１４１において、基準背景更新部２７は、グローバルモーション推定部８１を制御して、撮像画像、および基準背景画像における、対象物マスク以外の領域の画素間のブロックマッチングにより、グローバルモーションを動きベクトルＶとして求める。そして、グローバルモーション推定部８１は、求めた動きベクトルＶを動き補償変換部８２に供給する。すなわち、グローバルモーションは、撮像部２１が、基準背景画像となる画像を撮像した後、パン、チルト、およびズームのいずれか、または、それらの組み合わせの変化に起因して生じるずれの大きさを示すものであり、ここでは、動きベクトルＶとして求められる。
【０１２０】
動きベクトルＶとして求められるグローバルモーションは、撮像画像と基準背景画像との対象物マスク以外の領域の画素値を用いて、それらの画像をアフィン変換させるときに用いられるパラメータにより求められる。より具体的には、動きベクトルＶは、以下の式（４）で示されるアフィン変換に用いられる変換式により求められる。
【０１２１】
【数４】
【０１２２】
ここで、ｘ’ｉ，ｙ’ｉは、撮像画像上の対象物マスク以外の領域の画素位置（ｘ’ｉ，ｙ’ｉ）を示すパラメータであり、ｉは、各画素を識別する識別子である。また、ｘｉ，ｙｉは、基準背景画像上の対象物マスク以外の領域の画素位置（ｘｉ，ｙｉ）を示すパラメータである。尚、同一の識別子ｉが用いられる撮像画像上の画素（ｘ’ｉ，ｙ’ｉ）と、基準背景画像上の画素（ｘｉ，ｙｉ）とは、ブロックマッチングにより検索された画素同士である。そして、ベクトルＶは、以下の式（５）で示されるような行列式である。
【０１２３】
【数５】
【０１２４】
ここで、ａ１乃至ａ６は、それぞれ係数である。
【０１２５】
すなわち、グローバルモーション推定部８１は、撮像画像および基準背景画像のうち、対象物マスクの領域以外の画素を用いて、ブロックマッチングで検索された画素間の関係から式（４）を用いて、最小二乗法により係数ａ１乃至ａ６を求める。このような処理により、グローバルモーション推定部８１は、撮像部２１の撮像方向のずれに起因して生じるずれを示す動きベクトルＶを求める。換言すれば、このずれを示すグローバルモーションとしての動きベクトルは、撮像画像上の各画素を始点とし、ブロックマッチングにより一致が認められた基準背景画像上の画素を終点とする複数のベクトルが統計処理されることにより求められる。
【０１２６】
ステップＳ１４２において、動き補償変換部８２は、撮像画像上の垂直方向を表現するカウンタｙを０に初期化する。
【０１２７】
尚、以降においては、動き補償更新画像の各画素はｇ（ｘ，ｙ）とし、背景基準画像上の各画素は、画素ｆ（ｘ，ｙ）とし、撮像画像上の各画素はｈ（ｘ，ｙ）として表現するものとする。また、基準背景画像の画素ｆ（ｘ，ｙ）における動きベクトルＶは、動きベクトルＶ（ｖｘ，ｖｙ）と定義する。ここで、ｖｘ，ｖｙは、それぞれ上述した式（４）により求められる。
【０１２８】
ステップＳ１４３において、動き補償変換部８２は、基準背景画像上の水平方向を表現するカウンタｘを０に初期化する。
【０１２９】
ステップＳ１４４において、動き補償変換部８２は、基準背景画像の画素ｆ（ｘ，ｙ）に対応する動きベクトルにより変換される画素位置（ｘ−ｖｘ，ｙ−ｖｙ）が、基準背景画像内に存在する座標であるか否かを判定する。
【０１３０】
ステップＳ１４４において、例えば、変換される画素位置が基準背景画像内に存在する場合、ステップＳ１４５において、動き補償変換部８２は、動き補償更新画像の画素ｇ（ｘ，ｙ）を基準背景画像における画素ｆ（ｘ−ｖｘ，ｙ−ｖｙ）で置換する。
【０１３１】
一方、ステップＳ１４４において、例えば、変換される画素位置が基準背景画像内に存在しない場合、ステップＳ１４６において、動き補償変換部８２は、変換後の動き補償更新画像の画素ｇ（ｘ，ｙ）を、撮像画像における画素ｈ（ｘ，ｙ）で置換する。
【０１３２】
ステップＳ１４７において、動き補償変換部８２は、カウンタｘを１インクリメントし、処理は、ステップＳ１４８に進む。
【０１３３】
ステップＳ１４８において、動き補償変換部８２は、カウンタｘが基準背景画像の水平方向の画素数よりも大きな値となったか否かを判定し、水平方向の画素数よりも大きな値ではない場合、処理は、ステップＳ１４４に戻る。すなわち、ステップＳ１４８において、カウンタｘが基準背景画像の水平方向の画素数よりも大きな値となるまで、ステップＳ１４４乃至Ｓ１４８の処理が繰り返される。
【０１３４】
そして、ステップイＳ１４８において、カウンタｘが基準背景画像の水平方向の画素数よりも大きな値となった場合、ステップＳ１４９において、動き補償変換部８２は、カウンタｙを１インクリメントする。そして、ステップＳ１５０において、動き補償変換部８２は、カウンタｙが、基準背景画像の水平方向の画素数よりも大きいか否かを判定し、例えば、大きくない場合、処理は、ステップＳ１４３に戻る。すなわち、カウンタｙが、基準背景画像の垂直方向の画素数よりも大きくなるまで、ステップＳ１４３乃至Ｓ１５０の処理を繰り返す。
【０１３５】
そして、ステップＳ１５０において、カウンタｙが、基準背景画像の垂直方向の画素数よりも大きくなったと判定された場合、ステップＳ１５１において、動き補償変換部８２は、画素ｇ（ｘ，ｙ）からなる動き補償更新画像を選択部８３に出力する。そして、処理は終了する。
【０１３６】
すなわち、基準背景画像の各画素について、ステップＳ１４４において、変換される画素位置が基準背景画像内に存在する場合とは、例えば、図１５の画像Ｆ５２における水平方向の位置Ｑ（基準背景画像の右端の位置）よりも左側の範囲の場合である。この場合、変換される画素は、元の基準背景画像内に存在する。このため、ずれに対応した動き補償更新画像の画素ｇ（ｘ，ｙ）の各画素は、いずれの画素も動きベクトルＶに対応する位置に移動された画素ｆ（ｘ−ｖｘ，ｙ−ｖｙ）により、図１５の画像Ｆ５３で示されるように置換されて変換される。
【０１３７】
一方、基準背景画像の各画素について、ステップＳ１４４において、例えば、変換される画素位置が基準背景画像内に存在しない場合とは、例えば、図１５の画像Ｆ５２における水平方向の位置Ｑ（基準背景画像の右端の位置）より右側の範囲の場合である。この場合、変換される画素が、元の基準背景画像内に存在しないことになる。このため、ずれに対応した動き補償更新画像の画素ｇ（ｘ，ｙ）の各画素は、同位置の撮像画像の画素ｈ（ｘ，ｙ）により、図１５の画像Ｆ５４で示されるように置換されて変換される。
【０１３８】
そして、これらの処理が全画素に対して施されることにより、図１５の画像Ｆ５５で示されるような撮像部２１の撮像方向のずれに対応した動き補償更新画像が生成される。すなわち、画像Ｆ５２で示されるように、撮像方向のずれにより背景基準画像Ｆ５１の点線で示される山の稜線Ｂ２が、実線で示される稜線Ｂ１のように全体として左方向にシフトした撮像画像に対応するように動き補償更新画像Ｆ５５が求められる。
【０１３９】
ここで、図６のフローチャートの説明に戻る。
【０１４０】
ステップＳ５２において、基準背景更新部２７は、選択部８３を制御して、破綻種別が色破綻であったか否かを判定させる。ステップＳ５２において、例えば、色破綻であった場合、ステップＳ５３において、選択部８３は、背景画像格納部２９に格納されている基準背景画像を色変換部８５より供給されてきた色変換更新画像で置換して基準背景画像を更新する。
【０１４１】
一方、ステップＳ５２において、色破綻ではない場合、すなわち、ずれ破綻である場合、ステップＳ５４において、選択部８３は、背景画像格納部２９に格納されている基準背景画像を動き補償変換部８２より供給されてきた動き補償変換更新画像で置換して基準背景画像を更新する。
【０１４２】
以上の処理により、撮像画像と基準背景画像との差分により生成される背景差分画像の生成処理において、撮像画像の照明条件やカラーパラメータなどの変化により生じる色破綻に対して、色変換更新画像を生成し、基準背景画像を更新することが可能となる。また、撮像画像の撮像方向がずれることにより生じるずれ破綻に対して、動き補償更新画像を生成し、基準背景画像を更新することが可能となる。さらに、色破綻、または、ずれ破綻といった破綻の種別を特定することが可能となる。結果として、破綻の種別に対応して、基準背景画像を更新することが可能となったので、背景差分画像を生成することで、前景を構成する対象物のみを高い精度で抽出することが可能となる。
【０１４３】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１４４】
図１６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１４５】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１４６】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４７】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１４８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【符号の説明】
【０１４９】
１１ 画像処理装置， ２１ 撮像部， ２２ 背景差分画像生成部， ２３ 出力部， ２４ 破綻判定部， ２５ 対象物検出部， ２６ 破綻種別特定部， ２７ 基準背景更新部， ２８ 基準背景画像取得部， ２９ 背景画像格納部， ３０ 動作モード切替部
【特許請求の範囲】
【請求項１】
基準背景画像を格納する基準背景格納手段と、
前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、
前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、
前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、
前記破綻の種別を特定する破綻種別特定手段と、
前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段と
を含む画像処理装置。
【請求項２】
前記破綻判定手段は、前記対象物と、上記背景差分画像とを比較して、前記背景差分画像の領域が前記対象物の領域に対して、所定の比率よりも大きいか否かに基づいて破綻しているか否かを判定する
請求項１に記載の画像処理装置。
【請求項３】
前記推定手段により推定された対象物の領域を除いた前記基準背景画像と前記背景差分画像との対応する画素間の変化量を算出する変化量算出手段をさらに含み、
前記破綻種別特定手段は、前記変化量が所定値よりも大きい場合、破綻種別を色変化に基づいた、色破綻であるものとして特定し、前記変化量が所定値よりも大きくない場合、破綻種別を入力画像の撮像方向のずれに基づいた、ずれ破綻であるものとして特定する
請求項１に記載の画像処理装置。
【請求項４】
前記入力画像と前記基準背景画像とを比較して、前記入力画像の撮像方向のずれを動きベクトルとして求める動きベクトル算出手段と、
前記動きベクトルに基づいて、前記基準背景画像に動き補償を施し、動き補償背景画像を生成する動き補償手段と、
前記基準背景画像と前記推定手段により推定された対象物の領域を除いた前記背景差分画像との対応する画素間の画素値の関係式を算出する算出手段と、
前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換手段とをさらに含み、
前記破綻種別特定手段により特定される前記破綻種別がずれ破綻であるとき、前記背景画像更新手段は、前記動き補償背景画像により置換して前記基準背景画像を更新し、
前記破綻種別特定手段により特定される前記破綻種別が色破綻であるとき、前記背景画像更新手段は、前記画素値変換背景画像により置換して前記基準背景画像を更新する
請求項３に記載の画像処理装置。
【請求項５】
前記破綻判定手段により前記破綻していないと判定された場合、前記背景画像更新手段は、前記基準背景画像をそのままの状態とする
請求項4に記載の背景差分装置。
【請求項６】
前記動きベクトル算出手段は、前記対象物の領域以外について、前記基準背景画像と前記入力画像とを比較し、対応する画像の画素間の差分絶対値の和が最小になるような動きベクトルを求める
請求項4に記載の背景差分装置。
【請求項７】
前記対象物検出手段は、
人物を対象物として検出する人物検出手段と、
動物を対象物として検出する動物検出手段と、
車両を対象物として検出する車両検出手段とを含む
請求項１に記載の画像処理装置。
【請求項８】
前記人物検出手段は、
前記入力画像より人物の顔画像を検出する顔検出手段と、
前記顔検出手段により検出された顔画像に基づいて、推定される前記人物の体の存在する位置とサイズから体マスクを推定する体マスク推定手段を含む
請求項７に記載の画像処理装置。
【請求項９】
基準背景画像を格納する基準背景格納手段と、
前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、
前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、
前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、
前記破綻の種別を特定する破綻種別特定手段と、
前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段と
を含む画像処理装置の画像処理方法であって、
前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、
前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、
前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、
前記破綻判定手段における、前記背景差分画像生成ステップの処理により生成された背景差分画像と、前記推定ステップの処理により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定ステップと、
前記破綻種別特定手段における、前記破綻の種別を特定する破綻種別特定ステップと、
前記背景画像更新手段における、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新ステップと
を含む画像処理方法。
【請求項１０】
基準背景画像を格納する基準背景格納手段と、
前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、
前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、
前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、
前記破綻の種別を特定する破綻種別特定手段と、
前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段と
を含む画像処理装置を制御するコンピュータに、
前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、
前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、
前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、
前記破綻判定手段における、前記背景差分画像生成ステップの処理により生成された背景差分画像と、前記推定ステップの処理により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定ステップと、
前記破綻種別特定手段における、前記破綻の種別を特定する破綻種別特定ステップと、
前記背景画像更新手段における、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新ステップと
を含む処理を実行させるプログラム。
【請求項１】
基準背景画像を格納する基準背景格納手段と、
前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、
前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、
前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、
前記破綻の種別を特定する破綻種別特定手段と、
前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段と
を含む画像処理装置。
【請求項２】
前記破綻判定手段は、前記対象物と、上記背景差分画像とを比較して、前記背景差分画像の領域が前記対象物の領域に対して、所定の比率よりも大きいか否かに基づいて破綻しているか否かを判定する
請求項１に記載の画像処理装置。
【請求項３】
前記推定手段により推定された対象物の領域を除いた前記基準背景画像と前記背景差分画像との対応する画素間の変化量を算出する変化量算出手段をさらに含み、
前記破綻種別特定手段は、前記変化量が所定値よりも大きい場合、破綻種別を色変化に基づいた、色破綻であるものとして特定し、前記変化量が所定値よりも大きくない場合、破綻種別を入力画像の撮像方向のずれに基づいた、ずれ破綻であるものとして特定する
請求項１に記載の画像処理装置。
【請求項４】
前記入力画像と前記基準背景画像とを比較して、前記入力画像の撮像方向のずれを動きベクトルとして求める動きベクトル算出手段と、
前記動きベクトルに基づいて、前記基準背景画像に動き補償を施し、動き補償背景画像を生成する動き補償手段と、
前記基準背景画像と前記推定手段により推定された対象物の領域を除いた前記背景差分画像との対応する画素間の画素値の関係式を算出する算出手段と、
前記関係式に基づいて、前記基準背景画像の画素値を変換し、画素値変換背景画像を生成する変換手段とをさらに含み、
前記破綻種別特定手段により特定される前記破綻種別がずれ破綻であるとき、前記背景画像更新手段は、前記動き補償背景画像により置換して前記基準背景画像を更新し、
前記破綻種別特定手段により特定される前記破綻種別が色破綻であるとき、前記背景画像更新手段は、前記画素値変換背景画像により置換して前記基準背景画像を更新する
請求項３に記載の画像処理装置。
【請求項５】
前記破綻判定手段により前記破綻していないと判定された場合、前記背景画像更新手段は、前記基準背景画像をそのままの状態とする
請求項4に記載の背景差分装置。
【請求項６】
前記動きベクトル算出手段は、前記対象物の領域以外について、前記基準背景画像と前記入力画像とを比較し、対応する画像の画素間の差分絶対値の和が最小になるような動きベクトルを求める
請求項4に記載の背景差分装置。
【請求項７】
前記対象物検出手段は、
人物を対象物として検出する人物検出手段と、
動物を対象物として検出する動物検出手段と、
車両を対象物として検出する車両検出手段とを含む
請求項１に記載の画像処理装置。
【請求項８】
前記人物検出手段は、
前記入力画像より人物の顔画像を検出する顔検出手段と、
前記顔検出手段により検出された顔画像に基づいて、推定される前記人物の体の存在する位置とサイズから体マスクを推定する体マスク推定手段を含む
請求項７に記載の画像処理装置。
【請求項９】
基準背景画像を格納する基準背景格納手段と、
前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、
前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、
前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、
前記破綻の種別を特定する破綻種別特定手段と、
前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段と
を含む画像処理装置の画像処理方法であって、
前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、
前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、
前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、
前記破綻判定手段における、前記背景差分画像生成ステップの処理により生成された背景差分画像と、前記推定ステップの処理により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定ステップと、
前記破綻種別特定手段における、前記破綻の種別を特定する破綻種別特定ステップと、
前記背景画像更新手段における、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新ステップと
を含む画像処理方法。
【請求項１０】
基準背景画像を格納する基準背景格納手段と、
前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定手段と、
前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成手段と、
前記背景差分画像生成手段により生成された背景差分画像と、前記推定手段により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定手段と、
前記破綻の種別を特定する破綻種別特定手段と、
前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新手段と
を含む画像処理装置を制御するコンピュータに、
前記基準背景格納手段における、前記基準背景画像を格納する基準背景格納ステップと、
前記推定手段における、前記入力画像から対象物を検出し、検出された対象物の概略位置及び形状を推定する推定ステップと、
前記背景差分画像生成手段における、前記入力画像と前記基準背景画像との差分値からなる背景差分画像を生成する背景差分画像生成ステップと、
前記破綻判定手段における、前記背景差分画像生成ステップの処理により生成された背景差分画像と、前記推定ステップの処理により推定された対象物との比較に基づいて、前記背景差分画像が破綻しているか否かを判定する破綻判定ステップと、
前記破綻種別特定手段における、前記破綻の種別を特定する破綻種別特定ステップと、
前記背景画像更新手段における、前記破綻の種別に対応して前記基準背景画像を更新する背景画像更新ステップと
を含む処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−２１１６２８（Ｐ２０１１−２１１６２８Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７９１８４（Ｐ２０１０−７９１８４）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]