画像処理装置、画像処理方法、および、プログラム
【課題】誤検出を抑制した、頑強な不動体検出を行う。
【解決手段】取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、生成部により生成された背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部を備え、現画像において、生成される背景とは異なる部分の画像である動体が検出され、動体が、所定の一定時間以上停止しているかどうかが判定される。一定時間以上停止している動体である一時停止オブジェクトが映る一時停止画像と、現画像とが用いられて、現画像の画素について、所定の時間以上変化がない、背景とは異なる不動体であることの確からしさを表す不動体信頼度が求められる。求められた不動体信頼度に基づいて、現画像から、不動体が検出される。本技術は、例えば、物体の置き去りや持ち去り等を検出する不動体の検出に適用できる。
【解決手段】取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、生成部により生成された背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部を備え、現画像において、生成される背景とは異なる部分の画像である動体が検出され、動体が、所定の一定時間以上停止しているかどうかが判定される。一定時間以上停止している動体である一時停止オブジェクトが映る一時停止画像と、現画像とが用いられて、現画像の画素について、所定の時間以上変化がない、背景とは異なる不動体であることの確からしさを表す不動体信頼度が求められる。求められた不動体信頼度に基づいて、現画像から、不動体が検出される。本技術は、例えば、物体の置き去りや持ち去り等を検出する不動体の検出に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および、プログラムに関し、特に、例えば、不動体の検出、すなわち、物体が置き去りにされたことや、物体が持ち去られたことの検出において、誤検出を抑制することができるようにする画像処理装置、画像処理方法、および、プログラムに関する。
【背景技術】
【０００２】
例えば、公共の場所に、不審物が置き去りにされたことや、ショールームに展示されている展示品が持ち去られたことを検出する技術として、画像に、背景でない部分であって、動いていない部分を、不動体として検出（検知）する方法がある。
【０００３】
不動体を検出する不動体検出方法としては、画像から、静止領域を検出し、新たに検出された静止領域を背景として登録することで、複数の背景の作成を行い、静止物体の前に静止物体が現れ、２つの静止物体が重なっても、その２つの静止物体を分離して検出することができる方法が提案されている（例えば、特許文献１）。
【０００４】
また、不動体検出方法としては、複数の時間スケールで、背景の更新等の処理を行うことで、外乱に対する頑健性を保証している方法が提案されている（例えば、特許文献２）。
【０００５】
なお、特許文献１に記載の不動体検出方法では、木々のゆれ等が、誤って、静止物体（不動体）として検出される。さらに、特許文献１に記載の不動体検出方法は、静止物体を分離するために、多種の特徴量を計算し、さらにクラスタリングをする必要があるため、演算量が多く、リアルタイム処理には適しているとは言い難い。
【０００６】
また、特許文献２に記載の不動体検出方法では、２つの静止物体が重なっている場合に、２つの静止物体が、不動体として、適切に検出されることは、保証されない。
【０００７】
また、動体検知や不動体検知などに代表される背景画像を利用した検知技術は、人や車など物体が頻繁に通過するような領域においては、正常な背景が生成されずに、誤った結果が得られる場合があった。このような場合に対処するために、特許文献３においては、各画素の変動具合として輝度値の分散を計算することで、処理可能な有効領域か否かを判断することが提案されている。そして、有効でないと判断された領域を除外して処理を行う背景差分方法が提案されている。
【０００８】
しかしながら、特許文献３で提案されている方法では、輝度値の標準偏差（分散）により有効領域を判定しているため、本当に背景が作る事が困難である状況だけを分別することができない。例えば、背景を多項分布を用いて検出するようにした場合、人が頻繁に通過するような状況は背景を作成しづらいが、ライトの点滅のような輝度値の差が大きい状況などであれば背景は作成可能である。特許文献３で提案されている方法では、輝度値の分散から判断しているため、これらを同じ「有効でない領域」と判定してしまう。そのために、背景作成が困難で検知できない領域かどうかを判定できず、精度良く背景を生成することができない可能性がある。
【０００９】
また、特許文献４では、各画素の時系列の変化を中間クラスや不安定クラスなどに判定する処理を行うことが提案されている。しかしながら、この判断方法では、複数の分布の重みだけで不安定か安定かが判断されているため、短時間で変化が起こった領域なのか、本当に頻繁に通過するため困難な領域なのかの判断が困難である。よって、この場合も、精度良く背景を生成することができない可能性があった。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】国際公開第2009/005141号パンフレット
【特許文献２】特開2008-257693号公報
【特許文献３】特開2004-265291号公報
【特許文献４】特開2006-331306号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
不動体検出方法としては、誤検出を抑制して、不動体を、高精度に検出することができる方法の提案が要請されている。
【００１２】
本技術は、このような状況に鑑みてなされたものであり、誤検出を抑制した、頑強な不動体検出を行うことができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の一側面の画像処理装置は、取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部とを備える。
【００１４】
前記背景モデルは、所定の座標における輝度値とその輝度値が現れた頻度を関連付けた分布から構成され、前記判断部は、前記頻度が最も高い分布が所定の値より大きい場合、信頼度の高い背景が生成できると判断するようにすることができる。
【００１５】
前記所定の値は、前記多項分布の項数と、前記背景モデルの更新回数から算出される値であるようにすることができる。
【００１６】
前記判断部により信頼度の高い背景が生成できないと判断された領域を、ユーザに提示するようにすることができる。
【００１７】
現画像において、前記生成部により生成される背景とは異なる部分の画像である動体を検出する動体検出部と、前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部とをさらに備えるようにすることができる。
【００１８】
本技術の一側面の画像処理方法は、取得される映像から、多項分布の背景モデルを生成し、背景を生成し、生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断するステップを含む。
【００１９】
本技術の一側面のプログラムは、取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部として、コンピュータを機能させる。
【００２０】
本技術の一側面の画像処理装置、画像処理方法、およびプログラムにおいては、取得された映像から、多項分布の背景モデルが生成され、生成された背景モデルから、信頼度の高い背景が生成できるか否かが判断される。
【００２１】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００２２】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００２３】
本技術によれば、誤検出を抑制した、頑強な不動体検出を行うことができる。
【図面の簡単な説明】
【００２４】
【図１】本技術を適用した不動体検出装置の一実施の形態の構成例を示すブロック図である。
【図２】不動体検出装置の処理の概要を説明する図である。
【図３】背景モデルについて説明するための図である。
【図４】背景モデルの生成について説明するためのフローチャートである。
【図５】背景モデルについて説明するための図である。
【図６】背景モデルについて説明するための図である。
【図７】背景モデルについて説明するための図である。
【図８】動体検出部３１の構成例を示すブロック図である。
【図９】動体検出部３１において動体を検出する原理を説明する図である。
【図１０】一時停止判定部３２の処理を説明する図である。
【図１１】信頼度処理部３５の処理を説明する図である。
【図１２】信頼度処理部３５による不動体信頼度の更新の概要を説明する図である。
【図１３】信頼度処理部３５による不動体信頼度の更新の詳細を説明する図である。
【図１４】信頼度処理部３５により更新される不動体信頼度C(X)の変化を示す図である。
【図１５】信頼度処理部３５による不動体信頼度C(X)の初期値C0の設定を説明する図である。
【図１６】不動体検出装置の処理（不動体検出処理）を説明するフローチャートである。
【図１７】不動体検出装置の他の構成例を示すブロック図である。
【図１８】不動体検出装置の処理を説明する図である。
【図１９】不動体信頼度C(X)が単調減少している場合に、画素Xを、不動体として検出することを制限することを説明する図である。
【図２０】記憶部３４及び３６に、それぞれ、３枚の一時停止画像、及び、信頼度画像が記憶される場合の、不動体検出装置の処理を説明する図である。
【図２１】ネットワークカメラの構成例を示すブロック図である。
【図２２】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
［本技術を適用した不動体検出装置の一実施の形態］
図１は、本技術の画像処理装置を適用した不動体検出装置の一実施の形態の構成例を示すブロック図である。
【００２６】
図１において、不動体検出装置は、画像取得部１１、背景生成部２１、処理困難領域判断部２２、動体検出部３１、一時停止判定部３２、一時停止画像処理部３３、記憶部３４、信頼度処理部３５、記憶部３６、不動体検出部３７、及び、不動体提示部３８を有し、不動体を検出（検知）して提示する。
【００２７】
画像取得部１１は、所定のレートの画像（動画像）を取得して出力する。すなわち、画像取得部１１は、例えば、カメラであり、所定のレートで、カメラが設置されたショールーム等の所定の場所の画像を撮影して出力する。また、画像取得部１１は、例えば、図示せぬカメラ等から、所定の場所を撮影した画像を取得し、その画像を高精細化する画像処理等を行って出力する。
【００２８】
なお、画像取得部１１において取得する画像は、カラー画像であってもよいし、白黒画像であってもよい。ここでは、画像取得部１１において取得する画像は、白黒画像であるとする。この場合、以下の説明において、画素値は、輝度値となる。
【００２９】
画像取得部１１が出力する画像は、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に供給される。
【００３０】
背景生成部２１は、画像取得部１１から供給される最新の画像である現画像等を用いて、背景（画像）を生成し、処理困難領域判断部２２と信頼度処理部３５に供給する。
【００３１】
処理困難領域判断部２２は、正常に背景が生成されない領域を検出し、そのような領域を、不動体提示部３８に供給する。不動体提示部３８により、正常に背景が生成されない領域が、ユーザに提示される。
【００３２】
動体検出部３１は、画像取得部１１からの現画像において、背景とは異なる部分の画像である動体（画像）を検出し、その動体に外接する最小の矩形の領域である動体領域を、一時停止判定部３２、及び、一時停止画像処理部３３に供給する。
【００３３】
一時停止判定部３２は、動体検出部３１からの動体領域に含まれる動体が、所定の一定時間以上停止（以下、一時停止ともいう）しているかどうかを判定し、動体が一時停止していると判定した場合、その一時停止している動体の動体領域内の画像を、一時停止しているオブジェクト（一時停止オブジェクト）が映る一時停止画像に映る一時停止オブジェクトとしてコピーし、一時停止画像処理部３３に供給する。
【００３４】
一時停止画像処理部３３は、一時停止判定部３２から供給される一時停止オブジェクトを、記憶部３４に登録する（記憶させる）。すなわち、記憶部３４は、一時停止画像を記憶する、例えば、フレームメモリであり、一時停止画像処理部３３は、記憶部３４に記憶されている画像（一時停止画像）の、一時停止判定部３２からの一時停止オブジェクトの領域内の画素の画素値を、その一時停止オブジェクトの画素値に更新する。
【００３５】
また、一時停止画像処理部３３は、画像取得部１１からの現画像と、動体検出部３１からの動体（動体領域）とを用いて、記憶部３４に記憶された一時停止画像を更新する。すなわち、一時停止画像処理部３３は、記憶部３４に登録（記憶）された一時停止画像に映る一時停止オブジェクトのうちの、動体検出部３１からの動体でない画素の画素値を、記憶部３４に登録された一時停止画像（一時停止オブジェクト）と、画像取得部１１からの現画像との重み付け加算により更新する。
【００３６】
具体的には、現画像である時刻tの画像の画素Xの画素値を、It(X)と、1時刻前の時刻t-1の記憶部３４に記憶された一時停止画像の画素Xの画素値を、Pt-1(X)と、一時停止画像処理部３３において時刻tに求められる更新後の一時停止画像の画素Xの画素値を、Pt(X)と、それぞれ表すこととすると、一時停止画像処理部３３は、記憶部３４に記憶された一時停止画像に映る一時停止オブジェクトの画素のうちの、動体の画素については、式（１）に従い、動体でない画素については、式（２）に従い、時刻tの一時停止画像（更新後の一時停止画像）の画素Xの画素値Pt(X)を求める。
【００３７】
Pt(X)=Pt-1(X)
・・・（１）
Pt(X)=（1−α’）Pt-1(X)＋αIt(X)
・・・（２）
【００３８】
式（２）に従った一時停止画像の更新によれば、日差しや照明の変化等に起因して、画像取得部１１で取得される画像の画面全体の輝度が変化する状況等において、記憶部３４に記憶された一時停止画像に映る一時停止オブジェクトの輝度（画素値）を、なるべく現在の輝度（現画像の輝度）に近づけるように、適切に更新することができ、その結果、画像の輝度の変化に対する頑強性を向上させ、不動体検出を高精度に行うことができる。
【００３９】
なお、式（１）によれば、一時停止画像に映る一時停止オブジェクトのうちの、現画像の動体と重なる部分については、画素値は、更新されない（そのままの値にされる）が、これは、例えば、一時停止オブジェクトの手前側を、歩行者等の動体が横切った場合に、一時停止オブジェクトの画素値が、動体である歩行者の画素値に上書き（更新）されることを防止するためである。
【００４０】
信頼度処理部３５は、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用いて、現画像の各画素（又は、隣接する幾つかの画素ごと）について、所定の時間以上変化がない、背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求め、記憶部３６に登録する（記憶させる）。
【００４１】
記憶部３６は、信頼度処理部３５からの、現画像の各画素についての不動体信頼度を画素値とする信頼度画像を記憶する。
【００４２】
不動体検出部３７は、記憶部３６に記憶された信頼度画像に基づいて、現画像から、不動体を検出し、不動体提示部３８に供給する。
【００４３】
すなわち、不動体検出部３７は、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を、閾値によって２値化し（閾値以上の不動体信頼度を1とするとともに、閾値未満の不動体信頼度を0とし）、２値化信頼度画像を求める。
【００４４】
さらに、不動体検出部３７は、２値化信頼度画像について、画素値が1の画素（不動体信頼度が閾値以上の画素）と、その画素に隣接する８近傍の画素のうちの、画素値が1の画素とに、同一のラベルを付すラベリングを行うことにより、画素値が1の画素で構成される領域に外接する最小の矩形の領域を、不動体の領域（不動体領域）として検出する。
【００４５】
そして、不動体検出部３７は、不動体領域としての矩形のサイズ（横と縦の画素数）、及び、その矩形の中心（重心）や左上の点の座標等の不動体（領域）を指定する情報を解析し（求め）、不動体情報として、不動体提示部３８に供給する。
【００４６】
不動体提示部３８は、不動体検出部３７からの不動体情報に基づき、画像取得部１１からの現画像を必要に応じて用いて、不動体（が検出された旨）を提示する。
【００４７】
すなわち、不動体提示部３８は、不動体検出部３７から不動体情報が供給されると、不動体が検出された旨を、音声や、画像、ランプの点滅や点灯等によって、ユーザに提示（報知）する。
【００４８】
また、不動体提示部３８は、画像取得部１１からの現画像に、不動体検出部３７からの不動体情報によって特定される不動体領域を囲む枠のOSD(On Screen Display)を重畳し、図示せぬ表示装置に表示させる。
【００４９】
なお、不動体提示部３８では、不動体（不動体領域）が、所定のサイズSA以上である場合にのみ、不動体の提示を行うことができる。また、不動体提示部３８では、不動体が、所定のサイズSA以下である場合にのみ、不動体の提示を行うことができる。さらに、不動体提示部３８では、不動体が、ある所定のサイズSA以上で、かつ、他の所定のサイズSB（＞SA）以下である場合にのみ、不動体の提示を行うことができる。所定のサイズSAやSBは、例えば、ユーザが、不動体検出装置を操作することで設定することが出来る。
【００５０】
図２は、図１の不動体検出装置の処理の概要を説明する図である。すなわち、図２は、図１の画像取得部１１で取得される画像の時系列の例を示している。図２において、時刻t1の画像には、家と、その家の近傍に植えてある木とが映っている。
【００５１】
時刻t1の後の時刻t2の画像には、家、及び、木の他、時刻t2に、家の前に駐車された自動車が映っているとともに、画面上の右から左方向に歩いている歩行者が、画面の右側に映っている。
【００５２】
時刻t2の後の時刻t3の画像には、家、木、及び、自動車と、歩行によって、画面上の左側に移動した歩行者とが映っている。
【００５３】
そして、時刻t3の後の時刻t4では、歩行者は、画面内を通り過ぎており、その結果、時刻t4の画像では、家、木、及び、自動車は映っているが、歩行者は消えている。
【００５４】
この場合、図１の不動体検出装置では、時刻t1の画像を背景（画像）として、時刻t2から駐車した状態のまま動かない、背景とは異なる部分の自動車（の画像）が、不動体として検出される。また、図１の不動体検出装置では、歩行者は、歩行によって移動している動体であり、不動体としては、検出されない。
【００５５】
以上のように、図１の不動体検出装置では、画像において、所定の時間以上変化がない、背景とは異なる部分が、不動体として検出される。
【００５６】
したがって、図１の不動体検出装置では、例えば、図２に示したように、家、及び、木が映っている時刻t1の画像が背景である場合において、自動車が、家の前に駐車され、そのまま置き去りにされたときに、その置き去りにされた自動車が、不動体として検出される他、例えば、家、木、及び、駐車してある自動車が映っている時刻t4の画像が背景である場合において、駐車してある自動車が持ち去られたときに、その持ち去られた自動車（が映っていた部分）が、不動体として検出される。
【００５７】
［背景生成部２１］
図３Ａは、背景生成部２１により生成される背景モデルの一例を示す図である。図３Ａに示した背景モデルにおいて、横軸は輝度値を表し、縦軸は重み（出現頻度）を表す。図３Ａに示した背景モデルは、３項分布で背景をモデリングした例である。ここでは、３項分布を例にあげて説明するが、３項に限らず、多項であっても良い。また、３項分布とは、図３Ａに示したように、分布の山が３個できる分布であり、ここでは、図中左側から順に、１項目、２項目、３項目と適宜記載する。
【００５８】
図３Ａに示した背景モデルは、所定の画素の時間方向に対して作成される。図３Ｂに示すように、各分布は、平均輝度値、重み、範囲の３つの指標を含む。１つの分布の横幅は、平均輝度値を中央とした所定の範囲を示す。この範囲内に含まれる輝度値が現れた頻度が、１つの分布の高さとして表される。この平均輝度値を中心とする範囲は、固定値として説明を続けるが、また、各分布で同一の範囲が用いられるとして説明を続けるが、可変値が用いられたり、各分布で異なる範囲が用いられたりするようにしても良い。
【００５９】
また、各項に分散など、いわゆる混合正規分布を利用した背景作成手法で知られるものに必要なパラメータを持ち合わせるように構成することも可能であり、同じ分布とみなす範囲をそれに応じ変化するパラメータとしても良い。
【００６０】
背景モデルの生成について説明する。まず画像取得部１１により、カメラなどの撮影装置により撮影された映像や、他の再生デバイスからの入力信号などの映像が取得される。取得された映像には、必要に応じて画像のノイズ除去や高解像化処理などの信号処理が施され、背景生成部２１に供給される。
【００６１】
背景生成部２１は、供給される時系列の映像信号を解析することで背景のモデリングを行う。この背景の推定の際に画素毎に、図３に示した多項分布の背景モデルが作成される。画素毎に生成されるため、例えば、１００フレームが処理された時点では１００個の画素の輝度値から生成された背景モデルとなる。また、１フレームが１００画素から構成されている場合、図３に示したような背景モデルが、画素毎に１００個生成されることになる。
【００６２】
図４のフローチャートを参照し、背景生成部２１が行う背景モデルの生成について説明する。ステップＳ１において現フレームの輝度値(処理対象とされた所定の座標の画素の輝度値)が所属する分布が探される。まず各分布における平均輝度値と現フレームの輝度値が一番近い分布が求められ、その一番近い分布の範囲内に現フレームの輝度値が含まれるか否かが判断され、含まれる場合、その分布が所属する分布とされる。このような探索の結果、現フレームの輝度値が所属する分布が発見されたか否かが、ステップＳ２において判断される。
【００６３】
既に、何フレームかが処理され、図３Ａに示す背景モデルがあるとする。現在の輝度値が、図５Ａの示すように、所定の分布内に属する輝度値である場合と、図５Ｂに示すように所定の分布外に属する輝度値である場合とが考えられる。図５Ａに示したように、現在の輝度値が所定の分布内に属する輝度値である場合、ステップＳ２において、所属する分布が発見されたと判断され、ステップＳ３に処理が進められる。
【００６４】
ステップＳ３において、現在の輝度値が所属すると探し出された分布が更新される。図６を参照し、更新について説明する。図６Ａは、図５Ａと同じ背景モデルであり、２項目の分布に現在の輝度値が含まれると探し出されたときを示す。この場合、２項目の分布の輝度平均値と重み（頻度）が更新される。図６Ｂは、更新後の背景モデルを示す。図６Ｂに示したように、更新後の２項目の分布の度数は、図６Ａに示した更新前の２項目の分布の度数と比較し、度数が増えていることがわかる。また、現在の輝度値は、図６Ａに示した更新前の２項目の分布の右端に位置していたが、図６Ｂに示した更新後の２項目の分布の略中央（略平均輝度値）に位置している。
【００６５】
平均輝度値の更新は、次式（３）に基づいて行われる。すなわち、現画像である時刻tの画像の位置Xの画素（以下、画素Xとも記載する）の画素値を、It(X)と、背景生成部２１において1時刻前の時刻t-1に生成された背景の画素Xの画素値を、Bt-1(X)と、背景生成部２１において時刻tに生成される背景の画素Xの画素値を、Bt(X)と、それぞれ表すこととすると、背景生成部２１は、例えば、式（３）に従い、時刻tの背景の画素Xの画素値Bt(X)を求める。
【００６６】
Bt(X)＝（1−α）Bt-1(X)＋αIt(X)
・・・（３）
【００６７】
ここで、式（３）において、係数αは、式0＜α＜1.0で表される範囲の値である。
【００６８】
式（３）によれば、背景生成部２１では、（ほぼ）等価的に、過去のある時刻t-ΔT+1から、現在の時刻tまでの時間ΔT分の画像の重み付け加算によって背景が求められ、画素毎に、図６に示したような背景モデルが生成される。
【００６９】
式（３）に従って求められる背景は、係数αを小さくすると、長い周期で更新される背景となる。すなわち、式（３）の係数αを小さい値にした場合には、画像に変化があっても、その変化後の状態が長時間続かないと、背景に反映されない。
【００７０】
また、式（３）に従って求められる背景は、係数αを大きくすると、短い周期で更新される背景となる。すなわち、式（３）の係数αを大きい値にした場合には、画像に変化があると、その変化後の状態が短時間続けば、背景に反映される。
【００７１】
いま、少なくとも、時間mだけ動かなかった物体を、不動体として検出する場合の、その時間mを、不動体認知時間mということとすると、背景生成部２１において生成する背景を更新する周期は、不動体認知時間mよりも長い時間である、例えば、不動体認知時間mの5倍程度とすることが望ましい。
【００７２】
すなわち、係数αは、画像に変化があっても、その変化後の状態が、不動体認知時間mの5倍程度だけ続くと、背景に反映されるような値に設定される。
【００７３】
ここで、不動体認知時間mは、例えば、ユーザが、図１の不動体検出装置を操作することにより設定することができ、背景生成部２１は、不動体認知時間mに応じて、係数αを設定する。
【００７４】
なお、背景生成部２１において、背景を生成する方法は、式（３）を用いる方法に限定されるものではない。すなわち、背景生成部２１では、例えば、Gausian Mixture Model（重み付き混合正規分布）を用いて、背景を作成する方法等を採用することができる。
【００７５】
このような式（３）に基づいて平均輝度値が更新される。
【００７６】
度数（頻度）の更新は、次式（４）に基づいて行われる。更新前の頻度をWs（t,X）とし、更新後の頻度をWs（t+1,X）とすると、頻度は次式（４）で求められる。
Ws（t+1,X）＝Ws(t,X)＋(N−1) ・・・（４）
式（４）において、Ｎは項数を表す。ここでは、３項分布を例にあげて説明しているため、Ｎ＝３となる。
【００７７】
なおここでは、式（４）に基づいて頻度が算出されるとして説明を続けるが、（Ｎ−１）の部分は、この場合、２（＝３−１）と固定値となり、この固定値は、“２”以外の数値であっても良い。例えば、“１”でも良い。
【００７８】
ステップＳ３において、分布の更新が行われた場合、その更新回数も、記憶される。この更新回数は、処理されたフレーム数の累計となる。
【００７９】
このように、処理対象とされている現フレーム内の画素の輝度値が、既に作成されている背景モデルの分布内に所属する場合、所属すると判断された分布の頻度と平均輝度値が更新される。一方で、ステップＳ２において、処理対象とされている現フレーム内の画素の輝度値が所属する分布は発見されなかったと判断された場合、ステップＳ４に処理は進められる。
【００８０】
ステップＳ４において、不必要な分布が削除され、新しい分布が作成される。このステップＳ４における処理について、図７を参照して説明する。図７Ａは、図５Ａと同じ背景モデルであり、２項目の分布と３項目の分布の間に現在の輝度値が含まれると探し出されたときを示す。このように、現在の輝度値が所属する分布が背景モデルにない場合、その時点での背景モデルの中で、一番重み（頻度）が低い分布が探し出され、その分布が削除される。
【００８１】
図７Ａに示した例では、３項目の分布の重みが一番低いため、この３項目の分布が削除される。そして、新たに、現在の輝度値を平均輝度値とする分布が作成される。このように、分布の削除と作成が行われた後（更新後）の背景モデルを、図７Ｂに示す。図７Ｂに示したように、３項目の分布が削除され、現在の輝度値を平均輝度値とし、その平均輝度値を中央に所定の範囲を有する分布が３項目の分布として新たに作成される。
【００８２】
この新たに作成される分布の重みは、式（４）における（Ｎ−１）の値と同じ値に設定されている。上記したように、Ｎ＝３のときには、新たに作成される分布の重みは、２とされる。また、（Ｎ−１）が、“１”といった固定値にされている場合、その固定値に設定されている。なお、更新されるときの重みと新たに作成されるときの重みは、同一の値に限定されるわけではなく、異なる値に設定されていても良い。
【００８３】
このように、各画素における背景モデルが生成され、背景(画像)として、処理困難領域判断部２２と信頼度処理部３５に供給される。
【００８４】
［動体検出部３１］
図８は、図１の動体検出部３１の構成例を示すブロック図である。図８において、動体検出部３１は、背景生成部５１、背景差分画像生成部５２、過去画像記憶部５３、過去差分画像生成部５４、連続性カウント画像生成部５５、動体候補領域画像生成部５６、及び、検出部５７を有し、画像取得部１１（図１）からの現画像から、移動している物体や、短い時間だけ静止している物体等の、背景と異なる部分である動体を検出する。
【００８５】
ここで、図８の動体検出部３１は、例えば、特開2006-107457号公報に記載されている方法で、動体を検出する。但し、動体検出部３１において動体を検出する方法は、特に限定されるものではない。
【００８６】
図８において、画像取得部１１からの現画像は、背景生成部５１、背景差分画像生成部５２、過去画像記憶部５３、及び、検出部５７に供給される。
【００８７】
背景生成部５１は、画像取得部１１からの現画像を用いて、例えば、図１の背景生成部２１と同様に、式（３）に従って、背景を生成し、背景差分画像生成部５２に供給する。
【００８８】
なお、背景生成部５１では、動体の誤検出を抑制するために、図１の背景生成部２１で生成される背景よりも短い周期で更新される背景が生成される。すなわち、図１の背景生成部２１で生成される背景の更新の周期が、例えば、１時間であるとすると、背景生成部５１では、例えば、15秒程度の周期で更新される背景が生成される。
【００８９】
したがって、背景生成部５１では、式（３）の係数αとして、図１の背景生成部２１で用いられる値よりも大きな値が設定される。
【００９０】
ここで、背景生成部５１では、現画像に映る動体（の表示）を抑制した、ある程度の時間静止している状態の画像が、背景として生成される。
【００９１】
一方、図１の背景生成部２１では、例えば、3分間等の所定の時間以上変化がない、背景とは異なる不動体を検出するために、不動体であるために変化しないことが要求される最小の時間（上述の3分間等）に比較して、十分長い時間静止している状態の画像が、背景として生成される。
【００９２】
なお、背景生成部５１では、図１の背景生成部２１と同様の周期で更新される背景を生成することができる。この場合、不動体検出装置には、背景生成部２１及び５１のうちのいずれか一方だけを設けるだけでよい。
【００９３】
背景差分画像生成部５２は、画像取得部１１からの現画像と、背景生成部５１からの背景との各画素の画素値の差分絶対値を画素値とする背景差分画像を生成して、検出部５７に供給する。
【００９４】
一方、過去画像記憶部５３は、画像取得部１１から供給される現画像として供給される画像を順次記憶することにより、現在から過去に遡ったN+1時刻分の画像、すなわち、最新の時刻（現在時刻）tの画像である現画像と、時刻t-Nないしt-1の画像である過去画像とを記憶する。
【００９５】
過去画像記憶部５３に記憶された時刻tの画像（現画像）と、時刻t-Nないしt-1の画像（過去画像）とは、過去差分画像生成部５４に供給される。
【００９６】
過去差分画像生成部５４は、現画像と、各時刻t-nの過去画像との各画素の画素値の差分値を画素値とする過去差分画像を生成し（n=1,2,・・・,N）、連続性カウント画像生成部５５に供給する。
【００９７】
連続性カウント画像生成部５５は、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像から求められたN枚の過去差分画像の各画素について、画素値（差分値）の連続性を判断するためのカウントを行い、そのカウント値を画素値とする連続性カウント画像を生成して、動体候補領域画像生成部５６に供給する。
【００９８】
動体候補領域画像生成部５６は、連続性カウント画像生成部５５からの連続性カウント画像（の各画素の画素値）を閾値によって２値化することにより、動体が映っている画素の候補の画素値を1とするとともに、他の画素の画素値を0とした動体候補領域画像を生成し、検出部５７に供給する。
【００９９】
検出部５７は、背景差分画像生成部５２からの背景差分画像と、動体候補領域画像生成部５６からの動体候補領域画像とに基づき、現画像において、動体が映っている領域を検出する。
【０１００】
さらに、検出部５７は、画像取得部１１からの現画像から、動体が映っている領域を囲む最小の矩形の外接領域の画像を、動体領域としてコピーし、図１の一時停止判定部３２、及び、一時停止画像処理部３３に供給する。
【０１０１】
図９は、図８の動体検出部３１において動体を検出する原理を説明する図である。すなわち、図９Ａ、図９Ｂ、及び、図９Ｃは、現画像と、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像との各画素の画素値の差分値を画素値とするN枚の過去差分画像のある画素Xの画素値（現在画像と過去画像との画素値の差分値）の例を示している。
【０１０２】
なお、図９Ａ、図９Ｂ、及び、図９Ｃにおいて、横軸は、過去差分画像を求めるのに用いた過去画像の時刻を表し、縦軸は、過去差分画像の画素Xの画素値（現在画像と過去画像との画素値の差分値）を表している。
【０１０３】
時刻t-Nないしtの各画像の画素Xに、移動する物体が映っていない場合、N枚の過去差分画像の画素Xの画素値（差分値）としては、図９Ａに示すように、比較的小さな値が継続する。
【０１０４】
一方、時刻t-Nないしtの中のある時刻t'に、画素Xに、移動する物体が映り始め、現画像でも、画素Xに、その物体が映っている場合、図９Ｂに示すように、時刻t'より前の時刻の過去差分画像の画素Xの画素値（差分値）としては、比較的大きな値が継続し、時刻t'以後の時刻の過去差分画像の画素Xの画素値（差分値）は、比較的小さな値になる。
【０１０５】
また、時刻t-Nないしtの画像の画素Xに、木の葉や波が映っており、その木の葉や波が揺らいでいる場合、図９Ｃに示すように、N枚の過去差分画像の画素Xの画素値（差分値）は、大きな値や小さな値に変動する。
【０１０６】
したがって、N枚の過去差分画像の画素Xの画素値（差分値）を、閾値によって２値化し、閾値を超える画素値が、ある程度の時間連続する画素を、動体が映っている画素として検出することにより、木の葉や波の揺らぎ、日差しの急激な変化による輝度の変化等の外乱を、誤って、動体として検出（誤検出）することを防止することができる。
【０１０７】
そこで、図８の動体検出部３１では、連続性カウント画像生成部５５において、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像から求められたN枚の過去差分画像の各画素について、画素値が連続して閾値を超える回数（過去差分画像の枚数）をカウントし、そのカウント値を画素値とする連続性カウント画像を生成して、動体候補領域画像生成部５６に供給する。
【０１０８】
ここで、動体候補領域画像生成部５６は、図８で説明したように、連続性カウント画像生成部５５からの連続性カウント画像の各画素の画素値を閾値によって２値化した動体候補領域画像を生成する。
【０１０９】
画素Xに動体が映っている場合には、N枚の過去差分画像の画素Xの画素値（差分値）として、比較的大きな値が継続（連続）し、連続性カウント画像の画素Xの画素値が、閾値を超えるので、画素値が閾値を超える連続性カウント画像の画素、すなわち、画素値が1になっている動体候補領域画像の画素を検出することにより、動体（が映っている画素）を検出することができる。
【０１１０】
ところで、物体が、位置Xから位置Yに移動した場合には、連続性カウント画像の画素X及びYのいずれの画素値も、閾値を超える。したがって、画素値が1になっている動体候補領域画像の画素を、動体として検出する場合には、画素X及びYの両方が、動体として検出される。
【０１１１】
しかしながら、物体が、位置Xから位置Yに移動した場合には、現画像において、画素Yには、移動後の物体が映っているが、画素Xについては、物体は移動してしまっており、映っていない。
【０１１２】
したがって、物体が、位置Xから位置Yに移動した場合には、現画像からの動体の検出にあたっては、画素X及びYの両方を、動体として検出するのではなく、現画像において移動後の物体が映っている画素Yを、動体として検出し、現画像において移動後の物体が映っていない画素Xは、動体として検出すべきでない。
【０１１３】
そこで、図８の動体検出部３１では、画素値が1になっている動体候補領域画像の画素のうちの、現画像に、移動後の物体が映っている画素だけを、動体として検出する（移動前の物体が映っていた画素は、動体として検出しない）。
【０１１４】
すなわち、図８の動体検出部３１では、上述したように、背景差分画像生成部５２において、画像取得部１１からの現画像と、背景生成部５１からの背景との各画素の画素値の差分絶対値を画素値とする背景差分画像を生成して、検出部５７に供給する。
【０１１５】
背景差分画像の画素値（差分絶対値）は、現画像と背景とに違いがある画素ほど、大きな値になるので、すなわち、例えば、背景には映っていないが現画像には映っている物体の画素ほど、大きな値になるので、背景差分画像（の各画素の画素値）を閾値によって２値化することにより、背景には映っていないが現画像には映っている物体の画素の画素値が1で、他の画素の画素値が0の画像（以下、２値化背景差分画像ともいう）を得ることができる。
【０１１６】
２値化背景差分画像において、背景には映っていないが現画像には映っている物体の画素の画素値は1になっているので、２値化背景差分画像において、画素値が1になっており、動体候補領域画像でも、画素値が1になっている画素を検出することにより、現画像に、移動後の物体が映っている画素だけを、動体として検出することができる。
【０１１７】
検出部５７は、以上のように、背景差分画像生成部５２からの背景差分画像（から得られる２値化背景差分画像）と、動体候補領域画像生成部５６からの動体候補領域画像とに基づき、現画像に、移動後の物体が映っている画素だけを、動体として検出する。
【０１１８】
以上のような動体検出部３１では、背景になかった物体が現れた場合（例えば、物体が置き去りにされた場合）、現画像において、その物体が映っている部分が、動体として検出されるが、背景に存在していた物体が消えた場合（例えば、物体が持ち去られた場合）、現画像において、背景に存在していた物体が映っていた部分が、動体として検出される。
【０１１９】
［一時停止判定部３２］
図１０は、図１の一時停止判定部３２の処理を説明する図である。一時停止判定部３２は、動体検出部３１からの（動体領域に含まれる）動体が、所定の一定時間以上停止する一時停止をしているかどうかを判定する。
【０１２０】
動体が一時停止しているかどうかの判定では、動体が停止している停止状態にあるかどうかの停止状態判定と、停止状態が、所定の一定時間（上述の不動体認知時間mと同程度か、又は、多少短い時間）以上継続したかどうかを判定する継続判定とが行われる。
【０１２１】
すなわち、一時停止判定部３２は、動体検出部３１で検出される動体のトラッキングにより、時刻tの画像（現画像）から検出された動体と、その動体と同一の動体であるであるとして、1時刻前の時刻t-1の画像から検出された動体とを用いて、停止状態判定を行う。
【０１２２】
停止状態判定では、現画像から検出された動体と、例えば、時刻t-1等の前の時刻（過去の時刻）の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満であるかどうかが判定される。
【０１２３】
ここで、位置ずれ量としては、例えば、現画像から検出された動体の矩形の動体領域の中心（重心）の座標（位置）を、(cx,cy)と表すとともに、時刻t-1の画像から検出された動体の矩形の動体領域の中心の座標を、(cx_p,cy_p)と表すこととすると、位置ずれ量は、例えば、式|cx-cx_p|＋|cy-cy_p|で表すことができる。
【０１２４】
この場合、停止状態判定では、式|cx-cx_p|＋|cy-cy_p|＜TH1を満たすかどうかが判定される。
【０１２５】
現画像から検出された動体と、時刻t-1の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満である場合には、連続して停止状態にあることをカウントする変数snumが、1だけインクリメントされる。
【０１２６】
また、現画像から検出された動体と、時刻t-1の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満でない場合には、変数snumが、0にリセットされる。
【０１２７】
そして、継続判定では、変数snumが、所定の一定時間に相当する時間の閾値TH2より大（以上）であるかどうかが判定される。
【０１２８】
変数snumが閾値TH2より大である場合、現画像から検出された動体は、一時停止している（一時停止状態である）と判定され、変数snumが閾値TH2より大でない場合、現画像から検出された動体は、一時停止していない（一時停止状態でない）と判定される。
【０１２９】
以上のように、一時停止判定部３２では、現画像から検出された動体と、現画像の1時刻前の画像から検出された動体との位置ずれ量が閾値TH1以内であることが、時間の閾値TH2以上だけ連続した場合に、現画像から検出された動体が、所定の一定時間以上停止している一時停止状態であると判定される。
【０１３０】
一時停止判定部３２は、現画像から検出された動体が、所定の一定時間以上停止している一時停止状態であると判定すると、その動体に、一時停止状態であることを表す値である1をセットした一時停止フラグisPauseを割り当てる。
【０１３１】
そして、一時停止判定部３２は、1がセットされた一時停止フラグisPauseが割り当てられている動体を、一時停止しているオブジェクトである一時停止オブジェクトとして、一時停止画像処理部３３に供給する。
【０１３２】
一時停止画像処理部３３は、一時停止判定部３２から供給される一時停止オブジェクトを、記憶部３４に記憶されている一時停止画像に、上書きする形で登録する（記憶させる）。
【０１３３】
なお、人（人間）については、一時停止オブジェクト、ひいては、不動体として検出する対象から除外したい場合がある。本件発明者の経験上、人については、比較的、短時間に、輝度が変化するので、現画像から検知される動体が、比較的、短時間に、輝度が変化する動体である場合には、一時停止判定部３２において、一時停止していると判定されても、一時停止オブジェクトとしない（記憶部３４に登録しない）ことにより、人が、不動体として検出されることを防止することができる。
【０１３４】
［信頼度処理部３５］
図１１は、図１の信頼度処理部３５の処理を説明する図である。信頼度処理部３５は、図１で説明したように、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用いて、現画像の各画素について、不動体信頼度を求め、記憶部３６に登録する（記憶させる）。
【０１３５】
ここで、図１１に示すように、現画像に、家と木、自動車、及び、歩行者が映っているとする。また、図１１においては、現画像に映る家と木が、背景であり、自動車が、不動体であり、歩行者が、動体としての動いている物体であるとする。この場合、記憶部３４には、図１１に示すように、不動体である自動車が一時停止オブジェクトとして映る一時停止画像が記憶される。
【０１３６】
いま、現画像の、不動体である自動車が映るある画素（以下、不動体画素ともいう）Xに注目すると、現画像の不動体画素（位置Xの画素）Xの画素値Iと、一時停止画像の不動体画素（位置Xの画素）Xの画素値Pとは、同様の値（一致、又は、ほぼ一致する値）になる。
【０１３７】
また、一時停止画像の不動体画素Xの画素値Pと、背景の不動体画素（位置Xの画素）Xの画素値Bとは、同様の値にはならない。
【０１３８】
さらに、現画像の不動体画素Xの画素値Iと、背景の不動体画素Xの画素値Bとは、やはり、同様の値にならない。
【０１３９】
一方、現画像の、背景である、例えば、家が映る画素（以下、背景画素ともいう）X'に注目すると、現画像の背景画素X'の画素値Iと、一時停止画像の背景画素X'の画素値Pとは、同様の値にはならない。
【０１４０】
さらに、一時停止画像の背景画素X'の画素値Pと、背景の背景画素X'の画素値Bとは、やはり、同様の値にはならない。但し、現画像の背景画素X'の画素値Iと、背景の背景画素X'の画素値Bとは、同様の値になる。
【０１４１】
一方、現画像の、動体である、歩行者が映る画素（以下、動体画素ともいう）X''に注目すると、現画像の動体画素X''の画素値Iと、一時停止画像の動体画素X''の画素値Pとは、同様の値にはならない。
【０１４２】
さらに、一時停止画像の動体画素X''の画素値Pと、背景の動体画素X''の画素値Bとは、やはり、同様の値にはならず、現画像の動体画素X''の画素値Iと、背景の動体画素X''の画素値Bとも、同様の値にはならない。
【０１４３】
これは、現画像において、図１１に示すように、動体画素が、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている画素であっても、同様である。
【０１４４】
以上のように、現画像の位置Xの画素が、不動体画素、背景画素、及び、動体画素のうちのいずれであるかによって、現画像、一時停止画像、及び、背景それぞれの位置Xの画素の画素値どうしの大小関係が異なるので、その大小関係に基づいて、現画像の位置Xの画素が、不動体画素であることの確からしさである不動体信頼度を見積もることができる。
【０１４５】
そこで、信頼度処理部３５は、現画像の各画素（各位置Xの画素）Xについて、現画像、背景、及び、一時停止画像の画素Xの画素値どうしの大小関係に基づいて、不動体信頼度を求める。
【０１４６】
すなわち、信頼度処理部３５は、例えば、図１の不動体検出装置の電源がオンにされたときに、記憶部３６に記憶された信頼度画像（不動体信頼度を画素値とする画像）の各画素値を、例えば0にリセットする。
【０１４７】
そして、信頼度処理部３５は、記憶部３４に、一時停止オブジェクトが、新たに登録（記憶）されると、すなわち、現画像から、新たな一時停止オブジェクトが得られると、記憶部３６に記憶された信頼度画像のうちの、新たな一時停止オブジェクトを構成する各画素について、不動体信頼度の初期値C0を設定する（記憶部３６に記憶させる（登録する））。
【０１４８】
さらに、信頼度処理部３５は、新たな現画像が得られるごとに（フレームごとに）、現画像の各画素の不動体画素らしさを判定し、その判定結果に基づいて、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を更新する。
【０１４９】
図１２は、信頼度処理部３５による不動体信頼度の更新の概要を説明する図である。いま、現画像の位置Xの画素の画素値を、I(X)と、一時停止画像の位置Xの画素の画素値を、P(X)と、背景の位置Xの画素の画素値を、B(X)と表すこととする。
【０１５０】
図１１で説明したように、現画像の位置Xの画素が、不動体画素である場合には、画素値I(X)と画素値P(X)とは、同様の値になり、画素値P(X)と画素値B(X)とは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値にならない。
【０１５１】
また、現画像の位置Xの画素が、背景画素である場合には、画素値I(X)と画素値P(X)とは、同様の値にはならず、画素値P(X)と画素値B(X)とは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値になる。
【０１５２】
さらに、現画像の位置Xの画素値が、動体画素である場合には、画素値I(X)と画素値P(X)とは、同様の値にはならず、画素値P(X)と画素値Bとは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値にはならない。
【０１５３】
そこで、信頼度処理部３５は、図１２Ａに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th以上である場合には、現画像の画素（位置Xの画素）Xは、不動体画素である可能性が高いので、その画素Xについての不動体信頼度C(X)の更新量ΔC(X)を、例えば、+1に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋ΔC(X)に従って更新する（不動体信頼度C(X)をインクリメントする）。
【０１５４】
さらに、信頼度処理部３５は、図１２Ｂに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満であるか、又は、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th未満であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合には、現画像の画素Xは、背景画素である可能性が高いので、その画素Xについての不動体信頼度C(X)の更新量ΔC(X)を、例えば、-1に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋ΔC(X)に従って更新する（不動体信頼度C(X)をデクリメントする）。
【０１５５】
ここで、本実施の形態では、記憶部３４に記憶される一時停止オブジェクトは、矩形の形状をしているため、一時停止オブジェクトの一部には、背景が含まれることがある。一時停止オブジェクトに背景が含まれる場合に、その背景が映っている位置Xの画素については、画素値I(X)，P(X)、及び、B(X)は、同様の値になるため、信頼度処理部３５は、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合だけでなく、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th未満であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合、つまり、画素値I(X)，P(X)、及び、B(X)が、同様の値である場合にも、現画像の画素Xが、背景画素である可能性が高いとして、不動体信頼度C(X)をデクリメントする。
【０１５６】
また、信頼度処理部３５は、図１２Ｃに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th以上である場合、つまり、画素値I(X)，P(X)、及び、B(X)それぞれが、比較的異なる値である場合には、現画像の画素Xが、不動体画素でも、背景画素でもない可能性が高いとして、すなわち、例えば、動体画素である可能性が高いとして、その画素Xについての不動体信頼度C(X)の更新量ΔC(X)を、例えば、0に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋ΔC(X)に従って更新する（不動体信頼度C(X)をそのまま維持する）。
【０１５７】
ここで、現画像の画素Xが、動体画素である可能性が高いのにもかかわらず、その画素Xについての不動体信頼度C(X)をデクリメントしないのは、図１１に示したように、現画像において、画素X(X'')が、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であることがあるからである。
【０１５８】
すなわち、画素Xが、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であるときには、その後、動体である歩行者が、不動体である自動車の前を通り過ぎると、画素Xは、不動体である自動車が映っている不動体画素となる。
【０１５９】
したがって、ある時刻の画像において、画素Xが、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であっても、画素Xは、その後の時刻の画像において、不動体画素となることがあるので、そのようなケースにおいて、画素Xについての不動体信頼度C(X)をデクリメントすると、不動体画素が不動体として検出されなくなるおそれがあり、これを防止するためである。
【０１６０】
図１３は、信頼度処理部３５による不動体信頼度の更新の詳細を説明する図である。信頼度処理部３５は、式|I(X)-P(X)|＜th、式|P(X)-B(X)|＜th、及び、式|I(X)-B(X)|＜thのそれぞれが満たされる(Yes)か、満たされない(No)かを判定し、その判定結果に基づいて、図１３に示すように、不動体信頼度C(X)を、インクリメント（増加）させるか、デクリメント（減少）させるか、又は、そのまま維持する（増減しない）。
【０１６１】
すなわち、いま、式|I(X)-P(X)|＜thが、満たされる場合と満たされない場合とを、それぞれ、[Yes,,]と[No,,]と表すこととする。同様に、式|P(X)-B(X)|＜thが、満たされる場合と満たされない場合とを、それぞれ、[,Yes,]と[,No,]と表すとともに、式|I(X)-B(X)|が、満たされる場合と満たされない場合とを、それぞれ、[,,Yes]と[,,No]と表すこととする。
【０１６２】
この場合、例えば、[Yes,Yes,Yes]は、式|I(X)-P(X)|＜th、式|P(X)-B(X)|＜th、及び、式|I(X)-B(X)|＜thのすべてが満たされることを表す。
【０１６３】
信頼度処理部３５は、[Yes,Yes,Yes]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、[Yes,No,No]の場合、不動体信頼度C(X)を、例えば、1だけインクリメントし、[No,No,Yes]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、[No,No,No]の場合、不動体信頼度C(X)を、そのまま維持し、[No,Yes,No]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、その他の場合(Other)、不動体信頼度C(X)を、例えば、1だけデクリメントする。
【０１６４】
なお、不動体信頼度C(X)を更新する更新量（インクリメント、及び、デクリメントする量）は、1に限定されるものではない。すなわち、信頼度処理部３５では、[Yes,Yes,Yes]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、[Yes,No,No]の場合、不動体信頼度C(X)を、例えば、1だけインクリメントし、[No,No,Yes]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、[No,No,No]の場合、不動体信頼度C(X)を、そのまま維持し、[No,Yes,No]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、その他の場合(Other)、不動体信頼度C(X)を、例えば、1だけデクリメントすることができる。
【０１６５】
また、以上においては、現画像の画素値I(X)、一時停止画像の画素値P(X)、及び、背景の画素値B(X)の３つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新することとしたが、不動体信頼度C(X)は、その他、例えば、現画像の画素値I(X)、及び、一時停止画像の画素値P(X)の２つの画素値の大小関係に基づいて更新することができる。
【０１６６】
すなわち、例えば、式|I(X)-P(X)|＜thが満たされる場合には、画素Xが不動体画素であるとして、不動体信頼度C(X)をインクリメントし、式|I(X)-P(X)|＜thが満たされない場合には、画素Xが不動体画素でないとして、不動体信頼度C(X)をデクリメントすることができる。
【０１６７】
現画像の画素値I(X)、及び、一時停止画像の画素値P(X)の２つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新する場合には、現画像の画素値I(X)、一時停止画像の画素値P(X)、及び、背景の画素値B(X)の３つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新する場合に比較して、不動体を検出する精度が劣化するが、不動体検出装置を、背景生成部２１を設けずに（小型に）構成することができる。
【０１６８】
図１４は、信頼度処理部３５により更新される不動体信頼度C(X)の変化を示す図である。図１４Ａは、画素Xが、不動体画素である場合の、その画素Xについての不動体信頼度C(X)の変化を示している。
【０１６９】
画素Xが、不動体画素である場合において、一時停止判定部３２において、画素Xが一時停止していると判定されると、その画素X（の画素値）が、一時停止オブジェクトとして、記憶部３４に記憶される。
【０１７０】
画素Xが、一時停止オブジェクトとして、記憶部３４に記憶されると、信頼度処理部３５は、その画素Xについての不動体信頼度C(X)として、記憶部３６に、初期値C0を設定する（記憶させる）。画素Xが、不動体画素である場合には、その画素Xについての不動体信頼度C(X)が、時間の経過とともに増加していく（インクリメントされる）。
【０１７１】
したがって、画素Xが、不動体画素である場合には、その画素Xについての不動体信頼度C(X)は、初期値C0が設定されてから、ある程度の時間が経過すると、不動体検出部３７（図１）で行われる２値化に用いられる閾値th_conf以上の値となり、その結果、不動体検出部３７において、画素Xは、不動体として検出される。
【０１７２】
図１４Ｂは、画素Xが、揺らいでる木の葉等が映っている外乱がある画素である場合の、その画素Xについての不動体信頼度C(X)の変化を示している。
【０１７３】
一時停止判定部３２では、揺らいでる木の葉等が映っている外乱がある画素Xが、外乱の影響により、誤って、一時停止していると判定されることがあり、この場合、画素X（の画素値）は、一時停止オブジェクトとして、記憶部３４に記憶される。
【０１７４】
そして、画素Xが、一時停止オブジェクトとして、記憶部３４に記憶されると、信頼度処理部３５は、その画素Xについての不動体信頼度C(X)として、記憶部３６に、初期値C0を設定する。
【０１７５】
以上のように、画素Xについての不動体信頼度C(X)に、初期値C0が設定されても、画素Xが、揺らいでる木の葉等が映っている外乱がある画素である場合には、その画素Xについての不動体信頼度C(X)の更新では、不動体信頼度C(X)のインクリメントや、デクリメント、値の維持が、いわばランダムに行われる。
【０１７６】
したがって、画素Xについての不動体信頼度C(X)は、時間が経過しても、初期値C0からそれほど変化せず、閾値th_conf以上の値にはならない。
【０１７７】
その結果、不動体検出部３７において、画素Xは、不動体として検出されないので、外乱がある画素が不動体として誤検出されることを抑制することができる。
【０１７８】
図１５は、図１の信頼度処理部３５による不動体信頼度C(X)の初期値C0の設定を説明する図である。信頼度処理部３５は、記憶部３４に、一時停止オブジェクトが、新たに登録（記憶）されると、すなわち、現画像から、新たな一時停止オブジェクトが得られると、その一時停止オブジェクトを構成する各画素について、不動体信頼度C(X)の初期値C0を設定する。
【０１７９】
すなわち、信頼度処理部３５は、記憶部３６に記憶されている、不動体信頼度C(X)を画素値とする信頼度画像の画素のうちの、一時停止オブジェクトの画素（と同一位置にある画素）の画素値として、初期値C0を記憶させる（登録する）。この場合、記憶部３６に記憶されている信頼度画像の画素値は、初期値C0によって上書きされる。
【０１８０】
ところで、既に、一時停止オブジェクトAが得られており、その一時停止オブジェクトAについて、信頼度画像の、一時停止オブジェクトAの領域内の画素に、画素値としての不動体信頼度が記憶されている場合において、一時停止オブジェクトAに、少なくとも一部が重なるような一時停止オブジェクトBが、新たに得られたとする。
【０１８１】
この場合、新たな一時停止オブジェクトBについて、信頼度画像の、一時停止オブジェクトBの領域（図１５において、太線で囲む領域）内の画素に、画素値としての不動体信頼度の初期値C0を、何らの制限もなしに記憶させると、既に、初期値C0よりも大きな値になっている、一時停止オブジェクトAについての不動体信頼度が、初期値C0に上書きされることがある。
【０１８２】
既に、初期値C0よりも大きな値になっている、一時停止オブジェクトAについての不動体信頼度が、初期値C0に上書きされた場合、例えば、その上書き前の不動体信頼度が、既に、閾値th_conf以上になっているときには、それまで不動体として検出されていた、一時停止オブジェクトAの一部が、突然、不動体として検出されなくなる不都合が生じる。
【０１８３】
そこで、信頼度処理部３５は、記憶部３６に記憶されている信頼度画像の画素値に、初期値C0を記憶させる場合に、その画素の画素値が、既に、初期値C0以上になっているときには、その初期値C0以上の画素値の画素の画素値を、そのまま維持し、初期値C0を記憶させない（上書きを制限する）。
【０１８４】
すなわち、信頼度処理部３５は、一時停止オブジェクトが新たに得られた場合に、信頼度画像の、新たな一時停止オブジェクトの領域内の画素のうちの、画素値が初期値C0未満の画素にだけ、初期値C0を記憶させる（設定する）。
【０１８５】
これにより、信頼度画像において、既に、初期値C0よりも大きな値になっている画素値が、初期値C0に上書きされ、不動体が検出されなくなることを防止することができる。
【０１８６】
［不動体検出装置の処理］
図１６は、図１の不動体検出装置の処理（不動体検出処理）を説明するフローチャートである。
【０１８７】
画像取得部１１は、最新の画像を取得し、現画像として、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に供給する。
【０１８８】
背景生成部２１は、画像取得部１１から現画像が供給されると、ステップＳ１１において、その現画像を用い、式（３）に従って、背景を生成（更新）し、信頼度処理部３５に供給して、処理は、ステップＳ１２に進む。
【０１８９】
ステップＳ１２では、動体検出部３１が、画像取得部１１からの現画像から、動体を検出する動体検出処理を行い、処理は、ステップＳ１３に進む。
【０１９０】
ステップＳ１３では、動体検出部３１は、直前のステップＳ１２の動体検出処理で、動体が検出されたかどうかを判定する。
【０１９１】
ステップＳ１３において、動体が検出されていないと判定された場合、処理は、ステップＳ１４ないしＳ１６をスキップして、ステップＳ１７に進む。
【０１９２】
また、ステップＳ１３において、動体が検出されたと判定された場合、動体検出部３１は、現画像から検出した動体（の動体領域）を、一時停止判定部３２、及び、一時停止画像処理部３３に供給して、処理は、ステップＳ１４に進む。
【０１９３】
ステップＳ１４では、一時停止判定部３２は、動体検出部３１からの動体が一時停止しているかどうかを判定する。
【０１９４】
ステップＳ１４において、動体が一時停止していないと判定された場合、処理は、ステップＳ１５及びＳ１６をスキップして、ステップＳ１７に進む。
【０１９５】
また、ステップＳ１４において、動体が一時停止していると判定された場合、一時停止判定部３２は、その一時停止している動体を、一時停止オブジェクトとして、一時停止画像処理部３３に供給し、処理は、ステップＳ１５に進む。
【０１９６】
ステップＳ１５では、一時停止処理部３３は、一時停止判定部３２からの一時停止オブジェクトを、記憶部３４に登録し、すなわち、記憶部３４に記憶された一時停止画像の、一時停止オブジェクトに対応する領域に、その一時停止オブジェクトを記憶させ、処理は、ステップＳ１６に進む。
【０１９７】
ステップＳ１６では、信頼度処理部３５は、直前のステップＳ１５で記憶部３４に記憶された一時停止オブジェクトについて、記憶部３６に記憶された信頼度画像の、一時停止オブジェクトに対応する領域の画素に、不動体信頼度の初期値C0を記憶させ（設定し）、処理は、ステップＳ１７に進む。
【０１９８】
ステップＳ１７では、一時停止画像処理部３３は、画像取得部１１からの現画像と、動体検出部３１からの動体とを用い、式（１）及び式（２）に従って、記憶部３４に記憶された一時停止画像（に映る一時停止オブジェクト）を更新し、処理は、ステップＳ１８に進む。
【０１９９】
ステップＳ１８では、信頼度処理部３５は、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用い、図１１ないし図１４で説明したように、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を更新し、処理は、ステップＳ１９に進む。
【０２００】
ステップＳ１９では、不動体検出部３７は、記憶部３６に記憶された信頼度画像に基づいて、現画像から、不動体を検出する検出処理を行って、処理は、ステップＳ２０に進む。
【０２０１】
すなわち、検出処理では、不動体検出部３７は、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を、閾値th_confによって２値化し、２値化信頼度画像を求める。
【０２０２】
さらに、不動体検出部３７は、２値化信頼度画像について、画素値が1の画素（不動体信頼度が閾値th_conf以上の画素）と、その画素に隣接する８近傍の画素のうちの、画素値が1の画素とに、同一のラベルを付すラベリングを行うことにより、画素値が1の画素で構成される領域に外接する最小の矩形の領域を、不動体の領域（不動体領域）として検出する。
【０２０３】
ステップＳ２０では、不動体検出部３７は、直前のステップＳ１９での検出処理で、不動体が検出されたかどうかを判定する。
【０２０４】
ステップＳ２０において、不動体が検出されていないと判定された場合、処理は、ステップＳ２１をスキップして、ステップＳ２２に進む。
【０２０５】
また、ステップＳ２０において、不動体が検出されたと判定された場合、不動体検出部３７は、不動体（不動体領域）のサイズ、及び、中心の座標等を求め、不動体情報として、不動体提示部３８に供給して、処理は、ステップＳ２１に進む。
【０２０６】
ステップＳ２１では、不動体提示部３８は、不動体検出部３７からの不動体情報に基づき、画像取得部１１からの現画像を必要に応じて用いて、不動体（が検出された旨）を提示し、処理は、ステップＳ２２に進む。
【０２０７】
ステップＳ２２では、一時停止画像処理部３３は、記憶部３６に記憶された信頼度画像を参照し、その画素値である不動体信頼度が、初期値C0より小さい、例えば、0になっている、記憶部３４に記憶された一時停止オブジェクトを削除する。
【０２０８】
すなわち、一時停止画像処理部３３は、記憶部３４に記憶された一時停止オブジェクトの画素のうちの、不動体信頼度が0になっている画素の画素値を、例えば、0等にする。
【０２０９】
その後、画像取得部１１から、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に、新たな現画像が供給されるのを待って、処理は、ステップＳ２２からステップＳ１１に戻り、以下、同様の処理が繰り返される。
【０２１０】
以上のように、図１の不動体検出装置では、動体が一時停止しているかどうかを判定し、一時停止している動体である一時停止オブジェクトが映る一時停止画像と、現画像とを、少なくとも用いて、不動体信頼度を更新（生成）し、その不動体信頼度に基づいて、不動体を検出するので、誤検出を抑制した、頑強な不動体検出を行うことができる。
【０２１１】
［誤検出を防ぐ処理について］
以上のように、図１の不動体検出装置では、誤検出を抑制した、頑強な不動体検出を行うことができるが、取得される画像（処理対象とされる画像）が、以下のような画像である場合、不動体検出が正常に行えない可能性がある。そのような不動体検出を正常に行えない領域を検出し、より誤検出を抑制した、頑強な不動体検出を行うことができるようにするための処理について説明を加える。
【０２１２】
不動体検出が正常に行えない可能性がある画像とは、例えば、交差点を撮影しているようなカメラから取得された画像のように、多数の人や車が往来する領域が存在する画像である。このような多数の人や車が往来する領域がある画像の場合、背景が正常に生成されずに、不動体の誤検出が行われてしまう可能性がある。
【０２１３】
そこで、そのような領域を検出し、適切な処理ができるようにする。適切な処理とは、後述するように、例えば、不動体提示部３８により、そのような領域をユーザに提示し、ユーザに認識させることである。背景が正常に生成されない領域は、処理困難領域判断部２２により検出される。処理困難領域判断部２２は、背景生成部２１により生成される背景モデルを用いて処理困難な領域を検出する。
【０２１４】
背景モデルは、図３乃至７を参照して説明したように、画素毎に生成される。背景モデルとしては、例えば、３項分布の場合、図３Ａに示したような背景モデルが生成される。ここで、再度背景モデルについて説明を加える。
【０２１５】
例えば、同一の静止画像、例えば、図２の時刻ｔ１のときの画像が、１００フレーム連続するような映像を処理した場合を考える。このような場合、所定の画素の輝度値は、１００フレームで同一であるため、その画素の背景モデルを生成した場合、１つの分布だけが存在し、その分布の重みは処理したフレーム数に応じた比較的大きな値（例えば、重みが１づつ増加する設定の場合、１００)になっている背景モデルが生成される。静止画像でなくても、背景のような画像であれば、このような背景モデルが生成されると想定できる。
【０２１６】
また、図２の時刻ｔ１の画像のように、家と木が映っている画像を撮影し続けた映像であり、木が揺らいでいるような場合、家の所定の位置の壁を注視したとき、その壁が見えているときとその壁に揺らいだ木の葉が見えているときとがある。このような領域を見たとき、壁と木の葉が交互に見える状態である。このような領域から得られる背景モデルは、壁の画素の輝度値の分布と、木の葉の画素の輝度値の分布が存在する背景モデルが生成される可能性が高い。
【０２１７】
このように、背景と判断される画像(領域)から得られる背景モデルは、１または２などの少ない分布を有し、その各分布の重みは、比較的高い数値となることが予想される。また、１つの分布は、所定の範囲の輝度値を含むため、多少の輝度値の変化であれば、その範囲内に吸収することができる。また、図４のフローチャートを参照して説明したように、分布の更新、削除、生成といった処理が行われるため、背景の輝度値が変化しても、背景モデルの分布の状況が急激に変化するようなことはないとされる。
【０２１８】
よって、背景と判断される画像から得られる背景モデルは、高い重みを有する分布が存在している背景モデルである。このような背景モデルが存在する領域は、背景が正常に生成され、不動体の誤検出が行われる可能性が低い領域である。
【０２１９】
これに対して、車や人などの動体が頻繁に往来するような輝度値の変化が激しい領域から得られる背景モデルは、輝度値の変化が激しいために、背景モデルの輝度値の分布が分散し、１つの分布の重みは低い数値となる。このような背景モデルが存在する領域は、背景が正常に生成されずに、不動体の誤検出が行われる可能性がある領域である。
【０２２０】
このような不動体の誤検出が行われる可能性がある領域(画素)を、処理困難領域判断部２２は検出する。ここでは、不動体の誤検出が行われる可能性がある領域であり、不動体が検出されたとしても、その検出の信頼度が低い領域を、処理不可能な領域と記述する。換言すれば、信頼度の高い背景との比較で、不動体が検出されることで、信頼度の高い不動体が検出されるが、そのような信頼度の高い背景を生成することが困難な領域を、処理不可能な領域と記述する。
【０２２１】
逆に、不動体の検出が正常に行われる可能性が高い領域であり、その検出の信頼度が高い領域を、処理可能な領域と記述する。
【０２２２】
処理可能な領域であるか、処理不可能な領域であるかの判断は、上記した説明から明らかなように、生成された背景モデルのうち、重みが一番高い分布の重みと、更新した回数により判断することができる。ここでは、重みが一番高い分布の重みが、更新した回数と項数より計算される閾値よりも高い場合に、処理可能と判断され、それ以外の場合には処理不可能と判断されるとして説明を続ける。
【０２２３】
具体的には、生成された背景モデルの分布のうち最も重みの高い分布の重みをWh（t,X）とし、判断がされるときまでに分布が更新された回数をC（t,X）とし、背景モデルで表現する分布の数をＮとした場合、以下の式（５）で処理可能な領域の画素か否かが判断される。
【０２２４】
If Wh（t,X）＞β×C（t,X）/Ｎ ：処理可能
Else：処理不可能
・・・（５）
【０２２５】
式(５)におけるβは、調整のパラメータであり通常の場合は１に設定される。背景モデルが、３項分布の場合、Ｎ＝３となる。C（t,X）は、分布が更新された回数であるが、例えば、１００フレームが処理された結果、得られた背景モデルの場合、１００となる。よって、分布が更新された回数とは、処理対象とされた累計のフレーム数となる。
【０２２６】
式（５）に基づいて、処理可能な領域(画素)であるか否かが判断されるようにしても良いし、式（５）における不等号の右辺を、所定の閾値(固定値)として、重みがその所定の閾値以上であれば、処理可能な領域(画素)であると判断されるようにしても良い。
【０２２７】
また、ここでは、画素毎に背景モデルが生成され、その生成された背景モデルが用いられて、式（５）に基づき処理可能であるか否かが判断されるとして説明した。すなわちこの場合、画素毎に、その画素が処理可能な画素であるか否かを判断していることになる。画素毎ではなく、所定の領域のブロック単位で、まとめて処理可能であるか否かを判断するように構成することも可能である。
【０２２８】
このようにして、処理可能と判断された画素、およびその画素を含む領域は、背景を正常に生成できるため、そのまま後段の処理を続けても問題ないが、処理不可能と判断された画像(領域)は、背景を正常に生成できず、不動体の検出が正常に行えない可能性があるため、そのような領域に対しては、適切な処理を行う必要がある。
【０２２９】
ここでは、適切な処理として、ユーザに処理不可能と判断された領域を提示するとして説明する。処理困難領域判断部２２からの出力は、不動体提示部３８に供給される。不動体提示部３８は、上述したように、不動体検出部３７からの不動体情報に基づき、不動体が検出された旨を提示する。その提示は、例えば、画像取得部１１からの現画像に、不動体検出部３７からの不動体情報によって特定される不動体領域を囲む枠のOSD(On Screen Display)を重畳し、図示せぬ表示装置に表示させることで行われるとして説明した。
【０２３０】
この不動体が検出された領域と同じく、処理不可能と判断された領域も、画像取得部１１からの現画像に、囲む枠のOSD(On Screen Display)を重畳し、図示せぬ表示装置に表示させることで、ユーザに提示されるようにしても良い。換言すれば、不動体と処理不可能な領域が、ユーザに提示される。このようにして提示された処理不可能な領域を確認することで、ユーザは、そのような領域に仮に不動体が検出されたことが提示されていても、その不動体の検出の信頼度は低いことを認識することができる。そのような信頼度の低い不動体に対する対処はしないという判断も、ユーザは行うことが可能となる。
【０２３１】
ユーザが確認することで、仮に、処理不可能領域ではないとユーザが判断した場合、そのユーザの指示によりリセットするなどの処理を実行することが可能となる。また、ユーザが確認することで、処理不可能領域であると判断した場合、ユーザが、その領域の提示を停止させたり、他の提示方法に変えたりすることができるようにしても良い。例えば、処理不可能領域が、ユーザが確認した結果、その後も処理不可能領域である可能性が高いような場合に、そのような領域が提示され続けると、目障りになることも考えられる。よって、そのような提示がされないように設定したり、塗りつぶして表示されるように設定したりできるようにしても良い。
【０２３２】
また、ネットワークなどで接続されている他の装置に対して処理不可能な領域を通知し、通知を受け取った他の装置側で、自由な表示方法に加工してユーザ側に提示したり、他の処理をしたりするようにしても良い。このような場合、検出された処理不可能な領域を１、処理可能な領域を０と表現した画像を生成し、その画像をメタデータとしてネットワークを介して他の装置に送信するように構成することができる。
【０２３３】
また上記した式（５）において、βはパラメータであるとした。このパラメータであるβを、ユーザが設定できるようにしても良い。パラメータを設定する際、数値をユーザが直接設定できるようにしても良い。
【０２３４】
または、ユーザにわかりやすいように、例えば、高、中、弱などの複数の段階で設定可能にしておいても良い。そして、高のパラメータになるほど、βの値が大きな値になるように変更されるように設定しておく。例えば、このように高、中、弱の三段階が設定された場合、βの値として、高の場合は２、中の場合は１、弱の場合は０．５などのパラメータが設定されるようにする。
【０２３５】
βの値が１より大きな値に設定されることで、式（５）の不等号の右辺の値が大きくなるため、不等号が成立しないケースが増え、処理不可能と判断される画素が増える可能性がある。例えば、車の往来は激しくないが、不動体が検出される可能性が低い所などを、処理不可能な画素(領域)として判断させたい場合など、βの値は大きな値に設定される。
【０２３６】
このようにユーザにパラメータを入力してもらうことによりユーザの使用環境に応じた推定も可能となり、その推定を用いた処理なども可能となる。このように、ユーザがパラメータを設定したり、上記した処理不可能領域の表示の仕方などに係わる設定をしたりすることができるようにした場合、図１７に示すように、パラメータ設定部８１を設け、パラメータ設定部８１により設定されたパラメータが、処理困難領域判断部２２に供給されるような構成とする。
【０２３７】
パラメータ設定部８１は、ユーザが設定したパラメータなどを取得する機能を有する。例えば、キーボードなどの操作部を含む構成とすることができる。パラメータ設定部８１により設定されたパラメータが、処理困難領域判断部２２に供給され、処理困難領域判断部２２が、供給されたパラメータを、式（５）のβの値として代入し、処理を行う。このように、ユーザによりパラメータが設定されるようにしても良い。
【０２３８】
なお、上述した実施の形態においては、処理不可能な画素(領域)をユーザに提示するとして説明したが、提示するだけでなく、そのような領域を処理しないように設定することも可能である。例えば、処理困難領域判断部２２により、処理不可能な領域と判断された領域に関する情報が、動体検出部３１や不動体検出部３７など、不動体検出装置の各部に供給されるような構成とする(不図示)。そのような構成とし、例えば、動体検出部３１において、処理不可能な領域を処理しない(その領域からは動体を検出しない)ように設定し、処理しないように構成することも可能である。
【０２３９】
このように構成することで、不動体検出装置における処理負担の軽減をはかることが可能となる。このように、処理不可能な領域は処理しないように設定するのは、ユーザにより、処理不可能な領域が確認され、ユーザの了承を得た後に設定されるようにすることも可能である。
【０２４０】
［不動体検出装置の処理について］
図１８を参照し、再度、図１の不動体検出装置の処理を説明する。以下の説明においては、処理不可能な画素(領域)は検出されないとして説明を続ける。
【０２４１】
図１８は、幾つかの時刻t1ないしt8それぞれの現画像、一時停止画像、及び、背景の例を示している。図１８において、時刻t1では、現画像には、木だけが映っており、背景生成部２１において、現画像と同様の木だけが映っている画像が、背景として生成されている。また、一時停止画像には、何らの一時停止オブジェクトも映っていない。
【０２４２】
時刻t1の後の時刻t2では、右から左の方向に移動する自動車が現れ始めており、現画像には、木とともに、右側に、現れ始めた自動車が映っている。現画像に映っている自動車は、動体検出部３１において、動体として検出される。また、背景生成部２１では、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２４３】
時刻t2の後の時刻t3では、移動していた自動車が停止（ストップ）し、現画像には、木とともに、左側に、停止した自動車が映っている。停止した自動車は、動体検出部３１において、動体として検出され続けるが、まだ、停止した直後であるため、一時停止判定部３２において、まだ、一時停止しているとは判定されず、一時停止画像には反映されていない。また、背景生成部２１では、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２４４】
時刻t3の後の時刻t4では、自動車が停止し続けており、現画像には、時刻t3の場合と同様に、木とともに、左側に、停止した自動車が映っている。そして、時刻t4では、自動車が、所定の一定時間だけ停止し続けており、一時停止判定部３２において、一時停止していると判定され、一時停止画像処理部３３において、一時停止オブジェクトとして、記憶部３４に記憶された一時停止画像に登録（反映）されている。これにより、一時停止画像は、一時停止オブジェクトである自動車が映った画像になっている。
【０２４５】
さらに、時刻t4では、一時停止オブジェクトとしての自動車が、記憶部３４に記憶されたことにより、信頼度処理部３５において、記憶部３６に記憶された信頼度画像の、一時停止オブジェクトとしての自動車に対応する領域の画素の画素値に、不動体信頼度の初期値C0が設定される。
【０２４６】
また、時刻t4では、背景生成部２１において、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２４７】
時刻t4から、その後の時刻t5までの間、自動車が停止し続けており、時刻t5の現画像には、時刻t3及びt4の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、一時停止オブジェクトとしての自動車が映った一時停止画像が記憶され続けており、背景生成部２１において、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２４８】
したがって、時刻t4から時刻t5にかけては、現画像の、一時停止オブジェクトとしての自動車が映っている画素Xについては、現画像の画素Xの画素値I(X)、一時停止画像の画素Xの画素値P(X)、及び、背景の画素Xの画素値B(X)に関して、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満になり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th以上になり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th以上になるので、信頼度処理部３５において、図１２Ａで説明したように、記憶部４６に記憶された信頼度画像の画素X（位置Xの画素）の画素値である不動体信頼度C(X)がインクリメントされていく。
【０２４９】
そして、時刻t5において、現画像の、一時停止オブジェクトとしての自動車が映っている画素Xについての不動体信頼度C(X)が、閾値th_confとなり、その結果、不動体検出部３７において、現画像の、一時停止オブジェクトとしての自動車が、不動体として検出されている。
【０２５０】
時刻t5の後の時刻t6では、自動車が停止し続けており、時刻t6の現画像には、時刻t3ないしt5の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、一時停止オブジェクトとしての自動車が映った一時停止画像が記憶され続けている。
【０２５１】
さらに、時刻t6では、自動車が停止した時刻t3から、不動体認知時間mの5倍等の相当の時間が経過しており、そのため、背景生成部２１において、停止している自動車の影響を受けた、木と自動車が映っている画像が、背景として生成されている。
【０２５２】
時刻t6から、その後の時刻t7までの間、自動車が停止し続けており、時刻t7の現画像には、時刻t3ないしt6の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、自動車が映った一時停止画像が記憶され続けており、背景生成部２１においては、自動車の影響を受けた、木と自動車が映っている画像が、背景として生成されている。
【０２５３】
したがって、時刻t6から時刻t7にかけては、現画像の自動車が映っている画素Xについては、現画像の画素Xの画素値I(X)、一時停止画像の画素Xの画素値P(X)、及び、背景の画素Xの画素値B(X)に関して、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満になり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th未満になり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th未満になるので、信頼度処理部３５において、図１２Ｂで説明したように、記憶部４６に記憶された信頼度画像の画素X（位置Xの画素）の画素値である不動体信頼度C(X)がデクリメントされていく。
【０２５４】
そして、時刻t7において、現画像の自動車が映っている画素Xについての不動体信頼度C(X)が、閾値th_conf未満となり、その結果、不動体検出部３７において、現画像の自動車が、不動体として検出されなくなる。
【０２５５】
その後も、自動車が停止し続けており、これにより、現画像の自動車が映っている画素Xについての不動体信頼度C(X)がデクリメントされ続ける。
【０２５６】
そして、時刻t7の後の時刻t8では、現画像の自動車が映っている画素Xについての不動体信頼度C(X)が0になり、一時停止画像処理部３３において、不動体信頼度が0になった、記憶部３４に記憶された自動車が削除（消去）される。
【０２５７】
ここで、上述の場合には、画素Xについての不動体信頼度C(X)が、閾値th_conf以上である場合には、その画素Xを不動体として検出することとしたが、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、不動体信頼度C(X)が単調減少している場合には、画素Xを、不動体として検出することを制限すること（不動体として検出しないこと）ができる。
【０２５８】
すなわち、図１の不動体検出装置では、例えば、図１８で説明したように、不動体である自動車が、停止し続け、背景に反映されると、自動車が映っている画素Xについての不動体信頼度C(X)が、デクリメントされ続け、閾値th_conf未満になると、自動車が、不動体として検出されなくなる。
【０２５９】
したがって、停止し続けている自動車が、背景に反映された後は、自動車が映っている画素についての不動体信頼度は、単調減少し、その後、不動体信頼度が、閾値th_conf未満になるのを待って、自動車が、不動体として検出されなくなるのであるから、結局、自動車が映っている画素についての不動体信頼度が単調減少しているということは、将来的に、自動車が、不動体として検出されなくなることを意味する。
【０２６０】
そこで、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、不動体信頼度C(X)が単調減少している場合には、画素Xを、不動体として検出することを制限することができる。
【０２６１】
図１９は、不動体信頼度C(X)が単調減少している場合に、画素Xを、不動体として検出することを制限することを説明する図である。図１９は、不動体信頼度C(X)を示す図である。
【０２６２】
不動体検出部３７では、図１９に示すように、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、所定の時間Δtだけ連続して減少（単調減少）した場合には、その後、画素Xを、不動体として検出することが制限される。
【０２６３】
なお、不動体検出部３７では、その他、例えば、画素Xの不動体信頼度C(X)が、閾値th-conf未満であっても、所定の時間Δtだけ連続して増加（単調増加）した場合には、画素Xを、不動体として検出することができる。
【０２６４】
［複数枚の一時停止画像、及び、信頼度画像］
上述の場合には、記憶部３４及び３６（図１）に、それぞれ、１枚（１画面分の）一時停止画像、及び、信頼度画像が記憶されることを暗黙の前提としたが、記憶部３４及び３６には、それぞれ、複数枚の一時停止画像、及び、信頼度画像を記憶させることができる。
【０２６５】
図２０は、記憶部３４及び３６に、それぞれ、３枚の一時停止画像、及び、信頼度画像が記憶される場合の、図１の不動体検出装置の処理を説明する図である。
【０２６６】
なお、複数枚の一時停止画像P#iと、複数枚の信頼度画像Q#iとは、同一の枚数だけ用意される。また、１枚の一時停止画像P#iと、１枚の信頼度画像Q#iとは、対応付けられて、１組として使用される。
【０２６７】
いま、記憶部３４に、３枚の一時停止画像P#1,P#2,P#3が記憶されるとともに、記憶部３６に、一時停止画像P#1,P#2,P#3それぞれと組になる信頼度画像Q#1,Q#2,Q#3が記憶されることとする。
【０２６８】
一時停止画像処理部３３は、記憶部３４に、一時停止判定部３２からの新たな一時停止オブジェクトを登録する場合、記憶部３６の信頼度画像Q#1ないしQ#3の中から、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている１枚の信頼度画像Q#iを検出する。
【０２６９】
そして、一時停止画像処理部３３は、記憶部３４の一時停止画像P#1ないしP#3のうちの、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている信頼度画像Q#iと組になっている一時停止画像P#iに、新たな一時停止オブジェクトを登録（上書き）する。
【０２７０】
図２０では、信頼度画像Q#1ないしQ#3の中で、新たな一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっているのは、信頼度画像Q#3だけであり、そのため、その信頼度画像Q#3と組になっている一時停止画像P#3に、新たな一時停止オブジェクトが登録されている。
【０２７１】
なお、信頼度画像Q#1ないしQ#3の中に、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている信頼度画像が存在しない場合には、信頼度画像Q#1ないしQ#3の中で、例えば、一時停止オブジェクトに対応する領域の不動体信頼度の平均値が最小の信頼度画像が検出され、その信頼度画像と組になっている一時停止画像に、新たな一時停止オブジェクトが登録される。
【０２７２】
また、一時停止画像処理部３３は、記憶部３４に記憶された一時停止画像P#1ないしP#3それぞれについて、１枚の一時停止画像の場合と同様に、式（１）及び式（２）に従った更新を、独立に行う。
【０２７３】
信頼度処理部３５は、記憶部３４に記憶された一時停止画像P#iに、一時停止オブジェクトが新たに登録された場合に、記憶部３６に記憶された信頼度画像Q#1ないしQ#3のうちの、一時停止オブジェクトが新たに登録された一時停止画像P#iと組になっている信頼度画像Q#iの画素値としての不動体信頼度だけを、１枚の信頼度画像の場合と同様に、初期値C0に設定する。
【０２７４】
そして、信頼度処理部３５は、記憶部３６に記憶された信頼度画像Q#1ないしQ#3それぞれの不動体信頼度を、その信頼度画像Q#iと組になっている一時停止画像P#iを用いて、１枚の信頼度画像の場合と同様に、独立に更新する。
【０２７５】
不動体検出部３７は、記憶部３６に記憶された信頼度画像Q#1ないしQ#3それぞれについて、その信頼度画像Q#iを用いて、１枚の信頼度画像の場合と同様に、不動体を、独立に検出する。
【０２７６】
以上のように、複数枚の一時停止画像、及び、信頼度画像を用いることにより、不動体が、最大で、その複数枚と同一の数だけ重なっている場合であっても、その重なっている不動体を、分離して検出することができる。
【０２７７】
［本技術を適用したネットワークカメラについて］
上述した不動体を検出する不動体検出装置は、例えば、図２１に示すネットワークカメラの一部に含まれる構成とすることも可能である。図２１に示したネットワークカメラは、撮像部９１、撮像信号処理部９２、撮像データ処理部９３、画像処理部９４、および伝送部９５から構成される。
【０２７８】
撮像部９１により撮像された映像の信号は、撮像信号処理部９２に供給され、高精細化の処理などの画像処理が施される。画像処理が施された信号は、撮像データ処理部９３に供給され、伝送部９５による伝送に合わした圧縮方式で圧縮処理が施され、伝送部９５によりネットワークを介して他の装置に送信される。
【０２７９】
また撮像信号処理部９２からの信号は画像処理部９４にも供給される。画像処理部９４は、図１または図１７に示した不動体検出装置を含み、検出した不動体の情報や、背景として信頼度が低い領域の情報などを、例えば、メタデータとして伝送部９５に供給する。伝送部９５は、供給されたメタデータを、撮像データ処理部９３からの撮像データとともにネットワークを介して他の装置に送信する。
【０２８０】
このような構成のネットワークカメラに、本技術を適用した不動体検出装置を適用できる。また、図示はしないが、信号処理ＩＣなどにも、本技術を適用できる。また、図２２に示すコンピュータにも、本技術を適用できる。
【０２８１】
［本技術を適用したコンピュータの説明］
【０２８２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２８３】
そこで、図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２８４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２８５】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２８６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２８７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０２８８】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０２８９】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２９０】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２９１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２９２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２９３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９４】
すなわち、例えば、本実施の形態では、不動体提示部３８において、不動体検出部３７から不動体情報が供給されると、不動体が検出された旨を、音声や、画像、ランプの点滅や点灯等によって、ユーザに提示（報知）することとしたが、不動体検出部３７で得られた不動体情報は、画像取得部１１で取得された画像とともに、その画像のメタデータとして、ネットワークを介して送信することができる。
【０２９５】
また、本実施の形態では、不動体検出部３７において、記憶部３６に記憶された信頼度画像の、画素値である不動体信頼度が閾値以上の画素の画素値を1とするとともに、画素値（不動体信頼度）が閾値未満の画素の画素値を0とする２値化を行うことで、２値化信頼度画像を求めることとしたが、２値化信頼度画像は、その他、例えば、信頼度画像の、画素値（不動体信頼度）が閾値以上の画素であり、かつ、一時停止オブジェクトが映る画素として、記憶部３４に記憶されてから所定の設定時間以上が経過している画素の画素値を1とするとともに、他の画素の画素値を0とする２値化を行うこと等によって求めることができる。
【０２９６】
また、図１の不動体検出装置は、例えば、撮影した画像をネットワークを介して伝送することができるネットワークカメラや、アナログ画像をネットワーク化する機器（アナログ画像をネットワークを介して伝送する機器、PC(Personal Computer)のアプリケーション、その他の機器に適用可能である。
【０２９７】
ここで、本明細書において、「以上」や「以下」は、「より大きい」や「未満」であってもよく、逆に、「より大きい」や「未満」は、「以上」や「以下」であってもよい。
【０２９８】
また、本技術は、以下のような構成をとることもできる。
【０２９９】
（１）
取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、
前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部と
を備える画像処理装置。
（２）
前記背景モデルは、所定の座標における輝度値とその輝度値が現れた頻度を関連付けた分布から構成され、
前記判断部は、前記頻度が最も高い分布が所定の値より大きい場合、信頼度の高い背景が生成できると判断する
前記（１)に記載の画像処理装置。
（３）
前記所定の値は、前記多項分布の項数と、前記背景モデルの更新回数から算出される値である
前記（２)に記載の画像処理装置。
（４）
前記判断部により信頼度の高い背景が生成できないと判断された領域を、ユーザに提示する
前記（１)乃至（３）のいずれかに記載の画像処理装置。
（５）
現画像において、前記生成部により生成される背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
をさらに備える前記（１)に記載の画像処理装置。
（６）
取得される映像から、多項分布の背景モデルを生成し、背景を生成し、
生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する
ステップを含む画像処理方法。
（７）
取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、
前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０３００】
１１ 画像取得部， ２１ 背景生成部， ２２ 処理困難領域判断部， ３１ 動体検出部， ３２ 一時停止判定部， ３３ 一時停止画像処理部， ３４ 記憶部， ３５ 信頼度処理部， ３６ 記憶部， ３７ 不動体検出部， ３８ 不動体提示部， ５１ 背景生成部， ５２ 背景差分画像生成部， ５３ 過去画像記憶部， ５４ 過去差分画像生成部， ５５ 連続性カウント画像生成部， ５６ 動体候補領域画像生成部， ５７ 検出部
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および、プログラムに関し、特に、例えば、不動体の検出、すなわち、物体が置き去りにされたことや、物体が持ち去られたことの検出において、誤検出を抑制することができるようにする画像処理装置、画像処理方法、および、プログラムに関する。
【背景技術】
【０００２】
例えば、公共の場所に、不審物が置き去りにされたことや、ショールームに展示されている展示品が持ち去られたことを検出する技術として、画像に、背景でない部分であって、動いていない部分を、不動体として検出（検知）する方法がある。
【０００３】
不動体を検出する不動体検出方法としては、画像から、静止領域を検出し、新たに検出された静止領域を背景として登録することで、複数の背景の作成を行い、静止物体の前に静止物体が現れ、２つの静止物体が重なっても、その２つの静止物体を分離して検出することができる方法が提案されている（例えば、特許文献１）。
【０００４】
また、不動体検出方法としては、複数の時間スケールで、背景の更新等の処理を行うことで、外乱に対する頑健性を保証している方法が提案されている（例えば、特許文献２）。
【０００５】
なお、特許文献１に記載の不動体検出方法では、木々のゆれ等が、誤って、静止物体（不動体）として検出される。さらに、特許文献１に記載の不動体検出方法は、静止物体を分離するために、多種の特徴量を計算し、さらにクラスタリングをする必要があるため、演算量が多く、リアルタイム処理には適しているとは言い難い。
【０００６】
また、特許文献２に記載の不動体検出方法では、２つの静止物体が重なっている場合に、２つの静止物体が、不動体として、適切に検出されることは、保証されない。
【０００７】
また、動体検知や不動体検知などに代表される背景画像を利用した検知技術は、人や車など物体が頻繁に通過するような領域においては、正常な背景が生成されずに、誤った結果が得られる場合があった。このような場合に対処するために、特許文献３においては、各画素の変動具合として輝度値の分散を計算することで、処理可能な有効領域か否かを判断することが提案されている。そして、有効でないと判断された領域を除外して処理を行う背景差分方法が提案されている。
【０００８】
しかしながら、特許文献３で提案されている方法では、輝度値の標準偏差（分散）により有効領域を判定しているため、本当に背景が作る事が困難である状況だけを分別することができない。例えば、背景を多項分布を用いて検出するようにした場合、人が頻繁に通過するような状況は背景を作成しづらいが、ライトの点滅のような輝度値の差が大きい状況などであれば背景は作成可能である。特許文献３で提案されている方法では、輝度値の分散から判断しているため、これらを同じ「有効でない領域」と判定してしまう。そのために、背景作成が困難で検知できない領域かどうかを判定できず、精度良く背景を生成することができない可能性がある。
【０００９】
また、特許文献４では、各画素の時系列の変化を中間クラスや不安定クラスなどに判定する処理を行うことが提案されている。しかしながら、この判断方法では、複数の分布の重みだけで不安定か安定かが判断されているため、短時間で変化が起こった領域なのか、本当に頻繁に通過するため困難な領域なのかの判断が困難である。よって、この場合も、精度良く背景を生成することができない可能性があった。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】国際公開第2009/005141号パンフレット
【特許文献２】特開2008-257693号公報
【特許文献３】特開2004-265291号公報
【特許文献４】特開2006-331306号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
不動体検出方法としては、誤検出を抑制して、不動体を、高精度に検出することができる方法の提案が要請されている。
【００１２】
本技術は、このような状況に鑑みてなされたものであり、誤検出を抑制した、頑強な不動体検出を行うことができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の一側面の画像処理装置は、取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部とを備える。
【００１４】
前記背景モデルは、所定の座標における輝度値とその輝度値が現れた頻度を関連付けた分布から構成され、前記判断部は、前記頻度が最も高い分布が所定の値より大きい場合、信頼度の高い背景が生成できると判断するようにすることができる。
【００１５】
前記所定の値は、前記多項分布の項数と、前記背景モデルの更新回数から算出される値であるようにすることができる。
【００１６】
前記判断部により信頼度の高い背景が生成できないと判断された領域を、ユーザに提示するようにすることができる。
【００１７】
現画像において、前記生成部により生成される背景とは異なる部分の画像である動体を検出する動体検出部と、前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部とをさらに備えるようにすることができる。
【００１８】
本技術の一側面の画像処理方法は、取得される映像から、多項分布の背景モデルを生成し、背景を生成し、生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断するステップを含む。
【００１９】
本技術の一側面のプログラムは、取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部として、コンピュータを機能させる。
【００２０】
本技術の一側面の画像処理装置、画像処理方法、およびプログラムにおいては、取得された映像から、多項分布の背景モデルが生成され、生成された背景モデルから、信頼度の高い背景が生成できるか否かが判断される。
【００２１】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００２２】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００２３】
本技術によれば、誤検出を抑制した、頑強な不動体検出を行うことができる。
【図面の簡単な説明】
【００２４】
【図１】本技術を適用した不動体検出装置の一実施の形態の構成例を示すブロック図である。
【図２】不動体検出装置の処理の概要を説明する図である。
【図３】背景モデルについて説明するための図である。
【図４】背景モデルの生成について説明するためのフローチャートである。
【図５】背景モデルについて説明するための図である。
【図６】背景モデルについて説明するための図である。
【図７】背景モデルについて説明するための図である。
【図８】動体検出部３１の構成例を示すブロック図である。
【図９】動体検出部３１において動体を検出する原理を説明する図である。
【図１０】一時停止判定部３２の処理を説明する図である。
【図１１】信頼度処理部３５の処理を説明する図である。
【図１２】信頼度処理部３５による不動体信頼度の更新の概要を説明する図である。
【図１３】信頼度処理部３５による不動体信頼度の更新の詳細を説明する図である。
【図１４】信頼度処理部３５により更新される不動体信頼度C(X)の変化を示す図である。
【図１５】信頼度処理部３５による不動体信頼度C(X)の初期値C0の設定を説明する図である。
【図１６】不動体検出装置の処理（不動体検出処理）を説明するフローチャートである。
【図１７】不動体検出装置の他の構成例を示すブロック図である。
【図１８】不動体検出装置の処理を説明する図である。
【図１９】不動体信頼度C(X)が単調減少している場合に、画素Xを、不動体として検出することを制限することを説明する図である。
【図２０】記憶部３４及び３６に、それぞれ、３枚の一時停止画像、及び、信頼度画像が記憶される場合の、不動体検出装置の処理を説明する図である。
【図２１】ネットワークカメラの構成例を示すブロック図である。
【図２２】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
［本技術を適用した不動体検出装置の一実施の形態］
図１は、本技術の画像処理装置を適用した不動体検出装置の一実施の形態の構成例を示すブロック図である。
【００２６】
図１において、不動体検出装置は、画像取得部１１、背景生成部２１、処理困難領域判断部２２、動体検出部３１、一時停止判定部３２、一時停止画像処理部３３、記憶部３４、信頼度処理部３５、記憶部３６、不動体検出部３７、及び、不動体提示部３８を有し、不動体を検出（検知）して提示する。
【００２７】
画像取得部１１は、所定のレートの画像（動画像）を取得して出力する。すなわち、画像取得部１１は、例えば、カメラであり、所定のレートで、カメラが設置されたショールーム等の所定の場所の画像を撮影して出力する。また、画像取得部１１は、例えば、図示せぬカメラ等から、所定の場所を撮影した画像を取得し、その画像を高精細化する画像処理等を行って出力する。
【００２８】
なお、画像取得部１１において取得する画像は、カラー画像であってもよいし、白黒画像であってもよい。ここでは、画像取得部１１において取得する画像は、白黒画像であるとする。この場合、以下の説明において、画素値は、輝度値となる。
【００２９】
画像取得部１１が出力する画像は、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に供給される。
【００３０】
背景生成部２１は、画像取得部１１から供給される最新の画像である現画像等を用いて、背景（画像）を生成し、処理困難領域判断部２２と信頼度処理部３５に供給する。
【００３１】
処理困難領域判断部２２は、正常に背景が生成されない領域を検出し、そのような領域を、不動体提示部３８に供給する。不動体提示部３８により、正常に背景が生成されない領域が、ユーザに提示される。
【００３２】
動体検出部３１は、画像取得部１１からの現画像において、背景とは異なる部分の画像である動体（画像）を検出し、その動体に外接する最小の矩形の領域である動体領域を、一時停止判定部３２、及び、一時停止画像処理部３３に供給する。
【００３３】
一時停止判定部３２は、動体検出部３１からの動体領域に含まれる動体が、所定の一定時間以上停止（以下、一時停止ともいう）しているかどうかを判定し、動体が一時停止していると判定した場合、その一時停止している動体の動体領域内の画像を、一時停止しているオブジェクト（一時停止オブジェクト）が映る一時停止画像に映る一時停止オブジェクトとしてコピーし、一時停止画像処理部３３に供給する。
【００３４】
一時停止画像処理部３３は、一時停止判定部３２から供給される一時停止オブジェクトを、記憶部３４に登録する（記憶させる）。すなわち、記憶部３４は、一時停止画像を記憶する、例えば、フレームメモリであり、一時停止画像処理部３３は、記憶部３４に記憶されている画像（一時停止画像）の、一時停止判定部３２からの一時停止オブジェクトの領域内の画素の画素値を、その一時停止オブジェクトの画素値に更新する。
【００３５】
また、一時停止画像処理部３３は、画像取得部１１からの現画像と、動体検出部３１からの動体（動体領域）とを用いて、記憶部３４に記憶された一時停止画像を更新する。すなわち、一時停止画像処理部３３は、記憶部３４に登録（記憶）された一時停止画像に映る一時停止オブジェクトのうちの、動体検出部３１からの動体でない画素の画素値を、記憶部３４に登録された一時停止画像（一時停止オブジェクト）と、画像取得部１１からの現画像との重み付け加算により更新する。
【００３６】
具体的には、現画像である時刻tの画像の画素Xの画素値を、It(X)と、1時刻前の時刻t-1の記憶部３４に記憶された一時停止画像の画素Xの画素値を、Pt-1(X)と、一時停止画像処理部３３において時刻tに求められる更新後の一時停止画像の画素Xの画素値を、Pt(X)と、それぞれ表すこととすると、一時停止画像処理部３３は、記憶部３４に記憶された一時停止画像に映る一時停止オブジェクトの画素のうちの、動体の画素については、式（１）に従い、動体でない画素については、式（２）に従い、時刻tの一時停止画像（更新後の一時停止画像）の画素Xの画素値Pt(X)を求める。
【００３７】
Pt(X)=Pt-1(X)
・・・（１）
Pt(X)=（1−α’）Pt-1(X)＋αIt(X)
・・・（２）
【００３８】
式（２）に従った一時停止画像の更新によれば、日差しや照明の変化等に起因して、画像取得部１１で取得される画像の画面全体の輝度が変化する状況等において、記憶部３４に記憶された一時停止画像に映る一時停止オブジェクトの輝度（画素値）を、なるべく現在の輝度（現画像の輝度）に近づけるように、適切に更新することができ、その結果、画像の輝度の変化に対する頑強性を向上させ、不動体検出を高精度に行うことができる。
【００３９】
なお、式（１）によれば、一時停止画像に映る一時停止オブジェクトのうちの、現画像の動体と重なる部分については、画素値は、更新されない（そのままの値にされる）が、これは、例えば、一時停止オブジェクトの手前側を、歩行者等の動体が横切った場合に、一時停止オブジェクトの画素値が、動体である歩行者の画素値に上書き（更新）されることを防止するためである。
【００４０】
信頼度処理部３５は、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用いて、現画像の各画素（又は、隣接する幾つかの画素ごと）について、所定の時間以上変化がない、背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求め、記憶部３６に登録する（記憶させる）。
【００４１】
記憶部３６は、信頼度処理部３５からの、現画像の各画素についての不動体信頼度を画素値とする信頼度画像を記憶する。
【００４２】
不動体検出部３７は、記憶部３６に記憶された信頼度画像に基づいて、現画像から、不動体を検出し、不動体提示部３８に供給する。
【００４３】
すなわち、不動体検出部３７は、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を、閾値によって２値化し（閾値以上の不動体信頼度を1とするとともに、閾値未満の不動体信頼度を0とし）、２値化信頼度画像を求める。
【００４４】
さらに、不動体検出部３７は、２値化信頼度画像について、画素値が1の画素（不動体信頼度が閾値以上の画素）と、その画素に隣接する８近傍の画素のうちの、画素値が1の画素とに、同一のラベルを付すラベリングを行うことにより、画素値が1の画素で構成される領域に外接する最小の矩形の領域を、不動体の領域（不動体領域）として検出する。
【００４５】
そして、不動体検出部３７は、不動体領域としての矩形のサイズ（横と縦の画素数）、及び、その矩形の中心（重心）や左上の点の座標等の不動体（領域）を指定する情報を解析し（求め）、不動体情報として、不動体提示部３８に供給する。
【００４６】
不動体提示部３８は、不動体検出部３７からの不動体情報に基づき、画像取得部１１からの現画像を必要に応じて用いて、不動体（が検出された旨）を提示する。
【００４７】
すなわち、不動体提示部３８は、不動体検出部３７から不動体情報が供給されると、不動体が検出された旨を、音声や、画像、ランプの点滅や点灯等によって、ユーザに提示（報知）する。
【００４８】
また、不動体提示部３８は、画像取得部１１からの現画像に、不動体検出部３７からの不動体情報によって特定される不動体領域を囲む枠のOSD(On Screen Display)を重畳し、図示せぬ表示装置に表示させる。
【００４９】
なお、不動体提示部３８では、不動体（不動体領域）が、所定のサイズSA以上である場合にのみ、不動体の提示を行うことができる。また、不動体提示部３８では、不動体が、所定のサイズSA以下である場合にのみ、不動体の提示を行うことができる。さらに、不動体提示部３８では、不動体が、ある所定のサイズSA以上で、かつ、他の所定のサイズSB（＞SA）以下である場合にのみ、不動体の提示を行うことができる。所定のサイズSAやSBは、例えば、ユーザが、不動体検出装置を操作することで設定することが出来る。
【００５０】
図２は、図１の不動体検出装置の処理の概要を説明する図である。すなわち、図２は、図１の画像取得部１１で取得される画像の時系列の例を示している。図２において、時刻t1の画像には、家と、その家の近傍に植えてある木とが映っている。
【００５１】
時刻t1の後の時刻t2の画像には、家、及び、木の他、時刻t2に、家の前に駐車された自動車が映っているとともに、画面上の右から左方向に歩いている歩行者が、画面の右側に映っている。
【００５２】
時刻t2の後の時刻t3の画像には、家、木、及び、自動車と、歩行によって、画面上の左側に移動した歩行者とが映っている。
【００５３】
そして、時刻t3の後の時刻t4では、歩行者は、画面内を通り過ぎており、その結果、時刻t4の画像では、家、木、及び、自動車は映っているが、歩行者は消えている。
【００５４】
この場合、図１の不動体検出装置では、時刻t1の画像を背景（画像）として、時刻t2から駐車した状態のまま動かない、背景とは異なる部分の自動車（の画像）が、不動体として検出される。また、図１の不動体検出装置では、歩行者は、歩行によって移動している動体であり、不動体としては、検出されない。
【００５５】
以上のように、図１の不動体検出装置では、画像において、所定の時間以上変化がない、背景とは異なる部分が、不動体として検出される。
【００５６】
したがって、図１の不動体検出装置では、例えば、図２に示したように、家、及び、木が映っている時刻t1の画像が背景である場合において、自動車が、家の前に駐車され、そのまま置き去りにされたときに、その置き去りにされた自動車が、不動体として検出される他、例えば、家、木、及び、駐車してある自動車が映っている時刻t4の画像が背景である場合において、駐車してある自動車が持ち去られたときに、その持ち去られた自動車（が映っていた部分）が、不動体として検出される。
【００５７】
［背景生成部２１］
図３Ａは、背景生成部２１により生成される背景モデルの一例を示す図である。図３Ａに示した背景モデルにおいて、横軸は輝度値を表し、縦軸は重み（出現頻度）を表す。図３Ａに示した背景モデルは、３項分布で背景をモデリングした例である。ここでは、３項分布を例にあげて説明するが、３項に限らず、多項であっても良い。また、３項分布とは、図３Ａに示したように、分布の山が３個できる分布であり、ここでは、図中左側から順に、１項目、２項目、３項目と適宜記載する。
【００５８】
図３Ａに示した背景モデルは、所定の画素の時間方向に対して作成される。図３Ｂに示すように、各分布は、平均輝度値、重み、範囲の３つの指標を含む。１つの分布の横幅は、平均輝度値を中央とした所定の範囲を示す。この範囲内に含まれる輝度値が現れた頻度が、１つの分布の高さとして表される。この平均輝度値を中心とする範囲は、固定値として説明を続けるが、また、各分布で同一の範囲が用いられるとして説明を続けるが、可変値が用いられたり、各分布で異なる範囲が用いられたりするようにしても良い。
【００５９】
また、各項に分散など、いわゆる混合正規分布を利用した背景作成手法で知られるものに必要なパラメータを持ち合わせるように構成することも可能であり、同じ分布とみなす範囲をそれに応じ変化するパラメータとしても良い。
【００６０】
背景モデルの生成について説明する。まず画像取得部１１により、カメラなどの撮影装置により撮影された映像や、他の再生デバイスからの入力信号などの映像が取得される。取得された映像には、必要に応じて画像のノイズ除去や高解像化処理などの信号処理が施され、背景生成部２１に供給される。
【００６１】
背景生成部２１は、供給される時系列の映像信号を解析することで背景のモデリングを行う。この背景の推定の際に画素毎に、図３に示した多項分布の背景モデルが作成される。画素毎に生成されるため、例えば、１００フレームが処理された時点では１００個の画素の輝度値から生成された背景モデルとなる。また、１フレームが１００画素から構成されている場合、図３に示したような背景モデルが、画素毎に１００個生成されることになる。
【００６２】
図４のフローチャートを参照し、背景生成部２１が行う背景モデルの生成について説明する。ステップＳ１において現フレームの輝度値(処理対象とされた所定の座標の画素の輝度値)が所属する分布が探される。まず各分布における平均輝度値と現フレームの輝度値が一番近い分布が求められ、その一番近い分布の範囲内に現フレームの輝度値が含まれるか否かが判断され、含まれる場合、その分布が所属する分布とされる。このような探索の結果、現フレームの輝度値が所属する分布が発見されたか否かが、ステップＳ２において判断される。
【００６３】
既に、何フレームかが処理され、図３Ａに示す背景モデルがあるとする。現在の輝度値が、図５Ａの示すように、所定の分布内に属する輝度値である場合と、図５Ｂに示すように所定の分布外に属する輝度値である場合とが考えられる。図５Ａに示したように、現在の輝度値が所定の分布内に属する輝度値である場合、ステップＳ２において、所属する分布が発見されたと判断され、ステップＳ３に処理が進められる。
【００６４】
ステップＳ３において、現在の輝度値が所属すると探し出された分布が更新される。図６を参照し、更新について説明する。図６Ａは、図５Ａと同じ背景モデルであり、２項目の分布に現在の輝度値が含まれると探し出されたときを示す。この場合、２項目の分布の輝度平均値と重み（頻度）が更新される。図６Ｂは、更新後の背景モデルを示す。図６Ｂに示したように、更新後の２項目の分布の度数は、図６Ａに示した更新前の２項目の分布の度数と比較し、度数が増えていることがわかる。また、現在の輝度値は、図６Ａに示した更新前の２項目の分布の右端に位置していたが、図６Ｂに示した更新後の２項目の分布の略中央（略平均輝度値）に位置している。
【００６５】
平均輝度値の更新は、次式（３）に基づいて行われる。すなわち、現画像である時刻tの画像の位置Xの画素（以下、画素Xとも記載する）の画素値を、It(X)と、背景生成部２１において1時刻前の時刻t-1に生成された背景の画素Xの画素値を、Bt-1(X)と、背景生成部２１において時刻tに生成される背景の画素Xの画素値を、Bt(X)と、それぞれ表すこととすると、背景生成部２１は、例えば、式（３）に従い、時刻tの背景の画素Xの画素値Bt(X)を求める。
【００６６】
Bt(X)＝（1−α）Bt-1(X)＋αIt(X)
・・・（３）
【００６７】
ここで、式（３）において、係数αは、式0＜α＜1.0で表される範囲の値である。
【００６８】
式（３）によれば、背景生成部２１では、（ほぼ）等価的に、過去のある時刻t-ΔT+1から、現在の時刻tまでの時間ΔT分の画像の重み付け加算によって背景が求められ、画素毎に、図６に示したような背景モデルが生成される。
【００６９】
式（３）に従って求められる背景は、係数αを小さくすると、長い周期で更新される背景となる。すなわち、式（３）の係数αを小さい値にした場合には、画像に変化があっても、その変化後の状態が長時間続かないと、背景に反映されない。
【００７０】
また、式（３）に従って求められる背景は、係数αを大きくすると、短い周期で更新される背景となる。すなわち、式（３）の係数αを大きい値にした場合には、画像に変化があると、その変化後の状態が短時間続けば、背景に反映される。
【００７１】
いま、少なくとも、時間mだけ動かなかった物体を、不動体として検出する場合の、その時間mを、不動体認知時間mということとすると、背景生成部２１において生成する背景を更新する周期は、不動体認知時間mよりも長い時間である、例えば、不動体認知時間mの5倍程度とすることが望ましい。
【００７２】
すなわち、係数αは、画像に変化があっても、その変化後の状態が、不動体認知時間mの5倍程度だけ続くと、背景に反映されるような値に設定される。
【００７３】
ここで、不動体認知時間mは、例えば、ユーザが、図１の不動体検出装置を操作することにより設定することができ、背景生成部２１は、不動体認知時間mに応じて、係数αを設定する。
【００７４】
なお、背景生成部２１において、背景を生成する方法は、式（３）を用いる方法に限定されるものではない。すなわち、背景生成部２１では、例えば、Gausian Mixture Model（重み付き混合正規分布）を用いて、背景を作成する方法等を採用することができる。
【００７５】
このような式（３）に基づいて平均輝度値が更新される。
【００７６】
度数（頻度）の更新は、次式（４）に基づいて行われる。更新前の頻度をWs（t,X）とし、更新後の頻度をWs（t+1,X）とすると、頻度は次式（４）で求められる。
Ws（t+1,X）＝Ws(t,X)＋(N−1) ・・・（４）
式（４）において、Ｎは項数を表す。ここでは、３項分布を例にあげて説明しているため、Ｎ＝３となる。
【００７７】
なおここでは、式（４）に基づいて頻度が算出されるとして説明を続けるが、（Ｎ−１）の部分は、この場合、２（＝３−１）と固定値となり、この固定値は、“２”以外の数値であっても良い。例えば、“１”でも良い。
【００７８】
ステップＳ３において、分布の更新が行われた場合、その更新回数も、記憶される。この更新回数は、処理されたフレーム数の累計となる。
【００７９】
このように、処理対象とされている現フレーム内の画素の輝度値が、既に作成されている背景モデルの分布内に所属する場合、所属すると判断された分布の頻度と平均輝度値が更新される。一方で、ステップＳ２において、処理対象とされている現フレーム内の画素の輝度値が所属する分布は発見されなかったと判断された場合、ステップＳ４に処理は進められる。
【００８０】
ステップＳ４において、不必要な分布が削除され、新しい分布が作成される。このステップＳ４における処理について、図７を参照して説明する。図７Ａは、図５Ａと同じ背景モデルであり、２項目の分布と３項目の分布の間に現在の輝度値が含まれると探し出されたときを示す。このように、現在の輝度値が所属する分布が背景モデルにない場合、その時点での背景モデルの中で、一番重み（頻度）が低い分布が探し出され、その分布が削除される。
【００８１】
図７Ａに示した例では、３項目の分布の重みが一番低いため、この３項目の分布が削除される。そして、新たに、現在の輝度値を平均輝度値とする分布が作成される。このように、分布の削除と作成が行われた後（更新後）の背景モデルを、図７Ｂに示す。図７Ｂに示したように、３項目の分布が削除され、現在の輝度値を平均輝度値とし、その平均輝度値を中央に所定の範囲を有する分布が３項目の分布として新たに作成される。
【００８２】
この新たに作成される分布の重みは、式（４）における（Ｎ−１）の値と同じ値に設定されている。上記したように、Ｎ＝３のときには、新たに作成される分布の重みは、２とされる。また、（Ｎ−１）が、“１”といった固定値にされている場合、その固定値に設定されている。なお、更新されるときの重みと新たに作成されるときの重みは、同一の値に限定されるわけではなく、異なる値に設定されていても良い。
【００８３】
このように、各画素における背景モデルが生成され、背景(画像)として、処理困難領域判断部２２と信頼度処理部３５に供給される。
【００８４】
［動体検出部３１］
図８は、図１の動体検出部３１の構成例を示すブロック図である。図８において、動体検出部３１は、背景生成部５１、背景差分画像生成部５２、過去画像記憶部５３、過去差分画像生成部５４、連続性カウント画像生成部５５、動体候補領域画像生成部５６、及び、検出部５７を有し、画像取得部１１（図１）からの現画像から、移動している物体や、短い時間だけ静止している物体等の、背景と異なる部分である動体を検出する。
【００８５】
ここで、図８の動体検出部３１は、例えば、特開2006-107457号公報に記載されている方法で、動体を検出する。但し、動体検出部３１において動体を検出する方法は、特に限定されるものではない。
【００８６】
図８において、画像取得部１１からの現画像は、背景生成部５１、背景差分画像生成部５２、過去画像記憶部５３、及び、検出部５７に供給される。
【００８７】
背景生成部５１は、画像取得部１１からの現画像を用いて、例えば、図１の背景生成部２１と同様に、式（３）に従って、背景を生成し、背景差分画像生成部５２に供給する。
【００８８】
なお、背景生成部５１では、動体の誤検出を抑制するために、図１の背景生成部２１で生成される背景よりも短い周期で更新される背景が生成される。すなわち、図１の背景生成部２１で生成される背景の更新の周期が、例えば、１時間であるとすると、背景生成部５１では、例えば、15秒程度の周期で更新される背景が生成される。
【００８９】
したがって、背景生成部５１では、式（３）の係数αとして、図１の背景生成部２１で用いられる値よりも大きな値が設定される。
【００９０】
ここで、背景生成部５１では、現画像に映る動体（の表示）を抑制した、ある程度の時間静止している状態の画像が、背景として生成される。
【００９１】
一方、図１の背景生成部２１では、例えば、3分間等の所定の時間以上変化がない、背景とは異なる不動体を検出するために、不動体であるために変化しないことが要求される最小の時間（上述の3分間等）に比較して、十分長い時間静止している状態の画像が、背景として生成される。
【００９２】
なお、背景生成部５１では、図１の背景生成部２１と同様の周期で更新される背景を生成することができる。この場合、不動体検出装置には、背景生成部２１及び５１のうちのいずれか一方だけを設けるだけでよい。
【００９３】
背景差分画像生成部５２は、画像取得部１１からの現画像と、背景生成部５１からの背景との各画素の画素値の差分絶対値を画素値とする背景差分画像を生成して、検出部５７に供給する。
【００９４】
一方、過去画像記憶部５３は、画像取得部１１から供給される現画像として供給される画像を順次記憶することにより、現在から過去に遡ったN+1時刻分の画像、すなわち、最新の時刻（現在時刻）tの画像である現画像と、時刻t-Nないしt-1の画像である過去画像とを記憶する。
【００９５】
過去画像記憶部５３に記憶された時刻tの画像（現画像）と、時刻t-Nないしt-1の画像（過去画像）とは、過去差分画像生成部５４に供給される。
【００９６】
過去差分画像生成部５４は、現画像と、各時刻t-nの過去画像との各画素の画素値の差分値を画素値とする過去差分画像を生成し（n=1,2,・・・,N）、連続性カウント画像生成部５５に供給する。
【００９７】
連続性カウント画像生成部５５は、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像から求められたN枚の過去差分画像の各画素について、画素値（差分値）の連続性を判断するためのカウントを行い、そのカウント値を画素値とする連続性カウント画像を生成して、動体候補領域画像生成部５６に供給する。
【００９８】
動体候補領域画像生成部５６は、連続性カウント画像生成部５５からの連続性カウント画像（の各画素の画素値）を閾値によって２値化することにより、動体が映っている画素の候補の画素値を1とするとともに、他の画素の画素値を0とした動体候補領域画像を生成し、検出部５７に供給する。
【００９９】
検出部５７は、背景差分画像生成部５２からの背景差分画像と、動体候補領域画像生成部５６からの動体候補領域画像とに基づき、現画像において、動体が映っている領域を検出する。
【０１００】
さらに、検出部５７は、画像取得部１１からの現画像から、動体が映っている領域を囲む最小の矩形の外接領域の画像を、動体領域としてコピーし、図１の一時停止判定部３２、及び、一時停止画像処理部３３に供給する。
【０１０１】
図９は、図８の動体検出部３１において動体を検出する原理を説明する図である。すなわち、図９Ａ、図９Ｂ、及び、図９Ｃは、現画像と、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像との各画素の画素値の差分値を画素値とするN枚の過去差分画像のある画素Xの画素値（現在画像と過去画像との画素値の差分値）の例を示している。
【０１０２】
なお、図９Ａ、図９Ｂ、及び、図９Ｃにおいて、横軸は、過去差分画像を求めるのに用いた過去画像の時刻を表し、縦軸は、過去差分画像の画素Xの画素値（現在画像と過去画像との画素値の差分値）を表している。
【０１０３】
時刻t-Nないしtの各画像の画素Xに、移動する物体が映っていない場合、N枚の過去差分画像の画素Xの画素値（差分値）としては、図９Ａに示すように、比較的小さな値が継続する。
【０１０４】
一方、時刻t-Nないしtの中のある時刻t'に、画素Xに、移動する物体が映り始め、現画像でも、画素Xに、その物体が映っている場合、図９Ｂに示すように、時刻t'より前の時刻の過去差分画像の画素Xの画素値（差分値）としては、比較的大きな値が継続し、時刻t'以後の時刻の過去差分画像の画素Xの画素値（差分値）は、比較的小さな値になる。
【０１０５】
また、時刻t-Nないしtの画像の画素Xに、木の葉や波が映っており、その木の葉や波が揺らいでいる場合、図９Ｃに示すように、N枚の過去差分画像の画素Xの画素値（差分値）は、大きな値や小さな値に変動する。
【０１０６】
したがって、N枚の過去差分画像の画素Xの画素値（差分値）を、閾値によって２値化し、閾値を超える画素値が、ある程度の時間連続する画素を、動体が映っている画素として検出することにより、木の葉や波の揺らぎ、日差しの急激な変化による輝度の変化等の外乱を、誤って、動体として検出（誤検出）することを防止することができる。
【０１０７】
そこで、図８の動体検出部３１では、連続性カウント画像生成部５５において、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像から求められたN枚の過去差分画像の各画素について、画素値が連続して閾値を超える回数（過去差分画像の枚数）をカウントし、そのカウント値を画素値とする連続性カウント画像を生成して、動体候補領域画像生成部５６に供給する。
【０１０８】
ここで、動体候補領域画像生成部５６は、図８で説明したように、連続性カウント画像生成部５５からの連続性カウント画像の各画素の画素値を閾値によって２値化した動体候補領域画像を生成する。
【０１０９】
画素Xに動体が映っている場合には、N枚の過去差分画像の画素Xの画素値（差分値）として、比較的大きな値が継続（連続）し、連続性カウント画像の画素Xの画素値が、閾値を超えるので、画素値が閾値を超える連続性カウント画像の画素、すなわち、画素値が1になっている動体候補領域画像の画素を検出することにより、動体（が映っている画素）を検出することができる。
【０１１０】
ところで、物体が、位置Xから位置Yに移動した場合には、連続性カウント画像の画素X及びYのいずれの画素値も、閾値を超える。したがって、画素値が1になっている動体候補領域画像の画素を、動体として検出する場合には、画素X及びYの両方が、動体として検出される。
【０１１１】
しかしながら、物体が、位置Xから位置Yに移動した場合には、現画像において、画素Yには、移動後の物体が映っているが、画素Xについては、物体は移動してしまっており、映っていない。
【０１１２】
したがって、物体が、位置Xから位置Yに移動した場合には、現画像からの動体の検出にあたっては、画素X及びYの両方を、動体として検出するのではなく、現画像において移動後の物体が映っている画素Yを、動体として検出し、現画像において移動後の物体が映っていない画素Xは、動体として検出すべきでない。
【０１１３】
そこで、図８の動体検出部３１では、画素値が1になっている動体候補領域画像の画素のうちの、現画像に、移動後の物体が映っている画素だけを、動体として検出する（移動前の物体が映っていた画素は、動体として検出しない）。
【０１１４】
すなわち、図８の動体検出部３１では、上述したように、背景差分画像生成部５２において、画像取得部１１からの現画像と、背景生成部５１からの背景との各画素の画素値の差分絶対値を画素値とする背景差分画像を生成して、検出部５７に供給する。
【０１１５】
背景差分画像の画素値（差分絶対値）は、現画像と背景とに違いがある画素ほど、大きな値になるので、すなわち、例えば、背景には映っていないが現画像には映っている物体の画素ほど、大きな値になるので、背景差分画像（の各画素の画素値）を閾値によって２値化することにより、背景には映っていないが現画像には映っている物体の画素の画素値が1で、他の画素の画素値が0の画像（以下、２値化背景差分画像ともいう）を得ることができる。
【０１１６】
２値化背景差分画像において、背景には映っていないが現画像には映っている物体の画素の画素値は1になっているので、２値化背景差分画像において、画素値が1になっており、動体候補領域画像でも、画素値が1になっている画素を検出することにより、現画像に、移動後の物体が映っている画素だけを、動体として検出することができる。
【０１１７】
検出部５７は、以上のように、背景差分画像生成部５２からの背景差分画像（から得られる２値化背景差分画像）と、動体候補領域画像生成部５６からの動体候補領域画像とに基づき、現画像に、移動後の物体が映っている画素だけを、動体として検出する。
【０１１８】
以上のような動体検出部３１では、背景になかった物体が現れた場合（例えば、物体が置き去りにされた場合）、現画像において、その物体が映っている部分が、動体として検出されるが、背景に存在していた物体が消えた場合（例えば、物体が持ち去られた場合）、現画像において、背景に存在していた物体が映っていた部分が、動体として検出される。
【０１１９】
［一時停止判定部３２］
図１０は、図１の一時停止判定部３２の処理を説明する図である。一時停止判定部３２は、動体検出部３１からの（動体領域に含まれる）動体が、所定の一定時間以上停止する一時停止をしているかどうかを判定する。
【０１２０】
動体が一時停止しているかどうかの判定では、動体が停止している停止状態にあるかどうかの停止状態判定と、停止状態が、所定の一定時間（上述の不動体認知時間mと同程度か、又は、多少短い時間）以上継続したかどうかを判定する継続判定とが行われる。
【０１２１】
すなわち、一時停止判定部３２は、動体検出部３１で検出される動体のトラッキングにより、時刻tの画像（現画像）から検出された動体と、その動体と同一の動体であるであるとして、1時刻前の時刻t-1の画像から検出された動体とを用いて、停止状態判定を行う。
【０１２２】
停止状態判定では、現画像から検出された動体と、例えば、時刻t-1等の前の時刻（過去の時刻）の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満であるかどうかが判定される。
【０１２３】
ここで、位置ずれ量としては、例えば、現画像から検出された動体の矩形の動体領域の中心（重心）の座標（位置）を、(cx,cy)と表すとともに、時刻t-1の画像から検出された動体の矩形の動体領域の中心の座標を、(cx_p,cy_p)と表すこととすると、位置ずれ量は、例えば、式|cx-cx_p|＋|cy-cy_p|で表すことができる。
【０１２４】
この場合、停止状態判定では、式|cx-cx_p|＋|cy-cy_p|＜TH1を満たすかどうかが判定される。
【０１２５】
現画像から検出された動体と、時刻t-1の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満である場合には、連続して停止状態にあることをカウントする変数snumが、1だけインクリメントされる。
【０１２６】
また、現画像から検出された動体と、時刻t-1の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満でない場合には、変数snumが、0にリセットされる。
【０１２７】
そして、継続判定では、変数snumが、所定の一定時間に相当する時間の閾値TH2より大（以上）であるかどうかが判定される。
【０１２８】
変数snumが閾値TH2より大である場合、現画像から検出された動体は、一時停止している（一時停止状態である）と判定され、変数snumが閾値TH2より大でない場合、現画像から検出された動体は、一時停止していない（一時停止状態でない）と判定される。
【０１２９】
以上のように、一時停止判定部３２では、現画像から検出された動体と、現画像の1時刻前の画像から検出された動体との位置ずれ量が閾値TH1以内であることが、時間の閾値TH2以上だけ連続した場合に、現画像から検出された動体が、所定の一定時間以上停止している一時停止状態であると判定される。
【０１３０】
一時停止判定部３２は、現画像から検出された動体が、所定の一定時間以上停止している一時停止状態であると判定すると、その動体に、一時停止状態であることを表す値である1をセットした一時停止フラグisPauseを割り当てる。
【０１３１】
そして、一時停止判定部３２は、1がセットされた一時停止フラグisPauseが割り当てられている動体を、一時停止しているオブジェクトである一時停止オブジェクトとして、一時停止画像処理部３３に供給する。
【０１３２】
一時停止画像処理部３３は、一時停止判定部３２から供給される一時停止オブジェクトを、記憶部３４に記憶されている一時停止画像に、上書きする形で登録する（記憶させる）。
【０１３３】
なお、人（人間）については、一時停止オブジェクト、ひいては、不動体として検出する対象から除外したい場合がある。本件発明者の経験上、人については、比較的、短時間に、輝度が変化するので、現画像から検知される動体が、比較的、短時間に、輝度が変化する動体である場合には、一時停止判定部３２において、一時停止していると判定されても、一時停止オブジェクトとしない（記憶部３４に登録しない）ことにより、人が、不動体として検出されることを防止することができる。
【０１３４】
［信頼度処理部３５］
図１１は、図１の信頼度処理部３５の処理を説明する図である。信頼度処理部３５は、図１で説明したように、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用いて、現画像の各画素について、不動体信頼度を求め、記憶部３６に登録する（記憶させる）。
【０１３５】
ここで、図１１に示すように、現画像に、家と木、自動車、及び、歩行者が映っているとする。また、図１１においては、現画像に映る家と木が、背景であり、自動車が、不動体であり、歩行者が、動体としての動いている物体であるとする。この場合、記憶部３４には、図１１に示すように、不動体である自動車が一時停止オブジェクトとして映る一時停止画像が記憶される。
【０１３６】
いま、現画像の、不動体である自動車が映るある画素（以下、不動体画素ともいう）Xに注目すると、現画像の不動体画素（位置Xの画素）Xの画素値Iと、一時停止画像の不動体画素（位置Xの画素）Xの画素値Pとは、同様の値（一致、又は、ほぼ一致する値）になる。
【０１３７】
また、一時停止画像の不動体画素Xの画素値Pと、背景の不動体画素（位置Xの画素）Xの画素値Bとは、同様の値にはならない。
【０１３８】
さらに、現画像の不動体画素Xの画素値Iと、背景の不動体画素Xの画素値Bとは、やはり、同様の値にならない。
【０１３９】
一方、現画像の、背景である、例えば、家が映る画素（以下、背景画素ともいう）X'に注目すると、現画像の背景画素X'の画素値Iと、一時停止画像の背景画素X'の画素値Pとは、同様の値にはならない。
【０１４０】
さらに、一時停止画像の背景画素X'の画素値Pと、背景の背景画素X'の画素値Bとは、やはり、同様の値にはならない。但し、現画像の背景画素X'の画素値Iと、背景の背景画素X'の画素値Bとは、同様の値になる。
【０１４１】
一方、現画像の、動体である、歩行者が映る画素（以下、動体画素ともいう）X''に注目すると、現画像の動体画素X''の画素値Iと、一時停止画像の動体画素X''の画素値Pとは、同様の値にはならない。
【０１４２】
さらに、一時停止画像の動体画素X''の画素値Pと、背景の動体画素X''の画素値Bとは、やはり、同様の値にはならず、現画像の動体画素X''の画素値Iと、背景の動体画素X''の画素値Bとも、同様の値にはならない。
【０１４３】
これは、現画像において、図１１に示すように、動体画素が、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている画素であっても、同様である。
【０１４４】
以上のように、現画像の位置Xの画素が、不動体画素、背景画素、及び、動体画素のうちのいずれであるかによって、現画像、一時停止画像、及び、背景それぞれの位置Xの画素の画素値どうしの大小関係が異なるので、その大小関係に基づいて、現画像の位置Xの画素が、不動体画素であることの確からしさである不動体信頼度を見積もることができる。
【０１４５】
そこで、信頼度処理部３５は、現画像の各画素（各位置Xの画素）Xについて、現画像、背景、及び、一時停止画像の画素Xの画素値どうしの大小関係に基づいて、不動体信頼度を求める。
【０１４６】
すなわち、信頼度処理部３５は、例えば、図１の不動体検出装置の電源がオンにされたときに、記憶部３６に記憶された信頼度画像（不動体信頼度を画素値とする画像）の各画素値を、例えば0にリセットする。
【０１４７】
そして、信頼度処理部３５は、記憶部３４に、一時停止オブジェクトが、新たに登録（記憶）されると、すなわち、現画像から、新たな一時停止オブジェクトが得られると、記憶部３６に記憶された信頼度画像のうちの、新たな一時停止オブジェクトを構成する各画素について、不動体信頼度の初期値C0を設定する（記憶部３６に記憶させる（登録する））。
【０１４８】
さらに、信頼度処理部３５は、新たな現画像が得られるごとに（フレームごとに）、現画像の各画素の不動体画素らしさを判定し、その判定結果に基づいて、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を更新する。
【０１４９】
図１２は、信頼度処理部３５による不動体信頼度の更新の概要を説明する図である。いま、現画像の位置Xの画素の画素値を、I(X)と、一時停止画像の位置Xの画素の画素値を、P(X)と、背景の位置Xの画素の画素値を、B(X)と表すこととする。
【０１５０】
図１１で説明したように、現画像の位置Xの画素が、不動体画素である場合には、画素値I(X)と画素値P(X)とは、同様の値になり、画素値P(X)と画素値B(X)とは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値にならない。
【０１５１】
また、現画像の位置Xの画素が、背景画素である場合には、画素値I(X)と画素値P(X)とは、同様の値にはならず、画素値P(X)と画素値B(X)とは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値になる。
【０１５２】
さらに、現画像の位置Xの画素値が、動体画素である場合には、画素値I(X)と画素値P(X)とは、同様の値にはならず、画素値P(X)と画素値Bとは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値にはならない。
【０１５３】
そこで、信頼度処理部３５は、図１２Ａに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th以上である場合には、現画像の画素（位置Xの画素）Xは、不動体画素である可能性が高いので、その画素Xについての不動体信頼度C(X)の更新量ΔC(X)を、例えば、+1に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋ΔC(X)に従って更新する（不動体信頼度C(X)をインクリメントする）。
【０１５４】
さらに、信頼度処理部３５は、図１２Ｂに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満であるか、又は、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th未満であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合には、現画像の画素Xは、背景画素である可能性が高いので、その画素Xについての不動体信頼度C(X)の更新量ΔC(X)を、例えば、-1に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋ΔC(X)に従って更新する（不動体信頼度C(X)をデクリメントする）。
【０１５５】
ここで、本実施の形態では、記憶部３４に記憶される一時停止オブジェクトは、矩形の形状をしているため、一時停止オブジェクトの一部には、背景が含まれることがある。一時停止オブジェクトに背景が含まれる場合に、その背景が映っている位置Xの画素については、画素値I(X)，P(X)、及び、B(X)は、同様の値になるため、信頼度処理部３５は、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合だけでなく、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th未満であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合、つまり、画素値I(X)，P(X)、及び、B(X)が、同様の値である場合にも、現画像の画素Xが、背景画素である可能性が高いとして、不動体信頼度C(X)をデクリメントする。
【０１５６】
また、信頼度処理部３５は、図１２Ｃに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th以上である場合、つまり、画素値I(X)，P(X)、及び、B(X)それぞれが、比較的異なる値である場合には、現画像の画素Xが、不動体画素でも、背景画素でもない可能性が高いとして、すなわち、例えば、動体画素である可能性が高いとして、その画素Xについての不動体信頼度C(X)の更新量ΔC(X)を、例えば、0に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋ΔC(X)に従って更新する（不動体信頼度C(X)をそのまま維持する）。
【０１５７】
ここで、現画像の画素Xが、動体画素である可能性が高いのにもかかわらず、その画素Xについての不動体信頼度C(X)をデクリメントしないのは、図１１に示したように、現画像において、画素X(X'')が、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であることがあるからである。
【０１５８】
すなわち、画素Xが、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であるときには、その後、動体である歩行者が、不動体である自動車の前を通り過ぎると、画素Xは、不動体である自動車が映っている不動体画素となる。
【０１５９】
したがって、ある時刻の画像において、画素Xが、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であっても、画素Xは、その後の時刻の画像において、不動体画素となることがあるので、そのようなケースにおいて、画素Xについての不動体信頼度C(X)をデクリメントすると、不動体画素が不動体として検出されなくなるおそれがあり、これを防止するためである。
【０１６０】
図１３は、信頼度処理部３５による不動体信頼度の更新の詳細を説明する図である。信頼度処理部３５は、式|I(X)-P(X)|＜th、式|P(X)-B(X)|＜th、及び、式|I(X)-B(X)|＜thのそれぞれが満たされる(Yes)か、満たされない(No)かを判定し、その判定結果に基づいて、図１３に示すように、不動体信頼度C(X)を、インクリメント（増加）させるか、デクリメント（減少）させるか、又は、そのまま維持する（増減しない）。
【０１６１】
すなわち、いま、式|I(X)-P(X)|＜thが、満たされる場合と満たされない場合とを、それぞれ、[Yes,,]と[No,,]と表すこととする。同様に、式|P(X)-B(X)|＜thが、満たされる場合と満たされない場合とを、それぞれ、[,Yes,]と[,No,]と表すとともに、式|I(X)-B(X)|が、満たされる場合と満たされない場合とを、それぞれ、[,,Yes]と[,,No]と表すこととする。
【０１６２】
この場合、例えば、[Yes,Yes,Yes]は、式|I(X)-P(X)|＜th、式|P(X)-B(X)|＜th、及び、式|I(X)-B(X)|＜thのすべてが満たされることを表す。
【０１６３】
信頼度処理部３５は、[Yes,Yes,Yes]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、[Yes,No,No]の場合、不動体信頼度C(X)を、例えば、1だけインクリメントし、[No,No,Yes]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、[No,No,No]の場合、不動体信頼度C(X)を、そのまま維持し、[No,Yes,No]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、その他の場合(Other)、不動体信頼度C(X)を、例えば、1だけデクリメントする。
【０１６４】
なお、不動体信頼度C(X)を更新する更新量（インクリメント、及び、デクリメントする量）は、1に限定されるものではない。すなわち、信頼度処理部３５では、[Yes,Yes,Yes]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、[Yes,No,No]の場合、不動体信頼度C(X)を、例えば、1だけインクリメントし、[No,No,Yes]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、[No,No,No]の場合、不動体信頼度C(X)を、そのまま維持し、[No,Yes,No]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、その他の場合(Other)、不動体信頼度C(X)を、例えば、1だけデクリメントすることができる。
【０１６５】
また、以上においては、現画像の画素値I(X)、一時停止画像の画素値P(X)、及び、背景の画素値B(X)の３つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新することとしたが、不動体信頼度C(X)は、その他、例えば、現画像の画素値I(X)、及び、一時停止画像の画素値P(X)の２つの画素値の大小関係に基づいて更新することができる。
【０１６６】
すなわち、例えば、式|I(X)-P(X)|＜thが満たされる場合には、画素Xが不動体画素であるとして、不動体信頼度C(X)をインクリメントし、式|I(X)-P(X)|＜thが満たされない場合には、画素Xが不動体画素でないとして、不動体信頼度C(X)をデクリメントすることができる。
【０１６７】
現画像の画素値I(X)、及び、一時停止画像の画素値P(X)の２つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新する場合には、現画像の画素値I(X)、一時停止画像の画素値P(X)、及び、背景の画素値B(X)の３つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新する場合に比較して、不動体を検出する精度が劣化するが、不動体検出装置を、背景生成部２１を設けずに（小型に）構成することができる。
【０１６８】
図１４は、信頼度処理部３５により更新される不動体信頼度C(X)の変化を示す図である。図１４Ａは、画素Xが、不動体画素である場合の、その画素Xについての不動体信頼度C(X)の変化を示している。
【０１６９】
画素Xが、不動体画素である場合において、一時停止判定部３２において、画素Xが一時停止していると判定されると、その画素X（の画素値）が、一時停止オブジェクトとして、記憶部３４に記憶される。
【０１７０】
画素Xが、一時停止オブジェクトとして、記憶部３４に記憶されると、信頼度処理部３５は、その画素Xについての不動体信頼度C(X)として、記憶部３６に、初期値C0を設定する（記憶させる）。画素Xが、不動体画素である場合には、その画素Xについての不動体信頼度C(X)が、時間の経過とともに増加していく（インクリメントされる）。
【０１７１】
したがって、画素Xが、不動体画素である場合には、その画素Xについての不動体信頼度C(X)は、初期値C0が設定されてから、ある程度の時間が経過すると、不動体検出部３７（図１）で行われる２値化に用いられる閾値th_conf以上の値となり、その結果、不動体検出部３７において、画素Xは、不動体として検出される。
【０１７２】
図１４Ｂは、画素Xが、揺らいでる木の葉等が映っている外乱がある画素である場合の、その画素Xについての不動体信頼度C(X)の変化を示している。
【０１７３】
一時停止判定部３２では、揺らいでる木の葉等が映っている外乱がある画素Xが、外乱の影響により、誤って、一時停止していると判定されることがあり、この場合、画素X（の画素値）は、一時停止オブジェクトとして、記憶部３４に記憶される。
【０１７４】
そして、画素Xが、一時停止オブジェクトとして、記憶部３４に記憶されると、信頼度処理部３５は、その画素Xについての不動体信頼度C(X)として、記憶部３６に、初期値C0を設定する。
【０１７５】
以上のように、画素Xについての不動体信頼度C(X)に、初期値C0が設定されても、画素Xが、揺らいでる木の葉等が映っている外乱がある画素である場合には、その画素Xについての不動体信頼度C(X)の更新では、不動体信頼度C(X)のインクリメントや、デクリメント、値の維持が、いわばランダムに行われる。
【０１７６】
したがって、画素Xについての不動体信頼度C(X)は、時間が経過しても、初期値C0からそれほど変化せず、閾値th_conf以上の値にはならない。
【０１７７】
その結果、不動体検出部３７において、画素Xは、不動体として検出されないので、外乱がある画素が不動体として誤検出されることを抑制することができる。
【０１７８】
図１５は、図１の信頼度処理部３５による不動体信頼度C(X)の初期値C0の設定を説明する図である。信頼度処理部３５は、記憶部３４に、一時停止オブジェクトが、新たに登録（記憶）されると、すなわち、現画像から、新たな一時停止オブジェクトが得られると、その一時停止オブジェクトを構成する各画素について、不動体信頼度C(X)の初期値C0を設定する。
【０１７９】
すなわち、信頼度処理部３５は、記憶部３６に記憶されている、不動体信頼度C(X)を画素値とする信頼度画像の画素のうちの、一時停止オブジェクトの画素（と同一位置にある画素）の画素値として、初期値C0を記憶させる（登録する）。この場合、記憶部３６に記憶されている信頼度画像の画素値は、初期値C0によって上書きされる。
【０１８０】
ところで、既に、一時停止オブジェクトAが得られており、その一時停止オブジェクトAについて、信頼度画像の、一時停止オブジェクトAの領域内の画素に、画素値としての不動体信頼度が記憶されている場合において、一時停止オブジェクトAに、少なくとも一部が重なるような一時停止オブジェクトBが、新たに得られたとする。
【０１８１】
この場合、新たな一時停止オブジェクトBについて、信頼度画像の、一時停止オブジェクトBの領域（図１５において、太線で囲む領域）内の画素に、画素値としての不動体信頼度の初期値C0を、何らの制限もなしに記憶させると、既に、初期値C0よりも大きな値になっている、一時停止オブジェクトAについての不動体信頼度が、初期値C0に上書きされることがある。
【０１８２】
既に、初期値C0よりも大きな値になっている、一時停止オブジェクトAについての不動体信頼度が、初期値C0に上書きされた場合、例えば、その上書き前の不動体信頼度が、既に、閾値th_conf以上になっているときには、それまで不動体として検出されていた、一時停止オブジェクトAの一部が、突然、不動体として検出されなくなる不都合が生じる。
【０１８３】
そこで、信頼度処理部３５は、記憶部３６に記憶されている信頼度画像の画素値に、初期値C0を記憶させる場合に、その画素の画素値が、既に、初期値C0以上になっているときには、その初期値C0以上の画素値の画素の画素値を、そのまま維持し、初期値C0を記憶させない（上書きを制限する）。
【０１８４】
すなわち、信頼度処理部３５は、一時停止オブジェクトが新たに得られた場合に、信頼度画像の、新たな一時停止オブジェクトの領域内の画素のうちの、画素値が初期値C0未満の画素にだけ、初期値C0を記憶させる（設定する）。
【０１８５】
これにより、信頼度画像において、既に、初期値C0よりも大きな値になっている画素値が、初期値C0に上書きされ、不動体が検出されなくなることを防止することができる。
【０１８６】
［不動体検出装置の処理］
図１６は、図１の不動体検出装置の処理（不動体検出処理）を説明するフローチャートである。
【０１８７】
画像取得部１１は、最新の画像を取得し、現画像として、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に供給する。
【０１８８】
背景生成部２１は、画像取得部１１から現画像が供給されると、ステップＳ１１において、その現画像を用い、式（３）に従って、背景を生成（更新）し、信頼度処理部３５に供給して、処理は、ステップＳ１２に進む。
【０１８９】
ステップＳ１２では、動体検出部３１が、画像取得部１１からの現画像から、動体を検出する動体検出処理を行い、処理は、ステップＳ１３に進む。
【０１９０】
ステップＳ１３では、動体検出部３１は、直前のステップＳ１２の動体検出処理で、動体が検出されたかどうかを判定する。
【０１９１】
ステップＳ１３において、動体が検出されていないと判定された場合、処理は、ステップＳ１４ないしＳ１６をスキップして、ステップＳ１７に進む。
【０１９２】
また、ステップＳ１３において、動体が検出されたと判定された場合、動体検出部３１は、現画像から検出した動体（の動体領域）を、一時停止判定部３２、及び、一時停止画像処理部３３に供給して、処理は、ステップＳ１４に進む。
【０１９３】
ステップＳ１４では、一時停止判定部３２は、動体検出部３１からの動体が一時停止しているかどうかを判定する。
【０１９４】
ステップＳ１４において、動体が一時停止していないと判定された場合、処理は、ステップＳ１５及びＳ１６をスキップして、ステップＳ１７に進む。
【０１９５】
また、ステップＳ１４において、動体が一時停止していると判定された場合、一時停止判定部３２は、その一時停止している動体を、一時停止オブジェクトとして、一時停止画像処理部３３に供給し、処理は、ステップＳ１５に進む。
【０１９６】
ステップＳ１５では、一時停止処理部３３は、一時停止判定部３２からの一時停止オブジェクトを、記憶部３４に登録し、すなわち、記憶部３４に記憶された一時停止画像の、一時停止オブジェクトに対応する領域に、その一時停止オブジェクトを記憶させ、処理は、ステップＳ１６に進む。
【０１９７】
ステップＳ１６では、信頼度処理部３５は、直前のステップＳ１５で記憶部３４に記憶された一時停止オブジェクトについて、記憶部３６に記憶された信頼度画像の、一時停止オブジェクトに対応する領域の画素に、不動体信頼度の初期値C0を記憶させ（設定し）、処理は、ステップＳ１７に進む。
【０１９８】
ステップＳ１７では、一時停止画像処理部３３は、画像取得部１１からの現画像と、動体検出部３１からの動体とを用い、式（１）及び式（２）に従って、記憶部３４に記憶された一時停止画像（に映る一時停止オブジェクト）を更新し、処理は、ステップＳ１８に進む。
【０１９９】
ステップＳ１８では、信頼度処理部３５は、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用い、図１１ないし図１４で説明したように、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を更新し、処理は、ステップＳ１９に進む。
【０２００】
ステップＳ１９では、不動体検出部３７は、記憶部３６に記憶された信頼度画像に基づいて、現画像から、不動体を検出する検出処理を行って、処理は、ステップＳ２０に進む。
【０２０１】
すなわち、検出処理では、不動体検出部３７は、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を、閾値th_confによって２値化し、２値化信頼度画像を求める。
【０２０２】
さらに、不動体検出部３７は、２値化信頼度画像について、画素値が1の画素（不動体信頼度が閾値th_conf以上の画素）と、その画素に隣接する８近傍の画素のうちの、画素値が1の画素とに、同一のラベルを付すラベリングを行うことにより、画素値が1の画素で構成される領域に外接する最小の矩形の領域を、不動体の領域（不動体領域）として検出する。
【０２０３】
ステップＳ２０では、不動体検出部３７は、直前のステップＳ１９での検出処理で、不動体が検出されたかどうかを判定する。
【０２０４】
ステップＳ２０において、不動体が検出されていないと判定された場合、処理は、ステップＳ２１をスキップして、ステップＳ２２に進む。
【０２０５】
また、ステップＳ２０において、不動体が検出されたと判定された場合、不動体検出部３７は、不動体（不動体領域）のサイズ、及び、中心の座標等を求め、不動体情報として、不動体提示部３８に供給して、処理は、ステップＳ２１に進む。
【０２０６】
ステップＳ２１では、不動体提示部３８は、不動体検出部３７からの不動体情報に基づき、画像取得部１１からの現画像を必要に応じて用いて、不動体（が検出された旨）を提示し、処理は、ステップＳ２２に進む。
【０２０７】
ステップＳ２２では、一時停止画像処理部３３は、記憶部３６に記憶された信頼度画像を参照し、その画素値である不動体信頼度が、初期値C0より小さい、例えば、0になっている、記憶部３４に記憶された一時停止オブジェクトを削除する。
【０２０８】
すなわち、一時停止画像処理部３３は、記憶部３４に記憶された一時停止オブジェクトの画素のうちの、不動体信頼度が0になっている画素の画素値を、例えば、0等にする。
【０２０９】
その後、画像取得部１１から、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に、新たな現画像が供給されるのを待って、処理は、ステップＳ２２からステップＳ１１に戻り、以下、同様の処理が繰り返される。
【０２１０】
以上のように、図１の不動体検出装置では、動体が一時停止しているかどうかを判定し、一時停止している動体である一時停止オブジェクトが映る一時停止画像と、現画像とを、少なくとも用いて、不動体信頼度を更新（生成）し、その不動体信頼度に基づいて、不動体を検出するので、誤検出を抑制した、頑強な不動体検出を行うことができる。
【０２１１】
［誤検出を防ぐ処理について］
以上のように、図１の不動体検出装置では、誤検出を抑制した、頑強な不動体検出を行うことができるが、取得される画像（処理対象とされる画像）が、以下のような画像である場合、不動体検出が正常に行えない可能性がある。そのような不動体検出を正常に行えない領域を検出し、より誤検出を抑制した、頑強な不動体検出を行うことができるようにするための処理について説明を加える。
【０２１２】
不動体検出が正常に行えない可能性がある画像とは、例えば、交差点を撮影しているようなカメラから取得された画像のように、多数の人や車が往来する領域が存在する画像である。このような多数の人や車が往来する領域がある画像の場合、背景が正常に生成されずに、不動体の誤検出が行われてしまう可能性がある。
【０２１３】
そこで、そのような領域を検出し、適切な処理ができるようにする。適切な処理とは、後述するように、例えば、不動体提示部３８により、そのような領域をユーザに提示し、ユーザに認識させることである。背景が正常に生成されない領域は、処理困難領域判断部２２により検出される。処理困難領域判断部２２は、背景生成部２１により生成される背景モデルを用いて処理困難な領域を検出する。
【０２１４】
背景モデルは、図３乃至７を参照して説明したように、画素毎に生成される。背景モデルとしては、例えば、３項分布の場合、図３Ａに示したような背景モデルが生成される。ここで、再度背景モデルについて説明を加える。
【０２１５】
例えば、同一の静止画像、例えば、図２の時刻ｔ１のときの画像が、１００フレーム連続するような映像を処理した場合を考える。このような場合、所定の画素の輝度値は、１００フレームで同一であるため、その画素の背景モデルを生成した場合、１つの分布だけが存在し、その分布の重みは処理したフレーム数に応じた比較的大きな値（例えば、重みが１づつ増加する設定の場合、１００)になっている背景モデルが生成される。静止画像でなくても、背景のような画像であれば、このような背景モデルが生成されると想定できる。
【０２１６】
また、図２の時刻ｔ１の画像のように、家と木が映っている画像を撮影し続けた映像であり、木が揺らいでいるような場合、家の所定の位置の壁を注視したとき、その壁が見えているときとその壁に揺らいだ木の葉が見えているときとがある。このような領域を見たとき、壁と木の葉が交互に見える状態である。このような領域から得られる背景モデルは、壁の画素の輝度値の分布と、木の葉の画素の輝度値の分布が存在する背景モデルが生成される可能性が高い。
【０２１７】
このように、背景と判断される画像(領域)から得られる背景モデルは、１または２などの少ない分布を有し、その各分布の重みは、比較的高い数値となることが予想される。また、１つの分布は、所定の範囲の輝度値を含むため、多少の輝度値の変化であれば、その範囲内に吸収することができる。また、図４のフローチャートを参照して説明したように、分布の更新、削除、生成といった処理が行われるため、背景の輝度値が変化しても、背景モデルの分布の状況が急激に変化するようなことはないとされる。
【０２１８】
よって、背景と判断される画像から得られる背景モデルは、高い重みを有する分布が存在している背景モデルである。このような背景モデルが存在する領域は、背景が正常に生成され、不動体の誤検出が行われる可能性が低い領域である。
【０２１９】
これに対して、車や人などの動体が頻繁に往来するような輝度値の変化が激しい領域から得られる背景モデルは、輝度値の変化が激しいために、背景モデルの輝度値の分布が分散し、１つの分布の重みは低い数値となる。このような背景モデルが存在する領域は、背景が正常に生成されずに、不動体の誤検出が行われる可能性がある領域である。
【０２２０】
このような不動体の誤検出が行われる可能性がある領域(画素)を、処理困難領域判断部２２は検出する。ここでは、不動体の誤検出が行われる可能性がある領域であり、不動体が検出されたとしても、その検出の信頼度が低い領域を、処理不可能な領域と記述する。換言すれば、信頼度の高い背景との比較で、不動体が検出されることで、信頼度の高い不動体が検出されるが、そのような信頼度の高い背景を生成することが困難な領域を、処理不可能な領域と記述する。
【０２２１】
逆に、不動体の検出が正常に行われる可能性が高い領域であり、その検出の信頼度が高い領域を、処理可能な領域と記述する。
【０２２２】
処理可能な領域であるか、処理不可能な領域であるかの判断は、上記した説明から明らかなように、生成された背景モデルのうち、重みが一番高い分布の重みと、更新した回数により判断することができる。ここでは、重みが一番高い分布の重みが、更新した回数と項数より計算される閾値よりも高い場合に、処理可能と判断され、それ以外の場合には処理不可能と判断されるとして説明を続ける。
【０２２３】
具体的には、生成された背景モデルの分布のうち最も重みの高い分布の重みをWh（t,X）とし、判断がされるときまでに分布が更新された回数をC（t,X）とし、背景モデルで表現する分布の数をＮとした場合、以下の式（５）で処理可能な領域の画素か否かが判断される。
【０２２４】
If Wh（t,X）＞β×C（t,X）/Ｎ ：処理可能
Else：処理不可能
・・・（５）
【０２２５】
式(５)におけるβは、調整のパラメータであり通常の場合は１に設定される。背景モデルが、３項分布の場合、Ｎ＝３となる。C（t,X）は、分布が更新された回数であるが、例えば、１００フレームが処理された結果、得られた背景モデルの場合、１００となる。よって、分布が更新された回数とは、処理対象とされた累計のフレーム数となる。
【０２２６】
式（５）に基づいて、処理可能な領域(画素)であるか否かが判断されるようにしても良いし、式（５）における不等号の右辺を、所定の閾値(固定値)として、重みがその所定の閾値以上であれば、処理可能な領域(画素)であると判断されるようにしても良い。
【０２２７】
また、ここでは、画素毎に背景モデルが生成され、その生成された背景モデルが用いられて、式（５）に基づき処理可能であるか否かが判断されるとして説明した。すなわちこの場合、画素毎に、その画素が処理可能な画素であるか否かを判断していることになる。画素毎ではなく、所定の領域のブロック単位で、まとめて処理可能であるか否かを判断するように構成することも可能である。
【０２２８】
このようにして、処理可能と判断された画素、およびその画素を含む領域は、背景を正常に生成できるため、そのまま後段の処理を続けても問題ないが、処理不可能と判断された画像(領域)は、背景を正常に生成できず、不動体の検出が正常に行えない可能性があるため、そのような領域に対しては、適切な処理を行う必要がある。
【０２２９】
ここでは、適切な処理として、ユーザに処理不可能と判断された領域を提示するとして説明する。処理困難領域判断部２２からの出力は、不動体提示部３８に供給される。不動体提示部３８は、上述したように、不動体検出部３７からの不動体情報に基づき、不動体が検出された旨を提示する。その提示は、例えば、画像取得部１１からの現画像に、不動体検出部３７からの不動体情報によって特定される不動体領域を囲む枠のOSD(On Screen Display)を重畳し、図示せぬ表示装置に表示させることで行われるとして説明した。
【０２３０】
この不動体が検出された領域と同じく、処理不可能と判断された領域も、画像取得部１１からの現画像に、囲む枠のOSD(On Screen Display)を重畳し、図示せぬ表示装置に表示させることで、ユーザに提示されるようにしても良い。換言すれば、不動体と処理不可能な領域が、ユーザに提示される。このようにして提示された処理不可能な領域を確認することで、ユーザは、そのような領域に仮に不動体が検出されたことが提示されていても、その不動体の検出の信頼度は低いことを認識することができる。そのような信頼度の低い不動体に対する対処はしないという判断も、ユーザは行うことが可能となる。
【０２３１】
ユーザが確認することで、仮に、処理不可能領域ではないとユーザが判断した場合、そのユーザの指示によりリセットするなどの処理を実行することが可能となる。また、ユーザが確認することで、処理不可能領域であると判断した場合、ユーザが、その領域の提示を停止させたり、他の提示方法に変えたりすることができるようにしても良い。例えば、処理不可能領域が、ユーザが確認した結果、その後も処理不可能領域である可能性が高いような場合に、そのような領域が提示され続けると、目障りになることも考えられる。よって、そのような提示がされないように設定したり、塗りつぶして表示されるように設定したりできるようにしても良い。
【０２３２】
また、ネットワークなどで接続されている他の装置に対して処理不可能な領域を通知し、通知を受け取った他の装置側で、自由な表示方法に加工してユーザ側に提示したり、他の処理をしたりするようにしても良い。このような場合、検出された処理不可能な領域を１、処理可能な領域を０と表現した画像を生成し、その画像をメタデータとしてネットワークを介して他の装置に送信するように構成することができる。
【０２３３】
また上記した式（５）において、βはパラメータであるとした。このパラメータであるβを、ユーザが設定できるようにしても良い。パラメータを設定する際、数値をユーザが直接設定できるようにしても良い。
【０２３４】
または、ユーザにわかりやすいように、例えば、高、中、弱などの複数の段階で設定可能にしておいても良い。そして、高のパラメータになるほど、βの値が大きな値になるように変更されるように設定しておく。例えば、このように高、中、弱の三段階が設定された場合、βの値として、高の場合は２、中の場合は１、弱の場合は０．５などのパラメータが設定されるようにする。
【０２３５】
βの値が１より大きな値に設定されることで、式（５）の不等号の右辺の値が大きくなるため、不等号が成立しないケースが増え、処理不可能と判断される画素が増える可能性がある。例えば、車の往来は激しくないが、不動体が検出される可能性が低い所などを、処理不可能な画素(領域)として判断させたい場合など、βの値は大きな値に設定される。
【０２３６】
このようにユーザにパラメータを入力してもらうことによりユーザの使用環境に応じた推定も可能となり、その推定を用いた処理なども可能となる。このように、ユーザがパラメータを設定したり、上記した処理不可能領域の表示の仕方などに係わる設定をしたりすることができるようにした場合、図１７に示すように、パラメータ設定部８１を設け、パラメータ設定部８１により設定されたパラメータが、処理困難領域判断部２２に供給されるような構成とする。
【０２３７】
パラメータ設定部８１は、ユーザが設定したパラメータなどを取得する機能を有する。例えば、キーボードなどの操作部を含む構成とすることができる。パラメータ設定部８１により設定されたパラメータが、処理困難領域判断部２２に供給され、処理困難領域判断部２２が、供給されたパラメータを、式（５）のβの値として代入し、処理を行う。このように、ユーザによりパラメータが設定されるようにしても良い。
【０２３８】
なお、上述した実施の形態においては、処理不可能な画素(領域)をユーザに提示するとして説明したが、提示するだけでなく、そのような領域を処理しないように設定することも可能である。例えば、処理困難領域判断部２２により、処理不可能な領域と判断された領域に関する情報が、動体検出部３１や不動体検出部３７など、不動体検出装置の各部に供給されるような構成とする(不図示)。そのような構成とし、例えば、動体検出部３１において、処理不可能な領域を処理しない(その領域からは動体を検出しない)ように設定し、処理しないように構成することも可能である。
【０２３９】
このように構成することで、不動体検出装置における処理負担の軽減をはかることが可能となる。このように、処理不可能な領域は処理しないように設定するのは、ユーザにより、処理不可能な領域が確認され、ユーザの了承を得た後に設定されるようにすることも可能である。
【０２４０】
［不動体検出装置の処理について］
図１８を参照し、再度、図１の不動体検出装置の処理を説明する。以下の説明においては、処理不可能な画素(領域)は検出されないとして説明を続ける。
【０２４１】
図１８は、幾つかの時刻t1ないしt8それぞれの現画像、一時停止画像、及び、背景の例を示している。図１８において、時刻t1では、現画像には、木だけが映っており、背景生成部２１において、現画像と同様の木だけが映っている画像が、背景として生成されている。また、一時停止画像には、何らの一時停止オブジェクトも映っていない。
【０２４２】
時刻t1の後の時刻t2では、右から左の方向に移動する自動車が現れ始めており、現画像には、木とともに、右側に、現れ始めた自動車が映っている。現画像に映っている自動車は、動体検出部３１において、動体として検出される。また、背景生成部２１では、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２４３】
時刻t2の後の時刻t3では、移動していた自動車が停止（ストップ）し、現画像には、木とともに、左側に、停止した自動車が映っている。停止した自動車は、動体検出部３１において、動体として検出され続けるが、まだ、停止した直後であるため、一時停止判定部３２において、まだ、一時停止しているとは判定されず、一時停止画像には反映されていない。また、背景生成部２１では、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２４４】
時刻t3の後の時刻t4では、自動車が停止し続けており、現画像には、時刻t3の場合と同様に、木とともに、左側に、停止した自動車が映っている。そして、時刻t4では、自動車が、所定の一定時間だけ停止し続けており、一時停止判定部３２において、一時停止していると判定され、一時停止画像処理部３３において、一時停止オブジェクトとして、記憶部３４に記憶された一時停止画像に登録（反映）されている。これにより、一時停止画像は、一時停止オブジェクトである自動車が映った画像になっている。
【０２４５】
さらに、時刻t4では、一時停止オブジェクトとしての自動車が、記憶部３４に記憶されたことにより、信頼度処理部３５において、記憶部３６に記憶された信頼度画像の、一時停止オブジェクトとしての自動車に対応する領域の画素の画素値に、不動体信頼度の初期値C0が設定される。
【０２４６】
また、時刻t4では、背景生成部２１において、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２４７】
時刻t4から、その後の時刻t5までの間、自動車が停止し続けており、時刻t5の現画像には、時刻t3及びt4の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、一時停止オブジェクトとしての自動車が映った一時停止画像が記憶され続けており、背景生成部２１において、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２４８】
したがって、時刻t4から時刻t5にかけては、現画像の、一時停止オブジェクトとしての自動車が映っている画素Xについては、現画像の画素Xの画素値I(X)、一時停止画像の画素Xの画素値P(X)、及び、背景の画素Xの画素値B(X)に関して、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満になり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th以上になり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th以上になるので、信頼度処理部３５において、図１２Ａで説明したように、記憶部４６に記憶された信頼度画像の画素X（位置Xの画素）の画素値である不動体信頼度C(X)がインクリメントされていく。
【０２４９】
そして、時刻t5において、現画像の、一時停止オブジェクトとしての自動車が映っている画素Xについての不動体信頼度C(X)が、閾値th_confとなり、その結果、不動体検出部３７において、現画像の、一時停止オブジェクトとしての自動車が、不動体として検出されている。
【０２５０】
時刻t5の後の時刻t6では、自動車が停止し続けており、時刻t6の現画像には、時刻t3ないしt5の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、一時停止オブジェクトとしての自動車が映った一時停止画像が記憶され続けている。
【０２５１】
さらに、時刻t6では、自動車が停止した時刻t3から、不動体認知時間mの5倍等の相当の時間が経過しており、そのため、背景生成部２１において、停止している自動車の影響を受けた、木と自動車が映っている画像が、背景として生成されている。
【０２５２】
時刻t6から、その後の時刻t7までの間、自動車が停止し続けており、時刻t7の現画像には、時刻t3ないしt6の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、自動車が映った一時停止画像が記憶され続けており、背景生成部２１においては、自動車の影響を受けた、木と自動車が映っている画像が、背景として生成されている。
【０２５３】
したがって、時刻t6から時刻t7にかけては、現画像の自動車が映っている画素Xについては、現画像の画素Xの画素値I(X)、一時停止画像の画素Xの画素値P(X)、及び、背景の画素Xの画素値B(X)に関して、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満になり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th未満になり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th未満になるので、信頼度処理部３５において、図１２Ｂで説明したように、記憶部４６に記憶された信頼度画像の画素X（位置Xの画素）の画素値である不動体信頼度C(X)がデクリメントされていく。
【０２５４】
そして、時刻t7において、現画像の自動車が映っている画素Xについての不動体信頼度C(X)が、閾値th_conf未満となり、その結果、不動体検出部３７において、現画像の自動車が、不動体として検出されなくなる。
【０２５５】
その後も、自動車が停止し続けており、これにより、現画像の自動車が映っている画素Xについての不動体信頼度C(X)がデクリメントされ続ける。
【０２５６】
そして、時刻t7の後の時刻t8では、現画像の自動車が映っている画素Xについての不動体信頼度C(X)が0になり、一時停止画像処理部３３において、不動体信頼度が0になった、記憶部３４に記憶された自動車が削除（消去）される。
【０２５７】
ここで、上述の場合には、画素Xについての不動体信頼度C(X)が、閾値th_conf以上である場合には、その画素Xを不動体として検出することとしたが、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、不動体信頼度C(X)が単調減少している場合には、画素Xを、不動体として検出することを制限すること（不動体として検出しないこと）ができる。
【０２５８】
すなわち、図１の不動体検出装置では、例えば、図１８で説明したように、不動体である自動車が、停止し続け、背景に反映されると、自動車が映っている画素Xについての不動体信頼度C(X)が、デクリメントされ続け、閾値th_conf未満になると、自動車が、不動体として検出されなくなる。
【０２５９】
したがって、停止し続けている自動車が、背景に反映された後は、自動車が映っている画素についての不動体信頼度は、単調減少し、その後、不動体信頼度が、閾値th_conf未満になるのを待って、自動車が、不動体として検出されなくなるのであるから、結局、自動車が映っている画素についての不動体信頼度が単調減少しているということは、将来的に、自動車が、不動体として検出されなくなることを意味する。
【０２６０】
そこで、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、不動体信頼度C(X)が単調減少している場合には、画素Xを、不動体として検出することを制限することができる。
【０２６１】
図１９は、不動体信頼度C(X)が単調減少している場合に、画素Xを、不動体として検出することを制限することを説明する図である。図１９は、不動体信頼度C(X)を示す図である。
【０２６２】
不動体検出部３７では、図１９に示すように、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、所定の時間Δtだけ連続して減少（単調減少）した場合には、その後、画素Xを、不動体として検出することが制限される。
【０２６３】
なお、不動体検出部３７では、その他、例えば、画素Xの不動体信頼度C(X)が、閾値th-conf未満であっても、所定の時間Δtだけ連続して増加（単調増加）した場合には、画素Xを、不動体として検出することができる。
【０２６４】
［複数枚の一時停止画像、及び、信頼度画像］
上述の場合には、記憶部３４及び３６（図１）に、それぞれ、１枚（１画面分の）一時停止画像、及び、信頼度画像が記憶されることを暗黙の前提としたが、記憶部３４及び３６には、それぞれ、複数枚の一時停止画像、及び、信頼度画像を記憶させることができる。
【０２６５】
図２０は、記憶部３４及び３６に、それぞれ、３枚の一時停止画像、及び、信頼度画像が記憶される場合の、図１の不動体検出装置の処理を説明する図である。
【０２６６】
なお、複数枚の一時停止画像P#iと、複数枚の信頼度画像Q#iとは、同一の枚数だけ用意される。また、１枚の一時停止画像P#iと、１枚の信頼度画像Q#iとは、対応付けられて、１組として使用される。
【０２６７】
いま、記憶部３４に、３枚の一時停止画像P#1,P#2,P#3が記憶されるとともに、記憶部３６に、一時停止画像P#1,P#2,P#3それぞれと組になる信頼度画像Q#1,Q#2,Q#3が記憶されることとする。
【０２６８】
一時停止画像処理部３３は、記憶部３４に、一時停止判定部３２からの新たな一時停止オブジェクトを登録する場合、記憶部３６の信頼度画像Q#1ないしQ#3の中から、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている１枚の信頼度画像Q#iを検出する。
【０２６９】
そして、一時停止画像処理部３３は、記憶部３４の一時停止画像P#1ないしP#3のうちの、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている信頼度画像Q#iと組になっている一時停止画像P#iに、新たな一時停止オブジェクトを登録（上書き）する。
【０２７０】
図２０では、信頼度画像Q#1ないしQ#3の中で、新たな一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっているのは、信頼度画像Q#3だけであり、そのため、その信頼度画像Q#3と組になっている一時停止画像P#3に、新たな一時停止オブジェクトが登録されている。
【０２７１】
なお、信頼度画像Q#1ないしQ#3の中に、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている信頼度画像が存在しない場合には、信頼度画像Q#1ないしQ#3の中で、例えば、一時停止オブジェクトに対応する領域の不動体信頼度の平均値が最小の信頼度画像が検出され、その信頼度画像と組になっている一時停止画像に、新たな一時停止オブジェクトが登録される。
【０２７２】
また、一時停止画像処理部３３は、記憶部３４に記憶された一時停止画像P#1ないしP#3それぞれについて、１枚の一時停止画像の場合と同様に、式（１）及び式（２）に従った更新を、独立に行う。
【０２７３】
信頼度処理部３５は、記憶部３４に記憶された一時停止画像P#iに、一時停止オブジェクトが新たに登録された場合に、記憶部３６に記憶された信頼度画像Q#1ないしQ#3のうちの、一時停止オブジェクトが新たに登録された一時停止画像P#iと組になっている信頼度画像Q#iの画素値としての不動体信頼度だけを、１枚の信頼度画像の場合と同様に、初期値C0に設定する。
【０２７４】
そして、信頼度処理部３５は、記憶部３６に記憶された信頼度画像Q#1ないしQ#3それぞれの不動体信頼度を、その信頼度画像Q#iと組になっている一時停止画像P#iを用いて、１枚の信頼度画像の場合と同様に、独立に更新する。
【０２７５】
不動体検出部３７は、記憶部３６に記憶された信頼度画像Q#1ないしQ#3それぞれについて、その信頼度画像Q#iを用いて、１枚の信頼度画像の場合と同様に、不動体を、独立に検出する。
【０２７６】
以上のように、複数枚の一時停止画像、及び、信頼度画像を用いることにより、不動体が、最大で、その複数枚と同一の数だけ重なっている場合であっても、その重なっている不動体を、分離して検出することができる。
【０２７７】
［本技術を適用したネットワークカメラについて］
上述した不動体を検出する不動体検出装置は、例えば、図２１に示すネットワークカメラの一部に含まれる構成とすることも可能である。図２１に示したネットワークカメラは、撮像部９１、撮像信号処理部９２、撮像データ処理部９３、画像処理部９４、および伝送部９５から構成される。
【０２７８】
撮像部９１により撮像された映像の信号は、撮像信号処理部９２に供給され、高精細化の処理などの画像処理が施される。画像処理が施された信号は、撮像データ処理部９３に供給され、伝送部９５による伝送に合わした圧縮方式で圧縮処理が施され、伝送部９５によりネットワークを介して他の装置に送信される。
【０２７９】
また撮像信号処理部９２からの信号は画像処理部９４にも供給される。画像処理部９４は、図１または図１７に示した不動体検出装置を含み、検出した不動体の情報や、背景として信頼度が低い領域の情報などを、例えば、メタデータとして伝送部９５に供給する。伝送部９５は、供給されたメタデータを、撮像データ処理部９３からの撮像データとともにネットワークを介して他の装置に送信する。
【０２８０】
このような構成のネットワークカメラに、本技術を適用した不動体検出装置を適用できる。また、図示はしないが、信号処理ＩＣなどにも、本技術を適用できる。また、図２２に示すコンピュータにも、本技術を適用できる。
【０２８１】
［本技術を適用したコンピュータの説明］
【０２８２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２８３】
そこで、図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２８４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２８５】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２８６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２８７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０２８８】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０２８９】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２９０】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２９１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２９２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２９３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９４】
すなわち、例えば、本実施の形態では、不動体提示部３８において、不動体検出部３７から不動体情報が供給されると、不動体が検出された旨を、音声や、画像、ランプの点滅や点灯等によって、ユーザに提示（報知）することとしたが、不動体検出部３７で得られた不動体情報は、画像取得部１１で取得された画像とともに、その画像のメタデータとして、ネットワークを介して送信することができる。
【０２９５】
また、本実施の形態では、不動体検出部３７において、記憶部３６に記憶された信頼度画像の、画素値である不動体信頼度が閾値以上の画素の画素値を1とするとともに、画素値（不動体信頼度）が閾値未満の画素の画素値を0とする２値化を行うことで、２値化信頼度画像を求めることとしたが、２値化信頼度画像は、その他、例えば、信頼度画像の、画素値（不動体信頼度）が閾値以上の画素であり、かつ、一時停止オブジェクトが映る画素として、記憶部３４に記憶されてから所定の設定時間以上が経過している画素の画素値を1とするとともに、他の画素の画素値を0とする２値化を行うこと等によって求めることができる。
【０２９６】
また、図１の不動体検出装置は、例えば、撮影した画像をネットワークを介して伝送することができるネットワークカメラや、アナログ画像をネットワーク化する機器（アナログ画像をネットワークを介して伝送する機器、PC(Personal Computer)のアプリケーション、その他の機器に適用可能である。
【０２９７】
ここで、本明細書において、「以上」や「以下」は、「より大きい」や「未満」であってもよく、逆に、「より大きい」や「未満」は、「以上」や「以下」であってもよい。
【０２９８】
また、本技術は、以下のような構成をとることもできる。
【０２９９】
（１）
取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、
前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部と
を備える画像処理装置。
（２）
前記背景モデルは、所定の座標における輝度値とその輝度値が現れた頻度を関連付けた分布から構成され、
前記判断部は、前記頻度が最も高い分布が所定の値より大きい場合、信頼度の高い背景が生成できると判断する
前記（１)に記載の画像処理装置。
（３）
前記所定の値は、前記多項分布の項数と、前記背景モデルの更新回数から算出される値である
前記（２)に記載の画像処理装置。
（４）
前記判断部により信頼度の高い背景が生成できないと判断された領域を、ユーザに提示する
前記（１)乃至（３）のいずれかに記載の画像処理装置。
（５）
現画像において、前記生成部により生成される背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
をさらに備える前記（１)に記載の画像処理装置。
（６）
取得される映像から、多項分布の背景モデルを生成し、背景を生成し、
生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する
ステップを含む画像処理方法。
（７）
取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、
前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０３００】
１１ 画像取得部， ２１ 背景生成部， ２２ 処理困難領域判断部， ３１ 動体検出部， ３２ 一時停止判定部， ３３ 一時停止画像処理部， ３４ 記憶部， ３５ 信頼度処理部， ３６ 記憶部， ３７ 不動体検出部， ３８ 不動体提示部， ５１ 背景生成部， ５２ 背景差分画像生成部， ５３ 過去画像記憶部， ５４ 過去差分画像生成部， ５５ 連続性カウント画像生成部， ５６ 動体候補領域画像生成部， ５７ 検出部
【特許請求の範囲】
【請求項１】
取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、
前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部と
を備える画像処理装置。
【請求項２】
前記背景モデルは、所定の座標における輝度値とその輝度値が現れた頻度を関連付けた分布から構成され、
前記判断部は、前記頻度が最も高い分布が所定の値より大きい場合、信頼度の高い背景が生成できると判断する
請求項１に記載の画像処理装置。
【請求項３】
前記所定の値は、前記多項分布の項数と、前記背景モデルの更新回数から算出される値である
請求項２に記載の画像処理装置。
【請求項４】
前記判断部により信頼度の高い背景が生成できないと判断された領域を、ユーザに提示する
請求項１に記載の画像処理装置。
【請求項５】
現画像において、前記生成部により生成される背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
をさらに備える請求項１に記載の画像処理装置。
【請求項６】
取得される映像から、多項分布の背景モデルを生成し、背景を生成し、
生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する
ステップを含む画像処理方法。
【請求項７】
取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、
前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部と
して、コンピュータを機能させるためのプログラム。
【請求項１】
取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、
前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部と
を備える画像処理装置。
【請求項２】
前記背景モデルは、所定の座標における輝度値とその輝度値が現れた頻度を関連付けた分布から構成され、
前記判断部は、前記頻度が最も高い分布が所定の値より大きい場合、信頼度の高い背景が生成できると判断する
請求項１に記載の画像処理装置。
【請求項３】
前記所定の値は、前記多項分布の項数と、前記背景モデルの更新回数から算出される値である
請求項２に記載の画像処理装置。
【請求項４】
前記判断部により信頼度の高い背景が生成できないと判断された領域を、ユーザに提示する
請求項１に記載の画像処理装置。
【請求項５】
現画像において、前記生成部により生成される背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
をさらに備える請求項１に記載の画像処理装置。
【請求項６】
取得される映像から、多項分布の背景モデルを生成し、背景を生成し、
生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する
ステップを含む画像処理方法。
【請求項７】
取得される映像から、多項分布の背景モデルを生成し、背景を生成する生成部と、
前記生成部により生成された前記背景モデルから、信頼度の高い背景が生成できるか否かを判断する判断部と
して、コンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−６５１５１（Ｐ２０１３−６５１５１Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２７４８（Ｐ２０１１−２０２７４８）
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]