画像処理装置、画像処理方法、及び、プログラム
【課題】誤検出を抑制した、頑強な不動体検出を行う。
【解決手段】動体検出部は、現画像において、背景とは異なる部分の画像である動体を検出し、一時停止判定部は、動体が、所定の一定時間以上停止しているかどうかを判定する。信頼度処理部は、一定時間以上停止している動体である一時停止オブジェクトが映る一時停止画像と、現画像とを用いて、現画像の画素について、所定の時間以上変化がない、背景とは異なる不動体であることの確からしさを表す不動体信頼度を求める。不動体検出部は、不動体信頼度に基づいて、現画像から、不動体を検出する。本技術は、例えば、物体の置き去りや持ち去り等を検出する不動体の検出に適用できる。
【解決手段】動体検出部は、現画像において、背景とは異なる部分の画像である動体を検出し、一時停止判定部は、動体が、所定の一定時間以上停止しているかどうかを判定する。信頼度処理部は、一定時間以上停止している動体である一時停止オブジェクトが映る一時停止画像と、現画像とを用いて、現画像の画素について、所定の時間以上変化がない、背景とは異なる不動体であることの確からしさを表す不動体信頼度を求める。不動体検出部は、不動体信頼度に基づいて、現画像から、不動体を検出する。本技術は、例えば、物体の置き去りや持ち去り等を検出する不動体の検出に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、不動体の検出、すなわち、物体が置き去りにされたことや、物体が持ち去られたことの検出において、誤検出を抑制することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、公共の場所に、不審物が置き去りにされたことや、ショールームに展示されている展示品が持ち去られたことを検出する技術として、画像に、背景でない部分であって、動いていない部分を、不動体として検出（検知）する方法がある。
【０００３】
不動体を検出する不動体検出方法としては、画像から、静止領域を検出し、新たに検出された静止領域を背景として登録することで、複数の背景の作成を行い、静止物体の前に静止物体が現れ、２つの静止物体が重なっても、その２つの静止物体を分離して検出することができる方法が提案されている（例えば、特許文献１）。
【０００４】
また、不動体検出方法としては、複数の時間スケールで、背景の更新等の処理を行うことで、外乱に対する頑健性を保証している方法が提案されている（例えば、特許文献２）。
【０００５】
なお、特許文献１に記載の不動体検出方法では、木々のゆれ等が、誤って、静止物体（不動体）として検出される。さらに、特許文献１に記載の不動体検出方法は、静止物体を分離するために、多種の特徴量を計算し、さらにクラスタリングをする必要があるため、演算量が多く、リアルタイム処理には適しているとは言い難い。
【０００６】
また、特許文献２に記載の不動体検出方法では、２つの静止物体が重なっている場合に、２つの静止物体が、不動体として、適切に検出されることは、保証されない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第2009/005141号パンフレット
【特許文献２】特開2008-257693号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
不動体検出方法としては、誤検出を抑制して、不動体を、高精度に検出することができる方法の提案が要請されている。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、誤検出を抑制した、頑強な不動体検出を行うことができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置、又は、プログラムは、現画像において、背景とは異なる部分の画像である動体を検出する動体検出部と、前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
【００１１】
本技術の一側面の画像処理方法は、現画像において、背景とは異なる部分の画像である動体を検出し、前記動体が、所定の一定時間以上停止しているかどうかを判定し、一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求め、前記不動体信頼度に基づいて、前記現画像から、不動体を検出するステップを含む画像処理方法である。
【００１２】
本技術の一側面においては、現画像において、背景とは異なる部分の画像である動体が検出され、前記動体が、所定の一定時間以上停止しているかどうかが判定される。そして、一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度が求められ、前記不動体信頼度に基づいて、前記現画像から、不動体が検出される。
【００１３】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１４】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本技術によれば、誤検出を抑制した、頑強な不動体検出を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本技術を適用した不動体検出装置の一実施の形態の構成例を示すブロック図である。
【図２】不動体検出装置の処理の概要を説明する図である。
【図３】動体検出部３１の構成例を示すブロック図である。
【図４】動体検出部３１において動体を検出する原理を説明する図である。
【図５】一時停止判定部３２の処理を説明する図である。
【図６】信頼度処理部３５の処理を説明する図である。
【図７】信頼度処理部３５による不動体信頼度の更新の概要を説明する図である。
【図８】信頼度処理部３５による不動体信頼度の更新の詳細を説明する図である。
【図９】信頼度処理部３５により更新される不動体信頼度C(X)の変化を示す図である。
【図１０】信頼度処理部３５による不動体信頼度C(X)の初期値C0の設定を説明する図である。
【図１１】不動体検出装置の処理（不動体検出処理）を説明するフローチャートである。
【図１２】不動体検出装置の処理を説明する図である。
【図１３】不動体信頼度C(X)が単調減少している場合に、画素Xを、不動体として検出することを制限することを説明する図である。
【図１４】記憶部３４及び３６に、それぞれ、３枚の一時停止画像、及び、信頼度画像が記憶される場合の、不動体検出装置の処理を説明する図である。
【図１５】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
［本技術を適用した不動体検出装置の一実施の形態］
【００１８】
図１は、本技術の画像処理装置を適用した不動体検出装置の一実施の形態の構成例を示すブロック図である。
【００１９】
図１において、不動体検出装置は、画像取得部１１、背景生成部２１、動体検出部３１、一時停止判定部３２、一時停止画像処理部３３、記憶部３４、信頼度処理部３５、記憶部３６、不動体検出部３７、及び、不動体提示部３８を有し、不動体を検出（検知）して提示する。
【００２０】
画像取得部１１は、所定のレートの画像（動画像）を取得して出力する。
【００２１】
すなわち、画像取得部１１は、例えば、カメラであり、所定のレートで、カメラが設置されたショールーム等の所定の場所の画像を撮影して出力する。
【００２２】
また、画像取得部１１は、例えば、図示せぬカメラ等から、所定の場所を撮影した画像を取得し、その画像を高精細化する画像処理等を行って出力する。
【００２３】
なお、画像取得部１１において取得する画像は、カラー画像であってもよいし、白黒画像であってもよい。ここでは、画像取得部１１において取得する画像は、白黒画像であることとする。この場合、以下の説明において、画素値は、輝度値となる。
【００２４】
画像取得部１１が出力する画像は、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に供給される。
【００２５】
背景生成部２１は、画像取得部１１から供給される最新の画像である現画像等を用いて、背景（画像）を生成し、信頼度処理部３５に供給する。
【００２６】
すなわち、現画像である時刻tの画像の位置Xの画素（以下、画素Xとも記載する）の画素値を、It(X)と、背景生成部２１において1時刻前の時刻t-1に生成された背景の画素Xの画素値を、Bt-1(X)と、背景生成部２１において時刻tに生成される背景の画素Xの画素値を、Bt(X)と、それぞれ表すこととすると、背景生成部２１は、例えば、式（１）に従い、時刻tの背景の画素Xの画素値Bt(X)を求める。
【００２７】
Bt(X)＝（1−α）Bt-1(X)＋αIt(X)
・・・（１）
【００２８】
ここで、式（１）において、係数αは、式0＜α＜1.0で表される範囲の値である。
【００２９】
式（１）によれば、背景生成部２１では、（ほぼ）等価的に、過去のある時刻t-△T+1から、現在の時刻tまでの時間△T分の画像の重み付け加算によって背景が求められる。
【００３０】
式（１）に従って求められる背景は、係数αを小さくすると、長い周期で更新される背景となる。すなわち、式（１）の係数αを小さい値にした場合には、画像に変化があっても、その変化後の状態が長時間続かないと、背景に反映されない。
【００３１】
また、式（１）に従って求められる背景は、係数αを大きくすると、短い周期で更新される背景となる。すなわち、式（１）の係数αを大きい値にした場合には、画像に変化があると、その変化後の状態が短時間続けば、背景に反映される。
【００３２】
いま、少なくとも、時間mだけ動かなかった物体を、不動体として検出する場合の、その時間mを、不動体認知時間mということとすると、背景生成部２１において生成する背景を更新する周期は、不動体認知時間mよりも長い時間である、例えば、不動体認知時間mの5倍程度とすることが望ましい。
【００３３】
すなわち、係数αは、画像に変化があっても、その変化後の状態が、不動体認知時間mの5倍程度だけ続くと、背景に反映されるような値に設定される。
【００３４】
ここで、不動体認知時間mは、例えば、ユーザが、図１の不動体検出装置を操作することにより設定することができ、背景生成部２１は、不動体認知時間mに応じて、係数αを設定する。
【００３５】
なお、背景生成部２１において、背景を生成する方法は、式（１）を用いる方法に限定されるものではない。すなわち、背景生成部２１では、例えば、Gausian Mixture Model（重み付き混合正規分布）を用いて、背景を作成する方法等を採用することができる。
【００３６】
動体検出部３１は、画像取得部１１からの現画像において、背景とは異なる部分の画像である動体（画像）を検出し、その動体に外接する最小の矩形の領域である動体領域を、一時停止判定部３２、及び、一時停止画像処理部３３に供給する。
【００３７】
一時停止判定部３２は、動体検出部３１からの動体領域に含まれる動体が、所定の一定時間以上停止（以下、一時停止ともいう）しているかどうかを判定し、動体が一時停止していると判定した場合、その一時停止している動体の動体領域内の画像を、一時停止しているオブジェクト（一時停止オブジェクト）が映る一時停止画像に映る一時停止オブジェクトとしてコピーし、一時停止画像処理部３３に供給する。
【００３８】
一時停止画像処理部３３は、一時停止判定部３３から供給される一時停止オブジェクトを、記憶部３４に登録する（記憶させる）。
【００３９】
すなわち、記憶部３４は、一時停止画像を記憶する、例えば、フレームメモリであり、一時停止画像処理部３３は、記憶部３４に記憶されている画像（一時停止画像）の、一時停止判定部３２からの一時停止オブジェクトの領域内の画素の画素値を、その一時停止オブジェクトの画素値に更新する。
【００４０】
また、一時停止画像処理部３３は、画像取得部１１からの現画像と、動体検出部３１からの動体（動体領域）とを用いて、記憶部３４に記憶された一時停止画像を更新する。
【００４１】
すなわち、一時停止画像処理部３３は、記憶部３４に登録（記憶）された一時停止画像に映る一時停止オブジェクトのうちの、動体検出部３１からの動体でない画素の画素値を、記憶部３４に登録された一時停止画像（一時停止オブジェクト）と、画像取得部１１からの現画像との重み付け加算により更新する。
【００４２】
具体的には、現画像である時刻tの画像の画素Xの画素値を、It(X)と、1時刻前の時刻t-1の記憶部３４に記憶された一時停止画像の画素Xの画素値を、Pt-1(X)と、一時停止画像処理部３３において時刻tに求められる更新後の一時停止画像の画素Xの画素値を、Pt(X)と、それぞれ表すこととすると、一時停止画像処理部３３は、記憶部３４に記憶された一時停止画像に映る一時停止オブジェクトの画素のうちの、動体の画素については、式（２）に従い、動体でない画素については、式（３）に従い、時刻tの一時停止画像（更新後の一時停止画像）の画素Xの画素値Pt(X)を求める。
【００４３】
Pt(X)=Pt-1(X)
・・・（２）
【００４４】
Pt(X)=（1−α’）Pt-1(X)＋αIt(X)
・・・（３）
【００４５】
式（３）に従った一時停止画像の更新によれば、日差しや照明の変化等に起因して、画像取得部１１で取得される画像の画面全体の輝度が変化する状況等において、記憶部３４に記憶された一時停止画像に映る一時停止オブジェクトの輝度（画素値）を、なるべく現在の輝度（現画像の輝度）に近づけるように、適切に更新することができ、その結果、画像の輝度の変化に対する頑強性を向上させ、不動体検出を高精度に行うことができる。
【００４６】
なお、式（２）によれば、一時停止画像に映る一時停止オブジェクトのうちの、現画像の動体と重なる部分については、画素値は、更新されない（そのままの値にされる）が、これは、例えば、一時停止オブジェクトの手前側を、歩行者等の動体が横切った場合に、一時停止オブジェクトの画素値が、動体である歩行者の画素値に上書き（更新）されることを防止するためである。
【００４７】
信頼度処理部３５は、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用いて、現画像の各画素（又は、隣接する幾つかの画素ごと）について、所定の時間以上変化がない、背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求め、記憶部３６に登録する（記憶させる）。
【００４８】
記憶部３６は、信頼度処理部３５からの、現画像の各画素についての不動体信頼度を画素値とする信頼度画像を記憶する。
【００４９】
不動体検出部３７は、記憶部３６に記憶された信頼度画像に基づいて、現画像から、不動体を検出し、不動体提示部３８に供給する。
【００５０】
すなわち、不動体検出部３７は、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を、閾値によって２値化し（閾値以上の不動体信頼度を1とするとともに、閾値未満の不動体信頼度を0とし）、２値化信頼度画像を求める。
【００５１】
さらに、不動体検出部３７は、２値化信頼度画像について、画素値が1の画素（不動体信頼度が閾値以上の画素）と、その画素に隣接する８近傍の画素のうちの、画素値が1の画素とに、同一のラベルを付すラベリングを行うことにより、画素値が1の画素で構成される領域に外接する最小の矩形の領域を、不動体の領域（不動体領域）として検出する。
【００５２】
そして、不動体検出部３７は、不動体領域としての矩形のサイズ（横と縦の画素数）、及び、その矩形の中心（重心）や左上の点の座標等の不動体（領域）を指定する情報を解析し（求め）、不動体情報として、不動体提示部３８に供給する。
【００５３】
不動体提示部３８は、不動体検出部３７からの不動体情報に基づき、画像取得部１１からの現画像を必要に応じて用いて、不動体（が検出された旨）を提示する。
【００５４】
すなわち、不動体提示部３８は、不動体検出部３７から不動体情報が供給されると、不動体が検出された旨を、音声や、画像、ランプの点滅や点灯等によって、ユーザに提示（報知）する。
【００５５】
また、不動体提示部３８は、画像取得部１１からの現画像に、不動体検出部３７からの不動体情報によって特定される不動体領域を囲む枠のOSD(On Screen Display)を重畳し、図示せぬ表示装置に表示させる。
【００５６】
なお、不動体提示部３８では、不動体（不動体領域）が、所定のサイズSA以上である場合にのみ、不動体の提示を行うことができる。また、不動体提示部３８では、不動体が、所定のサイズSA以下である場合にのみ、不動体の提示を行うことができる。さらに、不動体提示部３８では、不動体が、ある所定のサイズSA以上で、かつ、他の所定のサイズSB（＞SA）以下である場合にのみ、不動体の提示を行うことができる。所定のサイズSAやSBは、例えば、ユーザが、不動体検出装置を操作することで設定することが出来る。
【００５７】
図２は、図１の不動体検出装置の処理の概要を説明する図である。
【００５８】
すなわち、図２は、図１の画像取得部１１で取得される画像の時系列の例を示している。
【００５９】
図２において、時刻t1の画像には、家と、その家の近傍に植えてある木とが映っている。
【００６０】
時刻t1の後の時刻t2の画像には、家、及び、木の他、時刻t2に、家の前に駐車された自動車が映っているとともに、画面上の右から左方向に歩いている歩行者が、画面の右側に映っている。
【００６１】
時刻t2の後の時刻t3の画像には、家、木、及び、自動車と、歩行によって、画面上の左側に移動した歩行者とが映っている。
【００６２】
そして、時刻t3の後の時刻t4では、歩行者は、画面内を通り過ぎており、その結果、時刻t4の画像では、家、木、及び、自動車は映っているが、歩行者は消えている。
【００６３】
この場合、図１の不動体検出装置では、時刻t1の画像を背景（画像）として、時刻t2から駐車した状態のまま動かない、背景とは異なる部分の自動車（の画像）が、不動体として検出される。
【００６４】
また、図１の不動体検出装置では、歩行者は、歩行によって移動している動体であり、不動体としては、検出されない。
【００６５】
以上のように、図１の不動体検出装置では、画像において、所定の時間以上変化がない、背景とは異なる部分が、不動体として検出される。
【００６６】
したがって、図１の不動体検出装置では、例えば、図２に示したように、家、及び、木が映っている時刻t1の画像が背景である場合において、自動車が、家の前に駐車され、そのまま置き去りにされたときに、その置き去りにされた自動車が、不動体として検出される他、例えば、家、木、及び、駐車してある自動車が映っている時刻t4の画像が背景である場合において、駐車してある自動車が持ち去られたときに、その持ち去られた自動車（が映っていた部分）が、不動体として検出される。
【００６７】
［動体検出部３１］
【００６８】
図３は、図１の動体検出部３１の構成例を示すブロック図である。
【００６９】
図３において、動体検出部３１は、背景生成部５１、背景差分画像生成部５２、過去画像記憶部５３、過去差分画像生成部５４、連続性カウント画像生成部５５、動体候補領域画像生成部５６、及び、検出部５７を有し、画像取得部１１（図１）からの現画像から、移動している物体や、短い時間だけ静止している物体等の、背景と異なる部分である動体を検出する。
【００７０】
ここで、図３の動体検出部３１は、例えば、特開2006-107457号公報に記載されている方法で、動体を検出する。但し、動体検出部３１において動体を検出する方法は、特に限定されるものではない。
【００７１】
図３において、画像取得部１１からの現画像は、背景生成部５１、背景差分画像生成部５２、過去画像記憶部５３、及び、検出部５７に供給される。
【００７２】
背景生成部５１は、画像取得部１１からの現画像を用いて、例えば、図１の背景生成部２１と同様に、式（１）に従って、背景を生成し、背景差分画像生成部５２に供給する。
【００７３】
なお、背景生成部５１では、動体の誤検出を抑制するために、図１の背景生成部２１で生成される背景よりも短い周期で更新される背景が生成される。すなわち、図１の背景生成部２１で生成される背景の更新の周期が、例えば、１時間であるとすると、背景生成部５１では、例えば、15秒程度の周期で更新される背景が生成される。
【００７４】
したがって、背景生成部５１では、式（１）の係数αとして、図１の背景生成部２１で用いられる値よりも大きな値が設定される。
【００７５】
ここで、背景生成部５１では、現画像に映る動体（の表示）を抑制した、ある程度の時間静止している状態の画像が、背景として生成される。
【００７６】
一方、図１の背景生成部２１では、例えば、3分間等の所定の時間以上変化がない、背景とは異なる不動体を検出するために、不動体であるために変化しないことが要求される最小の時間（上述の3分間等）に比較して、十分長い時間静止している状態の画像が、背景として生成される。
【００７７】
なお、背景生成部５１では、図１の背景生成部２１と同様の周期で更新される背景を生成することができる。この場合、不動体検出装置には、背景生成部２１及び５１のうちのいずれか一方だけを設けるだけでよい。
【００７８】
背景差分画像生成部５２は、画像取得部１１からの現画像と、背景生成部５１からの背景との各画素の画素値の差分絶対値を画素値とする背景差分画像を生成して、検出部５７に供給する。
【００７９】
一方、過去画像記憶部５３は、画像取得部１１から供給される現画像として供給される画像を順次記憶することにより、現在から過去に遡ったN+1時刻分の画像、すなわち、最新の時刻（現在時刻）tの画像である現画像と、時刻t-Nないしt-1の画像である過去画像とを記憶する。
【００８０】
過去画像記憶部５３に記憶された時刻tの画像（現画像）と、時刻t-Nないしt-1の画像（過去画像）とは、過去差分画像生成部５４に供給される。
【００８１】
過去差分画像生成部５４は、現画像と、各時刻t-nの過去画像との各画素の画素値の差分値を画素値とする過去差分画像を生成し（n=1,2,・・・,N）、連続性カウント画像生成部５５に供給する。
【００８２】
連続性カウント画像生成部５５は、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像から求められたN枚の過去差分画像の各画素について、画素値（差分値）の連続性を判断するためのカウントを行い、そのカウント値を画素値とする連続性カウント画像を生成して、動体候補領域画像生成部５６に供給する。
【００８３】
動体候補領域画像生成部５６は、連続性カウント画像生成部５５からの連続性カウント画像（の各画素の画素値）を閾値によって２値化することにより、動体が映っている画素の候補の画素値を1とするとともに、他の画素の画素値を0とした動体候補領域画像を生成し、検出部５７に供給する。
【００８４】
検出部５７は、背景差分画像生成部５２からの背景差分画像と、動体候補領域画像生成部５６からの動体候補領域画像とに基づき、現画像において、動体が映っている領域を検出する。
【００８５】
さらに、検出部５７は、画像取得部１１からの現画像から、動体が映っている領域を囲む最小の矩形の外接領域の画像を、動体領域としてコピーし、図１の一時停止判定部３２、及び、一時停止画像処理部３３に供給する。
【００８６】
図４は、図３の動体検出部３１において動体を検出する原理を説明する図である。
【００８７】
すなわち、図４Ａ、図４Ｂ、及び、図４Ｃは、現画像と、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像との各画素の画素値の差分値を画素値とするN枚の過去差分画像のある画素Xの画素値（現在画像と過去画像との画素値の差分値）の例を示している。
【００８８】
なお、図４Ａ、図４Ｂ、及び、図４Ｃにおいて、横軸は、過去差分画像を求めるのに用いた過去画像の時刻を表し、縦軸は、過去差分画像の画素Xの画素値（現在画像と過去画像との画素値の差分値）を表している。
【００８９】
時刻t-Nないしtの各画像の画素Xに、移動する物体が映っていない場合、N枚の過去差分画像の画素Xの画素値（差分値）としては、図４Ａに示すように、比較的小さな値が継続する。
【００９０】
一方、時刻t-Nないしtの中のある時刻t'に、画素Xに、移動する物体が映り始め、現画像でも、画素Xに、その物体が映っている場合、図４Ｂに示すように、時刻t'より前の時刻の過去差分画像の画素Xの画素値（差分値）としては、比較的大きな値が継続し、時刻t'以後の時刻の過去差分画像の画素Xの画素値（差分値）は、比較的小さな値になる。
【００９１】
また、時刻t-Nないしtの画像の画素Xに、木の葉や波が映っており、その木の葉や波が揺らいでいる場合、図４Ｃに示すように、N枚の過去差分画像の画素Xの画素値（差分値）は、大きな値や小さな値に変動する。
【００９２】
したがって、N枚の過去差分画像の画素Xの画素値（差分値）を、閾値によって２値化し、閾値を超える画素値が、ある程度の時間連続する画素を、動体が映っている画素として検出することにより、木の葉や波の揺らぎ、日差しの急激な変化による輝度の変化等の外乱を、誤って、動体として検出（誤検出）することを防止することができる。
【００９３】
そこで、図３の動体検出部３１では、連続性カウント画像生成部５５において、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像から求められたN枚の過去差分画像の各画素について、画素値が連続して閾値を超える回数（過去差分画像の枚数）をカウントし、そのカウント値を画素値とする連続性カウント画像を生成して、動体候補領域画像生成部５６に供給する。
【００９４】
ここで、動体候補領域画像生成部５６は、図３で説明したように、連続性カウント画像生成部５５からの連続性カウント画像の各画素の画素値を閾値によって２値化した動体候補領域画像を生成する。
【００９５】
画素Xに動体が映っている場合には、N枚の過去差分画像の画素Xの画素値（差分値）として、比較的大きな値が継続（連続）し、連続性カウント画像の画素Xの画素値が、閾値を超えるので、画素値が閾値を超える連続性カウント画像の画素、すなわち、画素値が1になっている動体候補領域画像の画素を検出することにより、動体（が映っている画素）を検出することができる。
【００９６】
ところで、物体が、位置Xから位置Yに移動した場合には、連続性カウント画像の画素X及びYのいずれの画素値も、閾値を超える。したがって、画素値が1になっている動体候補領域画像の画素を、動体として検出する場合には、画素X及びYの両方が、動体として検出される。
【００９７】
しかしながら、物体が、位置Xから位置Yに移動した場合には、現画像において、画素Yには、移動後の物体が映っているが、画素Xについては、物体は移動してしまっており、映っていない。
【００９８】
したがって、物体が、位置Xから位置Yに移動した場合には、現画像からの動体の検出にあたっては、画素X及びYの両方を、動体として検出するのではなく、現画像において移動後の物体が映っている画素Yを、動体として検出し、現画像において移動後の物体が映っていない画素Xは、動体として検出すべきでない。
【００９９】
そこで、図３の動体検出部３１では、画素値が1になっている動体候補領域画像の画素のうちの、現画像に、移動後の物体が映っている画素だけを、動体として検出する（移動前の物体が映っていた画素は、動体として検出しない）。
【０１００】
すなわち、図３の動体検出部３１では、上述したように、背景差分画像生成部５２において、画像取得部１１からの現画像と、背景生成部５１からの背景との各画素の画素値の差分絶対値を画素値とする背景差分画像を生成して、検出部５７に供給する。
【０１０１】
背景差分画像の画素値（差分絶対値）は、現画像と背景とに違いがある画素ほど、大きな値になるので、すなわち、例えば、背景には映っていないが現画像には映っている物体の画素ほど、大きな値になるので、背景差分画像（の各画素の画素値）を閾値によって２値化することにより、背景には映っていないが現画像には映っている物体の画素の画素値が1で、他の画素の画素値が0の画像（以下、２値化背景差分画像ともいう）を得ることができる。
【０１０２】
２値化背景差分画像において、背景には映っていないが現画像には映っている物体の画素の画素値は1になっているので、２値化背景差分画像において、画素値が1になっており、動体候補領域画像でも、画素値が1になっている画素を検出することにより、現画像に、移動後の物体が映っている画素だけを、動体として検出することができる。
【０１０３】
検出部５７は、以上のように、背景差分画像生成部５２からの背景差分画像（から得られる２値化背景差分画像）と、動体候補領域画像生成部５６からの動体候補領域画像とに基づき、現画像に、移動後の物体が映っている画素だけを、動体として検出する。
【０１０４】
以上のような動体検出部３１では、背景になかった物体が現れた場合（例えば、物体が置き去りにされた場合）、現画像において、その物体が映っている部分が、動体として検出されるが、背景に存在していた物体が消えた場合（例えば、物体が持ち去られた場合）、現画像において、背景に存在していた物体が映っていた部分が、動体として検出される。
【０１０５】
［一時停止判定部３２］
【０１０６】
図５は、図１の一時停止判定部３２の処理を説明する図である。
【０１０７】
一時停止判定部３２は、動体検出部３１からの（動体領域に含まれる）動体が、所定の一定時間以上停止する一時停止をしているかどうかを判定する。
【０１０８】
動体が一時停止しているかどうかの判定では、動体が停止している停止状態にあるかどうかの停止状態判定と、停止状態が、所定の一定時間（上述の不動体認知時間mと同程度か、又は、多少短い時間）以上継続したかどうかを判定する継続判定とが行われる。
【０１０９】
すなわち、一時停止判定部３２は、動体検出部３１で検出される動体のトラッキングにより、時刻tの画像（現画像）から検出された動体と、その動体と同一の動体であるであるとして、1時刻前の時刻t-1の画像から検出された動体とを用いて、停止状態判定を行う。
【０１１０】
停止状態判定では、現画像から検出された動体と、例えば、時刻t-1等の前の時刻（過去の時刻）の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満であるかどうかが判定される。
【０１１１】
ここで、位置ずれ量としては、例えば、現画像から検出された動体の矩形の動体領域の中心（重心）の座標（位置）を、(cx,cy)と表すとともに、時刻t-1の画像から検出された動体の矩形の動体領域の中心の座標を、(cx_p,cy_p)と表すこととすると、位置ずれ量は、例えば、式|cx-cx_p|＋|cy-cy_p|で表すことができる。
【０１１２】
この場合、停止状態判定では、式|cx-cx_p|＋|cy-cy_p|＜TH1を満たすかどうかが判定される。
【０１１３】
現画像から検出された動体と、時刻t-1の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満である場合には、連続して停止状態にあることをカウントする変数snumが、1だけインクリメントされる。
【０１１４】
また、現画像から検出された動体と、時刻t-1の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満でない場合には、変数snumが、0にリセットされる。
【０１１５】
そして、継続判定では、変数snumが、所定の一定時間に相当する時間の閾値TH2より大（以上）であるかどうかが判定される。
【０１１６】
変数snumが閾値TH2より大である場合、現画像から検出された動体は、一時停止している（一時停止状態である）と判定され、変数snumが閾値TH2より大でない場合、現画像から検出された動体は、一時停止していない（一時停止状態でない）と判定される。
【０１１７】
以上のように、一時停止判定部３２では、現画像から検出された動体と、現画像の1時刻前の画像から検出された動体との位置ずれ量が閾値TH1以内であることが、時間の閾値TH2以上だけ連続した場合に、現画像から検出された動体が、所定の一定時間以上停止している一時停止状態であると判定される。
【０１１８】
一時停止判定部３２は、現画像から検出された動体が、所定の一定時間以上停止している一時停止状態であると判定すると、その動体に、一時停止状態であることを表す値である1をセットした一時停止フラグisPauseを割り当てる。
【０１１９】
そして、一時停止判定部３２は、1がセットされた一時停止フラグisPauseが割り当てられている動体を、一時停止しているオブジェクトである一時停止オブジェクトとして、一時停止画像処理部３３に供給する。
【０１２０】
一時停止画像処理部３３は、一時停止判定部３３から供給される一時停止オブジェクトを、記憶部３４に記憶されている一時停止画像に、上書きする形で登録する（記憶させる）。
【０１２１】
なお、人（人間）については、一時停止オブジェクト、ひいては、不動体として検出する対象から除外したい場合がある。本件発明者の経験上、人については、比較的、短時間に、輝度が変化するので、現画像から検知される動体が、比較的、短時間に、輝度が変化する動体である場合には、一時停止判定部３２において、一時停止していると判定されても、一時停止オブジェクトとしない（記憶部３４に登録しない）ことにより、人が、不動体として検出されることを防止することができる。
【０１２２】
［信頼度処理部３５］
【０１２３】
図６は、図１の信頼度処理部３５の処理を説明する図である。
【０１２４】
信頼度処理部３５は、図１で説明したように、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用いて、現画像の各画素について、不動体信頼度を求め、記憶部３６に登録する（記憶させる）。
【０１２５】
ここで、図６に示すように、現画像に、家と木、自動車、及び、歩行者が映っているとする。
【０１２６】
また、図６においては、現画像に映る家と木が、背景であり、自動車が、不動体であり、歩行者が、動体としての動いている物体であるとする。
【０１２７】
この場合、記憶部３４には、図６に示すように、不動体である自動車が一時停止オブジェクトとして映る一時停止画像が記憶される。
【０１２８】
いま、現画像の、不動体である自動車が映るある画素（以下、不動体画素ともいう）Xに注目すると、現画像の不動体画素（位置Xの画素）Xの画素値Iと、一時停止画像の不動体画素（位置Xの画素）Xの画素値Pとは、同様の値（一致、又は、ほぼ一致する値）になる。
【０１２９】
また、一時停止画像の不動体画素Xの画素値Pと、背景の不動体画素（位置Xの画素）Xの画素値Bとは、同様の値にはならない。
【０１３０】
さらに、現画像の不動体画素Xの画素値Iと、背景の不動体画素Xの画素値Bとは、やはり、同様の値にならない。
【０１３１】
一方、現画像の、背景である、例えば、家が映る画素（以下、背景画素ともいう）X'に注目すると、現画像の背景画素X'の画素値Iと、一時停止画像の背景画素X'の画素値Pとは、同様の値にはならない。
【０１３２】
さらに、一時停止画像の背景画素X'の画素値Pと、背景の背景画素X'の画素値Bとは、やはり、同様の値にはならない。
【０１３３】
但し、現画像の背景画素X'の画素値Iと、背景の背景画素X'の画素値Bとは、同様の値になる。
【０１３４】
一方、現画像の、動体である、歩行者が映る画素（以下、動体画素ともいう）X''に注目すると、現画像の動体画素X''の画素値Iと、一時停止画像の動体画素X''の画素値Pとは、同様の値にはならない。
【０１３５】
さらに、一時停止画像の動体画素X''の画素値Pと、背景の動体画素X''の画素値Bとは、やはり、同様の値にはならず、現画像の動体画素X''の画素値Iと、背景の動体画素X''の画素値Bとも、同様の値にはならない。
【０１３６】
これは、現画像において、図６に示すように、動体画素が、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている画素であっても、同様である。
【０１３７】
以上のように、現画像の位置Xの画素が、不動体画素、背景画素、及び、動体画素のうちのいずれであるかによって、現画像、一時停止画像、及び、背景それぞれの位置Xの画素の画素値どうしの大小関係が異なるので、その大小関係に基づいて、現画像の位置Xの画素が、不動体画素であることの確からしさである不動体信頼度を見積もることができる。
【０１３８】
そこで、信頼度処理部３５は、現画像の各画素（各位置Xの画素）Xについて、現画像、背景、及び、一時停止画像の画素Xの画素値どうしの大小関係に基づいて、不動体信頼度を求める。
【０１３９】
すなわち、信頼度処理部３５は、例えば、図１の不動体検出装置の電源がオンにされたときに、記憶部３６に記憶された信頼度画像（不動体信頼度を画素値とする画像）の各画素値を、例えば0にリセットする。
【０１４０】
そして、信頼度処理部３５は、記憶部３４に、一時停止オブジェクトが、新たに登録（記憶）されると、すなわち、現画像から、新たな一時停止オブジェクトが得られると、記憶部３６に記憶された信頼度画像のうちの、新たな一時停止オブジェクトを構成する各画素について、不動体信頼度の初期値C0を設定する（記憶部３６に記憶させる（登録する））。
【０１４１】
さらに、信頼度処理部３５は、新たな現画像が得られるごとに（フレームごとに）、現画像の各画素の不動体画素らしさを判定し、その判定結果に基づいて、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を更新する。
【０１４２】
すなわち、図７は、信頼度処理部３５による不動体信頼度の更新の概要を説明する図である。
【０１４３】
いま、現画像の位置Xの画素の画素値を、I(X)と、一時停止画像の位置Xの画素の画素値を、P(X)と、背景の位置Xの画素の画素値を、B(X)と表すこととする。
【０１４４】
図６で説明したように、現画像の位置Xの画素が、不動体画素である場合には、画素値I(X)と画素値P(X)とは、同様の値になり、画素値P(X)と画素値B(X)とは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値にならない。
【０１４５】
また、現画像の位置Xの画素が、背景画素である場合には、画素値I(X)と画素値P(X)とは、同様の値にはならず、画素値P(X)と画素値B(X)とは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値になる。
【０１４６】
さらに、現画像の位置Xの画素値が、動体画素である場合には、画素値I(X)と画素値P(X)とは、同様の値にはならず、画素値P(X)と画素値Bとは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値にはならない。
【０１４７】
そこで、信頼度処理部３５は、図７Ａに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th以上である場合には、現画像の画素（位置Xの画素）Xは、不動体画素である可能性が高いので、その画素Xについての不動体信頼度C(X)の更新量△C(X)を、例えば、+1に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋△C(X)に従って更新する（不動体信頼度C(X)をインクリメントする）。
【０１４８】
さらに、信頼度処理部３５は、図７Ｂに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満であるか、又は、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th未満であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合には、現画像の画素Xは、背景画素である可能性が高いので、その画素Xについての不動体信頼度C(X)の更新量△C(X)を、例えば、-1に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋△C(X)に従って更新する（不動体信頼度C(X)をデクリメントする）。
【０１４９】
ここで、本実施の形態では、記憶部３４に記憶される一時停止オブジェクトは、矩形の形状をしているため、一時停止オブジェクトの一部には、背景が含まれることがある。一時停止オブジェクトに背景が含まれる場合に、その背景が映っている位置Xの画素については、画素値I(X)，P(X)、及び、B(X)は、同様の値になるため、信頼度処理部３５は、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合だけでなく、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th未満であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合、つまり、画素値I(X)，P(X)、及び、B(X)が、同様の値である場合にも、現画像の画素Xが、背景画素である可能性が高いとして、不動体信頼度C(X)をデクリメントする。
【０１５０】
また、信頼度処理部３５は、図７Ｃに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th以上である場合、つまり、画素値I(X)，P(X)、及び、B(X)それぞれが、比較的異なる値である場合には、現画像の画素Xが、不動体画素でも、背景画素でもない可能性が高いとして、すなわち、例えば、動体画素である可能性が高いとして、その画素Xについての不動体信頼度C(X)の更新量△C(X)を、例えば、0に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋△C(X)に従って更新する（不動体信頼度C(X)をそのまま維持する）。
【０１５１】
ここで、現画像の画素Xが、動体画素である可能性が高いのにもかかわらず、その画素Xについての不動体信頼度C(X)をデクリメントしないのは、図６に示したように、現画像において、画素X(X'')が、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であることがあるからである。
【０１５２】
すなわち、画素Xが、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であるときには、その後、動体である歩行者が、不動体である自動車の前を通り過ぎると、画素Xは、不動体である自動車が映っている不動体画素となる。
【０１５３】
したがって、ある時刻の画像において、画素Xが、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であっても、画素Xは、その後の時刻の画像において、不動体画素となることがあるので、そのようなケースにおいて、画素Xについての不動体信頼度C(X)をデクリメントすると、不動体画素が不動体として検出されなくなるおそれがあり、これを防止するためである。
【０１５４】
図８は、信頼度処理部３５による不動体信頼度の更新の詳細を説明する図である。
【０１５５】
信頼度処理部３５は、式|I(X)-P(X)|＜th、式|P(X)-B(X)|＜th、及び、式|I(X)-B(X)|＜thのそれぞれが満たされる(Yes)か、満たされない(No)かを判定し、その判定結果に基づいて、図８に示すように、不動体信頼度C(X)を、インクリメント（増加）させるか、デクリメント（減少）させるか、又は、そのまま維持する（増減しない）。
【０１５６】
すなわち、いま、式|I(X)-P(X)|＜thが、満たされる場合と満たされない場合とを、それぞれ、[Yes,,]と[No,,]と表すこととする。同様に、式|P(X)-B(X)|＜thが、満たされる場合と満たされない場合とを、それぞれ、[,Yes,]と[,No,]と表すとともに、式|I(X)-B(X)|が、満たされる場合と満たされない場合とを、それぞれ、[,,Yes]と[,,No]と表すこととする。
【０１５７】
この場合、例えば、[Yes,Yes,Yes]は、式|I(X)-P(X)|＜th、式|P(X)-B(X)|＜th、及び、式|I(X)-B(X)|＜thのすべてが満たされることを表す。
【０１５８】
信頼度処理部３５は、[Yes,Yes,Yes]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、[Yes,No,No]の場合、不動体信頼度C(X)を、例えば、1だけインクリメントし、[No,No,Yes]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、[No,No,No]の場合、不動体信頼度C(X)を、そのまま維持し、[No,Yes,No]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、その他の場合(Other)、不動体信頼度C(X)を、例えば、1だけデクリメントする。
【０１５９】
なお、不動体信頼度C(X)を更新する更新量（インクリメント、及び、デクリメントする量）は、1に限定されるものではない。
【０１６０】
すなわち、信頼度処理部３５では、[Yes,Yes,Yes]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、[Yes,No,No]の場合、不動体信頼度C(X)を、例えば、1だけインクリメントし、[No,No,Yes]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、[No,No,No]の場合、不動体信頼度C(X)を、そのまま維持し、[No,Yes,No]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、その他の場合(Other)、不動体信頼度C(X)を、例えば、1だけデクリメントすることができる。
【０１６１】
また、以上においては、現画像の画素値I(X)、一時停止画像の画素値P(X)、及び、背景の画素値B(X)の３つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新することとしたが、不動体信頼度C(X)は、その他、例えば、現画像の画素値I(X)、及び、一時停止画像の画素値P(X)の２つの画素値の大小関係に基づいて更新することができる。
【０１６２】
すなわち、例えば、式|I(X)-P(X)|＜thが満たされる場合には、画素Xが不動体画素であるとして、不動体信頼度C(X)をインクリメントし、式|I(X)-P(X)|＜thが満たされない場合には、画素Xが不動体画素でないとして、不動体信頼度C(X)をデクリメントすることができる。
【０１６３】
現画像の画素値I(X)、及び、一時停止画像の画素値P(X)の２つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新する場合には、現画像の画素値I(X)、一時停止画像の画素値P(X)、及び、背景の画素値B(X)の３つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新する場合に比較して、不動体を検出する精度が劣化するが、不動体検出装置を、背景生成部２１を設けずに（小型に）構成することができる。
【０１６４】
図９は、信頼度処理部３５により更新される不動体信頼度C(X)の変化を示す図である。
【０１６５】
すなわち、図９Ａは、画素Xが、不動体画素である場合の、その画素Xについての不動体信頼度C(X)の変化を示している。
【０１６６】
画素Xが、不動体画素である場合において、一時停止判定部３２において、画素Xが一時停止していると判定されると、その画素X（の画素値）が、一時停止オブジェクトとして、記憶部３４に記憶される。
【０１６７】
画素Xが、一時停止オブジェクトとして、記憶部３４に記憶されると、信頼度処理部３５は、その画素Xについての不動体信頼度C(X)として、記憶部３６に、初期値C0を設定する（記憶させる）。
【０１６８】
画素Xが、不動体画素である場合には、その画素Xについての不動体信頼度C(X)が、時間の経過とともに増加していく（インクリメントされる）。
【０１６９】
したがって、画素Xが、不動体画素である場合には、その画素Xについての不動体信頼度C(X)は、初期値C0が設定されてから、ある程度の時間が経過すると、不動体検出部３７（図１）で行われる２値化に用いられる閾値th_conf以上の値となり、その結果、不動体検出部３７において、画素Xは、不動体として検出される。
【０１７０】
図９Ｂは、画素Xが、揺らいでる木の葉等が映っている外乱がある画素である場合の、その画素Xについての不動体信頼度C(X)の変化を示している。
【０１７１】
一時停止判定部３２では、揺らいでる木の葉等が映っている外乱がある画素Xが、外乱の影響により、誤って、一時停止していると判定されることがあり、この場合、画素X（の画素値）は、一時停止オブジェクトとして、記憶部３４に記憶される。
【０１７２】
そして、画素Xが、一時停止オブジェクトとして、記憶部３４に記憶されると、信頼度処理部３５は、その画素Xについての不動体信頼度C(X)として、記憶部３６に、初期値C0を設定する。
【０１７３】
以上のように、画素Xについての不動体信頼度C(X)に、初期値C0が設定されても、画素Xが、揺らいでる木の葉等が映っている外乱がある画素である場合には、その画素Xについての不動体信頼度C(X)の更新では、不動体信頼度C(X)のインクリメントや、デクリメント、値の維持が、いわばランダムに行われる。
【０１７４】
したがって、画素Xについての不動体信頼度C(X)は、時間が経過しても、初期値C0からそれほど変化せず、閾値th_conf以上の値にはならない。
【０１７５】
その結果、不動体検出部３７において、画素Xは、不動体として検出されないので、外乱がある画素が不動体として誤検出されることを抑制することができる。
【０１７６】
図１０は、図１の信頼度処理部３５による不動体信頼度C(X)の初期値C0の設定を説明する図である。
【０１７７】
信頼度処理部３５は、記憶部３４に、一時停止オブジェクトが、新たに登録（記憶）されると、すなわち、現画像から、新たな一時停止オブジェクトが得られると、その一時停止オブジェクトを構成する各画素について、不動体信頼度C(X)の初期値C0を設定する。
【０１７８】
すなわち、信頼度処理部３５は、記憶部３６に記憶されている、不動体信頼度C(X)を画素値とする信頼度画像の画素のうちの、一時停止オブジェクトの画素（と同一位置にある画素）の画素値として、初期値C0を記憶させる（登録する）。
【０１７９】
この場合、記憶部３６に記憶されている信頼度画像の画素値は、初期値C0によって上書きされる。
【０１８０】
ところで、既に、一時停止オブジェクトAが得られており、その一時停止オブジェクトAについて、信頼度画像の、一時停止オブジェクトAの領域内の画素に、画素値としての不動体信頼度が記憶されている場合において、一時停止オブジェクトAに、少なくとも一部が重なるような一時停止オブジェクトBが、新たに得られたとする。
【０１８１】
この場合、新たな一時停止オブジェクトBについて、信頼度画像の、一時停止オブジェクトBの領域（図１０において、太線で囲む領域）内の画素に、画素値としての不動体信頼度の初期値C0を、何らの制限もなしに記憶させると、既に、初期値C0よりも大きな値になっている、一時停止オブジェクトAについての不動体信頼度が、初期値C0に上書きされることがある。
【０１８２】
既に、初期値C0よりも大きな値になっている、一時停止オブジェクトAについての不動体信頼度が、初期値C0に上書きされた場合、例えば、その上書き前の不動体信頼度が、既に、閾値th_conf以上になっているときには、それまで不動体として検出されていた、一時停止オブジェクトAの一部が、突然、不動体として検出されなくなる不都合が生じる。
【０１８３】
そこで、信頼度処理部３５は、記憶部３６に記憶されている信頼度画像の画素値に、初期値C0を記憶させる場合に、その画素の画素値が、既に、初期値C0以上になっているときには、その初期値C0以上の画素値の画素の画素値を、そのまま維持し、初期値C0を記憶させない（上書きを制限する）。
【０１８４】
すなわち、信頼度処理部３５は、一時停止オブジェクトが新たに得られた場合に、信頼度画像の、新たな一時停止オブジェクトの領域内の画素のうちの、画素値が初期値C0未満の画素にだけ、初期値C0を記憶させる（設定する）。
【０１８５】
これにより、信頼度画像において、既に、初期値C0よりも大きな値になっている画素値が、初期値C0に上書きされ、不動体が検出されなくなることを防止することができる。
【０１８６】
［不動体検出装置の処理］
【０１８７】
図１１は、図１の不動体検出装置の処理（不動体検出処理）を説明するフローチャートである。
【０１８８】
画像取得部１１は、最新の画像を取得し、現画像として、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に供給する。
【０１８９】
背景生成部２１は、画像取得部１１から現画像が供給されると、ステップＳ１１において、その現画像を用い、式（１）に従って、背景を生成（更新）し、信頼度処理部３５に供給して、処理は、ステップＳ１２に進む。
【０１９０】
ステップＳ１２では、動体検出部２１が、画像取得部１１からの現画像から、動体を検出する動体検出処理を行い、処理は、ステップＳ１３に進む。
【０１９１】
ステップＳ１３では、動体検出部３１は、直前のステップＳ１２の動体検出処理で、動体が検出されたかどうかを判定する。
【０１９２】
ステップＳ１３において、動体が検出されていないと判定された場合、処理は、ステップＳ１４ないしＳ１６をスキップして、ステップＳ１７に進む。
【０１９３】
また、ステップＳ１３において、動体が検出されたと判定された場合、動体検出部３１は、現画像から検出した動体（の動体領域）を、一時停止判定部３２、及び、一時停止画像処理部３３に供給して、処理は、ステップＳ１４に進む。
【０１９４】
ステップＳ１４では、一時停止判定部３２は、動体検出部３１からの動体が一時停止しているかどうかを判定する。
【０１９５】
ステップＳ１４において、動体が一時停止していないと判定された場合、処理は、ステップＳ１５及びＳ１６をスキップして、ステップＳ１７に進む。
【０１９６】
また、ステップＳ１４において、動体が一時停止していると判定された場合、一時停止判定部３２は、その一時停止している動体を、一時停止オブジェクトとして、一時停止画像処理部３３に供給し、処理は、ステップＳ１５に進む。
【０１９７】
ステップＳ１５では、一時停止処理部３３は、一時停止判定部３３からの一時停止オブジェクトを、記憶部３４に登録し、すなわち、記憶部３４に記憶された一時停止画像の、一時停止オブジェクトに対応する領域に、その一時停止オブジェクトを記憶させ、処理は、ステップＳ１６に進む。
【０１９８】
ステップＳ１６では、信頼度処理部３５は、直前のステップＳ１５で記憶部３４に記憶された一時停止オブジェクトについて、記憶部３６に記憶された信頼度画像の、一時停止オブジェクトに対応する領域の画素に、不動体信頼度の初期値C0を記憶させ（設定し）、処理は、ステップＳ１７に進む。
【０１９９】
ステップＳ１７では、一時停止画像処理部３３は、画像取得部１１からの現画像と、動体検出部３１からの動体とを用い、式（２）及び式（３）に従って、記憶部３４に記憶された一時停止画像（に映る一時停止オブジェクト）を更新し、処理は、ステップＳ１８に進む。
【０２００】
ステップＳ１８では、信頼度処理部３５は、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用い、図６ないし図９で説明したように、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を更新し、処理は、ステップＳ１９に進む。
【０２０１】
ステップＳ１９では、不動体検出部３７は、記憶部３６に記憶された信頼度画像に基づいて、現画像から、不動体を検出する検出処理を行って、処理は、ステップＳ２０に進む。
【０２０２】
すなわち、検出処理では、不動体検出部３７は、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を、閾値th_confによって２値化し、２値化信頼度画像を求める。
【０２０３】
さらに、不動体検出部３７は、２値化信頼度画像について、画素値が1の画素（不動体信頼度が閾値th_conf以上の画素）と、その画素に隣接する８近傍の画素のうちの、画素値が1の画素とに、同一のラベルを付すラベリングを行うことにより、画素値が1の画素で構成される領域に外接する最小の矩形の領域を、不動体の領域（不動体領域）として検出する。
【０２０４】
ステップＳ２０では、不動体検出部３７は、直前のステップＳ１９での検出処理で、不動体が検出されたかどうかを判定する。
【０２０５】
ステップＳ２０において、不動体が検出されていないと判定された場合、処理は、ステップＳ２１をスキップして、ステップＳ２２に進む。
【０２０６】
また、ステップＳ２０において、不動体が検出されたと判定された場合、不動体検出部３７は、不動体（不動体領域）のサイズ、及び、中心の座標等を求め、不動体情報として、不動体提示部３８に供給して、処理は、ステップＳ２１に進む。
【０２０７】
ステップＳ２１では、不動体提示部３８は、不動体検出部３７からの不動体情報に基づき、画像取得部１１からの現画像を必要に応じて用いて、不動体（が検出された旨）を提示し、処理は、ステップＳ２２に進む。
【０２０８】
ステップＳ２２では、一時停止画像処理部３３は、記憶部３６に記憶された信頼度画像を参照し、その画素値である不動体信頼度が、初期値C0より小さい、例えば、0になっている、記憶部３４に記憶された一時停止オブジェクトを削除する。
【０２０９】
すなわち、一時停止画像処理部３３は、記憶部３４に記憶された一時停止オブジェクトの画素のうちの、不動体信頼度が0になっている画素の画素値を、例えば、0等にする。
【０２１０】
その後、画像取得部１１から、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に、新たな現画像が供給されるのを待って、処理は、ステップＳ２２からステップＳ１１に戻り、以下、同様の処理が繰り返される。
【０２１１】
以上のように、図１の不動体検出装置では、動体が一時停止しているかどうかを判定し、一時停止している動体である一時停止オブジェクトが映る一時停止画像と、現画像とを、少なくとも用いて、不動体信頼度を更新（生成）し、その不動体信頼度に基づいて、不動体を検出するので、誤検出を抑制した、頑強な不動体検出を行うことができる。
【０２１２】
図１２は、図１の不動体検出装置の処理を説明する図である。
【０２１３】
すなわち、図１２は、幾つかの時刻t1ないしt8それぞれの現画像、一時停止画像、及び、背景の例を示している。
【０２１４】
図１２において、時刻t1では、現画像には、木だけが映っており、背景生成部２１において、現画像と同様の木だけが映っている画像が、背景として生成されている。また、一時停止画像には、何らの一時停止オブジェクトも映っていない。
【０２１５】
時刻t1の後の時刻t2では、右から左の方向に移動する自動車が現れ始めており、現画像には、木とともに、右側に、現れ始めた自動車が映っている。現画像に映っている自動車は、動体検出部３１において、動体として検出される。また、背景生成部２１では、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２１６】
時刻t2の後の時刻t3では、移動していた自動車が停止（ストップ）し、現画像には、木とともに、左側に、停止した自動車が映っている。停止した自動車は、動体検出部３１において、動体として検出され続けるが、まだ、停止した直後であるため、一時停止判定部３２において、まだ、一時停止しているとは判定されず、一時停止画像には反映されていない。また、背景生成部２１では、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２１７】
時刻t3の後の時刻t4では、自動車が停止し続けており、現画像には、時刻t3の場合と同様に、木とともに、左側に、停止した自動車が映っている。そして、時刻t4では、自動車が、所定の一定時間だけ停止し続けており、一時停止判定部３２において、一時停止していると判定され、一時停止画像処理部３３において、一時停止オブジェクトとして、記憶部３４に記憶された一時停止画像に登録（反映）されている。これにより、一時停止画像は、一時停止オブジェクトである自動車が映った画像になっている。
【０２１８】
さらに、時刻t4では、一時停止オブジェクトとしての自動車が、記憶部３４に記憶されたことにより、信頼度処理部３５において、記憶部３６に記憶された信頼度画像の、一時停止オブジェクトとしての自動車に対応する領域の画素の画素値に、不動体信頼度の初期値C0が設定される。
【０２１９】
また、時刻t4では、背景生成部２１において、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２２０】
時刻t4から、その後の時刻t5までの間、自動車が停止し続けており、時刻t5の現画像には、時刻t3及びt4の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、一時停止オブジェクトとしての自動車が映った一時停止画像が記憶され続けており、背景生成部２１において、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２２１】
したがって、時刻t4から時刻t5にかけては、現画像の、一時停止オブジェクトとしての自動車が映っている画素Xについては、現画像の画素Xの画素値I(X)、一時停止画像の画素Xの画素値P(X)、及び、背景の画素Xの画素値B(X)に関して、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満になり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th以上になり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th以上になるので、信頼度処理部３５において、図７Ａで説明したように、記憶部４６に記憶された信頼度画像の画素X（位置Xの画素）の画素値である不動体信頼度C(X)がインクリメントされていく。
【０２２２】
そして、時刻t5において、現画像の、一時停止オブジェクトとしての自動車が映っている画素Xについての不動体信頼度C(X)が、閾値th_confとなり、その結果、不動体検出部３７において、現画像の、一時停止オブジェクトとしての自動車が、不動体として検出されている。
【０２２３】
時刻t5の後の時刻t6では、自動車が停止し続けており、時刻t6の現画像には、時刻t3ないしt5の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、一時停止オブジェクトとしての自動車が映った一時停止画像が記憶され続けている。
【０２２４】
さらに、時刻t6では、自動車が停止した時刻t3から、不動体認知時間mの5倍等の相当の時間が経過しており、そのため、背景生成部２１において、停止している自動車の影響を受けた、木と自動車が映っている画像が、背景として生成されている。
【０２２５】
時刻t6から、その後の時刻t7までの間、自動車が停止し続けており、時刻t7の現画像には、時刻t3ないしt6の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、自動車が映った一時停止画像が記憶され続けており、背景生成部２１においては、自動車の影響を受けた、木と自動車が映っている画像が、背景として生成されている。
【０２２６】
したがって、時刻t6から時刻t7にかけては、現画像の自動車が映っている画素Xについては、現画像の画素Xの画素値I(X)、一時停止画像の画素Xの画素値P(X)、及び、背景の画素Xの画素値B(X)に関して、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満になり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th未満になり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th未満になるので、信頼度処理部３５において、図７Ｂで説明したように、記憶部４６に記憶された信頼度画像の画素X（位置Xの画素）の画素値である不動体信頼度C(X)がデクリメントされていく。
【０２２７】
そして、時刻t7において、現画像の自動車が映っている画素Xについての不動体信頼度C(X)が、閾値th_conf未満となり、その結果、不動体検出部３７において、現画像の自動車が、不動体として検出されなくなる。
【０２２８】
その後も、自動車が停止し続けており、これにより、現画像の自動車が映っている画素Xについての不動体信頼度C(X)がデクリメントされ続ける。
【０２２９】
そして、時刻t7の後の時刻t8では、現画像の自動車が映っている画素Xについての不動体信頼度C(X)が0になり、一時停止画像処理部３３において、不動体信頼度が0になった、記憶部３４に記憶された自動車が削除（消去）される。
【０２３０】
ここで、上述の場合には、画素Xについての不動体信頼度C(X)が、閾値th_conf以上である場合には、その画素Xを不動体として検出することとしたが、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、不動体信頼度C(X)が単調減少している場合には、画素Xを、不動体として検出することを制限すること（不動体として検出しないこと）ができる。
【０２３１】
すなわち、図１の不動体検出装置では、例えば、図１２で説明したように、不動体である自動車が、停止し続け、背景に反映されると、自動車が映っている画素Xについての不動体信頼度C(X)が、デクリメントされ続け、閾値th_conf未満になると、自動車が、不動体として検出されなくなる。
【０２３２】
したがって、停止し続けている自動車が、背景に反映された後は、自動車が映っている画素についての不動体信頼度は、単調減少し、その後、不動体信頼度が、閾値th_conf未満になるのを待って、自動車が、不動体として検出されなくなるのであるから、結局、自動車が映っている画素についての不動体信頼度が単調減少しているということは、将来的に、自動車が、不動体として検出されなくなることを意味する。
【０２３３】
そこで、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、不動体信頼度C(X)が単調減少している場合には、画素Xを、不動体として検出することを制限することができる。
【０２３４】
図１３は、不動体信頼度C(X)が単調減少している場合に、画素Xを、不動体として検出することを制限することを説明する図である。
【０２３５】
すなわち、図１３は、不動体信頼度C(X)を示す図である。
【０２３６】
不動体検出部３７では、図１３に示すように、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、所定の時間△tだけ連続して減少（単調減少）した場合には、その後、画素Xを、不動体として検出することが制限される。
【０２３７】
なお、不動体検出部３７では、その他、例えば、画素Xの不動体信頼度C(X)が、閾値th-conf未満であっても、所定の時間△tだけ連続して増加（単調増加）した場合には、画素Xを、不動体として検出することができる。
【０２３８】
［複数枚の一時停止画像、及び、信頼度画像］
【０２３９】
上述の場合には、記憶部３４及び３６（図１）に、それぞれ、１枚（１画面分の）一時停止画像、及び、信頼度画像が記憶されることを暗黙の前提としたが、記憶部３４及び３６には、それぞれ、複数枚の一時停止画像、及び、信頼度画像を記憶させることができる。
【０２４０】
図１４は、記憶部３４及び３６に、それぞれ、３枚の一時停止画像、及び、信頼度画像が記憶される場合の、図１の不動体検出装置の処理を説明する図である。
【０２４１】
なお、複数枚の一時停止画像P#iと、複数枚の信頼度画像Q#iとは、同一の枚数だけ用意される。また、１枚の一時停止画像P#iと、１枚の信頼度画像Q#iとは、対応付けられて、１組として使用される。
【０２４２】
いま、記憶部３４に、３枚の一時停止画像P#1,P#2,P#3が記憶されるとともに、記憶部３６に、一時停止画像P#1,P#2,P#3それぞれと組になる信頼度画像Q#1,Q#2,Q#3が記憶されることとする。
【０２４３】
一時停止画像処理部３３は、記憶部３４に、一時停止判定部３２からの新たな一時停止オブジェクトを登録する場合、記憶部３６の信頼度画像Q#1ないしQ#3の中から、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている１枚の信頼度画像Q#iを検出する。
【０２４４】
そして、一時停止画像処理部３３は、記憶部３４の一時停止画像P#1ないしP#3のうちの、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている信頼度画像Q#iと組になっている一時停止画像P#iに、新たな一時停止オブジェクトを登録（上書き）する。
【０２４５】
図１４では、信頼度画像Q#1ないしQ#3の中で、新たな一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっているのは、信頼度画像Q#3だけであり、そのため、その信頼度画像Q#3と組になっている一時停止画像P#3に、新たな一時停止オブジェクトが登録されている。
【０２４６】
なお、信頼度画像Q#1ないしQ#3の中に、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている信頼度画像が存在しない場合には、信頼度画像Q#1ないしQ#3の中で、例えば、一時停止オブジェクトに対応する領域の不動体信頼度の平均値が最小の信頼度画像が検出され、その信頼度画像と組になっている一時停止画像に、新たな一時停止オブジェクトが登録される。
【０２４７】
また、一時停止画像処理部３３は、記憶部３４に記憶された一時停止画像P#1ないしP#3それぞれについて、１枚の一時停止画像の場合と同様に、式（２）及び式（３）に従った更新を、独立に行う。
【０２４８】
信頼度処理部３５は、記憶部３４に記憶された一時停止画像P#iに、一時停止オブジェクトが新たに登録された場合に、記憶部３６に記憶された信頼度画像Q#1ないしQ#3のうちの、一時停止オブジェクトが新たに登録された一時停止画像P#iと組になっている信頼度画像Q#iの画素値としての不動体信頼度だけを、１枚の信頼度画像の場合と同様に、初期値C0に設定する。
【０２４９】
そして、信頼度処理部３５は、記憶部３６に記憶された信頼度画像Q#1ないしQ#3それぞれの不動体信頼度を、その信頼度画像Q#iと組になっている一時停止画像P#iを用いて、１枚の信頼度画像の場合と同様に、独立に更新する。
【０２５０】
不動体検出部３７は、記憶部３６に記憶された信頼度画像Q#1ないしQ#3それぞれについて、その信頼度画像Q#iを用いて、１枚の信頼度画像の場合と同様に、不動体を、独立に検出する。
【０２５１】
以上のように、複数枚の一時停止画像、及び、信頼度画像を用いることにより、不動体が、最大で、その複数枚と同一の数だけ重なっている場合であっても、その重なっている不動体を、分離して検出することができる。
【０２５２】
［本技術を適用したコンピュータの説明］
【０２５３】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２５４】
そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２５５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２５６】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２５７】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２５８】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０２５９】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０２６０】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２６１】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２６２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２６３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２６４】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２６５】
すなわち、例えば、本実施の形態では、不動体提示部３８において、不動体検出部３７から不動体情報が供給されると、不動体が検出された旨を、音声や、画像、ランプの点滅や点灯等によって、ユーザに提示（報知）することとしたが、不動体検出部３７で得られた不動体情報は、画像取得部１１で取得された画像とともに、その画像のメタデータとして、ネットワークを介して送信することができる。
【０２６６】
また、本実施の形態では、不動体検出部３７において、記憶部３６に記憶された信頼度画像の、画素値である不動体信頼度が閾値以上の画素の画素値を1とするとともに、画素値（不動体信頼度）が閾値未満の画素の画素値を0とする２値化を行うことで、２値化信頼度画像を求めることとしたが、２値化信頼度画像は、その他、例えば、信頼度画像の、画素値（不動体信頼度）が閾値以上の画素であり、かつ、一時停止オブジェクトが映る画素として、記憶部３４に記憶されてから所定の設定時間以上が経過している画素の画素値を1とするとともに、他の画素の画素値を0とする２値化を行うこと等によって求めることができる。
【０２６７】
また、図１の不動体検出装置は、例えば、撮影した画像をネットワークを介して伝送することができるネットワークカメラや、アナログ画像をネットワーク化する機器（アナログ画像をネットワークを介して伝送する機器、PC(Personal Computer)のアプリケーション、その他の機器に適用可能である。
【０２６８】
ここで、本明細書において、「以上」や「以下」は、「より大きい」や「未満」であってもよく、逆に、「より大きい」や「未満」は、「以上」や「以下」であってもよい。
【０２６９】
また、本技術は、以下のような構成をとることもできる。
【０２７０】
［１］
現画像において、背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
を備える画像処理装置。
［２］
前記一時停止判定部は、前記現画像から検出された前記動体と、前記現画像よりも前の時刻の画像から検出された前記動体との位置ずれ量が前記位置ずれ量の閾値未満であることが、時間の閾値以上だけ連続した場合、前記動体が、所定の一定時間以上停止していると判定する
［１］に記載の画像処理装置。
［３］
前記一時停止画像が登録される記憶部と、
前記記憶部に登録された前記一時停止画像に映る一時停止オブジェクトのうちの、前記動体でない画素の画素値を、前記記憶部に登録された前記一時停止画像と、前記現画像との重み付け加算により更新する一時停止画像処理部と
をさらに備える
［１］又は［２］に記載の画像処理装置。
［４］
前記信頼度処理部は、前記現画像の注目する注目画素について、前記一時停止画像、前記現画像、及び、前記背景それぞれの注目画素の画素値の大小関係に基づいて、前記不動体信頼度を求める
［１］ないし［３］のいずれかに記載の画像処理装置。
［５］
前記信頼度処理部は、
前記現画像から、前記一時停止オブジェクトが得られたときに、前記一時停止オブジェクトを構成する画素について、前記不動体信頼度の初期値を設定し、
前記現画像の注目する注目画素の画素値Iと、前記一時停止画像の注目画素の画素値Pとの差分絶対値|I-P|が、閾値th未満であり、
画素値Iと、前記背景の注目画素の画素値Bとの差分絶対値|I-B|が、閾値th以上であり、
かつ、画素値Bと画素値Pとの差分絶対値|B-P|が、閾値th以上である
場合、前記注目画素についての前記不動体信頼度をインクリメントし、
画素値Iと画素値Pとの差分絶対値|I-P|が、閾値th以上であり、
画素値Pと画素値Bとの差分絶対値|P-B|が、閾値th以上であり、
かつ、画素値Bと画素値Iとの差分絶対値|B-I|が、閾値th未満であるか、
又は、
画素値Iと画素値Pとの差分絶対値|I-P|が、閾値th未満であり、
画素値Pと画素値Bとの差分絶対値|P-B|が、閾値th未満であり、
かつ、画素値Bと画素値Iとの差分絶対値|B-I|が、閾値th未満である
場合、前記注目画素についての前記不動体信頼度をデクリメントする
［４］に記載の画像処理装置。
［６］
前記不動体検出部は、前記不動体信頼度が閾値以上の画素を、不動体を構成する画素として検出する
［５］に記載の画像処理装置。
［７］
前記信頼度処理部は、前記不動体信頼度の初期値を設定するときに、前記初期値未満の前記不動体信頼度が設定されている画素についてだけ、前記初期値を設定する
［５］又は［６］に記載の画像処理装置。
［８］
前記信頼度処理部は、複数枚の一時停止画像について、不動体信頼度を求め、
前記不動体検出部は、複数枚の一時停止画像を用いて求められた前記不動体信頼度それぞれに基づいて、前記現画像から、不動体を検出する
［１］ないし［７］のいずれかに記載の画像処理装置。
［９］
現画像において、背景とは異なる部分の画像である動体を検出し、
前記動体が、所定の一定時間以上停止しているかどうかを判定し、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求め、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する
ステップを含む画像処理方法。
［１０］
現画像において、背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０２７１】
１１ 画像取得部， ２１ 背景生成部， ３１ 動体検出部， ３２ 一時停止判定部， ３３ 一時停止画像処理部， ３４ 記憶部， ３５ 信頼度処理部， ３６ 記憶部， ３７ 不動体検出部， ３８ 不動体提示部， ５１ 背景生成部， ５２ 背景差分画像生成部， ５３ 過去画像記憶部， ５４ 過去差分画像生成部， ５５ 連続性カウント画像生成部， ５６ 動体候補領域画像生成部， ５７ 検出部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、不動体の検出、すなわち、物体が置き去りにされたことや、物体が持ち去られたことの検出において、誤検出を抑制することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、公共の場所に、不審物が置き去りにされたことや、ショールームに展示されている展示品が持ち去られたことを検出する技術として、画像に、背景でない部分であって、動いていない部分を、不動体として検出（検知）する方法がある。
【０００３】
不動体を検出する不動体検出方法としては、画像から、静止領域を検出し、新たに検出された静止領域を背景として登録することで、複数の背景の作成を行い、静止物体の前に静止物体が現れ、２つの静止物体が重なっても、その２つの静止物体を分離して検出することができる方法が提案されている（例えば、特許文献１）。
【０００４】
また、不動体検出方法としては、複数の時間スケールで、背景の更新等の処理を行うことで、外乱に対する頑健性を保証している方法が提案されている（例えば、特許文献２）。
【０００５】
なお、特許文献１に記載の不動体検出方法では、木々のゆれ等が、誤って、静止物体（不動体）として検出される。さらに、特許文献１に記載の不動体検出方法は、静止物体を分離するために、多種の特徴量を計算し、さらにクラスタリングをする必要があるため、演算量が多く、リアルタイム処理には適しているとは言い難い。
【０００６】
また、特許文献２に記載の不動体検出方法では、２つの静止物体が重なっている場合に、２つの静止物体が、不動体として、適切に検出されることは、保証されない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第2009/005141号パンフレット
【特許文献２】特開2008-257693号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
不動体検出方法としては、誤検出を抑制して、不動体を、高精度に検出することができる方法の提案が要請されている。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、誤検出を抑制した、頑強な不動体検出を行うことができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置、又は、プログラムは、現画像において、背景とは異なる部分の画像である動体を検出する動体検出部と、前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
【００１１】
本技術の一側面の画像処理方法は、現画像において、背景とは異なる部分の画像である動体を検出し、前記動体が、所定の一定時間以上停止しているかどうかを判定し、一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求め、前記不動体信頼度に基づいて、前記現画像から、不動体を検出するステップを含む画像処理方法である。
【００１２】
本技術の一側面においては、現画像において、背景とは異なる部分の画像である動体が検出され、前記動体が、所定の一定時間以上停止しているかどうかが判定される。そして、一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度が求められ、前記不動体信頼度に基づいて、前記現画像から、不動体が検出される。
【００１３】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１４】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本技術によれば、誤検出を抑制した、頑強な不動体検出を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本技術を適用した不動体検出装置の一実施の形態の構成例を示すブロック図である。
【図２】不動体検出装置の処理の概要を説明する図である。
【図３】動体検出部３１の構成例を示すブロック図である。
【図４】動体検出部３１において動体を検出する原理を説明する図である。
【図５】一時停止判定部３２の処理を説明する図である。
【図６】信頼度処理部３５の処理を説明する図である。
【図７】信頼度処理部３５による不動体信頼度の更新の概要を説明する図である。
【図８】信頼度処理部３５による不動体信頼度の更新の詳細を説明する図である。
【図９】信頼度処理部３５により更新される不動体信頼度C(X)の変化を示す図である。
【図１０】信頼度処理部３５による不動体信頼度C(X)の初期値C0の設定を説明する図である。
【図１１】不動体検出装置の処理（不動体検出処理）を説明するフローチャートである。
【図１２】不動体検出装置の処理を説明する図である。
【図１３】不動体信頼度C(X)が単調減少している場合に、画素Xを、不動体として検出することを制限することを説明する図である。
【図１４】記憶部３４及び３６に、それぞれ、３枚の一時停止画像、及び、信頼度画像が記憶される場合の、不動体検出装置の処理を説明する図である。
【図１５】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
［本技術を適用した不動体検出装置の一実施の形態］
【００１８】
図１は、本技術の画像処理装置を適用した不動体検出装置の一実施の形態の構成例を示すブロック図である。
【００１９】
図１において、不動体検出装置は、画像取得部１１、背景生成部２１、動体検出部３１、一時停止判定部３２、一時停止画像処理部３３、記憶部３４、信頼度処理部３５、記憶部３６、不動体検出部３７、及び、不動体提示部３８を有し、不動体を検出（検知）して提示する。
【００２０】
画像取得部１１は、所定のレートの画像（動画像）を取得して出力する。
【００２１】
すなわち、画像取得部１１は、例えば、カメラであり、所定のレートで、カメラが設置されたショールーム等の所定の場所の画像を撮影して出力する。
【００２２】
また、画像取得部１１は、例えば、図示せぬカメラ等から、所定の場所を撮影した画像を取得し、その画像を高精細化する画像処理等を行って出力する。
【００２３】
なお、画像取得部１１において取得する画像は、カラー画像であってもよいし、白黒画像であってもよい。ここでは、画像取得部１１において取得する画像は、白黒画像であることとする。この場合、以下の説明において、画素値は、輝度値となる。
【００２４】
画像取得部１１が出力する画像は、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に供給される。
【００２５】
背景生成部２１は、画像取得部１１から供給される最新の画像である現画像等を用いて、背景（画像）を生成し、信頼度処理部３５に供給する。
【００２６】
すなわち、現画像である時刻tの画像の位置Xの画素（以下、画素Xとも記載する）の画素値を、It(X)と、背景生成部２１において1時刻前の時刻t-1に生成された背景の画素Xの画素値を、Bt-1(X)と、背景生成部２１において時刻tに生成される背景の画素Xの画素値を、Bt(X)と、それぞれ表すこととすると、背景生成部２１は、例えば、式（１）に従い、時刻tの背景の画素Xの画素値Bt(X)を求める。
【００２７】
Bt(X)＝（1−α）Bt-1(X)＋αIt(X)
・・・（１）
【００２８】
ここで、式（１）において、係数αは、式0＜α＜1.0で表される範囲の値である。
【００２９】
式（１）によれば、背景生成部２１では、（ほぼ）等価的に、過去のある時刻t-△T+1から、現在の時刻tまでの時間△T分の画像の重み付け加算によって背景が求められる。
【００３０】
式（１）に従って求められる背景は、係数αを小さくすると、長い周期で更新される背景となる。すなわち、式（１）の係数αを小さい値にした場合には、画像に変化があっても、その変化後の状態が長時間続かないと、背景に反映されない。
【００３１】
また、式（１）に従って求められる背景は、係数αを大きくすると、短い周期で更新される背景となる。すなわち、式（１）の係数αを大きい値にした場合には、画像に変化があると、その変化後の状態が短時間続けば、背景に反映される。
【００３２】
いま、少なくとも、時間mだけ動かなかった物体を、不動体として検出する場合の、その時間mを、不動体認知時間mということとすると、背景生成部２１において生成する背景を更新する周期は、不動体認知時間mよりも長い時間である、例えば、不動体認知時間mの5倍程度とすることが望ましい。
【００３３】
すなわち、係数αは、画像に変化があっても、その変化後の状態が、不動体認知時間mの5倍程度だけ続くと、背景に反映されるような値に設定される。
【００３４】
ここで、不動体認知時間mは、例えば、ユーザが、図１の不動体検出装置を操作することにより設定することができ、背景生成部２１は、不動体認知時間mに応じて、係数αを設定する。
【００３５】
なお、背景生成部２１において、背景を生成する方法は、式（１）を用いる方法に限定されるものではない。すなわち、背景生成部２１では、例えば、Gausian Mixture Model（重み付き混合正規分布）を用いて、背景を作成する方法等を採用することができる。
【００３６】
動体検出部３１は、画像取得部１１からの現画像において、背景とは異なる部分の画像である動体（画像）を検出し、その動体に外接する最小の矩形の領域である動体領域を、一時停止判定部３２、及び、一時停止画像処理部３３に供給する。
【００３７】
一時停止判定部３２は、動体検出部３１からの動体領域に含まれる動体が、所定の一定時間以上停止（以下、一時停止ともいう）しているかどうかを判定し、動体が一時停止していると判定した場合、その一時停止している動体の動体領域内の画像を、一時停止しているオブジェクト（一時停止オブジェクト）が映る一時停止画像に映る一時停止オブジェクトとしてコピーし、一時停止画像処理部３３に供給する。
【００３８】
一時停止画像処理部３３は、一時停止判定部３３から供給される一時停止オブジェクトを、記憶部３４に登録する（記憶させる）。
【００３９】
すなわち、記憶部３４は、一時停止画像を記憶する、例えば、フレームメモリであり、一時停止画像処理部３３は、記憶部３４に記憶されている画像（一時停止画像）の、一時停止判定部３２からの一時停止オブジェクトの領域内の画素の画素値を、その一時停止オブジェクトの画素値に更新する。
【００４０】
また、一時停止画像処理部３３は、画像取得部１１からの現画像と、動体検出部３１からの動体（動体領域）とを用いて、記憶部３４に記憶された一時停止画像を更新する。
【００４１】
すなわち、一時停止画像処理部３３は、記憶部３４に登録（記憶）された一時停止画像に映る一時停止オブジェクトのうちの、動体検出部３１からの動体でない画素の画素値を、記憶部３４に登録された一時停止画像（一時停止オブジェクト）と、画像取得部１１からの現画像との重み付け加算により更新する。
【００４２】
具体的には、現画像である時刻tの画像の画素Xの画素値を、It(X)と、1時刻前の時刻t-1の記憶部３４に記憶された一時停止画像の画素Xの画素値を、Pt-1(X)と、一時停止画像処理部３３において時刻tに求められる更新後の一時停止画像の画素Xの画素値を、Pt(X)と、それぞれ表すこととすると、一時停止画像処理部３３は、記憶部３４に記憶された一時停止画像に映る一時停止オブジェクトの画素のうちの、動体の画素については、式（２）に従い、動体でない画素については、式（３）に従い、時刻tの一時停止画像（更新後の一時停止画像）の画素Xの画素値Pt(X)を求める。
【００４３】
Pt(X)=Pt-1(X)
・・・（２）
【００４４】
Pt(X)=（1−α’）Pt-1(X)＋αIt(X)
・・・（３）
【００４５】
式（３）に従った一時停止画像の更新によれば、日差しや照明の変化等に起因して、画像取得部１１で取得される画像の画面全体の輝度が変化する状況等において、記憶部３４に記憶された一時停止画像に映る一時停止オブジェクトの輝度（画素値）を、なるべく現在の輝度（現画像の輝度）に近づけるように、適切に更新することができ、その結果、画像の輝度の変化に対する頑強性を向上させ、不動体検出を高精度に行うことができる。
【００４６】
なお、式（２）によれば、一時停止画像に映る一時停止オブジェクトのうちの、現画像の動体と重なる部分については、画素値は、更新されない（そのままの値にされる）が、これは、例えば、一時停止オブジェクトの手前側を、歩行者等の動体が横切った場合に、一時停止オブジェクトの画素値が、動体である歩行者の画素値に上書き（更新）されることを防止するためである。
【００４７】
信頼度処理部３５は、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用いて、現画像の各画素（又は、隣接する幾つかの画素ごと）について、所定の時間以上変化がない、背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求め、記憶部３６に登録する（記憶させる）。
【００４８】
記憶部３６は、信頼度処理部３５からの、現画像の各画素についての不動体信頼度を画素値とする信頼度画像を記憶する。
【００４９】
不動体検出部３７は、記憶部３６に記憶された信頼度画像に基づいて、現画像から、不動体を検出し、不動体提示部３８に供給する。
【００５０】
すなわち、不動体検出部３７は、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を、閾値によって２値化し（閾値以上の不動体信頼度を1とするとともに、閾値未満の不動体信頼度を0とし）、２値化信頼度画像を求める。
【００５１】
さらに、不動体検出部３７は、２値化信頼度画像について、画素値が1の画素（不動体信頼度が閾値以上の画素）と、その画素に隣接する８近傍の画素のうちの、画素値が1の画素とに、同一のラベルを付すラベリングを行うことにより、画素値が1の画素で構成される領域に外接する最小の矩形の領域を、不動体の領域（不動体領域）として検出する。
【００５２】
そして、不動体検出部３７は、不動体領域としての矩形のサイズ（横と縦の画素数）、及び、その矩形の中心（重心）や左上の点の座標等の不動体（領域）を指定する情報を解析し（求め）、不動体情報として、不動体提示部３８に供給する。
【００５３】
不動体提示部３８は、不動体検出部３７からの不動体情報に基づき、画像取得部１１からの現画像を必要に応じて用いて、不動体（が検出された旨）を提示する。
【００５４】
すなわち、不動体提示部３８は、不動体検出部３７から不動体情報が供給されると、不動体が検出された旨を、音声や、画像、ランプの点滅や点灯等によって、ユーザに提示（報知）する。
【００５５】
また、不動体提示部３８は、画像取得部１１からの現画像に、不動体検出部３７からの不動体情報によって特定される不動体領域を囲む枠のOSD(On Screen Display)を重畳し、図示せぬ表示装置に表示させる。
【００５６】
なお、不動体提示部３８では、不動体（不動体領域）が、所定のサイズSA以上である場合にのみ、不動体の提示を行うことができる。また、不動体提示部３８では、不動体が、所定のサイズSA以下である場合にのみ、不動体の提示を行うことができる。さらに、不動体提示部３８では、不動体が、ある所定のサイズSA以上で、かつ、他の所定のサイズSB（＞SA）以下である場合にのみ、不動体の提示を行うことができる。所定のサイズSAやSBは、例えば、ユーザが、不動体検出装置を操作することで設定することが出来る。
【００５７】
図２は、図１の不動体検出装置の処理の概要を説明する図である。
【００５８】
すなわち、図２は、図１の画像取得部１１で取得される画像の時系列の例を示している。
【００５９】
図２において、時刻t1の画像には、家と、その家の近傍に植えてある木とが映っている。
【００６０】
時刻t1の後の時刻t2の画像には、家、及び、木の他、時刻t2に、家の前に駐車された自動車が映っているとともに、画面上の右から左方向に歩いている歩行者が、画面の右側に映っている。
【００６１】
時刻t2の後の時刻t3の画像には、家、木、及び、自動車と、歩行によって、画面上の左側に移動した歩行者とが映っている。
【００６２】
そして、時刻t3の後の時刻t4では、歩行者は、画面内を通り過ぎており、その結果、時刻t4の画像では、家、木、及び、自動車は映っているが、歩行者は消えている。
【００６３】
この場合、図１の不動体検出装置では、時刻t1の画像を背景（画像）として、時刻t2から駐車した状態のまま動かない、背景とは異なる部分の自動車（の画像）が、不動体として検出される。
【００６４】
また、図１の不動体検出装置では、歩行者は、歩行によって移動している動体であり、不動体としては、検出されない。
【００６５】
以上のように、図１の不動体検出装置では、画像において、所定の時間以上変化がない、背景とは異なる部分が、不動体として検出される。
【００６６】
したがって、図１の不動体検出装置では、例えば、図２に示したように、家、及び、木が映っている時刻t1の画像が背景である場合において、自動車が、家の前に駐車され、そのまま置き去りにされたときに、その置き去りにされた自動車が、不動体として検出される他、例えば、家、木、及び、駐車してある自動車が映っている時刻t4の画像が背景である場合において、駐車してある自動車が持ち去られたときに、その持ち去られた自動車（が映っていた部分）が、不動体として検出される。
【００６７】
［動体検出部３１］
【００６８】
図３は、図１の動体検出部３１の構成例を示すブロック図である。
【００６９】
図３において、動体検出部３１は、背景生成部５１、背景差分画像生成部５２、過去画像記憶部５３、過去差分画像生成部５４、連続性カウント画像生成部５５、動体候補領域画像生成部５６、及び、検出部５７を有し、画像取得部１１（図１）からの現画像から、移動している物体や、短い時間だけ静止している物体等の、背景と異なる部分である動体を検出する。
【００７０】
ここで、図３の動体検出部３１は、例えば、特開2006-107457号公報に記載されている方法で、動体を検出する。但し、動体検出部３１において動体を検出する方法は、特に限定されるものではない。
【００７１】
図３において、画像取得部１１からの現画像は、背景生成部５１、背景差分画像生成部５２、過去画像記憶部５３、及び、検出部５７に供給される。
【００７２】
背景生成部５１は、画像取得部１１からの現画像を用いて、例えば、図１の背景生成部２１と同様に、式（１）に従って、背景を生成し、背景差分画像生成部５２に供給する。
【００７３】
なお、背景生成部５１では、動体の誤検出を抑制するために、図１の背景生成部２１で生成される背景よりも短い周期で更新される背景が生成される。すなわち、図１の背景生成部２１で生成される背景の更新の周期が、例えば、１時間であるとすると、背景生成部５１では、例えば、15秒程度の周期で更新される背景が生成される。
【００７４】
したがって、背景生成部５１では、式（１）の係数αとして、図１の背景生成部２１で用いられる値よりも大きな値が設定される。
【００７５】
ここで、背景生成部５１では、現画像に映る動体（の表示）を抑制した、ある程度の時間静止している状態の画像が、背景として生成される。
【００７６】
一方、図１の背景生成部２１では、例えば、3分間等の所定の時間以上変化がない、背景とは異なる不動体を検出するために、不動体であるために変化しないことが要求される最小の時間（上述の3分間等）に比較して、十分長い時間静止している状態の画像が、背景として生成される。
【００７７】
なお、背景生成部５１では、図１の背景生成部２１と同様の周期で更新される背景を生成することができる。この場合、不動体検出装置には、背景生成部２１及び５１のうちのいずれか一方だけを設けるだけでよい。
【００７８】
背景差分画像生成部５２は、画像取得部１１からの現画像と、背景生成部５１からの背景との各画素の画素値の差分絶対値を画素値とする背景差分画像を生成して、検出部５７に供給する。
【００７９】
一方、過去画像記憶部５３は、画像取得部１１から供給される現画像として供給される画像を順次記憶することにより、現在から過去に遡ったN+1時刻分の画像、すなわち、最新の時刻（現在時刻）tの画像である現画像と、時刻t-Nないしt-1の画像である過去画像とを記憶する。
【００８０】
過去画像記憶部５３に記憶された時刻tの画像（現画像）と、時刻t-Nないしt-1の画像（過去画像）とは、過去差分画像生成部５４に供給される。
【００８１】
過去差分画像生成部５４は、現画像と、各時刻t-nの過去画像との各画素の画素値の差分値を画素値とする過去差分画像を生成し（n=1,2,・・・,N）、連続性カウント画像生成部５５に供給する。
【００８２】
連続性カウント画像生成部５５は、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像から求められたN枚の過去差分画像の各画素について、画素値（差分値）の連続性を判断するためのカウントを行い、そのカウント値を画素値とする連続性カウント画像を生成して、動体候補領域画像生成部５６に供給する。
【００８３】
動体候補領域画像生成部５６は、連続性カウント画像生成部５５からの連続性カウント画像（の各画素の画素値）を閾値によって２値化することにより、動体が映っている画素の候補の画素値を1とするとともに、他の画素の画素値を0とした動体候補領域画像を生成し、検出部５７に供給する。
【００８４】
検出部５７は、背景差分画像生成部５２からの背景差分画像と、動体候補領域画像生成部５６からの動体候補領域画像とに基づき、現画像において、動体が映っている領域を検出する。
【００８５】
さらに、検出部５７は、画像取得部１１からの現画像から、動体が映っている領域を囲む最小の矩形の外接領域の画像を、動体領域としてコピーし、図１の一時停止判定部３２、及び、一時停止画像処理部３３に供給する。
【００８６】
図４は、図３の動体検出部３１において動体を検出する原理を説明する図である。
【００８７】
すなわち、図４Ａ、図４Ｂ、及び、図４Ｃは、現画像と、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像との各画素の画素値の差分値を画素値とするN枚の過去差分画像のある画素Xの画素値（現在画像と過去画像との画素値の差分値）の例を示している。
【００８８】
なお、図４Ａ、図４Ｂ、及び、図４Ｃにおいて、横軸は、過去差分画像を求めるのに用いた過去画像の時刻を表し、縦軸は、過去差分画像の画素Xの画素値（現在画像と過去画像との画素値の差分値）を表している。
【００８９】
時刻t-Nないしtの各画像の画素Xに、移動する物体が映っていない場合、N枚の過去差分画像の画素Xの画素値（差分値）としては、図４Ａに示すように、比較的小さな値が継続する。
【００９０】
一方、時刻t-Nないしtの中のある時刻t'に、画素Xに、移動する物体が映り始め、現画像でも、画素Xに、その物体が映っている場合、図４Ｂに示すように、時刻t'より前の時刻の過去差分画像の画素Xの画素値（差分値）としては、比較的大きな値が継続し、時刻t'以後の時刻の過去差分画像の画素Xの画素値（差分値）は、比較的小さな値になる。
【００９１】
また、時刻t-Nないしtの画像の画素Xに、木の葉や波が映っており、その木の葉や波が揺らいでいる場合、図４Ｃに示すように、N枚の過去差分画像の画素Xの画素値（差分値）は、大きな値や小さな値に変動する。
【００９２】
したがって、N枚の過去差分画像の画素Xの画素値（差分値）を、閾値によって２値化し、閾値を超える画素値が、ある程度の時間連続する画素を、動体が映っている画素として検出することにより、木の葉や波の揺らぎ、日差しの急激な変化による輝度の変化等の外乱を、誤って、動体として検出（誤検出）することを防止することができる。
【００９３】
そこで、図３の動体検出部３１では、連続性カウント画像生成部５５において、時刻t-N，t-(N+1)，・・・，t-1それぞれの過去画像から求められたN枚の過去差分画像の各画素について、画素値が連続して閾値を超える回数（過去差分画像の枚数）をカウントし、そのカウント値を画素値とする連続性カウント画像を生成して、動体候補領域画像生成部５６に供給する。
【００９４】
ここで、動体候補領域画像生成部５６は、図３で説明したように、連続性カウント画像生成部５５からの連続性カウント画像の各画素の画素値を閾値によって２値化した動体候補領域画像を生成する。
【００９５】
画素Xに動体が映っている場合には、N枚の過去差分画像の画素Xの画素値（差分値）として、比較的大きな値が継続（連続）し、連続性カウント画像の画素Xの画素値が、閾値を超えるので、画素値が閾値を超える連続性カウント画像の画素、すなわち、画素値が1になっている動体候補領域画像の画素を検出することにより、動体（が映っている画素）を検出することができる。
【００９６】
ところで、物体が、位置Xから位置Yに移動した場合には、連続性カウント画像の画素X及びYのいずれの画素値も、閾値を超える。したがって、画素値が1になっている動体候補領域画像の画素を、動体として検出する場合には、画素X及びYの両方が、動体として検出される。
【００９７】
しかしながら、物体が、位置Xから位置Yに移動した場合には、現画像において、画素Yには、移動後の物体が映っているが、画素Xについては、物体は移動してしまっており、映っていない。
【００９８】
したがって、物体が、位置Xから位置Yに移動した場合には、現画像からの動体の検出にあたっては、画素X及びYの両方を、動体として検出するのではなく、現画像において移動後の物体が映っている画素Yを、動体として検出し、現画像において移動後の物体が映っていない画素Xは、動体として検出すべきでない。
【００９９】
そこで、図３の動体検出部３１では、画素値が1になっている動体候補領域画像の画素のうちの、現画像に、移動後の物体が映っている画素だけを、動体として検出する（移動前の物体が映っていた画素は、動体として検出しない）。
【０１００】
すなわち、図３の動体検出部３１では、上述したように、背景差分画像生成部５２において、画像取得部１１からの現画像と、背景生成部５１からの背景との各画素の画素値の差分絶対値を画素値とする背景差分画像を生成して、検出部５７に供給する。
【０１０１】
背景差分画像の画素値（差分絶対値）は、現画像と背景とに違いがある画素ほど、大きな値になるので、すなわち、例えば、背景には映っていないが現画像には映っている物体の画素ほど、大きな値になるので、背景差分画像（の各画素の画素値）を閾値によって２値化することにより、背景には映っていないが現画像には映っている物体の画素の画素値が1で、他の画素の画素値が0の画像（以下、２値化背景差分画像ともいう）を得ることができる。
【０１０２】
２値化背景差分画像において、背景には映っていないが現画像には映っている物体の画素の画素値は1になっているので、２値化背景差分画像において、画素値が1になっており、動体候補領域画像でも、画素値が1になっている画素を検出することにより、現画像に、移動後の物体が映っている画素だけを、動体として検出することができる。
【０１０３】
検出部５７は、以上のように、背景差分画像生成部５２からの背景差分画像（から得られる２値化背景差分画像）と、動体候補領域画像生成部５６からの動体候補領域画像とに基づき、現画像に、移動後の物体が映っている画素だけを、動体として検出する。
【０１０４】
以上のような動体検出部３１では、背景になかった物体が現れた場合（例えば、物体が置き去りにされた場合）、現画像において、その物体が映っている部分が、動体として検出されるが、背景に存在していた物体が消えた場合（例えば、物体が持ち去られた場合）、現画像において、背景に存在していた物体が映っていた部分が、動体として検出される。
【０１０５】
［一時停止判定部３２］
【０１０６】
図５は、図１の一時停止判定部３２の処理を説明する図である。
【０１０７】
一時停止判定部３２は、動体検出部３１からの（動体領域に含まれる）動体が、所定の一定時間以上停止する一時停止をしているかどうかを判定する。
【０１０８】
動体が一時停止しているかどうかの判定では、動体が停止している停止状態にあるかどうかの停止状態判定と、停止状態が、所定の一定時間（上述の不動体認知時間mと同程度か、又は、多少短い時間）以上継続したかどうかを判定する継続判定とが行われる。
【０１０９】
すなわち、一時停止判定部３２は、動体検出部３１で検出される動体のトラッキングにより、時刻tの画像（現画像）から検出された動体と、その動体と同一の動体であるであるとして、1時刻前の時刻t-1の画像から検出された動体とを用いて、停止状態判定を行う。
【０１１０】
停止状態判定では、現画像から検出された動体と、例えば、時刻t-1等の前の時刻（過去の時刻）の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満であるかどうかが判定される。
【０１１１】
ここで、位置ずれ量としては、例えば、現画像から検出された動体の矩形の動体領域の中心（重心）の座標（位置）を、(cx,cy)と表すとともに、時刻t-1の画像から検出された動体の矩形の動体領域の中心の座標を、(cx_p,cy_p)と表すこととすると、位置ずれ量は、例えば、式|cx-cx_p|＋|cy-cy_p|で表すことができる。
【０１１２】
この場合、停止状態判定では、式|cx-cx_p|＋|cy-cy_p|＜TH1を満たすかどうかが判定される。
【０１１３】
現画像から検出された動体と、時刻t-1の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満である場合には、連続して停止状態にあることをカウントする変数snumが、1だけインクリメントされる。
【０１１４】
また、現画像から検出された動体と、時刻t-1の画像から検出された動体との位置ずれ量が、位置ずれ量の閾値TH1未満でない場合には、変数snumが、0にリセットされる。
【０１１５】
そして、継続判定では、変数snumが、所定の一定時間に相当する時間の閾値TH2より大（以上）であるかどうかが判定される。
【０１１６】
変数snumが閾値TH2より大である場合、現画像から検出された動体は、一時停止している（一時停止状態である）と判定され、変数snumが閾値TH2より大でない場合、現画像から検出された動体は、一時停止していない（一時停止状態でない）と判定される。
【０１１７】
以上のように、一時停止判定部３２では、現画像から検出された動体と、現画像の1時刻前の画像から検出された動体との位置ずれ量が閾値TH1以内であることが、時間の閾値TH2以上だけ連続した場合に、現画像から検出された動体が、所定の一定時間以上停止している一時停止状態であると判定される。
【０１１８】
一時停止判定部３２は、現画像から検出された動体が、所定の一定時間以上停止している一時停止状態であると判定すると、その動体に、一時停止状態であることを表す値である1をセットした一時停止フラグisPauseを割り当てる。
【０１１９】
そして、一時停止判定部３２は、1がセットされた一時停止フラグisPauseが割り当てられている動体を、一時停止しているオブジェクトである一時停止オブジェクトとして、一時停止画像処理部３３に供給する。
【０１２０】
一時停止画像処理部３３は、一時停止判定部３３から供給される一時停止オブジェクトを、記憶部３４に記憶されている一時停止画像に、上書きする形で登録する（記憶させる）。
【０１２１】
なお、人（人間）については、一時停止オブジェクト、ひいては、不動体として検出する対象から除外したい場合がある。本件発明者の経験上、人については、比較的、短時間に、輝度が変化するので、現画像から検知される動体が、比較的、短時間に、輝度が変化する動体である場合には、一時停止判定部３２において、一時停止していると判定されても、一時停止オブジェクトとしない（記憶部３４に登録しない）ことにより、人が、不動体として検出されることを防止することができる。
【０１２２】
［信頼度処理部３５］
【０１２３】
図６は、図１の信頼度処理部３５の処理を説明する図である。
【０１２４】
信頼度処理部３５は、図１で説明したように、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用いて、現画像の各画素について、不動体信頼度を求め、記憶部３６に登録する（記憶させる）。
【０１２５】
ここで、図６に示すように、現画像に、家と木、自動車、及び、歩行者が映っているとする。
【０１２６】
また、図６においては、現画像に映る家と木が、背景であり、自動車が、不動体であり、歩行者が、動体としての動いている物体であるとする。
【０１２７】
この場合、記憶部３４には、図６に示すように、不動体である自動車が一時停止オブジェクトとして映る一時停止画像が記憶される。
【０１２８】
いま、現画像の、不動体である自動車が映るある画素（以下、不動体画素ともいう）Xに注目すると、現画像の不動体画素（位置Xの画素）Xの画素値Iと、一時停止画像の不動体画素（位置Xの画素）Xの画素値Pとは、同様の値（一致、又は、ほぼ一致する値）になる。
【０１２９】
また、一時停止画像の不動体画素Xの画素値Pと、背景の不動体画素（位置Xの画素）Xの画素値Bとは、同様の値にはならない。
【０１３０】
さらに、現画像の不動体画素Xの画素値Iと、背景の不動体画素Xの画素値Bとは、やはり、同様の値にならない。
【０１３１】
一方、現画像の、背景である、例えば、家が映る画素（以下、背景画素ともいう）X'に注目すると、現画像の背景画素X'の画素値Iと、一時停止画像の背景画素X'の画素値Pとは、同様の値にはならない。
【０１３２】
さらに、一時停止画像の背景画素X'の画素値Pと、背景の背景画素X'の画素値Bとは、やはり、同様の値にはならない。
【０１３３】
但し、現画像の背景画素X'の画素値Iと、背景の背景画素X'の画素値Bとは、同様の値になる。
【０１３４】
一方、現画像の、動体である、歩行者が映る画素（以下、動体画素ともいう）X''に注目すると、現画像の動体画素X''の画素値Iと、一時停止画像の動体画素X''の画素値Pとは、同様の値にはならない。
【０１３５】
さらに、一時停止画像の動体画素X''の画素値Pと、背景の動体画素X''の画素値Bとは、やはり、同様の値にはならず、現画像の動体画素X''の画素値Iと、背景の動体画素X''の画素値Bとも、同様の値にはならない。
【０１３６】
これは、現画像において、図６に示すように、動体画素が、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている画素であっても、同様である。
【０１３７】
以上のように、現画像の位置Xの画素が、不動体画素、背景画素、及び、動体画素のうちのいずれであるかによって、現画像、一時停止画像、及び、背景それぞれの位置Xの画素の画素値どうしの大小関係が異なるので、その大小関係に基づいて、現画像の位置Xの画素が、不動体画素であることの確からしさである不動体信頼度を見積もることができる。
【０１３８】
そこで、信頼度処理部３５は、現画像の各画素（各位置Xの画素）Xについて、現画像、背景、及び、一時停止画像の画素Xの画素値どうしの大小関係に基づいて、不動体信頼度を求める。
【０１３９】
すなわち、信頼度処理部３５は、例えば、図１の不動体検出装置の電源がオンにされたときに、記憶部３６に記憶された信頼度画像（不動体信頼度を画素値とする画像）の各画素値を、例えば0にリセットする。
【０１４０】
そして、信頼度処理部３５は、記憶部３４に、一時停止オブジェクトが、新たに登録（記憶）されると、すなわち、現画像から、新たな一時停止オブジェクトが得られると、記憶部３６に記憶された信頼度画像のうちの、新たな一時停止オブジェクトを構成する各画素について、不動体信頼度の初期値C0を設定する（記憶部３６に記憶させる（登録する））。
【０１４１】
さらに、信頼度処理部３５は、新たな現画像が得られるごとに（フレームごとに）、現画像の各画素の不動体画素らしさを判定し、その判定結果に基づいて、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を更新する。
【０１４２】
すなわち、図７は、信頼度処理部３５による不動体信頼度の更新の概要を説明する図である。
【０１４３】
いま、現画像の位置Xの画素の画素値を、I(X)と、一時停止画像の位置Xの画素の画素値を、P(X)と、背景の位置Xの画素の画素値を、B(X)と表すこととする。
【０１４４】
図６で説明したように、現画像の位置Xの画素が、不動体画素である場合には、画素値I(X)と画素値P(X)とは、同様の値になり、画素値P(X)と画素値B(X)とは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値にならない。
【０１４５】
また、現画像の位置Xの画素が、背景画素である場合には、画素値I(X)と画素値P(X)とは、同様の値にはならず、画素値P(X)と画素値B(X)とは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値になる。
【０１４６】
さらに、現画像の位置Xの画素値が、動体画素である場合には、画素値I(X)と画素値P(X)とは、同様の値にはならず、画素値P(X)と画素値Bとは、同様の値にはならず、画素値I(X)と画素値B(X)とは、同様の値にはならない。
【０１４７】
そこで、信頼度処理部３５は、図７Ａに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th以上である場合には、現画像の画素（位置Xの画素）Xは、不動体画素である可能性が高いので、その画素Xについての不動体信頼度C(X)の更新量△C(X)を、例えば、+1に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋△C(X)に従って更新する（不動体信頼度C(X)をインクリメントする）。
【０１４８】
さらに、信頼度処理部３５は、図７Ｂに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満であるか、又は、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th未満であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合には、現画像の画素Xは、背景画素である可能性が高いので、その画素Xについての不動体信頼度C(X)の更新量△C(X)を、例えば、-1に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋△C(X)に従って更新する（不動体信頼度C(X)をデクリメントする）。
【０１４９】
ここで、本実施の形態では、記憶部３４に記憶される一時停止オブジェクトは、矩形の形状をしているため、一時停止オブジェクトの一部には、背景が含まれることがある。一時停止オブジェクトに背景が含まれる場合に、その背景が映っている位置Xの画素については、画素値I(X)，P(X)、及び、B(X)は、同様の値になるため、信頼度処理部３５は、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合だけでなく、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th未満であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th未満である場合、つまり、画素値I(X)，P(X)、及び、B(X)が、同様の値である場合にも、現画像の画素Xが、背景画素である可能性が高いとして、不動体信頼度C(X)をデクリメントする。
【０１５０】
また、信頼度処理部３５は、図７Ｃに示すように、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th以上であり、画素値P(X)と画素値B(X)との差分絶対値|P(X)-B(X)|が、閾値th以上であり、かつ、画素値B(X)と画素値I(X)との差分絶対値|B(X)-I(X)|が、閾値th以上である場合、つまり、画素値I(X)，P(X)、及び、B(X)それぞれが、比較的異なる値である場合には、現画像の画素Xが、不動体画素でも、背景画素でもない可能性が高いとして、すなわち、例えば、動体画素である可能性が高いとして、その画素Xについての不動体信頼度C(X)の更新量△C(X)を、例えば、0に設定し、不動体信頼度C(X)を、式C(X)＝C(X)＋△C(X)に従って更新する（不動体信頼度C(X)をそのまま維持する）。
【０１５１】
ここで、現画像の画素Xが、動体画素である可能性が高いのにもかかわらず、その画素Xについての不動体信頼度C(X)をデクリメントしないのは、図６に示したように、現画像において、画素X(X'')が、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であることがあるからである。
【０１５２】
すなわち、画素Xが、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であるときには、その後、動体である歩行者が、不動体である自動車の前を通り過ぎると、画素Xは、不動体である自動車が映っている不動体画素となる。
【０１５３】
したがって、ある時刻の画像において、画素Xが、動体である歩行者が不動体である自動車の手前にいる場合の、その動体が映っている動体画素であっても、画素Xは、その後の時刻の画像において、不動体画素となることがあるので、そのようなケースにおいて、画素Xについての不動体信頼度C(X)をデクリメントすると、不動体画素が不動体として検出されなくなるおそれがあり、これを防止するためである。
【０１５４】
図８は、信頼度処理部３５による不動体信頼度の更新の詳細を説明する図である。
【０１５５】
信頼度処理部３５は、式|I(X)-P(X)|＜th、式|P(X)-B(X)|＜th、及び、式|I(X)-B(X)|＜thのそれぞれが満たされる(Yes)か、満たされない(No)かを判定し、その判定結果に基づいて、図８に示すように、不動体信頼度C(X)を、インクリメント（増加）させるか、デクリメント（減少）させるか、又は、そのまま維持する（増減しない）。
【０１５６】
すなわち、いま、式|I(X)-P(X)|＜thが、満たされる場合と満たされない場合とを、それぞれ、[Yes,,]と[No,,]と表すこととする。同様に、式|P(X)-B(X)|＜thが、満たされる場合と満たされない場合とを、それぞれ、[,Yes,]と[,No,]と表すとともに、式|I(X)-B(X)|が、満たされる場合と満たされない場合とを、それぞれ、[,,Yes]と[,,No]と表すこととする。
【０１５７】
この場合、例えば、[Yes,Yes,Yes]は、式|I(X)-P(X)|＜th、式|P(X)-B(X)|＜th、及び、式|I(X)-B(X)|＜thのすべてが満たされることを表す。
【０１５８】
信頼度処理部３５は、[Yes,Yes,Yes]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、[Yes,No,No]の場合、不動体信頼度C(X)を、例えば、1だけインクリメントし、[No,No,Yes]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、[No,No,No]の場合、不動体信頼度C(X)を、そのまま維持し、[No,Yes,No]の場合、不動体信頼度C(X)を、例えば、1だけデクリメントし、その他の場合(Other)、不動体信頼度C(X)を、例えば、1だけデクリメントする。
【０１５９】
なお、不動体信頼度C(X)を更新する更新量（インクリメント、及び、デクリメントする量）は、1に限定されるものではない。
【０１６０】
すなわち、信頼度処理部３５では、[Yes,Yes,Yes]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、[Yes,No,No]の場合、不動体信頼度C(X)を、例えば、1だけインクリメントし、[No,No,Yes]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、[No,No,No]の場合、不動体信頼度C(X)を、そのまま維持し、[No,Yes,No]の場合、不動体信頼度C(X)を、例えば、2だけデクリメントし、その他の場合(Other)、不動体信頼度C(X)を、例えば、1だけデクリメントすることができる。
【０１６１】
また、以上においては、現画像の画素値I(X)、一時停止画像の画素値P(X)、及び、背景の画素値B(X)の３つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新することとしたが、不動体信頼度C(X)は、その他、例えば、現画像の画素値I(X)、及び、一時停止画像の画素値P(X)の２つの画素値の大小関係に基づいて更新することができる。
【０１６２】
すなわち、例えば、式|I(X)-P(X)|＜thが満たされる場合には、画素Xが不動体画素であるとして、不動体信頼度C(X)をインクリメントし、式|I(X)-P(X)|＜thが満たされない場合には、画素Xが不動体画素でないとして、不動体信頼度C(X)をデクリメントすることができる。
【０１６３】
現画像の画素値I(X)、及び、一時停止画像の画素値P(X)の２つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新する場合には、現画像の画素値I(X)、一時停止画像の画素値P(X)、及び、背景の画素値B(X)の３つの画素値の大小関係に基づいて、不動体信頼度C(X)を更新する場合に比較して、不動体を検出する精度が劣化するが、不動体検出装置を、背景生成部２１を設けずに（小型に）構成することができる。
【０１６４】
図９は、信頼度処理部３５により更新される不動体信頼度C(X)の変化を示す図である。
【０１６５】
すなわち、図９Ａは、画素Xが、不動体画素である場合の、その画素Xについての不動体信頼度C(X)の変化を示している。
【０１６６】
画素Xが、不動体画素である場合において、一時停止判定部３２において、画素Xが一時停止していると判定されると、その画素X（の画素値）が、一時停止オブジェクトとして、記憶部３４に記憶される。
【０１６７】
画素Xが、一時停止オブジェクトとして、記憶部３４に記憶されると、信頼度処理部３５は、その画素Xについての不動体信頼度C(X)として、記憶部３６に、初期値C0を設定する（記憶させる）。
【０１６８】
画素Xが、不動体画素である場合には、その画素Xについての不動体信頼度C(X)が、時間の経過とともに増加していく（インクリメントされる）。
【０１６９】
したがって、画素Xが、不動体画素である場合には、その画素Xについての不動体信頼度C(X)は、初期値C0が設定されてから、ある程度の時間が経過すると、不動体検出部３７（図１）で行われる２値化に用いられる閾値th_conf以上の値となり、その結果、不動体検出部３７において、画素Xは、不動体として検出される。
【０１７０】
図９Ｂは、画素Xが、揺らいでる木の葉等が映っている外乱がある画素である場合の、その画素Xについての不動体信頼度C(X)の変化を示している。
【０１７１】
一時停止判定部３２では、揺らいでる木の葉等が映っている外乱がある画素Xが、外乱の影響により、誤って、一時停止していると判定されることがあり、この場合、画素X（の画素値）は、一時停止オブジェクトとして、記憶部３４に記憶される。
【０１７２】
そして、画素Xが、一時停止オブジェクトとして、記憶部３４に記憶されると、信頼度処理部３５は、その画素Xについての不動体信頼度C(X)として、記憶部３６に、初期値C0を設定する。
【０１７３】
以上のように、画素Xについての不動体信頼度C(X)に、初期値C0が設定されても、画素Xが、揺らいでる木の葉等が映っている外乱がある画素である場合には、その画素Xについての不動体信頼度C(X)の更新では、不動体信頼度C(X)のインクリメントや、デクリメント、値の維持が、いわばランダムに行われる。
【０１７４】
したがって、画素Xについての不動体信頼度C(X)は、時間が経過しても、初期値C0からそれほど変化せず、閾値th_conf以上の値にはならない。
【０１７５】
その結果、不動体検出部３７において、画素Xは、不動体として検出されないので、外乱がある画素が不動体として誤検出されることを抑制することができる。
【０１７６】
図１０は、図１の信頼度処理部３５による不動体信頼度C(X)の初期値C0の設定を説明する図である。
【０１７７】
信頼度処理部３５は、記憶部３４に、一時停止オブジェクトが、新たに登録（記憶）されると、すなわち、現画像から、新たな一時停止オブジェクトが得られると、その一時停止オブジェクトを構成する各画素について、不動体信頼度C(X)の初期値C0を設定する。
【０１７８】
すなわち、信頼度処理部３５は、記憶部３６に記憶されている、不動体信頼度C(X)を画素値とする信頼度画像の画素のうちの、一時停止オブジェクトの画素（と同一位置にある画素）の画素値として、初期値C0を記憶させる（登録する）。
【０１７９】
この場合、記憶部３６に記憶されている信頼度画像の画素値は、初期値C0によって上書きされる。
【０１８０】
ところで、既に、一時停止オブジェクトAが得られており、その一時停止オブジェクトAについて、信頼度画像の、一時停止オブジェクトAの領域内の画素に、画素値としての不動体信頼度が記憶されている場合において、一時停止オブジェクトAに、少なくとも一部が重なるような一時停止オブジェクトBが、新たに得られたとする。
【０１８１】
この場合、新たな一時停止オブジェクトBについて、信頼度画像の、一時停止オブジェクトBの領域（図１０において、太線で囲む領域）内の画素に、画素値としての不動体信頼度の初期値C0を、何らの制限もなしに記憶させると、既に、初期値C0よりも大きな値になっている、一時停止オブジェクトAについての不動体信頼度が、初期値C0に上書きされることがある。
【０１８２】
既に、初期値C0よりも大きな値になっている、一時停止オブジェクトAについての不動体信頼度が、初期値C0に上書きされた場合、例えば、その上書き前の不動体信頼度が、既に、閾値th_conf以上になっているときには、それまで不動体として検出されていた、一時停止オブジェクトAの一部が、突然、不動体として検出されなくなる不都合が生じる。
【０１８３】
そこで、信頼度処理部３５は、記憶部３６に記憶されている信頼度画像の画素値に、初期値C0を記憶させる場合に、その画素の画素値が、既に、初期値C0以上になっているときには、その初期値C0以上の画素値の画素の画素値を、そのまま維持し、初期値C0を記憶させない（上書きを制限する）。
【０１８４】
すなわち、信頼度処理部３５は、一時停止オブジェクトが新たに得られた場合に、信頼度画像の、新たな一時停止オブジェクトの領域内の画素のうちの、画素値が初期値C0未満の画素にだけ、初期値C0を記憶させる（設定する）。
【０１８５】
これにより、信頼度画像において、既に、初期値C0よりも大きな値になっている画素値が、初期値C0に上書きされ、不動体が検出されなくなることを防止することができる。
【０１８６】
［不動体検出装置の処理］
【０１８７】
図１１は、図１の不動体検出装置の処理（不動体検出処理）を説明するフローチャートである。
【０１８８】
画像取得部１１は、最新の画像を取得し、現画像として、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に供給する。
【０１８９】
背景生成部２１は、画像取得部１１から現画像が供給されると、ステップＳ１１において、その現画像を用い、式（１）に従って、背景を生成（更新）し、信頼度処理部３５に供給して、処理は、ステップＳ１２に進む。
【０１９０】
ステップＳ１２では、動体検出部２１が、画像取得部１１からの現画像から、動体を検出する動体検出処理を行い、処理は、ステップＳ１３に進む。
【０１９１】
ステップＳ１３では、動体検出部３１は、直前のステップＳ１２の動体検出処理で、動体が検出されたかどうかを判定する。
【０１９２】
ステップＳ１３において、動体が検出されていないと判定された場合、処理は、ステップＳ１４ないしＳ１６をスキップして、ステップＳ１７に進む。
【０１９３】
また、ステップＳ１３において、動体が検出されたと判定された場合、動体検出部３１は、現画像から検出した動体（の動体領域）を、一時停止判定部３２、及び、一時停止画像処理部３３に供給して、処理は、ステップＳ１４に進む。
【０１９４】
ステップＳ１４では、一時停止判定部３２は、動体検出部３１からの動体が一時停止しているかどうかを判定する。
【０１９５】
ステップＳ１４において、動体が一時停止していないと判定された場合、処理は、ステップＳ１５及びＳ１６をスキップして、ステップＳ１７に進む。
【０１９６】
また、ステップＳ１４において、動体が一時停止していると判定された場合、一時停止判定部３２は、その一時停止している動体を、一時停止オブジェクトとして、一時停止画像処理部３３に供給し、処理は、ステップＳ１５に進む。
【０１９７】
ステップＳ１５では、一時停止処理部３３は、一時停止判定部３３からの一時停止オブジェクトを、記憶部３４に登録し、すなわち、記憶部３４に記憶された一時停止画像の、一時停止オブジェクトに対応する領域に、その一時停止オブジェクトを記憶させ、処理は、ステップＳ１６に進む。
【０１９８】
ステップＳ１６では、信頼度処理部３５は、直前のステップＳ１５で記憶部３４に記憶された一時停止オブジェクトについて、記憶部３６に記憶された信頼度画像の、一時停止オブジェクトに対応する領域の画素に、不動体信頼度の初期値C0を記憶させ（設定し）、処理は、ステップＳ１７に進む。
【０１９９】
ステップＳ１７では、一時停止画像処理部３３は、画像取得部１１からの現画像と、動体検出部３１からの動体とを用い、式（２）及び式（３）に従って、記憶部３４に記憶された一時停止画像（に映る一時停止オブジェクト）を更新し、処理は、ステップＳ１８に進む。
【０２００】
ステップＳ１８では、信頼度処理部３５は、画像取得部１１からの現画像、背景生成部２１からの背景、及び、記憶部３４に記憶された一時停止画像を用い、図６ないし図９で説明したように、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を更新し、処理は、ステップＳ１９に進む。
【０２０１】
ステップＳ１９では、不動体検出部３７は、記憶部３６に記憶された信頼度画像に基づいて、現画像から、不動体を検出する検出処理を行って、処理は、ステップＳ２０に進む。
【０２０２】
すなわち、検出処理では、不動体検出部３７は、記憶部３６に記憶された信頼度画像の画素値である不動体信頼度を、閾値th_confによって２値化し、２値化信頼度画像を求める。
【０２０３】
さらに、不動体検出部３７は、２値化信頼度画像について、画素値が1の画素（不動体信頼度が閾値th_conf以上の画素）と、その画素に隣接する８近傍の画素のうちの、画素値が1の画素とに、同一のラベルを付すラベリングを行うことにより、画素値が1の画素で構成される領域に外接する最小の矩形の領域を、不動体の領域（不動体領域）として検出する。
【０２０４】
ステップＳ２０では、不動体検出部３７は、直前のステップＳ１９での検出処理で、不動体が検出されたかどうかを判定する。
【０２０５】
ステップＳ２０において、不動体が検出されていないと判定された場合、処理は、ステップＳ２１をスキップして、ステップＳ２２に進む。
【０２０６】
また、ステップＳ２０において、不動体が検出されたと判定された場合、不動体検出部３７は、不動体（不動体領域）のサイズ、及び、中心の座標等を求め、不動体情報として、不動体提示部３８に供給して、処理は、ステップＳ２１に進む。
【０２０７】
ステップＳ２１では、不動体提示部３８は、不動体検出部３７からの不動体情報に基づき、画像取得部１１からの現画像を必要に応じて用いて、不動体（が検出された旨）を提示し、処理は、ステップＳ２２に進む。
【０２０８】
ステップＳ２２では、一時停止画像処理部３３は、記憶部３６に記憶された信頼度画像を参照し、その画素値である不動体信頼度が、初期値C0より小さい、例えば、0になっている、記憶部３４に記憶された一時停止オブジェクトを削除する。
【０２０９】
すなわち、一時停止画像処理部３３は、記憶部３４に記憶された一時停止オブジェクトの画素のうちの、不動体信頼度が0になっている画素の画素値を、例えば、0等にする。
【０２１０】
その後、画像取得部１１から、背景生成部２１、動体検出部３１、一時停止画像処理部３３、信頼度処理部３５、及び、不動体提示部３８に、新たな現画像が供給されるのを待って、処理は、ステップＳ２２からステップＳ１１に戻り、以下、同様の処理が繰り返される。
【０２１１】
以上のように、図１の不動体検出装置では、動体が一時停止しているかどうかを判定し、一時停止している動体である一時停止オブジェクトが映る一時停止画像と、現画像とを、少なくとも用いて、不動体信頼度を更新（生成）し、その不動体信頼度に基づいて、不動体を検出するので、誤検出を抑制した、頑強な不動体検出を行うことができる。
【０２１２】
図１２は、図１の不動体検出装置の処理を説明する図である。
【０２１３】
すなわち、図１２は、幾つかの時刻t1ないしt8それぞれの現画像、一時停止画像、及び、背景の例を示している。
【０２１４】
図１２において、時刻t1では、現画像には、木だけが映っており、背景生成部２１において、現画像と同様の木だけが映っている画像が、背景として生成されている。また、一時停止画像には、何らの一時停止オブジェクトも映っていない。
【０２１５】
時刻t1の後の時刻t2では、右から左の方向に移動する自動車が現れ始めており、現画像には、木とともに、右側に、現れ始めた自動車が映っている。現画像に映っている自動車は、動体検出部３１において、動体として検出される。また、背景生成部２１では、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２１６】
時刻t2の後の時刻t3では、移動していた自動車が停止（ストップ）し、現画像には、木とともに、左側に、停止した自動車が映っている。停止した自動車は、動体検出部３１において、動体として検出され続けるが、まだ、停止した直後であるため、一時停止判定部３２において、まだ、一時停止しているとは判定されず、一時停止画像には反映されていない。また、背景生成部２１では、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２１７】
時刻t3の後の時刻t4では、自動車が停止し続けており、現画像には、時刻t3の場合と同様に、木とともに、左側に、停止した自動車が映っている。そして、時刻t4では、自動車が、所定の一定時間だけ停止し続けており、一時停止判定部３２において、一時停止していると判定され、一時停止画像処理部３３において、一時停止オブジェクトとして、記憶部３４に記憶された一時停止画像に登録（反映）されている。これにより、一時停止画像は、一時停止オブジェクトである自動車が映った画像になっている。
【０２１８】
さらに、時刻t4では、一時停止オブジェクトとしての自動車が、記憶部３４に記憶されたことにより、信頼度処理部３５において、記憶部３６に記憶された信頼度画像の、一時停止オブジェクトとしての自動車に対応する領域の画素の画素値に、不動体信頼度の初期値C0が設定される。
【０２１９】
また、時刻t4では、背景生成部２１において、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２２０】
時刻t4から、その後の時刻t5までの間、自動車が停止し続けており、時刻t5の現画像には、時刻t3及びt4の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、一時停止オブジェクトとしての自動車が映った一時停止画像が記憶され続けており、背景生成部２１において、まだ、自動車の影響を受けず、木だけが映っている画像が、背景として生成されている。
【０２２１】
したがって、時刻t4から時刻t5にかけては、現画像の、一時停止オブジェクトとしての自動車が映っている画素Xについては、現画像の画素Xの画素値I(X)、一時停止画像の画素Xの画素値P(X)、及び、背景の画素Xの画素値B(X)に関して、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満になり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th以上になり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th以上になるので、信頼度処理部３５において、図７Ａで説明したように、記憶部４６に記憶された信頼度画像の画素X（位置Xの画素）の画素値である不動体信頼度C(X)がインクリメントされていく。
【０２２２】
そして、時刻t5において、現画像の、一時停止オブジェクトとしての自動車が映っている画素Xについての不動体信頼度C(X)が、閾値th_confとなり、その結果、不動体検出部３７において、現画像の、一時停止オブジェクトとしての自動車が、不動体として検出されている。
【０２２３】
時刻t5の後の時刻t6では、自動車が停止し続けており、時刻t6の現画像には、時刻t3ないしt5の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、一時停止オブジェクトとしての自動車が映った一時停止画像が記憶され続けている。
【０２２４】
さらに、時刻t6では、自動車が停止した時刻t3から、不動体認知時間mの5倍等の相当の時間が経過しており、そのため、背景生成部２１において、停止している自動車の影響を受けた、木と自動車が映っている画像が、背景として生成されている。
【０２２５】
時刻t6から、その後の時刻t7までの間、自動車が停止し続けており、時刻t7の現画像には、時刻t3ないしt6の場合と同様に、木とともに、左側に、停止した自動車が映っている。さらに、記憶部３４には、自動車が映った一時停止画像が記憶され続けており、背景生成部２１においては、自動車の影響を受けた、木と自動車が映っている画像が、背景として生成されている。
【０２２６】
したがって、時刻t6から時刻t7にかけては、現画像の自動車が映っている画素Xについては、現画像の画素Xの画素値I(X)、一時停止画像の画素Xの画素値P(X)、及び、背景の画素Xの画素値B(X)に関して、画素値I(X)と画素値P(X)との差分絶対値|I(X)-P(X)|が、閾値th未満になり、画素値I(X)と画素値B(X)との差分絶対値|I(X)-B(X)|が、閾値th未満になり、かつ、画素値B(X)と画素値P(X)との差分絶対値|B(X)-P(X)|が、閾値th未満になるので、信頼度処理部３５において、図７Ｂで説明したように、記憶部４６に記憶された信頼度画像の画素X（位置Xの画素）の画素値である不動体信頼度C(X)がデクリメントされていく。
【０２２７】
そして、時刻t7において、現画像の自動車が映っている画素Xについての不動体信頼度C(X)が、閾値th_conf未満となり、その結果、不動体検出部３７において、現画像の自動車が、不動体として検出されなくなる。
【０２２８】
その後も、自動車が停止し続けており、これにより、現画像の自動車が映っている画素Xについての不動体信頼度C(X)がデクリメントされ続ける。
【０２２９】
そして、時刻t7の後の時刻t8では、現画像の自動車が映っている画素Xについての不動体信頼度C(X)が0になり、一時停止画像処理部３３において、不動体信頼度が0になった、記憶部３４に記憶された自動車が削除（消去）される。
【０２３０】
ここで、上述の場合には、画素Xについての不動体信頼度C(X)が、閾値th_conf以上である場合には、その画素Xを不動体として検出することとしたが、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、不動体信頼度C(X)が単調減少している場合には、画素Xを、不動体として検出することを制限すること（不動体として検出しないこと）ができる。
【０２３１】
すなわち、図１の不動体検出装置では、例えば、図１２で説明したように、不動体である自動車が、停止し続け、背景に反映されると、自動車が映っている画素Xについての不動体信頼度C(X)が、デクリメントされ続け、閾値th_conf未満になると、自動車が、不動体として検出されなくなる。
【０２３２】
したがって、停止し続けている自動車が、背景に反映された後は、自動車が映っている画素についての不動体信頼度は、単調減少し、その後、不動体信頼度が、閾値th_conf未満になるのを待って、自動車が、不動体として検出されなくなるのであるから、結局、自動車が映っている画素についての不動体信頼度が単調減少しているということは、将来的に、自動車が、不動体として検出されなくなることを意味する。
【０２３３】
そこで、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、不動体信頼度C(X)が単調減少している場合には、画素Xを、不動体として検出することを制限することができる。
【０２３４】
図１３は、不動体信頼度C(X)が単調減少している場合に、画素Xを、不動体として検出することを制限することを説明する図である。
【０２３５】
すなわち、図１３は、不動体信頼度C(X)を示す図である。
【０２３６】
不動体検出部３７では、図１３に示すように、画素Xについての不動体信頼度C(X)が、閾値th_conf以上であっても、所定の時間△tだけ連続して減少（単調減少）した場合には、その後、画素Xを、不動体として検出することが制限される。
【０２３７】
なお、不動体検出部３７では、その他、例えば、画素Xの不動体信頼度C(X)が、閾値th-conf未満であっても、所定の時間△tだけ連続して増加（単調増加）した場合には、画素Xを、不動体として検出することができる。
【０２３８】
［複数枚の一時停止画像、及び、信頼度画像］
【０２３９】
上述の場合には、記憶部３４及び３６（図１）に、それぞれ、１枚（１画面分の）一時停止画像、及び、信頼度画像が記憶されることを暗黙の前提としたが、記憶部３４及び３６には、それぞれ、複数枚の一時停止画像、及び、信頼度画像を記憶させることができる。
【０２４０】
図１４は、記憶部３４及び３６に、それぞれ、３枚の一時停止画像、及び、信頼度画像が記憶される場合の、図１の不動体検出装置の処理を説明する図である。
【０２４１】
なお、複数枚の一時停止画像P#iと、複数枚の信頼度画像Q#iとは、同一の枚数だけ用意される。また、１枚の一時停止画像P#iと、１枚の信頼度画像Q#iとは、対応付けられて、１組として使用される。
【０２４２】
いま、記憶部３４に、３枚の一時停止画像P#1,P#2,P#3が記憶されるとともに、記憶部３６に、一時停止画像P#1,P#2,P#3それぞれと組になる信頼度画像Q#1,Q#2,Q#3が記憶されることとする。
【０２４３】
一時停止画像処理部３３は、記憶部３４に、一時停止判定部３２からの新たな一時停止オブジェクトを登録する場合、記憶部３６の信頼度画像Q#1ないしQ#3の中から、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている１枚の信頼度画像Q#iを検出する。
【０２４４】
そして、一時停止画像処理部３３は、記憶部３４の一時停止画像P#1ないしP#3のうちの、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている信頼度画像Q#iと組になっている一時停止画像P#iに、新たな一時停止オブジェクトを登録（上書き）する。
【０２４５】
図１４では、信頼度画像Q#1ないしQ#3の中で、新たな一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっているのは、信頼度画像Q#3だけであり、そのため、その信頼度画像Q#3と組になっている一時停止画像P#3に、新たな一時停止オブジェクトが登録されている。
【０２４６】
なお、信頼度画像Q#1ないしQ#3の中に、一時停止オブジェクトに対応する領域の不動体信頼度がすべて0になっている信頼度画像が存在しない場合には、信頼度画像Q#1ないしQ#3の中で、例えば、一時停止オブジェクトに対応する領域の不動体信頼度の平均値が最小の信頼度画像が検出され、その信頼度画像と組になっている一時停止画像に、新たな一時停止オブジェクトが登録される。
【０２４７】
また、一時停止画像処理部３３は、記憶部３４に記憶された一時停止画像P#1ないしP#3それぞれについて、１枚の一時停止画像の場合と同様に、式（２）及び式（３）に従った更新を、独立に行う。
【０２４８】
信頼度処理部３５は、記憶部３４に記憶された一時停止画像P#iに、一時停止オブジェクトが新たに登録された場合に、記憶部３６に記憶された信頼度画像Q#1ないしQ#3のうちの、一時停止オブジェクトが新たに登録された一時停止画像P#iと組になっている信頼度画像Q#iの画素値としての不動体信頼度だけを、１枚の信頼度画像の場合と同様に、初期値C0に設定する。
【０２４９】
そして、信頼度処理部３５は、記憶部３６に記憶された信頼度画像Q#1ないしQ#3それぞれの不動体信頼度を、その信頼度画像Q#iと組になっている一時停止画像P#iを用いて、１枚の信頼度画像の場合と同様に、独立に更新する。
【０２５０】
不動体検出部３７は、記憶部３６に記憶された信頼度画像Q#1ないしQ#3それぞれについて、その信頼度画像Q#iを用いて、１枚の信頼度画像の場合と同様に、不動体を、独立に検出する。
【０２５１】
以上のように、複数枚の一時停止画像、及び、信頼度画像を用いることにより、不動体が、最大で、その複数枚と同一の数だけ重なっている場合であっても、その重なっている不動体を、分離して検出することができる。
【０２５２】
［本技術を適用したコンピュータの説明］
【０２５３】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２５４】
そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２５５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２５６】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２５７】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２５８】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０２５９】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０２６０】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２６１】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２６２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２６３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２６４】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２６５】
すなわち、例えば、本実施の形態では、不動体提示部３８において、不動体検出部３７から不動体情報が供給されると、不動体が検出された旨を、音声や、画像、ランプの点滅や点灯等によって、ユーザに提示（報知）することとしたが、不動体検出部３７で得られた不動体情報は、画像取得部１１で取得された画像とともに、その画像のメタデータとして、ネットワークを介して送信することができる。
【０２６６】
また、本実施の形態では、不動体検出部３７において、記憶部３６に記憶された信頼度画像の、画素値である不動体信頼度が閾値以上の画素の画素値を1とするとともに、画素値（不動体信頼度）が閾値未満の画素の画素値を0とする２値化を行うことで、２値化信頼度画像を求めることとしたが、２値化信頼度画像は、その他、例えば、信頼度画像の、画素値（不動体信頼度）が閾値以上の画素であり、かつ、一時停止オブジェクトが映る画素として、記憶部３４に記憶されてから所定の設定時間以上が経過している画素の画素値を1とするとともに、他の画素の画素値を0とする２値化を行うこと等によって求めることができる。
【０２６７】
また、図１の不動体検出装置は、例えば、撮影した画像をネットワークを介して伝送することができるネットワークカメラや、アナログ画像をネットワーク化する機器（アナログ画像をネットワークを介して伝送する機器、PC(Personal Computer)のアプリケーション、その他の機器に適用可能である。
【０２６８】
ここで、本明細書において、「以上」や「以下」は、「より大きい」や「未満」であってもよく、逆に、「より大きい」や「未満」は、「以上」や「以下」であってもよい。
【０２６９】
また、本技術は、以下のような構成をとることもできる。
【０２７０】
［１］
現画像において、背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
を備える画像処理装置。
［２］
前記一時停止判定部は、前記現画像から検出された前記動体と、前記現画像よりも前の時刻の画像から検出された前記動体との位置ずれ量が前記位置ずれ量の閾値未満であることが、時間の閾値以上だけ連続した場合、前記動体が、所定の一定時間以上停止していると判定する
［１］に記載の画像処理装置。
［３］
前記一時停止画像が登録される記憶部と、
前記記憶部に登録された前記一時停止画像に映る一時停止オブジェクトのうちの、前記動体でない画素の画素値を、前記記憶部に登録された前記一時停止画像と、前記現画像との重み付け加算により更新する一時停止画像処理部と
をさらに備える
［１］又は［２］に記載の画像処理装置。
［４］
前記信頼度処理部は、前記現画像の注目する注目画素について、前記一時停止画像、前記現画像、及び、前記背景それぞれの注目画素の画素値の大小関係に基づいて、前記不動体信頼度を求める
［１］ないし［３］のいずれかに記載の画像処理装置。
［５］
前記信頼度処理部は、
前記現画像から、前記一時停止オブジェクトが得られたときに、前記一時停止オブジェクトを構成する画素について、前記不動体信頼度の初期値を設定し、
前記現画像の注目する注目画素の画素値Iと、前記一時停止画像の注目画素の画素値Pとの差分絶対値|I-P|が、閾値th未満であり、
画素値Iと、前記背景の注目画素の画素値Bとの差分絶対値|I-B|が、閾値th以上であり、
かつ、画素値Bと画素値Pとの差分絶対値|B-P|が、閾値th以上である
場合、前記注目画素についての前記不動体信頼度をインクリメントし、
画素値Iと画素値Pとの差分絶対値|I-P|が、閾値th以上であり、
画素値Pと画素値Bとの差分絶対値|P-B|が、閾値th以上であり、
かつ、画素値Bと画素値Iとの差分絶対値|B-I|が、閾値th未満であるか、
又は、
画素値Iと画素値Pとの差分絶対値|I-P|が、閾値th未満であり、
画素値Pと画素値Bとの差分絶対値|P-B|が、閾値th未満であり、
かつ、画素値Bと画素値Iとの差分絶対値|B-I|が、閾値th未満である
場合、前記注目画素についての前記不動体信頼度をデクリメントする
［４］に記載の画像処理装置。
［６］
前記不動体検出部は、前記不動体信頼度が閾値以上の画素を、不動体を構成する画素として検出する
［５］に記載の画像処理装置。
［７］
前記信頼度処理部は、前記不動体信頼度の初期値を設定するときに、前記初期値未満の前記不動体信頼度が設定されている画素についてだけ、前記初期値を設定する
［５］又は［６］に記載の画像処理装置。
［８］
前記信頼度処理部は、複数枚の一時停止画像について、不動体信頼度を求め、
前記不動体検出部は、複数枚の一時停止画像を用いて求められた前記不動体信頼度それぞれに基づいて、前記現画像から、不動体を検出する
［１］ないし［７］のいずれかに記載の画像処理装置。
［９］
現画像において、背景とは異なる部分の画像である動体を検出し、
前記動体が、所定の一定時間以上停止しているかどうかを判定し、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求め、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する
ステップを含む画像処理方法。
［１０］
現画像において、背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０２７１】
１１ 画像取得部， ２１ 背景生成部， ３１ 動体検出部， ３２ 一時停止判定部， ３３ 一時停止画像処理部， ３４ 記憶部， ３５ 信頼度処理部， ３６ 記憶部， ３７ 不動体検出部， ３８ 不動体提示部， ５１ 背景生成部， ５２ 背景差分画像生成部， ５３ 過去画像記憶部， ５４ 過去差分画像生成部， ５５ 連続性カウント画像生成部， ５６ 動体候補領域画像生成部， ５７ 検出部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【特許請求の範囲】
【請求項１】
現画像において、背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
を備える画像処理装置。
【請求項２】
前記一時停止判定部は、前記現画像から検出された前記動体と、前記現画像よりも前の時刻の画像から検出された前記動体との位置ずれ量が前記位置ずれ量の閾値未満であることが、時間の閾値以上だけ連続した場合、前記動体が、所定の一定時間以上停止していると判定する
請求項１に記載の画像処理装置。
【請求項３】
前記一時停止画像が登録される記憶部と、
前記記憶部に登録された前記一時停止画像に映る一時停止オブジェクトのうちの、前記動体でない画素の画素値を、前記記憶部に登録された前記一時停止画像と、前記現画像との重み付け加算により更新する一時停止画像処理部と
をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記信頼度処理部は、前記現画像の注目する注目画素について、前記一時停止画像、前記現画像、及び、前記背景それぞれの注目画素の画素値の大小関係に基づいて、前記不動体信頼度を求める
請求項３に記載の画像処理装置。
【請求項５】
前記信頼度処理部は、
前記現画像から、前記一時停止オブジェクトが得られたときに、前記一時停止オブジェクトを構成する画素について、前記不動体信頼度の初期値を設定し、
前記現画像の注目する注目画素の画素値Iと、前記一時停止画像の注目画素の画素値Pとの差分絶対値|I-P|が、閾値th未満であり、
画素値Iと、前記背景の注目画素の画素値Bとの差分絶対値|I-B|が、閾値th以上であり、
かつ、画素値Bと画素値Pとの差分絶対値|B-P|が、閾値th以上である
場合、前記注目画素についての前記不動体信頼度をインクリメントし、
画素値Iと画素値Pとの差分絶対値|I-P|が、閾値th以上であり、
画素値Pと画素値Bとの差分絶対値|P-B|が、閾値th以上であり、
かつ、画素値Bと画素値Iとの差分絶対値|B-I|が、閾値th未満であるか、
又は、
画素値Iと画素値Pとの差分絶対値|I-P|が、閾値th未満であり、
画素値Pと画素値Bとの差分絶対値|P-B|が、閾値th未満であり、
かつ、画素値Bと画素値Iとの差分絶対値|B-I|が、閾値th未満である
場合、前記注目画素についての前記不動体信頼度をデクリメントする
請求項４に記載の画像処理装置。
【請求項６】
前記不動体検出部は、前記不動体信頼度が閾値以上の画素を、不動体を構成する画素として検出する
請求項５に記載の画像処理装置。
【請求項７】
前記信頼度処理部は、前記不動体信頼度の初期値を設定するときに、前記初期値未満の前記不動体信頼度が設定されている画素についてだけ、前記初期値を設定する
請求項５に記載の画像処理装置。
【請求項８】
前記信頼度処理部は、複数枚の一時停止画像について、不動体信頼度を求め、
前記不動体検出部は、複数枚の一時停止画像を用いて求められた前記不動体信頼度それぞれに基づいて、前記現画像から、不動体を検出する
請求項５に記載の画像処理装置。
【請求項９】
現画像において、背景とは異なる部分の画像である動体を検出し、
前記動体が、所定の一定時間以上停止しているかどうかを判定し、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求め、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する
ステップを含む画像処理方法。
【請求項１０】
現画像において、背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
して、コンピュータを機能させるためのプログラム。
【請求項１】
現画像において、背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
を備える画像処理装置。
【請求項２】
前記一時停止判定部は、前記現画像から検出された前記動体と、前記現画像よりも前の時刻の画像から検出された前記動体との位置ずれ量が前記位置ずれ量の閾値未満であることが、時間の閾値以上だけ連続した場合、前記動体が、所定の一定時間以上停止していると判定する
請求項１に記載の画像処理装置。
【請求項３】
前記一時停止画像が登録される記憶部と、
前記記憶部に登録された前記一時停止画像に映る一時停止オブジェクトのうちの、前記動体でない画素の画素値を、前記記憶部に登録された前記一時停止画像と、前記現画像との重み付け加算により更新する一時停止画像処理部と
をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記信頼度処理部は、前記現画像の注目する注目画素について、前記一時停止画像、前記現画像、及び、前記背景それぞれの注目画素の画素値の大小関係に基づいて、前記不動体信頼度を求める
請求項３に記載の画像処理装置。
【請求項５】
前記信頼度処理部は、
前記現画像から、前記一時停止オブジェクトが得られたときに、前記一時停止オブジェクトを構成する画素について、前記不動体信頼度の初期値を設定し、
前記現画像の注目する注目画素の画素値Iと、前記一時停止画像の注目画素の画素値Pとの差分絶対値|I-P|が、閾値th未満であり、
画素値Iと、前記背景の注目画素の画素値Bとの差分絶対値|I-B|が、閾値th以上であり、
かつ、画素値Bと画素値Pとの差分絶対値|B-P|が、閾値th以上である
場合、前記注目画素についての前記不動体信頼度をインクリメントし、
画素値Iと画素値Pとの差分絶対値|I-P|が、閾値th以上であり、
画素値Pと画素値Bとの差分絶対値|P-B|が、閾値th以上であり、
かつ、画素値Bと画素値Iとの差分絶対値|B-I|が、閾値th未満であるか、
又は、
画素値Iと画素値Pとの差分絶対値|I-P|が、閾値th未満であり、
画素値Pと画素値Bとの差分絶対値|P-B|が、閾値th未満であり、
かつ、画素値Bと画素値Iとの差分絶対値|B-I|が、閾値th未満である
場合、前記注目画素についての前記不動体信頼度をデクリメントする
請求項４に記載の画像処理装置。
【請求項６】
前記不動体検出部は、前記不動体信頼度が閾値以上の画素を、不動体を構成する画素として検出する
請求項５に記載の画像処理装置。
【請求項７】
前記信頼度処理部は、前記不動体信頼度の初期値を設定するときに、前記初期値未満の前記不動体信頼度が設定されている画素についてだけ、前記初期値を設定する
請求項５に記載の画像処理装置。
【請求項８】
前記信頼度処理部は、複数枚の一時停止画像について、不動体信頼度を求め、
前記不動体検出部は、複数枚の一時停止画像を用いて求められた前記不動体信頼度それぞれに基づいて、前記現画像から、不動体を検出する
請求項５に記載の画像処理装置。
【請求項９】
現画像において、背景とは異なる部分の画像である動体を検出し、
前記動体が、所定の一定時間以上停止しているかどうかを判定し、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求め、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する
ステップを含む画像処理方法。
【請求項１０】
現画像において、背景とは異なる部分の画像である動体を検出する動体検出部と、
前記動体が、所定の一定時間以上停止しているかどうかを判定する一時停止判定部と、
一定時間以上停止している前記動体である一時停止オブジェクトが映る一時停止画像と、前記現画像とを用いて、前記現画像の画素について、所定の時間以上変化がない、前記背景とは異なる部分の画像である不動体であることの確からしさを表す不動体信頼度を求める信頼度処理部と、
前記不動体信頼度に基づいて、前記現画像から、不動体を検出する不動体検出部と
して、コンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−３３３１７（Ｐ２０１３−３３３１７Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６８０２５（Ｐ２０１１−１６８０２５）
【出願日】平成２３年８月１日（２０１１．８．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月１日（２０１１．８．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]