移動物体検出装置および移動物体検出方法
【課題】特定の移動物体がカメラの視野内で長時間にわたって停止したような場合であっても、移動物体を正しく検出することが可能な移動物体検出装置を提供する。
【解決手段】現画像入力部１０と、背景画像作成部３０と、差分画像作成部５１と、移動物体を認識する車両認識部５４と、停止物体を認識する停止車両認識部５６と、第１の停止物体が認識された後、第２の停止物体もしくは移動物体と第１の停止物体との間の距離が所定距離よりも近い場合、両者は同一であると認識する同一性認識部とを有し、背景画像作成部３０は、第１の停止物体が認識された場合、第１の停止物体を含む領域を有する現画像の領域を背景画像中に取り込むことで更新済み背景画像を作成し、同一性認識部によって同一であると認識された場合、更新済み背景画像の領域を現画像もしくは背景画像に基づいて復元する。
【解決手段】現画像入力部１０と、背景画像作成部３０と、差分画像作成部５１と、移動物体を認識する車両認識部５４と、停止物体を認識する停止車両認識部５６と、第１の停止物体が認識された後、第２の停止物体もしくは移動物体と第１の停止物体との間の距離が所定距離よりも近い場合、両者は同一であると認識する同一性認識部とを有し、背景画像作成部３０は、第１の停止物体が認識された場合、第１の停止物体を含む領域を有する現画像の領域を背景画像中に取り込むことで更新済み背景画像を作成し、同一性認識部によって同一であると認識された場合、更新済み背景画像の領域を現画像もしくは背景画像に基づいて復元する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば一定の場所で観測を行う監視用のカメラシステムなどに利用可能な移動物体検出装置および移動物体検出方法に関する。
【背景技術】
【０００２】
従来より、例えば特定の幹線道路における交通の状況をテレビカメラ等を用いて監視したり、鉄道の各駅構内で通過する電車の状況やホームの状況をテレビカメラ等を用いて監視することが行われている。
【０００３】
このような監視に用いるカメラシステムの場合、一般的に、各カメラは特定の地点に固定的に設置され、最も監視に適した状態で使用される。すなわち、監視すべき特定の被写体の領域全体が撮影されるような向き及び画角になるように、カメラの姿勢やズーム量などが決定され、その状態でカメラは固定される。勿論、カメラが姿勢調整機能を備える場合には、必要に応じて撮影方向などを変更する可能性もあるが、通常の状態では予め定めた方向に存在する特定の被写体だけを撮影するようにカメラは固定される。
【０００４】
従って、このようなカメラによって撮影された画像を処理することにより、特定の被写体、例えば特定の道路を通過する車両の通過台数や各車両の走行速度などを監視することが可能になる。
【０００５】
このような監視を行うためには、カメラに撮影された画像から車両などの被写体を正確に検出することが必要となるが、例えば、背景画像（基準画像）と入力画像との差分に基づいて移動物体の領域を検出すると共に、撮影時間の異なる複数の入力画像間の差分に基づいて前記領域の移動物体を認識し、前記領域以外の画素についてはカウンタを用いて画素毎に背景画像を更新することが知られている（例えば、特許文献１参照）。また、入力画像と背景画像との差分により抽出される変化領域の中から移動物体を検出すると共に、移動物体の存在を検出した場合には、前記変化領域の画像から移動物体の画像を消去した画像を用いて背景画像を更新することが知られている（例えば、特許文献２参照）。
【０００６】
【特許文献１】特開２００３−１２３０７４号公報
【特許文献２】特開２００４−２０８２０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
例えば、特定の道路上で移動する車両を目標物として監視するような場合には、入力された画像の中からまず目標物が存在する領域を抽出する必要がある。そこで、目標物の存在しない背景画像を予め作成しておき、入力画像と背景画像との差分に基づいて領域の検出を行うのが一般的である。背景画像については、入力された画像を画素毎に累積加算することにより作成できる。すなわち、移動する特定の車両はある時点でのみ入力画像上のある位置に映るので、撮影時間の異なる複数の入力画像を累積したり平均化すれば、移動物体の影響は排除され、変化のない背景のみを抽出できる。
【０００８】
ところが、実際の道路上においては、渋滞の発生や、車両故障の発生や、路上駐車などの影響が現れる。すなわち、検出すべき車両が同じ位置で長時間停止することになるので、背景画像と車両とを区別できない状態になってしまうという課題がある。従って、特定の車両がカメラの視野内で停車すると検出対象の車両が処理の途中で消滅することになる。また、カメラの視野内で停車している特定の車両が再び動き出した場合には、同じ車両が２回に分けて繰り返し検出されることになるので、１台の車両が２台の車両として誤って認識される可能性もあるという課題がある。更には、長時間に渡って停車していた車両の画像は背景画像に取り込まれてしまうため、再び動き出した後はその影響によって再び停止車両を検出してしまうという課題もある。
【０００９】
本発明は、上記課題を鑑みてなされたものであって、特定の移動物体がカメラの視野内で長時間にわたって停止したような場合であっても、移動物体を正しく検出することが可能な移動物体検出装置および移動物体検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の第１の移動物体検出装置は、逐次画像を撮像し現画像として入力する画像入力部と、前記画像入力部によって逐次入力される複数の現画像の少なくとも累積もしくは平均化のいずれかを行うことで背景画像を作成する背景画像作成部と、前記現画像と前記背景画像との差分を差分画像として作成する差分画像作成部と、前記差分画像に基づいて、移動物体を認識する移動物体認識部と、前記移動物体を前記画像入力部によって逐次入力される現画像上で追跡することで、前記移動物体のうち停止した物体を第１の停止物体として認識する停止物体認識部と、前記第１の停止物体に関する停止物体情報を記録する停止物体記録部と、前記停止物体認識部によって前記第１の停止物体が認識された後、前記停止物体認識部によって認識された第２の停止物体もしくは移動物体認識部によって認識された移動物体と前記停止物体記録部に記録された停止物体情報を有する第１の停止物体との間の距離が所定距離よりも近い場合、前記第２の停止物体もしくは前記移動物体と前記第１の停止物体とは同一であると認識する同一性認識部と、を有し、前記背景画像作成部は、前記停止物体認識部によって前記第１の停止物体が認識された場合、前記第１の停止物体を含む領域を有する現画像の前記領域を前記背景画像中に取り込むことで更新済み背景画像を作成し、前記同一性認識部によって同一であると認識された場合、前記更新済み背景画像の前記領域を前記第１の停止物体が再度移動した後の前記現画像もしくは前記停止物体認識部によって前記第１の停止物体が認識される前の前記背景画像に基づいて復元する構成としている。
【００１１】
この構成により、特定の移動物体がカメラの視野内で長時間にわたって停止したような場合であっても、移動物体を正しく検出することが可能である。
【００１２】
また、繰り返し入力される複数フレームの現画像のデータを画素毎に累積あるいは平均化することにより、移動する被写体の影響度が小さくなるので、全被写体の中から移動物体（車両など）が除外された背景画像を抽出することができる。従って、現画像と背景画像との画素毎の差分である差分画像においては、移動物体を含む画素のみ有効な差分が現れる。そこで、移動物体認識部が、作成された差分画像に基づいて、有効な差分が現れた画素を含む画像領域から移動物体を認識する。
【００１３】
但し、画像中に現れた特定の移動物体が長時間にわたって停止すると、逐次更新される背景画像の中で停止した移動物体の影響度が徐々に大きくなり、逆に現画像と背景画像との差分においては、移動物体の影響が小さくなるので、停止した移動物体の検出が不可能になる。
【００１４】
しかし、この構成により、移動物体が停止した場合に停止物体認識部が該当する移動物体を停止物体として認識し、停止物体記録部は認識された停止物体の情報を記録するので、差分画像から該当する停止物体を認識不可能な状態であっても、停止物体記録部に記録された情報を利用して前記停止物体の存在を管理することができる。
【００１５】
また、停止物体を認識した時点で背景画像合成部は前記停止物体認識部が認識した停止物体に相当する領域の現画像を前記背景画像の中に取り込むので、現画像中の停止物体と背景画像中の停止物体との差分がなくなり、この停止物体はそれが再び動き始めない限り、移動物体認識処理に影響を及ぼさなくなり、安定した認識処理が可能になる。
【００１６】
更に、停止物体が再び動き始めた場合には、前記移動物体認識部が新たに認識した移動物体と前記停止物体記録部に記録されている停止物体との検出位置の違いが小さく、類似性が高いので、移動物体と停止物体とを同一と認識することができる。従って、同一性認識部は、移動物体の情報と停止物体の情報とを互いに関連付けて正しく管理することができる。
【００１７】
また、本発明の第２の移動物体検出装置は、前記停止物体記録部が、前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報を記録し、前記背景画像作成部が、前記位置情報に基づいて、前記更新済み背景画像の前記領域を前記第１の停止物体が再度移動した後の前記現画像上の前記領域に対応する現画像復元領域によって復元する構成としている。
【００１８】
この構成により、停止物体が再び動き始めた場合には、停止物体が停止していた領域の現画像が背景画像上の該当する領域に取り込まれるので、停止物体を含まない背景画像を瞬時に復元することができ、移動物体の検出が容易になる。特に、停止物体が停止している間に実際の背景である道路の路面などの状況が変化した場合であっても、最新の現画像によりその変化を背景画像にすぐに取り込むことができる。
【００１９】
また、本発明の第３の移動物体検出装置は、前記停止物体記録部が、前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報を記録し、前記背景画像作成部が、前記位置情報に基づいて、前記更新済み背景画像の前記領域を、前記第１の停止物体が再度移動した後の互いに異なる時点における前記複数の現画像の時間平均画像上の前記領域に対応する平均現画像復元領域によって復元する構成としている。
【００２０】
この構成により、停止物体が再び動き始めた場合には、停止物体が停止していた領域の現画像に関する平均化画像が背景画像上の該当する領域に取り込まれるので、停止物体を含まない背景画像を正しく復元することができ、移動物体の検出が容易になる。特に、停止物体が停止していた画像領域に別の移動物体が現れた場合であっても、時間的な画像の平均化によって新たな移動物体の影響は小さくなるので、正しい背景画像を復元できる。また、停止物体が停止している間に実際の背景である道路の路面などの状況が変化した場合であっても、最新の現画像によりその変化を背景画像に取り込むことができる。
【００２１】
また、本発明の第４の移動物体検出装置は、前記停止物体記録部が、前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報および前記停止物体認識部によって前記第１の停止物体が認識される前の前記背景画像上の前記領域に対応する背景画像復元領域を記録し、前記背景画像作成部が、前記位置情報に基づいて、前記更新済み背景画像の前記領域を前記停止物体記録部に記録された背景画像復元領域によって復元する構成としている。
【００２２】
この構成により、停止物体が再び動き始めた場合には、停止物体記録部に保存しておいた過去の背景画像を、停止物体が停止していた領域の背景画像に取り込むので、停止物体を含まない背景画像を瞬時に復元することができ、移動物体の検出が容易になる。特に、停止物体が停止していた画像領域に別の移動物体が現れた場合であっても、新たな移動物体の影響を全く受けることなく、正しい背景画像を復元できる。この復元方法は、例えばトンネル内のように比較的環境変化が少ない環境下で利用されるシステムに適している。
【００２３】
また、本発明の第１の移動物体検出方法は、逐次画像が撮像され現画像として入力される画像入力ステップと、前記画像入力ステップにおいて逐次入力される複数の現画像の少なくとも累積もしくは平均化のいずれかが行われることで背景画像が作成されるステップと、前記現画像と前記背景画像との差分が差分画像として作成されるステップと、前記差分画像に基づいて、移動物体が認識される移動物体認識ステップと、前記移動物体が前記画像入力ステップにおいて逐次入力される現画像上で追跡されることで、前記移動物体のうち停止した物体が第１の停止物体として認識される停止物体認識ステップと、前記第１の停止物体に関する停止物体情報が記録される停止物体記録ステップと、前記停止物体認識ステップにおいて前記第１の停止物体が認識された後、前記停止物体認識ステップにおいて認識された第２の停止物体もしくは移動物体認識ステップにおいて認識された移動物体と前記停止物体記録ステップにおいて記録された停止物体情報を有する第１の停止物体との間の距離が所定距離よりも近い場合、前記第２の停止物体もしくは前記移動物体と前記第１の停止物体とが同一であると認識される同一性認識ステップとを有し、前記背景画像作成ステップは、前記停止物体認識ステップにおいて前記第１の停止物体が認識された場合、前記第１の停止物体を含む領域を有する現画像の前記領域が前記背景画像中に取り込まれることで更新済み背景画像が作成され、前記同一性認識ステップにおいて同一であると認識された場合、前記更新済み背景画像の前記領域が前記第１の停止物体が再度移動した後の前記現画像もしくは前記停止物体認識ステップにおいて前記第１の停止物体が認識される前の前記背景画像に基づいて復元される方法としている。
【００２４】
この方法により、特定の移動物体がカメラの視野内で長時間にわたって停止したような場合であっても、移動物体を正しく検出することが可能である。
【発明の効果】
【００２５】
本発明によれば、移動物体が停止した場合に停止物体認識部が該当する移動物体を停止物体として認識し、停止物体記録部は認識された停止物体の情報を記録するので、差分画像から該当する停止物体を認識不可能な状態であっても、停止物体記録部に記録された情報を利用して前記停止物体の存在を管理することができる。
【００２６】
また、停止物体を認識した時点で背景画像合成部は前記停止物体認識部が認識した停止物体に相当する領域の現画像を前記背景画像の中に取り込むので、現画像中の停止物体と背景画像中の停止物体との差分がなくなり、この停止物体はそれが再び動き始めない限り、移動物体認識処理に影響を及ぼさなくなり、安定した認識処理が可能になる。
【００２７】
更に、停止物体が再び動き始めた場合には、前記移動物体認識部が新たに認識した移動物体と前記停止物体記録部に記録されている停止物体との検出位置の違いが小さく、類似性が高いので、移動物体と停止物体とを同一と認識することができる。従って、同一性認識部は、移動物体の情報と停止物体の情報とを互いに関連付けて正しく管理することができる。
【発明を実施するための最良の形態】
【００２８】
本発明の実施形態における移動物体検出装置について、図１〜図７を参照しながら以下に説明する。
【００２９】
図１は本発明の実施形態における移動物体検出装置１００の主要な構成要素を示すブロック図である。図２Ａ〜図２Ｃは本発明の実施形態における移動物体検出装置１００の主要な動作を示すフローチャートである。図３は本発明の実施形態における移動物体検出装置が扱う車両の停止直後の画像の具体例を示す模式図である。図４及び図５は本発明の実施形態における移動物体検出装置が扱う車両の長時間停止時の画像の具体例を示す模式図である。図６は本発明の実施形態における移動物体検出装置が扱う車両の再発進直後の画像の具体例を示す模式図である。図７は本発明の実施形態における移動物体検出装置が扱う差分画像、外接矩形の具体例を示す模式図である。
【００３０】
本実施形態では、例えば道路わきの路面より少し高い位置に固定的に設置されたテレビカメラのような撮像装置を用いて図３（ａ）の画像中に示されたような被写体を撮影し、撮影により得られた図３（ａ）に示すような画像に基づいて、交通量の計測や停止車両の検出などを行うシステムに本発明を適用する場合を想定している。このようなシステムが交通量の計測や停止車両の検出を正しく行うためには、それぞれの車両などの目標物を正しく認識する必要がある。ところが、渋滞の発生や故障車両の発生や路上駐車の発生などの影響により、目標物である車両を途中で見失ったり、同一の車両を複数台の車両として誤認識する場合が多かった。そこで、本実施形態の移動物体検出装置１００は本発明を適用することにより、車両などの目標物を正しく認識できるように改良されている。
【００３１】
図１に示すように、本発明の実施形態における移動物体検出装置１００は、現画像入力部１０と、画像格納部２０と、背景画像作成部３０と、停止車両記録部４０と、差分画像作成部５１と、２値化画像作成部５２と、外接矩形検出部５３と、車両認識部５４と、車両追跡部５５と、停止車両認識部５６と、停止車両出力部６０とを有する。
【００３２】
また、画像格納部２０は、現画像格納部２１と、背景画像格納部２２と、差分画像格納部２３と、２値化画像格納部２４とを有する。なお、図１に示す各構成要素については、コンピュータのソフトウェアによって実現することもできるし、電気回路の専用のハードウェアを用いて実現することもできる。
【００３３】
ここで、現画像入力部１０は画像入力部の一例である。背景画像作成部３０は背景画像作成部の一例である。差分画像作成部５１は差分画像作成部の一例である。車両認識部５４は移動物体認識部の一例である。停止車両認識部５６は停止物体認識部の一例である。停止車両記録部４０は停止物体記録部の一例である。また、同一性認識部の一例は車両認識部５４もしくは停止車両認識部５６に含まれる。
【００３４】
現画像入力部１０は、所定位置に設置された撮像装置（２次元イメージセンサ）が撮影した最新の画像（すなわち現画像）のデジタルデータを定期的に入力する。現画像を入力する周期については、用途や被写体の種類に応じて適宜決定すればよいが、例えば１秒間に数フレーム程度の周期に定めることが想定できる。
【００３５】
画像格納部２０は、処理前の画像及び処理途中の画像のデータを保存するためのメモリである。現画像入力部１０によって入力される現画像は現画像格納部２１に保持される。背景画像格納部２２は背景画像作成部３０によって作成された背景画像を保持するために利用され、差分画像格納部２３は差分画像作成部５１によって作成された差分画像を保持するために利用され、２値化画像格納部２４は２値化画像作成部５２によって作成された２値化画像を保持するために利用される。
【００３６】
背景画像作成部３０は、基本的には現画像格納部２１に保持されている現画像に基づいて背景画像を作成する。作成した背景画像は背景画像格納部２２に記録される。例えば、図３（ａ）に示すような現画像に基づいて特定の道路上を通過する車両を目標物として観測するような場合には、目標物である移動中の車両を除いた図３（ｂ）に示すような画像が背景画像になる。このような背景画像は、互いに異なる時点で撮影された画像を画素毎に累積あるいは平均化することにより得られる。具体的には、背景画像作成部３０は次式の内容に従って入力画像から時間累積画像Ｓ(ｔ)を作成する。
【００３７】
Ｓ(t)＝α×Ｃ(t)＋（1-α）×Ｓ(t-△T)
ｔ：時間
Ｃ(t)：入力画像（現画像）
α：時間累積処理重み量（0＜α＜1）
△T：処理周期
【００３８】
すなわち、最新の入力画像Ｃ(t)と、処理周期△Tだけ前の時点で得られた時間累積画像Ｓ(t-△T)とを重み量αに従って加算したものが最新の時間累積画像Ｓ(ｔ)になる。このような処理を行うと、走行する車両のように画像中に一時的に現れた要素の影響は非常に小さくなって時間累積画像Ｓ(ｔ)に現れる。つまり、道路自体のように静止している要素だけを背景画像として抽出することができる。
【００３９】
但し、渋滞の発生や故障車両の発生や路上駐車の発生などの影響により、画像内で特定の車両が停止した場合には、停止した車両の影響度が背景画像の中で徐々に大きくなるため問題が発生する可能性がある。
【００４０】
差分画像作成部５１は、現画像格納部２１に保持されている最新の現画像と、背景画像格納部２２に保持されている背景画像とについて画素毎に画像間の差分を計算し、その結果を差分画像として出力する。作成した差分画像は差分画像格納部２３に記録される。例えば、図３（ａ）に示す現画像と、図３（ｂ）に示す背景画像とを処理すると、図３（ｃ）に示すような差分画像が得られる。つまり、移動している車両のような目標物だけを差分画像として抽出することができる。
【００４１】
２値化画像作成部５２は、差分画像格納部２３に保持されている差分画像を処理して２値化画像を作成する。すなわち、差分画像における各画素の階調を所定の閾値と比較して大小関係を識別することにより、画素毎の濃淡を２値で表す２値化画像を作成する。作成された２値化画像は２値化画像格納部２４に記録される。
【００４２】
外接矩形検出部５３は、２値化画像格納部２４に保持されている２値化された差分画像に基づいて、外接矩形を検出する。この外接矩形は、各目標物の像の全体を含みかつ各目標物の像の外側に接する矩形を意味している。例えば、２値化された差分画像が図７に示すような画像である場合には、画像フレーム７００の一部分にのみ濃淡の異なる目標物画像（車両）７０２が現れているので、目標物画像７０２を囲みかつ目標物画像７０２の外側に接する矩形を矩形領域７０１として抽出するために、矩形領域７０１に相当する矩形の位置や大きさを特定する。なお、矩形領域７０１の抽出を省略して目標物画像７０２を処理対象として抽出しても良い。
【００４３】
車両認識部５４は、外接矩形検出部５３が検出した外接矩形の領域に含まれる画像データを２値化画像格納部２４から取り出して処理し、パターン認識等の手法を用いて処理することにより、外接矩形内の像を車両として認識する。
【００４４】
車両追跡部５５は、車両認識部５４が認識している車両の位置の時系列変化を追跡することにより、車両毎に移動速度などを算出する。
【００４５】
停止車両認識部５６は、車両追跡部５５の追跡状態に基づいて停止車両を検出する。例えば、認識中の車両の移動速度が所定以下になった場合、あるいはその状態になってから所定時間を経過しても移動速度が上がらない場合には、停止車両として検出する。
【００４６】
停止車両出力部６０は、停止車両を認識したことを示す信号を停止車両認識信号として記録し出力する。
【００４７】
車両認識部５４が新たに車両を認識したことを示す信号及び停止車両認識部５６が停止車両を検出したことを示す信号は、背景画像作成部３０にも入力される。背景画像作成部３０は、車両認識部５４が新たに車両を認識した場合、及び停止車両認識部５６が停止車両を検出した場合に次のように特別な処理を行う。
【００４８】
停止車両認識部５６が停止車両を検出すると、背景画像作成部３０はまず検出された停止車両に相当する領域又はそれを囲む外接矩形について、その位置と大きさ、および現在の背景画像のデータを停止車両記録部４０に保存する。次に、背景画像作成部３０は現在の背景画像の中で検出された停止車両に相当する領域又はそれを囲む外接矩形の領域に、現画像格納部２１に保持されている現画像のデータを取り込む。
【００４９】
例えば、図４（ａ）に示すような現画像を処理する場合に、現画像中で停止車両が検出されると、図３（ｂ）に示すような処理前の背景画像の中に図３（ｃ）に示すような停止車両の像が取り込まれるので、直ちに図４（ｂ）に示すような背景画像が作成される。つまり、検出された停止車両は背景画像の一部分になり、図４（ｃ）に示すような差分画像が得られ、停止車両の情報は停止車両出力部６０及び停止車両記録部４０の中にのみ残る。
【００５０】
一方、停止した車両が再び動き始める場合には、図４（ａ）に示すような現画像と図４（ｂ）に示すような背景画像とが同一で図４（ｃ）に示すような差分画像に目標物が現れない状態から、図５に示すように再発進車両と停止車両を２台検出し、やがて図６に示すように停止車両のみを検出する状態となるため、図５（ｃ）及び図６（ｃ）に示すように、停止車両のみを検出する状態となるため、差分画像に車両が目標物として現れ、これを車両認識部５４が新たに認識する。
【００５１】
車両認識部５４が新たに車両を認識した場合には、車両認識部５４は検出された車両が停止車両出力部６０に保持されている停止車両と同一か否かを識別する。すなわち、一時的に停止した車両が再び動き始める場合には、停止車両として検出されたときの位置に近い位置で車両認識部５４によって新たな車両として検出されるので、位置の違いや大きさの違いが所定以内であれば同一とみなすことができる。
【００５２】
車両認識部５４が新たに車両を停止車両出力部６０に保持されている停止車両と同一と見なした場合には、背景画像作成部３０は停止車両を取り込む前の背景画像を復元する。例えば、図６（ｂ）に示す背景画像には過去に取り込まれた停止車両が現れているが、図６（ａ）に示す現画像には停止車両が既に存在しないので、図６（ｃ）に示す差分画像に現れる余分な目標物を消去する必要がある。具体的には、停止車両に相当する領域の現画像データを現在の背景画像に取り込むことや、停止車両に相当する領域の過去の背景画像が停止車両記録部４０に保存されているので、停止車両記録部４０から読み出した画像を現在の背景画像に取り込むことにより、元の背景画像を復元できる。
【００５３】
次に、図１に示す移動物体検出装置１００の動作について図２Ａ〜図２Ｃを参照しながら説明する。
【００５４】
図２Ａにおいて、ステップＳ１１では、背景画像作成部３０が現画像格納部２１上の現画像に基づいて背景画像を作成する。
【００５５】
ステップＳ１２では、差分画像作成部５１が現画像格納部２１に格納された現画像と背景画像格納部２２に格納された背景画像とに基づいて、それらの画素毎の階調の差分を差分画像として作成する。
【００５６】
ステップＳ１３では、２値化画像作成部５２が差分画像格納部２３に格納された差分画像に基づいて２値化画像を作成する。
【００５７】
ステップＳ１４では、外接矩形検出部５３が２値化画像格納部２４に格納された２値化画像の中で差分として有効な値が現れている目標画像を含む外接矩形を検出する。
【００５８】
ステップＳ１５では、車両認識部５４が外接矩形検出部５３の検出した外接矩形の中の画像に基づいて、車両を認識する。
【００５９】
ステップＳ１６では、車両追跡部５５が車両認識部５４の認識した車両の位置を追跡し、位置変化の時系列情報に基づいて車両の移動速度を算出する。
【００６０】
ステップＳ１７では、停止車両認識部５６が停止車両を認識したか否かを調べる。停止車両を認識した場合には次のステップＳ１８に進み、認識しなかった場合にはステップＳ２６（図２Ｂ）に進む。
【００６１】
ステップＳ１８では、停止車両認識部５６が、今回認識した停止車両が停止車両出力部６０に停止車両であることを示す停止車両認識信号として記録済みか否かを調べる。記録済みであればステップＳ１９に進み、未記録であればステップＳ２１（図２Ｃ）に進む。
【００６２】
ステップＳ１９では、停止車両認識部５６が今回認識した停止車両の位置と、停止車両出力部６０に既に記録されている停止車両の位置との距離を調べることにより、両者の車両が同一か否かを識別する。異なる停止車両である場合にはステップＳ２１（図２Ｃ）に進み、同一の停止車両である場合にはステップＳ２４に進む。
【００６３】
一方、ステップＳ１７が偽の場合の処理については、図２Ｂを参照して説明する。ステップＳ２６では車両認識部５４が新たに車両を認識したか否かを調べる。新たに車両を認識した場合にはステップＳ２７に進む。認識しなかった場合は処理を終了する。
【００６４】
ステップＳ２７では、停止車両が停止車両出力部６０に停止車両認識信号として記録済みか否かを調べる。記録済みであればステップＳ２８に進む。記録済みでなければ処理を終了する。
【００６５】
ステップＳ２８では、車両認識部５４が今回認識した車両と停止車両出力部６０に保持されている停止車両とが同一の車両か否かを調べる。具体的には、両者の位置の差を予め定めた閾値と比較し、お互いの距離が近い場合には同一の車両とみなす。なお、判定の際に車両の速度が予め定めた閾値以下であることを確認したり、車両の大きさを比較したりしても良い。同一の場合にはステップＳ２４（図２Ａ）に進む。同一でなければ処理を終了する。
【００６６】
また、ステップＳ１８もしくはステップＳ１９が偽の場合の処理については、図２Ｃを参照して説明する。ステップＳ２１では、停止車両認識部５６が今回認識した停止車両について、停止車両が存在することを明示するために、停止車両認識信号を設定し停止車両出力部６０に記録する。
【００６７】
ステップＳ２２では、停止車両認識部５６が今回認識した停止車両について、その情報（車両識別番号、位置、大きさなど）を停止車両記録部４０に記録する。同時に、現在の背景画像の中で、今回検出された停止車両に相当する画像領域、もしくは外接矩形の領域のデータを抽出し、この背景画像データを後で利用できるように停止車両記録部４０に記録する。
【００６８】
ステップＳ２３では、背景画像格納部２２が保持している背景画像の中で、停止車両認識部５６が今回認識した停止車両に相当する画像領域、もしくは外接矩形の領域に、現画像の該当する領域のデータを取り込む。つまり、背景画像と現画像とを部分的に合成し、現画像中の停止車両を含む最新の背景画像を作成する。これにより、最新の背景画像は例えば図３（ｂ）に示す状態から図４（ｂ）に示す状態に瞬時に切り替わる。この後処理を終了する。
【００６９】
停止車両認識部５６が今回検出した停止車両、又は車両認識部５４が今回新たに認識した車両が、停止車両出力部６０に記録されている停止車両と同一であった場合にステップＳ２４（図２Ａ）に進む。ステップＳ２４では、停止車両出力部６０が保持している停止車両認識信号を解除して、停止車両が存在しなくなったことを明示する。
【００７０】
ステップＳ２５では、現在の背景画像における停止車両の領域、又は外接矩形の領域に、別の画像を取り込んで停止車両の存在しない背景画像を復元する。例えば、背景画像を図６（ｂ）に示す状態から図３（ｂ）に示す状態に復元する。
【００７１】
ステップＳ２５に関する具体的な処理については、次に示す（Ａ）、（Ｂ）、（Ｃ）のような複数種類の方法が考えられる。これらの方法の中から、用途や必要性を考慮して望ましい方法を採用すればよい。
【００７２】
（Ａ）背景画像上の停止車両に相当する領域に、現画像のデータを取り込んで停止車両を含まない合成前の背景画像を復元する。この方法では、停止車両が停止している間に道路の路面等の状況が大きく変化した場合であっても、最新の現画像によって背景画像が復元されるので、変化の影響を受けることなく車両の検出動作を継続できる。
【００７３】
（Ｂ）停止車両が再発進した後の互いに異なる時点で撮影された複数の現画像のデータに基づいて時間について平均化した平均化画像を作成し、背景画像上の停止車両に相当する領域に、前述の平均化画像を取り込んで停止車両を含まない合成前の背景画像を復元する。この方法では、停止車両が停止している間に道路の路面等の状況が大きく変化した場合であっても、最新の現画像によって背景画像が復元されるので、変化の影響を受けることなく車両の検出動作を継続できる。また、背景画像を復元する際に、現画像の停止車両の領域に新たな走行車両が現れたとしても、走行車両の影響の小さい背景画像を復元できる。
【００７４】
（Ｃ）背景画像上の停止車両に相当する領域に、停止車両記録部４０に保持されている当該領域の過去の背景画像を取り込んで停止車両を含まない合成前の背景画像を復元する。この方法では、背景画像を復元する際に、現画像の停止車両の領域に新たな走行車両が現れた場合であっても、走行車両の影響のない背景画像を直ちに復元できる。この方法は、例えばトンネル内のように環境変化の少ない場所で監視するような用途に適する。
【００７５】
このような本発明の実施形態における移動物体検出装置１００によれば、逐次画像を撮像し現画像として入力する現画像入力部１０と、現画像入力部１０によって逐次入力される複数の現画像の少なくとも累積もしくは平均化のいずれかを行うことで背景画像を作成する背景画像作成部３０と、現画像と背景画像との差分を差分画像として作成する差分画像作成部５１と、差分画像に基づいて、移動物体を認識する車両認識部５４と、移動物体を現画像入力部１０によって逐次入力される現画像上で追跡することで、移動物体のうち停止した物体を第１の停止物体として認識する停止車両認識部５６と、第１の停止物体に関する停止物体情報を記録する停止車両記録部４０と、停止車両認識部５６によって第１の停止物体が認識された後、停止車両認識部５６によって認識された第２の停止物体もしくは車両認識部５４によって認識された移動物体と停止車両記録部４０に記録された停止物体情報を有する第１の停止物体との間の距離が所定距離よりも近い場合、第２の停止物体もしくは移動物体と第１の停止物体とは同一であると認識する同一性認識部とを有し、背景画像作成部３０は、停止車両認識部５６によって第１の停止物体が認識された場合、第１の停止物体を含む領域を有する現画像の領域を背景画像中に取り込むことで更新済み背景画像を作成し、同一性認識部によって同一であると認識された場合、更新済み背景画像の領域を第１の停止物体が再度移動した後の現画像もしくは停止車両認識部５６によって第１の停止物体が認識される前の背景画像に基づいて復元することで、特定の移動物体がカメラの視野内で長時間にわたって停止したような場合であっても、移動物体を正しく検出することが可能である。
【産業上の利用可能性】
【００７６】
本発明は、例えば道路上を通過する車両の数や速度を監視するようなシステムに本発明の移動物体検出装置を適用することにより、渋滞の発生、故障車の発生、路上駐車の発生などの影響を受けることなく監視を行う移動物体検出装置等に有用である。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施形態における移動物体検出装置の主要な構成要素を示すブロック図である。
【図２Ａ】本発明の実施形態における移動物体検出装置の主要な動作を示すフローチャートである。
【図２Ｂ】本発明の実施形態における移動物体検出装置の主要な動作を示すフローチャートである。
【図２Ｃ】本発明の実施形態における移動物体検出装置の主要な動作を示すフローチャートである。
【図３】本発明の実施形態における移動物体検出装置が扱う車両の停止直後の画像の具体例を示す模式図である。
【図４】本発明の実施形態における移動物体検出装置が扱う車両の長時間停止時の画像の具体例を示す模式図である。
【図５】本発明の実施形態における移動物体検出装置が扱う車両の再発進直後の画像の具体例を示す模式図である。
【図６】本発明の実施形態における移動物体検出装置が扱う車両の再発進後の視野外消失の画像の具体例を示す模式図である。
【図７】本発明の実施形態における移動物体検出装置が扱う差分画像、外接矩形の具体例を示す模式図である。
【符号の説明】
【００７８】
１００ 移動物体検出装置
１０ 現画像入力部
２０ 画像格納部
２１ 現画像格納部
２２ 背景画像格納部
２３ 差分画像格納部
２４ ２値化画像格納部
３０ 背景画像作成部
４０ 停止車両記録部
５１ 差分画像作成部
５２ ２値化画像作成部
５３ 外接矩形検出部
５４ 車両認識部
５５ 車両追跡部
５６ 停止車両認識部
６０ 停止車両出力部
７００ 画像フレーム
７０１ 矩形領域
７０２ 目標物画像
【技術分野】
【０００１】
本発明は、例えば一定の場所で観測を行う監視用のカメラシステムなどに利用可能な移動物体検出装置および移動物体検出方法に関する。
【背景技術】
【０００２】
従来より、例えば特定の幹線道路における交通の状況をテレビカメラ等を用いて監視したり、鉄道の各駅構内で通過する電車の状況やホームの状況をテレビカメラ等を用いて監視することが行われている。
【０００３】
このような監視に用いるカメラシステムの場合、一般的に、各カメラは特定の地点に固定的に設置され、最も監視に適した状態で使用される。すなわち、監視すべき特定の被写体の領域全体が撮影されるような向き及び画角になるように、カメラの姿勢やズーム量などが決定され、その状態でカメラは固定される。勿論、カメラが姿勢調整機能を備える場合には、必要に応じて撮影方向などを変更する可能性もあるが、通常の状態では予め定めた方向に存在する特定の被写体だけを撮影するようにカメラは固定される。
【０００４】
従って、このようなカメラによって撮影された画像を処理することにより、特定の被写体、例えば特定の道路を通過する車両の通過台数や各車両の走行速度などを監視することが可能になる。
【０００５】
このような監視を行うためには、カメラに撮影された画像から車両などの被写体を正確に検出することが必要となるが、例えば、背景画像（基準画像）と入力画像との差分に基づいて移動物体の領域を検出すると共に、撮影時間の異なる複数の入力画像間の差分に基づいて前記領域の移動物体を認識し、前記領域以外の画素についてはカウンタを用いて画素毎に背景画像を更新することが知られている（例えば、特許文献１参照）。また、入力画像と背景画像との差分により抽出される変化領域の中から移動物体を検出すると共に、移動物体の存在を検出した場合には、前記変化領域の画像から移動物体の画像を消去した画像を用いて背景画像を更新することが知られている（例えば、特許文献２参照）。
【０００６】
【特許文献１】特開２００３−１２３０７４号公報
【特許文献２】特開２００４−２０８２０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
例えば、特定の道路上で移動する車両を目標物として監視するような場合には、入力された画像の中からまず目標物が存在する領域を抽出する必要がある。そこで、目標物の存在しない背景画像を予め作成しておき、入力画像と背景画像との差分に基づいて領域の検出を行うのが一般的である。背景画像については、入力された画像を画素毎に累積加算することにより作成できる。すなわち、移動する特定の車両はある時点でのみ入力画像上のある位置に映るので、撮影時間の異なる複数の入力画像を累積したり平均化すれば、移動物体の影響は排除され、変化のない背景のみを抽出できる。
【０００８】
ところが、実際の道路上においては、渋滞の発生や、車両故障の発生や、路上駐車などの影響が現れる。すなわち、検出すべき車両が同じ位置で長時間停止することになるので、背景画像と車両とを区別できない状態になってしまうという課題がある。従って、特定の車両がカメラの視野内で停車すると検出対象の車両が処理の途中で消滅することになる。また、カメラの視野内で停車している特定の車両が再び動き出した場合には、同じ車両が２回に分けて繰り返し検出されることになるので、１台の車両が２台の車両として誤って認識される可能性もあるという課題がある。更には、長時間に渡って停車していた車両の画像は背景画像に取り込まれてしまうため、再び動き出した後はその影響によって再び停止車両を検出してしまうという課題もある。
【０００９】
本発明は、上記課題を鑑みてなされたものであって、特定の移動物体がカメラの視野内で長時間にわたって停止したような場合であっても、移動物体を正しく検出することが可能な移動物体検出装置および移動物体検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の第１の移動物体検出装置は、逐次画像を撮像し現画像として入力する画像入力部と、前記画像入力部によって逐次入力される複数の現画像の少なくとも累積もしくは平均化のいずれかを行うことで背景画像を作成する背景画像作成部と、前記現画像と前記背景画像との差分を差分画像として作成する差分画像作成部と、前記差分画像に基づいて、移動物体を認識する移動物体認識部と、前記移動物体を前記画像入力部によって逐次入力される現画像上で追跡することで、前記移動物体のうち停止した物体を第１の停止物体として認識する停止物体認識部と、前記第１の停止物体に関する停止物体情報を記録する停止物体記録部と、前記停止物体認識部によって前記第１の停止物体が認識された後、前記停止物体認識部によって認識された第２の停止物体もしくは移動物体認識部によって認識された移動物体と前記停止物体記録部に記録された停止物体情報を有する第１の停止物体との間の距離が所定距離よりも近い場合、前記第２の停止物体もしくは前記移動物体と前記第１の停止物体とは同一であると認識する同一性認識部と、を有し、前記背景画像作成部は、前記停止物体認識部によって前記第１の停止物体が認識された場合、前記第１の停止物体を含む領域を有する現画像の前記領域を前記背景画像中に取り込むことで更新済み背景画像を作成し、前記同一性認識部によって同一であると認識された場合、前記更新済み背景画像の前記領域を前記第１の停止物体が再度移動した後の前記現画像もしくは前記停止物体認識部によって前記第１の停止物体が認識される前の前記背景画像に基づいて復元する構成としている。
【００１１】
この構成により、特定の移動物体がカメラの視野内で長時間にわたって停止したような場合であっても、移動物体を正しく検出することが可能である。
【００１２】
また、繰り返し入力される複数フレームの現画像のデータを画素毎に累積あるいは平均化することにより、移動する被写体の影響度が小さくなるので、全被写体の中から移動物体（車両など）が除外された背景画像を抽出することができる。従って、現画像と背景画像との画素毎の差分である差分画像においては、移動物体を含む画素のみ有効な差分が現れる。そこで、移動物体認識部が、作成された差分画像に基づいて、有効な差分が現れた画素を含む画像領域から移動物体を認識する。
【００１３】
但し、画像中に現れた特定の移動物体が長時間にわたって停止すると、逐次更新される背景画像の中で停止した移動物体の影響度が徐々に大きくなり、逆に現画像と背景画像との差分においては、移動物体の影響が小さくなるので、停止した移動物体の検出が不可能になる。
【００１４】
しかし、この構成により、移動物体が停止した場合に停止物体認識部が該当する移動物体を停止物体として認識し、停止物体記録部は認識された停止物体の情報を記録するので、差分画像から該当する停止物体を認識不可能な状態であっても、停止物体記録部に記録された情報を利用して前記停止物体の存在を管理することができる。
【００１５】
また、停止物体を認識した時点で背景画像合成部は前記停止物体認識部が認識した停止物体に相当する領域の現画像を前記背景画像の中に取り込むので、現画像中の停止物体と背景画像中の停止物体との差分がなくなり、この停止物体はそれが再び動き始めない限り、移動物体認識処理に影響を及ぼさなくなり、安定した認識処理が可能になる。
【００１６】
更に、停止物体が再び動き始めた場合には、前記移動物体認識部が新たに認識した移動物体と前記停止物体記録部に記録されている停止物体との検出位置の違いが小さく、類似性が高いので、移動物体と停止物体とを同一と認識することができる。従って、同一性認識部は、移動物体の情報と停止物体の情報とを互いに関連付けて正しく管理することができる。
【００１７】
また、本発明の第２の移動物体検出装置は、前記停止物体記録部が、前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報を記録し、前記背景画像作成部が、前記位置情報に基づいて、前記更新済み背景画像の前記領域を前記第１の停止物体が再度移動した後の前記現画像上の前記領域に対応する現画像復元領域によって復元する構成としている。
【００１８】
この構成により、停止物体が再び動き始めた場合には、停止物体が停止していた領域の現画像が背景画像上の該当する領域に取り込まれるので、停止物体を含まない背景画像を瞬時に復元することができ、移動物体の検出が容易になる。特に、停止物体が停止している間に実際の背景である道路の路面などの状況が変化した場合であっても、最新の現画像によりその変化を背景画像にすぐに取り込むことができる。
【００１９】
また、本発明の第３の移動物体検出装置は、前記停止物体記録部が、前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報を記録し、前記背景画像作成部が、前記位置情報に基づいて、前記更新済み背景画像の前記領域を、前記第１の停止物体が再度移動した後の互いに異なる時点における前記複数の現画像の時間平均画像上の前記領域に対応する平均現画像復元領域によって復元する構成としている。
【００２０】
この構成により、停止物体が再び動き始めた場合には、停止物体が停止していた領域の現画像に関する平均化画像が背景画像上の該当する領域に取り込まれるので、停止物体を含まない背景画像を正しく復元することができ、移動物体の検出が容易になる。特に、停止物体が停止していた画像領域に別の移動物体が現れた場合であっても、時間的な画像の平均化によって新たな移動物体の影響は小さくなるので、正しい背景画像を復元できる。また、停止物体が停止している間に実際の背景である道路の路面などの状況が変化した場合であっても、最新の現画像によりその変化を背景画像に取り込むことができる。
【００２１】
また、本発明の第４の移動物体検出装置は、前記停止物体記録部が、前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報および前記停止物体認識部によって前記第１の停止物体が認識される前の前記背景画像上の前記領域に対応する背景画像復元領域を記録し、前記背景画像作成部が、前記位置情報に基づいて、前記更新済み背景画像の前記領域を前記停止物体記録部に記録された背景画像復元領域によって復元する構成としている。
【００２２】
この構成により、停止物体が再び動き始めた場合には、停止物体記録部に保存しておいた過去の背景画像を、停止物体が停止していた領域の背景画像に取り込むので、停止物体を含まない背景画像を瞬時に復元することができ、移動物体の検出が容易になる。特に、停止物体が停止していた画像領域に別の移動物体が現れた場合であっても、新たな移動物体の影響を全く受けることなく、正しい背景画像を復元できる。この復元方法は、例えばトンネル内のように比較的環境変化が少ない環境下で利用されるシステムに適している。
【００２３】
また、本発明の第１の移動物体検出方法は、逐次画像が撮像され現画像として入力される画像入力ステップと、前記画像入力ステップにおいて逐次入力される複数の現画像の少なくとも累積もしくは平均化のいずれかが行われることで背景画像が作成されるステップと、前記現画像と前記背景画像との差分が差分画像として作成されるステップと、前記差分画像に基づいて、移動物体が認識される移動物体認識ステップと、前記移動物体が前記画像入力ステップにおいて逐次入力される現画像上で追跡されることで、前記移動物体のうち停止した物体が第１の停止物体として認識される停止物体認識ステップと、前記第１の停止物体に関する停止物体情報が記録される停止物体記録ステップと、前記停止物体認識ステップにおいて前記第１の停止物体が認識された後、前記停止物体認識ステップにおいて認識された第２の停止物体もしくは移動物体認識ステップにおいて認識された移動物体と前記停止物体記録ステップにおいて記録された停止物体情報を有する第１の停止物体との間の距離が所定距離よりも近い場合、前記第２の停止物体もしくは前記移動物体と前記第１の停止物体とが同一であると認識される同一性認識ステップとを有し、前記背景画像作成ステップは、前記停止物体認識ステップにおいて前記第１の停止物体が認識された場合、前記第１の停止物体を含む領域を有する現画像の前記領域が前記背景画像中に取り込まれることで更新済み背景画像が作成され、前記同一性認識ステップにおいて同一であると認識された場合、前記更新済み背景画像の前記領域が前記第１の停止物体が再度移動した後の前記現画像もしくは前記停止物体認識ステップにおいて前記第１の停止物体が認識される前の前記背景画像に基づいて復元される方法としている。
【００２４】
この方法により、特定の移動物体がカメラの視野内で長時間にわたって停止したような場合であっても、移動物体を正しく検出することが可能である。
【発明の効果】
【００２５】
本発明によれば、移動物体が停止した場合に停止物体認識部が該当する移動物体を停止物体として認識し、停止物体記録部は認識された停止物体の情報を記録するので、差分画像から該当する停止物体を認識不可能な状態であっても、停止物体記録部に記録された情報を利用して前記停止物体の存在を管理することができる。
【００２６】
また、停止物体を認識した時点で背景画像合成部は前記停止物体認識部が認識した停止物体に相当する領域の現画像を前記背景画像の中に取り込むので、現画像中の停止物体と背景画像中の停止物体との差分がなくなり、この停止物体はそれが再び動き始めない限り、移動物体認識処理に影響を及ぼさなくなり、安定した認識処理が可能になる。
【００２７】
更に、停止物体が再び動き始めた場合には、前記移動物体認識部が新たに認識した移動物体と前記停止物体記録部に記録されている停止物体との検出位置の違いが小さく、類似性が高いので、移動物体と停止物体とを同一と認識することができる。従って、同一性認識部は、移動物体の情報と停止物体の情報とを互いに関連付けて正しく管理することができる。
【発明を実施するための最良の形態】
【００２８】
本発明の実施形態における移動物体検出装置について、図１〜図７を参照しながら以下に説明する。
【００２９】
図１は本発明の実施形態における移動物体検出装置１００の主要な構成要素を示すブロック図である。図２Ａ〜図２Ｃは本発明の実施形態における移動物体検出装置１００の主要な動作を示すフローチャートである。図３は本発明の実施形態における移動物体検出装置が扱う車両の停止直後の画像の具体例を示す模式図である。図４及び図５は本発明の実施形態における移動物体検出装置が扱う車両の長時間停止時の画像の具体例を示す模式図である。図６は本発明の実施形態における移動物体検出装置が扱う車両の再発進直後の画像の具体例を示す模式図である。図７は本発明の実施形態における移動物体検出装置が扱う差分画像、外接矩形の具体例を示す模式図である。
【００３０】
本実施形態では、例えば道路わきの路面より少し高い位置に固定的に設置されたテレビカメラのような撮像装置を用いて図３（ａ）の画像中に示されたような被写体を撮影し、撮影により得られた図３（ａ）に示すような画像に基づいて、交通量の計測や停止車両の検出などを行うシステムに本発明を適用する場合を想定している。このようなシステムが交通量の計測や停止車両の検出を正しく行うためには、それぞれの車両などの目標物を正しく認識する必要がある。ところが、渋滞の発生や故障車両の発生や路上駐車の発生などの影響により、目標物である車両を途中で見失ったり、同一の車両を複数台の車両として誤認識する場合が多かった。そこで、本実施形態の移動物体検出装置１００は本発明を適用することにより、車両などの目標物を正しく認識できるように改良されている。
【００３１】
図１に示すように、本発明の実施形態における移動物体検出装置１００は、現画像入力部１０と、画像格納部２０と、背景画像作成部３０と、停止車両記録部４０と、差分画像作成部５１と、２値化画像作成部５２と、外接矩形検出部５３と、車両認識部５４と、車両追跡部５５と、停止車両認識部５６と、停止車両出力部６０とを有する。
【００３２】
また、画像格納部２０は、現画像格納部２１と、背景画像格納部２２と、差分画像格納部２３と、２値化画像格納部２４とを有する。なお、図１に示す各構成要素については、コンピュータのソフトウェアによって実現することもできるし、電気回路の専用のハードウェアを用いて実現することもできる。
【００３３】
ここで、現画像入力部１０は画像入力部の一例である。背景画像作成部３０は背景画像作成部の一例である。差分画像作成部５１は差分画像作成部の一例である。車両認識部５４は移動物体認識部の一例である。停止車両認識部５６は停止物体認識部の一例である。停止車両記録部４０は停止物体記録部の一例である。また、同一性認識部の一例は車両認識部５４もしくは停止車両認識部５６に含まれる。
【００３４】
現画像入力部１０は、所定位置に設置された撮像装置（２次元イメージセンサ）が撮影した最新の画像（すなわち現画像）のデジタルデータを定期的に入力する。現画像を入力する周期については、用途や被写体の種類に応じて適宜決定すればよいが、例えば１秒間に数フレーム程度の周期に定めることが想定できる。
【００３５】
画像格納部２０は、処理前の画像及び処理途中の画像のデータを保存するためのメモリである。現画像入力部１０によって入力される現画像は現画像格納部２１に保持される。背景画像格納部２２は背景画像作成部３０によって作成された背景画像を保持するために利用され、差分画像格納部２３は差分画像作成部５１によって作成された差分画像を保持するために利用され、２値化画像格納部２４は２値化画像作成部５２によって作成された２値化画像を保持するために利用される。
【００３６】
背景画像作成部３０は、基本的には現画像格納部２１に保持されている現画像に基づいて背景画像を作成する。作成した背景画像は背景画像格納部２２に記録される。例えば、図３（ａ）に示すような現画像に基づいて特定の道路上を通過する車両を目標物として観測するような場合には、目標物である移動中の車両を除いた図３（ｂ）に示すような画像が背景画像になる。このような背景画像は、互いに異なる時点で撮影された画像を画素毎に累積あるいは平均化することにより得られる。具体的には、背景画像作成部３０は次式の内容に従って入力画像から時間累積画像Ｓ(ｔ)を作成する。
【００３７】
Ｓ(t)＝α×Ｃ(t)＋（1-α）×Ｓ(t-△T)
ｔ：時間
Ｃ(t)：入力画像（現画像）
α：時間累積処理重み量（0＜α＜1）
△T：処理周期
【００３８】
すなわち、最新の入力画像Ｃ(t)と、処理周期△Tだけ前の時点で得られた時間累積画像Ｓ(t-△T)とを重み量αに従って加算したものが最新の時間累積画像Ｓ(ｔ)になる。このような処理を行うと、走行する車両のように画像中に一時的に現れた要素の影響は非常に小さくなって時間累積画像Ｓ(ｔ)に現れる。つまり、道路自体のように静止している要素だけを背景画像として抽出することができる。
【００３９】
但し、渋滞の発生や故障車両の発生や路上駐車の発生などの影響により、画像内で特定の車両が停止した場合には、停止した車両の影響度が背景画像の中で徐々に大きくなるため問題が発生する可能性がある。
【００４０】
差分画像作成部５１は、現画像格納部２１に保持されている最新の現画像と、背景画像格納部２２に保持されている背景画像とについて画素毎に画像間の差分を計算し、その結果を差分画像として出力する。作成した差分画像は差分画像格納部２３に記録される。例えば、図３（ａ）に示す現画像と、図３（ｂ）に示す背景画像とを処理すると、図３（ｃ）に示すような差分画像が得られる。つまり、移動している車両のような目標物だけを差分画像として抽出することができる。
【００４１】
２値化画像作成部５２は、差分画像格納部２３に保持されている差分画像を処理して２値化画像を作成する。すなわち、差分画像における各画素の階調を所定の閾値と比較して大小関係を識別することにより、画素毎の濃淡を２値で表す２値化画像を作成する。作成された２値化画像は２値化画像格納部２４に記録される。
【００４２】
外接矩形検出部５３は、２値化画像格納部２４に保持されている２値化された差分画像に基づいて、外接矩形を検出する。この外接矩形は、各目標物の像の全体を含みかつ各目標物の像の外側に接する矩形を意味している。例えば、２値化された差分画像が図７に示すような画像である場合には、画像フレーム７００の一部分にのみ濃淡の異なる目標物画像（車両）７０２が現れているので、目標物画像７０２を囲みかつ目標物画像７０２の外側に接する矩形を矩形領域７０１として抽出するために、矩形領域７０１に相当する矩形の位置や大きさを特定する。なお、矩形領域７０１の抽出を省略して目標物画像７０２を処理対象として抽出しても良い。
【００４３】
車両認識部５４は、外接矩形検出部５３が検出した外接矩形の領域に含まれる画像データを２値化画像格納部２４から取り出して処理し、パターン認識等の手法を用いて処理することにより、外接矩形内の像を車両として認識する。
【００４４】
車両追跡部５５は、車両認識部５４が認識している車両の位置の時系列変化を追跡することにより、車両毎に移動速度などを算出する。
【００４５】
停止車両認識部５６は、車両追跡部５５の追跡状態に基づいて停止車両を検出する。例えば、認識中の車両の移動速度が所定以下になった場合、あるいはその状態になってから所定時間を経過しても移動速度が上がらない場合には、停止車両として検出する。
【００４６】
停止車両出力部６０は、停止車両を認識したことを示す信号を停止車両認識信号として記録し出力する。
【００４７】
車両認識部５４が新たに車両を認識したことを示す信号及び停止車両認識部５６が停止車両を検出したことを示す信号は、背景画像作成部３０にも入力される。背景画像作成部３０は、車両認識部５４が新たに車両を認識した場合、及び停止車両認識部５６が停止車両を検出した場合に次のように特別な処理を行う。
【００４８】
停止車両認識部５６が停止車両を検出すると、背景画像作成部３０はまず検出された停止車両に相当する領域又はそれを囲む外接矩形について、その位置と大きさ、および現在の背景画像のデータを停止車両記録部４０に保存する。次に、背景画像作成部３０は現在の背景画像の中で検出された停止車両に相当する領域又はそれを囲む外接矩形の領域に、現画像格納部２１に保持されている現画像のデータを取り込む。
【００４９】
例えば、図４（ａ）に示すような現画像を処理する場合に、現画像中で停止車両が検出されると、図３（ｂ）に示すような処理前の背景画像の中に図３（ｃ）に示すような停止車両の像が取り込まれるので、直ちに図４（ｂ）に示すような背景画像が作成される。つまり、検出された停止車両は背景画像の一部分になり、図４（ｃ）に示すような差分画像が得られ、停止車両の情報は停止車両出力部６０及び停止車両記録部４０の中にのみ残る。
【００５０】
一方、停止した車両が再び動き始める場合には、図４（ａ）に示すような現画像と図４（ｂ）に示すような背景画像とが同一で図４（ｃ）に示すような差分画像に目標物が現れない状態から、図５に示すように再発進車両と停止車両を２台検出し、やがて図６に示すように停止車両のみを検出する状態となるため、図５（ｃ）及び図６（ｃ）に示すように、停止車両のみを検出する状態となるため、差分画像に車両が目標物として現れ、これを車両認識部５４が新たに認識する。
【００５１】
車両認識部５４が新たに車両を認識した場合には、車両認識部５４は検出された車両が停止車両出力部６０に保持されている停止車両と同一か否かを識別する。すなわち、一時的に停止した車両が再び動き始める場合には、停止車両として検出されたときの位置に近い位置で車両認識部５４によって新たな車両として検出されるので、位置の違いや大きさの違いが所定以内であれば同一とみなすことができる。
【００５２】
車両認識部５４が新たに車両を停止車両出力部６０に保持されている停止車両と同一と見なした場合には、背景画像作成部３０は停止車両を取り込む前の背景画像を復元する。例えば、図６（ｂ）に示す背景画像には過去に取り込まれた停止車両が現れているが、図６（ａ）に示す現画像には停止車両が既に存在しないので、図６（ｃ）に示す差分画像に現れる余分な目標物を消去する必要がある。具体的には、停止車両に相当する領域の現画像データを現在の背景画像に取り込むことや、停止車両に相当する領域の過去の背景画像が停止車両記録部４０に保存されているので、停止車両記録部４０から読み出した画像を現在の背景画像に取り込むことにより、元の背景画像を復元できる。
【００５３】
次に、図１に示す移動物体検出装置１００の動作について図２Ａ〜図２Ｃを参照しながら説明する。
【００５４】
図２Ａにおいて、ステップＳ１１では、背景画像作成部３０が現画像格納部２１上の現画像に基づいて背景画像を作成する。
【００５５】
ステップＳ１２では、差分画像作成部５１が現画像格納部２１に格納された現画像と背景画像格納部２２に格納された背景画像とに基づいて、それらの画素毎の階調の差分を差分画像として作成する。
【００５６】
ステップＳ１３では、２値化画像作成部５２が差分画像格納部２３に格納された差分画像に基づいて２値化画像を作成する。
【００５７】
ステップＳ１４では、外接矩形検出部５３が２値化画像格納部２４に格納された２値化画像の中で差分として有効な値が現れている目標画像を含む外接矩形を検出する。
【００５８】
ステップＳ１５では、車両認識部５４が外接矩形検出部５３の検出した外接矩形の中の画像に基づいて、車両を認識する。
【００５９】
ステップＳ１６では、車両追跡部５５が車両認識部５４の認識した車両の位置を追跡し、位置変化の時系列情報に基づいて車両の移動速度を算出する。
【００６０】
ステップＳ１７では、停止車両認識部５６が停止車両を認識したか否かを調べる。停止車両を認識した場合には次のステップＳ１８に進み、認識しなかった場合にはステップＳ２６（図２Ｂ）に進む。
【００６１】
ステップＳ１８では、停止車両認識部５６が、今回認識した停止車両が停止車両出力部６０に停止車両であることを示す停止車両認識信号として記録済みか否かを調べる。記録済みであればステップＳ１９に進み、未記録であればステップＳ２１（図２Ｃ）に進む。
【００６２】
ステップＳ１９では、停止車両認識部５６が今回認識した停止車両の位置と、停止車両出力部６０に既に記録されている停止車両の位置との距離を調べることにより、両者の車両が同一か否かを識別する。異なる停止車両である場合にはステップＳ２１（図２Ｃ）に進み、同一の停止車両である場合にはステップＳ２４に進む。
【００６３】
一方、ステップＳ１７が偽の場合の処理については、図２Ｂを参照して説明する。ステップＳ２６では車両認識部５４が新たに車両を認識したか否かを調べる。新たに車両を認識した場合にはステップＳ２７に進む。認識しなかった場合は処理を終了する。
【００６４】
ステップＳ２７では、停止車両が停止車両出力部６０に停止車両認識信号として記録済みか否かを調べる。記録済みであればステップＳ２８に進む。記録済みでなければ処理を終了する。
【００６５】
ステップＳ２８では、車両認識部５４が今回認識した車両と停止車両出力部６０に保持されている停止車両とが同一の車両か否かを調べる。具体的には、両者の位置の差を予め定めた閾値と比較し、お互いの距離が近い場合には同一の車両とみなす。なお、判定の際に車両の速度が予め定めた閾値以下であることを確認したり、車両の大きさを比較したりしても良い。同一の場合にはステップＳ２４（図２Ａ）に進む。同一でなければ処理を終了する。
【００６６】
また、ステップＳ１８もしくはステップＳ１９が偽の場合の処理については、図２Ｃを参照して説明する。ステップＳ２１では、停止車両認識部５６が今回認識した停止車両について、停止車両が存在することを明示するために、停止車両認識信号を設定し停止車両出力部６０に記録する。
【００６７】
ステップＳ２２では、停止車両認識部５６が今回認識した停止車両について、その情報（車両識別番号、位置、大きさなど）を停止車両記録部４０に記録する。同時に、現在の背景画像の中で、今回検出された停止車両に相当する画像領域、もしくは外接矩形の領域のデータを抽出し、この背景画像データを後で利用できるように停止車両記録部４０に記録する。
【００６８】
ステップＳ２３では、背景画像格納部２２が保持している背景画像の中で、停止車両認識部５６が今回認識した停止車両に相当する画像領域、もしくは外接矩形の領域に、現画像の該当する領域のデータを取り込む。つまり、背景画像と現画像とを部分的に合成し、現画像中の停止車両を含む最新の背景画像を作成する。これにより、最新の背景画像は例えば図３（ｂ）に示す状態から図４（ｂ）に示す状態に瞬時に切り替わる。この後処理を終了する。
【００６９】
停止車両認識部５６が今回検出した停止車両、又は車両認識部５４が今回新たに認識した車両が、停止車両出力部６０に記録されている停止車両と同一であった場合にステップＳ２４（図２Ａ）に進む。ステップＳ２４では、停止車両出力部６０が保持している停止車両認識信号を解除して、停止車両が存在しなくなったことを明示する。
【００７０】
ステップＳ２５では、現在の背景画像における停止車両の領域、又は外接矩形の領域に、別の画像を取り込んで停止車両の存在しない背景画像を復元する。例えば、背景画像を図６（ｂ）に示す状態から図３（ｂ）に示す状態に復元する。
【００７１】
ステップＳ２５に関する具体的な処理については、次に示す（Ａ）、（Ｂ）、（Ｃ）のような複数種類の方法が考えられる。これらの方法の中から、用途や必要性を考慮して望ましい方法を採用すればよい。
【００７２】
（Ａ）背景画像上の停止車両に相当する領域に、現画像のデータを取り込んで停止車両を含まない合成前の背景画像を復元する。この方法では、停止車両が停止している間に道路の路面等の状況が大きく変化した場合であっても、最新の現画像によって背景画像が復元されるので、変化の影響を受けることなく車両の検出動作を継続できる。
【００７３】
（Ｂ）停止車両が再発進した後の互いに異なる時点で撮影された複数の現画像のデータに基づいて時間について平均化した平均化画像を作成し、背景画像上の停止車両に相当する領域に、前述の平均化画像を取り込んで停止車両を含まない合成前の背景画像を復元する。この方法では、停止車両が停止している間に道路の路面等の状況が大きく変化した場合であっても、最新の現画像によって背景画像が復元されるので、変化の影響を受けることなく車両の検出動作を継続できる。また、背景画像を復元する際に、現画像の停止車両の領域に新たな走行車両が現れたとしても、走行車両の影響の小さい背景画像を復元できる。
【００７４】
（Ｃ）背景画像上の停止車両に相当する領域に、停止車両記録部４０に保持されている当該領域の過去の背景画像を取り込んで停止車両を含まない合成前の背景画像を復元する。この方法では、背景画像を復元する際に、現画像の停止車両の領域に新たな走行車両が現れた場合であっても、走行車両の影響のない背景画像を直ちに復元できる。この方法は、例えばトンネル内のように環境変化の少ない場所で監視するような用途に適する。
【００７５】
このような本発明の実施形態における移動物体検出装置１００によれば、逐次画像を撮像し現画像として入力する現画像入力部１０と、現画像入力部１０によって逐次入力される複数の現画像の少なくとも累積もしくは平均化のいずれかを行うことで背景画像を作成する背景画像作成部３０と、現画像と背景画像との差分を差分画像として作成する差分画像作成部５１と、差分画像に基づいて、移動物体を認識する車両認識部５４と、移動物体を現画像入力部１０によって逐次入力される現画像上で追跡することで、移動物体のうち停止した物体を第１の停止物体として認識する停止車両認識部５６と、第１の停止物体に関する停止物体情報を記録する停止車両記録部４０と、停止車両認識部５６によって第１の停止物体が認識された後、停止車両認識部５６によって認識された第２の停止物体もしくは車両認識部５４によって認識された移動物体と停止車両記録部４０に記録された停止物体情報を有する第１の停止物体との間の距離が所定距離よりも近い場合、第２の停止物体もしくは移動物体と第１の停止物体とは同一であると認識する同一性認識部とを有し、背景画像作成部３０は、停止車両認識部５６によって第１の停止物体が認識された場合、第１の停止物体を含む領域を有する現画像の領域を背景画像中に取り込むことで更新済み背景画像を作成し、同一性認識部によって同一であると認識された場合、更新済み背景画像の領域を第１の停止物体が再度移動した後の現画像もしくは停止車両認識部５６によって第１の停止物体が認識される前の背景画像に基づいて復元することで、特定の移動物体がカメラの視野内で長時間にわたって停止したような場合であっても、移動物体を正しく検出することが可能である。
【産業上の利用可能性】
【００７６】
本発明は、例えば道路上を通過する車両の数や速度を監視するようなシステムに本発明の移動物体検出装置を適用することにより、渋滞の発生、故障車の発生、路上駐車の発生などの影響を受けることなく監視を行う移動物体検出装置等に有用である。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施形態における移動物体検出装置の主要な構成要素を示すブロック図である。
【図２Ａ】本発明の実施形態における移動物体検出装置の主要な動作を示すフローチャートである。
【図２Ｂ】本発明の実施形態における移動物体検出装置の主要な動作を示すフローチャートである。
【図２Ｃ】本発明の実施形態における移動物体検出装置の主要な動作を示すフローチャートである。
【図３】本発明の実施形態における移動物体検出装置が扱う車両の停止直後の画像の具体例を示す模式図である。
【図４】本発明の実施形態における移動物体検出装置が扱う車両の長時間停止時の画像の具体例を示す模式図である。
【図５】本発明の実施形態における移動物体検出装置が扱う車両の再発進直後の画像の具体例を示す模式図である。
【図６】本発明の実施形態における移動物体検出装置が扱う車両の再発進後の視野外消失の画像の具体例を示す模式図である。
【図７】本発明の実施形態における移動物体検出装置が扱う差分画像、外接矩形の具体例を示す模式図である。
【符号の説明】
【００７８】
１００ 移動物体検出装置
１０ 現画像入力部
２０ 画像格納部
２１ 現画像格納部
２２ 背景画像格納部
２３ 差分画像格納部
２４ ２値化画像格納部
３０ 背景画像作成部
４０ 停止車両記録部
５１ 差分画像作成部
５２ ２値化画像作成部
５３ 外接矩形検出部
５４ 車両認識部
５５ 車両追跡部
５６ 停止車両認識部
６０ 停止車両出力部
７００ 画像フレーム
７０１ 矩形領域
７０２ 目標物画像
【特許請求の範囲】
【請求項１】
逐次画像を撮像し現画像として入力する画像入力部と、
前記画像入力部によって逐次入力される複数の現画像の少なくとも累積もしくは平均化のいずれかを行うことで背景画像を作成する背景画像作成部と、
前記現画像と前記背景画像との差分を差分画像として作成する差分画像作成部と、
前記差分画像に基づいて、移動物体を認識する移動物体認識部と、
前記移動物体を前記画像入力部によって逐次入力される現画像上で追跡することで、前記移動物体のうち停止した物体を第１の停止物体として認識する停止物体認識部と、
前記第１の停止物体に関する停止物体情報を記録する停止物体記録部と、
前記停止物体認識部によって前記第１の停止物体が認識された後、前記停止物体認識部によって認識された第２の停止物体もしくは移動物体認識部によって認識された移動物体と前記停止物体記録部に記録された停止物体情報を有する第１の停止物体との間の距離が所定距離よりも近い場合、前記第２の停止物体もしくは前記移動物体と前記第１の停止物体とは同一であると認識する同一性認識部と、
を有し、
前記背景画像作成部は、
前記停止物体認識部によって前記第１の停止物体が認識された場合、前記第１の停止物体を含む領域を有する現画像の前記領域を前記背景画像中に取り込むことで更新済み背景画像を作成し、前記同一性認識部によって同一であると認識された場合、前記更新済み背景画像の前記領域を前記第１の停止物体が再度移動した後の前記現画像もしくは前記停止物体認識部によって前記第１の停止物体が認識される前の前記背景画像に基づいて復元する移動物体検出装置。
【請求項２】
請求項１に記載の移動物体検出装置であって、
前記停止物体記録部は、
前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報を記録し、
前記背景画像作成部は、
前記位置情報に基づいて、前記更新済み背景画像の前記領域を前記第１の停止物体が再度移動した後の前記現画像上の前記領域に対応する現画像復元領域によって復元する移動物体検出装置。
【請求項３】
請求項１に記載の移動物体検出装置において、
前記停止物体記録部は、
前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報を記録し、
前記背景画像作成部は、
前記位置情報に基づいて、前記更新済み背景画像の前記領域を、前記第１の停止物体が再度移動した後の互いに異なる時点における前記複数の現画像の時間平均画像上の前記領域に対応する平均現画像復元領域によって復元する移動物体検出装置。
【請求項４】
請求項１に記載の移動物体検出装置において、
前記停止物体記録部は、
前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報および前記停止物体認識部によって前記第１の停止物体が認識される前の前記背景画像上の前記領域に対応する背景画像復元領域を記録し、
前記背景画像作成部は、
前記位置情報に基づいて、前記更新済み背景画像の前記領域を前記停止物体記録部に記録された背景画像復元領域によって復元する移動物体検出装置。
【請求項５】
逐次画像が撮像され現画像として入力される画像入力ステップと、
前記画像入力ステップにおいて逐次入力される複数の現画像の少なくとも累積もしくは平均化のいずれかが行われることで背景画像が作成されるステップと、
前記現画像と前記背景画像との差分が差分画像として作成されるステップと、
前記差分画像に基づいて、移動物体が認識される移動物体認識ステップと、
前記移動物体が前記画像入力ステップにおいて逐次入力される現画像上で追跡されることで、前記移動物体のうち停止した物体が第１の停止物体として認識される停止物体認識ステップと、
前記第１の停止物体に関する停止物体情報が記録される停止物体記録ステップと、
前記停止物体認識ステップにおいて前記第１の停止物体が認識された後、前記停止物体認識ステップにおいて認識された第２の停止物体もしくは移動物体認識ステップにおいて認識された移動物体と前記停止物体記録ステップにおいて記録された停止物体情報を有する第１の停止物体との間の距離が所定距離よりも近い場合、前記第２の停止物体もしくは前記移動物体と前記第１の停止物体とが同一であると認識される同一性認識ステップと、
を有し、
前記背景画像作成ステップは、
前記停止物体認識ステップにおいて前記第１の停止物体が認識された場合、前記第１の停止物体を含む領域を有する現画像の前記領域が前記背景画像中に取り込まれることで更新済み背景画像が作成され、前記同一性認識ステップにおいて同一であると認識された場合、前記更新済み背景画像の前記領域が前記第１の停止物体が再度移動した後の前記現画像もしくは前記停止物体認識ステップにおいて前記第１の停止物体が認識される前の前記背景画像に基づいて復元される移動物体検出方法。
【請求項１】
逐次画像を撮像し現画像として入力する画像入力部と、
前記画像入力部によって逐次入力される複数の現画像の少なくとも累積もしくは平均化のいずれかを行うことで背景画像を作成する背景画像作成部と、
前記現画像と前記背景画像との差分を差分画像として作成する差分画像作成部と、
前記差分画像に基づいて、移動物体を認識する移動物体認識部と、
前記移動物体を前記画像入力部によって逐次入力される現画像上で追跡することで、前記移動物体のうち停止した物体を第１の停止物体として認識する停止物体認識部と、
前記第１の停止物体に関する停止物体情報を記録する停止物体記録部と、
前記停止物体認識部によって前記第１の停止物体が認識された後、前記停止物体認識部によって認識された第２の停止物体もしくは移動物体認識部によって認識された移動物体と前記停止物体記録部に記録された停止物体情報を有する第１の停止物体との間の距離が所定距離よりも近い場合、前記第２の停止物体もしくは前記移動物体と前記第１の停止物体とは同一であると認識する同一性認識部と、
を有し、
前記背景画像作成部は、
前記停止物体認識部によって前記第１の停止物体が認識された場合、前記第１の停止物体を含む領域を有する現画像の前記領域を前記背景画像中に取り込むことで更新済み背景画像を作成し、前記同一性認識部によって同一であると認識された場合、前記更新済み背景画像の前記領域を前記第１の停止物体が再度移動した後の前記現画像もしくは前記停止物体認識部によって前記第１の停止物体が認識される前の前記背景画像に基づいて復元する移動物体検出装置。
【請求項２】
請求項１に記載の移動物体検出装置であって、
前記停止物体記録部は、
前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報を記録し、
前記背景画像作成部は、
前記位置情報に基づいて、前記更新済み背景画像の前記領域を前記第１の停止物体が再度移動した後の前記現画像上の前記領域に対応する現画像復元領域によって復元する移動物体検出装置。
【請求項３】
請求項１に記載の移動物体検出装置において、
前記停止物体記録部は、
前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報を記録し、
前記背景画像作成部は、
前記位置情報に基づいて、前記更新済み背景画像の前記領域を、前記第１の停止物体が再度移動した後の互いに異なる時点における前記複数の現画像の時間平均画像上の前記領域に対応する平均現画像復元領域によって復元する移動物体検出装置。
【請求項４】
請求項１に記載の移動物体検出装置において、
前記停止物体記録部は、
前記停止物体認識部が前記第１の停止物体を認識した場合、前記第１の停止物体が存在する現画像上の領域に関する位置情報および前記停止物体認識部によって前記第１の停止物体が認識される前の前記背景画像上の前記領域に対応する背景画像復元領域を記録し、
前記背景画像作成部は、
前記位置情報に基づいて、前記更新済み背景画像の前記領域を前記停止物体記録部に記録された背景画像復元領域によって復元する移動物体検出装置。
【請求項５】
逐次画像が撮像され現画像として入力される画像入力ステップと、
前記画像入力ステップにおいて逐次入力される複数の現画像の少なくとも累積もしくは平均化のいずれかが行われることで背景画像が作成されるステップと、
前記現画像と前記背景画像との差分が差分画像として作成されるステップと、
前記差分画像に基づいて、移動物体が認識される移動物体認識ステップと、
前記移動物体が前記画像入力ステップにおいて逐次入力される現画像上で追跡されることで、前記移動物体のうち停止した物体が第１の停止物体として認識される停止物体認識ステップと、
前記第１の停止物体に関する停止物体情報が記録される停止物体記録ステップと、
前記停止物体認識ステップにおいて前記第１の停止物体が認識された後、前記停止物体認識ステップにおいて認識された第２の停止物体もしくは移動物体認識ステップにおいて認識された移動物体と前記停止物体記録ステップにおいて記録された停止物体情報を有する第１の停止物体との間の距離が所定距離よりも近い場合、前記第２の停止物体もしくは前記移動物体と前記第１の停止物体とが同一であると認識される同一性認識ステップと、
を有し、
前記背景画像作成ステップは、
前記停止物体認識ステップにおいて前記第１の停止物体が認識された場合、前記第１の停止物体を含む領域を有する現画像の前記領域が前記背景画像中に取り込まれることで更新済み背景画像が作成され、前記同一性認識ステップにおいて同一であると認識された場合、前記更新済み背景画像の前記領域が前記第１の停止物体が再度移動した後の前記現画像もしくは前記停止物体認識ステップにおいて前記第１の停止物体が認識される前の前記背景画像に基づいて復元される移動物体検出方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−２４９８３０（Ｐ２００７−２４９８３０Ａ）
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願番号】特願２００６−７５２４５（Ｐ２００６−７５２４５）
【出願日】平成１８年３月１７日（２００６．３．１７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願日】平成１８年３月１７日（２００６．３．１７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]