移動体の追跡装置、移動体の追跡方法及びプログラム
【課題】画面上を移動する移動体を、処理速度を維持しつつ、精度よく検出する。
【解決手段】差分画像の変化領域が、背景画像としての画像に含まれる特異領域と、撮像画像としての画像に含まれる移動体に対応した領域とで構成される場合に、変化領域を、撮像画像に含まれる移動体に対応した第１領域と、それ以外の第２領域に分割する。そして、撮像画像に含まれる移動体に対応した第１領域の位置情報を移動体の位置情報として検出する。これにより、背景画像に特異領域が含まれていたとしても、差分画像の変化領域に基づいて、撮像画像に含まれる移動体の位置情報を精度よく検出することができる。
【解決手段】差分画像の変化領域が、背景画像としての画像に含まれる特異領域と、撮像画像としての画像に含まれる移動体に対応した領域とで構成される場合に、変化領域を、撮像画像に含まれる移動体に対応した第１領域と、それ以外の第２領域に分割する。そして、撮像画像に含まれる移動体に対応した第１領域の位置情報を移動体の位置情報として検出する。これにより、背景画像に特異領域が含まれていたとしても、差分画像の変化領域に基づいて、撮像画像に含まれる移動体の位置情報を精度よく検出することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の追跡装置、移動体の追跡方法及びプログラムに関し、更に詳しくは、撮像手段の視野内を移動する移動体を追跡する移動体の追跡装置、撮像手段の視野内を移動する移動体を追跡するための移動体の追跡方法及びプログラムに関する。
【背景技術】
【０００２】
駐車場の監視システムなどでは、自動車などの移動体を撮像した画像に含まれる移動体を特定し、特定した移動体を追跡することで、実際の移動体の位置及び移動速度などを検出する。この移動体の追跡は、例えば、移動体を連続して撮像することにより得られる複数枚の画像それぞれに含まれる移動体の位置を、時系列的に検出することにより行う。
【０００３】
画像に含まれる移動体の検出は、例えば撮像された画像と、背景画像との差分画像を生成し、この差分画像に含まれる変化領域を抽出することにより行うことが考えられる。この方法では、背景画像に移動体が含まれていない場合には、変化領域は移動体が写り込んだ領域と等価の領域となる。しかしながら、移動体が移動しているときなどには、背景画像と撮像画像の双方に移動体が含まれることがある。また、移動体が長時間停止していた場合には、背景画像の移動体と重なる領域の更新がなされず、背景画像に、周囲の領域と著しく異なる特異な領域が形成されることがある。この状態のときには、差分画像の変化領域に、背景画像の特異な領域等と、撮像画像の移動体が占める領域との双方が含まれることになってしまう。この場合には、例えば特許文献１に開示された方法などにより、差分画像から抽出された変化領域のうちから、移動体が占める領域を抽出する必要がある。
【０００４】
また、差分画像を生成するための背景画像は、移動体が移動する領域の環境の変化に応じて更新する必要がある。このため、背景画像を精度よく更新する技術が種々提案されている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−４３３８３号公報
【特許文献２】特開２００１−１５５１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載のシステムは、差分画像の変化領域のうち、エッジ成分を多く含む領域、又は所定の長さ以上のエッジを所定の本数以上含む領域を、移動体に対応する移動体領域として検出する。そして、撮像画像中の移動体領域に対応した領域以外の領域を、差分画像を生成したときに用いた背景画像に組み入れることで背景画像の更新を行う。この更新された背景画像は次回の差分画像の生成に用いられる。
【０００７】
しかしながら、特許文献１に記載のシステムは、変化領域に現れるエッジを用いて移動体領域を特定するため、移動体の形状などによっては、変化領域から正確に移動体領域を検出することが困難となる場合がある。また、変化領域から正確に移動体領域が検出されなかった場合には、背景画像の更新が正確に行われなくなるという問題も考えられる。
【０００８】
特許文献２に記載の装置は、それぞれの画像ごとに時系列的に記憶された画素値の中から、例えばその値が急峻に変化する画素値を除去し、残りの画素値の時間的な変化を示す近似式を算出する。そして、この近似式を用いて背景画像を生成する。
【０００９】
しかしながら、特許文献２に記載の装置を用いた場合には、背景画像を更新するための処理が複雑になるため、移動体を検出するための処理が煩雑になるという不都合が考えられる。
【００１０】
本発明は、上述の事情の下になされたもので、処理速度を維持しつつ、精度よく移動体を検出することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の移動体の追跡装置は、移動体が移動する移動領域を順次撮像する撮像手段と、移動領域の背景画像と、撮像手段によって撮像された撮像画像との差分画像を生成する差分画像生成手段と、差分画像から移動体が含まれる変化領域を抽出する抽出手段と、変化領域を、移動体の画像を含む第１領域と、第１領域以外の第２領域とに分割する分割手段と、第１領域の位置を検出する検出手段と、撮像画像のうちの、変化領域以外の領域と、第２領域とを、背景画像に組み入れて、背景画像を更新する更新手段と、を備える。
【００１２】
また、分割手段は、移動体が停止した状態から移動を開始した場合に、移動体が停止していたときに抽出手段に抽出された変化領域の、移動体の移動方向の大きさよりも、移動体が移動しているときに抽出手段に抽出された変化領域の、移動体の移動方向の大きさの方が大きい場合に、変化領域を分割することとしてもよい。
【００１３】
また、分割手段は、移動体が停止していたときに検出手段に検出された位置と、抽出手段に抽出された変化領域の位置とから、移動体の移動量と移動方向とを検出し、変化領域を、変化領域の移動方向とは反対の端部から、移動量に応じた量だけずれた位置までの第１領域と、第１領域以外の第２領域とに分割することとしてもよい。
【００１４】
また、分割手段は、変化領域を、移動体の移動方向の端部から、移動体の移動方向とは逆の方向に、移動体が停止していたときに抽出手段に抽出された変化領域の、移動方向の大きさだけ離れた境界で分割することとしてもよい。
【００１５】
上記目的を達成するため、本発明の移動体の追跡方法は、撮像手段に、移動体が移動する移動領域を順次撮像させる工程と、移動領域の背景画像と、撮像手段によって撮像された撮像画像との差分画像を生成する工程と、差分画像から移動体が含まれる変化領域を抽出する工程と、変化領域を、移動体の画像を含む第１領域と、第１領域以外の第２領域とに分割する工程と、第１領域の位置を検出する工程と、撮像画像のうちの、変化領域以外の領域と、第２領域とを、背景画像に組み入れて、背景画像を更新する工程と、を含む。
【００１６】
上記目的を達成するため、本発明のプログラムは、追跡装置の制御手段に、撮像手段に、移動体が移動する移動領域を順次撮像させる手順と、移動領域の背景画像と、撮像手段によって撮像された撮像画像との差分画像を生成する手順と、差分画像から移動体が含まれる変化領域を抽出する手順と、変化領域を、移動体の画像を含む第１領域と、第１領域以外の第２領域とに分割する手順と、第１領域の位置を検出する手順と、撮像画像のうちの、変化領域以外の領域と、第２領域とを、背景画像に組み入れて、背景画像を更新する手順と、を実行させる。
【発明の効果】
【００１７】
本発明によれば、処理速度を維持しつつ、精度よく移動体を検出することができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る移動体追跡装置のブロック図である。
【図２】画像Ｐ１を示す図である。
【図３】画像Ｐ２を示す図（その１）である。
【図４】画像Ｐ２を示す図（その２）である。
【図５】画像Ｄ１を示す図である。
【図６】画像Ｐ２を示す図（その３）である。
【図７】画像Ｐ０１を示す図である。
【図８】画像Ｐ０２を示す図（その１）である。
【図９】画像Ｄ０１を示す図（その１）である。
【図１０】画像Ｄ０１を示す図（その２）である。
【図１１】変化領域の中心間の差を説明するための図である。
【図１２】第２の実施形態に係る移動体追跡装置のブロック図である。
【図１３】移動体追跡装置の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１９】
《第１の実施形態》
以下、本発明の第１の実施形態を、図１〜図１１を参照しつつ説明する。図１は本実施形態にかかる移動体追跡装置１０の概略的な構成を示すブロック図である。移動体追跡装置１０は、例えば撮像装置によって順次撮像される画像に含まれる移動体の位置を検出し、検出した移動体の位置を外部装置などに出力する装置である。この移動体追跡装置１０は、図１に示されるように、撮像装置２０と、撮像装置２０の視野内を移動する移動体の位置を検出し出力する検出装置３０とを有している。
【００２０】
撮像装置２０は、被写体を撮像することにより取得した画像を電気信号に変換して出力するＣＣＤカメラを含んで構成されている。この撮像装置２０は、例えば駐車場などに設置され、視野内を移動する車両などの移動体を含む画像を順次撮像し出力する。
【００２１】
図２は、一例として撮像装置２０によって撮像された画像Ｐ１を示す図である。図２の画像Ｐ１を参照するとわかるように、撮像装置２０は、視野内に駐車場へのゲート６０を含むように配置されている。そして、所定のレートで視野内の移動体を含む画像を順次撮像し出力する。
【００２２】
図１に戻り、検出装置３０は、記憶部３１、差分画像生成部３２、変化領域抽出部３３、変化領域分割部３４、背景画像更新部３５、及び位置検出部３６を含んで構成されている。
【００２３】
記憶部３１は、撮像装置２０から順次出力される画像に関する情報を時系列的に記憶する。
【００２４】
差分画像生成部３２は、背景画像と撮像装置２０よって撮像された画像とに差分処理を施すことにより、差分画像を生成する。例えば、移動体追跡装置１０が起動された後、最初に撮像装置２０から図２に示される移動体５０を含まない画像Ｐ１が記憶部３１に出力され、次に、図３に示される移動体５０を含む画像Ｐ２が記憶部３１に出力された場合には、差分画像生成部３２は、背景画像としての画像Ｐ１と、画像Ｐ２とに差分処理を施し、二値化された差分画像を生成する。
【００２５】
説明の便宜上、図３における移動体５０を、図４に示されるように長方形で示すと、差分画像は、図５に示されるように、画像Ｐ２に含まれる移動体５０に対応した部分が変化領域Ｒ１となった画像Ｄ１のようになる。
【００２６】
差分画像生成部３２は、差分画像の生成が完了すると、この差分画像としての画像Ｄ１を記憶部３１へ保存するとともに、変化領域抽出部３３に対して、差分画像の生成が完了したことを通知する。
【００２７】
図１に戻り、変化領域抽出部３３は、差分画像の生成が完了した旨の通知を受けると、記憶部３１に記憶された差分画像としての画像Ｄ１から、変化領域Ｒ１を抽出する。
【００２８】
背景画像更新部３５は、背景画像に、撮像画像から変化領域Ｒ１に対応した領域を除いた領域を組み入れることにより、背景画像を更新する。
【００２９】
例えば、背景画像更新部３５は、図６を参照するとわかるように、画像Ｐ２から、画像Ｄ１の変化領域Ｒ１に対応した領域Ｆ１を除外し、残りの領域を画像Ｐ１に組み入れて新たな背景画像を生成する。
【００３０】
位置検出部３６は、記憶部３１に記憶された差分画像から、変化領域の位置情報を検出し出力する。例えば差分画像が、図５に示される画像Ｄ１である場合には、位置検出部３６は、変化領域Ｒ１の位置情報を検出し出力する。
【００３１】
上述のように背景画像が更新される場合には、移動体５０が昼夜にかけて停止したままだと、背景画像としての画像Ｐ１は、移動体に対応する領域以外の部分のみが何度も更新される。これにより、背景画像としての画像Ｐ１は、例えば、図７に示される画像Ｐ０１のように、移動体領域に対応する領域Ｇ１が、他の更新された領域に対して、例えば輝度等が著しく異なる特異な領域となる。
【００３２】
このような背景画像としての画像Ｐ０１と、上述の一昼夜停止していた移動体５０が移動を開始した直後に撮像された画像とから差分画像を生成すると、変化領域には、領域Ｇ１に対応する領域と、移動体５０に対応する領域とが混在することとなる。そこで、本実施形態にかかる追跡装置１０は、変化領域から移動体５０に対応する領域を抽出するために、変化領域分割部３４を備えている。以下、背景画像が図７に示される画像Ｐ０１であり、画像Ｐ０１の領域Ｇ１に対応する位置に停止していた移動体５０が移動を開始した直後に撮像された画像が図８に示される画像Ｐ０２である場合の処理について説明する。
【００３３】
差分画像生成部３２は、図７に示される背景画像としての画像Ｐ０１と、図８に示される画像Ｐ０２とに差分処理を施し、図９に示されるような二値化された差分画像としての画像Ｄ０１を生成する。この画像Ｄ０１の変化領域Ｒ２には、背景画像としての画像Ｐ０１に含まれる領域Ｇ１に対応した部分と、画像Ｐ０２に含まれる移動体５０に対応した部分とが含まれる。
【００３４】
差分画像生成部３２は、差分画像の生成が完了すると、この差分画像としての画像Ｄ０１を記憶部３１へ保存するとともに、変化領域抽出部３３に対して、差分画像の生成が完了したことを通知する。
【００３５】
図１に戻り、変化領域抽出部３３は、差分画像の生成が完了した旨の通知を受けると、記憶部３１に記憶された差分画像としての画像Ｄ０１から、変化領域Ｒ２を抽出する。変化領域Ｒ２は、背景画像としての画像Ｐ０１に含まれる領域Ｇ１と、画像Ｐ０２に含まれる移動体５０の双方に対応する領域である。このため、停止していた移動体５０が＋Ｘ方向へ移動したときの距離をαとすると、変化領域Ｒ２のＸ軸方向の大きさはＴ＋α（≧Ｔ）となる。変化領域抽出部３３は、例えば背景画像としての画像Ｐ０１に含まれる領域Ｇ１と、変化領域Ｒ２とのサイズが異なる場合に、変化領域に関する情報を変化領域分割部３４へ出力する。
【００３６】
変化領域分割部３４は、変化領域抽出部３３によって抽出された変化領域を、撮像された画像に含まれる移動体に対応する第１領域と、それ以外の第２領域に分割する。
【００３７】
例えば、変化領域分割部３４は、図５に示される画像Ｄ１に含まれる、移動体５０のみに対応する変化領域Ｒ１のＸ軸方向の大きさと、図９に示される画像Ｄ０１に含まれる、変化領域Ｒ２のＸ軸方向の大きさとを比較する。そして、変化領域Ｒ１の大きさよりも、変化領域Ｒ２の大きさの方が大きい場合に、変化領域Ｒ２の分割を行う。
【００３８】
変化領域Ｒ１のＸ軸方向の大きさをＴとし、停止位置からの移動体５０の移動量をα（≧０）とすると、変化領域Ｒ２のＸ軸方向の大きさはＴ＋αとなる。変化領域分割部３４は、αが０より大きくなった場合、すなわち移動体が移動を開始した場合に、変化領域Ｒ２を、移動体５０の移動方向の端からＴ隔てた境界で分割する。
【００３９】
具体的には、変化領域Ｒ２の分割は、図１０を参照するとわかるように、変化領域Ｒ２の＋Ｘ側端部から−Ｘ方向へＴ隔てた位置の境界線で、変化領域Ｒ２を、画像Ｐ０２に含まれる移動体５０に対応する第１領域Ａ１と、それ以外の第２領域Ａ２とに分割する。なお、図１１を参照するとわかるように、移動体５０の移動方向は、例えば画像Ｄ０１の変化領域Ｒ２の中心の位置座標と、画像Ｄ０１の１フレーム前に生成された差分画像としての画像Ｄ０２の変化領域Ｒ３との位置座標との差Ａに基づいて検出することができる。
【００４０】
変化領域分割部３４は、変化領域を第１領域Ａ１と第２領域Ａ２に分割すると、第１領域Ａ１と第２領域Ａ２とに関する情報を背景画像更新部３５に出力する。
【００４１】
図１に戻り、背景画像更新部３５は、背景画像に、撮像画像から第１領域以外の領域を除いた領域を組み入れることにより、背景画像を更新する。
【００４２】
例えば、差分画像が、図７に示される背景画像としての画像Ｐ０１と、図８に示される画像Ｐ０２とによって生成された場合には、図８に示される画像Ｐ０２から、図１０の第１領域Ａ１に対応する領域を除いた領域を、画像Ｐ０１に組み入れて新たな背景画像を生成する。背景画像更新部３５は、新たに生成した背景画像を以降の差分処理を行う画像として、記憶部３１へ保存する。
【００４３】
位置検出部３６は、図１０を参照するとわかるように、変化領域Ｒ２の分割が行われた場合に、変化領域Ｒ２に含まれる第１領域Ａ１の中心の位置座標を検出し、外部へ出力する。
【００４４】
以上説明したように、本第１の実施形態では、変化領域が、背景画像としての画像に含まれる領域Ｇ１と、撮像画像としての画像に含まれる移動体５０に対応した領域とで構成される場合に、変化領域が、移動体５０に対応した第１領域Ａ１と、それ以外の第２領域Ａ２に分割される。そして、撮像画像に含まれる移動体に対応した第１領域の位置情報（画像における位置座標）が移動体の位置情報として検出され出力される。
【００４５】
これによれば、移動体が長時間停止することなどにより、背景画像に長時間更新されない特異な領域Ｇ１が存在したとしても、差分画像の変化領域に基づいて、撮像画像に含まれる移動体の位置情報を精度よく検出することができる。
【００４６】
また、本第１の実施形態では、変化領域が、背景画像の特異な領域Ｇ１と、撮像画像としての画像に含まれる移動体５０に対応した領域とで構成される場合に、変化領域が、撮像画像に含まれる移動体５０に対応した第１領域と、それ以外の第２領域に分割される。そして、撮像画像中の第１領域Ａ１に対応する領域以外の部分のみが、背景画像に組み入れられることにより、背景画像の更新が順次行われる。これにより、背景の更新を、複雑な処理を行うことなく実行することが可能となる。
【００４７】
なお、本第１の実施形態では、変化領域分割部３４は、変化領域Ｒ２の＋Ｘ側端部から−Ｘ方向へＴ隔てた位置の境界線で、変化領域Ｒ２を、移動体５０に対応する第１領域Ａ１と、それ以外の第２領域Ａ２とに分割した。しかしながら、本発明はこれに限定されるものではなく、例えば、図１１を参照するとわかるように、画像Ｄ０１の変化領域Ｒ２の中心の位置座標と、画像Ｄ０１の１フレーム前に生成された差分画像としての画像Ｄ０２の変化領域Ｒ３との位置座標との差Ａを算出し、変化領域Ｒ２の−Ｘ側端から、差Ａによって決定される量だけ＋Ｘ側にずれた境界によって、変化領域Ｒ２を第１領域Ａ１と第２領域Ａ２とに分割してもよい。
【００４８】
《第２の実施形態》
次に、本発明の第２の実施形態を、図１２及び図１３を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
【００４９】
本実施形態にかかる移動体追跡装置１０は、検出装置３０が、一般的なコンピュータ、又はワークステーションなどの装置と同様の構成によって実現されている点で、第１の実施形態にかかる移動体追跡装置１０と相違している。
【００５０】
図１２は、移動体追跡装置１０の物理的な構成を示すブロック図である。図１２に示されるように、移動体追跡装置１０は、撮像装置２０と、コンピュータからなる検出装置３０とから構成されている。
【００５１】
検出装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
【００５２】
ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、撮像装置２０によって撮像された画像に対して、後述する画像処理を実行する。
【００５３】
主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
【００５４】
補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、撮像装置２０から出力される画像情報、及びＣＰＵ３０ａによる処理結果などを含む情報を順次記憶する。
【００５５】
表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。本実施形態では、撮像装置２０によって撮像された画像に対する処理が実行されるごとに、その処理結果としての画像などが表示される。
【００５６】
入力部３０ｅは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
【００５７】
インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮像装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
【００５８】
図１３のフローチャートは、ＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図１３を参照しつつ、検出装置３０が実行する処理について説明する。なお、この処理は、移動体追跡装置１０の電源が投入された後に、ＣＰＵ３０ａが、補助記憶部３０ｃから読み出したプログラムに従って、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、インターフェイス部３０ｆを統括的に制御することにより実現される。前提として、補助記憶部には、背景画像が予め保存されているものとする。
【００５９】
まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、撮像装置２０から出力された画像と、補助記憶部３０ｃに保存された背景画像の差分画像を生成する。
【００６０】
例えば、背景画像が図２に示される画像Ｐ１であり、撮像装置２０から図４に示される移動体５０を含む画像Ｐ２が出力された場合には、ＣＰＵ３０ａは、背景画像としての画像Ｐ１と、画像Ｐ２とに差分処理を施し、図５に示される画像Ｄ１を生成する。一方、背景画像が図７に示される画像Ｐ０１であり、撮像装置２０から、例えば図８に示される移動体５０を含む画像Ｐ０２が出力された場合には、ＣＰＵ３０ａは、背景画像としての画像Ｐ０１と、画像Ｐ０２とに差分処理を施し、図９に示される画像Ｄ０１を生成する。
【００６１】
次のステップＳ１０２では、ＣＰＵ３０ａは、差分画像から、変化領域を抽出する。例えば、差分画像が図５に示される画像Ｄ１である場合には、ＣＰＵ３０ａは、画像Ｄ１から変化領域Ｒ１を抽出する。また、差分画像が図９に示される画像Ｄ０１である場合には、ＣＰＵ３０ａは、画像Ｄ０１から変化領域Ｒ２を抽出する。
【００６２】
次のステップＳ１０３では、ＣＰＵ３０ａは、変化領域の大きさがＴより大きいか否かを判断する。
【００６３】
図５に示される変化領域Ｒ１は、撮像画像Ｐ１に含まれる移動体５０にのみ対応する領域である。このため、変化領域Ｒ１の、移動体５０の移動方向となるＸ軸方向の大きさは、移動体５０の移動方向の大きさ（Ｘ軸方向の大きさ）に等しいＴとなる。また、図９に示される変化領域Ｒ２は、図７に示される背景画像としての画像Ｐ０１に含まれる領域Ｇ１と、図８に示される画像Ｐ０２に含まれる、移動を開始した移動体５０の双方に対応する領域である。この場合は、変化領域Ｒ２の大きさはＴ＋αとなる。
【００６４】
したがって、ステップＳ１０２で抽出された変化領域が変化領域Ｒ１である場合は、ここでの判断は否定され、ＣＰＵ３０ａは、ステップＳ１０５へ移行する。一方、ステップＳ１０２で抽出された変化領域が変化領域Ｒ２である場合は、ここでの判断は肯定され、ＣＰＵ３０ａは、次のステップＳ１０４へ移行する。
【００６５】
次のステップＳ１０４では、ＣＰＵ３０ａは、抽出した変化領域を、撮像された画像に含まれる移動体に対応する第１領域と、それ以外の第２領域に分割する。
【００６６】
例えば、ＣＰＵ３０ａは、図１０を参照するとわかるように、変化領域Ｒ２の＋Ｘ側端部から−Ｘ方向へＴ隔てた位置の境界線で、変化領域Ｒ２を、画像Ｐ０２に含まれる移動体５０に対応する第１領域Ａ１と、それ以外の第２領域Ａ２とに分割する。
【００６７】
次のステップＳ１０５では、ＣＰＵ３０ａは、背景画像の更新を行う。例えば、差分画像が、図２に示される背景画像としての画像Ｐ１と、図４に示される画像Ｐ２とによって生成された場合には、ステップＳ１０４での判断が否定され、ステップＳ１０５の処理は行われない。この場合には、ＣＰＵ３０ａは、図６に示される画像Ｐ２上の領域Ｆ１を除いた領域を、画像Ｐ１に組み入れて新たな背景画像を生成する。
【００６８】
一方、差分画像が、図７に示される背景画像としての画像Ｐ０１と、図８に示される画像Ｐ０２とによって生成された場合には、ＣＰＵ３０ａは、図１０に示される第１領域Ａ１に相当する画像Ｐ２上の領域を除いた領域を、背景画像としての画像Ｐ０１に組み入れて新たな背景画像を生成する。
【００６９】
次のステップＳ１０６では、ＣＰＵ３０ａは、変化領域或いは変化領域に含まれる第１領域の位置情報を出力する。
【００７０】
例えば、ＣＰＵ３０ａは、図５を参照するとわかるように、変化領域Ｒ１の分割が行われなかった場合には、変化領域Ｒ１の中心の位置座標を検出し、外部へ出力する。また、ＣＰＵ３０ａは、図１０を参照するとわかるように、変化領域Ｒ２の分割が行われた場合には、変化領域Ｒ２に含まれる第１領域Ａ１の中心の位置座標を検出し、外部へ出力する。
【００７１】
以降、ＣＰＵ３０ａは、ステップＳ１０１〜ステップＳ１０６までの処理を繰り返し実行する。
【００７２】
以上説明したように、本第２の実施形態では、変化領域が背景画像としての画像に含まれる領域Ｇ１と、撮像画像としての画像に含まれる移動体５０に対応した領域とで構成される場合に、変化領域が、移動体５０に対応した第１領域Ａ１と、それ以外の第２領域Ａ２に分割される。そして、撮像画像に含まれる移動体に対応した第１領域の位置情報（画像における位置座標）が移動体の位置情報として検出され出力される。
【００７３】
これによれば、移動体が長時間停止することなどにより、背景画像に長時間更新されない特異な領域Ｇ１が存在したとしても、差分画像の変化領域に基づいて、撮像画像に含まれる移動体の位置情報を精度よく検出することができる。
【００７４】
また、本第２の実施形態では、変化領域が、背景画像の特異な領域Ｇ１と、撮像画像としての画像に含まれる移動体５０に対応した領域とで構成される場合に、変化領域が、撮像画像に含まれる移動体５０に対応した第１領域と、それ以外の第２領域に分割される。そして、撮像画像中の第１領域Ａ１に対応する領域以外の部分のみが、背景画像に組み入れられることにより、背景画像の更新が順次行われる。これにより、背景の更新を、複雑な処理を行うことなく実行することが可能となる。
【００７５】
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
【００７６】
例えば、上記各実施形態では、撮像装置２０の視野内を１つの移動体５０のみが移動する場合について説明した。しかしながら、本発明はこれに限定されるものではなく、撮像装置２０の視野内を複数の移動体が移動する場合にも好適である。その場合には、変化領域のサイズ、移動方向に応じて、前後して撮像される画像における複数の変化領域それぞれの紐つけを行う。これにより、複数の移動体の追跡が可能となる。
【００７７】
また、移動体が車両ではない歩行者などである場合には、差分画像から抽出された変化領域のサイズや、変化領域に含まれる第１領域のサイズが、所定のサイズよりも小さくなる。この場合には、当該移動体の追跡を中止することとしてもよい。これにより、視野内の他の移動体を抽出する際にハンドリングするデータ量が少なくなるため、追跡の効率化を図ることができる。
【００７８】
なお、上記各実施形態に係る検出装置３０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
【００７９】
また、第２の実施形態において検出装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
【００８０】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
【００８１】
また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
【００８２】
また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。
【００８３】
なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。
【００８４】
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【産業上の利用可能性】
【００８５】
本発明の移動体追跡装置、移動体追跡方法及びプログラムは、移動体を追跡するのに適している。
【符号の説明】
【００８６】
１０ 移動体追跡装置
２０ 撮像装置
３０ 検出装置
３０ａ ＣＰＵ
３０ｂ 主記憶部
３０ｃ 補助記憶部
３０ｄ 表示部
３０ｅ 入力部
３０ｆ インターフェイス部
３０ｇ システムバス
３１ 記憶部
３２ 差分画像生成部
３３ 変化領域抽出部
３４ 変化領域分割部
３５ 背景画像更新部
３６ 位置検出部
５０ 移動体
６０ ゲート
Ａ１ 第１領域
Ａ２ 第２領域
Ｒ１，Ｒ２，Ｒ３ 変化領域
【技術分野】
【０００１】
本発明は、移動体の追跡装置、移動体の追跡方法及びプログラムに関し、更に詳しくは、撮像手段の視野内を移動する移動体を追跡する移動体の追跡装置、撮像手段の視野内を移動する移動体を追跡するための移動体の追跡方法及びプログラムに関する。
【背景技術】
【０００２】
駐車場の監視システムなどでは、自動車などの移動体を撮像した画像に含まれる移動体を特定し、特定した移動体を追跡することで、実際の移動体の位置及び移動速度などを検出する。この移動体の追跡は、例えば、移動体を連続して撮像することにより得られる複数枚の画像それぞれに含まれる移動体の位置を、時系列的に検出することにより行う。
【０００３】
画像に含まれる移動体の検出は、例えば撮像された画像と、背景画像との差分画像を生成し、この差分画像に含まれる変化領域を抽出することにより行うことが考えられる。この方法では、背景画像に移動体が含まれていない場合には、変化領域は移動体が写り込んだ領域と等価の領域となる。しかしながら、移動体が移動しているときなどには、背景画像と撮像画像の双方に移動体が含まれることがある。また、移動体が長時間停止していた場合には、背景画像の移動体と重なる領域の更新がなされず、背景画像に、周囲の領域と著しく異なる特異な領域が形成されることがある。この状態のときには、差分画像の変化領域に、背景画像の特異な領域等と、撮像画像の移動体が占める領域との双方が含まれることになってしまう。この場合には、例えば特許文献１に開示された方法などにより、差分画像から抽出された変化領域のうちから、移動体が占める領域を抽出する必要がある。
【０００４】
また、差分画像を生成するための背景画像は、移動体が移動する領域の環境の変化に応じて更新する必要がある。このため、背景画像を精度よく更新する技術が種々提案されている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−４３３８３号公報
【特許文献２】特開２００１−１５５１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載のシステムは、差分画像の変化領域のうち、エッジ成分を多く含む領域、又は所定の長さ以上のエッジを所定の本数以上含む領域を、移動体に対応する移動体領域として検出する。そして、撮像画像中の移動体領域に対応した領域以外の領域を、差分画像を生成したときに用いた背景画像に組み入れることで背景画像の更新を行う。この更新された背景画像は次回の差分画像の生成に用いられる。
【０００７】
しかしながら、特許文献１に記載のシステムは、変化領域に現れるエッジを用いて移動体領域を特定するため、移動体の形状などによっては、変化領域から正確に移動体領域を検出することが困難となる場合がある。また、変化領域から正確に移動体領域が検出されなかった場合には、背景画像の更新が正確に行われなくなるという問題も考えられる。
【０００８】
特許文献２に記載の装置は、それぞれの画像ごとに時系列的に記憶された画素値の中から、例えばその値が急峻に変化する画素値を除去し、残りの画素値の時間的な変化を示す近似式を算出する。そして、この近似式を用いて背景画像を生成する。
【０００９】
しかしながら、特許文献２に記載の装置を用いた場合には、背景画像を更新するための処理が複雑になるため、移動体を検出するための処理が煩雑になるという不都合が考えられる。
【００１０】
本発明は、上述の事情の下になされたもので、処理速度を維持しつつ、精度よく移動体を検出することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の移動体の追跡装置は、移動体が移動する移動領域を順次撮像する撮像手段と、移動領域の背景画像と、撮像手段によって撮像された撮像画像との差分画像を生成する差分画像生成手段と、差分画像から移動体が含まれる変化領域を抽出する抽出手段と、変化領域を、移動体の画像を含む第１領域と、第１領域以外の第２領域とに分割する分割手段と、第１領域の位置を検出する検出手段と、撮像画像のうちの、変化領域以外の領域と、第２領域とを、背景画像に組み入れて、背景画像を更新する更新手段と、を備える。
【００１２】
また、分割手段は、移動体が停止した状態から移動を開始した場合に、移動体が停止していたときに抽出手段に抽出された変化領域の、移動体の移動方向の大きさよりも、移動体が移動しているときに抽出手段に抽出された変化領域の、移動体の移動方向の大きさの方が大きい場合に、変化領域を分割することとしてもよい。
【００１３】
また、分割手段は、移動体が停止していたときに検出手段に検出された位置と、抽出手段に抽出された変化領域の位置とから、移動体の移動量と移動方向とを検出し、変化領域を、変化領域の移動方向とは反対の端部から、移動量に応じた量だけずれた位置までの第１領域と、第１領域以外の第２領域とに分割することとしてもよい。
【００１４】
また、分割手段は、変化領域を、移動体の移動方向の端部から、移動体の移動方向とは逆の方向に、移動体が停止していたときに抽出手段に抽出された変化領域の、移動方向の大きさだけ離れた境界で分割することとしてもよい。
【００１５】
上記目的を達成するため、本発明の移動体の追跡方法は、撮像手段に、移動体が移動する移動領域を順次撮像させる工程と、移動領域の背景画像と、撮像手段によって撮像された撮像画像との差分画像を生成する工程と、差分画像から移動体が含まれる変化領域を抽出する工程と、変化領域を、移動体の画像を含む第１領域と、第１領域以外の第２領域とに分割する工程と、第１領域の位置を検出する工程と、撮像画像のうちの、変化領域以外の領域と、第２領域とを、背景画像に組み入れて、背景画像を更新する工程と、を含む。
【００１６】
上記目的を達成するため、本発明のプログラムは、追跡装置の制御手段に、撮像手段に、移動体が移動する移動領域を順次撮像させる手順と、移動領域の背景画像と、撮像手段によって撮像された撮像画像との差分画像を生成する手順と、差分画像から移動体が含まれる変化領域を抽出する手順と、変化領域を、移動体の画像を含む第１領域と、第１領域以外の第２領域とに分割する手順と、第１領域の位置を検出する手順と、撮像画像のうちの、変化領域以外の領域と、第２領域とを、背景画像に組み入れて、背景画像を更新する手順と、を実行させる。
【発明の効果】
【００１７】
本発明によれば、処理速度を維持しつつ、精度よく移動体を検出することができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る移動体追跡装置のブロック図である。
【図２】画像Ｐ１を示す図である。
【図３】画像Ｐ２を示す図（その１）である。
【図４】画像Ｐ２を示す図（その２）である。
【図５】画像Ｄ１を示す図である。
【図６】画像Ｐ２を示す図（その３）である。
【図７】画像Ｐ０１を示す図である。
【図８】画像Ｐ０２を示す図（その１）である。
【図９】画像Ｄ０１を示す図（その１）である。
【図１０】画像Ｄ０１を示す図（その２）である。
【図１１】変化領域の中心間の差を説明するための図である。
【図１２】第２の実施形態に係る移動体追跡装置のブロック図である。
【図１３】移動体追跡装置の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１９】
《第１の実施形態》
以下、本発明の第１の実施形態を、図１〜図１１を参照しつつ説明する。図１は本実施形態にかかる移動体追跡装置１０の概略的な構成を示すブロック図である。移動体追跡装置１０は、例えば撮像装置によって順次撮像される画像に含まれる移動体の位置を検出し、検出した移動体の位置を外部装置などに出力する装置である。この移動体追跡装置１０は、図１に示されるように、撮像装置２０と、撮像装置２０の視野内を移動する移動体の位置を検出し出力する検出装置３０とを有している。
【００２０】
撮像装置２０は、被写体を撮像することにより取得した画像を電気信号に変換して出力するＣＣＤカメラを含んで構成されている。この撮像装置２０は、例えば駐車場などに設置され、視野内を移動する車両などの移動体を含む画像を順次撮像し出力する。
【００２１】
図２は、一例として撮像装置２０によって撮像された画像Ｐ１を示す図である。図２の画像Ｐ１を参照するとわかるように、撮像装置２０は、視野内に駐車場へのゲート６０を含むように配置されている。そして、所定のレートで視野内の移動体を含む画像を順次撮像し出力する。
【００２２】
図１に戻り、検出装置３０は、記憶部３１、差分画像生成部３２、変化領域抽出部３３、変化領域分割部３４、背景画像更新部３５、及び位置検出部３６を含んで構成されている。
【００２３】
記憶部３１は、撮像装置２０から順次出力される画像に関する情報を時系列的に記憶する。
【００２４】
差分画像生成部３２は、背景画像と撮像装置２０よって撮像された画像とに差分処理を施すことにより、差分画像を生成する。例えば、移動体追跡装置１０が起動された後、最初に撮像装置２０から図２に示される移動体５０を含まない画像Ｐ１が記憶部３１に出力され、次に、図３に示される移動体５０を含む画像Ｐ２が記憶部３１に出力された場合には、差分画像生成部３２は、背景画像としての画像Ｐ１と、画像Ｐ２とに差分処理を施し、二値化された差分画像を生成する。
【００２５】
説明の便宜上、図３における移動体５０を、図４に示されるように長方形で示すと、差分画像は、図５に示されるように、画像Ｐ２に含まれる移動体５０に対応した部分が変化領域Ｒ１となった画像Ｄ１のようになる。
【００２６】
差分画像生成部３２は、差分画像の生成が完了すると、この差分画像としての画像Ｄ１を記憶部３１へ保存するとともに、変化領域抽出部３３に対して、差分画像の生成が完了したことを通知する。
【００２７】
図１に戻り、変化領域抽出部３３は、差分画像の生成が完了した旨の通知を受けると、記憶部３１に記憶された差分画像としての画像Ｄ１から、変化領域Ｒ１を抽出する。
【００２８】
背景画像更新部３５は、背景画像に、撮像画像から変化領域Ｒ１に対応した領域を除いた領域を組み入れることにより、背景画像を更新する。
【００２９】
例えば、背景画像更新部３５は、図６を参照するとわかるように、画像Ｐ２から、画像Ｄ１の変化領域Ｒ１に対応した領域Ｆ１を除外し、残りの領域を画像Ｐ１に組み入れて新たな背景画像を生成する。
【００３０】
位置検出部３６は、記憶部３１に記憶された差分画像から、変化領域の位置情報を検出し出力する。例えば差分画像が、図５に示される画像Ｄ１である場合には、位置検出部３６は、変化領域Ｒ１の位置情報を検出し出力する。
【００３１】
上述のように背景画像が更新される場合には、移動体５０が昼夜にかけて停止したままだと、背景画像としての画像Ｐ１は、移動体に対応する領域以外の部分のみが何度も更新される。これにより、背景画像としての画像Ｐ１は、例えば、図７に示される画像Ｐ０１のように、移動体領域に対応する領域Ｇ１が、他の更新された領域に対して、例えば輝度等が著しく異なる特異な領域となる。
【００３２】
このような背景画像としての画像Ｐ０１と、上述の一昼夜停止していた移動体５０が移動を開始した直後に撮像された画像とから差分画像を生成すると、変化領域には、領域Ｇ１に対応する領域と、移動体５０に対応する領域とが混在することとなる。そこで、本実施形態にかかる追跡装置１０は、変化領域から移動体５０に対応する領域を抽出するために、変化領域分割部３４を備えている。以下、背景画像が図７に示される画像Ｐ０１であり、画像Ｐ０１の領域Ｇ１に対応する位置に停止していた移動体５０が移動を開始した直後に撮像された画像が図８に示される画像Ｐ０２である場合の処理について説明する。
【００３３】
差分画像生成部３２は、図７に示される背景画像としての画像Ｐ０１と、図８に示される画像Ｐ０２とに差分処理を施し、図９に示されるような二値化された差分画像としての画像Ｄ０１を生成する。この画像Ｄ０１の変化領域Ｒ２には、背景画像としての画像Ｐ０１に含まれる領域Ｇ１に対応した部分と、画像Ｐ０２に含まれる移動体５０に対応した部分とが含まれる。
【００３４】
差分画像生成部３２は、差分画像の生成が完了すると、この差分画像としての画像Ｄ０１を記憶部３１へ保存するとともに、変化領域抽出部３３に対して、差分画像の生成が完了したことを通知する。
【００３５】
図１に戻り、変化領域抽出部３３は、差分画像の生成が完了した旨の通知を受けると、記憶部３１に記憶された差分画像としての画像Ｄ０１から、変化領域Ｒ２を抽出する。変化領域Ｒ２は、背景画像としての画像Ｐ０１に含まれる領域Ｇ１と、画像Ｐ０２に含まれる移動体５０の双方に対応する領域である。このため、停止していた移動体５０が＋Ｘ方向へ移動したときの距離をαとすると、変化領域Ｒ２のＸ軸方向の大きさはＴ＋α（≧Ｔ）となる。変化領域抽出部３３は、例えば背景画像としての画像Ｐ０１に含まれる領域Ｇ１と、変化領域Ｒ２とのサイズが異なる場合に、変化領域に関する情報を変化領域分割部３４へ出力する。
【００３６】
変化領域分割部３４は、変化領域抽出部３３によって抽出された変化領域を、撮像された画像に含まれる移動体に対応する第１領域と、それ以外の第２領域に分割する。
【００３７】
例えば、変化領域分割部３４は、図５に示される画像Ｄ１に含まれる、移動体５０のみに対応する変化領域Ｒ１のＸ軸方向の大きさと、図９に示される画像Ｄ０１に含まれる、変化領域Ｒ２のＸ軸方向の大きさとを比較する。そして、変化領域Ｒ１の大きさよりも、変化領域Ｒ２の大きさの方が大きい場合に、変化領域Ｒ２の分割を行う。
【００３８】
変化領域Ｒ１のＸ軸方向の大きさをＴとし、停止位置からの移動体５０の移動量をα（≧０）とすると、変化領域Ｒ２のＸ軸方向の大きさはＴ＋αとなる。変化領域分割部３４は、αが０より大きくなった場合、すなわち移動体が移動を開始した場合に、変化領域Ｒ２を、移動体５０の移動方向の端からＴ隔てた境界で分割する。
【００３９】
具体的には、変化領域Ｒ２の分割は、図１０を参照するとわかるように、変化領域Ｒ２の＋Ｘ側端部から−Ｘ方向へＴ隔てた位置の境界線で、変化領域Ｒ２を、画像Ｐ０２に含まれる移動体５０に対応する第１領域Ａ１と、それ以外の第２領域Ａ２とに分割する。なお、図１１を参照するとわかるように、移動体５０の移動方向は、例えば画像Ｄ０１の変化領域Ｒ２の中心の位置座標と、画像Ｄ０１の１フレーム前に生成された差分画像としての画像Ｄ０２の変化領域Ｒ３との位置座標との差Ａに基づいて検出することができる。
【００４０】
変化領域分割部３４は、変化領域を第１領域Ａ１と第２領域Ａ２に分割すると、第１領域Ａ１と第２領域Ａ２とに関する情報を背景画像更新部３５に出力する。
【００４１】
図１に戻り、背景画像更新部３５は、背景画像に、撮像画像から第１領域以外の領域を除いた領域を組み入れることにより、背景画像を更新する。
【００４２】
例えば、差分画像が、図７に示される背景画像としての画像Ｐ０１と、図８に示される画像Ｐ０２とによって生成された場合には、図８に示される画像Ｐ０２から、図１０の第１領域Ａ１に対応する領域を除いた領域を、画像Ｐ０１に組み入れて新たな背景画像を生成する。背景画像更新部３５は、新たに生成した背景画像を以降の差分処理を行う画像として、記憶部３１へ保存する。
【００４３】
位置検出部３６は、図１０を参照するとわかるように、変化領域Ｒ２の分割が行われた場合に、変化領域Ｒ２に含まれる第１領域Ａ１の中心の位置座標を検出し、外部へ出力する。
【００４４】
以上説明したように、本第１の実施形態では、変化領域が、背景画像としての画像に含まれる領域Ｇ１と、撮像画像としての画像に含まれる移動体５０に対応した領域とで構成される場合に、変化領域が、移動体５０に対応した第１領域Ａ１と、それ以外の第２領域Ａ２に分割される。そして、撮像画像に含まれる移動体に対応した第１領域の位置情報（画像における位置座標）が移動体の位置情報として検出され出力される。
【００４５】
これによれば、移動体が長時間停止することなどにより、背景画像に長時間更新されない特異な領域Ｇ１が存在したとしても、差分画像の変化領域に基づいて、撮像画像に含まれる移動体の位置情報を精度よく検出することができる。
【００４６】
また、本第１の実施形態では、変化領域が、背景画像の特異な領域Ｇ１と、撮像画像としての画像に含まれる移動体５０に対応した領域とで構成される場合に、変化領域が、撮像画像に含まれる移動体５０に対応した第１領域と、それ以外の第２領域に分割される。そして、撮像画像中の第１領域Ａ１に対応する領域以外の部分のみが、背景画像に組み入れられることにより、背景画像の更新が順次行われる。これにより、背景の更新を、複雑な処理を行うことなく実行することが可能となる。
【００４７】
なお、本第１の実施形態では、変化領域分割部３４は、変化領域Ｒ２の＋Ｘ側端部から−Ｘ方向へＴ隔てた位置の境界線で、変化領域Ｒ２を、移動体５０に対応する第１領域Ａ１と、それ以外の第２領域Ａ２とに分割した。しかしながら、本発明はこれに限定されるものではなく、例えば、図１１を参照するとわかるように、画像Ｄ０１の変化領域Ｒ２の中心の位置座標と、画像Ｄ０１の１フレーム前に生成された差分画像としての画像Ｄ０２の変化領域Ｒ３との位置座標との差Ａを算出し、変化領域Ｒ２の−Ｘ側端から、差Ａによって決定される量だけ＋Ｘ側にずれた境界によって、変化領域Ｒ２を第１領域Ａ１と第２領域Ａ２とに分割してもよい。
【００４８】
《第２の実施形態》
次に、本発明の第２の実施形態を、図１２及び図１３を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
【００４９】
本実施形態にかかる移動体追跡装置１０は、検出装置３０が、一般的なコンピュータ、又はワークステーションなどの装置と同様の構成によって実現されている点で、第１の実施形態にかかる移動体追跡装置１０と相違している。
【００５０】
図１２は、移動体追跡装置１０の物理的な構成を示すブロック図である。図１２に示されるように、移動体追跡装置１０は、撮像装置２０と、コンピュータからなる検出装置３０とから構成されている。
【００５１】
検出装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
【００５２】
ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、撮像装置２０によって撮像された画像に対して、後述する画像処理を実行する。
【００５３】
主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
【００５４】
補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、撮像装置２０から出力される画像情報、及びＣＰＵ３０ａによる処理結果などを含む情報を順次記憶する。
【００５５】
表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。本実施形態では、撮像装置２０によって撮像された画像に対する処理が実行されるごとに、その処理結果としての画像などが表示される。
【００５６】
入力部３０ｅは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
【００５７】
インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮像装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
【００５８】
図１３のフローチャートは、ＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図１３を参照しつつ、検出装置３０が実行する処理について説明する。なお、この処理は、移動体追跡装置１０の電源が投入された後に、ＣＰＵ３０ａが、補助記憶部３０ｃから読み出したプログラムに従って、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、インターフェイス部３０ｆを統括的に制御することにより実現される。前提として、補助記憶部には、背景画像が予め保存されているものとする。
【００５９】
まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、撮像装置２０から出力された画像と、補助記憶部３０ｃに保存された背景画像の差分画像を生成する。
【００６０】
例えば、背景画像が図２に示される画像Ｐ１であり、撮像装置２０から図４に示される移動体５０を含む画像Ｐ２が出力された場合には、ＣＰＵ３０ａは、背景画像としての画像Ｐ１と、画像Ｐ２とに差分処理を施し、図５に示される画像Ｄ１を生成する。一方、背景画像が図７に示される画像Ｐ０１であり、撮像装置２０から、例えば図８に示される移動体５０を含む画像Ｐ０２が出力された場合には、ＣＰＵ３０ａは、背景画像としての画像Ｐ０１と、画像Ｐ０２とに差分処理を施し、図９に示される画像Ｄ０１を生成する。
【００６１】
次のステップＳ１０２では、ＣＰＵ３０ａは、差分画像から、変化領域を抽出する。例えば、差分画像が図５に示される画像Ｄ１である場合には、ＣＰＵ３０ａは、画像Ｄ１から変化領域Ｒ１を抽出する。また、差分画像が図９に示される画像Ｄ０１である場合には、ＣＰＵ３０ａは、画像Ｄ０１から変化領域Ｒ２を抽出する。
【００６２】
次のステップＳ１０３では、ＣＰＵ３０ａは、変化領域の大きさがＴより大きいか否かを判断する。
【００６３】
図５に示される変化領域Ｒ１は、撮像画像Ｐ１に含まれる移動体５０にのみ対応する領域である。このため、変化領域Ｒ１の、移動体５０の移動方向となるＸ軸方向の大きさは、移動体５０の移動方向の大きさ（Ｘ軸方向の大きさ）に等しいＴとなる。また、図９に示される変化領域Ｒ２は、図７に示される背景画像としての画像Ｐ０１に含まれる領域Ｇ１と、図８に示される画像Ｐ０２に含まれる、移動を開始した移動体５０の双方に対応する領域である。この場合は、変化領域Ｒ２の大きさはＴ＋αとなる。
【００６４】
したがって、ステップＳ１０２で抽出された変化領域が変化領域Ｒ１である場合は、ここでの判断は否定され、ＣＰＵ３０ａは、ステップＳ１０５へ移行する。一方、ステップＳ１０２で抽出された変化領域が変化領域Ｒ２である場合は、ここでの判断は肯定され、ＣＰＵ３０ａは、次のステップＳ１０４へ移行する。
【００６５】
次のステップＳ１０４では、ＣＰＵ３０ａは、抽出した変化領域を、撮像された画像に含まれる移動体に対応する第１領域と、それ以外の第２領域に分割する。
【００６６】
例えば、ＣＰＵ３０ａは、図１０を参照するとわかるように、変化領域Ｒ２の＋Ｘ側端部から−Ｘ方向へＴ隔てた位置の境界線で、変化領域Ｒ２を、画像Ｐ０２に含まれる移動体５０に対応する第１領域Ａ１と、それ以外の第２領域Ａ２とに分割する。
【００６７】
次のステップＳ１０５では、ＣＰＵ３０ａは、背景画像の更新を行う。例えば、差分画像が、図２に示される背景画像としての画像Ｐ１と、図４に示される画像Ｐ２とによって生成された場合には、ステップＳ１０４での判断が否定され、ステップＳ１０５の処理は行われない。この場合には、ＣＰＵ３０ａは、図６に示される画像Ｐ２上の領域Ｆ１を除いた領域を、画像Ｐ１に組み入れて新たな背景画像を生成する。
【００６８】
一方、差分画像が、図７に示される背景画像としての画像Ｐ０１と、図８に示される画像Ｐ０２とによって生成された場合には、ＣＰＵ３０ａは、図１０に示される第１領域Ａ１に相当する画像Ｐ２上の領域を除いた領域を、背景画像としての画像Ｐ０１に組み入れて新たな背景画像を生成する。
【００６９】
次のステップＳ１０６では、ＣＰＵ３０ａは、変化領域或いは変化領域に含まれる第１領域の位置情報を出力する。
【００７０】
例えば、ＣＰＵ３０ａは、図５を参照するとわかるように、変化領域Ｒ１の分割が行われなかった場合には、変化領域Ｒ１の中心の位置座標を検出し、外部へ出力する。また、ＣＰＵ３０ａは、図１０を参照するとわかるように、変化領域Ｒ２の分割が行われた場合には、変化領域Ｒ２に含まれる第１領域Ａ１の中心の位置座標を検出し、外部へ出力する。
【００７１】
以降、ＣＰＵ３０ａは、ステップＳ１０１〜ステップＳ１０６までの処理を繰り返し実行する。
【００７２】
以上説明したように、本第２の実施形態では、変化領域が背景画像としての画像に含まれる領域Ｇ１と、撮像画像としての画像に含まれる移動体５０に対応した領域とで構成される場合に、変化領域が、移動体５０に対応した第１領域Ａ１と、それ以外の第２領域Ａ２に分割される。そして、撮像画像に含まれる移動体に対応した第１領域の位置情報（画像における位置座標）が移動体の位置情報として検出され出力される。
【００７３】
これによれば、移動体が長時間停止することなどにより、背景画像に長時間更新されない特異な領域Ｇ１が存在したとしても、差分画像の変化領域に基づいて、撮像画像に含まれる移動体の位置情報を精度よく検出することができる。
【００７４】
また、本第２の実施形態では、変化領域が、背景画像の特異な領域Ｇ１と、撮像画像としての画像に含まれる移動体５０に対応した領域とで構成される場合に、変化領域が、撮像画像に含まれる移動体５０に対応した第１領域と、それ以外の第２領域に分割される。そして、撮像画像中の第１領域Ａ１に対応する領域以外の部分のみが、背景画像に組み入れられることにより、背景画像の更新が順次行われる。これにより、背景の更新を、複雑な処理を行うことなく実行することが可能となる。
【００７５】
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
【００７６】
例えば、上記各実施形態では、撮像装置２０の視野内を１つの移動体５０のみが移動する場合について説明した。しかしながら、本発明はこれに限定されるものではなく、撮像装置２０の視野内を複数の移動体が移動する場合にも好適である。その場合には、変化領域のサイズ、移動方向に応じて、前後して撮像される画像における複数の変化領域それぞれの紐つけを行う。これにより、複数の移動体の追跡が可能となる。
【００７７】
また、移動体が車両ではない歩行者などである場合には、差分画像から抽出された変化領域のサイズや、変化領域に含まれる第１領域のサイズが、所定のサイズよりも小さくなる。この場合には、当該移動体の追跡を中止することとしてもよい。これにより、視野内の他の移動体を抽出する際にハンドリングするデータ量が少なくなるため、追跡の効率化を図ることができる。
【００７８】
なお、上記各実施形態に係る検出装置３０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
【００７９】
また、第２の実施形態において検出装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
【００８０】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
【００８１】
また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
【００８２】
また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。
【００８３】
なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。
【００８４】
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【産業上の利用可能性】
【００８５】
本発明の移動体追跡装置、移動体追跡方法及びプログラムは、移動体を追跡するのに適している。
【符号の説明】
【００８６】
１０ 移動体追跡装置
２０ 撮像装置
３０ 検出装置
３０ａ ＣＰＵ
３０ｂ 主記憶部
３０ｃ 補助記憶部
３０ｄ 表示部
３０ｅ 入力部
３０ｆ インターフェイス部
３０ｇ システムバス
３１ 記憶部
３２ 差分画像生成部
３３ 変化領域抽出部
３４ 変化領域分割部
３５ 背景画像更新部
３６ 位置検出部
５０ 移動体
６０ ゲート
Ａ１ 第１領域
Ａ２ 第２領域
Ｒ１，Ｒ２，Ｒ３ 変化領域
【特許請求の範囲】
【請求項１】
移動体が移動する移動領域を順次撮像する撮像手段と、
前記移動領域の背景画像と、前記撮像手段によって撮像された撮像画像との差分画像を生成する差分画像生成手段と、
前記差分画像から前記移動体が含まれる変化領域を抽出する抽出手段と、
前記変化領域を、前記移動体の画像を含む第１領域と、前記第１領域以外の第２領域とに分割する分割手段と、
前記第１領域の位置を検出する検出手段と、
前記撮像画像のうちの、前記変化領域以外の領域と、前記第２領域とを、前記背景画像に組み入れて、前記背景画像を更新する更新手段と、
を備える移動体の追跡装置。
【請求項２】
前記分割手段は、
前記移動体が停止した状態から移動を開始した場合に、
前記移動体が停止していたときに前記抽出手段に抽出された前記変化領域の、前記移動体の移動方向の大きさよりも、
前記移動体が移動しているときに前記抽出手段に抽出された前記変化領域の、前記移動体の移動方向の大きさの方が大きい場合に、前記変化領域を分割する請求項１に記載の追跡装置。
【請求項３】
前記分割手段は、
前記移動体が停止していたときに前記検出手段に検出された位置と、前記抽出手段に抽出された前記変化領域の位置とから、前記移動体の移動量と移動方向とを検出し、
前記変化領域を、該変化領域の前記移動方向とは反対の端部から、前記移動量に応じた量だけずれた位置までの前記第１領域と、前記第１領域以外の前記第２領域とに分割する請求項２に記載の追跡装置。
【請求項４】
前記分割手段は、前記変化領域を、前記移動体の移動方向の端部から、前記移動体の移動方向とは逆の方向に、前記移動体が停止していたときに前記抽出手段に抽出された前記変化領域の、前記移動方向の大きさだけ離れた境界で分割する請求項１又は２に記載の追跡装置。
【請求項５】
撮像手段に、移動体が移動する移動領域を順次撮像させる工程と、
前記移動領域の背景画像と、撮像手段によって撮像された撮像画像との差分画像を生成する工程と、
前記差分画像から前記移動体が含まれる変化領域を抽出する工程と、
前記変化領域を、前記移動体の画像を含む第１領域と、前記第１領域以外の第２領域とに分割する工程と、
前記第１領域の位置を検出する工程と、
前記撮像画像のうちの、前記変化領域以外の領域と、前記第２領域とを、前記背景画像に組み入れて、前記背景画像を更新する工程と、
を含む移動体の追跡方法。
【請求項６】
追跡装置の制御手段に、
撮像手段に、移動体が移動する移動領域を順次撮像させる手順と、
前記移動領域の背景画像と、撮像手段によって撮像された撮像画像との差分画像を生成する手順と、
前記差分画像から前記移動体が含まれる変化領域を抽出する手順と、
前記変化領域を、前記移動体の画像を含む第１領域と、前記第１領域以外の第２領域とに分割する手順と、
前記第１領域の位置を検出する手順と、
前記撮像画像のうちの、前記変化領域以外の領域と、前記第２領域とを、前記背景画像に組み入れて、前記背景画像を更新する手順と、
を実行させるためのプログラム。
【請求項１】
移動体が移動する移動領域を順次撮像する撮像手段と、
前記移動領域の背景画像と、前記撮像手段によって撮像された撮像画像との差分画像を生成する差分画像生成手段と、
前記差分画像から前記移動体が含まれる変化領域を抽出する抽出手段と、
前記変化領域を、前記移動体の画像を含む第１領域と、前記第１領域以外の第２領域とに分割する分割手段と、
前記第１領域の位置を検出する検出手段と、
前記撮像画像のうちの、前記変化領域以外の領域と、前記第２領域とを、前記背景画像に組み入れて、前記背景画像を更新する更新手段と、
を備える移動体の追跡装置。
【請求項２】
前記分割手段は、
前記移動体が停止した状態から移動を開始した場合に、
前記移動体が停止していたときに前記抽出手段に抽出された前記変化領域の、前記移動体の移動方向の大きさよりも、
前記移動体が移動しているときに前記抽出手段に抽出された前記変化領域の、前記移動体の移動方向の大きさの方が大きい場合に、前記変化領域を分割する請求項１に記載の追跡装置。
【請求項３】
前記分割手段は、
前記移動体が停止していたときに前記検出手段に検出された位置と、前記抽出手段に抽出された前記変化領域の位置とから、前記移動体の移動量と移動方向とを検出し、
前記変化領域を、該変化領域の前記移動方向とは反対の端部から、前記移動量に応じた量だけずれた位置までの前記第１領域と、前記第１領域以外の前記第２領域とに分割する請求項２に記載の追跡装置。
【請求項４】
前記分割手段は、前記変化領域を、前記移動体の移動方向の端部から、前記移動体の移動方向とは逆の方向に、前記移動体が停止していたときに前記抽出手段に抽出された前記変化領域の、前記移動方向の大きさだけ離れた境界で分割する請求項１又は２に記載の追跡装置。
【請求項５】
撮像手段に、移動体が移動する移動領域を順次撮像させる工程と、
前記移動領域の背景画像と、撮像手段によって撮像された撮像画像との差分画像を生成する工程と、
前記差分画像から前記移動体が含まれる変化領域を抽出する工程と、
前記変化領域を、前記移動体の画像を含む第１領域と、前記第１領域以外の第２領域とに分割する工程と、
前記第１領域の位置を検出する工程と、
前記撮像画像のうちの、前記変化領域以外の領域と、前記第２領域とを、前記背景画像に組み入れて、前記背景画像を更新する工程と、
を含む移動体の追跡方法。
【請求項６】
追跡装置の制御手段に、
撮像手段に、移動体が移動する移動領域を順次撮像させる手順と、
前記移動領域の背景画像と、撮像手段によって撮像された撮像画像との差分画像を生成する手順と、
前記差分画像から前記移動体が含まれる変化領域を抽出する手順と、
前記変化領域を、前記移動体の画像を含む第１領域と、前記第１領域以外の第２領域とに分割する手順と、
前記第１領域の位置を検出する手順と、
前記撮像画像のうちの、前記変化領域以外の領域と、前記第２領域とを、前記背景画像に組み入れて、前記背景画像を更新する手順と、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２８５８９（Ｐ２０１１−２８５８９Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７４８０４（Ｐ２００９−１７４８０４）
【出願日】平成２１年７月２７日（２００９．７．２７）
【出願人】（３９６００４９８１）セイコープレシジョン株式会社 (481)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２７日（２００９．７．２７）
【出願人】（３９６００４９８１）セイコープレシジョン株式会社 (481)
【Ｆターム（参考）】
[ Back to top ]