移動体追跡装置、移動体追跡方法及びプログラム
【課題】画面上を移動する移動体を連続的に精度よく追跡する。
【解決手段】移動体によって形成された撮像装置２０の死角に移動体が進入した場合に、画像上に消失した移動体に対応する不可視領域を含んで構成される移動体領域を設定する。そして、この移動体領域に基づいて移動体の検出を行う。したがって、移動体が撮像装置２０の死角から出現することで、移動体の画像が画像上に現れた場合には、新たに画面上に現れた移動体と認識することなく、継続して移動体の位置検出を行うことができる。つまり、移動体が死角に進入して画像上から消失したとしても、再度画像上に現れた移動体を、同一性を喪失することなく継続的に検出し、追跡することができる。
【解決手段】移動体によって形成された撮像装置２０の死角に移動体が進入した場合に、画像上に消失した移動体に対応する不可視領域を含んで構成される移動体領域を設定する。そして、この移動体領域に基づいて移動体の検出を行う。したがって、移動体が撮像装置２０の死角から出現することで、移動体の画像が画像上に現れた場合には、新たに画面上に現れた移動体と認識することなく、継続して移動体の位置検出を行うことができる。つまり、移動体が死角に進入して画像上から消失したとしても、再度画像上に現れた移動体を、同一性を喪失することなく継続的に検出し、追跡することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体追跡装置、移動体追跡方法及びプログラムに関し、更に詳しくは、撮像手段の視野内を移動する移動体を追跡する移動体追跡装置、撮像手段の視野内を移動する移動体を追跡するための移動体追跡方法及びプログラムに関する。
【背景技術】
【０００２】
駐車場の監視システムなどでは、自動車などの移動体を撮影した画像に含まれる移動体の画像を特定し、特定した移動体の画像を追跡することで、実際の移動体の位置及び移動速度などを検出する。この移動体の追跡は、例えば、移動体を連続して撮像することにより得られる複数枚の画像それぞれにおける移動体の位置を、時系列的に検出することにより行う。
【０００３】
この種の監視システムでは、移動体が監視カメラの死角などに移動することによって、移動体の画像が画面上から消失してしまうと、移動体の追跡が困難となる。そこで、移動体の追跡を継続して安定的に行うための技術が種々提案されている（例えば特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５０９８９号公報
【特許文献２】特開２００７−２７２４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術は、移動する移動体の画像上に特徴点を設定し、この特徴点が画像上に存在する可能性を考慮しつつ、画像上に現れる特徴点の位置を時系列的に検出することで、移動体の追跡を行う技術である。また、特許文献２に記載の技術は、移動する移動体の動作を移動体の尤度モデルを用いて予測しながら、移動体の追跡を行う技術である。
【０００６】
しかしながら、特許文献１及び特許文献２の技術を用いた追跡では、追跡する移動体がカメラの死角に進入することで画像上から一旦消失した後に、移動体が死角から出現して画像上に再び現れた場合には、消失した移動体と出現した移動体の同一性が失われる。
【０００７】
このため、画面上から移動体が消失し再び現れるまでに長時間を要し、移動体の周囲環境が、例えば昼から夜に変わるなど変化してしまった場合には、画面上に再度現れた移動体を認識することができなくなるか、又は別の移動体を追跡すべき移動体として誤認識してしまうおそれがある。
【０００８】
本発明は、上述の事情の下になされたもので、画面上を移動する移動体を連続的に精度よく追跡することをその目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の移動体追跡装置は、撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する移動体領域設定手段と、前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する不確定領域設定手段と、前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する移動体領域特定手段と、前記移動体領域特定手段によって特定された結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する不可視領域設定手段と、前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する移動体領域検出手段と、を備える。
【００１０】
また、前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
【００１１】
また、前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
【００１２】
上記目的を達成するため、本発明の移動体追跡方法は、撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する工程と、前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する工程と、前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する工程と、前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する工程と、前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する工程と、を含む。
【００１３】
また、前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
【００１４】
前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
【００１５】
上記目的を達成するため、本発明のプログラムは、コンピュータに、撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する手順と、前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する手順と、前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する手順と、前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する手順と、前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する手順と、を実行させる。
【発明の効果】
【００１６】
本発明によれば、画面上を移動する移動体を連続的に精度よく追跡することができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態に係る移動体追跡装置のブロック図である。
【図２】画像Ｐを示す図である。
【図３】画像Ｐ１を示す図である。
【図４】画像Ｐ２を示す図である。
【図５】画像Ｐ３を示す図（その１）である。
【図６】画像Ｐ３を示す図（その２）である。
【図７】画像Ｐ４を示す図である。
【図８】画像Ｐ５を示す図である。
【図９】画像Ｐ６を示す図である。
【図１０】画像Ｐ７を示す図である。
【図１１】第２の実施形態に係る移動体追跡装置のブロック図である。
【図１２】補助記憶部の記憶領域を概念的に示す図である。
【図１３】移動体追跡装置の動作を説明するためのフローチャートである。
【図１４】移動体追跡装置の応用例を説明するための図（その１）である。
【図１５】移動体追跡装置の応用例を説明するための図（その２）である。
【発明を実施するための形態】
【００１８】
《第１の実施形態》
以下、本発明の第１の実施形態を、図１〜図１０を参照しつつ説明する。図１は本実施形態にかかる移動体追跡装置１０の概略的な構成を示すブロック図である。移動体追跡装置１０は、例えば撮像装置によって順次撮像される画像に含まれる移動体の位置を検出し、検出した移動体の位置を外部装置などに出力する装置である。この移動体追跡装置１０は、図１に示されるように、撮像装置２０、撮像装置２０の視野内を移動する移動体の位置を検出し出力する検出装置３０を有している。
【００１９】
撮像装置２０は、被写体を撮像することにより取得した画像を電気信号に変換して出力するＣＣＤカメラを含んで構成されている。この撮像装置２０は、例えば駐車場などに設置され、視野内を移動する車両などの移動体を含む画像を順次撮像し出力する。
【００２０】
図２は、一例として撮像装置２０によって撮像された画像Ｐを示す図である。図２の画像Ｐを参照するとわかるように、撮像装置２０は、視野内に駐車場へのゲート６０を含むように配置されている。そして、所定のレートで視野内の移動体を含む画像を撮像し順次出力する。
【００２１】
図１に戻り、検出装置３０は、記憶部３１、移動体領域設定部３２、不確定領域設定部３３、移動体領域特定部３４、不可視領域設定部３５、及び移動体領域検出部３６を含んで構成されている。
【００２２】
記憶部３１は、撮像装置２０から順次出力される画像に関する情報を時系列的に記憶する。
【００２３】
移動体領域設定部３２は、撮像装置２０によって撮像された画像に写り込んだ移動体を含む移動体領域を設定する。具体的には、移動体領域設定部３２は、ゲート６０を通過した移動体の画像を検出し、検出した移動体の画像が占める領域の大きさに基づいて、ゲート６０を通過した移動体が車両であるか、又は歩行者であるかを判断する。そして、ゲート６０を通過した移動体が車両であると判断した場合に、当該車両を含む領域を移動体領域として画像上に設定する。また、移動体領域設定部３２は、ある移動体について移動体領域を設定した後は、設定した移動体領域に含まれる画像をテンプレートとして用いて、撮像装置２０から順次出力される画像に含まれる移動体の画像を検出する。そして、検出した移動体の画像を含む移動体領域を画像ごとに設定する。
【００２４】
例えば図３に示される画像Ｐ１については、移動体領域設定部３２は、ゲート６０を通過してゲート６０の近傍を走行する移動体５１の画像を検出し、移動体５１の画像よりもやや大きい長方形状の移動体領域Ａ１を設定する。
【００２５】
また、例えば図４に示される画像Ｐ２については、移動体領域設定部３２は、ゲート６０を通過してゲート６０の近傍を走行する移動体５２の画像を検出し、移動体５２の画像よりもやや大きい長方形状の移動体領域Ａ２を設定する。次に、移動体領域設定部３２は、画像Ｐ１に設定された移動体領域Ａ１に含まれる画像をテンプレートとして用いるマッチング処理を実行することにより、画像Ｐ２に含まれる移動体５１を検出する。そして、この移動体５１を含む移動体領域Ａ１を画像Ｐ２に設定する。
【００２６】
移動体領域設定部３２は、撮像装置２０から順次出力される画像について、上述した処理を画像ごとに順次実行し、撮像装置２０からの画像について、移動体ごとに移動体領域Ａｍを設定する。なお、ｍは１以上の整数である。
【００２７】
また、移動体領域設定部３２は、ある移動体によって形成される撮像装置２０の死角に別の移動体の大部分が進入した場合には、撮像装置２０からの画像に含まれる移動体をマッチング処理によって検出することができない。このため、移動体領域設定部３２は、異なる移動体領域が重なり、重複した領域が移動体領域の大きさに比べてある程度大きくなった場合には、異なる移動体領域の重複が生じたことを、不確定領域設定部３３に通知する。
【００２８】
例えば、図５に示される画像Ｐ３については、移動体５２の大部分が移動体５１によって形成された死角に進入し、移動体領域Ａ１と移動体領域Ａ２とは相互に重複している。このような場合に、移動体領域設定部３２は、移動体領域Ａ１と移動体領Ａ２とが重複したことを不確定領域設定部３３に通知する。
【００２９】
不確定領域設定部３３は、異なる移動体領域が重複した場合に、それぞれの移動体領域が重複する領域を不確定領域と設定する。例えば、図４に示される画像Ｐ２を参照するとわかるように、移動体５２が停止している移動体５１に向かって走行し、移動体５１の紙面奥側（＋Ｙ側）を走行する場合には、図５に示される画像Ｐ３を参照するとわかるように、移動体領域Ａ１と移動体領域Ａ２とが画面上で重複する。不確定領域設定部３３は、図５に示されるように、移動体領域Ａ１と移動体領域Ａ２とが重なって重複した場合には、重複した領域を不確定領域ＲＡとする。そして、不確定領域ＲＡを設定したことを、移動体領域特定部３４に通知する。
【００３０】
移動体領域特定部３４は、不確定領域ＲＡが属する移動体領域を特定し、その特定結果を不可視領域設定部３５に通知する。例えば、図５に示される画像Ｐ３では、不確定領域ＲＡを含む移動体領域Ａ１、及び不確定領域ＲＡを含む移動体領域Ａ２について、例えば画像Ｐ１に設定された移動体領域Ａ１に含まれる画像及び移動体領域Ａ２に含まれる画像をそれぞれテンプレートとして用いたマッチング処理を行う。そして、移動体領域Ａ１及び移動体領域Ａ２のうちマッチング度合いが高かった方の移動体領域に不確定領域ＲＡが属するものと判断する。この判断は、移動体５１の背後に移動体５２が存在するとの判断と等価である。
【００３１】
例えば、画像Ｐ３は、移動体５１の背後に移動体５２が進入したときに撮像された画像であるため、不確定領域ＲＡに含まれる画像は、移動体領域Ａ１に含まれる画像が支配的となる。したがって、上述のマッチング処理の結果は、移動体領域Ａ１についてのマッチング度合いの方が、移動体領域Ａ２についてのマッチング度合いよりも高いものとなる。この場合には、移動体領域特定部３４は、不確定領域ＲＡが属する移動体領域を移動体領域Ａ１と特定する。そして、この結果を不可視領域設定部３５に通知する。
【００３２】
不可視領域設定部３５は、ある移動体によって形成される撮像装置２０の死角に別の移動体が進入した際に、死角に進入した移動体の移動体領域に、死角を形成する移動体の移動体領域と重複する不可視領域を設定する。
【００３３】
例えば、不可視領域設定部３５は、不確定領域ＲＡが設定された後に、図６を参照するとわかるように、移動体領域Ａ２に、不確定領域ＲＡと重複する不可視領域ａ１と、それ以外の可視領域ａ２とを設定する。
【００３４】
また、不可視領域設定部３５は、図７を参照するとわかるように、移動体５２が完全に移動体５１の奥側（＋Ｙ側）に移動した場合には、例えば画像Ｐ２に設定された移動体領域Ａ２の形状及び大きさを参照して、図７に示される画像Ｐ４に移動体領域Ａ１に重複する不可視領域ａ１からなる移動体領域Ａ２を設定する。
【００３５】
この状態となった後は、移動体５２が、撮像装置２０の死角から出現するまで、撮像装置２０から出力される画像に基づいて移動体５２を検出するのは不可能となる。そこで、不可視領域設定部３５は、移動体５２が死角から出現するまでに撮像装置２０によって撮像され順次出力される画像に対して、例えば図７の画像Ｐ４に示される位置に、不可視領域ａ１からなる移動体領域Ａ２を設定する。この場合に、移動体５２が移動体５１の背後で移動すると、例えば図８の画像Ｐ５を参照するとわかるように、不可視領域ａ１からなる移動体領域Ａ２の位置と、実際に移動体５２が存在する画像Ｐ５上の位置とがずれることとなる。
【００３６】
また、不可視領域設定部３５は、移動体５１によって形成される死角から、移動体５２が出現した際には、移動体領域設定部３２によって設定された移動体領域Ａ２の形状及び大きさを参照して、図９に示される画像Ｐ６に移動体領域Ａ１に重複する不可視領域ａ１と、それ以外の可視領域ａ２とによって規定される移動体領域Ａ２を設定する。
【００３７】
移動体領域検出部３６は、撮像装置２０から順次出力され、移動体領域設定部３２による処理が施されることにより画像上に設定された移動体領域の位置座標を検出し出力する。また、不可視領域設定部３５による処理が施されることにより画像上に設定された不可視領域と可視領域とからなる移動体領域の位置座標を検出し出力する。
【００３８】
例えば、図３に示される画像Ｐ１については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心の、画像Ｐ１上における位置座標を出力する。また、図４に示される画像Ｐ２については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心、及び移動体領域Ａ２の中心それぞれの、画像Ｐ２上における位置座標を出力する。
【００３９】
また、図６に示される画像Ｐ３については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心の、画像Ｐ３上における位置座標を出力する。次に、移動体領域検出部３６は、不可視領域設定部３５によって設定された不可視領域ａ１と可視領域ａ２とからなる移動体領域Ａ２の中心の、画像Ｐ３における位置座標を出力する。
【００４０】
また、図７に示される画像Ｐ４、図８に示される画像Ｐ５については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心の、画像Ｐ４或いは画像Ｐ５における位置座標を出力する。次に、移動体領域検出部３６は、不可視領域設定部３５によって設定された不可視領域ａ１からなる移動体領域Ａ２の中心の、画像Ｐ４或いは画像Ｐ５における位置座標を出力する。
【００４１】
また、図９に示される画像Ｐ６については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心の、画像Ｐ６における位置座標を出力する。次に、移動体領域検出部３６は、不可視領域設定部３５によって設定された不可視領域ａ１と可視領域ａ２とからなる移動体領域Ａ２の中心の、画像Ｐ６における位置座標を出力する。
【００４２】
また、図１０に示される画像Ｐ７については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心、及び移動体領域Ａ２の中心それぞれの、画像Ｐ７における位置座標を出力する。
【００４３】
以上説明したように、本第１の実施形態では、移動体５１によって形成された撮像装置２０の死角に移動体５２が進入し、撮像装置２０によって撮像された画像から追跡対象となる移動体５２が消失したとしても、画像上には消失した移動体５２に対応する不可視領域ａ１を含んで構成される移動体領域Ａ２が設定され、この移動体領域Ａ２に基づいて移動体５２の検出が行われる。したがって、移動体５２が撮像装置２０の死角から出現することで、移動体５２が画像上に再び現れた場合に、新たに画像上に現れた移動体５２を認識する処理を実行することなく、継続して移動体５２の位置検出を行うことができる。つまり、移動体が死角に進入して画像上から消失したとしても、再度画像上に現れた移動体の同一性を喪失することなく、その移動体を継続的に検出し、追跡することができる。
【００４４】
なお、本実施形態においては、移動体領域Ａ１と移動体領域Ａ２とが重複した場合に、移動体領域Ａ２の可視領域ａ２の減少割合に応じて、移動体５２の移動速度を検出し、
また、移動体領域Ａ２の可視領域ａ２の減少方向に応じて、移動体５２の移動方向を検出し、検出結果に基づいて、移動体領域Ａ１から出現する移動体領域Ａ２の位置、及び出現するまでの時間を予測することとしてもよい。これにより、例えば移動体領域Ａ２から複数の領域が出現した場合に、出現した領域が移動体領域Ａ２に属する領域か否かの判断を容易に行うことができる。
【００４５】
また、マッチング処理は、不確定領域ＲＡの面積が小さい段階でマッチング処理を行うと、不確定領域ＲＡがどちらの移動体領域に属するのかに関する判断を間違う可能性がある。このため、移動体領域と不確定領域ＲＡとを比較して、移動体領域に対する不確定領域ＲＡの割合が所定の比率を超えたところで、不可視領域の設定等を実行するのがよい。
【００４６】
マッチング処理を行うのに適した不確定領域ＲＡの面積は、そのときに対象となっている移動体の属性、例えば、移動体の色、輝度、テクスチャなどにより異なる。
【００４７】
例えば、移動体相互間で完全に色が異なる場合には、不確定領域ＲＡの面積が小さい段階でマッチング処理を行っても、正しい結果を得られることが期待できる。一方、移動体相互間で色が近ければ、不確定領域ＲＡの面積が大きくなってからマッチング処理を行わないと、正しい結果が得られない可能性がある。
【００４８】
従って、本実施形態において、移動体領域Ａ１と移動体領域Ａ２との間に不確定領域ＲＡが設定された場合には、対象となる移動体の属性に従った所定の比率に従い、不確定領域ＲＡと移動体領域Ａ１と移動体領域Ａ２の面積がそれぞれを比較される。そして、その割合が所定の比率を超えたところでマッチング処理が実行される。
【００４９】
《第２の実施形態》
次に、本発明の第２の実施形態を、図１１〜図１３を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
【００５０】
本実施形態にかかる移動体追跡装置１０は、検出装置３０が、一般的なコンピュータ、又はワークステーションなどの装置と同様の構成によって実現されている点で、第１の実施形態にかかる移動体追跡装置１０と相違している。
【００５１】
図１１は、移動体追跡装置１０の物理的な構成を示すブロック図である。図１１に示されるように、移動体追跡装置１０は、撮像装置２０、コンピュータからなる検出装置３０から構成されている。
【００５２】
検出装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
【００５３】
ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、撮像装置２０によって撮像された画像に対して、後述する画像処理を実行する。
【００５４】
主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
【００５５】
補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、撮像装置２０から出力される画像情報、及びＣＰＵ３０ａによる処理結果などを含む情報を順次記憶する。図１２は、補助記憶部３０ｃの記憶領域を概念的に示す図である。本実施形態では、補助記憶部３０ｃの記憶領域は少なくとも記憶領域Ｍ１〜Ｍ３に区分され、後述するように、記憶領域Ｍ１には差分画像が保存され、記憶領域Ｍ２には背景画像が保存され、記憶領域Ｍ３には撮像装置２０から出力された画像が保存される。
【００５６】
表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。本実施形態では、撮像装置２０によって撮像された画像に対する処理が実行されるごとに、その処理結果としての画像などが表示される。
【００５７】
入力部３０ｅは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
【００５８】
インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮像装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
【００５９】
図１３のフローチャートは、検出装置３０のＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図１３を参照しつつ、検出装置３０における画像処理について説明する。なお、この画像処理は、ユーザからの開始指令が入力された後に、ＣＰＵ３０ａが、補助記憶部３０ｃから読み出したプログラムに従って、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、インターフェイス部３０ｆを統括的に制御することにより実現される。また、前提として、画像処理が開始された時点では、撮像装置２０の視野内に移動体が存在していないものとする。
【００６０】
まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、撮像装置２０から順次出力されるｍ枚の画像について、画像を構成する画素それぞれの輝度の平均値を算出し、この平均値からなる輝度の画素から構成される画像を生成する。そして、この背景画像を補助記憶部３０ｃの記憶領域Ｍ２へ保存する。また、ＣＰＵ３０ａは、ｍ枚の画像それぞれを補助記憶部３０ｃの記憶領域Ｍ３へ画像１〜画像ｍとして保存する。
【００６１】
次のステップＳ１０２では、ＣＰＵ３０ａは、補助記憶部３０ｃの記憶領域Ｍ３に、既存の画像１〜画像ｎを、それぞれ画像２〜ｎ＋１として保存するとともに、撮像装置２０から新たに出力された画像を画像１として保存する。この場合、画像ｎ＋１についてはクリアすることとしてもよい。
【００６２】
次のステップＳ１０３では、ＣＰＵ３０ａは、撮像装置２０から出力された画像と、補助記憶部３０ｃの記憶領域Ｍ２へ保存された背景画像とについて差分処理を施すことにより差分画像を生成する。そして、補助記憶部３０ｃの記憶領域Ｍ１に既存の差分画像１と差分画像２が保存されている場合には、既存の差分画像２をクリアするとともに、既存の差分画像１を差分画像２として新たに補助記憶部３０ｃの記憶領域Ｍ１へ保存する。そして、生成した差分画像を差分画像１として記憶領域Ｍ１へ保存する。
【００６３】
次のステップＳ１０４では、ＣＰＵ３０ａは、補助記憶部３０ｃの記憶領域Ｍ３に保存された画像１〜画像ｍに基づいて、ステップＳ１０１での処理と同様に背景画像を生成する。そして、この背景画像を補助記憶部３０ｃの記憶領域Ｍ２へ保存する。
【００６４】
次のステップＳ１０５では、ＣＰＵ３０ａは、差分画像１に移動体を構成する画像が存在するか否かを確認する。そして、ここでの判断が否定された場合には、ステップＳ１０２へ戻り、以降ステップＳ１０５での判断が肯定されるまで、ステップＳ１０１〜ステップＳ１０５までの処理を繰り返し実行する。一方、ステップＳ１０５での判断が肯定された場合には、ＣＰＵ３０ａは、ステップＳ１０６へ移行する。
【００６５】
ステップＳ１０６では、ＣＰＵ３０ａは、撮像装置２０の視野内に移動体が進入することで、記録領域Ｍ３に保存された画像１に新たに写り込んだ移動体を含む移動体領域を設定する。
【００６６】
本実施形態では、図２を参照するとわかるように、移動体がゲート６０を通過することにより撮像装置２０の視野内へ進入するように、撮像装置２０の位置が設定されている。ＣＰＵ３０ａは、記憶領域Ｍ３に保存された画像１からゲート６０を通過した移動体の画像を検出し、検出した移動体の画像が占める画像１上の領域の大きさに基づいて、ゲート６０を通過した移動体が車両であるか、又は歩行者であるかを判断する。そして、ゲート６０を通過した移動体が車両であると判断した場合には、当該車両を含む領域を移動体領域として画像１上に設定する。また、ＣＰＵ３０ａは、ある移動体について移動体領域を設定した後は、設定した移動体領域に含まれる画像をテンプレートとして用いて、撮像装置２０から順次出力される画像に含まれる移動体の画像を検出し、検出した移動体の画像を含む移動体領域を画像ごとに設定する。
【００６７】
例えば記録領域Ｍ３に保存された画像１が図３に示される画像Ｐ１である場合には、ＣＰＵ３０ａは、ゲート６０を通過し、ゲート６０の近傍を走行する移動体５１の画像を検出し、移動体５１の画像よりもやや大きい長方形状の移動体領域Ａ１を設定する。
【００６８】
また、例えば記録領域Ｍ３に保存された画像１が図４に示される画像Ｐ２である場合には、ＣＰＵ３０ａは、ゲート６０を通過し、ゲート６０の近傍を走行する移動体５２の画像を検出し、移動体５２の画像よりもやや大きい長方形状の移動体領域Ａ２を設定する。次に、画像Ｐ１に設定された移動体領域Ａ１に含まれる画像をテンプレートとして用いるマッチング処理を実行することにより、画像Ｐ２に含まれる移動体５１を検出し、この移動体５１を含む移動体領域Ａ１を画像Ｐ２に設定する。
【００６９】
また、ＣＰＵ３０ａは、異なる移動体領域が重複した場合には、それぞれの移動体領域が重複する領域を不確定領域と設定する。例えば、図４に示される画像Ｐ２を参照するとわかるように、移動体５２が停止している移動体５１に向かって走行し、移動体５１の紙面奥側（＋Ｙ側）を走行する場合には、図５に示される画像Ｐ３を参照するとわかるように、移動体領域Ａ１と移動体領域Ａ２とが画面上で重複する。ＣＰＵ３０ａは、図５に示されるように、移動体領域Ａ１と移動体領域Ａ２とが重なって重複した場合には、画像１としての画像Ｐ３に、移動体領域Ａ１と移動体領域Ａ２とが重複する不確定領域ＲＡを設定する。
【００７０】
そして、ＣＰＵ３０ａは、不確定領域ＲＡが属する移動体領域を特定する。例えば、図５に示される画像Ｐ３では、不確定領域ＲＡを含む移動体領域Ａ１、及び不確定領域ＲＡを含む移動体領域Ａ２について、例えば画像Ｐ１に設定された移動体領域Ａ１に含まれる画像及び移動体領域Ａ２に含まれる画像をそれぞれテンプレートとして用いたマッチング処理を行う。そして、移動体領域Ａ１及び移動体領域Ａ２のうちマッチング度合いが高かった方の移動体領域に不確定領域ＲＡが属するものと判断する。この判断は、移動体５１の背後に移動体５２が存在するとの判断と等価である。
【００７１】
例えば、画像Ｐ３は、移動体５１の背後に移動体５２が進入したときに撮像された画像であるため、不確定領域ＲＡに含まれる画像は、移動体領域Ａ１に含まれる画像が支配的となる。したがって、上述のマッチング処理の結果は、移動体領域Ａ１についてのマッチング度合いの方が、移動体領域Ａ２についてのマッチング度合いよりも高いものとなる。この場合には、ＣＰＵ３０ａは、不確定領域ＲＡが属する移動体領域を移動体領域Ａ１と特定する。
【００７２】
なお、マッチング処理は、実施例１と同様に不確定領域ＲＡと移動体領域Ａ１と移動体領域Ａ２それぞれの面積の比率に基いて実行される。
【００７３】
次に、ＣＰＵ０３０ａは、ある移動体によって形成される撮像装置２０の死角に別の移動体が進入した際に、死角に進入した移動体の移動体領域に、死角を形成する移動体の移動体領域と重複する不可視領域を設定する。例えば、ＣＰＵ３０ａは、不確定領域ＲＡが設定された後に、図６を参照するとわかるように、移動体領域Ａ２に、不確定領域ＲＡと重複する不可視領域ａ１と、それ以外の可視領域ａ２とを設定する。
【００７４】
また、ＣＰＵ３０ａは、図７を参照するとわかるように、移動体５２が完全に移動体５１の奥側（＋Ｙ側）に移動した場合には、例えば画像Ｐ２に設定された移動体領域Ａ２の形状及び大きさを参照して、図７に示される画像１としての画像Ｐ４に移動体領域Ａ１に重複する不可視領域ａ１からなる移動体領域Ａ２を設定する。
【００７５】
この状態となった後は、移動体５２が、撮像装置２０の死角から出現するまで、撮像装置２０から出力される画像に基づいて移動体５２を検出するのは不可能となる。そこで、ＣＰＵ３０ａは、移動体５２が死角から出現するまでは、画像１に対して、例えば図７に示される位置に、不可視領域ａ１からなる移動体領域Ａ２を設定する。この場合に、移動体５２が移動体５１の背後で移動すると、例えば図８に示されるように、不可視領域ａ１からなる移動体領域Ａ２の位置と、実際に移動体５２が存在する画像Ｐ５上の位置とがずれることとなる。
【００７６】
また、ＣＰＵ３０ａは、移動体５１の死角から移動体５２が出現した際には、移動体領域Ａ２の形状及び大きさを参照して、図９に示される画像Ｐ６に移動体領域Ａ１に重複する不可視領域ａ１と、それ以外の可視領域ａ２とによって規定される移動体領域Ａ２を設定する。
【００７７】
なお、この場合には、記憶領域Ｍ１に保存された差分画像１及び差分画像２に基づいて、可視領域のデータについてフロー法などで移動体の移動方向及び移動量を算出し、この算出結果に基づいて、移動体領域Ａ１から出現した移動体領域が移動体領域Ａ２であると判断してもよい。
【００７８】
次のステップ１０７では、ＣＰＵ３０ａは、画像１に設定された移動体領域の位置座標を検出し出力する。
【００７９】
例えば、記録領域Ｍ３に保存された画像１が図３に示される画像Ｐ１である場合には、ＣＰＵ３０ａは、移動体領域Ａ１の中心の、画像Ｐ１上における位置座標を出力する。また、ＣＰＵ３０ａは、記録領域Ｍ３に保存された画像１が図４に示される画像Ｐ２である場合には、移動体領域Ａ１の中心、及び移動体領域Ａ２の中心それぞれの、画像Ｐ２上における位置座標を出力する。
【００８０】
また、記録領域Ｍ３に保存された画像１が図５に示される画像Ｐ３である場合には、ＣＰＵ３０ａは、移動体領域Ａ１の中心の、画像Ｐ３上における位置座標を出力するとともに、不可視領域ａ１と可視領域ａ２とからなる移動体領域Ａ２の中心の、画像Ｐ３における位置座標を出力する。
【００８１】
また、記録領域Ｍ３に保存された画像１が図７に示される画像Ｐ４、或いは図８に示される画像Ｐ５である場合には、ＣＰＵ３０ａは、移動体領域Ａ１の中心の、画像Ｐ４或いは画像Ｐ５における位置座標を出力するとともに、不可視領域ａ１からなる移動体領域Ａ２の中心の、画像Ｐ４或いは画像Ｐ５における位置座標を出力する。
【００８２】
また、記録領域Ｍ３に保存された画像１が図９に示される画像Ｐ６である場合には、ＣＰＵ３０ａは、移動体領域Ａ１の中心の、画像Ｐ６における位置座標を出力するとともに、不可視領域ａ１と可視領域ａ２とからなる移動体領域Ａ２の中心の、画像Ｐ６における位置座標を出力する。
【００８３】
また、記録領域Ｍ３に保存された画像１が図１０に示される画像Ｐ７である場合には、ＣＰＵ３０ａは、移動体領域Ａ１の中心、及び移動体領域Ａ２の中心それぞれの、画像Ｐ７における位置座標を出力する。
【００８４】
以降、ＣＰＵ３０ａは、ステップＳ１０２〜ステップＳ１０７までの処理を繰り返し実行する。
【００８５】
以上説明したように、本第２の実施形態では、移動体５１によって形成された撮像装置２０の死角に移動体５２が進入し、撮像装置２０によって撮像された画像から追跡対象となる移動体５２が消失したとしても、画像上には消失した移動体５２に対応する不可視領域ａ１を含んで構成される移動体領域Ａ２が設定され、この移動体領域Ａ２に基づいて移動体５２の検出が行われる。したがって、移動体５２が撮像装置２０の死角から出現することで、移動体５２が画像上に再び現れた場合に、新たに画像上に現れた移動体５２を認識する処理を実行することなく、継続して移動体５２の位置検出を行うことができる。つまり、移動体が死角に進入して画像上から消失したとしても、再度画像上に現れた移動体の同一性を喪失することなく、その移動体を継続的に検出し、追跡することができる。
【００８６】
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
【００８７】
例えば、上記各実施形態では、不確定領域が属する移動体を特定する際に、テンプレートマッチング処理を行ったが、これに限らず、不確定領域に含まれる画像の輝度情報、又は色彩情報と、移動体領域に含まれる画像の輝度情報、又は色彩情報との共通性に基づいて、不確定領域が属する移動体を特定してもよい。
【００８８】
また、上記各実施形態では、撮像装置２０の視野内に２つの移動体が存在する場合について説明したが、これに限らず、撮像装置２０の視野内には、３つ以上の移動体が存在していてもよい。撮像装置２０の視野内に複数の移動体が存在するときには、ある移動体によって形成された撮像装置２０の死角に、複数の移動体が進入することが考えられる。この場合には、各移動体の移動体領域について、移動体領域に含まれる画像を構成する画素の輝度情報や色彩情報などを移動体領域ごとに予め認識し、ある移動体領域から出現した領域がどの移動体領域の一部であるかの判別を、予め認識した輝度情報や色彩情報などを用いて行ってもよい。
【００８９】
また、上記各実施形態では、移動体追跡装置１０が１台の撮像装置２０を備えている場合について説明したが、複数台の撮像装置２０を備えていてもよい。この場合には、例えば図１４に示されるように、駐車場など移動体の追跡が必要なエリアを複数の撮像装置２０を用いて監視し、特定の移動体を監視する場合には、特定の移動体を視認できる撮像装置２０を用いて追跡処理を実行することができる。
【００９０】
また、上記各実施形態では１台の移動体追跡装置１０を用いて移動体を追跡する場合について説明したが、これに限らず、一例として図１５に示されるように、例えば監視対象となる駐車場を別々の角度から監視する撮像装置２０を有する複数の移動体追跡装置１０でネットワークを構築してもよい。この場合には、追跡対象となる移動体を視認できる撮像装置２０を用いて追跡処理を実行することができ、さらに、ホストコンピュータ１１の指示に基づいて、情報の共有化を図ることができる。
【００９１】
具体的には、ある撮像装置２０によって追跡されていた移動体が、この撮像装置２０の死角に入った後に、別の撮像装置２０の視野内に出現することが予測される場合には、ホストコンピュータ１１は、追跡対象となる移動体が視野内に出現すると予想される撮像装置２０を有する移動体追跡装置１０に、追跡対象となる移動体の追跡を指示する。これにより、追跡対象となる移動体を同一性を喪失することなく追跡することができる。
【００９２】
なお、上記各実施形態に係る検出装置３０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
【００９３】
また、第２の実施形態において検出装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
【００９４】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
【００９５】
また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
【００９６】
また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。
【００９７】
なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。
【００９８】
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【産業上の利用可能性】
【００９９】
本発明の移動体追跡装置、移動体追跡方法及びプログラムは、移動体を追跡するのに適している。
【符号の説明】
【０１００】
１０ 移動体追跡装置
２０ 撮像装置
３０ 検出装置
３０ａ ＣＰＵ
３０ｂ 主記憶部
３０ｃ 補助記憶部
３０ｄ 表示部
３０ｅ 入力部
３０ｆ インターフェイス部
３０ｇ システムバス
３１ 記憶部
３２ 移動体領域設定部
３３ 不確定領域設定部
３４ 移動体領域特定部
３５ 不可視領域設定部
３６ 移動体領域検出部
５１，５２ 移動体
６０ ゲート
Ａ１，Ａ２ 移動体領域
ａ１ 不可視領域
ａ２ 可視領域
Ｍ１〜Ｍ３ 記憶領域
Ｐ，Ｐ１〜Ｐ７ 画像
【技術分野】
【０００１】
本発明は、移動体追跡装置、移動体追跡方法及びプログラムに関し、更に詳しくは、撮像手段の視野内を移動する移動体を追跡する移動体追跡装置、撮像手段の視野内を移動する移動体を追跡するための移動体追跡方法及びプログラムに関する。
【背景技術】
【０００２】
駐車場の監視システムなどでは、自動車などの移動体を撮影した画像に含まれる移動体の画像を特定し、特定した移動体の画像を追跡することで、実際の移動体の位置及び移動速度などを検出する。この移動体の追跡は、例えば、移動体を連続して撮像することにより得られる複数枚の画像それぞれにおける移動体の位置を、時系列的に検出することにより行う。
【０００３】
この種の監視システムでは、移動体が監視カメラの死角などに移動することによって、移動体の画像が画面上から消失してしまうと、移動体の追跡が困難となる。そこで、移動体の追跡を継続して安定的に行うための技術が種々提案されている（例えば特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５０９８９号公報
【特許文献２】特開２００７−２７２４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術は、移動する移動体の画像上に特徴点を設定し、この特徴点が画像上に存在する可能性を考慮しつつ、画像上に現れる特徴点の位置を時系列的に検出することで、移動体の追跡を行う技術である。また、特許文献２に記載の技術は、移動する移動体の動作を移動体の尤度モデルを用いて予測しながら、移動体の追跡を行う技術である。
【０００６】
しかしながら、特許文献１及び特許文献２の技術を用いた追跡では、追跡する移動体がカメラの死角に進入することで画像上から一旦消失した後に、移動体が死角から出現して画像上に再び現れた場合には、消失した移動体と出現した移動体の同一性が失われる。
【０００７】
このため、画面上から移動体が消失し再び現れるまでに長時間を要し、移動体の周囲環境が、例えば昼から夜に変わるなど変化してしまった場合には、画面上に再度現れた移動体を認識することができなくなるか、又は別の移動体を追跡すべき移動体として誤認識してしまうおそれがある。
【０００８】
本発明は、上述の事情の下になされたもので、画面上を移動する移動体を連続的に精度よく追跡することをその目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の移動体追跡装置は、撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する移動体領域設定手段と、前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する不確定領域設定手段と、前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する移動体領域特定手段と、前記移動体領域特定手段によって特定された結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する不可視領域設定手段と、前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する移動体領域検出手段と、を備える。
【００１０】
また、前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
【００１１】
また、前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
【００１２】
上記目的を達成するため、本発明の移動体追跡方法は、撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する工程と、前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する工程と、前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する工程と、前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する工程と、前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する工程と、を含む。
【００１３】
また、前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
【００１４】
前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
【００１５】
上記目的を達成するため、本発明のプログラムは、コンピュータに、撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する手順と、前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する手順と、前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する手順と、前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する手順と、前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する手順と、を実行させる。
【発明の効果】
【００１６】
本発明によれば、画面上を移動する移動体を連続的に精度よく追跡することができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態に係る移動体追跡装置のブロック図である。
【図２】画像Ｐを示す図である。
【図３】画像Ｐ１を示す図である。
【図４】画像Ｐ２を示す図である。
【図５】画像Ｐ３を示す図（その１）である。
【図６】画像Ｐ３を示す図（その２）である。
【図７】画像Ｐ４を示す図である。
【図８】画像Ｐ５を示す図である。
【図９】画像Ｐ６を示す図である。
【図１０】画像Ｐ７を示す図である。
【図１１】第２の実施形態に係る移動体追跡装置のブロック図である。
【図１２】補助記憶部の記憶領域を概念的に示す図である。
【図１３】移動体追跡装置の動作を説明するためのフローチャートである。
【図１４】移動体追跡装置の応用例を説明するための図（その１）である。
【図１５】移動体追跡装置の応用例を説明するための図（その２）である。
【発明を実施するための形態】
【００１８】
《第１の実施形態》
以下、本発明の第１の実施形態を、図１〜図１０を参照しつつ説明する。図１は本実施形態にかかる移動体追跡装置１０の概略的な構成を示すブロック図である。移動体追跡装置１０は、例えば撮像装置によって順次撮像される画像に含まれる移動体の位置を検出し、検出した移動体の位置を外部装置などに出力する装置である。この移動体追跡装置１０は、図１に示されるように、撮像装置２０、撮像装置２０の視野内を移動する移動体の位置を検出し出力する検出装置３０を有している。
【００１９】
撮像装置２０は、被写体を撮像することにより取得した画像を電気信号に変換して出力するＣＣＤカメラを含んで構成されている。この撮像装置２０は、例えば駐車場などに設置され、視野内を移動する車両などの移動体を含む画像を順次撮像し出力する。
【００２０】
図２は、一例として撮像装置２０によって撮像された画像Ｐを示す図である。図２の画像Ｐを参照するとわかるように、撮像装置２０は、視野内に駐車場へのゲート６０を含むように配置されている。そして、所定のレートで視野内の移動体を含む画像を撮像し順次出力する。
【００２１】
図１に戻り、検出装置３０は、記憶部３１、移動体領域設定部３２、不確定領域設定部３３、移動体領域特定部３４、不可視領域設定部３５、及び移動体領域検出部３６を含んで構成されている。
【００２２】
記憶部３１は、撮像装置２０から順次出力される画像に関する情報を時系列的に記憶する。
【００２３】
移動体領域設定部３２は、撮像装置２０によって撮像された画像に写り込んだ移動体を含む移動体領域を設定する。具体的には、移動体領域設定部３２は、ゲート６０を通過した移動体の画像を検出し、検出した移動体の画像が占める領域の大きさに基づいて、ゲート６０を通過した移動体が車両であるか、又は歩行者であるかを判断する。そして、ゲート６０を通過した移動体が車両であると判断した場合に、当該車両を含む領域を移動体領域として画像上に設定する。また、移動体領域設定部３２は、ある移動体について移動体領域を設定した後は、設定した移動体領域に含まれる画像をテンプレートとして用いて、撮像装置２０から順次出力される画像に含まれる移動体の画像を検出する。そして、検出した移動体の画像を含む移動体領域を画像ごとに設定する。
【００２４】
例えば図３に示される画像Ｐ１については、移動体領域設定部３２は、ゲート６０を通過してゲート６０の近傍を走行する移動体５１の画像を検出し、移動体５１の画像よりもやや大きい長方形状の移動体領域Ａ１を設定する。
【００２５】
また、例えば図４に示される画像Ｐ２については、移動体領域設定部３２は、ゲート６０を通過してゲート６０の近傍を走行する移動体５２の画像を検出し、移動体５２の画像よりもやや大きい長方形状の移動体領域Ａ２を設定する。次に、移動体領域設定部３２は、画像Ｐ１に設定された移動体領域Ａ１に含まれる画像をテンプレートとして用いるマッチング処理を実行することにより、画像Ｐ２に含まれる移動体５１を検出する。そして、この移動体５１を含む移動体領域Ａ１を画像Ｐ２に設定する。
【００２６】
移動体領域設定部３２は、撮像装置２０から順次出力される画像について、上述した処理を画像ごとに順次実行し、撮像装置２０からの画像について、移動体ごとに移動体領域Ａｍを設定する。なお、ｍは１以上の整数である。
【００２７】
また、移動体領域設定部３２は、ある移動体によって形成される撮像装置２０の死角に別の移動体の大部分が進入した場合には、撮像装置２０からの画像に含まれる移動体をマッチング処理によって検出することができない。このため、移動体領域設定部３２は、異なる移動体領域が重なり、重複した領域が移動体領域の大きさに比べてある程度大きくなった場合には、異なる移動体領域の重複が生じたことを、不確定領域設定部３３に通知する。
【００２８】
例えば、図５に示される画像Ｐ３については、移動体５２の大部分が移動体５１によって形成された死角に進入し、移動体領域Ａ１と移動体領域Ａ２とは相互に重複している。このような場合に、移動体領域設定部３２は、移動体領域Ａ１と移動体領Ａ２とが重複したことを不確定領域設定部３３に通知する。
【００２９】
不確定領域設定部３３は、異なる移動体領域が重複した場合に、それぞれの移動体領域が重複する領域を不確定領域と設定する。例えば、図４に示される画像Ｐ２を参照するとわかるように、移動体５２が停止している移動体５１に向かって走行し、移動体５１の紙面奥側（＋Ｙ側）を走行する場合には、図５に示される画像Ｐ３を参照するとわかるように、移動体領域Ａ１と移動体領域Ａ２とが画面上で重複する。不確定領域設定部３３は、図５に示されるように、移動体領域Ａ１と移動体領域Ａ２とが重なって重複した場合には、重複した領域を不確定領域ＲＡとする。そして、不確定領域ＲＡを設定したことを、移動体領域特定部３４に通知する。
【００３０】
移動体領域特定部３４は、不確定領域ＲＡが属する移動体領域を特定し、その特定結果を不可視領域設定部３５に通知する。例えば、図５に示される画像Ｐ３では、不確定領域ＲＡを含む移動体領域Ａ１、及び不確定領域ＲＡを含む移動体領域Ａ２について、例えば画像Ｐ１に設定された移動体領域Ａ１に含まれる画像及び移動体領域Ａ２に含まれる画像をそれぞれテンプレートとして用いたマッチング処理を行う。そして、移動体領域Ａ１及び移動体領域Ａ２のうちマッチング度合いが高かった方の移動体領域に不確定領域ＲＡが属するものと判断する。この判断は、移動体５１の背後に移動体５２が存在するとの判断と等価である。
【００３１】
例えば、画像Ｐ３は、移動体５１の背後に移動体５２が進入したときに撮像された画像であるため、不確定領域ＲＡに含まれる画像は、移動体領域Ａ１に含まれる画像が支配的となる。したがって、上述のマッチング処理の結果は、移動体領域Ａ１についてのマッチング度合いの方が、移動体領域Ａ２についてのマッチング度合いよりも高いものとなる。この場合には、移動体領域特定部３４は、不確定領域ＲＡが属する移動体領域を移動体領域Ａ１と特定する。そして、この結果を不可視領域設定部３５に通知する。
【００３２】
不可視領域設定部３５は、ある移動体によって形成される撮像装置２０の死角に別の移動体が進入した際に、死角に進入した移動体の移動体領域に、死角を形成する移動体の移動体領域と重複する不可視領域を設定する。
【００３３】
例えば、不可視領域設定部３５は、不確定領域ＲＡが設定された後に、図６を参照するとわかるように、移動体領域Ａ２に、不確定領域ＲＡと重複する不可視領域ａ１と、それ以外の可視領域ａ２とを設定する。
【００３４】
また、不可視領域設定部３５は、図７を参照するとわかるように、移動体５２が完全に移動体５１の奥側（＋Ｙ側）に移動した場合には、例えば画像Ｐ２に設定された移動体領域Ａ２の形状及び大きさを参照して、図７に示される画像Ｐ４に移動体領域Ａ１に重複する不可視領域ａ１からなる移動体領域Ａ２を設定する。
【００３５】
この状態となった後は、移動体５２が、撮像装置２０の死角から出現するまで、撮像装置２０から出力される画像に基づいて移動体５２を検出するのは不可能となる。そこで、不可視領域設定部３５は、移動体５２が死角から出現するまでに撮像装置２０によって撮像され順次出力される画像に対して、例えば図７の画像Ｐ４に示される位置に、不可視領域ａ１からなる移動体領域Ａ２を設定する。この場合に、移動体５２が移動体５１の背後で移動すると、例えば図８の画像Ｐ５を参照するとわかるように、不可視領域ａ１からなる移動体領域Ａ２の位置と、実際に移動体５２が存在する画像Ｐ５上の位置とがずれることとなる。
【００３６】
また、不可視領域設定部３５は、移動体５１によって形成される死角から、移動体５２が出現した際には、移動体領域設定部３２によって設定された移動体領域Ａ２の形状及び大きさを参照して、図９に示される画像Ｐ６に移動体領域Ａ１に重複する不可視領域ａ１と、それ以外の可視領域ａ２とによって規定される移動体領域Ａ２を設定する。
【００３７】
移動体領域検出部３６は、撮像装置２０から順次出力され、移動体領域設定部３２による処理が施されることにより画像上に設定された移動体領域の位置座標を検出し出力する。また、不可視領域設定部３５による処理が施されることにより画像上に設定された不可視領域と可視領域とからなる移動体領域の位置座標を検出し出力する。
【００３８】
例えば、図３に示される画像Ｐ１については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心の、画像Ｐ１上における位置座標を出力する。また、図４に示される画像Ｐ２については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心、及び移動体領域Ａ２の中心それぞれの、画像Ｐ２上における位置座標を出力する。
【００３９】
また、図６に示される画像Ｐ３については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心の、画像Ｐ３上における位置座標を出力する。次に、移動体領域検出部３６は、不可視領域設定部３５によって設定された不可視領域ａ１と可視領域ａ２とからなる移動体領域Ａ２の中心の、画像Ｐ３における位置座標を出力する。
【００４０】
また、図７に示される画像Ｐ４、図８に示される画像Ｐ５については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心の、画像Ｐ４或いは画像Ｐ５における位置座標を出力する。次に、移動体領域検出部３６は、不可視領域設定部３５によって設定された不可視領域ａ１からなる移動体領域Ａ２の中心の、画像Ｐ４或いは画像Ｐ５における位置座標を出力する。
【００４１】
また、図９に示される画像Ｐ６については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心の、画像Ｐ６における位置座標を出力する。次に、移動体領域検出部３６は、不可視領域設定部３５によって設定された不可視領域ａ１と可視領域ａ２とからなる移動体領域Ａ２の中心の、画像Ｐ６における位置座標を出力する。
【００４２】
また、図１０に示される画像Ｐ７については、移動体領域検出部３６は、移動体領域設定部３２によって設定された移動体領域Ａ１の中心、及び移動体領域Ａ２の中心それぞれの、画像Ｐ７における位置座標を出力する。
【００４３】
以上説明したように、本第１の実施形態では、移動体５１によって形成された撮像装置２０の死角に移動体５２が進入し、撮像装置２０によって撮像された画像から追跡対象となる移動体５２が消失したとしても、画像上には消失した移動体５２に対応する不可視領域ａ１を含んで構成される移動体領域Ａ２が設定され、この移動体領域Ａ２に基づいて移動体５２の検出が行われる。したがって、移動体５２が撮像装置２０の死角から出現することで、移動体５２が画像上に再び現れた場合に、新たに画像上に現れた移動体５２を認識する処理を実行することなく、継続して移動体５２の位置検出を行うことができる。つまり、移動体が死角に進入して画像上から消失したとしても、再度画像上に現れた移動体の同一性を喪失することなく、その移動体を継続的に検出し、追跡することができる。
【００４４】
なお、本実施形態においては、移動体領域Ａ１と移動体領域Ａ２とが重複した場合に、移動体領域Ａ２の可視領域ａ２の減少割合に応じて、移動体５２の移動速度を検出し、
また、移動体領域Ａ２の可視領域ａ２の減少方向に応じて、移動体５２の移動方向を検出し、検出結果に基づいて、移動体領域Ａ１から出現する移動体領域Ａ２の位置、及び出現するまでの時間を予測することとしてもよい。これにより、例えば移動体領域Ａ２から複数の領域が出現した場合に、出現した領域が移動体領域Ａ２に属する領域か否かの判断を容易に行うことができる。
【００４５】
また、マッチング処理は、不確定領域ＲＡの面積が小さい段階でマッチング処理を行うと、不確定領域ＲＡがどちらの移動体領域に属するのかに関する判断を間違う可能性がある。このため、移動体領域と不確定領域ＲＡとを比較して、移動体領域に対する不確定領域ＲＡの割合が所定の比率を超えたところで、不可視領域の設定等を実行するのがよい。
【００４６】
マッチング処理を行うのに適した不確定領域ＲＡの面積は、そのときに対象となっている移動体の属性、例えば、移動体の色、輝度、テクスチャなどにより異なる。
【００４７】
例えば、移動体相互間で完全に色が異なる場合には、不確定領域ＲＡの面積が小さい段階でマッチング処理を行っても、正しい結果を得られることが期待できる。一方、移動体相互間で色が近ければ、不確定領域ＲＡの面積が大きくなってからマッチング処理を行わないと、正しい結果が得られない可能性がある。
【００４８】
従って、本実施形態において、移動体領域Ａ１と移動体領域Ａ２との間に不確定領域ＲＡが設定された場合には、対象となる移動体の属性に従った所定の比率に従い、不確定領域ＲＡと移動体領域Ａ１と移動体領域Ａ２の面積がそれぞれを比較される。そして、その割合が所定の比率を超えたところでマッチング処理が実行される。
【００４９】
《第２の実施形態》
次に、本発明の第２の実施形態を、図１１〜図１３を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
【００５０】
本実施形態にかかる移動体追跡装置１０は、検出装置３０が、一般的なコンピュータ、又はワークステーションなどの装置と同様の構成によって実現されている点で、第１の実施形態にかかる移動体追跡装置１０と相違している。
【００５１】
図１１は、移動体追跡装置１０の物理的な構成を示すブロック図である。図１１に示されるように、移動体追跡装置１０は、撮像装置２０、コンピュータからなる検出装置３０から構成されている。
【００５２】
検出装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
【００５３】
ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、撮像装置２０によって撮像された画像に対して、後述する画像処理を実行する。
【００５４】
主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
【００５５】
補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、撮像装置２０から出力される画像情報、及びＣＰＵ３０ａによる処理結果などを含む情報を順次記憶する。図１２は、補助記憶部３０ｃの記憶領域を概念的に示す図である。本実施形態では、補助記憶部３０ｃの記憶領域は少なくとも記憶領域Ｍ１〜Ｍ３に区分され、後述するように、記憶領域Ｍ１には差分画像が保存され、記憶領域Ｍ２には背景画像が保存され、記憶領域Ｍ３には撮像装置２０から出力された画像が保存される。
【００５６】
表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。本実施形態では、撮像装置２０によって撮像された画像に対する処理が実行されるごとに、その処理結果としての画像などが表示される。
【００５７】
入力部３０ｅは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
【００５８】
インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮像装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。
【００５９】
図１３のフローチャートは、検出装置３０のＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図１３を参照しつつ、検出装置３０における画像処理について説明する。なお、この画像処理は、ユーザからの開始指令が入力された後に、ＣＰＵ３０ａが、補助記憶部３０ｃから読み出したプログラムに従って、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、インターフェイス部３０ｆを統括的に制御することにより実現される。また、前提として、画像処理が開始された時点では、撮像装置２０の視野内に移動体が存在していないものとする。
【００６０】
まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、撮像装置２０から順次出力されるｍ枚の画像について、画像を構成する画素それぞれの輝度の平均値を算出し、この平均値からなる輝度の画素から構成される画像を生成する。そして、この背景画像を補助記憶部３０ｃの記憶領域Ｍ２へ保存する。また、ＣＰＵ３０ａは、ｍ枚の画像それぞれを補助記憶部３０ｃの記憶領域Ｍ３へ画像１〜画像ｍとして保存する。
【００６１】
次のステップＳ１０２では、ＣＰＵ３０ａは、補助記憶部３０ｃの記憶領域Ｍ３に、既存の画像１〜画像ｎを、それぞれ画像２〜ｎ＋１として保存するとともに、撮像装置２０から新たに出力された画像を画像１として保存する。この場合、画像ｎ＋１についてはクリアすることとしてもよい。
【００６２】
次のステップＳ１０３では、ＣＰＵ３０ａは、撮像装置２０から出力された画像と、補助記憶部３０ｃの記憶領域Ｍ２へ保存された背景画像とについて差分処理を施すことにより差分画像を生成する。そして、補助記憶部３０ｃの記憶領域Ｍ１に既存の差分画像１と差分画像２が保存されている場合には、既存の差分画像２をクリアするとともに、既存の差分画像１を差分画像２として新たに補助記憶部３０ｃの記憶領域Ｍ１へ保存する。そして、生成した差分画像を差分画像１として記憶領域Ｍ１へ保存する。
【００６３】
次のステップＳ１０４では、ＣＰＵ３０ａは、補助記憶部３０ｃの記憶領域Ｍ３に保存された画像１〜画像ｍに基づいて、ステップＳ１０１での処理と同様に背景画像を生成する。そして、この背景画像を補助記憶部３０ｃの記憶領域Ｍ２へ保存する。
【００６４】
次のステップＳ１０５では、ＣＰＵ３０ａは、差分画像１に移動体を構成する画像が存在するか否かを確認する。そして、ここでの判断が否定された場合には、ステップＳ１０２へ戻り、以降ステップＳ１０５での判断が肯定されるまで、ステップＳ１０１〜ステップＳ１０５までの処理を繰り返し実行する。一方、ステップＳ１０５での判断が肯定された場合には、ＣＰＵ３０ａは、ステップＳ１０６へ移行する。
【００６５】
ステップＳ１０６では、ＣＰＵ３０ａは、撮像装置２０の視野内に移動体が進入することで、記録領域Ｍ３に保存された画像１に新たに写り込んだ移動体を含む移動体領域を設定する。
【００６６】
本実施形態では、図２を参照するとわかるように、移動体がゲート６０を通過することにより撮像装置２０の視野内へ進入するように、撮像装置２０の位置が設定されている。ＣＰＵ３０ａは、記憶領域Ｍ３に保存された画像１からゲート６０を通過した移動体の画像を検出し、検出した移動体の画像が占める画像１上の領域の大きさに基づいて、ゲート６０を通過した移動体が車両であるか、又は歩行者であるかを判断する。そして、ゲート６０を通過した移動体が車両であると判断した場合には、当該車両を含む領域を移動体領域として画像１上に設定する。また、ＣＰＵ３０ａは、ある移動体について移動体領域を設定した後は、設定した移動体領域に含まれる画像をテンプレートとして用いて、撮像装置２０から順次出力される画像に含まれる移動体の画像を検出し、検出した移動体の画像を含む移動体領域を画像ごとに設定する。
【００６７】
例えば記録領域Ｍ３に保存された画像１が図３に示される画像Ｐ１である場合には、ＣＰＵ３０ａは、ゲート６０を通過し、ゲート６０の近傍を走行する移動体５１の画像を検出し、移動体５１の画像よりもやや大きい長方形状の移動体領域Ａ１を設定する。
【００６８】
また、例えば記録領域Ｍ３に保存された画像１が図４に示される画像Ｐ２である場合には、ＣＰＵ３０ａは、ゲート６０を通過し、ゲート６０の近傍を走行する移動体５２の画像を検出し、移動体５２の画像よりもやや大きい長方形状の移動体領域Ａ２を設定する。次に、画像Ｐ１に設定された移動体領域Ａ１に含まれる画像をテンプレートとして用いるマッチング処理を実行することにより、画像Ｐ２に含まれる移動体５１を検出し、この移動体５１を含む移動体領域Ａ１を画像Ｐ２に設定する。
【００６９】
また、ＣＰＵ３０ａは、異なる移動体領域が重複した場合には、それぞれの移動体領域が重複する領域を不確定領域と設定する。例えば、図４に示される画像Ｐ２を参照するとわかるように、移動体５２が停止している移動体５１に向かって走行し、移動体５１の紙面奥側（＋Ｙ側）を走行する場合には、図５に示される画像Ｐ３を参照するとわかるように、移動体領域Ａ１と移動体領域Ａ２とが画面上で重複する。ＣＰＵ３０ａは、図５に示されるように、移動体領域Ａ１と移動体領域Ａ２とが重なって重複した場合には、画像１としての画像Ｐ３に、移動体領域Ａ１と移動体領域Ａ２とが重複する不確定領域ＲＡを設定する。
【００７０】
そして、ＣＰＵ３０ａは、不確定領域ＲＡが属する移動体領域を特定する。例えば、図５に示される画像Ｐ３では、不確定領域ＲＡを含む移動体領域Ａ１、及び不確定領域ＲＡを含む移動体領域Ａ２について、例えば画像Ｐ１に設定された移動体領域Ａ１に含まれる画像及び移動体領域Ａ２に含まれる画像をそれぞれテンプレートとして用いたマッチング処理を行う。そして、移動体領域Ａ１及び移動体領域Ａ２のうちマッチング度合いが高かった方の移動体領域に不確定領域ＲＡが属するものと判断する。この判断は、移動体５１の背後に移動体５２が存在するとの判断と等価である。
【００７１】
例えば、画像Ｐ３は、移動体５１の背後に移動体５２が進入したときに撮像された画像であるため、不確定領域ＲＡに含まれる画像は、移動体領域Ａ１に含まれる画像が支配的となる。したがって、上述のマッチング処理の結果は、移動体領域Ａ１についてのマッチング度合いの方が、移動体領域Ａ２についてのマッチング度合いよりも高いものとなる。この場合には、ＣＰＵ３０ａは、不確定領域ＲＡが属する移動体領域を移動体領域Ａ１と特定する。
【００７２】
なお、マッチング処理は、実施例１と同様に不確定領域ＲＡと移動体領域Ａ１と移動体領域Ａ２それぞれの面積の比率に基いて実行される。
【００７３】
次に、ＣＰＵ０３０ａは、ある移動体によって形成される撮像装置２０の死角に別の移動体が進入した際に、死角に進入した移動体の移動体領域に、死角を形成する移動体の移動体領域と重複する不可視領域を設定する。例えば、ＣＰＵ３０ａは、不確定領域ＲＡが設定された後に、図６を参照するとわかるように、移動体領域Ａ２に、不確定領域ＲＡと重複する不可視領域ａ１と、それ以外の可視領域ａ２とを設定する。
【００７４】
また、ＣＰＵ３０ａは、図７を参照するとわかるように、移動体５２が完全に移動体５１の奥側（＋Ｙ側）に移動した場合には、例えば画像Ｐ２に設定された移動体領域Ａ２の形状及び大きさを参照して、図７に示される画像１としての画像Ｐ４に移動体領域Ａ１に重複する不可視領域ａ１からなる移動体領域Ａ２を設定する。
【００７５】
この状態となった後は、移動体５２が、撮像装置２０の死角から出現するまで、撮像装置２０から出力される画像に基づいて移動体５２を検出するのは不可能となる。そこで、ＣＰＵ３０ａは、移動体５２が死角から出現するまでは、画像１に対して、例えば図７に示される位置に、不可視領域ａ１からなる移動体領域Ａ２を設定する。この場合に、移動体５２が移動体５１の背後で移動すると、例えば図８に示されるように、不可視領域ａ１からなる移動体領域Ａ２の位置と、実際に移動体５２が存在する画像Ｐ５上の位置とがずれることとなる。
【００７６】
また、ＣＰＵ３０ａは、移動体５１の死角から移動体５２が出現した際には、移動体領域Ａ２の形状及び大きさを参照して、図９に示される画像Ｐ６に移動体領域Ａ１に重複する不可視領域ａ１と、それ以外の可視領域ａ２とによって規定される移動体領域Ａ２を設定する。
【００７７】
なお、この場合には、記憶領域Ｍ１に保存された差分画像１及び差分画像２に基づいて、可視領域のデータについてフロー法などで移動体の移動方向及び移動量を算出し、この算出結果に基づいて、移動体領域Ａ１から出現した移動体領域が移動体領域Ａ２であると判断してもよい。
【００７８】
次のステップ１０７では、ＣＰＵ３０ａは、画像１に設定された移動体領域の位置座標を検出し出力する。
【００７９】
例えば、記録領域Ｍ３に保存された画像１が図３に示される画像Ｐ１である場合には、ＣＰＵ３０ａは、移動体領域Ａ１の中心の、画像Ｐ１上における位置座標を出力する。また、ＣＰＵ３０ａは、記録領域Ｍ３に保存された画像１が図４に示される画像Ｐ２である場合には、移動体領域Ａ１の中心、及び移動体領域Ａ２の中心それぞれの、画像Ｐ２上における位置座標を出力する。
【００８０】
また、記録領域Ｍ３に保存された画像１が図５に示される画像Ｐ３である場合には、ＣＰＵ３０ａは、移動体領域Ａ１の中心の、画像Ｐ３上における位置座標を出力するとともに、不可視領域ａ１と可視領域ａ２とからなる移動体領域Ａ２の中心の、画像Ｐ３における位置座標を出力する。
【００８１】
また、記録領域Ｍ３に保存された画像１が図７に示される画像Ｐ４、或いは図８に示される画像Ｐ５である場合には、ＣＰＵ３０ａは、移動体領域Ａ１の中心の、画像Ｐ４或いは画像Ｐ５における位置座標を出力するとともに、不可視領域ａ１からなる移動体領域Ａ２の中心の、画像Ｐ４或いは画像Ｐ５における位置座標を出力する。
【００８２】
また、記録領域Ｍ３に保存された画像１が図９に示される画像Ｐ６である場合には、ＣＰＵ３０ａは、移動体領域Ａ１の中心の、画像Ｐ６における位置座標を出力するとともに、不可視領域ａ１と可視領域ａ２とからなる移動体領域Ａ２の中心の、画像Ｐ６における位置座標を出力する。
【００８３】
また、記録領域Ｍ３に保存された画像１が図１０に示される画像Ｐ７である場合には、ＣＰＵ３０ａは、移動体領域Ａ１の中心、及び移動体領域Ａ２の中心それぞれの、画像Ｐ７における位置座標を出力する。
【００８４】
以降、ＣＰＵ３０ａは、ステップＳ１０２〜ステップＳ１０７までの処理を繰り返し実行する。
【００８５】
以上説明したように、本第２の実施形態では、移動体５１によって形成された撮像装置２０の死角に移動体５２が進入し、撮像装置２０によって撮像された画像から追跡対象となる移動体５２が消失したとしても、画像上には消失した移動体５２に対応する不可視領域ａ１を含んで構成される移動体領域Ａ２が設定され、この移動体領域Ａ２に基づいて移動体５２の検出が行われる。したがって、移動体５２が撮像装置２０の死角から出現することで、移動体５２が画像上に再び現れた場合に、新たに画像上に現れた移動体５２を認識する処理を実行することなく、継続して移動体５２の位置検出を行うことができる。つまり、移動体が死角に進入して画像上から消失したとしても、再度画像上に現れた移動体の同一性を喪失することなく、その移動体を継続的に検出し、追跡することができる。
【００８６】
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
【００８７】
例えば、上記各実施形態では、不確定領域が属する移動体を特定する際に、テンプレートマッチング処理を行ったが、これに限らず、不確定領域に含まれる画像の輝度情報、又は色彩情報と、移動体領域に含まれる画像の輝度情報、又は色彩情報との共通性に基づいて、不確定領域が属する移動体を特定してもよい。
【００８８】
また、上記各実施形態では、撮像装置２０の視野内に２つの移動体が存在する場合について説明したが、これに限らず、撮像装置２０の視野内には、３つ以上の移動体が存在していてもよい。撮像装置２０の視野内に複数の移動体が存在するときには、ある移動体によって形成された撮像装置２０の死角に、複数の移動体が進入することが考えられる。この場合には、各移動体の移動体領域について、移動体領域に含まれる画像を構成する画素の輝度情報や色彩情報などを移動体領域ごとに予め認識し、ある移動体領域から出現した領域がどの移動体領域の一部であるかの判別を、予め認識した輝度情報や色彩情報などを用いて行ってもよい。
【００８９】
また、上記各実施形態では、移動体追跡装置１０が１台の撮像装置２０を備えている場合について説明したが、複数台の撮像装置２０を備えていてもよい。この場合には、例えば図１４に示されるように、駐車場など移動体の追跡が必要なエリアを複数の撮像装置２０を用いて監視し、特定の移動体を監視する場合には、特定の移動体を視認できる撮像装置２０を用いて追跡処理を実行することができる。
【００９０】
また、上記各実施形態では１台の移動体追跡装置１０を用いて移動体を追跡する場合について説明したが、これに限らず、一例として図１５に示されるように、例えば監視対象となる駐車場を別々の角度から監視する撮像装置２０を有する複数の移動体追跡装置１０でネットワークを構築してもよい。この場合には、追跡対象となる移動体を視認できる撮像装置２０を用いて追跡処理を実行することができ、さらに、ホストコンピュータ１１の指示に基づいて、情報の共有化を図ることができる。
【００９１】
具体的には、ある撮像装置２０によって追跡されていた移動体が、この撮像装置２０の死角に入った後に、別の撮像装置２０の視野内に出現することが予測される場合には、ホストコンピュータ１１は、追跡対象となる移動体が視野内に出現すると予想される撮像装置２０を有する移動体追跡装置１０に、追跡対象となる移動体の追跡を指示する。これにより、追跡対象となる移動体を同一性を喪失することなく追跡することができる。
【００９２】
なお、上記各実施形態に係る検出装置３０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
【００９３】
また、第２の実施形態において検出装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
【００９４】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
【００９５】
また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
【００９６】
また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。
【００９７】
なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。
【００９８】
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【産業上の利用可能性】
【００９９】
本発明の移動体追跡装置、移動体追跡方法及びプログラムは、移動体を追跡するのに適している。
【符号の説明】
【０１００】
１０ 移動体追跡装置
２０ 撮像装置
３０ 検出装置
３０ａ ＣＰＵ
３０ｂ 主記憶部
３０ｃ 補助記憶部
３０ｄ 表示部
３０ｅ 入力部
３０ｆ インターフェイス部
３０ｇ システムバス
３１ 記憶部
３２ 移動体領域設定部
３３ 不確定領域設定部
３４ 移動体領域特定部
３５ 不可視領域設定部
３６ 移動体領域検出部
５１，５２ 移動体
６０ ゲート
Ａ１，Ａ２ 移動体領域
ａ１ 不可視領域
ａ２ 可視領域
Ｍ１〜Ｍ３ 記憶領域
Ｐ，Ｐ１〜Ｐ７ 画像
【特許請求の範囲】
【請求項１】
撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する移動体領域設定手段と、
前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する不確定領域設定手段と、
前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する移動体領域特定手段と、
前記移動体領域特定手段によって特定された結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する不可視領域設定手段と、
前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する移動体領域検出手段と、
を備える移動体追跡装置。
【請求項２】
前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定する請求項１に記載の移動体追跡装置。
【請求項３】
前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定する請求項１又は２に記載の移動体追跡装置。
【請求項４】
撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する工程と、
前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する工程と、
前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する工程と、
前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する工程と、
前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する工程と、
を含む移動体追跡方法。
【請求項５】
前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定する請求項４に記載の移動体追跡方法。
【請求項６】
前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定する請求項４又は５に記載の移動体追跡方法。
【請求項７】
コンピュータに、
撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する手順と、
前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する手順と、
前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する手順と、
前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する手順と、
前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する手順と、
を実行させるためのプログラム。
【請求項１】
撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する移動体領域設定手段と、
前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する不確定領域設定手段と、
前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する移動体領域特定手段と、
前記移動体領域特定手段によって特定された結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する不可視領域設定手段と、
前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する移動体領域検出手段と、
を備える移動体追跡装置。
【請求項２】
前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定する請求項１に記載の移動体追跡装置。
【請求項３】
前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定する請求項１又は２に記載の移動体追跡装置。
【請求項４】
撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する工程と、
前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する工程と、
前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する工程と、
前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する工程と、
前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する工程と、
を含む移動体追跡方法。
【請求項５】
前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定する請求項４に記載の移動体追跡方法。
【請求項６】
前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定する請求項４又は５に記載の移動体追跡方法。
【請求項７】
コンピュータに、
撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する手順と、
前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する手順と、
前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する手順と、
前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する手順と、
前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する手順と、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２７１８７６（Ｐ２０１０−２７１８７６Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２２５５５（Ｐ２００９−１２２５５５）
【出願日】平成２１年５月２０日（２００９．５．２０）
【出願人】（３９６００４９８１）セイコープレシジョン株式会社 (481)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月２０日（２００９．５．２０）
【出願人】（３９６００４９８１）セイコープレシジョン株式会社 (481)
【Ｆターム（参考）】
[ Back to top ]