移動物体追跡装置
【課題】 パラメータ調整を行うことなく移動物体追跡の機能を十分に発揮させることを可能にする。
【構成】 ＩＴＶカメラ２００の撮影画像から移動物体領域Ａを抽出する移動物体領域抽出部４１と、移動物体領域Ａに基づいて移動物体を追跡するのに必要な進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータを求めて設定するパラメータ取得部４２と、撮影画像中の移動物体をテンプレートを用いて追跡する物体追跡部３１と、撮影箇所付近の明度の変化を監視する明度環境監視部５３と、撮影付近の明度に変化が現れたときパラメータ取得部４２を再動作させるパラメータ調整部４３と、ＩＴＶカメラ２００の画角変化を監視する画角監視部５２と、移動物体領域Ａの数の変化を監視する移動物体領域監視部５１と、画角変化又は移動物体領域Ａの数の変化が現れたとき移動物体領域抽出部４１を再動作させる移動物体領域調整部４４とを具備している。
【構成】 ＩＴＶカメラ２００の撮影画像から移動物体領域Ａを抽出する移動物体領域抽出部４１と、移動物体領域Ａに基づいて移動物体を追跡するのに必要な進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータを求めて設定するパラメータ取得部４２と、撮影画像中の移動物体をテンプレートを用いて追跡する物体追跡部３１と、撮影箇所付近の明度の変化を監視する明度環境監視部５３と、撮影付近の明度に変化が現れたときパラメータ取得部４２を再動作させるパラメータ調整部４３と、ＩＴＶカメラ２００の画角変化を監視する画角監視部５２と、移動物体領域Ａの数の変化を監視する移動物体領域監視部５１と、画角変化又は移動物体領域Ａの数の変化が現れたとき移動物体領域抽出部４１を再動作させる移動物体領域調整部４４とを具備している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は例えば道路上の車両交通流や道路の人の流れ等を把握するのに利用される移動物体追跡装置に関する。
【背景技術】
【０００２】
この種の移動物体追跡装置は、カメラの撮影画面からテンプレートマッチングにより移動物体を認識して個別に追跡する等の機能を有した装置であって、移動物体が進入してきたことを検出し、その一部又は全部を含めた部分を初期テンプレートとして扱う物体検出手段と、次の撮影画面の中からテンプレートマッチングにより類似度の高い部分を移動後の移動物体として把握し、これを繰り返し行って移動物体の追跡を行う物体追跡手段とを有した基本構成となっている（例えば、特許文献1 等がある) 。
【特許文献１】特開２００２−３１２８９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来例による場合、装置設置時に行うことが必要なパラメータ調整に関しては、サンプル画像を用いて手順化された手作業により行っているのが現状であり、この作業が煩わしいという問題がある。特に、外乱による変動が発生したり対象移動物体の特徴が不均一であったりすると、パラメータ調整に多大な時間を要する。また、手作業で行っている以上、作業者間のバラツキが大きい。しかも追跡に影響する全てのサンプル画像を予め準備しておくことも不可能であり、そのため、例えば、落雷の発生や照明の球切れ等の突発的な状況に対応することが非常に困難である。これらの点が装置の追跡性能の向上を図る上で大きな障害になっている。
【０００４】
また、運用時には撮影用カメラの方向を厳重に管理することも必要不可欠である。撮影用カメラの向きが変わるとパラメータ調整を再度行うことが必要だからである。さらに、同装置は旋回式のカメラに適用することは非常に困難であり、テンプレートマッチング方式を用いている以上、演算処理の負担が大きく、処理速度の向上を図ると装置自体が大幅なコスト高になるという別の欠点もある。
【０００５】
本発明は上記した背景の下で創作されたものであり、その主たる目的とするところは、テンプレートのパラメータ調整を手作業で行うことなく装置本来の機能を十分に発揮させることが可能な移動物体追跡装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る移動物体追跡装置は、移動物体を撮影するカメラから入力された画像データを順次記録する画像メモリと、画像メモリ上の画像データに基づいて撮影画像から反復的な移動を繰り返す移動物体の軌跡である移動物体領域を抽出する移動物体領域抽出部と、移動物体領域に基づいて移動物体を追跡するのに必要な進入検出領域及び物体追跡テンプレートのパラメータを求めて設定するパラメータ取得部と、画像メモリ上の画像データに基づいて撮影画像中の移動物体を当該進入検出領域及び物体追跡テンプレートを用いて追跡してその位置情報を求める物体追跡部と、撮影箇所付近の明度の変化を監視する明度環境監視部と、撮影箇所付近の明度に変化が現れたときパラメータ取得部を再動作させるパラメータ調整部と、カメラ画角操作機から入力された画角信号に基づいてカメラの画角変化を監視する画角監視部と、移動物体領域抽出部により抽出された移動物体領域の数の変化を監視する移動物体領域監視部と、少なくともカメラの画角変化又は移動物体領域の数の変化が現れたとき移動物体領域抽出部及びパラメータ取得部を再動作させる移動物体領域調整部とを具備している。
【０００７】
好ましくは、画像メモリ上の画像データに基づいて前記撮影画像中の移動物体が停止しているか否かを判定する停止判定部と、少なくとも撮影画像中に移動物体が存在していること又は移動物体が停止していることを外部出力する出力部とを構成的に付加するようにすると良い。
【０００８】
移動物体領域抽出部については、移動物体領域を抽出するに当たり、時間差分画像を順次求める一方、一定時間前の時間差分画像と現在の時問差分画像との間で共通する部分を移動物体領域候補として求め、当該移動物体領域候補の各画素に対して一定時間に候補となった回数を求め、候補となった回数がしきい値を超える画素を選別し、当該画素により構成される領域を移動物体領域とする機能を有した構成のものを用いると良い。
【０００９】
また、移動物体領域抽出部が移動物体の移動方向をオプティカルフローにより求める機能を有し且つ進入検出領域及び物体追跡テンプレートが長方形である場合、パラメータ取得部については、長方形の進入検出領域のパラメータに関して、移動物体領域を移動物体の移動方向に複数に分割し、分割された領域毎に移動物体の追跡を開始する進入検出領域をその中心位置が移動物体領域の移動方向の中心線上に略来る位置に各々設定し、当該進入検出領域の幅を当該移動物体領域の幅より若干大きめ、当該進入検出領域の長さを当該移動物体領域の縦横比に応じて各々設定する一方、長方形の物体追跡テンプレートのパラメータに関して、物体追跡テンプレートの中心位置が移動物体の中心に略来る位置に設定し、当該物体追跡テンプレートの幅を当該移動物体領域の幅と同じ、当該物体追跡テンプレートの長さをその幅に比べて小さく設定する構成となっているものを用いると良い。
【００１０】
より好ましくは、テンプレート画像を所定画素毎に間引いた間引きテンプレートを物体追跡テンプレートとして用い、その間引き割合を移動物体領域の幅に対応して設定する機能を有した構成となっているものを用いることが望ましい。
【００１１】
物体追跡部については、移動物体領域の幅が所定値以下になった位置で当該移動物体の追跡を終了する及び／又は移動物体領域上の移動物体の追跡代表点が当該移動物体領域から外れたとき当該移動物体の追跡を中断させる機能を有した構成のものを用いることが望ましい。
【００１２】
また、追跡中の移動物体の移動ベクトルを随時求め、当該移動べクトルの推移から次の移動先を推定し、移動物体を探索する範囲を当該移動先を中心とした範囲に設定する機能を有した構成のものを用いることが望ましい。
【発明の効果】
【００１３】
以上、本発明に係る移動物体追跡装置による場合、進入検出領域及び物体追跡テンプレートのパラメータが自動的に調整されることから、人手によりパラメータ調整を行うことなく装置本来の機能を十分に発揮させることが可能になる。また、撮影箇所付近の明度の変化、カメラの画角変化又は移動物体の状況の変化等に応じて、そのパラメータがその都度再調整されることから、装置の追跡精度が高くなる。しかもカメラとして旋回式のものを用いることも可能であり、装置の適用範囲が広くなる。それ故、装置の高性能化を図る上で大きな意義がある。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を図面を参照して説明する。図１は移動物体追跡装置の構成図、図２は同装置のフローチャート、図３は移動物体領域抽出のアルゴリズムを画像処理の流れで表した説明図、図４は抽出された移動物体領域を表す模式図、図５は移動物体領域上の移動物体の移動方向を求める方法を説明するための説明図、図６は移動物体領域に進入検出領域が設定される様子を示す模式図、図７は物体追跡テンプレートの形状を示す図、図８は移動物体領域に物体追跡テンプレートのパラメータが設定される様子を示す模式図、図９は移動物体の移動ベクトルの推移から予測された次の移動ベクトルを示す図、図１０は予測ベクトルとテンプレート探索範囲との関係を示す図、図１１は間引きテンプレートを示す図、図１２は間引きテンプレートによる探索を示す模式図である。
【００１５】
ここに掲げる移動物体追跡装置１００は、例えば、道路上の車両交通流や通路の人の流れを測定するのに使用される装置であって、図１に示されているように道路沿いや通路天井等に設置されたＩＴＶカメラ２００から出力された画像データ及びＩＴＶカメラ２００の画角を調整するカメラ画角調整機３００から出力された画角信号が入力されており、これらの入力データに基づいて、ＩＴＶカメラ２００により撮影された移動物体を個別に追跡するとともに、移動物体が監視範囲に存在することやその動きが停止することを検知する等の機能を有している。
【００１６】
同装置１００は、ＩＴＶカメラ２００から入力された画像を周期的に取り込んでＡ／Ｄ変換等を行う画像取込部１０と、デジタル値に変換された画像データを順次保存する画像メモリ２０と、画像メモリ２０上の画像データが順次入力されたＣＰＵ等であってそのソフトウエアを順次実行して種々の機能を発揮する機能ブロック３０、４０、５０と、装置としての検知結果を外部出力する出力部６０とを備えた基本構成となっている。
【００１７】
機能ブロック３０〜５０は、説明の便宜上、構成に含めて記載しているものであり、具体的には以下のような機能を有している。即ち、機能ブロック３０は物体追跡部３１及び停止判定部３２から構成されている。機能ブロック４０は移動物体領域抽出部４１、パラメータ取得部４２、パラメータ調整部４３と呼び移動物体領域調整部４４から構成されている。機能ブロック５０は移動物体領域監視部５１、画角監視部５２及び明度環境監視部５３から構成されている。なお、スイッチや各種設定を行うための操作入力部については図示省略されている。以下、各部の詳細を説明する。
【００１８】
移動物体領域抽出部４１は、画像メモリ２０上の画像データに基づいて撮影画像から反復的な移動を繰り返す移動物体の軌跡である移動物体領域Ａ（図４参照）を抽出するとともに移動物体の移動方向をオプティカルフローにより求める基本構成となっている。移動物体領域を抽出するに当たっては、時間差分画像を順次求める一方、一定時間前の時間差分画像と現在の時問差分画像との間で共通する部分を移動物体領域候補として求め、この移動物体領域候補の各画素に対して一定時間に候補となった回数を求め、候補となった回数がしきい値を超える画素を選別し、この画素により構成される領域を移動物体領域とするようになっている。
【００１９】
即ち、撮影画像中の移動物体領域Ａの抽出には、移動物体が移動している可能性の高い画素を画像メモリ２０上に一定量蓄積（投票）するという方法により行う。移動物体を検出するに当たっては、周囲明度環境の変化に対して安定な時間差分をベースとして行っている。ただ、時間差分のみで移動物体を検出すると、対象外の物体の揺れや影、影像信号ノイズの影響を受け易いので、連続する時間差分の重なり部分だけを投票するようにしている。このような処理の方式において、画像中に映し出された移動物体が縦方向に移動している場合、時間差分が重なり易い画面の奥の方（撮影画像中の上部分）では投票効率が良く、逆に画面の手前の方（撮影画像中の下部分）では悪いことから、この投票の格差を無くすために１回の投票の割合を画面の奥側で小さく、手前で大きくなるように重み付けをするようにしている。
【００２０】
具体的な処理の流れは図３に示す通りである。画像メモリ２０上の画像データをここでは６６ｍｓ毎に順次読み出す。これらの画像データの各画像を入力画像１、２、３、４、５、６、７・・・として表すこととする。そして、読み出した画像データに対して次のように画像処理を行う。
【００２１】
まず、入力画像１及び入力画像２を差分して濃淡画像１を求め、その後、二値化処理して２値画像１を求め、ノイズ除去して２値画像２を求める。入力画像２及び入力画像３に対しても同様の処理を行い２値画像２’を求める。そして２値画像２と２値画像２’とを論理積して２値画像３を求め、その後、ノイズ除去を行って２値画像４を求め、膨張・収縮の処理を行って２値画像５を求める。
【００２２】
そして、上記した重み付けを行うために予め用意しておいた濃淡画像２（重み画像）と２値画像５とを論理積して濃淡画像３３を求め、その後、最大フィルタの処理を行って濃淡画像４を求め、最小フィルタの処理を行って濃淡画像５を求める。
【００２３】
入力画像１、２、３に対して行った上記一連の処理にて生成された濃淡画像５の明度値と、移動物体領域抽出開始ときにリセットしておいた濃淡画像６の明度値を加算し濃淡画像６’を求め、次に入力画像２、３、４に対しても同様に濃淡画像５’と濃淡画像６’を加算し濃淡画像６''を求める。以後、上記処理が入力画像３、４、５・・・に対して順次行われる。
【００２４】
このような処理により撮影画像から移動物体領域Ａのみが抽出され、抽出された部分のうち所定の基準を超えた画素のみを更に抽出するようにすると、移動物体領域画像が得られる。移動物体領域画像に示された移動物体領域Ａは移動物体が移動している可能性が高い領域を示すことになる。
【００２５】
図４は移動物体が撮影画像中の上下方向（縦方向）に移動している場合の移動物体領域画像を示している。この移動物体領域画像は移動物体の移動方向のデータとともにメインメモリ（図示省略）に随時記録される。移動物体領域Ａが複数であるときには、各領域を区別するためにラベリングが行われ、ラベリングに係る番号も記録対象に含められる。
【００２６】
移動物体の移動方向については次のようにして求めている。即ち、移動物体領域内の画素の点をオプティカルフローの対象とし（図５（ａ）参照）、オプティカルフローの対象とされた各点の移動ベクトルの成分を求めるとともにこれらの成分を加算し（図５（ｂ）参照）、加算して得られた合成移動ベクトルに基づいて移動物体の移動方向を求めている。ここでは合成移動ベクトルの大きさが所定の最低基準を超えた移動物体について上方向、右方向、左方向、下方向の４種類で移動方向を求めている（図５（ｃ）参照）。
【００２７】
これにより移動物体が撮影画像中において縦方向に移動しているのか（ＩＴＶカメラ２００が移動物体の進行方向に向けて配置されている場合）、それとも横方向に移動しているのか（ＩＴＶカメラ２００が移動物体の進行方向に対して直交する方向に向けて配置されている場合）が判る。
【００２８】
このように移動物体の移動方向はＩＴＶカメラ２００の向きに直接関係している。そのため、装置起動時だけでなく、カメラ画角操作機３００の画角信号がＩＴＶカメラ２００の向きの変化を検出したときは、移動物体の移動方向をその都度得るようにしている。この点の詳しいことは後述することにする。
【００２９】
パラメータ取得部４２は、移動物体領域抽出部４１により抽出された移動物体領域Ａに基づいて移動物体を追跡するのに必要な進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータを求めて設定する基本構成となっている。物体追跡部３１においては、長方形の進入検出領域Ｂに進入した移動物体を長方形の物体追跡テンプレートＣを用いて追跡しているが、進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータ調整をパラメータ取得部４２が自動的に行っている。また、移動物体領域Ａが複数あるときには、各領域毎にパラメータ調整を同様に行っている。
【００３０】
パラメータ取得部４２は具体的には以下のような方法で進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータを求めている。ここでは移動物体が撮影画像中において縦方向に移動する場合について説明する。
【００３１】
まず、進入検出領域Ｂのパラメータに関しては、移動物体領域Ａを移動物体の移動方向に複数に分割し（図示例では移動物体領域Ａが３つに分割）、分割された領域（図４中において分割移動物体領域Ａ１、Ａ２、Ａ３として示す）毎に移動物体の追跡を開始する長方形の進入検出領域Ｂ（図６中において進入検出領域Ｂ１、Ｂ２、Ｂ３として示す）をその中心位置が移動物体領域Ａの中心線（移動物体の移動方向と同じ方向の中心線）上に略来る位置に設定する。そして進入検出領域Ｂ１、Ｂ２、Ｂ３の各幅（移動物体の移動方向に対して直交する横方向の進入検出領域の長さ）を分割移動物体領域Ａ１、Ａ２、Ａ３の各幅（移動物体の移動方向に対して直交する横方向の分割移動物体領域の長さ）より若干大きめ、進入検出領域Ｂ１、Ｂ２、Ｂ３の各長さ（移動物体の移動方向と同じ縦方向の進入検出領域の長さ）を分割移動物体領域Ａ１、Ａ２、Ａ３の縦横比に応じて各々設定する。ここでは分割移動物体領域Ａ１、Ａ２、Ａ３の各長さについては、これらの各幅の約３／４に各々設定されている。
【００３２】
一方、物体追跡テンプレートＣのパラメータに関しては、図７及び図８に示す長方形の物体追跡テンプレートＣ１をその中心位置が移動物体の中心に略来る位置に設定する。そして、物体追跡テンプレートＣ１の幅（移動物体の移動方向に対して直交する横方向の物体追跡テンプレートの長さ）を移動物体領域Ａの幅方向の寸法と同じ且つ移動物体の移動方向に沿った２辺の長さがこれ以外の２辺の長さに比べて短くなるように、例えばその幅の約１／２の高さとなるとなるように随時設定するようになっている。
【００３３】
図７（ａ）に示す物体追跡テンプレートＣ１については移動物体が画面中縦方向に移動している場合に使用されるものである一方、図７（ｂ）に示す物体追跡テンプレートＣ２については移動物体が画面中横方向に移動している場合に使用されるものであり、いずれについても同図中に示すような縦横比に設定される。
【００３４】
移動物体が進入検出領域Ｂ１、Ｂ２、Ｂ３に順次進入すると、追跡処理が順次トリガーされるが、実際の追跡に使用されるのが物体追跡テンプレートＣ１である。進入検出領域Ｂ１、Ｂ２、Ｂ３に進入した後に使用される物体追跡テンプレートを便宜上、物体追跡テンプレートＣ１１、Ｃ１２、Ｃ１３として表すことにする。
【００３５】
ところで、移動物体領域Ａについては、図４、図６及び図８に示すように移動物体の移動方向に向かって幅が小さくなる。これは、移動物体が画面中縦方向に移動する場合だけでなく横方向に移動する場合も同様である。物体追跡テンプレートＣ１のパラメータは上記のように設定されることから、図８に示すように物体追跡テンプレートＣ１の幅もこれに合わせて小さくなる。即ち、物体追跡テンプレートＣ１１、Ｃ１２、Ｃ１３の幅はこの順番で小さくなり、この結果、移動物体とその特徴が多く現れる背景との境界部分のみが含まれる。これは物体追跡テンプレートＣ２が用いられる場合も全く同様である。
【００３６】
パラメータ取得部４２は、テンプレート画像を所定画素毎に間引いた間引きテンプレート（図１１参照）を物体追跡テンプレートＣ１として用い、その間引き割合を移動物体領域Ａの幅に対応して設定する機能も有している。即ち、物体追跡テンプレートＣ１１、Ｃ１２、Ｃ１３の間引き率を分割移動物体領域Ａ１、Ａ２、Ａ３の幅に比例した値に各々設定している。分割移動物体領域Ａ１、Ａ２、Ａ３の幅は上記したようにこの順番で小さくなるので、間引き率は物体追跡テンプレートＣ１１が最大になる。このようにするのは、画面の手前側の方で移動物体の大きさが相対的に大きくテンプレートの画素数が多いこと及び移動ベクトルが大きく探索範囲が広く、処理負荷が極端に大きくなるからであり、これによりマッチングに要する処理の高速化を図ることが可能になる。これは移動物体が画面中縦方向に移動する場合である。横方向に移動する場合、ＩＴＶカメラ２００から移動物体までの距離が変化しないならば、このときに使用される物体追跡テンプレートＣ１の間引き率については基本的に一定にすれば良い。
【００３７】
物体追跡部３１は、画像メモリ２０上の画像データに基づいて撮影画像中の移動物体を進入検出領域Ｂ及び物体追跡テンプレートＣを用いてテンプレートマッチングにより追跡してその位置情報を求める基本構成となっている。
【００３８】
具体的には、分割移動物体領域Ａ１、Ａ２、Ａ３に順次進入した移動物体を進入検出領域Ｂ１、Ｂ２、Ｂ３を用いて時間差分等の周知の検出方法により各々検出している。
【００３９】
その後、移動物体を物体追跡テンプレートＣ１１、Ｃ１２、Ｃ１３を用いてテンプレートマッチングにより順次追跡する。例えば、物体追跡テンプレートＣ１、Ｃ２、Ｃ３として図１２（Ａ）に示すような間引きテンプレートが用いられるときには、マッチングの演算はこれが一回行われる毎に、図１２（Ｂ）に示すように２画素飛ばしで順次移動して行われる。これは移動物体が画面中横方向に移動する場合に使用される物体追跡テンプレートＣ２を用いて追跡が行われる場合も同様である。その一方で、移動物体の追跡代表点の位置情報を順次求め、その位置変化から移動物体の移動ベクトルを求める。このようにして求められた位置情報及び移動ベクトルのデータは図外のメインメモリに順次保存される。
【００４０】
なお、移動物体領域Ａが複数ある場合、移動物体の追跡等が別々に行われるだけでその処理自体については上記と全く同様である。
【００４１】
物体追跡部３１は、移動物体を誤って追跡するのを防止するために、移動物体領域抽出部４１により抽出された移動物体領域Ａの幅が所定値以下になった位置でその後の移動物体の追跡を終了したり、移動物体領域Ａ上の移動物体の所定の追跡代表点が移動物体領域Ａから外れたときその後の移動物体の追跡を中断する機能も有した構成となっている。また、移動物体の追跡処理の高速化を図るために、図９に示すように追跡中の移動物体の移動ベクトルの推移から予測ベクトルを求めて次の移動先を推定し、図１０に示すように移動物体を探索する範囲を当該移動先を中心とした範囲に設定する機能も有した構成となっている。即ち、物体追跡テンプレートＣ１（又はＣ２）を用いて移動物体をマッチングにより走査して追跡するに当たり、走査する範囲を次の移動先を中心とした許容範囲に制限するようにする。
【００４２】
明度環境監視部５３は、撮影箇所付近の明度の変化を監視する機能を有した基本構成となっている。ここでは、画像メモリ２０上の画像データから画素の明度値の平均と標準偏差を求め、これにより昼／夜、曇天等により撮影付近の明度が大きく変化したことを検出している。具体的には、撮影画像の画面中心付近（上下左右50ドットずつ除外した部分）の明度の平均値、標準偏差の２つの値に対してしきい値を設けて、主として昼間と夜間とを区別している。昼間については光量が多く影の影響もあるので、しきい値を高くして感度を下げた状態で検出する一方、夜問については光量が少ないため、しきい値を低くして感度を上げて検出する。このような昼間か夜間等であるかを区別した結果は、移動物体が追跡開始の進入検出領域に進入したか否かを判断する際のしきい値を設定するために使用している。
【００４３】
パラメータ調整部４３は、明度環境監視部５３の検出結果が入力されており、撮影箇所付近の明度に変化が現れたときパラメータ取得部４２を再動作させる基本構成となっている。即ち、撮影箇所付近の明度が変化したときには、パラメータ調整部４３によりパラメータ取得部４２が再動作することから、進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータＣが求められて再設定され、その結果、これらのパラメータが撮影箇所付近の現在の明度に応じた適切なものに変更される。
【００４４】
移動物体領域監視部５１は、移動物体領域抽出部４１により抽出された移動物体領域Ａの数の変化を監視する機能を有した基本構成となっている。即ち、現在の移動物体領域Ａと、過去のある一定時間に移動物体領域侯補として投票された画素とを比較し、移動物体領域Ａとして登録されていない部分でしきい値以上の投票が行われることを検出したときには、移動物体領域Ａの数に変化が現れたとして、この監視結果を移動物体領域調整部４４に出力するようになっている。
【００４５】
画角監視部５２は、カメラ画角操作機３００から入力された画角信号に基づいてカメラの画角変化を監視する機能を有した基本構成となっている。カメラ画角操作機３００はＩＴＶカメラ２００の向きを手動又は自動で変化させる装置であり、ＩＴＶカメラ２００の仰角、旋回角度を各々示すデータを画角信号として出力している。また、ＩＴＶカメラ２００は、撮影のズームアップ量を信号（図示省略）として出力している。画角監視部５２は、上記画角信号等を通じてＩＴＶカメラ２００の仰角、旋回角度、ズームアップ量を常に監視し、これらの監視結果を移動物体領域調整部４４に出力するようになっている。
【００４６】
移動物体領域調整部４４は、移動物体領域監視部５１及び画角監視部５２の監視結果が入力され、ＩＴＶカメラ２００の画角変化、ズームアップ量又は移動物体領域Ａの数の変化が現れたときは、移動物体領域抽出部４１を再動作させる基本構成となっている。即ち、 ＩＴＶカメラ２００の画角変化等が変化したときには、移動物体領域調整部４４により移動物体領域抽出部４１が再動作することから、移動物体領域Ａの抽出及び移動物体の移動方向等が求め直される。この場合、パラメータ取得部４２も再動作し、進入検出領域パラメータ及び物体追跡パラメータが求められて再設定される。
【００４７】
停止判定部３２は、画像メモリ２０上の画像データに基づいて撮影画像中の移動物体の停止を判定する基本構成となっている。ここでは物体追跡部３１により求められた移動物体の移動ベクトルの速度成分が０を示し、その状態が所定時間以上継続したときは、移動物体が停止していると判定するようになっている。
【００４８】
出力部６０は、撮影画像中に移動物体が存在していること又は移動物体が停止していることを外部出力する基本構成となっている。また、出力部６０は、移動物体領域抽出部４１により撮影画像から移動物体領域Ａが抽出されたとき、撮影画像中に反復的な移動を繰り返す移動物体が存在する旨を示す信号、停止判定部３２により撮影画像中の移動物体の停止していると判定されたとき、その旨を示す信号、設定操作部（図示省略）の操作に応じてメモリ上の追跡データや移動ベクトル等のデータが読み出されたとき、このデータを含んだ信号も出力するようになっている。
【００４９】
次に、上記のように構成された移動物体追跡装置の動作について図２を参照して説明する
【００５０】
まず、電源スイッチが投入されると、初期設定を行う（Ｓ１）。すると、ＩＴＶカメラ２００から入力された画像データが画像メモリ２０に順次記録される一方、画像メモリ２０上の画像データが６６ｍｓ毎に順次読み出される。読み出された画像データに対して時間差分処理及び二値化処理等を順次行い、この過程で撮影画像中の移動物体領域Ａを抽出するとともに移動物体の移動方向等を求める（Ｓ２）。
【００５１】
このようにして求められた移動物体領域Ａ及び移動物体の移動方向に基づいて進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータ等を求め（Ｓ３）、撮影画像中に映し出される移動物体をテンプレートマッチングにより追跡する（Ｓ４）。その後、移動物体が停止していないか否かを判定し（Ｓ５）、停止していると判定したときはその旨を信号として外部出力する（Ｓ６）。ＩＴＶカメラ２００の画質が悪化したときも同様である。
【００５２】
移動物体の追跡等の処理（Ｓ４、Ｓ５、Ｓ６）とは別に、撮影付近の明度の変化、ＩＴＶカメラ２００の画角変化、移動物体領域Ａの数に変化等を各々監視するという監視処理を並列して行う（Ｓ７、Ｓ８、Ｓ９）。
【００５３】
この結果、撮影付近の明度等に変化がないときには、移動物体の追跡等の処理及び監視処理を繰り返し行う（Ｓ１０）。一方、撮影付近の明度の変化が発生したときには、進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータ等を求め直して調整する（Ｓ２）。ＩＴＶカメラ２００の画角変化等が発生したときには、移動物体領域Ａ及び移動物体の移動方向等を求め直して調整する。移動物体領域Ａの数が増加したとき同様であるが、このときにはその旨を信号として外部出力する一方、増加した分の移動物体領域Ａ及び移動物体の移動方向等を求める（Ｓ３）。以後は、移動物体の追跡等の処理及び監視処理が上記と同様に行われる。
【００５４】
このように移動物体追跡装置による場合、進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータが自動的に調整されることから、従来とは異なり調整作業そのものが不要になる。しかもパラメータが撮影付近の明度の変化にも関係なく移動物体領域Ａの幅等に応じて適切に調整されることから、移動物体の追跡を精度良く行うことが可能になる。また、間引きテンプレートを用いる等、処理の負担が小さくされているので、処理の高速化も図られている。ＩＴＶカメラ２００の画角が変化してもパラメータが自動的に調整されることから、ＩＴＶカメラ２００として旋回式のものを用いることが可能であり、装置の適用範囲が広くなる。加えて、テンプレートマッチングの演算処理負荷を小さくなってので、画素数の多い大きな移動物体の追跡にテンプレートマヅチングが適用可能となり、カメラの向きに対する自由度も大きくなる。これらの点で従来に比べて装置としての大幅な高性能化を実現することが可能になった。
【図面の簡単な説明】
【００５５】
【図１】以下、本発明の実施の形態を説明するための図であって、移動物体追跡装置の構成図である。
【図２】同装置のフローチャートである。
【図３】移動物体領域抽出のアルゴリズムを画像処理の流れで表した説明図である。
【図４】抽出された移動物体領域を表す模式図である。
【図５】移動物体領域上の移動物体の移動方向を求める方法を説明するための説明図である。
【図６】移動物体領域に進入検出領域のパラメータが設定される様子を示す模式図である。
【図７】物体追跡テンプレートの形状を示す図である。
【図８】移動物体領域に物体追跡テンプレートのパラメータが設定される様子を示す模式図である。
【図９】移動物体の移動ベクトルの推移から次の移動ベクトルを予測する様子を示す図である。
【図１０】予測ベクトルとテンプレート探索範囲との関係を示す図である。
【図１１】間引きテンプレートを示す図である。
【図１２】間引きテンプレートによる探索を示す模式図である。
【符号の説明】
【００５６】
１００ 移動物体追跡装置
１０ 画像取込部
２０ 画像メモリ
３０ 機能ブロック
３１ 物体追跡部
３２ 停止判定部
４０ 機能ブロック
４１ 移動物体領域抽出部
４２ パラメータ取得部
４３ パラメータ調整部
４４ 移動物体領域調整部
５０ 機能ブロック
５１ 移動物体領域監視部
５２ 画角監視部
５３ 明度環境監視部
６０ 出力部
２００ ＩＴＶカメラ
３００ カメラ画角操作機
【技術分野】
【０００１】
本発明は例えば道路上の車両交通流や道路の人の流れ等を把握するのに利用される移動物体追跡装置に関する。
【背景技術】
【０００２】
この種の移動物体追跡装置は、カメラの撮影画面からテンプレートマッチングにより移動物体を認識して個別に追跡する等の機能を有した装置であって、移動物体が進入してきたことを検出し、その一部又は全部を含めた部分を初期テンプレートとして扱う物体検出手段と、次の撮影画面の中からテンプレートマッチングにより類似度の高い部分を移動後の移動物体として把握し、これを繰り返し行って移動物体の追跡を行う物体追跡手段とを有した基本構成となっている（例えば、特許文献1 等がある) 。
【特許文献１】特開２００２−３１２８９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来例による場合、装置設置時に行うことが必要なパラメータ調整に関しては、サンプル画像を用いて手順化された手作業により行っているのが現状であり、この作業が煩わしいという問題がある。特に、外乱による変動が発生したり対象移動物体の特徴が不均一であったりすると、パラメータ調整に多大な時間を要する。また、手作業で行っている以上、作業者間のバラツキが大きい。しかも追跡に影響する全てのサンプル画像を予め準備しておくことも不可能であり、そのため、例えば、落雷の発生や照明の球切れ等の突発的な状況に対応することが非常に困難である。これらの点が装置の追跡性能の向上を図る上で大きな障害になっている。
【０００４】
また、運用時には撮影用カメラの方向を厳重に管理することも必要不可欠である。撮影用カメラの向きが変わるとパラメータ調整を再度行うことが必要だからである。さらに、同装置は旋回式のカメラに適用することは非常に困難であり、テンプレートマッチング方式を用いている以上、演算処理の負担が大きく、処理速度の向上を図ると装置自体が大幅なコスト高になるという別の欠点もある。
【０００５】
本発明は上記した背景の下で創作されたものであり、その主たる目的とするところは、テンプレートのパラメータ調整を手作業で行うことなく装置本来の機能を十分に発揮させることが可能な移動物体追跡装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る移動物体追跡装置は、移動物体を撮影するカメラから入力された画像データを順次記録する画像メモリと、画像メモリ上の画像データに基づいて撮影画像から反復的な移動を繰り返す移動物体の軌跡である移動物体領域を抽出する移動物体領域抽出部と、移動物体領域に基づいて移動物体を追跡するのに必要な進入検出領域及び物体追跡テンプレートのパラメータを求めて設定するパラメータ取得部と、画像メモリ上の画像データに基づいて撮影画像中の移動物体を当該進入検出領域及び物体追跡テンプレートを用いて追跡してその位置情報を求める物体追跡部と、撮影箇所付近の明度の変化を監視する明度環境監視部と、撮影箇所付近の明度に変化が現れたときパラメータ取得部を再動作させるパラメータ調整部と、カメラ画角操作機から入力された画角信号に基づいてカメラの画角変化を監視する画角監視部と、移動物体領域抽出部により抽出された移動物体領域の数の変化を監視する移動物体領域監視部と、少なくともカメラの画角変化又は移動物体領域の数の変化が現れたとき移動物体領域抽出部及びパラメータ取得部を再動作させる移動物体領域調整部とを具備している。
【０００７】
好ましくは、画像メモリ上の画像データに基づいて前記撮影画像中の移動物体が停止しているか否かを判定する停止判定部と、少なくとも撮影画像中に移動物体が存在していること又は移動物体が停止していることを外部出力する出力部とを構成的に付加するようにすると良い。
【０００８】
移動物体領域抽出部については、移動物体領域を抽出するに当たり、時間差分画像を順次求める一方、一定時間前の時間差分画像と現在の時問差分画像との間で共通する部分を移動物体領域候補として求め、当該移動物体領域候補の各画素に対して一定時間に候補となった回数を求め、候補となった回数がしきい値を超える画素を選別し、当該画素により構成される領域を移動物体領域とする機能を有した構成のものを用いると良い。
【０００９】
また、移動物体領域抽出部が移動物体の移動方向をオプティカルフローにより求める機能を有し且つ進入検出領域及び物体追跡テンプレートが長方形である場合、パラメータ取得部については、長方形の進入検出領域のパラメータに関して、移動物体領域を移動物体の移動方向に複数に分割し、分割された領域毎に移動物体の追跡を開始する進入検出領域をその中心位置が移動物体領域の移動方向の中心線上に略来る位置に各々設定し、当該進入検出領域の幅を当該移動物体領域の幅より若干大きめ、当該進入検出領域の長さを当該移動物体領域の縦横比に応じて各々設定する一方、長方形の物体追跡テンプレートのパラメータに関して、物体追跡テンプレートの中心位置が移動物体の中心に略来る位置に設定し、当該物体追跡テンプレートの幅を当該移動物体領域の幅と同じ、当該物体追跡テンプレートの長さをその幅に比べて小さく設定する構成となっているものを用いると良い。
【００１０】
より好ましくは、テンプレート画像を所定画素毎に間引いた間引きテンプレートを物体追跡テンプレートとして用い、その間引き割合を移動物体領域の幅に対応して設定する機能を有した構成となっているものを用いることが望ましい。
【００１１】
物体追跡部については、移動物体領域の幅が所定値以下になった位置で当該移動物体の追跡を終了する及び／又は移動物体領域上の移動物体の追跡代表点が当該移動物体領域から外れたとき当該移動物体の追跡を中断させる機能を有した構成のものを用いることが望ましい。
【００１２】
また、追跡中の移動物体の移動ベクトルを随時求め、当該移動べクトルの推移から次の移動先を推定し、移動物体を探索する範囲を当該移動先を中心とした範囲に設定する機能を有した構成のものを用いることが望ましい。
【発明の効果】
【００１３】
以上、本発明に係る移動物体追跡装置による場合、進入検出領域及び物体追跡テンプレートのパラメータが自動的に調整されることから、人手によりパラメータ調整を行うことなく装置本来の機能を十分に発揮させることが可能になる。また、撮影箇所付近の明度の変化、カメラの画角変化又は移動物体の状況の変化等に応じて、そのパラメータがその都度再調整されることから、装置の追跡精度が高くなる。しかもカメラとして旋回式のものを用いることも可能であり、装置の適用範囲が広くなる。それ故、装置の高性能化を図る上で大きな意義がある。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を図面を参照して説明する。図１は移動物体追跡装置の構成図、図２は同装置のフローチャート、図３は移動物体領域抽出のアルゴリズムを画像処理の流れで表した説明図、図４は抽出された移動物体領域を表す模式図、図５は移動物体領域上の移動物体の移動方向を求める方法を説明するための説明図、図６は移動物体領域に進入検出領域が設定される様子を示す模式図、図７は物体追跡テンプレートの形状を示す図、図８は移動物体領域に物体追跡テンプレートのパラメータが設定される様子を示す模式図、図９は移動物体の移動ベクトルの推移から予測された次の移動ベクトルを示す図、図１０は予測ベクトルとテンプレート探索範囲との関係を示す図、図１１は間引きテンプレートを示す図、図１２は間引きテンプレートによる探索を示す模式図である。
【００１５】
ここに掲げる移動物体追跡装置１００は、例えば、道路上の車両交通流や通路の人の流れを測定するのに使用される装置であって、図１に示されているように道路沿いや通路天井等に設置されたＩＴＶカメラ２００から出力された画像データ及びＩＴＶカメラ２００の画角を調整するカメラ画角調整機３００から出力された画角信号が入力されており、これらの入力データに基づいて、ＩＴＶカメラ２００により撮影された移動物体を個別に追跡するとともに、移動物体が監視範囲に存在することやその動きが停止することを検知する等の機能を有している。
【００１６】
同装置１００は、ＩＴＶカメラ２００から入力された画像を周期的に取り込んでＡ／Ｄ変換等を行う画像取込部１０と、デジタル値に変換された画像データを順次保存する画像メモリ２０と、画像メモリ２０上の画像データが順次入力されたＣＰＵ等であってそのソフトウエアを順次実行して種々の機能を発揮する機能ブロック３０、４０、５０と、装置としての検知結果を外部出力する出力部６０とを備えた基本構成となっている。
【００１７】
機能ブロック３０〜５０は、説明の便宜上、構成に含めて記載しているものであり、具体的には以下のような機能を有している。即ち、機能ブロック３０は物体追跡部３１及び停止判定部３２から構成されている。機能ブロック４０は移動物体領域抽出部４１、パラメータ取得部４２、パラメータ調整部４３と呼び移動物体領域調整部４４から構成されている。機能ブロック５０は移動物体領域監視部５１、画角監視部５２及び明度環境監視部５３から構成されている。なお、スイッチや各種設定を行うための操作入力部については図示省略されている。以下、各部の詳細を説明する。
【００１８】
移動物体領域抽出部４１は、画像メモリ２０上の画像データに基づいて撮影画像から反復的な移動を繰り返す移動物体の軌跡である移動物体領域Ａ（図４参照）を抽出するとともに移動物体の移動方向をオプティカルフローにより求める基本構成となっている。移動物体領域を抽出するに当たっては、時間差分画像を順次求める一方、一定時間前の時間差分画像と現在の時問差分画像との間で共通する部分を移動物体領域候補として求め、この移動物体領域候補の各画素に対して一定時間に候補となった回数を求め、候補となった回数がしきい値を超える画素を選別し、この画素により構成される領域を移動物体領域とするようになっている。
【００１９】
即ち、撮影画像中の移動物体領域Ａの抽出には、移動物体が移動している可能性の高い画素を画像メモリ２０上に一定量蓄積（投票）するという方法により行う。移動物体を検出するに当たっては、周囲明度環境の変化に対して安定な時間差分をベースとして行っている。ただ、時間差分のみで移動物体を検出すると、対象外の物体の揺れや影、影像信号ノイズの影響を受け易いので、連続する時間差分の重なり部分だけを投票するようにしている。このような処理の方式において、画像中に映し出された移動物体が縦方向に移動している場合、時間差分が重なり易い画面の奥の方（撮影画像中の上部分）では投票効率が良く、逆に画面の手前の方（撮影画像中の下部分）では悪いことから、この投票の格差を無くすために１回の投票の割合を画面の奥側で小さく、手前で大きくなるように重み付けをするようにしている。
【００２０】
具体的な処理の流れは図３に示す通りである。画像メモリ２０上の画像データをここでは６６ｍｓ毎に順次読み出す。これらの画像データの各画像を入力画像１、２、３、４、５、６、７・・・として表すこととする。そして、読み出した画像データに対して次のように画像処理を行う。
【００２１】
まず、入力画像１及び入力画像２を差分して濃淡画像１を求め、その後、二値化処理して２値画像１を求め、ノイズ除去して２値画像２を求める。入力画像２及び入力画像３に対しても同様の処理を行い２値画像２’を求める。そして２値画像２と２値画像２’とを論理積して２値画像３を求め、その後、ノイズ除去を行って２値画像４を求め、膨張・収縮の処理を行って２値画像５を求める。
【００２２】
そして、上記した重み付けを行うために予め用意しておいた濃淡画像２（重み画像）と２値画像５とを論理積して濃淡画像３３を求め、その後、最大フィルタの処理を行って濃淡画像４を求め、最小フィルタの処理を行って濃淡画像５を求める。
【００２３】
入力画像１、２、３に対して行った上記一連の処理にて生成された濃淡画像５の明度値と、移動物体領域抽出開始ときにリセットしておいた濃淡画像６の明度値を加算し濃淡画像６’を求め、次に入力画像２、３、４に対しても同様に濃淡画像５’と濃淡画像６’を加算し濃淡画像６''を求める。以後、上記処理が入力画像３、４、５・・・に対して順次行われる。
【００２４】
このような処理により撮影画像から移動物体領域Ａのみが抽出され、抽出された部分のうち所定の基準を超えた画素のみを更に抽出するようにすると、移動物体領域画像が得られる。移動物体領域画像に示された移動物体領域Ａは移動物体が移動している可能性が高い領域を示すことになる。
【００２５】
図４は移動物体が撮影画像中の上下方向（縦方向）に移動している場合の移動物体領域画像を示している。この移動物体領域画像は移動物体の移動方向のデータとともにメインメモリ（図示省略）に随時記録される。移動物体領域Ａが複数であるときには、各領域を区別するためにラベリングが行われ、ラベリングに係る番号も記録対象に含められる。
【００２６】
移動物体の移動方向については次のようにして求めている。即ち、移動物体領域内の画素の点をオプティカルフローの対象とし（図５（ａ）参照）、オプティカルフローの対象とされた各点の移動ベクトルの成分を求めるとともにこれらの成分を加算し（図５（ｂ）参照）、加算して得られた合成移動ベクトルに基づいて移動物体の移動方向を求めている。ここでは合成移動ベクトルの大きさが所定の最低基準を超えた移動物体について上方向、右方向、左方向、下方向の４種類で移動方向を求めている（図５（ｃ）参照）。
【００２７】
これにより移動物体が撮影画像中において縦方向に移動しているのか（ＩＴＶカメラ２００が移動物体の進行方向に向けて配置されている場合）、それとも横方向に移動しているのか（ＩＴＶカメラ２００が移動物体の進行方向に対して直交する方向に向けて配置されている場合）が判る。
【００２８】
このように移動物体の移動方向はＩＴＶカメラ２００の向きに直接関係している。そのため、装置起動時だけでなく、カメラ画角操作機３００の画角信号がＩＴＶカメラ２００の向きの変化を検出したときは、移動物体の移動方向をその都度得るようにしている。この点の詳しいことは後述することにする。
【００２９】
パラメータ取得部４２は、移動物体領域抽出部４１により抽出された移動物体領域Ａに基づいて移動物体を追跡するのに必要な進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータを求めて設定する基本構成となっている。物体追跡部３１においては、長方形の進入検出領域Ｂに進入した移動物体を長方形の物体追跡テンプレートＣを用いて追跡しているが、進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータ調整をパラメータ取得部４２が自動的に行っている。また、移動物体領域Ａが複数あるときには、各領域毎にパラメータ調整を同様に行っている。
【００３０】
パラメータ取得部４２は具体的には以下のような方法で進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータを求めている。ここでは移動物体が撮影画像中において縦方向に移動する場合について説明する。
【００３１】
まず、進入検出領域Ｂのパラメータに関しては、移動物体領域Ａを移動物体の移動方向に複数に分割し（図示例では移動物体領域Ａが３つに分割）、分割された領域（図４中において分割移動物体領域Ａ１、Ａ２、Ａ３として示す）毎に移動物体の追跡を開始する長方形の進入検出領域Ｂ（図６中において進入検出領域Ｂ１、Ｂ２、Ｂ３として示す）をその中心位置が移動物体領域Ａの中心線（移動物体の移動方向と同じ方向の中心線）上に略来る位置に設定する。そして進入検出領域Ｂ１、Ｂ２、Ｂ３の各幅（移動物体の移動方向に対して直交する横方向の進入検出領域の長さ）を分割移動物体領域Ａ１、Ａ２、Ａ３の各幅（移動物体の移動方向に対して直交する横方向の分割移動物体領域の長さ）より若干大きめ、進入検出領域Ｂ１、Ｂ２、Ｂ３の各長さ（移動物体の移動方向と同じ縦方向の進入検出領域の長さ）を分割移動物体領域Ａ１、Ａ２、Ａ３の縦横比に応じて各々設定する。ここでは分割移動物体領域Ａ１、Ａ２、Ａ３の各長さについては、これらの各幅の約３／４に各々設定されている。
【００３２】
一方、物体追跡テンプレートＣのパラメータに関しては、図７及び図８に示す長方形の物体追跡テンプレートＣ１をその中心位置が移動物体の中心に略来る位置に設定する。そして、物体追跡テンプレートＣ１の幅（移動物体の移動方向に対して直交する横方向の物体追跡テンプレートの長さ）を移動物体領域Ａの幅方向の寸法と同じ且つ移動物体の移動方向に沿った２辺の長さがこれ以外の２辺の長さに比べて短くなるように、例えばその幅の約１／２の高さとなるとなるように随時設定するようになっている。
【００３３】
図７（ａ）に示す物体追跡テンプレートＣ１については移動物体が画面中縦方向に移動している場合に使用されるものである一方、図７（ｂ）に示す物体追跡テンプレートＣ２については移動物体が画面中横方向に移動している場合に使用されるものであり、いずれについても同図中に示すような縦横比に設定される。
【００３４】
移動物体が進入検出領域Ｂ１、Ｂ２、Ｂ３に順次進入すると、追跡処理が順次トリガーされるが、実際の追跡に使用されるのが物体追跡テンプレートＣ１である。進入検出領域Ｂ１、Ｂ２、Ｂ３に進入した後に使用される物体追跡テンプレートを便宜上、物体追跡テンプレートＣ１１、Ｃ１２、Ｃ１３として表すことにする。
【００３５】
ところで、移動物体領域Ａについては、図４、図６及び図８に示すように移動物体の移動方向に向かって幅が小さくなる。これは、移動物体が画面中縦方向に移動する場合だけでなく横方向に移動する場合も同様である。物体追跡テンプレートＣ１のパラメータは上記のように設定されることから、図８に示すように物体追跡テンプレートＣ１の幅もこれに合わせて小さくなる。即ち、物体追跡テンプレートＣ１１、Ｃ１２、Ｃ１３の幅はこの順番で小さくなり、この結果、移動物体とその特徴が多く現れる背景との境界部分のみが含まれる。これは物体追跡テンプレートＣ２が用いられる場合も全く同様である。
【００３６】
パラメータ取得部４２は、テンプレート画像を所定画素毎に間引いた間引きテンプレート（図１１参照）を物体追跡テンプレートＣ１として用い、その間引き割合を移動物体領域Ａの幅に対応して設定する機能も有している。即ち、物体追跡テンプレートＣ１１、Ｃ１２、Ｃ１３の間引き率を分割移動物体領域Ａ１、Ａ２、Ａ３の幅に比例した値に各々設定している。分割移動物体領域Ａ１、Ａ２、Ａ３の幅は上記したようにこの順番で小さくなるので、間引き率は物体追跡テンプレートＣ１１が最大になる。このようにするのは、画面の手前側の方で移動物体の大きさが相対的に大きくテンプレートの画素数が多いこと及び移動ベクトルが大きく探索範囲が広く、処理負荷が極端に大きくなるからであり、これによりマッチングに要する処理の高速化を図ることが可能になる。これは移動物体が画面中縦方向に移動する場合である。横方向に移動する場合、ＩＴＶカメラ２００から移動物体までの距離が変化しないならば、このときに使用される物体追跡テンプレートＣ１の間引き率については基本的に一定にすれば良い。
【００３７】
物体追跡部３１は、画像メモリ２０上の画像データに基づいて撮影画像中の移動物体を進入検出領域Ｂ及び物体追跡テンプレートＣを用いてテンプレートマッチングにより追跡してその位置情報を求める基本構成となっている。
【００３８】
具体的には、分割移動物体領域Ａ１、Ａ２、Ａ３に順次進入した移動物体を進入検出領域Ｂ１、Ｂ２、Ｂ３を用いて時間差分等の周知の検出方法により各々検出している。
【００３９】
その後、移動物体を物体追跡テンプレートＣ１１、Ｃ１２、Ｃ１３を用いてテンプレートマッチングにより順次追跡する。例えば、物体追跡テンプレートＣ１、Ｃ２、Ｃ３として図１２（Ａ）に示すような間引きテンプレートが用いられるときには、マッチングの演算はこれが一回行われる毎に、図１２（Ｂ）に示すように２画素飛ばしで順次移動して行われる。これは移動物体が画面中横方向に移動する場合に使用される物体追跡テンプレートＣ２を用いて追跡が行われる場合も同様である。その一方で、移動物体の追跡代表点の位置情報を順次求め、その位置変化から移動物体の移動ベクトルを求める。このようにして求められた位置情報及び移動ベクトルのデータは図外のメインメモリに順次保存される。
【００４０】
なお、移動物体領域Ａが複数ある場合、移動物体の追跡等が別々に行われるだけでその処理自体については上記と全く同様である。
【００４１】
物体追跡部３１は、移動物体を誤って追跡するのを防止するために、移動物体領域抽出部４１により抽出された移動物体領域Ａの幅が所定値以下になった位置でその後の移動物体の追跡を終了したり、移動物体領域Ａ上の移動物体の所定の追跡代表点が移動物体領域Ａから外れたときその後の移動物体の追跡を中断する機能も有した構成となっている。また、移動物体の追跡処理の高速化を図るために、図９に示すように追跡中の移動物体の移動ベクトルの推移から予測ベクトルを求めて次の移動先を推定し、図１０に示すように移動物体を探索する範囲を当該移動先を中心とした範囲に設定する機能も有した構成となっている。即ち、物体追跡テンプレートＣ１（又はＣ２）を用いて移動物体をマッチングにより走査して追跡するに当たり、走査する範囲を次の移動先を中心とした許容範囲に制限するようにする。
【００４２】
明度環境監視部５３は、撮影箇所付近の明度の変化を監視する機能を有した基本構成となっている。ここでは、画像メモリ２０上の画像データから画素の明度値の平均と標準偏差を求め、これにより昼／夜、曇天等により撮影付近の明度が大きく変化したことを検出している。具体的には、撮影画像の画面中心付近（上下左右50ドットずつ除外した部分）の明度の平均値、標準偏差の２つの値に対してしきい値を設けて、主として昼間と夜間とを区別している。昼間については光量が多く影の影響もあるので、しきい値を高くして感度を下げた状態で検出する一方、夜問については光量が少ないため、しきい値を低くして感度を上げて検出する。このような昼間か夜間等であるかを区別した結果は、移動物体が追跡開始の進入検出領域に進入したか否かを判断する際のしきい値を設定するために使用している。
【００４３】
パラメータ調整部４３は、明度環境監視部５３の検出結果が入力されており、撮影箇所付近の明度に変化が現れたときパラメータ取得部４２を再動作させる基本構成となっている。即ち、撮影箇所付近の明度が変化したときには、パラメータ調整部４３によりパラメータ取得部４２が再動作することから、進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータＣが求められて再設定され、その結果、これらのパラメータが撮影箇所付近の現在の明度に応じた適切なものに変更される。
【００４４】
移動物体領域監視部５１は、移動物体領域抽出部４１により抽出された移動物体領域Ａの数の変化を監視する機能を有した基本構成となっている。即ち、現在の移動物体領域Ａと、過去のある一定時間に移動物体領域侯補として投票された画素とを比較し、移動物体領域Ａとして登録されていない部分でしきい値以上の投票が行われることを検出したときには、移動物体領域Ａの数に変化が現れたとして、この監視結果を移動物体領域調整部４４に出力するようになっている。
【００４５】
画角監視部５２は、カメラ画角操作機３００から入力された画角信号に基づいてカメラの画角変化を監視する機能を有した基本構成となっている。カメラ画角操作機３００はＩＴＶカメラ２００の向きを手動又は自動で変化させる装置であり、ＩＴＶカメラ２００の仰角、旋回角度を各々示すデータを画角信号として出力している。また、ＩＴＶカメラ２００は、撮影のズームアップ量を信号（図示省略）として出力している。画角監視部５２は、上記画角信号等を通じてＩＴＶカメラ２００の仰角、旋回角度、ズームアップ量を常に監視し、これらの監視結果を移動物体領域調整部４４に出力するようになっている。
【００４６】
移動物体領域調整部４４は、移動物体領域監視部５１及び画角監視部５２の監視結果が入力され、ＩＴＶカメラ２００の画角変化、ズームアップ量又は移動物体領域Ａの数の変化が現れたときは、移動物体領域抽出部４１を再動作させる基本構成となっている。即ち、 ＩＴＶカメラ２００の画角変化等が変化したときには、移動物体領域調整部４４により移動物体領域抽出部４１が再動作することから、移動物体領域Ａの抽出及び移動物体の移動方向等が求め直される。この場合、パラメータ取得部４２も再動作し、進入検出領域パラメータ及び物体追跡パラメータが求められて再設定される。
【００４７】
停止判定部３２は、画像メモリ２０上の画像データに基づいて撮影画像中の移動物体の停止を判定する基本構成となっている。ここでは物体追跡部３１により求められた移動物体の移動ベクトルの速度成分が０を示し、その状態が所定時間以上継続したときは、移動物体が停止していると判定するようになっている。
【００４８】
出力部６０は、撮影画像中に移動物体が存在していること又は移動物体が停止していることを外部出力する基本構成となっている。また、出力部６０は、移動物体領域抽出部４１により撮影画像から移動物体領域Ａが抽出されたとき、撮影画像中に反復的な移動を繰り返す移動物体が存在する旨を示す信号、停止判定部３２により撮影画像中の移動物体の停止していると判定されたとき、その旨を示す信号、設定操作部（図示省略）の操作に応じてメモリ上の追跡データや移動ベクトル等のデータが読み出されたとき、このデータを含んだ信号も出力するようになっている。
【００４９】
次に、上記のように構成された移動物体追跡装置の動作について図２を参照して説明する
【００５０】
まず、電源スイッチが投入されると、初期設定を行う（Ｓ１）。すると、ＩＴＶカメラ２００から入力された画像データが画像メモリ２０に順次記録される一方、画像メモリ２０上の画像データが６６ｍｓ毎に順次読み出される。読み出された画像データに対して時間差分処理及び二値化処理等を順次行い、この過程で撮影画像中の移動物体領域Ａを抽出するとともに移動物体の移動方向等を求める（Ｓ２）。
【００５１】
このようにして求められた移動物体領域Ａ及び移動物体の移動方向に基づいて進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータ等を求め（Ｓ３）、撮影画像中に映し出される移動物体をテンプレートマッチングにより追跡する（Ｓ４）。その後、移動物体が停止していないか否かを判定し（Ｓ５）、停止していると判定したときはその旨を信号として外部出力する（Ｓ６）。ＩＴＶカメラ２００の画質が悪化したときも同様である。
【００５２】
移動物体の追跡等の処理（Ｓ４、Ｓ５、Ｓ６）とは別に、撮影付近の明度の変化、ＩＴＶカメラ２００の画角変化、移動物体領域Ａの数に変化等を各々監視するという監視処理を並列して行う（Ｓ７、Ｓ８、Ｓ９）。
【００５３】
この結果、撮影付近の明度等に変化がないときには、移動物体の追跡等の処理及び監視処理を繰り返し行う（Ｓ１０）。一方、撮影付近の明度の変化が発生したときには、進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータ等を求め直して調整する（Ｓ２）。ＩＴＶカメラ２００の画角変化等が発生したときには、移動物体領域Ａ及び移動物体の移動方向等を求め直して調整する。移動物体領域Ａの数が増加したとき同様であるが、このときにはその旨を信号として外部出力する一方、増加した分の移動物体領域Ａ及び移動物体の移動方向等を求める（Ｓ３）。以後は、移動物体の追跡等の処理及び監視処理が上記と同様に行われる。
【００５４】
このように移動物体追跡装置による場合、進入検出領域Ｂ及び物体追跡テンプレートＣのパラメータが自動的に調整されることから、従来とは異なり調整作業そのものが不要になる。しかもパラメータが撮影付近の明度の変化にも関係なく移動物体領域Ａの幅等に応じて適切に調整されることから、移動物体の追跡を精度良く行うことが可能になる。また、間引きテンプレートを用いる等、処理の負担が小さくされているので、処理の高速化も図られている。ＩＴＶカメラ２００の画角が変化してもパラメータが自動的に調整されることから、ＩＴＶカメラ２００として旋回式のものを用いることが可能であり、装置の適用範囲が広くなる。加えて、テンプレートマッチングの演算処理負荷を小さくなってので、画素数の多い大きな移動物体の追跡にテンプレートマヅチングが適用可能となり、カメラの向きに対する自由度も大きくなる。これらの点で従来に比べて装置としての大幅な高性能化を実現することが可能になった。
【図面の簡単な説明】
【００５５】
【図１】以下、本発明の実施の形態を説明するための図であって、移動物体追跡装置の構成図である。
【図２】同装置のフローチャートである。
【図３】移動物体領域抽出のアルゴリズムを画像処理の流れで表した説明図である。
【図４】抽出された移動物体領域を表す模式図である。
【図５】移動物体領域上の移動物体の移動方向を求める方法を説明するための説明図である。
【図６】移動物体領域に進入検出領域のパラメータが設定される様子を示す模式図である。
【図７】物体追跡テンプレートの形状を示す図である。
【図８】移動物体領域に物体追跡テンプレートのパラメータが設定される様子を示す模式図である。
【図９】移動物体の移動ベクトルの推移から次の移動ベクトルを予測する様子を示す図である。
【図１０】予測ベクトルとテンプレート探索範囲との関係を示す図である。
【図１１】間引きテンプレートを示す図である。
【図１２】間引きテンプレートによる探索を示す模式図である。
【符号の説明】
【００５６】
１００ 移動物体追跡装置
１０ 画像取込部
２０ 画像メモリ
３０ 機能ブロック
３１ 物体追跡部
３２ 停止判定部
４０ 機能ブロック
４１ 移動物体領域抽出部
４２ パラメータ取得部
４３ パラメータ調整部
４４ 移動物体領域調整部
５０ 機能ブロック
５１ 移動物体領域監視部
５２ 画角監視部
５３ 明度環境監視部
６０ 出力部
２００ ＩＴＶカメラ
３００ カメラ画角操作機
【特許請求の範囲】
【請求項１】
移動物体を撮影するカメラから入力された画像データを順次記録する画像メモリと、画像メモリ上の画像データに基づいて撮影画像から反復的な移動を繰り返す移動物体の軌跡である移動物体領域を抽出する移動物体領域抽出部と、移動物体領域に基づいて移動物体を追跡するのに必要な進入検出領域及び物体追跡テンプレートのパラメータを求めて設定するパラメータ取得部と、画像メモリ上の画像データに基づいて撮影画像中の移動物体を当該進入検出領域及び物体追跡テンプレートを用いて追跡してその位置情報を求める物体追跡部と、撮影箇所付近の明度の変化を監視する明度環境監視部と、撮影箇所付近の明度に変化が現れたときパラメータ取得部を再動作させるパラメータ調整部と、カメラ画角操作機から入力された画角信号に基づいてカメラの画角変化を監視する画角監視部と、移動物体領域抽出部により抽出された移動物体領域の数の変化を監視する移動物体領域監視部と、少なくともカメラの画角変化又は移動物体領域の数の変化が現れたとき移動物体領域抽出部及びパラメータ取得部を再動作させる移動物体領域調整部とを具備したことを特徴とする移動物体追跡装置。
【請求項２】
請求項１記載の移動物体追跡装置において、画像メモリ上の画像データに基づいて前記撮影画像中の移動物体が停止しているか否かを判定する停止判定部と、少なくとも撮影画像中に移動物体が存在していること又は移動物体が停止していることを外部出力する出力部とを備えたことを特徴とする移動物体追跡装置。
【請求項３】
請求項１又は２記載の移動物体追跡装置において、移動物体領域抽出部は、移動物体領域を抽出するに当たり、時間差分画像を順次求める一方、一定時間前の時間差分画像と現在の時問差分画像との間で共通する部分を移動物体領域候補として求め、当該移動物体領域候補の各画素に対して一定時間に候補となった回数を求め、候補となった回数がしきい値を超える画素を選別し、当該画素により構成される領域を移動物体領域とする機能を有した構成となっていることを特徴とする移動物体追跡装置。
【請求項４】
移動物体領域抽出部が移動物体の移動方向をオプティカルフローにより求める機能を有し且つ進入検出領域及び物体追跡テンプレートが長方形である場合の請求項１、２又は３記載の移動物体追跡装置において、パラメータ取得部は、進入検出領域のパラメータに関して、移動物体領域を移動物体の移動方向に複数に分割し、分割された領域毎に移動物体の追跡を開始する進入検出領域をその中心位置が移動物体領域の移動方向の中心線上に略来る位置に各々設定し、当該進入検出領域の幅を当該移動物体領域の幅より若干大きめ、当該進入検出領域の長さを当該移動物体領域の縦横比に応じて各々設定する一方、物体追跡テンプレートのパラメータに関して、物体追跡テンプレートの中心位置が移動物体の中心に略来る位置に設定し、当該物体追跡テンプレートの幅を当該移動物体領域の幅と同じ、当該物体追跡テンプレートの長さをその幅に比べて小さく設定する構成となっていることを特徴とする移動物体追跡装置。
【請求項５】
請求項１、２、３又は４記載の移動物体追跡装置において、物体追跡部は、移動物体領域の幅が所定値以下になった位置で当該移動物体の追跡を終了する及び／又は移動物体領域上の移動物体の追跡代表点が当該移動物体領域から外れたとき当該移動物体の追跡を中断する機能を有した構成となっていることを特徴とする移動物体追跡装置。
【請求項６】
請求項１、２、３、４又は５記載の移動物体追跡装置において、物体追跡部は、追跡中の移動物体の移動ベクトルの推移から次の移動先を推定し、移動物体を探索する範囲を当該移動先を中心とした範囲に設定する機能を有した構成となっていることを特徴とする移動物体追跡装置。
【請求項７】
請求項１、２、３、４、５又は６記載の移動物体追跡装置において、パラメータ取得部は、テンプレート画像を所定画素毎に間引いた間引きテンプレートを物体追跡テンプレートとして用い、その間引き割合を移動物体領域の幅に対応して設定する機能を有した構成となっていることを特徴とする移動物体追跡装置。
【請求項１】
移動物体を撮影するカメラから入力された画像データを順次記録する画像メモリと、画像メモリ上の画像データに基づいて撮影画像から反復的な移動を繰り返す移動物体の軌跡である移動物体領域を抽出する移動物体領域抽出部と、移動物体領域に基づいて移動物体を追跡するのに必要な進入検出領域及び物体追跡テンプレートのパラメータを求めて設定するパラメータ取得部と、画像メモリ上の画像データに基づいて撮影画像中の移動物体を当該進入検出領域及び物体追跡テンプレートを用いて追跡してその位置情報を求める物体追跡部と、撮影箇所付近の明度の変化を監視する明度環境監視部と、撮影箇所付近の明度に変化が現れたときパラメータ取得部を再動作させるパラメータ調整部と、カメラ画角操作機から入力された画角信号に基づいてカメラの画角変化を監視する画角監視部と、移動物体領域抽出部により抽出された移動物体領域の数の変化を監視する移動物体領域監視部と、少なくともカメラの画角変化又は移動物体領域の数の変化が現れたとき移動物体領域抽出部及びパラメータ取得部を再動作させる移動物体領域調整部とを具備したことを特徴とする移動物体追跡装置。
【請求項２】
請求項１記載の移動物体追跡装置において、画像メモリ上の画像データに基づいて前記撮影画像中の移動物体が停止しているか否かを判定する停止判定部と、少なくとも撮影画像中に移動物体が存在していること又は移動物体が停止していることを外部出力する出力部とを備えたことを特徴とする移動物体追跡装置。
【請求項３】
請求項１又は２記載の移動物体追跡装置において、移動物体領域抽出部は、移動物体領域を抽出するに当たり、時間差分画像を順次求める一方、一定時間前の時間差分画像と現在の時問差分画像との間で共通する部分を移動物体領域候補として求め、当該移動物体領域候補の各画素に対して一定時間に候補となった回数を求め、候補となった回数がしきい値を超える画素を選別し、当該画素により構成される領域を移動物体領域とする機能を有した構成となっていることを特徴とする移動物体追跡装置。
【請求項４】
移動物体領域抽出部が移動物体の移動方向をオプティカルフローにより求める機能を有し且つ進入検出領域及び物体追跡テンプレートが長方形である場合の請求項１、２又は３記載の移動物体追跡装置において、パラメータ取得部は、進入検出領域のパラメータに関して、移動物体領域を移動物体の移動方向に複数に分割し、分割された領域毎に移動物体の追跡を開始する進入検出領域をその中心位置が移動物体領域の移動方向の中心線上に略来る位置に各々設定し、当該進入検出領域の幅を当該移動物体領域の幅より若干大きめ、当該進入検出領域の長さを当該移動物体領域の縦横比に応じて各々設定する一方、物体追跡テンプレートのパラメータに関して、物体追跡テンプレートの中心位置が移動物体の中心に略来る位置に設定し、当該物体追跡テンプレートの幅を当該移動物体領域の幅と同じ、当該物体追跡テンプレートの長さをその幅に比べて小さく設定する構成となっていることを特徴とする移動物体追跡装置。
【請求項５】
請求項１、２、３又は４記載の移動物体追跡装置において、物体追跡部は、移動物体領域の幅が所定値以下になった位置で当該移動物体の追跡を終了する及び／又は移動物体領域上の移動物体の追跡代表点が当該移動物体領域から外れたとき当該移動物体の追跡を中断する機能を有した構成となっていることを特徴とする移動物体追跡装置。
【請求項６】
請求項１、２、３、４又は５記載の移動物体追跡装置において、物体追跡部は、追跡中の移動物体の移動ベクトルの推移から次の移動先を推定し、移動物体を探索する範囲を当該移動先を中心とした範囲に設定する機能を有した構成となっていることを特徴とする移動物体追跡装置。
【請求項７】
請求項１、２、３、４、５又は６記載の移動物体追跡装置において、パラメータ取得部は、テンプレート画像を所定画素毎に間引いた間引きテンプレートを物体追跡テンプレートとして用い、その間引き割合を移動物体領域の幅に対応して設定する機能を有した構成となっていることを特徴とする移動物体追跡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−１２０１３（Ｐ２００６−１２０１３Ａ）
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願番号】特願２００４−１９１１７６（Ｐ２００４−１９１１７６）
【出願日】平成１６年６月２９日（２００４．６．２９）
【出願人】（０００１９５０２９）星和電機株式会社 (143)
【Ｆターム（参考）】
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願日】平成１６年６月２９日（２００４．６．２９）
【出願人】（０００１９５０２９）星和電機株式会社 (143)
【Ｆターム（参考）】
[ Back to top ]