移動体検出方法及び装置、並びに監視装置
【課題】３次元的に移動する移動体の検出を行う。
【解決手段】周期的に取得される画像から移動体領域を抽出し、テンプレートとして記憶する。テンプレートを記憶した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像を作成し、多重化データとして記憶する。テンプレートと多重化データの各画像との間でパターンマッチングを行い、テンプレートと最も相関が大きい画像の倍率、及びその画像中でテンプレートと最も相関が大きい最大相関領域を検出する。マッチング処理によって検出された画像の倍率と最大相関領域の位置から、移動体の３次元的な動きベクトルを算出する。この動きベクトルに基づいて、撮影方向及びズーム倍率の変更を行うことにより、移動体の追跡を行うことができる。
【解決手段】周期的に取得される画像から移動体領域を抽出し、テンプレートとして記憶する。テンプレートを記憶した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像を作成し、多重化データとして記憶する。テンプレートと多重化データの各画像との間でパターンマッチングを行い、テンプレートと最も相関が大きい画像の倍率、及びその画像中でテンプレートと最も相関が大きい最大相関領域を検出する。マッチング処理によって検出された画像の倍率と最大相関領域の位置から、移動体の３次元的な動きベクトルを算出する。この動きベクトルに基づいて、撮影方向及びズーム倍率の変更を行うことにより、移動体の追跡を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の動きを検出する移動体検出方法及び装置、並びに、その移動体検出装置を備えた監視装置に関する。
【背景技術】
【０００２】
従来、監視装置等において、周期的に取得される画像をパターンマッチングにより比較して移動体の移動方向及び移動量（動きベクトル）を検出し、移動体を追跡する方法が知られている（例えば、特許文献１参照）。このパターンマッチング法は、具体的には、まず、画像から移動体を含む領域（追跡対象領域）を抽出し、テンプレートとして記憶した後、続いて得られる画像上で、テンプレートの位置を微小にずらしながら相関値を算出して、最も相関の大きい領域を求めることで動きベクトルを検出する方法である。
【０００３】
このパターンマッチング法によれば、比較的簡単な構成で精度よく動きベクトルを検出することが可能であるが、ズーミングにより被写体を拡大・縮小した場合、画像間で追跡対象の移動体の大きさが変化するため、テンプレートと移動体の相関が低下し、動きベクトルの検出が不能となるといった問題がある。そこで、かかる問題を解決するために、抽出した追跡対象領域を複数の倍率に拡大・縮小して複数のテンプレートを作成しておき、ズーミングを行った際にズーム倍率に対応した大きさのテンプレートを選択して用いる方法が提案されている（特許文献２参照）。
【特許文献１】特開平８−１３６２１９号公報
【特許文献２】特開２００１−２４３４７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２に記載の従来の方法では、移動体が装置に対して近接・離間する方向に移動した場合には、移動体の大きさはズーム倍率とは無関係に変化するため、パターンマッチングが得られず、動きベクトルを検出することができない。つまり、３次元的に移動する移動体の追跡を行うことができないといった問題がある。３次元的に移動する移動体を撮影により捕らえながら追跡を行いたいということは、監視装置においては一般的な要求である。
【０００５】
本発明は、上記課題を鑑みてなされたものであり、３次元的に移動する移動体の検出を可能とする移動体検出方法及び装置、並びに、その移動体検出装置を備えた監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の移動体検出方法は、周期的に取得される画像から移動体領域を抽出し、テンプレートとして記憶するテンプレート生成工程と、前記テンプレートを記憶した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像を作成し、多重化データとして記憶する多重化データ生成工程と、前記テンプレートと前記多重化データの各画像との間でパターンマッチングを行い、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出するマッチング処理工程と、前記マッチング処理工程によって検出された画像の倍率と前記最大相関領域の位置から、移動体の３次元的な動きベクトルを算出する動きベクトル算出工程と、を備えたことを特徴とする。
【０００７】
なお、マッチング処理時間を短縮するために、前記マッチング処理工程は、前記多重化データのうち、拡大・縮小のなされていない画像に対して前記テンプレートを走査することにより、最も相関が大きい領域を検出して、この領域を含むようにサーチ領域を設定し、前記多重化データの各画像に前記サーチ領域を割り当て、各サーチ領域に対して前記テンプレートを走査することにより、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出することが好ましい。
【０００８】
また、本発明の移動体検出装置は、周期的に取得される画像から移動体領域を抽出する移動体領域抽出手段と、前記移動体領域抽出手段によって抽出された移動体領域をテンプレートとして記憶するテンプレート記憶手段と、前記テンプレートを記憶した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像を作成する多重化処理手段と、
前記多重化処理手段によって作成された複数の画像を多重化データとして記憶する多重化データ記憶手段と、前記テンプレートと前記多重化データの各画像との間でパターンマッチングを行い、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出するマッチング処理手段と、前記マッチング処理手段によって検出された画像の倍率と前記最大相関領域の位置から、移動体の３次元的な動きベクトルを算出する動きベクトル算出手段と、を備えたことを特徴とする。
【０００９】
なお、マッチング処理時間を短縮するために、前記マッチング処理手段は、前記多重化データのうち、拡大・縮小のなされていない画像に対して前記テンプレートを走査することにより、最も相関が大きい領域を検出して、この領域を含むようにサーチ領域を設定し、前記多重化データの各画像に前記サーチ領域を割り当て、各サーチ領域に対して前記テンプレートを走査することにより、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出することが好ましい。
【００１０】
また、本発明の監視装置は、前記移動体検出装置と、ズーム倍率を変更するズーム手段及び撮影方向を変更する旋回手段を有するとともに、周期的に撮影を行い前記移動体検出装置に画像を入力する撮影手段と、前記動きベクトル算出手段によって算出された動きベクトルに基づき、移動体の動きを打ち消すように前記ズーム手段及び前記旋回手段を制御する制御手段と、を備えたことを特徴とする。
【００１１】
なお、自動焦点調整の動作時間を短縮するために、前記撮影手段は、前記動きベクトル算出手段によって算出された動きベクトルの光軸方向の成分に基づいて、フォーカスレンズの移動方向を決定し、画像のコントラストが最大となる位置に前記フォーカスレンズを移動させる自動焦点調整手段を備えることが好ましい。
【発明の効果】
【００１２】
本発明は、テンプレートを作成した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像からなる多重化データを作成し、テンプレートと多重化データの各画像との間でパターンマッチングを行い、最も相関が大きい画像の倍率、及びその画像中で最も相関が大きい最大相関領域を検出することにより、移動体の３次元的な動きベクトルを検出し、３次元的に移動する移動体の追跡を行うことができる。
【発明を実施するための最良の形態】
【００１３】
図１において、本発明の第１実施形態に係わる監視装置１０は、パン・チルト旋回動作を行うための旋回装置１１を備え、周期的に撮影動作を行う撮影部１２と、撮影部１２により取得された画像から移動体を検出するとともに、移動体の３次元的な動きベクトルを検出し、この検出した動きベクトルを撮影部１２に入力する移動体検出部１３とからなる。
【００１４】
図２において、撮影部１２は、ズームレンズ２０ａ及びフォーカスレンズ２０ｂを含む光学系２０と、ズームレンズ２０ａを光軸Ｌに沿って移動させ、ズーム倍率を変更するズームレンズ駆動部２１と、フォーカスレンズ２０ｂを光軸Ｌに沿って移動させ、焦点調節を行うフォーカスレンズ駆動部２２と、光学系２０を介して被写体光の撮像を行うＣＣＤイメージセンサなどの撮像素子２３と、撮像素子２３を所定周期で動作させるタイミングジェネレータ（ＴＧ）２４と、撮像素子２３から出力された画像をデジタルデータ化するＡ／Ｄ変換器２５と、Ａ／Ｄ変換器２５から出力された画像から高周波成分を抽出して積算することにより、画像のコントラストを表すＡＦ（自動焦点調整）評価値を算出するＡＦ演算部２６と、各部の制御を統括的に行う撮影制御部２７とによって構成されている。
【００１５】
撮影制御部２７は、ＡＦ演算部２６によって取得されるＡＦ評価値を監視しながらフォーカスレンズ駆動部２２の制御を行い、フォーカスレンズ２０ｂをＡＦ評価値が最大となる位置（合焦位置）へ移動させることにより、ユーザの操作を介さず焦点調整を行う。
【００１６】
Ａ／Ｄ変換器２５から出力された画像は、順次に移動体検出部１３に入力され、移動体検出部１３によって検出される移動体の動きベクトルのうちＺ方向成分（光軸Ｌ方向に沿うベクトル成分）が撮影制御部２７に入力される。撮影制御部２７は、このＺ方向成分が入力されると、ズームレンズ駆動部２１を制御し、画像中の移動体の大きさの変動を打ち消すようにズーム倍率を変化させる。
【００１７】
また、撮影制御部２７は、移動体検出部１３から入力される動きベクトルのＺ方向成分をＡＦ制御に利用する。つまり、従来のＡＦ動作では、まず、フォーカスレンズ２０ｂを光軸Ｌに沿って双方向に微動させ、ＡＦ演算部２６により取得されるＡＦ評価値が増加する方向を検出する必要があるが、撮影制御部２７は、この方向を動きベクトルのＺ方向成分を用いて決定することにより、合焦位置のサーチ時間を短縮する。なお、撮影制御部２７及びＡＦ演算部２６は、自動焦点調整手段として機能している。
【００１８】
図１に戻り、移動体検出部１３は、撮影部１２から入力された画像を順次に記憶する画像メモリ３０と、画像メモリ３０に入力された画像から移動体を含む領域（移動体領域）を抽出する移動体領域抽出部３１と、移動体領域抽出部３１が抽出した領域をテンプレートとして記憶するテンプレート記憶部３２と、テンプレートの記憶後に続いて入力された画像を拡大・縮小して倍率の異なる複数の画像からなる多重化データを生成する多重化処理部３３と、多重化処理部３３により生成された多重化データを記憶する多重化データ記憶部３４と、テンプレート記憶部３２に記憶されたテンプレートと多重化データ記憶部３４に記憶された多重化データとの間でパターンマッチングを行い、相関値を算出するマッチング処理部３５と、マッチング処理部３５の処理結果に基づき、移動体の３次元的な動きベクトルを算出する動きベクトル算出部３６と、各部の制御を統括的に行う全体制御部３７とによって構成されている。
【００１９】
移動体領域抽出部３１は、画像メモリ３０に周期的に入力される画像間の差分を取り、輝度値の差が一定以上の画素領域を移動体として検出し、特定した移動体を含む領域をテンプレートとして、テンプレート記憶部３２に入力する。図３において、移動体領域抽出部３１によって抽出される移動体領域（テンプレート）Ｊを例示している。以降の説明のため、画像メモリ３０に記憶される画像のサイズをＭ×Ｎ、テンプレートＪの中心座標を（ｘ０，ｙ０）とする。
【００２０】
多重化処理部３３は、移動体領域抽出部３１により移動体が検出された後、続いて得られる画像の縦横の長さを、例えば１０％ずつ拡大・縮小して、図４に示すように、例えば９個の画像からなる多重化データを生成し、多重化データ記憶部３４に入力する。なお、画像の拡大・縮小は、補間処理や間引き処理にて行う。
【００２１】
マッチング処理部３５は、テンプレートＪと多重化データとのパターンマッチングを行い、テンプレートＪと最も相関が大きい画像の倍率、及びその画像中でテンプレートＪと最も相関が大きい最大相関領域を求める。具体的には、テンプレートＪを各画像内で微小距離ずつずらしながら各領域において、テンプレートＪと画像との間で各画素の輝度値の差をとってその絶対値を加算し、この加算値が最小（相関が最大）となる領域を求める。
【００２２】
図５において、多重化データに含まれる画像のうち、移動体の大きさがテンプレートＪの大きさにほぼ一致し、最も大きな相関が得られた倍率（この例では、０．８倍）の画像を例示している。領域Ｒは、テンプレートＪとの相関が最大の領域（最大相関領域）であり、その中心座標を（ｘ１，ｙ１）とする。この中心座標は、画像の倍率を考慮し、標準サイズ（Ｍ×Ｎ）の画像に合わせて規格化した座標である。
【００２３】
動きベクトル算出部３６は、図６に示すように、テンプレートＪの中心座標（ｘ０，ｙ０）と、多重化データから取得した最大相関領域Ｒの中心座標（ｘ１，ｙ１）との差分から移動体の動きベクトルのＸＹ方向成分（光軸Ｌに垂直な面内の成分）Ｖｘｙを算出する。また、動きベクトル算出部３６は、最大相関領域Ｒの得られた画像の倍率から移動体の動きベクトルのＺ方向成分（光軸Ｌ方向の成分）Ｖｚを求める。上記の例では、０．８倍に縮小した画像にて最大相関領域Ｒが得られているため、移動体は、撮影部１２に近接する方向に移動していることがわかる。
【００２４】
動きベクトル算出部３６によって得られた動きベクトルのＸＹ方向成分Ｖｘｙ及びＺ方向成分Ｖｚは、全体制御部３７を介して、旋回装置１１及び撮影部１２にそれぞれ入力される。旋回装置１１は、ＸＹ方向成分Ｖｘｙを打ち消すように撮影部１２の撮影方向を旋回させ、撮影部１２の撮影制御部２７は、Ｚ方向成分Ｖｚを打ち消すようにズーム倍率を変化させる。また、撮影制御部２７は、Ｚ方向成分Ｖｚに基づいてフォーカスレンズ２０ｂを移動させるべき方向を決定し、ＡＦ制御を行う。
【００２５】
また、全体制御部３７は、動きベクトルのＸＹ方向成分Ｖｘｙ及びＺ方向成分Ｖｚに基づいて、最大相関領域Ｒの位置及び倍率を変化させ、最大相関領域Ｒを新たなテンプレートＪとしてテンプレート記憶部３２に記憶させる。
【００２６】
次に、以上のように構成された監視装置１０の動作を説明する。監視装置１０は、動作を開始すると、撮影部１２により周期的に画像を取得し、取得した画像を順次に移動体検出部１３へ送出する。移動体検出部１３に入力された画像は、順次に画像メモリ３０に記憶される。これと同時に、図７のフローチャートに示すステップＳ１〜Ｓ９が実行される。
【００２７】
まず、移動体領域抽出部３１により、周期的に画像メモリ３０に記憶される画像間の差分演算が行われ、移動体の検出が行われる（ステップＳ１）。輝度値の差が一定以上の画素領域が検出されることにより移動体が検出されると、この移動体を含む領域（移動体領域）が抽出される（ステップＳ２）。抽出された移動体領域は、図３に示すように、テンプレートＪとしてテンプレート記憶部３２に記憶される（ステップＳ３）。この後、続いて得られる画像が、多重化処理部３３により拡大・縮小され、図４に示すように、倍率の異なる複数の画像（多重化データ）に多重化される（ステップＳ４）。この多重化データは、多重化データ記憶部３４に記憶される（ステップＳ５）。
【００２８】
次いで、マッチング処理部３５により、テンプレート記憶部３２に記憶されたテンプレートＪと、多重化データ記憶部３４に記憶された多重化データの各画像との間でパターンマッチングが行われ、テンプレートＪと最も相関が大きい画像の倍率、及びその画像中でテンプレートＪと最も相関が大きい最大相関領域Ｒが求められる（ステップＳ６）。ここで、所定以上の相関を呈する領域が検出されない場合には、上記のステップＳ１へ戻り、再度、移動体の検出が行われる。これは、移動体の速度が極端に速く、多重化データ中に移動体が撮影されなかった場合や、移動体の向きが変更され、移動体のパターンが極端に変化した場合などに生じる。
【００２９】
マッチング処理部３５により、所定以上の相関を呈する領域（つまり、上記の輝度差の加算値が所定値以下の領域）が検出されると、図５に示すように、テンプレートＪ中の画像と大きさがほぼ一致し、最も相関が大きい最大相関領域Ｒが多重化データの画像中から特定される。次いで、動きベクトル算出部３６により、テンプレートＪと最大相関領域Ｒとの位置関係、及び、最大相関領域Ｒが得られた画像の倍率から、移動体の３次元的な移動ベクトル（ＸＹ方向成分Ｖｘｙ及びＺ方向成分Ｖｚ）が算出される（ステップＳ７）。
【００３０】
次いで、全体制御部３７により、移動ベクトルに基づいて、旋回装置１１及び撮影部１２が制御され、移動体の移動を打ち消す方向に、撮影方向及びズーム倍率が変更される（ステップＳ８）。そして、全体制御部３７により、画像中から最大相関領域Ｒが抽出され、上記の移動ベクトルに基づいて、移動前の位置及び大きさとなるように補正が行われた後、この補正後の最大相関領域ＲによってテンプレートＪが更新される（ステップＳ９）。更新されたテンプレートＪは、テンプレート記憶部３２に記憶される（ステップＳ３）。この後、上記の各ステップが繰り返し実行され、移動体の追跡が行われる。
【００３１】
このように、監視装置１０は、移動体が装置に対して近接・離間する方向に移動した場合においても確実に移動体を検出し、追跡を行うことができる。
【００３２】
なお、上記第１実施形態では、マッチング処理部３５によりテンプレートと多重化データとのパターンマッチングを行う際、多重化データの各画像内の全領域に対してテンプレートを走査することにより、最大相関領域の検出を行っているため、多重化データの画像数が多い場合には、処理時間の長大化が問題となる。そこで、以下の第２実施形態に示すようにパターンマッチングを実行することで、処理時間の短縮を図ることができる。
【００３３】
本発明の第２実施形態は、マッチング処理部３５のマッチング処理以外は、上記の第１実施形態と同一である。マッチング処理部３５は、まず、多重化データに含まれる画像のうち、拡大・縮小のなされていない標準サイズ（Ｍ×Ｎ）の画像に対してテンプレートＪを走査することにより、図８に示すように、テンプレートＪと最も相関が大きい領域Ｒ’を検出し、この領域Ｒ’を含み、かつ領域Ｒ’より十分に大きいサーチ領域Ｗを設定する。そして、多重化データの各画像にサーチ領域Ｗを割り当て、各サーチ領域Ｗに対してテンプレートＪを走査することにより、テンプレートＪと最も相関が大きい画像の倍率、及びその画像中でテンプレートＪと最も相関が大きい最大相関領域Ｒを検出する。
【００３４】
このように、第２実施形態では、多重化データの１つの画像から、テンプレートと相関が得られるおおよその領域Ｒ’を求めることによりサーチ領域Ｗを設定し、他の画像のパターンマッチングを、サーチ領域Ｗに限定して実行することにより、処理時間を短縮することができる。
【００３５】
なお、上記実施形態では、追跡精度を高めるために、動きベクトルを検出した後、最大相関領域Ｒによりテンプレートの更新を行っているが、構成の簡素化を求めるのであれば、テンプレートを更新せず、移動体領域抽出部３１により抽出されたものを継続して使用してもよい。
【図面の簡単な説明】
【００３６】
【図１】本発明の第１実施形態に係わる監視装置の構成を示す図である。
【図２】撮影部の構成を示す図である。
【図３】テンプレートを抽出した画像を示す図である。
【図４】多重化データを示す図である。
【図５】最大相関領域が検出された画像を示す図である。
【図６】動きベクトルのＸＹ方向成分を示す図である。
【図７】監視装置の動作を説明するフローチャートである。
【図８】本発明の第２実施形態を説明する図である。
【符号の説明】
【００３７】
１０ 監視装置
１１ 旋回装置
１２ 撮影部
１３ 移動体検出部
２０ 光学系
２０ａ ズームレンズ
２０ｂ フォーカスレンズ
２１ ズームレンズ駆動部
２２ フォーカスレンズ駆動部
２３ 撮像素子
２６ ＡＦ演算部
２７ 撮影制御部
３０ 画像メモリ
３１ 移動体領域抽出部
３２ テンプレート記憶部
３３ 多重化処理部
３４ 多重化データ記憶部
３５ マッチング処理部
３６ 動きベクトル算出部
３７ 全体制御部
【技術分野】
【０００１】
本発明は、移動体の動きを検出する移動体検出方法及び装置、並びに、その移動体検出装置を備えた監視装置に関する。
【背景技術】
【０００２】
従来、監視装置等において、周期的に取得される画像をパターンマッチングにより比較して移動体の移動方向及び移動量（動きベクトル）を検出し、移動体を追跡する方法が知られている（例えば、特許文献１参照）。このパターンマッチング法は、具体的には、まず、画像から移動体を含む領域（追跡対象領域）を抽出し、テンプレートとして記憶した後、続いて得られる画像上で、テンプレートの位置を微小にずらしながら相関値を算出して、最も相関の大きい領域を求めることで動きベクトルを検出する方法である。
【０００３】
このパターンマッチング法によれば、比較的簡単な構成で精度よく動きベクトルを検出することが可能であるが、ズーミングにより被写体を拡大・縮小した場合、画像間で追跡対象の移動体の大きさが変化するため、テンプレートと移動体の相関が低下し、動きベクトルの検出が不能となるといった問題がある。そこで、かかる問題を解決するために、抽出した追跡対象領域を複数の倍率に拡大・縮小して複数のテンプレートを作成しておき、ズーミングを行った際にズーム倍率に対応した大きさのテンプレートを選択して用いる方法が提案されている（特許文献２参照）。
【特許文献１】特開平８−１３６２１９号公報
【特許文献２】特開２００１−２４３４７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２に記載の従来の方法では、移動体が装置に対して近接・離間する方向に移動した場合には、移動体の大きさはズーム倍率とは無関係に変化するため、パターンマッチングが得られず、動きベクトルを検出することができない。つまり、３次元的に移動する移動体の追跡を行うことができないといった問題がある。３次元的に移動する移動体を撮影により捕らえながら追跡を行いたいということは、監視装置においては一般的な要求である。
【０００５】
本発明は、上記課題を鑑みてなされたものであり、３次元的に移動する移動体の検出を可能とする移動体検出方法及び装置、並びに、その移動体検出装置を備えた監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の移動体検出方法は、周期的に取得される画像から移動体領域を抽出し、テンプレートとして記憶するテンプレート生成工程と、前記テンプレートを記憶した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像を作成し、多重化データとして記憶する多重化データ生成工程と、前記テンプレートと前記多重化データの各画像との間でパターンマッチングを行い、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出するマッチング処理工程と、前記マッチング処理工程によって検出された画像の倍率と前記最大相関領域の位置から、移動体の３次元的な動きベクトルを算出する動きベクトル算出工程と、を備えたことを特徴とする。
【０００７】
なお、マッチング処理時間を短縮するために、前記マッチング処理工程は、前記多重化データのうち、拡大・縮小のなされていない画像に対して前記テンプレートを走査することにより、最も相関が大きい領域を検出して、この領域を含むようにサーチ領域を設定し、前記多重化データの各画像に前記サーチ領域を割り当て、各サーチ領域に対して前記テンプレートを走査することにより、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出することが好ましい。
【０００８】
また、本発明の移動体検出装置は、周期的に取得される画像から移動体領域を抽出する移動体領域抽出手段と、前記移動体領域抽出手段によって抽出された移動体領域をテンプレートとして記憶するテンプレート記憶手段と、前記テンプレートを記憶した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像を作成する多重化処理手段と、
前記多重化処理手段によって作成された複数の画像を多重化データとして記憶する多重化データ記憶手段と、前記テンプレートと前記多重化データの各画像との間でパターンマッチングを行い、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出するマッチング処理手段と、前記マッチング処理手段によって検出された画像の倍率と前記最大相関領域の位置から、移動体の３次元的な動きベクトルを算出する動きベクトル算出手段と、を備えたことを特徴とする。
【０００９】
なお、マッチング処理時間を短縮するために、前記マッチング処理手段は、前記多重化データのうち、拡大・縮小のなされていない画像に対して前記テンプレートを走査することにより、最も相関が大きい領域を検出して、この領域を含むようにサーチ領域を設定し、前記多重化データの各画像に前記サーチ領域を割り当て、各サーチ領域に対して前記テンプレートを走査することにより、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出することが好ましい。
【００１０】
また、本発明の監視装置は、前記移動体検出装置と、ズーム倍率を変更するズーム手段及び撮影方向を変更する旋回手段を有するとともに、周期的に撮影を行い前記移動体検出装置に画像を入力する撮影手段と、前記動きベクトル算出手段によって算出された動きベクトルに基づき、移動体の動きを打ち消すように前記ズーム手段及び前記旋回手段を制御する制御手段と、を備えたことを特徴とする。
【００１１】
なお、自動焦点調整の動作時間を短縮するために、前記撮影手段は、前記動きベクトル算出手段によって算出された動きベクトルの光軸方向の成分に基づいて、フォーカスレンズの移動方向を決定し、画像のコントラストが最大となる位置に前記フォーカスレンズを移動させる自動焦点調整手段を備えることが好ましい。
【発明の効果】
【００１２】
本発明は、テンプレートを作成した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像からなる多重化データを作成し、テンプレートと多重化データの各画像との間でパターンマッチングを行い、最も相関が大きい画像の倍率、及びその画像中で最も相関が大きい最大相関領域を検出することにより、移動体の３次元的な動きベクトルを検出し、３次元的に移動する移動体の追跡を行うことができる。
【発明を実施するための最良の形態】
【００１３】
図１において、本発明の第１実施形態に係わる監視装置１０は、パン・チルト旋回動作を行うための旋回装置１１を備え、周期的に撮影動作を行う撮影部１２と、撮影部１２により取得された画像から移動体を検出するとともに、移動体の３次元的な動きベクトルを検出し、この検出した動きベクトルを撮影部１２に入力する移動体検出部１３とからなる。
【００１４】
図２において、撮影部１２は、ズームレンズ２０ａ及びフォーカスレンズ２０ｂを含む光学系２０と、ズームレンズ２０ａを光軸Ｌに沿って移動させ、ズーム倍率を変更するズームレンズ駆動部２１と、フォーカスレンズ２０ｂを光軸Ｌに沿って移動させ、焦点調節を行うフォーカスレンズ駆動部２２と、光学系２０を介して被写体光の撮像を行うＣＣＤイメージセンサなどの撮像素子２３と、撮像素子２３を所定周期で動作させるタイミングジェネレータ（ＴＧ）２４と、撮像素子２３から出力された画像をデジタルデータ化するＡ／Ｄ変換器２５と、Ａ／Ｄ変換器２５から出力された画像から高周波成分を抽出して積算することにより、画像のコントラストを表すＡＦ（自動焦点調整）評価値を算出するＡＦ演算部２６と、各部の制御を統括的に行う撮影制御部２７とによって構成されている。
【００１５】
撮影制御部２７は、ＡＦ演算部２６によって取得されるＡＦ評価値を監視しながらフォーカスレンズ駆動部２２の制御を行い、フォーカスレンズ２０ｂをＡＦ評価値が最大となる位置（合焦位置）へ移動させることにより、ユーザの操作を介さず焦点調整を行う。
【００１６】
Ａ／Ｄ変換器２５から出力された画像は、順次に移動体検出部１３に入力され、移動体検出部１３によって検出される移動体の動きベクトルのうちＺ方向成分（光軸Ｌ方向に沿うベクトル成分）が撮影制御部２７に入力される。撮影制御部２７は、このＺ方向成分が入力されると、ズームレンズ駆動部２１を制御し、画像中の移動体の大きさの変動を打ち消すようにズーム倍率を変化させる。
【００１７】
また、撮影制御部２７は、移動体検出部１３から入力される動きベクトルのＺ方向成分をＡＦ制御に利用する。つまり、従来のＡＦ動作では、まず、フォーカスレンズ２０ｂを光軸Ｌに沿って双方向に微動させ、ＡＦ演算部２６により取得されるＡＦ評価値が増加する方向を検出する必要があるが、撮影制御部２７は、この方向を動きベクトルのＺ方向成分を用いて決定することにより、合焦位置のサーチ時間を短縮する。なお、撮影制御部２７及びＡＦ演算部２６は、自動焦点調整手段として機能している。
【００１８】
図１に戻り、移動体検出部１３は、撮影部１２から入力された画像を順次に記憶する画像メモリ３０と、画像メモリ３０に入力された画像から移動体を含む領域（移動体領域）を抽出する移動体領域抽出部３１と、移動体領域抽出部３１が抽出した領域をテンプレートとして記憶するテンプレート記憶部３２と、テンプレートの記憶後に続いて入力された画像を拡大・縮小して倍率の異なる複数の画像からなる多重化データを生成する多重化処理部３３と、多重化処理部３３により生成された多重化データを記憶する多重化データ記憶部３４と、テンプレート記憶部３２に記憶されたテンプレートと多重化データ記憶部３４に記憶された多重化データとの間でパターンマッチングを行い、相関値を算出するマッチング処理部３５と、マッチング処理部３５の処理結果に基づき、移動体の３次元的な動きベクトルを算出する動きベクトル算出部３６と、各部の制御を統括的に行う全体制御部３７とによって構成されている。
【００１９】
移動体領域抽出部３１は、画像メモリ３０に周期的に入力される画像間の差分を取り、輝度値の差が一定以上の画素領域を移動体として検出し、特定した移動体を含む領域をテンプレートとして、テンプレート記憶部３２に入力する。図３において、移動体領域抽出部３１によって抽出される移動体領域（テンプレート）Ｊを例示している。以降の説明のため、画像メモリ３０に記憶される画像のサイズをＭ×Ｎ、テンプレートＪの中心座標を（ｘ０，ｙ０）とする。
【００２０】
多重化処理部３３は、移動体領域抽出部３１により移動体が検出された後、続いて得られる画像の縦横の長さを、例えば１０％ずつ拡大・縮小して、図４に示すように、例えば９個の画像からなる多重化データを生成し、多重化データ記憶部３４に入力する。なお、画像の拡大・縮小は、補間処理や間引き処理にて行う。
【００２１】
マッチング処理部３５は、テンプレートＪと多重化データとのパターンマッチングを行い、テンプレートＪと最も相関が大きい画像の倍率、及びその画像中でテンプレートＪと最も相関が大きい最大相関領域を求める。具体的には、テンプレートＪを各画像内で微小距離ずつずらしながら各領域において、テンプレートＪと画像との間で各画素の輝度値の差をとってその絶対値を加算し、この加算値が最小（相関が最大）となる領域を求める。
【００２２】
図５において、多重化データに含まれる画像のうち、移動体の大きさがテンプレートＪの大きさにほぼ一致し、最も大きな相関が得られた倍率（この例では、０．８倍）の画像を例示している。領域Ｒは、テンプレートＪとの相関が最大の領域（最大相関領域）であり、その中心座標を（ｘ１，ｙ１）とする。この中心座標は、画像の倍率を考慮し、標準サイズ（Ｍ×Ｎ）の画像に合わせて規格化した座標である。
【００２３】
動きベクトル算出部３６は、図６に示すように、テンプレートＪの中心座標（ｘ０，ｙ０）と、多重化データから取得した最大相関領域Ｒの中心座標（ｘ１，ｙ１）との差分から移動体の動きベクトルのＸＹ方向成分（光軸Ｌに垂直な面内の成分）Ｖｘｙを算出する。また、動きベクトル算出部３６は、最大相関領域Ｒの得られた画像の倍率から移動体の動きベクトルのＺ方向成分（光軸Ｌ方向の成分）Ｖｚを求める。上記の例では、０．８倍に縮小した画像にて最大相関領域Ｒが得られているため、移動体は、撮影部１２に近接する方向に移動していることがわかる。
【００２４】
動きベクトル算出部３６によって得られた動きベクトルのＸＹ方向成分Ｖｘｙ及びＺ方向成分Ｖｚは、全体制御部３７を介して、旋回装置１１及び撮影部１２にそれぞれ入力される。旋回装置１１は、ＸＹ方向成分Ｖｘｙを打ち消すように撮影部１２の撮影方向を旋回させ、撮影部１２の撮影制御部２７は、Ｚ方向成分Ｖｚを打ち消すようにズーム倍率を変化させる。また、撮影制御部２７は、Ｚ方向成分Ｖｚに基づいてフォーカスレンズ２０ｂを移動させるべき方向を決定し、ＡＦ制御を行う。
【００２５】
また、全体制御部３７は、動きベクトルのＸＹ方向成分Ｖｘｙ及びＺ方向成分Ｖｚに基づいて、最大相関領域Ｒの位置及び倍率を変化させ、最大相関領域Ｒを新たなテンプレートＪとしてテンプレート記憶部３２に記憶させる。
【００２６】
次に、以上のように構成された監視装置１０の動作を説明する。監視装置１０は、動作を開始すると、撮影部１２により周期的に画像を取得し、取得した画像を順次に移動体検出部１３へ送出する。移動体検出部１３に入力された画像は、順次に画像メモリ３０に記憶される。これと同時に、図７のフローチャートに示すステップＳ１〜Ｓ９が実行される。
【００２７】
まず、移動体領域抽出部３１により、周期的に画像メモリ３０に記憶される画像間の差分演算が行われ、移動体の検出が行われる（ステップＳ１）。輝度値の差が一定以上の画素領域が検出されることにより移動体が検出されると、この移動体を含む領域（移動体領域）が抽出される（ステップＳ２）。抽出された移動体領域は、図３に示すように、テンプレートＪとしてテンプレート記憶部３２に記憶される（ステップＳ３）。この後、続いて得られる画像が、多重化処理部３３により拡大・縮小され、図４に示すように、倍率の異なる複数の画像（多重化データ）に多重化される（ステップＳ４）。この多重化データは、多重化データ記憶部３４に記憶される（ステップＳ５）。
【００２８】
次いで、マッチング処理部３５により、テンプレート記憶部３２に記憶されたテンプレートＪと、多重化データ記憶部３４に記憶された多重化データの各画像との間でパターンマッチングが行われ、テンプレートＪと最も相関が大きい画像の倍率、及びその画像中でテンプレートＪと最も相関が大きい最大相関領域Ｒが求められる（ステップＳ６）。ここで、所定以上の相関を呈する領域が検出されない場合には、上記のステップＳ１へ戻り、再度、移動体の検出が行われる。これは、移動体の速度が極端に速く、多重化データ中に移動体が撮影されなかった場合や、移動体の向きが変更され、移動体のパターンが極端に変化した場合などに生じる。
【００２９】
マッチング処理部３５により、所定以上の相関を呈する領域（つまり、上記の輝度差の加算値が所定値以下の領域）が検出されると、図５に示すように、テンプレートＪ中の画像と大きさがほぼ一致し、最も相関が大きい最大相関領域Ｒが多重化データの画像中から特定される。次いで、動きベクトル算出部３６により、テンプレートＪと最大相関領域Ｒとの位置関係、及び、最大相関領域Ｒが得られた画像の倍率から、移動体の３次元的な移動ベクトル（ＸＹ方向成分Ｖｘｙ及びＺ方向成分Ｖｚ）が算出される（ステップＳ７）。
【００３０】
次いで、全体制御部３７により、移動ベクトルに基づいて、旋回装置１１及び撮影部１２が制御され、移動体の移動を打ち消す方向に、撮影方向及びズーム倍率が変更される（ステップＳ８）。そして、全体制御部３７により、画像中から最大相関領域Ｒが抽出され、上記の移動ベクトルに基づいて、移動前の位置及び大きさとなるように補正が行われた後、この補正後の最大相関領域ＲによってテンプレートＪが更新される（ステップＳ９）。更新されたテンプレートＪは、テンプレート記憶部３２に記憶される（ステップＳ３）。この後、上記の各ステップが繰り返し実行され、移動体の追跡が行われる。
【００３１】
このように、監視装置１０は、移動体が装置に対して近接・離間する方向に移動した場合においても確実に移動体を検出し、追跡を行うことができる。
【００３２】
なお、上記第１実施形態では、マッチング処理部３５によりテンプレートと多重化データとのパターンマッチングを行う際、多重化データの各画像内の全領域に対してテンプレートを走査することにより、最大相関領域の検出を行っているため、多重化データの画像数が多い場合には、処理時間の長大化が問題となる。そこで、以下の第２実施形態に示すようにパターンマッチングを実行することで、処理時間の短縮を図ることができる。
【００３３】
本発明の第２実施形態は、マッチング処理部３５のマッチング処理以外は、上記の第１実施形態と同一である。マッチング処理部３５は、まず、多重化データに含まれる画像のうち、拡大・縮小のなされていない標準サイズ（Ｍ×Ｎ）の画像に対してテンプレートＪを走査することにより、図８に示すように、テンプレートＪと最も相関が大きい領域Ｒ’を検出し、この領域Ｒ’を含み、かつ領域Ｒ’より十分に大きいサーチ領域Ｗを設定する。そして、多重化データの各画像にサーチ領域Ｗを割り当て、各サーチ領域Ｗに対してテンプレートＪを走査することにより、テンプレートＪと最も相関が大きい画像の倍率、及びその画像中でテンプレートＪと最も相関が大きい最大相関領域Ｒを検出する。
【００３４】
このように、第２実施形態では、多重化データの１つの画像から、テンプレートと相関が得られるおおよその領域Ｒ’を求めることによりサーチ領域Ｗを設定し、他の画像のパターンマッチングを、サーチ領域Ｗに限定して実行することにより、処理時間を短縮することができる。
【００３５】
なお、上記実施形態では、追跡精度を高めるために、動きベクトルを検出した後、最大相関領域Ｒによりテンプレートの更新を行っているが、構成の簡素化を求めるのであれば、テンプレートを更新せず、移動体領域抽出部３１により抽出されたものを継続して使用してもよい。
【図面の簡単な説明】
【００３６】
【図１】本発明の第１実施形態に係わる監視装置の構成を示す図である。
【図２】撮影部の構成を示す図である。
【図３】テンプレートを抽出した画像を示す図である。
【図４】多重化データを示す図である。
【図５】最大相関領域が検出された画像を示す図である。
【図６】動きベクトルのＸＹ方向成分を示す図である。
【図７】監視装置の動作を説明するフローチャートである。
【図８】本発明の第２実施形態を説明する図である。
【符号の説明】
【００３７】
１０ 監視装置
１１ 旋回装置
１２ 撮影部
１３ 移動体検出部
２０ 光学系
２０ａ ズームレンズ
２０ｂ フォーカスレンズ
２１ ズームレンズ駆動部
２２ フォーカスレンズ駆動部
２３ 撮像素子
２６ ＡＦ演算部
２７ 撮影制御部
３０ 画像メモリ
３１ 移動体領域抽出部
３２ テンプレート記憶部
３３ 多重化処理部
３４ 多重化データ記憶部
３５ マッチング処理部
３６ 動きベクトル算出部
３７ 全体制御部
【特許請求の範囲】
【請求項１】
周期的に取得される画像から移動体領域を抽出し、テンプレートとして記憶するテンプレート生成工程と、
前記テンプレートを記憶した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像を作成し、多重化データとして記憶する多重化データ生成工程と、
前記テンプレートと前記多重化データの各画像との間でパターンマッチングを行い、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出するマッチング処理工程と、
前記マッチング処理工程によって検出された画像の倍率と前記最大相関領域の位置から、移動体の３次元的な動きベクトルを算出する動きベクトル算出工程と、
を備えたことを特徴とする移動体検出方法。
【請求項２】
前記マッチング処理工程は、前記多重化データのうち、拡大・縮小のなされていない画像に対して前記テンプレートを走査することにより、最も相関が大きい領域を検出して、この領域を含むようにサーチ領域を設定し、前記多重化データの各画像に前記サーチ領域を割り当て、各サーチ領域に対して前記テンプレートを走査することにより、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出することを特徴とする請求項１記載の移動体検出方法。
【請求項３】
周期的に取得される画像から移動体領域を抽出する移動体領域抽出手段と、
前記移動体領域抽出手段によって抽出された移動体領域をテンプレートとして記憶するテンプレート記憶手段と、
前記テンプレートを記憶した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像を作成する多重化処理手段と、
前記多重化処理手段によって作成された複数の画像を多重化データとして記憶する多重化データ記憶手段と、
前記テンプレートと前記多重化データの各画像との間でパターンマッチングを行い、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出するマッチング処理手段と、
前記マッチング処理手段によって検出された画像の倍率と前記最大相関領域の位置から、移動体の３次元的な動きベクトルを算出する動きベクトル算出手段と、
を備えたことを特徴とする移動体検出装置。
【請求項４】
前記マッチング処理手段は、前記多重化データのうち、拡大・縮小のなされていない画像に対して前記テンプレートを走査することにより、最も相関が大きい領域を検出して、この領域を含むようにサーチ領域を設定し、前記多重化データの各画像に前記サーチ領域を割り当て、各サーチ領域に対して前記テンプレートを走査することにより、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出することを特徴とする請求項３記載の移動体検出装置。
【請求項５】
請求項３または４記載の移動体検出装置と、
ズーム倍率を変更するズーム手段及び撮影方向を変更する旋回手段を有するとともに、周期的に撮影を行い前記移動体検出装置に画像を入力する撮影手段と、
前記動きベクトル算出手段によって算出された動きベクトルに基づき、移動体の動きを打ち消すように前記ズーム手段及び前記旋回手段を制御する制御手段と、
を備えたことを特徴とする監視装置。
【請求項６】
前記撮影手段は、前記動きベクトル算出手段によって算出された動きベクトルの光軸方向の成分に基づいて、フォーカスレンズの移動方向を決定し、画像のコントラストが最大となる位置に前記フォーカスレンズを移動させる自動焦点調整手段を備えたことを特徴とする請求項５記載の監視装置。
【請求項１】
周期的に取得される画像から移動体領域を抽出し、テンプレートとして記憶するテンプレート生成工程と、
前記テンプレートを記憶した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像を作成し、多重化データとして記憶する多重化データ生成工程と、
前記テンプレートと前記多重化データの各画像との間でパターンマッチングを行い、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出するマッチング処理工程と、
前記マッチング処理工程によって検出された画像の倍率と前記最大相関領域の位置から、移動体の３次元的な動きベクトルを算出する動きベクトル算出工程と、
を備えたことを特徴とする移動体検出方法。
【請求項２】
前記マッチング処理工程は、前記多重化データのうち、拡大・縮小のなされていない画像に対して前記テンプレートを走査することにより、最も相関が大きい領域を検出して、この領域を含むようにサーチ領域を設定し、前記多重化データの各画像に前記サーチ領域を割り当て、各サーチ領域に対して前記テンプレートを走査することにより、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出することを特徴とする請求項１記載の移動体検出方法。
【請求項３】
周期的に取得される画像から移動体領域を抽出する移動体領域抽出手段と、
前記移動体領域抽出手段によって抽出された移動体領域をテンプレートとして記憶するテンプレート記憶手段と、
前記テンプレートを記憶した後、続いて得られる画像を拡大・縮小して倍率の異なる複数の画像を作成する多重化処理手段と、
前記多重化処理手段によって作成された複数の画像を多重化データとして記憶する多重化データ記憶手段と、
前記テンプレートと前記多重化データの各画像との間でパターンマッチングを行い、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出するマッチング処理手段と、
前記マッチング処理手段によって検出された画像の倍率と前記最大相関領域の位置から、移動体の３次元的な動きベクトルを算出する動きベクトル算出手段と、
を備えたことを特徴とする移動体検出装置。
【請求項４】
前記マッチング処理手段は、前記多重化データのうち、拡大・縮小のなされていない画像に対して前記テンプレートを走査することにより、最も相関が大きい領域を検出して、この領域を含むようにサーチ領域を設定し、前記多重化データの各画像に前記サーチ領域を割り当て、各サーチ領域に対して前記テンプレートを走査することにより、前記テンプレートと最も相関が大きい画像の倍率、及びその画像中で前記テンプレートと最も相関が大きい最大相関領域を検出することを特徴とする請求項３記載の移動体検出装置。
【請求項５】
請求項３または４記載の移動体検出装置と、
ズーム倍率を変更するズーム手段及び撮影方向を変更する旋回手段を有するとともに、周期的に撮影を行い前記移動体検出装置に画像を入力する撮影手段と、
前記動きベクトル算出手段によって算出された動きベクトルに基づき、移動体の動きを打ち消すように前記ズーム手段及び前記旋回手段を制御する制御手段と、
を備えたことを特徴とする監視装置。
【請求項６】
前記撮影手段は、前記動きベクトル算出手段によって算出された動きベクトルの光軸方向の成分に基づいて、フォーカスレンズの移動方向を決定し、画像のコントラストが最大となる位置に前記フォーカスレンズを移動させる自動焦点調整手段を備えたことを特徴とする請求項５記載の監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−２８７６４８（Ｐ２００８−２８７６４８Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３４１３０（Ｐ２００７−１３４１３０）
【出願日】平成１９年５月２１日（２００７．５．２１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月２１日（２００７．５．２１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]