動体追跡制御装置、動体追跡システム、動体追跡制御方法及びプログラム
【課題】追跡動作中の計算量が大きい。また、追跡中の動体の近くに他の動体が近づくと動体の追跡処理が不安定になる。
【解決手段】撮像装置で撮像された画像上の動体領域を特定する処理と、特定された動体領域上に複数個の計算点を配置する処理と、計算点について一群の局所移動ベクトルを算出する処理と、一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理と、動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理を実行する。
【解決手段】撮像装置で撮像された画像上の動体領域を特定する処理と、特定された動体領域上に複数個の計算点を配置する処理と、計算点について一群の局所移動ベクトルを算出する処理と、一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理と、動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の一つの形態は、画面内で移動する動体を追跡制御する装置に関する。また、発明の一つの形態は、動体追跡制御装置を搭載するシステムに関する。
また、発明の他の形態は、当該機能を実現する方法及びプログラムに関する。
【背景技術】
【０００２】
監視システムでは、監視カメラその他の撮像装置により撮像された画面上での動体（例えば人、車その他の物体）を追跡できる機能（追跡機能）が非常に重要になる。例えば監視カメラで立ち入り禁止区域を監視する場合には、侵入者の領域内での行動を追跡記録することが重要になる。
撮像方向が固定の監視カメラでも、動体検知処理（例えば、C.Stuffer, W.E.L Grimson, ”Adaptive background mixture models for
real-time tracking”）の適用により、侵入者の検知と追跡を実現できる。
【０００３】
しかし、固定式の監視カメラは、撮像範囲の内側でしか侵入者を追跡することができない。すなわち、侵入者が撮像範囲から出て行くと、それ以上は侵入者を追跡することができない。
そこで、撮像方向を可動できる方式の監視システムが用いられる。可動式の監視システムは、旋回用の雲台上に監視カメラを搭載し、追跡範囲を撮像範囲以上に拡大する。すなわち、侵入者の移動に応じて監視カメラを旋回し、侵入者を継続的に撮像範囲内に収めることができる。
【０００４】
ところが、可動式の監視システムの場合、カメラの旋回中は、前述した動体検知処理による侵入者の検知ができない。動体検知処理は、侵入者などを前景、それ以外を背景として定義し、背景は静止、前景は動いているという前提で動体を検知する。しかし、可動式の監視システムでは、撮像カメラの旋回中は前景だけでなく背景も動く。このため、動体検知処理の前提が成立しない。
【０００５】
そこで、監視カメラを旋回させて追跡する場合は、２つのフェーズに分けることが多い。１つは動体検出フェーズ、もう一つは動体追跡フェーズである。
動体検出フェーズは、監視カメラを静止させた状態で前述した動体検知処理を実行し、追跡対象とする動体を検出する処理フェーズである。動体が検出されると、動体追跡フェーズに移行し、撮像カメラを旋回させながら動体を追跡する。動体追跡フェーズには、監視カメラの旋回中も動体を検知できる手法を用いる。そして、動体の追跡が終了すると撮像カメラを静止させ、再び動体検知フェーズに戻る。
【０００６】
動体検出フェーズで使用する動体検知手法の従来例に特許文献１に開示された技術がある。この技術は、追跡対象だけでなく、その周辺領域も含めて移動ベクトルを計算し、追跡対象とする移動ベクトルを検知する。図１に、この検知手法で算出される移動ベクトル例を示す。図１に示すように、この動体検知手法では、追跡対象（この場合、人）とその背景とで異なる移動ベクトルが算出されることを利用し、追跡対象の移動ベクトルのみを選別する。この検知手法を用いれば、撮像カメラが旋回中でも、追跡対称の位置を決定することができる。
【特許文献１】特開２００３−３９３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、この検知手法には２つの問題がある。
１つの問題は、処理時間の問題である。この検知手法の場合、追跡対象だけでなくその周辺領域についても移動ベクトルを求める必要がある。しかも、追跡対象の面積が大きくなると、追跡対象の周辺により多くの移動ベクトルを求める必要があり、処理時間が増大する。
もう一つの問題は、図２に示すように追跡対象の近くに別の動体が存在した場合、決定処理が不安定になることである。
【課題を解決するための手段】
【０００８】
そこで、発明者は、以下の処理機能を有する動体追跡技術を提案する。
（Ａ）技術１
（ａ１）撮像装置で撮像された画像上の動体領域を特定する処理機能
（ａ２）特定された動体領域上に複数個の計算点を配置する処理機能
（ａ３）計算点について一群の局所移動ベクトルを算出する処理機能
（ａ４）一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理機能
（ａ５）動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理機能
（ａ６）動体移動ベクトルに応じて、撮像装置を搭載する可動機構を制御する処理機能
【０００９】
（Ｂ）技術２
（ｂ１）撮像装置で撮像された画像上の動体領域又はサーバーから読み出された画像上の動体領域を特定する処理機能
（ｂ２）特定された動体領域上に複数個の計算点を配置する処理機能
（ｂ３）計算点について一群の局所移動ベクトルを算出する処理機能
（ｂ４）一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理機能
（ｂ５）動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理機能
（ｂ６）動体移動ベクトルに応じて、画像から抽出する領域を移動制御する処理機能
【発明の効果】
【００１０】
発明に係る技術の場合、局所移動ベクトルの計算点は、動体の移動に追従して継続的に使用又は再配置される。すなわち、追跡動作中も、動体検知時と同じ個数の計算点についてのみ局所移動ベクトルを算出する。このため、少ない演算量で動体の追跡処理を実行できる。
また、局所移動ベクトルの計算は、動体領域上に配置された計算点についてのみ継続されるため、追跡中の動体の近傍に他の動体が接近した場合でも、他の動体の影響を受けずに局所移動ベクトルの計算を継続することができる。これにより、安定した動体の追跡処理を実現できる。
【発明を実施するための最良の形態】
【００１１】
以下、発明に係る技術を適用した動体追跡システムの形態例を説明する。
なお、本明細書で特に図示又は記載されない部分には、当該技術分野の周知又は公知技術を適用する。
また以下に説明する形態例は、発明の一つの形態例であって、これらに限定されるものではない。
【００１２】
（Ａ）形態例１
（Ａ−１）動体追跡システムの全体構成
図３に、発明に係る技術を適用する動体追跡システムの構成例を示す。この動体追跡システム１は、旋回台３に搭載した撮像装置５に動体追跡制御装置を内蔵するシステム例に対応する。なお、旋回台３と撮像装置５は一体構成でも、着脱可能な構成でも良い。
【００１３】
撮像装置５は、撮像部７と動体追跡制御部９とで構成される。撮像部７は、例えばＣＣＤ（Charge Coupled Device） センサやＣＭＯＳ（Complementary Metal Oxide
Semiconductor）センサ で構成される撮像素子と光学レンズその他で構成される。
なお、旋回台３は、搭載した撮像装置５の撮像方向を水平方向に駆動できる可動機構の一種である。
【００１４】
（Ａ−２）動体追跡制御装置の構成
図４に、動体追跡制御装置９の機能構成例を示す。
動体追跡制御装置９は、動体検知部１１、計算点配置部１３、局所移動ベクトル算出部１５、動体移動ベクトル導出部１７、計算点更新部１９、撮像方向駆動制御部２１の各機能部で構成される。
動体検知部１１は、撮像部５で撮像された画像上の動体領域を検出する処理機能である。この動体検知は、例えば撮像方向を固定した状態で撮像された２つの画像の比較により行う。動体検知部１１は、特許請求の範囲における動体特定部の一例である。
【００１５】
計算点配置部１３は、特定された動体領域上に複数個の計算点を配置する処理機能である。ここでの計算点は、局所移動ベクトルの算出に使用される。なお、計算点の配置方法には、例えば動体領域全体にランダムに配置する方法、動体領域に均等に配置する方法、動体領域内の特徴点（例えばエッジ、コーナー等）の付近に配置する方法その他がある。配置方法は、絵柄に応じて最適なものを選択するのが好ましい。
図５に、計算点（黒丸で示す。）の配置例を示す。なお、図５は、動体が人の場合である。
【００１６】
局所移動ベクトル算出部は、計算点について一群の局所移動ベクトルを算出する処理デバイスである。局所移動ベクトルの算出は、計算点についてのみ実行される。移動ベクトルの算出方法としては、例えば計算点の周囲に参照領域を設定し、単位時間前の画像を基準画像とする探索処理により実行する。一般には、ブロックマッチングと呼ばれる手法や勾配法と呼ばれる手法等を使用する。単位時間前の画像については、予め用意しておく。図６に、算出点について算出される局所移動ベクトルの例を示す。
【００１７】
動体移動ベクトル導出部１７は、一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理機能である。これは、一群の局所移動ベクトルの全てが同じ値にならないためである。
一般には、動体領域上に配置された各算出点について算出される局所移動ベクトルは、ほぼ同じ値を採る。
【００１８】
しかし、動体が人のような非剛体の場合、動体の部位や場所によって動きが異なることがある。また、ノイズの影響や配置された点の周辺に画像の輝度変化その他の特徴がない場合には異なる値の局所移動ベクトルが算出されることがある。
そこで、動体移動ベクトル導出部１７において、各算出点について算出された全ての局所移動ベクトルから動体全体の移動を表す動体移動ベクトルを導出する。
【００１９】
ここで、動体移動ベクトルは、例えば画像の縦横成分（２次元）で現される局所移動ベクトルについて頻度を計算し、最も頻度が高い値を動体移動ベクトルとして導出する。また例えば、動体移動ベクトルは、一群の局所移動ベクトルについて算出した近似演算値として算出する。なお、近似演算値は、例えば全ての局所移動ベクトルの平均値で与える。
【００２０】
計算点更新部１９は、動体追跡の開始を開始した後に局所移動ベクトルの算出に使用する算出点の位置を更新する処理機能である。すなわち、計算点更新部１９は、動体検知処理から追跡動作処理に移行した後も、動体検知処理で設定した計算点を継続使用（再配置を含む。）するために位置を更新する処理機能である。
具体的には、動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を計算点に更新する。ベクトルの類似判定には、既知の各種の手法を適用する。例えば、２つのベクトルの方向（ベクトル同士の間に生じる角度）で判定する。また例えば、２つのベクトルの方向と長さそれぞれについての乖離度で判定する。
【００２１】
この明細書では、動体移動ベクトルに従って位置をずらしながら継続使用される計算点を「継続計算点」という。一方、動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続計算点のいずれかの近傍位置に新たに再配置する。
ここでは図７を用い、計算点の再配置を説明する。なお、図７では、説明の都合上、計算点を２つだけ表している。
図７（Ａ）は、ある時点に計算点Ｐ１、Ｐ２について算出された局所移動ベクトル例を示す。
【００２２】
この例の場合、計算点Ｐ１が継続計算点の例である。また、計算点Ｐ２は、再配置の対象となる計算点の例である。図７に示すように、計算点Ｐ２は動体から離れて位置し、算出された局所移動ベクトルの向きも計算点Ｐ１の局所移動ベクトルとは大きく異なっている。
図７（Ｂ）は、計算点Ｐ２を継続計算点Ｐ１の近傍位置に再配置する例を示す。この例では、説明の都合上、継続計算点Ｐ１の近傍に再配置するが、他に存在する継続計算点のいずれかの近傍に再配置すれば良い。図中破線で囲んだ領域は、継続計算点Ｐ１の近傍範囲を示す。
【００２３】
なお、再配置の方法には、例えば継続計算点の近傍位置に新たな計算点をランダムに再配置する方法、継続計算点の近傍位置に新たな計算点を一定の規則で再配置する方法その他の方法がある。一定の規則には、例えば継続計算点を中心とした確率分布（例えばガウス分布）に従って新たな計算点を再配置する方法、継続計算点の重心に新たな計算点を再配置する方法その他がある。いずれの方法を使用するかは、用途や絵柄に応じた動作状況を確認して選択する。
【００２４】
撮像方向駆動制御部２１は、導出された動体移動ベクトルに応じて旋回台３の駆動を制御する処理機能である。旋回台３の駆動を制御することにより、動体が撮像部７の視野角から外れないように（すなわち、視野角内に動体が位置するように）、撮像装置５の撮像方向を制御できる。なお、この制御は、動体が視野角内に収める目的だけでなく、画面内の特定の場所（例えば画面中央）に常に位置するように制御する目的にも適用できる。
図８に、動体の移動に応じた撮像方向の追跡イメージを示す。
【００２５】
（Ａ−３）動体追跡制御手順
続いて、動体追跡制御装置９による追跡動作をプログラム制御の観点から説明する。勿論、動体追跡制御装置９の処理動作も同様の手順により実行される。
図９に、プログラムの制御手順例を示す。
プログラムは、まず動作フェーズを判定する（Ｓ１）。ここでは、動体検知フェーズか、動体追跡フェーズかを判定する。
なお、初期状態では動体検知フェーズが判定される。
【００２６】
動作検知フェーズと判定された場合、プログラムは、前述した既知の手法を用いて動体の検知処理を実行する（Ｓ２）。次に、プログラムは、動体の検知処理が終了したか否かを判定する（Ｓ３）。動体の検知処理が終了していない間（否定結果が得られている間）、プログラムは、動体検知処理を繰り返し実行する。
動体検知処理が終了すると、プログラムは、動作フェーズを動体追跡フェーズに更新すると共に、検出された動体領域上に局所移動ベクトルを計算する計算点を配置する（Ｓ４、Ｓ５）。
【００２７】
この後、プログラムは、再び動作フェーズを判定する（Ｓ１）。今回は、動作フェーズが動体追跡フェーズに変更されているので、プログラムは、配置された各計算点について局所移動ベクトルを算出する（Ｓ６）。
続いて、プログラムは、算出された一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する（Ｓ７）。前述したように、頻度分布や平均値として動体移動ベクトルを導出する。
【００２８】
次に、プログラムは、局所移動ベクトルの算出に使用する計算点の位置を更新する（Ｓ８）。前述したように、動体移動ベクトルと同じか類似する局所移動ベクトルが算出された計算点については、動体移動ベクトルだけ現在の位置から移動した位置を新たな計算点（継続計算点）に更新する。また、動体移動ベクトルと異なる局所移動ベクトルが算出された計算点については、現在までの計算点の位置を放棄し、継続計算点のいずれかの近傍位置に新たな計算点を再配置する。この際、計算点は再配置されるだけで、その個数は増加も減少もしない。
【００２９】
この後、プログラムは、算出された動体移動ベクトルに応じた角度だけ旋回台３を回動するように旋回命令を発する（Ｓ９）。すなわち、移動する動体を追跡するように撮像装置５の撮像方向を回転させる。この旋回動作を繰り返すことで、追跡対象とする動体を画面中央に常に表示できる。
図１０に、表示例を示す。図１０は、時点ｔ１〜ｔ４までの４つの撮像画面に対する局所移動ベクトルの算出の様子を示す。図中左側は、動体追跡が無い場合の撮像画面例である。図中右側は、動体追跡がある場合の撮像画面例である。
【００３０】
続いて、プログラムは、終了判定を実行する（Ｓ１０）。終了判定とは、追跡を継続するかしないかの判定である。例えば、追跡中の動体が撮像範囲内に位置する場合は追跡を継続すると判定する。これに対し、例えば、追跡中の動体を見失った場合（撮像範囲から外に出た場合）や旋回角度の限界を越えた（追跡可能な範囲を越えた場合）は終了と判定する。
【００３１】
いずれにしても、終了判定において否定結果が得られた場合、プログラムは、更新した計算点について局所移動ベクトルを算出する処理に移行する（Ｓ６）。
なお、終了判定は、撮像状態や機械的な限界だけでなく追跡時間に基づいて行うこともできる。例えば、動体追跡フェーズの開始から一定時間が経過した場合に追跡動作を終了する方法を用いても良い。また、前述した撮像状態や機械的な限界と追跡時間の両方の組み合わせ結果に基づいて追跡の継続か終了かを判定しても良い。
終了判定において肯定結果が得られた場合、プログラムは、動作フェーズを動体検知フェーズに移行して、再び動作フェーズを判定するステップに戻る（Ｓ１１）。
【００３２】
（Ａ−４）効果
以上のように、この形態例に係る動体追跡システムでは、動体検知フェーズ（撮像方向を固定した状態）で検知した動体領域上の計算点の位置を動体の移動に応じて更新する手法を採用したことにより、動体追跡フェーズ中も従来手法に比して少ない演算量で動体の追跡を実現することができる。
図１１に、従来技術と形態例との演算量の違いを模式的に示す。図１１は、時点ｔ１〜ｔ４までの４つの撮像画面に対する局所移動ベクトルの算出の様子を示す。
【００３３】
図中左側の一列が従来例、図中右側の一列が形態例である。左右を見比べて明らかなように、形態例の方が圧倒的に計算される局所移動ベクトルの数が少ないことが分かる。すなわち、形態例の方が、圧倒的に計算量が少なく済むことが分かる。
加えて、動体追跡手法では、算出点を繰り返し再利用するため、周囲に他の動体が存在する場合にもその影響を受け難くできる。
【００３４】
図１２に、追跡対象とする動体の近くに他の動体が存在する場合の例を示す。なお、図１２は、２人のうち右側の人を追跡処理している状態を示す。
従来手法であれば、動体追跡中は、追跡対象の周辺領域についても局所移動ベクトルを算出する。このため、右側の人の動体移動ベクトルを算出する際、左側の人の局所移動ベクトルが影響する。
しかし、形態例に係る手法では、追跡動作中も右側の人の上に配置した計算点だけを用いて追跡処理を実行する。このため、追跡対象とする人の左側に他の人が近づいた場合にも、右側の人の追跡を安定して継続できる。
【００３５】
（Ｂ）形態例２
形態例１では、検出された動体移動ベクトルに基づいて撮像装置の旋回のみを制御する場合について説明した。
しかし、動体追跡システムを侵入者の監視に用いる場合、最初に動体を検出する場合（動体検知モード）では、広範囲を監視するために撮像装置のレンズを広角に設定する場合が多い。その一方で、検知した侵入者を追跡する場合には、侵入者の詳細を捉える必要がある。この場合、撮像装置のレンズをズームインさせ、侵入者をより大きく映す必要がある。
【００３６】
また、侵入者が遠近方向に移動する場合、撮像装置のレンズをズームイン又はズームアウトさせて侵入者の大きさが適正になるように調整する必要がある。
例えば、図１３に示す場合である。図１３は、時点ｔ１〜ｔ４の間に侵入者が画面奥方向に移動する場合の撮像画像の変化を示す。図中左側は、ズーム無しで撮像した侵入者の撮像画像である。時間の経過に伴って被写体の面積が小さくなっている。一方、図中右側は、ズーム調整後の侵入者の撮像画像である。ズーム調整により被写体の大きさに変化はない。
【００３７】
このように、動体追跡システムで使用する撮像装置には、用途に応じてズームの調整機能が搭載されることがある。
ズームの調整機能を搭載する撮像装置の場合、一群の計算点について算出される局所移動ベクトルには、平行移動成分だけで無く、拡大・縮小成分も発生する。そこで、この形態例では、動体追跡中のズーム調整に対応した動体移動ベクトル（局所移動ベクトル）を安定して算出できる仕組みについて説明する。
【００３８】
（Ｂ−１）動体追跡制御装置の構成
この形態例の場合も、動体追跡システムの基本構成は図３と同じである。この形態例に特有の構成は、動体追跡制御装置９にレンズのズームを調整する機能を搭載する点である。
図１４に、動体追跡制御装置９の機能構成例を示す。なお図１４には、図４との対応部分に同一符号を付して示す。
【００３９】
この動体追跡制御装置９は、動体検知部１１、計算点配置部１３、局所移動ベクトル算出部１５、動体移動ベクトル導出部２３、計算点更新部１９、撮像方向駆動制御部２１、ズーム制御部２５の各機能部で構成される。
新規の構成部分は、動体移動ベクトル算出部２３とズーム制御部２５の２つである。なお、ズーム制御部２５は、動体移動ベクトルのうち遠近方向に対するベクトル成分に応じて撮像装置５のズームレンズの駆動を制御する処理機能である。
【００４０】
以下、動体移動ベクトル算出部２３の処理内容を説明する。なお、処理対象とする局所移動ベクトルには、拡大方向のベクトル成分又は縮小方向のベクトル成分が含まれている。
この例の場合、動体移動ベクトル算出部２３は、一群の局所移動ベクトルをアフィン変換又は射影変換して動体移動ベクトルを算出する。
アフィン変換で使用するアフィン変換係数の一例を示す。
ｘ’＝ａ・ｘ＋ｂ・ｙ＋ｃ
ｙ’＝ｄ・ｘ＋ｅ・ｙ＋ｆ
【００４１】
ここで、変数ｘ、ｙがアフィン変換前の計算点の座標に対応し、ｘ’、ｙ’がアフィン変換後の計算点の座標に対応する。また、ａ、ｂ、ｃ、ｄ、ｅ、ｆがアフィン変換係数である。
ここで、局所移動ベクトルｆｘ、ｆｙで表すと、動体移動後の計算点の座標は、(x’,y’)＝(x+fx,y+fy) で与えられる。
なお、６つのアフィン変換係数のうち、ｃとｆが平行移動成分であり、ａ、ｂ、ｄ、ｅが拡大成分又は縮小成分である。すなわち、アフィン変換係数のうち、ｃとｆが動体移動ベクトルである。
【００４２】
従って、動体移動ベクトル算出部２３では、これら６つのアフィン変換係数を算出する。
アフィン変換係数の算出方法としては、一群の局所移動ベクトルから最小二乗法などの近似手法を用いれば良い。最小二乗近似法の適用例には、例えば次のものがある。
ｎ個の計算点を与える各々の座標を(x1,y1),(x2,y2),…,(xn,yn)とし、局所移動ベクトルを(fx1,fy1),(fx2,y2),…,(fxn,fyn)とする場合、動体移動後の計算点の座標は、(x1+fx1,y1+fy1),(x2+fx2,y2+fy2),…,(xn+fxn,yn+fyn)となる。
【００４３】
ここで、２次元で表現された局所移動ベクトルの計算点の座標に定数項を加えて３次元とし、ｎｘ３の行列として表現すると次のようになる。
x1 x2 … xn
x1+fx1 x2+fx1 … xn+fxn
A＝ y1 y2 … yn
B＝ y1+fy1 y2+fy1 … yn+fyn
1 1 … 1
1
1 …
1
【００４４】
同様に、アフィン変換係数にも定数項を追加して、３x３の行列として表現すると次のようになる。
a b c
C＝ d e f
1 1 1
ここで、これら３つの行列式には、次式（１）の関係が成り立つ。
CA＝B
(1)
【００４５】
この計算点にアフィン変換係数を掛けると、動体移動後の計算点に変換される。ここで、行列C を求めるために式(1)を変形すると次式(2)のようになる。
C＝BAT(AAT)-1
(2)
ここで、添え字T は転地行列、-1は逆行列を表す。行列A とB は既知であるので、式(2)を計算することで、行列C 、すなわちアフィン変換係数を求めることができる。
【００４６】
この時、誤った値が算出された局所移動ベクトルの影響を取り除くため、算出したアフィン変換係数との誤差が大きい局所移動ベクトルを取り除いて、アフィン変換係数を再計算しても良い。さらに、これを繰り返すことでより精度の高いアフィン変換係数の算出を行っても良い。
【００４７】
（Ｂ−２）動体追跡制御手順
続いて、動体追跡制御装置９による追跡動作をプログラム制御の観点から説明する。勿論、動体追跡制御装置９の処理動作も同様の手順により実行される。
図１５に、プログラムの制御手順例を示す。なお、図１５には、図９との対応部分に同一符号を付して示す。基本的な動作手順は形態例１と同じである。
【００４８】
プログラムは、まず動作フェーズを判定する（Ｓ１）。
動作検知フェーズと判定された場合、プログラムは、撮像方向を固定した状態で動体の検知処理を実行する（Ｓ２）。次に、プログラムは、動体の検知処理が終了したか否かを判定する（Ｓ３）。動体の検知処理が終了していない間（否定結果が得られている間）、プログラムは、動体検知処理を繰り返し実行する。
動体検知処理が終了すると、プログラムは、動作フェーズを動体追跡フェーズに更新すると共に、検出された動体領域上に局所移動ベクトルを計算する計算点を配置する（Ｓ４、Ｓ５）。
【００４９】
この後、プログラムは、再び動作フェーズを判定する（Ｓ１）。今回は、動作フェーズが動体追跡フェーズに変更されているので、プログラムは、配置された各計算点について局所移動ベクトルを算出する（Ｓ６）。
続いて、プログラムは、算出された一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する（Ｓ２１）。この際、アフィン変換処理を実行し、動体移動ベクトルを導出する。
【００５０】
次に、プログラムは、局所移動ベクトルの算出に使用する計算点の位置を更新する（Ｓ８）。前述したように、動体移動ベクトルと同じか類似する局所移動ベクトルが算出された計算点については、動体移動ベクトルだけ現在の位置から移動した位置を新たな計算点（継続計算点）に更新する。また、動体移動ベクトルと異なる局所移動ベクトルが算出された計算点については、現在までの計算点の位置を放棄し、継続計算点のいずれかの近傍位置に新たな計算点を再配置する。この際、計算点は再配置されるだけで、その個数は増加も減少もしない。
【００５１】
この後、プログラムは、算出された動体移動ベクトルに応じた角度だけ旋回台３を回動するように旋回命令を発する（Ｓ２２）。すなわち、移動する動体を追跡するように撮像装置５の撮像方向を回転させる。また、プログラムは、算出された拡大・縮小成分に応じてレンズのズーム量を調整する命令を発する（Ｓ２２）。
この複合動作を繰り返すことで、追跡対象とする動体を適当な大きさのまま画面中央に常に表示できる。
【００５２】
かかる後、プログラムは、終了判定を実行する（Ｓ１０）。
終了判定において否定結果が得られた場合、プログラムは、更新した計算点について局所移動ベクトルを算出する処理に移行する（Ｓ６）。
一方、終了判定において肯定結果が得られた場合、プログラムは、動作フェーズを動体検知フェーズに移行し、再び動作フェーズを判定するステップに戻る（Ｓ１１）。
【００５３】
（Ｂ−３）効果
以上のように、この形態例に係る動体追跡システムでは、ズーム動作を伴う追跡動作中も、少ない計算量で安定した追跡動作を実現できる。
また、この動体追跡システムの場合も、追跡対象である動体の近くにある動体の影響を受けずに追跡動作を実行できる。
また、この動体追跡システムでは、ズーム機能により追跡動作中も被写体を適切な大きさで撮像することができる。
【００５４】
（Ｄ）他の形態例
（ａ）前述の形態例においては、動体移動ベクトルと異なる局所移動ベクトルが計算された計算点については即座に再配置する場合について説明した。
しかし、再配置には一定の猶予期間を設けても良い。例えば個々の計算点にある係数（継続係数）を設定する。この継続係数は、計算点が新規に配置された場合や再配置された場合に予め定めた初期値に設定される。
【００５５】
ここで、動体移動ベクトルと同じか類似する局所移動ベクトルが計算された計算点に対しては、継続係数にある値を加算する。逆に、動体体移動ベクトルと異なる局所移動ベクトルが計算された計算点に対しては、継続係数からある値を減算する。そして、継続係数の値が、ゼロ又は負の値になった場合に、対応する計算点を再配置する。この手法の採用により、再配置処理に一定の猶予期間を設けることができる。
【００５６】
図１６に処理イメージを示す。図１６の場合、継続計算点（動体移動ベクトルと同じか類似）が計算点Ｐ１である。また、動体移動ベクトルと異なる局所移動ベクトルが算出される計算点が計算点Ｐ２である。
形態例１や形態例２の場合には、時点ｔ２（図１６（Ｂ））の時点で、計算点Ｐ２は即座に再配置されるが、この例の場合には、時点ｔ３（図１６（Ｃ））の時点で計算点が再配置される。
【００５７】
なお、継続係数を増加させる場合と減少させる場合とで同じ値を用いることもできるが、増加させる場合と減少させる場合とで異なる値を用いても良い。例えば、増加時よりも減少時の方が大きな値を減算する仕組みを採用しても良い。この場合は、動体移動ベクトルと異なる局所移動ベクトルが算出された場合に継続係数がゼロ又は負に更新されるまでの期間を短縮できる。もっとも、継続係数の増減方向を反対にすることもできる。すなわち、継続係数があるしきい値（＞０）を越えた場合に、計算点を再配置する仕組みを採用しても良い。
【００５８】
また、動体移動ベクトルと同じか類似する局所移動ベクトルが算出されるたびにある値を加算される継続係数に加算範囲の上限値を設定しても良い。すなわち、継続係数の可変範囲に上限値を設定することで、継続計算点が動体上から離れて位置するようになった場合にも速やかに、当該計算点の再配置が実行されるようにできる。
また、継続係数には、任意の数値を適用できるが、例えば動体移動ベクトルと同じか類似すると判定された回数を用いても良い。
【００５９】
（ｂ）前述の形態例においては、図３に示す構成の動体追跡システムについて説明した。すなわち、動体追跡制御部９を撮像装置５に内蔵する場合について説明した。
しかし、動体追跡制御部９は、必ずしも撮像装置５に内蔵される必要はない。図１７に他のシステム例を示す。
【００６０】
図１７（Ａ）は、動体追跡制御部（装置）９を撮像装置５と分離し、通信線（有線・無線）を通じて相互接続する構成の動体追跡システム例３１を示す。この構成例の場合、動体追跡制御部（装置）９は、例えばコンピュータその他の情報処理装置上の一機能として実現する。
図１７（Ｂ）も、動体追跡制御部（装置）９を撮像装置５と分離する構成の動体追跡システム例３３を示す。ただし、ネットワーク３５経由で接続する例である。
【００６１】
（ｃ）前述の形態例では、撮像装置を水平方向に旋回する場合について説明した。
しかし、撮像装置を画面の上下方向に旋回する構成としても良い。
（ｄ）前述の形態例では、画面上の動体領域を既知の動体検知処理を用いて検出する場合について説明した。しかし、追跡対象とする動体の初期指定は、作業者がポインティングツールを用いて指定する手法を採用しても良い。
（ｅ）前述の形態例では、動体追跡システムとして監視システムを例に説明したが、応用システムはこれに限らない。例えば講演の記録、授業の記録、説明会の記録その他の動体を自動的に追跡して記録又は配信するシステムに広く応用できる。
【００６２】
（ｆ）前述の形態例では、撮像装置の撮像方向を動体の移動に応じて旋回し、必要に応じてレンズをズーム調整する場合について説明した。
しかし、撮像装置の撮像方向は固定のまま、特定の動体を追跡して撮像画像の一部の領域を抽出する場合にも適用できる。
図１８に、撮像画面の一部の領域を抽出する方式の動体追跡システムの構成例を示す。ない、図１８には、図３との対応部分に同一符号を付して示している。
【００６３】
図１８（Ａ）に示す動体追跡システム４１は、サーバー（画像データ記憶装置）４３から読み出した撮像画像を処理対象とする。動体追跡システム４１の場合、読み出された撮像画像が動体追跡制御部４５と領域抽出部４７に入力される。ここで、領域抽出部４７は、動体追跡制御部４５から与えられる抽出領域情報に従って対応領域を画面内から抽出する処理を実行する処理機能を実現する。
【００６４】
図１８（Ｂ）に示す動体追跡システム４９は、旋回台３を有しない撮像装置５（すなわち、撮像方向が固定の撮像装置）から読み出した撮像画像を処理対象とする。この動体追跡システム４９の場合も、出力された撮像画像は、動体追跡制御部４５と領域抽出部４７に入力され、動体の移動に伴って撮像画面内の一部領域が抽出されて出力される。
ところで、これらの動体追跡システムの場合、背景画像に移動ベクトル成分が含まれる場合と移動ベクトル成分が含まれない場合とがある。
【００６５】
しかし、いずれの場合にも、前述した動体移動ベクトルの算出手法を適用することができる。なお、背景画像に移動ベクトル成分が含まれない場合にも、前述した動体移動ベクトルの算出手法を適用する場合には、動体追跡中の計算量の大幅な削減と、動体近くに位置する他の動体の影響低減とを実現できる。
以下、これらの動体追跡システムに使用する動体追跡制御部の構成例と処理手順例を簡単に説明する。
【００６６】
図１９に、動体追跡制御部４５の内部構成例を示す。図１９は、図４との対応部分に同一符号を付して示している。
動体追跡制御装置４５は、動体検知部１１、計算点配置部１３、局所移動ベクトル算出部１５、動体移動ベクトル導出部１７、計算点更新部１９、抽出領域移動制御部５１の各機能部で構成される。新規な構成は、抽出領域移動制御部５１の部分である。この抽出領域移動制御部５１は、動体が抽出されるように、画像から抽出する領域を動体移動ベクトルに応じて移動制御する処理機能に対応する。動体移動ベクトルに応じて抽出領域を移動する点が前例との違いである。
【００６７】
図２０に、動体追跡制御装置４５による追跡動作をプログラム制御の観点から説明する。図２０は、図９との対応部分に同一符号を付して示している。プログラム制御も、ほとんどの処理は図９と同じであり、動体移動ベクトルに基づいて抽出領域の移動命令を発する点だけが違いである（Ｓ３１）。この追跡動作の繰り返すことで、追跡対象とする動体を画面中央に常に表示できる。
【００６８】
（ｇ）前述した追跡制御プログラムは、ネットワーク経由で配布しても良く、記憶媒体に格納して配布しても良い。配布用の記憶媒体は、磁気記憶媒体、光学式記憶媒体、半導体記憶媒体その他を含む。
（ｈ）前述の形態例には、発明の趣旨の範囲内で様々な変形例が考えられる。また、本明細書の記載に基づいて創作される又は組み合わせられる各種の変形例及び応用例も考えられる。
【図面の簡単な説明】
【００６９】
【図１】従来手法で算出される移動ベクトル例を示す図である。
【図２】従来手法では移動ベクトルの算出が不安定になる場合の画像例を示す図である。
【図３】動体追跡システムの構成例を示す図である。
【図４】動体追跡制御装置の機能構成例を示す図である。
【図５】計算点の配置例を示す図である。
【図６】個々の計算点について算出される局所移動ベクトル例を示す図である。
【図７】計算点の再配置を示す図である。
【図８】動体の移動に応じた撮像方向の追跡イメージを示す図である。
【図９】動体追跡プログラムの制御手順例を示す図である。
【図１０】表示画面例を示す図である。
【図１１】従来技術と形態例との演算量の違いを模式的に説明する図である。
【図１２】追跡対象とする動体の近くに他の動体が存在する場合の局所移動ベクトルの算出例を示す図である。
【図１３】動体が画面奥方向に移動する場合の撮像画像の変化を示す図である。
【図１４】動体追跡制御装置の機能構成例を示す図である。
【図１５】動体追跡プログラムの制御手順例を示す図である。
【図１６】計算点の再配置までに一定の猶予期間を設ける場合の動作例を示す図である。
【図１７】動体追跡システムの他の構成例を示す図である。
【図１８】動体追跡システムの他の構成例を示す図である。
【図１９】領域抽出型の動体追跡制御装置の機能構成例を示す図である。
【図２０】領域抽出型の動体追跡プログラムの制御手順例を示す図である。
【符号の説明】
【００７０】
１、３１、４１、４９ 動体追跡システム
９、４５ 動体追跡制御部
１１ 動体検知部
１３ 計算点配置部
１５ 局所移動ベクトル算出部
１７、２３ 動体移動ベクトル導出部
１９ 計算点更新部
２１ 撮像方向駆動制御部
２５ ズーム制御部
４７ 領域抽出部
５１ 抽出領域移動制御部
【技術分野】
【０００１】
発明の一つの形態は、画面内で移動する動体を追跡制御する装置に関する。また、発明の一つの形態は、動体追跡制御装置を搭載するシステムに関する。
また、発明の他の形態は、当該機能を実現する方法及びプログラムに関する。
【背景技術】
【０００２】
監視システムでは、監視カメラその他の撮像装置により撮像された画面上での動体（例えば人、車その他の物体）を追跡できる機能（追跡機能）が非常に重要になる。例えば監視カメラで立ち入り禁止区域を監視する場合には、侵入者の領域内での行動を追跡記録することが重要になる。
撮像方向が固定の監視カメラでも、動体検知処理（例えば、C.Stuffer, W.E.L Grimson, ”Adaptive background mixture models for
real-time tracking”）の適用により、侵入者の検知と追跡を実現できる。
【０００３】
しかし、固定式の監視カメラは、撮像範囲の内側でしか侵入者を追跡することができない。すなわち、侵入者が撮像範囲から出て行くと、それ以上は侵入者を追跡することができない。
そこで、撮像方向を可動できる方式の監視システムが用いられる。可動式の監視システムは、旋回用の雲台上に監視カメラを搭載し、追跡範囲を撮像範囲以上に拡大する。すなわち、侵入者の移動に応じて監視カメラを旋回し、侵入者を継続的に撮像範囲内に収めることができる。
【０００４】
ところが、可動式の監視システムの場合、カメラの旋回中は、前述した動体検知処理による侵入者の検知ができない。動体検知処理は、侵入者などを前景、それ以外を背景として定義し、背景は静止、前景は動いているという前提で動体を検知する。しかし、可動式の監視システムでは、撮像カメラの旋回中は前景だけでなく背景も動く。このため、動体検知処理の前提が成立しない。
【０００５】
そこで、監視カメラを旋回させて追跡する場合は、２つのフェーズに分けることが多い。１つは動体検出フェーズ、もう一つは動体追跡フェーズである。
動体検出フェーズは、監視カメラを静止させた状態で前述した動体検知処理を実行し、追跡対象とする動体を検出する処理フェーズである。動体が検出されると、動体追跡フェーズに移行し、撮像カメラを旋回させながら動体を追跡する。動体追跡フェーズには、監視カメラの旋回中も動体を検知できる手法を用いる。そして、動体の追跡が終了すると撮像カメラを静止させ、再び動体検知フェーズに戻る。
【０００６】
動体検出フェーズで使用する動体検知手法の従来例に特許文献１に開示された技術がある。この技術は、追跡対象だけでなく、その周辺領域も含めて移動ベクトルを計算し、追跡対象とする移動ベクトルを検知する。図１に、この検知手法で算出される移動ベクトル例を示す。図１に示すように、この動体検知手法では、追跡対象（この場合、人）とその背景とで異なる移動ベクトルが算出されることを利用し、追跡対象の移動ベクトルのみを選別する。この検知手法を用いれば、撮像カメラが旋回中でも、追跡対称の位置を決定することができる。
【特許文献１】特開２００３−３９３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、この検知手法には２つの問題がある。
１つの問題は、処理時間の問題である。この検知手法の場合、追跡対象だけでなくその周辺領域についても移動ベクトルを求める必要がある。しかも、追跡対象の面積が大きくなると、追跡対象の周辺により多くの移動ベクトルを求める必要があり、処理時間が増大する。
もう一つの問題は、図２に示すように追跡対象の近くに別の動体が存在した場合、決定処理が不安定になることである。
【課題を解決するための手段】
【０００８】
そこで、発明者は、以下の処理機能を有する動体追跡技術を提案する。
（Ａ）技術１
（ａ１）撮像装置で撮像された画像上の動体領域を特定する処理機能
（ａ２）特定された動体領域上に複数個の計算点を配置する処理機能
（ａ３）計算点について一群の局所移動ベクトルを算出する処理機能
（ａ４）一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理機能
（ａ５）動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理機能
（ａ６）動体移動ベクトルに応じて、撮像装置を搭載する可動機構を制御する処理機能
【０００９】
（Ｂ）技術２
（ｂ１）撮像装置で撮像された画像上の動体領域又はサーバーから読み出された画像上の動体領域を特定する処理機能
（ｂ２）特定された動体領域上に複数個の計算点を配置する処理機能
（ｂ３）計算点について一群の局所移動ベクトルを算出する処理機能
（ｂ４）一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理機能
（ｂ５）動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理機能
（ｂ６）動体移動ベクトルに応じて、画像から抽出する領域を移動制御する処理機能
【発明の効果】
【００１０】
発明に係る技術の場合、局所移動ベクトルの計算点は、動体の移動に追従して継続的に使用又は再配置される。すなわち、追跡動作中も、動体検知時と同じ個数の計算点についてのみ局所移動ベクトルを算出する。このため、少ない演算量で動体の追跡処理を実行できる。
また、局所移動ベクトルの計算は、動体領域上に配置された計算点についてのみ継続されるため、追跡中の動体の近傍に他の動体が接近した場合でも、他の動体の影響を受けずに局所移動ベクトルの計算を継続することができる。これにより、安定した動体の追跡処理を実現できる。
【発明を実施するための最良の形態】
【００１１】
以下、発明に係る技術を適用した動体追跡システムの形態例を説明する。
なお、本明細書で特に図示又は記載されない部分には、当該技術分野の周知又は公知技術を適用する。
また以下に説明する形態例は、発明の一つの形態例であって、これらに限定されるものではない。
【００１２】
（Ａ）形態例１
（Ａ−１）動体追跡システムの全体構成
図３に、発明に係る技術を適用する動体追跡システムの構成例を示す。この動体追跡システム１は、旋回台３に搭載した撮像装置５に動体追跡制御装置を内蔵するシステム例に対応する。なお、旋回台３と撮像装置５は一体構成でも、着脱可能な構成でも良い。
【００１３】
撮像装置５は、撮像部７と動体追跡制御部９とで構成される。撮像部７は、例えばＣＣＤ（Charge Coupled Device） センサやＣＭＯＳ（Complementary Metal Oxide
Semiconductor）センサ で構成される撮像素子と光学レンズその他で構成される。
なお、旋回台３は、搭載した撮像装置５の撮像方向を水平方向に駆動できる可動機構の一種である。
【００１４】
（Ａ−２）動体追跡制御装置の構成
図４に、動体追跡制御装置９の機能構成例を示す。
動体追跡制御装置９は、動体検知部１１、計算点配置部１３、局所移動ベクトル算出部１５、動体移動ベクトル導出部１７、計算点更新部１９、撮像方向駆動制御部２１の各機能部で構成される。
動体検知部１１は、撮像部５で撮像された画像上の動体領域を検出する処理機能である。この動体検知は、例えば撮像方向を固定した状態で撮像された２つの画像の比較により行う。動体検知部１１は、特許請求の範囲における動体特定部の一例である。
【００１５】
計算点配置部１３は、特定された動体領域上に複数個の計算点を配置する処理機能である。ここでの計算点は、局所移動ベクトルの算出に使用される。なお、計算点の配置方法には、例えば動体領域全体にランダムに配置する方法、動体領域に均等に配置する方法、動体領域内の特徴点（例えばエッジ、コーナー等）の付近に配置する方法その他がある。配置方法は、絵柄に応じて最適なものを選択するのが好ましい。
図５に、計算点（黒丸で示す。）の配置例を示す。なお、図５は、動体が人の場合である。
【００１６】
局所移動ベクトル算出部は、計算点について一群の局所移動ベクトルを算出する処理デバイスである。局所移動ベクトルの算出は、計算点についてのみ実行される。移動ベクトルの算出方法としては、例えば計算点の周囲に参照領域を設定し、単位時間前の画像を基準画像とする探索処理により実行する。一般には、ブロックマッチングと呼ばれる手法や勾配法と呼ばれる手法等を使用する。単位時間前の画像については、予め用意しておく。図６に、算出点について算出される局所移動ベクトルの例を示す。
【００１７】
動体移動ベクトル導出部１７は、一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理機能である。これは、一群の局所移動ベクトルの全てが同じ値にならないためである。
一般には、動体領域上に配置された各算出点について算出される局所移動ベクトルは、ほぼ同じ値を採る。
【００１８】
しかし、動体が人のような非剛体の場合、動体の部位や場所によって動きが異なることがある。また、ノイズの影響や配置された点の周辺に画像の輝度変化その他の特徴がない場合には異なる値の局所移動ベクトルが算出されることがある。
そこで、動体移動ベクトル導出部１７において、各算出点について算出された全ての局所移動ベクトルから動体全体の移動を表す動体移動ベクトルを導出する。
【００１９】
ここで、動体移動ベクトルは、例えば画像の縦横成分（２次元）で現される局所移動ベクトルについて頻度を計算し、最も頻度が高い値を動体移動ベクトルとして導出する。また例えば、動体移動ベクトルは、一群の局所移動ベクトルについて算出した近似演算値として算出する。なお、近似演算値は、例えば全ての局所移動ベクトルの平均値で与える。
【００２０】
計算点更新部１９は、動体追跡の開始を開始した後に局所移動ベクトルの算出に使用する算出点の位置を更新する処理機能である。すなわち、計算点更新部１９は、動体検知処理から追跡動作処理に移行した後も、動体検知処理で設定した計算点を継続使用（再配置を含む。）するために位置を更新する処理機能である。
具体的には、動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を計算点に更新する。ベクトルの類似判定には、既知の各種の手法を適用する。例えば、２つのベクトルの方向（ベクトル同士の間に生じる角度）で判定する。また例えば、２つのベクトルの方向と長さそれぞれについての乖離度で判定する。
【００２１】
この明細書では、動体移動ベクトルに従って位置をずらしながら継続使用される計算点を「継続計算点」という。一方、動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続計算点のいずれかの近傍位置に新たに再配置する。
ここでは図７を用い、計算点の再配置を説明する。なお、図７では、説明の都合上、計算点を２つだけ表している。
図７（Ａ）は、ある時点に計算点Ｐ１、Ｐ２について算出された局所移動ベクトル例を示す。
【００２２】
この例の場合、計算点Ｐ１が継続計算点の例である。また、計算点Ｐ２は、再配置の対象となる計算点の例である。図７に示すように、計算点Ｐ２は動体から離れて位置し、算出された局所移動ベクトルの向きも計算点Ｐ１の局所移動ベクトルとは大きく異なっている。
図７（Ｂ）は、計算点Ｐ２を継続計算点Ｐ１の近傍位置に再配置する例を示す。この例では、説明の都合上、継続計算点Ｐ１の近傍に再配置するが、他に存在する継続計算点のいずれかの近傍に再配置すれば良い。図中破線で囲んだ領域は、継続計算点Ｐ１の近傍範囲を示す。
【００２３】
なお、再配置の方法には、例えば継続計算点の近傍位置に新たな計算点をランダムに再配置する方法、継続計算点の近傍位置に新たな計算点を一定の規則で再配置する方法その他の方法がある。一定の規則には、例えば継続計算点を中心とした確率分布（例えばガウス分布）に従って新たな計算点を再配置する方法、継続計算点の重心に新たな計算点を再配置する方法その他がある。いずれの方法を使用するかは、用途や絵柄に応じた動作状況を確認して選択する。
【００２４】
撮像方向駆動制御部２１は、導出された動体移動ベクトルに応じて旋回台３の駆動を制御する処理機能である。旋回台３の駆動を制御することにより、動体が撮像部７の視野角から外れないように（すなわち、視野角内に動体が位置するように）、撮像装置５の撮像方向を制御できる。なお、この制御は、動体が視野角内に収める目的だけでなく、画面内の特定の場所（例えば画面中央）に常に位置するように制御する目的にも適用できる。
図８に、動体の移動に応じた撮像方向の追跡イメージを示す。
【００２５】
（Ａ−３）動体追跡制御手順
続いて、動体追跡制御装置９による追跡動作をプログラム制御の観点から説明する。勿論、動体追跡制御装置９の処理動作も同様の手順により実行される。
図９に、プログラムの制御手順例を示す。
プログラムは、まず動作フェーズを判定する（Ｓ１）。ここでは、動体検知フェーズか、動体追跡フェーズかを判定する。
なお、初期状態では動体検知フェーズが判定される。
【００２６】
動作検知フェーズと判定された場合、プログラムは、前述した既知の手法を用いて動体の検知処理を実行する（Ｓ２）。次に、プログラムは、動体の検知処理が終了したか否かを判定する（Ｓ３）。動体の検知処理が終了していない間（否定結果が得られている間）、プログラムは、動体検知処理を繰り返し実行する。
動体検知処理が終了すると、プログラムは、動作フェーズを動体追跡フェーズに更新すると共に、検出された動体領域上に局所移動ベクトルを計算する計算点を配置する（Ｓ４、Ｓ５）。
【００２７】
この後、プログラムは、再び動作フェーズを判定する（Ｓ１）。今回は、動作フェーズが動体追跡フェーズに変更されているので、プログラムは、配置された各計算点について局所移動ベクトルを算出する（Ｓ６）。
続いて、プログラムは、算出された一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する（Ｓ７）。前述したように、頻度分布や平均値として動体移動ベクトルを導出する。
【００２８】
次に、プログラムは、局所移動ベクトルの算出に使用する計算点の位置を更新する（Ｓ８）。前述したように、動体移動ベクトルと同じか類似する局所移動ベクトルが算出された計算点については、動体移動ベクトルだけ現在の位置から移動した位置を新たな計算点（継続計算点）に更新する。また、動体移動ベクトルと異なる局所移動ベクトルが算出された計算点については、現在までの計算点の位置を放棄し、継続計算点のいずれかの近傍位置に新たな計算点を再配置する。この際、計算点は再配置されるだけで、その個数は増加も減少もしない。
【００２９】
この後、プログラムは、算出された動体移動ベクトルに応じた角度だけ旋回台３を回動するように旋回命令を発する（Ｓ９）。すなわち、移動する動体を追跡するように撮像装置５の撮像方向を回転させる。この旋回動作を繰り返すことで、追跡対象とする動体を画面中央に常に表示できる。
図１０に、表示例を示す。図１０は、時点ｔ１〜ｔ４までの４つの撮像画面に対する局所移動ベクトルの算出の様子を示す。図中左側は、動体追跡が無い場合の撮像画面例である。図中右側は、動体追跡がある場合の撮像画面例である。
【００３０】
続いて、プログラムは、終了判定を実行する（Ｓ１０）。終了判定とは、追跡を継続するかしないかの判定である。例えば、追跡中の動体が撮像範囲内に位置する場合は追跡を継続すると判定する。これに対し、例えば、追跡中の動体を見失った場合（撮像範囲から外に出た場合）や旋回角度の限界を越えた（追跡可能な範囲を越えた場合）は終了と判定する。
【００３１】
いずれにしても、終了判定において否定結果が得られた場合、プログラムは、更新した計算点について局所移動ベクトルを算出する処理に移行する（Ｓ６）。
なお、終了判定は、撮像状態や機械的な限界だけでなく追跡時間に基づいて行うこともできる。例えば、動体追跡フェーズの開始から一定時間が経過した場合に追跡動作を終了する方法を用いても良い。また、前述した撮像状態や機械的な限界と追跡時間の両方の組み合わせ結果に基づいて追跡の継続か終了かを判定しても良い。
終了判定において肯定結果が得られた場合、プログラムは、動作フェーズを動体検知フェーズに移行して、再び動作フェーズを判定するステップに戻る（Ｓ１１）。
【００３２】
（Ａ−４）効果
以上のように、この形態例に係る動体追跡システムでは、動体検知フェーズ（撮像方向を固定した状態）で検知した動体領域上の計算点の位置を動体の移動に応じて更新する手法を採用したことにより、動体追跡フェーズ中も従来手法に比して少ない演算量で動体の追跡を実現することができる。
図１１に、従来技術と形態例との演算量の違いを模式的に示す。図１１は、時点ｔ１〜ｔ４までの４つの撮像画面に対する局所移動ベクトルの算出の様子を示す。
【００３３】
図中左側の一列が従来例、図中右側の一列が形態例である。左右を見比べて明らかなように、形態例の方が圧倒的に計算される局所移動ベクトルの数が少ないことが分かる。すなわち、形態例の方が、圧倒的に計算量が少なく済むことが分かる。
加えて、動体追跡手法では、算出点を繰り返し再利用するため、周囲に他の動体が存在する場合にもその影響を受け難くできる。
【００３４】
図１２に、追跡対象とする動体の近くに他の動体が存在する場合の例を示す。なお、図１２は、２人のうち右側の人を追跡処理している状態を示す。
従来手法であれば、動体追跡中は、追跡対象の周辺領域についても局所移動ベクトルを算出する。このため、右側の人の動体移動ベクトルを算出する際、左側の人の局所移動ベクトルが影響する。
しかし、形態例に係る手法では、追跡動作中も右側の人の上に配置した計算点だけを用いて追跡処理を実行する。このため、追跡対象とする人の左側に他の人が近づいた場合にも、右側の人の追跡を安定して継続できる。
【００３５】
（Ｂ）形態例２
形態例１では、検出された動体移動ベクトルに基づいて撮像装置の旋回のみを制御する場合について説明した。
しかし、動体追跡システムを侵入者の監視に用いる場合、最初に動体を検出する場合（動体検知モード）では、広範囲を監視するために撮像装置のレンズを広角に設定する場合が多い。その一方で、検知した侵入者を追跡する場合には、侵入者の詳細を捉える必要がある。この場合、撮像装置のレンズをズームインさせ、侵入者をより大きく映す必要がある。
【００３６】
また、侵入者が遠近方向に移動する場合、撮像装置のレンズをズームイン又はズームアウトさせて侵入者の大きさが適正になるように調整する必要がある。
例えば、図１３に示す場合である。図１３は、時点ｔ１〜ｔ４の間に侵入者が画面奥方向に移動する場合の撮像画像の変化を示す。図中左側は、ズーム無しで撮像した侵入者の撮像画像である。時間の経過に伴って被写体の面積が小さくなっている。一方、図中右側は、ズーム調整後の侵入者の撮像画像である。ズーム調整により被写体の大きさに変化はない。
【００３７】
このように、動体追跡システムで使用する撮像装置には、用途に応じてズームの調整機能が搭載されることがある。
ズームの調整機能を搭載する撮像装置の場合、一群の計算点について算出される局所移動ベクトルには、平行移動成分だけで無く、拡大・縮小成分も発生する。そこで、この形態例では、動体追跡中のズーム調整に対応した動体移動ベクトル（局所移動ベクトル）を安定して算出できる仕組みについて説明する。
【００３８】
（Ｂ−１）動体追跡制御装置の構成
この形態例の場合も、動体追跡システムの基本構成は図３と同じである。この形態例に特有の構成は、動体追跡制御装置９にレンズのズームを調整する機能を搭載する点である。
図１４に、動体追跡制御装置９の機能構成例を示す。なお図１４には、図４との対応部分に同一符号を付して示す。
【００３９】
この動体追跡制御装置９は、動体検知部１１、計算点配置部１３、局所移動ベクトル算出部１５、動体移動ベクトル導出部２３、計算点更新部１９、撮像方向駆動制御部２１、ズーム制御部２５の各機能部で構成される。
新規の構成部分は、動体移動ベクトル算出部２３とズーム制御部２５の２つである。なお、ズーム制御部２５は、動体移動ベクトルのうち遠近方向に対するベクトル成分に応じて撮像装置５のズームレンズの駆動を制御する処理機能である。
【００４０】
以下、動体移動ベクトル算出部２３の処理内容を説明する。なお、処理対象とする局所移動ベクトルには、拡大方向のベクトル成分又は縮小方向のベクトル成分が含まれている。
この例の場合、動体移動ベクトル算出部２３は、一群の局所移動ベクトルをアフィン変換又は射影変換して動体移動ベクトルを算出する。
アフィン変換で使用するアフィン変換係数の一例を示す。
ｘ’＝ａ・ｘ＋ｂ・ｙ＋ｃ
ｙ’＝ｄ・ｘ＋ｅ・ｙ＋ｆ
【００４１】
ここで、変数ｘ、ｙがアフィン変換前の計算点の座標に対応し、ｘ’、ｙ’がアフィン変換後の計算点の座標に対応する。また、ａ、ｂ、ｃ、ｄ、ｅ、ｆがアフィン変換係数である。
ここで、局所移動ベクトルｆｘ、ｆｙで表すと、動体移動後の計算点の座標は、(x’,y’)＝(x+fx,y+fy) で与えられる。
なお、６つのアフィン変換係数のうち、ｃとｆが平行移動成分であり、ａ、ｂ、ｄ、ｅが拡大成分又は縮小成分である。すなわち、アフィン変換係数のうち、ｃとｆが動体移動ベクトルである。
【００４２】
従って、動体移動ベクトル算出部２３では、これら６つのアフィン変換係数を算出する。
アフィン変換係数の算出方法としては、一群の局所移動ベクトルから最小二乗法などの近似手法を用いれば良い。最小二乗近似法の適用例には、例えば次のものがある。
ｎ個の計算点を与える各々の座標を(x1,y1),(x2,y2),…,(xn,yn)とし、局所移動ベクトルを(fx1,fy1),(fx2,y2),…,(fxn,fyn)とする場合、動体移動後の計算点の座標は、(x1+fx1,y1+fy1),(x2+fx2,y2+fy2),…,(xn+fxn,yn+fyn)となる。
【００４３】
ここで、２次元で表現された局所移動ベクトルの計算点の座標に定数項を加えて３次元とし、ｎｘ３の行列として表現すると次のようになる。
x1 x2 … xn
x1+fx1 x2+fx1 … xn+fxn
A＝ y1 y2 … yn
B＝ y1+fy1 y2+fy1 … yn+fyn
1 1 … 1
1
1 …
1
【００４４】
同様に、アフィン変換係数にも定数項を追加して、３x３の行列として表現すると次のようになる。
a b c
C＝ d e f
1 1 1
ここで、これら３つの行列式には、次式（１）の関係が成り立つ。
CA＝B
(1)
【００４５】
この計算点にアフィン変換係数を掛けると、動体移動後の計算点に変換される。ここで、行列C を求めるために式(1)を変形すると次式(2)のようになる。
C＝BAT(AAT)-1
(2)
ここで、添え字T は転地行列、-1は逆行列を表す。行列A とB は既知であるので、式(2)を計算することで、行列C 、すなわちアフィン変換係数を求めることができる。
【００４６】
この時、誤った値が算出された局所移動ベクトルの影響を取り除くため、算出したアフィン変換係数との誤差が大きい局所移動ベクトルを取り除いて、アフィン変換係数を再計算しても良い。さらに、これを繰り返すことでより精度の高いアフィン変換係数の算出を行っても良い。
【００４７】
（Ｂ−２）動体追跡制御手順
続いて、動体追跡制御装置９による追跡動作をプログラム制御の観点から説明する。勿論、動体追跡制御装置９の処理動作も同様の手順により実行される。
図１５に、プログラムの制御手順例を示す。なお、図１５には、図９との対応部分に同一符号を付して示す。基本的な動作手順は形態例１と同じである。
【００４８】
プログラムは、まず動作フェーズを判定する（Ｓ１）。
動作検知フェーズと判定された場合、プログラムは、撮像方向を固定した状態で動体の検知処理を実行する（Ｓ２）。次に、プログラムは、動体の検知処理が終了したか否かを判定する（Ｓ３）。動体の検知処理が終了していない間（否定結果が得られている間）、プログラムは、動体検知処理を繰り返し実行する。
動体検知処理が終了すると、プログラムは、動作フェーズを動体追跡フェーズに更新すると共に、検出された動体領域上に局所移動ベクトルを計算する計算点を配置する（Ｓ４、Ｓ５）。
【００４９】
この後、プログラムは、再び動作フェーズを判定する（Ｓ１）。今回は、動作フェーズが動体追跡フェーズに変更されているので、プログラムは、配置された各計算点について局所移動ベクトルを算出する（Ｓ６）。
続いて、プログラムは、算出された一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する（Ｓ２１）。この際、アフィン変換処理を実行し、動体移動ベクトルを導出する。
【００５０】
次に、プログラムは、局所移動ベクトルの算出に使用する計算点の位置を更新する（Ｓ８）。前述したように、動体移動ベクトルと同じか類似する局所移動ベクトルが算出された計算点については、動体移動ベクトルだけ現在の位置から移動した位置を新たな計算点（継続計算点）に更新する。また、動体移動ベクトルと異なる局所移動ベクトルが算出された計算点については、現在までの計算点の位置を放棄し、継続計算点のいずれかの近傍位置に新たな計算点を再配置する。この際、計算点は再配置されるだけで、その個数は増加も減少もしない。
【００５１】
この後、プログラムは、算出された動体移動ベクトルに応じた角度だけ旋回台３を回動するように旋回命令を発する（Ｓ２２）。すなわち、移動する動体を追跡するように撮像装置５の撮像方向を回転させる。また、プログラムは、算出された拡大・縮小成分に応じてレンズのズーム量を調整する命令を発する（Ｓ２２）。
この複合動作を繰り返すことで、追跡対象とする動体を適当な大きさのまま画面中央に常に表示できる。
【００５２】
かかる後、プログラムは、終了判定を実行する（Ｓ１０）。
終了判定において否定結果が得られた場合、プログラムは、更新した計算点について局所移動ベクトルを算出する処理に移行する（Ｓ６）。
一方、終了判定において肯定結果が得られた場合、プログラムは、動作フェーズを動体検知フェーズに移行し、再び動作フェーズを判定するステップに戻る（Ｓ１１）。
【００５３】
（Ｂ−３）効果
以上のように、この形態例に係る動体追跡システムでは、ズーム動作を伴う追跡動作中も、少ない計算量で安定した追跡動作を実現できる。
また、この動体追跡システムの場合も、追跡対象である動体の近くにある動体の影響を受けずに追跡動作を実行できる。
また、この動体追跡システムでは、ズーム機能により追跡動作中も被写体を適切な大きさで撮像することができる。
【００５４】
（Ｄ）他の形態例
（ａ）前述の形態例においては、動体移動ベクトルと異なる局所移動ベクトルが計算された計算点については即座に再配置する場合について説明した。
しかし、再配置には一定の猶予期間を設けても良い。例えば個々の計算点にある係数（継続係数）を設定する。この継続係数は、計算点が新規に配置された場合や再配置された場合に予め定めた初期値に設定される。
【００５５】
ここで、動体移動ベクトルと同じか類似する局所移動ベクトルが計算された計算点に対しては、継続係数にある値を加算する。逆に、動体体移動ベクトルと異なる局所移動ベクトルが計算された計算点に対しては、継続係数からある値を減算する。そして、継続係数の値が、ゼロ又は負の値になった場合に、対応する計算点を再配置する。この手法の採用により、再配置処理に一定の猶予期間を設けることができる。
【００５６】
図１６に処理イメージを示す。図１６の場合、継続計算点（動体移動ベクトルと同じか類似）が計算点Ｐ１である。また、動体移動ベクトルと異なる局所移動ベクトルが算出される計算点が計算点Ｐ２である。
形態例１や形態例２の場合には、時点ｔ２（図１６（Ｂ））の時点で、計算点Ｐ２は即座に再配置されるが、この例の場合には、時点ｔ３（図１６（Ｃ））の時点で計算点が再配置される。
【００５７】
なお、継続係数を増加させる場合と減少させる場合とで同じ値を用いることもできるが、増加させる場合と減少させる場合とで異なる値を用いても良い。例えば、増加時よりも減少時の方が大きな値を減算する仕組みを採用しても良い。この場合は、動体移動ベクトルと異なる局所移動ベクトルが算出された場合に継続係数がゼロ又は負に更新されるまでの期間を短縮できる。もっとも、継続係数の増減方向を反対にすることもできる。すなわち、継続係数があるしきい値（＞０）を越えた場合に、計算点を再配置する仕組みを採用しても良い。
【００５８】
また、動体移動ベクトルと同じか類似する局所移動ベクトルが算出されるたびにある値を加算される継続係数に加算範囲の上限値を設定しても良い。すなわち、継続係数の可変範囲に上限値を設定することで、継続計算点が動体上から離れて位置するようになった場合にも速やかに、当該計算点の再配置が実行されるようにできる。
また、継続係数には、任意の数値を適用できるが、例えば動体移動ベクトルと同じか類似すると判定された回数を用いても良い。
【００５９】
（ｂ）前述の形態例においては、図３に示す構成の動体追跡システムについて説明した。すなわち、動体追跡制御部９を撮像装置５に内蔵する場合について説明した。
しかし、動体追跡制御部９は、必ずしも撮像装置５に内蔵される必要はない。図１７に他のシステム例を示す。
【００６０】
図１７（Ａ）は、動体追跡制御部（装置）９を撮像装置５と分離し、通信線（有線・無線）を通じて相互接続する構成の動体追跡システム例３１を示す。この構成例の場合、動体追跡制御部（装置）９は、例えばコンピュータその他の情報処理装置上の一機能として実現する。
図１７（Ｂ）も、動体追跡制御部（装置）９を撮像装置５と分離する構成の動体追跡システム例３３を示す。ただし、ネットワーク３５経由で接続する例である。
【００６１】
（ｃ）前述の形態例では、撮像装置を水平方向に旋回する場合について説明した。
しかし、撮像装置を画面の上下方向に旋回する構成としても良い。
（ｄ）前述の形態例では、画面上の動体領域を既知の動体検知処理を用いて検出する場合について説明した。しかし、追跡対象とする動体の初期指定は、作業者がポインティングツールを用いて指定する手法を採用しても良い。
（ｅ）前述の形態例では、動体追跡システムとして監視システムを例に説明したが、応用システムはこれに限らない。例えば講演の記録、授業の記録、説明会の記録その他の動体を自動的に追跡して記録又は配信するシステムに広く応用できる。
【００６２】
（ｆ）前述の形態例では、撮像装置の撮像方向を動体の移動に応じて旋回し、必要に応じてレンズをズーム調整する場合について説明した。
しかし、撮像装置の撮像方向は固定のまま、特定の動体を追跡して撮像画像の一部の領域を抽出する場合にも適用できる。
図１８に、撮像画面の一部の領域を抽出する方式の動体追跡システムの構成例を示す。ない、図１８には、図３との対応部分に同一符号を付して示している。
【００６３】
図１８（Ａ）に示す動体追跡システム４１は、サーバー（画像データ記憶装置）４３から読み出した撮像画像を処理対象とする。動体追跡システム４１の場合、読み出された撮像画像が動体追跡制御部４５と領域抽出部４７に入力される。ここで、領域抽出部４７は、動体追跡制御部４５から与えられる抽出領域情報に従って対応領域を画面内から抽出する処理を実行する処理機能を実現する。
【００６４】
図１８（Ｂ）に示す動体追跡システム４９は、旋回台３を有しない撮像装置５（すなわち、撮像方向が固定の撮像装置）から読み出した撮像画像を処理対象とする。この動体追跡システム４９の場合も、出力された撮像画像は、動体追跡制御部４５と領域抽出部４７に入力され、動体の移動に伴って撮像画面内の一部領域が抽出されて出力される。
ところで、これらの動体追跡システムの場合、背景画像に移動ベクトル成分が含まれる場合と移動ベクトル成分が含まれない場合とがある。
【００６５】
しかし、いずれの場合にも、前述した動体移動ベクトルの算出手法を適用することができる。なお、背景画像に移動ベクトル成分が含まれない場合にも、前述した動体移動ベクトルの算出手法を適用する場合には、動体追跡中の計算量の大幅な削減と、動体近くに位置する他の動体の影響低減とを実現できる。
以下、これらの動体追跡システムに使用する動体追跡制御部の構成例と処理手順例を簡単に説明する。
【００６６】
図１９に、動体追跡制御部４５の内部構成例を示す。図１９は、図４との対応部分に同一符号を付して示している。
動体追跡制御装置４５は、動体検知部１１、計算点配置部１３、局所移動ベクトル算出部１５、動体移動ベクトル導出部１７、計算点更新部１９、抽出領域移動制御部５１の各機能部で構成される。新規な構成は、抽出領域移動制御部５１の部分である。この抽出領域移動制御部５１は、動体が抽出されるように、画像から抽出する領域を動体移動ベクトルに応じて移動制御する処理機能に対応する。動体移動ベクトルに応じて抽出領域を移動する点が前例との違いである。
【００６７】
図２０に、動体追跡制御装置４５による追跡動作をプログラム制御の観点から説明する。図２０は、図９との対応部分に同一符号を付して示している。プログラム制御も、ほとんどの処理は図９と同じであり、動体移動ベクトルに基づいて抽出領域の移動命令を発する点だけが違いである（Ｓ３１）。この追跡動作の繰り返すことで、追跡対象とする動体を画面中央に常に表示できる。
【００６８】
（ｇ）前述した追跡制御プログラムは、ネットワーク経由で配布しても良く、記憶媒体に格納して配布しても良い。配布用の記憶媒体は、磁気記憶媒体、光学式記憶媒体、半導体記憶媒体その他を含む。
（ｈ）前述の形態例には、発明の趣旨の範囲内で様々な変形例が考えられる。また、本明細書の記載に基づいて創作される又は組み合わせられる各種の変形例及び応用例も考えられる。
【図面の簡単な説明】
【００６９】
【図１】従来手法で算出される移動ベクトル例を示す図である。
【図２】従来手法では移動ベクトルの算出が不安定になる場合の画像例を示す図である。
【図３】動体追跡システムの構成例を示す図である。
【図４】動体追跡制御装置の機能構成例を示す図である。
【図５】計算点の配置例を示す図である。
【図６】個々の計算点について算出される局所移動ベクトル例を示す図である。
【図７】計算点の再配置を示す図である。
【図８】動体の移動に応じた撮像方向の追跡イメージを示す図である。
【図９】動体追跡プログラムの制御手順例を示す図である。
【図１０】表示画面例を示す図である。
【図１１】従来技術と形態例との演算量の違いを模式的に説明する図である。
【図１２】追跡対象とする動体の近くに他の動体が存在する場合の局所移動ベクトルの算出例を示す図である。
【図１３】動体が画面奥方向に移動する場合の撮像画像の変化を示す図である。
【図１４】動体追跡制御装置の機能構成例を示す図である。
【図１５】動体追跡プログラムの制御手順例を示す図である。
【図１６】計算点の再配置までに一定の猶予期間を設ける場合の動作例を示す図である。
【図１７】動体追跡システムの他の構成例を示す図である。
【図１８】動体追跡システムの他の構成例を示す図である。
【図１９】領域抽出型の動体追跡制御装置の機能構成例を示す図である。
【図２０】領域抽出型の動体追跡プログラムの制御手順例を示す図である。
【符号の説明】
【００７０】
１、３１、４１、４９ 動体追跡システム
９、４５ 動体追跡制御部
１１ 動体検知部
１３ 計算点配置部
１５ 局所移動ベクトル算出部
１７、２３ 動体移動ベクトル導出部
１９ 計算点更新部
２１ 撮像方向駆動制御部
２５ ズーム制御部
４７ 領域抽出部
５１ 抽出領域移動制御部
【特許請求の範囲】
【請求項１】
撮像装置で撮像された画像上の動体領域を特定する動体特定部と、
特定された動体領域上に複数個の計算点を配置する計算点配置部と、
前記計算点について一群の局所移動ベクトルを算出する局所移動ベクトル算出部と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する動体移動ベクトル導出部と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する計算点更新部と、
前記動体移動ベクトルに応じて、撮像装置を搭載する可動機構を制御する撮像方向駆動制御部と
を有することを特徴とする動体追跡制御装置。
【請求項２】
請求項１に記載の動体追跡制御装置において、
前記計算点配置部は、前記計算点を動体領域全体にランダムに配置する
ことを特徴とする動体追跡制御装置。
【請求項３】
請求項１に記載の動体追跡制御装置において、
前記計算点配置部は、前記計算点を動体領域に均等に配置する
ことを特徴とする動体追跡制御装置。
【請求項４】
請求項１に記載の動体追跡制御装置において、
前記計算点配置部は、前記計算点を動体領域内の特徴点付近に配置する
ことを特徴とする動体追跡制御装置。
【請求項５】
請求項１に記載の動体追跡制御装置において、
前記動体移動ベクトル導出部は、一群の局所移動ベクトルのうち最も頻度の高い値を動体移動ベクトルに決定する
ことを特徴とする動体追跡制御装置。
【請求項６】
請求項１に記載の動体追跡制御装置において、
前記動体移動ベクトル導出部は、一群の局所移動ベクトルについて算出した近似演算値を動体移動ベクトルに決定する
ことを特徴とする動体追跡制御装置。
【請求項７】
請求項１に記載の動体追跡制御装置において、
前記計算点更新部は、継続使用される任意の計算点の近傍位置に新たな計算点をランダムに再配置する
ことを特徴とする動体追跡制御装置。
【請求項８】
請求項１に記載の動体追跡制御装置において、
前記計算点更新部は、継続使用される任意の計算点を中心とした確率分布に従って新たな計算点を再配置する
ことを特徴とする動体追跡制御装置。
【請求項９】
請求項１に記載の動体追跡制御装置において、
前記計算点更新部は、継続使用される全ての計算点の重心に新たな計算点を再配置する
ことを特徴とする動体追跡制御装置。
【請求項１０】
請求項１に記載の動体追跡制御装置において、
前記計算点更新部は、前記継続使用又は再配置に際して個々の計算点に対応する継続係数を参照し、当該継続係数の値に応じて計算点の継続使用又は再配置を最終的に実行する
ことを特徴とする動体追跡制御装置。
【請求項１１】
請求項１０に記載の動体追跡制御装置において、
前記継続係数は、計算点の新規配置時又は再配置時に初期値に設定され、計算点に対応する局所移動ベクトルが動体移動ベクトルと同じ又は類似する場合に第１の更新値が加算され、計算点に対応する局所移動ベクトルが動体移動ベクトルと異なる場合に第２の更新値が減算される
ことを特徴とする動体追跡制御装置。
【請求項１２】
請求項１に記載の動体追跡制御装置は、
動体領域の大きさに応じて撮像装置のズーム角度を制御するズーム制御部を
有することを特徴とする動体追跡制御装置。
【請求項１３】
撮像装置で撮像された画像上の動体領域又はサーバーから読み出された画像上の動体領域を特定する動体特定部と、
特定された動体領域上に複数個の計算点を配置する計算点配置部と、
前記計算点について一群の局所移動ベクトルを算出する局所移動ベクトル算出部と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する動体移動ベクトル導出部と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する計算点更新部と、
前記動体移動ベクトルに応じて、画像から抽出する領域を移動制御する抽出領域移動制御部と
を有することを特徴とする動体追跡制御装置。
【請求項１４】
可動機構に搭載された撮像装置と、
前記撮像装置で撮像された画像上の動体領域を特定する動体特定部と、
特定された動体領域上に複数個の計算点を配置する計算点配置部と、
前記計算点について一群の局所移動ベクトルを算出する局所移動ベクトル算出部と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する動体移動ベクトル導出部と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点の近傍位置に新たに再配置する計算点更新部と、
前記動体移動ベクトルに応じて、前記可動機構を制御する撮像方向駆動制御部と
を有することを特徴とする動体追跡システム。
【請求項１５】
撮像装置と、
前記撮像装置で撮像された画像上の動体領域を特定する動体特定部と、
特定された動体領域上に複数個の計算点を配置する計算点配置部と、
前記計算点について一群の局所移動ベクトルを算出する局所移動ベクトル算出部と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する動体移動ベクトル導出部と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する計算点更新部と、
前記動体移動ベクトルに応じて、画像から抽出する領域を移動制御する抽出領域移動制御部と
を有することを特徴とする動体追跡システム。
【請求項１６】
画像データを格納するサーバーと、
サーバーから読み出された画像上の動体領域を特定する動体特定部と、
特定された動体領域上に複数個の計算点を配置する計算点配置部と、
前記計算点について一群の局所移動ベクトルを算出する局所移動ベクトル算出部と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する動体移動ベクトル導出部と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する計算点更新部と、
前記動体移動ベクトルに応じて、画像から抽出する領域を移動制御する抽出領域移動制御部と
を有することを特徴とする動体追跡システム。
【請求項１７】
撮像装置で撮像された画像上の動体領域を特定する処理と、
特定された動体領域上に複数個の計算点を配置する処理と、
前記計算点について一群の局所移動ベクトルを算出する処理と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理と、
前記動体移動ベクトルに応じて、撮像装置を搭載する可動機構を制御する処理と
を有することを特徴とする動体追跡制御方法。
【請求項１８】
撮像装置で撮像された画像上の動体領域又はサーバーから読み出された画像上の動体領域を特定する処理と、
特定された動体領域上に複数個の計算点を配置する処理と、
前記計算点について一群の局所移動ベクトルを算出する処理と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理と、
前記動体移動ベクトルに応じて、画像から抽出する領域を移動制御する処理と
を有することを特徴とする動体追跡制御方法。
【請求項１９】
撮像装置で撮像された画像上の動体領域を特定する処理と、
特定された動体領域上に複数個の計算点を配置する処理と、
前記計算点について一群の局所移動ベクトルを算出する処理と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理と、
前記動体移動ベクトルに応じて、撮像装置を搭載する可動機構を制御する処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項２０】
撮像装置で撮像された画像上の動体領域又はサーバーから読み出された画像上の動体領域を特定する処理と、
特定された動体領域上に複数個の計算点を配置する処理と、
前記計算点について一群の局所移動ベクトルを算出する処理と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理と、
前記動体移動ベクトルに応じて、画像から抽出する領域を移動制御する処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
撮像装置で撮像された画像上の動体領域を特定する動体特定部と、
特定された動体領域上に複数個の計算点を配置する計算点配置部と、
前記計算点について一群の局所移動ベクトルを算出する局所移動ベクトル算出部と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する動体移動ベクトル導出部と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する計算点更新部と、
前記動体移動ベクトルに応じて、撮像装置を搭載する可動機構を制御する撮像方向駆動制御部と
を有することを特徴とする動体追跡制御装置。
【請求項２】
請求項１に記載の動体追跡制御装置において、
前記計算点配置部は、前記計算点を動体領域全体にランダムに配置する
ことを特徴とする動体追跡制御装置。
【請求項３】
請求項１に記載の動体追跡制御装置において、
前記計算点配置部は、前記計算点を動体領域に均等に配置する
ことを特徴とする動体追跡制御装置。
【請求項４】
請求項１に記載の動体追跡制御装置において、
前記計算点配置部は、前記計算点を動体領域内の特徴点付近に配置する
ことを特徴とする動体追跡制御装置。
【請求項５】
請求項１に記載の動体追跡制御装置において、
前記動体移動ベクトル導出部は、一群の局所移動ベクトルのうち最も頻度の高い値を動体移動ベクトルに決定する
ことを特徴とする動体追跡制御装置。
【請求項６】
請求項１に記載の動体追跡制御装置において、
前記動体移動ベクトル導出部は、一群の局所移動ベクトルについて算出した近似演算値を動体移動ベクトルに決定する
ことを特徴とする動体追跡制御装置。
【請求項７】
請求項１に記載の動体追跡制御装置において、
前記計算点更新部は、継続使用される任意の計算点の近傍位置に新たな計算点をランダムに再配置する
ことを特徴とする動体追跡制御装置。
【請求項８】
請求項１に記載の動体追跡制御装置において、
前記計算点更新部は、継続使用される任意の計算点を中心とした確率分布に従って新たな計算点を再配置する
ことを特徴とする動体追跡制御装置。
【請求項９】
請求項１に記載の動体追跡制御装置において、
前記計算点更新部は、継続使用される全ての計算点の重心に新たな計算点を再配置する
ことを特徴とする動体追跡制御装置。
【請求項１０】
請求項１に記載の動体追跡制御装置において、
前記計算点更新部は、前記継続使用又は再配置に際して個々の計算点に対応する継続係数を参照し、当該継続係数の値に応じて計算点の継続使用又は再配置を最終的に実行する
ことを特徴とする動体追跡制御装置。
【請求項１１】
請求項１０に記載の動体追跡制御装置において、
前記継続係数は、計算点の新規配置時又は再配置時に初期値に設定され、計算点に対応する局所移動ベクトルが動体移動ベクトルと同じ又は類似する場合に第１の更新値が加算され、計算点に対応する局所移動ベクトルが動体移動ベクトルと異なる場合に第２の更新値が減算される
ことを特徴とする動体追跡制御装置。
【請求項１２】
請求項１に記載の動体追跡制御装置は、
動体領域の大きさに応じて撮像装置のズーム角度を制御するズーム制御部を
有することを特徴とする動体追跡制御装置。
【請求項１３】
撮像装置で撮像された画像上の動体領域又はサーバーから読み出された画像上の動体領域を特定する動体特定部と、
特定された動体領域上に複数個の計算点を配置する計算点配置部と、
前記計算点について一群の局所移動ベクトルを算出する局所移動ベクトル算出部と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する動体移動ベクトル導出部と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する計算点更新部と、
前記動体移動ベクトルに応じて、画像から抽出する領域を移動制御する抽出領域移動制御部と
を有することを特徴とする動体追跡制御装置。
【請求項１４】
可動機構に搭載された撮像装置と、
前記撮像装置で撮像された画像上の動体領域を特定する動体特定部と、
特定された動体領域上に複数個の計算点を配置する計算点配置部と、
前記計算点について一群の局所移動ベクトルを算出する局所移動ベクトル算出部と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する動体移動ベクトル導出部と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点の近傍位置に新たに再配置する計算点更新部と、
前記動体移動ベクトルに応じて、前記可動機構を制御する撮像方向駆動制御部と
を有することを特徴とする動体追跡システム。
【請求項１５】
撮像装置と、
前記撮像装置で撮像された画像上の動体領域を特定する動体特定部と、
特定された動体領域上に複数個の計算点を配置する計算点配置部と、
前記計算点について一群の局所移動ベクトルを算出する局所移動ベクトル算出部と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する動体移動ベクトル導出部と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する計算点更新部と、
前記動体移動ベクトルに応じて、画像から抽出する領域を移動制御する抽出領域移動制御部と
を有することを特徴とする動体追跡システム。
【請求項１６】
画像データを格納するサーバーと、
サーバーから読み出された画像上の動体領域を特定する動体特定部と、
特定された動体領域上に複数個の計算点を配置する計算点配置部と、
前記計算点について一群の局所移動ベクトルを算出する局所移動ベクトル算出部と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する動体移動ベクトル導出部と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する計算点更新部と、
前記動体移動ベクトルに応じて、画像から抽出する領域を移動制御する抽出領域移動制御部と
を有することを特徴とする動体追跡システム。
【請求項１７】
撮像装置で撮像された画像上の動体領域を特定する処理と、
特定された動体領域上に複数個の計算点を配置する処理と、
前記計算点について一群の局所移動ベクトルを算出する処理と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理と、
前記動体移動ベクトルに応じて、撮像装置を搭載する可動機構を制御する処理と
を有することを特徴とする動体追跡制御方法。
【請求項１８】
撮像装置で撮像された画像上の動体領域又はサーバーから読み出された画像上の動体領域を特定する処理と、
特定された動体領域上に複数個の計算点を配置する処理と、
前記計算点について一群の局所移動ベクトルを算出する処理と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理と、
前記動体移動ベクトルに応じて、画像から抽出する領域を移動制御する処理と
を有することを特徴とする動体追跡制御方法。
【請求項１９】
撮像装置で撮像された画像上の動体領域を特定する処理と、
特定された動体領域上に複数個の計算点を配置する処理と、
前記計算点について一群の局所移動ベクトルを算出する処理と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理と、
前記動体移動ベクトルに応じて、撮像装置を搭載する可動機構を制御する処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項２０】
撮像装置で撮像された画像上の動体領域又はサーバーから読み出された画像上の動体領域を特定する処理と、
特定された動体領域上に複数個の計算点を配置する処理と、
前記計算点について一群の局所移動ベクトルを算出する処理と、
前記一群の局所移動ベクトルに基づいて動体移動ベクトルを導出する処理と、
前記動体移動ベクトルと同じ又は類似する局所移動ベクトルが得られた一群の計算点については、各計算点を前記動体移動ベクトルだけ移動した位置を局所移動ベクトルの計算用に継続使用し、前記動体移動ベクトルと異なる局所移動ベクトルが得られた計算点については、継続使用される計算点のいずれかの近傍位置に新たに再配置する処理と、
前記動体移動ベクトルに応じて、画像から抽出する領域を移動制御する処理と
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００７−２８１２０（Ｐ２００７−２８１２０Ａ）
【公開日】平成１９年２月１日（２００７．２．１）
【国際特許分類】
【出願番号】特願２００５−２０６３３９（Ｐ２００５−２０６３３９）
【出願日】平成１７年７月１５日（２００５．７．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年２月１日（２００７．２．１）
【国際特許分類】
【出願日】平成１７年７月１５日（２００５．７．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]