移動体軌跡表示装置および移動体軌跡表示プログラム
【課題】 撮影領域が可変の撮影手段から得られる撮影画像上の移動体の軌跡を当該撮影画像上に表示する。
【解決手段】 撮影手段としてのPTZカメラから得られる撮影画像上に移動体100が現れると、この移動体100を自動追尾するように、当該カメラのパン/チルト/ズーム動作が制御される。併せて、この自動追尾中のカメラから得られる撮影画像上の移動体100の重心位置に、当該移動体100の現在位置を表す現在位置マーク120が付される。さらに、撮影画像がMフレームずつ更新されるごとに、現在位置マーク120が辿ってきた過去の位置を表す軌跡マーク130が付されると共に、現在位置マーク120を先頭として各軌跡マーク130を時系列で順次結ぶように、軌跡線140が付される。つまり、自動追尾中のカメラから得られる撮影画像上に移動体100の軌跡が表示される。
【解決手段】 撮影手段としてのPTZカメラから得られる撮影画像上に移動体100が現れると、この移動体100を自動追尾するように、当該カメラのパン/チルト/ズーム動作が制御される。併せて、この自動追尾中のカメラから得られる撮影画像上の移動体100の重心位置に、当該移動体100の現在位置を表す現在位置マーク120が付される。さらに、撮影画像がMフレームずつ更新されるごとに、現在位置マーク120が辿ってきた過去の位置を表す軌跡マーク130が付されると共に、現在位置マーク120を先頭として各軌跡マーク130を時系列で順次結ぶように、軌跡線140が付される。つまり、自動追尾中のカメラから得られる撮影画像上に移動体100の軌跡が表示される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体軌跡表示装置および移動体軌跡表示プログラムに関し、特に、撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像で構成される映像に移動体の軌跡を表示する、移動体軌跡表示装置および移動体軌跡表示プログラムに関する。
【背景技術】
【0002】
従来、とりわけ監視分野において、撮影手段としての監視カメラから得られる撮影映像に侵入者等の移動体(厳密には移動体の像)が現れたときに、その移動体の軌跡を当該撮影映像に表示する技術が、種々提案されている。例えば、特許文献1には、撮影領域が固定のいわゆる固定カメラから得られる撮影映像に、移動体としての検知人物の重心と、当該検知人物の移動方向を示す矢線と、を表示する技術が、開示されている。また、特許文献2には、撮影映像そのものではなく、監視対象である敷地全体の平面図を模擬したマップ画像上に、移動体の現在位置を示す移動体マークと、当該移動体の移動経路を示す軌跡線と、を表示する技術が、開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−41589号公報(第0098段落および図29)
【特許文献2】特開2009−210331号公報(第0023段落および図6)
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来、PTZ(Pan-Tilt-Zoom)カメラのような撮影領域が可変の可動カメラから得られる撮影映像、特に移動体を自動追尾するようパン/チルト/ズーム動作している状態にある可動カメラから得られる撮影映像に、移動体の軌跡を表示する技術は、存在しない。このような技術が監視分野に適用されれば、より適確かつ効果的さらには斬新な監視が実現される、と期待される。
【0005】
そこで、本発明は、PTZカメラのような撮影領域が可変の撮影手段による撮影映像に移動体の軌跡を表示し得る新規な技術を提供することを、目的とする。
【課題を解決するための手段】
【0006】
この目的を達成するために、本発明は、撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像で構成される映像に移動体の軌跡を表示する移動体軌跡表示装置であって、当該複数のフレーム画像それぞれにおける移動体の位置を検出する位置検出手段を、具備する。そして、この位置検出手段による検出位置を最新のフレーム画像における位置に変換する位置変換手段をも、具備する。さらに、この最新のフレーム画像上の位置変換手段による変換後位置に移動体のシンボルを重畳して出力用の出力画像を生成する出力画像生成手段を、具備する。
【0007】
即ち、本発明によれば、撮影領域が可変の撮影手段、例えばPTZカメラ、によって、複数のフレーム画像が順次得られる。そして、これら複数のフレーム画像によって、いわゆる動画像としての撮影映像が構成される。ここで、それぞれのフレーム画像における移動体の位置が、位置検出手段によって検出される。そして、この位置検出手段による検出位置、つまりそれぞれのフレーム画像における移動体の位置が、位置変換手段によって、最新(直近)のフレーム画像における位置に変換される。さらに、この最新のフレーム画像上の位置変換手段による変換後位置、つまり当該最新のフレーム画像上に置き換えられたそれぞれのフレーム画像における移動体の位置に、当該移動体のシンボルが重畳された出力画像が、出力画像生成手段によって生成される。この出力画像上のシンボルは、移動体が辿ってきた過去の位置を表し、つまり当該移動体の軌跡を表す。
【0008】
なお、本発明は、撮影手段自体にも、適用することができる。特に、当該撮影手段が、例えばコンビネーションカメラと呼ばれるCPU(Central Processing Unit)を備えたPTZカメラである場合には、この撮影手段としてのコンビネーションカメラ自体にも、本発明を搭載することができる。
【0009】
また、本発明では、位置検出手段による検出位置に基づいて、それぞれのフレーム画像における移動体を含む部分を特定する特定手段が、備えられてもよい。この場合、出力画像生成手段は、当該特定手段によって特定された移動体を含む部分の画像をシンボルとして最新のフレーム画像に重畳するのが、望ましい。この構成によれば、移動体の軌跡が、当該移動体自体の画像によって表示される。
【0010】
さらに、出力画像生成手段は、各フレーム画像の時系列順に応じて、当該各フレーム画像に対応するシンボルの表示態様を変化させるものであってもよい。この構成によれば、移動体が辿ってきた位置の順番が、シンボルの表示態様から認識することができる。
【0011】
本発明は、移動体軌跡表示プログラムをも提供する。即ち、本発明に係る移動体軌跡表示プログラムは、撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像それぞれにおける移動体の位置を検出する位置検出手順と、この位置検出手順による検出位置を最新のフレーム画像における位置に変換する位置変換手順と、当該最新のフレーム画像上の位置変換手順による変換後位置に移動体のシンボルを重畳して出力画像を生成する出力画像生成手順と、をコンピュータに実行させるものである。
【発明の効果】
【0012】
上述したように、本発明によれば、PTZカメラのような撮影領域が可変の撮影手段による撮影映像に移動体の軌跡が表示され、詳しくは移動体が辿ってきた過去の位置に当該移動体のシンボルが表示される。従って、例えば監視分野において、特許文献1および2に開示された従来技術では期待し得ない、より適確かつ効果的さらには斬新な監視が実現される。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係る監視システムの構成を概略的に示すブロック図である。
【図2】同実施形態における監視対象を概略的に示す図解図である。
【図3】図3の監視対象に移動体が現れた当初の状態を示す図解図である。
【図4】図2の状態におけるディスプレイの表示映像を示す図解図である。
【図5】図3の状態におけるディスプレイの表示映像を示す図解図である。
【図6】図5に続くディスプレイの表示映像を示す図解図である。
【図7】図6を含むディスプレイの表示映像の推移を示す図解図である。
【図8】同実施形態における変換式演算部による処理の内容を説明するための図解図である。
【図9】同変換式演算部を構成するためのパーソナルコンピュータの具体的な動作の流れを示すフローチャートである。
【図10】同実施形態におけるディスプレイの表示映像の別例を示す図解図である。
【図11】図10とはさらに異なる例を示す図解図である。
【図12】図11とはさらに異なる例を示す図解図である。
【図13】図12の例の具体的態様を説明するための図解図である。
【図14】図12とはさらに異なる例を示す図解図である。
【発明を実施するための形態】
【0014】
本発明の一実施形態について、図1に示す監視システム10を例に挙げて説明する。
【0015】
同図に示すように、本実施形態に係る監視システム10は、撮影手段としてのドーム型のPTZカメラ(以下、単にカメラと言う。)12と、このカメラ12が接続されるパーソナルコンピュータ(以下、略してPCと言う。)14と、を備えている。
【0016】
PC14は、自身にインストールされた制御プログラム、特に当該制御プログラムを構成するサブプログラムとしての自動追尾プログラム、を実行することで、カメラ12から得られる撮影映像に後述する移動体100が現れたときに、これを自動的に追尾するよう当該カメラ12のパン角/チルト角/ズーム倍率(画角)を制御するカメラ制御装置として機能する。併せて、PC14は、制御プログラムを構成する別のサブプログラムとしての移動体軌跡表示プログラムを実行することで、カメラ12からの撮影映像上に移動体100の軌跡を表示する移動体軌跡表示装置としても機能する。なお、これらの機能を実現するためのPC14の具体的な態様については、後で詳しく説明する。また、PC14にインストールされる制御プログラムは、例えば図示しないCD−ROM(Compact Disc ROM)やDVD(Digital Versatile Disc)等の記憶媒体を介して、或いは、インターネット等の電気通信回線を介して、供給される。さらに、PC14には、カメラ12からの撮影映像を含む各種情報を表示するための情報出力手段としてのディスプレイ16が接続されている。加えて、当該PC14に各種命令を入力するための図示しないマウスやキーボード等の命令入力手段も接続されている。
【0017】
この監視システム10によって、今、図2に示すような家200,木300,池400および自動車500が存在する領域が監視される、と仮定する。そして、この監視対象において、図3に示すように、家200の近傍に人間等の移動体100が現れると共に、この移動体100が、同図に矢印600で示すように、当該家200の近傍から木300と池400との間を通って自動車500に向かって移動する、とする。
【0018】
この場合、監視対象に移動体100が現れる直前までは、つまり図2に示した状態においては、カメラ12による撮影領域に当該監視対象全体が収まるように、当該カメラ12のパン角/チルト角/ズーム倍率が制御される。言わば、カメラ12は、広角撮影を行う初期状態(ホームポジション)にある。そして、この初期状態にあるカメラ12からの撮影映像が、図4に示すようにディスプレイ16に表示される。
【0019】
続いて、図3に示した如く監視対象に移動体100が現れると、ディスプレイ16に表示される撮影映像上にも、当然に、図5に示す如く当該移動体100が現れる。そして、この撮影映像上の移動体100は、フレーム差分法や背景差分法等の公知の移動体検出法によって検出され、言わばロックオンされる。そして、このロックオンされたことを表現するべく、当該ロックオンされた移動体100を囲む(内接させる)ように、撮影映像上に矩形の枠110が表示される。なお、この矩形枠110は、図5においては破線で示されているが、実際には赤色の実線で示される。勿論、これ以外の態様(色や線図)で当該矩形枠110が表示されてもよい。さらに、この矩形枠110とは別個に、撮影映像上の移動体100の所定位置、例えば重心位置に、当該移動体100の現在位置を表す例えば赤色丸印の現在位置マーク120が表示される。この現在位置マーク120についても、これ以外の態様で表示されてもよい。
【0020】
このように撮影映像上で移動体100がロックオンされると、このロックオンされた移動体100がカメラ12によって適当な構図かつ大きさで撮影されるように、当該カメラ12のパン角/チルト角/ズーム倍率が制御され、いわゆるズームアップされる。これにより、図6に示すように、移動体100が適当にズームアップされた撮影映像がディスプレイ16に表示される。また、このズームアップされた撮影映像上でも、矩形枠110と現在位置マーク120とが表示される。なお、矩形枠110の大きさは、ズームアップされる前と後とで移動体100の大きさに応じて変わるが、現在位置マーク120の大きさは、不変である。
【0021】
そして、図3に矢印600で示した如く移動体100が移動すると、この移動体を追い掛けるように、カメラ12のパン角/チルト角/ズーム倍率が自動的に制御され、つまり当該カメラ12による自動追尾が行われる。これに伴い、ディスプレイ16に表示されるカメラ12からの撮影映像が、図7の(a)〜(l)に示すように推移する。なお、図7(a)は、図6に示したのと同じ映像である。さらに、この時々刻々と推移する撮影映像においても、矩形枠110と現在位置マーク120とが表示される。加えて、特に図7の(b)〜(l)に示すように、現在位置マーク120が辿ってきた過去の位置に、移動体100の軌跡を表す丸印の軌跡マーク130が順次表示されると共に、現在位置マーク120を先頭として各軌跡マーク130を時系列で順次結ぶように、直線状の軌跡線140が付される。詳しくは、カメラ12からの撮影映像は、1秒間に30フレームというフレームレートで更新されるが、この撮影映像がM(M;1以上の整数)フレームずつ更新されるたびに、矩形枠110と現在位置マーク120との表示が改められる。これと同様に、軌跡マーク130と軌跡線140との表示も改められる。
【0022】
なお、軌跡マーク130の表示個数Qは、無限(厳密にはカメラ12による撮影可能な領域内に移動体100が存在する限り無限)であってもよいが、本実施形態では、制限されており、例えば最大でQ=10〜20程度とされている。勿論、この値に限らない。また、軌跡マーク130は、新しいものと古いものとで互いに異なる態様で表示され、例えば新しいものほど白っぽい色(高輝度)で表示され、古いものほど黒っぽい色(低輝度)で表示される。
【0023】
撮影映像(厳密にはカメラ12による撮影可能領域内)から移動体100が消えると、当該移動体100に対するロックオンが解除され、カメラ12による自動追尾が終了する。これに伴い、矩形枠110,現在位置マーク120,軌跡マーク130および軌跡線140の表示も終了する。そして、カメラ12は、初期状態に戻る。
【0024】
このように、本実施形態によれば、自動追尾しているカメラ12からの撮影映像上に、移動体100の現在位置を表す現在位置マーク120と、この現在位置マーク120が辿ってきた位置を表す軌跡マーク130と、当該現在位置マーク120を先頭として各軌跡マーク130を結ぶ軌跡線140と、が表示され、つまり移動体100の軌跡が表示される。そして、この移動体100の軌跡から、当該移動体100の移動方向が分かる。また、特に現在位置マーク120および各軌跡マーク130間の距離から、言い換えれば各軌跡線140の長さ寸法から、移動体100の移動速度が分かる。従って、上述した特許文献1および2に開示された従来技術では期待し得ない、より適確かつ効果的さらには斬新な監視が実現される。
【0025】
このような機能を奏するために、本実施形態におけるPC14は、上述した制御プログラムを実行することで、次のような構成となる。
【0026】
即ち、改めて図1を参照して、PC14は、カメラ12からの撮影映像(ビデオ信号)の入力を受け付ける、詳しくは当該撮影映像を構成するフレーム画像の入力を受け付ける、画像入力部22を形成する。この画像入力部22は、カメラ12から入力されるアナログ態様のフレーム画像をデジタル態様に変換する。そして、デジタル態様に変換されたフレーム画像は、出力画像生成手段としての出力画像生成部26に入力される。
【0027】
出力画像生成部26は、これに入力されるフレーム画像に移動体100が存在しないときは、当該フレーム画像をそのまま画像出力部26に送る。画像出力部26は、出力画像生成部26からのフレーム画像をアナログ態様に変換する。そして、この画像出力部26によってアナログ態様に変換されたフレーム画像は、外部に出力され、ひいてはディスプレイ16に入力される。これにより、ディスプレイ16に動画像としての撮影映像が表示される。
【0028】
さらに、上述の画像入力部22によってデジタル態様に変換されたフレーム画像は、変換式演算手段としての変換式演算部28と、位置検出手段としての移動体検出部30と、にも入力される。このうちの移動体検出部30は、画像入力部22から入力されるフレーム画像に移動体100が現れたときに、これを上述した公知の移動体検出法によって検出すると共に、当該移動体100の重心位置(座標)を求める。そして、求めた重心位置を、カメラ制御部32に伝える。カメラ制御部32は、移動体検出部30から伝えられた移動体100の重心位置に基づいて、当該移動体100をズームアップすると共に、自動追尾するよう、カメラ12のパン角/チルト角/ズーム倍率を制御する。
【0029】
また、移動体検出部30によって求められた移動体100の重心位置、言い換えれば当該移動体100の現在位置は、現在位置記憶手段としての後述する現在位置記憶部34に記憶される。加えて、当該移動体検出部30によって移動体100の重心位置が求められたこと、言い換えれば自動追尾が開始されたことが、変換式演算部28に伝えられる。
【0030】
変換式演算部28は、移動体検出部30から自動追尾が開始されたことを伝えられると、上述したMフレームごと(M−1フレーム置き)にフレーム画像を記憶する。具体的には、当該変換式演算部28は、図示しない2フレーム分の記憶領域を有しており、この2フレーム分の記憶領域に、いわゆるFIFO(First-In/First-Out)方式で、Mフレームごとにフレーム画像を記憶する。そして、最も直近に記憶された最新のフレーム画像、言わば現フレーム画像と、そのMフレーム前に記憶されたフレーム画像、言わば前フレーム画像と、の間で、互いに対応する特徴部分としての特徴点を抽出する。より具体的には、前フレーム画像について、例えば公知のハリス法(ハリス・コーナ・ディテクタ)を用いて、N(N;1以上の整数)個の特徴点を求める。このとき、いわゆる特徴点らしさの高いものから順に、当該N個の特徴点を求める。そして、この前フレーム画像におけるN個の特徴点が現フレーム画像上の何処に位置するのかを、例えば公知のKLT法(Kanade-Lucas
Feature Tracker)を用いて推定する。この結果、前フレーム画像と現フレーム画像との間で互いに対応するN’(N’;1以上の整数)個の特徴点が抽出される。なお、この各フレーム画像間で互いに対応するN’個という特徴点の数は、前フレーム画像について抽出されるN個という特徴点の数以下(N’≦N)である。これは、前フレーム画像について抽出されるN個の特徴点のうち、現フレーム画像上に置き換えられたときに、当該現フレーム画像上から外れるものがあり得るからである。また、推定ミスも、その原因となる。このため、前フレーム画像について抽出される特徴点の数Nは、比較的に多めの例えば数十個〜数百個とされ、概ねN=100〜200が適当とされる。
【0031】
さらに、変換式演算部28は、上述の各フレーム画像間で互いに対応するN’個の特徴点の位置関係に基づいて、当該前フレーム画像における任意の点の座標Xを現フレーム画像における座標Yに変換するための次の式1で表される座標変換式を求める。なお、この式1は、説明の便宜上、簡素的に表現されたものであり、実際には例えば一般に知られている射影変換式である。また、この式1においては、左辺の座標Yと右辺の座標Xとが、それぞれ当該YおよびXという1つの符号によって表現されているが、実際には2次元の座標値(水平座標値および垂直座標値)を含んでいる。加えて、当該式1は、8個の変換係数を含んでいる。
【0032】
《式1》
Y=f(X)
【0033】
これについてより詳しく説明すると、例えば、今、図8に誇張して示すように、(a)の前フレーム画像におけるX1,X2,…という各特徴点が、(b)の現フレーム画像におけるY1,Y2,…という各特徴点に対応する、とする。そして、この対応の組合せが、全部でN’個ある、とする。変換式演算部28は、これらN’個の組合せについて、前フレーム画像における各特徴点X1,X2,…の座標と、現フレーム画像における各特徴点Y1,Y2,…の座標と、の相互の関係式を、上述の式1に準拠して、次の式2の如く組み立てる。
【0034】
《式2》
Y1=f(X1)
Y2=f(X2)
:
YN’=f(XN’)
【0035】
そして、変換式演算部28は、この式2で表されるN’個(組)の座標関係式を用いて、例えば最小2乗法等の適宜の回帰分析法により、上述の式1に含まれる未知数としての8個の変換係数を求める。そして、これらの変換係数が式1に代入されることで、前フレーム画像における座標Xを現フレーム画像における座標Yに変換するための当該式1が求められる。なお、ここでの詳しい説明は省略するが、当該変換係数が式1に代入される際に、それらの妥当性が適宜の要領で確認されることが前提とされてもよい。
【0036】
また、変換式演算部28は、次の新たなフレーム画像を記憶する際に、言い換えれば現フレーム画像を新たな前フレーム画像とする際に、当該新たな前フレーム画像の特徴点の数N’がNという規定数に満たない(N’<N)場合には、その不足分(=N−N’)を上述したハリス法によって新たに抽出し、追加する。これによって、新たな前フレーム画像についても、N個の特徴点が定められる。ただし、自動追尾が開始された直後は、1つのフレーム画像のみ得られるので、変換式演算部28は、この最初の1フレーム画像を前フレーム画像として記憶すると共に、当該前フレーム画像についてN個の特徴点を抽出するに留め、式1については求めない(厳密には求めることができない)。
【0037】
図1に戻って、変換式演算部28によって上述の如く式1が求められると、この式1は、位置変換手段としての座標変換部36に与えられる。その一方で、上述したように、移動体検出部30によって検出された移動体100の現在位置が現在位置記憶部34に記憶されるが、この現在位置記憶部34に記憶される移動体100の現在位置は、厳密には、上述した変換式演算部28によるMフレームごとというフレーム画像の記憶タイミングに同期して当該Mフレームごとに記憶される。また、この現在位置記憶部34に新たな現在位置が記憶されるたびに、それまで当該現在位置記憶部34に記憶されていた元の現在位置が、Mフレーム前の移動体100の位置を表す言わば前位置として、前位置記憶手段を成す前位置記憶部38に記憶される。座標変換部36は、この前位置記憶手段38から前位置を取得し、この前位置の座標を、変換式演算部28から与えられる式1に基づいて、現フレーム画像における座標に変換する。この座標変換部36による変換後座標は、変換後位置記憶部40に記憶される。
【0038】
変換後位置記憶部40に記憶された変換後座標は、出力画像生成部24に取り込まれる。併せて、出力画像生成部24は、現在位置記憶部34から現在位置を取得する。また、出力画像生成部24には、上述したように画像入力部22からフレーム画像が入力される。出力画像生成部24は、画像入力部22から入力されるフレーム画像上の、つまり現フレーム画像上の、当該現在位置に、上述した現在位置マーク120を重畳すると共に、当該変換後座標で示される位置に、軌跡マーク130を重畳する。さらに、出力画像生成部24は、これら現在位置マーク120と軌跡マーク130とを結ぶように、軌跡線140をも重畳する。このように現在位置マーク120と軌跡マーク130と軌跡線140とが重畳された現フレーム画像は、出力フレーム画像として、画像出力部26に入力され、ひいてはディスプレイ16に表示される。
【0039】
なお、自動追尾が開始された直後は、変換後座標が存在しないので、ディスプレイ16には、図6および図7(a)に示した如く現在位置マーク120は表示されるが、軌跡マーク130および軌跡線140は表示されない。そして、当該変換後座標が初めて得られたときに、図7(b)に示した如く現在位置マーク120と共に、1つの軌跡マーク130と1本の軌跡線140とが表示される。
【0040】
さらに、座標変換部36による変換後座標は、改めて前位置記憶部38に記憶される。詳しくは、この前位置記憶部38に記憶される変換後位置は、現在位置記憶部34経由で記憶される前位置よりもさらに前(過去)の位置として、当該前位置記憶部38に記憶される。そして、座標変換部36は、次回の変換の際に、前位置記憶手段38から全ての前位置を取得し、これら全ての前位置について、当該変換を行う。なお、各前位置には、それぞれの時系列順を表す時系列情報が付属されている。勿論、現在位置にも、当該時系列情報が付属されている。
【0041】
この結果、図7(c)〜(l)に示した画像が、ディスプレイ16に順次表示される。即ち、移動体100の現在位置に、現在位置マーク120が付されると共に、この現在位置マーク120が辿ってきた各前位置に、軌跡マーク130が付され、さらに、当該現在位置マーク120を先頭として各軌跡マーク130を時系列で結ぶように、軌跡線140が付される。なお、軌跡線140によって結ばれる各軌跡マーク130の順番は、上述の時系列情報に基づく。また、この時系列情報に基づいて、上述の如く新しい軌跡マーク130ほど白っぽい色で表示され、古い軌跡マーク130ほど黒っぽい色で表示される。
【0042】
なお、前位置記憶部38に記憶される移動体100の前位置の個数は、無限ではなく、Q個に制限される。そして、このQ個という記憶個数を超えると、前位置記憶部38に記憶されている前位置は、古いものから順に廃棄される。この結果、ディスプレイ16に表示される軌跡マーク130は、上述の如く当該Q個という個数に制限される。このQ個という前位置の最大記憶個数は、図示しない上述した命令入力手段によって任意に設定可能とされている。また、このように最大記憶個数Qを制限するのではなく、出力画像生成部24によって表示される軌跡マーク130そのものの個数Qを制限してもよい。
【0043】
ここで、上述の変換式演算部28を構成するためのPC14(CPU)の具体的な動作について、図9を参照して説明する。
【0044】
同図に示すように、PC14は、自動追尾が開始されると、ステップS1に進み、フレームをカウントするためのカウント値mをm=1とし、言わば初期化する。そして、PC14は、ステップS3に進み、(画像入力部22から)1フレーム画像を取得する。
【0045】
さらに、PC14は、ステップS5に進み、上述のステップS3で取得されたフレーム画像が自動追尾開始後に初めて取得されたものであるか否か、つまり当該ステップS3が自動追尾開始後に初めて実行されたか否か、を判断する。このステップS5において、例えば、当該ステップS3が初めて実行された場合、PC14は、ステップS7に進み、当該ステップS3で取得されたフレーム画像を前フレーム画像として記憶する。そして、ステップS9に進み、当該前フレーム画像について、上述したハリス法によりN個の特徴点を抽出する。
【0046】
ステップS9の実行後、PC14は、ステップS11に進み、mというカウント値と、上述したMというフレーム数を表す値と、を比較する。そして、例えば、mというカウント値がMというフレーム数よりも小さい(m<M)場合、つまりフレーム画像の取得枚数mがMフレームに達しない場合は、ステップS13に進み、当該mというカウント値を1だけインクリメントする。なお、このステップS13は、フレーム画像が1つ取得されるごとに実行される。そして、PC14は、改めてステップS11に戻る。つまり、フレーム画像の取得枚数mがMフレームに達するまで、ステップS11とステップS13とが繰り返される。
【0047】
ステップS11において、フレーム画像の取得枚数mがMフレームに達すると(m=M)、PC14は、ステップS15に進む。そして、このステップS15において、自動追尾が終了したか否かを判断し、当該自動追尾が終了すると、この図9に示す一連の動作をも終了する。一方、自動追尾が終了していない場合には、ステップS1に戻る。
【0048】
上述のステップS5において、その前のステップS3で取得されたフレーム画像が自動追尾開始後に初めて取得されたものでない場合、PC14は、ステップS17に進む。そして、このステップS17において、当該ステップS3で取得されたフレーム画像を現フレーム画像として記憶する。
【0049】
さらに、PC14は、ステップS19に進み、上述のステップS9で抽出された前フレーム画像のN個の特徴点が現フレーム画像上の何処に位置するのかを、KLT法によって推定する。なお、この推定された現フレーム画像上の特徴点の数N’は、前フレーム画像上で抽出された特徴点の数N以下(N’≦N)であることは、上述した通りである。
【0050】
ステップS19の実行後、PC14は、ステップS21に進み、前フレーム画像と現フレーム画像との間で互いに対応するN’個の特徴点の組合せについて、上述した式2の座標関係式を組み立てる。そして、ステップS23に進み、これらN’個の座標関係式を用いた最小2乗法(またはこれ以外の適宜の回帰分析法)により、前フレーム画像における任意の座標Xを前フレーム画像における座標Yに変換するための上述した式1の座標変換式を求める。この式1の座標変換式は、座標変換部36に与えられ、当該座標変換部36による座標変換処理に用いられる。
【0051】
そして、PC14は、ステップS25に進み、現フレーム画像における特徴点の数N’と前フレーム画像における特徴点の数Nとを比較する。このステップS25において、例えば、現フレーム画像における特徴点の数N’が前フレーム画像における特徴点の数Nよりも小さい場合、つまり次に前フレーム画像となる当該現フレーム画像における特徴点の数N’がNという規定数に満たない(N’<N)場合は、ステップS27に進む。そして、このステップS27において、特徴点の不足分(=N−N’)をハリス法によって追加抽出した後、ステップS29に進む。一方、ステップS25において、現フレーム画像における特徴点の数N’が規定数Nを満たす(N’=N)場合は、ステップS27をスキップして、直接ステップS29に進む。
【0052】
ステップS29において、PC14は、現フレーム画像を前フレーム画像として記憶し直す。これに伴い、これまでの前フレーム画像は、廃棄される。そして、このステップS29の実行後、ステップS11に進む。
【0053】
このようにPC14が動作することによって、言わばソフトウェア的に変換式演算部28が構成される。
【0054】
なお、本実施形態においては、図7に示したように、ディスプレイ16の画面全体に撮影映像が表示されるようにしたが、これに限らない。例えば、図10に示すように、当該撮影映像が1フレームずつサムネイル的に縮小された縮小画像が複数フレーム分にわたって並んで表示されるようにしてもよい。因みに、この図10は、ディスプレイ16の画面の左側から右側に向かって4つの縮小画像が順番に表示されると共に、この4つの縮小画像の列がディスプレイ16の画面の上方から下方に向かって3段に表示される例、つまり合計12フレーム分の縮小画像が一括表示される例、を示す。また、各縮小画像の下方には、それぞれのフレーム番号(更新順)が付されており、13フレーム以降の各フレームの縮小画像は、表示中の各縮小画像をフレーム番号の小さいものから順に上書きするように表示される。このような表示態様によれば、ディスプレイ16の画面全体に撮影映像が表示される態様では認識し難い移動体100の動き等が認識し易くなり、より適確かつ効果的さらには斬新な監視の実現に貢献するものと期待される。勿論、12フレーム分の縮小画像に限らず、これ以外の複数フレーム分の縮小画像が、一括表示されてもよい。また、(Mフレームごとに順次生成される)全ての出力フレーム画像に基づく縮小画像を表示させるのではなく、例えば当該出力フレーム画像をP(P;1以上の整数)個置きに取り出し、このP個置きに取り出された出力フレーム画像に基づく縮小画像のみを表示させてもよい。
【0055】
さらに、図11に示すように、カメラ12が初期状態にあるときの撮影映像、例えば自動追尾が開始される直前のフレーム画像、を基準の画像とし、この基準画像上に、現在位置マーク120,軌跡マーク130および軌跡線140が付され、当該基準画像がディスプレイ16に表示されるようにしてもよい。この場合、自動追尾中のカメラ12から順次得られるフレーム画像(つまり現フレーム画像)における移動体100の位置が、上述したMフレームごとに求められる。そして、この現フレーム画像上の移動体100の現在位置座標が、基準画像(つまり初期状態時のフレーム画像)上の座標に変換されると共に、この変換後の座標位置に、現在位置マーク120が付される。併せて、過去の変換後座標位置に、軌跡マーク130が付される。さらに、これら現在位置マーク120および軌跡マーク130間を結ぶように、軌跡線140が付される。加えて、現フレーム画像全体または当該現フレーム画像のうちの少なくとも移動体100と矩形枠100とを含む部分が、いわゆるモザイキング処理によって、基準画像上に重畳される。これにより、移動体100および矩形枠110についても、広角な基準画像上に表示され、当該移動体100の推移が別の観点から認識し易くなるものと期待される。このモザイキング処理は、現フレーム画像における重畳対象部分の各点の座標が基準画像上の座標に変換されると共に、この基準画像上の当該変換後の各座標位置に現フレーム画像における各対応点が重畳されることで、実現される。
【0056】
また、このモザイキング処理を利用して、図11における軌跡マーク130および軌跡線140に代えて、図12に示すように、自動追尾中に得られる移動体100の画像が、基準画像上に重畳されてもよい。即ち、Mフレームごとに現フレーム画像のうちの移動体100を含む部分が切り出され、この切り出された部分が、基準画像上に重畳されてもよい。ただし、この場合、重畳される画像が、例えば図13に一点鎖線150で示すようなサイズを持つ、とすると、当該重畳画像150のうちの古いものが新しいものによって上書きされ、同図に斜線模様160で示す如く陰となって消えてしまう部分が生じることがある。これを回避するために、例えば重畳画像150のサイズを小さくしたり、上述したMフレームという言わば重畳周期を長くしたりする等の適宜の工夫を講ずる必要がある。
【0057】
勿論、基準画像は、初期状態時のフレーム画像に限らず、任意のフレーム画像であってもよい。
【0058】
加えて、上述の如く任意のフレーム画像を基準画像としてこれに自動追尾中のフレーム画像の一部を重畳するのではなく、当該自動追尾中のフレーム画像そのものをモザイキング処理により適宜に貼り合わせた画像を表示してもよい。そうするには、例えば図14に示すように、初期状態時のフレーム画像と同じ座標系が設定された無地の言わばホワイトカンバス的な基準画像700が、用意される。そして、この基準画像700上に、Mフレームごとの現フレーム画像における移動体100を含む部分150が、重畳される。この場合、各重畳画像150が連続する(重なり合う)ように、かつ、家200等の背景が適宜に表示されるように、当該重畳画像150のサイズが定められる。そして、この場合も、図13を参照しながら説明したのと同様に、陰160が生じることがあるので、この陰160が可能な限り目立たないようにすることが、必要になる。いずれにしても、移動体100の推移が認識し易い表示とすることが、肝要である。
【0059】
本実施形態においては、現在位置マーク120の他に、軌跡マーク130と軌跡線140とが表示されるようにしたが、これに限らない。例えば、当該軌跡マーク130と軌跡線140との一方のみが表示されてもよい。また、軌跡マーク130については、新しいものほど白っぽく表示され、古いものほど黒っぽく表示されるようにしたが、これとは逆であってもよいし、虹色の如く異なる色彩が付されてもよい。勿論、全ての軌跡マーク130が同じ態様で表示されてもよい。加えて、移動体100の移動方向が分かるように、矢印等によって当該軌跡マーク130が表現されてもよい。そして、矩形枠110については、表示されなくてもよい。
【0060】
併せて、本実施形態では、前フレーム画像の特徴点をハリス法によって求めることとしたが、これに限らない。例えば、SIFT(Scale Invariant Feature Transform)法等の他のアルゴリズムを用いて、当該特徴点を抽出してもよい。
【0061】
さらに、前フレーム画像の特徴点が現フレーム画像上の何処に位置するのかをKLT法によって推定することで、これら前フレーム画像と現フレーム画像との間で互いに対応する特徴点を抽出することとしたが、これに限らない。例えば、KLT法に代えて、テンプレートマッチング法等の他のアルゴリズムを用いて、前フレーム画像の特徴点の動きを推定してもよい。また、特徴点の移動を推定するのではなく、前フレーム画像と現フレーム画像との間で互いに対応する特徴点を、それらの類似度に基づいて抽出する適宜のアルゴリズムを用いてもよい。そして、特徴点に限らず、例えば線や面等の或る程度の範囲を持つ特徴部分を抽出してもよい。
【0062】
また、本実施形態では、座標変換部36による変換後座標が改めて前位置記憶部38に記憶されると共に、この前位置記憶部38に記憶された変換後座標を含む全ての前位置が座標変換部36による次回の変換の際に当該変換の対象とされることで、結果的に最大Q個の軌跡マーク130が表示されるようにしたが、これに限らない。例えば、次のような構成が採用されてもよい。即ち、変換式演算部28は、現フレーム画像を記憶するための1フレーム分の記憶領域と、過去Qフレーム分の前フレーム画像を記憶するための当該Qフレーム分の記憶領域と、を有するものとする。そして、これら合計[Q+1]フレーム分の記憶領域に、上述したFIFO方式で、Mフレームごとにフレーム画像が記憶されると共に、当該[Q+1]フレーム分のフレーム画像のうち、現フレーム画像と、それぞれの前フレーム画像と、の間で、式1に示した座標変換式が求められ、この座標変換式が、座標変換部36に与えられる。併せて、それぞれの前フレーム画像における移動体100の位置座標、つまり当該それぞれの前フレーム画像が現フレーム画像であったときに移動体検出部30によって検出された移動体100の位置座標が、現在位置記憶部34経由で前位置記憶部38に記憶され、ひいては座標変換部36に取り込まれる。座標変換部36は、それぞれの前フレーム画像における移動体100の位置座標を、それぞれに対応する式1の座標変換式を用いて、現フレーム画像における座標に変換する。そして、各変換後座標は、変換後位置記憶部40を経て出力画像生成部24に与えられる。出力画像生成部24は、画像入力部22から入力される現フレーム画像上の当該座標変換部36から与えられるそれぞれの変換後座標の位置に、軌跡マーク130を付する。この結果、最大Q個の軌跡マーク130が表示される。なお、この場合も、移動体100の現在位置に、現在位置マーク120が付されると共に、この現在位置マーク120を先頭として各軌跡マーク130を時系列で結ぶように、軌跡線140が付されるようにする。
【0063】
本実施形態における上述のMフレームという言わば現在位置マーク120や軌跡マーク130等の更新周期は、任意に設定可能である。例えば、このフレーム数Mが小さいほど、現在位置マーク120および各軌跡マーク130相互の間隔が狭くなる。一方、当該フレーム数Mが大きいほど、同間隔が広くなる。このフレーム数Mは、上述した軌跡マーク130の表示個数Qと共に、移動体100の動きやカメラ12による撮影条件等の諸状況に応じて、適宜に設定される。
【0064】
加えて、上述の式1(および式2)の座標変換式は、射影変換式であるとしたが、これに限らない。例えば、公知のサイ(R.Y.Tsai)法に基づく座標変換式等の他の変換式が、採用されてもよい。
【0065】
そして、本実施形態においては、前フレーム画像と現フレーム画像との間で互いに対応する特徴点を抽出すると共に、この特徴点相互の位置関係から式1の座標変換式を求めることとしたが、これに限らない。例えば、カメラ12からパン角/チルト角/ズーム倍率を含むパラメータを取得して、これらのパラメータから当該カメラ12の動きを認識し、ひいては式1の座標関係式を求めてもよい。また、ジャイロセンサ等の外部の検出手段を用いることで、カメラ12の動きを認識し、ひいては当該式1を求めてもよい。
【0066】
さらに、カメラ12の設置位置は不変であるのが望ましいが、車載用途等のような可変環境においても、本発明を適用することができる。
【0067】
本実施形態では、PC14によって、カメラ制御装置および移動体軌跡表示装置を実現することとしたが、これに限らない。例えば、PC14に代えて、専用のカメラ制御装置および移動体軌跡表示装置を構成してもよい。また、カメラ12がCPUを内蔵するコンビネーションカメラである場合には、このコンビネーションカメラ自体に当該カメラ制御装置および移動体軌跡表示装置としての機能を搭載してもよい。
【符号の説明】
【0068】
10 監視システム
12 カメラ
14 PC
16 ディスプレイ
24 出力画像生成部
26 画像出力部
28 変換式演算部
30 移動体検出部
34 現在位置記憶部
36 座標変換部
38 前位置記憶部
【技術分野】
【0001】
本発明は、移動体軌跡表示装置および移動体軌跡表示プログラムに関し、特に、撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像で構成される映像に移動体の軌跡を表示する、移動体軌跡表示装置および移動体軌跡表示プログラムに関する。
【背景技術】
【0002】
従来、とりわけ監視分野において、撮影手段としての監視カメラから得られる撮影映像に侵入者等の移動体(厳密には移動体の像)が現れたときに、その移動体の軌跡を当該撮影映像に表示する技術が、種々提案されている。例えば、特許文献1には、撮影領域が固定のいわゆる固定カメラから得られる撮影映像に、移動体としての検知人物の重心と、当該検知人物の移動方向を示す矢線と、を表示する技術が、開示されている。また、特許文献2には、撮影映像そのものではなく、監視対象である敷地全体の平面図を模擬したマップ画像上に、移動体の現在位置を示す移動体マークと、当該移動体の移動経路を示す軌跡線と、を表示する技術が、開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−41589号公報(第0098段落および図29)
【特許文献2】特開2009−210331号公報(第0023段落および図6)
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来、PTZ(Pan-Tilt-Zoom)カメラのような撮影領域が可変の可動カメラから得られる撮影映像、特に移動体を自動追尾するようパン/チルト/ズーム動作している状態にある可動カメラから得られる撮影映像に、移動体の軌跡を表示する技術は、存在しない。このような技術が監視分野に適用されれば、より適確かつ効果的さらには斬新な監視が実現される、と期待される。
【0005】
そこで、本発明は、PTZカメラのような撮影領域が可変の撮影手段による撮影映像に移動体の軌跡を表示し得る新規な技術を提供することを、目的とする。
【課題を解決するための手段】
【0006】
この目的を達成するために、本発明は、撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像で構成される映像に移動体の軌跡を表示する移動体軌跡表示装置であって、当該複数のフレーム画像それぞれにおける移動体の位置を検出する位置検出手段を、具備する。そして、この位置検出手段による検出位置を最新のフレーム画像における位置に変換する位置変換手段をも、具備する。さらに、この最新のフレーム画像上の位置変換手段による変換後位置に移動体のシンボルを重畳して出力用の出力画像を生成する出力画像生成手段を、具備する。
【0007】
即ち、本発明によれば、撮影領域が可変の撮影手段、例えばPTZカメラ、によって、複数のフレーム画像が順次得られる。そして、これら複数のフレーム画像によって、いわゆる動画像としての撮影映像が構成される。ここで、それぞれのフレーム画像における移動体の位置が、位置検出手段によって検出される。そして、この位置検出手段による検出位置、つまりそれぞれのフレーム画像における移動体の位置が、位置変換手段によって、最新(直近)のフレーム画像における位置に変換される。さらに、この最新のフレーム画像上の位置変換手段による変換後位置、つまり当該最新のフレーム画像上に置き換えられたそれぞれのフレーム画像における移動体の位置に、当該移動体のシンボルが重畳された出力画像が、出力画像生成手段によって生成される。この出力画像上のシンボルは、移動体が辿ってきた過去の位置を表し、つまり当該移動体の軌跡を表す。
【0008】
なお、本発明は、撮影手段自体にも、適用することができる。特に、当該撮影手段が、例えばコンビネーションカメラと呼ばれるCPU(Central Processing Unit)を備えたPTZカメラである場合には、この撮影手段としてのコンビネーションカメラ自体にも、本発明を搭載することができる。
【0009】
また、本発明では、位置検出手段による検出位置に基づいて、それぞれのフレーム画像における移動体を含む部分を特定する特定手段が、備えられてもよい。この場合、出力画像生成手段は、当該特定手段によって特定された移動体を含む部分の画像をシンボルとして最新のフレーム画像に重畳するのが、望ましい。この構成によれば、移動体の軌跡が、当該移動体自体の画像によって表示される。
【0010】
さらに、出力画像生成手段は、各フレーム画像の時系列順に応じて、当該各フレーム画像に対応するシンボルの表示態様を変化させるものであってもよい。この構成によれば、移動体が辿ってきた位置の順番が、シンボルの表示態様から認識することができる。
【0011】
本発明は、移動体軌跡表示プログラムをも提供する。即ち、本発明に係る移動体軌跡表示プログラムは、撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像それぞれにおける移動体の位置を検出する位置検出手順と、この位置検出手順による検出位置を最新のフレーム画像における位置に変換する位置変換手順と、当該最新のフレーム画像上の位置変換手順による変換後位置に移動体のシンボルを重畳して出力画像を生成する出力画像生成手順と、をコンピュータに実行させるものである。
【発明の効果】
【0012】
上述したように、本発明によれば、PTZカメラのような撮影領域が可変の撮影手段による撮影映像に移動体の軌跡が表示され、詳しくは移動体が辿ってきた過去の位置に当該移動体のシンボルが表示される。従って、例えば監視分野において、特許文献1および2に開示された従来技術では期待し得ない、より適確かつ効果的さらには斬新な監視が実現される。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係る監視システムの構成を概略的に示すブロック図である。
【図2】同実施形態における監視対象を概略的に示す図解図である。
【図3】図3の監視対象に移動体が現れた当初の状態を示す図解図である。
【図4】図2の状態におけるディスプレイの表示映像を示す図解図である。
【図5】図3の状態におけるディスプレイの表示映像を示す図解図である。
【図6】図5に続くディスプレイの表示映像を示す図解図である。
【図7】図6を含むディスプレイの表示映像の推移を示す図解図である。
【図8】同実施形態における変換式演算部による処理の内容を説明するための図解図である。
【図9】同変換式演算部を構成するためのパーソナルコンピュータの具体的な動作の流れを示すフローチャートである。
【図10】同実施形態におけるディスプレイの表示映像の別例を示す図解図である。
【図11】図10とはさらに異なる例を示す図解図である。
【図12】図11とはさらに異なる例を示す図解図である。
【図13】図12の例の具体的態様を説明するための図解図である。
【図14】図12とはさらに異なる例を示す図解図である。
【発明を実施するための形態】
【0014】
本発明の一実施形態について、図1に示す監視システム10を例に挙げて説明する。
【0015】
同図に示すように、本実施形態に係る監視システム10は、撮影手段としてのドーム型のPTZカメラ(以下、単にカメラと言う。)12と、このカメラ12が接続されるパーソナルコンピュータ(以下、略してPCと言う。)14と、を備えている。
【0016】
PC14は、自身にインストールされた制御プログラム、特に当該制御プログラムを構成するサブプログラムとしての自動追尾プログラム、を実行することで、カメラ12から得られる撮影映像に後述する移動体100が現れたときに、これを自動的に追尾するよう当該カメラ12のパン角/チルト角/ズーム倍率(画角)を制御するカメラ制御装置として機能する。併せて、PC14は、制御プログラムを構成する別のサブプログラムとしての移動体軌跡表示プログラムを実行することで、カメラ12からの撮影映像上に移動体100の軌跡を表示する移動体軌跡表示装置としても機能する。なお、これらの機能を実現するためのPC14の具体的な態様については、後で詳しく説明する。また、PC14にインストールされる制御プログラムは、例えば図示しないCD−ROM(Compact Disc ROM)やDVD(Digital Versatile Disc)等の記憶媒体を介して、或いは、インターネット等の電気通信回線を介して、供給される。さらに、PC14には、カメラ12からの撮影映像を含む各種情報を表示するための情報出力手段としてのディスプレイ16が接続されている。加えて、当該PC14に各種命令を入力するための図示しないマウスやキーボード等の命令入力手段も接続されている。
【0017】
この監視システム10によって、今、図2に示すような家200,木300,池400および自動車500が存在する領域が監視される、と仮定する。そして、この監視対象において、図3に示すように、家200の近傍に人間等の移動体100が現れると共に、この移動体100が、同図に矢印600で示すように、当該家200の近傍から木300と池400との間を通って自動車500に向かって移動する、とする。
【0018】
この場合、監視対象に移動体100が現れる直前までは、つまり図2に示した状態においては、カメラ12による撮影領域に当該監視対象全体が収まるように、当該カメラ12のパン角/チルト角/ズーム倍率が制御される。言わば、カメラ12は、広角撮影を行う初期状態(ホームポジション)にある。そして、この初期状態にあるカメラ12からの撮影映像が、図4に示すようにディスプレイ16に表示される。
【0019】
続いて、図3に示した如く監視対象に移動体100が現れると、ディスプレイ16に表示される撮影映像上にも、当然に、図5に示す如く当該移動体100が現れる。そして、この撮影映像上の移動体100は、フレーム差分法や背景差分法等の公知の移動体検出法によって検出され、言わばロックオンされる。そして、このロックオンされたことを表現するべく、当該ロックオンされた移動体100を囲む(内接させる)ように、撮影映像上に矩形の枠110が表示される。なお、この矩形枠110は、図5においては破線で示されているが、実際には赤色の実線で示される。勿論、これ以外の態様(色や線図)で当該矩形枠110が表示されてもよい。さらに、この矩形枠110とは別個に、撮影映像上の移動体100の所定位置、例えば重心位置に、当該移動体100の現在位置を表す例えば赤色丸印の現在位置マーク120が表示される。この現在位置マーク120についても、これ以外の態様で表示されてもよい。
【0020】
このように撮影映像上で移動体100がロックオンされると、このロックオンされた移動体100がカメラ12によって適当な構図かつ大きさで撮影されるように、当該カメラ12のパン角/チルト角/ズーム倍率が制御され、いわゆるズームアップされる。これにより、図6に示すように、移動体100が適当にズームアップされた撮影映像がディスプレイ16に表示される。また、このズームアップされた撮影映像上でも、矩形枠110と現在位置マーク120とが表示される。なお、矩形枠110の大きさは、ズームアップされる前と後とで移動体100の大きさに応じて変わるが、現在位置マーク120の大きさは、不変である。
【0021】
そして、図3に矢印600で示した如く移動体100が移動すると、この移動体を追い掛けるように、カメラ12のパン角/チルト角/ズーム倍率が自動的に制御され、つまり当該カメラ12による自動追尾が行われる。これに伴い、ディスプレイ16に表示されるカメラ12からの撮影映像が、図7の(a)〜(l)に示すように推移する。なお、図7(a)は、図6に示したのと同じ映像である。さらに、この時々刻々と推移する撮影映像においても、矩形枠110と現在位置マーク120とが表示される。加えて、特に図7の(b)〜(l)に示すように、現在位置マーク120が辿ってきた過去の位置に、移動体100の軌跡を表す丸印の軌跡マーク130が順次表示されると共に、現在位置マーク120を先頭として各軌跡マーク130を時系列で順次結ぶように、直線状の軌跡線140が付される。詳しくは、カメラ12からの撮影映像は、1秒間に30フレームというフレームレートで更新されるが、この撮影映像がM(M;1以上の整数)フレームずつ更新されるたびに、矩形枠110と現在位置マーク120との表示が改められる。これと同様に、軌跡マーク130と軌跡線140との表示も改められる。
【0022】
なお、軌跡マーク130の表示個数Qは、無限(厳密にはカメラ12による撮影可能な領域内に移動体100が存在する限り無限)であってもよいが、本実施形態では、制限されており、例えば最大でQ=10〜20程度とされている。勿論、この値に限らない。また、軌跡マーク130は、新しいものと古いものとで互いに異なる態様で表示され、例えば新しいものほど白っぽい色(高輝度)で表示され、古いものほど黒っぽい色(低輝度)で表示される。
【0023】
撮影映像(厳密にはカメラ12による撮影可能領域内)から移動体100が消えると、当該移動体100に対するロックオンが解除され、カメラ12による自動追尾が終了する。これに伴い、矩形枠110,現在位置マーク120,軌跡マーク130および軌跡線140の表示も終了する。そして、カメラ12は、初期状態に戻る。
【0024】
このように、本実施形態によれば、自動追尾しているカメラ12からの撮影映像上に、移動体100の現在位置を表す現在位置マーク120と、この現在位置マーク120が辿ってきた位置を表す軌跡マーク130と、当該現在位置マーク120を先頭として各軌跡マーク130を結ぶ軌跡線140と、が表示され、つまり移動体100の軌跡が表示される。そして、この移動体100の軌跡から、当該移動体100の移動方向が分かる。また、特に現在位置マーク120および各軌跡マーク130間の距離から、言い換えれば各軌跡線140の長さ寸法から、移動体100の移動速度が分かる。従って、上述した特許文献1および2に開示された従来技術では期待し得ない、より適確かつ効果的さらには斬新な監視が実現される。
【0025】
このような機能を奏するために、本実施形態におけるPC14は、上述した制御プログラムを実行することで、次のような構成となる。
【0026】
即ち、改めて図1を参照して、PC14は、カメラ12からの撮影映像(ビデオ信号)の入力を受け付ける、詳しくは当該撮影映像を構成するフレーム画像の入力を受け付ける、画像入力部22を形成する。この画像入力部22は、カメラ12から入力されるアナログ態様のフレーム画像をデジタル態様に変換する。そして、デジタル態様に変換されたフレーム画像は、出力画像生成手段としての出力画像生成部26に入力される。
【0027】
出力画像生成部26は、これに入力されるフレーム画像に移動体100が存在しないときは、当該フレーム画像をそのまま画像出力部26に送る。画像出力部26は、出力画像生成部26からのフレーム画像をアナログ態様に変換する。そして、この画像出力部26によってアナログ態様に変換されたフレーム画像は、外部に出力され、ひいてはディスプレイ16に入力される。これにより、ディスプレイ16に動画像としての撮影映像が表示される。
【0028】
さらに、上述の画像入力部22によってデジタル態様に変換されたフレーム画像は、変換式演算手段としての変換式演算部28と、位置検出手段としての移動体検出部30と、にも入力される。このうちの移動体検出部30は、画像入力部22から入力されるフレーム画像に移動体100が現れたときに、これを上述した公知の移動体検出法によって検出すると共に、当該移動体100の重心位置(座標)を求める。そして、求めた重心位置を、カメラ制御部32に伝える。カメラ制御部32は、移動体検出部30から伝えられた移動体100の重心位置に基づいて、当該移動体100をズームアップすると共に、自動追尾するよう、カメラ12のパン角/チルト角/ズーム倍率を制御する。
【0029】
また、移動体検出部30によって求められた移動体100の重心位置、言い換えれば当該移動体100の現在位置は、現在位置記憶手段としての後述する現在位置記憶部34に記憶される。加えて、当該移動体検出部30によって移動体100の重心位置が求められたこと、言い換えれば自動追尾が開始されたことが、変換式演算部28に伝えられる。
【0030】
変換式演算部28は、移動体検出部30から自動追尾が開始されたことを伝えられると、上述したMフレームごと(M−1フレーム置き)にフレーム画像を記憶する。具体的には、当該変換式演算部28は、図示しない2フレーム分の記憶領域を有しており、この2フレーム分の記憶領域に、いわゆるFIFO(First-In/First-Out)方式で、Mフレームごとにフレーム画像を記憶する。そして、最も直近に記憶された最新のフレーム画像、言わば現フレーム画像と、そのMフレーム前に記憶されたフレーム画像、言わば前フレーム画像と、の間で、互いに対応する特徴部分としての特徴点を抽出する。より具体的には、前フレーム画像について、例えば公知のハリス法(ハリス・コーナ・ディテクタ)を用いて、N(N;1以上の整数)個の特徴点を求める。このとき、いわゆる特徴点らしさの高いものから順に、当該N個の特徴点を求める。そして、この前フレーム画像におけるN個の特徴点が現フレーム画像上の何処に位置するのかを、例えば公知のKLT法(Kanade-Lucas
Feature Tracker)を用いて推定する。この結果、前フレーム画像と現フレーム画像との間で互いに対応するN’(N’;1以上の整数)個の特徴点が抽出される。なお、この各フレーム画像間で互いに対応するN’個という特徴点の数は、前フレーム画像について抽出されるN個という特徴点の数以下(N’≦N)である。これは、前フレーム画像について抽出されるN個の特徴点のうち、現フレーム画像上に置き換えられたときに、当該現フレーム画像上から外れるものがあり得るからである。また、推定ミスも、その原因となる。このため、前フレーム画像について抽出される特徴点の数Nは、比較的に多めの例えば数十個〜数百個とされ、概ねN=100〜200が適当とされる。
【0031】
さらに、変換式演算部28は、上述の各フレーム画像間で互いに対応するN’個の特徴点の位置関係に基づいて、当該前フレーム画像における任意の点の座標Xを現フレーム画像における座標Yに変換するための次の式1で表される座標変換式を求める。なお、この式1は、説明の便宜上、簡素的に表現されたものであり、実際には例えば一般に知られている射影変換式である。また、この式1においては、左辺の座標Yと右辺の座標Xとが、それぞれ当該YおよびXという1つの符号によって表現されているが、実際には2次元の座標値(水平座標値および垂直座標値)を含んでいる。加えて、当該式1は、8個の変換係数を含んでいる。
【0032】
《式1》
Y=f(X)
【0033】
これについてより詳しく説明すると、例えば、今、図8に誇張して示すように、(a)の前フレーム画像におけるX1,X2,…という各特徴点が、(b)の現フレーム画像におけるY1,Y2,…という各特徴点に対応する、とする。そして、この対応の組合せが、全部でN’個ある、とする。変換式演算部28は、これらN’個の組合せについて、前フレーム画像における各特徴点X1,X2,…の座標と、現フレーム画像における各特徴点Y1,Y2,…の座標と、の相互の関係式を、上述の式1に準拠して、次の式2の如く組み立てる。
【0034】
《式2》
Y1=f(X1)
Y2=f(X2)
:
YN’=f(XN’)
【0035】
そして、変換式演算部28は、この式2で表されるN’個(組)の座標関係式を用いて、例えば最小2乗法等の適宜の回帰分析法により、上述の式1に含まれる未知数としての8個の変換係数を求める。そして、これらの変換係数が式1に代入されることで、前フレーム画像における座標Xを現フレーム画像における座標Yに変換するための当該式1が求められる。なお、ここでの詳しい説明は省略するが、当該変換係数が式1に代入される際に、それらの妥当性が適宜の要領で確認されることが前提とされてもよい。
【0036】
また、変換式演算部28は、次の新たなフレーム画像を記憶する際に、言い換えれば現フレーム画像を新たな前フレーム画像とする際に、当該新たな前フレーム画像の特徴点の数N’がNという規定数に満たない(N’<N)場合には、その不足分(=N−N’)を上述したハリス法によって新たに抽出し、追加する。これによって、新たな前フレーム画像についても、N個の特徴点が定められる。ただし、自動追尾が開始された直後は、1つのフレーム画像のみ得られるので、変換式演算部28は、この最初の1フレーム画像を前フレーム画像として記憶すると共に、当該前フレーム画像についてN個の特徴点を抽出するに留め、式1については求めない(厳密には求めることができない)。
【0037】
図1に戻って、変換式演算部28によって上述の如く式1が求められると、この式1は、位置変換手段としての座標変換部36に与えられる。その一方で、上述したように、移動体検出部30によって検出された移動体100の現在位置が現在位置記憶部34に記憶されるが、この現在位置記憶部34に記憶される移動体100の現在位置は、厳密には、上述した変換式演算部28によるMフレームごとというフレーム画像の記憶タイミングに同期して当該Mフレームごとに記憶される。また、この現在位置記憶部34に新たな現在位置が記憶されるたびに、それまで当該現在位置記憶部34に記憶されていた元の現在位置が、Mフレーム前の移動体100の位置を表す言わば前位置として、前位置記憶手段を成す前位置記憶部38に記憶される。座標変換部36は、この前位置記憶手段38から前位置を取得し、この前位置の座標を、変換式演算部28から与えられる式1に基づいて、現フレーム画像における座標に変換する。この座標変換部36による変換後座標は、変換後位置記憶部40に記憶される。
【0038】
変換後位置記憶部40に記憶された変換後座標は、出力画像生成部24に取り込まれる。併せて、出力画像生成部24は、現在位置記憶部34から現在位置を取得する。また、出力画像生成部24には、上述したように画像入力部22からフレーム画像が入力される。出力画像生成部24は、画像入力部22から入力されるフレーム画像上の、つまり現フレーム画像上の、当該現在位置に、上述した現在位置マーク120を重畳すると共に、当該変換後座標で示される位置に、軌跡マーク130を重畳する。さらに、出力画像生成部24は、これら現在位置マーク120と軌跡マーク130とを結ぶように、軌跡線140をも重畳する。このように現在位置マーク120と軌跡マーク130と軌跡線140とが重畳された現フレーム画像は、出力フレーム画像として、画像出力部26に入力され、ひいてはディスプレイ16に表示される。
【0039】
なお、自動追尾が開始された直後は、変換後座標が存在しないので、ディスプレイ16には、図6および図7(a)に示した如く現在位置マーク120は表示されるが、軌跡マーク130および軌跡線140は表示されない。そして、当該変換後座標が初めて得られたときに、図7(b)に示した如く現在位置マーク120と共に、1つの軌跡マーク130と1本の軌跡線140とが表示される。
【0040】
さらに、座標変換部36による変換後座標は、改めて前位置記憶部38に記憶される。詳しくは、この前位置記憶部38に記憶される変換後位置は、現在位置記憶部34経由で記憶される前位置よりもさらに前(過去)の位置として、当該前位置記憶部38に記憶される。そして、座標変換部36は、次回の変換の際に、前位置記憶手段38から全ての前位置を取得し、これら全ての前位置について、当該変換を行う。なお、各前位置には、それぞれの時系列順を表す時系列情報が付属されている。勿論、現在位置にも、当該時系列情報が付属されている。
【0041】
この結果、図7(c)〜(l)に示した画像が、ディスプレイ16に順次表示される。即ち、移動体100の現在位置に、現在位置マーク120が付されると共に、この現在位置マーク120が辿ってきた各前位置に、軌跡マーク130が付され、さらに、当該現在位置マーク120を先頭として各軌跡マーク130を時系列で結ぶように、軌跡線140が付される。なお、軌跡線140によって結ばれる各軌跡マーク130の順番は、上述の時系列情報に基づく。また、この時系列情報に基づいて、上述の如く新しい軌跡マーク130ほど白っぽい色で表示され、古い軌跡マーク130ほど黒っぽい色で表示される。
【0042】
なお、前位置記憶部38に記憶される移動体100の前位置の個数は、無限ではなく、Q個に制限される。そして、このQ個という記憶個数を超えると、前位置記憶部38に記憶されている前位置は、古いものから順に廃棄される。この結果、ディスプレイ16に表示される軌跡マーク130は、上述の如く当該Q個という個数に制限される。このQ個という前位置の最大記憶個数は、図示しない上述した命令入力手段によって任意に設定可能とされている。また、このように最大記憶個数Qを制限するのではなく、出力画像生成部24によって表示される軌跡マーク130そのものの個数Qを制限してもよい。
【0043】
ここで、上述の変換式演算部28を構成するためのPC14(CPU)の具体的な動作について、図9を参照して説明する。
【0044】
同図に示すように、PC14は、自動追尾が開始されると、ステップS1に進み、フレームをカウントするためのカウント値mをm=1とし、言わば初期化する。そして、PC14は、ステップS3に進み、(画像入力部22から)1フレーム画像を取得する。
【0045】
さらに、PC14は、ステップS5に進み、上述のステップS3で取得されたフレーム画像が自動追尾開始後に初めて取得されたものであるか否か、つまり当該ステップS3が自動追尾開始後に初めて実行されたか否か、を判断する。このステップS5において、例えば、当該ステップS3が初めて実行された場合、PC14は、ステップS7に進み、当該ステップS3で取得されたフレーム画像を前フレーム画像として記憶する。そして、ステップS9に進み、当該前フレーム画像について、上述したハリス法によりN個の特徴点を抽出する。
【0046】
ステップS9の実行後、PC14は、ステップS11に進み、mというカウント値と、上述したMというフレーム数を表す値と、を比較する。そして、例えば、mというカウント値がMというフレーム数よりも小さい(m<M)場合、つまりフレーム画像の取得枚数mがMフレームに達しない場合は、ステップS13に進み、当該mというカウント値を1だけインクリメントする。なお、このステップS13は、フレーム画像が1つ取得されるごとに実行される。そして、PC14は、改めてステップS11に戻る。つまり、フレーム画像の取得枚数mがMフレームに達するまで、ステップS11とステップS13とが繰り返される。
【0047】
ステップS11において、フレーム画像の取得枚数mがMフレームに達すると(m=M)、PC14は、ステップS15に進む。そして、このステップS15において、自動追尾が終了したか否かを判断し、当該自動追尾が終了すると、この図9に示す一連の動作をも終了する。一方、自動追尾が終了していない場合には、ステップS1に戻る。
【0048】
上述のステップS5において、その前のステップS3で取得されたフレーム画像が自動追尾開始後に初めて取得されたものでない場合、PC14は、ステップS17に進む。そして、このステップS17において、当該ステップS3で取得されたフレーム画像を現フレーム画像として記憶する。
【0049】
さらに、PC14は、ステップS19に進み、上述のステップS9で抽出された前フレーム画像のN個の特徴点が現フレーム画像上の何処に位置するのかを、KLT法によって推定する。なお、この推定された現フレーム画像上の特徴点の数N’は、前フレーム画像上で抽出された特徴点の数N以下(N’≦N)であることは、上述した通りである。
【0050】
ステップS19の実行後、PC14は、ステップS21に進み、前フレーム画像と現フレーム画像との間で互いに対応するN’個の特徴点の組合せについて、上述した式2の座標関係式を組み立てる。そして、ステップS23に進み、これらN’個の座標関係式を用いた最小2乗法(またはこれ以外の適宜の回帰分析法)により、前フレーム画像における任意の座標Xを前フレーム画像における座標Yに変換するための上述した式1の座標変換式を求める。この式1の座標変換式は、座標変換部36に与えられ、当該座標変換部36による座標変換処理に用いられる。
【0051】
そして、PC14は、ステップS25に進み、現フレーム画像における特徴点の数N’と前フレーム画像における特徴点の数Nとを比較する。このステップS25において、例えば、現フレーム画像における特徴点の数N’が前フレーム画像における特徴点の数Nよりも小さい場合、つまり次に前フレーム画像となる当該現フレーム画像における特徴点の数N’がNという規定数に満たない(N’<N)場合は、ステップS27に進む。そして、このステップS27において、特徴点の不足分(=N−N’)をハリス法によって追加抽出した後、ステップS29に進む。一方、ステップS25において、現フレーム画像における特徴点の数N’が規定数Nを満たす(N’=N)場合は、ステップS27をスキップして、直接ステップS29に進む。
【0052】
ステップS29において、PC14は、現フレーム画像を前フレーム画像として記憶し直す。これに伴い、これまでの前フレーム画像は、廃棄される。そして、このステップS29の実行後、ステップS11に進む。
【0053】
このようにPC14が動作することによって、言わばソフトウェア的に変換式演算部28が構成される。
【0054】
なお、本実施形態においては、図7に示したように、ディスプレイ16の画面全体に撮影映像が表示されるようにしたが、これに限らない。例えば、図10に示すように、当該撮影映像が1フレームずつサムネイル的に縮小された縮小画像が複数フレーム分にわたって並んで表示されるようにしてもよい。因みに、この図10は、ディスプレイ16の画面の左側から右側に向かって4つの縮小画像が順番に表示されると共に、この4つの縮小画像の列がディスプレイ16の画面の上方から下方に向かって3段に表示される例、つまり合計12フレーム分の縮小画像が一括表示される例、を示す。また、各縮小画像の下方には、それぞれのフレーム番号(更新順)が付されており、13フレーム以降の各フレームの縮小画像は、表示中の各縮小画像をフレーム番号の小さいものから順に上書きするように表示される。このような表示態様によれば、ディスプレイ16の画面全体に撮影映像が表示される態様では認識し難い移動体100の動き等が認識し易くなり、より適確かつ効果的さらには斬新な監視の実現に貢献するものと期待される。勿論、12フレーム分の縮小画像に限らず、これ以外の複数フレーム分の縮小画像が、一括表示されてもよい。また、(Mフレームごとに順次生成される)全ての出力フレーム画像に基づく縮小画像を表示させるのではなく、例えば当該出力フレーム画像をP(P;1以上の整数)個置きに取り出し、このP個置きに取り出された出力フレーム画像に基づく縮小画像のみを表示させてもよい。
【0055】
さらに、図11に示すように、カメラ12が初期状態にあるときの撮影映像、例えば自動追尾が開始される直前のフレーム画像、を基準の画像とし、この基準画像上に、現在位置マーク120,軌跡マーク130および軌跡線140が付され、当該基準画像がディスプレイ16に表示されるようにしてもよい。この場合、自動追尾中のカメラ12から順次得られるフレーム画像(つまり現フレーム画像)における移動体100の位置が、上述したMフレームごとに求められる。そして、この現フレーム画像上の移動体100の現在位置座標が、基準画像(つまり初期状態時のフレーム画像)上の座標に変換されると共に、この変換後の座標位置に、現在位置マーク120が付される。併せて、過去の変換後座標位置に、軌跡マーク130が付される。さらに、これら現在位置マーク120および軌跡マーク130間を結ぶように、軌跡線140が付される。加えて、現フレーム画像全体または当該現フレーム画像のうちの少なくとも移動体100と矩形枠100とを含む部分が、いわゆるモザイキング処理によって、基準画像上に重畳される。これにより、移動体100および矩形枠110についても、広角な基準画像上に表示され、当該移動体100の推移が別の観点から認識し易くなるものと期待される。このモザイキング処理は、現フレーム画像における重畳対象部分の各点の座標が基準画像上の座標に変換されると共に、この基準画像上の当該変換後の各座標位置に現フレーム画像における各対応点が重畳されることで、実現される。
【0056】
また、このモザイキング処理を利用して、図11における軌跡マーク130および軌跡線140に代えて、図12に示すように、自動追尾中に得られる移動体100の画像が、基準画像上に重畳されてもよい。即ち、Mフレームごとに現フレーム画像のうちの移動体100を含む部分が切り出され、この切り出された部分が、基準画像上に重畳されてもよい。ただし、この場合、重畳される画像が、例えば図13に一点鎖線150で示すようなサイズを持つ、とすると、当該重畳画像150のうちの古いものが新しいものによって上書きされ、同図に斜線模様160で示す如く陰となって消えてしまう部分が生じることがある。これを回避するために、例えば重畳画像150のサイズを小さくしたり、上述したMフレームという言わば重畳周期を長くしたりする等の適宜の工夫を講ずる必要がある。
【0057】
勿論、基準画像は、初期状態時のフレーム画像に限らず、任意のフレーム画像であってもよい。
【0058】
加えて、上述の如く任意のフレーム画像を基準画像としてこれに自動追尾中のフレーム画像の一部を重畳するのではなく、当該自動追尾中のフレーム画像そのものをモザイキング処理により適宜に貼り合わせた画像を表示してもよい。そうするには、例えば図14に示すように、初期状態時のフレーム画像と同じ座標系が設定された無地の言わばホワイトカンバス的な基準画像700が、用意される。そして、この基準画像700上に、Mフレームごとの現フレーム画像における移動体100を含む部分150が、重畳される。この場合、各重畳画像150が連続する(重なり合う)ように、かつ、家200等の背景が適宜に表示されるように、当該重畳画像150のサイズが定められる。そして、この場合も、図13を参照しながら説明したのと同様に、陰160が生じることがあるので、この陰160が可能な限り目立たないようにすることが、必要になる。いずれにしても、移動体100の推移が認識し易い表示とすることが、肝要である。
【0059】
本実施形態においては、現在位置マーク120の他に、軌跡マーク130と軌跡線140とが表示されるようにしたが、これに限らない。例えば、当該軌跡マーク130と軌跡線140との一方のみが表示されてもよい。また、軌跡マーク130については、新しいものほど白っぽく表示され、古いものほど黒っぽく表示されるようにしたが、これとは逆であってもよいし、虹色の如く異なる色彩が付されてもよい。勿論、全ての軌跡マーク130が同じ態様で表示されてもよい。加えて、移動体100の移動方向が分かるように、矢印等によって当該軌跡マーク130が表現されてもよい。そして、矩形枠110については、表示されなくてもよい。
【0060】
併せて、本実施形態では、前フレーム画像の特徴点をハリス法によって求めることとしたが、これに限らない。例えば、SIFT(Scale Invariant Feature Transform)法等の他のアルゴリズムを用いて、当該特徴点を抽出してもよい。
【0061】
さらに、前フレーム画像の特徴点が現フレーム画像上の何処に位置するのかをKLT法によって推定することで、これら前フレーム画像と現フレーム画像との間で互いに対応する特徴点を抽出することとしたが、これに限らない。例えば、KLT法に代えて、テンプレートマッチング法等の他のアルゴリズムを用いて、前フレーム画像の特徴点の動きを推定してもよい。また、特徴点の移動を推定するのではなく、前フレーム画像と現フレーム画像との間で互いに対応する特徴点を、それらの類似度に基づいて抽出する適宜のアルゴリズムを用いてもよい。そして、特徴点に限らず、例えば線や面等の或る程度の範囲を持つ特徴部分を抽出してもよい。
【0062】
また、本実施形態では、座標変換部36による変換後座標が改めて前位置記憶部38に記憶されると共に、この前位置記憶部38に記憶された変換後座標を含む全ての前位置が座標変換部36による次回の変換の際に当該変換の対象とされることで、結果的に最大Q個の軌跡マーク130が表示されるようにしたが、これに限らない。例えば、次のような構成が採用されてもよい。即ち、変換式演算部28は、現フレーム画像を記憶するための1フレーム分の記憶領域と、過去Qフレーム分の前フレーム画像を記憶するための当該Qフレーム分の記憶領域と、を有するものとする。そして、これら合計[Q+1]フレーム分の記憶領域に、上述したFIFO方式で、Mフレームごとにフレーム画像が記憶されると共に、当該[Q+1]フレーム分のフレーム画像のうち、現フレーム画像と、それぞれの前フレーム画像と、の間で、式1に示した座標変換式が求められ、この座標変換式が、座標変換部36に与えられる。併せて、それぞれの前フレーム画像における移動体100の位置座標、つまり当該それぞれの前フレーム画像が現フレーム画像であったときに移動体検出部30によって検出された移動体100の位置座標が、現在位置記憶部34経由で前位置記憶部38に記憶され、ひいては座標変換部36に取り込まれる。座標変換部36は、それぞれの前フレーム画像における移動体100の位置座標を、それぞれに対応する式1の座標変換式を用いて、現フレーム画像における座標に変換する。そして、各変換後座標は、変換後位置記憶部40を経て出力画像生成部24に与えられる。出力画像生成部24は、画像入力部22から入力される現フレーム画像上の当該座標変換部36から与えられるそれぞれの変換後座標の位置に、軌跡マーク130を付する。この結果、最大Q個の軌跡マーク130が表示される。なお、この場合も、移動体100の現在位置に、現在位置マーク120が付されると共に、この現在位置マーク120を先頭として各軌跡マーク130を時系列で結ぶように、軌跡線140が付されるようにする。
【0063】
本実施形態における上述のMフレームという言わば現在位置マーク120や軌跡マーク130等の更新周期は、任意に設定可能である。例えば、このフレーム数Mが小さいほど、現在位置マーク120および各軌跡マーク130相互の間隔が狭くなる。一方、当該フレーム数Mが大きいほど、同間隔が広くなる。このフレーム数Mは、上述した軌跡マーク130の表示個数Qと共に、移動体100の動きやカメラ12による撮影条件等の諸状況に応じて、適宜に設定される。
【0064】
加えて、上述の式1(および式2)の座標変換式は、射影変換式であるとしたが、これに限らない。例えば、公知のサイ(R.Y.Tsai)法に基づく座標変換式等の他の変換式が、採用されてもよい。
【0065】
そして、本実施形態においては、前フレーム画像と現フレーム画像との間で互いに対応する特徴点を抽出すると共に、この特徴点相互の位置関係から式1の座標変換式を求めることとしたが、これに限らない。例えば、カメラ12からパン角/チルト角/ズーム倍率を含むパラメータを取得して、これらのパラメータから当該カメラ12の動きを認識し、ひいては式1の座標関係式を求めてもよい。また、ジャイロセンサ等の外部の検出手段を用いることで、カメラ12の動きを認識し、ひいては当該式1を求めてもよい。
【0066】
さらに、カメラ12の設置位置は不変であるのが望ましいが、車載用途等のような可変環境においても、本発明を適用することができる。
【0067】
本実施形態では、PC14によって、カメラ制御装置および移動体軌跡表示装置を実現することとしたが、これに限らない。例えば、PC14に代えて、専用のカメラ制御装置および移動体軌跡表示装置を構成してもよい。また、カメラ12がCPUを内蔵するコンビネーションカメラである場合には、このコンビネーションカメラ自体に当該カメラ制御装置および移動体軌跡表示装置としての機能を搭載してもよい。
【符号の説明】
【0068】
10 監視システム
12 カメラ
14 PC
16 ディスプレイ
24 出力画像生成部
26 画像出力部
28 変換式演算部
30 移動体検出部
34 現在位置記憶部
36 座標変換部
38 前位置記憶部
【特許請求の範囲】
【請求項1】
撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像で構成される映像に移動体の軌跡を表示する移動体軌跡表示装置であって、
上記複数のフレーム画像それぞれにおける上記移動体の位置を検出する位置検出手段と、
上記位置検出手段による検出位置を最新の上記フレーム画像における位置に変換する位置変換手段と、
上記最新のフレーム画像の上記位置変換手段による変換後位置に上記移動体のシンボルを重畳して出力画像を生成する出力画像生成手段と、
を具備する、移動体軌跡表示装置。
【請求項2】
上記位置検出手段による検出位置に基づいて上記複数のフレーム画像それぞれにおける上記移動体を含む部分を特定する特定手段をさらに備え、
上記出力画像生成手段は上記特定手段によって特定された上記部分の画像を上記シンボルとして重畳する、
請求項1に記載の移動体軌跡表示装置。
【請求項3】
上記出力画像生成手段は上記複数のフレーム画像の時系列順に応じて該複数のフレーム画像それぞれに対応する上記シンボルの表示態様を変化させる、
請求項1または2に記載の移動体軌跡表示装置。
【請求項4】
撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像で構成される映像に移動体の軌跡を表示するための移動体軌跡表示プログラムであって、
上記複数のフレーム画像それぞれにおける上記移動体の位置を検出する位置検出手順と、
上記位置検出手順による検出位置を最新の上記フレーム画像における位置に変換する位置変換手順と、
上記最新のフレーム画像の上記位置変換手順による変換後位置に上記移動体のシンボルを重畳して出力画像を生成する出力画像生成手順と、
をコンピュータに実行させる、移動体軌跡表示プログラム。
【請求項1】
撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像で構成される映像に移動体の軌跡を表示する移動体軌跡表示装置であって、
上記複数のフレーム画像それぞれにおける上記移動体の位置を検出する位置検出手段と、
上記位置検出手段による検出位置を最新の上記フレーム画像における位置に変換する位置変換手段と、
上記最新のフレーム画像の上記位置変換手段による変換後位置に上記移動体のシンボルを重畳して出力画像を生成する出力画像生成手段と、
を具備する、移動体軌跡表示装置。
【請求項2】
上記位置検出手段による検出位置に基づいて上記複数のフレーム画像それぞれにおける上記移動体を含む部分を特定する特定手段をさらに備え、
上記出力画像生成手段は上記特定手段によって特定された上記部分の画像を上記シンボルとして重畳する、
請求項1に記載の移動体軌跡表示装置。
【請求項3】
上記出力画像生成手段は上記複数のフレーム画像の時系列順に応じて該複数のフレーム画像それぞれに対応する上記シンボルの表示態様を変化させる、
請求項1または2に記載の移動体軌跡表示装置。
【請求項4】
撮影領域が可変の撮影手段によって順次得られる複数のフレーム画像で構成される映像に移動体の軌跡を表示するための移動体軌跡表示プログラムであって、
上記複数のフレーム画像それぞれにおける上記移動体の位置を検出する位置検出手順と、
上記位置検出手順による検出位置を最新の上記フレーム画像における位置に変換する位置変換手順と、
上記最新のフレーム画像の上記位置変換手順による変換後位置に上記移動体のシンボルを重畳して出力画像を生成する出力画像生成手順と、
をコンピュータに実行させる、移動体軌跡表示プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2011−254289(P2011−254289A)
【公開日】平成23年12月15日(2011.12.15)
【国際特許分類】
【出願番号】特願2010−126624(P2010−126624)
【出願日】平成22年6月2日(2010.6.2)
【出願人】(000223182)ティーオーエー株式会社 (190)
【Fターム(参考)】
【公開日】平成23年12月15日(2011.12.15)
【国際特許分類】
【出願日】平成22年6月2日(2010.6.2)
【出願人】(000223182)ティーオーエー株式会社 (190)
【Fターム(参考)】
[ Back to top ]