説明

移動物体監視装置

【課題】
多数の監視カメラの映像を監視センタで集中監視する場合、ネットワークの伝送容量の制約により、追跡性能に限界があった。
【解決手段】
装置全体は、ネットワークで接続された少なくとも一つの監視現場と監視センタで構成され、監視現場は、カメラで撮影した映像を取得する映像取得部と、取得した映像中の移動物体を抽出する移動物体抽出部と、抽出した移動物体に対する特徴量の算出処理の分担を定める処理分担表と、処理分担表に従って移動物体の高周波特徴量を算出する高周波特徴算出部と、処理分担表に従って監視センタに送信する映像の伝送レートを決定し、そのレートで映像を伝送する映像選択部を備え、監視センタは、伝送映像選択部によって伝送された映像を蓄積する映像DBと、高周波特徴算出部が算出した特徴量を格納する特徴量DBと、特徴量DBで未算出の特徴を算出する低周波特徴算出部を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視領域に設置されたカメラを用いて人間や自動車など移動物体を監視する装置に関する。
【背景技術】
【0002】
犯罪発生率の増加など社会不安に対処するために、不審者や不審車両を監視することを目的としたカメラの設置台数が増加している。多数のカメラを用いた監視では、監視領域を限られた監視員リソースで効率的に監視するための監視支援技術が必要になる。
【0003】
このような監視支援技術として、特開2006−146378号公報(特許文献1)に示されている「複数カメラを用いた監視システム」がある。ここでは、多数の監視カメラの映像を監視センタで集中監視するシステム構成において、監視員の負担を軽減する技術が開示されている。各カメラで撮影した映像から、画像認識技術を用いて移動物体を抽出し、その移動物体をカメラ間で照合する。そして、移動体の移動軌跡に基づいて、異常行動を判定しアラームを出力する。この技術により、監視員は多数の監視映像を注視することなく、容易に不審者を監視できるようになる。
【0004】
【特許文献1】特開2006−146378号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記従来技術では、監視現場で撮影した映像をセンタに蓄積することを前提とし、そのセンタに蓄積された映像データベース(DB)から特徴量を抽出し、人物追跡を行っていた。
【0006】
しかしながら、監視現場で撮影した映像をセンタに伝送するために用いるネットワークの伝送容量の制約により、センタに蓄積される映像のフレームレートを高くはできない。このため、動き特徴のような高周波特徴をセンタ側では算出できず、追跡に用いることができない。したがって、追跡性能に限界があった。
【0007】
本発明の目的は、センタに蓄積する映像のフレームレートを上げないで、動き特徴のような高周波特徴を用いた追跡ができる移動物体監視装置を提供することである。
【課題を解決するための手段】
【0008】
前記目的を達成するために、装置全体は、ネットワークで接続された少なくとも一つの監視現場と監視センタで構成される。監視現場は、カメラで撮影した映像を取得する映像取得部と、取得した映像中の移動物体を抽出する移動物体抽出部と、抽出した移動物体に対する特徴量の算出処理の分担を定める処理分担表と、処理分担表に従って移動物体の高周波特徴量を算出する高周波特徴算出部と、処理分担表に従って監視センタに送信する映像の伝送レートを決定し、そのレートで映像を伝送する映像選択部を備える。監視センタは、伝送映像選択部によって伝送された映像を蓄積する映像DBと、高周波特徴算出部が算出した特徴量を格納する特徴量DBと、特徴量DBで未算出の特徴を算出する低周波特徴算出部を備える。
【発明の効果】
【0009】
本発明によれば、ネットワークを伝送する映像データを増やさずに、センタ側で高周波特徴を利用できる。これにより、精度良い移動物体の追跡が可能になる。
【発明を実施するための最良の形態】
【0010】
(実施の形態1)
以下では発明の実施の形態について、図を用いて詳細に説明する。
【0011】
図1は、本発明の一実施形態である移動物体監視装置全体の機能構成を示すブロック図である。
【0012】
装置全体は、監視現場100と監視センタ102に大別される。そして、両者はネットワーク104で接続される。監視現場100は、監視の対象となる領域、およびその領域に設置した監視装置である。監視センタ102は、監視現場100の映像を監視員が監視する場所、およびその場所に設置したセンタ監視装置である。通常、監視現場100と監視センタ102は物理的に離れた場所となる。ネットワーク104は、LAN(ローカルエリアネットワーク),WAN(ワイドエリアネットワーク)等のコンピュータネットワークであり、データを相互にやり取りできる。
【0013】
次に、監視現場100の構成要素について説明する。
【0014】
カメラ106は、ネットワークカメラやビデオカメラなどの撮影装置である。監視領域全体を撮影できるように複数のカメラを設置する。カメラの設置密度は疎であっても密であっても構わない。
【0015】
映像取得部108は、カメラ106で撮影した映像を取得する。カメラ106がネットワークカメラの場合は、ネットワーク経由ですでにデジタル化された画像データを一定の時間間隔で取得する。ビデオカメラの場合にはカメラより出力されるアナログ信号を取得した後で、このアナログ信号をデジタル信号に変換する。
【0016】
移動物体抽出部110は、映像取得部108が取得した映像データ中の移動物体を抽出する。移動物体の抽出には、例えば背景差分法を用いれば良い。背景差分法とは、移動物体が存在しない状態の映像データを背景として保存しておき、移動物体が映っている映像データとピクセル毎の輝度値の差分を求めることで、背景には存在しなかった移動物体の領域を求める方法である。背景差分法により、移動物体の有無とその個数、移動物体の領域に対する外接矩形が算出される。これらが、移動物体抽出部110の出力となる。
【0017】
高周波特徴算出部112は、処理分担表114に従って、移動物体抽出部110が抽出した移動物体に対する高周波特徴量を算出する。処理分担表114は、移動物体の複数の特徴量を算出する際に、監視現場100側と監視センタ102側のどちらで処理するのかを決定するテーブルである。このテーブルの詳細については後述する。特徴量は移動物体固有の特徴を現すベクトル量であり、移動物体の追跡等に用いる。特徴量として、色やテクスチャの特徴,形状の特徴,動きの特徴などが有る。例えば、移動物体の色の特徴として、下半身と上半身の最頻輝度値を用いれることができる。この場合、特徴量は二次元のベクトルとなる。
【0018】
ここで、人間の色やテクスチャの特徴は、時間によって変化しない静的な特徴であり、算出には一枚の映像があれば十分である。すなわち、このような特徴は低周波特徴である。一方、人間の形状や動きの特徴は、時間によって変化する動的な特徴であり、算出には高いフレームレートの映像が必要となる。すなわち、このような特徴は、高周波特徴である。ここで、動きの特徴量としては、例えば、公知の立体高次局所自己相関特徴を利用することができる。立体高次局所自己相関特徴とは、顔画像認識などによく使われる高次局所自己相関特徴を時間方向に拡張した特徴であり、動画の特徴量を得ることができる。この特徴とは、画像を時系列に並べたボクセルデータ中の各点において251種類の局所的な自己相関特徴を計算し、ボクセルデータ全体にわたって積分することで得られる251次元のベクトル量である。
【0019】
高周波特徴算出部112が算出するのは、処理分担表114の高周波特徴である。算出した高周波特徴は、ネットワーク104を介して監視センタ102に伝送され、監視センタ102が備える特徴量DB116に格納する。特徴量DB116は、移動物体の特徴量を蓄積するデータベース(DB)であり、詳細については後述する。なお、算出した全ての高周波特徴を特徴量DB116に格納しても良い。また、後述する伝送映像選択部118が映像を伝送するタイミングに同期して特徴量DB116に格納しても良い。
【0020】
伝送映像選択部118は、映像取得部108で取得した映像データを、処理分担表114に従って監視センタ102側に送信する。ここでは、高周波特徴算出部112で算出する特徴を除く低周波特徴を算出するのに必要十分なフレームレートの映像を伝送し、結果を監視センタ102側の映像DB120に格納する。映像DB120の詳細は後述する。
【0021】
次に、監視センタ102の構成要素について説明する。
【0022】
映像DB120は、伝送映像選択部118で伝送された画像データを蓄積するデータベース(DB)である。画像データのフォーマットとしては、JPEG(Joint Photographic Experts Group),PNG(Portable Network Graphics)等一般的に利用されるものを利用すればよい。また、連続した静止画の代わりに動画データを格納しても構わない。この場合、MPEG(Moving Picture Experts Group)などのフォーマットを利用すればよい。
【0023】
低周波特徴算出部122は、特徴量DB116に格納されている特徴量データと、映像DB120に含まれる低フレームレートの映像を用いて、移動物体抽出部110が抽出した移動物体に対する低周波特徴を算出する。ここで、低周波特徴とは、移動物体の追跡に必要な特徴の中で、高周波特徴算出部112で算出しなかった特徴のことである。低周波特徴の例としては、前述のように人間の色やテクスチャの特徴等がある。なお、低周波特徴の算出の対象となる映像は、特徴量DB116に格納されている特徴量データの算出時刻等を基にして映像DB120から検索すれば良い。
【0024】
追跡処理部124は、特徴量DB116に格納された移動物体の特徴量を用いて、移動物体がカメラ間をどのように移動したのか追跡する。ここで、追跡対象は人物だけに限定するものではなく、移動物体であればどのようなものでも構わない。次に、この追跡結果を用いて、映像DB120の中から移動物体が映っているカメラ映像を選択する。そして、この追跡結果を用いて移動物体の移動軌跡を生成する。移動軌跡とは移動物体の過去の移動履歴を表す線分である。
【0025】
監視画面生成部126は、映像DB120に蓄積された映像データと、追跡処理部124が選択した移動物体が映っている映像データと、追跡処理部124が生成した軌跡データから、本監視装置の利用者に提供する監視画面を生成する。監視画面の具体例については後述する。
【0026】
入力手段128は、マウス,キーボード等の入力装置であり、“追跡開始”,“追跡終了”等の本監視装置の利用者の操作を受け付ける。
【0027】
出力手段130は、ディスプレイなどの出力装置であり、監視画面生成部126が生成する監視画面を利用者に対して表示する。
【0028】
次に、図2および図3を用いて、監視画面生成部126が生成し出力手段130に表示する監視画面の表示例を説明する。監視画面は、複数映像監視画面と追跡画面で構成される。以下順に説明する。
【0029】
まず、図2で複数の映像を閲覧するための複数映像監視画面の例を説明する。
【0030】
画面左部のマップ200は、監視領域全体の概略を示すマップである。この例では、3階建てのビルが監視対象であることを表している。
【0031】
アイコン202は、マップ200上でのカメラの幾何学的な配置を示すものである。この例では、6台のカメラが監視領域内に配置されている。
【0032】
映像監視領域204は、カメラ106(図1)で撮影した映像を表示する領域である。この例では、監視映像206等、4台のカメラの映像を表示している。5台以上のカメラの映像を表示する場合には、映像監視領域204の分割数を大きくするか、または映像監視領域204の一部を表示するようにしてスクロールバーで表示領域を変更できるようにすればよい。逆に、3台以下のカメラの映像を表示する場合には、映像監視領域204の分割数を小さくすればよい。
【0033】
この複数映像監視画面によって、本装置の利用者は、カメラ106で撮影した複数の映像を同時に閲覧することができる。画面上で不審人物を確認した場合には、映像監視領域204の監視映像をマウスでクリックすることで追跡開始を指示できる。追跡終了ボタン208をマウスでクリックすることで、現在実行中の追跡を停止できる。
【0034】
なお、アイコン202と映像監視領域204内の映像との対応関係が明確になるように、例えば、両者をリンク210のようにアイコン202と監視映像206を線分で結んでもよい。また、映像監視領域204内の映像上に、アイコン202に対応するカメラの名称を表示してもよい。
【0035】
次に、図3で特定の移動物体を監視するための追跡画面の例を説明する。画面全体の構成は図2の複数映像監視画面と基本的に同じである。異なるのは、マップ200上に、移動物体の軌跡300を表示する点、および、追跡対象を追跡しているカメラの映像だけを監視領域204に表示する点である。
【0036】
移動物体の軌跡300は、サムネイル302と矢印306で構成される。サムネイル302とは、カメラで撮影した映像を縮小した画像データである。追跡対象がアイコン304に対応するカメラで撮影された画像データを過去の履歴として利用する。一方、矢印306は、サムネイル302からサムネイル308に移動したことを表す。軌跡の始点のサムネイル302は、このサムネイルに対応するカメラで追跡が始まったことを示し、軌跡の終点のサムネイル310は、このサムネイルに対応するカメラで現在移動物体を追跡中であることを示している。ここで、このように現在移動物体を追跡しているカメラを、カレントカメラと呼ぶことにする。
【0037】
監視領域204上には、カレントカメラで撮影した映像を監視映像206を表示する。この際、カレントカメラに対応するアイコン202を、ハイライト表示することで、監視映像206を撮影したカメラを容易に把握できる。また、サムネイル302をマウスでクリックすると、サムネイルに対応する監視映像を監視領域204に表示するようにしてもよい。
【0038】
このように、過去の代表的な映像をサムネイルとして軌跡上に重ねて表示することで、移動軌跡を見るだけで移動物体の過去の状況を把握できるようになる。なお、図3では追跡数が一つの場合の追跡画面の例を示したが、追跡数は複数であっても構わない。複数の移動軌跡を表示する際には、移動軌跡が互いに重なり合って見え難くなるのを防ぐために、移動軌跡に対して右方向と下方向にオフセットかけて表示すれば良い。
【0039】
次に、図4を使って人物物体追跡の基本原理を説明する。左側はカメラで撮影した監視映像であり、右側はその監視映像に対して特徴量DB116に格納されている特徴量をグラフ化したものである。また、特徴量をグラフ化する際には、特定の監視映像に対する特徴量だけではなく、その直前の監視映像数枚に対する特徴量も同時に表示してある。そのため、追跡対象一人に対して特徴量が複数プロットされている。これは、特徴量の算出誤差を考慮し、追跡精度を高めるためである。なお、監視映像の取得時刻は、上から下方向に、それぞれt1,t2,t3(t1<t2<t3)とする。また、図4において特徴量のグラフは、複数種(ここでは二種類)の特徴量1及び特徴量2とからなる特徴量空間を表す。
【0040】
まず、時刻t1の監視映像400には、移動物体として人物402と人物404が存在しており、それぞれ、特徴量空間406では特徴量408と特徴量410に対応している。
【0041】
次に、時刻t2における監視映像412には、移動物体として人物414と人物416が存在しており、それぞれ、特徴量空間418では特徴量420と特徴量422に対応している。ここで、特徴量空間406の特徴量408と特徴量空間418の特徴量420が同じ場所に位置しているので、人物402は人物414と同じ可能性が高く、監視映像400から監視映像412に移動したと判定することができる。
【0042】
ここで、特徴量空間408と特徴量420の同値判定には、例えば、それぞれの重心間のユークリッド距離を用いれば良い。この距離が、あらかじめ定めた所定の閾値よりも小さい場合には両者が十分近く同じであると見なすことができる。
【0043】
時刻t3における監視映像424には、移動物体として人物426が存在しており、特徴量空間428では特徴量430に対応している。ここで、特徴量空間406の特徴量410と特徴量空間428の特徴量430が同じ場所に位置しているので、人物404は人物426と同じ可能性が高く、監視映像400から監視映像424に移動したと判定することができる。
【0044】
このように、特徴量空間で同じような値を持つ特徴量を検索することで、特定の移動物体がカメラ間をどのように移動したのか追跡することが可能になる。
【0045】
次に、図5のフローチャートを用いて、本実施形態の移動物体監視装置の監視現場100側の処理の流れを説明する。
【0046】
ステップ500では、ステップ502からステップ508までの処理を、あらかじめ定めた所定の頻度で繰り返す。
【0047】
ステップ502では、映像取得部108によりカメラ106で撮影した監視映像を取得する。
【0048】
ステップ504では、移動物体抽出部110により、ステップ502で取得した映像中の移動物体を抽出する。
【0049】
ステップ506では、高周波特徴算出部112によって、ステップ504で抽出した移動物体の高周波特徴量を算出する。この際、高周波特徴算出部112は、処理分担表114に従って、算出すべき高周波特徴を決定する。
【0050】
ステップ508では、伝送映像選択部118によって、ステップ502で取得した映像の中から送信すべき映像を選択し、その映像を映像DB120に送信し格納する。この際、処理分担表114から監視センタ102側に送信すべき映像のフレームレートを決定し、そのフレームレートに従って、送信すべき映像を選択する。
【0051】
次に、図6を用いて、本実施形態の移動物体監視装置の監視センタ102側の処理の流れをフローチャートを使って説明する。
【0052】
ステップ600では、ステップ602からステップ616までの処理を、あらかじめ定めた所定の頻度で繰り返す。
【0053】
ステップ602では、映像DB120から処理の対象となる監視映像を取得する。
【0054】
ステップ604では、低周波特徴算出部122によって、特徴量DB116に格納されている特徴量データと映像DB120に含まれる低フレームレートの映像を用いて、特徴量DB116に格納されている移動物体に対する低周波特徴を算出する。ここで、低周波特徴とは、移動物体の追跡に必要な特徴の中で、高周波特徴算出部112で算出しなかった特徴のことである。
【0055】
ステップ606では、監視画面生成部126によって本監視装置の利用者の操作を処理する。ここで、利用者の操作は入力手段128を用いて入力される。
【0056】
ステップ608では、現在実行中の全ての追跡について、ステップ610からステップ616の処理を繰り返す。
【0057】
ステップ610では、処理対象の時刻tを現時刻に設定する。これにより、ステップ612での追跡処理は現時刻を基準に実施されることになる。
【0058】
ステップ612では、ステップ610で設定した時刻tを基準にして、追跡処理部124によって移動物体追跡を実行する。移動物体追跡処理の詳細については後述する。
【0059】
ステップ614では、ステップ612での移動物体追跡の結果、カメラ間の渡りが発生したかどうか判定し、発生した場合には、ステップ616を実行する。ここで、カメラ間の渡りとは、追跡対象が当初映っていたカメラから消えて、他のカメラに現れることである。
【0060】
ステップ616では、追跡処理部124によって人物の移動軌跡を生成する。
【0061】
ステップ618では、監視画面生成部126によって監視画面を生成し出力手段130に表示する。
【0062】
次に、図7のフローチャートを使って、図6のステップ606の入力処理の詳細を説明する。
【0063】
ステップ700では、入力手段128からの本監視装置の利用者の操作を受け付ける。
【0064】
ステップ702では、ステップ700での入力結果を判定する。“追跡開始”が指定された場合には、ステップ704からステップ708を実行する。“追跡開始”は、例えば、図2の複数映像監視画面の監視映像206をマウスでクリックすることで指定される。一方、“追跡終了”が指定された場合には、ステップ710を実行する。“追跡終了”は、例えば、図2の複数映像監視画面の追跡終了ボタン208をマウスでクリックすることで指定される。
【0065】
ステップ704では、ステップ700で指定されたカメラに映っている人物に対応する特徴量を、追跡対象の特徴量として記憶する。
【0066】
ステップ706では、ステップ700で指定されたカメラをカレントカメラとする。カレントカメラとは、前述のように移動物体追跡時に移動物体を現時点で追跡しているカメラのことである。
【0067】
ステップ708では、図6のステップ608の処理対象に加えるために、ステップ704とステップ706で得た情報を基にして追跡を新規登録する。
【0068】
ステップ710では、現在実行中の全ての追跡を停止する。この結果、図6のステップ608で処理対象となる追跡は一つも存在しなくなる。
【0069】
次に、図8のフローチャートを使って、図6のステップ612の移動物体追跡の処理の詳細を説明する。
【0070】
ステップ800では、カレントカメラの映像に追跡人物が存在するかどうか判定する。追跡人物とは図6のステップ608で処理対象に指定した移動軌跡に対応する人物のことである。なお、ここで人物と表現しているが車両等移動物体全般のことを含むこととする。カレントカメラに追跡人物が存在するかどうかの判定は、図4に示したように、特徴量空間で行う。カレントカメラの映像に対応する特徴量空間に、追跡対象の特徴量が処理対象の時刻tにおいて存在しない場合には、カレントカメラに追跡人物が存在しないと判定し、ステップ802から806を実行する。
【0071】
ステップ802では、カレントカメラ以外に追跡人物が存在するのか検索する。この検索処理の詳細については後述する。
【0072】
ステップ804では、ステップ802の追跡人物の検索処理の結果を判定し、他のカメラに追跡人物が存在した場合には、ステップ806を実行する。
【0073】
ステップ806では、ステップ802での検索結果を基にして、追跡人物が存在するカメラを新たにカレントカメラとして設定する。
【0074】
ステップ808では、追跡処理開始から事前に指定した所定時間が経過したのか判定する。これは、追跡処理を時間で打ち切るための処理である。必要であれば所定時間に無限大を指定することで、追跡処理の打ち切りを回避することも可能である。判定の結果、所定時間を経過している場合には、ステップ810を実行する。
【0075】
ステップ810では、現在の処理対象の追跡を打ち切るための停止処理を実行する。
【0076】
次に、図9のフローチャートを使って、図8のステップ802の追跡人物の検索処理の詳細を説明する。
【0077】
ステップ900では、本実施形態の監視装置の全てのカメラについてステップ902からステップ908を繰り返し実行する。
【0078】
ステップ902では、ステップ900で処理対象となったカメラがカレントカメラと同じかどうか判定する。同じ場合にはステップ904を実行する。
【0079】
ステップ904では、処理の効率化のためにステップ900の現在のループ処理をスキップして次のループ処理へと進む。カレントカメラには追跡対象の人物が存在しないことが、図8のステップ800で確定しているためである。
【0080】
ステップ906では、ステップ900で処理対象となったカメラに追跡対象の人物が存在するかどうか判定する。処理対象のカメラに追跡人物が存在するかどうかの判定は、図4に示したように、特徴量空間で行う。判定の結果、存在する場合にはステップ908を実行する。
【0081】
ステップ908では、現在処理対象のカメラを戻り値として返し処理を終了する。このフローの呼び側には、カメラの渡りが発生し、かつ現在処理対象のカメラに追跡対象が存在することが分かる。
【0082】
ステップ910では、無効を意味するNULLを戻り値として返し処理を終了する。このフローの呼び側には、カメラの渡りが発生していないことが分かる。
【0083】
次に、図10を使って、図1の処理分担表114のデータ構造の例を説明する。この表は、特徴量種別1000,必要映像レート1002,処理分担1004の3列の要素からなる。
【0084】
特徴量種別1000は、本発明の移動物体監視装置で用いる特徴量の種別を表す。例えば、セル1006は特徴量Aに関する情報であることを表す。
【0085】
必要映像レート1002は、特徴量の算出に用いる映像のフレームレートを表す。例えば、セル1008は特徴量Aを算出するために30フレーム/秒のフレームレートの映像を用いることを表す。なお、本実施形態においては、処理分担表114作成時に、必要映像レート1002の値が高いものから降順に本表の各行を並べることとする。
【0086】
処理分担1004は、特徴量算出処理を、監視現場100と監視センタ102のどちらで実行するのかを表す。セル1010は、特徴量Aの算出処理を監視現場100側で実行することを表す。
【0087】
高周波特徴境界値1012は、高周波特徴の範囲を示す値であり、処理分担1004の値(監視現場または監視センタ)を設定する。図10の例では値が2であり、1,2番目の特徴量、すなわち特徴量AとBが高周波特徴で、3番目以降、すなわち特徴量CとDは低周波特徴であることを示す。これにより、特徴量AとBの算出処理は監視現場100で、特徴量CとDの算出処理は監視センタ102で実行すると判定でき、処理分担1004の値が定まる。なお、本実施形態においては、高周波特徴の映像フレームレートは低周波特徴のそれよりも高く設定される。
【0088】
この処理分担表114により、高周波特徴算出部112は、算出すべき特徴量を設定できる。図10の例では、特徴量AとBを算出対象として決定し算出する。残りの特徴量CとDは、低周波特徴算出部122で算出することとなる。
【0089】
また、この処理分担表114により、伝送映像選択部118が、監視センタ102に伝送する映像のフレームレートを決定できる。図10の例では、監視センタ102側で算出すべき特徴は特徴量CとDであり、両者を算出するのに必要なフレームレートは5フレーム/秒となる。伝送映像選択部118はこのフレームレートで映像を伝送する。
【0090】
次に、図11を使って、図1の特徴量DB116に格納する特徴量のデータ構造の例を説明する。特徴量データは、特徴量データ全体を表すテーブル1110と特徴量ベクトルを表すテーブル1118で構成される。
【0091】
テーブル1100は一つの特徴量データを表すテーブルである。このテーブルはデータ項目1102〜データ項目1117から構成される。
【0092】
データ項目1102は、カメラを一意に表すIDである。このIDに対応するカメラで撮影した映像から特徴量を算出したことを示す。
【0093】
データ項目1104は、特徴量を算出した映像の取得時刻である。
【0094】
データ項目1106は、移動物体のIDである。このIDは一つのカメラ内で人物を追跡する過程で定まるものである。あくまでも、一つのカメラ内で一意に定まるものであり、複数のカメラ間で同じ人物に対して一意に定まるものではない。
【0095】
データ項目1108は、移動物体の画像上での位置を表す。この位置情報は、移動物体抽出部110が算出する。
【0096】
データ項目1110は、移動物体の画像上での大きさを表す。大きさとしては、例えば移動物体に対する外接矩形を考えれば良い。この大きさ情報は、移動物体抽出部110が算出する。
【0097】
データ項目1112〜1117は移動物体について算出した特徴量ベクトルを格納する領域へのポインタである。それぞれ、特徴量A,B,C,Dに対応する特徴量データを格納する。ここでは、データ項目1112は、特徴量Aのデータとしてテーブル1118を指し示している。一方、データ項目1114は、特徴量Bのデータとして、値が存在しないNULLを指し示している。すなわち、特徴量Bのデータはまだ算出されていないことを示す。同様に、データ項目1116,1117もNULLであり、特徴量C,Dについてもまだ算出されていないことを示す。
【0098】
一方、特徴量ベクトルを表すテーブル1118は、データ項目1120と可変長のデータ項目1122から構成される。
【0099】
データ項目1120は、ベクトルの次数である。特徴量ベクトルの次数は、特徴量として色やテクスチャの特徴,形状の特徴,動きの特徴など様々なものが考えられるため、一意には定まらない。本実施形態では、採用する特徴量を自由に変更できるように、特徴量の次数をデータ項目1120に保持する。例えば、移動物体の色の特徴として下半身と上半身の最頻輝度値を用いる場合には、次数は2となる。
【0100】
データ項目1122は、特徴量ベクトルの要素であり、データ項目1120で指定した次数の数だけ項目が存在する。
【0101】
以上に述べた実施の形態によれば、ネットワークを伝送する映像データを増やさずに、センタ側で高周波特徴を利用できるようになる。これにより、精度良い移動物体の追跡が可能になる。
【0102】
(実施の形態2)
第一の実施形態では、監視現場が一箇所の場合の装置の構成を示したが、監視現場が複数箇所であっても良い。この場合の実施の形態を以下に示す。基本的には第一の実施形態と大部分が同じ構成であるので、変更点のみを説明する。
【0103】
図12は、複数の監視現場を備える移動物体監視装置全体の機能構成を示すブロック図である。図1に示した移動物体監視装置に対して、監視現場1200を新たに追加している。
【0104】
監視現場1200は、監視現場100とは異なる監視対象である。監視現場1200の機能構成は、監視現場100の機能構成と同様である。監視現場100、および監視現場1200のそれぞれの高周波特徴算出部112によって算出された映像の高周波特徴は、監視センタ102の特徴量DB116に格納される。同様に、監視現場100、および監視現場1200のそれぞれの伝送映像選択部118によって伝送された映像は、監視センタ102の映像DB120に格納される。監視センタ102側では、複数の監視現場の情報が格納された特徴量DB116、および映像DB120を用いて処理を行う。
【0105】
以上に述べた実施の形態によれば、複数の監視現場の情報を監視センタに集約できる。よって、複数の監視現場を監視センタで監視できるようになる。
【0106】
なお、以上に述べた実施の形態では、複数の監視現場で同一の処理分担表114を用いたが、監視現場ごとに処理分担表114の内容を変更しても良い。このようにすることで、監視現場に応じた柔軟なカスタマイズが可能となる。
【0107】
(実施の形態3)
第一および第二の実施形態では、処理分担表114を用いて処理の分担を静的に定めていたが、装置の稼動状況に応じて動的に定めても良い。この場合の実施の形態を以下に示す。
【0108】
図13は、処理分担を動的に変更する移動物体監視装置全体の機能構成を示すブロック図である。図1に示した移動物体監視装置に対して、ネットワーク負荷測定部1300,処理負荷測定部1302,現場映像DB1304を新たに追加している。
【0109】
ネットワーク負荷測定部1300は、ネットワーク104の負荷率を測定し、後述するように、その結果を処理分担表114に反映させる。この負荷率は、例えば、実際にネットワーク104を伝送しているデータ量の計測値をネットワーク104の伝送容量で割ることで求めれば良い。
【0110】
処理負荷測定部1302は、監視現場100側の装置の処理負荷率を測定し、後述するように、その結果を処理分担表114に反映させる。図には、移動物体抽出部110と高周波特徴算出部112の処理負荷を測定する例を示してある。この負荷率は、例えば、ある単位時間に、各装置が待機状態にない時間、すなわち何らかの処理をしている時間の割合によって表される。
【0111】
現場映像DB1304は、現状のネットワーク負荷と各装置の処理の負荷の状況では処理を続行できな場合に、一時的に映像を退避するデータベースである。詳細については後述する。
【0112】
図14は、処理分担の動的変更に用いる処理分担表のデータ構造の例である。これは、図10に示した処理分担表のデータ構造に下限値1400と上限値1402を追加したものである。
【0113】
下限値1400は、高周波特徴境界値1012が取りえる範囲の下限値を示す。後述するように、下限値1400は、ネットワーク負荷測定部1300で測定する負荷率に応じて変動する。
【0114】
上限値1402は、高周波特徴境界値1012が取りえる範囲の上限値を示す。後述するように、上限値1402は、処理負荷測定部1302で測定する負荷率に応じて変動する。
【0115】
以上より、高周波特徴境界値1012の取りえる範囲は、下限値1400以上、上限値1402以下と定まる。
【0116】
図15は、処理分担の動的変更の処理の流れを表すフローチャートである。
【0117】
ステップ1500では、ネットワーク負荷測定部1300によって、ネットワーク104の負荷率NLを測定する。
【0118】
ステップ1502では、ステップ1500で測定した負荷率NLと閾値TNL1を比較し、負荷率NLが閾値TNL1を上回る場合には、ステップ1504を実行する。ここで、閾値TNL1は100%に近い値、例えば、90%である。負荷率NLが閾値TNL1を上回る場合には、ネットワークの負荷率が高く、伝送容量の限界に近いことを意味する。
【0119】
ステップ1504では、図14の下限値1400に1を加える。ここで、max()は、引数の中で最大の値を求める関数である。特徴量種別数より大きな値となって、無効な値をとらないようにこの関数を利用する。下限値1400に1を加えることで、高周波特徴境界値1012の有効範囲は、監視現場100側で算出する特徴量が増え、ネットワーク104の負荷率が下がる方向に狭まる。
【0120】
ステップ1506では、ステップ1500で測定した負荷率NLと閾値TNL2を比較し、負荷率NLが閾値TNL2を下回る場合には、ステップ1508を実行する。ここで、閾値TNL2は100%に比べて十分小さい値、例えば、50%である。負荷率NLが閾値TNL2を下回る場合には、ネットワークの負荷率が低く、伝送容量に余裕があることを意味する。
【0121】
ステップ1508では、図14の下限値1400に1を減じる。ここで、min()は、引数の中で最小の値を求める関数である。下限値1400が無効な値をとらないようにこの関数を利用する。下限値1400に1を減じることで、高周波特徴境界値1012の有効範囲は、監視現場100側で算出する特徴量が減り、ネットワーク104の負荷率が上がる方向に広がる。
【0122】
ステップ1510では、処理負荷測定部1302によって、監視現場100側の装置、例えば、移動物体抽出部110と高周波特徴算出部112の処理負荷率PLを測定する。
【0123】
ステップ1512では、ステップ1510で測定した負荷率PLと閾値TPL1を比較し、負荷率PLが閾値TPL1を上回る場合には、ステップ1514を実行する。ここで、閾値TPL1は100%に近い値、例えば、90%である。負荷率PLが閾値TPL1を上回る場合には、各装置の処理の負荷率が高く、限界に近いことを意味する。
【0124】
ステップ1514では、図14の上限値1402に1を減じる。ステップ1508と同様に、無効な上限値をとらないようにmin()を利用する。上限値1402に1を減じることで、高周波特徴境界値1012の有効範囲は、監視現場100側で算出する特徴量が減り、処理の負荷率が下がる方向に狭まる。
【0125】
ステップ1516では、ステップ1510で測定した負荷率PLと閾値TPL2を比較し、負荷率PLが閾値TPL2を下回る場合には、ステップ1518を実行する。ここで、閾値TPL2は100%に比べて十分小さい値、例えば、50%である。負荷率PLが閾値TPL2を下回る場合には、各装置の処理の負荷率が低く、処理に余裕があることを意味する。
【0126】
ステップ1518では、図14の上限値1402に1を加える。ステップ1504と同様に、特徴量種別数より大きく無効な値をとらないようにmax()を利用する。上限値1402に1を加えることで、高周波特徴境界値1012の有効範囲は、監視現場100側で算出する特徴量が増え、装置の負荷率が上がる方向に広がる。
【0127】
ステップ1520では、これまでの処理で算出した下限値と上限値を比較する。下限値が上限値以下の場合は、現状のネットワーク負荷率と各装置の処理の負荷率に応じた適切な高周波特徴境界値1012が存在することを意味する。この場合、ステップ1522を実行する。下限値が上限値より大きい場合は、現状のネットワーク負荷率と各装置の処理の負荷率に応じた適切な高周波特徴境界値1012が存在しないことを意味する。この場合は、例外処理として映像を退避するために、ステップ1524を実行する。
【0128】
ステップ1522では、現状のネットワーク負荷率と各装置の処理の負荷率に応じた適切な高周波特徴境界値1012を決定する。高周波特徴境界値1012は、下限値1400以上、かつ上限値1402以下の範囲に在る。高周波特徴境界値1012としては、この範囲内の適当な値を採用すれば良い。例えば、下限値1400、または上限値1402を採用すれば良い。また、両者の中間値を採用しても良い。
【0129】
ステップ1524では、現状のネットワーク負荷と各装置の処理の負荷の状況では、処理を続行できないと考え、処理を中断し映像を退避する。具体的には、高周波特徴算出112の特徴量算出処理と伝送映像選択部118の映像伝送処理を中断し、代わりに映像を現場映像DB1304に退避する。退避した映像は、例えば、ネットワーク負荷と各装置の処理の負荷が低くなってから、処理すれば良い。
【0130】
以上に述べた実施の形態によれば、ネットワークの負荷状況と各装置の処理の負荷状況に応じて、適切な処理の分担を、動的に定めることが可能になる。これにより、外的要因による負荷の変動に柔軟に対応できる。
【0131】
なお、図13には、ネットワーク負荷測定部1300と処理負荷測定部1302を監視現場100に設置した場合の例を示したが、これらの装置を監視センタ102側に設置しても構わない。処理負荷測定部1302を監視センタ102側に設置した場合の構成を図16に示す。処理負荷測定部1302の代わりに、監視センタ102側にセンタ処理負荷測定部1600を追加してある。
【0132】
センタ処理負荷測定部1600は、監視センタ102側の装置の処理負荷率を測定し、前述した処理負荷測定部1302と同様に、その結果を処理分担表114に反映させる。図には、低周波特徴算出部122と追跡処理部124の処理負荷を測定する例を示してある。なお、複数の監視現場が存在する場合には、より細かな制御が可能となる。例えば、全ての監視現場の処理分担表114に一律に反映させるのではなく、各監視現場に対して時間差を置いて順次変更しても良い。
【0133】
以上に述べた実施の形態によれば、監視現場だけではなく監視センタ側の処理の負荷状況に応じて、適切な処理の分担を、動的に定めることが可能になる。これにより、外的要因による負荷の変動に柔軟に対応できるようになる。
【0134】
(実施の形態4)
第一〜第三の実施形態では、監視現場側と監視センタ側で分担して算出した特徴量を用いて移動物体追跡する場合の例を示したが、この特徴量を映像検索に用いても良い。この場合の実施の形態を以下に示す。基本的には第一の実施例と大部分が同じ構成であるので、変更がある部分を説明する。
【0135】
図17は、映像検索機能を備える監視装置全体の機能構成を示すブロック図である。映像検索部1700と検索画面生成部1702以外は、図1に示したものと同様である。
【0136】
映像検索部1700は、利用者が指定した映像に類似した映像を、特徴量DB116に格納された特徴量データに基づいて検索する。ここで、検索には、例えば特徴量ベクトルを用いれば良い。特徴量ベクトルは、図11に示した特徴量A〜特徴量Dの各種特徴量を連結して求める。そして、検索対象の映像の特徴量ベクトルと、特徴量DB116に格納された特徴量ベクトルの差分ベクトルの長さを類似度として算出する。この類似度が小さい場合には、映像が似ていると考えることができる。
【0137】
検索画像生成部1702は、映像検索部1700の検索結果に基づいて本監視装置の利用者に提供する監視画面を生成する。
【0138】
図18は、検索画像生成部1702が生成する検索画面の例である。検索画面は、クエリ条件設定エリア1800,検索クエリ指定エリア1802,検索実行ボタン1806,検索結果表示エリア1808で構成される。
【0139】
クエリ条件設定エリア1800は、検索クエリの候補となる映像を絞り込むために、条件を設定する領域である。例えば、カメラIDや日時で条件を指定する。ここで、カメラIDとは監視現場に設定されたカメラを識別するたのIDである。
【0140】
検索クエリ指定エリア1802は、クエリ条件設定エリア1800で指定した条件に近い映像の一覧を表示する。
【0141】
検索クエリ1804は、検索クエリ指定エリア1802に表示された映像の中から、本装置の利用者が選択した映像である。この映像が、検索処理系への類似画像の問い合わせに用いられる。図では、検索クエリ1804の外枠が太く表示されることで、選択状態にあることを示している。
【0142】
検索実行ボタン1806は、検索の実行開始を指示するボタンである。本装置の利用者がこのボタンを押すことで、検索クエリ1804を用いた映像の検索が開始される。
【0143】
検索結果表示エリア1808は、検索の結果が表示される領域である。検索の結果、検索クエリ1804と類似した映像が、似た順に表示される。
【0144】
以上に述べた実施の形態によれば、ネットワークを伝送する映像データを増やさずに、センタ側で高周波特徴を利用できるようになる。これにより、精度良い映像検索が可能になる。
【0145】
(実施の形態5)
第一〜第三の実施形態では、監視現場側と監視センタ側で分担して算出した特徴量を用いて移動物体追跡する場合の例を示したが、この特徴量を映像中の異常行動検知に用いても良い。この場合の実施の形態を以下に示す。基本的には第一の実施例と大部分が同じ構成であるので、変更がある部分を説明する。
【0146】
図19は、異常行動検知機能を備える監視装置全体の機能構成を示すブロック図である。異常行動検知部1900と異常表示画面生成部1902以外は、図1に示したものと同様である。
【0147】
異常行動検知部1900は、特徴量DB116に格納された特徴量データを用いて異常行動を検知し、結果を異常表示画面生成部1902に送る。ここで、異常行動の検知方法としては、例えば、正常行動の動画の特徴量ベクトルを学習し、正常行動の特徴からは逸脱した映像を異常として判定するような公知の異常行動判別方法を利用することができる。
【0148】
異常表示画面生成部1902は、異常行動検知部1900の検知結果に基づいて本監視装置の利用者に提供する監視画面を生成する。
【0149】
図20は、異常表示画面生成部1902が生成する監視画面の例である。この画面は、図2に示した画面とほぼ同様であるが、異常発生映像2000が追加されている。
【0150】
異常発生映像2000は、異常行動検知部1900によって異常と判定された映像であり、映像の外枠を強調表示して、本装置の利用者が視認し易くしている。映像の外枠を強調表示に加えて、映像を別の新規ウインドウに表示したり、音声で警告を出すことで、本装置の利用者に注意を促すようにしても良い。
【0151】
以上に述べた実施の形態によれば、ネットワークを伝送する映像データを増やさずに、センタ側で高周波特徴を利用できるようになる。これにより、精度良い異常行動検知が可能になる。
【図面の簡単な説明】
【0152】
【図1】本発明による移動物体監視装置の機能構成を表すブロック図である。
【図2】複数映像監視画面の例を説明する図である。
【図3】追跡監視画面の例を説明する図である。
【図4】移動物体追跡の基本原理を説明する図である。
【図5】監視現場側の処理流れを表すフローチャートである。
【図6】監視センタ側の処理流れを表すフローチャートである。
【図7】入力処理の処理流れを表すフローチャートである。
【図8】移動物体追跡の処理流れを表すフローチャートである。
【図9】追跡人物の検索処理の流れを表すフローチャートである。
【図10】処理分担表のデータ構造を説明する図である。
【図11】特徴量データの構造を説明する図である。
【図12】複数の監視現場を備える移動物体監視装置全体の機能構成を表すブロック図である。
【図13】処理分担を動的に変更する移動物体監視装置全体の機能構成を示すブロック図である。
【図14】処理分担の動的変更に用いる処理分担表のデータ構造を説明する図である。
【図15】処理分担の動的変更の処理の流れを表すフローチャートである。
【図16】センタ側に処理負荷測定部を備える移動物体監視装置全体の機能構成を表すブロック図である。
【図17】映像検索機能を備える監視装置全体の機能構成を示すブロック図である。
【図18】検索画面例を説明する図である。
【図19】異常行動検知機能を備える監視装置全体の機能構成を示すブロック図である。
【図20】検索画面例を説明する図である。
【符号の説明】
【0153】
100 監視現場
102 監視センタ
104 ネットワーク
106 カメラ
108 映像取得部
110 移動物体抽出部
112 高周波特徴算出部
114 処理分担表
116 特徴量DB
118 伝送映像選択部
120 映像DB
122 低周波特徴算出部
124 追跡処理部
126 監視画面生成部
128 入力手段
130 出力手段

【特許請求の範囲】
【請求項1】
複数のカメラを用いて移動物体を監視する移動物体監視装置において、
前記移動物体監視装置は、ネットワークで接続された少なくとも一つの監視現場と監視センタで構成され、
前記監視現場は、
カメラで撮影した映像を取得する映像取得部と、
取得した前記映像中の移動物体を抽出する移動物体抽出部と、
抽出した前記移動物体に対する特徴量の算出処理の分担を定める処理分担表と、
前記処理分担表に従って前記移動物体の高周波特徴量を算出する高周波特徴算出部と、
前記処理分担表に従って前記監視センタに送信する映像の伝送レートを決定し、そのレートで前記映像を伝送する映像選択部と、を備え、
前記監視センタは、
前記伝送映像選択部によって伝送された映像を蓄積する映像データベースと、
前記高周波特徴算出部が算出した特徴量を格納する特徴量データベースと、
前記特徴量データベースで未算出の特徴を算出する低周波特徴算出部と、を備えることを特徴とする移動物体監視装置。
【請求項2】
請求項1に記載の移動物体監視装置において、
前記処理分担表は、特徴量の種別を表す特徴量種別と、特徴量を算出するために必要な映像のフレームレートを表す必要映像レートと、特徴量算出処理を実行する場所を表す処理分担の少なくとも一つ以上の組み合わせと、高周波特徴の範囲を示す高周波特徴境界値と、を持ち、
前記高周波特徴境界値に基づいて前記処理分担の値を決定することを特徴とする移動物体監視装置。
【請求項3】
請求項2に記載の移動物体監視装置において、
前記処理分担表は、前記必要映像レートに基づいて、降順または昇順にソートされていることを特徴とする移動物体監視装置。
【請求項4】
請求項1ないし3のいずれか一項に記載の移動物体監視装置において、
前記処理分担表は、前記高周波特徴境界値に対する上限値と下限値を備え、
前記高周波特徴境界値は前記上限値と前記下限値の範囲で変更できることを特徴とする移動物体監視装置。
【請求項5】
請求項1ないし4のいずれか一項に記載の移動物体監視装置において、
ネットワークの負荷率を測定するネットワーク負荷測定部を備え、
前記ネットワーク負荷測定部は測定した負荷率に基づいて前記処理分担表の前記高周波特徴境界値を更新することを特徴とする移動物体監視装置。
【請求項6】
請求項5に記載の移動物体監視装置において、
前記ネットワーク負荷測定部が前記監視現場と前記監視センタの少なくともどちらか一方に設置されることを特徴とする移動物体監視装置。
【請求項7】
請求項1ないし4のいずれか一項に記載の移動物体監視装置において、
装置の処理の負荷率を測定する処理負荷測定部を備え、
前記処理負荷測定部は測定した負荷率に基づいて前記処理分担表の前記高周波特徴境界値を更新することを特徴とする移動物体監視装置。
【請求項8】
請求項7に記載の移動物体監視装置において、
前記処理負荷測定部が前記監視現場と前記監視センタの少なくともどちらか一方に設置されることを特徴とする移動物体監視装置。
【請求項9】
請求項1ないし8のいずれか一項に記載の移動物体監視装置において、
前記特徴量データベースに格納されたデータに基づいて前記移動物体を追跡する移動物体追跡部を備えることを特徴とする移動物体監視装置。
【請求項10】
請求項1ないし8のいずれか一項に記載の移動物体監視装置において、
前記特徴量データベースに格納されたデータに基づいて映像を検索する映像検索部を備えることを特徴とする移動物体監視装置。
【請求項11】
請求項1ないし8のいずれか一項に記載の移動物体監視装置において、
前記特徴量データベースに格納されたデータに基づいて前記移動物体の異常行動を検出する異常行動検知部を備えることを特徴とする移動物体監視装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate


【公開番号】特開2010−28594(P2010−28594A)
【公開日】平成22年2月4日(2010.2.4)
【国際特許分類】
【出願番号】特願2008−189268(P2008−189268)
【出願日】平成20年7月23日(2008.7.23)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】