映像監視システムおよび映像監視方法
【課題】監視員の負荷を軽減し、異常現象の発見を早める。
【解決手段】本発明の一態様としての映像監視方法は、複数の監視カメラにより撮像された各映像から前記映像の特徴を表す１つ以上の特徴量を抽出し、１つ以上の特徴量と監視事象の異常度とを含む複数の事例を格納したデータベースと、各前記映像から抽出された特徴量とを用いて、各前記映像により表される監視事象に対する異常度をそれぞれ推定し、各前記監視カメラの映像を所定数のモニタへ選択的に出力し、推定された異常度をもとに映像選択を制御、各前記モニタへ表示された映像に対する監視員の行動を表す情報を取得し、取得された監視員の行動から各前記モニタへ表示された映像により表される監視事象に対する異常度を算出し、各前記モニタへ表示された映像の特徴量と、算出された異常度とを含む各事例を前記データベースに登録する。
【解決手段】本発明の一態様としての映像監視方法は、複数の監視カメラにより撮像された各映像から前記映像の特徴を表す１つ以上の特徴量を抽出し、１つ以上の特徴量と監視事象の異常度とを含む複数の事例を格納したデータベースと、各前記映像から抽出された特徴量とを用いて、各前記映像により表される監視事象に対する異常度をそれぞれ推定し、各前記監視カメラの映像を所定数のモニタへ選択的に出力し、推定された異常度をもとに映像選択を制御、各前記モニタへ表示された映像に対する監視員の行動を表す情報を取得し、取得された監視員の行動から各前記モニタへ表示された映像により表される監視事象に対する異常度を算出し、各前記モニタへ表示された映像の特徴量と、算出された異常度とを含む各事例を前記データベースに登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像監視システムおよび映像監視方法に関する。
【背景技術】
【０００２】
近年のセキュリティ事情から監視カメラの設置が増え、また、ＩＰ(Internet Protocol：インターネットプロトコル)技術の浸透からより長距離の映像伝送が容易になったことにより、１つの監視システムにおける監視したいカメラ映像の数は増大している。それに伴って、監視室で監視する人間の負担は大きくなってきており、全てのカメラ映像に注意を払い続けるのは困難になってきている。
【特許文献１】特開２００６−７９２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の監視システムにおいては設置された多数のカメラに対して監視室に設置されるモニタの数は少なく、監視員が随時映像を切り替えて監視したり、一定時間ごとに切り替わる映像を監視したりしてきた。このため監視員は常に注意を払ってモニタを見続ける必要があり、カメラ数が非常に多くなってくると重要な事象を見逃して気づくのが遅れたり、集中して見続けたりするのが困難であった。これらに対し従来から画像処理により異常発見を行い、発見した異常を通知する監視支援システムが用いられてきたが、このシステムでは、事前に定義した特定の事象しか検知することができなかった。
【０００４】
本発明は、監視員の負荷を軽減し、異常事象の発見を早めることを可能とした映像監視システムおよび映像監視方法を提供する。
【課題を解決するための手段】
【０００５】
本発明の一態様としての映像監視システムは、
複数の監視カメラにより撮像された各映像から前記映像の特徴を表す１つ以上の特徴量を抽出する特徴量抽出部と、
１つ以上の特徴量と、監視事象の異常度とを含む複数の事例を格納したデータベースと、
各前記映像から抽出された特徴量と、前記データベースとを用いて、各前記映像により表される監視事象に対する異常度をそれぞれ推定する異常度推定部と、
各前記監視カメラの映像を所定数のモニタへ選択的に出力する映像切替部と、
各推定された異常度をもとに前記映像切替部による映像選択を制御する管理制御部と、
各前記モニタへ表示された映像に対する監視員の行動を表す情報を取得する情報取得部と、
取得された監視員の行動から各前記モニタへ表示された映像により表される監視事象に対する異常度を算出する異常度算出部と、
各前記モニタへ表示された映像の特徴量と、前記異常度算出部により算出された異常度とを含む各事例を前記データベースに登録するデータベース更新部と、を備える。
【０００６】
本発明の一態様としての映像監視方法は、
複数の監視カメラにより撮像された各映像から前記映像の特徴を表す１つ以上の特徴量を抽出する特徴量抽出ステップと、
１つ以上の特徴量と、監視事象の異常度とを含む複数の事例を格納したデータベースと、各前記映像から抽出された特徴量とを用いて、各前記映像により表される監視事象に対する異常度をそれぞれ推定する異常度推定ステップと、
各前記監視カメラの映像を所定数のモニタへ選択的に出力する映像切替ステップと、
各推定された異常度をもとに前記映像切替ステップによる映像選択を制御する管理制御ステップと、
各前記モニタへ表示された映像に対する監視員の行動を表す情報を取得する情報取得ステップと、
取得された監視員の行動から各前記モニタへ表示された映像により表される監視事象に対する異常度を算出する異常度算出ステップと、
各前記モニタへ表示された映像の特徴量と、算出された異常度とを含む各事例を前記データベースに登録するデータベース更新ステップと、を備える。
【発明の効果】
【０００７】
本発明により、監視員の負荷を軽減し、異常事象の発見を早めることを可能とした
【発明を実施するための最良の形態】
【０００８】
図１に本発明の一実施の形態としての映像監視システムの構成を示す。
【０００９】
複数の監視カメラ１は、人物または物体等の監視対象を撮像し、撮像したカメラ映像を出力する。
【００１０】
映像切替装置（映像切替部）２は、管理制御装置７による制御の下、各監視カメラ１により撮像されたカメラ映像を映像表示用の所定数のモニタ３に選択的に出力する。モニタ３の台数は監視カメラ１の台数よりも少ないものとする。
【００１１】
画像処理装置（特徴量抽出部）４は、各監視カメラ１により撮像されたカメラ映像から監視対象の行動の特徴を表す特徴量を抽出する。抽出された特徴量のデータは異常度推定＆算出部５に伝送される。
【００１２】
抽出する特徴量としては、例えば人物や物体の滞留時間、方向転換回数、急な加減速の頻度、停止回数、歩行時間、走行時間、方向転換の際の角度の変化量を合計した角度変化量和、うろうろしているか否か、きょろきょろしているか否かなどがある。
【００１３】
相関データ蓄積部（データベース）６は、撮像時刻、カメラＩＤ、多次元の特徴量、監視事象の異常度、監視員行動特徴量等を含む複数の相関データ（過去における事例）が登録されている。相関データ蓄積部６の内容の一例を図３に示す。「時刻」はたとえば特徴量を抽出する対象となったフレーム期間の代表時刻である。「a」,「b」,「c」…は特徴量の種類である。「異常度」、「監視員行動特徴量」については後述する。
【００１４】
異常度推定＆算出部５は、カメラ映像ごとに、特徴量のデータを相関データ蓄積部６にある過去の事例（相関データ）と比較し、個々のカメラ映像に映った事象の異常度を推定する。具体的には、カメラ映像から抽出された特徴量と最も類似する特徴量をもつ事例（相関データ）を検出し、検出した事例（相関データ）に含まれる異常度を、推定異常度として取得する。異常度推定部は、演算に時間をかけるほど推定精度が向上し、かつ演算途中の任意の時点で、その時点での推定された異常度を取得可能なアルゴリズムに従って異常度推定を行ってもよい
カメラ映像ごとに推定された推定異常度は管理制御装置７に伝送される。異常度推定＆算出部５は、たとえば異常度推定部、異常度算出部、リスト維持部、データベース更新部の各機能を含む。
【００１５】
管理制御装置（管理制御部、情報取得部）７は、推定異常度に応じて決まる表示の優先順位に従い、推定異常度の高い映像がより優先的に表示されるように映像切替装置２を制御する。また、推定異常度が、あらかじめ設定された閾値よりも高い映像については操作端末８を通じて監視員に異常の可能性を通知する。
【００１６】
監視員は優先順位に従って各モニタ３に表示されたモニタ映像を監視し、異常が無いかどうかを確認する。監視員はモニタ３に表示された映像を確認しそれ以上見続ける必要が無い場合、異常が無かった旨の判定結果を入力する。また監視員は、操作端末８を介して異常の可能性を管理制御装置７から通知された場合、この通知に対する判定結果、たとえばこの通知は今後は通知される必要が無い旨（異常は無かった旨）を示す判定結果を入力する。また、監視員は、モニタ３へ表示された映像の拡大などの操作を操作端末８から行うことができ、この操作内容は管理制御装置７を介してモニタ３に表示される映像に反映される。監視員により入力された判定結果および操作内容は管理制御装置７を介して異常度推定＆算出部５に渡される。
【００１７】
画像処理装置（計測部、第２の特徴量抽出部）１０は、監視員を撮像する視線カメラ９により得られる映像を元に監視員の視線の動きを検出し、検出した視線の情報から、監視員が複数のモニタ３のうちどのモニタを見たか、または、モニタをどれくらいの時間見続けたかなど、監視員の行動の特徴を表す特徴量（監視員行動特徴量）を抽出する。
【００１８】
異常度推定＆算出部５は、管理制御装置７から渡される上記判定結果および操作内容、および画像処理装置１０により抽出された監視員行動特徴量に基づき、モニタに表示された映像により表される監視事象の異常度を計算し、計算した異常度を、時刻、カメラＩＤ、特徴量、監視員行動特徴量等と対応づけて１つの相関データ（事例）として相関データ蓄積部６に保存する。相関データ蓄積部６に逐次相関データが蓄積されることで、異常度の推定精度の向上が期待される。
【００１９】
図２は、図１の映像監視システムにより行われる処理の流れを示すフローチャートである。本フローチャートに示される各段階の処理を記述した命令コードを含むプログラムをコンピュータに実行させることによってこれら各段階の処理が実現されてもよい。また上記プログラムはコンピュータ読み取り可能記録媒体に記憶され、コンピュータに読み出されて実行されてもよい。
【００２０】
図２において、まず各監視カメラ１により撮像された映像から、画像処理装置４における画像処理によって、監視対象である人物や物体が特定され、特定した人物や物体の位置、速度、方向などが算出される（Ｓ１）。そして算出した位置、速度、方向などの情報を元に、上述したような特徴量（人物や物体の滞留時間、方向転換回数、急な加減速の頻度など）を算出する（Ｓ１）。
【００２１】
次に異常度推定＆算出部５において異常度の推定を行う（Ｓ２）。異常度の推定は、まず、カメラ映像の画像処理によって得られた多次元の特徴量と、過去に蓄積された事例に含まれる特徴量（図３参照）とを比較し、最も類似する特徴量を持つ事例を検索する。そして、検索した事例に含まれる異常度を推定異常度として得る。類似しているかどうかの判定方法としてはたとえばNearest Neighbor法等を用いることができる。
【００２２】
異常度推定＆算出部５は全てのカメラ映像に対して異常度を推定し、各推定異常度を含む異常度リストを作成する（Ｓ３）。異常度リスト例を図４に示す。「時刻」はたとえば特徴量を抽出する対象となったフレーム期間の代表時刻である。「a」,「b」,「c」…は特徴量の種類である。「最終表示時刻」は該当するカメラＩＤをもつ監視カメラの映像が表示された最終時刻である。「確認」フィールドについては後述する。
【００２３】
管理制御装置７は、この異常度リストに基づき推定異常度の高いものから順に表示の優先順位を決定し、決定した優先順位に従い各モニタ３への映像出力の切替えを制御する（Ｓ４）。たとえば監視カメラ１の台数がＸ、モニタ３の数がＹ（＜Ｘ）としたとき、Ｘ台の監視カメラのうち、推定異常度の高い上位Ｙ台の監視カメラの映像が、Ｙ台のモニタ３に表示される。
【００２４】
管理制御装置７は、異常度リストにおいて推定異常度があらかじめ設定された閾値よりも高い監視カメラの映像については（Ｓ５のＹｅｓ）、特に注意する事象を含む映像として操作端末８へ異常発生の表示を行うことにより（Ｓ６）、監視員に異常発生の可能性を通知する。
【００２５】
監視員はモニタ３に表示された映像を確認し、問題が無いかどうか（異常が無いかどうか）を判定し、異常の有無または今後も同様な通知が必要か否かといった、確認結果の情報（判定結果）を端末８から入力する（Ｓ７）。監視員は、異常発生の可能性の通知がなくとも、映像を確認して、確認結果の情報を端末８から入力してもよい（Ｓ４からＳ７へつながる破線を参照）。監視員は、映像に含まれる事象に対する対処が必要であれば関連部署に連絡するといった対応を行ってもよい。
【００２６】
また、監視員は視線カメラ９により撮像されており、視線カメラ９により撮像された監視員の映像は、画像処理装置１０における画像処理によって視線およびその動きが検出される（Ｓ８）。画像処理装置１０は、監視員の視線およびその動きに基づき、監視員が特定のモニタをどのくらいの時間凝視したか、または特定のモニタを繰り返し見返した頻度（視線移動頻度）など、監視員の行動の特徴を表す監視員行動特徴量を算出する（Ｓ８）。
【００２７】
また、監視員が、モニタに映った映像をより詳細に見るために拡大ズームするといった、当該映像（当該モニタ）に対する操作を操作端末８に行ったときは、当該映像（モニタ）に対する操作内容を表す情報を管理制御装置７を介して異常度推定＆算出部５に送出する（Ｓ９）。
【００２８】
管理制御装置７は、Ｓ９において取得されたモニタに対する操作情報、またはＳ８において取得された監視員の視線の情報から、モニタに表示された映像に含まれる事象に対する確認を監視員が行ったかどうかを表す情報を生成する（Ｓ１０）。
【００２９】
管理制御装置７は、Ｓ７で入力された確認結果の情報（判定結果）、またはＳ１０で生成された情報に基づき、監視員が映像に含まれる事象を確認したか否かを確認する（Ｓ１１）。確認された事象を含む映像（監視カメラ）については確認済みとして、異常度推定＆算出部５において異常度リストにその旨「済」を追記する（Ｓ１２）（図４の確認フィールドを参照）。
【００３０】
異常度リストへの追記とともに異常度推定＆算出部５では、Ｓ７〜Ｓ１０で得られた情報の少なくとも１つ以上を用いて、Ｓ２で推定異常度が推定された特徴量に対して、異常度を算出する（Ｓ１３）。異常度の算出の一例を下記の式に示す。
凝視時間×a1 ＋ 視線移動頻度×a2 ＋ 操作履歴×a3 ＝ 異常度
【００３１】
上記式において、a1,a2,a3は各変数の重みである。また、視線時間、視線移動頻度、操作履歴は監視員行動特徴量であり、画像処理装置１０で抽出された監視員行動特徴量以外の監視員行動特徴量（たとえば操作履歴）は、Ｓ７、Ｓ９、Ｓ１０で得られた情報から計算される。
【００３２】
異常度推定＆算出部５は、算出した異常度を、特徴量等とともに学習用の相関データ（事例）として相関データ蓄積部６に蓄積する（Ｓ１４）。
【００３３】
Ｓ１１で確認済みと判断された映像カメラの映像は、モニタ３に表示する必要が無くなり、Ｓ２に戻って再度、推定異常度を算出する。その際、Ｓ１４で蓄積された相関データを学習データとして利用することで、異常度の推定の精度が向上する。異常度の推定が再度行われたら、推定された異常度によって異常度リストを更新し、その際、確認済みを示す「済」を消去する。
【００３４】
ここで、Ｓ１１において監視員がモニタ映像を確認していない場合でも（Ｓ１１のＮｏ）、一定時間が経過したら（Ｓ１５のＹｅｓ）、その都度、その時点での最も監視すべき映像をモニタに表示する状態を保ち続けるべく、そのモニタ映像について異常度を再度推定し（Ｓ２）、異常度リストを更新する（Ｓ３）。
【００３５】
以上に説明した処理だけでは特定のモニタに特定の映像カメラの表示が偏るなどの運用上の問題が起こり得るため、管理制御装置７は、一定の閾値以上の推定異常度になった映像カメラの映像については一定時間が経って値が下がっても（たとえば当該映像カメラの推定異常度が、他の映像カメラの映像の推定異常度に抜かれても）、必ず確認されるまで表示し続ける制御を行ってもよい。
【００３６】
また、管理制御装置７は、確認済みになった映像カメラの映像は、推定異常度が高い状態が続いていても一定時間は表示されないように制御し、これにより推定異常度の低い映像カメラの映像が適度に表示されるようにしてもよい。
【００３７】
また、管理制御装置７が、確認済みになった映像カメラの映像は、推定異常度が高い状態が続いていても一定時間は表示されないように制御するとともに、異常度推定＆算出部５は、映像カメラの映像が確認済みになった時点で、異常度推定を演算の途中であっても中断し、その時点における推定された異常度を取得し、管理制御装置７に出力してもよい。これにより、上記確認済みになった映像を除いて常に最新の優先順位で監視モニタへの表示を行い、監視員へ事象確認を促すようにすることができる。
【００３８】
また、管理制御装置７は、推定異常度が低い状態が継続していても、検出漏れに備えて、一定時間に一度は表示する制御を行ってもよい。
【００３９】
以上のように、本実施の形態によれば、監視員の負荷を軽減し、異常事象の発見を早めることが可能となる。
【００４０】
また、モニタ映像に対する監視員の操作、異常可能性の通知に対する監視員の行動、モニタに対する監視員の視線を基に、より適切な異常度を学習することで、異常度の推定の精度を向上させることができる。
【００４１】
また、事前に明確に定義されていない事象についても異常有無を監視員に確認させて、確認の結果を異常度の学習に反映させるため、異常度の推定の精度を向上させることができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施の形態としての映像監視システムの構成を示すブロック図
【図２】図１のシステムの処理の流れを示すフローチャート
【図３】相関データ蓄積部の中身の例を示す図
【図４】異常度リストの一例を示す図
【符号の説明】
【００４３】
１：監視カメラ
２：映像切替装置
３：映像表示モニタ
４：画像処理装置（特徴量抽出部）
５：異常度推定＆算出部（異常度推定部、異常度算出部、リスト維持部、データベース更新部）
６：相関データ蓄積部（データベース）
７：管理制御装置（管理制御部、情報取得部）
８：操作端末
９：視線カメラ
１０：画像処理装置（計測部、第２の特徴量抽出部）
【技術分野】
【０００１】
本発明は、映像監視システムおよび映像監視方法に関する。
【背景技術】
【０００２】
近年のセキュリティ事情から監視カメラの設置が増え、また、ＩＰ(Internet Protocol：インターネットプロトコル)技術の浸透からより長距離の映像伝送が容易になったことにより、１つの監視システムにおける監視したいカメラ映像の数は増大している。それに伴って、監視室で監視する人間の負担は大きくなってきており、全てのカメラ映像に注意を払い続けるのは困難になってきている。
【特許文献１】特開２００６−７９２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の監視システムにおいては設置された多数のカメラに対して監視室に設置されるモニタの数は少なく、監視員が随時映像を切り替えて監視したり、一定時間ごとに切り替わる映像を監視したりしてきた。このため監視員は常に注意を払ってモニタを見続ける必要があり、カメラ数が非常に多くなってくると重要な事象を見逃して気づくのが遅れたり、集中して見続けたりするのが困難であった。これらに対し従来から画像処理により異常発見を行い、発見した異常を通知する監視支援システムが用いられてきたが、このシステムでは、事前に定義した特定の事象しか検知することができなかった。
【０００４】
本発明は、監視員の負荷を軽減し、異常事象の発見を早めることを可能とした映像監視システムおよび映像監視方法を提供する。
【課題を解決するための手段】
【０００５】
本発明の一態様としての映像監視システムは、
複数の監視カメラにより撮像された各映像から前記映像の特徴を表す１つ以上の特徴量を抽出する特徴量抽出部と、
１つ以上の特徴量と、監視事象の異常度とを含む複数の事例を格納したデータベースと、
各前記映像から抽出された特徴量と、前記データベースとを用いて、各前記映像により表される監視事象に対する異常度をそれぞれ推定する異常度推定部と、
各前記監視カメラの映像を所定数のモニタへ選択的に出力する映像切替部と、
各推定された異常度をもとに前記映像切替部による映像選択を制御する管理制御部と、
各前記モニタへ表示された映像に対する監視員の行動を表す情報を取得する情報取得部と、
取得された監視員の行動から各前記モニタへ表示された映像により表される監視事象に対する異常度を算出する異常度算出部と、
各前記モニタへ表示された映像の特徴量と、前記異常度算出部により算出された異常度とを含む各事例を前記データベースに登録するデータベース更新部と、を備える。
【０００６】
本発明の一態様としての映像監視方法は、
複数の監視カメラにより撮像された各映像から前記映像の特徴を表す１つ以上の特徴量を抽出する特徴量抽出ステップと、
１つ以上の特徴量と、監視事象の異常度とを含む複数の事例を格納したデータベースと、各前記映像から抽出された特徴量とを用いて、各前記映像により表される監視事象に対する異常度をそれぞれ推定する異常度推定ステップと、
各前記監視カメラの映像を所定数のモニタへ選択的に出力する映像切替ステップと、
各推定された異常度をもとに前記映像切替ステップによる映像選択を制御する管理制御ステップと、
各前記モニタへ表示された映像に対する監視員の行動を表す情報を取得する情報取得ステップと、
取得された監視員の行動から各前記モニタへ表示された映像により表される監視事象に対する異常度を算出する異常度算出ステップと、
各前記モニタへ表示された映像の特徴量と、算出された異常度とを含む各事例を前記データベースに登録するデータベース更新ステップと、を備える。
【発明の効果】
【０００７】
本発明により、監視員の負荷を軽減し、異常事象の発見を早めることを可能とした
【発明を実施するための最良の形態】
【０００８】
図１に本発明の一実施の形態としての映像監視システムの構成を示す。
【０００９】
複数の監視カメラ１は、人物または物体等の監視対象を撮像し、撮像したカメラ映像を出力する。
【００１０】
映像切替装置（映像切替部）２は、管理制御装置７による制御の下、各監視カメラ１により撮像されたカメラ映像を映像表示用の所定数のモニタ３に選択的に出力する。モニタ３の台数は監視カメラ１の台数よりも少ないものとする。
【００１１】
画像処理装置（特徴量抽出部）４は、各監視カメラ１により撮像されたカメラ映像から監視対象の行動の特徴を表す特徴量を抽出する。抽出された特徴量のデータは異常度推定＆算出部５に伝送される。
【００１２】
抽出する特徴量としては、例えば人物や物体の滞留時間、方向転換回数、急な加減速の頻度、停止回数、歩行時間、走行時間、方向転換の際の角度の変化量を合計した角度変化量和、うろうろしているか否か、きょろきょろしているか否かなどがある。
【００１３】
相関データ蓄積部（データベース）６は、撮像時刻、カメラＩＤ、多次元の特徴量、監視事象の異常度、監視員行動特徴量等を含む複数の相関データ（過去における事例）が登録されている。相関データ蓄積部６の内容の一例を図３に示す。「時刻」はたとえば特徴量を抽出する対象となったフレーム期間の代表時刻である。「a」,「b」,「c」…は特徴量の種類である。「異常度」、「監視員行動特徴量」については後述する。
【００１４】
異常度推定＆算出部５は、カメラ映像ごとに、特徴量のデータを相関データ蓄積部６にある過去の事例（相関データ）と比較し、個々のカメラ映像に映った事象の異常度を推定する。具体的には、カメラ映像から抽出された特徴量と最も類似する特徴量をもつ事例（相関データ）を検出し、検出した事例（相関データ）に含まれる異常度を、推定異常度として取得する。異常度推定部は、演算に時間をかけるほど推定精度が向上し、かつ演算途中の任意の時点で、その時点での推定された異常度を取得可能なアルゴリズムに従って異常度推定を行ってもよい
カメラ映像ごとに推定された推定異常度は管理制御装置７に伝送される。異常度推定＆算出部５は、たとえば異常度推定部、異常度算出部、リスト維持部、データベース更新部の各機能を含む。
【００１５】
管理制御装置（管理制御部、情報取得部）７は、推定異常度に応じて決まる表示の優先順位に従い、推定異常度の高い映像がより優先的に表示されるように映像切替装置２を制御する。また、推定異常度が、あらかじめ設定された閾値よりも高い映像については操作端末８を通じて監視員に異常の可能性を通知する。
【００１６】
監視員は優先順位に従って各モニタ３に表示されたモニタ映像を監視し、異常が無いかどうかを確認する。監視員はモニタ３に表示された映像を確認しそれ以上見続ける必要が無い場合、異常が無かった旨の判定結果を入力する。また監視員は、操作端末８を介して異常の可能性を管理制御装置７から通知された場合、この通知に対する判定結果、たとえばこの通知は今後は通知される必要が無い旨（異常は無かった旨）を示す判定結果を入力する。また、監視員は、モニタ３へ表示された映像の拡大などの操作を操作端末８から行うことができ、この操作内容は管理制御装置７を介してモニタ３に表示される映像に反映される。監視員により入力された判定結果および操作内容は管理制御装置７を介して異常度推定＆算出部５に渡される。
【００１７】
画像処理装置（計測部、第２の特徴量抽出部）１０は、監視員を撮像する視線カメラ９により得られる映像を元に監視員の視線の動きを検出し、検出した視線の情報から、監視員が複数のモニタ３のうちどのモニタを見たか、または、モニタをどれくらいの時間見続けたかなど、監視員の行動の特徴を表す特徴量（監視員行動特徴量）を抽出する。
【００１８】
異常度推定＆算出部５は、管理制御装置７から渡される上記判定結果および操作内容、および画像処理装置１０により抽出された監視員行動特徴量に基づき、モニタに表示された映像により表される監視事象の異常度を計算し、計算した異常度を、時刻、カメラＩＤ、特徴量、監視員行動特徴量等と対応づけて１つの相関データ（事例）として相関データ蓄積部６に保存する。相関データ蓄積部６に逐次相関データが蓄積されることで、異常度の推定精度の向上が期待される。
【００１９】
図２は、図１の映像監視システムにより行われる処理の流れを示すフローチャートである。本フローチャートに示される各段階の処理を記述した命令コードを含むプログラムをコンピュータに実行させることによってこれら各段階の処理が実現されてもよい。また上記プログラムはコンピュータ読み取り可能記録媒体に記憶され、コンピュータに読み出されて実行されてもよい。
【００２０】
図２において、まず各監視カメラ１により撮像された映像から、画像処理装置４における画像処理によって、監視対象である人物や物体が特定され、特定した人物や物体の位置、速度、方向などが算出される（Ｓ１）。そして算出した位置、速度、方向などの情報を元に、上述したような特徴量（人物や物体の滞留時間、方向転換回数、急な加減速の頻度など）を算出する（Ｓ１）。
【００２１】
次に異常度推定＆算出部５において異常度の推定を行う（Ｓ２）。異常度の推定は、まず、カメラ映像の画像処理によって得られた多次元の特徴量と、過去に蓄積された事例に含まれる特徴量（図３参照）とを比較し、最も類似する特徴量を持つ事例を検索する。そして、検索した事例に含まれる異常度を推定異常度として得る。類似しているかどうかの判定方法としてはたとえばNearest Neighbor法等を用いることができる。
【００２２】
異常度推定＆算出部５は全てのカメラ映像に対して異常度を推定し、各推定異常度を含む異常度リストを作成する（Ｓ３）。異常度リスト例を図４に示す。「時刻」はたとえば特徴量を抽出する対象となったフレーム期間の代表時刻である。「a」,「b」,「c」…は特徴量の種類である。「最終表示時刻」は該当するカメラＩＤをもつ監視カメラの映像が表示された最終時刻である。「確認」フィールドについては後述する。
【００２３】
管理制御装置７は、この異常度リストに基づき推定異常度の高いものから順に表示の優先順位を決定し、決定した優先順位に従い各モニタ３への映像出力の切替えを制御する（Ｓ４）。たとえば監視カメラ１の台数がＸ、モニタ３の数がＹ（＜Ｘ）としたとき、Ｘ台の監視カメラのうち、推定異常度の高い上位Ｙ台の監視カメラの映像が、Ｙ台のモニタ３に表示される。
【００２４】
管理制御装置７は、異常度リストにおいて推定異常度があらかじめ設定された閾値よりも高い監視カメラの映像については（Ｓ５のＹｅｓ）、特に注意する事象を含む映像として操作端末８へ異常発生の表示を行うことにより（Ｓ６）、監視員に異常発生の可能性を通知する。
【００２５】
監視員はモニタ３に表示された映像を確認し、問題が無いかどうか（異常が無いかどうか）を判定し、異常の有無または今後も同様な通知が必要か否かといった、確認結果の情報（判定結果）を端末８から入力する（Ｓ７）。監視員は、異常発生の可能性の通知がなくとも、映像を確認して、確認結果の情報を端末８から入力してもよい（Ｓ４からＳ７へつながる破線を参照）。監視員は、映像に含まれる事象に対する対処が必要であれば関連部署に連絡するといった対応を行ってもよい。
【００２６】
また、監視員は視線カメラ９により撮像されており、視線カメラ９により撮像された監視員の映像は、画像処理装置１０における画像処理によって視線およびその動きが検出される（Ｓ８）。画像処理装置１０は、監視員の視線およびその動きに基づき、監視員が特定のモニタをどのくらいの時間凝視したか、または特定のモニタを繰り返し見返した頻度（視線移動頻度）など、監視員の行動の特徴を表す監視員行動特徴量を算出する（Ｓ８）。
【００２７】
また、監視員が、モニタに映った映像をより詳細に見るために拡大ズームするといった、当該映像（当該モニタ）に対する操作を操作端末８に行ったときは、当該映像（モニタ）に対する操作内容を表す情報を管理制御装置７を介して異常度推定＆算出部５に送出する（Ｓ９）。
【００２８】
管理制御装置７は、Ｓ９において取得されたモニタに対する操作情報、またはＳ８において取得された監視員の視線の情報から、モニタに表示された映像に含まれる事象に対する確認を監視員が行ったかどうかを表す情報を生成する（Ｓ１０）。
【００２９】
管理制御装置７は、Ｓ７で入力された確認結果の情報（判定結果）、またはＳ１０で生成された情報に基づき、監視員が映像に含まれる事象を確認したか否かを確認する（Ｓ１１）。確認された事象を含む映像（監視カメラ）については確認済みとして、異常度推定＆算出部５において異常度リストにその旨「済」を追記する（Ｓ１２）（図４の確認フィールドを参照）。
【００３０】
異常度リストへの追記とともに異常度推定＆算出部５では、Ｓ７〜Ｓ１０で得られた情報の少なくとも１つ以上を用いて、Ｓ２で推定異常度が推定された特徴量に対して、異常度を算出する（Ｓ１３）。異常度の算出の一例を下記の式に示す。
凝視時間×a1 ＋ 視線移動頻度×a2 ＋ 操作履歴×a3 ＝ 異常度
【００３１】
上記式において、a1,a2,a3は各変数の重みである。また、視線時間、視線移動頻度、操作履歴は監視員行動特徴量であり、画像処理装置１０で抽出された監視員行動特徴量以外の監視員行動特徴量（たとえば操作履歴）は、Ｓ７、Ｓ９、Ｓ１０で得られた情報から計算される。
【００３２】
異常度推定＆算出部５は、算出した異常度を、特徴量等とともに学習用の相関データ（事例）として相関データ蓄積部６に蓄積する（Ｓ１４）。
【００３３】
Ｓ１１で確認済みと判断された映像カメラの映像は、モニタ３に表示する必要が無くなり、Ｓ２に戻って再度、推定異常度を算出する。その際、Ｓ１４で蓄積された相関データを学習データとして利用することで、異常度の推定の精度が向上する。異常度の推定が再度行われたら、推定された異常度によって異常度リストを更新し、その際、確認済みを示す「済」を消去する。
【００３４】
ここで、Ｓ１１において監視員がモニタ映像を確認していない場合でも（Ｓ１１のＮｏ）、一定時間が経過したら（Ｓ１５のＹｅｓ）、その都度、その時点での最も監視すべき映像をモニタに表示する状態を保ち続けるべく、そのモニタ映像について異常度を再度推定し（Ｓ２）、異常度リストを更新する（Ｓ３）。
【００３５】
以上に説明した処理だけでは特定のモニタに特定の映像カメラの表示が偏るなどの運用上の問題が起こり得るため、管理制御装置７は、一定の閾値以上の推定異常度になった映像カメラの映像については一定時間が経って値が下がっても（たとえば当該映像カメラの推定異常度が、他の映像カメラの映像の推定異常度に抜かれても）、必ず確認されるまで表示し続ける制御を行ってもよい。
【００３６】
また、管理制御装置７は、確認済みになった映像カメラの映像は、推定異常度が高い状態が続いていても一定時間は表示されないように制御し、これにより推定異常度の低い映像カメラの映像が適度に表示されるようにしてもよい。
【００３７】
また、管理制御装置７が、確認済みになった映像カメラの映像は、推定異常度が高い状態が続いていても一定時間は表示されないように制御するとともに、異常度推定＆算出部５は、映像カメラの映像が確認済みになった時点で、異常度推定を演算の途中であっても中断し、その時点における推定された異常度を取得し、管理制御装置７に出力してもよい。これにより、上記確認済みになった映像を除いて常に最新の優先順位で監視モニタへの表示を行い、監視員へ事象確認を促すようにすることができる。
【００３８】
また、管理制御装置７は、推定異常度が低い状態が継続していても、検出漏れに備えて、一定時間に一度は表示する制御を行ってもよい。
【００３９】
以上のように、本実施の形態によれば、監視員の負荷を軽減し、異常事象の発見を早めることが可能となる。
【００４０】
また、モニタ映像に対する監視員の操作、異常可能性の通知に対する監視員の行動、モニタに対する監視員の視線を基に、より適切な異常度を学習することで、異常度の推定の精度を向上させることができる。
【００４１】
また、事前に明確に定義されていない事象についても異常有無を監視員に確認させて、確認の結果を異常度の学習に反映させるため、異常度の推定の精度を向上させることができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施の形態としての映像監視システムの構成を示すブロック図
【図２】図１のシステムの処理の流れを示すフローチャート
【図３】相関データ蓄積部の中身の例を示す図
【図４】異常度リストの一例を示す図
【符号の説明】
【００４３】
１：監視カメラ
２：映像切替装置
３：映像表示モニタ
４：画像処理装置（特徴量抽出部）
５：異常度推定＆算出部（異常度推定部、異常度算出部、リスト維持部、データベース更新部）
６：相関データ蓄積部（データベース）
７：管理制御装置（管理制御部、情報取得部）
８：操作端末
９：視線カメラ
１０：画像処理装置（計測部、第２の特徴量抽出部）
【特許請求の範囲】
【請求項１】
複数の監視カメラにより撮像された各映像から前記映像の特徴を表す１つ以上の特徴量を抽出する特徴量抽出部と、
１つ以上の特徴量と、監視事象の異常度とを含む複数の事例を格納したデータベースと、
各前記映像から抽出された特徴量と、前記データベースとを用いて、各前記映像により表される監視事象に対する異常度をそれぞれ推定する異常度推定部と、
各前記監視カメラの映像を所定数のモニタへ選択的に出力する映像切替部と、
各推定された異常度をもとに前記映像切替部による映像選択を制御する管理制御部と、
各前記モニタへ表示された映像に対する監視員の行動を表す情報を取得する情報取得部と、
取得された監視員の行動から各前記モニタへ表示された映像により表される監視事象に対する異常度を算出する異常度算出部と、
各前記モニタへ表示された映像の特徴量と、前記異常度算出部により算出された異常度とを含む各事例を前記データベースに登録するデータベース更新部と、
を備えた映像監視システム。
【請求項２】
前記情報取得部は、
前記推定された異常度が第１の閾値を超えた映像について監視員への確認を促す情報を前記監視員の操作端末に出力する情報出力部と、
監視員により前記操作端末に入力される、前記映像に対する確認結果を表す情報を受け取る情報受信部とをさらに備えたことを特徴とする請求項１に記載の映像監視システム。
【請求項３】
前記情報取得部は、前記モニタへ表示された映像に対する監視員による操作を前記操作端末を介して取得することを特徴とする請求項１または２に記載の映像監視システム。
【請求項４】
前記監視員の視線の動きを計測する計測部と、
前記視線の動きの特徴を表す１つ以上の特徴量を抽出する第２の特徴量抽出部とをさらに備え、
前記情報取得部は、前記第２の特徴量抽出部によって抽出された特徴量を前記監視員の行動を表す情報として取得することを特徴とする請求項１ないし３のいずれか一項に記載の映像監視システム。
【請求項５】
前記推定した異常度と、該異常度が推定された映像の監視カメラの識別子との組を格納するリストを生成および更新するリスト維持部をさらに備え、
前記管理制御部は、前記リストに基づき、前記推定した異常度の高い映像が優先的に表示されるように前記映像切替部を制御することを特徴とする請求項１ないし４のいずれか一項に記載の映像監視システム。
【請求項６】
前記管理制御部は、各前記モニタに表示された映像に対して監視員による確認が行われたか否かを検出する検出手段を有し、前記推定した異常度が第２の閾値を超えた映像に対しては、前記推定された異常度の値に拘わらず、監視員の確認が行われるまで、前記映像が継続して表示されるように前記映像切替部を制御することを特徴とする請求項１ないし５のいずれか一項に記載の映像監視システム。
【請求項７】
前記管理制御部は、前記推定した異常度が前記第２の閾値を超えた映像に対して監視員による確認が行われたら、当該映像の表示が所定時間行われないように前記映像切替部を制御することを特徴とする請求項６に記載の映像監視システム。
【請求項８】
前記異常度推定部は、
演算に時間をかけるほど推定精度が向上し、かつ演算途中の任意の時点で、その時点での推定された異常度を取得可能なアルゴリズムに従って異常度推定を行い、
前記管理制御部において前記第２の閾値を超えた映像に対して監視員による確認が行われたことが検出されたら、前記異常度推定を中断し、確認が行われた時点における推定された異常度を取得し、
前記管理制御部は、前記確認が行われた時点における前記推定された異常度をもとに前記映像切替部による映像選択を制御することを特徴とする請求項７に記載の映像監視システム。
【請求項９】
複数の監視カメラにより撮像された各映像から前記映像の特徴を表す１つ以上の特徴量を抽出する特徴量抽出ステップと、
１つ以上の特徴量と、監視事象の異常度とを含む複数の事例を格納したデータベースと、各前記映像から抽出された特徴量とを用いて、各前記映像により表される監視事象に対する異常度をそれぞれ推定する異常度推定ステップと、
各前記監視カメラの映像を所定数のモニタへ選択的に出力する映像切替ステップと、
各推定された異常度をもとに前記映像切替ステップによる映像選択を制御する管理制御ステップと、
各前記モニタへ表示された映像に対する監視員の行動を表す情報を取得する情報取得ステップと、
取得された監視員の行動から各前記モニタへ表示された映像により表される監視事象に対する異常度を算出する異常度算出ステップと、
各前記モニタへ表示された映像の特徴量と、算出された異常度とを含む各事例を前記データベースに登録するデータベース更新ステップと、
を備えた映像監視方法。
【請求項１】
複数の監視カメラにより撮像された各映像から前記映像の特徴を表す１つ以上の特徴量を抽出する特徴量抽出部と、
１つ以上の特徴量と、監視事象の異常度とを含む複数の事例を格納したデータベースと、
各前記映像から抽出された特徴量と、前記データベースとを用いて、各前記映像により表される監視事象に対する異常度をそれぞれ推定する異常度推定部と、
各前記監視カメラの映像を所定数のモニタへ選択的に出力する映像切替部と、
各推定された異常度をもとに前記映像切替部による映像選択を制御する管理制御部と、
各前記モニタへ表示された映像に対する監視員の行動を表す情報を取得する情報取得部と、
取得された監視員の行動から各前記モニタへ表示された映像により表される監視事象に対する異常度を算出する異常度算出部と、
各前記モニタへ表示された映像の特徴量と、前記異常度算出部により算出された異常度とを含む各事例を前記データベースに登録するデータベース更新部と、
を備えた映像監視システム。
【請求項２】
前記情報取得部は、
前記推定された異常度が第１の閾値を超えた映像について監視員への確認を促す情報を前記監視員の操作端末に出力する情報出力部と、
監視員により前記操作端末に入力される、前記映像に対する確認結果を表す情報を受け取る情報受信部とをさらに備えたことを特徴とする請求項１に記載の映像監視システム。
【請求項３】
前記情報取得部は、前記モニタへ表示された映像に対する監視員による操作を前記操作端末を介して取得することを特徴とする請求項１または２に記載の映像監視システム。
【請求項４】
前記監視員の視線の動きを計測する計測部と、
前記視線の動きの特徴を表す１つ以上の特徴量を抽出する第２の特徴量抽出部とをさらに備え、
前記情報取得部は、前記第２の特徴量抽出部によって抽出された特徴量を前記監視員の行動を表す情報として取得することを特徴とする請求項１ないし３のいずれか一項に記載の映像監視システム。
【請求項５】
前記推定した異常度と、該異常度が推定された映像の監視カメラの識別子との組を格納するリストを生成および更新するリスト維持部をさらに備え、
前記管理制御部は、前記リストに基づき、前記推定した異常度の高い映像が優先的に表示されるように前記映像切替部を制御することを特徴とする請求項１ないし４のいずれか一項に記載の映像監視システム。
【請求項６】
前記管理制御部は、各前記モニタに表示された映像に対して監視員による確認が行われたか否かを検出する検出手段を有し、前記推定した異常度が第２の閾値を超えた映像に対しては、前記推定された異常度の値に拘わらず、監視員の確認が行われるまで、前記映像が継続して表示されるように前記映像切替部を制御することを特徴とする請求項１ないし５のいずれか一項に記載の映像監視システム。
【請求項７】
前記管理制御部は、前記推定した異常度が前記第２の閾値を超えた映像に対して監視員による確認が行われたら、当該映像の表示が所定時間行われないように前記映像切替部を制御することを特徴とする請求項６に記載の映像監視システム。
【請求項８】
前記異常度推定部は、
演算に時間をかけるほど推定精度が向上し、かつ演算途中の任意の時点で、その時点での推定された異常度を取得可能なアルゴリズムに従って異常度推定を行い、
前記管理制御部において前記第２の閾値を超えた映像に対して監視員による確認が行われたことが検出されたら、前記異常度推定を中断し、確認が行われた時点における推定された異常度を取得し、
前記管理制御部は、前記確認が行われた時点における前記推定された異常度をもとに前記映像切替部による映像選択を制御することを特徴とする請求項７に記載の映像監視システム。
【請求項９】
複数の監視カメラにより撮像された各映像から前記映像の特徴を表す１つ以上の特徴量を抽出する特徴量抽出ステップと、
１つ以上の特徴量と、監視事象の異常度とを含む複数の事例を格納したデータベースと、各前記映像から抽出された特徴量とを用いて、各前記映像により表される監視事象に対する異常度をそれぞれ推定する異常度推定ステップと、
各前記監視カメラの映像を所定数のモニタへ選択的に出力する映像切替ステップと、
各推定された異常度をもとに前記映像切替ステップによる映像選択を制御する管理制御ステップと、
各前記モニタへ表示された映像に対する監視員の行動を表す情報を取得する情報取得ステップと、
取得された監視員の行動から各前記モニタへ表示された映像により表される監視事象に対する異常度を算出する異常度算出ステップと、
各前記モニタへ表示された映像の特徴量と、算出された異常度とを含む各事例を前記データベースに登録するデータベース更新ステップと、
を備えた映像監視方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００８−２８８８７０（Ｐ２００８−２８８８７０Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３１７５９（Ｐ２００７−１３１７５９）
【出願日】平成１９年５月１７日（２００７．５．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月１７日（２００７．５．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]