交差点における車両の動きを監視するための映像監視方法及び装置
【課題】交差点における車両の動きを監視して、車両の異常な動きやルール違反などを自動的に検出するため、統合化ブロック法における各ブロックについての動き量の総和と、交差点内で生じる現象とを結びつけること
【解決手段】直交する２本の道路が作る交差点内の車両の異常な動きやルール違反の現象と各ブロックの動き量の総和との関係をニューロネットワークに学習させた上で、現実の車両の動きから得られる各ブロックについての動き量の総和をニューロネットワークに与え、異常な動きやルール違反に対応する値か否かを判定させる映像監視方法。
【解決手段】直交する２本の道路が作る交差点内の車両の異常な動きやルール違反の現象と各ブロックの動き量の総和との関係をニューロネットワークに学習させた上で、現実の車両の動きから得られる各ブロックについての動き量の総和をニューロネットワークに与え、異常な動きやルール違反に対応する値か否かを判定させる映像監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトルを用いて映像の動きの変化や特徴をとらえ、監視カメラの映像からリアルタイムに、あるいは監視映像蓄積装置の大量の映像から、異常な動き、ルール違反などの画像を抽出する方法及び装置に関する。
【背景技術】
【０００２】
映像カメラの小型化、高性能化、低価格化とともに映像記憶装置においても、ビデオ録画装置からＨＤＤ／光ディスク内蔵映像蓄積装置へと大容量化、低価格化が進み、これらの技術を用いた映像監視システムが急速に普及してきている。
【０００３】
これらの映像蓄積装置の技術により、監視のためのリアルタイム映像の利用や、長時間の映像記録が簡単にできるようになってきた。しかし、膨大な監視映像デ−タを簡単に取得できるようにはなったが、危険な行為、安全を損なう行動や動作、挙動不審な人物の動き、規則違反の行動、交通違反などの画像をリアルタイムに発見してアラームを発する方法、あるいは大量に記録した映像からこれらの問題画像を人手と時間をかけずに抽出する方法の開発は、カメラや記録装置の進歩に比べて遅れている。
【０００４】
一方、画像認識技術を用いる監視システムは、一般に画像データを画素レベルで処理しなければならないことや、複雑なアルゴリズムによる画像処理と認識・判定を行わなければならないために、処理時間とコストがかかる問題がある。
【０００５】
映像監視システムにおける映像記録装置では、タイムコ−ドを同時記録しておき、その時間を指定して必要な画像を取り出すことができるが、一方でその現象が起った時間を特定することが困難な場合が多く、短い時間に問題の画像を抽出することが困難であった。
【０００６】
特許文献１及び非特許文献１では、カメラの映像画面をいくつかのブロックに分割し、各ブロック中の動きベクトルの大きさを用いて特定シ−ンを抽出する技術が開示されている（以下「開示技術」という）。開示技術によれば、映像の動きの情報を統計的に解析して映像の動き量の変化や特徴を特徴パラメータとして把握し、基準画像の特徴パラメータと検索対象画像の特徴パラメータとを比較することより、シーンの類似度を判定することが可能である。
【０００７】
また、特許文献２には、監視カメラの映像画面全体をｍ×ｍ個のブロックに分割し、各ブロック内の動き量が最大であるブロックが、フレームの推移に伴って形成する時間的連鎖関係にあるブロックのパターンを検出し、監視対象物の正常パターンと比較して、正常パターンに適合しない場合はアラーム信号を発する映像監視方法が開示されている。
【０００８】
【特許文献１】特開２００３−２４４６２８号公報
【特許文献２】特願２００４−０９６７０４号「動きベクトルを用いた映像監視方法及び装置」
【非特許文献１】渡部昭彦、他「動きベクトルに基づくＴＶ映像解析とシーン検索に関する一検討」２００３年９月１９日画像電子学会第２０４回研究会
【非特許文献２】田辺和俊、「ニューラルネットワーク入門」日刊工業新聞社、2003年6月
【０００９】
しかし、特許文献１に開示されている方法は、検索対象画像の各ブロックと、予め登録した基準画像とを比較して、その類似度を判定することによる検索が前提となっており、この方法の検出精度は、監視画像中の異常行動や動き、ルール違反の行動などを検出しアラームを発するためには十分とはいえない。
【００１０】
非特許文献１では、類似シーンの検出率は、再現率および適合率に分けて定義されている。例えば、野球の投球シーンにおける再現率および適合率はつぎのように定義されている。
再現率＝（正確に投球シーンを判定した数）／（実際の投球シーン数）
適合率＝（正確に投球シーンを判定した数）／（検索で判定された投球シーン数）
【００１１】
非特許文献１によれば、現在の技術レベルでは、野球の投球シーンの場合の再現率は最高で９２．８６％、同じく適合率は７４．５９％が得られているが、このレベルは監視画像の場合の検出精度としては十分ではない。エンターテイメントにおける特定シーン検索の場合には誤検出の弊害は少ないが、監視システムの場合は、検出率、再現率ともにさらに高度であることが要求される。
【００１２】
特許文献１及び非特許文献１に開示されたシーン抽出方法では、カメラ画像を所定数の画素の集合からなるいくつかのブロックに分割し、各画素について定義される動きベクトルの大きさの各ブロック内の総和を求め、これを当該ブロックの動き量と呼び、この動き量を、当該シーンを構成する多数のフレームについて平均して統合化する。これを「統合化ブロック法」と呼ぶ。そのため各画面の特徴が時間的に平準化され、誤りのシーンを抽出しやすいことが考えられる。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明が解決しようとする課題は、交差点における車両の動きを監視して、車両の異常な動きやルール違反などを自動的に検出するため、上記統合化ブロック法における各ブロックについての動き量の総和と、交差点内で生じる現象とを結びつけることである。
【課題を解決するための手段】
【００１４】
上記の課題は、直交する２本の道路が作る交差点内の車両の異常な動きやルール違反の現象と各ブロックの動き量の総和との関係をニューロネットワークに学習させた上で、現実の車両の動きから得られる各ブロックについての動き量の総和をニューロネットワークに与え、異常な動きやルール違反に対応する値か否かを判定させる映像監視方法により解決することができる。すなわち、
【００１５】
交差点周囲の各道路真上の高い位置に４台の監視カメラを設置して、各カメラが交差点内全域を視野に入れつつ各道路の上り・下り各方向から俯瞰撮影できるようにし、各カメラに、映像信号処理回路及び、処理された映像信号に基づいて学習・判定いずれかのモードで動作するニューロネットワークをそれぞれ付属させ、各映像信号処理回路にはニューロネットワークに学習のための異常・正常パターンを供給する記憶機能を内蔵させる。
【００１６】
前記映像信号処理回路は、それが付属する監視カメラの画面に映し出された交差点の全領域を等分割する複数のブロックを当画面内に設定し、ブロック内の動きベクトルの値の絶対値を全画素につき積分して動き量の総和Ｖｉ（ｉはブロック番号）を求め、さらにスケール変換した結果をＳ個のフレームに渉って累積して累積動き量Ｍｎとし、各ブロック内の車両の動き（ブロック番号と動き量Ｍn）を示す信号（「ブロック状態信号」という。）として出力する。
【００１７】
なお図３は、上記スケール変換の一例を示す図であり、動き量の絶対値の総和Ｖｉの値のランクに対応する６通り出力値を示す対応表である。このようなスケール変換を行うことにより、ノイズの影響や車両による動き量の違いが低減され、安定した判定出力を得ることが可能になる。
【００１８】
前記各ニューロネットワークは学習モードにおいて、異常・正常パターン記憶機能から、車両の異常・正常な動きに相当する前記ブロック状態信号の形式の仮想信号とこれらに対応して出力されるべき１又は０の判定信号との組を与えられ、ニューロネットワーク中の各ノード間の重みを決定し記憶する既知の学習方法により学習する。
【００１９】
判定モードにおいて、前記各ニューロネットワークは、前記映像信号処理回路から与えられる現実のブロック状態信号に基づいて、交差点内の車両の動きについて異常・正常の判定を行って判定信号を出力する。
【００２０】
図１Ａ及びＢは上記映像監視方法中の映像信号処理回路とニューロネットワークの動作の詳細なステップを説明するフローチャート、図２は上記映像監視方法において各カメラにより俯瞰撮影される交差点の映像を合成し、交差点中心上方遠方から見た正対映像に変換して示した概念図であり、交差点の全領域を等分割する複数のブロック（１〜１２）と監視用カメラ(Ａ〜Ｄ)の配置を示す。
【００２１】
図１Ａ及びＢの詳細ステップは、映像信号処理回路における「前処理」の各ステップと、ニューロネットワークにおける「判定」と「学習」の各ステップからなる。
【００２２】
図１Ａに示される「前処理」(Ｓ７)は、監視カメラの映像出力信号から、監視が必要な特定シーンを代表するＳ個のフレームを取り込むステップ（Ｓ１）、カメラ映像出力信号を前処理して、１フレーム分の映像画面をｐ×ｑ＝Ｎ個のブロック（ｐ、ｑは１０≧ｐ、ｑ≧２、望ましくは１０≧ｐ、ｑ≧４である整数）に分割するステップ（Ｓ２）、各ブロック内の動きベクトルの大きさから、前記Ｎ個のブロックのうち監視対象物の動きが存在するｎ個のブロックからなる領域を選択し、当該ブロック領域につき、４方向（たとえば東西南北）成分のうち対向する２方向（東西または南北の方向のみに対応）の動き量の絶対値を求め、さらに動き量の総和Ｖｉを求めるステップ（Ｓ３）、かつスケール変換（量子化）するステップ（Ｓ４）、Ｓフレームにわたって、スケール変換した動き量の総和Ｖｉを累積してブロック番号ｎに対応する累積動き量Ｍnを求めるステップ（Ｓ５）、累積動き量Ｍnをニューロネットワークのｎ×２個の入力層に入力するステップ（Ｓ６）からなる。
【００２３】
ニューロネットワークにおける「判定」は「前処理」に続いて行われ、上記の入力ステップ（Ｓ６）において、ブロック位置と累積動き量Ｍnを含むブロック状態信号を受け取り、重み記憶を参照しつつ（Ｓ１１）、正常・異常の判定信号を出力するステップ（Ｓ１２）からなる。
【００２４】
また、ニューロネットワークにおける「学習」は図１Ｂに示され、「異常・正常基本パターン記憶」（Ｓ９）から基本パターンを受け取り、これらのパターンに対応する判定信号を出力するようにネットワーク上の重みを計算して求め、その計算の収束を確認（Ｓ１０）した後、重みを記憶する（Ｓ１１）各ステップからなる。
【発明の効果】
【００２５】
本発明に係る映像監視方法によれば、監視カメラの映像中の車両の動きに、予めニューロネットワークに学習させておいた異常があれば、これを自動的に検出してアラームを発することができる。しかも、検出すべき異常のパターンを次々に追加して学習させて行けば、異常検出能力を逐次向上させ、次第に完全なものに近づけることができる。
【発明を実施するための最良の形態】
【００２６】
〔第１実施形態〕
本発明の第１の実施形態は、信号機のある交差点における前記映像監視方法である。
【００２７】
すなわち、信号機のある交差点では、前記４台のカメラを対向する２台づつの組（カメラＡ・Ｄ及びＢ・Ｃ）に分け、１本の道路が赤信号の間はその道路上のカメラを担当するニューロネットワークの組を学習モードにし、青・黄信号にある他の道路上のカメラを担当するニューロネットワークの組を判定モードにする。
【００２８】
図２のカメラ映像において手前（下）を南，奥（上）を北と仮定すると、南北方向が青・黄信号の場合はカメラＡとＤが南北方向道路上の通行を監視し，カメラＢとＣが学習を行う。信号が切り替わると各カメラの役割分担も切り替わる。このように監視・判定を行わない時間を利用して学習を行うので効率が良い。
〔第２実施形態〕
【００２９】
本発明の第２の実施形態は、上で説明した監視方法を実行する交差点映像監視装置であって、図８にその構成をブロックダイヤグラムで示す。
【００３０】
図８に従って、カメラ（Ｘ１）からＳフレームの映像を取り込む映像取込部（Ｘ２）、取り込まれた映像の各フレームをｎ個のブロックに分割するブロック領域分割部（Ｘ３）、ブロック内移動体の動き量を抽出する動き量抽出部（Ｘ４）、抽出された動き量をスケール変換するスケール変換部（Ｘ５）、各ブロックの動き量をＳフレームに渉って累積する累積動き量算出部（Ｘ６）、及びブロック位置と累積動き量の組を作るブロック位置に対する累積動き量抽出部（Ｘ７）（上で説明した監視方法中では、Ｘ２〜Ｘ７をまとめて「映像信号処理回路」と呼んだ。）から出力されるブロック状態信号を、各カメラに付属するニューロネットワーク（Ｘ１２）の判定回路／学習回路（Ｘ１０）へ入力する。
【００３１】
ニューロネットワーク（Ｘ１２）が判定モードにあるときは、出力部（Ｘ１１）から異常・正常に対応して判定信号１又は０を出力し、学習モードにあるときは、入力された仮想のブロック状態信号の異常・正常に対応して判定信号１又は０を出力するようにネットワーク中の重みＷを求めて重み記憶部に記憶させる。
【００３２】
図４は、監視映像内に車両が進入してきたとき、動き量が発生した場所を塗りつぶしたものである。１フレームごとの動きを解析すると図４の左側の T1のように動きが１ブロックにしか現れず、ブロック間の挙動を把握できない。そのため、動き量を数フレーム分累積することにより，図４の右側のようにブロック間で連動した時間的な挙動を算出できるようになる。一度に取り込むフレーム数に関しては車の動きや，交差点の状況により可変させることが望ましいが、例えば次のように設定することができる。
【００３３】
一般的な車の長さは５メートル程度であるから、ブロック間をまたぐ時間は時速40キロでは0.5秒かかる。そのため、動き量累積時間を0.5秒（15フレーム分）とする。
【００３４】
ブロック番号ｎに対応する動き量Ｍnをニューロネットワークのｎ×２（南北方向を監視するカメラＡ・Ｄでは東西方向のみ、または、東西方向を監視するカメラＢ・Ｃでは南北方向のみに対応）の入力層に入力する。異常は、通常の走行方向と異なる（交わる）方向への移動に現れるからである。
【００３５】
図５（ａ）は交差点の映像中の各ブロックに現れる車両の動きの例である。Ｆ１は停止中の事故車、Ｆ２は事故車を迂回して移動中の走行車を示す。図５（ｂ）は青信号になっている南北方向の道路を監視中のカメラＡの映像を示し、図５（ｃ）は同じくカメラＤの映像を示す（図２参照）。上記のように、カメラＡは東から西への動きのみを検出し、カメラＤは西から東への動きのみを検出するように動作設定がされている。図５（ｂ）のブロック番号８と９のブロックに東から西への動きが、図５（ｃ）のブロック番号４と５のブロックに西から東への動きがそれぞれ出現している。なお、これら以外のブロックでは動き量は０で、ブランクを表示している。
【００３６】
図６はニューロネットワーク（Ｘ１２）の構成を示す接続図である。このネットワークは、第１層（入力層）に２４個のノードｆ、第２層（中間層）に８個のノードｆ、及び第３層（出力層）に１個のノードｆを有する。ここに第１層のノード数２４は、各カメラの映像画面の分割ブロック数ｎ（＝１２）の２倍に等しい。
【００３７】
第１層から第２層への信号伝達、第２層から第３層への信号伝達に際して各信号に重みＷが乗じられ、これらの重みＷを適当な値に設定することにより、第１層の各ノードへ入力される入力値 In のパターンに対応して、第３層から出力される値 Out を所望の値に一致させることができる。
【００３８】
図７は、図５の(ｂ)、(ｃ)に例示したブロック状態信号がニューロネットワークに入力されたとき、判定信号１が出力されたことを示す対応表である。
【産業上の利用可能性】
【００３９】
本発明は、種々の場所でいろいろの目的に添った現象を監視するために、カメラ入力画像を分析、演算して目的とする画像を短時間に的確に取り出そうとするものである。したがって、次のような多くの分野での利用が期待される。
（１）道路の監視システムとして、交通事故や車の流れの異常現象の抽出。
（２）繁華街での事故、事件の監視と防犯。
（３）ビル内の監視カメラとして、人の出入りや、出入口やエレベ−タでの事故の監視、および夜間の防犯、防災 の監視。
（４）工場の連続運転（発電、原発、溶鉱炉、石油精製）の事故監視。
（５）個人住宅の防犯、防災の監視。
【図面の簡単な説明】
【００４０】
【図１Ａ】本発明に係る映像監視方法の動作（前処理及び判定）を説明するフローチャートである。
【図１Ｂ】本発明に係る映像監視方法の動作（学習）を説明するフローチャートである。
【図２】各カメラにより俯瞰撮影される交差点の映像を合成し、交差点中心上方遠方から見た正対映像に変換して示した概念図であり、交差点の全領域を等分割する複数のブロック（１〜１２）と監視用カメラ(Ａ〜Ｄ)の配置を示す。
【図３】スケール変換（量子化）の一例を示す。
【図４】監視カメラ画像の各ブロックに現れる動き量をフレーム間で累積しない場合(ａ)及び累積する場合(ｂ)を示す。
【図５】(ａ)は実施例の交差点映像監視ブロックにおける動きのパターン例、（ｂ）と(ｃ)は実施例の交差点映像監視システムにおける映像分割領域のブロック番号(１〜１２)に対応する各ブロックの累積動き量(括弧内)を示す。
【図６】ニューロネットワークの構成を示す接続図である。
【図７】ニューロネットワークに図５(ｂ)、(ｃ)のブロック領域に対する動き量データを与えたときの判定信号の例である。
【図８】本発明の一実施例としての、交差点映像監視装置の構成を示すブロックダイヤグラムである。
【符号の説明】
【００４１】
Ｓ１ カメラからＳ個の映像フレームを取り込むステップ
Ｓ２ １フレーム分の映像画面をｐ×ｑ＝Ｎ個のブロックに分割するステップ
Ｓ３ 動きが存在するｎ個の各ブロックの領域につき、対向する２方向（東西または南北の方向のみに対応）の動き量の絶対値を求め、さらに動き量の総和Ｖｉを求めるステップ
Ｓ４ 動き量の総和Ｖｉをスケール変換するステップ
Ｓ５ スケール変換したブロック番号ｎに対応する動き量の総和Ｖｎを、Ｓフレームにわたって累積し、累積動き量Ｍnを求めるステップ
Ｓ６ ブロック領域ｎに対応する動き量Ｍnをニューロネットワークに入力するステップ
Ｓ７ Ｓ１〜Ｓ６からなる前処理のステップ
Ｓ８ ニューロネットワークの判定・学習機能
Ｓ９ 異常・正常基本パターン記憶ステップ
Ｓ10 収束判定ステップ
Ｓ11 重み記憶ステップ
Ｓ12 出力ステップ
Ｘ１ 映像カメラ
Ｘ２ Ｓ個の映像フレーム取込部
Ｘ３ ブロック領域分割部
Ｘ４ ２方向（東西方向のみ、または、南北方向のみ）の動き量抽出部
Ｘ５ 動き量のスケール変換部
Ｘ６ ブロック領域の累積動き量算出部
Ｘ７ ブロック位置に対する動き量抽出部
Ｘ９ 異常・正常基本パターン記憶
Ｘ10 判定回路／学習回路
Ｘ11 出力部
Ｘ12 ニューロネットワーク
Ｕ１ 車輌
Ｕ２〜Ｕ５ 監視カメラＡ〜Ｄ
Ｕ６ ブロック領域
Ｕ７ ブロック番号
Ｕ８ 監視対象の場
Ｕ９ 交差点
Ｕ10 映像画面中央部
Ｔ１ 非累積動き量
Ｆ１ 停車している事故車
Ｆ２ 事故車を迂回している車
Ｗ２ 累積動き量＝Ｍn
Ji ニューロネットワークのi層のユニットJ
ｆ ノード
Ｗ 重み
In 入力値
Out 判定出力
【技術分野】
【０００１】
本発明は、動きベクトルを用いて映像の動きの変化や特徴をとらえ、監視カメラの映像からリアルタイムに、あるいは監視映像蓄積装置の大量の映像から、異常な動き、ルール違反などの画像を抽出する方法及び装置に関する。
【背景技術】
【０００２】
映像カメラの小型化、高性能化、低価格化とともに映像記憶装置においても、ビデオ録画装置からＨＤＤ／光ディスク内蔵映像蓄積装置へと大容量化、低価格化が進み、これらの技術を用いた映像監視システムが急速に普及してきている。
【０００３】
これらの映像蓄積装置の技術により、監視のためのリアルタイム映像の利用や、長時間の映像記録が簡単にできるようになってきた。しかし、膨大な監視映像デ−タを簡単に取得できるようにはなったが、危険な行為、安全を損なう行動や動作、挙動不審な人物の動き、規則違反の行動、交通違反などの画像をリアルタイムに発見してアラームを発する方法、あるいは大量に記録した映像からこれらの問題画像を人手と時間をかけずに抽出する方法の開発は、カメラや記録装置の進歩に比べて遅れている。
【０００４】
一方、画像認識技術を用いる監視システムは、一般に画像データを画素レベルで処理しなければならないことや、複雑なアルゴリズムによる画像処理と認識・判定を行わなければならないために、処理時間とコストがかかる問題がある。
【０００５】
映像監視システムにおける映像記録装置では、タイムコ−ドを同時記録しておき、その時間を指定して必要な画像を取り出すことができるが、一方でその現象が起った時間を特定することが困難な場合が多く、短い時間に問題の画像を抽出することが困難であった。
【０００６】
特許文献１及び非特許文献１では、カメラの映像画面をいくつかのブロックに分割し、各ブロック中の動きベクトルの大きさを用いて特定シ−ンを抽出する技術が開示されている（以下「開示技術」という）。開示技術によれば、映像の動きの情報を統計的に解析して映像の動き量の変化や特徴を特徴パラメータとして把握し、基準画像の特徴パラメータと検索対象画像の特徴パラメータとを比較することより、シーンの類似度を判定することが可能である。
【０００７】
また、特許文献２には、監視カメラの映像画面全体をｍ×ｍ個のブロックに分割し、各ブロック内の動き量が最大であるブロックが、フレームの推移に伴って形成する時間的連鎖関係にあるブロックのパターンを検出し、監視対象物の正常パターンと比較して、正常パターンに適合しない場合はアラーム信号を発する映像監視方法が開示されている。
【０００８】
【特許文献１】特開２００３−２４４６２８号公報
【特許文献２】特願２００４−０９６７０４号「動きベクトルを用いた映像監視方法及び装置」
【非特許文献１】渡部昭彦、他「動きベクトルに基づくＴＶ映像解析とシーン検索に関する一検討」２００３年９月１９日画像電子学会第２０４回研究会
【非特許文献２】田辺和俊、「ニューラルネットワーク入門」日刊工業新聞社、2003年6月
【０００９】
しかし、特許文献１に開示されている方法は、検索対象画像の各ブロックと、予め登録した基準画像とを比較して、その類似度を判定することによる検索が前提となっており、この方法の検出精度は、監視画像中の異常行動や動き、ルール違反の行動などを検出しアラームを発するためには十分とはいえない。
【００１０】
非特許文献１では、類似シーンの検出率は、再現率および適合率に分けて定義されている。例えば、野球の投球シーンにおける再現率および適合率はつぎのように定義されている。
再現率＝（正確に投球シーンを判定した数）／（実際の投球シーン数）
適合率＝（正確に投球シーンを判定した数）／（検索で判定された投球シーン数）
【００１１】
非特許文献１によれば、現在の技術レベルでは、野球の投球シーンの場合の再現率は最高で９２．８６％、同じく適合率は７４．５９％が得られているが、このレベルは監視画像の場合の検出精度としては十分ではない。エンターテイメントにおける特定シーン検索の場合には誤検出の弊害は少ないが、監視システムの場合は、検出率、再現率ともにさらに高度であることが要求される。
【００１２】
特許文献１及び非特許文献１に開示されたシーン抽出方法では、カメラ画像を所定数の画素の集合からなるいくつかのブロックに分割し、各画素について定義される動きベクトルの大きさの各ブロック内の総和を求め、これを当該ブロックの動き量と呼び、この動き量を、当該シーンを構成する多数のフレームについて平均して統合化する。これを「統合化ブロック法」と呼ぶ。そのため各画面の特徴が時間的に平準化され、誤りのシーンを抽出しやすいことが考えられる。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明が解決しようとする課題は、交差点における車両の動きを監視して、車両の異常な動きやルール違反などを自動的に検出するため、上記統合化ブロック法における各ブロックについての動き量の総和と、交差点内で生じる現象とを結びつけることである。
【課題を解決するための手段】
【００１４】
上記の課題は、直交する２本の道路が作る交差点内の車両の異常な動きやルール違反の現象と各ブロックの動き量の総和との関係をニューロネットワークに学習させた上で、現実の車両の動きから得られる各ブロックについての動き量の総和をニューロネットワークに与え、異常な動きやルール違反に対応する値か否かを判定させる映像監視方法により解決することができる。すなわち、
【００１５】
交差点周囲の各道路真上の高い位置に４台の監視カメラを設置して、各カメラが交差点内全域を視野に入れつつ各道路の上り・下り各方向から俯瞰撮影できるようにし、各カメラに、映像信号処理回路及び、処理された映像信号に基づいて学習・判定いずれかのモードで動作するニューロネットワークをそれぞれ付属させ、各映像信号処理回路にはニューロネットワークに学習のための異常・正常パターンを供給する記憶機能を内蔵させる。
【００１６】
前記映像信号処理回路は、それが付属する監視カメラの画面に映し出された交差点の全領域を等分割する複数のブロックを当画面内に設定し、ブロック内の動きベクトルの値の絶対値を全画素につき積分して動き量の総和Ｖｉ（ｉはブロック番号）を求め、さらにスケール変換した結果をＳ個のフレームに渉って累積して累積動き量Ｍｎとし、各ブロック内の車両の動き（ブロック番号と動き量Ｍn）を示す信号（「ブロック状態信号」という。）として出力する。
【００１７】
なお図３は、上記スケール変換の一例を示す図であり、動き量の絶対値の総和Ｖｉの値のランクに対応する６通り出力値を示す対応表である。このようなスケール変換を行うことにより、ノイズの影響や車両による動き量の違いが低減され、安定した判定出力を得ることが可能になる。
【００１８】
前記各ニューロネットワークは学習モードにおいて、異常・正常パターン記憶機能から、車両の異常・正常な動きに相当する前記ブロック状態信号の形式の仮想信号とこれらに対応して出力されるべき１又は０の判定信号との組を与えられ、ニューロネットワーク中の各ノード間の重みを決定し記憶する既知の学習方法により学習する。
【００１９】
判定モードにおいて、前記各ニューロネットワークは、前記映像信号処理回路から与えられる現実のブロック状態信号に基づいて、交差点内の車両の動きについて異常・正常の判定を行って判定信号を出力する。
【００２０】
図１Ａ及びＢは上記映像監視方法中の映像信号処理回路とニューロネットワークの動作の詳細なステップを説明するフローチャート、図２は上記映像監視方法において各カメラにより俯瞰撮影される交差点の映像を合成し、交差点中心上方遠方から見た正対映像に変換して示した概念図であり、交差点の全領域を等分割する複数のブロック（１〜１２）と監視用カメラ(Ａ〜Ｄ)の配置を示す。
【００２１】
図１Ａ及びＢの詳細ステップは、映像信号処理回路における「前処理」の各ステップと、ニューロネットワークにおける「判定」と「学習」の各ステップからなる。
【００２２】
図１Ａに示される「前処理」(Ｓ７)は、監視カメラの映像出力信号から、監視が必要な特定シーンを代表するＳ個のフレームを取り込むステップ（Ｓ１）、カメラ映像出力信号を前処理して、１フレーム分の映像画面をｐ×ｑ＝Ｎ個のブロック（ｐ、ｑは１０≧ｐ、ｑ≧２、望ましくは１０≧ｐ、ｑ≧４である整数）に分割するステップ（Ｓ２）、各ブロック内の動きベクトルの大きさから、前記Ｎ個のブロックのうち監視対象物の動きが存在するｎ個のブロックからなる領域を選択し、当該ブロック領域につき、４方向（たとえば東西南北）成分のうち対向する２方向（東西または南北の方向のみに対応）の動き量の絶対値を求め、さらに動き量の総和Ｖｉを求めるステップ（Ｓ３）、かつスケール変換（量子化）するステップ（Ｓ４）、Ｓフレームにわたって、スケール変換した動き量の総和Ｖｉを累積してブロック番号ｎに対応する累積動き量Ｍnを求めるステップ（Ｓ５）、累積動き量Ｍnをニューロネットワークのｎ×２個の入力層に入力するステップ（Ｓ６）からなる。
【００２３】
ニューロネットワークにおける「判定」は「前処理」に続いて行われ、上記の入力ステップ（Ｓ６）において、ブロック位置と累積動き量Ｍnを含むブロック状態信号を受け取り、重み記憶を参照しつつ（Ｓ１１）、正常・異常の判定信号を出力するステップ（Ｓ１２）からなる。
【００２４】
また、ニューロネットワークにおける「学習」は図１Ｂに示され、「異常・正常基本パターン記憶」（Ｓ９）から基本パターンを受け取り、これらのパターンに対応する判定信号を出力するようにネットワーク上の重みを計算して求め、その計算の収束を確認（Ｓ１０）した後、重みを記憶する（Ｓ１１）各ステップからなる。
【発明の効果】
【００２５】
本発明に係る映像監視方法によれば、監視カメラの映像中の車両の動きに、予めニューロネットワークに学習させておいた異常があれば、これを自動的に検出してアラームを発することができる。しかも、検出すべき異常のパターンを次々に追加して学習させて行けば、異常検出能力を逐次向上させ、次第に完全なものに近づけることができる。
【発明を実施するための最良の形態】
【００２６】
〔第１実施形態〕
本発明の第１の実施形態は、信号機のある交差点における前記映像監視方法である。
【００２７】
すなわち、信号機のある交差点では、前記４台のカメラを対向する２台づつの組（カメラＡ・Ｄ及びＢ・Ｃ）に分け、１本の道路が赤信号の間はその道路上のカメラを担当するニューロネットワークの組を学習モードにし、青・黄信号にある他の道路上のカメラを担当するニューロネットワークの組を判定モードにする。
【００２８】
図２のカメラ映像において手前（下）を南，奥（上）を北と仮定すると、南北方向が青・黄信号の場合はカメラＡとＤが南北方向道路上の通行を監視し，カメラＢとＣが学習を行う。信号が切り替わると各カメラの役割分担も切り替わる。このように監視・判定を行わない時間を利用して学習を行うので効率が良い。
〔第２実施形態〕
【００２９】
本発明の第２の実施形態は、上で説明した監視方法を実行する交差点映像監視装置であって、図８にその構成をブロックダイヤグラムで示す。
【００３０】
図８に従って、カメラ（Ｘ１）からＳフレームの映像を取り込む映像取込部（Ｘ２）、取り込まれた映像の各フレームをｎ個のブロックに分割するブロック領域分割部（Ｘ３）、ブロック内移動体の動き量を抽出する動き量抽出部（Ｘ４）、抽出された動き量をスケール変換するスケール変換部（Ｘ５）、各ブロックの動き量をＳフレームに渉って累積する累積動き量算出部（Ｘ６）、及びブロック位置と累積動き量の組を作るブロック位置に対する累積動き量抽出部（Ｘ７）（上で説明した監視方法中では、Ｘ２〜Ｘ７をまとめて「映像信号処理回路」と呼んだ。）から出力されるブロック状態信号を、各カメラに付属するニューロネットワーク（Ｘ１２）の判定回路／学習回路（Ｘ１０）へ入力する。
【００３１】
ニューロネットワーク（Ｘ１２）が判定モードにあるときは、出力部（Ｘ１１）から異常・正常に対応して判定信号１又は０を出力し、学習モードにあるときは、入力された仮想のブロック状態信号の異常・正常に対応して判定信号１又は０を出力するようにネットワーク中の重みＷを求めて重み記憶部に記憶させる。
【００３２】
図４は、監視映像内に車両が進入してきたとき、動き量が発生した場所を塗りつぶしたものである。１フレームごとの動きを解析すると図４の左側の T1のように動きが１ブロックにしか現れず、ブロック間の挙動を把握できない。そのため、動き量を数フレーム分累積することにより，図４の右側のようにブロック間で連動した時間的な挙動を算出できるようになる。一度に取り込むフレーム数に関しては車の動きや，交差点の状況により可変させることが望ましいが、例えば次のように設定することができる。
【００３３】
一般的な車の長さは５メートル程度であるから、ブロック間をまたぐ時間は時速40キロでは0.5秒かかる。そのため、動き量累積時間を0.5秒（15フレーム分）とする。
【００３４】
ブロック番号ｎに対応する動き量Ｍnをニューロネットワークのｎ×２（南北方向を監視するカメラＡ・Ｄでは東西方向のみ、または、東西方向を監視するカメラＢ・Ｃでは南北方向のみに対応）の入力層に入力する。異常は、通常の走行方向と異なる（交わる）方向への移動に現れるからである。
【００３５】
図５（ａ）は交差点の映像中の各ブロックに現れる車両の動きの例である。Ｆ１は停止中の事故車、Ｆ２は事故車を迂回して移動中の走行車を示す。図５（ｂ）は青信号になっている南北方向の道路を監視中のカメラＡの映像を示し、図５（ｃ）は同じくカメラＤの映像を示す（図２参照）。上記のように、カメラＡは東から西への動きのみを検出し、カメラＤは西から東への動きのみを検出するように動作設定がされている。図５（ｂ）のブロック番号８と９のブロックに東から西への動きが、図５（ｃ）のブロック番号４と５のブロックに西から東への動きがそれぞれ出現している。なお、これら以外のブロックでは動き量は０で、ブランクを表示している。
【００３６】
図６はニューロネットワーク（Ｘ１２）の構成を示す接続図である。このネットワークは、第１層（入力層）に２４個のノードｆ、第２層（中間層）に８個のノードｆ、及び第３層（出力層）に１個のノードｆを有する。ここに第１層のノード数２４は、各カメラの映像画面の分割ブロック数ｎ（＝１２）の２倍に等しい。
【００３７】
第１層から第２層への信号伝達、第２層から第３層への信号伝達に際して各信号に重みＷが乗じられ、これらの重みＷを適当な値に設定することにより、第１層の各ノードへ入力される入力値 In のパターンに対応して、第３層から出力される値 Out を所望の値に一致させることができる。
【００３８】
図７は、図５の(ｂ)、(ｃ)に例示したブロック状態信号がニューロネットワークに入力されたとき、判定信号１が出力されたことを示す対応表である。
【産業上の利用可能性】
【００３９】
本発明は、種々の場所でいろいろの目的に添った現象を監視するために、カメラ入力画像を分析、演算して目的とする画像を短時間に的確に取り出そうとするものである。したがって、次のような多くの分野での利用が期待される。
（１）道路の監視システムとして、交通事故や車の流れの異常現象の抽出。
（２）繁華街での事故、事件の監視と防犯。
（３）ビル内の監視カメラとして、人の出入りや、出入口やエレベ−タでの事故の監視、および夜間の防犯、防災 の監視。
（４）工場の連続運転（発電、原発、溶鉱炉、石油精製）の事故監視。
（５）個人住宅の防犯、防災の監視。
【図面の簡単な説明】
【００４０】
【図１Ａ】本発明に係る映像監視方法の動作（前処理及び判定）を説明するフローチャートである。
【図１Ｂ】本発明に係る映像監視方法の動作（学習）を説明するフローチャートである。
【図２】各カメラにより俯瞰撮影される交差点の映像を合成し、交差点中心上方遠方から見た正対映像に変換して示した概念図であり、交差点の全領域を等分割する複数のブロック（１〜１２）と監視用カメラ(Ａ〜Ｄ)の配置を示す。
【図３】スケール変換（量子化）の一例を示す。
【図４】監視カメラ画像の各ブロックに現れる動き量をフレーム間で累積しない場合(ａ)及び累積する場合(ｂ)を示す。
【図５】(ａ)は実施例の交差点映像監視ブロックにおける動きのパターン例、（ｂ）と(ｃ)は実施例の交差点映像監視システムにおける映像分割領域のブロック番号(１〜１２)に対応する各ブロックの累積動き量(括弧内)を示す。
【図６】ニューロネットワークの構成を示す接続図である。
【図７】ニューロネットワークに図５(ｂ)、(ｃ)のブロック領域に対する動き量データを与えたときの判定信号の例である。
【図８】本発明の一実施例としての、交差点映像監視装置の構成を示すブロックダイヤグラムである。
【符号の説明】
【００４１】
Ｓ１ カメラからＳ個の映像フレームを取り込むステップ
Ｓ２ １フレーム分の映像画面をｐ×ｑ＝Ｎ個のブロックに分割するステップ
Ｓ３ 動きが存在するｎ個の各ブロックの領域につき、対向する２方向（東西または南北の方向のみに対応）の動き量の絶対値を求め、さらに動き量の総和Ｖｉを求めるステップ
Ｓ４ 動き量の総和Ｖｉをスケール変換するステップ
Ｓ５ スケール変換したブロック番号ｎに対応する動き量の総和Ｖｎを、Ｓフレームにわたって累積し、累積動き量Ｍnを求めるステップ
Ｓ６ ブロック領域ｎに対応する動き量Ｍnをニューロネットワークに入力するステップ
Ｓ７ Ｓ１〜Ｓ６からなる前処理のステップ
Ｓ８ ニューロネットワークの判定・学習機能
Ｓ９ 異常・正常基本パターン記憶ステップ
Ｓ10 収束判定ステップ
Ｓ11 重み記憶ステップ
Ｓ12 出力ステップ
Ｘ１ 映像カメラ
Ｘ２ Ｓ個の映像フレーム取込部
Ｘ３ ブロック領域分割部
Ｘ４ ２方向（東西方向のみ、または、南北方向のみ）の動き量抽出部
Ｘ５ 動き量のスケール変換部
Ｘ６ ブロック領域の累積動き量算出部
Ｘ７ ブロック位置に対する動き量抽出部
Ｘ９ 異常・正常基本パターン記憶
Ｘ10 判定回路／学習回路
Ｘ11 出力部
Ｘ12 ニューロネットワーク
Ｕ１ 車輌
Ｕ２〜Ｕ５ 監視カメラＡ〜Ｄ
Ｕ６ ブロック領域
Ｕ７ ブロック番号
Ｕ８ 監視対象の場
Ｕ９ 交差点
Ｕ10 映像画面中央部
Ｔ１ 非累積動き量
Ｆ１ 停車している事故車
Ｆ２ 事故車を迂回している車
Ｗ２ 累積動き量＝Ｍn
Ji ニューロネットワークのi層のユニットJ
ｆ ノード
Ｗ 重み
In 入力値
Out 判定出力
【特許請求の範囲】
【請求項１】
直交する２本の道路が作る交差点内の車両の動きをカメラの動画像を通じて監視する映像監視方法であって、
交差点周囲の各道路真上の高い位置に４台の監視カメラを設置して、各カメラが交差点内全域を視野に入れつつ各道路の上り・下り各方向から俯瞰撮影できるようにし、
各カメラに、映像信号処理回路及び、処理された映像信号に基づいて学習・判定いずれかのモードで動作するニューロネットワークをそれぞれ付属させ、各映像信号処理回路にはニューロネットワークに学習のための異常・正常パターンを供給する記憶機能を内蔵させ、
前記映像信号処理回路は、それが付属する監視カメラの画面に映し出された交差点の全領域を等分割する複数のブロックを当該画面内に設定し、ブロック内移動点の動き量を求める既知の方法により、車両のブロック内動き量の絶対値の総和を求め、さらにスケール変換した結果を、各ブロック内の車両の動き（ブロック位置と累積動き量Ｍn）を示す信号（「ブロック状態信号」という。）として出力し、
学習モードにおいて、前記各ニューロネットワークは、異常・正常パターン記憶機能から、車両の異常・正常な動きに相当する前記ブロック状態信号の形式の仮想信号とこれらに対応して出力されるべき１又は０の判定信号との組を与えられ、ニューロネットワーク中の各ノード間の重みを決定し記憶する既知の学習方法により学習し、
判定モードにおいて、前記各ニューロネットワークは、前記映像信号処理回路から与えられる現実のブロック状態信号に基づいて、交差点内の車両の動きについて異常・正常の判定を行い、判定信号を出力することを特徴とする映像監視方法。
【請求項２】
信号機のある交差点では、前記４台のカメラを対向する２台づつの組に分け、１本の道路が赤信号の間はその道路上のカメラを担当するニューロネットワークの組を学習モードにし、他の道路上のカメラを担当するニューロネットワークの組を判定モードにすることを特徴とする請求項１記載の映像監視方法。
【請求項３】
直交する２本の道路が作る交差点内の車両の動きをカメラ動画像を通じて監視する映像監視装置であって、
交差点の周囲に配設される４台の監視カメラと、各カメラに付属させて映像信号処理回路、及び処理された映像信号に基づいて学習・判定いずれかのモードで動作するニューロネットワークを設け、各映像信号処理回路にはニューロネットワークに学習のための異常・正常パターンを供給する記憶機能を内蔵させ、
これらのカメラ及び各回路を請求項１又は２記載の映像監視方法に従って動作させることを特徴とする映像監視装置。
【請求項１】
直交する２本の道路が作る交差点内の車両の動きをカメラの動画像を通じて監視する映像監視方法であって、
交差点周囲の各道路真上の高い位置に４台の監視カメラを設置して、各カメラが交差点内全域を視野に入れつつ各道路の上り・下り各方向から俯瞰撮影できるようにし、
各カメラに、映像信号処理回路及び、処理された映像信号に基づいて学習・判定いずれかのモードで動作するニューロネットワークをそれぞれ付属させ、各映像信号処理回路にはニューロネットワークに学習のための異常・正常パターンを供給する記憶機能を内蔵させ、
前記映像信号処理回路は、それが付属する監視カメラの画面に映し出された交差点の全領域を等分割する複数のブロックを当該画面内に設定し、ブロック内移動点の動き量を求める既知の方法により、車両のブロック内動き量の絶対値の総和を求め、さらにスケール変換した結果を、各ブロック内の車両の動き（ブロック位置と累積動き量Ｍn）を示す信号（「ブロック状態信号」という。）として出力し、
学習モードにおいて、前記各ニューロネットワークは、異常・正常パターン記憶機能から、車両の異常・正常な動きに相当する前記ブロック状態信号の形式の仮想信号とこれらに対応して出力されるべき１又は０の判定信号との組を与えられ、ニューロネットワーク中の各ノード間の重みを決定し記憶する既知の学習方法により学習し、
判定モードにおいて、前記各ニューロネットワークは、前記映像信号処理回路から与えられる現実のブロック状態信号に基づいて、交差点内の車両の動きについて異常・正常の判定を行い、判定信号を出力することを特徴とする映像監視方法。
【請求項２】
信号機のある交差点では、前記４台のカメラを対向する２台づつの組に分け、１本の道路が赤信号の間はその道路上のカメラを担当するニューロネットワークの組を学習モードにし、他の道路上のカメラを担当するニューロネットワークの組を判定モードにすることを特徴とする請求項１記載の映像監視方法。
【請求項３】
直交する２本の道路が作る交差点内の車両の動きをカメラ動画像を通じて監視する映像監視装置であって、
交差点の周囲に配設される４台の監視カメラと、各カメラに付属させて映像信号処理回路、及び処理された映像信号に基づいて学習・判定いずれかのモードで動作するニューロネットワークを設け、各映像信号処理回路にはニューロネットワークに学習のための異常・正常パターンを供給する記憶機能を内蔵させ、
これらのカメラ及び各回路を請求項１又は２記載の映像監視方法に従って動作させることを特徴とする映像監視装置。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−２８５３９９（Ｐ２００６−２８５３９９Ａ）
【公開日】平成１８年１０月１９日（２００６．１０．１９）
【国際特許分類】
【出願番号】特願２００５−１０１５３９（Ｐ２００５−１０１５３９）
【出願日】平成１７年３月３１日（２００５．３．３１）
【出願人】（８００００００８０）タマティーエルオー株式会社 (255)
【Ｆターム（参考）】
【公開日】平成１８年１０月１９日（２００６．１０．１９）
【国際特許分類】
【出願日】平成１７年３月３１日（２００５．３．３１）
【出願人】（８００００００８０）タマティーエルオー株式会社 (255)
【Ｆターム（参考）】
[ Back to top ]