エリア警戒自動識別監視システム
【課題】監視対象物の識別精度を高くし、挙動が不審な監視対象物も検知する。
【解決手段】監視対象識別部２２は、監視対象物パターンを登録し、撮影された映像からパターンマッチング技法を用いて監視対象物を識別処理する。ざわつき排除部２１は、排除対象となる、ざわつきパターンを登録し、映像内のざわつきが、ざわつきパターンと一致すると、パターンマッチング技法を用いて排除処理する。挙動不審パターン登録部２５は監視対象物の挙動不審パターンを登録処理し、挙動不審パターン識別部２４は監視対象物の移動行動パターンが、登録処理された監視対象物の挙動不審パターンと一致するかオプティカルフローの画像処理技術を用いて識別処理する。
【解決手段】監視対象識別部２２は、監視対象物パターンを登録し、撮影された映像からパターンマッチング技法を用いて監視対象物を識別処理する。ざわつき排除部２１は、排除対象となる、ざわつきパターンを登録し、映像内のざわつきが、ざわつきパターンと一致すると、パターンマッチング技法を用いて排除処理する。挙動不審パターン登録部２５は監視対象物の挙動不審パターンを登録処理し、挙動不審パターン識別部２４は監視対象物の移動行動パターンが、登録処理された監視対象物の挙動不審パターンと一致するかオプティカルフローの画像処理技術を用いて識別処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術であるパターンマッチング技術とオプティカルフロー技術を用いたエリア警戒自動識別監視システムに関する。
【背景技術】
【０００２】
従来のエリア警戒自動識別監視システムでは、監視カメラを用いて撮影した映像から不審人物、車輌等の侵入を検知して警報発報するようにしている（文献公知発明に係るものではない）。このようなエリア警戒自動識別監視システムは、例えば、埠頭のゲートやフェンス、船舶や波止場に監視カメラを設置して、監視カメラが撮影した映像情報から物体の映像情報を抽出し、人物や車輌を検知し識別した場合には警報を発報する。監視センターの画像モニタが監視カメラの撮影映像を映し出し、監視員が不審者や不審車輌を発見した場合、直ちに警戒発報を発し警察等に通報する。
【０００３】
しかし、監視員による監視カメラ画像の目視による監視では、少人数の監視員が多数の画像モニタを監視している場合、全ての画像モニタ画面に対して注意が届かず不審行動や異常行動を見落とす恐れがある。また、カメラ監視を行っているふ頭作業エリア等では、フェンスおよびゲートにセンサーを装備する場合があるが、そのセンサー発報は監視員によって、確認する人為的行為によって行うため、故障や切断または風等の自然現象による外的要因で誤発報する場合がある問題がある。この場合、監視員は画像モニタ画面で毎回確認する必要がある。更に、映像情報から人物、車輌等の映像情報を抽出するパターンマッチングによる画像処理方法も周知である。
【０００４】
この種の従来技術を記載した特許文献として、監視領域に進入した物体がない状態で撮像入力される画像を初期画像用メモリ、初期画像を所定の大きさに細分割処理した領域毎に得られる像が示す物体までの距離を距離マップ用メモリに、それぞれ格納しておき、監視領域に物体が進入して監視画像用メモリに監視画像が得られると、初期画像用メモリに格納されている初期画像との間で、例えば差分処理を実行して初期画像中に存在しない画像成分を検出することにより移動物体の像を移動物体画像用メモリに格納し、この検出物体像に対して距離マップ用メモリを参照し、移動物体が検出された細分割領域の距離情報を求めことにより移動物体までの距離を求めるようにした「監視装置」が知られている（例えば、特許文献１参照）。
【０００５】
また、監視領域に対する撮影前後の画像の差分画像をデジタル化したデジタル画像に含まれる所定値を有する画素の固まりを検出し、検出された固まりについて面積が大きい順に当該固まりを含む所定形状の領域を設定し、この領域内に存在する固まりの合計面積を求め、それが所定範囲内である場合に、領域内に存在する固まりが侵入者の画像として認知されるようにした「侵入者識別システム」も公知である（例えば、特許文献２参照）。
【０００６】
【特許文献１】特公平６−０９５００８（第２頁−第３頁、図１）
【特許文献２】特許第２６１２６６２号（第２頁−第３頁、図２）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したパターンマッチングによる画像処理方法では、人物や車輌等を検知することは出来ても、不特定多数の人物や車輌が出入りし、作業する場所の場合、撮影した映像情報から不審者や不審車輌であることを見分けることは極めて困難である。例えば、ふ頭エリア内にてゲートやフェンスをよじ登ったり、破壊したりして侵入する場合、ふ頭内の作業者や作業車輌を撮影している監視カメラ映像から不審行動や異常行動と、通常の作業行動とを自動的に切り分け、警戒発報をすることはできない。
【０００８】
また、特許文献１記載の技術では、移動物体の大きさを判断して警報を発するため、人，二輪車，車，船等のように移動物体の形を判断して警報するものではないので、監視対象物の識別精度が低いため、対象外の物まで識別してしまう誤検出が非常に多いという問題点がある。これは、この技術は、進入物体によって遮られた画像部分は少なくとも進入物体より遠くの位置に存在することから、進入物体は距離マップ用メモリから求められる最短距離情報の位置に存在するとして、これにより、３次元画像処理等の複雑な画像処理なくして物体までの距離を求めることを意図したものであるからである。
【０００９】
また、特許文献２記載の技術でも、指定エリア内で動いている物体の面積サイズにより、人のみを判断して発報するだけで、他の対象物の識別検出、従って挙動が不審な行動の監視対象物を自動的に検知することができないし、通常の作業者や通行人や作業車輌と、挙動不審な行動をする者との識別もできないという問題点がある。また、映像内のざわつき（例えば木の揺れ、波）を不要な監視対象物として排除するのも物体の面積サイズで判断するため、ざわつき内に物体が入ると識別できなかったり誤発報することがある。
【００１０】
そこで、本発明の目的は、監視エリア内の監視対象物である人・車・二輪などの識別精度を高くし、監視対象物の識別精度を維持し、更に挙動が不審な監視対象物も検知できるエリア警戒自動識別監視システムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明のエリア警戒自動識別監視システムは、監視対象物パターンを登録し、撮影された映像からパターンマッチングの画像処理技術を用いて監視対象物を識別処理する監視対象識別部（図１の２２）と、識別処理の結果により監視対象物以外を映像から排除処理する監視対象外排除部（図１の２３）を設けたことを特徴とする。登録する監視対象物パターンは、監視対象物の画像ピクセルの一番外側にある頂点を抽出して接続した模擬図形とすることが望ましい。
【００１２】
また、排除対象となる、ざわつきパターンを登録し、映像内のざわつきが、ざわつきパターンと一致すると、パターンマッチングの画像処理技術を用いて、それを排除処理するざわつき排除部（図１の２１）を設けたことを特徴とする。
【００１３】
更に、監視対象物の挙動不審パターンを登録処理する挙動不審パターン登録部（図１の２５）と、監視対象識別部で識別処理された監視対象物の移動行動パターンが、登録処理された監視対象物の挙動不審パターンと一致するかオプティカルフローの画像処理技術を用いて識別処理する挙動不審パターン識別部（図１の２４）と、識別処理の結果により監視対象物の移動行動パターンが挙動不審パターンに一致すると発報処理する挙動不審発報部（図１の２６）を設けたことを特徴とする。監視対象物の移動行動パターンは、映像画面を分割したブロックまたはピクセルの遷移を辿ることにより得るのが良い。
【発明の効果】
【００１４】
本発明の第１の効果は、監視対象物をパターンマッチングの画像処理技術を用いて検知することとしたため、監視エリア内の監視対象物である人・車・二輪などの識別精度を高くして、対象外の物を識別しないようにすることができるということである。
【００１５】
本発明の第２の効果は、パターンマッチングの画像処理技術を用いて、画像のざわつきを排除することとしたため、監視対象物の識別精度を約１０倍以上に高めることができるということである。
【００１６】
本発明の第３の効果は、挙動不審パターンを登録しておき、オプティカルフローの画像処理技術を用いて把握する監視対象物の行動移動パターンとの一致をチェックすることとしたため、挙動が不審な行動の監視対象物と通常の作業者や通行人や作業車輌とを自動に区別することができ、識別精度を更に上げることができるということである。
【００１７】
本発明の第４の効果は、挙動が不審な行動のパターンをいくつでも追加登録することができ、不審者の検出の精度を更に上げることができる。また、通常の移動パターンの登録（排除パターン）も追加登録をすることができるということである。
【発明を実施するための最良の形態】
【００１８】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
[構成の説明］
図１は、本発明のエリア警戒自動識別監視システムを示すブロック図である。このエリア警戒自動識別監視システムは、ふ頭エリア内を警戒・監視するシステムであって、カメラ１と対象物取込検出装置１０と対象物検出装置２０と表示装置３０で構成されている。
【００２０】
対象物取込検出装置１０は、カメラ１と対象物検出装置２０に接続されており、カメラ１によって撮影された、ふ頭エリア内の様子の映像情報を対象物取込検出装置１０に送信する。このとき、対象物取込検出装置１０はカメラから受信したアナログ映像信号をデジタル映像信号に変換して、細分化および警戒するエリア範囲を指定し、また動体を検知して映像情報を対象物検出装置２０へ送信する。対象物検出装置２０は、対象物取込検出装置１０から送信されてくる映像情報からパターンマッチングにて対象物を検出・識別し、オプティカルフローにて移動軌跡を検出・識別し表示装置３０に送信する。表示装置３０は、対象物または移動軌跡に対して警報を発報するときにブザー音および画面にて表示する。パターンマッチングおよびオプティカルフローは周知の技法である。
【００２１】
図１を参照すると、対象物取込検出装置１０は、Ａ／Ｄ変換部１１，画像処理部１２，警戒エリア指定部１３および動体検知部１４から成る。Ａ／Ｄ変換部１１は、カメラ１からのアナログ映像信号をデジタル映像信号に変換処理する。画像処理部１２は、デジタル映像信号のカラー画像を白黒化（２値化）し、更に映像情報の輪郭を際立たせる補正を行って細分化処理する。警戒エリア指定部１３は、映像情報内の警戒したいエリアを指定処理する。動体検知部１４は、警戒エリア内にて動体を検知して対象物検出装置２０へ映像情報を送信処理する。
【００２２】
対象物検出装置２０は、ざわつき排除部２１，監視対象識別部２２，監視対象外排除部２３，挙動不審パターン識別部２４，挙動不審パターン登録部２５，挙動不審発報部２６およびパターン外排除部２７から成る。また、対象物検出装置２０内の図示しないメモリには、排除対象となる、ざわつきパターン，監視対象物パターン，挙動不審パターン及び監視対象外パターンが予め登録されている。なお、ざわつきパターン，監視対象物パターン，挙動不審パターン及び挙動不審パターンは、予め登録しておくことの外、処理の途中で新規に追加登録することも可能である。
【００２３】
ざわつき排除部２１は、排除対象となる、ざわつきパターンを予め登録し、動体検知部１４から送信されてくる映像内のざわつき（木の揺れ，波等）が、ざわつきパターンと一致すると、それを排除処理する。監視対象識別部２２は、監視対象物パターンを予め登録し、ざわつきが排除処理された後の映像から監視対象物（人，車，二輪，船など）を識別処理し、監視対象外排除部２３は、監視対象物以外を映像から排除処理する。
【００２４】
挙動不審パターン登録部２５は、監視対象物の挙動不審パターンを予め登録処理する。挙動不審パターン識別部２４は、監視対象識別部２２で識別処理された監視対象物の移動行動パターンが、挙動不審パターン登録部２５で登録処理された監視対象物の挙動不審パターンと一致するか識別処理する。挙動不審発報部２６は、監視対象物の移動行動パターンが挙動不審パターン識別部２４にて一致した場合に発報処理する。パターン外排除部２７は、監視対象外パターンを予め登録し、監視対象物の移動行動パターンが挙動不審パターン識別部２４にて不一致または監視対象外パターンに一致した場合に排除処理する。
【００２５】
挙動不審表示部３１は、挙動不審発報部２６が発報した場合に、その内容を画面表示する。また、ブザー音およびランプ点灯等にて確認することもできる。動体検知物識別表示部３２は、監視対象識別部２２にて監視対象物を識別した場合に、監視対象物を画面表示する。
【００２６】
[動作の説明]
図２は、以上のように構成された本発明のエリア警戒自動識別監視システムの動作手順を示すフローチャートである。以下、図２に沿い、かつ図３〜図１６参照しながら、このエリア警戒自動識別監視システムの動作について説明する。
【００２７】
先ず、対象物取込検出装置１０のＡ／Ｄ変換部１１は、カメラ１でキャプチャしたアナログ映像信号をデジタル映像信号に変換処理する（図２のステップＳ１）。次に、画像処理部１２は、例えば、埠頭の風景を写したデジタル映像信号（カラー）の元画像を白黒化（２値化）し、更に映像情報の輪郭を際立たせるための補正を行って細分化処理する（図２のステップＳ２）。この輪郭補正は、白黒化した画像データを反転させて、色の濃淡の差を抽出し、濃いところを強調し、細かいノイズ（薄い点等）を排除して行なう。
【００２８】
警戒エリア指定部１３は、このような映像情報内の警戒したいエリアを指定処理する（図２のステップＳ３）。この指定は、例えば四角形でエリアを指定する場合は、４つの角の座標を指定して行なう。
【００２９】
動体検知部１４は、輪郭補正された画像の警戒エリア内にて動体を検知する（図２のステップＳ４）が、動体検知が無い場合は（図２のステップＳ５）、処理を最初（図２のステップＳ１）から繰り返し実施する。図３は、動体検知を説明するための第１の図であり、警戒エリア指定１３にて指定した警戒エリア内の人物画像を細分化することを示している。
【００３０】
図４は、動体検知を説明するための第２の図である。画像フレームは、図４（Ａ）に示すように時間と共に更新されている。図４（Ｂ）は、このような画像フレームから取り出した、人の顔を写した１つの画像フレームを示す。このような画像フレームを例えば４５０ブロックに分割し、各ブロックを図４（Ｃ）に示すように例えば６４ピクセルに分割する。
【００３１】
動体検知部１４は、現在の画像フレームと過去の６画像フレームの合計７画像フレームについて、同じ座標ピクセルを調べる。その結果、４つ以上同じ場合は「変化無し」のピクセルと判断する。違っていた場合には「動体」と判断する。これを画面上の全ピクセルについて処理を行い、８×８ピクセルにして計算を行う。この６４ピクセルのうち２５ピクセル以上（設定により変更できる）が白だった場合は、このブロックを動いているブロックを判断する。動いているブロックが２５ブロック以上（設定により変更できる）だった場合は動体認識とし、対象物検出装置２０へ送信する。
【００３２】
対象物検出装置２０では、ざわつき排除部２１が映像内のざわつき（木の揺れ、波等）を排除処理する（図２のステップＳ６）。図５は、ざわつき排除処理を説明するための模式図である。図５（Ａ）は登録してある、ざわつきパターン（パターンブレ成分）の例であり、図５（Ｂ）に示すように、画像がこのようなパターンブレ成分ρ(X,Y)と動体φ(X,Y)の合成である場合、登録してあるパターンブレ成分と画像内で一致したパターンブレ成分ρ(X,Y)を排除する。動体は排除対象外とする。なお、ざわつきが大きい場合には、図３で説明した細分化の単位を大きくして誤検出を減らす動作を行う。
【００３３】
図６は、ざわつき排除処理を説明するための、より現実的な図である。ここでは、図６（Ａ）に示すように、パターンブレ成分ρ(X,Y)として雨や雪、動体φ(X,Y)として人の顔を示している。図６（Ｂ）に示すように、雨や雪の画像上における存在確率は画面上の位置に拘わらず一定であるのに対して、人の顔の画像上における存在確率は、図６（Ｃ）に示すように、画面中央部が高い。従って、このような存在確率の特性によりパターンブレ成分等の動体の物体以外を排除することもできる。
【００３４】
次に、監視対象識別部２２はざわつきの排除された映像について監視対象物識別処理を行う（図２のステップＳ７）。動体検知処理（図２のステップＳ４）された物が、登録されている監視対象物パターンに当てはまらない場合は（図２のステップＳ８）、監視対象物以外は監視対象外排除部２３にて排除処理して最初（図２のステップＳ１）から繰り返し実施する。
【００３５】
なお、監視対象物パターンは、画像ピクセルの一番外側にある頂点を抽出することにより得ることができる。例えば、人であれば縦長の長方形、自動車であれば横長の長方形、二輪車であれば三角形、船であれば台形様の図形で模擬する。このような大胆な模擬も、本エリア警戒自動識別監視システムが適用される環境に特化して考えれば、出現確率上妥当なものとして肯定することができる。
【００３６】
一方、監視対象物パターンに当てはまる場合は、動体検知物識別表示部３２が監視対象物（人，車，二輪，船など）を画面表示し（図２のステップＳ１０）、挙動不審パターン識別部２４は、監視対象識別部２２で識別処理された監視対象物の移動行動パターンが、挙動不審パターン登録部２５で登録処理された監視対象物の挙動不審パターンと一致するか識別処理する（図２のステップＳ１１）。
【００３７】
図７は、監視対象物の移動遷移を説明するための模式図である。図７では、人が画面の左下から上方、右方、車の間を下方、右方へと移動していることを矢印で示している。実際には、人はブロックとして取り扱われるので、そのブロックの軌跡を辿ることになる。このような矢印の結合から監視対象物の移動行動パターンを得ることができる。なお、監視対象物の移動行動パターンはピクセル単位に行なうこともできる。
【００３８】
厳密には、時間の経過とともに観測した複数の画像から、動体の移動方向と速度を求める解析手法として、オプティカルフロー法が周知である。オプティカルフロー法とは、動画像中の濃淡パターンの動き（ベクトル）を各画素点で表示したものである。図８は、挙動不審パターン識別部２４における動体の移動方向検出の概念を説明するための図である。
【００３９】
いま、図８（Ａ）に示すように、座標(ｘ,ｙ) に位置する濃淡パターンρの物体がδt 秒後に、座標(ｘ+δx,ｙ+δy) に移動したとすると、動体の移動方向は図８（Ｂ）に示すようにベクトル表示することができる。また、濃淡パターンρは移動の前後で変わらないため、ρ(ｘ,ｙ,ｔ)＝ρ(ｘ+δx,ｙ+δy,ｔ+δt )
挙動不審パターン識別処理（図２のステップＳ１１）の結果、監視対象物の移動行動パターンが挙動不審パターンに一致した場合（図２のステップＳ１２）、挙動不審発報部２６は発報処理する。これを受けて、表示装置３０の挙動不審表示部３１は発報内容を画面表示し、またブザー音やランプ点灯等で報知する。
【００４０】
一方、監視対象物の移動行動パターンが挙動不審パターン識別にて不一致または対象外パターンに一致した場合（図２のステップＳ１２）、パターン外排除部２７は、排除処理をして処理を最初（図２のステップＳ１）から繰り返し実施する。
【００４１】
図９〜図１６は、挙動不審パターン登録部２５によって登録される様々な挙動不審パターンを示す。パターンは複数登録することができる。検出設定時間は任意設定が可能とする。また、パターンはある程度のバラツキがあっても近い移動軌跡を識別対象として判断する。
【００４２】
図９は、電光型移動識別パターンを示す。このパターンは、電光型ジグザグ（ギザギザに折れ曲がって）移動し、移動軌跡が一定推移でない。図１０は、侵入禁止方向識別パターンを示す。このパターンは、ｘ方向にａからｂへ移動する様を表す。
【００４３】
図１１は、乗り越え動作識別パターン、すなわちｙ方向の所定の位置を越えるパターンである。図１２は、潜り抜け動作識別パターン、すなわちｙ方向の所定の位置を潜るパターンである。
【００４４】
図１３は、頻繁出没動作識別パターン、すなわち頻繁に上下に移動して出没し、隠れたり（消えたり）出たりする様を表す。上下移動検出時間は任意設定が可能とする。図１４は、伸縮移動動作識別パターン、すなわち人が屈み込み等伸縮移動動作する様を表す。移動時間検出は任意設定が可能とする。
【００４５】
以上に説明したように、このエリア警戒自動識別監視システムによれば、埠頭エリアを撮影する監視カメラからの映像情報からパターンマッチングおよびオプティカルフローパターンの一致により異常状態を検知して警報発報を発生することができる。
【００４６】
［産業上の利用可能性］
本発明は、埠頭監視システムへの適用を想定して記載したが、税関違法出入国者監視システム，駐車場入退場車数監視システム，店舗入退場者数監視システム，鉄道置き石監視システム，土砂崩れ災害監視システム，不審船監視システム，不法投棄監視システム，工場不法侵入監視システム，無人施設不法侵入監視システム，ダム河川監視システム等、より広範な防災・防犯・セキュリティ現場に適用することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明のエリア警戒自動識別監視システムを示すブロック図
【図２】本発明のエリア警戒自動識別監視システムの動作手順を示すフローチャート
【図３】動体検知を説明するための第１の図
【図４】動体検知を説明するための第２の図
【図５】ざわつき排除処理を説明するための模式図
【図６】ざわつき排除処理を説明するための、より現実的な図
【図７】監視対象物の移動遷移を説明するための模式図
【図８】挙動不審パターン識別部における動体の移動方向検出の概念を説明するための図
【図９】第１の挙動不審パターンを示す図
【図１０】第２の挙動不審パターンを示す図
【図１１】第３の挙動不審パターンを示す図
【図１２】第４の挙動不審パターンを示す図
【図１３】第５の挙動不審パターンを示す図
【図１４】第６の挙動不審パターンを示す図
【符号の説明】
【００４８】
１ カメラ
１０ 対象物取込検出装置
１１ Ａ／Ｄ変換部
１２ 画像処理部
１３ 警戒エリア指定部
１４ 動体検知部
２０ 対象物検出装置
２１ ざわつき排除部
２２ 監視対象識別部
２３ 監視対象外排除部
２４ 挙動不審パターン識別部
２５ 挙動不審パターン登録部
２６ 挙動不審発報部
２７ パターン外排除部
３０ 表示装置
３１ 挙動不審表示部
３２ 監視対象物識別表示部
【技術分野】
【０００１】
本発明は、画像処理技術であるパターンマッチング技術とオプティカルフロー技術を用いたエリア警戒自動識別監視システムに関する。
【背景技術】
【０００２】
従来のエリア警戒自動識別監視システムでは、監視カメラを用いて撮影した映像から不審人物、車輌等の侵入を検知して警報発報するようにしている（文献公知発明に係るものではない）。このようなエリア警戒自動識別監視システムは、例えば、埠頭のゲートやフェンス、船舶や波止場に監視カメラを設置して、監視カメラが撮影した映像情報から物体の映像情報を抽出し、人物や車輌を検知し識別した場合には警報を発報する。監視センターの画像モニタが監視カメラの撮影映像を映し出し、監視員が不審者や不審車輌を発見した場合、直ちに警戒発報を発し警察等に通報する。
【０００３】
しかし、監視員による監視カメラ画像の目視による監視では、少人数の監視員が多数の画像モニタを監視している場合、全ての画像モニタ画面に対して注意が届かず不審行動や異常行動を見落とす恐れがある。また、カメラ監視を行っているふ頭作業エリア等では、フェンスおよびゲートにセンサーを装備する場合があるが、そのセンサー発報は監視員によって、確認する人為的行為によって行うため、故障や切断または風等の自然現象による外的要因で誤発報する場合がある問題がある。この場合、監視員は画像モニタ画面で毎回確認する必要がある。更に、映像情報から人物、車輌等の映像情報を抽出するパターンマッチングによる画像処理方法も周知である。
【０００４】
この種の従来技術を記載した特許文献として、監視領域に進入した物体がない状態で撮像入力される画像を初期画像用メモリ、初期画像を所定の大きさに細分割処理した領域毎に得られる像が示す物体までの距離を距離マップ用メモリに、それぞれ格納しておき、監視領域に物体が進入して監視画像用メモリに監視画像が得られると、初期画像用メモリに格納されている初期画像との間で、例えば差分処理を実行して初期画像中に存在しない画像成分を検出することにより移動物体の像を移動物体画像用メモリに格納し、この検出物体像に対して距離マップ用メモリを参照し、移動物体が検出された細分割領域の距離情報を求めことにより移動物体までの距離を求めるようにした「監視装置」が知られている（例えば、特許文献１参照）。
【０００５】
また、監視領域に対する撮影前後の画像の差分画像をデジタル化したデジタル画像に含まれる所定値を有する画素の固まりを検出し、検出された固まりについて面積が大きい順に当該固まりを含む所定形状の領域を設定し、この領域内に存在する固まりの合計面積を求め、それが所定範囲内である場合に、領域内に存在する固まりが侵入者の画像として認知されるようにした「侵入者識別システム」も公知である（例えば、特許文献２参照）。
【０００６】
【特許文献１】特公平６−０９５００８（第２頁−第３頁、図１）
【特許文献２】特許第２６１２６６２号（第２頁−第３頁、図２）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したパターンマッチングによる画像処理方法では、人物や車輌等を検知することは出来ても、不特定多数の人物や車輌が出入りし、作業する場所の場合、撮影した映像情報から不審者や不審車輌であることを見分けることは極めて困難である。例えば、ふ頭エリア内にてゲートやフェンスをよじ登ったり、破壊したりして侵入する場合、ふ頭内の作業者や作業車輌を撮影している監視カメラ映像から不審行動や異常行動と、通常の作業行動とを自動的に切り分け、警戒発報をすることはできない。
【０００８】
また、特許文献１記載の技術では、移動物体の大きさを判断して警報を発するため、人，二輪車，車，船等のように移動物体の形を判断して警報するものではないので、監視対象物の識別精度が低いため、対象外の物まで識別してしまう誤検出が非常に多いという問題点がある。これは、この技術は、進入物体によって遮られた画像部分は少なくとも進入物体より遠くの位置に存在することから、進入物体は距離マップ用メモリから求められる最短距離情報の位置に存在するとして、これにより、３次元画像処理等の複雑な画像処理なくして物体までの距離を求めることを意図したものであるからである。
【０００９】
また、特許文献２記載の技術でも、指定エリア内で動いている物体の面積サイズにより、人のみを判断して発報するだけで、他の対象物の識別検出、従って挙動が不審な行動の監視対象物を自動的に検知することができないし、通常の作業者や通行人や作業車輌と、挙動不審な行動をする者との識別もできないという問題点がある。また、映像内のざわつき（例えば木の揺れ、波）を不要な監視対象物として排除するのも物体の面積サイズで判断するため、ざわつき内に物体が入ると識別できなかったり誤発報することがある。
【００１０】
そこで、本発明の目的は、監視エリア内の監視対象物である人・車・二輪などの識別精度を高くし、監視対象物の識別精度を維持し、更に挙動が不審な監視対象物も検知できるエリア警戒自動識別監視システムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明のエリア警戒自動識別監視システムは、監視対象物パターンを登録し、撮影された映像からパターンマッチングの画像処理技術を用いて監視対象物を識別処理する監視対象識別部（図１の２２）と、識別処理の結果により監視対象物以外を映像から排除処理する監視対象外排除部（図１の２３）を設けたことを特徴とする。登録する監視対象物パターンは、監視対象物の画像ピクセルの一番外側にある頂点を抽出して接続した模擬図形とすることが望ましい。
【００１２】
また、排除対象となる、ざわつきパターンを登録し、映像内のざわつきが、ざわつきパターンと一致すると、パターンマッチングの画像処理技術を用いて、それを排除処理するざわつき排除部（図１の２１）を設けたことを特徴とする。
【００１３】
更に、監視対象物の挙動不審パターンを登録処理する挙動不審パターン登録部（図１の２５）と、監視対象識別部で識別処理された監視対象物の移動行動パターンが、登録処理された監視対象物の挙動不審パターンと一致するかオプティカルフローの画像処理技術を用いて識別処理する挙動不審パターン識別部（図１の２４）と、識別処理の結果により監視対象物の移動行動パターンが挙動不審パターンに一致すると発報処理する挙動不審発報部（図１の２６）を設けたことを特徴とする。監視対象物の移動行動パターンは、映像画面を分割したブロックまたはピクセルの遷移を辿ることにより得るのが良い。
【発明の効果】
【００１４】
本発明の第１の効果は、監視対象物をパターンマッチングの画像処理技術を用いて検知することとしたため、監視エリア内の監視対象物である人・車・二輪などの識別精度を高くして、対象外の物を識別しないようにすることができるということである。
【００１５】
本発明の第２の効果は、パターンマッチングの画像処理技術を用いて、画像のざわつきを排除することとしたため、監視対象物の識別精度を約１０倍以上に高めることができるということである。
【００１６】
本発明の第３の効果は、挙動不審パターンを登録しておき、オプティカルフローの画像処理技術を用いて把握する監視対象物の行動移動パターンとの一致をチェックすることとしたため、挙動が不審な行動の監視対象物と通常の作業者や通行人や作業車輌とを自動に区別することができ、識別精度を更に上げることができるということである。
【００１７】
本発明の第４の効果は、挙動が不審な行動のパターンをいくつでも追加登録することができ、不審者の検出の精度を更に上げることができる。また、通常の移動パターンの登録（排除パターン）も追加登録をすることができるということである。
【発明を実施するための最良の形態】
【００１８】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
[構成の説明］
図１は、本発明のエリア警戒自動識別監視システムを示すブロック図である。このエリア警戒自動識別監視システムは、ふ頭エリア内を警戒・監視するシステムであって、カメラ１と対象物取込検出装置１０と対象物検出装置２０と表示装置３０で構成されている。
【００２０】
対象物取込検出装置１０は、カメラ１と対象物検出装置２０に接続されており、カメラ１によって撮影された、ふ頭エリア内の様子の映像情報を対象物取込検出装置１０に送信する。このとき、対象物取込検出装置１０はカメラから受信したアナログ映像信号をデジタル映像信号に変換して、細分化および警戒するエリア範囲を指定し、また動体を検知して映像情報を対象物検出装置２０へ送信する。対象物検出装置２０は、対象物取込検出装置１０から送信されてくる映像情報からパターンマッチングにて対象物を検出・識別し、オプティカルフローにて移動軌跡を検出・識別し表示装置３０に送信する。表示装置３０は、対象物または移動軌跡に対して警報を発報するときにブザー音および画面にて表示する。パターンマッチングおよびオプティカルフローは周知の技法である。
【００２１】
図１を参照すると、対象物取込検出装置１０は、Ａ／Ｄ変換部１１，画像処理部１２，警戒エリア指定部１３および動体検知部１４から成る。Ａ／Ｄ変換部１１は、カメラ１からのアナログ映像信号をデジタル映像信号に変換処理する。画像処理部１２は、デジタル映像信号のカラー画像を白黒化（２値化）し、更に映像情報の輪郭を際立たせる補正を行って細分化処理する。警戒エリア指定部１３は、映像情報内の警戒したいエリアを指定処理する。動体検知部１４は、警戒エリア内にて動体を検知して対象物検出装置２０へ映像情報を送信処理する。
【００２２】
対象物検出装置２０は、ざわつき排除部２１，監視対象識別部２２，監視対象外排除部２３，挙動不審パターン識別部２４，挙動不審パターン登録部２５，挙動不審発報部２６およびパターン外排除部２７から成る。また、対象物検出装置２０内の図示しないメモリには、排除対象となる、ざわつきパターン，監視対象物パターン，挙動不審パターン及び監視対象外パターンが予め登録されている。なお、ざわつきパターン，監視対象物パターン，挙動不審パターン及び挙動不審パターンは、予め登録しておくことの外、処理の途中で新規に追加登録することも可能である。
【００２３】
ざわつき排除部２１は、排除対象となる、ざわつきパターンを予め登録し、動体検知部１４から送信されてくる映像内のざわつき（木の揺れ，波等）が、ざわつきパターンと一致すると、それを排除処理する。監視対象識別部２２は、監視対象物パターンを予め登録し、ざわつきが排除処理された後の映像から監視対象物（人，車，二輪，船など）を識別処理し、監視対象外排除部２３は、監視対象物以外を映像から排除処理する。
【００２４】
挙動不審パターン登録部２５は、監視対象物の挙動不審パターンを予め登録処理する。挙動不審パターン識別部２４は、監視対象識別部２２で識別処理された監視対象物の移動行動パターンが、挙動不審パターン登録部２５で登録処理された監視対象物の挙動不審パターンと一致するか識別処理する。挙動不審発報部２６は、監視対象物の移動行動パターンが挙動不審パターン識別部２４にて一致した場合に発報処理する。パターン外排除部２７は、監視対象外パターンを予め登録し、監視対象物の移動行動パターンが挙動不審パターン識別部２４にて不一致または監視対象外パターンに一致した場合に排除処理する。
【００２５】
挙動不審表示部３１は、挙動不審発報部２６が発報した場合に、その内容を画面表示する。また、ブザー音およびランプ点灯等にて確認することもできる。動体検知物識別表示部３２は、監視対象識別部２２にて監視対象物を識別した場合に、監視対象物を画面表示する。
【００２６】
[動作の説明]
図２は、以上のように構成された本発明のエリア警戒自動識別監視システムの動作手順を示すフローチャートである。以下、図２に沿い、かつ図３〜図１６参照しながら、このエリア警戒自動識別監視システムの動作について説明する。
【００２７】
先ず、対象物取込検出装置１０のＡ／Ｄ変換部１１は、カメラ１でキャプチャしたアナログ映像信号をデジタル映像信号に変換処理する（図２のステップＳ１）。次に、画像処理部１２は、例えば、埠頭の風景を写したデジタル映像信号（カラー）の元画像を白黒化（２値化）し、更に映像情報の輪郭を際立たせるための補正を行って細分化処理する（図２のステップＳ２）。この輪郭補正は、白黒化した画像データを反転させて、色の濃淡の差を抽出し、濃いところを強調し、細かいノイズ（薄い点等）を排除して行なう。
【００２８】
警戒エリア指定部１３は、このような映像情報内の警戒したいエリアを指定処理する（図２のステップＳ３）。この指定は、例えば四角形でエリアを指定する場合は、４つの角の座標を指定して行なう。
【００２９】
動体検知部１４は、輪郭補正された画像の警戒エリア内にて動体を検知する（図２のステップＳ４）が、動体検知が無い場合は（図２のステップＳ５）、処理を最初（図２のステップＳ１）から繰り返し実施する。図３は、動体検知を説明するための第１の図であり、警戒エリア指定１３にて指定した警戒エリア内の人物画像を細分化することを示している。
【００３０】
図４は、動体検知を説明するための第２の図である。画像フレームは、図４（Ａ）に示すように時間と共に更新されている。図４（Ｂ）は、このような画像フレームから取り出した、人の顔を写した１つの画像フレームを示す。このような画像フレームを例えば４５０ブロックに分割し、各ブロックを図４（Ｃ）に示すように例えば６４ピクセルに分割する。
【００３１】
動体検知部１４は、現在の画像フレームと過去の６画像フレームの合計７画像フレームについて、同じ座標ピクセルを調べる。その結果、４つ以上同じ場合は「変化無し」のピクセルと判断する。違っていた場合には「動体」と判断する。これを画面上の全ピクセルについて処理を行い、８×８ピクセルにして計算を行う。この６４ピクセルのうち２５ピクセル以上（設定により変更できる）が白だった場合は、このブロックを動いているブロックを判断する。動いているブロックが２５ブロック以上（設定により変更できる）だった場合は動体認識とし、対象物検出装置２０へ送信する。
【００３２】
対象物検出装置２０では、ざわつき排除部２１が映像内のざわつき（木の揺れ、波等）を排除処理する（図２のステップＳ６）。図５は、ざわつき排除処理を説明するための模式図である。図５（Ａ）は登録してある、ざわつきパターン（パターンブレ成分）の例であり、図５（Ｂ）に示すように、画像がこのようなパターンブレ成分ρ(X,Y)と動体φ(X,Y)の合成である場合、登録してあるパターンブレ成分と画像内で一致したパターンブレ成分ρ(X,Y)を排除する。動体は排除対象外とする。なお、ざわつきが大きい場合には、図３で説明した細分化の単位を大きくして誤検出を減らす動作を行う。
【００３３】
図６は、ざわつき排除処理を説明するための、より現実的な図である。ここでは、図６（Ａ）に示すように、パターンブレ成分ρ(X,Y)として雨や雪、動体φ(X,Y)として人の顔を示している。図６（Ｂ）に示すように、雨や雪の画像上における存在確率は画面上の位置に拘わらず一定であるのに対して、人の顔の画像上における存在確率は、図６（Ｃ）に示すように、画面中央部が高い。従って、このような存在確率の特性によりパターンブレ成分等の動体の物体以外を排除することもできる。
【００３４】
次に、監視対象識別部２２はざわつきの排除された映像について監視対象物識別処理を行う（図２のステップＳ７）。動体検知処理（図２のステップＳ４）された物が、登録されている監視対象物パターンに当てはまらない場合は（図２のステップＳ８）、監視対象物以外は監視対象外排除部２３にて排除処理して最初（図２のステップＳ１）から繰り返し実施する。
【００３５】
なお、監視対象物パターンは、画像ピクセルの一番外側にある頂点を抽出することにより得ることができる。例えば、人であれば縦長の長方形、自動車であれば横長の長方形、二輪車であれば三角形、船であれば台形様の図形で模擬する。このような大胆な模擬も、本エリア警戒自動識別監視システムが適用される環境に特化して考えれば、出現確率上妥当なものとして肯定することができる。
【００３６】
一方、監視対象物パターンに当てはまる場合は、動体検知物識別表示部３２が監視対象物（人，車，二輪，船など）を画面表示し（図２のステップＳ１０）、挙動不審パターン識別部２４は、監視対象識別部２２で識別処理された監視対象物の移動行動パターンが、挙動不審パターン登録部２５で登録処理された監視対象物の挙動不審パターンと一致するか識別処理する（図２のステップＳ１１）。
【００３７】
図７は、監視対象物の移動遷移を説明するための模式図である。図７では、人が画面の左下から上方、右方、車の間を下方、右方へと移動していることを矢印で示している。実際には、人はブロックとして取り扱われるので、そのブロックの軌跡を辿ることになる。このような矢印の結合から監視対象物の移動行動パターンを得ることができる。なお、監視対象物の移動行動パターンはピクセル単位に行なうこともできる。
【００３８】
厳密には、時間の経過とともに観測した複数の画像から、動体の移動方向と速度を求める解析手法として、オプティカルフロー法が周知である。オプティカルフロー法とは、動画像中の濃淡パターンの動き（ベクトル）を各画素点で表示したものである。図８は、挙動不審パターン識別部２４における動体の移動方向検出の概念を説明するための図である。
【００３９】
いま、図８（Ａ）に示すように、座標(ｘ,ｙ) に位置する濃淡パターンρの物体がδt 秒後に、座標(ｘ+δx,ｙ+δy) に移動したとすると、動体の移動方向は図８（Ｂ）に示すようにベクトル表示することができる。また、濃淡パターンρは移動の前後で変わらないため、ρ(ｘ,ｙ,ｔ)＝ρ(ｘ+δx,ｙ+δy,ｔ+δt )
挙動不審パターン識別処理（図２のステップＳ１１）の結果、監視対象物の移動行動パターンが挙動不審パターンに一致した場合（図２のステップＳ１２）、挙動不審発報部２６は発報処理する。これを受けて、表示装置３０の挙動不審表示部３１は発報内容を画面表示し、またブザー音やランプ点灯等で報知する。
【００４０】
一方、監視対象物の移動行動パターンが挙動不審パターン識別にて不一致または対象外パターンに一致した場合（図２のステップＳ１２）、パターン外排除部２７は、排除処理をして処理を最初（図２のステップＳ１）から繰り返し実施する。
【００４１】
図９〜図１６は、挙動不審パターン登録部２５によって登録される様々な挙動不審パターンを示す。パターンは複数登録することができる。検出設定時間は任意設定が可能とする。また、パターンはある程度のバラツキがあっても近い移動軌跡を識別対象として判断する。
【００４２】
図９は、電光型移動識別パターンを示す。このパターンは、電光型ジグザグ（ギザギザに折れ曲がって）移動し、移動軌跡が一定推移でない。図１０は、侵入禁止方向識別パターンを示す。このパターンは、ｘ方向にａからｂへ移動する様を表す。
【００４３】
図１１は、乗り越え動作識別パターン、すなわちｙ方向の所定の位置を越えるパターンである。図１２は、潜り抜け動作識別パターン、すなわちｙ方向の所定の位置を潜るパターンである。
【００４４】
図１３は、頻繁出没動作識別パターン、すなわち頻繁に上下に移動して出没し、隠れたり（消えたり）出たりする様を表す。上下移動検出時間は任意設定が可能とする。図１４は、伸縮移動動作識別パターン、すなわち人が屈み込み等伸縮移動動作する様を表す。移動時間検出は任意設定が可能とする。
【００４５】
以上に説明したように、このエリア警戒自動識別監視システムによれば、埠頭エリアを撮影する監視カメラからの映像情報からパターンマッチングおよびオプティカルフローパターンの一致により異常状態を検知して警報発報を発生することができる。
【００４６】
［産業上の利用可能性］
本発明は、埠頭監視システムへの適用を想定して記載したが、税関違法出入国者監視システム，駐車場入退場車数監視システム，店舗入退場者数監視システム，鉄道置き石監視システム，土砂崩れ災害監視システム，不審船監視システム，不法投棄監視システム，工場不法侵入監視システム，無人施設不法侵入監視システム，ダム河川監視システム等、より広範な防災・防犯・セキュリティ現場に適用することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明のエリア警戒自動識別監視システムを示すブロック図
【図２】本発明のエリア警戒自動識別監視システムの動作手順を示すフローチャート
【図３】動体検知を説明するための第１の図
【図４】動体検知を説明するための第２の図
【図５】ざわつき排除処理を説明するための模式図
【図６】ざわつき排除処理を説明するための、より現実的な図
【図７】監視対象物の移動遷移を説明するための模式図
【図８】挙動不審パターン識別部における動体の移動方向検出の概念を説明するための図
【図９】第１の挙動不審パターンを示す図
【図１０】第２の挙動不審パターンを示す図
【図１１】第３の挙動不審パターンを示す図
【図１２】第４の挙動不審パターンを示す図
【図１３】第５の挙動不審パターンを示す図
【図１４】第６の挙動不審パターンを示す図
【符号の説明】
【００４８】
１ カメラ
１０ 対象物取込検出装置
１１ Ａ／Ｄ変換部
１２ 画像処理部
１３ 警戒エリア指定部
１４ 動体検知部
２０ 対象物検出装置
２１ ざわつき排除部
２２ 監視対象識別部
２３ 監視対象外排除部
２４ 挙動不審パターン識別部
２５ 挙動不審パターン登録部
２６ 挙動不審発報部
２７ パターン外排除部
３０ 表示装置
３１ 挙動不審表示部
３２ 監視対象物識別表示部
【特許請求の範囲】
【請求項１】
監視対象物パターンを登録し、撮影された映像からパターンマッチングの画像処理技術を用いて監視対象物を識別処理する監視対象識別部と、
前記識別処理の結果により監視対象物以外を映像から排除処理する監視対象外排除部を設けたことを特徴とするエリア警戒自動識別監視システム。
【請求項２】
前記登録する監視対象物パターンは、監視対象物の画像ピクセルの一番外側にある頂点を抽出して接続した模擬図形とすることを特徴とする請求項１記載のエリア警戒自動識別監視システム。
【請求項３】
排除対象となる、ざわつきパターンを登録し、映像内のざわつきが前記ざわつきパターンと一致すると、パターンマッチングの画像処理技術を用いて、それを排除処理するざわつき排除部を設けたことを特徴とする請求項２または請求項２記載のエリア警戒自動識別監視システム。
【請求項４】
前記監視対象物の挙動不審パターンを登録処理する挙動不審パターン登録部と、
前記監視対象識別部で識別処理された監視対象物の移動行動パターンが、前記登録処理された監視対象物の挙動不審パターンと一致するかオプティカルフローの画像処理技術を用いて識別処理する挙動不審パターン識別部と、
前記識別処理の結果により前記監視対象物の移動行動パターンが前記挙動不審パターンに一致すると発報処理する挙動不審発報部を設けたことを特徴とする請求項３ないし請求項３のいずれかに記載のエリア警戒自動識別監視システム。
【請求項５】
前記監視対象物の移動行動パターンは、前記映像画面を分割したブロックまたはピクセルの遷移を辿ることにより得ることを特徴とする請求項４記載のエリア警戒自動識別監視システム。
【請求項１】
監視対象物パターンを登録し、撮影された映像からパターンマッチングの画像処理技術を用いて監視対象物を識別処理する監視対象識別部と、
前記識別処理の結果により監視対象物以外を映像から排除処理する監視対象外排除部を設けたことを特徴とするエリア警戒自動識別監視システム。
【請求項２】
前記登録する監視対象物パターンは、監視対象物の画像ピクセルの一番外側にある頂点を抽出して接続した模擬図形とすることを特徴とする請求項１記載のエリア警戒自動識別監視システム。
【請求項３】
排除対象となる、ざわつきパターンを登録し、映像内のざわつきが前記ざわつきパターンと一致すると、パターンマッチングの画像処理技術を用いて、それを排除処理するざわつき排除部を設けたことを特徴とする請求項２または請求項２記載のエリア警戒自動識別監視システム。
【請求項４】
前記監視対象物の挙動不審パターンを登録処理する挙動不審パターン登録部と、
前記監視対象識別部で識別処理された監視対象物の移動行動パターンが、前記登録処理された監視対象物の挙動不審パターンと一致するかオプティカルフローの画像処理技術を用いて識別処理する挙動不審パターン識別部と、
前記識別処理の結果により前記監視対象物の移動行動パターンが前記挙動不審パターンに一致すると発報処理する挙動不審発報部を設けたことを特徴とする請求項３ないし請求項３のいずれかに記載のエリア警戒自動識別監視システム。
【請求項５】
前記監視対象物の移動行動パターンは、前記映像画面を分割したブロックまたはピクセルの遷移を辿ることにより得ることを特徴とする請求項４記載のエリア警戒自動識別監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−１５２５８６（Ｐ２００８−１５２５８６Ａ）
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願番号】特願２００６−３４０６１０（Ｐ２００６−３４０６１０）
【出願日】平成１８年１２月１８日（２００６．１２．１８）
【出願人】（３０３０１３７６３）ＮＥＣエンジニアリング株式会社 (651)
【Ｆターム（参考）】
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願日】平成１８年１２月１８日（２００６．１２．１８）
【出願人】（３０３０１３７６３）ＮＥＣエンジニアリング株式会社 (651)
【Ｆターム（参考）】
[ Back to top ]