監視領域制御方法
【課題】 監視システムと警備員が存在する監視環境において、監視の隙を作らない事と、撮影する映像中で不要なパン／チルト／ズームを軽減する事の二つを両立させる。
【解決手段】 監視システムが監視領域内での異常状態を検知し、警備員の注目領域を検知した場合に、警備員の注意が払われていない領域が監視領域となるようにパン／チルト／ズーム処理を実行することにより、監視の隙を作らない事と、撮影する映像中で不要なパン／チルト／ズームを軽減する事の二つを両立する事を可能とした。
【解決手段】 監視システムが監視領域内での異常状態を検知し、警備員の注目領域を検知した場合に、警備員の注意が払われていない領域が監視領域となるようにパン／チルト／ズーム処理を実行することにより、監視の隙を作らない事と、撮影する映像中で不要なパン／チルト／ズームを軽減する事の二つを両立する事を可能とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は監視システムにおける監視領域の制御に関し、特に警備員の注意が集中している方向を検知して監視領域全体を制御する監視領域制御方法に関する。
【背景技術】
【０００２】
複数台の監視カメラと中央管理サーバをネットワークでつなぎ、各監視カメラへの制御を中央管理サーバで管理する監視システムを構築することは一般的である。特に監視領域において異常が発生した場合に、中央管理サーバが異常状態の解析を行うように監視カメラを制御する技術が提案されている。例えば、特許文献１においては、異常状態を検知した場所の近くにある監視カメラを中央管理サーバで操作する事により、監視システムが自動で撮影を制御する手法が提案されている。
【０００３】
また、複数の監視カメラが連動しながら監視領域を補うといった技術も提案されている。例えば特許文献２では、二台のカメラによる監視システムにおいて、一台のカメラが望遠側へのズーム処理を開始した際に、もう一台のカメラが広角側にズームを制御する。これにより望遠側にズームすることで失われる撮影領域を補う手法が提案されている。
【０００４】
さらに、監視システムが導入されている監視領域においては、監視カメラだけでなく警備員が配置されているということも一般的である。監視システムによる監視だけでなく、より柔軟な判断能力を持つ人間を監視に利用することで、監視の質を高めることが可能になる。
【０００５】
近年カメラ関連の分野では、カメラ自体に様々な認識機能が搭載されるようになってきている。
【０００６】
例えば、デジタルスチルカメラでは撮影した画像から被写体の顔情報を抽出する技術が幅広い製品に搭載されている。さらに予め人の顔を登録しておくことにより撮影されている個人を特定する技術も搭載されている。また、顔の向きに寄らない認識技術なども特許文献３において実現することが可能になっている。
【０００７】
また、撮影した映像から人の形を検出する人体検出の技術も提案されている。例えば特許文献４の技術を用いることにより撮影した映像から人の肌色を抽出する事により画面内における人体の位置を正確に検出する手法が提案されている。
【０００８】
さらに、認識技術として音声認識などの技術も広く知られている。マイクなどを通して採取した音声データを解析することで、特定の特徴を持つ音声を抽出することが可能である。例えば特許文献５では、破壊音や罵声、悲鳴といった通常の音声とは異なる特殊な音声向けの辞書を用意する方法が提案されている。入力されてくる音声と特殊音声辞書を比較することで、予想される事態を知らせる特殊な音声を認識する技術が提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開2000-069455号公報
【特許文献２】特開2005-117635号公報
【特許文献３】特開2009-244921号公報
【特許文献４】特開平07-329639号公報
【特許文献５】特開2001-312292号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来技術から想定される監視システムにおいては、屋内において人の出入りなどがある度に、監視システム内の監視カメラのパン／チルト／ズームを制御することになる。このため監視システムが撮影した映像ではパン／チルト／ズームが頻発することで、見辛い映像になるという問題が存在する。
【００１１】
また、監視システムが設置される現場では、警備員が存在していることも多い。しかしながら、上記従来技術から想定される監視システムにおいては、警備員の存在を考慮した監視システムになっていないという問題も存在する。
【００１２】
本発明ではこれら問題に対し、監視システムと警備員が協調することにより、不要な監視カメラのパン／チルト／ズームの回数を減らすことにより、監視の質を落とすことなく撮影した映像の見辛さを軽減する技術を確立するということを課題としている。
【課題を解決するための手段】
【００１３】
監視領域制御方法であって、
パン／チルト／ズーム制御可能な三つ以上の複数の撮像手段を有し、
前記複数の撮像手段に対するパン／チルト／ズームを独立に制御するパン／チルト／ズーム制御手段と、
監視領域は、前記複数の撮像手段から構成され、
前記パン／チルト／ズーム制御手段を動作させることで、監視領域を修正する監視領域修正手段と、
前記監視領域内に存在する特定の人物を検知する人物検知手段と、
前記複数の撮像手段の少なくとも一つの撮像手段は、前記人物検知手段から得られる特定の人物を撮影する人物撮影手段を有し、
前記人物撮影手段の撮影対象となっている人物が注目している向きを検知する注目方向検知手段と、
前記複数の撮像手段により構成される監視領域において、発生した異常状態を検知する異常検知手段と
を有する監視領域制御方法であって、
監視領域制御制御手段は、
前記異常検知手段により、監視領域内において異常状態の発生を確認したことをきっかけとして、異常状態の確認のために、少なくとも一つの撮像手段に対してパン/チルト/ズーム制御を実行すると共に、
前記注目方向検知手段より得られる人物の注目方向以外の領域が監視領域に入るように、前記監視領域修正手段を動作させる事を特徴とする監視領域制御方法。
【発明の効果】
【００１４】
本発明を適用した監視システムにおいては、監視システムが検知した異常状態に加え、警備員の注意が払われている方向も加味した上で、監視システムが監視カメラへのパン／チルト／ズームを制御することが可能である。これより、警備員の監視行動を確認しながら、パン/チルト/ズームを実行することになる。
【００１５】
つまり、監視システムと警備員とが協調することで監視の質を保ちながらも、監視カメラのパン／チルト／ズームが操作の回数を軽減させることができる。結果的に、監視の質の維持と見やすい映像の撮影を両立させることができるという効果がある。
【図面の簡単な説明】
【００１６】
【図１−Ａ】本発明の実施例における監視空間の変化を説明した図であって、定常状態における監視システムの構成図である。
【図１−Ｂ】本発明の実施例における監視空間の変化を説明した図であって、監視領域内に異常が発生した際に起こり得る監視システムの変化を示したシステム図である。
【図１−Ｃ】本発明の実施例における監視空間の変化を説明した図であって、監視領域が修正された結果を示した図である。
【図２】本発明の実施例における監視カメラのブロック図である。
【図３】本発明の実施例における管理サーバのブロック図である。
【図４−１】本発明の実施例における監視カメラと管理サーバが従うシーケンス図であって、管理サーバが従う通常シーケンスである。
【図４−２】本発明の実施例における監視カメラと管理サーバが従うシーケンス図であって、監視領域を構築する監視カメラが従うシーケンス処理である。
【図４−３】本発明の実施例における監視カメラと管理サーバが従うシーケンス図であって、警備員を監視する監視カメラが従うシーケンス処理である。
【図４−４】本発明の実施例における監視カメラと管理サーバが従うシーケンス図であって、図４−１において管理サーバがS4107において異常情報を取得した際に開始する処理を示したシーケンス図である。
【図５】本発明の実施例における管理サーバが受信した映像を記録するフォルダ構成を示した図である。
【図６】本発明の実施例における監視カメラが異常状態を示すために管理サーバに送信する際のデータ形式である。
【図７】本発明の実施例における監視カメラが警備員の顔情報を管理サーバに送信する際のデータ形式である。
【図８】本発明の実施例における監視カメラが顔の向きを通知するために内部で管理している顔の向きに関する辞書データである。
【発明を実施するための形態】
【００１７】
［実施例１］
図１−Ａ乃至図１−Ｃは本発明を適用した監視システムのシステム構成図である。監視カメラ11,12,13,14と、スイッチングハブ15と管理サーバ16から構成される監視システムと警備員17が監視空間10に存在している。
【００１８】
図１−Aは定常状態における監視システムの構成図である。監視カメラ11,12,13により基本的な監視領域が構築されている。各監視カメラ11,12,13に対応する監視領域11´,12´,13,´が、部屋の中全体を監視領域としている様子が見て取れる。監視カメラ11,12,13で撮影された映像はネットワークを経由して管理サーバ16に送られ、蓄積されている。また、監視カメラ11,12,13には撮影している映像を解析することで、撮影映像から動体／不動体の存在を検出する動体／不動体検知機能が搭載されている。監視カメラ11,12,13は常時撮影した映像を解析し、動体／不動体を検知した時点で検知情報を管理サーバ16に送信する。
【００１９】
監視カメラ14は警備員17を監視する目的の監視カメラである。監視領域14´が警備員を捉えている様子が見て取れる。監視カメラ14には、撮影した画像を解析して画像中から顔情報を検知し、特定の人物の顔を探す機能が搭載されている。内蔵メモリーに警備員17の顔情報を保持することで、警備員17を継続的に監視することが可能である。取得した顔情報はネットワークを経由して管理サーバ16に送られている。
【００２０】
スイッチンハブ15は監視システム内のやり取りを中継する役割を果たしている。監視カメラ11,12,13,14からの情報を管理サーバ16に送信する。または、管理サーバ16からの情報を監視カメラ11,12,13,14に送信するという役目を担っている。
【００２１】
管理サーバ16は、監視システムを統合管理する役目を担っている。監視カメラ11,12,13から送られてくる映像を記録する。監視カメラ11,12,13からの動体／不動体の情報や監視カメラ14からの顔情報を受け取る。そして必要に応じて各監視カメラに対してパン／チルト／ズーム処理を要求する。以上のような役割を担っている。
【００２２】
警備員17は図１に示す部屋を警備するために配置されている人間である。人の持つ判断の柔軟性を生かし、監視カメラと管理サーバ16からなる監視システムと連携しながら監視を行っている。
【００２３】
出入り口18は、人が監視空間10内に出入りすることができる扉である。
【００２４】
図１−Bは、監視領域内に異常が発生した際に起こり得る監視システムの変化を示したシステム図である。監視カメラ13の監視領域内に不審物が置かれたことを動体／不動体検知機能を活用して検知し、その情報を管理サーバ16に送信する。監視カメラ13が、管理サーバ16からの要求にしたがって不審物を大きく撮影するように撮影領域13´を変更している様子が見て取れる。これにより、出入り口18が監視領域13´から外れてしまっていることも見て取れる。また、警備員17も不審物に対して注意を払っている様子が見て取れる。監視空間10内に不審物が現れたことにより、監視空間10内に変化が起こっている様子が見て取れる。
【００２５】
図１−Cは、本実施例における図４のシーケンス処理の結果として、監視領域11´,12´が修正された結果を示した図である。監視カメラ11,12が、管理サーバ16からの要求に従い、監視領域を修正することにより、監視カメラ13が不審物への解析撮影を継続しながらも、図１−Bにおいて監視対象から外れていた出入り口18が監視対象に入っている様子が見て取れる。
【００２６】
図2は本発明における監視カメラ11,12,13,14を構成する機能をブロック単位で表現したブロック図である。201は撮像素子である。レンズを通して入力されてくる光を電気的な信号への変換することが可能である。202は撮像制御部である。撮像素子201からの電気信号の入力をデジタルデータに変換することが可能である。203はCPU（中央演算処理装置）である。各モジュールへの制御や、各モジュールから得られる情報を元に演算処理をおこなうことが可能である。また、CPU203は本実施例においてソフトウェアでの実装を想定している動体／不動体検知や顔認識の処理を実行することが可能である。
【００２７】
204は映像処理部である。撮像制御部202より送られてくる撮像データを処理する事により、決められた形式の動画データを生成することが可能である。
【００２８】
205は記録制御部である。CPU203からの命令に従い、記録媒体への各種設定データなどの読み出しや書き込みを制御することが可能である。206は記録媒体である。記録制御部から要求されるデータの読み出したり、記録したりする事が可能である。
【００２９】
207はメモリー制御部である。CPU203からの命令に従い、メモリーへのデータの一時記録や、一時記録されているデータの読み出しを制御することが可能である。208はメモリーである。監視カメラの内部状態や、処理待ちの動画データを一時的に保存しておくことが可能である。
【００３０】
209は通信制御部である。CPU203からの命令に従い、通信装置内のデータを通信物理層210に送出、または通信物理層部210で受信したデータを通信装置内に読み込むための処理を制御する。210は通信物理層部である。外部機器との間で実際にデータの送受信を行うことが可能である。本実施例においては、撮影した映像データや、動体／不動体検知に関する情報、そして警備員17の顔情報などを管理サーバ16に送信することが可能である。
【００３１】
図3は本発明における管理サーバ16を構成する機能をブロック単位で表現したブロック図である。301はCPU（中央演算処理装置）である。各モジュールへの制御や、各モジュールから得られる情報をもとに演算処理をおこなうことが可能である。また、CPU301は本実施例における管理サーバ16のソフトウェア処理を実行することが可能である。
【００３２】
302は記録制御部である。CPU301からの命令に従い、ネットワーク経由で受信した映像データを記録媒体に記録するための書き込み制御することが可能である。303は記録媒体である。記録制御部から要求されるデータの読み出したり、記録したりする事が可能である。
【００３３】
304はメモリー制御部である。CPU301からの命令に従い、メモリー305に対するデータの一時記録や、一時記録されているデータの読み出しを制御することが可能である。305はメモリーである。管理サーバ16の内部状態や、処理待ちのデータを一時的に保持することが可能である。
【００３４】
306は通信制御部である。CPU301からの命令に従い、通信装置内のデータを通信物理層307に送出、または通信物理層部307で受信したデータを通信装置内に読み込むための処理を制御する。307は通信物理層部である。外部機器との間で実際にデータの送受信を行うことが可能である。本実施例においては、監視カメラ11,12,13,14から送られてくる映像データや、動体／不動体検知に関する情報、そして警備員17の顔情報などを受信することが可能である。
【００３５】
図４は本発明を適用した監視システムが従うシーケンス図である。
【００３６】
図４−１は、管理サーバ16が従う通常シーケンスである。S4100で管理サーバが起動されることで処理が開始される。S4101では通信部307においてデータの受信の有無を確認する。データを受信しなかった場合には、S4101の処理を繰り返す。逆にデータの受信を確認した場合には,S4102に移行する。S4102では受信したデータが顔情報に関するデータであったか否かの判定が行なわれる。顔情報のデータは監視カメラ14から定常的に送られてくる情報である。顔情報は図7に示す構造をしており、「顔情報の有無」、「位置情報」と顔の向きに関する「向き番号」情報が送られてくる。詳細についてはS4307で後述する。顔情報であると確認された場合はS4103に移行する。S4103では顔情報から、顔位置が画面の中心に来るように監視カメラ14に対してパン／チルト／ズーム要求を送信するこれにより、監視カメラ14では警備員の顔を常に捉えつづける事ができるのである。S4103が完了した時点でS4101の処理に戻る。
【００３７】
S4102で顔情報ではないと判断された場合はS4104に移行し、S4101での受信データが監視カメラ11,12,13からの映像データか否かの判定が行なわれる。映像データあると判定された場合にはS4105に移行し、記録媒体303内で監視カメラ毎に管理している映像ファイルに記録される事になる。例えば、図５のような形式が考えられる。日付をファイル名するフォルダをルートフォルダとして、その配下に各監視カメラ名のついたフォルダが用意されている。各監視カメラの映像は、対応するフォルダに映像ファイルとして記録される。本実施例においては、６時間単位で動画が記録されている様子が見て取れる。
【００３８】
S4104で映像データではないと判断された場合はS4106に移行し、S4101での受信データが異常情報か否かの判定が行なわれる。本実施例において異常情報とは監視カメラ11,12,13から送られている動体／不動体情報のことである。動体／不動体情報に関しては図4-2の各監視カメラのシーケンス図を説明で述べる。異常情報であると判断された場は、S4107に移行する。S4107の処理は図4-4に相当するため後述する。S4107の処理が完了したらS4101に移行する。S4106で異常情報でもないと判断あれた場合は、本実施例の対象外のデータであるのでS4108では対応する処理を実行し、S4101へ移行する。
【００３９】
管理サーバ16は通常時、このS4101からS4108までのループ処理を実行している。
【００４０】
図４−２は図１のシステム構成図において、監視領域を構築する監視カメラ11,12,13が従うシーケンス処理である。S4200において監視カメラが起動されることで処理が開始される。S4201では、管理サーバ16に記録してもらうための映像データの送信を実行する。S4202では、管理サーバ16からのパン／チルト／ズーム要求を受信したか否かの判定処理が行なわれる。S4402で後述するが、管理サーバ16は監視カメラ11,12,13から異常情報を受信した場合に、対応する監視カメラに対してパン／チルト／ズーム制御要求を発行する。この要求を受け取った場合は、S4203において管理サーバ16の要求に従いパン／チルト／ズーム処理を実行し、S4204へ移行する。S4202でデータを受信しなかった場合にはS4204へ直接移行することになる。
【００４１】
次にS4204において、撮影中の映像に対する映像解析処理を実行する。映像解析処理としては、撮影映像の前後のフレームを比較し差分を取ることにより、その違いから物体を検出するフレーム間差分を使用する方法が考えられる。また、基準画像を設定し、基準画像と撮影画像との差分を比較する事で、その違いから物体を検出する背景差分技術などを使用する方法も考えられる。そうした画像から物体を検知する技術を基盤に、得られた物体が動体／不動体の特徴を満たしているかを、予め設定しておいたルールと照らし合わせることで、動体／不動体の判定を実施する。これにより、撮影映像の中から動体／不動体の検知を行うことができるのである。次にS4205では、S4204における映像解析の結果として画面内に物体の存在が認められたか否かの判定が行なわれる。S4204において物体の確認が行なわれていた場合はS4206へ移行する。逆にS4204において何も検知されていなかった場合は、最初のS4201の処理に戻る。S4206では、S4204での映像解析の結果動体／不動体の存在が確認できたか否かの判定が行なわれる。動体／不動体の存在を確認できなかった場合は、最初のS4201の処理に戻る。逆に動体／不動体の存在を確認できた場合にはS4207に移行する。S4207では動体／不動体の情報を異常情報として管理サーバ16に送信する処理が行なわれる。送信する情報としては図６に示すような情報が想定される。検知した物体の「識別番号」、「動体」を示す情報のOn/Off,「不動体」を示す情報のOn/Off,対象とした物体の「位置情報」が検出した動体／不動体毎に異常情報として送信されることを意味している。
【００４２】
以上のS4201からS4207までのループ処理を、監視カメラ11,12,13は繰り返している。
【００４３】
図4-3は、図１のシステム構成図において、警備員17を監視する監視カメラ14が従うシーケンス処理である。S4300において監視カメラが起動されることで処理が開始される。S4301では、管理サーバ16に記録してもらうための映像データの送信を実行する。S4302では、管理サーバ16からのパン／チルト／ズーム要求を受信したか否かの判定処理が行なわれる。先のS4103において説明した通り、管理サーバ16は監視カメラ14に対して警備員の顔を画面の中心に来るように常にパン／チルト／ズーム制御要求を発行してくる。この要求を受け取った場合は、S4303において管理サーバ16の要求に従いパン／チルト／ズーム処理を実行し、S4304へ移行する。S4302でデータを受信しなかった場合にはS4304へ直接移行することになる。
【００４４】
次にS4304において、撮影中の映像に対する映像解析処理を実行する。ここで映像解析処理とは顔検知処理のことである。近年デジタルスチルカメラやデジタルビデオカメラに搭載されてきており、撮影映像の中から人の顔の特徴領域を抽出してくれる。現在では非常に一般的な技術である。次にS4305において、S4304での顔検知処理の結果として画面内に人の顔が存在していたか否かの判定処理が行なわれる。顔情報がないと判断された場合にはS4307に移行し、顔情報が検知されなかったことを管理サーバ16に通知する。逆に顔情報の存在を確認した場合にはS4306に移行し、今度は検知された顔情報の中に警備員17の顔情報が存在するか否かの判定が行われる。ここで、警備員17の顔の存在を確認するために顔認識技術の利用を想定する。顔認識技術とは予め登録した人の目と鼻の三角形の比率や、口の顔の特徴量を抽出し、その比率などから個人を特定する技術である。この顔認識において、個人を特定するための認識精度を高める技術も様々提案され生体認証の分野で広く使われてきた技術である。特許文献3のような顔認識の技術を使用することにより、顔の向きに関わらず個人を特定する事が可能である。最後にS4307では、S4306で得られた結果を管理サーバ16に送信する処理が行われる。実際に管理サーバ17に送信する情報としては、図７のような情報が考えられる。画面内で顔を検知した位置と、図８に示すような予め決められている様々な顔の向きに対応している識別番号の情報を送るのである。図1-Bの状態を想定すると、監視員17が監視空間10内に存在する不動体に意識が言っている様子を監視カメラ14が天井から撮影している。このため「向き番号」としては「５」を送信することを意味している。
【００４５】
以上のS4301からS4307までのループ処理を、監視カメラ14は繰り返している。
【００４６】
図４−４は、図４−１において管理サーバ16がS4107において異常情報を取得した際に開始する処理を示したシーケンス図である。S4400において、異常を検知した際に対応する処理が開始される。S4401ではS4101で取得した異常情報から動体／不動体の位置情報の抽出が行われる。異常情報は図のフォーマットに従い、S4207において監視カメラ11,12,13の何れかにより送られてきたものである。本実施例においては図1-Bに示すように監視カメラ13が画面内で不動体の存在を検知し、送信してきた情報であることを想定している。次にS4402において、S4401で取得した動体／不動体の位置情報をもとに送信してきた監視カメラに対してパン／チルト／ズーム制御の要求を送信する。ここで送信するパン／チルト／ズーム制御は、検出された動体／不動体が画面の中心に来るように制御する要求となっている。つまりこの要求に対し、対象となる監視カメラがS4203を実行することにより、図１で監視カメラ11,12,13が構築している監視領域が変化してしまうことを意味している。
【００４７】
本実施例においては、図１−Bに示すように監視カメラ13が検知した不動体を画面内に大きく捉えるように撮影領域を変更している様子が見て取れる。これにより、撮影領域13´が変更され、監視空間10内の監視領域が変化してしまっている。次にS4403において、警備員監視用の監視カメラ14から警備員の顔情報が送られてくるのを待機する。監視カメラ14は定常的に顔情報を送信しているため受信するまで待機する。受信した時点でS4404へ移行し、警備員の顔情報が存在するかいなかの判定が行われる。警備員の顔情報の存在が確認できなかった場合はS4411へ移行し、監視カメラ14が最後に顔情報を認識した位置に移動するようにパン／チルト／ズーム制御要求を送信する。監視カメラ14をランダムにパン／チルト／ズーム制御させる。このS4403からS4411までの処理を警備員の顔情報が検知されるまで繰り返すことにより、確実に警備員の顔情報を検出する。S4404で警備員の顔情報の存在を確認した時点でS4405へ移行する。S4405では顔の向きに関する情報を抽出する。S4406では顔の向きが前回と同じであるか否かの判定が行われる。同じであると判定された場合はS4407に移行し、内部のカウンタをインクリメントする。逆に同じでないと判断された場合にはS4412に移行し、カウンタを初期化してS4401の処理に戻る。S4407を実行した後は、S4408に移行しカウンタの値が閾値を越えたか否かの判定を行う。閾値を超えていると判断した場合はS4409へ移行する。逆に閾値をまだ越えていないと判断された場合はS4401の処理に戻る。S4409に至った時点で、S4203で述べたように、監視領域が通常状態から変化しており、且つ監視員17の注意も一点に集中している状態に陥ったことを意味している。この状況に至った時点で、管理サーバ17はS4402で解析行動を取っている以外のどの監視カメラに対してパン／チルト／ズーム制御処理を送信する対象となる監視カメラの選定を行う。
【００４８】
本実施手例においては、図1-Bに示すよう出入り口18の監視が疎かになる事が想定されるため、4402において解析行動を取っている監視カメラ13と、監視カメラ14以外の監視カメラ11,12がパン／チルト／ズーム制御対象とすることを想定する。次にS4410において、S4409において対象とした監視カメラに対して監視領域の修正を行うためのパン／チルト／ズーム制御要求を送信する。これによりS4402とS4407により発生した監視の弱点を埋めるように監視領域が変更される。
【００４９】
本実施例においては図1-Cにおいて監視領域が修正された様子を示した。こうした、監視領域の修正を行うためのパン／チルト／ズーム制御要求は、S4402において解析行動に入ったカメラに応じて、他のカメラのパン／チルト／ズーム制御内容を予め決めておくことが考えられる。本実施例においては、監視カメラ13が解析行動に入った場合、出入り口18に監視の隙ができてしまうことが想定される。このため、監視カメラ13が解析行動に入った場合の、監視カメラ11,12へのパン／チルト／ズーム制御は予め決め図１−Cの監視領域11´,12´になるように決められていることを意味している。同じように監視カメラ11,12がS4402において解析行動に入った場合の、他の監視カメラへのパン／チルト／ズーム制御をルール化しておくのである。これにより、図1-Bにおいて発生した出入り口18が監視対象から外れてしまうといった監視の弱点を埋めることができるのである。
【００５０】
以上の処理により、監視カメラが検知する動体／不動体の存在といった異常状態と、監視員16の注意が一点に集中しているという条件において、監視システムの監視領域を修正することができる。つまり、監視システムと人間である警備員が連動しながら監視領域の修正を行うことにより、本当に必要なタイミングでのみ監視領域の修正を行うことが可能になるのである。
【００５１】
本実施例においては、異常状態の検知方法として監視カメラ11,12,13に実装されている動体／不動体検知機能による検知結果を用いる例を説明した。しかしながら、これ以外に異常状態を検知する方法も考えられる。たとえば、図１の監視カメラ11,12,13,14に音声データを取得するマイクを導入し、CPU203に音声解析を実行するソフトウェアを実装する方法が考えられる。特許文献5のように、記録媒体206に予想される事態の状態を示す音声データを音声辞書として登録しておき、マイクから取得した音声データと、予想される事態の状態を示す音声データと比較することにより、監視空間10内に予想される事態が発生したか否かを判断することが可能である。そして、この予想される事態が発生したことを異常状態と判断する事により、異常状態の検知方法とすることも当然可能である。
【００５２】
本実施例においては、警備員17の注意が向いている方向として顔の向きを例に説明したが、警備員17の移動している方向から判定しても構わない。撮影した映像を解析することにより、人体を検出する技術は広く研究されている。特許文献４のような技術を使うことにより撮影映像から人体として警備員を抽出し、抽出した警備員１7が一定の方向にむかって動いているときにその方向を注目方向として判断する事が可能になる。また、抽出した人体が画面内を移動する速度を計測し、一定の速度以上で動いている場合に、移動方向を注目方向として検知する手法も当然可能である。
【００５３】
また、警備員17の注目方向を検知する手法として、警備員17自身に位置情報を知らせる位置情報通知機器、例えばGPSのようなものを身に付けさせる手法も考えられる。この位置情報を取得する機器が常に警備員17の位置情報を、管理サーバ16とが通信をすることで常に警備員17の位置を追跡するのである。このシステムにおいて、警備員17が一定方向に動いている時にその向きを警備員17の注目方向として判断することが可能になる。
【符号の説明】
【００５４】
11,12,13,14 監視カメラ
11´,12´,13´,14´ 監視カメラの監視領域
15 スイッチングハブ
【技術分野】
【０００１】
本発明は監視システムにおける監視領域の制御に関し、特に警備員の注意が集中している方向を検知して監視領域全体を制御する監視領域制御方法に関する。
【背景技術】
【０００２】
複数台の監視カメラと中央管理サーバをネットワークでつなぎ、各監視カメラへの制御を中央管理サーバで管理する監視システムを構築することは一般的である。特に監視領域において異常が発生した場合に、中央管理サーバが異常状態の解析を行うように監視カメラを制御する技術が提案されている。例えば、特許文献１においては、異常状態を検知した場所の近くにある監視カメラを中央管理サーバで操作する事により、監視システムが自動で撮影を制御する手法が提案されている。
【０００３】
また、複数の監視カメラが連動しながら監視領域を補うといった技術も提案されている。例えば特許文献２では、二台のカメラによる監視システムにおいて、一台のカメラが望遠側へのズーム処理を開始した際に、もう一台のカメラが広角側にズームを制御する。これにより望遠側にズームすることで失われる撮影領域を補う手法が提案されている。
【０００４】
さらに、監視システムが導入されている監視領域においては、監視カメラだけでなく警備員が配置されているということも一般的である。監視システムによる監視だけでなく、より柔軟な判断能力を持つ人間を監視に利用することで、監視の質を高めることが可能になる。
【０００５】
近年カメラ関連の分野では、カメラ自体に様々な認識機能が搭載されるようになってきている。
【０００６】
例えば、デジタルスチルカメラでは撮影した画像から被写体の顔情報を抽出する技術が幅広い製品に搭載されている。さらに予め人の顔を登録しておくことにより撮影されている個人を特定する技術も搭載されている。また、顔の向きに寄らない認識技術なども特許文献３において実現することが可能になっている。
【０００７】
また、撮影した映像から人の形を検出する人体検出の技術も提案されている。例えば特許文献４の技術を用いることにより撮影した映像から人の肌色を抽出する事により画面内における人体の位置を正確に検出する手法が提案されている。
【０００８】
さらに、認識技術として音声認識などの技術も広く知られている。マイクなどを通して採取した音声データを解析することで、特定の特徴を持つ音声を抽出することが可能である。例えば特許文献５では、破壊音や罵声、悲鳴といった通常の音声とは異なる特殊な音声向けの辞書を用意する方法が提案されている。入力されてくる音声と特殊音声辞書を比較することで、予想される事態を知らせる特殊な音声を認識する技術が提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開2000-069455号公報
【特許文献２】特開2005-117635号公報
【特許文献３】特開2009-244921号公報
【特許文献４】特開平07-329639号公報
【特許文献５】特開2001-312292号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来技術から想定される監視システムにおいては、屋内において人の出入りなどがある度に、監視システム内の監視カメラのパン／チルト／ズームを制御することになる。このため監視システムが撮影した映像ではパン／チルト／ズームが頻発することで、見辛い映像になるという問題が存在する。
【００１１】
また、監視システムが設置される現場では、警備員が存在していることも多い。しかしながら、上記従来技術から想定される監視システムにおいては、警備員の存在を考慮した監視システムになっていないという問題も存在する。
【００１２】
本発明ではこれら問題に対し、監視システムと警備員が協調することにより、不要な監視カメラのパン／チルト／ズームの回数を減らすことにより、監視の質を落とすことなく撮影した映像の見辛さを軽減する技術を確立するということを課題としている。
【課題を解決するための手段】
【００１３】
監視領域制御方法であって、
パン／チルト／ズーム制御可能な三つ以上の複数の撮像手段を有し、
前記複数の撮像手段に対するパン／チルト／ズームを独立に制御するパン／チルト／ズーム制御手段と、
監視領域は、前記複数の撮像手段から構成され、
前記パン／チルト／ズーム制御手段を動作させることで、監視領域を修正する監視領域修正手段と、
前記監視領域内に存在する特定の人物を検知する人物検知手段と、
前記複数の撮像手段の少なくとも一つの撮像手段は、前記人物検知手段から得られる特定の人物を撮影する人物撮影手段を有し、
前記人物撮影手段の撮影対象となっている人物が注目している向きを検知する注目方向検知手段と、
前記複数の撮像手段により構成される監視領域において、発生した異常状態を検知する異常検知手段と
を有する監視領域制御方法であって、
監視領域制御制御手段は、
前記異常検知手段により、監視領域内において異常状態の発生を確認したことをきっかけとして、異常状態の確認のために、少なくとも一つの撮像手段に対してパン/チルト/ズーム制御を実行すると共に、
前記注目方向検知手段より得られる人物の注目方向以外の領域が監視領域に入るように、前記監視領域修正手段を動作させる事を特徴とする監視領域制御方法。
【発明の効果】
【００１４】
本発明を適用した監視システムにおいては、監視システムが検知した異常状態に加え、警備員の注意が払われている方向も加味した上で、監視システムが監視カメラへのパン／チルト／ズームを制御することが可能である。これより、警備員の監視行動を確認しながら、パン/チルト/ズームを実行することになる。
【００１５】
つまり、監視システムと警備員とが協調することで監視の質を保ちながらも、監視カメラのパン／チルト／ズームが操作の回数を軽減させることができる。結果的に、監視の質の維持と見やすい映像の撮影を両立させることができるという効果がある。
【図面の簡単な説明】
【００１６】
【図１−Ａ】本発明の実施例における監視空間の変化を説明した図であって、定常状態における監視システムの構成図である。
【図１−Ｂ】本発明の実施例における監視空間の変化を説明した図であって、監視領域内に異常が発生した際に起こり得る監視システムの変化を示したシステム図である。
【図１−Ｃ】本発明の実施例における監視空間の変化を説明した図であって、監視領域が修正された結果を示した図である。
【図２】本発明の実施例における監視カメラのブロック図である。
【図３】本発明の実施例における管理サーバのブロック図である。
【図４−１】本発明の実施例における監視カメラと管理サーバが従うシーケンス図であって、管理サーバが従う通常シーケンスである。
【図４−２】本発明の実施例における監視カメラと管理サーバが従うシーケンス図であって、監視領域を構築する監視カメラが従うシーケンス処理である。
【図４−３】本発明の実施例における監視カメラと管理サーバが従うシーケンス図であって、警備員を監視する監視カメラが従うシーケンス処理である。
【図４−４】本発明の実施例における監視カメラと管理サーバが従うシーケンス図であって、図４−１において管理サーバがS4107において異常情報を取得した際に開始する処理を示したシーケンス図である。
【図５】本発明の実施例における管理サーバが受信した映像を記録するフォルダ構成を示した図である。
【図６】本発明の実施例における監視カメラが異常状態を示すために管理サーバに送信する際のデータ形式である。
【図７】本発明の実施例における監視カメラが警備員の顔情報を管理サーバに送信する際のデータ形式である。
【図８】本発明の実施例における監視カメラが顔の向きを通知するために内部で管理している顔の向きに関する辞書データである。
【発明を実施するための形態】
【００１７】
［実施例１］
図１−Ａ乃至図１−Ｃは本発明を適用した監視システムのシステム構成図である。監視カメラ11,12,13,14と、スイッチングハブ15と管理サーバ16から構成される監視システムと警備員17が監視空間10に存在している。
【００１８】
図１−Aは定常状態における監視システムの構成図である。監視カメラ11,12,13により基本的な監視領域が構築されている。各監視カメラ11,12,13に対応する監視領域11´,12´,13,´が、部屋の中全体を監視領域としている様子が見て取れる。監視カメラ11,12,13で撮影された映像はネットワークを経由して管理サーバ16に送られ、蓄積されている。また、監視カメラ11,12,13には撮影している映像を解析することで、撮影映像から動体／不動体の存在を検出する動体／不動体検知機能が搭載されている。監視カメラ11,12,13は常時撮影した映像を解析し、動体／不動体を検知した時点で検知情報を管理サーバ16に送信する。
【００１９】
監視カメラ14は警備員17を監視する目的の監視カメラである。監視領域14´が警備員を捉えている様子が見て取れる。監視カメラ14には、撮影した画像を解析して画像中から顔情報を検知し、特定の人物の顔を探す機能が搭載されている。内蔵メモリーに警備員17の顔情報を保持することで、警備員17を継続的に監視することが可能である。取得した顔情報はネットワークを経由して管理サーバ16に送られている。
【００２０】
スイッチンハブ15は監視システム内のやり取りを中継する役割を果たしている。監視カメラ11,12,13,14からの情報を管理サーバ16に送信する。または、管理サーバ16からの情報を監視カメラ11,12,13,14に送信するという役目を担っている。
【００２１】
管理サーバ16は、監視システムを統合管理する役目を担っている。監視カメラ11,12,13から送られてくる映像を記録する。監視カメラ11,12,13からの動体／不動体の情報や監視カメラ14からの顔情報を受け取る。そして必要に応じて各監視カメラに対してパン／チルト／ズーム処理を要求する。以上のような役割を担っている。
【００２２】
警備員17は図１に示す部屋を警備するために配置されている人間である。人の持つ判断の柔軟性を生かし、監視カメラと管理サーバ16からなる監視システムと連携しながら監視を行っている。
【００２３】
出入り口18は、人が監視空間10内に出入りすることができる扉である。
【００２４】
図１−Bは、監視領域内に異常が発生した際に起こり得る監視システムの変化を示したシステム図である。監視カメラ13の監視領域内に不審物が置かれたことを動体／不動体検知機能を活用して検知し、その情報を管理サーバ16に送信する。監視カメラ13が、管理サーバ16からの要求にしたがって不審物を大きく撮影するように撮影領域13´を変更している様子が見て取れる。これにより、出入り口18が監視領域13´から外れてしまっていることも見て取れる。また、警備員17も不審物に対して注意を払っている様子が見て取れる。監視空間10内に不審物が現れたことにより、監視空間10内に変化が起こっている様子が見て取れる。
【００２５】
図１−Cは、本実施例における図４のシーケンス処理の結果として、監視領域11´,12´が修正された結果を示した図である。監視カメラ11,12が、管理サーバ16からの要求に従い、監視領域を修正することにより、監視カメラ13が不審物への解析撮影を継続しながらも、図１−Bにおいて監視対象から外れていた出入り口18が監視対象に入っている様子が見て取れる。
【００２６】
図2は本発明における監視カメラ11,12,13,14を構成する機能をブロック単位で表現したブロック図である。201は撮像素子である。レンズを通して入力されてくる光を電気的な信号への変換することが可能である。202は撮像制御部である。撮像素子201からの電気信号の入力をデジタルデータに変換することが可能である。203はCPU（中央演算処理装置）である。各モジュールへの制御や、各モジュールから得られる情報を元に演算処理をおこなうことが可能である。また、CPU203は本実施例においてソフトウェアでの実装を想定している動体／不動体検知や顔認識の処理を実行することが可能である。
【００２７】
204は映像処理部である。撮像制御部202より送られてくる撮像データを処理する事により、決められた形式の動画データを生成することが可能である。
【００２８】
205は記録制御部である。CPU203からの命令に従い、記録媒体への各種設定データなどの読み出しや書き込みを制御することが可能である。206は記録媒体である。記録制御部から要求されるデータの読み出したり、記録したりする事が可能である。
【００２９】
207はメモリー制御部である。CPU203からの命令に従い、メモリーへのデータの一時記録や、一時記録されているデータの読み出しを制御することが可能である。208はメモリーである。監視カメラの内部状態や、処理待ちの動画データを一時的に保存しておくことが可能である。
【００３０】
209は通信制御部である。CPU203からの命令に従い、通信装置内のデータを通信物理層210に送出、または通信物理層部210で受信したデータを通信装置内に読み込むための処理を制御する。210は通信物理層部である。外部機器との間で実際にデータの送受信を行うことが可能である。本実施例においては、撮影した映像データや、動体／不動体検知に関する情報、そして警備員17の顔情報などを管理サーバ16に送信することが可能である。
【００３１】
図3は本発明における管理サーバ16を構成する機能をブロック単位で表現したブロック図である。301はCPU（中央演算処理装置）である。各モジュールへの制御や、各モジュールから得られる情報をもとに演算処理をおこなうことが可能である。また、CPU301は本実施例における管理サーバ16のソフトウェア処理を実行することが可能である。
【００３２】
302は記録制御部である。CPU301からの命令に従い、ネットワーク経由で受信した映像データを記録媒体に記録するための書き込み制御することが可能である。303は記録媒体である。記録制御部から要求されるデータの読み出したり、記録したりする事が可能である。
【００３３】
304はメモリー制御部である。CPU301からの命令に従い、メモリー305に対するデータの一時記録や、一時記録されているデータの読み出しを制御することが可能である。305はメモリーである。管理サーバ16の内部状態や、処理待ちのデータを一時的に保持することが可能である。
【００３４】
306は通信制御部である。CPU301からの命令に従い、通信装置内のデータを通信物理層307に送出、または通信物理層部307で受信したデータを通信装置内に読み込むための処理を制御する。307は通信物理層部である。外部機器との間で実際にデータの送受信を行うことが可能である。本実施例においては、監視カメラ11,12,13,14から送られてくる映像データや、動体／不動体検知に関する情報、そして警備員17の顔情報などを受信することが可能である。
【００３５】
図４は本発明を適用した監視システムが従うシーケンス図である。
【００３６】
図４−１は、管理サーバ16が従う通常シーケンスである。S4100で管理サーバが起動されることで処理が開始される。S4101では通信部307においてデータの受信の有無を確認する。データを受信しなかった場合には、S4101の処理を繰り返す。逆にデータの受信を確認した場合には,S4102に移行する。S4102では受信したデータが顔情報に関するデータであったか否かの判定が行なわれる。顔情報のデータは監視カメラ14から定常的に送られてくる情報である。顔情報は図7に示す構造をしており、「顔情報の有無」、「位置情報」と顔の向きに関する「向き番号」情報が送られてくる。詳細についてはS4307で後述する。顔情報であると確認された場合はS4103に移行する。S4103では顔情報から、顔位置が画面の中心に来るように監視カメラ14に対してパン／チルト／ズーム要求を送信するこれにより、監視カメラ14では警備員の顔を常に捉えつづける事ができるのである。S4103が完了した時点でS4101の処理に戻る。
【００３７】
S4102で顔情報ではないと判断された場合はS4104に移行し、S4101での受信データが監視カメラ11,12,13からの映像データか否かの判定が行なわれる。映像データあると判定された場合にはS4105に移行し、記録媒体303内で監視カメラ毎に管理している映像ファイルに記録される事になる。例えば、図５のような形式が考えられる。日付をファイル名するフォルダをルートフォルダとして、その配下に各監視カメラ名のついたフォルダが用意されている。各監視カメラの映像は、対応するフォルダに映像ファイルとして記録される。本実施例においては、６時間単位で動画が記録されている様子が見て取れる。
【００３８】
S4104で映像データではないと判断された場合はS4106に移行し、S4101での受信データが異常情報か否かの判定が行なわれる。本実施例において異常情報とは監視カメラ11,12,13から送られている動体／不動体情報のことである。動体／不動体情報に関しては図4-2の各監視カメラのシーケンス図を説明で述べる。異常情報であると判断された場は、S4107に移行する。S4107の処理は図4-4に相当するため後述する。S4107の処理が完了したらS4101に移行する。S4106で異常情報でもないと判断あれた場合は、本実施例の対象外のデータであるのでS4108では対応する処理を実行し、S4101へ移行する。
【００３９】
管理サーバ16は通常時、このS4101からS4108までのループ処理を実行している。
【００４０】
図４−２は図１のシステム構成図において、監視領域を構築する監視カメラ11,12,13が従うシーケンス処理である。S4200において監視カメラが起動されることで処理が開始される。S4201では、管理サーバ16に記録してもらうための映像データの送信を実行する。S4202では、管理サーバ16からのパン／チルト／ズーム要求を受信したか否かの判定処理が行なわれる。S4402で後述するが、管理サーバ16は監視カメラ11,12,13から異常情報を受信した場合に、対応する監視カメラに対してパン／チルト／ズーム制御要求を発行する。この要求を受け取った場合は、S4203において管理サーバ16の要求に従いパン／チルト／ズーム処理を実行し、S4204へ移行する。S4202でデータを受信しなかった場合にはS4204へ直接移行することになる。
【００４１】
次にS4204において、撮影中の映像に対する映像解析処理を実行する。映像解析処理としては、撮影映像の前後のフレームを比較し差分を取ることにより、その違いから物体を検出するフレーム間差分を使用する方法が考えられる。また、基準画像を設定し、基準画像と撮影画像との差分を比較する事で、その違いから物体を検出する背景差分技術などを使用する方法も考えられる。そうした画像から物体を検知する技術を基盤に、得られた物体が動体／不動体の特徴を満たしているかを、予め設定しておいたルールと照らし合わせることで、動体／不動体の判定を実施する。これにより、撮影映像の中から動体／不動体の検知を行うことができるのである。次にS4205では、S4204における映像解析の結果として画面内に物体の存在が認められたか否かの判定が行なわれる。S4204において物体の確認が行なわれていた場合はS4206へ移行する。逆にS4204において何も検知されていなかった場合は、最初のS4201の処理に戻る。S4206では、S4204での映像解析の結果動体／不動体の存在が確認できたか否かの判定が行なわれる。動体／不動体の存在を確認できなかった場合は、最初のS4201の処理に戻る。逆に動体／不動体の存在を確認できた場合にはS4207に移行する。S4207では動体／不動体の情報を異常情報として管理サーバ16に送信する処理が行なわれる。送信する情報としては図６に示すような情報が想定される。検知した物体の「識別番号」、「動体」を示す情報のOn/Off,「不動体」を示す情報のOn/Off,対象とした物体の「位置情報」が検出した動体／不動体毎に異常情報として送信されることを意味している。
【００４２】
以上のS4201からS4207までのループ処理を、監視カメラ11,12,13は繰り返している。
【００４３】
図4-3は、図１のシステム構成図において、警備員17を監視する監視カメラ14が従うシーケンス処理である。S4300において監視カメラが起動されることで処理が開始される。S4301では、管理サーバ16に記録してもらうための映像データの送信を実行する。S4302では、管理サーバ16からのパン／チルト／ズーム要求を受信したか否かの判定処理が行なわれる。先のS4103において説明した通り、管理サーバ16は監視カメラ14に対して警備員の顔を画面の中心に来るように常にパン／チルト／ズーム制御要求を発行してくる。この要求を受け取った場合は、S4303において管理サーバ16の要求に従いパン／チルト／ズーム処理を実行し、S4304へ移行する。S4302でデータを受信しなかった場合にはS4304へ直接移行することになる。
【００４４】
次にS4304において、撮影中の映像に対する映像解析処理を実行する。ここで映像解析処理とは顔検知処理のことである。近年デジタルスチルカメラやデジタルビデオカメラに搭載されてきており、撮影映像の中から人の顔の特徴領域を抽出してくれる。現在では非常に一般的な技術である。次にS4305において、S4304での顔検知処理の結果として画面内に人の顔が存在していたか否かの判定処理が行なわれる。顔情報がないと判断された場合にはS4307に移行し、顔情報が検知されなかったことを管理サーバ16に通知する。逆に顔情報の存在を確認した場合にはS4306に移行し、今度は検知された顔情報の中に警備員17の顔情報が存在するか否かの判定が行われる。ここで、警備員17の顔の存在を確認するために顔認識技術の利用を想定する。顔認識技術とは予め登録した人の目と鼻の三角形の比率や、口の顔の特徴量を抽出し、その比率などから個人を特定する技術である。この顔認識において、個人を特定するための認識精度を高める技術も様々提案され生体認証の分野で広く使われてきた技術である。特許文献3のような顔認識の技術を使用することにより、顔の向きに関わらず個人を特定する事が可能である。最後にS4307では、S4306で得られた結果を管理サーバ16に送信する処理が行われる。実際に管理サーバ17に送信する情報としては、図７のような情報が考えられる。画面内で顔を検知した位置と、図８に示すような予め決められている様々な顔の向きに対応している識別番号の情報を送るのである。図1-Bの状態を想定すると、監視員17が監視空間10内に存在する不動体に意識が言っている様子を監視カメラ14が天井から撮影している。このため「向き番号」としては「５」を送信することを意味している。
【００４５】
以上のS4301からS4307までのループ処理を、監視カメラ14は繰り返している。
【００４６】
図４−４は、図４−１において管理サーバ16がS4107において異常情報を取得した際に開始する処理を示したシーケンス図である。S4400において、異常を検知した際に対応する処理が開始される。S4401ではS4101で取得した異常情報から動体／不動体の位置情報の抽出が行われる。異常情報は図のフォーマットに従い、S4207において監視カメラ11,12,13の何れかにより送られてきたものである。本実施例においては図1-Bに示すように監視カメラ13が画面内で不動体の存在を検知し、送信してきた情報であることを想定している。次にS4402において、S4401で取得した動体／不動体の位置情報をもとに送信してきた監視カメラに対してパン／チルト／ズーム制御の要求を送信する。ここで送信するパン／チルト／ズーム制御は、検出された動体／不動体が画面の中心に来るように制御する要求となっている。つまりこの要求に対し、対象となる監視カメラがS4203を実行することにより、図１で監視カメラ11,12,13が構築している監視領域が変化してしまうことを意味している。
【００４７】
本実施例においては、図１−Bに示すように監視カメラ13が検知した不動体を画面内に大きく捉えるように撮影領域を変更している様子が見て取れる。これにより、撮影領域13´が変更され、監視空間10内の監視領域が変化してしまっている。次にS4403において、警備員監視用の監視カメラ14から警備員の顔情報が送られてくるのを待機する。監視カメラ14は定常的に顔情報を送信しているため受信するまで待機する。受信した時点でS4404へ移行し、警備員の顔情報が存在するかいなかの判定が行われる。警備員の顔情報の存在が確認できなかった場合はS4411へ移行し、監視カメラ14が最後に顔情報を認識した位置に移動するようにパン／チルト／ズーム制御要求を送信する。監視カメラ14をランダムにパン／チルト／ズーム制御させる。このS4403からS4411までの処理を警備員の顔情報が検知されるまで繰り返すことにより、確実に警備員の顔情報を検出する。S4404で警備員の顔情報の存在を確認した時点でS4405へ移行する。S4405では顔の向きに関する情報を抽出する。S4406では顔の向きが前回と同じであるか否かの判定が行われる。同じであると判定された場合はS4407に移行し、内部のカウンタをインクリメントする。逆に同じでないと判断された場合にはS4412に移行し、カウンタを初期化してS4401の処理に戻る。S4407を実行した後は、S4408に移行しカウンタの値が閾値を越えたか否かの判定を行う。閾値を超えていると判断した場合はS4409へ移行する。逆に閾値をまだ越えていないと判断された場合はS4401の処理に戻る。S4409に至った時点で、S4203で述べたように、監視領域が通常状態から変化しており、且つ監視員17の注意も一点に集中している状態に陥ったことを意味している。この状況に至った時点で、管理サーバ17はS4402で解析行動を取っている以外のどの監視カメラに対してパン／チルト／ズーム制御処理を送信する対象となる監視カメラの選定を行う。
【００４８】
本実施手例においては、図1-Bに示すよう出入り口18の監視が疎かになる事が想定されるため、4402において解析行動を取っている監視カメラ13と、監視カメラ14以外の監視カメラ11,12がパン／チルト／ズーム制御対象とすることを想定する。次にS4410において、S4409において対象とした監視カメラに対して監視領域の修正を行うためのパン／チルト／ズーム制御要求を送信する。これによりS4402とS4407により発生した監視の弱点を埋めるように監視領域が変更される。
【００４９】
本実施例においては図1-Cにおいて監視領域が修正された様子を示した。こうした、監視領域の修正を行うためのパン／チルト／ズーム制御要求は、S4402において解析行動に入ったカメラに応じて、他のカメラのパン／チルト／ズーム制御内容を予め決めておくことが考えられる。本実施例においては、監視カメラ13が解析行動に入った場合、出入り口18に監視の隙ができてしまうことが想定される。このため、監視カメラ13が解析行動に入った場合の、監視カメラ11,12へのパン／チルト／ズーム制御は予め決め図１−Cの監視領域11´,12´になるように決められていることを意味している。同じように監視カメラ11,12がS4402において解析行動に入った場合の、他の監視カメラへのパン／チルト／ズーム制御をルール化しておくのである。これにより、図1-Bにおいて発生した出入り口18が監視対象から外れてしまうといった監視の弱点を埋めることができるのである。
【００５０】
以上の処理により、監視カメラが検知する動体／不動体の存在といった異常状態と、監視員16の注意が一点に集中しているという条件において、監視システムの監視領域を修正することができる。つまり、監視システムと人間である警備員が連動しながら監視領域の修正を行うことにより、本当に必要なタイミングでのみ監視領域の修正を行うことが可能になるのである。
【００５１】
本実施例においては、異常状態の検知方法として監視カメラ11,12,13に実装されている動体／不動体検知機能による検知結果を用いる例を説明した。しかしながら、これ以外に異常状態を検知する方法も考えられる。たとえば、図１の監視カメラ11,12,13,14に音声データを取得するマイクを導入し、CPU203に音声解析を実行するソフトウェアを実装する方法が考えられる。特許文献5のように、記録媒体206に予想される事態の状態を示す音声データを音声辞書として登録しておき、マイクから取得した音声データと、予想される事態の状態を示す音声データと比較することにより、監視空間10内に予想される事態が発生したか否かを判断することが可能である。そして、この予想される事態が発生したことを異常状態と判断する事により、異常状態の検知方法とすることも当然可能である。
【００５２】
本実施例においては、警備員17の注意が向いている方向として顔の向きを例に説明したが、警備員17の移動している方向から判定しても構わない。撮影した映像を解析することにより、人体を検出する技術は広く研究されている。特許文献４のような技術を使うことにより撮影映像から人体として警備員を抽出し、抽出した警備員１7が一定の方向にむかって動いているときにその方向を注目方向として判断する事が可能になる。また、抽出した人体が画面内を移動する速度を計測し、一定の速度以上で動いている場合に、移動方向を注目方向として検知する手法も当然可能である。
【００５３】
また、警備員17の注目方向を検知する手法として、警備員17自身に位置情報を知らせる位置情報通知機器、例えばGPSのようなものを身に付けさせる手法も考えられる。この位置情報を取得する機器が常に警備員17の位置情報を、管理サーバ16とが通信をすることで常に警備員17の位置を追跡するのである。このシステムにおいて、警備員17が一定方向に動いている時にその向きを警備員17の注目方向として判断することが可能になる。
【符号の説明】
【００５４】
11,12,13,14 監視カメラ
11´,12´,13´,14´ 監視カメラの監視領域
15 スイッチングハブ
【特許請求の範囲】
【請求項１】
監視領域制御方法であって、
パン／チルト／ズーム制御可能な三つ以上の複数の撮像手段を有し、
前記複数の撮像手段に対するパン／チルト／ズームを独立に制御するパン／チルト／ズーム制御手段と、
監視領域は、前記複数の撮像手段から構成され、
前記パン／チルト／ズーム制御手段を動作させることで、監視領域を修正する監視領域修正手段と、
前記監視領域内に存在する特定の人物を検知する人物検知手段と、
前記複数の撮像手段の少なくとも一つの撮像手段は、前記人物検知手段から得られる特定の人物を撮影する人物撮影手段を有し、
前記人物撮影手段の撮影対象となっている人物が注目している向きを検知する注目方向検知手段と、
前記複数の撮像手段により構成される監視領域において、発生した異常状態を検知する異常検知手段と
を有する監視領域制御方法であって、
監視領域制御制御手段は、
前記異常検知手段により、監視領域内において異常状態の発生を確認したことをきっかけとして、異常状態の確認のために、少なくとも一つの撮像手段に対してパン/チルト/ズーム制御を実行すると共に、
前記注目方向検知手段より得られる人物の注目方向以外の領域が監視領域に入るように、前記監視領域修正手段を動作させる事を特徴とする監視領域制御方法。
【請求項２】
前記異常検知手段とは、前記複数の撮像手段から得られる映像を解析することで動体／不動体を検知する動体／不動体検知手段であることを特徴とする請求項１に記載の監視領域制御方法。
【請求項３】
前記監視領域内の音声を取得する音声取得手段を有する場合に、前記異常検知手段とは、前記音声取得手段により得られる音声情報を解析し、音声が特定の種類の音声に分類されるかを判定する音声判定手段であることを特徴とする請求項１に記載の監視領域制御方法。
【請求項４】
前記人物検知手段として、前記撮像手段から得られる映像を解析することで、画面内から特定の人物の顔領域を検知する顔認識手段を有する場合に、前記人物撮影手段とは、前記撮影対象となる人物の顔が画角内に入るように撮影する撮影手段であることを特徴とする請求項１乃至請求項３の何れか１項に記載の監視領域制御方法。
【請求項５】
前記顔認識手段が対象となる人物の顔の向きも検知できる場合に、前記注目方向検知手段とは、前記顔認識手段から得られる顔の向きを注目方向として検知することを特徴とする請求項４に記載の監視領域制御方法。
【請求項６】
前記注目方向検知手段とは、前記顔認識手段から得られる顔の向きが一定期間同じである状態にある場合に、顔の向きを注目方向として検知する事を特徴とする請求項５に記載の監視領域制御方法。
【請求項７】
前記人物検知手段として、前記撮像手段から得られる映像を解析することで、画面内から特定の人体を検出する人体検出手段を有する場合に、前記人物撮影手段とは、前記撮影対象となる人物が画角内に入るように撮影する撮影手段であることを特徴とする請求項１乃至請求項３の何れか１項に記載の監視領域制御方法。
【請求項８】
前記注目方向検知手段とは、前記人体検出手段より得られる人体が移動していると判断された場合に、人体の移動方向を注目方向として検知することを特徴とする請求項７に記載の監視領域制御方法。
【請求項９】
時間計測手段を有する場合に、前記注目方向検知手段とは、前記人体検出手段によって検出された人体の移動を検知した際に、前記時間計測手段を動作させ、前記人体の移動が同じ方向に一定期間同じである場合に、人体の移動方向を注目方向として検知を行うことを特徴とする請求項８に記載の監視領域制御方法。
【請求項１０】
人体の移動速度を計測する移動速度計測手段を有する場合に、前記注目方向検知手段とは、前記移動速度計測手段により計測された人体の移動速度が所定の速度以上で動いている場合に、人体の移動方向を注目方向として検知することを特徴とする請求項８又は請求項９に記載の監視領域制御方法。
【請求項１１】
前記人物撮影手段で撮影対象としている人物の位置情報を取得する人物位置情報取得手段を有する場合に、前記注目方向検知手段とは、前記人物位置情報取得手段から得られる情報から人物が一定方向に移動していると判断された場合に、人物の移動方向を注目方向として検知することを特徴とする請求項１乃至請求項３の何れか１項に記載の監視領域制御方法。
【請求項１２】
時間計測手段を有する場合に、前記注目方向検知手段とは、前記人物位置情報取得手段からの情報により人物の移動を検知し、前記時間計測手段により人物の移動時間を計測し、前記人物の移動時間が一定時間継続した場合に、人物の移動方向を注目方向として検知することを特徴とする請求項１１に記載の監視領域制御方法。
【請求項１３】
前記人物位置情報取得手段の対象となっている人物の移動速度を計測する移動速度計測手段を有する場合に、前記注目方向検知手段とは、前記移動速度計測手段により計測された人物の移動速度が所定の速度以上で動いている場合に、人物の移動方向を注目方向として検知することを特徴とする請求項１１または請求項１２に記載の監視領域制御方法。
【請求項１４】
前記人物の注目方向以外の領域が監視領域に入るように、前記監視領域修正手段を動作させるとは、前記異常状態の確認のためにパン／チルト／ズーム制御の対象となった撮像手段毎に予め決められている設定に従って、前記監視領域修正手段の動作が実施されることを特徴とする請求項１乃至請求項１３の何れか１項に記載の監視領域制御方法。
【請求項１５】
請求項１乃至請求項１４の何れか１項に記載の監視領域制御方法とは、撮像手段、パン/チルト/ズーム制御手段、人物検知手段、人物撮影手段、注目方向検知手段、異常検知手段を有する監視カメラと、前記監視領域修正手段、異常検知手段からの情報と前記注目方向検知手段の情報から、前記監視カメラに向かってパン/チルト/ズーム制御の要求を送信する情報処理装置と、からなる監視領域制御システム。
【請求項１】
監視領域制御方法であって、
パン／チルト／ズーム制御可能な三つ以上の複数の撮像手段を有し、
前記複数の撮像手段に対するパン／チルト／ズームを独立に制御するパン／チルト／ズーム制御手段と、
監視領域は、前記複数の撮像手段から構成され、
前記パン／チルト／ズーム制御手段を動作させることで、監視領域を修正する監視領域修正手段と、
前記監視領域内に存在する特定の人物を検知する人物検知手段と、
前記複数の撮像手段の少なくとも一つの撮像手段は、前記人物検知手段から得られる特定の人物を撮影する人物撮影手段を有し、
前記人物撮影手段の撮影対象となっている人物が注目している向きを検知する注目方向検知手段と、
前記複数の撮像手段により構成される監視領域において、発生した異常状態を検知する異常検知手段と
を有する監視領域制御方法であって、
監視領域制御制御手段は、
前記異常検知手段により、監視領域内において異常状態の発生を確認したことをきっかけとして、異常状態の確認のために、少なくとも一つの撮像手段に対してパン/チルト/ズーム制御を実行すると共に、
前記注目方向検知手段より得られる人物の注目方向以外の領域が監視領域に入るように、前記監視領域修正手段を動作させる事を特徴とする監視領域制御方法。
【請求項２】
前記異常検知手段とは、前記複数の撮像手段から得られる映像を解析することで動体／不動体を検知する動体／不動体検知手段であることを特徴とする請求項１に記載の監視領域制御方法。
【請求項３】
前記監視領域内の音声を取得する音声取得手段を有する場合に、前記異常検知手段とは、前記音声取得手段により得られる音声情報を解析し、音声が特定の種類の音声に分類されるかを判定する音声判定手段であることを特徴とする請求項１に記載の監視領域制御方法。
【請求項４】
前記人物検知手段として、前記撮像手段から得られる映像を解析することで、画面内から特定の人物の顔領域を検知する顔認識手段を有する場合に、前記人物撮影手段とは、前記撮影対象となる人物の顔が画角内に入るように撮影する撮影手段であることを特徴とする請求項１乃至請求項３の何れか１項に記載の監視領域制御方法。
【請求項５】
前記顔認識手段が対象となる人物の顔の向きも検知できる場合に、前記注目方向検知手段とは、前記顔認識手段から得られる顔の向きを注目方向として検知することを特徴とする請求項４に記載の監視領域制御方法。
【請求項６】
前記注目方向検知手段とは、前記顔認識手段から得られる顔の向きが一定期間同じである状態にある場合に、顔の向きを注目方向として検知する事を特徴とする請求項５に記載の監視領域制御方法。
【請求項７】
前記人物検知手段として、前記撮像手段から得られる映像を解析することで、画面内から特定の人体を検出する人体検出手段を有する場合に、前記人物撮影手段とは、前記撮影対象となる人物が画角内に入るように撮影する撮影手段であることを特徴とする請求項１乃至請求項３の何れか１項に記載の監視領域制御方法。
【請求項８】
前記注目方向検知手段とは、前記人体検出手段より得られる人体が移動していると判断された場合に、人体の移動方向を注目方向として検知することを特徴とする請求項７に記載の監視領域制御方法。
【請求項９】
時間計測手段を有する場合に、前記注目方向検知手段とは、前記人体検出手段によって検出された人体の移動を検知した際に、前記時間計測手段を動作させ、前記人体の移動が同じ方向に一定期間同じである場合に、人体の移動方向を注目方向として検知を行うことを特徴とする請求項８に記載の監視領域制御方法。
【請求項１０】
人体の移動速度を計測する移動速度計測手段を有する場合に、前記注目方向検知手段とは、前記移動速度計測手段により計測された人体の移動速度が所定の速度以上で動いている場合に、人体の移動方向を注目方向として検知することを特徴とする請求項８又は請求項９に記載の監視領域制御方法。
【請求項１１】
前記人物撮影手段で撮影対象としている人物の位置情報を取得する人物位置情報取得手段を有する場合に、前記注目方向検知手段とは、前記人物位置情報取得手段から得られる情報から人物が一定方向に移動していると判断された場合に、人物の移動方向を注目方向として検知することを特徴とする請求項１乃至請求項３の何れか１項に記載の監視領域制御方法。
【請求項１２】
時間計測手段を有する場合に、前記注目方向検知手段とは、前記人物位置情報取得手段からの情報により人物の移動を検知し、前記時間計測手段により人物の移動時間を計測し、前記人物の移動時間が一定時間継続した場合に、人物の移動方向を注目方向として検知することを特徴とする請求項１１に記載の監視領域制御方法。
【請求項１３】
前記人物位置情報取得手段の対象となっている人物の移動速度を計測する移動速度計測手段を有する場合に、前記注目方向検知手段とは、前記移動速度計測手段により計測された人物の移動速度が所定の速度以上で動いている場合に、人物の移動方向を注目方向として検知することを特徴とする請求項１１または請求項１２に記載の監視領域制御方法。
【請求項１４】
前記人物の注目方向以外の領域が監視領域に入るように、前記監視領域修正手段を動作させるとは、前記異常状態の確認のためにパン／チルト／ズーム制御の対象となった撮像手段毎に予め決められている設定に従って、前記監視領域修正手段の動作が実施されることを特徴とする請求項１乃至請求項１３の何れか１項に記載の監視領域制御方法。
【請求項１５】
請求項１乃至請求項１４の何れか１項に記載の監視領域制御方法とは、撮像手段、パン/チルト/ズーム制御手段、人物検知手段、人物撮影手段、注目方向検知手段、異常検知手段を有する監視カメラと、前記監視領域修正手段、異常検知手段からの情報と前記注目方向検知手段の情報から、前記監視カメラに向かってパン/チルト/ズーム制御の要求を送信する情報処理装置と、からなる監視領域制御システム。
【図１−Ａ】
【図１−Ｂ】
【図１−Ｃ】
【図２】
【図３】
【図４−１】
【図４−２】
【図４−３】
【図４−４】
【図５】
【図６】
【図７】
【図８】
【図１−Ｂ】
【図１−Ｃ】
【図２】
【図３】
【図４−１】
【図４−２】
【図４−３】
【図４−４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１５６７５２（Ｐ２０１２−１５６７５２Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１３７２１（Ｐ２０１１−１３７２１）
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]