監視システム及び画像処理装置
【課題】複数のカメラによる画像についての画像処理を多重化して時分割で行う。
【解決手段】アナログカメラ１１−１〜１１−３とアナログ映像信号を符号化するエンコーダ１３−１〜１３−３とにより構成されるか又は、ＩＰカメラ１２−１、１２−２により構成される複数の映像送出部と、この複数の映像送出部が接続されるネットワーク１０と、このネットワーク１０に接続され、上記複数の映像送出部が送出した映像情報に含まれている少なくともＩフレームを取り込み画像処理用の１画面分のディジタル画像情報へ変換するデコーダ２１と、このデコーダ２１がデコードした複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行う画像処理手段２２とを具備する。
【解決手段】アナログカメラ１１−１〜１１−３とアナログ映像信号を符号化するエンコーダ１３−１〜１３−３とにより構成されるか又は、ＩＰカメラ１２−１、１２−２により構成される複数の映像送出部と、この複数の映像送出部が接続されるネットワーク１０と、このネットワーク１０に接続され、上記複数の映像送出部が送出した映像情報に含まれている少なくともＩフレームを取り込み画像処理用の１画面分のディジタル画像情報へ変換するデコーダ２１と、このデコーダ２１がデコードした複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行う画像処理手段２２とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラを用いて道路監視や侵入監視などの各種監視を行う場合に好適な監視システム及び画像処理装置に関するものである。
【背景技術】
【０００２】
従来の監視システムにおいては、図１２に示されるように監視カメラ１０１−１、１０１−２、・・・により撮像した監視対象のアナログ映像信号をそのまま伝送して事象検出装置１０２へ導くものであった。アナログ映像信号を伝送するために、その劣化を抑制するイコライザー１０３を伝送路に設ける必要があった。事象検出装置１０２は映像信号を取り込んでＡ／Ｄ変換し、画像処理を行って事象検出を行うものであるが、監視カメラ１０１−１、１０１−２、・・・により得られた映像について複数のものを１台の事象検出装置１０２にて処理する場合には、映像分配器１０４によりアナログ映像信号を切り換えて事象検出装置１０２へ送出する構成であった。
【０００３】
このシステムにおいては、映像分配器１０４による瞬時な切り換えが不可能であり、また映像分配器１０４により事象検出装置１０２を切り換える制御を行うことはできず、所要の監視カメラにより撮像された映像について次々に時分割による画像処理を実行することはできないものであった。また、レコーダ１０５によりアナログ映像信号を録画するものであるが、事象検出装置１０２からの制御により必要なアナログ映像信号を選択して録画するように構成されており、過去に録画した映像信号について後になって読み出して画像解析を行うことは不可能であった。
【０００４】
図１３は、伝送路を光ファイバとしてＥ／Ｏ変換器１０７、Ｏ／Ｅ変換器１０８を用いてアナログ映像信号の劣化を抑制した構成例である。このシステムにおいては、イコライザー１０３が不要であるが、Ｅ／Ｏ変換器１０７とＯ／Ｅ変換器１０８が必要であり、アナログ映像信号の劣化対策が必要であることには変わりがなく、その他の点においては図１２において説明した問題点がある。
【０００５】
図１４に示す従来のシステムにあっては、映像分配器１０４と事象検出装置１０２との間にスキャン映像を得るための映像切換器１０９を設けたものである。このシステムでは、映像分配器１０４によるスキャン映像の取得による映像切り換えがなされるものであり、事象検出装置１０２が所望により瞬時に所望の監視カメラ１０１−１、１０１−２、・・・により得られた映像についてスキャン映像を次々に得て時分割多重処理を行うようなシステムとすることはできない。
【０００６】
更に、図１５に示す従来のシステムは、監視カメラ１０１−１、１０１−２、・・・により得られた映像信号についてＭＰＥＧ２やＭＰＥＧ４による符号化を行うエンコーダ１１１−１、１１１−２、・・・を接続して符号化した映像情報をネットワーク１１０を介して伝送するものである。このシステムにおいては、ネットワーク１１０の受信側においてＭＰＥＧ２やＭＰＥＧ４による符号化に係る映像情報を復号化してアナログ映像信号に戻すデコーダ１１２を備え、これを事象検出装置１０２においてキャプチャボードなどによりＡ／Ｄ変換する処理を行っており、符号化復号化の繰り返し処理が何度もなされ繁雑なものであった。
【０００７】
また、複数の監視カメラにより得られた映像信号についてＭＰＥＧにて伝送を行い、日時情報と共に保存して、再生時には日時情報に基づき複数の画像を表示するものが特許文献１に開示されている。また、通常時にＩフレームのみを送り、一定以上の動きを検出した際にはＩフレーム、Ｂフレーム、Ｐフレームを送る監視システムが特許文献２に示されている。
【特許文献１】特開２００３−１６３９２３号公報
【特許文献２】特開２０００−１６５８４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
発明が解決しようとする課題は、監視カメラ側から符号化して映像情報を送る場合に、符号化復号化の繰り返し処理が何度も行われて繁雑なことであり、本発明の目的は係る繁雑さを排除し、しかも複数のカメラによる画像についての画像処理を多重化して時分割で行うことが可能である監視システム及び画像処理装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明に係る監視システムは、被写対象を撮像して符号化されたネットワーク送信可能な映像情報を出力する複数の映像送出部と、前記複数の映像送出部が接続されるネットワークと、前記ネットワークに接続され、前記複数の映像送出部が送出した映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換するデコーダと、前記デコーダが変換した複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行う画像処理手段とを具備することを特徴とする。
【００１０】
本発明に係る監視システムは、デコードしたディジタル画像情報を録画する画像録画部と、前記画像録画部に録画するディジタル画像情報に対して前記画像処理手段による解析結果をメタデータとして付加する録画制御手段とを具備することを特徴とする。
【００１１】
本発明に係る監視システムでは、前記画像処理手段が、解析結果に応じて対応する映像送出部の送出に係るディジタル画像情報に関する処理レートを変更することを特徴とする。
【００１２】
本発明に係る監視システムでは、前記映像送出部が、ズーム機構、旋回機構、解像度変更手段を備えており、前記画像処理手段による解析結果に応じて対応する映像送出部におけるズーム機構、旋回機構、解像度変更手段の制御を行うカメラ制御手段が具備されていることを特徴とする。
【００１３】
本発明に係る監視システムは、事象を検出するセンサと、該センサが事象を検出した場合にネットワークを介して事象発生情報を報知する事象発生報知手段と、前記事象発生報知手段による事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて対応する映像送出部の送出に係るディジタル画像情報について前記画像処理手段による解析を実行させる解析制御手段とを具備することを特徴としている。
【００１４】
本発明に係る監視システムでは、カメラ制御手段が、前記事象発生報知手段から送られる事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて対応する映像送出部におけるズーム機構、旋回機構、解像度変更手段の制御を行うことを特徴とする。
【００１５】
本発明に係る監視システムでは、時刻情報に対応して制御すべき映像送出部と制御内容の情報が対応付けられたカメラ制御情報データベースを備え、カメラ制御手段は、前記カメラ制御情報データベースの情報に応じて対応する制御を行うことを特徴とする。
【００１６】
本発明に係る監視システムは、映像送出部により送出された映像情報をネットワークから取り込み蓄積する映像蓄積手段を備え、前記映像蓄積手段から直接にまたはネットワークを介して蓄積された映像情報を取り出し前記デコーダにてデコードして前記画像処理手段による解析を実行することを特徴とする。
【００１７】
本発明に係る画像処理装置は、映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換するデコーダと、前記デコーダが変換した複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行う画像処理手段とを具備することを特徴とする。
【発明の効果】
【００１８】
本発明に係る監視システムでは、被写対象を撮像して符号化されたネットワーク送信可能な映像情報を出力する複数の映像送出部が、ネットワークを介して映像情報を送出し、この映像情報を受けて、少なくともＩフレームを取り込み１画面分のディジタル画像情報へデコードして、複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行うので、複数の映像送出部にて撮像した被写対象について事象発生を多重的に検出でき、効率的な監視を可能である。また、本発明に係る画像処理装置は、映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換し、変換した複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行うので、複数の映像送出部にて撮像した被写対象について事象発生を多重的に検出できる。
【００１９】
本発明に係る監視システムでは、前記映像送出部は、ズーム機構、旋回機構、解像度変更手段を備えており、前記画像処理手段による解析結果に応じて、または、センサが事象を検出した場合にネットワークを介して事象発生情報を報知する事象発生報知手段による事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて、対応する映像送出部におけるズーム機構、旋回機構、解像度変更手段の制御を行うので、必要時に必要な位置の監視を行うことができ、効率的な監視が可能である。
【発明を実施するための最良の形態】
【００２０】
本発明では、被写対象を撮像して符号化されたネットワーク送信可能な映像情報を出力する複数の映像送出部から、ネットワークを介して映像情報を送出し、この映像情報を受けて少なくともＩフレームを取り込み１画面分のディジタル画像情報へデコードする構成により、繁雑な処理と構成を回避し、複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行うようにして、複数の映像送出部にて撮像した被写対象について事象発生を多重的に検出するという目的を達成したものである。
【実施例１】
【００２１】
以下添付図面を参照して、本発明の監視システムの実施例を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図１は、本発明に係る監視システムの第１の実施例を示す構成図である。このシステムでは、複数台のアナログカメラ１１−１、１１−２、１１−３、・・・により被写対象を撮像してアナログ映像信号を得る。また、複数のＩＰカメラ１２−１、１２−２、・・・により被写対象を撮像してネットワーク送信可能な映像情報（ＭＰＥＧ２やＭＰＥＧ４など）を得る。アナログカメラ１１−１、１１−２、１１−３、・・・には、ネットワーク送信可能な映像情報（ＭＰＥＧ２やＭＰＥＧ４など）とするエンコーダ１３−１、１３−２、１３−３、・・・が接続されている。
【００２２】
アナログカメラ１１−１、１１−２、１１−３、・・・及びＩＰカメラ１２−１、１２−２、・・・には、アナログカメラ１１−１について代表して示すようにズーム機構、旋回機構解像度変更手段が備えられている。アナログカメラ１１−１、１１−２、１１−３、ＩＰカメラ１２−１、１２−２、・・・及びエンコーダ１３−１、１３−２、１３−３、・・・は、複数の映像送出部を構成し、ＩＰカメラ１２−１、１２−２、・・・及びエンコーダ１３−１、１３−２、１３−３、・・・は、ネットワーク１０に接続されており、映像情報をブロードキャスト送信している。
【００２３】
また、ネットワーク１０には例えばパーソナルコンピュータにより構成される監視側端末２０が接続されており、更に、監視側端末２０には、画像録画部３０が接続されている。監視側端末２０には、ソフトウエアにより構成されるデコーダ２１、画像処理手段２２、録画制御手段２３、カメラ制御手段２４が備えられており、また、カメラ制御情報ＤＢ（データベース）２５及び計時を行うタイマ２６が備えられている。
【００２４】
デコーダ２１は、複数の映像送出部が送出した映像情報に含まれている少なくともＩフレームを取り込み画像処理用の１画面分のディジタル画像情報へ変換するものである。画像処理手段２２は、デコーダ２１がデコードした複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行うものである。録画制御手段２３は、画像録画部３０に録画するディジタル画像情報に対して上記画像処理手段２２による解析結果をメタデータとして付加して画像録画部３０に記憶するものである。カメラ制御手段２４は、画像処理手段２２による解析結果に応じて対応するカメラにおけるズーム機構、旋回機構、解像度変更手段の制御を行うものであり、また、カメラ制御情報ＤＢ２５の情報に応じて対応するカメラに関する制御を行うものである。
【００２５】
カメラ制御情報ＤＢ２５は、例えば、図２に示されるように、時刻情報に対応して制御すべきカメラと制御内容の情報が対応付けられたものである。ここでは、時刻00:00から時刻06:59において選択するカメラＡ、Ｂ、Ｃ、Ｄの情報と、各カメラＡ、Ｂ、Ｃ、Ｄについてそれぞれズーム比、旋回角、解像度及び優先度に関する情報が対応して記憶されており、時刻07:00から時刻12:59において選択するカメラＥ、Ｆ、Ｇ、Ｈの情報と、各カメラＥ、Ｆ、Ｇ、Ｈについてそれぞれズーム比、旋回角、解像度及び優先度に関する情報が対応して記憶されており、以下、時刻対応に同様の情報が記憶されている。
【００２６】
カメラ制御手段２４には、図３に示される現在選択カメラ情報テーブルＧＴが備えられており、現在選択カメラ情報テーブルＧＴには、現在において画像処理手段２２により処理されているカメラについて、カメラ情報、ズーム比、旋回角、解像度、優先度及び事象発生フラグ（０：リセット、１：セット）の情報が記憶されている。
【００２７】
画像処理手段２２とカメラ制御手段２４は、監視側端末２０のＣＰＵが図４及び図５に示されるフローチャートに対応する基づき処理を行うことにより実現されるものである。以下、この図４及び図５に示されるフローチャートに基づき動作を説明する。監視側端末２０が起動され、スタートとなってタイマ２６の現在時刻に基づきカメラ制御情報ＤＢ２５から当該時刻対応の選択カメラ、各カメラについてそれぞれズーム比、旋回角、解像度及び優先度に関する情報を求め（Ｓ１１）、各選択カメラに対してネットワーク１０を介してズーム比、旋回角、解像度に関する制御情報を送り、各カメラの制御を行う（Ｓ１２）。ステップＳ１２に次いで現在選択カメラ情報テーブルＧＴを参照し、事象発生フラグがセットされているカメラがあるかを検出する（Ｓ１３）。
【００２８】
ステップＳ１３において事象発生フラグがセットされているカメラがないことが検出されると、ステップＳ１１においてカメラ制御情報ＤＢ２５から得た選択カメラの情報をそのまま現在選択カメラ情報テーブルＧＴへ登録し（Ｓ１４）、現在選択カメラ情報テーブルＧＴに登録のカメラによってブロードキャスト送信されている映像情報を取り込みデコードを行う（Ｓ１５）。このとき、ＭＰＥＧの映像情報には、Ｉフレーム、Ｂフレーム及びＰフレームが含まれるが、ここではＩフレームのみを取り込み、デコードを行う。このため、Ｉフレームは１秒間に最大２フレーム分が到達するので、現在選択カメラ情報テーブルＧＴに登録された複数（図３の例では４台）のカメラについて順次切り換えを行って取り込む。
【００２９】
ステップＳ１５に続いて、複数のカメラについて得られる画像情報に対して時分割で同一処理レートにて画像処理をマルチ処理する（Ｓ１６）。ここにおける画像処理では、例えば、背景差分やフレーム間差分更にはパターンマッチングなど公知の手法の一つ或いは複数が、監視側端末２０のＣＰＵ処理能力に応じて用いられる。ステップＳ１６に続いて、カメラ制御情報ＤＢ２５のデータが切り換わる時刻（図２の例では、時刻7:00など）であるかを検出し（Ｓ１７）、データの切り換え時刻でなければ、画像処理において所定の事象発生（侵入監視システムでは、侵入者の検出。道路監視システムでは、渋滞の発生等）が検出されたかを判定し（Ｓ１８）、所定の事象発生が検出されなければステップＳ１５へ戻って処理が続けられる。また、ステップＳ１７においてデータの切り換え時刻到来が検出されると、ステップＳ１１へ戻り処理が行われる。
【００３０】
上記ステップＳ１８において、所定の事象発生が検出されると、現在選択カメラ情報テーブルＧＴの該当カメラ対応に事象発生フラグをセットし、事象発生の対象画像情報に対する処理レートを上昇させ、画像処理手段２２による解析結果と時刻情報等をメタデータとして該当画像情報に付加して画像録画部３０に記憶する（Ｓ１９）。処理レートの上昇にあっては、例えば、該当カメラについて解像度上昇の制御を行って高解像度の映像情報を得たり、背景差分やフレーム間差分更にはパターンマッチングなどの手法の一つを複数にして多数決を採用したり、Ｉフレーム以外にＢフレームやＰフレームを用いてデコードを行って画像処理用の画像情報を復号化する等が行われる。そして、上記のステップＳ１９に続いて、現在選択カメラ情報テーブルＧＴに登録のカメラによってブロードキャスト送信されている映像情報を取り込みデコードを行い（Ｓ２１）、複数のカメラについて得られる画像情報に対して時分割で上記の通り事象発生フラグがセットされたカメラ対応の画像情報について、処理レートを上昇させてマルチ処理を行うものである（Ｓ２２）。
【００３１】
そして、上記ステップＳ２２の次には、カメラ制御情報ＤＢ２５のデータが切り換わる時刻（図２の例では、時刻7:00など）であるかを検出し（Ｓ２３）、データの切り換え時刻でなければ、画像処理において所定の事象発生（侵入監視システムでは、侵入者の検出。道路監視システムでは、渋滞の発生等）が検出されたかを判定し（Ｓ２４）、このステップＳ２４において、所定の事象発生が検出されると、現在選択カメラ情報テーブルＧＴの該当カメラ対応に事象発生フラグをセットし、事象発生の対象画像情報に対する処理レートを前述の如く上昇させ、画像処理手段２２による解析結果と時刻情報等をメタデータとして該当画像情報に付加して画像録画部３０に記憶し（Ｓ２５）、ステップＳ２１へ戻る。
【００３２】
また、ステップＳ２３においてデータの切り換え時刻到来が検出されると、ステップＳ１１へ戻り処理が行われる。この場合には、次にステップＳ１２からステップＳ１３へ進み、このステップＳ１３において事象発生フラグがセットされているカメラが存在することが検出され、現在選択カメラ情報テーブルＧＴに事象発生フラグのセットされているカメラに関する情報を残し、ステップＳ１１にてカメラ制御情報ＤＢ２５から得られた選択カメラの中から優先度に基づき許容数（処理能力に応じた数であり、図３の例では４台）の選択カメラに関する情報を取り出して現在選択カメラ情報テーブルＧＴに登録する（Ｓ２０）。斯して、事象発生中を捕らえたカメラによる画像情報が画像処理から外されることなく、効率の良い監視が継続される。
【００３３】
更に、上記の通りの処理が進行する中で、ステップＳ２４において所定の事象発生が検出されない場合には、事象発生の消滅（侵入監視システムでは、侵入者の検出無し状態。道路監視システムでは、渋滞の解消等）が検出されたかを判定し（Ｓ２６）、事象発生の消滅が検出されなければステップＳ２１へ戻って処理が継続されるが、事象発生の消滅が検出された場合には、現在選択カメラ情報テーブルＧＴの該当カメラ対応に事象発生フラグをリセットし、事象発生の対象画像情報に対する処理レートを低減して元へ戻し（Ｓ２７）、ステップＳ１１へ進む。このステップＳ２７に次いで行われるステップＳ１１からの処理において、ステップＳ１３にて事象発生フラグがセットされているカメラがないことが検出されると、ステップＳ１１においてカメラ制御情報ＤＢ２５から得た選択カメラの情報をそのまま現在選択カメラ情報テーブルＧＴへ登録して（Ｓ１４）処理が行われ、ステップＳ１３にて未だに事象発生フラグがセットされているカメラが存在することが検出されると、現在選択カメラ情報テーブルＧＴに事象発生フラグのセットされているカメラに関する情報を残し、ステップＳ１１にてカメラ制御情報ＤＢ２５から得られた選択カメラの中から優先度に基づき許容数（処理能力に応じた数であり、図３の例では４台）の選択カメラに関する情報を取り出して現在選択カメラ情報テーブルＧＴに登録して（Ｓ２０）処理が行われる。なお、本実施例では、事象発生検出の場合にのみ画像処理手段２２による解析結果をメタデータとして該当画像情報に付加して画像録画部３０に記憶することを示したが（Ｓ１９、Ｓ２５）、ステップＳ２７における事象発生の消滅を検出した場合に、この解析結果をメタデータとして該当画像情報に付加して画像録画部３０に記憶するように構成することも可能である。なお、いずれの場合においても、解析結果がメタデータとして該当画像情報に付加して画像録画部３０に記憶されているため、例えば監視側端末２０において画像録画部３０から所望の画像情報を読み出す場合には、付加されたメタデータをキーとして検索を行うことができ、監視業務の効率化を図ることができる。
【実施例２】
【００３４】
図６には、第２の実施例に係る監視システムの構成図が示されている。この実施例においては、事象を検出する複数のセンサ４１−１、４１−２、・・・と、このセンサ４１−１、４１−２、・・・が事象を検出した場合にネットワーク１０を介して事象発生情報を報知する事象発生報知手段４０が新たに備えられている。センサ４１−１、４１−２、・・・は、侵入監視システムでは、侵入者の検出の赤外線センサ等であり、道路監視システムでは、渋滞の発生等を検出する車両検出センサなどにより構成される。また、監視側端末２０Ａには、第１の構成に加えて、解析制御手段２７を備えている。この解析制御手段２８は、事象発生報知手段４０による事象発生情報をネットワーク１０を介して受け取り、この事象発生情報に応じて対応するカメラによる撮像に対応する映像送出部の送出に係るディジタル画像情報について画像処理手段２２による解析を実行させるものである。
【００３５】
また、カメラ制御手段２４は、第１の実施例における処理に加えて、事象発生報知手段４０から送られる事象発生情報をネットワーク１０を介して受け取り、この事象発生情報に応じて対応するカメラにおけるズーム機構、旋回機構、解像度変更手段の制御を行うものである。センサ４１−１、４１−２、・・・による事象発生検出を管理するために、監視側端末２０Ａには、図７に示されるようなセンサ識別情報（ＩＤ）に対応して制御すべきカメラ識別情報、ズーム比、旋回角、解像度、優先度が記憶された制御情報テーブルＣＴと、図８に示すようなセンサ情報管理テーブルＳＴが備えられている。センサ情報管理テーブルＳＴは、前回事象発生検出したセンサの識別情報（ＩＤ）を登録する前回検出センサ欄と今回事象発生検出したセンサの識別情報（ＩＤ）を登録する今回検出センサ欄とを備えている。そして、監視側端末２０ＡのＣＰＵは、図４と図５に示したフローチャートに対応するプログラムによる動作を行う他に、例えば所定時間毎の割り込みにより図９に示すフローチャートに対応するプログラムによる動作を行う。第２の実施例に係る監視システムの構成は、上記以外において第１の実施例と同様である。
【００３６】
以下、図９に示すフローチャートに基づき動作を説明する。割り込みにより、図９に示すフローチャートに対応するプログラムがスタートとなり、今回検出センサ欄の内容を前回検出センサ欄へ移動し、事象発生報知手段４０から各センサ４１−１、４１−２、・・・による事象発生情報が到来したかを検出し、今回において送られた事象発生情報に対応するセンサの識別情報を今回検出センサ欄へ登録し（Ｓ３１）、前回検出センサ欄の内容と今回検出センサ欄の内容を比較して（Ｓ３２）、差があるかを検出する（Ｓ３３）。
【００３７】
上記ステップＳ３３において差がないことが検出されるとエンドとなり、ステップＳ３３において差が検出されると、不検出となった事象発生に対応するセンサがあるかを検出し（Ｓ３４）、不検出となった事象発生に対応するセンサがある場合には（図８のテーブルでは、ｄが不検出となっている）現在選択カメラ情報テーブルＧＴ中から対応カメラの情報を削除する（Ｓ３５）。
【００３８】
次に、新規センサの有無を検出し（Ｓ３６）、新規センサありとなると（図８のテーブルでは、ｂ、ｃが新規である）、センサ新規に登録されたセンサ識別情報に基づき図７に示す制御情報テーブルＣＴを参照して制御対象の対応カメラを求め、該カメラに対してズーム比、旋回角、解像度の情報を送ってカメラ制御を行う（Ｓ３７）と共に、現在選択カメラ情報テーブルＧＴ中の優先度に基づき新規センタ対応数の選択カメラに関する情報を削除し、新規センタ対応のカメラに関する情報をフラグセットと共に現在選択カメラ情報テーブルＧＴに登録する（Ｓ３８）。
【００３９】
監視側端末２０ＡのＣＰＵは、図４と図５に示したフローチャートに対応するプログラムによる動作を行うものであるから、上記の処理によって、センサ４１−１、４１−２、・・・による事象発生検出に応じて、所要のカメラによって撮像された映像に係る画像情報について画像処理手段２２による画像処理がなされ、必要な監視を適切に行うことができる。なお、画像録画部３０に録画する映像情報についてメタデータを付加する処理は図４と図５に示したフローチャートに対応するプログラムによる動作にて行われるが、上記のセンサによる事象発生検出がなされた場合に対応の情報（センサの場所やＩＤ、検出時刻等）をメタデータとして対応のカメラによる画像情報に付加して画像録画部３０に記憶するようにしても良い。
【実施例３】
【００４０】
図１０には、第３の実施例に係る監視システムの構成図が示されている。この実施例においては、ネットワーク１０に映像蓄積サーバ５０により構成される映像蓄積手段が接続されている。映像蓄積サーバ５０は、映像送出部により送出された映像情報をネットワークから取り込み蓄積するものである。ここでは映像蓄積サーバ５０は、全てのカメラにより得られて送られてくる映像情報（ＭＰＥＧ２、ＭＰＥＧ４など）を時刻情報と共に蓄積している。映像蓄積サーバ５０には、例えばパーソナルコンピュータにより構成される監視側端末２０Ｃが接続され、監視側端末２０Ｃには画像録画部３０Ａが接続された構成とされている。
【００４１】
ネットワーク１０に接続されている監視側端末２０Ｂは、第２の実施例に備えられている監視側端末２０Ａと同様な構成を備えており、更に加えて、ＣＰＵが図１１に示すフローチャートに対応するプログラムを実行することにより映像蓄積サーバ５０からネットワーク１０を介して、蓄積された映像情報を取り出しデコーダ２１にてデコードして記画像処理手段２２による解析を実行するものである。なお、監視側端末２０Ｂは、第２の実施例に備えられた監視側端末２０Ａと同様な構成であるため、各手段等の表示を省略してある。監視側端末２０Ｃにはデコーダ２１、画像処理手段２２、録画制御手段２３が備えられており、図４と図５に示されるフローチャートに対応するプログラムを実行して画像録画部３０Ａに録画するディジタル画像情報に対して画像処理手段２２による解析結果をメタデータとして付加して記録する。ただし、監視側端末２０Ｃは、図４と図５に示されるフローチャートに対応するプログラムの内、時刻に基づく選択カメラの変更をする必要はなく、パーソナルコンピュータの入力部から指定されたカメラに対応する画像情報について処理を行うものとする。
【００４２】
図１０のフローチャートに対応するプログラムは、例えば、第２の実施例による処理をスタートさせたときに直ちに事象発生となって、その真偽が疑わしい場合やスタート前から事象発生が継続していたことの確認のためなどに、起動される。なお、監視側端末２０Ｂにおいては、第２の実施例による処理が実行されているため、例えば、現在において事象発生となっておらず、且つ優先度が最も低い選択カメラに対応する画像情報についての処理を停止して当該図１１のフローチャートに対応するプログラムを実行するものとする。以下、動作を説明する。
【００４３】
映像蓄積サーバ５０へアクセスして所定のカメラに対応する映像情報を所定時刻（例えば、現在から５分前）から取得し（Ｓ４１）、デコーダ２１によるデコードを行って画像処理用の画像情報を得る（Ｓ４２）。ステップＳ４２において得られたデコード画像情報について画像処理手段２２による画像処理を行って（Ｓ４３）、事象発生検出となったかを判定する（Ｓ４４）。上記ステップ４３における処理では、対応カメラに関して現在画像について行っている画像処理と異なるアルゴリズムによる処理を行う等、より高精度の処理を行うようにするとより好適である。
【００４４】
ステップＳ４４において事象発生が検出されなければ、事象発生無しの旨を表示するなどにより報知して（Ｓ４５）、終了指示入力がないことを検出して（Ｓ４６）ステップＳ４３における処理を続ける。ステップＳ４４において事象発生が検出された場合には、対応カメラに関して現在画像について行っている画像処理の結果と比較し（Ｓ４７）、一致した結果が得られたかを検出し（Ｓ４８）、一致した結果が得られなければ（例えば、道路監視システムにおいては渋滞発生と霧発生等）、画像処理結果が不一致の旨或いは誤検出の旨を表示するなどにより報知して（Ｓ４９）、終了指示入力がないことを検出して（Ｓ５１）ステップＳ４３における処理を続ける。
【００４５】
ステップＳ４８において一致した結果が得られた場合には、画像処理結果が一致の旨或いは事象発生継続の旨を表示するなどにより報知して（Ｓ５０）、終了指示入力がないことを検出して（Ｓ５１）ステップＳ４３における処理を続ける。ステップＳ４６、Ｓ５１において終了指示入力を検出するとエンドとなる。斯して本実施例によれば、蓄積した映像情報を用いて画像処理を行い、画像処理に関する評価や事象発生の継続性を検出して報知することができ、適切な監視を行うことが可能である。
【００４６】
なお、図１０には示されていないが、ネットワーク１０にクライアントコンピュータを接続して、画像蓄積サーバ５０から所定のカメラに対応する映像情報を所定時刻から取得し、ＭＰＥＧに対するデコードを行い映像を表示して監視などを行うことが可能となっている。
【図面の簡単な説明】
【００４７】
【図１】本発明における第１の実施例に係る監視システムの構成を示す図。
【図２】本発明における第１の実施例に係る監視システムに用いられるカメラ制御情報データベースの内容を示す図。
【図３】本発明における第１の実施例に係る監視システムに用いられる現在選択カメラ情報テーブルの内容を示す図。
【図４】本発明における第１の実施例に係る監視システムの動作を説明するためのフローチャート。
【図５】本発明における第１の実施例に係る監視システムの動作を説明するためのフローチャート。
【図６】本発明における第２の実施例に係る監視システムの構成を示す図。
【図７】本発明における第２の実施例に係る監視システムに用いられる制御情報テーブルの内容を示す図。
【図８】本発明における第３の実施例に係る監視システムに用いられるセンサ情報管理テーブルの内容を示す図。
【図９】本発明における第２の実施例に係る監視システムの動作を説明するためのフローチャート。
【図１０】本発明における第３の実施例に係る監視システムの構成を示す図。
【図１１】本発明における第３の実施例に係る監視システムの動作を説明するためのフローチャート。
【図１２】従来の監視システムに係る構成を示す図。
【図１３】従来の監視システムに係る構成を示す図。
【図１４】従来の監視システムに係る構成を示す図。
【図１５】従来の監視システムに係る構成を示す図。
【符号の説明】
【００４８】
１０ ネットワーク
１１−１、１１−２、１１−３ アナログカメラ
１２−１、１２−２ ＩＰカメラ
１３−１、１３−２、１３−３ エンコーダ
２０、２０Ａ、２０Ｂ、２０Ｃ 監視側端末
２１ デコーダ
２２ 画像処理手段
２３ 録画制御手段
２４ カメラ制御手段
２５ カメラ制御情報ＤＢ
２６ タイマ
２７ 解析制御手段
３０、３０Ａ 画像録画部
４０ 事象発生報知手段
４１−１、４１−２ センサ
５０ 映像蓄積サーバ
【技術分野】
【０００１】
この発明は、カメラを用いて道路監視や侵入監視などの各種監視を行う場合に好適な監視システム及び画像処理装置に関するものである。
【背景技術】
【０００２】
従来の監視システムにおいては、図１２に示されるように監視カメラ１０１−１、１０１−２、・・・により撮像した監視対象のアナログ映像信号をそのまま伝送して事象検出装置１０２へ導くものであった。アナログ映像信号を伝送するために、その劣化を抑制するイコライザー１０３を伝送路に設ける必要があった。事象検出装置１０２は映像信号を取り込んでＡ／Ｄ変換し、画像処理を行って事象検出を行うものであるが、監視カメラ１０１−１、１０１−２、・・・により得られた映像について複数のものを１台の事象検出装置１０２にて処理する場合には、映像分配器１０４によりアナログ映像信号を切り換えて事象検出装置１０２へ送出する構成であった。
【０００３】
このシステムにおいては、映像分配器１０４による瞬時な切り換えが不可能であり、また映像分配器１０４により事象検出装置１０２を切り換える制御を行うことはできず、所要の監視カメラにより撮像された映像について次々に時分割による画像処理を実行することはできないものであった。また、レコーダ１０５によりアナログ映像信号を録画するものであるが、事象検出装置１０２からの制御により必要なアナログ映像信号を選択して録画するように構成されており、過去に録画した映像信号について後になって読み出して画像解析を行うことは不可能であった。
【０００４】
図１３は、伝送路を光ファイバとしてＥ／Ｏ変換器１０７、Ｏ／Ｅ変換器１０８を用いてアナログ映像信号の劣化を抑制した構成例である。このシステムにおいては、イコライザー１０３が不要であるが、Ｅ／Ｏ変換器１０７とＯ／Ｅ変換器１０８が必要であり、アナログ映像信号の劣化対策が必要であることには変わりがなく、その他の点においては図１２において説明した問題点がある。
【０００５】
図１４に示す従来のシステムにあっては、映像分配器１０４と事象検出装置１０２との間にスキャン映像を得るための映像切換器１０９を設けたものである。このシステムでは、映像分配器１０４によるスキャン映像の取得による映像切り換えがなされるものであり、事象検出装置１０２が所望により瞬時に所望の監視カメラ１０１−１、１０１−２、・・・により得られた映像についてスキャン映像を次々に得て時分割多重処理を行うようなシステムとすることはできない。
【０００６】
更に、図１５に示す従来のシステムは、監視カメラ１０１−１、１０１−２、・・・により得られた映像信号についてＭＰＥＧ２やＭＰＥＧ４による符号化を行うエンコーダ１１１−１、１１１−２、・・・を接続して符号化した映像情報をネットワーク１１０を介して伝送するものである。このシステムにおいては、ネットワーク１１０の受信側においてＭＰＥＧ２やＭＰＥＧ４による符号化に係る映像情報を復号化してアナログ映像信号に戻すデコーダ１１２を備え、これを事象検出装置１０２においてキャプチャボードなどによりＡ／Ｄ変換する処理を行っており、符号化復号化の繰り返し処理が何度もなされ繁雑なものであった。
【０００７】
また、複数の監視カメラにより得られた映像信号についてＭＰＥＧにて伝送を行い、日時情報と共に保存して、再生時には日時情報に基づき複数の画像を表示するものが特許文献１に開示されている。また、通常時にＩフレームのみを送り、一定以上の動きを検出した際にはＩフレーム、Ｂフレーム、Ｐフレームを送る監視システムが特許文献２に示されている。
【特許文献１】特開２００３−１６３９２３号公報
【特許文献２】特開２０００−１６５８４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
発明が解決しようとする課題は、監視カメラ側から符号化して映像情報を送る場合に、符号化復号化の繰り返し処理が何度も行われて繁雑なことであり、本発明の目的は係る繁雑さを排除し、しかも複数のカメラによる画像についての画像処理を多重化して時分割で行うことが可能である監視システム及び画像処理装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明に係る監視システムは、被写対象を撮像して符号化されたネットワーク送信可能な映像情報を出力する複数の映像送出部と、前記複数の映像送出部が接続されるネットワークと、前記ネットワークに接続され、前記複数の映像送出部が送出した映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換するデコーダと、前記デコーダが変換した複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行う画像処理手段とを具備することを特徴とする。
【００１０】
本発明に係る監視システムは、デコードしたディジタル画像情報を録画する画像録画部と、前記画像録画部に録画するディジタル画像情報に対して前記画像処理手段による解析結果をメタデータとして付加する録画制御手段とを具備することを特徴とする。
【００１１】
本発明に係る監視システムでは、前記画像処理手段が、解析結果に応じて対応する映像送出部の送出に係るディジタル画像情報に関する処理レートを変更することを特徴とする。
【００１２】
本発明に係る監視システムでは、前記映像送出部が、ズーム機構、旋回機構、解像度変更手段を備えており、前記画像処理手段による解析結果に応じて対応する映像送出部におけるズーム機構、旋回機構、解像度変更手段の制御を行うカメラ制御手段が具備されていることを特徴とする。
【００１３】
本発明に係る監視システムは、事象を検出するセンサと、該センサが事象を検出した場合にネットワークを介して事象発生情報を報知する事象発生報知手段と、前記事象発生報知手段による事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて対応する映像送出部の送出に係るディジタル画像情報について前記画像処理手段による解析を実行させる解析制御手段とを具備することを特徴としている。
【００１４】
本発明に係る監視システムでは、カメラ制御手段が、前記事象発生報知手段から送られる事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて対応する映像送出部におけるズーム機構、旋回機構、解像度変更手段の制御を行うことを特徴とする。
【００１５】
本発明に係る監視システムでは、時刻情報に対応して制御すべき映像送出部と制御内容の情報が対応付けられたカメラ制御情報データベースを備え、カメラ制御手段は、前記カメラ制御情報データベースの情報に応じて対応する制御を行うことを特徴とする。
【００１６】
本発明に係る監視システムは、映像送出部により送出された映像情報をネットワークから取り込み蓄積する映像蓄積手段を備え、前記映像蓄積手段から直接にまたはネットワークを介して蓄積された映像情報を取り出し前記デコーダにてデコードして前記画像処理手段による解析を実行することを特徴とする。
【００１７】
本発明に係る画像処理装置は、映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換するデコーダと、前記デコーダが変換した複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行う画像処理手段とを具備することを特徴とする。
【発明の効果】
【００１８】
本発明に係る監視システムでは、被写対象を撮像して符号化されたネットワーク送信可能な映像情報を出力する複数の映像送出部が、ネットワークを介して映像情報を送出し、この映像情報を受けて、少なくともＩフレームを取り込み１画面分のディジタル画像情報へデコードして、複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行うので、複数の映像送出部にて撮像した被写対象について事象発生を多重的に検出でき、効率的な監視を可能である。また、本発明に係る画像処理装置は、映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換し、変換した複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行うので、複数の映像送出部にて撮像した被写対象について事象発生を多重的に検出できる。
【００１９】
本発明に係る監視システムでは、前記映像送出部は、ズーム機構、旋回機構、解像度変更手段を備えており、前記画像処理手段による解析結果に応じて、または、センサが事象を検出した場合にネットワークを介して事象発生情報を報知する事象発生報知手段による事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて、対応する映像送出部におけるズーム機構、旋回機構、解像度変更手段の制御を行うので、必要時に必要な位置の監視を行うことができ、効率的な監視が可能である。
【発明を実施するための最良の形態】
【００２０】
本発明では、被写対象を撮像して符号化されたネットワーク送信可能な映像情報を出力する複数の映像送出部から、ネットワークを介して映像情報を送出し、この映像情報を受けて少なくともＩフレームを取り込み１画面分のディジタル画像情報へデコードする構成により、繁雑な処理と構成を回避し、複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行うようにして、複数の映像送出部にて撮像した被写対象について事象発生を多重的に検出するという目的を達成したものである。
【実施例１】
【００２１】
以下添付図面を参照して、本発明の監視システムの実施例を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図１は、本発明に係る監視システムの第１の実施例を示す構成図である。このシステムでは、複数台のアナログカメラ１１−１、１１−２、１１−３、・・・により被写対象を撮像してアナログ映像信号を得る。また、複数のＩＰカメラ１２−１、１２−２、・・・により被写対象を撮像してネットワーク送信可能な映像情報（ＭＰＥＧ２やＭＰＥＧ４など）を得る。アナログカメラ１１−１、１１−２、１１−３、・・・には、ネットワーク送信可能な映像情報（ＭＰＥＧ２やＭＰＥＧ４など）とするエンコーダ１３−１、１３−２、１３−３、・・・が接続されている。
【００２２】
アナログカメラ１１−１、１１−２、１１−３、・・・及びＩＰカメラ１２−１、１２−２、・・・には、アナログカメラ１１−１について代表して示すようにズーム機構、旋回機構解像度変更手段が備えられている。アナログカメラ１１−１、１１−２、１１−３、ＩＰカメラ１２−１、１２−２、・・・及びエンコーダ１３−１、１３−２、１３−３、・・・は、複数の映像送出部を構成し、ＩＰカメラ１２−１、１２−２、・・・及びエンコーダ１３−１、１３−２、１３−３、・・・は、ネットワーク１０に接続されており、映像情報をブロードキャスト送信している。
【００２３】
また、ネットワーク１０には例えばパーソナルコンピュータにより構成される監視側端末２０が接続されており、更に、監視側端末２０には、画像録画部３０が接続されている。監視側端末２０には、ソフトウエアにより構成されるデコーダ２１、画像処理手段２２、録画制御手段２３、カメラ制御手段２４が備えられており、また、カメラ制御情報ＤＢ（データベース）２５及び計時を行うタイマ２６が備えられている。
【００２４】
デコーダ２１は、複数の映像送出部が送出した映像情報に含まれている少なくともＩフレームを取り込み画像処理用の１画面分のディジタル画像情報へ変換するものである。画像処理手段２２は、デコーダ２１がデコードした複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行うものである。録画制御手段２３は、画像録画部３０に録画するディジタル画像情報に対して上記画像処理手段２２による解析結果をメタデータとして付加して画像録画部３０に記憶するものである。カメラ制御手段２４は、画像処理手段２２による解析結果に応じて対応するカメラにおけるズーム機構、旋回機構、解像度変更手段の制御を行うものであり、また、カメラ制御情報ＤＢ２５の情報に応じて対応するカメラに関する制御を行うものである。
【００２５】
カメラ制御情報ＤＢ２５は、例えば、図２に示されるように、時刻情報に対応して制御すべきカメラと制御内容の情報が対応付けられたものである。ここでは、時刻00:00から時刻06:59において選択するカメラＡ、Ｂ、Ｃ、Ｄの情報と、各カメラＡ、Ｂ、Ｃ、Ｄについてそれぞれズーム比、旋回角、解像度及び優先度に関する情報が対応して記憶されており、時刻07:00から時刻12:59において選択するカメラＥ、Ｆ、Ｇ、Ｈの情報と、各カメラＥ、Ｆ、Ｇ、Ｈについてそれぞれズーム比、旋回角、解像度及び優先度に関する情報が対応して記憶されており、以下、時刻対応に同様の情報が記憶されている。
【００２６】
カメラ制御手段２４には、図３に示される現在選択カメラ情報テーブルＧＴが備えられており、現在選択カメラ情報テーブルＧＴには、現在において画像処理手段２２により処理されているカメラについて、カメラ情報、ズーム比、旋回角、解像度、優先度及び事象発生フラグ（０：リセット、１：セット）の情報が記憶されている。
【００２７】
画像処理手段２２とカメラ制御手段２４は、監視側端末２０のＣＰＵが図４及び図５に示されるフローチャートに対応する基づき処理を行うことにより実現されるものである。以下、この図４及び図５に示されるフローチャートに基づき動作を説明する。監視側端末２０が起動され、スタートとなってタイマ２６の現在時刻に基づきカメラ制御情報ＤＢ２５から当該時刻対応の選択カメラ、各カメラについてそれぞれズーム比、旋回角、解像度及び優先度に関する情報を求め（Ｓ１１）、各選択カメラに対してネットワーク１０を介してズーム比、旋回角、解像度に関する制御情報を送り、各カメラの制御を行う（Ｓ１２）。ステップＳ１２に次いで現在選択カメラ情報テーブルＧＴを参照し、事象発生フラグがセットされているカメラがあるかを検出する（Ｓ１３）。
【００２８】
ステップＳ１３において事象発生フラグがセットされているカメラがないことが検出されると、ステップＳ１１においてカメラ制御情報ＤＢ２５から得た選択カメラの情報をそのまま現在選択カメラ情報テーブルＧＴへ登録し（Ｓ１４）、現在選択カメラ情報テーブルＧＴに登録のカメラによってブロードキャスト送信されている映像情報を取り込みデコードを行う（Ｓ１５）。このとき、ＭＰＥＧの映像情報には、Ｉフレーム、Ｂフレーム及びＰフレームが含まれるが、ここではＩフレームのみを取り込み、デコードを行う。このため、Ｉフレームは１秒間に最大２フレーム分が到達するので、現在選択カメラ情報テーブルＧＴに登録された複数（図３の例では４台）のカメラについて順次切り換えを行って取り込む。
【００２９】
ステップＳ１５に続いて、複数のカメラについて得られる画像情報に対して時分割で同一処理レートにて画像処理をマルチ処理する（Ｓ１６）。ここにおける画像処理では、例えば、背景差分やフレーム間差分更にはパターンマッチングなど公知の手法の一つ或いは複数が、監視側端末２０のＣＰＵ処理能力に応じて用いられる。ステップＳ１６に続いて、カメラ制御情報ＤＢ２５のデータが切り換わる時刻（図２の例では、時刻7:00など）であるかを検出し（Ｓ１７）、データの切り換え時刻でなければ、画像処理において所定の事象発生（侵入監視システムでは、侵入者の検出。道路監視システムでは、渋滞の発生等）が検出されたかを判定し（Ｓ１８）、所定の事象発生が検出されなければステップＳ１５へ戻って処理が続けられる。また、ステップＳ１７においてデータの切り換え時刻到来が検出されると、ステップＳ１１へ戻り処理が行われる。
【００３０】
上記ステップＳ１８において、所定の事象発生が検出されると、現在選択カメラ情報テーブルＧＴの該当カメラ対応に事象発生フラグをセットし、事象発生の対象画像情報に対する処理レートを上昇させ、画像処理手段２２による解析結果と時刻情報等をメタデータとして該当画像情報に付加して画像録画部３０に記憶する（Ｓ１９）。処理レートの上昇にあっては、例えば、該当カメラについて解像度上昇の制御を行って高解像度の映像情報を得たり、背景差分やフレーム間差分更にはパターンマッチングなどの手法の一つを複数にして多数決を採用したり、Ｉフレーム以外にＢフレームやＰフレームを用いてデコードを行って画像処理用の画像情報を復号化する等が行われる。そして、上記のステップＳ１９に続いて、現在選択カメラ情報テーブルＧＴに登録のカメラによってブロードキャスト送信されている映像情報を取り込みデコードを行い（Ｓ２１）、複数のカメラについて得られる画像情報に対して時分割で上記の通り事象発生フラグがセットされたカメラ対応の画像情報について、処理レートを上昇させてマルチ処理を行うものである（Ｓ２２）。
【００３１】
そして、上記ステップＳ２２の次には、カメラ制御情報ＤＢ２５のデータが切り換わる時刻（図２の例では、時刻7:00など）であるかを検出し（Ｓ２３）、データの切り換え時刻でなければ、画像処理において所定の事象発生（侵入監視システムでは、侵入者の検出。道路監視システムでは、渋滞の発生等）が検出されたかを判定し（Ｓ２４）、このステップＳ２４において、所定の事象発生が検出されると、現在選択カメラ情報テーブルＧＴの該当カメラ対応に事象発生フラグをセットし、事象発生の対象画像情報に対する処理レートを前述の如く上昇させ、画像処理手段２２による解析結果と時刻情報等をメタデータとして該当画像情報に付加して画像録画部３０に記憶し（Ｓ２５）、ステップＳ２１へ戻る。
【００３２】
また、ステップＳ２３においてデータの切り換え時刻到来が検出されると、ステップＳ１１へ戻り処理が行われる。この場合には、次にステップＳ１２からステップＳ１３へ進み、このステップＳ１３において事象発生フラグがセットされているカメラが存在することが検出され、現在選択カメラ情報テーブルＧＴに事象発生フラグのセットされているカメラに関する情報を残し、ステップＳ１１にてカメラ制御情報ＤＢ２５から得られた選択カメラの中から優先度に基づき許容数（処理能力に応じた数であり、図３の例では４台）の選択カメラに関する情報を取り出して現在選択カメラ情報テーブルＧＴに登録する（Ｓ２０）。斯して、事象発生中を捕らえたカメラによる画像情報が画像処理から外されることなく、効率の良い監視が継続される。
【００３３】
更に、上記の通りの処理が進行する中で、ステップＳ２４において所定の事象発生が検出されない場合には、事象発生の消滅（侵入監視システムでは、侵入者の検出無し状態。道路監視システムでは、渋滞の解消等）が検出されたかを判定し（Ｓ２６）、事象発生の消滅が検出されなければステップＳ２１へ戻って処理が継続されるが、事象発生の消滅が検出された場合には、現在選択カメラ情報テーブルＧＴの該当カメラ対応に事象発生フラグをリセットし、事象発生の対象画像情報に対する処理レートを低減して元へ戻し（Ｓ２７）、ステップＳ１１へ進む。このステップＳ２７に次いで行われるステップＳ１１からの処理において、ステップＳ１３にて事象発生フラグがセットされているカメラがないことが検出されると、ステップＳ１１においてカメラ制御情報ＤＢ２５から得た選択カメラの情報をそのまま現在選択カメラ情報テーブルＧＴへ登録して（Ｓ１４）処理が行われ、ステップＳ１３にて未だに事象発生フラグがセットされているカメラが存在することが検出されると、現在選択カメラ情報テーブルＧＴに事象発生フラグのセットされているカメラに関する情報を残し、ステップＳ１１にてカメラ制御情報ＤＢ２５から得られた選択カメラの中から優先度に基づき許容数（処理能力に応じた数であり、図３の例では４台）の選択カメラに関する情報を取り出して現在選択カメラ情報テーブルＧＴに登録して（Ｓ２０）処理が行われる。なお、本実施例では、事象発生検出の場合にのみ画像処理手段２２による解析結果をメタデータとして該当画像情報に付加して画像録画部３０に記憶することを示したが（Ｓ１９、Ｓ２５）、ステップＳ２７における事象発生の消滅を検出した場合に、この解析結果をメタデータとして該当画像情報に付加して画像録画部３０に記憶するように構成することも可能である。なお、いずれの場合においても、解析結果がメタデータとして該当画像情報に付加して画像録画部３０に記憶されているため、例えば監視側端末２０において画像録画部３０から所望の画像情報を読み出す場合には、付加されたメタデータをキーとして検索を行うことができ、監視業務の効率化を図ることができる。
【実施例２】
【００３４】
図６には、第２の実施例に係る監視システムの構成図が示されている。この実施例においては、事象を検出する複数のセンサ４１−１、４１−２、・・・と、このセンサ４１−１、４１−２、・・・が事象を検出した場合にネットワーク１０を介して事象発生情報を報知する事象発生報知手段４０が新たに備えられている。センサ４１−１、４１−２、・・・は、侵入監視システムでは、侵入者の検出の赤外線センサ等であり、道路監視システムでは、渋滞の発生等を検出する車両検出センサなどにより構成される。また、監視側端末２０Ａには、第１の構成に加えて、解析制御手段２７を備えている。この解析制御手段２８は、事象発生報知手段４０による事象発生情報をネットワーク１０を介して受け取り、この事象発生情報に応じて対応するカメラによる撮像に対応する映像送出部の送出に係るディジタル画像情報について画像処理手段２２による解析を実行させるものである。
【００３５】
また、カメラ制御手段２４は、第１の実施例における処理に加えて、事象発生報知手段４０から送られる事象発生情報をネットワーク１０を介して受け取り、この事象発生情報に応じて対応するカメラにおけるズーム機構、旋回機構、解像度変更手段の制御を行うものである。センサ４１−１、４１−２、・・・による事象発生検出を管理するために、監視側端末２０Ａには、図７に示されるようなセンサ識別情報（ＩＤ）に対応して制御すべきカメラ識別情報、ズーム比、旋回角、解像度、優先度が記憶された制御情報テーブルＣＴと、図８に示すようなセンサ情報管理テーブルＳＴが備えられている。センサ情報管理テーブルＳＴは、前回事象発生検出したセンサの識別情報（ＩＤ）を登録する前回検出センサ欄と今回事象発生検出したセンサの識別情報（ＩＤ）を登録する今回検出センサ欄とを備えている。そして、監視側端末２０ＡのＣＰＵは、図４と図５に示したフローチャートに対応するプログラムによる動作を行う他に、例えば所定時間毎の割り込みにより図９に示すフローチャートに対応するプログラムによる動作を行う。第２の実施例に係る監視システムの構成は、上記以外において第１の実施例と同様である。
【００３６】
以下、図９に示すフローチャートに基づき動作を説明する。割り込みにより、図９に示すフローチャートに対応するプログラムがスタートとなり、今回検出センサ欄の内容を前回検出センサ欄へ移動し、事象発生報知手段４０から各センサ４１−１、４１−２、・・・による事象発生情報が到来したかを検出し、今回において送られた事象発生情報に対応するセンサの識別情報を今回検出センサ欄へ登録し（Ｓ３１）、前回検出センサ欄の内容と今回検出センサ欄の内容を比較して（Ｓ３２）、差があるかを検出する（Ｓ３３）。
【００３７】
上記ステップＳ３３において差がないことが検出されるとエンドとなり、ステップＳ３３において差が検出されると、不検出となった事象発生に対応するセンサがあるかを検出し（Ｓ３４）、不検出となった事象発生に対応するセンサがある場合には（図８のテーブルでは、ｄが不検出となっている）現在選択カメラ情報テーブルＧＴ中から対応カメラの情報を削除する（Ｓ３５）。
【００３８】
次に、新規センサの有無を検出し（Ｓ３６）、新規センサありとなると（図８のテーブルでは、ｂ、ｃが新規である）、センサ新規に登録されたセンサ識別情報に基づき図７に示す制御情報テーブルＣＴを参照して制御対象の対応カメラを求め、該カメラに対してズーム比、旋回角、解像度の情報を送ってカメラ制御を行う（Ｓ３７）と共に、現在選択カメラ情報テーブルＧＴ中の優先度に基づき新規センタ対応数の選択カメラに関する情報を削除し、新規センタ対応のカメラに関する情報をフラグセットと共に現在選択カメラ情報テーブルＧＴに登録する（Ｓ３８）。
【００３９】
監視側端末２０ＡのＣＰＵは、図４と図５に示したフローチャートに対応するプログラムによる動作を行うものであるから、上記の処理によって、センサ４１−１、４１−２、・・・による事象発生検出に応じて、所要のカメラによって撮像された映像に係る画像情報について画像処理手段２２による画像処理がなされ、必要な監視を適切に行うことができる。なお、画像録画部３０に録画する映像情報についてメタデータを付加する処理は図４と図５に示したフローチャートに対応するプログラムによる動作にて行われるが、上記のセンサによる事象発生検出がなされた場合に対応の情報（センサの場所やＩＤ、検出時刻等）をメタデータとして対応のカメラによる画像情報に付加して画像録画部３０に記憶するようにしても良い。
【実施例３】
【００４０】
図１０には、第３の実施例に係る監視システムの構成図が示されている。この実施例においては、ネットワーク１０に映像蓄積サーバ５０により構成される映像蓄積手段が接続されている。映像蓄積サーバ５０は、映像送出部により送出された映像情報をネットワークから取り込み蓄積するものである。ここでは映像蓄積サーバ５０は、全てのカメラにより得られて送られてくる映像情報（ＭＰＥＧ２、ＭＰＥＧ４など）を時刻情報と共に蓄積している。映像蓄積サーバ５０には、例えばパーソナルコンピュータにより構成される監視側端末２０Ｃが接続され、監視側端末２０Ｃには画像録画部３０Ａが接続された構成とされている。
【００４１】
ネットワーク１０に接続されている監視側端末２０Ｂは、第２の実施例に備えられている監視側端末２０Ａと同様な構成を備えており、更に加えて、ＣＰＵが図１１に示すフローチャートに対応するプログラムを実行することにより映像蓄積サーバ５０からネットワーク１０を介して、蓄積された映像情報を取り出しデコーダ２１にてデコードして記画像処理手段２２による解析を実行するものである。なお、監視側端末２０Ｂは、第２の実施例に備えられた監視側端末２０Ａと同様な構成であるため、各手段等の表示を省略してある。監視側端末２０Ｃにはデコーダ２１、画像処理手段２２、録画制御手段２３が備えられており、図４と図５に示されるフローチャートに対応するプログラムを実行して画像録画部３０Ａに録画するディジタル画像情報に対して画像処理手段２２による解析結果をメタデータとして付加して記録する。ただし、監視側端末２０Ｃは、図４と図５に示されるフローチャートに対応するプログラムの内、時刻に基づく選択カメラの変更をする必要はなく、パーソナルコンピュータの入力部から指定されたカメラに対応する画像情報について処理を行うものとする。
【００４２】
図１０のフローチャートに対応するプログラムは、例えば、第２の実施例による処理をスタートさせたときに直ちに事象発生となって、その真偽が疑わしい場合やスタート前から事象発生が継続していたことの確認のためなどに、起動される。なお、監視側端末２０Ｂにおいては、第２の実施例による処理が実行されているため、例えば、現在において事象発生となっておらず、且つ優先度が最も低い選択カメラに対応する画像情報についての処理を停止して当該図１１のフローチャートに対応するプログラムを実行するものとする。以下、動作を説明する。
【００４３】
映像蓄積サーバ５０へアクセスして所定のカメラに対応する映像情報を所定時刻（例えば、現在から５分前）から取得し（Ｓ４１）、デコーダ２１によるデコードを行って画像処理用の画像情報を得る（Ｓ４２）。ステップＳ４２において得られたデコード画像情報について画像処理手段２２による画像処理を行って（Ｓ４３）、事象発生検出となったかを判定する（Ｓ４４）。上記ステップ４３における処理では、対応カメラに関して現在画像について行っている画像処理と異なるアルゴリズムによる処理を行う等、より高精度の処理を行うようにするとより好適である。
【００４４】
ステップＳ４４において事象発生が検出されなければ、事象発生無しの旨を表示するなどにより報知して（Ｓ４５）、終了指示入力がないことを検出して（Ｓ４６）ステップＳ４３における処理を続ける。ステップＳ４４において事象発生が検出された場合には、対応カメラに関して現在画像について行っている画像処理の結果と比較し（Ｓ４７）、一致した結果が得られたかを検出し（Ｓ４８）、一致した結果が得られなければ（例えば、道路監視システムにおいては渋滞発生と霧発生等）、画像処理結果が不一致の旨或いは誤検出の旨を表示するなどにより報知して（Ｓ４９）、終了指示入力がないことを検出して（Ｓ５１）ステップＳ４３における処理を続ける。
【００４５】
ステップＳ４８において一致した結果が得られた場合には、画像処理結果が一致の旨或いは事象発生継続の旨を表示するなどにより報知して（Ｓ５０）、終了指示入力がないことを検出して（Ｓ５１）ステップＳ４３における処理を続ける。ステップＳ４６、Ｓ５１において終了指示入力を検出するとエンドとなる。斯して本実施例によれば、蓄積した映像情報を用いて画像処理を行い、画像処理に関する評価や事象発生の継続性を検出して報知することができ、適切な監視を行うことが可能である。
【００４６】
なお、図１０には示されていないが、ネットワーク１０にクライアントコンピュータを接続して、画像蓄積サーバ５０から所定のカメラに対応する映像情報を所定時刻から取得し、ＭＰＥＧに対するデコードを行い映像を表示して監視などを行うことが可能となっている。
【図面の簡単な説明】
【００４７】
【図１】本発明における第１の実施例に係る監視システムの構成を示す図。
【図２】本発明における第１の実施例に係る監視システムに用いられるカメラ制御情報データベースの内容を示す図。
【図３】本発明における第１の実施例に係る監視システムに用いられる現在選択カメラ情報テーブルの内容を示す図。
【図４】本発明における第１の実施例に係る監視システムの動作を説明するためのフローチャート。
【図５】本発明における第１の実施例に係る監視システムの動作を説明するためのフローチャート。
【図６】本発明における第２の実施例に係る監視システムの構成を示す図。
【図７】本発明における第２の実施例に係る監視システムに用いられる制御情報テーブルの内容を示す図。
【図８】本発明における第３の実施例に係る監視システムに用いられるセンサ情報管理テーブルの内容を示す図。
【図９】本発明における第２の実施例に係る監視システムの動作を説明するためのフローチャート。
【図１０】本発明における第３の実施例に係る監視システムの構成を示す図。
【図１１】本発明における第３の実施例に係る監視システムの動作を説明するためのフローチャート。
【図１２】従来の監視システムに係る構成を示す図。
【図１３】従来の監視システムに係る構成を示す図。
【図１４】従来の監視システムに係る構成を示す図。
【図１５】従来の監視システムに係る構成を示す図。
【符号の説明】
【００４８】
１０ ネットワーク
１１−１、１１−２、１１−３ アナログカメラ
１２−１、１２−２ ＩＰカメラ
１３−１、１３−２、１３−３ エンコーダ
２０、２０Ａ、２０Ｂ、２０Ｃ 監視側端末
２１ デコーダ
２２ 画像処理手段
２３ 録画制御手段
２４ カメラ制御手段
２５ カメラ制御情報ＤＢ
２６ タイマ
２７ 解析制御手段
３０、３０Ａ 画像録画部
４０ 事象発生報知手段
４１−１、４１−２ センサ
５０ 映像蓄積サーバ
【特許請求の範囲】
【請求項１】
被写対象を撮像して符号化されたネットワーク送信可能な映像情報を出力する複数の映像送出部と、
前記複数の映像送出部が接続されるネットワークと、
前記ネットワークに接続され、前記複数の映像送出部が送出した映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換するデコーダと、
前記デコーダが変換した複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行う画像処理手段と
を具備することを特徴とする監視システム。
【請求項２】
デコードしたディジタル画像情報を録画する画像録画部と、
前記画像録画部に録画するディジタル画像情報に対して前記画像処理手段による解析結果をメタデータとして付加する録画制御手段と
を具備することを特徴とする請求項１に記載の監視システム。
【請求項３】
前記画像処理手段は、解析結果に応じて対応する映像送出部の送出に係るディジタル画像情報に関する処理レートを変更することを特徴とする請求項１に記載の監視システム。
【請求項４】
前記映像送出部は、ズーム機構、旋回機構、解像度変更手段を備えており、
前記画像処理手段による解析結果に応じて対応する映像送出部におけるズーム機構、旋回機構、解像度変更手段の制御を行うカメラ制御手段が具備されていることを特徴とする請求項１に記載の監視システム。
【請求項５】
事象を検出するセンサと、該センサが事象を検出した場合にネットワークを介して事象発生情報を報知する事象発生報知手段と、
前記事象発生報知手段による事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて対応する映像送出部の送出に係るディジタル画像情報について前記画像処理手段による解析を実行させる解析制御手段と
を具備することを特徴とする請求項１に記載の監視システム。
【請求項６】
カメラ制御手段は、前記事象発生報知手段から送られる事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて対応する映像送出部におけるズーム機構、旋回機構、解像度変更手段の制御を行うことを特徴とする請求項５に記載の監視システム。
【請求項７】
時刻情報に対応して制御すべき映像送出部と制御内容の情報が対応付けられたカメラ制御情報データベースを備え、
カメラ制御手段は、前記カメラ制御情報データベースの情報に応じて対応する制御を行うことを特徴とする請求項４に記載の監視システム。
【請求項８】
映像送出部により送出された映像情報をネットワークから取り込み蓄積する映像蓄積手段を備え、
前記映像蓄積手段から直接にまたはネットワークを介して蓄積された映像情報を取り出し前記デコーダにてデコードして前記画像処理手段による解析を実行することを特徴とする請求項１に記載の監視システム。
【請求項９】
映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換するデコーダと、
前記デコーダが変換した複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行う画像処理手段と
を具備することを特徴とする画像処理装置。
【請求項１】
被写対象を撮像して符号化されたネットワーク送信可能な映像情報を出力する複数の映像送出部と、
前記複数の映像送出部が接続されるネットワークと、
前記ネットワークに接続され、前記複数の映像送出部が送出した映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換するデコーダと、
前記デコーダが変換した複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行う画像処理手段と
を具備することを特徴とする監視システム。
【請求項２】
デコードしたディジタル画像情報を録画する画像録画部と、
前記画像録画部に録画するディジタル画像情報に対して前記画像処理手段による解析結果をメタデータとして付加する録画制御手段と
を具備することを特徴とする請求項１に記載の監視システム。
【請求項３】
前記画像処理手段は、解析結果に応じて対応する映像送出部の送出に係るディジタル画像情報に関する処理レートを変更することを特徴とする請求項１に記載の監視システム。
【請求項４】
前記映像送出部は、ズーム機構、旋回機構、解像度変更手段を備えており、
前記画像処理手段による解析結果に応じて対応する映像送出部におけるズーム機構、旋回機構、解像度変更手段の制御を行うカメラ制御手段が具備されていることを特徴とする請求項１に記載の監視システム。
【請求項５】
事象を検出するセンサと、該センサが事象を検出した場合にネットワークを介して事象発生情報を報知する事象発生報知手段と、
前記事象発生報知手段による事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて対応する映像送出部の送出に係るディジタル画像情報について前記画像処理手段による解析を実行させる解析制御手段と
を具備することを特徴とする請求項１に記載の監視システム。
【請求項６】
カメラ制御手段は、前記事象発生報知手段から送られる事象発生情報をネットワークを介して受け取り、この事象発生情報に応じて対応する映像送出部におけるズーム機構、旋回機構、解像度変更手段の制御を行うことを特徴とする請求項５に記載の監視システム。
【請求項７】
時刻情報に対応して制御すべき映像送出部と制御内容の情報が対応付けられたカメラ制御情報データベースを備え、
カメラ制御手段は、前記カメラ制御情報データベースの情報に応じて対応する制御を行うことを特徴とする請求項４に記載の監視システム。
【請求項８】
映像送出部により送出された映像情報をネットワークから取り込み蓄積する映像蓄積手段を備え、
前記映像蓄積手段から直接にまたはネットワークを介して蓄積された映像情報を取り出し前記デコーダにてデコードして前記画像処理手段による解析を実行することを特徴とする請求項１に記載の監視システム。
【請求項９】
映像情報に含まれている少なくともＩフレームを取り込み１画面分のディジタル画像情報へ変換するデコーダと、
前記デコーダが変換した複数の映像送出部に対応するディジタル画像情報を時分割にて画像解析し、事象検出を行う画像処理手段と
を具備することを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−２２１５８１（Ｐ２００７−２２１５８１Ａ）
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願番号】特願２００６−４１２８３（Ｐ２００６−４１２８３）
【出願日】平成１８年２月１７日（２００６．２．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願日】平成１８年２月１７日（２００６．２．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]