映像監視システム
【課題】
監視センター側の復号処理の負荷を低減することができる映像監視システムを提供する。
【解決手段】
カメラとこのカメラから映像データが転送される監視装置とを有する映像監視システムにおいて、監視装置が、カメラから転送される映像データを復号する復号部と、カメラ画像認識部の画像処理の結果に基づき復号部の復号手段を選択する画像認識部とを有する。
【効果】
カメラ側での認識情報に応じた復号処理を選択することができるので、効率の良い映像監視システムが実現できる。
監視センター側の復号処理の負荷を低減することができる映像監視システムを提供する。
【解決手段】
カメラとこのカメラから映像データが転送される監視装置とを有する映像監視システムにおいて、監視装置が、カメラから転送される映像データを復号する復号部と、カメラ画像認識部の画像処理の結果に基づき復号部の復号手段を選択する画像認識部とを有する。
【効果】
カメラ側での認識情報に応じた復号処理を選択することができるので、効率の良い映像監視システムが実現できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラなどの撮像装置から取得される映像から侵入者などを検知する映像監視システムに関する。
【背景技術】
【０００２】
カメラから取得した映像から画像処理により監視エリアに現れる人や車両などの移動物体を検知する機能を有する映像監視システムは、検出結果を利用することで移動物体の出現した映像のみ記録する機能や、表示装置に警告アイコンを提示する機能を有するため、またブザー等を鳴らして監視員の注意を促すことができるため、従来は監視員による常時確認作業が必要であった監視業務の負担低減に役立つ。また、このような映像監視システムは、窃盗などの不正行為が発生した場合、記録した映像を事後の犯罪立証に役立てることも可能である。
【０００３】
近年、犯罪の多様化や、犯罪検挙数の増加などにより、量販店，金融機関，オフィスビル等での防犯意識が高まり、映像監視システムの導入が進んでいる。映像記録装置も大容量化し、ネットワークカメラなどの普及により様々な場所にカメラが設置されることで、カメラ台数も増加している。このため、犯罪者を監視員の目視作業により記録映像から洗い出すことは非常に困難であり、監視業務を支援する機能への要望が高まっている。
【０００４】
ネットワークカメラで取得した映像は、ネットワークカメラもしくは監視機器に内蔵された符号化手段を用いて映像を圧縮し、監視センター等に蓄積される。この際に映像を効率的に圧縮するため、画像認識機能を用いて、動きのあるような注目したい領域のみ高精細に画像を圧縮する技術が、例えば特開２００４−２００７３９号公報（特許文献１）に記載されている。特許文献１の技術では映像符号化手段の一つであるＪＰＥＧ２０００のＲＯＩ（Region of Interest）と呼ばれる機能が採用されている。
【０００５】
【特許文献１】特開２００４−２００７３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
映像監視システムは、複数台のカメラと制御装置および記録装置によって構成されるが、ネットワークカメラに割り当てられる計算リソースは限られており、高度な画像認識を実現することが困難な場合が多い。また、複数のカメラ間に跨る追跡処理や検索処理を行う場合は、映像の集約される監視センター側の装置で実行することが望ましく、この際に、符号化された映像データを一度復号化し、画像認識処理に適したデータへ変更することが必要である。複数台のカメラ映像が監視センターに集約された場合、膨大な映像に対して、復号処理を実行する必要があり、処理負荷が高まるという問題が発生する。このように、映像監視システムでは、その限られた処理リソースの中で効率的に所望の処理を実現させるという課題がある。
【０００７】
本発明は、上記の課題を考慮してなされたものであり、監視センター側の復号処理の負荷を低減することができる映像監視システムを提供する。
【課題を解決するための手段】
【０００８】
本発明による映像監視システムにおいては、監視装置が、カメラから転送される映像データを復号する復号部と、カメラ画像認識部の画像処理の結果に基づき復号部の復号手段を選択する画像認識部とを有する。
【発明の効果】
【０００９】
本発明によれば、監視装置側での画像認識処理において、カメラ側での認識情報に応じた復号処理を選択することができるので、効率の良い映像監視システムが実現できる。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明の一実施形態について図面を参照しながら説明する。
【００１１】
図１は本発明の一実施形態であるネットワーク型の映像監視システムの構成を示す。本実施形態において、ハードウェアはＣＰＵ，メモリ，ＬＳＩ等を備えた電子計算機システムにより構成され、夫々の機能を実行するようになっている。ここでは、ハードウェアの構成単位ではなく、それらのハードウェアやソフトウェアにより構成される各機能をブロックで表現している。
【００１２】
映像監視システムは、ネットワークカメラ１０と、監視装置２０を備え、ネットワーク３０を介してネットワークカメラ１０から監視装置２０へ映像やパラメータ情報などを転送する。ネットワーク３０としては、ユーザの所有する専用回線や公衆網が用いられる。また、通信プロトコル等も本実施形態を実現できるものであれば如何なるものであっても良い。ネットワークカメラ１０から監視装置２０へ転送された映像は、記録媒体４０に保存される。記録媒体４０としては、ハードディスクドライブ，フラッシュメモリなどの電子記録媒体や磁気テープなどが用いられる。また、本システムにおいては、ＲＧＢモニタ出力，ネットワーク経由でのデータ出力なども備えられ、パラメータ設定はユーザインターフェース５０で実行される。ユーザインターフェース５０における入力は、マウスやキーボードなどの入出力機器や、監視装置２０の入力機能とする。
【００１３】
ネットワークカメラ１０は、カメラレンズとＣＭＯＳやＣＣＤなどの撮像媒体により構成される撮像装置から取得した映像信号を取得する映像取得部１０１と、取得した映像信号をＭＰＥＧ（Moving Picture Experts Group）やＪＰＥＧ（Join Photographic Expert Group）など所定のデータへ符号化する符号部１０２と、映像取得部１０１から取得した画像認識用の画像データに対して所定の画像認識処理を実行するカメラ画像認識部１０３を備える。
【００１４】
監視装置２０は、ネットワークカメラ１０から転送された映像に対して時間情報などの付加情報も含めて記録媒体４０に保存する記録部２０１と、ユーザインターフェース５０にて監視することを目的としたモニタ出力、もしくは画像認識処理を実行するのに適したデータへ変換処理を実行する復号部２０２と、監視装置２０で画像認識処理を実行する画像認識部２０３を備える。
【００１５】
映像取得部１０１は、撮像装置から取得した映像信号を後述する符号部１０２に適した映像信号として出力する。また、映像取得部１０１は、カメラ画像認識部１０３での処理に適した画像データを生成する。
【００１６】
ここで、画像データは１次元配列もしくは２次元配列の画像データとして取得することができ、この画像データにおいては、ノイズやフリッカなどの影響を低減するために、前処理として平滑化フィルタや輪郭強調フィルタ，濃度変換などの処理を施してもよい。また、用途に応じてＲＧＢカラーやモノクロなどのデータ形式を選択してもよい。さらには、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。以下、簡単のため、フレーム単位の符号化処理および画像処理として説明する。
【００１７】
符号部１０２では、ＭＰＥＧ（Moving Picture Experts Group）や、ＪＰＥＧ（Join Photographic Expert Group)，Ｈ.２６ｘなどの標準符号化規格を採用し、設定手段により符号化手段を設定することが可能である。符号部１０２は、映像取得部１０１から取得した映像信号を受け取り、映像信号を所定の符号化規格に準拠したデータとして出力する。
【００１８】
カメラ画像認識部１０３では、映像取得部１０１から取得した画像データに対して所定の画像処理を実行する。カメラ画像認識部１０３では映像内に発生するイベントを検出する。このイベント検出処理を、本実施例では映像内の動きを背景差分法により検知した場合について図２を用いて説明する。ここでは、映像取得部１０１から取得した画像データを入力画像とする。動き検知は入力画像と比較するための背景画像を保持していることを前提とする。背景画像とは入力画像のなかで移動物体を含まない画像のことである。背景差分法とは、入力画像と背景画像とを比較することで、背景画像に対して変化のある部分を人物等の移動物体とみなして映像の動きとするものである。この手段により、映像内の動きをイベントとして検出することが可能である。
【００１９】
図２に示すカメラ画像認識部１０３のイベント検出は、映像取得部１０１にて転送された画像にて、事前に背景画像生成手段３０２にて背景画像を生成し保持する。背景画像は動きのない部分を背景画像と設定したり、もしくは入力画像の時系列データから背景画像を生成したりするが、いずれの場合でもよい。この背景画像と入力画像とを変化算出手段３０１にて比較する。その結果を動き検知手段３０３にて動きであるか否かを判断し、動きの領域やその大きさなどの結果を含む画像データを符号部１０２およびネットワークを介して監視装置２０内の画像認識部２０３へ転送する。
【００２０】
本実施例のカメラ画像認識部１０３でのイベント検出処理おいては、各手段を様々なイベントに対して変更し、イベントを検出することが可能である。例えば、顔（特定の顔も含む），車両，移動する人物，所定の服や性別等の属性を持つ人物，犯罪や不審行動，荷物の置き去り等、画像処理で検出可能なイベントであればいずれの場合でもよい。さらに、赤外線センサやレーダーセンサ，音声センサなどの外部モジュールから取得したイベント，入退室管理装置などから発生するイベントとすることも可能である。
【００２１】
監視装置２０内のカメラ画像認識部２０３がネットワークカメラ１０から取得した画像データの特徴記述について、図３を用いて説明する。図３（ａ）の４０１はモニタ出力および画像処理の一例である。検出された物体などイベント検知領域４０２のように検知領域に接するような矩形で表示される。この際に始点座標４０３は（始点ｘ座標，始点ｙ座標）、終点座標４０４（終点ｘ座標，終点ｙ座標）を情報として取得する。
【００２２】
図３（ｂ）は特徴記述の一例を示す。画面全体のフレーム情報４０５のように、カメラＩＤ４０６，タイムスタンプ４０７（時刻のフレーム情報），フレーム特徴４０８を記述する。カメラＩＤ４０６はシステム設定時に各カメラに対する識別番号として設定する。これは、ネットワークのＩＰアドレスや番号や記号によってカメラを識別するものである。タイムスタンプ４０７はネットワークカメラ１０間で同期を取るために用いられる。ネットワークカメラ１０から伝送したデータを監視装置２０で管理する場合に、時間同期をとりながら記録媒体４０に記録し、検索などに利用する。
【００２３】
フレーム特徴４０８は映像フレーム全体の特徴量であり、明るさやテクスチャ、またオブジェクトの数などの特徴を指す。具体的には、画像全体の色ヒストグラムや、画像の輝度勾配ヒストグラム，天候変化や照明変化による時間的変化の情報であり、さらにはオブジェクトの数（例えば人物，物体，顔，通過車両など）を含む。また、ここでは映像情報に限らず、騒音や悲鳴，人物の声など音声情報も加味することも可能であり、フレーム単位の情報として取得可能なあらゆる情報を記載できる。
【００２４】
映像フレーム内に発生する各オブジェクト情報はオブジェクト情報４０９のように記述する。オブジェクト番号４１０にはカメラ内に発生したオブジェクトを識別するために、オブジェクトの識別番号を記載する。種別４１１にはオブジェクトの認識種別である、人，人物の顔，物体、また動作の種別など、画像認識で識別可能な種別を分類するために記載する。また座標情報４１２には先述したイベント検知領域の始点および終点に対応するオブジェクトの始点座標および終点座標を記載する。これには、オブジェクトの時間的な移動を含めることができ、動きベクトルやイベントの座標情報の変化も記入することができる。オブジェクト情報４１３には、種別４１１で記載した情報の詳細情報，顔検知であれば顔データの特徴量や、顔検知の検知確信度（顔らしさの度合い）や動きの大きさ（動きベクトルの分布）を含む。またイベント検知領域４０２の矩形の大きさ，重心，モーメントなども含む。これら画像処理で取得した特徴量などをオブジェクト毎に記載することとする。
【００２５】
画像認識部２０３で取得した画像データの特徴記述は、監視装置２０側で画像認識する際の復号処理に利用する。この際の動作について図４および図５を用いて説明する。監視装置２０での画像処理は、ネットワークカメラ１０側のカメラ画像認識部１０３で画像処理を実行した物体に対して、所定の条件に従い監視装置側で詳細な認識を行う。処理選択手段６０１では、図４に示すように、種別５０１とオブジェクト情報５０２の組み合わせから、復号条件５０３を復号部２０２に対して送信する。復号条件には、画像を復元する位置，画像の解像度や画質，フレームレート，ビットレートなどの情報が含まれ、これらの内の一つあるいはいくつかの復号手段を選択できる。なお、図４に示すような、種別およびオブジェクト情報の組み合わせと、復号条件および画像認識実行条件との対応を示すデータは、監視装置２０内に予め登録されている。
【００２６】
復号部２０２は、復号条件５０３および、座標情報４１２に基づいて復号処理を実行する。例えば、復元領域が始点座標（ｓｘ，ｓｙ）−終点座標（ｅｘ，ｅｙ）であり、解像度が現画像サイズの１／４、標準画質などというように設定することができる。復号された画像データは画像認識手段６０２に送信され、画像認識手段６０２は画像認識実行条件５０４に基づき処理を実行する。ここでは、種別５０１とオブジェクト情報５０２の組み合わせによって実行される処理が変更される。例えば、顔検知とされた領域であれば、詳細情報を取得するために高解像度の画像に対して実行することとし、その情報から年齢や性別識別のための画像認識実行条件５０４を選択しタグ情報を取得するなど、後段の処理に相当する。画像認識手段６０２の処理結果は記録媒体４０へ送信し、映像情報とともに、映像のタグとして保存される。この場合、カメラＩＤ４０６とタイムスタンプ４０７も同時に保存することで、後の時間による検索やカメラ位置による検索に利用することができる。
【００２７】
次に図６を用いて画像処理決定方法について述べる。画像処理条件の設定については、ユーザインターフェース５０より、モニタへの設定画面出力，監視装置２０の入力機能を用いて実行する。カメラ側での処理に対して、監視装置２０側の認識実行条件を設定することができる。例えば、前述のようにカメラ側で顔検知を実行し、監視装置側で年齢推定などの詳細情報を検出する機能を実行することができる。カメラ側の処理は、基本的な認識機能に留めておき、監視装置側に後段の処理を実行させることで、処理の負荷分散が可能となる。
【００２８】
本実施形態はカメラ画像認識部１０３と所定の処理選択条件に基づき、符号化処理および画像認識処理を選択しているが、これはユーザインターフェース５０を介して、ユーザが一意に設定することも可能であり、所定の領域に対して固定の解像度やフレームレートでの符号化処理や、所望の画像認識処理を実行できるものとする。
【００２９】
本実施形態は、記録媒体４０に保存された符号化データに対して、復号部２０２において所定の処理を実行することも可能である。復元領域を始点座標（ｓｘ，ｓｙ）−終点座標（ｅｘ，ｅｙ）と設定し、フレームレートや解像度などの復号条件５０３と画像認識実行条件５０４を選択して実行することが可能である。
【００３０】
図７は、本発明の別の実施形態である映像監視システムを示す。ここでは、画像認識情報の転送手段が前述の実施形態と異なり、そのほかの手段については、前述の実施形態と同様である。本実施形態においては、カメラ画像認識部１０３での処理結果を符号部１０２の映像情報のヘッダファイルに書き込み、復号部２０２ではヘッダファイルから画像認識部２０３へ処理の指示を実行する。図８に示すように、例えば映像符号化時のデータ集合であるＧＯＰ（Group of Pictures）ヘッダ９０１に情報を記述する。ＧＯＰヘッダ９０１と共に映像情報がフレーム情報９０２に格納されている。ここでは、ＧＯＰ内のヘッダ領域に、座標９０３，画像特徴９０４を記載しておくことが可能である。これらの情報は図３に示した例と同様に、オブジェクトの座標やテクスチャなどの情報，顔検知などの確信度情報などを記述することが可能である。先の実施形態と同様に図４に記載した条件に基づき画像認識部２０３は画像処理を実行する。
【００３１】
符号化手段を有するネットワーク型のシステム形態の場合、監視装置２０側で映像の利用形態に応じて複数の符号化手段を選択できることが望ましい。例えば、映像を単に記録したい場合は高圧縮率を有する符号化手段を選択し、画像１枚単位での処理を実行したい場合は静止画の符号化手段であるＪＰＥＧを選択する。これにより、映像ストリーム型のデータよりも、静止画の方が扱いやすいなど状況に応じた使い分けが可能となる。図９では、各特徴量に対して所定の符号化方法を選択するようにするものである。
【００３２】
なお、上述した各実施形態に限らず、本発明の技術的思想の範囲内において、種々の実施形態が可能である。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施形態である映像監視システムの構成を示す図である。
【図２】図１の実施形態におけるカメラ画像認識部を示す図である。
【図３】カメラ画像認識部で取得する情報について説明した図である。
【図４】図１の実施形態における復号処理および画像処理を選択するための情報記述について説明した図である。
【図５】図１の実施形態における画像認識部について示した図である。
【図６】画像認識機能の設定画面について示した図である。
【図７】本発明の他の実施形態である映像監視システムの構成を示す図である。
【図８】図７の実施形態におけるフレーム情報の記載方法について示した図である。
【図９】図７の実施形態における符号化種別の設定画面について示した図である。
【符号の説明】
【００３４】
１０ ネットワークカメラ
２０ 監視装置
３０ ネットワーク
４０ 記録媒体
５０ ユーザインターフェース
１０１ 映像取得部
１０２ 符号部
１０３ カメラ画像認識部
２０１ 記録部
２０２ 復号部
２０３ 画像認識部
３０１ 変化算出手段
３０２ 背景画像生成手段
３０３ 動き検知手段
４０１ モニタ出力
４０２ イベント検知領域
４０３ 始点座標
４０４ 終点座標
４０５，９０２ フレーム情報
４０６ カメラＩＤ
４０７ タイムスタンプ
４０８ フレーム特徴
４０９，４１３，５０２ オブジェクト情報
４１０ オブジェクト番号
４１１，５０１ 種別
４１２ 座標情報
５０３ 復号条件
５０４ 画像認識実行条件
６０１ 処理選択手段
６０２ 画像認識手段
９０１ ＧＯＰヘッダ
９０３ 座標
９０４ 画像特徴
【技術分野】
【０００１】
本発明は、カメラなどの撮像装置から取得される映像から侵入者などを検知する映像監視システムに関する。
【背景技術】
【０００２】
カメラから取得した映像から画像処理により監視エリアに現れる人や車両などの移動物体を検知する機能を有する映像監視システムは、検出結果を利用することで移動物体の出現した映像のみ記録する機能や、表示装置に警告アイコンを提示する機能を有するため、またブザー等を鳴らして監視員の注意を促すことができるため、従来は監視員による常時確認作業が必要であった監視業務の負担低減に役立つ。また、このような映像監視システムは、窃盗などの不正行為が発生した場合、記録した映像を事後の犯罪立証に役立てることも可能である。
【０００３】
近年、犯罪の多様化や、犯罪検挙数の増加などにより、量販店，金融機関，オフィスビル等での防犯意識が高まり、映像監視システムの導入が進んでいる。映像記録装置も大容量化し、ネットワークカメラなどの普及により様々な場所にカメラが設置されることで、カメラ台数も増加している。このため、犯罪者を監視員の目視作業により記録映像から洗い出すことは非常に困難であり、監視業務を支援する機能への要望が高まっている。
【０００４】
ネットワークカメラで取得した映像は、ネットワークカメラもしくは監視機器に内蔵された符号化手段を用いて映像を圧縮し、監視センター等に蓄積される。この際に映像を効率的に圧縮するため、画像認識機能を用いて、動きのあるような注目したい領域のみ高精細に画像を圧縮する技術が、例えば特開２００４−２００７３９号公報（特許文献１）に記載されている。特許文献１の技術では映像符号化手段の一つであるＪＰＥＧ２０００のＲＯＩ（Region of Interest）と呼ばれる機能が採用されている。
【０００５】
【特許文献１】特開２００４−２００７３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
映像監視システムは、複数台のカメラと制御装置および記録装置によって構成されるが、ネットワークカメラに割り当てられる計算リソースは限られており、高度な画像認識を実現することが困難な場合が多い。また、複数のカメラ間に跨る追跡処理や検索処理を行う場合は、映像の集約される監視センター側の装置で実行することが望ましく、この際に、符号化された映像データを一度復号化し、画像認識処理に適したデータへ変更することが必要である。複数台のカメラ映像が監視センターに集約された場合、膨大な映像に対して、復号処理を実行する必要があり、処理負荷が高まるという問題が発生する。このように、映像監視システムでは、その限られた処理リソースの中で効率的に所望の処理を実現させるという課題がある。
【０００７】
本発明は、上記の課題を考慮してなされたものであり、監視センター側の復号処理の負荷を低減することができる映像監視システムを提供する。
【課題を解決するための手段】
【０００８】
本発明による映像監視システムにおいては、監視装置が、カメラから転送される映像データを復号する復号部と、カメラ画像認識部の画像処理の結果に基づき復号部の復号手段を選択する画像認識部とを有する。
【発明の効果】
【０００９】
本発明によれば、監視装置側での画像認識処理において、カメラ側での認識情報に応じた復号処理を選択することができるので、効率の良い映像監視システムが実現できる。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明の一実施形態について図面を参照しながら説明する。
【００１１】
図１は本発明の一実施形態であるネットワーク型の映像監視システムの構成を示す。本実施形態において、ハードウェアはＣＰＵ，メモリ，ＬＳＩ等を備えた電子計算機システムにより構成され、夫々の機能を実行するようになっている。ここでは、ハードウェアの構成単位ではなく、それらのハードウェアやソフトウェアにより構成される各機能をブロックで表現している。
【００１２】
映像監視システムは、ネットワークカメラ１０と、監視装置２０を備え、ネットワーク３０を介してネットワークカメラ１０から監視装置２０へ映像やパラメータ情報などを転送する。ネットワーク３０としては、ユーザの所有する専用回線や公衆網が用いられる。また、通信プロトコル等も本実施形態を実現できるものであれば如何なるものであっても良い。ネットワークカメラ１０から監視装置２０へ転送された映像は、記録媒体４０に保存される。記録媒体４０としては、ハードディスクドライブ，フラッシュメモリなどの電子記録媒体や磁気テープなどが用いられる。また、本システムにおいては、ＲＧＢモニタ出力，ネットワーク経由でのデータ出力なども備えられ、パラメータ設定はユーザインターフェース５０で実行される。ユーザインターフェース５０における入力は、マウスやキーボードなどの入出力機器や、監視装置２０の入力機能とする。
【００１３】
ネットワークカメラ１０は、カメラレンズとＣＭＯＳやＣＣＤなどの撮像媒体により構成される撮像装置から取得した映像信号を取得する映像取得部１０１と、取得した映像信号をＭＰＥＧ（Moving Picture Experts Group）やＪＰＥＧ（Join Photographic Expert Group）など所定のデータへ符号化する符号部１０２と、映像取得部１０１から取得した画像認識用の画像データに対して所定の画像認識処理を実行するカメラ画像認識部１０３を備える。
【００１４】
監視装置２０は、ネットワークカメラ１０から転送された映像に対して時間情報などの付加情報も含めて記録媒体４０に保存する記録部２０１と、ユーザインターフェース５０にて監視することを目的としたモニタ出力、もしくは画像認識処理を実行するのに適したデータへ変換処理を実行する復号部２０２と、監視装置２０で画像認識処理を実行する画像認識部２０３を備える。
【００１５】
映像取得部１０１は、撮像装置から取得した映像信号を後述する符号部１０２に適した映像信号として出力する。また、映像取得部１０１は、カメラ画像認識部１０３での処理に適した画像データを生成する。
【００１６】
ここで、画像データは１次元配列もしくは２次元配列の画像データとして取得することができ、この画像データにおいては、ノイズやフリッカなどの影響を低減するために、前処理として平滑化フィルタや輪郭強調フィルタ，濃度変換などの処理を施してもよい。また、用途に応じてＲＧＢカラーやモノクロなどのデータ形式を選択してもよい。さらには、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。以下、簡単のため、フレーム単位の符号化処理および画像処理として説明する。
【００１７】
符号部１０２では、ＭＰＥＧ（Moving Picture Experts Group）や、ＪＰＥＧ（Join Photographic Expert Group)，Ｈ.２６ｘなどの標準符号化規格を採用し、設定手段により符号化手段を設定することが可能である。符号部１０２は、映像取得部１０１から取得した映像信号を受け取り、映像信号を所定の符号化規格に準拠したデータとして出力する。
【００１８】
カメラ画像認識部１０３では、映像取得部１０１から取得した画像データに対して所定の画像処理を実行する。カメラ画像認識部１０３では映像内に発生するイベントを検出する。このイベント検出処理を、本実施例では映像内の動きを背景差分法により検知した場合について図２を用いて説明する。ここでは、映像取得部１０１から取得した画像データを入力画像とする。動き検知は入力画像と比較するための背景画像を保持していることを前提とする。背景画像とは入力画像のなかで移動物体を含まない画像のことである。背景差分法とは、入力画像と背景画像とを比較することで、背景画像に対して変化のある部分を人物等の移動物体とみなして映像の動きとするものである。この手段により、映像内の動きをイベントとして検出することが可能である。
【００１９】
図２に示すカメラ画像認識部１０３のイベント検出は、映像取得部１０１にて転送された画像にて、事前に背景画像生成手段３０２にて背景画像を生成し保持する。背景画像は動きのない部分を背景画像と設定したり、もしくは入力画像の時系列データから背景画像を生成したりするが、いずれの場合でもよい。この背景画像と入力画像とを変化算出手段３０１にて比較する。その結果を動き検知手段３０３にて動きであるか否かを判断し、動きの領域やその大きさなどの結果を含む画像データを符号部１０２およびネットワークを介して監視装置２０内の画像認識部２０３へ転送する。
【００２０】
本実施例のカメラ画像認識部１０３でのイベント検出処理おいては、各手段を様々なイベントに対して変更し、イベントを検出することが可能である。例えば、顔（特定の顔も含む），車両，移動する人物，所定の服や性別等の属性を持つ人物，犯罪や不審行動，荷物の置き去り等、画像処理で検出可能なイベントであればいずれの場合でもよい。さらに、赤外線センサやレーダーセンサ，音声センサなどの外部モジュールから取得したイベント，入退室管理装置などから発生するイベントとすることも可能である。
【００２１】
監視装置２０内のカメラ画像認識部２０３がネットワークカメラ１０から取得した画像データの特徴記述について、図３を用いて説明する。図３（ａ）の４０１はモニタ出力および画像処理の一例である。検出された物体などイベント検知領域４０２のように検知領域に接するような矩形で表示される。この際に始点座標４０３は（始点ｘ座標，始点ｙ座標）、終点座標４０４（終点ｘ座標，終点ｙ座標）を情報として取得する。
【００２２】
図３（ｂ）は特徴記述の一例を示す。画面全体のフレーム情報４０５のように、カメラＩＤ４０６，タイムスタンプ４０７（時刻のフレーム情報），フレーム特徴４０８を記述する。カメラＩＤ４０６はシステム設定時に各カメラに対する識別番号として設定する。これは、ネットワークのＩＰアドレスや番号や記号によってカメラを識別するものである。タイムスタンプ４０７はネットワークカメラ１０間で同期を取るために用いられる。ネットワークカメラ１０から伝送したデータを監視装置２０で管理する場合に、時間同期をとりながら記録媒体４０に記録し、検索などに利用する。
【００２３】
フレーム特徴４０８は映像フレーム全体の特徴量であり、明るさやテクスチャ、またオブジェクトの数などの特徴を指す。具体的には、画像全体の色ヒストグラムや、画像の輝度勾配ヒストグラム，天候変化や照明変化による時間的変化の情報であり、さらにはオブジェクトの数（例えば人物，物体，顔，通過車両など）を含む。また、ここでは映像情報に限らず、騒音や悲鳴，人物の声など音声情報も加味することも可能であり、フレーム単位の情報として取得可能なあらゆる情報を記載できる。
【００２４】
映像フレーム内に発生する各オブジェクト情報はオブジェクト情報４０９のように記述する。オブジェクト番号４１０にはカメラ内に発生したオブジェクトを識別するために、オブジェクトの識別番号を記載する。種別４１１にはオブジェクトの認識種別である、人，人物の顔，物体、また動作の種別など、画像認識で識別可能な種別を分類するために記載する。また座標情報４１２には先述したイベント検知領域の始点および終点に対応するオブジェクトの始点座標および終点座標を記載する。これには、オブジェクトの時間的な移動を含めることができ、動きベクトルやイベントの座標情報の変化も記入することができる。オブジェクト情報４１３には、種別４１１で記載した情報の詳細情報，顔検知であれば顔データの特徴量や、顔検知の検知確信度（顔らしさの度合い）や動きの大きさ（動きベクトルの分布）を含む。またイベント検知領域４０２の矩形の大きさ，重心，モーメントなども含む。これら画像処理で取得した特徴量などをオブジェクト毎に記載することとする。
【００２５】
画像認識部２０３で取得した画像データの特徴記述は、監視装置２０側で画像認識する際の復号処理に利用する。この際の動作について図４および図５を用いて説明する。監視装置２０での画像処理は、ネットワークカメラ１０側のカメラ画像認識部１０３で画像処理を実行した物体に対して、所定の条件に従い監視装置側で詳細な認識を行う。処理選択手段６０１では、図４に示すように、種別５０１とオブジェクト情報５０２の組み合わせから、復号条件５０３を復号部２０２に対して送信する。復号条件には、画像を復元する位置，画像の解像度や画質，フレームレート，ビットレートなどの情報が含まれ、これらの内の一つあるいはいくつかの復号手段を選択できる。なお、図４に示すような、種別およびオブジェクト情報の組み合わせと、復号条件および画像認識実行条件との対応を示すデータは、監視装置２０内に予め登録されている。
【００２６】
復号部２０２は、復号条件５０３および、座標情報４１２に基づいて復号処理を実行する。例えば、復元領域が始点座標（ｓｘ，ｓｙ）−終点座標（ｅｘ，ｅｙ）であり、解像度が現画像サイズの１／４、標準画質などというように設定することができる。復号された画像データは画像認識手段６０２に送信され、画像認識手段６０２は画像認識実行条件５０４に基づき処理を実行する。ここでは、種別５０１とオブジェクト情報５０２の組み合わせによって実行される処理が変更される。例えば、顔検知とされた領域であれば、詳細情報を取得するために高解像度の画像に対して実行することとし、その情報から年齢や性別識別のための画像認識実行条件５０４を選択しタグ情報を取得するなど、後段の処理に相当する。画像認識手段６０２の処理結果は記録媒体４０へ送信し、映像情報とともに、映像のタグとして保存される。この場合、カメラＩＤ４０６とタイムスタンプ４０７も同時に保存することで、後の時間による検索やカメラ位置による検索に利用することができる。
【００２７】
次に図６を用いて画像処理決定方法について述べる。画像処理条件の設定については、ユーザインターフェース５０より、モニタへの設定画面出力，監視装置２０の入力機能を用いて実行する。カメラ側での処理に対して、監視装置２０側の認識実行条件を設定することができる。例えば、前述のようにカメラ側で顔検知を実行し、監視装置側で年齢推定などの詳細情報を検出する機能を実行することができる。カメラ側の処理は、基本的な認識機能に留めておき、監視装置側に後段の処理を実行させることで、処理の負荷分散が可能となる。
【００２８】
本実施形態はカメラ画像認識部１０３と所定の処理選択条件に基づき、符号化処理および画像認識処理を選択しているが、これはユーザインターフェース５０を介して、ユーザが一意に設定することも可能であり、所定の領域に対して固定の解像度やフレームレートでの符号化処理や、所望の画像認識処理を実行できるものとする。
【００２９】
本実施形態は、記録媒体４０に保存された符号化データに対して、復号部２０２において所定の処理を実行することも可能である。復元領域を始点座標（ｓｘ，ｓｙ）−終点座標（ｅｘ，ｅｙ）と設定し、フレームレートや解像度などの復号条件５０３と画像認識実行条件５０４を選択して実行することが可能である。
【００３０】
図７は、本発明の別の実施形態である映像監視システムを示す。ここでは、画像認識情報の転送手段が前述の実施形態と異なり、そのほかの手段については、前述の実施形態と同様である。本実施形態においては、カメラ画像認識部１０３での処理結果を符号部１０２の映像情報のヘッダファイルに書き込み、復号部２０２ではヘッダファイルから画像認識部２０３へ処理の指示を実行する。図８に示すように、例えば映像符号化時のデータ集合であるＧＯＰ（Group of Pictures）ヘッダ９０１に情報を記述する。ＧＯＰヘッダ９０１と共に映像情報がフレーム情報９０２に格納されている。ここでは、ＧＯＰ内のヘッダ領域に、座標９０３，画像特徴９０４を記載しておくことが可能である。これらの情報は図３に示した例と同様に、オブジェクトの座標やテクスチャなどの情報，顔検知などの確信度情報などを記述することが可能である。先の実施形態と同様に図４に記載した条件に基づき画像認識部２０３は画像処理を実行する。
【００３１】
符号化手段を有するネットワーク型のシステム形態の場合、監視装置２０側で映像の利用形態に応じて複数の符号化手段を選択できることが望ましい。例えば、映像を単に記録したい場合は高圧縮率を有する符号化手段を選択し、画像１枚単位での処理を実行したい場合は静止画の符号化手段であるＪＰＥＧを選択する。これにより、映像ストリーム型のデータよりも、静止画の方が扱いやすいなど状況に応じた使い分けが可能となる。図９では、各特徴量に対して所定の符号化方法を選択するようにするものである。
【００３２】
なお、上述した各実施形態に限らず、本発明の技術的思想の範囲内において、種々の実施形態が可能である。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施形態である映像監視システムの構成を示す図である。
【図２】図１の実施形態におけるカメラ画像認識部を示す図である。
【図３】カメラ画像認識部で取得する情報について説明した図である。
【図４】図１の実施形態における復号処理および画像処理を選択するための情報記述について説明した図である。
【図５】図１の実施形態における画像認識部について示した図である。
【図６】画像認識機能の設定画面について示した図である。
【図７】本発明の他の実施形態である映像監視システムの構成を示す図である。
【図８】図７の実施形態におけるフレーム情報の記載方法について示した図である。
【図９】図７の実施形態における符号化種別の設定画面について示した図である。
【符号の説明】
【００３４】
１０ ネットワークカメラ
２０ 監視装置
３０ ネットワーク
４０ 記録媒体
５０ ユーザインターフェース
１０１ 映像取得部
１０２ 符号部
１０３ カメラ画像認識部
２０１ 記録部
２０２ 復号部
２０３ 画像認識部
３０１ 変化算出手段
３０２ 背景画像生成手段
３０３ 動き検知手段
４０１ モニタ出力
４０２ イベント検知領域
４０３ 始点座標
４０４ 終点座標
４０５，９０２ フレーム情報
４０６ カメラＩＤ
４０７ タイムスタンプ
４０８ フレーム特徴
４０９，４１３，５０２ オブジェクト情報
４１０ オブジェクト番号
４１１，５０１ 種別
４１２ 座標情報
５０３ 復号条件
５０４ 画像認識実行条件
６０１ 処理選択手段
６０２ 画像認識手段
９０１ ＧＯＰヘッダ
９０３ 座標
９０４ 画像特徴
【特許請求の範囲】
【請求項１】
カメラと前記カメラから映像データが転送される監視装置とを有する映像監視システムにおいて、
前記カメラは、撮像装置から信号を取得する映像取得部と、前記映像取得部より取得した入力画像に画像処理を実行するカメラ画像認識部と、前記カメラ画像認識部の処理結果に基づき符号化処理を実行し前記映像データを生成する符号部と、を有し、
前記監視装置は、前記映像データを復号する復号部と、前記カメラ画像認識部の前記処理結果に基づき前記復号部の復号手段を選択する画像認識部と、を有することを特徴とする映像監視システム。
【請求項２】
請求項１に記載の映像監視システムにおいて、前記カメラ画像認識部は、各映像フレームにおいて、フレーム情報およびオブジェクト情報を生成することを特徴とする映像監視システム。
【請求項３】
請求項１または２に記載の映像監視システムにおいて、前記フレーム情報には、前記映像フレームの特徴が記述され、前記オブジェクト情報には前記映像フレーム内に発生する各オブジェクト情報が記述されることを特徴とする映像監視システム。
【請求項４】
請求項１乃至３のいずれか一項に記載の映像監視システムにおいて、前記画像認識部は、前記カメラ画像認識部から転送された前記フレーム情報および前記オブジェクト情報から前記復号部の復号手段を選択する処理選択手段を有し、前記復号部は復元箇所，解像度，フレームレート，画質のうち少なくとも一つを選択することを特徴とする映像監視システム。
【請求項５】
請求項１乃至４のいずれか一項に記載の映像監視システムにおいて、前記画像認識部は、前記復号部で復号された前記映像データに対して所定の画像認識を実行する画像認識手段を有することを特徴とする映像監視システム。
【請求項６】
請求項１乃至５のいずれか一項に記載の映像監視システムにおいて、前記画像認識部は、前記カメラ画像認識部と前記画像認識部の処理を所望の形態に選択する手段を有することを特徴とする映像監視システム。
【請求項７】
請求項１乃至６のいずれか一項に記載の映像監視システムにおいて、前記処理結果を前記映像データ内に記述することを特徴とする映像監視システム。
【請求項８】
請求項１乃至７のいずれか一項に記載の映像監視システムにおいて、前記符号化部において複数の符号化手段を選択的可能であり、前記カメラ画像認識部の処理結果に基づき、前記符号化手段を設定することを特徴とする映像監視システム。
【請求項１】
カメラと前記カメラから映像データが転送される監視装置とを有する映像監視システムにおいて、
前記カメラは、撮像装置から信号を取得する映像取得部と、前記映像取得部より取得した入力画像に画像処理を実行するカメラ画像認識部と、前記カメラ画像認識部の処理結果に基づき符号化処理を実行し前記映像データを生成する符号部と、を有し、
前記監視装置は、前記映像データを復号する復号部と、前記カメラ画像認識部の前記処理結果に基づき前記復号部の復号手段を選択する画像認識部と、を有することを特徴とする映像監視システム。
【請求項２】
請求項１に記載の映像監視システムにおいて、前記カメラ画像認識部は、各映像フレームにおいて、フレーム情報およびオブジェクト情報を生成することを特徴とする映像監視システム。
【請求項３】
請求項１または２に記載の映像監視システムにおいて、前記フレーム情報には、前記映像フレームの特徴が記述され、前記オブジェクト情報には前記映像フレーム内に発生する各オブジェクト情報が記述されることを特徴とする映像監視システム。
【請求項４】
請求項１乃至３のいずれか一項に記載の映像監視システムにおいて、前記画像認識部は、前記カメラ画像認識部から転送された前記フレーム情報および前記オブジェクト情報から前記復号部の復号手段を選択する処理選択手段を有し、前記復号部は復元箇所，解像度，フレームレート，画質のうち少なくとも一つを選択することを特徴とする映像監視システム。
【請求項５】
請求項１乃至４のいずれか一項に記載の映像監視システムにおいて、前記画像認識部は、前記復号部で復号された前記映像データに対して所定の画像認識を実行する画像認識手段を有することを特徴とする映像監視システム。
【請求項６】
請求項１乃至５のいずれか一項に記載の映像監視システムにおいて、前記画像認識部は、前記カメラ画像認識部と前記画像認識部の処理を所望の形態に選択する手段を有することを特徴とする映像監視システム。
【請求項７】
請求項１乃至６のいずれか一項に記載の映像監視システムにおいて、前記処理結果を前記映像データ内に記述することを特徴とする映像監視システム。
【請求項８】
請求項１乃至７のいずれか一項に記載の映像監視システムにおいて、前記符号化部において複数の符号化手段を選択的可能であり、前記カメラ画像認識部の処理結果に基づき、前記符号化手段を設定することを特徴とする映像監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１３６０３２（Ｐ２０１０−１３６０３２Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３０９２２６（Ｐ２００８−３０９２２６）
【出願日】平成２０年１２月４日（２００８．１２．４）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月４日（２００８．１２．４）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]