映像監視システム
【課題】重要度の高い画像データの伝送遅延が大きくなった場合、画像の符号化レートを変更して低符号化レートで伝送し、表示側においては画質改善処理を施すことで、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供すること。
【解決手段】画像送信装置（１）において、センサからの出力情報に基づいて画像データに優先度を付与し自装置内部の送信画像メモリ（１０３）に格納する。また、画像送信装置（１）は画像データを格納する送信画像記憶手段を有し、この記憶容量に基づいて画像データの符号化レートを変更するか否かを判断する。画像データの符号化レートを変更すると判断した場合には、画像データの符号化レートを変更して画像受信装置（２）に送信する。画像受信装置（２）においては、受信した画像データを復号し、画像データの画質を改善する処理を実行する。
【解決手段】画像送信装置（１）において、センサからの出力情報に基づいて画像データに優先度を付与し自装置内部の送信画像メモリ（１０３）に格納する。また、画像送信装置（１）は画像データを格納する送信画像記憶手段を有し、この記憶容量に基づいて画像データの符号化レートを変更するか否かを判断する。画像データの符号化レートを変更すると判断した場合には、画像データの符号化レートを変更して画像受信装置（２）に送信する。画像受信装置（２）においては、受信した画像データを復号し、画像データの画質を改善する処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ等の撮像装置で撮影した画像をネットワーク経由で伝送して表示する映像監視システムに関する。
【背景技術】
【０００２】
昨今、映像監視システムが大規模化、広域化するとともに、監視カメラ数は増大し、映像を目視でチェックするシステムでは、監視担当者への負荷が増大している。このため、センサーアラーム等の事象が発生した部分の画像や、動きのあった画像を監視者の注意を引く表示を行うことで、監視者が見たいものを効率よく見ることができる映像監視システムが望まれている。
【０００３】
一方、大規模化、広域化した映像監視システムでは、監視カメラの映像を全て伝送すると監視センタのネットワーク負荷が増大するとともに回線コスト負担も大きくなってしまうという問題がある。
【０００４】
このような問題に鑑み、監視カメラ側で重要度の高い映像を優先的に伝送し、映像の表示側では重要度に応じて強調表示するようなシステムが考案されている（例えば、特許文献１〜６）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１４１９２６号公報
【特許文献２】特開２００７−３２５１０９号公報
【特許文献３】特開２００７−６０２５９号公報
【特許文献４】特開２００４−２１４７５５号公報
【特許文献５】特開平１１−１２２６０１号公報
【特許文献６】特開平１１−３４１０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような従来のシステムでは、センサーアラームが多発した場合や、動きのある画像が多いことで動体検知が頻繁に行われた場合、伝送する画像データ量が回線容量を超えてしまうと重要な画像の伝送や表示が遅れてしまうという課題がある。
【０００７】
そこで、本発明は上記課題を解決し、重要度の高い画像データの伝送遅延が大きくなった場合、画像の符号化レートを変更して低符号化レートで伝送し、表示側においては超解像技術等の画質改善処理を施すことで、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能な映像監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、を有する映像監視システムであって、前記画像送信装置は、自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与手段と、前記優先度が付与された前記画像データを格納する送信画像記憶手段と、前記画像データの符号化レートを変更する符号化レート変更手段と、前記送信画像記憶手段における記憶容量に基づいて、前記符号化レート変更手段における符号化レートを制御する伝送制御手段と、前記画像データを送信する送信手段と、を有し、前記画像受信装置は、前記画像送信装置から送信される前記画像データを受信する受信手段と、前記画像データを復号する画像復号手段と、前記画像復号手段において復号された前記画像データの画質を改善する画質改善手段と、を有することを特徴とする映像監視システムを提案する。
【０００９】
この構成によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【００１０】
また、前記伝送制御手段は、前記送信画像記憶手段における使用容量に基づいて前記符号化レート変更手段において前記画像データの符号化レートの変更を行うか否かを判断し、前記符号化レート変更手段は、前記伝送制御手段において、前記画像データの符号化レートの変更を行うと判断された場合に前記画像データの符号化レートを変更するようになっていてもよい。
【００１１】
この構成によれば、送信画像記憶手段における使用容量に応じて、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【発明の効果】
【００１２】
以上のように、本発明によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る映像監視システムの構成例を示す図である。
【図２】画像データの一例を示す図である。
【図３】優先度付与部１０２において保持される優先度テーブルの一例を示す図である。
【図４】送信画像メモリ１０３の一例を示す図である。
【図５】本実施形態に係る映像監視システムの動作を示すシーケンス図である。
【図６】図５のステップＳ１０５における処理の詳細を示すフロー図である。
【図７】図６のステップＳ２０７における処理の詳細を示すフロー図である。
【図８】図６のステップＳ２０８における処理の詳細を示すフロー図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。
【００１５】
［映像監視システムの構成］
図１は、本実施形態に係る映像監視システムの構成例を示す図である。本実施形態に係る画像監視システムは、監視カメラ等の撮像装置３−１〜３−ｎ（ｎは正の整数）で撮影された画像をネットワーク１０へ送信する画像送信装置１と、ネットワーク１０を介して画像データを受信して、表示部６に画像の表示を行う画像受信装置２とを含んで構成される。
【００１６】
画像送信装置１と画像受信装置２との間のネットワーク１０は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークから構成される。また、専用網やベストエフォート型の公衆網等のネットワークであってもよいし、有線網や無線網などのネットワークであってもよい。
【００１７】
また、撮像装置３−１〜３−ｎで撮像された画像の画像データは、必要に応じて、画像処理装置５においてアナログ画像データからデジタル画像データへの変換が行われたり、画像圧縮等の処理が行われる。なお、本実施形態においては、撮像装置３−１〜３−ｎと画像処理装置５は別々の装置となっているが、これらは一つの装置となっていてもよい。すなわち、撮像装置３−１〜３−ｎで撮像される画像はアナログ画像であって、撮像装置３−１〜３−ｎに内蔵される画像処理装置５でエンコーダや画像圧縮等の処理が実行され、デジタル化された画像データが画像送信装置１に送信されるようになっていてもよい。
【００１８】
また、本実施形態においては、撮像装置３−１〜３−ｎと画像送信装置１は別々の装置となっているが、これらは一つの装置として構成されていてもよい。
【００１９】
なお、以下に説明する画像送信装置１および画像受信装置２は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ、ハードディスク等の記憶装置、ネットワークインターフェイス等の一般的なコンピュータの構成と同様の構成により実現される。また、画像送信装置１および画像受信装置２の各構成の機能は、例えば、各装置のＣＰＵがメモリ等の記録媒体に記憶されているプログラムを読み出して実行することにより、もしくは、例えば、ＦＰＧＡ（Field Programmable Gate Array）においてシーケンサロジックをカスタム設計することに実現される機能である。後述する画像データ、出力情報等の各データは、画像送信装置１のハードディスクやＲＡＭ等の記録媒体に記憶されるデータである。また、後述する優先度テーブルは、画像送信装置１内部の記録媒体に設けられたデータベースまたはデータ記憶領域である。
【００２０】
（画像送信装置１の構成）
画像送信装置１は、受信部１０１と、優先度付与部１０２と、送信画像メモリ１０３と、伝送制御部１０４と、符号化レート変更部１０５と、送信部１０６とを含んで構成される。
【００２１】
（受信部１０１）
受信部１０１は、監視カメラ等の撮像装置３−１〜３−ｎからの画像データを受信する。
【００２２】
図２（１）は、受信部１０１で受信される画像データの一例を示す図である。ＩＰ（Internet Protocol）カメラのような撮像装置では、一般的に、ＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ（Moving Picture Experts Group）−４、Ｈ．２６４等で符号化される。そして、図２（１）に示されるように、符号化された画像本体のデータ（以下、「画像構成データ」と称する）に、撮像装置３−１〜３−ｎを識別するカメラＩＤや時刻情報などのメタデータが付加される。画像構成データは、一つの画像フレームから構成されてもよいし、複数の画像フレームをまとめたものから構成されてもよい。また、メタデータは、各画像フレーム毎に付加されてもよいし、複数の画像フレームをまとめたものに付加されてもよい。
【００２３】
（優先度付与部１０２）
優先度付与部１０２は、画像送信装置１に接続されているセンサからの出力情報を受け付け、この出力情報に基づいて、画像データに優先度を付与する。なお、本実施形態においては、センサ４は、画像送信装置１と別々の装置となっているが、これらは一つの装置として構成されてもよい。すなわち、優先度付与部１０２は、画像送信装置１に備えられているセンサから出力情報を受け付けるようになっていてもよい。
【００２４】
図２（２）は、優先度が付与された画像データの一例を示す図である。メタデータとして、撮像装置３−１〜３−ｎで付加された情報に加えて、優先度情報が付加されている。
【００２５】
センサ４としては、例えば、赤外線センサ、人感センサ、音響センサ、温度センサなどの各種センサが挙げられる。また、「センサからの出力情報」とは、これらのセンサで検知されたセンサ信号の他、撮像装置３−１〜３−ｎや画像処理装置５で映像を画像処理して得られる侵入者検知（動体検知）、不審物検出結果等であってもよい。
【００２６】
また、「出力情報に基づいて画像データに優先度を付与する」とは、例えば、出力情報を出力したセンサの識別情報を用いて画像データに優先度を付与することや、出力情報の内容に応じて画像データに優先度を付与すること等を意味する。なお、本実施形態においては、前者を採用している。
【００２７】
優先度付与動作について、図３を用いて説明する。図３は、優先度付与部１０２において保持される優先度テーブルの一例を示す図である。図３に示される優先度テーブルでは、各種センサ４を識別するセンサＩＤに対応して優先度、カメラＩＤが定義されている。優先度付与部１０２は、センサ４から何らかの出力情報を受け取ると、この優先度テーブルを参照する。そして、センサ出力があったセンサＩＤに関連付けられているカメラＩＤで識別される撮像装置３−１〜３−ｎからの画像データに、優先度テーブルに設定されている優先度を付与する。
【００２８】
また、図３に示される優先度テーブルにおいては、各センサＩＤに対しては一つのみの優先度が対応している形となっているが、各センサＩＤに対して複数の優先度が対応するようになっていてもよい。例えば、図３に示される内容に加えて、センサＩＤ“１”、優先度“２（中）”、カメラＩＤ“００３”の組み合わせがさらに存在していてもよい。この場合、センサＩＤが“１”のセンサからの出力情報が受け付けられると、カメラＩＤが“００１、０２０”の撮像装置の画像データに対しては優先度“１”が付与され、カメラＩＤが“００３”の撮像装置の画像データに対しては優先度“２”が付与される。
【００２９】
なお、出力情報が出力されたセンサのＩＤが優先度テーブルに存在しない場合や、センサ４から出力情報が何ら出力されない場合等は、優先度は画像データに付与されない等となっていればよい。
【００３０】
また、センサ４や画像処理装置５からの出力情報の内容に応じて異なる優先度が付与されるようになっていてもよい。例えば、画像処理装置５において動体検知が実行される場合、動体検知がなされた画像上の位置が出力情報として画像処理装置５から出力され、優先度付与部１０２では、その出力情報が示す動体検知の位置によって異なる優先度を付与するようになっていてもよい。より具体的には、例えば、画像受信装置２のユーザが特に注視すべき画像上の位置において動体検知がなされた場合には、画像データに高い優先度が付与されるようになっていてもよい。これにより、画像受信装置２のユーザが特に注目すべき動体検知が行われた画像データの伝送遅延が緩和されることになり、利便性が高くなる。
【００３１】
なお、優先度付与部１０２において優先度が付与された画像データは、送信画像メモリ１０３に送られる。
【００３２】
（送信画像メモリ１０３）
送信画像メモリ１０３は、優先度付与部１０２にて優先度が付与された画像データを格納する。
【００３３】
図４は、送信画像メモリ１０３の一例を示す図である。なお、図４においては、送信画像メモリ１０３の内容を模式的に表している。優先度付与部１０２において優先度が付与された画像データは、優先度別に送信画像メモリ１０３に格納される。例えば、図４に示されるように、優先度が“高”の画像データは領域（Ａ）に、優先度が“中”の画像データは領域（Ｂ）に、優先度の指定がない画像データは領域（Ｃ）に、各々、先入れ先出し順に格納される。
【００３４】
（伝送制御部１０４）
伝送制御部１０４は、画像データの送信に関する制御を行う。例えば、伝送制御部１０４は、送信画像メモリ１０３における記憶容量に基づいて、符号化レート変更部１０５における符号化レートを制御する。より具体的には、伝送制御部１０４は、送信画像メモリ１０３から画像データを読出し、読出した画像データを送信部１０６に送るが、この際、送信画像メモリ１０３における記憶容量に応じて、符号化レート変更部１０５を経由させて送信部１０６に送る等の処理を行う。
【００３５】
なお、「送信画像メモリ１０３における記憶容量」とは、送信画像メモリ１０３における使用容量であってもよいし、空き容量であってもよい。送信画像メモリ１０３の容量が一定であれば、使用容量および空き容量の一方から他方が算出可能である。
【００３６】
また、「送信画像メモリ１０３における記憶容量に基づいて」とは、送信画像メモリ１０３における記憶容量についての情報を間接的に用いるような場合も含む。例えば、送信画像メモリ１０３における使用容量から、送信待ちとなっている画像データを送信するためにかかる時間（すなわち、遅延時間）を算出し、この算出された時間に基づいて符号化レート変更部１０５における符号化レートを制御するような場合も含む。また、送信画像メモリ１０３における記憶容量（使用容量、空き容量等）とは、送信待ちとなっている画像データのデータ量、と言い換えることも可能である。
【００３７】
（符号化レート変更部１０５）
符号化レート変更部１０５は、画像データの符号化レートを変更する。本実施形態においては、伝送制御部１０４は、送信画像メモリ１０３における使用容量に基づいて符号化レート変更部１０５において画像データの符号化レートの変更を行うか否かを判断する。そして、符号化レート変更部１０５は、伝送制御部１０４において、画像データの符号化レートの変更を行うと判断された場合に画像データの符号化レートを変更する。なお、符号化レートの変更方法については後に詳述する。
【００３８】
（送信部１０６）
送信部１０６は、ネットワーク１０を介して画像受信装置２に画像データを送信する。
【００３９】
（画像受信装置２の構成）
画像受信装置２は、受信部２０１と、画像復号部２０２と、画質改善部２０３とを含んで構成される。また、画像受信装置２には、画像の表示を行うディスプレイ等の表示部６が接続される。なお、本実施形態においては、表示部６は画像受信装置２に外部接続されているが、画像受信装置２に内蔵されていてもよい。
【００４０】
（受信部２０１）
受信部２０１は、ネットワーク１０を介して、画像送信装置１から送信される画像データを受信する。
【００４１】
（画像復号部２０２）
画像復号部２０２は、受信部２０１で受信された画像データを復号する。具体的には、画像復号部２０２は、ＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４等で符号化された画像データの復号をおこなう。なお、復号された画像データは画質改善部２０３を経由して、表示部６に送られ、画像が表示される。
【００４２】
（画質改善部２０３）
画質改善部２０３は、画像復号部２０２において復号された画像データの画質を改善する。ここで、「画質を改善する」とは、具体的には、復号された画像のフレーム間を補間してフレームレートの改善を行うことや、超解像技術により低解像度の画像を高解像度化して画質改善を行うこと等を意味する。例えば、画像データのヘッダ等から符号化レートの変更が実施されたか否かを示す情報を読み取り、符号化レートの変更が行われていた場合には、画像データに対して画質改善処理を行う。すなわち、低符号化レートが適用された重要度の低い画像であることを示す優先度情報がメタデータに付加されている場合に、画質改善処理を行う。
【００４３】
または、例えば、表示部６の表示ピクセル数もしくはフレーム数が、復号された画像のピクセル数もしくはフレーム数を上回る場合、画質改善部２０３にて画質改善処理が行われるようになっていてもよい。あるいは、復号された画像のピクセル数もしくはフレーム数が、予め設定された基準に満たない場合に、画質改善処理が行われるようになっていてもよい。
【００４４】
なお、上述した画像送信装置１および画像受信装置２における各機能は、各々独立したハードウェアで実現されなくてもよく、一つのハードウェアで各機能の機能が実現されてもよい。例えば、画像受信装置２はパーソナルコンピュータやＰＤＡ（Personal Digital Assistant）等の無線端末で実現され、受信部１０１、２０１はＯＳ（Operating System）やドライバで実現され、画像復号部２０２および画質改善部２０３はＯＳ上で動作するソフトウェアで構成されてもよい。
【００４５】
［映像監視システムの動作］
次に、本実施形態に係る映像監視システムの動作について説明する。図５は、本実施形態に係る映像監視システムの動作を示すシーケンス図である。
【００４６】
まず、撮像装置３−１〜３−ｎにおいて撮像された画像の画像データが、画像送信装置１に送信される。送信された画像データは、画像送信装置１の受信部１０１において受信される（ステップＳ１０１）。また、各種センサ４から、適宜、出力情報が出力される。なお、この出力情報は、画像送信装置１の優先度付与部１０２において受信される（ステップＳ１０２）。
【００４７】
また、優先度付与部１０２において、センサ４からの出力情報が受け付けられ、この出力情報に基づいて優先度テーブルが参照されて、画像データに優先度が付与される（ステップＳ１０３）。センサ４から出力情報が出力されない場合には、優先度が付与されない等となっていてもよい。ステップＳ１０３において優先度が付与された画像データは、送信画像メモリ１０３に格納される（ステップＳ１０４）。
【００４８】
次に、伝送制御部１０４において、画像データの送信に関する制御が行われる（ステップＳ１０５）。なお、ここでの処理については、後に詳述する。また、必要に応じて、符号化レート変更部１０５において、画像データの符号化レートが変更される（ステップＳ１０６）。
【００４９】
送信部１０６から画像データが送信され、送信された画像データは、ネットワーク１０を介して、画像受信装置２の受信部２０１において受信される（ステップＳ１０７）。受信された画像データは、画像復号部２０２において復号される（ステップＳ１０８）。
【００５０】
復号された画像データは、画質改善部２０３において、超解像技術等の画質改善処理が実行される（ステップＳ１０９）。そして、画像データは表示部６に出力されて、画像が表示される（ステップＳ１１０）。
【００５１】
（ステップＳ１０５における処理の詳細）
次に、図５のステップＳ１０５における伝送制御部１０４での処理について、詳細に説明する。図６は、図５のステップＳ１０５における処理の詳細を示すフロー図である。
【００５２】
伝送制御部１０４は、高優先度の画像データの格納領域（Ａ）に画像データが格納されている場合（ステップＳ２０１）、格納領域（Ａ）から画像データを読出す（ステップＳ２０２）。高優先度の画像データの格納領域（Ａ）に画像データが格納されていない場合（ステップＳ２０１）、次の優先度の格納領域（Ｂ）を参照する。そして、画像データが格納されている場合（ステップＳ２０３）、格納領域（Ｂ）から画像データを読出す（ステップＳ２０４）。
【００５３】
また、伝送制御部１０４は、格納領域（Ａ）、（Ｂ）ともに画像データが格納されていない場合、次の優先度の格納領域（Ｃ）を参照する。そして、画像データが格納されている場合（ステップＳ２０５）、格納領域（Ｃ）から画像データを読出す（ステップＳ２０６）。
【００５４】
ステップＳ２０２、ステップＳ２０４、ステップＳ２０６のいずれかにおける処理の後、伝送制御部１０４は、読みだした画像データの符号化レートを変更するかどうかを判定する（ステップＳ２０７）。符号化レートを変更する場合は、符号化レート変更部１０５を経由するようにして、画像データを送信部１０６に送る（ステップＳ２０９）。また、これに先立って、符号化レートを計算し、その符号化レートに変更するように符号化レート変更部１０５に通知してもよい（ステップＳ２０８）。
【００５５】
符号化レートの変更をしない場合は、画像データを直接（符号化レート変更部１０５を経由せずに）、送信部１０６に送る（ステップＳ２１０）。以上の動作を送信画像データ毎に繰り返す（ステップＳ２１１）。
【００５６】
（ステップＳ２０７における処理の詳細）
ここで、図６のステップＳ２０７における処理についてさらに説明する。上記ステップＳ２０７において、伝送制御部１０４が画像データを符号化レート変更部１０５に経由させるか否かは、送信画像メモリ１０３における送信待ちの画像データ量（例えば、送信画像メモリ１０３の使用容量）を使用して判定する。伝送制御部１０４では、送信待ちの画像データ量と、ネットワーク伝送速度とから、送信待ちの画像データの伝送遅延時間を計算することが可能である。送信待ちの画像データの伝送遅延時間が予め設定された許容時間を超える場合、伝送制御部１０４は、画像データを符号化レート変更部１０５に送る。
【００５７】
なお、伝送制御部１０４においてネットワーク伝送速度を把握する方法としては、例えば、送信部１０６が送信した単位時間当たりのデータ量を用いて算出する方法等が挙げられる。
【００５８】
一例として、高優先度の画像データと中優先度の画像データに伝送遅延許容時間が設定されている場合について説明する。図７は、伝送制御部１０４において画像データを符号化レート変更部１０５に経由させるか否かを判断するための処理を示すフロー図である。
【００５９】
まず、伝送制御部１０４は、高優先度の画像データの格納領域（Ａ）の送信待ち画像データ量M1と、中優先度の画像データの格納領域（Ｂ）の送信待ち画像データ量M2を算出する（ステップＳ３０１、Ｓ３０２）。この格納領域（Ａ）の送信待ち画像データ量M1と、伝送制御部１０４で認識しているネットワーク伝送速度Stとから、高優先度の画像データの最大遅延時間T1＝M1／Stが計算される（ステップＳ３０３）。同様に、格納領域（Ｂ）の送信待ち画像データ量M2とネットワーク伝送速度Stとから、中優先度の画像データの最大遅延時間T2＝（M1＋M2）／Stが計算される（ステップＳ３０４）。
【００６０】
そして、各優先度の画像データの最大遅延時間T1、T2が、各々予め設定された伝送遅延許容時間TS1、TS2を超える場合（ステップＳ３０５、Ｓ３０６）、符号化レートの変更は必要であると判断し、画像データを符号化レート変更部１０５経由で送信部１０６に送る（ステップＳ３０８）。さもなければ、符号化レートの変更は不要であると判断し（ステップＳ３０７）、画像データを直接送信部１０６に送る。
【００６１】
（ステップＳ２０８における処理の詳細）
図８は、図６のステップＳ２０８において、符号化レートを変更する際の符号化レートを算出するための処理を示すフロー図である。T1＞TS1であり、かつ、T2≦TS2である場合（ステップＳ４０１、Ｓ４０３）、符号化レートRBは、RB1（＝TS1*St／T1）と指定される（ステップＳ４０７）。なお、RB1の値は、ステップＳ４０１においてT1＞TS1であると判断された後に、予め算出しておく（ステップＳ４０２）。
【００６２】
また、T1≦TS1であり、かつ、T2＞TS2の場合（ステップＳ４０１、Ｓ４０４）、符号化レートRBは、TS2*St／T2と指定される（ステップＳ４０８）。また、T1＞TS1であり、かつ、T2＞TS2の場合（ステップＳ４０１、Ｓ４０３）、符号化レートRBは、RB1＝TS1*St／T1と、RB2＝TS2*St／T2のうち、どちらか低い符号化レートを変更する符号化レートとする（ステップＳ４０６）。なお、RB2の値は、ステップＳ４０３においてT2＞TS2であると判断された後に、予め算出しておく（ステップＳ４０５）。
【００６３】
このように符号化レートが指定されることで、伝送遅延の許容時間を大きく超えることなく画質劣化を最少にする伝送が可能である。
【００６４】
また、伝送制御部１０４は、各画像データ毎または複数の画像データ毎に、上記のようにネットワーク伝送速度を認識し、最大遅延時間の計算および必要に応じて符号化レート変更部１０５に対して指定する符号化レートを計算する。このように動作することで、変動するネットワーク伝送速度や送信画像データ量の変動を吸収し、画質劣化の少ない最適な符号化レートで画像データを送信することができる。
【００６５】
また、符号化レート変更部１０５は、符号化レートが伝送制御部１０４によって指定された場合、指定された値よりも低い符号化レートのうち最も大きい符号化レートに符号化レートを変更した画像データを送信部１０６に送る。符号化レートの指定がない場合は、予め設定された符号化レートで画像データの符号化レートを変更し、送信部１０６に送る。
【００６６】
（まとめ）
本実施形態に係る映像監視システムは、監視カメラ等の撮像装置で撮影された画像をネットワーク経由で伝送して表示する映像監視システムであって、重要度の高い画像データの伝送遅延が大きくなる場合、画像を符号化レート変更して低符号化レートで伝送する。また、表示側では超解像技術等の画質改善処理を施すことで、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供するものである。
【００６７】
また、本実施形態に係る映像監視システムは、センサからの出力に対応して伝送する画像の優先度を決定し、画像を優先度毎に設定された伝送遅延許容時間内に伝送するように動作する。これにより、重要度の高い画像は所定時間以内に表示されることとなり、画像受信装置を使用する監視員等は、重要な事象に対して迅速な対応をとることができる。
【００６８】
また、画像フレーム単位でネットワーク伝送速度を把握し、最適な符号化レートで画像の符号化レートを更新するため、無線回線等のネットワーク伝送速度が変化する環境においても回線容量を有効利用して、画質劣化の少ない画像伝送を実現することができる。
【００６９】
（付記）
以上に、本発明に係る実施形態について詳細に説明したことからも明らかなように、上述の実施形態の一部または全部は、以下の各付記のようにも記載することができる。しかしながら、以下の各付記は、あくまでも、本発明の単なる例示に過ぎず、本発明は、かかる場合のみに限るものではない。
【００７０】
（付記１）
撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、を有する映像監視システムであって、
前記画像送信装置は、
自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与手段と、
前記優先度が付与された前記画像データを格納する送信画像記憶手段（例えば、図１の送信画像メモリ１０３）と、
前記画像データの符号化レートを変更する符号化レート変更手段と、
前記送信画像記憶手段における記憶容量に基づいて、前記符号化レート変更手段における符号化レートを制御する伝送制御手段と、
前記画像データを送信する送信手段と、を有し、
前記画像受信装置は、
前記画像送信装置から送信される前記画像データを受信する受信手段と、
前記画像データを復号する画像復号手段と、
前記画像復号手段において復号された前記画像データの画質を改善する画質改善手段と、
を有することを特徴とする映像監視システム。
【００７１】
この構成によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【００７２】
（付記２）
前記伝送制御手段は、前記送信画像記憶手段における使用容量に基づいて前記符号化レート変更手段において前記画像データの符号化レートの変更を行うか否かを判断し、
前記符号化レート変更手段は、前記伝送制御手段において、前記画像データの符号化レートの変更を行うと判断された場合に前記画像データの符号化レートを変更すること
を特徴とする付記１に記載の映像監視システム。
【００７３】
この構成によれば、送信画像記憶手段における使用容量に応じて、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【００７４】
（付記３）
前記優先度付与手段は、
前記センサを識別するセンサ識別情報と、前記撮像装置を識別する撮像装置識別情報と、前記優先度と、を関連付けた優先度テーブルを保持し、
前記優先度テーブルにおいて、前記出力情報を出力したセンサの前記センサ識別情報と関連付けられている前記撮像装置識別情報および前記優先度を取得し、取得した前記撮像装置識別情報で識別される前記撮像装置によって撮像された画像の前記画像データに対し、取得した前記優先度を付与すること
を特徴とする付記１又は付記２に記載の映像監視システム。
【００７５】
この構成によれば、検知結果等の出力情報を出力したセンサに対応して、特定の撮像装置からの画像データに異なる優先度を付与することができる。
【００７６】
（付記４）
撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、によって実行される映像監視方法であって、
前記画像送信装置において、自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与ステップ（例えば、図５のステップＳ１０３）と、
前記画像送信装置において、前記優先度が付与された前記画像データを自装置内部の送信画像記憶手段（例えば、図１の送信画像メモリ１０３）に格納する送信画像記憶ステップ（例えば、図５のステップＳ１０４）と、
前記画像送信装置において、前記送信画像記憶手段における記憶容量に基づいて前記画像データの符号化レートを変更するか否かを判断する判断ステップと（例えば、図５のステップＳ１０５、図６のステップＳ２０７、図７のフロー図に示されるステップＳ３０１〜Ｓ３０８の処理ステップ）、
前記画像送信装置において、前記判断ステップにおいて前記画像データの符号化レートを変更すると判断された場合には、前記画像データの符号化レートを変更する符号化レート変更ステップ（例えば、図５のステップＳ１０６）と、
前記画像データを送信する送信ステップ（例えば、図５のステップＳ１０７）と、
前記画像受信装置において、前記送信ステップにおいて送信される前記画像データを受信する受信ステップ（例えば、図５のステップＳ１０７）と、
前記画像データを復号する画像復号ステップ（例えば、図５のステップＳ１０８）と、
前記画像復号ステップにおいて復号された前記画像データの画質を改善する画質改善ステップ（例えば、図５のステップＳ１０９）と、
を有することを特徴とする映像監視方法。
【００７７】
この構成によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【符号の説明】
【００７８】
１ 画像送信装置
２ 画像受信装置
３ 撮像装置
４ センサ
５ 画像処理装置
６ 表示部
１０ ネットワーク
１０１ 受信部
１０２ 優先度付与部
１０３ 送信画像メモリ
１０４ 伝送制御部
１０５ 符号化レート変更部
１０６ 送信部
２０１ 受信部
２０２ 画像復号部
２０３ 画質改善部
【技術分野】
【０００１】
本発明は、監視カメラ等の撮像装置で撮影した画像をネットワーク経由で伝送して表示する映像監視システムに関する。
【背景技術】
【０００２】
昨今、映像監視システムが大規模化、広域化するとともに、監視カメラ数は増大し、映像を目視でチェックするシステムでは、監視担当者への負荷が増大している。このため、センサーアラーム等の事象が発生した部分の画像や、動きのあった画像を監視者の注意を引く表示を行うことで、監視者が見たいものを効率よく見ることができる映像監視システムが望まれている。
【０００３】
一方、大規模化、広域化した映像監視システムでは、監視カメラの映像を全て伝送すると監視センタのネットワーク負荷が増大するとともに回線コスト負担も大きくなってしまうという問題がある。
【０００４】
このような問題に鑑み、監視カメラ側で重要度の高い映像を優先的に伝送し、映像の表示側では重要度に応じて強調表示するようなシステムが考案されている（例えば、特許文献１〜６）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１４１９２６号公報
【特許文献２】特開２００７−３２５１０９号公報
【特許文献３】特開２００７−６０２５９号公報
【特許文献４】特開２００４−２１４７５５号公報
【特許文献５】特開平１１−１２２６０１号公報
【特許文献６】特開平１１−３４１０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような従来のシステムでは、センサーアラームが多発した場合や、動きのある画像が多いことで動体検知が頻繁に行われた場合、伝送する画像データ量が回線容量を超えてしまうと重要な画像の伝送や表示が遅れてしまうという課題がある。
【０００７】
そこで、本発明は上記課題を解決し、重要度の高い画像データの伝送遅延が大きくなった場合、画像の符号化レートを変更して低符号化レートで伝送し、表示側においては超解像技術等の画質改善処理を施すことで、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能な映像監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、を有する映像監視システムであって、前記画像送信装置は、自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与手段と、前記優先度が付与された前記画像データを格納する送信画像記憶手段と、前記画像データの符号化レートを変更する符号化レート変更手段と、前記送信画像記憶手段における記憶容量に基づいて、前記符号化レート変更手段における符号化レートを制御する伝送制御手段と、前記画像データを送信する送信手段と、を有し、前記画像受信装置は、前記画像送信装置から送信される前記画像データを受信する受信手段と、前記画像データを復号する画像復号手段と、前記画像復号手段において復号された前記画像データの画質を改善する画質改善手段と、を有することを特徴とする映像監視システムを提案する。
【０００９】
この構成によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【００１０】
また、前記伝送制御手段は、前記送信画像記憶手段における使用容量に基づいて前記符号化レート変更手段において前記画像データの符号化レートの変更を行うか否かを判断し、前記符号化レート変更手段は、前記伝送制御手段において、前記画像データの符号化レートの変更を行うと判断された場合に前記画像データの符号化レートを変更するようになっていてもよい。
【００１１】
この構成によれば、送信画像記憶手段における使用容量に応じて、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【発明の効果】
【００１２】
以上のように、本発明によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る映像監視システムの構成例を示す図である。
【図２】画像データの一例を示す図である。
【図３】優先度付与部１０２において保持される優先度テーブルの一例を示す図である。
【図４】送信画像メモリ１０３の一例を示す図である。
【図５】本実施形態に係る映像監視システムの動作を示すシーケンス図である。
【図６】図５のステップＳ１０５における処理の詳細を示すフロー図である。
【図７】図６のステップＳ２０７における処理の詳細を示すフロー図である。
【図８】図６のステップＳ２０８における処理の詳細を示すフロー図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。
【００１５】
［映像監視システムの構成］
図１は、本実施形態に係る映像監視システムの構成例を示す図である。本実施形態に係る画像監視システムは、監視カメラ等の撮像装置３−１〜３−ｎ（ｎは正の整数）で撮影された画像をネットワーク１０へ送信する画像送信装置１と、ネットワーク１０を介して画像データを受信して、表示部６に画像の表示を行う画像受信装置２とを含んで構成される。
【００１６】
画像送信装置１と画像受信装置２との間のネットワーク１０は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークから構成される。また、専用網やベストエフォート型の公衆網等のネットワークであってもよいし、有線網や無線網などのネットワークであってもよい。
【００１７】
また、撮像装置３−１〜３−ｎで撮像された画像の画像データは、必要に応じて、画像処理装置５においてアナログ画像データからデジタル画像データへの変換が行われたり、画像圧縮等の処理が行われる。なお、本実施形態においては、撮像装置３−１〜３−ｎと画像処理装置５は別々の装置となっているが、これらは一つの装置となっていてもよい。すなわち、撮像装置３−１〜３−ｎで撮像される画像はアナログ画像であって、撮像装置３−１〜３−ｎに内蔵される画像処理装置５でエンコーダや画像圧縮等の処理が実行され、デジタル化された画像データが画像送信装置１に送信されるようになっていてもよい。
【００１８】
また、本実施形態においては、撮像装置３−１〜３−ｎと画像送信装置１は別々の装置となっているが、これらは一つの装置として構成されていてもよい。
【００１９】
なお、以下に説明する画像送信装置１および画像受信装置２は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ、ハードディスク等の記憶装置、ネットワークインターフェイス等の一般的なコンピュータの構成と同様の構成により実現される。また、画像送信装置１および画像受信装置２の各構成の機能は、例えば、各装置のＣＰＵがメモリ等の記録媒体に記憶されているプログラムを読み出して実行することにより、もしくは、例えば、ＦＰＧＡ（Field Programmable Gate Array）においてシーケンサロジックをカスタム設計することに実現される機能である。後述する画像データ、出力情報等の各データは、画像送信装置１のハードディスクやＲＡＭ等の記録媒体に記憶されるデータである。また、後述する優先度テーブルは、画像送信装置１内部の記録媒体に設けられたデータベースまたはデータ記憶領域である。
【００２０】
（画像送信装置１の構成）
画像送信装置１は、受信部１０１と、優先度付与部１０２と、送信画像メモリ１０３と、伝送制御部１０４と、符号化レート変更部１０５と、送信部１０６とを含んで構成される。
【００２１】
（受信部１０１）
受信部１０１は、監視カメラ等の撮像装置３−１〜３−ｎからの画像データを受信する。
【００２２】
図２（１）は、受信部１０１で受信される画像データの一例を示す図である。ＩＰ（Internet Protocol）カメラのような撮像装置では、一般的に、ＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ（Moving Picture Experts Group）−４、Ｈ．２６４等で符号化される。そして、図２（１）に示されるように、符号化された画像本体のデータ（以下、「画像構成データ」と称する）に、撮像装置３−１〜３−ｎを識別するカメラＩＤや時刻情報などのメタデータが付加される。画像構成データは、一つの画像フレームから構成されてもよいし、複数の画像フレームをまとめたものから構成されてもよい。また、メタデータは、各画像フレーム毎に付加されてもよいし、複数の画像フレームをまとめたものに付加されてもよい。
【００２３】
（優先度付与部１０２）
優先度付与部１０２は、画像送信装置１に接続されているセンサからの出力情報を受け付け、この出力情報に基づいて、画像データに優先度を付与する。なお、本実施形態においては、センサ４は、画像送信装置１と別々の装置となっているが、これらは一つの装置として構成されてもよい。すなわち、優先度付与部１０２は、画像送信装置１に備えられているセンサから出力情報を受け付けるようになっていてもよい。
【００２４】
図２（２）は、優先度が付与された画像データの一例を示す図である。メタデータとして、撮像装置３−１〜３−ｎで付加された情報に加えて、優先度情報が付加されている。
【００２５】
センサ４としては、例えば、赤外線センサ、人感センサ、音響センサ、温度センサなどの各種センサが挙げられる。また、「センサからの出力情報」とは、これらのセンサで検知されたセンサ信号の他、撮像装置３−１〜３−ｎや画像処理装置５で映像を画像処理して得られる侵入者検知（動体検知）、不審物検出結果等であってもよい。
【００２６】
また、「出力情報に基づいて画像データに優先度を付与する」とは、例えば、出力情報を出力したセンサの識別情報を用いて画像データに優先度を付与することや、出力情報の内容に応じて画像データに優先度を付与すること等を意味する。なお、本実施形態においては、前者を採用している。
【００２７】
優先度付与動作について、図３を用いて説明する。図３は、優先度付与部１０２において保持される優先度テーブルの一例を示す図である。図３に示される優先度テーブルでは、各種センサ４を識別するセンサＩＤに対応して優先度、カメラＩＤが定義されている。優先度付与部１０２は、センサ４から何らかの出力情報を受け取ると、この優先度テーブルを参照する。そして、センサ出力があったセンサＩＤに関連付けられているカメラＩＤで識別される撮像装置３−１〜３−ｎからの画像データに、優先度テーブルに設定されている優先度を付与する。
【００２８】
また、図３に示される優先度テーブルにおいては、各センサＩＤに対しては一つのみの優先度が対応している形となっているが、各センサＩＤに対して複数の優先度が対応するようになっていてもよい。例えば、図３に示される内容に加えて、センサＩＤ“１”、優先度“２（中）”、カメラＩＤ“００３”の組み合わせがさらに存在していてもよい。この場合、センサＩＤが“１”のセンサからの出力情報が受け付けられると、カメラＩＤが“００１、０２０”の撮像装置の画像データに対しては優先度“１”が付与され、カメラＩＤが“００３”の撮像装置の画像データに対しては優先度“２”が付与される。
【００２９】
なお、出力情報が出力されたセンサのＩＤが優先度テーブルに存在しない場合や、センサ４から出力情報が何ら出力されない場合等は、優先度は画像データに付与されない等となっていればよい。
【００３０】
また、センサ４や画像処理装置５からの出力情報の内容に応じて異なる優先度が付与されるようになっていてもよい。例えば、画像処理装置５において動体検知が実行される場合、動体検知がなされた画像上の位置が出力情報として画像処理装置５から出力され、優先度付与部１０２では、その出力情報が示す動体検知の位置によって異なる優先度を付与するようになっていてもよい。より具体的には、例えば、画像受信装置２のユーザが特に注視すべき画像上の位置において動体検知がなされた場合には、画像データに高い優先度が付与されるようになっていてもよい。これにより、画像受信装置２のユーザが特に注目すべき動体検知が行われた画像データの伝送遅延が緩和されることになり、利便性が高くなる。
【００３１】
なお、優先度付与部１０２において優先度が付与された画像データは、送信画像メモリ１０３に送られる。
【００３２】
（送信画像メモリ１０３）
送信画像メモリ１０３は、優先度付与部１０２にて優先度が付与された画像データを格納する。
【００３３】
図４は、送信画像メモリ１０３の一例を示す図である。なお、図４においては、送信画像メモリ１０３の内容を模式的に表している。優先度付与部１０２において優先度が付与された画像データは、優先度別に送信画像メモリ１０３に格納される。例えば、図４に示されるように、優先度が“高”の画像データは領域（Ａ）に、優先度が“中”の画像データは領域（Ｂ）に、優先度の指定がない画像データは領域（Ｃ）に、各々、先入れ先出し順に格納される。
【００３４】
（伝送制御部１０４）
伝送制御部１０４は、画像データの送信に関する制御を行う。例えば、伝送制御部１０４は、送信画像メモリ１０３における記憶容量に基づいて、符号化レート変更部１０５における符号化レートを制御する。より具体的には、伝送制御部１０４は、送信画像メモリ１０３から画像データを読出し、読出した画像データを送信部１０６に送るが、この際、送信画像メモリ１０３における記憶容量に応じて、符号化レート変更部１０５を経由させて送信部１０６に送る等の処理を行う。
【００３５】
なお、「送信画像メモリ１０３における記憶容量」とは、送信画像メモリ１０３における使用容量であってもよいし、空き容量であってもよい。送信画像メモリ１０３の容量が一定であれば、使用容量および空き容量の一方から他方が算出可能である。
【００３６】
また、「送信画像メモリ１０３における記憶容量に基づいて」とは、送信画像メモリ１０３における記憶容量についての情報を間接的に用いるような場合も含む。例えば、送信画像メモリ１０３における使用容量から、送信待ちとなっている画像データを送信するためにかかる時間（すなわち、遅延時間）を算出し、この算出された時間に基づいて符号化レート変更部１０５における符号化レートを制御するような場合も含む。また、送信画像メモリ１０３における記憶容量（使用容量、空き容量等）とは、送信待ちとなっている画像データのデータ量、と言い換えることも可能である。
【００３７】
（符号化レート変更部１０５）
符号化レート変更部１０５は、画像データの符号化レートを変更する。本実施形態においては、伝送制御部１０４は、送信画像メモリ１０３における使用容量に基づいて符号化レート変更部１０５において画像データの符号化レートの変更を行うか否かを判断する。そして、符号化レート変更部１０５は、伝送制御部１０４において、画像データの符号化レートの変更を行うと判断された場合に画像データの符号化レートを変更する。なお、符号化レートの変更方法については後に詳述する。
【００３８】
（送信部１０６）
送信部１０６は、ネットワーク１０を介して画像受信装置２に画像データを送信する。
【００３９】
（画像受信装置２の構成）
画像受信装置２は、受信部２０１と、画像復号部２０２と、画質改善部２０３とを含んで構成される。また、画像受信装置２には、画像の表示を行うディスプレイ等の表示部６が接続される。なお、本実施形態においては、表示部６は画像受信装置２に外部接続されているが、画像受信装置２に内蔵されていてもよい。
【００４０】
（受信部２０１）
受信部２０１は、ネットワーク１０を介して、画像送信装置１から送信される画像データを受信する。
【００４１】
（画像復号部２０２）
画像復号部２０２は、受信部２０１で受信された画像データを復号する。具体的には、画像復号部２０２は、ＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４等で符号化された画像データの復号をおこなう。なお、復号された画像データは画質改善部２０３を経由して、表示部６に送られ、画像が表示される。
【００４２】
（画質改善部２０３）
画質改善部２０３は、画像復号部２０２において復号された画像データの画質を改善する。ここで、「画質を改善する」とは、具体的には、復号された画像のフレーム間を補間してフレームレートの改善を行うことや、超解像技術により低解像度の画像を高解像度化して画質改善を行うこと等を意味する。例えば、画像データのヘッダ等から符号化レートの変更が実施されたか否かを示す情報を読み取り、符号化レートの変更が行われていた場合には、画像データに対して画質改善処理を行う。すなわち、低符号化レートが適用された重要度の低い画像であることを示す優先度情報がメタデータに付加されている場合に、画質改善処理を行う。
【００４３】
または、例えば、表示部６の表示ピクセル数もしくはフレーム数が、復号された画像のピクセル数もしくはフレーム数を上回る場合、画質改善部２０３にて画質改善処理が行われるようになっていてもよい。あるいは、復号された画像のピクセル数もしくはフレーム数が、予め設定された基準に満たない場合に、画質改善処理が行われるようになっていてもよい。
【００４４】
なお、上述した画像送信装置１および画像受信装置２における各機能は、各々独立したハードウェアで実現されなくてもよく、一つのハードウェアで各機能の機能が実現されてもよい。例えば、画像受信装置２はパーソナルコンピュータやＰＤＡ（Personal Digital Assistant）等の無線端末で実現され、受信部１０１、２０１はＯＳ（Operating System）やドライバで実現され、画像復号部２０２および画質改善部２０３はＯＳ上で動作するソフトウェアで構成されてもよい。
【００４５】
［映像監視システムの動作］
次に、本実施形態に係る映像監視システムの動作について説明する。図５は、本実施形態に係る映像監視システムの動作を示すシーケンス図である。
【００４６】
まず、撮像装置３−１〜３−ｎにおいて撮像された画像の画像データが、画像送信装置１に送信される。送信された画像データは、画像送信装置１の受信部１０１において受信される（ステップＳ１０１）。また、各種センサ４から、適宜、出力情報が出力される。なお、この出力情報は、画像送信装置１の優先度付与部１０２において受信される（ステップＳ１０２）。
【００４７】
また、優先度付与部１０２において、センサ４からの出力情報が受け付けられ、この出力情報に基づいて優先度テーブルが参照されて、画像データに優先度が付与される（ステップＳ１０３）。センサ４から出力情報が出力されない場合には、優先度が付与されない等となっていてもよい。ステップＳ１０３において優先度が付与された画像データは、送信画像メモリ１０３に格納される（ステップＳ１０４）。
【００４８】
次に、伝送制御部１０４において、画像データの送信に関する制御が行われる（ステップＳ１０５）。なお、ここでの処理については、後に詳述する。また、必要に応じて、符号化レート変更部１０５において、画像データの符号化レートが変更される（ステップＳ１０６）。
【００４９】
送信部１０６から画像データが送信され、送信された画像データは、ネットワーク１０を介して、画像受信装置２の受信部２０１において受信される（ステップＳ１０７）。受信された画像データは、画像復号部２０２において復号される（ステップＳ１０８）。
【００５０】
復号された画像データは、画質改善部２０３において、超解像技術等の画質改善処理が実行される（ステップＳ１０９）。そして、画像データは表示部６に出力されて、画像が表示される（ステップＳ１１０）。
【００５１】
（ステップＳ１０５における処理の詳細）
次に、図５のステップＳ１０５における伝送制御部１０４での処理について、詳細に説明する。図６は、図５のステップＳ１０５における処理の詳細を示すフロー図である。
【００５２】
伝送制御部１０４は、高優先度の画像データの格納領域（Ａ）に画像データが格納されている場合（ステップＳ２０１）、格納領域（Ａ）から画像データを読出す（ステップＳ２０２）。高優先度の画像データの格納領域（Ａ）に画像データが格納されていない場合（ステップＳ２０１）、次の優先度の格納領域（Ｂ）を参照する。そして、画像データが格納されている場合（ステップＳ２０３）、格納領域（Ｂ）から画像データを読出す（ステップＳ２０４）。
【００５３】
また、伝送制御部１０４は、格納領域（Ａ）、（Ｂ）ともに画像データが格納されていない場合、次の優先度の格納領域（Ｃ）を参照する。そして、画像データが格納されている場合（ステップＳ２０５）、格納領域（Ｃ）から画像データを読出す（ステップＳ２０６）。
【００５４】
ステップＳ２０２、ステップＳ２０４、ステップＳ２０６のいずれかにおける処理の後、伝送制御部１０４は、読みだした画像データの符号化レートを変更するかどうかを判定する（ステップＳ２０７）。符号化レートを変更する場合は、符号化レート変更部１０５を経由するようにして、画像データを送信部１０６に送る（ステップＳ２０９）。また、これに先立って、符号化レートを計算し、その符号化レートに変更するように符号化レート変更部１０５に通知してもよい（ステップＳ２０８）。
【００５５】
符号化レートの変更をしない場合は、画像データを直接（符号化レート変更部１０５を経由せずに）、送信部１０６に送る（ステップＳ２１０）。以上の動作を送信画像データ毎に繰り返す（ステップＳ２１１）。
【００５６】
（ステップＳ２０７における処理の詳細）
ここで、図６のステップＳ２０７における処理についてさらに説明する。上記ステップＳ２０７において、伝送制御部１０４が画像データを符号化レート変更部１０５に経由させるか否かは、送信画像メモリ１０３における送信待ちの画像データ量（例えば、送信画像メモリ１０３の使用容量）を使用して判定する。伝送制御部１０４では、送信待ちの画像データ量と、ネットワーク伝送速度とから、送信待ちの画像データの伝送遅延時間を計算することが可能である。送信待ちの画像データの伝送遅延時間が予め設定された許容時間を超える場合、伝送制御部１０４は、画像データを符号化レート変更部１０５に送る。
【００５７】
なお、伝送制御部１０４においてネットワーク伝送速度を把握する方法としては、例えば、送信部１０６が送信した単位時間当たりのデータ量を用いて算出する方法等が挙げられる。
【００５８】
一例として、高優先度の画像データと中優先度の画像データに伝送遅延許容時間が設定されている場合について説明する。図７は、伝送制御部１０４において画像データを符号化レート変更部１０５に経由させるか否かを判断するための処理を示すフロー図である。
【００５９】
まず、伝送制御部１０４は、高優先度の画像データの格納領域（Ａ）の送信待ち画像データ量M1と、中優先度の画像データの格納領域（Ｂ）の送信待ち画像データ量M2を算出する（ステップＳ３０１、Ｓ３０２）。この格納領域（Ａ）の送信待ち画像データ量M1と、伝送制御部１０４で認識しているネットワーク伝送速度Stとから、高優先度の画像データの最大遅延時間T1＝M1／Stが計算される（ステップＳ３０３）。同様に、格納領域（Ｂ）の送信待ち画像データ量M2とネットワーク伝送速度Stとから、中優先度の画像データの最大遅延時間T2＝（M1＋M2）／Stが計算される（ステップＳ３０４）。
【００６０】
そして、各優先度の画像データの最大遅延時間T1、T2が、各々予め設定された伝送遅延許容時間TS1、TS2を超える場合（ステップＳ３０５、Ｓ３０６）、符号化レートの変更は必要であると判断し、画像データを符号化レート変更部１０５経由で送信部１０６に送る（ステップＳ３０８）。さもなければ、符号化レートの変更は不要であると判断し（ステップＳ３０７）、画像データを直接送信部１０６に送る。
【００６１】
（ステップＳ２０８における処理の詳細）
図８は、図６のステップＳ２０８において、符号化レートを変更する際の符号化レートを算出するための処理を示すフロー図である。T1＞TS1であり、かつ、T2≦TS2である場合（ステップＳ４０１、Ｓ４０３）、符号化レートRBは、RB1（＝TS1*St／T1）と指定される（ステップＳ４０７）。なお、RB1の値は、ステップＳ４０１においてT1＞TS1であると判断された後に、予め算出しておく（ステップＳ４０２）。
【００６２】
また、T1≦TS1であり、かつ、T2＞TS2の場合（ステップＳ４０１、Ｓ４０４）、符号化レートRBは、TS2*St／T2と指定される（ステップＳ４０８）。また、T1＞TS1であり、かつ、T2＞TS2の場合（ステップＳ４０１、Ｓ４０３）、符号化レートRBは、RB1＝TS1*St／T1と、RB2＝TS2*St／T2のうち、どちらか低い符号化レートを変更する符号化レートとする（ステップＳ４０６）。なお、RB2の値は、ステップＳ４０３においてT2＞TS2であると判断された後に、予め算出しておく（ステップＳ４０５）。
【００６３】
このように符号化レートが指定されることで、伝送遅延の許容時間を大きく超えることなく画質劣化を最少にする伝送が可能である。
【００６４】
また、伝送制御部１０４は、各画像データ毎または複数の画像データ毎に、上記のようにネットワーク伝送速度を認識し、最大遅延時間の計算および必要に応じて符号化レート変更部１０５に対して指定する符号化レートを計算する。このように動作することで、変動するネットワーク伝送速度や送信画像データ量の変動を吸収し、画質劣化の少ない最適な符号化レートで画像データを送信することができる。
【００６５】
また、符号化レート変更部１０５は、符号化レートが伝送制御部１０４によって指定された場合、指定された値よりも低い符号化レートのうち最も大きい符号化レートに符号化レートを変更した画像データを送信部１０６に送る。符号化レートの指定がない場合は、予め設定された符号化レートで画像データの符号化レートを変更し、送信部１０６に送る。
【００６６】
（まとめ）
本実施形態に係る映像監視システムは、監視カメラ等の撮像装置で撮影された画像をネットワーク経由で伝送して表示する映像監視システムであって、重要度の高い画像データの伝送遅延が大きくなる場合、画像を符号化レート変更して低符号化レートで伝送する。また、表示側では超解像技術等の画質改善処理を施すことで、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供するものである。
【００６７】
また、本実施形態に係る映像監視システムは、センサからの出力に対応して伝送する画像の優先度を決定し、画像を優先度毎に設定された伝送遅延許容時間内に伝送するように動作する。これにより、重要度の高い画像は所定時間以内に表示されることとなり、画像受信装置を使用する監視員等は、重要な事象に対して迅速な対応をとることができる。
【００６８】
また、画像フレーム単位でネットワーク伝送速度を把握し、最適な符号化レートで画像の符号化レートを更新するため、無線回線等のネットワーク伝送速度が変化する環境においても回線容量を有効利用して、画質劣化の少ない画像伝送を実現することができる。
【００６９】
（付記）
以上に、本発明に係る実施形態について詳細に説明したことからも明らかなように、上述の実施形態の一部または全部は、以下の各付記のようにも記載することができる。しかしながら、以下の各付記は、あくまでも、本発明の単なる例示に過ぎず、本発明は、かかる場合のみに限るものではない。
【００７０】
（付記１）
撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、を有する映像監視システムであって、
前記画像送信装置は、
自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与手段と、
前記優先度が付与された前記画像データを格納する送信画像記憶手段（例えば、図１の送信画像メモリ１０３）と、
前記画像データの符号化レートを変更する符号化レート変更手段と、
前記送信画像記憶手段における記憶容量に基づいて、前記符号化レート変更手段における符号化レートを制御する伝送制御手段と、
前記画像データを送信する送信手段と、を有し、
前記画像受信装置は、
前記画像送信装置から送信される前記画像データを受信する受信手段と、
前記画像データを復号する画像復号手段と、
前記画像復号手段において復号された前記画像データの画質を改善する画質改善手段と、
を有することを特徴とする映像監視システム。
【００７１】
この構成によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【００７２】
（付記２）
前記伝送制御手段は、前記送信画像記憶手段における使用容量に基づいて前記符号化レート変更手段において前記画像データの符号化レートの変更を行うか否かを判断し、
前記符号化レート変更手段は、前記伝送制御手段において、前記画像データの符号化レートの変更を行うと判断された場合に前記画像データの符号化レートを変更すること
を特徴とする付記１に記載の映像監視システム。
【００７３】
この構成によれば、送信画像記憶手段における使用容量に応じて、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【００７４】
（付記３）
前記優先度付与手段は、
前記センサを識別するセンサ識別情報と、前記撮像装置を識別する撮像装置識別情報と、前記優先度と、を関連付けた優先度テーブルを保持し、
前記優先度テーブルにおいて、前記出力情報を出力したセンサの前記センサ識別情報と関連付けられている前記撮像装置識別情報および前記優先度を取得し、取得した前記撮像装置識別情報で識別される前記撮像装置によって撮像された画像の前記画像データに対し、取得した前記優先度を付与すること
を特徴とする付記１又は付記２に記載の映像監視システム。
【００７５】
この構成によれば、検知結果等の出力情報を出力したセンサに対応して、特定の撮像装置からの画像データに異なる優先度を付与することができる。
【００７６】
（付記４）
撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、によって実行される映像監視方法であって、
前記画像送信装置において、自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与ステップ（例えば、図５のステップＳ１０３）と、
前記画像送信装置において、前記優先度が付与された前記画像データを自装置内部の送信画像記憶手段（例えば、図１の送信画像メモリ１０３）に格納する送信画像記憶ステップ（例えば、図５のステップＳ１０４）と、
前記画像送信装置において、前記送信画像記憶手段における記憶容量に基づいて前記画像データの符号化レートを変更するか否かを判断する判断ステップと（例えば、図５のステップＳ１０５、図６のステップＳ２０７、図７のフロー図に示されるステップＳ３０１〜Ｓ３０８の処理ステップ）、
前記画像送信装置において、前記判断ステップにおいて前記画像データの符号化レートを変更すると判断された場合には、前記画像データの符号化レートを変更する符号化レート変更ステップ（例えば、図５のステップＳ１０６）と、
前記画像データを送信する送信ステップ（例えば、図５のステップＳ１０７）と、
前記画像受信装置において、前記送信ステップにおいて送信される前記画像データを受信する受信ステップ（例えば、図５のステップＳ１０７）と、
前記画像データを復号する画像復号ステップ（例えば、図５のステップＳ１０８）と、
前記画像復号ステップにおいて復号された前記画像データの画質を改善する画質改善ステップ（例えば、図５のステップＳ１０９）と、
を有することを特徴とする映像監視方法。
【００７７】
この構成によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
【符号の説明】
【００７８】
１ 画像送信装置
２ 画像受信装置
３ 撮像装置
４ センサ
５ 画像処理装置
６ 表示部
１０ ネットワーク
１０１ 受信部
１０２ 優先度付与部
１０３ 送信画像メモリ
１０４ 伝送制御部
１０５ 符号化レート変更部
１０６ 送信部
２０１ 受信部
２０２ 画像復号部
２０３ 画質改善部
【特許請求の範囲】
【請求項１】
撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、を有する映像監視システムであって、
前記画像送信装置は、
自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与手段と、
前記優先度が付与された前記画像データを格納する送信画像記憶手段と、
前記画像データの符号化レートを変更する符号化レート変更手段と、
前記送信画像記憶手段における記憶容量に基づいて、前記符号化レート変更手段における符号化レートを制御する伝送制御手段と、
前記画像データを送信する送信手段と、を有し、
前記画像受信装置は、
前記画像送信装置から送信される前記画像データを受信する受信手段と、
前記画像データを復号する画像復号手段と、
前記画像復号手段において復号された前記画像データの画質を改善する画質改善手段と、
を有することを特徴とする映像監視システム。
【請求項２】
前記伝送制御手段は、前記送信画像記憶手段における使用容量に基づいて前記符号化レート変更手段において前記画像データの符号化レートの変更を行うか否かを判断し、
前記符号化レート変更手段は、前記伝送制御手段において、前記画像データの符号化レートの変更を行うと判断された場合に前記画像データの符号化レートを変更すること
を特徴とする請求項１に記載の映像監視システム。
【請求項１】
撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、を有する映像監視システムであって、
前記画像送信装置は、
自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与手段と、
前記優先度が付与された前記画像データを格納する送信画像記憶手段と、
前記画像データの符号化レートを変更する符号化レート変更手段と、
前記送信画像記憶手段における記憶容量に基づいて、前記符号化レート変更手段における符号化レートを制御する伝送制御手段と、
前記画像データを送信する送信手段と、を有し、
前記画像受信装置は、
前記画像送信装置から送信される前記画像データを受信する受信手段と、
前記画像データを復号する画像復号手段と、
前記画像復号手段において復号された前記画像データの画質を改善する画質改善手段と、
を有することを特徴とする映像監視システム。
【請求項２】
前記伝送制御手段は、前記送信画像記憶手段における使用容量に基づいて前記符号化レート変更手段において前記画像データの符号化レートの変更を行うか否かを判断し、
前記符号化レート変更手段は、前記伝送制御手段において、前記画像データの符号化レートの変更を行うと判断された場合に前記画像データの符号化レートを変更すること
を特徴とする請求項１に記載の映像監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−８９９８９（Ｐ２０１２−８９９８９Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３３５３５（Ｐ２０１０−２３３５３５）
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]