監視システム、監視方法、画像処理装置、及び画像処理プログラム
【課題】監視カメラを用いた監視システムであって、公共の場及びその近傍における対象物の監視を肖像権を侵害することなく容易に行うことのできる監視システム等を提供する。
【解決手段】画像を用いた監視システムが、監視対象物を含む所定領域を撮影し、所定時間間隔で前記所定領域の静止画像を取得する画像取得手段と、前記画像取得手段が取得した所定枚数の静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する画像処理手段と、前記画像処理手段により生成された監視用静止画像を、監視者に対して表示する画像表示手段とを有し、前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定される。
【解決手段】画像を用いた監視システムが、監視対象物を含む所定領域を撮影し、所定時間間隔で前記所定領域の静止画像を取得する画像取得手段と、前記画像取得手段が取得した所定枚数の静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する画像処理手段と、前記画像処理手段により生成された監視用静止画像を、監視者に対して表示する画像表示手段とを有し、前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラを用いた監視システム等に関し、特に、肖像権を侵害することなく対象物の監視を行うことのできる監視システム等に関する。
【背景技術】
【０００２】
公道などの公共の場あるいはその近辺に設置された設備や建物について監視を行う必要がある場合がある。例えば、公道の下に敷設されたガス管については、その近辺での当該ガス管に関係しない工事が行われる際に当該ガス管が傷つけられてしまう可能性があることから、定期的に監視する必要が生じている。
【０００３】
従来、このような監視については、人が定期的に監視対象の設置されている場所まで行って目視点検する巡回監視という形で行われることが多かった。
【０００４】
また、監視カメラを用いて監視対象の周辺を撮影しその映像を遠隔で監視するということも考えられるが、監視対象が前述のとおり公共の場あるいはその近辺に設置されている場合には、公共の場を撮影することとなり、監視カメラでの撮影は、そこを通行する人等を撮影してしまうこととなって肖像権を侵害してしまう恐れがある。
【０００５】
そこで、かかる肖像権の侵害の問題を解決すべく従来よりいくつかの提案がなされている。例えば、下記特許文献１では、肖像権の侵害の恐れのある部分についてマスキングしてしまうという技術が開示されている。また、下記特許文献２では、背景画像との差分について塗りつぶすなどのマスキングを行うことについて示されている。
【特許文献１】特開２００３−３１９１５８号公報
【特許文献２】特開２００１−１８６５０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の監視方法ではどれも問題があった。前記巡回監視では、当然のことながら、監視に手間と時間を要し効率的でなかった。
【０００７】
また、上記特許文献１に記載の方法では、肖像権の侵害の恐れのある部分が遮蔽されてしまうので、その部分に監視対象がある場合、例えば、通行人が監視対象の前を移動するような場合には、監視対象も遮蔽されてしまい監視を行うことができない。例えば、前述した公道下に敷設されたガス管等についての監視については、他の工事の実施を示す、公道上に設けられた工事帯や公道上に駐車された工事車両等が監視対象となり、その付近や前を一般の通行人や車両が通過することになるので、当該監視対象もマスキングされてしまうことになる場合が多いと考えられる。従って、かかる方法は、公共の場を多く含む範囲の監視については、大部分が遮蔽されてしまうことになり適切な方法ではない。
【０００８】
また、上記特許文献２による方法では、背景画像にない部分が遮蔽されることになるので、同様に、当該遮蔽される部分が監視対象と重なる場合には監視対象を監視することができない。また、上記ガス管の例における監視対象のように、恒久的にその場所に設置されているものではない物が監視対象である場合には、当該監視対象が背景画像に含まれておらず差分として遮蔽されてしまうことになったり、あるいは、それを防ぐために背景画像の更新の頻度を多くしなければならない。
【０００９】
従って、前述したガス管の例のような公共の場を含む領域の監視については、適切なものがなかった。
【００１０】
そこで、本発明の目的は、監視カメラを用いた監視システムであって、公共の場及びその近傍における対象物の監視を肖像権を侵害することなく容易に行うことのできる監視システム等を提供することである。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明の一つの側面は、画像を用いた監視システムが、監視対象物を含む所定領域を撮影し、所定時間間隔で前記所定領域の静止画像を取得する画像取得手段と、前記画像取得手段が取得した所定枚数の静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する画像処理手段と、前記画像処理手段により生成された監視用静止画像を、監視者に対して表示する画像表示手段とを有し、前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定されることである。
【００１２】
更に、上記の発明において、その好ましい態様は、前記画像処理手段が行なう動体の画像が減衰する画像処理は、前記静止画像を構成する各画素について、前記所定枚数の静止画像の画素値の平均値を求め、当該平均値を監視用静止画像の対応する画素の画素値とすることであることを特徴とする。
【００１３】
また、上記の発明において、好ましい態様は、前記所定時間間隔と前記所定枚数の決定は、更に、前記動体の画像が重ならなくなるまでの前記動体の移動時間に基いて行われることを特徴とする。
【００１４】
更に、上記の発明において、好ましい態様は、前記所定時間間隔と前記所定枚数の決定は、前記所定時間間隔が前記動体の移動時間以上になるように行われることを特徴とする。
【００１５】
また、上記の発明において、その好ましい態様は、前記所定時間間隔と前記所定枚数の決定は、前記所定時間間隔と前記所定枚数を掛け合わせた値が、前記監視対象物の静止時間以下になるように行われることを特徴とする。
【００１６】
更に、上記の発明において、一つの態様は、前記監視対象物は、工事の実施を示すものであり、前記所定領域には、公共の場所が含まれることを特徴とする。
【００１７】
上記の目的を達成するために、本発明の別の側面は、画像を用いた監視方法が、監視対象物を含む所定領域を撮影し、所定時間間隔で前記所定領域の静止画像を取得する画像取得ステップと、前記画像取得ステップで取得された所定枚数の静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する画像処理ステップと、前記画像処理ステップにより生成された監視用静止画像を、監視者に対して表示する画像表示ステップとを有し、前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定されることである。
【００１８】
上記の目的を達成するために、本発明の更に別の側面は、画像を用いた監視システム用の画像処理装置が、監視対象物を含む所定領域について、所定時間間隔で所定枚数取得された静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成し、前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定されることである。
【００１９】
上記の目的を達成するために、本発明の別の側面は、監視システム用の画像処理をコンピュータに実行させる画像処理プログラムが、監視対象物を含む所定領域について、所定時間間隔で所定枚数取得された静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する処理を前記コンピュータに実行させ、前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定されることである。
【００２０】
本発明の更なる目的及び、特徴は、以下に説明する発明の実施の形態から明らかになる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の実施の形態例を説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。なお、図において、同一又は類似のものには同一の参照番号又は参照記号を付して説明する。
【００２２】
図１は、本発明を適用した監視システムの実施の形態例に係る構成図である。図１に示す監視システム１が本発明を適用した監視システムであり、監視対象物及び除去対象物の静止時間等に基づいて定められる所定条件に従って取得された複数枚の画像から、前記除去対象物の画像が減衰された監視用の１枚の画像を生成し、通常時においては当該画像によって監視を行うことにより、肖像権の侵害をすることなく公共の場における監視を容易に行おうとするものである。
【００２３】
図１に示すように、本実施の形態例に係る監視システム１は、カメラ２、画像処理サーバ４、監視モニタ５、及びそれらを接続するネットワーク３によって構成される。そして、当該監視システム１は、公共の場又はその近傍に設けられ所定時間静止した物を監視対象としており、ここでは一例として、前述した公道の下に敷設されたガス管についての監視を行うものとして説明する。すなわち、ガス管が敷設された公道付近における工事の実施を示す物体を監視対象とする。従って、具体的には、工事範囲を示すバリケードやコーン、又は工事用車両が監視対象となる。また、一方、当該監視対象の付近を一般の通行人等が通過するため、これらの画像は肖像権の問題から通常時の監視用画面から除去する必要があり、これらが除去対象物となる。
【００２４】
図２は、本監視システム１が行なう処理を説明するための図である。この図２は、本監視システム１において撮影される画像と、それを処理して監視用とした画像を模式的に示している。図２の（Ａ）は、カメラ２で撮影された画像を表しており、前記監視対象の工事帯を示すバリケードやコーン（図中のｂ）と共に、公道を通行する通行人（図中のａ）、すなわち肖像権の問題により画像から除去すべき除去対象物が含まれている。本監視システム１では、上記監視対象物を残したまま、この撮影画像から通行人等の除去対象物を除去した、図２の（Ｂ）に示すような画像を監視用として生成することを目的としている。
【００２５】
図１に戻って、カメラ２は、監視対象を含む一定の範囲を撮影するいわゆる監視カメラであり、図１に示すように、監視対象が複数箇所に分かれている場合には複数台設けられる。当該カメラ２は、監視時間中、撮影した動画の画像データを暗号化して所定タイミングで画像処理サーバ４へ送信する。また、監視モニタ５において異常が検知され、監視モニタ５からライブ画面の送信が要求される場合には、撮影した動画のデータをそのまま監視モニタ５に送信する。
【００２６】
次に、画像処理サーバ４は、前記カメラ２で撮影された画像に処理を加えて、肖像権を侵害しない監視用の画像を生成し、当該画像を監視モニタ５に送信する装置である。この画像処理サーバ４は、いわゆるコンピュータシステムで構成され、本監視システム１において、データセンターと呼ばれる所に設置される。
【００２７】
図１に示すように、画像処理サーバ４には、Ｉ／Ｆ部４１、画像処理部４２、及び画像データ格納部４３が備えられる。Ｉ／Ｆ部４１は、外部との通信のインターフェースを担う部分であり、前記カメラ２から送信される動画データの受信、上記処理後の監視用画像の送信等は、当該Ｉ／Ｆ部４１を介して行なわれる。
【００２８】
画像処理部４２は、上記監視用画像を生成する画像処理を実行する部分である。当該画像処理に、本監視システム１の主要な特徴があるが、処理の具体的な内容については後述する。なお、本画像処理部４２は、処理の手順を指示するプログラム、当該プログラムの指示に従って処理を実行する制御装置等によって構成することができる。
【００２９】
また、画像データ格納部４３は、カメラ２から送信される画像データ、監視用画像を生成する過程で必要となる画像データ、監視用画像のデータ等を格納する部分である。ここに記憶される画像データは、適宜、前記画像処理部４２によって読み出されたり、書き込まれたりする。なお、本画像データ格納部４３は、ハードディスク等の一般的なデータ記憶装置によって構成され、画像処理部４２とのデータ授受が可能であれば、他の部分と一体となっている必要はない。
【００３０】
次に、監視モニタ５は、画像処理サーバ４から送信される監視用画像を監視者に対して表示する装置であり、本監視システム１において集中監視センターと呼ばれる箇所に設置される。通常時は、集中監視センターにいる監視者が当該監視モニタ５に表示される静止画像を目視して異常の有無を監視する。また、当該監視において異常が発見された場合には、当該監視モニタ５からライブ画像の送信依頼を行い、当該監視モニタ５にカメラ２から直接送信されたライブの動画画像が表示される。そして、そのライブ画像に基づいて、監視者が必要な処置を適宜判断し、実行する。なお、本監視モニタ５は、いわゆるコンピュータシステムで構築することができ、図示していないが、通信用インターフェース、ＣＰＵ、各種メモリ、ディスプレイ、操作部等で構成される。
【００３１】
以上説明したような構成を有する本実施の形態例に係る監視システム１では、以下のような手順で処理が実行される。図３は、本監視システム１で行なわれる処理の内容を例示したフローチャートである。また、図４は、本監視システム１で行なわれる処理を説明するための図である。
【００３２】
まず、本監視システム１を用いて監視を行なう際には、前述したカメラ２によるカメラ撮影を開始する（ステップＳ１）。このカメラ撮影による撮影範囲は、対象とする埋設ガス管の周辺であり、例えば、図４の（Ａ）に示すような範囲となる。ここで、監視対象は図中ｃで示される工事帯を表すバリケードであり、除去対象物は図中ｄで示される公道上の通行人等である。なお、前述のとおり、カメラ２が複数設けられて複数の箇所を並行して監視することが可能であるが、ここでは１箇所の処理について説明する。
【００３３】
カメラ２では、上記撮影を継続しながら、順次、撮影した画像の動画データを暗号化して画像処理サーバ４へ送信する（ステップＳ２）。送信されたデータはネットワーク３を介して画像処理サーバ４で受信される。画像処理サーバ４では、Ｉ／Ｆ部４１を介して、受信した動画データが画像データ格納部４３に順次格納される。
【００３４】
次に、画像処理部４２が、前記受信した動画データから、画像取得間隔ｔ毎の静止画のデータを生成する（ステップＳ３）。ここで、画像取得間隔ｔは、監視対象物の静止時間、除去対象物の静止時間及び移動速度等に基づいて予め定められる時間であり、例えば、５秒という値になる。したがって、画像処理部４２は、動画データから例えば５秒間隔の静止画データを順次生成していく。なお、画像取得間隔ｔの決め方については後述する。また、この画像取得間隔ｔ毎の静止画の生成は、カメラ２側で行なうようにしてもよい。この場合には、生成された静止画のデータが暗号化されて画像処理サーバ４に送信されることになる。
【００３５】
このようにして生成された各静止画の画像データは、順次、画像データ格納部４３に格納され、処理画像枚数Ｎ枚分の当該静止画のデータが蓄積されると（ステップＳ４）、画像処理部４２は、これらＮ枚分の静止画データから、１枚の監視用画像のデータを、所定の画像処理によって生成する（ステップＳ５）。
【００３６】
具体的には、画像データを構成する各画素の色の濃度値について、Ｎ枚分の平均値を算出し、その平均値を監視用画像データにおける値とする、処理を行なう。より具体的には、Ｎ枚の各画像データにおいて、各画像の値を１／Ｎ倍し、その後、同一画素についてＮ枚分の値を足し合わせ、その結果の値を当該画素の監視用画像データの値とする、処理を各画素について行う。すなわち、この画像処理によって、撮影範囲内の各位置におけるＮ枚の画像の平均値が取られることになる。従って、通行人のように移動しているものの画像は同じ位置に留まらないため、同じ箇所に着目すれば、Ｎ枚のうちこの画像が反映されている枚数は少なくなり、実際には後述するように最大１枚となり、前記平均化後の監視用画像データでは、殆ど反映されなくなる。すなわち、認識ができないほどに、当該除去対象物の画像を減衰することができる。なお、各画素が有する濃度値は、白黒画像など１次元の値、例えば白から黒までを２５６階調で表した値、やＲＧＢ（レッド、グリーン、ブルー）の各色による３次元の値などであり、色の表現形式はどのようなものであってもよい。
【００３７】
また、前述した処理画像枚数Ｎは、上述した除去対象物の画像を減衰するために必要な最小枚数（Ｎmin）、例えば１０枚、以上の値であり、画像取得間隔ｔと同様に、予め定められる。なお、具体的な決定方法については後述する。例えば、Ｎとして６０枚という値が設定され、画像取得間隔ｔとして５秒という値が設定されると、動画データの３００秒（５分）に対して１枚の監視用画像が生成されることになり、通行人などの除去対象物の画像は、殆どの場合、監視用画像において１／６０の影響力しか持たないことになる。従って、この画像は減衰されることになる。
【００３８】
より具体的には、撮影範囲内の公道が存在するある箇所において、６０枚の静止画像のうち公道の色を示すものが５９枚あり、残りの１枚が通行人の色を示すものであるという状態となって、それらの平均で生成される監視用画像においては、殆ど公道の色を表すものとなるので、通行人（の色）は殆ど認知できないものとなって、通行人は事実上除去されることになる。
【００３９】
図４に示す例では、（Ａ）、（Ｂ）、、、（Ｃ）が、前記Ｎ枚の静止画を表しており、（Ｄ）が画像処理後（平均化後）の監視用画像を表している。この例では、監視対象の工事用のバリケード（図４の（Ａ）のｃ）の前を通行人（図４の（Ａ）のｄ）が通過する場合であり、この通行人の画像は、Ｎ枚の静止画において同じ場所に現れないので、前述したように、（Ｄ）の監視用画像においては、ｆに示すように、その画像は減衰し、その顔を識別することはできず、また、その背後にある監視対象ｅをはっきりと見ることができる。
【００４０】
図５は、監視対象物の前を自動車が通過する場合の例を示した図である。図４と同様に、図５の（Ａ）は、前記Ｎ枚の静止画を表しており、図５の（Ｂ）は、画像処理後の監視用画像を表している。図中ｇで示す通過車両の画像は、図４の場合と同様に、監視用画像においては、ｈで示すように減衰され、その背後の監視対象iをはっきりと監視することができる。
【００４１】
図３に戻って、このように監視用画像が生成されると、画像処理部４２は、当該監視用画像のデータを画像データ格納部４３に保存すると共に、当該画像データを監視モニタ５に送信する（ステップＳ６）。
【００４２】
送信された監視用画像の画像データは、監視モニタ５で受信され、監視モニタ５のディスプレイに表示される（ステップＳ７）。監視者は、当該表示された監視用画像、すなわち通行人などが除去された画像で監視対象を目視し、ガス管が傷つけられてしまう虞があるなどの異常の有無をチェックする（ステップＳ８）。その結果、特に異常がないと判断すれば（ステップＳ８のＮｏ）、同様の監視を継続し（ステップＳ９）、監視システム１において、これまでに説明した処理が繰り返し実行される。すなわち、画像取得間隔ｔ×処理画像枚数Ｎの時間毎に１枚の前記監視用画像が生成、表示され、これを用いた異常のチェックがなされる。
【００４３】
一方、監視者の目視チェックにより異常が発見された場合には（ステップＳ８のＹｅｓ）、監視者は、監視モニタ５からライブ画像の送付要求を行なう（ステップＳ１０）。当該要求を受けて、カメラ２からは、撮影中の動画のデータが直接監視モニタ５に送信され（ステップＳ１１）、当該データが監視モニタ５のディスプレイに表示される（ステップＳ１２）。このように、ライブの画像が表示されるので、監視者は当該箇所について現在の状況を正確に把握し、その状況に応じて適切な処置を施す。なお、かかるライブ画像では、通行人などを除去する処理が施されていないが、異常であると認められている場合であるので、このような処理にしている。また、ここでは、このライブ画像をカメラ２から監視モニタ５に直接送ることとしているが、画像処理サーバ４を介して監視モニタ５に送るようにしてもよい。
【００４４】
このように、本監視システム１における処理が行なわれるが、前述した画像取得間隔ｔ及び処理画像枚数Ｎの決め方について、以下に説明する。まず、１枚の監視用画像を生成する間隔、すなわち、画像取得間隔ｔ×処理画像枚数Ｎ、のことを画像処理時間Ｔと呼ぶことにすると、当該画像処理時間Ｔは、前述した除去対象物の画像を減衰するために必要な静止画の最小枚数（Ｎの最小値Ｎmin）を用いて、下記（１）式で表される範囲の値として決定される。
【００４５】
ｘ×Ｎmin≦Ｔ≦Ｘ （１）
なお、ｘは除去対象物の静止時間を、Ｘは監視対象物の静止時間を表している。ここで、監視対象物である工事帯のバリケードが５時間その場に設置されるとすると、その５時間という静止時間Ｘよりも画像処理時間Ｔを長くしてしまうと、前述した画像処理によって生成される監視用画像において、監視対象物の画像が薄くなってしまい相応しくない。従って、上記（１）式の右側のような不等式の制限が設けられる。
【００４６】
一方、除去対象物については、その画像を減衰させることが目的であるので、除去対象物が静止（滞留）している間に複数枚の前記静止画像を生成することは非効率であり相応しくない。従って、除去対象物の静止時間ｘよりも長い間隔で静止画像が生成されるべきであり、これにより、画像処理時間Ｔは、少なくともｘ×Ｎminよりも長い時間が必要であることになる。従って、上記（１）式の左側のような不等式の制限が設けられる。例えば、通行人がカメラ２の撮影範囲内において５秒静止する可能性があるとし、Ｎminが１０枚であるとすると、画像処理時間Ｔは５０秒以上必要となる。この制限では、例えば、信号待ちで停車している一般車両等についても考慮される。
【００４７】
また、画像取得間隔ｔは、上記（１）式の範囲で決定される画像処理時間Ｔと前記Ｎminを用いて、下記（２）式で表される範囲の値として決定される。
【００４８】
τ≦ｔ≦Ｔ／Ｎmin （２）
なお、τは除去対象物の移動が認識できる時間を表している。換言すれば、移動中の除去対象物の画像が概ね重ならなくなる時間間隔を表している（以下、τを除去対象物の移動時間と呼ぶこととする）。図６は、この移動時間τを説明するための図である。図６は、除去対象物が通行人である場合の例を示しており、図中のｌで示す頭部の大きさ分だけこの通行人が移動すると、概ね画像が重ならない位置まで移動したと言える。従って、この場合には当該通行人がｌ移動する時間が移動時間τとなる。このτは、当該通行人の移動後の時刻ｔ２から移動前の時刻ｔ１を引いた時間であり、通行人の移動速度をｖとすると、ｌ／ｖで求められる。除去対象物が他のものであっても、その除去対象物の代表長さｌをその移動速度ｖで割ることによってτを求めることができる。
【００４９】
ここで、この移動時間τよりも短い間隔で前記静止画を生成しても、前述のような画像処理による除去対象物の減衰を考えると意味が無く、かえって減衰という目的に対しては非効率である。従って、上記（２）式の左側のような不等式の制限が設けられる。
【００５０】
また、画像取得間隔ｔが長すぎると、画像処理時間Ｔ内で最低限必要なＮmin枚の静止画を用意できなくなり、除去対象物の十分な減衰ができず相応しくない。従って、上記（２）式の右側のような不等式の制限が設けられる。
【００５１】
本監視システム１では、以上説明した（１）式及び（２）式を満たすような画像処理時間Ｔ及び画像取得間隔ｔが事前に決定される。これにより、当然処理画像枚数Ｎも決定される。これらの具体的な値については、前述した条件の他に、画像処理の処理負担や画像データの送信負担など本監視システム１の構築される環境も考慮されて、適宜、適切な値が決定される。例えば、本実施の形態例における、公道に設けられた工事用のバリケード等を監視する場合には、実際の試験において、画像取得間隔ｔを５秒とし、画像処理時間Ｔを３００秒とすることで良好な結果を得られることが判明している。このように、本監視システム１では、除去対象物の静止時間ｘ、監視対象物の静止時間Ｘ、除去対象物の移動時間τ、及び必要な静止画の最小枚数Ｎminに基いて、画像処理時間Ｔ、画像取得間隔ｔ、及び処理画像枚数Ｎが決定される。
【００５２】
また、本実施の形態例におけるカメラ２が首振り機能を有し、一つのカメラ２が複数の箇所を撮影し、複数の監視対象物を捉えるために用いられるようにしてもよい。図７は、首振り機能を有するカメラ２を例示した図である。図７に示す例は、Ｐ１からＰ５までの５箇所を一つのカメラ２で撮影する場合であり、例えば、カメラ２が順次その角度を変えて、図中の矢印で示される順番（Ｐ１、Ｐ２、、、、）に撮影を行なっていく。
【００５３】
このように複数箇所の監視にカメラ２が用いられる場合に、例えば、前述した画像処理時間Ｔ毎に、すなわち、前述した監視用の１枚の静止画を生成する毎に、首を振って撮影箇所を変更するようにすることができる。この場合には、１箇所についての監視頻度が、画像処理時間Ｔ×撮影箇所数（図７の例では５）に１回となり、従って、それでも差し支えのないような画像処理時間Ｔが選択される。よって、この場合には、前述した画像処理時間Ｔの決定において、この監視頻度も考慮されることになる。
【００５４】
また、別の例として、前述した画像取得間隔ｔ毎に生成する静止画を１枚生成する毎に、首を振って撮影箇所を変更するようにすることもできる。この場合には、画像取得間隔ｔで撮影箇所を一巡する必要がある。例えば、図７の例で、画像取得間隔ｔが５秒である場合には、１秒毎にカメラ２の首振りが行われる必要がある。かかる場合には、上記画像処理時間Ｔ毎に首を振る場合と比較して、同じ画像処理時間Ｔと画像取得間隔ｔにおいて監視頻度を上げることができる。
【００５５】
また、前記説明では、ステップＳ５の処理において、Ｎ枚の静止画像データの平均値として１枚の監視用画像データを生成したが、Ｎ枚の静止画像データから１枚の監視用画像データを生成する手法として、平均値を用いるのではなくモード（最頻値）を用いるようにしてもよい。具体的には、画像データを構成する各画素について、Ｎ枚分の濃度値の最頻値を出し、その値を監視用画像データにおける値とする処理を行う。これにより、通行人などの除去対象物が通る場所についても、その背景にある静止物による色が監視用画像データにおいて選択され、除去対象物を除去することができる。
【００５６】
以上説明したように、本実施の形態例における監視システム１では、除去対象物の静止時間ｘ、監視対象物の静止時間Ｘ、除去対象物の移動時間τ、及び必要な静止画の最小枚数Ｎminに基いて定められた、画像取得間隔ｔと処理画像枚数Ｎに従って、Ｎ枚の静止画像が取得され、当該Ｎ枚の静止画像から、各画素値の平均値を取るなどの手法により動体の画像が減衰する処理を行なって１枚の監視用画像を生成し、当該画像によって監視を行なう。従って、監視対象物が公道など公共の場やその付近にあり、撮影範囲に通行人などが入ってくる場合でも、その通行人などの動体の画像が減衰され認識できなくなった画像で監視を行なうため、肖像権を侵害することはなく、かつ、監視用画像にその通行人や通行車両などの背後にある静止物の画像が現れるので、監視対象物が遮蔽されてしまうことがなく監視を十分に行うことができる。
【００５７】
また、Ｎ枚の静止画像から１枚の監視用画像を生成する画像処理は容易なものであり、コンピュータ資源の負荷を小さく抑えることができ、かつ、処理時間も要しない。また、監視者は、所定の時間間隔で１枚の静止画像を監視すれば良く、監視労力も小さく抑えられる。また、前記１枚の監視用画像は、単に一瞬間の画像ではなくＮ枚の画像を集約したものであり、監視者は当該１枚の画像により長時間分（画像処理時間Ｔ分）の画像を濃縮して監視することができるといえる。換言すれば、画像処理時間Ｔ間、除去対象物に邪魔されながら監視対象物を注視することから解放され、同様のことが当該１枚の監視用画像でできることになる。さらに、監視用画像を生成する箇所（データセンター）から監視を行なう箇所（集中監視センター）までは、１枚の静止画像データを送信すれば良く、通信負荷も小さく抑えられる。
【００５８】
また、前記監視用画像を生成するのに、元の背景画像などのテンプレートを必要とすることもない。従って、データ記憶手段の規模を小さくすることができる。
【００５９】
また、前述したように、カメラ２が首振り機能を有し、１台で複数箇所を撮影するようにすることによって、有効な距離からの撮影を少数台のカメラ２で行うことができ、監視対象が多数ある場合にはコスト削減ができる。
【００６０】
なお、前述した実施の形態例においては、一例として、ガス管が敷設された公道付近における工事の実施を示す物体を監視対象とする場合を想定していたが、本発明は、一定時間以上静止しているものを監視対象とし、その監視対象物が公共の場やその付近にあるような他の場合にも適用することができる。例えば、路上などの放置車両の監視、空港や駅などにおける不審物の監視等にも用いることができる。
【００６１】
本発明の保護範囲は、上記の実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。
【図面の簡単な説明】
【００６２】
【図１】本発明を適用した監視システムの実施の形態例に係る構成図である。
【図２】本監視システム１が行なう処理を説明するための図である。
【図３】本監視システム１で行なわれる処理の内容を例示したフローチャートである。
【図４】本監視システム１で行なわれる処理を説明するための図である。
【図５】監視対象物の前を自動車が通過する場合の例を示した図である。
【図６】移動時間τを説明するための図である。
【図７】首振り機能を有するカメラ２を例示した図である。
【符号の説明】
【００６３】
１ 監視システム
２ カメラ（画像取得手段）
３ ネットワーク
４ 画像処理サーバ（画像取得手段、画像処理手段、画像処理装置）
５ 監視モニタ（画像表示手段）
４１ Ｉ／Ｆ部
４２ 画像処理部
４３ 画像データ格納部
【技術分野】
【０００１】
本発明は、監視カメラを用いた監視システム等に関し、特に、肖像権を侵害することなく対象物の監視を行うことのできる監視システム等に関する。
【背景技術】
【０００２】
公道などの公共の場あるいはその近辺に設置された設備や建物について監視を行う必要がある場合がある。例えば、公道の下に敷設されたガス管については、その近辺での当該ガス管に関係しない工事が行われる際に当該ガス管が傷つけられてしまう可能性があることから、定期的に監視する必要が生じている。
【０００３】
従来、このような監視については、人が定期的に監視対象の設置されている場所まで行って目視点検する巡回監視という形で行われることが多かった。
【０００４】
また、監視カメラを用いて監視対象の周辺を撮影しその映像を遠隔で監視するということも考えられるが、監視対象が前述のとおり公共の場あるいはその近辺に設置されている場合には、公共の場を撮影することとなり、監視カメラでの撮影は、そこを通行する人等を撮影してしまうこととなって肖像権を侵害してしまう恐れがある。
【０００５】
そこで、かかる肖像権の侵害の問題を解決すべく従来よりいくつかの提案がなされている。例えば、下記特許文献１では、肖像権の侵害の恐れのある部分についてマスキングしてしまうという技術が開示されている。また、下記特許文献２では、背景画像との差分について塗りつぶすなどのマスキングを行うことについて示されている。
【特許文献１】特開２００３−３１９１５８号公報
【特許文献２】特開２００１−１８６５０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の監視方法ではどれも問題があった。前記巡回監視では、当然のことながら、監視に手間と時間を要し効率的でなかった。
【０００７】
また、上記特許文献１に記載の方法では、肖像権の侵害の恐れのある部分が遮蔽されてしまうので、その部分に監視対象がある場合、例えば、通行人が監視対象の前を移動するような場合には、監視対象も遮蔽されてしまい監視を行うことができない。例えば、前述した公道下に敷設されたガス管等についての監視については、他の工事の実施を示す、公道上に設けられた工事帯や公道上に駐車された工事車両等が監視対象となり、その付近や前を一般の通行人や車両が通過することになるので、当該監視対象もマスキングされてしまうことになる場合が多いと考えられる。従って、かかる方法は、公共の場を多く含む範囲の監視については、大部分が遮蔽されてしまうことになり適切な方法ではない。
【０００８】
また、上記特許文献２による方法では、背景画像にない部分が遮蔽されることになるので、同様に、当該遮蔽される部分が監視対象と重なる場合には監視対象を監視することができない。また、上記ガス管の例における監視対象のように、恒久的にその場所に設置されているものではない物が監視対象である場合には、当該監視対象が背景画像に含まれておらず差分として遮蔽されてしまうことになったり、あるいは、それを防ぐために背景画像の更新の頻度を多くしなければならない。
【０００９】
従って、前述したガス管の例のような公共の場を含む領域の監視については、適切なものがなかった。
【００１０】
そこで、本発明の目的は、監視カメラを用いた監視システムであって、公共の場及びその近傍における対象物の監視を肖像権を侵害することなく容易に行うことのできる監視システム等を提供することである。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明の一つの側面は、画像を用いた監視システムが、監視対象物を含む所定領域を撮影し、所定時間間隔で前記所定領域の静止画像を取得する画像取得手段と、前記画像取得手段が取得した所定枚数の静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する画像処理手段と、前記画像処理手段により生成された監視用静止画像を、監視者に対して表示する画像表示手段とを有し、前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定されることである。
【００１２】
更に、上記の発明において、その好ましい態様は、前記画像処理手段が行なう動体の画像が減衰する画像処理は、前記静止画像を構成する各画素について、前記所定枚数の静止画像の画素値の平均値を求め、当該平均値を監視用静止画像の対応する画素の画素値とすることであることを特徴とする。
【００１３】
また、上記の発明において、好ましい態様は、前記所定時間間隔と前記所定枚数の決定は、更に、前記動体の画像が重ならなくなるまでの前記動体の移動時間に基いて行われることを特徴とする。
【００１４】
更に、上記の発明において、好ましい態様は、前記所定時間間隔と前記所定枚数の決定は、前記所定時間間隔が前記動体の移動時間以上になるように行われることを特徴とする。
【００１５】
また、上記の発明において、その好ましい態様は、前記所定時間間隔と前記所定枚数の決定は、前記所定時間間隔と前記所定枚数を掛け合わせた値が、前記監視対象物の静止時間以下になるように行われることを特徴とする。
【００１６】
更に、上記の発明において、一つの態様は、前記監視対象物は、工事の実施を示すものであり、前記所定領域には、公共の場所が含まれることを特徴とする。
【００１７】
上記の目的を達成するために、本発明の別の側面は、画像を用いた監視方法が、監視対象物を含む所定領域を撮影し、所定時間間隔で前記所定領域の静止画像を取得する画像取得ステップと、前記画像取得ステップで取得された所定枚数の静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する画像処理ステップと、前記画像処理ステップにより生成された監視用静止画像を、監視者に対して表示する画像表示ステップとを有し、前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定されることである。
【００１８】
上記の目的を達成するために、本発明の更に別の側面は、画像を用いた監視システム用の画像処理装置が、監視対象物を含む所定領域について、所定時間間隔で所定枚数取得された静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成し、前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定されることである。
【００１９】
上記の目的を達成するために、本発明の別の側面は、監視システム用の画像処理をコンピュータに実行させる画像処理プログラムが、監視対象物を含む所定領域について、所定時間間隔で所定枚数取得された静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する処理を前記コンピュータに実行させ、前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定されることである。
【００２０】
本発明の更なる目的及び、特徴は、以下に説明する発明の実施の形態から明らかになる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の実施の形態例を説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。なお、図において、同一又は類似のものには同一の参照番号又は参照記号を付して説明する。
【００２２】
図１は、本発明を適用した監視システムの実施の形態例に係る構成図である。図１に示す監視システム１が本発明を適用した監視システムであり、監視対象物及び除去対象物の静止時間等に基づいて定められる所定条件に従って取得された複数枚の画像から、前記除去対象物の画像が減衰された監視用の１枚の画像を生成し、通常時においては当該画像によって監視を行うことにより、肖像権の侵害をすることなく公共の場における監視を容易に行おうとするものである。
【００２３】
図１に示すように、本実施の形態例に係る監視システム１は、カメラ２、画像処理サーバ４、監視モニタ５、及びそれらを接続するネットワーク３によって構成される。そして、当該監視システム１は、公共の場又はその近傍に設けられ所定時間静止した物を監視対象としており、ここでは一例として、前述した公道の下に敷設されたガス管についての監視を行うものとして説明する。すなわち、ガス管が敷設された公道付近における工事の実施を示す物体を監視対象とする。従って、具体的には、工事範囲を示すバリケードやコーン、又は工事用車両が監視対象となる。また、一方、当該監視対象の付近を一般の通行人等が通過するため、これらの画像は肖像権の問題から通常時の監視用画面から除去する必要があり、これらが除去対象物となる。
【００２４】
図２は、本監視システム１が行なう処理を説明するための図である。この図２は、本監視システム１において撮影される画像と、それを処理して監視用とした画像を模式的に示している。図２の（Ａ）は、カメラ２で撮影された画像を表しており、前記監視対象の工事帯を示すバリケードやコーン（図中のｂ）と共に、公道を通行する通行人（図中のａ）、すなわち肖像権の問題により画像から除去すべき除去対象物が含まれている。本監視システム１では、上記監視対象物を残したまま、この撮影画像から通行人等の除去対象物を除去した、図２の（Ｂ）に示すような画像を監視用として生成することを目的としている。
【００２５】
図１に戻って、カメラ２は、監視対象を含む一定の範囲を撮影するいわゆる監視カメラであり、図１に示すように、監視対象が複数箇所に分かれている場合には複数台設けられる。当該カメラ２は、監視時間中、撮影した動画の画像データを暗号化して所定タイミングで画像処理サーバ４へ送信する。また、監視モニタ５において異常が検知され、監視モニタ５からライブ画面の送信が要求される場合には、撮影した動画のデータをそのまま監視モニタ５に送信する。
【００２６】
次に、画像処理サーバ４は、前記カメラ２で撮影された画像に処理を加えて、肖像権を侵害しない監視用の画像を生成し、当該画像を監視モニタ５に送信する装置である。この画像処理サーバ４は、いわゆるコンピュータシステムで構成され、本監視システム１において、データセンターと呼ばれる所に設置される。
【００２７】
図１に示すように、画像処理サーバ４には、Ｉ／Ｆ部４１、画像処理部４２、及び画像データ格納部４３が備えられる。Ｉ／Ｆ部４１は、外部との通信のインターフェースを担う部分であり、前記カメラ２から送信される動画データの受信、上記処理後の監視用画像の送信等は、当該Ｉ／Ｆ部４１を介して行なわれる。
【００２８】
画像処理部４２は、上記監視用画像を生成する画像処理を実行する部分である。当該画像処理に、本監視システム１の主要な特徴があるが、処理の具体的な内容については後述する。なお、本画像処理部４２は、処理の手順を指示するプログラム、当該プログラムの指示に従って処理を実行する制御装置等によって構成することができる。
【００２９】
また、画像データ格納部４３は、カメラ２から送信される画像データ、監視用画像を生成する過程で必要となる画像データ、監視用画像のデータ等を格納する部分である。ここに記憶される画像データは、適宜、前記画像処理部４２によって読み出されたり、書き込まれたりする。なお、本画像データ格納部４３は、ハードディスク等の一般的なデータ記憶装置によって構成され、画像処理部４２とのデータ授受が可能であれば、他の部分と一体となっている必要はない。
【００３０】
次に、監視モニタ５は、画像処理サーバ４から送信される監視用画像を監視者に対して表示する装置であり、本監視システム１において集中監視センターと呼ばれる箇所に設置される。通常時は、集中監視センターにいる監視者が当該監視モニタ５に表示される静止画像を目視して異常の有無を監視する。また、当該監視において異常が発見された場合には、当該監視モニタ５からライブ画像の送信依頼を行い、当該監視モニタ５にカメラ２から直接送信されたライブの動画画像が表示される。そして、そのライブ画像に基づいて、監視者が必要な処置を適宜判断し、実行する。なお、本監視モニタ５は、いわゆるコンピュータシステムで構築することができ、図示していないが、通信用インターフェース、ＣＰＵ、各種メモリ、ディスプレイ、操作部等で構成される。
【００３１】
以上説明したような構成を有する本実施の形態例に係る監視システム１では、以下のような手順で処理が実行される。図３は、本監視システム１で行なわれる処理の内容を例示したフローチャートである。また、図４は、本監視システム１で行なわれる処理を説明するための図である。
【００３２】
まず、本監視システム１を用いて監視を行なう際には、前述したカメラ２によるカメラ撮影を開始する（ステップＳ１）。このカメラ撮影による撮影範囲は、対象とする埋設ガス管の周辺であり、例えば、図４の（Ａ）に示すような範囲となる。ここで、監視対象は図中ｃで示される工事帯を表すバリケードであり、除去対象物は図中ｄで示される公道上の通行人等である。なお、前述のとおり、カメラ２が複数設けられて複数の箇所を並行して監視することが可能であるが、ここでは１箇所の処理について説明する。
【００３３】
カメラ２では、上記撮影を継続しながら、順次、撮影した画像の動画データを暗号化して画像処理サーバ４へ送信する（ステップＳ２）。送信されたデータはネットワーク３を介して画像処理サーバ４で受信される。画像処理サーバ４では、Ｉ／Ｆ部４１を介して、受信した動画データが画像データ格納部４３に順次格納される。
【００３４】
次に、画像処理部４２が、前記受信した動画データから、画像取得間隔ｔ毎の静止画のデータを生成する（ステップＳ３）。ここで、画像取得間隔ｔは、監視対象物の静止時間、除去対象物の静止時間及び移動速度等に基づいて予め定められる時間であり、例えば、５秒という値になる。したがって、画像処理部４２は、動画データから例えば５秒間隔の静止画データを順次生成していく。なお、画像取得間隔ｔの決め方については後述する。また、この画像取得間隔ｔ毎の静止画の生成は、カメラ２側で行なうようにしてもよい。この場合には、生成された静止画のデータが暗号化されて画像処理サーバ４に送信されることになる。
【００３５】
このようにして生成された各静止画の画像データは、順次、画像データ格納部４３に格納され、処理画像枚数Ｎ枚分の当該静止画のデータが蓄積されると（ステップＳ４）、画像処理部４２は、これらＮ枚分の静止画データから、１枚の監視用画像のデータを、所定の画像処理によって生成する（ステップＳ５）。
【００３６】
具体的には、画像データを構成する各画素の色の濃度値について、Ｎ枚分の平均値を算出し、その平均値を監視用画像データにおける値とする、処理を行なう。より具体的には、Ｎ枚の各画像データにおいて、各画像の値を１／Ｎ倍し、その後、同一画素についてＮ枚分の値を足し合わせ、その結果の値を当該画素の監視用画像データの値とする、処理を各画素について行う。すなわち、この画像処理によって、撮影範囲内の各位置におけるＮ枚の画像の平均値が取られることになる。従って、通行人のように移動しているものの画像は同じ位置に留まらないため、同じ箇所に着目すれば、Ｎ枚のうちこの画像が反映されている枚数は少なくなり、実際には後述するように最大１枚となり、前記平均化後の監視用画像データでは、殆ど反映されなくなる。すなわち、認識ができないほどに、当該除去対象物の画像を減衰することができる。なお、各画素が有する濃度値は、白黒画像など１次元の値、例えば白から黒までを２５６階調で表した値、やＲＧＢ（レッド、グリーン、ブルー）の各色による３次元の値などであり、色の表現形式はどのようなものであってもよい。
【００３７】
また、前述した処理画像枚数Ｎは、上述した除去対象物の画像を減衰するために必要な最小枚数（Ｎmin）、例えば１０枚、以上の値であり、画像取得間隔ｔと同様に、予め定められる。なお、具体的な決定方法については後述する。例えば、Ｎとして６０枚という値が設定され、画像取得間隔ｔとして５秒という値が設定されると、動画データの３００秒（５分）に対して１枚の監視用画像が生成されることになり、通行人などの除去対象物の画像は、殆どの場合、監視用画像において１／６０の影響力しか持たないことになる。従って、この画像は減衰されることになる。
【００３８】
より具体的には、撮影範囲内の公道が存在するある箇所において、６０枚の静止画像のうち公道の色を示すものが５９枚あり、残りの１枚が通行人の色を示すものであるという状態となって、それらの平均で生成される監視用画像においては、殆ど公道の色を表すものとなるので、通行人（の色）は殆ど認知できないものとなって、通行人は事実上除去されることになる。
【００３９】
図４に示す例では、（Ａ）、（Ｂ）、、、（Ｃ）が、前記Ｎ枚の静止画を表しており、（Ｄ）が画像処理後（平均化後）の監視用画像を表している。この例では、監視対象の工事用のバリケード（図４の（Ａ）のｃ）の前を通行人（図４の（Ａ）のｄ）が通過する場合であり、この通行人の画像は、Ｎ枚の静止画において同じ場所に現れないので、前述したように、（Ｄ）の監視用画像においては、ｆに示すように、その画像は減衰し、その顔を識別することはできず、また、その背後にある監視対象ｅをはっきりと見ることができる。
【００４０】
図５は、監視対象物の前を自動車が通過する場合の例を示した図である。図４と同様に、図５の（Ａ）は、前記Ｎ枚の静止画を表しており、図５の（Ｂ）は、画像処理後の監視用画像を表している。図中ｇで示す通過車両の画像は、図４の場合と同様に、監視用画像においては、ｈで示すように減衰され、その背後の監視対象iをはっきりと監視することができる。
【００４１】
図３に戻って、このように監視用画像が生成されると、画像処理部４２は、当該監視用画像のデータを画像データ格納部４３に保存すると共に、当該画像データを監視モニタ５に送信する（ステップＳ６）。
【００４２】
送信された監視用画像の画像データは、監視モニタ５で受信され、監視モニタ５のディスプレイに表示される（ステップＳ７）。監視者は、当該表示された監視用画像、すなわち通行人などが除去された画像で監視対象を目視し、ガス管が傷つけられてしまう虞があるなどの異常の有無をチェックする（ステップＳ８）。その結果、特に異常がないと判断すれば（ステップＳ８のＮｏ）、同様の監視を継続し（ステップＳ９）、監視システム１において、これまでに説明した処理が繰り返し実行される。すなわち、画像取得間隔ｔ×処理画像枚数Ｎの時間毎に１枚の前記監視用画像が生成、表示され、これを用いた異常のチェックがなされる。
【００４３】
一方、監視者の目視チェックにより異常が発見された場合には（ステップＳ８のＹｅｓ）、監視者は、監視モニタ５からライブ画像の送付要求を行なう（ステップＳ１０）。当該要求を受けて、カメラ２からは、撮影中の動画のデータが直接監視モニタ５に送信され（ステップＳ１１）、当該データが監視モニタ５のディスプレイに表示される（ステップＳ１２）。このように、ライブの画像が表示されるので、監視者は当該箇所について現在の状況を正確に把握し、その状況に応じて適切な処置を施す。なお、かかるライブ画像では、通行人などを除去する処理が施されていないが、異常であると認められている場合であるので、このような処理にしている。また、ここでは、このライブ画像をカメラ２から監視モニタ５に直接送ることとしているが、画像処理サーバ４を介して監視モニタ５に送るようにしてもよい。
【００４４】
このように、本監視システム１における処理が行なわれるが、前述した画像取得間隔ｔ及び処理画像枚数Ｎの決め方について、以下に説明する。まず、１枚の監視用画像を生成する間隔、すなわち、画像取得間隔ｔ×処理画像枚数Ｎ、のことを画像処理時間Ｔと呼ぶことにすると、当該画像処理時間Ｔは、前述した除去対象物の画像を減衰するために必要な静止画の最小枚数（Ｎの最小値Ｎmin）を用いて、下記（１）式で表される範囲の値として決定される。
【００４５】
ｘ×Ｎmin≦Ｔ≦Ｘ （１）
なお、ｘは除去対象物の静止時間を、Ｘは監視対象物の静止時間を表している。ここで、監視対象物である工事帯のバリケードが５時間その場に設置されるとすると、その５時間という静止時間Ｘよりも画像処理時間Ｔを長くしてしまうと、前述した画像処理によって生成される監視用画像において、監視対象物の画像が薄くなってしまい相応しくない。従って、上記（１）式の右側のような不等式の制限が設けられる。
【００４６】
一方、除去対象物については、その画像を減衰させることが目的であるので、除去対象物が静止（滞留）している間に複数枚の前記静止画像を生成することは非効率であり相応しくない。従って、除去対象物の静止時間ｘよりも長い間隔で静止画像が生成されるべきであり、これにより、画像処理時間Ｔは、少なくともｘ×Ｎminよりも長い時間が必要であることになる。従って、上記（１）式の左側のような不等式の制限が設けられる。例えば、通行人がカメラ２の撮影範囲内において５秒静止する可能性があるとし、Ｎminが１０枚であるとすると、画像処理時間Ｔは５０秒以上必要となる。この制限では、例えば、信号待ちで停車している一般車両等についても考慮される。
【００４７】
また、画像取得間隔ｔは、上記（１）式の範囲で決定される画像処理時間Ｔと前記Ｎminを用いて、下記（２）式で表される範囲の値として決定される。
【００４８】
τ≦ｔ≦Ｔ／Ｎmin （２）
なお、τは除去対象物の移動が認識できる時間を表している。換言すれば、移動中の除去対象物の画像が概ね重ならなくなる時間間隔を表している（以下、τを除去対象物の移動時間と呼ぶこととする）。図６は、この移動時間τを説明するための図である。図６は、除去対象物が通行人である場合の例を示しており、図中のｌで示す頭部の大きさ分だけこの通行人が移動すると、概ね画像が重ならない位置まで移動したと言える。従って、この場合には当該通行人がｌ移動する時間が移動時間τとなる。このτは、当該通行人の移動後の時刻ｔ２から移動前の時刻ｔ１を引いた時間であり、通行人の移動速度をｖとすると、ｌ／ｖで求められる。除去対象物が他のものであっても、その除去対象物の代表長さｌをその移動速度ｖで割ることによってτを求めることができる。
【００４９】
ここで、この移動時間τよりも短い間隔で前記静止画を生成しても、前述のような画像処理による除去対象物の減衰を考えると意味が無く、かえって減衰という目的に対しては非効率である。従って、上記（２）式の左側のような不等式の制限が設けられる。
【００５０】
また、画像取得間隔ｔが長すぎると、画像処理時間Ｔ内で最低限必要なＮmin枚の静止画を用意できなくなり、除去対象物の十分な減衰ができず相応しくない。従って、上記（２）式の右側のような不等式の制限が設けられる。
【００５１】
本監視システム１では、以上説明した（１）式及び（２）式を満たすような画像処理時間Ｔ及び画像取得間隔ｔが事前に決定される。これにより、当然処理画像枚数Ｎも決定される。これらの具体的な値については、前述した条件の他に、画像処理の処理負担や画像データの送信負担など本監視システム１の構築される環境も考慮されて、適宜、適切な値が決定される。例えば、本実施の形態例における、公道に設けられた工事用のバリケード等を監視する場合には、実際の試験において、画像取得間隔ｔを５秒とし、画像処理時間Ｔを３００秒とすることで良好な結果を得られることが判明している。このように、本監視システム１では、除去対象物の静止時間ｘ、監視対象物の静止時間Ｘ、除去対象物の移動時間τ、及び必要な静止画の最小枚数Ｎminに基いて、画像処理時間Ｔ、画像取得間隔ｔ、及び処理画像枚数Ｎが決定される。
【００５２】
また、本実施の形態例におけるカメラ２が首振り機能を有し、一つのカメラ２が複数の箇所を撮影し、複数の監視対象物を捉えるために用いられるようにしてもよい。図７は、首振り機能を有するカメラ２を例示した図である。図７に示す例は、Ｐ１からＰ５までの５箇所を一つのカメラ２で撮影する場合であり、例えば、カメラ２が順次その角度を変えて、図中の矢印で示される順番（Ｐ１、Ｐ２、、、、）に撮影を行なっていく。
【００５３】
このように複数箇所の監視にカメラ２が用いられる場合に、例えば、前述した画像処理時間Ｔ毎に、すなわち、前述した監視用の１枚の静止画を生成する毎に、首を振って撮影箇所を変更するようにすることができる。この場合には、１箇所についての監視頻度が、画像処理時間Ｔ×撮影箇所数（図７の例では５）に１回となり、従って、それでも差し支えのないような画像処理時間Ｔが選択される。よって、この場合には、前述した画像処理時間Ｔの決定において、この監視頻度も考慮されることになる。
【００５４】
また、別の例として、前述した画像取得間隔ｔ毎に生成する静止画を１枚生成する毎に、首を振って撮影箇所を変更するようにすることもできる。この場合には、画像取得間隔ｔで撮影箇所を一巡する必要がある。例えば、図７の例で、画像取得間隔ｔが５秒である場合には、１秒毎にカメラ２の首振りが行われる必要がある。かかる場合には、上記画像処理時間Ｔ毎に首を振る場合と比較して、同じ画像処理時間Ｔと画像取得間隔ｔにおいて監視頻度を上げることができる。
【００５５】
また、前記説明では、ステップＳ５の処理において、Ｎ枚の静止画像データの平均値として１枚の監視用画像データを生成したが、Ｎ枚の静止画像データから１枚の監視用画像データを生成する手法として、平均値を用いるのではなくモード（最頻値）を用いるようにしてもよい。具体的には、画像データを構成する各画素について、Ｎ枚分の濃度値の最頻値を出し、その値を監視用画像データにおける値とする処理を行う。これにより、通行人などの除去対象物が通る場所についても、その背景にある静止物による色が監視用画像データにおいて選択され、除去対象物を除去することができる。
【００５６】
以上説明したように、本実施の形態例における監視システム１では、除去対象物の静止時間ｘ、監視対象物の静止時間Ｘ、除去対象物の移動時間τ、及び必要な静止画の最小枚数Ｎminに基いて定められた、画像取得間隔ｔと処理画像枚数Ｎに従って、Ｎ枚の静止画像が取得され、当該Ｎ枚の静止画像から、各画素値の平均値を取るなどの手法により動体の画像が減衰する処理を行なって１枚の監視用画像を生成し、当該画像によって監視を行なう。従って、監視対象物が公道など公共の場やその付近にあり、撮影範囲に通行人などが入ってくる場合でも、その通行人などの動体の画像が減衰され認識できなくなった画像で監視を行なうため、肖像権を侵害することはなく、かつ、監視用画像にその通行人や通行車両などの背後にある静止物の画像が現れるので、監視対象物が遮蔽されてしまうことがなく監視を十分に行うことができる。
【００５７】
また、Ｎ枚の静止画像から１枚の監視用画像を生成する画像処理は容易なものであり、コンピュータ資源の負荷を小さく抑えることができ、かつ、処理時間も要しない。また、監視者は、所定の時間間隔で１枚の静止画像を監視すれば良く、監視労力も小さく抑えられる。また、前記１枚の監視用画像は、単に一瞬間の画像ではなくＮ枚の画像を集約したものであり、監視者は当該１枚の画像により長時間分（画像処理時間Ｔ分）の画像を濃縮して監視することができるといえる。換言すれば、画像処理時間Ｔ間、除去対象物に邪魔されながら監視対象物を注視することから解放され、同様のことが当該１枚の監視用画像でできることになる。さらに、監視用画像を生成する箇所（データセンター）から監視を行なう箇所（集中監視センター）までは、１枚の静止画像データを送信すれば良く、通信負荷も小さく抑えられる。
【００５８】
また、前記監視用画像を生成するのに、元の背景画像などのテンプレートを必要とすることもない。従って、データ記憶手段の規模を小さくすることができる。
【００５９】
また、前述したように、カメラ２が首振り機能を有し、１台で複数箇所を撮影するようにすることによって、有効な距離からの撮影を少数台のカメラ２で行うことができ、監視対象が多数ある場合にはコスト削減ができる。
【００６０】
なお、前述した実施の形態例においては、一例として、ガス管が敷設された公道付近における工事の実施を示す物体を監視対象とする場合を想定していたが、本発明は、一定時間以上静止しているものを監視対象とし、その監視対象物が公共の場やその付近にあるような他の場合にも適用することができる。例えば、路上などの放置車両の監視、空港や駅などにおける不審物の監視等にも用いることができる。
【００６１】
本発明の保護範囲は、上記の実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。
【図面の簡単な説明】
【００６２】
【図１】本発明を適用した監視システムの実施の形態例に係る構成図である。
【図２】本監視システム１が行なう処理を説明するための図である。
【図３】本監視システム１で行なわれる処理の内容を例示したフローチャートである。
【図４】本監視システム１で行なわれる処理を説明するための図である。
【図５】監視対象物の前を自動車が通過する場合の例を示した図である。
【図６】移動時間τを説明するための図である。
【図７】首振り機能を有するカメラ２を例示した図である。
【符号の説明】
【００６３】
１ 監視システム
２ カメラ（画像取得手段）
３ ネットワーク
４ 画像処理サーバ（画像取得手段、画像処理手段、画像処理装置）
５ 監視モニタ（画像表示手段）
４１ Ｉ／Ｆ部
４２ 画像処理部
４３ 画像データ格納部
【特許請求の範囲】
【請求項１】
画像を用いた監視システムであって、
監視対象物を含む所定領域を撮影し、所定時間間隔で前記所定領域の静止画像を取得する画像取得手段と、
前記画像取得手段が取得した所定枚数の静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する画像処理手段と、
前記画像処理手段により生成された監視用静止画像を、監視者に対して表示する画像表示手段とを有し、
前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定される
ことを特徴とする監視システム。
【請求項２】
請求項１において、
前記画像処理手段が行なう動体の画像が減衰する画像処理は、前記静止画像を構成する各画素について、前記所定枚数の静止画像の画素値の平均値を求め、当該平均値を監視用静止画像の対応する画素の画素値とすることである
ことを特徴とする監視システム。
【請求項３】
請求項１あるいは請求項２において、
前記所定時間間隔と前記所定枚数の決定は、更に、前記動体の画像が重ならなくなるまでの前記動体の移動時間に基いて行われる
ことを特徴とする監視システム。
【請求項４】
請求項３において、
前記所定時間間隔と前記所定枚数の決定は、前記所定時間間隔が前記動体の移動時間以上になるように行われる
ことを特徴とする監視システム。
【請求項５】
請求項１乃至請求項４のいずれかにおいて、
前記所定時間間隔と前記所定枚数の決定は、前記所定時間間隔と前記所定枚数を掛け合わせた値が、前記監視対象物の静止時間以下になるように行われる
ことを特徴とする監視システム。
【請求項６】
請求項１乃至請求項５のいずれかにおいて、
前記監視対象物は、工事の実施を示すものであり、
前記所定領域には、公共の場所が含まれる
ことを特徴とする監視システム。
【請求項７】
画像を用いた監視方法であって、
監視対象物を含む所定領域を撮影し、所定時間間隔で前記所定領域の静止画像を取得する画像取得ステップと、
前記画像取得ステップで取得された所定枚数の静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する画像処理ステップと、
前記画像処理ステップにより生成された監視用静止画像を、監視者に対して表示する画像表示ステップとを有し、
前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定される
ことを特徴とする監視方法。
【請求項８】
画像を用いた監視システム用の画像処理装置であって、
監視対象物を含む所定領域について、所定時間間隔で所定枚数取得された静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成し、
前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定される
ことを特徴とする画像処理装置。
【請求項９】
監視システム用の画像処理をコンピュータに実行させる画像処理プログラムであって、
監視対象物を含む所定領域について、所定時間間隔で所定枚数取得された静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する処理を前記コンピュータに実行させ、
前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定される
ことを特徴とする画像処理プログラム。
【請求項１】
画像を用いた監視システムであって、
監視対象物を含む所定領域を撮影し、所定時間間隔で前記所定領域の静止画像を取得する画像取得手段と、
前記画像取得手段が取得した所定枚数の静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する画像処理手段と、
前記画像処理手段により生成された監視用静止画像を、監視者に対して表示する画像表示手段とを有し、
前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定される
ことを特徴とする監視システム。
【請求項２】
請求項１において、
前記画像処理手段が行なう動体の画像が減衰する画像処理は、前記静止画像を構成する各画素について、前記所定枚数の静止画像の画素値の平均値を求め、当該平均値を監視用静止画像の対応する画素の画素値とすることである
ことを特徴とする監視システム。
【請求項３】
請求項１あるいは請求項２において、
前記所定時間間隔と前記所定枚数の決定は、更に、前記動体の画像が重ならなくなるまでの前記動体の移動時間に基いて行われる
ことを特徴とする監視システム。
【請求項４】
請求項３において、
前記所定時間間隔と前記所定枚数の決定は、前記所定時間間隔が前記動体の移動時間以上になるように行われる
ことを特徴とする監視システム。
【請求項５】
請求項１乃至請求項４のいずれかにおいて、
前記所定時間間隔と前記所定枚数の決定は、前記所定時間間隔と前記所定枚数を掛け合わせた値が、前記監視対象物の静止時間以下になるように行われる
ことを特徴とする監視システム。
【請求項６】
請求項１乃至請求項５のいずれかにおいて、
前記監視対象物は、工事の実施を示すものであり、
前記所定領域には、公共の場所が含まれる
ことを特徴とする監視システム。
【請求項７】
画像を用いた監視方法であって、
監視対象物を含む所定領域を撮影し、所定時間間隔で前記所定領域の静止画像を取得する画像取得ステップと、
前記画像取得ステップで取得された所定枚数の静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する画像処理ステップと、
前記画像処理ステップにより生成された監視用静止画像を、監視者に対して表示する画像表示ステップとを有し、
前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定される
ことを特徴とする監視方法。
【請求項８】
画像を用いた監視システム用の画像処理装置であって、
監視対象物を含む所定領域について、所定時間間隔で所定枚数取得された静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成し、
前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定される
ことを特徴とする画像処理装置。
【請求項９】
監視システム用の画像処理をコンピュータに実行させる画像処理プログラムであって、
監視対象物を含む所定領域について、所定時間間隔で所定枚数取得された静止画像から、動体の画像が減衰する画像処理により、１枚の監視用静止画像を生成する処理を前記コンピュータに実行させ、
前記所定時間間隔と前記所定枚数が、前記監視対象物と前記動体の静止時間に基いて決定される
ことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−２８３２５（Ｐ２００７−２８３２５Ａ）
【公開日】平成１９年２月１日（２００７．２．１）
【国際特許分類】
【出願番号】特願２００５−２０８９８２（Ｐ２００５−２０８９８２）
【出願日】平成１７年７月１９日（２００５．７．１９）
【出願人】（０００２２０２６２）東京瓦斯株式会社 (1,166)
【Ｆターム（参考）】
【公開日】平成１９年２月１日（２００７．２．１）
【国際特許分類】
【出願日】平成１７年７月１９日（２００５．７．１９）
【出願人】（０００２２０２６２）東京瓦斯株式会社 (1,166)
【Ｆターム（参考）】
[ Back to top ]