監視システム
【課題】見やすいフロア図面との合成映像を表示する監視システムを提供することを目的とする。
【解決手段】フロアの監視領域に設けられた一又は複数の監視カメラと、監視カメラにより撮影された画像をフロアの画像に合成して合成画像を生成する画像処理装置と、画像処理装置で生成された合成画像を表示する画像表示装置とを備えた監視システムであって、画像処理装置は、監視カメラの撮影領域に関する位置情報と、フロアの画像及び監視カメラの撮影領域を遮るフロアの構造物に関する位置情報を含むフロアに関する情報とが記憶された位置情報記憶部と、監視カメラの撮影領域に関する位置情報と、監視カメラのフロアに関する情報とに基づいて監視カメラによる撮影画像をフロア画像に合成する合成領域を定める合成領域生成部と、監視カメラによる撮影画像を合成領域に合成して合成画像を生成する画像合成部を有することを特徴とする。
【解決手段】フロアの監視領域に設けられた一又は複数の監視カメラと、監視カメラにより撮影された画像をフロアの画像に合成して合成画像を生成する画像処理装置と、画像処理装置で生成された合成画像を表示する画像表示装置とを備えた監視システムであって、画像処理装置は、監視カメラの撮影領域に関する位置情報と、フロアの画像及び監視カメラの撮影領域を遮るフロアの構造物に関する位置情報を含むフロアに関する情報とが記憶された位置情報記憶部と、監視カメラの撮影領域に関する位置情報と、監視カメラのフロアに関する情報とに基づいて監視カメラによる撮影画像をフロア画像に合成する合成領域を定める合成領域生成部と、監視カメラによる撮影画像を合成領域に合成して合成画像を生成する画像合成部を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラで撮影した画像にて監視を行うようにした監視システムに関するものである。
【背景技術】
【０００２】
従来の監視システムでは、コンビニエンスストアや書店等において、複数の監視カメラからの画像を複数の画像表示装置に表示し、または１つの画像表示装置に分割表示を行って監視を行っていた。しかし、工場やビル等大規模で複数の部屋を有する建物内部の監視においては、カメラ設置台数が多数になりフロア構成も複雑になることから、ユーザにとって、カメラ画像がどこのフロアのどの部屋のものであるかを把握し難く、フロア全体の状況を一目で把握することが困難であった。特に監視対象が部屋間を移動する時に、監視対象がフロアのどこの部屋にいるのかを把握して、その部屋に設置されている監視カメラに選択して素早く切り替えることが困難であった。
【０００３】
これらの問題に対して、特許文献１では、フロアの各部屋に設置された複数の監視カメラからの画像を俯瞰画像に変換するとともに、その俯瞰画像をフロア画像の各部屋ごとに合成して表示することにより、１枚の合成画像を確認するだけでフロア全体の状況を容易に確認できる監視システムが提供されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１１８４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、フロアの各部屋ごとに合成される画像の領域は、監視カメラの画角によって定まるので、監視カメラの設置位置によっては、画像が部屋を仕切る壁等の遮蔽物をはみ出して合成されてしまい、監視用画像としては非常に見づらいものとなってしまうという問題があった。例えば、図１３(a)の監視カメラＣ６ではその画角に基づいて求められた撮影領域ＡＢＣＤがフロア画像に合成される領域となるが、線分ＡＢと線分ＤＣの間に部屋の仕切りである壁等の遮蔽構造物が存在する場合は、監視カメラで撮影した画像をそのままフロア画像に合成すると図１３(b)のように撮影領域が壁からはみ出た形で画像が合成されることになり、大変見づらいものとなっていた。
【０００６】
本発明は、上記のような課題を解決するためになされたもので、監視カメラで撮影された画像をフロア構成に合わせて合成し表示することのできる監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る監視システムは、フロアの監視領域に設けられた一又は複数の監視カメラと、前記監視カメラにより撮影された画像を前記フロアの画像に合成して合成画像を生成する画像処理装置と、前記画像処理装置で生成された合成画像を表示する画像表示装置とを備えた監視システムであって、前記画像処理装置は、前記監視カメラの撮影領域に関する位置情報と、前記フロアの画像及び前記監視カメラの撮影領域を遮る前記フロアの構造物に関する位置情報を含む前記フロアに関する情報とが記憶された位置情報記憶部と、前記監視カメラの撮影領域に関する位置情報と、前記監視カメラのフロアに関する情報とに基づいて前記監視カメラによる撮影画像を前記フロア画像に合成する合成領域を定める合成領域生成部と、前記監視カメラによる撮影画像を前記合成領域に合成して合成画像を生成する画像合成部を有することを特徴とする。
【発明の効果】
【０００８】
本発明の監視システムによれば、監視カメラで撮影された画像をフロアにおける各部屋の形状に合わせた合成画像として生成することができ、監視用画像が見やすくなるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係る監視システムの概略構成図である。
【図２】本発明の実施の形態１に係る監視システムの動作を示すフロー図である。
【図３】監視カメラの光軸、水平画角、垂直画角、撮影領域の関係を示す図である。
【図４】監視カメラによる撮影画像の入力時、歪み補正時、および視点変換時の各画像モデルを示す図である。
【図５】監視カメラによる撮影画像の視点変換処理を示す図である。
【図６】合成画像の合成領域生成処理動作の過程を説明する図である。
【図７】撮影画像の合成前および合成後の画像を示した図である。
【図８】監視対象が移動したときの監視カメラ切り替え動作を説明する図である。
【図９】本発明の実施の形態２に係る監視システムの概略構成図である。
【図１０】本発明の実施の形態２に係る監視システムの動作を示すフロー図である。
【図１１】監視カメラによる撮影画像の合成領域補正・重畳処理の過程を示す図である。
【図１２】本発明の実施の形態３に係る監視システムの概略構成図である。
【図１３】従来の監視システムにおける監視カメラの撮影領域とフロアにおける合成画像との関係を説明する図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１に係る監視システムの概略構成図を示す。監視システムは、監視対象を撮影するため、フロアの各部屋ごとに設置された固定式の監視カメラ１a〜1cや、旋回式の監視カメラ1dと、これら監視カメラで撮影された画像をフロア画像に合成して合成画像を生成する画像処理装置２と、画像処理装置２で生成された合成画像を表示する例えばＬＣＤモニタのような画像表示装置３とから構成されている。
【００１１】
画像処理装置２は、監視カメラからの画像の歪みを補正する歪み補正部４a〜４dと、歪み補正部で補正された画像を俯瞰画像に変換する視点変換部５a〜５dと、旋回式の監視カメラを遠隔操作する制御部６と、監視カメラの撮影領域に関する位置情報と、フロアの画像及び監視カメラの撮影領域を遮るフロアの構造物に関する位置情報を含むフロアに関する情報、及び各監視カメラの設置された位置、光軸の向き、水平画角、垂直画角等の仕様情報とを記憶する位置情報記憶部７と、位置情報記憶部７に記憶された監視カメラの仕様情報に基づいて撮影領域に関する位置情報を定める座標抽出部８と、この位置情報とフロアに関する情報から監視カメラが撮影した画像を合成する領域を生成する合成領域生成部９と、監視カメラで撮影した画像をフロア画像に合成して合成画像を生成する画像合成部１０とから構成されている。また、画像信号処理部２aは、歪み補正部４a〜４dと、視点変換部５a〜５dと、合成領域生成部９と、画像合成部１０とから構成されている。
【００１２】
なお、監視カメラと、画像処理装置と、画像表示装置とからなる監視システムを同じ建物内に設置して監視を行うことも、また、監視カメラと画像処理装置とをネットワークを介して接続し、遠隔地に設けた監視センターから建物内の監視を行うことも可能である。また、監視対象とするフロアには、各部屋ごとに所定領域を監視できるように、少なくとも１台の監視カメラが設置されるが、例えば、部屋が広く、１台の監視カメラでは部屋全体をカバーできないような場合は、複数台の監視カメラを設置することもできる。
【００１３】
次に、本発明の動作について図１および図２を用いて説明する。図２は、本発明の実施の形態１に係る監視システムの動作を示すフロー図である。
【００１４】
全ての監視カメラ１a〜１dは、各部屋の監視領域をそれぞれ撮影してその画像を取り込む（ステップＳ１）。旋回式監視カメラ１dは制御部６により、パン・チルト・ズーム等の動作が遠隔操作され（ステップＳ２）、制御部６は旋回式監視カメラ１dの動作に伴う仕様情報の変更を位置情報記憶部７に通知し、記憶された仕様情報を更新する（ステップＳ３）。なお、本実施の形態では、制御部６は画像処理装置２内に設けているが、例えば別個に設けたＰＣ等を用いて遠隔操作するようにしてもよい。
【００１５】
次に、座標抽出部８は、位置情報記憶部７を参照し、各監視カメラの仕様情報を取得し、各監視カメラの撮影領域に関する位置情報を定める（ステップＳ４）。仕様情報は、例えば監視カメラの設置位置に関する情報、図３に示す監視カメラＣ０の光軸ＡＸ１０、水平画各ＡＧＸ、垂直画角ＡＧＹがあり、これら情報を用いて撮影画像の座標ag01、ag02、ag03、ag04を求める。
【００１６】
固定式の監視カメラにおいて、その設置位置が変更された場合や新たに監視カメラが設置された場合においても、監視カメラの仕様情報を位置情報記憶部７に通知して随時更新することにより、面倒な作業を必要とせずに更新情報に基づいた監視カメラの撮影領域の生成が可能となる。また、旋回式の監視カメラ1dにおいて、制御部６による制御結果に基づいて位置情報記憶部７内の仕様情報が更新されるので、随時その情報を取り出すことができ、監視カメラ１dの動きに追随して撮影領域に対応する座標情報を取得することが可能となる。
【００１７】
画像信号処理部２aは、位置情報記憶部７を参照し、監視カメラの撮影領域を遮るフロアの構造物に関する位置情報を含むフロアに関する情報と、各監視カメラの仕様情報を取得し、合わせて座標抽出部８から撮影領域に関する位置情報を取得する（ステップＳ５）。フロアの構造物とは、例えば後記するような壁や、他にはついたてやカーテン等監視カメラの撮影領域を遮る物が該当する。
【００１８】
歪み補正部４は、監視カメラ１で撮影された画像の歪みを、位置情報記憶部７から取得した監視カメラ１の仕様情報に基づいて補正する（ステップＳ６）。図４(a)に入力時の画像モデルを、図４(b)に歪み補正後の画像モデルを示す。
【００１９】
視点変換部５は、歪み補正部４で歪みが補正された画像を、監視対象であるフロアを鉛直下向きに見下ろす俯瞰画像に変換する（ステップＳ７）。図４(c)は、視点変換後の画像モデルを示している。また、実写画像を用いた視点変換の例を図５に示す。図５(a)は監視カメラで撮影された画像で、図５(b)は視点変換後の俯瞰画像である。なお、本実施の形態では歪み補正処理を行ってから俯瞰画像への変換処理を行っているが、この順序に限定されるものではなく、例えば歪み補正処理を行わず視点変換部５で俯瞰画像への変換処理をおこなってもよい。
【００２０】
合成領域生成部９は、座標抽出部８から取得した各監視カメラの撮影領域に関する位置情報と、位置情報記憶部７から取得したフロアに関する情報に基づいて、監視カメラが撮影した画像を合成する領域の生成を行う（ステップＳ８）。この詳細な動作については後記する。なお、本実施の形態の例では合成領域生成処理をおこなってから画像合成を行うこととしているが、合成領域の処理は行わず、画像を部屋の形状に合わせて生成して合成を行うようにしてもよい。
【００２１】
画像合成部１０は、合成領域生成部９により定められた合成領域に、視点変換部５で俯瞰変換された監視カメラ１の撮影画像を合成する（ステップＳ９）。
【００２２】
画像表示装置３は、画像合成部１０で合成された画像を映し出す（ステップＳ１０）。
【００２３】
次に、合成領域生成部９の動作の詳細について、図６を用いて説明する。
【００２４】
図６(a)は、合成領域生成処理前の画像を表した図である。ここでは説明を簡単にするため、部屋Ａに設置した監視カメラＣ１の撮影画像について処理動作を説明する。もちろん、他の部屋についても同様の処理が行われるものである。フロア構成についての位置情報としては、少なくとも壁で囲まれた部屋の四隅の座標が与えられている。座標d01、d02、d03、d04で囲まれる領域は監視カメラＣ１による撮影領域を表す。また、監視カメラＣ１のフロアの設置位置を表す画素をＣ１とし、部屋Ａの四隅を表す画素をそれぞれＫ、Ｌ、Ｍ、Ｎとする。これら画素にはそれぞれ座標が与えられている。
【００２５】
図６(a)の画像上の画素Ｐ０１を例にとって生成処理の動作を説明する。まず、画素Ｐ０１が監視カメラＣ１の撮影した画像のものであるかを調べる。これは、監視カメラＣ１の合成領域の座標を座標抽出部８で求めることにより、容易に計算することができる。計算から、画素Ｐ０１は、監視カメラＣ１の撮影領域の座標d01、d02、d03、d04で囲まれた領域内に入るため、画素Ｐ０１に対応する画像を撮影しているのは監視カメラＣ１であるとわかる。
【００２６】
次に線分Ｃ１〜Ｐ０１が監視カメラＣ１の撮影領域を遮る構造物である部屋Ａの壁と交わるかどうかを判定する。判定方法は、例えば外積を用いた交差判定がある。この方法では、例えば部屋Ａの壁ＭＮと交わるかどうかを判定する場合は、以下の式（１）と式（２）の両方を満たすかどうかを計算する。式（１）および式（２）の両式を満たす場合、線分Ｃ１〜Ｐ０１は壁ＭＮと交わる。
【００２７】
【数１】
【００２８】
各画素は座標が与えられているので、成分計算により式（１）、式（２）を数値計算により求めることが可能である。同様に他の壁（線分ＮＫ、ＫＬ、ＬＭ等）と交わるかどうかを求めていく。図６(a)の場合では、画素Ｐ０１は部屋Ａのひとつの壁ＭＮと交わるので、画素Ｐ０１に対応する監視対象は監視カメラＣ１では撮影できないことが判別できる。よって、画素Ｐ０１に対応する画像は無いということになるので、画素Ｐ０１の画像合成は行われない。
【００２９】
また、連立方程式を用いて線分Ｃ１〜Ｐ０１が壁と交わるかどうかを判定してもよい。例えば、監視カメラＣ１の座標（x11,y12）、Ｐ０１の座標（x12,y12）、壁の一端Ｍの座標（x21,y21）、壁の他端Ｎの座標（22,y22）とすると、線分Ｃ１〜Ｐ０１、線分ＭＮはそれぞれ、以下の式（３）、式（４）で表される。そして、以下の式（３）、式（４）の連立方程式を計算し、解が存在すれば線分Ｃ１〜Ｐ０１と壁を構成する線分ＭＮは交わると判定する。
【００３０】
【数２】
【００３１】
このようにして合成領域生成処理を行った結果を図６(b)に示す。従って、監視カメラＣ１で撮影された画像は合成領域生成処理されて生成されたフロアの合成領域Ｒ１の範囲に切り取られた形で合成される。このように撮影領域を遮る構造物に基づいて撮影された画像を合成する領域を生成することにより、監視カメラＣ１による画像が部屋Ａの境界を越えてはみ出ることはなくなるので、ユーザにとって見やすい合成画像となり、その画像を見ることにより領域Ｒ１に対応する監視カメラはＣ１であると即座に判別することが可能となる。また、ユーザは監視カメラＣ１で撮影可能な領域Ｒ１と、監視カメラＣ１で撮影不可能な死角領域Ｒ２を平面的に把握することが可能となる。
【００３２】
なお、上記の合成領域生成処理においては、各画素の座標情報として２次元座標表示でも極座標表示でもかまわない。また、１画素分ずつ計算を行い生成処理を行ったが、処理対象としての画素は１画素である必要はなく、複数の画素をまとめて処理対象として計算を行ってもよい。たとえば複数の画素を１つのまとまった領域として上記処理を行うと、計算量が減り、より小さいハードウエア能力で処理を実行することができる。また、計算量が減ることから、監視カメラが撮影するリアルタイムの画像をスムーズに画像表示装置に映し出すことが可能となる。
【００３３】
次に、フロア画像に俯瞰変換後の撮影画像を合成する動作について図７を用いて説明する。
【００３４】
図７(a)は画像合成部１０が位置情報記憶部７から取得するフロア画像の図である。ここでは、フロア画像における構成は、少なくとも共用部分である廊下と、壁で仕切られた部屋と、部屋の扉と、監視カメラの位置等が、x、yの二次元平面として比較的単純化された画像で表される。図面中、黒色の三角形は監視カメラの位置を示し、斜線を付した矩形領域は監視カメラが撮影した画像が合成される領域を示している。ここでは、一例として廊下に設置された監視カメラＣ２の撮影した画像をフロア画像に合成する処理について説明する。すなわち、合成領域生成部９により予め定められたフロア画像における撮影画像を合成する領域は、座標e01、e02、e03、e04で囲まれた領域であり、特に、監視カメラＣ２の撮影領域はその左右方向が廊下の左右の壁によって遮られるため、全体的に矩形状を呈している。
【００３５】
従って、図７(b)に示すように、監視カメラＣ２で撮影された画像Ｘは、座標e01〜e04で囲まれた領域に合成され、このような合成画像が画像表示装置３に写しだされる。同様にして、同一フロアの他の部屋についても、それぞれ合成領域が定められており、各監視カメラが撮影した画像が各フロア画像における合成領域に合成されて画像表示装置３に表示されている。
【００３６】
なお、本実施の形態では、画像処理装置２に歪み補正部４、視点変換部５、制御部６、位置情報記憶部７、座標抽出部８、合成領域生成部９が、画像合成部１０が含まれる構成としたが、これに限定されるものではなく、例えば、監視カメラ１が歪み補正部４、視点変換部５、位置情報記憶部７、座標抽出部８を有し、監視カメラ内で歪み補正処理や視点変換処理を行うようにしてもよい。また、本実施の形態では座標抽出部８が位置情報記憶部７に格納されている監視カメラ１の仕様情報に基づいて撮影領域に関する座標等の位置情報を抽出する方式をとったが、座標抽出部８を設けず、位置情報記憶部７にそれらの位置情報を初期値として予め格納するようにしてもよい。また、画像合成部１０で位置情報の抽出処理を行ってもよい。
【００３７】
以上の構成によれば、監視カメラの画像合成領域が他の部屋等にはみ出すことがなくなるので、撮影画像が合成されたフロア画像は見た目上整理された見やすい画像となり、ユーザは監視カメラ設置台数が多い複雑な建物内の監視においても一見してフロア全体の状況を把握することが容易になる。また、ユーザは、監視カメラの撮影可能領域と撮影不可能な死角領域を平面的に把握することが可能となる。さらに、こういったことから、ユーザの作業負荷は著しく軽減され、より監視業務に集中することができるようになる。
【００３８】
そして、例えば図８において、侵入者ＴＧＴを廊下に設置した監視カメラＣ３の撮影領域に関する座標f01、f02、f03、f04で囲まれる画像合成領域内で発見したとする。そして、ＴＧＴが部屋Ｂに入っていった場合においても、即座に部屋Ｂに設置される監視カメラＣ４を選択し、ＴＧＴを画像表示装置に映し出すことができる。したがって、本構成によれば、侵入者が他の部屋に入った時にどの部屋にいるのかということを容易に把握し、その部屋に設置されている監視カメラを素早く選択することが可能となり、緊急時において迅速な対応をとることができるようになる。
【００３９】
なお、監視カメラの画像を俯瞰変換するかわりに鉛直下向きの天井カメラを用いても同様の効果を奏する。天井カメラを用いる場合は、歪み補正や視点変換等の俯瞰変換処理が不要となるため、計算量が減り、より小さいハードウエア能力で本発明の目的を達成することができる。また、計算量が減ることから、監視カメラが撮影するリアルタイムの画像をスムーズに画像表示装置に映し出すことが可能となる。
【００４０】
実施の形態２．
図９に、実施の形態２に係る監視システムの概略図を示す。実施の形態１に相当する部分には図１と同一符号を付してその説明を省略する。なお、本実施の形態は、本発明を具体化する際の一形態であって本発明をその範囲内に限定するためのものではない。実施の形態２は、実施の形態１と比べて、合成領域生成部に加え重畳領域処理を行う合成領域補正・重畳処理部１１が設けられている構成となっており、例えば合成領域補正・重畳処理部１１は、視点変換部５と画像合成部９との間に設けられ、座標抽出部８、位置情報記憶部７と接続されている構成とすることができる。合成領域生成・重畳処理部１１は合成領域生成処理に加えて、同じ部屋内で複数の監視カメラが同一の領域を重畳して撮影している場合の合成処理を行う。以下、合成領域生成・重畳処理の詳細について図１０を用いて説明する。
【００４１】
図１０(a)は、合成領域補正・重畳処理前の画像を示した図である。部屋Ｃ内には、監視カメラＣ５および監視カメラＣ６による撮影画像が合成される各合成領域の一部が重なるように設置されている。ここでは、監視カメラＣ５および監視カメラＣ６に対応する合成領域が重なった領域にある画素Ｐ１１を例にとって合成領域生成・重畳処理について説明する。なお、３台以上の監視カメラによる画像領域が重なっていた場合も同様の処理が可能である。まず、画素Ｐ１１がいずれの監視カメラに対応するのかを調べる。監視カメラＣ５および監視カメラＣ６それぞれの撮影領域に関する位置情報を座標抽出部８で求め、計算を行う。図１１(a)の例では、画素Ｐ１１は、監視カメラＣ５に対応する座標g01、g02、g03、g04で囲まれる合成領域と監視カメラＣ６に対応する座標h01、h02、h03、h04で囲まれる合成領域との両方の領域内に入るため、画素Ｐ１１に対応する画像を撮影しているのは監視カメラＣ５および監視カメラＣ６の両方であるとわかる。
【００４２】
次に、監視カメラＣ６と画素Ｐ１１との距離と、監視カメラＣ７と画素Ｐ１１との距離をそれぞれ計算し、値を位置情報記憶部７にあるリストに記憶する。リストは、例えばテーブル形式等で表してもよい。これらの距離については、監視カメラＣ５、Ｃ６、およびＰ１１の座標情報がわかっているので、容易に計算することは可能である。そして、リストを参照し、画素Ｐ１１に対応する画像を写す監視カメラを選択する。これはＣ５、Ｃ６いずれの監視カメラを選択してもよいが、画素Ｐ１１との距離が短いほうの監視カメラを選択するのが好ましい。監視カメラからの距離が近ければ近いほど、視点変換による歪みを抑え、情報量の減少を抑制することができるためである。そうすることにより、各画素において、最も画質の良い監視カメラを選択することができ、ユーザは鮮明な画像を見ることができる。図１０(a)に示した例では、Ｐ１１により近い監視カメラはＣ６であることから、監視カメラＣ６で撮影された画像を合成する。
【００４３】
このようにして合成領域補正・重畳処理を行った結果の一例が図１０(b)である。重畳領域のうち、監視カメラＣ５と監視カメラＣ６との距離が等しい箇所を境にして、監視カメラＣ５からの距離が近い領域については領域Ｒ３に、監視カメラＣ６からの距離が近い領域については領域Ｒ４になっている。そして、監視カメラＣ５で撮影された画像が領域Ｒ３に、監視カメラＣ６で撮影された画像が領域４にそれぞれ合成される。このように合成領域生成・重畳処理を行うことにより、監視カメラＣ５と監視カメラＣ６に対応する合成領域が重なった部分において、各監視カメラの撮影画像の合成領域の境目が明確になる。そのためユーザは、どの監視カメラでどの地点が監視されているのかが判断しやすくなり、監視カメラの選択を容易に行うことができる。
【００４４】
また合成領域生成・重畳処理を行うことにより、ユーザは、監視カメラの撮影可能領域と撮影不可能な死角領域を把握することが可能となる。さらに、各監視カメラの重畳領域をフロア画像に図示しなくなるので、合成フロア画像は見た目上整理され、ユーザは各部屋に多数の監視カメラが設置されているような場合においても一見してフロア全体の状況を把握することが容易になる。こういったことから、ユーザの作業負荷は著しく軽減され、ユーザはより監視業務に集中することができるようになる。
【００４５】
なお、上記の合成領域生成・重畳処理においては、各画素の座標情報として２次元座標表示でも極座標表示でもかまわない。また、各画素について重畳領域処理を行ったが、処理対象としての画素は１画素である必要はなく、複数の画素をまとめて処理対象として計算を行ってもよい。たとえば複数の画素を１つのまとまった領域として上記処理を行うと、計算量が減り、より小さいハードウエア能力で処理を実行することができる。また、計算量が減ることから、監視カメラが撮影するリアルタイムの画像をスムーズに画像表示装置に映し出すことが可能となる。
【００４６】
次に、図１１を用いて合成領域生成・重畳処理の動作について説明する。図１１は、合成領域補正・重畳処理のフロー図を示す。まず、ある監視カメラにおけるある画素について、対応する監視カメラ画像があるか調べる（ステップＳ３）。対応する監視カメラ画像がない場合、次の監視カメラに処理が移り、同様のステップＳ３の処理を行う。対応する監視カメラ画像がある場合、ある画素と対応する監視カメラの線分を求め（ステップＳ４）、壁等の構造物に遮られていないかを調べる（ステップＳ４）。構造物に遮られている場合、次の監視カメラに処理が移り、ステップＳ３の処理を行う。構造物に遮られていない場合、ある画素と対応する監視カメラとの距離をリストに登録する（ステップＳ５）。ある監視カメラにおいてここまでの処理が終わると、次の監視カメラに処理が移り、Ｓ３〜Ｓ５までの同様の処理を行う（ステップＳ２〜ステップＳ７）。
【００４７】
すべての監視カメラについてＳ３〜Ｓ５までの処理が終わると、リスト内の登録内容をチェックし、１つでも登録があると、登録内容のうちある画素と対応する監視カメラとの距離の中で最も距離が短い監視カメラ画像を採用する（ステップＳ９a）。リスト内に登録が１つもなければ、その画素に対応する画像は無しとなる（ステップＳ９b）。つづいてリスト内の登録内容をクリアし（ステップＳ１０）、すべての監視カメラについて１画素分の処理を終了する。以上Ｓ２〜Ｓ１０までの処理を全画素について行う（ステップＳ１〜ステップＳ１１）。
【００４８】
なお、図１０ではフロア図面上の各画素について合成すべき画像を逐次評価する方式を示しているが、これに限定されず、同様の結果が得られるならば他の方式を用いてもよい。例えば、１つの監視カメラ毎に全画素のリストを作成して、各監視カメラ同士評価していく方式でもよい。
【００４９】
このように、合成領域補正・重畳処理を行うことにより合成フロア図面は見た目上整理された見やすい画像となるので、ユーザは監視カメラ設置台数が多い複雑な建物内の監視においても、一見してフロア全体の状況を把握することがさらに容易になる。またユーザは、部屋内に複数の監視カメラが設置され、合成領域が重なった領域についても、いずれの監視カメラによる画像であるかを即座に判別して選択することが可能となる。そして、各画素から最も距離が近い監視カメラを選択するように画像合成領域の境界を定めることによって、視点変換による歪みを抑え情報量の減少を抑制した鮮明な画像を見ることが可能となり、追跡者の発見を容易に行うことができるようになる。
【００５０】
さらに、ユーザは監視カメラの撮影可能領域と撮影不可能な死角領域を把握することが可能となる。こういったことから、ユーザの作業負荷は著しく軽減され、より監視業務に集中することができるようになる。
【００５１】
実施の形態３．
図１２に、実施の形態３に係る監視システムの概略図を示す。実施の形態１に相当する部分には図１と同一符号を付してその説明を省略する。なお、本実施の形態は、本発明を具体化する際の一形態であって本発明をその範囲内に限定するためのものではない。実施の形態３は、監視カメラ１からの画像が歪み補正部４とは別に画像表示装置１２に送られる構成となっている。
【００５２】
本実施の形態についての動作を説明する。まず、各監視カメラ１で画像を撮影する。そして、撮影画像を歪み補正部４と画像表示装置１２に送る。歪み補正部４に送られた撮影画像は、実施の形態１と同様の俯瞰変換処理や合成領域生成処理等が施されるので、撮影画像とフロア図面とが合成された画像が画像表示装置３に映し出される。画像表示装置１２に送られた撮影画像は俯瞰変換されず、各監視カメラ１で撮影された画像がそのまま表示される。なお本実施の形態の構成においては、監視カメラの画像を俯瞰変換等してフロア図面に合成した画像と、監視カメラのそのままの画像とを別々の画像表示装置に映し出す構成としたが、これらを１つの画像表示装置に分割して映し出す構成としてもよい。
【００５３】
本実施の形態の構成によれば、監視カメラによる撮影映像が合成されたフロア画像は見た目上整理された見やすい画像となるので、ユーザは監視カメラ設置台数が多い複雑な建物内の監視においても、一見してフロア全体の状況を把握することがさらに容易になる。
【００５４】
また、ユーザは、俯瞰変換してフロア図面と合成された画像を見て不審人物を発見した場合に、不審人物がいるエリアを撮影する監視カメラを選択し、その監視カメラの画像を俯瞰変換処理等しないそのままの画像を見ることにより、不審人物の顔や服装、背格好等の情報を判別し、また記録することもできる。
【００５５】
さらに、天井カメラとは異なりカメラの設置場所が鉛直下向きに制限されることもなく、１台の監視カメラで俯瞰画像と、対象者の顔等が判別しやすいそのままの画像とを表示させることができるので、設置コストの低下を図ることができ、経済的である。
【符号の説明】
【００５６】
１a〜１c 固定式の監視カメラ
１d 旋回式の監視カメラ
２ 画像処理装置
３ 画像表示装置
４a〜４d 歪み補正部
５a〜５d 視点変換部
６ 制御部
７ 位置情報記憶部
８ 座標抽出部
９ 合成領域生成部
１０ 画像合成部
１１ 合成領域生成・重畳処理部
１２ 画像表示装置
ＡＸ１０ 光軸
ＡＧＸ 水平画角
ＡＧＹ 垂直画角
ag01〜ag02 監視カメラＣ０の撮影画像の座標
d01〜d04 監視カメラＣ１の撮影画像の座標
e01〜e04 監視カメラＣ２の撮影画像の座標
f01〜f04 監視カメラＣ３の撮影画像の座標
g01〜g04 監視カメラＣ５の撮影画像の座標
h01〜h04 監視カメラＣ６の撮影画像の座標
Ｒ１ 監視カメラＣ１の画像合成領域
Ｒ２ 監視カメラＣ１の死角領域
Ｒ３ 監視カメラＣ５の画像合成領域
Ｒ４ 監視カメラＣ６の画像合成領域
Ｃ０〜Ｃ７ 監視カメラ
ＴＧＴ 侵入者（ターゲット）
【技術分野】
【０００１】
本発明は、監視カメラで撮影した画像にて監視を行うようにした監視システムに関するものである。
【背景技術】
【０００２】
従来の監視システムでは、コンビニエンスストアや書店等において、複数の監視カメラからの画像を複数の画像表示装置に表示し、または１つの画像表示装置に分割表示を行って監視を行っていた。しかし、工場やビル等大規模で複数の部屋を有する建物内部の監視においては、カメラ設置台数が多数になりフロア構成も複雑になることから、ユーザにとって、カメラ画像がどこのフロアのどの部屋のものであるかを把握し難く、フロア全体の状況を一目で把握することが困難であった。特に監視対象が部屋間を移動する時に、監視対象がフロアのどこの部屋にいるのかを把握して、その部屋に設置されている監視カメラに選択して素早く切り替えることが困難であった。
【０００３】
これらの問題に対して、特許文献１では、フロアの各部屋に設置された複数の監視カメラからの画像を俯瞰画像に変換するとともに、その俯瞰画像をフロア画像の各部屋ごとに合成して表示することにより、１枚の合成画像を確認するだけでフロア全体の状況を容易に確認できる監視システムが提供されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１１８４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、フロアの各部屋ごとに合成される画像の領域は、監視カメラの画角によって定まるので、監視カメラの設置位置によっては、画像が部屋を仕切る壁等の遮蔽物をはみ出して合成されてしまい、監視用画像としては非常に見づらいものとなってしまうという問題があった。例えば、図１３(a)の監視カメラＣ６ではその画角に基づいて求められた撮影領域ＡＢＣＤがフロア画像に合成される領域となるが、線分ＡＢと線分ＤＣの間に部屋の仕切りである壁等の遮蔽構造物が存在する場合は、監視カメラで撮影した画像をそのままフロア画像に合成すると図１３(b)のように撮影領域が壁からはみ出た形で画像が合成されることになり、大変見づらいものとなっていた。
【０００６】
本発明は、上記のような課題を解決するためになされたもので、監視カメラで撮影された画像をフロア構成に合わせて合成し表示することのできる監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る監視システムは、フロアの監視領域に設けられた一又は複数の監視カメラと、前記監視カメラにより撮影された画像を前記フロアの画像に合成して合成画像を生成する画像処理装置と、前記画像処理装置で生成された合成画像を表示する画像表示装置とを備えた監視システムであって、前記画像処理装置は、前記監視カメラの撮影領域に関する位置情報と、前記フロアの画像及び前記監視カメラの撮影領域を遮る前記フロアの構造物に関する位置情報を含む前記フロアに関する情報とが記憶された位置情報記憶部と、前記監視カメラの撮影領域に関する位置情報と、前記監視カメラのフロアに関する情報とに基づいて前記監視カメラによる撮影画像を前記フロア画像に合成する合成領域を定める合成領域生成部と、前記監視カメラによる撮影画像を前記合成領域に合成して合成画像を生成する画像合成部を有することを特徴とする。
【発明の効果】
【０００８】
本発明の監視システムによれば、監視カメラで撮影された画像をフロアにおける各部屋の形状に合わせた合成画像として生成することができ、監視用画像が見やすくなるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係る監視システムの概略構成図である。
【図２】本発明の実施の形態１に係る監視システムの動作を示すフロー図である。
【図３】監視カメラの光軸、水平画角、垂直画角、撮影領域の関係を示す図である。
【図４】監視カメラによる撮影画像の入力時、歪み補正時、および視点変換時の各画像モデルを示す図である。
【図５】監視カメラによる撮影画像の視点変換処理を示す図である。
【図６】合成画像の合成領域生成処理動作の過程を説明する図である。
【図７】撮影画像の合成前および合成後の画像を示した図である。
【図８】監視対象が移動したときの監視カメラ切り替え動作を説明する図である。
【図９】本発明の実施の形態２に係る監視システムの概略構成図である。
【図１０】本発明の実施の形態２に係る監視システムの動作を示すフロー図である。
【図１１】監視カメラによる撮影画像の合成領域補正・重畳処理の過程を示す図である。
【図１２】本発明の実施の形態３に係る監視システムの概略構成図である。
【図１３】従来の監視システムにおける監視カメラの撮影領域とフロアにおける合成画像との関係を説明する図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１に係る監視システムの概略構成図を示す。監視システムは、監視対象を撮影するため、フロアの各部屋ごとに設置された固定式の監視カメラ１a〜1cや、旋回式の監視カメラ1dと、これら監視カメラで撮影された画像をフロア画像に合成して合成画像を生成する画像処理装置２と、画像処理装置２で生成された合成画像を表示する例えばＬＣＤモニタのような画像表示装置３とから構成されている。
【００１１】
画像処理装置２は、監視カメラからの画像の歪みを補正する歪み補正部４a〜４dと、歪み補正部で補正された画像を俯瞰画像に変換する視点変換部５a〜５dと、旋回式の監視カメラを遠隔操作する制御部６と、監視カメラの撮影領域に関する位置情報と、フロアの画像及び監視カメラの撮影領域を遮るフロアの構造物に関する位置情報を含むフロアに関する情報、及び各監視カメラの設置された位置、光軸の向き、水平画角、垂直画角等の仕様情報とを記憶する位置情報記憶部７と、位置情報記憶部７に記憶された監視カメラの仕様情報に基づいて撮影領域に関する位置情報を定める座標抽出部８と、この位置情報とフロアに関する情報から監視カメラが撮影した画像を合成する領域を生成する合成領域生成部９と、監視カメラで撮影した画像をフロア画像に合成して合成画像を生成する画像合成部１０とから構成されている。また、画像信号処理部２aは、歪み補正部４a〜４dと、視点変換部５a〜５dと、合成領域生成部９と、画像合成部１０とから構成されている。
【００１２】
なお、監視カメラと、画像処理装置と、画像表示装置とからなる監視システムを同じ建物内に設置して監視を行うことも、また、監視カメラと画像処理装置とをネットワークを介して接続し、遠隔地に設けた監視センターから建物内の監視を行うことも可能である。また、監視対象とするフロアには、各部屋ごとに所定領域を監視できるように、少なくとも１台の監視カメラが設置されるが、例えば、部屋が広く、１台の監視カメラでは部屋全体をカバーできないような場合は、複数台の監視カメラを設置することもできる。
【００１３】
次に、本発明の動作について図１および図２を用いて説明する。図２は、本発明の実施の形態１に係る監視システムの動作を示すフロー図である。
【００１４】
全ての監視カメラ１a〜１dは、各部屋の監視領域をそれぞれ撮影してその画像を取り込む（ステップＳ１）。旋回式監視カメラ１dは制御部６により、パン・チルト・ズーム等の動作が遠隔操作され（ステップＳ２）、制御部６は旋回式監視カメラ１dの動作に伴う仕様情報の変更を位置情報記憶部７に通知し、記憶された仕様情報を更新する（ステップＳ３）。なお、本実施の形態では、制御部６は画像処理装置２内に設けているが、例えば別個に設けたＰＣ等を用いて遠隔操作するようにしてもよい。
【００１５】
次に、座標抽出部８は、位置情報記憶部７を参照し、各監視カメラの仕様情報を取得し、各監視カメラの撮影領域に関する位置情報を定める（ステップＳ４）。仕様情報は、例えば監視カメラの設置位置に関する情報、図３に示す監視カメラＣ０の光軸ＡＸ１０、水平画各ＡＧＸ、垂直画角ＡＧＹがあり、これら情報を用いて撮影画像の座標ag01、ag02、ag03、ag04を求める。
【００１６】
固定式の監視カメラにおいて、その設置位置が変更された場合や新たに監視カメラが設置された場合においても、監視カメラの仕様情報を位置情報記憶部７に通知して随時更新することにより、面倒な作業を必要とせずに更新情報に基づいた監視カメラの撮影領域の生成が可能となる。また、旋回式の監視カメラ1dにおいて、制御部６による制御結果に基づいて位置情報記憶部７内の仕様情報が更新されるので、随時その情報を取り出すことができ、監視カメラ１dの動きに追随して撮影領域に対応する座標情報を取得することが可能となる。
【００１７】
画像信号処理部２aは、位置情報記憶部７を参照し、監視カメラの撮影領域を遮るフロアの構造物に関する位置情報を含むフロアに関する情報と、各監視カメラの仕様情報を取得し、合わせて座標抽出部８から撮影領域に関する位置情報を取得する（ステップＳ５）。フロアの構造物とは、例えば後記するような壁や、他にはついたてやカーテン等監視カメラの撮影領域を遮る物が該当する。
【００１８】
歪み補正部４は、監視カメラ１で撮影された画像の歪みを、位置情報記憶部７から取得した監視カメラ１の仕様情報に基づいて補正する（ステップＳ６）。図４(a)に入力時の画像モデルを、図４(b)に歪み補正後の画像モデルを示す。
【００１９】
視点変換部５は、歪み補正部４で歪みが補正された画像を、監視対象であるフロアを鉛直下向きに見下ろす俯瞰画像に変換する（ステップＳ７）。図４(c)は、視点変換後の画像モデルを示している。また、実写画像を用いた視点変換の例を図５に示す。図５(a)は監視カメラで撮影された画像で、図５(b)は視点変換後の俯瞰画像である。なお、本実施の形態では歪み補正処理を行ってから俯瞰画像への変換処理を行っているが、この順序に限定されるものではなく、例えば歪み補正処理を行わず視点変換部５で俯瞰画像への変換処理をおこなってもよい。
【００２０】
合成領域生成部９は、座標抽出部８から取得した各監視カメラの撮影領域に関する位置情報と、位置情報記憶部７から取得したフロアに関する情報に基づいて、監視カメラが撮影した画像を合成する領域の生成を行う（ステップＳ８）。この詳細な動作については後記する。なお、本実施の形態の例では合成領域生成処理をおこなってから画像合成を行うこととしているが、合成領域の処理は行わず、画像を部屋の形状に合わせて生成して合成を行うようにしてもよい。
【００２１】
画像合成部１０は、合成領域生成部９により定められた合成領域に、視点変換部５で俯瞰変換された監視カメラ１の撮影画像を合成する（ステップＳ９）。
【００２２】
画像表示装置３は、画像合成部１０で合成された画像を映し出す（ステップＳ１０）。
【００２３】
次に、合成領域生成部９の動作の詳細について、図６を用いて説明する。
【００２４】
図６(a)は、合成領域生成処理前の画像を表した図である。ここでは説明を簡単にするため、部屋Ａに設置した監視カメラＣ１の撮影画像について処理動作を説明する。もちろん、他の部屋についても同様の処理が行われるものである。フロア構成についての位置情報としては、少なくとも壁で囲まれた部屋の四隅の座標が与えられている。座標d01、d02、d03、d04で囲まれる領域は監視カメラＣ１による撮影領域を表す。また、監視カメラＣ１のフロアの設置位置を表す画素をＣ１とし、部屋Ａの四隅を表す画素をそれぞれＫ、Ｌ、Ｍ、Ｎとする。これら画素にはそれぞれ座標が与えられている。
【００２５】
図６(a)の画像上の画素Ｐ０１を例にとって生成処理の動作を説明する。まず、画素Ｐ０１が監視カメラＣ１の撮影した画像のものであるかを調べる。これは、監視カメラＣ１の合成領域の座標を座標抽出部８で求めることにより、容易に計算することができる。計算から、画素Ｐ０１は、監視カメラＣ１の撮影領域の座標d01、d02、d03、d04で囲まれた領域内に入るため、画素Ｐ０１に対応する画像を撮影しているのは監視カメラＣ１であるとわかる。
【００２６】
次に線分Ｃ１〜Ｐ０１が監視カメラＣ１の撮影領域を遮る構造物である部屋Ａの壁と交わるかどうかを判定する。判定方法は、例えば外積を用いた交差判定がある。この方法では、例えば部屋Ａの壁ＭＮと交わるかどうかを判定する場合は、以下の式（１）と式（２）の両方を満たすかどうかを計算する。式（１）および式（２）の両式を満たす場合、線分Ｃ１〜Ｐ０１は壁ＭＮと交わる。
【００２７】
【数１】
【００２８】
各画素は座標が与えられているので、成分計算により式（１）、式（２）を数値計算により求めることが可能である。同様に他の壁（線分ＮＫ、ＫＬ、ＬＭ等）と交わるかどうかを求めていく。図６(a)の場合では、画素Ｐ０１は部屋Ａのひとつの壁ＭＮと交わるので、画素Ｐ０１に対応する監視対象は監視カメラＣ１では撮影できないことが判別できる。よって、画素Ｐ０１に対応する画像は無いということになるので、画素Ｐ０１の画像合成は行われない。
【００２９】
また、連立方程式を用いて線分Ｃ１〜Ｐ０１が壁と交わるかどうかを判定してもよい。例えば、監視カメラＣ１の座標（x11,y12）、Ｐ０１の座標（x12,y12）、壁の一端Ｍの座標（x21,y21）、壁の他端Ｎの座標（22,y22）とすると、線分Ｃ１〜Ｐ０１、線分ＭＮはそれぞれ、以下の式（３）、式（４）で表される。そして、以下の式（３）、式（４）の連立方程式を計算し、解が存在すれば線分Ｃ１〜Ｐ０１と壁を構成する線分ＭＮは交わると判定する。
【００３０】
【数２】
【００３１】
このようにして合成領域生成処理を行った結果を図６(b)に示す。従って、監視カメラＣ１で撮影された画像は合成領域生成処理されて生成されたフロアの合成領域Ｒ１の範囲に切り取られた形で合成される。このように撮影領域を遮る構造物に基づいて撮影された画像を合成する領域を生成することにより、監視カメラＣ１による画像が部屋Ａの境界を越えてはみ出ることはなくなるので、ユーザにとって見やすい合成画像となり、その画像を見ることにより領域Ｒ１に対応する監視カメラはＣ１であると即座に判別することが可能となる。また、ユーザは監視カメラＣ１で撮影可能な領域Ｒ１と、監視カメラＣ１で撮影不可能な死角領域Ｒ２を平面的に把握することが可能となる。
【００３２】
なお、上記の合成領域生成処理においては、各画素の座標情報として２次元座標表示でも極座標表示でもかまわない。また、１画素分ずつ計算を行い生成処理を行ったが、処理対象としての画素は１画素である必要はなく、複数の画素をまとめて処理対象として計算を行ってもよい。たとえば複数の画素を１つのまとまった領域として上記処理を行うと、計算量が減り、より小さいハードウエア能力で処理を実行することができる。また、計算量が減ることから、監視カメラが撮影するリアルタイムの画像をスムーズに画像表示装置に映し出すことが可能となる。
【００３３】
次に、フロア画像に俯瞰変換後の撮影画像を合成する動作について図７を用いて説明する。
【００３４】
図７(a)は画像合成部１０が位置情報記憶部７から取得するフロア画像の図である。ここでは、フロア画像における構成は、少なくとも共用部分である廊下と、壁で仕切られた部屋と、部屋の扉と、監視カメラの位置等が、x、yの二次元平面として比較的単純化された画像で表される。図面中、黒色の三角形は監視カメラの位置を示し、斜線を付した矩形領域は監視カメラが撮影した画像が合成される領域を示している。ここでは、一例として廊下に設置された監視カメラＣ２の撮影した画像をフロア画像に合成する処理について説明する。すなわち、合成領域生成部９により予め定められたフロア画像における撮影画像を合成する領域は、座標e01、e02、e03、e04で囲まれた領域であり、特に、監視カメラＣ２の撮影領域はその左右方向が廊下の左右の壁によって遮られるため、全体的に矩形状を呈している。
【００３５】
従って、図７(b)に示すように、監視カメラＣ２で撮影された画像Ｘは、座標e01〜e04で囲まれた領域に合成され、このような合成画像が画像表示装置３に写しだされる。同様にして、同一フロアの他の部屋についても、それぞれ合成領域が定められており、各監視カメラが撮影した画像が各フロア画像における合成領域に合成されて画像表示装置３に表示されている。
【００３６】
なお、本実施の形態では、画像処理装置２に歪み補正部４、視点変換部５、制御部６、位置情報記憶部７、座標抽出部８、合成領域生成部９が、画像合成部１０が含まれる構成としたが、これに限定されるものではなく、例えば、監視カメラ１が歪み補正部４、視点変換部５、位置情報記憶部７、座標抽出部８を有し、監視カメラ内で歪み補正処理や視点変換処理を行うようにしてもよい。また、本実施の形態では座標抽出部８が位置情報記憶部７に格納されている監視カメラ１の仕様情報に基づいて撮影領域に関する座標等の位置情報を抽出する方式をとったが、座標抽出部８を設けず、位置情報記憶部７にそれらの位置情報を初期値として予め格納するようにしてもよい。また、画像合成部１０で位置情報の抽出処理を行ってもよい。
【００３７】
以上の構成によれば、監視カメラの画像合成領域が他の部屋等にはみ出すことがなくなるので、撮影画像が合成されたフロア画像は見た目上整理された見やすい画像となり、ユーザは監視カメラ設置台数が多い複雑な建物内の監視においても一見してフロア全体の状況を把握することが容易になる。また、ユーザは、監視カメラの撮影可能領域と撮影不可能な死角領域を平面的に把握することが可能となる。さらに、こういったことから、ユーザの作業負荷は著しく軽減され、より監視業務に集中することができるようになる。
【００３８】
そして、例えば図８において、侵入者ＴＧＴを廊下に設置した監視カメラＣ３の撮影領域に関する座標f01、f02、f03、f04で囲まれる画像合成領域内で発見したとする。そして、ＴＧＴが部屋Ｂに入っていった場合においても、即座に部屋Ｂに設置される監視カメラＣ４を選択し、ＴＧＴを画像表示装置に映し出すことができる。したがって、本構成によれば、侵入者が他の部屋に入った時にどの部屋にいるのかということを容易に把握し、その部屋に設置されている監視カメラを素早く選択することが可能となり、緊急時において迅速な対応をとることができるようになる。
【００３９】
なお、監視カメラの画像を俯瞰変換するかわりに鉛直下向きの天井カメラを用いても同様の効果を奏する。天井カメラを用いる場合は、歪み補正や視点変換等の俯瞰変換処理が不要となるため、計算量が減り、より小さいハードウエア能力で本発明の目的を達成することができる。また、計算量が減ることから、監視カメラが撮影するリアルタイムの画像をスムーズに画像表示装置に映し出すことが可能となる。
【００４０】
実施の形態２．
図９に、実施の形態２に係る監視システムの概略図を示す。実施の形態１に相当する部分には図１と同一符号を付してその説明を省略する。なお、本実施の形態は、本発明を具体化する際の一形態であって本発明をその範囲内に限定するためのものではない。実施の形態２は、実施の形態１と比べて、合成領域生成部に加え重畳領域処理を行う合成領域補正・重畳処理部１１が設けられている構成となっており、例えば合成領域補正・重畳処理部１１は、視点変換部５と画像合成部９との間に設けられ、座標抽出部８、位置情報記憶部７と接続されている構成とすることができる。合成領域生成・重畳処理部１１は合成領域生成処理に加えて、同じ部屋内で複数の監視カメラが同一の領域を重畳して撮影している場合の合成処理を行う。以下、合成領域生成・重畳処理の詳細について図１０を用いて説明する。
【００４１】
図１０(a)は、合成領域補正・重畳処理前の画像を示した図である。部屋Ｃ内には、監視カメラＣ５および監視カメラＣ６による撮影画像が合成される各合成領域の一部が重なるように設置されている。ここでは、監視カメラＣ５および監視カメラＣ６に対応する合成領域が重なった領域にある画素Ｐ１１を例にとって合成領域生成・重畳処理について説明する。なお、３台以上の監視カメラによる画像領域が重なっていた場合も同様の処理が可能である。まず、画素Ｐ１１がいずれの監視カメラに対応するのかを調べる。監視カメラＣ５および監視カメラＣ６それぞれの撮影領域に関する位置情報を座標抽出部８で求め、計算を行う。図１１(a)の例では、画素Ｐ１１は、監視カメラＣ５に対応する座標g01、g02、g03、g04で囲まれる合成領域と監視カメラＣ６に対応する座標h01、h02、h03、h04で囲まれる合成領域との両方の領域内に入るため、画素Ｐ１１に対応する画像を撮影しているのは監視カメラＣ５および監視カメラＣ６の両方であるとわかる。
【００４２】
次に、監視カメラＣ６と画素Ｐ１１との距離と、監視カメラＣ７と画素Ｐ１１との距離をそれぞれ計算し、値を位置情報記憶部７にあるリストに記憶する。リストは、例えばテーブル形式等で表してもよい。これらの距離については、監視カメラＣ５、Ｃ６、およびＰ１１の座標情報がわかっているので、容易に計算することは可能である。そして、リストを参照し、画素Ｐ１１に対応する画像を写す監視カメラを選択する。これはＣ５、Ｃ６いずれの監視カメラを選択してもよいが、画素Ｐ１１との距離が短いほうの監視カメラを選択するのが好ましい。監視カメラからの距離が近ければ近いほど、視点変換による歪みを抑え、情報量の減少を抑制することができるためである。そうすることにより、各画素において、最も画質の良い監視カメラを選択することができ、ユーザは鮮明な画像を見ることができる。図１０(a)に示した例では、Ｐ１１により近い監視カメラはＣ６であることから、監視カメラＣ６で撮影された画像を合成する。
【００４３】
このようにして合成領域補正・重畳処理を行った結果の一例が図１０(b)である。重畳領域のうち、監視カメラＣ５と監視カメラＣ６との距離が等しい箇所を境にして、監視カメラＣ５からの距離が近い領域については領域Ｒ３に、監視カメラＣ６からの距離が近い領域については領域Ｒ４になっている。そして、監視カメラＣ５で撮影された画像が領域Ｒ３に、監視カメラＣ６で撮影された画像が領域４にそれぞれ合成される。このように合成領域生成・重畳処理を行うことにより、監視カメラＣ５と監視カメラＣ６に対応する合成領域が重なった部分において、各監視カメラの撮影画像の合成領域の境目が明確になる。そのためユーザは、どの監視カメラでどの地点が監視されているのかが判断しやすくなり、監視カメラの選択を容易に行うことができる。
【００４４】
また合成領域生成・重畳処理を行うことにより、ユーザは、監視カメラの撮影可能領域と撮影不可能な死角領域を把握することが可能となる。さらに、各監視カメラの重畳領域をフロア画像に図示しなくなるので、合成フロア画像は見た目上整理され、ユーザは各部屋に多数の監視カメラが設置されているような場合においても一見してフロア全体の状況を把握することが容易になる。こういったことから、ユーザの作業負荷は著しく軽減され、ユーザはより監視業務に集中することができるようになる。
【００４５】
なお、上記の合成領域生成・重畳処理においては、各画素の座標情報として２次元座標表示でも極座標表示でもかまわない。また、各画素について重畳領域処理を行ったが、処理対象としての画素は１画素である必要はなく、複数の画素をまとめて処理対象として計算を行ってもよい。たとえば複数の画素を１つのまとまった領域として上記処理を行うと、計算量が減り、より小さいハードウエア能力で処理を実行することができる。また、計算量が減ることから、監視カメラが撮影するリアルタイムの画像をスムーズに画像表示装置に映し出すことが可能となる。
【００４６】
次に、図１１を用いて合成領域生成・重畳処理の動作について説明する。図１１は、合成領域補正・重畳処理のフロー図を示す。まず、ある監視カメラにおけるある画素について、対応する監視カメラ画像があるか調べる（ステップＳ３）。対応する監視カメラ画像がない場合、次の監視カメラに処理が移り、同様のステップＳ３の処理を行う。対応する監視カメラ画像がある場合、ある画素と対応する監視カメラの線分を求め（ステップＳ４）、壁等の構造物に遮られていないかを調べる（ステップＳ４）。構造物に遮られている場合、次の監視カメラに処理が移り、ステップＳ３の処理を行う。構造物に遮られていない場合、ある画素と対応する監視カメラとの距離をリストに登録する（ステップＳ５）。ある監視カメラにおいてここまでの処理が終わると、次の監視カメラに処理が移り、Ｓ３〜Ｓ５までの同様の処理を行う（ステップＳ２〜ステップＳ７）。
【００４７】
すべての監視カメラについてＳ３〜Ｓ５までの処理が終わると、リスト内の登録内容をチェックし、１つでも登録があると、登録内容のうちある画素と対応する監視カメラとの距離の中で最も距離が短い監視カメラ画像を採用する（ステップＳ９a）。リスト内に登録が１つもなければ、その画素に対応する画像は無しとなる（ステップＳ９b）。つづいてリスト内の登録内容をクリアし（ステップＳ１０）、すべての監視カメラについて１画素分の処理を終了する。以上Ｓ２〜Ｓ１０までの処理を全画素について行う（ステップＳ１〜ステップＳ１１）。
【００４８】
なお、図１０ではフロア図面上の各画素について合成すべき画像を逐次評価する方式を示しているが、これに限定されず、同様の結果が得られるならば他の方式を用いてもよい。例えば、１つの監視カメラ毎に全画素のリストを作成して、各監視カメラ同士評価していく方式でもよい。
【００４９】
このように、合成領域補正・重畳処理を行うことにより合成フロア図面は見た目上整理された見やすい画像となるので、ユーザは監視カメラ設置台数が多い複雑な建物内の監視においても、一見してフロア全体の状況を把握することがさらに容易になる。またユーザは、部屋内に複数の監視カメラが設置され、合成領域が重なった領域についても、いずれの監視カメラによる画像であるかを即座に判別して選択することが可能となる。そして、各画素から最も距離が近い監視カメラを選択するように画像合成領域の境界を定めることによって、視点変換による歪みを抑え情報量の減少を抑制した鮮明な画像を見ることが可能となり、追跡者の発見を容易に行うことができるようになる。
【００５０】
さらに、ユーザは監視カメラの撮影可能領域と撮影不可能な死角領域を把握することが可能となる。こういったことから、ユーザの作業負荷は著しく軽減され、より監視業務に集中することができるようになる。
【００５１】
実施の形態３．
図１２に、実施の形態３に係る監視システムの概略図を示す。実施の形態１に相当する部分には図１と同一符号を付してその説明を省略する。なお、本実施の形態は、本発明を具体化する際の一形態であって本発明をその範囲内に限定するためのものではない。実施の形態３は、監視カメラ１からの画像が歪み補正部４とは別に画像表示装置１２に送られる構成となっている。
【００５２】
本実施の形態についての動作を説明する。まず、各監視カメラ１で画像を撮影する。そして、撮影画像を歪み補正部４と画像表示装置１２に送る。歪み補正部４に送られた撮影画像は、実施の形態１と同様の俯瞰変換処理や合成領域生成処理等が施されるので、撮影画像とフロア図面とが合成された画像が画像表示装置３に映し出される。画像表示装置１２に送られた撮影画像は俯瞰変換されず、各監視カメラ１で撮影された画像がそのまま表示される。なお本実施の形態の構成においては、監視カメラの画像を俯瞰変換等してフロア図面に合成した画像と、監視カメラのそのままの画像とを別々の画像表示装置に映し出す構成としたが、これらを１つの画像表示装置に分割して映し出す構成としてもよい。
【００５３】
本実施の形態の構成によれば、監視カメラによる撮影映像が合成されたフロア画像は見た目上整理された見やすい画像となるので、ユーザは監視カメラ設置台数が多い複雑な建物内の監視においても、一見してフロア全体の状況を把握することがさらに容易になる。
【００５４】
また、ユーザは、俯瞰変換してフロア図面と合成された画像を見て不審人物を発見した場合に、不審人物がいるエリアを撮影する監視カメラを選択し、その監視カメラの画像を俯瞰変換処理等しないそのままの画像を見ることにより、不審人物の顔や服装、背格好等の情報を判別し、また記録することもできる。
【００５５】
さらに、天井カメラとは異なりカメラの設置場所が鉛直下向きに制限されることもなく、１台の監視カメラで俯瞰画像と、対象者の顔等が判別しやすいそのままの画像とを表示させることができるので、設置コストの低下を図ることができ、経済的である。
【符号の説明】
【００５６】
１a〜１c 固定式の監視カメラ
１d 旋回式の監視カメラ
２ 画像処理装置
３ 画像表示装置
４a〜４d 歪み補正部
５a〜５d 視点変換部
６ 制御部
７ 位置情報記憶部
８ 座標抽出部
９ 合成領域生成部
１０ 画像合成部
１１ 合成領域生成・重畳処理部
１２ 画像表示装置
ＡＸ１０ 光軸
ＡＧＸ 水平画角
ＡＧＹ 垂直画角
ag01〜ag02 監視カメラＣ０の撮影画像の座標
d01〜d04 監視カメラＣ１の撮影画像の座標
e01〜e04 監視カメラＣ２の撮影画像の座標
f01〜f04 監視カメラＣ３の撮影画像の座標
g01〜g04 監視カメラＣ５の撮影画像の座標
h01〜h04 監視カメラＣ６の撮影画像の座標
Ｒ１ 監視カメラＣ１の画像合成領域
Ｒ２ 監視カメラＣ１の死角領域
Ｒ３ 監視カメラＣ５の画像合成領域
Ｒ４ 監視カメラＣ６の画像合成領域
Ｃ０〜Ｃ７ 監視カメラ
ＴＧＴ 侵入者（ターゲット）
【特許請求の範囲】
【請求項１】
フロアの監視領域に設けられた一又は複数の監視カメラと、
前記監視カメラにより撮影された画像を前記フロアの画像に合成して合成画像を生成する画像処理装置と、
前記画像処理装置で生成された合成画像を表示する画像表示装置とを備えた監視システムであって、
前記画像処理装置は、
前記監視カメラの撮影領域に関する位置情報と、前記フロアの画像及び前記監視カメラの撮影領域を遮る前記フロアの構造物に関する位置情報を含む前記フロアに関する情報とが記憶された位置情報記憶部と、
前記監視カメラの撮影領域に関する位置情報と、前記監視カメラのフロアに関する情報とに基づいて前記監視カメラによる撮影画像を前記フロア画像に合成する合成領域を定める合成領域生成部と、
前記監視カメラによる撮影画像を前記合成領域に合成して合成画像を生成する画像合成部を有することを特徴とする監視システム。
【請求項２】
前記位置情報記憶部には前記監視カメラの仕様情報が記憶され、
前記画像処理装置は、
前記仕様情報を用いて前記監視カメラで撮影された画像の歪みを補正する歪み補正部と、
前記歪み補正部で歪み補正された画像を俯瞰画像に変換する視点変換部と
を備えたことを特徴とする請求項１に記載の監視システム。
【請求項３】
前記画像処理装置は、
前記複数の監視カメラによる撮影画像の合成される各合成領域が重なる場合に、前記複数の監視カメラのうちいずれか１つの監視カメラに対応する合成領域にその重畳領域を含める重畳処理部を備えたことを特徴とする請求項１または請求項２に記載の監視システム。
【請求項４】
前記画像処理装置は、
前記複数の監視カメラによる撮影画像の合成される各合成領域が重なる場合に、その重畳領域を複数の領域に分割し、前記複数の監視カメラのうち前記分割領域から最も距離の近い監視カメラに対応する合成領域に前記分割領域を含める重畳処理部を前記画像処理装置に備えたことを特徴とする請求項１または請求項２に記載の監視システム。
【請求項５】
前記画像処理装置は、
前記仕様情報に基づいて前記合成領域を求める座標抽出部を備えることを特徴とする請求項２に記載の監視システム。
【請求項６】
前記画像処理装置は、
前記監視カメラの動作を制御する制御部を備え、
前記制御部は前記監視カメラの前記仕様情報を更新し、前記合成領域生成部は前記更新情報に基づいて前記合成領域を定めることを特徴とする請求項１〜請求項５のいずれかに記載の監視システム。
【請求項１】
フロアの監視領域に設けられた一又は複数の監視カメラと、
前記監視カメラにより撮影された画像を前記フロアの画像に合成して合成画像を生成する画像処理装置と、
前記画像処理装置で生成された合成画像を表示する画像表示装置とを備えた監視システムであって、
前記画像処理装置は、
前記監視カメラの撮影領域に関する位置情報と、前記フロアの画像及び前記監視カメラの撮影領域を遮る前記フロアの構造物に関する位置情報を含む前記フロアに関する情報とが記憶された位置情報記憶部と、
前記監視カメラの撮影領域に関する位置情報と、前記監視カメラのフロアに関する情報とに基づいて前記監視カメラによる撮影画像を前記フロア画像に合成する合成領域を定める合成領域生成部と、
前記監視カメラによる撮影画像を前記合成領域に合成して合成画像を生成する画像合成部を有することを特徴とする監視システム。
【請求項２】
前記位置情報記憶部には前記監視カメラの仕様情報が記憶され、
前記画像処理装置は、
前記仕様情報を用いて前記監視カメラで撮影された画像の歪みを補正する歪み補正部と、
前記歪み補正部で歪み補正された画像を俯瞰画像に変換する視点変換部と
を備えたことを特徴とする請求項１に記載の監視システム。
【請求項３】
前記画像処理装置は、
前記複数の監視カメラによる撮影画像の合成される各合成領域が重なる場合に、前記複数の監視カメラのうちいずれか１つの監視カメラに対応する合成領域にその重畳領域を含める重畳処理部を備えたことを特徴とする請求項１または請求項２に記載の監視システム。
【請求項４】
前記画像処理装置は、
前記複数の監視カメラによる撮影画像の合成される各合成領域が重なる場合に、その重畳領域を複数の領域に分割し、前記複数の監視カメラのうち前記分割領域から最も距離の近い監視カメラに対応する合成領域に前記分割領域を含める重畳処理部を前記画像処理装置に備えたことを特徴とする請求項１または請求項２に記載の監視システム。
【請求項５】
前記画像処理装置は、
前記仕様情報に基づいて前記合成領域を求める座標抽出部を備えることを特徴とする請求項２に記載の監視システム。
【請求項６】
前記画像処理装置は、
前記監視カメラの動作を制御する制御部を備え、
前記制御部は前記監視カメラの前記仕様情報を更新し、前記合成領域生成部は前記更新情報に基づいて前記合成領域を定めることを特徴とする請求項１〜請求項５のいずれかに記載の監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１１】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１１】
【図１３】
【公開番号】特開２０１２−４６３０（Ｐ２０１２−４６３０Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３４９６６（Ｐ２０１０−１３４９６６）
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]