監視カメラシステム及びその異常検出方法
【課題】複数のカメラを用いて監視する監視カメラシステム及びその異常検出方法に関し、各カメラの設置位置又は向き・姿勢の変動及びカメラ映像の異常を精度良く検出して異常カメラを判別する。
【解決手段】他のカメラと異なる外観上の特徴を有する複数のカメラ６−２を、他のカメラを少なくとも２つ撮影するように設置し、カメラ６−２で撮影された映像画面をカメラ選択部６−１２で選択し、カメラ検出部６−１３でカメラ映像を検出し、カメラの外観上の特徴から被撮影カメラを同定する。カメラ位置計算部６−１４は、カメラの映像位置から該カメラの設置位置を算出し、カメラ姿勢計算部６−１５は、カメラの姿勢を算出する。異常カメラ検出部６−１６は、前回算出された位置と今回の位置とが異なる場合、カメラを撮影したカメラに異常があるのか、撮影されたカメラに異常があるのかを、他のカメラの設置位置を調べて判別する。
【解決手段】他のカメラと異なる外観上の特徴を有する複数のカメラ６−２を、他のカメラを少なくとも２つ撮影するように設置し、カメラ６−２で撮影された映像画面をカメラ選択部６−１２で選択し、カメラ検出部６−１３でカメラ映像を検出し、カメラの外観上の特徴から被撮影カメラを同定する。カメラ位置計算部６−１４は、カメラの映像位置から該カメラの設置位置を算出し、カメラ姿勢計算部６−１５は、カメラの姿勢を算出する。異常カメラ検出部６−１６は、前回算出された位置と今回の位置とが異なる場合、カメラを撮影したカメラに異常があるのか、撮影されたカメラに異常があるのかを、他のカメラの設置位置を調べて判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラを用いて異常事態や非常事態等の発生を監視する監視カメラシステム及びその異常検出方法に関する。
【背景技術】
【０００２】
複数のカメラを利用してその映像から不審者や異常事態を発見するなどの用途で使用される監視カメラシステムにおいて、漏れなく対象物体を撮影するには、各カメラでそれぞれ所定の監視エリアが常に撮影されるよう、各カメラが所定の位置に所定の向き・姿勢で設置されていなければならない。
【０００３】
しかし、所期の通り各カメラを所定の位置に所定の向き・姿勢で設置しておいても、運用中に何者かによってカメラに悪戯や細工が為されたり、或いは荷物の運搬中にカメラに荷物が接触したりして、カメラの設置位置や向き・姿勢が動いてしまうことがある。カメラの位置や向き・姿勢が動いてしまうと、撮影範囲がずれてしまい、正常な監視映像が得られなくなる。また、カメラ自体や映像信号伝送経路等に障害が発生するなどして、正常な監視映像が得られなくなることもある。
【０００４】
このような場合、監視エリアの正常な映像が得られず、異常カメラをそのまま放置しておくと、不審者や非常事態の発生等が見逃されてしまうこととなる。このようなトラブルを防ぐために、撮影範囲のズレを含むカメラ映像の異常が発生した場合、直ちに管理者等へ異常カメラを通知する等の対応処理を行わなければならない。
【０００５】
このような対応処理において、カメラの台数が少ない場合には、監視人等が全カメラの映像を目視し、映像に異常が発生したカメラを確認することにより対応可能である。しかし、広い範囲に数十台或いは数百台のカメラが設置されているような場合には、監視人等の人的作業によって全てのカメラ映像の異常を漏れなく発見することは困難であり、異常が発生しているカメラを自動的に判別して通報する監視カメラシステムが要望されている。
【０００６】
従来のこのような監視カメラシステムとしては、カメラに角度センサや位置センサ等を取り付け、それらのセンサの信号を解析してカメラの設置位置や向き・姿勢の変動を検知する手法を用いたものが提案されている。しかし、この手法では、カメラの視界が覆い隠されるなどによって発生したカメラ映像の異常を検知することはできない。
【０００７】
一方、カメラで撮影した映像を利用してカメラの異常を検出する手法として、例えば、撮影範囲内の所定の場所に所定のマーカ（目印）を設置しておき、該マーカがカメラの映像中の所定の位置に存在するか否かを判定し、存在しないと判定されたときに、カメラの異常を通知する手法がある。しかし、この手法では、カメラの設置位置は変動していないにも拘わらず、マーカの位置が変動しただけでカメラに異常有りと判定されるため、真の異常カメラの特定が難しい。
【０００８】
更に、広い範囲に数十台、数百台のカメラが設置されるような監視カメラシステムでは、マーカの数も数十個、数百個設置しなければならず、マーカの設置に非常に手間が掛かる。また、監視エリアの外観デザイン上の理由などによってマーカを配置することができない場合には採用することができない。
【０００９】
このような問題に対して、複数のカメラを備える監視カメラシステムにおいて、人物等の観測対象の推定位置を各カメラで算出し、基準カメラでの推定位置と各カメラでの推定位置とのズレ具合から、各カメラの姿勢・位置を求める手法が提案されている（特許文献１参照）。しかし、この手法では、観測対象がカメラに撮影されているときしか、カメラ異常を検知することができない。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−２７９３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、複数のカメラを用いて監視を行う監視カメラシステムにおいて、マーカ（目印）等を監視エリア内にカメラと別に配備することなく、各カメラの設置位置又は向き・姿勢の変動及びカメラ映像の異常を自動的に精度良く検出して異常カメラを判別することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決する一形態としての監視カメラシステムは、互いに他のカメラと異なる外観上の特徴を有する複数のカメラと、前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定するカメラ検出部と、前記カメラ検出部で検出された同一の被撮影カメラを撮影した２つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出するカメラ位置計算部と、前記カメラ位置計算部で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合にカメラの設置位置に異常が発生したと判定する異常カメラ判定部と、を備えたものである。
【００１３】
また、上記課題を解決する他の形態としての異常検出方法は、互いに他のカメラと異なる外観上の特徴を有する複数のカメラを、他のカメラが少なくとも２つ撮影されるように設置し、前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定する第１の過程と、前記第１の過程で検出された同一の被撮影カメラを撮影した２つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出する第２の過程と、前記第２の過程で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合に、該被撮影カメラを撮影した前記２つのカメラの各々に撮影された他のカメラの映像位置から前記第２の過程で算出された該他のカメラの設置位置について、前回算出された設置位置と今回算出された設置位置とを比較し、両者が不一致の場合、該映像を撮影したカメラに異常が発生した判定し、両者が一致する場合、前記被撮影カメラの設置位置に異常が発生したと判定する第３の過程と、を含むものである。
【発明の効果】
【００１４】
複数のカメラを用いて監視を行う監視カメラシステムにおいて、マーカ（目印）等を監視エリア内にカメラと別に配備することなく、各カメラの設置位置又は向き・姿勢の変動及びカメラ映像の異常を、各カメラで撮影した各カメラの映像を基に、自動的に精度良く検出し、異常カメラを判別して管理センター等へ通知することができる。
【図面の簡単な説明】
【００１５】
【図１】２つのカメラによって同一の物体を撮影した例を示す図である。
【図２】検出対象の位置を算出するための座標例を示す図である。
【図３】検出対象の位置を算出するための座標例をＸ−Ｚ平面で示す図である。
【図４】カメラの位置・姿勢を算出する原理の流れを示す図である。
【図５】対象物の位置とカメラの位置・姿勢の関係の座標系を示す図である。
【図６】監視カメラシステムの機器構成及び機能構成例を示す図である。
【図７】監視カメラシステムにおけるカメラ情報データベースの例を示す図である。
【図８】監視カメラシステムにおける処理フローを示す図である。
【図９】監視カメラシステムを適用した実施例のシステム環境例を示す図である。
【図１０】実施例における三角測量の説明図である。
【図１１】実施例における各カメラからの入力映像例を示す図である。
【図１２】実施例におけるカメラ情報データベースの変化例を示す図である。
【図１３】実施例におけるカメラＡ及びカメラＢの映像の例を示す図である。
【図１４】実施例におけるカメラＤの映像の例を示す図である。
【図１５】実施例におけるカメラ位置・姿勢の算出の伝搬例を示す図である。
【図１６】実施例におけるカメラの異常を検出する手法の例を示す図である。
【発明を実施するための形態】
【００１６】
開示の監視カメラシステムは、複数のカメラで監視エリアを撮影する際に、監視対象物だけでなく、他のカメラも同時に各カメラで撮影されるよう各カメラを配置する。そして、各カメラで撮影した他のカメラの映像位置から相互に各カメラの位置又は向き・姿勢の座標位置を算出する。
【００１７】
カメラの位置又は向き・姿勢が変移したカメラの映像から算出した他のカメラの位置の座標位置は、正常なカメラでの映像から算出した他のカメラの位置の座標位置と異なることを利用して、位置又は向き・姿勢が変移した異常カメラを発見し判別する。以下、カメラの位置・姿勢の座標の算出について詳細に説明する。
【００１８】
まず、カメラの設置条件として、少なくとも２つのカメラの位置及び向き・姿勢が既知であるとする。そして、位置及び向き・姿勢が既知の少なくとも２つのカメラに、新たに位置及び向き・姿勢を算出しようとするカメラが撮影されるように設置する。更に、位置及び向き・姿勢を算出しようとするカメラは、位置が既知のカメラが２つ以上撮影されるように設置する。
【００１９】
（１）カメラ位置の算出について
図１に示すように、位置及び向き・姿勢が既知の２台のカメラＡ，Ｂで、他の共通のカメラＣ（検出対象）を撮影することができれば、三角測量の原理を用いてカメラＣの位置を算出することができる。例えば、図２に示すように、左側のカメラの焦点位置を原点とした座標系を想定する。２つのカメラＡ，Ｂは焦点距離ｆを有し、該２つのカメラＡ，Ｂ間の距離をｄとし、該２つのカメラＡ，Ｂの光軸の方向は等しいとする。
【００２０】
図２において、２−１は左側のカメラＡの映像画面、２−２は右側のカメラＢの映像画面、２−３は位置の検出対象であるカメラＣである。カメラＡの映像画面２−１での検出対象カメラＣの座標値を（ｘｌ，ｙｌ）、カメラＢの映像画面２−２での検出対象カメラＣの座標値を（ｘｒ，ｙｒ）とする。また、検出対象カメラＣの座標値を（Ｘｐ、Ｙｐ，Ｚｐ）とする。
【００２１】
図２に示した配置関係をＹ軸の上方から眺めた場合、ＸＺ平面における位置関係は図３のように表され、三角形の相似の原理から、
【数１】
という関係式が成立する。
【００２２】
物体の位置Ｘｐは、
【数２】
という計算式で算出される。同様に、物体の位置ＹｐとＺｐも
【数３】
として算出される。
【００２３】
そこでまず、図４（ａ）に示すように、相互に他の２つのカメラが撮影されるようにカメラα、カメラβ及びカメラγを配置し、カメラα及びカメラβについてはその位置及び向き・姿勢が既知であるとする。そして、図４（ｂ）に示すように、カメラα及びカメラβからカメラγを撮影し、カメラα及びカメラβの映像からカメラγの位置を上記の計算式により算出する。
【００２４】
（２）カメラの向き・姿勢の算出について
図５に示すように、カメラ座標系をｘｙｚ、地上座標系をＸＹＺ、映像座標系をｘｙとすると、カメラの位置及び向き・姿勢は、カメラの地上座標値（Ｘ０，Ｙ０，Ｚ０）、及びｘ軸・ｙ軸・ｚ軸回りのカメラの回転角（ω，φ，κ）の６つのパラメータによって表される。これら６つのパラメータと対象物Ｐの地上座標値（Ｘ，Ｙ，Ｚ）と該対象物Ｐの画面上の映像座標値（ｘ、ｙ）との間には、次式のような関係が成り立つことが知られている。
【数４】
【００２５】
この関係式から、カメラγの位置（Ｘ０，Ｙ０，Ｚ０）が既知である場合、該カメラγで撮影されている２つ以上の対象物Ｐの地上座標値（Ｘ，Ｙ，Ｚ）が既知であれば、カメラγの向き・姿勢（ω，φ，κ）を求めることができる。即ち、前述の（１）で説明した手法で位置が算出されたカメラγに、既に位置が既知のカメラが２つ以上撮影されていれば、該カメラγの向き・姿勢を算出することができる。
【００２６】
この監視カメラシステムにおけるカメラの設置条件として、位置が既知の２つ以上のカメラが撮影されるように各カメラを設置することにより、例えば図４（ｃ）に示すように配置されたカメラγの向き・姿勢は、該カメラγの映像中の、位置が既知のカメラα，βの撮影位置から算出することができる。このようにして、カメラ同士で他のカメラを相互に撮影し、各カメラの映像データから各カメラ位置及び向き・姿勢を算出することができる。
【００２７】
図６はこの監視カメラシステムにおける処理装置の構成例を示す。この監視カメラシステムは、パーソナルコンピュータ等の処理装置６−１を有し、該処理装置６−１は、監視エリアを撮像するための複数のカメラ（撮像装置）６−２と接続される。また、該処理装置６−１内には、カメラ情報データベース６−１１を格納した記憶部を備える。
【００２８】
該カメラ情報データベース６−１１は、図７に示すように、カメラ毎に、カメラＩＤ、カメラ特徴（色など）、カメラ位置（Ｘ，Ｙ，Ｚ）、カメラ向き・姿勢（ω，φ，κ）、位置及び向き・姿勢の算出に用いた利用カメラＩＤ、前回カメラ位置（Ｘ，Ｙ，Ｚ）、前回カメラ向き・姿勢（ω，φ，κ）、現時刻のカメラ映像データの情報が格納される。
【００２９】
処理装置６−１には、更に、カメラ情報データベース６−１１のカメラ位置及び向き・姿勢のデータを基に、位置及び向き・姿勢の算出に利用する映像データを選択するカメラ選択部６−１２を備える。また、カメラによって撮影された映像画面（映像データ）から、被撮影カメラの映像の検出を行うカメラ検出部６−１３を備える。
【００３０】
また、カメラの設置位置を計算するカメラ位置計算部６−１４、カメラ位置が算出されたカメラで撮影された映像データから、カメラの向き・姿勢を計算するカメラ姿勢計算部６−１５を備える。また、設置位置及び向き・姿勢の前回の算出値と今回の算出値とを比較して異常カメラを検出する異常カメラ検出部６−１６を備える。
【００３１】
図８はこの監視カメラシステムにおける処理の流れを示すフローチャートである。このフローチャートを参照して、カメラの設置位置及び向き・姿勢の異常を検出する処理を説明する。最初に、カメラ情報データベースのデータの初期化を行う。この初期化において、カメラ情報データベースに、設置されるカメラ台数分だけカメラＩＤを順に設定しておく。
【００３２】
また、カメラ特徴として、カメラの映像から各カメラを個々に特定可能な特徴、例えばカメラの色等の特徴を設定しておく。このカメラ特徴は、カメラの色の他にカメラ固有の模様や記号や形状等の特徴であってもよい。また、カメラの設置位置及び向き・姿勢として、少なくとも２台の既知のカメラについて予めその設置位置及び向き・姿勢の値を格納し、それ以外のカメラに対しては「不明」の旨の情報を格納し、利用カメラＩＤも「なし」の旨の情報を格納しておく（８−１）。
【００３３】
次に、各カメラで撮影した映像データを取得し、該映像データをカメラ情報データベースに格納する（８−２）。更に、現時点のカメラの設置位置及び向き・姿勢の値を、前回カメラ位置及び前回カメラ姿勢の値にコピーする。カメラ選択部６−１２によって、カメラ情報データベース６−１１から各カメラの設置位置及び向き・姿勢の情報を読み出し、位置及び向き・姿勢共に「不明」でないカメラＩＤを探索し、該カメラＩＤをカメラ検出部６−１３に通知する。
【００３４】
カメラ検出部６−１３は、通知されたカメラＩＤの映像データを、カメラ情報データベース６−１１から読み出し、その映像画面の中からカメラの映像を検出する。具体的には、予めカメラの形状を学習しておき、映像画面の中から該形状と類似する映像部分を抜き出すことによりカメラの映像の検出を行う。
【００３５】
カメラ位置計算部６−１４は、２つ以上のカメラの映像で同一のカメラ特徴を有するカメラの映像が検出された場合、同一カメラが撮影されていると判断し、該カメラの位置を、２つのカメラの映像画面のカメラ映像位置から、三角測量の原理によって算出し推定する（８−３）。
【００３６】
更に、判別されたカメラ特徴と、カメラ情報データベース６−１１のカメラ特徴とを照合し、判別されたカメラ特徴のカメラＩＤを同定し、そのカメラの位置を今回のカメラ位置に書き込んで更新する。更に、利用カメラＩＤとして、位置の算出に用いた映像のカメラＩＤを書き込む。
【００３７】
カメラ位置の算出値を、そのカメラの前回カメラ位置の値と比較し、異なるか否かを判定する（８−４）。今回のカメラ位置の値が前回カメラ位置と異なる場合は、フロー８−５以降の処理へ移行し、前回カメラ位置と等しい場合は、フロー８−９以降の処理へ移行する。
【００３８】
カメラ位置の値が前回カメラ位置と異なる場合、以下の２つの原因が想定される。その１つ目の原因として、実際に被撮影カメラの位置が前回の位置から移動した場合である。２つ目の原因として、カメラ位置を計算するために使用した撮影カメラの映像にズーム等による異常が起きた場合である。
【００３９】
そこで、前回カメラ位置と異なる映像を撮影したカメラのカメラＩＤを調べ、該カメラの映像を利用して算出した別のカメラの位置を算出し推定する（８−５）。なお、別のカメラの位置のデータが未格納場合には、新たに別のカメラ（設置位置が正しいと認識されているもの）の設置位置を算出する。
【００４０】
別のカメラの設置位置が前回のデータ（正常値）と異なるか否かを判定し（８−６）、一致する場合には、該設置位置の算出に使用したカメラの映像は正常であり、正しい算出結果が出力されていると判断し、設置位置の変化が検出された被撮影カメラに異常があると判断してそのカメラＩＤを管理センター等へ通知する（８−７）。
【００４１】
また、別のカメラの設置位置も前回のデータ（正常値）と異なる場合には、この映像を撮影しているカメラ（位置算出に利用している利用カメラ）に異常が発生したと判断し、該カメラのカメラＩＤを管理センター等へ通知する（８−８）。
【００４２】
次にカメラの向き・姿勢を算出し推定する処理を以下のように行う（８−９）。まず、カメラ情報データベース６−１１の中から、カメラ位置が既知であって、カメラ姿勢が「不明」のカメラＩＤを探索する。この探索で発見されたカメラＩＤの現時刻のカメラ映像データを読み込み、その映像画面の中からカメラの映像の検出を行う。
【００４３】
この映像画面で検出されたカメラ映像のカメラ特徴と、カメラ情報データベース６−１１に格納されているカメラ特徴とを照合し、映像画面で検出されたカメラの特徴を有するカメラＩＤを同定し、該カメラＩＤのカメラ位置を読み出す。設置条件により、映像画面中には２つ以上のカメラが撮影されているため、それらの被撮影カメラの映像位置から、撮影カメラの向き・姿勢の値を算出し推定する。
【００４４】
算出したカメラの向き・姿勢の値が前回カメラ姿勢の値と異なるか否かを判定する（８−１０）。異なる場合は、撮影カメラの向き・姿勢が実際に変更されたか、又は撮影カメラの映像に異常が発生したことが原因である。原因が何れであるにせよ、撮影カメラ自体に異常が発生しているので、この撮影カメラのカメラＩＤを管理センター等へ通知する（８−１１）。
【００４５】
算出したカメラの向き・姿勢の値が前回カメラ姿勢の値と同一で有る場合は、正常であると判断し、全てのカメラに対して設置位置及び向き・姿勢が算出されたか判定し（８−１２）、全てのカメラに対して算定が終わっていなければ、処理フロー８−３に戻って同様の処理を繰り返し実行する。全てのカメラに対して算定が終われば、処理フロー８−１に戻って同様の処理を繰り返し実行する。
【実施例】
【００４６】
実際にこの監視カメラシステムを使用した場合の具体例について説明する。ここでは、図９に示すように、複数のカメラＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉを天井から真下に向けた監視システムの例について説明する。なお、この監視カメラシステムでは、カメラを真下に向けても、映像画面内に他のカメラが撮影されるよう、魚眼レンズ等、画角が１８０度以上あるレンズを装着したカメラを天井に設置する。
【００４７】
また、カメラの光軸が真下を向いており、更に全てのカメラの設置位置（天井）の高さＺが等しいとする。すると、図１０に示すように、設置位置が既知の２つのカメラＡ，Ｂと、設置位置の算出対象のカメラＣの地上座標には、以下の関係式が成り立つ。ここで、カメラＡ，Ｂ，Ｃの地上座標の値をそれぞれ（Ｘａ，Ｙａ），（Ｘｂ，Ｙｂ），（Ｘｃ，Ｙｃ）とする。また、カメラＡ，Ｂ間の距離をｄとする。カメラＡ，ＢからのカメラＣの方向をそれぞれθ，φとする。なお、簡単化のためＹａ＝Ｙｂとしている。
【数５】
【００４８】
各カメラは、天井に真下に向けて設置されているため、各カメラには図１１に示すような映像が撮影され、カメラＡ，Ｂの映像画面内にカメラＣが撮影されてさえいれば、簡単にカメラＣの方向（θ及びφ）が求められる。更に、カメラの向き・姿勢も１自由度（κ）しかないため、向き・姿勢の算出も、設置位置が既知のカメラの映像を１つ映像画面から検出すれば、算出することができる。
【００４９】
この実施例では、カメラＡ，Ｂの位置及び向き・姿勢は既知であり、各カメラＩＤとそのカメラ特徴である色とが対応付けられているとする。まず、カメラ情報データベースを初期化する。カメラ情報データベースは、図１２（ａ）に示すように、カメラＡ，Ｂの位置及び向き・姿勢は既知であるため、それらの値が書き込まれ、また、カメラ特徴として色を各カメラＩＤ対応に予め書き込んでおく。
【００５０】
カメラＡ，Ｂの位置及び向き・姿勢が既知であるため、このカメラＡ，Ｂの映像データを読み出し、この映像画面の中からカメラ映像部分を検出する。カメラＡでは、図１３（ａ）に示すように、紫、橙及び白のカメラが撮影され、カメラＢでは、図１３（ｂ）に示すように、赤、白、橙、黄緑及び黒のカメラが撮影される。
【００５１】
各映像画面の中のカメラ映像の色を比較すると、白及び橙のカメラが両方の映像画面に存在するため、この２つのカメラの位置を算出する。白及び橙のカメラ特徴のカメラＩＤをカメラ情報データベースから探すと、それらはカメラＤ及びカメラＥであると同定されるので、それらの位置情報を更新するとともに、それらの利用カメラＩＤにそれぞれカメラＡ及びカメラＢを格納する。その結果、カメラ情報データベースには図１２（ｂ）に示すデータが格納される。
【００５２】
カメラＤ，Ｅは、設置位置のみが算出されたカメラとなるので、次に向き・姿勢の算出を行う。カメラＤの映像画面の中には、図１４に示すように、赤、紫、橙、青及び緑のカメラが撮影されている。各色のカメラで、設置位置が既知のカメラＩＤを情報データベースから探索すると、それらはカメラＡ，Ｂ，Ｅであると同定され、何れかのカメラの位置を利用して向き・姿勢を算出し、カメラ情報データベースに格納する。その結果、カメラ情報データベースには図１２（ｃ）に示すようにカメラＤの向き・姿勢の値が格納される。
【００５３】
カメラＥの映像画面についても同様の処理を行って、カメラＥの向き・姿勢を算出する。これによって、カメラＡ，Ｂ，Ｄ，Ｅの位置及び向き・姿勢が算出されたことになる。次にこの４つのカメラの映像を利用して、映像画面に撮影されている同一のカメラ映像を検出することにより、更に周囲にある別のカメラの位置及び向き・姿勢を算出し推定する。
【００５４】
この処理を図１５に示すように繰り返し実施することにより、全てのカメラの位置及び向き・姿勢を算出し推定することができる。初期状態では、図１５（ａ）に示すよう、カメラＡ，Ｂの位置及び向き・姿勢が既知である。この状態から、図１５（ｂ）に示すように、カメラＡ，Ｂで撮影した映像から、カメラＤ，Ｅの位置が算出され、カメラＤ，Ｅの向き・姿勢は、カメラＤ，Ｅで撮影したカメラＡ又はＢの映像から算出される。
【００５５】
次に、図１５（ｃ）に示すように、カメラＤ，Ｅで撮影した映像から、カメラＧ，Ｈの位置が算出され、カメラＧ，Ｈの向き・姿勢は、カメラＧ，Ｈで撮影したカメラＤ又はＥの映像から算出される。また、カメラＢ，Ｅで撮影した映像から、カメラＣ，Ｆの位置が算出され、カメラＣ，Ｆの向き・姿勢は、カメラＣ，Ｆで撮影したカメラＢ又はＥの映像から算出される。次に、図１５（ｄ）に示すように、カメラＥ，Ｆで撮影した映像から、カメラＩの位置が算出され、カメラＩの向き・姿勢は、カメラＩで撮影したカメラＥ又はＦの映像から算出される。
【００５６】
各カメラの位置及び向き・姿勢の値が新たに算出される毎に、前回の値との比較を行う。カメラに異常がなければ、前回の値と合致する比較結果が得られるはずである。全てのカメラについて、前回の値と合致する比較結果が得られれば、カメラ情報データベースの内容を初期化して、再度、カメラの位置及び向き・姿勢を算出する処理を最初から行う。
【００５７】
何れかのカメラの位置又は向き・姿勢が前回と異なっている場合、そのカメラ自体の位置又は向き・姿勢が変動したのか、それともそのカメラの位置又は向き・姿勢を算出する際に用いた利用カメラの映像が正常でないのかを判断する。例えば、図１６に示すように、今回の位置算出により、カメラＩの位置の値が前回の値とずれ、このカメラＩの位置の算出にカメラＦとカメラＥの映像を利用したとする。
【００５８】
カメラＩの位置の値が前回と異なっていると判定された時点で、カメラＩの利用カメラＩＤであるカメラＥ及びカメラＦで撮影されている、位置が既知のカメラの映像位置を調査する。例えば、カメラＦとカメラＢとの組み合わせでカメラＣの位置を算出し、カメラＥとカメラＤとの組み合わせでカメラＢの位置を算出する。
【００５９】
即ち、カメラＦ及びカメラＢで撮影した映像からカメラＣの位置を算出し、その値が前回と異なる場合は、カメラＦの映像が異常であると判断する。カメラＣの位置が前回と同一である場合は、カメラＦに異常が無く、カメラＥについて調査する。そのために、カメラＥ及びカメラＤで撮影した映像からカメラＢの位置を算出し、その値が前回と異なる場合は、カメラＥの映像が異常であると判断する。カメラＢの位置が前回と同一である場合は、カメラＥに異常が無く、カメラＩが異常であると判断する。
【００６０】
映像の調査に使用するカメラの組み合わせは、上述の組み合わせに限られず、また１種類だけ調べるのではなく、複数の組み合わせによって調査する構成としてもよい。図１６の例では、カメラＩの位置がずれていたことによるため、カメラＥ及びカメラＦを使って算出した他のカメラの位置は何れも正しい値となる。
【００６１】
このように、他のカメラの位置を算出してその位置が前回と同一である場合は、カメラＩに異常があったと判断し、その旨を管理センター等へ通知する。もし、カメラＥの映像に異常がある場合には、カメラＥを利用して算出した他のカメラの位置も前回と異なる結果となるため、これによってカメラＥに異常があると判断する。
【００６２】
この監視カメラシステムでは、カメラの設置位置又は向き・姿勢が変動した場合だけでなく、カメラがズームされたり、カメラの視界が隠されたりするなど、カメラの映像に異常が発生した場合にも、異常が発生したカメラを特定し、そのカメラＩＤを管理センター等通知することが可能である。
【００６３】
また、監視カメラシステムでは、カメラ自身がマーカの役割を果たすため、マーカを新たに設置する手間がなく、カメラが動いたことを検知した場合は、そのカメラを撮影しているカメラ、又は撮影されたカメラに異常があり、その何れであるかを、他のカメラの映像を基に確認するため、カメラ異常を精度良く判別することができる。
【００６４】
また、どのカメラに異常が起こったのかを特定することができ、異常のカメラを別カメラで映すことができるため、その映像からカメラの現状把握、過去の映像からカメラ異常の原因解明等を行うことが可能となる。また、各カメラの設置位置又は向き・姿勢を算定するため、設置位置又は向き・姿勢の自動補正が可能な監視カメラシステムに適用した場合には、カメラの設置位置又は向き・姿勢にズレが発生したとき、そのズレを自動的に補正する構成とすることができる。
【符号の説明】
【００６５】
６−１ 処理装置
６−２ カメラ（撮像装置）
６−１１ カメラ情報データベース
６−１２ カメラ選択部
６−１３ カメラ検出部
６−１４ カメラ位置計算部
６−１５ カメラ姿勢計算部
６−１６ 異常カメラ検出部
【技術分野】
【０００１】
本発明は、複数のカメラを用いて異常事態や非常事態等の発生を監視する監視カメラシステム及びその異常検出方法に関する。
【背景技術】
【０００２】
複数のカメラを利用してその映像から不審者や異常事態を発見するなどの用途で使用される監視カメラシステムにおいて、漏れなく対象物体を撮影するには、各カメラでそれぞれ所定の監視エリアが常に撮影されるよう、各カメラが所定の位置に所定の向き・姿勢で設置されていなければならない。
【０００３】
しかし、所期の通り各カメラを所定の位置に所定の向き・姿勢で設置しておいても、運用中に何者かによってカメラに悪戯や細工が為されたり、或いは荷物の運搬中にカメラに荷物が接触したりして、カメラの設置位置や向き・姿勢が動いてしまうことがある。カメラの位置や向き・姿勢が動いてしまうと、撮影範囲がずれてしまい、正常な監視映像が得られなくなる。また、カメラ自体や映像信号伝送経路等に障害が発生するなどして、正常な監視映像が得られなくなることもある。
【０００４】
このような場合、監視エリアの正常な映像が得られず、異常カメラをそのまま放置しておくと、不審者や非常事態の発生等が見逃されてしまうこととなる。このようなトラブルを防ぐために、撮影範囲のズレを含むカメラ映像の異常が発生した場合、直ちに管理者等へ異常カメラを通知する等の対応処理を行わなければならない。
【０００５】
このような対応処理において、カメラの台数が少ない場合には、監視人等が全カメラの映像を目視し、映像に異常が発生したカメラを確認することにより対応可能である。しかし、広い範囲に数十台或いは数百台のカメラが設置されているような場合には、監視人等の人的作業によって全てのカメラ映像の異常を漏れなく発見することは困難であり、異常が発生しているカメラを自動的に判別して通報する監視カメラシステムが要望されている。
【０００６】
従来のこのような監視カメラシステムとしては、カメラに角度センサや位置センサ等を取り付け、それらのセンサの信号を解析してカメラの設置位置や向き・姿勢の変動を検知する手法を用いたものが提案されている。しかし、この手法では、カメラの視界が覆い隠されるなどによって発生したカメラ映像の異常を検知することはできない。
【０００７】
一方、カメラで撮影した映像を利用してカメラの異常を検出する手法として、例えば、撮影範囲内の所定の場所に所定のマーカ（目印）を設置しておき、該マーカがカメラの映像中の所定の位置に存在するか否かを判定し、存在しないと判定されたときに、カメラの異常を通知する手法がある。しかし、この手法では、カメラの設置位置は変動していないにも拘わらず、マーカの位置が変動しただけでカメラに異常有りと判定されるため、真の異常カメラの特定が難しい。
【０００８】
更に、広い範囲に数十台、数百台のカメラが設置されるような監視カメラシステムでは、マーカの数も数十個、数百個設置しなければならず、マーカの設置に非常に手間が掛かる。また、監視エリアの外観デザイン上の理由などによってマーカを配置することができない場合には採用することができない。
【０００９】
このような問題に対して、複数のカメラを備える監視カメラシステムにおいて、人物等の観測対象の推定位置を各カメラで算出し、基準カメラでの推定位置と各カメラでの推定位置とのズレ具合から、各カメラの姿勢・位置を求める手法が提案されている（特許文献１参照）。しかし、この手法では、観測対象がカメラに撮影されているときしか、カメラ異常を検知することができない。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−２７９３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、複数のカメラを用いて監視を行う監視カメラシステムにおいて、マーカ（目印）等を監視エリア内にカメラと別に配備することなく、各カメラの設置位置又は向き・姿勢の変動及びカメラ映像の異常を自動的に精度良く検出して異常カメラを判別することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決する一形態としての監視カメラシステムは、互いに他のカメラと異なる外観上の特徴を有する複数のカメラと、前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定するカメラ検出部と、前記カメラ検出部で検出された同一の被撮影カメラを撮影した２つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出するカメラ位置計算部と、前記カメラ位置計算部で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合にカメラの設置位置に異常が発生したと判定する異常カメラ判定部と、を備えたものである。
【００１３】
また、上記課題を解決する他の形態としての異常検出方法は、互いに他のカメラと異なる外観上の特徴を有する複数のカメラを、他のカメラが少なくとも２つ撮影されるように設置し、前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定する第１の過程と、前記第１の過程で検出された同一の被撮影カメラを撮影した２つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出する第２の過程と、前記第２の過程で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合に、該被撮影カメラを撮影した前記２つのカメラの各々に撮影された他のカメラの映像位置から前記第２の過程で算出された該他のカメラの設置位置について、前回算出された設置位置と今回算出された設置位置とを比較し、両者が不一致の場合、該映像を撮影したカメラに異常が発生した判定し、両者が一致する場合、前記被撮影カメラの設置位置に異常が発生したと判定する第３の過程と、を含むものである。
【発明の効果】
【００１４】
複数のカメラを用いて監視を行う監視カメラシステムにおいて、マーカ（目印）等を監視エリア内にカメラと別に配備することなく、各カメラの設置位置又は向き・姿勢の変動及びカメラ映像の異常を、各カメラで撮影した各カメラの映像を基に、自動的に精度良く検出し、異常カメラを判別して管理センター等へ通知することができる。
【図面の簡単な説明】
【００１５】
【図１】２つのカメラによって同一の物体を撮影した例を示す図である。
【図２】検出対象の位置を算出するための座標例を示す図である。
【図３】検出対象の位置を算出するための座標例をＸ−Ｚ平面で示す図である。
【図４】カメラの位置・姿勢を算出する原理の流れを示す図である。
【図５】対象物の位置とカメラの位置・姿勢の関係の座標系を示す図である。
【図６】監視カメラシステムの機器構成及び機能構成例を示す図である。
【図７】監視カメラシステムにおけるカメラ情報データベースの例を示す図である。
【図８】監視カメラシステムにおける処理フローを示す図である。
【図９】監視カメラシステムを適用した実施例のシステム環境例を示す図である。
【図１０】実施例における三角測量の説明図である。
【図１１】実施例における各カメラからの入力映像例を示す図である。
【図１２】実施例におけるカメラ情報データベースの変化例を示す図である。
【図１３】実施例におけるカメラＡ及びカメラＢの映像の例を示す図である。
【図１４】実施例におけるカメラＤの映像の例を示す図である。
【図１５】実施例におけるカメラ位置・姿勢の算出の伝搬例を示す図である。
【図１６】実施例におけるカメラの異常を検出する手法の例を示す図である。
【発明を実施するための形態】
【００１６】
開示の監視カメラシステムは、複数のカメラで監視エリアを撮影する際に、監視対象物だけでなく、他のカメラも同時に各カメラで撮影されるよう各カメラを配置する。そして、各カメラで撮影した他のカメラの映像位置から相互に各カメラの位置又は向き・姿勢の座標位置を算出する。
【００１７】
カメラの位置又は向き・姿勢が変移したカメラの映像から算出した他のカメラの位置の座標位置は、正常なカメラでの映像から算出した他のカメラの位置の座標位置と異なることを利用して、位置又は向き・姿勢が変移した異常カメラを発見し判別する。以下、カメラの位置・姿勢の座標の算出について詳細に説明する。
【００１８】
まず、カメラの設置条件として、少なくとも２つのカメラの位置及び向き・姿勢が既知であるとする。そして、位置及び向き・姿勢が既知の少なくとも２つのカメラに、新たに位置及び向き・姿勢を算出しようとするカメラが撮影されるように設置する。更に、位置及び向き・姿勢を算出しようとするカメラは、位置が既知のカメラが２つ以上撮影されるように設置する。
【００１９】
（１）カメラ位置の算出について
図１に示すように、位置及び向き・姿勢が既知の２台のカメラＡ，Ｂで、他の共通のカメラＣ（検出対象）を撮影することができれば、三角測量の原理を用いてカメラＣの位置を算出することができる。例えば、図２に示すように、左側のカメラの焦点位置を原点とした座標系を想定する。２つのカメラＡ，Ｂは焦点距離ｆを有し、該２つのカメラＡ，Ｂ間の距離をｄとし、該２つのカメラＡ，Ｂの光軸の方向は等しいとする。
【００２０】
図２において、２−１は左側のカメラＡの映像画面、２−２は右側のカメラＢの映像画面、２−３は位置の検出対象であるカメラＣである。カメラＡの映像画面２−１での検出対象カメラＣの座標値を（ｘｌ，ｙｌ）、カメラＢの映像画面２−２での検出対象カメラＣの座標値を（ｘｒ，ｙｒ）とする。また、検出対象カメラＣの座標値を（Ｘｐ、Ｙｐ，Ｚｐ）とする。
【００２１】
図２に示した配置関係をＹ軸の上方から眺めた場合、ＸＺ平面における位置関係は図３のように表され、三角形の相似の原理から、
【数１】
という関係式が成立する。
【００２２】
物体の位置Ｘｐは、
【数２】
という計算式で算出される。同様に、物体の位置ＹｐとＺｐも
【数３】
として算出される。
【００２３】
そこでまず、図４（ａ）に示すように、相互に他の２つのカメラが撮影されるようにカメラα、カメラβ及びカメラγを配置し、カメラα及びカメラβについてはその位置及び向き・姿勢が既知であるとする。そして、図４（ｂ）に示すように、カメラα及びカメラβからカメラγを撮影し、カメラα及びカメラβの映像からカメラγの位置を上記の計算式により算出する。
【００２４】
（２）カメラの向き・姿勢の算出について
図５に示すように、カメラ座標系をｘｙｚ、地上座標系をＸＹＺ、映像座標系をｘｙとすると、カメラの位置及び向き・姿勢は、カメラの地上座標値（Ｘ０，Ｙ０，Ｚ０）、及びｘ軸・ｙ軸・ｚ軸回りのカメラの回転角（ω，φ，κ）の６つのパラメータによって表される。これら６つのパラメータと対象物Ｐの地上座標値（Ｘ，Ｙ，Ｚ）と該対象物Ｐの画面上の映像座標値（ｘ、ｙ）との間には、次式のような関係が成り立つことが知られている。
【数４】
【００２５】
この関係式から、カメラγの位置（Ｘ０，Ｙ０，Ｚ０）が既知である場合、該カメラγで撮影されている２つ以上の対象物Ｐの地上座標値（Ｘ，Ｙ，Ｚ）が既知であれば、カメラγの向き・姿勢（ω，φ，κ）を求めることができる。即ち、前述の（１）で説明した手法で位置が算出されたカメラγに、既に位置が既知のカメラが２つ以上撮影されていれば、該カメラγの向き・姿勢を算出することができる。
【００２６】
この監視カメラシステムにおけるカメラの設置条件として、位置が既知の２つ以上のカメラが撮影されるように各カメラを設置することにより、例えば図４（ｃ）に示すように配置されたカメラγの向き・姿勢は、該カメラγの映像中の、位置が既知のカメラα，βの撮影位置から算出することができる。このようにして、カメラ同士で他のカメラを相互に撮影し、各カメラの映像データから各カメラ位置及び向き・姿勢を算出することができる。
【００２７】
図６はこの監視カメラシステムにおける処理装置の構成例を示す。この監視カメラシステムは、パーソナルコンピュータ等の処理装置６−１を有し、該処理装置６−１は、監視エリアを撮像するための複数のカメラ（撮像装置）６−２と接続される。また、該処理装置６−１内には、カメラ情報データベース６−１１を格納した記憶部を備える。
【００２８】
該カメラ情報データベース６−１１は、図７に示すように、カメラ毎に、カメラＩＤ、カメラ特徴（色など）、カメラ位置（Ｘ，Ｙ，Ｚ）、カメラ向き・姿勢（ω，φ，κ）、位置及び向き・姿勢の算出に用いた利用カメラＩＤ、前回カメラ位置（Ｘ，Ｙ，Ｚ）、前回カメラ向き・姿勢（ω，φ，κ）、現時刻のカメラ映像データの情報が格納される。
【００２９】
処理装置６−１には、更に、カメラ情報データベース６−１１のカメラ位置及び向き・姿勢のデータを基に、位置及び向き・姿勢の算出に利用する映像データを選択するカメラ選択部６−１２を備える。また、カメラによって撮影された映像画面（映像データ）から、被撮影カメラの映像の検出を行うカメラ検出部６−１３を備える。
【００３０】
また、カメラの設置位置を計算するカメラ位置計算部６−１４、カメラ位置が算出されたカメラで撮影された映像データから、カメラの向き・姿勢を計算するカメラ姿勢計算部６−１５を備える。また、設置位置及び向き・姿勢の前回の算出値と今回の算出値とを比較して異常カメラを検出する異常カメラ検出部６−１６を備える。
【００３１】
図８はこの監視カメラシステムにおける処理の流れを示すフローチャートである。このフローチャートを参照して、カメラの設置位置及び向き・姿勢の異常を検出する処理を説明する。最初に、カメラ情報データベースのデータの初期化を行う。この初期化において、カメラ情報データベースに、設置されるカメラ台数分だけカメラＩＤを順に設定しておく。
【００３２】
また、カメラ特徴として、カメラの映像から各カメラを個々に特定可能な特徴、例えばカメラの色等の特徴を設定しておく。このカメラ特徴は、カメラの色の他にカメラ固有の模様や記号や形状等の特徴であってもよい。また、カメラの設置位置及び向き・姿勢として、少なくとも２台の既知のカメラについて予めその設置位置及び向き・姿勢の値を格納し、それ以外のカメラに対しては「不明」の旨の情報を格納し、利用カメラＩＤも「なし」の旨の情報を格納しておく（８−１）。
【００３３】
次に、各カメラで撮影した映像データを取得し、該映像データをカメラ情報データベースに格納する（８−２）。更に、現時点のカメラの設置位置及び向き・姿勢の値を、前回カメラ位置及び前回カメラ姿勢の値にコピーする。カメラ選択部６−１２によって、カメラ情報データベース６−１１から各カメラの設置位置及び向き・姿勢の情報を読み出し、位置及び向き・姿勢共に「不明」でないカメラＩＤを探索し、該カメラＩＤをカメラ検出部６−１３に通知する。
【００３４】
カメラ検出部６−１３は、通知されたカメラＩＤの映像データを、カメラ情報データベース６−１１から読み出し、その映像画面の中からカメラの映像を検出する。具体的には、予めカメラの形状を学習しておき、映像画面の中から該形状と類似する映像部分を抜き出すことによりカメラの映像の検出を行う。
【００３５】
カメラ位置計算部６−１４は、２つ以上のカメラの映像で同一のカメラ特徴を有するカメラの映像が検出された場合、同一カメラが撮影されていると判断し、該カメラの位置を、２つのカメラの映像画面のカメラ映像位置から、三角測量の原理によって算出し推定する（８−３）。
【００３６】
更に、判別されたカメラ特徴と、カメラ情報データベース６−１１のカメラ特徴とを照合し、判別されたカメラ特徴のカメラＩＤを同定し、そのカメラの位置を今回のカメラ位置に書き込んで更新する。更に、利用カメラＩＤとして、位置の算出に用いた映像のカメラＩＤを書き込む。
【００３７】
カメラ位置の算出値を、そのカメラの前回カメラ位置の値と比較し、異なるか否かを判定する（８−４）。今回のカメラ位置の値が前回カメラ位置と異なる場合は、フロー８−５以降の処理へ移行し、前回カメラ位置と等しい場合は、フロー８−９以降の処理へ移行する。
【００３８】
カメラ位置の値が前回カメラ位置と異なる場合、以下の２つの原因が想定される。その１つ目の原因として、実際に被撮影カメラの位置が前回の位置から移動した場合である。２つ目の原因として、カメラ位置を計算するために使用した撮影カメラの映像にズーム等による異常が起きた場合である。
【００３９】
そこで、前回カメラ位置と異なる映像を撮影したカメラのカメラＩＤを調べ、該カメラの映像を利用して算出した別のカメラの位置を算出し推定する（８−５）。なお、別のカメラの位置のデータが未格納場合には、新たに別のカメラ（設置位置が正しいと認識されているもの）の設置位置を算出する。
【００４０】
別のカメラの設置位置が前回のデータ（正常値）と異なるか否かを判定し（８−６）、一致する場合には、該設置位置の算出に使用したカメラの映像は正常であり、正しい算出結果が出力されていると判断し、設置位置の変化が検出された被撮影カメラに異常があると判断してそのカメラＩＤを管理センター等へ通知する（８−７）。
【００４１】
また、別のカメラの設置位置も前回のデータ（正常値）と異なる場合には、この映像を撮影しているカメラ（位置算出に利用している利用カメラ）に異常が発生したと判断し、該カメラのカメラＩＤを管理センター等へ通知する（８−８）。
【００４２】
次にカメラの向き・姿勢を算出し推定する処理を以下のように行う（８−９）。まず、カメラ情報データベース６−１１の中から、カメラ位置が既知であって、カメラ姿勢が「不明」のカメラＩＤを探索する。この探索で発見されたカメラＩＤの現時刻のカメラ映像データを読み込み、その映像画面の中からカメラの映像の検出を行う。
【００４３】
この映像画面で検出されたカメラ映像のカメラ特徴と、カメラ情報データベース６−１１に格納されているカメラ特徴とを照合し、映像画面で検出されたカメラの特徴を有するカメラＩＤを同定し、該カメラＩＤのカメラ位置を読み出す。設置条件により、映像画面中には２つ以上のカメラが撮影されているため、それらの被撮影カメラの映像位置から、撮影カメラの向き・姿勢の値を算出し推定する。
【００４４】
算出したカメラの向き・姿勢の値が前回カメラ姿勢の値と異なるか否かを判定する（８−１０）。異なる場合は、撮影カメラの向き・姿勢が実際に変更されたか、又は撮影カメラの映像に異常が発生したことが原因である。原因が何れであるにせよ、撮影カメラ自体に異常が発生しているので、この撮影カメラのカメラＩＤを管理センター等へ通知する（８−１１）。
【００４５】
算出したカメラの向き・姿勢の値が前回カメラ姿勢の値と同一で有る場合は、正常であると判断し、全てのカメラに対して設置位置及び向き・姿勢が算出されたか判定し（８−１２）、全てのカメラに対して算定が終わっていなければ、処理フロー８−３に戻って同様の処理を繰り返し実行する。全てのカメラに対して算定が終われば、処理フロー８−１に戻って同様の処理を繰り返し実行する。
【実施例】
【００４６】
実際にこの監視カメラシステムを使用した場合の具体例について説明する。ここでは、図９に示すように、複数のカメラＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉを天井から真下に向けた監視システムの例について説明する。なお、この監視カメラシステムでは、カメラを真下に向けても、映像画面内に他のカメラが撮影されるよう、魚眼レンズ等、画角が１８０度以上あるレンズを装着したカメラを天井に設置する。
【００４７】
また、カメラの光軸が真下を向いており、更に全てのカメラの設置位置（天井）の高さＺが等しいとする。すると、図１０に示すように、設置位置が既知の２つのカメラＡ，Ｂと、設置位置の算出対象のカメラＣの地上座標には、以下の関係式が成り立つ。ここで、カメラＡ，Ｂ，Ｃの地上座標の値をそれぞれ（Ｘａ，Ｙａ），（Ｘｂ，Ｙｂ），（Ｘｃ，Ｙｃ）とする。また、カメラＡ，Ｂ間の距離をｄとする。カメラＡ，ＢからのカメラＣの方向をそれぞれθ，φとする。なお、簡単化のためＹａ＝Ｙｂとしている。
【数５】
【００４８】
各カメラは、天井に真下に向けて設置されているため、各カメラには図１１に示すような映像が撮影され、カメラＡ，Ｂの映像画面内にカメラＣが撮影されてさえいれば、簡単にカメラＣの方向（θ及びφ）が求められる。更に、カメラの向き・姿勢も１自由度（κ）しかないため、向き・姿勢の算出も、設置位置が既知のカメラの映像を１つ映像画面から検出すれば、算出することができる。
【００４９】
この実施例では、カメラＡ，Ｂの位置及び向き・姿勢は既知であり、各カメラＩＤとそのカメラ特徴である色とが対応付けられているとする。まず、カメラ情報データベースを初期化する。カメラ情報データベースは、図１２（ａ）に示すように、カメラＡ，Ｂの位置及び向き・姿勢は既知であるため、それらの値が書き込まれ、また、カメラ特徴として色を各カメラＩＤ対応に予め書き込んでおく。
【００５０】
カメラＡ，Ｂの位置及び向き・姿勢が既知であるため、このカメラＡ，Ｂの映像データを読み出し、この映像画面の中からカメラ映像部分を検出する。カメラＡでは、図１３（ａ）に示すように、紫、橙及び白のカメラが撮影され、カメラＢでは、図１３（ｂ）に示すように、赤、白、橙、黄緑及び黒のカメラが撮影される。
【００５１】
各映像画面の中のカメラ映像の色を比較すると、白及び橙のカメラが両方の映像画面に存在するため、この２つのカメラの位置を算出する。白及び橙のカメラ特徴のカメラＩＤをカメラ情報データベースから探すと、それらはカメラＤ及びカメラＥであると同定されるので、それらの位置情報を更新するとともに、それらの利用カメラＩＤにそれぞれカメラＡ及びカメラＢを格納する。その結果、カメラ情報データベースには図１２（ｂ）に示すデータが格納される。
【００５２】
カメラＤ，Ｅは、設置位置のみが算出されたカメラとなるので、次に向き・姿勢の算出を行う。カメラＤの映像画面の中には、図１４に示すように、赤、紫、橙、青及び緑のカメラが撮影されている。各色のカメラで、設置位置が既知のカメラＩＤを情報データベースから探索すると、それらはカメラＡ，Ｂ，Ｅであると同定され、何れかのカメラの位置を利用して向き・姿勢を算出し、カメラ情報データベースに格納する。その結果、カメラ情報データベースには図１２（ｃ）に示すようにカメラＤの向き・姿勢の値が格納される。
【００５３】
カメラＥの映像画面についても同様の処理を行って、カメラＥの向き・姿勢を算出する。これによって、カメラＡ，Ｂ，Ｄ，Ｅの位置及び向き・姿勢が算出されたことになる。次にこの４つのカメラの映像を利用して、映像画面に撮影されている同一のカメラ映像を検出することにより、更に周囲にある別のカメラの位置及び向き・姿勢を算出し推定する。
【００５４】
この処理を図１５に示すように繰り返し実施することにより、全てのカメラの位置及び向き・姿勢を算出し推定することができる。初期状態では、図１５（ａ）に示すよう、カメラＡ，Ｂの位置及び向き・姿勢が既知である。この状態から、図１５（ｂ）に示すように、カメラＡ，Ｂで撮影した映像から、カメラＤ，Ｅの位置が算出され、カメラＤ，Ｅの向き・姿勢は、カメラＤ，Ｅで撮影したカメラＡ又はＢの映像から算出される。
【００５５】
次に、図１５（ｃ）に示すように、カメラＤ，Ｅで撮影した映像から、カメラＧ，Ｈの位置が算出され、カメラＧ，Ｈの向き・姿勢は、カメラＧ，Ｈで撮影したカメラＤ又はＥの映像から算出される。また、カメラＢ，Ｅで撮影した映像から、カメラＣ，Ｆの位置が算出され、カメラＣ，Ｆの向き・姿勢は、カメラＣ，Ｆで撮影したカメラＢ又はＥの映像から算出される。次に、図１５（ｄ）に示すように、カメラＥ，Ｆで撮影した映像から、カメラＩの位置が算出され、カメラＩの向き・姿勢は、カメラＩで撮影したカメラＥ又はＦの映像から算出される。
【００５６】
各カメラの位置及び向き・姿勢の値が新たに算出される毎に、前回の値との比較を行う。カメラに異常がなければ、前回の値と合致する比較結果が得られるはずである。全てのカメラについて、前回の値と合致する比較結果が得られれば、カメラ情報データベースの内容を初期化して、再度、カメラの位置及び向き・姿勢を算出する処理を最初から行う。
【００５７】
何れかのカメラの位置又は向き・姿勢が前回と異なっている場合、そのカメラ自体の位置又は向き・姿勢が変動したのか、それともそのカメラの位置又は向き・姿勢を算出する際に用いた利用カメラの映像が正常でないのかを判断する。例えば、図１６に示すように、今回の位置算出により、カメラＩの位置の値が前回の値とずれ、このカメラＩの位置の算出にカメラＦとカメラＥの映像を利用したとする。
【００５８】
カメラＩの位置の値が前回と異なっていると判定された時点で、カメラＩの利用カメラＩＤであるカメラＥ及びカメラＦで撮影されている、位置が既知のカメラの映像位置を調査する。例えば、カメラＦとカメラＢとの組み合わせでカメラＣの位置を算出し、カメラＥとカメラＤとの組み合わせでカメラＢの位置を算出する。
【００５９】
即ち、カメラＦ及びカメラＢで撮影した映像からカメラＣの位置を算出し、その値が前回と異なる場合は、カメラＦの映像が異常であると判断する。カメラＣの位置が前回と同一である場合は、カメラＦに異常が無く、カメラＥについて調査する。そのために、カメラＥ及びカメラＤで撮影した映像からカメラＢの位置を算出し、その値が前回と異なる場合は、カメラＥの映像が異常であると判断する。カメラＢの位置が前回と同一である場合は、カメラＥに異常が無く、カメラＩが異常であると判断する。
【００６０】
映像の調査に使用するカメラの組み合わせは、上述の組み合わせに限られず、また１種類だけ調べるのではなく、複数の組み合わせによって調査する構成としてもよい。図１６の例では、カメラＩの位置がずれていたことによるため、カメラＥ及びカメラＦを使って算出した他のカメラの位置は何れも正しい値となる。
【００６１】
このように、他のカメラの位置を算出してその位置が前回と同一である場合は、カメラＩに異常があったと判断し、その旨を管理センター等へ通知する。もし、カメラＥの映像に異常がある場合には、カメラＥを利用して算出した他のカメラの位置も前回と異なる結果となるため、これによってカメラＥに異常があると判断する。
【００６２】
この監視カメラシステムでは、カメラの設置位置又は向き・姿勢が変動した場合だけでなく、カメラがズームされたり、カメラの視界が隠されたりするなど、カメラの映像に異常が発生した場合にも、異常が発生したカメラを特定し、そのカメラＩＤを管理センター等通知することが可能である。
【００６３】
また、監視カメラシステムでは、カメラ自身がマーカの役割を果たすため、マーカを新たに設置する手間がなく、カメラが動いたことを検知した場合は、そのカメラを撮影しているカメラ、又は撮影されたカメラに異常があり、その何れであるかを、他のカメラの映像を基に確認するため、カメラ異常を精度良く判別することができる。
【００６４】
また、どのカメラに異常が起こったのかを特定することができ、異常のカメラを別カメラで映すことができるため、その映像からカメラの現状把握、過去の映像からカメラ異常の原因解明等を行うことが可能となる。また、各カメラの設置位置又は向き・姿勢を算定するため、設置位置又は向き・姿勢の自動補正が可能な監視カメラシステムに適用した場合には、カメラの設置位置又は向き・姿勢にズレが発生したとき、そのズレを自動的に補正する構成とすることができる。
【符号の説明】
【００６５】
６−１ 処理装置
６−２ カメラ（撮像装置）
６−１１ カメラ情報データベース
６−１２ カメラ選択部
６−１３ カメラ検出部
６−１４ カメラ位置計算部
６−１５ カメラ姿勢計算部
６−１６ 異常カメラ検出部
【特許請求の範囲】
【請求項１】
互いに他のカメラと異なる外観上の特徴を有する複数のカメラと、
前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定するカメラ検出部と、
前記カメラ検出部で検出された同一の被撮影カメラを撮影した２つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出するカメラ位置計算部と、
前記カメラ位置計算部で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合にカメラの設置位置に異常が発生したと判定する異常カメラ判定部と、
を備えたことを特徴とする監視カメラシステム。
【請求項２】
前記異常カメラ判定部は、前記カメラ位置計算部で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合に、該被撮影カメラを撮影した前記２つのカメラの各々に撮影された他のカメラの映像位置から前記カメラ位置計算部で算出された該他のカメラの設置位置について、前回算出された設置位置と今回算出された設置位置とを比較し、両者が不一致の場合、該映像を撮影したカメラに異常が発生したと判定し、両者が一致する場合、前記被撮影カメラの設置位置に異常が発生したと判定することを特徴とする請求項１に記載の監視カメラシステム。
【請求項３】
前記カメラ位置計算部は、前記カメラ検出部で検出され、設置位置が既知の被撮影カメラを撮影したカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラを撮影したカメラの向き・姿勢を算出し、
前記異常カメラ判定部は、前記被撮影カメラを撮影したカメラの、前記カメラ位置計算部で算出された前回の向き・姿勢と今回の向き・姿勢とを比較し、両者が異なる場合に、該被撮影カメラを撮影したカメラに異常が発生したと判定することを特徴とする請求項１又は２に記載の監視カメラシステム。
【請求項４】
前記複数のカメラとして、画角が少なくとも１８０度のレンズを装着したカメラを、監視エリアの天井部分に真下に向けて設置したことを特徴とする請求項１乃至３の何れかに記載の監視カメラシステム。
【請求項５】
互いに他のカメラと異なる外観上の特徴を有する複数のカメラを、他のカメラが少なくとも２つ撮影されるように設置し、
前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定する第１の過程と、
前記第１の過程で検出された同一の被撮影カメラを撮影した２つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出する第２の過程と、
前記第２の過程で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合に、該被撮影カメラを撮影した前記２つのカメラの各々に撮影された他のカメラの映像位置から前記第２の過程で算出された該他のカメラの設置位置について、前回算出された設置位置と今回算出された設置位置とを比較し、両者が不一致の場合、該映像を撮影したカメラに異常が発生した判定し、両者が一致する場合、前記被撮影カメラの設置位置に異常が発生したと判定する第３の過程と、
を含むことを特徴とする監視カメラシステムの異常検出方法。
【請求項６】
前記第２の過程において、前記第１の過程で検出され、設置位置が既知の被撮影カメラを撮影したカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラを撮影したカメラの向き・姿勢を算出し、
前記第３の過程において、前記被撮影カメラを撮影したカメラの、前記第２の過程で算出された前回の向き・姿勢と今回の向き・姿勢とを比較し、両者が異なる場合に、該被撮影カメラを撮影したカメラに異常が発生したと判定することを特徴とする請求項５に記載の監視カメラシステムの異常検出方法。
【請求項１】
互いに他のカメラと異なる外観上の特徴を有する複数のカメラと、
前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定するカメラ検出部と、
前記カメラ検出部で検出された同一の被撮影カメラを撮影した２つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出するカメラ位置計算部と、
前記カメラ位置計算部で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合にカメラの設置位置に異常が発生したと判定する異常カメラ判定部と、
を備えたことを特徴とする監視カメラシステム。
【請求項２】
前記異常カメラ判定部は、前記カメラ位置計算部で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合に、該被撮影カメラを撮影した前記２つのカメラの各々に撮影された他のカメラの映像位置から前記カメラ位置計算部で算出された該他のカメラの設置位置について、前回算出された設置位置と今回算出された設置位置とを比較し、両者が不一致の場合、該映像を撮影したカメラに異常が発生したと判定し、両者が一致する場合、前記被撮影カメラの設置位置に異常が発生したと判定することを特徴とする請求項１に記載の監視カメラシステム。
【請求項３】
前記カメラ位置計算部は、前記カメラ検出部で検出され、設置位置が既知の被撮影カメラを撮影したカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラを撮影したカメラの向き・姿勢を算出し、
前記異常カメラ判定部は、前記被撮影カメラを撮影したカメラの、前記カメラ位置計算部で算出された前回の向き・姿勢と今回の向き・姿勢とを比較し、両者が異なる場合に、該被撮影カメラを撮影したカメラに異常が発生したと判定することを特徴とする請求項１又は２に記載の監視カメラシステム。
【請求項４】
前記複数のカメラとして、画角が少なくとも１８０度のレンズを装着したカメラを、監視エリアの天井部分に真下に向けて設置したことを特徴とする請求項１乃至３の何れかに記載の監視カメラシステム。
【請求項５】
互いに他のカメラと異なる外観上の特徴を有する複数のカメラを、他のカメラが少なくとも２つ撮影されるように設置し、
前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定する第１の過程と、
前記第１の過程で検出された同一の被撮影カメラを撮影した２つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出する第２の過程と、
前記第２の過程で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合に、該被撮影カメラを撮影した前記２つのカメラの各々に撮影された他のカメラの映像位置から前記第２の過程で算出された該他のカメラの設置位置について、前回算出された設置位置と今回算出された設置位置とを比較し、両者が不一致の場合、該映像を撮影したカメラに異常が発生した判定し、両者が一致する場合、前記被撮影カメラの設置位置に異常が発生したと判定する第３の過程と、
を含むことを特徴とする監視カメラシステムの異常検出方法。
【請求項６】
前記第２の過程において、前記第１の過程で検出され、設置位置が既知の被撮影カメラを撮影したカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラを撮影したカメラの向き・姿勢を算出し、
前記第３の過程において、前記被撮影カメラを撮影したカメラの、前記第２の過程で算出された前回の向き・姿勢と今回の向き・姿勢とを比較し、両者が異なる場合に、該被撮影カメラを撮影したカメラに異常が発生したと判定することを特徴とする請求項５に記載の監視カメラシステムの異常検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−７６５７３（Ｐ２０１１−７６５７３Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２３０５０９（Ｐ２００９−２３０５０９）
【出願日】平成２１年１０月２日（２００９．１０．２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年１０月２日（２００９．１０．２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]