複数カメラ監視システム、携帯端末装置、センター装置及び複数カメラ監視方法
【課題】比較的簡易な構成で、死角領域を低減できる複数カメラ監視システムを提供すること。
【解決手段】サーバ装置（センター装置）２００は、各カメラ間のカメラ視野の重複量を求める視野重複判定部２０３と、前記重複量に基づいて、各カメラへのフィードバック量を決定するフィードバック量決定部２０４と、前記各カメラへのフィードバック量の情報を、無線送信する無線通信部２０１を有する。
【解決手段】サーバ装置（センター装置）２００は、各カメラ間のカメラ視野の重複量を求める視野重複判定部２０３と、前記重複量に基づいて、各カメラへのフィードバック量を決定するフィードバック量決定部２０４と、前記各カメラへのフィードバック量の情報を、無線送信する無線通信部２０１を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数カメラを用いた監視システムにおいて、カメラによって撮像されない監視死角領域を低減する技術に関する。
【背景技術】
【０００２】
従来、警備員が身体（頭部又は胸ポケット等）に装着したカメラにより周囲画像を撮影し、不審者検出や防犯に役立てるための装置が提案されている。このような装置は、例えば、特許文献１及び特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０８６５８２号公報
【特許文献２】特表２００７−５２３５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、装着型のカメラ（以下これをウェアラブルカメラと呼ぶ）の用いられ方としては、複数の警備員のウェアラブルカメラから得られた監視画像情報を、センター装置によって収集することで、大きな監視エリアを網羅する監視画像を取得するといった、ことが想定される。
【０００５】
このような想定される用いられ方においては、各ウェアラブルカメラの配置及び方向を制御しないと、重複して撮像される監視画像が増大し、これに伴って、撮像されない死角領域が増大すると考えられる。このような状況は、複数のウェアラブルカメラに限らず、複数の固定カメラを設置する場合も起こり得る。
【０００６】
本発明はかかる点に鑑みてなされたものであり、比較的簡易な構成で、死角領域を低減できる複数カメラ監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の複数カメラ監視システムの一つの態様は、複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する複数カメラ監視システムであって、各カメラのカメラ視野を求めるカメラ視野算出部と、各カメラ間の前記カメラ視野の重複量を求める視野重複判定部と、前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定部と、前記各カメラへのフィードバック量の情報を送信するフィードバック量情報送信部と、前記フィードバック量の情報を受信し、前記フィードバック量に応じたレベルの喚起出力を行うフィードバック出力部と、を具備する。
【０００８】
本発明の携帯端末装置の一つの態様は、複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する、複数カメラ監視システムに用いられる携帯端末装置であって、カメラと、他のカメラとのカメラ視野の重複量に基づいて決定されたフィードバック量に応じたレベルの喚起出力を行うフィードバック出力部と、を具備する。
【０００９】
本発明のセンター装置の一つの態様は、複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する、複数カメラ監視システムに用いられるセンター装置であって、各カメラ間の前記カメラ視野の重複量を求める視野重複判定部と、前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定部と、前記各カメラへのフィードバック量の情報を送信するフィードバック量情報送信部と、を具備する。
【００１０】
本発明の複数カメラ監視方法の一つの態様は、複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する複数カメラ監視方法であって、各カメラのカメラ視野を求めるカメラ視野算出ステップと、各カメラ間の前記カメラ視野の重複量を求める視野重複判定ステップと、前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定ステップと、前記フィードバック量の情報を受信し、前記フィードバック量に応じたレベルの喚起出力を行うフィードバック出力ステップと、を含む。
【発明の効果】
【００１１】
本発明によれば、比較的簡易な構成で、複数のウェアラブルカメラを連携させて監視エリアの死角補完を図ることができ、死角領域を低減できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る複数カメラ監視システムのイメージを示す図
【図２】ウェアラブルカメラの構成例を示すブロック図
【図３】サーバ装置の構成例を示すブロック図
【図４】ウェアラブルカメラ及びサーバ装置の動作の説明に供するフローチャート
【図５】実施の形態における「密度」の説明に供する図であり、図５Ａは広角カメラの密度設定を示す図、図５Ｂは狭角カメラの密度設定を示す図、図５Ｃはカメラ視野の中心方向からの角度に応じた密度設定を示す図、図５Ｄはカメラからの距離に応じた密度設定を示す図
【図６】実施の形態の構成によって実現される動作例を示す図
【図７】実施の形態２のイメージを示す図
【図８】実施の形態２のウェアラブルカメラ及びサーバ装置の動作の説明に供するフローチャート
【発明を実施するための形態】
【００１３】
［１］本発明に至るまでの検討と本発明の原理
先ず、実施の形態を説明する前に、本発明に至るまでに発明者になされた検討事項と、本発明の原理について説明する。
【００１４】
［１−１］本発明に至るまでの検討事項
本発明の発明者は、次のようなケースを想定した。
・ウェアラブルカメラを装着した複数の監視員が監視エリア内を巡回して監視するケース。なお、ウェアラブルカメラが特に有効となるのは、Battle field（争乱の起きている場所）、イベント会場など、固定カメラを定常的、計画的に設置することが難しい場所で用いられる場合である。
【００１５】
・サーバ装置（以下の説明ではサーバ装置を中心に説明するが、以下の説明におけるサーバ装置はセンター装置と言い換えてもよい）に監視エリア内の各ウェアラブルカメラによって撮像された画像、及び、各ウェアラブルカメラの位置と向きと視野角の情報を収集し、エリア内の視野配置（監視画像）を生成するケース。
【００１６】
発明者は、上述したケースにおいて、収集された複数のウェアラブルカメラの画像が、できるだけ広い面積の監視エリアを網羅する（つまり、限られた数のウェアラブルカメラを適切な位置・方向に配置して、監視エリア内の死角を少なくする）にはどのような制御が必要であるかについて考察した。先ず、発明者は、一例として、次のような処理を考えた。
【００１７】
(1) 各カメラの位置、向き情報を、サーバ装置に集める。
(2) サーバ装置においてカメラの最適配置を計算する。
(3) サーバ装置から各カメラに最適配置のカメラ位置、向き情報を配信通知する。
(4) 各カメラのユーザインターフェースを介して監視員に位置、向きの変更を指示する。
【００１８】
しかしながら、上述のような処理においては、(2)で行われるカメラの最適配置（位置・向き）の導出処理は、ナップザック問題のような最適化問題を解く処理であり、それを解くための計算量が非常に大きくなる。特に、カメラの台数が増え、カメラ固有のパラメータ（視野角等）が増えるほどサーバでの計算量が指数関数的に増加する。因みに、各カメラが動くこともあるので、完璧な最適化が行われる訳ではないが、サーバ装置で行われるアルゴリズムは最適化を目指してしまうので、計算量が非常に多くなる。
【００１９】
また、最適化問題を解決し、最適配置を求めたとしても、最適配置を実現するために、ユーザインターフェースを介して各監視員に伝えられる情報は、監視員にとって難解になる。つまり、例えば監視員には「右へ１５°回転、７時の方向へ３ｍ移動」等の監視員にとって難解な情報が通知されるので、監視員はbattle field等にいる場合には、この情報を基に迅速に行動することが困難である。よって、膨大な計算を行って最適問題を解決したとしても、カメラの最適配置が迅速に実現されるのは困難である。
【００２０】
［１−２］本発明の原理
本発明は、少ない計算量でカメラの最適配置を実現する。
また、本発明は、監視員が理解し易い通知情報を用いて監視員に移動を促すことで、カメラの迅速な最適配置を実現する。なお、本発明で言う最適配置とは、その配置自体を計算により求めるものではなく、現状のカメラ配置を基にカメラを保持している人物に移動を促すことにより、結果的に得られるものである。
【００２１】
これらを実現するため、本発明では、以下の処理を行う。
【００２２】
(1) 各カメラの位置、向き、画角によって決まる各カメラのカメラ視野（カメラ視野とは有効視野のことである）を、サーバ装置に集める。
【００２３】
(2) サーバ装置において、監視エリア内のカメラ視野の配置を求め、各カメラについて、周辺のカメラのカメラ視野と自身のカメラ視野との重複量を導出する。つまり、サーバ装置では、ナップザック問題のような最適化問題を解く処理は行わず、監視エリア内でのカメラ視野の重複量の算出のみを行う。これにより、最適配置のための計算量が削減される。また、重複量は、“重複量＝重なりの面積”としてもよく、“重複量＝重複している面積×重複している部分の密度”としてもよい。この密度は、カメラの視野角及び又はカメラからの距離等に応じたものとすればよい。詳しくは後述する。
【００２４】
(3) サーバ装置から各カメラに、各カメラの重複量に比例した強さのフィードバック量を通知する。ここで、各カメラに通知するとは、各カメラを携帯している人物が携帯している音源、バイブレータ等のフィードバック出力部に通知するという意味である。
【００２５】
(4) フィードバック出力部からフィードバック量に応じたレベルの喚起出力を行うことで、監視員に移動を促す。これにより、監視員は、喚起出力（音（ノイズ音や不協和音等）又は振動等）の強弱によって、移動すべき程度を直感的に把握できる。各監視員がフィードバック量が小さくするように自身の位置、向きを自律的に調整することにより、カメラ視野の重複量が極小化され、結果としてカメラの適切な配置が実現される。つまり、複数カメラのカメラ視野が監視エリア内に効率良く分散され、監視エリア内の死角が低減される。
【００２６】
なお、監視員（カメラ）に対するフィードバック量に優先度をつけてもよい。これにより、複数の監視員が同時に動くことによる悪影響（重複量の増加、複数の監視員による相互の視野重複回避動作の発振等）を抑制すること、監視員の不要な混乱を抑えること、監視員の機動性に応じた制御を行うこと、等を実現できる。
【００２７】
また、監視エリア内の位置、方角に応じてフィードバックの大きさを制御してもよい。これにより、特定エリアを重点的に監視する等の制御を行うことが可能となる。
【００２８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２９】
［２］実施の形態１
図１は、本発明の実施の形態に係る複数カメラ監視システムのイメージを示す。
【００３０】
複数カメラ監視システム１０は、複数のウェアラブルカメラ１２−１、１２−２、１２−３、１２−４、１２−５と、サーバ装置２０とを有する。
【００３１】
監視エリアＡＲ０内には、ウェアラブルカメラ１２−１、１２−２、１２−３、１２−４、１２−５を装着している複数の監視員１１−１、１１−２、１１−３、１１−４、１１−５が存在する。ウェアラブルカメラ１２−１、１２−２、１２−３、１２−４、１２−５は、それぞれ、図中の１３−１、１３−２、１３−３、１３−４、１３−５で示されるカメラ視野の撮像画像を得る。
【００３２】
なお、図１及び後述する図６、図７においては、図を見やすくするために、塗り潰し領域で示したカメラ視野１３−１、１３−２、１３−３、１３−４、１３−５がある距離以降で無くなって示されているが、実際には、カメラ１２−１、１２−２、１２−３、１２−４、１２−５からの距離が遠くなるほど塗り潰し領域が薄くなるイメージである。
【００３３】
以下、説明を簡単化するために、各監視員１１−１、１１−２、１１−３、１１−４、１１−５を単に監視員１１と呼び、各ウェアラブルカメラ１２−１、１２−２、１２−３、１２−４、１２−５を単にウェアラブルカメラ１２と呼び、各カメラ視野１３−１、１３−２、１３−３、１３−４、１３−５を単にカメラ視野１３と呼ぶことがある。
【００３４】
各ウェアラブルカメラ１２は、サーバ装置２０に無線機２１及びネットワーク２２を介して接続されている。つまり、各ウェアラブルカメラ１２からサーバ２０に無線により撮像画像が送信可能とされており、サーバ２０から各ウェアラブルカメラ１２に無線により制御情報等が送信可能とされている。
【００３５】
図２に、ウェアラブルカメラ１００（１２−１〜１２−５）の構成を示す。ウェアラブルカメラ１００は、撮像部１０１と、カメラ視野情報生成部１０２と、センサ１０３と、属性情報保持部１０４と、無線通信部１０５と、フィードバック制御部１０６と、フィードバック出力部１０７とを有する。
【００３６】
撮像部１０１は、光学系及び撮像素子を有する所謂カメラ部である。撮像部１０１によって得られた撮像画像は、無線通信部１０５を介してサーバ装置２０に無線送信される。
【００３７】
カメラ視野情報生成部１０２は、センサ１０３により得られた情報に基づいてウェアラブルカメラ１００の位置及び向きを求める。カメラ視野情報生成部１０２は、このカメラ位置及び向きの情報と、属性情報保持部１０４に保持されているカメラ（すなわち撮像部１０１）の画角情報とを用いて、撮像部１０１による撮像範囲の情報であるカメラ視野情報を生成する。
【００３８】
ここで、カメラ位置及び向きの求め方は、特に限定されず、種々の既存の技術を適用すればよい。例えば、センサ１０３がＧＰＳと地磁気センサであり、ＧＰＳの情報から位置を求め、地磁気センサの情報から向きを求めればよい。また、撮像部１０１によって得られた撮像画像に基づいて、カメラ位置及び向きを求めてもよい。撮像画像に基づいてカメラ位置及び向きを求める場合、例えば、監視エリアＡＲ０内又は周辺に設置された複数の位置標識を識別し、それら位置標識に基づいて、三角測量の方法を用いてウェアラブルカメラ１００の位置及び向きを求めることができる。
【００３９】
属性情報保持部１０４には、ウェアラブルカメラ１００のＩＤ（識別）情報、及び、撮像部１０１の画角情報が保持されている。カメラ視野情報生成部１０２は、生成したカメラ視野情報に、そのウェアラブルカメラのＩＤ情報を付加したものを、無線通信部１０５を介してサーバ装置２０に送信する。
【００４０】
また、ウェアラブルカメラ１００は、無線通信部１０５を介してサーバ装置２０からのフィードバック量情報を受信する。フィードバック量情報は、フィードバック制御部１０６に入力される。フィードバック制御部１０６は、フィードバック量情報に応じてフィードバック出力部１０７の出力を制御する。
【００４１】
フィードバック出力部１０７は、上述したように、ウェアラブルカメラ１００を携帯している監視員に、フィードバック量に応じたレベルの喚起出力を行う機器であり、スピーカやバイブレータ等である。なお、図２では、フィードバック出力部１０７がウェアラブルカメラ１００に設けられている例が示されているが、フィードバック出力部１０７は、ウェアラブルカメラ１００とは別体に設けられていてもよい。
【００４２】
図３に、サーバ装置２００（２０）の構成を示す。サーバ装置２００は、無線通信部２０１と、画像収集・統合部２０２と、視野重複判定部２０３と、フィードバック量決定部２０４とを有する。なお、図３では、一例として、サーバ装置２００は、無線通信部２０１を有する構成となっているが、図１に示したように、無線通信部２０１（図１における無線機２１）は、サーバ装置２００とは別個に設けられていてもよい。
【００４３】
図３において、サーバ装置２００は、無線通信部２０１を介して、各ウェアラブルカメラ１００（１２−１〜１２−５）から撮像画像を受信する。また、サーバ装置２００は、無線通信部２０１を介して、各ウェアラブルカメラ１００（１２−１〜１２−５）から、カメラ視野情報を受信する。
【００４４】
画像収集・統合部２０２は、各ウェアラブルカメラ１００からの、撮像画像を入力し収集する。画像収集・統合部２０２は、各ウェアラブルカメラ１００によって得られた撮像画像を、各ウェアラブルカメラ１００からのカメラ視野情報を用いて、カメラ視野に関連付けて統合することもできる。また、画像収集・統合部２０２は、収集された撮像画像の各々に、どのエリアを撮像したものであるかを示すカメラ視野情報を付随させた表示画像を形成することもできる。画像収集・統合部２０２によって収集及び又は統合された撮像画像は、サーバ装置２００に接続された表示部（図示せず）に表示される。
【００４５】
視野重複判定部２０３は、無線通信部２０１を介して、各ウェアラブルカメラ１００（１２−１〜１２−５）から、カメラ視野情報及びＩＤ情報を受信する。視野重複判定部２０３は、これらの情報に基づいて、各ウェアラブルカメラ間のカメラ視野の重複量を計算する。
【００４６】
フィードバック量決定部２０４は、重複量に応じて各ウェアラブルカメラ１００毎にフィードバック量を決定し、フィードバック量を示すフィードバック量情報を生成する。フィードバック量決定部２０４によって生成されたフィードバック量情報は、無線通信部２０１を介して、各ウェアラブルカメラ１００に無線送信される。
【００４７】
次に、図４を用いて、ウェアラブルカメラ１００及びサーバ装置２００の動作について説明する。図４Ａはウェアラブルカメラ１００の動作を示し、図４Ｂはサーバ装置２００の動作を示す。
【００４８】
先ず、ステップＳＴ１１において、ウェアラブルカメラ１００のカメラ視野情報生成部１０２は、センサ１０３からの情報に基づいてカメラ位置及び向きを検出する。次に、ステップＳＴ１２において、カメラ視野情報生成部１０２は、属性情報保持部１０４からＩＤ情報、画角情報等のカメラ属性情報を取得する。次に、ステップＳＴ１３において、カメラ視野情報生成部１０２は、カメラ位置、向き及び画角情報とを用いて、カメラ視野情報を生成し、これをＩＤ情報と共にサーバ装置２００に送信する。
【００４９】
ここで、ステップＳＴ１１−ＳＴ１３の処理は、タイマ割り込み等により、一定周期毎に起動される。一定周期とは、例えば数十ｍｓｅｃである。なお、一定周期は、これに限らない。
【００５０】
次に、ステップＳＴ２１において、サーバ装置２００は、各ウェアラブルカメラ１００のカメラ視野情報を受信し、保存する。サーバ装置２００は、複数のウェアラブルカメラ１００からのカメラ視野情報を時分割又は周波数分割して受信する。
【００５１】
次に、ステップＳＴ２２において、視野重複判定部２０３は、番号ｉのウェアラブルカメラ１００のカメラ視野と他のカメラのカメラ視野との重複量を計算する。本実施の形態の場合、重複量は、次式によって求められる。
重複量 ＝ 重複している面積×重複している部分の密度 ………（１）
【００５２】
ここで、本実施の形態の場合、式（１）における「密度」は、以下のいずれか１つ又は２つ以上の組み合わせによって定義されるものである。
【００５３】
・広角のカメラほど上記密度を小さく設定し（図５Ａ）、狭角のカメラほど上記密度を大きく設定する（図５Ｂ）。
【００５４】
・カメラ視野の中心方向Ｃ０に近いほど上記密度を大きく設定する（図５Ｃ）。
【００５５】
・カメラから近いほど上記密度を大きく設定する（図５Ｄ）。
【００５６】
ここで、重複している部分に複数の密度が含まれる場合には、それら複数の密度の平均値を求めて、式（１）の密度として用いればよい。また、重複している部分に含まれる密度の中で最も大きい密度を選択して、式（１）の密度として用いてもよい。
【００５７】
また、式（１）の密度は、現在処理している番号ｉのカメラの密度のみを反映してもよく、現在処理している番号ｉのカメラの密度に加えて、重複している他のカメラの密度をも反映してもよい。
【００５８】
現在処理している番号ｉのカメラの密度のみを式（１）に反映させる場合、式（１）は、次式のように記述することができる。
重複量 ＝ 重複している面積
×番号ｉのカメラの重複している部分の密度
………（２）
【００５９】
現在処理している番号ｉのカメラの密度に加えて、重複している他のカメラの密度をも反映させる場合、式（１）は、次式のように記述することができる。
重複量 ＝ 重複している面積
×（番号ｉのカメラの重複している部分の密度＋他のカメラの重複している部分の密度）
………（３）
【００６０】
式（１）の密度とは、単純に、重なりの濃さを示すものと考えてもよい。例えば、２つのカメラ視野が重複している場合には、密度は２であり、３つのカメラ視野が重複している場合には、密度は３であると考えてもよい。図５に示したようなパラメータを導入する利点は、撮像画像の品質を加味した重複量を求めることができる点である。
【００６１】
再び、図４に戻って、説明を続ける。ステップＳＴ２３において、サーバ装置２００のフィードバック量決定部２０４は、重複量に基づいてフィードバック量を決定し、フィードバック量を示すフィードバック量情報を生成する。ステップＳＴ２４では、サーバ装置２００が無線通信部２０１を介してフィードバック量情報を番号ｉのウェアラブルカメラ１００に送信する。ステップＳＴ２５では、番号ｉがインクリメントされる。これにより、ステップＳＴ２２−ＳＴ２３−ＳＴ２４の処理が監視エリアＡＲ０内の複数のウェアラブルカメラに対して実行され、各カメラにフィードバック量情報が送信される。
【００６２】
なお、ステップＳＴ２２−ＳＴ２５の処理は、タイマ割り込み等により、一定周期毎に起動される。一定周期とは、例えば数十ｍｓｅｃである。なお、一定周期は、これに限らない。
【００６３】
ステップＳＴ１４において、ウェアラブルカメラ１００は、サーバ装置２００からのフィードバック量情報を受信する。次に、ステップＳＴ１５において、ウェアラブルカメラ１００は、フィードバック制御部１０６によって、フィードバック量情報に応じたフィードバック制御量を形成し、このフィードバック制御量をフィードバック出力部１０７に送る。これにより、例えばスピーカやバイブレータ等であるフィードバック出力部１０７から、フィードバック量に応じた音声レベルや振動レベルが出力される。
【００６４】
つまり、カメラ視野の重複量が大きいウェアラブルカメラ１００ほど、サーバ装置２００から大きなフィードバック量が送信され、フィードバック出力部１０７から大きな音や大きな振動が出力される。これにより、重複量が大きい監視員ほど、移動が促される。
【００６５】
図６に、本実施の形態の複数カメラ監視システムによってなされる動作例を示す。
【００６６】
図６において、監視員１１−２が携帯しているウェアラブルカメラ１２−２のカメラ視野１３−２は、監視員１１−１が携帯しているウェアラブルカメラ１２−１のカメラ視野１３−１と領域Ｍ１で重複し、監視員１１−３が携帯しているウェアラブルカメラ１２−３のカメラ視野１３−３と領域Ｍ２で重複している。
【００６７】
よって、サーバ装置２００（２０）から警備員１１−２の携帯しているウェアラブルカメラ１２−２には、領域Ｍ１の面積と領域Ｍ２の面積とを加算した面積に応じたフィードバック量情報が送信される。因みに、警備員１１−１の携帯しているウェアラブルカメラ１２−１には領域Ｍ１の面積に応じたフィードバック量情報が送信され、警備員１１−３の携帯しているウェアラブルカメラ１２−３には領域Ｍ２の面積に応じたフィードバック量情報が送信される。なお、ここでは説明を簡単化するために、上述した、重複部分の密度については考慮していない。
【００６８】
この結果、複数の警備員の中で警備員１１−２に、最も大きなフィードバック量が与えられ、警備員１１−２は大きな音や大きな振動等によって移動することを促される。
【００６９】
フィードバック出力によって促された警備員１１−２は、図中の細い矢印のいずれの方向にも移動する可能性があるが、図では、警備員１１−２が図中の太い矢印の方向に移動した場合が示されている。図には、移動後の警備員１１−２’、移動後のウェアラブルカメラ１２−２’、移動後のカメラ視野１３−２’が示されている。図から、警備員１１−２に移動を促したことにより、移動後の警備員１１−２’のカメラ視野１３−２’は重複領域がなくなっていることが分かる。つまり、監視エリアＡＲ０を全体として見たときに、カメラ視野の重複が減少し、その分、死角領域が減少している。
【００７０】
このように、カメラ視野の重なり量が大きいウェアラブルカメラを携帯している監視員ほどフィードバック量を大きくしたことにより、カメラ視野の重複量が大きいウェアラブルカメラを携帯している監視員ほど移動が促され、その結果、効率的にカメラ視野を分散させて、死角領域を低減することができる。
【００７１】
以上説明したように、本実施の形態によれば、各カメラのカメラ視野を求めるカメラ視野算出部１０２と、各カメラ間のカメラ視野の重複量を求める視野重複判定部２０３と、重複量に基づいて、各カメラへのフィードバック量を決定するフィードバック量決定部２０４と、フィードバック量の情報を受信し、フィードバック量に応じたレベルの喚起出力を行うフィードバック出力部１０７と、を設けたことにより、比較的簡易な構成で、死角領域を低減できる複数カメラ監視システムを実現できる。
【００７２】
特に、ディスプレイ装置等を持たず、伝達可能な情報量が限られている監視員に対して、フィードバック量によって有効に移動を促すことにより、各監視員が動き回る環境下で迅速かつ効率的な死角補完を実現できる。
【００７３】
なお、上述の実施の形態では、ウェアラブルカメラ１００側にカメラ視野情報生成部１０２を設けた場合について述べたが、ウェアラブルカメラからウェアラブルカメラの位置、向き、画角の情報を送信し、サーバ装置２００側でこれらの情報に基づいて各ウェアラブルカメラのカメラ視野を求めるようにしてもよい。さらには、ウェアラブルカメラ１００のセンサ１０３の情報をサーバ装置２００側に送信することで、カメラ位置及び向きも、サーバ装置２００側で求めるようにしてもよい。
【００７４】
また、上述の実施の形態では、視野重複判定部２０３及びフィードバック量決定部２０４を、サーバ装置に設けた例について述べたが、これらはサーバ装置とは別の装置に設けてもよい。要は、視野重複判定部２０３及びフィードバック量決定部２０４は、複数カメラを管理するセンター装置に設ければよい。そして、センター装置は、複数のカメラがマスタ−スレーブ構成とされている場合には、マスタであるカメラに設けられていてもよい。
【００７５】
さらに、本発明は、複数の固定カメラを設置する場合に適用しても、カメラ視野の重複領域の少ないカメラ配置を実現できるので有効である。例えば、固定カメラを設置する作業者にフィードバック出力部１０７を携帯させるようにすれば、作業者はフィードバック出力部１０７の出力に基づいて、カメラ視野の重複が少ない位置に順次固定カメラを設置することができるようになる。
【００７６】
［３］実施の形態２
本実施の形態では、ウェアラブルカメラ（端末）に応じてフィードバック量を制御する（優先度を付ける）ことを提示する。また、本実施の形態では、エリア重要度に応じてフィードバック量を制御することを提示する。
【００７７】
実施の形態１で説明した複数カメラ監視システムにおいては、カメラ視野が重複した場合、２人以上の監視員に移動を促すフィードバック量情報が送信される。しかし、実際上、カメラ視野の重複を解消するためには、必ずしも２人以上の監視員に移動を促す必要はなく、１人の監視員のみに移動を促せば十分な場合も多い。カメラ視野が重複した元になっている複数の監視員全てに移動を促すと、却って、別の監視員のカメラ視野との重複量が増大したり、監視エリア内全体を見た場合に重複量が発振するおそれもある。
【００７８】
これを考慮して、本実施の形態では、ウェアラブルカメラ（端末）に応じてフィードバック量を制御する（優先度を付ける）。例えば、過去一定時間の移動履歴の大きさから、動き回る可能性が高いと推定される監視員が携帯しているウェアラブルカメラには、大きな値の係数を乗じたフィードバック量を与えることで、重複量に対するフィードバック出力部１０７の出力を大きくする。この係数の乗算は、フィードバック量決定部２０４で行ってもよく、フィードバック制御部１０６で行ってもよい。逆に、動き回る可能性が低い監視員が携帯しているウェアラブルカメラには、小さな係数を乗じたフィードバック量を与えることで、重複量に対するフィードバック出力部１０７の出力を小さくする。
【００７９】
例えば、図７において、監視員１１−２が動き回る可能性の高い監視員であり、監視員１１−１、１１−３が動き回る可能性の低い監視員と仮定する。すると、監視員１１−２のウェアラブルカメラ１２−２に重複量（Ｍ１＋Ｍ２）に対してより大きなフィードバック量が与えられ、監視員１１−１、１１−３のウェアラブルカメラ１２−１、１２−３に重複量Ｍ１、Ｍ２に対してより小さなフィードバック量が与えられる。この結果、監視員１１−１、１１−３の移動を抑制し、監視員１１−２のみに移動を促すことができるようになる。
【００８０】
また、カメラ画角の狭いカメラほど優先度を高くしてもよい（つまり、係数を大きくしてもよい）。
【００８１】
これにより被写体をより高精細に撮影することができる画角の狭いカメラで定常的に監視エリア内の特定領域の撮影を行いながら、これらの画角の狭いカメラがカバーしない監視エリア内の死角領域を画角の広いカメラで撮影するという死角補完が実現できる。
【００８２】
また、上記とは逆にカメラ画角の広いカメラほど優先度を高くしてもよい（つまり、係数を大きくしてもよい）。
【００８３】
これにより画角が広く他のカメラとの視野の重複が起こり易いカメラの動きを抑制して、画角の狭いカメラの視野を動かすことにより監視領域内の死角補完を実現することとなり、各カメラの動きが安定しやすいという効果が生じる。
【００８４】
これらカメラ画角に応じた優先度制御は監視の目的に応じて使い分けることが可能である。
【００８５】
また、重点監視エリアは特に重点的に監視したいエリアであり、カメラ視野が多少重複したとしても許容した方がよい。これを考慮して、本実施の形態では、図７に示されている重点監視エリアでカメラ視野が重複した場合、重複領域Ｍ３を形成しているウェアラブルカメラ１２−４、１２−５には、小さな値の係数を乗じたフィードバック量を与える。これにより、重点監視エリアを撮像しているウェアラブルカメラ１２−４、１２−５は移動が抑止される。これにより、重点監視エリアが死角領域となる可能性を低くすることができる。
【００８６】
図４との対応部分に同一符号を付して示す図８を用いて、本実施の形態の動作について説明する。図８Ａはウェアラブルカメラ１００の動作を示し、図８Ｂはサーバ装置２００の動作を示す。ウェアラブルカメラ１００の動作は、図４と同様である。
【００８７】
サーバ装置２００のフィードバック量決定部２０４は、ステップＳＴ３１において、視野重複量、端末係数及びエリア重要度係数を加重し、ステップＳＴ３２において、加重された視野重複量に応じたフィードバック量情報を生成する。
【産業上の利用可能性】
【００８８】
本発明は、複数のカメラを用いて監視領域内の撮像画像を収集する複数カメラ監視システムに好適である。
【符号の説明】
【００８９】
１０ 複数カメラ監視システム
１１−１、１１−２、１１−３、１１−４、１１−５ 監視員
１２−１、１２−２、１２−３、１２−４、１２−５、１００ ウェアラブルカメラ
１３−１、１３−２、１３−３、１３−４、１３−５ カメラ視野
２０、２００ サーバ装置
１０１ 撮像部
１０２ カメラ視野情報生成部
１０３ センサ
１０４ 属性情報保持部
１０５、２０１ 無線通信部
１０６ フィードバック制御部
１０７ フィードバック出力部
２０２ 画像収集・統合部
２０３ 視野重複判定部
２０４ フィードバック量決定部
ＡＲ０ 監視エリア
【技術分野】
【０００１】
本発明は、複数カメラを用いた監視システムにおいて、カメラによって撮像されない監視死角領域を低減する技術に関する。
【背景技術】
【０００２】
従来、警備員が身体（頭部又は胸ポケット等）に装着したカメラにより周囲画像を撮影し、不審者検出や防犯に役立てるための装置が提案されている。このような装置は、例えば、特許文献１及び特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０８６５８２号公報
【特許文献２】特表２００７−５２３５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、装着型のカメラ（以下これをウェアラブルカメラと呼ぶ）の用いられ方としては、複数の警備員のウェアラブルカメラから得られた監視画像情報を、センター装置によって収集することで、大きな監視エリアを網羅する監視画像を取得するといった、ことが想定される。
【０００５】
このような想定される用いられ方においては、各ウェアラブルカメラの配置及び方向を制御しないと、重複して撮像される監視画像が増大し、これに伴って、撮像されない死角領域が増大すると考えられる。このような状況は、複数のウェアラブルカメラに限らず、複数の固定カメラを設置する場合も起こり得る。
【０００６】
本発明はかかる点に鑑みてなされたものであり、比較的簡易な構成で、死角領域を低減できる複数カメラ監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の複数カメラ監視システムの一つの態様は、複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する複数カメラ監視システムであって、各カメラのカメラ視野を求めるカメラ視野算出部と、各カメラ間の前記カメラ視野の重複量を求める視野重複判定部と、前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定部と、前記各カメラへのフィードバック量の情報を送信するフィードバック量情報送信部と、前記フィードバック量の情報を受信し、前記フィードバック量に応じたレベルの喚起出力を行うフィードバック出力部と、を具備する。
【０００８】
本発明の携帯端末装置の一つの態様は、複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する、複数カメラ監視システムに用いられる携帯端末装置であって、カメラと、他のカメラとのカメラ視野の重複量に基づいて決定されたフィードバック量に応じたレベルの喚起出力を行うフィードバック出力部と、を具備する。
【０００９】
本発明のセンター装置の一つの態様は、複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する、複数カメラ監視システムに用いられるセンター装置であって、各カメラ間の前記カメラ視野の重複量を求める視野重複判定部と、前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定部と、前記各カメラへのフィードバック量の情報を送信するフィードバック量情報送信部と、を具備する。
【００１０】
本発明の複数カメラ監視方法の一つの態様は、複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する複数カメラ監視方法であって、各カメラのカメラ視野を求めるカメラ視野算出ステップと、各カメラ間の前記カメラ視野の重複量を求める視野重複判定ステップと、前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定ステップと、前記フィードバック量の情報を受信し、前記フィードバック量に応じたレベルの喚起出力を行うフィードバック出力ステップと、を含む。
【発明の効果】
【００１１】
本発明によれば、比較的簡易な構成で、複数のウェアラブルカメラを連携させて監視エリアの死角補完を図ることができ、死角領域を低減できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る複数カメラ監視システムのイメージを示す図
【図２】ウェアラブルカメラの構成例を示すブロック図
【図３】サーバ装置の構成例を示すブロック図
【図４】ウェアラブルカメラ及びサーバ装置の動作の説明に供するフローチャート
【図５】実施の形態における「密度」の説明に供する図であり、図５Ａは広角カメラの密度設定を示す図、図５Ｂは狭角カメラの密度設定を示す図、図５Ｃはカメラ視野の中心方向からの角度に応じた密度設定を示す図、図５Ｄはカメラからの距離に応じた密度設定を示す図
【図６】実施の形態の構成によって実現される動作例を示す図
【図７】実施の形態２のイメージを示す図
【図８】実施の形態２のウェアラブルカメラ及びサーバ装置の動作の説明に供するフローチャート
【発明を実施するための形態】
【００１３】
［１］本発明に至るまでの検討と本発明の原理
先ず、実施の形態を説明する前に、本発明に至るまでに発明者になされた検討事項と、本発明の原理について説明する。
【００１４】
［１−１］本発明に至るまでの検討事項
本発明の発明者は、次のようなケースを想定した。
・ウェアラブルカメラを装着した複数の監視員が監視エリア内を巡回して監視するケース。なお、ウェアラブルカメラが特に有効となるのは、Battle field（争乱の起きている場所）、イベント会場など、固定カメラを定常的、計画的に設置することが難しい場所で用いられる場合である。
【００１５】
・サーバ装置（以下の説明ではサーバ装置を中心に説明するが、以下の説明におけるサーバ装置はセンター装置と言い換えてもよい）に監視エリア内の各ウェアラブルカメラによって撮像された画像、及び、各ウェアラブルカメラの位置と向きと視野角の情報を収集し、エリア内の視野配置（監視画像）を生成するケース。
【００１６】
発明者は、上述したケースにおいて、収集された複数のウェアラブルカメラの画像が、できるだけ広い面積の監視エリアを網羅する（つまり、限られた数のウェアラブルカメラを適切な位置・方向に配置して、監視エリア内の死角を少なくする）にはどのような制御が必要であるかについて考察した。先ず、発明者は、一例として、次のような処理を考えた。
【００１７】
(1) 各カメラの位置、向き情報を、サーバ装置に集める。
(2) サーバ装置においてカメラの最適配置を計算する。
(3) サーバ装置から各カメラに最適配置のカメラ位置、向き情報を配信通知する。
(4) 各カメラのユーザインターフェースを介して監視員に位置、向きの変更を指示する。
【００１８】
しかしながら、上述のような処理においては、(2)で行われるカメラの最適配置（位置・向き）の導出処理は、ナップザック問題のような最適化問題を解く処理であり、それを解くための計算量が非常に大きくなる。特に、カメラの台数が増え、カメラ固有のパラメータ（視野角等）が増えるほどサーバでの計算量が指数関数的に増加する。因みに、各カメラが動くこともあるので、完璧な最適化が行われる訳ではないが、サーバ装置で行われるアルゴリズムは最適化を目指してしまうので、計算量が非常に多くなる。
【００１９】
また、最適化問題を解決し、最適配置を求めたとしても、最適配置を実現するために、ユーザインターフェースを介して各監視員に伝えられる情報は、監視員にとって難解になる。つまり、例えば監視員には「右へ１５°回転、７時の方向へ３ｍ移動」等の監視員にとって難解な情報が通知されるので、監視員はbattle field等にいる場合には、この情報を基に迅速に行動することが困難である。よって、膨大な計算を行って最適問題を解決したとしても、カメラの最適配置が迅速に実現されるのは困難である。
【００２０】
［１−２］本発明の原理
本発明は、少ない計算量でカメラの最適配置を実現する。
また、本発明は、監視員が理解し易い通知情報を用いて監視員に移動を促すことで、カメラの迅速な最適配置を実現する。なお、本発明で言う最適配置とは、その配置自体を計算により求めるものではなく、現状のカメラ配置を基にカメラを保持している人物に移動を促すことにより、結果的に得られるものである。
【００２１】
これらを実現するため、本発明では、以下の処理を行う。
【００２２】
(1) 各カメラの位置、向き、画角によって決まる各カメラのカメラ視野（カメラ視野とは有効視野のことである）を、サーバ装置に集める。
【００２３】
(2) サーバ装置において、監視エリア内のカメラ視野の配置を求め、各カメラについて、周辺のカメラのカメラ視野と自身のカメラ視野との重複量を導出する。つまり、サーバ装置では、ナップザック問題のような最適化問題を解く処理は行わず、監視エリア内でのカメラ視野の重複量の算出のみを行う。これにより、最適配置のための計算量が削減される。また、重複量は、“重複量＝重なりの面積”としてもよく、“重複量＝重複している面積×重複している部分の密度”としてもよい。この密度は、カメラの視野角及び又はカメラからの距離等に応じたものとすればよい。詳しくは後述する。
【００２４】
(3) サーバ装置から各カメラに、各カメラの重複量に比例した強さのフィードバック量を通知する。ここで、各カメラに通知するとは、各カメラを携帯している人物が携帯している音源、バイブレータ等のフィードバック出力部に通知するという意味である。
【００２５】
(4) フィードバック出力部からフィードバック量に応じたレベルの喚起出力を行うことで、監視員に移動を促す。これにより、監視員は、喚起出力（音（ノイズ音や不協和音等）又は振動等）の強弱によって、移動すべき程度を直感的に把握できる。各監視員がフィードバック量が小さくするように自身の位置、向きを自律的に調整することにより、カメラ視野の重複量が極小化され、結果としてカメラの適切な配置が実現される。つまり、複数カメラのカメラ視野が監視エリア内に効率良く分散され、監視エリア内の死角が低減される。
【００２６】
なお、監視員（カメラ）に対するフィードバック量に優先度をつけてもよい。これにより、複数の監視員が同時に動くことによる悪影響（重複量の増加、複数の監視員による相互の視野重複回避動作の発振等）を抑制すること、監視員の不要な混乱を抑えること、監視員の機動性に応じた制御を行うこと、等を実現できる。
【００２７】
また、監視エリア内の位置、方角に応じてフィードバックの大きさを制御してもよい。これにより、特定エリアを重点的に監視する等の制御を行うことが可能となる。
【００２８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２９】
［２］実施の形態１
図１は、本発明の実施の形態に係る複数カメラ監視システムのイメージを示す。
【００３０】
複数カメラ監視システム１０は、複数のウェアラブルカメラ１２−１、１２−２、１２−３、１２−４、１２−５と、サーバ装置２０とを有する。
【００３１】
監視エリアＡＲ０内には、ウェアラブルカメラ１２−１、１２−２、１２−３、１２−４、１２−５を装着している複数の監視員１１−１、１１−２、１１−３、１１−４、１１−５が存在する。ウェアラブルカメラ１２−１、１２−２、１２−３、１２−４、１２−５は、それぞれ、図中の１３−１、１３−２、１３−３、１３−４、１３−５で示されるカメラ視野の撮像画像を得る。
【００３２】
なお、図１及び後述する図６、図７においては、図を見やすくするために、塗り潰し領域で示したカメラ視野１３−１、１３−２、１３−３、１３−４、１３−５がある距離以降で無くなって示されているが、実際には、カメラ１２−１、１２−２、１２−３、１２−４、１２−５からの距離が遠くなるほど塗り潰し領域が薄くなるイメージである。
【００３３】
以下、説明を簡単化するために、各監視員１１−１、１１−２、１１−３、１１−４、１１−５を単に監視員１１と呼び、各ウェアラブルカメラ１２−１、１２−２、１２−３、１２−４、１２−５を単にウェアラブルカメラ１２と呼び、各カメラ視野１３−１、１３−２、１３−３、１３−４、１３−５を単にカメラ視野１３と呼ぶことがある。
【００３４】
各ウェアラブルカメラ１２は、サーバ装置２０に無線機２１及びネットワーク２２を介して接続されている。つまり、各ウェアラブルカメラ１２からサーバ２０に無線により撮像画像が送信可能とされており、サーバ２０から各ウェアラブルカメラ１２に無線により制御情報等が送信可能とされている。
【００３５】
図２に、ウェアラブルカメラ１００（１２−１〜１２−５）の構成を示す。ウェアラブルカメラ１００は、撮像部１０１と、カメラ視野情報生成部１０２と、センサ１０３と、属性情報保持部１０４と、無線通信部１０５と、フィードバック制御部１０６と、フィードバック出力部１０７とを有する。
【００３６】
撮像部１０１は、光学系及び撮像素子を有する所謂カメラ部である。撮像部１０１によって得られた撮像画像は、無線通信部１０５を介してサーバ装置２０に無線送信される。
【００３７】
カメラ視野情報生成部１０２は、センサ１０３により得られた情報に基づいてウェアラブルカメラ１００の位置及び向きを求める。カメラ視野情報生成部１０２は、このカメラ位置及び向きの情報と、属性情報保持部１０４に保持されているカメラ（すなわち撮像部１０１）の画角情報とを用いて、撮像部１０１による撮像範囲の情報であるカメラ視野情報を生成する。
【００３８】
ここで、カメラ位置及び向きの求め方は、特に限定されず、種々の既存の技術を適用すればよい。例えば、センサ１０３がＧＰＳと地磁気センサであり、ＧＰＳの情報から位置を求め、地磁気センサの情報から向きを求めればよい。また、撮像部１０１によって得られた撮像画像に基づいて、カメラ位置及び向きを求めてもよい。撮像画像に基づいてカメラ位置及び向きを求める場合、例えば、監視エリアＡＲ０内又は周辺に設置された複数の位置標識を識別し、それら位置標識に基づいて、三角測量の方法を用いてウェアラブルカメラ１００の位置及び向きを求めることができる。
【００３９】
属性情報保持部１０４には、ウェアラブルカメラ１００のＩＤ（識別）情報、及び、撮像部１０１の画角情報が保持されている。カメラ視野情報生成部１０２は、生成したカメラ視野情報に、そのウェアラブルカメラのＩＤ情報を付加したものを、無線通信部１０５を介してサーバ装置２０に送信する。
【００４０】
また、ウェアラブルカメラ１００は、無線通信部１０５を介してサーバ装置２０からのフィードバック量情報を受信する。フィードバック量情報は、フィードバック制御部１０６に入力される。フィードバック制御部１０６は、フィードバック量情報に応じてフィードバック出力部１０７の出力を制御する。
【００４１】
フィードバック出力部１０７は、上述したように、ウェアラブルカメラ１００を携帯している監視員に、フィードバック量に応じたレベルの喚起出力を行う機器であり、スピーカやバイブレータ等である。なお、図２では、フィードバック出力部１０７がウェアラブルカメラ１００に設けられている例が示されているが、フィードバック出力部１０７は、ウェアラブルカメラ１００とは別体に設けられていてもよい。
【００４２】
図３に、サーバ装置２００（２０）の構成を示す。サーバ装置２００は、無線通信部２０１と、画像収集・統合部２０２と、視野重複判定部２０３と、フィードバック量決定部２０４とを有する。なお、図３では、一例として、サーバ装置２００は、無線通信部２０１を有する構成となっているが、図１に示したように、無線通信部２０１（図１における無線機２１）は、サーバ装置２００とは別個に設けられていてもよい。
【００４３】
図３において、サーバ装置２００は、無線通信部２０１を介して、各ウェアラブルカメラ１００（１２−１〜１２−５）から撮像画像を受信する。また、サーバ装置２００は、無線通信部２０１を介して、各ウェアラブルカメラ１００（１２−１〜１２−５）から、カメラ視野情報を受信する。
【００４４】
画像収集・統合部２０２は、各ウェアラブルカメラ１００からの、撮像画像を入力し収集する。画像収集・統合部２０２は、各ウェアラブルカメラ１００によって得られた撮像画像を、各ウェアラブルカメラ１００からのカメラ視野情報を用いて、カメラ視野に関連付けて統合することもできる。また、画像収集・統合部２０２は、収集された撮像画像の各々に、どのエリアを撮像したものであるかを示すカメラ視野情報を付随させた表示画像を形成することもできる。画像収集・統合部２０２によって収集及び又は統合された撮像画像は、サーバ装置２００に接続された表示部（図示せず）に表示される。
【００４５】
視野重複判定部２０３は、無線通信部２０１を介して、各ウェアラブルカメラ１００（１２−１〜１２−５）から、カメラ視野情報及びＩＤ情報を受信する。視野重複判定部２０３は、これらの情報に基づいて、各ウェアラブルカメラ間のカメラ視野の重複量を計算する。
【００４６】
フィードバック量決定部２０４は、重複量に応じて各ウェアラブルカメラ１００毎にフィードバック量を決定し、フィードバック量を示すフィードバック量情報を生成する。フィードバック量決定部２０４によって生成されたフィードバック量情報は、無線通信部２０１を介して、各ウェアラブルカメラ１００に無線送信される。
【００４７】
次に、図４を用いて、ウェアラブルカメラ１００及びサーバ装置２００の動作について説明する。図４Ａはウェアラブルカメラ１００の動作を示し、図４Ｂはサーバ装置２００の動作を示す。
【００４８】
先ず、ステップＳＴ１１において、ウェアラブルカメラ１００のカメラ視野情報生成部１０２は、センサ１０３からの情報に基づいてカメラ位置及び向きを検出する。次に、ステップＳＴ１２において、カメラ視野情報生成部１０２は、属性情報保持部１０４からＩＤ情報、画角情報等のカメラ属性情報を取得する。次に、ステップＳＴ１３において、カメラ視野情報生成部１０２は、カメラ位置、向き及び画角情報とを用いて、カメラ視野情報を生成し、これをＩＤ情報と共にサーバ装置２００に送信する。
【００４９】
ここで、ステップＳＴ１１−ＳＴ１３の処理は、タイマ割り込み等により、一定周期毎に起動される。一定周期とは、例えば数十ｍｓｅｃである。なお、一定周期は、これに限らない。
【００５０】
次に、ステップＳＴ２１において、サーバ装置２００は、各ウェアラブルカメラ１００のカメラ視野情報を受信し、保存する。サーバ装置２００は、複数のウェアラブルカメラ１００からのカメラ視野情報を時分割又は周波数分割して受信する。
【００５１】
次に、ステップＳＴ２２において、視野重複判定部２０３は、番号ｉのウェアラブルカメラ１００のカメラ視野と他のカメラのカメラ視野との重複量を計算する。本実施の形態の場合、重複量は、次式によって求められる。
重複量 ＝ 重複している面積×重複している部分の密度 ………（１）
【００５２】
ここで、本実施の形態の場合、式（１）における「密度」は、以下のいずれか１つ又は２つ以上の組み合わせによって定義されるものである。
【００５３】
・広角のカメラほど上記密度を小さく設定し（図５Ａ）、狭角のカメラほど上記密度を大きく設定する（図５Ｂ）。
【００５４】
・カメラ視野の中心方向Ｃ０に近いほど上記密度を大きく設定する（図５Ｃ）。
【００５５】
・カメラから近いほど上記密度を大きく設定する（図５Ｄ）。
【００５６】
ここで、重複している部分に複数の密度が含まれる場合には、それら複数の密度の平均値を求めて、式（１）の密度として用いればよい。また、重複している部分に含まれる密度の中で最も大きい密度を選択して、式（１）の密度として用いてもよい。
【００５７】
また、式（１）の密度は、現在処理している番号ｉのカメラの密度のみを反映してもよく、現在処理している番号ｉのカメラの密度に加えて、重複している他のカメラの密度をも反映してもよい。
【００５８】
現在処理している番号ｉのカメラの密度のみを式（１）に反映させる場合、式（１）は、次式のように記述することができる。
重複量 ＝ 重複している面積
×番号ｉのカメラの重複している部分の密度
………（２）
【００５９】
現在処理している番号ｉのカメラの密度に加えて、重複している他のカメラの密度をも反映させる場合、式（１）は、次式のように記述することができる。
重複量 ＝ 重複している面積
×（番号ｉのカメラの重複している部分の密度＋他のカメラの重複している部分の密度）
………（３）
【００６０】
式（１）の密度とは、単純に、重なりの濃さを示すものと考えてもよい。例えば、２つのカメラ視野が重複している場合には、密度は２であり、３つのカメラ視野が重複している場合には、密度は３であると考えてもよい。図５に示したようなパラメータを導入する利点は、撮像画像の品質を加味した重複量を求めることができる点である。
【００６１】
再び、図４に戻って、説明を続ける。ステップＳＴ２３において、サーバ装置２００のフィードバック量決定部２０４は、重複量に基づいてフィードバック量を決定し、フィードバック量を示すフィードバック量情報を生成する。ステップＳＴ２４では、サーバ装置２００が無線通信部２０１を介してフィードバック量情報を番号ｉのウェアラブルカメラ１００に送信する。ステップＳＴ２５では、番号ｉがインクリメントされる。これにより、ステップＳＴ２２−ＳＴ２３−ＳＴ２４の処理が監視エリアＡＲ０内の複数のウェアラブルカメラに対して実行され、各カメラにフィードバック量情報が送信される。
【００６２】
なお、ステップＳＴ２２−ＳＴ２５の処理は、タイマ割り込み等により、一定周期毎に起動される。一定周期とは、例えば数十ｍｓｅｃである。なお、一定周期は、これに限らない。
【００６３】
ステップＳＴ１４において、ウェアラブルカメラ１００は、サーバ装置２００からのフィードバック量情報を受信する。次に、ステップＳＴ１５において、ウェアラブルカメラ１００は、フィードバック制御部１０６によって、フィードバック量情報に応じたフィードバック制御量を形成し、このフィードバック制御量をフィードバック出力部１０７に送る。これにより、例えばスピーカやバイブレータ等であるフィードバック出力部１０７から、フィードバック量に応じた音声レベルや振動レベルが出力される。
【００６４】
つまり、カメラ視野の重複量が大きいウェアラブルカメラ１００ほど、サーバ装置２００から大きなフィードバック量が送信され、フィードバック出力部１０７から大きな音や大きな振動が出力される。これにより、重複量が大きい監視員ほど、移動が促される。
【００６５】
図６に、本実施の形態の複数カメラ監視システムによってなされる動作例を示す。
【００６６】
図６において、監視員１１−２が携帯しているウェアラブルカメラ１２−２のカメラ視野１３−２は、監視員１１−１が携帯しているウェアラブルカメラ１２−１のカメラ視野１３−１と領域Ｍ１で重複し、監視員１１−３が携帯しているウェアラブルカメラ１２−３のカメラ視野１３−３と領域Ｍ２で重複している。
【００６７】
よって、サーバ装置２００（２０）から警備員１１−２の携帯しているウェアラブルカメラ１２−２には、領域Ｍ１の面積と領域Ｍ２の面積とを加算した面積に応じたフィードバック量情報が送信される。因みに、警備員１１−１の携帯しているウェアラブルカメラ１２−１には領域Ｍ１の面積に応じたフィードバック量情報が送信され、警備員１１−３の携帯しているウェアラブルカメラ１２−３には領域Ｍ２の面積に応じたフィードバック量情報が送信される。なお、ここでは説明を簡単化するために、上述した、重複部分の密度については考慮していない。
【００６８】
この結果、複数の警備員の中で警備員１１−２に、最も大きなフィードバック量が与えられ、警備員１１−２は大きな音や大きな振動等によって移動することを促される。
【００６９】
フィードバック出力によって促された警備員１１−２は、図中の細い矢印のいずれの方向にも移動する可能性があるが、図では、警備員１１−２が図中の太い矢印の方向に移動した場合が示されている。図には、移動後の警備員１１−２’、移動後のウェアラブルカメラ１２−２’、移動後のカメラ視野１３−２’が示されている。図から、警備員１１−２に移動を促したことにより、移動後の警備員１１−２’のカメラ視野１３−２’は重複領域がなくなっていることが分かる。つまり、監視エリアＡＲ０を全体として見たときに、カメラ視野の重複が減少し、その分、死角領域が減少している。
【００７０】
このように、カメラ視野の重なり量が大きいウェアラブルカメラを携帯している監視員ほどフィードバック量を大きくしたことにより、カメラ視野の重複量が大きいウェアラブルカメラを携帯している監視員ほど移動が促され、その結果、効率的にカメラ視野を分散させて、死角領域を低減することができる。
【００７１】
以上説明したように、本実施の形態によれば、各カメラのカメラ視野を求めるカメラ視野算出部１０２と、各カメラ間のカメラ視野の重複量を求める視野重複判定部２０３と、重複量に基づいて、各カメラへのフィードバック量を決定するフィードバック量決定部２０４と、フィードバック量の情報を受信し、フィードバック量に応じたレベルの喚起出力を行うフィードバック出力部１０７と、を設けたことにより、比較的簡易な構成で、死角領域を低減できる複数カメラ監視システムを実現できる。
【００７２】
特に、ディスプレイ装置等を持たず、伝達可能な情報量が限られている監視員に対して、フィードバック量によって有効に移動を促すことにより、各監視員が動き回る環境下で迅速かつ効率的な死角補完を実現できる。
【００７３】
なお、上述の実施の形態では、ウェアラブルカメラ１００側にカメラ視野情報生成部１０２を設けた場合について述べたが、ウェアラブルカメラからウェアラブルカメラの位置、向き、画角の情報を送信し、サーバ装置２００側でこれらの情報に基づいて各ウェアラブルカメラのカメラ視野を求めるようにしてもよい。さらには、ウェアラブルカメラ１００のセンサ１０３の情報をサーバ装置２００側に送信することで、カメラ位置及び向きも、サーバ装置２００側で求めるようにしてもよい。
【００７４】
また、上述の実施の形態では、視野重複判定部２０３及びフィードバック量決定部２０４を、サーバ装置に設けた例について述べたが、これらはサーバ装置とは別の装置に設けてもよい。要は、視野重複判定部２０３及びフィードバック量決定部２０４は、複数カメラを管理するセンター装置に設ければよい。そして、センター装置は、複数のカメラがマスタ−スレーブ構成とされている場合には、マスタであるカメラに設けられていてもよい。
【００７５】
さらに、本発明は、複数の固定カメラを設置する場合に適用しても、カメラ視野の重複領域の少ないカメラ配置を実現できるので有効である。例えば、固定カメラを設置する作業者にフィードバック出力部１０７を携帯させるようにすれば、作業者はフィードバック出力部１０７の出力に基づいて、カメラ視野の重複が少ない位置に順次固定カメラを設置することができるようになる。
【００７６】
［３］実施の形態２
本実施の形態では、ウェアラブルカメラ（端末）に応じてフィードバック量を制御する（優先度を付ける）ことを提示する。また、本実施の形態では、エリア重要度に応じてフィードバック量を制御することを提示する。
【００７７】
実施の形態１で説明した複数カメラ監視システムにおいては、カメラ視野が重複した場合、２人以上の監視員に移動を促すフィードバック量情報が送信される。しかし、実際上、カメラ視野の重複を解消するためには、必ずしも２人以上の監視員に移動を促す必要はなく、１人の監視員のみに移動を促せば十分な場合も多い。カメラ視野が重複した元になっている複数の監視員全てに移動を促すと、却って、別の監視員のカメラ視野との重複量が増大したり、監視エリア内全体を見た場合に重複量が発振するおそれもある。
【００７８】
これを考慮して、本実施の形態では、ウェアラブルカメラ（端末）に応じてフィードバック量を制御する（優先度を付ける）。例えば、過去一定時間の移動履歴の大きさから、動き回る可能性が高いと推定される監視員が携帯しているウェアラブルカメラには、大きな値の係数を乗じたフィードバック量を与えることで、重複量に対するフィードバック出力部１０７の出力を大きくする。この係数の乗算は、フィードバック量決定部２０４で行ってもよく、フィードバック制御部１０６で行ってもよい。逆に、動き回る可能性が低い監視員が携帯しているウェアラブルカメラには、小さな係数を乗じたフィードバック量を与えることで、重複量に対するフィードバック出力部１０７の出力を小さくする。
【００７９】
例えば、図７において、監視員１１−２が動き回る可能性の高い監視員であり、監視員１１−１、１１−３が動き回る可能性の低い監視員と仮定する。すると、監視員１１−２のウェアラブルカメラ１２−２に重複量（Ｍ１＋Ｍ２）に対してより大きなフィードバック量が与えられ、監視員１１−１、１１−３のウェアラブルカメラ１２−１、１２−３に重複量Ｍ１、Ｍ２に対してより小さなフィードバック量が与えられる。この結果、監視員１１−１、１１−３の移動を抑制し、監視員１１−２のみに移動を促すことができるようになる。
【００８０】
また、カメラ画角の狭いカメラほど優先度を高くしてもよい（つまり、係数を大きくしてもよい）。
【００８１】
これにより被写体をより高精細に撮影することができる画角の狭いカメラで定常的に監視エリア内の特定領域の撮影を行いながら、これらの画角の狭いカメラがカバーしない監視エリア内の死角領域を画角の広いカメラで撮影するという死角補完が実現できる。
【００８２】
また、上記とは逆にカメラ画角の広いカメラほど優先度を高くしてもよい（つまり、係数を大きくしてもよい）。
【００８３】
これにより画角が広く他のカメラとの視野の重複が起こり易いカメラの動きを抑制して、画角の狭いカメラの視野を動かすことにより監視領域内の死角補完を実現することとなり、各カメラの動きが安定しやすいという効果が生じる。
【００８４】
これらカメラ画角に応じた優先度制御は監視の目的に応じて使い分けることが可能である。
【００８５】
また、重点監視エリアは特に重点的に監視したいエリアであり、カメラ視野が多少重複したとしても許容した方がよい。これを考慮して、本実施の形態では、図７に示されている重点監視エリアでカメラ視野が重複した場合、重複領域Ｍ３を形成しているウェアラブルカメラ１２−４、１２−５には、小さな値の係数を乗じたフィードバック量を与える。これにより、重点監視エリアを撮像しているウェアラブルカメラ１２−４、１２−５は移動が抑止される。これにより、重点監視エリアが死角領域となる可能性を低くすることができる。
【００８６】
図４との対応部分に同一符号を付して示す図８を用いて、本実施の形態の動作について説明する。図８Ａはウェアラブルカメラ１００の動作を示し、図８Ｂはサーバ装置２００の動作を示す。ウェアラブルカメラ１００の動作は、図４と同様である。
【００８７】
サーバ装置２００のフィードバック量決定部２０４は、ステップＳＴ３１において、視野重複量、端末係数及びエリア重要度係数を加重し、ステップＳＴ３２において、加重された視野重複量に応じたフィードバック量情報を生成する。
【産業上の利用可能性】
【００８８】
本発明は、複数のカメラを用いて監視領域内の撮像画像を収集する複数カメラ監視システムに好適である。
【符号の説明】
【００８９】
１０ 複数カメラ監視システム
１１−１、１１−２、１１−３、１１−４、１１−５ 監視員
１２−１、１２−２、１２−３、１２−４、１２−５、１００ ウェアラブルカメラ
１３−１、１３−２、１３−３、１３−４、１３−５ カメラ視野
２０、２００ サーバ装置
１０１ 撮像部
１０２ カメラ視野情報生成部
１０３ センサ
１０４ 属性情報保持部
１０５、２０１ 無線通信部
１０６ フィードバック制御部
１０７ フィードバック出力部
２０２ 画像収集・統合部
２０３ 視野重複判定部
２０４ フィードバック量決定部
ＡＲ０ 監視エリア
【特許請求の範囲】
【請求項１】
複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する複数カメラ監視システムであって、
各カメラのカメラ視野を求めるカメラ視野算出部と、
各カメラ間の前記カメラ視野の重複量を求める視野重複判定部と、
前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定部と、
前記各カメラへのフィードバック量の情報を送信するフィードバック量情報送信部と、
前記フィードバック量の情報を受信し、前記フィードバック量に応じたレベルの喚起出力を行うフィードバック出力部と、
を具備する複数カメラ監視システム。
【請求項２】
前記視野重複判定部は、前記重複量を、前記カメラ視野が重なっている部分の面積と密度とに基づいて求める、
請求項１に記載の複数カメラ監視システム。
【請求項３】
前記フィードバック量決定部は、前記重複量と、各カメラに応じた優先度とに基づいて、前記各カメラへのフィードバック量を決定する、
請求項１又は請求項２に記載の複数カメラ監視システム。
【請求項４】
前記フィードバック量決定部は、前記重複量と、前記カメラ視野が重なっている監視エリアの重要度とに基づいて、前記各カメラへのフィードバック量を決定する、
請求項１又は請求項２に記載の複数カメラ監視システム。
【請求項５】
前記視野重複判定部、前記フィードバック量決定部及び前記フィードバック量情報送信部は、センター装置に設けられており、
前記フィードバック出力部は、各カメラを保持している人物に、前記フィードバック量に応じた音又は振動を伝える音源又はバイブレータである、
請求項１から請求項４のいずれか一項に記載の複数カメラ監視システム。
【請求項６】
複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する、複数カメラ監視システムに用いられる携帯端末装置であって、
カメラと、
他のカメラとのカメラ視野の重複量に基づいて決定されたフィードバック量に応じたレベルの喚起出力を行うフィードバック出力部と、
を具備する携帯端末装置。
【請求項７】
複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する、複数カメラ監視システムに用いられるセンター装置であって、
各カメラ間の前記カメラ視野の重複量を求める視野重複判定部と、
前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定部と、
前記各カメラへのフィードバック量の情報を送信するフィードバック量情報送信部と、
を具備するセンター装置。
【請求項８】
複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する複数カメラ監視方法であって、
各カメラのカメラ視野を求めるカメラ視野算出ステップと、
各カメラ間の前記カメラ視野の重複量を求める視野重複判定ステップと、
前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定ステップと、
前記フィードバック量に応じたレベルの喚起出力を行うフィードバック出力ステップと、
を含む複数カメラ監視方法。
【請求項１】
複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する複数カメラ監視システムであって、
各カメラのカメラ視野を求めるカメラ視野算出部と、
各カメラ間の前記カメラ視野の重複量を求める視野重複判定部と、
前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定部と、
前記各カメラへのフィードバック量の情報を送信するフィードバック量情報送信部と、
前記フィードバック量の情報を受信し、前記フィードバック量に応じたレベルの喚起出力を行うフィードバック出力部と、
を具備する複数カメラ監視システム。
【請求項２】
前記視野重複判定部は、前記重複量を、前記カメラ視野が重なっている部分の面積と密度とに基づいて求める、
請求項１に記載の複数カメラ監視システム。
【請求項３】
前記フィードバック量決定部は、前記重複量と、各カメラに応じた優先度とに基づいて、前記各カメラへのフィードバック量を決定する、
請求項１又は請求項２に記載の複数カメラ監視システム。
【請求項４】
前記フィードバック量決定部は、前記重複量と、前記カメラ視野が重なっている監視エリアの重要度とに基づいて、前記各カメラへのフィードバック量を決定する、
請求項１又は請求項２に記載の複数カメラ監視システム。
【請求項５】
前記視野重複判定部、前記フィードバック量決定部及び前記フィードバック量情報送信部は、センター装置に設けられており、
前記フィードバック出力部は、各カメラを保持している人物に、前記フィードバック量に応じた音又は振動を伝える音源又はバイブレータである、
請求項１から請求項４のいずれか一項に記載の複数カメラ監視システム。
【請求項６】
複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する、複数カメラ監視システムに用いられる携帯端末装置であって、
カメラと、
他のカメラとのカメラ視野の重複量に基づいて決定されたフィードバック量に応じたレベルの喚起出力を行うフィードバック出力部と、
を具備する携帯端末装置。
【請求項７】
複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する、複数カメラ監視システムに用いられるセンター装置であって、
各カメラ間の前記カメラ視野の重複量を求める視野重複判定部と、
前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定部と、
前記各カメラへのフィードバック量の情報を送信するフィードバック量情報送信部と、
を具備するセンター装置。
【請求項８】
複数のカメラにより得られた複数の撮像画像を収集して、監視画像を取得する複数カメラ監視方法であって、
各カメラのカメラ視野を求めるカメラ視野算出ステップと、
各カメラ間の前記カメラ視野の重複量を求める視野重複判定ステップと、
前記重複量に基づいて、前記各カメラへのフィードバック量を決定するフィードバック量決定ステップと、
前記フィードバック量に応じたレベルの喚起出力を行うフィードバック出力ステップと、
を含む複数カメラ監視方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１１４５８０（Ｐ２０１１−１１４５８０Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６９１１６（Ｐ２００９−２６９１１６）
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]