説明

監視制御装置及び監視システム

【課題】人などの動的な遮蔽物により生じる死角の監視効率を向上することが可能である。
【解決手段】遮蔽物抽出手段46が、監視カメラ10A〜10Dから取得された映像から遮蔽物を抽出し、遮蔽物位置推定手段48が遮蔽物の位置を推定する。そして、死角算出手段50は、推定された遮蔽物の位置から監視カメラの死角の位置を算出し、その死角の位置に基づいて、ロボット目標位置姿勢決定手段54などが、移動ロボット20の位置姿勢を制御するので、死角の位置を的確に算出したうえで、移動ロボットを死角に向けて移動させたり姿勢を変更させたりすることができる。これにより、移動ロボットが撮影機能を有している場合には、死角の撮影を行うことができ、移動ロボットが人を移動させる機能を有している場合には、死角が長時間同一位置に留まらないように、人を移動させることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本件は、監視制御装置及び監視システムに関する。
【背景技術】
【0002】
店舗や住宅などでは、セキュリティ向上のため、壁や天井などに固定された監視カメラによる撮影が行われている。このような監視カメラによる撮影に関する技術として、最近では、特許文献1、2のような技術が提案されている。
【0003】
これらのうち、特許文献1の技術は、複数のカメラが、監視領域を広くカバーするように、死角を考慮して自動的に監視領域を変更するものである。また、特許文献2の技術は、監視カメラの情報などから各エリアの危険性を考慮し、巡回ロボットの巡回経路やスケジュールを決定するものである。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2005/076621号
【特許文献2】特開2006−72612号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の技術では、例えば、人の往来が激しい場所など、動的な死角が多く発生する場所を監視する場合に、多くの装置を必要とし、ひいては多大なコストを必要とするおそれがある。
【0006】
また、特許文献2に記載の技術は、無人の空間への人の進入を警戒するためのものであり、有人の空間に発生する死角、すなわち動的な遮蔽物(人など)による死角を考慮したものではない。
【0007】
そこで本件は上記の課題に鑑みてなされたものであり、動的な遮蔽物により生じる死角の監視効率を向上することが可能な監視制御装置及び監視システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本明細書に記載の監視制御装置は、固定カメラから取得された映像から遮蔽物を抽出する遮蔽物抽出手段と、前記遮蔽物抽出手段により抽出された遮蔽物の位置を推定する遮蔽物位置推定手段と、前記遮蔽物位置推定手段により推定された前記遮蔽物の位置から前記固定カメラの死角の位置を算出する死角算出手段と、前記死角算出手段により算出された前記固定カメラの死角の位置に基づいて、移動体の位置姿勢を制御する移動体制御手段と、を備えている。
【0009】
また、本明細書に記載の監視システムは、映像を取得する固定カメラと、移動可能とされた移動体と、前記固定カメラから取得された映像に基づいて、前記移動体の位置姿勢を制御する本明細書に記載の監視制御装置と、を備えている。
【発明の効果】
【0010】
本明細書に記載の監視制御装置及び監視システムは、動的な遮蔽物により生じる死角の監視効率を向上することができるという効果を奏する。
【図面の簡単な説明】
【0011】
【図1】第1の実施形態に係る監視システムが設置される空間を示す図である。
【図2】監視システムの構成を示すブロック図である。
【図3】空間を複数のグリッドで等間隔に分割した状態を示す図である。
【図4】グリッド一覧のデータベースを示す図である。
【図5】グリッドの重要度について説明するための図である。
【図6】図6(a)は、18時36分40秒における空間内の状況を示す図であり、図6(b)は、18時37分10秒における空間内の状況を示す図である。
【図7】18時39分10秒における空間内の状況を示す図である。
【図8】グリッド一覧のデータベース及び死角一覧のデータベースを作成するための処理を示すフローチャートである。
【図9】18時36分40秒におけるグリッド一覧のデータベースを示す図である。
【図10】図10(a)は、18時36分40秒における暫定の死角一覧のデータベースを示す図であり、図10(b)は、18時36分40秒における死角一覧のデータベースを示す図である。
【図11】18時37分10秒におけるグリッド一覧のデータベースを示す図である。
【図12】図12(a)は、18時37分10秒における暫定の死角一覧のデータベースを示す図であり、図12(b)は、18時37分10秒における死角一覧のデータベースを示す図である。
【図13】18時39分10秒におけるグリッド一覧のデータベースを示す図である。
【図14】図14(a)は、18時39分10秒における暫定の死角一覧のデータベースを示す図であり、図14(b)は、18時39分10秒における死角一覧のデータベースを示す図である。
【図15】第1の実施形態の変形例を示す図である。
【図16】第2の実施形態に係る監視システムの構成を示すブロック図である。
【発明を実施するための形態】
【0012】
≪第1の実施形態≫
以下、監視システムの第1の実施形態について、図1〜図14に基づいて詳細に説明する。
【0013】
本第1の実施形態に係る監視システム(以下、「監視システム300」と記述する)は、図1に示す空間100(例えば、店舗)内を撮影して、空間100を監視する者(例えば、店舗の従業員や警備を行う者)に対して、その撮影画像を提供するシステムである。なお、空間100内には、棚110が設置されているものとし、当該棚110の一部に、重要物200が載置されているものとする。
【0014】
監視システム300は、複数(図1では4つ)の固定カメラとしての監視カメラ10A〜10Dと、空間100内を巡視する移動体としての移動ロボット20と、を備える。また、監視システム300は、監視カメラ10A〜10D及び移動ロボット20を制御する監視制御装置としての制御装置40(図2参照)を備える。
【0015】
監視カメラ10A〜10Dは、図1に示すように、空間100を仕切る壁に固定されている。図2には、監視システム300の構成がブロック図にて示されている。この図2に示すように、監視カメラ10A〜10Dのそれぞれは、視野VA〜VD(図1参照)内の映像を個別に取得する映像取得手段12と、当該取得した映像を制御装置40に対して出力する映像出力手段14と、を有する。本第1の実施形態では、視野VA〜VDは固定されているものとする。また、監視カメラ10A〜10Dは、空間100内に人などがいない状態で、空間100内の全てを死角なく撮影可能な位置に設置されている。
【0016】
移動ロボット20は、図2に示すように、位置姿勢検出手段22と、映像取得手段24と、情報通知手段26と、自律移動手段34と、を有する。
【0017】
位置姿勢検出手段22は、加速度センサや方位センサ(地磁気センサなど)、エンコーダなどを含み、移動ロボット20の位置や姿勢を検出するものである。この位置姿勢検出手段22による検出結果は、情報通知手段26に送信される。
【0018】
映像取得手段24は、例えば、移動ロボット20の頭部に設けられたカメラを含み、当該カメラにより、頭部の向いている方向の映像(動画)を取得する。映像取得手段24において取得された映像は、情報通知手段26に送信される。情報通知手段26は、位置姿勢検出手段22から取得した検出結果、及び映像取得手段24から取得した映像を、制御装置40に向けて出力する。
【0019】
自律移動手段34は、制御装置40からの指示に基づいて、空間100内を移動し、姿勢を変更するものである。具体的には、自律移動手段34は、車輪及び車輪を駆動するモータ、姿勢を変更するためのアクチュエータなどを含んでいる。また、自律移動手段34は、頭部の向きを変更して、カメラの撮影方向を変更するアクチュエータも含んでいる。
【0020】
制御装置40は、ロボット情報取得手段42と、カメラ映像取得手段44と、遮蔽物抽出手段46と、遮蔽物位置推定手段48と、死角算出手段50と、監視必要度更新手段52と、ロボット目標位置姿勢決定手段54と、移動指示手段56と、通報手段58と、を有する。なお、監視必要度更新手段52、ロボット目標位置姿勢決定手段54、及び移動指示手段56は、監視カメラ10A〜10Dの死角の位置に基づいて移動ロボット20の位置姿勢を制御する移動体制御手段の一部を構成している。
【0021】
ロボット情報取得手段42は、移動ロボット20の情報通知手段26から入力された情報(位置姿勢検出手段22による検出結果及び映像取得手段により取得された映像)を取得し、遮蔽物抽出手段46に送信する。カメラ映像取得手段44は、監視カメラ10A〜10Dの映像出力手段14から入力された映像を取得し、遮蔽物抽出手段46に送信する。遮蔽物抽出手段46は、監視カメラ10A〜10Dによる映像と移動ロボット20による映像から、遮蔽物を抽出する。遮蔽物の抽出には、背景差分法などを用いることができる。遮蔽物抽出手段46により遮蔽物が抽出された場合には、監視カメラ10A〜10Dによる映像と移動ロボット20による映像は、遮蔽物位置推定手段48に送信される。
【0022】
遮蔽物位置推定手段48は、監視カメラ10A〜10Dによる映像と移動ロボット20による映像から、遮蔽物の位置を推定する。ここでの位置推定には、例えば、ステレオビジョン法などを用いることができる。死角算出手段50は、遮蔽物位置推定手段48による遮蔽物の位置の推定結果に基づいて、死角となっている範囲、すなわち死角領域を算出する。ここでは、例えば、遮蔽物の大きさ及び位置、並びに監視カメラ10A〜10Dの撮影角度などに基づいて、死角領域を算出することができる。なお、死角領域の算出にあたっては、移動ロボット20の撮影領域についても考慮する必要がある。
【0023】
監視必要度更新手段52は、死角を監視すべきか否かの必要度を、死角算出手段50による算出結果等に基づいて決定し、更新するものである。ロボット目標位置姿勢決定手段54は、監視必要度更新手段52により更新された監視必要度に応じて、移動ロボット20の移動目標位置や姿勢を決定するものである。移動指示手段56は、移動ロボット20がロボット目標位置姿勢決定手段54において決定された目標位置及び姿勢になるように、自律移動手段34に対して指示を出す。通報手段58は、モニタ等を含み、監視必要度更新手段52において更新された移動ロボットの移動目標位置や姿勢などを、ユーザに知らせるためのものである。
【0024】
次に、制御装置40が空間100を管理する際に用いる管理単位(グリッド)について、図3に基づいて説明する。図3には、空間100を複数のグリッドで等間隔に分割した状態が示されている。なお、図3では、紙面左右方向をX軸方向とし、紙面上下方向をY軸方向としている。また、X軸方向には、23個のグリッドが配列され、Y軸方向には15個のグリッドが配列されている。各グリッドには、左上から順にグリッドIDが付されており、これらグリッドは、図4に示すようなグリッド一覧のデータベースにて管理されている。このデータベースの管理は、図2の監視必要度更新手段52が行う。
【0025】
図4のグリッド一覧のデータベースでは、グリッドIDの番号に対して、座標、状態(現在の状態)、前状態、最終更新時刻、最終確認時刻、重要度の各項目が関連付けられている。これらのうち、「状態」及び「前状態」の項目には、「監視中」、「遮蔽物」、「死角」のいずれかが記録される。「監視中」は監視カメラ10A〜10Dによる監視が可能な状態を意味し、「遮蔽物」は動的な遮蔽物、すなわち人が存在するグリッドであることを意味する。また、「死角」は遮蔽物の存在により監視が不可能なグリッドであることを意味する。
【0026】
また、「最終更新時刻」の項目には、前状態から現在の状態に変わった時刻が記録され、「最終確認時刻」の項目には、最後に監視中であったことを確認した時刻が記録される。「最終確認時刻」は、具体的には、監視カメラ10A〜10D及び移動ロボット20のいずれかにより最後に撮影された時刻を意味している。また、「重要度」の項目は、そのグリッドの場所が監視を重点的にすべき場所であるかを意味する指標であり、例えば、「1」であれば、重要度が高いことを意味し、「0」であれば、重要度が通常であることを意味する。本実施形態では、図5にダブルハッチングを付して示すように、重要物200の周囲に位置するグリッドは、重要度が高いため、その値が1に設定されており、その他の場所は、重要度が通常であるため、その値が0に設定されているものとする。
【0027】
次に、監視システム300による空間100内の監視方法について、図8のフローチャートに沿って、かつその他の図面を適宜参照しつつ説明する。
【0028】
なお、以下の説明では、図3に示すように、空間100内に人が誰も存在していなかった状況から所定時間経過した後、図6(a)に示すように空間100内に人が1人(H1)だけ入ってきたとする。また、図6(a)の状況から所定時間経過後、図6(b)に示すように、別の人(H2)が空間100内に入ってきたとする。更に、図6(b)の状況から所定時間経過後、図7に示すように、空間100内から1人(H2)が退出し、空間100内に人が1人(H1)のみ滞在している状況になったものとする。なお、ここでは、説明の便宜上、監視必要度更新手段52は、30秒ごとに図4のデータベースを更新するものとする。
【0029】
また、図3の状態を監視カメラ10A〜10Dが最後に確認したのは、18時36分10秒であるものとする。そして、図6(a)の状態になったのを確認したのが、その30秒後の18時36分40秒、図6(b)の状態になったのを確認したのが、更に30秒後の18時37分10秒であるものとする。また、図7の状態になったのを確認したのが、更に2分後の18時39分10秒であるものとする。
【0030】
以上の前提の下、図8のフローチャートが実行される。以下、18時36分10秒、18時36分40秒、18時37分10秒、18時39分10秒の処理について、順を追って説明する。
【0031】
(18時36分10秒)
まず、図8のステップS10では、監視カメラ10A〜10Dの映像をカメラ映像取得手段44が取得する。次のステップS12では、遮蔽物抽出手段46の抽出結果に基づいて、図3の状態で、空間100内に遮蔽物が存在したか否かを判断する。この段階では、遮蔽物は存在していないので、ステップS12の判断は否定され、ステップS10に戻る。
【0032】
(18時36分40秒)
18時36分40秒においては、再度、ステップS10が行われることにより、カメラ映像取得手段44が監視カメラ10A〜10Dの映像を取得した後、ステップS12に移行する。なお、この段階では、図6(a)に示すように、遮蔽物としての人(H1)が空間100内に存在しているので、ステップS12の判断は肯定される。このように、ステップS12の判断が肯定されると、ステップS14に移行して、遮蔽物位置推定手段48が遮蔽物の位置を推定する。ここでは、図6(a)にハッチングを付して示すように、遮蔽物の位置が、グリッドの座標で、(4,1)、(4,2)、(5,1)、(5,2)と推定される。
【0033】
次のステップS16では、死角算出手段50が、ステップS14で推定された遮蔽物の位置に基づいて、遮蔽物から生じる死角領域の位置を算出する。ここでの処理の結果、死角領域の位置として、図6(a)にダブルハッチングを付して示すグリッド座標(6,0)、(6,1)、(6,2)、(7,0)、(7,1)、(7,2)、(8,0)、(8,1)、(8,2)が算出されたものとする。なお、死角領域の位置を算出するに際しては、監視カメラ10A〜10Dによる撮影画像のみならず、移動ロボット20のカメラによる撮影画像についても考慮する必要がある。
【0034】
次いで、ステップS18では、監視必要度更新手段52が、グリッド一覧のデータベースを更新する。ここでは、グリッド一覧のデータベースが図9に示すように更新される。なお、図9では、監視中の状態が継続しているグリッドに関する記載を省略している。
【0035】
次いで、ステップS20では、監視必要度更新手段52が「死角」となっているグリッドを、連続するグリッドごとに纏める処理を実行する。この場合、図9に示すグリッド座標(6,0)、(6,1)、(6,2)、(7,0)、(7,1)、(7,2)、(8,0)、(8,1)、(8,2)の全てが、上下左右方向に連続している。したがって、ステップS20では、図9において状態の項目が死角になっている全てのグリッドが纏められて、図10(a)に示すようにID「1’」として、暫定的な死角一覧のデータベースに登録される。なお、図10(a)の「検出時刻」の項目は、死角を検出した時刻であり、「最終確認時刻」は、ID「1’」に含まれるグリッドの最終確認時刻のうち、最も早い時刻である。また、「重要度」の項目は、ID「1’」に含まれるグリッドの重要度を合計したものである。ここでは、ID「1’」に含まれるグリッドの重要度は全て0なので(図9参照)、図10(a)、図10(b)の重要度も0となる。
【0036】
次いで、ステップS22では、監視必要度更新手段52が、直前における死角領域を1つ選択する。ただし、この段階では直前までに死角領域が存在していなかったことから、死角領域を選択することはできず、そのままステップS24に移行する。
【0037】
次いで、ステップS24では、監視必要度更新手段52が、前のステップS22において死角領域を選択できたか否かを判断する。ここでは、死角領域を選択できていないので判断は否定され、ステップS26に移行する。ステップS26では、監視必要度更新手段52が、ステップS20で纏められたグリッドから成る死角領域を、図10(b)に示す死角一覧のデータベースに、死角ID=「1」として新規登録し、図8の処理を終了する。
【0038】
ロボット目標位置姿勢決定手段54は、上記のようにして更新された死角一覧のデータベースに基づいて、移動ロボット20の目標位置及び姿勢を決定する。具体的には、移動ロボット20の目標位置及び姿勢を、死角ID=「1」の死角領域を確認できる位置及び姿勢に決定する。そして、移動指示手段56は、ロボット目標位置姿勢決定手段54により決定された位置及び姿勢となるように、自律移動手段34を制御して移動ロボット20の位置・姿勢を変更する。ここで、監視必要度更新手段52は、移動ロボット20の移動状況を、位置姿勢検出手段22による検出結果や自律移動手段34の動作状況を検出することで、移動ロボット20が目標位置に到達できたか否かを判定する。この判定の結果、所定時間内に目標位置に到達できなかったような場合には、監視必要度更新手段52は、通報手段58(図2参照)を介して、空間100の監視をする監視員や警備員に対して警告を発することができる。なお、ここでは、説明の便宜上、18時37分10秒の段階では、移動ロボット20は死角ID=1の死角領域を監視できていないものとする。
【0039】
(18時37分10秒)
18時37分10秒においては、ステップS10においてカメラ映像取得手段44が監視カメラ10A〜10Dからの映像を取得した後、ステップS12において、遮蔽物抽出手段46が、遮蔽物があったか否かを判断する。この段階では、図6(b)に示すように、人H1に加えて、人H2も空間100内に侵入してきているため、ここでの判断は肯定されて、ステップS14に移行する。
【0040】
ステップS14では、遮蔽物位置推定手段48が、遮蔽物の位置を推定する。ここでは、遮蔽物の位置が、図6(b)にハッチングを付して示すグリッド座標(4,1)、(4,2)、(5,1)、(5,2)、(10,9)、(10,10)、(10,11)、(11,10)、(11,11)と推定される。次いで、ステップS16では、死角算出手段50が、遮蔽物の位置から死角の位置を算出する。ここでは、死角の位置が、図6(b)にダブルハッチングを付して示すグリッド座標(6,0)、(6,1)、(6,2)、(7,0)、(7,1)、(7,2)、(7,9)、(7,10)、(7,11)、(8,0)、(8,1)、(8,2)、(8,9)、(8,10)、(8,11)、(9,9)、(9,10)、(9,11)と算出される。
【0041】
次いで、ステップS18では、監視必要度更新手段52が、ステップS14、S16の結果に基づいて、グリッド一覧のデータベースを更新する。具体的には、図11に示すようにグリッド一覧のデータベースが更新される。ここでは、図11においてハッチングを付した部分が、新たにグリッド一覧のデータベースに追加されたことになる。
【0042】
次いで、ステップS20では、監視必要度更新手段52が、死角領域のグリッドを連続するグリッドごとに纏める。このステップS20での処理の結果、図12(a)に示すように、暫定死角一覧のデータベースとして、ID「1’」と「2’」が集計される。この場合、ID「1’」には、グリッドIDが91,92,93,106,107,108,121,122,123のグリッドが含まれ、ID「2’」には、グリッドIDが115,116,117,130,131,132,145,146,147のグリッドが含まれる。
【0043】
次いで、ステップS22では、監視必要度更新手段52が、直前の死角領域を1つ選択する。ここでは、図10(b)に示す死角ID=「1」の死角領域が選択されたものとする。次いで、ステップS24において、監視必要度更新手段52が、死角を選択できたか否かを判断し、ここでの判断が肯定されると、ステップS28に移行する。ステップS28では、監視必要度更新手段52が、選択した領域と最も重複の多い暫定の死角領域を選択する。
【0044】
ここでは、図10(b)の死角ID「1」の死角に含まれるグリッドIDと、図12(a)のID「1’」に含まれるグリッドIDとが、全て一致しているため、本ステップS28では、図12(a)のID「1’」が選択される。
【0045】
次いで、ステップS30では、前のステップS28において、監視必要度更新手段52が、該当する死角領域を選択できたか否かを判断する。ここでの判断は肯定されるので、ステップS34に移行し、監視必要度更新手段52が、直前の死角領域(死角ID=1)を図12(a)のID「1’」の内容で更新する。なお、上記のように、直前の死角領域を暫定の死角領域の内容で更新するのは、同一の遮蔽物により生じる死角を、連続的に追い続けるためである。
【0046】
次いで、ステップS36では、監視必要度更新手段52が、全ての直前の死角領域の処理が終了したか否かを判断する。ここでは、全ての直前の死角領域の処理が終了しているので、判断は肯定され、ステップS38に移行する。
【0047】
ステップS38では、暫定死角一覧のデータベースのうち、更新処理がなされていないIDを新規登録する。すなわち、図12(a)に示すID「2’」の死角を、新たな死角(死角ID=2)として登録する。このようにして、死角一覧のデータベースは、図12(b)に示すように更新される。なお、図12(b)の死角ID「2」の死角領域は、重要度が2となっている。これは、図11に示すように、死角ID「2」の死角領域に含まれるグリッドIDのうち、115と130の重要度が1であり、それらの合計が2になるからである。
【0048】
ロボット目標位置姿勢決定手段54は、上記のようにして更新された死角一覧のデータベースに基づいて、移動ロボット20の移動経路を決定する。すなわち、移動ロボット20がどちらの死角を先に確認するかを決定する。ここで、例えば、死角の確認順序を決定するためには、各死角の優先度を算出する。ここで、各死角の優先度Pは、死角の大きさ(死角に含まれるグリッドIDの数)a、死角になってからの時間b、死角に含まれるグリッドを最後に確認してからの時間c、重要度dとすると、次式(1)から算出することができる。
P=a×α+b×β+c×γ+d×δ …(1)
【0049】
なお、α、β、γ、δは、重み付け係数である。したがって、a〜dのうち、重視したい項目に関しては、積算する重み付け係数を大きくすれば良く、また、然程重視しない項目に関しては、積算する重み付け係数を小さくすれば良い。また、考慮する必要のない項目がある場合には、積算する重み付け係数を0にすれば良い。
【0050】
ロボット目標位置姿勢決定手段54は、上記式(1)に基づいて、優先度Pを算出した結果、優先度Pが大きい方から監視をするように移動ロボット20の移動経路を決定する。そして、移動指示手段56は、ロボット目標位置姿勢決定手段54により決定された位置及び姿勢となるように、自律移動手段34を制御して移動ロボット20の位置・姿勢を変更する。なお、本第1の実施形態では、移動ロボット20は、死角ID=1の死角を18時37分50秒に監視し、死角ID=2の死角を18時37分20秒に監視したものとする。
【0051】
(18時39分10秒)
18時39分10秒においても、これまでと同様、ステップS10がカメラ映像取得手段44により実行された後、ステップS12において、遮蔽物抽出手段46が、遮蔽物があったか否かを判断する。この段階では、図7に示すように、遮蔽物として人H1が存在しているため、ここでの判断は肯定されて、ステップS14に移行する。
【0052】
ステップS14では、遮蔽物位置推定手段48が、遮蔽物の位置を推定する。ここでは、遮蔽物の位置が、図7にハッチングを付して示すグリッド座標(4,2)、(4,3)、(5,2)、(5,3)、と推定される。次いで、ステップS16では、死角算出手段50が、遮蔽物の位置から死角領域の位置を算出する。ここでは、死角領域の位置が、図7にダブルハッチングを付して示すグリッド座標(6,2)、(6,3)、(6,4)、(7,2)、(7,3)、(7,4)、(8,2)、(8,3)、(8,4)と算出されたものとする。
【0053】
次いで、ステップS18では、監視必要度更新手段52が、ステップS14、S16の結果に基づいて、グリッド一覧のデータベースを更新する。具体的には、図13に示すようにグリッド一覧のデータベースが更新される。
【0054】
次いで、ステップS20では、監視必要度更新手段52が、死角領域のグリッドを連続するグリッドごとに纏めて、暫定の死角一覧データベースに記録する。このステップS20での処理の結果、図14(a)に示すように暫定の死角一覧データベースに、ID「1’」が記録される。この場合、ID「1’」には、グリッドID93,94,95,108,109,110,123,124,125のグリッドが含まれることになる。
【0055】
次いで、ステップS22では、監視必要度更新手段52が、直前の死角領域を1つ選択する。ここでは、図12(b)に示す死角IDが「1」の死角領域が選択されたものとする。次いで、ステップS24において、監視必要度更新手段52が、死角領域を選択できたか否かを判断し、ここでの判断が肯定されると、ステップS28に移行する。ステップS28では、監視必要度更新手段52が、選択した領域と最も重複の多い暫定の死角領域を選択する。
【0056】
この場合、図12(b)の死角ID=1の死角と、図14(a)のID=「1’」の死角とが、グリッドIDの一部(図14に下線を付して示すグリッドID)において一致している。したがって、ステップS28では、図14(a)のID=「1」の死角が選択されることとなる。
【0057】
次いで、ステップS30では、前のステップS28において、監視必要度更新手段52が、該当する死角領域が選択されたか否かを判断する。ここでの判断が肯定されると、ステップS34に移行し、監視必要度更新手段52は、直前の死角領域(図12(b)の死角ID「1」)を新たな内容(図14(a)のID「1’」)で更新する。次いで、ステップS36では、監視必要度更新手段52が、直前の死角領域の全てについての処理が終了したか否かを判断する。ここでは、図12(b)の死角ID「2」の死角領域に関する処理が残っているので、判断は否定され、ステップS22に移行する。
【0058】
ステップS22では、監視必要度更新手段52が、直前の死角領域を1つ選択する。ここでは、図12(b)に示す死角ID=2の死角が選択されたものとする。次いで、ステップS24において、監視必要度更新手段52が、死角を選択できたか否かを判断し、ここでの判断が肯定されると、ステップS28に移行する。ステップS28では、監視必要度更新手段52が、選択した領域と最も重複の多い死角領域を選択する。ただし、この段階では、死角ID「2」の死角領域とグリッドが重複するものが図14(a)のデータベースには存在していないので、ここでの選択は行われない。
【0059】
次いで、ステップS30では、監視必要度更新手段52が、該当する死角領域があったか否かを判断する。ここでの判断は否定されるため、ステップS32に移行する。ステップS32では、監視必要度更新手段52が、図14(b)に示すように、死角ID=2の死角を削除してステップS36に移行する。ステップS36では、監視必要度更新手段52が、全ての直前の死角領域の処理が終了したかを判断し、ここでの判断が肯定されると、ステップS38に移行する。そして、ステップS38では、監視必要度更新手段52が、更新処理がされなかった暫定の死角領域を新規登録するが、ここでは更新処理がされなかった暫定の死角領域が存在しないので、そのまま、図8の全処理を終了する。
【0060】
ロボット目標位置姿勢決定手段54は、上記のようにして更新された死角一覧のデータベースに基づいて、移動ロボット20の目標位置及び姿勢を、死角ID=1の死角を確認できる位置及び姿勢に決定する。そして、移動指示手段56は、ロボット目標位置姿勢決定手段54により決定された位置及び姿勢となるように、自律移動手段34を制御して移動ロボット20の位置・姿勢を変更する。
【0061】
以上、詳細に説明したように、本実施形態によると、遮蔽物抽出手段46が、監視カメラ10A〜10Dから取得された映像から遮蔽物を抽出し、遮蔽物位置推定手段が、当該遮蔽物の位置を推定する。そして、死角算出手段50は、推定された遮蔽物の位置から監視カメラ10A〜10Dの死角の位置を算出し、その死角の位置に基づいて、ロボット目標位置姿勢決定手段54及び移動指示手段56が、移動ロボット20の位置姿勢を制御するので、監視カメラ10A〜10Dにより撮影された映像から死角の位置を的確に算出したうえで、移動ロボット20を死角に向けて移動させたり姿勢を変更させたりすることができる。これにより、移動ロボット20が撮影機能を有している場合には、監視カメラで監視することができない死角領域の撮影を行うことが可能である。すなわち、本実施形態によると、人などの動的な遮蔽物により生じる死角の監視効率を向上することが可能である。
【0062】
より具体的には、移動指示手段56は、移動ロボット20が保持するカメラ(映像取得手段24)が監視カメラ10A〜10Dの死角を撮影するように、移動ロボット20の位置姿勢を制御するので、監視カメラのみでは観察ができない死角や、動的な遮蔽物により生じる死角を、移動ロボット20が撮影することができる。これにより、監視員や警備員などが死角となっている場所を直接見に行く必要が無いので、監視員等の手間が省け、かつ、監視員等が不審者に襲われるなどの安全上のリスクを低減することができる。
【0063】
また、本実施形態によると、移動指示手段56が自律移動手段34を介して移動ロボット20の位置姿勢を制御しても、死角の撮影が不可能な場合に、通報手段58がその旨を監視員や警備員などのユーザに通報する。これにより、監視員等は、死角を直接的に確認すべき状況であるか否かを容易に判断することができる。
【0064】
また、本実施形態によると、ロボット目標位置姿勢決定手段54は、死角が複数存在する場合に、死角の優先度Pに基づいて、移動ロボット20の位置姿勢を制御する。したがって、死角が複数ある場合でも、その優先度に応じた適切な順序で死角の監視を行うことができる。この場合、死角の大きさを考慮して優先度Pを決定することで、多人数が集まっており、犯罪などの生じる可能性が比較的高い死角を優先的に監視することができる。また、死角である期間を考慮して優先度Pを決定することで、死角である期間が長く、犯罪などが生じている可能性が比較的高くなっている死角を優先的に監視することができる。更に、場所固有の重要度に基づいて優先度Pを決定することで、重要物200の近傍など、比較的犯罪が起こりやすい死角を優先的に監視することができる。
【0065】
なお、上記実施形態では、優先度Pを算出する際に、死角になる直前の状況を考慮することもできる。例えば、死角になる前に人が存在していて、その後に死角になった場所は、死角になる前に人が存在していなかった場所よりも犯罪の可能性が高い。したがって、例えば、直前の状態が「遮蔽物」であった場合に優先度Pが高くなるように、上式(1)を変更すれば良い。
【0066】
なお、上記実施形態では、通報手段58とともに、またはこれに代えて、図15に示すように、監視必要度更新手段52に表示手段としてのディスプレイ60を接続することもできる。ディスプレイ60には、監視必要度更新手段52が決定した死角の監視順序を表示することとしても良い。この場合、監視員や警備員などは、ディスプレイ60上で監視順序を確認することができる。また、監視順序とともに、またはこれに代えて、遮蔽物(人)の位置及び死角の位置の少なくとも一方を、ディスプレイ60上に表示することとしても良い。この場合にも、監視員などの利便性を向上することが可能である。
【0067】
なお、上記実施形態では、図15に示すように、監視必要度更新手段52に、変更受付手段としての入力インタフェース62を接続できるようにしても良い。この入力インタフェース62は、監視員等が死角の監視順序を変更するためのものである。この場合、単純に、監視順序そのものを変更できるようにしても良い。あるいは、優先度を決定するための少なくとも1つの項目、例えば重要度の項目のみを監視員等が変更できるようにしても良い。後者の場合、変更された項目を用いて、ロボット目標位置姿勢決定手段54が優先度Pを再度算出し、その算出結果に基づいて監視順序を再設定するようにする。また、監視員が見たい位置が指定された場合には、死角領域の位置にかかわらず、移動ロボット20を当該見たい位置に強制的に移動させるようにしても良い。このようにすることで、監視員などの意思を反映した移動ロボット20による適切な監視を実現することが可能である。
【0068】
なお、上記実施形態では、死角一覧のデータベースの重要度を、同一の死角IDに含まれるグリッドの重要度の合計値とする場合について説明したが、これに限られるものではない。死角一覧のデータベースの重要度は、例えば、同一の死角IDに含まれるグリッドの重要度のうち最も大きい値であっても良い。
【0069】
なお、上記実施形態では、グリッドIDのデータベースを30秒ごとに更新する場合について説明したが、これに限らず、更新の間隔をその他の間隔(例えば、数秒間隔)としても良い。この場合、更新の間隔を短くすればするほど、監視性能が向上することとなる。
【0070】
また、上記実施形態では、説明の便宜上、人の後方の9つのグリッドが死角になる場合について、説明したが、これに限られるものではない。実際には、人の後方の全てのグリッドが死角になる場合もあるので、実際のカメラの配置、撮影角度などを考慮して、実際の死角をカバーするように死角のグリッドを決定することが好ましい。
【0071】
≪第2の実施形態≫
以下、監視システムの第2の実施形態について、図16に基づいて説明する。
【0072】
本第2の実施形態では、移動ロボット20が、図2に示す各手段に加えて、図15に示すように、人識別手段28と、インタラクション手段30と、不審度算出手段32と、を更に備えている。なお、その他の構成については、第1の実施形態と同様であるので、それらの説明は省略するものとする。
【0073】
人識別手段28は、映像取得手段24において取得された映像から、人物の存在の有無を識別するものである。インタラクション手段30は、音声を発したり画像を表示したりすることで、周囲の人物と対話するものである。不審度算出手段32は、人識別手段28により識別された人物の不審度を算出するものである。不審度算出手段32は、例えば、人物の行動パターンとその不審度とを対応付けたデータベースや、人物の容貌とその不審度とを対応付けたデータベースなどを保持しており、それらのデータベースに基づいて、人物の不審度を算出する。
【0074】
本第2の実施形態では、第1の実施形態と同様の方法により、グリッド一覧のデータベースを更新する。一方、監視必要度更新手段52が死角一覧のデータベースを更新する際には、不審度算出手段32による算出結果をも考慮する。具体的には、人識別手段28が映像取得手段24の映像に基づいて識別した人について、不審度算出手段32が不審度を算出して、当該算出結果を優先度Pの算出に用いることとする。このようにすることで、不審人物の近傍の監視を重点的に行うようにすることができる。
【0075】
一方、インタラクション手段30は、人識別手段28により識別された人が邪魔で死角を監視できない場合に、画像や音声などを用いて、別の場所に移動するよう、人に対して指示を出す。このようにすることで、死角の確認を円滑に行うことができるようになる。
【0076】
以上説明したように、本第2の実施形態によると、第1の実施形態と同様の効果を奏するのに加え、人の不審度を優先度Pの算出に反映させることで、移動ロボット20による監視を適切に行うことができる。また、インタラクション手段30により、人と対話をすることができるので、死角の確認の際に人に移動してもらうことなどができる。これにより、死角の確認を円滑に行うことが可能となる。
【0077】
なお、上記第2の実施形態では、移動ロボット20が不審度算出手段32及びインタラクション手段30の両方を具備している場合について説明したが、これに限られるものではない。移動ロボット20は、上記2つの手段のうちのいずれか一方を具備していても良い。
【0078】
なお、上記各実施形態では、移動ロボット20が撮影機能(映像取得手段24)を有している場合について説明したが、これに限られるものではない。移動ロボット20は、死角領域が長時間一箇所に存在し続けないように人とコミュニケーションをとる、すなわち、人に移動してもらうのみでも良い。このような場合でも、監視カメラ10A〜10Dが死角の撮影を行うことが可能となるので、死角の監視効率を向上することが可能となる。
【0079】
上述した各実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【0080】
10A〜10D 監視カメラ(固定カメラ)
20 移動ロボット(移動体)
40 制御装置(監視制御装置)
46 遮蔽物抽出手段
48 遮蔽物位置推定手段
50 死角算出手段
52 監視必要度更新手段(移動体制御手段の一部)
54 ロボット目標位置姿勢決定手段(移動体制御手段の一部)
56 移動指示手段(移動体制御手段の一部)
58 通報手段
60 ディスプレイ(表示手段)
62 入力インタフェース(変更受付手段)
H1、H2 人(遮蔽物)

【特許請求の範囲】
【請求項1】
固定カメラから取得された映像から遮蔽物を抽出する遮蔽物抽出手段と、
前記遮蔽物抽出手段により抽出された遮蔽物の位置を推定する遮蔽物位置推定手段と、
前記遮蔽物位置推定手段により推定された前記遮蔽物の位置から前記固定カメラの死角の位置を算出する死角算出手段と、
前記死角算出手段により算出された前記固定カメラの死角の位置に基づいて、移動体の位置姿勢を制御する移動体制御手段と、を備える監視制御装置。
【請求項2】
前記移動体制御手段は、前記移動体が保持するカメラが前記固定カメラの死角を撮影するように、前記移動体の位置姿勢を制御することを特徴とする請求項1に記載の監視制御装置。
【請求項3】
前記移動体の位置姿勢を制御しても前記死角の撮影が不可能な場合に、その旨をユーザに通報する通報手段を更に備える請求項2に記載の監視制御装置。
【請求項4】
前記移動体制御手段は、前記死角が複数存在する場合に、前記死角の優先度に基づいて、前記移動体の位置姿勢を制御することを特徴とする請求項1〜3のいずれか一項に記載の監視制御装置。
【請求項5】
前記移動体制御手段は、前記死角の優先度を、死角の大きさ、死角の状態が継続している期間、死角になる直前の状況、及び死角となっている位置の重要度の少なくとも1つに基づいて判定することを特徴とする請求項4に記載の監視制御装置。
【請求項6】
ユーザによる前記死角の優先度の変更を受け付ける変更受付手段を更に備え、
前記移動体制御手段は、前記変更後の優先度に基づいて、前記移動体の位置姿勢を制御することを特徴とする請求項4又は5に記載の監視制御装置。
【請求項7】
前記遮蔽物の位置及び前記死角の位置の少なくとも一方を表示する表示手段を更に備える請求項1〜6のいずれか一項に記載の監視制御装置。
【請求項8】
映像を取得する固定カメラと、
移動可能とされた移動体と、
前記固定カメラから取得された映像に基づいて、前記移動体の位置姿勢を制御する請求項1〜7のいずれか一項に記載の監視制御装置と、を備える監視システム。
【請求項9】
前記移動体は、
自己が有するカメラの映像から人を抽出する人抽出手段と、
前記人抽出手段により抽出された人が邪魔となり前記死角の撮影が不可能な場合に、当該人に対してその旨報知する報知手段と、を有することを特徴とする請求項8に記載の監視システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2011−48736(P2011−48736A)
【公開日】平成23年3月10日(2011.3.10)
【国際特許分類】
【出願番号】特願2009−198025(P2009−198025)
【出願日】平成21年8月28日(2009.8.28)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】