説明

監視システム及び監視方法

【課題】監視対象の監視を効果的に実施することが可能な技術を提案する。
【解決手段】3次元映像生成サーバ28が、仮想3次元空間上に表現される監視対象をヘッドマウント型ディスプレイ31の位置及び方向に対応する視点から見た監視対象画像を生成し、当該ヘッドマウント型ディスプレイ31から送信される撮影画像(現場の画像)に監視対象画像を重ね合わせてAR画像データを生成する。また、監視対象に対して設けられたセンサーにより異常の発生が検知されている場合には、その検知結果の情報をセンサーの設置位置に対応して監視対象画像に付加する。ヘッドマウント型ディスプレイ31は、3次元映像配信サーバ29から送信されるAR画像データに基づいて、装着者がヘッドマウント型ディスプレイ31を通して見る現場の像に監視対象画像(及びこれに付加された検知結果の情報)を重ねた表示を出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視対象の3次元画像を表示する表示装置を用いて前記監視対象を監視する監視システム及び監視方法に関する。
【背景技術】
【0002】
工場や学校或いはその他の監視対象をカメラにより撮影し、当該撮影により得られた監視対象の映像を監視者が確認することにより監視対象を監視する映像監視システムが実現されている。
【0003】
従来の映像監視システムでは、複数のカメラにより撮影された映像の表示に関し、例えば、以下のような動作を行っていた。
操作人(監視者)が受動的に映像を確認する場合には、映像の出力先となる大型ディスプレイの表示領域を分割し、複数の映像を各分割領域に出力して同時に表示する。また、カメラの台数が多いときは、大型ディスプレイを複数用意したり、複数の映像を時間的に切り替えて表示したりする。
操作人が能動的に或る特定箇所の映像を確認する場合には、ユーザインタフェースとして用意されているボタン(スイッチ)、ジョイスティック、キーボード、マウス等の操作機器を用いた操作により、所望の映像へ表示を切り替える。
センサーで異常を検知した場合には、操作人へのアラームを発報し、異常が検知された地点の映像に表示を切り替える。
画像処理技術によって映像を解析して異常を検知した場合には、操作人へのアラームを発報し、異常が検知された映像に表示を切り替える。
【0004】
上記のような映像監視システムに関し、これまでに種々の発明が提案されている。
例えば、複数の監視カメラの画像を表示器に表示する監視カメラシステムにおいて、表示器は、複数の監視カメラの画像を表示する画像表示部と、複数の監視カメラの設定位置を表示する地図表示部と、画像表示部に表示する監視カメラの識別番号および表示順番を登録するシーケンスパターン登録リスト表示部で構成された監視カメラシステムが提案されている(特許文献1参照)。
例えば、侵入物を検出するセンサーと、該センサーが検出した物体の位置と移動予測範囲を算出する制御部と、該制御部が算出した移動予測範囲を地図情報と共に表示する表示部とを備えた監視装置が提案されている(特許文献2参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−017170号公報
【特許文献2】特開2009−272935号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、従来の映像監視システムでは、例えば、以下のような問題があった。
大型ディスプレイの表示領域を分割して複数の映像を表示するには、面積的な限界がある。
一人の操作人が同時に表示される複数の映像を確認するには限界があるため、カメラの台数が多い場合には操作人を増員する必要がある。
一人の操作人が確認する映像の数に制限を持たせるように、監視対象をエリア毎に分割し、それぞれのエリアに異なる操作人を担当させたとしても、侵入者がエリアを跨って移動する場合には該当するエリアを担当する操作人同士での引継ぎ等が必要になるなど、エリア境界や監視対象全体を通した把握の困難さは解決できない。
複数のカメラの中から所望するカメラを選択して映像を表示させるには、カメラが設置された位置の把握や煩雑な操作が必要となるため、操作人の事前学習が必要となり、監視システムとしての性能が操作人の熟練度に影響される。
【0007】
本発明は、上記従来の事情に鑑みて為されたものであり、監視対象の監視を効果的に実施することが可能な技術を提案することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、監視対象の3次元画像を表示する表示装置を用いて、以下のような手法により監視対象を監視するための環境を提供する。
すなわち、前記監視対象を3次元画像として表示するための3次元構造データを記憶手段に記憶させ、前記監視対象に対して監視手段を設置し、表示制御手段により、前記表示装置に、前記3次元画像データに基づいて前記監視対象の3次元画像を表示すると共に、前記監視手段の設置箇所に対応して、当該3次元画像に前記監視手段による監視結果を付加して表示させる。
【0009】
ここで、監視対象としては、工場や学校等の建物(構造物)であってもよく、その周辺を含む区域(エリア)であってもよい。
監視対象の3次元画像は、3次元構造データに基づいて仮想3次元空間上に表現される監視対象を指定された位置及び方向に対応する視点から見た画像であり、任意の視点から監視対象を見た画像を仮想的に再現する。
【0010】
位置及び方向の指定(視点の指定)は、種々の手法により行うことができ、例えば、キーボードやマウス等の操作機器を用いた操作により行うことができる。
また、監視対象の3次元画像を表示する表示装置として、移動自在な表示装置を用いる場合には、表示装置の位置及び方向を検出する検出手段を設け、当該検出手段による検出結果を位置及び方向の指定として用いるようにしてもよい。この場合には、表示装置の移動や回転等の動きに対応(追従)して視点を変化させることができる。
【0011】
なお、表示装置の位置及び方向を検出する検出手段は、種々の手法により実現することができる。例えば、表示装置に方位センサーを設け、表示装置自身で方位(方向)を検出すると共に、表示装置と無線通信する3以上の無線装置をそれぞれ異なる位置に設置し、各無線装置と表示装置との通信結果に基づいて表示装置の位置を検出するようにしてもよい。
【0012】
監視手段としては、設置箇所(及びその周辺)の状況を収集可能な種々の手段を用いることができ、例えば、カメラ、赤外線センサー、マイク等が用いられる。
監視手段の設置箇所に対応する3次元画像上の部位(当該監視手段による監視結果を付加する画像部分)は、当該監視手段が実際に設置されている場所に対応する部位でもよく、当該監視手段による監視対象の場所(例えば、カメラにより撮影する範囲)に対応する部位でもよい。
監視手段の設置箇所に対応する3次元画像上の部位を特定するためのデータは、監視対象の3次元構造データと共通の記憶手段に(例えば、3次元構造データに付随させて)記憶させてもよく、監視対象の3次元構造データとは別個の記憶手段に記憶させてもよい。
【0013】
このような構成によれば、操作人(監視者)は、表示装置に表示された監視対象の3次元画像の表示を見るだけで、監視対象に対して設置された監視手段による監視結果を把握することができる。また、監視対象に対して複数の監視手段が設置されている場合でも、各監視手段による監視結果の把握が容易である。また、監視対象の構造や周辺の環境、監視手段の配置などを事前に学習しておく必要もない。このため、監視対象の監視を効果的に実施することができるようになる。
【0014】
ここで、監視対象の3次元画像を表示する表示装置として、人の頭部に装着され、装着者の前方の現場像を映し出すヘッドマウント型(頭部装着型)の表示装置を用い、監視対象の3次元画像(及び監視手段による監視結果)を現場像に重ねて表示する構成とすれば、装着者である操作人(監視者)は、現実世界の状況を把握しながら監視対象の監視を行うことができる。また、複数人で協調的に監視する場合には、他の操作人(監視者)の様子なども容易に把握することができ、互いに連携を取り易くなる。
【0015】
また、ヘッドマウント型の表示装置の位置及び方向を検出する検出手段を設け、当該検出手段による検出結果を位置及び方向の指定として用いる構成とすれば、当該表示装置を装着した操作人の動きに対応(追従)して監視対象の3次元画像を変化させることができ、所望の視点から監視対象の3次元画像を確認できるため、監視負担が軽減される。
【0016】
また、更に、利用者に把持され、監視対象の3次元画像に対する指示を与えるための指示器具を用いるようにし、表示制御手段は、当該指示器具を用いた指示に応じて、監視対象の3次元画像に係る所定の画像処理を行うようにしてもよい。
【0017】
より具体的には、例えば、スティック状の指示器具を用い、ヘッドマウント型の表示装置の表示上において監視対象の3次元画像の内部に指示器具の先端部分を位置させた状態で指示が与えられたことに応じて、表示装置に表示される監視対象の3次元画像を、監視対象の内部構造を示す画像に切り替えるようにする。
【0018】
また、例えば、スティック状の指示器具を用い、ヘッドマウント型の表示装置の表示上において監視対象の3次元画像に付加された監視結果の部分(或いは一定の範囲内)に指示器具の先端部分を位置させた状態で指示が与えられたことに応じて、その監視結果の部分に関する情報(例えば、該当する場所に設置されたカメラの映像)を他の表示装置に表示させるようにする。
【0019】
このような構成によれば、操作人(監視者)は、ヘッドマウント型の表示装置の表示(現場像に重ねて表示された監視対象の3次元画像)を見ながら指示器具を操作できるため、直感的な作法により監視対象の3次元画像に対する指示を与えることができる。
【0020】
ここで、指示器具の先端部分の位置は、ヘッドマウント型の表示装置の位置を検出する手法と同様な手法により検出することができる。
また、例えば、指示器具の先端部分が向いている方向を更に検出するようにし、指示器具の先端部分の位置及び方向に応じた画像処理を行うようにしてもよい。
【発明の効果】
【0021】
本発明によれば、操作人(監視者)は、表示装置に表示された監視対象の3次元画像の表示を見るだけで、監視対象に対して設置された監視手段による監視結果を把握することができる。また、監視対象に対して複数の監視手段が設置されている場合でも、各監視手段による監視結果の把握が容易である。また、監視対象の構造や周辺の環境、監視手段の配置などを事前に学習しておく必要もない。このため、監視対象の監視を効果的に実施することができるようになる。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施形態に係る監視システムの構成を例示する図である。
【図2】監視対象と各種センサーの配置を例示する図である。
【図3】ユーザインタフェースセクションの概観を例示する図である。
【図4】(a)は、ヘッドマウント型ディスプレイの外観を例示する図であり、(b)は、透過型ディスプレイ装置の外観を例示する図である。
【図5】モニタ位置指定用ステッキの外観を例示する図である。
【図6】カメラによる検知結果の情報を例示する図である。
【図7】赤外線センサーによる検知結果の情報を例示する図である。
【図8】マイクによる検知結果の情報を例示する図である。
【図9】モニタ位置指定用ステッキを用いて表示内容を切り替える動作の一例を説明する図である。
【図10】モニタ位置指定用ステッキを用いて表示内容を切り替える動作の一例を説明する図である。
【図11】モニタ位置指定用ステッキを用いて表示内容を切り替える動作の一例を説明する図である。
【図12】モニタ位置指定用ステッキを用いて表示内容を切り替える動作の他の例を説明する図である。
【図13】モニタ位置指定用ステッキを用いて表示内容を切り替える動作の他の例を説明する図である。
【発明を実施するための形態】
【0023】
本発明の一実施形態に係る監視システムについて説明する。
本例の監視システムは、AR(Augmented Reality)の技術を映像監視に応用したシステムであり、建物(構造物)及びその周辺を含む区域を監視対象として、当該監視対象の3次元画像である監視対象画像をコンピュータグラフィック技術を用いて生成すると共に、当該監視対象に対して設置されたカメラや赤外線センサー等により異常の発生が検知された場合にその検知結果(監視結果)の情報を監視対象画像に付加し、生成された監視対象画像(及びこれに付加された検知結果の情報)を表示装置に表示して操作人(監視者)に見せるようにしている。
【0024】
また、本例の監視システムでは、表示装置として、人の頭部に装着されるヘッドマウント型ディスプレイを用いている。このヘッドマウント型ディスプレイには、装着者である操作人(監視者)の前方(顔が向いている方向)を撮影する機能や、ヘッドマウント型ディスプレイの位置及び方向の測定に係る機能が設けられており、ヘッドマウント型ディスプレイで撮影された現場(装着者が在する場所)の画像に、測定結果の位置及び方向に対応する視点による監視対象画像(及びこれに付加された検知結果の情報)を重ねて表示するようにしてある。
また、本例の監視システムには、更に、ヘッドマウント型ディスプレイに表示された監視対象画像に対する指示を与えるための指示器具(以下の例ではモニタ位置指定用ステッキ)が備えられており、監視対象画像を監視対象の内部構造を示す画像に切り替える等の操作を直感的に行えるようにしてある。
【0025】
図1には、本例の監視システムの構成を例示してある。
本例の監視システムは、情報収集セクション10、情報処理セクション20、ユーザインタフェースセクション30をネットワーク(本例では、LAN(Local Area Network))により通信可能に接続した構成となっている。
全体的な動作としては、情報収集セクション10とユーザインタフェースセクション30で取得した情報を情報処理セクション20で処理し、情報処理セクション20で作成した情報をユーザインタフェースセクション30に送る、という流れである。
【0026】
情報収集セクション10は、監視対象の区域内の所要箇所に設置された各種センサーによって当該区域内の状況を収集し、収集したデータをネットワーク経由で情報処理セクション20へ送信するセクションである。
【0027】
本例の情報収集セクション10は、各種センサーとして、L個のカメラ11(1)〜11(L)、M個の赤外線センサー12(1)〜12(M)、N個のマイク13(1)〜13(N)を有する。なお、各々を区別して説明する場合を除き、単に、カメラ11、赤外線センサー12、マイク13と記す。
【0028】
カメラ11は、設置された付近を撮影し、当該撮影により得られた監視画像のデータである監視画像データをネットワーク経由で情報処理セクション20へ伝送する。本例では、監視画像データをIPパケットに変換してネットワークへ送出することが可能なIPカメラを用いている。なお、IPカメラ以外のカメラを用いるようにしてもよく、例えば、アナログカメラにより撮影された監視画像のアナログ信号を情報処理セクション20へ伝送する構成としてもよい。
【0029】
赤外線センサー12は、赤外線レーザーにより異常(侵入者の存在など)を検知し、その検知結果を示す検知結果データをネットワーク経由で情報処理セクション20へ伝送する。本例の赤外線センサー12は、赤外線レーザーの送信部及び受信部による一対のセンサーであり、送信部と受信部との間を物体が遮った場合(受信部で赤外線レーザーを受信できなかった場合)に異常が発生したとして検知する。異常の発生を検知したときにのみデータ伝送を行う構成とすることで、伝送する情報量を抑制できる。
【0030】
マイク13は、設置された付近の音声を収集し、当該収集により得られた集音音声のデータである音声データをネットワーク経由で情報処理セクション20へ伝送する。
【0031】
各種センサーから送信されるデータ(本例では、監視画像データ、検知結果データ、音声データ)には、情報処理セクション20におけるデータ統合に必要な時刻データが付加される。時刻データの付加は、データの送信側(情報収集セクション10側)で行ってもよく、データの受信側(情報処理セクション20側)で行ってもよい。
【0032】
図2には、監視対象と各種センサーの配置を例示してある。
本例では、三方を樹木で囲まれ且つ残りの一方が道路に面した矩形状の区域及び当該区域内の建物を監視対象とし、これを監視するセンサーとして、14個のカメラ11(1)〜11(14)、6個の赤外線センサー12(1)〜12(6)、1個のマイク13(1)が設置してある。なお、カメラ11(1)〜11(14)のうち、カメラ11(1)〜11(8)は建物外に設置してあり、カメラ11(9)〜11(14)は建物内に設置してある。また、赤外線センサー12(1)〜12(6)は、2個で一対のセンサーとして用いられる。図2には、赤外線センサー12(1)、12(2)の対により送受される赤外線レーザー12L(1)、赤外線センサー12(3)、12(4)の対により送受される赤外線レーザー12L(2)、赤外線センサー12(5)、12(6)の対により送受される赤外線レーザー12L(3)も図示してある。
【0033】
情報処理セクション20は、情報収集セクション10及びユーザインタフェースセクション30から送信される各種のデータに基づいて後述のAR画像データを生成し、ユーザインタフェースセクション30へ送信するセクションである。
【0034】
本例の情報処理セクション20は、3次元情報統合サーバ21、3次元処理サーバ22、画像処理サーバ23、赤外線センサー管理サーバ24、音声解析サーバ25、ヘッドマウント型ディスプレイ位置測位サーバ26、モニタ位置指定用ステッキ位置測位サーバ27、3次元映像生成サーバ28、3次元映像配信サーバ29を有する。
【0035】
3次元処理サーバ22は、建物や敷地外郭の塀や敷地外の道路等の監視対象について、その構造や形状を仮想3次元空間上に表現するための3次元構造データを管理(記憶)する。また、3次元処理サーバ22は、情報収集セクション10のセンサー毎に、センサーの識別データ、設置箇所を示す設置箇所データ、監視箇所(或いは監視範囲)を示す監視箇所データなどを含むセンサー情報データを管理(記憶)する。
なお、3次元構造データとセンサー情報データを別個のサーバに管理させてもよく、要は、現実世界における監視対象と各センサーとの位置関係を仮想3次元空間上で再現できればよい。
【0036】
画像処理サーバ23は、情報収集セクション10のカメラ11から受信した監視画像データに対して画像解析処理を施して、当該カメラ11による監視箇所(撮影範囲)での異常の発生を検知し、その検知結果を示す検知結果データを管理(記憶)する。
【0037】
赤外線センサー管理サーバ24は、情報収集セクション10の赤外線センサー12から受信した検知結果データを管理(記憶)する。
【0038】
音声解析サーバ25は、情報収集セクション10のマイク13から受信した音声データに対して音声解析処理を施して、当該マイク13による監視箇所(集音範囲)での異常の発生を検知し、その検知結果を示す検知結果データを管理(記憶)する。
【0039】
画像処理サーバ23及び赤外線センサー管理サーバ24及び音声解析サーバ25により管理される検知結果データには、センサーの識別データ、検知した異常の種別(侵入者の存在や火災の発生など)を示す異常種別データ、異常検知時の時刻データなどが含まれている。すなわち、この検知結果データを参照することにより、例えば、「??番の赤外線センサーが、何時何分から何時何分まで遮られた。」といった状況を把握できる。
【0040】
ヘッドマウント型ディスプレイ位置測位サーバ26は、後述するヘッドマウント型ディスプレイ31の測位結果データをユーザインタフェースセクション30から受信する情報に基づいて管理(記憶)する。測位結果データには、ヘッドマウント型ディスプレイ31の識別データ、位置データ、方位データなどが含まれている。すなわち、この測位結果データを参照することにより、例えば、「??番のヘッドマウント型ディスプレイが、何時何分に、位置??、方位??の状態にある。」といった状況を把握できる。
【0041】
モニタ位置指定用ステッキ位置測位サーバ27は、後述するモニタ位置指定用ステッキ32の測位結果データをユーザインタフェースセクション30から受信する情報に基づいて管理(記憶)する。測位結果データには、モニタ位置指定用ステッキ32の識別データ、位置データ、方位データ、スイッチの状態を示すスイッチ状態データなどが含まれている。すなわち、この測位結果データを参照することにより、例えば、「??番のモニタ位置指定用ステッキが、何時何分に、位置??、方位??、スイッチ??の状態にある。」といった状況を把握できる。
【0042】
3次元情報統合サーバ21は、3次元処理サーバ22で管理される3次元構造データ及びセンサー情報データ、画像処理サーバ23及び赤外線センサー管理サーバ24及び音声解析サーバ25で管理される各種の検知結果データ、ヘッドマウント型ディスプレイ位置測位サーバ26で管理される測位結果データ、モニタ位置指定用ステッキ位置測位サーバ27で管理される測位結果データに基づいて、3次元情報統合サーバ21内に全ての位置関係を統合した3次元統合データを生成する。なお、ヘッドマウント型ディスプレイ31の測位結果データ及びモニタ位置指定用ステッキ32の測位結果データにおける位置データ及び方位データは、現実空間の座標系のデータであるため、仮想3次元空間の座標系に変換された後に統合される。
【0043】
3次元映像生成サーバ28は、3次元情報統合サーバ21で生成される3次元統合データに基づいて、ユーザインタフェースセクション30のヘッドマウント型ディスプレイ31に表示させるAR画像のデータであるAR画像データを生成する。ユーザインタフェースセクション30に複数のヘッドマウント型ディスプレイ31が存在する場合には、それぞれのヘッドマウント型ディスプレイ31の測位結果データに応じて異なるAR画像データを生成する。
【0044】
3次元映像配信サーバ29は、3次元映像生成サーバ28で生成されたAR画像データを、ユーザインタフェースセクション30の該当するヘッドマウント型ディスプレイ31へ配信(送信)する。
【0045】
ここで、本例のAR画像は、操作人(監視者)がヘッドマウント型ディスプレイ31を通して見る現場像に、監視対象の3次元画像である監視対象画像を重ねた画像である。また、監視対象画像とは、仮想3次元空間上に表現される監視対象をヘッドマウント型ディスプレイ31の位置及び方向に対応する視点(仮想3次元空間上の座標系におけるヘッドマウント型ディスプレイ31の位置及び方向)から見た画像であり、ヘッドマウント型ディスプレイ31の装着者である操作人(監視者)の現実空間の移動に連動して変化する。
【0046】
なお、各種センサーにより取得された情報に基づいて異常の発生が検知された場合には、その検知結果(監視結果)の情報が監視対象画像に付加された状態で現場像に重ねられる。本例では、該当するセンサーに係るセンサー情報データ中の監視箇所データに基づいて、当該センサーによる監視対象の場所に対応する画像部分に検知結果の情報を付加するようにしているが、該当するセンサーに係るセンサー情報データ中の設置箇所データに基づいて、当該センサーが設置されている場所に対応する画像部分に検知結果の情報を付加するようにしてもよい。
【0047】
本例では、ヘッドマウント型ディスプレイ31で撮影されて送信される現場の画像と監視対象画像(及びこれに付加された検知結果の情報)とを合成してAR画像を生成し、当該ヘッドマウント型ディスプレイ31へ送信して表示させるようにしている。本例では、送信先のヘッドマウント型ディスプレイ31を、ヘッドマウント型ディスプレイ31の識別コードにより指定している。
【0048】
ユーザインタフェースセクション30は、操作人(監視者)が監視対象の状況をAR画像により把握するためのセクションである。また、操作人(監視者)は、自身の判断により、AR画像の切り替えや、カメラ11による撮影画像をディスプレイ表示させる操作を行うことも可能である。
【0049】
本例のユーザインタフェースセクション30は、Q個のヘッドマウント型ディスプレイ31(1)〜31(Q)、R個のモニタ位置指定用ステッキ32(1)〜32(R)、3個の無線基地局33(1)〜33(3)、P個のカメラ映像表示ディスプレイ34(1)〜34(P)を有する。なお、各々を区別して説明する場合を除き、単に、ヘッドマウント型ディスプレイ31、モニタ位置指定用ステッキ32、無線基地局33、カメラ映像表示ディスプレイ34と記す。また、ヘッドマウント型ディスプレイ31とモニタ位置指定用ステッキ32とを総称してUI装置と記すこともある。
【0050】
図3には、監視室内に構築されたユーザインタフェースセクション30の概観を例示してある。
図3の例では、3つの無線基地局33が監視室内のそれぞれ異なる位置に設置され、1つのカメラ映像表示ディスプレイ34が監視室内の壁面に設置されており、また、操作人(監視者)がヘッドマウント型ディスプレイ31を頭部に装着すると共にモニタ位置指定用ステッキ32を把持している。なお、図3には、ヘッドマウント型ディスプレイ31を通して操作人(監視者)が見る監視対象画像(及びこれに付加された検知結果の情報)のイメージも示してある。
【0051】
本例では、ヘッドマウント型ディスプレイ31とモニタ位置指定用ステッキ32を1つずつ対応付けし、対応関係にある一対のヘッドマウント型ディスプレイ31とモニタ位置指定用ステッキ32を同一の操作人(監視者)が用いるようにしている。すなわち、或るモニタ位置指定用ステッキ32の操作がなされた場合に、これと対応関係にあるヘッドマウント型ディスプレイ31の表示内容が変化するようにしている。
【0052】
ヘッドマウント型ディスプレイ31とモニタ位置指定用ステッキ32の対応付けは種々の手法により行うことができる。例えば、対応付ける各UI装置(ヘッドマウント型ディスプレイ31及びモニタ位置指定用ステッキ32)の所定部(例えば、赤外線通信部)を一定の距離内に近づけることで互いに通信して認証し、これらの対応付け情報(各UI装置の識別コードを対応付けた情報)を情報処理セクション20に送信して管理(記憶)させる。
【0053】
ヘッドマウント型ディスプレイ31は、人の頭部に眼鏡のように装着するヘッドマウント型(頭部装着型)のAR画像受像装置である。本例のヘッドマウント型ディスプレイ31は、AR画像を受像する機能だけでなく、自装置の位置や方位を測定するためのセンサーや、装着者が見える画角に合わせたカメラ等が装備されており、これらのセンサーやカメラ等により取得されたデータは無線基地局33を介して情報処理セクション20へ伝送される。本例では、無線基地局33との間におけるデータの送受信を無線により行っているが、互いをケーブル接続して有線により行うようにしてもよい。
【0054】
図4(a)には、ヘッドマウント型ディスプレイ31の外観を例示してある。
図4(a)に示すヘッドマウント型ディスプレイ31は、眼鏡状の表示装置であり、右目用ディスプレイ41、左目用ディスプレイ42、カメラ43、3次元方位センサー44、無線装置45を設けた構成となっている。カメラ43は、装着者の前方(顔が向いている方向)を撮影する配置となっており、当該カメラ43で撮影した現場(装着者が在する場所)の画像のデータである現場画像データや3次元方位センサー44で検知した方位(方向)を示す方位データなどを無線装置45により無線基地局33へ送信し、自装置の位置及び方位に応じた監視対象画像(及びこれに付加された検知結果の情報)を現場の画像に合成して得られるAR画像データを無線装置45により無線基地局33から受信し、当該AR画像データに基づくAR画像を右目用ディスプレイ41及び左目用ディスプレイ42により表示出力する。
【0055】
ここで、本例のヘッドマウント型ディスプレイ31の無線装置45は、各無線基地局33との間でデータを送受信する手段だけでなく、各無線基地局33と共にヘッドマウント型ディスプレイ31の位置を測定(検知)する手段を構成している。
位置の測定(検知)は、ヘッドマウント型ディスプレイ31の無線装置45と各無線基地局33で通信される位置推定用の信号に基づいて、TOA(Time Of Arrival;到来時間)、RSS(Received Signal Strength;受信強度)、AOA(Angle Of Arrival;到来角度)などの既知の技術を利用して実現することができる。
【0056】
モニタ位置指定用ステッキ32は、操作人(監視者)がヘッドマウント型ディスプレイ31の表示内容などを切り替える指示を与えるための指示器具である。本例のモニタ位置指定用ステッキ32は、自装置の位置や方位を測定するためのセンサーや、表示内容を切り替えるタイミングを指示するためのスイッチ等が装備されており、これらのセンサーやスイッチ等により取得されたデータは無線基地局33を介して情報処理セクション20へ伝送される。本例では、無線基地局33との間におけるデータの送受信を無線により行っているが、互いをケーブル接続して有線により行うようにしてもよい。また、本例のモニタ位置指定用ステッキ32のようにステッキ状の指示器具ではなく、他の形状の指示器具を用いてもよい。
【0057】
図5には、モニタ位置指定用ステッキ32の外観を例示してある。
図5に示すモニタ位置指定用ステッキ32は、人により把持されるグリップ部51と、グリップ部51から伸びるステッキ部53と、ステッキ部53の先端部分に設けられたラケット部とを有するステッキ状の指示器具であり、グリップ51部にスイッチ52を設けると共に、ラケット部に確認位置指定用プレート54と3次元方位センサー55と無線装置56を設けた構成となっている。そして、スイッチ52の状態(押し下げた状態か否か)を示すスイッチ状態データや3次元方位センサー55で検知した方位(方向)を示す方位データなどを無線装置56により無線基地局33へ送信する。なお、確認位置指定用プレート54は、表面と裏面を目視で区別できるように異なる配色にしてある。
【0058】
ここで、本例のモニタ位置指定用ステッキ32の無線装置56は、各無線基地局33との間でデータを送受信する手段だけでなく、各無線基地局33と共にモニタ位置指定用ステッキ32の位置を測定(検知)する手段を構成している。
位置の測定(検知)は、モニタ位置指定用ステッキ32の無線装置56と各無線基地局33で通信される位置推定用の信号に基づいて、TOA(到来時間)、RSS(受信強度)、AOA(到来角度)などの既知の技術を利用して実現することができる。
【0059】
無線基地局33は、各UI装置(ヘッドマウント型ディスプレイ31及びモニタ位置指定用ステッキ32)と共に各UI装置の位置を測定(検知)する手段を構成しており、測定結果の位置データを、各UI装置の識別データと共にネットワーク経由で情報処理セクション20へ伝送する。
また、ヘッドマウント型ディスプレイ31から送信される現場画像データや方位データ、モニタ位置指定用ステッキ32から送信されるスイッチ状態データや方位データを、各UI装置の識別データと共にネットワーク経由で情報処理セクション20へ伝送する。
また、情報処理セクション20からネットワーク経由で伝送されるAR画像データを、その送信先に指定(本例では、ヘッドマウント型ディスプレイ31の識別コードにより指定)されたヘッドマウント型ディスプレイ31へ送信する。
【0060】
カメラ映像表示ディスプレイ34は、モニタ位置指定用ステッキ32により指示された位置(及び方向)に基づく画像の表示に使用される受像装置であり、情報処理セクション20から伝送される表示用データに基づく表示を行う。
【0061】
本例の監視システムでは、概略的に、以下のような動作を行う。
3次元処理サーバ22が、監視対象の3次元構造データ及び各センサーのセンサー情報データを管理する。
画像処理サーバ23、赤外線センサー管理サーバ24、音声解析サーバ25が、各種センサー(カメラ11、赤外線センサー12、マイク13)の検知結果データを管理する。
ヘッドマウント型ディスプレイ位置測位サーバ26、モニタ位置指定用ステッキ位置測位サーバ27が、各UI装置(ヘッドマウント型ディスプレイ31、モニタ位置指定用ステッキ32)の測位結果データを管理する。
3次元情報統合サーバ21が、上記の各サーバ22〜27により管理されるデータを仮想3次元空間の座標系に統合した3次元統合データを生成する。
【0062】
3次元映像生成サーバ28が、3次元情報統合サーバ21で統合された3次元統合データに基づき、仮想3次元空間上に表現される監視対象をヘッドマウント型ディスプレイ31の位置及び方向に対応する視点(仮想3次元空間上の座標系におけるヘッドマウント型ディスプレイ31の位置及び方向)から見た監視対象画像を生成し、当該ヘッドマウント型ディスプレイ31から送信される撮影画像(現場の画像)に監視対象画像を重ね合わせたAR画像のデータであるAR画像データを生成する。また、いずれかのセンサーにより異常の発生が検知されている場合には、その検知結果の情報を監視対象画像に付加し、検知結果の情報を伴う監視対象画像を現場画像に重ね合わせるようにする。
3次元映像配信サーバ29が、3次元映像生成サーバ28で生成されたAR画像データを該当するヘッドマウント型ディスプレイ31へ送信する。
ヘッドマウント型ディスプレイ31が、3次元映像配信サーバ29から送信されたAR画像データに基づいて、装着者がヘッドマウント型ディスプレイ31を通して見る現場の像に監視対象画像(及びこれに付加された検知結果の情報)を重ねた表示(AR画像)を出力する。
【0063】
ヘッドマウント型ディスプレイ31に表示される監視対象画像について更に説明する。
図6には、ヘッドマウント型ディスプレイ31に表示される監視対象画像の一例として、建物及びその周辺を含む区域を3次元空間上に表現した監視対象画像に、カメラ11の撮影画像に基づく検知結果を示す図形A1,A2を付加した例を示してある。図形A1は、撮影画像に異常が発生する予兆が検知された場合に該当するカメラ11の設置箇所に対応する画像部分に付加される図形であり、図形A2は、撮影画像に異常が検知された場合に該当するカメラ11の設置箇所に対応する画像部分に付加される図形である。本例では、異常の予兆に係る図形A1と完全な異常に係る図形A2の大きさを異ならせることで、異常の予兆か完全な異常かを容易に区別できるようにしてあり、また、完全な異常に係る図形A2を異常の予兆に係る図形A1より大きくして目立つようにしている。
【0064】
図7には、ヘッドマウント型ディスプレイ31に表示される監視対象画像の一例として、建物及びその周辺を含む区域を3次元空間上に表現した監視対象画像に、赤外線センサー12による検知結果を示す図形A3を付加した例を示してある。図形A3は、赤外線レーザーに異常が発生した場合(遮られた場合)に該当する赤外線センサー12の設置箇所に対応する画像部分に付加される図形である。例えば、赤外線レーザーに何かが触れる度に、点滅表示や一定時間表示を行う。
【0065】
図8には、ヘッドマウント型ディスプレイ31に表示される監視対象画像の一例として、建物及びその周辺を含む区域を3次元空間上に表現した監視対象画像に、マイク13の集音音声に基づく検知結果を示す図形A4を付加した例を示してある。図形A4は、集音音声に異常が検知された場合に該当するマイク13の設置箇所に対応する画像部分に付加される図形である。例えば、音声認識で人声のみに反応させて表示を行うようにしてもよく、異常の場所を特定してその場所に対応する画像部分に表示を行うようにしてもよい。
【0066】
なお、図6〜図8に示した図形A1〜A4は一例に過ぎず、他の態様の図形を用いるようにしてもよい。その場合、異常の種別(例えば、撮影画像の異常、赤外線レーザーの異常、集音音声の異常)や程度(例えば、異常の予兆、完全な異常)などを区別して把握することが可能な態様の図形を用いることが好ましい。例えば、異常の種別毎に図形の形状を統一し、異常の程度に応じて図形の色や大きさを変化させる、といった具合である。
【0067】
次に、モニタ位置指定用ステッキ32を用いた表示内容の切り替えを説明する。
モニタ位置指定用ステッキ32を用いて表示内容を切り替える動作の一例について、図9〜11を参照して説明する。
図9〜11には、ヘッドマウント型ディスプレイ31に表示される監視対象画像の一例として、建物及びその周辺を含む区域を3次元空間上に表現した監視対象画像に、建物の内部に設置されたカメラ11による検知結果を示す図形A5を付加した例を示してある。
図9に示すように、当初は、建物の外観を示す外観画像Tの内部に透過的に図形A5を付加してあり、図10に示すように、モニタ位置指定用ステッキ32の先端部分を建物の外観画像Tの内部に位置させた状態(差し込んだ状態)でモニタ位置指定用ステッキ32のスイッチ52が押し下げられると、図11に示すように、建物の内部構造を示す内部画像T’に切り替えるようにする。
【0068】
モニタ位置指定用ステッキ32を用いて表示内容を切り替える動作の他の例について、図12,13を参照して説明する。
図12には、ヘッドマウント型ディスプレイ31に表示される監視対象画像の一例として、建物及びその周辺を含む区域を3次元空間上に表現した監視対象画像に、建物の外部に設置されたカメラ11による検知結果を示す図形A6を付加した例を示してある。この図形A6の近辺(一定の範囲内)にモニタ位置指定用ステッキ32の先端部分を位置させると共に、モニタ位置指定用ステッキ32の先端部分に設けられた確認位置指定用プレート54の表面(指示部)を図形A6側に向けた状態でモニタ位置指定用ステッキ32のスイッチ52が押し下げられると、図13に示すように、該当する場所に設置されたカメラ11(本例では、門に向けて設置された第5カメラ11(5))による撮影画像を映像表示用ディスプレイ11に表示させるようにする。この撮影画像は、情報収集セクション10側から直接的に映像表示用ディスプレイ11へ伝送させてもよく、情報処理セクション20を経由して映像表示用ディスプレイ11へ伝送させてもよい。
【0069】
ここで、モニタ位置指定用ステッキ32の指示部(確認位置指定用プレート54の表面)の位置及び方向の変化に応じて、映像表示用ディスプレイ11(或いはヘッドマウント型ディスプレイ31)の表示内容を変化させるようにしてもよい。すなわち、例えば、撮影方向が可変なカメラをセンサーとして用い、モニタ位置指定用ステッキ32の指示部の方向に対応する撮影方向にカメラの向きを制御することで、その撮影方向の撮影画像を映像表示用ディスプレイ11に表示させたり、映像表示用ディスプレイ11に表示される撮影画像をモニタ位置指定用ステッキ32の指示部を図形A6に近づけるほど拡大させたりしてもよい。
【0070】
以上のように、本例の監視システムでは、操作人(監視者)がヘッドマウント型ディスプレイ31を通して見る現実世界(現場の像)に仮想的な監視対象画像(及びこれに付加された検知結果の情報)を融合させることで、所望の視点から監視対象を監視できるようにしてあり、また、モニタ位置指定用ステッキ32を用いた直感的な作法により表示切り替え等を行えるようにしてあるため、操作人(監視者)は、監視対象の監視を効果的に実施することができる。
【0071】
ここで、本例では、ヘッドマウント型ディスプレイ31にカメラを設けて現場の画像を撮影し、これに監視対象画像(及びこれに付加された検知結果の情報)を重ねた画像をディスプレイに表示するようにしているが、例えば、現場の像を透過させて操作人(監視者)に与える透過型のディスプレイを用い、当該透過型のディスプレイに監視対象画像(及びこれに付加された検知結果の情報)を映し出すようにすることで、現場の像への重ね合わせを行うようにしてもよい。図4(b)には、透過型ディスプレイ装置の外観を例示してある。本例の透過型ディスプレイ装置60は、透過型のディスプレイ61、当該ディスプレイ61を固定するフレーム枠62、人により把持されるグリップ部63を有しており、操作人(監視者)が手に持って使用するタイプの表示装置である。すなわち、本例の透過型ディスプレイ装置60によれば、透過型のディスプレイ61により透過される現場の像と当該ディスプレイ61に表示出力される監視対象画像(及びこれに付加された検知結果の情報)との重ね合わせが行われる。
【符号の説明】
【0072】
10:情報収集セクション、 20:情報処理セクション、 30:ユーザインタフェースセクション、
11(1)〜11(L):カメラ、 12(1)〜12(M):赤外線センサー、 13(1)〜13(N):マイク、
21:3次元情報統合サーバ、 22:3次元処理サーバ、 23:画像処理サーバ、 24:赤外線センサー管理サーバ、 25:音声解析サーバ、 26:ヘッドマウント型ディスプレイ位置測位サーバ、 27:モニタ位置指定用ステッキ位置測位サーバ、 28:3次元映像生成サーバ、29:3次元映像配信サーバ、
31(1)〜31(Q):ヘッドマウント型ディスプレイ、 32(1)〜32(R):モニタ位置指定用ステッキ、 33(1)〜33(3):無線基地局、 34(1)〜34(P):カメラ映像表示ディスプレイ

【特許請求の範囲】
【請求項1】
監視対象の3次元画像を表示する表示装置を用いて前記監視対象を監視する監視システムであって、
前記監視対象を3次元画像として表示するための3次元構造データを記憶する記憶手段と、
前記監視対象に対して設置された監視手段と、
前記表示装置に、前記3次元構造データに基づいて前記監視対象の3次元画像を表示すると共に、前記監視手段の設置箇所に対応して、当該3次元画像に前記監視手段による監視結果を付加して表示する表示制御手段と、
を備えたことを特徴とする監視システム。
【請求項2】
請求項1に記載の監視システムにおいて、
前記表示装置は、人の頭部に装着され、装着者の前方の現場像を映し出すヘッドマウント型であり、前記監視結果が付加された前記監視対象の3次元画像を前記現場像に重ねて表示し、
更に、前記監視システムは、
利用者に把持され、前記監視対象の3次元画像に対する指示を与えるための指示器具を備え、
前記表示制御手段は、前記指示器具を用いた指示に応じて、前記監視対象の3次元画像に係る所定の画像処理を行う、
ことを特徴とする監視システム。
【請求項3】
監視対象の3次元画像を表示する表示装置を用いて前記監視対象を監視する監視方法であって、
前記監視対象に対して設置された監視手段による監視結果を取得し、
前記表示装置に、前記監視手段の設置箇所に対応して、前記監視対象の3次元画像に前記取得した監視結果を付加して表示する、
ことを特徴とする監視方法。
【請求項4】
請求項3に記載の監視方法において、
前記表示装置は、人の頭部に装着され、装着者の前方の現場像を映し出すヘッドマウント型であり、前記監視結果が付加された前記監視対象の3次元画像を前記現場像に重ねて表示し、
更に、前記監視システムは、
利用者に把持され、前記監視対象の3次元画像に対する指示を与えるための指示器具を備え、
前記指示器具を用いた指示に応じて、前記監視対象の3次元画像に係る所定の画像処理を行う、
ことを特徴とする監視方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−239068(P2012−239068A)
【公開日】平成24年12月6日(2012.12.6)
【国際特許分類】
【出願番号】特願2011−107248(P2011−107248)
【出願日】平成23年5月12日(2011.5.12)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】