安全管理装置
【課題】観察者が公共施設等に設置したマイクロホンアレーを通して得られた３次元の音響情報をモニタリングすることにより、少ない人員で広い空間における安全を効率的に管理することのできる安全管理装置を提供すること。
【解決手段】安全管理装置は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部１と、マイクロホンアレー部１から入力されるマルチチャネルのアナログ信号をデジタル信号に変換するデータ変換部２と、マルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部３と、信号処理部３に前記観測区間内の任意の位置情報を入力するためのマンマシンインタフェース７と、信号処理部３から出力されるデジタル信号をアナログ信号に変換し、音響信号として出力する音響出力部４とから構成される。
【解決手段】安全管理装置は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部１と、マイクロホンアレー部１から入力されるマルチチャネルのアナログ信号をデジタル信号に変換するデータ変換部２と、マルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部３と、信号処理部３に前記観測区間内の任意の位置情報を入力するためのマンマシンインタフェース７と、信号処理部３から出力されるデジタル信号をアナログ信号に変換し、音響信号として出力する音響出力部４とから構成される。
【発明の詳細な説明】
【発明の属する技術分野】
【０００１】
本発明は、情報通信機器を用いた危機管理乃至安全管理に適用される安全管理装置に係り、より詳細には、３次元音響技術、音源分離、３次元映像処理技術などを利用して、空間における防犯、犯罪捜査、事故原因究明、危機管理、テロ対策などに適用される安全管理装置に関する。
【背景技術】
【０００２】
近年、凶悪犯罪、特に無差別テロ攻撃に対する対策が国際的な重要課題となっている。空港など一部の施設では、Ｘ線や金属探知機による検査が行われているが、それ以外では、警備員による巡回と防犯カメラに頼っているのが現状である。
【０００３】
一方、音を利用した防犯、安全技術としては、音を発生させることによって危険を知らせる非常ベルや警報音、モーターやエンジンの異常を音で検出する技術が実用化されているにすぎない。
【０００４】
マイクロホンアレーを用いた３次元音響技術は、音源分離や移動音源の追跡に有効な手段であり、主に雑音環境下や、またはビデオ会議システムなどにおいて、複数話者の中から特定の話者の声だけを抽出する方法として（特許文献１）、音声認識装置やロボットの要素技術として研究が進められている（非特許文献１、２）。また、マイクロホンアレー近傍の音を選択的に収音する技術も提案されている（非特許文献３、４）。さらに、音源の種類とその発生方向を識別する技術や特定の周波数の音を監視する防犯装置も提案されている（特許文献２）。
【特許文献１】特表２００４−５２８７６６
【特許文献２】特願２００５−２５６３２
【非特許文献１】J.-M. Valin、 F. Michaud、J. Rouat、 and D. L´etourneau、 “Robustsound source localization using a microphone array on a mobile robot、” in Proc. IROS、 2003
【非特許文献２】Yasuaki Ohashi、 Tsuyoki Nishikawa、 Hiroshi Saruwatari、 Akinobu Lee、 Kiyohiro Shikano、 ``Noise Robust Speech Recognition Based on Spatial Subtraction Array、'' Proceedingsof International Workshop on Nonlinear Signal and Image Processing (NSIP2005)、 pp324−327、 May 2005
【非特許文献３】榎本成悟、伊勢史郎、“多重極展開を用いた急峻な距離減衰特性を持つマイクロホンシステムの提案、”日本音響学会誌、58、261-270、2002
【非特許文献４】榎本成悟、伊勢史郎、“境界音場制御の原理を用いた収音範囲の局所化を実現するマイクロホンシステムの提案、”日本音響学会誌、61、516-523、2005
【発明の開示】
【発明が解決しようとする課題】
【０００５】
防犯カメラは、ＡＴＭやコンビニエンスストアなど比較的狭い空間ではきわめて有効に機能するが、カメラで監視できる範囲が限定されており、障害物によって視野が遮られる場合もあるため、空港、駅など広い空間を常時監視するためには難点がある。
【０００６】
また、大都市部においては、鉄道および地下鉄の駅だけでもかなりの数があり、これを巡回しようとすると警備員の数が膨大となる。一度発生すれば甚大な被害をもたらす可能性がある反面、発生するかどうかもわからない犯罪や事故のために常時配備できる警備員の数は限られる。
【０００７】
一般に、音は、画像に比べてデータサイズが圧倒的に小さく、方向や障害物の影響も受けにくい。また、３次元音響技術は、音源分離や話者識別方法、雑音除去方法に関して、実験室レベルではかなり研究が進められている。しかし、音の種類を機械に自動識別させるのは技術的に困難であり、特に実環境下では識別率が低くなると考えられる。識別率を上げるために、周波数範囲を限定しようとすると、対象とする音が絞られることになり、用途が制限される。これに対して、ヒトの聴覚はかなり雑音の多い環境下でも特定の音を選択的に聞き分ける能力を備えている。
【０００８】
本研究の目的は、上記の問題点に鑑み、観察者が公共施設等に設置したマイクロホンアレーを通して得られた３次元の音響情報をモニタリングすることにより、少ない人員で広い空間における安全を効率的に管理することのできる安全管理装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は、上記の問題を解決するため、下記の手段を採用した。
第１の手段は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、該マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換するデータ変換部と、前記マルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部と、該信号処理部に前記観測区間内の任意の位置情報を入力するためのマンマシンインタフェースと、前記信号処理部から出力されるデジタル信号をアナログ信号に変換し、音響信号として出力する音響出力部とを備えることを特徴とする安全管理装置である。
第２の手段は、第１の手段において、前記データ変換部におけるデジタル信号をデータ圧縮する機能を備える前記データ変換部と、前記データ圧縮されたデータを保存するデータ記録部と、前記データ記録部から読み出されたデータを復号化し、復号化されたデジタル信号を前記信号処理部へ送出するデータ復号化部とを備えることを特徴とする安全管理装置である。
第３の手段は、第１の手段または第２の手段において、前記信号処理部は、ステレオまたは３チャネル以上のマルチチャネル立体音響信号を合成し、前記音響出力部に出力することを特徴とする安全管理装置である。
第４の手段は、第１の手段または第２の手段において、前記信号処理部は、観測者または汎用の頭部伝達関数を畳み込んだバイノーラル音響信号を合成し、前記音響出力部に出力することを特徴とする安全管理装置である。
第５の手段は、第１の手段乃至第４の手段のいずれか１つの手段において、 観測空間の３次元形状データを記憶する３次元形状データ保存部と、前記マンマシンインタフェースから入力される観測区間内の任意の位置情報に応じて前記３次元形状データ保存部に記憶されている３次元形状データから仮想３次元画像を形成する３次元画像処理部と、前記仮想３次元画像を表示する３次元画像表示部とを備え、前記マンマシンインタフェースから前記信号処理部に入力される観測区間内の任意の位置情報と連動して前記３次元画像表示部に前記仮想３次元画像を表示させることを特徴とする安全管理装置である。
第６の手段は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、参照危険音データが記憶された危険音データベースと、前記マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換し、前記デジタル信号と前記危険音データベースに記録された参照危険音データとを比較して危険音を検出する危険音検出部と、該危険音検出部から入力される各チャンネル間の前記危険音の音圧差および／または伝達時間差から危険音の発生位置を推定する音源位置推定部とを備えることを特徴とする安全管理装置である。
第７の手段は、第６の手段において、前記危険音データベースに記憶される参照危険音データは、学習により更新されることを特徴とする安全管理装置である。
【発明の効果】
【００１０】
上述のとおり本発明では、優れた音の識別能力をもつヒトの聴覚と３次元音響情報を利用することにより、防犯カメラが監視できる範囲では、映像と音の併用によってより詳細な３次元空間情報を得ることが可能となり、防犯カメラの監視区域外でも音によって空間的な情報を得ることが可能となる。よって従来よりも広い空間の情報を効率的にモニタリングすることが可能となる。
【００１１】
また、悲鳴や爆音など認識が容易な音については自動検出機能を備えることにより、事故や犯罪の発生および発生場所の迅速な把握が可能となる。危険音データベースが学習によって更新されることにより、危険音、異常音の検出精度を向上させることが可能である。
【００１２】
観測者は、マルチチャネル立体音響信号あるいはバイノーラル音響信号を聞くことによって観測空間内の音響情報を感覚的に把握できる。さらに３次元映像技術との連携によって遠隔地にいる観測者が仮想３次元空間内にて音源を探索、追跡することが可能である。
【００１３】
マイクロホンアレー部からのマルチチャネルデータは、圧縮し、一定期間保存しておくことができ、保存中のデータは必要に応じて呼び出すことができるので、犯罪捜査や事故原因の究明に利用することができる。データの保存期間は、データ記録部の容量に依存する。
【００１４】
本発明は、空港や駅、バスターミナル、その他の公共施設やビル、商店街のアーケード、踏み切りや交差点など広範な場所に設置が可能であり、用途も防犯、犯罪捜査、交通事故の状況確認、原因究明、不審者や不審車両の追跡など多岐にわたる。
【発明の実施の形態】
【００１５】
本発明の第１の実施形態例を図１を用いて説明する。
図１は、本実施形態の発明に係る安全管理装置の構成を示す図である。
同図において、１は観測空間内に設置された複数のマイクロホンと増幅器からなるマイクロホンアレー部、２はマイクロホンアレー部１から入力されるマルチチャネルのアナログ電気信号をデジタル信号に変換し、必要に応じて変換されたデジタル信号をデータ圧縮する機能を備えるデータ変換部、３はマルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部、４は信号処理部３から出力されるデジタル信号をアナログ信号に変換し音響信号として出力する音響出力部、５はデータ変換部２でデータ圧縮されたデータを保存するデータ記録部、６はデータ記録部５から読み出されたデータを復号化し、復号化された信号を信号処理部３へ送出するデータ復号化部、７は観測希望位置の座標データを信号処理部３に入力するマンマシンインタフェースである。
同図において、この安全管理装置は以下のように動作する。マイクロホンアレー部１にて入力された音響信号がマルチチャネルのアナログ電気信号に変換され、アナログ電気信号はデータ変換部２にてデジタル信号に変換される。デジタル信号に変換されたマルチチャネルの信号は信号処理部３へ送出される。また、データ変換部２において、デジタル信号は必要に応じて圧縮され、データ記録部５へ送られる。データ記録部５では、一定期間にわたる過去のデータが保存される。データ記録部５に保存されたデータは必要なときに呼び出され、データ復号化部６にてマルチチャネルのデジタル信号に復号化され、信号処理部３へ送られる。ユーザーは、マンマシンインタフェース７を介して観測したい位置（仮にＸと置く）の座標情報（ｘ、ｙ、ｚ）を信号処理部３に入力する。このとき、Ｘの座標情報（x、y、z）をキーボード等から数値として入力するのでは時間もかかり実用性に欠ける。そこで、より簡便かつ直感的な操作で座標情報を入力できるよう、マウス、トラックボール、タッチパネルのような操作性に優れたコントローラを備えたマンマシンインタフェース７が必要となる。信号処理部３では、チャネル間の伝達時間差（遅延時間△ｔ０、△ｔ１、・・・△ｔＮ−１）の補正が行われ、観測希望位置Ｘにおける音響信号または観測者または汎用の頭部伝達関数（頭部や耳朶等の影響）が畳み込まれたバイノーラル音響信号（３次元情報を含んだヘッドホン用信号）が合成され、音響出力部４から出力される。
【００１６】
信号処理部３にて行われる処理について式１から式３を用いて説明する。
音波がt（秒）間に進む距離l（m）は音速c（m）と伝達時間t（秒）の積で求まる（式１）。よって、距離lが既知の場合、距離lから伝達時間tを求めることができる（式２）。
観測希望位置をＸとする。Ｘを時刻tに通過した音が各マイクロホンに到達するのに要する遅延時間△t0、△t1、△t2、・・・△tN-1は、個々のマイクロホンとＸとの距離（l0、l1、l2、・・・lN-1）を音速c（m）で除することによって求められる。時刻tにおける各マイクロホンからの出力信号をS0（t）、S1（t）、S2（t）、・・・、SN-1（t）とすると、式３にてＸを時刻tに通過した信号の和SX（t）を推測できる。
式３において、Ｘを時刻tに通過した音は同位相で加算されるために増幅されるが、他の音は位相が揃っていないために増幅されない。このようにして任意の位置で生じた音だけを選択的に増幅することが可能となる。
また、観測空間内の任意の２点において観測される音圧を推定すれば、ステレオ音響信号を合成することができる。仮想観測点を３点あるいはそれ以上とするマルチチャネル立体音響信号を合成してもよい。さらには、観測者または汎用の頭部伝達関数を畳み込んだバイノーラル音響信号を合成してもよい。合成された信号をステレオ再生、マルチチャネル再生またはバイノーラル（ヘッドホン）再生することにより、実際には遠隔地にいても観測者は仮想的にＸ点で音を聞いている状態を体験できる。
ここで、観測希望位置Ｘは任意に決められ、時間とともに移動（更新）することもできるので、観測者は仮想空間内を移動しながら周囲の音情報を観測することができる。この点は、従来のビデオ会議システムなどと大きく異なり、これにより音源を動的に探索、追跡することが可能となる。
【００１７】
次に、本発明の第２の実施形態を図２を用いて説明する。
図２は、本実施形態の発明に係る安全管理装置の構成を示す図である。
同図において、８は観測空間の３次元形状データを記憶する３次元形状データ保存部、９はマンマシンインタフェース７から入力される観測区間内の任意の位置情報に応じて３次元形状データ保存部８に記憶されている３次元形状データから仮想３次元画像を形成する３次元画像処理部、１０は、プロジェクタやディスプレイなどから構成され、仮想３次元画像を表示する３次元画像表示部である。なお、その他の構成は図１に示す同符号の構成に対応するので説明を省略する。
同図において、この安全管理装置は以下のように動作する。マンマシンインタフェース７から信号処理部３と３次元画像処理部９に観測希望位置の情報が入力されると、３次元画像処理部９において３次元形状データ保存部８に記録されている観測空間の３次元形状データに基づいた仮想３次元画像が合成される。合成された仮想３次元画像は３次元画像表示部１０によって表示される。これと同期して、信号処理部３にて合成された立体音響信号が音響出力部４から出力される。その結果、観測者は、表示された仮想３次元空間内を移動するのに連動して仮想の観測位置を移動させることが可能となる。したがって、観測者は仮想３次元空間内にて音源の分離、探索、追跡を行うことが可能となり、将来、機械による音源分離、識別、探索、追跡の技術が実用化レベルに達した場合には、さらに効率的な安全管理を実現することができる
【００１８】
次に、本発明の第３の実施形態例を図３を用いて説明する。
図３は、本実施形態の発明に係る安全管理装置の構成を示す図である。
１１はマイクロホンアレー部１から入力されるマルチチャネルのアナログ信号をデジタル信号に変換し、各チャネルのデジタル信号の波形分析および／またはスペクトル解析を行い、波形分析および／またはスペクトル解析の結果得られた波形データおよび／またはスペクトルデータと危険音データベース１２に記録されている参照危険音の波形データおよび／またはスペクトルデータとを比較して危険音の有無を判定する危険音検出部、１２は波形データおよび／またはスペクトルデータからなる参照危険音データを記憶する危険音データベース、１３は危険音検出部１１から入力される各チャンネル間の危険音の音圧差および／または伝達時間差から危険音の発生位置を推定する危険音音源位置推定部である。なお、その他の構成は図１に示す同符号の構成に対応するので説明を省略する。
同図において、この安全管理装置は以下のように動作する。複数個配置されたマイクロホンによって検出された音響信号はマイクロホンアレー部１でマルチチャネルのアナログ電気信号に変換され、危険音検出部１１に入力される。危険音検出部１１に入力されたアナログ信号はマルチチャネルのデジタル信号に変換され、各デジタル信号は波形分析および／またはスペクトル解析が行われる。波形分析および／またはスペクトル解析の結果得られた波形データおよび／またはスペクトルデータは、危険音データベース１２に登録されている衝突音、爆音、悲鳴、各種機器の故障や誤動作による異常音などからなる参照危険音の波形データおよび／またはスペクトルデータと比較され、危険音と類似した音が存在するかどうか判定される。検出された危険音は危険音音源位置推定部１３に入力され、各チャネル間の危険音の音圧差および／または伝達時間差から危険音の音源位置が推定され、推定された危険音音源位置情報は警報音やアラームと共に観測者に知らされる。
ここで、危険音音源位置推定部１３における危険音音源位置の推定を図４、図５および式４から式９を用いて説明する。図４は危険音音源位置とマイクロホンの位置関係を示す図である。ここで、危険音音源とマイクロホン０、マイクロホン１、マイクロホン２までの距離をそれぞれl0、l0+△l1、l0+△l2とする。危険音音源の位置は不明なので、マイクロホン０までの距離l0は未知だが、△l1、△l2は危険音がマイクロホン０に到達してからマイクロホン１、マイクロホン２に到達するまでの遅延時間から、式１の関係により求められる。また、マイクロホン間の距離dは既知である。危険音音源からマイクロホン０までの距離l0は、垂直成分をyと水平成分をxとすると、
とあらわせる。危険音音源からマイクロホン２、マイクロホン３までの距離も同様に、
とそれぞれあらわせる。式５、式６の両辺を二乗し、式４を代入すると、
が得られる。式７と式８から、
となる。ここで、前述のとおりdは既知であり、△l1、△l2は遅延時間から求められるので、危険音音源とマイクロホン０の距離l0が求められる。このように、危険音が各マイクロホンに到達する時間の差から、危険音音源と各マイクロホンの距離が求められる。複数のマイクロホンからの距離がわかれば危険音音源位置を特定できる。
また、危険音音源を点音源と仮定すると、観測される音圧は、危険音音源からの距離の２乗に反比例する。２つのマイクロホンマイクロホン０、マイクロホン１にて観測される音圧をそれぞれP0、P1、危険音音源からそれぞれのマイクロホンまでの距離をl0、l1とすると、
の関係となる。P0、P1は観測によって得られるので、式９よりl0とl1の比が求められる。マイクロホン１の音圧がマイクロホン０の音圧のn分の１、すなわち、
のとき、音源は、式９より、
を満たす位置にあると考えられる。例えば、図５に示すようにマイクロホン間の距離がdで、マイクロホン１の音圧がマイクロホン０の音圧の４分の１、すなわち、
なら、距離の比は、
となり、危険音音源は、図５に破線で示す球面上にあることが推定できる。マイクロホンの数を増やせばさらに危険音音源位置を絞り込むことができる。
このように、危険音音源位置推定部１３では、チャネル間の到達時間差（遅延）や音圧差を元に危険音の音源位置を推定することができる。
危険音音源位置推定部１３からは推定された危険音音源の位置情報が出力される。これを監視カメラと連動させることにより、事故や犯罪の発生場所の映像を効率的にモニタできる。
【００１９】
危険音検出部１１が危険音でない音を危険音と判定した場合、次回から同じ誤りが生じないように危険音データベース１２を更新する。必要に応じて危険音データベース１２が更新されることにより、危険音検出精度の向上が期待できる。
【００２０】
以上、本発明の基本的な実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。本発明の要旨を逸脱しない範囲内において、適宜の変更が可能なものである。
【図面の簡単な説明】
【００２１】
【図１】第１の実施形態の発明に係る安全管理装置の構成を示す図である。
【図２】第２の実施形態の発明に係る安全管理装置の構成を示す図である。
【図３】第３の実施形態の発明に係る安全管理装置の構成を示す図である。
【図４】第３の実施形態における危険音音源とマイクロホンの位置関係を表す図である。
【図５】チャネル間音圧差をもとにして推定される音源位置の例を示す図である。
【符号の説明】
【００２２】
１ マイクロホンアレー部
２ データ変換部
３ 信号処理部
４ 音響出力部
５ データ記録部
６ データ復号化部
７ マンマシンインタフェース
８ ３次元形状データ保存部
９ ３次元映像処理部
１０ 映像提示部
１１ 危険音検出部
１２ 危険音データベース
１３ 危険音音源位置推定部
【発明の属する技術分野】
【０００１】
本発明は、情報通信機器を用いた危機管理乃至安全管理に適用される安全管理装置に係り、より詳細には、３次元音響技術、音源分離、３次元映像処理技術などを利用して、空間における防犯、犯罪捜査、事故原因究明、危機管理、テロ対策などに適用される安全管理装置に関する。
【背景技術】
【０００２】
近年、凶悪犯罪、特に無差別テロ攻撃に対する対策が国際的な重要課題となっている。空港など一部の施設では、Ｘ線や金属探知機による検査が行われているが、それ以外では、警備員による巡回と防犯カメラに頼っているのが現状である。
【０００３】
一方、音を利用した防犯、安全技術としては、音を発生させることによって危険を知らせる非常ベルや警報音、モーターやエンジンの異常を音で検出する技術が実用化されているにすぎない。
【０００４】
マイクロホンアレーを用いた３次元音響技術は、音源分離や移動音源の追跡に有効な手段であり、主に雑音環境下や、またはビデオ会議システムなどにおいて、複数話者の中から特定の話者の声だけを抽出する方法として（特許文献１）、音声認識装置やロボットの要素技術として研究が進められている（非特許文献１、２）。また、マイクロホンアレー近傍の音を選択的に収音する技術も提案されている（非特許文献３、４）。さらに、音源の種類とその発生方向を識別する技術や特定の周波数の音を監視する防犯装置も提案されている（特許文献２）。
【特許文献１】特表２００４−５２８７６６
【特許文献２】特願２００５−２５６３２
【非特許文献１】J.-M. Valin、 F. Michaud、J. Rouat、 and D. L´etourneau、 “Robustsound source localization using a microphone array on a mobile robot、” in Proc. IROS、 2003
【非特許文献２】Yasuaki Ohashi、 Tsuyoki Nishikawa、 Hiroshi Saruwatari、 Akinobu Lee、 Kiyohiro Shikano、 ``Noise Robust Speech Recognition Based on Spatial Subtraction Array、'' Proceedingsof International Workshop on Nonlinear Signal and Image Processing (NSIP2005)、 pp324−327、 May 2005
【非特許文献３】榎本成悟、伊勢史郎、“多重極展開を用いた急峻な距離減衰特性を持つマイクロホンシステムの提案、”日本音響学会誌、58、261-270、2002
【非特許文献４】榎本成悟、伊勢史郎、“境界音場制御の原理を用いた収音範囲の局所化を実現するマイクロホンシステムの提案、”日本音響学会誌、61、516-523、2005
【発明の開示】
【発明が解決しようとする課題】
【０００５】
防犯カメラは、ＡＴＭやコンビニエンスストアなど比較的狭い空間ではきわめて有効に機能するが、カメラで監視できる範囲が限定されており、障害物によって視野が遮られる場合もあるため、空港、駅など広い空間を常時監視するためには難点がある。
【０００６】
また、大都市部においては、鉄道および地下鉄の駅だけでもかなりの数があり、これを巡回しようとすると警備員の数が膨大となる。一度発生すれば甚大な被害をもたらす可能性がある反面、発生するかどうかもわからない犯罪や事故のために常時配備できる警備員の数は限られる。
【０００７】
一般に、音は、画像に比べてデータサイズが圧倒的に小さく、方向や障害物の影響も受けにくい。また、３次元音響技術は、音源分離や話者識別方法、雑音除去方法に関して、実験室レベルではかなり研究が進められている。しかし、音の種類を機械に自動識別させるのは技術的に困難であり、特に実環境下では識別率が低くなると考えられる。識別率を上げるために、周波数範囲を限定しようとすると、対象とする音が絞られることになり、用途が制限される。これに対して、ヒトの聴覚はかなり雑音の多い環境下でも特定の音を選択的に聞き分ける能力を備えている。
【０００８】
本研究の目的は、上記の問題点に鑑み、観察者が公共施設等に設置したマイクロホンアレーを通して得られた３次元の音響情報をモニタリングすることにより、少ない人員で広い空間における安全を効率的に管理することのできる安全管理装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は、上記の問題を解決するため、下記の手段を採用した。
第１の手段は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、該マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換するデータ変換部と、前記マルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部と、該信号処理部に前記観測区間内の任意の位置情報を入力するためのマンマシンインタフェースと、前記信号処理部から出力されるデジタル信号をアナログ信号に変換し、音響信号として出力する音響出力部とを備えることを特徴とする安全管理装置である。
第２の手段は、第１の手段において、前記データ変換部におけるデジタル信号をデータ圧縮する機能を備える前記データ変換部と、前記データ圧縮されたデータを保存するデータ記録部と、前記データ記録部から読み出されたデータを復号化し、復号化されたデジタル信号を前記信号処理部へ送出するデータ復号化部とを備えることを特徴とする安全管理装置である。
第３の手段は、第１の手段または第２の手段において、前記信号処理部は、ステレオまたは３チャネル以上のマルチチャネル立体音響信号を合成し、前記音響出力部に出力することを特徴とする安全管理装置である。
第４の手段は、第１の手段または第２の手段において、前記信号処理部は、観測者または汎用の頭部伝達関数を畳み込んだバイノーラル音響信号を合成し、前記音響出力部に出力することを特徴とする安全管理装置である。
第５の手段は、第１の手段乃至第４の手段のいずれか１つの手段において、 観測空間の３次元形状データを記憶する３次元形状データ保存部と、前記マンマシンインタフェースから入力される観測区間内の任意の位置情報に応じて前記３次元形状データ保存部に記憶されている３次元形状データから仮想３次元画像を形成する３次元画像処理部と、前記仮想３次元画像を表示する３次元画像表示部とを備え、前記マンマシンインタフェースから前記信号処理部に入力される観測区間内の任意の位置情報と連動して前記３次元画像表示部に前記仮想３次元画像を表示させることを特徴とする安全管理装置である。
第６の手段は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、参照危険音データが記憶された危険音データベースと、前記マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換し、前記デジタル信号と前記危険音データベースに記録された参照危険音データとを比較して危険音を検出する危険音検出部と、該危険音検出部から入力される各チャンネル間の前記危険音の音圧差および／または伝達時間差から危険音の発生位置を推定する音源位置推定部とを備えることを特徴とする安全管理装置である。
第７の手段は、第６の手段において、前記危険音データベースに記憶される参照危険音データは、学習により更新されることを特徴とする安全管理装置である。
【発明の効果】
【００１０】
上述のとおり本発明では、優れた音の識別能力をもつヒトの聴覚と３次元音響情報を利用することにより、防犯カメラが監視できる範囲では、映像と音の併用によってより詳細な３次元空間情報を得ることが可能となり、防犯カメラの監視区域外でも音によって空間的な情報を得ることが可能となる。よって従来よりも広い空間の情報を効率的にモニタリングすることが可能となる。
【００１１】
また、悲鳴や爆音など認識が容易な音については自動検出機能を備えることにより、事故や犯罪の発生および発生場所の迅速な把握が可能となる。危険音データベースが学習によって更新されることにより、危険音、異常音の検出精度を向上させることが可能である。
【００１２】
観測者は、マルチチャネル立体音響信号あるいはバイノーラル音響信号を聞くことによって観測空間内の音響情報を感覚的に把握できる。さらに３次元映像技術との連携によって遠隔地にいる観測者が仮想３次元空間内にて音源を探索、追跡することが可能である。
【００１３】
マイクロホンアレー部からのマルチチャネルデータは、圧縮し、一定期間保存しておくことができ、保存中のデータは必要に応じて呼び出すことができるので、犯罪捜査や事故原因の究明に利用することができる。データの保存期間は、データ記録部の容量に依存する。
【００１４】
本発明は、空港や駅、バスターミナル、その他の公共施設やビル、商店街のアーケード、踏み切りや交差点など広範な場所に設置が可能であり、用途も防犯、犯罪捜査、交通事故の状況確認、原因究明、不審者や不審車両の追跡など多岐にわたる。
【発明の実施の形態】
【００１５】
本発明の第１の実施形態例を図１を用いて説明する。
図１は、本実施形態の発明に係る安全管理装置の構成を示す図である。
同図において、１は観測空間内に設置された複数のマイクロホンと増幅器からなるマイクロホンアレー部、２はマイクロホンアレー部１から入力されるマルチチャネルのアナログ電気信号をデジタル信号に変換し、必要に応じて変換されたデジタル信号をデータ圧縮する機能を備えるデータ変換部、３はマルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部、４は信号処理部３から出力されるデジタル信号をアナログ信号に変換し音響信号として出力する音響出力部、５はデータ変換部２でデータ圧縮されたデータを保存するデータ記録部、６はデータ記録部５から読み出されたデータを復号化し、復号化された信号を信号処理部３へ送出するデータ復号化部、７は観測希望位置の座標データを信号処理部３に入力するマンマシンインタフェースである。
同図において、この安全管理装置は以下のように動作する。マイクロホンアレー部１にて入力された音響信号がマルチチャネルのアナログ電気信号に変換され、アナログ電気信号はデータ変換部２にてデジタル信号に変換される。デジタル信号に変換されたマルチチャネルの信号は信号処理部３へ送出される。また、データ変換部２において、デジタル信号は必要に応じて圧縮され、データ記録部５へ送られる。データ記録部５では、一定期間にわたる過去のデータが保存される。データ記録部５に保存されたデータは必要なときに呼び出され、データ復号化部６にてマルチチャネルのデジタル信号に復号化され、信号処理部３へ送られる。ユーザーは、マンマシンインタフェース７を介して観測したい位置（仮にＸと置く）の座標情報（ｘ、ｙ、ｚ）を信号処理部３に入力する。このとき、Ｘの座標情報（x、y、z）をキーボード等から数値として入力するのでは時間もかかり実用性に欠ける。そこで、より簡便かつ直感的な操作で座標情報を入力できるよう、マウス、トラックボール、タッチパネルのような操作性に優れたコントローラを備えたマンマシンインタフェース７が必要となる。信号処理部３では、チャネル間の伝達時間差（遅延時間△ｔ０、△ｔ１、・・・△ｔＮ−１）の補正が行われ、観測希望位置Ｘにおける音響信号または観測者または汎用の頭部伝達関数（頭部や耳朶等の影響）が畳み込まれたバイノーラル音響信号（３次元情報を含んだヘッドホン用信号）が合成され、音響出力部４から出力される。
【００１６】
信号処理部３にて行われる処理について式１から式３を用いて説明する。
音波がt（秒）間に進む距離l（m）は音速c（m）と伝達時間t（秒）の積で求まる（式１）。よって、距離lが既知の場合、距離lから伝達時間tを求めることができる（式２）。
観測希望位置をＸとする。Ｘを時刻tに通過した音が各マイクロホンに到達するのに要する遅延時間△t0、△t1、△t2、・・・△tN-1は、個々のマイクロホンとＸとの距離（l0、l1、l2、・・・lN-1）を音速c（m）で除することによって求められる。時刻tにおける各マイクロホンからの出力信号をS0（t）、S1（t）、S2（t）、・・・、SN-1（t）とすると、式３にてＸを時刻tに通過した信号の和SX（t）を推測できる。
式３において、Ｘを時刻tに通過した音は同位相で加算されるために増幅されるが、他の音は位相が揃っていないために増幅されない。このようにして任意の位置で生じた音だけを選択的に増幅することが可能となる。
また、観測空間内の任意の２点において観測される音圧を推定すれば、ステレオ音響信号を合成することができる。仮想観測点を３点あるいはそれ以上とするマルチチャネル立体音響信号を合成してもよい。さらには、観測者または汎用の頭部伝達関数を畳み込んだバイノーラル音響信号を合成してもよい。合成された信号をステレオ再生、マルチチャネル再生またはバイノーラル（ヘッドホン）再生することにより、実際には遠隔地にいても観測者は仮想的にＸ点で音を聞いている状態を体験できる。
ここで、観測希望位置Ｘは任意に決められ、時間とともに移動（更新）することもできるので、観測者は仮想空間内を移動しながら周囲の音情報を観測することができる。この点は、従来のビデオ会議システムなどと大きく異なり、これにより音源を動的に探索、追跡することが可能となる。
【００１７】
次に、本発明の第２の実施形態を図２を用いて説明する。
図２は、本実施形態の発明に係る安全管理装置の構成を示す図である。
同図において、８は観測空間の３次元形状データを記憶する３次元形状データ保存部、９はマンマシンインタフェース７から入力される観測区間内の任意の位置情報に応じて３次元形状データ保存部８に記憶されている３次元形状データから仮想３次元画像を形成する３次元画像処理部、１０は、プロジェクタやディスプレイなどから構成され、仮想３次元画像を表示する３次元画像表示部である。なお、その他の構成は図１に示す同符号の構成に対応するので説明を省略する。
同図において、この安全管理装置は以下のように動作する。マンマシンインタフェース７から信号処理部３と３次元画像処理部９に観測希望位置の情報が入力されると、３次元画像処理部９において３次元形状データ保存部８に記録されている観測空間の３次元形状データに基づいた仮想３次元画像が合成される。合成された仮想３次元画像は３次元画像表示部１０によって表示される。これと同期して、信号処理部３にて合成された立体音響信号が音響出力部４から出力される。その結果、観測者は、表示された仮想３次元空間内を移動するのに連動して仮想の観測位置を移動させることが可能となる。したがって、観測者は仮想３次元空間内にて音源の分離、探索、追跡を行うことが可能となり、将来、機械による音源分離、識別、探索、追跡の技術が実用化レベルに達した場合には、さらに効率的な安全管理を実現することができる
【００１８】
次に、本発明の第３の実施形態例を図３を用いて説明する。
図３は、本実施形態の発明に係る安全管理装置の構成を示す図である。
１１はマイクロホンアレー部１から入力されるマルチチャネルのアナログ信号をデジタル信号に変換し、各チャネルのデジタル信号の波形分析および／またはスペクトル解析を行い、波形分析および／またはスペクトル解析の結果得られた波形データおよび／またはスペクトルデータと危険音データベース１２に記録されている参照危険音の波形データおよび／またはスペクトルデータとを比較して危険音の有無を判定する危険音検出部、１２は波形データおよび／またはスペクトルデータからなる参照危険音データを記憶する危険音データベース、１３は危険音検出部１１から入力される各チャンネル間の危険音の音圧差および／または伝達時間差から危険音の発生位置を推定する危険音音源位置推定部である。なお、その他の構成は図１に示す同符号の構成に対応するので説明を省略する。
同図において、この安全管理装置は以下のように動作する。複数個配置されたマイクロホンによって検出された音響信号はマイクロホンアレー部１でマルチチャネルのアナログ電気信号に変換され、危険音検出部１１に入力される。危険音検出部１１に入力されたアナログ信号はマルチチャネルのデジタル信号に変換され、各デジタル信号は波形分析および／またはスペクトル解析が行われる。波形分析および／またはスペクトル解析の結果得られた波形データおよび／またはスペクトルデータは、危険音データベース１２に登録されている衝突音、爆音、悲鳴、各種機器の故障や誤動作による異常音などからなる参照危険音の波形データおよび／またはスペクトルデータと比較され、危険音と類似した音が存在するかどうか判定される。検出された危険音は危険音音源位置推定部１３に入力され、各チャネル間の危険音の音圧差および／または伝達時間差から危険音の音源位置が推定され、推定された危険音音源位置情報は警報音やアラームと共に観測者に知らされる。
ここで、危険音音源位置推定部１３における危険音音源位置の推定を図４、図５および式４から式９を用いて説明する。図４は危険音音源位置とマイクロホンの位置関係を示す図である。ここで、危険音音源とマイクロホン０、マイクロホン１、マイクロホン２までの距離をそれぞれl0、l0+△l1、l0+△l2とする。危険音音源の位置は不明なので、マイクロホン０までの距離l0は未知だが、△l1、△l2は危険音がマイクロホン０に到達してからマイクロホン１、マイクロホン２に到達するまでの遅延時間から、式１の関係により求められる。また、マイクロホン間の距離dは既知である。危険音音源からマイクロホン０までの距離l0は、垂直成分をyと水平成分をxとすると、
とあらわせる。危険音音源からマイクロホン２、マイクロホン３までの距離も同様に、
とそれぞれあらわせる。式５、式６の両辺を二乗し、式４を代入すると、
が得られる。式７と式８から、
となる。ここで、前述のとおりdは既知であり、△l1、△l2は遅延時間から求められるので、危険音音源とマイクロホン０の距離l0が求められる。このように、危険音が各マイクロホンに到達する時間の差から、危険音音源と各マイクロホンの距離が求められる。複数のマイクロホンからの距離がわかれば危険音音源位置を特定できる。
また、危険音音源を点音源と仮定すると、観測される音圧は、危険音音源からの距離の２乗に反比例する。２つのマイクロホンマイクロホン０、マイクロホン１にて観測される音圧をそれぞれP0、P1、危険音音源からそれぞれのマイクロホンまでの距離をl0、l1とすると、
の関係となる。P0、P1は観測によって得られるので、式９よりl0とl1の比が求められる。マイクロホン１の音圧がマイクロホン０の音圧のn分の１、すなわち、
のとき、音源は、式９より、
を満たす位置にあると考えられる。例えば、図５に示すようにマイクロホン間の距離がdで、マイクロホン１の音圧がマイクロホン０の音圧の４分の１、すなわち、
なら、距離の比は、
となり、危険音音源は、図５に破線で示す球面上にあることが推定できる。マイクロホンの数を増やせばさらに危険音音源位置を絞り込むことができる。
このように、危険音音源位置推定部１３では、チャネル間の到達時間差（遅延）や音圧差を元に危険音の音源位置を推定することができる。
危険音音源位置推定部１３からは推定された危険音音源の位置情報が出力される。これを監視カメラと連動させることにより、事故や犯罪の発生場所の映像を効率的にモニタできる。
【００１９】
危険音検出部１１が危険音でない音を危険音と判定した場合、次回から同じ誤りが生じないように危険音データベース１２を更新する。必要に応じて危険音データベース１２が更新されることにより、危険音検出精度の向上が期待できる。
【００２０】
以上、本発明の基本的な実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。本発明の要旨を逸脱しない範囲内において、適宜の変更が可能なものである。
【図面の簡単な説明】
【００２１】
【図１】第１の実施形態の発明に係る安全管理装置の構成を示す図である。
【図２】第２の実施形態の発明に係る安全管理装置の構成を示す図である。
【図３】第３の実施形態の発明に係る安全管理装置の構成を示す図である。
【図４】第３の実施形態における危険音音源とマイクロホンの位置関係を表す図である。
【図５】チャネル間音圧差をもとにして推定される音源位置の例を示す図である。
【符号の説明】
【００２２】
１ マイクロホンアレー部
２ データ変換部
３ 信号処理部
４ 音響出力部
５ データ記録部
６ データ復号化部
７ マンマシンインタフェース
８ ３次元形状データ保存部
９ ３次元映像処理部
１０ 映像提示部
１１ 危険音検出部
１２ 危険音データベース
１３ 危険音音源位置推定部
【特許請求の範囲】
【請求項１】
観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、該マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換するデータ変換部と、前記マルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部と、該信号処理部に前記観測区間内の任意の位置情報を入力するためのマンマシンインタフェースと、前記信号処理部から出力されるデジタル信号をアナログ信号に変換し、音響信号として出力する音響出力部とを備えることを特徴とする安全管理装置。
【請求項２】
前記データ変換部におけるデジタル信号をデータ圧縮する機能を備える前記データ変換部と、前記データ圧縮されたデータを保存するデータ記録部と、前記データ記録部から読み出されたデータを復号化し、復号化されたデジタル信号を前記信号処理部へ送出するデータ復号化部とを備えることを特徴とする請求項１に記載の安全管理装置。
【請求項３】
前記信号処理部は、ステレオまたは３チャネル以上のマルチチャネル立体音響信号を合成し、前記音響出力部に出力することを特徴とする請求項１または請求項２に記載の安全管理装置。
【請求項４】
前記信号処理部は、観測者または汎用の頭部伝達関数を畳み込んだバイノーラル音響信号を合成し、前記音響出力部に出力することを特徴とする請求項１または請求項２に記載の安全管理装置。
【請求項５】
観測空間の３次元形状データを記憶する３次元形状データ保存部と、前記マンマシンインタフェースから入力される観測区間内の任意の位置情報に応じて前記３次元形状データ保存部に記憶されている３次元形状データから仮想３次元画像を形成する３次元画像処理部と、前記仮想３次元画像を表示する３次元画像表示部とを備え、前記マンマシンインタフェースから前記信号処理部に入力される観測区間内の任意の位置情報と連動して前記３次元画像表示部に前記仮想３次元画像を表示させることを特徴とする請求項１乃至請求項４のいずれか１つの請求項に記載の安全管理装置。
【請求項６】
観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、参照危険音データが記憶された危険音データベースと、前記マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換し、前記デジタル信号と前記危険音データベースに記録された参照危険音データとを比較して危険音を検出する危険音検出部と、該危険音検出部から入力される各チャンネル間の前記危険音の音圧差および／または伝達時間差から危険音の発生位置を推定する音源位置推定部とを備えることを特徴とする安全管理装置。
【請求項７】
前記危険音データベースに記憶される参照危険音データは、学習により更新されることを特徴とする請求項６に記載の安全管理装置。
【請求項１】
観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、該マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換するデータ変換部と、前記マルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部と、該信号処理部に前記観測区間内の任意の位置情報を入力するためのマンマシンインタフェースと、前記信号処理部から出力されるデジタル信号をアナログ信号に変換し、音響信号として出力する音響出力部とを備えることを特徴とする安全管理装置。
【請求項２】
前記データ変換部におけるデジタル信号をデータ圧縮する機能を備える前記データ変換部と、前記データ圧縮されたデータを保存するデータ記録部と、前記データ記録部から読み出されたデータを復号化し、復号化されたデジタル信号を前記信号処理部へ送出するデータ復号化部とを備えることを特徴とする請求項１に記載の安全管理装置。
【請求項３】
前記信号処理部は、ステレオまたは３チャネル以上のマルチチャネル立体音響信号を合成し、前記音響出力部に出力することを特徴とする請求項１または請求項２に記載の安全管理装置。
【請求項４】
前記信号処理部は、観測者または汎用の頭部伝達関数を畳み込んだバイノーラル音響信号を合成し、前記音響出力部に出力することを特徴とする請求項１または請求項２に記載の安全管理装置。
【請求項５】
観測空間の３次元形状データを記憶する３次元形状データ保存部と、前記マンマシンインタフェースから入力される観測区間内の任意の位置情報に応じて前記３次元形状データ保存部に記憶されている３次元形状データから仮想３次元画像を形成する３次元画像処理部と、前記仮想３次元画像を表示する３次元画像表示部とを備え、前記マンマシンインタフェースから前記信号処理部に入力される観測区間内の任意の位置情報と連動して前記３次元画像表示部に前記仮想３次元画像を表示させることを特徴とする請求項１乃至請求項４のいずれか１つの請求項に記載の安全管理装置。
【請求項６】
観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、参照危険音データが記憶された危険音データベースと、前記マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換し、前記デジタル信号と前記危険音データベースに記録された参照危険音データとを比較して危険音を検出する危険音検出部と、該危険音検出部から入力される各チャンネル間の前記危険音の音圧差および／または伝達時間差から危険音の発生位置を推定する音源位置推定部とを備えることを特徴とする安全管理装置。
【請求項７】
前記危険音データベースに記憶される参照危険音データは、学習により更新されることを特徴とする請求項６に記載の安全管理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−１０４５４６（Ｐ２００７−１０４５４６Ａ）
【公開日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【出願番号】特願２００５−２９４７４５（Ｐ２００５−２９４７４５）
【出願日】平成１７年１０月７日（２００５．１０．７）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【出願日】平成１７年１０月７日（２００５．１０．７）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]