説明

音源接近検知装置及びパルスニューラルネットワーク演算装置

【課題】本発明は、音源接近検知装置及びパルスニューラルネットワーク演算装置に関し、予め音データを格納することなく様々な音源の接近/離脱を検知することにある。
【解決手段】単一の集音手段と、複数に分割された周波数チャンネルごとに、集音手段にて集音される音の音圧の時間変化を検知する音圧時間変化検知手段と、音圧時間変化検出手段により検知される音圧の時間変化に基づいて、周囲に存在する音源との相対的位置の変位を判定する接近/離脱判定手段と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音源の接近/離脱を検知する技術に係り、特に、単一の集音手段にて集音される音を発する音源の接近/離脱を検知するうえで好適な音源接近検知装置及びパルスニューラルネットワーク演算装置に関する。
【背景技術】
【0002】
従来、接近車両の有無を判断するシステムが知られている(例えば、特許文献1参照)。このシステムにおいては、まず、周囲に発生する音が集音されてその音の音圧レベルが検出される。そして、特定周波数帯域において、その検出された音の音圧レベルの波形形状が、予め格納されている一般的な車両の発する音圧レベルの波形形状と比較される。その結果、その特定周波数帯域における両音圧レベルの波形形状が近似する場合に接近車両が存在すると判定される。
【特許文献1】特開2000−123267号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし、上記した特許文献1記載のシステムにおいては、接近する音源の有無を判断するために、その音源が一般的に発する音の音圧レベルの波形形状を予め記憶装置に格納させておくことが必要である。このため、特定の音源についてのみしかその接近有無を判断することができず、また、その特定音源の接近有無を判断するうえでその音源特有の音データを格納するための記憶装置を用意する必要があった。
【0004】
本発明は、上述の点に鑑みてなされたものであり、予め音データを格納することなく、単一の集音手段を用いて様々な音源の接近/離脱を検知することが可能な音源接近検知装置及びパルスニューラルネットワーク演算装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記の目的は、単一の集音手段と、前記集音手段にて集音される音の音圧の時間変化を検知する音圧時間変化検知手段と、前記音圧時間変化検出手段により検知される前記音圧の時間変化に基づいて、周囲に存在する音源との相対的位置の変位を判定する接近/離脱判定手段と、を備える音源接近検知装置により達成される。
【0006】
この態様の発明においては、単一の集音手段にて集音される音の音圧の時間変化が検知される。後に集音された音の音圧が先に集音された音の音圧よりも大きくなっていれば、音源が接近していると判断でき、一方、後の音の音圧が先の音の音圧よりも小さくなっていれば、音源が離脱していると判断できる。本発明においては、上記の如く検知された音圧の時間変化に基づいて、周囲に存在する音源との相対的位置の変位が判定される。従って、本発明によれば、単一の集音手段を用いて音源の発する音の音圧の時間変化を検知することで、予め音データを格納することなく様々な音源の接近/離脱を検知することができる。
【0007】
尚、上記した音源接近検知装置において、前記音圧時間変化検知手段は、複数に分割された周波数チャンネルごとに、前記集音手段にて集音される音の音圧の時間変化を検知することとすれば、周波数チャンネルごとに様々な音源の接近/離脱を検知することができる。
【0008】
また、上記した音源接近検知装置において、前記音圧時間変化検知手段は、電子回路として構成されたパルスニューラルネットワークを用いて、前記集音手段にて集音される音の音圧の時間変化を検知することとすれば、音源の接近/離脱の検知を複雑な演算を伴うことなく簡易な構成で実現することができる。
【0009】
また、上記した音源接近検知装置において、前記接近/離脱判定手段は、周囲に存在してエンジン音を発する移動体又はサイレン音を発する緊急車両との相対的位置の変位を判定することとすればよい。
【0010】
更に、上記した音源接近検知装置において、前記集音手段にて集音される音の周波数特性を抽出する周波数特性抽出手段と、前記周波数特性抽出手段により抽出される前記周波数特性に基づいて、前記音源の種類を特定する音源種類特定手段と、を備えることとすれば、接近/離脱の検知を行う音源の種類を具体的に特定することができる。
【0011】
ところで、上記の目的は、独立かつ非同期に並列動作可能な複数のパルスニューロンを組み合わせたパルスニューラルネットワーク演算装置であって、各パルスニューロンはそれぞれ、所定時間差を空けて単一の集音手段にて集音されるそれぞれの音の音圧のパルスデータが入力される2つの入力端子と、前記2つの入力端子に入力されるパルスデータに基づく音圧の前記所定時間での差が、パルスニューロンごとに異なる所定値を超えるか否かを判別する音圧差判別手段と、前記音圧差判別手段により音圧の前記所定時間での差が前記所定値を超える場合に、パルス信号を出力する出力端子と、により構成されるパルスニューラルネットワーク演算装置により達成される。
【0012】
この態様の発明において、各パルスニューロンはそれぞれ、2つの入力端子に入力されるパルスデータに基づく音圧の所定時間での差がパルスニューロンごとに異なる所定値を超える場合に、出力端子からパルス信号を出力する。後に集音された音の音圧が先に集音された音の音圧よりも大きくなっていれば、音源が接近していると判断でき、一方、後の音の音圧が先の音の音圧よりも小さくなっていれば、音源が離脱していると判断できる。この点、パルスニューロンのパルス信号の出力有無を判断すれば、周囲に存在する音源との相対的位置の変位が判定される。従って、本発明によれば、予め音データを格納することなく様々な音源の接近/離脱を検知させることができる。
【0013】
尚、上記したパルスニューラルネットワーク演算装置において、前記出力端子がパルス信号を出力するすべての前記パルスニューロンのうちからエッジ部分のパルスニューロンを抽出する特徴抽出手段を備えることとすれば、音源の接近/離脱を検知させるうえでその音の音圧差を示す特徴を明確化することができる。
【発明の効果】
【0014】
本発明によれば、予め音データを格納することなく様々な音源の接近/離脱を検知することができる。
【発明を実施するための最良の形態】
【0015】
以下、図面を用いて、本発明の具体的な実施の形態について説明する。
【実施例1】
【0016】
図1は、本発明の一実施例である音源接近検知装置10の構成図を示す。本実施例の音源接近検知装置10は、車両などの移動体に設置されるシステムであり、音を発する対象物が自車両に接近し或いは離脱するのを検知するシステムである。図1に示す如く、音源接近検知装置10は、電子制御ユニット(以下、ECUと称す)12を備えている。ECU12は、電子回路を主体に構成されており、自車両への入力音に基づいて自車両の周囲に存在する対象物の接近・離脱を検知する。
【0017】
ECU12には、マイクロフォン(以下、マイクと称す)14が電気的に接続されている。マイク14は、周辺で発生する音を集音する装置であり、音源接近検知装置10に唯一つ設けられている。マイク14は、例えばフロントドア上方のルーフ部分に取り付けられており、自車両の略全周に亘る指向性を有している。マイク14に集音された音は、電気信号に変換されてECU12に供給される。ECU12は、マイク14から供給された入力音の電気信号を処理することにより、音源である対象物の接近・離脱を検知すると共に、その対象物の種類を具体的に特定する処理を行う。
【0018】
ECU12には、また、警報装置16が電気的に接続されている。警報装置16は、車両運転者に対して対象物の接近やその対象物の種類を知らせる注意喚起を行うべく、警報音や音声を出力するスピーカ装置又は警報表示を行うディスプレイである。ECU12は、上記の如く対象物の接近が検知された場合に、警報装置16に対して駆動指令を行う。警報装置16は、ECU12からの駆動指令に従って警報音等を出力し或いは警報表示を行う。
【0019】
以下、図2及び図3を参照して、本実施例の音源接近検知装置10における具体的な処理の内容について説明する。図2は、本実施例の音源接近検知装置10のECU12における各処理部を表した図を示す。また、図3は、本実施例の音源接近検知装置10においてECU12が実行するメインルーチンの一例のフローチャートを示す。
【0020】
本実施例において、ECU12には、マイク14に集音された周囲の音が電気信号に変換されて入力される(ステップ100)。マイク14に集音された周囲音の音量が大きいほど電圧値の大きな電気信号が入力される。ECU12に入力されるマイク14からの音圧を示す電気信号は、所定時間ごとにAD変換される(ステップ102)。
【0021】
ECU12は、周波数分解部20と、非線形変換部22と、パルス変換部24と、を有している。周波数分解部20は、聴覚系の蝸牛に相当する部位であり、バンドパスフィルタ群により構成され、AD変換された入力信号を所定の周波数範囲(例えば100Hz〜21kHz)について対数スケールで複数N(例えば72チャンネル)の周波数帯域に分割する(ステップ102)。周波数分解部20による各周波数チャンネルごとの信号はそれぞれ、非線形変換部22に供給される。
【0022】
非線形変換部22は、聴覚系の有毛細胞に相当する部位であり、各周波数チャンネルにそれぞれ対応して設けられており、上記の周波数分解部20で周波数チャンネルごとに分割された信号に対して非線形変換を行う(ステップ104)。各非線形変換部22による結果はそれぞれ、パルス変換部24に供給される。また、パルス変換部24は、聴覚系の蝸牛神経に相当する部位であり、各周波数チャンネルにそれぞれ対応して設けられており、上記の非線形変換部22で非線形変換された信号をインパルス列に変換する(ステップ106)。パルス変換部24におけるインパルス列への生成・変換は、非線形変換部22における出力に比例した値で行われる。
【0023】
ECU12は、また、各周波数チャンネルにそれぞれ対応して設けられた音圧差抽出部26を有している。音圧差抽出部26には、パルス変換部24から出力される当該周波数チャンネルのパルスデータが入力される。音圧差抽出部26は、マイク14に集音された音のデータを所定時間T(例えば0.4秒など)だけ遅らせる遅延生成機能を有している。音圧差抽出部26は、パルス変換部24から供給される現時点tでのパルスデータと、遅延生成機能により生成される現時点tから所定時間T過去の時点(t−T)でのパルスデータ(ステップ108において生成される。)と、を比較することにより、マイク14に集音される音の音圧の現在値と過去値との差(音圧の時間変化;以下、音圧差と称す)を抽出する(ステップ110)。音圧差抽出部26は、抽出した音圧差に応じたパルス出力を行う。ECU12は、各周波数チャンネルごとに音圧差抽出部26から音圧差を抽出する(ステップ112)。
【0024】
ここで、自車両の周囲に自車両に接近する対象物(他車両など)が存在する場合は、その対象物が発する音(例えば二輪車や四輪車のエンジン音やロードノイズ,消防車やパトカーなどの緊急車両のサイレン音など)が自車両に入力する際の音量すなわち音圧が時間に伴って増加するものとなる。一方、自車両の周囲に自車両から離脱する対象物が存在する場合は、その対象物が発する音が自車両に入力する際の音量や音量が時間に伴って減少するものとなる。従って、マイク14に集音される音の音圧の時間変化(音圧差)を検知することで、自車両周辺の対象物と自車両との相対的な位置の変位が何れの方向であるか、すなわち、その対象物が自車両に接近しているか或いは離脱しているかを判定することが可能となる。
【0025】
また、マイク14に集音される音の音圧の単位時間当たりの時間変化が大きいほど、音源が接近し若しくは離脱する速度が高いものとなり、又は、同じ速度であるときは自車両に接近し若しくは離脱する音源の位置が自車両により近いものとなる。例えば、音圧が大きくなる速度が大きいほど、音源の接近する速度が高く、又は、音源の位置が自車両により近いものとなる。従って、マイク14に集音される音の音圧の時間変化(音圧差)を検知することで、自車両周辺の対象物と自車両との相対的な位置の変位速度(すなわちその対象物が自車両に接近し若しくは離脱する速度)を検知すること、又は、同じ相対速度であるときはその対象物が自車両に接近し若しくは離脱する位置を検知することが可能となる。
【0026】
更に、車両が発するエンジン音や緊急車両が発するサイレン音などは、予め定められた既知の周波数特性を有する。従って、音源としての対象物が発し得る音の周波数特性を予め記憶装置に格納したうえで、マイク14に集音された音の周波数特性を抽出して、その抽出周波数特性を、記憶装置の対象物ごとの周波数特性と比較することで、そのマイク14に集音された音を発した音源としての対象物の種類を特定することが可能となる。
【0027】
ECU12は、また、判定・識別部28を有している。判定・識別部28には、上記した各音圧差抽出部26から出力される音圧差に応じたパルス出力が入力される。判定・識別部28は、対象物の発する音の周波数特性を対象物ごと及び音源の種類ごとに格納した記憶装置を有している。判定・識別部28は、各周波数チャンネルごとに音圧差抽出部26から供給される音圧差に応じたパルス出力に基づいて、自車両周辺の対象物が接近するか離脱するかを判定すると共に、また、周波数ごとの音圧差に応じたパルスの出力パターンに基づいて、その自車両に接近し或いは自車両から離脱する対象物の種類を特定する(ステップ114)。
【0028】
ECU12は、判定・識別部28において自車両周辺の対象物が接近することを検知した場合、その接近の旨を示す情報及びその接近する対象物の種類を示す情報を、警報を行うべきことを指令する情報と共に警報装置16に対して供給出力する(ステップ116)。警報装置16は、ECU12から警報を行うべきことが指令された場合、その対象物が接近することをその対象物の種類を特定したうえで自車両の運転者に知らせるべく、警報音の出力や警報表示を行う。
【0029】
従って、本実施例の音源接近検知装置10によれば、自車両周辺に音を発する音源としての対象物が存在する場合、単一のマイク14に集音される音の音圧の時間変化(音圧差)を検知することで、その対象物が自車両に接近しているのか或いは自車両から離脱しているのかを判定することが可能となっている。この点、対象物の接近/離脱は音圧の時間変化さえ検知することができれば判定可能であるので、本実施例によれば、音圧レベルの波形形状などの特徴的な音データを予め格納してその格納データと検出される音データとの間を比較することなく、様々な対象物の接近/離脱の判定を行うことが可能となっている。
【0030】
また、音を利用して対象物の検知有無を判定するため、その検知有無を判定するうえで少ないセンサで自車両から全方位を容易に検知エリアとすることが可能であり、また、視覚確認が困難となる夜間や見通しの悪い交差点や路地などで、自車両に接近し或いは直前を通過する車両などを容易に検知することが可能である。
【0031】
尚、上記した音の音圧の時間変化の検知は、複数の周波数チャンネルごとに行われる。従って、対象物である複数の音源が発する音の周波数が互いに異なるものであるときにも、周波数チャンネルごとにそれら複数の対象物の接近/離脱を同時に判定することが可能となっている。
【0032】
また、自車両周辺に音を発する対象物が存在する場合、単一のマイク14に集音される音の音圧の時間変化の大きさを検知することで、自車両に接近し或いは離脱する対象物の接近速度や離脱速度若しくはその対象物の自車両に対する接近/離脱位置を検知することが可能となっている。更に、単一のマイク14に集音される音の周波数特性を抽出することで、その自車両に接近し或いは離脱する対象物の種類を具体的に特定することが可能となっている。
【0033】
そして、音を発する対象物が自車両に接近する場合、その対象物の接近とその対象物の種類とを自車両の運転者に知らせることが可能である。このため、自車両の安全走行を確保することが可能となっている。
【0034】
次に、図4乃至図9を参照して、本実施例のECU12において対象物の接近/離脱を判定し更に対象物の種類を特定する具体的な実現手法について説明する。
【0035】
図4は、本実施例の音源接近検知装置10においてECU12が実行するサブルーチンの一例のフローチャートを示す。図5及び図6はそれぞれ、本実施例のECU12の有する音圧差抽出部26において音圧の時間変化(音圧差)を抽出するためのモデル(LSOモデル又はLMモデル)を表した図を示す。図7及び図8はそれぞれ、本実施例のLSOモデル又はLMモデルの構成図を示す。また、図9は、本実施例において音を発するある対象物が自車両に接近しかつその後に離脱する状況で音圧が時間と共に変化する様子(同図(A))と、その過程での入力音の周波数ごとの音圧差(同図(B))とを表した図を示す。
【0036】
本実施例の音源接近検知装置10において、ECU12は、上記の如く、マイク14に集音される音の音圧の時間変化(音圧差)を抽出する音圧差抽出部26を有している。音圧差抽出部26における音圧差の抽出は、人間の脳細胞をモデル化したパルスニューロンを複数組み合わせることにより構築されたパルスニューラルネットワークを用いて行われる。このパルスニューラルネットワークは、独立かつ非同期に並列動作可能な複数のパルスニューロンを電子回路として実装することにより高速処理が可能なシステムとなっている。この各パルスニューロンは、入出力信号が人間の神経細胞と同様のパルス列である点に特徴を有しており、生体の神経細胞により近いものとなっている。
【0037】
具体的には、音圧差抽出部26は、現時点tと所定時間T過去の時点(t−T)との音圧が特定の音圧差以上になったときにパルス出力を行うモデル(以下、LSOモデルと称す)と、LSOモデルによりパルス出力を行う際のエッジ点を検出するモデル(以下、LMモデルと称す)と、を有している。
【0038】
LSOモデルは、複数個のパルスニューロン(以下、LSOニューロンと称す)30を有している。LSOニューロン30は一周波数チャンネル当たりに複数個(例えば51個)一列に並べて配置されており(図5における横軸方向)、また、その配置はN個の周波数チャンネルごとになされている(図5における縦軸方向)。
【0039】
各LSOニューロン30には、パルス変換部24から音圧差抽出部26へ供給されるパルスデータが入力される2つの入力端子30a,30bと、演算結果を出力する一つの出力端子30cと、が設けられている。入力端子30aには、対応の周波数チャンネルについて、パルス変換部24からの現時点tでのパルスデータx(t)が供給され、一方、入力端子30bには、対応の周波数チャンネルについて、現時点tから所定時間T過去の時点(t−T)でのパルスデータx(t−T)が供給される(ステップ150)。尚、iはi=1〜N(N;周波数チャンネルの数)である。
【0040】
各LSOニューロン30はそれぞれ、現時点での音圧が所定時間過去の時点での音圧よりも所定値以上増加したときに出力端子30cからパルス出力を行い発火する。周波数チャンネルごとに一列に並んだ各LSOニューロン30の発火条件(上記した所定値)は、互いに異なり徐々に変化するものとなっている。具体的には、マイク14に集音される音の音圧の時間変化(音圧差)がほとんどないときは各LSOニューロン30はほとんど発火しないが、音圧差が生じて現時点での音圧が過去の音圧よりも大きくなったときは中心よりも一方側(例えば図5において右側)のLSOニューロン30が発火し、また、現時点での音圧が過去の音圧よりも小さくなったときは中心よりも他方側(例えば図5において左側)のLSOニューロン30が発火することとなる。尚、図5において、発火しないLSOニューロン30を白抜きで、また、発火するLSOニューロン30を黒塗りで、それぞれ示す。
【0041】
各LSOニューロン30における演算は、図7に示す如く、入力されたパルスデータx(t),x(t−T)に基づいて次式(1)に従って行われる。尚、kは一周波数チャンネルごとに一列に並んだ全LSOニューロン30のうちの番号であり、−K〜+Kの整数値をとる。wは各LSOニューロン30における結合重みであり、また、ILSOはLSOニューロン30の内部電圧である。更に、τは時定数であり、α,βはそれぞれ定数である。
【0042】
【数1】

【0043】
各LSOニューロン30はそれぞれ、入力されたパルスデータx(t),x(t−T)に基づいて上記(1)式に従って内部電圧ILSOki(t)を演算する(ステップ152)。その結果、その演算した内部電圧ILSOki(t)が予め定められた閾値θLSOを超えた場合には、yki(t)=1を出力し(すなわち発火し)、一方、その演算した内部電圧ILSOki(t)がその閾値θLSO以下である場合には、yki(t)=0を出力する(ステップ154)。尚、閾値θLSOは、各LSOニューロン30に共通した閾値である。
【0044】
LSOモデルにおいて、各LSOニューロン30が上記の処理を行うと、yki(t)(k=−K〜+K)を纏めたパルス列LDが出力されることとなる(ステップ156)。かかるパルス列LDの出力は、周波数チャンネルごとに行われる(尚、i=1〜N)。尚、この際、図5に示す如く、各周波数チャンネルにおける中心のLSOニューロン30は全く発火しないようにしてもよく、また、その中心のLSOニューロン30の両隣の幾つかのLSOニューロンは常に発火するようにしてもよい。
【0045】
かかるLSOモデルによれば、マイク14に集音される音の音圧の時間変化(音圧差)がほとんどないときは各LSOニューロン30をほとんど発火させず、一方、現時点での音圧が過去の音圧よりも大きくなったときは中心よりも一方側(例えば図5において右側)のLSOニューロン30を発火させ、また、現時点での音圧が過去の音圧よりも小さくなったときは中心よりも他方側(例えば図5において左側)のLSOニューロン30を発火させることが可能となる。そして、その音圧差が大きくなるほど中心よりも離れたLSOニューロン30まで発火させることが可能となる。
【0046】
また、LMモデルは、複数個のパルスニューロン(以下、LMニューロンと称す)32を有している。LMニューロン32は一周波数チャンネル当たりに複数個(上記のLSOニューロン30よりも2個少なく、例えば49個)一列に並べて配置されており、また、その配置はN個の周波数チャンネルごとになされている。
【0047】
各LMニューロン32(各周波数チャンネルにおける中心のLMニューロン32を除く。)には、中心のLSOニューロン30を除いた連続した2つの番号のLSOニューロン30の出力yki(t),y(k±1)i(t)が入力される2つの入力端子32a,32bと、演算結果を出力する一つの出力端子32cと、が設けられている。入力端子32aには、対応の周波数チャンネルについて、自己の番号と同じ番号のLSOニューロン30の出力yki(t)が供給され、一方、入力端子32bには、対応の周波数チャンネルについて、自己の番号から一つずれた隣接番号のLSOニューロン30の出力y(k±1)i(t)が供給される。
【0048】
上記したLSOモデルでは、中心よりも最も離れて発火したLSOニューロン30の番号よりも番号が小さい(中心寄りの)すべてのLSOニューロン30も同時に発火するが、この場合には、音圧差を示す特徴が不明確になるおそれがある。これに対して、LMモデルは、音圧差を示す特徴を明確化すべく、発火したLSOニューロン30のエッジを検出するモデルである。
【0049】
すなわち、各LMニューロン32はそれぞれ、自己の番号と同じ番号のLSOニューロン30が発火しかつその自己の番号から一つずれた隣接する番号のLSOニューロン30が発火しないときに出力端子32cからパルス出力を行い発火する。尚、図6に示すLMモデルにおいて、発火しないLMニューロン32を白抜きで、また、発火するLMニューロン32を黒塗りで、それぞれ示す。
【0050】
各LMニューロン32における演算は、図8に示す如く、入力されたパルスデータy(t),y(t−T)に基づいて次式(2)に従って行われる。尚、lは一周波数チャンネルごとに一列に並んだ全LMニューロン32のうちの番号であり、−L(=−K+1)〜+L(=K−1)の整数値をとる。wは各LMニューロン32における結合重みであり、また、ILMはLMニューロン32の内部電圧である。更に、τは時定数である。
【0051】
【数2】

【0052】
各LMニューロン32はそれぞれ、入力されたパルスデータy(t),y(t−T)に基づいて次式(2)に従って内部電圧ILMli(t)を演算する(ステップ158)。その結果、その演算した内部電圧ILMli(t)が予め定められた閾値θLMを超えた場合には、oli(t)=1を出力し(すなわち発火し)、一方、その演算した内部電圧ILMli(t)がその閾値θLM以下である場合には、oli(t)=0を出力する(ステップ160)。尚、閾値θLMは、各LMニューロン32に共通した閾値である。
【0053】
LMモデルにおいて、各LMニューロン32が上記の処理を行うと、oli(t)(l=−L〜+L)を纏めたパルス列PDが出力されることとなる(ステップ162)。かかるパルス列PDの出力は、周波数チャンネルごとに行われる(尚、i=1〜N)。
【0054】
かかるLMモデルによれば、LMニューロン32について、自己の番号と同じ番号のLSOニューロン30が発火せず或いは自己の番号から一つずれた隣接番号のLSOニューロン30が発火するときは自LMニューロン32を発火させず、一方、自己と同じ番号のLSOニューロン30が発火しかつ隣接番号のLSOニューロン30が発火しないときに自LMニューロン32を発火させることが可能となる。
【0055】
この場合、現時点での音圧が過去の音圧よりも大きくなったときは中心よりも一方側(例えば図6において右側)の一つのLMニューロン32を発火させ、また、現時点での音圧が過去の音圧よりも小さくなったときは中心よりも他方側(例えば図6において左側)の一つのLMニューロン32を発火させることが可能となる。そして、その音圧差が大きくなるほど中心よりも離れたLMニューロン32一つを発火させることが可能となる。
【0056】
例えば、音を発する音源としての対象物が自車両に接近して離脱する状況を想定すると、図9に示す如く、音圧は当初小さく、ほとんど時間の進行に従って変化しない。この場合、LMモデルは周波数チャンネルごとに中心付近の一つのLMニューロン32しか発火しない。
【0057】
かかる状態から、対象物が自車両の近傍で接近するものとなると、音圧が増加する傾向となり、少なくとも対象物の接近を示す側のLMニューロン32一つが周波数チャンネルごとに発火することとなる。この際、対象物が自車両に近い位置にいるほど或いは対象物の接近速度が高いほど、音圧の増加度が大きくなり、中心から離れたLMニューロン32が発火する。そして、対象物が自車両の横を通過して離脱するものとなると、音圧が減少する傾向となり、少なくとも対象物の離脱を示す側のLMニューロン32一つが周波数チャンネルごとに発火することとなる。この際、対象物が自車両に近い位置にいるほど或いは対象物の離脱速度が高いほど、音圧の減少度が大きくなり、中心から離れたLMニューロン32が発火する。
【0058】
尚、かかる状況において、発火するLMニューロン32は、音源としての対象物が発する音の周波数特性を示すこととなり、音源としての対象物が発する音が有する周波数近傍で、発火するLMニューロン32(の中心に対する位置)が大きく変化することとなる。
【0059】
このように、音圧差抽出部26は、各周波数チャンネルごとに、電子回路として構成されたパルスニューラルネットワークを用いて、マイク14に集音される音の音圧の時間変化(音圧差)を抽出すること、具体的には、中心に対する位置がマイク14に集音される音の音圧の時間変化の大きさを表した一つのLMニューロン32を発火させることができる。
【0060】
この音圧差抽出部26において、パルスニューラルネットワークは、独立かつ非同期に並列で動作する複数のパルスニューロン30,32により構成されると共に、この演算は本質的に時系列処理である。この点、このパルスニューラルネットワークは、加算器、シフト演算、コンパレータなどの基本的な論理回路のみで実現可能であって、高速処理が可能であるので、乗算器などの複雑な構成を不要とし、高速演算を安価に実現することが可能となっている。
【0061】
上記の如く各音圧差抽出部26において音圧差が抽出されると、その情報(具体的には、周波数チャンネルごとに発火したLMニューロン32の位置情報)は、判定・抽出部28に供給される。判定・抽出部28は、発火したLMニューロン32の位置を周波数チャンネルごとに検知して、自車両周辺に音を発する対象物が接近するか離脱するかを判定し、更に、対象物の発する音の周波数特性を抽出し、記憶装置に格納された対象物ごと及び音源の種類ごとの周波数特性と照合して、その接近し或いは離脱する対象物の種類を特定する。
【0062】
従って、本実施例の音源接近検知装置10によれば、自車両周辺に音を発する音源としての対象物が存在する場合、単一のマイク14に集音される音の音圧の時間変化(音圧差)を検知することで、その対象物が自車両に接近しているのか或いは自車両から離脱しているのかを判定することができると共に、単一のマイク14に集音される音の周波数特性を抽出することで、その自車両に接近し或いは離脱する対象物の種類を具体的に特定することができる。そして、かかる対象物の接近/離脱の検知やその種類の特定を行ううえで、複数のパルスニューロン30,32により電子回路として構成されたパルスニューラルネットワークを用いるので、その検知や特定を複雑な演算を伴うことなく簡易な構成で実現することが可能となっている。
【0063】
尚、上記の実施例においては、マイク14が特許請求の範囲に記載した「集音手段」に、ECU12の音圧差抽出部26がマイク14に集音される音の音圧の時間変化を抽出することが特許請求の範囲に記載した「音圧時間変化検知手段」に、判定・識別部28が各音圧差抽出部26から供給される音圧差に応じたパルス出力に基づいて自車両周辺の対象物が接近するか離脱するかを判定することが特許請求の範囲に記載した「接近/離脱判定手段」に、判定・識別部28がマイク14に集音された音の周波数特性を抽出することが特許請求の範囲に記載した「周波数特性抽出手段」に、判定・識別部28がマイク14に集音された音を発した音源としての対象物の種類を特定することが特許請求の範囲に記載した「音源種類特定手段」に、それぞれ相当している。
【0064】
また、上記の実施例においては、LSOモデルの有するLSOニューロン30が特許請求の範囲に記載した「パルスニューロン」に、LSOニューロン30の入力端子30a,30bが特許請求の範囲に記載した「入力端子」に、LSOニューロン30が演算した内部電圧ILMli(t)が閾値θLMを超えるか否かを判別することが特許請求の範囲に記載した「音圧差判別手段」に、LSOニューロン30の出力端子30cが特許請求の範囲に記載した「出力端子」に、LMモデルが特許請求の範囲に記載した「特徴抽出手段」に、それぞれ相当している。
【0065】
ところで、上記の実施例においては、音源接近検知装置10を車両などの移動体に搭載し、対象物が自車両に接近することが検知された場合に、音声や表示で運転者に注意喚起を行う警報装置16を駆動することとしているが、本発明はこれに限定されるものではなく、その接近検知を、ブレーキ制御やアクセル制御,エンジン制御,シートベルトなどの乗員保護装置の制御に利用するものであってもよい。
【0066】
また、上記の実施例においては、音源接近検知装置10を車両などの移動体に搭載するものとしたが、本発明はこれに限定されるものではなく、信号機制御のため信号機のある交差点や道路照明灯などの制御のため道路上の固定物に設置することとしてもよい。
【図面の簡単な説明】
【0067】
【図1】本発明の一実施例である音源接近検知装置の構成図である。
【図2】本実施例の音源接近検知装置における各処理部を表した図である。
【図3】本実施例の音源接近検知装置において実行されるメインルーチンの一例のフローチャートである。
【図4】本実施例の音源接近検知装置において実行されるサブルーチンの一例のフローチャートである。
【図5】本実施例において音圧の時間変化(音圧差)を抽出するためのLSOモデルを表した図である。
【図6】本実施例において音圧の時間変化(音圧差)を抽出するためのLMモデルを表した図である。
【図7】本実施例のLSOモデルの構成図である。
【図8】本実施例のLMモデルの構成図である。
【図9】本実施例において音源が自車両に接近しかつその後に離脱する状況で音圧が時間と共に変化する様子(同図(A))と、その過程での入力音の周波数ごとの音圧差(同図(B))とを表した図である。
【符号の説明】
【0068】
10 音源接近検知装置
12 電子制御ユニット(ECU)
14 マイクロフォン(マイク)
26 音圧差抽出部
28 エッジ検出部

【特許請求の範囲】
【請求項1】
単一の集音手段と、
前記集音手段にて集音される音の音圧の時間変化を検知する音圧時間変化検知手段と、
前記音圧時間変化検出手段により検知される前記音圧の時間変化に基づいて、周囲に存在する音源との相対的位置の変位を判定する接近/離脱判定手段と、
を備えることを特徴とする音源接近検知装置。
【請求項2】
前記音圧時間変化検知手段は、複数に分割された周波数チャンネルごとに、前記集音手段にて集音される音の音圧の時間変化を検知することを特徴とする請求項1記載の音源接近検知装置。
【請求項3】
前記音圧時間変化検知手段は、電子回路として構成されたパルスニューラルネットワークを用いて、前記集音手段にて集音される音の音圧の時間変化を検知することを特徴とする請求項1又は2記載の音源接近検知装置。
【請求項4】
前記接近/離脱判定手段は、周囲に存在してエンジン音を発する移動体又はサイレン音を発する緊急車両との相対的位置の変位を判定することを特徴とする請求項1乃至3の何れか一項記載の音源接近検知装置。
【請求項5】
前記集音手段にて集音される音の周波数特性を抽出する周波数特性抽出手段と、
前記周波数特性抽出手段により抽出される前記周波数特性に基づいて、前記音源の種類を特定する音源種類特定手段と、
を備えることを特徴とする請求項1乃至4の何れか一項記載の音源接近検知装置。
【請求項6】
独立かつ非同期に並列動作可能な複数のパルスニューロンを組み合わせたパルスニューラルネットワーク演算装置であって、
各パルスニューロンはそれぞれ、
所定時間差を空けて単一の集音手段にて集音されるそれぞれの音の音圧のパルスデータが入力される2つの入力端子と、
前記2つの入力端子に入力されるパルスデータに基づく音圧の前記所定時間での差が、パルスニューロンごとに異なる所定値を超えるか否かを判別する音圧差判別手段と、
前記音圧差判別手段により音圧の前記所定時間での差が前記所定値を超える場合に、パルス信号を出力する出力端子と、
により構成されることを特徴とするパルスニューラルネットワーク演算装置。
【請求項7】
前記出力端子がパルス信号を出力するすべての前記パルスニューロンのうちからエッジ部分のパルスニューロンを抽出する特徴抽出手段を備えることを特徴とする請求項6記載のパルスニューラルネットワーク演算装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2008−299677(P2008−299677A)
【公開日】平成20年12月11日(2008.12.11)
【国際特許分類】
【出願番号】特願2007−146210(P2007−146210)
【出願日】平成19年5月31日(2007.5.31)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【出願人】(502087460)株式会社トヨタIT開発センター (232)
【出願人】(304021277)国立大学法人 名古屋工業大学 (784)
【Fターム(参考)】