説明

音源検出装置

【課題】接近車両を高精度に検出する音源検出装置を提供することを課題とする。
【解決手段】集音器で集音された音に基づいて音源(例えば、車両の走行音)を検出する音源検出装置であって、集音器で集音された音から特徴量を抽出し、特徴量を用いて多クラスパターン識別手法(例えば、多クラスSVM)によって音源の位置に応じた複数のクラスに分類しておき、音源を検出する際に、集音器で集音された音から特徴量を抽出し、予め分類されている複数のクラスの中からその抽出された特徴量が属するクラスを判定し、そのクラスに基づいて音源を推定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、集音器で集音された音に基づいて音源を検出する音源検出装置に関する。
【背景技術】
【0002】
音源検出装置では、複数の集音器で周囲の音をそれぞれ集音し、各集音器への音の到達時間差等に基づいて音源(例えば、車両の走行音)の移動方向等を検出する。特許文献1に記載の装置では、所定の間隔で配設された複数のマイクロホン(集音器)が出力する電気信号から帯域通過フィルタで低周波帯域と高周波帯域の周波数成分をそれぞれ除去して補正電気信号に変換し、その補正電気信号から車両の走行音の特徴の現れる所定の周波数帯域のパワーを算出し、そのパワーレベルが所定値より大きい場合に接近車両有りと判定するとともに、その補正電気信号により不要な雑音成分を除去して雑音抑制信号に変換し、複数のマイクロホンの雑音抑制信号間の相互相関を演算し、相関が最大となる到達時間差から接近車両の接近方向を演算する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】実開平5−92767号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
高速で移動する車両の場合、遠方の接近車両の情報が必要となるので、最大検出距離が長いことが望まれる。しかし、集音器対の音の到達時間差に基づいて接近車両を検出する手法の場合、集音器対の間隔が車両幅に制限されるので(ひいては、空間分解能(最大検出距離性能)が制限されるので)もしくは対象とする周波数帯においてエイリアシングがおきたりするので、接近車両が自車両から離れた位置に存在するほど、接近車両の検出能力が低下し、接近方向や距離等を検出し難くなる。特に、上記のように閾値を用いて判定を行う場合、閾値の設定の仕方が非常に難しく、閾値を変えることによって判定精度が大きく変わる。また、集音器対の音の到達時間差に基づいて接近車両を検出する手法の場合、到達時間差の時間変化を判定しなければ接近方向が判らないので、1回の検出では車両が接近しているのかあるいは離間しているのかを判別できない。
【0005】
そこで、本発明は、接近車両を高精度に検出する音源検出装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る音源検出装置は、集音器で集音された音に基づいて音源を検出する音源検出装置であって、集音器で集音された音から特徴量を抽出し、特徴量を用いて多クラスパターン識別手法によって音源の位置に応じた複数のクラスに分類するクラス分類手段と、音源を検出する際に、集音器で集音された音から特徴量を抽出し、クラス分類手段で分類した複数のクラスの中から抽出された特徴量が属するクラスを判定するクラス判定手段と、クラス判定手段で判定したクラスに基づいて音源を推定する音源推定手段とを備えることを特徴とする。
【0007】
この音源検出装置では、音源を実際に検出する前に、音源(例えば、車両の走行音)の様々な状況に応じて集音器で音を集音する。音源の状況としては、音源が正面を通過するまでの各時間に応じ位置、音源までの各距離に応じた位置等がある。例えば、音源が5〜4秒前の範囲(位置)、4〜3秒前の範囲、3〜2秒前の範囲、2〜1秒前の範囲、1〜0秒前の範囲、通過後の範囲の各範囲のときに音を集音する。そして、音源検出装置では、この音源の状況毎に集音された音データを用いて、クラス分類手段によって、音源の状況毎に音の特徴量を抽出し、その音の特徴量を用いて多クラスパターン識別手法によって音源の位置に応じた複数のクラスに分類する。音源の位置に応じた複数のクラスは、音源が正面を通過するまでの各時間に応じた位置のクラス、音源までの各距離に応じた位置のクラス等がある。例えば、5〜4秒前のクラス、4〜3秒前のクラス、3〜2秒前のクラス、2〜1秒前のクラス、1〜0秒前のクラス、通過後のクラスの各クラス間を特徴量によって分離するための情報が得られる。そして、音源検出装置では、音源を実際に検出する場合、集音器で音を集音すると、クラス判定手段によって、その集音された音データから特徴量を抽出し、クラス分類手段で分類されている複数のクラスの中からその抽出された特徴量がいずれのクラスに属するかを判定する。さらに、音源検出装置では、音源推定手段によって、判定されたクラスに基づいて音源の状況を推定する。例えば、2〜1秒前のクラスと判定した場合、音源が正面を2〜1秒後に通過する位置に存在すると推定する。このように、音源検出装置では、多クラスパターン識別手法によって音源の状況に応じて複数のクラスに分類しておき、音源の音特徴量がどのクラスに属するかを判定することにより、音源を高精度に検出することができる。この多クラスパターン識別手法によるクラス分類を利用する手法では、音源の位置等に応じて検出精度が変わらず、閾値判定も行わないので、柔軟な検出が可能であり、検出精度も向上する。また、一回のクラス判定によって、音源が接近しているのかあるいは離間しているのかを判別できる。
【0008】
本発明の上記音源検出装置では、複数の集音器でそれぞれ集音された音の相関値を算出し、算出した相関値と閾値とを比較することによって音源を検出する音源検出手段と、音源検出手段での検出結果及び音源推定手段での推定結果に基づいて音源検出手段の閾値を補正する補正手段とを備え、音源検出手段は、相関値と補正手段で補正した閾値とを比較することによって音源を検出する構成としてもよい。
【0009】
この音源検出装置では、音源を実際に検出する場合、複数の集音器で音をそれぞれ集音すると、音源検出手段によって、各集音器で集音された音の相関値を算出し、その相関値と閾値とを比較することによって音源を検出する。また、音源検出装置では、上記したように、クラス判定手段であるクラスを判定した場合、音源推定手段によってそのクラスに基づいて音源の状況を推定する。この2つの手法で共に音源が検出され、音源の位置(距離、時間)、移動方向等がおおよそ一致している場合、音源検出手段及び音源推定手段での音源検出の信頼性が高く、音源検出手段で算出される相関値の信頼性も高い。そこで、音源検出装置では、補正手段によって、音源検出手段での検出結果及び音源推定手段での推定結果に基づいて信頼性が高い場合には音源検出手段の閾値を補正する。例えば、信頼性が高い場合、通常用いられている閾値よりも音源と判定され易い閾値とする。そして、音源検出装置では、音源検出手段によって、相関値と補正後の閾値とを比較することによって音源を検出する。このように、音源検出装置では、音相関値を用いた手法の検出結果とクラス分類を用いた手法の検出結果に基づいて音相関値を用いた手法の閾値を補正することにより、音相関値を用いた手法での検出を安定化できる。例えば、集音される音に一時的にノイズが混入し、相関値が低くなると、通常の閾値で判定すると一時的に音源と検出されず、音源の検出/未検出が繰り返される。しかし、閾値を小さい値に補正することによって、低くなっている相関値でも音源と検出でき、音源を連続して検出でき、安定した検出を実現できる。
【0010】
本発明の上記音源検出装置では、クラス分類手段は、音源の移動方向に応じた複数のクラスに分類すると好適である。音源が車両(走行音)の場合、自車両が走行する道路に交差する道路において車両が接近する場合、自車両の右側から接近する場合と左側から接近する場合がある。したがって、接近車両が自車両正面を通過するまでの時間あるいは接近車両から自車両までの距離が同じでも、接近車両の移動方向が異なる場合があるので、移動方向も考慮してクラス分類する。このように、この音源検出装置では、音源の移動方向も考慮してクラス分類することにより、音源の状況をより詳細に推定でき、音源をより高精度に検出することができる。
【0011】
本発明の上記音源検出装置では、クラス分類手段は、道路形状又は/及び交通規制に応じた複数のクラスに分類すると好適である。音源が車両の場合、車両は道路上を走行するので、道路形状に基づいてクラス分類できる。また、車両は交通規制に従って走行するので(例えば、一方通行の道路の場合には車両の移動方向はその一方向のみである)、交通規制に従ってクラス分類できる。このように、この音源検出装置では、道路形状や交通規制を考慮してクラス分類することにより、最適なクラスを簡単に設定できる。
【0012】
本発明の上記音源検出装置では、クラス分類手段は、車種に応じた複数のクラスに分類すると好適である。音源が車両の場合、大型車と普通車とでは走行音が異なるので、音の特徴量も異なる。したがって、音の特徴量によって車種を分離することが可能であり、車種に応じてクラス分類できる。車種としては、大型車、普通乗用車、軽乗用車、オートバイ等の大まかな車種でもよいし、より詳細な車種でもよい。このように、この音源検出装置では、車種を考慮してクラス分類することにより、接近車両(音源)の状況をより詳細に推定でき、接近車両をより高精度に検出することができる。
【発明の効果】
【0013】
本発明によれば、多クラスパターン識別手法によって音源の状況に応じて複数のクラスに分類しておき、音源の音特徴量がどのクラスに属するかを判定することにより、音源を高精度に検出することができる。
【図面の簡単な説明】
【0014】
【図1】本実施の形態に係る学習装置の構成図である。
【図2】第1の実施の形態に係る推定装置の構成図である。
【図3】多クラスSVMで用いるクラスの一例である。
【図4】図2の推定装置における処理の流れを示すフローチャートである。
【図5】第2の実施の形態に係る推定装置の構成図である。
【図6】図5の推定装置における処理結果の一例であり、(a)がクラスの判定結果の時間変化であり、(b)が相関値の時間変化であり、(c)が方位角の時間変化であり、(d)が閾値補正前の検出結果の時間変化であり、(e)が閾値補正後の検出結果の時間変化である。
【図7】図5の推定装置における処理の流れを示すフローチャートである。
【図8】多クラスSVMで用いる道路形状及び交通規制に応じたクラスの一例であり、(a)が十字路で交差道路が片側一車線の道路の場合であり、(b)がT字路で交差道路が車線がない道路の場合であり、(c)が十字路で交差道路が車線がない道路の場合であり、(d)が変形十字路で交差道路が一方通行の道路の場合であり、(e)が5差路で交差道路が車線がない道路と一方通行の道路の場合である。
【発明を実施するための形態】
【0015】
以下、図面を参照して、本発明に係る音源検出装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。
【0016】
本実施の形態では、本発明に係る音源検出装置を、車両開発時に事前の学習を行う学習装置と車両出荷時に搭載され、実際に接近車両を検出する推定装置からなる接近車両検出システムに適用する。本実施の形態に係る接近車両検出システムは、複数(2個以上)の集音器(マイクロホン)で集音された各音に基づいて自車両に接近する車両を検出し(つまり、自車両周辺の車両の走行音(音源)を検出し)、接近車両の情報を運転支援装置に提供する。特に、本実施の形態に係る接近車両検出システムは、多クラスSVM[Multi Class Support Vector Machine](多クラスパターン識別手法)を利用し、学習によって接近車両の状況をクラス分類しておき、そのクラス分類の学習データを用いて接近車両を推定する。本実施の形態には、推定装置での処理が異なる2つの形態があり、第1の実施の形態が多クラスSVMで判定したクラスから接近車両を検出する形態であり、第2の実施の形態が多クラスSVMで判定したクラスに基づいてCSP[Cross power Spectrum Phase analysis]法での閾値を補正し、CSP法によって接近車両を検出する形態である。
【0017】
なお、車両の走行音は、主として、ロードノイズ(タイヤ表面と路面との摩擦音)とパターンノイズ(タイヤ溝における空気の渦(圧縮/開放))である。この他にも、エンジン音や風切り音などもある。この車両の走行音の周波数成分の範囲は、実験等によって予め測定しておいてもよい。
【0018】
SVMは、教師あり学習を用いるパターン識別手法である。多クラスSVMでは、多次元のベクトル空間において複数のクラスを分離するための各識別面を求めておき(学習)、その学習済みのクラスの中からどのクラスに属するかを推定する。本実施の形態では、多次元のベクトルとして複数の集音器で集音された各音データから抽出される複数の特徴量を用い、クラスとしては自車両に接近する車両の状況に応じて設定される。
【0019】
CSP法は、フーリエ変換を利用した音源位置の推定手法である。CSP法では、複数の集音器で集音された各音データに対して周波数領域でのマッチングを行い、相互相関値(CSP係数)を求め、相互相関値が閾値以上の場合には音源が存在すると判断し、音源が存在する場合には相互相関値が最大となる到達時間差から音源の方向や位置等を求める。
【0020】
図1〜図3を参照して、第1の実施の形態に係る接近車両検出システムについて説明する。図1は、本実施の形態に係る学習装置の構成図である。図2は、第1の実施の形態に係る推定装置の構成図である。図3は、多クラスSVMで用いるクラスの一例である。
【0021】
第1の実施の形態に係る接近車両検出システムは、事前の学習を行う学習装置1と、車両に搭載されて接近車両を検出する推定装置2Aからなる。学習装置1での事前の学習は車両開発時に行われ、その学習データが各車両の推定装置2Aに搭載される。事前の学習を行う場合、走行音を収集する実験車両とその車両に対して接近する接近車両(走行音を発生する音源)を用いて、各種道路形状の道路において様々な接近状況で接近車両を走行させる実車実験が行われる。
【0022】
学習装置1について説明する。学習装置1は、車両の様々な接近状況で走行音を集音し、その多数の走行音データを用いて多クラスSVMによって車両の接近状況をクラス分類する。学習装置1は、集音装置10とコンピュータ11を備えている。なお、学習装置1の構成としては、集音装置10とコンピュータ11を共に実験車両に搭載する構成でもよいし、あるいは、集音装置10とデータ記憶装置を実験車両に搭載し、室内のコンピュータ11にデータ記憶装置から走行音データを入力する構成でもよい。なお、本実施の形態では、学習装置1のコンピュータ11が特許請求の範囲に記載するクラス分類手段に相当する。
【0023】
クラスは、接近車両が車両正面を通過する時間を基準とし、複数の時間の区間に応じて設定される。また、クラスは、接近車両の移動方向を考慮して設定される。本実施の形態では、6つの時間の区間に応じてクラスを設定する。図3に示すように、接近車両が走行音を集音する車両(集音器)の正面を通過する時点を基準(0秒)とし、走行音を集音する車両の道路と交差する道路を接近車両が左方向から右方向に移動する場合に対して、交差する道路の左側に5〜4秒前の区間をクラス6、4〜3秒前の区間をクラス5、3〜2秒前の区間をクラス4、2〜1秒前の区間をクラス3、1〜0秒前の区間をクラス2として設定し、交差する道路の右側に通過後の区間(5秒程度)をクラス1として設定する。図3の例は接近車両が左方向から右方向に移動する場合であり、接近車両が右方向から左方向に移動する場合に対しても同様に図3とは左右逆方向に6個のクラスが設定される。
【0024】
なお、クラスの数は本実施の形態では6つとしたが、最低2つあればよい。例えば、正面通過前の5〜0秒をクラス2とし、正面通過後の0〜5秒をクラス1とする。しかし、実際には、車両の接近を段階ごとに判定したいので、正面通過までを2つ以上のクラスを設定し、正面通過後を1つのクラスを設定するとよい。また、正面通過前の5〜0秒の範囲ではなく、6〜0秒の範囲、3〜0秒の範囲などの他の範囲でクラスを設定してもよい。また、接近車両の位置を時間の区間で分けてクラスを設定したが、接近車両から車両(集音器)までの距離で分けてクラスを設定してもよい。
【0025】
集音装置10は、2個以上の集音器を有しており、1対以上の集音器対を構成する。2個以上の集音器は、車両の前端部に車幅方向(左右方向)に並べて配置される。並べて配置するのではなく、上下等が異なる配置でもよい。集音器は、音響電気変換器であり、車外の周囲の音を集音し、集音した音を電気信号に変換する。集音器の個数としては、例えば、8個の集音器を有し、5対の集音器対を構成することにより、耐ノイズ性能が向上する。
【0026】
実車実験では、各種道路形状(十字路、T字路、5差路等)において、実験車両を交差点手前で停止させた状態(実験車両を交差点に向かって走行させた状態でもよい)で交差点で交差する道路において接近車両を走行させて(双方向走行可能な道路では各方向に走行させる)、集音装置10の各集音器で音をそれぞれ集音する。この集音された音データは、データ記憶装置に記憶される。データ記憶装置に記憶することなく、音データをコンピュータ11に順次入力するようにしてもよい。また、接近車両を走行させる毎に、接近車両が実験車両正面を通過する時点を判断し、その時点(時刻)も音データに紐付けて記憶しておく。この判断方法としては、レーダセンサ等を用いて接近車両通過を検知してもよいし、人が判断してもよい。なお、実車実験では、同じ条件で複数回(例えば、20回)走行させ、同じ条件での音データを複数個分取得する。
【0027】
コンピュータ11は、パーソナルコンピュータ等のコンピュータであり、特徴量抽出部12、学習部13、多クラスSVM用サポートベクター14が構成される。コンピュータ11には、集音装置10の各集音器でそれぞれ集音された各道路形状についての移動方向毎の音データ(電気信号)が入力される。コンピュータ11では、前処理として、各音データに対して、アナログの電気信号をデジタルの電気信号に変換し、その電気信号から所定の周波数帯域(車両の走行音の周波数帯域を十分に含む帯域よりも高い高周波数帯域と低い低周波数帯域)を除去する。
【0028】
特徴量抽出部12では、各道路形状について移動方向毎に、前処理後の各集音器の音データから音の特徴量を抽出する。特徴量としては、本実施の形態では、以下に示す14個の特徴量とする。各集音器対の音データから抽出する特徴量としては、音の到達時間差情報、音の到達時間差情報の平均値(例えば、過去20個分の平均値)、CSP係数(相互相関値)のピーク値、CSP係数のピーク値の平均値(過去20個分の平均値)であり、この4つの特徴量については集音器対の左側の集音器を基準にした場合と右側の集音器を基準にした場合とで特徴量がそれぞれ抽出され、8個の特徴量である。なお、過去20個分の平均値は、例えば、100m秒毎に処理した場合、2秒前までの各データの平均値である。また、各集音器の音データから抽出する特徴量としては、6つの周波数帯域(500〜630Hz、630〜793Hz、793〜1000Hz、1000〜1260Hz、1260〜1587Hz、1587〜2000Hz)におけるスペクトルのパワー値(強度)であり、6個の特徴量である。なお、CSP係数(相互相関値)や到達時間差の算出方法としては、従来のCSP法を適用する。
【0029】
学習部13では、各道路形状について移動方向毎に、多クラスSVMにより、集音装置10を搭載した車両が移動しないと仮定し、特徴量抽出部12で抽出した14個の特徴量を用いた14次元ベクトル空間上で6つのクラスを分離するための識別面を求める。この際、学習部13では、多クラスSVMにより、設定されている6つのクラス以外にも7番目のクラス(例えば、正面通過5秒前より前のクラス、正面通過5秒後より後のクラス)についても学習しておく。多クラスSVMによる識別面を求める手法については、既存の手法なので、詳細な説明を省略する。なお、車両が移動しないと仮定したが、車両が移動する場合でもよい。車両が移動しないと仮定した場合、多クラスSVMを用いた手法の実施がシンプルになり、性能も向上する。
【0030】
多クラスSVM用サポートベクター14は、コンピュータ11の記憶装置の所定の領域に構成され、学習部13での多クラスSVMによる学習データが格納される。格納されるデータは、各道路形状について移動方向毎に、14個の特徴量による14次元ベクトル空間上で6つのクラスを分離する識別面のデータである。
【0031】
推定装置2Aについて説明する。推定装置2Aは、車両に搭載され、車両走行中に周辺の音を集音し、その集音した音データ(14個の特徴量)が多クラスSVMによってどのクラスに属するか判定し、その判定したクラスに基づいて接近する車両の状況を推定する。推定装置2Aは、集音装置20、ECU[Electronic Control Unit]21Aを備えている。
【0032】
集音装置20は、学習装置1の集音装置10と同様の構成である。集音装置20では、車両走行中(交差点等での一時停止中も含む)、各集音器で音をそれぞれ集音し、集音した音データをECU21Aに送信する。
【0033】
ECU21Aは、CPU[CentralProcessing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]等からなる電子制御ユニットであり、推定装置2Aを統括制御する。ECU21Aには、特徴量抽出部22、接近車両推定部23、多クラスSVM用サポートベクター24が構成される。ECU21Aは、集音装置20から各集音器で集音された音データ(電気信号)を受信する。ECU21Aでは、音データに対する前処理として、学習装置1のコンピュータ11と同様の処理を行う。なお、第1の実施の形態では、特徴量抽出部22及び接近車両推定部23が特許請求の範囲に記載するクラス判定手段及び音源推定手段に相当する。
【0034】
多クラスSVM用サポートベクター24は、ECU21Aの記憶装置の所定の領域に構成され、学習装置1の多クラスSVM用サポートベクター14に格納されている全ての学習データが格納される。
【0035】
特徴量抽出部22は、学習装置1の特徴量抽出部12と同様の処理を行う。特徴量抽出部22では、集音装置20の各集音器の音データを受信する毎に、前処理後の各集音器の音データを用いて14個の特徴量を抽出する。
【0036】
接近車両推定部23では、多クラスSVM用サポートベクター24に格納される多クラスSVMによる学習データ(各道路形状について移動方向毎の14次元ベクトル空間上で6つのクラスを分離する識別面のデータ)を用いて、特徴量抽出部22で抽出した14個の特徴量が14次元ベクトル空間上でどのクラスに属するかを判定する。接近車両推定部23では、設定されている6つのクラス以外の7番目のクラスに属すると判定した場合(音源(車両の走行音)が自車両周辺には存在しない場合)、自車両に接近する車両が存在しないと判断する。また、接近車両推定部23では、設定されている6つのクラスの中に属するクラスがあると判定した場合(音源が自車両周辺に存在する場合)、自車両に接近する車両が存在すると判断し、そのクラスに基づいて接近する車両の接近状況を推定する。この接近状況としては、接近車両が何秒後に自車両正面を通過するかあるいは通過した後か、接近車両が自車両に対していずれの方向から接近しているか等である。さらに、接近車両が何秒後に自車両正面を通過するかが判れば、その時間と接近車両の車速(例えば、接近車両走行中の道路の制限速度)とから接近車両から自車両までのおおよそ距離を推定できる。
【0037】
ECU21Aでは、接近車両推定部23での推定結果に基づいて接近車両情報を生成し、接近車両情報を運転支援装置3に送信する。接近車両情報としては、例えば、接近車両の有無、接近車両が存在する場合には接近時間、接近方向の情報である。
【0038】
運転支援装置3は、各種センサやECU等からなり、運転者に対して各種運転支援する装置である。特に、運転支援装置3では、推定装置2Aから接近車両情報を受信すると、接近車両に関する運転支援を実施する。例えば、自車両に対して接近する車両が存在する場合、自車両に対する接近車両の衝突の可能性を判定し、衝突の可能性があると判定したときには運転者に対して警報を出力したり、接近車両の情報を提供し、更に、衝突の可能性が高まった場合には自動ブレーキ等の車両制御を行う。この際、接近車両の接近時間と自車両の交差点への到達時間とを比較することによって、衝突の可能性等を判断する。なお、このような衝突の可能性の判断や運転支援は、信号機の無い交差点においてより有効である。
【0039】
図1〜図3を参照して、第1の実施の形態に係る接近車両検出システムでの動作について説明する。特に、推定装置2Aでの動作については図4のフローチャートに沿って説明する。図4は、推定装置2Aにおける処理の流れを示すフローチャートである。
【0040】
事前の実車実験において、各道路形状の交差点において、走行可能の全ての方向から接近車両を走行させ、交差点を通過させる。その際、車両に搭載した学習装置1の集音装置10では、各集音器で車外の周囲の音を集音し、その集音した音を電気信号に変換して、そのデータをデータ記憶装置に記憶させる。この際、接近車両が車両正面を通過する時点を判断し、その通過時点の情報も紐付け記憶させる。この各道路形状についての移動方向毎に収集された各集音器の音データは、学習装置1のコンピュータ11に入力される。コンピュータ11では、各音データに対して、前処理を施す。
【0041】
コンピュータ11では、各道路形状について接近車両の移動方向毎に、前処理後の各集音器の音データから14個の特徴量を抽出する。そして、コンピュータ11では、各道路形状について接近車両の移動方向毎に、多クラスSVMにより、14個の特徴量を用いた14次元ベクトル空間上で6つのクラスを分離するための識別面を求め、その学習データを多クラスSVM用サポートベクター14に格納する。
【0042】
各車両には、推定装置2Aが搭載され、推定装置2Aの多クラスSVM用サポートベクター24には学習装置1の多クラスSVM用サポートベクター14の学習データが格納されている。
【0043】
各車両では、集音装置20の各集音器が、車外の周囲の音を集音し、その集音した音を電気信号に変換してECU21Aに送信している(S10)。ECU21Aでは、この複数の集音器の音データを受信し、複数の音データに対して前処理を施す。
【0044】
ECU21Aでは、集音装置20からの各集音器の音データを受信する毎に、前処理後の各集音器の音データを用いて14個の特徴量を抽出する(S11)。そして、ECU21Aでは、多クラスSVM用サポートベクター24に格納される学習データに基づいて、抽出した14個の特徴量がどのクラスに属するかを判定する(S12)。ECU21Aでは、判定したクラスに応じて自車両に接近する車両の接近状況を推定する(S13)。ここでは、属するクラスがある場合、接近車両(音源)が存在すると判断し、そのクラスから接近車両の接近時間(距離)や移動方向等を求める。そして、ECU21Aでは、その接近状況に基づいて接近車両情報を生成し、その接近車両情報を運転支援装置3に送信する。
【0045】
第1の実施の形態に係る接近車両検出システムによれば、多クラスSVMによる学習によって車両の接近状況に応じてクラスを分類しておき、その学習データに基づいて実際に接近する車両の音特徴量がどのクラスに属するかを判定することにより、接近車両を高精度かつ柔軟に検出することができる。この多クラスSVMを用いた手法の場合、接近車両が自車両に対して離れているあるいは近づいているに関らず、閾値判定を行わず閾値の設定に応じて検出精度が変化するようなこともないので、柔軟な検出が可能であり、検出精度も向上する。また、一回のクラス判定によって、接近車両が接近しているのかあるいは離間しているのかを判別できる。
【0046】
また、接近車両検出システムによれば、各種パラメータ(例えば、時間的な位置、移動方向)に応じてクラスを設定し、学習することによって、接近車両が自車両正面を通過するまでの時間や移動方向等の接近車両の様々な状況を推定できる。また、接近車両検出システムによれば、集音器対の音の到達時間差や相互相関値、各集音器の音の各周波数帯域におけるスペクトルのパワー値等の様々な特徴量を用いることにより、音の様々な要素から総合的に車両の接近状況をクラス分けできる。
【0047】
図1、図5、図6を参照して、第2の実施の形態に係る接近車両検出システムについて説明する。図5は、第2の実施の形態に係る推定装置の構成図である。図6は、図5の推定装置における処理結果の一例である。
【0048】
第2の実施の形態に係る接近車両検出システムは、第1の実施の形態に係る接近車両検出システムと比較すると推定装置における処理が異なり、事前の学習を行う学習装置1と、車両に搭載されて接近車両を検出する推定装置2Bからなる。なお、学習装置1は、第1の実施の形態と同様の学習装置なので、説明を省略する。
【0049】
推定装置2Bについて説明する。推定装置2Bは、第1の実施の形態に係る推定装置2Aと同様に、集音した音データが多クラスSVMによってどのクラスに属するか判定し、その判定したクラスに基づいて接近する車両の状況を推定する。また、推定装置2Bは、集音した音データからCSP係数を算出し、CSP法によって接近する車両の状況を検出する。そして、推定装置2Bでは、多クラスSVMによる接近車両の状況とCSP法による接近車両の状況に基づいてCSP法で用いる閾値を補正し、補正した閾値を用いてCSP法によって接近する車両の状況を検出する。推定装置2Bは、集音装置20、ECU21Bを備えている。なお、集音装置20は、第1の実施の形態と同様の集音装置なので、説明を省略する。
【0050】
ECU21Bは、CPU、ROM、RAM等からなる電子制御ユニットであり、推定装置2Bを統括制御する。ECU21Bには、特徴量抽出部22、接近車両推定部23、多クラスSVM用サポートベクター24、接近車両検出部25が構成される。ECU21Bは、集音装置20から各集音器で集音された音データ(電気信号)を受信し、第1の実施の形態に係るECU21Bと同様に音データに対する前処理を行う。なお、第2の実施の形態では、特徴量抽出部22及び接近車両推定部23が特許請求の範囲に記載するクラス判定手段及び音源推定手段に相当し、接近車両検出部25が特許請求の範囲に記載する音源検出手段及び補正手段に相当する。
【0051】
なお、特徴量抽出部22、接近車両推定部23は、第1の実施の形態と同様の各装置なので、説明を省略する。特徴量抽出部22では、特徴量として接近車両検出部25で用いるCSP係数(相互相関値)や到達時間差を算出している。また、多クラスSVM用サポートベクター24は、第1の実施の形態と同様の多クラスSVM用サポートベクターなので、説明を省略する。
【0052】
接近車両検出部25では、CSP法により、特徴量抽出部22で抽出したCSP係数(相互相関値)のピーク値が閾値(初期値)より大きいか否かを判定する。閾値(初期値)は、車両の走行音を検出するCSP法で通常用いられる閾値であり、車両の走行音(音源)が確実に存在することを判定するための閾値であり、実車実験等によって設定される。CSP係数のピーク値が閾値より大きい場合、接近車両検出部25では、接近車両(音源)が存在すると判断し、到達時間差の時間変化に基づいて接近車両の移動方向(接近方向)を判別するとともに、到達時間差に基づいて接近車両までの距離を算出する。CSP係数のピーク値が閾値以下の場合、接近車両検出部25では、接近車両が存在しないと判断する。
【0053】
さらに、接近車両検出部25では、上記のCSP法による検出結果と接近車両推定部23での多クラスSVMによる推定結果を比較する。この比較によって、CSP法によって接近車両を検出しておりかつ多クラスSVMによって接近車両を検出しており、さらに、CSP法によって算出した接近車両までの距離と多クラスSVMによって推定した接近車両までの距離がおおよそ同じ距離の場合、その各検出の信頼性が高く、CSP係数の信頼性も高い。そこで、接近車両検出部25では、CSP法による接近車両までの距離と多クラスSVMによる接近車両までの距離がおおよそ同じ距離の場合、CSP法で用いる閾値を初期値より小さい値に設定し、接近車両(音源)が検出され易くする。閾値をどの程度小さくするかは、実車実験等によって設定される。閾値を小さくする場合、信頼度に応じて小さくする量を変えてもよい。このように信頼性が高い場合に閾値を小さくするのは、集音される音へのノイズの影響等で接近車両(音源)が存在するにもかかわらず一時的にCSP係数が低く算出される場合があるので、このような場合でも接近車両(音源)を検出できるようにするためである。そして、接近車両検出部25では、小さくした閾値(補正値)を用いて、上記と同様にCSP法により、CSP係数のピーク値が閾値(補正値)より大きいか否かを判定し、CSP係数のピーク値が閾値より大きい場合には接近車両の移動方向や距離を求める。
【0054】
図6には、推定装置2Bにおける処理結果の一例を示している。この例では、自車両前方の交差道路において左側から右側に接近車両が移動した場合である。0秒が自車両正面の基準点であり、図6(c)に示すように0秒の時点で接近車両に対する方位角がプラス値からマイナス値に反転する。この方位角の絶対値は、接近車両までのおおよその距離に相当し、自車両正面付近で大きく変化し、自車両から離れるほど変化しない。
【0055】
図6(a)には、接近車両推定部23での多クラスSVMによるクラスの判定結果を示しており、自車両正面通過前の各時間に対応してクラス6、クラス5、クラス4、クラス3、クラス2の順で大体正しいクラスが判定されている。ただし、集音される音へのノイズの影響等で特徴量が変動し、クラス6とクラス5の間やクラス5とクラス4との間で、クラス3等が判定されている。接近車両までの距離は、判定された各クラスの設定時間から算出できる。
【0056】
また、図6(b)には相関値(CSP係数)の時間変化と初期値の閾値thを示しており、図6(d)にはその相関値(CSP係数)の時間変化と初期値の閾値thとの比較結果に基づく接近車両の検出/未検出を示している。この例の場合、相関値がノイズの影響等によって一時的に低下しているので、初期値の閾値thで判定した場合、図6(d)に示すように、接近車両が検出されない区間があり、接近車両の検出/未検出が繰り返される。
【0057】
ここで、CSP法によって算出した接近車両までの距離と多クラスSVMによって推定した接近車両までの距離がおおよそ同じ距離と判定され、閾値thよりも小さい閾値thが設定されたとする。この場合、図6(b)に示すように、相関値(CSP係数)が閾値thを連続して上回る。その結果、図6(e)に示すように、接近車両が連続して検出され、接近車両を安定して検出できる。
【0058】
図1、図5、図6を参照して、第2の実施の形態に係る接近車両検出システムの動作について説明する。特に、推定装置2Bでの動作については図7のフローチャートに沿って説明する。図7は、推定装置2Bにおける処理の流れを示すフローチャートである。なお、学習装置1における動作は、第1の実施の形態と同様なので、説明を省略する。
【0059】
各車両には、推定装置2Bが搭載され、推定装置2Bの多クラスSVM用サポートベクター24には学習装置1の多クラスSVM用サポートベクター14の学習データが格納されている。
【0060】
各車両では、集音装置20の各集音器が、車外の周囲の音を集音し、その集音した音を電気信号に変換してECU21Bに送信している(S20)。ECU21Bでは、この複数の集音器の音データを受信し、複数の音データに対して前処理を施す。
【0061】
ECU21Bでは、集音装置20からの各集音器の音データを受信する毎に、前処理後の各集音器の音データを用いて特徴量を抽出するとともに(S21)、CSP係数を算出する(S22)。なお、CSP係数は、多クラスSVMで用いる14個の特徴量の一部である。
【0062】
そして、ECU21Bでは、多クラスSVM用サポートベクター24に格納される学習データに基づいて、抽出した14個の特徴量がどのクラスに属するかを判定する(S23)。ECU21Bでは、判定したクラスに応じて自車両に接近車両の接近状況を推定する(S24)。ここでは、属するクラスがある場合、接近車両(音源)が存在すると判断し、そのクラスから接近車両の接近時間(距離)や移動方向等を求める。
【0063】
また、ECU21Bでは、閾値処理で利用するために、CSP係数のピーク値と閾値(初期値)との比較判定によって接近車両(音源)が存在するかを判定し、接近車両が存在すると判定した場合には到達時間差に基づいて接近車両までの距離を求める。
【0064】
ECU21Bでは、多クラスSVMによって接近車両が検出されかつCSP法によって接近車両が検出されている場合、多クラスSVMによる接近車両までの距離とCSP法による接近車両までの距離とを比較し、距離がおおよそ同じ場合にはCSP法の閾値を小さい閾値に設定し、それ以外の場合にはCSP法の閾値の初期値を維持する(S25)。そして、ECU21Bでは、補正した閾値又は初期値の閾値を用いて、CSP係数のピーク値と閾値との比較判定によって接近車両が存在するかを判定し、接近車両が存在すると判定した場合には到達時間差に基づいて接近車両までの距離や移動方向等を求める(S26)。そして、ECU21Bでは、S26での検出結果に基づいて接近車両情報を生成し、その接近車両情報を運転支援装置3に送信する。
【0065】
第2の実施の形態に係る接近車両検出システムによれば、CSP法による検出結果と多クラスSVMによる検出結果に基づいてCSP法の閾値を補正することにより、ノイズの影響等を受けてCSP係数が低くなった場合でも、CSP法での検出を安定化できる。
【0066】
図8を参照して、多クラスSVMで用いるクラス設定についてより詳細に説明する。図8は、多クラスSVMで用いる道路形状及び交通規制に応じたクラスの一例である。
【0067】
車両は、道路上を走行するので、道路形状に沿って移動する。また、車両は、交通規則に従って走行する。したがって、クラスを設定する場合、地図情報に含まれる個々の道路形状や交通規制に基づいて設定すると、詳細かつ正確なクラスを設定できる。
【0068】
例えば、図8(a)に示すような、十字路の交差点で、自車両MVの道路MRに対して交差する道路CRが片側一車線の場合、道路CRにおける自車両MVの左側から右側への車線上には自車両MVの左側(正面通過前)に時間で分けた5つのクラスC6R,C5R,C4R,C3R,C2Rを設定し、自車両MVの右側(正面通過後)に1つのクラスC1Rを設定し、道路CRにおける自車両MVの右側から左側への車線上には自車両MVの右側(正面通過前)に時間で分けた5つのクラスC6L,C5L,C4L,C3L,C2Lを設定し、自車両MVの左側(正面通過後)に1つのクラスC1Lを設定し、道路MRの自車両MV前方の対向側及び交差点内は自車両MVから視認できるので1つのクラスC1Fを設定する。
【0069】
図8(b)に示すような、T字路の交差点で、自車両MVの道路MRに対して交差する道路CRが車線がなくかつ双方向通行の場合、道路CRにおける自車両MVの左側から右側への移動方向に対して自車両MVの左側(正面通過前)に時間で分けた5つのクラスC6R,C5R,C4R,C3R,C2Rを設定し、自車両MVの右側(正面通過後)に1つのクラスC1Rを設定し、道路CRにおける自車両MVの右側から左側への移動方向に対して自車両MVの右側(正面通過前)に時間で分けた5つのクラスC6L,C5L,C4L,C3L,C2Lを設定し、自車両MVの左側(正面通過後)に1つのクラスC1Lを設定し、道路MRの自車両MV前方の交差点内に1つのクラスC1Fを設定する。
【0070】
図8(c)に示すような、十字路の交差点で、自車両MVの道路MRに対して交差する道路CRが車線がなくかつ双方向通行の場合、図8(b)のT字路の場合と同様の各クラスを設定し、さらに、道路MRの自車両MV前方の対向側及び交差点内に1つのクラスC1Fを設定する。
【0071】
図8(d)に示すような、変形十字路の交差点で、自車両MVの道路MRに対して垂直に交差する道路CRが車線がなくかつ交差点の方向に一方通行であり、自車両MVの道路MRに対して斜めに交差する道路SRが車線がなくかつ交差点の方向に一方通行の場合、道路CRにおける自車両MVの右側から交差点への移動方向に対して時間で分けた5つのクラスC6L,C5L,C4L,C3L,C2Lを設定し、道路SRにおける自車両MVの左斜め側から交差点への移動方向に対して時間で分けた5つのクラスC6S,C5S,C4S,C3S,C2Sを設定し、道路MRの自車両MV前方の対向側及び交差点内に1つのクラスC1Fを設定する。
【0072】
図8(e)に示すような、5差路の交差点で、自車両MVの道路MRに対して交差する道路CRが車線がなくかつ双方向通行であり、自車両MVの道路MRに対して斜めに交差する道路SRが車線がなくかつ交差点の方向に一方通行の場合、図8(c)の十字路の場合と同様の各クラスを設定し、さらに、道路SRにおける自車両MVの左斜め側から交差点への移動方向に対して時間で分けた5つのクラスC6S,C5S,C4S,C3S,C2Sを設定する。
【0073】
この各クラスの設定において、各道路を走行する車両の速度を想定し(例えば、道路の制限速度)、その想定した速度に応じて道路上に設定するクラスの車両進行方向の幅を変えるようにしてもよい。車両の速度が高いほど、1秒間で車両が移動できる距離が長くなるので、クラスの幅を広くする。
【0074】
この場合、学習装置1では、集音装置10での集音中に、自車両の現在位置情報も取得する。学習装置1のコンピュータ11は、地図情報(道路形状情報、交通規制情報)を備えるとともに自車両の現在位置情報が入力され、自車両の現在位置における道路形状やその道路の交通規制も考慮して多クラスSVMによる学習によってクラス分類を行う。また、推定装置2A,2Bでは、集音装置20での集音中に、自車両の現在位置情報も取得する。推定装置2A,2BのECU21A,21Bは、地図情報を備えるとともに自車両の現在位置情報が入力され、道路形状や交通規制も加味された多クラスSVMの学習データに基づいて、自車両の現在位置における道路形状やその道路の交通規制も考慮してクラスを判定する。このように、道路形状及び交通規制に応じてクラスを設定することにより、より最適なクラスを簡単に設定できる。
【0075】
また、クラスについては車種に応じて設定してもよい。例えば、大型車と普通車とでは走行音が異なるので、音の特徴量も異なる。したがって、音特徴量によって車種を分離することが可能であり、車種も考慮してクラスを設定できる。車種としては、大型車、普通乗用車、軽乗用車、オートバイ等の大まかな車種でもよいし、より詳細な車種でもよい。
【0076】
この場合、学習装置1の集音装置10では、接近車両の車種を順次変えて、接近車両を走行させ、車種毎に各集音器でそれぞれ集音する。学習装置1のコンピュータ11は、車種も考慮して多クラスSVMによる学習によってクラス分類を行う。また、推定装置2A,2BのECU21A,21Bは、車種が加味された多クラスSVMの学習データに基づいて、車種も考慮してクラスを判定する。このように、車種を考慮してクラス分類することにより、接近車両(音源)の状況をより詳細に推定でき、接近車両をより高精度に検出することができる。
【0077】
接近車両検出システムでは、位置や移動方向の他にも上記の各種パラメータに応じてクラスを設定することにより、接近車両の様々な状況を推定できる。なお、上記に示す以外のパラメータを考慮してクラスを設定してもよい。また、接近車両が自車両正面を通過する時点を基準にクラスを設定したが、基準については他の時点でもよい。
【0078】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【0079】
例えば、本実施の形態では音源検出装置を接近車両(音源として車両の走行音)を検出する接近車両検出システムに適用したが、車両以外の音源を検出する装置でもよい。また、本実施の形態では検出した接近車両情報を運転支援装置に提供する装置に適用したが、他の構成でもよい。例えば、運転支援装置の中に接近車両検出機能として組み込まれるものでもよいし、接近車両検出装置の中に警報機能等を有するものでもよい。
【0080】
また、本実施の形態では事前に学習を行う学習装置と学習データを用いて実際に接近車両を推定する推定装置とを別体とし、事前に学習を行う構成としたが、一体で構成してもよい。特に、一体の装置の場合、車両走行中に集音した音データに基づいてオフラインでクラス分類を行っておき、そのクラス分類のデータに用いてリアルタイムで接近車両を検出する。
【0081】
また、本実施の形態では多クラスパターン識別手法として多クラスSVMを適用したが、他の多クラスパターン識別手法を適用してもよい。
【0082】
また、本実施の形態では集音装置を複数個の集音器で、1対以上の集音器対を構成したが、1個の集音器の場合でも適用可能である。1個の集音器の場合、処理負荷は低減するが、特徴量として到達時間差やCSP係数(相関値)が得られない。
【0083】
また、本実施の形態では特徴量として14個の特徴量を用いたが、この14個の特徴量のうちの一部の特徴量だけを用いてもよいし、14個の特徴量に他の特徴量を加えて用いてもよいし、あるいは、14個の特徴量のうちの一部の特徴量に他の特徴量を加えて用いてもよい。
【符号の説明】
【0084】
1…学習装置、2A,2B…推定装置、3…運転支援装置、10,20…集音装置、11…コンピュータ、12…特徴量抽出部、13…学習部、14,24…多クラスSVM用サポートベクター、21A,21B…ECU、22…特徴量抽出部、23…接近車両推定部、25…接近車両検出部。

【特許請求の範囲】
【請求項1】
集音器で集音された音に基づいて音源を検出する音源検出装置であって、
集音器で集音された音から特徴量を抽出し、特徴量を用いて多クラスパターン識別手法によって音源の位置に応じた複数のクラスに分類するクラス分類手段と、
音源を検出する際に、集音器で集音された音から特徴量を抽出し、前記クラス分類手段で分類した複数のクラスの中から前記抽出された特徴量が属するクラスを判定するクラス判定手段と、
前記クラス判定手段で判定したクラスに基づいて音源を推定する音源推定手段と、
を備えることを特徴とする音源検出装置。
【請求項2】
複数の集音器でそれぞれ集音された音の相関値を算出し、算出した相関値と閾値とを比較することによって音源を検出する音源検出手段と、
前記音源検出手段での検出結果及び前記音源推定手段での推定結果に基づいて前記音源検出手段の閾値を補正する補正手段と、
を備え、
前記音源検出手段は、前記相関値と前記補正手段で補正した閾値とを比較することによって音源を検出することを特徴とする請求項1に記載の音源検出装置。
【請求項3】
前記クラス分類手段は、音源の移動方向に応じた複数のクラスに分類することを特徴とする請求項1又は請求項2に記載の音源検出装置。
【請求項4】
前記クラス分類手段は、道路形状又は/及び交通規制に応じた複数のクラスに分類することを特徴とする請求項1〜請求項3のいずれか1項に記載の音源検出装置。
【請求項5】
前記クラス分類手段は、車種に応じた複数のクラスに分類することを特徴とする請求項1〜請求項4のいずれか1項に記載の音源検出装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−68427(P2013−68427A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2011−205151(P2011−205151)
【出願日】平成23年9月20日(2011.9.20)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【出願人】(599002043)学校法人 名城大学 (142)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】