車載収音装置及び車内収音情報表示方法
【課題】音源の方向とその音量を従来よりもさらに直感的に把握することができる車載収音装置及び車内収音情報表示方法を提供する。
【解決手段】車内に設置した２つのマイクロフォン１７Ａ及び１７Ｂにて車内で話者の音声を収音し、入力音圧レベルを表す画像データと２つのマイクロフォン１７Ａ及び１７Ｂによる指向性を表す画像データをデータメモリ１４から読み出して、それらの画像データからドット展開した表示データを生成してディスプレイ１５上に表示するので、話者の発声を音源とするその方向とその音量を従来よりもさらに直感的に把握することが可能となり、例えばナビゲーション装置を適切な発声音量で音声操作を行うことができる。
【解決手段】車内に設置した２つのマイクロフォン１７Ａ及び１７Ｂにて車内で話者の音声を収音し、入力音圧レベルを表す画像データと２つのマイクロフォン１７Ａ及び１７Ｂによる指向性を表す画像データをデータメモリ１４から読み出して、それらの画像データからドット展開した表示データを生成してディスプレイ１５上に表示するので、話者の発声を音源とするその方向とその音量を従来よりもさらに直感的に把握することが可能となり、例えばナビゲーション装置を適切な発声音量で音声操作を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識による操作を可能とするナビゲーション装置や携帯電話を車内で使用するためのハンズフリーユニット等に用いて好適な車載収音装置及び車内収音情報表示方法に関する。
【背景技術】
【０００２】
従来、上述した音声認識による操作が可能なナビゲーション装置や車内で携帯電話を使用するためのハンズフリーユニットが開発されている。音声認識による操作を可能とするナビゲーション装置には、ノイズに対して音声を区別できるようにしたものが提案されている（例えば、特許文献１参照）。この提案では、マイクロフォンに入力されたノイズと入力された音声とを比較し、ノイズ信号に対する音声信号の比率が所定値以上であるかどうかを判定し、音声信号の比率が所定値以上である場合に所定の表示を行う。話者はこの表示を見ながら発声し、発声時の声の音量を調整する。
【０００３】
ところで、特許文献１では、マイクロフォンに指向性の無いものを使用する場合は特に問題はないが、指向性の有るものを使用した場合には、その範囲内と範囲外では、当然ながら音声信号の比率が異なることになるので、一定した表示とならない。すなわち、指向性範囲内のノイズ信号と音声信号の比率と、指向性範囲外のノイズ信号と音声信号との比率は異なることになり、当然ながらそれぞれの比率は同じにはならない。
【０００４】
指向性の無いマイクロフォンであっても、それを少なくとも２つ用意することで、音源の方向を推定することは可能であり、音源の方向を推定することで、どの位置から発音しても一定した表示が可能となる。
【０００５】
ここで、音源の方向を推定するようにしたものが提案されている（例えば、特許文献２参照）。この提案では、複数のマイクロフォンを縦横に一定間隔で配置し、各マイクロフォンの配置位置によって生ずる収音された音の到達時間差と収音された収音信号の周波数毎の固有値及び固有ベクトルを算出することによって収音信号の雑音成分を算出し、この算出した雑音成分に基づいて音源の到来方向を推定するようにしている。また、この提案では、推定した音源方向を表示して、音源方向を視覚的に把握できるようにしている。
【０００６】
【特許文献１】特開平９−４４１８３号公報
【特許文献２】特開２００２−１８６０８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１で開示された技術では、ノイズに対してどの位の音量で発声すればよいかという目安が得られるが、ノイズレベル以上であっても、どの程度の音量であるかは直感的には分からない。特許文献２で開示された技術では、音源の推定音量を、その大きさに基づいて表示するプロットの色や濃淡を変化させることで視覚的に把握できるようにしているものの、直感的には把握しにくい。
【０００８】
本発明は、係る事情に鑑みてなされたものであり、音源の方向とその音量を従来よりもさらに直感的に把握することができる車載収音装置及び車内収音情報表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的は下記構成及び方法により達成される。
本発明の車載収音装置は、車内で話者の音声を収音する収音手段と、前記収音手段で前記話者の音声の収音が行われたときに、前記収音手段の指向性を表す画像と前記収音手段への話者音声の入力音圧レベルを表す画像を同時に表示する表示手段と、を備える。
【００１０】
この構成により、話者の音声の収音が行われたときに、収音手段の指向性を表す画像と収音手段への話者音声の入力音圧レベルを表す画像を同時に表示するので、音源の方向とその音量を従来よりもさらに直感的に把握することができる。
【００１１】
また、本発明の車載収音装置は、前記表示手段は、前記収音手段で音の収音が行われたときに、前記収音手段への音の入力音圧レベルを表す画像を表示する。
【００１２】
この構成により、騒音等の音の収音が行われたときに、収音手段への音の入力音圧レベルを表す画像を表示するので、車内の騒音等を直感的に把握することができる。
【００１３】
また、本発明の車載収音装置は、前記収音手段は、２つのマイクロフォンと、前記２つのマイクロフォンで狭い指向性を得るスペクトラル・サブトラクション処理手段と、を備える。
【００１４】
この構成により、２つのマイクロフォンとスペクトラル・サブトラクション処理にて電気的に狭い指向性を作り出すことができ、運転席の話者と助手席の話者等のそれぞれの発声を効率よく収音することができる。
【００１５】
また、本発明の車載収音装置は、前記収音手段で収音した音声信号から音源方向を推定する演算手段を備え、前記表示手段は、前記演算手段で推定した方向に追随して指向性を表す画像の表示を変える。
【００１６】
この構成により、自動的に指向性を変えることができ、手動にて変更する場合と比べて利便性の向上が図れる。
【００１７】
また、本発明の車載収音装置は、前記表示手段は、複数の話者が存在する場合に、推定した音源方向毎に前記話者の音声の入力音圧レベルを表す画像を表示する。
【００１８】
この構成により、指向性を表す画像と話者音声の入力音圧レベルを表す画像とを常に同じ位置関係で表示できるので、話者毎に正しく発声音量を把握することができる。
【００１９】
また、本発明の車載収音装置は、前記表示手段は、前記収音手段を使用した通信の開始時に自動的に表示を開始する。
【００２０】
この構成により、携帯電話を使用したハンズフリー通話の着信時等において、自動的に表示を開始するので、音声と表示のタイミングが一致し、話者は正しく発声音量を把握することができる。また、表示を開始するための手動操作を不要にできる。
【００２１】
また、本発明の車載収音装置は、前記表示手段は、ナビゲーション装置の音声認識機能の起動時に自動的に表示を開始する。
【００２２】
この構成により、ナビゲーション装置の音声認識機能の起動時に自動的に表示を開始するので、音声と表示のタイミングが一致し、話者は正しく発声音量を把握することができる。
【００２３】
また、本発明の車内収音情報表示方法は、マイクロフォンにて車内での話者の音声を収音したときの入力音圧レベルを計測し、計測した入力音圧レベルを表す画像と前記マイクロフォンの指向性を表す画像をディスプレイ上に可視表示する。
【００２４】
この方法により、話者は音源の方向とその音量を従来よりもさらに直感的に把握することができる。
【発明の効果】
【００２５】
本発明の車載収音装置によれば、話者の音声の収音が行われたときに、収音手段の指向性を表す画像と収音手段への話者音声の入力音圧レベルを表す画像を同時に表示するので、音源の方向とその音量を従来よりもさらに直感的に把握することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２７】
図１は、本発明の一実施の形態に係る車載収音装置の概略構成を示すブロック図である。この図において、本実施の形態の車載収音装置１０は、装置各部を制御するＣＰＵ１１（演算手段）と、ＣＰＵ１１を動作させるプログラムが格納されたプログラムメモリ１２と、ＣＰＵ１１の動作において使用されるワークメモリ１３と、各種画像データが格納されたデータメモリ１４と、カラー液晶パネルを用いたディスプレイ１５と、収音に関する画像をディスプレイ１５に表示するための制御を行う表示制御部１６と、それぞれ無指向性の２つのマイクロフォン１７Ａ及び１７Ｂと、無指向性の２つのマイクロフォン１７Ａ及び１７Ｂで狭い指向性を実現するスペクトラル・サブトラクション処理部１８と、本装置における各種操作を行うための操作部１９とを備えている。なおマイクロフォン１７Ａ及び１７Ｂとスペクトラル・サブトラクション処理部１８により収音手段は構成されている。また、収音手段は１つの指向性マイクロフォンから構成されていても良い。本実施例では、収音手段での収音の指向性を変化させるために２つのマイクロフォンを使った例で説明を行う。１つの指向性マイクロフォンの場合はマイクロフォンを回動する形で取り付ければ実施できる。
【００２８】
ＣＰＵ１１、プログラムメモリ１２、ワークメモリ１３、データメモリ１４、表示制御部１６、スペクトラル・サブトラクション処理部１８及び操作部１９はバスライン２０で接続されている。
【００２９】
２つのマイクロフォン１７Ａ及び１７Ｂはそれぞれ無指向性であるが、スペクトラル・サブトラクション処理部１８によって電気的に狭い指向性が得られる。また、この指向性の方向は、ＣＰＵ１１が音源方向推定処理を行うことにより自動的に変更される。例えば運転席で発声を行うと指向性は運転席側に向けられる。この場合、図２に示すようにディスプレイ１５上には運転席側に向けられた狭い指向性を表す画像Ｇ３が表示される。なお、この図において、Ｇ１は車両を表す画像、Ｇ２はマイクロフォンを表す画像、Ｇ４は入力音圧レベル（発声の音量の大きさ）を表す画像（詳細は後述する）、Ｇ５は車両のシートを表す画像である。なお車両Ｇ１、マイクロフォンＧ２、シートＧ５の画像はあらかじめデータメモリ１４に記憶されたビットマップ等の画像であっても良い。また、車両の天井に室内向きに設置されたカメラの映像であっても良い。
【００３０】
ＣＰＵ１１は、上述した音源方向推定処理（マイクロフォン１７Ａ及び１７Ｂの音声出力から音源方向即ち発声した搭乗者が位置する方向を推定する処理）と、ディスプレイ１５上に指向性を表す画像Ｇ３等を表示するための処理と、推定した音源方向に指向性を変える処理と、その入力音圧レベルを表す画像をディスプレイ１５上に表示する処理と、２つのマイクロフォン１７Ａ及び１７Ｂのいずれか一方を用いて収音し、騒音レベルを求めてその入力音圧レベルを表示する処理を行う。
【００３１】
図３は、入力音圧レベルを表す画像の一例を示す図である。この図に示す例では入力音圧レベルを「小」、「中」、「大」及び「最大」の４つの画像で表すようにしている。この場合、「小」から「最大」に向かって画像の面積が大きくなるようにしており、特に「最大」の画像においては、例えば発話者の発声音量がレベルオーバーであることを報知するために、激しさが分かるように「とげとげしく」表すようにしている。また、各画像には色も付加される。例えば「小」と「中」には「緑色」が付加され、「大」には「オレンジ色」が付加され、「最大」には「赤色」が付加される。具体的には、マイクロフォン１７Ａ及び１７Ｂによる指向性を運転席に向けた状態で運転席の搭乗者（運転者）が「大」に相当する音量の発声をしたとすると、ディスプレイ１５上には図２に示すように指向性を表す画像Ｇ３と、「大」の入力音圧レベルを表す画像Ｇ４が同時に表示される。なお、上述した指向性を表す画像Ｇ３には例えば「青色」が付加される。
【００３２】
一方、音源方向の推定は２つのマイクロフォン１７Ａ及び１７Ｂを用いて行われる。図４は、音源方向推定を行うＣＰＵ１１による機能ブロック図である。この図において、２つのマイクロフォン１７Ａ及び１７Ｂは既知の間隔ΔＬで配置されている。マイクロフォン１７Ａ及び１７Ｂそれぞれから音声信号が出力されると、相互相関算出部１１０では、フレーム長Ｎ（Ｔでも可能であり、単位は時間）において、２つの時間波形Ｔｗａ及びＴｗｂの相関をとる。すなわち、遅延している方の時間波形Ｔｗｂをどの程度ずらしたら時間波形Ｔｗａと一致するかを算出する。
【００３３】
次いで、相互相関算出部１１０で算出された相関波形ＴｗｃからΔｔ推定部１１１が２つの時間波形Ｔｗａ及びＴｗｂの時間的ずれΔｔを推定する。そして、推定された時間的ずれΔｔから到来角θ算出部１１２が音の到来角θを算出する。この場合、ｖを音速として、Δｘ＝ΔＬ・ｃｏｓθ＝ｖ・Δｔ（但し、０°≦θ≦９０°）式を用いて到来角θが求められる。ＣＰＵ１１は、このようにして音の到来角θを求める。そして、求めた方向に指向性を変える。
【００３４】
ＣＰＵ１１による騒音レベル表示は、上述したように２つのマイクロフォン１７Ａ及び１７Ｂのいずれか一方を用いて収音して騒音レベルを求め、求めた騒音レベルを指向性表示領域以外の領域に表示する。この場合、例えば色を使用するとすると、騒音レベルが低いときには「黒色」で表示し、騒音レベルが高いときには「黄色」で表示する。なお、この表示を行うための画像データもデータメモリ１４に格納されている。データメモリ１４には、上述した画像Ｇ１〜Ｇ５を表すための画像データが格納される。
【００３５】
次に、上記構成の車載収音装置の動作について説明する。この場合、車載収音装置をナビゲーション装置に用いた場合について説明する。搭乗者がナビゲーション装置の音声認識機能を起動させる操作を行うと、ＣＰＵ１１はこの操作をトリガーとして音声収集を開始する。また、データメモリ１４から車両を表すための画像データ、マイクロフォンを表すための画像データ及び車両のシートを表すための画像データを夫々読み出して、それらを表示制御部１６に入力する。表示制御部１６は、入力された各画像データからドット展開した表示データを生成してディスプレイ１５上に表示する。これにより、図２に示すような車両を表す画像Ｇ１、マイクロフォンを表す画像Ｇ２、車両のシートを表す画像Ｇ５がそれぞれ表示される。
【００３６】
音声収集においては、まず２つのマイクロフォン１７Ａ及び１７Ｂのうちのいずれか一方を使用して、騒音レベルの測定を行う。騒音レベルの測定を行うと、データメモリ１４から騒音レベルを表すための画像データを読み出し、それを表示制御部１６に入力する。 表示制御部１６は、入力された画像データからドット展開した表示データを生成してディスプレイ１５上に表示する。この際、色も付加する。例えば、騒音レベルが所定レベル以下の場合は「黒色」を付加し、所定レベルを超える場合は「黄色」を付加する。
【００３７】
騒音レベルを表示した後、音声入力があると、２つのマイクロフォン１７Ａ及び１７Ｂを用いて音源方向を推定する。音源方向を推定した後、入力音圧レベルを検出する。入力音圧レベルを検出できると、データメモリ１４から音源方向に対応する指向性を表すための画像データと入力音圧レベルを表すための画像データとを読み出し、それらを表示制御部１６に入力する。表示制御部１６は、入力された各画像データからドット展開した表示データを生成してディスプレイ１５上に表示する。
【００３８】
例えば、運転席で発声がなされ、そのときの入力音圧レベルが「大」であれば、図２に示すように、入力音圧レベル「大」を表す画像Ｇ４と、運転席に向けた指向性を表す画像Ｇ３を表示する。上記処理を所定のタイミングで繰り返し行い、その都度、騒音レベル、入力音圧レベル、指向性夫々を表す画像を更新表示する。例えば、運転席での発声から助手席での発声に変わると、変わった後の次のタイミングで、今度は助手席に向けた指向性を表す画像Ｇ３が表示されるとともに、入力音圧レベルを表す画像Ｇ４が表示される。このように、マイク指向性の変化に追従して指向性の表示を切替えるとともに、入力音圧レベルを表示する。
【００３９】
このように本実施の形態の車載収音装置１０によれば、車内に設置した２つのマイクロフォン１７Ａ及び１７Ｂにて車内で話者の音声を収音し、入力音圧レベルを表す画像データと２つのマイクロフォン１７Ａ及び１７Ｂによる指向性を表す画像データをデータメモリ１４から読み出して、それらの画像データからドット展開した表示データを生成してディスプレイ１５上に表示するので、話者の発声を音源とするその方向とその音量を従来よりもさらに直感的に把握することが可能となり、ナビゲーション装置を適切な発声音量で音声操作を行うことができる。
【００４０】
また、２つのマイクロフォン１７Ａ及び１７Ｂのうち、いずれか一方を使用して騒音レベルを検出して、騒音レベルを表す画像をディスプレイ１５上に表示するので、騒音のレベルを直感的に把握することが可能となる。
【００４１】
また、スペクトラル・サブトラクション処理部１８によって電気的に狭指向性を作り出すので、運転席側と助手席側の話者等のそれぞれの発声を効率よく収音することができる。
【００４２】
また、音源方向を推定してその方向に指向性を変えるので、手動にて変更する場合と比べて利便性の向上が図れる。
【００４３】
また、指向性を表す画像と話者音声の入力音圧レベルを表す画像とを常に同じ位置関係で表示するので、話者毎に正しく発声音量を把握することができる。
【００４４】
なお、本実施の形態では、２つのマイクロフォン１７Ａ及び１７Ｂを備えたが、この数に制限はなく２つ以上であっても構わない。また、可動形の取り付け台に設置した１つの指向性マイクロフォンであっても良い。
【００４５】
また、本実施の形態では、ナビゲーション装置に適用した場合であったが、携帯電話を使用したハンズフリーユニット等にも勿論適用することができる。ハンズフリーユニットに適用した場合は、着信時に自動的に表示を開始すると良い。
【００４６】
また、本実施の形態では、運転席と助手席夫々に対して指向性を表示するようにしたが、運転席と助手席の双方に対する指向性を表示するようにしても良い。
【産業上の利用可能性】
【００４７】
本発明は、音源の方向とその音量を従来よりもさらに直感的に把握することができるといった効果を有し、ナビゲーション装置や携帯電話のハンズフリーユニットなどへの適用が可能である。
【図面の簡単な説明】
【００４８】
【図１】本発明の一実施の形態に係る車載収音装置の概略構成を示すブロック図
【図２】上記実施の形態に係る車載収音装置の表示の一例を示す図
【図３】上記実施の形態に係る車載収音装置における入力音圧レベルを表すための画像の一例を示す図
【図４】上記実施の形態に係る車載収音装置の音源方向推定処理を説明するための図
【符号の説明】
【００４９】
１０ 車載収音装置
１１ ＣＰＵ（演算手段）
１２ プログラムメモリ
１３ ワークメモリ
１４ データメモリ
１５ ディスプレイ（表示手段）
１６ 表示制御部
１７Ａ、１７Ｂ マイクロフォン（収音手段）
１８ スペクトラル・サブトラクション処理部（収音手段）
１９ 操作部
１１０ 相互相関算出部
１１１ Δｔ推定部
１１２ 到来角θ算出部
【技術分野】
【０００１】
本発明は、音声認識による操作を可能とするナビゲーション装置や携帯電話を車内で使用するためのハンズフリーユニット等に用いて好適な車載収音装置及び車内収音情報表示方法に関する。
【背景技術】
【０００２】
従来、上述した音声認識による操作が可能なナビゲーション装置や車内で携帯電話を使用するためのハンズフリーユニットが開発されている。音声認識による操作を可能とするナビゲーション装置には、ノイズに対して音声を区別できるようにしたものが提案されている（例えば、特許文献１参照）。この提案では、マイクロフォンに入力されたノイズと入力された音声とを比較し、ノイズ信号に対する音声信号の比率が所定値以上であるかどうかを判定し、音声信号の比率が所定値以上である場合に所定の表示を行う。話者はこの表示を見ながら発声し、発声時の声の音量を調整する。
【０００３】
ところで、特許文献１では、マイクロフォンに指向性の無いものを使用する場合は特に問題はないが、指向性の有るものを使用した場合には、その範囲内と範囲外では、当然ながら音声信号の比率が異なることになるので、一定した表示とならない。すなわち、指向性範囲内のノイズ信号と音声信号の比率と、指向性範囲外のノイズ信号と音声信号との比率は異なることになり、当然ながらそれぞれの比率は同じにはならない。
【０００４】
指向性の無いマイクロフォンであっても、それを少なくとも２つ用意することで、音源の方向を推定することは可能であり、音源の方向を推定することで、どの位置から発音しても一定した表示が可能となる。
【０００５】
ここで、音源の方向を推定するようにしたものが提案されている（例えば、特許文献２参照）。この提案では、複数のマイクロフォンを縦横に一定間隔で配置し、各マイクロフォンの配置位置によって生ずる収音された音の到達時間差と収音された収音信号の周波数毎の固有値及び固有ベクトルを算出することによって収音信号の雑音成分を算出し、この算出した雑音成分に基づいて音源の到来方向を推定するようにしている。また、この提案では、推定した音源方向を表示して、音源方向を視覚的に把握できるようにしている。
【０００６】
【特許文献１】特開平９−４４１８３号公報
【特許文献２】特開２００２−１８６０８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１で開示された技術では、ノイズに対してどの位の音量で発声すればよいかという目安が得られるが、ノイズレベル以上であっても、どの程度の音量であるかは直感的には分からない。特許文献２で開示された技術では、音源の推定音量を、その大きさに基づいて表示するプロットの色や濃淡を変化させることで視覚的に把握できるようにしているものの、直感的には把握しにくい。
【０００８】
本発明は、係る事情に鑑みてなされたものであり、音源の方向とその音量を従来よりもさらに直感的に把握することができる車載収音装置及び車内収音情報表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的は下記構成及び方法により達成される。
本発明の車載収音装置は、車内で話者の音声を収音する収音手段と、前記収音手段で前記話者の音声の収音が行われたときに、前記収音手段の指向性を表す画像と前記収音手段への話者音声の入力音圧レベルを表す画像を同時に表示する表示手段と、を備える。
【００１０】
この構成により、話者の音声の収音が行われたときに、収音手段の指向性を表す画像と収音手段への話者音声の入力音圧レベルを表す画像を同時に表示するので、音源の方向とその音量を従来よりもさらに直感的に把握することができる。
【００１１】
また、本発明の車載収音装置は、前記表示手段は、前記収音手段で音の収音が行われたときに、前記収音手段への音の入力音圧レベルを表す画像を表示する。
【００１２】
この構成により、騒音等の音の収音が行われたときに、収音手段への音の入力音圧レベルを表す画像を表示するので、車内の騒音等を直感的に把握することができる。
【００１３】
また、本発明の車載収音装置は、前記収音手段は、２つのマイクロフォンと、前記２つのマイクロフォンで狭い指向性を得るスペクトラル・サブトラクション処理手段と、を備える。
【００１４】
この構成により、２つのマイクロフォンとスペクトラル・サブトラクション処理にて電気的に狭い指向性を作り出すことができ、運転席の話者と助手席の話者等のそれぞれの発声を効率よく収音することができる。
【００１５】
また、本発明の車載収音装置は、前記収音手段で収音した音声信号から音源方向を推定する演算手段を備え、前記表示手段は、前記演算手段で推定した方向に追随して指向性を表す画像の表示を変える。
【００１６】
この構成により、自動的に指向性を変えることができ、手動にて変更する場合と比べて利便性の向上が図れる。
【００１７】
また、本発明の車載収音装置は、前記表示手段は、複数の話者が存在する場合に、推定した音源方向毎に前記話者の音声の入力音圧レベルを表す画像を表示する。
【００１８】
この構成により、指向性を表す画像と話者音声の入力音圧レベルを表す画像とを常に同じ位置関係で表示できるので、話者毎に正しく発声音量を把握することができる。
【００１９】
また、本発明の車載収音装置は、前記表示手段は、前記収音手段を使用した通信の開始時に自動的に表示を開始する。
【００２０】
この構成により、携帯電話を使用したハンズフリー通話の着信時等において、自動的に表示を開始するので、音声と表示のタイミングが一致し、話者は正しく発声音量を把握することができる。また、表示を開始するための手動操作を不要にできる。
【００２１】
また、本発明の車載収音装置は、前記表示手段は、ナビゲーション装置の音声認識機能の起動時に自動的に表示を開始する。
【００２２】
この構成により、ナビゲーション装置の音声認識機能の起動時に自動的に表示を開始するので、音声と表示のタイミングが一致し、話者は正しく発声音量を把握することができる。
【００２３】
また、本発明の車内収音情報表示方法は、マイクロフォンにて車内での話者の音声を収音したときの入力音圧レベルを計測し、計測した入力音圧レベルを表す画像と前記マイクロフォンの指向性を表す画像をディスプレイ上に可視表示する。
【００２４】
この方法により、話者は音源の方向とその音量を従来よりもさらに直感的に把握することができる。
【発明の効果】
【００２５】
本発明の車載収音装置によれば、話者の音声の収音が行われたときに、収音手段の指向性を表す画像と収音手段への話者音声の入力音圧レベルを表す画像を同時に表示するので、音源の方向とその音量を従来よりもさらに直感的に把握することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２７】
図１は、本発明の一実施の形態に係る車載収音装置の概略構成を示すブロック図である。この図において、本実施の形態の車載収音装置１０は、装置各部を制御するＣＰＵ１１（演算手段）と、ＣＰＵ１１を動作させるプログラムが格納されたプログラムメモリ１２と、ＣＰＵ１１の動作において使用されるワークメモリ１３と、各種画像データが格納されたデータメモリ１４と、カラー液晶パネルを用いたディスプレイ１５と、収音に関する画像をディスプレイ１５に表示するための制御を行う表示制御部１６と、それぞれ無指向性の２つのマイクロフォン１７Ａ及び１７Ｂと、無指向性の２つのマイクロフォン１７Ａ及び１７Ｂで狭い指向性を実現するスペクトラル・サブトラクション処理部１８と、本装置における各種操作を行うための操作部１９とを備えている。なおマイクロフォン１７Ａ及び１７Ｂとスペクトラル・サブトラクション処理部１８により収音手段は構成されている。また、収音手段は１つの指向性マイクロフォンから構成されていても良い。本実施例では、収音手段での収音の指向性を変化させるために２つのマイクロフォンを使った例で説明を行う。１つの指向性マイクロフォンの場合はマイクロフォンを回動する形で取り付ければ実施できる。
【００２８】
ＣＰＵ１１、プログラムメモリ１２、ワークメモリ１３、データメモリ１４、表示制御部１６、スペクトラル・サブトラクション処理部１８及び操作部１９はバスライン２０で接続されている。
【００２９】
２つのマイクロフォン１７Ａ及び１７Ｂはそれぞれ無指向性であるが、スペクトラル・サブトラクション処理部１８によって電気的に狭い指向性が得られる。また、この指向性の方向は、ＣＰＵ１１が音源方向推定処理を行うことにより自動的に変更される。例えば運転席で発声を行うと指向性は運転席側に向けられる。この場合、図２に示すようにディスプレイ１５上には運転席側に向けられた狭い指向性を表す画像Ｇ３が表示される。なお、この図において、Ｇ１は車両を表す画像、Ｇ２はマイクロフォンを表す画像、Ｇ４は入力音圧レベル（発声の音量の大きさ）を表す画像（詳細は後述する）、Ｇ５は車両のシートを表す画像である。なお車両Ｇ１、マイクロフォンＧ２、シートＧ５の画像はあらかじめデータメモリ１４に記憶されたビットマップ等の画像であっても良い。また、車両の天井に室内向きに設置されたカメラの映像であっても良い。
【００３０】
ＣＰＵ１１は、上述した音源方向推定処理（マイクロフォン１７Ａ及び１７Ｂの音声出力から音源方向即ち発声した搭乗者が位置する方向を推定する処理）と、ディスプレイ１５上に指向性を表す画像Ｇ３等を表示するための処理と、推定した音源方向に指向性を変える処理と、その入力音圧レベルを表す画像をディスプレイ１５上に表示する処理と、２つのマイクロフォン１７Ａ及び１７Ｂのいずれか一方を用いて収音し、騒音レベルを求めてその入力音圧レベルを表示する処理を行う。
【００３１】
図３は、入力音圧レベルを表す画像の一例を示す図である。この図に示す例では入力音圧レベルを「小」、「中」、「大」及び「最大」の４つの画像で表すようにしている。この場合、「小」から「最大」に向かって画像の面積が大きくなるようにしており、特に「最大」の画像においては、例えば発話者の発声音量がレベルオーバーであることを報知するために、激しさが分かるように「とげとげしく」表すようにしている。また、各画像には色も付加される。例えば「小」と「中」には「緑色」が付加され、「大」には「オレンジ色」が付加され、「最大」には「赤色」が付加される。具体的には、マイクロフォン１７Ａ及び１７Ｂによる指向性を運転席に向けた状態で運転席の搭乗者（運転者）が「大」に相当する音量の発声をしたとすると、ディスプレイ１５上には図２に示すように指向性を表す画像Ｇ３と、「大」の入力音圧レベルを表す画像Ｇ４が同時に表示される。なお、上述した指向性を表す画像Ｇ３には例えば「青色」が付加される。
【００３２】
一方、音源方向の推定は２つのマイクロフォン１７Ａ及び１７Ｂを用いて行われる。図４は、音源方向推定を行うＣＰＵ１１による機能ブロック図である。この図において、２つのマイクロフォン１７Ａ及び１７Ｂは既知の間隔ΔＬで配置されている。マイクロフォン１７Ａ及び１７Ｂそれぞれから音声信号が出力されると、相互相関算出部１１０では、フレーム長Ｎ（Ｔでも可能であり、単位は時間）において、２つの時間波形Ｔｗａ及びＴｗｂの相関をとる。すなわち、遅延している方の時間波形Ｔｗｂをどの程度ずらしたら時間波形Ｔｗａと一致するかを算出する。
【００３３】
次いで、相互相関算出部１１０で算出された相関波形ＴｗｃからΔｔ推定部１１１が２つの時間波形Ｔｗａ及びＴｗｂの時間的ずれΔｔを推定する。そして、推定された時間的ずれΔｔから到来角θ算出部１１２が音の到来角θを算出する。この場合、ｖを音速として、Δｘ＝ΔＬ・ｃｏｓθ＝ｖ・Δｔ（但し、０°≦θ≦９０°）式を用いて到来角θが求められる。ＣＰＵ１１は、このようにして音の到来角θを求める。そして、求めた方向に指向性を変える。
【００３４】
ＣＰＵ１１による騒音レベル表示は、上述したように２つのマイクロフォン１７Ａ及び１７Ｂのいずれか一方を用いて収音して騒音レベルを求め、求めた騒音レベルを指向性表示領域以外の領域に表示する。この場合、例えば色を使用するとすると、騒音レベルが低いときには「黒色」で表示し、騒音レベルが高いときには「黄色」で表示する。なお、この表示を行うための画像データもデータメモリ１４に格納されている。データメモリ１４には、上述した画像Ｇ１〜Ｇ５を表すための画像データが格納される。
【００３５】
次に、上記構成の車載収音装置の動作について説明する。この場合、車載収音装置をナビゲーション装置に用いた場合について説明する。搭乗者がナビゲーション装置の音声認識機能を起動させる操作を行うと、ＣＰＵ１１はこの操作をトリガーとして音声収集を開始する。また、データメモリ１４から車両を表すための画像データ、マイクロフォンを表すための画像データ及び車両のシートを表すための画像データを夫々読み出して、それらを表示制御部１６に入力する。表示制御部１６は、入力された各画像データからドット展開した表示データを生成してディスプレイ１５上に表示する。これにより、図２に示すような車両を表す画像Ｇ１、マイクロフォンを表す画像Ｇ２、車両のシートを表す画像Ｇ５がそれぞれ表示される。
【００３６】
音声収集においては、まず２つのマイクロフォン１７Ａ及び１７Ｂのうちのいずれか一方を使用して、騒音レベルの測定を行う。騒音レベルの測定を行うと、データメモリ１４から騒音レベルを表すための画像データを読み出し、それを表示制御部１６に入力する。 表示制御部１６は、入力された画像データからドット展開した表示データを生成してディスプレイ１５上に表示する。この際、色も付加する。例えば、騒音レベルが所定レベル以下の場合は「黒色」を付加し、所定レベルを超える場合は「黄色」を付加する。
【００３７】
騒音レベルを表示した後、音声入力があると、２つのマイクロフォン１７Ａ及び１７Ｂを用いて音源方向を推定する。音源方向を推定した後、入力音圧レベルを検出する。入力音圧レベルを検出できると、データメモリ１４から音源方向に対応する指向性を表すための画像データと入力音圧レベルを表すための画像データとを読み出し、それらを表示制御部１６に入力する。表示制御部１６は、入力された各画像データからドット展開した表示データを生成してディスプレイ１５上に表示する。
【００３８】
例えば、運転席で発声がなされ、そのときの入力音圧レベルが「大」であれば、図２に示すように、入力音圧レベル「大」を表す画像Ｇ４と、運転席に向けた指向性を表す画像Ｇ３を表示する。上記処理を所定のタイミングで繰り返し行い、その都度、騒音レベル、入力音圧レベル、指向性夫々を表す画像を更新表示する。例えば、運転席での発声から助手席での発声に変わると、変わった後の次のタイミングで、今度は助手席に向けた指向性を表す画像Ｇ３が表示されるとともに、入力音圧レベルを表す画像Ｇ４が表示される。このように、マイク指向性の変化に追従して指向性の表示を切替えるとともに、入力音圧レベルを表示する。
【００３９】
このように本実施の形態の車載収音装置１０によれば、車内に設置した２つのマイクロフォン１７Ａ及び１７Ｂにて車内で話者の音声を収音し、入力音圧レベルを表す画像データと２つのマイクロフォン１７Ａ及び１７Ｂによる指向性を表す画像データをデータメモリ１４から読み出して、それらの画像データからドット展開した表示データを生成してディスプレイ１５上に表示するので、話者の発声を音源とするその方向とその音量を従来よりもさらに直感的に把握することが可能となり、ナビゲーション装置を適切な発声音量で音声操作を行うことができる。
【００４０】
また、２つのマイクロフォン１７Ａ及び１７Ｂのうち、いずれか一方を使用して騒音レベルを検出して、騒音レベルを表す画像をディスプレイ１５上に表示するので、騒音のレベルを直感的に把握することが可能となる。
【００４１】
また、スペクトラル・サブトラクション処理部１８によって電気的に狭指向性を作り出すので、運転席側と助手席側の話者等のそれぞれの発声を効率よく収音することができる。
【００４２】
また、音源方向を推定してその方向に指向性を変えるので、手動にて変更する場合と比べて利便性の向上が図れる。
【００４３】
また、指向性を表す画像と話者音声の入力音圧レベルを表す画像とを常に同じ位置関係で表示するので、話者毎に正しく発声音量を把握することができる。
【００４４】
なお、本実施の形態では、２つのマイクロフォン１７Ａ及び１７Ｂを備えたが、この数に制限はなく２つ以上であっても構わない。また、可動形の取り付け台に設置した１つの指向性マイクロフォンであっても良い。
【００４５】
また、本実施の形態では、ナビゲーション装置に適用した場合であったが、携帯電話を使用したハンズフリーユニット等にも勿論適用することができる。ハンズフリーユニットに適用した場合は、着信時に自動的に表示を開始すると良い。
【００４６】
また、本実施の形態では、運転席と助手席夫々に対して指向性を表示するようにしたが、運転席と助手席の双方に対する指向性を表示するようにしても良い。
【産業上の利用可能性】
【００４７】
本発明は、音源の方向とその音量を従来よりもさらに直感的に把握することができるといった効果を有し、ナビゲーション装置や携帯電話のハンズフリーユニットなどへの適用が可能である。
【図面の簡単な説明】
【００４８】
【図１】本発明の一実施の形態に係る車載収音装置の概略構成を示すブロック図
【図２】上記実施の形態に係る車載収音装置の表示の一例を示す図
【図３】上記実施の形態に係る車載収音装置における入力音圧レベルを表すための画像の一例を示す図
【図４】上記実施の形態に係る車載収音装置の音源方向推定処理を説明するための図
【符号の説明】
【００４９】
１０ 車載収音装置
１１ ＣＰＵ（演算手段）
１２ プログラムメモリ
１３ ワークメモリ
１４ データメモリ
１５ ディスプレイ（表示手段）
１６ 表示制御部
１７Ａ、１７Ｂ マイクロフォン（収音手段）
１８ スペクトラル・サブトラクション処理部（収音手段）
１９ 操作部
１１０ 相互相関算出部
１１１ Δｔ推定部
１１２ 到来角θ算出部
【特許請求の範囲】
【請求項１】
車内で話者の音声を収音する収音手段と、
前記収音手段で前記話者の音声の収音が行われたときに、前記収音手段の指向性を表す画像と前記収音手段への前記話者の音声の入力音圧レベルを表す画像を同時に表示する表示手段と、
を備える車載収音装置。
【請求項２】
前記表示手段は、前記収音手段で音の収音が行われたときに、前記収音手段への前記車内騒音の入力音圧レベルを表す画像を表示する請求項１に記載の車載収音装置。
【請求項３】
前記収音手段は、
２つのマイクロフォンと、
前記２つのマイクロフォンで狭い指向性を得るスペクトラル・サブトラクション処理手段と、
を備える請求項１又は請求項２に記載の車載収音装置。
【請求項４】
前記収音手段で収音した音声信号から音源方向を推定する演算手段を備え、前記表示手段は、前記演算手段で推定した音源方向に追随して指向性を表す画像の表示を変える請求項１乃至請求項３のいずれかに記載の車載収音装置。
【請求項５】
前記表示手段は、複数の話者が存在する場合に、推定した音源方向毎に前記話者の音声の入力音圧レベルを表す画像を表示する請求項４に記載の車載収音装置。
【請求項６】
前記表示手段は、前記収音手段を使用した通信の開始時に自動的に表示を開始する請求項１乃至請求項５のいずれかに記載の車載収音装置。
【請求項７】
前記表示手段は、ナビゲーション装置の音声認識機能の起動時に自動的に表示を開始する請求項１乃至請求項５のいずれかに記載の車載収音装置。
【請求項８】
マイクロフォンにて車内での話者の音声を収音したときの入力音圧レベルを計測し、計測した入力音圧レベルを表す画像と前記マイクロフォンの指向性を表す画像をディスプレイ上に可視表示する車内収音情報表示方法。
【請求項１】
車内で話者の音声を収音する収音手段と、
前記収音手段で前記話者の音声の収音が行われたときに、前記収音手段の指向性を表す画像と前記収音手段への前記話者の音声の入力音圧レベルを表す画像を同時に表示する表示手段と、
を備える車載収音装置。
【請求項２】
前記表示手段は、前記収音手段で音の収音が行われたときに、前記収音手段への前記車内騒音の入力音圧レベルを表す画像を表示する請求項１に記載の車載収音装置。
【請求項３】
前記収音手段は、
２つのマイクロフォンと、
前記２つのマイクロフォンで狭い指向性を得るスペクトラル・サブトラクション処理手段と、
を備える請求項１又は請求項２に記載の車載収音装置。
【請求項４】
前記収音手段で収音した音声信号から音源方向を推定する演算手段を備え、前記表示手段は、前記演算手段で推定した音源方向に追随して指向性を表す画像の表示を変える請求項１乃至請求項３のいずれかに記載の車載収音装置。
【請求項５】
前記表示手段は、複数の話者が存在する場合に、推定した音源方向毎に前記話者の音声の入力音圧レベルを表す画像を表示する請求項４に記載の車載収音装置。
【請求項６】
前記表示手段は、前記収音手段を使用した通信の開始時に自動的に表示を開始する請求項１乃至請求項５のいずれかに記載の車載収音装置。
【請求項７】
前記表示手段は、ナビゲーション装置の音声認識機能の起動時に自動的に表示を開始する請求項１乃至請求項５のいずれかに記載の車載収音装置。
【請求項８】
マイクロフォンにて車内での話者の音声を収音したときの入力音圧レベルを計測し、計測した入力音圧レベルを表す画像と前記マイクロフォンの指向性を表す画像をディスプレイ上に可視表示する車内収音情報表示方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００６−２０１２８６（Ｐ２００６−２０１２８６Ａ）
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願番号】特願２００５−１０６３４（Ｐ２００５−１０６３４）
【出願日】平成１７年１月１８日（２００５．１．１８）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願日】平成１７年１月１８日（２００５．１．１８）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]