車両用装置
【課題】音声入力時の指向方向を適切に設定して通話音声の品質を向上しつつ、音声を切り替えるときに不具合を招くおそれを低減する車両用装置を提供する。
【解決手段】車両用装置としての車載機10は、第一指向方向から入力された音声を第一音声として抽出する第一音声抽出部18と第二指向方向から入力された音声を第二音声として抽出する第二音声抽出部19とにおいて抽出された音声を音質比較部21にて比較し、その比較結果に基づいて、切替部22において第一音声および第二音声のうち音質が高い一方を送話音声として選択する。このとき、車載機10の制御部11は、切替部22による第一音声および第二音声の切り替えを、予め定められている判定条件が成立したときに許可する制御を行う。
【解決手段】車両用装置としての車載機10は、第一指向方向から入力された音声を第一音声として抽出する第一音声抽出部18と第二指向方向から入力された音声を第二音声として抽出する第二音声抽出部19とにおいて抽出された音声を音質比較部21にて比較し、その比較結果に基づいて、切替部22において第一音声および第二音声のうち音質が高い一方を送話音声として選択する。このとき、車載機10の制御部11は、切替部22による第一音声および第二音声の切り替えを、予め定められている判定条件が成立したときに許可する制御を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、公衆回線網に接続する通信端末を利用したハンズフリー通話機能を備えた車両用装置に関する。
【背景技術】
【0002】
近年、公衆回線網に接続可能な通信端末と接続され、車両側に設けられているマイクやスピーカを利用して通話を行うハンズフリー通話機能を備えた車両用装置が知られている。このような車載装置では、話者の音声を適切に入力して通話音声の品質を高めるために、音声入力手段としてのマイクに特定の指向方向からの音声を選択的に入力するために指向性を持たせるものがある。この場合、マイクそのものの位置や向きを物理的に変化させることにより指向方向を設定するものや、例えば特許文献1、2のように、複数のマイクを設け、それぞれのマイクに入力された音声を信号処理することにより指向方向を設定するものなどがある。
【0003】
ところで、上記のようにして指向方向を設定する場合、例えば、車両によって話者に対するマイクの位置が異なる、あるいは、予め定められている指向方向が座席(シート)の位置や話者の体格によって適切な方向からずれるなどにより、指向方向が適切に設定できないことがある。また、最初に指向方向を適切に設定したとしても、走行時の状況によってはその指向方向が適切でなくなることもある。そのため、上記した特許文献1、2などの手法を採用し、話者の位置を特定し、音声を随時切り替えることにより通話音声の品質を高めることが考えられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−114699号公報
【特許文献1】特開2007−302155号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ハンズフリー通話の場合、通話相手に送信される送話音声は、連続的な信号処理が行われて通話先に送信される。その一方、最適な指向方向を特定する処理は、送信中の送話音声の信号処理とは別な処理として行われる。つまり、音声の切り替えは、ある信号処理が行われている音声を別の信号処理が行われている音声に切り替えるということであり、そのような状況において音声を切り替えると、送話音声が瞬間的あるいは断続的にとぎれたり、異音が発生したりするなどの不具合を招くおそれがある。また、音声認識中であれば、音声を切り替えることによって認識率の低下などの不具合を招くおそれがある。
そこで、本発明は、音声入力時の指向方向を適切に設定して通話音声の品質を向上しつつ、音声を切り替えるときに不具合を招くおそれを低減する車両用装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1記載の発明では、第一指向方向から入力された音声を第一音声として抽出する第一音声抽出手段と第二指向方向から入力された音声を第二音声として抽出する第二音声抽出手段とにおいて抽出された音声を音質比較手段にて比較し、その比較結果に基づいて、切替手段において第一音声および第二音声のうち音質が高い一方を送話音声として選択する。このとき、制御手段は、切替手段による第一音声および第二音声の切り替えを、予め定められている判定条件が成立したときに許可する制御を行う。
前述の通り、ハンズフリー通話を行っている場合などに異なる処理を実行している音声を切り替えると、通話相手に送信される送話音声がとぎれたり異音が発生したりするなどの不具合を招くおそれがある。そのため、指向方向を変更しつつより音質の高い音声が入力される方向を特定するとともに、音声の切替自体は判定条件の成立に基づいて制御することにより、音声を切り替えるときに不具合を招くおそれを低減することができる。そして、切り替えられる音声は、第二音声抽出部にて最適と判定された音声、換言すると、切り替える前の音声よりも音質が高いものであるから、通話音声の品質を向上させることもできる。
【0007】
この場合、請求項2記載の発明のように、ハンズフリー通話機能が利用されていないときに音声を切り替えれば、通話が行われていないことから、音声の切り替えに伴う不具合の発生を低減することができる。
また、請求項3記載の発明のように、送話音声として選択されている音声に対して音声認識手段による音声の認識が行われていないときに音声を切り替えれば、認識率が低下することを防止できる。
【0008】
また、請求項4記載の発明のように、送話音声として選択されている音声に対して音声認識手段による音声の認識が行われている状態において当該音声の再認識が行われるときに音声を切り替えることによっても、認識率が低下することを防止できる。
また、請求項5記載の発明のように、送話音声として選択されている音声の音質に対して当該送話音声として選択されていない音声の音質が予め設定されている音質基準値より高いときに音声を切り替えれば、音声のとぎれなどの不具合が発生したとしても、音声を切り替えて音質を向上させることによるメリットの方が大きいと考えられる。そこで、音質の差が音質基準値を超えた場合に音質を切り替えることにより、結果的に利便性を向上させることができる。
【0009】
また、請求項6記載の発明のように、送話音声として選択されている音声が予め設定されている音量基準値よりも小さく、且つ、当該送話音声として選択されていない音声が予め設定されている音量基準値よりも大きいときに音声を切り替えても、請求項5記載の発明と同様に、利便性を向上させることができる。
また、請求項13記載の発明のように、後述する操作入力手段から音声を切り替える旨の入力が行われたときに音声を切り替えれば、音声が切り替えられることは当然話者には認識されていることから、自動で音声を切り替える場合に比べて、不具合の発生による影響が少なくなる。
【0010】
請求項7記載の発明では、第一音声抽出手段は、音声入力手段に入力された音声を信号処理して音声入力時の指向方向を変更する処理を実行可能に構成され、切替手段により送話音声として第二音声が選択されている場合にその処理を実行する。第二音声が選択された場合、第二音声抽出手段は、第二指向方向から入力される音声の抽出をし続ける。このとき、走行状況によっては最適な指向方向が変化する可能性がある。そこで、第二音声が選択されている場合には第一音声抽出手段において指向方向を変更して最適な指向方向を特定することにより、走行状況の変化に対応した指向方向を特定する処理、換言すると、より適切な指向方向を特定する処理を継続的に行うことができ、音声の品質を向上させることができる。
【0011】
請求項8記載の発明では、第二音声抽出部は、第一指向方向を含んで予め設定されている走査範囲において第二指向方向を特定するための処理を実行する。第一マイクおよび第二マイクはそれぞれ指向特性を有しており、その指向特性は一般的にはマイクの前方の空間に広がって形成されている。その場合、全範囲から第二指向方向を特定する処理を行うと、不要または意味のない方向に対する処理を行ってしまうおそれがある。そこで、車両情報に基づいて設定される第一指向方向、すなわち、話者が存在する可能性の高い第一指向方向を含む走査範囲において第二指向方向を特定する処理を行うことにおり、不要な処理を行うおそれを低減することができる。
【0012】
請求項9記載の発明では、切替手段により第一音声または第二音声の切り替えが行われた際、当該切り替えられた後の指向方向を学習情報として記憶する。これにより、最適と判定された指向方向に基づいて次回に第一指向方向を設定することができ、より迅速に第一指向方向を設定することができる。
この場合、請求項12記載の発明のように、音声が切り替えられた後の指向方向と当該音声が切り替えられた際の車両情報とを対応付けて学習情報として記憶することで、走行状況にも対応した適切な指向方向を設定することができる。
【0013】
請求項10記載の発明では、指向方向を選択するための操作を入力する操作入力手段をさらに備え、第一音声抽出部は、操作入力手段から指向方向を選択するための操作が入力された際、当該選択された指向方向を第一指向方向として設定する。このように話者により指向方向を設定することにより、必ずしも話者が運転席に座っていないことも想定される車両において、例えば助手席に座っている話者からも適切に音声を入力することができる。
この場合、請求項11記載の発明のように表示手段を設けることにより、例えば現在の音声の品質や操作入力手段から指向方向を選択するときの選択肢などの補助情報を表示でき、その補助情報に基づいて指向方向を選択することなどができる。
【図面の簡単な説明】
【0014】
【図1】一実施形態による車載機の構成を概略的に示す図
【図2】車両の車室における車載機の設置状況を模式的に示す図
【図3】BFM処理の概略を示す図その1
【図4】BFM処理の概略を示す図その2
【図5】BFM処理の概略を示す図その3
【図6】始動時処理の流れを示す図
【図7】第一指向方向設定処理の流れを示す図
【図8】第二指向方向設定処理の流れを示す図
【図9】走行時処理の流れを示す図
【図10】走行時指向方向設定処理の流れを示す図
【図11】切替判定処理の流れを示す図
【図12】操作入力により指向方向を設定する際の表示部を模式的に示す図その1
【図13】操作入力により指向方向を設定する際の表示部を模式的に示す図その2
【発明を実施するための形態】
【0015】
以下、本発明の一実施形態による車両用装置について、図1から図13を参照しながら説明する。
図1に示すように、車両用装置としての車載機10は、制御部11、位置取得部12、表示部13、操作入力部14、記憶部15、車両情報取得部16、音声入力部17、第一音声抽出部18、第二音声抽出部19、音声認識部20、音質比較部21、切替部22、音声出力部23、通信部24を備えている。このうち、第一音声抽出部18、第二音声抽出部19、音声認識部20、音質比較部21および切替部22は、制御部11により実行されるコンピュータプログラムによりソフトウェア的に実現されている。なお、これら第一音声抽出部18、第二音声抽出部19、音声認識部20、音質比較部21および切替部22は、ハードウェア的に実現してもよい。
【0016】
車載機10の制御部11は、図示しないCPU、RAM、ROMおよび入出力インターフェースなどを有するマイクロコンピュータで構成されている。制御部11は、ROMあるいは記憶部15などに記憶されているコンピュータプログラムに従って、通信動作や表示動作ならびに後述する図6から図11に示すような各種の処理の実行など、車載機10の動作全般を制御する。制御部11は、特許請求の範囲に記載した制御手段に相当する。
【0017】
本実施形態における車載機10は、所謂カーナビゲーション装置と兼用した構成となっており、車両の位置を取得する位置取得部12を備えている。位置取得部12は、一般的な衛星測位システムである周知のGPSユニット25(Global Positioning Systemユニット)にて受信した測位信号に基づいて車両の位置を取得するとともに、地図データを地図DB26(Data Base)として記憶している。制御部11は、位置取得部12からから取得した車両の位置、操作入力部14から入力された目的地、および地図DB26として記憶されている地図データなどに基づいて経路案内やマップマッチングなどの周知のナビゲーション機能を実行する。なお、位置取得部12は、他に、図示しないジャイロセンサや車速センサ、加速度センサなど、車両の状態を検出する各種のセンサにも接続している。
【0018】
表示部13は、例えば液晶表示器や有機EL表示器などで構成されており、制御部11からの指令信号に応じて各種の情報を表示する。例えば、表示部13は、ナビゲーション画面や操作画面、あるいは、後述する図12および図13にて示す補助情報などを表示する。操作入力部14は、表示部13の表示器の画面上に設けられているいわゆるタッチパネル式のスイッチや、表示器の周囲に配置された押しボタン式のボタン押下スイッチなど、ユーザの操作を入力するための各種のスイッチから構成されている。なお、操作入力部14は、リモコンなどを含んでいてもよい。
記憶部15は、例えばHDDなどの読み書き可能な記憶デバイスにより構成されており、車載機10のコンピュータプログラムやナビゲーションプログラム、その他各種のプログラムなどを記憶している。また、記憶部15は、後述する車両情報や学習情報も記憶している。なお、地図DB26を記憶部15に記憶する構成としてもよい。記憶部15は、特許請求の範囲に記載した記憶手段に相当する。
【0019】
車両情報取得部16は、センサ類27、スイッチ類28、各ECU29に接続している。センサ類27は、例えば座席(シート)の位置や高さあるいは角度、音声入力部17のチルト角度、他の制御装置の設置状態などを検出する。また、センサ類27として話者の位置を特定するための撮像手段であるカメラなどを設けてもよい。このセンサ類27には、車速センサやアクセル開度センサなども含まれている。スイッチ類28は、例えば窓の開閉用のスイッチ、オーディオの操作スイッチなどで構成されている。各ECU29は、例えばエアコンECUや、エンジンECUなどであり、車両の走行に関する制御を行っている各種の制御装置である。車両情報取得部16は、これらの各ECU29から、例えばエアコンの使用状況、図示しないアクセルの開度を示す情報あるいは図示しないエンジンの回転数を示す情報などを車両情報として取得する。車両情報取得部16は、特許請求の範囲に記載した車両情報取得手段に相当する。
【0020】
音声入力部17は、話者の音声を入力するための第一マイク30および第二マイク31を有している。これら第一マイク30および第二マイク31には、後述するように、音声以外のノイズなど成分も入力される。なお、図1では、音声(および信号処理された音声信号)の流れを矢印にて示している。音声入力部17には、ハンズフリー通話時の会話などの音声や、車載機10に対する操作入力としての所謂音声コマンドなどが入力される。第一マイク30および第二マイク31から入力された音声は、それぞれ入力処理部32を介して第一音声抽出部18および第二音声抽出部19に入力される。つまり、音声入力部から入力された音声は、例えばハンズフリー通話時においては、各マイクにから通信部24入力処理部32は、音声入力をデジタル変換するADコンバータや、例えばローパスフィルタやエコーキャンセラなどの機能部により構成されている。
【0021】
第一音声抽出部18および第二音声抽出部19は、音声入力部17から入力された音声のうち、特定の指向方向から入力された音声を抽出し、第一音声および第二音声として出力する。本実施形態の場合、第一音声抽出部18は、初期時(本実施形態では、後述するエンジンの始動時)には、車両情報に基づいて設定される指向方向である第一指向方向から入力される音声を抽出する。また、第二音声抽出部19は、後述するように音声認識により音声が入力される方向である第二指向方向を特定し、その第二指向方向から入力される音声を抽出する。音声認識部20は、音声入力部17に入力された音声の認識を行う。なお、音声認識部20は、上記した音声コマンドによる指示内容を認識する一般的な意味での音声認識処理と、入力された音がノイズなどではなく人物の音声であることの認識を行っている。
【0022】
音質比較部21は、第一音声抽出部18および第二音声抽出部19で抽出された第一音声および第二音声の音質を比較する。この音質比較部21は、いわゆるS/N比などによる音質の比較を行うとともに、音量の比較についても行っている。また、音質比較部21は、第一音声および第二音声の音質が後述する音質基準値を超えているか、および、第一音声および第二音声の音量が後述する音量基準値を超えているかの判定も行っている。音質比較部21は、特許請求の範囲に記載した音質比較手段に相当する。
【0023】
切替部22は、第一音声および第二音声を切り替えて、いずれか一方をハンズフリー通話時に通話相手に送信する送話音声として選択する。この切替部22は、制御部11からの指令信号により第一音声および第二音声を切り替えている。このとき、制御部11は、詳細は後述するが、予め定められている判定条件が成立したときに切り替えを許可する制御を行っている。切替部22は、特許請求の範囲に記載した切替手段に相当する。
音声出力部23は、スピーカ33に接続しており、ナビゲーション機能における経路案内の音声の出力、ハンズフリー通話時における受話音声の出力などを行う。音声出力部23は、特許請求の範囲に記載した音声出力手段に相当する。
【0024】
通信部24は、例えばBluetooth(登録商標)のような無線通信方式やUSB(Universal Serial Bus)のような有線通信方式にて車載機10と通信端末40とを接続する。この場合、通信部24は、無線通信方式あるいは有線通信方式の一方のみを設けた構成としてもよいし、例示したもの以外の通信方式であってもよい。車載機10は、この通信部24を介して通信端末40との間で各種のデータの通信を行う。通信部24は、特許請求の範囲に記載した通信手段に相当する。
車載機10に接続される通信端末40は、端末側表示部41、端末側操作部42などを備えており、車載機10との間、および、公衆回線網50との間で通信を行う。この通信端末40は、例えば所謂携帯電話やスマートフォン、データ通信用の端末などであり、車載機10との間でハンズフリー通話を行うための機能を備えている。
【0025】
このような構成の車載機10は、図2に示すように、車両に搭載され、車室60内に設置される。より具体的には、車載機10は、車室60内の例えばインスツルメンタルパネルなどに搭載あるいは収容されている。車室60内には、例えば、運転席61、助手席62、後部A座席63および後部B座席64などが設けられている。この各座席の数やその配置、および、第一マイク30および第二マイク31の取り付け位置などの情報は、車両情報として予め記憶部15に記憶されている。また、各座席の角度や座面の高さなどの情報は、車両情報取得部16により適宜取得され、車両情報として記憶される。この車両には、図示しないエアコンや窓なども設けられている。
【0026】
ここで、第一マイク30および第二マイク31を有する車載機10において、初期時には第二音声抽出部19により実行される音声入力時の指向方向を特定する処理について、図3から図5を参照しながら説明する。以下、この処理を便宜的にBFM(Beam Forming Method)処理と称する。なお、このBFM処理において指向方向を変化させるための処理(例えばDBF(Digital Beam Forming)処理)については周知技術であるので、詳細な説明は省略する。
【0027】
図3は、車室60内における第一マイク30および第二マイク31と話者である人物70との位置関係を平面視にて模式的に示している。第一マイク30および第二マイク31は、それぞれ単体として範囲A1および範囲A2として破線にて示す指向特性を持っており、その範囲A1、A2内の音声が入力される。なお、第一マイク30および第二マイク31の指向特性は、図3に示す左右方向だけでなく、上下方向にも広がった立体的な範囲を有している。そして、範囲A1、A2から入力される音声をDBF処理することにより、図4に示すように、第一マイク30および第二マイク31により形成される指向方向は、例えばパターンA、パターンB、パターンCのように変化する。
【0028】
このとき、パターンAの指向方向からの入力信号が図5(a)に示すような状態であり、パターンBの指向方向からの入力信号が図5(b)に示すような状態であり、パターンCの指向方向からの入力信号が図5(c)に示すような状態であったとする。この場合、図5(b)に示すパターンBの指向方向から音声が入力されていることになる。なお、図5(b)に示す周波数f2の入力信号が音声であるとの判定は、音声認識部20において行われている。第二音声抽出部19は、音声であると判定された入力信号がある場合、指向方向を変化させつつ、音声であると判定された信号が極大となる方向を第二指向方向として特定する。
【0029】
さて、このBFM処理は、初期時には第二音声抽出部19により実行される処理であるものの、後述するように第一音声抽出部18においても実行可能である。すなわち、第一音声抽出部18と第二音声抽出部19とは、初期時において車両情報に基づいて指向方向を設定するか、音声認識した結果に基づいて指向方向を設定するかの違いはあるものの、指向方向を設定するための実質的な処理であるDBF処理は共通して行っている。そのため、図1に示すように音声認識部20を第一音声抽出部18にも接続したことにより、本実施形態では、第一音声抽出部18においてもBFM処理を実行することが可能となっている。
【0030】
次に、上記した構成の車載機10の作用について説明する。
車載機10は、ナビゲーション機能のための処理などを実行しているとともに、本発明に関連して、図6に示す始動時処理、図7に示す第一指向方向設定処理、図8に示す第二指向方向設定処理、図9に示す走行時処理、図10に示す走行時指向方向設定処理および図11に示す切替判定処理を実行している。これらの処理は車載機10に設けられている各部(図1参照)においてそれぞれ実行される処理であるものの、以下では、説明の簡略化のために車載機10を主体として説明する。
【0031】
車載機10は、図6に示す始動時処理において、エンジンが始動すると(S101)、第一音声抽出部18において第一指向方向設定処理を実行する(S102)。この第一指向方向設定処理では、図7に示すように、まず車両情報を取得する(S201)。この場合、車両情報取得部16において上記したセンサ類27、スイッチ類28、各ECU29などから車両情報を取得している。その後、学習情報があるか、すなわち、学習情報が記憶部15に記憶されているかを判定する(S202)。ここで、学習情報とは、詳細は後述するが、前回実行された走行時処理において最適であると判定された状態における車両情報および指向方向に関する情報である。
【0032】
車載機10は、学習情報がない場合には(S202:NO)、予め記憶されている車両情報、特に、音声の入力に影響があると考えられる例えば座席の位置や高さあるいは角度(リクライニングの状態)、第一マイク30および第二マイク31のチルト角度(設置方向)、他の制御装置の種類や配置などの車両情報から指向方向を算出する(S203)。一方、車載機10は、学習情報がある場合には(S202:YES)、その学習情報および車両情報から指向方向を決定する(S204)。なお、ステップS204において現時点の状況に対応した学習情報が記憶されていない場合には、車両情報から指向方向を算出してもよい。
そして、車載機10は、ステップS203又はS204において算出された指向方向を第一指向方向に設定し(S205)、リターンする。これにより、第一音声抽出部18は、第一指向方向からの音声を抽出することができるようになる。
【0033】
第一指向方向設定処理からリターンすると、車載機10は、図6に示す始動時処理において、第二音声抽出部19においてBFM処理に相当する第二指向方向設定処理を実行する(S103)。この第二指向方向設定処理では、図8に示すように、車載機10は、初期値または前回値の指向方向をまず設定する(S301)。ここで、初期値とは、第二指向方向設定処理を実行する場合に予め定められている指向方向であり、前回値とは、学習情報として記憶されている前回特定した指向方向である。本実施形態の場合では、初期値として第一指向方向が設定されている。第一指向方向は、上記したように車両情報あるいは学習情報に基づいて設定された指向方向、換言すると、話者が存在する可能性の高い指向方向である。また、前回値は、後述するように前回の処理において最適であると判定された指向方向であることから、話者が存在する可能性が高く、且つ、音声入力に適した指向方向である。このように、第一指向方向を初期値としたり、前回値を設定したりすることにより、第二音声抽出部19において、音声が入力される可能性の高い方向からBFM処理を実行することが可能となり、BFM処理を効率よく行うことができる。
【0034】
続いて、車載機10は、現在の指向方向からの音声を所定回数取得し(S302)、取得した音声を分析し(S303)、音声成分があるかを判定する(S304)。この場合、音声の分析や音声成分の判定は、音声認識部20によって行われる。なお、所定回数は、入力された音声の音量やS/N比などによりその回数を変化させてもよい。そして、音声成分がある場合には(S304:YES)、それが最適な指向方向であるかを判定する(S305)。この場合、1回目では最適であるか否かの判定はできないため(S305:NO)、小角度で指向方向を変更した後(S306)、再度ステップS302以降の処理を繰り返す。ここで、小角度とは、本実施形態では概ね1°程度を想定している。この概ね1°の角度は、現在の指向方向が運転席61に向いている場合を想定した値である。例えば現在の指向方向が図2に示す後部A座席63に向いている場合、第一マイク30および第二マイク31からの距離が大きいことから、わずかな角度の変化でも音声の大きさが大きく変化する可能性がある。そのため、車載機10は、ステップS306において指向方向を変更する角度を、現在の指向方向の向きに応じて変化させている。これにより、第一マイク30と第二マイク31との距離に応じて、適切な角度を設定することができる。
【0035】
そして、車載機10は、初期値あるいは前回値を含んで予め設定されている走査範囲内においてステップS306の処理を繰り返す。これは、例えば図2に示すような指向特性の場合、その全ての範囲を走査すると、処理量が過大になるためである。つまり、車載機10では、初期値あるいは前回値の近傍から走査を行うことにより、処理量の低減をも図られている。なお、走査範囲は対象となる座席の位置などに応じた左右方向および上下方向への角度で設定されており、その範囲内で音声の入力がなかった場合には、走査範囲を拡大してもよい。
【0036】
これに対して、車載機10は、ステップS304において音声成分がないと判定すると(S304:NO)、大角度例えば概ね10°で指向方向を変更し(S307)、ステップS302以降の処理を繰り返す。つまり、走査範囲内に音声が内場合には、範囲を拡大して音声の検出を繰り返す。なお、図8には示していないが、音声成分がない場合において(ステップS304:NO)、大角度での指向方向の変更(S307)を複数回繰り返しても音声成分がないとき、すなわち、通話あるいは会話がなされていないときには、ステップS301で設定した初期値または前回値を現在の指向方向とする。
【0037】
車載機10は、上記したような指向方向の変更および最適であるかの判定を繰り返し、最適な指向方向であると判定した場合には(S305:YES)、現在の指向方向を第二指向方向として設定し(S308)、リターンする。このようにして、音声入力に最適な指向方向である第二指向方向が設定される。これにより、第二音声抽出部19は、第二指向方向からの音声を抽出することができるようになる。
【0038】
第二指向方向設定処理からリターンすると、車載機10は、図6に示す始動時処理において、第一音声と第二音声とを比較する(S104)。より具体的には、車載機10は、音質比較部21において第一音声抽出部18から出力された第一音声および第二音声抽出部19から出力された第二音声の音質を、S/N比や音量などに基づいて比較する。そして、第二指向方向で音声が改善しない場合、すなわち、第一音声の方が音質がよい場合には(S106:NO)、送話音声として第一音声を選択する(S106)。このとき、車載機10は、切替部22を第一音声側に切り替えることにより、送話音声として第一音声を選択し、始動時処理を終了する。なお、第二指向方向からの音声の入力がなく音質の比較が行えなかった場合にも、送話音声として第一音声が選択される。
【0039】
これに対して、車載機10は、第二指向方向で音声が改善する場合には(S105:YES)、送話音声として第二音声を選択して(S107)、始動時処理を終了する。このとき、車載機10は、切替部22を第二音声側に切り替えることにより、送話音声として第二音声を選択する。第二音声に切り替えられて第二音声が送話音声として選択されると、第二音声抽出部19は、BFM処理を停止し、最適と判定された第二指向方向からの音声を継続して抽出する。つまり、選択された音声を出力する側の抽出部は、選択された際の指向方向を維持したまま、当該指向方向から入力される音声を抽出し続ける。なお、始動時処理はエンジン始動時の初期時に行われる処理であることから、この時点では切り替えの制御は行っていないが、行ってもよい。
【0040】
このように、車載機10は、エンジンが始動された初期時において第一指向方向から入力される音声と第二指向方向から入力される音声とを比較し、より音質のよい音声を送話音声として選択する。この場合、ハンズフリー通話時の音質を改善することのみを目的とするのであれば、ハンズフリー通話が行われているか否かを判定してハンズフリー通話が行割れている場合にこの始動時処理を実行する構成としてもよい。また、始動時処理としては、例えばステップS102の第一指向方向設定処理を実行して指向方向の初期設定のみを行う構成としてもよい。本実施形態では車載機10をナビゲーション装置と兼用していることから、音声コマンド入力時の音声を改善する意味合いもあって始動時処理において第一指向方向設定処理および第二指向方向設定処理を実行している。
【0041】
さて、車両の走行時に電話をかける必要が生じた場合には、安全性を確保するためにハンズフリー通話機能を利用することが望ましい。その一方、走行時にはエンジン音や走行ノイズ(タイヤの音)など、通話音声の品質に影響を与える事象が発生する。
そこで、車載機10は、以下のようにして通話音声の品質の改善を図っている。以下、車両の運転手によりハンズフリー通話が行われている状態、すなわち、話者が運転席61に座っている状態、且つ、音声入力がある状態とする。なお、以下で説明する図9に示す「走行時処理」という名称は、上記した図6に示す始動時処理との対比を取るための便宜的な名称であり、必ずしも走行時のみに行われることを意味するものではない。
【0042】
車載機10は、図9に示す走行時処理において、第一音声を選択中であるかを判定し(S401)、第一音声を選択中の場合には(S401:YES)、第二音声抽出部19で上記したBFM処理を実行する(S402)。一方、第二音声を選択中の場合には(S401:NO)、第一音声抽出部18で上記したBFM処理を実行する(S403)。つまり、車載機10は、第一音声抽出部18および第二音声抽出部19のうち、送話音声として選択されている音声を出力していないほうの抽出部においてBFM処理を実行する。
【0043】
そして、車載機は、BFM処理を実行中の抽出部(音声が選択されていない側の抽出部)により走行時指向方向設定処理を実行する(S404)。この走行時指向方向設定処理では、車載機10は、図10に示すように、まず車両情報を取得する(S501)。このステップS501では、ステップS201と同様に、車両情報取得部16において上記したセンサ類27、スイッチ類28、各ECU29などから車両情報を取得する。そして、取得した車両情報に基づいて、以下のようにして指向方向を変更する。例えば、車載機10は、車速センサから取得した車速に基づいて停車中であるかを判定し(S502)、停車中でない場合には(S502:NO)、走行速度が高いか(S503)、カーブを走行中か(S505)などを判定する。
【0044】
例えば、車載機10は、高速道路のように車速が高い場合には、タイヤから発生する走行ノイズが高いと考えられる。そのため、車載機10は、走行速度が高いと判定した場合には(S503:YES)、走行ノイズの影響を抑えるために、現在の指向方向を若干上向きにする(S504)。
また、車載機10は、地図データやジャイロセンサなどにより取得される車両情報に基づいて車両がカーブを走行中であると判定した場合には(S505:YES)、ドライバーの体が左(または右)に若干移動あるいは傾くことを想定し、現在の指向方向を左(または右)に変更する(S506)。なお、ここでいう左右方向は、図2の車両における左右方向に相当する。
【0045】
また、車両情報に基づいて運転席61側の窓(図2の運転席61の右方に設けられていると想定する)が開いていると判定した場合には(S507:YES)、風切り音の影響を抑えるために窓から離間する方向(図2の場合左方向)に指向方向を変更する。
また、車載機10は、双方向通話中である場合、より厳密には、通話相手からの受話音声をスピーカ33から出力している場合には(S509:YES)、出力した音声が回り込まないように、指向方向をスピーカ33から離間する方向へ変更する(S510)。
また、車載機10は、車両情報に基づいて、例えばエアコンが強く作動中であるなどその他音質に影響を与える走行状況である場合には(S511:YES)、指向方向を音質が改善する方向に変更する(S512)。
【0046】
車載機10は、上記したような走行状況やエアコンの強さ、窓の開閉状況などの車両情報に基づいて、自動で最適な指向方向、エコーキャンセラやノイズキャンセラの特性となるように制御している。そして、変更した指向方向すなわち現在の指向方向を、走行時指向方向として設定して(S513)、リターンする。なお、指向方向を変更しなかった場合には、走行時指向方向設定処理を開始した時点における当初の指向方向を走行時指向方向として設定する。これにより、車両情報などに基づいて、走行時における最適な指向方向である走行時指向方向が設定される。
【0047】
走行時指向方向設定処理からリターンすると、車載機10は、図9に示す走行時処理において、選択中の音声と走行時指向方向から入力される音声とを比較し(S405)、走行時指向方向で音質が改善されない場合には(S406:NO)、ステップS404に移行して処理を繰り返す。
【0048】
これに対して、車載機10は、走行時指向方向で音質が改善される場合には(S406:YES)、音声を切り替えてよいか否かを判定する切替判定処理を実行する(S407)。例えば、走行時指向方向に切り替えることにより音質が改善される状況であっても、指向方向が変更されるごとに音声を切り替えると、瞬間的あるいは断続的な異音の発生や会話がとぎれるなどの不具合を招くおそれがある。そこで、本実施形態の車載機10は、図11に示す切替判定処理において複数の判定条件に基づいて切替可能であるか否かを判定し、それら複数の判定条件のいずれかが成立した場合に切替部22による音声の切り替えを許可する。具体的には、車載機10は、以下に示すようなときに判定条件が成立したとして切り替えを許可する。
【0049】
・条件1:ハンズフリー通話機能が利用されていないとき、すなわち、HF(Hands Free)通話中でないとき(S601:NO)。この場合、HF通話が行われていないので、音声の切り替えに伴う不具合は発生しない。
・条件2:音声認識部20による音声の認識が行われていないとき、すなわち、音認中でないとき(S601:NO)。この場合、音声認識手段による音声の認識が行われていないときに音声を切り替えるので、認識率が低下することを防止できる。なお、HF通話中およびHF通話を行っていない場合のいずれであっても判定条件に含まれている。
・条件3:音声認識部20による音声認識処理が行われている状態において当該音声の再認識が行われるとき、すなわち、音認中でないとき(S601:NO)。この場合、一旦音声認識処理が中断されて再認識を行うときに音声を切り替えるので、認識率が低下することを防止できる。なお、HF通話中およびHF通話を行っていない場合のいずれであってもよい。
【0050】
・条件4:送話音声として選択されている音声の音質に対して当該送話音声として選択されていない音声の音質が予め設定されている音質基準値より高いとき(S602:YES)。つまり、選択中の音声の音質が著しく低く通話品質に影響を与えている状況において、選択されていない音声の音質ほうが高いときに相当する。この場合、音声を切り替える際に音声のとぎれなどの不具合が瞬間的に発生する可能性はあるものの、音声を切り替えて音質を向上させることによるメリットの方が大きく、結果的に利便性を向上させることができる。なお、音質基準値は、例えば車両の車室60の大きさなど車両情報に基づいて適宜設定されている。
【0051】
・条件5:選択中の音声の音量が規定の値(音量基準値)以下、すなわち、送話音声として選択されている音声が予め設定されている音量基準値よりも小さく、且つ、当該送話音声として選択されていない音声が予め設定されている音量基準値よりも大きいとき(S603:YES)。つまり、選択中の音声の音量が著しく小さく通話品質に影響を与えている状態において、選択されていない音声の音量のほうが大きい場合など、上記した条件4と同様に音声を切り替えるメリットの方が大きいときに相当する。なお、音量基準値は、車両の車室60の大きさや車速などの車両情報に基づいて、例えば車速が高い場合には走行ノイズが大きいことから音量基準値を上げるなど、適宜設定されている。
【0052】
・条件6:操作入力部14から音声を切り替える旨の入力が行われたとき(S604:YES)。この場合、音声が切り替えられることは当然話者には認識されていることから、自動で音声を切り替える場合に比べて不具合の発生をそれほど考慮する必要はなく、利便性にそれほど影響を与えないと想定される。
このように、車載機10は、音声を切り替える際に不具合が発生しない場合、不具合よりも音声を切り替えることのメリットが大きい場合、および、不具合の発生が利便性にそれほど影響を与えない場合などに音声の切り替えを許可することで、切替部22の作動を制御している。
【0053】
ここで、上記した条件6の操作入力部14から音声を切り替える旨の操作が入力される状況について説明する。車載機10の表示部13には、例えば図12に示すように、指向方向(図12ではパターンと称する)を選択するメッセージM1とともに、車室60内の座席を模式的に示す座席マークM2、M3、M4およびM5、マイクマークM6に対して運転席61を中心とした指向方向であるパターンDF、助手席62を中心とした指向方向であるパターンPFおよび後部A座席63を中心とした指向方向であるパターンPRなど、指向方向の選択肢ならびに指向方向を選択するための補助情報M7が表示される。話者は、表示部13に設けられているタッチパネルなどを操作することで所望の指向方向を選択する指示を入力する。あるいは、図13に示すように、指向方向(パターンDF1、DF2、DF3)とともに、それぞれの指向方向から入力される音声レベルM8(音質、音量など)を補助情報M7として表示してもよい。これにより、音声レベルの高い指向方向を判断でき、指向方向を容易に選択することができるようになる。
【0054】
車載機10は、操作入力を受け付けると、第一音声抽出部18(あるいは第二音声抽出部19)に対してその指向方向からの音声を抽出させるとともに、切替部22を切り替える。これにより、話者の希望に沿った指向方向を設定することができる。この場合、話者による操作入力があったことから、音声を切り替えることは話者に当然認識されている。そのため、条件1〜5のように自動で切り替える場合に比べれば、会話のとぎれ異音やノイズの発生などを考慮する必要性は少なくなる。なお、切り替えたことが分かるように操作音を出力するなどして、会話のとぎれ異音やノイズの発生を感じさせないようにしてもよい。
【0055】
さて、車載機10は、いずれかの判定条件が成立したと判定すると、切替可能と判定した後(S605)、切替判定処理からリターンする。一方、車載機10は、いずれの判定条件も成立していない場合には(S601:YES、S602:NO、S603:NO、S604:NO)、切替不可と判定した後(S606)、切替判定処理からリターンする。
切替判定処理からリターンすると、車載機10は、図9に示す走行時処理において、いずれの判定条件も成立せず、切替不可である場合には(S408:NO)、ステップS401に移行して再度ステップS401以降の処理を繰り返す。つまり、現時点では音声の切り替えを許可できないので、許可できる状態になるまで上記した処理を繰り返しながら待機する。なお、待機中にステップS401に移行するのは、走行状況が変化して最適な走行時指向方向がさらに変化する可能性があるためである。
【0056】
これに対して、車載機10は、いずれかの判定条件が成立し、切替可能である場合には(S408:YES)、走行時指向方向からの音声を送話音声として選択する(S409)。この場合、車載機10は、送話音声として現在選択されている音声が第一音声である場合にはBFM処理を実行中の第二音声抽出部19から出力される第二音声に切り替え、現在選択されている音声が第二音声である場合にはBFM処理を実行中の第一音声抽出部18から出力される第一音声に切り替える。これにより、送話音声は、走行状況に応じて、且つ、より音質のよいものに切り替えられる。
【0057】
そして、車載機10は、走行時指向方向と走行時指向方向を設定したときの車両情報とを対応付けて学習情報として記憶部15に記憶する(S410)。これにより、より音質が向上すると判定された指向方向である走行時指向方向と、その走行時指向方向が設定されたときの車両情報とが記憶され、次回の指向方向の設定時(図7に示すステップS202など)においてより適切な第一指向方向を設定することができる。
【0058】
以上説明した車両用装置によれば、次のような効果を奏する。
第一音声抽出部18において第一指向方向から入力された音声を第一音声として抽出し、第二音声抽出部19において第二指向方向から入力された音声を第二音声として抽出し、音質比較部21においてそれら第一音声および第二音声を比較し、その比較結果に基づいて、切替部22において第一音声および第二音声のうち音質が高い一方を送話音声として選択する。そして、制御部11は、切替部22による第一音声および第二音声の切り替えを、予め定められている判定条件が成立したときに許可する。つまり、車載機10は、不具合が生じないとき、あるいは不具合が発生するおそれが少ないときに音声を切り替えている。これにより、音声切替時における不具合を防止または不具合を招くおそれを低減することができる。
【0059】
この場合、切り替えられる音声は、上記した第一指向方向設定処理、第二指向方向設定処理ならびにBFM処理によって最適と判定された指向方向から入力される音声、より具体的には、走行状況やエアコンの強さ、窓の開閉状況などにより自動で最適な指向方向、エコーキャンセラ、ノイズキャンセラの特性となっている音声であり、切り替える前の音声よりも音質が向上したものであるから、通話音声の品質を向上させることもできる。
この場合、音声の切り替えを許可するための判定条件としては、上記した条件1〜6のように、音声の切り替えに伴う不具合が発生しない、あるいは、発生したとしてもその不具合よりも音声を切り替えたことによるメリットのほうが大きい場合などに音声を切り替えることにより、利便性を高めることができる。
【0060】
第一音声抽出部18にてBFM処理を実行可能とし、第二音声が選択されている場合には第一抽出部にてBFM処理を実行するので、第二音声が選択されている場合であっても第一音声抽出部18において指向方向を変更して最適な指向方向を特定することができ、走行状況の変化に対応した指向方向の特定、換言すると、時々刻々と変化する走行時においてより適切な指向方向の設定を常に行うことができ、音声の品質を向上させることができる。
【0061】
第一音声または第二音声の切り替えが行われた際、当該切り替えられた後の指向方向を学習情報として記憶部15に記憶する。これにより、最適と判定された指向方向に基づいて次回に第一指向方向を設定することができ、より迅速且つ適切な第一指向方向を設定することができる。この場合、音声が切り替えられた後の指向方向と当該音声が切り替えられた際の車両情報とを対応付けて学習情報として記憶することで、走行状況にも対応した適切な指向方向を設定することができるようにもなる。
【0062】
また、指向方向を選択するための操作が操作入力部14から入力された場合には、当該選択された指向方向を第一指向方向として設定する。指向方向の選択は、通常は話者によって行われるものである。そのため、話者により設定された指向方向を第一指向方向とすることで、車両情報などによらず、話者がいる方向を特定することができる。また、必ずしも話者が運転席61に座っていないことも想定される車両において、例えば助手席62に座っている話者からも適切に音声を入力することができる。
【0063】
この場合、指向方向および当該指向方向から入力される音声に関する補助情報を表示部13に表示するので、その補助情報に基づいて指向方向を選択することなどができる。
また、第二音声抽出部19は、第一指向方向を含んで予め設定されている走査範囲において第二指向方向を特定するための処理を実行する。第一マイク30および第二マイク31が有する図2のような指向特性において、その全範囲から指向方向を特定する処理を行うと、不要または意味のない方向に対する処理を行ってしまうおそれがある。そこで、話者が存在する可能性の高い第一指向方向を含む走査範囲において第二指向方向を特定する処理を行うことにおり、不要な処理を低減することができる。この場合、話者による操作入力により選択された指向方向から走査を行うことで、不要な処理をより確実に低減することができるようになる。
【0064】
(その他の実施形態)
本発明は、上述した一実施形態にのみ限定されるものではなく、以下のように変形又は拡張することができる。
第一マイク30および第二マイク31の2つのマイクを設けた構成を示したが、マイクは2個以上であればよい。
図12においてパターンDFを選択したときに、引き続いて図13に示すような詳細表示を行うようにしてもよい。また、図12、図13では左右方向への選択肢を表示したが、上下方向に対する指向方向の選択肢を表示してもよい。
【0065】
図6に示す始動時処理において第一指向方向を設定するときに、図12、図13などに示す指向方向の選択肢を表示し、話者により選択された指向方向を第一指向方向として選択してもよい。これにより、例えば話者が助手席62に座っているような状況であっても、適切に音声を入力することができる。
指向方向を設定するために補助情報を表示部13に表示したが、常時または話者の表示操作があった場合に、現在の指向方向や当該指向方向から入力される音声に関する情報(例えば図13の音声レベルM8)を補助情報として表示してもよい。
【0066】
図12、図13に示した指向方向を選択する際の表示態様は一例であり、これに限定されない。例えば、座席の配置のみを表示し、話者に座席の位置を選択させることで大まかな指向方向を最初に設定し、その後は車載機10側にて適切な指向方向を設定するようにしてもよい。これによれば、設定時の煩わしさを低減することができる。
通信端末40の種類を特定し、その情報を学習情報又は車両情報として記憶してもよい。通信端末40は、通常は一人のユーザ(例えば話者)により使用されるものであり、その啓太員末を利用したハンズフリー通話も同一のユーザにより行われると想定される。そこで、通信端末40の電話番号やBluetooth接続時のBluetoothアドレスなどの固有情報と、その通信端末40を利用したときの指向方向の情報とを関連づけて学習情報として記憶すれば、次回に同一の通信端末40を利用する場合に適切な指向方向を設定することができる。
【0067】
判定条件の成立として条件1〜6を例示したが、これに限定されず、音質に影響を与えない又は与えるおそれが少ない他の条件を判定条件として設定してもよい。
第一音声抽出部18にてBFM処理を実行するようにしたが、第二音声抽出部19を2系統設ける構成であってもよい。
車載機10をカーナビゲーション装置と兼用としたが、個別に設けてももちろんよい。
【符号の説明】
【0068】
図面中、10は車両用装置、11は制御部(制御手段)、13は表示部(表示手段)、14は操作入力部(操作入力手段)、15は記憶部(記憶手段)、16は車両情報取得部(車両情報取得手段)、17は音声入力部(音声入力手段)、18は第一音声抽出部(第一音声抽出手段)、19は第二音声抽出部(第二音声抽出手段)、20は音声認識部(音声認識手段)、21は音質比較部(音質比較手段)、22は切替部(切替手段)、23は音声出力部(音声出力手段)、24は通信部(通信手段)、30は第一マイク、31は第二マイク、40は通信端末、50は公衆回線網、M1〜M8は補助情報を示す。
【技術分野】
【0001】
本発明は、公衆回線網に接続する通信端末を利用したハンズフリー通話機能を備えた車両用装置に関する。
【背景技術】
【0002】
近年、公衆回線網に接続可能な通信端末と接続され、車両側に設けられているマイクやスピーカを利用して通話を行うハンズフリー通話機能を備えた車両用装置が知られている。このような車載装置では、話者の音声を適切に入力して通話音声の品質を高めるために、音声入力手段としてのマイクに特定の指向方向からの音声を選択的に入力するために指向性を持たせるものがある。この場合、マイクそのものの位置や向きを物理的に変化させることにより指向方向を設定するものや、例えば特許文献1、2のように、複数のマイクを設け、それぞれのマイクに入力された音声を信号処理することにより指向方向を設定するものなどがある。
【0003】
ところで、上記のようにして指向方向を設定する場合、例えば、車両によって話者に対するマイクの位置が異なる、あるいは、予め定められている指向方向が座席(シート)の位置や話者の体格によって適切な方向からずれるなどにより、指向方向が適切に設定できないことがある。また、最初に指向方向を適切に設定したとしても、走行時の状況によってはその指向方向が適切でなくなることもある。そのため、上記した特許文献1、2などの手法を採用し、話者の位置を特定し、音声を随時切り替えることにより通話音声の品質を高めることが考えられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−114699号公報
【特許文献1】特開2007−302155号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ハンズフリー通話の場合、通話相手に送信される送話音声は、連続的な信号処理が行われて通話先に送信される。その一方、最適な指向方向を特定する処理は、送信中の送話音声の信号処理とは別な処理として行われる。つまり、音声の切り替えは、ある信号処理が行われている音声を別の信号処理が行われている音声に切り替えるということであり、そのような状況において音声を切り替えると、送話音声が瞬間的あるいは断続的にとぎれたり、異音が発生したりするなどの不具合を招くおそれがある。また、音声認識中であれば、音声を切り替えることによって認識率の低下などの不具合を招くおそれがある。
そこで、本発明は、音声入力時の指向方向を適切に設定して通話音声の品質を向上しつつ、音声を切り替えるときに不具合を招くおそれを低減する車両用装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1記載の発明では、第一指向方向から入力された音声を第一音声として抽出する第一音声抽出手段と第二指向方向から入力された音声を第二音声として抽出する第二音声抽出手段とにおいて抽出された音声を音質比較手段にて比較し、その比較結果に基づいて、切替手段において第一音声および第二音声のうち音質が高い一方を送話音声として選択する。このとき、制御手段は、切替手段による第一音声および第二音声の切り替えを、予め定められている判定条件が成立したときに許可する制御を行う。
前述の通り、ハンズフリー通話を行っている場合などに異なる処理を実行している音声を切り替えると、通話相手に送信される送話音声がとぎれたり異音が発生したりするなどの不具合を招くおそれがある。そのため、指向方向を変更しつつより音質の高い音声が入力される方向を特定するとともに、音声の切替自体は判定条件の成立に基づいて制御することにより、音声を切り替えるときに不具合を招くおそれを低減することができる。そして、切り替えられる音声は、第二音声抽出部にて最適と判定された音声、換言すると、切り替える前の音声よりも音質が高いものであるから、通話音声の品質を向上させることもできる。
【0007】
この場合、請求項2記載の発明のように、ハンズフリー通話機能が利用されていないときに音声を切り替えれば、通話が行われていないことから、音声の切り替えに伴う不具合の発生を低減することができる。
また、請求項3記載の発明のように、送話音声として選択されている音声に対して音声認識手段による音声の認識が行われていないときに音声を切り替えれば、認識率が低下することを防止できる。
【0008】
また、請求項4記載の発明のように、送話音声として選択されている音声に対して音声認識手段による音声の認識が行われている状態において当該音声の再認識が行われるときに音声を切り替えることによっても、認識率が低下することを防止できる。
また、請求項5記載の発明のように、送話音声として選択されている音声の音質に対して当該送話音声として選択されていない音声の音質が予め設定されている音質基準値より高いときに音声を切り替えれば、音声のとぎれなどの不具合が発生したとしても、音声を切り替えて音質を向上させることによるメリットの方が大きいと考えられる。そこで、音質の差が音質基準値を超えた場合に音質を切り替えることにより、結果的に利便性を向上させることができる。
【0009】
また、請求項6記載の発明のように、送話音声として選択されている音声が予め設定されている音量基準値よりも小さく、且つ、当該送話音声として選択されていない音声が予め設定されている音量基準値よりも大きいときに音声を切り替えても、請求項5記載の発明と同様に、利便性を向上させることができる。
また、請求項13記載の発明のように、後述する操作入力手段から音声を切り替える旨の入力が行われたときに音声を切り替えれば、音声が切り替えられることは当然話者には認識されていることから、自動で音声を切り替える場合に比べて、不具合の発生による影響が少なくなる。
【0010】
請求項7記載の発明では、第一音声抽出手段は、音声入力手段に入力された音声を信号処理して音声入力時の指向方向を変更する処理を実行可能に構成され、切替手段により送話音声として第二音声が選択されている場合にその処理を実行する。第二音声が選択された場合、第二音声抽出手段は、第二指向方向から入力される音声の抽出をし続ける。このとき、走行状況によっては最適な指向方向が変化する可能性がある。そこで、第二音声が選択されている場合には第一音声抽出手段において指向方向を変更して最適な指向方向を特定することにより、走行状況の変化に対応した指向方向を特定する処理、換言すると、より適切な指向方向を特定する処理を継続的に行うことができ、音声の品質を向上させることができる。
【0011】
請求項8記載の発明では、第二音声抽出部は、第一指向方向を含んで予め設定されている走査範囲において第二指向方向を特定するための処理を実行する。第一マイクおよび第二マイクはそれぞれ指向特性を有しており、その指向特性は一般的にはマイクの前方の空間に広がって形成されている。その場合、全範囲から第二指向方向を特定する処理を行うと、不要または意味のない方向に対する処理を行ってしまうおそれがある。そこで、車両情報に基づいて設定される第一指向方向、すなわち、話者が存在する可能性の高い第一指向方向を含む走査範囲において第二指向方向を特定する処理を行うことにおり、不要な処理を行うおそれを低減することができる。
【0012】
請求項9記載の発明では、切替手段により第一音声または第二音声の切り替えが行われた際、当該切り替えられた後の指向方向を学習情報として記憶する。これにより、最適と判定された指向方向に基づいて次回に第一指向方向を設定することができ、より迅速に第一指向方向を設定することができる。
この場合、請求項12記載の発明のように、音声が切り替えられた後の指向方向と当該音声が切り替えられた際の車両情報とを対応付けて学習情報として記憶することで、走行状況にも対応した適切な指向方向を設定することができる。
【0013】
請求項10記載の発明では、指向方向を選択するための操作を入力する操作入力手段をさらに備え、第一音声抽出部は、操作入力手段から指向方向を選択するための操作が入力された際、当該選択された指向方向を第一指向方向として設定する。このように話者により指向方向を設定することにより、必ずしも話者が運転席に座っていないことも想定される車両において、例えば助手席に座っている話者からも適切に音声を入力することができる。
この場合、請求項11記載の発明のように表示手段を設けることにより、例えば現在の音声の品質や操作入力手段から指向方向を選択するときの選択肢などの補助情報を表示でき、その補助情報に基づいて指向方向を選択することなどができる。
【図面の簡単な説明】
【0014】
【図1】一実施形態による車載機の構成を概略的に示す図
【図2】車両の車室における車載機の設置状況を模式的に示す図
【図3】BFM処理の概略を示す図その1
【図4】BFM処理の概略を示す図その2
【図5】BFM処理の概略を示す図その3
【図6】始動時処理の流れを示す図
【図7】第一指向方向設定処理の流れを示す図
【図8】第二指向方向設定処理の流れを示す図
【図9】走行時処理の流れを示す図
【図10】走行時指向方向設定処理の流れを示す図
【図11】切替判定処理の流れを示す図
【図12】操作入力により指向方向を設定する際の表示部を模式的に示す図その1
【図13】操作入力により指向方向を設定する際の表示部を模式的に示す図その2
【発明を実施するための形態】
【0015】
以下、本発明の一実施形態による車両用装置について、図1から図13を参照しながら説明する。
図1に示すように、車両用装置としての車載機10は、制御部11、位置取得部12、表示部13、操作入力部14、記憶部15、車両情報取得部16、音声入力部17、第一音声抽出部18、第二音声抽出部19、音声認識部20、音質比較部21、切替部22、音声出力部23、通信部24を備えている。このうち、第一音声抽出部18、第二音声抽出部19、音声認識部20、音質比較部21および切替部22は、制御部11により実行されるコンピュータプログラムによりソフトウェア的に実現されている。なお、これら第一音声抽出部18、第二音声抽出部19、音声認識部20、音質比較部21および切替部22は、ハードウェア的に実現してもよい。
【0016】
車載機10の制御部11は、図示しないCPU、RAM、ROMおよび入出力インターフェースなどを有するマイクロコンピュータで構成されている。制御部11は、ROMあるいは記憶部15などに記憶されているコンピュータプログラムに従って、通信動作や表示動作ならびに後述する図6から図11に示すような各種の処理の実行など、車載機10の動作全般を制御する。制御部11は、特許請求の範囲に記載した制御手段に相当する。
【0017】
本実施形態における車載機10は、所謂カーナビゲーション装置と兼用した構成となっており、車両の位置を取得する位置取得部12を備えている。位置取得部12は、一般的な衛星測位システムである周知のGPSユニット25(Global Positioning Systemユニット)にて受信した測位信号に基づいて車両の位置を取得するとともに、地図データを地図DB26(Data Base)として記憶している。制御部11は、位置取得部12からから取得した車両の位置、操作入力部14から入力された目的地、および地図DB26として記憶されている地図データなどに基づいて経路案内やマップマッチングなどの周知のナビゲーション機能を実行する。なお、位置取得部12は、他に、図示しないジャイロセンサや車速センサ、加速度センサなど、車両の状態を検出する各種のセンサにも接続している。
【0018】
表示部13は、例えば液晶表示器や有機EL表示器などで構成されており、制御部11からの指令信号に応じて各種の情報を表示する。例えば、表示部13は、ナビゲーション画面や操作画面、あるいは、後述する図12および図13にて示す補助情報などを表示する。操作入力部14は、表示部13の表示器の画面上に設けられているいわゆるタッチパネル式のスイッチや、表示器の周囲に配置された押しボタン式のボタン押下スイッチなど、ユーザの操作を入力するための各種のスイッチから構成されている。なお、操作入力部14は、リモコンなどを含んでいてもよい。
記憶部15は、例えばHDDなどの読み書き可能な記憶デバイスにより構成されており、車載機10のコンピュータプログラムやナビゲーションプログラム、その他各種のプログラムなどを記憶している。また、記憶部15は、後述する車両情報や学習情報も記憶している。なお、地図DB26を記憶部15に記憶する構成としてもよい。記憶部15は、特許請求の範囲に記載した記憶手段に相当する。
【0019】
車両情報取得部16は、センサ類27、スイッチ類28、各ECU29に接続している。センサ類27は、例えば座席(シート)の位置や高さあるいは角度、音声入力部17のチルト角度、他の制御装置の設置状態などを検出する。また、センサ類27として話者の位置を特定するための撮像手段であるカメラなどを設けてもよい。このセンサ類27には、車速センサやアクセル開度センサなども含まれている。スイッチ類28は、例えば窓の開閉用のスイッチ、オーディオの操作スイッチなどで構成されている。各ECU29は、例えばエアコンECUや、エンジンECUなどであり、車両の走行に関する制御を行っている各種の制御装置である。車両情報取得部16は、これらの各ECU29から、例えばエアコンの使用状況、図示しないアクセルの開度を示す情報あるいは図示しないエンジンの回転数を示す情報などを車両情報として取得する。車両情報取得部16は、特許請求の範囲に記載した車両情報取得手段に相当する。
【0020】
音声入力部17は、話者の音声を入力するための第一マイク30および第二マイク31を有している。これら第一マイク30および第二マイク31には、後述するように、音声以外のノイズなど成分も入力される。なお、図1では、音声(および信号処理された音声信号)の流れを矢印にて示している。音声入力部17には、ハンズフリー通話時の会話などの音声や、車載機10に対する操作入力としての所謂音声コマンドなどが入力される。第一マイク30および第二マイク31から入力された音声は、それぞれ入力処理部32を介して第一音声抽出部18および第二音声抽出部19に入力される。つまり、音声入力部から入力された音声は、例えばハンズフリー通話時においては、各マイクにから通信部24入力処理部32は、音声入力をデジタル変換するADコンバータや、例えばローパスフィルタやエコーキャンセラなどの機能部により構成されている。
【0021】
第一音声抽出部18および第二音声抽出部19は、音声入力部17から入力された音声のうち、特定の指向方向から入力された音声を抽出し、第一音声および第二音声として出力する。本実施形態の場合、第一音声抽出部18は、初期時(本実施形態では、後述するエンジンの始動時)には、車両情報に基づいて設定される指向方向である第一指向方向から入力される音声を抽出する。また、第二音声抽出部19は、後述するように音声認識により音声が入力される方向である第二指向方向を特定し、その第二指向方向から入力される音声を抽出する。音声認識部20は、音声入力部17に入力された音声の認識を行う。なお、音声認識部20は、上記した音声コマンドによる指示内容を認識する一般的な意味での音声認識処理と、入力された音がノイズなどではなく人物の音声であることの認識を行っている。
【0022】
音質比較部21は、第一音声抽出部18および第二音声抽出部19で抽出された第一音声および第二音声の音質を比較する。この音質比較部21は、いわゆるS/N比などによる音質の比較を行うとともに、音量の比較についても行っている。また、音質比較部21は、第一音声および第二音声の音質が後述する音質基準値を超えているか、および、第一音声および第二音声の音量が後述する音量基準値を超えているかの判定も行っている。音質比較部21は、特許請求の範囲に記載した音質比較手段に相当する。
【0023】
切替部22は、第一音声および第二音声を切り替えて、いずれか一方をハンズフリー通話時に通話相手に送信する送話音声として選択する。この切替部22は、制御部11からの指令信号により第一音声および第二音声を切り替えている。このとき、制御部11は、詳細は後述するが、予め定められている判定条件が成立したときに切り替えを許可する制御を行っている。切替部22は、特許請求の範囲に記載した切替手段に相当する。
音声出力部23は、スピーカ33に接続しており、ナビゲーション機能における経路案内の音声の出力、ハンズフリー通話時における受話音声の出力などを行う。音声出力部23は、特許請求の範囲に記載した音声出力手段に相当する。
【0024】
通信部24は、例えばBluetooth(登録商標)のような無線通信方式やUSB(Universal Serial Bus)のような有線通信方式にて車載機10と通信端末40とを接続する。この場合、通信部24は、無線通信方式あるいは有線通信方式の一方のみを設けた構成としてもよいし、例示したもの以外の通信方式であってもよい。車載機10は、この通信部24を介して通信端末40との間で各種のデータの通信を行う。通信部24は、特許請求の範囲に記載した通信手段に相当する。
車載機10に接続される通信端末40は、端末側表示部41、端末側操作部42などを備えており、車載機10との間、および、公衆回線網50との間で通信を行う。この通信端末40は、例えば所謂携帯電話やスマートフォン、データ通信用の端末などであり、車載機10との間でハンズフリー通話を行うための機能を備えている。
【0025】
このような構成の車載機10は、図2に示すように、車両に搭載され、車室60内に設置される。より具体的には、車載機10は、車室60内の例えばインスツルメンタルパネルなどに搭載あるいは収容されている。車室60内には、例えば、運転席61、助手席62、後部A座席63および後部B座席64などが設けられている。この各座席の数やその配置、および、第一マイク30および第二マイク31の取り付け位置などの情報は、車両情報として予め記憶部15に記憶されている。また、各座席の角度や座面の高さなどの情報は、車両情報取得部16により適宜取得され、車両情報として記憶される。この車両には、図示しないエアコンや窓なども設けられている。
【0026】
ここで、第一マイク30および第二マイク31を有する車載機10において、初期時には第二音声抽出部19により実行される音声入力時の指向方向を特定する処理について、図3から図5を参照しながら説明する。以下、この処理を便宜的にBFM(Beam Forming Method)処理と称する。なお、このBFM処理において指向方向を変化させるための処理(例えばDBF(Digital Beam Forming)処理)については周知技術であるので、詳細な説明は省略する。
【0027】
図3は、車室60内における第一マイク30および第二マイク31と話者である人物70との位置関係を平面視にて模式的に示している。第一マイク30および第二マイク31は、それぞれ単体として範囲A1および範囲A2として破線にて示す指向特性を持っており、その範囲A1、A2内の音声が入力される。なお、第一マイク30および第二マイク31の指向特性は、図3に示す左右方向だけでなく、上下方向にも広がった立体的な範囲を有している。そして、範囲A1、A2から入力される音声をDBF処理することにより、図4に示すように、第一マイク30および第二マイク31により形成される指向方向は、例えばパターンA、パターンB、パターンCのように変化する。
【0028】
このとき、パターンAの指向方向からの入力信号が図5(a)に示すような状態であり、パターンBの指向方向からの入力信号が図5(b)に示すような状態であり、パターンCの指向方向からの入力信号が図5(c)に示すような状態であったとする。この場合、図5(b)に示すパターンBの指向方向から音声が入力されていることになる。なお、図5(b)に示す周波数f2の入力信号が音声であるとの判定は、音声認識部20において行われている。第二音声抽出部19は、音声であると判定された入力信号がある場合、指向方向を変化させつつ、音声であると判定された信号が極大となる方向を第二指向方向として特定する。
【0029】
さて、このBFM処理は、初期時には第二音声抽出部19により実行される処理であるものの、後述するように第一音声抽出部18においても実行可能である。すなわち、第一音声抽出部18と第二音声抽出部19とは、初期時において車両情報に基づいて指向方向を設定するか、音声認識した結果に基づいて指向方向を設定するかの違いはあるものの、指向方向を設定するための実質的な処理であるDBF処理は共通して行っている。そのため、図1に示すように音声認識部20を第一音声抽出部18にも接続したことにより、本実施形態では、第一音声抽出部18においてもBFM処理を実行することが可能となっている。
【0030】
次に、上記した構成の車載機10の作用について説明する。
車載機10は、ナビゲーション機能のための処理などを実行しているとともに、本発明に関連して、図6に示す始動時処理、図7に示す第一指向方向設定処理、図8に示す第二指向方向設定処理、図9に示す走行時処理、図10に示す走行時指向方向設定処理および図11に示す切替判定処理を実行している。これらの処理は車載機10に設けられている各部(図1参照)においてそれぞれ実行される処理であるものの、以下では、説明の簡略化のために車載機10を主体として説明する。
【0031】
車載機10は、図6に示す始動時処理において、エンジンが始動すると(S101)、第一音声抽出部18において第一指向方向設定処理を実行する(S102)。この第一指向方向設定処理では、図7に示すように、まず車両情報を取得する(S201)。この場合、車両情報取得部16において上記したセンサ類27、スイッチ類28、各ECU29などから車両情報を取得している。その後、学習情報があるか、すなわち、学習情報が記憶部15に記憶されているかを判定する(S202)。ここで、学習情報とは、詳細は後述するが、前回実行された走行時処理において最適であると判定された状態における車両情報および指向方向に関する情報である。
【0032】
車載機10は、学習情報がない場合には(S202:NO)、予め記憶されている車両情報、特に、音声の入力に影響があると考えられる例えば座席の位置や高さあるいは角度(リクライニングの状態)、第一マイク30および第二マイク31のチルト角度(設置方向)、他の制御装置の種類や配置などの車両情報から指向方向を算出する(S203)。一方、車載機10は、学習情報がある場合には(S202:YES)、その学習情報および車両情報から指向方向を決定する(S204)。なお、ステップS204において現時点の状況に対応した学習情報が記憶されていない場合には、車両情報から指向方向を算出してもよい。
そして、車載機10は、ステップS203又はS204において算出された指向方向を第一指向方向に設定し(S205)、リターンする。これにより、第一音声抽出部18は、第一指向方向からの音声を抽出することができるようになる。
【0033】
第一指向方向設定処理からリターンすると、車載機10は、図6に示す始動時処理において、第二音声抽出部19においてBFM処理に相当する第二指向方向設定処理を実行する(S103)。この第二指向方向設定処理では、図8に示すように、車載機10は、初期値または前回値の指向方向をまず設定する(S301)。ここで、初期値とは、第二指向方向設定処理を実行する場合に予め定められている指向方向であり、前回値とは、学習情報として記憶されている前回特定した指向方向である。本実施形態の場合では、初期値として第一指向方向が設定されている。第一指向方向は、上記したように車両情報あるいは学習情報に基づいて設定された指向方向、換言すると、話者が存在する可能性の高い指向方向である。また、前回値は、後述するように前回の処理において最適であると判定された指向方向であることから、話者が存在する可能性が高く、且つ、音声入力に適した指向方向である。このように、第一指向方向を初期値としたり、前回値を設定したりすることにより、第二音声抽出部19において、音声が入力される可能性の高い方向からBFM処理を実行することが可能となり、BFM処理を効率よく行うことができる。
【0034】
続いて、車載機10は、現在の指向方向からの音声を所定回数取得し(S302)、取得した音声を分析し(S303)、音声成分があるかを判定する(S304)。この場合、音声の分析や音声成分の判定は、音声認識部20によって行われる。なお、所定回数は、入力された音声の音量やS/N比などによりその回数を変化させてもよい。そして、音声成分がある場合には(S304:YES)、それが最適な指向方向であるかを判定する(S305)。この場合、1回目では最適であるか否かの判定はできないため(S305:NO)、小角度で指向方向を変更した後(S306)、再度ステップS302以降の処理を繰り返す。ここで、小角度とは、本実施形態では概ね1°程度を想定している。この概ね1°の角度は、現在の指向方向が運転席61に向いている場合を想定した値である。例えば現在の指向方向が図2に示す後部A座席63に向いている場合、第一マイク30および第二マイク31からの距離が大きいことから、わずかな角度の変化でも音声の大きさが大きく変化する可能性がある。そのため、車載機10は、ステップS306において指向方向を変更する角度を、現在の指向方向の向きに応じて変化させている。これにより、第一マイク30と第二マイク31との距離に応じて、適切な角度を設定することができる。
【0035】
そして、車載機10は、初期値あるいは前回値を含んで予め設定されている走査範囲内においてステップS306の処理を繰り返す。これは、例えば図2に示すような指向特性の場合、その全ての範囲を走査すると、処理量が過大になるためである。つまり、車載機10では、初期値あるいは前回値の近傍から走査を行うことにより、処理量の低減をも図られている。なお、走査範囲は対象となる座席の位置などに応じた左右方向および上下方向への角度で設定されており、その範囲内で音声の入力がなかった場合には、走査範囲を拡大してもよい。
【0036】
これに対して、車載機10は、ステップS304において音声成分がないと判定すると(S304:NO)、大角度例えば概ね10°で指向方向を変更し(S307)、ステップS302以降の処理を繰り返す。つまり、走査範囲内に音声が内場合には、範囲を拡大して音声の検出を繰り返す。なお、図8には示していないが、音声成分がない場合において(ステップS304:NO)、大角度での指向方向の変更(S307)を複数回繰り返しても音声成分がないとき、すなわち、通話あるいは会話がなされていないときには、ステップS301で設定した初期値または前回値を現在の指向方向とする。
【0037】
車載機10は、上記したような指向方向の変更および最適であるかの判定を繰り返し、最適な指向方向であると判定した場合には(S305:YES)、現在の指向方向を第二指向方向として設定し(S308)、リターンする。このようにして、音声入力に最適な指向方向である第二指向方向が設定される。これにより、第二音声抽出部19は、第二指向方向からの音声を抽出することができるようになる。
【0038】
第二指向方向設定処理からリターンすると、車載機10は、図6に示す始動時処理において、第一音声と第二音声とを比較する(S104)。より具体的には、車載機10は、音質比較部21において第一音声抽出部18から出力された第一音声および第二音声抽出部19から出力された第二音声の音質を、S/N比や音量などに基づいて比較する。そして、第二指向方向で音声が改善しない場合、すなわち、第一音声の方が音質がよい場合には(S106:NO)、送話音声として第一音声を選択する(S106)。このとき、車載機10は、切替部22を第一音声側に切り替えることにより、送話音声として第一音声を選択し、始動時処理を終了する。なお、第二指向方向からの音声の入力がなく音質の比較が行えなかった場合にも、送話音声として第一音声が選択される。
【0039】
これに対して、車載機10は、第二指向方向で音声が改善する場合には(S105:YES)、送話音声として第二音声を選択して(S107)、始動時処理を終了する。このとき、車載機10は、切替部22を第二音声側に切り替えることにより、送話音声として第二音声を選択する。第二音声に切り替えられて第二音声が送話音声として選択されると、第二音声抽出部19は、BFM処理を停止し、最適と判定された第二指向方向からの音声を継続して抽出する。つまり、選択された音声を出力する側の抽出部は、選択された際の指向方向を維持したまま、当該指向方向から入力される音声を抽出し続ける。なお、始動時処理はエンジン始動時の初期時に行われる処理であることから、この時点では切り替えの制御は行っていないが、行ってもよい。
【0040】
このように、車載機10は、エンジンが始動された初期時において第一指向方向から入力される音声と第二指向方向から入力される音声とを比較し、より音質のよい音声を送話音声として選択する。この場合、ハンズフリー通話時の音質を改善することのみを目的とするのであれば、ハンズフリー通話が行われているか否かを判定してハンズフリー通話が行割れている場合にこの始動時処理を実行する構成としてもよい。また、始動時処理としては、例えばステップS102の第一指向方向設定処理を実行して指向方向の初期設定のみを行う構成としてもよい。本実施形態では車載機10をナビゲーション装置と兼用していることから、音声コマンド入力時の音声を改善する意味合いもあって始動時処理において第一指向方向設定処理および第二指向方向設定処理を実行している。
【0041】
さて、車両の走行時に電話をかける必要が生じた場合には、安全性を確保するためにハンズフリー通話機能を利用することが望ましい。その一方、走行時にはエンジン音や走行ノイズ(タイヤの音)など、通話音声の品質に影響を与える事象が発生する。
そこで、車載機10は、以下のようにして通話音声の品質の改善を図っている。以下、車両の運転手によりハンズフリー通話が行われている状態、すなわち、話者が運転席61に座っている状態、且つ、音声入力がある状態とする。なお、以下で説明する図9に示す「走行時処理」という名称は、上記した図6に示す始動時処理との対比を取るための便宜的な名称であり、必ずしも走行時のみに行われることを意味するものではない。
【0042】
車載機10は、図9に示す走行時処理において、第一音声を選択中であるかを判定し(S401)、第一音声を選択中の場合には(S401:YES)、第二音声抽出部19で上記したBFM処理を実行する(S402)。一方、第二音声を選択中の場合には(S401:NO)、第一音声抽出部18で上記したBFM処理を実行する(S403)。つまり、車載機10は、第一音声抽出部18および第二音声抽出部19のうち、送話音声として選択されている音声を出力していないほうの抽出部においてBFM処理を実行する。
【0043】
そして、車載機は、BFM処理を実行中の抽出部(音声が選択されていない側の抽出部)により走行時指向方向設定処理を実行する(S404)。この走行時指向方向設定処理では、車載機10は、図10に示すように、まず車両情報を取得する(S501)。このステップS501では、ステップS201と同様に、車両情報取得部16において上記したセンサ類27、スイッチ類28、各ECU29などから車両情報を取得する。そして、取得した車両情報に基づいて、以下のようにして指向方向を変更する。例えば、車載機10は、車速センサから取得した車速に基づいて停車中であるかを判定し(S502)、停車中でない場合には(S502:NO)、走行速度が高いか(S503)、カーブを走行中か(S505)などを判定する。
【0044】
例えば、車載機10は、高速道路のように車速が高い場合には、タイヤから発生する走行ノイズが高いと考えられる。そのため、車載機10は、走行速度が高いと判定した場合には(S503:YES)、走行ノイズの影響を抑えるために、現在の指向方向を若干上向きにする(S504)。
また、車載機10は、地図データやジャイロセンサなどにより取得される車両情報に基づいて車両がカーブを走行中であると判定した場合には(S505:YES)、ドライバーの体が左(または右)に若干移動あるいは傾くことを想定し、現在の指向方向を左(または右)に変更する(S506)。なお、ここでいう左右方向は、図2の車両における左右方向に相当する。
【0045】
また、車両情報に基づいて運転席61側の窓(図2の運転席61の右方に設けられていると想定する)が開いていると判定した場合には(S507:YES)、風切り音の影響を抑えるために窓から離間する方向(図2の場合左方向)に指向方向を変更する。
また、車載機10は、双方向通話中である場合、より厳密には、通話相手からの受話音声をスピーカ33から出力している場合には(S509:YES)、出力した音声が回り込まないように、指向方向をスピーカ33から離間する方向へ変更する(S510)。
また、車載機10は、車両情報に基づいて、例えばエアコンが強く作動中であるなどその他音質に影響を与える走行状況である場合には(S511:YES)、指向方向を音質が改善する方向に変更する(S512)。
【0046】
車載機10は、上記したような走行状況やエアコンの強さ、窓の開閉状況などの車両情報に基づいて、自動で最適な指向方向、エコーキャンセラやノイズキャンセラの特性となるように制御している。そして、変更した指向方向すなわち現在の指向方向を、走行時指向方向として設定して(S513)、リターンする。なお、指向方向を変更しなかった場合には、走行時指向方向設定処理を開始した時点における当初の指向方向を走行時指向方向として設定する。これにより、車両情報などに基づいて、走行時における最適な指向方向である走行時指向方向が設定される。
【0047】
走行時指向方向設定処理からリターンすると、車載機10は、図9に示す走行時処理において、選択中の音声と走行時指向方向から入力される音声とを比較し(S405)、走行時指向方向で音質が改善されない場合には(S406:NO)、ステップS404に移行して処理を繰り返す。
【0048】
これに対して、車載機10は、走行時指向方向で音質が改善される場合には(S406:YES)、音声を切り替えてよいか否かを判定する切替判定処理を実行する(S407)。例えば、走行時指向方向に切り替えることにより音質が改善される状況であっても、指向方向が変更されるごとに音声を切り替えると、瞬間的あるいは断続的な異音の発生や会話がとぎれるなどの不具合を招くおそれがある。そこで、本実施形態の車載機10は、図11に示す切替判定処理において複数の判定条件に基づいて切替可能であるか否かを判定し、それら複数の判定条件のいずれかが成立した場合に切替部22による音声の切り替えを許可する。具体的には、車載機10は、以下に示すようなときに判定条件が成立したとして切り替えを許可する。
【0049】
・条件1:ハンズフリー通話機能が利用されていないとき、すなわち、HF(Hands Free)通話中でないとき(S601:NO)。この場合、HF通話が行われていないので、音声の切り替えに伴う不具合は発生しない。
・条件2:音声認識部20による音声の認識が行われていないとき、すなわち、音認中でないとき(S601:NO)。この場合、音声認識手段による音声の認識が行われていないときに音声を切り替えるので、認識率が低下することを防止できる。なお、HF通話中およびHF通話を行っていない場合のいずれであっても判定条件に含まれている。
・条件3:音声認識部20による音声認識処理が行われている状態において当該音声の再認識が行われるとき、すなわち、音認中でないとき(S601:NO)。この場合、一旦音声認識処理が中断されて再認識を行うときに音声を切り替えるので、認識率が低下することを防止できる。なお、HF通話中およびHF通話を行っていない場合のいずれであってもよい。
【0050】
・条件4:送話音声として選択されている音声の音質に対して当該送話音声として選択されていない音声の音質が予め設定されている音質基準値より高いとき(S602:YES)。つまり、選択中の音声の音質が著しく低く通話品質に影響を与えている状況において、選択されていない音声の音質ほうが高いときに相当する。この場合、音声を切り替える際に音声のとぎれなどの不具合が瞬間的に発生する可能性はあるものの、音声を切り替えて音質を向上させることによるメリットの方が大きく、結果的に利便性を向上させることができる。なお、音質基準値は、例えば車両の車室60の大きさなど車両情報に基づいて適宜設定されている。
【0051】
・条件5:選択中の音声の音量が規定の値(音量基準値)以下、すなわち、送話音声として選択されている音声が予め設定されている音量基準値よりも小さく、且つ、当該送話音声として選択されていない音声が予め設定されている音量基準値よりも大きいとき(S603:YES)。つまり、選択中の音声の音量が著しく小さく通話品質に影響を与えている状態において、選択されていない音声の音量のほうが大きい場合など、上記した条件4と同様に音声を切り替えるメリットの方が大きいときに相当する。なお、音量基準値は、車両の車室60の大きさや車速などの車両情報に基づいて、例えば車速が高い場合には走行ノイズが大きいことから音量基準値を上げるなど、適宜設定されている。
【0052】
・条件6:操作入力部14から音声を切り替える旨の入力が行われたとき(S604:YES)。この場合、音声が切り替えられることは当然話者には認識されていることから、自動で音声を切り替える場合に比べて不具合の発生をそれほど考慮する必要はなく、利便性にそれほど影響を与えないと想定される。
このように、車載機10は、音声を切り替える際に不具合が発生しない場合、不具合よりも音声を切り替えることのメリットが大きい場合、および、不具合の発生が利便性にそれほど影響を与えない場合などに音声の切り替えを許可することで、切替部22の作動を制御している。
【0053】
ここで、上記した条件6の操作入力部14から音声を切り替える旨の操作が入力される状況について説明する。車載機10の表示部13には、例えば図12に示すように、指向方向(図12ではパターンと称する)を選択するメッセージM1とともに、車室60内の座席を模式的に示す座席マークM2、M3、M4およびM5、マイクマークM6に対して運転席61を中心とした指向方向であるパターンDF、助手席62を中心とした指向方向であるパターンPFおよび後部A座席63を中心とした指向方向であるパターンPRなど、指向方向の選択肢ならびに指向方向を選択するための補助情報M7が表示される。話者は、表示部13に設けられているタッチパネルなどを操作することで所望の指向方向を選択する指示を入力する。あるいは、図13に示すように、指向方向(パターンDF1、DF2、DF3)とともに、それぞれの指向方向から入力される音声レベルM8(音質、音量など)を補助情報M7として表示してもよい。これにより、音声レベルの高い指向方向を判断でき、指向方向を容易に選択することができるようになる。
【0054】
車載機10は、操作入力を受け付けると、第一音声抽出部18(あるいは第二音声抽出部19)に対してその指向方向からの音声を抽出させるとともに、切替部22を切り替える。これにより、話者の希望に沿った指向方向を設定することができる。この場合、話者による操作入力があったことから、音声を切り替えることは話者に当然認識されている。そのため、条件1〜5のように自動で切り替える場合に比べれば、会話のとぎれ異音やノイズの発生などを考慮する必要性は少なくなる。なお、切り替えたことが分かるように操作音を出力するなどして、会話のとぎれ異音やノイズの発生を感じさせないようにしてもよい。
【0055】
さて、車載機10は、いずれかの判定条件が成立したと判定すると、切替可能と判定した後(S605)、切替判定処理からリターンする。一方、車載機10は、いずれの判定条件も成立していない場合には(S601:YES、S602:NO、S603:NO、S604:NO)、切替不可と判定した後(S606)、切替判定処理からリターンする。
切替判定処理からリターンすると、車載機10は、図9に示す走行時処理において、いずれの判定条件も成立せず、切替不可である場合には(S408:NO)、ステップS401に移行して再度ステップS401以降の処理を繰り返す。つまり、現時点では音声の切り替えを許可できないので、許可できる状態になるまで上記した処理を繰り返しながら待機する。なお、待機中にステップS401に移行するのは、走行状況が変化して最適な走行時指向方向がさらに変化する可能性があるためである。
【0056】
これに対して、車載機10は、いずれかの判定条件が成立し、切替可能である場合には(S408:YES)、走行時指向方向からの音声を送話音声として選択する(S409)。この場合、車載機10は、送話音声として現在選択されている音声が第一音声である場合にはBFM処理を実行中の第二音声抽出部19から出力される第二音声に切り替え、現在選択されている音声が第二音声である場合にはBFM処理を実行中の第一音声抽出部18から出力される第一音声に切り替える。これにより、送話音声は、走行状況に応じて、且つ、より音質のよいものに切り替えられる。
【0057】
そして、車載機10は、走行時指向方向と走行時指向方向を設定したときの車両情報とを対応付けて学習情報として記憶部15に記憶する(S410)。これにより、より音質が向上すると判定された指向方向である走行時指向方向と、その走行時指向方向が設定されたときの車両情報とが記憶され、次回の指向方向の設定時(図7に示すステップS202など)においてより適切な第一指向方向を設定することができる。
【0058】
以上説明した車両用装置によれば、次のような効果を奏する。
第一音声抽出部18において第一指向方向から入力された音声を第一音声として抽出し、第二音声抽出部19において第二指向方向から入力された音声を第二音声として抽出し、音質比較部21においてそれら第一音声および第二音声を比較し、その比較結果に基づいて、切替部22において第一音声および第二音声のうち音質が高い一方を送話音声として選択する。そして、制御部11は、切替部22による第一音声および第二音声の切り替えを、予め定められている判定条件が成立したときに許可する。つまり、車載機10は、不具合が生じないとき、あるいは不具合が発生するおそれが少ないときに音声を切り替えている。これにより、音声切替時における不具合を防止または不具合を招くおそれを低減することができる。
【0059】
この場合、切り替えられる音声は、上記した第一指向方向設定処理、第二指向方向設定処理ならびにBFM処理によって最適と判定された指向方向から入力される音声、より具体的には、走行状況やエアコンの強さ、窓の開閉状況などにより自動で最適な指向方向、エコーキャンセラ、ノイズキャンセラの特性となっている音声であり、切り替える前の音声よりも音質が向上したものであるから、通話音声の品質を向上させることもできる。
この場合、音声の切り替えを許可するための判定条件としては、上記した条件1〜6のように、音声の切り替えに伴う不具合が発生しない、あるいは、発生したとしてもその不具合よりも音声を切り替えたことによるメリットのほうが大きい場合などに音声を切り替えることにより、利便性を高めることができる。
【0060】
第一音声抽出部18にてBFM処理を実行可能とし、第二音声が選択されている場合には第一抽出部にてBFM処理を実行するので、第二音声が選択されている場合であっても第一音声抽出部18において指向方向を変更して最適な指向方向を特定することができ、走行状況の変化に対応した指向方向の特定、換言すると、時々刻々と変化する走行時においてより適切な指向方向の設定を常に行うことができ、音声の品質を向上させることができる。
【0061】
第一音声または第二音声の切り替えが行われた際、当該切り替えられた後の指向方向を学習情報として記憶部15に記憶する。これにより、最適と判定された指向方向に基づいて次回に第一指向方向を設定することができ、より迅速且つ適切な第一指向方向を設定することができる。この場合、音声が切り替えられた後の指向方向と当該音声が切り替えられた際の車両情報とを対応付けて学習情報として記憶することで、走行状況にも対応した適切な指向方向を設定することができるようにもなる。
【0062】
また、指向方向を選択するための操作が操作入力部14から入力された場合には、当該選択された指向方向を第一指向方向として設定する。指向方向の選択は、通常は話者によって行われるものである。そのため、話者により設定された指向方向を第一指向方向とすることで、車両情報などによらず、話者がいる方向を特定することができる。また、必ずしも話者が運転席61に座っていないことも想定される車両において、例えば助手席62に座っている話者からも適切に音声を入力することができる。
【0063】
この場合、指向方向および当該指向方向から入力される音声に関する補助情報を表示部13に表示するので、その補助情報に基づいて指向方向を選択することなどができる。
また、第二音声抽出部19は、第一指向方向を含んで予め設定されている走査範囲において第二指向方向を特定するための処理を実行する。第一マイク30および第二マイク31が有する図2のような指向特性において、その全範囲から指向方向を特定する処理を行うと、不要または意味のない方向に対する処理を行ってしまうおそれがある。そこで、話者が存在する可能性の高い第一指向方向を含む走査範囲において第二指向方向を特定する処理を行うことにおり、不要な処理を低減することができる。この場合、話者による操作入力により選択された指向方向から走査を行うことで、不要な処理をより確実に低減することができるようになる。
【0064】
(その他の実施形態)
本発明は、上述した一実施形態にのみ限定されるものではなく、以下のように変形又は拡張することができる。
第一マイク30および第二マイク31の2つのマイクを設けた構成を示したが、マイクは2個以上であればよい。
図12においてパターンDFを選択したときに、引き続いて図13に示すような詳細表示を行うようにしてもよい。また、図12、図13では左右方向への選択肢を表示したが、上下方向に対する指向方向の選択肢を表示してもよい。
【0065】
図6に示す始動時処理において第一指向方向を設定するときに、図12、図13などに示す指向方向の選択肢を表示し、話者により選択された指向方向を第一指向方向として選択してもよい。これにより、例えば話者が助手席62に座っているような状況であっても、適切に音声を入力することができる。
指向方向を設定するために補助情報を表示部13に表示したが、常時または話者の表示操作があった場合に、現在の指向方向や当該指向方向から入力される音声に関する情報(例えば図13の音声レベルM8)を補助情報として表示してもよい。
【0066】
図12、図13に示した指向方向を選択する際の表示態様は一例であり、これに限定されない。例えば、座席の配置のみを表示し、話者に座席の位置を選択させることで大まかな指向方向を最初に設定し、その後は車載機10側にて適切な指向方向を設定するようにしてもよい。これによれば、設定時の煩わしさを低減することができる。
通信端末40の種類を特定し、その情報を学習情報又は車両情報として記憶してもよい。通信端末40は、通常は一人のユーザ(例えば話者)により使用されるものであり、その啓太員末を利用したハンズフリー通話も同一のユーザにより行われると想定される。そこで、通信端末40の電話番号やBluetooth接続時のBluetoothアドレスなどの固有情報と、その通信端末40を利用したときの指向方向の情報とを関連づけて学習情報として記憶すれば、次回に同一の通信端末40を利用する場合に適切な指向方向を設定することができる。
【0067】
判定条件の成立として条件1〜6を例示したが、これに限定されず、音質に影響を与えない又は与えるおそれが少ない他の条件を判定条件として設定してもよい。
第一音声抽出部18にてBFM処理を実行するようにしたが、第二音声抽出部19を2系統設ける構成であってもよい。
車載機10をカーナビゲーション装置と兼用としたが、個別に設けてももちろんよい。
【符号の説明】
【0068】
図面中、10は車両用装置、11は制御部(制御手段)、13は表示部(表示手段)、14は操作入力部(操作入力手段)、15は記憶部(記憶手段)、16は車両情報取得部(車両情報取得手段)、17は音声入力部(音声入力手段)、18は第一音声抽出部(第一音声抽出手段)、19は第二音声抽出部(第二音声抽出手段)、20は音声認識部(音声認識手段)、21は音質比較部(音質比較手段)、22は切替部(切替手段)、23は音声出力部(音声出力手段)、24は通信部(通信手段)、30は第一マイク、31は第二マイク、40は通信端末、50は公衆回線網、M1〜M8は補助情報を示す。
【特許請求の範囲】
【請求項1】
公衆回線網に接続可能な通信端末を利用するハンズフリー通話機能を備えた車両用装置であって、
前記通信端末との間で通信を行う通信手段と、
前記通信手段により前記通信端末から受信した受話音声を出力する音声出力手段と、
少なくとも第一マイクおよび第二マイクを有し、前記通信端末へ送信する送話音声を入力するための音声入力手段と、
前記音声入力手段が設けられている前記車両に関する情報である車両情報を取得する車両情報取得手段と、
前記車両情報取得手段により取得された前記車両情報に基づいて前記音声入力手段の指向方向である第一指向方向を設定し、当該第一指向方向から入力された音声を第一音声として抽出する第一音声抽出手段と、
前記音声入力手段により入力された音声を信号処理することにより音声の認識を行う音声認識手段と、
前記音声入力手段に入力された音声を信号処理して指向方向を変更することにより前記音声認識手段で認識した音声が入力された方向である第二指向方向を特定し、当該第二指向方向から入力された音声を第二音声として抽出する第二音声抽出手段と、
第一音声抽出手段により抽出された前記第一音声および第二音声抽出手段により抽出された前記第二音声の音質を比較する音質比較部と、
前記音質比較部による音質の比較結果に基づいて前記第一音声および前記第二音声のうち音質が高い一方に切り替えて前記送話音声として選択する切替手段と、
前記切替手段による前記第一音声および前記第二音声の切り替を予め定められている判定条件が成立したときに許可する制御を行う制御手段と、
を備えたことを特徴とする車両用装置。
【請求項2】
前記制御手段は、ハンズフリー通話機能が利用されていないとき、前記判定条件が成立したと判定することを特徴とする請求項1記載の車両用装置。
【請求項3】
前記制御手段は、前記送話音声として選択されている音声に対して前記音声認識手段による音声の認識が行われていないとき、前記判定条件が成立したと判定することを特徴とする請求項1または2記載の車両用装置。
【請求項4】
前記制御手段は、前記送話音声として選択されている音声に対して前記音声認識手段による音声の認識が行われている状態において当該音声の再認識が行われるとき、前記判定条件が成立したと判定することを特徴とする請求項1から3のいずれか一項記載の車両用装置。
【請求項5】
前記制御手段は、前記比較手段による比較結果において、前記送話音声として選択されている音声の音質に対して当該送話音声として選択されていない音声の音質が予め設定されている音質基準値より高いとき、前記判定条件が成立したと判定することを特徴とする請求項1から4のいずれか一項記載の車両用装置。
【請求項6】
前記制御手段は、前記送話音声として選択されている音声が予め設定されている音量基準値よりも小さく、且つ、当該送話音声として選択されていない音声が予め設定されている音量基準値よりも大きいとき、前記判定条件が成立したと判定することを特徴とする請求項1から5のいずれか一項記載の車両用装置。
【請求項7】
前記第一音声抽出手段は、前記音声入力手段に入力された音声を信号処理して音声入力時の指向方向を変更する処理を実行可能に構成され、前記切替手段により前記送話音声として前記第二音声が選択されている場合、前記音声入力手段に入力された音声を信号処理して音声入力時の指向方向を変更する処理を実行することにより前記音声認識手段で認識した音声が入力された方向から入力された音声を前記第一音声として抽出し、
前記第二音声抽出手段は、前記切替手段により前記送話音声として前記第二音声が選択された場合、指向方向を変更する処理を停止し、当該処理を停止する前に設定されていた指向方向から入力される音声を第二音声として抽出することを特徴とする請求項1から6のいずれか一項記載の車両用装置。
【請求項8】
前記第二音声抽出部は、前記第一指向方向を含んで予め設定されている走査範囲において前記第二指向方向を特定するための処理を実行することを特徴とする請求項1から7のいずれか一項記載の車両用装置。
【請求項9】
前記切替手段により前記第一音声または前記第二音声の切り替えが行われた際、当該切り替えられた後の指向方向を学習情報として記憶する記憶手段をさらに備え、
前記第一音声抽出手段は、前記記憶手段に前記学習情報が記憶されている場合、前記学習情報に基づいて前記第一指向方向を設定することを特徴とする請求項1から8のいずれか一項記載の車両用装置。
【請求項10】
指向方向を選択するための操作を入力する操作入力手段をさらに備え、
前記第一音声抽出部は、前記操作入力手段から指向方向を選択するための操作が入力された際、当該選択された指向方向を前記第一指向方向として設定することを特徴とする請求項1から9のいずれか一項記載の車両用装置。
【請求項11】
指向方向および当該指向方向から入力される音声に関する補助情報を表示する表示手段をさらに備えることを特徴とする請求項1から10のいずれか一項記載の車両用装置。
【請求項12】
前記記憶手段は、音声が切り替えられた後の指向方向と、当該音声が切り替えられた際の前記車両情報とを対応付けた学習情報を記憶することを特徴とする請求項9から11のいずれか一項記載の車両用装置。
【請求項13】
前記制御手段は、前記操作入力手段から音声を切り替える旨の入力が行われたとき、前記判定条件が成立したと判定することを特徴とする請求項11または12記載の車両用装置。
【請求項1】
公衆回線網に接続可能な通信端末を利用するハンズフリー通話機能を備えた車両用装置であって、
前記通信端末との間で通信を行う通信手段と、
前記通信手段により前記通信端末から受信した受話音声を出力する音声出力手段と、
少なくとも第一マイクおよび第二マイクを有し、前記通信端末へ送信する送話音声を入力するための音声入力手段と、
前記音声入力手段が設けられている前記車両に関する情報である車両情報を取得する車両情報取得手段と、
前記車両情報取得手段により取得された前記車両情報に基づいて前記音声入力手段の指向方向である第一指向方向を設定し、当該第一指向方向から入力された音声を第一音声として抽出する第一音声抽出手段と、
前記音声入力手段により入力された音声を信号処理することにより音声の認識を行う音声認識手段と、
前記音声入力手段に入力された音声を信号処理して指向方向を変更することにより前記音声認識手段で認識した音声が入力された方向である第二指向方向を特定し、当該第二指向方向から入力された音声を第二音声として抽出する第二音声抽出手段と、
第一音声抽出手段により抽出された前記第一音声および第二音声抽出手段により抽出された前記第二音声の音質を比較する音質比較部と、
前記音質比較部による音質の比較結果に基づいて前記第一音声および前記第二音声のうち音質が高い一方に切り替えて前記送話音声として選択する切替手段と、
前記切替手段による前記第一音声および前記第二音声の切り替を予め定められている判定条件が成立したときに許可する制御を行う制御手段と、
を備えたことを特徴とする車両用装置。
【請求項2】
前記制御手段は、ハンズフリー通話機能が利用されていないとき、前記判定条件が成立したと判定することを特徴とする請求項1記載の車両用装置。
【請求項3】
前記制御手段は、前記送話音声として選択されている音声に対して前記音声認識手段による音声の認識が行われていないとき、前記判定条件が成立したと判定することを特徴とする請求項1または2記載の車両用装置。
【請求項4】
前記制御手段は、前記送話音声として選択されている音声に対して前記音声認識手段による音声の認識が行われている状態において当該音声の再認識が行われるとき、前記判定条件が成立したと判定することを特徴とする請求項1から3のいずれか一項記載の車両用装置。
【請求項5】
前記制御手段は、前記比較手段による比較結果において、前記送話音声として選択されている音声の音質に対して当該送話音声として選択されていない音声の音質が予め設定されている音質基準値より高いとき、前記判定条件が成立したと判定することを特徴とする請求項1から4のいずれか一項記載の車両用装置。
【請求項6】
前記制御手段は、前記送話音声として選択されている音声が予め設定されている音量基準値よりも小さく、且つ、当該送話音声として選択されていない音声が予め設定されている音量基準値よりも大きいとき、前記判定条件が成立したと判定することを特徴とする請求項1から5のいずれか一項記載の車両用装置。
【請求項7】
前記第一音声抽出手段は、前記音声入力手段に入力された音声を信号処理して音声入力時の指向方向を変更する処理を実行可能に構成され、前記切替手段により前記送話音声として前記第二音声が選択されている場合、前記音声入力手段に入力された音声を信号処理して音声入力時の指向方向を変更する処理を実行することにより前記音声認識手段で認識した音声が入力された方向から入力された音声を前記第一音声として抽出し、
前記第二音声抽出手段は、前記切替手段により前記送話音声として前記第二音声が選択された場合、指向方向を変更する処理を停止し、当該処理を停止する前に設定されていた指向方向から入力される音声を第二音声として抽出することを特徴とする請求項1から6のいずれか一項記載の車両用装置。
【請求項8】
前記第二音声抽出部は、前記第一指向方向を含んで予め設定されている走査範囲において前記第二指向方向を特定するための処理を実行することを特徴とする請求項1から7のいずれか一項記載の車両用装置。
【請求項9】
前記切替手段により前記第一音声または前記第二音声の切り替えが行われた際、当該切り替えられた後の指向方向を学習情報として記憶する記憶手段をさらに備え、
前記第一音声抽出手段は、前記記憶手段に前記学習情報が記憶されている場合、前記学習情報に基づいて前記第一指向方向を設定することを特徴とする請求項1から8のいずれか一項記載の車両用装置。
【請求項10】
指向方向を選択するための操作を入力する操作入力手段をさらに備え、
前記第一音声抽出部は、前記操作入力手段から指向方向を選択するための操作が入力された際、当該選択された指向方向を前記第一指向方向として設定することを特徴とする請求項1から9のいずれか一項記載の車両用装置。
【請求項11】
指向方向および当該指向方向から入力される音声に関する補助情報を表示する表示手段をさらに備えることを特徴とする請求項1から10のいずれか一項記載の車両用装置。
【請求項12】
前記記憶手段は、音声が切り替えられた後の指向方向と、当該音声が切り替えられた際の前記車両情報とを対応付けた学習情報を記憶することを特徴とする請求項9から11のいずれか一項記載の車両用装置。
【請求項13】
前記制御手段は、前記操作入力手段から音声を切り替える旨の入力が行われたとき、前記判定条件が成立したと判定することを特徴とする請求項11または12記載の車両用装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−83751(P2013−83751A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2011−222784(P2011−222784)
【出願日】平成23年10月7日(2011.10.7)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願日】平成23年10月7日(2011.10.7)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
[ Back to top ]