車載用の音声処理装置、音声処理システム、及び音声処理方法
【課題】車両間での通信において、より臨場感のある対話を可能とする。
【解決手段】第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、第２の車両の位置を取得する車両位置取得手段と、第２の車両内で取得された音声を取得する音声取得手段と、複数のスピーカからなるスピーカアレイにより形成される音場において、第２の車両内で取得された音声の仮想音源が、第２の車両の位置の方向に形成されるように、第２の車両内で取得された音声を加工し、スピーカアレイにより出力する。第２の車両内で取得された音声の仮想音源を、発話者の座席位置に応じて、定めてもよい。
【解決手段】第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、第２の車両の位置を取得する車両位置取得手段と、第２の車両内で取得された音声を取得する音声取得手段と、複数のスピーカからなるスピーカアレイにより形成される音場において、第２の車両内で取得された音声の仮想音源が、第２の車両の位置の方向に形成されるように、第２の車両内で取得された音声を加工し、スピーカアレイにより出力する。第２の車両内で取得された音声の仮想音源を、発話者の座席位置に応じて、定めてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載用の音声処理装置の音声処理技術に関する。
【背景技術】
【０００２】
電話回線等を利用して複数の車両間で対話可能なシステムがある。例えば、ハンズフリー電話を利用すれば、車両間で、容易に対話をすることができる。
【０００３】
【特許文献１】特開２００７−１３８３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、単に従来の電話機能を利用して、他の車両からの音声をスピーカから出力するだけでは、臨場感に欠ける。特に、車両内は、個々のプライベート空間が形成されるため、他の車両からの音声を単に出力しても、相手の存在を実感しにくい。
【０００５】
本発明の目的は、車両間での通信において、より臨場感のある対話を可能とすることにある。
【課題を解決するための手段】
【０００６】
上記課題を解決すべく、本発明では、車両の位置や発話者の座席位置に応じて、受話者の音場における、発話者の音声の仮想音源位置を定める。
【０００７】
例えば、本発明の第１の態様は、第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、前記第２の車両の位置を取得する車両位置取得手段と、前記第２の車両内で取得された音声を取得する音声取得手段と、複数のスピーカからなるスピーカアレイにより形成される音場において、前記第２の車両内で取得された音声の仮想音源が、前記第２の車両の位置の方向に形成されるように、前記第２の車両内で取得された音声を加工し、前記スピーカアレイにより出力する音声出力手段と、を備える。
【０００８】
また、本発明の第２の態様は、第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、前記第２の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得手段と、複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する前記第１の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と、を備える。
【０００９】
また、本発明の第３の態様は、第１の車両の車載装置と通信可能な、第２の車両に搭載される車載用音声処理装置であって、複数のマイクロフォンにより前記第２の車両内の音声を取得する手段と、前記第２の車両内で取得された音声を、音源ごとに分離する音声分離手段と、前記音声分離手段により分離された音声を、座席位置に対応付ける手段と、前記座席位置に対応付けた音声を、前記第１の車両の車載装置に送信する手段とを備える。
【００１０】
本発明の第４の態様は、第１の車両と第２の車両との間で音声の送受信が可能な音声処理システムであって、前記第１の車両内で取得された音声を、音源ごとに分離する音声分離手段と、前記音声分離手段により得られた音源の位置ごとの音声から、座席位置に対応付けた音声を求める手段と、複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けた音声の仮想音源が、その座席位置に対応する前記第２の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段とを備える。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明の一実施形態について、図面を参照して説明する。
【００１２】
＜第１の実施形態＞
図１は、本発明の一実施形態が適用された車載用の音声処理装置１００の概略構成図である。なお、本実施形態において、車両間での対話は、それぞれの車両に搭載された複数台の音声処理装置１００の間で行われる。また、２台とは限らず、３台以上が同時に音声の送受信を行ってもよい。この場合は、会議のように、同時に複数人での対話が可能となる。
【００１３】
本実施形態の音声出力装置１００は、ナビゲーション装置と一体となっている。図示するように、音声処理装置１００は、演算処理部１と、ディスプレイ２と、記憶装置３と、マイクロフォンアレイ４と、スピーカアレイ５と、着席センサ６と、入力装置７と、車輪速センサ８と、ジャイロセンサ９と、ＧＰＳ(Global Positioning System)受信装置１０と、通信装置１５とを備えている。
【００１４】
演算処理部１は、様々な処理を行う中心的ユニットである。例えば各種センサ８、９やＧＰＳ受信装置１０から出力される情報を基にして現在位置を検出する。また、マイクロフォンアレイ４から入力された音声を、通話相手の他の車載装置１００に送信したり、通話相手の車載装置１００から受信した音声をスピーカアレイ５から出力したりする。また、音声を認識し、認識した語句から、ユーザの入力内容を特定することも行う。
【００１５】
ディスプレイ２は、液晶表示装置などで構成され、演算処理部１で生成されたグラフィックス情報を表示するユニットである。
【００１６】
記憶装置３は、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭやＨＤＤやＩＣカードといった記憶媒体で構成されている。この記憶媒体には、地図データ等が記憶されている。
【００１７】
マイクロフォンアレイ４は、ユーザが発話した音声を取得する音声入力装置である。マイクロフォンアレイ４は、設定位置の異なる複数のマイクロフォンからなる。これにより、音声取得位置による音声の相違（遅延時間、音量など）を利用した音声分離が可能となり、各音声の音源位置を特定することができる。
【００１８】
スピーカアレイ５は、演算処理部１で生成された音声を出力するための音声出力装置である。スピーカアレイ５は、設置位置の異なる複数のスピーカからなり、それぞれのスピーカから、遅延時間や音量を変化させた音声を出力することで、聴取者（受話者）に対して音場の中に仮想音源を定位させることができる。これにより、聴取者に、実際には音源が位置しない位置から音声が出力されているかのような感覚を与えることができる。本実施形態では、これを利用して、対話の臨場感を向上させる。
【００１９】
着席センサ６は、感圧センサなどで構成され、車両内の座席に搭乗者が着席しているか否かを検知する。
【００２０】
図２は、車両３００における、マイクロフォンアレイ４、スピーカアレイ５、及び着席センサ６の配置について説明するための図（天頂からみた図）である。図示するように、マイクロフォンアレイ４は、例えば、ダッシュボード、バックミラー、ピラー等の近傍に設置された、複数（少なくとも２つ、好ましくは３〜４つ）のマイクロフォンからなる。
【００２１】
スピーカアレイ５は、各座席の搭乗者が各々に向けられた音声を聴取可能なように、座席ごとに設けられている。例えば、スピーカアレイ５は、各座席のヘッドレストに、搭乗者の左右の耳の位置に合わせて配置されている。
【００２２】
着席センサ６は、各座席３０１の座板に配されており、搭乗者の重みにより、着席状態か否かを検出する。
【００２３】
図１に戻って説明する。入力装置７は、ユーザからの指示を受け付けるユニットである。入力装置５は、スクロールキー、縮尺変更キーなどのハードスイッチ、ジョイスティック、ディスプレイ上に貼られたタッチパネルなどで構成される。
【００２４】
センサ８、９およびＧＰＳ受信装置１０は、現在地（自車位置）を検出するために使用されるものである。
【００２５】
通信装置１５は、他の車両に搭載された音声処理装置１００と通信を行うための装置である。通信装置１５は、電話回線を利用するものであってもよいし、インターネットを利用するものであってもよい。また、携帯電話と接続して、通信を行うものであってもよい。
【００２６】
図３は、演算処理部１の機能ブロック図である。
【００２７】
図示するように、演算処理部１は、ユーザ操作解析部４１と、現在位置算出部４２と、ナビゲーション処理部４３と、音声取得部４４と、音声分離部４５と、音場設定部４６と、音声加工部４７と、音声出力部４８と、通信部４９とを備えている。
【００２８】
ユーザ操作解析部４１は、入力装置７に入力されたユーザからの要求を受け、その要求内容を解析して、その要求内容に対応する処理が実行されるように演算処理部１の各部を制御する。
【００２９】
現在位置算出部４２は、各センサ８，９及びＧＰＳ受信装置１０の出力から、現在位置を求める。例えば、地図データを用いて、マップマッチングにより地図上の自車両の位置を求める。
【００３０】
ナビゲーション処理部４３は、指定された２地点（現在地、目的地）間を結ぶ推奨経路を探索したり、ディスプレイ２に推奨経路を表示し経路誘導を行ったりする。
【００３１】
音声取得部４４は、マイクロフォンアレイ４を介して、話者が発した音声を取得する処理を行う。
【００３２】
音声分離部４５は、マイクロフォンアレイ４で取得した、複数の音源から出力された音声（混合音）を、音源位置ごとの音声に分離する。音声分離部４５は、マイクロフォンアレイ４を構成する各マイクロフォンの位置を予め記憶しており、各マイクロフォンの位置を基準として、音源位置を特定する。なお、音声分離の手法については、公知の方法を用いることができるので詳述しない。
【００３３】
音場設定部４６は、スピーカアレイ５が出力する音声により聴取者に対して実現される、音場の構成（仮想音源の位置、発する音声、音量など）を決定する処理を行う。
【００３４】
音声加工部４７は、音場設定部４６で決定された音場がスピーカアレイ５により実現されるように、スピーカアレイ５を構成する各スピーカに出力する音声を加工する処理を行う。音声加工部４７は、スピーカアレイ５を構成する各スピーカの位置を予め記憶しており、各スピーカの位置を基準として音場が形成されるように音声を加工する。なお、音場における仮想音源の形成方法については、公知の方法を用いることができるので詳述しない。
【００３５】
音声出力部４８は、音声加工部４７で加工された、各スピーカで出力されるべき音声を、スピーカアレイ５に送信し、音声出力を実行する。
【００３６】
通信部４９は、通信装置１５を介して、他の音声処理装置１００との間の情報の送受信を仲介する処理を行う。
【００３７】
なお、演算処理部１は、図１に示すように、数値演算及び各デバイスを制御するといった様々な処理を実行するＣＰＵ(Central Processing Unit)１１と、記憶装置３から読み出した地図データ、演算データなどを格納するＲＡＭ(Random Access Memory)１２と、プログラムやデータを格納するＲＯＭ(Read Only Memory)１３と、外部との情報の授受を行うインターフェース１４とを備えるコンピュータシステムにより達成される。上述の演算処理部１の各機能部は、ＣＰＵがメモリにロードしたプログラムを実行することにより達成される。なお、音声処理に関して、専用のＤＳＰ（Digital Signal Processor）が行うようにしてもよい。
【００３８】
［動作の説明］次に、上記構成の複数台の音声処理装置１００の間で行われる、発話から受話までの動作について説明する。
【００３９】
図４は、かかる処理のフロー図である。
【００４０】
なお、ここでは、発話者側の音声処理装置１００と受話者側の音声処理装置１００とに分けて動作を説明する。もちろん、いずれの車両の搭乗者が発話者になるかによって、音声処理装置１００は、発話者側になったり、受話者側になったりする。
【００４１】
本フローは、複数の音声処理装置１００の間で、対話モードとなっている場合に開始される。
【００４２】
まず、発話者側の音声処理装置１００の音声取得部４４は、マイクロフォンアレイ４を介して、発話者の音声を取得する（Ｓ１１）。次に、発話者側の音声処理装置１００の通信部４９は、取得された音声を、現在位置算出部４２で算出された現在位置とともに、受話側の音声処理装置１００に送信する（Ｓ１２）。
【００４３】
これを受けて、受話側の音声処理装置１００の通信部４９は、発話者側の音声処理装置１００から送信された、発話者の音声と、発話者側の車両の現在位置を取得する（Ｓ１３）。
【００４４】
次に、受話側の音声処理装置１００の音場設定部４６は、音場の構成を設定する（Ｓ１４）。図５は、音場の構成を説明するための図である。音場設定部４６は、自車両（受話者側の車両）の現在位置と相手車両（発話者側の車両）の現在位置との関係５００に基づいて、音場５１０の構成を設定する。具体的には、自車両５０１の位置を音場５１０の中心５１１として、発話者側の車両５０２（または５０３）の現在位置に相当する位置に、発話者の音声の仮想音源５１２（または５１３）を配置し、音場５１０を構成する。また、発話者の音声の音量については、車両間の距離Ｌ１（またはＬ２）が離れる程、小さくなるように設定する。
【００４５】
すなわち、図５の例のように、自車両５０１に対して、右斜め前に発話者側の車両５０２があるとすると、車両５０２の搭乗者の音声の仮想音源５１２は、音場の中心（自身の位置）５１１に対して、右斜め前に設定される。一方、左斜め後ろに発話者側の車両５０３があるとすると、車両５０３の搭乗者の音声の仮想音源５１３は、音場の中心（自身の位置）５１１に対して、左斜め後ろに設定される。さらに、発話者の音声の音量は、自車両から遠い車両からの音声ほど小さくなるように設定されるので、図５の例では、右斜め前の車両５０２からの音声は、左斜め後ろの車両からの音声に比べて小さく設定される。
【００４６】
なお、発話者の実際の声の大きさが一定とは限らない。発話者の実際の声の大きさにばらつきがあると、車両間の距離に応じて音量を調整する意味が薄れる。そこで、音場設定部４６は、発話者側から受信した音声について、一旦音量を所定の音量に正規化した後、車両間の距離に応じて調整するようにしてもよい。
【００４７】
次に、音声加工部４７は、音場設定部４６で設定された音場が再現されるように、スピーカアレイ５を構成する各スピーカに出力されるべき音声を、元の音声を加工することにより生成する（Ｓ１５）。
【００４８】
そして、音声出力部４８は、音声加工部４７で加工された、スピーカアレイ５を構成する各スピーカに出力されるべき音声を、スピーカアレイ５に出力し、音声出力を実現する（Ｓ１６）。これにより、受話者は、発話者の発話内容を聴取することができる。
【００４９】
以上、図４のフローを用いて、発話から受話までの動作について説明した。なお、かかるフローは、いずれかの搭乗者が発話する度に繰り返される。
【００５０】
上記した本実施形態によれば、受話者に対して、スピーカアレイ５により形成される音場により、発話者側の車両位置に発話者の音源位置を定位させることができる。したがって、受話者に、あたかもその方向から発話者が発話しているかのような感覚を与えることができ、臨場感のある対話が実現する。
【００５１】
上記実施形態は、さまざまな変形が可能である。
【００５２】
例えば、ドライバ同士のみの対話、後部座席の搭乗者同士のみの対話など、特定の座席位置の搭乗者のみの対話に制限することもできる。
【００５３】
図６は、かかる場合の対話動作の処理のフロー図である。図６のフローは、図４で示した処理と基本的に同じである。ただし、マイクロフォンアレイ４で取得される「発話者の音声」に、複数の搭乗者の音声が混合していることを想定して、音声分離により特定の座席の搭乗者の音声のみを抽出するための処理Ｓ１１’が挿入されている。Ｓ１１’では、概略すると、発話者側の音声処理装置１００の音声分離部４５は、Ｓ１１において取得された音声に対して、音声分離を行って、特定の座席位置の音声のみを抽出する。
【００５４】
図７は、かかる処理を説明するための概念図である。
【００５５】
まず、音声分離部４５は、音声分離の手法（すなわち、混合音から音源位置ごとの音声に分離する手法）を用いて、Ｓ１１で取得された発話者の音声（混合音）７００を、音源位置７０１ごとの音声７０２に分離する。
【００５６】
一方、音声分離部４５は、座席位置７１１と車両内の空間領域７１２との対応表７１０を保持している。図２を用いて説明すると、車両３００の内部空間は、座席位置（ドライバ位置（右前）、助手席位置（左前）、後部右側位置、後部左側位置）に対応して、座席空間Ａ１、Ａ２，Ａ３、Ａ４が定められている。すなわち、車内の三次元座標における位置は、いずれかの座席空間Ａ１〜Ａ４に属する。
【００５７】
そこで、音声分離部４５は、かかる座席位置７１１と空間領域７１２との対応表７１０を用いて、音源位置７０１に対応付けられた音声７０２を、座席位置７１１に対応付ける。そして、座席位置７１１に対応つけた音声７０２を取得する。
【００５８】
さらに音声分離部４５は、予め定められた座席位置（例えば、ドライバ位置）の音声７０２のみを抽出する。なお、いずれの座席位置の音声を抽出するかは、ユーザにより選択可能にすることができる。
【００５９】
そして、通信部４９は、Ｓ１２において、音声分離部４５により抽出された音声を、車両の現在位置とともに、受信側の音声処理装置１００に送信する。その後の処理は、上記した通りである。
【００６０】
このようにすれば、特定の座席位置の搭乗者の音声のみを、対話に用いることができる。例えば、複数の車両で同一目的地を目指す場合など、ドライバ間の対話が優先的となる場合において、他の搭乗者が発声している場合でも、ドライバの発話内容に関しては、確実に他の車両のドライバに伝えるということができる。
【００６１】
なお、音声分離の処理Ｓ１１’は、受話側の音声処理装置１００で行ってもよい。例えば、図４のフローと同様に、発話者側の通信部４９は、発話者の音声（混合音）を、受話者側の音声処理装置１００に送信する。受話者側の音声処理装置１００は、これを受信後、上記のＳ１１’と同様に、音声分離と、座席位置との対応付け、及び特定の座席位置の音声の抽出を行う。そして、抽出した音声のみが、音声出力されるようにする。
【００６２】
また、Ｓ１２において、通信部４９は、発話者の音声を送信する際に、その音声に対応付けられた座席位置も送信するようにしてもよい。そして、受話者側の音声処理装置１００では、受信した発話者の座席位置を示す情報を、表示装置に表示して、誰が発話者なのか分かるようにしてもよい。また、受話側の音声処理装置１００の音声出力部４８は、受信した発話者の座席位置に対応する座席位置のスピーカアレイ５にのみから音声出力するようにしてもよい。こうすれば、設定された座席位置の搭乗者のみで対話をすることができ、対話内容が他の座席位置の搭乗者に聴かれることがない。
【００６３】
また、発話者の座席位置ごとに、受話側で出力する際の音量を異ならせることもできる。例えば、発話者側の音声出力装置１００の通信部４９は、複数の座席位置に対応付けられた複数の音声を、座席位置の情報とともに、受話側の音声出力装置１００に送信する。受話側の音声出力装置１００の音声出力部４８は、出力しようとする音声について、対応付けられた座席位置に応じて、音量を異ならせる。例えば、優先順位を設け、ドライバ位置＞助手席位置＞後部右側位置＞後部左側位置の順に、音量を大きくする。こうすれば、重要性が高い内容を話しそうな搭乗者の会話を優先的に受話側の搭乗者に聴取させることができる。
【００６４】
＜第２の実施形態＞
第２の実施形態におけるハードウェア構成及び機能部の構成は、上記第１の実施形態と似た構成を備えている。したがって、重複する部分については説明を省略する。
【００６５】
本実施形態では、発話者の座席位置、及び受話者の座席位置に応じて、各受話者に対して提供する音場における音声の仮想音源位置を設定する。例えば、他の車両の助手席に搭乗している発話者の音声が、受話側のドライバにとっては、自車両の助手席側から発せられたように感じさせることが可能となる。
【００６６】
図８は、本実施形態にかかる発話から受話までの処理を示すフロー図である。
【００６７】
本フローは、複数の音声処理装置１００の間で、対話モードとなっている場合に開始される。
【００６８】
まず、発話者側の音声処理装置１００の音声取得部４４は、マイクロフォンアレイ４を介して、発話者の音声を取得する（Ｓ２１）。次に、音声分離部４５は、Ｓ２１において取得された音声に対して、音声分離を行って（Ｓ２２）、さらに、図７で示した方法と同様にして、座席位置ごとの音声を抽出する（Ｓ２３）。次に、発話者側の音声処理装置１００の通信部４９は、取得された音声を、現在位置算出部４２で算出された現在位置とともに、受話側の音声処理装置１００に送信する（Ｓ２４）。
【００６９】
これを受けて、受話側の音声処理装置１００の通信部４９は、発話者側の音声処理装置１００から送信された、座席位置に対応付けられた発話者の音声と、発話者側の座席位置とを取得する（Ｓ２５）。
【００７０】
次に、受話側の音声処理装置１００の音場設定部４６は、着席センサ６を介して、自車両内の各座席について着席状態か否かを検出する（Ｓ２６）。
【００７１】
さらに、音場設定部４６は、音場の構成を設定する（Ｓ２７）。図９は、音場の構成を説明するための図である。音場設定部４６は、各座席のスピーカアレイ５ごとに、異なる音場を設定することになる。また、発話者の発話者側の車両内での座席位置と、受話者の受話者側の車両内の座席位置との位置関係に基づいて、音場の構成を設定する。具体的には、音場設定部４６は、Ｓ２５で受信した座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する受話側の車両の座席位置に形成されるように、音場の構成を設定する。
【００７２】
例えば、図９（Ａ）に示すように、発話者側の車両において助手席の搭乗者が発話者である音声があるとする。受話者側の車両のドライバ席の音場を設定す場合、音場設定部４６は、まず、ドライバ位置を中心とした音場を設定する。そして、図９（Ｂ）に示すように、発話者（発話者側の車両の助手席の搭乗者）の音声の仮想音源８００を、ドライバ位置からみた助手席位置の方向に設定する。
【００７３】
ところで、発話者の座席位置に対応する受話者側の座席位置に、既に搭乗者がいる場合がある。かかる場合に、その座席位置に仮想音源を設定すると、発話者の音声と実際の搭乗者の音声が混じり、受話者に違和感を与える。そこで、音場設定部４６は、
（１）Ｓ２５で取得した座席位置に対応付けられた音声のうち、自車両の未着席状態の座席位置に対応する音声については、その座席位置を音源位置と設定する。
（２）一方、Ｓ２５で取得した座席位置に対応付けられた音声のうち、自車両の着席状態の座席位置に対応する音声については、他の未着席の座席位置（または、予め定めた位置（例えば、車両中央の天井位置）を音源位置と設定する。
【００７４】
こうして音場が設定されると、音声加工部４７は、音場設定部４６で設定された音場が再現されるように、各座席のスピーカアレイ５ごとに、スピーカアレイ５を構成する各スピーカに出力されるべき音声を、元の音声を加工することにより生成する（Ｓ２８）。
【００７５】
そして、音声出力部４８は、音声加工部４７で加工された音声を、各スピーカアレイ５に出力し、音声出力を実現する（Ｓ２９）。これにより、受話者は、発話者の発話内容を聴取することができる。
【００７６】
以上、図８のフローを用いて、発話から受話までの動作について説明した。なお、かかるフローは、いずれかの搭乗者が発話する度に繰り返される。
【００７７】
上記した第２の実施形態によれば、発話者の音源位置を、発話者と受話者との座席の位置関係に基づいて定める。したがって、受話者に対して、あたかも自車両の対応する座席に発話者が存在するかのような感覚を与えることができ、より臨場感のある対話を実現することができる。
【００７８】
本実施形態は、さまざまな変形が可能である。
【００７９】
例えば、上記第１の実施形態の変形例で説明したのと同様に、ドライバ同士のみの対話、後部座席の搭乗者同士のみの対話など、特定の座席位置の搭乗者のみの対話に制限することもできる。
【００８０】
図１０は、かかる場合の対話動作の処理のフロー図である。また、図１１は、かかる場合の音場の構成を説明するための図である。図１０のフローは、図８で示した処理と基本的に同じである。ただし、マイクロフォンアレイ４で取得される「発話者の音声」に、複数の搭乗者の音声が混合していることを想定して、音声分離により特定の座席の搭乗者の音声のみを抽出するための処理Ｓ２３’が挿入されている。すなわち、発話者側の音声処理装置１００の音声分離部４５は、Ｓ２３において取得された座席位置に対応付けられた音声から、特定の座席位置（例えば、ドライバ位置）の音声のみを抽出する。図１１の例では、発話者であるドライバの音声のみが、受話者側のスピーカアレイ５に出力されるように設定された様子を示している。さらに、受話側のドライバ位置には、既にドライバが着席しているので、音場設定部４６により、発話者の音声の仮想音源８０１の位置は、予め定められた位置（天井中央）に設定されている。なお、いずれの座席位置の音声を抽出して出力するかは、ユーザにより選択可能にすることができる。
【００８１】
このようにすれば、特定の座席位置の搭乗者の音声のみを、対話に用いることができる。例えば、複数の車両で同一目的地を目指す場合など、ドライバ間の対話が優先的となる場合において、他の搭乗者が発声している場合でも、ドライバの発話内容に関しては、確実に他の車両のドライバに伝えることができる。
【００８２】
なお、音声分離に係る処理Ｓ２２、Ｓ２３（対話者を制限する場合、さらにＳ２３’）は、受話側の音声処理装置１００で行ってもよい。例えば、発話者側の通信部４９は、発話者の音声（混合音）を、受話者側の音声処理装置１００に送信する。受話者側の音声処理装置１００は、これを受信後、Ｓ２２、Ｓ２３（対話者を制限する場合、さらにＳ２３’）と同様に、音声分離と、座席位置との対応付け、（対話者を制限する場合、さらに特定の座席位置の音声の抽出）を行う。そして、音場設定部４６は、抽出された音声のみを、音場に割り当てる。これにより、音声出力部４８は、特定の座席位置の発話者の音声のみを出力することになる。
【００８３】
また、図８及び図１０のフローでは、着席状態か否かを判定したが、これに限定されない。ユーザの選択に応じて、着席状態の判定を行わないでもよい。そして、着席状態か否かに関らず、一律に、該当する座席位置に仮想音源の位置を割り当てるようにしてもよい。
【００８４】
また、音場の設定Ｓ２７において、音場設定部４６は、受話者の自身の位置（音場の中心）を中心として、円卓会議を行うように、周囲に、発話者の音声の音源位置を割り当ててもよい。発話者の音声の音源位置をどのように配置するかについては、ユーザから選択を受け付けるようにすることができる。
【００８５】
また、３台上の複数台で対話を行う場合、同じ座席位置の搭乗者が同時に発話する場合がある。かかる場合、音場設定部４６は、車両ごとに予め優先順位を設けておき、優先順位に応じて発話者の音量を大きく設定してもよい。または、同時に発話した発話者の中の、優先順位が最も高い発話者の音声のみを出力するようにしてもよい。
【００８６】
また、上記第１の実施形態と第２の実施形態は、適宜組み合わせることも可能である。すなわち、受話者側の音声処理装置１００の音場設定部４６は、発話者の音源位置を、車両同士の位置関係により概略設定し、さらに、車両内の座席位置に応じて、細かく設定することもできる。または、出力しようとする音声に対応付けられた座席位置が、所定の座席位置（例えば、ドライバ位置）である場合、車両間の距離が遠くても、他の座席の発話者の音声に比べて音量を大きく出力するように設定することもできる。
【図面の簡単な説明】
【００８７】
【図１】図１は、音声処理装置の概略構成図である。
【図２】図２は、マイクロフォンアレイ、スピーカアレイ、着席センサの配置を説明するための図である。
【図３】図３は、演算処理部１の機能構成を示す図である。
【図４】図４は、対話動作の処理のフロー図である。
【図５】図５は、音場の構成を設定する方法を説明するための図である。
【図６】図６は、対話動作の処理のフロー図である。
【図７】図７は、座席位置ごとの音声を求める処理を説明するための図である。
【図８】図８は、対話動作の処理のフロー図である。
【図９】図９は、音場の構成を設定する方法を説明するための図である。
【図１０】図１０は、対話動作の処理のフロー図である。
【図１１】図１１は、音場の構成を設定する方法を説明するための図である。
【符号の説明】
【００８８】
１００…音声処理装置、
１…演算処理部、２…ディスプレイ、３…記憶装置、４…マイクロフォンアレイ、５…スピーカアレイ、６…着席センサ、７…入力装置、８…車輪速センサ、９…ジャイロ、１０…ＧＰＳ受信装置、１５…通信装置、
４１…ユーザ操作解析部、４２…現在位置算出部、４３…ナビゲーション処理部、４４…音声取得部、４５…音声分離部、４６…音場設定部、４７…音声加工部、４８…音声出力部、４９…通信部
【技術分野】
【０００１】
本発明は、車載用の音声処理装置の音声処理技術に関する。
【背景技術】
【０００２】
電話回線等を利用して複数の車両間で対話可能なシステムがある。例えば、ハンズフリー電話を利用すれば、車両間で、容易に対話をすることができる。
【０００３】
【特許文献１】特開２００７−１３８３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、単に従来の電話機能を利用して、他の車両からの音声をスピーカから出力するだけでは、臨場感に欠ける。特に、車両内は、個々のプライベート空間が形成されるため、他の車両からの音声を単に出力しても、相手の存在を実感しにくい。
【０００５】
本発明の目的は、車両間での通信において、より臨場感のある対話を可能とすることにある。
【課題を解決するための手段】
【０００６】
上記課題を解決すべく、本発明では、車両の位置や発話者の座席位置に応じて、受話者の音場における、発話者の音声の仮想音源位置を定める。
【０００７】
例えば、本発明の第１の態様は、第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、前記第２の車両の位置を取得する車両位置取得手段と、前記第２の車両内で取得された音声を取得する音声取得手段と、複数のスピーカからなるスピーカアレイにより形成される音場において、前記第２の車両内で取得された音声の仮想音源が、前記第２の車両の位置の方向に形成されるように、前記第２の車両内で取得された音声を加工し、前記スピーカアレイにより出力する音声出力手段と、を備える。
【０００８】
また、本発明の第２の態様は、第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、前記第２の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得手段と、複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する前記第１の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と、を備える。
【０００９】
また、本発明の第３の態様は、第１の車両の車載装置と通信可能な、第２の車両に搭載される車載用音声処理装置であって、複数のマイクロフォンにより前記第２の車両内の音声を取得する手段と、前記第２の車両内で取得された音声を、音源ごとに分離する音声分離手段と、前記音声分離手段により分離された音声を、座席位置に対応付ける手段と、前記座席位置に対応付けた音声を、前記第１の車両の車載装置に送信する手段とを備える。
【００１０】
本発明の第４の態様は、第１の車両と第２の車両との間で音声の送受信が可能な音声処理システムであって、前記第１の車両内で取得された音声を、音源ごとに分離する音声分離手段と、前記音声分離手段により得られた音源の位置ごとの音声から、座席位置に対応付けた音声を求める手段と、複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けた音声の仮想音源が、その座席位置に対応する前記第２の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段とを備える。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明の一実施形態について、図面を参照して説明する。
【００１２】
＜第１の実施形態＞
図１は、本発明の一実施形態が適用された車載用の音声処理装置１００の概略構成図である。なお、本実施形態において、車両間での対話は、それぞれの車両に搭載された複数台の音声処理装置１００の間で行われる。また、２台とは限らず、３台以上が同時に音声の送受信を行ってもよい。この場合は、会議のように、同時に複数人での対話が可能となる。
【００１３】
本実施形態の音声出力装置１００は、ナビゲーション装置と一体となっている。図示するように、音声処理装置１００は、演算処理部１と、ディスプレイ２と、記憶装置３と、マイクロフォンアレイ４と、スピーカアレイ５と、着席センサ６と、入力装置７と、車輪速センサ８と、ジャイロセンサ９と、ＧＰＳ(Global Positioning System)受信装置１０と、通信装置１５とを備えている。
【００１４】
演算処理部１は、様々な処理を行う中心的ユニットである。例えば各種センサ８、９やＧＰＳ受信装置１０から出力される情報を基にして現在位置を検出する。また、マイクロフォンアレイ４から入力された音声を、通話相手の他の車載装置１００に送信したり、通話相手の車載装置１００から受信した音声をスピーカアレイ５から出力したりする。また、音声を認識し、認識した語句から、ユーザの入力内容を特定することも行う。
【００１５】
ディスプレイ２は、液晶表示装置などで構成され、演算処理部１で生成されたグラフィックス情報を表示するユニットである。
【００１６】
記憶装置３は、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭやＨＤＤやＩＣカードといった記憶媒体で構成されている。この記憶媒体には、地図データ等が記憶されている。
【００１７】
マイクロフォンアレイ４は、ユーザが発話した音声を取得する音声入力装置である。マイクロフォンアレイ４は、設定位置の異なる複数のマイクロフォンからなる。これにより、音声取得位置による音声の相違（遅延時間、音量など）を利用した音声分離が可能となり、各音声の音源位置を特定することができる。
【００１８】
スピーカアレイ５は、演算処理部１で生成された音声を出力するための音声出力装置である。スピーカアレイ５は、設置位置の異なる複数のスピーカからなり、それぞれのスピーカから、遅延時間や音量を変化させた音声を出力することで、聴取者（受話者）に対して音場の中に仮想音源を定位させることができる。これにより、聴取者に、実際には音源が位置しない位置から音声が出力されているかのような感覚を与えることができる。本実施形態では、これを利用して、対話の臨場感を向上させる。
【００１９】
着席センサ６は、感圧センサなどで構成され、車両内の座席に搭乗者が着席しているか否かを検知する。
【００２０】
図２は、車両３００における、マイクロフォンアレイ４、スピーカアレイ５、及び着席センサ６の配置について説明するための図（天頂からみた図）である。図示するように、マイクロフォンアレイ４は、例えば、ダッシュボード、バックミラー、ピラー等の近傍に設置された、複数（少なくとも２つ、好ましくは３〜４つ）のマイクロフォンからなる。
【００２１】
スピーカアレイ５は、各座席の搭乗者が各々に向けられた音声を聴取可能なように、座席ごとに設けられている。例えば、スピーカアレイ５は、各座席のヘッドレストに、搭乗者の左右の耳の位置に合わせて配置されている。
【００２２】
着席センサ６は、各座席３０１の座板に配されており、搭乗者の重みにより、着席状態か否かを検出する。
【００２３】
図１に戻って説明する。入力装置７は、ユーザからの指示を受け付けるユニットである。入力装置５は、スクロールキー、縮尺変更キーなどのハードスイッチ、ジョイスティック、ディスプレイ上に貼られたタッチパネルなどで構成される。
【００２４】
センサ８、９およびＧＰＳ受信装置１０は、現在地（自車位置）を検出するために使用されるものである。
【００２５】
通信装置１５は、他の車両に搭載された音声処理装置１００と通信を行うための装置である。通信装置１５は、電話回線を利用するものであってもよいし、インターネットを利用するものであってもよい。また、携帯電話と接続して、通信を行うものであってもよい。
【００２６】
図３は、演算処理部１の機能ブロック図である。
【００２７】
図示するように、演算処理部１は、ユーザ操作解析部４１と、現在位置算出部４２と、ナビゲーション処理部４３と、音声取得部４４と、音声分離部４５と、音場設定部４６と、音声加工部４７と、音声出力部４８と、通信部４９とを備えている。
【００２８】
ユーザ操作解析部４１は、入力装置７に入力されたユーザからの要求を受け、その要求内容を解析して、その要求内容に対応する処理が実行されるように演算処理部１の各部を制御する。
【００２９】
現在位置算出部４２は、各センサ８，９及びＧＰＳ受信装置１０の出力から、現在位置を求める。例えば、地図データを用いて、マップマッチングにより地図上の自車両の位置を求める。
【００３０】
ナビゲーション処理部４３は、指定された２地点（現在地、目的地）間を結ぶ推奨経路を探索したり、ディスプレイ２に推奨経路を表示し経路誘導を行ったりする。
【００３１】
音声取得部４４は、マイクロフォンアレイ４を介して、話者が発した音声を取得する処理を行う。
【００３２】
音声分離部４５は、マイクロフォンアレイ４で取得した、複数の音源から出力された音声（混合音）を、音源位置ごとの音声に分離する。音声分離部４５は、マイクロフォンアレイ４を構成する各マイクロフォンの位置を予め記憶しており、各マイクロフォンの位置を基準として、音源位置を特定する。なお、音声分離の手法については、公知の方法を用いることができるので詳述しない。
【００３３】
音場設定部４６は、スピーカアレイ５が出力する音声により聴取者に対して実現される、音場の構成（仮想音源の位置、発する音声、音量など）を決定する処理を行う。
【００３４】
音声加工部４７は、音場設定部４６で決定された音場がスピーカアレイ５により実現されるように、スピーカアレイ５を構成する各スピーカに出力する音声を加工する処理を行う。音声加工部４７は、スピーカアレイ５を構成する各スピーカの位置を予め記憶しており、各スピーカの位置を基準として音場が形成されるように音声を加工する。なお、音場における仮想音源の形成方法については、公知の方法を用いることができるので詳述しない。
【００３５】
音声出力部４８は、音声加工部４７で加工された、各スピーカで出力されるべき音声を、スピーカアレイ５に送信し、音声出力を実行する。
【００３６】
通信部４９は、通信装置１５を介して、他の音声処理装置１００との間の情報の送受信を仲介する処理を行う。
【００３７】
なお、演算処理部１は、図１に示すように、数値演算及び各デバイスを制御するといった様々な処理を実行するＣＰＵ(Central Processing Unit)１１と、記憶装置３から読み出した地図データ、演算データなどを格納するＲＡＭ(Random Access Memory)１２と、プログラムやデータを格納するＲＯＭ(Read Only Memory)１３と、外部との情報の授受を行うインターフェース１４とを備えるコンピュータシステムにより達成される。上述の演算処理部１の各機能部は、ＣＰＵがメモリにロードしたプログラムを実行することにより達成される。なお、音声処理に関して、専用のＤＳＰ（Digital Signal Processor）が行うようにしてもよい。
【００３８】
［動作の説明］次に、上記構成の複数台の音声処理装置１００の間で行われる、発話から受話までの動作について説明する。
【００３９】
図４は、かかる処理のフロー図である。
【００４０】
なお、ここでは、発話者側の音声処理装置１００と受話者側の音声処理装置１００とに分けて動作を説明する。もちろん、いずれの車両の搭乗者が発話者になるかによって、音声処理装置１００は、発話者側になったり、受話者側になったりする。
【００４１】
本フローは、複数の音声処理装置１００の間で、対話モードとなっている場合に開始される。
【００４２】
まず、発話者側の音声処理装置１００の音声取得部４４は、マイクロフォンアレイ４を介して、発話者の音声を取得する（Ｓ１１）。次に、発話者側の音声処理装置１００の通信部４９は、取得された音声を、現在位置算出部４２で算出された現在位置とともに、受話側の音声処理装置１００に送信する（Ｓ１２）。
【００４３】
これを受けて、受話側の音声処理装置１００の通信部４９は、発話者側の音声処理装置１００から送信された、発話者の音声と、発話者側の車両の現在位置を取得する（Ｓ１３）。
【００４４】
次に、受話側の音声処理装置１００の音場設定部４６は、音場の構成を設定する（Ｓ１４）。図５は、音場の構成を説明するための図である。音場設定部４６は、自車両（受話者側の車両）の現在位置と相手車両（発話者側の車両）の現在位置との関係５００に基づいて、音場５１０の構成を設定する。具体的には、自車両５０１の位置を音場５１０の中心５１１として、発話者側の車両５０２（または５０３）の現在位置に相当する位置に、発話者の音声の仮想音源５１２（または５１３）を配置し、音場５１０を構成する。また、発話者の音声の音量については、車両間の距離Ｌ１（またはＬ２）が離れる程、小さくなるように設定する。
【００４５】
すなわち、図５の例のように、自車両５０１に対して、右斜め前に発話者側の車両５０２があるとすると、車両５０２の搭乗者の音声の仮想音源５１２は、音場の中心（自身の位置）５１１に対して、右斜め前に設定される。一方、左斜め後ろに発話者側の車両５０３があるとすると、車両５０３の搭乗者の音声の仮想音源５１３は、音場の中心（自身の位置）５１１に対して、左斜め後ろに設定される。さらに、発話者の音声の音量は、自車両から遠い車両からの音声ほど小さくなるように設定されるので、図５の例では、右斜め前の車両５０２からの音声は、左斜め後ろの車両からの音声に比べて小さく設定される。
【００４６】
なお、発話者の実際の声の大きさが一定とは限らない。発話者の実際の声の大きさにばらつきがあると、車両間の距離に応じて音量を調整する意味が薄れる。そこで、音場設定部４６は、発話者側から受信した音声について、一旦音量を所定の音量に正規化した後、車両間の距離に応じて調整するようにしてもよい。
【００４７】
次に、音声加工部４７は、音場設定部４６で設定された音場が再現されるように、スピーカアレイ５を構成する各スピーカに出力されるべき音声を、元の音声を加工することにより生成する（Ｓ１５）。
【００４８】
そして、音声出力部４８は、音声加工部４７で加工された、スピーカアレイ５を構成する各スピーカに出力されるべき音声を、スピーカアレイ５に出力し、音声出力を実現する（Ｓ１６）。これにより、受話者は、発話者の発話内容を聴取することができる。
【００４９】
以上、図４のフローを用いて、発話から受話までの動作について説明した。なお、かかるフローは、いずれかの搭乗者が発話する度に繰り返される。
【００５０】
上記した本実施形態によれば、受話者に対して、スピーカアレイ５により形成される音場により、発話者側の車両位置に発話者の音源位置を定位させることができる。したがって、受話者に、あたかもその方向から発話者が発話しているかのような感覚を与えることができ、臨場感のある対話が実現する。
【００５１】
上記実施形態は、さまざまな変形が可能である。
【００５２】
例えば、ドライバ同士のみの対話、後部座席の搭乗者同士のみの対話など、特定の座席位置の搭乗者のみの対話に制限することもできる。
【００５３】
図６は、かかる場合の対話動作の処理のフロー図である。図６のフローは、図４で示した処理と基本的に同じである。ただし、マイクロフォンアレイ４で取得される「発話者の音声」に、複数の搭乗者の音声が混合していることを想定して、音声分離により特定の座席の搭乗者の音声のみを抽出するための処理Ｓ１１’が挿入されている。Ｓ１１’では、概略すると、発話者側の音声処理装置１００の音声分離部４５は、Ｓ１１において取得された音声に対して、音声分離を行って、特定の座席位置の音声のみを抽出する。
【００５４】
図７は、かかる処理を説明するための概念図である。
【００５５】
まず、音声分離部４５は、音声分離の手法（すなわち、混合音から音源位置ごとの音声に分離する手法）を用いて、Ｓ１１で取得された発話者の音声（混合音）７００を、音源位置７０１ごとの音声７０２に分離する。
【００５６】
一方、音声分離部４５は、座席位置７１１と車両内の空間領域７１２との対応表７１０を保持している。図２を用いて説明すると、車両３００の内部空間は、座席位置（ドライバ位置（右前）、助手席位置（左前）、後部右側位置、後部左側位置）に対応して、座席空間Ａ１、Ａ２，Ａ３、Ａ４が定められている。すなわち、車内の三次元座標における位置は、いずれかの座席空間Ａ１〜Ａ４に属する。
【００５７】
そこで、音声分離部４５は、かかる座席位置７１１と空間領域７１２との対応表７１０を用いて、音源位置７０１に対応付けられた音声７０２を、座席位置７１１に対応付ける。そして、座席位置７１１に対応つけた音声７０２を取得する。
【００５８】
さらに音声分離部４５は、予め定められた座席位置（例えば、ドライバ位置）の音声７０２のみを抽出する。なお、いずれの座席位置の音声を抽出するかは、ユーザにより選択可能にすることができる。
【００５９】
そして、通信部４９は、Ｓ１２において、音声分離部４５により抽出された音声を、車両の現在位置とともに、受信側の音声処理装置１００に送信する。その後の処理は、上記した通りである。
【００６０】
このようにすれば、特定の座席位置の搭乗者の音声のみを、対話に用いることができる。例えば、複数の車両で同一目的地を目指す場合など、ドライバ間の対話が優先的となる場合において、他の搭乗者が発声している場合でも、ドライバの発話内容に関しては、確実に他の車両のドライバに伝えるということができる。
【００６１】
なお、音声分離の処理Ｓ１１’は、受話側の音声処理装置１００で行ってもよい。例えば、図４のフローと同様に、発話者側の通信部４９は、発話者の音声（混合音）を、受話者側の音声処理装置１００に送信する。受話者側の音声処理装置１００は、これを受信後、上記のＳ１１’と同様に、音声分離と、座席位置との対応付け、及び特定の座席位置の音声の抽出を行う。そして、抽出した音声のみが、音声出力されるようにする。
【００６２】
また、Ｓ１２において、通信部４９は、発話者の音声を送信する際に、その音声に対応付けられた座席位置も送信するようにしてもよい。そして、受話者側の音声処理装置１００では、受信した発話者の座席位置を示す情報を、表示装置に表示して、誰が発話者なのか分かるようにしてもよい。また、受話側の音声処理装置１００の音声出力部４８は、受信した発話者の座席位置に対応する座席位置のスピーカアレイ５にのみから音声出力するようにしてもよい。こうすれば、設定された座席位置の搭乗者のみで対話をすることができ、対話内容が他の座席位置の搭乗者に聴かれることがない。
【００６３】
また、発話者の座席位置ごとに、受話側で出力する際の音量を異ならせることもできる。例えば、発話者側の音声出力装置１００の通信部４９は、複数の座席位置に対応付けられた複数の音声を、座席位置の情報とともに、受話側の音声出力装置１００に送信する。受話側の音声出力装置１００の音声出力部４８は、出力しようとする音声について、対応付けられた座席位置に応じて、音量を異ならせる。例えば、優先順位を設け、ドライバ位置＞助手席位置＞後部右側位置＞後部左側位置の順に、音量を大きくする。こうすれば、重要性が高い内容を話しそうな搭乗者の会話を優先的に受話側の搭乗者に聴取させることができる。
【００６４】
＜第２の実施形態＞
第２の実施形態におけるハードウェア構成及び機能部の構成は、上記第１の実施形態と似た構成を備えている。したがって、重複する部分については説明を省略する。
【００６５】
本実施形態では、発話者の座席位置、及び受話者の座席位置に応じて、各受話者に対して提供する音場における音声の仮想音源位置を設定する。例えば、他の車両の助手席に搭乗している発話者の音声が、受話側のドライバにとっては、自車両の助手席側から発せられたように感じさせることが可能となる。
【００６６】
図８は、本実施形態にかかる発話から受話までの処理を示すフロー図である。
【００６７】
本フローは、複数の音声処理装置１００の間で、対話モードとなっている場合に開始される。
【００６８】
まず、発話者側の音声処理装置１００の音声取得部４４は、マイクロフォンアレイ４を介して、発話者の音声を取得する（Ｓ２１）。次に、音声分離部４５は、Ｓ２１において取得された音声に対して、音声分離を行って（Ｓ２２）、さらに、図７で示した方法と同様にして、座席位置ごとの音声を抽出する（Ｓ２３）。次に、発話者側の音声処理装置１００の通信部４９は、取得された音声を、現在位置算出部４２で算出された現在位置とともに、受話側の音声処理装置１００に送信する（Ｓ２４）。
【００６９】
これを受けて、受話側の音声処理装置１００の通信部４９は、発話者側の音声処理装置１００から送信された、座席位置に対応付けられた発話者の音声と、発話者側の座席位置とを取得する（Ｓ２５）。
【００７０】
次に、受話側の音声処理装置１００の音場設定部４６は、着席センサ６を介して、自車両内の各座席について着席状態か否かを検出する（Ｓ２６）。
【００７１】
さらに、音場設定部４６は、音場の構成を設定する（Ｓ２７）。図９は、音場の構成を説明するための図である。音場設定部４６は、各座席のスピーカアレイ５ごとに、異なる音場を設定することになる。また、発話者の発話者側の車両内での座席位置と、受話者の受話者側の車両内の座席位置との位置関係に基づいて、音場の構成を設定する。具体的には、音場設定部４６は、Ｓ２５で受信した座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する受話側の車両の座席位置に形成されるように、音場の構成を設定する。
【００７２】
例えば、図９（Ａ）に示すように、発話者側の車両において助手席の搭乗者が発話者である音声があるとする。受話者側の車両のドライバ席の音場を設定す場合、音場設定部４６は、まず、ドライバ位置を中心とした音場を設定する。そして、図９（Ｂ）に示すように、発話者（発話者側の車両の助手席の搭乗者）の音声の仮想音源８００を、ドライバ位置からみた助手席位置の方向に設定する。
【００７３】
ところで、発話者の座席位置に対応する受話者側の座席位置に、既に搭乗者がいる場合がある。かかる場合に、その座席位置に仮想音源を設定すると、発話者の音声と実際の搭乗者の音声が混じり、受話者に違和感を与える。そこで、音場設定部４６は、
（１）Ｓ２５で取得した座席位置に対応付けられた音声のうち、自車両の未着席状態の座席位置に対応する音声については、その座席位置を音源位置と設定する。
（２）一方、Ｓ２５で取得した座席位置に対応付けられた音声のうち、自車両の着席状態の座席位置に対応する音声については、他の未着席の座席位置（または、予め定めた位置（例えば、車両中央の天井位置）を音源位置と設定する。
【００７４】
こうして音場が設定されると、音声加工部４７は、音場設定部４６で設定された音場が再現されるように、各座席のスピーカアレイ５ごとに、スピーカアレイ５を構成する各スピーカに出力されるべき音声を、元の音声を加工することにより生成する（Ｓ２８）。
【００７５】
そして、音声出力部４８は、音声加工部４７で加工された音声を、各スピーカアレイ５に出力し、音声出力を実現する（Ｓ２９）。これにより、受話者は、発話者の発話内容を聴取することができる。
【００７６】
以上、図８のフローを用いて、発話から受話までの動作について説明した。なお、かかるフローは、いずれかの搭乗者が発話する度に繰り返される。
【００７７】
上記した第２の実施形態によれば、発話者の音源位置を、発話者と受話者との座席の位置関係に基づいて定める。したがって、受話者に対して、あたかも自車両の対応する座席に発話者が存在するかのような感覚を与えることができ、より臨場感のある対話を実現することができる。
【００７８】
本実施形態は、さまざまな変形が可能である。
【００７９】
例えば、上記第１の実施形態の変形例で説明したのと同様に、ドライバ同士のみの対話、後部座席の搭乗者同士のみの対話など、特定の座席位置の搭乗者のみの対話に制限することもできる。
【００８０】
図１０は、かかる場合の対話動作の処理のフロー図である。また、図１１は、かかる場合の音場の構成を説明するための図である。図１０のフローは、図８で示した処理と基本的に同じである。ただし、マイクロフォンアレイ４で取得される「発話者の音声」に、複数の搭乗者の音声が混合していることを想定して、音声分離により特定の座席の搭乗者の音声のみを抽出するための処理Ｓ２３’が挿入されている。すなわち、発話者側の音声処理装置１００の音声分離部４５は、Ｓ２３において取得された座席位置に対応付けられた音声から、特定の座席位置（例えば、ドライバ位置）の音声のみを抽出する。図１１の例では、発話者であるドライバの音声のみが、受話者側のスピーカアレイ５に出力されるように設定された様子を示している。さらに、受話側のドライバ位置には、既にドライバが着席しているので、音場設定部４６により、発話者の音声の仮想音源８０１の位置は、予め定められた位置（天井中央）に設定されている。なお、いずれの座席位置の音声を抽出して出力するかは、ユーザにより選択可能にすることができる。
【００８１】
このようにすれば、特定の座席位置の搭乗者の音声のみを、対話に用いることができる。例えば、複数の車両で同一目的地を目指す場合など、ドライバ間の対話が優先的となる場合において、他の搭乗者が発声している場合でも、ドライバの発話内容に関しては、確実に他の車両のドライバに伝えることができる。
【００８２】
なお、音声分離に係る処理Ｓ２２、Ｓ２３（対話者を制限する場合、さらにＳ２３’）は、受話側の音声処理装置１００で行ってもよい。例えば、発話者側の通信部４９は、発話者の音声（混合音）を、受話者側の音声処理装置１００に送信する。受話者側の音声処理装置１００は、これを受信後、Ｓ２２、Ｓ２３（対話者を制限する場合、さらにＳ２３’）と同様に、音声分離と、座席位置との対応付け、（対話者を制限する場合、さらに特定の座席位置の音声の抽出）を行う。そして、音場設定部４６は、抽出された音声のみを、音場に割り当てる。これにより、音声出力部４８は、特定の座席位置の発話者の音声のみを出力することになる。
【００８３】
また、図８及び図１０のフローでは、着席状態か否かを判定したが、これに限定されない。ユーザの選択に応じて、着席状態の判定を行わないでもよい。そして、着席状態か否かに関らず、一律に、該当する座席位置に仮想音源の位置を割り当てるようにしてもよい。
【００８４】
また、音場の設定Ｓ２７において、音場設定部４６は、受話者の自身の位置（音場の中心）を中心として、円卓会議を行うように、周囲に、発話者の音声の音源位置を割り当ててもよい。発話者の音声の音源位置をどのように配置するかについては、ユーザから選択を受け付けるようにすることができる。
【００８５】
また、３台上の複数台で対話を行う場合、同じ座席位置の搭乗者が同時に発話する場合がある。かかる場合、音場設定部４６は、車両ごとに予め優先順位を設けておき、優先順位に応じて発話者の音量を大きく設定してもよい。または、同時に発話した発話者の中の、優先順位が最も高い発話者の音声のみを出力するようにしてもよい。
【００８６】
また、上記第１の実施形態と第２の実施形態は、適宜組み合わせることも可能である。すなわち、受話者側の音声処理装置１００の音場設定部４６は、発話者の音源位置を、車両同士の位置関係により概略設定し、さらに、車両内の座席位置に応じて、細かく設定することもできる。または、出力しようとする音声に対応付けられた座席位置が、所定の座席位置（例えば、ドライバ位置）である場合、車両間の距離が遠くても、他の座席の発話者の音声に比べて音量を大きく出力するように設定することもできる。
【図面の簡単な説明】
【００８７】
【図１】図１は、音声処理装置の概略構成図である。
【図２】図２は、マイクロフォンアレイ、スピーカアレイ、着席センサの配置を説明するための図である。
【図３】図３は、演算処理部１の機能構成を示す図である。
【図４】図４は、対話動作の処理のフロー図である。
【図５】図５は、音場の構成を設定する方法を説明するための図である。
【図６】図６は、対話動作の処理のフロー図である。
【図７】図７は、座席位置ごとの音声を求める処理を説明するための図である。
【図８】図８は、対話動作の処理のフロー図である。
【図９】図９は、音場の構成を設定する方法を説明するための図である。
【図１０】図１０は、対話動作の処理のフロー図である。
【図１１】図１１は、音場の構成を設定する方法を説明するための図である。
【符号の説明】
【００８８】
１００…音声処理装置、
１…演算処理部、２…ディスプレイ、３…記憶装置、４…マイクロフォンアレイ、５…スピーカアレイ、６…着席センサ、７…入力装置、８…車輪速センサ、９…ジャイロ、１０…ＧＰＳ受信装置、１５…通信装置、
４１…ユーザ操作解析部、４２…現在位置算出部、４３…ナビゲーション処理部、４４…音声取得部、４５…音声分離部、４６…音場設定部、４７…音声加工部、４８…音声出力部、４９…通信部
【特許請求の範囲】
【請求項１】
第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、
前記第２の車両の位置を取得する車両位置取得手段と、
前記第２の車両内で取得された音声を取得する音声取得手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記第２の車両内で取得された音声の仮想音源が、前記第２の車両の位置の方向に形成されるように、前記第２の車両内で取得された音声を加工し、前記スピーカアレイにより出力する音声出力手段と、
を備えることを特徴とする車載用音声処理装置。
【請求項２】
請求項１に記載の車載用音声処理装置であって、
前記音声出力手段は、
前記第１の車両と前記第２の車両との間の距離が離れている程、前記第２の車両内で取得された音声の音量を小さくして出力する
ことを特徴とする車載用音声処理装置。
【請求項３】
請求項１に記載の車載用音声処理装置であって、
前記音声出力手段は、
前記第２の車両内で取得された音声を、予め定めた一定の音量に調整したのち、前記第１の車両と前記第２の車両との距離に応じて、音量を調整する
ことを特徴とする車載用音声処理装置。
【請求項４】
請求項１に記載の車載用音声処理装置であって、
前記第２の車両内で取得された音声を、音源ごとに分離する音声分離手段と、
前記音声分離手段により分離された音声の中から、予め定められた車両内の座席位置に対応する音源位置の音声を抽出する音声抽出手段とを備え、
前記音声出力手段は、
前記音声抽出手段で抽出した音声を前記スピーカアレイに出力する
ことを特徴とする車載用音声処理装置。
【請求項５】
第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、
前記第２の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する前記第１の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と
を備えることを特徴とする車載用音声処理装置。
【請求項６】
請求項５に記載の車載用音声処理装置であって、
前記音声取得手段は、
前記第２の車両内で取得された音声を、音源の位置ごとの音声に分離したのち、座席位置に対応付けることにより、前記座席位置に対応付けられた音声を取得する
ことを特徴とする車載用音声処理装置。
【請求項７】
請求項５に記載の車載用音声処理装置であって、
前記第１の車両内の座席について着席状態か否かを判定する着席判定手段を備え、
前記音声出力手段は、
前記着席判定手段により着席状態と判定された座席に対応する前記第２の座席位置に対応付けられた音声については、その仮想音源が、前記第１の車両内の着席状態でない座席位置又は予め定めた位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する
ことを特徴とする車載用音声処理装置。
【請求項８】
第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、
前記第２の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、前記音場の中心位置を囲うような位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と
を備えることを特徴とする車載用音声処理装置。
【請求項９】
第１の車両の車載装置と通信可能な、第２の車両に搭載される車載用音声処理装置であって、
複数のマイクロフォンにより前記第２の車両内の音声を取得する手段と、
前記第２の車両内で取得された音声を、音源ごとに分離する音声分離手段と、
前記音声分離手段により分離された音声を、座席位置に対応付ける手段と、
前記座席位置に対応付けた音声を、前記第１の車両の車載装置に送信する手段と
を備えることを特徴とする車載用音声処理装置。
【請求項１０】
第１の車両と第２の車両との間で音声の送受信が可能な音声処理システムであって
前記第１の車両内で取得された音声を、音源ごとに分離する音声分離手段と、
前記音声分離手段により得られた音源の位置ごとの音声から、座席位置に対応付けた音声を求める手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けた音声の仮想音源が、その座席位置に対応する前記第２の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と
を備えることを特徴とする音声処理システム。
【請求項１１】
第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置の音声処理方法であって、
前記第２の車両の位置を取得する車両位置取得ステップと、
前記第２の車両内で取得された音声を取得する音声取得ステップと、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記第２の車両内で取得された音声の仮想音源が、前記第２の車両の位置の方向に形成されるように、前記第２の車両内で取得された音声を加工し、前記スピーカアレイにより出力する音声出力ステップと、
を有することを特徴とする音声処理方法。
【請求項１２】
第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置の音声処理方法であって、
前記第２の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得ステップと、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する前記第２の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力ステップと
を備えることを特徴とする音声処理方法。
【請求項１】
第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、
前記第２の車両の位置を取得する車両位置取得手段と、
前記第２の車両内で取得された音声を取得する音声取得手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記第２の車両内で取得された音声の仮想音源が、前記第２の車両の位置の方向に形成されるように、前記第２の車両内で取得された音声を加工し、前記スピーカアレイにより出力する音声出力手段と、
を備えることを特徴とする車載用音声処理装置。
【請求項２】
請求項１に記載の車載用音声処理装置であって、
前記音声出力手段は、
前記第１の車両と前記第２の車両との間の距離が離れている程、前記第２の車両内で取得された音声の音量を小さくして出力する
ことを特徴とする車載用音声処理装置。
【請求項３】
請求項１に記載の車載用音声処理装置であって、
前記音声出力手段は、
前記第２の車両内で取得された音声を、予め定めた一定の音量に調整したのち、前記第１の車両と前記第２の車両との距離に応じて、音量を調整する
ことを特徴とする車載用音声処理装置。
【請求項４】
請求項１に記載の車載用音声処理装置であって、
前記第２の車両内で取得された音声を、音源ごとに分離する音声分離手段と、
前記音声分離手段により分離された音声の中から、予め定められた車両内の座席位置に対応する音源位置の音声を抽出する音声抽出手段とを備え、
前記音声出力手段は、
前記音声抽出手段で抽出した音声を前記スピーカアレイに出力する
ことを特徴とする車載用音声処理装置。
【請求項５】
第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、
前記第２の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する前記第１の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と
を備えることを特徴とする車載用音声処理装置。
【請求項６】
請求項５に記載の車載用音声処理装置であって、
前記音声取得手段は、
前記第２の車両内で取得された音声を、音源の位置ごとの音声に分離したのち、座席位置に対応付けることにより、前記座席位置に対応付けられた音声を取得する
ことを特徴とする車載用音声処理装置。
【請求項７】
請求項５に記載の車載用音声処理装置であって、
前記第１の車両内の座席について着席状態か否かを判定する着席判定手段を備え、
前記音声出力手段は、
前記着席判定手段により着席状態と判定された座席に対応する前記第２の座席位置に対応付けられた音声については、その仮想音源が、前記第１の車両内の着席状態でない座席位置又は予め定めた位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する
ことを特徴とする車載用音声処理装置。
【請求項８】
第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置であって、
前記第２の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、前記音場の中心位置を囲うような位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と
を備えることを特徴とする車載用音声処理装置。
【請求項９】
第１の車両の車載装置と通信可能な、第２の車両に搭載される車載用音声処理装置であって、
複数のマイクロフォンにより前記第２の車両内の音声を取得する手段と、
前記第２の車両内で取得された音声を、音源ごとに分離する音声分離手段と、
前記音声分離手段により分離された音声を、座席位置に対応付ける手段と、
前記座席位置に対応付けた音声を、前記第１の車両の車載装置に送信する手段と
を備えることを特徴とする車載用音声処理装置。
【請求項１０】
第１の車両と第２の車両との間で音声の送受信が可能な音声処理システムであって
前記第１の車両内で取得された音声を、音源ごとに分離する音声分離手段と、
前記音声分離手段により得られた音源の位置ごとの音声から、座席位置に対応付けた音声を求める手段と、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けた音声の仮想音源が、その座席位置に対応する前記第２の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力手段と
を備えることを特徴とする音声処理システム。
【請求項１１】
第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置の音声処理方法であって、
前記第２の車両の位置を取得する車両位置取得ステップと、
前記第２の車両内で取得された音声を取得する音声取得ステップと、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記第２の車両内で取得された音声の仮想音源が、前記第２の車両の位置の方向に形成されるように、前記第２の車両内で取得された音声を加工し、前記スピーカアレイにより出力する音声出力ステップと、
を有することを特徴とする音声処理方法。
【請求項１２】
第１の車両に搭載され、第２の車両の車載装置と通信可能な車載用音声処理装置の音声処理方法であって、
前記第２の車両内で取得され、音源位置ごとに分離され、かつ座席位置に対応付けられた音声を取得する音声取得ステップと、
複数のスピーカからなるスピーカアレイにより形成される音場において、前記座席位置に対応付けられた音声の仮想音源が、その座席位置に対応する前記第２の車両の座席位置に形成されるように、前記座席位置ごとの音声を加工し、前記スピーカアレイにより出力する音声出力ステップと
を備えることを特徴とする音声処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−２３４８６（Ｐ２００９−２３４８６Ａ）
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００７−１８８２０７（Ｐ２００７−１８８２０７）
【出願日】平成１９年７月１９日（２００７．７．１９）
【出願人】（５９１１３２３３５）株式会社ザナヴィ・インフォマティクス (745)
【Ｆターム（参考）】
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１９年７月１９日（２００７．７．１９）
【出願人】（５９１１３２３３５）株式会社ザナヴィ・インフォマティクス (745)
【Ｆターム（参考）】
[ Back to top ]