車室内音声対話装置
【課題】自動車の走行の安全性を損なわずに、短時間でユーザに情報を提供する。
【解決手段】自動車内における乗員の乗車位置を検知する乗員検知部と、テキスト情報を音声に変換して出力する音声出力部と、前記テキスト情報を画像に変換して表示する画像表示部と、前記乗員検知部の検知結果に基づいて、前記音声出力部又は前記画像表示部のいずれか一方を選択し、前記選択された前記音声出力部又は前記画像表示部に前記テキスト情報を出力させる切り替え部と、を備える。
【解決手段】自動車内における乗員の乗車位置を検知する乗員検知部と、テキスト情報を音声に変換して出力する音声出力部と、前記テキスト情報を画像に変換して表示する画像表示部と、前記乗員検知部の検知結果に基づいて、前記音声出力部又は前記画像表示部のいずれか一方を選択し、前記選択された前記音声出力部又は前記画像表示部に前記テキスト情報を出力させる切り替え部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本願明細書で開示される技術は、車室内に搭載される音声対話装置に関する。
【背景技術】
【０００２】
自動車に搭載されるカーナビゲーションシステムには、音声対話機能を備えるものが広く使われている（例えば特許文献１参照）。従来、音声対話機能を実現するために必要な音声認識技術及び音声合成技術が広く検討されている。音声認識技術は、マイクロホンを通して入力された音声波形をテキスト化する技術である。音声合成技術は、テキストから音声波形を生成する技術である。音声認識技術と音声合成技術を組み合わせることで、カーナビゲーションシステムがユーザと音声で会話することが可能となる。また、車室内で録音した音声波形には様々な騒音が重畳するため、音声認識率が大幅に劣化するという問題がある。この問題に対して、複数のマイクロホン素子を有するマイクロホンアレイを用いて騒音を抑圧し、所望の音声のみを抽出する音源分離技術が広く検討されている。
【特許文献１】特開２００４−１０９３２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来のカーナビゲーションシステムでは、ドライバが発話することを前提に作られているため、受理する音声認識辞書の内容を全て音声合成で読み上げるような構成になっていた。しかし、選択肢を全て読み上げるのにかかる時間が長いため、音声対話が終了するまでの時間が長くなってしまうという課題があった。一方、選択肢は、読み上げられる代わりにディスプレイに表示されてもよい。しかし、ディスプレイに選択肢を表示する方法は、音声対話が終了するまでの時間が短いという利点はあるものの、ドライバが音声対話を行う場合に使用することは好ましくない。自動車を運転中のドライバがディスプレイを目視することによって安全性が損なわれるためである。
【課題を解決するための手段】
【０００４】
本願で開示する代表的な発明は、自動車内における乗員の乗車位置を検知する乗員検知部と、テキスト情報を音声に変換して出力する音声出力部と、前記テキスト情報を画像に変換して表示する画像表示部と、前記乗員検知部の検知結果に基づいて、前記音声出力部又は前記画像表示部のいずれか一方を選択し、前記選択された前記音声出力部又は前記画像表示部に前記テキスト情報を出力させる切り替え部と、を備えることを特徴とする。
【発明の効果】
【０００５】
本発明の一実施形態によれば、選択肢提示手段判定部によって、車内にドライバのみが存在するか否かが判定され、その判定の結果にしたがって最適な提示手段が選択される。例えば、ドライバのみ存在する場合は、音声合成によって音声認識辞書の内容が読み上げられ、ドライバ以外の同乗者が存在する場合は、タスク時間短縮化のため、同乗者が回答するよう誘導した後、ディスプレイ上に選択肢が表示される。これによって、安全性を損なうことなく、タスク時間の短い音声対話が実現し、迅速なカーナビゲーションシステムの操作が可能となる。
【発明を実施するための最良の形態】
【０００６】
図１は、本発明の第１の実施形態の音声対話装置の機能ブロック図である。
【０００７】
本実施形態の音声対話装置は、例えば、自動車に搭載されるカーナビゲーションシステムのアプリケーションとして使われることが想定される。以下、この想定の下、実施形態を説明する。なお、自動車には、一人の運転者（ドライバ）を含む一人以上のユーザが乗車する。
【０００８】
図２は、本発明の第１の実施形態の音声対話装置のハードウェア構成のブロック図である。
【０００９】
本実施形態のシステムは、少なくとも二つ以上のマイクロホン素子からなるマイクロホンアレイ１２０１を備える。マイクロホンアレイ１２０１は、それぞれのマイクロホン素子位置における音圧レベルを計測する。
【００１０】
マイクロホンアレイ１２０１によって計測されたアナログの音圧値は、ＡＤ変換装置１２０２でサンプリングされ、デジタルデータに変換される。ＡＤ変換装置１２０２は、アナログのローパスフィルタ（図示省略）などを用いて、サンプリングレートの０．５倍以上の周波数成分を除去した後の音圧値をサンプリングしてもよい。
【００１１】
サンプリングされたデジタル音圧データは、中央演算装置１２０３に送られる。中央演算装置１２０３では、デジタル音圧データ中の音源方向の推定、位相差の補正及び音声認識や対話処理といったプログラムを実行する。
【００１２】
中央演算装置１２０３によって実行されるプログラムは、データとして記憶媒体１２０５に記憶される。
【００１３】
プログラム実行時に必要な一時的なデータは、揮発性メモリ１２０４又は記憶媒体１２０５に記憶されてもよい。その他、プログラム実行に必要な事前データは、記憶媒体１２０５に事前に記憶される。記憶媒体１２０５は、例えば、ハードディスクドライブ（ＨＤＤ）又はフラッシュメモリのような大容量の不揮発性記憶媒体である。一方、揮発性メモリ１２０４は、例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）のような高速な記憶装置である。
【００１４】
例えば、図１に示す対話スクリプトデータベース（ＤＢ）１１４及び認識語彙ＤＢ１１５は、記憶媒体１２０５に格納される。図１に示す上記のデータベース以外の各部は、記憶媒体１２０５に格納されたプログラムを中央演算装置１２０３が実行することによって実現される。ただし、音声入力部１０１は、ＡＤ変換装置１２０２によって実現されてもよい。上記のデータベース及びプログラムは、記憶媒体１２０５に格納され、必要に応じてそれらの全部又は一部が揮発性メモリ１２０４にコピーされてもよい。
【００１５】
マイクロホンで受音したアナログ音声は、音声入力部１０１において、デジタル音声に変換される。変換されたデジタル音声は音源分離部１０２に送られる。音源分離部１０２において、デジタル音声中に含まれる雑音成分が除去され、所望の音声を強調した信号が得られる。所望の音声か否かは、音源方向の情報から判断される。例えば、所望の音声が自動車を運転するドライバである場合は、マイクロホンから見たドライバの相対方向が所望の音源方向として設定され、その所望の音源方向から到来する音声が所望の音声と判断される。
【００１６】
所望の音源方向は分離範囲設定部１０５によって設定される。分離範囲設定部１０５は、対話制御部１０７の出力結果に基づき、所望の音源方向を設定する。
【００１７】
音源分離部１０２が取り出した所望の音声成分は、音声認識部１０３に送られる。音声認識部１０３は、送られてきた音声波形の発話内容を認識し、文字列に変換したものを出力する。音声認識部１０３が実行する音声認識処理は、例えば、隠れマルコフモデルに基づくもの、又は、動的計画法に基づくものなど、いかなるものであってもよい。
【００１８】
音声認識処理は、入力された音声波形の発話内容が、所与の語彙の中のどの語と最も近いかを判定し、最も近い語を出力する一種のパターンマッチング処理である。音声認識に用いるために予め保持される語彙は、音声認識処理を開始する前に、予め認識辞書生成部１０８にて作られる。
【００１９】
音声認識部１０３は、さらに、認識結果の尤度を計算する。認識結果の尤度とは、入力された音声波形の発話内容と最も近いと判定された語と、その発話内容と、の近さの度合いを示す尺度である。尤度は、公知の種々の方法によって算出することができる。
【００２０】
音声認識部１０３によって生成される文字列に変換された発話内容（すなわち認識結果）及びその認識結果の尤度は、認識結果棄却判定部１０４に送られる。認識結果棄却判定部１０４は、認識結果の尤度の情報に基づいて、認識結果を受理するか棄却するかを判定する。例えば、認識結果の尤度の情報から生成される認識結果の事後確率が閾値を超える場合に受理すると判定されてもよい。一方、事後確率が閾値以下の場合、所与の語彙のいずれとも異なる語が発話されたと推定されるため、認識結果を棄却すると判定されてもよい。
【００２１】
認識結果棄却判定部１０４で受理された認識結果は対話制御部１０７に送られる。認識結果が棄却された場合は、音声認識処理が続行されてもよい。音声認識処理の開始後、一定時間以内に認識結果が受理されなかった場合、認識結果棄却判定部１０４は、認識結果が無かったという情報を対話制御部１０７に送信してもよい。対話制御部１０７は、その情報に基づき、次の行動を決定してもよい。例えば、対話制御部１０７は、「もう一度発話してください」と発話を促すガイダンスを出力した後、音声認識処理を再度実行するように各部を制御してもよい。
【００２２】
図３は、本発明の第１の実施形態において実行される音声認識処理を示すフローチャートである。
【００２３】
具体的には、図３は、音源分離部１０２、音声認識部１０３及び認識結果棄却判定部１０４によって実行される具体的な音声認識処理の流れを示す。
【００２４】
目的音範囲設定Ｓ９０１において、音源分離部１０２は、分離範囲設定部１０５によって設定された範囲に基づき、目的音の存在範囲を設定する。例えば、方位角と仰角のそれぞれについて目的音の存在範囲が設定される。例えば、方位角が−３０度から＋３０度まで、及び仰角を−９０度から９０度までと設定されてもよい。
【００２５】
音源分離Ｓ９０２において、音源分離部１０２は、設定された目的音存在範囲の情報に基づき、目的音方向の音を抽出する。
【００２６】
音声認識Ｓ９０３において、音声認識部１０３は、音源分離Ｓ９０２において抽出された目的音方向の音の発話内容を、音声認識辞書及び音のモデルを用いて認識する。
【００２７】
信頼度チェックＳ９０４において、認識結果棄却判定部１０４は、音声認識結果の信頼度を示す尺度（例えば、音声認識結果に付随する音響尤度から計算される事後確率など）が予め設定された閾値を上回っているか否かを判定する。信頼度を示す尺度が閾値を上回っている場合、認識された音声は、コマンドを入力するために発話されたものであると推定される。例えば、後述するように選択肢がユーザに提示されると、ユーザがそれに応じて選択肢の一つを発話する。このような発話は、コマンドを入力するための発話の一例である。この場合、処理は方向チェックＳ９０５に進む。
【００２８】
一方、信頼度を示す尺度が閾値を下回っている場合、認識された音声はコマンドを入力するために発話されたものでない（例えば雑音のような、コマンドとは無関係に入力された音声等である）と推定される。この場合、処理は制限時間チェックＳ９０７に進む。
【００２９】
方向チェックＳ９０５において、認識結果棄却判定部１０４は、音声認識波形の時間長をＴとし、音声認識波形の音源方向を数式（１）によって算出し、その方向が所与の目的音範囲内か否かを判定する。
【００３０】
【数１】
【００３１】
θ（ｆ，τ）は時間τにおける周波数ｆの音源方向であり、その算出方法は後述する。ｆｍａｘは音声認識波形の最大周波数成分である。
【００３２】
音源方向が目的音範囲内であった場合、認識結果棄却判定部１０４は、認識結果を返して処理を終了する。後述するように、ユーザに対して選択肢が提示された後で図３に示す処理が実行された場合、上記のように返された認識結果は、選択肢の提示に対する応答（すなわち、提示された選択肢の一つを発話したもの）として処理される。
【００３３】
音源方向が目的音範囲外であった場合、処理は制限時間チェックＳ９０７に進む。制限時間チェックＳ９０７において、認識結果棄却判定部１０４は、音声認識を開始してから経過した時間が所与の制限時間内であるか否かを判定する。経過した時間が所与の制限時間内である場合、処理は音源分離Ｓ９０２に戻り、目的音方向の音の抽出が再度実行される。経過した時間が制限時間を超えている場合、認識結果を返さずに処理が終了する。
【００３４】
上記の音源分離Ｓ９０２及び音声認識Ｓ９０３は、音声入力部１０１が取得するリアルタイムの音声波形に対する処理である。つまり時々刻々入力されてくる新しい音声波形に対して上記の処理が施される。
【００３５】
図４は、本発明の第１の実施形態の音源分離部１０２が実行する詳細な処理の流れを示す説明図である。
【００３６】
図４の処理は、音声入力部１０１が一定量（例えば数十ｍｓ程度）の音声データを取得する度に実行される。
【００３７】
複数のマイクロホン素子によって収録された音声波形は、マイクロホン素子毎に、ＤＦＴ１００１にて離散フーリエ変換を施される。マイクロホン素子（ｉ）毎の、サンプリング時間（ｔ）の音圧データは数式（２）によって表される。
【００３８】
【数２】
【００３９】
事前に音声波形のハミング窓又はハニング窓を時間領域の信号に掛け合わせた後、離散フーリエ変換が施されてもよい。ハミング窓又はハニング窓の窓関数を掛け合わせることで、高精度な時間周波数領域の信号を得ることができる。
【００４０】
離散フーリエ変換による時間周波数領域信号への変換は数式（３）によって行われる。変換後の信号は、数式（４）によって表される。
【００４１】
【数３】
【００４２】
【数４】
【００４３】
ここでτはフレームインデックスと呼ばれ、時間周波数領域信号への変換した回数と等しくなる。ｗ（ｎ）はハニング窓又はハミング窓の窓関数である。フーリエ変換の際のフレームサイズとする。
【００４４】
周波数毎ベクトル化１００２において、音源分離部１０２は、変換後の同じ時間周波数毎領域に属するマイク毎の信号をまとめあげて、数式（５）で定義されるベクトルＸ（ｆ，τ）を生成する。Ｍはマイク素子数とする。
【００４５】
【数５】
【００４６】
音源定位１００３において、音源分離部１０２は、時間周波数毎に、数式（６）で定義されるステアリングベクトルａ（θ，ｆ）とＸ（ｆ，τ）との内積の最大値を与える音源方向θを数式（７）で計算する。ｃは音速とする。
【００４７】
【数６】
【００４８】
【数７】
【００４９】
図５は、本発明の第１の実施形態の音源分離１００４において時間周波数毎に実行される処理を示すフローチャートである。
【００５０】
音源分離部１０２は、目的音範囲かどうかＳ１１０１において、時間周波数毎の音源方向θが所定の目的音範囲内であるか否かを判定する。音源方向θが目的音範囲内であった場合、音源分離部１０２は、ベクトルｎ（ｆ，τ）をゼロベクトルに設定し、ベクトルｓ（ｆ，τ）をＸ（ｆ，τ）に設定した後、目的音共分散更新Ｓ１１０２に進む。目的音範囲外の場合、音源分離部１０２は、ベクトルｎ（ｆ，τ）をＸ（ｆ，τ）に設定し、雑音共分散更新Ｓ１１０３に進む。
【００５１】
目的音共分散更新Ｓ１１０２において、音源分離部１０２は、ベクトルｓ（ｆ，τ）を用いて共分散行列Ｒｓ（ｆ）を数式（８）のように更新する。
【００５２】
【数８】
【００５３】
雑音共分散更新Ｓ１１０３において、音源分離部１０２は、ベクトルｎ（ｆ，τ）を用いて共分散行列Ｒ（ｆ）を数式（９）のように更新する。ここでαは所与の更新レートとする。
【００５４】
【数９】
【００５５】
音源分離部１０２は、共分散行列Ｒｓ（ｆ）及びＲ（ｆ）を用いて音源分離フィルタｗ（ｆ，τ）を数式（１０）によって求める。ｅｉｇ＿ｖｅｃｔｏｒは最大固有値となる固有ベクトルを与える関数とする。
【００５６】
【数１０】
【００５７】
フィルタリングＳ１１０５において、音源分離部１０２は、入力信号Ｘ（ｆ，τ）及び音源分離フィルタｗ（ｆ，τ）から雑音抑圧信号ｓ（ｆ，τ）を数式（１１）によって求める。
【００５８】
【数１１】
【００５９】
ポストフィルタリングＳ１１０６において、音源分離部１０２は、雑音抑圧信号ｓ（ｆ，τ）にウィナーフィルタ又はスペクトルサブトラクション処理を施すことによって、残留雑音成分を抑圧する。そして、音源分離部１０２は、残留雑音抑圧後の時間周波数信号を出力し、処理を終了する。
【００６０】
逆ＤＦＴ１００５において、音源分離部１０２は、求めた周波数毎の雑音抑圧信号に逆離散フーリエ変換を施すことによって、時間領域信号を生成した後、その時間領域信号を出力する。
【００６１】
対話制御部１０７は、対話スクリプトＤＢ１１４に保持された対話スクリプトに基づき、ユーザとの音声対話を制御する。
【００６２】
図６は、本発明の第１の実施形態における対話スクリプトに基づく対話を示すフローチャートである。
【００６３】
図６に記載の対話フローの例では、ユーザとの対話開始後、まずコマンド名称Ｓ３０１において、対話制御部１０７は、ユーザが実行したいコマンドの名称を認識する。認識に際し、対話制御部１０７は、ユーザに対して、「コマンド名称をどうぞ」などの発話を促すガイダンスを出力してもよい。さらに、対話制御部１０７は、「この中からお選びください」などのコメントとともに画面に表示されるコマンドリストの中から、実行したいコマンドを選ばせてもよいし、コマンドリストの内容を読み上げた音声を、音声合成システムなどを使用して生成し、その音声を出力してもよい。
【００６４】
本実施形態において、画面にコマンドリストを表示するか、コマンドリストを読み上げるかは、ユーザの着座情報などに基づいて切り替えられる。この切り替えは、後述する選択肢の提示方法の選択と同様にして実行されてもよい。例えば、ドライバのみ乗車している場合、コマンドリストを読み上げるように制御されてもよい。一方、同乗者（すなわちドライバ以外のユーザ）が自動車内に存在する場合、音声対話に要する時間を短くするために、「同乗者の方、この中からお選びください」などの、同乗者が画面を見て答えることを促すガイダンスを流した後、コマンドリストを画面に表示するように制御されてもよい。これによって、自動車の走行の安全性を確保しながら、素早いコマンド入力が実現される。
【００６５】
図６において、コマンド名称Ｓ３０１終了後、認識したコマンド（すなわち、ユーザによってコマンドリストから選択されたコマンド）に応じて処理を切り替える。例えば認識したコマンドが目的地設定であった場合は、次に具体的な目的地を認識する目的地設定Ｓ３０２が実行される。
【００６６】
目的地設定Ｓ３０２では、「目的地をおっしゃって下さい」のように目的地をユーザが発話するように促すガイダンスが出力されてもよいし、「目的地をこの中からお選びください」と発話する音声が出力された後、目的地のリストが画面に表示されてもよいし、目的地のリストが読み上げられてもよい。画面に表示される目的地のリストの例については、後で図１２を参照して説明する。
【００６７】
前述のコマンド名称Ｓ３０１と同様に、同乗者がいるか否かに応じて、安全性を損なわない提示手段のうち、最も目的地設定に要する時間が短くなるような提示手段が選択される。
【００６８】
コマンド名称Ｓ３０１において認識されたコマンドが自動車機器操作であった場合、自動車機器操作Ｓ３０３が実行される。自動車機器操作Ｓ３０３において、対話制御部１０７は、エアコンのＯｎ／Ｏｆｆ又は音楽等の制御といった自動車内部機器を操作するためのユーザコマンドを認識する。このとき、対話制御部１０７は、「操作したい機器名称及び操作内容をおっしゃって下さい」といったガイダンスを音声出力部１１２に出力させてもよいし、音声コマンドで操作可能なコマンド一覧を画面に表示するように画像表示部１１３を制御してもよい。前述の目的地設定Ｓ３０２と同様に、最も自動車内部機器操作に要する時間が短くなるような提示手段が選択される。
【００６９】
コマンド名称Ｓ３０１において認識されたコマンドが周辺施設検索であった場合、周辺施設検索Ｓ３０４が実行される。周辺施設検索Ｓ３０４において、対話制御部１０７は、ユーザが所望する周辺施設を検索し、検索された施設を目的地として設定する処理を、音声インタフェースを用いて実行する。具体的には、対話制御部１０７は、「周辺施設をおっしゃって下さい」といったようにユーザ発話を促すガイダンスを音声出力部１１２に出力させてもよいし、「この中から選んでください」といったガイダンスを出力させた後、画面に周辺施設のリストを表示し、画面を見ながらユーザが発話するように促してもよい。前述の自動車機器操作Ｓ３０３と同様に、最も自動車内部機器操作に要する時間が短くなるような提示手段が選択される。
【００７０】
Ｓ３０２からＳ３０４までのいずれかの処理が終了した後、対話制御部１０７は対話を終了する。
【００７１】
以上は、カーナビゲーションシステムにおける対話スクリプトに基づく対話の一例である。対話スクリプトは、条件分岐とシステムの実行コマンドの情報とを保持する形式で記述可能な言語によって記述される限り、どのような形式で記述されてもよい。例えば、Ｖｏｉｃｅ ＸＭＬのようなＸＭＬ形式で対話スクリプトが記述されてもよいし、プログラム言語の一種であるスクリプト言語でプログラムコードとして対話スクリプトが記述されてもよい。
【００７２】
対話制御部１０７は、対話スクリプトに基づき、音声認識部１０３、音源分離部１０２、音声出力部１１２及び画像表示部１１３の動作を制御する。例えば、前述のコマンドリストを認識する対話において、認識辞書生成部１０８は、音声認識を開始する前に、認識に用いる認識辞書を切り替える。認識辞書生成部１０８は有限オートマトン形式で記載された音声認識辞書を生成する。
【００７３】
図７は、本発明の第１の実施形態において使用される音声認識辞書の一例を示す説明図である。
【００７４】
この例では、６つのノードと６つのアークがネットワーク化された形で認識辞書が表現されている。この例の認識辞書を用いた場合、ユーザ発話は「目的地」と「語尾」とが連続した文、又は、「電話番号」と「語尾」とが連続した文のいずれかであることが仮定される。「目的地」、「語尾」及び「電話番号」は、アークと呼ばれる、複数の単語をまとめて表現したラベルである。各アークは更に単語リストに展開される。
【００７５】
図８は、本発明の第１の実施形態におけるアークごとの単語リストの一例を示す説明図である。
【００７６】
図８は、「目的地」のアークが展開された単語リストの例を示さす。図８の例では、目的地を示す単語のリストに、「中央研究所」及び「機械研究所」のような施設の固有名詞が含まれる。この他の目的地として、例えば、「レストラン」のような施設の一般名詞が含まれてもよいし（図１２参照）、「東京都」のような地名が含まれてもよい。
【００７７】
このように各アークは単語リストに展開される。これによって、例えば「目的地」と「語尾」が連続した文の数は、「目的地」の単語リストに含まれる単語の数に「語尾」の単語リストに含まれる単語の数を掛け合わせた数になる。単語リストは認識語彙ＤＢ１１５に蓄えられており、認識辞書に応じて必要な語彙が取り出される。
【００７８】
音声認識部１０３は、各単語を音素毎又は音素片毎に分割し、各音素又は音素片に対応した音のモデルを並べたものをパターンとし、入力音声と最も近いパターンを出力する。音のモデルは、音素又は音素片ごとに、ＬＰＣケプストラム、ＭＦＣＣ、それらの差分値（Δ）、それらのΔΔ、又は、パワーの時間差分値など、を特徴量とした混合正規分布で表現される。また特徴量算出時に平均値の減算処理（ケプストラム平均値減算処理）などによって伝達系の歪みを補正してもよい。
【００７９】
入力音声と最も近いパターンは、前向き・後ろ向きアルゴリズムに基づく最尤推定において、最大尤度を与える状態遷移パスのみを計算するように近似したビタビアルゴリズムによって算出される。尤度は、入力音声とパターンとの距離に基づいて定義される。音声認識部１０３は最大尤度を与える状態遷移パスを計算し、その状態遷移パスから単語系列を逆引きする。これによってある一つの文字列が得られ、その文字列が出力される。さらに、最大尤度そのもの、又は、最大尤度を加工することによって得られた事後確率ｐ（Ｏ｜Ｘ）が出力される。ここで、ｐ（Ｏ｜Ｘ）は、入力音声Ｘを条件とした認識結果Ｏの事後確率（すなわち、入力音声Ｘに対する認識結果Ｏが正しい結果である確率を示す値）である。
【００８０】
ユーザ発話は、必ずしも音声認識辞書で表現される文であるとは限らない。また、車室内では所望のユーザ発話以外の走行音などの雑音が存在するため、認識対象の音声が雑音であることも多い。このような場合でも、音声認識部１０３では入力音声に最も近いパターンを出力するため、出力されたすべての音声認識の結果を確信し受理することは望ましくない。
【００８１】
出力された音声認識結果の尤度又は事後確率が所定の閾値より小さい場合、認識対象の音声が雑音であったか又は音声認識辞書で表現される文以外の発話が成された可能性が高いため、そのような音声認識結果は棄却するべきである。認識結果棄却判定部１０４は、音声認識部１０３が出力する認識結果の尤度又は事後確率に基づき、認識結果を受理するか棄却するかを判定する（信頼度チェックＳ９０４）。さらに、認識結果棄却判定部１０４は、音声認識を行った波形の音源方向を推定し、その音源方向が所望の音源方向の範囲外（すなわち目的音範囲外）であった場合に、その認識結果を棄却してもよい。
【００８２】
一般的に音声認識部１０３が受理可能な文（テキスト）に関する情報をユーザは事前に知らない。したがって、音声認識開始前に、いかなる文が受理可能であるかをユーザに提示する必要がある。選択肢を提示する方法としては、音声合成技術を用いて受理可能な文の一部を読み上げること、又は、受理可能な文の一部を、カーナビゲーションシステムが備えるディスプレイの画面上に表示すること、などが考えられる。
【００８３】
図９は、本発明の第１の実施形態の音声対話装置を含むカーナビゲーションシステムのハードウェア構成のブロック図である。
【００８４】
本実施形態のカーナビゲーションシステムは、中央演算装置１６０３と、その中央演算装置に接続されるスピーカ１６０１、記憶媒体１６０２、座席センサ１６０４、ディスプレイ１６０５、マイクロホン１６０６及び速度センサ１６０７と、を備える。
【００８５】
中央演算装置１６０３は、音声認識及び音源分離などのソフトウェア処理を実行する。
【００８６】
記憶媒体１６０２には、認識辞書などの情報が保持される。
【００８７】
ガイダンス音などの再生音は、スピーカ１６０１から出力される。スピーカ１６０１は超音波スピーカなどの超指向性スピーカであってもよい。
【００８８】
運転席、助手席、後部座席などの各座席に設置された座席センサ１６０４によって、同乗者が存在するか否かが判定される。座席センサ１６０４は、各座席にユーザが乗車しているか否かを示す情報を出力するものである限り、例えば、重量センサ又は各座席方向にビームを有する超音波センサ等、いかなる種類のものであってもよい。
【００８９】
ディスプレイ１６０５には、コマンドリストなど認識語彙に関する情報、及び、地図などが表示される。
【００９０】
車載の速度センサ１６０７が取得した、自動車の速度を示す情報は、中央演算装置１６０３内に取り込まれ、走行状況（例えば自動車が走行中であるか否か）を判断するために使われる。
【００９１】
マイクロホン１６０６は、ユーザ発話を収録するために用いられる。音声認識部１０３は、マイクロホン１６０６を通して収録した音声を認識する。マイクロホン１６０６の代わりに、複数のマイクロホン素子からなるマイクロホンアレイ（例えば、図２に示すマイクロホンアレイ１２０１）が用いられてもよい。
【００９２】
マイクロホンアレイを用いることで、単一のマイクロホンでは得ることが困難な音源方向に関する情報を得たり、目的話者の方向にビームを当てて、その方向の話者が発話した音声のみを抽出したりすることができる。音源分離部１０２は、マイクロホンアレイを用いて、特定方向の話者が発話した音声のみを抽出してもよい。
【００９３】
なお、図９に示すマイクロホン１６０６及び中央演算装置１６０３は、それぞれ、図２に示すマイクロホンアレイ１２０１及び中央演算装置１２０３に相当する。図９に示す記憶媒体１６０２は、図２に示す揮発性メモリ１２０４及び記憶媒体１２０５の少なくとも一方に相当する。
【００９４】
選択肢提示手段判定部１０６は、カーナビゲーションシステムに付属のユーザ提示装置を用いた提示手段の中から、安全性を損なわないという条件下で、タスク終了時間（すなわち、ユーザ提示装置が選択肢をユーザに提示し、選択肢をユーザが理解し、選択肢のいずれかをユーザが発話するのに要する時間）が短い手段を選択する。図９に記載されたカーナビゲーションシステムは、ユーザ提示装置として、スピーカ１６０１及びディスプレイ１６０５を備える。この場合、ユーザ提示手段としては、音声合成を用いて選択肢を読み上げる音声をスピーカ１６０１から出力するという方法と、ディスプレイ１６０５上に選択肢を表示するという方法の二つが考えられる。
【００９５】
図１０は、本発明の第１の実施形態の選択肢提示手段判定部１０６が実行する処理を示すフローチャートである。
【００９６】
同乗者判定Ｓ７０１において、選択肢提示手段判定部１０６は、ドライバ以外の同乗者が乗車しているか否かを判定する。例えば、助手席（又は後部座席）の座席センサ１６０４の出力に基づいて、同乗者が乗車しているか否かが判定されてもよい。
【００９７】
次のタスク終了時間判定Ｓ７０２において、選択肢提示手段判定部１０６は、各提示手段を用いてユーザに選択肢を提示した場合のタスク終了時間を推定する。タスク終了時間の推定値は、提示装置が選択肢を提示するのに要する時間に、予めプリセットされた平均音声認識終了時間を加算したものであってもよいし、各提示装置を使った音声対話装置を被験者に予め使用してもらった際に測定した平均タスク終了時間であってもよい。
【００９８】
最短終了時間手段選択Ｓ７０３において、選択肢提示手段判定部１０６は、同乗者判定Ｓ７０１の結果に基づいて判定された、車内環境の安全性を損なわない提示装置のうち、タスク終了時間判定Ｓ７０２において推定したタスク終了時間が最も短い提示装置を選択する。どの提示装置が選択されたかを示す情報が、選択肢提示手段判定部１０６から出力される。
【００９９】
なお、安全な提示手段が一つしかない場合、タスク終了時間判定Ｓ７０２は実行されなくてもよい。その場合、最短終了時間手段選択Ｓ７０３において、その一つしかない安全な提示手段が選択される。
【０１００】
同乗者判定の結果に基づく、車内環境の安全性を損なわない提示装置の選択について以下に具体的に示す。ここでは、図９に記載された二つの提示装置、すなわち、音声合成を用いて選択肢を読み上げるスピーカ１６０１、及び、選択肢を表示するディスプレイ１６０５を例として説明する。
【０１０１】
ディスプレイ１６０５をドライバが見るという行為は、運転中のドライバの注意をそぐ可能性（すなわち、それによって安全性が損なわれる可能性）がある。このため、ドライバが選択肢を見ながら選択肢を選ぶという行為は、好ましくない。そのため、音声合成によって選択肢を読み上げることが、安全な提示方法の一つとして考えられる。
【０１０２】
このため、同乗者判定Ｓ７０１の結果、ドライバ以外の同乗者が存在しないと判定された場合、図９に示す提示装置を用いた提示方法のうち、ディスプレイ１６０５上に選択肢を表示するという方法は選択されずに、音声合成を用いて選択肢を読み上げるという方法が選択される。すなわち、使用されるべき提示装置として、ディスプレイ１６０５ではなく、スピーカ１６０１が選択される。
【０１０３】
一方、同乗者判定Ｓ７０１の結果、ドライバ以外の同乗者が存在すると判定された場合、ドライバ以外の同乗者がディスプレイ１６０５を見ながら選択肢を選ぶという行為は安全性を損なわない。したがって、この場合、音声合成を用いて選択肢を読み上げるという方法と、ディスプレイ１６０５上に選択肢を表示するという方法のうち最も推定タスク終了時間が最も短い提示方法が選ばれる。
【０１０４】
既に説明したように、タスク終了時間は、ユーザ提示装置が選択肢をユーザに提示するのに要する時間、及び、提示された選択肢をユーザが理解し、それらの選択肢のいずれかをユーザが発話するのに要する時間の合計である。
【０１０５】
ユーザ提示装置がスピーカ１６０１である場合、それが選択肢をユーザに提示するのに要する時間は、おおむね、選択肢を読み上げる音声の合成に要する時間、及び、合成された音声の出力に要する時間の合計に相当する。この時間の推定値は、例えば、中央演算装置１６０３等のハードウェアの処理性能、及び、選択肢として提示されるべきテキストの長さ等に基づいて算出することができる。
【０１０６】
一方、ユーザ提示装置がディスプレイ１６０５である場合、それが選択肢をユーザに提示するのに要する時間は、おおむね、ディスプレイ１６０５に表示されるべき画像のデータを生成するのに要する時間、及び、生成された画像をディスプレイ１６０５に表示するのに要する時間の合計に相当する。この時間の推定値は、例えば、中央演算装置１６０３等のハードウェアの処理性能、及び、生成される画像のデータ量に基づいて算出することができる。
【０１０７】
提示された選択肢をユーザが理解し、それらの選択肢のいずれかをユーザが発話するのに要する時間として、あらかじめ所定の値が保持されていてもよい。例えば、被験者が各提示装置を使用した場合に要した時間をあらかじめ実際に計測し、その計測された時間を音声対話装置が保持してもよい。
【０１０８】
ただし、実際には、タスク終了時間は、ユーザが選択肢を理解し、それらのいずれかを発話するのに要する時間より、むしろ、ユーザ提示装置が選択肢をユーザに提示するのに要する時間によって大きく左右されると考えられる。その場合、タスク終了時間として、ユーザ提示装置が選択肢をユーザに提示するのに要する時間のみが算出され、比較されてもよい。その場合、同乗者がいると判定されると、選択肢をディスプレイ１６０５上に表示するのに要する時間と、選択肢を読み上げるのに要する時間とが算出され、両者が比較される。その結果、例えば、選択肢をディスプレイ１６０５上に表示するのに要する時間が短いと判定された場合、提示装置としてディスプレイ１６０５が選択される。
【０１０９】
さらに、実際には、同一の選択肢が提示される場合、選択肢をディスプレイ１６０５上に表示するのに要する時間は、選択肢を読み上げるのに要する時間より短くなるのが一般的である。このため、上記の二つの提示方法がいずれも安全性を損なわないと判定された場合、常に（すなわち、推定タスク終了時間を算出することなく）、選択肢をディスプレイ１６０５上に表示するという提示方法が最も推定タスク終了時間が短い提示方法として選択されてもよい。
【０１１０】
ディスプレイ１６０５上に選択肢を表示する方法が選択された場合において、ディスプレイとして指向性ディスプレイが用いられる場合、指向性をドライバ以外の同乗者に向けるように設定されてもよい。また音声再生用スピーカ１６０１として指向性スピーカが用いられる場合、これから選択肢を入力するユーザ（すなわち、ドライバ以外の同乗者）の方向に指向性を向けてもよい。
【０１１１】
図１０に示す処理は、対話制御部１０７がユーザと対話する方法を選択するために実行される。例えば、図１０に示す処理は、対話制御部１０７が図６に示す処理を開始する前に実行されてもよいし、対話制御部１０７が各コマンドを処理するたびに実行されてもよい。
【０１１２】
図１１は、本発明の第１の実施形態において出力されるガイダンス音声の例を示す説明図である。
【０１１３】
具体的には、図１１は、同乗者がいる場合といない場合のガイダンス音声の出力例を示す。同乗者がいない場合、音声合成で読み上げた選択肢の中から選ぶように誘導するガイダンス音声（図１１の例では、ガイダンス文「これから読み上げる施設名の中からお選びください」を読み上げる音声）が出力される。
【０１１４】
一方、同乗者がいる場合、ディスプレイ１６０５上に表示された選択肢の中から選ぶように誘導するガイダンス音声（図１１の例では、ガイダンス文「同乗者の方がお答えください。これから画面に表示される施設名一覧の中からお選びください」を読み上げる音声）が出力される。同乗者がいる場合であっても、ドライバがディスプレイ１６０５を見ることを誘導してしまうことは好ましくないため、同乗者が答えるように誘導することも必要である。
【０１１５】
図１２は、本発明の第１の実施形態においてディスプレイ１６０５に表示される選択肢の例を示す説明図である。
【０１１６】
具体的には、図１２は、ディスプレイ１６０５上に選択肢を表示するという方法が選択された場合に表示される画面の表示例を示す。図１２では、例として、設定したい目的地の選択肢（例えば、「レストラン」及び「自宅」等）が画面上に表示される。図１２のように選択肢を画面上に表示することで、音声合成を用いて選択肢を読み上げるという方法と比べると、ユーザが選択肢を把握するまでの時間を短縮することができる。
【０１１７】
質問文生成部１１０は、選択肢提示手段判定部１０６の判定結果と同乗者の有無に基づき、質問文を生成する。質問文は、それを出力する必要が生じるたびにリアルタイムに生成されてもよいし、予め条件毎に文がプリセットされていてもよい。さらに、質問文中に同乗者の名前を含めることによって、ある特定の同乗者に回答を促してもよい。そのようにすることで、特定の同乗者の音声のみ抽出すればよくなるため、認識性能を向上可能となる。同乗者の名前を質問文に含めるためには、予めその同乗者の名前を登録する必要がある。
【０１１８】
図１３は、本発明の第１の実施形態において選択肢の提示のために実行される処理の一例を示すフローチャートである。
【０１１９】
最初に、助手席判定Ｓ１７０１において、選択肢提示手段判定部１０６は、助手席に同乗者が乗車しているか否かを判定する。この判定は、図１０の同乗者判定Ｓ７０１と同様の方法で実行される。
【０１２０】
助手席に同乗者が乗車していると判定された場合、ガイダンス出力１＿Ｓ１７０２において、選択肢提示手段判定部１０６は、同乗者がいる場合のガイダンス音声を出力する（図１１参照）。
【０１２１】
次に、画面に選択肢表示Ｓ１７０４において、選択肢提示手段判定部１０６は、選択肢をディスプレイ１６０５に表示する。具体的には、選択肢提示手段判定部１０６からの指示に基づいて、表示されるべき画像を表示画像生成部１１１が生成し、生成された画像を画像表示部１１３がディスプレイ１６０５に表示させる。
【０１２２】
一方、助手席に同乗者が乗車していないと判定された場合、ガイダンス出力２＿Ｓ１７０３において、選択肢提示手段判定部１０６は、同乗者がいない場合のガイダンス音声を出力する（図１１参照）。
【０１２３】
次に、音声で選択肢読み上げＳ１７０５において、選択肢提示手段判定部１０６は、選択肢を読み上げる音声を出力する。具体的には、選択肢提示手段判定部１０６からの指示に基づいて、出力されるべき選択肢を含む質問文を質問文生成部１１０が生成し、生成された質問文を読み上げる音声を音声出力部１１２がスピーカ１６０１に出力させる。
【０１２４】
画面に選択肢表示Ｓ１７０４又は音声で選択肢読み上げＳ１７０５が実行された後、音声認識Ｓ１７０６が実行される。具体的には、図３等を参照して説明したように、音声入力部１０１がユーザからの音声入力を受信し、その入力された音声を音源分離部１０２及び音声認識部１０３が処理することによって、入力された音声が認識される。
【０１２５】
このとき、助手席判定Ｓ１７０１の結果に基づいて目的音の範囲が設定されてもよい（図３の目的音範囲設定Ｓ９０１）。例えば、同乗者がいると判定された場合、目的音範囲設定Ｓ９０１において、マイクロホン１６０６から同乗者（例えば助手席に着席しているユーザ）への方向を含む所定の範囲が目的音の範囲として設定されてもよい。その場合、目的音の範囲内からの音声（すなわち同乗者が発話した音声）は、受理される。受理された音声は、選択肢の提示に対する応答として処理される。一方、目的音の範囲外からの音声（例えば運転者が発話した音声）は、棄却されるため、選択肢の提示に対する応答として処理されない。
【０１２６】
なお、上記図１１及び図１３は、同乗者がいない場合の選択肢提示方法として選択肢を読み上げることが選択され、同乗者がいる場合の選択肢提示方法として選択肢を表示することが選択される場合を例として示した。しかし、例えば、助手席判定Ｓ１７０１において、図１０に示したものと同様の処理が実行されてもよい。その結果、助手席に同乗者が乗車している場合であっても、選択肢提示方法として選択肢を読み上げることが選択される場合もある。その場合、ガイダンス出力２＿Ｓ１７０３及び音声で選択肢読み上げＳ１７０５が実行される。
【０１２７】
図１４は、本発明の第１の実施形態における同乗者の名前登録の処理を示すフローチャートである。
【０１２８】
この処理は、カーナビゲーションシステム起動直後に実行される。助手席座席センサチェックＳ８０１において、座席センサ１６０４の情報に基づいて、助手席に人がいるか否かが判定される。
【０１２９】
助手席に人がいる場合、処理は名前認識Ｓ８０２に進む。名前認識Ｓ８０２において、音声認識辞書が全ての音節系列を受理可能なように設定された後、音声認識が実行される。このようにすることによって、任意の人の名前を認識することができる。音声認識によって認識された名前は、それが助手席の結果であるというラベルが付けられた後、記憶媒体１６０２に保存される。質問文生成時に、記憶媒体１６０２に保存された名前認識結果が参照される。
【０１３０】
助手席に人がいない場合、又は、名前認識Ｓ８０２が実行された後、処理は後部座席センサチェックＳ８０３に進み、後部座席に人がいるか否かが判定される。人がいる場合、処理は名前認識Ｓ８０４に進む。名前認識Ｓ８０４において、音声認識辞書が全ての音節系列を受理可能なように設定された後、音声認識が実行される。音声認識によって認識された名前は、それが後部座席の結果であるというラベルを付けられた後、記憶媒体１６０２に保存される。質問文生成時に、記憶媒体１６０２に保存された名前認識結果が参照される。
【０１３１】
後部座席に人がいない場合は、処理を終了する。また、名前認識Ｓ８０４後は、処理を終了する。
【０１３２】
音声出力部１１２は、質問文生成部１１０が生成した質問文を音声合成音に変換し、変換した音声合成音をスピーカ１６０１から出力する。表示画像生成部１１１は、選択肢提示手段判定部１０６の判定結果及び同乗者の有無に基づき、画面に情報を表示する必要がある場合は、表示画像を生成する。ここで生成される画像は、図１２に例示したように選択肢を画面上にテキスト情報として表示するものであってもよいし、選択肢毎に予めプリセットされた画像を画面上に表示するものであってもよい。後者の場合、例えば、選択肢に含まれるレストランの画像が画面上に表示されてもよい。画像表示部１１３は、表示画像生成部１１１が生成した画像をディスプレイ１６０５上に表示する。
【０１３３】
機能制御部１０９は、音声認識結果に基づき、車室内機器を制御する。
【０１３４】
図１５は、本発明の第１の実施形態の機能制御部１０９が実行する処理を示すフローチャートである。
【０１３５】
経路設定コマンドＳ１５０１において、機能制御部１０９は、音声認識結果が経路設定に関するものであるか否かを判定する。この判定は、音声認識結果の候補毎にその結果が経路設定に関するものか否かを示すフラグをあらかじめ設定しておくことで実現される。
【０１３６】
音声認識結果が経路設定に関するものである場合、機能制御部１０９は、カーナビゲーションシステムの経路設定処理を呼び出し、処理を終了する。
【０１３７】
音声認識結果が経路設定に関するものでなかった場合、機能制御部１０９は、次にエアコン操作コマンドＳ１５０２において、音声認識結果がエアコン操作コマンドに関するものか否かを判定する。この判定は、音声認識結果の候補毎に、その結果がエアコン操作コマンドに関するものか否かを示すフラグをあらかじめ設定しておくことで実現される。
【０１３８】
音声認識結果がエアコン操作コマンドに関するものである場合、機能制御部１０９は、カーナビゲーションシステム上のエアコン操作処理を呼び出し、処理を終了する。
【０１３９】
音声認識結果がエアコン操作処理に関するものでなかった場合、次にスピーカ制御コマンドＳ１５０３において、機能制御部１０９は、音声認識結果がスピーカ制御に関するものか否かを判定する。音声認識結果がスピーカ制御に関するものであった場合、機能制御部１０９は、カーナビゲーションシステム上のスピーカ制御処理を呼び出し、処理を終了する。
【０１４０】
以上、本発明の第１の実施形態によれば、自動車にドライバ以外のユーザが乗車しているか否かが判定され、その判定結果に基づいて、ユーザに対する情報提示方法が選択される。それによって、安全性を損なわず、かつ、短時間の音声対話が実現される。
【０１４１】
次に、本発明の第２の実施形態について説明する。第２の実施形態は、第１の実施形態と同様のハードウェアによって実現される（図２及び図９参照）。さらに、第２の実施形態では、以下に説明する相違点を除き、第１の実施形態と同様の処理が実行される。
【０１４２】
図１６は、本発明の第２の実施形態の音声対話装置の機能ブロック図である。
【０１４３】
図１６に示す各部のうち、音声入力部２０１、音源分離部２０２、音声認識部２０３、認識結果棄却判定部２０４、分離範囲設定部２０５、選択肢提示手段判定部２０６、対話制御部２０７、認識辞書生成部２０８、機能制御部２０９、認識語彙ＤＢ２１７、対話スクリプトＤＢ２１６、質問文生成部２１０、表示画像生成部２１１、音声出力部２１４及び画像表示部２１５は、それぞれ、第１の実施形態における音声入力部１０１、音源分離部１０２、音声認識部１０３、認識結果棄却判定部１０４、分離範囲設定部１０５、選択肢提示手段判定部１０６、対話制御部１０７、認識辞書生成部１０８、機能制御部１０９、認識語彙ＤＢ１１５、対話スクリプトＤＢ１１４、質問文生成部１１０、表示画像生成部１１１、音声出力部１１２及び画像表示部１１３と同等の機能を有する。
【０１４４】
第２の実施形態の音声対話装置は、さらに、質問文出力タイミング決定部２１２、画像表示タイミング決定部２１３及び走行状況判定部２１８を備える。これらも、記憶媒体１２０５に格納されたプログラムを中央演算装置１２０３が実行することによって実現される。
【０１４５】
走行状況判定部２１８は、車速の情報に基づいて、現在の走行状況、例えば、現在運転中なのか静止中なのかを判定する。さらに、走行状況判定部２１８は、カーナビゲーションシステムの地図情報を利用して、現在地が高速道路上であるといった情報、及び、現在交差点で静止中であるといった状況まで判定してもよい。
【０１４６】
具体的には、図９に示すカーナビゲーションシステムが、自動車の現在位置情報を取得する測位装置（図示省略）を備える。走行状況判定部２１８は、測位装置が取得した現在位置情報と、記憶媒体１６０２に格納された地図情報とを参照することによって、現在地が高速道路上であるか否かなどを判定することができる。
【０１４７】
判定した走行状況に基づき、選択肢提示手段判定部２０６は、カーナビゲーションシステムに付属のユーザ提示装置を用いた提示手段の中から、安全性を損なわないという条件下で、タスク終了時間（すなわち、ユーザ提示装置が選択肢をユーザに提示し、選択肢をユーザが理解し、選択肢のいずれかをユーザが発話するまでに要する時間）が短い手段を選択する。ディスプレイ１６０５をドライバが見るという行為は、ドライバの注意をそぐ可能性（すなわち、それによって安全性が損なわれる可能性）がある。このため、ドライバが運転中に選択肢を見ながら選択肢を選ぶという行為は、好ましくない。
【０１４８】
このため、同乗者判定Ｓ７０１によってドライバ以外の同乗者が存在しないと判定された場合、判定した走行状況に基づいて選択肢提示手段が判定される。具体的には、走行状況が静止中（すなわち車が停止している状態）である場合、ディスプレイ１６０５上に選択肢を表示するという方法が選択される。一方、走行状況が走行中である場合、ドライバに静止可能な場所に車を止めることを誘導するガイダンスを再生して、ドライバが車を止めたことを走行状況判定で確認した後、ディスプレイ１６０５上に選択肢を表示するという方法が選択される。
【０１４９】
質問文出力タイミング決定部２１２は、質問文を読み上げる音声を出力するタイミングを走行状況に応じて制御する。具体的には、走行状況が走行中である場合、質問文出力タイミング決定部２１２は、ドライバに静止可能な場所に車を止めることを誘導するガイダンスを再生した後、静止状態になったタイミングで、画面上の選択肢の中から選ぶことを誘導する質問文を出力するように制御する。
【０１５０】
画像表示タイミング決定部２１３は、同様に、ディスプレイ１６０５上に選択肢を表示するタイミングを走行状況に応じて制御する。具体的には、画像表示タイミング決定部２１３は、静止状態になったタイミングで、ディスプレイ１６０５の画面上に選択肢を表示するように制御する。
【０１５１】
図１７は、本発明の第２の実施形態における走行状況及び音声対話のタイミングチャートである。
【０１５２】
図１７の例では、音声対話を開始した時点において時速４０ｋｍ／ｈで走行中であったため、質問文出力タイミング決定部２１２は、ドライバに停止をすることを促すガイダンスを再生するように音声出力部２１４を制御する。その後、質問文出力タイミング決定部２１２は、車が停止したことを確認した後、質問文を出力するように音声出力部２１４を制御する。
【０１５３】
画像表示タイミング決定部２１３は、車が停止したことを確認した後、選択肢をディスプレイ１６０５の画面に表示するように画像表示部２１５を制御する。その後、音声認識部２０３等による音声認識が開始される。
【０１５４】
図１８は、本発明の第２の実施形態において選択肢の提示のために実行される処理の一例を示すフローチャートである。
【０１５５】
以下、ドライバ以外の同乗者が乗車しておらず、かつ、車が走行中である場合に図１８の処理が実行される例を示す。
【０１５６】
最初に、状況判定Ｓ１８０１において、走行状況判定部２１８は、車を停止可能であるか否かを判定する。例えば、走行状況判定部２１８は、現在地が高速道路上である場合、車を停止可能でないと判定し、現在地が一般道路上である場合、車を停止可能であると判定してもよい。
【０１５７】
車を停止可能でないと判定された場合、ガイダンス出力１＿Ｓ１８０２において、選択肢提示手段判定部１０６は、車を停止可能でない場合のガイダンス音声を出力する。例えば、選択肢提示手段判定部１０６は、図１１に示した同乗者がいない場合の質問文を読み上げる音声を出力するように質問文生成部２１０を制御してもよい。
【０１５８】
次に、音声で選択肢読み上げＳ１８０４において、選択肢提示手段判定部１０６は、選択肢を読み上げる音声を出力する。具体的には、選択肢提示手段判定部１０６からの指示に基づいて、出力されるべき選択肢を含む質問文を質問文生成部１１０が生成し、生成された質問文を読み上げる音声を音声出力部１１２がスピーカ１６０１に出力させる。
【０１５９】
一方、車を停止可能であると判定された場合、ガイダンス出力２＿Ｓ１８０３において、選択肢提示手段判定部１０６は、車を停止可能である場合のガイダンス音声を出力する。例えば、選択肢提示手段１０６は、ドライバに静止可能な場所に車を止めることを誘導するガイダンスを出力するように質問文生成部２１０を制御してもよい。
【０１６０】
次に、停止判定Ｓ１８０５において、質問文出力タイミング決定部２１２は、車が停止したか否かを判定する。車がまだ停止していないと判定された場合、処理はガイダンス出力２＿Ｓ１８０３に戻り、再び車を止めることを誘導するガイダンスが出力される。
【０１６１】
一方、車が停止したと判定された場合、質問文出力タイミング決定部２１２は、ガイダンス出力３＿Ｓ１８０６において、車が停止した場合のガイダンス音声を出力する。例えば、質問文出力タイミング決定部２１２は、質問文生成部２１０が生成した、同乗者がいる場合の質問文（例えば図１１参照）を読み上げる音声を出力するように、音声出力部２１４を制御してもよい。なお、上記の例では実際には同乗者がいないが、車が停止しているため、ドライバがディスプレイ１６０５を見ても安全性は損なわれない。
【０１６２】
さらに、停止判定Ｓ１８０５において、画像表示タイミング決定部２１３は、車が停止したか否かを判定する。車がまだ停止していないと判定された場合、処理はガイダンス出力２＿Ｓ１８０３に戻り、再び車を止めることを誘導するガイダンスが出力される。
【０１６３】
一方、車が停止したと判定された場合、画像表示タイミング決定部２１３は、ガイダンス出力３＿Ｓ１８０６において、選択肢をディスプレイ１６０５の画面に表示する。例えば、画像表示タイミング決定部２１３は、表示画像生成部２１１が生成した選択肢の表示画像（例えば図１２参照）を表示するように、画像表示部２１５を制御してもよい。
【０１６４】
音声で選択肢読み上げＳ１８０４又はガイダンス出力３＿Ｓ１８０６が実行された後、音声認識Ｓ１８０７が実行される。このステップは、第１の実施形態の音声認識Ｓ１７０６と同様である。
【０１６５】
なお、前記図１８は、ドライバ以外の同乗者が乗車しておらず、かつ、車が走行中である場合を例として説明した。例えば、本実施形態においても、第１の実施形態と同様、図１３に示す助手席判定Ｓ１７０１が実行され、同乗者がいないと判定された場合に図１８に示す処理が開始されてもよい。一方、同乗者がいると判定された場合には、第１の実施形態と同様、ガイダンス出力１＿Ｓ１７０２及び画面に選択肢表示Ｓ１７０４が実行されてもよい。
【０１６６】
さらに、図１８は、車が走行中でない場合に実行されてもよい。例えば、状況判定Ｓ１８０１において、まず車が走行中であるか否かが判定され、走行中であると判定され場合に停止可能であるか否かが判定されてもよい。車が走行中でないと判定された場合、処理はガイダンス出力２＿Ｓ１８０３及び停止判定Ｓ１８０５が省略され、ガイダンス出力３＿Ｓ１８０６が実行されてもよい。
【０１６７】
以上、本発明の第２の実施形態によれば、自動車にドライバのみが乗車している場合であっても、安全性を損なわず、かつ、短時間で音声対話を実行できる情報提示方法が選択される。
【０１６８】
以上の本発明の第１及び第２の実施形態は、選択肢を示すテキスト情報をユーザに提示し、その提示に対する応答として選択肢のいずれかをユーザが発話する処理を例として説明した。しかし、これらの実施形態は、任意のテキスト情報の提示及びそれに対するユーザからの応答を処理するために適用することができる。
【図面の簡単な説明】
【０１６９】
【図１】本発明の第１の実施形態の音声対話装置の機能ブロック図である。
【図２】本発明の第１の実施形態の音声対話装置のハードウェア構成のブロック図である。
【図３】本発明の第１の実施形態において実行される音声認識処理を示すフローチャートである。
【図４】本発明の第１の実施形態の音源分離部が実行する詳細な処理の流れを示す説明図である。
【図５】本発明の第１の実施形態の音源分離において時間周波数毎に実行される処理を示すフローチャートである。
【図６】本発明の第１の実施形態における対話スクリプトに基づく対話を示すフローチャートである。
【図７】本発明の第１の実施形態において使用される音声認識辞書の一例を示す説明図である。
【図８】本発明の第１の実施形態におけるアークごとの単語リストの一例を示す説明図である。
【図９】本発明の第１の実施形態の音声対話装置を含むカーナビゲーションシステムのハードウェア構成のブロック図である。
【図１０】本発明の第１の実施形態の選択肢提示手段判定部が実行する処理を示すフローチャートである。
【図１１】本発明の第１の実施形態において出力されるガイダンス音声の例を示す説明図である。
【図１２】本発明の第１の実施形態においてディスプレイに表示される選択肢の例を示す説明図である。
【図１３】本発明の第１の実施形態において選択肢の提示のために実行される処理の一例を示すフローチャートである。
【図１４】本発明の第１の実施形態における同乗者の名前登録の処理を示すフローチャートである。
【図１５】本発明の第１の実施形態の機能制御部が実行する処理を示すフローチャートである。
【図１６】本発明の第２の実施形態の音声対話装置の機能ブロック図である。
【図１７】本発明の第２の実施形態における走行状況及び音声対話のタイミングチャートである。
【図１８】本発明の第２の実施形態において選択肢の提示のために実行される処理の一例を示すフローチャートである。
【符号の説明】
【０１７０】
１０１、２０１ 音声入力部
１０２、２０２ 音源分離部
１０３、２０３ 音声認識部
１０４、２０４ 認識結果棄却判定部
１０５、２０５ 分離範囲設定部
１０６、２０６ 選択肢提示手段判定部
１０７、２０７ 対話制御部
１０８、２０８ 認識辞書生成部
１０９、２０９ 機能制御部
１１０、２１０ 質問文生成部
１１１、２１１ 表示画像生成部
１１２、２１４ 音声出力部
１１３、２１５ 画像表示部
１１４、２１６ 対話スクリプトＤＢ
１１５、２１７ 認識語彙ＤＢ
２１２ 質問文出力タイミング決定部
２１３ 画像表示タイミング決定部
２１８ 走行状況判定部
Ｓ３０１ コマンド名称
Ｓ３０２ 目的地設定
Ｓ３０３ 自動車機器操作
Ｓ３０４ 周辺施設検索
Ｓ３０５ 時間周波数分解
Ｓ７０１ 同乗者判定
Ｓ７０２ タスク終了時間判定
Ｓ７０３ 最短終了時間手段選択
Ｓ８０１ 助手席座席センサチェック
Ｓ８０２ 名前認識
Ｓ８０３ 後部座席センサチェック
Ｓ８０４ 名前認識
Ｓ９０１ 目的音範囲設定
Ｓ９０２ 音源分離
１００１ ＤＦＴ
１００２ 周波数毎ベクトル化
１００３ 音源定位
１００４ 音源分離
１００５ 逆ＤＦＴ
Ｓ１１０１ 目的音範囲かどうか
Ｓ１１０２ 目的音共分散更新
Ｓ１１０３ 雑音共分散更新
Ｓ１１０４ フィルタ生成
Ｓ１１０５ フィルタリング
Ｓ１１０６ ポストフィルタリング
１２０１ マイクロホンアレイ
１２０２ ＡＤ変換装置
１２０３、１６０３ 中央演算装置
１２０４ 揮発性メモリ
１２０５、１６０２ 記憶媒体
Ｓ１５０１ 経路設定コマンド
Ｓ１５０２ エアコン操作コマンド
Ｓ１５０３ スピーカ制御コマンド
１６０１ スピーカ
１６０４ 座席センサ
１６０５ ディスプレイ
１６０６ マイクロホン
１６０７ 速度センサ
【技術分野】
【０００１】
本願明細書で開示される技術は、車室内に搭載される音声対話装置に関する。
【背景技術】
【０００２】
自動車に搭載されるカーナビゲーションシステムには、音声対話機能を備えるものが広く使われている（例えば特許文献１参照）。従来、音声対話機能を実現するために必要な音声認識技術及び音声合成技術が広く検討されている。音声認識技術は、マイクロホンを通して入力された音声波形をテキスト化する技術である。音声合成技術は、テキストから音声波形を生成する技術である。音声認識技術と音声合成技術を組み合わせることで、カーナビゲーションシステムがユーザと音声で会話することが可能となる。また、車室内で録音した音声波形には様々な騒音が重畳するため、音声認識率が大幅に劣化するという問題がある。この問題に対して、複数のマイクロホン素子を有するマイクロホンアレイを用いて騒音を抑圧し、所望の音声のみを抽出する音源分離技術が広く検討されている。
【特許文献１】特開２００４−１０９３２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来のカーナビゲーションシステムでは、ドライバが発話することを前提に作られているため、受理する音声認識辞書の内容を全て音声合成で読み上げるような構成になっていた。しかし、選択肢を全て読み上げるのにかかる時間が長いため、音声対話が終了するまでの時間が長くなってしまうという課題があった。一方、選択肢は、読み上げられる代わりにディスプレイに表示されてもよい。しかし、ディスプレイに選択肢を表示する方法は、音声対話が終了するまでの時間が短いという利点はあるものの、ドライバが音声対話を行う場合に使用することは好ましくない。自動車を運転中のドライバがディスプレイを目視することによって安全性が損なわれるためである。
【課題を解決するための手段】
【０００４】
本願で開示する代表的な発明は、自動車内における乗員の乗車位置を検知する乗員検知部と、テキスト情報を音声に変換して出力する音声出力部と、前記テキスト情報を画像に変換して表示する画像表示部と、前記乗員検知部の検知結果に基づいて、前記音声出力部又は前記画像表示部のいずれか一方を選択し、前記選択された前記音声出力部又は前記画像表示部に前記テキスト情報を出力させる切り替え部と、を備えることを特徴とする。
【発明の効果】
【０００５】
本発明の一実施形態によれば、選択肢提示手段判定部によって、車内にドライバのみが存在するか否かが判定され、その判定の結果にしたがって最適な提示手段が選択される。例えば、ドライバのみ存在する場合は、音声合成によって音声認識辞書の内容が読み上げられ、ドライバ以外の同乗者が存在する場合は、タスク時間短縮化のため、同乗者が回答するよう誘導した後、ディスプレイ上に選択肢が表示される。これによって、安全性を損なうことなく、タスク時間の短い音声対話が実現し、迅速なカーナビゲーションシステムの操作が可能となる。
【発明を実施するための最良の形態】
【０００６】
図１は、本発明の第１の実施形態の音声対話装置の機能ブロック図である。
【０００７】
本実施形態の音声対話装置は、例えば、自動車に搭載されるカーナビゲーションシステムのアプリケーションとして使われることが想定される。以下、この想定の下、実施形態を説明する。なお、自動車には、一人の運転者（ドライバ）を含む一人以上のユーザが乗車する。
【０００８】
図２は、本発明の第１の実施形態の音声対話装置のハードウェア構成のブロック図である。
【０００９】
本実施形態のシステムは、少なくとも二つ以上のマイクロホン素子からなるマイクロホンアレイ１２０１を備える。マイクロホンアレイ１２０１は、それぞれのマイクロホン素子位置における音圧レベルを計測する。
【００１０】
マイクロホンアレイ１２０１によって計測されたアナログの音圧値は、ＡＤ変換装置１２０２でサンプリングされ、デジタルデータに変換される。ＡＤ変換装置１２０２は、アナログのローパスフィルタ（図示省略）などを用いて、サンプリングレートの０．５倍以上の周波数成分を除去した後の音圧値をサンプリングしてもよい。
【００１１】
サンプリングされたデジタル音圧データは、中央演算装置１２０３に送られる。中央演算装置１２０３では、デジタル音圧データ中の音源方向の推定、位相差の補正及び音声認識や対話処理といったプログラムを実行する。
【００１２】
中央演算装置１２０３によって実行されるプログラムは、データとして記憶媒体１２０５に記憶される。
【００１３】
プログラム実行時に必要な一時的なデータは、揮発性メモリ１２０４又は記憶媒体１２０５に記憶されてもよい。その他、プログラム実行に必要な事前データは、記憶媒体１２０５に事前に記憶される。記憶媒体１２０５は、例えば、ハードディスクドライブ（ＨＤＤ）又はフラッシュメモリのような大容量の不揮発性記憶媒体である。一方、揮発性メモリ１２０４は、例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）のような高速な記憶装置である。
【００１４】
例えば、図１に示す対話スクリプトデータベース（ＤＢ）１１４及び認識語彙ＤＢ１１５は、記憶媒体１２０５に格納される。図１に示す上記のデータベース以外の各部は、記憶媒体１２０５に格納されたプログラムを中央演算装置１２０３が実行することによって実現される。ただし、音声入力部１０１は、ＡＤ変換装置１２０２によって実現されてもよい。上記のデータベース及びプログラムは、記憶媒体１２０５に格納され、必要に応じてそれらの全部又は一部が揮発性メモリ１２０４にコピーされてもよい。
【００１５】
マイクロホンで受音したアナログ音声は、音声入力部１０１において、デジタル音声に変換される。変換されたデジタル音声は音源分離部１０２に送られる。音源分離部１０２において、デジタル音声中に含まれる雑音成分が除去され、所望の音声を強調した信号が得られる。所望の音声か否かは、音源方向の情報から判断される。例えば、所望の音声が自動車を運転するドライバである場合は、マイクロホンから見たドライバの相対方向が所望の音源方向として設定され、その所望の音源方向から到来する音声が所望の音声と判断される。
【００１６】
所望の音源方向は分離範囲設定部１０５によって設定される。分離範囲設定部１０５は、対話制御部１０７の出力結果に基づき、所望の音源方向を設定する。
【００１７】
音源分離部１０２が取り出した所望の音声成分は、音声認識部１０３に送られる。音声認識部１０３は、送られてきた音声波形の発話内容を認識し、文字列に変換したものを出力する。音声認識部１０３が実行する音声認識処理は、例えば、隠れマルコフモデルに基づくもの、又は、動的計画法に基づくものなど、いかなるものであってもよい。
【００１８】
音声認識処理は、入力された音声波形の発話内容が、所与の語彙の中のどの語と最も近いかを判定し、最も近い語を出力する一種のパターンマッチング処理である。音声認識に用いるために予め保持される語彙は、音声認識処理を開始する前に、予め認識辞書生成部１０８にて作られる。
【００１９】
音声認識部１０３は、さらに、認識結果の尤度を計算する。認識結果の尤度とは、入力された音声波形の発話内容と最も近いと判定された語と、その発話内容と、の近さの度合いを示す尺度である。尤度は、公知の種々の方法によって算出することができる。
【００２０】
音声認識部１０３によって生成される文字列に変換された発話内容（すなわち認識結果）及びその認識結果の尤度は、認識結果棄却判定部１０４に送られる。認識結果棄却判定部１０４は、認識結果の尤度の情報に基づいて、認識結果を受理するか棄却するかを判定する。例えば、認識結果の尤度の情報から生成される認識結果の事後確率が閾値を超える場合に受理すると判定されてもよい。一方、事後確率が閾値以下の場合、所与の語彙のいずれとも異なる語が発話されたと推定されるため、認識結果を棄却すると判定されてもよい。
【００２１】
認識結果棄却判定部１０４で受理された認識結果は対話制御部１０７に送られる。認識結果が棄却された場合は、音声認識処理が続行されてもよい。音声認識処理の開始後、一定時間以内に認識結果が受理されなかった場合、認識結果棄却判定部１０４は、認識結果が無かったという情報を対話制御部１０７に送信してもよい。対話制御部１０７は、その情報に基づき、次の行動を決定してもよい。例えば、対話制御部１０７は、「もう一度発話してください」と発話を促すガイダンスを出力した後、音声認識処理を再度実行するように各部を制御してもよい。
【００２２】
図３は、本発明の第１の実施形態において実行される音声認識処理を示すフローチャートである。
【００２３】
具体的には、図３は、音源分離部１０２、音声認識部１０３及び認識結果棄却判定部１０４によって実行される具体的な音声認識処理の流れを示す。
【００２４】
目的音範囲設定Ｓ９０１において、音源分離部１０２は、分離範囲設定部１０５によって設定された範囲に基づき、目的音の存在範囲を設定する。例えば、方位角と仰角のそれぞれについて目的音の存在範囲が設定される。例えば、方位角が−３０度から＋３０度まで、及び仰角を−９０度から９０度までと設定されてもよい。
【００２５】
音源分離Ｓ９０２において、音源分離部１０２は、設定された目的音存在範囲の情報に基づき、目的音方向の音を抽出する。
【００２６】
音声認識Ｓ９０３において、音声認識部１０３は、音源分離Ｓ９０２において抽出された目的音方向の音の発話内容を、音声認識辞書及び音のモデルを用いて認識する。
【００２７】
信頼度チェックＳ９０４において、認識結果棄却判定部１０４は、音声認識結果の信頼度を示す尺度（例えば、音声認識結果に付随する音響尤度から計算される事後確率など）が予め設定された閾値を上回っているか否かを判定する。信頼度を示す尺度が閾値を上回っている場合、認識された音声は、コマンドを入力するために発話されたものであると推定される。例えば、後述するように選択肢がユーザに提示されると、ユーザがそれに応じて選択肢の一つを発話する。このような発話は、コマンドを入力するための発話の一例である。この場合、処理は方向チェックＳ９０５に進む。
【００２８】
一方、信頼度を示す尺度が閾値を下回っている場合、認識された音声はコマンドを入力するために発話されたものでない（例えば雑音のような、コマンドとは無関係に入力された音声等である）と推定される。この場合、処理は制限時間チェックＳ９０７に進む。
【００２９】
方向チェックＳ９０５において、認識結果棄却判定部１０４は、音声認識波形の時間長をＴとし、音声認識波形の音源方向を数式（１）によって算出し、その方向が所与の目的音範囲内か否かを判定する。
【００３０】
【数１】
【００３１】
θ（ｆ，τ）は時間τにおける周波数ｆの音源方向であり、その算出方法は後述する。ｆｍａｘは音声認識波形の最大周波数成分である。
【００３２】
音源方向が目的音範囲内であった場合、認識結果棄却判定部１０４は、認識結果を返して処理を終了する。後述するように、ユーザに対して選択肢が提示された後で図３に示す処理が実行された場合、上記のように返された認識結果は、選択肢の提示に対する応答（すなわち、提示された選択肢の一つを発話したもの）として処理される。
【００３３】
音源方向が目的音範囲外であった場合、処理は制限時間チェックＳ９０７に進む。制限時間チェックＳ９０７において、認識結果棄却判定部１０４は、音声認識を開始してから経過した時間が所与の制限時間内であるか否かを判定する。経過した時間が所与の制限時間内である場合、処理は音源分離Ｓ９０２に戻り、目的音方向の音の抽出が再度実行される。経過した時間が制限時間を超えている場合、認識結果を返さずに処理が終了する。
【００３４】
上記の音源分離Ｓ９０２及び音声認識Ｓ９０３は、音声入力部１０１が取得するリアルタイムの音声波形に対する処理である。つまり時々刻々入力されてくる新しい音声波形に対して上記の処理が施される。
【００３５】
図４は、本発明の第１の実施形態の音源分離部１０２が実行する詳細な処理の流れを示す説明図である。
【００３６】
図４の処理は、音声入力部１０１が一定量（例えば数十ｍｓ程度）の音声データを取得する度に実行される。
【００３７】
複数のマイクロホン素子によって収録された音声波形は、マイクロホン素子毎に、ＤＦＴ１００１にて離散フーリエ変換を施される。マイクロホン素子（ｉ）毎の、サンプリング時間（ｔ）の音圧データは数式（２）によって表される。
【００３８】
【数２】
【００３９】
事前に音声波形のハミング窓又はハニング窓を時間領域の信号に掛け合わせた後、離散フーリエ変換が施されてもよい。ハミング窓又はハニング窓の窓関数を掛け合わせることで、高精度な時間周波数領域の信号を得ることができる。
【００４０】
離散フーリエ変換による時間周波数領域信号への変換は数式（３）によって行われる。変換後の信号は、数式（４）によって表される。
【００４１】
【数３】
【００４２】
【数４】
【００４３】
ここでτはフレームインデックスと呼ばれ、時間周波数領域信号への変換した回数と等しくなる。ｗ（ｎ）はハニング窓又はハミング窓の窓関数である。フーリエ変換の際のフレームサイズとする。
【００４４】
周波数毎ベクトル化１００２において、音源分離部１０２は、変換後の同じ時間周波数毎領域に属するマイク毎の信号をまとめあげて、数式（５）で定義されるベクトルＸ（ｆ，τ）を生成する。Ｍはマイク素子数とする。
【００４５】
【数５】
【００４６】
音源定位１００３において、音源分離部１０２は、時間周波数毎に、数式（６）で定義されるステアリングベクトルａ（θ，ｆ）とＸ（ｆ，τ）との内積の最大値を与える音源方向θを数式（７）で計算する。ｃは音速とする。
【００４７】
【数６】
【００４８】
【数７】
【００４９】
図５は、本発明の第１の実施形態の音源分離１００４において時間周波数毎に実行される処理を示すフローチャートである。
【００５０】
音源分離部１０２は、目的音範囲かどうかＳ１１０１において、時間周波数毎の音源方向θが所定の目的音範囲内であるか否かを判定する。音源方向θが目的音範囲内であった場合、音源分離部１０２は、ベクトルｎ（ｆ，τ）をゼロベクトルに設定し、ベクトルｓ（ｆ，τ）をＸ（ｆ，τ）に設定した後、目的音共分散更新Ｓ１１０２に進む。目的音範囲外の場合、音源分離部１０２は、ベクトルｎ（ｆ，τ）をＸ（ｆ，τ）に設定し、雑音共分散更新Ｓ１１０３に進む。
【００５１】
目的音共分散更新Ｓ１１０２において、音源分離部１０２は、ベクトルｓ（ｆ，τ）を用いて共分散行列Ｒｓ（ｆ）を数式（８）のように更新する。
【００５２】
【数８】
【００５３】
雑音共分散更新Ｓ１１０３において、音源分離部１０２は、ベクトルｎ（ｆ，τ）を用いて共分散行列Ｒ（ｆ）を数式（９）のように更新する。ここでαは所与の更新レートとする。
【００５４】
【数９】
【００５５】
音源分離部１０２は、共分散行列Ｒｓ（ｆ）及びＲ（ｆ）を用いて音源分離フィルタｗ（ｆ，τ）を数式（１０）によって求める。ｅｉｇ＿ｖｅｃｔｏｒは最大固有値となる固有ベクトルを与える関数とする。
【００５６】
【数１０】
【００５７】
フィルタリングＳ１１０５において、音源分離部１０２は、入力信号Ｘ（ｆ，τ）及び音源分離フィルタｗ（ｆ，τ）から雑音抑圧信号ｓ（ｆ，τ）を数式（１１）によって求める。
【００５８】
【数１１】
【００５９】
ポストフィルタリングＳ１１０６において、音源分離部１０２は、雑音抑圧信号ｓ（ｆ，τ）にウィナーフィルタ又はスペクトルサブトラクション処理を施すことによって、残留雑音成分を抑圧する。そして、音源分離部１０２は、残留雑音抑圧後の時間周波数信号を出力し、処理を終了する。
【００６０】
逆ＤＦＴ１００５において、音源分離部１０２は、求めた周波数毎の雑音抑圧信号に逆離散フーリエ変換を施すことによって、時間領域信号を生成した後、その時間領域信号を出力する。
【００６１】
対話制御部１０７は、対話スクリプトＤＢ１１４に保持された対話スクリプトに基づき、ユーザとの音声対話を制御する。
【００６２】
図６は、本発明の第１の実施形態における対話スクリプトに基づく対話を示すフローチャートである。
【００６３】
図６に記載の対話フローの例では、ユーザとの対話開始後、まずコマンド名称Ｓ３０１において、対話制御部１０７は、ユーザが実行したいコマンドの名称を認識する。認識に際し、対話制御部１０７は、ユーザに対して、「コマンド名称をどうぞ」などの発話を促すガイダンスを出力してもよい。さらに、対話制御部１０７は、「この中からお選びください」などのコメントとともに画面に表示されるコマンドリストの中から、実行したいコマンドを選ばせてもよいし、コマンドリストの内容を読み上げた音声を、音声合成システムなどを使用して生成し、その音声を出力してもよい。
【００６４】
本実施形態において、画面にコマンドリストを表示するか、コマンドリストを読み上げるかは、ユーザの着座情報などに基づいて切り替えられる。この切り替えは、後述する選択肢の提示方法の選択と同様にして実行されてもよい。例えば、ドライバのみ乗車している場合、コマンドリストを読み上げるように制御されてもよい。一方、同乗者（すなわちドライバ以外のユーザ）が自動車内に存在する場合、音声対話に要する時間を短くするために、「同乗者の方、この中からお選びください」などの、同乗者が画面を見て答えることを促すガイダンスを流した後、コマンドリストを画面に表示するように制御されてもよい。これによって、自動車の走行の安全性を確保しながら、素早いコマンド入力が実現される。
【００６５】
図６において、コマンド名称Ｓ３０１終了後、認識したコマンド（すなわち、ユーザによってコマンドリストから選択されたコマンド）に応じて処理を切り替える。例えば認識したコマンドが目的地設定であった場合は、次に具体的な目的地を認識する目的地設定Ｓ３０２が実行される。
【００６６】
目的地設定Ｓ３０２では、「目的地をおっしゃって下さい」のように目的地をユーザが発話するように促すガイダンスが出力されてもよいし、「目的地をこの中からお選びください」と発話する音声が出力された後、目的地のリストが画面に表示されてもよいし、目的地のリストが読み上げられてもよい。画面に表示される目的地のリストの例については、後で図１２を参照して説明する。
【００６７】
前述のコマンド名称Ｓ３０１と同様に、同乗者がいるか否かに応じて、安全性を損なわない提示手段のうち、最も目的地設定に要する時間が短くなるような提示手段が選択される。
【００６８】
コマンド名称Ｓ３０１において認識されたコマンドが自動車機器操作であった場合、自動車機器操作Ｓ３０３が実行される。自動車機器操作Ｓ３０３において、対話制御部１０７は、エアコンのＯｎ／Ｏｆｆ又は音楽等の制御といった自動車内部機器を操作するためのユーザコマンドを認識する。このとき、対話制御部１０７は、「操作したい機器名称及び操作内容をおっしゃって下さい」といったガイダンスを音声出力部１１２に出力させてもよいし、音声コマンドで操作可能なコマンド一覧を画面に表示するように画像表示部１１３を制御してもよい。前述の目的地設定Ｓ３０２と同様に、最も自動車内部機器操作に要する時間が短くなるような提示手段が選択される。
【００６９】
コマンド名称Ｓ３０１において認識されたコマンドが周辺施設検索であった場合、周辺施設検索Ｓ３０４が実行される。周辺施設検索Ｓ３０４において、対話制御部１０７は、ユーザが所望する周辺施設を検索し、検索された施設を目的地として設定する処理を、音声インタフェースを用いて実行する。具体的には、対話制御部１０７は、「周辺施設をおっしゃって下さい」といったようにユーザ発話を促すガイダンスを音声出力部１１２に出力させてもよいし、「この中から選んでください」といったガイダンスを出力させた後、画面に周辺施設のリストを表示し、画面を見ながらユーザが発話するように促してもよい。前述の自動車機器操作Ｓ３０３と同様に、最も自動車内部機器操作に要する時間が短くなるような提示手段が選択される。
【００７０】
Ｓ３０２からＳ３０４までのいずれかの処理が終了した後、対話制御部１０７は対話を終了する。
【００７１】
以上は、カーナビゲーションシステムにおける対話スクリプトに基づく対話の一例である。対話スクリプトは、条件分岐とシステムの実行コマンドの情報とを保持する形式で記述可能な言語によって記述される限り、どのような形式で記述されてもよい。例えば、Ｖｏｉｃｅ ＸＭＬのようなＸＭＬ形式で対話スクリプトが記述されてもよいし、プログラム言語の一種であるスクリプト言語でプログラムコードとして対話スクリプトが記述されてもよい。
【００７２】
対話制御部１０７は、対話スクリプトに基づき、音声認識部１０３、音源分離部１０２、音声出力部１１２及び画像表示部１１３の動作を制御する。例えば、前述のコマンドリストを認識する対話において、認識辞書生成部１０８は、音声認識を開始する前に、認識に用いる認識辞書を切り替える。認識辞書生成部１０８は有限オートマトン形式で記載された音声認識辞書を生成する。
【００７３】
図７は、本発明の第１の実施形態において使用される音声認識辞書の一例を示す説明図である。
【００７４】
この例では、６つのノードと６つのアークがネットワーク化された形で認識辞書が表現されている。この例の認識辞書を用いた場合、ユーザ発話は「目的地」と「語尾」とが連続した文、又は、「電話番号」と「語尾」とが連続した文のいずれかであることが仮定される。「目的地」、「語尾」及び「電話番号」は、アークと呼ばれる、複数の単語をまとめて表現したラベルである。各アークは更に単語リストに展開される。
【００７５】
図８は、本発明の第１の実施形態におけるアークごとの単語リストの一例を示す説明図である。
【００７６】
図８は、「目的地」のアークが展開された単語リストの例を示さす。図８の例では、目的地を示す単語のリストに、「中央研究所」及び「機械研究所」のような施設の固有名詞が含まれる。この他の目的地として、例えば、「レストラン」のような施設の一般名詞が含まれてもよいし（図１２参照）、「東京都」のような地名が含まれてもよい。
【００７７】
このように各アークは単語リストに展開される。これによって、例えば「目的地」と「語尾」が連続した文の数は、「目的地」の単語リストに含まれる単語の数に「語尾」の単語リストに含まれる単語の数を掛け合わせた数になる。単語リストは認識語彙ＤＢ１１５に蓄えられており、認識辞書に応じて必要な語彙が取り出される。
【００７８】
音声認識部１０３は、各単語を音素毎又は音素片毎に分割し、各音素又は音素片に対応した音のモデルを並べたものをパターンとし、入力音声と最も近いパターンを出力する。音のモデルは、音素又は音素片ごとに、ＬＰＣケプストラム、ＭＦＣＣ、それらの差分値（Δ）、それらのΔΔ、又は、パワーの時間差分値など、を特徴量とした混合正規分布で表現される。また特徴量算出時に平均値の減算処理（ケプストラム平均値減算処理）などによって伝達系の歪みを補正してもよい。
【００７９】
入力音声と最も近いパターンは、前向き・後ろ向きアルゴリズムに基づく最尤推定において、最大尤度を与える状態遷移パスのみを計算するように近似したビタビアルゴリズムによって算出される。尤度は、入力音声とパターンとの距離に基づいて定義される。音声認識部１０３は最大尤度を与える状態遷移パスを計算し、その状態遷移パスから単語系列を逆引きする。これによってある一つの文字列が得られ、その文字列が出力される。さらに、最大尤度そのもの、又は、最大尤度を加工することによって得られた事後確率ｐ（Ｏ｜Ｘ）が出力される。ここで、ｐ（Ｏ｜Ｘ）は、入力音声Ｘを条件とした認識結果Ｏの事後確率（すなわち、入力音声Ｘに対する認識結果Ｏが正しい結果である確率を示す値）である。
【００８０】
ユーザ発話は、必ずしも音声認識辞書で表現される文であるとは限らない。また、車室内では所望のユーザ発話以外の走行音などの雑音が存在するため、認識対象の音声が雑音であることも多い。このような場合でも、音声認識部１０３では入力音声に最も近いパターンを出力するため、出力されたすべての音声認識の結果を確信し受理することは望ましくない。
【００８１】
出力された音声認識結果の尤度又は事後確率が所定の閾値より小さい場合、認識対象の音声が雑音であったか又は音声認識辞書で表現される文以外の発話が成された可能性が高いため、そのような音声認識結果は棄却するべきである。認識結果棄却判定部１０４は、音声認識部１０３が出力する認識結果の尤度又は事後確率に基づき、認識結果を受理するか棄却するかを判定する（信頼度チェックＳ９０４）。さらに、認識結果棄却判定部１０４は、音声認識を行った波形の音源方向を推定し、その音源方向が所望の音源方向の範囲外（すなわち目的音範囲外）であった場合に、その認識結果を棄却してもよい。
【００８２】
一般的に音声認識部１０３が受理可能な文（テキスト）に関する情報をユーザは事前に知らない。したがって、音声認識開始前に、いかなる文が受理可能であるかをユーザに提示する必要がある。選択肢を提示する方法としては、音声合成技術を用いて受理可能な文の一部を読み上げること、又は、受理可能な文の一部を、カーナビゲーションシステムが備えるディスプレイの画面上に表示すること、などが考えられる。
【００８３】
図９は、本発明の第１の実施形態の音声対話装置を含むカーナビゲーションシステムのハードウェア構成のブロック図である。
【００８４】
本実施形態のカーナビゲーションシステムは、中央演算装置１６０３と、その中央演算装置に接続されるスピーカ１６０１、記憶媒体１６０２、座席センサ１６０４、ディスプレイ１６０５、マイクロホン１６０６及び速度センサ１６０７と、を備える。
【００８５】
中央演算装置１６０３は、音声認識及び音源分離などのソフトウェア処理を実行する。
【００８６】
記憶媒体１６０２には、認識辞書などの情報が保持される。
【００８７】
ガイダンス音などの再生音は、スピーカ１６０１から出力される。スピーカ１６０１は超音波スピーカなどの超指向性スピーカであってもよい。
【００８８】
運転席、助手席、後部座席などの各座席に設置された座席センサ１６０４によって、同乗者が存在するか否かが判定される。座席センサ１６０４は、各座席にユーザが乗車しているか否かを示す情報を出力するものである限り、例えば、重量センサ又は各座席方向にビームを有する超音波センサ等、いかなる種類のものであってもよい。
【００８９】
ディスプレイ１６０５には、コマンドリストなど認識語彙に関する情報、及び、地図などが表示される。
【００９０】
車載の速度センサ１６０７が取得した、自動車の速度を示す情報は、中央演算装置１６０３内に取り込まれ、走行状況（例えば自動車が走行中であるか否か）を判断するために使われる。
【００９１】
マイクロホン１６０６は、ユーザ発話を収録するために用いられる。音声認識部１０３は、マイクロホン１６０６を通して収録した音声を認識する。マイクロホン１６０６の代わりに、複数のマイクロホン素子からなるマイクロホンアレイ（例えば、図２に示すマイクロホンアレイ１２０１）が用いられてもよい。
【００９２】
マイクロホンアレイを用いることで、単一のマイクロホンでは得ることが困難な音源方向に関する情報を得たり、目的話者の方向にビームを当てて、その方向の話者が発話した音声のみを抽出したりすることができる。音源分離部１０２は、マイクロホンアレイを用いて、特定方向の話者が発話した音声のみを抽出してもよい。
【００９３】
なお、図９に示すマイクロホン１６０６及び中央演算装置１６０３は、それぞれ、図２に示すマイクロホンアレイ１２０１及び中央演算装置１２０３に相当する。図９に示す記憶媒体１６０２は、図２に示す揮発性メモリ１２０４及び記憶媒体１２０５の少なくとも一方に相当する。
【００９４】
選択肢提示手段判定部１０６は、カーナビゲーションシステムに付属のユーザ提示装置を用いた提示手段の中から、安全性を損なわないという条件下で、タスク終了時間（すなわち、ユーザ提示装置が選択肢をユーザに提示し、選択肢をユーザが理解し、選択肢のいずれかをユーザが発話するのに要する時間）が短い手段を選択する。図９に記載されたカーナビゲーションシステムは、ユーザ提示装置として、スピーカ１６０１及びディスプレイ１６０５を備える。この場合、ユーザ提示手段としては、音声合成を用いて選択肢を読み上げる音声をスピーカ１６０１から出力するという方法と、ディスプレイ１６０５上に選択肢を表示するという方法の二つが考えられる。
【００９５】
図１０は、本発明の第１の実施形態の選択肢提示手段判定部１０６が実行する処理を示すフローチャートである。
【００９６】
同乗者判定Ｓ７０１において、選択肢提示手段判定部１０６は、ドライバ以外の同乗者が乗車しているか否かを判定する。例えば、助手席（又は後部座席）の座席センサ１６０４の出力に基づいて、同乗者が乗車しているか否かが判定されてもよい。
【００９７】
次のタスク終了時間判定Ｓ７０２において、選択肢提示手段判定部１０６は、各提示手段を用いてユーザに選択肢を提示した場合のタスク終了時間を推定する。タスク終了時間の推定値は、提示装置が選択肢を提示するのに要する時間に、予めプリセットされた平均音声認識終了時間を加算したものであってもよいし、各提示装置を使った音声対話装置を被験者に予め使用してもらった際に測定した平均タスク終了時間であってもよい。
【００９８】
最短終了時間手段選択Ｓ７０３において、選択肢提示手段判定部１０６は、同乗者判定Ｓ７０１の結果に基づいて判定された、車内環境の安全性を損なわない提示装置のうち、タスク終了時間判定Ｓ７０２において推定したタスク終了時間が最も短い提示装置を選択する。どの提示装置が選択されたかを示す情報が、選択肢提示手段判定部１０６から出力される。
【００９９】
なお、安全な提示手段が一つしかない場合、タスク終了時間判定Ｓ７０２は実行されなくてもよい。その場合、最短終了時間手段選択Ｓ７０３において、その一つしかない安全な提示手段が選択される。
【０１００】
同乗者判定の結果に基づく、車内環境の安全性を損なわない提示装置の選択について以下に具体的に示す。ここでは、図９に記載された二つの提示装置、すなわち、音声合成を用いて選択肢を読み上げるスピーカ１６０１、及び、選択肢を表示するディスプレイ１６０５を例として説明する。
【０１０１】
ディスプレイ１６０５をドライバが見るという行為は、運転中のドライバの注意をそぐ可能性（すなわち、それによって安全性が損なわれる可能性）がある。このため、ドライバが選択肢を見ながら選択肢を選ぶという行為は、好ましくない。そのため、音声合成によって選択肢を読み上げることが、安全な提示方法の一つとして考えられる。
【０１０２】
このため、同乗者判定Ｓ７０１の結果、ドライバ以外の同乗者が存在しないと判定された場合、図９に示す提示装置を用いた提示方法のうち、ディスプレイ１６０５上に選択肢を表示するという方法は選択されずに、音声合成を用いて選択肢を読み上げるという方法が選択される。すなわち、使用されるべき提示装置として、ディスプレイ１６０５ではなく、スピーカ１６０１が選択される。
【０１０３】
一方、同乗者判定Ｓ７０１の結果、ドライバ以外の同乗者が存在すると判定された場合、ドライバ以外の同乗者がディスプレイ１６０５を見ながら選択肢を選ぶという行為は安全性を損なわない。したがって、この場合、音声合成を用いて選択肢を読み上げるという方法と、ディスプレイ１６０５上に選択肢を表示するという方法のうち最も推定タスク終了時間が最も短い提示方法が選ばれる。
【０１０４】
既に説明したように、タスク終了時間は、ユーザ提示装置が選択肢をユーザに提示するのに要する時間、及び、提示された選択肢をユーザが理解し、それらの選択肢のいずれかをユーザが発話するのに要する時間の合計である。
【０１０５】
ユーザ提示装置がスピーカ１６０１である場合、それが選択肢をユーザに提示するのに要する時間は、おおむね、選択肢を読み上げる音声の合成に要する時間、及び、合成された音声の出力に要する時間の合計に相当する。この時間の推定値は、例えば、中央演算装置１６０３等のハードウェアの処理性能、及び、選択肢として提示されるべきテキストの長さ等に基づいて算出することができる。
【０１０６】
一方、ユーザ提示装置がディスプレイ１６０５である場合、それが選択肢をユーザに提示するのに要する時間は、おおむね、ディスプレイ１６０５に表示されるべき画像のデータを生成するのに要する時間、及び、生成された画像をディスプレイ１６０５に表示するのに要する時間の合計に相当する。この時間の推定値は、例えば、中央演算装置１６０３等のハードウェアの処理性能、及び、生成される画像のデータ量に基づいて算出することができる。
【０１０７】
提示された選択肢をユーザが理解し、それらの選択肢のいずれかをユーザが発話するのに要する時間として、あらかじめ所定の値が保持されていてもよい。例えば、被験者が各提示装置を使用した場合に要した時間をあらかじめ実際に計測し、その計測された時間を音声対話装置が保持してもよい。
【０１０８】
ただし、実際には、タスク終了時間は、ユーザが選択肢を理解し、それらのいずれかを発話するのに要する時間より、むしろ、ユーザ提示装置が選択肢をユーザに提示するのに要する時間によって大きく左右されると考えられる。その場合、タスク終了時間として、ユーザ提示装置が選択肢をユーザに提示するのに要する時間のみが算出され、比較されてもよい。その場合、同乗者がいると判定されると、選択肢をディスプレイ１６０５上に表示するのに要する時間と、選択肢を読み上げるのに要する時間とが算出され、両者が比較される。その結果、例えば、選択肢をディスプレイ１６０５上に表示するのに要する時間が短いと判定された場合、提示装置としてディスプレイ１６０５が選択される。
【０１０９】
さらに、実際には、同一の選択肢が提示される場合、選択肢をディスプレイ１６０５上に表示するのに要する時間は、選択肢を読み上げるのに要する時間より短くなるのが一般的である。このため、上記の二つの提示方法がいずれも安全性を損なわないと判定された場合、常に（すなわち、推定タスク終了時間を算出することなく）、選択肢をディスプレイ１６０５上に表示するという提示方法が最も推定タスク終了時間が短い提示方法として選択されてもよい。
【０１１０】
ディスプレイ１６０５上に選択肢を表示する方法が選択された場合において、ディスプレイとして指向性ディスプレイが用いられる場合、指向性をドライバ以外の同乗者に向けるように設定されてもよい。また音声再生用スピーカ１６０１として指向性スピーカが用いられる場合、これから選択肢を入力するユーザ（すなわち、ドライバ以外の同乗者）の方向に指向性を向けてもよい。
【０１１１】
図１０に示す処理は、対話制御部１０７がユーザと対話する方法を選択するために実行される。例えば、図１０に示す処理は、対話制御部１０７が図６に示す処理を開始する前に実行されてもよいし、対話制御部１０７が各コマンドを処理するたびに実行されてもよい。
【０１１２】
図１１は、本発明の第１の実施形態において出力されるガイダンス音声の例を示す説明図である。
【０１１３】
具体的には、図１１は、同乗者がいる場合といない場合のガイダンス音声の出力例を示す。同乗者がいない場合、音声合成で読み上げた選択肢の中から選ぶように誘導するガイダンス音声（図１１の例では、ガイダンス文「これから読み上げる施設名の中からお選びください」を読み上げる音声）が出力される。
【０１１４】
一方、同乗者がいる場合、ディスプレイ１６０５上に表示された選択肢の中から選ぶように誘導するガイダンス音声（図１１の例では、ガイダンス文「同乗者の方がお答えください。これから画面に表示される施設名一覧の中からお選びください」を読み上げる音声）が出力される。同乗者がいる場合であっても、ドライバがディスプレイ１６０５を見ることを誘導してしまうことは好ましくないため、同乗者が答えるように誘導することも必要である。
【０１１５】
図１２は、本発明の第１の実施形態においてディスプレイ１６０５に表示される選択肢の例を示す説明図である。
【０１１６】
具体的には、図１２は、ディスプレイ１６０５上に選択肢を表示するという方法が選択された場合に表示される画面の表示例を示す。図１２では、例として、設定したい目的地の選択肢（例えば、「レストラン」及び「自宅」等）が画面上に表示される。図１２のように選択肢を画面上に表示することで、音声合成を用いて選択肢を読み上げるという方法と比べると、ユーザが選択肢を把握するまでの時間を短縮することができる。
【０１１７】
質問文生成部１１０は、選択肢提示手段判定部１０６の判定結果と同乗者の有無に基づき、質問文を生成する。質問文は、それを出力する必要が生じるたびにリアルタイムに生成されてもよいし、予め条件毎に文がプリセットされていてもよい。さらに、質問文中に同乗者の名前を含めることによって、ある特定の同乗者に回答を促してもよい。そのようにすることで、特定の同乗者の音声のみ抽出すればよくなるため、認識性能を向上可能となる。同乗者の名前を質問文に含めるためには、予めその同乗者の名前を登録する必要がある。
【０１１８】
図１３は、本発明の第１の実施形態において選択肢の提示のために実行される処理の一例を示すフローチャートである。
【０１１９】
最初に、助手席判定Ｓ１７０１において、選択肢提示手段判定部１０６は、助手席に同乗者が乗車しているか否かを判定する。この判定は、図１０の同乗者判定Ｓ７０１と同様の方法で実行される。
【０１２０】
助手席に同乗者が乗車していると判定された場合、ガイダンス出力１＿Ｓ１７０２において、選択肢提示手段判定部１０６は、同乗者がいる場合のガイダンス音声を出力する（図１１参照）。
【０１２１】
次に、画面に選択肢表示Ｓ１７０４において、選択肢提示手段判定部１０６は、選択肢をディスプレイ１６０５に表示する。具体的には、選択肢提示手段判定部１０６からの指示に基づいて、表示されるべき画像を表示画像生成部１１１が生成し、生成された画像を画像表示部１１３がディスプレイ１６０５に表示させる。
【０１２２】
一方、助手席に同乗者が乗車していないと判定された場合、ガイダンス出力２＿Ｓ１７０３において、選択肢提示手段判定部１０６は、同乗者がいない場合のガイダンス音声を出力する（図１１参照）。
【０１２３】
次に、音声で選択肢読み上げＳ１７０５において、選択肢提示手段判定部１０６は、選択肢を読み上げる音声を出力する。具体的には、選択肢提示手段判定部１０６からの指示に基づいて、出力されるべき選択肢を含む質問文を質問文生成部１１０が生成し、生成された質問文を読み上げる音声を音声出力部１１２がスピーカ１６０１に出力させる。
【０１２４】
画面に選択肢表示Ｓ１７０４又は音声で選択肢読み上げＳ１７０５が実行された後、音声認識Ｓ１７０６が実行される。具体的には、図３等を参照して説明したように、音声入力部１０１がユーザからの音声入力を受信し、その入力された音声を音源分離部１０２及び音声認識部１０３が処理することによって、入力された音声が認識される。
【０１２５】
このとき、助手席判定Ｓ１７０１の結果に基づいて目的音の範囲が設定されてもよい（図３の目的音範囲設定Ｓ９０１）。例えば、同乗者がいると判定された場合、目的音範囲設定Ｓ９０１において、マイクロホン１６０６から同乗者（例えば助手席に着席しているユーザ）への方向を含む所定の範囲が目的音の範囲として設定されてもよい。その場合、目的音の範囲内からの音声（すなわち同乗者が発話した音声）は、受理される。受理された音声は、選択肢の提示に対する応答として処理される。一方、目的音の範囲外からの音声（例えば運転者が発話した音声）は、棄却されるため、選択肢の提示に対する応答として処理されない。
【０１２６】
なお、上記図１１及び図１３は、同乗者がいない場合の選択肢提示方法として選択肢を読み上げることが選択され、同乗者がいる場合の選択肢提示方法として選択肢を表示することが選択される場合を例として示した。しかし、例えば、助手席判定Ｓ１７０１において、図１０に示したものと同様の処理が実行されてもよい。その結果、助手席に同乗者が乗車している場合であっても、選択肢提示方法として選択肢を読み上げることが選択される場合もある。その場合、ガイダンス出力２＿Ｓ１７０３及び音声で選択肢読み上げＳ１７０５が実行される。
【０１２７】
図１４は、本発明の第１の実施形態における同乗者の名前登録の処理を示すフローチャートである。
【０１２８】
この処理は、カーナビゲーションシステム起動直後に実行される。助手席座席センサチェックＳ８０１において、座席センサ１６０４の情報に基づいて、助手席に人がいるか否かが判定される。
【０１２９】
助手席に人がいる場合、処理は名前認識Ｓ８０２に進む。名前認識Ｓ８０２において、音声認識辞書が全ての音節系列を受理可能なように設定された後、音声認識が実行される。このようにすることによって、任意の人の名前を認識することができる。音声認識によって認識された名前は、それが助手席の結果であるというラベルが付けられた後、記憶媒体１６０２に保存される。質問文生成時に、記憶媒体１６０２に保存された名前認識結果が参照される。
【０１３０】
助手席に人がいない場合、又は、名前認識Ｓ８０２が実行された後、処理は後部座席センサチェックＳ８０３に進み、後部座席に人がいるか否かが判定される。人がいる場合、処理は名前認識Ｓ８０４に進む。名前認識Ｓ８０４において、音声認識辞書が全ての音節系列を受理可能なように設定された後、音声認識が実行される。音声認識によって認識された名前は、それが後部座席の結果であるというラベルを付けられた後、記憶媒体１６０２に保存される。質問文生成時に、記憶媒体１６０２に保存された名前認識結果が参照される。
【０１３１】
後部座席に人がいない場合は、処理を終了する。また、名前認識Ｓ８０４後は、処理を終了する。
【０１３２】
音声出力部１１２は、質問文生成部１１０が生成した質問文を音声合成音に変換し、変換した音声合成音をスピーカ１６０１から出力する。表示画像生成部１１１は、選択肢提示手段判定部１０６の判定結果及び同乗者の有無に基づき、画面に情報を表示する必要がある場合は、表示画像を生成する。ここで生成される画像は、図１２に例示したように選択肢を画面上にテキスト情報として表示するものであってもよいし、選択肢毎に予めプリセットされた画像を画面上に表示するものであってもよい。後者の場合、例えば、選択肢に含まれるレストランの画像が画面上に表示されてもよい。画像表示部１１３は、表示画像生成部１１１が生成した画像をディスプレイ１６０５上に表示する。
【０１３３】
機能制御部１０９は、音声認識結果に基づき、車室内機器を制御する。
【０１３４】
図１５は、本発明の第１の実施形態の機能制御部１０９が実行する処理を示すフローチャートである。
【０１３５】
経路設定コマンドＳ１５０１において、機能制御部１０９は、音声認識結果が経路設定に関するものであるか否かを判定する。この判定は、音声認識結果の候補毎にその結果が経路設定に関するものか否かを示すフラグをあらかじめ設定しておくことで実現される。
【０１３６】
音声認識結果が経路設定に関するものである場合、機能制御部１０９は、カーナビゲーションシステムの経路設定処理を呼び出し、処理を終了する。
【０１３７】
音声認識結果が経路設定に関するものでなかった場合、機能制御部１０９は、次にエアコン操作コマンドＳ１５０２において、音声認識結果がエアコン操作コマンドに関するものか否かを判定する。この判定は、音声認識結果の候補毎に、その結果がエアコン操作コマンドに関するものか否かを示すフラグをあらかじめ設定しておくことで実現される。
【０１３８】
音声認識結果がエアコン操作コマンドに関するものである場合、機能制御部１０９は、カーナビゲーションシステム上のエアコン操作処理を呼び出し、処理を終了する。
【０１３９】
音声認識結果がエアコン操作処理に関するものでなかった場合、次にスピーカ制御コマンドＳ１５０３において、機能制御部１０９は、音声認識結果がスピーカ制御に関するものか否かを判定する。音声認識結果がスピーカ制御に関するものであった場合、機能制御部１０９は、カーナビゲーションシステム上のスピーカ制御処理を呼び出し、処理を終了する。
【０１４０】
以上、本発明の第１の実施形態によれば、自動車にドライバ以外のユーザが乗車しているか否かが判定され、その判定結果に基づいて、ユーザに対する情報提示方法が選択される。それによって、安全性を損なわず、かつ、短時間の音声対話が実現される。
【０１４１】
次に、本発明の第２の実施形態について説明する。第２の実施形態は、第１の実施形態と同様のハードウェアによって実現される（図２及び図９参照）。さらに、第２の実施形態では、以下に説明する相違点を除き、第１の実施形態と同様の処理が実行される。
【０１４２】
図１６は、本発明の第２の実施形態の音声対話装置の機能ブロック図である。
【０１４３】
図１６に示す各部のうち、音声入力部２０１、音源分離部２０２、音声認識部２０３、認識結果棄却判定部２０４、分離範囲設定部２０５、選択肢提示手段判定部２０６、対話制御部２０７、認識辞書生成部２０８、機能制御部２０９、認識語彙ＤＢ２１７、対話スクリプトＤＢ２１６、質問文生成部２１０、表示画像生成部２１１、音声出力部２１４及び画像表示部２１５は、それぞれ、第１の実施形態における音声入力部１０１、音源分離部１０２、音声認識部１０３、認識結果棄却判定部１０４、分離範囲設定部１０５、選択肢提示手段判定部１０６、対話制御部１０７、認識辞書生成部１０８、機能制御部１０９、認識語彙ＤＢ１１５、対話スクリプトＤＢ１１４、質問文生成部１１０、表示画像生成部１１１、音声出力部１１２及び画像表示部１１３と同等の機能を有する。
【０１４４】
第２の実施形態の音声対話装置は、さらに、質問文出力タイミング決定部２１２、画像表示タイミング決定部２１３及び走行状況判定部２１８を備える。これらも、記憶媒体１２０５に格納されたプログラムを中央演算装置１２０３が実行することによって実現される。
【０１４５】
走行状況判定部２１８は、車速の情報に基づいて、現在の走行状況、例えば、現在運転中なのか静止中なのかを判定する。さらに、走行状況判定部２１８は、カーナビゲーションシステムの地図情報を利用して、現在地が高速道路上であるといった情報、及び、現在交差点で静止中であるといった状況まで判定してもよい。
【０１４６】
具体的には、図９に示すカーナビゲーションシステムが、自動車の現在位置情報を取得する測位装置（図示省略）を備える。走行状況判定部２１８は、測位装置が取得した現在位置情報と、記憶媒体１６０２に格納された地図情報とを参照することによって、現在地が高速道路上であるか否かなどを判定することができる。
【０１４７】
判定した走行状況に基づき、選択肢提示手段判定部２０６は、カーナビゲーションシステムに付属のユーザ提示装置を用いた提示手段の中から、安全性を損なわないという条件下で、タスク終了時間（すなわち、ユーザ提示装置が選択肢をユーザに提示し、選択肢をユーザが理解し、選択肢のいずれかをユーザが発話するまでに要する時間）が短い手段を選択する。ディスプレイ１６０５をドライバが見るという行為は、ドライバの注意をそぐ可能性（すなわち、それによって安全性が損なわれる可能性）がある。このため、ドライバが運転中に選択肢を見ながら選択肢を選ぶという行為は、好ましくない。
【０１４８】
このため、同乗者判定Ｓ７０１によってドライバ以外の同乗者が存在しないと判定された場合、判定した走行状況に基づいて選択肢提示手段が判定される。具体的には、走行状況が静止中（すなわち車が停止している状態）である場合、ディスプレイ１６０５上に選択肢を表示するという方法が選択される。一方、走行状況が走行中である場合、ドライバに静止可能な場所に車を止めることを誘導するガイダンスを再生して、ドライバが車を止めたことを走行状況判定で確認した後、ディスプレイ１６０５上に選択肢を表示するという方法が選択される。
【０１４９】
質問文出力タイミング決定部２１２は、質問文を読み上げる音声を出力するタイミングを走行状況に応じて制御する。具体的には、走行状況が走行中である場合、質問文出力タイミング決定部２１２は、ドライバに静止可能な場所に車を止めることを誘導するガイダンスを再生した後、静止状態になったタイミングで、画面上の選択肢の中から選ぶことを誘導する質問文を出力するように制御する。
【０１５０】
画像表示タイミング決定部２１３は、同様に、ディスプレイ１６０５上に選択肢を表示するタイミングを走行状況に応じて制御する。具体的には、画像表示タイミング決定部２１３は、静止状態になったタイミングで、ディスプレイ１６０５の画面上に選択肢を表示するように制御する。
【０１５１】
図１７は、本発明の第２の実施形態における走行状況及び音声対話のタイミングチャートである。
【０１５２】
図１７の例では、音声対話を開始した時点において時速４０ｋｍ／ｈで走行中であったため、質問文出力タイミング決定部２１２は、ドライバに停止をすることを促すガイダンスを再生するように音声出力部２１４を制御する。その後、質問文出力タイミング決定部２１２は、車が停止したことを確認した後、質問文を出力するように音声出力部２１４を制御する。
【０１５３】
画像表示タイミング決定部２１３は、車が停止したことを確認した後、選択肢をディスプレイ１６０５の画面に表示するように画像表示部２１５を制御する。その後、音声認識部２０３等による音声認識が開始される。
【０１５４】
図１８は、本発明の第２の実施形態において選択肢の提示のために実行される処理の一例を示すフローチャートである。
【０１５５】
以下、ドライバ以外の同乗者が乗車しておらず、かつ、車が走行中である場合に図１８の処理が実行される例を示す。
【０１５６】
最初に、状況判定Ｓ１８０１において、走行状況判定部２１８は、車を停止可能であるか否かを判定する。例えば、走行状況判定部２１８は、現在地が高速道路上である場合、車を停止可能でないと判定し、現在地が一般道路上である場合、車を停止可能であると判定してもよい。
【０１５７】
車を停止可能でないと判定された場合、ガイダンス出力１＿Ｓ１８０２において、選択肢提示手段判定部１０６は、車を停止可能でない場合のガイダンス音声を出力する。例えば、選択肢提示手段判定部１０６は、図１１に示した同乗者がいない場合の質問文を読み上げる音声を出力するように質問文生成部２１０を制御してもよい。
【０１５８】
次に、音声で選択肢読み上げＳ１８０４において、選択肢提示手段判定部１０６は、選択肢を読み上げる音声を出力する。具体的には、選択肢提示手段判定部１０６からの指示に基づいて、出力されるべき選択肢を含む質問文を質問文生成部１１０が生成し、生成された質問文を読み上げる音声を音声出力部１１２がスピーカ１６０１に出力させる。
【０１５９】
一方、車を停止可能であると判定された場合、ガイダンス出力２＿Ｓ１８０３において、選択肢提示手段判定部１０６は、車を停止可能である場合のガイダンス音声を出力する。例えば、選択肢提示手段１０６は、ドライバに静止可能な場所に車を止めることを誘導するガイダンスを出力するように質問文生成部２１０を制御してもよい。
【０１６０】
次に、停止判定Ｓ１８０５において、質問文出力タイミング決定部２１２は、車が停止したか否かを判定する。車がまだ停止していないと判定された場合、処理はガイダンス出力２＿Ｓ１８０３に戻り、再び車を止めることを誘導するガイダンスが出力される。
【０１６１】
一方、車が停止したと判定された場合、質問文出力タイミング決定部２１２は、ガイダンス出力３＿Ｓ１８０６において、車が停止した場合のガイダンス音声を出力する。例えば、質問文出力タイミング決定部２１２は、質問文生成部２１０が生成した、同乗者がいる場合の質問文（例えば図１１参照）を読み上げる音声を出力するように、音声出力部２１４を制御してもよい。なお、上記の例では実際には同乗者がいないが、車が停止しているため、ドライバがディスプレイ１６０５を見ても安全性は損なわれない。
【０１６２】
さらに、停止判定Ｓ１８０５において、画像表示タイミング決定部２１３は、車が停止したか否かを判定する。車がまだ停止していないと判定された場合、処理はガイダンス出力２＿Ｓ１８０３に戻り、再び車を止めることを誘導するガイダンスが出力される。
【０１６３】
一方、車が停止したと判定された場合、画像表示タイミング決定部２１３は、ガイダンス出力３＿Ｓ１８０６において、選択肢をディスプレイ１６０５の画面に表示する。例えば、画像表示タイミング決定部２１３は、表示画像生成部２１１が生成した選択肢の表示画像（例えば図１２参照）を表示するように、画像表示部２１５を制御してもよい。
【０１６４】
音声で選択肢読み上げＳ１８０４又はガイダンス出力３＿Ｓ１８０６が実行された後、音声認識Ｓ１８０７が実行される。このステップは、第１の実施形態の音声認識Ｓ１７０６と同様である。
【０１６５】
なお、前記図１８は、ドライバ以外の同乗者が乗車しておらず、かつ、車が走行中である場合を例として説明した。例えば、本実施形態においても、第１の実施形態と同様、図１３に示す助手席判定Ｓ１７０１が実行され、同乗者がいないと判定された場合に図１８に示す処理が開始されてもよい。一方、同乗者がいると判定された場合には、第１の実施形態と同様、ガイダンス出力１＿Ｓ１７０２及び画面に選択肢表示Ｓ１７０４が実行されてもよい。
【０１６６】
さらに、図１８は、車が走行中でない場合に実行されてもよい。例えば、状況判定Ｓ１８０１において、まず車が走行中であるか否かが判定され、走行中であると判定され場合に停止可能であるか否かが判定されてもよい。車が走行中でないと判定された場合、処理はガイダンス出力２＿Ｓ１８０３及び停止判定Ｓ１８０５が省略され、ガイダンス出力３＿Ｓ１８０６が実行されてもよい。
【０１６７】
以上、本発明の第２の実施形態によれば、自動車にドライバのみが乗車している場合であっても、安全性を損なわず、かつ、短時間で音声対話を実行できる情報提示方法が選択される。
【０１６８】
以上の本発明の第１及び第２の実施形態は、選択肢を示すテキスト情報をユーザに提示し、その提示に対する応答として選択肢のいずれかをユーザが発話する処理を例として説明した。しかし、これらの実施形態は、任意のテキスト情報の提示及びそれに対するユーザからの応答を処理するために適用することができる。
【図面の簡単な説明】
【０１６９】
【図１】本発明の第１の実施形態の音声対話装置の機能ブロック図である。
【図２】本発明の第１の実施形態の音声対話装置のハードウェア構成のブロック図である。
【図３】本発明の第１の実施形態において実行される音声認識処理を示すフローチャートである。
【図４】本発明の第１の実施形態の音源分離部が実行する詳細な処理の流れを示す説明図である。
【図５】本発明の第１の実施形態の音源分離において時間周波数毎に実行される処理を示すフローチャートである。
【図６】本発明の第１の実施形態における対話スクリプトに基づく対話を示すフローチャートである。
【図７】本発明の第１の実施形態において使用される音声認識辞書の一例を示す説明図である。
【図８】本発明の第１の実施形態におけるアークごとの単語リストの一例を示す説明図である。
【図９】本発明の第１の実施形態の音声対話装置を含むカーナビゲーションシステムのハードウェア構成のブロック図である。
【図１０】本発明の第１の実施形態の選択肢提示手段判定部が実行する処理を示すフローチャートである。
【図１１】本発明の第１の実施形態において出力されるガイダンス音声の例を示す説明図である。
【図１２】本発明の第１の実施形態においてディスプレイに表示される選択肢の例を示す説明図である。
【図１３】本発明の第１の実施形態において選択肢の提示のために実行される処理の一例を示すフローチャートである。
【図１４】本発明の第１の実施形態における同乗者の名前登録の処理を示すフローチャートである。
【図１５】本発明の第１の実施形態の機能制御部が実行する処理を示すフローチャートである。
【図１６】本発明の第２の実施形態の音声対話装置の機能ブロック図である。
【図１７】本発明の第２の実施形態における走行状況及び音声対話のタイミングチャートである。
【図１８】本発明の第２の実施形態において選択肢の提示のために実行される処理の一例を示すフローチャートである。
【符号の説明】
【０１７０】
１０１、２０１ 音声入力部
１０２、２０２ 音源分離部
１０３、２０３ 音声認識部
１０４、２０４ 認識結果棄却判定部
１０５、２０５ 分離範囲設定部
１０６、２０６ 選択肢提示手段判定部
１０７、２０７ 対話制御部
１０８、２０８ 認識辞書生成部
１０９、２０９ 機能制御部
１１０、２１０ 質問文生成部
１１１、２１１ 表示画像生成部
１１２、２１４ 音声出力部
１１３、２１５ 画像表示部
１１４、２１６ 対話スクリプトＤＢ
１１５、２１７ 認識語彙ＤＢ
２１２ 質問文出力タイミング決定部
２１３ 画像表示タイミング決定部
２１８ 走行状況判定部
Ｓ３０１ コマンド名称
Ｓ３０２ 目的地設定
Ｓ３０３ 自動車機器操作
Ｓ３０４ 周辺施設検索
Ｓ３０５ 時間周波数分解
Ｓ７０１ 同乗者判定
Ｓ７０２ タスク終了時間判定
Ｓ７０３ 最短終了時間手段選択
Ｓ８０１ 助手席座席センサチェック
Ｓ８０２ 名前認識
Ｓ８０３ 後部座席センサチェック
Ｓ８０４ 名前認識
Ｓ９０１ 目的音範囲設定
Ｓ９０２ 音源分離
１００１ ＤＦＴ
１００２ 周波数毎ベクトル化
１００３ 音源定位
１００４ 音源分離
１００５ 逆ＤＦＴ
Ｓ１１０１ 目的音範囲かどうか
Ｓ１１０２ 目的音共分散更新
Ｓ１１０３ 雑音共分散更新
Ｓ１１０４ フィルタ生成
Ｓ１１０５ フィルタリング
Ｓ１１０６ ポストフィルタリング
１２０１ マイクロホンアレイ
１２０２ ＡＤ変換装置
１２０３、１６０３ 中央演算装置
１２０４ 揮発性メモリ
１２０５、１６０２ 記憶媒体
Ｓ１５０１ 経路設定コマンド
Ｓ１５０２ エアコン操作コマンド
Ｓ１５０３ スピーカ制御コマンド
１６０１ スピーカ
１６０４ 座席センサ
１６０５ ディスプレイ
１６０６ マイクロホン
１６０７ 速度センサ
【特許請求の範囲】
【請求項１】
自動車内における乗員の乗車位置を検知する乗員検知部と、
テキスト情報を音声に変換して出力する音声出力部と、
前記テキスト情報を画像に変換して表示する画像表示部と、
前記乗員検知部の検知結果に基づいて、前記音声出力部又は前記画像表示部のいずれか一方を選択し、前記選択された前記音声出力部又は前記画像表示部に前記テキスト情報を出力させる切り替え部と、を備えることを特徴とする音声対話装置。
【請求項２】
運転者以外の乗員が乗車している場合、前記テキスト情報を前記画像表示部に出力させることを選択し、前記運転者以外の乗員が乗車していない場合、前記テキスト情報を前記音声出力部に出力させることを選択することを特徴とする請求項１に記載の音声対話装置。
【請求項３】
前記音声対話装置は、
さらに、複数のマイクロホンを備え、
前記運転者以外の乗員が乗車していると判定された場合、前記運転者以外の乗員が応答するように促す音声を前記音声出力部から出力し、
前記運転者以外の乗員が応答するように促す音声が出力された後、前記複数のマイクロホンが音声を受信すると、前記受信した音声の音源方向を特定し、
前記特定された音源方向が、前記複数のマイクロホンから前記運転者以外の乗員への方向を含む所定の範囲内であるか否かを判定し、
前記特定された音源方向が前記所定の範囲内である場合、前記受信した音声を、前記画像表示部に表示されたテキスト情報に対する応答として処理することを特徴とする請求項２に記載の音声対話装置。
【請求項４】
前記音声対話装置は、
前記運転者以外の乗員が乗車している場合、前記テキスト情報の前記画像表示部への表示に要する第１時間、及び、前記テキスト情報を読み上げる音声の前記音声出力部からの出力に要する第２時間を推定し、
前記第１時間が前記第２時間より短い場合、前記テキスト情報を前記画像表示部に出力させることを選択し、前記第２時間が前記第１時間より短い場合、前記テキスト情報を前記音声出力部に出力させることを選択し、
前記運転者以外の乗員が乗車していない場合、前記テキスト情報を前記音声出力部に出力させることを選択することを特徴とする請求項１に記載の音声対話装置。
【請求項５】
前記自動車は、さらに、前記自動車が走行中であるか否かを示す情報を出力する速度センサを備え、
前記音声対話装置は、
前記速度センサからの出力に基づいて、前記自動車が走行中であるか否かを判定し、
前記自動車が走行中であると判定された場合、前記運転者に自動車の停止を促す音声を前記音声出力部から出力し、
前記自動車が停止中であると判定された場合、前記テキスト情報を含む画像を前記画像表示部に表示することを特徴とする請求項１に記載の音声対話装置。
【請求項６】
前記音声対話装置は、前記運転者以外の乗員が乗車していない場合、前記自動車が走行中であるか否かを判定し、前記運転者以外の乗員が乗車している場合、前記自動車が走行中であるか否かを判定しないことを特徴とする請求項５に記載の音声対話装置。
【請求項７】
前記自動車は、さらに、前記自動車の現在位置情報を取得する測位装置を備え、
前記音声対話装置は、
前記測位装置が取得した前記自動車の現在位置情報に基づいて、前記自動車を停止させることができるか否かを判定し、
前記自動車を停止させることができると判定された場合、前記運転者に自動車の停止を促す音声を前記音声出力部から出力し、
前記自動車を停止させることができないと判定された場合、前記テキスト情報を読み上げる音声を前記音声出力部から出力することを特徴とする請求項５に記載の音声対話装置。
【請求項８】
前記音声対話装置は、前記現在位置情報に基づいて、前記自動車が高速道路を走行中であると判定された場合、前記自動車を停止させることができないと判定することを特徴とする請求項７に記載の音声対話装置。
【請求項９】
テキスト情報を音声に変換して出力する音声出力部と、前記テキスト情報を画像に変換して出力する画像表示部と、を備える音声対話装置による音声対話方法において、
自動車内における乗員の乗車位置を検知する乗員検知手順と、
前記乗員検知手順によって検出された乗員の位置に基づいて、前記音声出力部又は前記画像表示部のいずれか一方を選択し、選択された前記音声出力部又は前記画像表示部が前記テキスト情報を出力する切り替え手順と、を含むことを特徴とする音声対話方法。
【請求項１０】
前記切り替え手順は、運転者以外の乗員が乗車している場合、前記テキスト情報を前記画像表示部に出力させることを選択し、前記運転者以外の乗員が乗車していない場合、前記テキスト情報を前記音声出力部に出力させることを選択する手順を含むことを特徴とする請求項９に記載の音声対話方法。
【請求項１１】
前記音声対話装置は、さらに、複数のマイクロホンを備え、
前記音声対話方法は、さらに、
前記運転者以外の乗員が乗車していると判定された場合、前記運転者以外の乗員が応答するように促す音声を前記音声出力部から出力する手順と、
前記運転者以外の乗員が応答するように促す音声が出力された後、前記複数のマイクロホンが音声を受信すると、前記受信した音声の音源方向を特定する手順と、
前記特定された音源方向が、前記複数のマイクロホンから前記運転者以外の乗員への方向を含む所定の範囲内であるか否かを判定する手順と、
前記特定された音源方向が前記所定の範囲内である場合、前記受信した音声を、前記画像表示部に表示されたテキスト情報に対する応答として処理する手順と、を含むことを特徴とする請求項１０に記載の音声対話方法。
【請求項１２】
前記切り替え手順は、前記運転者以外の乗員が乗車している場合、前記テキスト情報の前記画像表示部への表示に要する第１時間、及び、前記テキスト情報を読み上げる音声の前記音声出力部からの出力に要する第２時間を推定し、前記第１時間が前記第２時間より短い場合、前記テキスト情報を前記画像表示部に出力させることを選択し、前記第２時間が前記第１時間より短い場合、前記テキスト情報を前記音声出力部に出力させることを選択し、前記運転者以外の乗員が乗車していない場合、前記テキスト情報を前記音声出力部に出力させることを選択する手順を含むことを特徴とする請求項９に記載の音声対話方法。
【請求項１３】
前記自動車は、さらに、前記自動車が走行中であるか否かを示す情報を出力する速度センサを備え、
前記音声対話方法は、さらに、
前記速度センサからの出力に基づいて、前記自動車が走行中であるか否かを判定する手順と、
前記自動車が走行中であると判定された場合、前記運転者に自動車の停止を促す音声を前記音声出力部から出力する手順と、
前記自動車が停止中であると判定された場合、前記テキスト情報を含む画像を前記画像表示部に表示する手順と、を含むことを特徴とする請求項９に記載の音声対話方法。
【請求項１４】
前記自動車が走行中であるか否かを判定する手順は、前記運転者以外の乗員が乗車していない場合に実行され、前記運転者以外の乗員が乗車している場合には実行されないことを特徴とする請求項１３に記載の音声対話方法。
【請求項１５】
前記自動車は、さらに、前記自動車の現在位置情報を取得する測位装置を備え、
前記音声対話方法は、さらに、
前記測位装置が取得した前記自動車の現在位置情報に基づいて、前記自動車を停止させることができるか否かを判定する手順と、
前記自動車を停止させることができると判定された場合、前記運転者に自動車の停止を促すメッセージを前記音声出力部から出力する手順と、
前記自動車を停止させることができないと判定された場合、前記テキスト情報を読み上げる音声を前記音声出力部から出力する手順と、を含むことを特徴とする請求項１３に記載の音声対話方法。
【請求項１６】
前記自動車を停止させることができるか否かを判定する手順は、前記現在位置情報に基づいて、前記自動車が高速道路を走行中であると判定された場合、前記自動車を停止させることができないと判定する手順を含むことを特徴とする請求項１５に記載の音声対話方法。
【請求項１】
自動車内における乗員の乗車位置を検知する乗員検知部と、
テキスト情報を音声に変換して出力する音声出力部と、
前記テキスト情報を画像に変換して表示する画像表示部と、
前記乗員検知部の検知結果に基づいて、前記音声出力部又は前記画像表示部のいずれか一方を選択し、前記選択された前記音声出力部又は前記画像表示部に前記テキスト情報を出力させる切り替え部と、を備えることを特徴とする音声対話装置。
【請求項２】
運転者以外の乗員が乗車している場合、前記テキスト情報を前記画像表示部に出力させることを選択し、前記運転者以外の乗員が乗車していない場合、前記テキスト情報を前記音声出力部に出力させることを選択することを特徴とする請求項１に記載の音声対話装置。
【請求項３】
前記音声対話装置は、
さらに、複数のマイクロホンを備え、
前記運転者以外の乗員が乗車していると判定された場合、前記運転者以外の乗員が応答するように促す音声を前記音声出力部から出力し、
前記運転者以外の乗員が応答するように促す音声が出力された後、前記複数のマイクロホンが音声を受信すると、前記受信した音声の音源方向を特定し、
前記特定された音源方向が、前記複数のマイクロホンから前記運転者以外の乗員への方向を含む所定の範囲内であるか否かを判定し、
前記特定された音源方向が前記所定の範囲内である場合、前記受信した音声を、前記画像表示部に表示されたテキスト情報に対する応答として処理することを特徴とする請求項２に記載の音声対話装置。
【請求項４】
前記音声対話装置は、
前記運転者以外の乗員が乗車している場合、前記テキスト情報の前記画像表示部への表示に要する第１時間、及び、前記テキスト情報を読み上げる音声の前記音声出力部からの出力に要する第２時間を推定し、
前記第１時間が前記第２時間より短い場合、前記テキスト情報を前記画像表示部に出力させることを選択し、前記第２時間が前記第１時間より短い場合、前記テキスト情報を前記音声出力部に出力させることを選択し、
前記運転者以外の乗員が乗車していない場合、前記テキスト情報を前記音声出力部に出力させることを選択することを特徴とする請求項１に記載の音声対話装置。
【請求項５】
前記自動車は、さらに、前記自動車が走行中であるか否かを示す情報を出力する速度センサを備え、
前記音声対話装置は、
前記速度センサからの出力に基づいて、前記自動車が走行中であるか否かを判定し、
前記自動車が走行中であると判定された場合、前記運転者に自動車の停止を促す音声を前記音声出力部から出力し、
前記自動車が停止中であると判定された場合、前記テキスト情報を含む画像を前記画像表示部に表示することを特徴とする請求項１に記載の音声対話装置。
【請求項６】
前記音声対話装置は、前記運転者以外の乗員が乗車していない場合、前記自動車が走行中であるか否かを判定し、前記運転者以外の乗員が乗車している場合、前記自動車が走行中であるか否かを判定しないことを特徴とする請求項５に記載の音声対話装置。
【請求項７】
前記自動車は、さらに、前記自動車の現在位置情報を取得する測位装置を備え、
前記音声対話装置は、
前記測位装置が取得した前記自動車の現在位置情報に基づいて、前記自動車を停止させることができるか否かを判定し、
前記自動車を停止させることができると判定された場合、前記運転者に自動車の停止を促す音声を前記音声出力部から出力し、
前記自動車を停止させることができないと判定された場合、前記テキスト情報を読み上げる音声を前記音声出力部から出力することを特徴とする請求項５に記載の音声対話装置。
【請求項８】
前記音声対話装置は、前記現在位置情報に基づいて、前記自動車が高速道路を走行中であると判定された場合、前記自動車を停止させることができないと判定することを特徴とする請求項７に記載の音声対話装置。
【請求項９】
テキスト情報を音声に変換して出力する音声出力部と、前記テキスト情報を画像に変換して出力する画像表示部と、を備える音声対話装置による音声対話方法において、
自動車内における乗員の乗車位置を検知する乗員検知手順と、
前記乗員検知手順によって検出された乗員の位置に基づいて、前記音声出力部又は前記画像表示部のいずれか一方を選択し、選択された前記音声出力部又は前記画像表示部が前記テキスト情報を出力する切り替え手順と、を含むことを特徴とする音声対話方法。
【請求項１０】
前記切り替え手順は、運転者以外の乗員が乗車している場合、前記テキスト情報を前記画像表示部に出力させることを選択し、前記運転者以外の乗員が乗車していない場合、前記テキスト情報を前記音声出力部に出力させることを選択する手順を含むことを特徴とする請求項９に記載の音声対話方法。
【請求項１１】
前記音声対話装置は、さらに、複数のマイクロホンを備え、
前記音声対話方法は、さらに、
前記運転者以外の乗員が乗車していると判定された場合、前記運転者以外の乗員が応答するように促す音声を前記音声出力部から出力する手順と、
前記運転者以外の乗員が応答するように促す音声が出力された後、前記複数のマイクロホンが音声を受信すると、前記受信した音声の音源方向を特定する手順と、
前記特定された音源方向が、前記複数のマイクロホンから前記運転者以外の乗員への方向を含む所定の範囲内であるか否かを判定する手順と、
前記特定された音源方向が前記所定の範囲内である場合、前記受信した音声を、前記画像表示部に表示されたテキスト情報に対する応答として処理する手順と、を含むことを特徴とする請求項１０に記載の音声対話方法。
【請求項１２】
前記切り替え手順は、前記運転者以外の乗員が乗車している場合、前記テキスト情報の前記画像表示部への表示に要する第１時間、及び、前記テキスト情報を読み上げる音声の前記音声出力部からの出力に要する第２時間を推定し、前記第１時間が前記第２時間より短い場合、前記テキスト情報を前記画像表示部に出力させることを選択し、前記第２時間が前記第１時間より短い場合、前記テキスト情報を前記音声出力部に出力させることを選択し、前記運転者以外の乗員が乗車していない場合、前記テキスト情報を前記音声出力部に出力させることを選択する手順を含むことを特徴とする請求項９に記載の音声対話方法。
【請求項１３】
前記自動車は、さらに、前記自動車が走行中であるか否かを示す情報を出力する速度センサを備え、
前記音声対話方法は、さらに、
前記速度センサからの出力に基づいて、前記自動車が走行中であるか否かを判定する手順と、
前記自動車が走行中であると判定された場合、前記運転者に自動車の停止を促す音声を前記音声出力部から出力する手順と、
前記自動車が停止中であると判定された場合、前記テキスト情報を含む画像を前記画像表示部に表示する手順と、を含むことを特徴とする請求項９に記載の音声対話方法。
【請求項１４】
前記自動車が走行中であるか否かを判定する手順は、前記運転者以外の乗員が乗車していない場合に実行され、前記運転者以外の乗員が乗車している場合には実行されないことを特徴とする請求項１３に記載の音声対話方法。
【請求項１５】
前記自動車は、さらに、前記自動車の現在位置情報を取得する測位装置を備え、
前記音声対話方法は、さらに、
前記測位装置が取得した前記自動車の現在位置情報に基づいて、前記自動車を停止させることができるか否かを判定する手順と、
前記自動車を停止させることができると判定された場合、前記運転者に自動車の停止を促すメッセージを前記音声出力部から出力する手順と、
前記自動車を停止させることができないと判定された場合、前記テキスト情報を読み上げる音声を前記音声出力部から出力する手順と、を含むことを特徴とする請求項１３に記載の音声対話方法。
【請求項１６】
前記自動車を停止させることができるか否かを判定する手順は、前記現在位置情報に基づいて、前記自動車が高速道路を走行中であると判定された場合、前記自動車を停止させることができないと判定する手順を含むことを特徴とする請求項１５に記載の音声対話方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１０−１０２１６３（Ｐ２０１０−１０２１６３Ａ）
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００８−２７４１２４（Ｐ２００８−２７４１２４）
【出願日】平成２０年１０月２４日（２００８．１０．２４）
【出願人】（５９１１３２３３５）株式会社ザナヴィ・インフォマティクス (745)
【Ｆターム（参考）】
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２０年１０月２４日（２００８．１０．２４）
【出願人】（５９１１３２３３５）株式会社ザナヴィ・インフォマティクス (745)
【Ｆターム（参考）】
[ Back to top ]