ダイアログシステムの駆動方法
本発明は、音声信号を処理する音声インタフェースを有するダイアログシステムを駆動する方法を記載する。本方法は、予想される音声入力信号の特性を推定し、当該特性に従って音声インタフェース制御パラメータを生成する。音声インタフェースの動作は、この音声インタフェース制御パラメータに基づき最適化される。さらに本発明は、音声インタフェースと、ダイアログ制御ユニットと、予想される音声入力信号の特性を推定する予測モジュールと、前記特性に基づき音声入力制御パラメータを生成することにより、前記音声インタフェースの動作を最適化する音声最適化装置とを有することを特徴とするダイアログシステムを記載する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にダイアログシステムの駆動方法に関し、より詳細には発話ベースダイアログシステム及び対応するダイアログシステムに関する。
【背景技術】
【０００２】
マンマシーンインタフェースの分野における最近の進歩は、装置と装置のユーザとの間の対話（ダイアログ）を介し動作する技術的装置の広範な利用を導いた。一部のダイアログシステムは、ユーザ側での手動によるやりとり及び視覚情報の表示に基づくものである。例えば、ほとんどすべての携帯電話機は、それのディスプレイ上に選択肢を表示することに基づき操作ダイアログと、特定の選択肢を選択するのに適切なボタンのユーザによる押下とにより操作される。このようなダイアログシステムは、ユーザが自由にディスプレイ上の視覚情報を見て、ダイアログシステムと手動によりやりとりできる環境においてのみ実現可能である。しかしながら、ユーザが車の運転など他の作業に集中する必要がある環境では、ユーザが自らの選択肢を決定するのに画面を見ることは実際的ではない。さらに、ユーザが自らの選択肢を手動により入力することは不可能であるか、あるいは、これを行うのと、ユーザが危険な状況に置かれる可能性もある。
【０００３】
しかしながら、少なくとも部分的に発話に基づくダイアログシステムは、ユーザが当該システムとの発話を入力することを可能にする。ユーザは、コマンドを発話し、ダイアログシステムから視覚及び／又は音声によるフィードバックを受け取る。そのような一例として、ユーザがビデオレコーダなどの装置を起動させるためのコマンドを発話する家電管理システムがあげられる。他の例としては、ユーザが装置に質問をしたり、コマンドを指示し、当該装置が応答を与えたり、質問を返し、これによりユーザと装置が対話に入る車のナビゲーション装置や他の装置の動作であってもよい。他のダイアログ又は会話システムは、地域のレストランに関する情報及びそこへの行き方を提供する電話ダイアログや、フライト状況に関する情報を提供し、ユーザが電話機を介しフライトを予約することを可能にする電話ダイアログなどの電話ダイアログとして利用及び実現されている。上記ダイアログシステムの共通の特徴は、発話を含む音声入力を記録及び処理し、入力音声閾値、ファイナルサイレンスウィンドウ（ｆｉｎａｌ ｓｉｌｅｎｃｅ ｗｉｎｄｏｗ）などの各種パラメータにより構成することが可能な音声インタフェースである。
【０００４】
このようなダイアログシステムの１つの問題点は、ユーザにより与えられる音声入力が、ほとんど常にある量の背景ノイズを伴うということである。従って、発話ベースダイアログシステムの音声インタフェースの１つの制御パラメータは、音声がサイレンスとみなされるべきノイズレベルを指定する。音声がサイレンス閾値より大きい、すなわち、サイレンス閾値より大きな信号エネルギーを有する場合のみ、当該音声は音声としてみなされる。残念ながら、背景ノイズは可変的なものであるかもしれない。背景ノイズは、例えば、車の運転手がアクセルを踏み、これにより大きなモーター音が発生したり、あるいは、運転手が窓を開け、これにより車の外部からのノイズが背景ノイズに影響を与えたりなどの環境状態の変化により増大する。背景ノイズのレベルの変化は、エアコンを作動させるためなどの発話されるユーザコマンドに応答して、ダイアログシステムによりとられるアクションにより生じるかもしれない。以降における背景ノイズの上昇は、音声入力信号に対し信号対ノイズ比を低下させる効果を有する。それはまた、背景ノイズがサイレンス閾値を超過する状況をもたらし、結果として不正確に解釈されるかもしれない。他方、サイレンス閾値が高すぎる場合、発話されたユーザ入力は、サイレンス閾値を超えることができず、結果として無視されるかもしれない。
【０００５】
現在のダイアログシステムの他の問題点は、可能な限り多くの可能性をカバーするため、他の閾値制御パラメータもまたしばしば設定され、一般には固定値に設定されるということである。例えば、ファイナルサイレンスウィンドウ（ユーザの直近の発話とユーザが発話したと結論付けるシステム判断との間の経過時間）は固定された長さを有するが、ユーザが実際に発話を終了した後に経過した時間の長さは、ユーザが発話した内容に大きく依存する。例えば、ダイアログシステムにより与えられる直接的な質問に対するシンプルな「イエス／ノー」の回答は、長いファイナルサイレンスウィンドウを必要としない。他方、あるルートに沿って訪れる目的地などの自由形式の質問に対する応答は、ユーザの発話内容に応じて任意の長さを有し得る。従って、ファイナルサイレンスウィンドウは、このような応答をカバーするだけの十分な長さを有する必要がある。なぜなら、短い値はユーザの応答が終了前にカットされる可能性があるからである。スペルを言う入力もまた、比較的長いファイナルサイレンスウィンドウを必要とする。なぜなら、単語のスペルを言う文字の間のポーズは、フレーズ又はセンテンスの単語の間のポーズより通常長くなるためである。しかしながら、長いファイナルサイレンスウィンドウは、ダイアログシステムの応答時間を長くし、特に短いイエス／ノー応答を期待する連続する質問の場合には不快にさせる可能性がある。ユーザは少なくとも毎回ファイナルサイレンスウィンドウの時間と同程度の時間だけ待機する必要があるため、当該対話はユーザにとっておそらく不自然なものとなるであろう。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従って、本発明の課題は、容易な利用を提供しながら、ダイアログシステムのパフォーマンスを最適化し、困難な状況下での良好な音声認識を保証する容易かつ安価な方法を提供することである。
【課題を解決するための手段】
【０００７】
このため、本発明は、予想される音声入力信号の特性を推定し、当該特性に従って音声インタフェース制御パラメータを生成し、音声インタフェースの動作を自動的に最適化するようパラメータを適用することにより、音声信号を処理する音声インタフェースを有するダイアログシステムを駆動する方法を提供する。ここで、予想される音声入力信号は、ダイアログシステムの出力（プロンプト）に対するユーザの発話された応答と共にこれに付随する背景ノイズなどの予想される発話入力であってもよい。
【０００８】
本発明によるダイアログシステムは、音声インタフェース、ダイアログ制御ユニット、予測モジュール及び最適化ユニットを有する。予想される音声入力信号の特性は、ダイアログ制御ユニットにより供給される情報を利用する予測モジュールにより推定される。ダイアログ制御ユニットは、発話内容の解釈のあいまいさを解消し、与えられる対話記述に従って対話を制御し、ユーザに提供するため音声データを音声生成装置に送信し、発話されたユーザ入力を促す。その後、最適化モジュールが、予測モジュールにより供給される特性に基づき、音声インタフェース制御パラメータを生成する。
【０００９】
従って、音声インタフェースは、音声入力信号の変化を補償するよう最適に調整し、これにより、利用性を確保しながら、音声認識の向上及びシステム応答時間の短縮を可能にする。このように、ダイアログシステムのパフォーマンスは、システムのユーザが特別なリクエストをする必要なく最適化される。
【００１０】
音声インタフェースは、音声ハードウェア、音声ドライバ及び音声モジュールから構成されてもよい。音声ハードウェアは、電話の受話器などの装置に等しく組み込まれ、あるいは独立型のものであってもよい音声入力信号を記録する手段に接続されるインタフェースの「フロントエンド」である。音声ハードウェアは、例えば、サウンドカード、モデムなどであってもよい。
【００１１】
音声ドライバは、音声入力信号をデジタル信号形式に変換し、デジタル入力信号を音声入力データブロックに構成する。その後、音声ドライバは、音声入力データブロックを音声モジュールにわたし、当該モジュールは音声データの信号エネルギーを解析し、発話内容を判断及び抽出する。
【００１２】
音声インタフェースが入出力インタフェースであるシステムでは、音声モジュール、音声ドライバ及び音声ハードウェアはまた、音声出力を処理することが可能である。ここで、音声モジュールは、音声生成装置などからデジタル音声情報を受け取り、デジタル出力信号を音声出力信号に変換する音声ドライバに適切な形式によりデジタル情報をわたす。音声ハードウェアは、その後、ラウドスピーカーを介し音声出力信号を発信することができる。この場合、音声インタフェースは、ユーザがマイクロフォンに発話し、ラウドスピーカーを介しシステム出力プロンプトを聞くことによって、発話された対話においてシステムとやりとりすることが可能となる。しかしながら、本発明は双方向に発話される対話に限定されるものではない。音声インタフェースは、異なる出力インタフェースが、例えば、グラフィカルディスプレイ上に視覚的に出力プロンプトをユーザに提示しながら、発話コマンドを含む入力音声を処理するのに十分であるかもしれない。
【００１３】
従属項は、本発明の特に効果的な実施例及び特徴を開示し、これにより、システムがさらに方法クレームの特徴により展開可能となる。
【００１４】
好ましくは、制御パラメータは、音声インタフェースの音声ドライバの記録及び／又は処理パラメータを有する。音声ドライバは、音声モジュールに音声データブロックを供給する。典型的には、このような音声データブロックは、ブロックヘッダとブロックデータとから構成され、ヘッダは固定サイズ及びフォーマットを有し、データブロックのサイズは可変とされる。ブロックのサイズは小さいものとすることが可能であり、これにより、システム応答時間の迅速化及びオーバーヘッドの向上が可能となる。より大きなブロックはシステム応答時間の遅延及びオーバーヘッドの低下を招く。システムの瞬間的能力に応じて音声ブロックサイズを調整することがしばしば望ましい。このため、音声ドライバは、最適化装置に音声ブロックの現在サイズを通知する。ダイアログ制御モジュールにより供給される情報に応じて、最適化装置は、音声ブロックのサイズが所望に従って増減されるように、音声ドライバのパラメータを変更するようにしてもよい。音声ドライバの他のパラメータは、記録レベル、すなわち、マイクロフォンの感度であってもよい。インタフェースを介し外部アプリケーションに供給され、又は入力信号を処理することにより取得される背景ノイズのレベル及び入力音声の質に関する情報に応じて、最適化装置は、現在の状況に最も適するようにマイクロフォンの感度を調整するようにしてもよい。
【００１５】
制御パラメータはまた、音声インタフェースの音声モジュールの閾値パラメータを有するようにしてもよい。このような閾値パラメータは、音声又はサイレンスのエネルギーレベルであってもよく、すなわち、サイレンス閾値は、音声入力信号において発話を検出するのに音声モジュールにより適用される。サイレンス閾値より高いエネルギーレベルを有する任意の信号は、発話検出アルゴリズムにより考慮される。他の閾値パラメータは、ユーザが出力プロンプトに応答するのにダイアログシステムが待機する時間、例えば、ダイアログシステムによりユーザに与えられるいくつかの選択肢の１つを選択するのにユーザに利用可能な時間の長さなどを決定するタイムアウト値であってもよい。予測ユニットは、やりとりされている対話のタイプに応じてユーザの応答の特性を判断し、これに応じて最適化装置は、音声モジュールのタイムアウト値を調整する。さらなる閾値パラメータは、ファイナルサイレンスウィンドウ、すなわち、ユーザが発話を終了したとダイアログ制御ユニットが結論付ける発話に続いて経過した時間に関する。やりとりされている対話のタイプに応じて、最適化装置は、ファイナルサイレンスウィンドウの長さを増減するようにしてもよい。例えば、予想されるスペルを言う入力の場合、スペルされた単語の文字の何れもが見逃されないように、ファイナルサイレンスウィンドウの長さを拡大することが効果的である。
【００１６】
制御パラメータは、音声インタフェースの適切なモジュールに直接適用されてもよいし、あるいは、音声インタフェースのモジュールの決定プロセスにおける他の関連するパラメータと共に考慮されてもよい。これら他のパラメータは、現在パラメータの前に最適化装置により供給されたものであってもよいし、あるいは、外部ソースから取得されたものであってもよい。
【００１７】
本発明の好適実施例では、予想される音声入力信号の特性は、現在利用可能なデータ及び／又は以前の入力データから推定される。
【００１８】
特に、予想される音声入力信号の特性は、入力音声信号の発話内容の意味解析から推定されてもよい。例えば、搭載ダイアログシステムを有する車の運転手は、エアコンをオンにし、特定の温度に調整するため、例えば、「エアコンをオンし、約２２度に設定せよ」などのコマンドを発話する。音声入力信号が処理され、音声認識が実行されると、発話された単語の意味解析が音声理解モジュールにおいて実行され、当該モジュールは、「オン」、「エアコン」、「２２度」などの関連する単語及びフレーズを特定し、関係のない単語を無視する。その後、関連する単語及びフレーズが、適切なコマンドが起動可能となるように、ダイアログ制御ユニットに転送される。本発明によると、予想される音声入力の特性が推定できるように、予測モジュールにアクションが通知される。この場合、予測モジュールは、当該データから以降の入力信号の１つの特性がエアコンにより生ずる比較的高いノイズレベルであるということを推定する。これに応じて最適化装置は、本例では、エアコンの動作音がダイアログシステムによりサイレンスとして扱われるように、サイレンス閾値を引き上げることにより入力音声制御パラメータを生成する。
【００１９】
好ましくは、予想される入力信号の特性はまた、決定された環境状態入力データから推定されてもよい。本発明の構成では、ダイアログシステムには外部環境に関する関連データが供給される。例えば、このようなダイアログシステムを備える車では、ｒｐｍ値などの情報が適切なインタフェースを介しダイアログシステムにわたされてもよい。その後、予測モジュールは、ｒｐｍ値の上昇から以降の音声入力信号が音量増大により特徴付けされることを推定することが可能である。この特徴は、その後に最適化装置にわたされ、次に当該装置により適切な音声入力制御パラメータが生成される。ここで、運転手は、適切なボタンを手動により起動することにより、車の１以上の窓を開く。搭載されているアプリケーションは、ダイアログ制御ユニットに当該アクションを通知し、最適化装置が背景ノイズの増大を補償するため、音声モジュールの適切な制御パラメータを生成することが可能となるように、必要な情報を予測モジュールに供給する。
【００２０】
効果的には、予想される音声入力信号の特性はまた、ダイアログシステムの現在プロンプトに対する予想される応答から推定されるようにしてもよい。例えば、ダイアログシステムを搭載するナビゲーションシステムの場合、車の運転手は、「Ｌｌａｎｅｌｗｅｄｄへの最短ルートを探索せよ」とナビゲーションシステムに求めるかもしれない。ダイアログ制御モジュールは、当該コマンドを処理するが、目的地の名前を認識せず、これに応じて目的地の名前のスペルを言うよう運転手に求める出力プロンプトを発する。予測モジュールは、予想されるスペルされた音声入力が、比較的長いサイレンスにより分離される短い発話から構成されると推定し、最適化装置に当該特性を通知する。最適化装置は、目的地のすべてのスペルされた文字が良好に記録及び処理可能となるように、ファイナルサイレンスウィンドウの拡大などの適切な入力制御パラメータを生成する。
【００２１】
本発明の他の課題及び特徴は、添付した図面に関して考慮される以下の詳細な説明から明らかとなるであろう。しかしながら、これらの図面は単なる例示のためのものであり、本発明の限定的規定として構成されたものではないということは理解されるべきであり、添付された請求項が参照されるべきである。
【００２２】
単独の図１は、本発明の実施例によるダイアログシステムの概略ブロック図である。
【００２３】
本発明の他の可能な実施例を排除するものではない図面の記載において、本システムは、自動車のダイアログシステムなどのユーザ装置の一部として示されている。
【発明を実施するための最良の形態】
【００２４】
音声インタフェース１１は、入力と出力の両方の音声信号を処理することができ、音声ハードウェア８、音声ドライバ９及び音声モジュール１０から構成される。マイクロフォン１８により検出される音声入力信号３は、サウンドカードタイプなどの音声ハードウェア８により記録される。記録された音声入力信号は、音声モジュール１０によるさらなる処理が行われる前に、それをデジタル化する音声ドライバ９にわたされる。音声モジュール１０は、発話内容２１及び／又は背景ノイズを判断することができる。他方、デジタル化された音声信号形式によるシステム１の出力プロンプト６が、ラウドスピーカー１９に接続される音声ハードウェア８により音声信号２０として以降において出力される前に、音声モジュール１０及び音声ドライバ９によって処理することができる。
【００２５】
音声入力３の発話内容２１は、発話内容２１からデジタルテキスト５を生成する自動発話認識モジュール１５にわたされる。その後、デジタルテキスト５はさらに、デジタルテキスト５を調べ、関連する意味情報２２を抽出する意味解析装置又は「発話理解」モジュール１６により処理される。関連する単語２２が、ダイアログ制御モジュール１２に転送される。
【００２６】
ダイアログ制御モジュール１２は、意味解析装置１６により与えられる意味情報２２を調べることにより対話の性質を判断し、必要に応じてコマンドを外部アプリケーション２４に転送し、与えられた対話説明に続き、必要に応じてデジタルプロンプトテキスト２３を生成する。
【００２７】
ユーザからの発話入力３が求められる場合、ダイアログ制御モジュール１２は、音声生成装置に送られるデジタル入力プロンプトテキスト２３を生成する。次にこれは、音声インタフェース１１にわたされ、その後ラウドスピーカー１９に音声出力プロンプト２０として発せられる音声出力信号６を生成する。
【００２８】
本例では、ダイアログ制御モジュール１２は、適切なインタフェース７を用いて外部アプリケーション２４、ここでは車の搭載装置に接続される。このようにして、「車の窓を開けろ」などのユーザにより発話されるコマンドは、ダイアログ制御モジュール１２により適切に符号化され、以降においてコマンドを実行するアプリケーション２４にインタフェース７を介しわたされる。
【００２９】
ダイアログ制御ユニット１２に接続、又は本例では一体化される予測モジュール１３は、対話の結果として実行されるアクションの予想される音声入力信号３の特性に対する効果を判断する。例えば、ユーザは、車の窓を開けるためのコマンドを発したかもしれない。予測モジュール１３は、以降の入力音声信号の背景ノイズが結果としてより良好に発音されることを推測する。その後、予測モジュール１３は、最適化装置１４に予測される入力音声信号の予測される特性、この場合、結果としてのより低い信号対ノイズ比による背景ノイズの上昇を与える。
【００３０】
予測モジュール１３により提供される特性２を利用して、最適化装置１４は、音声インタフェース１１の適切な制御パラメータを生成することができる。本例では、最適化装置１４は、音声モジュール１０のサイレンス閾値を引き上げることにより、ノイズ増加を打ち消すよう動作する。車の窓が開けられると、音声モジュール９は、引き上げられたサイレンス閾値が背景ノイズの上昇を補償するように、最適化されたパラメータ４によりデジタル化された音声入力信号を処理する。
【００３１】
音声インタフェース１１はまた、音声ブロックの現在サイズや背景ノイズの現在レベルなどの情報２５を最適化装置１４に供給する。最適化装置１４は、最適化された制御パラメータを生成するのに当該情報２５を適用することができる。
【００３２】
出力プロンプト２０のタイプに応じて、ユーザの応答はフレーズ、センテンス又はスペルを言う単語などの形式となるかもしれない。例えば、出力プロンプト２０は、ユーザが単に「イエス」又は「ノー」を返事するだけでよい直接的な質問の形式であってもよい。この場合、予測モジュール１３は、予想される入力信号３が、一言により特徴付けされ、時間が短いと推定し、最適化装置１４に当該特性を通知する。最適化装置１４はこれに応じて、例えば、音声入力信号３に短いタイムアウト値を指定することによって、制御パラメータ４を生成する。
【００３３】
外部アプリケーションはまた、ダイアログシステム１に関連情報を供給することができる。例えば、アプリケーション２４は、ダイアログシステム１に車のｒｐｍ値を継続的に供給することができる。予測モジュール１３は、ｒｐｍ値の上昇に対しモーターノイズの上昇を予測し、これに応じて以降の入力音声信号３の特性を推定する。最適化装置１４は、サイレンス閾値を引き上げるため、制御パラメータ４を生成し、これにより、ノイズ上昇を補償する。モーターのｒｐｍ値の低下は、モーターノイズのレベルを低下させ、これにより、予測モジュール１３は入力音声信号３に対する背景ノイズのレベル低下を推定する。その後、最適化装置１４はこれに応じて音声入力制御パラメータ４を調整する。
【００３４】
おそらく音声ハードウェアを除いて、本発明のすべてのモジュール及びユニットは、適切なプロセッサを用いてソフトウェアにより実現することが可能である。
【００３５】
本発明は好適な実施例及びその変形の形式により開示されたが、本発明の範囲から逸脱することなく多数の追加的変更及び変形が可能であるということは理解されるであろう。本発明の一実施例では、ダイアログシステムは、いくつかの発話の処理後に現在のユーザの声の質を決定することが可能であってもよく、あるいは、ユーザは格納されているユーザプロファイル情報にアクセスするのに利用され、次に音声インタフェースのための適切な制御パラメータを生成するのに利用される識別コードを入力することによって、システムに知らされてもよい。
【００３６】
簡単化のため、本出願を通じて、「ある」という用語の使用は複数を排除するものでなく、「有する」という用語は他のステップ又は要素を排除するものでないということが理解されるべきである。「ユニット」又は「モジュール」の用語の使用は、単一のユニット又はモジュールに限定されるものではない。
【図面の簡単な説明】
【００３７】
【図１】図１は、音声インタフェース１１及び音声情報を処理する各種モジュール１２、１４、１５、１６及び１７を有するダイアログシステム１を示す。
【技術分野】
【０００１】
本発明は、一般にダイアログシステムの駆動方法に関し、より詳細には発話ベースダイアログシステム及び対応するダイアログシステムに関する。
【背景技術】
【０００２】
マンマシーンインタフェースの分野における最近の進歩は、装置と装置のユーザとの間の対話（ダイアログ）を介し動作する技術的装置の広範な利用を導いた。一部のダイアログシステムは、ユーザ側での手動によるやりとり及び視覚情報の表示に基づくものである。例えば、ほとんどすべての携帯電話機は、それのディスプレイ上に選択肢を表示することに基づき操作ダイアログと、特定の選択肢を選択するのに適切なボタンのユーザによる押下とにより操作される。このようなダイアログシステムは、ユーザが自由にディスプレイ上の視覚情報を見て、ダイアログシステムと手動によりやりとりできる環境においてのみ実現可能である。しかしながら、ユーザが車の運転など他の作業に集中する必要がある環境では、ユーザが自らの選択肢を決定するのに画面を見ることは実際的ではない。さらに、ユーザが自らの選択肢を手動により入力することは不可能であるか、あるいは、これを行うのと、ユーザが危険な状況に置かれる可能性もある。
【０００３】
しかしながら、少なくとも部分的に発話に基づくダイアログシステムは、ユーザが当該システムとの発話を入力することを可能にする。ユーザは、コマンドを発話し、ダイアログシステムから視覚及び／又は音声によるフィードバックを受け取る。そのような一例として、ユーザがビデオレコーダなどの装置を起動させるためのコマンドを発話する家電管理システムがあげられる。他の例としては、ユーザが装置に質問をしたり、コマンドを指示し、当該装置が応答を与えたり、質問を返し、これによりユーザと装置が対話に入る車のナビゲーション装置や他の装置の動作であってもよい。他のダイアログ又は会話システムは、地域のレストランに関する情報及びそこへの行き方を提供する電話ダイアログや、フライト状況に関する情報を提供し、ユーザが電話機を介しフライトを予約することを可能にする電話ダイアログなどの電話ダイアログとして利用及び実現されている。上記ダイアログシステムの共通の特徴は、発話を含む音声入力を記録及び処理し、入力音声閾値、ファイナルサイレンスウィンドウ（ｆｉｎａｌ ｓｉｌｅｎｃｅ ｗｉｎｄｏｗ）などの各種パラメータにより構成することが可能な音声インタフェースである。
【０００４】
このようなダイアログシステムの１つの問題点は、ユーザにより与えられる音声入力が、ほとんど常にある量の背景ノイズを伴うということである。従って、発話ベースダイアログシステムの音声インタフェースの１つの制御パラメータは、音声がサイレンスとみなされるべきノイズレベルを指定する。音声がサイレンス閾値より大きい、すなわち、サイレンス閾値より大きな信号エネルギーを有する場合のみ、当該音声は音声としてみなされる。残念ながら、背景ノイズは可変的なものであるかもしれない。背景ノイズは、例えば、車の運転手がアクセルを踏み、これにより大きなモーター音が発生したり、あるいは、運転手が窓を開け、これにより車の外部からのノイズが背景ノイズに影響を与えたりなどの環境状態の変化により増大する。背景ノイズのレベルの変化は、エアコンを作動させるためなどの発話されるユーザコマンドに応答して、ダイアログシステムによりとられるアクションにより生じるかもしれない。以降における背景ノイズの上昇は、音声入力信号に対し信号対ノイズ比を低下させる効果を有する。それはまた、背景ノイズがサイレンス閾値を超過する状況をもたらし、結果として不正確に解釈されるかもしれない。他方、サイレンス閾値が高すぎる場合、発話されたユーザ入力は、サイレンス閾値を超えることができず、結果として無視されるかもしれない。
【０００５】
現在のダイアログシステムの他の問題点は、可能な限り多くの可能性をカバーするため、他の閾値制御パラメータもまたしばしば設定され、一般には固定値に設定されるということである。例えば、ファイナルサイレンスウィンドウ（ユーザの直近の発話とユーザが発話したと結論付けるシステム判断との間の経過時間）は固定された長さを有するが、ユーザが実際に発話を終了した後に経過した時間の長さは、ユーザが発話した内容に大きく依存する。例えば、ダイアログシステムにより与えられる直接的な質問に対するシンプルな「イエス／ノー」の回答は、長いファイナルサイレンスウィンドウを必要としない。他方、あるルートに沿って訪れる目的地などの自由形式の質問に対する応答は、ユーザの発話内容に応じて任意の長さを有し得る。従って、ファイナルサイレンスウィンドウは、このような応答をカバーするだけの十分な長さを有する必要がある。なぜなら、短い値はユーザの応答が終了前にカットされる可能性があるからである。スペルを言う入力もまた、比較的長いファイナルサイレンスウィンドウを必要とする。なぜなら、単語のスペルを言う文字の間のポーズは、フレーズ又はセンテンスの単語の間のポーズより通常長くなるためである。しかしながら、長いファイナルサイレンスウィンドウは、ダイアログシステムの応答時間を長くし、特に短いイエス／ノー応答を期待する連続する質問の場合には不快にさせる可能性がある。ユーザは少なくとも毎回ファイナルサイレンスウィンドウの時間と同程度の時間だけ待機する必要があるため、当該対話はユーザにとっておそらく不自然なものとなるであろう。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従って、本発明の課題は、容易な利用を提供しながら、ダイアログシステムのパフォーマンスを最適化し、困難な状況下での良好な音声認識を保証する容易かつ安価な方法を提供することである。
【課題を解決するための手段】
【０００７】
このため、本発明は、予想される音声入力信号の特性を推定し、当該特性に従って音声インタフェース制御パラメータを生成し、音声インタフェースの動作を自動的に最適化するようパラメータを適用することにより、音声信号を処理する音声インタフェースを有するダイアログシステムを駆動する方法を提供する。ここで、予想される音声入力信号は、ダイアログシステムの出力（プロンプト）に対するユーザの発話された応答と共にこれに付随する背景ノイズなどの予想される発話入力であってもよい。
【０００８】
本発明によるダイアログシステムは、音声インタフェース、ダイアログ制御ユニット、予測モジュール及び最適化ユニットを有する。予想される音声入力信号の特性は、ダイアログ制御ユニットにより供給される情報を利用する予測モジュールにより推定される。ダイアログ制御ユニットは、発話内容の解釈のあいまいさを解消し、与えられる対話記述に従って対話を制御し、ユーザに提供するため音声データを音声生成装置に送信し、発話されたユーザ入力を促す。その後、最適化モジュールが、予測モジュールにより供給される特性に基づき、音声インタフェース制御パラメータを生成する。
【０００９】
従って、音声インタフェースは、音声入力信号の変化を補償するよう最適に調整し、これにより、利用性を確保しながら、音声認識の向上及びシステム応答時間の短縮を可能にする。このように、ダイアログシステムのパフォーマンスは、システムのユーザが特別なリクエストをする必要なく最適化される。
【００１０】
音声インタフェースは、音声ハードウェア、音声ドライバ及び音声モジュールから構成されてもよい。音声ハードウェアは、電話の受話器などの装置に等しく組み込まれ、あるいは独立型のものであってもよい音声入力信号を記録する手段に接続されるインタフェースの「フロントエンド」である。音声ハードウェアは、例えば、サウンドカード、モデムなどであってもよい。
【００１１】
音声ドライバは、音声入力信号をデジタル信号形式に変換し、デジタル入力信号を音声入力データブロックに構成する。その後、音声ドライバは、音声入力データブロックを音声モジュールにわたし、当該モジュールは音声データの信号エネルギーを解析し、発話内容を判断及び抽出する。
【００１２】
音声インタフェースが入出力インタフェースであるシステムでは、音声モジュール、音声ドライバ及び音声ハードウェアはまた、音声出力を処理することが可能である。ここで、音声モジュールは、音声生成装置などからデジタル音声情報を受け取り、デジタル出力信号を音声出力信号に変換する音声ドライバに適切な形式によりデジタル情報をわたす。音声ハードウェアは、その後、ラウドスピーカーを介し音声出力信号を発信することができる。この場合、音声インタフェースは、ユーザがマイクロフォンに発話し、ラウドスピーカーを介しシステム出力プロンプトを聞くことによって、発話された対話においてシステムとやりとりすることが可能となる。しかしながら、本発明は双方向に発話される対話に限定されるものではない。音声インタフェースは、異なる出力インタフェースが、例えば、グラフィカルディスプレイ上に視覚的に出力プロンプトをユーザに提示しながら、発話コマンドを含む入力音声を処理するのに十分であるかもしれない。
【００１３】
従属項は、本発明の特に効果的な実施例及び特徴を開示し、これにより、システムがさらに方法クレームの特徴により展開可能となる。
【００１４】
好ましくは、制御パラメータは、音声インタフェースの音声ドライバの記録及び／又は処理パラメータを有する。音声ドライバは、音声モジュールに音声データブロックを供給する。典型的には、このような音声データブロックは、ブロックヘッダとブロックデータとから構成され、ヘッダは固定サイズ及びフォーマットを有し、データブロックのサイズは可変とされる。ブロックのサイズは小さいものとすることが可能であり、これにより、システム応答時間の迅速化及びオーバーヘッドの向上が可能となる。より大きなブロックはシステム応答時間の遅延及びオーバーヘッドの低下を招く。システムの瞬間的能力に応じて音声ブロックサイズを調整することがしばしば望ましい。このため、音声ドライバは、最適化装置に音声ブロックの現在サイズを通知する。ダイアログ制御モジュールにより供給される情報に応じて、最適化装置は、音声ブロックのサイズが所望に従って増減されるように、音声ドライバのパラメータを変更するようにしてもよい。音声ドライバの他のパラメータは、記録レベル、すなわち、マイクロフォンの感度であってもよい。インタフェースを介し外部アプリケーションに供給され、又は入力信号を処理することにより取得される背景ノイズのレベル及び入力音声の質に関する情報に応じて、最適化装置は、現在の状況に最も適するようにマイクロフォンの感度を調整するようにしてもよい。
【００１５】
制御パラメータはまた、音声インタフェースの音声モジュールの閾値パラメータを有するようにしてもよい。このような閾値パラメータは、音声又はサイレンスのエネルギーレベルであってもよく、すなわち、サイレンス閾値は、音声入力信号において発話を検出するのに音声モジュールにより適用される。サイレンス閾値より高いエネルギーレベルを有する任意の信号は、発話検出アルゴリズムにより考慮される。他の閾値パラメータは、ユーザが出力プロンプトに応答するのにダイアログシステムが待機する時間、例えば、ダイアログシステムによりユーザに与えられるいくつかの選択肢の１つを選択するのにユーザに利用可能な時間の長さなどを決定するタイムアウト値であってもよい。予測ユニットは、やりとりされている対話のタイプに応じてユーザの応答の特性を判断し、これに応じて最適化装置は、音声モジュールのタイムアウト値を調整する。さらなる閾値パラメータは、ファイナルサイレンスウィンドウ、すなわち、ユーザが発話を終了したとダイアログ制御ユニットが結論付ける発話に続いて経過した時間に関する。やりとりされている対話のタイプに応じて、最適化装置は、ファイナルサイレンスウィンドウの長さを増減するようにしてもよい。例えば、予想されるスペルを言う入力の場合、スペルされた単語の文字の何れもが見逃されないように、ファイナルサイレンスウィンドウの長さを拡大することが効果的である。
【００１６】
制御パラメータは、音声インタフェースの適切なモジュールに直接適用されてもよいし、あるいは、音声インタフェースのモジュールの決定プロセスにおける他の関連するパラメータと共に考慮されてもよい。これら他のパラメータは、現在パラメータの前に最適化装置により供給されたものであってもよいし、あるいは、外部ソースから取得されたものであってもよい。
【００１７】
本発明の好適実施例では、予想される音声入力信号の特性は、現在利用可能なデータ及び／又は以前の入力データから推定される。
【００１８】
特に、予想される音声入力信号の特性は、入力音声信号の発話内容の意味解析から推定されてもよい。例えば、搭載ダイアログシステムを有する車の運転手は、エアコンをオンにし、特定の温度に調整するため、例えば、「エアコンをオンし、約２２度に設定せよ」などのコマンドを発話する。音声入力信号が処理され、音声認識が実行されると、発話された単語の意味解析が音声理解モジュールにおいて実行され、当該モジュールは、「オン」、「エアコン」、「２２度」などの関連する単語及びフレーズを特定し、関係のない単語を無視する。その後、関連する単語及びフレーズが、適切なコマンドが起動可能となるように、ダイアログ制御ユニットに転送される。本発明によると、予想される音声入力の特性が推定できるように、予測モジュールにアクションが通知される。この場合、予測モジュールは、当該データから以降の入力信号の１つの特性がエアコンにより生ずる比較的高いノイズレベルであるということを推定する。これに応じて最適化装置は、本例では、エアコンの動作音がダイアログシステムによりサイレンスとして扱われるように、サイレンス閾値を引き上げることにより入力音声制御パラメータを生成する。
【００１９】
好ましくは、予想される入力信号の特性はまた、決定された環境状態入力データから推定されてもよい。本発明の構成では、ダイアログシステムには外部環境に関する関連データが供給される。例えば、このようなダイアログシステムを備える車では、ｒｐｍ値などの情報が適切なインタフェースを介しダイアログシステムにわたされてもよい。その後、予測モジュールは、ｒｐｍ値の上昇から以降の音声入力信号が音量増大により特徴付けされることを推定することが可能である。この特徴は、その後に最適化装置にわたされ、次に当該装置により適切な音声入力制御パラメータが生成される。ここで、運転手は、適切なボタンを手動により起動することにより、車の１以上の窓を開く。搭載されているアプリケーションは、ダイアログ制御ユニットに当該アクションを通知し、最適化装置が背景ノイズの増大を補償するため、音声モジュールの適切な制御パラメータを生成することが可能となるように、必要な情報を予測モジュールに供給する。
【００２０】
効果的には、予想される音声入力信号の特性はまた、ダイアログシステムの現在プロンプトに対する予想される応答から推定されるようにしてもよい。例えば、ダイアログシステムを搭載するナビゲーションシステムの場合、車の運転手は、「Ｌｌａｎｅｌｗｅｄｄへの最短ルートを探索せよ」とナビゲーションシステムに求めるかもしれない。ダイアログ制御モジュールは、当該コマンドを処理するが、目的地の名前を認識せず、これに応じて目的地の名前のスペルを言うよう運転手に求める出力プロンプトを発する。予測モジュールは、予想されるスペルされた音声入力が、比較的長いサイレンスにより分離される短い発話から構成されると推定し、最適化装置に当該特性を通知する。最適化装置は、目的地のすべてのスペルされた文字が良好に記録及び処理可能となるように、ファイナルサイレンスウィンドウの拡大などの適切な入力制御パラメータを生成する。
【００２１】
本発明の他の課題及び特徴は、添付した図面に関して考慮される以下の詳細な説明から明らかとなるであろう。しかしながら、これらの図面は単なる例示のためのものであり、本発明の限定的規定として構成されたものではないということは理解されるべきであり、添付された請求項が参照されるべきである。
【００２２】
単独の図１は、本発明の実施例によるダイアログシステムの概略ブロック図である。
【００２３】
本発明の他の可能な実施例を排除するものではない図面の記載において、本システムは、自動車のダイアログシステムなどのユーザ装置の一部として示されている。
【発明を実施するための最良の形態】
【００２４】
音声インタフェース１１は、入力と出力の両方の音声信号を処理することができ、音声ハードウェア８、音声ドライバ９及び音声モジュール１０から構成される。マイクロフォン１８により検出される音声入力信号３は、サウンドカードタイプなどの音声ハードウェア８により記録される。記録された音声入力信号は、音声モジュール１０によるさらなる処理が行われる前に、それをデジタル化する音声ドライバ９にわたされる。音声モジュール１０は、発話内容２１及び／又は背景ノイズを判断することができる。他方、デジタル化された音声信号形式によるシステム１の出力プロンプト６が、ラウドスピーカー１９に接続される音声ハードウェア８により音声信号２０として以降において出力される前に、音声モジュール１０及び音声ドライバ９によって処理することができる。
【００２５】
音声入力３の発話内容２１は、発話内容２１からデジタルテキスト５を生成する自動発話認識モジュール１５にわたされる。その後、デジタルテキスト５はさらに、デジタルテキスト５を調べ、関連する意味情報２２を抽出する意味解析装置又は「発話理解」モジュール１６により処理される。関連する単語２２が、ダイアログ制御モジュール１２に転送される。
【００２６】
ダイアログ制御モジュール１２は、意味解析装置１６により与えられる意味情報２２を調べることにより対話の性質を判断し、必要に応じてコマンドを外部アプリケーション２４に転送し、与えられた対話説明に続き、必要に応じてデジタルプロンプトテキスト２３を生成する。
【００２７】
ユーザからの発話入力３が求められる場合、ダイアログ制御モジュール１２は、音声生成装置に送られるデジタル入力プロンプトテキスト２３を生成する。次にこれは、音声インタフェース１１にわたされ、その後ラウドスピーカー１９に音声出力プロンプト２０として発せられる音声出力信号６を生成する。
【００２８】
本例では、ダイアログ制御モジュール１２は、適切なインタフェース７を用いて外部アプリケーション２４、ここでは車の搭載装置に接続される。このようにして、「車の窓を開けろ」などのユーザにより発話されるコマンドは、ダイアログ制御モジュール１２により適切に符号化され、以降においてコマンドを実行するアプリケーション２４にインタフェース７を介しわたされる。
【００２９】
ダイアログ制御ユニット１２に接続、又は本例では一体化される予測モジュール１３は、対話の結果として実行されるアクションの予想される音声入力信号３の特性に対する効果を判断する。例えば、ユーザは、車の窓を開けるためのコマンドを発したかもしれない。予測モジュール１３は、以降の入力音声信号の背景ノイズが結果としてより良好に発音されることを推測する。その後、予測モジュール１３は、最適化装置１４に予測される入力音声信号の予測される特性、この場合、結果としてのより低い信号対ノイズ比による背景ノイズの上昇を与える。
【００３０】
予測モジュール１３により提供される特性２を利用して、最適化装置１４は、音声インタフェース１１の適切な制御パラメータを生成することができる。本例では、最適化装置１４は、音声モジュール１０のサイレンス閾値を引き上げることにより、ノイズ増加を打ち消すよう動作する。車の窓が開けられると、音声モジュール９は、引き上げられたサイレンス閾値が背景ノイズの上昇を補償するように、最適化されたパラメータ４によりデジタル化された音声入力信号を処理する。
【００３１】
音声インタフェース１１はまた、音声ブロックの現在サイズや背景ノイズの現在レベルなどの情報２５を最適化装置１４に供給する。最適化装置１４は、最適化された制御パラメータを生成するのに当該情報２５を適用することができる。
【００３２】
出力プロンプト２０のタイプに応じて、ユーザの応答はフレーズ、センテンス又はスペルを言う単語などの形式となるかもしれない。例えば、出力プロンプト２０は、ユーザが単に「イエス」又は「ノー」を返事するだけでよい直接的な質問の形式であってもよい。この場合、予測モジュール１３は、予想される入力信号３が、一言により特徴付けされ、時間が短いと推定し、最適化装置１４に当該特性を通知する。最適化装置１４はこれに応じて、例えば、音声入力信号３に短いタイムアウト値を指定することによって、制御パラメータ４を生成する。
【００３３】
外部アプリケーションはまた、ダイアログシステム１に関連情報を供給することができる。例えば、アプリケーション２４は、ダイアログシステム１に車のｒｐｍ値を継続的に供給することができる。予測モジュール１３は、ｒｐｍ値の上昇に対しモーターノイズの上昇を予測し、これに応じて以降の入力音声信号３の特性を推定する。最適化装置１４は、サイレンス閾値を引き上げるため、制御パラメータ４を生成し、これにより、ノイズ上昇を補償する。モーターのｒｐｍ値の低下は、モーターノイズのレベルを低下させ、これにより、予測モジュール１３は入力音声信号３に対する背景ノイズのレベル低下を推定する。その後、最適化装置１４はこれに応じて音声入力制御パラメータ４を調整する。
【００３４】
おそらく音声ハードウェアを除いて、本発明のすべてのモジュール及びユニットは、適切なプロセッサを用いてソフトウェアにより実現することが可能である。
【００３５】
本発明は好適な実施例及びその変形の形式により開示されたが、本発明の範囲から逸脱することなく多数の追加的変更及び変形が可能であるということは理解されるであろう。本発明の一実施例では、ダイアログシステムは、いくつかの発話の処理後に現在のユーザの声の質を決定することが可能であってもよく、あるいは、ユーザは格納されているユーザプロファイル情報にアクセスするのに利用され、次に音声インタフェースのための適切な制御パラメータを生成するのに利用される識別コードを入力することによって、システムに知らされてもよい。
【００３６】
簡単化のため、本出願を通じて、「ある」という用語の使用は複数を排除するものでなく、「有する」という用語は他のステップ又は要素を排除するものでないということが理解されるべきである。「ユニット」又は「モジュール」の用語の使用は、単一のユニット又はモジュールに限定されるものではない。
【図面の簡単な説明】
【００３７】
【図１】図１は、音声インタフェース１１及び音声情報を処理する各種モジュール１２、１４、１５、１６及び１７を有するダイアログシステム１を示す。
【特許請求の範囲】
【請求項１】
音声信号を処理する音声インタフェースを有するダイアログシステムを駆動する方法であって、
予想される音声入力信号の特性が推定され、前記特性に基づき音声インタフェース制御パラメータが生成され、前記音声インタフェースの動作が前記音声インタフェース制御パラメータに基づき最適化されることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
特性は、現在及び／又は以前の入力データから推定されることを特徴とする方法。
【請求項３】
請求項２記載の方法であって、
特性は、前記入力音声信号の発話内容の意味解析から推定されることを特徴とする方法。
【請求項４】
請求項２又は３記載の方法であって、
特性は、決定された環境状態データから推定されることを特徴とする方法。
【請求項５】
請求項１乃至４何れか一項記載の方法であって、
特性は、前記ダイアログシステムの現在プロンプトに対する予想される応答から推定されることを特徴とする方法。
【請求項６】
請求項１乃至５何れか一項記載の方法であって、
前記制御パラメータは、前記音声インタフェースの音声ドライバのための記録及び／又は処理パラメータを有することを特徴とする方法。
【請求項７】
請求項１乃至６何れか一項記載の方法であって、
前記制御パラメータは、前記音声インタフェースの音声モジュールのための閾値パラメータを有することを特徴とする方法。
【請求項８】
音声インタフェースと、
ダイアログ制御ユニットと、
予想される音声入力信号の特性を推定する予測モジュールと、
前記特性に基づき音声入力制御パラメータを生成することにより、前記音声インタフェースの動作を最適化する音声最適化装置と、
を有することを特徴とするダイアログシステム。
【請求項９】
請求項８記載のダイアログシステムであって、
前記音声インタフェースは、音声ハードウェア、音声ドライバ及び／又は音声モジュールから構成されることを特徴とするシステム。
【請求項１】
音声信号を処理する音声インタフェースを有するダイアログシステムを駆動する方法であって、
予想される音声入力信号の特性が推定され、前記特性に基づき音声インタフェース制御パラメータが生成され、前記音声インタフェースの動作が前記音声インタフェース制御パラメータに基づき最適化されることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
特性は、現在及び／又は以前の入力データから推定されることを特徴とする方法。
【請求項３】
請求項２記載の方法であって、
特性は、前記入力音声信号の発話内容の意味解析から推定されることを特徴とする方法。
【請求項４】
請求項２又は３記載の方法であって、
特性は、決定された環境状態データから推定されることを特徴とする方法。
【請求項５】
請求項１乃至４何れか一項記載の方法であって、
特性は、前記ダイアログシステムの現在プロンプトに対する予想される応答から推定されることを特徴とする方法。
【請求項６】
請求項１乃至５何れか一項記載の方法であって、
前記制御パラメータは、前記音声インタフェースの音声ドライバのための記録及び／又は処理パラメータを有することを特徴とする方法。
【請求項７】
請求項１乃至６何れか一項記載の方法であって、
前記制御パラメータは、前記音声インタフェースの音声モジュールのための閾値パラメータを有することを特徴とする方法。
【請求項８】
音声インタフェースと、
ダイアログ制御ユニットと、
予想される音声入力信号の特性を推定する予測モジュールと、
前記特性に基づき音声入力制御パラメータを生成することにより、前記音声インタフェースの動作を最適化する音声最適化装置と、
を有することを特徴とするダイアログシステム。
【請求項９】
請求項８記載のダイアログシステムであって、
前記音声インタフェースは、音声ハードウェア、音声ドライバ及び／又は音声モジュールから構成されることを特徴とするシステム。
【図１】
【公表番号】特表２００７−５０１４２０（Ｐ２００７−５０１４２０Ａ）
【公表日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願番号】特願２００６−５２１７３１（Ｐ２００６−５２１７３１）
【出願日】平成１６年７月２２日（２００４．７．２２）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１２８４
【国際公開番号】ＷＯ２００５／０１３２６２
【国際公開日】平成１７年２月１０日（２００５．２．１０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １，５６２１ ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
【公表日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願日】平成１６年７月２２日（２００４．７．２２）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１２８４
【国際公開番号】ＷＯ２００５／０１３２６２
【国際公開日】平成１７年２月１０日（２００５．２．１０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １，５６２１ ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
[ Back to top ]