音声信号処理装置
【課題】用件に対する話者間の対話時の音声信号から用件に係る必要情報を精度よく抽出することができる技術を提供する。
【解決手段】音声認識手段１３は、話者間の対話時の音声信号を音声認識情報に変換する。会話単位分割手段１４は、音声認識情報を会話単位に分割する。必要情報手掛かり情報付与手段１６は、会話単位に含まれている必要情報手掛かり情報を会話単位に付与する。用件判別手段１５は、音声認識情報に基づいて話者間の対話の用件を判別する。対話状態遷移判別手段１７は、用件に対応する必要情報を抽出するための手掛かりとなる必要情報手掛かり情報が含まれている会話単位を選択する。そして、選択した会話単位と、用件に対応して対話状態判別情報データベース２５に記憶されている対話状態判別情報に基づいて、対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することにより必要情報を抽出する。
【解決手段】音声認識手段１３は、話者間の対話時の音声信号を音声認識情報に変換する。会話単位分割手段１４は、音声認識情報を会話単位に分割する。必要情報手掛かり情報付与手段１６は、会話単位に含まれている必要情報手掛かり情報を会話単位に付与する。用件判別手段１５は、音声認識情報に基づいて話者間の対話の用件を判別する。対話状態遷移判別手段１７は、用件に対応する必要情報を抽出するための手掛かりとなる必要情報手掛かり情報が含まれている会話単位を選択する。そして、選択した会話単位と、用件に対応して対話状態判別情報データベース２５に記憶されている対話状態判別情報に基づいて、対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することにより必要情報を抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、用件に対する話者間の対話時の音声信号から、用件に係る必要情報を抽出する技術に関する。
【背景技術】
【０００２】
顧客が企業に用件（サービス）を依頼する場合（例えば、顧客が電力会社に［電気の使用開始］、［電気の使用停止］、［電気の契約容量の変更］を依頼する場合）等には、顧客は、企業のサービスセンターに電話する。この時、サービスセンターの受付者（オペレータ)は、顧客が依頼する用件の内容、当該依頼された用件の遂行に必要な必要情報を顧客から聞き取り、聞き取った用件の内容および必要情報をコンピュータや記録用紙に記録する。この場合、受付者は、用件の内容や必要情報を顧客から聞き取って記録する作業が必要となり、受付者の負担が大きい。
そこで、受付者の負担を軽減するために、話者間の対話時の音声信号から必要情報を抽出する音声信号処理装置の開発が要望されている。
これまで、音声から必要情報を抽出（要約）する技術が提案されている。例えば、特許文献１には、音響分析による特徴パターン（無音継続時間、音声の高低、話者間の音声波形の類似度等）を手掛かりとして、対話中の重要な情報（語句）を判別し、音声要約を行う方法が開示されている。また、特許文献２には、音声認識結果であるテキスト情報に対して、形態素解析や構文解析および意味解析を行い、これらの結果に基づき重要箇所の判別を行う方法が開示されている。
しかしながら、このような従来の音声要約技術では、用件が明確な目的指向の対話から、用件に係る必要情報を精度よく抽出することができない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５８５６７号公報
【特許文献２】特開平８−２１２２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願発明は、このような点に鑑みて創案されたものであり、用件に対する話者間の対話時の音声信号から、用件に係る必要情報を精度よく抽出することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本願の音声信号処理装置は、予め定められている用件に対する話者間の対話時の音声信号から、当該用件に係る必要情報を抽出する。「用件」としては、典型的には、顧客が企業に依頼するサービス（例えば、顧客が電力会社に依頼する［電気の使用開始］、［電気の使用停止］、［電気の契約容量の変更］）が対応する。「音声信号」としては、典型的には、音声を電気信号に変換するマイクロフォン等から出力される信号が対応する。なお、処理手段における信号処理はデジタルで行われるため、マイクロフォン等から出力されるアナログの信号をデジタル化した信号を「音声信号」として用いることもできる。
【０００６】
一つの発明は、記憶手段と、処理手段と、入力手段と、出力手段を備えている。
記憶手段は、必要情報データベースと、対話状態判別情報データベースを有している。
必要情報データベースには、用件に係る必要情報を示す必要情報リストが記憶されている。「必要情報」は、依頼された用件（例えば、顧客から企業に依頼するサービス）を遂行するのに必要な情報であり、用件毎に定められる。
対話状態判別情報データベースには、話者間の対話状態を判別するための対話状態判別情報が記憶されている。本発明では、話者間の対話状態が、必要情報を要求した情報要求対話状態、必要情報を開示した情報開示対話状態、必要情報を受理した情報受理対話状態の順に遷移したことを判別することにより、必要情報を判別する。このため、対話状態判別情報として、必要情報を要求した対話状態であることを判別するための情報要求手掛かり情報、必要情報を開示した対話状態であることを判別するための情報開示手掛かり情報、必要情報を受理した対話状態であることを判別するための情報受理手掛かり情報が記憶されている。
処理手段は、音声認識手段と、用件判別手段と、対話状態遷移判別手段と、管理手段を有している。
音声認識手段は、入力手段から入力された話者間の対話時の音声信号を、テキスト情報を含む音声認識情報に変換する。音声信号を音声認識情報に変換する方法としては、公知の種々の音声認識方法を用いることができる。例えば、ＨＭＭ（隠れマルコフモデル）とＮグラム（確率的言語モデル）を用いた大語彙連続音声認識方法が用いられる。入力手段としては、例えば、音声を電気信号に変換するマイクロフォン、アナログ信号をデジタル信号に変換するＡ／Ｄ変換処理を行うＡ／Ｄ変換器等が用いられる。なお、Ａ／Ｄ変換処理は、音声認識手段で行うこともできる。また、入力手段としては、記憶媒体に記憶されている音声信号等を読み取る読取手段を用いることもできる。また、本願発明の「音声認識手段は、入力手段から入力された話者間の対話時の音声信号を音声認識情報に変換する」構成には、「処理手段と離れて設けられている音声認識手段によって音声信号を音声認識情報に変換し、音声認識情報を入力手段から入力する」構成も含まれる。
用件判別手段は、音声認識情報に基づいて、話者間の対話の用件を判別する。「音声認識情報に基づいて用件を判別する」方法としては、典型的には、音声認識情報に含まれている文字列から用件を判別する方法が用いられる。本明細書では、文字、数字や記号等を用いて表現されたものを「文字列」という。
対話状態遷移判別手段は、音声認識情報に基づいて、話者間の対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって、用件判別手段で判別した用件に対応する必要情報リストで示されている各必要情報を抽出する。例えば、必要情報が［契約者名］である場合には、契約者の名前を示す人名を抽出し、必要情報が［契約者住所］である場合には、契約者の住所を示す地名を抽出し、必要情報が［契約者電話番号］である場合には、契約者の電話番号を示す数詞を抽出する。話者間の対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことは、例えば、音声認識情報に、対話状態判別情報データベースに記憶されている情報要求手掛かり情報、情報開示手掛かり情報、情報受理手掛かり情報が順に含まれていることによって判別する。
管理手段は、対話状態遷移判別手段によって抽出された必要情報を出力手段から出力する。出力手段としては、例えば、表示手段、印刷手段等が用いられる。対話状態遷移判別手段によって抽出された必要情報を出力手段から出力する態様としては、種々の出力態様を用いることができる。
本発明では、対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出しているため、必要情報を精度よく抽出することができる。
【０００７】
他の発明は、記憶手段と、処理手段と、入力手段と、出力手段を備えている。
記憶手段は、必要情報データベースと、対話状態判別情報データベースを有している。必要情報データベース、対話状態判別情報データベースとしては、前述した一つの発明と同様のものを用いることができる。
処理手段は、音声認識手段と、用件判別手段と、対話状態遷移判別手段と、管理手段を有している。音声認識手段、対話状態遷移判別手段、管理手段としては、前述した一つの発明と同様の音声認識手段、対話状態遷移判別手段、管理手段を用いることができる。本発明では、用件判別手段は、入力手段から入力された用件識別情報に基づいて、話者間の対話の用件を判別する。用件識別情報を入力する方法としては、例えば、入力手段に設けられている入力キーを操作する方法や入力手段に設けられている入力画面に表示されている入力部を選択する方法を用いることができる。用件識別情報は、音声信号とともに入力するのが好ましいが、音声信号と異なるタイミングで入力してもよい。
本発明では、対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出しているため、必要情報を精度よく抽出することができる。また、本発明では、入力手段から入力される用件識別情報に基づいて用件を判別するため、話者間の対話の用件を容易に判別することができる。
【０００８】
一つの発明あるいは他の発明の異なる形態では、対話状態判別情報データベースには、さらに、必要情報の要求を受理した要求受理対話状態であることを判別するための要求受理手掛かり情報が記憶されている。そして、対話状態遷移判別手段は、音声認識情報に基づいて、話者間の対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって、用件判別手段で判別した用件に対応する必要情報リストで示されている各必要情報を抽出する。話者間の対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことは、音声認識情報に、対話状態判別情報データベースに記憶されている情報要求手掛かり情報、要求受理手掛かり情報、情報開示手掛かり情報、情報受理手掛かり情報が順に含まれていることによって判別する。
本形態では、対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出しているため、必要情報を精度よく抽出することができる。
【０００９】
一つの発明あるいは他の発明の他の異なる形態では、記憶手段は、さらに、会話単位判別情報データベースと必要情報手掛かり情報データベースを有し、処理手段は、さらに、会話単位分割手段と必要情報手掛かり情報付与手段を有している。
会話単位判別情報データベースには、音声認識情報を会話単位に分割するための会話単位判別情報が記憶されている。「会話単位」は、一つの話題に関する範囲を意味する。会話単位判別情報データベースには、典型的には、会話単位の始点を判別するための会話単位始点判別情報と、会話単位の終点を判別するための会話単位終点判別情報を含む会話単位判別情報が記憶される。必要情報手掛かり情報データベースには、必要情報を抽出するための手掛かりとなる必要情報手掛かり情報を示す必要情報手掛かり情報リストが、用件に対応して記憶されている。必要情報手掛かり情報は、必要情報に対応して適宜設定することができるが、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報（典型的には、必要情報として抽出される文字列と同じ品詞を有する必要情報手掛かり情報）が設定される。例えば、必要情報が［契約者名］である場合には、少なくとも、人名を示す文字列に対応する必要情報手掛かり情報（品詞［人名］を有する必要情報手掛かり情報）を設定する。また、必要情報が［契約者住所］である場合には、少なくとも、住所を示す文字列に対する必要情報手掛かり情報（品詞［地名］を有する必要情報手掛かり情報）を設定する。また、必要情報が［契約者電話番号］である場合には、少なくとも、数字を組み合わせた文字列に対する必要情報手掛かり情報（品詞［数詞］を有する必要情報手掛かり情報）を設定する。なお、必要情報手掛かり情報データベースと必要情報データベースを一つのデータベースとして構成することもできる。例えば、用件に対応させて必要情報を記憶させるとともに、各必要情報に対応させて必要情報手掛かり情報を記憶させる。
会話単位分割手段は、会話単位判別情報データベースに記憶されている会話単位判別情報に基づいて、音声認識情報を会話単位に分割する。会話単位分割手段は、典型的には、音声認識情報と会話単位判別情報データベースに記憶されている会話単位始点判別情報および会話単位終点判別情報に基づいて会話単位の始点および終点を判別し、会話単位の始点と、会話単位の始点に後続する会話単位の終点の間を会話単位とする。例えば、会話単位始点判別情報が存在する箇所を会話単位の始点とし、会話単位終点判別情報が存在する箇所を会話単位の終点とする。なお、２つの会話単位始点判別情報の間に会話単位終点判別情報が存在しない場合には、後続する会話単位始点判別情報が存在する箇所の直前の箇所を、先行する会話単位の終点とし、後続する会話単位始点判別情報が存在する箇所を、後続する会話単位の始点とする。また、２つの会話単位終点判別情報の間に会話単位始点判別情報が存在しない場合には、先行する会話単位終点判別情報が存在する箇所を、先行する会話単位の終点とし、先行する会話単位終点判別情報が存在する箇所の直後の箇所を、後続する会話単位の始点とする。
必要情報手掛かり情報付与手段は、会話単位分割手段により分割された会話単位に必要情報手掛かり情報を付与する。具体的には、会話単位に、必要情報を抽出する手掛かりとなる必要情報手掛かり情報が含まれていれば、当該必要情報手掛かり情報を当該会話単位に付与する。
対話状態遷移判別手段は、用件に対応する必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含んでいる会話単位を選択する。必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を選択する方法としては、必要情報に対応する必要情報手掛かり情報を一つ含む会話単位を選択する方法や、適宜選択した複数の必要情報手掛かり情報を含む会話単位を選択する方法を用いることができる。また、会話単位に含まれる必要情報手掛かり情報を適宜変更しながら会話単位を選択する方法を用いることもできる。なお、会話単位を選択する際には、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報（典型的には、必要情報として抽出される文字列と同じ品詞を有する必要情報手掛かり情報）を含む会話単位を選択する。例えば、必要情報が［契約者名］である場合には、人名を示す文字列（品詞［人名］を有する文字列）を含んでいる会話単位を選択し、必要情報が［契約者住所］である場合には、住所を示す文字列（品詞［地名］を有する文字列）を含んでいる会話単位を選択し、必要情報が［契約者電話番号］である場合には、数字を組み合わせた文字列（品詞［数詞］を有する文字列）を含んでいる会話単位を選択する。そして、選択した会話単位に含まれている音声認識情報に基づいて対話状態の遷移を判別することによって、必要情報を抽出する。
本形態では、音声認識情報を会話単位に分割することにより、必要情報をより精度よく抽出することができる。また、必要情報手掛かり情報を会話単位に付与することにより、必要情報を効率よく抽出することができる。
【００１０】
さらに他の発明は、コンピュータに、前記した処理手段の処理を実行させるためのプログラムあるいはプログラムが記憶された記憶媒体である。
本発明のプログラムあるいは記憶媒体を用いることにより、前述した効果を得ることができる。
【発明の効果】
【００１１】
本発明の音声信号処理装置では、対話状態の遷移を判別することで、用件に関する話者間の対話時の音声信号から用件に係る必要情報を抽出しているため、用件に係る必要情報を精度よく抽出することができる。
本発明では、
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態の概略構成図である。
【図２】会話単位判別情報データベースの一例を示す図である。
【図３】必要情報リストの一例を示す図である。
【図４】必要情報リストの他の例を示す図である。
【図５】必要情報リストのさらに他の例を示す図である。
【図６】必要情報手掛かり情報リストの一例を示す図である。
【図７】対話状態判別情報データベースの一例を示す図である。
【図８】本発明の実施の形態の動作を説明するフローチャートである。
【図９】話者間の対話時の音声信号を音声認識した音声認識情報の一例を示す図である。
【図１０】話者間の対話時の音声信号を音声認識した音声認識情報の一例を示す図である。
【図１１】話者間の対話状態の遷移を判別することにより必要情報を抽出する方法の概要を示す図である。
【図１２】話者間の対話状態の遷移を判別することにより必要情報を抽出する方法の一例を示すである。
【図１３】話者間の対話状態の遷移を判別することにより必要情報を抽出する他の例を示すである。
【図１４】話者間の対話状態の遷移を判別することにより必要情報を抽出するさらに他の例を示すである。
【発明を実施するための形態】
【００１３】
以下に、本願発明の音声信号処理装置の実施の形態を、図面を参照して説明する。
図１に、本発明の音声信号処理装置の第１の実施の形態の概略構成図が示されている。第１の実施の形態の音声信号処理装置は、一方の話者から他方の話者に、予め定められている用件を依頼する際における話者間の対話時の音声信号から、依頼された用件を遂行するために必要な必要情報を抽出する音声信号処理装置として好適に用いることができる。本明細書において、「用件」は、一方の話者から他方の話者に依頼する内容（例えば、サービスの内容）を意味する。
本実施の形態の音声信号処理装置は、処理手段１０、記憶手段２０、入力手段３０、出力手段４０を備えている。
入力手段３０としては、音声を電気信号である音声信号に変換するマイクロフォン、記憶媒体に記憶されている音声信号を読み取る読取手段、入力キー、入力画面等の種々の公知の入力手段を用いることができる。「音声信号」は、音声を電気信号に変換するマイクロフォン等から出力される信号を意味する。なお、「音声信号」には、マイクロフォン等から出力された信号をデジタル化した信号も含まれる。
出力手段４０としては、表示手段や印刷手段等の公知の種々の出力手段を用いることができる。
【００１４】
記憶手段２０は、音声信号データベース２１、会話単位判別情報データベース２２、必要情報データベース２３、必要情報手掛かり情報データベース２４、対話状態判別情報データベース２５を有している。
【００１５】
音声信号データベース２１には、入力手段３０を介して入力された、用件に対する話者間の対話時の音声信号が記憶される。なお、本実施の形態では、後述するように、音声信号から作成された、テキスト情報を含む音声認識情報に基づいて必要情報を抽出する。このため、音声信号を記憶する音声信号データベース２１に代えて、音声認識情報データベース２６を用いることもできる。この場合、入力手段３０を介して入力された音声信号は音声認識手段１２により音声認識情報に変換され、変換された音声認識情報が音声認識情報データベース２６に記憶される。あるいは、入力手段３０を介して入力された音声信号を音声信号データベース２１に記憶し、音声信号データベース２１に記憶されている音声信号から作成された音声認識情報を音声認識情報データベース２６に記憶させてもよい。あるいは、入力手段３０を介して入力された音声認識情報を音声認識情報データベース２６に記憶させてもよい。すなわち、音声信号から作成された音声認識情報を利用可能であればよい。
【００１６】
会話単位判別情報データベース２２には、音声認識情報を会話単位に分割するための会話単位判別情報が記憶されている。「会話単位]は、一つの話題に関する範囲を意味する。
図２に、会話単位判別情報データベース２２の一例が示されている。図２に示されている会話単位判別情報データベース２２では、会話単位判別情報として、会話単位の始点を示す会話単位始点判別情報と、会話単位の終点を示す会話単位終点判別情報が記憶されている。会話単位始点判別情報としては、会話単位の初めに用いられることが多い表現が用いられる。例えば、呼び掛ける時の表現「もしもし」、始めの挨拶の表現「おはようございます」、話題を変更する時の表現「では」、「それでは」および「次に」等が用いられる。会話単位終点判別情報としては、会話単位の終わりに用いられることが多い表現が用いられる。例えば、お礼の表現「ありがとうございました」、確認の表現「かしこまりました」および「承りました」、終わりの挨拶の表現「失礼いたします」等が用いられる。
【００１７】
必要情報データベース２３には、話者間の対話時の音声信号（音声認識情報）から抽出する必要情報が記憶されている。話者間の対話時の音声信号から抽出する必要情報は、一方の話者から他方の話者に依頼する用件に応じて異なることが多い。このため、必要情報データベース２３には、話者間の対話時の音声信号から抽出する必要情報を示している必要情報リストが用件に対応して記憶されている。勿論、複数の用件に対して共通の必要情報を抽出する場合には、共通の必要情報リストを、複数の用件に対応させて記憶させてもよい。
図３〜図５に、顧客から電力会社に用件（サービス）を依頼する際における顧客と電力会社の受付者（オペレータ）との間の対話時の音声信号から抽出する必要情報を示している必要情報リストの一例が示されている。図３〜図５には、スロット番号と、スロット番号に対応する必要情報（スロット番号のスロットに挿入される必要情報）が示されている。図３に示されている必要情報リストは、顧客から電力会社に［電気の使用］を依頼する（用件：［電気の使用開始］）際に、音声信号から抽出する必要情報を示している。図４に示されている必要情報リストは、顧客から電力会社に［電気の停止］を依頼する（用件：［電気の使用停止］）際に、音声信号から抽出する必要情報を示している。図５に示されている必要情報リストは、顧客から電力会社に［電気の契約容量の変更］を依頼する（用件：［電気の契約容量の変更］）際に、音声信号から抽出する必要情報を示している。
【００１８】
必要情報手掛かり情報データベース２４には、話者間の対話時の音声信号（音声認識情報）から必要情報を抽出する際の手掛かりとなる必要情報手掛かり情報が記憶されている。本実施の形態では、必要情報手掛かり情報データベース２４には、必要情報に対応する必要情報手掛かり情報を示す必要情報手掛かり情報リストが用件に対応して記憶されている。必要情報手掛かり情報は、必要情報に対応して（用件に対応する必要情報に対応して）適宜設定することができるが、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報（典型的には、必要情報として抽出される文字列と同じ品詞を有する必要情報手掛かり情報）を設定する。例えば、必要情報が［契約者名］である場合には、少なくとも、人名を示す文字列に対応する必要情報手掛かり情報（品詞［人名］を有する必要情報手掛かり情報）を設定する。また、必要情報が［契約者住所］である場合には、少なくとも、住所を示す文字列に対する必要情報手掛かり情報（品詞［地名］を有する必要情報手掛かり情報）を設定する。また、必要情報が［契約者電話番号］である場合には、少なくとも、数字を組み合わせた文字列に対する必要情報手掛かり情報（品詞［数詞］を有する必要情報手掛かり情報）を設定する。
図６に、顧客から［電気の停止］を依頼する（用件：［電気の使用停止］）際に、音声信号から必要情報を抽出する手掛かりとなる必要情報手掛かり情報を示す必要情報手掛かり情報リストの一例が示されている。なお、図６において、必要情報手掛かり情報［品詞：○○］は、文字列の品詞種別（品種情報）が○○である（例えば、人の名前を表す［人名］、住所を表す［地名］、数字の組み合わせを表す［数詞］）ことを表し、それ以外の必要情報手掛かり情報は、文字列を表している。
図６に示されている必要情報手掛かり情報リストには、例えば、必要情報［契約者名］に対応して、必要情報［契約者名］を抽出する手掛かりとなる必要情報手掛かり情報［契約者］、［お客様］、［名前］、［品詞：人名］が記憶されている。また、必要情報［契約者住所］に対応させて、必要情報［契約者住所］を抽出する手掛かりとなる必要情報手掛かり情報［契約者］、［お客様］、［住所］、［品詞：地名］が記憶されている。また、必要情報［契約者電話番号］に対応させて、必要情報［契約者電話番号］を抽出する手掛かりとなる必要情報手掛かり情報［契約者］、［お客様］、［電話］、［携帯］、［番号］、［品詞：数詞］が記憶されている。
必要情報手掛かり情報は、音声信号（音声認識情報）から必要情報を抽出する際に、会話単位を選択する処理で用いられる（詳しくは後述する）。
【００１９】
対話状態判別情報データベース２５には、話者間の対話状態を判別するための対話状態判別情報が記憶されている。本実施の形態では、対話状態判別情報として、必要情報を要求した対話状態（「情報要求対話状態」という）であることを判別するための情報要求手掛かり情報２５ａ、必要情報の要求を受理した対話状態（「要求受理対話状態」という）であることを判別するための要求受理手掛かり情報２５ｂ、必要情報を開示した対話状態（「情報開示対話状態」という）であることを判別するための情報開示手掛かり情報２５ｃ、必要情報を受理した対話状態（「情報受理対話状態」という）であることを判別するための情報受理手掛かり情報２５ｄが記憶されている。
図７に、対話状態判別情報データベース２５の一例が示されている。図７に示されている対話状態判別情報データベース２５には、情報要求手掛かり情報として、必要情報の開示を要求する表現「［（必要情報）］をお願いします」等が記憶され、要求受理手掛かり情報として、必要情報の要求を受理したことを表す表現「わかりました」等が記憶され、情報開示手掛かり情報として、必要情報を表す表現「人名」、「地名」や「数詞」等が記憶され、情報受理手掛かり情報として、開示された必要情報を受理したことを表す表現「ありがとうございます」や「［（必要情報）］ですね」等が記憶されている。
なお、図７に記載されている［（必要情報）］は、必要情報を抽出する手掛かりとなる必要情報抽出情報（図６参照）のいずれか一つを含む文字列あるいは必要情報そのものを表す。例えば、必要情報を要求する対話（［情報要求対話状態］）では、「お客様番号」、「お引越し先のご住所」等の文字列が用いられ、必要情報を開示する対話（［情報開示対話状態］）では、お客様番号そのもの、引越し先の住所そのもの等が用いられる。
【００２０】
処理手段１０は、管理手段１１と必要情報抽出手段１２を有している。
管理手段１１は、音声信号処理装置の全体の処理を管理する。例えば、入力手段３０を介して音声信号を入力する処理、入力された音声信号を音声信号データベース２１に記憶させる処理、音声信号から必要情報を抽出するために必要情報抽出手段１２を作動させる処理、抽出した必要情報を出力手段４０から出力する処理等を実行する。なお、管理手段１１の処理を必要情報抽出手段１２で実行させることもできる。この場合には、管理手段１１を省略することができる。
【００２１】
必要情報抽出手段１２は、音声認識手段１３、会話単位分割手段１４、用件判別手段１５、必要情報手掛かり情報付与手段１６、対話状態遷移判別手段１７により構成されている。本実施の形態では、各手段の処理を共通の処理装置によって実行するように構成しているが、各手段の処理を別々の処理装置で実行するように構成することもできる。また、各手段は、ＬＡＮ、電話回線、インターネット回線等の通信回線を介して接続するように構成されていてもよい。
【００２２】
音声認識手段１３は、入力手段３０を介して入力された、話者間の対話時の音声信号を、テキスト情報を含む音声認識情報に変換する。音声信号を音声認識情報に変換する方法としては、公知の種々の音声認識方法を用いることができる。例えば、ＨＭＭ（隠れマルコフモデル）とＮグラム（確率的言語モデル）を用いた大語彙連続音声認識方法を用いることができる。
なお、「入力手段３０を介して入力された音声信号」には、入力手段３０を介して入力された音声信号そのものだけでなく、入力手段３０を介して入力された後音声信号データベース２１に記憶されている音声信号も含まれる。
本実施の形態では、音声認識手段１３は、品詞情報が付与されている音声認識情報を出力する。例えば、音声認識結果（音声認識情報）に、品詞情報を有する文字列が含まれている場合（音声認識手段１３で用いる認識語彙辞書に品詞情報が含まれている場合）には、当該品詞情報を当該文字列に対して付与する。音声認識結果（音声認識情報）に、品詞情報を有していない文字列が含まれている場合には、音声認識結果に含まれているテキスト情報に対して形態素解析を行うことによって当該文字列に品詞情報を付与する。音声認識情報に付与された品詞情報は、後述する必要情報手掛かり情報付与手段１６が会話単位に必要情報手掛かり情報を付与する際に用いられる。
また、音声信号を音声認識情報に変換する音声認識手段１３は、処理手段１０内に設けられていなくてもよい。例えば、処理手段１０が設けられているコンピュータとは別のコンピュータに設けられている音声認識手段によって音声信号を音声認識情報に変換してもよい。この場合には、別のコンピュータに設けられている音声認識手段から出力される音声認識情報が入力手段３０を介して入力され、音声認識情報データベース２６に記憶される。本願発明の「音声認識手段は、入力手段から入力された話者間の対話時の音声信号を音声認識して音声認識情報を出力する」構成には、処理手段１０が設けられているコンピュータとは別のコンピュータに設けられている音声認識手段を用いて音声信号を音声認識情報に変換し、変換した音声認識情報を入力手段３０から入力する」構成も含まれる。
【００２３】
会話単位分割手段１４は、会話単位判別情報データベース２２に記憶されている会話単位判別情報に基づいて、音声認識情報を会話単位に分割する。本実施の形態では、会話単位判別情報データベース２２には、会話単位始点判別情報と会話単位終点判別情報を含む会話単位判別情報が記憶されている。そして、会話単位分割手段１４は、会話単位判別情報データベースに記憶されている会話単位始点情報と会話単位終点情報に基づいて会話単位の始点と終点を判別することによって、音声認識情報を会話単位に分割している。例えば、会話単位始点判別情報が存在する箇所を会話単位の始点とし、会話単位終点判別情報が存在する箇所を会話単位の終点とする。なお、通常の会話においては、会話単位終点判別情報を発することなく会話単位始点判別情報を発し、あるいは、会話単位終点情報を発した後、会話単位始点判別情報を発することなく会話単位始点情報を発することがある。このため、２つの会話単位始点判別情報の間に会話単位終点判別情報が存在しない場合には、後続する会話単位始点判別情報が存在する箇所の直前の箇所を、先行する会話単位の終点とし、後続する会話単位始点判別情報が存在する箇所を、後続する会話単位の始点とする。また、２つの会話単位終点判別情報の間に会話単位始点判別情報が存在しない場合には、先行する会話単位終点判別情報が存在する箇所を、先行する会話単位の終点とし、先行する会話単位終点判別情報が存在する箇所の直後の箇所を、後続する会話単位の始点とする。なお、会話単位の始点や終点を判別する際には、会話単位判別情報そのものだけでなく、会話単位判別情報の変化態様も考慮する。
【００２４】
用件判別手段１５は、話者間の対話の用件を判別する。本実施の形態では、用件判別手段１５は、音声認識情報に基づいて、話者間の対話の用件を判別している。音声認識情報に基づいて用件を判別する方法としては、用件認識情報にいずれの用件に対応する表現が含まれているかを判別する方法が用いられる。
【００２５】
必要情報手掛かり情報付与手段１６は、会話単位分割手段１４によって分割された会話単位に必要情報手掛かり情報を付与する。すなわち、会話単位に必要情報手掛かり情報が含まれている場合には、当該必要情報手掛かり情報を当該会話単位に付与する。必要情報手掛かり情報としては、用件に対応して必要情報手掛かり情報データベース２４に記憶されている必要情報手掛かり情報リストで示される必要情報手掛かり情報が用いられる。
【００２６】
対話状態遷移判別手段１７は、音声認識情報に基づいて対話状態の遷移を判別することによって、必要情報を抽出する。本実施の形態では、対話状態遷移判別手段１７は、情報要求対話状態判別手段１７ａ、要求受理対話状態判別手段１７ｂ、情報開示対話状態判別手段１７ｃ、情報受理対話状態判別手段１７ｄを有している。情報要求対話状態判別手段１７ａは、音声認識情報と、対話状態判別情報データベース２５に記憶されている情報要求手掛かり情報２５ａに基づいて、対話状態が情報要求対話状態であることを判別する。要求受理対話状態判別手段１７ｂは、音声認識情報と、対話状態判別情報データベース２５に記憶されている要求受理手掛かり情報２５ｂに基づいて、対話状態が要求受理対話状態であることを判別する。情報開示対話状態判別手段１７ｃは、音声認識情報と、対話状態判別情報データベース２５に記憶されている情報開示手掛かり情報２５ｃに基づいて、対話状態が情報開示対話状態であることを判別する。情報受理対話状態判別手段１７ｄは、音声認識情報と、対話状態判別情報データベース２５に記憶されている情報受理手掛かり情報２５ｄに基づいて、対話状態が情報受理対話状態であることを判別する。そして、対話状態遷移判別手段１７は、対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって、必要情報を抽出する。
【００２７】
顧客と企業のサービスセンターの受付者（オペレータ）との間の対話時の音声信号（音声信号に対応する音声認識情報）から、本実施の形態の対話状態遷移判別手段１７によって対話状態の遷移を判別する方法の概要が図１１に示されている。なお、本実施の形態では、実線矢印で示されている順に対話状態が遷移したことを判別する。
先ず、受付者は、情報要求手掛かり情報を顧客に発する。例えば、情報要求手掛かり情報「［（必要情報）］をお願いします。」を発する。
顧客は、受付者から発せられた情報要求手掛かり情報を確認すると、要求受理手掛かり情報を受付者に発する。例えば、要求受理手掛かり情報「わかりました。」を発する。
次いで、顧客は、情報開示手掛かり情報を受付者に発する。例えば、「［（必要情報）］です。」を発する。
受付者は、顧客から発せられた情報開示手掛かり情報を確認すると、情報受理手掛かり情報を顧客に発する。例えば、「ありがとうございます。」を発する。
これにより、［（必要情報）］に対して、対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別し、［（必要情報）］を抽出する。
【００２８】
ここで、本実施の形態では、必要情報の抽出精度を高め、また、処理負担を軽減するために、会話単位分割手段１４および必要情報手掛かり情報付与手段１６が設けられている。
すなわち、会話単位分割手段１４によって、音声認識情報を会話単位に分割する。また、必要情報手掛かり情報付与手段１６によって、必要情報手掛かり情報が会話単位に含まれている場合には、当該必要情報手掛かり情報を当該会話単位に付与する。
対話状態遷移判別手段１７は、用件判別手段１５によって判別された用件に対応する必要情報リストで示されている必要情報を抽出する際には、必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を選択する。必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を選択する方法としては、必要情報に対応する必要情報手掛かり情報を一つ含む会話単位を選択する方法や、適宜選択した複数の必要情報手掛かり情報を含む会話単位を選択する方法を用いることができる。また、会話単位に含まれる必要情報手掛かり情報を適宜変更しながら会話単位を選択する方法を用いることもできる。なお、会話単位を選択する際には、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報（典型的には、必要情報として抽出される文字列と同じ品詞を有する必要情報手掛かり情報）を含む会話単位を選択する。例えば、必要情報が［契約者名］である場合には、少なくとも、人名を示す文字列（品詞［人名］を有する文字列）を含んでいる会話単位を選択し、必要情報が［契約者住所］である場合には、少なくとも、住所を示す文字列（品詞［地名］を有する文字列）を含んでいる会話単位を選択し、必要情報が［契約者電話番号］である場合には、少なくとも、数字を組み合わせた文字列（品詞［数詞］を有する文字列）を含んでいる会話単位を選択する。そして、選択した会話単位（あるいは、選択した会話単位を含む、選択した会話単位に隣接する複数の会話単位）に対して対話状態の遷移を判別することによって、必要情報を抽出する。
例えば、必要情報手掛かり情報付与手段１６は、用件に対応する必要情報リストによって必要情報［契約者名］が示されている場合、会話単位に、「契約者」、「お客様」、［名前］という文字列や、［品詞：人名］が含まれていれば、必要情報［契約者名］を抽出する際の手掛かりとなる必要情報手掛かり情報［契約者］、［お客様］、［名前］、［品詞：人名］を当該会話単位に付与する。対話状態遷移判別手段１７は、必要情報［契約者名］を抽出する際には、必要情報手掛かり情報［契約者］、［お客様］、［名前］、［品詞：人名］が付与されている（必要情報手掛かり情報「契約者」、「お客様」、「名前」、［品詞：人名］が含まれている）会話単位を選択する。そして、選択した会話単位に含まれている音声認識情報に基づいて、対話状態の遷移を判別することにより、必要情報［契約者名］を抽出する。この場合、［品詞：人名］を抽出する。これにより、必要情報を精度よく、また、効率よく抽出することができる。なお、必要情報手掛かり情報付与手段１６は、品詞情報に基づいて会話単位に必要情報手掛かり情報を付与する際には、音声認識手段１３によって、音声認識情報に付与された品詞情報と、必要情報データベース２３に記憶されている必要情報手掛かり情報リストで示されている必要情報手掛かり情報の品詞情報を比較して必要情報手掛かり情報を付与する。
【００２９】
次に、本実施の形態の音声信号処理装置の動作を、図８に示されているフローチャートを参照して説明する。
ステップＡ１では、入力手段３０を介して、話者間の対話時の音声信号を入力する。ステップＡ１の処理は、管理手段１１によって実行される。
ステップＡ２では、ステップＡ１で入力された音声信号を、テキスト情報を含む音声認識情報に変換する。なお、入力手段３０を介して入力された音声信号には、入力手段３０を介して入力された後、音声信号データベース２１に記憶されている音声信号も含まれる。ステップＡ２の処理は、音声認識手段１３によって実行される。
ステップＡ３では、ステップＡ２で作成された音声認識情報を会話単位に分割する。なお、音声認識情報には、音声信号から変換された後、音声認識情報データベース２６に記憶されている音声認識情報も含まれる。ステップＡ３の処理は、会話単位分割手段１４によって実行される。
ステップＡ４では、話者間の対話の用件を判別する。本実施の形態では、ステップＡ２で作成された音声認識情報に基づいて、話者間の対話の用件を判別している。ステップＡ４の処理は、用件判別手段１５によって実行される。
ステップＡ５では、ステップＡ３で分割された会話単位に必要情報手掛かり情報を付与する。本実施の形態では、会話単位に、必要情報を抽出する手掛かりとなる必要情報手掛かり情報が含まれているか否かを判別し、必要情報手掛かり情報が含まれていれば、当該必要情報手掛かり情報を当該会話単位に付与する。必要情報は、必要情報データベース２４に、ステップＡ４で判別された用件に対応して記憶されている必要情報リストで示されている。また、必要情報手掛かり情報は、必要情報手掛かり情報データベース２４に、ステップＡ４で判別された用件に対応して記憶されている必要情報手掛かり情報リストで、必要情報に対応して示されている。ステップＡ５の処理は、必要情報手掛かり情報付与手段１６によって実行される。
【００３０】
ステップＡ６では、必要情報データベース２３に記憶されている、ステップＡ４で判別された用件に対応する必要情報リストを選択する。
ステップＡ７では、スロット番号Ｎを「１」に設定する。
ステップＡ８では、スロット番号Ｎのスロットに挿入される必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位の一つを選択する。ステップＡ８では、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報を含む会話単位を選択する。例えば、必要情報が、顧客の名前である［契約者名］の場合には、少なくとも、人の名前を示す必要情報手掛かり情報［品詞：人名］を含む会話単位を選択する。好ましくは、必要情報手掛かり情報［品詞：人名］、［契約者］（あるいは、［お客様］）、［名前］を含む会話単位を選択する。また、必要情報が、顧客の住所である［契約者住所］の場合には、少なくとも、住所を示す必要情報手掛かり情報［品詞：地名］を含む会話単位を選択する。好ましくは、必要情報手掛かり情報［品詞：地名］、［契約者］（あるいは、［お客様］）、［住所］を含む会話単位を選択する。また、必要情報が、顧客の電話番号である［契約者電話番号］の場合には、少なくとも、数字の組み合わせを示す必要情報手掛かり情報［品詞：数詞］を含む会話単位を選択する。好ましくは、必要情報手掛かり情報［品詞：数詞］、［契約者］（あるいは、［お客様］）、［電話］（あるいは、［携帯］）、［番号］を含む会話単位を選択する。
ステップＡ８で、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報を含む会話単位を選択する方法としては、必要情報として抽出される文字列に対応する必要情報手掛かり情報のみを含む会話単位を選択する方法や、必要情報として抽出される文字列に対応する必要情報手掛かり情報と、必要情報手掛かり情報リストに示されている他の必要情報手掛かり情報のうちの１つあるいは複数を含む会話単位を選択する方法等を適宜組み合わせて用いることができる。
【００３１】
ステップＡ９では、ステップＡ８で選択した会話単位に含まれている音声認識情報に、ステップＡ６で選択した必要情報リストのスロット番号Ｎに挿入される必要情報に対応する情報要求手掛かり情報２５ａが存在するか否か、すなわち、必要情報に関する情報要求対話状態であるか否かを判別する。情報要求手掛かり情報２５ａが存在することを判別した場合、すなわち、情報要求対話状態であることを判別した場合には、ステップＡ１０に進む。情報要求手掛かり情報２５ａが存在しない場合、すなわち、情報要求対話状態であることが判別されなかった場合には、ステップＡ８で選択した会話単位に含まれている音声認識情報から必要情報を抽出することができないと判断し、ステップＡ１６に進む。
ステップＡ１０では、ステップＡ８で選択した会話単位に含まれている音声認識情報に、必要情報に対応する情報要求手掛かり情報２５ａに後続して、必要情報に対応する要求受理手掛かり情報２５ｂが存在するか否か、すなわち、必要情報に関する情報要求対話状態から必要情報に関する要求受理対話状態に遷移したか否かを判別する。情報要求対話状態から要求受理対話状態に遷移した場合にはステップＡ１１に進み、遷移してない場合にはステップＡ１５に進む。
ステップＡ１１では、ステップＡ８で選択した会話単位に含まれている音声認識情報に、必要情報に対応する情報要求手掛かり情報２５ａに後続して、必要情報に対応する要求受理手掛かり情報２５ｂ、さらに、必要情報に対応する情報開示手掛かり情報２５ｃが存在するか否か、すなわち、必要情報に関する情報要求対話状態から、必要情報に関する要求受理対話状態、さらに、必要情報に関する情報開示対話状態に遷移したか否かを判別する。情報要求対話状態から要求受理対話状態、さらに、情報開示対話状態に遷移した場合にはステップＡ１２に進み、遷移してない場合にはステップＡ１５に進む。
ステップＡ１２では、ステップＡ８で選択した会話単位に含まれている音声認識情報に、必要情報に対応する情報要求手掛かり情報２５ａに後続して、必要情報に対応する要求受理手掛かり情報２５ｂ、必要情報に対応する情報開示手掛かり情報２５ｃ、さらに、必要情報に対応する情報受理手掛かり情報が存在するか否か、すなわち、必要情報に関する情報要求対話状態から、必要情報に関する要求受理対話状態、必要情報に関する情報開示対話状態、さらに、必要情報に関する情報受理対話状態に遷移したか否かを判別する。情報要求対話状態から要求受理対話状態、情報開示対話状態、さらに、情報受理対話状態に遷移した場合にはステップＡ１３に進み、遷移してない場合にはステップＡ１５に進む。
【００３２】
ステップＡ１３では、必要情報を抽出し、抽出した必要情報を、ステップＡ６で選択した必要情報リストの、スロット番号Ｎに対応するスロットに挿入する。例えば、必要情報が［契約者名］の場合には、人の名前を示す必要情報手掛かり情報［品詞：人名］に該当する文字列を抽出する。また、必要情報が［契約者住所］の場合には、住所を示す必要情報手掛かり情報［品詞：地名］に該当する文字列を抽出する。また、必要情報が［契約者電話番号］の場合には、数字の組み合わせを示す必要情報手掛かり情報［品詞：数詞］に該当する文字列を抽出する。
ステップＡ１４では、Ｎが、ステップＡ６で選択した必要情報リストの総スロット数に等しいか否かを判別する。Ｎが必要情報リストの総スロット数に等しい場合には、処理を終了し、等しくない場合には、ステップＡ１７に進む。
【００３３】
ステップＡ１５では、ステップＡ８で選択した会話単位に含まれている音声認識情報から、ステップＡ６で選択した必要情報リストの、スロット番号Ｎに挿入する必要情報に対応する情報要求手掛かり情報２５ａを全て判別したか否かを判別する。情報要求手掛かり情報２５ａを全て判別した場合には、ステップＡ１６に進み。情報要求手掛かり情報２５ａを全て判別していない場合には、ステップＡ９に戻り、残りの音声認識情報に存在する情報要求手掛かり情報２５ａを判別する。
ステップＡ１６では、ステップＡ６で選択した必要情報リストの、スロット番号Ｎのスロットに挿入される必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を全て選択したか否かを判別する。スロット番号Ｎのスロットに挿入される必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を全て選択していない場合には、ステップＡ８に戻り、スロット番号Ｎのスロットに挿入される必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む他の会話単位を選択する。スロット番号Ｎのスロットに挿入される必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を全て選択した場合には、ステップＡ１４に進む。
ステップＡ１７では、スロット番号Ｎに「１」を加算した後、ステップＡ８に戻り、ステップＡ６で選択した必要情報リストの、次のスロット番号Ｎ（＝Ｎ＋１）のスロットに挿入される必要情報の抽出処理を繰り返す。
ステップＡ６〜Ａ１７の処理は、対話状態遷移判別手段１７によって実行される。
【００３４】
第１の実施の形態では、対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出した。ここで、通常の対話では、情報要求対話状態から情報開示対話状態に遷移することがある。すなわち、要求受理対話状態が存在しない場合がある。
以下に、対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出する、本発明の音声信号処理装置の第２の実施の形態を説明する。第２の実施の形態の音声信号処理装置も、第１の実施の形態の音声信号処理装置と同様に、一方の話者から他方の話者に用件を依頼する際における話者間の対話時の音声信号から、依頼された用件を遂行するために必要な必要情報を抽出する音声信号処理装置として好適に用いることができる。
第２の実施の形態の音声信号処理装置は、第１の実施の形態の音声信号処理装置と同様に、処理手段１０、記憶手段２０、入力手段３０、出力手段４０を有している。ただ、第２の実施の形態では、対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出するため、図１に示されている対話状態判別情報データベース２５の要求受理手掛かり情報２５ｂ、対話状態遷移判別手段１７の要求受理対話状態判別手段１７ｂが省略されている。他の構成は、第１の実施の形態の音声信号処理装置と同様である。
【００３５】
顧客と企業のサービスセンターの受付者（オペレータ）との間の対話時の音声信号（音声信号に対応する音声認識情報）から、第２の実施の形態の対話状態遷移判別手段１７によって対話状態の繊維を判別する方法の概要が図１１に示されている。なお、第２の実施の形態では、破線矢印で示されている順に対話状態が遷移したことを判別する。
先ず、受付者は、情報要求手掛かり情報を顧客に発する。例えば、情報要求手掛かり情報「［（必要情報）］をお願いします。」を発する。
顧客は、受付者から発せられた情報要求手掛かり情報を確認すると、情報開示手掛かり情報を受付者に発する。例えば、「［（必要情報）］です。」を発する。
受付者は、顧客から発せられた情報開示手掛かり情報を確認すると、情報受理手掛かり情報を顧客に発する。例えば、「ありがとうございます。」を発する。
これにより、［（必要情報）］に対して、対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別し、［（必要情報）］を抽出する。
【００３６】
次に、第２の実施の形態の音声信号処理装置の動作を、図８に示されているフローチャートを参照して説明する。第２の実施の形態の音声信号処理装置では、対話状態が要求受理対話状態にあることを判別しないため、ステップＡ１０が省略されている。
すなわち、ステップＡ９において、選択した会話単位に含まれている音声認識情報から情報要求手掛かり情報２５ａを判別した場合には、破線矢印で示されているように、ステップＡ１１に進む。
他の処理は、第１の実施の形態の音声信号処理装置と同様である。
【００３７】
次に、本実施の形態の動作を、顧客から電力会社に［電気の使用停止］を依頼する場合について具体的に説明する。
図９および図１０には、［電気の使用停止］を依頼する際の、顧客と電力会社のサービスセンターの受付者（オペレータ）との間での対話時の音声信号を、テキスト情報を含む音声認識情報に変換した後、文書Ｃ１〜Ｃ４９を作成した例が示されている。
【００３８】
先ず、音声認識情報に基づいて対話の用件が判別される。この場合、例えば、文書Ｃ３「電気の停止をお願いしたいのですが。」に含まれている文字列「停止」が、用件［電気の使用停止］に対応する必要情報手掛かり情報リスト（図６参照）中の必要情報手掛かり情報［停止］と一致するため、この対話の用件（顧客から電力会社に依頼するサービスの内容）が［電気の使用停止］であることが判別される。音声認識情報から対話の用件を判別する方法としては、これ以外の種々の方法を用いることができる。
次に、音声認識情報（文書Ｃ１〜Ｃ４９に含まれている音声認識情報）は、会話単位判別情報データベース２２に会話単位判別情報として記憶されている会話単位終点判別情報と会話単位終点判別所に基づいて会話単位Ｓ１〜Ｓ１５に分割される。図９および図１０では、実線で囲まれている音声認識情報が会話単位始点判別情報であり、破線で囲まれている音声認識情報が会話単位終点判別情報である。例えば、文書Ｃ１の「おはようございます」（始めの挨拶の表現）、文書Ｃ６の「それでは」および文書Ｃ８の「では」および文書Ｃ１１の「次に」（話題を変える表現）等が会話単位始点判別情報として判別され、文書Ｃ５の「かしこまりました」（確認の表現）、文書Ｃ１０の「ありがとうございました」（お礼の表現）、文書Ｃ４８の「失礼いたします」（終わりの挨拶の表現）等が会話終点判別情報として判別される。
【００３９】
また、分割した会話単位に、判別した用件に対応する必要情報リストに示されている必要情報を抽出する手掛かりとなる必要情報手掛かり情報が含まれていれば、当該必要情報手掛かり情報が当該会話単位に付与される。例えば、用件が［電気の使用停止］である場合には、図４に示されている、用件［電気の使用停止］に対応する必要情報リストで示されている必要情報を抽出する手掛かりとなる必要情報手掛かり情報が付与される。用件［電気の使用停止］における、必要情報に対応する必要情報手掛かり情報の一例が図５に示されている。
図９では、例えば、会話単位Ｓ１に含まれている文字列「○○受付センター」、「△△」に基づいて、必要情報［受付者名］に対応する必要情報手掛かり情報［受付センター］、［品詞：人名］が会話単位Ｓ１に付与されている。また、文字列「電気の停止」、「電気を止める」に基づいて、必要情報［使用停止日］、［使用停止時刻］に対応する必要情報手掛かり情報［停止］、［停め］が会話単位Ｓ１付与されている。また、会話単位Ｓ３に含まれている文字列「お客様番号」、「００ １１ ２２ ３３」に基づいて、必要情報［お客様番号］を抽出する手掛かりとなる必要情報手掛かり情報［お客様番号］、［品詞：数詞］が会話単位Ｓ３に付与されている。また、会話単位Ｓ４に含まれている文字列「契約者」、「名前」、「□□□□」に基づいて、必要情報［契約者名］を抽出する手掛かりとなる必要情報手掛かり情報［契約者］、［名前］、［品詞：人名］が会話単位Ｓ４に付与されている。
また、図１０では、例えば、会話単位Ｓ８に含まれている文字列「Ｘ月」、「Ｙ日」、「火曜日」、「１２時」に基づいて、必要情報［使用停止日］、［使用停止時刻］を抽出する手掛かりとなる必要情報手掛かり情報「月」、「日」、「時」、「曜」、［品詞：数詞］が会話単位Ｓ８に付与されている。また、会話単位Ｓ９に含まれている文字列「Ｘ月」、「Ｙ日」、「火曜日」、「１２時」、「停め」に基づいて、必要情報［使用停止日］、［使用停止時刻］を抽出する手掛かりとなる必要情報手掛かり情報「月」、「日」、「時」、「曜」、［停め］、［品詞：数詞］が会話単位Ｓ９に付与されている。また、会話単位Ｓ１２に含まれている文字列「引越し」、「住所」、「ＤＤ市ＥＥ４−５−６ ＦＦマンション ２０２」に基づいて、必要情報［契約者移転先住所］を抽出する手掛かりとなる必要情報手掛かり情報［引越］、［住所］、［品詞：地名］が付与されている。
【００４０】
そして、音声認識情報に基づいて対話状態の遷移を判別することによって、判別した用件に対応する必要情報リストで示されている必要情報を抽出する。例えば、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したこと、あるいは、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出する。この時、必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を選択する。
対話状態の遷移を判別することによって必要情報を抽出する処理の具体例を図１２〜図１４により説明する。なお、図１２、図１３は、対話状態が情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別する例であり、図１４は、対話状態が情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別する例である。
【００４１】
対話の用件［電気の使用停止］に対する必要情報［お客様番号］を抽出する処理が図１２に示されている。図１２では、図４に示されているスロット番号Ｂ００２の必要情報［お客様番号］を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位として、必要情報手掛かり情報［お客様番号］、［品詞：数詞］が付与されている会話単位Ｓ３が選択されている。
受付者から顧客への対話内容を示す文書Ｃ８には、必要情報［お客様番号］の要求を表す表現「お客様番号を左からお願いします」が含まれている。これにより、文書Ｃ８から、必要情報［お客様番号］を要求した情報要求対話状態であることが判別される。
文書Ｃ８に後続する、顧客から受付者への対話内容を示す文書Ｃ９には、必要情報［お客様番号］を示す文字列に対応する文字列「００ １１ ２２ ３３」が含まれている。これにより、文書Ｃ９から、必要情報［お客様番号］を開示した情報開示対話状態であることが判別される。
文書Ｃ９に後続する、受付者から顧客への対話内容を示す文書Ｃ１０には、必要情報［お客様番号］の確認を表す表現「００ １１ ２２ ３３ですね、ありがとうございます」が含まれている。これにより、文書Ｃ１０から、必要情報［お客様番号］を受理した情報受理対話状態であることが判別される。
以上により、必要情報［お客様番号］に関して、会話単位Ｓ３において、対話状態が情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことが判別され、必要情報である［お客様番号］として、必要情報［お客様番号］を示す必要情報手掛かり情報［品詞：数詞］に該当する文字列「００１１２２３３」が抽出される。
【００４２】
対話の用件［電気の使用停止］に対する必要情報［契約者名］を抽出する処理が図１３に示されている。図１３では、図４に示されているスロット番号Ｂ００３の必要情報［契約者名］を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位として、必要情報手掛かり情報［契約者］、［名前］、［品詞：人名］が付与されている会話単位Ｓ４が選択されている。
受付者から顧客への対話内容を示す文書Ｃ１１には、必要情報［契約者名］の要求を表す表現「ご契約者様のお名前をお願いします」が含まれている。これにより、文書Ｃ１１から、必要情報［契約者名］を要求した情報要求対話状態であることが判別される。
文書Ｃ１１に後続する、顧客から受付者への対話内容を示す文書Ｃ１２には、必要情報［契約者名］を示す文字列に対応する文字列「□□□□」が含まれている。これにより、文書Ｃ１２から、必要情報［契約者名］を開示した情報開示対話状態であることが判別される。
文書Ｃ１２に後続する、受付者から顧客への対話内容を示す文書Ｃ１３には、必要情報［契約者名］の確認を表す表現「□□□□ですね、ありがとうございます」が含まれている。これにより、文書Ｃ１３から、必要情報［契約者名］を受理した情報受理対話状態であることが判別される。
以上により、必要情報［契約者名］に関して、会話単位Ｓ４において、対話状態が情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことが判別され、必要情報である［契約者名］として、必要情報［契約者名］を示す必要情報手掛かり情報［品詞：人名］に該当する文字列「□□□□」が抽出される。
【００４３】
対話の用件［電気の使用停止］に対する必要情報［契約者移転先電話番号］を抽出する処理が図１４に示されている。図１４では、図４に示されているスロット番号Ｂ０１１の必要情報［契約者移転先電話番号］を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位として、必要情報手掛かり情報［引越］、［電話］（あるいは［携帯］）、［番号］、［品詞：数詞］が付与されている会話単位Ｓ１３が選択されている。
受付者から顧客への対話内容を示す文書Ｃ３７には、必要情報［契約者移転先電話番号］の要求を表す表現「お引越し先の電話番号をお願いします」が含まれている。これにより、文書Ｃ３７から、必要情報［契約者移転先電話番号］を要求した情報要求対話状態であることが判別される。
文書Ｃ３７に後続する、顧客から受付者への対話内容を示す文書Ｃ３８には、必要情報［契約者移転先電話番号］の要求を受理したことを表す表現「わかりました」が含まれている。これにより、文書Ｃ３８から、必要情報［契約者移転先電話番号］の要求を受理した要求受理対話状態であることが判別される。
文書Ｃ３９に後続する、顧客から受付者への対話内容を示す文書Ｃ４１には、必要情報［契約者移転先電話番号］を示す文字列に対応する文字列「０９０ ００００ １１１１」が含まれている。これにより、文書Ｃ４１から、必要情報［契約者移転先電話番号］を開示した情報開示対話状態であることが判別される。
文書Ｃ４１に後続する、受付者から顧客への対話内容を示す文書Ｃ４２には、必要情報［契約者移転先電話番号］の確認を表す表現「０９０ ００００ １１１１ですね、ありがとうございます」が含まれている。これにより、文書Ｃ４２から、必要情報［契約者移転先電話番号］を受理した情報受理対話状態であることが判別される。
以上により、必要情報［契約者移転先電話番号］に関して、会話単位Ｓ１３において、対話状態が情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことが判別され、必要情報である［契約者移転先電話番号］として、必要情報［契約者移転先電話番号］を示す必要情報手掛かり情報［品詞：数詞］に該当する文字列「０９０００００１１１１」が抽出される。
【００４４】
なお、例えば、会話単位Ｓ１４には、必要情報［使用停止日］、［使用停止時刻］、［契約者名］、［契約者住所］に対応する必要情報手掛かり情報［月］、［日］、［時］、［曜］、［停め］、［品詞：数詞］、［品詞：地名］が付与されているが、会話単位Ｓ１４内では前述した対話状態の遷移が生じていない。このため、対話状態遷移判別手段１７は、会話単位Ｓ１４に含まれている音声認識情報からは、前述した対話状態の遷移を判別することができない。すなわち、会話単位Ｓ１４からは必要情報が抽出されない。
【００４５】
以上のように、前述した実施の形態では、話者間の対話時の音声信号（音声信号から作成された音声認識情報）から、対話状態が、用件に対する必要情報に関して、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって、あるいは、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出している。これにより、話者間の対話時の音声信号から、話者間の対話の用件に対する必要情報（例えば、一方の話者から他方の話者に依頼した用件を遂行するのに必要な必要情報）を精度よく抽出することができる。特に、前述した本実施の形態では、音声認識情報を会話単位に分割し、会話単位の中で対話状態の遷移を判別（対話進行をトレース）することによって必要情報を抽出しているため、必要情報をより精度よく検出することができる。また、会話単位に、必要情報を抽出する手掛かりとなる必要情報手掛かり情報が含まれていれば、当該必要情報手掛かり情報を当該会話単位に付与し、必要情報を抽出する際には、必要情報を抽出する手掛かりとなる必要情報手掛かり情報が含まれている会話単位を選択しているため、必要情報をより精度よく抽出することができ、また、必要情報を抽出するための処理負担を軽減することができる。
【００４６】
なお、本発明は、コンピュータに、前述した処理手段（処理手段を構成する管理手段、音声認識手段、会話単位分割手段、用件判別手段、必要情報手掛かり情報付与手段、対話状態遷移判別手段等）の処理を実行させるためのプログラムあるいはプログラムが記憶された記憶媒体として構成することもできる。
【００４７】
本願発明は、前述した実施の形態の構成に限定されず、種々の変更、追加、削除が可能である。
用件判別手段１５は、音声認識情報に基づいて対話の用件を判別したが、対話の用件を判別する方法としては、これ以外の種々の方法を用いることができる。例えば、入力手段３０に設けられている入力キーを操作することによって、あるいは、入力手段３０に設けられている表示画面の入力部を選択することによって、入力手段３０から、用件を示す用件識別情報を入力する方法を用いることができる。この場合、図８に示されているステップＡ４において、用件判別手段１５は、入力手段３０を介して入力された用件識別情報に基づいて、対話の用件を判別する。このような用件判別手段１５を用いることにより、用件を判別する処理が容易となる。
会話単位を判別するために用いられる会話単位判別情報は、対話の用件等に応じて適宜設定することができる。
音声信号から抽出する必要情報は、対話の用件等に応じて適宜設定することができる。
必要情報を抽出する手掛かりとなる必要情報手掛かり情報は、必要情報に応じて適宜設定することができる。
音声認識情報を会話単位に分割するとともに、必要情報を抽出する手掛かりとなる必要情報手掛かり情報を会話単位に付与したが、会話単位に分割する処理や、会話単位に必要情報手掛かり情報を付与する処理は省略することもできる。この場合でも、対話状態の遷移を判別することによって必要情報を抽出するため、必要情報を精度よく抽出することができる。
対話状態を判別するために用いられる対話状態判別情報は、対話の用件等に応じて適宜設定することができる。
対話の用件としては、一方の話者から他方の話者に依頼する用件の内容に応じて適宜設定可能である。
入力手段３０や出力手段４０は、処理手段１０と通信回線を介して接続可能な遠方の端末装置に設けられている入力手段や出力手段を用いることができる。
【符号の説明】
【００４８】
１０ 処理手段
１１ 管理手段
１２ 必要情報抽出手段
１３ 音声認識手段
１４ 会話単位分割手段
１５ 用件判別手段
１６ 必要情報手掛かり情報付与手段
１７ 対話状態遷移判別手段
１７ａ 情報要求対話状態判別手段
１７ｂ 要求受理対話状態判別手段
１７ｃ 情報開示対話状態判別手段
１７ｄ 情報受理対話状態判別手段
２０ 記憶手段
２１ 音声信号データベース
２２ 会話単位判別情報データベース
２３ 必要情報データベース
２４ 必要情報手掛かり情報データベース
２５ 対話状態判別情報データベース
２５ａ 情報要求手掛かり情報
２５ｂ 要求受理手掛かり情報
２５ｃ 情報開示手掛かり情報
２５ｄ 情報受理手掛かり情報
２６ 音声認識情報データベース
３０ 入力手段
４０ 出力手段
【技術分野】
【０００１】
本発明は、用件に対する話者間の対話時の音声信号から、用件に係る必要情報を抽出する技術に関する。
【背景技術】
【０００２】
顧客が企業に用件（サービス）を依頼する場合（例えば、顧客が電力会社に［電気の使用開始］、［電気の使用停止］、［電気の契約容量の変更］を依頼する場合）等には、顧客は、企業のサービスセンターに電話する。この時、サービスセンターの受付者（オペレータ)は、顧客が依頼する用件の内容、当該依頼された用件の遂行に必要な必要情報を顧客から聞き取り、聞き取った用件の内容および必要情報をコンピュータや記録用紙に記録する。この場合、受付者は、用件の内容や必要情報を顧客から聞き取って記録する作業が必要となり、受付者の負担が大きい。
そこで、受付者の負担を軽減するために、話者間の対話時の音声信号から必要情報を抽出する音声信号処理装置の開発が要望されている。
これまで、音声から必要情報を抽出（要約）する技術が提案されている。例えば、特許文献１には、音響分析による特徴パターン（無音継続時間、音声の高低、話者間の音声波形の類似度等）を手掛かりとして、対話中の重要な情報（語句）を判別し、音声要約を行う方法が開示されている。また、特許文献２には、音声認識結果であるテキスト情報に対して、形態素解析や構文解析および意味解析を行い、これらの結果に基づき重要箇所の判別を行う方法が開示されている。
しかしながら、このような従来の音声要約技術では、用件が明確な目的指向の対話から、用件に係る必要情報を精度よく抽出することができない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５８５６７号公報
【特許文献２】特開平８−２１２２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願発明は、このような点に鑑みて創案されたものであり、用件に対する話者間の対話時の音声信号から、用件に係る必要情報を精度よく抽出することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本願の音声信号処理装置は、予め定められている用件に対する話者間の対話時の音声信号から、当該用件に係る必要情報を抽出する。「用件」としては、典型的には、顧客が企業に依頼するサービス（例えば、顧客が電力会社に依頼する［電気の使用開始］、［電気の使用停止］、［電気の契約容量の変更］）が対応する。「音声信号」としては、典型的には、音声を電気信号に変換するマイクロフォン等から出力される信号が対応する。なお、処理手段における信号処理はデジタルで行われるため、マイクロフォン等から出力されるアナログの信号をデジタル化した信号を「音声信号」として用いることもできる。
【０００６】
一つの発明は、記憶手段と、処理手段と、入力手段と、出力手段を備えている。
記憶手段は、必要情報データベースと、対話状態判別情報データベースを有している。
必要情報データベースには、用件に係る必要情報を示す必要情報リストが記憶されている。「必要情報」は、依頼された用件（例えば、顧客から企業に依頼するサービス）を遂行するのに必要な情報であり、用件毎に定められる。
対話状態判別情報データベースには、話者間の対話状態を判別するための対話状態判別情報が記憶されている。本発明では、話者間の対話状態が、必要情報を要求した情報要求対話状態、必要情報を開示した情報開示対話状態、必要情報を受理した情報受理対話状態の順に遷移したことを判別することにより、必要情報を判別する。このため、対話状態判別情報として、必要情報を要求した対話状態であることを判別するための情報要求手掛かり情報、必要情報を開示した対話状態であることを判別するための情報開示手掛かり情報、必要情報を受理した対話状態であることを判別するための情報受理手掛かり情報が記憶されている。
処理手段は、音声認識手段と、用件判別手段と、対話状態遷移判別手段と、管理手段を有している。
音声認識手段は、入力手段から入力された話者間の対話時の音声信号を、テキスト情報を含む音声認識情報に変換する。音声信号を音声認識情報に変換する方法としては、公知の種々の音声認識方法を用いることができる。例えば、ＨＭＭ（隠れマルコフモデル）とＮグラム（確率的言語モデル）を用いた大語彙連続音声認識方法が用いられる。入力手段としては、例えば、音声を電気信号に変換するマイクロフォン、アナログ信号をデジタル信号に変換するＡ／Ｄ変換処理を行うＡ／Ｄ変換器等が用いられる。なお、Ａ／Ｄ変換処理は、音声認識手段で行うこともできる。また、入力手段としては、記憶媒体に記憶されている音声信号等を読み取る読取手段を用いることもできる。また、本願発明の「音声認識手段は、入力手段から入力された話者間の対話時の音声信号を音声認識情報に変換する」構成には、「処理手段と離れて設けられている音声認識手段によって音声信号を音声認識情報に変換し、音声認識情報を入力手段から入力する」構成も含まれる。
用件判別手段は、音声認識情報に基づいて、話者間の対話の用件を判別する。「音声認識情報に基づいて用件を判別する」方法としては、典型的には、音声認識情報に含まれている文字列から用件を判別する方法が用いられる。本明細書では、文字、数字や記号等を用いて表現されたものを「文字列」という。
対話状態遷移判別手段は、音声認識情報に基づいて、話者間の対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって、用件判別手段で判別した用件に対応する必要情報リストで示されている各必要情報を抽出する。例えば、必要情報が［契約者名］である場合には、契約者の名前を示す人名を抽出し、必要情報が［契約者住所］である場合には、契約者の住所を示す地名を抽出し、必要情報が［契約者電話番号］である場合には、契約者の電話番号を示す数詞を抽出する。話者間の対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことは、例えば、音声認識情報に、対話状態判別情報データベースに記憶されている情報要求手掛かり情報、情報開示手掛かり情報、情報受理手掛かり情報が順に含まれていることによって判別する。
管理手段は、対話状態遷移判別手段によって抽出された必要情報を出力手段から出力する。出力手段としては、例えば、表示手段、印刷手段等が用いられる。対話状態遷移判別手段によって抽出された必要情報を出力手段から出力する態様としては、種々の出力態様を用いることができる。
本発明では、対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出しているため、必要情報を精度よく抽出することができる。
【０００７】
他の発明は、記憶手段と、処理手段と、入力手段と、出力手段を備えている。
記憶手段は、必要情報データベースと、対話状態判別情報データベースを有している。必要情報データベース、対話状態判別情報データベースとしては、前述した一つの発明と同様のものを用いることができる。
処理手段は、音声認識手段と、用件判別手段と、対話状態遷移判別手段と、管理手段を有している。音声認識手段、対話状態遷移判別手段、管理手段としては、前述した一つの発明と同様の音声認識手段、対話状態遷移判別手段、管理手段を用いることができる。本発明では、用件判別手段は、入力手段から入力された用件識別情報に基づいて、話者間の対話の用件を判別する。用件識別情報を入力する方法としては、例えば、入力手段に設けられている入力キーを操作する方法や入力手段に設けられている入力画面に表示されている入力部を選択する方法を用いることができる。用件識別情報は、音声信号とともに入力するのが好ましいが、音声信号と異なるタイミングで入力してもよい。
本発明では、対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出しているため、必要情報を精度よく抽出することができる。また、本発明では、入力手段から入力される用件識別情報に基づいて用件を判別するため、話者間の対話の用件を容易に判別することができる。
【０００８】
一つの発明あるいは他の発明の異なる形態では、対話状態判別情報データベースには、さらに、必要情報の要求を受理した要求受理対話状態であることを判別するための要求受理手掛かり情報が記憶されている。そして、対話状態遷移判別手段は、音声認識情報に基づいて、話者間の対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって、用件判別手段で判別した用件に対応する必要情報リストで示されている各必要情報を抽出する。話者間の対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことは、音声認識情報に、対話状態判別情報データベースに記憶されている情報要求手掛かり情報、要求受理手掛かり情報、情報開示手掛かり情報、情報受理手掛かり情報が順に含まれていることによって判別する。
本形態では、対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出しているため、必要情報を精度よく抽出することができる。
【０００９】
一つの発明あるいは他の発明の他の異なる形態では、記憶手段は、さらに、会話単位判別情報データベースと必要情報手掛かり情報データベースを有し、処理手段は、さらに、会話単位分割手段と必要情報手掛かり情報付与手段を有している。
会話単位判別情報データベースには、音声認識情報を会話単位に分割するための会話単位判別情報が記憶されている。「会話単位」は、一つの話題に関する範囲を意味する。会話単位判別情報データベースには、典型的には、会話単位の始点を判別するための会話単位始点判別情報と、会話単位の終点を判別するための会話単位終点判別情報を含む会話単位判別情報が記憶される。必要情報手掛かり情報データベースには、必要情報を抽出するための手掛かりとなる必要情報手掛かり情報を示す必要情報手掛かり情報リストが、用件に対応して記憶されている。必要情報手掛かり情報は、必要情報に対応して適宜設定することができるが、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報（典型的には、必要情報として抽出される文字列と同じ品詞を有する必要情報手掛かり情報）が設定される。例えば、必要情報が［契約者名］である場合には、少なくとも、人名を示す文字列に対応する必要情報手掛かり情報（品詞［人名］を有する必要情報手掛かり情報）を設定する。また、必要情報が［契約者住所］である場合には、少なくとも、住所を示す文字列に対する必要情報手掛かり情報（品詞［地名］を有する必要情報手掛かり情報）を設定する。また、必要情報が［契約者電話番号］である場合には、少なくとも、数字を組み合わせた文字列に対する必要情報手掛かり情報（品詞［数詞］を有する必要情報手掛かり情報）を設定する。なお、必要情報手掛かり情報データベースと必要情報データベースを一つのデータベースとして構成することもできる。例えば、用件に対応させて必要情報を記憶させるとともに、各必要情報に対応させて必要情報手掛かり情報を記憶させる。
会話単位分割手段は、会話単位判別情報データベースに記憶されている会話単位判別情報に基づいて、音声認識情報を会話単位に分割する。会話単位分割手段は、典型的には、音声認識情報と会話単位判別情報データベースに記憶されている会話単位始点判別情報および会話単位終点判別情報に基づいて会話単位の始点および終点を判別し、会話単位の始点と、会話単位の始点に後続する会話単位の終点の間を会話単位とする。例えば、会話単位始点判別情報が存在する箇所を会話単位の始点とし、会話単位終点判別情報が存在する箇所を会話単位の終点とする。なお、２つの会話単位始点判別情報の間に会話単位終点判別情報が存在しない場合には、後続する会話単位始点判別情報が存在する箇所の直前の箇所を、先行する会話単位の終点とし、後続する会話単位始点判別情報が存在する箇所を、後続する会話単位の始点とする。また、２つの会話単位終点判別情報の間に会話単位始点判別情報が存在しない場合には、先行する会話単位終点判別情報が存在する箇所を、先行する会話単位の終点とし、先行する会話単位終点判別情報が存在する箇所の直後の箇所を、後続する会話単位の始点とする。
必要情報手掛かり情報付与手段は、会話単位分割手段により分割された会話単位に必要情報手掛かり情報を付与する。具体的には、会話単位に、必要情報を抽出する手掛かりとなる必要情報手掛かり情報が含まれていれば、当該必要情報手掛かり情報を当該会話単位に付与する。
対話状態遷移判別手段は、用件に対応する必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含んでいる会話単位を選択する。必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を選択する方法としては、必要情報に対応する必要情報手掛かり情報を一つ含む会話単位を選択する方法や、適宜選択した複数の必要情報手掛かり情報を含む会話単位を選択する方法を用いることができる。また、会話単位に含まれる必要情報手掛かり情報を適宜変更しながら会話単位を選択する方法を用いることもできる。なお、会話単位を選択する際には、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報（典型的には、必要情報として抽出される文字列と同じ品詞を有する必要情報手掛かり情報）を含む会話単位を選択する。例えば、必要情報が［契約者名］である場合には、人名を示す文字列（品詞［人名］を有する文字列）を含んでいる会話単位を選択し、必要情報が［契約者住所］である場合には、住所を示す文字列（品詞［地名］を有する文字列）を含んでいる会話単位を選択し、必要情報が［契約者電話番号］である場合には、数字を組み合わせた文字列（品詞［数詞］を有する文字列）を含んでいる会話単位を選択する。そして、選択した会話単位に含まれている音声認識情報に基づいて対話状態の遷移を判別することによって、必要情報を抽出する。
本形態では、音声認識情報を会話単位に分割することにより、必要情報をより精度よく抽出することができる。また、必要情報手掛かり情報を会話単位に付与することにより、必要情報を効率よく抽出することができる。
【００１０】
さらに他の発明は、コンピュータに、前記した処理手段の処理を実行させるためのプログラムあるいはプログラムが記憶された記憶媒体である。
本発明のプログラムあるいは記憶媒体を用いることにより、前述した効果を得ることができる。
【発明の効果】
【００１１】
本発明の音声信号処理装置では、対話状態の遷移を判別することで、用件に関する話者間の対話時の音声信号から用件に係る必要情報を抽出しているため、用件に係る必要情報を精度よく抽出することができる。
本発明では、
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態の概略構成図である。
【図２】会話単位判別情報データベースの一例を示す図である。
【図３】必要情報リストの一例を示す図である。
【図４】必要情報リストの他の例を示す図である。
【図５】必要情報リストのさらに他の例を示す図である。
【図６】必要情報手掛かり情報リストの一例を示す図である。
【図７】対話状態判別情報データベースの一例を示す図である。
【図８】本発明の実施の形態の動作を説明するフローチャートである。
【図９】話者間の対話時の音声信号を音声認識した音声認識情報の一例を示す図である。
【図１０】話者間の対話時の音声信号を音声認識した音声認識情報の一例を示す図である。
【図１１】話者間の対話状態の遷移を判別することにより必要情報を抽出する方法の概要を示す図である。
【図１２】話者間の対話状態の遷移を判別することにより必要情報を抽出する方法の一例を示すである。
【図１３】話者間の対話状態の遷移を判別することにより必要情報を抽出する他の例を示すである。
【図１４】話者間の対話状態の遷移を判別することにより必要情報を抽出するさらに他の例を示すである。
【発明を実施するための形態】
【００１３】
以下に、本願発明の音声信号処理装置の実施の形態を、図面を参照して説明する。
図１に、本発明の音声信号処理装置の第１の実施の形態の概略構成図が示されている。第１の実施の形態の音声信号処理装置は、一方の話者から他方の話者に、予め定められている用件を依頼する際における話者間の対話時の音声信号から、依頼された用件を遂行するために必要な必要情報を抽出する音声信号処理装置として好適に用いることができる。本明細書において、「用件」は、一方の話者から他方の話者に依頼する内容（例えば、サービスの内容）を意味する。
本実施の形態の音声信号処理装置は、処理手段１０、記憶手段２０、入力手段３０、出力手段４０を備えている。
入力手段３０としては、音声を電気信号である音声信号に変換するマイクロフォン、記憶媒体に記憶されている音声信号を読み取る読取手段、入力キー、入力画面等の種々の公知の入力手段を用いることができる。「音声信号」は、音声を電気信号に変換するマイクロフォン等から出力される信号を意味する。なお、「音声信号」には、マイクロフォン等から出力された信号をデジタル化した信号も含まれる。
出力手段４０としては、表示手段や印刷手段等の公知の種々の出力手段を用いることができる。
【００１４】
記憶手段２０は、音声信号データベース２１、会話単位判別情報データベース２２、必要情報データベース２３、必要情報手掛かり情報データベース２４、対話状態判別情報データベース２５を有している。
【００１５】
音声信号データベース２１には、入力手段３０を介して入力された、用件に対する話者間の対話時の音声信号が記憶される。なお、本実施の形態では、後述するように、音声信号から作成された、テキスト情報を含む音声認識情報に基づいて必要情報を抽出する。このため、音声信号を記憶する音声信号データベース２１に代えて、音声認識情報データベース２６を用いることもできる。この場合、入力手段３０を介して入力された音声信号は音声認識手段１２により音声認識情報に変換され、変換された音声認識情報が音声認識情報データベース２６に記憶される。あるいは、入力手段３０を介して入力された音声信号を音声信号データベース２１に記憶し、音声信号データベース２１に記憶されている音声信号から作成された音声認識情報を音声認識情報データベース２６に記憶させてもよい。あるいは、入力手段３０を介して入力された音声認識情報を音声認識情報データベース２６に記憶させてもよい。すなわち、音声信号から作成された音声認識情報を利用可能であればよい。
【００１６】
会話単位判別情報データベース２２には、音声認識情報を会話単位に分割するための会話単位判別情報が記憶されている。「会話単位]は、一つの話題に関する範囲を意味する。
図２に、会話単位判別情報データベース２２の一例が示されている。図２に示されている会話単位判別情報データベース２２では、会話単位判別情報として、会話単位の始点を示す会話単位始点判別情報と、会話単位の終点を示す会話単位終点判別情報が記憶されている。会話単位始点判別情報としては、会話単位の初めに用いられることが多い表現が用いられる。例えば、呼び掛ける時の表現「もしもし」、始めの挨拶の表現「おはようございます」、話題を変更する時の表現「では」、「それでは」および「次に」等が用いられる。会話単位終点判別情報としては、会話単位の終わりに用いられることが多い表現が用いられる。例えば、お礼の表現「ありがとうございました」、確認の表現「かしこまりました」および「承りました」、終わりの挨拶の表現「失礼いたします」等が用いられる。
【００１７】
必要情報データベース２３には、話者間の対話時の音声信号（音声認識情報）から抽出する必要情報が記憶されている。話者間の対話時の音声信号から抽出する必要情報は、一方の話者から他方の話者に依頼する用件に応じて異なることが多い。このため、必要情報データベース２３には、話者間の対話時の音声信号から抽出する必要情報を示している必要情報リストが用件に対応して記憶されている。勿論、複数の用件に対して共通の必要情報を抽出する場合には、共通の必要情報リストを、複数の用件に対応させて記憶させてもよい。
図３〜図５に、顧客から電力会社に用件（サービス）を依頼する際における顧客と電力会社の受付者（オペレータ）との間の対話時の音声信号から抽出する必要情報を示している必要情報リストの一例が示されている。図３〜図５には、スロット番号と、スロット番号に対応する必要情報（スロット番号のスロットに挿入される必要情報）が示されている。図３に示されている必要情報リストは、顧客から電力会社に［電気の使用］を依頼する（用件：［電気の使用開始］）際に、音声信号から抽出する必要情報を示している。図４に示されている必要情報リストは、顧客から電力会社に［電気の停止］を依頼する（用件：［電気の使用停止］）際に、音声信号から抽出する必要情報を示している。図５に示されている必要情報リストは、顧客から電力会社に［電気の契約容量の変更］を依頼する（用件：［電気の契約容量の変更］）際に、音声信号から抽出する必要情報を示している。
【００１８】
必要情報手掛かり情報データベース２４には、話者間の対話時の音声信号（音声認識情報）から必要情報を抽出する際の手掛かりとなる必要情報手掛かり情報が記憶されている。本実施の形態では、必要情報手掛かり情報データベース２４には、必要情報に対応する必要情報手掛かり情報を示す必要情報手掛かり情報リストが用件に対応して記憶されている。必要情報手掛かり情報は、必要情報に対応して（用件に対応する必要情報に対応して）適宜設定することができるが、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報（典型的には、必要情報として抽出される文字列と同じ品詞を有する必要情報手掛かり情報）を設定する。例えば、必要情報が［契約者名］である場合には、少なくとも、人名を示す文字列に対応する必要情報手掛かり情報（品詞［人名］を有する必要情報手掛かり情報）を設定する。また、必要情報が［契約者住所］である場合には、少なくとも、住所を示す文字列に対する必要情報手掛かり情報（品詞［地名］を有する必要情報手掛かり情報）を設定する。また、必要情報が［契約者電話番号］である場合には、少なくとも、数字を組み合わせた文字列に対する必要情報手掛かり情報（品詞［数詞］を有する必要情報手掛かり情報）を設定する。
図６に、顧客から［電気の停止］を依頼する（用件：［電気の使用停止］）際に、音声信号から必要情報を抽出する手掛かりとなる必要情報手掛かり情報を示す必要情報手掛かり情報リストの一例が示されている。なお、図６において、必要情報手掛かり情報［品詞：○○］は、文字列の品詞種別（品種情報）が○○である（例えば、人の名前を表す［人名］、住所を表す［地名］、数字の組み合わせを表す［数詞］）ことを表し、それ以外の必要情報手掛かり情報は、文字列を表している。
図６に示されている必要情報手掛かり情報リストには、例えば、必要情報［契約者名］に対応して、必要情報［契約者名］を抽出する手掛かりとなる必要情報手掛かり情報［契約者］、［お客様］、［名前］、［品詞：人名］が記憶されている。また、必要情報［契約者住所］に対応させて、必要情報［契約者住所］を抽出する手掛かりとなる必要情報手掛かり情報［契約者］、［お客様］、［住所］、［品詞：地名］が記憶されている。また、必要情報［契約者電話番号］に対応させて、必要情報［契約者電話番号］を抽出する手掛かりとなる必要情報手掛かり情報［契約者］、［お客様］、［電話］、［携帯］、［番号］、［品詞：数詞］が記憶されている。
必要情報手掛かり情報は、音声信号（音声認識情報）から必要情報を抽出する際に、会話単位を選択する処理で用いられる（詳しくは後述する）。
【００１９】
対話状態判別情報データベース２５には、話者間の対話状態を判別するための対話状態判別情報が記憶されている。本実施の形態では、対話状態判別情報として、必要情報を要求した対話状態（「情報要求対話状態」という）であることを判別するための情報要求手掛かり情報２５ａ、必要情報の要求を受理した対話状態（「要求受理対話状態」という）であることを判別するための要求受理手掛かり情報２５ｂ、必要情報を開示した対話状態（「情報開示対話状態」という）であることを判別するための情報開示手掛かり情報２５ｃ、必要情報を受理した対話状態（「情報受理対話状態」という）であることを判別するための情報受理手掛かり情報２５ｄが記憶されている。
図７に、対話状態判別情報データベース２５の一例が示されている。図７に示されている対話状態判別情報データベース２５には、情報要求手掛かり情報として、必要情報の開示を要求する表現「［（必要情報）］をお願いします」等が記憶され、要求受理手掛かり情報として、必要情報の要求を受理したことを表す表現「わかりました」等が記憶され、情報開示手掛かり情報として、必要情報を表す表現「人名」、「地名」や「数詞」等が記憶され、情報受理手掛かり情報として、開示された必要情報を受理したことを表す表現「ありがとうございます」や「［（必要情報）］ですね」等が記憶されている。
なお、図７に記載されている［（必要情報）］は、必要情報を抽出する手掛かりとなる必要情報抽出情報（図６参照）のいずれか一つを含む文字列あるいは必要情報そのものを表す。例えば、必要情報を要求する対話（［情報要求対話状態］）では、「お客様番号」、「お引越し先のご住所」等の文字列が用いられ、必要情報を開示する対話（［情報開示対話状態］）では、お客様番号そのもの、引越し先の住所そのもの等が用いられる。
【００２０】
処理手段１０は、管理手段１１と必要情報抽出手段１２を有している。
管理手段１１は、音声信号処理装置の全体の処理を管理する。例えば、入力手段３０を介して音声信号を入力する処理、入力された音声信号を音声信号データベース２１に記憶させる処理、音声信号から必要情報を抽出するために必要情報抽出手段１２を作動させる処理、抽出した必要情報を出力手段４０から出力する処理等を実行する。なお、管理手段１１の処理を必要情報抽出手段１２で実行させることもできる。この場合には、管理手段１１を省略することができる。
【００２１】
必要情報抽出手段１２は、音声認識手段１３、会話単位分割手段１４、用件判別手段１５、必要情報手掛かり情報付与手段１６、対話状態遷移判別手段１７により構成されている。本実施の形態では、各手段の処理を共通の処理装置によって実行するように構成しているが、各手段の処理を別々の処理装置で実行するように構成することもできる。また、各手段は、ＬＡＮ、電話回線、インターネット回線等の通信回線を介して接続するように構成されていてもよい。
【００２２】
音声認識手段１３は、入力手段３０を介して入力された、話者間の対話時の音声信号を、テキスト情報を含む音声認識情報に変換する。音声信号を音声認識情報に変換する方法としては、公知の種々の音声認識方法を用いることができる。例えば、ＨＭＭ（隠れマルコフモデル）とＮグラム（確率的言語モデル）を用いた大語彙連続音声認識方法を用いることができる。
なお、「入力手段３０を介して入力された音声信号」には、入力手段３０を介して入力された音声信号そのものだけでなく、入力手段３０を介して入力された後音声信号データベース２１に記憶されている音声信号も含まれる。
本実施の形態では、音声認識手段１３は、品詞情報が付与されている音声認識情報を出力する。例えば、音声認識結果（音声認識情報）に、品詞情報を有する文字列が含まれている場合（音声認識手段１３で用いる認識語彙辞書に品詞情報が含まれている場合）には、当該品詞情報を当該文字列に対して付与する。音声認識結果（音声認識情報）に、品詞情報を有していない文字列が含まれている場合には、音声認識結果に含まれているテキスト情報に対して形態素解析を行うことによって当該文字列に品詞情報を付与する。音声認識情報に付与された品詞情報は、後述する必要情報手掛かり情報付与手段１６が会話単位に必要情報手掛かり情報を付与する際に用いられる。
また、音声信号を音声認識情報に変換する音声認識手段１３は、処理手段１０内に設けられていなくてもよい。例えば、処理手段１０が設けられているコンピュータとは別のコンピュータに設けられている音声認識手段によって音声信号を音声認識情報に変換してもよい。この場合には、別のコンピュータに設けられている音声認識手段から出力される音声認識情報が入力手段３０を介して入力され、音声認識情報データベース２６に記憶される。本願発明の「音声認識手段は、入力手段から入力された話者間の対話時の音声信号を音声認識して音声認識情報を出力する」構成には、処理手段１０が設けられているコンピュータとは別のコンピュータに設けられている音声認識手段を用いて音声信号を音声認識情報に変換し、変換した音声認識情報を入力手段３０から入力する」構成も含まれる。
【００２３】
会話単位分割手段１４は、会話単位判別情報データベース２２に記憶されている会話単位判別情報に基づいて、音声認識情報を会話単位に分割する。本実施の形態では、会話単位判別情報データベース２２には、会話単位始点判別情報と会話単位終点判別情報を含む会話単位判別情報が記憶されている。そして、会話単位分割手段１４は、会話単位判別情報データベースに記憶されている会話単位始点情報と会話単位終点情報に基づいて会話単位の始点と終点を判別することによって、音声認識情報を会話単位に分割している。例えば、会話単位始点判別情報が存在する箇所を会話単位の始点とし、会話単位終点判別情報が存在する箇所を会話単位の終点とする。なお、通常の会話においては、会話単位終点判別情報を発することなく会話単位始点判別情報を発し、あるいは、会話単位終点情報を発した後、会話単位始点判別情報を発することなく会話単位始点情報を発することがある。このため、２つの会話単位始点判別情報の間に会話単位終点判別情報が存在しない場合には、後続する会話単位始点判別情報が存在する箇所の直前の箇所を、先行する会話単位の終点とし、後続する会話単位始点判別情報が存在する箇所を、後続する会話単位の始点とする。また、２つの会話単位終点判別情報の間に会話単位始点判別情報が存在しない場合には、先行する会話単位終点判別情報が存在する箇所を、先行する会話単位の終点とし、先行する会話単位終点判別情報が存在する箇所の直後の箇所を、後続する会話単位の始点とする。なお、会話単位の始点や終点を判別する際には、会話単位判別情報そのものだけでなく、会話単位判別情報の変化態様も考慮する。
【００２４】
用件判別手段１５は、話者間の対話の用件を判別する。本実施の形態では、用件判別手段１５は、音声認識情報に基づいて、話者間の対話の用件を判別している。音声認識情報に基づいて用件を判別する方法としては、用件認識情報にいずれの用件に対応する表現が含まれているかを判別する方法が用いられる。
【００２５】
必要情報手掛かり情報付与手段１６は、会話単位分割手段１４によって分割された会話単位に必要情報手掛かり情報を付与する。すなわち、会話単位に必要情報手掛かり情報が含まれている場合には、当該必要情報手掛かり情報を当該会話単位に付与する。必要情報手掛かり情報としては、用件に対応して必要情報手掛かり情報データベース２４に記憶されている必要情報手掛かり情報リストで示される必要情報手掛かり情報が用いられる。
【００２６】
対話状態遷移判別手段１７は、音声認識情報に基づいて対話状態の遷移を判別することによって、必要情報を抽出する。本実施の形態では、対話状態遷移判別手段１７は、情報要求対話状態判別手段１７ａ、要求受理対話状態判別手段１７ｂ、情報開示対話状態判別手段１７ｃ、情報受理対話状態判別手段１７ｄを有している。情報要求対話状態判別手段１７ａは、音声認識情報と、対話状態判別情報データベース２５に記憶されている情報要求手掛かり情報２５ａに基づいて、対話状態が情報要求対話状態であることを判別する。要求受理対話状態判別手段１７ｂは、音声認識情報と、対話状態判別情報データベース２５に記憶されている要求受理手掛かり情報２５ｂに基づいて、対話状態が要求受理対話状態であることを判別する。情報開示対話状態判別手段１７ｃは、音声認識情報と、対話状態判別情報データベース２５に記憶されている情報開示手掛かり情報２５ｃに基づいて、対話状態が情報開示対話状態であることを判別する。情報受理対話状態判別手段１７ｄは、音声認識情報と、対話状態判別情報データベース２５に記憶されている情報受理手掛かり情報２５ｄに基づいて、対話状態が情報受理対話状態であることを判別する。そして、対話状態遷移判別手段１７は、対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって、必要情報を抽出する。
【００２７】
顧客と企業のサービスセンターの受付者（オペレータ）との間の対話時の音声信号（音声信号に対応する音声認識情報）から、本実施の形態の対話状態遷移判別手段１７によって対話状態の遷移を判別する方法の概要が図１１に示されている。なお、本実施の形態では、実線矢印で示されている順に対話状態が遷移したことを判別する。
先ず、受付者は、情報要求手掛かり情報を顧客に発する。例えば、情報要求手掛かり情報「［（必要情報）］をお願いします。」を発する。
顧客は、受付者から発せられた情報要求手掛かり情報を確認すると、要求受理手掛かり情報を受付者に発する。例えば、要求受理手掛かり情報「わかりました。」を発する。
次いで、顧客は、情報開示手掛かり情報を受付者に発する。例えば、「［（必要情報）］です。」を発する。
受付者は、顧客から発せられた情報開示手掛かり情報を確認すると、情報受理手掛かり情報を顧客に発する。例えば、「ありがとうございます。」を発する。
これにより、［（必要情報）］に対して、対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別し、［（必要情報）］を抽出する。
【００２８】
ここで、本実施の形態では、必要情報の抽出精度を高め、また、処理負担を軽減するために、会話単位分割手段１４および必要情報手掛かり情報付与手段１６が設けられている。
すなわち、会話単位分割手段１４によって、音声認識情報を会話単位に分割する。また、必要情報手掛かり情報付与手段１６によって、必要情報手掛かり情報が会話単位に含まれている場合には、当該必要情報手掛かり情報を当該会話単位に付与する。
対話状態遷移判別手段１７は、用件判別手段１５によって判別された用件に対応する必要情報リストで示されている必要情報を抽出する際には、必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を選択する。必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を選択する方法としては、必要情報に対応する必要情報手掛かり情報を一つ含む会話単位を選択する方法や、適宜選択した複数の必要情報手掛かり情報を含む会話単位を選択する方法を用いることができる。また、会話単位に含まれる必要情報手掛かり情報を適宜変更しながら会話単位を選択する方法を用いることもできる。なお、会話単位を選択する際には、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報（典型的には、必要情報として抽出される文字列と同じ品詞を有する必要情報手掛かり情報）を含む会話単位を選択する。例えば、必要情報が［契約者名］である場合には、少なくとも、人名を示す文字列（品詞［人名］を有する文字列）を含んでいる会話単位を選択し、必要情報が［契約者住所］である場合には、少なくとも、住所を示す文字列（品詞［地名］を有する文字列）を含んでいる会話単位を選択し、必要情報が［契約者電話番号］である場合には、少なくとも、数字を組み合わせた文字列（品詞［数詞］を有する文字列）を含んでいる会話単位を選択する。そして、選択した会話単位（あるいは、選択した会話単位を含む、選択した会話単位に隣接する複数の会話単位）に対して対話状態の遷移を判別することによって、必要情報を抽出する。
例えば、必要情報手掛かり情報付与手段１６は、用件に対応する必要情報リストによって必要情報［契約者名］が示されている場合、会話単位に、「契約者」、「お客様」、［名前］という文字列や、［品詞：人名］が含まれていれば、必要情報［契約者名］を抽出する際の手掛かりとなる必要情報手掛かり情報［契約者］、［お客様］、［名前］、［品詞：人名］を当該会話単位に付与する。対話状態遷移判別手段１７は、必要情報［契約者名］を抽出する際には、必要情報手掛かり情報［契約者］、［お客様］、［名前］、［品詞：人名］が付与されている（必要情報手掛かり情報「契約者」、「お客様」、「名前」、［品詞：人名］が含まれている）会話単位を選択する。そして、選択した会話単位に含まれている音声認識情報に基づいて、対話状態の遷移を判別することにより、必要情報［契約者名］を抽出する。この場合、［品詞：人名］を抽出する。これにより、必要情報を精度よく、また、効率よく抽出することができる。なお、必要情報手掛かり情報付与手段１６は、品詞情報に基づいて会話単位に必要情報手掛かり情報を付与する際には、音声認識手段１３によって、音声認識情報に付与された品詞情報と、必要情報データベース２３に記憶されている必要情報手掛かり情報リストで示されている必要情報手掛かり情報の品詞情報を比較して必要情報手掛かり情報を付与する。
【００２９】
次に、本実施の形態の音声信号処理装置の動作を、図８に示されているフローチャートを参照して説明する。
ステップＡ１では、入力手段３０を介して、話者間の対話時の音声信号を入力する。ステップＡ１の処理は、管理手段１１によって実行される。
ステップＡ２では、ステップＡ１で入力された音声信号を、テキスト情報を含む音声認識情報に変換する。なお、入力手段３０を介して入力された音声信号には、入力手段３０を介して入力された後、音声信号データベース２１に記憶されている音声信号も含まれる。ステップＡ２の処理は、音声認識手段１３によって実行される。
ステップＡ３では、ステップＡ２で作成された音声認識情報を会話単位に分割する。なお、音声認識情報には、音声信号から変換された後、音声認識情報データベース２６に記憶されている音声認識情報も含まれる。ステップＡ３の処理は、会話単位分割手段１４によって実行される。
ステップＡ４では、話者間の対話の用件を判別する。本実施の形態では、ステップＡ２で作成された音声認識情報に基づいて、話者間の対話の用件を判別している。ステップＡ４の処理は、用件判別手段１５によって実行される。
ステップＡ５では、ステップＡ３で分割された会話単位に必要情報手掛かり情報を付与する。本実施の形態では、会話単位に、必要情報を抽出する手掛かりとなる必要情報手掛かり情報が含まれているか否かを判別し、必要情報手掛かり情報が含まれていれば、当該必要情報手掛かり情報を当該会話単位に付与する。必要情報は、必要情報データベース２４に、ステップＡ４で判別された用件に対応して記憶されている必要情報リストで示されている。また、必要情報手掛かり情報は、必要情報手掛かり情報データベース２４に、ステップＡ４で判別された用件に対応して記憶されている必要情報手掛かり情報リストで、必要情報に対応して示されている。ステップＡ５の処理は、必要情報手掛かり情報付与手段１６によって実行される。
【００３０】
ステップＡ６では、必要情報データベース２３に記憶されている、ステップＡ４で判別された用件に対応する必要情報リストを選択する。
ステップＡ７では、スロット番号Ｎを「１」に設定する。
ステップＡ８では、スロット番号Ｎのスロットに挿入される必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位の一つを選択する。ステップＡ８では、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報を含む会話単位を選択する。例えば、必要情報が、顧客の名前である［契約者名］の場合には、少なくとも、人の名前を示す必要情報手掛かり情報［品詞：人名］を含む会話単位を選択する。好ましくは、必要情報手掛かり情報［品詞：人名］、［契約者］（あるいは、［お客様］）、［名前］を含む会話単位を選択する。また、必要情報が、顧客の住所である［契約者住所］の場合には、少なくとも、住所を示す必要情報手掛かり情報［品詞：地名］を含む会話単位を選択する。好ましくは、必要情報手掛かり情報［品詞：地名］、［契約者］（あるいは、［お客様］）、［住所］を含む会話単位を選択する。また、必要情報が、顧客の電話番号である［契約者電話番号］の場合には、少なくとも、数字の組み合わせを示す必要情報手掛かり情報［品詞：数詞］を含む会話単位を選択する。好ましくは、必要情報手掛かり情報［品詞：数詞］、［契約者］（あるいは、［お客様］）、［電話］（あるいは、［携帯］）、［番号］を含む会話単位を選択する。
ステップＡ８で、少なくとも、必要情報として抽出される文字列に対応する必要情報手掛かり情報を含む会話単位を選択する方法としては、必要情報として抽出される文字列に対応する必要情報手掛かり情報のみを含む会話単位を選択する方法や、必要情報として抽出される文字列に対応する必要情報手掛かり情報と、必要情報手掛かり情報リストに示されている他の必要情報手掛かり情報のうちの１つあるいは複数を含む会話単位を選択する方法等を適宜組み合わせて用いることができる。
【００３１】
ステップＡ９では、ステップＡ８で選択した会話単位に含まれている音声認識情報に、ステップＡ６で選択した必要情報リストのスロット番号Ｎに挿入される必要情報に対応する情報要求手掛かり情報２５ａが存在するか否か、すなわち、必要情報に関する情報要求対話状態であるか否かを判別する。情報要求手掛かり情報２５ａが存在することを判別した場合、すなわち、情報要求対話状態であることを判別した場合には、ステップＡ１０に進む。情報要求手掛かり情報２５ａが存在しない場合、すなわち、情報要求対話状態であることが判別されなかった場合には、ステップＡ８で選択した会話単位に含まれている音声認識情報から必要情報を抽出することができないと判断し、ステップＡ１６に進む。
ステップＡ１０では、ステップＡ８で選択した会話単位に含まれている音声認識情報に、必要情報に対応する情報要求手掛かり情報２５ａに後続して、必要情報に対応する要求受理手掛かり情報２５ｂが存在するか否か、すなわち、必要情報に関する情報要求対話状態から必要情報に関する要求受理対話状態に遷移したか否かを判別する。情報要求対話状態から要求受理対話状態に遷移した場合にはステップＡ１１に進み、遷移してない場合にはステップＡ１５に進む。
ステップＡ１１では、ステップＡ８で選択した会話単位に含まれている音声認識情報に、必要情報に対応する情報要求手掛かり情報２５ａに後続して、必要情報に対応する要求受理手掛かり情報２５ｂ、さらに、必要情報に対応する情報開示手掛かり情報２５ｃが存在するか否か、すなわち、必要情報に関する情報要求対話状態から、必要情報に関する要求受理対話状態、さらに、必要情報に関する情報開示対話状態に遷移したか否かを判別する。情報要求対話状態から要求受理対話状態、さらに、情報開示対話状態に遷移した場合にはステップＡ１２に進み、遷移してない場合にはステップＡ１５に進む。
ステップＡ１２では、ステップＡ８で選択した会話単位に含まれている音声認識情報に、必要情報に対応する情報要求手掛かり情報２５ａに後続して、必要情報に対応する要求受理手掛かり情報２５ｂ、必要情報に対応する情報開示手掛かり情報２５ｃ、さらに、必要情報に対応する情報受理手掛かり情報が存在するか否か、すなわち、必要情報に関する情報要求対話状態から、必要情報に関する要求受理対話状態、必要情報に関する情報開示対話状態、さらに、必要情報に関する情報受理対話状態に遷移したか否かを判別する。情報要求対話状態から要求受理対話状態、情報開示対話状態、さらに、情報受理対話状態に遷移した場合にはステップＡ１３に進み、遷移してない場合にはステップＡ１５に進む。
【００３２】
ステップＡ１３では、必要情報を抽出し、抽出した必要情報を、ステップＡ６で選択した必要情報リストの、スロット番号Ｎに対応するスロットに挿入する。例えば、必要情報が［契約者名］の場合には、人の名前を示す必要情報手掛かり情報［品詞：人名］に該当する文字列を抽出する。また、必要情報が［契約者住所］の場合には、住所を示す必要情報手掛かり情報［品詞：地名］に該当する文字列を抽出する。また、必要情報が［契約者電話番号］の場合には、数字の組み合わせを示す必要情報手掛かり情報［品詞：数詞］に該当する文字列を抽出する。
ステップＡ１４では、Ｎが、ステップＡ６で選択した必要情報リストの総スロット数に等しいか否かを判別する。Ｎが必要情報リストの総スロット数に等しい場合には、処理を終了し、等しくない場合には、ステップＡ１７に進む。
【００３３】
ステップＡ１５では、ステップＡ８で選択した会話単位に含まれている音声認識情報から、ステップＡ６で選択した必要情報リストの、スロット番号Ｎに挿入する必要情報に対応する情報要求手掛かり情報２５ａを全て判別したか否かを判別する。情報要求手掛かり情報２５ａを全て判別した場合には、ステップＡ１６に進み。情報要求手掛かり情報２５ａを全て判別していない場合には、ステップＡ９に戻り、残りの音声認識情報に存在する情報要求手掛かり情報２５ａを判別する。
ステップＡ１６では、ステップＡ６で選択した必要情報リストの、スロット番号Ｎのスロットに挿入される必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を全て選択したか否かを判別する。スロット番号Ｎのスロットに挿入される必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を全て選択していない場合には、ステップＡ８に戻り、スロット番号Ｎのスロットに挿入される必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む他の会話単位を選択する。スロット番号Ｎのスロットに挿入される必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を全て選択した場合には、ステップＡ１４に進む。
ステップＡ１７では、スロット番号Ｎに「１」を加算した後、ステップＡ８に戻り、ステップＡ６で選択した必要情報リストの、次のスロット番号Ｎ（＝Ｎ＋１）のスロットに挿入される必要情報の抽出処理を繰り返す。
ステップＡ６〜Ａ１７の処理は、対話状態遷移判別手段１７によって実行される。
【００３４】
第１の実施の形態では、対話状態が、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出した。ここで、通常の対話では、情報要求対話状態から情報開示対話状態に遷移することがある。すなわち、要求受理対話状態が存在しない場合がある。
以下に、対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出する、本発明の音声信号処理装置の第２の実施の形態を説明する。第２の実施の形態の音声信号処理装置も、第１の実施の形態の音声信号処理装置と同様に、一方の話者から他方の話者に用件を依頼する際における話者間の対話時の音声信号から、依頼された用件を遂行するために必要な必要情報を抽出する音声信号処理装置として好適に用いることができる。
第２の実施の形態の音声信号処理装置は、第１の実施の形態の音声信号処理装置と同様に、処理手段１０、記憶手段２０、入力手段３０、出力手段４０を有している。ただ、第２の実施の形態では、対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出するため、図１に示されている対話状態判別情報データベース２５の要求受理手掛かり情報２５ｂ、対話状態遷移判別手段１７の要求受理対話状態判別手段１７ｂが省略されている。他の構成は、第１の実施の形態の音声信号処理装置と同様である。
【００３５】
顧客と企業のサービスセンターの受付者（オペレータ）との間の対話時の音声信号（音声信号に対応する音声認識情報）から、第２の実施の形態の対話状態遷移判別手段１７によって対話状態の繊維を判別する方法の概要が図１１に示されている。なお、第２の実施の形態では、破線矢印で示されている順に対話状態が遷移したことを判別する。
先ず、受付者は、情報要求手掛かり情報を顧客に発する。例えば、情報要求手掛かり情報「［（必要情報）］をお願いします。」を発する。
顧客は、受付者から発せられた情報要求手掛かり情報を確認すると、情報開示手掛かり情報を受付者に発する。例えば、「［（必要情報）］です。」を発する。
受付者は、顧客から発せられた情報開示手掛かり情報を確認すると、情報受理手掛かり情報を顧客に発する。例えば、「ありがとうございます。」を発する。
これにより、［（必要情報）］に対して、対話状態が、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別し、［（必要情報）］を抽出する。
【００３６】
次に、第２の実施の形態の音声信号処理装置の動作を、図８に示されているフローチャートを参照して説明する。第２の実施の形態の音声信号処理装置では、対話状態が要求受理対話状態にあることを判別しないため、ステップＡ１０が省略されている。
すなわち、ステップＡ９において、選択した会話単位に含まれている音声認識情報から情報要求手掛かり情報２５ａを判別した場合には、破線矢印で示されているように、ステップＡ１１に進む。
他の処理は、第１の実施の形態の音声信号処理装置と同様である。
【００３７】
次に、本実施の形態の動作を、顧客から電力会社に［電気の使用停止］を依頼する場合について具体的に説明する。
図９および図１０には、［電気の使用停止］を依頼する際の、顧客と電力会社のサービスセンターの受付者（オペレータ）との間での対話時の音声信号を、テキスト情報を含む音声認識情報に変換した後、文書Ｃ１〜Ｃ４９を作成した例が示されている。
【００３８】
先ず、音声認識情報に基づいて対話の用件が判別される。この場合、例えば、文書Ｃ３「電気の停止をお願いしたいのですが。」に含まれている文字列「停止」が、用件［電気の使用停止］に対応する必要情報手掛かり情報リスト（図６参照）中の必要情報手掛かり情報［停止］と一致するため、この対話の用件（顧客から電力会社に依頼するサービスの内容）が［電気の使用停止］であることが判別される。音声認識情報から対話の用件を判別する方法としては、これ以外の種々の方法を用いることができる。
次に、音声認識情報（文書Ｃ１〜Ｃ４９に含まれている音声認識情報）は、会話単位判別情報データベース２２に会話単位判別情報として記憶されている会話単位終点判別情報と会話単位終点判別所に基づいて会話単位Ｓ１〜Ｓ１５に分割される。図９および図１０では、実線で囲まれている音声認識情報が会話単位始点判別情報であり、破線で囲まれている音声認識情報が会話単位終点判別情報である。例えば、文書Ｃ１の「おはようございます」（始めの挨拶の表現）、文書Ｃ６の「それでは」および文書Ｃ８の「では」および文書Ｃ１１の「次に」（話題を変える表現）等が会話単位始点判別情報として判別され、文書Ｃ５の「かしこまりました」（確認の表現）、文書Ｃ１０の「ありがとうございました」（お礼の表現）、文書Ｃ４８の「失礼いたします」（終わりの挨拶の表現）等が会話終点判別情報として判別される。
【００３９】
また、分割した会話単位に、判別した用件に対応する必要情報リストに示されている必要情報を抽出する手掛かりとなる必要情報手掛かり情報が含まれていれば、当該必要情報手掛かり情報が当該会話単位に付与される。例えば、用件が［電気の使用停止］である場合には、図４に示されている、用件［電気の使用停止］に対応する必要情報リストで示されている必要情報を抽出する手掛かりとなる必要情報手掛かり情報が付与される。用件［電気の使用停止］における、必要情報に対応する必要情報手掛かり情報の一例が図５に示されている。
図９では、例えば、会話単位Ｓ１に含まれている文字列「○○受付センター」、「△△」に基づいて、必要情報［受付者名］に対応する必要情報手掛かり情報［受付センター］、［品詞：人名］が会話単位Ｓ１に付与されている。また、文字列「電気の停止」、「電気を止める」に基づいて、必要情報［使用停止日］、［使用停止時刻］に対応する必要情報手掛かり情報［停止］、［停め］が会話単位Ｓ１付与されている。また、会話単位Ｓ３に含まれている文字列「お客様番号」、「００ １１ ２２ ３３」に基づいて、必要情報［お客様番号］を抽出する手掛かりとなる必要情報手掛かり情報［お客様番号］、［品詞：数詞］が会話単位Ｓ３に付与されている。また、会話単位Ｓ４に含まれている文字列「契約者」、「名前」、「□□□□」に基づいて、必要情報［契約者名］を抽出する手掛かりとなる必要情報手掛かり情報［契約者］、［名前］、［品詞：人名］が会話単位Ｓ４に付与されている。
また、図１０では、例えば、会話単位Ｓ８に含まれている文字列「Ｘ月」、「Ｙ日」、「火曜日」、「１２時」に基づいて、必要情報［使用停止日］、［使用停止時刻］を抽出する手掛かりとなる必要情報手掛かり情報「月」、「日」、「時」、「曜」、［品詞：数詞］が会話単位Ｓ８に付与されている。また、会話単位Ｓ９に含まれている文字列「Ｘ月」、「Ｙ日」、「火曜日」、「１２時」、「停め」に基づいて、必要情報［使用停止日］、［使用停止時刻］を抽出する手掛かりとなる必要情報手掛かり情報「月」、「日」、「時」、「曜」、［停め］、［品詞：数詞］が会話単位Ｓ９に付与されている。また、会話単位Ｓ１２に含まれている文字列「引越し」、「住所」、「ＤＤ市ＥＥ４−５−６ ＦＦマンション ２０２」に基づいて、必要情報［契約者移転先住所］を抽出する手掛かりとなる必要情報手掛かり情報［引越］、［住所］、［品詞：地名］が付与されている。
【００４０】
そして、音声認識情報に基づいて対話状態の遷移を判別することによって、判別した用件に対応する必要情報リストで示されている必要情報を抽出する。例えば、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したこと、あるいは、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出する。この時、必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を選択する。
対話状態の遷移を判別することによって必要情報を抽出する処理の具体例を図１２〜図１４により説明する。なお、図１２、図１３は、対話状態が情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別する例であり、図１４は、対話状態が情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別する例である。
【００４１】
対話の用件［電気の使用停止］に対する必要情報［お客様番号］を抽出する処理が図１２に示されている。図１２では、図４に示されているスロット番号Ｂ００２の必要情報［お客様番号］を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位として、必要情報手掛かり情報［お客様番号］、［品詞：数詞］が付与されている会話単位Ｓ３が選択されている。
受付者から顧客への対話内容を示す文書Ｃ８には、必要情報［お客様番号］の要求を表す表現「お客様番号を左からお願いします」が含まれている。これにより、文書Ｃ８から、必要情報［お客様番号］を要求した情報要求対話状態であることが判別される。
文書Ｃ８に後続する、顧客から受付者への対話内容を示す文書Ｃ９には、必要情報［お客様番号］を示す文字列に対応する文字列「００ １１ ２２ ３３」が含まれている。これにより、文書Ｃ９から、必要情報［お客様番号］を開示した情報開示対話状態であることが判別される。
文書Ｃ９に後続する、受付者から顧客への対話内容を示す文書Ｃ１０には、必要情報［お客様番号］の確認を表す表現「００ １１ ２２ ３３ですね、ありがとうございます」が含まれている。これにより、文書Ｃ１０から、必要情報［お客様番号］を受理した情報受理対話状態であることが判別される。
以上により、必要情報［お客様番号］に関して、会話単位Ｓ３において、対話状態が情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことが判別され、必要情報である［お客様番号］として、必要情報［お客様番号］を示す必要情報手掛かり情報［品詞：数詞］に該当する文字列「００１１２２３３」が抽出される。
【００４２】
対話の用件［電気の使用停止］に対する必要情報［契約者名］を抽出する処理が図１３に示されている。図１３では、図４に示されているスロット番号Ｂ００３の必要情報［契約者名］を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位として、必要情報手掛かり情報［契約者］、［名前］、［品詞：人名］が付与されている会話単位Ｓ４が選択されている。
受付者から顧客への対話内容を示す文書Ｃ１１には、必要情報［契約者名］の要求を表す表現「ご契約者様のお名前をお願いします」が含まれている。これにより、文書Ｃ１１から、必要情報［契約者名］を要求した情報要求対話状態であることが判別される。
文書Ｃ１１に後続する、顧客から受付者への対話内容を示す文書Ｃ１２には、必要情報［契約者名］を示す文字列に対応する文字列「□□□□」が含まれている。これにより、文書Ｃ１２から、必要情報［契約者名］を開示した情報開示対話状態であることが判別される。
文書Ｃ１２に後続する、受付者から顧客への対話内容を示す文書Ｃ１３には、必要情報［契約者名］の確認を表す表現「□□□□ですね、ありがとうございます」が含まれている。これにより、文書Ｃ１３から、必要情報［契約者名］を受理した情報受理対話状態であることが判別される。
以上により、必要情報［契約者名］に関して、会話単位Ｓ４において、対話状態が情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことが判別され、必要情報である［契約者名］として、必要情報［契約者名］を示す必要情報手掛かり情報［品詞：人名］に該当する文字列「□□□□」が抽出される。
【００４３】
対話の用件［電気の使用停止］に対する必要情報［契約者移転先電話番号］を抽出する処理が図１４に示されている。図１４では、図４に示されているスロット番号Ｂ０１１の必要情報［契約者移転先電話番号］を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位として、必要情報手掛かり情報［引越］、［電話］（あるいは［携帯］）、［番号］、［品詞：数詞］が付与されている会話単位Ｓ１３が選択されている。
受付者から顧客への対話内容を示す文書Ｃ３７には、必要情報［契約者移転先電話番号］の要求を表す表現「お引越し先の電話番号をお願いします」が含まれている。これにより、文書Ｃ３７から、必要情報［契約者移転先電話番号］を要求した情報要求対話状態であることが判別される。
文書Ｃ３７に後続する、顧客から受付者への対話内容を示す文書Ｃ３８には、必要情報［契約者移転先電話番号］の要求を受理したことを表す表現「わかりました」が含まれている。これにより、文書Ｃ３８から、必要情報［契約者移転先電話番号］の要求を受理した要求受理対話状態であることが判別される。
文書Ｃ３９に後続する、顧客から受付者への対話内容を示す文書Ｃ４１には、必要情報［契約者移転先電話番号］を示す文字列に対応する文字列「０９０ ００００ １１１１」が含まれている。これにより、文書Ｃ４１から、必要情報［契約者移転先電話番号］を開示した情報開示対話状態であることが判別される。
文書Ｃ４１に後続する、受付者から顧客への対話内容を示す文書Ｃ４２には、必要情報［契約者移転先電話番号］の確認を表す表現「０９０ ００００ １１１１ですね、ありがとうございます」が含まれている。これにより、文書Ｃ４２から、必要情報［契約者移転先電話番号］を受理した情報受理対話状態であることが判別される。
以上により、必要情報［契約者移転先電話番号］に関して、会話単位Ｓ１３において、対話状態が情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことが判別され、必要情報である［契約者移転先電話番号］として、必要情報［契約者移転先電話番号］を示す必要情報手掛かり情報［品詞：数詞］に該当する文字列「０９０００００１１１１」が抽出される。
【００４４】
なお、例えば、会話単位Ｓ１４には、必要情報［使用停止日］、［使用停止時刻］、［契約者名］、［契約者住所］に対応する必要情報手掛かり情報［月］、［日］、［時］、［曜］、［停め］、［品詞：数詞］、［品詞：地名］が付与されているが、会話単位Ｓ１４内では前述した対話状態の遷移が生じていない。このため、対話状態遷移判別手段１７は、会話単位Ｓ１４に含まれている音声認識情報からは、前述した対話状態の遷移を判別することができない。すなわち、会話単位Ｓ１４からは必要情報が抽出されない。
【００４５】
以上のように、前述した実施の形態では、話者間の対話時の音声信号（音声信号から作成された音声認識情報）から、対話状態が、用件に対する必要情報に関して、情報要求対話状態、要求受理対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって、あるいは、情報要求対話状態、情報開示対話状態、情報受理対話状態の順に遷移したことを判別することによって必要情報を抽出している。これにより、話者間の対話時の音声信号から、話者間の対話の用件に対する必要情報（例えば、一方の話者から他方の話者に依頼した用件を遂行するのに必要な必要情報）を精度よく抽出することができる。特に、前述した本実施の形態では、音声認識情報を会話単位に分割し、会話単位の中で対話状態の遷移を判別（対話進行をトレース）することによって必要情報を抽出しているため、必要情報をより精度よく検出することができる。また、会話単位に、必要情報を抽出する手掛かりとなる必要情報手掛かり情報が含まれていれば、当該必要情報手掛かり情報を当該会話単位に付与し、必要情報を抽出する際には、必要情報を抽出する手掛かりとなる必要情報手掛かり情報が含まれている会話単位を選択しているため、必要情報をより精度よく抽出することができ、また、必要情報を抽出するための処理負担を軽減することができる。
【００４６】
なお、本発明は、コンピュータに、前述した処理手段（処理手段を構成する管理手段、音声認識手段、会話単位分割手段、用件判別手段、必要情報手掛かり情報付与手段、対話状態遷移判別手段等）の処理を実行させるためのプログラムあるいはプログラムが記憶された記憶媒体として構成することもできる。
【００４７】
本願発明は、前述した実施の形態の構成に限定されず、種々の変更、追加、削除が可能である。
用件判別手段１５は、音声認識情報に基づいて対話の用件を判別したが、対話の用件を判別する方法としては、これ以外の種々の方法を用いることができる。例えば、入力手段３０に設けられている入力キーを操作することによって、あるいは、入力手段３０に設けられている表示画面の入力部を選択することによって、入力手段３０から、用件を示す用件識別情報を入力する方法を用いることができる。この場合、図８に示されているステップＡ４において、用件判別手段１５は、入力手段３０を介して入力された用件識別情報に基づいて、対話の用件を判別する。このような用件判別手段１５を用いることにより、用件を判別する処理が容易となる。
会話単位を判別するために用いられる会話単位判別情報は、対話の用件等に応じて適宜設定することができる。
音声信号から抽出する必要情報は、対話の用件等に応じて適宜設定することができる。
必要情報を抽出する手掛かりとなる必要情報手掛かり情報は、必要情報に応じて適宜設定することができる。
音声認識情報を会話単位に分割するとともに、必要情報を抽出する手掛かりとなる必要情報手掛かり情報を会話単位に付与したが、会話単位に分割する処理や、会話単位に必要情報手掛かり情報を付与する処理は省略することもできる。この場合でも、対話状態の遷移を判別することによって必要情報を抽出するため、必要情報を精度よく抽出することができる。
対話状態を判別するために用いられる対話状態判別情報は、対話の用件等に応じて適宜設定することができる。
対話の用件としては、一方の話者から他方の話者に依頼する用件の内容に応じて適宜設定可能である。
入力手段３０や出力手段４０は、処理手段１０と通信回線を介して接続可能な遠方の端末装置に設けられている入力手段や出力手段を用いることができる。
【符号の説明】
【００４８】
１０ 処理手段
１１ 管理手段
１２ 必要情報抽出手段
１３ 音声認識手段
１４ 会話単位分割手段
１５ 用件判別手段
１６ 必要情報手掛かり情報付与手段
１７ 対話状態遷移判別手段
１７ａ 情報要求対話状態判別手段
１７ｂ 要求受理対話状態判別手段
１７ｃ 情報開示対話状態判別手段
１７ｄ 情報受理対話状態判別手段
２０ 記憶手段
２１ 音声信号データベース
２２ 会話単位判別情報データベース
２３ 必要情報データベース
２４ 必要情報手掛かり情報データベース
２５ 対話状態判別情報データベース
２５ａ 情報要求手掛かり情報
２５ｂ 要求受理手掛かり情報
２５ｃ 情報開示手掛かり情報
２５ｄ 情報受理手掛かり情報
２６ 音声認識情報データベース
３０ 入力手段
４０ 出力手段
【特許請求の範囲】
【請求項１】
用件に対する話者間の対話時の音声信号から、前記用件に係る必要情報を抽出する音声信号処理装置であって、
記憶手段と、処理手段と、入力手段と、出力手段を備えており、
前記記憶手段は、必要情報データベースと、対話状態判別情報データベースを有し、
前記必要情報データベースには、用件に係る必要情報を示す必要情報リストが用件に対応して記憶されており、
前記対話状態判別情報データベースには、必要情報を要求した対話状態であることを判別するための情報要求手掛かり情報、必要情報を開示した対話状態であることを判別するための情報開示手掛かり情報および必要情報を受理した対話状態であることを判別するための情報受理手掛かり情報が記憶されており、
前記処理手段は、音声認識手段と、用件判別手段と、対話状態遷移判別手段と、管理手段を有し、
前記音声認識手段は、前記入力手段から入力された話者間の対話時の音声信号を音声認識して音声認識情報を出力し、
前記用件判別手段は、前記音声認識手段から出力された音声認識情報に基づいて、話者間の対話の用件を判別し、
前記対話状態遷移判別手段は、前記音声認識手段から出力された音声認識情報と、前記対話状態判別情報データベースに記憶されている情報要求手掛かり情報、情報開示手掛かり情報および情報受理手掛かり情報に基づいて、話者間の対話状態が、必要情報を要求した対話状態、必要情報を開示した対話状態、必要情報を受理した対話状態の順に遷移したことを判別することにより、前記用件判別手段によって判別された用件に対応して前記必要情報データベースに記憶されている必要情報リストで示されている必要情報を抽出し、
前記管理手段は、前記対話状態遷移判別手段によって抽出された必要情報を前記出力手段から出力することを特徴とする音声信号処理装置。
【請求項２】
用件に対する話者間の対話時の音声信号から、前記用件に係る必要情報を抽出する音声信号処理装置であって、
記憶手段と、処理手段と、入力手段と、出力手段を備えており、
前記記憶手段は、必要情報データベースと、対話状態判別情報データベースを有し、
前記必要情報データベースには、用件に係る必要情報を示す必要情報リストが用件に対応して記憶されており、
前記対話状態判別情報データベースには、必要情報を要求した対話状態であることを判別するための情報要求手掛かり情報、必要情報を開示した対話状態であることを判別するための情報開示手掛かり情報および必要情報を受理した対話状態であることを判別するための情報受理手掛かり情報が記憶されており、
前記処理手段は、音声認識手段と、用件判別手段と、対話状態遷移判別手段と、管理手段を有し、
前記音声認識手段は、前記入力手段から入力された話者間の対話時の音声信号を音声認識して音声認識情報を出力し、
前記用件判別手段は、前記入力手段から入力された用件識別情報に基づいて、当該話者間の対話の用件を判別し、
前記対話状態遷移判別手段は、前記音声認識手段から出力された音声認識情報と、前記対話状態判別情報データベースに記憶されている情報要求手掛かり情報、情報開示手掛かり情報および情報受理手掛かり情報に基づいて、話者間の対話状態が、必要情報を要求した対話状態、必要情報を開示した対話状態、必要情報を受理した対話状態の順に遷移したことを判別することにより、前記用件判別手段によって判別された用件に対応して前記必要情報データベースに記憶されている必要情報リストで示されている必要情報を抽出し、
前記管理手段は、前記対話状態遷移判別手段によって抽出された必要情報を前記出力手段から出力することを特徴とする音声信号処理装置。
【請求項３】
請求項１または２に記載の音声信号処理装置であって、
前記対話状態判別情報データベースには、さらに、必要情報の要求を受理した対話状態であることを判別するための要求受理手掛かり情報が記憶されており、
前記対話状態遷移判別手段は、前記音声認識手段から出力された音声認識情報と、前記対話状態判別情報データベースに記憶されている情報要求手掛かり情報、要求受理手掛かり情報、情報開示手掛かり情報および情報受理手掛かり情報に基づいて、話者間の対話状態が、必要情報を要求した対話状態、必要情報の要求を受理した対話状態、必要情報を開示した対話状態、必要情報を受理した対話状態の順に遷移したことを判別し、判別結果に基づいて、前記用件判別手段によって判別された用件に対応して前記必要情報データベースに記憶されている必要情報リストで示される必要情報を抽出することを特徴とする音声信号処理装置。
【請求項４】
請求項１〜３のいずれかに記載の音声信号処理装置であって、
前記記憶手段は、さらに、会話単位判別情報データベースと必要情報手掛かり情報データベースを有し、
前記会話単位判別情報データベースには、音声認識情報を会話単位に分割するための会話単位判別情報が記憶されており、
前記必要情報手掛かり情報データベースには、必要情報を抽出するための手掛かりとなる必要情報手掛かり情報を示す必要情報手掛かり情報リストが用件に対応して記憶されており、
前記処理手段は、さらに、会話単位分割手段と、必要情報手掛かり情報付与手段を有し、
前記会話単位分割手段は、前記会話単位判別情報データベースに記憶されている会話単位判別情報に基づいて、前記音声認識手段から出力された音声認識情報を会話単位に分割し、
前記必要情報手掛かり情報付与手段は、前記会話単位分割手段で分割された会話単位に、前記用件判別手段によって判別された用件に対応して前記必要情報手掛かり情報データベースに記憶されている必要情報手掛かり情報リストで示されている必要情報手掛かり情報が含まれている場合に、当該必要情報手掛かり情報を当該会話単位に付与し、
前記対話状態遷移判別手段は、必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を選択し、選択した会話単位に含まれている音声認識情報に基づいて当該必要情報を抽出することを特徴とする音声信号処理装置。
【請求項５】
コンピュータに請求項１〜４のいずれかに記載の前記処理手段の処理を実行させるためのプログラム。
【請求項６】
コンピュータに請求項１〜４のいずれかに記載の前記処理手段の処理を実行させるためのプログラムが記録された記憶媒体。
【請求項１】
用件に対する話者間の対話時の音声信号から、前記用件に係る必要情報を抽出する音声信号処理装置であって、
記憶手段と、処理手段と、入力手段と、出力手段を備えており、
前記記憶手段は、必要情報データベースと、対話状態判別情報データベースを有し、
前記必要情報データベースには、用件に係る必要情報を示す必要情報リストが用件に対応して記憶されており、
前記対話状態判別情報データベースには、必要情報を要求した対話状態であることを判別するための情報要求手掛かり情報、必要情報を開示した対話状態であることを判別するための情報開示手掛かり情報および必要情報を受理した対話状態であることを判別するための情報受理手掛かり情報が記憶されており、
前記処理手段は、音声認識手段と、用件判別手段と、対話状態遷移判別手段と、管理手段を有し、
前記音声認識手段は、前記入力手段から入力された話者間の対話時の音声信号を音声認識して音声認識情報を出力し、
前記用件判別手段は、前記音声認識手段から出力された音声認識情報に基づいて、話者間の対話の用件を判別し、
前記対話状態遷移判別手段は、前記音声認識手段から出力された音声認識情報と、前記対話状態判別情報データベースに記憶されている情報要求手掛かり情報、情報開示手掛かり情報および情報受理手掛かり情報に基づいて、話者間の対話状態が、必要情報を要求した対話状態、必要情報を開示した対話状態、必要情報を受理した対話状態の順に遷移したことを判別することにより、前記用件判別手段によって判別された用件に対応して前記必要情報データベースに記憶されている必要情報リストで示されている必要情報を抽出し、
前記管理手段は、前記対話状態遷移判別手段によって抽出された必要情報を前記出力手段から出力することを特徴とする音声信号処理装置。
【請求項２】
用件に対する話者間の対話時の音声信号から、前記用件に係る必要情報を抽出する音声信号処理装置であって、
記憶手段と、処理手段と、入力手段と、出力手段を備えており、
前記記憶手段は、必要情報データベースと、対話状態判別情報データベースを有し、
前記必要情報データベースには、用件に係る必要情報を示す必要情報リストが用件に対応して記憶されており、
前記対話状態判別情報データベースには、必要情報を要求した対話状態であることを判別するための情報要求手掛かり情報、必要情報を開示した対話状態であることを判別するための情報開示手掛かり情報および必要情報を受理した対話状態であることを判別するための情報受理手掛かり情報が記憶されており、
前記処理手段は、音声認識手段と、用件判別手段と、対話状態遷移判別手段と、管理手段を有し、
前記音声認識手段は、前記入力手段から入力された話者間の対話時の音声信号を音声認識して音声認識情報を出力し、
前記用件判別手段は、前記入力手段から入力された用件識別情報に基づいて、当該話者間の対話の用件を判別し、
前記対話状態遷移判別手段は、前記音声認識手段から出力された音声認識情報と、前記対話状態判別情報データベースに記憶されている情報要求手掛かり情報、情報開示手掛かり情報および情報受理手掛かり情報に基づいて、話者間の対話状態が、必要情報を要求した対話状態、必要情報を開示した対話状態、必要情報を受理した対話状態の順に遷移したことを判別することにより、前記用件判別手段によって判別された用件に対応して前記必要情報データベースに記憶されている必要情報リストで示されている必要情報を抽出し、
前記管理手段は、前記対話状態遷移判別手段によって抽出された必要情報を前記出力手段から出力することを特徴とする音声信号処理装置。
【請求項３】
請求項１または２に記載の音声信号処理装置であって、
前記対話状態判別情報データベースには、さらに、必要情報の要求を受理した対話状態であることを判別するための要求受理手掛かり情報が記憶されており、
前記対話状態遷移判別手段は、前記音声認識手段から出力された音声認識情報と、前記対話状態判別情報データベースに記憶されている情報要求手掛かり情報、要求受理手掛かり情報、情報開示手掛かり情報および情報受理手掛かり情報に基づいて、話者間の対話状態が、必要情報を要求した対話状態、必要情報の要求を受理した対話状態、必要情報を開示した対話状態、必要情報を受理した対話状態の順に遷移したことを判別し、判別結果に基づいて、前記用件判別手段によって判別された用件に対応して前記必要情報データベースに記憶されている必要情報リストで示される必要情報を抽出することを特徴とする音声信号処理装置。
【請求項４】
請求項１〜３のいずれかに記載の音声信号処理装置であって、
前記記憶手段は、さらに、会話単位判別情報データベースと必要情報手掛かり情報データベースを有し、
前記会話単位判別情報データベースには、音声認識情報を会話単位に分割するための会話単位判別情報が記憶されており、
前記必要情報手掛かり情報データベースには、必要情報を抽出するための手掛かりとなる必要情報手掛かり情報を示す必要情報手掛かり情報リストが用件に対応して記憶されており、
前記処理手段は、さらに、会話単位分割手段と、必要情報手掛かり情報付与手段を有し、
前記会話単位分割手段は、前記会話単位判別情報データベースに記憶されている会話単位判別情報に基づいて、前記音声認識手段から出力された音声認識情報を会話単位に分割し、
前記必要情報手掛かり情報付与手段は、前記会話単位分割手段で分割された会話単位に、前記用件判別手段によって判別された用件に対応して前記必要情報手掛かり情報データベースに記憶されている必要情報手掛かり情報リストで示されている必要情報手掛かり情報が含まれている場合に、当該必要情報手掛かり情報を当該会話単位に付与し、
前記対話状態遷移判別手段は、必要情報を抽出する手掛かりとなる必要情報手掛かり情報を含む会話単位を選択し、選択した会話単位に含まれている音声認識情報に基づいて当該必要情報を抽出することを特徴とする音声信号処理装置。
【請求項５】
コンピュータに請求項１〜４のいずれかに記載の前記処理手段の処理を実行させるためのプログラム。
【請求項６】
コンピュータに請求項１〜４のいずれかに記載の前記処理手段の処理を実行させるためのプログラムが記録された記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２４７９１２（Ｐ２０１２−２４７９１２Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１７９９９（Ｐ２０１１−１１７９９９）
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００２１３２９７）中部電力株式会社 (811)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００２１３２９７）中部電力株式会社 (811)
【Ｆターム（参考）】
[ Back to top ]