説明

コールセンターのデータベースシステム、その情報管理方法及び情報管理プログラム

【課題】多角的なデータ分析を行うことができるコールセンターのデータベースシステム、その情報管理方法及び情報管理プログラムを提供する。
【解決手段】コールセンターシステム1は、オペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化したテキストデータを生成する音声認識装置11と、通話音声のうち認識対象区間の音声の特徴量を検出し、特徴量に基づき発話者の感情を推測した感情検出値を生成し、認識対象区間に対応するテキストデータに、該認識対象区間の感情検出値を関連付ける感情認識装置14と、テキストデータ及び感情検出値を関連付けした状態で記憶するD/B管理装置12とを備えた。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コールセンターのデータベースシステム、その情報管理方法及び情報管理プログラムに関する。
【背景技術】
【0002】
コールセンターは、例えば商品に対する顧客からの商品に対する問い合わせ、商品の注文の受付等といった電話応対業務を専門に行う部門である。一般的に、コールセンターシステムは、構内電話交換機(PBX、Private Branch eXchange、着信呼自動分配(AC
D Automatic Call Distribution)装置、オペレータが使用する端末、各種データベー
スを備えている(例えば特許文献1参照)。従来より、このコールセンターでは、オペレータが電話応対の内容を端末に入力し、端末に入力した応対履歴情報をデータベースに蓄積していた。コールセンターの管理部門では、この応対履歴情報を分析し、製品改良又はサービス改善等に利用していた。
【特許文献1】特開2007−228273号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし、従来のデータベースでは、例えば顧客満足度やオペレータの対応等を多角的に分析することは困難だった。また、通話内容を分析するために、通話内容のキーワード等をオペレータが端末に入力しても、オペレータの主観が入り、通話内容を客観的に評価することは困難であった。
【0004】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、多角的なデータ分析を行うことができるコールセンターのデータベースシステム、その情報管理方法及び情報管理プログラムを提供することにある。
【課題を解決するための手段】
【0005】
本発明は、コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを生成する音声認識手段と、前記通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を生成する感情検出手段と、前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付ける登録手段と、前記文字データ及び前記感情検出情報を関連付けした状態で記憶する通話情報記憶手段とを備えた。
【0006】
この発明によれば、オペレータと顧客との間の通話を音声認識して生成された文字データと、通話音声の特徴量から求められた感情検出情報とを関連付けした状態で通話情報記憶手段に記憶する。従って、発話者の感情検出情報と、その情報を検出した対象区間の文字データとを、データベースに格納することができるので、多角的なデータ分析を行うことができる。このため、データ分析の自由度を向上させることができる。
【0007】
このコールセンターのデータベースシステムにおいて、前記音声認識手段は、少なくとも前記顧客の通話音声、及び前記オペレータの通話音声に対して音声認識を行って、前記顧客の発話に基づく文字データ及び前記オペレータの発話に基づく前記文字データを生成し、前記感情検出手段は、前記顧客の通話音声のうち対象区間の前記感情検出情報、及び前記オペレータの通話音声のうち前記対象区間の前記感情検出情報を検出し、前記登録手段は、前記顧客の通話音声に基づき、前記対象区間に対応した前記文字データに、該対象
区間で検出された前記顧客の前記感情検出情報を関連付けるとともに、前記オペレータの通話音声に基づき、前記対象区間に対応した前記文字データに、該対象区間で検出された前記オペレータの前記感情検出情報を関連付ける。
【0008】
この発明によれば、顧客及びオペレータの感情検出情報を、顧客及びオペレータの発話に基づく文字データにそれぞれ関連付けることができるので、顧客側及びオペレータ側の両方の方向からデータ分析を行うことができる。このため、多角的なデータ分析を行うことができる。
【0009】
このコールセンターのデータベースシステムにおいて、前記音声認識手段は、前記顧客の通話音声及び前記オペレータの通話音声が混在した両者通話音声に対して音声認識を行った前記文字データを生成し、前記感情検出手段は、前記両者通話音声に基づいて前記感情検出情報を生成し、前記登録手段は、前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付ける。
【0010】
この発明によれば、両者による通話全体における感情検出情報を、両者の通話音声に基づく文字データにそれぞれ関連付けることができるので、全体的なデータ分析を行うことができる。
【0011】
このコールセンターのデータベースシステムにおいて、前記感情検出手段は、通話開始時から終了時までの間に複数の前記感情検出情報を検出し、前記登録手段は、前記各感情検出情報を、該感情検出情報を検出した前記文字データの前記対象区間にそれぞれ関連付ける。
【0012】
この発明によれば、複数の感情検出情報を、文字データの対象区間にそれぞれ関連付ける。このため、単語単位、文節単位又は文章単位等で感情検出情報を関連付けられるので、感情の強い単語、文節又は文章単位等を抽出する等、データ分析の自由度を向上させることができる。
【0013】
このコールセンターのデータベースシステムにおいて、顧客との応対内容を示す応対履歴データを、前記感情検出データ及び前記文字データに関連付けて前記通話情報記憶手段に格納する応対履歴登録手段をさらに備えた。
【0014】
この発明によれば、応対履歴データを感情検出データ及び文字データに関連付けて格納するので、例えば問い合わせがあった製品毎にデータ分析を行うことができる。
本発明は、データベースを管理する制御手段を用いた前記データベースの情報管理方法であって、前記制御手段が、コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを取得するステップと、通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を取得するステップと、前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付けて通話情報記憶手段に記憶するステップとを有する。
【0015】
この方法によれば、オペレータと顧客との間の通話を音声認識して生成された文字データと、通話音声の特徴量から求められた感情検出情報とを関連付けした状態で通話情報記憶手段に記憶する。従って、発話者の感情検出情報と、その情報を検出した対象区間の文字データとを、データベースに格納することができるので、多角的なデータ分析を行うことができる。このため、データ分析の自由度を向上させることができる。
【0016】
本発明は、データベースを管理する制御手段を用いた前記データベースの情報管理プロ
グラムであって、前記制御手段を、コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを取得する文字データ取得手段と、通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を生成する検出データ取得手段と、前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付け、通話情報記憶手段に記憶する登録手段として機能させる。
【0017】
この発明によれば、情報管理プログラムに従って、オペレータと顧客との間の通話を音声認識して生成された文字データと、通話音声の特徴量から求められた感情検出情報とを関連付けした状態で通話情報記憶手段に記憶する。従って、発話者の感情検出情報と、その情報を検出した対象区間の文字データとを、データベースに格納することができるので、多角的なデータ分析を行うことができる。このため、データ分析の自由度を向上させることができる。
【発明を実施するための最良の形態】
【0018】
以下、本発明を具体化した一実施形態を図1〜図6に従って説明する。図1は、データベースシステムとしてのコールセンターシステム1の概略図である。
コールセンターシステム1は、PBX装置5、オペレータ端末6、センター管理装置7、管理者端末8を有している。PBX装置5、センター管理装置7及び各端末6,8は、LAN(Local Area Network)9を介して、各種データを送受信可能に接続されている。
【0019】
PBX装置5は、公衆電話回線網N1を介して、顧客の電話機(以下、顧客電話機2という)と接続されている。また、PBX装置5は、オペレータが用いる各電話機3と接続されている。各電話機3の操作部には、ログインボタンB1、保留ボタンB2、準備中ボタンB3が設けられている。ログインボタンB1は、電話機3で着呼を受けるためのボタンである。保留ボタンB2は、接続中の電話を保留させるためのボタンであり、準備中ボタンB3は、電話応対の準備に掛かっているときにオン操作される。
【0020】
また、オペレータ端末6は、CPU、RAM、ROM、通信I/F等を備え、LAN9に複数台接続されている。オペレータ端末6には、マウス、キーボード等の入力装置Iと、ディスプレイDIが接続されている。オペレータは、電話機3からの音声が出力され、オペレータの通話音声を入力するヘッドセット(図示略)を用いて、顧客と通話しながら入力装置Iを操作する。
【0021】
センター管理装置7は、電話機3をコールセンターシステム1に接続するCTI(Computer Telephony Integration)機能を有し、コールセンターへの電話着信及びコールセンターからの電話の発信を処理するサーバである。具体的には、センター管理装置7は、ACD機能、IVR(音声自動応答 Interactive Voice Response)機能を有し、PBX装置5の制御を行う。ACD機能は、コールセンターにかかってきた電話を待機中のオペレータに自動的に割り振る機能である。IVR機能は、音声による自動応答機能である。
【0022】
このセンター管理装置7は、図示しない顧客情報記憶部を有している。顧客情報記憶部に格納された顧客情報は、過去にコールセンターに電話を掛けた顧客に関する情報、或いは予め登録した顧客に関する情報である。センター管理装置7は、オペレータの操作により入力された氏名等の顧客識別データ、又は顧客電話機2を介して入力された顧客識別データに基づき、対応する顧客情報を読み出してオペレータ端末6のディスプレイDIに表示する。
【0023】
また、センター管理装置7は、図2に示す履歴情報記憶部20を備えている。履歴情報記憶部20には、着呼毎の履歴データ21が格納されている。履歴データ21は、センタ
ー管理装置7が着呼毎に生成したデータであって、応対の履歴を示す。本実施形態では、履歴データ21は、着呼ID21A、着呼日21B、通話開始時間21C、通話終了時間21D、オペレータID21E、製品グループ21F、製品型番21G、顧客ID21H、保留履歴21Jを有している。尚、履歴データ21のデータ構成は、この構成に限定されず、他の構成でもよい。
【0024】
着呼ID21Aは、センター管理装置7が着呼毎に割り振った番号であって、着呼日21Bは、顧客からの電話をコールセンターが受信した年月日及び時刻を示す。通話開始時間21C及び通話終了時間21Dは、オペレータが通話を開始した時刻及び終了した時刻をそれぞれ示す。オペレータID21Eは、その電話を受けたオペレータの識別番号である。
【0025】
製品グループ21Fは、問い合わせがあった製品のカテゴリである。例えば、プリンタやプロジェクタ、スキャナ等といった電化製品に対する問い合わせ業務を行う場合、製品グループ21Fには、「インクジェットプリンタ」、「レーザプリンタ」等の製品カテゴリ、或いは「個人向け」又は「ビジネス向け」等の目的別のカテゴリ等が格納される。製品型番21Gは、問い合わせがあった製品の型番を示す。尚、商品の注文を受け付ける場合には、製品グループ21F及び製品型番21Gには、注文された商品のグループ及び型番が格納される。コールセンターから顧客に対して発呼を行う場合には、その通話内容に応じたサービス、製品の識別子が格納される。
【0026】
顧客ID21Hは、応対した顧客の識別子であって、上記顧客情報と対応している。保留履歴21Jは、保留回数、保留開始から保留終了までの保留時間等のデータである。
管理者端末8は、コールセンターのスーパーバイザー等が用いる端末であって、図示しないCPU、RAM、ROM、通信I/F等を有している。図1に示すように、管理者端末8には、マウスやキーボード等の入力装置Iが接続されており、スーパーバイザーの入力操作に応じて、指定された情報を履歴情報記憶部20及び他のデータベースから抽出し、抽出したデータを閲覧画面としてディスプレイDIに表示する。
【0027】
さらに、図1に示すように、コールセンターシステム1は、音声データ登録装置10、音声認識手段としての音声認識装置11、通話情報記憶手段、制御手段、文字データ取得手段、検出データ取得手段としてのデータベース(D/B)管理装置12、録音装置13及び感情検出手段、登録手段としての感情認識装置14を有している。これらの各装置10〜14は、上記LAN9に接続され、各装置10〜14間だけでなく、PBX装置5、センター管理装置7等との間で、後述する処理のためのデータを送受信可能に接続されている。尚、本実施形態では、処理を分散させるために装置10〜14を設けたが、各装置10〜14のうち複数の装置を一つの装置に統合したり、全ての装置10〜14を一つの装置にしてもよい。
【0028】
図3に示すように、音声データ登録装置10には、制御部30、全体音声記憶部32、顧客音声記憶部33、オペレータ音声記憶部34を備えている。制御部30は、CPU、RAM、ROM、通信I/F等を備え、PBX装置5又はオペレータが用いる電話機3等から顧客の発話のみによる音声信号を取得する。また、電話機3又は上記ヘッドセットのマイク等の音声入力部IV(図1参照)から、オペレータの発話のみによる音声信号を取得する。さらに、PBX装置5、電話機3又は音声入力部IV等から、顧客の発話による音声及びオペレータの発話による音声が混在した両者通話音声の音声信号を取得する。
【0029】
制御部30は、顧客の発話のみによる音声信号、オペレータの発話のみによる音声信号、両者の音声が混合した音声信号を取得すると、音声信号をA/D変換してWAV形式等のデジタルデータに変換する。尚、音声データへの変換はリアルタイム処理で行ってもよ
く、バッチ処理で行うようにしてもよい。或いは、顧客の発話のみによる音声と、オペレータの発話のみによる音声と、両者の発話による音声とをそれぞれ録音装置13又はセンター管理装置7(図1参照)に録音し、録音装置13によってA/D変換を行い、その録音装置13から音声データを取得してもよい。
【0030】
音声データを生成すると、制御部30は、着呼毎に生成された識別子を、音声データに付与する。識別子は、データベースのレコードを他のレコードから一意に識別する主キーとなるデータで、着呼ID21A等、履歴データ21を構成するデータ要素を用い、音声データと履歴データ21との対応付けが可能な状態にする。また、音声データが、顧客、オペレータ及びその両方のうち、どの発話者によるデータであるのかを示す発話者コードを、各音声データに付与する。そして、識別子及び発話者コードが付与された音声データを、対応する各記憶部32〜34にそれぞれ記憶する。
【0031】
その結果、全体音声記憶部32には、顧客及びオペレータの発話による全体音声データ32Aが記憶され、顧客音声記憶部33には、顧客の発話のみによる顧客音声データ33Aが記憶される。また、オペレータ音声記憶部34には、オペレータ音声データ34Aが記憶される。
【0032】
図4に示すように、音声認識装置16は、音声認識処理部41、認識用情報記憶部42、両者発話情報記憶部43、顧客発話情報記憶部44、オペレータ発話情報記憶部45を備えている。
【0033】
音声認識処理部41は、CPU、RAM、ROM、通信I/F等を格納し、図示しない記憶部に格納された音声認識プログラムに従って、音声認識処理を行う。音声認識処理は、通話時等に順次行うリアルタイム処理でもよく、複数の音声データに対して一括して行うバッチ処理でもよい。認識用情報記憶部42には、音声認識処理に用いられる認識用情報42Aが格納されている。認識用情報42Aとしては、例えば、音声の特徴量と音素とを関連付けた音響モデル、音素列と対応付けられた単語を数万〜数十万語格納した認識辞書、文頭・文末に位置する確率や、連続する単語間の接続確率や、係り受け関係をモデル化した言語モデルといった各種データがある。
【0034】
音声認識処理部41は、音声認識プログラムに従って、認識用情報42Aを用いて、上記各音声データ32A〜34Aを文字データに変換する。この処理は公知の方法を用いることができる。例えば、音声認識処理部41は、音声データ32A〜34Aを用いて、音声の波形の特徴を算出し、この特徴量と音響モデルとを照合して音素をそれぞれ選択する。また、これらの各音素列と認識辞書とを照合して、認識候補の単語を選択する。さらに、音声認識処理部41は、言語モデルを用いて、接続関係の確率を算出し、整合性を判断する。認識結果が確定されると、テキストと、テキストが発話された時間等を関連付けて格納する。
【0035】
また、図5に示すように、音声認識処理部41は、音声データと同様に、通話内容を文字化したテキストTXTに対し、識別子C1及び発話者コードC2を付与して、文字データとしてのテキストデータTXを生成する。さらに生成したテキストデータTXを、各記憶部43〜45に格納する。
【0036】
即ち、顧客及びオペレータの発話による全体音声データ32Aを音声認識した文字データは、両者テキストデータTX1として両者発話情報記憶部43に記憶する。両者テキストデータTX1は、顧客とオペレータが発話した内容が混合された状態で文字データ化されている。また、顧客の発話のみによる顧客音声データ33Aを音声認識した文字データは、顧客テキストデータTX2として顧客発話情報記憶部44に記憶する。また、オペレ
ータ音声データ34Aを音声認識した文字データは、オペレータテキストデータTX3として、オペレータ発話情報記憶部45に記憶する。尚、両者テキストデータTX1、顧客テキストデータTX2、オペレータテキストデータTX3をそれぞれ区別しない場合には、テキストデータTXとして説明する。
【0037】
感情認識装置14は、CPU、RAM、ROM、通信I/F等を有し、図示しない記憶部に格納された感情認識プログラムに従って、通話音声の特徴量から求められる感情検出値を算出する。感情認識装置14は、顧客及びオペレータの音声が混在した通話音声に基づく感情認識と、顧客の通話音声に基づく感情認識と、オペレータの通話音声に基づく感情認識を行う。感情認識処理は、通話終了時等に順次行うリアルタイム処理でもよく、複数の音声データに対して一括して行うバッチ処理でもよい。この感情認識処理では、「怒り」、「喜び」、「悲しみ」等といった各感情の種類のそれぞれに対し、感情の強さを示す値を特定する。
【0038】
感情認識方法としては、公知の方法を用いることができる。例えば、感情認識装置14は、顧客、オペレータ又はその両方の音声データ32A〜34A(又は音声信号)に基づき、音声強度を取得する。
【0039】
また、感情認識装置14は、感情認識の認識対象区間を取得する。この認識対象区間は、テキストデータTXの単語又は文節又は文章の区切り等でもよく、5秒等の所定時間毎に区切られた区間でもよい。或いは、音声データ32A〜34Aの波形に基づき、所定のパターンが含まれる区域を認識対象区間としてもよい。そして認識対象区間毎の音声の強度を検出し、強度変化パターンに基づき音声の抑揚を算出する。
【0040】
さらに、音声認識処理部41等が算出した、音素データを取得して、音素の数をテンポとして取得する。その他に、音階、音程、旋律、周波数等といった音声の物理特徴量を検出してもよい。
【0041】
また、感情認識装置14は、怒りの状態における音声の特性パターンと、喜びの状態における音声の特性パターンと、悲しみの状態における音声の特性パターン等を予め格納している。感情認識装置14は、各音声信号に基づくパターンを、予め格納したパターンと比較し、現在の感情の強さを特定する。例えば、「怒り」、「喜び」、「悲しみ」の各感情に対して、「−2」、「−1」、「0」、「+1」、「+2」の値がそれぞれ設定され、感情認識装置14は、これらの値のいずれかを感情の強さとして特定する。
【0042】
その結果、顧客の発話に対する感情検出値V1と、オペレータの発話に対する感情検出値V2と、顧客及びオペレータの発話が混在した全体の発話に対する両者感情検出値V3とが得られる。尚、感情検出値V1,V2及び両者感情検出値V3を互いに区別しないで説明する場合には、単に感情検出値Vとして説明する。
【0043】
感情検出値Vを生成すると、感情認識装置14は、感情検出値Vと、感情認識を行った認識対象区間とを用いて図5に模式的に示す感情検出データDを生成する。感情検出データDは、テキストデータTXと同様に識別子C1が付与されている。また、感情検出データDは、どの発話者による感情であるのかを示す発話者コードC2が付与されている。さらに、その感情検出データDが、「怒り」、「悲しみ」、「喜び」等の種別のうちどの種別のデータであるのかを示す感情種別C3が付与されている。また、感情検出データDに含まれる感情検出値Vは、その値を検出した上記認識対象区間Sとそれぞれ関連付けられている。
【0044】
従って、図5に示すように、識別子C1及び発話者コードC2によって感情検出データ
DとテキストデータTXとを対応付けすることができる。また、テキストデータTXのテキストTXTに含まれる文字は、各感情検出値V1の認識対象区間Sと対応しているので、「怒り」、「喜び」、「悲しみ」等に対する感情検出値Vと、単語又は文節又は文章等の文字データとを対応付けることができる。例えば、顧客が「エラーが起きた」と発話した文字データに対し、「怒り」の感情が「+2」であった場合には、エラーが発生したことに対して顧客が強い怒りを感じていると推定することができる。一方、異なる顧客が「エラーが起きた」と発話した場合、「怒り」の感情が「0」であった場合には、その顧客はエラーが発生したことに対してあまり怒りを感じていないと推定することができる。また、通話を開始してから終了するまでの感情検出値Vの時系列的な推移を判定し、顧客の感情がどのように変化したかを判断できる。
【0045】
また、感情認識装置14は、通話が開始されてから終了されるまでの間を感情認識の対象区間として、通話全体の感情検出値を特定する。このとき、感情認識装置14は、通話全体の音声に対する特徴量に基づき、上記したように感情検出値を特定する。これにより、「怒り」、「喜び」、「悲しみ」等といった各感情の種類のそれぞれに対し、顧客の発話全体に対する全体感情検出値VTと、オペレータの発話全体に対する全体感情検出値VTと、両者の発話全体に対する全体感情検出値VTとが生成される。全体感情検出値VTを生成すると、感情認識装置14は、図6に示すように、全体感情検出値VTに対し、識別子C1、発話者コードC2及び感情種別C3を付与して、顧客の全体感情検出データTと、オペレータの全体感情検出データTと、両者の全体感情検出データTとを生成する。
【0046】
D/B管理装置12は、CPU、RAM、ROM、通信I/F等を有し、図示しない記憶部に格納された情報管理プログラムに従って、センター管理装置7、感情認識装置14から所定のタイミングで各種情報を取得してデータベースを作成する。D/B管理装置12は、センター管理装置7からは、履歴データ21を取得する。また、感情認識装置14から感情検出データD及び全体感情検出データTを取得する。そして、これらのデータを統合して、データベースに新たなレコードとして追加する。
【0047】
図6は、データベース構造の模式図である。データベース100は、テキストデータTX、履歴データ21、感情検出データD、全体感情検出データTとを識別子C1によって関連付けて格納している。また、識別子C1によって、音声データ登録装置10の音声データ32A〜34Aが関連付けられる。この音声データ32A〜34Aは、音声データ登録装置10に分散させて格納してもよいし、D/B管理装置12に格納してもよい。
【0048】
また、上記したように感情検出値Vは、テキストデータTXのテキストTXTの各文字データに関連付けられるので、単語、文節又は文章等を発話した際の発話者の感情を推測することができる。
【0049】
コールセンターのスーパーバイザーは、管理者端末8を操作して、データベース100を用いてデータ分析を行う。このとき、データベースのパラメータとして感情検出値V及び全体感情検出値VT及び文字データが付加されるとともに、形態素解析及び感情認識を、顧客の音声、オペレータの音声及び両者の音声に基づいて行うことで、多角的な分析を行うことができる。
【0050】
例えば、履歴データ21、感情検出データD及びテキストデータTXを用いて、感情の強さが所定値以上である感情検出値Vを有するデータを、製品毎、所定期間毎等に抽出し、抽出数又は感情検出値Vを製品毎又は所定期間毎に比較することができる。さらに、抽出した感情検出データDに関連付けられた文字データをテキストデータTXから抽出することができる。例えば「怒り」又は「喜び」が「+2」の文字データを抽出することで、顧客が何に対して強い「怒り」又は「喜び」を感じていたのか、客観的に評価することが
できる。このように音声認識によってテキストデータTXを生成することで、オペレータが通話内容を要約したキーワードを入力する場合に比べて、キーワードのばらつきの発生を抑制することができる。
【0051】
また例えば、異なる製品に対して、「紙詰まり」という単語を含むテキストデータTXが複数蓄積された場合でも、「紙詰まり」に対する感情検出値V1の大きさによって、その製品に対する顧客満足度を客観的に評価し、この顧客満足度を製品開発にフィードバックさせることができる。このため、オペレータが顧客の感情に関する事項を入力する手間を省くことができるとともに、顧客の感情を判定する判定者の主観を取り除くことができる。
【0052】
また、発話者コードC2がオペレータの識別子である感情検出データDのうち、感情検出値Vが所定値以上のデータがあるか否かを判断し、検出された場合には、その感情検出値Vに関連付けられた文字データを判断することで、どのタイミングでオペレータにかかるストレスが増大したかを客観的に判定することができる。また、通話全体に対する感情検出値Vの推移に基づき、顧客とオペレータの感情の変化を計測し、「怒り」の感情検出値Vを小さくし、「喜び」の感情検出値Vを大きくするためのノウハウを蓄積し、そのノウハウを電話応対業務に反映させることができる。また、同一のオペレータID21Eを有する履歴データ21に関連付けられた感情検出データD又は全体感情検出データTを抽出し、日毎、月毎、或いはそれ以外の期間で、所定の計算式に当てはめて、期間毎のオペレータの評価を行うことができる。
【0053】
上記実施形態によれば、以下のような効果を得ることができる。
(1)上記実施形態では、コールセンターシステム1は、コールセンターのオペレータと顧客との通話による音声に対し音声認識を行い、通話内容を文字化したテキストデータTXを生成する音声認識装置11を備える。また、通話音声の特徴量から求められる感情検出値V及び全体感情検出値VTを検出し、テキストデータTXのうち、感情検出値Vを検出した認識対象区間Sに感情検出値Vを関連付ける感情認識装置14を備える。さらに、テキストデータTX及び感情検出値V及び全体感情検出値VTを関連付けした状態で記憶するD/B管理装置12を備える。従って、発話者の感情を推測することができる感情検出値Vと、その情報を検出した認識対象区間Sの文字データとをデータベースに格納することで、顧客満足度、オペレータのストレス判定、オペレータ評価等、多角的なデータ分析を行うことができる。
【0054】
(2)上記実施形態では、音声認識装置11は、顧客の通話音声、及びオペレータの通話音声に対して音声認識を行って顧客の発話による顧客テキストデータTX2及びオペレータの発話によるオペレータテキストデータTX3を生成する。感情認識装置14は、各通話音声に基づいて、顧客の通話音声の感情検出値V1及び全体感情検出値VT及びオペレータの通話音声の感情検出値V2及び全体感情検出値VTを検出する。また、感情認識装置14は、テキストデータTXのうち、感情検出値Vを検出した認識対象区間Sに対応する区間に、顧客及びオペレータの感情検出値V1,V2を関連付ける。さらに、全体感情検出値VTをテキストデータTXにそれぞれ関連付ける。このため、顧客側及びオペレータ側の両方の方向からデータ分析を行うことができるので、データ分析の自由度を向上させることができる。
【0055】
(3)上記実施形態では、顧客の通話音声及びオペレータの通話音声が混在した両者通話音声に対して音声認識を行った両者テキストデータTX1を生成する。また、感情認識装置14は、両者通話音声に基づいて感情検出値V及び全体感情検出値VTを検出し、両者テキストデータTX1のうち、感情検出値Vを検出した認識対象区間Sに感情検出値Vを関連付ける。また、両者テキストデータTX1に、全体感情検出値VTを関連付ける。
このため、全体的な評価を行う際に、該データを用いることで、扱うデータ量を縮小し、検索処理等の処理量を軽減することができる。
【0056】
(4)上記実施形態では、D/B管理装置12は、テキストデータTX及び感情検出データDに、履歴データ21を関連付けて格納する。このため、例えば、製品グループ21F、製品型番21G、オペレータID21E、保留履歴21J等に基づき検索を行い、製品グループ又は製品、オペレータ、保留履歴からみたデータ分析を行うことができる。このため、多角的なデータ分析を行うことができる。
【0057】
(5)上記実施形態では、感情認識装置14は、通話開始時から終了時までの間に設定された複数の認識対象区間Sに対し感情検出値Vを検出し、それらの感情検出値Vを、該感情検出値Vを検出した認識対象区間Sにそれぞれ関連付ける。即ち、単語単位、文節単位又は文章単位等で感情検出値Vを関連付けられるので、感情検出値Vが所定値以上又は以下の単語、文節又は文章単位等を抽出するなど、データ分析の自由度を向上させることができる。
【0058】
尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、感情認識装置14が、感情検出値Vと文字データとを関連付けるようにしたが、D/B管理装置12が感情検出値Vと文字データとを関連付けるようにしてもよい。この場合、感情認識装置14は、所定区間毎に感情検出値Vを検出し、D/B管理装置12は、所定区間と認識対象区間Sとを照合して、感情検出値V及び文字データを関連付ける。
【0059】
・履歴データ21は、オペレータが通話内容を要約してオペレータ端末6に入力した応対内容データを含むようにしてもよい。
・上記実施形態では、テキストTXTに感情検出値Vを関連付けたが、周波数、テンポ、強度等の音声の特徴量を関連付けてもよい。この場合でも、特徴量から顧客の感情の状態を推測することができるので、テキスト及び感情をパラメータとするデータ分析を行うことができる。
【図面の簡単な説明】
【0060】
【図1】本実施形態のコールセンターシステムの概略図。
【図2】履歴情報記憶部の模式図。
【図3】音声データ登録装置のブロック図。
【図4】音声認識装置のブロック図。
【図5】テキストデータ及び感情検出データの模式図。
【図6】データベースの模式図。
【符号の説明】
【0061】
1…データベースシステムとしてのコールセンターシステム、7…応対履歴登録手段としてのセンター管理装置、11…音声認識手段としての音声認識装置、12…通話情報記憶手段、制御手段、文字データ取得手段、検出データ取得手段としてのD/B管理装置、15…感情検出手段、登録手段としての感情認識装置、20…履歴情報記憶部、21…応対履歴データとしての履歴データ、100…データベース、D…感情検出データ、S…認識対象区間、TX…文字データとしてのテキストデータ、V…感情検出情報としての感情検出値、VT…感情検出情報としての全体感情検出値。

【特許請求の範囲】
【請求項1】
コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを生成する音声認識手段と、
前記通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を生成する感情検出手段と、
前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付ける登録手段と、
前記文字データ及び前記感情検出情報を関連付けした状態で記憶する通話情報記憶手段と
を備えたことを特徴とするコールセンターのデータベースシステム。
【請求項2】
請求項1に記載のコールセンターのデータベースシステムにおいて、
前記音声認識手段は、
少なくとも前記顧客の通話音声、及び前記オペレータの通話音声に対して音声認識を行って、前記顧客の発話に基づく文字データ及び前記オペレータの発話に基づく前記文字データを生成し、
前記感情検出手段は、
前記顧客の通話音声のうち対象区間の前記感情検出情報、及び前記オペレータの通話音声のうち前記対象区間の前記感情検出情報を検出し、
前記登録手段は、
前記顧客の通話音声に基づき、前記対象区間に対応した前記文字データに、該対象区間で検出された前記顧客の前記感情検出情報を関連付けるとともに、前記オペレータの通話音声に基づき、前記対象区間に対応した前記文字データに、該対象区間で検出された前記オペレータの前記感情検出情報を関連付けることを特徴とするコールセンターのデータベースシステム。
【請求項3】
請求項1又は2に記載のコールセンターのデータベースシステムにおいて、
前記音声認識手段は、
前記顧客の通話音声及び前記オペレータの通話音声が混在した両者通話音声に対して音声認識を行った前記文字データを生成し、
前記感情検出手段は、
前記両者通話音声に基づいて前記感情検出情報を生成し、
前記登録手段は、
前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付けることを特徴とするコールセンターのデータベースシステム。
【請求項4】
請求項1〜3のいずれか1項に記載のコールセンターのデータベースシステムにおいて、
前記感情検出手段は、通話開始時から終了時までの間に複数の前記感情検出情報を検出し、
前記登録手段は、前記各感情検出情報を、該感情検出情報を検出した前記文字データの前記対象区間にそれぞれ関連付けることを特徴とするコールセンターのデータベースシステム。
【請求項5】
請求項1〜4のいずれか1項に記載のコールセンターのデータベースシステムにおいて、
顧客との応対内容を示す応対履歴データを、前記特徴量検出データ及び前記文字データに関連付けて前記通話情報記憶手段に格納する応対履歴登録手段をさらに備えたことを特徴とするコールセンターのデータベースシステム。
【請求項6】
データベースを管理する制御手段を用いた前記データベースの情報管理方法であって、
前記制御手段が、
コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを取得するステップと、
通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を取得するステップと、
前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付けて通話情報記憶手段に記憶するステップと
を有することを特徴とする情報管理方法。
【請求項7】
データベースを管理する制御手段を用いた前記データベースの情報管理プログラムであって、
前記制御手段を、
コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを取得する文字データ取得手段と、
通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を生成する検出データ取得手段と、
前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付け、通話情報記憶手段に記憶する登録手段として機能させることを特徴とする情報管理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2009−175336(P2009−175336A)
【公開日】平成21年8月6日(2009.8.6)
【国際特許分類】
【出願番号】特願2008−12658(P2008−12658)
【出願日】平成20年1月23日(2008.1.23)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】