有害顧客検知システム、その方法及び有害顧客検知プログラム
【課題】 通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知し、電話応対者に警告する。
【解決手段】 声紋データベースを参照して、発信元話者の声紋情報と、声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択部と、発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択部とを備える。
【解決手段】 声紋データベースを参照して、発信元話者の声紋情報と、声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択部と、発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、有害顧客検知システム、その方法及び有害顧客検知プログラムに関する。より詳しくは、例えば顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積して管理するＣｕｓｔｏｍｅｒ Ｒｅｌａｔｉｏｎｓｈｉｐ Ｍａｎａｇｅｍｅｎｔ（ＣＲＭ）システムにおいて、円滑な電話応対業務を阻害するような有害顧客を、例えば話者識別技術により検知して応対担当者に自動的に警告するための技術に関する。
【背景技術】
【０００２】
顧客と事業者との間でなされた音声通話を事業者側において録音して管理する各種技術が提案されている。
【０００３】
例えば、特許文献１は、顧客からの電話応対部署であるコールセンタにおけるオペレータの通話内容をデータ化して録音すると共に検索するための、中央集中型通話録音システムを開示する。
【０００４】
一般に、事業者が運営するコールセンタ等の構内には、公衆電話交換回線網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ：ＰＳＴＮ）からの発信及び着信が集中する交換機（ＰＢＸ）が設置され、この交換機により音声通話が、コールセンタ構内の複数の固定電話に分配される。このため、この交換機から分岐する通話録音サーバを設ければ、通話を録音蓄積することができる。オペレータ側には、電話応対用内線電話と共に、ＰＣなどの端末装置が設けられてよく、このオペレータ端末装置には、発話者が告げた顧客名をキーとして顧客情報を検索する機能や、当該顧客の過去の通話履歴を表示する機能が備えられてよい。
【０００５】
一方、特許文献２は、事業者から顧客へ発呼されるアウトバウンドコールを大量に行なうための分散型通話録音システムを開示する。
【特許文献１】特開２００６−９４２６０号公報
【特許文献２】特開２００５−２１０２２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、一般にコールセンターでは、凡そ事業者が製造販売するあらゆる製品を購入した顧客に対して、また場合によっては製品購入者に限らず一般消費者に対して、広く電話受け付けの対象としている。このため、事業者の製品の問題点を過剰に誇張して非難したり、或いは接客態度やサービスの不手際を過剰に追及する有害顧客、いわゆるクレーマーからの苦情電話であっても、コールセンタのオペレータが電話応対せざるを得ない。
【０００７】
しかしながら、こうした有害顧客からの電話は長時間に亘り通話を占有することも多く、さらに執拗に多数回の通話がなされることも多いため、オペレータの円滑な電話応対業務が阻害され、オペレータの電話応対の効率が著しく低下してしまう。他方、有害顧客からのときに脅迫的な苦情に電話応対する際に、その応対を誤ると、これを奇貨としてさらに不当な金銭賠償を求められたり、法的措置に及ばれたりすることにより、事業者を訴訟リスクに晒し、さらに事業者の信用を毀損する情報をインターネット上で流布されればその社会的信用も損ないかねない。特に、コールセンターオペレータが社員でなく、アウトソース先の社外の契約者であった場合には、有害顧客に対するオペレータの電話応対の質及び効率を同時に維持することは一層困難となる。
【０００８】
このため、受け付けた通話が上記のような有害顧客からの通話であることを、コールセンタのオペレータに、電話応対の初期段階で通知、警告することが強く要請される。
【０００９】
ここで、通常の顧客からの通話であれば、電話を受け付けた際に、オペレータが、顧客名や住所、製品シリアル番号その他の顧客を特定するための１つ又は複数の識別子を顧客に告げさせ、この告げられた識別子をキーとして、顧客データベースを検索し、検索された顧客情報や過去の通話履歴情報をオペレータ端末に表示することによって、当該顧客が誰であり、過去にどのような電話応対がされたのかを容易に把握することができる。また、通信キャリアから得られる発信者電話番号をキーに顧客データベースを検索することによっても、顧客名を特定することができる。
【００１０】
しかしながら、上記の有害顧客は、その苦情内容が悪質であればあるほど、過去にも苦情を申し立てた有害顧客であると特定されることを避けようとする言動及び行動パターンを有する。このため、たとえオペレータが電話受付の際に名前を尋ねたとしても、真正な名前を名乗らないことが多いため、顧客データベースを検索することによって過去に特定された有害顧客と同定することができない。さらに、有害顧客は、通話にあたって、過去の有害顧客であると特定されることを避けるため、顧客データベースに登録された自宅電話や携帯電話以外の電話を使用したり、或いは発信者電話番号を非通知モードにして通話することも多い。このため、顧客データベースを参照することによって、或いは通信キャリアから得られる発信者電話番号によって顧客名を特定することもできない。
【００１１】
本発明は、上記課題に鑑みてされたものであり、その目的は、顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積し管理するＣＲＭシステムにおいて、円滑な電話応対業務を阻害するような有害顧客を、電話応対の初期段階でリアルタイムに検知し、警告することの可能な有害顧客検知システム、その方法及び有害顧客検知プログラムを提供する点にある。
【００１２】
本発明の他の目的は、発信元の有害顧客自身に気付かれることなく、通話中にリアルタイムで、発話者が有害顧客であることを同定することを可能にする点にある。
【００１３】
本発明の他の目的は、真正な顧客名を名乗らない有害顧客や、コールセンタにおいて既登録である電話以外の電話から通話を行なう有害顧客であっても、通話中にリアルタイムで、発話者が有害顧客であることを同定することを可能にする点にある。
【課題を解決するための手段】
【００１４】
コールセンタ業務の文脈における有害顧客は、コールセンター対する通話において、一般に、過去にコールセンタ宛に苦情電話を架けた履歴が存在することが多いが、他方、真正な顧客名を名乗らず、また登録された電話番号による特定が困難であると特徴付けられる。
【００１５】
なお、本明細書及び請求項において、「有害顧客」とは、典型的には事業者の製品の問題点を過剰に誇張して非難したり、或いは接客態度やサービスの不手際を過剰に追及する顧客であり、いわゆる「クレーマー」もこれに含まれるものであるが、これに限られず円滑な電話応対業務を阻害する可能性のある行動パターンをとり得るあらゆる利用者を広く意味するものであり、例えばいわゆる「不審者」等、有害顧客の候補となり得る者も含むものとする。
【００１６】
このような特徴を持つ話者を特定するために利用可能な技術として、事前に登録した話者の録音音声と、認証時に入力された音声との間で声紋を照合することにより、誰が発声している音声であるかを特定する声紋照合技術が公知である。しかしながら、この声紋照合は、識別対象となる発話者が予め登録されたＮ人の話者中の誰であるかを、Ｎ回の比較処理を行なって判断するものであるため、コンピュータ処理が不可避的に高負荷となり、相当数（一例として１００名以上であるがこれに限定されない）の有害顧客の声紋を登録した場合、入力された音声と全件の声紋との照合を、有害顧客に気付かれることなく、リアルタイムで実現することは著しく困難である。
【００１７】
本願発明においては、入力された音声の登録された音声との一致判定を、コールセンターにおける通話中にリアルタイムで実行するため、被登録者数の増加にも耐え得る複数段階（例えば二段階）での音声照合処理を実行する。発信元話者が有害顧客と思しき場合に、電話応対する担当者に注意喚起できれば足りるため、一致判定処理は実用的精度であればよい。また、入力された音声の発話テキストと、予め登録された音声の発話テキストとは、必ずしも一致しなくてもよい。
【００１８】
本発明のある特徴によれば、通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、有害顧客検知システムであって、予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出部と、全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング部と、各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定部と、抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に記憶する声紋データベースと、発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得部と、前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択部と、前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択部と、選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力部とを具備することを特徴とする有害顧客検知システムが提供される。
【００１９】
上記有害顧客検知システムは、さらに、前記グルーピング部により１のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第１の閾値を減少させ、減少された第１の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成部を具備してよい。
【００２０】
前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、前記メッセージ出力部は、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第１の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第２の警告メッセージを、それぞれ出力してよい。
【００２１】
上記有害顧客検知システムは、さらに、利用者の電話敷設履歴情報を、当該電話の電話番号と共に記憶する電話番号データベースと、前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第２のメッセージ出力部とを具備してよい。
【００２２】
上記有害顧客検知システムは、さらに、前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析部を具備してよい。
【００２３】
本発明の他の特徴によれば、通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、声紋情報抽出部と、グルーピング部と、基準者設定部と、声紋データベースと、音声取得部と、グループ選択部と、被登録話話者選択部と、メッセージ出力部とを具備する有害顧客検知システムが実行する有害顧客検知方法であって、予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出ステップと、全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピングステップと、各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定ステップと、抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶ステップと、発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得ステップと、前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択ステップと、前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択ステップと、選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力ステップとを含むことを特徴とする有害顧客検知方法が提供される。
【００２４】
本発明の他の特徴によれば、通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する有害顧客検知処理をコンピュータに実行させるための有害顧客検知プログラムであって、該プログラムは、前記コンピュータに、予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出処理と、全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング処理と、各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定処理と、抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶処理と、発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得処理と、前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択処理と、前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択処理と、選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力処理とを含む処理をコンピュータに実行させるためのものであることを特徴とする有害顧客検知プログラムが提供される。
【発明の効果】
【００２５】
本発明によれば、声紋分析サーバは、予め登録され、グルーピングされた複数の有害顧客の音声モデルの中から、各グループの基準話者と、電話受け付けされた入力音声との照合のみを実行し、最も類似する音声と判定された基準話者が属するグループに属する音声モデルと入力音声との照合を実行し、入力音声との類似度が所定の閾値内にある音声モデルを特定し、この音声モデルに対応する有害顧客を同定して、電話応対を行なう対応者に通話中に通知する。
【００２６】
これにより、顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積し管理するＣＲＭシステムにおいて、円滑な電話応対業務を阻害するような有害顧客を、電話応対の初期段階でリアルタイムに検知し、警告することができる。
【００２７】
また、発信元の有害顧客自身に気付かれることなく、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
【００２８】
さらに、真正な顧客名を名乗らない有害顧客や、コールセンタにおいて既登録である電話以外の電話から通話を行なう有害顧客であっても、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
【００２９】
従って、本発明に係る有害顧客検知システム、その方法及び有害顧客検知プログラムによれば、コールセンタ業務において、追加的設備を要することなく、有害顧客を電話応対の初期段階で自動的に把握することができ、電話応対業務の効率化が図られるため、事業者のＣＲＭ向上に資する。
【発明を実施するための最良の形態】
【００３０】
以下、添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能及び構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３１】
＜本実施形態の構成＞
図１は、本発明の実施形態に係る有害顧客検知システムのネットワーク構成の非限定的一例を示す。有害顧客検知システムは、ＰＢＸ（交換機）１、音声取得サーバ２、声紋分析サーバ３、電話番号分析サーバ４、感情解析サーバ５、制御サーバ６、顧客電話端末７、ＰＳＴＮ（公衆電話網）８、オペレータ電話端末９ａ、オペレータＰＣ端末9ｂ、通話録音サーバ１０を具備する。有害顧客検知システム中、ＰＢＸ（交換機）１、音声取得サーバ２、声紋分析サーバ３、電話番号分析サーバ４、感情解析サーバ５、制御サーバ６、オペレータ電話端末９ａ、オペレータＰＣ端末9ｂ、通話録音サーバ１０の全部或いは一部は、コールセンタ内に設置され、ＬＡＮ／ＷＡＮ等のイントラネット１１ｄ等のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網により相互接続されてよい。或いは代替的に、音声取得サーバ２、声紋分析サーバ３、電話番号分析サーバ４、感情解析サーバ５、制御サーバ６、通話録音サーバ１０、及びこれらサーバが備える通話録音データベース１０１、声紋データベース３１、電話番号データベース４１等の全部或いは一部は、インターネット等の遠隔ＩＰ接続を介して適宜コールセンタ外部に設置されてもよい。
【００３２】
ＰＢＸ１は、コールセンタ内の内線電話同士を接続すると共に、各オペレータ電話端末９ａを、構内回線１１ａ、１１ｂ、１１ｃ・・・を介してＰＳＴＮ（公衆電話網）８に回線交換接続して、各オペレータ電話端末９ａと顧客電話端末７との通話を実現する。
【００３３】
音声取得サーバ２は、ＰＢＸ１に分岐接続され、各オペレータ電話端末９ａと顧客電話端末７との通話音声を取得すると共に、取得された音声をオペレータ電話端末９ａの番号（例えば内線番号）と対応付けて各サーバに供給する。
【００３４】
代替的に、この音声取得サーバ２は、ＰＳＴＮ８の終端装置（ＤＳＵ）とＰＢＸ１との間の回線に分岐接続されてもよい。
【００３５】
声紋分析サーバ３は、音声取得サーバ２から供給される取得音声を、声紋データベース３１内に予め登録された有害顧客の音声モデル（声紋パターン）と比較し、この比較結果をオペレータ電話端末９ａの内線番号と共に制御サーバ６に供給する。
【００３６】
電話番号分析サーバ４は、ＰＢＸ１から供給される発信元の顧客電話端末７の電話番号をキーとして、予め顧客電話番号ごとに与信情報を登録する電話番号データベース４１を検索して得られる与信チェックの結果をオペレータ電話端末９ａの内線番号と共に制御サーバ６に供給する。
【００３７】
感情解析サーバ５は、音声取得サーバ２から供給される取得音声の声の揺らぎや感情の高ぶり、落ち着きのなさ等を検出することにより得られる感情解析結果をオペレータ電話端末９ａの内線番号と共に制御サーバ６に供給する。
【００３８】
制御サーバ６は、声紋分析サーバ３から供給される比較結果、電話番号分析サーバ４から供給される与信チェック結果、及び感情解析サーバ５から供給される感情解析結果の全部又は一部に基づいて、取得された音声が有害顧客か否かを判定してこの判定結果を、リアルタイムにオペレータＰＣ端末装置９ｂ上に警告表示する。好適には、この分析結果は有害顧客の程度を示すランク情報と共に警告表示されてよい。また好適には、オペレータＰＣ端末装置９ｂは、ブラウザ機能を有し、通話録音データベース１０１に蓄積された録音音声データ、及び電話番号データベース４１ないし声紋データベース３１に記憶された利用者情報ないし有害顧客情報を適宜検索及び表示させることができる。代替的に、或いはこれに加えて、制御サーバ６は、オペレータ電話端末９ａに、通話中の発信者が有害顧客に該当した場合に、発信者である顧客側には聴取されない警告音をトーン等により割り込み音声出力してもよい。
【００３９】
通話録音サーバ１０は、制御サーバ６の制御の下、着呼後の音声取得サーバ２から供給される取得音声を、例えばＮＡＳ（Ｎｅｔｗｏｒｋ Ａｐｐｌｉａｎｃｅ Ｓｔｏｒａｇｅ）等の大規模外部記憶装置により構成される通話録音データベース１０１に蓄積保存する。
【００４０】
なお、図１におけるＰＢＸ１は、ＰＳＴＮ１等の公衆電話交換回線網を介して顧客通話端末４に接続されているが、これに替えて、或いはこれに加えて、ＩＰ網接続機能を備えることにより、ＶｏＩＰ（Ｖｏｉｃｅ Ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク等の音声パケット通信ネットワークを介して、ＩＰ電話機能を備える顧客ＩＰ通話端末に接続されてよく、この場合、音声取得サーバ２は、顧客ＩＰ通話端末及びオペレータ電話端末９ａ間の音声通話を取得することができる。顧客電話端末７は、固定電話機或いは携帯電話機のいずれであってもよい。
【００４１】
なお、請求項における声紋情報抽出部、グルーピング部、基準者設定部は、声紋分析サーバ３ないし制御サーバ６に、請求項における音声取得部は、音声取得サーバ２ないし制御サーバ６に、請求項におけるグループ選択部及び被登録話者選択部は、声紋分析サーバ３に、請求項におけるメッセージ出力部は、制御サーバ６ないしオペレータ端末装置９ｂに、それぞれ相当する。
【００４２】
また、図１に示すネットワーク及びハードウエアの構成は一例に過ぎず、各サーバ及びデータベースを必要に応じて一体としてもよく、各コンポーネントをＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）等の外部に設置してもよい。
【００４３】
＜本実施形態における有害顧客検知処理概要＞
図２は、制御サーバ６による制御の下実行される、第１の実施形態に係る有害顧客検知システムにおける、顧客電話端末７からコールセンタのオペレータ電話端末９ａへの着呼から、通話中の顧客が有害顧客であることをオペレータ端末９ｂないし電話端末９ａに通知して振り分け処理を行なうまでの処理シーケンスの非限定的一例を示す。
【００４４】
図２において、まず顧客電話端末７からＰＢＸ１に着呼する（ステップＳ１）。ＰＢＸ１は、着呼により、呼情報を取得する。取得される呼情報とは、例えば、着信開始情報（着信開始タイムスタンプを含む）、発信開始情報（発信開始タイムスタンプを含む）、通話開始情報（通話開始タイムスタンプを含む）、通話終了情報（通話終了タイムスタンプを含む）等の呼制御情報と、発信元電話番号、発信先電話番号、発信元チャネル番号、発信者番号、着信チャネル番号、着信電話番号（着信先内線番号等）等の呼識別情報とを含み、好適には、ＣＴＩ（Ｃｏｍｐｕｔｅｒ Ｔｅｌｅｐｈｏｎｙ Ｉｎｔｅｇｒａｔｉｏｎ）プロトコルを実装した制御サーバ６上ないしオペレータＰＣ端末装置９ｂ上で稼動するＣＴＩプログラムと連動して、これらの表示装置上に呼情報をリアルタイムに表示してよい。ＰＢＸ１は、取得される呼情報の全部又は一部、少なくとも発信元の顧客電話端末７の番号と、オフフックしたオペレータ電話端末９ａの内線番号とを対応付けて、この発信元電話番号とオペレータ内線番号とを電話番号分析サーバ４に送出する（ステップＳ２）。好適には、電話番号分析サーバ４は、さらに、呼情報から、発信元顧客電話端末が発信者番号を非通知としたか否かを示すフラグを取得する。
【００４５】
図３は、電話番号分析サーバ４により参照される電話番号データベース４１の構成の一例を示す。図３において、電話番号データベース４１は、利用者データベース４１１と電話敷設データベース４１２を含む。利用者データベース４１１は、例えば表形式で構成され、一例として、各利用者毎に、利用者（顧客）を一意に識別するための利用者ＩＤ、利用者名、電話敷設データベース４１２中の電話番号へのリンク、電話番号変更履歴の情報、電話料金滞納履歴の情報を含む。電話敷設データベース４１２は、例えば表形式で構成され、一例として、各電話番号毎に、電話番号、電話敷設年月日の情報を含む。代替的に、利用者データベース４１１と電話敷設データベース４１２とは、例えば電話番号をキーとして一体に構成されてもよい。
【００４６】
図２に戻り、電話番号分析サーバ４は、取得された発信元電話番号をキーとして電話番号サーバ４１を検索することにより、発信元電話番号に基づく電話番号分析処理、すなわち簡易的な与信チェック処理を行ない（ステップＳ３）、この与信チェック結果を、制御サーバ６を介して、取得されたオペレータ内線番号に対応するオペレータＰＣ端末装置９ｂに出力する（ステップＳ４）。
【００４７】
一例として、電話番号分析サーバ４は、発信元電話番号が通知されたか否かを示すフラグを参照し、かつ電話敷設年月日を参照して、発信者電話番号が通知され、かつ発信元電話が敷設されて所定期間経過したものであれば（すなわち固定電話ないし携帯電話の契約期間が長期間経過していれば）、与信チェック結果として、異常なしと判断する。他方、発信者番号が通知されたが発信元電話が敷設されて間もないものであった場合（すなわち固定電話ないし携帯電話の契約期間が短期間であれば）、或いは発信者番号が非通知であった場合には、与信チェック結果として、警告ありと判断する。
【００４８】
好適には、電話番号分析サーバ４は、警告ありと判断した場合には、当該発信元話者を不審者の可能性ある者として、その録音音声の声紋情報を抽出して声紋データベース３１に登録するよう、制御サーバ６に指示してもよい。また、好適には、複数の警告レベルを予め設定し、例えば発信者番号が非通知であった場合には、発信者番号が通知されたが発信元電話が敷設されて間もないものであった場合よりも警告レベルを上げてもよい。顧客とオペレータとの通話が開始される前に、オペレータＰＣ端末装置９ｂに有害顧客可能性ありとの警告を表示することができ、これにより、通話開始前にオペレータに注意喚起することができる（ステップＳ５）。
【００４９】
次に、顧客電話端末７とオペレータ電話端末９ａとの間で音声通話が開始され（ステップＳ６、Ｓ７）、この音声が音声取得サーバ２により取得され、声紋分析サーバ３に供給される。
【００５０】
図４は、声紋分析サーバ３により参照される声紋データベース３１の構成の一例を示す。図４において、声紋データベース３１は、有害顧客データベース３１１と声紋グループデータ３１２を含む。有害顧客データベース３１１は、例えば表形式で構成され、一例として、予め有害顧客と特定された各顧客毎に、有害顧客を一意に識別するための有害顧客ＩＤ、有害顧客個人情報、有害顧客ランク、声紋グループデータへのリンク、当該有害顧客が属する声紋情報のグループＩＤの情報を含む。声紋グループデータ３１２は、一例として、予め類似度の高い声紋データをグルーピングして、各声紋グループ毎に構成され、当該声紋グループに属する有害顧客の声紋データを含み、この声紋データにはそれぞれ、個人情報へのリンクと、当該声紋データを有する有害顧客が当該グループ内の基準者であるか否かを占めす情報が対応付けられている。
【００５１】
図２に戻り、声紋分析サーバ３は、通話により取得された音声を所定時間分（例えば３秒間以上）切り出して、この切り出された取得音声の声紋データ（後述する声紋パターン）と、声紋データベース３１に事前に登録された有害顧客の声紋データとを照合することにより、取得音声の話者が登録された有害顧客に該当するか否かを判定し（ステップＳ８）、この声紋分析結果を、制御サーバを介して、取得されたオペレータ内線番号に対応するオペレータＰＣ端末９ｂに出力する（ステップＳ９）。好適には、出力される声紋分析結果には、検出された有害顧客名、有害である程度を示す有害顧客ランクを含み、また表示された有害顧客名等をオペレータが選択すると、当該有害顧客の過去の通話履歴や電話対応履歴が続けてオペレータＰＣ端末９ｂに表示されるよう構成されてよい。代替的に、入力音声とその類似度が一定の閾値内にある複数の有害顧客名を、該当有害顧客候補者リストとして表示させてもよい。この声紋分析処理の詳細は後述される。
【００５２】
次に、感情解析サーバ５は、音声取得サーバ２から供給される取得音声の声の揺らぎや感情の高ぶり、落ち着きのなさ等を検出することにより得られる感情解析結果を、制御サーバ６を介して、取得されたオペレータ内線番号に対応するオペレータＰＣ端末９ｂに出力する（ステップＳ１０、ステップＳ１１）。入力音声の感情分析結果を、オペレータＰＣ端末９ｂに表示することによって、過去にクレームを申し立てた履歴のない顧客についても、電話対応の初期段階で潜在的な有害顧客として識別することができる。
【００５３】
電話番号分析サーバ４からの電話番号分析結果、声紋分析サーバ３からの声紋分析結果、及び感情分析サーバ５からの感情分析結果は、結果が得られた都度、制御サーバ６を介して、オペレータＰＣ端末装置９ｂに出力されてもよく、代替的に、或いはこれに加えて、制御サーバ６において、これら複数の分析結果に基づき総合判断結果を合成し、例えば現在通話中の話者が有害顧客であると判定された場合には、通話中の顧客が有害顧客に該当することを注意喚起するメッセージと共に最適な対処方法をポップアップメッセージ等でオペレータＰＣ端末９ｂ上に表示してもよい。好適には、この注意喚起メッセージと共に、或いはこのメッセージ出力に呼応したオペレータの表示要求に応答して、オペレータＰＣ端末９ｂ上に、電話番号データベース４１及び声紋データベース３１中に記憶された顧客情報を参照し、例えば、顧客名、住所、登録電話番号、現在の発信元電話番号、声紋チェックの結果、顧客属性、商品購入履歴等が表示されてもよい。
【００５４】
好適には、例えば、類似する登録有害顧客名が得られなかった場合には、通常どおりの電話対応を指示し、或いは何もメッセージを表示せず、類似する登録有害顧客名が得られた場合には、得られた有害顧客ランクに応じて、有害顧客ランクが低ければ通話中のオペレータに有害顧客向け電話応対マニュアルどおりの対応を指示し、有害顧客ランクが高ければ特に慎重な対応を要するとして通話中のオペレータのスーパーバイザーや熟練オペレータ等に呼を転送してもよく、代替的にこれらスーパーバイザーのＰＣ端末等に直接警告メッセージを表示して割り込み通話を促してもよい（ステップＳ１２）。
【００５５】
変形例として、オペレータ電話端末９ａに着呼した際には、例えば公知のＩＶＲ（Ｉｎｔｅｒａｃｔｉｖｅ Ｖｏｉｃｅ Ｒｅｓｐｏｎｓｅ）機能を利用して、自動応答音声を発信元電話端末に音声出力してから、オペレータが電話応対を開始するよう構成してもよい。例えば、着呼時には、自動応答音声で、問い合わせ内容や顧客名などを発信元顧客が発話するよう促し、これに応答して入力された音声の声紋分析結果及び感情分析結果が得られ、オペレータＰＣ端末装置９ｂに表示された後に、オペレータが電話応対を開始すれば、発信元顧客に不自然さを抱かせることなく声紋チェックをより詳細に実行することが可能であるし、例えば顧客名や問い合わせ内容など予め決められた発話内容とこれと同様の発話内容をテンプレート化した登録声紋パターン（音声モデル）との間で声紋チェックを行なうことにより、声紋分析の精度も向上する利点が得られる。
【００５６】
他の変形例として、電話番号分析サーバ４により、発信元電話番号に基づく電話番号分析処理の結果、発信元話者について「警告あり」と判断された場合にのみ、声紋分析サーバ３が発信元話者の声紋分析処理を実行し、発信元話者について「異常なし」と判断された場合には、声紋分析サーバ３による声紋分析処理を実行しないよう、本実施形態を構成してもよい。このように構成すれば、「異常なし」と判断された顧客との電話応対に当たっての声紋分析に係るシステムの負荷が軽減されると共に、オペレータの電話応対も迅速化され得る。
【００５７】
＜本実施形態における有害顧客声紋データ登録処理＞
図５は、第１の実施形態に係る有害顧客の音声モデルを、予め声紋データベース３１に登録する処理手順の一例を示す。
【００５８】
図５において、通話録音データベース１１から、過去に通話録音された通話音声データの中から、有害顧客として登録されるべき特定話者の通話音声データを読み出し（ステップＳ３１）、この特定話者の通話音声データからその特徴を示す声紋情報（声紋パターンのデータ）を抽出する（ステップＳ３２）。この有害顧客として登録されるべき話者の特定は、電話応対を行なったオペレータにより指定されてもよく、或いは通話履歴中のキーワードや個人情報等に基づき自動的に選択されてもよい。代替的に、オペレータと被登録話者との間の電話応対において、被登録話者の本人確認がされた後、例えば個人情報を、新たに録音してもよい。
【００５９】
なお、本明細書において「個人情報」とは、顧客の個人情報であって、例えば顧客氏名、住所、登録された電話番号、生年月日、顧客属性、製品購入履歴等を含むものとし、オペレータＰＣ端末９ｂ上に、警告と共に或いはオペレータの指示入力に応じて、適宜表示され得る。また、顧客属性としては、例えば「有害顧客（＋有害顧客ランク）」、「重要顧客（ＶＩＰ）」等を識別可能とする。さらに、入力音声との照合のため必要な音声モデルは、例えば１０秒程度発話している音声から生成することができるが、この必要秒数は、プロセッサの処理能力や外部記憶装置の容量及びデータ構造に依存して変動し得る。
【００６０】
ここで、本実施形態で声紋分析サーバ３及び制御サーバ６により実行される音声モデル登録処理及び声紋分析処理が使用し得る話者認識技術、とりわけ話者識別技術につき説明する。話者が何を話しているかを認識する音声認識処理とは異なり、話者の声が誰の声であるかを識別するのが話者認識（Ｓｐｅａｋｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）であり、この話者認識においては、人間の音声から、男女の性別、咽喉や口の大きさや形状等の解剖学的特徴、発話スピードやスタイル等の言語環境等に起因して特徴付けられる音響パターンを声紋情報として抽出しモデル化して、個人の声の認識を行なう。この話者認識のうち、本実施形態においては、入力された話者の音声を、記憶されている多数の音声モデルとそれぞれ照合することにより、誰であるか分からない音声を誰の音声か識別するものであり、これを話者識別（Ｓｐｅａｋｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）という。また、本実施形態に係る話者識別においては、有害顧客自身に気付かれることなく、その発話音声を録音して照合用声紋情報を抽出する必要があるため、話者の発話内容を予め制限することが困難である。このため声紋情報が抽出された録音音声の発話テキストと、入力音声の発話テキストとは一致する場合はもとより、一致しない場合も前提として、話者の一般的音声特徴に基づき話者識別を実行する。
【００６１】
図６ないし図１２を参照して、録音音声から声紋情報を抽出する処理の詳細を説明する。録音された音声は、音素単位で、ラベリングされる。すなわち音素単位に、母音であれば、「ａ」、「ｉ」、「ｕ」、「ｅ」、「ｏ」であり、子音であれば、「ｋ」、「ｓ」、「ｔ」、「ｎ」、「ｈ」、「ｍ」、「ｊ」、「ｒ」、「ｗ」、「ｇ」、「ｚ」、「ｄ」、「ｂ」、「ｐ」のいずれかがラベルとして付与される。図６は、「電子（ｄｅｎｓｈｉ）」と発音した場合の、空気振動の大きさを縦軸に、時間を横軸に示したグラフであり、音素ごとに異なる波形パターンが表れている。
【００６２】
次に、ラベリングされた音声を、音の高さ、大きさ、速度により正規化（統一化）する。音声は個人によって音の高さ（音声ピッチ）が異なるため、図７に示すように、元の信号を間引き、更に時間軸上縮めることにより、このピッチを変化させて音の高さを正規化する。また、音声は発声毎に大きさ及び速度が異なるため、図８に示すように、基準音声の速度に合うよう、音声波形を伸縮させて、音声の大きさ及び速度を正規化する。これらの正規化処理は、音素単位で実行される。
【００６３】
次に、サウンドスペクトログラムを生成することにより、声紋情報を抽出する。音声周波数のスペクトルは、話者の声紋を特徴付ける。この周波数スペクトルは、時間信号をフーリエ変換（Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）することで求めることができ、例えば、プロセッサでの処理に適する高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）処理を音声の時間波形信号に適用することにより実現することができる。図９は、音声信号にＦＦＴ処理を適用することによって得られる、ある音がどのくらいの周波数をどの程度含んでいるかを、横軸に周波数（Ｈｚ）、縦軸に音の大きさ（ｄＢ）をとってグラフに示した音声スペクトル、すなわち音声スペクトグラムである。
【００６４】
図１０は、この音声スペクトグラム上の包絡線を示したもので、この包絡線には、複数のピークが表れている。この音声スペクトル上のピークのそれぞれを、フォルマント（ｆｏｒｍａｎｔ）といい、このフォルマントの時間軸上の変化が、個体差に由来する声紋上の特徴を示すものとなる。
【００６５】
人間は、音声を連続して発声するときに、その個体差が音声に表れてくる。例えば、滑舌の良い話者の発声は音ごとの区切りが明瞭となり、滑舌の悪い話者の発声は音ごとの区切りが曖昧となる。音声スペクトルの時間軸上の変化を観察すれば、図１１は、Ｘ軸に時間、Ｙ軸に周波数、Ｚ軸に音の大きさをとって、「電子（ｄｅｎｓｈｉ）」と発声した音声信号について、時間を少しずつずらしながら各時点でのスペクトルを計算してグラフ化することにより、音声スペクトルの時間軸上の変化を三次元で示したものであり、図１２は、Ｚ軸の時間の大きさを色の濃淡で示すことにより、図１１の三次元グラフを二次元表示に変換したものである。図１２を参照すれば、音素ごとに模様が異なることが表されていることが理解される。図１３は、図１２で得られた音声スペクトグラム、すなわち声紋パターンを、話者Ａのパターンと話者Ｂのパターンとを対比してその個体差を示したものであり、本実施形態において声紋分析サーバ３が実行する声紋照合処理は、入力音声の声紋パターンが予め登録された被登録者の声紋パターンのいずれに最も類似するかを算出する。
【００６６】
図５に戻り、このように得られた音素毎のスペクトルを、声紋情報として、被登録者の個人情報と共に、声紋データベース３１に登録する（ステップＳ３３）。
【００６７】
＜本実施形態における有害顧客音声モデルグルーピング処理及び更新処理＞
図５において、さらに声紋データベース３１に登録された各話者（被登録有害顧客）について、他の被登録有害顧客との間の類似指数を算出する（ステップＳ３４）。
【００６８】
図１４は、声紋データベース３１に登録された被登録者の音素毎の時間軸上のスペクトル信号に基づいて、算出された類似指数の模式的一例を示し、例えば声紋データベースに被登録者ＡないしＫが登録されているとした場合に、各登録者間について、０ポイントから１００ポイントの範囲でのスケーリングで算出された類似指数がマトリクス上記載されている。図１５は、図１５で算出された類似指数に基づき、（１００−類似指数）をそれぞれ算出することにより、被登録者間の声紋パターンの相対的距離を算出した一例を示す。図１６及び図１７は、図１５で得られた各登録者間の声紋パターンの相対距離に基づき、例えば相対距離４０ポイントをグルーピング用閾値とした場合に、被登録話者ＡないしＫについて、グルーピングを行なった結果を示すものである。例えば、被登録話者Ａ、Ｂ、Ｃ、Ｄ、Ｅの間の相対距離は、―４０≦Ａ−Ｂ≦４０、−４０≦Ａ−Ｃ≦４０、・・・、−４０≦Ｄ−Ｅ≦４０であるから、被登録話者Ａ、Ｂ、Ｃ、Ｄ、Ｅは相互の相対距離絶対値がグルーピング用閾値である４０ポイント以内にあり、これをグループ１とする。同様に、被登録話者Ｆ、Ｇ、Ｈ、Ｉ、Ｊの間の相対距離は、−４０≦Ｆ−Ｇ≦４０、−４０≦Ｆ−Ｈ≦４０、・・・、−４０≦Ｉ−Ｊ≦４０であるから、被登録話者Ｆ、Ｇ、Ｈ、Ｉ、Ｊは相互の相対距離絶対値がグルーピング用閾値である４０ポイント以内にあり、これをグループ２とする。被登録話者Ｋについては、他の被登録話者との相対距離がいずれもグルーピング用閾値を上回る（５５ないし７５）であるため、Ｋ単独をグループ３とする。
【００６９】
図５に戻り、他登録話者間との間の声紋パターン（声紋情報）の相対距離の絶対値（本明細書において、特記しない限り、「相対距離」とは相対距離の絶対値を示すものとする）がグルーピング用閾値内にある被登録者をグループ化する（ステップＳ３５）。
【００７０】
次に、各グループ内で他のグループ内被登録話者との間の相対距離の総和が最小の被登録話者を、当該グループの基準者と設定する（ステップＳ３６）。例えば、図１４ないし図１７の例においては、グループ１内基準者をＢ、グループ２内基準者をＨ，グループ３内基準者をＫとする。このようにして得られたグループの情報及び各グループの基準者の情報を、声紋データベース３１に登録する（ステップＳ３７）。
【００７１】
ここで、１グループに属する被登録者の数が、所定のグループ内被登録者数閾値、例えば一例として１０人を超えた場合には、１グループに属する被登録者数（グループ内話者数閾値）が１０人以内に納まるよう、声紋パターンの相対距離（絶対値）のグルーピング用閾値を減少させる（ステップＳ３８）。このように１グループに属する被登録者の数について閾値を設けて、グループ内被登録者数を所定数内に維持することによって、１つのグループ内の全被登録者について実行される声紋照合の所要時間を所定時間内に留め、入力音声声紋照合におけるリアルタイム性を維持することができる。
【００７２】
なお、上記の例では、グルーピング用閾値を４０ポイント、グループ内話者数閾値を１０人として説明したが、これらの閾値を決定するには、本実施形態に係る話者識別に要するトータル時間が、通話中に許容される応答インターバル時間を超えるか否かに基づき決定することが好適である。一例として、例えば、通話中に許容される応答インターバル時間は５秒以内、より好適には２秒以内とし、１件の被登録話者の声紋情報と入力された声紋情報との間の比較処理に０．２秒を要するとすると、トータルで１０人分の比較処理を行なうことが実用的時間内で許容されるため、（グループ数＋（グループ内話者数閾値−１））が１０となるようグループ内話者数閾値を決定し、これに基づき相対距離のグルーピング用閾値を決定すればよい。
【００７３】
＜本実施形態における声紋照合処理＞
図１８は、本実施形態に係る入力音声の声紋照合の処理手順の一例を示す。
【００７４】
図１８において、各グループの基準者の声紋情報（図１６、図１７の例においては、被登録者Ｂ，Ｈ，Ｋ）と、オペレータが電話応対中である発信元話者の入力音声の声紋情報との照合を実行する（ステップＳ６１）。この声紋照合を行なうために、入力音声は、好適には例えば３秒間程度録音され、声紋データベース３１への登録処理において既に説明したのと同様に、音声信号に対して音素毎ラベリングされ、音のピッチ、大きさ、速度について正規化された上で、音声スペクトグラム（声紋パターン）が抽出される。
【００７５】
ステップＳ６１における基準者との声紋照合処理の結果、入力音声の声紋情報と最も相対距離が近い（すなわち類似指数が最も大きい）基準者が属するグループを選択する（ステップＳ６２）。
【００７６】
選択されたグループ内で、既に声紋照合がされた基準者を除く全被登録話者の声紋情報と、入力音声の声紋情報との照合を実行する（ステップＳ６３）。
【００７７】
この声紋照合の結果、選択されたグループ内の全被登録者（基準者＋ステップＳ６３で照合の対象とされた被登録者）を母集団として、入力音声の声紋情報との相対距離が最も小さく、かつ、一致判定用閾値内にある声紋情報を有する被登録者を特定する（ステップＳ６４）。なお、この一致判定用閾値は、好適には、上記のグルーピング用閾値（例えば４０ポイント）より小さい値であり、例えば２０ポイントであってよい。
【００７８】
このようにして、声紋分析サーバ３は、ステップＳ６４で特定された有害顧客名等の有害顧客識別子をその登録された個人情報と共に、制御サーバ６に送出する。他方、ステップＳ６４において被登録者が特定されなかった場合には、声紋分析サーバ３は、該当者なしの旨を示すデータを制御サーバ６に送出する。制御サーバ６は、例えば受信した有害顧客名及び有害顧客ランクをオペレータＰＣ端末９ｂ上に表示させ、好適には、オペレータからの指示入力に応答して、受信した有害顧客識別子をキーとしてさらに利用者データベース及び通話録音データベースを適宜参照し、オペレータＰＣ端末９ｂ上に過去の対応履歴や通話履歴等を表示させる。
【００７９】
＜本実施形態に係る有害顧客検知システムのハードウエア構成＞
図１９は、本実施形態に係る各サーバ装置のハードウエア構成の一例を示すブロック図である。図１９に示されるコンピュータ装置１１０である各サーバ装置において、ＣＰＵ１１１は、ＲＯＭ１１４および／またはハードディスクドライブ１１６に格納されたプログラムに従い、ＲＡＭ１１５を一次記憶用ワークメモリとして利用して、システム全体を制御する。さらに、ＣＰＵ１１１は、マウス１１２ａまたはキーボード１１２を介して入力される利用者の指示に従い、ハードディスクドライブ１１６に格納されたプログラムに基づき、第１の実施形態に係る有害顧客検知処理を実行する。ディスプレイインタフェイス１１３には、ＣＲＴやＬＣＤなどのディスプレイが接続され、ＣＰＵ１１１が実行する有害顧客検知処理のための入力待ち受け画面、処理経過や処理結果、検索結果などが表示される。リムーバブルメディアドライブ１１７は、主に、リムーバブルメディアからハードディスクドライブ１１６へファイルを書き込んだり、ハードディスクドライブ１１６から読み出したファイルをリムーバブルメディアへ書き込む場合に利用される。リムーバブルメディアとしては、フロッピディスク(ＦＤ)、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−Ｒ／Ｗ、ＤＶＤ−ＲＡＭやＭＯ、あるいはメモリカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティックなどが利用可能である。
【００８０】
プリンタインタフェイス１１８には、レーザビームプリンタやインクジェットプリンタなどのプリンタが接続される。ネットワークインタフェイス１１９は、コンピュータ装置をネットワークへ接続するためのインターフェースである。
【００８１】
なお、第１の実施形態に係る各サーバ装置及びオペレータＰＣ端末９ｂに対する入力手段は、マウス１１２ａあるいはキーボード１１２に限定されることなく、任意のポインティングデバイス、例えばトラックボール、トラックパッド、タブレットなどを適宜用いることができる。携帯情報端末を本実施形態に係るサーバ装置及びオペレータＰＣ端末９ｂに接続される入出力装置として用いる場合には、入力部をボタンやモードダイヤル等で構成してもよい。
【００８２】
また、図１９に示した本実施形態に係る各サーバのハードウエア構成は一例に過ぎず、その他の任意のハードウエア構成を用いることができることはいうまでもない。
【００８３】
殊に、本実施形態に係る有害顧客検知処理の全部又は一部は、上記コンピュータ端末装置１１０あるいはＰＤＡ等の携帯情報端末装置等によって実現されてもよく、コンピュータ端末装置等とサーバー装置とをＢｌｕｅｔｏｏｔｈ（登録商標）等の無線、あるいはインターネット（ＴＣＰ／ＩＰ）、公共電話網（ＰＳＴＮ）、統合サービス・ディジタル網（ＩＳＤＮ）等の有線通信回線で相互接続した、インターネットあるいは任意の周知のローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）からなるネットワークシステムによって通話録音処理の一部又は全部が実現されてもよい。
【００８４】
以上のとおり、本実施形態によれば、顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積し管理するＣＲＭシステムにおいて、円滑な電話応対業務を阻害するような有害顧客を、電話応対の初期段階でリアルタイムに検知し、警告することができる。
【００８５】
また、発信元の有害顧客自身に気付かれることなく、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
【００８６】
さらに、真正な顧客名を名乗らない有害顧客や、コールセンタにおいて既登録である電話以外の電話から通話を行なう有害顧客であっても、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
【００８７】
本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含み、その要旨を逸脱しない範囲で多様な改良ないし変更が可能である。例えば、本実施形態において開示された電話番号分析処理、声紋分析処理、及び感情解析処理は、それぞれ本実施形態に係る有害顧客検知システムに単独で実装されてもよく、任意の組み合わせで実装されてもよい。
【００８８】
また本発明は、重要顧客（ＶＩＰ）をオペレータが電話応対の初期段階で識別することにも適用され得る。この場合、「顧客属性」として、「重要顧客」であること及びその内容を示す属性値を設け、発信元話者識別の結果として、例えばオペレータＰＣ端末９ｂ等に、重要顧客であることを示すメッセージを表示すればよい。例えば発信元話者が、単に「鈴木だが」と名乗ったとすると、話者識別の結果から、オペレータが即時に「○○商事の鈴木一郎様ですね」等と電話応対することが可能となる。さらに、本発明の範囲は、請求項１により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【図面の簡単な説明】
【００８９】
【図１】本発明の一実施形態に係る有害顧客検知システムのネットワーク構成の一例を示すブロック図である。
【図２】本発明の一実施形態に係る有害顧客検知システムにより実行される有害顧客検知処理の制御・びデータフロー及びタイムシーケンスを示す図である。
【図３】図１における電話番号データベース４１内のデータ構造の一例を示す模式図である。
【図４】図１における声紋データベース３１内のデータ構造の一例を示す模式図である。
【図５】本発明の一実施形態に係る声紋分析サーバ３及び制御サーバ６が実行する有害顧客声紋情報登録処理の処理手順の一例を示すフローチャートである。
【図６】録音音声に対する音素単位でのラベリング処理を説明する模式図である。
【図７】録音音声に対するピッチ統一処理を説明する模式図である。
【図８】録音音声に対する音声の大きさ・速度統一処理を説明する模式図である。
【図９】録音音声の時間信号に高速フーリエ変換を適用して音声スペクトグラムを得る処理を説明する模式図である。
【図１０】音声スペクトグラムに対する包絡線からフォルマントを検出する処理を説明する模式図である。
【図１１】音声スペクトグラムの時間軸上の変化を説明する模式図である。
【図１２】図１１の音声スペクトグラム三次元グラフを二次元グラフに変換して表示した図である。
【図１３】図１２の音声スペクトグラムの個体差による相違を一例として説明する図である。
【図１４】声紋データベースに登録された話者相互間について算出される類似指数を一例として説明する表である。
【図１５】図１４において算出された類似指数に基づき算出される話者相互間の相対距離を一例として説明する表である。
【図１６】図１５における話者相互間の相対距離を模式的に示すグラフである。
【図１７】図１６のグラフに基づき、相対距離が所定のグルーピング閾値内にある話者声紋パターンをグルーピングした結果を一例として説明する表である。
【図１８】本発明の一実施形態に係る声紋分析サーバ３が実行する声紋照合処理の処理手順の一例を示すフローチャートである。
【図１９】本実施形態に係る各サーバ装置のハードウエア構成の一例を示す図である。
【符号の説明】
【００９０】
ＰＢＸ １
音声取得サーバ ２
声紋分析サーバ ３
電話番号分析サーバ４
感情解析サーバ ５
制御サーバ ６
顧客電話端末 ７
ＰＳＴＮ ８
オペレータ電話端末 ９ａ
オペレータＰＣ端末 ９ｂ
通話録音サーバ １０
構内回線 １１ａ，１１ｂ，１１ｃ
声紋データベース ３１
電話番号データベース ４１
通話録音データベース １０
【技術分野】
【０００１】
本発明は、有害顧客検知システム、その方法及び有害顧客検知プログラムに関する。より詳しくは、例えば顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積して管理するＣｕｓｔｏｍｅｒ Ｒｅｌａｔｉｏｎｓｈｉｐ Ｍａｎａｇｅｍｅｎｔ（ＣＲＭ）システムにおいて、円滑な電話応対業務を阻害するような有害顧客を、例えば話者識別技術により検知して応対担当者に自動的に警告するための技術に関する。
【背景技術】
【０００２】
顧客と事業者との間でなされた音声通話を事業者側において録音して管理する各種技術が提案されている。
【０００３】
例えば、特許文献１は、顧客からの電話応対部署であるコールセンタにおけるオペレータの通話内容をデータ化して録音すると共に検索するための、中央集中型通話録音システムを開示する。
【０００４】
一般に、事業者が運営するコールセンタ等の構内には、公衆電話交換回線網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ：ＰＳＴＮ）からの発信及び着信が集中する交換機（ＰＢＸ）が設置され、この交換機により音声通話が、コールセンタ構内の複数の固定電話に分配される。このため、この交換機から分岐する通話録音サーバを設ければ、通話を録音蓄積することができる。オペレータ側には、電話応対用内線電話と共に、ＰＣなどの端末装置が設けられてよく、このオペレータ端末装置には、発話者が告げた顧客名をキーとして顧客情報を検索する機能や、当該顧客の過去の通話履歴を表示する機能が備えられてよい。
【０００５】
一方、特許文献２は、事業者から顧客へ発呼されるアウトバウンドコールを大量に行なうための分散型通話録音システムを開示する。
【特許文献１】特開２００６−９４２６０号公報
【特許文献２】特開２００５−２１０２２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、一般にコールセンターでは、凡そ事業者が製造販売するあらゆる製品を購入した顧客に対して、また場合によっては製品購入者に限らず一般消費者に対して、広く電話受け付けの対象としている。このため、事業者の製品の問題点を過剰に誇張して非難したり、或いは接客態度やサービスの不手際を過剰に追及する有害顧客、いわゆるクレーマーからの苦情電話であっても、コールセンタのオペレータが電話応対せざるを得ない。
【０００７】
しかしながら、こうした有害顧客からの電話は長時間に亘り通話を占有することも多く、さらに執拗に多数回の通話がなされることも多いため、オペレータの円滑な電話応対業務が阻害され、オペレータの電話応対の効率が著しく低下してしまう。他方、有害顧客からのときに脅迫的な苦情に電話応対する際に、その応対を誤ると、これを奇貨としてさらに不当な金銭賠償を求められたり、法的措置に及ばれたりすることにより、事業者を訴訟リスクに晒し、さらに事業者の信用を毀損する情報をインターネット上で流布されればその社会的信用も損ないかねない。特に、コールセンターオペレータが社員でなく、アウトソース先の社外の契約者であった場合には、有害顧客に対するオペレータの電話応対の質及び効率を同時に維持することは一層困難となる。
【０００８】
このため、受け付けた通話が上記のような有害顧客からの通話であることを、コールセンタのオペレータに、電話応対の初期段階で通知、警告することが強く要請される。
【０００９】
ここで、通常の顧客からの通話であれば、電話を受け付けた際に、オペレータが、顧客名や住所、製品シリアル番号その他の顧客を特定するための１つ又は複数の識別子を顧客に告げさせ、この告げられた識別子をキーとして、顧客データベースを検索し、検索された顧客情報や過去の通話履歴情報をオペレータ端末に表示することによって、当該顧客が誰であり、過去にどのような電話応対がされたのかを容易に把握することができる。また、通信キャリアから得られる発信者電話番号をキーに顧客データベースを検索することによっても、顧客名を特定することができる。
【００１０】
しかしながら、上記の有害顧客は、その苦情内容が悪質であればあるほど、過去にも苦情を申し立てた有害顧客であると特定されることを避けようとする言動及び行動パターンを有する。このため、たとえオペレータが電話受付の際に名前を尋ねたとしても、真正な名前を名乗らないことが多いため、顧客データベースを検索することによって過去に特定された有害顧客と同定することができない。さらに、有害顧客は、通話にあたって、過去の有害顧客であると特定されることを避けるため、顧客データベースに登録された自宅電話や携帯電話以外の電話を使用したり、或いは発信者電話番号を非通知モードにして通話することも多い。このため、顧客データベースを参照することによって、或いは通信キャリアから得られる発信者電話番号によって顧客名を特定することもできない。
【００１１】
本発明は、上記課題に鑑みてされたものであり、その目的は、顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積し管理するＣＲＭシステムにおいて、円滑な電話応対業務を阻害するような有害顧客を、電話応対の初期段階でリアルタイムに検知し、警告することの可能な有害顧客検知システム、その方法及び有害顧客検知プログラムを提供する点にある。
【００１２】
本発明の他の目的は、発信元の有害顧客自身に気付かれることなく、通話中にリアルタイムで、発話者が有害顧客であることを同定することを可能にする点にある。
【００１３】
本発明の他の目的は、真正な顧客名を名乗らない有害顧客や、コールセンタにおいて既登録である電話以外の電話から通話を行なう有害顧客であっても、通話中にリアルタイムで、発話者が有害顧客であることを同定することを可能にする点にある。
【課題を解決するための手段】
【００１４】
コールセンタ業務の文脈における有害顧客は、コールセンター対する通話において、一般に、過去にコールセンタ宛に苦情電話を架けた履歴が存在することが多いが、他方、真正な顧客名を名乗らず、また登録された電話番号による特定が困難であると特徴付けられる。
【００１５】
なお、本明細書及び請求項において、「有害顧客」とは、典型的には事業者の製品の問題点を過剰に誇張して非難したり、或いは接客態度やサービスの不手際を過剰に追及する顧客であり、いわゆる「クレーマー」もこれに含まれるものであるが、これに限られず円滑な電話応対業務を阻害する可能性のある行動パターンをとり得るあらゆる利用者を広く意味するものであり、例えばいわゆる「不審者」等、有害顧客の候補となり得る者も含むものとする。
【００１６】
このような特徴を持つ話者を特定するために利用可能な技術として、事前に登録した話者の録音音声と、認証時に入力された音声との間で声紋を照合することにより、誰が発声している音声であるかを特定する声紋照合技術が公知である。しかしながら、この声紋照合は、識別対象となる発話者が予め登録されたＮ人の話者中の誰であるかを、Ｎ回の比較処理を行なって判断するものであるため、コンピュータ処理が不可避的に高負荷となり、相当数（一例として１００名以上であるがこれに限定されない）の有害顧客の声紋を登録した場合、入力された音声と全件の声紋との照合を、有害顧客に気付かれることなく、リアルタイムで実現することは著しく困難である。
【００１７】
本願発明においては、入力された音声の登録された音声との一致判定を、コールセンターにおける通話中にリアルタイムで実行するため、被登録者数の増加にも耐え得る複数段階（例えば二段階）での音声照合処理を実行する。発信元話者が有害顧客と思しき場合に、電話応対する担当者に注意喚起できれば足りるため、一致判定処理は実用的精度であればよい。また、入力された音声の発話テキストと、予め登録された音声の発話テキストとは、必ずしも一致しなくてもよい。
【００１８】
本発明のある特徴によれば、通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、有害顧客検知システムであって、予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出部と、全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング部と、各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定部と、抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に記憶する声紋データベースと、発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得部と、前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択部と、前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択部と、選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力部とを具備することを特徴とする有害顧客検知システムが提供される。
【００１９】
上記有害顧客検知システムは、さらに、前記グルーピング部により１のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第１の閾値を減少させ、減少された第１の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成部を具備してよい。
【００２０】
前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、前記メッセージ出力部は、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第１の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第２の警告メッセージを、それぞれ出力してよい。
【００２１】
上記有害顧客検知システムは、さらに、利用者の電話敷設履歴情報を、当該電話の電話番号と共に記憶する電話番号データベースと、前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第２のメッセージ出力部とを具備してよい。
【００２２】
上記有害顧客検知システムは、さらに、前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析部を具備してよい。
【００２３】
本発明の他の特徴によれば、通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、声紋情報抽出部と、グルーピング部と、基準者設定部と、声紋データベースと、音声取得部と、グループ選択部と、被登録話話者選択部と、メッセージ出力部とを具備する有害顧客検知システムが実行する有害顧客検知方法であって、予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出ステップと、全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピングステップと、各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定ステップと、抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶ステップと、発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得ステップと、前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択ステップと、前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択ステップと、選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力ステップとを含むことを特徴とする有害顧客検知方法が提供される。
【００２４】
本発明の他の特徴によれば、通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する有害顧客検知処理をコンピュータに実行させるための有害顧客検知プログラムであって、該プログラムは、前記コンピュータに、予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出処理と、全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング処理と、各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定処理と、抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶処理と、発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得処理と、前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択処理と、前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択処理と、選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力処理とを含む処理をコンピュータに実行させるためのものであることを特徴とする有害顧客検知プログラムが提供される。
【発明の効果】
【００２５】
本発明によれば、声紋分析サーバは、予め登録され、グルーピングされた複数の有害顧客の音声モデルの中から、各グループの基準話者と、電話受け付けされた入力音声との照合のみを実行し、最も類似する音声と判定された基準話者が属するグループに属する音声モデルと入力音声との照合を実行し、入力音声との類似度が所定の閾値内にある音声モデルを特定し、この音声モデルに対応する有害顧客を同定して、電話応対を行なう対応者に通話中に通知する。
【００２６】
これにより、顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積し管理するＣＲＭシステムにおいて、円滑な電話応対業務を阻害するような有害顧客を、電話応対の初期段階でリアルタイムに検知し、警告することができる。
【００２７】
また、発信元の有害顧客自身に気付かれることなく、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
【００２８】
さらに、真正な顧客名を名乗らない有害顧客や、コールセンタにおいて既登録である電話以外の電話から通話を行なう有害顧客であっても、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
【００２９】
従って、本発明に係る有害顧客検知システム、その方法及び有害顧客検知プログラムによれば、コールセンタ業務において、追加的設備を要することなく、有害顧客を電話応対の初期段階で自動的に把握することができ、電話応対業務の効率化が図られるため、事業者のＣＲＭ向上に資する。
【発明を実施するための最良の形態】
【００３０】
以下、添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能及び構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３１】
＜本実施形態の構成＞
図１は、本発明の実施形態に係る有害顧客検知システムのネットワーク構成の非限定的一例を示す。有害顧客検知システムは、ＰＢＸ（交換機）１、音声取得サーバ２、声紋分析サーバ３、電話番号分析サーバ４、感情解析サーバ５、制御サーバ６、顧客電話端末７、ＰＳＴＮ（公衆電話網）８、オペレータ電話端末９ａ、オペレータＰＣ端末9ｂ、通話録音サーバ１０を具備する。有害顧客検知システム中、ＰＢＸ（交換機）１、音声取得サーバ２、声紋分析サーバ３、電話番号分析サーバ４、感情解析サーバ５、制御サーバ６、オペレータ電話端末９ａ、オペレータＰＣ端末9ｂ、通話録音サーバ１０の全部或いは一部は、コールセンタ内に設置され、ＬＡＮ／ＷＡＮ等のイントラネット１１ｄ等のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網により相互接続されてよい。或いは代替的に、音声取得サーバ２、声紋分析サーバ３、電話番号分析サーバ４、感情解析サーバ５、制御サーバ６、通話録音サーバ１０、及びこれらサーバが備える通話録音データベース１０１、声紋データベース３１、電話番号データベース４１等の全部或いは一部は、インターネット等の遠隔ＩＰ接続を介して適宜コールセンタ外部に設置されてもよい。
【００３２】
ＰＢＸ１は、コールセンタ内の内線電話同士を接続すると共に、各オペレータ電話端末９ａを、構内回線１１ａ、１１ｂ、１１ｃ・・・を介してＰＳＴＮ（公衆電話網）８に回線交換接続して、各オペレータ電話端末９ａと顧客電話端末７との通話を実現する。
【００３３】
音声取得サーバ２は、ＰＢＸ１に分岐接続され、各オペレータ電話端末９ａと顧客電話端末７との通話音声を取得すると共に、取得された音声をオペレータ電話端末９ａの番号（例えば内線番号）と対応付けて各サーバに供給する。
【００３４】
代替的に、この音声取得サーバ２は、ＰＳＴＮ８の終端装置（ＤＳＵ）とＰＢＸ１との間の回線に分岐接続されてもよい。
【００３５】
声紋分析サーバ３は、音声取得サーバ２から供給される取得音声を、声紋データベース３１内に予め登録された有害顧客の音声モデル（声紋パターン）と比較し、この比較結果をオペレータ電話端末９ａの内線番号と共に制御サーバ６に供給する。
【００３６】
電話番号分析サーバ４は、ＰＢＸ１から供給される発信元の顧客電話端末７の電話番号をキーとして、予め顧客電話番号ごとに与信情報を登録する電話番号データベース４１を検索して得られる与信チェックの結果をオペレータ電話端末９ａの内線番号と共に制御サーバ６に供給する。
【００３７】
感情解析サーバ５は、音声取得サーバ２から供給される取得音声の声の揺らぎや感情の高ぶり、落ち着きのなさ等を検出することにより得られる感情解析結果をオペレータ電話端末９ａの内線番号と共に制御サーバ６に供給する。
【００３８】
制御サーバ６は、声紋分析サーバ３から供給される比較結果、電話番号分析サーバ４から供給される与信チェック結果、及び感情解析サーバ５から供給される感情解析結果の全部又は一部に基づいて、取得された音声が有害顧客か否かを判定してこの判定結果を、リアルタイムにオペレータＰＣ端末装置９ｂ上に警告表示する。好適には、この分析結果は有害顧客の程度を示すランク情報と共に警告表示されてよい。また好適には、オペレータＰＣ端末装置９ｂは、ブラウザ機能を有し、通話録音データベース１０１に蓄積された録音音声データ、及び電話番号データベース４１ないし声紋データベース３１に記憶された利用者情報ないし有害顧客情報を適宜検索及び表示させることができる。代替的に、或いはこれに加えて、制御サーバ６は、オペレータ電話端末９ａに、通話中の発信者が有害顧客に該当した場合に、発信者である顧客側には聴取されない警告音をトーン等により割り込み音声出力してもよい。
【００３９】
通話録音サーバ１０は、制御サーバ６の制御の下、着呼後の音声取得サーバ２から供給される取得音声を、例えばＮＡＳ（Ｎｅｔｗｏｒｋ Ａｐｐｌｉａｎｃｅ Ｓｔｏｒａｇｅ）等の大規模外部記憶装置により構成される通話録音データベース１０１に蓄積保存する。
【００４０】
なお、図１におけるＰＢＸ１は、ＰＳＴＮ１等の公衆電話交換回線網を介して顧客通話端末４に接続されているが、これに替えて、或いはこれに加えて、ＩＰ網接続機能を備えることにより、ＶｏＩＰ（Ｖｏｉｃｅ Ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク等の音声パケット通信ネットワークを介して、ＩＰ電話機能を備える顧客ＩＰ通話端末に接続されてよく、この場合、音声取得サーバ２は、顧客ＩＰ通話端末及びオペレータ電話端末９ａ間の音声通話を取得することができる。顧客電話端末７は、固定電話機或いは携帯電話機のいずれであってもよい。
【００４１】
なお、請求項における声紋情報抽出部、グルーピング部、基準者設定部は、声紋分析サーバ３ないし制御サーバ６に、請求項における音声取得部は、音声取得サーバ２ないし制御サーバ６に、請求項におけるグループ選択部及び被登録話者選択部は、声紋分析サーバ３に、請求項におけるメッセージ出力部は、制御サーバ６ないしオペレータ端末装置９ｂに、それぞれ相当する。
【００４２】
また、図１に示すネットワーク及びハードウエアの構成は一例に過ぎず、各サーバ及びデータベースを必要に応じて一体としてもよく、各コンポーネントをＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）等の外部に設置してもよい。
【００４３】
＜本実施形態における有害顧客検知処理概要＞
図２は、制御サーバ６による制御の下実行される、第１の実施形態に係る有害顧客検知システムにおける、顧客電話端末７からコールセンタのオペレータ電話端末９ａへの着呼から、通話中の顧客が有害顧客であることをオペレータ端末９ｂないし電話端末９ａに通知して振り分け処理を行なうまでの処理シーケンスの非限定的一例を示す。
【００４４】
図２において、まず顧客電話端末７からＰＢＸ１に着呼する（ステップＳ１）。ＰＢＸ１は、着呼により、呼情報を取得する。取得される呼情報とは、例えば、着信開始情報（着信開始タイムスタンプを含む）、発信開始情報（発信開始タイムスタンプを含む）、通話開始情報（通話開始タイムスタンプを含む）、通話終了情報（通話終了タイムスタンプを含む）等の呼制御情報と、発信元電話番号、発信先電話番号、発信元チャネル番号、発信者番号、着信チャネル番号、着信電話番号（着信先内線番号等）等の呼識別情報とを含み、好適には、ＣＴＩ（Ｃｏｍｐｕｔｅｒ Ｔｅｌｅｐｈｏｎｙ Ｉｎｔｅｇｒａｔｉｏｎ）プロトコルを実装した制御サーバ６上ないしオペレータＰＣ端末装置９ｂ上で稼動するＣＴＩプログラムと連動して、これらの表示装置上に呼情報をリアルタイムに表示してよい。ＰＢＸ１は、取得される呼情報の全部又は一部、少なくとも発信元の顧客電話端末７の番号と、オフフックしたオペレータ電話端末９ａの内線番号とを対応付けて、この発信元電話番号とオペレータ内線番号とを電話番号分析サーバ４に送出する（ステップＳ２）。好適には、電話番号分析サーバ４は、さらに、呼情報から、発信元顧客電話端末が発信者番号を非通知としたか否かを示すフラグを取得する。
【００４５】
図３は、電話番号分析サーバ４により参照される電話番号データベース４１の構成の一例を示す。図３において、電話番号データベース４１は、利用者データベース４１１と電話敷設データベース４１２を含む。利用者データベース４１１は、例えば表形式で構成され、一例として、各利用者毎に、利用者（顧客）を一意に識別するための利用者ＩＤ、利用者名、電話敷設データベース４１２中の電話番号へのリンク、電話番号変更履歴の情報、電話料金滞納履歴の情報を含む。電話敷設データベース４１２は、例えば表形式で構成され、一例として、各電話番号毎に、電話番号、電話敷設年月日の情報を含む。代替的に、利用者データベース４１１と電話敷設データベース４１２とは、例えば電話番号をキーとして一体に構成されてもよい。
【００４６】
図２に戻り、電話番号分析サーバ４は、取得された発信元電話番号をキーとして電話番号サーバ４１を検索することにより、発信元電話番号に基づく電話番号分析処理、すなわち簡易的な与信チェック処理を行ない（ステップＳ３）、この与信チェック結果を、制御サーバ６を介して、取得されたオペレータ内線番号に対応するオペレータＰＣ端末装置９ｂに出力する（ステップＳ４）。
【００４７】
一例として、電話番号分析サーバ４は、発信元電話番号が通知されたか否かを示すフラグを参照し、かつ電話敷設年月日を参照して、発信者電話番号が通知され、かつ発信元電話が敷設されて所定期間経過したものであれば（すなわち固定電話ないし携帯電話の契約期間が長期間経過していれば）、与信チェック結果として、異常なしと判断する。他方、発信者番号が通知されたが発信元電話が敷設されて間もないものであった場合（すなわち固定電話ないし携帯電話の契約期間が短期間であれば）、或いは発信者番号が非通知であった場合には、与信チェック結果として、警告ありと判断する。
【００４８】
好適には、電話番号分析サーバ４は、警告ありと判断した場合には、当該発信元話者を不審者の可能性ある者として、その録音音声の声紋情報を抽出して声紋データベース３１に登録するよう、制御サーバ６に指示してもよい。また、好適には、複数の警告レベルを予め設定し、例えば発信者番号が非通知であった場合には、発信者番号が通知されたが発信元電話が敷設されて間もないものであった場合よりも警告レベルを上げてもよい。顧客とオペレータとの通話が開始される前に、オペレータＰＣ端末装置９ｂに有害顧客可能性ありとの警告を表示することができ、これにより、通話開始前にオペレータに注意喚起することができる（ステップＳ５）。
【００４９】
次に、顧客電話端末７とオペレータ電話端末９ａとの間で音声通話が開始され（ステップＳ６、Ｓ７）、この音声が音声取得サーバ２により取得され、声紋分析サーバ３に供給される。
【００５０】
図４は、声紋分析サーバ３により参照される声紋データベース３１の構成の一例を示す。図４において、声紋データベース３１は、有害顧客データベース３１１と声紋グループデータ３１２を含む。有害顧客データベース３１１は、例えば表形式で構成され、一例として、予め有害顧客と特定された各顧客毎に、有害顧客を一意に識別するための有害顧客ＩＤ、有害顧客個人情報、有害顧客ランク、声紋グループデータへのリンク、当該有害顧客が属する声紋情報のグループＩＤの情報を含む。声紋グループデータ３１２は、一例として、予め類似度の高い声紋データをグルーピングして、各声紋グループ毎に構成され、当該声紋グループに属する有害顧客の声紋データを含み、この声紋データにはそれぞれ、個人情報へのリンクと、当該声紋データを有する有害顧客が当該グループ内の基準者であるか否かを占めす情報が対応付けられている。
【００５１】
図２に戻り、声紋分析サーバ３は、通話により取得された音声を所定時間分（例えば３秒間以上）切り出して、この切り出された取得音声の声紋データ（後述する声紋パターン）と、声紋データベース３１に事前に登録された有害顧客の声紋データとを照合することにより、取得音声の話者が登録された有害顧客に該当するか否かを判定し（ステップＳ８）、この声紋分析結果を、制御サーバを介して、取得されたオペレータ内線番号に対応するオペレータＰＣ端末９ｂに出力する（ステップＳ９）。好適には、出力される声紋分析結果には、検出された有害顧客名、有害である程度を示す有害顧客ランクを含み、また表示された有害顧客名等をオペレータが選択すると、当該有害顧客の過去の通話履歴や電話対応履歴が続けてオペレータＰＣ端末９ｂに表示されるよう構成されてよい。代替的に、入力音声とその類似度が一定の閾値内にある複数の有害顧客名を、該当有害顧客候補者リストとして表示させてもよい。この声紋分析処理の詳細は後述される。
【００５２】
次に、感情解析サーバ５は、音声取得サーバ２から供給される取得音声の声の揺らぎや感情の高ぶり、落ち着きのなさ等を検出することにより得られる感情解析結果を、制御サーバ６を介して、取得されたオペレータ内線番号に対応するオペレータＰＣ端末９ｂに出力する（ステップＳ１０、ステップＳ１１）。入力音声の感情分析結果を、オペレータＰＣ端末９ｂに表示することによって、過去にクレームを申し立てた履歴のない顧客についても、電話対応の初期段階で潜在的な有害顧客として識別することができる。
【００５３】
電話番号分析サーバ４からの電話番号分析結果、声紋分析サーバ３からの声紋分析結果、及び感情分析サーバ５からの感情分析結果は、結果が得られた都度、制御サーバ６を介して、オペレータＰＣ端末装置９ｂに出力されてもよく、代替的に、或いはこれに加えて、制御サーバ６において、これら複数の分析結果に基づき総合判断結果を合成し、例えば現在通話中の話者が有害顧客であると判定された場合には、通話中の顧客が有害顧客に該当することを注意喚起するメッセージと共に最適な対処方法をポップアップメッセージ等でオペレータＰＣ端末９ｂ上に表示してもよい。好適には、この注意喚起メッセージと共に、或いはこのメッセージ出力に呼応したオペレータの表示要求に応答して、オペレータＰＣ端末９ｂ上に、電話番号データベース４１及び声紋データベース３１中に記憶された顧客情報を参照し、例えば、顧客名、住所、登録電話番号、現在の発信元電話番号、声紋チェックの結果、顧客属性、商品購入履歴等が表示されてもよい。
【００５４】
好適には、例えば、類似する登録有害顧客名が得られなかった場合には、通常どおりの電話対応を指示し、或いは何もメッセージを表示せず、類似する登録有害顧客名が得られた場合には、得られた有害顧客ランクに応じて、有害顧客ランクが低ければ通話中のオペレータに有害顧客向け電話応対マニュアルどおりの対応を指示し、有害顧客ランクが高ければ特に慎重な対応を要するとして通話中のオペレータのスーパーバイザーや熟練オペレータ等に呼を転送してもよく、代替的にこれらスーパーバイザーのＰＣ端末等に直接警告メッセージを表示して割り込み通話を促してもよい（ステップＳ１２）。
【００５５】
変形例として、オペレータ電話端末９ａに着呼した際には、例えば公知のＩＶＲ（Ｉｎｔｅｒａｃｔｉｖｅ Ｖｏｉｃｅ Ｒｅｓｐｏｎｓｅ）機能を利用して、自動応答音声を発信元電話端末に音声出力してから、オペレータが電話応対を開始するよう構成してもよい。例えば、着呼時には、自動応答音声で、問い合わせ内容や顧客名などを発信元顧客が発話するよう促し、これに応答して入力された音声の声紋分析結果及び感情分析結果が得られ、オペレータＰＣ端末装置９ｂに表示された後に、オペレータが電話応対を開始すれば、発信元顧客に不自然さを抱かせることなく声紋チェックをより詳細に実行することが可能であるし、例えば顧客名や問い合わせ内容など予め決められた発話内容とこれと同様の発話内容をテンプレート化した登録声紋パターン（音声モデル）との間で声紋チェックを行なうことにより、声紋分析の精度も向上する利点が得られる。
【００５６】
他の変形例として、電話番号分析サーバ４により、発信元電話番号に基づく電話番号分析処理の結果、発信元話者について「警告あり」と判断された場合にのみ、声紋分析サーバ３が発信元話者の声紋分析処理を実行し、発信元話者について「異常なし」と判断された場合には、声紋分析サーバ３による声紋分析処理を実行しないよう、本実施形態を構成してもよい。このように構成すれば、「異常なし」と判断された顧客との電話応対に当たっての声紋分析に係るシステムの負荷が軽減されると共に、オペレータの電話応対も迅速化され得る。
【００５７】
＜本実施形態における有害顧客声紋データ登録処理＞
図５は、第１の実施形態に係る有害顧客の音声モデルを、予め声紋データベース３１に登録する処理手順の一例を示す。
【００５８】
図５において、通話録音データベース１１から、過去に通話録音された通話音声データの中から、有害顧客として登録されるべき特定話者の通話音声データを読み出し（ステップＳ３１）、この特定話者の通話音声データからその特徴を示す声紋情報（声紋パターンのデータ）を抽出する（ステップＳ３２）。この有害顧客として登録されるべき話者の特定は、電話応対を行なったオペレータにより指定されてもよく、或いは通話履歴中のキーワードや個人情報等に基づき自動的に選択されてもよい。代替的に、オペレータと被登録話者との間の電話応対において、被登録話者の本人確認がされた後、例えば個人情報を、新たに録音してもよい。
【００５９】
なお、本明細書において「個人情報」とは、顧客の個人情報であって、例えば顧客氏名、住所、登録された電話番号、生年月日、顧客属性、製品購入履歴等を含むものとし、オペレータＰＣ端末９ｂ上に、警告と共に或いはオペレータの指示入力に応じて、適宜表示され得る。また、顧客属性としては、例えば「有害顧客（＋有害顧客ランク）」、「重要顧客（ＶＩＰ）」等を識別可能とする。さらに、入力音声との照合のため必要な音声モデルは、例えば１０秒程度発話している音声から生成することができるが、この必要秒数は、プロセッサの処理能力や外部記憶装置の容量及びデータ構造に依存して変動し得る。
【００６０】
ここで、本実施形態で声紋分析サーバ３及び制御サーバ６により実行される音声モデル登録処理及び声紋分析処理が使用し得る話者認識技術、とりわけ話者識別技術につき説明する。話者が何を話しているかを認識する音声認識処理とは異なり、話者の声が誰の声であるかを識別するのが話者認識（Ｓｐｅａｋｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）であり、この話者認識においては、人間の音声から、男女の性別、咽喉や口の大きさや形状等の解剖学的特徴、発話スピードやスタイル等の言語環境等に起因して特徴付けられる音響パターンを声紋情報として抽出しモデル化して、個人の声の認識を行なう。この話者認識のうち、本実施形態においては、入力された話者の音声を、記憶されている多数の音声モデルとそれぞれ照合することにより、誰であるか分からない音声を誰の音声か識別するものであり、これを話者識別（Ｓｐｅａｋｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）という。また、本実施形態に係る話者識別においては、有害顧客自身に気付かれることなく、その発話音声を録音して照合用声紋情報を抽出する必要があるため、話者の発話内容を予め制限することが困難である。このため声紋情報が抽出された録音音声の発話テキストと、入力音声の発話テキストとは一致する場合はもとより、一致しない場合も前提として、話者の一般的音声特徴に基づき話者識別を実行する。
【００６１】
図６ないし図１２を参照して、録音音声から声紋情報を抽出する処理の詳細を説明する。録音された音声は、音素単位で、ラベリングされる。すなわち音素単位に、母音であれば、「ａ」、「ｉ」、「ｕ」、「ｅ」、「ｏ」であり、子音であれば、「ｋ」、「ｓ」、「ｔ」、「ｎ」、「ｈ」、「ｍ」、「ｊ」、「ｒ」、「ｗ」、「ｇ」、「ｚ」、「ｄ」、「ｂ」、「ｐ」のいずれかがラベルとして付与される。図６は、「電子（ｄｅｎｓｈｉ）」と発音した場合の、空気振動の大きさを縦軸に、時間を横軸に示したグラフであり、音素ごとに異なる波形パターンが表れている。
【００６２】
次に、ラベリングされた音声を、音の高さ、大きさ、速度により正規化（統一化）する。音声は個人によって音の高さ（音声ピッチ）が異なるため、図７に示すように、元の信号を間引き、更に時間軸上縮めることにより、このピッチを変化させて音の高さを正規化する。また、音声は発声毎に大きさ及び速度が異なるため、図８に示すように、基準音声の速度に合うよう、音声波形を伸縮させて、音声の大きさ及び速度を正規化する。これらの正規化処理は、音素単位で実行される。
【００６３】
次に、サウンドスペクトログラムを生成することにより、声紋情報を抽出する。音声周波数のスペクトルは、話者の声紋を特徴付ける。この周波数スペクトルは、時間信号をフーリエ変換（Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）することで求めることができ、例えば、プロセッサでの処理に適する高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）処理を音声の時間波形信号に適用することにより実現することができる。図９は、音声信号にＦＦＴ処理を適用することによって得られる、ある音がどのくらいの周波数をどの程度含んでいるかを、横軸に周波数（Ｈｚ）、縦軸に音の大きさ（ｄＢ）をとってグラフに示した音声スペクトル、すなわち音声スペクトグラムである。
【００６４】
図１０は、この音声スペクトグラム上の包絡線を示したもので、この包絡線には、複数のピークが表れている。この音声スペクトル上のピークのそれぞれを、フォルマント（ｆｏｒｍａｎｔ）といい、このフォルマントの時間軸上の変化が、個体差に由来する声紋上の特徴を示すものとなる。
【００６５】
人間は、音声を連続して発声するときに、その個体差が音声に表れてくる。例えば、滑舌の良い話者の発声は音ごとの区切りが明瞭となり、滑舌の悪い話者の発声は音ごとの区切りが曖昧となる。音声スペクトルの時間軸上の変化を観察すれば、図１１は、Ｘ軸に時間、Ｙ軸に周波数、Ｚ軸に音の大きさをとって、「電子（ｄｅｎｓｈｉ）」と発声した音声信号について、時間を少しずつずらしながら各時点でのスペクトルを計算してグラフ化することにより、音声スペクトルの時間軸上の変化を三次元で示したものであり、図１２は、Ｚ軸の時間の大きさを色の濃淡で示すことにより、図１１の三次元グラフを二次元表示に変換したものである。図１２を参照すれば、音素ごとに模様が異なることが表されていることが理解される。図１３は、図１２で得られた音声スペクトグラム、すなわち声紋パターンを、話者Ａのパターンと話者Ｂのパターンとを対比してその個体差を示したものであり、本実施形態において声紋分析サーバ３が実行する声紋照合処理は、入力音声の声紋パターンが予め登録された被登録者の声紋パターンのいずれに最も類似するかを算出する。
【００６６】
図５に戻り、このように得られた音素毎のスペクトルを、声紋情報として、被登録者の個人情報と共に、声紋データベース３１に登録する（ステップＳ３３）。
【００６７】
＜本実施形態における有害顧客音声モデルグルーピング処理及び更新処理＞
図５において、さらに声紋データベース３１に登録された各話者（被登録有害顧客）について、他の被登録有害顧客との間の類似指数を算出する（ステップＳ３４）。
【００６８】
図１４は、声紋データベース３１に登録された被登録者の音素毎の時間軸上のスペクトル信号に基づいて、算出された類似指数の模式的一例を示し、例えば声紋データベースに被登録者ＡないしＫが登録されているとした場合に、各登録者間について、０ポイントから１００ポイントの範囲でのスケーリングで算出された類似指数がマトリクス上記載されている。図１５は、図１５で算出された類似指数に基づき、（１００−類似指数）をそれぞれ算出することにより、被登録者間の声紋パターンの相対的距離を算出した一例を示す。図１６及び図１７は、図１５で得られた各登録者間の声紋パターンの相対距離に基づき、例えば相対距離４０ポイントをグルーピング用閾値とした場合に、被登録話者ＡないしＫについて、グルーピングを行なった結果を示すものである。例えば、被登録話者Ａ、Ｂ、Ｃ、Ｄ、Ｅの間の相対距離は、―４０≦Ａ−Ｂ≦４０、−４０≦Ａ−Ｃ≦４０、・・・、−４０≦Ｄ−Ｅ≦４０であるから、被登録話者Ａ、Ｂ、Ｃ、Ｄ、Ｅは相互の相対距離絶対値がグルーピング用閾値である４０ポイント以内にあり、これをグループ１とする。同様に、被登録話者Ｆ、Ｇ、Ｈ、Ｉ、Ｊの間の相対距離は、−４０≦Ｆ−Ｇ≦４０、−４０≦Ｆ−Ｈ≦４０、・・・、−４０≦Ｉ−Ｊ≦４０であるから、被登録話者Ｆ、Ｇ、Ｈ、Ｉ、Ｊは相互の相対距離絶対値がグルーピング用閾値である４０ポイント以内にあり、これをグループ２とする。被登録話者Ｋについては、他の被登録話者との相対距離がいずれもグルーピング用閾値を上回る（５５ないし７５）であるため、Ｋ単独をグループ３とする。
【００６９】
図５に戻り、他登録話者間との間の声紋パターン（声紋情報）の相対距離の絶対値（本明細書において、特記しない限り、「相対距離」とは相対距離の絶対値を示すものとする）がグルーピング用閾値内にある被登録者をグループ化する（ステップＳ３５）。
【００７０】
次に、各グループ内で他のグループ内被登録話者との間の相対距離の総和が最小の被登録話者を、当該グループの基準者と設定する（ステップＳ３６）。例えば、図１４ないし図１７の例においては、グループ１内基準者をＢ、グループ２内基準者をＨ，グループ３内基準者をＫとする。このようにして得られたグループの情報及び各グループの基準者の情報を、声紋データベース３１に登録する（ステップＳ３７）。
【００７１】
ここで、１グループに属する被登録者の数が、所定のグループ内被登録者数閾値、例えば一例として１０人を超えた場合には、１グループに属する被登録者数（グループ内話者数閾値）が１０人以内に納まるよう、声紋パターンの相対距離（絶対値）のグルーピング用閾値を減少させる（ステップＳ３８）。このように１グループに属する被登録者の数について閾値を設けて、グループ内被登録者数を所定数内に維持することによって、１つのグループ内の全被登録者について実行される声紋照合の所要時間を所定時間内に留め、入力音声声紋照合におけるリアルタイム性を維持することができる。
【００７２】
なお、上記の例では、グルーピング用閾値を４０ポイント、グループ内話者数閾値を１０人として説明したが、これらの閾値を決定するには、本実施形態に係る話者識別に要するトータル時間が、通話中に許容される応答インターバル時間を超えるか否かに基づき決定することが好適である。一例として、例えば、通話中に許容される応答インターバル時間は５秒以内、より好適には２秒以内とし、１件の被登録話者の声紋情報と入力された声紋情報との間の比較処理に０．２秒を要するとすると、トータルで１０人分の比較処理を行なうことが実用的時間内で許容されるため、（グループ数＋（グループ内話者数閾値−１））が１０となるようグループ内話者数閾値を決定し、これに基づき相対距離のグルーピング用閾値を決定すればよい。
【００７３】
＜本実施形態における声紋照合処理＞
図１８は、本実施形態に係る入力音声の声紋照合の処理手順の一例を示す。
【００７４】
図１８において、各グループの基準者の声紋情報（図１６、図１７の例においては、被登録者Ｂ，Ｈ，Ｋ）と、オペレータが電話応対中である発信元話者の入力音声の声紋情報との照合を実行する（ステップＳ６１）。この声紋照合を行なうために、入力音声は、好適には例えば３秒間程度録音され、声紋データベース３１への登録処理において既に説明したのと同様に、音声信号に対して音素毎ラベリングされ、音のピッチ、大きさ、速度について正規化された上で、音声スペクトグラム（声紋パターン）が抽出される。
【００７５】
ステップＳ６１における基準者との声紋照合処理の結果、入力音声の声紋情報と最も相対距離が近い（すなわち類似指数が最も大きい）基準者が属するグループを選択する（ステップＳ６２）。
【００７６】
選択されたグループ内で、既に声紋照合がされた基準者を除く全被登録話者の声紋情報と、入力音声の声紋情報との照合を実行する（ステップＳ６３）。
【００７７】
この声紋照合の結果、選択されたグループ内の全被登録者（基準者＋ステップＳ６３で照合の対象とされた被登録者）を母集団として、入力音声の声紋情報との相対距離が最も小さく、かつ、一致判定用閾値内にある声紋情報を有する被登録者を特定する（ステップＳ６４）。なお、この一致判定用閾値は、好適には、上記のグルーピング用閾値（例えば４０ポイント）より小さい値であり、例えば２０ポイントであってよい。
【００７８】
このようにして、声紋分析サーバ３は、ステップＳ６４で特定された有害顧客名等の有害顧客識別子をその登録された個人情報と共に、制御サーバ６に送出する。他方、ステップＳ６４において被登録者が特定されなかった場合には、声紋分析サーバ３は、該当者なしの旨を示すデータを制御サーバ６に送出する。制御サーバ６は、例えば受信した有害顧客名及び有害顧客ランクをオペレータＰＣ端末９ｂ上に表示させ、好適には、オペレータからの指示入力に応答して、受信した有害顧客識別子をキーとしてさらに利用者データベース及び通話録音データベースを適宜参照し、オペレータＰＣ端末９ｂ上に過去の対応履歴や通話履歴等を表示させる。
【００７９】
＜本実施形態に係る有害顧客検知システムのハードウエア構成＞
図１９は、本実施形態に係る各サーバ装置のハードウエア構成の一例を示すブロック図である。図１９に示されるコンピュータ装置１１０である各サーバ装置において、ＣＰＵ１１１は、ＲＯＭ１１４および／またはハードディスクドライブ１１６に格納されたプログラムに従い、ＲＡＭ１１５を一次記憶用ワークメモリとして利用して、システム全体を制御する。さらに、ＣＰＵ１１１は、マウス１１２ａまたはキーボード１１２を介して入力される利用者の指示に従い、ハードディスクドライブ１１６に格納されたプログラムに基づき、第１の実施形態に係る有害顧客検知処理を実行する。ディスプレイインタフェイス１１３には、ＣＲＴやＬＣＤなどのディスプレイが接続され、ＣＰＵ１１１が実行する有害顧客検知処理のための入力待ち受け画面、処理経過や処理結果、検索結果などが表示される。リムーバブルメディアドライブ１１７は、主に、リムーバブルメディアからハードディスクドライブ１１６へファイルを書き込んだり、ハードディスクドライブ１１６から読み出したファイルをリムーバブルメディアへ書き込む場合に利用される。リムーバブルメディアとしては、フロッピディスク(ＦＤ)、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−Ｒ／Ｗ、ＤＶＤ−ＲＡＭやＭＯ、あるいはメモリカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティックなどが利用可能である。
【００８０】
プリンタインタフェイス１１８には、レーザビームプリンタやインクジェットプリンタなどのプリンタが接続される。ネットワークインタフェイス１１９は、コンピュータ装置をネットワークへ接続するためのインターフェースである。
【００８１】
なお、第１の実施形態に係る各サーバ装置及びオペレータＰＣ端末９ｂに対する入力手段は、マウス１１２ａあるいはキーボード１１２に限定されることなく、任意のポインティングデバイス、例えばトラックボール、トラックパッド、タブレットなどを適宜用いることができる。携帯情報端末を本実施形態に係るサーバ装置及びオペレータＰＣ端末９ｂに接続される入出力装置として用いる場合には、入力部をボタンやモードダイヤル等で構成してもよい。
【００８２】
また、図１９に示した本実施形態に係る各サーバのハードウエア構成は一例に過ぎず、その他の任意のハードウエア構成を用いることができることはいうまでもない。
【００８３】
殊に、本実施形態に係る有害顧客検知処理の全部又は一部は、上記コンピュータ端末装置１１０あるいはＰＤＡ等の携帯情報端末装置等によって実現されてもよく、コンピュータ端末装置等とサーバー装置とをＢｌｕｅｔｏｏｔｈ（登録商標）等の無線、あるいはインターネット（ＴＣＰ／ＩＰ）、公共電話網（ＰＳＴＮ）、統合サービス・ディジタル網（ＩＳＤＮ）等の有線通信回線で相互接続した、インターネットあるいは任意の周知のローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）からなるネットワークシステムによって通話録音処理の一部又は全部が実現されてもよい。
【００８４】
以上のとおり、本実施形態によれば、顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積し管理するＣＲＭシステムにおいて、円滑な電話応対業務を阻害するような有害顧客を、電話応対の初期段階でリアルタイムに検知し、警告することができる。
【００８５】
また、発信元の有害顧客自身に気付かれることなく、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
【００８６】
さらに、真正な顧客名を名乗らない有害顧客や、コールセンタにおいて既登録である電話以外の電話から通話を行なう有害顧客であっても、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
【００８７】
本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含み、その要旨を逸脱しない範囲で多様な改良ないし変更が可能である。例えば、本実施形態において開示された電話番号分析処理、声紋分析処理、及び感情解析処理は、それぞれ本実施形態に係る有害顧客検知システムに単独で実装されてもよく、任意の組み合わせで実装されてもよい。
【００８８】
また本発明は、重要顧客（ＶＩＰ）をオペレータが電話応対の初期段階で識別することにも適用され得る。この場合、「顧客属性」として、「重要顧客」であること及びその内容を示す属性値を設け、発信元話者識別の結果として、例えばオペレータＰＣ端末９ｂ等に、重要顧客であることを示すメッセージを表示すればよい。例えば発信元話者が、単に「鈴木だが」と名乗ったとすると、話者識別の結果から、オペレータが即時に「○○商事の鈴木一郎様ですね」等と電話応対することが可能となる。さらに、本発明の範囲は、請求項１により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【図面の簡単な説明】
【００８９】
【図１】本発明の一実施形態に係る有害顧客検知システムのネットワーク構成の一例を示すブロック図である。
【図２】本発明の一実施形態に係る有害顧客検知システムにより実行される有害顧客検知処理の制御・びデータフロー及びタイムシーケンスを示す図である。
【図３】図１における電話番号データベース４１内のデータ構造の一例を示す模式図である。
【図４】図１における声紋データベース３１内のデータ構造の一例を示す模式図である。
【図５】本発明の一実施形態に係る声紋分析サーバ３及び制御サーバ６が実行する有害顧客声紋情報登録処理の処理手順の一例を示すフローチャートである。
【図６】録音音声に対する音素単位でのラベリング処理を説明する模式図である。
【図７】録音音声に対するピッチ統一処理を説明する模式図である。
【図８】録音音声に対する音声の大きさ・速度統一処理を説明する模式図である。
【図９】録音音声の時間信号に高速フーリエ変換を適用して音声スペクトグラムを得る処理を説明する模式図である。
【図１０】音声スペクトグラムに対する包絡線からフォルマントを検出する処理を説明する模式図である。
【図１１】音声スペクトグラムの時間軸上の変化を説明する模式図である。
【図１２】図１１の音声スペクトグラム三次元グラフを二次元グラフに変換して表示した図である。
【図１３】図１２の音声スペクトグラムの個体差による相違を一例として説明する図である。
【図１４】声紋データベースに登録された話者相互間について算出される類似指数を一例として説明する表である。
【図１５】図１４において算出された類似指数に基づき算出される話者相互間の相対距離を一例として説明する表である。
【図１６】図１５における話者相互間の相対距離を模式的に示すグラフである。
【図１７】図１６のグラフに基づき、相対距離が所定のグルーピング閾値内にある話者声紋パターンをグルーピングした結果を一例として説明する表である。
【図１８】本発明の一実施形態に係る声紋分析サーバ３が実行する声紋照合処理の処理手順の一例を示すフローチャートである。
【図１９】本実施形態に係る各サーバ装置のハードウエア構成の一例を示す図である。
【符号の説明】
【００９０】
ＰＢＸ １
音声取得サーバ ２
声紋分析サーバ ３
電話番号分析サーバ４
感情解析サーバ ５
制御サーバ ６
顧客電話端末 ７
ＰＳＴＮ ８
オペレータ電話端末 ９ａ
オペレータＰＣ端末 ９ｂ
通話録音サーバ １０
構内回線 １１ａ，１１ｂ，１１ｃ
声紋データベース ３１
電話番号データベース ４１
通話録音データベース １０
【特許請求の範囲】
【請求項１】
通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、有害顧客検知システムであって、
予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出部と、
全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング部と、
各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定部と、
抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に記憶する声紋データベースと、
発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得部と、
前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択部と、
前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択部と、
選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力部とを具備する
ことを特徴とする有害顧客検知システム。
【請求項２】
上記有害顧客検知システムは、さらに、
前記グルーピング部により１のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第１の閾値を減少させ、減少された第１の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成部を具備する
ことを特徴とする請求項１に記載の有害顧客検知システム。
【請求項３】
前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、
前記メッセージ出力部は、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第１の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第２の警告メッセージを、それぞれ出力する
ことを特徴とする請求項１または２に記載の有害顧客検知システム。
【請求項４】
上記有害顧客検知システムは、さらに、
利用者の電話敷設履歴情報を、当該電話の電話番号と共に記憶する電話番号データベースと、
前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第２のメッセージ出力部とを具備する
ことを特徴とする請求項１ないし３のいずれか記載の有害顧客検知システム。
【請求項５】
上記有害顧客検知システムは、さらに、
前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析部を具備する
ことを特徴とする請求項１ないし４のいずれか記載の有害顧客検知システム。
【請求項６】
通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、声紋情報抽出部と、グルーピング部と、基準者設定部と、声紋データベースと、音声取得部と、グループ選択部と、被登録話話者選択部と、メッセージ出力部とを具備する有害顧客検知システムが実行する有害顧客検知方法であって、
予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出ステップと、
全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピングステップと、
各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定ステップと、
抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶ステップと、
発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得ステップと、
前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択ステップと、
前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択ステップと、
選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力ステップとを含む
ことを特徴とする有害顧客検知方法。
【請求項７】
上記有害顧客検知方法は、さらに、
グループ再構成部により、前記グルーピング部により１のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第１の閾値を減少させ、減少された第１の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成ステップを含む
ことを特徴とする請求項６に記載の有害顧客検知方法。
【請求項８】
前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、
前記メッセージ出力ステップは、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第１の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第２の警告メッセージを、それぞれ出力する
ことを特徴とする請求項６または７に記載の有害顧客検知方法。
【請求項９】
上記有害顧客検知方法は、さらに、
利用者の電話敷設履歴情報を、当該電話の電話番号と共に電話番号データベースに記憶する電話番号記憶ステップと、
第２のメッセージ出力部により、前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第２のメッセージ出力ステップとを含む
ことを特徴とする請求項６ないし８のいずれか記載の有害顧客検知方法。
【請求項１０】
上記有害顧客検知方法は、さらに、
感情解析部により、前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析ステップを含む
ことを特徴とする請求項６ないし９のいずれか記載の有害顧客検知方法。
【請求項１１】
通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する有害顧客検知処理をコンピュータに実行させるための有害顧客検知プログラムであって、該プログラムは、前記コンピュータに、
予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出処理と、
全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング処理と、
各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定処理と、
抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶処理と、
発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得処理と、
前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択処理と、
前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択処理と、
選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力処理とを含む処理をコンピュータに実行させるためのものである
ことを特徴とする有害顧客検知プログラム。
【請求項１２】
上記有害顧客検知プログラムは、さらに、
前記グルーピング処理により１のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第１の閾値を減少させ、減少された第１の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成処理を含む
ことを特徴とする請求項１１に記載の有害顧客検知プログラム。
【請求項１３】
前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、
前記メッセージ出力処理は、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第１の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第２の警告メッセージを、それぞれ出力する
ことを特徴とする請求項１１または１２に記載の有害顧客検知プログラム。
【請求項１４】
上記有害顧客検知プログラムは、さらに、
利用者の電話敷設履歴情報を、当該電話の電話番号と共に電話番号データベースに記憶する電話番号記憶処理と、
前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第２のメッセージ出力処理とを含む
ことを特徴とする請求項１１ないし１３のいずれか記載の有害顧客検知プログラム。
【請求項１５】
上記有害顧客検知プログラムは、さらに、
前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析処理を含む
ことを特徴とする請求項１１ないし１４のいずれか記載の有害顧客検知プログラム。
【請求項１】
通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、有害顧客検知システムであって、
予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出部と、
全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング部と、
各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定部と、
抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に記憶する声紋データベースと、
発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得部と、
前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択部と、
前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択部と、
選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力部とを具備する
ことを特徴とする有害顧客検知システム。
【請求項２】
上記有害顧客検知システムは、さらに、
前記グルーピング部により１のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第１の閾値を減少させ、減少された第１の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成部を具備する
ことを特徴とする請求項１に記載の有害顧客検知システム。
【請求項３】
前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、
前記メッセージ出力部は、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第１の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第２の警告メッセージを、それぞれ出力する
ことを特徴とする請求項１または２に記載の有害顧客検知システム。
【請求項４】
上記有害顧客検知システムは、さらに、
利用者の電話敷設履歴情報を、当該電話の電話番号と共に記憶する電話番号データベースと、
前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第２のメッセージ出力部とを具備する
ことを特徴とする請求項１ないし３のいずれか記載の有害顧客検知システム。
【請求項５】
上記有害顧客検知システムは、さらに、
前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析部を具備する
ことを特徴とする請求項１ないし４のいずれか記載の有害顧客検知システム。
【請求項６】
通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、声紋情報抽出部と、グルーピング部と、基準者設定部と、声紋データベースと、音声取得部と、グループ選択部と、被登録話話者選択部と、メッセージ出力部とを具備する有害顧客検知システムが実行する有害顧客検知方法であって、
予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出ステップと、
全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピングステップと、
各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定ステップと、
抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶ステップと、
発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得ステップと、
前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択ステップと、
前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択ステップと、
選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力ステップとを含む
ことを特徴とする有害顧客検知方法。
【請求項７】
上記有害顧客検知方法は、さらに、
グループ再構成部により、前記グルーピング部により１のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第１の閾値を減少させ、減少された第１の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成ステップを含む
ことを特徴とする請求項６に記載の有害顧客検知方法。
【請求項８】
前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、
前記メッセージ出力ステップは、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第１の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第２の警告メッセージを、それぞれ出力する
ことを特徴とする請求項６または７に記載の有害顧客検知方法。
【請求項９】
上記有害顧客検知方法は、さらに、
利用者の電話敷設履歴情報を、当該電話の電話番号と共に電話番号データベースに記憶する電話番号記憶ステップと、
第２のメッセージ出力部により、前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第２のメッセージ出力ステップとを含む
ことを特徴とする請求項６ないし８のいずれか記載の有害顧客検知方法。
【請求項１０】
上記有害顧客検知方法は、さらに、
感情解析部により、前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析ステップを含む
ことを特徴とする請求項６ないし９のいずれか記載の有害顧客検知方法。
【請求項１１】
通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する有害顧客検知処理をコンピュータに実行させるための有害顧客検知プログラムであって、該プログラムは、前記コンピュータに、
予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出処理と、
全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング処理と、
各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定処理と、
抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶処理と、
発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得処理と、
前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択処理と、
前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第１の閾値より小さい第２の閾値内にある被登録話者を選択する被登録話者選択処理と、
選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力処理とを含む処理をコンピュータに実行させるためのものである
ことを特徴とする有害顧客検知プログラム。
【請求項１２】
上記有害顧客検知プログラムは、さらに、
前記グルーピング処理により１のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第１の閾値を減少させ、減少された第１の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成処理を含む
ことを特徴とする請求項１１に記載の有害顧客検知プログラム。
【請求項１３】
前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、
前記メッセージ出力処理は、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第１の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第２の警告メッセージを、それぞれ出力する
ことを特徴とする請求項１１または１２に記載の有害顧客検知プログラム。
【請求項１４】
上記有害顧客検知プログラムは、さらに、
利用者の電話敷設履歴情報を、当該電話の電話番号と共に電話番号データベースに記憶する電話番号記憶処理と、
前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第２のメッセージ出力処理とを含む
ことを特徴とする請求項１１ないし１３のいずれか記載の有害顧客検知プログラム。
【請求項１５】
上記有害顧客検知プログラムは、さらに、
前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析処理を含む
ことを特徴とする請求項１１ないし１４のいずれか記載の有害顧客検知プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図１２】
【図１３】
【公開番号】特開２０１０−１１３１６７（Ｐ２０１０−１１３１６７Ａ）
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願番号】特願２００８−２８５８６２（Ｐ２００８−２８５８６２）
【出願日】平成２０年１１月６日（２００８．１１．６）
【特許番号】特許第４４３８０１４号（Ｐ４４３８０１４）
【特許公報発行日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（５９３２２２５９５）株式会社ネイクス (18)
【Ｆターム（参考）】
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願日】平成２０年１１月６日（２００８．１１．６）
【特許番号】特許第４４３８０１４号（Ｐ４４３８０１４）
【特許公報発行日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（５９３２２２５９５）株式会社ネイクス (18)
【Ｆターム（参考）】
[ Back to top ]