回線毎感情検出機能を有する電話制御装置
【課題】
音声データに、笑い，怒り，哀愁，楽しみなどにみられる感情の検出と、音声データの中に繰り返し音声が有るときに、感情検出機能に入力する音声データ量を削減して利用効率を上げる技術を提供する。
【解決手段】
感情検出は、音声データを蓄積する音声蓄積転送部２１１１と、繰り返し音声を検出する音声繰り返し処理部２１１２と、繰り返した音声は音声データは音声選択部２１１３から音声データを音声数値化処理部２１１４に送り，繰り返さない音声は、音声選択部２１１３から音声データの転送を停止させて感情を求める。
音声データに、笑い，怒り，哀愁，楽しみなどにみられる感情の検出と、音声データの中に繰り返し音声が有るときに、感情検出機能に入力する音声データ量を削減して利用効率を上げる技術を提供する。
【解決手段】
感情検出は、音声データを蓄積する音声蓄積転送部２１１１と、繰り返し音声を検出する音声繰り返し処理部２１１２と、繰り返した音声は音声データは音声選択部２１１３から音声データを音声数値化処理部２１１４に送り，繰り返さない音声は、音声選択部２１１３から音声データの転送を停止させて感情を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電話主装置および電話機に係り、特に回線毎に感情表示をする電話システムにおける感情種別とその強度を電話機に表示する電話主装置および電話機に関する。
【背景技術】
【０００２】
特許文献１には、音声信号から人の感情を検出するために、音声信号を入力し、入力した音声信号から音声の強度，音声の出現速度を表すテンポ及び音声の各単語内の強度変化パターンを表す抑揚をそれぞれ検出し、検出された音声の強度，音声のテンポ及び音声の抑揚のそれぞれについて変化量を求め、求めた変化量に基づいて、怒り，悲しみ及び喜びのそれぞれの感情状態を検出する技術が開示されている。
【０００３】
今後、上述した感情状態を検出する機能は電話主装置やコールセンター向けのＣＴＩ（Ｃｏｍｐｕｔｅｒ Ｔｅｌｅｐｈｏｎｙ Ｉｎｔｅｇｒａｔｉｏｎ）等の電話装置に実装し、電話応対時の補助機能としての実用化が望まれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−０９１４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら上述した感情状態を検出する機能は、回線毎に送信音声と受信音声それぞれに割り当てる必要があり、複数回線を収容する電話主装置やコールセンターにおいては、収容する通話回線の回線数に応じてと感情検出機能を搭載する必要があるため部品コストの増加につながる。また、感情の変化が見られない音声期間であっても、音声情報を全て感情検出機に入力するので、感情検出機能の利用効率が低いという問題があった。
【０００６】
本発明は上記事情に鑑みて為されたものであり、本発明の目的は、音声データに、笑い，怒り，哀愁，楽しみなどにみられる感情状態の検出と、感情検出機能に入力する音声データ量を削減して感情検出機能の利用効率を上げる技術を提供する。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために本発明では、複数の回線を収容して呼を制御する電話制御装置において、送話音声または受話音声を分析して送話者の喜怒哀楽に係る感情の度合いを検出して数値化する感情検出手段と、前記複数の回線の各々の送話音声または受話音声の有音期間を検出する有音検出手段と、前記回線を選択して当該選択した回線を流れる送話音声または受話音声を前記感情検出手段に入力する回線選択手段と、を有し、前記有音検出手段が有音期間を検出する毎に、前記回線選択手段は当該回線を流れる送話音声または受話音声を一定時間以上前記感情検出手段に入力し、前記感情検出手段は入力された送話音声または受話音声を分析して送話者の喜怒哀楽に係る感情の度合いを検出し、前記検出した感情の度合いに係る情報を当該回線もしくは送話者と関連付けて記憶する、または所定の宛先へ通知することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数回線を有する通信機器において、通話中の回線より少ない数の感情検出機能で感情検出できるようになり、感情検出機能の利用効率を向上し部品コストを削減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の全体構成図である。
【図２】主装置の機能ブロック図である。
【図３】感情検出部の詳細な機能ブロック構成図である。
【図４】主装置の感情検出処理を説明するためのフローチャートである。
【図５】感情認識処理例を説明する図である。
【図６】繰り返し音声および非繰り返し音声の判定例を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、実施例を用い、図面を参照しながら詳細に説明する。なお、実質同一部位には同じ参照番号を振り、説明は繰り返さない。
【００１１】
まず、図１を参照して、本発明の全体構成を説明する。図１は、本発明の全体構成図である。
【００１２】
図１において、本システムはＩＰ外線５、主装置２００、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）４、電話機１００とから構成される。
【００１３】
ＩＰ外線５は、ＩＰ網３と主装置２００を接続する。主装置２００は、電話機１００の通信について呼を制御する。主装置２００は、電話機１００からの音声データを受けて電話機１００へ感情表示を指示する。また、主装置２００は、ＩＰ網３を介して、図示しないＩＰ網３上の電話端末と電話機１００との間の呼制御処理と音声データの転送処理をする。ＬＡＮ４は、ＩＰ内線を構成する。電話機１００−１、１００−２は、ＬＡＮ４に接続して、通話および感情表示する。なお以降、場合によっては番号の後のハイフン“−”以下を省略して説明することもある。
【００１４】
次に図２のブロック図を用いて主装置２００の動作を説明する。図２は主装置２００の機能ブロック図である。
【００１５】
図２において、主装置２００は、ＬＡＮインターフェイス２０１、ＷＡＮインターフェイス２０２、通信制御部２０３、呼制御管理部２０４、音声通信部２０５、状態管理部２０６、記憶部２０７、感情データ送信部２０８、表示配列部２０９、アラーム処理部２１０、感情検出部２１１とから構成される。
【００１６】
ＬＡＮインターフェイス部２０１は、ＬＡＮ４と接続するためのインターフェイスである。
【００１７】
ＷＡＮインターフェイス部２０２は、ＩＰ外線５と接続するためのインターフェイスである。
【００１８】
通信制御部２０３は、送信元あるいは送信先へパケットを転送するための通信処理をする。通信制御部２０３では、呼制御に関する情報は呼制御管理部２０４、音声であれば音声通信部２０５、感情データの送信であれば感情データ送信部２０８へデータを転送する。
【００１９】
呼制御管理部２０４は、電話機１００から到着した発信、着信、終話などの通信呼を処理して、通信制御部２０３に送る。また、呼制御管理部２０４は、電話機１００と通話相手が使用する回線の割り当て、割り当てた回線の接続状態を示す回線情報を状態管理部２０６に送る。
【００２０】
音声通信部２０５は、状態管理部２０６から音声転送情報を受けて、通信制御部２０３から受けた複数回線の音声データを通話相手の音声に載せ替えて、音声データを通信制御部２０３に送る。また、音声通信部２０５は、状態管理部２０６から通話中の回線情報を受けて、通話中の音声データを 感情検出部２１１に送る。
【００２１】
状態管理部２０６は、呼制御管理部２０４から回線情報を受けて、音声データを相手の音声に載せ替える為の音声転送情報を音声通信部２０５に送る。また、状態管理部２０６は、感情検出部２１１から感情数値化情報が受けると、記憶部２０７から表示形式を読み出して、感情配列部２０９とアラーム処理部２１０に送る。
【００２２】
記憶部２０７は、感情データを電話機１００に表示させるための表示形式が格納され、回線接続に合わせて表示形式が選択される。
【００２３】
感情データ送信部２０８は、アラーム処理部１１０からアラーム情報を受け取るまたは、表示配列部２０９から感情表示データを受け取ると、電話機１００に送信するためのパケットを生成し通信制御部２０３を介して電話機１００に送信する。
【００２４】
表示配列部２０９は、状態管理部２０６から感情数値化情報と表示形式と回線情報を送ると、電話機１００に表示させる感情表示データを作り感情データ送信部２０８に送る。
【００２５】
アラーム処理部２１０は、状態管理部２０６から感情数値化情報と表示形式を受けると感情数値化情報の値が閾値を超えていると、ＬＥＤ，ＬＣＤ表示または音声で伝えるためのアラーム情報を作り、感情データ送信部２０８に送る。
【００２６】
感情検出部２１１は、音声データから感情の種類と感情の度合いを数値化した感情数値化情報を状態管理部２０６に送る。
【００２７】
次に図３を参照して、感情検出部２１１の詳細な動きを説明をする。図３は、感情検出部２１１の詳細な機能ブロック構成図である。
【００２８】
図３において、感情検出部２１１は、音声蓄積転送部２１１１，音声繰り返し処理部２１１２，音声選択部２１１３，音声数値化処理部２１１４，音声データ転送部２１１５から構成される。
【００２９】
音声蓄積転送部２１１１は、収容する回線数に応じて複数用意され、音声通信制御部２０５から受けた音声パケットの音声データを取り出して、取り出した音声データを一時蓄積し、一時蓄積した蓄積音声データと蓄積しない非蓄積音声データを音声繰り返し処理部２１１２に送る。
【００３０】
音声繰り返し処理部２１１２は、収容する回線数に応じて複数用意（本明細書ではｎ回線とする）され、音声蓄積処理２１１１から送られた蓄積音声データと非蓄積音声データを用いて、繰り返し音声か否かを判定する。ここで、繰り返し音声とは驚いたときに見ることが出来る語尾が伸びる音や頷きに見ることが出来る同じ音を繰り返す音声のことを意味する。
【００３１】
繰り返し音声か否かを判定する方法として、エコーキャンセラに見られる音声一致手段を用い、非蓄積音声データと蓄積音声データの差分した音から繰り返しの判定をおこなう。
【００３２】
音声選択部２１１３は、音声データを選択して感情数値化処理部２１１４に送る。また、繰り返し音声の期間を示す繰り返し音声期間と回線情報を感情データ転送部２１１５に送る。
【００３３】
感情数値化処理部２１１４は、所定の数用意され（本明細書ではｍ個（ｎ＞ｍ＞０））非繰り返し音声が入力される。非繰り返し音声が入力されると、喜怒哀楽などの感情に分類して数値化した感情数値化情報が出力される。
【００３４】
感情データ転送部２１１５は、音声選択部２１１３から受け取った繰り返し音声期間、回線情報と感情数値化処理部２１１４から受け取った感情数値化情報を対応付けて、状態管理部２０６に送る。
【００３５】
具体的な繰り返し音声期間および感情数値化情報の抽出イメージを図６を用いて説明する。
【００３６】
図６は、繰り返し音声および非繰り返し音声の判定例を説明するための図である。
【００３７】
通話中の音声は、発音開始すると非蓄積音声データ６０１と蓄積して利用する蓄積転送された蓄積音声データ６０２に分けられる。非蓄積音声データ６０１と蓄積転送された蓄積音声データ６０２を比べて、不一致となる音声が、非繰り返し音声６０３になる。最初に、「ワッハッ」の非繰り返し音声６０３が感情数値化処理部２１１４に送られて、感情が「楽しい」（例えば）と感情の度合が「３０」（例えば）が得られる。
【００３８】
次の音声は、繰り返し音声を示す６０４「ー」になるので、音声繰り返し処理部２１１２が繰り返し音声期間を算出し、繰り返し音声期間の「５秒」（例えば）が得られる。得られた繰り返し音声期間を音声選択部２１１３を介して２１１５に渡す。
【００３９】
このようにして、感情データ転送部２１１５は音声データの感情数値化情報として感情、感情の度合、繰り返し音声期間を得られる。
【００４０】
次に図４のフローチャートを用いて受信した音声パケットから感情データ検知し、電話機１００に感情表示データ・アラーム情報を送信するまでの動作を説明する。
【００４１】
図４は、主装置２００の感情検出処理を説明するためのフローチャートである。
【００４２】
尚、本フローは、所定の電話装置１００およびＩＰ網３に接続する所定の通話相手（図示せず）が呼接続し、通話を開始する毎に開始する。
【００４３】
通信制御部２０３は、通話中の電話装置１００または通話相手から音声パケットを受信すると（Ｓ４０１、Ｙｅｓ）、音声パケットの音声データ抽出して（Ｓ４０２）音声通信部２０５に渡す。
【００４４】
なお、音声パケットの受信について主装置２００は、電話装置１００が通話相手に送る送話の音声パケット、電話装置１００が通話相手から受け取る受話の音声パケットのそれぞれを受信するが、それぞれの音声パケットを識別しているものとする。
【００４５】
音声通信部２０５は、受信した音声データから音が含まれているかどうか判定し（Ｓ４０３）、音が含まれていなければ（Ｓ４０３、Ｎｏ）、ステップ４０１に戻って次の音声パケットの受信を待つ。
【００４６】
音が含まれていれば（Ｓ４０３、Ｙｅｓ）、音声通信部２０５は有音データの音声データを抽出し、無音になるまで抽出し続ける（Ｓ４０４〜Ｓ４０６）。そして音声通信部２０５は抽出した有音データを感情検出部２１１に渡す。
【００４７】
有音データを渡された感情検出部２１１は繰り返し応答処理を行い（Ｓ４０７）、非繰り返し音声を抽出する。次に感情検出部２１１は任意の感情数値化処理部２１１４を選択し（Ｓ４０８）、感情数値化処理が可能かどうか判断する（Ｓ４０９）。
【００４８】
感情数値化処理が不可能の場合（Ｓ４０９、Ｎｏ）、感情検出部２１１は他の選択していない感情数値化処理部２１１４を選択して（Ｓ４１０）処理可能な感情数値化処理部２１１４が見つかるまで同じ動作を繰り返す。
【００４９】
具体的にはまず感情数値化処理部２１１４−１を選択し、当該感情数値化処理部２１１４−１が処理中かどうかを判断する。処理中の場合、感情検出部２１１は感情数値化処理部２１１４−１、感情数値化処理部２１１４−２、感情数値化処理部２１１４−３・・・感情数値化処理部２１１４−ｍの順に選択していく。
【００５０】
感情数値化処理が可能の場合（Ｓ４０９、Ｙｅｓ）、感情検出部２１１は感情数値化処理を行い、感情数値化情報を算出する（Ｓ４１１）。そして算出した感情数値化情報をアラーム処理部２１０および表示配列部２０９に渡す。
【００５１】
アラーム処理部２１０および表示配列部２０９は受け取った感情数値化情報から感情表示データ・
アラーム情報を生成し、感情データ送信部２０８および通信制御部２０３と連動して電話機１００に送信する（Ｓ４１２）。
【００５２】
このように、繰り返し音声の感情処理を省略することで、空いている感情処理部２１１４を、新たな音声データに振り分けることで、感情数値化処理部２１１４の利用効率を向上する。
【００５３】
図５を参照して、主装置２００の感情数値化処理例の動作を説明する。図５では、電話機１００−１送話５０１と図示しないＩＰ網３に接続された相手端末の送話を電話機１００−１受話５０２で通話中の音声を示す。また、電話機１００−２送話Ｓ５０３と電話機１００−２受話５０４も同様に通話中の音声を示す。感情数値化処理部に入力する音声５０５は、感情数値化処理部２１１４に送る音声を示す。感情数値化情報５０６は、音声データから感情数値化情報が出力された事を示す。
【００５４】
第１送話感情認識結果５０７は、電話機１００−１送話から得られた感情数値化情報を示す。第１受話感情認識結果５０８は、電話機１００−１受話から得られた感情数値化情報を示す。第２送話感情認識結果５０９は、電話機１００−２送話から得られた感情数値化情報を示す。第２受話感情認識結果５１０は、電話機１００−２受話から得られた感情数値化情報を示す。第１送話感情認識結果５１１は、電話機１００−１送話から得られた感情数値化情報を示す。第１受話感情認識結果５１２は、電話機１００−１受話から得られた感情数値化情報を示す。
【００５５】
音声選択部２１１３では、電話機１００−１送話，電話機１００−１受話，電話機１００−２送話，電話機１００−２受話が入力されて、感情数値化処理部に入力する音声５０５が出力される。出力された音声は、音声数値化処理部２１１４に送られて、喜怒哀楽等の感情認識結果が、感情数値化情報５０６として出力される。
【００５６】
以上、本実施例について説明した。
【００５７】
上述した実施例に拠れば、通話の音声データから有音区間を抽出して、有音区間のみ空いている感情数値化処理部２１１４で感情数値化処理する。これにより回線数よりも少ない感情検出機能で効率的に感情検出することが出来る。
【００５８】
また、上述した実施例に拠れば、抽出した有音区間をさらに繰り返し音声処理で非繰り返し音声と折り返し音声に分類し、非繰り返し音声のみを感情数値化処理部２１１４で感情数値化処理する。これによりさらに効率的に感情検出することが出来る。
【符号の説明】
【００５９】
１００…電話機
２００…主装置
２０１…ＬＡＮインターフェース部
２０２…ＷＡＮインターフェース部
２０３…通信制御部
２０４…制御管理部
２０５…音声通信部
２０６…感情検出部
２０７…記憶部
２０８…感情データ送信部
２０９…表示配列部
２１０…アラーム処理部
２１１…感情検出部
２１１１…音声蓄積転送部
２１１２…音声繰り返し処理部
２１１３…音声選択部
２１１４…感情数値化処理部
２１１５…感情データ転送部
３…ＩＰ網
４…ＬＡＮ
５…ＩＰ外線
【技術分野】
【０００１】
本発明は、電話主装置および電話機に係り、特に回線毎に感情表示をする電話システムにおける感情種別とその強度を電話機に表示する電話主装置および電話機に関する。
【背景技術】
【０００２】
特許文献１には、音声信号から人の感情を検出するために、音声信号を入力し、入力した音声信号から音声の強度，音声の出現速度を表すテンポ及び音声の各単語内の強度変化パターンを表す抑揚をそれぞれ検出し、検出された音声の強度，音声のテンポ及び音声の抑揚のそれぞれについて変化量を求め、求めた変化量に基づいて、怒り，悲しみ及び喜びのそれぞれの感情状態を検出する技術が開示されている。
【０００３】
今後、上述した感情状態を検出する機能は電話主装置やコールセンター向けのＣＴＩ（Ｃｏｍｐｕｔｅｒ Ｔｅｌｅｐｈｏｎｙ Ｉｎｔｅｇｒａｔｉｏｎ）等の電話装置に実装し、電話応対時の補助機能としての実用化が望まれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−０９１４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら上述した感情状態を検出する機能は、回線毎に送信音声と受信音声それぞれに割り当てる必要があり、複数回線を収容する電話主装置やコールセンターにおいては、収容する通話回線の回線数に応じてと感情検出機能を搭載する必要があるため部品コストの増加につながる。また、感情の変化が見られない音声期間であっても、音声情報を全て感情検出機に入力するので、感情検出機能の利用効率が低いという問題があった。
【０００６】
本発明は上記事情に鑑みて為されたものであり、本発明の目的は、音声データに、笑い，怒り，哀愁，楽しみなどにみられる感情状態の検出と、感情検出機能に入力する音声データ量を削減して感情検出機能の利用効率を上げる技術を提供する。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために本発明では、複数の回線を収容して呼を制御する電話制御装置において、送話音声または受話音声を分析して送話者の喜怒哀楽に係る感情の度合いを検出して数値化する感情検出手段と、前記複数の回線の各々の送話音声または受話音声の有音期間を検出する有音検出手段と、前記回線を選択して当該選択した回線を流れる送話音声または受話音声を前記感情検出手段に入力する回線選択手段と、を有し、前記有音検出手段が有音期間を検出する毎に、前記回線選択手段は当該回線を流れる送話音声または受話音声を一定時間以上前記感情検出手段に入力し、前記感情検出手段は入力された送話音声または受話音声を分析して送話者の喜怒哀楽に係る感情の度合いを検出し、前記検出した感情の度合いに係る情報を当該回線もしくは送話者と関連付けて記憶する、または所定の宛先へ通知することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数回線を有する通信機器において、通話中の回線より少ない数の感情検出機能で感情検出できるようになり、感情検出機能の利用効率を向上し部品コストを削減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の全体構成図である。
【図２】主装置の機能ブロック図である。
【図３】感情検出部の詳細な機能ブロック構成図である。
【図４】主装置の感情検出処理を説明するためのフローチャートである。
【図５】感情認識処理例を説明する図である。
【図６】繰り返し音声および非繰り返し音声の判定例を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、実施例を用い、図面を参照しながら詳細に説明する。なお、実質同一部位には同じ参照番号を振り、説明は繰り返さない。
【００１１】
まず、図１を参照して、本発明の全体構成を説明する。図１は、本発明の全体構成図である。
【００１２】
図１において、本システムはＩＰ外線５、主装置２００、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）４、電話機１００とから構成される。
【００１３】
ＩＰ外線５は、ＩＰ網３と主装置２００を接続する。主装置２００は、電話機１００の通信について呼を制御する。主装置２００は、電話機１００からの音声データを受けて電話機１００へ感情表示を指示する。また、主装置２００は、ＩＰ網３を介して、図示しないＩＰ網３上の電話端末と電話機１００との間の呼制御処理と音声データの転送処理をする。ＬＡＮ４は、ＩＰ内線を構成する。電話機１００−１、１００−２は、ＬＡＮ４に接続して、通話および感情表示する。なお以降、場合によっては番号の後のハイフン“−”以下を省略して説明することもある。
【００１４】
次に図２のブロック図を用いて主装置２００の動作を説明する。図２は主装置２００の機能ブロック図である。
【００１５】
図２において、主装置２００は、ＬＡＮインターフェイス２０１、ＷＡＮインターフェイス２０２、通信制御部２０３、呼制御管理部２０４、音声通信部２０５、状態管理部２０６、記憶部２０７、感情データ送信部２０８、表示配列部２０９、アラーム処理部２１０、感情検出部２１１とから構成される。
【００１６】
ＬＡＮインターフェイス部２０１は、ＬＡＮ４と接続するためのインターフェイスである。
【００１７】
ＷＡＮインターフェイス部２０２は、ＩＰ外線５と接続するためのインターフェイスである。
【００１８】
通信制御部２０３は、送信元あるいは送信先へパケットを転送するための通信処理をする。通信制御部２０３では、呼制御に関する情報は呼制御管理部２０４、音声であれば音声通信部２０５、感情データの送信であれば感情データ送信部２０８へデータを転送する。
【００１９】
呼制御管理部２０４は、電話機１００から到着した発信、着信、終話などの通信呼を処理して、通信制御部２０３に送る。また、呼制御管理部２０４は、電話機１００と通話相手が使用する回線の割り当て、割り当てた回線の接続状態を示す回線情報を状態管理部２０６に送る。
【００２０】
音声通信部２０５は、状態管理部２０６から音声転送情報を受けて、通信制御部２０３から受けた複数回線の音声データを通話相手の音声に載せ替えて、音声データを通信制御部２０３に送る。また、音声通信部２０５は、状態管理部２０６から通話中の回線情報を受けて、通話中の音声データを 感情検出部２１１に送る。
【００２１】
状態管理部２０６は、呼制御管理部２０４から回線情報を受けて、音声データを相手の音声に載せ替える為の音声転送情報を音声通信部２０５に送る。また、状態管理部２０６は、感情検出部２１１から感情数値化情報が受けると、記憶部２０７から表示形式を読み出して、感情配列部２０９とアラーム処理部２１０に送る。
【００２２】
記憶部２０７は、感情データを電話機１００に表示させるための表示形式が格納され、回線接続に合わせて表示形式が選択される。
【００２３】
感情データ送信部２０８は、アラーム処理部１１０からアラーム情報を受け取るまたは、表示配列部２０９から感情表示データを受け取ると、電話機１００に送信するためのパケットを生成し通信制御部２０３を介して電話機１００に送信する。
【００２４】
表示配列部２０９は、状態管理部２０６から感情数値化情報と表示形式と回線情報を送ると、電話機１００に表示させる感情表示データを作り感情データ送信部２０８に送る。
【００２５】
アラーム処理部２１０は、状態管理部２０６から感情数値化情報と表示形式を受けると感情数値化情報の値が閾値を超えていると、ＬＥＤ，ＬＣＤ表示または音声で伝えるためのアラーム情報を作り、感情データ送信部２０８に送る。
【００２６】
感情検出部２１１は、音声データから感情の種類と感情の度合いを数値化した感情数値化情報を状態管理部２０６に送る。
【００２７】
次に図３を参照して、感情検出部２１１の詳細な動きを説明をする。図３は、感情検出部２１１の詳細な機能ブロック構成図である。
【００２８】
図３において、感情検出部２１１は、音声蓄積転送部２１１１，音声繰り返し処理部２１１２，音声選択部２１１３，音声数値化処理部２１１４，音声データ転送部２１１５から構成される。
【００２９】
音声蓄積転送部２１１１は、収容する回線数に応じて複数用意され、音声通信制御部２０５から受けた音声パケットの音声データを取り出して、取り出した音声データを一時蓄積し、一時蓄積した蓄積音声データと蓄積しない非蓄積音声データを音声繰り返し処理部２１１２に送る。
【００３０】
音声繰り返し処理部２１１２は、収容する回線数に応じて複数用意（本明細書ではｎ回線とする）され、音声蓄積処理２１１１から送られた蓄積音声データと非蓄積音声データを用いて、繰り返し音声か否かを判定する。ここで、繰り返し音声とは驚いたときに見ることが出来る語尾が伸びる音や頷きに見ることが出来る同じ音を繰り返す音声のことを意味する。
【００３１】
繰り返し音声か否かを判定する方法として、エコーキャンセラに見られる音声一致手段を用い、非蓄積音声データと蓄積音声データの差分した音から繰り返しの判定をおこなう。
【００３２】
音声選択部２１１３は、音声データを選択して感情数値化処理部２１１４に送る。また、繰り返し音声の期間を示す繰り返し音声期間と回線情報を感情データ転送部２１１５に送る。
【００３３】
感情数値化処理部２１１４は、所定の数用意され（本明細書ではｍ個（ｎ＞ｍ＞０））非繰り返し音声が入力される。非繰り返し音声が入力されると、喜怒哀楽などの感情に分類して数値化した感情数値化情報が出力される。
【００３４】
感情データ転送部２１１５は、音声選択部２１１３から受け取った繰り返し音声期間、回線情報と感情数値化処理部２１１４から受け取った感情数値化情報を対応付けて、状態管理部２０６に送る。
【００３５】
具体的な繰り返し音声期間および感情数値化情報の抽出イメージを図６を用いて説明する。
【００３６】
図６は、繰り返し音声および非繰り返し音声の判定例を説明するための図である。
【００３７】
通話中の音声は、発音開始すると非蓄積音声データ６０１と蓄積して利用する蓄積転送された蓄積音声データ６０２に分けられる。非蓄積音声データ６０１と蓄積転送された蓄積音声データ６０２を比べて、不一致となる音声が、非繰り返し音声６０３になる。最初に、「ワッハッ」の非繰り返し音声６０３が感情数値化処理部２１１４に送られて、感情が「楽しい」（例えば）と感情の度合が「３０」（例えば）が得られる。
【００３８】
次の音声は、繰り返し音声を示す６０４「ー」になるので、音声繰り返し処理部２１１２が繰り返し音声期間を算出し、繰り返し音声期間の「５秒」（例えば）が得られる。得られた繰り返し音声期間を音声選択部２１１３を介して２１１５に渡す。
【００３９】
このようにして、感情データ転送部２１１５は音声データの感情数値化情報として感情、感情の度合、繰り返し音声期間を得られる。
【００４０】
次に図４のフローチャートを用いて受信した音声パケットから感情データ検知し、電話機１００に感情表示データ・アラーム情報を送信するまでの動作を説明する。
【００４１】
図４は、主装置２００の感情検出処理を説明するためのフローチャートである。
【００４２】
尚、本フローは、所定の電話装置１００およびＩＰ網３に接続する所定の通話相手（図示せず）が呼接続し、通話を開始する毎に開始する。
【００４３】
通信制御部２０３は、通話中の電話装置１００または通話相手から音声パケットを受信すると（Ｓ４０１、Ｙｅｓ）、音声パケットの音声データ抽出して（Ｓ４０２）音声通信部２０５に渡す。
【００４４】
なお、音声パケットの受信について主装置２００は、電話装置１００が通話相手に送る送話の音声パケット、電話装置１００が通話相手から受け取る受話の音声パケットのそれぞれを受信するが、それぞれの音声パケットを識別しているものとする。
【００４５】
音声通信部２０５は、受信した音声データから音が含まれているかどうか判定し（Ｓ４０３）、音が含まれていなければ（Ｓ４０３、Ｎｏ）、ステップ４０１に戻って次の音声パケットの受信を待つ。
【００４６】
音が含まれていれば（Ｓ４０３、Ｙｅｓ）、音声通信部２０５は有音データの音声データを抽出し、無音になるまで抽出し続ける（Ｓ４０４〜Ｓ４０６）。そして音声通信部２０５は抽出した有音データを感情検出部２１１に渡す。
【００４７】
有音データを渡された感情検出部２１１は繰り返し応答処理を行い（Ｓ４０７）、非繰り返し音声を抽出する。次に感情検出部２１１は任意の感情数値化処理部２１１４を選択し（Ｓ４０８）、感情数値化処理が可能かどうか判断する（Ｓ４０９）。
【００４８】
感情数値化処理が不可能の場合（Ｓ４０９、Ｎｏ）、感情検出部２１１は他の選択していない感情数値化処理部２１１４を選択して（Ｓ４１０）処理可能な感情数値化処理部２１１４が見つかるまで同じ動作を繰り返す。
【００４９】
具体的にはまず感情数値化処理部２１１４−１を選択し、当該感情数値化処理部２１１４−１が処理中かどうかを判断する。処理中の場合、感情検出部２１１は感情数値化処理部２１１４−１、感情数値化処理部２１１４−２、感情数値化処理部２１１４−３・・・感情数値化処理部２１１４−ｍの順に選択していく。
【００５０】
感情数値化処理が可能の場合（Ｓ４０９、Ｙｅｓ）、感情検出部２１１は感情数値化処理を行い、感情数値化情報を算出する（Ｓ４１１）。そして算出した感情数値化情報をアラーム処理部２１０および表示配列部２０９に渡す。
【００５１】
アラーム処理部２１０および表示配列部２０９は受け取った感情数値化情報から感情表示データ・
アラーム情報を生成し、感情データ送信部２０８および通信制御部２０３と連動して電話機１００に送信する（Ｓ４１２）。
【００５２】
このように、繰り返し音声の感情処理を省略することで、空いている感情処理部２１１４を、新たな音声データに振り分けることで、感情数値化処理部２１１４の利用効率を向上する。
【００５３】
図５を参照して、主装置２００の感情数値化処理例の動作を説明する。図５では、電話機１００−１送話５０１と図示しないＩＰ網３に接続された相手端末の送話を電話機１００−１受話５０２で通話中の音声を示す。また、電話機１００−２送話Ｓ５０３と電話機１００−２受話５０４も同様に通話中の音声を示す。感情数値化処理部に入力する音声５０５は、感情数値化処理部２１１４に送る音声を示す。感情数値化情報５０６は、音声データから感情数値化情報が出力された事を示す。
【００５４】
第１送話感情認識結果５０７は、電話機１００−１送話から得られた感情数値化情報を示す。第１受話感情認識結果５０８は、電話機１００−１受話から得られた感情数値化情報を示す。第２送話感情認識結果５０９は、電話機１００−２送話から得られた感情数値化情報を示す。第２受話感情認識結果５１０は、電話機１００−２受話から得られた感情数値化情報を示す。第１送話感情認識結果５１１は、電話機１００−１送話から得られた感情数値化情報を示す。第１受話感情認識結果５１２は、電話機１００−１受話から得られた感情数値化情報を示す。
【００５５】
音声選択部２１１３では、電話機１００−１送話，電話機１００−１受話，電話機１００−２送話，電話機１００−２受話が入力されて、感情数値化処理部に入力する音声５０５が出力される。出力された音声は、音声数値化処理部２１１４に送られて、喜怒哀楽等の感情認識結果が、感情数値化情報５０６として出力される。
【００５６】
以上、本実施例について説明した。
【００５７】
上述した実施例に拠れば、通話の音声データから有音区間を抽出して、有音区間のみ空いている感情数値化処理部２１１４で感情数値化処理する。これにより回線数よりも少ない感情検出機能で効率的に感情検出することが出来る。
【００５８】
また、上述した実施例に拠れば、抽出した有音区間をさらに繰り返し音声処理で非繰り返し音声と折り返し音声に分類し、非繰り返し音声のみを感情数値化処理部２１１４で感情数値化処理する。これによりさらに効率的に感情検出することが出来る。
【符号の説明】
【００５９】
１００…電話機
２００…主装置
２０１…ＬＡＮインターフェース部
２０２…ＷＡＮインターフェース部
２０３…通信制御部
２０４…制御管理部
２０５…音声通信部
２０６…感情検出部
２０７…記憶部
２０８…感情データ送信部
２０９…表示配列部
２１０…アラーム処理部
２１１…感情検出部
２１１１…音声蓄積転送部
２１１２…音声繰り返し処理部
２１１３…音声選択部
２１１４…感情数値化処理部
２１１５…感情データ転送部
３…ＩＰ網
４…ＬＡＮ
５…ＩＰ外線
【特許請求の範囲】
【請求項１】
複数の回線を収容して呼を制御する電話制御装置において、
送話音声または受話音声を分析して送話者の喜怒哀楽に係る感情の度合いを検出して数値化する感情検出手段と、前記複数の回線の各々の送話音声または受話音声の有音期間を検出する有音検出手段と、前記回線を選択して当該選択した回線を流れる送話音声または受話音声を前記感情検出手段に入力する回線選択手段と、を有し、
前記有音検出手段が有音期間を検出する毎に、前記回線選択手段は当該回線を流れる送話音声または受話音声を一定時間以上前記感情検出手段に入力し、前記感情検出手段は入力された送話音声または受話音声を分析して送話者の喜怒哀楽に係る感情の度合いを検出し、前記検出した感情の度合いに係る情報を当該回線もしくは送話者と関連付けて記憶する、または所定の宛先へ通知することを特徴とする回線毎感情検出機能を有する電話制御装置。
【請求項２】
請求項１に記載の電話制御装置において、
前記回線選択手段は、入力された音声が一定周期で発音する繰り返し音声のときに前記感情検出手段への音声入力を停止させる音声停止手段と、前記音声停止手段で止められた期間を求める音声停止期間測定手段を、更に有し、
非繰り返し音声から得られた感情と、繰り返し音声の時間を用いて、感情表示する事を特徴とする回線毎感情検出機能を有する電話制御装置。
【請求項３】
請求項１または２に記載の電話制御装置において、
前記回線選択手段は、連続する音声の時に繰り返し音声で分割して感情検出することを特徴とする、回線毎感情検出機能を有する電話制御装置。
【請求項１】
複数の回線を収容して呼を制御する電話制御装置において、
送話音声または受話音声を分析して送話者の喜怒哀楽に係る感情の度合いを検出して数値化する感情検出手段と、前記複数の回線の各々の送話音声または受話音声の有音期間を検出する有音検出手段と、前記回線を選択して当該選択した回線を流れる送話音声または受話音声を前記感情検出手段に入力する回線選択手段と、を有し、
前記有音検出手段が有音期間を検出する毎に、前記回線選択手段は当該回線を流れる送話音声または受話音声を一定時間以上前記感情検出手段に入力し、前記感情検出手段は入力された送話音声または受話音声を分析して送話者の喜怒哀楽に係る感情の度合いを検出し、前記検出した感情の度合いに係る情報を当該回線もしくは送話者と関連付けて記憶する、または所定の宛先へ通知することを特徴とする回線毎感情検出機能を有する電話制御装置。
【請求項２】
請求項１に記載の電話制御装置において、
前記回線選択手段は、入力された音声が一定周期で発音する繰り返し音声のときに前記感情検出手段への音声入力を停止させる音声停止手段と、前記音声停止手段で止められた期間を求める音声停止期間測定手段を、更に有し、
非繰り返し音声から得られた感情と、繰り返し音声の時間を用いて、感情表示する事を特徴とする回線毎感情検出機能を有する電話制御装置。
【請求項３】
請求項１または２に記載の電話制御装置において、
前記回線選択手段は、連続する音声の時に繰り返し音声で分割して感情検出することを特徴とする、回線毎感情検出機能を有する電話制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−５４８９２（Ｐ２０１２−５４８９２Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９７９９７（Ｐ２０１０−１９７９９７）
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（０００１３４７０７）株式会社ナカヨ通信機 (522)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（０００１３４７０７）株式会社ナカヨ通信機 (522)
【Ｆターム（参考）】
[ Back to top ]