説明

会話グループ把握装置、会話グループ把握方法、及びプログラム

【課題】どの構成員同士で会話を行っているのかを把握する会話グループ把握装置を提供する。
【解決手段】組織を構成する構成員の位置において取得された音データを、構成員ごとに受け付ける受付部11と、受付部11が受け付けた音データを蓄積する音データ蓄積部12と、音データ蓄積部12が蓄積した構成員ごとの音データ間の類似性に関する情報である類似情報を算出する類似情報算出部15と、類似情報算出部15が算出した類似情報を用い、類似性の高い複数の音データにそれぞれ対応する複数の構成員の構成員識別情報を有する会話グループ情報を蓄積する会話グループ情報蓄積部16と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、組織の各構成員の位置で取得された音データを用いて、会話している構成員のグループ等を把握する会話グループ把握装置等に関する。
【背景技術】
【0002】
従来、組織の構成員の関係を把握する方法として、ソシオメトリーが知られている。ソシオメトリーでは通常、組織の各構成員から直接、誰が好きか、誰が嫌いか等を聞くことになるが、その回答は、回答に対する周囲の影響とか対面とかを考慮して回答者の真意を反映したものとは限らず、回答に偽りが含まれているおそれがあった。また、その回答が構成員間の人間関係に悪影響を及ぼすおそれもあった。そのため、構成員の関係を、ロボットを介して自動的に把握するための関係検知システムが開発されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−131748号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、この先行技術文献に示された従来の関係検知システムにおいては、ロボットに対する興味にばらつきのある大人には有効でないという問題がある。例えば、ロボットに興味のある構成員はロボットの近くに来るため、その構成員と他の構成員との関係を把握することができるが、ロボットに興味のない構成員はロボットの近くに来ないため、その構成員と他の構成員との関係を把握することができないという問題がある。
したがって、ロボット等を介することなく、直接、構成員の関係を正確に把握したいという要望があった。
【0005】
本発明は、上記事情に応じてなされたものであり、ロボット等を介さないで、構成員の関係、特に会話をしているグループを把握することができる会話グループ把握装置等を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明による会話グループ把握装置は、組織を構成する構成員の位置において取得された音データを、構成員ごとに受け付ける受付部と、受付部が受け付けた音データを蓄積する音データ蓄積部と、音データ蓄積部が蓄積した構成員ごとの音データ間の類似性に関する情報である類似情報を算出する類似情報算出部と、類似情報算出部が算出した類似情報を用い、類似性の高い複数の音データにそれぞれ対応する複数の構成員の構成員識別情報を有する会話グループ情報を蓄積する会話グループ情報蓄積部と、を備えたものである。
【0007】
このような構成により、会話グループ情報を用いて、どの構成員同士で会話を行っているのかを知ることができる。その結果、例えば、ロボット等を用いる間接的な方法ではなく、直接、組織において各構成員がどのようなグループを構成しているのかを知ることができる。また、その会話グループ情報を自動的に蓄積することができるため、客観的な情報となる。
【0008】
また、本発明による会話グループ把握装置では、音データ蓄積部は、受付部が受け付けた音データのうち、処理の単位となる時間である処理単位時間ごとに、所定の割合の時間の音データを蓄積してもよい。
【0009】
このような構成により、すべての音データを蓄積するのではないため、セキュリティーを向上させることができる。例えば、蓄積した音データが悪意のある第三者によって窃取されたとしても、会話の内容等を知られないようにすることができうる。また、保持する音データの容量を少なくすることができるメリットもある。
【0010】
また、本発明による会話グループ把握装置では、音データ蓄積部が蓄積した音データから、所定の音圧を超える音圧の音データを抽出する音データ抽出部をさらに備え、類似情報算出部は、音データ抽出部が抽出した音データを用いて類似情報を算出してもよい。
【0011】
会話をしている場合の音圧は、あるレベルの音圧を超えていると考えられるため、このような構成により、会話をしている音データのみを抽出して、適切に会話グループ情報を蓄積することができるようになると考えられる。
【0012】
また、本発明による会話グループ把握装置では、類似情報算出部は、処理の単位となる時間である処理単位時間ごとに、音データの音圧の増減を求め、音圧の増減の類似性に関する類似情報を算出してもよい。
【0013】
このような構成により、処理単位時間ごとの音データの音圧の増減パターンを用いて、2以上の音データが類似しているかどうかを把握することができる。したがって、類似情報を算出する際に、音のレベルの違いや、音の変化の大きさに影響されないことになる。
【0014】
また、本発明による会話グループ把握装置では、会話グループ情報に含まれる構成員識別情報で識別される複数の構成員にそれぞれ対応する音データのうち、大きい音圧の音データに対応する構成員の構成員識別情報を有する話者情報を蓄積する話者情報蓄積部をさらに備えてもよい。
このような構成により、どの構成員が話者であるのかも知ることができるようになる。
【0015】
また、本発明による会話グループ把握装置では、会話グループ情報蓄積部が蓄積した会話グループ情報を用いて、構成員の関係を示す関係情報を生成する関係情報生成部と、関係情報生成部が生成した関係情報を出力する関係情報出力部と、をさらに備えてもよい。
このような構成により、構成員間の関係について知ることができるようになる。
【0016】
また、本発明による会話グループ把握装置では、関係情報は、一の構成員が他の構成員と会話している時間に関する情報であってもよい。
このような構成により、構成員間の会話時間について知ることができるようになる。
【0017】
また、本発明による会話グループ把握装置では、関係情報は、会話グループ情報に含まれる構成員識別情報の時間的な遷移を示す情報であってもよい。
このような構成により、会話しているグループを構成する構成員の遷移について知ることができるようになる。
【発明の効果】
【0018】
本発明による会話グループ把握装置等によれば、どの構成員同士で会話を行っているのかを知ることができる。その結果、構成員の関係を正確に把握することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施の形態1による会話グループ把握装置の構成を示すブロック図
【図2】同実施の形態による会話グループ把握装置の動作を示すフローチャート
【図3】同実施の形態による会話グループ把握装置の動作を示すフローチャート
【図4】同実施の形態による会話グループ把握装置の動作を示すフローチャート
【図5】同実施の形態による会話グループ把握装置の動作を示すフローチャート
【図6】同実施の形態による会話グループ把握装置の動作を示すフローチャート
【図7】同実施の形態における類似情報の算出について説明するための図
【図8】同実施の形態における蓄積された音データの一例を示す図
【図9】同実施の形態における算出された類似情報の一例を示す図
【図10】同実施の形態における会話グループ情報の一例を示す図
【図11】同実施の形態における話者情報の一例を示す図
【図12】同実施の形態における関係情報の一例を示す図
【図13】上記実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図14】上記実施の形態におけるコンピュータシステムの構成の一例を示す図
【発明を実施するための形態】
【0020】
以下、本発明による会話グループ把握装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【0021】
(実施の形態1)
本発明の実施の形態1による会話グループ把握装置1について、図面を参照しながら説明する。本実施の形態による会話グループ把握装置1は、各構成員の位置で取得された音データを用いて、どの構成員同士で会話を行っているのかを把握するものである。
【0022】
図1は、本実施の形態による会話グループ把握装置1の構成を示すブロック図である。本実施の形態による会話グループ把握装置1は、受付部11と、音データ蓄積部12と、音データ記憶部13と、音データ抽出部14と、類似情報算出部15と、会話グループ情報蓄積部16と、会話グループ情報記憶部17と、会話グループ情報出力部18と、話者情報蓄積部19と、話者情報記憶部20と、話者情報出力部21と、関係情報生成部22と、関係情報出力部23とを備える。
【0023】
受付部11は、組織を構成する構成員の位置において取得された音データを、構成員ごとに受け付ける。組織は、例えば、学校や職場、サークル、あるいは、その他の何らかの団体やグループ等である。構成員は、その組織を構成する人や動物等である。本実施の形態では、構成員が人間である場合について説明する。また、その音データは、構成員に装着されたマイク(例えば、ハンズフリーマイクや、ヘッドセットのマイク、クリップマイク、タイピンマイク等)や、構成員の移動に応じて移動するようにされたマイクによって集音されたものである。そのマイクは、構成員の発話や、その構成員と会話をしている他の構成員の発話を効率よく取得することができる位置(例えば、構成員の口元や襟元等)に配置されることが好適である。また、受付部11は、マイクで集音された音データを、リアルタイムで受け付けてもよく、あるいは、マイクで集音され、録音された音データを一括して受け付けてもよい。また、受付部11が受け付ける音データは、デジタルデータであることが好適である。テープに録音されたアナログデータのように、テープの伸び等に起因する変化が起こらないからである。本実施の形態では音データがデジタルデータである場合について説明する。また、音データを構成員ごとに受け付けるとは、音データを構成員ごとに区別可能に受け付けることである。例えば、受付部11は、構成員を識別する構成員識別情報と一緒に、その構成員識別情報で識別される構成員の位置で取得された音データを受け付けてもよく、あるいは、構成員ごとに異なるチャンネルで入力された音データを受け付けてもよい。本実施の形態では、前者の場合について説明する。
【0024】
受付部11は、例えば、マイクから入力された音データを受け付けてもよく、有線もしくは無線の通信回線を介して送信された音データを受信してもよく、所定の記録媒体(例えば、光ディスクや磁気ディスク、半導体メモリ等)から読み出された音データを受け付けてもよい。なお、受付部11は、受け付けを行うためのデバイス(例えば、モデムやネットワークカード等)を含んでもよく、あるいは含まなくてもよい。また、受付部11は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【0025】
音データ蓄積部12は、受付部11が受け付けた音データを音データ記憶部13に蓄積する。音データ蓄積部12が音データを蓄積する際にも、構成員ごとに区別可能に蓄積することが好適である。また、音データ蓄積部12は、受付部11が受け付けたすべての音データを蓄積してもよく、あるいは、受付部11が受け付けた音データのうち、処理の単位となる時間である処理単位時間(例えば、0.5秒や1秒等)ごとに、所定の割合(例えば、1割や2割等)の時間の音データを蓄積してもよい。
【0026】
音データ記憶部13では、音データが構成員ごとに記憶される。この音データは、前述の音データ蓄積部12によって蓄積されたものである。この音データ記憶部13で記憶されている音データには、タイムコードが対応付けられていることが好適である。そのタイムコードは、受付部11が受け付けた音データにあらかじめ設定されていてもよく、あるいは、音データ蓄積部12が音データを音データ記憶部13に蓄積する際に設定してもよい。また、そのタイムコードは、音データのすべての時間帯にわたって設定されていてもよく、あるいは、始点や終点等の一部についてのみ設定されていてもよい。後者の場合であっても、そのタイムコードの設定されている位置からの差分の時間を算出することによって、音データのすべての時間帯についてタイムコードを知ることができる。また、タイムコードは、絶対的な日時を示すものであってもよく、相対的な時間を示すものであってもよい。前者の場合には、例えば、電波時計等から取得された日時を用いたものであってもよい。また、そのタイムコードは、複数の構成員に対応する音データの間で同期している(音データの同じ時間的な位置に、同じタイムコードが対応付けられている)ことが好適である。
【0027】
音データ記憶部13での記憶は、RAM等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。音データ記憶部13は、所定の記録媒体(例えば、半導体メモリや磁気ディスク、光ディスク等)によって実現されうる。
【0028】
音データ抽出部14は、音データ蓄積部12が音データ記憶部13に蓄積した音データから、所定の音圧を超える音圧の音データを抽出する。この所定の音圧は、あらかじめ設定されたものであってもよく、あるいは、音データごとに設定されるものであってもよい。後者の場合には、その所定の音圧は、例えば、その音データの最も大きい音圧に1より小さい値(例えば、0.7や0.8等)を掛けた値であってもよい。また、その所定の音圧よりも大きい音圧の音データは、会話の音データとなることが好適である。このようにすることで、会話の音データを抽出することができるようになる。なお、この会話の音データは、例えば、音データを取得する対象となる構成員の発話の音データであってもよく、あるいは、その構成員と会話を行っている他の構成員の発話の音データであってもよい。また、音データ抽出部14が抽出した音データは、図示しない記録媒体で一時的に記憶されてもよい。
【0029】
類似情報算出部15は、音データ蓄積部12が音データ記憶部13に蓄積した構成員ごとの音データ間の類似性に関する情報である類似情報を算出する。また、類似情報算出部15は、音データ抽出部14が抽出した音データをも用いて、構成員ごとの音データ間の類似情報をも算出する。本実施の形態では、音データ記憶部13で記憶されている音データを用いて類似情報を算出する際には、音データ抽出部14によって抽出されなかった音データを用いて類似情報を算出するものとする。前述のように、音データ抽出部14は、会話の音データを抽出することになるため、本実施の形態では、会話の音データに関する類似情報(音データ抽出部14によって抽出された音データを用いて算出された類似情報)と、会話以外の音データに関する類似情報(音データ抽出部14によって抽出されなかった音データを用いて算出された類似情報)とが算出されることになる。
【0030】
類似情報算出部15は、例えば、一定の時間間隔ごとに、類似情報を算出してもよく、そうでなくてもよい。前者の場合には、例えば、5秒ごとや10秒ごと等に類似情報を算出することになる。後者の場合には、可変長の時間に対応する類似情報を算出することになる。本実施の形態では、前者の場合について説明する。この類似情報は、類似の程度が分かる情報であれば、その内容を問わない。類似情報は、例えば、類似性が高いほど大きい値となる情報であってもよく、あるいは、類似性が低いほど大きい値となる情報であってもよい。また、類似情報算出部15は、タイムコードを用いることによって、同じ時間的位置の音データ間の類似情報を算出するものとする。また、類似情報算出部15は、通常、2個の音データ間の類似情報を算出するものとする。
【0031】
また、類似情報算出部15は、例えば、音データの波形の間の類似性に関する類似情報を算出してもよく、あるいは、処理の単位となる時間である処理単位時間ごとに、音データの音圧の増減(この増減は、通常、時間の経過にともなって音圧が増えているか減っているかを示すものである。ただし、時間をさかのぼる方向に音圧が増えているか減っているかを示すものであってもよい)を求め、音圧の増減のパターンの類似性に関する類似情報を算出してもよい。後者の場合には、音圧のレベルの差や、音圧の変化の程度の差(例えば、10だけ増えているのか、5だけ増えているのかの差)に依存しない類似情報を算出することができるようになる。マイクの特性や、音源とマイクとの距離等に起因して、たとえ同じ音が取得されていたとしても、音圧のレベルや音圧の変化の程度に差の生じることがありうる。そのような場合であっても、音圧の増減の変化のパターンを用いて類似情報を算出することによって、それらの差の影響を受けないようにすることができる。なお、音データの波形の類似性に関する類似情報を算出する場合であっても、そのような音圧のレベルや音圧の変化の程度の差に影響されないように類似情報を算出してもよい。そのため、例えば、一方の波形の全体を定数倍して音圧のレベルを調整した後に、類似情報を算出してもよい。
また、類似情報算出部15が算出した類似情報は、図示しない記録媒体で一時的に記憶されてもよい。
【0032】
会話グループ情報蓄積部16は、類似情報算出部15が算出した類似情報を用い、類似性の高い複数の音データにそれぞれ対応する複数の構成員の構成員識別情報を有する会話グループ情報を会話グループ情報記憶部17に蓄積する。類似性の高い複数の音データとは、類似情報によって示される類似性がしきい値以上である複数の音データである。そのしきい値は、あらかじめ設定されたものであってもよく、あるいは、そうでなくてもよい。後者の場合には、そのしきい値は、例えば、最も高い類似性の値に1より小さい値(例えば、0.7や0.8等)を掛けた値であってもよい。
【0033】
また、会話グループ情報蓄積部16は、音データ抽出部14によって抽出された音データを用いて算出された類似情報を用いて会話グループ情報を蓄積すると共に、その音データ抽出部14によって抽出されなかった音データを用いて算出された類似情報を用いて会話グループ情報を蓄積するものとする。前者の場合には、会話をしている構成員のグループ(このグループを「会話グループ」と呼ぶことにする)に関する情報が蓄積されることになる。後者の場合には、会話をしていないが近い位置にいる構成員のグループ(このグループを「集合グループ」と呼ぶことにする)に関する情報が蓄積されることになる。会話グループ情報は、会話グループや、集合グループを構成する構成員の構成員識別情報を示す情報である。会話グループや集合グループが2以上存在してもよいことは言うまでもない。
【0034】
会話グループ情報記憶部17では、会話グループ情報が記憶される。この会話グループ情報は、会話グループ情報蓄積部16によって蓄積されたものである。会話グループ情報記憶部17での記憶は、RAM等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。会話グループ情報記憶部17は、所定の記録媒体(例えば、半導体メモリや磁気ディスク、光ディスク等)によって実現されうる。
【0035】
会話グループ情報出力部18は、会話グループ情報蓄積部16が会話グループ情報記憶部17に蓄積した会話グループ情報を出力する。この出力は、例えば、表示デバイス(例えば、CRTや液晶ディスプレイ等)への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。なお、会話グループ情報出力部18は、出力を行うデバイス(例えば、表示デバイスやプリンタ等)を含んでもよく、あるいは含まなくてもよい。また、会話グループ情報出力部18は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【0036】
話者情報蓄積部19は、会話グループ情報に含まれる構成員識別情報で識別される複数の構成員(この構成員は会話グループの構成員である)にそれぞれ対応する音データのうち、大きい音圧の音データに対応する構成員の構成員識別情報を有する話者情報を蓄積する。その話者情報に含まれる構成員識別情報は、話者である構成員を識別する構成員識別情報である。話者情報蓄積部19は、会話グループごとに、その話者である構成員を識別する構成員識別情報を蓄積することが好適である。なお、この話者情報の生成で用いられる会話グループ情報は、会話グループに関する部分の情報である。すなわち、集合グループに関する部分の情報は用いられない。大きい音圧の音データとは、最も大きい音圧の音データであってもよく、しきい値以上の音圧の音データであってもよい。前者の場合には、単一の話者のみが特定されることになり、後者の場合には、2以上の話者も特定可能である。しきい値は、あらかじめ設定されたものであってもよく、あるいは、そうでなくてもよい。後者の場合には、そのしきい値は、例えば、最大の音圧に1より小さい値(例えば、0.7や0.8等)を掛けた値であってもよい。また、音圧の比較は、音圧の絶対値を用いて行われてもよく、あるいは、音データごとの最大の音圧に対する比を用いて行われてもよい。
【0037】
話者情報記憶部20では、話者情報が記憶される。この話者情報は、話者情報蓄積部19によって蓄積されたものである。話者情報記憶部20での記憶は、RAM等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。話者情報記憶部20は、所定の記録媒体(例えば、半導体メモリや磁気ディスク、光ディスク等)によって実現されうる。
【0038】
話者情報出力部21は、話者情報蓄積部19が話者情報記憶部20に蓄積した話者情報を出力する。この出力は、例えば、表示デバイス(例えば、CRTや液晶ディスプレイ等)への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。なお、話者情報出力部21は、出力を行うデバイス(例えば、表示デバイスやプリンタ等)を含んでもよく、あるいは含まなくてもよい。また、話者情報出力部21は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【0039】
関係情報生成部22は、会話グループ情報蓄積部16が蓄積した会話グループ情報を用いて、構成員の関係を示す関係情報を生成する。なお、関係情報生成部22は、話者情報蓄積部19が蓄積した話者情報をも用いて、関係情報を生成してもよい。この関係情報は、一の構成員が他の構成員と会話している時間に関する情報(例えば、会話時間を示す情報(=発話している時間+発話を聞いている時間)、発話時間を示す情報、発話比(=発話時間/会話時間)を示す情報等)であってもよく、会話グループ情報に含まれる構成員識別情報の時間的な遷移を示す情報であってもよく、その他の構成員の関係を示す情報(例えば、構成員がハブ傾向であるかどうか、孤立傾向であるかどうか、橋傾向であるかどうか、連絡係傾向であるかどうか等を示す情報)であってもよい。
【0040】
関係情報出力部23は、関係情報生成部22が生成した関係情報を出力する。この出力は、例えば、表示デバイス(例えば、CRTや液晶ディスプレイ等)への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。なお、関係情報出力部23は、出力を行うデバイス(例えば、表示デバイスやプリンタ等)を含んでもよく、あるいは含まなくてもよい。また、関係情報出力部23は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【0041】
なお、音データ記憶部13と、会話グループ情報記憶部17と、話者情報記憶部20との任意の2以上の記憶部は、同一の記録媒体によって実現されてもよく、あるいは、別々の記録媒体によって実現されてもよい。前者の場合には、例えば、音データを記憶している領域が音データ記憶部13となり、会話グループ情報を記憶している領域が会話グループ情報記憶部17となる。
【0042】
次に、本実施の形態による会話グループ把握装置1の動作について、図2のフローチャートを用いて説明する。
(ステップS101)受付部11は、音データを受け付けたかどうか判断する。そして、音データを受け付けた場合には、ステップS102に進み、そうでない場合には、ステップS103に進む。
【0043】
(ステップS102)音データ蓄積部12は、受付部11が受け付けた音データを音データ記憶部13に蓄積する。この蓄積の際に、構成員ごとに区別可能に音データを蓄積することが好適である。そして、ステップS101に戻る。
【0044】
(ステップS103)類似情報算出部15は、音データ記憶部13で記憶されている音データに関する一連の解析の処理(例えば、類似情報の算出や会話グループ情報の蓄積、話者情報の蓄積等の処理)を開始するかどうか判断する。そして、開始する場合には、ステップS104に進み、そうでない場合には、ステップS101に戻る。なお、本実施の形態では、この判断を類似情報算出部15が行う場合について説明するが、それ以外の構成要素、あるいは、図示しない制御部等がこの判断を行ってもよいことは言うまでもない。
【0045】
(ステップS104)音データ抽出部14は、音データ記憶部13で記憶されている音データを読み出し、所定の音圧を超える音圧の音データを抽出する。
【0046】
(ステップS105)類似情報算出部15は、音データ記憶部13で記憶されている音データと、音データ抽出部14が抽出した音データとを用いて、類似情報を算出する。なお、この処理の詳細については、図3のフローチャートを用いて後述する。
【0047】
(ステップS106)会話グループ情報蓄積部16は、類似情報算出部15によって算出された類似情報を用いて、会話グループ情報を生成する。この処理の詳細については、図4のフローチャートを用いて後述する。
【0048】
(ステップS107)会話グループ情報蓄積部16は、生成した会話グループ情報を会話グループ情報記憶部17に蓄積する。
【0049】
(ステップS108)会話グループ情報出力部18は、会話グループ情報蓄積部16が会話グループ情報記憶部17に蓄積した会話グループ情報を出力する。
【0050】
(ステップS109)話者情報蓄積部19は、音データ記憶部13で記憶されている音データと、会話グループ情報記憶部17で記憶されている会話グループ情報とを用いて、話者情報を生成する。この処理の詳細については、図5のフローチャートを用いて後述する。
【0051】
(ステップS110)話者情報蓄積部19は、生成した話者情報を話者情報記憶部20に蓄積する。
【0052】
(ステップS111)話者情報出力部21は、話者情報蓄積部19が話者情報記憶部20に蓄積した話者情報を出力する。
【0053】
(ステップS112)関係情報生成部22は、会話グループ情報記憶部17で記憶されている会話グループ情報と、話者情報記憶部20で記憶されている話者情報とを用いて、関係情報を生成する。この処理の詳細については、図6のフローチャートを用いて後述する。
【0054】
(ステップS113)関係情報出力部23は、関係情報生成部22が生成した関係情報を出力する。そして、ステップS101に戻る。
【0055】
なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。また、図2のフローチャートでは、類似情報の算出や会話グループ情報の蓄積、話者情報の蓄積、関係情報の生成と出力等の処理が連続して行われる場合について示しているが、そうでなくてもよい。例えば、類似情報の算出や、会話グループ情報の蓄積等の処理が、ユーザからの指示に応じて開始されるようにしてもよい。
【0056】
図3は、図2のフローチャートにおける類似情報の算出の処理(ステップS105)の詳細を示すフローチャートである。なお、この図3のフローチャートにおいて、類似情報の算出の処理は、時間的な区間ごとに実行されるものとする。例えば、その区間は、5秒ごと、10秒ごと、15秒ごと等の区間であってもよい。
【0057】
(ステップS201)類似情報算出部15は、カウンタiを1に設定する。
【0058】
(ステップS202)類似情報算出部15は、カウンタjをi+1に設定する
【0059】
(ステップS203)類似情報算出部15は、カウンタkを1に設定する。
【0060】
(ステップS204)類似情報算出部15は、i番目の構成員に対応する音データのk番目の区間と、j番目の構成員に対応する音データのk番目の区間とに、抽出された音データがあるかどうか判断する。すなわち、両構成員のk番目の区間がそれぞれ音データ抽出部14によって抽出されたかどうか判断する。そして、両方の音データが抽出されたものである場合には、ステップS205に進み、そうでない場合には、ステップS207に進む。
【0061】
(ステップS205)類似情報算出部15は、i番目の構成員に対応する抽出された音データのk番目の区間と、j番目の構成員に対応する抽出された音データのk番目の区間とに対する類似情報を算出する。この類似情報は、抽出された音データ間の類似情報であるため、会話に関する類似情報となる。すなわち、この類似情報によって類似性の高いことが示される場合には、i番目の構成員とj番目の構成員とは、k番目の区間において会話をしていることになる。
【0062】
(ステップS206)類似情報算出部15は、その算出した類似情報を図示しない記録媒体で一時的に記憶しておく。その記憶の際に、i番目の構成員とj番目の構成員とのk番目の区間に関する類似情報である旨を対応付けて記憶することが好適である。
【0063】
(ステップS207)類似情報算出部15は、i番目の構成員に対応する音データのk番目の区間と、j番目の構成員に対応する音データのk番目の区間とに対する類似情報を算出する。なお、その音データの少なくとも一方は、抽出された音データではなく、音データ記憶部13から受け取った音データである。この類似情報は、少なくとも一方が抽出されなかった音データである音データ間の類似情報であるため、会話以外の音に関する類似情報となる。すなわち、この類似情報によって類似性の高いことが示される場合には、i番目の構成員とj番目の構成員とは、k番目の区間において、会話をしていないが環境音が同じであるほど近い位置にいることになる。
【0064】
(ステップS208)類似情報算出部15は、その算出した類似情報を図示しない記録媒体で一時的に記憶しておく。その際に、i番目の構成員とj番目の構成員とのk番目の区間に関する類似情報である旨を対応付けて記憶することが好適である。
また、ステップS206で一時的に記憶される類似情報と、ステップS208で一時的に記憶される類似情報とは、区別可能に記憶されることが好適である。
【0065】
(ステップS209)類似情報算出部15は、カウンタkを1だけインクリメントする。
【0066】
(ステップS210)類似情報算出部15は、k番目の区間が存在するかどうか判断する。そして、存在する場合には、ステップS204に戻り、そうでない場合には、ステップS211に進む。
【0067】
(ステップS211)類似情報算出部15は、カウンタjを1だけインクリメントする。
【0068】
(ステップS212)類似情報算出部15は、j番目の構成員に対応する音データが存在するかどうか判断する。そして、j番目の構成員に対応する音データが存在する場合には、ステップS203に戻り、そうでない場合には、ステップS213に進む。
【0069】
(ステップS213)類似情報算出部15は、カウンタiを1だけインクリメントする。
【0070】
(ステップS214)類似情報算出部15は、i+1番目の構成員に対応する音データが存在するかどうか判断する。そして、i+1番目の構成員に対応する音データが存在する場合には、ステップS202に戻り、そうでない場合には、図2のフローチャートに戻る。
【0071】
なお、図3のフローチャートにおけるステップS204において、i番目の構成員とj番目の構成員との少なくとの一方に対応する音データが抽出されたものである場合には、ステップS205に進むようにしてもよい。また、k番目の区間の音データに抽出されたものと、抽出されなかったものとが混在する場合(例えば、前半の4割が抽出されたもので、後半の6割が抽出されなかったものである場合等)には、抽出された音データの割合が設定されたしきい値を超えているかどうかによって、そのk番目の区間の音データを抽出されたものとするかどうか決めてもよい。そのしきい値は、例えば、5割であってもよい。
【0072】
図4は、図2のフローチャートにおける会話グループ情報の生成の処理(ステップS106)の詳細を示すフローチャートである。
(ステップS301)会話グループ情報蓄積部16は、カウンタiを1に設定する。
【0073】
(ステップS302)会話グループ情報蓄積部16は、カウンタjをi+1に設定する。
【0074】
(ステップS303)会話グループ情報蓄積部16は、カウンタkを1に設定する。
【0075】
(ステップS304)会話グループ情報蓄積部16は、i番目の構成員に対応するk番目の区間の抽出された音データと、j番目の構成員に対応するk番目の区間の抽出された音データとが類似するかどうかを、両構成員のk番目の区間に対応する類似情報を用いて判断する。そして、両構成員のk番目の区間に対応する音データが抽出されたものでない場合や、両構成員のk番目の区間に対応する音データが抽出されたものであるが、両構成員のk番目の区間に対応する類似情報の示す類似性が高くない場合には、ステップS306に進み、そうでない場合、すなわち、両構成員のk番目の区間に対応する音データが抽出されたものであり、両構成員のk番目の区間に対応する類似情報の示す類似性が高い場合には、ステップS305に進む。具体的には、i番目の構成員に対応するk番目の区間の音データと、j番目の構成員に対応するk番目の区間の音データとについて、ステップS205で算出された類似情報が存在し、かつ、その類似情報によって類似性が高いことが示される場合に、ステップS305に進み、そうでない場合には、ステップS306に進む。なお、ステップS305に進む場合には、i番目の構成員とj番目の構成員とは会話をしていることになる。
【0076】
(ステップS305)会話グループ情報蓄積部16は、k番目の区間において、i番目の構成員とj番目の構成員とを同じ会話グループに追加する。具体的には、会話グループ情報蓄積部16は、k番目の区間において、i番目の構成員とj番目の構成員とのいずれかがすでに会話グループに所属しているかどうか検索し、所属している場合には、そのグループに、所属していない方の構成員を追加する。なお、両方とも所属している場合には、構成員の追加を行わない。一方、両方の構成員がいずれの会話グループにも所属していない場合には、両方の構成員を含む新たな会話グループを追加する。「構成員を会話グループに追加する」とは、その構成員の構成員識別情報を、その会話グループに対応付けて蓄積することであってもよい。
【0077】
(ステップS306)会話グループ情報蓄積部16は、i番目の構成員に対応するk番目の区間の音データと、j番目の構成員に対応するk番目の区間の音データとが類似するかどうかを、両構成員のk番目の区間に対応する類似情報を用いて判断する。ただし、両音データの少なくとも一方は、抽出されたものではないものとする。そして、両構成員のk番目の区間に対応する音データが抽出されたものである場合や、両構成員のk番目の区間に対応する音データの少なくとも一方が抽出されたものでないが、両構成員のk番目の区間に対応する類似情報の示す類似性が高くない場合には、ステップS308に進み、そうでない場合、すなわち、両構成員のk番目の区間に対応する音データの少なくとも一方が抽出されたものでなく、両構成員のk番目の区間に対応する類似情報の示す類似性が高い場合には、ステップS307に進む。具体的には、i番目の構成員に対応するk番目の区間の音データと、j番目の構成員に対応するk番目の区間の音データとについて、ステップS207で算出された類似情報が存在し、かつ、その類似情報によって類似性が高いことが示される場合に、ステップS307に進み、そうでない場合には、ステップS308に進む。なお、ステップS307に進む場合には、i番目の構成員とj番目の構成員とは会話をしていないが、近い位置にいることになる。
【0078】
(ステップS307)会話グループ情報蓄積部16は、k番目の区間において、i番目の構成員とj番目の構成員とを同じ集合グループに追加する。具体的には、会話グループ情報蓄積部16は、k番目の区間において、i番目の構成員とj番目の構成員とのいずれかがすでに集合グループに所属しているかどうか検索し、所属している場合には、そのグループに、所属していない方の構成員を追加する。なお、両方とも所属している場合には、構成員の追加を行わない。一方、両方の構成員がいずれの集合グループにも所属していない場合には、両方の構成員を含む新たな集合グループを追加する。
【0079】
(ステップS308)会話グループ情報蓄積部16は、カウンタkを1だけインクリメントする。
【0080】
(ステップS309)会話グループ情報蓄積部16は、k番目の区間が存在するかどうか判断する。そして、存在する場合には、ステップS304に戻り、そうでない場合には、ステップS310に進む。
【0081】
(ステップS310)会話グループ情報蓄積部16は、カウンタjを1だけインクリメントする。
【0082】
(ステップS311)会話グループ情報蓄積部16は、j番目の構成員に対応する音データが存在するかどうか判断する。そして、j番目の構成員に対応する音データが存在する場合には、ステップS303に戻り、そうでない場合には、ステップS312に進む。
【0083】
(ステップS312)会話グループ情報蓄積部16は、カウンタiを1だけインクリメントする。
【0084】
(ステップS313)会話グループ情報蓄積部16は、i+1番目の構成員に対応する音データが存在するかどうか判断する。そして、i+1番目の構成員に対応する音データが存在する場合には、ステップS302に戻り、そうでない場合には、図2のフローチャートに戻る。
【0085】
図5は、図2のフローチャートにおける話者情報の生成の処理(ステップS109)の詳細を示すフローチャートである。
(ステップS401)話者情報蓄積部19は、カウンタkを1に設定する。
【0086】
(ステップS402)話者情報蓄積部19は、カウンタiを1に設定する。
【0087】
(ステップS403)話者情報蓄積部19は、会話グループ情報を参照し、k番目の区間のi番目の会話グループを構成する構成員を特定するための情報を読み出す。構成員を特定するための情報は、例えば、構成員識別情報であってもよい。
【0088】
(ステップS404)話者情報蓄積部19は、ステップS403で読み出した構成員を特定するための情報で特定される構成員に対応する音データを用いて、話者を決定する。例えば、話者情報蓄積部19は、ステップS403で読み出した構成員識別情報に対応する音データのうち、大きい音圧の音データに対応する構成員を話者に決定する。
【0089】
(ステップS405)話者情報蓄積部19は、ステップS404で決定した話者を、k番目の区間のi番目の会話グループに対応する話者として、話者情報記憶部20に蓄積する。例えば、話者情報蓄積部19は、その話者の構成員識別情報を、k番目の区間のi番目の会話グループに対応する話者として、話者情報記憶部20に蓄積してもよい。
【0090】
(ステップS406)話者情報蓄積部19は、カウンタiを1だけインクリメントする。
【0091】
(ステップS407)話者情報蓄積部19は、k番目の区間にi番目の会話グループが存在するかどうか判断する。そして、存在する場合には、ステップS403に戻り、そうでない場合には、ステップS408に進む。
【0092】
(ステップS408)話者情報蓄積部19は、カウンタkを1だけインクリメントする。
【0093】
(ステップS409)話者情報蓄積部19は、k番目の区間が存在するかどうか判断する。そして、存在する場合には、ステップS402に戻り、そうでない場合には、図2のフローチャートに戻る。
【0094】
図6は、図2のフローチャートにおける関係情報の生成の処理(ステップS112)の詳細を示すフローチャートである。
(ステップS501)関係情報生成部22は、カウンタiを1に設定する。
【0095】
(ステップS502)関係情報生成部22は、会話グループ情報と、話者情報とを用いて、i番目の会話グループの構成員の遷移と、各区間における話者の特定とを行う。例えば、i番目の会話グループの最初の区間から順番に、隣接する区間の間で同一あるいは類似する会話グループを特定し、その同一あるいは類似する会話グループがなくなった時点でその処理を終了する。このようにして、i番目の会話グループの構成員の遷移を知ることができる。なお、隣接する区間において、あらかじめ設定された割合以上の構成員が一致する場合に、会話グループが類似すると判断してもよい。また、そのようにして特定したi番目の会話グループの構成員の遷移と、話者情報とを用いることによって、各区間における話者を特定することが可能となる。
【0096】
(ステップS503)関係情報生成部22は、そのi番目の会話グループについて、各構成員の会話時間(会話グループに存在していた時間)や、発話時間(話者であった時間)等を算出する。
【0097】
(ステップS504)関係情報生成部22は、その算出した会話時間等を一時的に記憶する。
【0098】
(ステップS505)関係情報生成部22は、カウンタiを1だけインクリメントする。
【0099】
(ステップS506)関係情報生成部22は、i番目の会話グループが存在するかどうか判断する。そして、存在する場合には、ステップS502に戻り、そうでない場合には、図2のフローチャートに戻る。なお、ステップS502において、会話グループの構成員の遷移を調べる際に、特定されなかった会話グループが会話グループ情報に存在する場合には、i番目の会話グループが存在することになる。そして、その特定されていない会話グループのうち、最も早い区間の会話グループから順番にたどることによって、会話グループの構成員の遷移を調べることになる。
【0100】
ここで、処理単位時間ごとに音データの音圧の増減を求め、その増減のパターンの類似性に関する類似情報を算出する方法について説明する。図7は、ある区間における構成員Aと、構成員Bとの音データの一例を示す図である。縦方向の帯は、1個の処理単位時間に対応する音圧を示すものである。その音圧は、例えば、その処理単位時間のある時点(始点や終点等)における音圧そのものであってもよく、その処理単位時間の全体の音圧を積分したものや、その全体の音圧の平均であってもよい。また、その処理単位時間ごとの音圧の下側に記載されている「P(プラス)」「M(マイナス)」は、その時点の音圧が、1個前の処理単位時間に対応する音圧に対して、増加したかどうかを示すものである。増加した場合には「P」が表示され、減少した場合には「M」が表示されている。図7で示される区間には、24個の処理単位時間が含まれており、それらの区間のうち、1個の区間のみが異なっているため、構成員Aの音データと、構成員Bの音データとの類似度は、約96%となる。したがって、類似情報算出部15は、類似情報「96%」を生成することになる。このように、音圧の増減のパターンを用いて類似情報を算出する場合には、まず、ある区間における処理単位時間ごとの音圧の増減(前述の「P」「M」)を求め、次式によって類似情報を算出してもよい。
【0101】
類似情報=(音圧の増減の一致している処理単位時間の数)/(その区間の処理単位時間の総数)
【0102】
また、図7で示されるように、表示されている区間の前半では、構成員Aの音データのレベルの方が大きく、後半では、構成員Bの音データのレベルの方が大きくなっている。したがって、前半では、構成員Aが話者であり、後半では、構成員Bが話者であることが分かる。
【0103】
次に、本実施の形態による会話グループ把握装置1の動作について、具体例を用いて説明する。この具体例で、各構成員はある会社の社員であり、その職場での会話グループ情報を取得する場合について説明する。また、この具体例において、1個の区間は5秒であるとする。また、この具体例において、類似情報は、類似度そのものであるとする。
【0104】
まず、各構成員である社員が職場に到着すると、襟元にワイヤレスマイクを装着する。そして、そのワイヤレスマイクによって取得され、送信された音データは、受付部11で受信される(ステップS101)。そして、音データ蓄積部12は、その受信された音データを順次、音データ記憶部13に蓄積していく(ステップS102)。音データ蓄積部12は、ワイヤレスマイクから送信されてくる音データのチャンネルと、構成員識別情報との対応を示す図示しない情報にアクセスすることができ、その情報を用いて、ワイヤレスマイクから送信された音データを、その音データに応じた構成員識別情報に対応付けて蓄積する。その結果、図8で示される情報が音データ記憶部13に蓄積される。図8において、構成員識別情報と、音データとが対応付けられている。例えば、構成員識別情報U001で識別される構成員(この構成員のことを、「構成員U001」と呼ぶことがある。他の構成員についても同様であるとする)の装着したワイヤレスマイクで集音された音データは、「M001.wav」である。なお、各音データは、音データ記憶部13に蓄積される際に、タイムコードが対応付けられているものとする。そのタイムコードは、相対的なもの、すなわち、録音開始からの時間を示すものであるとする。
【0105】
夕方になり、録音が終了したタイミングで、類似情報算出部15は、音データに関する解析を開始すると判断し(ステップS103)、音データ抽出部14に音データの抽出をする旨を指示する。すると、音データ抽出部14は、その指示に応じて、音データ記憶部13から音データ「M001.wav」等を読み出して、あらかじめ決められた音圧を超える音圧の音データを抽出して類似情報算出部15に渡す(ステップS104)。類似情報算出部15は、そのようにして受け取った、抽出後の音データを、図示しない記録媒体で一時的に記憶する。
【0106】
次に、類似情報算出部15は、類似情報の算出を開始する(ステップS105)。まず、類似情報算出部15は、構成員U001の音データと、構成員U002の音データとの1番目の区間であるタイムコード00:00:00〜00:00:05の部分が、音データ抽出部14から受け取った抽出後の音データにそれぞれ含まれるかどうか判断する(ステップS201〜S204)。この場合には、両者は抽出後の音データに含まれていたとする。すると、類似情報算出部15は、それらの音データを読み出して、図7で説明したようにして類似情報を算出する(ステップS205)。その類似情報である類似度は、92%であったとする。類似情報算出部15は、その類似情報「92%」を、タイムコード00:00:00〜00:00:05と、構成員識別情報U001、U002とに対応付けて一時的に記憶する(ステップS206)。その後、類似情報算出部15は、最後の区間まで、構成員識別情報U001、U002の音データの類似情報を算出すると共に、他の構成員間の類似情報も算出する(ステップS202〜S214)。その結果、一時的に記憶されている類似情報は、図9で示されるようになったとする。図9において、タイムコードごとに、2人の構成員間の類似情報が示されている。なお、類似情報において、「抽出」の列に含まれるものは、抽出後の音データを用いて算出された類似情報(すなわち、ステップS205で算出された類似情報)であり、「オリジナル」の列に含まれるものは、抽出前の音データを用いて算出された類似情報(すなわち、ステップS207で算出された類似情報)である。また、図9において、図面の表記上、タイムコードを「00:00」等と示しているが、本来は「00:00:00」等である。他のタイムコードについても同様であるとする。
【0107】
次に、会話グループ情報蓄積部16は、会話グループ情報の生成を開始する(ステップS106)。なお、この具体例において、類似情報が90%以上である場合に、類似であると判断されるものとする。その会話グループ情報の生成において、まず、会話グループ情報蓄積部16は、1番目の区間であるタイムコード00:00:00〜00:00:05の部分の構成員U001、U002の抽出後の音データの類似情報が90%以上かどうか判断する(ステップS301〜S304)。この場合には、図9で示されるように、90%以上であるため、会話グループ情報蓄積部16は、構成員識別情報U001、U002を対応付けて、会話グループに追加する(ステップS305)。具体的には、会話グループ情報蓄積部16は、「(U001、U002)」を、会話グループ情報のタイムコード00:00:00〜00:00:05の箇所であって、会話グループを示す箇所に蓄積する。その後、会話グループ情報蓄積部16は、最後の区間まで、構成員U001、U002に関する類似情報を用いた会話グループ情報の生成を行い、また、他の構成員間の類似情報を用いた会話グループ情報の生成をも行う(ステップS302〜S313)。なお、例えば、1番目の区間において、構成員U001、U008の抽出後の音データの類似情報も90%以上である場合には、会話グループ情報蓄積部16は、その構成員識別情報U001を検索キーとして、会話グループ情報の会話グループの箇所であって、1番目の区間に対応する箇所を検索する。すると、「(U001、U002)」がヒットするため、そのグループに、構成員識別情報U008を追加する。その結果、その会話グループは、「(U001、U002、U008)」となる。その後、構成員U002、U008に関する類似情報を用いた会話グループ情報の生成が行われる際には、新たな構成員識別情報の追加は行われない。すでに、構成員識別情報U002、U008が同じ会話グループとして蓄積されているからである。
【0108】
その後、会話グループ情報蓄積部16は、生成した会話グループ情報を会話グループ情報記憶部17に蓄積する(ステップS107)。図10は、そのようにして蓄積された会話グループ情報の一例を示す図である。図10において、タイムコードごとに、会話グループと、集合グループとが示されている。各グループにおいて、括弧で括られた構成員識別情報が、1個の会話グループまたは集合グループに対応し、その各構成員識別情報が、その各グループに含まれる構成員に対応する構成員識別情報である。
【0109】
会話グループ情報出力部18は、会話グループ情報記憶部17に蓄積された図10で示される会話グループ情報をディスプレイに表示する(ステップS108)。その結果、会話グループ把握装置1の操作者は、会話グループ情報の内容について知ることができるようになる。
【0110】
次に、話者情報蓄積部19は、話者情報の生成を開始する(ステップS109)。具体的には、話者情報蓄積部19は、図10で示される会話グループ情報を参照し、1番目の区間であるタイムコード00:00:00〜00:00:05の部分の1番目の会話グループ「(U001、U002、U008)」を読み出す(ステップS401〜S403)。そして、各構成員識別情報に対応する1番目の区間の音データを読み出して、しきい値以上の音圧の音データを特定する。この場合には、構成員U001の音データの音圧がしきい値以上であったとする。すると、その会話グループの話者は、構成員U001となる(ステップS404)。そして、話者情報蓄積部19は、1番目の区間の1番目の会話グループの話者に対応する構成員識別情報U001を含む「(U001)」を、その区間に対応付けて一時的に記憶する(ステップS405)。その後、話者情報蓄積部19は、他の会話グループの話者の特定を行うと共に、最後の区間までその各会話グループの話者の特定を行うものとする(ステップS402〜S409)。
【0111】
その後、話者情報蓄積部19は、生成した話者情報を話者情報記憶部20に蓄積する(ステップS110)。図11は、そのようにして蓄積された話者情報の一例を示す図である。図11において、タイムコードごとに、話者を識別する構成員識別情報である話者IDが示されている。話者IDにおいて、各グループが括弧で区別されている。また、通常、1個のグループに話者が一人であるため、1個の括弧には1個の構成員識別情報が含まれているだけである。一方、例えば、「(U001、U002)」のように、1個の括弧に2個以上の構成員識別情報が含まれている場合には、その構成員識別情報に対応する構成員による同時発話が行われていることになる。
【0112】
話者情報出力部21は、話者情報記憶部20に蓄積された図11で示される話者情報をディスプレイに表示する(ステップS111)。その結果、会話グループ把握装置1の操作者は、話者情報の内容について知ることができるようになる。
【0113】
次に、関係情報生成部22は、関係情報の生成を開始する(ステップS112)。具体的には、関係情報生成部22は、図10の会話グループ情報を参照し、1番目の会話グループ(U001、U002、U008)を特定し、その会話グループが消滅するまで、タイムコードごとに、その会話グループを特定していく。その際に、会話グループに含まれる構成員識別情報がどれだけ変化したら同じグループと判断しないのかのしきい値があらかじめ決まっているものとする。この具体例では、6割以上の構成員識別情報が変化した場合には、同じグループではないと判断するものとする。例えば、会話グループ(U001、U002)が、(U001、U003)となった場合には、変化は50%であるため、同じグループと判断されるものとする。一方、会話グループ(U001、U002、U003)が、(U001、U004、U005)となった場合には、変化は67%であるため、同じグループと判断されないものとする。
【0114】
また、関係情報生成部22は、話者情報を参照し、特定した会話グループのタイムコードごとに、話者に対して、アスタリスク「*」を付与していく。その結果、1番目の会話グループに関する情報は、図12で示されるようになる。図12において、タイムコードごとに、1番目の会話グループを構成する構成員の構成員識別情報が示されている。また、話者には、アスタリスクが付与されている。この情報によって、会話グループの構成員や話者の遷移を知ることができるようになる。また、関係情報生成部22は、この情報を用いて、1番目の会話グループに関する各構成員の会話時間と、発話時間とを算出する。ある構成員の会話時間は、図12のテーブルにおいて、その構成員の構成員識別情報が含まれるレコード数をカウントし、そのレコード数に5秒を掛けた値である。また、ある構成員の発話時間は、図12のテーブルにおいて、その構成員の構成員識別情報にアスタリスクが付与されているものが含まれるレコード数をカウントし、そのレコード数に5秒を掛けた値である。構成員U001の会話時間は15分25秒であり、発話時間は7分45秒であったとする。すると、関係情報生成部22は、それらの情報を用いて、構成員U001の発話比0.50を算出する。また、関係情報生成部22は、同様にして、他の構成員の会話時間や発話時間、発話比も算出し(ステップS503)、それらの情報を図示しない記録媒体で一時的に記憶する(ステップS504)。その後、関係情報生成部22は、2番目以降の他の会話グループについても、会話グループの遷移の特定や、話者の特定、各構成員の会話時間等の算出を行う(ステップS502〜S506)。そして、関係情報出力部23は、そのようにして生成された関係情報を、ディスプレイに表示する(ステップS113)。その結果、会話グループ把握装置1の操作者は、どのようなグループが構成されているのか、各グループで主体的に発話しているのは誰か等について知ることができるようになる。
【0115】
なお、この具体例において、関係情報生成部22が、会話グループごとに会話時間や発話時間等を算出する場合について説明したが、関係情報生成部22は、会話グループごとの会話時間や発話時間を用いて、構成員の傾向(例えば、ハブ傾向、スター傾向、孤立傾向、排斥傾向等)を示す関係情報を生成してもよい。具体的には、その傾向を識別する情報である傾向識別情報と、その傾向識別情報で識別される傾向に対応する会話時間や発話時間の条件を示す条件情報とを対応付ける情報が図示しない記録媒体で記憶されており、関係情報生成部22は、ある構成員について、その構成員の会話時間等が満たす条件情報を特定し、その構成員が、その特定した条件情報に対応する傾向識別情報で識別される傾向を有する旨の関係情報を生成してもよい。そして、関係情報生成部22は、その処理を、すべての構成員について行ってもよい。例えば、孤立傾向に対応する条件情報は、「他の多くの構成員(例えば、8割以上の構成員等)と、短い会話時間(例えば、平均の会話時間の3割以下等)しか会話していない」であってもよい。
【0116】
また、この具体例では、会話グループ情報の会話グループに関する情報のみを用いて関係情報を生成する場合について説明したが、そうでなくてもよい。会話グループ情報の集合グループに関する情報をも用いて、関係情報を生成してもよい。その関係情報は、例えば、集合グループの構成員の遷移を示すものであってもよく、集合時間(構成員がある集合に属していた時間)であってもよく、その他の情報であってもよい。また、会話グループ情報の集合グループに関する情報が、前述の構成員の傾向を示す関係情報の生成の際に用いられてもよい。
【0117】
以上のように、本実施の形態による会話グループ把握装置1によれば、会話グループ情報によって、どの構成員同士で会話を行っているのかを容易に知ることができるようになる。また、話者情報によって、各グループにおいて、どの構成員が話者であるのかを容易に知ることができるようになる。また、関係情報によって、グループを構成する構成員の遷移や、構成員ごとの会話時間、発話時間、発話比等について知ることができるようになる。また、会話グループ情報等を自動的に生成することができるため、その情報が客観的なものとなると共に、構成員間の人間関係に悪影響を及ぼすことなく、会話グループ情報等を取得することができる。さらに、ロボットを用いなくても、構成員間の関係について知ることができるため、ロボットに興味のない構成員についても、関係情報等を取得することができることになる。
【0118】
なお、本実施の形態では、構成員の位置において取得された音データが音データ記憶部13に蓄積され、継続して記憶される場合について説明したが、そうでなくてもよい。例えば、構成員の位置において取得された音データが、あらかじめ外部の録音機器等で録音され、その録音された音データが受付部11で受け付けられた場合には、音データ記憶部13での音データの記憶は、類似情報の算出や、話者情報の生成がなされるまでの一時的な記憶であってもよい。
【0119】
また、本実施の形態では、会話グループ情報を用いて、あるいは、会話グループ情報と話者情報とを用いて、関係情報を生成する場合について説明したが、関係情報生成部22は、話者情報を用いて関係情報を生成してもよい。
【0120】
また、本実施の形態では、関係情報を生成し、出力する場合について説明したが、そうでなくてもよい。関係情報の生成や出力を行わない場合には、会話グループ把握装置1は、関係情報生成部22や関係情報出力部23を備えていなくてもよい。
【0121】
また、本実施の形態では、話者情報を蓄積する場合について説明したが、そうでなくてもよい。話者情報の蓄積を行わない場合には、会話グループ把握装置1は、話者情報蓄積部19や、話者情報記憶部20、話者情報出力部21を備えていなくてもよい。
【0122】
また、本実施の形態では、音データ抽出部14が抽出しなかった音データをも用いて、集合グループを特定する場合について説明したが、集合グループの特定を行わなくてもよい。その場合には、抽出されなかった音データを用いた類似情報の算出を行わなくてもよい。
【0123】
また、本実施の形態では、音データ抽出部14が抽出した音データについて類似情報を算出する場合について説明したが、そうでなくてもよい。音データ抽出部14が抽出した音データについて類似情報を算出しない場合には、会話グループ把握装置1は、音データ抽出部14を備えていなくてもよい。その場合には、類似情報算出部15は、音データ記憶部13で記憶されている音データのみから類似情報を算出することになる。
【0124】
また、上記実施の形態では、会話グループ把握装置1がスタンドアロンである場合について説明したが、会話グループ把握装置1は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、受付部や出力部は、通信回線を介して入力を受け付けたり、情報を出力したりしてもよい。
【0125】
また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【0126】
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。
【0127】
また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いるしきい値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していない場合であっても、ユーザが適宜、それらの情報を変更できるようにしてもよく、あるいは、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。
【0128】
また、上記実施の形態において、会話グループ把握装置1に含まれる2以上の構成要素が通信デバイスや入力デバイス等を有する場合に、2以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。
【0129】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における会話グループ把握装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、組織を構成する構成員の位置において取得された音データを、構成員ごとに受け付ける受付部、受付部が受け付けた音データを蓄積する音データ蓄積部、音データ蓄積部が蓄積した構成員ごとの音データ間の類似性に関する情報である類似情報を算出する類似情報算出部、類似情報算出部が算出した類似情報を用い、類似性の高い複数の音データにそれぞれ対応する複数の構成員の構成員識別情報を有する会話グループ情報を蓄積する会話グループ情報蓄積部、として機能させるためのプログラムである。
【0130】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部等におけるモデムやインターフェースカード等のハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。
【0131】
また、このプログラムは、サーバ等からダウンロードされることによって実行されてもよく、所定の記録媒体(例えば、CD−ROM等の光ディスクや磁気ディスク、半導体メモリ等)に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
【0132】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0133】
図13は、上記プログラムを実行して、上記実施の形態による会話グループ把握装置1を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【0134】
図13において、コンピュータシステム900は、CD−ROM(Compact Disk Read Only Memory)ドライブ905、FD(Floppy(登録商標) Disk)ドライブ906を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
【0135】
図14は、コンピュータシステム900の内部構成を示す図である。図14において、コンピュータ901は、CD−ROMドライブ905、FDドライブ906に加えて、MPU(Micro Processing Unit)911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM(Random Access Memory)913と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク914と、MPU911、ROM912等を相互に接続するバス915とを備える。なお、コンピュータ901は、LANへの接続を提供する図示しないネットワークカードを含んでいてもよい。
【0136】
コンピュータシステム900に、上記実施の形態による会話グループ把握装置1の機能を実行させるプログラムは、CD−ROM921、またはFD922に記憶されて、CD−ROMドライブ905、またはFDドライブ906に挿入され、ハードディスク914に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク914に記憶されてもよい。プログラムは実行の際にRAM913にロードされる。なお、プログラムは、CD−ROM921やFD922、またはネットワークから直接、ロードされてもよい。
【0137】
プログラムは、コンピュータ901に、上記実施の形態による会話グループ把握装置1の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。
【0138】
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0139】
以上より、本発明による会話グループ把握装置等によれば、どの構成員同士で会話を行っているのかを知ることができ、その結果、構成員の関係を正確に把握することができるという効果が得られ、そのような情報を自動的に取得する装置等として有用である。
【符号の説明】
【0140】
1 会話グループ把握装置
11 受付部
12 音データ蓄積部
13 音データ記憶部
14 音データ抽出部
15 類似情報算出部
16 会話グループ情報蓄積部
17 会話グループ情報記憶部
18 会話グループ情報出力部
19 話者情報蓄積部
20 話者情報記憶部
21 話者情報出力部
22 関係情報生成部
23 関係情報出力部

【特許請求の範囲】
【請求項1】
組織を構成する構成員の位置において取得された音データを、構成員ごとに受け付ける受付部と、
前記受付部が受け付けた音データを蓄積する音データ蓄積部と、
前記音データ蓄積部が蓄積した構成員ごとの音データ間の類似性に関する情報である類似情報を算出する類似情報算出部と、
前記類似情報算出部が算出した類似情報を用い、類似性の高い複数の音データにそれぞれ対応する複数の構成員の構成員識別情報を有する会話グループ情報を蓄積する会話グループ情報蓄積部と、を備えた会話グループ把握装置。
【請求項2】
前記音データ蓄積部は、前記受付部が受け付けた音データのうち、処理の単位となる時間である処理単位時間ごとに、所定の割合の時間の音データを蓄積する、請求項1記載の会話グループ把握装置。
【請求項3】
前記音データ蓄積部が蓄積した音データから、所定の音圧を超える音圧の音データを抽出する音データ抽出部をさらに備え、
前記類似情報算出部は、前記音データ抽出部が抽出した音データを用いて類似情報を算出する、請求項1または請求項2記載の会話グループ把握装置。
【請求項4】
前記類似情報算出部は、処理の単位となる時間である処理単位時間ごとに、音データの音圧の増減を求め、当該音圧の増減の類似性に関する類似情報を算出する、請求項1から請求項3のいずれか記載の会話グループ把握装置。
【請求項5】
会話グループ情報に含まれる構成員識別情報で識別される複数の構成員にそれぞれ対応する音データのうち、大きい音圧の音データに対応する構成員の構成員識別情報を有する話者情報を蓄積する話者情報蓄積部をさらに備えた、請求項1から請求項4のいずれか記載の会話グループ把握装置。
【請求項6】
前記会話グループ情報蓄積部が蓄積した会話グループ情報を用いて、構成員の関係を示す関係情報を生成する関係情報生成部と、
前記関係情報生成部が生成した関係情報を出力する関係情報出力部と、をさらに備えた、請求項1から請求項5のいずれか記載の会話グループ把握装置。
【請求項7】
前記関係情報は、一の構成員が他の構成員と会話している時間に関する情報である、請求項6記載の会話グループ把握装置。
【請求項8】
前記関係情報は、会話グループ情報に含まれる構成員識別情報の時間的な遷移を示す情報である、請求項6記載の会話グループ把握装置。
【請求項9】
受付部と、音データ蓄積部と、類似情報算出部と、会話グループ情報蓄積部とを用いて処理される会話グループ把握方法であって、
前記受付部が、組織を構成する構成員の位置において取得された音データを、構成員ごとに受け付ける受付ステップと、
前記音データ蓄積部が、前記受付ステップで受け付けた音データを蓄積する音データ蓄積ステップと、
前記類似情報算出部が、前記音データ蓄積ステップで蓄積した構成員ごとの音データ間の類似性に関する情報である類似情報を算出する類似情報算出ステップと、
前記会話グループ情報蓄積部が、前記類似情報算出ステップで算出した類似情報を用い、類似性の高い複数の音データにそれぞれ対応する複数の構成員の構成員識別情報を有する会話グループ情報を蓄積する会話グループ情報蓄積ステップと、を備えた会話グループ把握方法。
【請求項10】
コンピュータを、
組織を構成する構成員の位置において取得された音データを、構成員ごとに受け付ける受付部、
前記受付部が受け付けた音データを蓄積する音データ蓄積部、
前記音データ蓄積部が蓄積した構成員ごとの音データ間の類似性に関する情報である類似情報を算出する類似情報算出部、
前記類似情報算出部が算出した類似情報を用い、類似性の高い複数の音データにそれぞれ対応する複数の構成員の構成員識別情報を有する会話グループ情報を蓄積する会話グループ情報蓄積部、として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2010−266722(P2010−266722A)
【公開日】平成22年11月25日(2010.11.25)
【国際特許分類】
【出願番号】特願2009−118464(P2009−118464)
【出願日】平成21年5月15日(2009.5.15)
【出願人】(301022471)独立行政法人情報通信研究機構 (1,071)
【Fターム(参考)】