感情推定装置および感情推定方法
【課題】人間のコミュニケーションの場の感情であるグループ感情を推定することが可能な感情推定装置を提供する。
【解決手段】複数人で構成される集団の感情を示すグループ感情を推定する感情推定装置であって、状態遷移モデルを記憶する記憶部と、集団を構成する個人の感情に関する情報をセンシングにより取得し、個人感情を推定する情報入力部と、情報入力部から取得した個人感情の情報と状態遷移モデルとからグループ感情を推定するグループ感情推定部とを有し、状態遷移モデルは、個人感情とグループ感情の時系列遷移を扱うものであり、連続的にそのモデルの状態が更新されるものである。
【解決手段】複数人で構成される集団の感情を示すグループ感情を推定する感情推定装置であって、状態遷移モデルを記憶する記憶部と、集団を構成する個人の感情に関する情報をセンシングにより取得し、個人感情を推定する情報入力部と、情報入力部から取得した個人感情の情報と状態遷移モデルとからグループ感情を推定するグループ感情推定部とを有し、状態遷移モデルは、個人感情とグループ感情の時系列遷移を扱うものであり、連続的にそのモデルの状態が更新されるものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間のコミュニケーションの場の感情であるグループ感情を推定する感情推定装置および感情推定方法に関する。
【背景技術】
【０００２】
近年、人間や人間の集団の感情を推定する技術は、人間の円滑なコミュニケーションを支える技術として、心理学や社会学、人工知能、ロボット技術等への応用が期待されている。そのため、人間の表情や声の情報から、その人の感情を情報処理装置に認識させるための技術は重要である。非特許文献１および非特許文献２では、個人の感情状態を音声や画像系列から推定する方法が提案されている。
【０００３】
人間のコミュニケーションの場における雰囲気を感情で表現したものをグループ感情と呼ぶと、グループ感情を推定することが、今後、重要になる。
【０００４】
特許文献１には、複数の人間が持つ感情を統合した集団的感情を認識することを目的として、プレゼンテーションの聴衆に対して、個人の感情を介さずに、聴衆の視線に関する視線情報または発汗量などの生体情報から、直接集団的感情を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２７２０１９号公報
【非特許文献】
【０００６】
【非特許文献１】松本祥平、外４名、「ロボットでの利用を目的とした顔画像情報と音声情報の統合による感情認識」、第２２回日本ロボット学会学術講演会、２００４年９月１５日〜１７日
【非特許文献２】伊藤彰則、外３名、「音声処理と顔画像処理を統合した対話映像からの笑いの認識」、情報処理学会SIG研究報告、２００５年５月２６日
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１または非特許文献２に開示された方法は、個人感情のみが推定され、グループ感情を推定するものではなかった。特許文献１に開示された集団的感情は、プレゼンテーションに聴衆がどの程度興味を持っているか示す情報に過ぎない。
【０００８】
本発明は上述したような技術が有する問題点を解決するためになされたものであり、人間のコミュニケーションの場の感情であるグループ感情を推定することが可能な感情推定装置および感情推定方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明の感情推定装置は、複数人で構成される集団の感情を示すグループ感情を推定する感情推定装置であって、
状態遷移モデルを記憶する記憶部と、
前記集団を構成する個人の感情に関する情報をセンシングにより取得し、個人感情を推定する情報入力部と、
前記情報入力部から取得した個人感情の情報と前記状態遷移モデルとから前記グループ感情を推定するグループ感情推定部とを有し、
前記状態遷移モデルは、前記個人感情と前記グループ感情の時系列遷移を扱うものであり、連続的にそのモデルの状態が更新されることを特徴とする。
【００１０】
一方、本発明の感情推定方法は、複数人で構成される集団の感情を示すグループ感情を、該集団を構成する人の個人感情と記憶部に格納された状態遷移モデルとから推定する情報処理装置による感情推定方法であって、
前記個人感情が入力されると、該個人感情と前記状態遷移モデルに基づく過去のグループ感情とのうち少なくとも１つから、現在のグループ感情を推定するものである。
【発明の効果】
【００１１】
本発明によれば、個人感情およびグループ感情の因果関係に適合したグループ感情を推定することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の情報処理装置の一構成例を示すブロック図である。
【図２】図１に示した情報処理装置の動作手順を示すフロー図である。
【図３】実施例１の感情推定装置の一構成例を示すブロック図である。
【図４】図３に示したセンシング情報処理部による特徴量算出方法を説明するための模式図である。
【図５】目および口の付近の安定特徴点の一例を示す図である。
【図６】実施例１における状態遷移モデルの一例を示す図である。
【図７】実施例１の感情推定装置の動作手順を示すフロー図である。
【図８】グループのうちの１人について感情認識のための観測量が得られない場合の感情推定方法を示す場合の一例である。
【図９】実施例１における共起感情モデルのパラメータの設定例を示す図である。
【図１０】実施例１における感情推定装置の別の構成例を示すブロック図である。
【図１１】図１０に示した感情推定装置の動作手順を示すフロー図である。
【発明を実施するための形態】
【００１３】
本実施形態の情報処理装置について説明する。図１は本実施形態の情報処理装置の一構成例を示すブロック図である。
【００１４】
図１に示すように、情報処理装置は、個人感情の推定に関する情報を出力する情報入力部２と、個人感情からグループ感情を推定するためのモデルである状態遷移モデルを記憶する記憶部６と、情報入力部２から受け取る情報および記憶部６の状態遷移モデルを用いてグループ感情を推定するグループ感情推定部４とを有する。
【００１５】
情報入力部２およびグループ感情推定部４は、情報処理部５に設けられている。情報処理部５には、プログラムにしたがって処理を実行するＣＰＵ（Central Processing Unit）（不図示）と、プログラムを格納するためのメモリ（不図示）が設けられている。ＣＰＵがプログラムを実行することで、情報入力部２およびグループ感情推定部４が仮想的に構成される。
【００１６】
情報入力部２は、個人感情の推定に関する情報を外部から取得し、グループ感情推定部４にその情報を出力する。個人感情の推定に関する情報とは、個人感情の情報そのものである場合に限らず、例えば、人の感情を推定するために、人を観測するセンシングに基づいた情報であってもよい。センシングに基づいた情報とは、具体的には、カメラで取得される映像情報や、マイクで取得される音声情報または韻律情報などである。
【００１７】
なお、情報入力部２は、個人感情の推定に関する情報がセンシングに基づいた情報である場合、個人感情の推定に関する情報から個人感情を推定する処理を行って、その結果をグループ感情推定部４に出力してもよい。また、上述の形式や方法に限らず、情報入力部２は、状態遷移モデルの内容やグループ感情推定部４の推定方法に好適な形式となるように、入力した情報を処理し、その結果をグループ感情推定部に４に入力してもよい。
【００１８】
状態遷移モデルは、グループ感情推定部４によって利用されるモデルである。ただし、状態遷移モデルを用いた感情推定および状態遷移モデルの更新のためのプログラムが記憶部６に格納されていてもよく、または、状態遷移モデルに含まれるデータのみが記憶部６に格納され、状態遷移モデルを用いた感情推定および状態遷移モデルの更新のためのプログラムが情報処理部５内のメモリ（不図示）に保存されていてもよい。記憶部６にプログラムが格納されている場合には、情報処理部５のＣＰＵ（不図示）が記憶部６からプログラムを読み出して実行する。
【００１９】
また、状態遷移モデルは、個人感情の時系列推移が含まれるものであってもよく、複数人の個人感情が含まれるものであってもよい。さらに、状態遷移モデルは、情報入力部２から入力される情報や、グループ感情推定部４に対して、好適な形式であればよい。
【００２０】
グループ感情推定部４は、複数の人の個人感情の推定に関する情報を情報入力部２から受け取ると、複数の人の個人感情の推定に関する情報に基づく、複数の人の個人感情と状態遷移モデルとを用いて、グループ感情を推定する。その際、グループ感情推定部４は、複数の人の個人感情の推定に関する情報が、映像情報および音声情報など、センシングに基づいた情報である場合、これらの情報から複数の人のそれぞれの個人感情を推定する。個人感情を推定する処理は、後述の個人感情推定部１４の動作で詳しく説明する。
【００２１】
また、グループ感情推定部４は、複数の人の個人感情と過去に推定されたグループ感情のうち少なくとも１つから、現在のグループ感情を推定してもよい。
【００２２】
次に、図１に示した情報処理装置の動作を説明する。図２は図１に示した情報処理装置の動作手順を示すフロー図である。
【００２３】
グループ感情推定部４は、複数の人のそれぞれの個人感情の推定に関する情報を情報入力部２から受け取ると（ステップ１０１）、受け取る情報に基づいた、複数の人のそれぞれの個人感情と、記憶部６が記憶する状態遷移モデルとからグループ感情を推定する（ステップ１０２）。
【００２４】
なお、本実施形態では、情報入力部２およびグループ感情推定部４の機能はＣＰＵ（不図示）がプログラムを実行することで実現される場合で説明したが、情報入力部２およびグループ感情推定部４は、その両方、またはいずれか一方がその機能に特化した専用の演算回路で構成されてもよい。
【００２５】
また、個人感情の推定に関する情報がセンシングに基づいた情報である場合、情報入力部２が、複数の人のそれぞれの個人感情の推定に関する情報から各人の個人感情を推定する処理を行って、その結果をグループ感情推定部４に出力し、グループ感情推定部４は、複数の人のそれぞれの個人感情の情報と状態遷移モデルとを用いて、グループ感情を推定すればよい。
【００２６】
以下に、図１に示した情報処理装置を含む感情推定装置について実施例を説明する。また、情報入力部２が複数の人のそれぞれの個人感情の推定に関する情報から各人の個人感情を推定する処理を行う場合で説明する。
【実施例１】
【００２７】
本実施例の感情推定装置の構成を説明する。
【００２８】
図３は本実施例の感情推定装置の一構成例を示すブロック図である。図１に示した構成と同様な構成については同一の符号を付し、その詳細な説明を省略する。
【００２９】
図３に示すように、本実施例における感情推定装置は、センシング入力部１０と、センシング情報処理部１２と、個人感情推定部１４と、状態遷移モデルを記憶する記憶部６と、グループ感情推定部４とを有する。図３に示すセンシング情報処理部１２および個人感情推定部１４は、図１に示した情報入力部２の一例である。
【００３０】
センシング入力部１０は、人の感情に関連する情報を取得するための機器である。ここでは、センシング入力部１０は、カメラ２１およびマイク２３を含む構成である。センシング入力部１０は、カメラ１０で人の表情を撮影し、表情を観測するための映像情報をセンシング情報処理部１２に入力する。また、センシング入力部１０は、マイク２３を介して声が入力されると、韻律感情を観測するために音声情報（韻律情報）をセンシング情報処理部１２に入力する。
【００３１】
センシング情報処理部１２では、映像情報から顔の表情を示す特徴量を算出し、韻律情報から声の感情を示す特徴量を算出し、算出結果を個人感情推定部１４に送る。ここで、感情認識のための特徴量の算出方法を簡単に説明する。
【００３２】
図４は図３に示したセンシング情報処理部による特徴量算出方法を説明するための模式図である。図４に示すカメラ２１およびマイク２３が図３に示したセンシング入力部１０の一例である。
【００３３】
顔の表情を示す特徴量の算出方法を説明する。センシング情報処理部１２は、カメラ２１で撮影された動画像が入力されると、動画像で顔検出の処理を行う。顔検出の処理は、照明条件の変化や肌の色によらない処理として、顔の構造に着目したHarr-like特徴量などを用いることが望ましい。次に、センシング情報処理部１２は、顔向きを検出するために、予め学習処理により作成しておいた表情特徴点モデルの顔検出によって得られる特徴点データを用いて、相関演算などの当てはめを行い、最大応答を示す顔向きを求める。次に、センシング情報処理部１２は、求めた顔向きから表情筋を構成する顔特徴点（注目特徴点）を抽出する。特徴点の抽出には、ＦＡＣＳ（Facial Action Coding System）モデルを用いた抽出であってもよく、図５に示すように、目や口付近の安定特徴点を算出してもよい。
【００３４】
図５は目および口の付近の安定特徴点の一例を示す図である。図５のpt1〜pt4は右目の特徴点を示し、pt5〜pt8は左目の特徴点を示し、pt9〜pt12は口の特徴点を示す。
【００３５】
次に、センシング情報処理部１２は、算出した特徴点の情報から表情の特徴量を算出する。また、センシング情報処理部１２は、顔の特徴点をトラッキングすることによって、特徴点抽出の精度を上げる。トラッキング処理には、パーティクルフィルタを用いてもよいが、本実施例では、オプティカルフローを算出している。
【００３６】
注目特徴点から算出される、表情の特徴を示す量として、例えば、図５に示すような幾何学的関係に関する量を用いる。図５では、特徴点間の距離をF1〜F6で示し、これらの距離が表情を示す特徴量となる。
【００３７】
次に、声の感情を示す特徴量の算出方法を説明する。
【００３８】
センシング情報処理部１２は、マイク２３に入力される音声情報から、ピッチやパワー、基本周波数Ｆ０値、モーラなどの韻律特徴を算出する。続いて、センシング情報処理部１２は、韻律特徴と韻律特徴量との関係が示された韻律特徴モデルを用いて、Ｆ０の最大値、Ｆ０の最小値、Ｆ０の平均値、短時間パワーの最大値、短時間パワーの最小値、短時間パワーの平均値、および、平均モーラ長を求め、これらの値から、声の感情を示す特徴量を算出する。
【００３９】
個人感情推定部１４は、顔の表情を示す特徴量と声の感情を示す特徴量の情報をセンシング情報処理部１２から受け取ると、それらの特徴量から個人感情を算出し、算出した個人感情の情報をグループ感情推定部４に送る。
【００４０】
なお、感情認識の特徴量の算出方法の一例が非特許文献１および非特許文献２に開示されており、これらの文献に開示された方法を用いてもよい。
【００４１】
次に、状態遷移モデルについて説明する。図６は本実施例における状態遷移モデルの一例を示す図である。
【００４２】
図６に示すように、本実施例の状態遷移モデルを、個人感情とグループ感情の時間遷移を示したベイジアンネットワークとしている。なお、以下では、このベイジアンネットワークを共起感情モデルと称する。
【００４３】
図６に示す共起感情モデルは、ＡおよびＢの２人の感情に基づく共起感情モデルを示している。図６に示すＦAは、センシング情報処理部１２から出力される、Ａの感情認識のための観測量を示す。観測量は、例えば、顔の表情を示す特徴量および声の感情を示す特徴量の少なくともいずれかである。図６に示すＦBは、センシング情報処理部１２から出力される、Ｂの感情認識のための観測量を示す。
【００４４】
図６に示すＥAは、個人感情推定部１４から出力される、Ａの個人感情を示す。図６に示すＥBは、個人感情推定部１４から出力される、Ｂの個人感情を示す。図６に示すＧはグループ感情推定部４から出力されるグループ感情を示す。
【００４５】
なお、本実施例では、説明を簡単にするために、感情推定の対象となる人が２人の場合で説明するが、図６に示すように、共起感情モデルはグラフ構造をしているため、３人以上の人に対して共起感情モデルを展開してもよい。
【００４６】
図６に示す共起感情モデルでは、時刻ｔを現在とすると、現在におけるグループ感情Ｇtは、過去の時刻（ｔ−１）におけるグループ感情Ｇt-1およびＡ、Ｂのそれぞれの個人感情ＥAt-1、ＥBt-1から推定されるものとして表される。また、時刻ｔにおけるＡ、Ｂのそれぞれの個人感情ＥAt、ＥBtは、時刻ｔのグループ感情Ｇtの影響を受ける。このように、時間経過に伴って個人感情はグループ感情の影響を受けながら変化していく。共起感情モデルは、個人感情と集団感情の時系列遷移を表すモデルになっている。
【００４７】
グループ感情推定部４は、個人感情と共起感情モデルを用いて、グループ感情を推定する。図６を参照して説明すると、時刻（ｔ−１）でのＡの個人感情ＥAt-1、Ｂの個人感情ＥBt-1およびグループ感情Ｇt-1と時刻ｔでのグループ感情Ｇtとの関係を、条件付確率分布Ｐ（ Gt | EAt-1, EBt-1, Gt-1 ）として共起感情モデルに予め記述しておき、グループ感情推定部４は、それに基づいて、時刻ｔでのグループ感情Ｇtの確率分布を算出し、グループ感情を推定する。グループ感情推定部４が時間経過に伴ってグループ感情を順次推定することで、図６に示すように、共起感情モデルの状態が連続的に更新される。
【００４８】
なお、図３に示すブロック図では、グループ感情推定部１４によるグループ感情推定の１回分の処理の際のデータの流れを矢印で示している。
【００４９】
次に、本実施例の感情推定装置の動作を説明する。図７は本実施例の感情推定装置の動作手順を示すフロー図である。
【００５０】
センシング情報処理部１２は、センシング入力部１０から映像情報と音声情報が入力されると（ステップ２０１）、顔の表情を示す特徴量と声の感情を示す特徴量を算出する（ステップ２０２）。続いて、個人感情推定部１４は、顔の表情を示す特徴量と声の感情を示す特徴量から個人感情を算出する（ステップ２０３）。そして、グループ感情推定部４は、個人感情推定部１４で算出された個人感情の情報と記憶部６に格納された共起感情モデルを用いて、グループ感情を推定する（ステップ２０４）。
【００５１】
本実施例によれば、人がグループで会話しているシーンにおいて、リアルタイムにグループ感情を推定することができる。また、顔の表情を示す特徴量と声の感情を示す特徴量の両方を用いることにより、推定性能を向上させることが可能となる。例えば、発話中は表情特徴量の重みを下げ、聞き役などのときは重みを上げるなどの動的な選択を行うことも可能となる。
【００５２】
次に、本実施例の感情推定装置において、センシング時に起こる人物の遮蔽などにより、グループのうちの１人について、感情認識のための観測量を得られない場合の感情推定方法について説明する。
【００５３】
時刻（ｔ−１）において、センシング時に起こる人物の隠蔽などがあると、ＡとＢのうち、いずれか一方の人の個人感情が算出できない場合が考えられる。この場合、グループ感情推定部４は、時刻（ｔ−１）におけるＡの個人感情ＥAt-1およびＢの個人感情ＥBt-1のうち、算出できた方の個人感情と時刻（ｔ−１）におけるグループ感情Ｇt-1とから、時刻ｔでのグループ感情Ｇtを推定することが可能となる。
【００５４】
図８は、グループのうちの１人について感情認識のための観測量が得られない場合の感情推定方法を示す場合の一例である。図８はＡの人の、時刻ｔにおける観測量ＦAtを取得できなかった場合を示す。
【００５５】
時刻（ｔ−１）でのＡの個人感情ＥAt-1および時刻ｔでのＡの個人感情ＥAtとグループ感情Ｇtとの関係を、条件付確率分布Ｐ（ EAt | EAt-1, Gt ）として共起感情モデルに予め記述しておく。図８に示すように、時刻ｔでのＡの観測量ＦAtが欠落したとき、グループ感情推定部４は、時刻ｔのグループ感情Ｇtと時刻（ｔ−１）のＡの個人感情ＥAt-1とから、観測量の欠落した、時刻ｔにおけるＡの個人感情ＥAtを逆に推定してもよい。この場合、時刻（ｔ＋１）のグループ感情Ｇt+1の推定に必要な情報を補完することが可能となる。
【００５６】
さらに、欠損する情報は上述の場合に限らない。条件付確率分布Ｐ（ Gt |Gt-1 ）を予め共起感情モデルに記述しておけば、グループ感情推定部４は、過去に推定されたグループ感情から次の時刻のグループ感情を推定することが可能となり、条件付確率分布Ｐ（ Gt | EAt-1 ）またはＰ（ Gt | EAt ）を予め共起感情モデルに記述しておけば、グループ感情推定部４は、個人感情からグループ感情を推定することが可能となる。
【００５７】
次に、図６に示した共起感情モデルの具体例を説明する。
【００５８】
グループ感情推定部４において、時刻（ｔ−１）の個人とグループのそれぞれの感情から時刻ｔのグループ感情を算出する方法は、本発明を適用する環境に合わせて柔軟に設計できる。
【００５９】
図９は本実施例における共起感情モデルのパラメータ設定例を示す図である。例えば、Gt ＝f（ EAt-1, EBt-1, Gt-1 ）とすると、図９に示すように、計算速度を向上させるため、関数f を以下のように単純な加重和としてもよい。
【００６０】
Gt = wa × EAt-1 + wb × EBt-1 + wg × Gt-1
ただし、wa、wbおよびwgは係数であり、wa ＋ wb ＋ wg = 1である。
【００６１】
係数wa、wb、およびwgは、グループを構成するメンバーの感情の組み合わせとメンバーの場への影響度によって決定する。例えば、メンバーＡ、Ｂの両者がともに笑っていたならば、グループ感情推定部４は、音声波形の振幅の大きさによって影響度を算出し、それに基づいてwを決定する。
【００６２】
観測情報の欠損により、個人感情E At-1または個人感情EBt-1のうち、どちらか一方を推定できなかった場合、グループ感情推定部４は、さらに過去の個人感情E At-2および個人感情EBt-2の情報を基に係数wを算出してもよい。
【００６３】
なお、上述の感情推定装置が共起感情モデルの更新を行うようにしてもよい。以下に、共起感情モデルの更新について詳しく説明する。共起感情モデルの更新とは、共起感情モデルに設定された各種のパラメータを変更することであり、例えば、上述の条件付確率分布、係数wおよび後述の結合確率表などのパラメータを学習処理によって変更することである。
【００６４】
図１０は本実施例の感情推定装置の別の構成例を示すブロック図である。図１または図３に示した構成と同様な構成については同一の符号を付し、その詳細な説明を省略する。
【００６５】
図１０に示す感情推定装置は、図３を参照して説明した感情推定装置に含まれる構成の他に、状態遷移モデル生成部１６と、推定結果出力部１８とを有する構成である。
【００６６】
図６を参照して説明すると、状態遷移モデル生成部１６は、ＡおよびＢの２人の個人感情およびグループ感情からなる３つの結合確率表をベイジアンネットワークの学習処理により、共起感情モデルの更新を行う。また、グループ感情の推定結果が存在する場合、状態遷移モデル生成部１６は、結合確率表の場合と同様に、それを用いて、ベイジアンネットワークの学習処理を行う。
【００６７】
推定結果出力部１８では、グループ感情推定部４による、グループ感情の推定結果を人に提示する。例えば、推定結果出力部１８は、表示部（不図示）を備え、グループ感情を「ポジティブ」や「ネガティブ」といった言葉で表現して表示部に提示したり、グループ感情をキャラクタ画像の表情に反映させて表示したりする。推定結果出力部１８がスピーカ（不図示）を備えている場合には、グループ感情を「ポジティブ」や「ネガティブ」といった言葉を音声でスピーカから出力したり、グループ感情を反映させた音をスピーカから出力したりしてもよい。グループ感情を提示する方法は、人が推定結果を理解できる好適な方法であれば、ここで例示した方法以外であってもよい。
【００６８】
次に、図１０に示した感情推定装置の動作を説明する。図１１は図１０に示した感情推定装置の動作手順を示すフロー図である。
【００６９】
図１１に示すステップ２０１から２０４までの処理は、図７を参照して説明した処理と同様である。ステップ２０４の処理の後、推定結果出力部１８がグループ感情推定結果を提示し（ステップ２０５）、状態遷移モデル生成部１６が共起感情モデルを更新する（ステップ２０６）。
【００７０】
グループ感情の推定結果を用いて、共起感情生成モデルを更新することにより、推定精度を高めることが可能となる。
【００７１】
本発明によれば、個人感情からグループ感情を推定する状態遷移モデルを用いてグループ感情の推定を行うため、個人感情がグループ感情にどのような影響を及ぼすか、個人感情およびグループ感情の因果関係に適合したグループ感情を推定することができる。本発明をコミュニケーションロボットに搭載すると、個人感情の遷移とグループ感情の遷移の状況を考慮して、会話に参入することができるので、より自然なコミュニケーションを行うことが可能なロボット実現させることが可能となる。
【産業上の利用可能性】
【００７２】
本発明は、人間と会話を行うコミュニケーションロボットにおいて、コミュニケーションの場に適切な対話戦略を選択することや、会議内容を記録し分析する会議システムなどにおいて、会議の盛り上がり具合を視覚化することに利用可能である。
【符号の説明】
【００７３】
２ 情報入力部
４ グループ感情推定部
５ 情報処理部
６ 記憶部
１０ センシング入力部
１２ センシング情報処理部
１４ 個人感情推定部
１６ 状態遷移モデル生成部
１８ 推定結果出力部
２１ カメラ
２３ マイク
【技術分野】
【０００１】
本発明は、人間のコミュニケーションの場の感情であるグループ感情を推定する感情推定装置および感情推定方法に関する。
【背景技術】
【０００２】
近年、人間や人間の集団の感情を推定する技術は、人間の円滑なコミュニケーションを支える技術として、心理学や社会学、人工知能、ロボット技術等への応用が期待されている。そのため、人間の表情や声の情報から、その人の感情を情報処理装置に認識させるための技術は重要である。非特許文献１および非特許文献２では、個人の感情状態を音声や画像系列から推定する方法が提案されている。
【０００３】
人間のコミュニケーションの場における雰囲気を感情で表現したものをグループ感情と呼ぶと、グループ感情を推定することが、今後、重要になる。
【０００４】
特許文献１には、複数の人間が持つ感情を統合した集団的感情を認識することを目的として、プレゼンテーションの聴衆に対して、個人の感情を介さずに、聴衆の視線に関する視線情報または発汗量などの生体情報から、直接集団的感情を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２７２０１９号公報
【非特許文献】
【０００６】
【非特許文献１】松本祥平、外４名、「ロボットでの利用を目的とした顔画像情報と音声情報の統合による感情認識」、第２２回日本ロボット学会学術講演会、２００４年９月１５日〜１７日
【非特許文献２】伊藤彰則、外３名、「音声処理と顔画像処理を統合した対話映像からの笑いの認識」、情報処理学会SIG研究報告、２００５年５月２６日
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１または非特許文献２に開示された方法は、個人感情のみが推定され、グループ感情を推定するものではなかった。特許文献１に開示された集団的感情は、プレゼンテーションに聴衆がどの程度興味を持っているか示す情報に過ぎない。
【０００８】
本発明は上述したような技術が有する問題点を解決するためになされたものであり、人間のコミュニケーションの場の感情であるグループ感情を推定することが可能な感情推定装置および感情推定方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明の感情推定装置は、複数人で構成される集団の感情を示すグループ感情を推定する感情推定装置であって、
状態遷移モデルを記憶する記憶部と、
前記集団を構成する個人の感情に関する情報をセンシングにより取得し、個人感情を推定する情報入力部と、
前記情報入力部から取得した個人感情の情報と前記状態遷移モデルとから前記グループ感情を推定するグループ感情推定部とを有し、
前記状態遷移モデルは、前記個人感情と前記グループ感情の時系列遷移を扱うものであり、連続的にそのモデルの状態が更新されることを特徴とする。
【００１０】
一方、本発明の感情推定方法は、複数人で構成される集団の感情を示すグループ感情を、該集団を構成する人の個人感情と記憶部に格納された状態遷移モデルとから推定する情報処理装置による感情推定方法であって、
前記個人感情が入力されると、該個人感情と前記状態遷移モデルに基づく過去のグループ感情とのうち少なくとも１つから、現在のグループ感情を推定するものである。
【発明の効果】
【００１１】
本発明によれば、個人感情およびグループ感情の因果関係に適合したグループ感情を推定することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の情報処理装置の一構成例を示すブロック図である。
【図２】図１に示した情報処理装置の動作手順を示すフロー図である。
【図３】実施例１の感情推定装置の一構成例を示すブロック図である。
【図４】図３に示したセンシング情報処理部による特徴量算出方法を説明するための模式図である。
【図５】目および口の付近の安定特徴点の一例を示す図である。
【図６】実施例１における状態遷移モデルの一例を示す図である。
【図７】実施例１の感情推定装置の動作手順を示すフロー図である。
【図８】グループのうちの１人について感情認識のための観測量が得られない場合の感情推定方法を示す場合の一例である。
【図９】実施例１における共起感情モデルのパラメータの設定例を示す図である。
【図１０】実施例１における感情推定装置の別の構成例を示すブロック図である。
【図１１】図１０に示した感情推定装置の動作手順を示すフロー図である。
【発明を実施するための形態】
【００１３】
本実施形態の情報処理装置について説明する。図１は本実施形態の情報処理装置の一構成例を示すブロック図である。
【００１４】
図１に示すように、情報処理装置は、個人感情の推定に関する情報を出力する情報入力部２と、個人感情からグループ感情を推定するためのモデルである状態遷移モデルを記憶する記憶部６と、情報入力部２から受け取る情報および記憶部６の状態遷移モデルを用いてグループ感情を推定するグループ感情推定部４とを有する。
【００１５】
情報入力部２およびグループ感情推定部４は、情報処理部５に設けられている。情報処理部５には、プログラムにしたがって処理を実行するＣＰＵ（Central Processing Unit）（不図示）と、プログラムを格納するためのメモリ（不図示）が設けられている。ＣＰＵがプログラムを実行することで、情報入力部２およびグループ感情推定部４が仮想的に構成される。
【００１６】
情報入力部２は、個人感情の推定に関する情報を外部から取得し、グループ感情推定部４にその情報を出力する。個人感情の推定に関する情報とは、個人感情の情報そのものである場合に限らず、例えば、人の感情を推定するために、人を観測するセンシングに基づいた情報であってもよい。センシングに基づいた情報とは、具体的には、カメラで取得される映像情報や、マイクで取得される音声情報または韻律情報などである。
【００１７】
なお、情報入力部２は、個人感情の推定に関する情報がセンシングに基づいた情報である場合、個人感情の推定に関する情報から個人感情を推定する処理を行って、その結果をグループ感情推定部４に出力してもよい。また、上述の形式や方法に限らず、情報入力部２は、状態遷移モデルの内容やグループ感情推定部４の推定方法に好適な形式となるように、入力した情報を処理し、その結果をグループ感情推定部に４に入力してもよい。
【００１８】
状態遷移モデルは、グループ感情推定部４によって利用されるモデルである。ただし、状態遷移モデルを用いた感情推定および状態遷移モデルの更新のためのプログラムが記憶部６に格納されていてもよく、または、状態遷移モデルに含まれるデータのみが記憶部６に格納され、状態遷移モデルを用いた感情推定および状態遷移モデルの更新のためのプログラムが情報処理部５内のメモリ（不図示）に保存されていてもよい。記憶部６にプログラムが格納されている場合には、情報処理部５のＣＰＵ（不図示）が記憶部６からプログラムを読み出して実行する。
【００１９】
また、状態遷移モデルは、個人感情の時系列推移が含まれるものであってもよく、複数人の個人感情が含まれるものであってもよい。さらに、状態遷移モデルは、情報入力部２から入力される情報や、グループ感情推定部４に対して、好適な形式であればよい。
【００２０】
グループ感情推定部４は、複数の人の個人感情の推定に関する情報を情報入力部２から受け取ると、複数の人の個人感情の推定に関する情報に基づく、複数の人の個人感情と状態遷移モデルとを用いて、グループ感情を推定する。その際、グループ感情推定部４は、複数の人の個人感情の推定に関する情報が、映像情報および音声情報など、センシングに基づいた情報である場合、これらの情報から複数の人のそれぞれの個人感情を推定する。個人感情を推定する処理は、後述の個人感情推定部１４の動作で詳しく説明する。
【００２１】
また、グループ感情推定部４は、複数の人の個人感情と過去に推定されたグループ感情のうち少なくとも１つから、現在のグループ感情を推定してもよい。
【００２２】
次に、図１に示した情報処理装置の動作を説明する。図２は図１に示した情報処理装置の動作手順を示すフロー図である。
【００２３】
グループ感情推定部４は、複数の人のそれぞれの個人感情の推定に関する情報を情報入力部２から受け取ると（ステップ１０１）、受け取る情報に基づいた、複数の人のそれぞれの個人感情と、記憶部６が記憶する状態遷移モデルとからグループ感情を推定する（ステップ１０２）。
【００２４】
なお、本実施形態では、情報入力部２およびグループ感情推定部４の機能はＣＰＵ（不図示）がプログラムを実行することで実現される場合で説明したが、情報入力部２およびグループ感情推定部４は、その両方、またはいずれか一方がその機能に特化した専用の演算回路で構成されてもよい。
【００２５】
また、個人感情の推定に関する情報がセンシングに基づいた情報である場合、情報入力部２が、複数の人のそれぞれの個人感情の推定に関する情報から各人の個人感情を推定する処理を行って、その結果をグループ感情推定部４に出力し、グループ感情推定部４は、複数の人のそれぞれの個人感情の情報と状態遷移モデルとを用いて、グループ感情を推定すればよい。
【００２６】
以下に、図１に示した情報処理装置を含む感情推定装置について実施例を説明する。また、情報入力部２が複数の人のそれぞれの個人感情の推定に関する情報から各人の個人感情を推定する処理を行う場合で説明する。
【実施例１】
【００２７】
本実施例の感情推定装置の構成を説明する。
【００２８】
図３は本実施例の感情推定装置の一構成例を示すブロック図である。図１に示した構成と同様な構成については同一の符号を付し、その詳細な説明を省略する。
【００２９】
図３に示すように、本実施例における感情推定装置は、センシング入力部１０と、センシング情報処理部１２と、個人感情推定部１４と、状態遷移モデルを記憶する記憶部６と、グループ感情推定部４とを有する。図３に示すセンシング情報処理部１２および個人感情推定部１４は、図１に示した情報入力部２の一例である。
【００３０】
センシング入力部１０は、人の感情に関連する情報を取得するための機器である。ここでは、センシング入力部１０は、カメラ２１およびマイク２３を含む構成である。センシング入力部１０は、カメラ１０で人の表情を撮影し、表情を観測するための映像情報をセンシング情報処理部１２に入力する。また、センシング入力部１０は、マイク２３を介して声が入力されると、韻律感情を観測するために音声情報（韻律情報）をセンシング情報処理部１２に入力する。
【００３１】
センシング情報処理部１２では、映像情報から顔の表情を示す特徴量を算出し、韻律情報から声の感情を示す特徴量を算出し、算出結果を個人感情推定部１４に送る。ここで、感情認識のための特徴量の算出方法を簡単に説明する。
【００３２】
図４は図３に示したセンシング情報処理部による特徴量算出方法を説明するための模式図である。図４に示すカメラ２１およびマイク２３が図３に示したセンシング入力部１０の一例である。
【００３３】
顔の表情を示す特徴量の算出方法を説明する。センシング情報処理部１２は、カメラ２１で撮影された動画像が入力されると、動画像で顔検出の処理を行う。顔検出の処理は、照明条件の変化や肌の色によらない処理として、顔の構造に着目したHarr-like特徴量などを用いることが望ましい。次に、センシング情報処理部１２は、顔向きを検出するために、予め学習処理により作成しておいた表情特徴点モデルの顔検出によって得られる特徴点データを用いて、相関演算などの当てはめを行い、最大応答を示す顔向きを求める。次に、センシング情報処理部１２は、求めた顔向きから表情筋を構成する顔特徴点（注目特徴点）を抽出する。特徴点の抽出には、ＦＡＣＳ（Facial Action Coding System）モデルを用いた抽出であってもよく、図５に示すように、目や口付近の安定特徴点を算出してもよい。
【００３４】
図５は目および口の付近の安定特徴点の一例を示す図である。図５のpt1〜pt4は右目の特徴点を示し、pt5〜pt8は左目の特徴点を示し、pt9〜pt12は口の特徴点を示す。
【００３５】
次に、センシング情報処理部１２は、算出した特徴点の情報から表情の特徴量を算出する。また、センシング情報処理部１２は、顔の特徴点をトラッキングすることによって、特徴点抽出の精度を上げる。トラッキング処理には、パーティクルフィルタを用いてもよいが、本実施例では、オプティカルフローを算出している。
【００３６】
注目特徴点から算出される、表情の特徴を示す量として、例えば、図５に示すような幾何学的関係に関する量を用いる。図５では、特徴点間の距離をF1〜F6で示し、これらの距離が表情を示す特徴量となる。
【００３７】
次に、声の感情を示す特徴量の算出方法を説明する。
【００３８】
センシング情報処理部１２は、マイク２３に入力される音声情報から、ピッチやパワー、基本周波数Ｆ０値、モーラなどの韻律特徴を算出する。続いて、センシング情報処理部１２は、韻律特徴と韻律特徴量との関係が示された韻律特徴モデルを用いて、Ｆ０の最大値、Ｆ０の最小値、Ｆ０の平均値、短時間パワーの最大値、短時間パワーの最小値、短時間パワーの平均値、および、平均モーラ長を求め、これらの値から、声の感情を示す特徴量を算出する。
【００３９】
個人感情推定部１４は、顔の表情を示す特徴量と声の感情を示す特徴量の情報をセンシング情報処理部１２から受け取ると、それらの特徴量から個人感情を算出し、算出した個人感情の情報をグループ感情推定部４に送る。
【００４０】
なお、感情認識の特徴量の算出方法の一例が非特許文献１および非特許文献２に開示されており、これらの文献に開示された方法を用いてもよい。
【００４１】
次に、状態遷移モデルについて説明する。図６は本実施例における状態遷移モデルの一例を示す図である。
【００４２】
図６に示すように、本実施例の状態遷移モデルを、個人感情とグループ感情の時間遷移を示したベイジアンネットワークとしている。なお、以下では、このベイジアンネットワークを共起感情モデルと称する。
【００４３】
図６に示す共起感情モデルは、ＡおよびＢの２人の感情に基づく共起感情モデルを示している。図６に示すＦAは、センシング情報処理部１２から出力される、Ａの感情認識のための観測量を示す。観測量は、例えば、顔の表情を示す特徴量および声の感情を示す特徴量の少なくともいずれかである。図６に示すＦBは、センシング情報処理部１２から出力される、Ｂの感情認識のための観測量を示す。
【００４４】
図６に示すＥAは、個人感情推定部１４から出力される、Ａの個人感情を示す。図６に示すＥBは、個人感情推定部１４から出力される、Ｂの個人感情を示す。図６に示すＧはグループ感情推定部４から出力されるグループ感情を示す。
【００４５】
なお、本実施例では、説明を簡単にするために、感情推定の対象となる人が２人の場合で説明するが、図６に示すように、共起感情モデルはグラフ構造をしているため、３人以上の人に対して共起感情モデルを展開してもよい。
【００４６】
図６に示す共起感情モデルでは、時刻ｔを現在とすると、現在におけるグループ感情Ｇtは、過去の時刻（ｔ−１）におけるグループ感情Ｇt-1およびＡ、Ｂのそれぞれの個人感情ＥAt-1、ＥBt-1から推定されるものとして表される。また、時刻ｔにおけるＡ、Ｂのそれぞれの個人感情ＥAt、ＥBtは、時刻ｔのグループ感情Ｇtの影響を受ける。このように、時間経過に伴って個人感情はグループ感情の影響を受けながら変化していく。共起感情モデルは、個人感情と集団感情の時系列遷移を表すモデルになっている。
【００４７】
グループ感情推定部４は、個人感情と共起感情モデルを用いて、グループ感情を推定する。図６を参照して説明すると、時刻（ｔ−１）でのＡの個人感情ＥAt-1、Ｂの個人感情ＥBt-1およびグループ感情Ｇt-1と時刻ｔでのグループ感情Ｇtとの関係を、条件付確率分布Ｐ（ Gt | EAt-1, EBt-1, Gt-1 ）として共起感情モデルに予め記述しておき、グループ感情推定部４は、それに基づいて、時刻ｔでのグループ感情Ｇtの確率分布を算出し、グループ感情を推定する。グループ感情推定部４が時間経過に伴ってグループ感情を順次推定することで、図６に示すように、共起感情モデルの状態が連続的に更新される。
【００４８】
なお、図３に示すブロック図では、グループ感情推定部１４によるグループ感情推定の１回分の処理の際のデータの流れを矢印で示している。
【００４９】
次に、本実施例の感情推定装置の動作を説明する。図７は本実施例の感情推定装置の動作手順を示すフロー図である。
【００５０】
センシング情報処理部１２は、センシング入力部１０から映像情報と音声情報が入力されると（ステップ２０１）、顔の表情を示す特徴量と声の感情を示す特徴量を算出する（ステップ２０２）。続いて、個人感情推定部１４は、顔の表情を示す特徴量と声の感情を示す特徴量から個人感情を算出する（ステップ２０３）。そして、グループ感情推定部４は、個人感情推定部１４で算出された個人感情の情報と記憶部６に格納された共起感情モデルを用いて、グループ感情を推定する（ステップ２０４）。
【００５１】
本実施例によれば、人がグループで会話しているシーンにおいて、リアルタイムにグループ感情を推定することができる。また、顔の表情を示す特徴量と声の感情を示す特徴量の両方を用いることにより、推定性能を向上させることが可能となる。例えば、発話中は表情特徴量の重みを下げ、聞き役などのときは重みを上げるなどの動的な選択を行うことも可能となる。
【００５２】
次に、本実施例の感情推定装置において、センシング時に起こる人物の遮蔽などにより、グループのうちの１人について、感情認識のための観測量を得られない場合の感情推定方法について説明する。
【００５３】
時刻（ｔ−１）において、センシング時に起こる人物の隠蔽などがあると、ＡとＢのうち、いずれか一方の人の個人感情が算出できない場合が考えられる。この場合、グループ感情推定部４は、時刻（ｔ−１）におけるＡの個人感情ＥAt-1およびＢの個人感情ＥBt-1のうち、算出できた方の個人感情と時刻（ｔ−１）におけるグループ感情Ｇt-1とから、時刻ｔでのグループ感情Ｇtを推定することが可能となる。
【００５４】
図８は、グループのうちの１人について感情認識のための観測量が得られない場合の感情推定方法を示す場合の一例である。図８はＡの人の、時刻ｔにおける観測量ＦAtを取得できなかった場合を示す。
【００５５】
時刻（ｔ−１）でのＡの個人感情ＥAt-1および時刻ｔでのＡの個人感情ＥAtとグループ感情Ｇtとの関係を、条件付確率分布Ｐ（ EAt | EAt-1, Gt ）として共起感情モデルに予め記述しておく。図８に示すように、時刻ｔでのＡの観測量ＦAtが欠落したとき、グループ感情推定部４は、時刻ｔのグループ感情Ｇtと時刻（ｔ−１）のＡの個人感情ＥAt-1とから、観測量の欠落した、時刻ｔにおけるＡの個人感情ＥAtを逆に推定してもよい。この場合、時刻（ｔ＋１）のグループ感情Ｇt+1の推定に必要な情報を補完することが可能となる。
【００５６】
さらに、欠損する情報は上述の場合に限らない。条件付確率分布Ｐ（ Gt |Gt-1 ）を予め共起感情モデルに記述しておけば、グループ感情推定部４は、過去に推定されたグループ感情から次の時刻のグループ感情を推定することが可能となり、条件付確率分布Ｐ（ Gt | EAt-1 ）またはＰ（ Gt | EAt ）を予め共起感情モデルに記述しておけば、グループ感情推定部４は、個人感情からグループ感情を推定することが可能となる。
【００５７】
次に、図６に示した共起感情モデルの具体例を説明する。
【００５８】
グループ感情推定部４において、時刻（ｔ−１）の個人とグループのそれぞれの感情から時刻ｔのグループ感情を算出する方法は、本発明を適用する環境に合わせて柔軟に設計できる。
【００５９】
図９は本実施例における共起感情モデルのパラメータ設定例を示す図である。例えば、Gt ＝f（ EAt-1, EBt-1, Gt-1 ）とすると、図９に示すように、計算速度を向上させるため、関数f を以下のように単純な加重和としてもよい。
【００６０】
Gt = wa × EAt-1 + wb × EBt-1 + wg × Gt-1
ただし、wa、wbおよびwgは係数であり、wa ＋ wb ＋ wg = 1である。
【００６１】
係数wa、wb、およびwgは、グループを構成するメンバーの感情の組み合わせとメンバーの場への影響度によって決定する。例えば、メンバーＡ、Ｂの両者がともに笑っていたならば、グループ感情推定部４は、音声波形の振幅の大きさによって影響度を算出し、それに基づいてwを決定する。
【００６２】
観測情報の欠損により、個人感情E At-1または個人感情EBt-1のうち、どちらか一方を推定できなかった場合、グループ感情推定部４は、さらに過去の個人感情E At-2および個人感情EBt-2の情報を基に係数wを算出してもよい。
【００６３】
なお、上述の感情推定装置が共起感情モデルの更新を行うようにしてもよい。以下に、共起感情モデルの更新について詳しく説明する。共起感情モデルの更新とは、共起感情モデルに設定された各種のパラメータを変更することであり、例えば、上述の条件付確率分布、係数wおよび後述の結合確率表などのパラメータを学習処理によって変更することである。
【００６４】
図１０は本実施例の感情推定装置の別の構成例を示すブロック図である。図１または図３に示した構成と同様な構成については同一の符号を付し、その詳細な説明を省略する。
【００６５】
図１０に示す感情推定装置は、図３を参照して説明した感情推定装置に含まれる構成の他に、状態遷移モデル生成部１６と、推定結果出力部１８とを有する構成である。
【００６６】
図６を参照して説明すると、状態遷移モデル生成部１６は、ＡおよびＢの２人の個人感情およびグループ感情からなる３つの結合確率表をベイジアンネットワークの学習処理により、共起感情モデルの更新を行う。また、グループ感情の推定結果が存在する場合、状態遷移モデル生成部１６は、結合確率表の場合と同様に、それを用いて、ベイジアンネットワークの学習処理を行う。
【００６７】
推定結果出力部１８では、グループ感情推定部４による、グループ感情の推定結果を人に提示する。例えば、推定結果出力部１８は、表示部（不図示）を備え、グループ感情を「ポジティブ」や「ネガティブ」といった言葉で表現して表示部に提示したり、グループ感情をキャラクタ画像の表情に反映させて表示したりする。推定結果出力部１８がスピーカ（不図示）を備えている場合には、グループ感情を「ポジティブ」や「ネガティブ」といった言葉を音声でスピーカから出力したり、グループ感情を反映させた音をスピーカから出力したりしてもよい。グループ感情を提示する方法は、人が推定結果を理解できる好適な方法であれば、ここで例示した方法以外であってもよい。
【００６８】
次に、図１０に示した感情推定装置の動作を説明する。図１１は図１０に示した感情推定装置の動作手順を示すフロー図である。
【００６９】
図１１に示すステップ２０１から２０４までの処理は、図７を参照して説明した処理と同様である。ステップ２０４の処理の後、推定結果出力部１８がグループ感情推定結果を提示し（ステップ２０５）、状態遷移モデル生成部１６が共起感情モデルを更新する（ステップ２０６）。
【００７０】
グループ感情の推定結果を用いて、共起感情生成モデルを更新することにより、推定精度を高めることが可能となる。
【００７１】
本発明によれば、個人感情からグループ感情を推定する状態遷移モデルを用いてグループ感情の推定を行うため、個人感情がグループ感情にどのような影響を及ぼすか、個人感情およびグループ感情の因果関係に適合したグループ感情を推定することができる。本発明をコミュニケーションロボットに搭載すると、個人感情の遷移とグループ感情の遷移の状況を考慮して、会話に参入することができるので、より自然なコミュニケーションを行うことが可能なロボット実現させることが可能となる。
【産業上の利用可能性】
【００７２】
本発明は、人間と会話を行うコミュニケーションロボットにおいて、コミュニケーションの場に適切な対話戦略を選択することや、会議内容を記録し分析する会議システムなどにおいて、会議の盛り上がり具合を視覚化することに利用可能である。
【符号の説明】
【００７３】
２ 情報入力部
４ グループ感情推定部
５ 情報処理部
６ 記憶部
１０ センシング入力部
１２ センシング情報処理部
１４ 個人感情推定部
１６ 状態遷移モデル生成部
１８ 推定結果出力部
２１ カメラ
２３ マイク
【特許請求の範囲】
【請求項１】
複数人で構成される集団の感情を示すグループ感情を推定する感情推定装置であって、
状態遷移モデルを記憶する記憶部と、
前記集団を構成する個人の感情に関する情報をセンシングにより取得し、個人感情を推定する情報入力部と、
前記情報入力部から取得した個人感情の情報と前記状態遷移モデルとから前記グループ感情を推定するグループ感情推定部とを有し、
前記状態遷移モデルは、前記個人感情と前記グループ感情の時系列遷移を扱うものであり、連続的にそのモデルの状態が更新されることを特徴とする感情推定装置。
【請求項２】
請求項１記載の感情推定装置において、
前記状態遷移モデルは、前記情報入力部から入力される個人感情と過去に推定されたグループ感情のうち少なくとも１つから、現在のグループ感情が推定されるモデルであることを特徴とする感情推定装置。
【請求項３】
請求項１または２記載の感情推定装置において、
前記グループ感情推定部は、
前記集団のうちの１人について、現在の個人の感情に関する情報を前記情報入力部から取得できない場合、該１人について過去に推定された個人感情と現在におけるグループ感情とから、該１人についての現在における個人感情を推定することを特徴とする感情推定装置。
【請求項４】
複数人で構成される集団の感情を示すグループ感情を、該集団を構成する人の個人感情と記憶部に格納された状態遷移モデルとから推定する情報処理装置による感情推定方法であって、
前記個人感情が入力されると、該個人感情と前記状態遷移モデルに基づく過去のグループ感情とのうち少なくとも１つから、現在のグループ感情を推定する、感情推定方法。
【請求項１】
複数人で構成される集団の感情を示すグループ感情を推定する感情推定装置であって、
状態遷移モデルを記憶する記憶部と、
前記集団を構成する個人の感情に関する情報をセンシングにより取得し、個人感情を推定する情報入力部と、
前記情報入力部から取得した個人感情の情報と前記状態遷移モデルとから前記グループ感情を推定するグループ感情推定部とを有し、
前記状態遷移モデルは、前記個人感情と前記グループ感情の時系列遷移を扱うものであり、連続的にそのモデルの状態が更新されることを特徴とする感情推定装置。
【請求項２】
請求項１記載の感情推定装置において、
前記状態遷移モデルは、前記情報入力部から入力される個人感情と過去に推定されたグループ感情のうち少なくとも１つから、現在のグループ感情が推定されるモデルであることを特徴とする感情推定装置。
【請求項３】
請求項１または２記載の感情推定装置において、
前記グループ感情推定部は、
前記集団のうちの１人について、現在の個人の感情に関する情報を前記情報入力部から取得できない場合、該１人について過去に推定された個人感情と現在におけるグループ感情とから、該１人についての現在における個人感情を推定することを特徴とする感情推定装置。
【請求項４】
複数人で構成される集団の感情を示すグループ感情を、該集団を構成する人の個人感情と記憶部に格納された状態遷移モデルとから推定する情報処理装置による感情推定方法であって、
前記個人感情が入力されると、該個人感情と前記状態遷移モデルに基づく過去のグループ感情とのうち少なくとも１つから、現在のグループ感情を推定する、感情推定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１８６５２１（Ｐ２０１１−１８６５２１Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４７８４８（Ｐ２０１０−４７８４８）
【出願日】平成２２年３月４日（２０１０．３．４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度 独立行政法人新エネルギー・産業技術総合開発機構「次世代ロボット共通基盤開発プロジェクト コミュニケーション知能（社会・生活分野）の開発」に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（５０３４２０８３３）学校法人常翔学園 (62)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月４日（２０１０．３．４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度 独立行政法人新エネルギー・産業技術総合開発機構「次世代ロボット共通基盤開発プロジェクト コミュニケーション知能（社会・生活分野）の開発」に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【出願人】（５０３４２０８３３）学校法人常翔学園 (62)
【Ｆターム（参考）】
[ Back to top ]