感情推定システム及びそれを利用した学習システム
【課題】学習者等の感情を高精度かつ高信頼に推定することが可能な感情推定システム及び学習システムを提供する。
【解決手段】顔画像データを取得可能なカメラ５と、カメラ５で撮影した被験者の顔画像データから平均変化率を算出する平均変化率算出手段２１と、複数の被験者の顔特徴点の平均変化率と感情との相関行列から感情推定に用いる複数の異なる感情対に対応する顔特徴点を抽出して絞り込みを行うと共に、他方、平均変化率の大小により２つに分けた各グループ内の平均値及び分散共分散行列を算出して構成した推定基準量データベース３１と、カメラ５によって得られた顔画像データに基づいて被感情推定者がいずれのグループに属するかを判定する判定手段２３と、判定手段２３の判定結果に基づいて推定基準量データベース３１のうち被感情推定者が属するグループのデータを用いて感情を推定する感情推定手段２５とを備えてなる。
【解決手段】顔画像データを取得可能なカメラ５と、カメラ５で撮影した被験者の顔画像データから平均変化率を算出する平均変化率算出手段２１と、複数の被験者の顔特徴点の平均変化率と感情との相関行列から感情推定に用いる複数の異なる感情対に対応する顔特徴点を抽出して絞り込みを行うと共に、他方、平均変化率の大小により２つに分けた各グループ内の平均値及び分散共分散行列を算出して構成した推定基準量データベース３１と、カメラ５によって得られた顔画像データに基づいて被感情推定者がいずれのグループに属するかを判定する判定手段２３と、判定手段２３の判定結果に基づいて推定基準量データベース３１のうち被感情推定者が属するグループのデータを用いて感情を推定する感情推定手段２５とを備えてなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感情推定システム及びそれを利用した学習システムに関し、さらに詳しくは、コンピュータによって人の動的な顔画像データから感情の変化を高い精度で推定することを可能とすると共に、ｅ−ラーニングに代表される学習支援システムを利用する学習者の感情をそれによって把握することでその感情に即した学習教材をより高い精度で提供することを可能とする感情推定システム及びそれを利用した学習システムに関する。
【背景技術】
【０００２】
従来のヒューマンインタフェースは、操作性や安全性、疲れにくいといった人間とコンピュータとの適合を目的として研究が行われてきたが、一方で、人の感情や状況を予測し、その感情に最適な対応が可能な人に、より親和性のあるヒューマンインタフェースが求められている。人は、相手の表情を動的に読み取り、その微妙な変化から相手の感情などの内面的な状態を推定することで、円滑なコミュニケーションを図っている。したがって、人とコンピュータとの間のコミュニケーション手段として表情を利用するためには、コンピュータが人の動的な顔画像から感情の変化を理解することが必要である。そのためには、以下に挙げるいくつかの課題の解決が必要とされている。
(１) 人が表出する表情について、より多くの事例を対象にする。
(２) 誇張された表情ではなく、自然な表情から感情を推定する。
(３) 人による表情の認識過程や判断に近いアルゴリズムの開発。
(４) 感情の変化に応じた最適な対応や、情報提供を行うためのリアルタイム性。
【０００３】
一方、近年の教育分野へのＩＴ（情報技術）の導入に伴い、企業や大学等においてｅ−ラーニング等のコンピュータを利用した学習支援システムが広く利用されている。ｅ−ラーニングの学習形態にもいくつかの種類があり、目的によって使い分けられているが、代表的な例としては、サーバから教材をダウンロードして自習形式で学習を行うＷＢＴ（Web Based Training）がある。ＷＢＴをベースにしたｅ−ラーニングの最大の特徴は、時間と場所の制約が無いことであるが、反面、教師が学習者の学習中の様子を把握して指導することができないという問題がある。このようなｅ−ラーニング学習環境の改善のため、学習者の行き詰まりをリアルタイムで検知する方法や、誤答に対して教師のリアルタイムでのアドバイスを学習者に送信するシステム等の事例が報告されている。
【０００４】
一般的に対面式の講義では、教師は学習者の表情やしぐさなどから理解度や集中度、興味の有無などを確認しながら状況に応じて講義を進めている。本発明者らも、より人に親和性のある新しいヒューマンインタフェースであるｅ−ラーニング支援システムの開発を進めてきた。例えば、学習者の音声、表情・動作、生態情報等に基づいた心理状態推定情報を遠隔地の教師に表示する遠隔会議・教育システム（例えば、特許文献１参照）や、学習者の心理・精神状態をモニタして心理状態の推定を行い、これを基に現在の心理状態に対応した電子教材を提供することにより学習を支援する電子教材学習支援装置、電子教材学習支援システム及び電子教材学習支援プログラム（例えば、特許文献２参照）等をこれまでに開発した。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２６２０１０号公報
【特許文献２】特開２００６−２３５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ｅ−ラーニング等においては、学習者が意欲を持って学習しているか否かを、教師が把握することが学習成果を上げるために重要であるが、上述の特許文献１及び２では、少人数の被験者（学習者）の顔画像から感情推定に用いる特徴量を抽出していたため、被験者数や、顔特徴点の特定等の妥当性についての検証が十分とはいえなかったことから、感情推定の精度は必ずしも高いものではなかった。
【０００７】
従って、本発明の目的は、コンピュータによってｅ−ラーニングの学習者の顔画像からリアルタイムで感情の変化を高精度かつ高信頼に推定することが可能な感情推定システム及びそれを利用した学習システムを提供することにある。
また、本発明は、利用者への負担や実用性を考慮し、顔画像と生体情報の併用ではなく、顔画像のみをリアルタイム処理することで、より信頼度の高い感情推定システム及びそれを利用した学習システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の本発明は、人の感情をその表情の変化に基づいて推定する感情推定システムにおいて、被験者の表情の変化を撮影し、その表情の変化を顔画像データとして取得可能なカメラと、カメラで撮影した被験者の顔画像データから、予め複数選定した顔の所定部位である顔特徴点が表情の変化に伴ってそれぞれ移動した各変化量について所定時間当たりの平均値を平均変化率として算出する平均変化率算出手段と、複数の被験者における平均変化率算出手段によって算出した顔特徴点の平均変化率と、そのときの感情であってＳＤ法に基づく主観評価によって特定した感情との相関行列から感情推定に用いる複数の異なる感情対に対応する顔特徴点を相関の強弱に基づいて抽出し、抽出した顔特徴点の中からさらに各感情対で相関に差違が見られ且つ相関が強い顔特徴点を感情推定に用いるための顔特徴点として絞り込みを行い、他方、各顔特徴点の平均変化率の小さな被験者と大きな被験者とを所定の基準に基づいて相対的に２つのグループに分けると共に２つのグループ内のそれぞれの平均変化率の平均値及び分散共分散行列を算出して構成した推定基準量データベースと、感情推定を行うための被感情推定者の表情をカメラで撮影して得られた顔画像データに基づいて平均変化率算出手段によって算出された被感情推定者の各顔特徴点の平均変化率から被感情推定者が平均変化率の小さなグループに属するか平均変化率の大きなグループに属するかを所定の基準に基づいて判定する判定手段と、判定手段によって判定された結果に基づいて推定基準量データベースのうち被感情推定者が属するとされたグループのデータを用いて被感情推定者の感情を推定する感情推定手段とを備えてなることを特徴とする。
【０００９】
上記目的を達成するため、請求項２に記載の本発明は、請求項１に記載の感情推定システムにおいて、複数の異なる感情対は、「理解できた」及び「理解できない」からなる第１感情対と、「面白い」及び「つまらない」からなる第２感情対と、「集中している」及び「飽きている」からなる第３感情対と、「簡単」及び「難しいからなる」第４感情対の４つであることを特徴とする。
【００１０】
上記目的を達成するため、請求項３に記載の本発明は、請求項１又は２に記載の感情推定システムにおいて、顔特徴点は、左右の眉の内と外及び左右の口端であり、これらの顔特徴点について、頭頂と部顎を結んだ線分を基準線分とし、頭頂部中心に半径が基準線分長の１／２の円と、顎を中心に半径が基準線分長の√５／２の２つの円との交点のうち向かって左側の交点を原点とし、２つの交点を結ぶ直線をｘ軸とし、頭頂部から顎を結ぶ直線と平行且つ原点との交点を始点とする直線をｙ軸とした相対座標におけるｘ方向及びｙ方向のそれぞれ１２点の平均変化率を算出することを特徴とする。
【００１１】
上記目的を達成するため、請求項４に記載の本発明は、請求項３に記載の感情推定システムにおいて、相関行列は、１２点のうちの顔特徴点の１つとその他の顔特徴点との相関から求めることを特徴とする。
【００１２】
上記目的を達成するため、請求項５に記載の本発明は、請求項１から４のいずれか１項に記載の感情推定システムにおいて、感情推定手段は、被感情推定者の学習前の平静状態における顔特徴点の位置から学習中における顔特徴点の移動距離に基づいて顔特徴点の平均変化率を求めることを特徴とする。
【００１３】
上記目的を達成するため、請求項６に記載の本発明は、請求項１から５のいずれか１項に記載の感情推定システムにおいて、平均変化率算出手段は、ＩＱＲ（interquartile range）×３倍を超える値を除外する前処理を行い、さらに再度ＩＱＲ×１．５倍以上３倍以下にある値を除く処理を行う外れ値除去手段を含んでなることを特徴とする。
【００１４】
上記目的を達成するため、請求項７に記載の本発明は、請求項１から６のいずれか１項に記載の感情推定システムにおいて、感情推定手段は、感情対のそれぞれについてマハラノビス距離を算出した後、距離に過大な影響を与える固有値を除き、一致率の高い固有値に基づいて再度マハラノビス距離を比較し、距離の短い方のグループの感情に属すると判断することを特徴とする。
【００１５】
上記目的を達成するため、請求項８に記載の本発明は、請求項１から７のいずれか１項に記載の感情推定システムにおいて、平均変化率の小さなグループに属するか平均変化率の大きなグループに属するかを判定するための所定の基準は、所定時間における顔特徴点の各平均変化率の９５％が０．０２を越えたか否かによることを特徴とする。
【００１６】
上記目的を達成するため、請求項９に記載の本発明は、請求項１から８のいずれか１項に記載の感情推定システムを備え、予め各感情に合わせて作成した教材データを格納した教材データベースと、感情推定システムによって推定された感情に合った教材データをデータベースから検索抽出し、画像や音声として出力デバイスを介して出力する学習ナビゲーション手段とを備え、学習者の感情に即した教材を提供することを特徴とする学習システムを提供する。
【発明の効果】
【００１７】
本発明に係る感情推定システム及びそれを利用した学習システムによれば、各顔特徴点の平均変化率を所定の基準に基づいて大小２つのグループに分けて感情推定を行うと共に、感情推定を行う各顔特徴点を絞り込むこととしたので、従来よりも被感情推定者（学習者）の感情を高精度かつ高信頼に推定することができるという効果がある。
【００１８】
また、本発明に係る感情推定システム及びそれを利用した学習システムは被感情推定者の表情をカメラで捉え、その表情の変化のみを利用するものであることから、従来のように体温などの生体情報を取得するためのセンサ等を利用者の身体に直接に取り付ける必要がないので利用者への負担が少なく実用性が高いと共に、顔画像のみでより信頼度の高い感情推定を行うことができるという効果がある。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る学習システムを示すブロック図である。
【図２】感情推定を行うための処理を示すフローチャートである。
【図３】図２に示した処理の詳細を示すフローチャートである。
【図４】顔特徴点を示す説明図である。
【図５】顔画像解析用の相対座標系を示す図である。
【図６】顔画像の解析手順を示すフローチャートである。
【図７】図３に示すステップＳ１２２の処理の詳細を示すフローチャートである。
【図８】顔特徴点の変化を示す分布特性を示す図である。
【図９】顔特徴点平均変化率のｘ座標、ｙ座標の２５％タイル点、７５％タイル点を２次元平面上にプロットした図であり、（ａ）は「理解できた」の感情の場合であり、（ｂ）「理解できない」の感情の場合である。
【図１０】「理解できた」の顔特徴点平均変化率のデータの分布状態をマトリックスで表示した図である。
【図１１】「理解できない」の顔特徴点平均変化率のデータの分布状態をマトリックスで表示した図である。
【図１２】マハラノビス距離による感情推定処理を示すフローチャートである。
【図１３】図１２のステップＳ１３４の処理の詳細を示すフローチャートである。
【図１４】Ｓグループにおける抽出した感情の特徴量の共分散行列の固有値のスクリープロットを示す図である。
【図１５】学習ナビゲーション手段のブロック図である。
【図１６】本発明の実施例及び比較例を示す図である。
【発明を実施するための形態】
【００２０】
本発明に係る感情推定システム及びそれを利用した学習システムについて図面を参照しつつ以下詳細に説明する。図１は本発明に係る感情推定システムを備えた学習システムの概要を示すブロック図である。
【００２１】
［学習システムの構成］
図示された学習システム１０は、学習者の感情の推定に関する情報の収集及びこれに基づく感情推定等を行う本発明に係る感情推定システム２０を備えて構成されており、学習システム１０はこの感情推定システム２０によって学習者１の学習中における感情の変化を捉え、そのときの感情に即した教材を学習者１に提供するようになっている。
【００２２】
すなわち、感情推定システム２０を備えた学習システム１０は、学習者１の自宅や学校など学習を行う場所に設置されて学習者１によって操作される入力装置２と、入力装置２に接続された学習者用パーソナルコンピュータ本体３（以下、「学習者用パソコン３」という）と、学習者用パソコン３に接続されたディスプレイ４と、学習者用パソコン３に接続されて学習者１の顔を撮影して画像データを取得するためのカメラ５（ビデオカメラ）と、カメラ５で撮影した画像データを学習者用パソコン３から入手すると共に学習者１の感情の推定を行って学習支援をする教師となるべきサーバ６と、各種の電子データを格納するためにサーバ６に接続された記憶装置７とを備えて構成されており、サーバ６と学習者用パソコン３とはインターネット８を介して接続可能とされている。なお、必要に応じて、サーバ６側にも図示しないディスプレイ及びマウスやキーボードなどの入力装置が設置される。
【００２３】
サーバ６は、いわゆる汎用のコンピュータによって構成されており、図示しない中央処理装置、入力装置、通信装置、メモリなどの記憶装置を備えて構成されている。ハード構成自体は一般的なものであるためその詳しい説明は省略する。サーバ６は、公知のハード構成を利用して、カメラ５で撮影した学習者１の顔画像データから、予め複数選定した顔の所定部位である顔特徴点が表情の変化に伴って移動したそれぞれの変化量について所定時間当たりの平均値を平均変化率として算出する平均変化率算出手段２１と、平均変化率算出手段２１によって算出された学習者１の顔特徴点の平均変化率から学習者１の感情を推定する感情推定手段２５を備えており、また、サーバ６と接続された記憶装置７には感情推定を行う基準となる推定基準量データベース３１が格納されている。これにより感情推定システム２０及びこの感情推定システム２０を備えた学習システム１０を備えた学習システム１０が構築されている。以下、感情推定システム２０について説明する。
【００２４】
感情推定システム２０は推定基準量データベース３１を備えており、推定基準量データベース３１は、後述するように顔特徴点の平均変化率の小さなグループと顔特徴点の平均変化率の大きなグループの２つに分けられて構成されていると共に、感情推定システム２０を形成するサーバ６には、感情の推定を行う対象である被感情推定者としての学習者１の表情をカメラ５で撮影することによって得られた顔画像データに基づいて平均変化率算出手段２１が算出した学習者１の各顔特徴点の平均変化率から学習者１が平均変化率の小さなグループに属するか平均変化率の大きなグループに属するかを所定の基準に基づいて判定する判定手段２３を備えている。また、記憶装置７には、学習システム１０が利用するための教材データベース３５であって、学習者１が学習を進めていく上で現れるであろう種々の感情に合わせて予め作成した教材データからなる教材データベース３５が格納されていると共に、サーバ６には感情推定システム２０によって推定された学習者１の感情に合った教材データを教材データベース３５から検索抽出し、画像や音声として出力デバイスを介して出力する学習ナビゲーション手段２７を備えている。尚、出力デバイスとしては、例えば、映像や画像を映すディスプレイや、音声を出すスーピーカ若しくはイヤホンなどがある。
【００２５】
感情推定を行う基準となる推定基準量データベース３１についてさらに説明する。ここで、被験者とは、推定基準量データベース３１を構築するために感情推定を行う基準となるデータを収集するための対象者をいう。推定基準量データベース３１は感情推定を行うための基準となるデータを備えて構成されるデータベースであり、予め複数の被験者から必要なデータを取得することによって構築されている。すなわち、平均変化率算出手段２１は、被験者の表情の変化をカメラ５で撮影することによって取得した顔画像データに基づいて予め複数選定した顔の所定部位である顔特徴点が表情の変化に伴って移動したそれぞれの変化量について所定時間当たりの平均値を平均変化率として算出する。次に、平均変化率算出手段２１によって算出された複数の被験者の顔特徴点の平均変化率とそのときの感情についてＳＤ法に基づく主観評価によって特定した感情との相関行列から感情推定に用いる複数の異なる感情対、例えば、「理解できた−理解できない」、「面白い−つまらない」等、に対応する顔特徴点を相関の強弱に基づいて抽出する。そして、抽出した顔特徴点の中からさらに各感情対で相関に差違が見られ且つ相関が強い顔特徴点を感情推定に用いるための顔特徴点として絞り込みを行う。他方、各顔特徴点の平均変化率の小さな被験者と大きな被験者とを所定の基準に基づいて相対的に２つのグループに分けると共に２つのグループ内のそれぞれの平均値及び分散共分散行列を算出することによって形成されている。以下、感情推定システム２０の処理のフローについてさらに詳細に説明する。
【００２６】
［平均変化率の算出］
初めに、カメラ５で撮影した学習者１の顔画像データを用いて学習者１の顔特徴点が移動した変化量から平均変化率を算出するために平均変化率算出手段２１が行う処理について説明する。図２は感情推定を行うための処理を示すフローチャート、図３は図２に示した処理の詳細を示すフローチャート、図４は顔特徴点を示す説明図である。尚、平均変化率算出手段２１は推定基準量データベース３１に格納する感情推定を行うためのデータを取得する際にも利用されるものである。
【００２７】
人の表情の変化は、表情筋（更には咀嚼筋）の収縮・弛緩により引き起こされる形状の変化であり、表情の変化と感情とは関連があるとされている（例えば、「表情分析入門」P.Ekman and W.V.Friesen（工藤力訳）誠信書房、１９８７年）。そこで、発明者らは、これらの知見に基づき、表情の変化に伴って生じる表情筋の変化量と感情との対応付けを行った。具体的には、表情筋の動きを検出するために表情の変化に伴って移動し、且つ、画像から抽出しやすい顔の部位として右眉外、右眉内、左眉外、左眉内、右口端、左口端の６点を顔特徴点として定義した。また、顔画像の正規化を行うために頭頂部及び顎の２点を基準点として使用する。なお、学習者１の眉が髪で隠れてしまうと十分な精度で顔特徴点の追跡が行えない可能性が考えられるので顔特徴点の追跡に影響を与えない程度の髪型および髪の長さとするか、髪を結ぶことによって眉全体が確認できるようにしておくことが好ましい。
【００２８】
次に、カメラ５によって撮影した被験者の顔画像データに対し、図５に示すような顔画像解析用の相対座標系を用意した。すなち、撮影した顔画像は、顔の大きさや傾きを考慮し頭頂部から顎までの距離を基準線分長として座標の正規化を行い、各顔特徴点の相対座標値を算出する。図６は顔画像の解析手順を示すフローチャートであり、図６を用いて座標の正規化処理について説明する。
【００２９】
（１）被験者の顔画像データは、学習前の１分間及び学習中の５分間においてカメラ５で連続的に撮影することによって取得される（図６のＳ１２１１、Ｓ１２１２）。カメラ５で撮影した被験者の映像を２次元画像追跡ソフト（例えば、デジモ社製「２Ｄ−ＰＴＶ」）を用いて上記した顔特徴点（右眉外、右眉内、左眉外、左眉内、右口端、左口端の６点）と基準点（頭頂部と顎の２点）の合計８点について１５フレーム／Ｓに設定した軌跡追跡を行うことにより（Ｓ１２１３、Ｓ１２１６）２次元座標値座標に変換（６４０×４８０の画素数）する（Ｓ１２１４、Ｓ１２１７）。なお、図５の画面の向かって左上を原点とし、右向きにｘ軸正、下向きにｙ軸正とした座標系を用い、初期フレームのみ顔特徴点の位置情報を手動で設定する。
【００３０】
（２）次に、数式１により「頭頂部Ｈ（ｘｈ,ｙｈ）−顎Ｃ（ｘｃ,ｙｃ）の長さを求める。
【００３１】
【数１】
【００３２】
頭頂部−顎の長さを基準線分長（ＢＬ＝Base Line 長さＬ）とし、頭頂部Ｈ（ｘｈ,ｙｈ）を中心に半径が基準線分ＢＬの長さの１／２の円と、顎Ｃ（ｘｃ,ｙｃ）を中心に同じく半径が基準線分ＢＬの長さの√５／２の２つの円との交点のうち、向かって画像左側の交点を新たに原点Ｏ（０，０）とする。
【００３３】
（３）２つの円との交点を結ぶ直線をｘ軸とし、頭頂部から顎へ向かう直線ＢＬと平行かつ原点との交点を始点とする直線をｙ軸とした顔領域を内包する正方形を作成し、各顔特徴点座標の相対座標化を全てのフレームについて実施する（図５参照）。
【００３４】
（４）各顔特徴点の相対座標値から学習前の平静時における１分間の顔特徴点座標値の平均値を算出し（Ｓ１２１５）、被験者の基準値（平静状態）とする。学習中の画像に対してフレーム毎に基準値との移動距離が算出され、所定時間（例えば、３０秒）間隔で平均値が算出され（Ｓ１２１８）、上記平静時からの移動距離に基づいて顔特徴点の平均変化率が算出される。例えば、基準となる平静状態の顔特徴点の座標位置ｘ座標の位置をｘ０、ｘ軸方向の移動距離がδｘｉのときのｘ方向の変化量Δｘｉ＝δｘｉ／ｘ０で求められる。なお、数値は無次元である。
【００３５】
［推定感情の定義］
従来、表情や感情に関する研究の多くは、上記Ｅｋｍａｎが提唱した基本６感情を推定の対象としている。しかし、ｅ−ラーニング学習の場面においては、このような基本６感情よりも、学習内容が「理解できた」又は「理解できない」、「面白い」又は「つまらない」、更に学習に「集中している」又は「飽きている」、「難しい」又は「簡単」等の学習中に起こる感情を推定することが重要であると考えられる。そこで、表１に示すｅ−ラーニングの学習環境に対応した第１感情対から第４感情対の４感情対８感情を定義した。
【００３６】
【表１】
【００３７】
表１に示す各感情対について、上記学習を終了後、直ちに被験者に撮影した学習端末の教材画面映像を提示し、３０秒間隔で５分間、計１０回のＳＤ法（Semantic Differential Method）による「１」〜「５」段階の主観評価を実施する（Ｓ１２１）。評価「１」，「２」を表１の左側の感情、「４」，「５」を右側の感情と定義し、更に「３」は中立状態として評価感情からは除く。以上のようにして得られたデータは、記憶装置７に格納（蓄積）される（Ｓ１２１）。なお、４つの感情対は、それぞれ独立しているものと仮定し、同時に２つ以上の感情を所有することがある。
【００３８】
次に、平均変化率の分析について説明する。上述のようにして求められた顔特徴点の平均変化率（感情推定に用いる特徴量）について、分布、相関及び被験者数との関連を説明する。まず、前処理（Ｓ１２２）として、不要なデータの除去を行う（図７参照）。図８は顔特徴点の変化を示す分布特性を示す図であり、図８に示すような箱ひげ図によりデータの分布の確認を行ったところ（Ｓ１２２１）、ＩＱＲ（interquartile range）×３倍を超える値（図８の枠で囲った２つのデータＤ１，Ｄ２）が見られた。
【００３９】
一般に、ＩＱＲ×３倍を超える値（極値）は、異常値であることを疑う必要がある。そこで、発明者らは学習中の表情を撮影した映像を確認したところ、例えば、追跡できないほどの急激な傾きや、髪を気にするしぐさ等が見られた。これらは顔特徴点の変化とは直接関係の無い動きであると考えられるため、ＩＱＲが３倍を超える値は特徴量の対象データから除外し、それ以外のデータを有効値として採用する（Ｓ１２２２）。以降、この有効値を顔特徴点平均変化率とし、感情推定のための特徴量の抽出に用いる。なお、相関は少しの外れ値でも影響を受け易いことから、上記前処理を行った後、再度、ＩＱＲが１．５倍以上３倍以下にある値を除いたデータを用いて分析を行うものとする（Ｓ１２２３）。
【００４０】
［分布に関する分析］
図９は顔特徴点平均変化率のｘ座標、ｙ座標の２５％タイル点、７５％タイル点（ＩＱＲ）を２次元平面上にプロットした図であり、（ａ）は「理解できた」の場合であり、（ｂ）は「理解できない」の場合である。図中、特性Ｒ１は右眉外、特性Ｒ２は右眉内、特性Ｒ３は右口端、特性Ｌ１は左眉外、特性Ｌ２は左眉内、特性Ｌ３は左口端の特性である。図９（ａ）の「理解できた」は、図９図（ｂ）の「理解できない」に比べ、変化率の分布範囲が広くなっていることが分かる。
【００４１】
また、図９より、（ａ）「理解できない」は、平均変化率が−０．００６≦ｘ≦＋０．０１、−０．００３≦ｙ≦＋０．０１の範囲で分布しているが、（ｂ）「理解できた」は−０．０１４≦ｘ≦＋０．０１３、−０．００９≦ｙ≦＋０．０２の範囲で分布している。左右眉のｙ軸の四分位偏差の平均値は、（ａ）理解できない０．００４、(ｂ)理解できた０．０１１となり、（ａ）「理解できない」では上方向（ｙ軸マイナス方向）への変化が小さい傾向が認められた。この傾向は、第２感情対から第４感情対まで同様に見られ、「理解できない」、「つまらない」、「飽きている」、「難しい」の否定的な感情を伴う表情の変化は、「理解できた」、「面白い」、「集中している」、「簡単」の肯定的な感情を伴う表情の変化と比較し表情の変化が小さく、平静状態よりも特に上方向への変化が小さい傾向が確認された。なお、「理解できない」の各顔特徴点は、ｙ軸プラス側に変化していることから、顔特徴点が平静状態よりも下方向へ動くことが予測される。
【００４２】
［相関に関する分析］
図１０は、「理解できた」の顔特徴点平均変化率のデータの分布状態をマトリックスで表示した図、図１１は、「理解できない」の顔特徴点平均変化率のデータの分布状態をマトリックスで表示した図であり、詳しくは被験者２３名の第１感情対（「理解できない」−「理解できた」）の顔特徴点平均変化率の２変数を全ての組み合わせのマトリックスプロット（相関行列）を示している。
【００４３】
図１０及び図１１から以下のような傾向が確認された。
(１)「理解できた」では、右眉内ｙと左眉内ｙの相関係数ｒ＝０．９５と強く（図１０中のＥ）、「理解できない」ではｒ＝０．３３と相関がみられない（図１１中のＥ）傾向が確認された。
(２)「理解できた」では、左右の眉の内側、外側のｙ軸方向（図１０中のＡ〜Ｆ）への相関係数の平均はｒａｖｇ＝０．７６であり、「理解できない」の相関係数の平均ｒａｖｇ＝０．４９と比較し眉同士のｙ軸方向への相関が強い傾向が確認された。
(３)「理解できた」では、右口端ｙと左口端ｙの相関がｒ＝０．８１と強いが（図１０中のＧ）、「理解できない」では、ｒ＝０．３２と相関がみられなかった（図１１中のＧ）。なお、この傾向は、第２感情対から第４感情対においても同様に見られた。
【００４４】
この結果について、顔特徴点の動きを表情筋と関連付けて考察すると、眉は、額にある前頭筋と眉間にある雛眉筋、および眼輪筋により移動・変形するが、これらの筋肉は連動して、眉に対し 軸方向に一様な収縮をさせる。図１０及び図１１より「理解できた」では、「理解できない」と比較し一様に移動・変形する傾向が強い傾向が確認された。
【００４５】
一般的に、顔の形状や大きさ表情の変化などには個人差が見られるが、抽出した特徴量の標準偏差・平均値が何名の被験者のデータの蓄積によって収束が見られるかという被験者数の妥当性を検討することは実用上重要である。
【００４６】
そこで、被験者数と顔特徴点平均変化率の標準偏差及び平均値を算出し、被験者数に対する収束度合いを検討したところ、４つの感情対は、被験者が７名程度までは変化率の標準偏差の値が大きく変動したが、１０名を超えると標準偏差の値の変動が小さくなり、更に、１５名程度でほぼ一定値に収束する傾向が見られた。このことは、相関とも関連するが、人間の表情筋は任意の方向に自由に動くのではなく、各筋肉の方向に沿って変形及び移動するため、可動範囲及び方向が或る程度限定されており、その動きには規則性がある為と考えられる。本発明では、この特徴量を用いており、被験者数の数を１５名程度とすれば妥当な推定結果を得ることができると考えられる。
【００４７】
［感情の推定］
次に、感情推定手段２５について学習者１の感情を推定する処理（図２のステップＳ１３）に基づいて説明する。上述したように、ステップＳ１１，１２において主観評価を行い、ｅ−ラーニング学習者の表情と感情の時系列変化を測定して特徴量の抽出を行った。その結果、顔特徴点平均変化率と感情との間には、変化率及び相関に関して関連のあることが実証された。感情推定手段２５は、以上の結果を基に、距離尺度の１つであるマハラノビス距離（Mahalanobis distance）を評価関数に用いて感情推定を行う。この点、顔特徴点の変化量には個人差が確認あり、またマハラノビス距離には、これまでに次元数に対するサンプル数の数、および固有値の影響に関する問題が報告されていることから、本発明では、あらかじめ被験者を顔特徴点平均変化率の大小により２つのグループに分けることとした。次に、次元数に対するサンプル数を相対的に増やすため、感情対ごとに推定に用いる顔特徴点を選択する。さらに、マハラノビス距離を用いた演算では、感情対どちらかの特徴量の共分散行列の累積寄与率が９５％以上となる次元までの固有値を用いる。図１２はマハラノビス距離による感情推定処理を示すフローチャートである。
【００４８】
まず、上記ステップＳ１１，１２により抽出した特徴量を学習サンプルとして用いる。事前に、顔特徴点平均変化率が小さな人（被験者又は学習者１）を「Ｓグループ（ポーカーフェイス）」とし、顔特徴点平均変化率が大きな人（被験者又は学習者１）を「Ｌグループ（表情豊かな顔）」とする（Ｓ１３１）。次に、各グループごとに平均値及び共分散行列を算出する（Ｓ１３２、Ｓ１３３）。次に、各感情の学習サンプルの相関係数行列から相関の強い顔特徴点を抽出し感情の推定に用いる。そして、評価データについて各感情対でマハラノビス距離を計算（Ｓ１３４）した後、一致率と固有値について検討し、マハラノビス距離に過大な影響を与えると考えられる固有値を打ち切り、一致率の高い固有の数を選択する（Ｓ１３５）。選択した固有値で、再度、マハラノビス距離を比較し、距離の小さい方のグループの感情に属するものと判断する。
【００４９】
マハラノビス距離の計算においては、パターンの次元数に対して十分な数の学習サンプルを用意する必要があるが、利用分野によっては容易には得られない場合がある。そこで、平均変化率算出手段２１によって算出した平均変化率、すなわち、抽出した特徴量から有効な特徴量に絞り込みを行う。上記したように、顔特徴点の相関は感情により特徴が見られるものと、相関が見られないものとが存在する。そこで、各感情で相関係数行列を求め、感情対で相関に差異が見られ且つ相関が強い顔特徴点を推定に用いる。各感情の相関係数行列から、相関係数≧０．７を基準に各感情対で感情推定に用いる顔特徴点を決定した。表２は、感情推定に用いる顔特徴点の一覧を示している。
【００５０】
【表２】
【００５１】
［被験者のグループ分け］
特徴量の分析より被験者には、顔特徴点平均変化率の大きな者と、顔特徴点平均変化率の小さな者が存在し、肯定的な感情は、否定的な感情と比較し変化率の分布が広いことが確認された。そこで、本発明では、変化率の小さな者を「Ｓグループ」に、変化率の大きな者を「Ｌグループ」の２つのグループに分け、それぞれのグループ毎に感情推定を行うこととした。グループ分けの基準は、相対的な基準によって２つに分ければよいが、例えば、「学習中の５分間の顔特徴点平均変化率の９５％が、変化率０．０２以下」である者を「Ｓグループ」とし、そうでない者を「Ｌグループ」とするとよい。換言すれば、「Ｓグループ」は顔特徴点平均変化率の小さい者が属するグループ、「Ｌグループ」は顔特徴点平均変化率の大きい者が属するグループとなる。そこで、感情推定システム２０に学習中の５分間の顔特徴点平均変化率の９５％が、変化率０．０２以下を基準にして被験者又は学習者１をいずれかのグループに属するかの判定を行う判定手段２３を設け、グループ分けが行われるようにした。すなわち、時間ｔからｔ＋３０（ｓｅｃ）の顔特徴点平均変化率をＦｖａｌｕｅ、５分間の顔特徴点平均変化率のサンプル数×０．９５をＦｓａｍｐｌｅｓ、Ｆｖａｌｕｅを満たすサンプル数をＣｏｕｎｔ（Ｆｖａｌｕｅ）とするとき、グループ分けの基準は以下の数式で表されるＰを満たす被験者を「Ｓグループ」、そうでない被者を「Ｌグループ」として分類する。
Ｐ＝（（−０．０２≦Ｆｖａｌｕｅ≦＋．００２ ＡＮＤ Ｃｏｕｎｔ（Ｆｖａｌｕｅ）≦Ｆｓａｍｐｌｅｓ））
すなわち、「Ｓグループ」は、顔特徴点平均変化率の小さい被験者が属するグループ、「Ｌグループ」は、顔特徴点平均変化率の大きい被験者の属するグループである。なお、実際のシステムでは、サンプルコンテンツでグループ分けを行うことになる。
【００５２】
［マハラノビス距離と固有値展開］
ここで、ｘを未知入力ベクトル（推定データ）、μを母集団の平均値ベクトル（サンプル平均）、母集団の共分散行列をΣとすると、ｘとμの間のマハラノビス距離は、数式２により与えられる。
【００５３】
【数２】
【００５４】
ここで、共分散行列は、Σ対称行列であるため、正規直行行列Ｐは、数式３により対角化させることができる。
【００５５】
【数３】
【００５６】
Σの第Σ固有値をλｋ、λｋに対応する固有ベクトルをφｋとすれば、数式２は、数式４のように書き直すことができる。
【００５７】
【数４】
【００５８】
したがって、グループＡとグループＢの２つの場合、ｄＡ２＜ｄＢ２であればグループＡに属し、ｄＡ２＞ｄＢ２であればグループＢに属することになる。
【００５９】
次に、図１２のステップＳ１３４の処理について、図１３のフローチャートを用いて説明する。まず、推定対象感情ナンバー（Ｎ）をＮ＝０に設定し（Ｓ１３４１）、更に、Ｎ＝Ｎ＋１、つまり「感情対１」を設定する（Ｓ１３４２）。次に、Ｎ＝ＮＭＡＸか否か、つまり「感情対４」か否かを判定する（Ｓ１３４３）。Ｎ＝ＮＭＡＸが判定された場合（Ｓ１３４３：Ｙｅｓ）、感情推定の演算を終了し（Ｓ１３４４）、ＮＭＡＸの感情中、最少マハラノビス距離の感情を推定感情として終了する（Ｓ１３４５）。
【００６０】
ステップＳ１３４３でＮ＝ＮＭＡＸではないことが判定された場合（Ｓ１３４３：Ｎｏ）、感情Ｎｏ．Ｎの推定に使用する顔特徴点を指定する（Ｓ１３４６）。更に、記憶装置７から感情推定データを読み出し（Ｓ１３４７）、このデータを基に感情推定演算（マハラノビス距離計算を実施する（Ｓ１３４８）。その後、処理は、ステップＳ１３５にリターンする。
【００６１】
マハラノビス距離には、分散（固有値）がゼロに近い軸が多く存在し、これらの軸は、
・冗長である、
・分散（固有値）の小さい軸が距離に過大な影響を与えるために認識率の低下をもたらす、
という問題が指摘されている。
【００６２】
この２つの問題について図１４を例に説明する。図１４は、Ｓグループにおける抽出した感情の特徴量の共分散行列の固有値のスクリープロットを示す図である。Ｓグループの「理解できた」の固有値の変化は、λ１＝３．０６、λ２＝１．５３、λ３＝０．６３、λ４＝０．３３と、λ３からは１以下となり、λ１２では０．００２と極めて０に近い。上記数式４に示すように、固有値λｋが分母になっているため、値の小さな固有値の方がより距離に大きな影響を及ぼすことになる。
【００６３】
特に、固有値の値が０に近い場合、その影響がより大きいと考えられる。この場合の累積寄与率（Ｃｋ）は、Ｃ３＝８５．３０％、Ｃ４＝９０．７０％となり、「理解できた」の固有値のうち、値の大きな４つで全体の９０％以上を説明することができる。したがって、特徴量は、第３次元から固有値の値が急激に減少して１以下となり、分散行列の固有値の問題が顕著に現れ、計算する際に考慮が必要であることが分かる。そこで、推定演算時に、あらかじめ感情対どちらかの特徴量の共分散行列の累積寄与率（Ｃｋ）がＣｍ≧９５％となる第ｍ次元までの固有値λｍ、およびλｍに対応する固有ベクトルφｍまでを用い、数式４よりｋ＝１，２・・・ｍとしてマハラノビス距離を計算した後、一致率と固有値について検討し、マハラノビス距離に過大な影響を与えると考えられる固有値は打ち切り、一致率の高い固有値を選択する（Ｓ１３５）。選択した固有値で再度マハラノビス距離を比較し、マハラノビス距離の小さい方のグループの感情に属すると判断する。
【００６４】
一方、本発明に係る学習システム１０は、平均変化率算出手段２１、判定手段２３、感情推定手段２５を備えた上述の感情推定システム２０のほか、学習ナビゲーション手段２７を備えている。学習ナビゲーション手段２７は、感情推定システム２０によって推定された学習者１の感情に基づき、記憶装置７に格納された教材データベース３５から予め感情ごとに対応させて作成した複数の教材データの中からそのときの学習者１の感情に即した教材データを選択し、学習者用パソコン３のディスプレイ４や、図示しないスーピーカ若しくはイヤホンなどを用いて教材データを再生するものである。
【００６５】
記憶装置７には教材データベース３５が設けられており、教材データベースには各種の学習テーマに即した教材データが格納されている。１つの学習テーマは、学習の進捗に合わせて難易度が高い教材データ、難易度が普通の教材データ、難易度の低い教材データが用意されている。例えば、図１５に示すように、ある学習テーマの第１章から第ｎ章までの各章にはそれぞれ難易度の高い「難」、難易度が普通の「中」、難易度の低い「易」の３種類の教材データが用意されている。そして、感情推定システム２０が第１章の学習をしている際の学習者１の感情を「理解できた」であると特定した場合にはその情報に基づいて学習ナビゲーション手段２７は教材データベース３５から第２章の学習データの中から「難」レベルの教材データを選択し、当該学習データを学習者１の学習者用パソコン３に送出する。そして、順次これを繰り返すことにより、学習者１に対してそのときの感情及びレベルに合わせた教材が提供されることになる。
【００６６】
［実施の形態の効果］
本実施の形態によれば、人の表情変化の大小から感情推定の対象者を２つのグループに分け、更に推定に用いる顔特徴点を感情対で選択して推定を行うことにより、学習者の感情変化を従来よりも高い確率推定することができるという効果がある。また、体温などの生体情報を取得するためのセンサ等を利用者の身体に直接に取り付ける必要がないので利用者への負担が少なく実用性が高いと共に、顔画像のみでより信頼度の高い感情推定を行うことができるという効果がある。
【実施例】
【００６７】
次に、本発明に係る感情推定システム及びそれを利用した学習システムの具体的な実施例について説明する。図１６は実施例と従来手法（感情及び生体情報）による比較例の感情推定の結果を示す図である。尚、ＳとＬのグループ分けは以下の通りである。
【００６８】
初めに、推定基準量データベース３１を構成するデータを取得するための被験者を２３名（男性１８名、女性５名）とし、その中でグループＳは被験者１０名（男性１０名、女性０名）、グループＬは被験者１３名（男性８名、女性５名）である。一方、感情評価の対象となる学習者は、推定基準量データベース３１を構成するデータを取得するための上記被験者を２３名の対象者とは異なる学習者Ａ、Ｂ、Ｃの３名（男性２、女性１名）である。
【００６９】
(１)学習者Ａ、Ｂ、Ｃ３名についてｅ−ラーニングを行った後、学習中の感情についてＳＤ法による主観評価を実施し３０秒間隔の主観感情を特定した。
(２)平均変化率算出手段２１によって学習中の３名の学習者Ａ、Ｂ、Ｃの画像解析をそれぞれ行い、顔特徴点平均変化率を算出した。得られた学習者Ａ、Ｂ、Ｃ３名の評価データ数を表３に示す。
【００７０】
【表３】
【００７１】
(３)そして、判定手段２３によって学習者Ａ、Ｂ、Ｃのグループ分けを行った。その結果は以下のとおりである。
学習者Ａ：女性（Ｓグループ）
学習者Ｂ：男性（Ｓグループ）
学習者Ｃ：男性（Ｌグループ）
【００７２】
［結果］
本実施例における感情の推定結果と実際の学習者Ａ、Ｂ、Ｃの感情との一致率の結果は、図１６に示すように、「理解できた」が８１．３％、「理解できない」が３３．３％、「面白い」が１００．０％、「つまらない」が１００．０％、「集中している」が５５．６％、「飽きている」が１００．０％、「簡単」が８０．０％、「難しい」が８３．３％で、８感情の一致率の平均は７７．１％であった。一致率の高い感情対は「面白い−つまらない」であり、一方、推定率の低い感情対は「理解できた−理解できない」であった。従来法の８感情の一致率は４７．３％であり、本発明に係る感情推定システムによれば、従来手法による感情推定と比較して２９．８％の一致率の向上が見られた。これは、被験者を顔特徴点の平均変化率の大小によってグループ分けしたこと、および、感情推定に用いる顔特徴点を感情対で選択することが一致率の向上の要因であると考えられる。
【００７３】
以上の結果から以下の結論が得られた。
（１）推定感情と被験者の評価感情の比である全感情の一致率は、比較例が４７．３％であるのに対し、実施例は７７．１％であり、その有効性が確認された。
（２）ｅ−ラーニング学習中の表情の変化率は、平均変化率の大きな被験者と小さな被験者が存在するが、顔の長さに対して平均１〜４％ほどの微小な変化である。
（３）肯定的な感情に伴う顔特徴点変化率は、否定的な感情を伴う変化よりも大きく、特に眉に対してｙ軸方向に一様な変化をする傾向が強い。
（４）顔特徴点平均変化率の分散及び平均値は、４つの感情対において約１５名という少数の被験者で収束する傾向が確認された。
【００７４】
このように、本発明に係る感情推定システム２０によって特定した学習者１の感情は高い確率で正しく判断することが可能であり、また。感情推定システム２０によって特定された感情に基づいて教材を提供する本発明に係る学習システム１は学習者１に対して適切な教材データを提供することが可能となる。
【００７５】
なお、上記実施の形態においては、図２〜図１２に示す処理は、サーバ６によって行うものとしたが、学習者用パソコン３によって処理する構成であってもよい。或いは、学習者パソコン３やサーバ６に接続された専用の感情推定システムを設ける構成であってもよい。
【００７６】
また、インターネット８は会社等に設けられたＬＡＮ等の通信回線であってもよい。また、インターネット８やＬＡＮ等の通信回線を介することなく、サーバ６の機能を学習者用パソコン３において機能させるように構成することも可能である。
【産業上の利用可能性】
【００７７】
感情推定の対象を公共サービスの利用者、相談者等にすることで、感情推定システムを学習システム以外の用途にも適用可能である。
【符号の説明】
【００７８】
１ 学習者
２ 入力装置
３ 学習者用パソコン
４ ディスプレイ
５ カメラ
６ サーバ
７ 記憶装置
８ インターネット
１０ 学習システム
２０ 感情推定システム
２１ 平均変化率算出手段
２３ 判定手段
２５ 感情推定手段
３１ 推定基準量データベース
３５ 教材データベース
【技術分野】
【０００１】
本発明は、感情推定システム及びそれを利用した学習システムに関し、さらに詳しくは、コンピュータによって人の動的な顔画像データから感情の変化を高い精度で推定することを可能とすると共に、ｅ−ラーニングに代表される学習支援システムを利用する学習者の感情をそれによって把握することでその感情に即した学習教材をより高い精度で提供することを可能とする感情推定システム及びそれを利用した学習システムに関する。
【背景技術】
【０００２】
従来のヒューマンインタフェースは、操作性や安全性、疲れにくいといった人間とコンピュータとの適合を目的として研究が行われてきたが、一方で、人の感情や状況を予測し、その感情に最適な対応が可能な人に、より親和性のあるヒューマンインタフェースが求められている。人は、相手の表情を動的に読み取り、その微妙な変化から相手の感情などの内面的な状態を推定することで、円滑なコミュニケーションを図っている。したがって、人とコンピュータとの間のコミュニケーション手段として表情を利用するためには、コンピュータが人の動的な顔画像から感情の変化を理解することが必要である。そのためには、以下に挙げるいくつかの課題の解決が必要とされている。
(１) 人が表出する表情について、より多くの事例を対象にする。
(２) 誇張された表情ではなく、自然な表情から感情を推定する。
(３) 人による表情の認識過程や判断に近いアルゴリズムの開発。
(４) 感情の変化に応じた最適な対応や、情報提供を行うためのリアルタイム性。
【０００３】
一方、近年の教育分野へのＩＴ（情報技術）の導入に伴い、企業や大学等においてｅ−ラーニング等のコンピュータを利用した学習支援システムが広く利用されている。ｅ−ラーニングの学習形態にもいくつかの種類があり、目的によって使い分けられているが、代表的な例としては、サーバから教材をダウンロードして自習形式で学習を行うＷＢＴ（Web Based Training）がある。ＷＢＴをベースにしたｅ−ラーニングの最大の特徴は、時間と場所の制約が無いことであるが、反面、教師が学習者の学習中の様子を把握して指導することができないという問題がある。このようなｅ−ラーニング学習環境の改善のため、学習者の行き詰まりをリアルタイムで検知する方法や、誤答に対して教師のリアルタイムでのアドバイスを学習者に送信するシステム等の事例が報告されている。
【０００４】
一般的に対面式の講義では、教師は学習者の表情やしぐさなどから理解度や集中度、興味の有無などを確認しながら状況に応じて講義を進めている。本発明者らも、より人に親和性のある新しいヒューマンインタフェースであるｅ−ラーニング支援システムの開発を進めてきた。例えば、学習者の音声、表情・動作、生態情報等に基づいた心理状態推定情報を遠隔地の教師に表示する遠隔会議・教育システム（例えば、特許文献１参照）や、学習者の心理・精神状態をモニタして心理状態の推定を行い、これを基に現在の心理状態に対応した電子教材を提供することにより学習を支援する電子教材学習支援装置、電子教材学習支援システム及び電子教材学習支援プログラム（例えば、特許文献２参照）等をこれまでに開発した。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２６２０１０号公報
【特許文献２】特開２００６−２３５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ｅ−ラーニング等においては、学習者が意欲を持って学習しているか否かを、教師が把握することが学習成果を上げるために重要であるが、上述の特許文献１及び２では、少人数の被験者（学習者）の顔画像から感情推定に用いる特徴量を抽出していたため、被験者数や、顔特徴点の特定等の妥当性についての検証が十分とはいえなかったことから、感情推定の精度は必ずしも高いものではなかった。
【０００７】
従って、本発明の目的は、コンピュータによってｅ−ラーニングの学習者の顔画像からリアルタイムで感情の変化を高精度かつ高信頼に推定することが可能な感情推定システム及びそれを利用した学習システムを提供することにある。
また、本発明は、利用者への負担や実用性を考慮し、顔画像と生体情報の併用ではなく、顔画像のみをリアルタイム処理することで、より信頼度の高い感情推定システム及びそれを利用した学習システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の本発明は、人の感情をその表情の変化に基づいて推定する感情推定システムにおいて、被験者の表情の変化を撮影し、その表情の変化を顔画像データとして取得可能なカメラと、カメラで撮影した被験者の顔画像データから、予め複数選定した顔の所定部位である顔特徴点が表情の変化に伴ってそれぞれ移動した各変化量について所定時間当たりの平均値を平均変化率として算出する平均変化率算出手段と、複数の被験者における平均変化率算出手段によって算出した顔特徴点の平均変化率と、そのときの感情であってＳＤ法に基づく主観評価によって特定した感情との相関行列から感情推定に用いる複数の異なる感情対に対応する顔特徴点を相関の強弱に基づいて抽出し、抽出した顔特徴点の中からさらに各感情対で相関に差違が見られ且つ相関が強い顔特徴点を感情推定に用いるための顔特徴点として絞り込みを行い、他方、各顔特徴点の平均変化率の小さな被験者と大きな被験者とを所定の基準に基づいて相対的に２つのグループに分けると共に２つのグループ内のそれぞれの平均変化率の平均値及び分散共分散行列を算出して構成した推定基準量データベースと、感情推定を行うための被感情推定者の表情をカメラで撮影して得られた顔画像データに基づいて平均変化率算出手段によって算出された被感情推定者の各顔特徴点の平均変化率から被感情推定者が平均変化率の小さなグループに属するか平均変化率の大きなグループに属するかを所定の基準に基づいて判定する判定手段と、判定手段によって判定された結果に基づいて推定基準量データベースのうち被感情推定者が属するとされたグループのデータを用いて被感情推定者の感情を推定する感情推定手段とを備えてなることを特徴とする。
【０００９】
上記目的を達成するため、請求項２に記載の本発明は、請求項１に記載の感情推定システムにおいて、複数の異なる感情対は、「理解できた」及び「理解できない」からなる第１感情対と、「面白い」及び「つまらない」からなる第２感情対と、「集中している」及び「飽きている」からなる第３感情対と、「簡単」及び「難しいからなる」第４感情対の４つであることを特徴とする。
【００１０】
上記目的を達成するため、請求項３に記載の本発明は、請求項１又は２に記載の感情推定システムにおいて、顔特徴点は、左右の眉の内と外及び左右の口端であり、これらの顔特徴点について、頭頂と部顎を結んだ線分を基準線分とし、頭頂部中心に半径が基準線分長の１／２の円と、顎を中心に半径が基準線分長の√５／２の２つの円との交点のうち向かって左側の交点を原点とし、２つの交点を結ぶ直線をｘ軸とし、頭頂部から顎を結ぶ直線と平行且つ原点との交点を始点とする直線をｙ軸とした相対座標におけるｘ方向及びｙ方向のそれぞれ１２点の平均変化率を算出することを特徴とする。
【００１１】
上記目的を達成するため、請求項４に記載の本発明は、請求項３に記載の感情推定システムにおいて、相関行列は、１２点のうちの顔特徴点の１つとその他の顔特徴点との相関から求めることを特徴とする。
【００１２】
上記目的を達成するため、請求項５に記載の本発明は、請求項１から４のいずれか１項に記載の感情推定システムにおいて、感情推定手段は、被感情推定者の学習前の平静状態における顔特徴点の位置から学習中における顔特徴点の移動距離に基づいて顔特徴点の平均変化率を求めることを特徴とする。
【００１３】
上記目的を達成するため、請求項６に記載の本発明は、請求項１から５のいずれか１項に記載の感情推定システムにおいて、平均変化率算出手段は、ＩＱＲ（interquartile range）×３倍を超える値を除外する前処理を行い、さらに再度ＩＱＲ×１．５倍以上３倍以下にある値を除く処理を行う外れ値除去手段を含んでなることを特徴とする。
【００１４】
上記目的を達成するため、請求項７に記載の本発明は、請求項１から６のいずれか１項に記載の感情推定システムにおいて、感情推定手段は、感情対のそれぞれについてマハラノビス距離を算出した後、距離に過大な影響を与える固有値を除き、一致率の高い固有値に基づいて再度マハラノビス距離を比較し、距離の短い方のグループの感情に属すると判断することを特徴とする。
【００１５】
上記目的を達成するため、請求項８に記載の本発明は、請求項１から７のいずれか１項に記載の感情推定システムにおいて、平均変化率の小さなグループに属するか平均変化率の大きなグループに属するかを判定するための所定の基準は、所定時間における顔特徴点の各平均変化率の９５％が０．０２を越えたか否かによることを特徴とする。
【００１６】
上記目的を達成するため、請求項９に記載の本発明は、請求項１から８のいずれか１項に記載の感情推定システムを備え、予め各感情に合わせて作成した教材データを格納した教材データベースと、感情推定システムによって推定された感情に合った教材データをデータベースから検索抽出し、画像や音声として出力デバイスを介して出力する学習ナビゲーション手段とを備え、学習者の感情に即した教材を提供することを特徴とする学習システムを提供する。
【発明の効果】
【００１７】
本発明に係る感情推定システム及びそれを利用した学習システムによれば、各顔特徴点の平均変化率を所定の基準に基づいて大小２つのグループに分けて感情推定を行うと共に、感情推定を行う各顔特徴点を絞り込むこととしたので、従来よりも被感情推定者（学習者）の感情を高精度かつ高信頼に推定することができるという効果がある。
【００１８】
また、本発明に係る感情推定システム及びそれを利用した学習システムは被感情推定者の表情をカメラで捉え、その表情の変化のみを利用するものであることから、従来のように体温などの生体情報を取得するためのセンサ等を利用者の身体に直接に取り付ける必要がないので利用者への負担が少なく実用性が高いと共に、顔画像のみでより信頼度の高い感情推定を行うことができるという効果がある。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る学習システムを示すブロック図である。
【図２】感情推定を行うための処理を示すフローチャートである。
【図３】図２に示した処理の詳細を示すフローチャートである。
【図４】顔特徴点を示す説明図である。
【図５】顔画像解析用の相対座標系を示す図である。
【図６】顔画像の解析手順を示すフローチャートである。
【図７】図３に示すステップＳ１２２の処理の詳細を示すフローチャートである。
【図８】顔特徴点の変化を示す分布特性を示す図である。
【図９】顔特徴点平均変化率のｘ座標、ｙ座標の２５％タイル点、７５％タイル点を２次元平面上にプロットした図であり、（ａ）は「理解できた」の感情の場合であり、（ｂ）「理解できない」の感情の場合である。
【図１０】「理解できた」の顔特徴点平均変化率のデータの分布状態をマトリックスで表示した図である。
【図１１】「理解できない」の顔特徴点平均変化率のデータの分布状態をマトリックスで表示した図である。
【図１２】マハラノビス距離による感情推定処理を示すフローチャートである。
【図１３】図１２のステップＳ１３４の処理の詳細を示すフローチャートである。
【図１４】Ｓグループにおける抽出した感情の特徴量の共分散行列の固有値のスクリープロットを示す図である。
【図１５】学習ナビゲーション手段のブロック図である。
【図１６】本発明の実施例及び比較例を示す図である。
【発明を実施するための形態】
【００２０】
本発明に係る感情推定システム及びそれを利用した学習システムについて図面を参照しつつ以下詳細に説明する。図１は本発明に係る感情推定システムを備えた学習システムの概要を示すブロック図である。
【００２１】
［学習システムの構成］
図示された学習システム１０は、学習者の感情の推定に関する情報の収集及びこれに基づく感情推定等を行う本発明に係る感情推定システム２０を備えて構成されており、学習システム１０はこの感情推定システム２０によって学習者１の学習中における感情の変化を捉え、そのときの感情に即した教材を学習者１に提供するようになっている。
【００２２】
すなわち、感情推定システム２０を備えた学習システム１０は、学習者１の自宅や学校など学習を行う場所に設置されて学習者１によって操作される入力装置２と、入力装置２に接続された学習者用パーソナルコンピュータ本体３（以下、「学習者用パソコン３」という）と、学習者用パソコン３に接続されたディスプレイ４と、学習者用パソコン３に接続されて学習者１の顔を撮影して画像データを取得するためのカメラ５（ビデオカメラ）と、カメラ５で撮影した画像データを学習者用パソコン３から入手すると共に学習者１の感情の推定を行って学習支援をする教師となるべきサーバ６と、各種の電子データを格納するためにサーバ６に接続された記憶装置７とを備えて構成されており、サーバ６と学習者用パソコン３とはインターネット８を介して接続可能とされている。なお、必要に応じて、サーバ６側にも図示しないディスプレイ及びマウスやキーボードなどの入力装置が設置される。
【００２３】
サーバ６は、いわゆる汎用のコンピュータによって構成されており、図示しない中央処理装置、入力装置、通信装置、メモリなどの記憶装置を備えて構成されている。ハード構成自体は一般的なものであるためその詳しい説明は省略する。サーバ６は、公知のハード構成を利用して、カメラ５で撮影した学習者１の顔画像データから、予め複数選定した顔の所定部位である顔特徴点が表情の変化に伴って移動したそれぞれの変化量について所定時間当たりの平均値を平均変化率として算出する平均変化率算出手段２１と、平均変化率算出手段２１によって算出された学習者１の顔特徴点の平均変化率から学習者１の感情を推定する感情推定手段２５を備えており、また、サーバ６と接続された記憶装置７には感情推定を行う基準となる推定基準量データベース３１が格納されている。これにより感情推定システム２０及びこの感情推定システム２０を備えた学習システム１０を備えた学習システム１０が構築されている。以下、感情推定システム２０について説明する。
【００２４】
感情推定システム２０は推定基準量データベース３１を備えており、推定基準量データベース３１は、後述するように顔特徴点の平均変化率の小さなグループと顔特徴点の平均変化率の大きなグループの２つに分けられて構成されていると共に、感情推定システム２０を形成するサーバ６には、感情の推定を行う対象である被感情推定者としての学習者１の表情をカメラ５で撮影することによって得られた顔画像データに基づいて平均変化率算出手段２１が算出した学習者１の各顔特徴点の平均変化率から学習者１が平均変化率の小さなグループに属するか平均変化率の大きなグループに属するかを所定の基準に基づいて判定する判定手段２３を備えている。また、記憶装置７には、学習システム１０が利用するための教材データベース３５であって、学習者１が学習を進めていく上で現れるであろう種々の感情に合わせて予め作成した教材データからなる教材データベース３５が格納されていると共に、サーバ６には感情推定システム２０によって推定された学習者１の感情に合った教材データを教材データベース３５から検索抽出し、画像や音声として出力デバイスを介して出力する学習ナビゲーション手段２７を備えている。尚、出力デバイスとしては、例えば、映像や画像を映すディスプレイや、音声を出すスーピーカ若しくはイヤホンなどがある。
【００２５】
感情推定を行う基準となる推定基準量データベース３１についてさらに説明する。ここで、被験者とは、推定基準量データベース３１を構築するために感情推定を行う基準となるデータを収集するための対象者をいう。推定基準量データベース３１は感情推定を行うための基準となるデータを備えて構成されるデータベースであり、予め複数の被験者から必要なデータを取得することによって構築されている。すなわち、平均変化率算出手段２１は、被験者の表情の変化をカメラ５で撮影することによって取得した顔画像データに基づいて予め複数選定した顔の所定部位である顔特徴点が表情の変化に伴って移動したそれぞれの変化量について所定時間当たりの平均値を平均変化率として算出する。次に、平均変化率算出手段２１によって算出された複数の被験者の顔特徴点の平均変化率とそのときの感情についてＳＤ法に基づく主観評価によって特定した感情との相関行列から感情推定に用いる複数の異なる感情対、例えば、「理解できた−理解できない」、「面白い−つまらない」等、に対応する顔特徴点を相関の強弱に基づいて抽出する。そして、抽出した顔特徴点の中からさらに各感情対で相関に差違が見られ且つ相関が強い顔特徴点を感情推定に用いるための顔特徴点として絞り込みを行う。他方、各顔特徴点の平均変化率の小さな被験者と大きな被験者とを所定の基準に基づいて相対的に２つのグループに分けると共に２つのグループ内のそれぞれの平均値及び分散共分散行列を算出することによって形成されている。以下、感情推定システム２０の処理のフローについてさらに詳細に説明する。
【００２６】
［平均変化率の算出］
初めに、カメラ５で撮影した学習者１の顔画像データを用いて学習者１の顔特徴点が移動した変化量から平均変化率を算出するために平均変化率算出手段２１が行う処理について説明する。図２は感情推定を行うための処理を示すフローチャート、図３は図２に示した処理の詳細を示すフローチャート、図４は顔特徴点を示す説明図である。尚、平均変化率算出手段２１は推定基準量データベース３１に格納する感情推定を行うためのデータを取得する際にも利用されるものである。
【００２７】
人の表情の変化は、表情筋（更には咀嚼筋）の収縮・弛緩により引き起こされる形状の変化であり、表情の変化と感情とは関連があるとされている（例えば、「表情分析入門」P.Ekman and W.V.Friesen（工藤力訳）誠信書房、１９８７年）。そこで、発明者らは、これらの知見に基づき、表情の変化に伴って生じる表情筋の変化量と感情との対応付けを行った。具体的には、表情筋の動きを検出するために表情の変化に伴って移動し、且つ、画像から抽出しやすい顔の部位として右眉外、右眉内、左眉外、左眉内、右口端、左口端の６点を顔特徴点として定義した。また、顔画像の正規化を行うために頭頂部及び顎の２点を基準点として使用する。なお、学習者１の眉が髪で隠れてしまうと十分な精度で顔特徴点の追跡が行えない可能性が考えられるので顔特徴点の追跡に影響を与えない程度の髪型および髪の長さとするか、髪を結ぶことによって眉全体が確認できるようにしておくことが好ましい。
【００２８】
次に、カメラ５によって撮影した被験者の顔画像データに対し、図５に示すような顔画像解析用の相対座標系を用意した。すなち、撮影した顔画像は、顔の大きさや傾きを考慮し頭頂部から顎までの距離を基準線分長として座標の正規化を行い、各顔特徴点の相対座標値を算出する。図６は顔画像の解析手順を示すフローチャートであり、図６を用いて座標の正規化処理について説明する。
【００２９】
（１）被験者の顔画像データは、学習前の１分間及び学習中の５分間においてカメラ５で連続的に撮影することによって取得される（図６のＳ１２１１、Ｓ１２１２）。カメラ５で撮影した被験者の映像を２次元画像追跡ソフト（例えば、デジモ社製「２Ｄ−ＰＴＶ」）を用いて上記した顔特徴点（右眉外、右眉内、左眉外、左眉内、右口端、左口端の６点）と基準点（頭頂部と顎の２点）の合計８点について１５フレーム／Ｓに設定した軌跡追跡を行うことにより（Ｓ１２１３、Ｓ１２１６）２次元座標値座標に変換（６４０×４８０の画素数）する（Ｓ１２１４、Ｓ１２１７）。なお、図５の画面の向かって左上を原点とし、右向きにｘ軸正、下向きにｙ軸正とした座標系を用い、初期フレームのみ顔特徴点の位置情報を手動で設定する。
【００３０】
（２）次に、数式１により「頭頂部Ｈ（ｘｈ,ｙｈ）−顎Ｃ（ｘｃ,ｙｃ）の長さを求める。
【００３１】
【数１】
【００３２】
頭頂部−顎の長さを基準線分長（ＢＬ＝Base Line 長さＬ）とし、頭頂部Ｈ（ｘｈ,ｙｈ）を中心に半径が基準線分ＢＬの長さの１／２の円と、顎Ｃ（ｘｃ,ｙｃ）を中心に同じく半径が基準線分ＢＬの長さの√５／２の２つの円との交点のうち、向かって画像左側の交点を新たに原点Ｏ（０，０）とする。
【００３３】
（３）２つの円との交点を結ぶ直線をｘ軸とし、頭頂部から顎へ向かう直線ＢＬと平行かつ原点との交点を始点とする直線をｙ軸とした顔領域を内包する正方形を作成し、各顔特徴点座標の相対座標化を全てのフレームについて実施する（図５参照）。
【００３４】
（４）各顔特徴点の相対座標値から学習前の平静時における１分間の顔特徴点座標値の平均値を算出し（Ｓ１２１５）、被験者の基準値（平静状態）とする。学習中の画像に対してフレーム毎に基準値との移動距離が算出され、所定時間（例えば、３０秒）間隔で平均値が算出され（Ｓ１２１８）、上記平静時からの移動距離に基づいて顔特徴点の平均変化率が算出される。例えば、基準となる平静状態の顔特徴点の座標位置ｘ座標の位置をｘ０、ｘ軸方向の移動距離がδｘｉのときのｘ方向の変化量Δｘｉ＝δｘｉ／ｘ０で求められる。なお、数値は無次元である。
【００３５】
［推定感情の定義］
従来、表情や感情に関する研究の多くは、上記Ｅｋｍａｎが提唱した基本６感情を推定の対象としている。しかし、ｅ−ラーニング学習の場面においては、このような基本６感情よりも、学習内容が「理解できた」又は「理解できない」、「面白い」又は「つまらない」、更に学習に「集中している」又は「飽きている」、「難しい」又は「簡単」等の学習中に起こる感情を推定することが重要であると考えられる。そこで、表１に示すｅ−ラーニングの学習環境に対応した第１感情対から第４感情対の４感情対８感情を定義した。
【００３６】
【表１】
【００３７】
表１に示す各感情対について、上記学習を終了後、直ちに被験者に撮影した学習端末の教材画面映像を提示し、３０秒間隔で５分間、計１０回のＳＤ法（Semantic Differential Method）による「１」〜「５」段階の主観評価を実施する（Ｓ１２１）。評価「１」，「２」を表１の左側の感情、「４」，「５」を右側の感情と定義し、更に「３」は中立状態として評価感情からは除く。以上のようにして得られたデータは、記憶装置７に格納（蓄積）される（Ｓ１２１）。なお、４つの感情対は、それぞれ独立しているものと仮定し、同時に２つ以上の感情を所有することがある。
【００３８】
次に、平均変化率の分析について説明する。上述のようにして求められた顔特徴点の平均変化率（感情推定に用いる特徴量）について、分布、相関及び被験者数との関連を説明する。まず、前処理（Ｓ１２２）として、不要なデータの除去を行う（図７参照）。図８は顔特徴点の変化を示す分布特性を示す図であり、図８に示すような箱ひげ図によりデータの分布の確認を行ったところ（Ｓ１２２１）、ＩＱＲ（interquartile range）×３倍を超える値（図８の枠で囲った２つのデータＤ１，Ｄ２）が見られた。
【００３９】
一般に、ＩＱＲ×３倍を超える値（極値）は、異常値であることを疑う必要がある。そこで、発明者らは学習中の表情を撮影した映像を確認したところ、例えば、追跡できないほどの急激な傾きや、髪を気にするしぐさ等が見られた。これらは顔特徴点の変化とは直接関係の無い動きであると考えられるため、ＩＱＲが３倍を超える値は特徴量の対象データから除外し、それ以外のデータを有効値として採用する（Ｓ１２２２）。以降、この有効値を顔特徴点平均変化率とし、感情推定のための特徴量の抽出に用いる。なお、相関は少しの外れ値でも影響を受け易いことから、上記前処理を行った後、再度、ＩＱＲが１．５倍以上３倍以下にある値を除いたデータを用いて分析を行うものとする（Ｓ１２２３）。
【００４０】
［分布に関する分析］
図９は顔特徴点平均変化率のｘ座標、ｙ座標の２５％タイル点、７５％タイル点（ＩＱＲ）を２次元平面上にプロットした図であり、（ａ）は「理解できた」の場合であり、（ｂ）は「理解できない」の場合である。図中、特性Ｒ１は右眉外、特性Ｒ２は右眉内、特性Ｒ３は右口端、特性Ｌ１は左眉外、特性Ｌ２は左眉内、特性Ｌ３は左口端の特性である。図９（ａ）の「理解できた」は、図９図（ｂ）の「理解できない」に比べ、変化率の分布範囲が広くなっていることが分かる。
【００４１】
また、図９より、（ａ）「理解できない」は、平均変化率が−０．００６≦ｘ≦＋０．０１、−０．００３≦ｙ≦＋０．０１の範囲で分布しているが、（ｂ）「理解できた」は−０．０１４≦ｘ≦＋０．０１３、−０．００９≦ｙ≦＋０．０２の範囲で分布している。左右眉のｙ軸の四分位偏差の平均値は、（ａ）理解できない０．００４、(ｂ)理解できた０．０１１となり、（ａ）「理解できない」では上方向（ｙ軸マイナス方向）への変化が小さい傾向が認められた。この傾向は、第２感情対から第４感情対まで同様に見られ、「理解できない」、「つまらない」、「飽きている」、「難しい」の否定的な感情を伴う表情の変化は、「理解できた」、「面白い」、「集中している」、「簡単」の肯定的な感情を伴う表情の変化と比較し表情の変化が小さく、平静状態よりも特に上方向への変化が小さい傾向が確認された。なお、「理解できない」の各顔特徴点は、ｙ軸プラス側に変化していることから、顔特徴点が平静状態よりも下方向へ動くことが予測される。
【００４２】
［相関に関する分析］
図１０は、「理解できた」の顔特徴点平均変化率のデータの分布状態をマトリックスで表示した図、図１１は、「理解できない」の顔特徴点平均変化率のデータの分布状態をマトリックスで表示した図であり、詳しくは被験者２３名の第１感情対（「理解できない」−「理解できた」）の顔特徴点平均変化率の２変数を全ての組み合わせのマトリックスプロット（相関行列）を示している。
【００４３】
図１０及び図１１から以下のような傾向が確認された。
(１)「理解できた」では、右眉内ｙと左眉内ｙの相関係数ｒ＝０．９５と強く（図１０中のＥ）、「理解できない」ではｒ＝０．３３と相関がみられない（図１１中のＥ）傾向が確認された。
(２)「理解できた」では、左右の眉の内側、外側のｙ軸方向（図１０中のＡ〜Ｆ）への相関係数の平均はｒａｖｇ＝０．７６であり、「理解できない」の相関係数の平均ｒａｖｇ＝０．４９と比較し眉同士のｙ軸方向への相関が強い傾向が確認された。
(３)「理解できた」では、右口端ｙと左口端ｙの相関がｒ＝０．８１と強いが（図１０中のＧ）、「理解できない」では、ｒ＝０．３２と相関がみられなかった（図１１中のＧ）。なお、この傾向は、第２感情対から第４感情対においても同様に見られた。
【００４４】
この結果について、顔特徴点の動きを表情筋と関連付けて考察すると、眉は、額にある前頭筋と眉間にある雛眉筋、および眼輪筋により移動・変形するが、これらの筋肉は連動して、眉に対し 軸方向に一様な収縮をさせる。図１０及び図１１より「理解できた」では、「理解できない」と比較し一様に移動・変形する傾向が強い傾向が確認された。
【００４５】
一般的に、顔の形状や大きさ表情の変化などには個人差が見られるが、抽出した特徴量の標準偏差・平均値が何名の被験者のデータの蓄積によって収束が見られるかという被験者数の妥当性を検討することは実用上重要である。
【００４６】
そこで、被験者数と顔特徴点平均変化率の標準偏差及び平均値を算出し、被験者数に対する収束度合いを検討したところ、４つの感情対は、被験者が７名程度までは変化率の標準偏差の値が大きく変動したが、１０名を超えると標準偏差の値の変動が小さくなり、更に、１５名程度でほぼ一定値に収束する傾向が見られた。このことは、相関とも関連するが、人間の表情筋は任意の方向に自由に動くのではなく、各筋肉の方向に沿って変形及び移動するため、可動範囲及び方向が或る程度限定されており、その動きには規則性がある為と考えられる。本発明では、この特徴量を用いており、被験者数の数を１５名程度とすれば妥当な推定結果を得ることができると考えられる。
【００４７】
［感情の推定］
次に、感情推定手段２５について学習者１の感情を推定する処理（図２のステップＳ１３）に基づいて説明する。上述したように、ステップＳ１１，１２において主観評価を行い、ｅ−ラーニング学習者の表情と感情の時系列変化を測定して特徴量の抽出を行った。その結果、顔特徴点平均変化率と感情との間には、変化率及び相関に関して関連のあることが実証された。感情推定手段２５は、以上の結果を基に、距離尺度の１つであるマハラノビス距離（Mahalanobis distance）を評価関数に用いて感情推定を行う。この点、顔特徴点の変化量には個人差が確認あり、またマハラノビス距離には、これまでに次元数に対するサンプル数の数、および固有値の影響に関する問題が報告されていることから、本発明では、あらかじめ被験者を顔特徴点平均変化率の大小により２つのグループに分けることとした。次に、次元数に対するサンプル数を相対的に増やすため、感情対ごとに推定に用いる顔特徴点を選択する。さらに、マハラノビス距離を用いた演算では、感情対どちらかの特徴量の共分散行列の累積寄与率が９５％以上となる次元までの固有値を用いる。図１２はマハラノビス距離による感情推定処理を示すフローチャートである。
【００４８】
まず、上記ステップＳ１１，１２により抽出した特徴量を学習サンプルとして用いる。事前に、顔特徴点平均変化率が小さな人（被験者又は学習者１）を「Ｓグループ（ポーカーフェイス）」とし、顔特徴点平均変化率が大きな人（被験者又は学習者１）を「Ｌグループ（表情豊かな顔）」とする（Ｓ１３１）。次に、各グループごとに平均値及び共分散行列を算出する（Ｓ１３２、Ｓ１３３）。次に、各感情の学習サンプルの相関係数行列から相関の強い顔特徴点を抽出し感情の推定に用いる。そして、評価データについて各感情対でマハラノビス距離を計算（Ｓ１３４）した後、一致率と固有値について検討し、マハラノビス距離に過大な影響を与えると考えられる固有値を打ち切り、一致率の高い固有の数を選択する（Ｓ１３５）。選択した固有値で、再度、マハラノビス距離を比較し、距離の小さい方のグループの感情に属するものと判断する。
【００４９】
マハラノビス距離の計算においては、パターンの次元数に対して十分な数の学習サンプルを用意する必要があるが、利用分野によっては容易には得られない場合がある。そこで、平均変化率算出手段２１によって算出した平均変化率、すなわち、抽出した特徴量から有効な特徴量に絞り込みを行う。上記したように、顔特徴点の相関は感情により特徴が見られるものと、相関が見られないものとが存在する。そこで、各感情で相関係数行列を求め、感情対で相関に差異が見られ且つ相関が強い顔特徴点を推定に用いる。各感情の相関係数行列から、相関係数≧０．７を基準に各感情対で感情推定に用いる顔特徴点を決定した。表２は、感情推定に用いる顔特徴点の一覧を示している。
【００５０】
【表２】
【００５１】
［被験者のグループ分け］
特徴量の分析より被験者には、顔特徴点平均変化率の大きな者と、顔特徴点平均変化率の小さな者が存在し、肯定的な感情は、否定的な感情と比較し変化率の分布が広いことが確認された。そこで、本発明では、変化率の小さな者を「Ｓグループ」に、変化率の大きな者を「Ｌグループ」の２つのグループに分け、それぞれのグループ毎に感情推定を行うこととした。グループ分けの基準は、相対的な基準によって２つに分ければよいが、例えば、「学習中の５分間の顔特徴点平均変化率の９５％が、変化率０．０２以下」である者を「Ｓグループ」とし、そうでない者を「Ｌグループ」とするとよい。換言すれば、「Ｓグループ」は顔特徴点平均変化率の小さい者が属するグループ、「Ｌグループ」は顔特徴点平均変化率の大きい者が属するグループとなる。そこで、感情推定システム２０に学習中の５分間の顔特徴点平均変化率の９５％が、変化率０．０２以下を基準にして被験者又は学習者１をいずれかのグループに属するかの判定を行う判定手段２３を設け、グループ分けが行われるようにした。すなわち、時間ｔからｔ＋３０（ｓｅｃ）の顔特徴点平均変化率をＦｖａｌｕｅ、５分間の顔特徴点平均変化率のサンプル数×０．９５をＦｓａｍｐｌｅｓ、Ｆｖａｌｕｅを満たすサンプル数をＣｏｕｎｔ（Ｆｖａｌｕｅ）とするとき、グループ分けの基準は以下の数式で表されるＰを満たす被験者を「Ｓグループ」、そうでない被者を「Ｌグループ」として分類する。
Ｐ＝（（−０．０２≦Ｆｖａｌｕｅ≦＋．００２ ＡＮＤ Ｃｏｕｎｔ（Ｆｖａｌｕｅ）≦Ｆｓａｍｐｌｅｓ））
すなわち、「Ｓグループ」は、顔特徴点平均変化率の小さい被験者が属するグループ、「Ｌグループ」は、顔特徴点平均変化率の大きい被験者の属するグループである。なお、実際のシステムでは、サンプルコンテンツでグループ分けを行うことになる。
【００５２】
［マハラノビス距離と固有値展開］
ここで、ｘを未知入力ベクトル（推定データ）、μを母集団の平均値ベクトル（サンプル平均）、母集団の共分散行列をΣとすると、ｘとμの間のマハラノビス距離は、数式２により与えられる。
【００５３】
【数２】
【００５４】
ここで、共分散行列は、Σ対称行列であるため、正規直行行列Ｐは、数式３により対角化させることができる。
【００５５】
【数３】
【００５６】
Σの第Σ固有値をλｋ、λｋに対応する固有ベクトルをφｋとすれば、数式２は、数式４のように書き直すことができる。
【００５７】
【数４】
【００５８】
したがって、グループＡとグループＢの２つの場合、ｄＡ２＜ｄＢ２であればグループＡに属し、ｄＡ２＞ｄＢ２であればグループＢに属することになる。
【００５９】
次に、図１２のステップＳ１３４の処理について、図１３のフローチャートを用いて説明する。まず、推定対象感情ナンバー（Ｎ）をＮ＝０に設定し（Ｓ１３４１）、更に、Ｎ＝Ｎ＋１、つまり「感情対１」を設定する（Ｓ１３４２）。次に、Ｎ＝ＮＭＡＸか否か、つまり「感情対４」か否かを判定する（Ｓ１３４３）。Ｎ＝ＮＭＡＸが判定された場合（Ｓ１３４３：Ｙｅｓ）、感情推定の演算を終了し（Ｓ１３４４）、ＮＭＡＸの感情中、最少マハラノビス距離の感情を推定感情として終了する（Ｓ１３４５）。
【００６０】
ステップＳ１３４３でＮ＝ＮＭＡＸではないことが判定された場合（Ｓ１３４３：Ｎｏ）、感情Ｎｏ．Ｎの推定に使用する顔特徴点を指定する（Ｓ１３４６）。更に、記憶装置７から感情推定データを読み出し（Ｓ１３４７）、このデータを基に感情推定演算（マハラノビス距離計算を実施する（Ｓ１３４８）。その後、処理は、ステップＳ１３５にリターンする。
【００６１】
マハラノビス距離には、分散（固有値）がゼロに近い軸が多く存在し、これらの軸は、
・冗長である、
・分散（固有値）の小さい軸が距離に過大な影響を与えるために認識率の低下をもたらす、
という問題が指摘されている。
【００６２】
この２つの問題について図１４を例に説明する。図１４は、Ｓグループにおける抽出した感情の特徴量の共分散行列の固有値のスクリープロットを示す図である。Ｓグループの「理解できた」の固有値の変化は、λ１＝３．０６、λ２＝１．５３、λ３＝０．６３、λ４＝０．３３と、λ３からは１以下となり、λ１２では０．００２と極めて０に近い。上記数式４に示すように、固有値λｋが分母になっているため、値の小さな固有値の方がより距離に大きな影響を及ぼすことになる。
【００６３】
特に、固有値の値が０に近い場合、その影響がより大きいと考えられる。この場合の累積寄与率（Ｃｋ）は、Ｃ３＝８５．３０％、Ｃ４＝９０．７０％となり、「理解できた」の固有値のうち、値の大きな４つで全体の９０％以上を説明することができる。したがって、特徴量は、第３次元から固有値の値が急激に減少して１以下となり、分散行列の固有値の問題が顕著に現れ、計算する際に考慮が必要であることが分かる。そこで、推定演算時に、あらかじめ感情対どちらかの特徴量の共分散行列の累積寄与率（Ｃｋ）がＣｍ≧９５％となる第ｍ次元までの固有値λｍ、およびλｍに対応する固有ベクトルφｍまでを用い、数式４よりｋ＝１，２・・・ｍとしてマハラノビス距離を計算した後、一致率と固有値について検討し、マハラノビス距離に過大な影響を与えると考えられる固有値は打ち切り、一致率の高い固有値を選択する（Ｓ１３５）。選択した固有値で再度マハラノビス距離を比較し、マハラノビス距離の小さい方のグループの感情に属すると判断する。
【００６４】
一方、本発明に係る学習システム１０は、平均変化率算出手段２１、判定手段２３、感情推定手段２５を備えた上述の感情推定システム２０のほか、学習ナビゲーション手段２７を備えている。学習ナビゲーション手段２７は、感情推定システム２０によって推定された学習者１の感情に基づき、記憶装置７に格納された教材データベース３５から予め感情ごとに対応させて作成した複数の教材データの中からそのときの学習者１の感情に即した教材データを選択し、学習者用パソコン３のディスプレイ４や、図示しないスーピーカ若しくはイヤホンなどを用いて教材データを再生するものである。
【００６５】
記憶装置７には教材データベース３５が設けられており、教材データベースには各種の学習テーマに即した教材データが格納されている。１つの学習テーマは、学習の進捗に合わせて難易度が高い教材データ、難易度が普通の教材データ、難易度の低い教材データが用意されている。例えば、図１５に示すように、ある学習テーマの第１章から第ｎ章までの各章にはそれぞれ難易度の高い「難」、難易度が普通の「中」、難易度の低い「易」の３種類の教材データが用意されている。そして、感情推定システム２０が第１章の学習をしている際の学習者１の感情を「理解できた」であると特定した場合にはその情報に基づいて学習ナビゲーション手段２７は教材データベース３５から第２章の学習データの中から「難」レベルの教材データを選択し、当該学習データを学習者１の学習者用パソコン３に送出する。そして、順次これを繰り返すことにより、学習者１に対してそのときの感情及びレベルに合わせた教材が提供されることになる。
【００６６】
［実施の形態の効果］
本実施の形態によれば、人の表情変化の大小から感情推定の対象者を２つのグループに分け、更に推定に用いる顔特徴点を感情対で選択して推定を行うことにより、学習者の感情変化を従来よりも高い確率推定することができるという効果がある。また、体温などの生体情報を取得するためのセンサ等を利用者の身体に直接に取り付ける必要がないので利用者への負担が少なく実用性が高いと共に、顔画像のみでより信頼度の高い感情推定を行うことができるという効果がある。
【実施例】
【００６７】
次に、本発明に係る感情推定システム及びそれを利用した学習システムの具体的な実施例について説明する。図１６は実施例と従来手法（感情及び生体情報）による比較例の感情推定の結果を示す図である。尚、ＳとＬのグループ分けは以下の通りである。
【００６８】
初めに、推定基準量データベース３１を構成するデータを取得するための被験者を２３名（男性１８名、女性５名）とし、その中でグループＳは被験者１０名（男性１０名、女性０名）、グループＬは被験者１３名（男性８名、女性５名）である。一方、感情評価の対象となる学習者は、推定基準量データベース３１を構成するデータを取得するための上記被験者を２３名の対象者とは異なる学習者Ａ、Ｂ、Ｃの３名（男性２、女性１名）である。
【００６９】
(１)学習者Ａ、Ｂ、Ｃ３名についてｅ−ラーニングを行った後、学習中の感情についてＳＤ法による主観評価を実施し３０秒間隔の主観感情を特定した。
(２)平均変化率算出手段２１によって学習中の３名の学習者Ａ、Ｂ、Ｃの画像解析をそれぞれ行い、顔特徴点平均変化率を算出した。得られた学習者Ａ、Ｂ、Ｃ３名の評価データ数を表３に示す。
【００７０】
【表３】
【００７１】
(３)そして、判定手段２３によって学習者Ａ、Ｂ、Ｃのグループ分けを行った。その結果は以下のとおりである。
学習者Ａ：女性（Ｓグループ）
学習者Ｂ：男性（Ｓグループ）
学習者Ｃ：男性（Ｌグループ）
【００７２】
［結果］
本実施例における感情の推定結果と実際の学習者Ａ、Ｂ、Ｃの感情との一致率の結果は、図１６に示すように、「理解できた」が８１．３％、「理解できない」が３３．３％、「面白い」が１００．０％、「つまらない」が１００．０％、「集中している」が５５．６％、「飽きている」が１００．０％、「簡単」が８０．０％、「難しい」が８３．３％で、８感情の一致率の平均は７７．１％であった。一致率の高い感情対は「面白い−つまらない」であり、一方、推定率の低い感情対は「理解できた−理解できない」であった。従来法の８感情の一致率は４７．３％であり、本発明に係る感情推定システムによれば、従来手法による感情推定と比較して２９．８％の一致率の向上が見られた。これは、被験者を顔特徴点の平均変化率の大小によってグループ分けしたこと、および、感情推定に用いる顔特徴点を感情対で選択することが一致率の向上の要因であると考えられる。
【００７３】
以上の結果から以下の結論が得られた。
（１）推定感情と被験者の評価感情の比である全感情の一致率は、比較例が４７．３％であるのに対し、実施例は７７．１％であり、その有効性が確認された。
（２）ｅ−ラーニング学習中の表情の変化率は、平均変化率の大きな被験者と小さな被験者が存在するが、顔の長さに対して平均１〜４％ほどの微小な変化である。
（３）肯定的な感情に伴う顔特徴点変化率は、否定的な感情を伴う変化よりも大きく、特に眉に対してｙ軸方向に一様な変化をする傾向が強い。
（４）顔特徴点平均変化率の分散及び平均値は、４つの感情対において約１５名という少数の被験者で収束する傾向が確認された。
【００７４】
このように、本発明に係る感情推定システム２０によって特定した学習者１の感情は高い確率で正しく判断することが可能であり、また。感情推定システム２０によって特定された感情に基づいて教材を提供する本発明に係る学習システム１は学習者１に対して適切な教材データを提供することが可能となる。
【００７５】
なお、上記実施の形態においては、図２〜図１２に示す処理は、サーバ６によって行うものとしたが、学習者用パソコン３によって処理する構成であってもよい。或いは、学習者パソコン３やサーバ６に接続された専用の感情推定システムを設ける構成であってもよい。
【００７６】
また、インターネット８は会社等に設けられたＬＡＮ等の通信回線であってもよい。また、インターネット８やＬＡＮ等の通信回線を介することなく、サーバ６の機能を学習者用パソコン３において機能させるように構成することも可能である。
【産業上の利用可能性】
【００７７】
感情推定の対象を公共サービスの利用者、相談者等にすることで、感情推定システムを学習システム以外の用途にも適用可能である。
【符号の説明】
【００７８】
１ 学習者
２ 入力装置
３ 学習者用パソコン
４ ディスプレイ
５ カメラ
６ サーバ
７ 記憶装置
８ インターネット
１０ 学習システム
２０ 感情推定システム
２１ 平均変化率算出手段
２３ 判定手段
２５ 感情推定手段
３１ 推定基準量データベース
３５ 教材データベース
【特許請求の範囲】
【請求項１】
人の感情をその表情の変化に基づいて推定する感情推定システムにおいて、
被験者の表情の変化を撮影し、その表情の変化を顔画像データとして取得可能なカメラと、
前記カメラで撮影した前記被験者の顔画像データから、予め複数選定した顔の所定部位である顔特徴点が表情の変化に伴ってそれぞれ移動した各変化量について所定時間当たりの平均値を平均変化率として算出する平均変化率算出手段と、
複数の被験者における前記平均変化率算出手段によって算出した前記顔特徴点の平均変化率と、そのときの感情であってＳＤ法に基づく主観評価によって特定した感情との相関行列から感情推定に用いる複数の異なる感情対に対応する顔特徴点を相関の強弱に基づいて抽出し、抽出した前記顔特徴点の中からさらに各感情対で相関に差違が見られ且つ相関が強い顔特徴点を感情推定に用いるための顔特徴点として絞り込みを行い、他方、各顔特徴点の前記平均変化率の小さな被験者と大きな被験者とを所定の基準に基づいて相対的に２つのグループに分けると共に前記２つのグループ内のそれぞれの平均変化率の平均値及び分散共分散行列を算出して構成した推定基準量データベースと、
感情推定を行うための被感情推定者の表情を前記カメラで撮影して得られた顔画像データに基づいて前記平均変化率算出手段によって算出された当該被感情推定者の各顔特徴点の平均変化率から当該被感情推定者が平均変化率の小さなグループに属するか平均変化率の大きなグループに属するかを前記所定の基準に基づいて判定する判定手段と、
前記判定手段によって判定された結果に基づいて前記推定基準量データベースのうち当該被感情推定者が属するとされたグループのデータを用いて当該被感情推定者の感情を推定する感情推定手段と、
を備えてなることを特徴とする感情推定システム。
【請求項２】
請求項１に記載の感情推定システムにおいて、
前記複数の異なる感情対は、「理解できた」及び「理解できない」からなる第１感情対と、「面白い」及び「つまらない」からなる第２感情対と、「集中している」及び「飽きている」からなる第３感情対と、「簡単」及び「難しいからなる」第４感情対の４つであることを特徴とする感情推定システム。
【請求項３】
請求項１又は２に記載の感情推定システムにおいて、
前記顔特徴点は、左右の眉の内と外及び左右の口端であり、
これらの顔特徴点について、頭頂と部顎を結んだ線分を基準線分とし、頭頂部中心に半径が基準線分長の１／２の円と、顎を中心に半径が基準線分長の√５／２の２つの円との交点のうち向かって左側の交点を原点とし、２つの交点を結ぶ直線をｘ軸とし、頭頂部から顎を結ぶ直線と平行且つ原点との交点を始点とする直線をｙ軸とした相対座標におけるｘ方向及びｙ方向のそれぞれ１２点の平均変化率を算出することを特徴とする感情推定システム。
【請求項４】
請求項３に記載の感情推定システムにおいて、
前記相関行列は、前記１２点のうちの顔特徴点の１つとその他の顔特徴点との相関から求めることを特徴とする感情推定システム。
【請求項５】
請求項１から４のいずれか１項に記載の感情推定システムにおいて、
前記感情推定手段は、前記被感情推定者の学習前の平静状態における顔特徴点の位置から学習中における前記顔特徴点の移動距離に基づいて当該顔特徴点の平均変化率を求めることを特徴とする感情推定システム。
【請求項６】
請求項１から５のいずれか１項に記載の感情推定システムにおいて、
前記平均変化率算出手段は、ＩＱＲ（interquartile range）×３倍を超える値を除外する前処理を行い、さらに再度ＩＱＲ×１．５倍以上３倍以下にある値を除く処理を行う外れ値除去手段を含んでなることを特徴とする感情推定システム。
【請求項７】
請求項１から６のいずれか１項に記載の感情推定システムにおいて、
前記感情推定手段は、前記感情対のそれぞれについてマハラノビス距離を算出した後、距離に過大な影響を与える固有値を除き、一致率の高い固有値に基づいて再度マハラノビス距離を比較し、距離の短い方のグループの感情に属すると判断することを特徴とする感情推定システム。
【請求項８】
請求項１から７のいずれか１項に記載の感情推定システムにおいて、
平均変化率の小さなグループに属するか平均変化率の大きなグループに属するかを判定するための所定の基準は、所定時間における前記顔特徴点の各平均変化率の９５％が０．０２を越えたか否かによることを特徴とする感情推定システム。
【請求項９】
請求項１から８のいずれか１項に記載の感情推定システムを備え、
予め各感情に合わせて作成した教材データを格納した教材データベースと、
前記感情推定システムによって推定された感情に合った教材データを前記データベースから検索抽出し、画像や音声として出力デバイスを介して出力する学習ナビゲーション手段と、
を備え、学習者の感情に即した教材を提供することを特徴とする学習システム。
【請求項１】
人の感情をその表情の変化に基づいて推定する感情推定システムにおいて、
被験者の表情の変化を撮影し、その表情の変化を顔画像データとして取得可能なカメラと、
前記カメラで撮影した前記被験者の顔画像データから、予め複数選定した顔の所定部位である顔特徴点が表情の変化に伴ってそれぞれ移動した各変化量について所定時間当たりの平均値を平均変化率として算出する平均変化率算出手段と、
複数の被験者における前記平均変化率算出手段によって算出した前記顔特徴点の平均変化率と、そのときの感情であってＳＤ法に基づく主観評価によって特定した感情との相関行列から感情推定に用いる複数の異なる感情対に対応する顔特徴点を相関の強弱に基づいて抽出し、抽出した前記顔特徴点の中からさらに各感情対で相関に差違が見られ且つ相関が強い顔特徴点を感情推定に用いるための顔特徴点として絞り込みを行い、他方、各顔特徴点の前記平均変化率の小さな被験者と大きな被験者とを所定の基準に基づいて相対的に２つのグループに分けると共に前記２つのグループ内のそれぞれの平均変化率の平均値及び分散共分散行列を算出して構成した推定基準量データベースと、
感情推定を行うための被感情推定者の表情を前記カメラで撮影して得られた顔画像データに基づいて前記平均変化率算出手段によって算出された当該被感情推定者の各顔特徴点の平均変化率から当該被感情推定者が平均変化率の小さなグループに属するか平均変化率の大きなグループに属するかを前記所定の基準に基づいて判定する判定手段と、
前記判定手段によって判定された結果に基づいて前記推定基準量データベースのうち当該被感情推定者が属するとされたグループのデータを用いて当該被感情推定者の感情を推定する感情推定手段と、
を備えてなることを特徴とする感情推定システム。
【請求項２】
請求項１に記載の感情推定システムにおいて、
前記複数の異なる感情対は、「理解できた」及び「理解できない」からなる第１感情対と、「面白い」及び「つまらない」からなる第２感情対と、「集中している」及び「飽きている」からなる第３感情対と、「簡単」及び「難しいからなる」第４感情対の４つであることを特徴とする感情推定システム。
【請求項３】
請求項１又は２に記載の感情推定システムにおいて、
前記顔特徴点は、左右の眉の内と外及び左右の口端であり、
これらの顔特徴点について、頭頂と部顎を結んだ線分を基準線分とし、頭頂部中心に半径が基準線分長の１／２の円と、顎を中心に半径が基準線分長の√５／２の２つの円との交点のうち向かって左側の交点を原点とし、２つの交点を結ぶ直線をｘ軸とし、頭頂部から顎を結ぶ直線と平行且つ原点との交点を始点とする直線をｙ軸とした相対座標におけるｘ方向及びｙ方向のそれぞれ１２点の平均変化率を算出することを特徴とする感情推定システム。
【請求項４】
請求項３に記載の感情推定システムにおいて、
前記相関行列は、前記１２点のうちの顔特徴点の１つとその他の顔特徴点との相関から求めることを特徴とする感情推定システム。
【請求項５】
請求項１から４のいずれか１項に記載の感情推定システムにおいて、
前記感情推定手段は、前記被感情推定者の学習前の平静状態における顔特徴点の位置から学習中における前記顔特徴点の移動距離に基づいて当該顔特徴点の平均変化率を求めることを特徴とする感情推定システム。
【請求項６】
請求項１から５のいずれか１項に記載の感情推定システムにおいて、
前記平均変化率算出手段は、ＩＱＲ（interquartile range）×３倍を超える値を除外する前処理を行い、さらに再度ＩＱＲ×１．５倍以上３倍以下にある値を除く処理を行う外れ値除去手段を含んでなることを特徴とする感情推定システム。
【請求項７】
請求項１から６のいずれか１項に記載の感情推定システムにおいて、
前記感情推定手段は、前記感情対のそれぞれについてマハラノビス距離を算出した後、距離に過大な影響を与える固有値を除き、一致率の高い固有値に基づいて再度マハラノビス距離を比較し、距離の短い方のグループの感情に属すると判断することを特徴とする感情推定システム。
【請求項８】
請求項１から７のいずれか１項に記載の感情推定システムにおいて、
平均変化率の小さなグループに属するか平均変化率の大きなグループに属するかを判定するための所定の基準は、所定時間における前記顔特徴点の各平均変化率の９５％が０．０２を越えたか否かによることを特徴とする感情推定システム。
【請求項９】
請求項１から８のいずれか１項に記載の感情推定システムを備え、
予め各感情に合わせて作成した教材データを格納した教材データベースと、
前記感情推定システムによって推定された感情に合った教材データを前記データベースから検索抽出し、画像や音声として出力デバイスを介して出力する学習ナビゲーション手段と、
を備え、学習者の感情に即した教材を提供することを特徴とする学習システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−３９９３４（Ｐ２０１１−３９９３４Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８８５９８（Ｐ２００９−１８８５９８）
【出願日】平成２１年８月１７日（２００９．８．１７）
【出願人】（０００１２５３６９）学校法人東海大学 (352)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１７日（２００９．８．１７）
【出願人】（０００１２５３６９）学校法人東海大学 (352)
【Ｆターム（参考）】
[ Back to top ]