感情推定装置
【課題】不特定人物の表情を認識してその人物の感情を推定する感情推定装置を提供すること。
【解決手段】感情推定装置１００は、所定の感情に関連付けられた特定人物の表情画像を学習することによりニューラルネットワークによる表情マップを生成する表情マップ生成手段１１と、表情マップ生成手段１１が生成した特定人物のそれぞれに対応する表情マップを所定の感情に基づいて複数の領域に区分する領域区分手段１２と、不特定人物の表情画像Ｕと領域区分手段１２により区分された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する感情推定手段１３とを備える。また、複数の表情マップのそれぞれで対応する領域を共通化する領域共通化手段１４を備え、感情推定手段１３は、不特定人物の表情画像Ｕと共通化された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する。
【解決手段】感情推定装置１００は、所定の感情に関連付けられた特定人物の表情画像を学習することによりニューラルネットワークによる表情マップを生成する表情マップ生成手段１１と、表情マップ生成手段１１が生成した特定人物のそれぞれに対応する表情マップを所定の感情に基づいて複数の領域に区分する領域区分手段１２と、不特定人物の表情画像Ｕと領域区分手段１２により区分された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する感情推定手段１３とを備える。また、複数の表情マップのそれぞれで対応する領域を共通化する領域共通化手段１４を備え、感情推定手段１３は、不特定人物の表情画像Ｕと共通化された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コホーネン型のニューラルネットワークによる自己組織化マップを用いた感情推定装置に関し、特に、不特定人物の表情を認識してその人物の感情を推定する感情推定装置に関する。
【背景技術】
【０００２】
従来、映画のあるシーンを視聴したユーザが一般的に抱くと思われる感情を示す感情情報とそのシーンを視聴したユーザの表情画像とを関連づけて記憶し、その感情情報と表情画像との関係を学習させたニューラルネットワークによる感情モデルを用いて、特定のユーザの表情画像からその特定のユーザの感情を推定する情報処理装置が知られている（例えば、特許文献１参照。）。
【０００３】
この情報処理装置は、ユーザ毎に感情モデルを作成し、そのユーザ毎の感情モデルに基づいてそのユーザ毎の感情を推定するので、映画のシーンに対する各ユーザの反応の差異による影響を受けることなく、より正確に各ユーザの感情を推定することができる。
【特許文献１】特開２００５−３４６４７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の情報処理装置は、感情モデルに表情画像を学習させた特定人物の感情を推定するためのものであり、感情モデルに表情画像を学習させていない不特定人物の表情画像に基づいてその不特定人物の抱く感情を推定することができない。
【０００５】
上述の点に鑑み、本発明は、コホーネン型のニューラルネットワークを用い、不特定人物の表情を認識してその不特定人物の感情を推定する感情推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の目的を達成するために、第一の発明に係る感情推定装置は、所定の感情に関連付けられた特定人物の表情画像を学習することによりニューラルネットワークによる表情マップを生成する表情マップ生成手段と、前記表情マップ生成手段が生成した前記特定人物のそれぞれに対応する表情マップを前記所定の感情に基づいて複数の領域に区分する領域区分手段と、不特定人物の表情画像と前記領域区分手段により区分された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する感情推定手段と、を備えることを特徴とする。
【０００７】
また、第二の発明は、第一の発明に係る感情推定装置であって、前記領域区分手段は、区分される領域の中心位置、形状又は面積の少なくとも一つを予め決定することを特徴とする。
【０００８】
また、第三の発明は、第一の発明に係る感情推定装置であって、前記領域区分手段が区分した領域であって、複数の表情マップのそれぞれで対応する領域を共通化する領域共通化手段を備え、前記感情推定手段は、前記不特定人物の表情画像と前記領域共通化手段により共通化された領域を有する複数の表情マップとに基づいて前記不特定人物の感情を推定することを特徴とする。
【０００９】
また、第四の発明は、第三の発明に係る感情推定装置であって、前記領域共通化手段は、前記対応する領域の形状、中心位置又は面積の少なくとも一つを共通にすることを特徴とする。
【発明の効果】
【００１０】
上述の手段により、本発明は、コホーネン型のニューラルネットワークを用い、不特定人物の表情を認識してその不特定人物の感情を推定する感情推定装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例１】
【００１２】
図１は、本発明に係る感情推定装置１００の構成例を示すブロック図である。感情推定装置１００は、制御部１、撮像部２及び表示部３から構成され、撮像部２により撮像した人物の表情画像に基づいてその人物の感情を制御部１で推定し推定結果を表示部３に出力する。
【００１３】
制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備えたコンピュータであり、表情画像加工手段１０、表情マップ生成手段１１、領域区分手段１２、感情推定手段１３及び領域共通化手段１４に対応するプログラムをＲＯＭに記憶し、それらプログラムをＲＡＭ上に展開して対応する処理をＣＰＵに実行させる。
【００１４】
撮像部２は、人物の表情画像を撮像するための手段であり、例えば、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ(Complementary Metal-Oxide Semiconductor)カメラがある。
【００１５】
表示部３は、感情推定装置１００の推定結果を出力するための手段であり、例えば、液晶ディスプレイであって、「怒り」、「喜び」、「悲しみ」、「驚き」、「嫌悪」、「恐怖」、「諦め」等の感情のうち撮像部２が撮像した表情画像に合致する感情を文字、映像、イラスト、又は、後述の自己組織化マップ等で表現して出力する。なお、感情推定装置１００は、推定結果を音声出力するようにしてもよい。
【００１６】
次に、制御部１が有する表情画像加工手段１０について説明する。
【００１７】
表情画像加工手段１０は、撮像部２で撮像した画像をニューラルネットワークに入力できるよう加工するための手段である。ここで、図２及び図３を参照しながら表情画像加工手段１０がニューラルネットワークに入力できるよう表情画像を加工する処理の流れについて説明する。なお、図２は、表情画像加工処理の流れを示すフローチャートであり、図３は、表情画像加工処理の各ステップを説明するための表情画像である。
【００１８】
最初に、表情画像加工手段１０は、撮像部２が撮像した図３（Ａ）に示すような表情画像（例えば、５１２×５１２ピクセルのビットマップファイルである。）にエッジ検出、フィルタ処理等の画像処理を施して図３（Ｂ）に示すように人物の目の位置を特定する（ステップＳ１）。
【００１９】
その後、表情画像加工手段１０は、同様に、図３（Ｃ）に示すように人物の鼻の位置を特定し（ステップＳ２）、二値化処理により表情画像をグレースケール化する（ステップＳ３）。なお、表情画像加工手段１０は、表情画像をグレースケール化した上で人物の目及び鼻の位置を特定するようにしてもよい。
【００２０】
その後、表情画像加工手段１０は、特定した目及び鼻の位置に基づいて表情画像に写った顔の傾きを認識し、アフィン変換により表情画像を平行移動又は回転移動等させることにより、顔の傾きを補正し（ステップＳ４）、図３（Ｄ）に示すように鼻位置が表情画像の中心にくるようにして表情画像を正規化する（ステップＳ５）。
【００２１】
その後、表情画像加工手段１０は、表情画像から所定サイズ（例えば、２５６×２５６ピクセル）の表情部分（例えば、人物の表情を表現する、目、鼻、口、頬を含む画像部分であって、図３（Ｅ）に示すような部分をいう。）を切り出し（ステップＳ６）、切り出した表情部分の画像をニューラルネットワークに対する入力画像として使用できるようＪＰＥＧ(Joint Photographic Expert Group)法等の画像圧縮技術を用いて所定サイズ（例えば、６４×６４ピクセル）に圧縮する（ステップＳ７）。
【００２２】
次に、制御部１が有する表情マップ生成手段１１について説明する。
【００２３】
表情マップ生成手段１１は、コホーネン型のニューラルネットワークを用いて自己組織化マップである表情マップを生成するための手段である。ここで、図４を参照しながら表情マップ生成手段１１が表情マップを生成する処理の流れについて説明する。なお、図４は、表情マップ生成処理の流れを示すフローチャートである。
【００２４】
「自己組織化マップ」は、多次元のデータを二次元平面に反映させるニューラルネットワークの手法であり、似た特徴を持つデータをマップ上の近くに配置し、そうでないものをマップ上の離れた位置に配置して高次元の情報を視覚化し、データ同士の関係を直感的に理解し易いものにする手法である。
【００２５】
最初に、表情マップ生成手段１１は、ＲＯＭ等の記憶装置に格納された学習係数α、学習半径ｒ及び設定学習回数ｔ等の値を読み出し（ステップＳ１１）、所定サイズ（３２×３２ノード）の表情マップにおける各ノードの値を乱数で初期化する（ステップＳ１２）。
【００２６】
表情マップは、二次元座標で構成され、各座標に一つのニューロンを有する。ニューロンは、例えば、入力画像のピクセル数（例えば、６４×６４ピクセルの場合、４０９６個となる。）に等しい数の要素数を備える重みベクトルｗとして表される。なお、入力画像は、ピクセル数の要素数を有するベクトルとして扱われ、各要素は、例えば、各ピクセルの輝度の値とされる。
【００２７】
表情マップの初期化は、重みベクトルｗの各要素を乱数で初期化する処理であり、「設定学習回数ｔ」は、入力画像である学習用画像を学習（所定の条件を満たす重みベクトルｗの各要素を更新することをいう。）する回数を示す設定値である。
【００２８】
学習用画像は、映画や写真等、所定の感情を抱かせる情報を特定人物に提示しながらその特定人物の表情を撮像した表情画像群であり、各学習用画像には所定の感情が関連付けられる。
【００２９】
また、「学習係数α」は、ニューロンの重みを更新するために用いられる係数であり、以下の数式（１）
【００３０】
【数１】
で利用される。ここで、ｉは、表情マップ上の位置を示す番号であり、ｘは、学習用画像を示すベクトルである。
【００３１】
「学習半径ｒ」は、表情マップ上の範囲を特定するための設定値であり、表情マップ生成手段１１は、後述の類似度が最大となるニューロンを中心とし、半径をｒ（単位はニューロンである。）とする円に包含されるニューロンの重みベクトルｗを上述の数式（１）を用いて更新する。
【００３２】
図４を再度参照し、表情マップ生成手段１１が表情マップを生成する処理の流れについて説明を継続する。
【００３３】
その後、表情画像加工手段１０によって加工された学習用画像を取得すると（ステップＳ１３）、表情マップ生成手段１１は、学習用画像と各ニューロンとの間の類似度を算出する（ステップＳ１４）。
【００３４】
類似度は、例えば、学習用画像ベクトルｘと各ニューロンの重みベクトルｗとの間のマハラノビス距離又はユークリッド距離で表されるが、好適には、マハラノビス距離が利用される。
【００３５】
入力された学習用画像と全てのニューロンとの間の類似度が算出された後、表情マップ生成手段１１は、類似度が最大となるニューロンを特定し（ステップＳ１５）、表情マップ上で類似度が最大となるニューロンの位置を中心とし半径を学習半径ｒとする円で示される範囲内にある全てのニューロンが有する重みベクトルｗの各要素を数式（１）により更新する（ステップＳ１６）。
【００３６】
その後、表情マップ生成手段１１は、予め用意された学習用画像（例えば、感情毎に一枚ずつ用意される。）の全てを使用して学習を行ったか否かを判定し（ステップＳ１７）、全ての学習用画像を未だ使用していない場合には（ステップＳ１７のＮＯ）、次の学習用画像をハードディスク等の記憶装置から読み出して（ステップＳ１３）、ステップＳ１４乃至ステップＳ１６を実行し、全ての学習用画像を使用して学習を実行するまで、この一連の処理を繰り返す。
【００３７】
全ての学習用画像を使用して学習を実行した場合（ステップＳ１７のＹＥＳ）、表情マップ生成手段１１は、予め設定された設定学習回数ｔとこれまでに実行した学習の回数とを比較する（ステップＳ１８）。
【００３８】
実行した学習の回数が設定学習回数ｔ以下の場合（ステップＳ１８のＮＯ）、表情マップ生成手段１１は、学習回数をインクリメントし（ステップＳ１９）、再度、全ての学習用画像を用いてステップＳ１３乃至ステップＳ１７を実行させる。
【００３９】
表情マップ生成手段１１は、実行した学習の回数が設定学習回数ｔを上回るまで、ステップＳ１３乃至ステップＳ１７を繰り返し、実行した学習の回数が設定学習回数ｔを上回った場合（ステップＳ１８のＹＥＳ）、後述の領域区分手段１２により表情マップを感情毎に区分する。
【００４０】
次に、制御部１が有する領域区分手段１２について説明する。
【００４１】
領域区分手段１２は、表情マップ生成手段１１が生成した表情マップを感情毎の領域（以下、「感情領域」という。）に区分する手段である。
【００４２】
また、図５は、領域区分手段１２により区分された表情マップの例を示す図であり、格子で区切られた領域のそれぞれがニューロンに対応する。なお、領域区分手段１２は、各学習用画像に関連付けられた感情情報に基づいて、境界により区分された各感情領域をラベル付けし、例えば、図５に示す表情マップの領域Ｒ１に「怒り」ラベルを対応付け、領域Ｒ２に「喜び」ラベルを対応付けるようにする。その他、領域Ｒ３乃至領域Ｒ１１にも感情を表すラベルを対応付けるようにする。
【００４３】
領域区分手段１２は、各感情を代表する複数の学習用画像のそれぞれに最も類似するニューロン（各感情を代表するニューロンであり、以下「中心ニューロン」という。）と、何れかの領域に区分しようとしているニューロン（以下、「対象ニューロン」という。）との間のマハラノビス距離又はユークリッド距離を算出し、算出値が最も小さくなる中心ニューロンとその対象ニューロンとが表情マップ上の同じ領域となるよう境界を引くようにする。
【００４４】
また、領域区分手段１２は、表情マップ上の隣接する二つのニューロンにおける重みベクトル間のマハラノビス距離又はユークリッド距離を算出し、算出値が所定値以上となるニューロン間に境界を引くようにしてもよい。
【００４５】
或いは、領域区分手段１２は、複数の学習用画像のそれぞれとは無関係に、各感情を代表する中心ニューロンの表情マップ上の位置を予め決定しておき（この場合の中心ニューロンを特に「固定中心ニューロン」という。）、固定中心ニューロンと対象ニューロンとの間のマハラノビス距離又はユークリッド距離を算出し、算出値が最も小さくなる固定中心ニューロンと対象ニューロンとが表情マップ上の同じ領域となるよう境界を引くようにしてもよい（以下、この区分方法を「中心ニューロン固定クラスタリング」という。）。なお、この場合、固定中心ニューロンの表情マップ上の位置は、複数の表情マップで共通するものとする。
【００４６】
これにより、領域区分手段１２は、特定人物の特定の表情画像による過大な影響を受けることなく、複数の表情マップ上の共通する位置に各感情領域を形成させることができる。
【００４７】
或いは、領域区分手段１２は、固定中心ニューロンと対象ニューロンとの間の表情マップ上の距離Ｌが所定距離以上の場合（例えば、表情マップ上のＭ１点（ｋ、ｌ）とＭ２点（ｍ、ｎ）との間の距離Ｌは、（ｋ−ｍ）２＋（ｌ−ｎ）２の平方根で表され、所定距離は、学習半径ｒと同じ距離（ニューロン数）とされる。）、その対象ニューロンとその固定中心ニューロンとが表情マップ上の同じ領域とならないように制限してもよい（以下、この区分方法を「条件付きクラスタリング」という。）。
【００４８】
特定の固定中心ニューロンからの表情マップ上の距離が学習半径以上となる対象ニューロンは、学習時にその固定中心ニューロンの影響を受けていないからであり、この条件付きクラスタリングにより、領域区分手段１２は、その固定中心ニューロンの影響を受ける対象ニューロンだけをその固定中心ニューロンと同じ領域に区分するためである。
【００４９】
これにより、領域区分手段１２は、表情マップ上に各感情領域の飛び地や突出地等が生成されるのを防止することができる。
【００５０】
図６は、領域区分手段１２による条件付きクラスタリングを説明するための図であり、図６（Ａ）が中心ニューロン固定クラスタリングによる区分を示し、図６（Ｂ）が条件付きクラスタリングによって改善された、図６（Ａ）の中心ニューロン固定クラスタリングによる区分を示す。なお、図６（Ａ）の灰色部分は、条件付きクラスタリングによって改善される部分を示す。
【００５１】
或いは、領域区分手段１２は、固定中心ニューロン間の距離及び各感情領域の面積（表情マップ上の面積をいい、具体的には領域に含まれるニューロンの数をいう。）が各表情マップで等しくなるよう予め各感情領域の配置、形状及び大きさを設定して表情マップを区分するようにしてもよい。
【００５２】
なお、「固定中心ニューロン間の距離」は、ある表情から別の表情に遷移したときの距離をいい、「遷移」とは、ある表情から別の表情への移り変わりの過程をいう。また、ある表情から別の表情へ遷移するとき、表情変化は、エネルギー的に最小変化が保証される経路を通り、経路上にある表情の画像（ニューロン）は、表情間の中間画像（ニューロン）として扱われる。この経路は、ＤＰ(Dynamic Programming)マッチング等により決定される。
【００５３】
図７は、各感情領域の配置、形状及び大きさを等しくした表情マップの例を示す模式図であり、Ｅ１〜Ｅ７が七つの感情領域それぞれの固定中心ニューロンを示し、形状及び大きさが等しい六角形（点線で示す。）のそれぞれが各感情領域の形状及び大きさを示す。
【００５４】
また、固定中心ニューロンの位置は、各六角形の中心に配置される。なお、各感情領域は、同じ順番で二次元平面上に循環的に配置され、例えば、固定中心ニューロンＥ１を有する感情領域は、固定中心ニューロンＥ７を有する感情領域を常に左側に隣接させる。
【００５５】
このように、固定中心ニューロン間の距離を等しくすることは、各表情間の中間ニューロンの数を等しくすることとなり、感情推定装置１００は、特定の表情による過大な影響を受けることなく、表情画像を平等に扱いながら感情を推定することができる。
【００５６】
次に、制御部１が有する感情推定手段１３について説明する。
【００５７】
感情推定手段１３は、領域区分手段１２が区分した表情マップを用いて撮像部２で撮像された表情画像からその人物の感情を推定するための手段である。ここで、図８を参照しながら感情推定手段１３が感情を推定する処理の流れについて説明する。なお、図８は、感情推定処理の流れを示すフローチャートである。
【００５８】
最初に、感情推定手段１３は、撮像部２を介して感情推定の対象となる表情画像Ｐを取得する（ステップＳ２１）。
【００５９】
その後、感情推定手段１３は、表情画像加工手段１０によりニューラルネットワークに入力できるよう表情画像Ｐを加工し（ステップＳ２２）、加工した表情画像Ｐ（ベクトルとして扱われる。）と表情マップ（表情マップ生成手段１１により既に学習が行われ、領域区分手段１２により既に区分された表情マップである。）上の各ニューロンとの間の類似度を算出する（ステップＳ２３）。
【００６０】
なお、感情推定手段１３は、表情画像Ｐと各ニューロンとの間の類似度としてマハラノビス距離又はユークリッド距離を用い、マハラノビス距離又はユークリッド距離の値が小さい程、表情画像Ｐとの間の類似度が高いものとする。
【００６１】
その後、感情推定手段１３は、算出した類似度の最大値と所定の閾値とを比較し（ステップＳ２４）、類似度の最大値が所定の閾値以上となる場合には（ステップＳ２４のＹＥＳ）、
類似度が最大となるニューロンが属する領域を特定し、その特定された領域が有するラベルを表情画像Ｐの人物が有する感情であると推定し、その旨を表示部３に出力する（ステップＳ２５）。
【００６２】
一方、類似度の最大値が所定の閾値を下回る場合（ステップＳ２４のＮＯ）、感情推定手段１３は、表情画像Ｐの人物が有する感情を推定できない、或いは、表情画像Ｐの人物が不特定人物（ニューラルネットワークが学習していない人物をいう。）であるとしてその旨を表示部３に出力する（ステップＳ２６）。
【００６３】
図９は、感情推定手段１３によって算出された、表情画像Ｐと表情マップ上の各ニューロンとの間の類似度の分布を示す図であり、色が濃い程、類似度が高いことを示す。図９に示すように、類似度（類似度の最大値は、所定の閾値以上であるものとする。）が最大となるニューロンが領域Ｒ５の右上部分に位置する場合、感情推定手段１３は、表情画像Ｐの人物が有する感情が領域Ｒ５のラベルが示す感情（例えば、「驚き」である。）であると推定する。
【００６４】
また、感情領域の境界付近では、異なる感情領域に属するとしても、隣り合うニューロン同士が比較的高い類似度を有するため、その境界を跨いで類似度の分布が見られる場合もあるが、感情推定手段１３は、類似度が最大となるニューロンがどの感情領域に属するかで感情を推定するばかりではなく、類似度の分布全体がどの感情領域に属するかで感情を推定することもできるので、より正確な感情の推定が可能となる。
【００６５】
次に、制御部１が有する領域共通化手段１４について説明する。
【００６６】
領域共通化手段１４は、表情マップ生成手段１１が生成した特定人物のそれぞれに対応する複数の表情マップにおける各感情領域を共通化するための手段であり、ひいては、不特定人物の表情画像からその不特定人物の感情を推定するために用いる表情マップを生成するための手段である。
【００６７】
例えば、領域共通化手段１４は、表情マップ生成手段１１が特定人物毎に生成した複数の表情マップを取得し、複数の表情マップのそれぞれにおいて、対応する各感情領域（例えば、複数の表情マップのそれぞれが有する「怒り」領域をいう。）のセントロイドベクトル（中心ニューロン）の位置が等しくなるよう調整する。
【００６８】
また、領域共通化手段１４は、複数の表情マップのそれぞれにおいて、対応する各感情領域の形状又は面積が等しくなるよう、対応する各感情領域の中心ニューロンの位置を調整するようにしてもよい。
【００６９】
この場合、領域共通化手段１４は、例えば、ＬＢＧ（Linde-Buzo-Gray）アルゴリズムを用いて各感情領域の形状又は面積を調整しながら各感情領域の中心ニューロンの位置を決定するようにしてもよい。
【００７０】
図１０は、人物Ａ、Ｂ、Ｃの三人の特定人物の学習用画像を用いて生成された三つの表情マップを示し、領域共通化手段１４により各感情領域における中心ニューロンＣＶ１乃至ＣＶ９の各表情マップ上の位置が共通化されていることを示す。
【００７１】
その後、感情推定手段１３は、領域共通化手段１４によって共通化された複数の表情マップを用いて撮像部２で撮像された不特定人物の表情画像からその人物の感情を推定する。
【００７２】
なお、感情推定装置１００は、中心ニューロン固定クラスタリング又は条件付きクラスタリングを用いて領域区分手段１２が区分した感情領域を利用することで、領域共通化手段１４による共通化と同等の効果を得ることができ、この場合、領域共通化手段１４による共通化は不要となる。
【００７３】
ここで、図１１を参照しながら感情推定手段１３が感情を推定する処理の流れについて説明する。なお、図１１は、感情推定処理の流れを示すフローチャートである。
【００７４】
最初に、感情推定手段１３は、撮像部２を介して感情推定対象となる不特定人物の表情画像Ｕを取得する（ステップＳ３１）。
【００７５】
その後、感情推定手段１３は、表情画像加工手段１０によりニューラルネットワークに入力できるよう表情画像Ｕを加工し（ステップＳ３２）、加工した表情画像Ｕ（ベクトルとして扱われる。）と複数の表情マップ（領域区分手段１２により中心ニューロンの位置が予め決定された複数の表情マップ、又は、領域共通化手段１４により中心ニューロンの位置が調整された複数の表情マップである。）上の各ニューロンとの間の類似度を算出する（ステップＳ３３）。
【００７６】
なお、感情推定手段１３は、表情画像Ｕと各ニューロンとの間の類似度としてマハラノビス距離又はユークリッド距離を用い、マハラノビス距離又はユークリッド距離の値が小さい程、表情画像Ｕとの間の類似度が高いものとする。
【００７７】
その後、感情推定手段１３は、各表情マップにおいて、算出した類似度の最大値と所定の閾値とを比較し（ステップＳ３４）、類似度の最大値が所定の閾値以上となる場合には（ステップＳ３４のＹＥＳ）、類似度が最大となるニューロンが属する感情領域を特定し（ステップＳ３５）、特定した感情領域が示す値（例えば、感情の種類を示す番号である。）をその表情マップの値（以下、「表情マップ値」とする。）としてＲＡＭ等の記憶装置に保存する。
【００７８】
一方、類似度の最大値が所定の閾値を下回る場合（ステップＳ３４のＮＯ）、感情推定手段１３は、その表情マップ値を無効（例えば、値ゼロとする。）とする（ステップＳ３６）。
【００７９】
その後、感情推定手段１３は、感情推定装置１００が有する全ての表情マップに対して類似度の算出が行われたか否かを判定し（ステップＳ３７）、全ての表情マップに対する類似度の算出が行われていない場合（ステップＳ３７のＮＯ）、別の表情マップを取得して（ステップＳ３８）、表情画像Ｕと新たに取得した表情マップにおける各ニューロンとの間の類似度を算出し、新たに取得した表情マップ値を保存する（ステップＳ３３〜ステップＳ３６）。
【００８０】
全ての表情マップに対する類似度の算出が行われた場合（ステップＳ３７のＹＥＳ）、感情推定手段１３は、これまでにＲＡＭに保存した各表情マップ値に基づいて不特定人物の感情を推定する（ステップＳ３９）。
【００８１】
感情推定手段１３は、例えば、全ての表情マップ値の中で最も頻度の高い表情マップ値が示す感情を不特定人物の感情として推定（出力）してもよく、高い類似度を有するニューロンを含む複数の表情マップをその類似度が高い順に所定数だけ抽出し、それら表情マップが有する表情マップ値の中で最も頻度の高い表情マップ値が示す感情を不特定人物の感情として出力してもよい。
【００８２】
以上の構成により、感情推定装置１００は、特定人物の表情画像を用いてニューラルネットワークを学習させることにより、特定人物の感情をより正確に推定することができる。
【００８３】
また、感情推定装置１００は、特定人物の表情画像と各ニューロンとの間の類似度の分布に基づいてその特定人物の感情を推定するので、学習用画像における表情とは異なる表情を撮像した表情画像が入力された場合にも、その特定人物の感情をより正確に推定することができる。
【００８４】
また、感情推定装置１００は、複数の特定人物の学習用画像に基づいて複数の表情マップを生成し、かつ、生成した各表情マップの感情領域の形状、面積又はセントロイドベクトルの位置等を調整して一般化（人によって異なる各感情領域の位置、形状、面積等を共通化して、特定人物の表情の特徴が感情推定処理に過大な影響を与えないようにすることをいう。）するので、不特定人物の感情をより正確に推定することができる。
【００８５】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【００８６】
例えば、上述の実施例では、特定人物の複数の表情マップを用いて不特定人物の感情を推定する場合、感情推定装置１００は、領域区分手段１２により各感情領域の形状、面積又はセントロイドベクトルの位置を予め決定したり、又は、領域共通化手段１４により各感情領域の形状、面積又はセントロイドベクトルの位置を事後的に調整したりするが、このような決定又は調整を行うことなく感情推定手段１３による感情の推定を実行するようにしてもよい。
【００８７】
高い類似度を有するニューロンを含む複数の表情マップをその類似度が高い順に所定数だけ抽出し、それら表情マップが有する表情マップ値の中で最も頻度の高い表情マップ値が示す感情を不特定人物の感情として出力することで、中心ニューロン固定クラスタリング、条件付きクラスタリング、又は、領域共通化手段１４を用いずとも、不特定人物に対して顔の特徴が共通する複数の特定人物の学習用画像に基づいて生成された表情マップを用いて、不特定人物の感情を推定することができるからである。
【００８８】
また、感情推定装置１００は、顔認証システム、顔面神経痛の症状判定システム等に適用されてもよく、或いは、運転支援装置として利用されてもよい。
【００８９】
感情推定装置１００を利用した運転支援装置は、所定の感情に関連付けたドライバの表情画像を用いてニューラルネットワークを学習させ、運転中のドライバの表情画像からドライバの感情を推定する。
【００９０】
この運転支援装置は、推定した感情に基づいて所定の運転支援を実行し、例えば、「怒り」を推定（検知）した場合には、アクセル開度を所定値以下に制限したりする。
【図面の簡単な説明】
【００９１】
【図１】本発明に係る感情推定装置の構成例を示すブロック図である。
【図２】表情画像加工処理の流れを示すフローチャートである。
【図３】表情画像加工処理の各ステップを説明するための表情画像である。
【図４】表情マップ生成処理の流れを示すフローチャートである。
【図５】表情マップ生成手段により生成された表情マップの例を示す図である。
【図６】領域区分手段による条件付きクラスタリングを説明するための図である。
【図７】各感情領域の配置、形状及び大きさを等しくした表情マップの例を示す模式図である。
【図８】感情推定処理の流れを示すフローチャートである。
【図９】表情画像と表情マップ上の各ニューロンとの間の類似度の分布を示す図である。
【図１０】三人の特定人物の学習用画像を用いて生成された三つの表情マップを示す。
【図１１】感情推定処理の流れを示すフローチャートである。
【符号の説明】
【００９２】
１ 制御部
２ 撮像部
３ 表示部
１０ 表情画像加工手段
１１ 表情マップ生成手段
１２ 領域区分手段
１３ 感情推定手段
１４ 領域共通化手段
１００ 感情推定装置
Ｅ１〜Ｅ７ 固定中心ニューロン
ＣＶ１〜ＣＶ９ 中心ニューロン
Ｒ１〜Ｒ１１ 領域
【技術分野】
【０００１】
本発明は、コホーネン型のニューラルネットワークによる自己組織化マップを用いた感情推定装置に関し、特に、不特定人物の表情を認識してその人物の感情を推定する感情推定装置に関する。
【背景技術】
【０００２】
従来、映画のあるシーンを視聴したユーザが一般的に抱くと思われる感情を示す感情情報とそのシーンを視聴したユーザの表情画像とを関連づけて記憶し、その感情情報と表情画像との関係を学習させたニューラルネットワークによる感情モデルを用いて、特定のユーザの表情画像からその特定のユーザの感情を推定する情報処理装置が知られている（例えば、特許文献１参照。）。
【０００３】
この情報処理装置は、ユーザ毎に感情モデルを作成し、そのユーザ毎の感情モデルに基づいてそのユーザ毎の感情を推定するので、映画のシーンに対する各ユーザの反応の差異による影響を受けることなく、より正確に各ユーザの感情を推定することができる。
【特許文献１】特開２００５−３４６４７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の情報処理装置は、感情モデルに表情画像を学習させた特定人物の感情を推定するためのものであり、感情モデルに表情画像を学習させていない不特定人物の表情画像に基づいてその不特定人物の抱く感情を推定することができない。
【０００５】
上述の点に鑑み、本発明は、コホーネン型のニューラルネットワークを用い、不特定人物の表情を認識してその不特定人物の感情を推定する感情推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の目的を達成するために、第一の発明に係る感情推定装置は、所定の感情に関連付けられた特定人物の表情画像を学習することによりニューラルネットワークによる表情マップを生成する表情マップ生成手段と、前記表情マップ生成手段が生成した前記特定人物のそれぞれに対応する表情マップを前記所定の感情に基づいて複数の領域に区分する領域区分手段と、不特定人物の表情画像と前記領域区分手段により区分された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する感情推定手段と、を備えることを特徴とする。
【０００７】
また、第二の発明は、第一の発明に係る感情推定装置であって、前記領域区分手段は、区分される領域の中心位置、形状又は面積の少なくとも一つを予め決定することを特徴とする。
【０００８】
また、第三の発明は、第一の発明に係る感情推定装置であって、前記領域区分手段が区分した領域であって、複数の表情マップのそれぞれで対応する領域を共通化する領域共通化手段を備え、前記感情推定手段は、前記不特定人物の表情画像と前記領域共通化手段により共通化された領域を有する複数の表情マップとに基づいて前記不特定人物の感情を推定することを特徴とする。
【０００９】
また、第四の発明は、第三の発明に係る感情推定装置であって、前記領域共通化手段は、前記対応する領域の形状、中心位置又は面積の少なくとも一つを共通にすることを特徴とする。
【発明の効果】
【００１０】
上述の手段により、本発明は、コホーネン型のニューラルネットワークを用い、不特定人物の表情を認識してその不特定人物の感情を推定する感情推定装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例１】
【００１２】
図１は、本発明に係る感情推定装置１００の構成例を示すブロック図である。感情推定装置１００は、制御部１、撮像部２及び表示部３から構成され、撮像部２により撮像した人物の表情画像に基づいてその人物の感情を制御部１で推定し推定結果を表示部３に出力する。
【００１３】
制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備えたコンピュータであり、表情画像加工手段１０、表情マップ生成手段１１、領域区分手段１２、感情推定手段１３及び領域共通化手段１４に対応するプログラムをＲＯＭに記憶し、それらプログラムをＲＡＭ上に展開して対応する処理をＣＰＵに実行させる。
【００１４】
撮像部２は、人物の表情画像を撮像するための手段であり、例えば、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ(Complementary Metal-Oxide Semiconductor)カメラがある。
【００１５】
表示部３は、感情推定装置１００の推定結果を出力するための手段であり、例えば、液晶ディスプレイであって、「怒り」、「喜び」、「悲しみ」、「驚き」、「嫌悪」、「恐怖」、「諦め」等の感情のうち撮像部２が撮像した表情画像に合致する感情を文字、映像、イラスト、又は、後述の自己組織化マップ等で表現して出力する。なお、感情推定装置１００は、推定結果を音声出力するようにしてもよい。
【００１６】
次に、制御部１が有する表情画像加工手段１０について説明する。
【００１７】
表情画像加工手段１０は、撮像部２で撮像した画像をニューラルネットワークに入力できるよう加工するための手段である。ここで、図２及び図３を参照しながら表情画像加工手段１０がニューラルネットワークに入力できるよう表情画像を加工する処理の流れについて説明する。なお、図２は、表情画像加工処理の流れを示すフローチャートであり、図３は、表情画像加工処理の各ステップを説明するための表情画像である。
【００１８】
最初に、表情画像加工手段１０は、撮像部２が撮像した図３（Ａ）に示すような表情画像（例えば、５１２×５１２ピクセルのビットマップファイルである。）にエッジ検出、フィルタ処理等の画像処理を施して図３（Ｂ）に示すように人物の目の位置を特定する（ステップＳ１）。
【００１９】
その後、表情画像加工手段１０は、同様に、図３（Ｃ）に示すように人物の鼻の位置を特定し（ステップＳ２）、二値化処理により表情画像をグレースケール化する（ステップＳ３）。なお、表情画像加工手段１０は、表情画像をグレースケール化した上で人物の目及び鼻の位置を特定するようにしてもよい。
【００２０】
その後、表情画像加工手段１０は、特定した目及び鼻の位置に基づいて表情画像に写った顔の傾きを認識し、アフィン変換により表情画像を平行移動又は回転移動等させることにより、顔の傾きを補正し（ステップＳ４）、図３（Ｄ）に示すように鼻位置が表情画像の中心にくるようにして表情画像を正規化する（ステップＳ５）。
【００２１】
その後、表情画像加工手段１０は、表情画像から所定サイズ（例えば、２５６×２５６ピクセル）の表情部分（例えば、人物の表情を表現する、目、鼻、口、頬を含む画像部分であって、図３（Ｅ）に示すような部分をいう。）を切り出し（ステップＳ６）、切り出した表情部分の画像をニューラルネットワークに対する入力画像として使用できるようＪＰＥＧ(Joint Photographic Expert Group)法等の画像圧縮技術を用いて所定サイズ（例えば、６４×６４ピクセル）に圧縮する（ステップＳ７）。
【００２２】
次に、制御部１が有する表情マップ生成手段１１について説明する。
【００２３】
表情マップ生成手段１１は、コホーネン型のニューラルネットワークを用いて自己組織化マップである表情マップを生成するための手段である。ここで、図４を参照しながら表情マップ生成手段１１が表情マップを生成する処理の流れについて説明する。なお、図４は、表情マップ生成処理の流れを示すフローチャートである。
【００２４】
「自己組織化マップ」は、多次元のデータを二次元平面に反映させるニューラルネットワークの手法であり、似た特徴を持つデータをマップ上の近くに配置し、そうでないものをマップ上の離れた位置に配置して高次元の情報を視覚化し、データ同士の関係を直感的に理解し易いものにする手法である。
【００２５】
最初に、表情マップ生成手段１１は、ＲＯＭ等の記憶装置に格納された学習係数α、学習半径ｒ及び設定学習回数ｔ等の値を読み出し（ステップＳ１１）、所定サイズ（３２×３２ノード）の表情マップにおける各ノードの値を乱数で初期化する（ステップＳ１２）。
【００２６】
表情マップは、二次元座標で構成され、各座標に一つのニューロンを有する。ニューロンは、例えば、入力画像のピクセル数（例えば、６４×６４ピクセルの場合、４０９６個となる。）に等しい数の要素数を備える重みベクトルｗとして表される。なお、入力画像は、ピクセル数の要素数を有するベクトルとして扱われ、各要素は、例えば、各ピクセルの輝度の値とされる。
【００２７】
表情マップの初期化は、重みベクトルｗの各要素を乱数で初期化する処理であり、「設定学習回数ｔ」は、入力画像である学習用画像を学習（所定の条件を満たす重みベクトルｗの各要素を更新することをいう。）する回数を示す設定値である。
【００２８】
学習用画像は、映画や写真等、所定の感情を抱かせる情報を特定人物に提示しながらその特定人物の表情を撮像した表情画像群であり、各学習用画像には所定の感情が関連付けられる。
【００２９】
また、「学習係数α」は、ニューロンの重みを更新するために用いられる係数であり、以下の数式（１）
【００３０】
【数１】
で利用される。ここで、ｉは、表情マップ上の位置を示す番号であり、ｘは、学習用画像を示すベクトルである。
【００３１】
「学習半径ｒ」は、表情マップ上の範囲を特定するための設定値であり、表情マップ生成手段１１は、後述の類似度が最大となるニューロンを中心とし、半径をｒ（単位はニューロンである。）とする円に包含されるニューロンの重みベクトルｗを上述の数式（１）を用いて更新する。
【００３２】
図４を再度参照し、表情マップ生成手段１１が表情マップを生成する処理の流れについて説明を継続する。
【００３３】
その後、表情画像加工手段１０によって加工された学習用画像を取得すると（ステップＳ１３）、表情マップ生成手段１１は、学習用画像と各ニューロンとの間の類似度を算出する（ステップＳ１４）。
【００３４】
類似度は、例えば、学習用画像ベクトルｘと各ニューロンの重みベクトルｗとの間のマハラノビス距離又はユークリッド距離で表されるが、好適には、マハラノビス距離が利用される。
【００３５】
入力された学習用画像と全てのニューロンとの間の類似度が算出された後、表情マップ生成手段１１は、類似度が最大となるニューロンを特定し（ステップＳ１５）、表情マップ上で類似度が最大となるニューロンの位置を中心とし半径を学習半径ｒとする円で示される範囲内にある全てのニューロンが有する重みベクトルｗの各要素を数式（１）により更新する（ステップＳ１６）。
【００３６】
その後、表情マップ生成手段１１は、予め用意された学習用画像（例えば、感情毎に一枚ずつ用意される。）の全てを使用して学習を行ったか否かを判定し（ステップＳ１７）、全ての学習用画像を未だ使用していない場合には（ステップＳ１７のＮＯ）、次の学習用画像をハードディスク等の記憶装置から読み出して（ステップＳ１３）、ステップＳ１４乃至ステップＳ１６を実行し、全ての学習用画像を使用して学習を実行するまで、この一連の処理を繰り返す。
【００３７】
全ての学習用画像を使用して学習を実行した場合（ステップＳ１７のＹＥＳ）、表情マップ生成手段１１は、予め設定された設定学習回数ｔとこれまでに実行した学習の回数とを比較する（ステップＳ１８）。
【００３８】
実行した学習の回数が設定学習回数ｔ以下の場合（ステップＳ１８のＮＯ）、表情マップ生成手段１１は、学習回数をインクリメントし（ステップＳ１９）、再度、全ての学習用画像を用いてステップＳ１３乃至ステップＳ１７を実行させる。
【００３９】
表情マップ生成手段１１は、実行した学習の回数が設定学習回数ｔを上回るまで、ステップＳ１３乃至ステップＳ１７を繰り返し、実行した学習の回数が設定学習回数ｔを上回った場合（ステップＳ１８のＹＥＳ）、後述の領域区分手段１２により表情マップを感情毎に区分する。
【００４０】
次に、制御部１が有する領域区分手段１２について説明する。
【００４１】
領域区分手段１２は、表情マップ生成手段１１が生成した表情マップを感情毎の領域（以下、「感情領域」という。）に区分する手段である。
【００４２】
また、図５は、領域区分手段１２により区分された表情マップの例を示す図であり、格子で区切られた領域のそれぞれがニューロンに対応する。なお、領域区分手段１２は、各学習用画像に関連付けられた感情情報に基づいて、境界により区分された各感情領域をラベル付けし、例えば、図５に示す表情マップの領域Ｒ１に「怒り」ラベルを対応付け、領域Ｒ２に「喜び」ラベルを対応付けるようにする。その他、領域Ｒ３乃至領域Ｒ１１にも感情を表すラベルを対応付けるようにする。
【００４３】
領域区分手段１２は、各感情を代表する複数の学習用画像のそれぞれに最も類似するニューロン（各感情を代表するニューロンであり、以下「中心ニューロン」という。）と、何れかの領域に区分しようとしているニューロン（以下、「対象ニューロン」という。）との間のマハラノビス距離又はユークリッド距離を算出し、算出値が最も小さくなる中心ニューロンとその対象ニューロンとが表情マップ上の同じ領域となるよう境界を引くようにする。
【００４４】
また、領域区分手段１２は、表情マップ上の隣接する二つのニューロンにおける重みベクトル間のマハラノビス距離又はユークリッド距離を算出し、算出値が所定値以上となるニューロン間に境界を引くようにしてもよい。
【００４５】
或いは、領域区分手段１２は、複数の学習用画像のそれぞれとは無関係に、各感情を代表する中心ニューロンの表情マップ上の位置を予め決定しておき（この場合の中心ニューロンを特に「固定中心ニューロン」という。）、固定中心ニューロンと対象ニューロンとの間のマハラノビス距離又はユークリッド距離を算出し、算出値が最も小さくなる固定中心ニューロンと対象ニューロンとが表情マップ上の同じ領域となるよう境界を引くようにしてもよい（以下、この区分方法を「中心ニューロン固定クラスタリング」という。）。なお、この場合、固定中心ニューロンの表情マップ上の位置は、複数の表情マップで共通するものとする。
【００４６】
これにより、領域区分手段１２は、特定人物の特定の表情画像による過大な影響を受けることなく、複数の表情マップ上の共通する位置に各感情領域を形成させることができる。
【００４７】
或いは、領域区分手段１２は、固定中心ニューロンと対象ニューロンとの間の表情マップ上の距離Ｌが所定距離以上の場合（例えば、表情マップ上のＭ１点（ｋ、ｌ）とＭ２点（ｍ、ｎ）との間の距離Ｌは、（ｋ−ｍ）２＋（ｌ−ｎ）２の平方根で表され、所定距離は、学習半径ｒと同じ距離（ニューロン数）とされる。）、その対象ニューロンとその固定中心ニューロンとが表情マップ上の同じ領域とならないように制限してもよい（以下、この区分方法を「条件付きクラスタリング」という。）。
【００４８】
特定の固定中心ニューロンからの表情マップ上の距離が学習半径以上となる対象ニューロンは、学習時にその固定中心ニューロンの影響を受けていないからであり、この条件付きクラスタリングにより、領域区分手段１２は、その固定中心ニューロンの影響を受ける対象ニューロンだけをその固定中心ニューロンと同じ領域に区分するためである。
【００４９】
これにより、領域区分手段１２は、表情マップ上に各感情領域の飛び地や突出地等が生成されるのを防止することができる。
【００５０】
図６は、領域区分手段１２による条件付きクラスタリングを説明するための図であり、図６（Ａ）が中心ニューロン固定クラスタリングによる区分を示し、図６（Ｂ）が条件付きクラスタリングによって改善された、図６（Ａ）の中心ニューロン固定クラスタリングによる区分を示す。なお、図６（Ａ）の灰色部分は、条件付きクラスタリングによって改善される部分を示す。
【００５１】
或いは、領域区分手段１２は、固定中心ニューロン間の距離及び各感情領域の面積（表情マップ上の面積をいい、具体的には領域に含まれるニューロンの数をいう。）が各表情マップで等しくなるよう予め各感情領域の配置、形状及び大きさを設定して表情マップを区分するようにしてもよい。
【００５２】
なお、「固定中心ニューロン間の距離」は、ある表情から別の表情に遷移したときの距離をいい、「遷移」とは、ある表情から別の表情への移り変わりの過程をいう。また、ある表情から別の表情へ遷移するとき、表情変化は、エネルギー的に最小変化が保証される経路を通り、経路上にある表情の画像（ニューロン）は、表情間の中間画像（ニューロン）として扱われる。この経路は、ＤＰ(Dynamic Programming)マッチング等により決定される。
【００５３】
図７は、各感情領域の配置、形状及び大きさを等しくした表情マップの例を示す模式図であり、Ｅ１〜Ｅ７が七つの感情領域それぞれの固定中心ニューロンを示し、形状及び大きさが等しい六角形（点線で示す。）のそれぞれが各感情領域の形状及び大きさを示す。
【００５４】
また、固定中心ニューロンの位置は、各六角形の中心に配置される。なお、各感情領域は、同じ順番で二次元平面上に循環的に配置され、例えば、固定中心ニューロンＥ１を有する感情領域は、固定中心ニューロンＥ７を有する感情領域を常に左側に隣接させる。
【００５５】
このように、固定中心ニューロン間の距離を等しくすることは、各表情間の中間ニューロンの数を等しくすることとなり、感情推定装置１００は、特定の表情による過大な影響を受けることなく、表情画像を平等に扱いながら感情を推定することができる。
【００５６】
次に、制御部１が有する感情推定手段１３について説明する。
【００５７】
感情推定手段１３は、領域区分手段１２が区分した表情マップを用いて撮像部２で撮像された表情画像からその人物の感情を推定するための手段である。ここで、図８を参照しながら感情推定手段１３が感情を推定する処理の流れについて説明する。なお、図８は、感情推定処理の流れを示すフローチャートである。
【００５８】
最初に、感情推定手段１３は、撮像部２を介して感情推定の対象となる表情画像Ｐを取得する（ステップＳ２１）。
【００５９】
その後、感情推定手段１３は、表情画像加工手段１０によりニューラルネットワークに入力できるよう表情画像Ｐを加工し（ステップＳ２２）、加工した表情画像Ｐ（ベクトルとして扱われる。）と表情マップ（表情マップ生成手段１１により既に学習が行われ、領域区分手段１２により既に区分された表情マップである。）上の各ニューロンとの間の類似度を算出する（ステップＳ２３）。
【００６０】
なお、感情推定手段１３は、表情画像Ｐと各ニューロンとの間の類似度としてマハラノビス距離又はユークリッド距離を用い、マハラノビス距離又はユークリッド距離の値が小さい程、表情画像Ｐとの間の類似度が高いものとする。
【００６１】
その後、感情推定手段１３は、算出した類似度の最大値と所定の閾値とを比較し（ステップＳ２４）、類似度の最大値が所定の閾値以上となる場合には（ステップＳ２４のＹＥＳ）、
類似度が最大となるニューロンが属する領域を特定し、その特定された領域が有するラベルを表情画像Ｐの人物が有する感情であると推定し、その旨を表示部３に出力する（ステップＳ２５）。
【００６２】
一方、類似度の最大値が所定の閾値を下回る場合（ステップＳ２４のＮＯ）、感情推定手段１３は、表情画像Ｐの人物が有する感情を推定できない、或いは、表情画像Ｐの人物が不特定人物（ニューラルネットワークが学習していない人物をいう。）であるとしてその旨を表示部３に出力する（ステップＳ２６）。
【００６３】
図９は、感情推定手段１３によって算出された、表情画像Ｐと表情マップ上の各ニューロンとの間の類似度の分布を示す図であり、色が濃い程、類似度が高いことを示す。図９に示すように、類似度（類似度の最大値は、所定の閾値以上であるものとする。）が最大となるニューロンが領域Ｒ５の右上部分に位置する場合、感情推定手段１３は、表情画像Ｐの人物が有する感情が領域Ｒ５のラベルが示す感情（例えば、「驚き」である。）であると推定する。
【００６４】
また、感情領域の境界付近では、異なる感情領域に属するとしても、隣り合うニューロン同士が比較的高い類似度を有するため、その境界を跨いで類似度の分布が見られる場合もあるが、感情推定手段１３は、類似度が最大となるニューロンがどの感情領域に属するかで感情を推定するばかりではなく、類似度の分布全体がどの感情領域に属するかで感情を推定することもできるので、より正確な感情の推定が可能となる。
【００６５】
次に、制御部１が有する領域共通化手段１４について説明する。
【００６６】
領域共通化手段１４は、表情マップ生成手段１１が生成した特定人物のそれぞれに対応する複数の表情マップにおける各感情領域を共通化するための手段であり、ひいては、不特定人物の表情画像からその不特定人物の感情を推定するために用いる表情マップを生成するための手段である。
【００６７】
例えば、領域共通化手段１４は、表情マップ生成手段１１が特定人物毎に生成した複数の表情マップを取得し、複数の表情マップのそれぞれにおいて、対応する各感情領域（例えば、複数の表情マップのそれぞれが有する「怒り」領域をいう。）のセントロイドベクトル（中心ニューロン）の位置が等しくなるよう調整する。
【００６８】
また、領域共通化手段１４は、複数の表情マップのそれぞれにおいて、対応する各感情領域の形状又は面積が等しくなるよう、対応する各感情領域の中心ニューロンの位置を調整するようにしてもよい。
【００６９】
この場合、領域共通化手段１４は、例えば、ＬＢＧ（Linde-Buzo-Gray）アルゴリズムを用いて各感情領域の形状又は面積を調整しながら各感情領域の中心ニューロンの位置を決定するようにしてもよい。
【００７０】
図１０は、人物Ａ、Ｂ、Ｃの三人の特定人物の学習用画像を用いて生成された三つの表情マップを示し、領域共通化手段１４により各感情領域における中心ニューロンＣＶ１乃至ＣＶ９の各表情マップ上の位置が共通化されていることを示す。
【００７１】
その後、感情推定手段１３は、領域共通化手段１４によって共通化された複数の表情マップを用いて撮像部２で撮像された不特定人物の表情画像からその人物の感情を推定する。
【００７２】
なお、感情推定装置１００は、中心ニューロン固定クラスタリング又は条件付きクラスタリングを用いて領域区分手段１２が区分した感情領域を利用することで、領域共通化手段１４による共通化と同等の効果を得ることができ、この場合、領域共通化手段１４による共通化は不要となる。
【００７３】
ここで、図１１を参照しながら感情推定手段１３が感情を推定する処理の流れについて説明する。なお、図１１は、感情推定処理の流れを示すフローチャートである。
【００７４】
最初に、感情推定手段１３は、撮像部２を介して感情推定対象となる不特定人物の表情画像Ｕを取得する（ステップＳ３１）。
【００７５】
その後、感情推定手段１３は、表情画像加工手段１０によりニューラルネットワークに入力できるよう表情画像Ｕを加工し（ステップＳ３２）、加工した表情画像Ｕ（ベクトルとして扱われる。）と複数の表情マップ（領域区分手段１２により中心ニューロンの位置が予め決定された複数の表情マップ、又は、領域共通化手段１４により中心ニューロンの位置が調整された複数の表情マップである。）上の各ニューロンとの間の類似度を算出する（ステップＳ３３）。
【００７６】
なお、感情推定手段１３は、表情画像Ｕと各ニューロンとの間の類似度としてマハラノビス距離又はユークリッド距離を用い、マハラノビス距離又はユークリッド距離の値が小さい程、表情画像Ｕとの間の類似度が高いものとする。
【００７７】
その後、感情推定手段１３は、各表情マップにおいて、算出した類似度の最大値と所定の閾値とを比較し（ステップＳ３４）、類似度の最大値が所定の閾値以上となる場合には（ステップＳ３４のＹＥＳ）、類似度が最大となるニューロンが属する感情領域を特定し（ステップＳ３５）、特定した感情領域が示す値（例えば、感情の種類を示す番号である。）をその表情マップの値（以下、「表情マップ値」とする。）としてＲＡＭ等の記憶装置に保存する。
【００７８】
一方、類似度の最大値が所定の閾値を下回る場合（ステップＳ３４のＮＯ）、感情推定手段１３は、その表情マップ値を無効（例えば、値ゼロとする。）とする（ステップＳ３６）。
【００７９】
その後、感情推定手段１３は、感情推定装置１００が有する全ての表情マップに対して類似度の算出が行われたか否かを判定し（ステップＳ３７）、全ての表情マップに対する類似度の算出が行われていない場合（ステップＳ３７のＮＯ）、別の表情マップを取得して（ステップＳ３８）、表情画像Ｕと新たに取得した表情マップにおける各ニューロンとの間の類似度を算出し、新たに取得した表情マップ値を保存する（ステップＳ３３〜ステップＳ３６）。
【００８０】
全ての表情マップに対する類似度の算出が行われた場合（ステップＳ３７のＹＥＳ）、感情推定手段１３は、これまでにＲＡＭに保存した各表情マップ値に基づいて不特定人物の感情を推定する（ステップＳ３９）。
【００８１】
感情推定手段１３は、例えば、全ての表情マップ値の中で最も頻度の高い表情マップ値が示す感情を不特定人物の感情として推定（出力）してもよく、高い類似度を有するニューロンを含む複数の表情マップをその類似度が高い順に所定数だけ抽出し、それら表情マップが有する表情マップ値の中で最も頻度の高い表情マップ値が示す感情を不特定人物の感情として出力してもよい。
【００８２】
以上の構成により、感情推定装置１００は、特定人物の表情画像を用いてニューラルネットワークを学習させることにより、特定人物の感情をより正確に推定することができる。
【００８３】
また、感情推定装置１００は、特定人物の表情画像と各ニューロンとの間の類似度の分布に基づいてその特定人物の感情を推定するので、学習用画像における表情とは異なる表情を撮像した表情画像が入力された場合にも、その特定人物の感情をより正確に推定することができる。
【００８４】
また、感情推定装置１００は、複数の特定人物の学習用画像に基づいて複数の表情マップを生成し、かつ、生成した各表情マップの感情領域の形状、面積又はセントロイドベクトルの位置等を調整して一般化（人によって異なる各感情領域の位置、形状、面積等を共通化して、特定人物の表情の特徴が感情推定処理に過大な影響を与えないようにすることをいう。）するので、不特定人物の感情をより正確に推定することができる。
【００８５】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【００８６】
例えば、上述の実施例では、特定人物の複数の表情マップを用いて不特定人物の感情を推定する場合、感情推定装置１００は、領域区分手段１２により各感情領域の形状、面積又はセントロイドベクトルの位置を予め決定したり、又は、領域共通化手段１４により各感情領域の形状、面積又はセントロイドベクトルの位置を事後的に調整したりするが、このような決定又は調整を行うことなく感情推定手段１３による感情の推定を実行するようにしてもよい。
【００８７】
高い類似度を有するニューロンを含む複数の表情マップをその類似度が高い順に所定数だけ抽出し、それら表情マップが有する表情マップ値の中で最も頻度の高い表情マップ値が示す感情を不特定人物の感情として出力することで、中心ニューロン固定クラスタリング、条件付きクラスタリング、又は、領域共通化手段１４を用いずとも、不特定人物に対して顔の特徴が共通する複数の特定人物の学習用画像に基づいて生成された表情マップを用いて、不特定人物の感情を推定することができるからである。
【００８８】
また、感情推定装置１００は、顔認証システム、顔面神経痛の症状判定システム等に適用されてもよく、或いは、運転支援装置として利用されてもよい。
【００８９】
感情推定装置１００を利用した運転支援装置は、所定の感情に関連付けたドライバの表情画像を用いてニューラルネットワークを学習させ、運転中のドライバの表情画像からドライバの感情を推定する。
【００９０】
この運転支援装置は、推定した感情に基づいて所定の運転支援を実行し、例えば、「怒り」を推定（検知）した場合には、アクセル開度を所定値以下に制限したりする。
【図面の簡単な説明】
【００９１】
【図１】本発明に係る感情推定装置の構成例を示すブロック図である。
【図２】表情画像加工処理の流れを示すフローチャートである。
【図３】表情画像加工処理の各ステップを説明するための表情画像である。
【図４】表情マップ生成処理の流れを示すフローチャートである。
【図５】表情マップ生成手段により生成された表情マップの例を示す図である。
【図６】領域区分手段による条件付きクラスタリングを説明するための図である。
【図７】各感情領域の配置、形状及び大きさを等しくした表情マップの例を示す模式図である。
【図８】感情推定処理の流れを示すフローチャートである。
【図９】表情画像と表情マップ上の各ニューロンとの間の類似度の分布を示す図である。
【図１０】三人の特定人物の学習用画像を用いて生成された三つの表情マップを示す。
【図１１】感情推定処理の流れを示すフローチャートである。
【符号の説明】
【００９２】
１ 制御部
２ 撮像部
３ 表示部
１０ 表情画像加工手段
１１ 表情マップ生成手段
１２ 領域区分手段
１３ 感情推定手段
１４ 領域共通化手段
１００ 感情推定装置
Ｅ１〜Ｅ７ 固定中心ニューロン
ＣＶ１〜ＣＶ９ 中心ニューロン
Ｒ１〜Ｒ１１ 領域
【特許請求の範囲】
【請求項１】
所定の感情に関連付けられた特定人物の表情画像を学習することによりニューラルネットワークによる表情マップを生成する表情マップ生成手段と、
前記表情マップ生成手段が生成した前記特定人物のそれぞれに対応する表情マップを前記所定の感情に基づいて複数の領域に区分する領域区分手段と、
不特定人物の表情画像と前記領域区分手段により区分された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する感情推定手段と、
を備えることを特徴とする感情推定装置。
【請求項２】
前記領域区分手段は、区分される領域の中心位置、形状又は面積の少なくとも一つを予め決定する、
ことを特徴とする請求項１に記載の感情推定装置。
【請求項３】
前記領域区分手段が区分した領域であって、複数の表情マップのそれぞれで対応する領域を共通化する領域共通化手段を備え、
前記感情推定手段は、前記不特定人物の表情画像と前記領域共通化手段により共通化された領域を有する複数の表情マップとに基づいて前記不特定人物の感情を推定する、
ことを特徴とする請求項１に記載の感情推定装置。
【請求項４】
前記領域共通化手段は、前記対応する領域の形状、中心位置又は面積の少なくとも一つを共通にする、
ことを特徴とする請求項３に記載の感情推定装置。
【請求項１】
所定の感情に関連付けられた特定人物の表情画像を学習することによりニューラルネットワークによる表情マップを生成する表情マップ生成手段と、
前記表情マップ生成手段が生成した前記特定人物のそれぞれに対応する表情マップを前記所定の感情に基づいて複数の領域に区分する領域区分手段と、
不特定人物の表情画像と前記領域区分手段により区分された領域を有する複数の表情マップとに基づいて不特定人物の感情を推定する感情推定手段と、
を備えることを特徴とする感情推定装置。
【請求項２】
前記領域区分手段は、区分される領域の中心位置、形状又は面積の少なくとも一つを予め決定する、
ことを特徴とする請求項１に記載の感情推定装置。
【請求項３】
前記領域区分手段が区分した領域であって、複数の表情マップのそれぞれで対応する領域を共通化する領域共通化手段を備え、
前記感情推定手段は、前記不特定人物の表情画像と前記領域共通化手段により共通化された領域を有する複数の表情マップとに基づいて前記不特定人物の感情を推定する、
ことを特徴とする請求項１に記載の感情推定装置。
【請求項４】
前記領域共通化手段は、前記対応する領域の形状、中心位置又は面積の少なくとも一つを共通にする、
ことを特徴とする請求項３に記載の感情推定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図９】
【公開番号】特開２００８−１４６３１８（Ｐ２００８−１４６３１８Ａ）
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願番号】特願２００６−３３２１８７（Ｐ２００６−３３２１８７）
【出願日】平成１８年１２月８日（２００６．１２．８）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０４２２２０４５）
【Ｆターム（参考）】
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願日】平成１８年１２月８日（２００６．１２．８）
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０４２２２０４５）
【Ｆターム（参考）】
[ Back to top ]