感情認識装置、電子機器、感情認識方法、制御プログラム及び記録媒体

【課題】大規模な学習処理や辞書作成を行うことなく、顔画像から容易に感情を認識可能
な感情認識装置、電子機器、感情認識方法、制御プログラム及び記録媒体を提供する。
【解決手段】顔画像の周囲に分布する「場」であって、その強さが画像からの距離に依存
し、画像に近いほど大きな値を持つ視覚の誘導場を求め、この誘導場から等ポテンシャル
線の閉曲面の複雑度を求め、この複雑度とポテンシャル値との対応関係である関数を、誘
導場の分布情報として取得し、この関数に基づいて顔画像に対応する感情を判別するよう
にした。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像から感情を認識可能な感情認識装置、電子機器、感情認識方法、制御
プログラム及び記録媒体に関する。
【背景技術】
【０００２】
従来、顔画像から顔の特徴量を抽出し、特徴量がどの感情に対応するかを事前にサンプ
ル調査して得た辞書データに基づいて判定する感情認識装置が知られている（例えば特許
文献１乃至４参照）。この種の感情認識装置には、顔の特徴量として、目、鼻、口、眉毛
等の顔部品を用いる方式や、周波数分析或いはフィルタで得られた画像解析結果等の数量
値を用いる方式のものがある。
【特許文献１】特開２００４−５１３４６２号公報
【特許文献２】特開２００５−５１２２４８号公報
【特許文献３】特開２００５−２３４６８６号公報
【特許文献４】特開２００５−２９３５３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来の構成では、得られた特徴量と感情との対応関係を得る課程、すなわち、
学習が大変である。学習が大変なのはパターン認識全体に言えるが、顔画像の場合、どの
顔画像がどんな表情かを一つ一つ手作業でインデックスを付け、それに対応する特徴量の
パラメータを、例えば、ニューラルネット等を用いて決定していく膨大な作業が必要にな
ってしまう。
特に感情の場合には、例えば、微苦笑といったように、一種類の感情に明確に区別でき
ないことが多いため、顔画像のサンプルを多数用意して複数の感情が混在する場合も区別
可能にする必要があり、識別用辞書の作成作業が膨大になる。
さらに、パターン認識自体が得られた特徴量と、識別用辞書との整合に時間がかかる上
に、感情認識の場合は、複数の感情が混在するために、照合に大変時間がかかってしまう
等、検討すべき課題が多く、システム構成の障害の一つになっている。
【０００４】
本発明は、上述した事情に鑑みてなされたものであり、大規模な学習処理や辞書作成を
行うことなく、顔画像から容易に感情を認識可能な感情認識装置、電子機器、感情認識方
法、制御プログラム及び記録媒体を提供することにある。
【課題を解決するための手段】
【０００５】
上述課題を解決するため、本発明は、感情認識装置において、顔画像を入力する入力手
段と、前記顔画像の周囲に分布する「場」であって、その強さが顔画像からの距離に依存
し、顔画像に近いほど大きな値を持つ視覚の誘導場を求め、前記誘導場の分布情報に基づ
いて前記顔画像に対応する感情を判別する感情判別手段とを備えることを特徴とする。こ
の発明によれば、顔画像の視覚の誘導場を求め、この誘導場の分布情報に基づいて顔画像
に対応する感情を判別するので、大規模な学習処理や辞書作成を行うことなく、我々の物
の見方、感じ方に近い形で感情を判別することができる。
【０００６】
上記構成において、前記感情判別手段は、前記顔画像の視覚の誘導場から等ポテンシャ
ル線の閉曲面の複雑度を求め、この複雑度と等ポテンシャル値との対応関係である曲線情
報を、前記誘導場の分布情報として取得し、前記曲線情報に基づいて感情を判別すること
が好ましい。この構成によれば、複雑度とポテンシャル値との対応関係である曲線情報を
、誘導場の分布情報として取得するので、誘導場の分布を数値化した情報を容易に得るこ
とができる。
【０００７】
上記構成において、前記感情判別手段は、前記曲線情報を近似する関数を算出する関数
算出手段と、前記関数算出手段により算出される関数と、予め得たそれぞれの感情に対応
する関数との比較により感情を判定する感情判定手段とを有することが好ましい。この構
成によれば、関数算出手段により算出される関数と、予め得たそれぞれの感情に対応する
関数との比較により感情を判定するので、いずれの感情であるかを容易に判定することが
可能になる。
【０００８】
この場合、前記関数特定手段は、シグモイド関数を算出することが好ましい。この構成
によれば、顔画像の視覚の誘導場の分布を示すのに好適なシグモイド関数で近似するので
、感情認識の判定精度を向上することができる。
【０００９】
さらに、前記シグモイド関数は、複雑度をＣ、ポテンシャル値をｐとし、レンジをａ、
オフセット値をｂ、パラメータをＴ、ｐ０とした場合に、
【数２】

で定義されるシグモイド関数であり、前記感情判定手段は、前記シグモイド関数のパラ
メータに基づいて感情を判定することが好ましい。この構成によれば、シグモイド関数の
パラメータに基づいて感情を容易に判定することができる。
【００１０】
また、上記構成において、前記感情判定手段は、前記関数算出手段により算出されたシ
グモイド関数と、予め得たそれぞれの感情に対応するシグモイド関数との比較により感情
を判定することが好ましい。この構成によれば、関数算出手段により算出されたシグモイ
ド関数と、予め得たそれぞれの感情に対応するシグモイド関数との比較によりいずれの感
情か否かを容易に判定することができる。
この場合、前記感情判定手段は、予め得たそれぞれの感情に対応するシグモイド関数の
うち、前記関数算出手段により算出されたシグモイド関数に似た一又は複数のシグモイド
関数を算出し、似たシグモイド関数が一つだけ存在した場合は、その一つのシグモイド関
数に対応する感情と判定し、似たシグモイド関数が複数存在した場合は、その複数のシグ
モイド関数に対応する複数の感情が混在した状態と判定するようにしてもよい。この構成
によれば、感情間の狭間にある状態も識別可能になる。
【００１１】
また、上記構成において、前記顔画像は二値画像であることが好ましい。この構成によ
れば、多値画像を感情認識する場合に比して計算量を低減することができ、判定速度の高
速化を図ることができる。また、本発明は、感情認識装置を備える電子機器に広く適用可
能である。
【００１２】
また、本発明は、感情認識方法において、顔画像の周囲に分布する「場」であって、そ
の強さが顔画像からの距離に依存し、顔画像に近いほど大きな値を持つ視覚の誘導場を求
め、前記誘導場の分布情報に基づいて前記顔画像に対応する感情を認識することを特徴と
する。この発明によれば、顔画像の視覚の誘導場を求め、この誘導場の分布情報に基づい
て顔画像に対応する感情を判別するので、大規模な学習処理や辞書作成を行うことなく、
我々の物の見方、感じ方に近い形で感情を判別することができる。
【００１３】
また、本発明は、以上説明した感情認識装置、電子機器及び感情認識方法に適用する他
、この発明を実施するための制御プログラムを電気通信回線を介してダウンロード可能に
したり、そのようなプログラムを、磁気記録媒体、光記録媒体、半導体記録媒体といった
、コンピュータに読み取り可能な記録媒体に記憶して配布する、といった態様でも実施さ
れ得る。
【００１４】
本発明に係る感情認識装置、電子機器、感情認識方法、制御プログラム及び記録媒体に
よれば、顔画像の視覚の誘導場を求め、この誘導場の分布情報に基づいて顔画像に対応す
る感情を判別するので、大規模な学習処理や辞書作成を行うことなく、我々の物の見方、
感じ方に近い形で感情を判別することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施形態を詳述する。本実施形態では、本発明を顔画像
の表情から感情を認識する感情認識装置に適用した場合を例に説明する。この感情認識装
置１０では、「視覚の誘導場」という概念を用いて感情を認識するため、まず、視覚の誘
導場について説明する。
視覚の誘導場は、図形の周りに静電場のような場を仮定し、パターン認知などの視知覚
現象を説明する心理学的概念であり、横瀬善正著の“形の心理学”（名古屋大学出版会（
１９８６））に記載されている（以下、これを参考論文という）。
この参考論文では、視覚の誘導場（以下、単に誘導場と表記する）の分布の仕方が、例
えば、文字の類似性、錯視図形の解釈など、我々の物の見方、感じ方と関連するとしてい
る。この参考論文では、直線・円弧で構成された図形を対象としているため、任意のディ
ジタル画像の誘導場は求められない。ここでは、最初に白黒２値のディジタル画像（以下
、二値画像という）における誘導場の計算方法を示す。
【００１６】
誘導場は基本的にクーロンポテンシャルと解釈できることから、パターンの外郭を構成
する画素を点電荷と仮定し、それらが作るクーロンポテンシャルの集積から、ディジタル
画像における誘導場の分布を計算する。
【００１７】
図１はディジタル画像の画素配列を示す図である。図１に示すように、ｎ個の点列から
構成される曲線ｆ（ｓ）によって、任意の点Ｐに誘導場が形成されるとする。この曲線ｆ
（ｓ）は線図形の線分や画図形の輪郭線に相当する。そして、曲線ｆ（ｓ）を構成する各
点ｐ１，ｐ２，・・・，ｐｉ，・・・，ｐｎを正電荷１の点電荷と仮定し、点Ｐから曲線
ｆ（ｓ）上を走査して、曲線ｆ（ｓ）を構成するｎ個の点ｐ１，ｐ２，・・・，ｐｉ，・
・・，ｐｎが見つかり、走査して見つかった曲線ｆ（ｓ）上の各点までの距離をｒｉとす
ると、点Ｐにおける誘導場の強さＭｐは次のように定義される。
【００１８】
【数３】

この式（２）を用いることにより、任意のディジタル画像の誘導場を求めることができ
る。また、曲線が複数ある場合、点Ｐにおける誘導場の強さは個々の曲線が点Ｐにつくる
誘導場の和になる。なお、式（２）は点Ｐから発した光が直接当たる部分のみ和をとると
いう制約条件がつく。例えば、点Ｐに対して、曲線ｆ１（ｓ），ｆ２（ｓ），ｆ３（ｓ）
が図２に示すように存在しているとすると、点Ｐから見えない部分、つまり、この場合、
曲線ｆ１（ｓ）に遮蔽されて点Ｐから見えない範囲Ｚに存在する部分の和はとらない。こ
の図２の例では、曲線ｆ３（ｓ）のすべてと曲線ｆ２（ｓ）の一部の和はとらないことに
なる。これを、ここでは遮蔽条件という。
【００１９】
図３（Ａ）は「Ａ」という文字について、画素全てを電荷１の点電荷と仮定し、前述の
式（１）で計算した誘導場の例を示すものである。図３（Ａ）の文字「Ａ」周辺に地図の
等高線状に分布している細い線が誘導場における等ポテンシャル値を結んで描かれる等ポ
テンシャル線であり、中央から外に行くほど誘導場の強さ（ポテンシャル値）は弱くなり
、やがて０（零）に近づく。
図３（Ａ）の誘導場の分布の形状・強さにおける特徴、特に「Ａ」の頂点付近の分布が
他より鋭角な特徴は、前述の参考論文による四角形や三角形など、図形の角付近に関する
誘導場の分布の心理実験結果と一致する。
【００２０】
また、図３（Ｂ）は、前述した遮蔽条件（任意の点Ｐから見えない範囲Ｚに存在する部
分の和はとらない）がなく、画素全てを電荷１の点電荷と仮定した誘導場の例であるが、
誘導場の分布は全体的に丸くなり、前述の参考論文による心理実験結果と異なったものと
なる。このように、遮蔽条件は誘導場を特徴づける上で重要なものとなる。
【００２１】
このようにして、ある図形についての視覚の誘導場を得ることができる。なお、このよ
うな視覚の誘導場を用いた技術の例としては、例えば、「長石道博：“視覚の誘導場を用
いた読みやすい和文プロポーショナル表示”、映像メディア学会誌、Ｖｏｌ．５２，Ｎｏ
．１２，ｐｐ．１８６５−１８７２（１９９８」（以下、第１の論文という）や、「三好
正純、下塩義文、古賀広昭、井手口健：“視覚の誘導場理論を用いた感性にもとづく文字
配置の設計”、電子情報通信学会論文誌、８２−Ａ，９，１４６５−１４７３（１９９９
）」（以下、第２の論文という）がある。ちなみに、上述の第１の論文の著者は本発明の
発明者である。
【００２２】
本実施形態では、このような視覚の誘導場を利用することによって、今まで人間の直感
や手作業に頼っていた画像の感性評価が可能となり、より具体的には、顔画像の視覚の誘
導場の分布を評価することで、顔の表情から感情認識の自動化を可能にしている。
詳述すると、本実施形態では、感情認識対象の顔画像の誘導場から等ポテンシャル線の
閉曲面の凹凸の度合いを示す複雑度を求める。この複雑度は、等ポテンシャル値がｉの閉
曲線の複雑度をＣｉで表せば、次式（３）で求められる。
【００２３】
【数４】

ここで、Ｌｉは、等ポテンシャル値ｉの等ポテンシャル面の周囲長であり、Ｓｉは面積
である。なお、周囲長Ｌｉは、等ポテンシャル面の輪郭を構成するドット数と考えること
ができ、面積Ｓｉは、等ポテンシャル面に存在するドット数と考えることができる。
【００２４】
この式（３）によれば、周囲長Ｌｉが長く、面積Ｓｉが小さいほど、複雑度Ｃｉの値が
大きくなり、つまり、等ポテンシャル線の凹凸が多い程、複雑度Ｃｉの値が大きくなる。
そして、複雑度Ｃｉと等ポテンシャル値ｉ（以下、等ポテンシャル値ｉに限定されない
ポテンシャル値をｐと表記する）とをグラフにして特性曲線を示すことによって、「対象
画像の視覚の誘導場の分布」を図表化することができる。
【００２５】
顔画像の場合、「顔画像の視覚の誘導場の分布」（分布情報）である特性曲線は、おお
よそ単調増加関数になり、この関数、すなわち、「顔画像の視覚の誘導場の分布」を示す
曲線は、シグモイド関数で近似することができる。
図４は、シグモイド関数の一例を示している。シグモイド関数は、特に、同図に符号α
で示す立ち上がり部分に特徴があり、この立ち上がり部分を含めた曲線全体が、顔画像の
場合の複雑度Ｃとポテンシャル値ｐとの対応関係を示す特性曲線の傾向と良く似ている。
このため、本実施形態では、複雑度Ｃとポテンシャル値ｐとの対応関係を示す曲線情報
として、つまり、「顔画像の視覚の誘導場の分布」（分布情報）としてシグモイド関数を
得ることによって、「顔画像の視覚の誘導場の分布」を数値化した情報を容易に得ること
ができる。
【００２６】
次に、感情毎の「顔画像の視覚の誘導場の分布」の算出方法の概要を説明する。ここで
は、基本的な感情のうち、「怒り」、「普通」、「喜び」のシグモイド関数を求める場合
を例に説明する。
図５（Ａ）は、怒りの表情の顔画像の一例を示し、図５（Ｂ）はその顔画像の誘導場を
示す図である。また、図５（Ｃ）は、普通の表情の顔画像の一例を示し、図５（Ｄ）はそ
の顔画像の誘導場を示す図である。また、図５（Ｅ）は、怒りの顔画像の一例を示し、図
５（Ｆ）はその顔画像の誘導場を示す図である。なお、これら顔画像は、説明を分かり易
くするため、目、鼻、口の顔部品のみの極めて簡略化した画像例を示している。
「怒り」、「普通」及び「喜び」のシグモイド関数を計算する場合、まず、図５（Ａ）
（Ｃ）（Ｄ）に示す「怒り」、「普通」及び「喜び」の顔画像について、図５（Ｂ）（Ｄ
）（Ｆ）に示すように、誘導場を各々計算し、各誘導場について、等ポテンシャル値ｉ毎
に複雑度Ｃｉを求め、これを複雑度Ｃとポテンシャル値ｐの関係を最小二乗法を用いて、
次式（４）で示すシグモイド関数で各々近似することによって得られる。
【００２７】
【数５】

ここで、ａはレンジであり、ｐ０及びＴはパラメータであり、ｂはオフセット値である
。
【００２８】
上記算出に用いる顔画像のデータは、元画像となる撮影時の画像データ（カラー画像又
はグレースケール画像等の複数色、複数階調を有する画像）に対し、エッジを取り出して
、各画素を白と黒とに二値化した二値化画像のデータが使用される。
図６（Ａ）（Ｂ）は、元画像を異なるしきい値で二値化した顔画像を示している。具体
的には、上記二値化の際には、顔の眼、鼻、口等の主要な顔部品が欠落しない程度のしき
い値に設定され、図６（Ｂ）に示すように、主要な顔部品を除く部分ができるだけ除去さ
れた二値画像に変換することが好ましい。この二値化画像は更にノイズ除去処理と孤立点
の除去処理とが施され、最終的に、図６（Ｃ）に示すように、眉、眼、鼻、口だけが抽出
された二値画像に変換される。なお、二値画像は、眼と鼻と口だけが判別可能な画像であ
ってもよい。これによって、主要な顔部品を抽出した二値画像を得ている。
【００２９】
このようにして得られた６つの基本的な感情（普通、悲しみ、嫌悪、喜び、怒り、驚き
）の顔画像のシグモイド関数の一例を図７に示す。この図７において、曲線ｈ１（ｐ）が
、「普通」の表情をした顔画像のシグモイド関数を示し、曲線ｈ２（ｐ）が、「悲しみ」
の場合のシグモイド関数を示し、曲線ｈ３（ｐ）が「嫌悪」の場合のシグモイド関数を示
し、曲線ｈ４（ｐ）が、「喜び」の場合のシグモイド関数を示し、曲線ｈ５（ｐ）が、「
怒り」の場合のシグモイド関数を示し、曲線ｈ６（ｐ）が「驚き」の場合のシグモイド関
数を示している。
【００３０】
「普通」の場合の曲線ｈ１（ｐ）を基準に考えると、「怒り」や「驚き」といった強い
感情の曲線ｈ５（ｐ），ｈ６（ｐ）の立ち上がりは急峻であり、「喜び」の曲線ｈ４（ｐ
）の複雑度Ｃがやや大きく、「嫌悪」や「悲しみ」といったネガティブな感情の曲線ｈ３
（ｐ），ｈ２（ｐ）の複雑度Ｃが小さい、といったように、感情により曲線の特性（形状
）が異なることが判る。
このように、感情毎に「顔画像の視覚の誘導場の分布」を示すシグモイド関数が異なる
ことに鑑み、本実施形態では、「顔画像の視覚の誘導場の分布」をシグモイド関数で近似
し、予め得たそれぞれの感情に対応する「顔画像の視覚の誘導場の分布」を示すシグモイ
ド関数との比較により、感情を容易に推定することが可能になる。
【００３１】
例えば、「怒り」は、上述のパラメータＴが０．０４近辺の値となり、上述のレンジａ
が３００以上といったように特定することができ、この条件を満たすかどうかで「怒り」
の感情か否かを判定することができる。実際には、同じ感情でもシグモイド関数の曲線が
多少異なる場合が生じるので、予め複数種類の感情の顔画像の誘導場を計算し、複雑度を
求めてプロットすることによって感情毎のシグモイド関数の範囲を求めておくことが好ま
しい。この作業によって、例えば、図８（Ａ）に概念的に示すように、ある感情Ｉの範囲
が決まり、図８（Ｂ）に示すように、感情Ｉのパラメータの範囲が定まる。同様にして、
他の感情ＩＩのパラメータの範囲も定めることができる。本実施形態では、複数の感情毎
のパラメータ範囲を内部メモリに格納しておき、いずれのパラメータ範囲に属するかどう
かを判定することにより、感情を精度良く判別可能にしている。
【００３２】
また、本構成では、図８（Ａ）に示すように、感情毎の範囲が、複雑度Ｃとパラメータ
ｐの二次元平面で特定されるので、出現密度の大きいエリアを中心に範囲を区分けすれば
、十分に精度の高い範囲に容易に区分けすることができる。
これに対し、一般にパターン認識では、ｎ次元空間（ｎ＝６０以上）を区分けする必要
が生じるため、非常に沢山のサンプルを偏りなく集め、かつ、機械学習でうまく区分けを
決定する必要が生じ、その作業が繁雑化すると共に、学習処理にも時間がかかってしまう
。従って、本構成では、感情毎の範囲の区分け作業が、一般のパターン認識の場合に比し
て圧倒的に簡素化され、また、学習処理をしなくても容易かつ短時間で感情毎の範囲を定
めることが可能である。
【００３３】
図９は、本実施形態に係る感情認識装置１０の機能構成を示すブロック図である。この
感情認識装置１０は、電子化された顔画像の誘導場を計算し、誘導場の分布に基づいて感
情を判定し、その結果を表示する装置である。
詳述すると、この感情認識装置１０は、判定対象となる電子化された画像を入力する顔
画像入力部（入力手段）１１と、この顔画像入力部１１に入力された画像から顔画像を認
識して抽出する顔領域抽出部（領域抽出手段）１２と、顔領域抽出部１２で抽出された顔
領域から感情を判別する感情判別部（感情判別手段）１３と、感情判別部１３の判別結果
を表示する表示部（出力手段）１４とを備えている。
【００３４】
顔画像入力部１１は、複数色及び複数階調の画像（以下、多値画像という）を入力し、
顔の眼、鼻、口等の主要な顔部品が欠落しない程度のしきい値で二値化する前述の二値化
処理等を施して二値画像に変換するものである。この顔画像入力部１１への画像の入力方
法は、無線又は有線による通信で入力してもよいし、記録媒体に記録された画像データを
読み取って入力してもよい。また、この顔画像入力部１１が、撮影機能を有し、撮影によ
り得た画像データを直接入力するものであってもよい。
なお、顔画像入力部１１が、顔の眼、鼻、口等の主要な顔部品が欠落しない程度のしき
い値で二値化された二値画像を直接入力するものであってもよい。
【００３５】
顔領域抽出部１２は、肌色利用方式や顔部品検出方式等の公知の顔認識技術を利用して
顔領域を認識するものである。なお、肌色利用方式は、顔画像が肌色であることを利用し
て、色の分布を基準に肌色部分を顔領域と認識する方式であり、顔部品検出方式は、画像
中のエッジを基準に顔部品（眼、鼻、口等）を検出し、顔部品のある領域を顔領域と認識
する方式である。
【００３６】
感情判別部１３は、誘導場計算部（計算手段）２１と、誘導場分布評価部２２と、判定
部（判定手段）２３とを備えている。誘導場計算部２１は、顔領域抽出部１２で抽出され
た顔領域の誘導場を計算するものである。
誘導場分布評価部２２は、誘導場計算部２１で計算された誘導場から「視覚の誘導場の
分布」を得て評価するものである。具体的には、この誘導場分布評価部２２は、視覚の誘
導場に対し、式（３）により等ポテンシャル値ｉ毎に複雑度Ｃｉを求め、複雑度Ｃとポテ
ンシャル値ｐの関係を近似するシグモイド関数をそれぞれ計算により求める。これによっ
て、誘導場分布評価部２２は、「視覚の誘導場の分布」を示すシグモイド関数（顔画像用
関数）を算出する関数算出手段として機能する。
【００３７】
判定部２３は、誘導場計算部２１で計算されたシグモイド関数と、予め得たそれぞれの
感情（例えば、上述した６つの基本的な感情）に対応するシグモイド関数との比較により
感情を判定する感情判定手段として機能する。このように、感情判別部１３を構成する誘
導場計算部２１、誘導場分布評価部２２及び判定部２３は、上述した演算処理を行う演算
部で構成することができる。このため、実際には、感情判別部１３の各部は、上記演算処
理をハードウェア処理で行う一又は複数の半導体集積回路で構成してもよいし、若しくは
、ソフトウェア処理で行うＣＰＵやＲＯＭやＲＡＭといった汎用のコンピュータで構成し
てもよいし、又は、視覚の誘導場の計算処理等の比較的重い演算処理はハードウェア処理
で行い、感情判定等の比較的軽い演算処理はソフトウェア処理で行うように構成してもよ
い。
【００３８】
次に、感情認識装置１０の処理フローを図１０に示すフローチャートを参照しながら説
明する。まず、入力した二値画像に対し、顔領域抽出部１２によって顔領域が抽出される
と、誘導場計算部２１は、顔領域の誘導場を計算し（ステップＳ１１）。誘導場分布評価
部２２は、計算された誘導場の等ポテンシャル面毎の複雑度Ｃを計算する処理を開始する
。
ここで、上述した式（２）に定めた誘導場の計算定義式は、最小の画素距離が１の場合
、場の強さは０（零）から１の範囲となる。複雑度Ｃを計算するポテンシャル値ｐの範囲
は、多いほど後のシグモイド関数の近似精度が高まるが、計算時間の短縮化の観点から、
感情認識に有益な最小限の範囲に留めることが好ましい。
そこで、本実施形態では、複雑度Ｃの計算に際し、ポテンシャル値ｐは、０（零）以上
、かつ、１未満の区間で適当な範囲、例えば、ポテンシャル値ｐの最小値ｐ１を０．０３
とし、分解能の値Δｐを０．０１ステップとすることによって計算量を低減している。
【００３９】
具体的には、誘導場分布評価部２２は、まず、ポテンシャル値ｐを最小値ｐ１に設定し
（ステップＳ１２）、このポテンシャル値ｐ（＝ｐ１）の等ポテンシャル面を抽出し（ス
テップＳ１３）、等ポテンシャル値ｉ（＝ｐ１）の閉曲面の周囲長Ｌｉ及び面積Ｓｉを求
め、式（３）により複雑度Ｃｉを計算する（ステップＳ１４）。
続いて、誘導場分布評価部２２は、ポテンシャル値ｐが最大値「１」未満であれば（ス
テップＳ５：ＹＥＳ）、ポテンシャル値ｐに分解能の値Δｐを加算し（ステップＳ１６）
、上述したステップＳ３の等ポテンシャル面の抽出処理と、ステップＳ１４の複雑度Ｃの
計算処理とを繰り返すことにより、ポテンシャル値ｐが最小値ｐ１から最大値「１」の範
囲で分解能Δｐ単位で複雑度Ｃを計算する。なお、最大値「１」の範囲まで複雑度ｃを計
算する場合に限らず、最大値を値「１」以下の値に変更してもよい。
【００４０】
そして、ポテンシャル値ｐが最大値「１」に達すると（ステップＳ１５：ＮＯ）、誘導
場分布評価部２２は、得られた複数の複雑度Ｃと、各複雑度Ｃに対応するポテンシャル値
ｐとから、最小二乗法を用いて式（４）で示すシグモイド関数を決めるパラメータ（レン
ジａ、オフセット値ｂ、パラメータｐ０、Ｔ）を各々決定し、近似するシグモイド関数を
求める（ステップＳ１７）。このステップＳ１７の処理の際には、理論値からの誤差（残
差）の平方和を計算することにより、誤差の分散、つまり、近似誤差が求められる。
【００４１】
この場合、近似誤差が、顔らしい画像か否かを示す情報に相当する。このため、近似誤
差が大きく、つまり、関数の相関が非常に低く、シグモイド関数で近似するのが困難な場
合は、対象が顔でない、或いは、非常に画像が劣化して表情認識できない状態と考えられ
る。なお、具体的閾値は、実サンプルを使って実験的に決定すればよい。このような場合
は、判定部２３が、認識困難な旨を表示部１４に表示することによって使用者に警告を報
知する。
【００４２】
一方、近似誤差が小さい場合、判定部２３は、予め得た感情毎のシグモイド関数のうち
、近似したシグモイド関数に似ている一つのシグモイド関数を算出し、つまり、近似する
シグモイド関数のパラメータ（レンジａ、オフセット値ｂ、パラメータｐ０、Ｔ等）が、
内部メモリに格納された感情毎のパラメータ範囲のいずれに該当するか否かを判定するこ
とにより、感情を判定し（ステップＳ１８）、判定結果を画像やメッセージで表示部１４
に表示し、顔画像の感情（表情）を使用者に通知することができる。
【００４３】
以上説明したように、本実施形態によれば、顔画像の視覚の誘導場を求め、この誘導場
の分布情報をシグモイド関数で近似し、近似されたシグモイド関数に基づいて顔画像に対
応する感情を判別するので、我々の物の見方、感じ方に近い形で顔画像の感情（表情）を
判別することができ、しかも、近似したシグモイド関数から容易に感情認識することがで
きるので、感情認識の高速化（短時間化）が可能である。
また、顔画像の視覚の誘導場の分布を示すのに好適なシグモイド関数で近似するので、
感情認識の判定精度を向上することができる。
【００４４】
この場合、近似されたシグモイド関数と、予め得たそれぞれの感情に対応するシグモイ
ド関数との比較により感情が判別され、より具体的には、シグモイド関数のパラメータが
いずれの感情のパラメータの範囲に属するか否かにより感情が判別されるので、パラメー
タと感情との対応関係を算出する作業が、二次元平面の識別作業で済む。このため、サン
プル数が膨大にしなくてもよいし、上記算出作業をニューラルネット等を用いて行うよう
にした場合でも、その処理時間が大幅に少なくて済む。
これにより、本実施形態では、一般のパターン認識に比して、大規模な学習処理や辞書
作成を行う必要がない分、認識前の事前作業が少なくて済むといった効果も奏する。
【００４５】
なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる
範囲での変形、改良などは本発明に含まれるものである。例えば、上述の実施形態では、
本発明を、二値画像の顔画像を感情認識する場合に適用する場合を説明したが、これに限
らず、多値画像の顔画像を感情認識する場合にも適用可能である。
【００４６】
以下、多値画像の顔画像を感情認識する場合を説明する。一般にディジタル機器は基本
的な色としてＲ（赤）・Ｇ（緑）・Ｂ（青）を採用しているものが多いので、色はこれの
ＲＧＢの組み合わせで表現されるものとする。なお、ＲＧＢはそれぞれが０から２５５ま
で変化するものとし、これらの組み合わせで色を表現するものとする。ちなみに、黒はＲ
＝Ｇ＝Ｂ＝２５５の組み合わせ、白はＲ＝Ｇ＝Ｂ＝０の組み合わせであり、それらの中間
の値を有するＲ＝Ｇ＝Ｂの組み合わせは無彩色（グレー）である。このように、ＲＧＢに
より色だけではなく階調も表現することができる。
この場合、特開２００４−１７１１１５号公報（以下、これを参考技術文献という）の
技術を適用して以下のように計算される。詳述すると、図１において、各点ｐ１，ｐ２，
・・・，ｐｉ，・・・，ｐｎの電荷はＲ，Ｇ，Ｂの階調（例えば、０から２５５）の影響
を受けるため、各電荷をＱｉとすると、点Ｐにおける誘導場の強さＭｐは式（５）のよう
に定義される。
【００４７】
【数６】

【００４８】
ここで、Ｑｉ（Ｒ，Ｇ，Ｂ）は、ＲＧＢそれぞれの独立の関数（Ｑｉ（Ｒ），Ｑｉ（Ｇ
），Ｑｉ（Ｂ））の線形結合であり、二値画像の場合、Ｑｉ（Ｒ＝０，Ｇ＝０，Ｂ＝０）
＝１であり、多値画像の場合、Ｑｉ（Ｒ，Ｇ，Ｂ）は１よりも大（Ｑｉ＞１）となる。こ
れらＱｉ（Ｒ），Ｑｉ（Ｇ），Ｑｉ（Ｂ）は、前述の参考技術文献によれば、階調（濃度
）が大きくなってある値に達すると飽和するほぼＳ字カーブを描く曲線となり、また、階
調（濃度）の変化に対してＲ（赤）が最も敏感であり、続いてＢ（青）、Ｇ（緑）の順と
なることが知られている。
これは、例えば、交通標識などにおいては注意を促す表示を行う際、色としては赤、青
の順で用いられ、緑はあまり用いられないことが多いことと一致している。このような注
意を促す度合いの大きさは誘導場の強さやエネルギであると考えられるが、それを根拠に
すると、Ｑｉの色による変化の違いは、上述の交通標識の事例と一致している。したがっ
て、この式（５）で用いられるＱｉを得るための関数は心理実験などによって決定するこ
とができる。
【００４９】
従って、式（５）を用いることにより、多値画像の誘導場を計算することができる。そ
して、この誘導場が決まれば、上述の実施形態とほぼ同様の処理で、複雑度Ｃを計算し、
得られた複数の複雑度Ｃとポテンシャル値ｐとの対応関係をシグモイド関数で近似し、近
似誤差やパラメータ（レンジａ、オフセット値ｂ、パラメータｐ０、Ｔ）に基づいて顔画
像から感情を判定することができる。
このように、多値画像の顔画像を感情認識する場合は、多値画像から二値画像に変換す
る必要がないため、かかる変換時の情報落ちがない分、判定精度を向上させることができ
る。
【００５０】
但し、多値画像から感情認識する場合は、計算量が増えて計算時間が長くなってしまう
。このため、判定速度を優先する場合は、二値画像に変換して感情認識し、判定精度を優
先する場合は、多値画像のまま感情認識するというように、いずれの感情認識を行うかを
選択可能にしてもよい。
【００５１】
また、上述の実施形態では、顔画像の視覚の誘導場の分布を示す顔画像用関数として、
シグモイド関数を用いる場合について説明したが、これに限らず、顔画像の視覚の誘導場
を表現可能な他の関数を適用してもよい。
また、上述の実施形態では、予め得たそれぞれの感情に対応するシグモイド関数のうち
、近似したシグモイド関数に似ている一つのシグモイド関数を算出することによっていず
れの感情かを判定する場合について説明したが、これに限らず、近似したシグモイド関数
に似ている複数のシグモイド関数が存在した場合は、これら複数のシグモイド関数に対応
する複数の感情が混在した状態、例えば、「怒り」と「驚き」が混在した状態と判定する
ようにしてもよい。この場合、予め得たそれぞれの感情に対応するシグモイド関数のうち
、近似したシグモイド関数に似た一又は複数のシグモイド関数が存在するか否かをパラメ
ータの比較により行うようにすればよい。この構成によれば、感情間の狭間にある状態も
識別可能になる。
【００５２】
また、本発明は、以上説明した本発明を実施するための処理手順が記述された制御プロ
グラムを作成し、この制御プログラムを電気通信回線を介してダウンロード可能にしたり
、そのようなプログラムを、磁気記録媒体、光記録媒体、半導体記録媒体といった、コン
ピュータに読み取り可能な記録媒体に記憶して配布する、といった態様でも実施され可能
である。
なお、本実施形態に係る感情認識装置をカメラ、スキャナ、プロジェクタ、テレビ、プ
リンタ等のあらゆる電子機器が備える形態で実施することも可能である。例えば、上述し
た感情認識装置を備えるカメラは、撮影対象の顔画像に対応する感情を認識し、楽しい感
情と認識した場合は明るい色調補正を施すといったように、認識した感情に基づいて画像
補正を実行することが可能となる。また、上述した感情認識装置を備えるプリンタは、印
刷対象画像に含まれる顔画像に対応する感情を認識し、楽しい感情と認識した場合は、楽
しげなフレーム（枠）を自動が画像に付加して印刷するといったように、認識した感情に
基づいて画像を加工し、印刷することが可能となる。
【図面の簡単な説明】
【００５３】
【図１】視覚の誘導場を説明するためのディジタル画像の画素配列を示す図である。
【図２】視覚の誘導場の強さを求める際の遮蔽条件を説明する図である。
【図３】（Ａ）は文字「Ａ」の視覚の誘導場を遮蔽条件を考慮した求めた場合を示す図であり、（Ｂ）は視覚の誘導場を遮蔽条件を考慮せずに求めた場合を示す図である。
【図４】シグモイド関数の一例を示す図である。
【図５】（Ａ）は怒りの表情の顔画像の一例を示す図であり、（Ｂ）は（Ａ）の誘導場を示す図であり、（Ｃ）は普通の表情の顔画像の一例を示す図であり、（Ｄ）は（Ｃ）の誘導場を示す図であり、（Ｅ）は喜びの表情の顔画像の一例を示す図であり、（Ｆ）は（Ｅ）の誘導場を示す図である。
【図６】（Ａ）は主要な顔部品を除く部分があまり除去されていない顔の二値画像を示す図であり、（Ｂ）は主要な顔部品を除く部分ができるだけ除去された顔の二値画像を示す図であり、（Ｃ）は（Ｂ）の図から主要な顔部品を抽出した二値画像を示す図である。
【図７】感情毎の顔画像のシグモイド関数の一例を示す図である。
【図８】（Ａ）は感情毎の範囲を示す図であり、（Ｂ）は感情毎のパラメータ範囲を示す図である。
【図９】本実施形態に係る感情認識装置の機能構成を示すブロック図である。
【図１０】感情認識装置の処理フローを示すフローチャートである。
【符号の説明】
【００５４】
１０…感情認識装置、１１…顔画像入力部（入力手段）、１２…顔領域抽出部（領域抽
出手段）、１３…感情判別部（感情判別手段）、１４…表示部（出力手段）、２１…誘導
場計算部（計算手段）、２２…誘導場分布評価部（関数算出手段）、２３…判定部（判定
手段）。

【特許請求の範囲】
【請求項１】
顔画像を入力する入力手段と、
前記顔画像の周囲に分布する「場」であって、その強さが顔画像からの距離に依存し、
顔画像に近いほど大きな値を持つ視覚の誘導場を求め、前記誘導場の分布情報に基づいて
前記顔画像に対応する感情を判別する感情判別手段と
を備えることを特徴とする感情認識装置。
【請求項２】
請求項１に記載の感情認識装置において、
前記感情判別手段は、前記顔画像の視覚の誘導場から等ポテンシャル線の閉曲面の複雑
度を求め、この複雑度と等ポテンシャル値との対応関係である曲線情報を、前記誘導場の
分布情報として取得し、前記曲線情報に基づいて感情を判別することを特徴とする画像認
識装置。
【請求項３】
請求項２に記載の感情認識装置において、
前記感情判別手段は、
前記曲線情報を近似する関数を算出する関数算出手段と、
前記関数算出手段により算出される関数と、予め得たそれぞれの感情に対応する関数と
の比較により感情を判定する感情判定手段とを有することを特徴とする画像認識装置。
【請求項４】
請求項３に記載の感情認識装置において、
前記関数特定手段は、シグモイド関数を算出することを特徴とする感情認識装置。
【請求項５】
請求項４に記載の感情認識装置において、
前記シグモイド関数は、複雑度をＣ、ポテンシャル値をｐとし、レンジをａ、オフセッ
ト値をｂ、パラメータをＴ、ｐ０とした場合に、
【数１】

で定義されるシグモイド関数であり、
前記感情判定手段は、前記シグモイド関数のパラメータに基づいて感情を判定すること
を特徴とする感情認識装置。
【請求項６】
請求項５に記載の感情認識装置において、
前記感情判定手段は、前記関数算出手段により算出されたシグモイド関数と、予め得た
それぞれの感情に対応するシグモイド関数との比較により感情を判定することを特徴とす
る感情認識装置。
【請求項７】
請求項６に記載の感情認識装置において、
前記感情判定手段は、予め得たそれぞれの感情に対応するシグモイド関数のうち、前記
関数算出手段により算出されたシグモイド関数に似た一又は複数のシグモイド関数を算出
し、似たシグモイド関数が一つだけ存在した場合は、その一つのシグモイド関数に対応す
る感情と判定し、似たシグモイド関数が複数存在した場合は、その複数のシグモイド関数
に対応する複数の感情が混在した状態と判定することを特徴とする感情認識装置。
【請求項８】
請求項１乃至７のいずれかに記載の感情認識装置において、
前記顔画像は二値画像であることを特徴とする感情認識装置。
【請求項９】
請求項１に記載の感情認識装置を備えることを特徴とする電子機器。
【請求項１０】
顔画像の周囲に分布する「場」であって、その強さが顔画像からの距離に依存し、顔画
像に近いほど大きな値を持つ視覚の誘導場を求め、前記誘導場の分布情報に基づいて前記
顔画像に対応する感情を認識することを特徴とする感情認識方法。
【請求項１１】
コンピュータを、
顔画像を入力する入力手段と、
前記顔画像の周囲に分布する「場」であって、その強さが顔画像からの距離に依存し、
顔画像に近いほど大きな値を持つ視覚の誘導場を求め、前記誘導場の分布情報に基づいて
前記顔画像に対応する感情を判別する感情判別手段として機能させるための制御プログラ
ム。
【請求項１２】
コンピュータを、
顔画像を入力する入力手段と、
前記顔画像の周囲に分布する「場」であって、その強さが顔画像からの距離に依存し、
顔画像に近いほど大きな値を持つ視覚の誘導場を求め、前記誘導場の分布情報に基づいて
前記顔画像に対応する感情を判別する感情判別手段として機能させるための制御プログラ
ムが記録されたコンピュータ読み取り可能な記録媒体。

【図１】