表情判定プログラムおよび表情判定装置
【課題】表情判定に用いる特徴点を高速に検出することを課題とする。
【解決手段】表情判定装置２００は、顔部位検出部２２１、設定部２２２、特徴点検出部２２３および判定部２２４を有する。顔部位検出部２２１は顔画像から複数の顔部位を検出する。設定部２２２は、複数の顔部位の少なくとも一つを用いて口領域処理範囲を設定する。特徴点検出部２２３は、口領域処理範囲の画素分布に基づいて右口角および左口角を含む口領域を決定し、口領域から右口角および左口角の位置を検出する。判定部２２４は、口領域の縦横比率、口領域の面積および口領域における右口角の位置および左口角の位置に応じたポイントを付与することで被験者の表情を判定する。
【解決手段】表情判定装置２００は、顔部位検出部２２１、設定部２２２、特徴点検出部２２３および判定部２２４を有する。顔部位検出部２２１は顔画像から複数の顔部位を検出する。設定部２２２は、複数の顔部位の少なくとも一つを用いて口領域処理範囲を設定する。特徴点検出部２２３は、口領域処理範囲の画素分布に基づいて右口角および左口角を含む口領域を決定し、口領域から右口角および左口角の位置を検出する。判定部２２４は、口領域の縦横比率、口領域の面積および口領域における右口角の位置および左口角の位置に応じたポイントを付与することで被験者の表情を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本願の開示する技術は、表情判定プログラムおよび表情判定装置に関連する。
【背景技術】
【０００２】
従来、顔を撮影した顔画像から特徴部分を検出し、検出した特徴部分に基づいて顔の表情を判定する技術がある。
【０００３】
上述した表情を判定する技術の中には、鼻の先端、左口角および右口角の位置を用いて表情を判定するものがある。例えば、この技術では、入力画像から顔が存在する顔画像領域を抽出し、顔画像領域から鼻の先端、左口角および左口角の位置を特徴点としてそれぞれ抽出する。そして、この技術では、鼻の先端を基準として、鼻の先端と左右の口角位置とのなす角度を計測し、計測した角度の時間変化から表情を判定する。また、上述した表情を判定する技術の中には、真顔の画像、言い換えれば無表情の状態の画像から予め抽出された複数の参照特徴を用いて表情を判定するものもある。ここで、参照特徴とは、入力画像における眼や鼻、口などの顔の特徴部分をパターンマッチングにより認識するためのテンプレートなどに相当する。この技術では、入力画像から抽出した特徴量と照合するための参照特徴を予め用意する。そして、この技術では、入力画像から表情の判定に必要な各特徴量を抽出し、抽出した特徴量と複数の参照特徴の特徴量との差分量を計算することで、顔の各特徴量について参照特徴に対する変化量を算出する。そして、この技術では、算出した変化量から特徴ごとの得点を算出し、算出した得点の総和から表情を判定する。
【０００４】
また、上述した表情を判定する技術に関連して、顔画像から目的とする特徴部分を高速に検出するものがある。例えば、この技術では、下瞼および上瞼を含む眼部を検出対象とし、顔画像から鼻孔を検出し、鼻孔の位置に基づいて眼部の探索領域を設定する。そして、この技術では、設定した領域の下半分から下瞼を検出し、下瞼の上の領域から上瞼を検出する。なお、この技術では、上瞼と下瞼に挟まれた画素数に基づいて、例えば、眼が開かれた状態か、あるいは眼が閉ざれた状態かのいずれかを判定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−９８９０１号公報
【特許文献２】特開２００５−５６３８８号公報
【特許文献３】特開２００８−１４６１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、表情判定に必要となる特徴を顔画像から高速に検出しつつ表情判定を行うことも考えられる。例えば、上述したように、鼻孔の位置に基づいて眼部の探索領域を設定する技術では、最終的な検出対象である眼部の探索領域を設定する場合に、眼部とは異なる鼻孔を予め検出する必要がある。しかしながら、カメラなどの撮影装置に対する顔の向きや顔画像の撮影状況によっては、鼻孔を予め検出することができない場合もある。このような場合には、鼻孔の位置に基づいて眼部の探索領域を設定できない。
【０００７】
例えば、鼻の先端の位置に基づいて口角の探索領域を設定する場合を考えてみる。この場合、上述した鼻孔の位置に基づいて眼部の探索領域を設定する技術と同様に、顔の向きや顔画像の撮影状況によっては、鼻の先端の位置を予め検出することができない可能性がある。このため、表情判定に必要となる特徴を顔画像から高速に検出しつつ表情判定を行うことは現状困難である。
【０００８】
開示の技術は、上記に鑑みてなされたものであって、表情判定に用いる特徴点を高速に検出することが可能な表情判定プログラムおよび表情判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する技術は、一つの態様において、コンピュータに、次の各処理を実行させるものである。すなわち、コンピュータに、入力画像を受付け、前記入力画像から顔領域を検出し、前記顔領域から第一の特徴点を抽出し、前記顔領域から第二の特徴点を抽出し、前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択する処理を実行させる。また、コンピュータに、選択した前記少なくとも一つの特徴点に基づいて前記顔領域に領域を設定し、設定した前記領域から、前記第一の特徴点および前記第二の特徴点とは異なる第三の特徴点を検出する処理を実行させる。また、コンピュータに、検出した前記第三の特徴点に基づいて前記入力画像における表情を判定する処理を実行させる。
【発明の効果】
【００１０】
本願の開示する技術の一つの態様によれば、表情判定に用いる特徴点を高速に検出できる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施例１に係る表情判定装置の構成を示す機能ブロック図である。
【図２】図２は、実施例１に係る検出状況記憶部の説明に用いる図である。
【図３】図３は、実施例１に係る処理結果記憶部の説明に用いる図である。
【図４】図４は、実施例１に係るポイント付与テーブルの説明に用いる図である。
【図５】図５は、実施例１に係るポイント付与テーブルの説明に用いる図である。
【図６】図６は、実施例１に係る設定部の説明に用いる図である。
【図７】図７は、実施例１に係る設定部の説明に用いる図である。
【図８】図８は、実施例１に係る設定部の説明に用いる図である。
【図９】図９は、実施例１に係る設定部の説明に用いる図である。
【図１０】図１０は、実施例１に係る設定部の説明に用いる図である。
【図１１】図１１は、実施例１に係る設定部の説明に用いる図である。
【図１２】図１２は、実施例１に係る設定部の説明に用いる図である。
【図１３】図１３は、実施例１に係る特徴点検出部の説明に用いる図である。
【図１４】図１４は、実施例１に係る特徴点検出部の説明に用いる図である。
【図１５】図１５は、実施例１に係る特徴点検出部の説明に用いる図である。
【図１６】図１６は、実施例１に係る判定部の説明に用いる図である。
【図１７】図１７は、実施例１に係る表情判定装置による処理の流れを示す図である。
【図１８】図１８は、実施例１に係る口領域処理範囲の設定処理の流れを示す図である。
【図１９】図１９は、表情判定プログラムを実行する電子機器の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下に、図面を参照しつつ、本願の開示する表情判定プログラムおよび表情判定装置の一実施形態について詳細に説明する。後述する実施例は一実施形態にすぎず、本願の開示する表情判定プログラムおよび表情判定装置を限定するものではない。また、後述する各実施例は処理内容に矛盾を生じさせない範囲で適宜組み合わせることもできる。
【００１３】
以下に説明する実施例１では、例えば、被験者に対し所定のアクションを実行し、所定のアクションに対する被験者の反応を撮影した画像を用いて被験者の表情を判定する場合を例に挙げる。ここで、所定のアクションとは、様々な静止画像や動画像の出力に該当し、例えば、一般的に人が悲しいと感じる画像や楽しいと感じる画像の出力に該当する。
【実施例１】
【００１４】
［表情判定装置の構成（実施例１）］
図１は、実施例１に係る表情判定装置の構成を示す機能ブロック図である。図１に示すように、実施例１に係る表情判定装置２００は、撮影装置１１０、入力部１２０および出力部１３０に接続する。なお、表情判定装置２００は、撮影装置１１０、入力部１２０および出力部１３０を内部に有していてもよい。
【００１５】
図１に示す撮影装置１１０は、例えば、表情判定の対象となる被験者の顔を撮影し、撮影した被験者の顔の画像を表情判定装置２００に送出する。撮影装置１１０は、例えば、カメラであり、被験者の顔を撮影可能な位置に設置される。
【００１６】
入力部１２０は、表情判定装置２００のユーザから指示を入力する。例えば、入力部１２０は、所定のアクションとして被験者に閲覧させるための画像等の選択をユーザから受け付けて入力する。なお、入力部１２０は、キーボードやマウス、タッチパッドなどの入力デバイスを有する。出力部１３０は、所定のアクションとして実行される画像を出力したり、後述する判定部２２４による判定結果などを出力したりする。なお、出力部１３０は、モニタやディスプレイなどの出力デバイスを有し、入力部１２０が有する入力デバイスと協働して、ポインティングデバイス機能を実現することもできる。
【００１７】
図１に示す表情判定装置２００は、画像記憶部２１１、検出状況記憶部２１２、処理結果記憶部２１３およびポイント付与テーブル２１４を有する。なお、画像記憶部２１１、検出状況記憶部２１２、処理結果記憶部２１３およびポイント付与テーブル２１４は、例えば、ＲＡＭ（Random Access Memory）やフラッシュメモリ(flash memory)などの半導体メモリ素子である。表情判定装置２００は、撮影装置１００から被験者の顔の画像（以下、顔画像と表記する）を受け付けると、受け付けた顔の画像を、後述する画像記憶部２１１に格納する。
【００１８】
図１に示す画像記憶部２１１は、撮影装置１００から受け付けた顔画像を記憶する。画像記憶部２１１は、例えば、撮影装置１００から受け付けた画像に対して、撮影装置１００から受け付けた順に降順の数字からなる識別情報を付与し、識別情報を付与した画像を被験者の識別情報に対応付けて記憶する。なお、識別情報として付与する数字は一例に過ぎず、英字や、英字と数字との組合せなど、被験者ごとに画像を一意に識別できればよい。
【００１９】
図１に示す検出状況記憶部２１２は、後述する顔部位検出部２２１による検出状況を記憶する。例えば、検出状況記憶部２１２は、顔画像における被験者の顔の向きに対応づけて、画像の受付数と、この受付数における顔部位の検出成功数とを記憶する。なお、画像の受付数は、後述する顔部位検出部２２１により画像記憶部２１１から読み出され、後述する顔部位検出部２２１により処理された画像数に該当する。検出状況記憶部２１２は、情報処理装置１００が有するディスプレイやモニタなどに対する被験者の顔の向きとして、例えば、９つの方向に区分けされた顔の向きを記憶する。この９つの方向は、上、正面、下の３つの上下方向と、左、正面、右の３つの左右方向とをそれぞれ１つずつ組合せることで定義され、例えば、上下方向および左右方向がともに「正面」である場合には顔の向きは真正面となる。また、検出状況記憶部２１２は、画像の受付数内で、言い換えれば後述する制御部２２０により取り込まれた画像数内で、顔位置、眼、鼻、耳および眼鏡の検出に成功した数を検出成功数として記憶する。なお、顔位置とは、例えば、顔画像における顔の左右の位置に該当し、眼とは顔画像における眼球の中心位置に該当し、鼻とは顔画像における鼻頭の位置に該当し、耳とは顔画像における耳たぶと顔の付け根の位置に該当する。
【００２０】
以下、図２を用いて、検出状況記憶部２１２に記憶される検出状況の一例を説明する。図２は、実施例１に係る検出状況記憶部の説明に用いる図である。例えば、図２に示すように、検出状況記憶部２１２は、顔の向き「正面＋正面」に対応付けて、画像の受付数「１２５」を記憶する。さらに、検出状況記憶部２１２は、顔の向き「正面＋正面」に対応付けて、画像の受付数「１２５」における顔位置の検出成功数「１２５」、眼の検出成功数「１００」、鼻の検出成功数「７５」、耳の検出成功数「５５」、眼鏡の検出成功数「１２５」を記憶する。
【００２１】
なお、上述してきた検出状況記憶部２１２に記憶されている検出状況のデータは、後述する顔部位検出部２２１により更新され、後述する設定部２２２により口領域処理範囲の設定処理に用いられる。また、検出状況のデータは、ユーザが手動で削除しない限り全てのデータを記憶しておいてもよいが、最新のデータから所定の期間まで過去に遡ったデータだけを記憶するようにしてもよい。このようにすれば、検出状況記憶部２１２に記憶されている検出状況のデータを、後述する設定部２２２により口領域処理範囲の設定処理に必要な最小限のデータにとどめておくことができ、検出状況記憶部２１２の記憶領域を圧迫することがない。
【００２２】
図１に示す処理結果記憶部２１３は、後述する特徴点検出部２２３による処理結果を記憶する。例えば、処理結果記憶部２１３は、特徴点検出部２２３による処理結果として、顔画像における口領域の高さ、口領域の幅、右口角位置および左口角位置を対応付けて記憶する。以下、図３を用いて、処理結果記憶部２１３に記憶される処理結果の一例を説明する。図３は、実施例１に係る処理結果記憶部の説明に用いる図である。例えば、図３に示すように、処理結果記憶部２１３は、処理結果ごとに一意に付与されるＩＤ「１」に対応付けて、口領域の高さ「Ｈ１」と、口領域の幅「Ｗ１」と、右口角位置「Ｒ１」と、左口角位置「Ｌ１」とを記憶する。なお、口領域の高さ「Ｈ１」および幅「Ｗ１」として、対応箇所の画素数や、モニタやディスプレイなどの出力デバイス上に表示される画像上の対応箇所の実距離などを採用することができる。
【００２３】
図１に示すポイント付与テーブル２１４は、被験者の表情がどのような感情に起因するものであるか判定するためのポイント付与方法が定義されたテーブルである。例えば、ポイント付与テーブル２１４には、口領域の縦横比率、口領域の面積、右口角に上がり具合および左口角の上がり具合の各項目に対して付与されるポイント数が定義される。以下、図４および図５を用いて、ポイント付与テーブル２１４の一例を説明する。図４および図５は、実施例１に係るポイント付与テーブルの説明に用いる図である。
【００２４】
例えば、図４に示すように、ポイント付与テーブル２１４には、口領域の縦横比率「Ｈ：Ｗ」、口領域の面積「Ｈ×Ｗ」、右口角の上がり具合「ＲＨ÷Ｈ」および左口角の上がり具合「ＬＨ÷Ｈ」の各項目が定義されている。
【００２５】
ここで、図５を用いて、ポイント付与テーブル２１４に定義されている各項目について説明する。図５に示す「ＭＡ」は口領域を表し、図５に示す「Ｌ」は左口角位置を表し、図５に示す「Ｒ」は右口角位置を表す。また、図５に示す「ＬＨ」は左口角位置までの高さを表し、図５に示す「ＲＨ」は右口角位置までの高さを表す。また、図５に示す「Ｈ」は口領域の高さ、言い換えれば図５における口領域の縦の長さを表し、図５に示す「Ｗ」は口領域の幅、言い換えれば図５における口領域の横の長さを表す。また、図５に示すように、ポイント付与テーブル２１４に定義されている口領域の縦横比率「Ｈ：Ｗ」は、口領域の高さと幅との比に該当する。また、図５に示すように、ポイント付与テーブル２１４に定義されている口領域の面積「Ｈ×Ｗ」は、口領域の高さと幅との積に該当する。また、図５に示すように、右口角の上がり具合「ＲＨ÷Ｈ」は、口領域の高さと左口角位置までの高さとの比に該当する。また、図５に示すように、左口角の上がり具合「ＬＨ÷Ｈ」は、口領域の高さと左口角位置までの高さとの比に該当する。なお、図５に示すは左口角位置「Ｌ」および右口角位置「ＲＨ」は、例えば、後述する特徴点検出部２２３により口領域として決定された矩形領域の頂点の一つを基準とする画像上の座標値を採用できる。
【００２６】
図４に戻り、ポイント付与テーブル２１４は、顔画像についての上述の各項目の値と、通常時における各項目の値との開き具合に応じて、表情に現れる感情ごとに付与すべきポイント数が定義されている。図４に示す通常度とは、被験者の表情に感情が現れていないではない状態、言い換えれば無表情の状態を示す度合いである。また、図４に示す恐怖度とは、被験者の表情に不安などの感情が表れている状態を示す度合いである。また、図４に示す笑い度とは、被験者の表情に快楽に紐付く感情が表れている状態を示す度合いである。また、図４に示す嫌悪度とは、被験者の表情に嫌悪感などの感情が表れている状態を示す度合いである。また、図４に示す悲しみ度とは、被験者の表情に悲しみの感情が表れている状態を示す度合いである。また、図４に示す冷笑度とは、被験者の表情に軽蔑や愚弄に紐付く感情が表れている状態を示す度合いである。
【００２７】
そして、図４に示すように、ポイント付与テーブル２１４には、口領域の縦横比率「Ｈ：Ｗ」の値が通常時と同じである場合に、通常度に対し１ポイント付与すべき旨が定義されている。また、図４に示すように、ポイント付与テーブル２１４には、口領域の縦横比率「Ｈ：Ｗ」の値が通常時よりも大きい場合に、恐怖度、嫌悪度に対しそれぞれ１ポイント、笑い度に対し２ポイントを付与すべき旨が定義されている。また、図４に示すように、ポイント付与テーブル２１４には、口領域の縦横比率「Ｈ：Ｗ」の値が通常時よりも小さい場合に、悲しみ度に対し１ポイントを付与すべき旨が定義されている。
【００２８】
ここで、上述した通常時に対応するデータには、以下に説明するいずれかのデータを設定する。例えば、所定のアクションを実行する以前の処理結果記憶部２１３に記憶されているデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置を通常時のデータとして設定する。あるいは、所定のアクションを実行する以前の処理結果記憶部２１３に記憶されているデータのうち最も出現頻度の高いデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置を通常時のデータとして設定する。あるいは、被験者が無表情であるときのデータを採取し、このデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置を通常時のデータとして設定する。
【００２９】
なお、図４に示すポイント付与テーブル２１４は、後述する判定部２２４によるポイントの付与時に参照される。
【００３０】
図１に戻り、表情判定装置２００は、顔部位検出部２２１、設定部２２２、特徴点検出部２２３および判定部２２４を有する。なお、顔部位検出部２２１、設定部２２２、特徴点検出部２２３および判定部２２４は、例えば、電子回路や集積回路に該当する。電子回路としては、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）がある。また、集積回路としては、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array)などがある。
【００３１】
表情判定装置２００は、上述した入力部１２０を介して、所定のアクションの実行指示をユーザから受け付けると、所定のアクションを実行する。ここで、所定のアクションとは、例えば、被験者の表情の変化を取得する為に静止画像や動画像の出力を実行するアクションに該当する。静止画像としては、例えば、ユニークな動物の写真や凄惨な場面の写真などがあげられる。動画像としては、コメディ映画やお笑い番組のほか、凄惨な現状を報道するドキュメンタリー番組などがあげられる。所定のアクションは、例えば、図１には示していない所定の制御部などが実行してもよい。
【００３２】
顔部位検出部２２１は、画像記憶部２１１から顔画像を取り込み、取り込んだ顔画像内から、既存技術を用いて顔位置、眼、鼻、耳および眼鏡などの顔部位を検出する。さらに、顔部位検出部２２１は、顔画像における顔の向きを検出する。
【００３３】
例えば、顔部位検出部２２１は、顔画像において垂直方向に隣り合って配列される各画素値を加算し、加算値の水平方向の分布から顔領域を特定することにより、顔の輪郭、つまり顔位置を検出する。また、顔部位検出部２２１は、顔画像から鼻の位置を検出し、検出された鼻の位置および顔の位置に基づいて顔の向きを検出する。なお、顔の位置や顔の向きの検出には、例えば、特許第４２０４３３６号公報に開示された技術を利用する。
【００３４】
また、顔部位検出部２２１は、顔画像において眼である可能性のある領域について、時系列的に前後の画像データにおける変化に基づき眼の領域を特定する。なお、眼の位置の検出には、例えば、特許第４１６２５０３号公報に開示された技術を利用する。また、顔部位検出部２２１は、顔画像の水平方向の輝度が急激に変化する箇所を強調するフィルタ処理にて、水平方向に並ぶ輝度が低い画素列の両端を検出することで鼻孔を含む領域を検出する。なお、鼻の位置の検出には、例えば、特許第４３６４２７５号公報に開示された技術を利用する。また、顔部位検出部２２１は、顔画像から顔領域を検出し、顔領域を基準として耳を含むと推定される検出処理領域を算出し、検出処理領域において耳の輪郭を抽出する。なお、耳の位置の検出には、特開２００７−２５７５７４号公報に開示された技術を利用する。また、顔部位検出部２２１は、顔画像の顔領域にフィルタ処理を行ってエッジの強い箇所を検出することにより眼鏡を検出する。なお、眼鏡の位置の検出には、例えば、特開２００８−２６９１８２号公報に開示された技術を利用する。
【００３５】
また、顔部位検出部２２１は、顔画像内から眼鏡を検出する場合を説明するが、これに限定されるものではなく、例えば、眼鏡以外のサングラスなどを検出するようにしてもよい。なお、サングラスの検出には、例えば、特開２０１０−１５７０７３号公報に開示された技術を利用する。
【００３６】
設定部２２２は、顔部位検出部２２１により検出された顔部位に基づいて顔画像に対して口領域処理範囲を設定する。例えば、設定部２２２は、顔部位検出部２２１により顔部位の検出が行われると検出状況記憶部２１２の検出状況を更新する。つまり、設定部２２２は、顔の向きに対応する画像の受付数および顔部位の検出成功数を更新する。次に、設定部２２２は、顔の向きに対応する各顔部位の検出率を算出し、算出した検出率の高い順に各顔部位をソートする。続いて、設定部２２２は、顔部位検出部２２１により検出された顔部位の中から、検出率の上位２つの顔部位を取得し、取得した２つの顔部位を用いて口領域処理範囲を設定する。以下、図６〜１２を用いて、設定部２２２による口領域処理範囲の設定について説明する。図６〜１２は、実施例１に係る設定部の説明に用いる図である。
【００３７】
例えば、設定部２２２は、検出率の上位２つの顔部位として、顔位置と鼻を取得したとする。この場合、設定部２２２は、図６に示すように、顔位置ＦＰおよび鼻の位置ＮＰを用いて、顔位置ＦＰで得られる顔画像の領域のうち鼻の位置ＮＰから下半分の領域α１を口領域処理範囲に設定する。
【００３８】
また、設定部２２２は、検出率の上位２つの顔部位として、顔位置と眼を取得したとする。この場合、設定部２２２は、図７に示すように、顔位置ＦＰおよび眼の位置ＥＰを用いて、領域α１を口領域処理範囲に設定する。例えば、設定部２２２は、顔位置ＦＰにより得られる顔の幅ＸのＮ％に相当する値を計算する。続いて、設定部２２２は、顔の幅ＸのＮ％に相当する値だけ眼の位置ＥＰを基点として顔画像の下側に進んだ位置から、顔位置ＦＰで得られる顔画像の領域の下半分の領域α２を口領域処理範囲として設定する。なお、上述したＮの値は、例えば、眼と口との平均的な位置関係により予め設定されているものとする。
【００３９】
また、設定部２２２は、検出率の上位２つの顔部位として、顔位置と耳を取得したとする。この場合、設定部２２２は、図８に示すように、顔位置ＦＰおよび耳の位置ＥＲＰを用いて、顔位置ＦＰで得られる顔画像の領域のうち耳の位置ＥＲＰから下半分の領域α３を口領域処理範囲に設定する。
【００４０】
設定部２２２は、検出率の上位２つの顔部位として、顔位置と眼鏡を取得したとする。この場合、設定部２２２は、図９に示すように、顔位置ＦＰおよび眼鏡の部品であるブリッジの位置ＧＰを用いて、領域α４を口領域処理範囲に設定する。例えば、設定部２２２は、顔位置ＦＰにより得られる顔の幅ＸのＭ％に相当する値を計算する。続いて、設定部２２２は、顔の幅ＸのＭ％に相当する値だけ眼鏡のブリッジの位置ＧＰを基点として画像の下側に進んだ位置から、顔位置ＦＰで得られる顔画像の領域の下半分の領域α４を口領域処理範囲として設定する。なお、上述したＭの値は、例えば、眼鏡を構成する部品であるブリッジと口との平均的な位置関係により予め設定されているものとする。
【００４１】
上述してきた図６〜図９では、設定部２２２は、検出率の上位２つの顔部位を用いて口領域処理範囲を設定する場合を説明したが、これに限られるものではなく、顔部位検出部２２１により検出された顔部位の１つを用いて口領域処理範囲を設定してもよい。例えば、設定部２２２は、図１０に示すように、顔部位検出部２２１により検出された顔位置を用いて顔画像中の顔領域の矩形ＦＡを求める。そして、設定部２２２は、顔領域の矩形ＦＡの下半分の領域α５を口領域処理範囲に設定する。例えば、顔部位検出部２２１により検出された顔部位のうち信頼度の高い顔部位が顔位置のみである場合などには、設定部２２２は、顔位置のみを用いて口領域処理範囲に設定できる。
【００４２】
なお、顔位置のみを用いた口領域処理範囲の設定は一例であり、顔部位検出部２２１により検出された顔部位のうち信頼度の高い顔部位が眼や鼻、耳のみの場合には、設定部２２２は、眼や鼻、耳のいずれかのみを用いて口領域処理範囲に設定することもできる。例えば、信頼度の高い顔部位が眼のみである場合、設定部２２２は、顔画像の領域のうち、顔の幅ＸのＮ％に相当する値だけ眼の位置ＥＰを基点として顔画像の下側に進んだ位置から下半分の領域を口領域処理範囲に設定する。また、例えば、信頼度の高い顔部位が鼻のみである場合、設定部２２２は、顔画像の領域のうち鼻の位置ＮＰから下半分の領域を口領域処理範囲に設定する。また、例えば、信頼度の高い顔部位が耳のみである場合、設定部２２２は、顔画像の領域のうち耳の位置ＥＲＰから下半分の領域を口領域処理範囲に設定する。
【００４３】
また、上述してきた図６〜図９では、設定部２２２は、検出率の上位２つの顔部位として、顔位置と他の顔部位のいずれかを用いて口領域処理範囲を設定する場合を説明したが、これに限られるものではない。検出率の上位２つの顔部位が顔位置以外の２つの顔部位である場合、設定部２２２は、これらの顔部位を用いて口領域処理範囲を設定することもできる。
【００４４】
例えば、設定部２２２は、検出率の上位２つの顔部位として、眼と鼻を取得したとする。この場合、設定部２２２は、図１１に示すように、眼の位置ＥＰおよび鼻の位置ＮＰを用いて、顔画像の領域うち領域α６を口領域処理範囲に設定する。
【００４５】
また、設定部２２２は、例えば、検出率の上位２つの顔部位として、眼と耳を取得したとする。この場合、設定部２２２は、図１２に示すように、眼の位置ＥＰおよび耳の位置ＥＲＰを用いて、顔画像の領域うち領域α７を口領域処理範囲に設定する。
【００４６】
なお、設定部２２２は、顔位置、眼、鼻、耳および眼鏡などの顔部位の位置として、画像の左下の画素を基準とする画像上の座標値などを採用することができる。また、設定部２２２は、顔の幅Ｘとして、対応箇所の画素数や画像上の実距離などを採用できる。
【００４７】
図１に示す特徴点検出部２２３は、設定部２２２により設定された口領域処理範囲から右口角および左口角を特徴点として検出する。例えば、特徴点検出部２２３は、設定部２２２により設定された口領域処理範囲内の画素分布に基づいて、この領域内において右口角および左口角を含む矩形の口領域を決定する。続いて、特徴点検出部２２３は、決定した口領域に対して、右口角用のフィルタおよび左口角用のフィルタをそれぞれ用いてフィルタ処理を行う。そして、特徴点検出部２２３は、右口角用のフィルタを用いたフィルタ処理により得られるフィルタ応答のピークとなる顔画像の位置を右口角として検出する。さらに、特徴点検出部２２３は、左口角用のフィルタを用いたフィルタ処理により得られるフィルタ応答がピークとなる顔画像の位置を左口角として検出する。以下、図１３〜１５を用いて特徴点検出部２２３について説明する。図１３〜図１５は、実施例１に係る特徴点検出部の説明に用いる図である。
【００４８】
まず、図１３を用いて特徴点検出部２２３による口領域の決定について説明する。図１３に示すαは、口領域処理範囲を示す。また、図１３に示すｘ軸は顔画像の対応位置を示し、図１３に示すｙ軸は顔画像上の画素値を示す。また、図１３に示すＰ１およびＰ２はｘ軸の方向に画素値を投影した結果を示す。特徴点検出部２２３は、口領域処理範囲の画素値を図１３に示すｘ軸の方向にそれぞれ投影して、各ｘ軸方向での画素値の投影結果を取得する。そして、特徴点検出部２２３は、口領域処理範囲にて、各ｘ軸方向の画素値の投影結果が交わる矩形領域ＭＡを口領域として決定する。
【００４９】
次に、図１４を用いて特徴点検出部２２３による左口角検出処理範囲および右口角検出処理範囲の決定について説明する。図１４に示すβ１は、左口角を検出するための左口角検出処理範囲の一例であり、図１４に示すβ２は、右口角を検出するための右口角検出処理範囲の一例である。なお、図１４に示すＭＡは口領域であり、図１３に示すＭＡと同一である。
【００５０】
図１４に示すように、特徴点検出部２２３は、口領域処理範囲にて決定した口領域ＭＡに対して、左口角検出処理範囲β１および右口角検出処理範囲β２をそれぞれ設定する。例えば、特徴点検出部２２３は、図１４に示すように、口領域ＭＡである矩形領域の左の短辺の中点を中心とする所定サイズの矩形領域を左口角検出処理範囲β１に設定する。同様に、特徴点検出部２２３は、図１４に示すように、口領域ＭＡである矩形領域の右の短辺の中点を中心とする所定サイズの矩形領域を右口角検出処理範囲β２に設定する。
【００５１】
続いて、図１５を用いて特徴点検出部２２３による左口角および右口角の検出について説明する。図１５に示すＦ１は左口角を検出する為のフィルタの一例であり、図１５に示すＦ２は左口角を検出する為のフィルタの一例である。図１５にて点線で示すように、口形状の類似領域が画像上にある場合に、フィルタＦ１は、左口角に相当する位置でフィルタの応答がピークとなるようにフィルタの値が設定される。同様に、フィルタＦ２は、口形状の類似領域が画像上にある場合に、右口角に相当する位置でフィルタの応答がピークとなるようにフィルタの値が設定される。
【００５２】
そこで、特徴点検出部２２３は、まず、図１５に示すフィルタＦ１を用いて、図１４に示す左口角検出処理範囲をフィルタ処理する。そして、特徴点検出部２２３は、フィルタ処理により得られるフィルタ応答がピークとなる左口角検出処理範囲内の左口角の位置を検出する。同様に、特徴点検出部２２３は、図１５に示すフィルタＦ２を用いて、図１４に示す右口角検出処理範囲をフィルタ処理する。そして、特徴点検出部２２３は、フィルタ処理により得られるフィルタ応答がピークとなる右口角検出処理範囲内の右口角の位置を検出する。そして、特徴点検出部２２３は、検出した左口角の位置および右口角の位置を、口領域として決定した矩形領域ＭＡの頂点の一つを基準とする画像上の座標を求め、左口角の位置および右口角の位置として決定する。
【００５３】
左口角および右口角の検出を完了すると、特徴点検出部２２３は、口領域の縦および横の長さ、口領域における右口角の位置および左口角の位置を処理結果記憶部２１３に保存する。なお、口領域の縦および横の長さは、例えば、対応箇所の画素数や画像上の実距離を採用できる。また、右口角および左口角の位置は、上述したように、口領域として決定した矩形領域の頂点の一つを基準とする画像上の座標値を採用できる。
【００５４】
図１に示す判定部２２４は、特徴点検出部２２３により検出された左口角および右口角の位置に基づいて表情判定処理を実行する。例えば、判定部２２４は、ポイント付与テーブル２１４を参照し、特徴点検出部２２３により検出された口領域の縦横比率、口領域の面積、口領域における左口角および右口角の位置に応じて、被験者の表情を判定するためのポイントを付与する処理を実行する。以下、図１６を用いて、判定部２２４について説明する。図１６は、実施例１に係る判定部の説明に用いる図である。図１６に示すＭＡは口領域であり、図１６に示すＬは左口角の位置であり、図１６に示すＲは右口角の位置である。
【００５５】
また、図１６に示す１６Ａは、口領域の面積、口領域における右口角の位置および左口角の位置の通常時のデータを示す。なお、通常時のデータについては上述したが、判定部２２４は、以下に説明するいずれかのデータを利用する。例えば、判定部２２４は、所定のアクションを実行する以前の処理結果記憶部２１３に記憶されているデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置のデータを採用する。あるいは、判定部２２４は、所定のアクションを実行する以前の処理結果記憶部２１３に記憶されているデータのうち最も出現頻度の高いデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置のデータを利用する。あるいは、判定部２２４は、被験者が無表情であるときのデータを採取し、このデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置のデータを利用する。また、図１６に示す１６Ｂおよび１６Ｃは、特徴点検出部２２３により検出された口領域の面積、口領域における左口角および右口角の位置の一例を示す。
【００５６】
判定部２２４は、特徴点検出部２２３による検出結果と通常時との比較結果をポイント付与テーブル２１４に照らし合わせて、口領域の縦横比率、口領域の面積、右口角に上がり具合および左口角の上がり具合の各項目に対してポイントを付与する。
【００５７】
例えば、判定部２２４は、１６Ａと１６Ｂとを比較すると、口領域の縦横比率が同じであるので、通常度に１ポイント付与する。また、判定部２２４は、１６Ａと１６Ｂとを比較すると、口領域の面積が通常時と同じであるので、通常度に１ポイント付与する。また、判定部２２４は、１６Ａと１６Ｂとを比較すると、右口角の上がり具合が通常時よりも小さいので、悲しみ度、恐怖度、嫌悪度にそれぞれ１ポイント付与する。また、判定部２２４は、１６Ａと１６Ｂとを比較すると、左口角の上がり具合が通常時よりも小さいので、恐怖度に１ポイント付与する。なお、判定部２２４は、１６Ａと１６Ｂとを比較した結果、右口角の位置と左口角の位置とに差異はないので、冷笑度に対するポイントは付与しない。口領域の縦横比率が同じであるので、通常度に１ポイント付与する。
【００５８】
また、判定部２２４は、１６Ａと１６Ｃとを比較すると、口領域の縦横比率が通常時よりも大きいので、恐怖度および嫌悪度にそれぞれ１ポイントを付与し、笑い度に２ポイントを付与する。また、判定部２２４は、１６Ａと１６Ｃとを比較すると、口領域の面積が通常時と同じであるので、笑い度に２ポイントを付与し、恐怖度に１ポイントを付与する。また、判定部２２４は、１６Ａと１６Ｃとを比較すると、右口角の上がり具合が通常時よりも大きいので、笑い度に３ポイント付与する。また、判定部２２４は、１６Ａと１６Ｃとを比較すると、左口角の上がり具合が通常時よりも大きいので、笑い度に３ポイント付与する。なお、判定部２２４は、１６Ａと１６Ｃとを比較した結果、右口角の位置と左口角の位置とに差異がないので、冷笑度に対するポイントは付与しない。
【００５９】
そして、判定部２２４は、表情判定の処理を完了すべきかどうかを判定する。そして、判定部２２４は、判定の結果、処理を完了すべきである場合には、所定のアクションに対応付けて、表情判定の処理結果を出力する。表情判定の処理結果としては、上述したように、例えば、アクションとして出力された静止画像の内容に対応付けて、通常度、恐怖度、嫌悪度、悲しみ度、冷笑度に対して付与されたポイントが出力される。
【００６０】
なお、判定部２２４は、例えば、所定のアクションとして静止画像の出力を実行した場合には、上述したポイントの付与を持って処理を完了すべきものと判定する。また、判定部２２４は、所定のアクションとして動画像の出力を実行した場合、動画像の再生終了を条件に処理を完了すべきものと判定する。なお、判定部２２４は、動画像の再生が終了していない場合には、表情判定の処理を継続すべきものと判定し、次に取得した顔画像について顔部位の検出を行うように顔部位検出部２２１に依頼する。
【００６１】
［表情判定装置による処理（実施例１）］
続いて、図１７を用いて、表情判定装置による処理の流れを説明する。図１７は、実施例１に係る表情判定装置による処理の流れを示す図である。なお、図１７に示す処理は、例えば、制御部２２０によりユーザから所定のアクションの実行指示を受け付けたことが判定されると開始される。
【００６２】
図１７に示すように、表情判定装置２００は所定のアクションを実行する（ステップＳ１０１）。次に、顔部位検出部２２１は、画像記憶部２１１から顔画像を取り込み（ステップＳ１０２）、取り込んだ顔画像内から、既存技術を用いて顔位置、眼、鼻、耳および眼鏡などの顔部位を検出する（ステップＳ１０３）。続いて、設定部２２２は口領域処理範囲の設定処理を実行する（ステップＳ１０４）。なお、口領域処理範囲の設定処理については後述する。
【００６３】
次に、特徴点検出部２２３は、設定部２２２により設定された口領域処理範囲内における口領域を決定する（ステップＳ１０５）。続いて、特徴点検出部２２３は、口領域から、右口角を検出するための右口角検出処理範囲を設定する（ステップＳ１０６）。そして、特徴点検出部２２３は、右口角検出処理範囲から右口角を検出する（ステップＳ１０７）。
【００６４】
次に、特徴点検出部２２３は、口領域から、左口角を検出するための左口角検出処理範囲を設定する（ステップＳ１０８）。続いて、特徴点検出部２２３は、左口角検出処理範囲から左口角を検出する（ステップＳ１０９）。そして、特徴点検出部２２３は、口領域の縦および横の長さ、口領域における右口角の位置および左口角の位置を処理結果記憶部２１３に保存する（ステップＳ１１０）。
【００６５】
次に、判定部２２４は特徴点検出部２２３により検出された口領域の縦横比率、口領域の面積、口領域における左口角および右口角の位置に基づいて表情判定を実行する（ステップＳ１１１）。続いて、判定部２２４は、処理を完了すべきか否かを判定する（ステップＳ１１２）。そして、処理を完了すべきものと判定した場合には（ステップＳ１１２，Ｙｅｓ）、判定部２２４は、所定のアクションに対応付けて表情判定結果を出力する（ステップＳ１１３）。一方、処理を完了すべきものと判定しなかった場合には（ステップＳ１１２，Ｎｏ）、判定部２２４は、上述したステップＳ１０２に処理を移行させる。
【００６６】
続いて、図１８を用いて、口領域処理範囲の設定処理の流れを説明する。図１８は、実施例１に係る口領域処理範囲の設定処理の流れを示す図である。図１８に示すように、設定部２２２は、顔部位検出部２２１により顔部位の検出が行われると検出状況記憶部２１２の検出状況を更新する（ステップＳ２０１）。
【００６７】
次に、設定部２２２は、顔の向きに対応する各顔部位の検出率を算出し（ステップＳ２０２）、算出した検出率の高い順に各顔部位をソートする（ステップＳ２０３）。続いて、設定部２２２は、検出率の上位２つの顔部位を取得し（ステップＳ２０４）、取得した２つの顔部位を用いて口領域処理範囲を設定する（ステップＳ２０５）。
【００６８】
［実施例１による効果］
上述してきたように、実施例１では、顔画像から複数の顔部位を検出し、検出した複数の顔部位の少なくとも１つを用いて口領域処理範囲を設定して、口領域処理範囲から右口角および左口角の位置を検出する。仮に、表情判定に用いる右口角および左口角の位置を検出するための口領域処理範囲を予め設定することができなければ、顔画像全体について右口角および左口角の位置の検出処理を行う必要がある。これに対し、実施例１によれば、特徴点である右口角および左口角の位置を検出するための口領域処理範囲を予め設定するので、顔画像全体について処理する場合に比べて、表情判定に用いる特徴点を高速に検出できる。
【００６９】
また、実施例１では、口領域処理範囲の画素分布に基づいて右口角および左口角を含む口領域を決定し、決定した口領域の縦横比率、口領域の面積および口領域における右口角の位置および左口角の位置に応じたポイントを付与することで被験者の表情を判定する。このため、実施例１によれば、口や口角に現れる変化に応じた細かいスコアリンクができ、被験者の表情を簡易かつ詳細に判定できる。
【００７０】
また、実施例１では、顔画像における顔の向きを検出し、顔の向きに対応付けて顔画像の受付数、該受付数における顔部位の検出成功数をそれぞれ検出状況記憶部２１２に保存する。続いて、実施例１では、顔の向きに対応する顔画像の受付数、この受付数における顔部位の検出成功数を取得し、取得した受付数および検出成功数を用いて顔部位ごとの検出率を算出する。そして、実施例１では、検出率に基づいて、検出した顔部位の中から少なくとも１つを取得し、取得した顔部位を用いて口領域処理範囲を設定する。このため、実施例１によれば、顔画像における顔の向きに応じて、より信頼度の高い顔部位を選択でき、選択した顔部位により口領域処理範囲を精度良く設定できる。
【００７１】
また、実施例１において、検出した顔部位の中から、検出率の高い顔部位を顔向きに関係なく選択するようにしてもよい。このようにすれば、顔画像の撮影状況に関係なく、現状で最も信頼度の高い顔部位を用いて口領域処理範囲を設定できる。
【００７２】
また、実施例１では、表情の判定に用いる特徴点以外、言い換えれば右口角および左口角以外の他の顔部位を用いて、右口角および左口角を探索する口領域処理範囲を設定する場合を説明した。しかしながら、この場合に限定されるものではなく、例えば、眼が探索対象とする場合には、眼以外の他の顔部位を用いて眼を探索する領域を設定するなど、実施例１で説明した方法は、口角以外の他の顔部位を探索する領域の設定にも同様に適用できる。
【００７３】
なお、表情判定装置２００は、様々な状況が映し出された静止画像や動画像の出力を所定のアクションとして実行する場合を説明したが、これに限定されるものではない。例えば、表情判定装置２００のユーザが被験者と楽しい話題や悲しい話題の会話をするというアクションを実行してもよい。この場合、会話中の被験者の顔画像を取得し、被験者の表情を判定する。
【００７４】
また、表情判定装置２００は、例えば、パーソナルコンピュータやスマートフォンなどの情報処理装置に実装することができる。例えば、医療従事者が使用する情報処理装置に表情判定装置２００が実装される場合には、表情判定装置２００による表情判定の処理結果がカルテシステムなどに出力される。カルテシステムでは、被験者である患者の情報に関連付けて表情判定の処理結果が保存される。また、例えば、所定のｗｅｂサイトにアクセスするユーザのスマートフォンに表情判定装置２００が実装される場合には、表情判定装置２００による表情判定の処理結果が、例えば、ｗｅｂサイトを運営するサーバなどに出力される。ｗｅｂサイトを運営するサーバでは、ｗｅｂサイトにアクセス中のユーザの情報に関連付けて表情判定の処理結果が保存される。
【００７５】
また、表情判定装置２００は、例えば、車両に搭載されるマイコンに実装することもできる。この場合、表情判定装置２００は、車両の移動中、運転者の顔画像を継続的に取得して運転者の表情を判定し、表情の判定結果を車両制御ユニットに出力する。車両制御ユニットでは、運転者の表情の判定結果に応じて警告の報知や車両制御が実行される。
【実施例２】
【００７６】
以下、本願の開示する表情判定プログラムおよび表情判定装置の他の実施形態を説明する。
【００７７】
（１）装置構成等
例えば、図１に示した表情判定装置２００の機能ブロックの構成は概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、図１に示した顔部位検出部２２１を、顔位置の検出機能と顔部位の検出機能とに機能的または物理的に分離してもよい。このように、例えば、図１に示した表情判定装置２００の機能ブロックの全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。
【００７８】
（２）表情判定プログラム
また、上述の実施例にて説明した表情判定装置２００により実行される各種の処理は、例えば、電子回路や集積回路などの電子機器で所定のプログラムを実行することによって実現できる。
【００７９】
そこで、以下では、図１９を用いて、上述の実施例にて説明した表情判定装置２００により実行される処理と同様の機能を実現する表情判定プログラムを実行するコンピュータの一例を説明する。図１９は、表情判定プログラムを実行する電子機器の一例を示す図である。
【００８０】
図１９に示すように、表情判定装置２００により実行される各種処理を実現する電子機器３００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）３１０を有する。また、図１９に示すように、電子機器３００は、外部からのデータ入力を受け付ける入力インターフェース３２０、カメラ画像を取得するためのカメラインターフェース３３０、外部へデータを出力する出力インターフェース３４０を有する。
【００８１】
また、図１９に示すように、電子機器３００は、ＣＰＵ３１０により各種処理を実現するためのプログラムやデータ等を記憶するハードディスク装置３５０と、各種情報を一時記憶するＲＡＭ（Random Access Memory）などのメモリ３６０とを有する。そして、各装置３１０〜３６０は、バス３７０に接続される。
【００８２】
なお、ＣＰＵ３１０の代わりに、例えば、ＭＰＵ（Micro Processing Unit）などの電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ(Field Programmable Gate Array)などの集積回路を用いることもできる。また、メモリ３６０の代わりに、フラッシュメモリ(flash memory)などの半導体メモリ素子を用いることもできる。
【００８３】
ハードディスク装置３５０には、表情判定装置２００の機能と同様の機能を発揮する表情判定プログラム３５１および表情判定用データ３５２が記憶されている。なお、この表情判定プログラム３５１を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。
【００８４】
そして、ＣＰＵ３１０が、表情判定プログラム３５１をハードディスク装置３５０から読み出してメモリ３６０に展開することにより、図１９に示すように、表情判定プログラム３５１は表情判定プロセス３６１として機能する。表情判定プロセス３６１は、ハードディスク装置３５０から読み出した表情判定用データ３５２等の各種データを適宜メモリ３６０上の自身に割当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。
【００８５】
なお、表情判定プロセス３６１は、例えば、上述した表情判定装置２００の制御部２２０にて実行される処理、例えば、図１７、図１８を用いて説明した処理を含む。
【００８６】
なお、表情判定プログラム３５１については、必ずしも最初からハードディスク装置３５０に記憶させておく必要はない。例えば、電子機器３００が実装されたＥＣＵへ対応ドライブを接続可能なフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、電子機器３００がこれらから各プログラムを読み出して実行するようにしてもよい。
【００８７】
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介して、電子機器３００が実装されたＥＣＵに接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておく。そして、電子機器３００がこれらから各プログラムを読み出して実行するようにしてもよい。
【００８８】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００８９】
（付記１）コンピュータに、
入力画像を受付け、
前記入力画像から顔領域を検出し、
前記顔領域から第一の特徴点を検出し、
前記顔領域から第二の特徴点を検出し、
前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択し、
選択した前記少なくとも一つの特徴点に基づいて、前記顔領域に領域を設定し、
設定した前記領域から、前記第一の特徴点および前記第二の特徴点とは異なる第三の特徴点を検出し、
検出した前記第三の特徴点に基づいて前記入力画像における表情を判定する
処理を実行させることを特徴とする表情判定プログラム。
【００９０】
（付記２）前記第三の特徴点を検出する処理は、前記領域内の画素値の分布に基づいて前記第三の特徴点を含む矩形領域を決定して、該矩形領域から前記第三の特徴点を検出し、
前記表情を判定する処理は、決定した前記矩形領域の縦横比率、該矩形領域の面積および該矩形領域における前記第三の特徴点の位置のいずれか一つ又は複数に基づいて、前記表情を判定することを特徴とする付記１に記載の表情判定プログラム。
【００９１】
（付記３）前記コンピュータに、
前記入力画像における顔の向きを検出し、
前記顔の向きに対応付けて、前記入力画像の受付数、該受付数における前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数をそれぞれ記憶部に保存する
処理をさらに実行させ、
前記少なくとも一つの特徴点を選択する処理は、前記顔の向きに対応する前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数を前記記憶部からそれぞれ取得し、取得した前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数に基づいて、前記第一の特徴点および前記第二の特徴点の検出率をそれぞれ算出し、算出した検出率に基づいて、前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択することを特徴とする付記１に記載の表情判定プログラム。
【００９２】
（付記４）前記コンピュータに、
前記入力画像の受付前に所定のアクションを実行し、
前記表情を判定する処理の処理結果と前記所定のアクションの情報とを対応付けて出力する
処理をさらに実行させることを特徴とする付記１に記載の表情判定プログラム。
【００９３】
（付記５）入力画像から顔領域を検出し、該顔領域に含まれる第一の特徴点および第二の特徴点を検出する顔部位検出部と、
前記顔部位検出部により抽出された第一の特徴点と第二の特徴点のうち、少なくとも一つの特徴点を選択し、選択した少なくとも一つの特徴点に基づいて前記顔領域に領域を設定する設定部と、
前記設定部により設定された領域から、前記第一の特徴点および前記第二の特徴点とは異なる第三の特徴点を検出する特徴点検出部と、
前記特徴点検出部により検出された第三の特徴点に基づいて前記入力画像における表情を判定する判定部と
を有することを特徴とする表情判定装置。
【００９４】
（付記６）前記特徴点検出部は、前記設定部により設定された前記領域内の画素分布に基づいて前記第三の特徴点を含む矩形領域を決定して、該矩形領域から前記第三の特徴点を検出し、
前記判定部は、前記検出部により決定された前記矩形領域の縦横比率、該矩形領域の面積および該矩形領域における前記第三の特徴点の位置のいずれか一つ又は複数に基づいて、前記表情を判定することを特徴とする付記５に記載の表情判定装置。
【００９５】
（付記７）前記顔部位検出部は、前記入力画像における顔の向きを検出して、検出した顔の向きに対応付けて、前記入力画像の処理数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数をそれぞれ記憶部に格納し、
前記特徴点検出部は、前記顔部位検出部により検出された顔の向きに対応する前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数を前記記憶部からそれぞれ取得し、取得した前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数に基づいて、前記第一の特徴点および前記第二の特徴点の検出率をそれぞれ算出し、算出した検出率に基づいて、前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択することを特徴とする付記５に記載の表情判定装置。
【００９６】
（付記８）前記判定部は、前記入力画像の受付前に所定のアクションを実行し、前記表情の判定結果と前記所定のアクションの情報とを対応付けて出力することを特徴とする付記５に記載の表情判定装置。
【符号の説明】
【００９７】
１００ 情報処理装置
１１０ 撮像装置
１２０ 入力部
１３０ 出力部
２００ 表情判定装置
２１１ 画像記憶部
２１２ 検出状況記憶部
２１３ 処理結果記憶部
２１４ ポイント付与テーブル
２２１ 顔部位検出部
２２２ 設定部
２２３ 特徴点検出部
２２４ 判定部
３００ 電子機器
３１０ ＣＰＵ
３２０ 入力インターフェース
３３０ カメラインターフェース
３４０ 出力インターフェース
３５０ ハードディスク装置
３５１ 表情判定プログラム
３５２ 表情判定用データ
３６０ メモリ
３６１ 表情判定プロセス
３７０ バス
【技術分野】
【０００１】
本願の開示する技術は、表情判定プログラムおよび表情判定装置に関連する。
【背景技術】
【０００２】
従来、顔を撮影した顔画像から特徴部分を検出し、検出した特徴部分に基づいて顔の表情を判定する技術がある。
【０００３】
上述した表情を判定する技術の中には、鼻の先端、左口角および右口角の位置を用いて表情を判定するものがある。例えば、この技術では、入力画像から顔が存在する顔画像領域を抽出し、顔画像領域から鼻の先端、左口角および左口角の位置を特徴点としてそれぞれ抽出する。そして、この技術では、鼻の先端を基準として、鼻の先端と左右の口角位置とのなす角度を計測し、計測した角度の時間変化から表情を判定する。また、上述した表情を判定する技術の中には、真顔の画像、言い換えれば無表情の状態の画像から予め抽出された複数の参照特徴を用いて表情を判定するものもある。ここで、参照特徴とは、入力画像における眼や鼻、口などの顔の特徴部分をパターンマッチングにより認識するためのテンプレートなどに相当する。この技術では、入力画像から抽出した特徴量と照合するための参照特徴を予め用意する。そして、この技術では、入力画像から表情の判定に必要な各特徴量を抽出し、抽出した特徴量と複数の参照特徴の特徴量との差分量を計算することで、顔の各特徴量について参照特徴に対する変化量を算出する。そして、この技術では、算出した変化量から特徴ごとの得点を算出し、算出した得点の総和から表情を判定する。
【０００４】
また、上述した表情を判定する技術に関連して、顔画像から目的とする特徴部分を高速に検出するものがある。例えば、この技術では、下瞼および上瞼を含む眼部を検出対象とし、顔画像から鼻孔を検出し、鼻孔の位置に基づいて眼部の探索領域を設定する。そして、この技術では、設定した領域の下半分から下瞼を検出し、下瞼の上の領域から上瞼を検出する。なお、この技術では、上瞼と下瞼に挟まれた画素数に基づいて、例えば、眼が開かれた状態か、あるいは眼が閉ざれた状態かのいずれかを判定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−９８９０１号公報
【特許文献２】特開２００５−５６３８８号公報
【特許文献３】特開２００８−１４６１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、表情判定に必要となる特徴を顔画像から高速に検出しつつ表情判定を行うことも考えられる。例えば、上述したように、鼻孔の位置に基づいて眼部の探索領域を設定する技術では、最終的な検出対象である眼部の探索領域を設定する場合に、眼部とは異なる鼻孔を予め検出する必要がある。しかしながら、カメラなどの撮影装置に対する顔の向きや顔画像の撮影状況によっては、鼻孔を予め検出することができない場合もある。このような場合には、鼻孔の位置に基づいて眼部の探索領域を設定できない。
【０００７】
例えば、鼻の先端の位置に基づいて口角の探索領域を設定する場合を考えてみる。この場合、上述した鼻孔の位置に基づいて眼部の探索領域を設定する技術と同様に、顔の向きや顔画像の撮影状況によっては、鼻の先端の位置を予め検出することができない可能性がある。このため、表情判定に必要となる特徴を顔画像から高速に検出しつつ表情判定を行うことは現状困難である。
【０００８】
開示の技術は、上記に鑑みてなされたものであって、表情判定に用いる特徴点を高速に検出することが可能な表情判定プログラムおよび表情判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する技術は、一つの態様において、コンピュータに、次の各処理を実行させるものである。すなわち、コンピュータに、入力画像を受付け、前記入力画像から顔領域を検出し、前記顔領域から第一の特徴点を抽出し、前記顔領域から第二の特徴点を抽出し、前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択する処理を実行させる。また、コンピュータに、選択した前記少なくとも一つの特徴点に基づいて前記顔領域に領域を設定し、設定した前記領域から、前記第一の特徴点および前記第二の特徴点とは異なる第三の特徴点を検出する処理を実行させる。また、コンピュータに、検出した前記第三の特徴点に基づいて前記入力画像における表情を判定する処理を実行させる。
【発明の効果】
【００１０】
本願の開示する技術の一つの態様によれば、表情判定に用いる特徴点を高速に検出できる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施例１に係る表情判定装置の構成を示す機能ブロック図である。
【図２】図２は、実施例１に係る検出状況記憶部の説明に用いる図である。
【図３】図３は、実施例１に係る処理結果記憶部の説明に用いる図である。
【図４】図４は、実施例１に係るポイント付与テーブルの説明に用いる図である。
【図５】図５は、実施例１に係るポイント付与テーブルの説明に用いる図である。
【図６】図６は、実施例１に係る設定部の説明に用いる図である。
【図７】図７は、実施例１に係る設定部の説明に用いる図である。
【図８】図８は、実施例１に係る設定部の説明に用いる図である。
【図９】図９は、実施例１に係る設定部の説明に用いる図である。
【図１０】図１０は、実施例１に係る設定部の説明に用いる図である。
【図１１】図１１は、実施例１に係る設定部の説明に用いる図である。
【図１２】図１２は、実施例１に係る設定部の説明に用いる図である。
【図１３】図１３は、実施例１に係る特徴点検出部の説明に用いる図である。
【図１４】図１４は、実施例１に係る特徴点検出部の説明に用いる図である。
【図１５】図１５は、実施例１に係る特徴点検出部の説明に用いる図である。
【図１６】図１６は、実施例１に係る判定部の説明に用いる図である。
【図１７】図１７は、実施例１に係る表情判定装置による処理の流れを示す図である。
【図１８】図１８は、実施例１に係る口領域処理範囲の設定処理の流れを示す図である。
【図１９】図１９は、表情判定プログラムを実行する電子機器の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下に、図面を参照しつつ、本願の開示する表情判定プログラムおよび表情判定装置の一実施形態について詳細に説明する。後述する実施例は一実施形態にすぎず、本願の開示する表情判定プログラムおよび表情判定装置を限定するものではない。また、後述する各実施例は処理内容に矛盾を生じさせない範囲で適宜組み合わせることもできる。
【００１３】
以下に説明する実施例１では、例えば、被験者に対し所定のアクションを実行し、所定のアクションに対する被験者の反応を撮影した画像を用いて被験者の表情を判定する場合を例に挙げる。ここで、所定のアクションとは、様々な静止画像や動画像の出力に該当し、例えば、一般的に人が悲しいと感じる画像や楽しいと感じる画像の出力に該当する。
【実施例１】
【００１４】
［表情判定装置の構成（実施例１）］
図１は、実施例１に係る表情判定装置の構成を示す機能ブロック図である。図１に示すように、実施例１に係る表情判定装置２００は、撮影装置１１０、入力部１２０および出力部１３０に接続する。なお、表情判定装置２００は、撮影装置１１０、入力部１２０および出力部１３０を内部に有していてもよい。
【００１５】
図１に示す撮影装置１１０は、例えば、表情判定の対象となる被験者の顔を撮影し、撮影した被験者の顔の画像を表情判定装置２００に送出する。撮影装置１１０は、例えば、カメラであり、被験者の顔を撮影可能な位置に設置される。
【００１６】
入力部１２０は、表情判定装置２００のユーザから指示を入力する。例えば、入力部１２０は、所定のアクションとして被験者に閲覧させるための画像等の選択をユーザから受け付けて入力する。なお、入力部１２０は、キーボードやマウス、タッチパッドなどの入力デバイスを有する。出力部１３０は、所定のアクションとして実行される画像を出力したり、後述する判定部２２４による判定結果などを出力したりする。なお、出力部１３０は、モニタやディスプレイなどの出力デバイスを有し、入力部１２０が有する入力デバイスと協働して、ポインティングデバイス機能を実現することもできる。
【００１７】
図１に示す表情判定装置２００は、画像記憶部２１１、検出状況記憶部２１２、処理結果記憶部２１３およびポイント付与テーブル２１４を有する。なお、画像記憶部２１１、検出状況記憶部２１２、処理結果記憶部２１３およびポイント付与テーブル２１４は、例えば、ＲＡＭ（Random Access Memory）やフラッシュメモリ(flash memory)などの半導体メモリ素子である。表情判定装置２００は、撮影装置１００から被験者の顔の画像（以下、顔画像と表記する）を受け付けると、受け付けた顔の画像を、後述する画像記憶部２１１に格納する。
【００１８】
図１に示す画像記憶部２１１は、撮影装置１００から受け付けた顔画像を記憶する。画像記憶部２１１は、例えば、撮影装置１００から受け付けた画像に対して、撮影装置１００から受け付けた順に降順の数字からなる識別情報を付与し、識別情報を付与した画像を被験者の識別情報に対応付けて記憶する。なお、識別情報として付与する数字は一例に過ぎず、英字や、英字と数字との組合せなど、被験者ごとに画像を一意に識別できればよい。
【００１９】
図１に示す検出状況記憶部２１２は、後述する顔部位検出部２２１による検出状況を記憶する。例えば、検出状況記憶部２１２は、顔画像における被験者の顔の向きに対応づけて、画像の受付数と、この受付数における顔部位の検出成功数とを記憶する。なお、画像の受付数は、後述する顔部位検出部２２１により画像記憶部２１１から読み出され、後述する顔部位検出部２２１により処理された画像数に該当する。検出状況記憶部２１２は、情報処理装置１００が有するディスプレイやモニタなどに対する被験者の顔の向きとして、例えば、９つの方向に区分けされた顔の向きを記憶する。この９つの方向は、上、正面、下の３つの上下方向と、左、正面、右の３つの左右方向とをそれぞれ１つずつ組合せることで定義され、例えば、上下方向および左右方向がともに「正面」である場合には顔の向きは真正面となる。また、検出状況記憶部２１２は、画像の受付数内で、言い換えれば後述する制御部２２０により取り込まれた画像数内で、顔位置、眼、鼻、耳および眼鏡の検出に成功した数を検出成功数として記憶する。なお、顔位置とは、例えば、顔画像における顔の左右の位置に該当し、眼とは顔画像における眼球の中心位置に該当し、鼻とは顔画像における鼻頭の位置に該当し、耳とは顔画像における耳たぶと顔の付け根の位置に該当する。
【００２０】
以下、図２を用いて、検出状況記憶部２１２に記憶される検出状況の一例を説明する。図２は、実施例１に係る検出状況記憶部の説明に用いる図である。例えば、図２に示すように、検出状況記憶部２１２は、顔の向き「正面＋正面」に対応付けて、画像の受付数「１２５」を記憶する。さらに、検出状況記憶部２１２は、顔の向き「正面＋正面」に対応付けて、画像の受付数「１２５」における顔位置の検出成功数「１２５」、眼の検出成功数「１００」、鼻の検出成功数「７５」、耳の検出成功数「５５」、眼鏡の検出成功数「１２５」を記憶する。
【００２１】
なお、上述してきた検出状況記憶部２１２に記憶されている検出状況のデータは、後述する顔部位検出部２２１により更新され、後述する設定部２２２により口領域処理範囲の設定処理に用いられる。また、検出状況のデータは、ユーザが手動で削除しない限り全てのデータを記憶しておいてもよいが、最新のデータから所定の期間まで過去に遡ったデータだけを記憶するようにしてもよい。このようにすれば、検出状況記憶部２１２に記憶されている検出状況のデータを、後述する設定部２２２により口領域処理範囲の設定処理に必要な最小限のデータにとどめておくことができ、検出状況記憶部２１２の記憶領域を圧迫することがない。
【００２２】
図１に示す処理結果記憶部２１３は、後述する特徴点検出部２２３による処理結果を記憶する。例えば、処理結果記憶部２１３は、特徴点検出部２２３による処理結果として、顔画像における口領域の高さ、口領域の幅、右口角位置および左口角位置を対応付けて記憶する。以下、図３を用いて、処理結果記憶部２１３に記憶される処理結果の一例を説明する。図３は、実施例１に係る処理結果記憶部の説明に用いる図である。例えば、図３に示すように、処理結果記憶部２１３は、処理結果ごとに一意に付与されるＩＤ「１」に対応付けて、口領域の高さ「Ｈ１」と、口領域の幅「Ｗ１」と、右口角位置「Ｒ１」と、左口角位置「Ｌ１」とを記憶する。なお、口領域の高さ「Ｈ１」および幅「Ｗ１」として、対応箇所の画素数や、モニタやディスプレイなどの出力デバイス上に表示される画像上の対応箇所の実距離などを採用することができる。
【００２３】
図１に示すポイント付与テーブル２１４は、被験者の表情がどのような感情に起因するものであるか判定するためのポイント付与方法が定義されたテーブルである。例えば、ポイント付与テーブル２１４には、口領域の縦横比率、口領域の面積、右口角に上がり具合および左口角の上がり具合の各項目に対して付与されるポイント数が定義される。以下、図４および図５を用いて、ポイント付与テーブル２１４の一例を説明する。図４および図５は、実施例１に係るポイント付与テーブルの説明に用いる図である。
【００２４】
例えば、図４に示すように、ポイント付与テーブル２１４には、口領域の縦横比率「Ｈ：Ｗ」、口領域の面積「Ｈ×Ｗ」、右口角の上がり具合「ＲＨ÷Ｈ」および左口角の上がり具合「ＬＨ÷Ｈ」の各項目が定義されている。
【００２５】
ここで、図５を用いて、ポイント付与テーブル２１４に定義されている各項目について説明する。図５に示す「ＭＡ」は口領域を表し、図５に示す「Ｌ」は左口角位置を表し、図５に示す「Ｒ」は右口角位置を表す。また、図５に示す「ＬＨ」は左口角位置までの高さを表し、図５に示す「ＲＨ」は右口角位置までの高さを表す。また、図５に示す「Ｈ」は口領域の高さ、言い換えれば図５における口領域の縦の長さを表し、図５に示す「Ｗ」は口領域の幅、言い換えれば図５における口領域の横の長さを表す。また、図５に示すように、ポイント付与テーブル２１４に定義されている口領域の縦横比率「Ｈ：Ｗ」は、口領域の高さと幅との比に該当する。また、図５に示すように、ポイント付与テーブル２１４に定義されている口領域の面積「Ｈ×Ｗ」は、口領域の高さと幅との積に該当する。また、図５に示すように、右口角の上がり具合「ＲＨ÷Ｈ」は、口領域の高さと左口角位置までの高さとの比に該当する。また、図５に示すように、左口角の上がり具合「ＬＨ÷Ｈ」は、口領域の高さと左口角位置までの高さとの比に該当する。なお、図５に示すは左口角位置「Ｌ」および右口角位置「ＲＨ」は、例えば、後述する特徴点検出部２２３により口領域として決定された矩形領域の頂点の一つを基準とする画像上の座標値を採用できる。
【００２６】
図４に戻り、ポイント付与テーブル２１４は、顔画像についての上述の各項目の値と、通常時における各項目の値との開き具合に応じて、表情に現れる感情ごとに付与すべきポイント数が定義されている。図４に示す通常度とは、被験者の表情に感情が現れていないではない状態、言い換えれば無表情の状態を示す度合いである。また、図４に示す恐怖度とは、被験者の表情に不安などの感情が表れている状態を示す度合いである。また、図４に示す笑い度とは、被験者の表情に快楽に紐付く感情が表れている状態を示す度合いである。また、図４に示す嫌悪度とは、被験者の表情に嫌悪感などの感情が表れている状態を示す度合いである。また、図４に示す悲しみ度とは、被験者の表情に悲しみの感情が表れている状態を示す度合いである。また、図４に示す冷笑度とは、被験者の表情に軽蔑や愚弄に紐付く感情が表れている状態を示す度合いである。
【００２７】
そして、図４に示すように、ポイント付与テーブル２１４には、口領域の縦横比率「Ｈ：Ｗ」の値が通常時と同じである場合に、通常度に対し１ポイント付与すべき旨が定義されている。また、図４に示すように、ポイント付与テーブル２１４には、口領域の縦横比率「Ｈ：Ｗ」の値が通常時よりも大きい場合に、恐怖度、嫌悪度に対しそれぞれ１ポイント、笑い度に対し２ポイントを付与すべき旨が定義されている。また、図４に示すように、ポイント付与テーブル２１４には、口領域の縦横比率「Ｈ：Ｗ」の値が通常時よりも小さい場合に、悲しみ度に対し１ポイントを付与すべき旨が定義されている。
【００２８】
ここで、上述した通常時に対応するデータには、以下に説明するいずれかのデータを設定する。例えば、所定のアクションを実行する以前の処理結果記憶部２１３に記憶されているデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置を通常時のデータとして設定する。あるいは、所定のアクションを実行する以前の処理結果記憶部２１３に記憶されているデータのうち最も出現頻度の高いデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置を通常時のデータとして設定する。あるいは、被験者が無表情であるときのデータを採取し、このデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置を通常時のデータとして設定する。
【００２９】
なお、図４に示すポイント付与テーブル２１４は、後述する判定部２２４によるポイントの付与時に参照される。
【００３０】
図１に戻り、表情判定装置２００は、顔部位検出部２２１、設定部２２２、特徴点検出部２２３および判定部２２４を有する。なお、顔部位検出部２２１、設定部２２２、特徴点検出部２２３および判定部２２４は、例えば、電子回路や集積回路に該当する。電子回路としては、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）がある。また、集積回路としては、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array)などがある。
【００３１】
表情判定装置２００は、上述した入力部１２０を介して、所定のアクションの実行指示をユーザから受け付けると、所定のアクションを実行する。ここで、所定のアクションとは、例えば、被験者の表情の変化を取得する為に静止画像や動画像の出力を実行するアクションに該当する。静止画像としては、例えば、ユニークな動物の写真や凄惨な場面の写真などがあげられる。動画像としては、コメディ映画やお笑い番組のほか、凄惨な現状を報道するドキュメンタリー番組などがあげられる。所定のアクションは、例えば、図１には示していない所定の制御部などが実行してもよい。
【００３２】
顔部位検出部２２１は、画像記憶部２１１から顔画像を取り込み、取り込んだ顔画像内から、既存技術を用いて顔位置、眼、鼻、耳および眼鏡などの顔部位を検出する。さらに、顔部位検出部２２１は、顔画像における顔の向きを検出する。
【００３３】
例えば、顔部位検出部２２１は、顔画像において垂直方向に隣り合って配列される各画素値を加算し、加算値の水平方向の分布から顔領域を特定することにより、顔の輪郭、つまり顔位置を検出する。また、顔部位検出部２２１は、顔画像から鼻の位置を検出し、検出された鼻の位置および顔の位置に基づいて顔の向きを検出する。なお、顔の位置や顔の向きの検出には、例えば、特許第４２０４３３６号公報に開示された技術を利用する。
【００３４】
また、顔部位検出部２２１は、顔画像において眼である可能性のある領域について、時系列的に前後の画像データにおける変化に基づき眼の領域を特定する。なお、眼の位置の検出には、例えば、特許第４１６２５０３号公報に開示された技術を利用する。また、顔部位検出部２２１は、顔画像の水平方向の輝度が急激に変化する箇所を強調するフィルタ処理にて、水平方向に並ぶ輝度が低い画素列の両端を検出することで鼻孔を含む領域を検出する。なお、鼻の位置の検出には、例えば、特許第４３６４２７５号公報に開示された技術を利用する。また、顔部位検出部２２１は、顔画像から顔領域を検出し、顔領域を基準として耳を含むと推定される検出処理領域を算出し、検出処理領域において耳の輪郭を抽出する。なお、耳の位置の検出には、特開２００７−２５７５７４号公報に開示された技術を利用する。また、顔部位検出部２２１は、顔画像の顔領域にフィルタ処理を行ってエッジの強い箇所を検出することにより眼鏡を検出する。なお、眼鏡の位置の検出には、例えば、特開２００８−２６９１８２号公報に開示された技術を利用する。
【００３５】
また、顔部位検出部２２１は、顔画像内から眼鏡を検出する場合を説明するが、これに限定されるものではなく、例えば、眼鏡以外のサングラスなどを検出するようにしてもよい。なお、サングラスの検出には、例えば、特開２０１０−１５７０７３号公報に開示された技術を利用する。
【００３６】
設定部２２２は、顔部位検出部２２１により検出された顔部位に基づいて顔画像に対して口領域処理範囲を設定する。例えば、設定部２２２は、顔部位検出部２２１により顔部位の検出が行われると検出状況記憶部２１２の検出状況を更新する。つまり、設定部２２２は、顔の向きに対応する画像の受付数および顔部位の検出成功数を更新する。次に、設定部２２２は、顔の向きに対応する各顔部位の検出率を算出し、算出した検出率の高い順に各顔部位をソートする。続いて、設定部２２２は、顔部位検出部２２１により検出された顔部位の中から、検出率の上位２つの顔部位を取得し、取得した２つの顔部位を用いて口領域処理範囲を設定する。以下、図６〜１２を用いて、設定部２２２による口領域処理範囲の設定について説明する。図６〜１２は、実施例１に係る設定部の説明に用いる図である。
【００３７】
例えば、設定部２２２は、検出率の上位２つの顔部位として、顔位置と鼻を取得したとする。この場合、設定部２２２は、図６に示すように、顔位置ＦＰおよび鼻の位置ＮＰを用いて、顔位置ＦＰで得られる顔画像の領域のうち鼻の位置ＮＰから下半分の領域α１を口領域処理範囲に設定する。
【００３８】
また、設定部２２２は、検出率の上位２つの顔部位として、顔位置と眼を取得したとする。この場合、設定部２２２は、図７に示すように、顔位置ＦＰおよび眼の位置ＥＰを用いて、領域α１を口領域処理範囲に設定する。例えば、設定部２２２は、顔位置ＦＰにより得られる顔の幅ＸのＮ％に相当する値を計算する。続いて、設定部２２２は、顔の幅ＸのＮ％に相当する値だけ眼の位置ＥＰを基点として顔画像の下側に進んだ位置から、顔位置ＦＰで得られる顔画像の領域の下半分の領域α２を口領域処理範囲として設定する。なお、上述したＮの値は、例えば、眼と口との平均的な位置関係により予め設定されているものとする。
【００３９】
また、設定部２２２は、検出率の上位２つの顔部位として、顔位置と耳を取得したとする。この場合、設定部２２２は、図８に示すように、顔位置ＦＰおよび耳の位置ＥＲＰを用いて、顔位置ＦＰで得られる顔画像の領域のうち耳の位置ＥＲＰから下半分の領域α３を口領域処理範囲に設定する。
【００４０】
設定部２２２は、検出率の上位２つの顔部位として、顔位置と眼鏡を取得したとする。この場合、設定部２２２は、図９に示すように、顔位置ＦＰおよび眼鏡の部品であるブリッジの位置ＧＰを用いて、領域α４を口領域処理範囲に設定する。例えば、設定部２２２は、顔位置ＦＰにより得られる顔の幅ＸのＭ％に相当する値を計算する。続いて、設定部２２２は、顔の幅ＸのＭ％に相当する値だけ眼鏡のブリッジの位置ＧＰを基点として画像の下側に進んだ位置から、顔位置ＦＰで得られる顔画像の領域の下半分の領域α４を口領域処理範囲として設定する。なお、上述したＭの値は、例えば、眼鏡を構成する部品であるブリッジと口との平均的な位置関係により予め設定されているものとする。
【００４１】
上述してきた図６〜図９では、設定部２２２は、検出率の上位２つの顔部位を用いて口領域処理範囲を設定する場合を説明したが、これに限られるものではなく、顔部位検出部２２１により検出された顔部位の１つを用いて口領域処理範囲を設定してもよい。例えば、設定部２２２は、図１０に示すように、顔部位検出部２２１により検出された顔位置を用いて顔画像中の顔領域の矩形ＦＡを求める。そして、設定部２２２は、顔領域の矩形ＦＡの下半分の領域α５を口領域処理範囲に設定する。例えば、顔部位検出部２２１により検出された顔部位のうち信頼度の高い顔部位が顔位置のみである場合などには、設定部２２２は、顔位置のみを用いて口領域処理範囲に設定できる。
【００４２】
なお、顔位置のみを用いた口領域処理範囲の設定は一例であり、顔部位検出部２２１により検出された顔部位のうち信頼度の高い顔部位が眼や鼻、耳のみの場合には、設定部２２２は、眼や鼻、耳のいずれかのみを用いて口領域処理範囲に設定することもできる。例えば、信頼度の高い顔部位が眼のみである場合、設定部２２２は、顔画像の領域のうち、顔の幅ＸのＮ％に相当する値だけ眼の位置ＥＰを基点として顔画像の下側に進んだ位置から下半分の領域を口領域処理範囲に設定する。また、例えば、信頼度の高い顔部位が鼻のみである場合、設定部２２２は、顔画像の領域のうち鼻の位置ＮＰから下半分の領域を口領域処理範囲に設定する。また、例えば、信頼度の高い顔部位が耳のみである場合、設定部２２２は、顔画像の領域のうち耳の位置ＥＲＰから下半分の領域を口領域処理範囲に設定する。
【００４３】
また、上述してきた図６〜図９では、設定部２２２は、検出率の上位２つの顔部位として、顔位置と他の顔部位のいずれかを用いて口領域処理範囲を設定する場合を説明したが、これに限られるものではない。検出率の上位２つの顔部位が顔位置以外の２つの顔部位である場合、設定部２２２は、これらの顔部位を用いて口領域処理範囲を設定することもできる。
【００４４】
例えば、設定部２２２は、検出率の上位２つの顔部位として、眼と鼻を取得したとする。この場合、設定部２２２は、図１１に示すように、眼の位置ＥＰおよび鼻の位置ＮＰを用いて、顔画像の領域うち領域α６を口領域処理範囲に設定する。
【００４５】
また、設定部２２２は、例えば、検出率の上位２つの顔部位として、眼と耳を取得したとする。この場合、設定部２２２は、図１２に示すように、眼の位置ＥＰおよび耳の位置ＥＲＰを用いて、顔画像の領域うち領域α７を口領域処理範囲に設定する。
【００４６】
なお、設定部２２２は、顔位置、眼、鼻、耳および眼鏡などの顔部位の位置として、画像の左下の画素を基準とする画像上の座標値などを採用することができる。また、設定部２２２は、顔の幅Ｘとして、対応箇所の画素数や画像上の実距離などを採用できる。
【００４７】
図１に示す特徴点検出部２２３は、設定部２２２により設定された口領域処理範囲から右口角および左口角を特徴点として検出する。例えば、特徴点検出部２２３は、設定部２２２により設定された口領域処理範囲内の画素分布に基づいて、この領域内において右口角および左口角を含む矩形の口領域を決定する。続いて、特徴点検出部２２３は、決定した口領域に対して、右口角用のフィルタおよび左口角用のフィルタをそれぞれ用いてフィルタ処理を行う。そして、特徴点検出部２２３は、右口角用のフィルタを用いたフィルタ処理により得られるフィルタ応答のピークとなる顔画像の位置を右口角として検出する。さらに、特徴点検出部２２３は、左口角用のフィルタを用いたフィルタ処理により得られるフィルタ応答がピークとなる顔画像の位置を左口角として検出する。以下、図１３〜１５を用いて特徴点検出部２２３について説明する。図１３〜図１５は、実施例１に係る特徴点検出部の説明に用いる図である。
【００４８】
まず、図１３を用いて特徴点検出部２２３による口領域の決定について説明する。図１３に示すαは、口領域処理範囲を示す。また、図１３に示すｘ軸は顔画像の対応位置を示し、図１３に示すｙ軸は顔画像上の画素値を示す。また、図１３に示すＰ１およびＰ２はｘ軸の方向に画素値を投影した結果を示す。特徴点検出部２２３は、口領域処理範囲の画素値を図１３に示すｘ軸の方向にそれぞれ投影して、各ｘ軸方向での画素値の投影結果を取得する。そして、特徴点検出部２２３は、口領域処理範囲にて、各ｘ軸方向の画素値の投影結果が交わる矩形領域ＭＡを口領域として決定する。
【００４９】
次に、図１４を用いて特徴点検出部２２３による左口角検出処理範囲および右口角検出処理範囲の決定について説明する。図１４に示すβ１は、左口角を検出するための左口角検出処理範囲の一例であり、図１４に示すβ２は、右口角を検出するための右口角検出処理範囲の一例である。なお、図１４に示すＭＡは口領域であり、図１３に示すＭＡと同一である。
【００５０】
図１４に示すように、特徴点検出部２２３は、口領域処理範囲にて決定した口領域ＭＡに対して、左口角検出処理範囲β１および右口角検出処理範囲β２をそれぞれ設定する。例えば、特徴点検出部２２３は、図１４に示すように、口領域ＭＡである矩形領域の左の短辺の中点を中心とする所定サイズの矩形領域を左口角検出処理範囲β１に設定する。同様に、特徴点検出部２２３は、図１４に示すように、口領域ＭＡである矩形領域の右の短辺の中点を中心とする所定サイズの矩形領域を右口角検出処理範囲β２に設定する。
【００５１】
続いて、図１５を用いて特徴点検出部２２３による左口角および右口角の検出について説明する。図１５に示すＦ１は左口角を検出する為のフィルタの一例であり、図１５に示すＦ２は左口角を検出する為のフィルタの一例である。図１５にて点線で示すように、口形状の類似領域が画像上にある場合に、フィルタＦ１は、左口角に相当する位置でフィルタの応答がピークとなるようにフィルタの値が設定される。同様に、フィルタＦ２は、口形状の類似領域が画像上にある場合に、右口角に相当する位置でフィルタの応答がピークとなるようにフィルタの値が設定される。
【００５２】
そこで、特徴点検出部２２３は、まず、図１５に示すフィルタＦ１を用いて、図１４に示す左口角検出処理範囲をフィルタ処理する。そして、特徴点検出部２２３は、フィルタ処理により得られるフィルタ応答がピークとなる左口角検出処理範囲内の左口角の位置を検出する。同様に、特徴点検出部２２３は、図１５に示すフィルタＦ２を用いて、図１４に示す右口角検出処理範囲をフィルタ処理する。そして、特徴点検出部２２３は、フィルタ処理により得られるフィルタ応答がピークとなる右口角検出処理範囲内の右口角の位置を検出する。そして、特徴点検出部２２３は、検出した左口角の位置および右口角の位置を、口領域として決定した矩形領域ＭＡの頂点の一つを基準とする画像上の座標を求め、左口角の位置および右口角の位置として決定する。
【００５３】
左口角および右口角の検出を完了すると、特徴点検出部２２３は、口領域の縦および横の長さ、口領域における右口角の位置および左口角の位置を処理結果記憶部２１３に保存する。なお、口領域の縦および横の長さは、例えば、対応箇所の画素数や画像上の実距離を採用できる。また、右口角および左口角の位置は、上述したように、口領域として決定した矩形領域の頂点の一つを基準とする画像上の座標値を採用できる。
【００５４】
図１に示す判定部２２４は、特徴点検出部２２３により検出された左口角および右口角の位置に基づいて表情判定処理を実行する。例えば、判定部２２４は、ポイント付与テーブル２１４を参照し、特徴点検出部２２３により検出された口領域の縦横比率、口領域の面積、口領域における左口角および右口角の位置に応じて、被験者の表情を判定するためのポイントを付与する処理を実行する。以下、図１６を用いて、判定部２２４について説明する。図１６は、実施例１に係る判定部の説明に用いる図である。図１６に示すＭＡは口領域であり、図１６に示すＬは左口角の位置であり、図１６に示すＲは右口角の位置である。
【００５５】
また、図１６に示す１６Ａは、口領域の面積、口領域における右口角の位置および左口角の位置の通常時のデータを示す。なお、通常時のデータについては上述したが、判定部２２４は、以下に説明するいずれかのデータを利用する。例えば、判定部２２４は、所定のアクションを実行する以前の処理結果記憶部２１３に記憶されているデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置のデータを採用する。あるいは、判定部２２４は、所定のアクションを実行する以前の処理結果記憶部２１３に記憶されているデータのうち最も出現頻度の高いデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置のデータを利用する。あるいは、判定部２２４は、被験者が無表情であるときのデータを採取し、このデータに基づいて算出された口領域の面積、右口角の位置および左口角の位置のデータを利用する。また、図１６に示す１６Ｂおよび１６Ｃは、特徴点検出部２２３により検出された口領域の面積、口領域における左口角および右口角の位置の一例を示す。
【００５６】
判定部２２４は、特徴点検出部２２３による検出結果と通常時との比較結果をポイント付与テーブル２１４に照らし合わせて、口領域の縦横比率、口領域の面積、右口角に上がり具合および左口角の上がり具合の各項目に対してポイントを付与する。
【００５７】
例えば、判定部２２４は、１６Ａと１６Ｂとを比較すると、口領域の縦横比率が同じであるので、通常度に１ポイント付与する。また、判定部２２４は、１６Ａと１６Ｂとを比較すると、口領域の面積が通常時と同じであるので、通常度に１ポイント付与する。また、判定部２２４は、１６Ａと１６Ｂとを比較すると、右口角の上がり具合が通常時よりも小さいので、悲しみ度、恐怖度、嫌悪度にそれぞれ１ポイント付与する。また、判定部２２４は、１６Ａと１６Ｂとを比較すると、左口角の上がり具合が通常時よりも小さいので、恐怖度に１ポイント付与する。なお、判定部２２４は、１６Ａと１６Ｂとを比較した結果、右口角の位置と左口角の位置とに差異はないので、冷笑度に対するポイントは付与しない。口領域の縦横比率が同じであるので、通常度に１ポイント付与する。
【００５８】
また、判定部２２４は、１６Ａと１６Ｃとを比較すると、口領域の縦横比率が通常時よりも大きいので、恐怖度および嫌悪度にそれぞれ１ポイントを付与し、笑い度に２ポイントを付与する。また、判定部２２４は、１６Ａと１６Ｃとを比較すると、口領域の面積が通常時と同じであるので、笑い度に２ポイントを付与し、恐怖度に１ポイントを付与する。また、判定部２２４は、１６Ａと１６Ｃとを比較すると、右口角の上がり具合が通常時よりも大きいので、笑い度に３ポイント付与する。また、判定部２２４は、１６Ａと１６Ｃとを比較すると、左口角の上がり具合が通常時よりも大きいので、笑い度に３ポイント付与する。なお、判定部２２４は、１６Ａと１６Ｃとを比較した結果、右口角の位置と左口角の位置とに差異がないので、冷笑度に対するポイントは付与しない。
【００５９】
そして、判定部２２４は、表情判定の処理を完了すべきかどうかを判定する。そして、判定部２２４は、判定の結果、処理を完了すべきである場合には、所定のアクションに対応付けて、表情判定の処理結果を出力する。表情判定の処理結果としては、上述したように、例えば、アクションとして出力された静止画像の内容に対応付けて、通常度、恐怖度、嫌悪度、悲しみ度、冷笑度に対して付与されたポイントが出力される。
【００６０】
なお、判定部２２４は、例えば、所定のアクションとして静止画像の出力を実行した場合には、上述したポイントの付与を持って処理を完了すべきものと判定する。また、判定部２２４は、所定のアクションとして動画像の出力を実行した場合、動画像の再生終了を条件に処理を完了すべきものと判定する。なお、判定部２２４は、動画像の再生が終了していない場合には、表情判定の処理を継続すべきものと判定し、次に取得した顔画像について顔部位の検出を行うように顔部位検出部２２１に依頼する。
【００６１】
［表情判定装置による処理（実施例１）］
続いて、図１７を用いて、表情判定装置による処理の流れを説明する。図１７は、実施例１に係る表情判定装置による処理の流れを示す図である。なお、図１７に示す処理は、例えば、制御部２２０によりユーザから所定のアクションの実行指示を受け付けたことが判定されると開始される。
【００６２】
図１７に示すように、表情判定装置２００は所定のアクションを実行する（ステップＳ１０１）。次に、顔部位検出部２２１は、画像記憶部２１１から顔画像を取り込み（ステップＳ１０２）、取り込んだ顔画像内から、既存技術を用いて顔位置、眼、鼻、耳および眼鏡などの顔部位を検出する（ステップＳ１０３）。続いて、設定部２２２は口領域処理範囲の設定処理を実行する（ステップＳ１０４）。なお、口領域処理範囲の設定処理については後述する。
【００６３】
次に、特徴点検出部２２３は、設定部２２２により設定された口領域処理範囲内における口領域を決定する（ステップＳ１０５）。続いて、特徴点検出部２２３は、口領域から、右口角を検出するための右口角検出処理範囲を設定する（ステップＳ１０６）。そして、特徴点検出部２２３は、右口角検出処理範囲から右口角を検出する（ステップＳ１０７）。
【００６４】
次に、特徴点検出部２２３は、口領域から、左口角を検出するための左口角検出処理範囲を設定する（ステップＳ１０８）。続いて、特徴点検出部２２３は、左口角検出処理範囲から左口角を検出する（ステップＳ１０９）。そして、特徴点検出部２２３は、口領域の縦および横の長さ、口領域における右口角の位置および左口角の位置を処理結果記憶部２１３に保存する（ステップＳ１１０）。
【００６５】
次に、判定部２２４は特徴点検出部２２３により検出された口領域の縦横比率、口領域の面積、口領域における左口角および右口角の位置に基づいて表情判定を実行する（ステップＳ１１１）。続いて、判定部２２４は、処理を完了すべきか否かを判定する（ステップＳ１１２）。そして、処理を完了すべきものと判定した場合には（ステップＳ１１２，Ｙｅｓ）、判定部２２４は、所定のアクションに対応付けて表情判定結果を出力する（ステップＳ１１３）。一方、処理を完了すべきものと判定しなかった場合には（ステップＳ１１２，Ｎｏ）、判定部２２４は、上述したステップＳ１０２に処理を移行させる。
【００６６】
続いて、図１８を用いて、口領域処理範囲の設定処理の流れを説明する。図１８は、実施例１に係る口領域処理範囲の設定処理の流れを示す図である。図１８に示すように、設定部２２２は、顔部位検出部２２１により顔部位の検出が行われると検出状況記憶部２１２の検出状況を更新する（ステップＳ２０１）。
【００６７】
次に、設定部２２２は、顔の向きに対応する各顔部位の検出率を算出し（ステップＳ２０２）、算出した検出率の高い順に各顔部位をソートする（ステップＳ２０３）。続いて、設定部２２２は、検出率の上位２つの顔部位を取得し（ステップＳ２０４）、取得した２つの顔部位を用いて口領域処理範囲を設定する（ステップＳ２０５）。
【００６８】
［実施例１による効果］
上述してきたように、実施例１では、顔画像から複数の顔部位を検出し、検出した複数の顔部位の少なくとも１つを用いて口領域処理範囲を設定して、口領域処理範囲から右口角および左口角の位置を検出する。仮に、表情判定に用いる右口角および左口角の位置を検出するための口領域処理範囲を予め設定することができなければ、顔画像全体について右口角および左口角の位置の検出処理を行う必要がある。これに対し、実施例１によれば、特徴点である右口角および左口角の位置を検出するための口領域処理範囲を予め設定するので、顔画像全体について処理する場合に比べて、表情判定に用いる特徴点を高速に検出できる。
【００６９】
また、実施例１では、口領域処理範囲の画素分布に基づいて右口角および左口角を含む口領域を決定し、決定した口領域の縦横比率、口領域の面積および口領域における右口角の位置および左口角の位置に応じたポイントを付与することで被験者の表情を判定する。このため、実施例１によれば、口や口角に現れる変化に応じた細かいスコアリンクができ、被験者の表情を簡易かつ詳細に判定できる。
【００７０】
また、実施例１では、顔画像における顔の向きを検出し、顔の向きに対応付けて顔画像の受付数、該受付数における顔部位の検出成功数をそれぞれ検出状況記憶部２１２に保存する。続いて、実施例１では、顔の向きに対応する顔画像の受付数、この受付数における顔部位の検出成功数を取得し、取得した受付数および検出成功数を用いて顔部位ごとの検出率を算出する。そして、実施例１では、検出率に基づいて、検出した顔部位の中から少なくとも１つを取得し、取得した顔部位を用いて口領域処理範囲を設定する。このため、実施例１によれば、顔画像における顔の向きに応じて、より信頼度の高い顔部位を選択でき、選択した顔部位により口領域処理範囲を精度良く設定できる。
【００７１】
また、実施例１において、検出した顔部位の中から、検出率の高い顔部位を顔向きに関係なく選択するようにしてもよい。このようにすれば、顔画像の撮影状況に関係なく、現状で最も信頼度の高い顔部位を用いて口領域処理範囲を設定できる。
【００７２】
また、実施例１では、表情の判定に用いる特徴点以外、言い換えれば右口角および左口角以外の他の顔部位を用いて、右口角および左口角を探索する口領域処理範囲を設定する場合を説明した。しかしながら、この場合に限定されるものではなく、例えば、眼が探索対象とする場合には、眼以外の他の顔部位を用いて眼を探索する領域を設定するなど、実施例１で説明した方法は、口角以外の他の顔部位を探索する領域の設定にも同様に適用できる。
【００７３】
なお、表情判定装置２００は、様々な状況が映し出された静止画像や動画像の出力を所定のアクションとして実行する場合を説明したが、これに限定されるものではない。例えば、表情判定装置２００のユーザが被験者と楽しい話題や悲しい話題の会話をするというアクションを実行してもよい。この場合、会話中の被験者の顔画像を取得し、被験者の表情を判定する。
【００７４】
また、表情判定装置２００は、例えば、パーソナルコンピュータやスマートフォンなどの情報処理装置に実装することができる。例えば、医療従事者が使用する情報処理装置に表情判定装置２００が実装される場合には、表情判定装置２００による表情判定の処理結果がカルテシステムなどに出力される。カルテシステムでは、被験者である患者の情報に関連付けて表情判定の処理結果が保存される。また、例えば、所定のｗｅｂサイトにアクセスするユーザのスマートフォンに表情判定装置２００が実装される場合には、表情判定装置２００による表情判定の処理結果が、例えば、ｗｅｂサイトを運営するサーバなどに出力される。ｗｅｂサイトを運営するサーバでは、ｗｅｂサイトにアクセス中のユーザの情報に関連付けて表情判定の処理結果が保存される。
【００７５】
また、表情判定装置２００は、例えば、車両に搭載されるマイコンに実装することもできる。この場合、表情判定装置２００は、車両の移動中、運転者の顔画像を継続的に取得して運転者の表情を判定し、表情の判定結果を車両制御ユニットに出力する。車両制御ユニットでは、運転者の表情の判定結果に応じて警告の報知や車両制御が実行される。
【実施例２】
【００７６】
以下、本願の開示する表情判定プログラムおよび表情判定装置の他の実施形態を説明する。
【００７７】
（１）装置構成等
例えば、図１に示した表情判定装置２００の機能ブロックの構成は概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、図１に示した顔部位検出部２２１を、顔位置の検出機能と顔部位の検出機能とに機能的または物理的に分離してもよい。このように、例えば、図１に示した表情判定装置２００の機能ブロックの全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。
【００７８】
（２）表情判定プログラム
また、上述の実施例にて説明した表情判定装置２００により実行される各種の処理は、例えば、電子回路や集積回路などの電子機器で所定のプログラムを実行することによって実現できる。
【００７９】
そこで、以下では、図１９を用いて、上述の実施例にて説明した表情判定装置２００により実行される処理と同様の機能を実現する表情判定プログラムを実行するコンピュータの一例を説明する。図１９は、表情判定プログラムを実行する電子機器の一例を示す図である。
【００８０】
図１９に示すように、表情判定装置２００により実行される各種処理を実現する電子機器３００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）３１０を有する。また、図１９に示すように、電子機器３００は、外部からのデータ入力を受け付ける入力インターフェース３２０、カメラ画像を取得するためのカメラインターフェース３３０、外部へデータを出力する出力インターフェース３４０を有する。
【００８１】
また、図１９に示すように、電子機器３００は、ＣＰＵ３１０により各種処理を実現するためのプログラムやデータ等を記憶するハードディスク装置３５０と、各種情報を一時記憶するＲＡＭ（Random Access Memory）などのメモリ３６０とを有する。そして、各装置３１０〜３６０は、バス３７０に接続される。
【００８２】
なお、ＣＰＵ３１０の代わりに、例えば、ＭＰＵ（Micro Processing Unit）などの電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ(Field Programmable Gate Array)などの集積回路を用いることもできる。また、メモリ３６０の代わりに、フラッシュメモリ(flash memory)などの半導体メモリ素子を用いることもできる。
【００８３】
ハードディスク装置３５０には、表情判定装置２００の機能と同様の機能を発揮する表情判定プログラム３５１および表情判定用データ３５２が記憶されている。なお、この表情判定プログラム３５１を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。
【００８４】
そして、ＣＰＵ３１０が、表情判定プログラム３５１をハードディスク装置３５０から読み出してメモリ３６０に展開することにより、図１９に示すように、表情判定プログラム３５１は表情判定プロセス３６１として機能する。表情判定プロセス３６１は、ハードディスク装置３５０から読み出した表情判定用データ３５２等の各種データを適宜メモリ３６０上の自身に割当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。
【００８５】
なお、表情判定プロセス３６１は、例えば、上述した表情判定装置２００の制御部２２０にて実行される処理、例えば、図１７、図１８を用いて説明した処理を含む。
【００８６】
なお、表情判定プログラム３５１については、必ずしも最初からハードディスク装置３５０に記憶させておく必要はない。例えば、電子機器３００が実装されたＥＣＵへ対応ドライブを接続可能なフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、電子機器３００がこれらから各プログラムを読み出して実行するようにしてもよい。
【００８７】
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介して、電子機器３００が実装されたＥＣＵに接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておく。そして、電子機器３００がこれらから各プログラムを読み出して実行するようにしてもよい。
【００８８】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００８９】
（付記１）コンピュータに、
入力画像を受付け、
前記入力画像から顔領域を検出し、
前記顔領域から第一の特徴点を検出し、
前記顔領域から第二の特徴点を検出し、
前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択し、
選択した前記少なくとも一つの特徴点に基づいて、前記顔領域に領域を設定し、
設定した前記領域から、前記第一の特徴点および前記第二の特徴点とは異なる第三の特徴点を検出し、
検出した前記第三の特徴点に基づいて前記入力画像における表情を判定する
処理を実行させることを特徴とする表情判定プログラム。
【００９０】
（付記２）前記第三の特徴点を検出する処理は、前記領域内の画素値の分布に基づいて前記第三の特徴点を含む矩形領域を決定して、該矩形領域から前記第三の特徴点を検出し、
前記表情を判定する処理は、決定した前記矩形領域の縦横比率、該矩形領域の面積および該矩形領域における前記第三の特徴点の位置のいずれか一つ又は複数に基づいて、前記表情を判定することを特徴とする付記１に記載の表情判定プログラム。
【００９１】
（付記３）前記コンピュータに、
前記入力画像における顔の向きを検出し、
前記顔の向きに対応付けて、前記入力画像の受付数、該受付数における前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数をそれぞれ記憶部に保存する
処理をさらに実行させ、
前記少なくとも一つの特徴点を選択する処理は、前記顔の向きに対応する前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数を前記記憶部からそれぞれ取得し、取得した前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数に基づいて、前記第一の特徴点および前記第二の特徴点の検出率をそれぞれ算出し、算出した検出率に基づいて、前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択することを特徴とする付記１に記載の表情判定プログラム。
【００９２】
（付記４）前記コンピュータに、
前記入力画像の受付前に所定のアクションを実行し、
前記表情を判定する処理の処理結果と前記所定のアクションの情報とを対応付けて出力する
処理をさらに実行させることを特徴とする付記１に記載の表情判定プログラム。
【００９３】
（付記５）入力画像から顔領域を検出し、該顔領域に含まれる第一の特徴点および第二の特徴点を検出する顔部位検出部と、
前記顔部位検出部により抽出された第一の特徴点と第二の特徴点のうち、少なくとも一つの特徴点を選択し、選択した少なくとも一つの特徴点に基づいて前記顔領域に領域を設定する設定部と、
前記設定部により設定された領域から、前記第一の特徴点および前記第二の特徴点とは異なる第三の特徴点を検出する特徴点検出部と、
前記特徴点検出部により検出された第三の特徴点に基づいて前記入力画像における表情を判定する判定部と
を有することを特徴とする表情判定装置。
【００９４】
（付記６）前記特徴点検出部は、前記設定部により設定された前記領域内の画素分布に基づいて前記第三の特徴点を含む矩形領域を決定して、該矩形領域から前記第三の特徴点を検出し、
前記判定部は、前記検出部により決定された前記矩形領域の縦横比率、該矩形領域の面積および該矩形領域における前記第三の特徴点の位置のいずれか一つ又は複数に基づいて、前記表情を判定することを特徴とする付記５に記載の表情判定装置。
【００９５】
（付記７）前記顔部位検出部は、前記入力画像における顔の向きを検出して、検出した顔の向きに対応付けて、前記入力画像の処理数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数をそれぞれ記憶部に格納し、
前記特徴点検出部は、前記顔部位検出部により検出された顔の向きに対応する前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数を前記記憶部からそれぞれ取得し、取得した前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数に基づいて、前記第一の特徴点および前記第二の特徴点の検出率をそれぞれ算出し、算出した検出率に基づいて、前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択することを特徴とする付記５に記載の表情判定装置。
【００９６】
（付記８）前記判定部は、前記入力画像の受付前に所定のアクションを実行し、前記表情の判定結果と前記所定のアクションの情報とを対応付けて出力することを特徴とする付記５に記載の表情判定装置。
【符号の説明】
【００９７】
１００ 情報処理装置
１１０ 撮像装置
１２０ 入力部
１３０ 出力部
２００ 表情判定装置
２１１ 画像記憶部
２１２ 検出状況記憶部
２１３ 処理結果記憶部
２１４ ポイント付与テーブル
２２１ 顔部位検出部
２２２ 設定部
２２３ 特徴点検出部
２２４ 判定部
３００ 電子機器
３１０ ＣＰＵ
３２０ 入力インターフェース
３３０ カメラインターフェース
３４０ 出力インターフェース
３５０ ハードディスク装置
３５１ 表情判定プログラム
３５２ 表情判定用データ
３６０ メモリ
３６１ 表情判定プロセス
３７０ バス
【特許請求の範囲】
【請求項１】
コンピュータに、
入力画像を受付け、
前記入力画像から顔領域を検出し、
前記顔領域から第一の特徴点を検出し、
前記顔領域から第二の特徴点を検出し、
前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択し、
選択した前記少なくとも一つの特徴点に基づいて、前記顔領域に領域を設定し、
設定した前記領域から、前記第一の特徴点および前記第二の特徴点とは異なる第三の特徴点を検出し、
検出した前記第三の特徴点に基づいて前記入力画像における表情を判定する
処理を実行させることを特徴とする表情判定プログラム。
【請求項２】
前記第三の特徴点を検出する処理は、前記領域内の画素値の分布に基づいて前記第三の特徴点を含む矩形領域を決定して、該矩形領域から前記第三の特徴点を検出し、
前記表情を判定する処理は、決定した前記矩形領域の縦横比率、該矩形領域の面積および該矩形領域における前記第三の特徴点の位置のいずれか一つ又は複数に基づいて、前記表情を判定することを特徴とする請求項１に記載の表情判定プログラム。
【請求項３】
前記コンピュータに、
前記入力画像における顔の向きを検出し、
前記顔の向きに対応付けて、前記入力画像の受付数、該受付数における前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数をそれぞれ記憶部に保存する
処理をさらに実行させ、
前記少なくとも一つの特徴点を選択する処理は、前記顔の向きに対応付けて前記記憶部に保存された前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数をそれぞれ取得し、取得した前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数に基づいて、前記第一の特徴点および前記第二の特徴点の検出率をそれぞれ算出し、算出した検出率に基づいて、前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択することを特徴とする請求項１に記載の表情判定プログラム。
【請求項４】
前記コンピュータに、
前記入力画像の受付前に所定のアクションを実行し、
前記表情を判定する処理の処理結果と前記所定のアクションの情報とを対応付けて出力する
処理をさらに実行させることを特徴とする請求項１に記載の表情判定プログラム。
【請求項５】
入力画像から顔領域を検出し、該顔領域に含まれる第一の特徴点および第二の特徴点を検出する顔部位検出部と、
前記顔部位検出部により検出された第一の特徴点と第二の特徴点のうち、少なくとも一つの特徴点を選択し、選択した少なくとも一つの特徴点に基づいて前記顔領域に領域を設定する設定部と、
前記設定部により設定された領域から、前記第一の特徴点および前記第二の特徴点とは異なる第三の特徴点を検出する特徴点検出部と、
前記特徴点検出部により検出された第三の特徴点に基づいて前記入力画像における表情を判定する判定部と
を有することを特徴とする表情判定装置。
【請求項１】
コンピュータに、
入力画像を受付け、
前記入力画像から顔領域を検出し、
前記顔領域から第一の特徴点を検出し、
前記顔領域から第二の特徴点を検出し、
前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択し、
選択した前記少なくとも一つの特徴点に基づいて、前記顔領域に領域を設定し、
設定した前記領域から、前記第一の特徴点および前記第二の特徴点とは異なる第三の特徴点を検出し、
検出した前記第三の特徴点に基づいて前記入力画像における表情を判定する
処理を実行させることを特徴とする表情判定プログラム。
【請求項２】
前記第三の特徴点を検出する処理は、前記領域内の画素値の分布に基づいて前記第三の特徴点を含む矩形領域を決定して、該矩形領域から前記第三の特徴点を検出し、
前記表情を判定する処理は、決定した前記矩形領域の縦横比率、該矩形領域の面積および該矩形領域における前記第三の特徴点の位置のいずれか一つ又は複数に基づいて、前記表情を判定することを特徴とする請求項１に記載の表情判定プログラム。
【請求項３】
前記コンピュータに、
前記入力画像における顔の向きを検出し、
前記顔の向きに対応付けて、前記入力画像の受付数、該受付数における前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数をそれぞれ記憶部に保存する
処理をさらに実行させ、
前記少なくとも一つの特徴点を選択する処理は、前記顔の向きに対応付けて前記記憶部に保存された前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数をそれぞれ取得し、取得した前記受付数、前記第一の特徴点の検出成功数および前記第二の特徴点の検出成功数に基づいて、前記第一の特徴点および前記第二の特徴点の検出率をそれぞれ算出し、算出した検出率に基づいて、前記第一の特徴点と前記第二の特徴点のうち、少なくとも一つの特徴点を選択することを特徴とする請求項１に記載の表情判定プログラム。
【請求項４】
前記コンピュータに、
前記入力画像の受付前に所定のアクションを実行し、
前記表情を判定する処理の処理結果と前記所定のアクションの情報とを対応付けて出力する
処理をさらに実行させることを特徴とする請求項１に記載の表情判定プログラム。
【請求項５】
入力画像から顔領域を検出し、該顔領域に含まれる第一の特徴点および第二の特徴点を検出する顔部位検出部と、
前記顔部位検出部により検出された第一の特徴点と第二の特徴点のうち、少なくとも一つの特徴点を選択し、選択した少なくとも一つの特徴点に基づいて前記顔領域に領域を設定する設定部と、
前記設定部により設定された領域から、前記第一の特徴点および前記第二の特徴点とは異なる第三の特徴点を検出する特徴点検出部と、
前記特徴点検出部により検出された第三の特徴点に基づいて前記入力画像における表情を判定する判定部と
を有することを特徴とする表情判定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１５５６３１（Ｐ２０１２−１５５６３１Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１５７８６（Ｐ２０１１−１５７８６）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]