心身状態管理装置
【課題】対象人物の心身状態を特徴付ける特徴量の抽出精度を高めて対象人物の心身状態をさらに精度よく判定する。
【解決手段】心身状態管理装置１は、処理装置２と記憶装置３とを備える。処理装置２において、顔画像取得部２１は、対象人物の顔画像を取得する。認証部２２は、対象人物を個人認証する。属性取得部２３は、対象人物の属性を取得する。特徴抽出部２４は、顔画像取得部２１で取得された顔画像から対象人物の心身状態を特徴付ける特徴量を抽出する。記憶装置３の基準特徴量記憶部３１は、基準特徴量を個人別に記憶する。比較部２５は、対象人物に対応する基準特徴量と特徴抽出部２４で抽出された特徴量とを比較する。判定部２６は、比較部２５の比較結果を用いて対象人物の心身状態を判定する。このような心身状態管理装置１において、特徴抽出部２４は、属性取得部２３で取得された属性に応じて特徴量の抽出手法を変更する。
【解決手段】心身状態管理装置１は、処理装置２と記憶装置３とを備える。処理装置２において、顔画像取得部２１は、対象人物の顔画像を取得する。認証部２２は、対象人物を個人認証する。属性取得部２３は、対象人物の属性を取得する。特徴抽出部２４は、顔画像取得部２１で取得された顔画像から対象人物の心身状態を特徴付ける特徴量を抽出する。記憶装置３の基準特徴量記憶部３１は、基準特徴量を個人別に記憶する。比較部２５は、対象人物に対応する基準特徴量と特徴抽出部２４で抽出された特徴量とを比較する。判定部２６は、比較部２５の比較結果を用いて対象人物の心身状態を判定する。このような心身状態管理装置１において、特徴抽出部２４は、属性取得部２３で取得された属性に応じて特徴量の抽出手法を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象人物の心身状態を管理する心身状態管理装置に関する。
【背景技術】
【０００２】
従来から、対象人物の顔画像から抽出した特徴量を用いて対象人物の心身状態を判定する装置が知られている（例えば特許文献１参照）。特許文献１の装置は、対象人物の顔画像から特徴点を抽出し、この特徴点の座標データから診断データベクトルを求める。その後、特許文献１の装置は、複数の専門家の知見を数値化した診断マトリクスと診断データベクトルとを用いて診断結果ベクトルを演算して表示する。診断結果ベクトルには、心因性疾病の度合いを示す要素が含まれている。特許文献１の装置では、診断結果ベクトルを表示することによって、専門知識がなくても対象人物の心因性疾病の度合いを判断することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３０５２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、人の顔はそれぞれ個性があるにも関わらず、特許文献１の装置のような従来の装置では、対象人物が誰であっても常に同じ手法で特徴量を求めるため、特徴量の抽出精度を十分に高めることができないという問題があった。これにより、従来の装置では、対象人物の心身状態をさらに精度よく判定することができなかった。
【０００５】
本発明は上記の点に鑑みて為され、本発明の目的は、対象人物の心身状態を特徴付ける特徴量の抽出精度を高めて対象人物の心身状態をさらに精度よく判定することができる心身状態管理装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の心身状態管理装置は、対象人物の顔画像を取得する顔画像取得部と、前記対象人物を個人認証する認証部と、前記顔画像取得部で取得された前記顔画像から前記対象人物の心身状態を特徴付ける特徴量を抽出する特徴抽出部と、前記特徴量と比較するための基準特徴量を個人別に記憶する基準特徴量記憶部と、前記対象人物に対応する前記基準特徴量を前記基準特徴量記憶部から取得し当該基準特徴量と前記特徴抽出部で抽出された前記特徴量とを比較する比較部と、前記比較部の比較結果を用いて前記対象人物の心身状態を判定する判定部と、前記対象人物の属性を取得する属性取得部とを備え、前記特徴抽出部は、前記属性取得部で取得された前記属性に応じて前記特徴量の抽出手法を変更することを特徴とする。
【０００７】
また、本発明の他の心身状態管理装置は、対象人物の顔画像を取得する顔画像取得部と、前記対象人物を個人認証する認証部と、前記顔画像取得部で取得された前記顔画像から前記対象人物の心身状態を特徴付ける特徴量を抽出する特徴抽出部と、前記特徴量と比較するための基準特徴量を個人別に記憶する基準特徴量記憶部と、前記対象人物に対応する前記基準特徴量を前記基準特徴量記憶部から取得し当該基準特徴量と前記特徴抽出部で抽出された前記特徴量とを比較する比較部と、前記比較部の比較結果を用いて前記対象人物の心身状態を判定する判定部とを備え、前記特徴抽出部は、前記認証部で個人認証された前記対象人物に応じて前記特徴量の抽出手法を変更することを特徴とする。
【０００８】
この心身状態管理装置において、前記特徴抽出部は、前記顔画像における特定部位から前記特徴量を抽出することが好ましい。
【０００９】
この心身状態管理装置において、前記特徴抽出部は、前記特徴量として、口角、目尻およびしわの少なくとも１つについて、大きさ、位置および形状の少なくとも１つを選択することが好ましい。
【００１０】
この心身状態管理装置において、前記顔画像は動画であり、前記特徴抽出部は、前記顔画像から前記特徴量として単位時間あたりの瞬き回数を抽出することが好ましい。
【００１１】
この心身状態管理装置において、表示機能を有する表示装置に前記判定部の判定結果を表示させる表示制御部を備えることが好ましい。
【００１２】
この心身状態管理装置において、前記対象人物の主観評価が入力される入力部を備え、前記表示制御部は、前記入力部に入力された前記主観評価に応じて前記判定結果を補正し、補正後の判定結果を前記表示装置に表示させることが好ましい。
【００１３】
この心身状態管理装置において、前記表示制御部は、前記判定結果に対する前記対象人物の対処方法を前記表示装置に表示させることが好ましい。
【００１４】
この心身状態管理装置において、前記判定部の判定結果に応じて予め設定された刺激を前記対象人物に与えるように、前記対象人物の周囲環境を制御する環境設備機器を制御する環境制御部を備えることが好ましい。
【００１５】
この心身状態管理装置において、前記特徴量を抽出する際に前記顔画像に照合させる顔モデルを属性ごとに記憶する顔モデル記憶部を備え、前記特徴抽出部は、前記属性取得部で取得された前記属性に対応する前記顔モデルを前記顔モデル記憶部から取得し、当該顔モデルを前記顔画像に照合することによって前記顔画像から特徴点を抽出し、当該特徴点から前記特徴量を抽出することが好ましい。
【００１６】
この心身状態管理装置において、前記特徴量を抽出する際に前記顔画像に照合させる顔モデルを個人ごとに記憶する顔モデル記憶部を備え、前記特徴抽出部は、前記認証部で個人認証された前記対象人物に対応する前記顔モデルを前記顔モデル記憶部から取得し、当該顔モデルを前記顔画像に照合することによって前記顔画像から特徴点を抽出し、当該特徴点から前記特徴量を抽出することが好ましい。
【発明の効果】
【００１７】
本発明によれば、対象人物の心身状態を特徴付ける特徴量の抽出手法を対象人物に応じて変更することによって、特徴量の抽出精度を高めることができるので、対象人物の心身状態をさらに精度よく判定することができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態１に係る心身状態管理装置の構成を示すブロック図である。
【図２】同上に係る心身状態管理装置の顔モデルのテーブルを示す図である。
【図３】同上に係る心身状態管理装置において、（ａ）は顔画像を示す図、（ｂ）は顔画像に顔モデルをあてはめた図、（ｃ）は特徴点を抽出するときの図である。
【図４】同上に係る心身状態管理装置において、（ａ）は目元の画像を示す図、（ｂ）は口元の画像を示す図である。
【図５】同上に係る心身状態管理装置において属性取得および特徴抽出の動作を示すフローチャートである。
【図６】同上に係る心身状態管理装置の使用例を説明する図である。
【図７】実施形態２に係る心身状態管理装置において、（ａ）は開眼時の画像を示す図、（ｂ）は閉眼時の画像を示す図、（ｃ）は瞬きの状況を示す図である。
【図８】同上に係る心身状態管理装置の使用例を説明する図である。
【発明を実施するための形態】
【００１９】
以下の実施形態１，２では、対象人物の心身状態を管理する心身状態管理装置について説明する。対象人物の心身状態とは、例えば疲労、眠気もしくは気分またはこれらの組み合わせなどをいう。
【００２０】
（実施形態１）
実施形態１の心身状態管理装置１は、図１に示すように、対象人物の顔画像から対象人物の心身状態を判定するための処理を行う処理装置２と、記憶機能を有して各種情報を記憶する記憶装置３と、対象人物（使用者）が入力操作するときに用いられる入力部４とを備えている。この心身状態管理装置１は、中央処理装置（ＣＰＵ：Central Processing Unit）およびメモリが搭載されたコンピュータを主構成要素とする。また、心身状態管理装置１には、撮像機能を有する撮像装置５と、表示機能を有する表示装置６と、環境状態を変化させる複数（図示例では３台）の環境設備機器７とが接続されている。心身状態管理装置１と撮像装置５と表示装置６と各環境設備機器７とで心身状態管理システムを構成する。
【００２１】
撮像装置５は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサなどを用いたエリアセンサカメラであり、対象人物の顔を撮像する。本実施形態の撮像装置５は、例えば洗面台または化粧台のミラーなどに埋め込んで設けられている（図６参照）。洗面台または化粧台のミラーは、撮像装置５の前方を覆う部位がマジックミラーで構成されている。これにより、撮像装置５は、ミラーの前方に位置する対象人物の顔を撮像することができる。対象人物の顔が撮像された撮像画像の画像データは、撮像装置５から心身状態管理装置１に出力される。
【００２２】
表示装置６は、例えば液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイなどであり、後述の表示制御部２７の指示に従って、各種情報を表示する。本実施形態の表示装置６は、例えば洗面台または化粧台のミラーの一部を切り欠くなどして内装されている（図６参照）。
【００２３】
環境設備機器７は、対象人物の周囲環境を制御する機器である。これにより、環境設備機器７は、対象人物の五感のうち少なくとも１つに対して刺激を与えることができる。環境設備機器７の具体例としては、照明光の照度および色温度を変えることが可能な照明機器、さまざまなジャンルの音楽を選択して再生する音楽再生装置、芳香剤を噴霧する芳香剤噴霧器などがある。
【００２４】
入力部４は、例えばキーボード、複数の操作ボタン、マウスまたはタッチパネルなどであり、対象人物が心身状態管理装置１に情報を入力する際に用いられる。具体的には、入力部４は、対象人物の主観評価が入力される。入力部４に入力された情報は、入力部４から処理装置２に出力される。本実施形態の入力部４は、例えば洗面台または化粧台などに設置されている。
【００２５】
処理装置２は、コンピュータに搭載された中央処理装置を主構成要素とし、記憶装置３に格納されているプログラムに従って動作することによって、後述の顔画像取得部２１と認証部２２と属性取得部２３と特徴抽出部２４と比較部２５と判定部２６と表示制御部２７と環境制御部２８との各機能を実行する。なお、処理装置２は、全ての機能または一部の機能を中央処理装置とは別のマイクロプロセッサ（ＭＰＵ：Micro Processing Unit）で実行してもよい。
【００２６】
顔画像取得部２１は、撮像装置５で得られた撮像画像を撮像装置５から取り込む。顔画像取得部２１は、取り込んだ撮像画像を用いて、対象人物の顔部分に相当する顔画像を抽出する。つまり、顔画像取得部２１は、撮像装置５で得られた撮像画像から対象人物の顔画像を取得する。対象人物の顔画像は記憶装置３に記憶される。なお、本実施形態の顔画像は静止画像である。
【００２７】
認証部２２は、顔画像取得部２１で取得された顔画像と各個人の顔画像とを照合することによって、対象人物を個人認証する。各個人の顔画像は、記憶装置３に予め記憶されている。なお、認証部２２は、指紋認証によって対象人物を個人認証してもよい。入力部４に、対象人物の指紋を入力するための指紋入力機能があればよい。具体的には、認証部２２は、対象人物の指紋と各個人の指紋とを照合することによって、対象人物を個人認証する。この場合、記憶装置３には、各個人の指紋の情報が予め記憶されている。また、認証部２２は、顔認証または指紋認証ではなく、対象人物の体重または体型などの情報から個人認証してもよい。具体的には、認証部２２は、対象人物の体重（または体型）と各個人の体重（または体型）とを照合することによって、対象人物を認証する。この場合、記憶装置３には、各個人の体重（または体型）の情報が予め記憶されている。例えば家族などのような、限られた特定集団の場合に容易に実現することができる。
【００２８】
属性取得部２３は、対象人物の属性を取得する。属性取得部２３で取得される属性としては、例えば人種・性別・年齢（年代）などがある。属性取得部２３が対象人物の属性を取得する手法としては、顔画像取得部２１で取得された顔画像を用いてサポートベクターマシン（ＳＶＭ：Support Vector Machine）によって対象人物の属性を推定する第１の手法と、対象人物が入力部４を用いて対象人物の属性を申告する第２の手法とがある。第１の手法と第２の手法とは、対象人物による入力部４からの操作によって切換選択可能である。なお、属性取得部２３が対象人物の属性を取得する手法としては、第１の手法と第２の手法の少なくとも何れか一方の手法があればよい。
【００２９】
特徴抽出部２４は、顔画像取得部２１で取得された顔画像から対象人物の心身状態を特徴付ける特徴量を抽出する。具体的には、特徴抽出部２４は、例えば目、口、鼻または輪郭など、顔画像における顔器官（特定部位）から特徴量を抽出する。対象人物の心身状態を特徴付ける特徴量としては、例えば口角の下がり（口角の位置）、眼の開き具合（眼の大きさ）、目尻の下がりまたはしわの程度（大きさ、位置または形状）などがある。なお、特徴量は、上記に限定されず、口角の大きさまたは形状であってもよいし、眼の位置または形状であってもよい。
【００３０】
本実施形態の特徴抽出部２４は、図３（ｂ）に示すように顔画像（図３（ａ）参照）に顔モデルをあてはめて、図３（ｃ）に示すように顔器官の特徴点を抽出する。その後、特徴抽出部２４は、抽出した特徴点を用いて特徴量を抽出する。具体的には、特徴抽出部２４は、図４（ａ）に示す目元の画像から特徴量（距離Ｌ、角度θ）を抽出したり、図４（ｂ）に示す口元の画像から特徴量（例えば上唇領域Ｐ１の画素数と下唇領域Ｐ２の画素数との比など）を抽出したりする。距離Ｌは目の開き具合を表わし、角度θは目尻の下がり具合を表わしている。
【００３１】
ところで、特徴抽出部２４は、属性取得部２３で取得された属性に応じて特徴量の抽出手法を変更する。具体的に説明すると、特徴抽出部２４は、属性取得部２３で取得された属性に対応する顔モデルを記憶装置３から取得し、上記顔モデルを顔画像に照合することによって顔画像から特徴点を抽出し、上記特徴点から特徴量を抽出する。なお、特徴抽出部２４は、対象人物の属性ごとに、特徴抽出に用いる顔器官を変更することもできる。
【００３２】
比較部２５は、特徴抽出部２４で抽出された特徴量と基準特徴量とを比較する。比較部２５は、上記特徴量と基準特徴量とを比較する前に、対象人物に対応する基準特徴量を記憶装置３から予め取得する。
【００３３】
判定部２６は、比較部２５の比較結果を用いて対象人物の心身状態を判定する。具体的には、判定部２６は、比較部２５の比較結果を用いて、例えば自己組織化マップ（ＳＯＭ：Self Organization Map）などで数段階（例えば「調子良好」・「ふつう」・「調子悪い」の３段階）に仕分けることによって対象人物の心身状態を判定する。判定部２６の判定結果は、表示制御部２７および環境制御部２８に出力されるとともに、記憶装置３に記憶される。
【００３４】
表示制御部２７は、表示装置６の表示を制御する。具体的には、表示制御部２７は、判定部２６の判定結果を表示装置６に表示させる。つまり、表示制御部２７は、「調子良好」・「ふつう」・「調子悪い」の何れかを表示装置６に表示させる。また、表示制御部２７は、入力部４に入力された主観評価に応じて判定結果を補正し、補正後の判定結果を表示装置６に表示させる。さらに、表示制御部２７は、判定結果に対する対象人物の対処方法を表示装置６に表示させる。対象人物の対処方法としては、例えば美顔器を用いた顔のマッサージ方法などがある。上述のように対処方法を表示装置６に表示させる場合、表示制御部２７は、対象人物の対処部位の画像を表示装置６に表示させることもできる。他にも、表示制御部２７は、例えば口角、目尻またはしわの程度などを時系列に表示装置６に表示させることもできる。また、表示制御部２７は、調子が良好であるときの顔画像を表示装置６に表示させることもできる。これにより、対象人物のやる気を喚起させることができる。
【００３５】
環境制御部２８は、例えばＬＡＮ（Local Area Network）などの宅内ネットワークによって各環境設備機器７に接続され、各環境設備機器７の動作を制御する。具体的には、環境制御部２８は、判定部２６の判定結果に応じて予め設定された刺激を対象人物に与えるように各環境設備機器７を制御する。例えば、判定部２６で「調子悪い」と判定された場合、環境制御部２８が芳香剤噴霧器であれば、対象人物のやる気を喚起させるような香りの芳香剤を噴霧し、環境制御部２８が音楽再生機器であれば、明るい音楽を再生したり、音量を上げたりする。
【００３６】
記憶装置３は、特徴量と比較するための基準特徴量を個人別（対象人物別）に記憶する基準特徴量記憶部３１と、特徴量を抽出する際に顔画像に照合させる顔モデルを属性ごとに記憶する顔モデル記憶部３２とを備えている。基準特徴量としては、例えば調子が良好であるときの特徴量などが用いられる。調子が良好であるときの特徴量は、過去に抽出された特徴量である。顔モデル記憶部３２には、図２に示すように、例えば人種・性別・年代ごとに顔モデルが対応して記憶されている。顔モデルの候補としては、例えばＡＳＭ（Active Shape Model）、ＡＣＭ（Active Contour Model）またはＡＡＭ（Active Appearance Model）などがある。各属性の顔モデルは、属性が同じである複数の顔写真を用いて事前に学習された顔モデルである。学習時に用いる顔写真は、例えば世界中の大学、研究機関または企業などで管理されている顔認識用データベースなどから取得される。また、記憶装置３は、各個人の顔画像を記憶する顔画像記憶部３３をさらに備えている。さらに、記憶装置３は、処理装置２が画像処理を行うためのプログラムを格納している。つまり、記憶装置３は、顔画像取得部２１と認証部２２と属性取得部２３と特徴抽出部２４と比較部２５と判定部２６と表示制御部２７と環境制御部２８との各機能を処理装置２（コンピュータ）に実現させるためのプログラムを格納している。
【００３７】
次に、本実施形態に係る心身状態管理装置１の属性取得および特徴抽出に関する動作について図５を用いて説明する。まず、処理装置２は、撮像装置５で得られた撮像画像から対象人物の顔画像を取得する。その後、処理装置２は、対象人物の属性を取得する（図５のＳ１）。その後、処理装置２は、対象人物の属性に対応する顔モデルを記憶装置３から読み込んで顔画像にあてはめる（Ｓ２）。その後、処理装置２は、顔画像から顔器官の特徴点を抽出し（Ｓ３）、特徴量を抽出する（Ｓ４）。
【００３８】
次に、本実施形態に係る心身状態管理装置１の使用例として、心身状態管理装置１と撮像装置５と表示装置６とが洗面台９１に設置された場合について図６を用いて説明する。この場合、心身状態管理装置１は洗面台９１に内蔵され、撮像装置５および表示装置６は洗面台９１のミラー９２に設置されている。まず、洗面台９１の前方に立っている対象人物の顔を撮像装置５が撮像し、心身状態管理装置１が対象人物の心身状態を判定する。その後、表示装置６は、心身状態管理装置１の表示制御部２７の指示に従って、図６（ａ）に示すように、撮像装置５で撮像された顔画像とともに現状の疲労部位（図６（ａ）の○印）を表示する。その後、図６（ｂ）に示すように、表示装置６は、美顔器を用いたマッサージに関する指南ビデオを表示する。対象人物は、表示装置６に表示された指南ビデオを見ながら、美顔器を用いて疲労部位を中心に顔をマッサージする。その後、撮像装置５がマッサージ後の対象人物の顔を撮像し、図６（ｃ）に示すように表示装置６がマッサージ前の顔画像とマッサージ後の顔画像とを並べて表示する。対象人物は、表示装置６に表示された２つの顔画像を見比べることによって、マッサージの効果を確認することができる。このように心身状態管理装置１を撮像装置５および表示装置６とともに使用することによって、対象人物の顔の疲労部位を明確にし、美顔器による効果的なマッサージを対象人物に指導することができる。なお、心身状態管理装置１と撮像装置５と表示装置６とが化粧台に設置された場合についても同様である。
【００３９】
以上、本実施形態の心身状態管理装置１によれば、特徴抽出部２４が対象人物の属性に応じて特徴量の抽出手法を変更することによって、特徴量の抽出精度を高めることができるので、対象人物の心身状態をさらに精度よく判定することができる。
【００４０】
また、本実施形態の心身状態管理装置１によれば、表示制御部２７が対象人物の心身状態を表示装置６に表示させることによって、対象人物は自己の心身状態を視認することができる。
【００４１】
さらに、本実施形態の心身状態管理装置１によれば、入力部４を用いて対象人物が入力した主観評価に応じて補正した判定結果を表示制御部２７が表示装置６に表示させることによって、対象人物は主観評価を反映した判定結果を視認することができる。
【００４２】
また、本実施形態の心身状態管理装置１によれば、判定結果に対する対処方法を表示制御部２７が表示装置６に表示させることによって、対象人物に対処方法を提示することができる。これにより、対象人物は、自己の心身状態を積極的かつ効果的に改善することができる。
【００４３】
さらに、本実施形態の心身状態管理装置１によれば、環境制御部２８が環境設備機器７を制御して対象人物の周囲環境を変更することによって、対象人物が意識しなくても対象人物に刺激を与えることができるので、対象人物の心身状態を改善することができる。
【００４４】
（実施形態２）
実施形態２の心身状態管理装置１は、対象人物の瞬き回数を特徴量とする点で、実施形態１の心身状態管理装置１と相違する。瞬き回数は、対象人物の眠気および集中度を特徴付ける特徴量である。本実施形態では、顔画像として動画が用いられる。以下、本実施形態の心身状態管理装置１について図１および図７，８を用いて説明する。なお、実施形態１の心身状態管理装置１と同様の構成要素については、同一の符号を付して説明を省略する。
【００４５】
本実施形態の特徴抽出部２４（図１参照）は、顔画像取得部２１（図１参照）で取得された顔画像に対象人物の属性に対応する顔モデルを合わせることによって、対象人物の眼の領域を抽出する。その後、特徴抽出部２４は、対象人物の眼の領域から特徴量として単位時間あたりの瞬き回数を抽出する。つまり、特徴抽出部２４は、顔画像から特徴量として単位時間あたりの瞬き回数を抽出する。瞬き回数の抽出の際には、図７に示すように、顔画像としての動画を構成する各フレームに対して、垂直方向（顔の縦方向）に設けられた眼球上領域８の濃淡値の平均値が用いられる。開眼時（図７（ｃ）のＡ）では、図７（ａ）に示すように黒目（瞳孔、虹彩）の割合が高いので、眼球上領域８の濃淡値の平均値は小さくなる。一方、閉眼時（図７（ｃ）のＢ）では、図７（ｂ）に示すように黒目より濃淡値が高いまぶたによって黒目が覆われて、黒目の割合が低くなるので、眼球上領域８の濃淡値の平均値は大きくなる。これにより、特徴抽出部２４は、瞬きの周期Ｔ１、瞬きにおいてまぶたが閉じている期間Ｔ２とともに、単位時間あたりの瞬き回数を特徴量として抽出することができる。図７（ｃ）は、眼球上領域８の濃淡値の平均値を時系列に示している。なお、図７（ｃ）は、（一定値−実際の濃淡値の平均値）で求められた値を濃淡値として示している。つまり、図７（ｃ）の濃淡値は、色が黒いほど大きな値になる。
【００４６】
本実施形態においても、特徴抽出部２４は、対象人物の属性に応じて抽出手法を変更し、上述のように、対象人物の属性に対応する顔モデルを用いている。
【００４７】
本実施形態の比較部２５（図１参照）は、特徴抽出部２４で抽出された特徴量と基準特徴量とを比較する。本実施形態の判定部２６（図１参照）は、比較部２５の比較結果を用いて、対象人物に眠気が生じているか否かを判定する。
【００４８】
本実施形態の環境制御部２８（図１参照）は、対象人物に眠気が生じていると判定部２６で判定された場合、対象人物の眠気をなくして対象人物の集中度を高めるように、例えば照明光の照度を上げたり、照明光の色温度を高めたりするように照明機器（環境設備機器７）を制御する。
【００４９】
本実施形態に係る心身状態管理装置１の使用例として、図８に示すように、心身状態管理装置１と撮像装置５と環境設備機器７とがオフィスに設置された場合について説明する。この場合、対象人物は、パーソナルコンピュータ９３を用いてデスクワークを行っている。心身状態管理装置１は、パーソナルコンピュータ９３に内蔵されている。環境設備機器７は、図示しないが、デスクワークが行われている部屋の照明機器とする。撮像装置５は、例えばｗｅｂカメラなどであり、パーソナルコンピュータ９３のモニタ９４に取り付けられる。まず、撮像装置５が対象人物の顔をリアルタイムで連続撮像し、心身状態管理装置１が顔画像（動画像）を用いて対象人物の眠気の有無を判定する。対象人物に眠気がある場合、心身状態管理装置１は、照明光の照度を上げたり、色温度を高くしたりするように、環境設備機器７である照明機器を制御する。なお、心身状態管理装置１と撮像装置５と環境設備機器７とが書斎に設置された場合についても同様である。
【００５０】
以上、本実施形態の心身状態管理装置１によれば、対象人物に眠気が生じていることを察知し、例えば環境設備機器７である照明機器から放射される照明光の照度を上げたり、照明光の色温度を高めたりすることができるので、対象人物の周囲環境を、対象人物の眠気をなくして対象人物の集中度が維持するような環境にすることができる。
【００５１】
（実施形態３）
実施形態３の心身状態管理装置１は、特徴量の抽出手法を個人ごとに変更する点で、実施形態１の心身状態管理装置１と相違する。以下、本実施形態の心身状態管理装置１について図１を用いて説明する。ただし、本実施形態の心身状態管理装置１は、属性取得部２３を省略してもよい。なお、実施形態１の心身状態管理装置１と同様の構成要素については、同一の符号を付して説明を省略する。
【００５２】
本実施形態の記憶装置３において、顔モデル記憶部３２は、特徴量を抽出する際に顔画像に照合させる顔モデルを個人ごとに記憶する。
【００５３】
本実施形態の特徴抽出部２４は、認証部２２で個人認証された対象人物に応じて特徴量の抽出手法を変更する。つまり、本実施形態の特徴抽出部２４は、特徴量の抽出手法を対象人物の属性ごとに変更するのではなく、対象人物ごとに変更する。具体的には、特徴抽出部２４は、認証部２２で個人認証された対象人物に対応する顔モデルを顔モデル記憶部３２から取得し、取得した顔モデルを顔画像に照合することによって顔画像から特徴点を抽出し、上記特徴点から特徴量を抽出する。
【００５４】
以上、本実施形態の心身状態管理装置１によれば、特徴抽出部２４が特徴量の抽出手法を対象人物ごとに変更することによって、特徴量の抽出精度を高めることができるので、対象人物の心身状態をさらに精度よく判定することができる。
【００５５】
なお、実施形態３の変形例として、心身状態管理装置１は、実施形態２のように対象人物の瞬き回数を特徴量として抽出してもよい。
【００５６】
また、実施形態１〜３の変形例として、対象人物の顔画像は熱画像などであってもよい。
【符号の説明】
【００５７】
１ 心身状態管理装置
２１ 顔画像取得部
２２ 認証部
２３ 属性取得部
２４ 特徴抽出部
２５ 比較部
２６ 判定部
２７ 表示制御部
２８ 環境制御部
３１ 基準特徴量記憶部
３２ 顔モデル記憶部
４ 入力部
６ 表示装置
７ 環境設備機器
【技術分野】
【０００１】
本発明は、対象人物の心身状態を管理する心身状態管理装置に関する。
【背景技術】
【０００２】
従来から、対象人物の顔画像から抽出した特徴量を用いて対象人物の心身状態を判定する装置が知られている（例えば特許文献１参照）。特許文献１の装置は、対象人物の顔画像から特徴点を抽出し、この特徴点の座標データから診断データベクトルを求める。その後、特許文献１の装置は、複数の専門家の知見を数値化した診断マトリクスと診断データベクトルとを用いて診断結果ベクトルを演算して表示する。診断結果ベクトルには、心因性疾病の度合いを示す要素が含まれている。特許文献１の装置では、診断結果ベクトルを表示することによって、専門知識がなくても対象人物の心因性疾病の度合いを判断することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３０５２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、人の顔はそれぞれ個性があるにも関わらず、特許文献１の装置のような従来の装置では、対象人物が誰であっても常に同じ手法で特徴量を求めるため、特徴量の抽出精度を十分に高めることができないという問題があった。これにより、従来の装置では、対象人物の心身状態をさらに精度よく判定することができなかった。
【０００５】
本発明は上記の点に鑑みて為され、本発明の目的は、対象人物の心身状態を特徴付ける特徴量の抽出精度を高めて対象人物の心身状態をさらに精度よく判定することができる心身状態管理装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の心身状態管理装置は、対象人物の顔画像を取得する顔画像取得部と、前記対象人物を個人認証する認証部と、前記顔画像取得部で取得された前記顔画像から前記対象人物の心身状態を特徴付ける特徴量を抽出する特徴抽出部と、前記特徴量と比較するための基準特徴量を個人別に記憶する基準特徴量記憶部と、前記対象人物に対応する前記基準特徴量を前記基準特徴量記憶部から取得し当該基準特徴量と前記特徴抽出部で抽出された前記特徴量とを比較する比較部と、前記比較部の比較結果を用いて前記対象人物の心身状態を判定する判定部と、前記対象人物の属性を取得する属性取得部とを備え、前記特徴抽出部は、前記属性取得部で取得された前記属性に応じて前記特徴量の抽出手法を変更することを特徴とする。
【０００７】
また、本発明の他の心身状態管理装置は、対象人物の顔画像を取得する顔画像取得部と、前記対象人物を個人認証する認証部と、前記顔画像取得部で取得された前記顔画像から前記対象人物の心身状態を特徴付ける特徴量を抽出する特徴抽出部と、前記特徴量と比較するための基準特徴量を個人別に記憶する基準特徴量記憶部と、前記対象人物に対応する前記基準特徴量を前記基準特徴量記憶部から取得し当該基準特徴量と前記特徴抽出部で抽出された前記特徴量とを比較する比較部と、前記比較部の比較結果を用いて前記対象人物の心身状態を判定する判定部とを備え、前記特徴抽出部は、前記認証部で個人認証された前記対象人物に応じて前記特徴量の抽出手法を変更することを特徴とする。
【０００８】
この心身状態管理装置において、前記特徴抽出部は、前記顔画像における特定部位から前記特徴量を抽出することが好ましい。
【０００９】
この心身状態管理装置において、前記特徴抽出部は、前記特徴量として、口角、目尻およびしわの少なくとも１つについて、大きさ、位置および形状の少なくとも１つを選択することが好ましい。
【００１０】
この心身状態管理装置において、前記顔画像は動画であり、前記特徴抽出部は、前記顔画像から前記特徴量として単位時間あたりの瞬き回数を抽出することが好ましい。
【００１１】
この心身状態管理装置において、表示機能を有する表示装置に前記判定部の判定結果を表示させる表示制御部を備えることが好ましい。
【００１２】
この心身状態管理装置において、前記対象人物の主観評価が入力される入力部を備え、前記表示制御部は、前記入力部に入力された前記主観評価に応じて前記判定結果を補正し、補正後の判定結果を前記表示装置に表示させることが好ましい。
【００１３】
この心身状態管理装置において、前記表示制御部は、前記判定結果に対する前記対象人物の対処方法を前記表示装置に表示させることが好ましい。
【００１４】
この心身状態管理装置において、前記判定部の判定結果に応じて予め設定された刺激を前記対象人物に与えるように、前記対象人物の周囲環境を制御する環境設備機器を制御する環境制御部を備えることが好ましい。
【００１５】
この心身状態管理装置において、前記特徴量を抽出する際に前記顔画像に照合させる顔モデルを属性ごとに記憶する顔モデル記憶部を備え、前記特徴抽出部は、前記属性取得部で取得された前記属性に対応する前記顔モデルを前記顔モデル記憶部から取得し、当該顔モデルを前記顔画像に照合することによって前記顔画像から特徴点を抽出し、当該特徴点から前記特徴量を抽出することが好ましい。
【００１６】
この心身状態管理装置において、前記特徴量を抽出する際に前記顔画像に照合させる顔モデルを個人ごとに記憶する顔モデル記憶部を備え、前記特徴抽出部は、前記認証部で個人認証された前記対象人物に対応する前記顔モデルを前記顔モデル記憶部から取得し、当該顔モデルを前記顔画像に照合することによって前記顔画像から特徴点を抽出し、当該特徴点から前記特徴量を抽出することが好ましい。
【発明の効果】
【００１７】
本発明によれば、対象人物の心身状態を特徴付ける特徴量の抽出手法を対象人物に応じて変更することによって、特徴量の抽出精度を高めることができるので、対象人物の心身状態をさらに精度よく判定することができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態１に係る心身状態管理装置の構成を示すブロック図である。
【図２】同上に係る心身状態管理装置の顔モデルのテーブルを示す図である。
【図３】同上に係る心身状態管理装置において、（ａ）は顔画像を示す図、（ｂ）は顔画像に顔モデルをあてはめた図、（ｃ）は特徴点を抽出するときの図である。
【図４】同上に係る心身状態管理装置において、（ａ）は目元の画像を示す図、（ｂ）は口元の画像を示す図である。
【図５】同上に係る心身状態管理装置において属性取得および特徴抽出の動作を示すフローチャートである。
【図６】同上に係る心身状態管理装置の使用例を説明する図である。
【図７】実施形態２に係る心身状態管理装置において、（ａ）は開眼時の画像を示す図、（ｂ）は閉眼時の画像を示す図、（ｃ）は瞬きの状況を示す図である。
【図８】同上に係る心身状態管理装置の使用例を説明する図である。
【発明を実施するための形態】
【００１９】
以下の実施形態１，２では、対象人物の心身状態を管理する心身状態管理装置について説明する。対象人物の心身状態とは、例えば疲労、眠気もしくは気分またはこれらの組み合わせなどをいう。
【００２０】
（実施形態１）
実施形態１の心身状態管理装置１は、図１に示すように、対象人物の顔画像から対象人物の心身状態を判定するための処理を行う処理装置２と、記憶機能を有して各種情報を記憶する記憶装置３と、対象人物（使用者）が入力操作するときに用いられる入力部４とを備えている。この心身状態管理装置１は、中央処理装置（ＣＰＵ：Central Processing Unit）およびメモリが搭載されたコンピュータを主構成要素とする。また、心身状態管理装置１には、撮像機能を有する撮像装置５と、表示機能を有する表示装置６と、環境状態を変化させる複数（図示例では３台）の環境設備機器７とが接続されている。心身状態管理装置１と撮像装置５と表示装置６と各環境設備機器７とで心身状態管理システムを構成する。
【００２１】
撮像装置５は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサなどを用いたエリアセンサカメラであり、対象人物の顔を撮像する。本実施形態の撮像装置５は、例えば洗面台または化粧台のミラーなどに埋め込んで設けられている（図６参照）。洗面台または化粧台のミラーは、撮像装置５の前方を覆う部位がマジックミラーで構成されている。これにより、撮像装置５は、ミラーの前方に位置する対象人物の顔を撮像することができる。対象人物の顔が撮像された撮像画像の画像データは、撮像装置５から心身状態管理装置１に出力される。
【００２２】
表示装置６は、例えば液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイなどであり、後述の表示制御部２７の指示に従って、各種情報を表示する。本実施形態の表示装置６は、例えば洗面台または化粧台のミラーの一部を切り欠くなどして内装されている（図６参照）。
【００２３】
環境設備機器７は、対象人物の周囲環境を制御する機器である。これにより、環境設備機器７は、対象人物の五感のうち少なくとも１つに対して刺激を与えることができる。環境設備機器７の具体例としては、照明光の照度および色温度を変えることが可能な照明機器、さまざまなジャンルの音楽を選択して再生する音楽再生装置、芳香剤を噴霧する芳香剤噴霧器などがある。
【００２４】
入力部４は、例えばキーボード、複数の操作ボタン、マウスまたはタッチパネルなどであり、対象人物が心身状態管理装置１に情報を入力する際に用いられる。具体的には、入力部４は、対象人物の主観評価が入力される。入力部４に入力された情報は、入力部４から処理装置２に出力される。本実施形態の入力部４は、例えば洗面台または化粧台などに設置されている。
【００２５】
処理装置２は、コンピュータに搭載された中央処理装置を主構成要素とし、記憶装置３に格納されているプログラムに従って動作することによって、後述の顔画像取得部２１と認証部２２と属性取得部２３と特徴抽出部２４と比較部２５と判定部２６と表示制御部２７と環境制御部２８との各機能を実行する。なお、処理装置２は、全ての機能または一部の機能を中央処理装置とは別のマイクロプロセッサ（ＭＰＵ：Micro Processing Unit）で実行してもよい。
【００２６】
顔画像取得部２１は、撮像装置５で得られた撮像画像を撮像装置５から取り込む。顔画像取得部２１は、取り込んだ撮像画像を用いて、対象人物の顔部分に相当する顔画像を抽出する。つまり、顔画像取得部２１は、撮像装置５で得られた撮像画像から対象人物の顔画像を取得する。対象人物の顔画像は記憶装置３に記憶される。なお、本実施形態の顔画像は静止画像である。
【００２７】
認証部２２は、顔画像取得部２１で取得された顔画像と各個人の顔画像とを照合することによって、対象人物を個人認証する。各個人の顔画像は、記憶装置３に予め記憶されている。なお、認証部２２は、指紋認証によって対象人物を個人認証してもよい。入力部４に、対象人物の指紋を入力するための指紋入力機能があればよい。具体的には、認証部２２は、対象人物の指紋と各個人の指紋とを照合することによって、対象人物を個人認証する。この場合、記憶装置３には、各個人の指紋の情報が予め記憶されている。また、認証部２２は、顔認証または指紋認証ではなく、対象人物の体重または体型などの情報から個人認証してもよい。具体的には、認証部２２は、対象人物の体重（または体型）と各個人の体重（または体型）とを照合することによって、対象人物を認証する。この場合、記憶装置３には、各個人の体重（または体型）の情報が予め記憶されている。例えば家族などのような、限られた特定集団の場合に容易に実現することができる。
【００２８】
属性取得部２３は、対象人物の属性を取得する。属性取得部２３で取得される属性としては、例えば人種・性別・年齢（年代）などがある。属性取得部２３が対象人物の属性を取得する手法としては、顔画像取得部２１で取得された顔画像を用いてサポートベクターマシン（ＳＶＭ：Support Vector Machine）によって対象人物の属性を推定する第１の手法と、対象人物が入力部４を用いて対象人物の属性を申告する第２の手法とがある。第１の手法と第２の手法とは、対象人物による入力部４からの操作によって切換選択可能である。なお、属性取得部２３が対象人物の属性を取得する手法としては、第１の手法と第２の手法の少なくとも何れか一方の手法があればよい。
【００２９】
特徴抽出部２４は、顔画像取得部２１で取得された顔画像から対象人物の心身状態を特徴付ける特徴量を抽出する。具体的には、特徴抽出部２４は、例えば目、口、鼻または輪郭など、顔画像における顔器官（特定部位）から特徴量を抽出する。対象人物の心身状態を特徴付ける特徴量としては、例えば口角の下がり（口角の位置）、眼の開き具合（眼の大きさ）、目尻の下がりまたはしわの程度（大きさ、位置または形状）などがある。なお、特徴量は、上記に限定されず、口角の大きさまたは形状であってもよいし、眼の位置または形状であってもよい。
【００３０】
本実施形態の特徴抽出部２４は、図３（ｂ）に示すように顔画像（図３（ａ）参照）に顔モデルをあてはめて、図３（ｃ）に示すように顔器官の特徴点を抽出する。その後、特徴抽出部２４は、抽出した特徴点を用いて特徴量を抽出する。具体的には、特徴抽出部２４は、図４（ａ）に示す目元の画像から特徴量（距離Ｌ、角度θ）を抽出したり、図４（ｂ）に示す口元の画像から特徴量（例えば上唇領域Ｐ１の画素数と下唇領域Ｐ２の画素数との比など）を抽出したりする。距離Ｌは目の開き具合を表わし、角度θは目尻の下がり具合を表わしている。
【００３１】
ところで、特徴抽出部２４は、属性取得部２３で取得された属性に応じて特徴量の抽出手法を変更する。具体的に説明すると、特徴抽出部２４は、属性取得部２３で取得された属性に対応する顔モデルを記憶装置３から取得し、上記顔モデルを顔画像に照合することによって顔画像から特徴点を抽出し、上記特徴点から特徴量を抽出する。なお、特徴抽出部２４は、対象人物の属性ごとに、特徴抽出に用いる顔器官を変更することもできる。
【００３２】
比較部２５は、特徴抽出部２４で抽出された特徴量と基準特徴量とを比較する。比較部２５は、上記特徴量と基準特徴量とを比較する前に、対象人物に対応する基準特徴量を記憶装置３から予め取得する。
【００３３】
判定部２６は、比較部２５の比較結果を用いて対象人物の心身状態を判定する。具体的には、判定部２６は、比較部２５の比較結果を用いて、例えば自己組織化マップ（ＳＯＭ：Self Organization Map）などで数段階（例えば「調子良好」・「ふつう」・「調子悪い」の３段階）に仕分けることによって対象人物の心身状態を判定する。判定部２６の判定結果は、表示制御部２７および環境制御部２８に出力されるとともに、記憶装置３に記憶される。
【００３４】
表示制御部２７は、表示装置６の表示を制御する。具体的には、表示制御部２７は、判定部２６の判定結果を表示装置６に表示させる。つまり、表示制御部２７は、「調子良好」・「ふつう」・「調子悪い」の何れかを表示装置６に表示させる。また、表示制御部２７は、入力部４に入力された主観評価に応じて判定結果を補正し、補正後の判定結果を表示装置６に表示させる。さらに、表示制御部２７は、判定結果に対する対象人物の対処方法を表示装置６に表示させる。対象人物の対処方法としては、例えば美顔器を用いた顔のマッサージ方法などがある。上述のように対処方法を表示装置６に表示させる場合、表示制御部２７は、対象人物の対処部位の画像を表示装置６に表示させることもできる。他にも、表示制御部２７は、例えば口角、目尻またはしわの程度などを時系列に表示装置６に表示させることもできる。また、表示制御部２７は、調子が良好であるときの顔画像を表示装置６に表示させることもできる。これにより、対象人物のやる気を喚起させることができる。
【００３５】
環境制御部２８は、例えばＬＡＮ（Local Area Network）などの宅内ネットワークによって各環境設備機器７に接続され、各環境設備機器７の動作を制御する。具体的には、環境制御部２８は、判定部２６の判定結果に応じて予め設定された刺激を対象人物に与えるように各環境設備機器７を制御する。例えば、判定部２６で「調子悪い」と判定された場合、環境制御部２８が芳香剤噴霧器であれば、対象人物のやる気を喚起させるような香りの芳香剤を噴霧し、環境制御部２８が音楽再生機器であれば、明るい音楽を再生したり、音量を上げたりする。
【００３６】
記憶装置３は、特徴量と比較するための基準特徴量を個人別（対象人物別）に記憶する基準特徴量記憶部３１と、特徴量を抽出する際に顔画像に照合させる顔モデルを属性ごとに記憶する顔モデル記憶部３２とを備えている。基準特徴量としては、例えば調子が良好であるときの特徴量などが用いられる。調子が良好であるときの特徴量は、過去に抽出された特徴量である。顔モデル記憶部３２には、図２に示すように、例えば人種・性別・年代ごとに顔モデルが対応して記憶されている。顔モデルの候補としては、例えばＡＳＭ（Active Shape Model）、ＡＣＭ（Active Contour Model）またはＡＡＭ（Active Appearance Model）などがある。各属性の顔モデルは、属性が同じである複数の顔写真を用いて事前に学習された顔モデルである。学習時に用いる顔写真は、例えば世界中の大学、研究機関または企業などで管理されている顔認識用データベースなどから取得される。また、記憶装置３は、各個人の顔画像を記憶する顔画像記憶部３３をさらに備えている。さらに、記憶装置３は、処理装置２が画像処理を行うためのプログラムを格納している。つまり、記憶装置３は、顔画像取得部２１と認証部２２と属性取得部２３と特徴抽出部２４と比較部２５と判定部２６と表示制御部２７と環境制御部２８との各機能を処理装置２（コンピュータ）に実現させるためのプログラムを格納している。
【００３７】
次に、本実施形態に係る心身状態管理装置１の属性取得および特徴抽出に関する動作について図５を用いて説明する。まず、処理装置２は、撮像装置５で得られた撮像画像から対象人物の顔画像を取得する。その後、処理装置２は、対象人物の属性を取得する（図５のＳ１）。その後、処理装置２は、対象人物の属性に対応する顔モデルを記憶装置３から読み込んで顔画像にあてはめる（Ｓ２）。その後、処理装置２は、顔画像から顔器官の特徴点を抽出し（Ｓ３）、特徴量を抽出する（Ｓ４）。
【００３８】
次に、本実施形態に係る心身状態管理装置１の使用例として、心身状態管理装置１と撮像装置５と表示装置６とが洗面台９１に設置された場合について図６を用いて説明する。この場合、心身状態管理装置１は洗面台９１に内蔵され、撮像装置５および表示装置６は洗面台９１のミラー９２に設置されている。まず、洗面台９１の前方に立っている対象人物の顔を撮像装置５が撮像し、心身状態管理装置１が対象人物の心身状態を判定する。その後、表示装置６は、心身状態管理装置１の表示制御部２７の指示に従って、図６（ａ）に示すように、撮像装置５で撮像された顔画像とともに現状の疲労部位（図６（ａ）の○印）を表示する。その後、図６（ｂ）に示すように、表示装置６は、美顔器を用いたマッサージに関する指南ビデオを表示する。対象人物は、表示装置６に表示された指南ビデオを見ながら、美顔器を用いて疲労部位を中心に顔をマッサージする。その後、撮像装置５がマッサージ後の対象人物の顔を撮像し、図６（ｃ）に示すように表示装置６がマッサージ前の顔画像とマッサージ後の顔画像とを並べて表示する。対象人物は、表示装置６に表示された２つの顔画像を見比べることによって、マッサージの効果を確認することができる。このように心身状態管理装置１を撮像装置５および表示装置６とともに使用することによって、対象人物の顔の疲労部位を明確にし、美顔器による効果的なマッサージを対象人物に指導することができる。なお、心身状態管理装置１と撮像装置５と表示装置６とが化粧台に設置された場合についても同様である。
【００３９】
以上、本実施形態の心身状態管理装置１によれば、特徴抽出部２４が対象人物の属性に応じて特徴量の抽出手法を変更することによって、特徴量の抽出精度を高めることができるので、対象人物の心身状態をさらに精度よく判定することができる。
【００４０】
また、本実施形態の心身状態管理装置１によれば、表示制御部２７が対象人物の心身状態を表示装置６に表示させることによって、対象人物は自己の心身状態を視認することができる。
【００４１】
さらに、本実施形態の心身状態管理装置１によれば、入力部４を用いて対象人物が入力した主観評価に応じて補正した判定結果を表示制御部２７が表示装置６に表示させることによって、対象人物は主観評価を反映した判定結果を視認することができる。
【００４２】
また、本実施形態の心身状態管理装置１によれば、判定結果に対する対処方法を表示制御部２７が表示装置６に表示させることによって、対象人物に対処方法を提示することができる。これにより、対象人物は、自己の心身状態を積極的かつ効果的に改善することができる。
【００４３】
さらに、本実施形態の心身状態管理装置１によれば、環境制御部２８が環境設備機器７を制御して対象人物の周囲環境を変更することによって、対象人物が意識しなくても対象人物に刺激を与えることができるので、対象人物の心身状態を改善することができる。
【００４４】
（実施形態２）
実施形態２の心身状態管理装置１は、対象人物の瞬き回数を特徴量とする点で、実施形態１の心身状態管理装置１と相違する。瞬き回数は、対象人物の眠気および集中度を特徴付ける特徴量である。本実施形態では、顔画像として動画が用いられる。以下、本実施形態の心身状態管理装置１について図１および図７，８を用いて説明する。なお、実施形態１の心身状態管理装置１と同様の構成要素については、同一の符号を付して説明を省略する。
【００４５】
本実施形態の特徴抽出部２４（図１参照）は、顔画像取得部２１（図１参照）で取得された顔画像に対象人物の属性に対応する顔モデルを合わせることによって、対象人物の眼の領域を抽出する。その後、特徴抽出部２４は、対象人物の眼の領域から特徴量として単位時間あたりの瞬き回数を抽出する。つまり、特徴抽出部２４は、顔画像から特徴量として単位時間あたりの瞬き回数を抽出する。瞬き回数の抽出の際には、図７に示すように、顔画像としての動画を構成する各フレームに対して、垂直方向（顔の縦方向）に設けられた眼球上領域８の濃淡値の平均値が用いられる。開眼時（図７（ｃ）のＡ）では、図７（ａ）に示すように黒目（瞳孔、虹彩）の割合が高いので、眼球上領域８の濃淡値の平均値は小さくなる。一方、閉眼時（図７（ｃ）のＢ）では、図７（ｂ）に示すように黒目より濃淡値が高いまぶたによって黒目が覆われて、黒目の割合が低くなるので、眼球上領域８の濃淡値の平均値は大きくなる。これにより、特徴抽出部２４は、瞬きの周期Ｔ１、瞬きにおいてまぶたが閉じている期間Ｔ２とともに、単位時間あたりの瞬き回数を特徴量として抽出することができる。図７（ｃ）は、眼球上領域８の濃淡値の平均値を時系列に示している。なお、図７（ｃ）は、（一定値−実際の濃淡値の平均値）で求められた値を濃淡値として示している。つまり、図７（ｃ）の濃淡値は、色が黒いほど大きな値になる。
【００４６】
本実施形態においても、特徴抽出部２４は、対象人物の属性に応じて抽出手法を変更し、上述のように、対象人物の属性に対応する顔モデルを用いている。
【００４７】
本実施形態の比較部２５（図１参照）は、特徴抽出部２４で抽出された特徴量と基準特徴量とを比較する。本実施形態の判定部２６（図１参照）は、比較部２５の比較結果を用いて、対象人物に眠気が生じているか否かを判定する。
【００４８】
本実施形態の環境制御部２８（図１参照）は、対象人物に眠気が生じていると判定部２６で判定された場合、対象人物の眠気をなくして対象人物の集中度を高めるように、例えば照明光の照度を上げたり、照明光の色温度を高めたりするように照明機器（環境設備機器７）を制御する。
【００４９】
本実施形態に係る心身状態管理装置１の使用例として、図８に示すように、心身状態管理装置１と撮像装置５と環境設備機器７とがオフィスに設置された場合について説明する。この場合、対象人物は、パーソナルコンピュータ９３を用いてデスクワークを行っている。心身状態管理装置１は、パーソナルコンピュータ９３に内蔵されている。環境設備機器７は、図示しないが、デスクワークが行われている部屋の照明機器とする。撮像装置５は、例えばｗｅｂカメラなどであり、パーソナルコンピュータ９３のモニタ９４に取り付けられる。まず、撮像装置５が対象人物の顔をリアルタイムで連続撮像し、心身状態管理装置１が顔画像（動画像）を用いて対象人物の眠気の有無を判定する。対象人物に眠気がある場合、心身状態管理装置１は、照明光の照度を上げたり、色温度を高くしたりするように、環境設備機器７である照明機器を制御する。なお、心身状態管理装置１と撮像装置５と環境設備機器７とが書斎に設置された場合についても同様である。
【００５０】
以上、本実施形態の心身状態管理装置１によれば、対象人物に眠気が生じていることを察知し、例えば環境設備機器７である照明機器から放射される照明光の照度を上げたり、照明光の色温度を高めたりすることができるので、対象人物の周囲環境を、対象人物の眠気をなくして対象人物の集中度が維持するような環境にすることができる。
【００５１】
（実施形態３）
実施形態３の心身状態管理装置１は、特徴量の抽出手法を個人ごとに変更する点で、実施形態１の心身状態管理装置１と相違する。以下、本実施形態の心身状態管理装置１について図１を用いて説明する。ただし、本実施形態の心身状態管理装置１は、属性取得部２３を省略してもよい。なお、実施形態１の心身状態管理装置１と同様の構成要素については、同一の符号を付して説明を省略する。
【００５２】
本実施形態の記憶装置３において、顔モデル記憶部３２は、特徴量を抽出する際に顔画像に照合させる顔モデルを個人ごとに記憶する。
【００５３】
本実施形態の特徴抽出部２４は、認証部２２で個人認証された対象人物に応じて特徴量の抽出手法を変更する。つまり、本実施形態の特徴抽出部２４は、特徴量の抽出手法を対象人物の属性ごとに変更するのではなく、対象人物ごとに変更する。具体的には、特徴抽出部２４は、認証部２２で個人認証された対象人物に対応する顔モデルを顔モデル記憶部３２から取得し、取得した顔モデルを顔画像に照合することによって顔画像から特徴点を抽出し、上記特徴点から特徴量を抽出する。
【００５４】
以上、本実施形態の心身状態管理装置１によれば、特徴抽出部２４が特徴量の抽出手法を対象人物ごとに変更することによって、特徴量の抽出精度を高めることができるので、対象人物の心身状態をさらに精度よく判定することができる。
【００５５】
なお、実施形態３の変形例として、心身状態管理装置１は、実施形態２のように対象人物の瞬き回数を特徴量として抽出してもよい。
【００５６】
また、実施形態１〜３の変形例として、対象人物の顔画像は熱画像などであってもよい。
【符号の説明】
【００５７】
１ 心身状態管理装置
２１ 顔画像取得部
２２ 認証部
２３ 属性取得部
２４ 特徴抽出部
２５ 比較部
２６ 判定部
２７ 表示制御部
２８ 環境制御部
３１ 基準特徴量記憶部
３２ 顔モデル記憶部
４ 入力部
６ 表示装置
７ 環境設備機器
【特許請求の範囲】
【請求項１】
対象人物の顔画像を取得する顔画像取得部と、
前記対象人物を個人認証する認証部と、
前記顔画像取得部で取得された前記顔画像から前記対象人物の心身状態を特徴付ける特徴量を抽出する特徴抽出部と、
前記特徴量と比較するための基準特徴量を個人別に記憶する基準特徴量記憶部と、
前記対象人物に対応する前記基準特徴量を前記基準特徴量記憶部から取得し当該基準特徴量と前記特徴抽出部で抽出された前記特徴量とを比較する比較部と、
前記比較部の比較結果を用いて前記対象人物の心身状態を判定する判定部と、
前記対象人物の属性を取得する属性取得部とを備え、
前記特徴抽出部は、前記属性取得部で取得された前記属性に応じて前記特徴量の抽出手法を変更する
ことを特徴とする心身状態管理装置。
【請求項２】
対象人物の顔画像を取得する顔画像取得部と、
前記対象人物を個人認証する認証部と、
前記顔画像取得部で取得された前記顔画像から前記対象人物の心身状態を特徴付ける特徴量を抽出する特徴抽出部と、
前記特徴量と比較するための基準特徴量を個人別に記憶する基準特徴量記憶部と、
前記対象人物に対応する前記基準特徴量を前記基準特徴量記憶部から取得し当該基準特徴量と前記特徴抽出部で抽出された前記特徴量とを比較する比較部と、
前記比較部の比較結果を用いて前記対象人物の心身状態を判定する判定部とを備え、
前記特徴抽出部は、前記認証部で個人認証された前記対象人物に応じて前記特徴量の抽出手法を変更する
ことを特徴とする心身状態管理装置。
【請求項３】
前記特徴抽出部は、前記顔画像における特定部位から前記特徴量を抽出することを特徴とする請求項１または２記載の心身状態管理装置。
【請求項４】
前記特徴抽出部は、前記特徴量として、口角、目尻およびしわの少なくとも１つについて、大きさ、位置および形状の少なくとも１つを選択することを特徴とする請求項３記載の心身状態管理装置。
【請求項５】
前記顔画像は動画であり、
前記特徴抽出部は、前記顔画像から前記特徴量として単位時間あたりの瞬き回数を抽出する
ことを特徴とする請求項３記載の心身状態管理装置。
【請求項６】
表示機能を有する表示装置に前記判定部の判定結果を表示させる表示制御部を備えることを特徴とする請求項１〜５の何れか１項に記載の心身状態管理装置。
【請求項７】
前記対象人物の主観評価が入力される入力部を備え、
前記表示制御部は、前記入力部に入力された前記主観評価に応じて前記判定結果を補正し、補正後の判定結果を前記表示装置に表示させる
ことを特徴とする請求項６記載の心身状態管理装置。
【請求項８】
前記表示制御部は、前記判定結果に対する前記対象人物の対処方法を前記表示装置に表示させることを特徴とする請求項６または７記載の心身状態管理装置。
【請求項９】
前記判定部の判定結果に応じて予め設定された刺激を前記対象人物に与えるように、前記対象人物の周囲環境を制御する環境設備機器を制御する環境制御部を備えることを特徴とする請求項１〜８の何れか１項に記載の心身状態管理装置。
【請求項１０】
前記特徴量を抽出する際に前記顔画像に照合させる顔モデルを属性ごとに記憶する顔モデル記憶部を備え、
前記特徴抽出部は、前記属性取得部で取得された前記属性に対応する前記顔モデルを前記顔モデル記憶部から取得し、当該顔モデルを前記顔画像に照合することによって前記顔画像から特徴点を抽出し、当該特徴点から前記特徴量を抽出する
ことを特徴とする請求項１記載の心身状態管理装置。
【請求項１１】
前記特徴量を抽出する際に前記顔画像に照合させる顔モデルを個人ごとに記憶する顔モデル記憶部を備え、
前記特徴抽出部は、前記認証部で個人認証された前記対象人物に対応する前記顔モデルを前記顔モデル記憶部から取得し、当該顔モデルを前記顔画像に照合することによって前記顔画像から特徴点を抽出し、当該特徴点から前記特徴量を抽出する
ことを特徴とする請求項２記載の心身状態管理装置。
【請求項１】
対象人物の顔画像を取得する顔画像取得部と、
前記対象人物を個人認証する認証部と、
前記顔画像取得部で取得された前記顔画像から前記対象人物の心身状態を特徴付ける特徴量を抽出する特徴抽出部と、
前記特徴量と比較するための基準特徴量を個人別に記憶する基準特徴量記憶部と、
前記対象人物に対応する前記基準特徴量を前記基準特徴量記憶部から取得し当該基準特徴量と前記特徴抽出部で抽出された前記特徴量とを比較する比較部と、
前記比較部の比較結果を用いて前記対象人物の心身状態を判定する判定部と、
前記対象人物の属性を取得する属性取得部とを備え、
前記特徴抽出部は、前記属性取得部で取得された前記属性に応じて前記特徴量の抽出手法を変更する
ことを特徴とする心身状態管理装置。
【請求項２】
対象人物の顔画像を取得する顔画像取得部と、
前記対象人物を個人認証する認証部と、
前記顔画像取得部で取得された前記顔画像から前記対象人物の心身状態を特徴付ける特徴量を抽出する特徴抽出部と、
前記特徴量と比較するための基準特徴量を個人別に記憶する基準特徴量記憶部と、
前記対象人物に対応する前記基準特徴量を前記基準特徴量記憶部から取得し当該基準特徴量と前記特徴抽出部で抽出された前記特徴量とを比較する比較部と、
前記比較部の比較結果を用いて前記対象人物の心身状態を判定する判定部とを備え、
前記特徴抽出部は、前記認証部で個人認証された前記対象人物に応じて前記特徴量の抽出手法を変更する
ことを特徴とする心身状態管理装置。
【請求項３】
前記特徴抽出部は、前記顔画像における特定部位から前記特徴量を抽出することを特徴とする請求項１または２記載の心身状態管理装置。
【請求項４】
前記特徴抽出部は、前記特徴量として、口角、目尻およびしわの少なくとも１つについて、大きさ、位置および形状の少なくとも１つを選択することを特徴とする請求項３記載の心身状態管理装置。
【請求項５】
前記顔画像は動画であり、
前記特徴抽出部は、前記顔画像から前記特徴量として単位時間あたりの瞬き回数を抽出する
ことを特徴とする請求項３記載の心身状態管理装置。
【請求項６】
表示機能を有する表示装置に前記判定部の判定結果を表示させる表示制御部を備えることを特徴とする請求項１〜５の何れか１項に記載の心身状態管理装置。
【請求項７】
前記対象人物の主観評価が入力される入力部を備え、
前記表示制御部は、前記入力部に入力された前記主観評価に応じて前記判定結果を補正し、補正後の判定結果を前記表示装置に表示させる
ことを特徴とする請求項６記載の心身状態管理装置。
【請求項８】
前記表示制御部は、前記判定結果に対する前記対象人物の対処方法を前記表示装置に表示させることを特徴とする請求項６または７記載の心身状態管理装置。
【請求項９】
前記判定部の判定結果に応じて予め設定された刺激を前記対象人物に与えるように、前記対象人物の周囲環境を制御する環境設備機器を制御する環境制御部を備えることを特徴とする請求項１〜８の何れか１項に記載の心身状態管理装置。
【請求項１０】
前記特徴量を抽出する際に前記顔画像に照合させる顔モデルを属性ごとに記憶する顔モデル記憶部を備え、
前記特徴抽出部は、前記属性取得部で取得された前記属性に対応する前記顔モデルを前記顔モデル記憶部から取得し、当該顔モデルを前記顔画像に照合することによって前記顔画像から特徴点を抽出し、当該特徴点から前記特徴量を抽出する
ことを特徴とする請求項１記載の心身状態管理装置。
【請求項１１】
前記特徴量を抽出する際に前記顔画像に照合させる顔モデルを個人ごとに記憶する顔モデル記憶部を備え、
前記特徴抽出部は、前記認証部で個人認証された前記対象人物に対応する前記顔モデルを前記顔モデル記憶部から取得し、当該顔モデルを前記顔画像に照合することによって前記顔画像から特徴点を抽出し、当該特徴点から前記特徴量を抽出する
ことを特徴とする請求項２記載の心身状態管理装置。
【図１】
【図２】
【図５】
【図６】
【図７】
【図８】
【図３】
【図４】
【図２】
【図５】
【図６】
【図７】
【図８】
【図３】
【図４】
【公開番号】特開２０１２−１４６５０（Ｐ２０１２−１４６５０Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５３３６２（Ｐ２０１０−１５３３６２）
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
[ Back to top ]