気分判定装置及び気分判定方法
【課題】ユーザの心理状態を基礎づける、ユーザの気分のレベルを判定する。
【解決手段】ユーザの頭部領域を撮像可能なカメラ１を用いて、予め設定された追跡時間Ｔ内に撮像された複数の撮像画像を取得する画像取得手機能と、各撮像画像からユーザの顔の特徴領域をそれぞれ抽出する特徴領域抽出機能と、追跡時間Ｔにおける各特徴領域の指標量をそれぞれ算出する指標量算出機能と、算出された追跡時間における指標量と、ユーザが追跡時間Ｔにおいて平常状態であるときに予め算出された各特徴領域の基準指標量との相関度を算出する相関度算出機能と、相関度に基づいてユーザの気分の度合いを判定する判定機能と、実行する制御装置１０を備える気分判定装置を提供する。
【解決手段】ユーザの頭部領域を撮像可能なカメラ１を用いて、予め設定された追跡時間Ｔ内に撮像された複数の撮像画像を取得する画像取得手機能と、各撮像画像からユーザの顔の特徴領域をそれぞれ抽出する特徴領域抽出機能と、追跡時間Ｔにおける各特徴領域の指標量をそれぞれ算出する指標量算出機能と、算出された追跡時間における指標量と、ユーザが追跡時間Ｔにおいて平常状態であるときに予め算出された各特徴領域の基準指標量との相関度を算出する相関度算出機能と、相関度に基づいてユーザの気分の度合いを判定する判定機能と、実行する制御装置１０を備える気分判定装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の気分を判定する気分判定装置及び気分判定方法に関するものである。
【背景技術】
【０００２】
運転者の顔の表情、しぐさ、発話音声などの挙動情報、生体情報、車外環境要因、車内システム不調要因に基づいて、イライラレベルを推定する心理状態推定装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−９４４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、運転者の顔に瞬間的に表された表情に基づいてイライラレベルを推定するので、運転者の心理状態を基礎づける気分の状態を判定することができないという問題がある。
【０００５】
本発明が解決しようとする課題は、人間の心理状態を基礎づける気分がどのような状態であるのかを判定できる気分判定装置及び気分判定方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、予め設定された追跡時間内に撮像された複数の撮像画像に含まれる顔の各特徴領域に基づいて追跡時間における指標量をそれぞれ算出し、追跡時間における各指標量に基づいてユーザの気分の度合いを判定することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、予め設定された追跡時間における指標量に基づいてユーザの気分の度合いを判定するので、ユーザの顔に瞬間的に表わされる表情によっては判断することができないユーザの気分の度合いを判定することができる。この結果、ユーザの心理状態を基礎づける気分の移り変わりを知ることができ、ユーザの心理状態を高い精度で推測することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態を適用した運転支援システムの概略構成を示すブロック図である。
【図２】本発明の実施形態の気分判定装置の処理内容を説明するための図である。
【図３】本発明の実施形態の気分判定処理に用いられる特徴領域を説明するための図である。
【図４】気分のレベルの定義の一例を示す図である。
【図５】本発明の実施形態の気分判定装置の制御手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る気分判定装置を、車両の運転を支援するための運転支援システム１０００に適用した場合を例にして説明する。本例では、車両に搭載される例を説明するが、飛行機、船、重機などの移動体に搭載することができる。また、気分判定装置の適用は、移動体の操縦装置に限定されず、作業・操作に高い確実性が求められる工場、作業所、管理塔に設けられた各種のオペレーション装置に組み込むことができる。また自宅のコンピュータやテレビなどに組み込むことで、自宅において健康状態を判断する用途に適用することができる。
【００１０】
図１は、本実施形態に係る気分判定装置１００を含む運転支援システム１０００のブロック構成図である。図１に示すように、本実施形態の運転支援システム１０００は、車両に設置されたカメラ１と、気分判定装置１００と、車両コントローラ２００と、報知装置３００と、記憶装置４００と、通信装置５００とを備えることができる。また、本実施形態の運転支援システム１０００は、走行支援装置６１０、制動装置６２０、出力装置６３０、エアコンディショナー６４０、座席ヒータ６５０、メモリ６６０、ナビゲーション装置６７０を備えることができる。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。さらに、通信装置５００を介して通信による情報の授受が可能な外部装置（コンピュータ）を備えることができる。
【００１１】
カメラ１は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、乗員（ユーザである人間、人物）の顔を撮像するため、乗員の頭部領域を撮像可能な位置に設置されている。カメラ１は、予め設定された追跡時間内に乗員の頭部領域を複数回撮像し、撮像した撮像画像を撮像タイミングの情報を付して気分判定装置１００に送出する。
【００１２】
図１に示すように、本実施形態に係る気分判定装置１００の制御装置１０は、乗員の気分を判定するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、気分判定装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
【００１３】
本実施形態に係る気分判定装置１００の制御装置１０は、画像取得機能と、画像選択機能と、特徴領域抽出機能と、指標量算出機能と、相関度算出機能と、判定機能と、出力機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置１０が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置１０は、車両コントローラ２００を介してカメラ１、報知装置３００、記憶装置４００、通信装置５００、車載装置６００を制御することも可能である。
【００１４】
以下、本発明の本実施形態に係る気分判定装置１００が実現する各機能について図２、図３に基づいて説明する。
【００１５】
まず、本実施形態に係る気分判定装置１００の画像取得機能について説明する。本実施形態の気分判定装置１００の制御装置１０は、カメラ１が追跡時間内に撮像した、複数の撮像画像を取得する。各撮像画像には撮像時刻情報が付されており、所定の追跡時間内に撮像された撮像画像ごとにグループ化されている。
【００１６】
特に限定されないが、ユーザの気分を判定するために設定される追跡時間は、数分から数時間の所定の長さの時間、具体的には、２分以上、１２０分以下とすることができる。追跡時間は、上記範囲以内で車両搭乗時間（オペレーション時間）に応じて設定してもよいし、ユーザが任意に設定してもよい。特に限定されないが、下限は３分以上、５分以上、１０分以上、１５分上、２０分以上とすることができ、上限は、１２０分以下、９０分以下、６０分以下、４０分以下とすることができる。１分以下、数秒以下、又は１／１０秒乃至１／１００秒以下といった一瞬の撮像時間の間に捉えられる断片的な顔の表情によってはユーザの気分のレベルを判定することができないからである。
【００１７】
また、追跡時間内における撮像回数については、予め設定することができる。追跡時間内の撮像回数が多いほど気分レベル判定の精度が高まる傾向があるが、追跡時間内の撮像回数が多いほど処理負荷が高まるので、処理能力と気分レベル判定の精度に応じて任意に設定することができる。
【００１８】
ところで、一般に、人間は、ある事象に対峙したときに喜び、怒り、悲しみ、楽しみ、怨みなどの感情を持ち、生じた感情に応じて３０〜４０種以上あるといわれる顔の表情筋を動かして動き、笑う、泣く、顔をしかめるといった表情を示す。このように、発生する感情の種類に応じて異なる表情を示すので、顔の表情の変化に基づいて、感情の変化を知ることができる。
【００１９】
しかし、感情に応じた表情の変化は一時的に示されるものであり、ある情報に接して顔をしかめて不快な表情を見せても、その直後に笑うことや、誰かと話していて目を見開いて驚いた表情を見せても、その直後に悲しみを表現することなどはよくあることである。
【００２０】
一方、本発明の本実施形態において判定対象となる「気分」は、感情のように一瞬の表情に示されるものではなく、無意識のうちに形成され、不随意筋肉（自律神経系によって支配され意識によっては動かせない筋肉）の動きによって、数分〜数時間の比較的長い時間に渡って表情に表われるものである。このように、「気分」は、ユーザの健康状態、自律神経の状態、ユーザの家庭や仕事の状態などの影響を複合的に受けて、特に原因もなく無意識に生じ、比較的長い時間に渡って保たれるものであり、ある事象の発生に呼応して自覚の下に直ちに生じる「感情」とは異なるものといえる。
【００２１】
また、「気分」は、感情を基礎づけるユーザの心理状態の支配的な要素である。特に原因がないのに、気分が良い状態であったり、又は気分が悪い状態であったりすることや、また、同じ事象が生じた場合であっても気分が良いときに生じる感情と、気分が悪いときに生じる感情とは異なることは一般的に経験されることである。例えば、一般に、緊張しているときやイライラしているときなどの覚醒度が高い気分のときに事象Ａが起きた場合には怒りの感情を感じるが、ゆったりしているときなどの覚醒度の低い気分のときに事象Ａが起きた場合には何も感じることなく平常の感情を保つことができる。このように、人の心理状態は気分によって支配される傾向がある。
【００２２】
本実施形態では、人の心理状態の支配的な要因である「気分」を、一瞬の表情（ある事象に対する表情筋の動き）によってではなく、比較的長い時間において示された複数の表情を統計的に解析することにより、その（気分の）レベルを推測する。具体的に、本実施形態では、数分から数時間の追跡時間を設定し、この追跡時間内に撮像された複数の撮像画像に基づいて、そのユーザの心理状態を基礎づける、支配的な要因としてのユーザの気分の度合いを判定することができる。ユーザの気分はユーザの感情の動向を基礎づけるものであり、心理状態の支配的な要因となりうるので、ユーザの気分を判断することにより、ユーザに生じる感情を正確に推測乃至判断することができる。また、気分の度合いに基づいてユーザに生じる感情の傾向を正確に予測することができる。また、従来の感情判定においても、基準となる平静の表情が気分により変動していることを考慮することにより、その精度を高めることもできる。
【００２３】
ちなみに、数秒以下、１／１０乃至１／１００〜数秒の撮像タイミングにおいて瞬間的に示された表情に基づいてユーザに瞬間的に生じた感情を判断することは可能であるが、瞬間的に示された表情に基づいて感情を基礎づけるユーザの気分を判断することは困難である。逆に、数分から数時間の長さの追跡時間に渡って観察された表情に基づいて気分を判断することは可能であるが、数分から数時間の長さの追跡時間に渡って観察された表情に基づいて、ある事象によって一時的に喚起された感情を判断することは困難である。
【００２４】
次に、本実施形態に係る気分判定装置１００の画像選択機能について説明する。図２に画像選択処理以降の処理の概要を示す。
【００２５】
本実施形態の気分判定装置１００の制御装置１０は、取得された複数の撮像画像について、ユーザの顔が正面方向を向いているか否か及びユーザの顔が隠されているか否かを判断し、ユーザの顔が正面方向を向いており、ユーザの顔が隠されていないと判断された撮像画像を選択する。なお、制御装置１０は、画像処理コントロールユニット（Image Processing Control Unit: IPCU）を備え、撮像画像のデータを解析し、撮像画像のデータから処理対象に対応する画像を抽出し、抽出された画像に基づいて処理対象の評価をすることができる。
【００２６】
図２に示すように、追跡時間Ｔの間に撮像された複数の撮像画像の中から、ユーザの顔が手などで隠されておらず、かつ顔が正面方向を向いている画像を選択する。撮像画像に隠れ部分があるか否かは、処理対象となる顔の外形線の態様、顔の基準形状、顔の面積等に基づいて判断することができる。また、顔が正面を向いているか否かは、撮像画像から抽出された顔画像の三次元座標の座標軸（図３のＸＹＺ座標を参照）の方向に基づいて判断することができる。選択された隠れ部分が無く、正面を向いた撮像画像は次に説明する特徴領域の抽出処理に用いられる。なお、撮像画像に含まれる顔の画像に隠れ部分（欠け部分）があるか否か、撮像画像に含まれる顔が正面を向いているか否かについては、出願時に知られている手法を適宜に用いることができる。これにより、特徴領域の抽出処理が正確に行われ、結果としてユーザの気分判定処理を正確に行うことができる。
【００２７】
次に、本実施形態に係る気分判定装置１００の特徴領域抽出機能について説明する。本実施形態の気分判定装置１００の制御装置１０は、図２に示すように、取得した各撮像画像からユーザの顔の特徴領域に対応するパッチをそれぞれ抽出する。
【００２８】
図３はユーザの顔の特徴領域の一例を示す。図３は、ユーザの顔が図面の紙面と垂直方向（Ｚ軸方向）に向いている、すなわちユーザの顔が正面を向いている図である。本実施形態の気分判定装置１００では、左右の眉の間の額領域（又は眉間領域）、眉間から鼻先までの部分であり、鼻筋に相当する鼻梁領域、左右の目の下であり鼻の左右の右頬領域及び左頬領域、口の左右の窪みであり、笑ったときに凹みが深くなる右笑窪領域及び左笑窪領域、口の下にある顎領域を、特徴領域として定義する。
【００２９】
本実施形態の気分判定装置１００においては、ユーザの顔の眉間又は頬領域のうち、何れか一つ以上の特徴領域を撮像画像から抽出する。気分の判定処理において、抽出する特徴領域は、上述の各領域の全部であってもよいし、一部であってもよい。本実施形態において判定する「気分」のレベルはユーザの覚醒度に応じるという知見に基づいて、ユーザの覚醒度に応じた指標量変化が比較的大きい眉間領域及び／又は左右の頬領域を特徴領域として定義し、眉間領域及び／又は左右の頬領域を撮像画像から抽出する。
【００３０】
特に限定されないが、本実施形態の気分判定装置１００は、正面を向いた顔を撮像した撮像画像から、左右の目、鼻、口の位置を抽出し、目、鼻、口の配置及び位置関係に基づいて上述の各特徴領域に対応する各パッチの画像データを抽出する。抽出した各特徴領域は、特徴領域ごとに識別され、次の相関度の算出処理に用いられる。なお、特徴領域の抽出手法は限定されず、出願時に知られた手法を適宜に用いることができる。
【００３１】
続いて、本実施形態に係る気分判定装置１００の指標量算出機能について説明する。本実施形態の気分判定装置１００の制御装置１０は、図２に示すように、特徴領域に対応する各パッチの画像データを取得し、特徴領域ごとの追跡時間Ｔにおける指標量をそれぞれ算出する。本実施形態において算出される指標量の内容は、特徴領域に表された特徴量を示すものであれば特に限定されず、その算出手法も限定されない。特に限定されないが、本実施形態では、ある主成分に関する総合的な指標を統計的に設定し，変数間の関係を把握するための主成分分析(ＰＣＡ： Principal Component Analysis)を用いて主成分スコア(指標量)を求める。特徴領域ごとの追跡時間Ｔにおける指標量は、出願時に知られた分析手法、統計手法などを適宜に用いることができる。
【００３２】
さらに、本実施形態に係る気分判定装置１００の相関度算出機能について説明する。本実施形態の気分判定装置１００の制御装置１０は、今回相関度の算出が行われる判定追跡時間Ｔｘに撮像された撮像画像を用いて、先に説明した手法により算出された特徴領域ごとの追跡時間Ｔにおける主成分スコア（指標量）を得るとともに、ユーザが平常状態である基準追跡時間Ｔ０において予め算出された各特徴領域の基準指標量をＲＡＭ１３から読みだす。この基準指標量は、初回の処理において算出してＲＡＭ１３に記憶しておくことができる。
【００３３】
そして、本実施形態の気分判定装置１００は、判定追跡時間Ｔｘにおける指標量（主成分スコア）に対応する観察ベクトルと、基準指標量（基準となる主成分スコア）に対応する固有ベクトルとの相関度βiを下掲の数１の式により算出することができる。なお、相関度の算出手法は特に限定されず、他の相関度の算出手法を用いることができる。
【数１】
【００３４】
続いて、本実施形態に係る気分判定装置１００の判定機能について説明する。本実施形態の気分判定装置１００の制御装置１０は、算出された相関度に基づいてユーザの気分の度合いを判定する。
【００３５】
本実施形態の気分判定装置１００は、図２に示すように、各特徴領域の相関度について、緊張レベルに応じた相関度と、イライラレベルに応じた相関度を求め、これらの各相関度を加えて（足して）総合的な相関度を算出し、総合的な相関度に基づいて追跡時間Ｔにおける気分レベルを判断する。特に限定されないが、本実施形態において、気分判定装置１００は、緊張レベルに応じた相関度を顔の頬領域（特徴領域）の指標量に基づいて算出し、イライラレベルに応じた相関度を顔の眉間領域（特徴領域）の指標量に基づいて算出することができる。
【００３６】
特に限定されないが、本実施形態の気分判定装置１００は、ユーザの気分の度合いを、第１〜第４の四つのレベルに区分して判定することができる。気分の度合いの定義例を図４に示す。図４に示すように、本実施形態では、覚醒度の高さに応じて気分を４つのレベルに分けている。気分のレベルはユーザ自身が自覚できないことがあるので、各気分のレベルをユーザ自身が自覚することができる感情の種別を用いて表現すると、本実施形態の気分のレベルは、平常な状態である第１レベル、緊張を感じやすい傾向にある第２レベル、怒りを感じやすい傾向にある第３レベル、及び激しい怒りを感じやすい傾向にある第４レベルと表現することができる。
【００３７】
本実施形態に係る気分判定装置１００は、算出された相関度に基づいて判定された気分の度合いと追跡時間Ｔとを対応づけて少なくとも一時的に記憶する。
【００３８】
最後に、本実施形態に係る気分判定装置１００の出力機能について説明する。図１に示すように、本実施形態の気分判定装置１００は、車両に搭載された車両コントローラ２００、報知装置３００、記憶装置４００、通信装置５００、車載装置６００、及び外部装置７００とともに、運転支援システムを構成する。気分判定装置１００により出力されるユーザの追跡時間Ｔにおける気分レベルの判定結果は、より安全な運転を支援するために利用される。
【００３９】
本実施形態の気分判定装置１００の制御装置１０は、判定されたユーザの気分の度合いを、両の駆動を制御可能な車両コントローラ２００、ユーザに報知するための報知装置３００、記憶装置４００、及び外部と情報の送受信が可能な通信装置５００のうちの何れか一つ以上に出力する。
【００４０】
本実施形態において出力された気分レベルの判定結果は、ユーザの運転操作、車両の駆動制御、次回の運転操作、他のユーザの運転操作などの制御にフィードバックされる。本実施形態における気分レベルの判定結果のフィードバック手法を、以下に例示する。
【００４１】
第１の例として、気分レベルの判定結果を取得した車両コントローラ２００は、安全な走行を確保するため、気分レベルの高さに応じて（第４レベルに近いほど）、維持する車間距離を長く設定する指令を車間維持装置６１１に送出し、気分レベルの高さに応じて（第４レベルに近いほど）、維持する車速を低く設定する指令を車速維持装置６２０に送出する。同様に、安全走行を実現するための制御指令を他の走行支援装置６１０に対して送出することができる。また、安全な走行を確保するため、車両コントローラ２００は、気分レベルの高さに応じて(第４レベルに近いほど)、制動装置６２０に車両を減速させ、車両を停止に導く指令を送出することができる。これにより、ユーザの気分レベルに応じた走行支援を行うことができる。
【００４２】
第２の例として、気分レベルの判定結果を取得した報知装置３００は、ディスプレイ６３１及び／又はスピーカ６３２を介して、現在のユーザの気分レベルを文字、図形、点滅信号、音声などによりユーザに報知することができる。また、気分レベルの判定結果を取得した報知装置３００は、ユーザに気分レベルを知らせるとともにユーザの気分を転換させるため、エアコンディショナー６４０に温風又は冷風を送風する指令を送出することができる。さらにまた、気分レベルの判定結果を取得した報知装置３００は、ユーザに気分レベルを知らせるとともにユーザの覚醒度を緩めるため、座席ヒータ６５０に加温指令を送出することができる。このように、報知装置３００は、ユーザの気分レベルをユーザ自身に直接的又は間接的に知らせることができる。
【００４３】
第３の例として、気分レベルの判定結果を取得した記憶装置４００は、記憶メモリ６６０に追跡時間Ｔと対応づけて記憶することができる。また、記憶装置４００は、取得した気分レベルの判定結果を、ナビゲーション装置６７０が利用する車載又はサーバに配置されている地図情報６７１、道路情報６７２に追跡時間Ｔ及び追跡時間Ｔにおける走行位置と、を対応づけて記憶することができる。これにより、走行中のユーザの気分を地図情報６７１、道路情報６７２に書き込むことができる。
【００４４】
第４の例として、気分レベルの判定結果を取得した通信装置５００は、取得した気分レベルの判定結果を、外部装置７００へ通信回線を介して送出することができる。これにより、走行中の多数のユーザの気分レベルの情報を外部装置７００に集約することができる。
【００４５】
このように、追跡時間Ｔの間におけるユーザの気分レベルの判定結果を車両コントローラ２００、報知装置３００、記憶装置４００、通信装置５００などに出力し、各装置が気分レベルの判定結果をフィードバックすることにより、後に行われる車両制御、ユーザの操作、他のユーザの操作に役立てることができる。
【００４６】
続いて、本実施形態の気分判定装置１００の制御手順を、図５に示すフローチャートに基づいて説明する。
【００４７】
ステップ１０１において、気分判定処理を行うため、本実施形態の気分判定装置１００は、追跡時間Ｔを設定し、カメラ１によるユーザの頭部近傍の撮像を開始する。追跡時間Ｔは数分から数時間の所定の長さで予め設定しておくことができる。気分判定処理のトリガは特に限定されず、イグニッションオンの情報が入力された場合や、ユーザが気分判定処理の開始を命令した場合などとすることができる。
【００４８】
次に、ステップ１０２において、本実施形態の気分判定装置１００は、撮像画像から顔に対応する画像を検出し、目、鼻、口などの顔の特徴を追跡し、顔に対応する画像に手などによって隠された部分（欠け）が有るか否か、及びユーザの顔の向き（図３に示すＺ軸方向からのずれ量）に基づいて、撮像画像に含まれる顔が正面を向いているか否かを判断する。
【００４９】
ステップ１０３において、本実施形態の気分判定装置１００は、顔に対応する画像に隠れ部分が無く、顔が正面を向いている（図３に示すＺ軸方向のずれ量が所定値未満である）撮像画像を選択する。気分判定装置１００は、追跡時間Ｔの間に所定数以上の撮像画像を選択する。特に限定されないが、追跡時間Ｔの間に選択された撮像画像の数が所定数未満である場合には、正確な判定ができないとして気分判定処理を中止するようにすることもできる。
【００５０】
ステップ１０４において、本実施形態の気分判定装置１００は、選択された各撮像画像から特徴領域を抽出する。特に限定されないが、本処理においては、覚醒度の影響が現れやすい眉間領域の画像と左右の頬領域の画像とを特徴領域として抽出する。
【００５１】
ステップ１０５において、本実施形態の気分判定装置１００は、各特徴領域（パッチ）の画像データを少なくとも一時的に記憶する。
【００５２】
続いてステップ１０６において、本実施形態の気分判定装置１００は、主成分分析(ＰＣＡ)の手法を用いて、各特徴領域の指標量(主成分スコア)をそれぞれ算出する。
【００５３】
ステップ１０７において、本実施形態の気分判定装置１００は、ステップ１０６において算出された指標量が最初の処理によって求められた初期値であるか否かを判断する。算出された指標量が最初の処理によって求められた初期値である場合には、ステップ１０８へ進み、相関度を算出する際に基準とされる基準指標量として記憶する。なお、最初に算出する指標量（初期値）は、基準指標量となるため、ユーザが平常の気分であるときに算出することが好ましい。
【００５４】
ステップ１０７において、算出された指標量が初期値でない場合には、ステップ１０９へ進み、今回の判定対象となる判定追跡時間Ｔｘにおける指標量と、基準となる基準追跡時間Ｔ０における指標量との相関度を算出する。
【００５５】
続いて、ステップ１１０において、本実施形態の気分判定装置１００は、ステップ１０９において算出された相関度に基づいて、判定追跡時間Ｔｘにおけるユーザの気分が図４に示す四つの気分レベルのうち、いずれのレベルに属するのかを判定する。
【００５６】
最後に、ステップ１１１において、本実施形態の気分判定装置１００は、気分レベルの判定結果を、車両コントローラ２００、報知装置３００、記憶装置４００、及び通信装置５００のうちの何れか一つ以上の装置へ出力する。
【００５７】
なお、本実施形態では、気分判定装置１００が車両に搭載された場合を例にして説明したが、本発明の本実施形態に係る気分判定方法を、カメラ１、ユーザが操作するクライアントコンピュータ（車載コンピュータ、管理装置、作業装置）と情報の授受が可能なサーバ（コンピュータ・制御装置）において実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
【００５８】
クライアントコンピュータと情報の授受が可能なサーバは、カメラ１、ユーザが操作するクライアントに以下の指令を送出して、気分判定方法を実行することができる。指令の内容は、予め設定された追跡時間Ｔ内にユーザの頭部領域をカメラ１で複数回撮像させて、これにより得た複数の撮像画像から、ユーザの顔の特徴領域をそれぞれ抽出し(ステップ)、追跡時間Ｔにおける各特徴領域の特徴成分量をそれぞれ算出し（ステップ）、算出された追跡時間における特徴成分量と、ユーザが追跡時間において平常状態であるときに予め算出された各特徴領域の基準特徴成分量との相関度を算出し(ステップ)、相関度に基づいて追跡時間Ｔにおけるユーザの気分の度合いを判定する（ステップ）と、を含む。さらに、サーバは、判定した追跡時間Ｔにおけるユーザの気分の度合いを、ユーザが操作する車両の車両コントローラ２００、車両の報知装置３００、記憶装置４００へ送出することができる。なお、処理の具体的な内容は、本実施形態の気分判定装置１００、運転支援システム１０００と共通するのでこれらの説明を援用する。
【００５９】
本発明の本実施形態の気分判定装置１００は以上のように構成され、以上のように動作するので、以下の効果を奏する。
【００６０】
本発明の本実施形態に係る気分判定装置１００によれば、予め設定された追跡時間Ｔにおける指標量に基づいてユーザの気分の度合いを判定するので、ユーザの顔に瞬間的に表わされる表情によっては判断することができないユーザの気分の度合いを判定することができる。この結果、ユーザの心理状態を基礎づけ、ユーザの心理状態の支配的な要因となる気分の状態を知ることができ、ユーザの心理状態を高い精度で推測することができる。また、従来の瞬間的な表情からの感情判定においても、本発明により、基準となる平静の表情が気分により変動していることを考慮することができるため、その精度を高めることができる。
【００６１】
本発明の本実施形態に係る気分判定装置１００によれば、追跡時間Ｔを数分から数時間の所定の長さとすることにより、一瞬の表情からではなく、追跡時間Ｔにおいて撮像された複数の撮像画像に基づく特徴領域の指標量に基づいて、ユーザの気分を正確に判断することができる。
【００６２】
本発明の本実施形態に係る気分判定装置１００によれば、選択された隠れ部分が無く、正面を向いた撮像画像のみが、特徴領域の抽出処理に用いられるので、特徴領域の抽出処理が正確に行われ、結果としてユーザの気分判定処理を正確に行うことができる。
【００６３】
本発明の本実施形態に係る気分判定装置１００によれば、「気分」のレベルがユーザの覚醒度に応じる場合には、ユーザの覚醒度に応じた指標量変化が比較的大きい眉間領域及び／又は左右の頬領域を特徴領域として定義するので、ユーザの気分レベルを正確に判定することができる。
【００６４】
本発明の本実施形態に係る気分判定装置１００によれば、追跡時間Ｔにおけるユーザの気分の度合いを平常な状態である第１レベル、緊張を感じやすい第２レベル、怒りを感じやすい第３レベル、激しい怒りを感じやすい第４レベルのうちのいずれのレベルであるかを判定するので、数分から数時間という比較的長い時間に渡って維持されるユーザの気分のレベルに基づき、気分のレベルに応じて生じる感情の傾向を予測することができる。
【００６５】
本発明の本実施形態に係る気分判定装置１００及び運転支援システム１０００によれば、判定された追跡時間Ｔにおけるユーザの気分の度合いを、車両に搭載された、車両コントローラ２００、報知装置３００、記憶装置４００、及び通信装置５００のうちの何れか一つ以上に出力するので、追跡時間Ｔにおけるユーザの気分の度合いを、現在の走行、次の走行、他のユーザの走行にフィードバックすることができる。各種のフィードバック制御により、ユーザの気分レベルを低く、つまり、ユーザの覚醒度を適正に保つようにすることができる。
【００６６】
本発明に係る実施形態の気分判定方法によっても、同様の作用を奏し、同様の効果を得ることができる。
【００６７】
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００６８】
本明細書では、本発明に係る気分判定装置の一態様として気分判定装置１００及び走行支援装置１０００を例にして説明するが、本発明はこれに限定されるものではない。
【００６９】
また、本明細書では、本発明に係る気分判定装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える気分判定装置１００を一例として説明するが、これに限定されるものではない。
【００７０】
また、本明細書では、カメラと、画像取得手段と、特徴領域抽出手段と、指標量算出手段と、相関度算出手段と、判定手段とを有する本発明に係る気分判定装置の一態様として、気分判定装置１００を説明するが、これに限定されるものではない。
【００７１】
本明細書では、本発明に係る気分判定装置の一態様として、本願発明に係る気分判定装置１００と、車両コントローラ２００と、報知装置３００と、記憶装置４００と、通信装置５００とを備えた走行支援システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【符号の説明】
【００７２】
１０００…運転支援システム
１００…気分判定装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１…カメラ
２００…車両コントローラ
３００…報知装置
４００…記憶装置
５００…通信装置
６００…車載装置
６１０…走行支援装置
６１１…車間維持装置
６１２…キープレーン装置
６２０…制動装置
６３０…出力装置
６３１…ディスプレイ
６３２…スピーカ
６４０…エアコンディショナー
６５０…座席ヒータ
６６０…メモリ
６７０…ナビゲーション装置
７００…外部装置
【技術分野】
【０００１】
本発明は、人間の気分を判定する気分判定装置及び気分判定方法に関するものである。
【背景技術】
【０００２】
運転者の顔の表情、しぐさ、発話音声などの挙動情報、生体情報、車外環境要因、車内システム不調要因に基づいて、イライラレベルを推定する心理状態推定装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−９４４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、運転者の顔に瞬間的に表された表情に基づいてイライラレベルを推定するので、運転者の心理状態を基礎づける気分の状態を判定することができないという問題がある。
【０００５】
本発明が解決しようとする課題は、人間の心理状態を基礎づける気分がどのような状態であるのかを判定できる気分判定装置及び気分判定方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、予め設定された追跡時間内に撮像された複数の撮像画像に含まれる顔の各特徴領域に基づいて追跡時間における指標量をそれぞれ算出し、追跡時間における各指標量に基づいてユーザの気分の度合いを判定することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、予め設定された追跡時間における指標量に基づいてユーザの気分の度合いを判定するので、ユーザの顔に瞬間的に表わされる表情によっては判断することができないユーザの気分の度合いを判定することができる。この結果、ユーザの心理状態を基礎づける気分の移り変わりを知ることができ、ユーザの心理状態を高い精度で推測することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態を適用した運転支援システムの概略構成を示すブロック図である。
【図２】本発明の実施形態の気分判定装置の処理内容を説明するための図である。
【図３】本発明の実施形態の気分判定処理に用いられる特徴領域を説明するための図である。
【図４】気分のレベルの定義の一例を示す図である。
【図５】本発明の実施形態の気分判定装置の制御手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る気分判定装置を、車両の運転を支援するための運転支援システム１０００に適用した場合を例にして説明する。本例では、車両に搭載される例を説明するが、飛行機、船、重機などの移動体に搭載することができる。また、気分判定装置の適用は、移動体の操縦装置に限定されず、作業・操作に高い確実性が求められる工場、作業所、管理塔に設けられた各種のオペレーション装置に組み込むことができる。また自宅のコンピュータやテレビなどに組み込むことで、自宅において健康状態を判断する用途に適用することができる。
【００１０】
図１は、本実施形態に係る気分判定装置１００を含む運転支援システム１０００のブロック構成図である。図１に示すように、本実施形態の運転支援システム１０００は、車両に設置されたカメラ１と、気分判定装置１００と、車両コントローラ２００と、報知装置３００と、記憶装置４００と、通信装置５００とを備えることができる。また、本実施形態の運転支援システム１０００は、走行支援装置６１０、制動装置６２０、出力装置６３０、エアコンディショナー６４０、座席ヒータ６５０、メモリ６６０、ナビゲーション装置６７０を備えることができる。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。さらに、通信装置５００を介して通信による情報の授受が可能な外部装置（コンピュータ）を備えることができる。
【００１１】
カメラ１は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、乗員（ユーザである人間、人物）の顔を撮像するため、乗員の頭部領域を撮像可能な位置に設置されている。カメラ１は、予め設定された追跡時間内に乗員の頭部領域を複数回撮像し、撮像した撮像画像を撮像タイミングの情報を付して気分判定装置１００に送出する。
【００１２】
図１に示すように、本実施形態に係る気分判定装置１００の制御装置１０は、乗員の気分を判定するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、気分判定装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
【００１３】
本実施形態に係る気分判定装置１００の制御装置１０は、画像取得機能と、画像選択機能と、特徴領域抽出機能と、指標量算出機能と、相関度算出機能と、判定機能と、出力機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置１０が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置１０は、車両コントローラ２００を介してカメラ１、報知装置３００、記憶装置４００、通信装置５００、車載装置６００を制御することも可能である。
【００１４】
以下、本発明の本実施形態に係る気分判定装置１００が実現する各機能について図２、図３に基づいて説明する。
【００１５】
まず、本実施形態に係る気分判定装置１００の画像取得機能について説明する。本実施形態の気分判定装置１００の制御装置１０は、カメラ１が追跡時間内に撮像した、複数の撮像画像を取得する。各撮像画像には撮像時刻情報が付されており、所定の追跡時間内に撮像された撮像画像ごとにグループ化されている。
【００１６】
特に限定されないが、ユーザの気分を判定するために設定される追跡時間は、数分から数時間の所定の長さの時間、具体的には、２分以上、１２０分以下とすることができる。追跡時間は、上記範囲以内で車両搭乗時間（オペレーション時間）に応じて設定してもよいし、ユーザが任意に設定してもよい。特に限定されないが、下限は３分以上、５分以上、１０分以上、１５分上、２０分以上とすることができ、上限は、１２０分以下、９０分以下、６０分以下、４０分以下とすることができる。１分以下、数秒以下、又は１／１０秒乃至１／１００秒以下といった一瞬の撮像時間の間に捉えられる断片的な顔の表情によってはユーザの気分のレベルを判定することができないからである。
【００１７】
また、追跡時間内における撮像回数については、予め設定することができる。追跡時間内の撮像回数が多いほど気分レベル判定の精度が高まる傾向があるが、追跡時間内の撮像回数が多いほど処理負荷が高まるので、処理能力と気分レベル判定の精度に応じて任意に設定することができる。
【００１８】
ところで、一般に、人間は、ある事象に対峙したときに喜び、怒り、悲しみ、楽しみ、怨みなどの感情を持ち、生じた感情に応じて３０〜４０種以上あるといわれる顔の表情筋を動かして動き、笑う、泣く、顔をしかめるといった表情を示す。このように、発生する感情の種類に応じて異なる表情を示すので、顔の表情の変化に基づいて、感情の変化を知ることができる。
【００１９】
しかし、感情に応じた表情の変化は一時的に示されるものであり、ある情報に接して顔をしかめて不快な表情を見せても、その直後に笑うことや、誰かと話していて目を見開いて驚いた表情を見せても、その直後に悲しみを表現することなどはよくあることである。
【００２０】
一方、本発明の本実施形態において判定対象となる「気分」は、感情のように一瞬の表情に示されるものではなく、無意識のうちに形成され、不随意筋肉（自律神経系によって支配され意識によっては動かせない筋肉）の動きによって、数分〜数時間の比較的長い時間に渡って表情に表われるものである。このように、「気分」は、ユーザの健康状態、自律神経の状態、ユーザの家庭や仕事の状態などの影響を複合的に受けて、特に原因もなく無意識に生じ、比較的長い時間に渡って保たれるものであり、ある事象の発生に呼応して自覚の下に直ちに生じる「感情」とは異なるものといえる。
【００２１】
また、「気分」は、感情を基礎づけるユーザの心理状態の支配的な要素である。特に原因がないのに、気分が良い状態であったり、又は気分が悪い状態であったりすることや、また、同じ事象が生じた場合であっても気分が良いときに生じる感情と、気分が悪いときに生じる感情とは異なることは一般的に経験されることである。例えば、一般に、緊張しているときやイライラしているときなどの覚醒度が高い気分のときに事象Ａが起きた場合には怒りの感情を感じるが、ゆったりしているときなどの覚醒度の低い気分のときに事象Ａが起きた場合には何も感じることなく平常の感情を保つことができる。このように、人の心理状態は気分によって支配される傾向がある。
【００２２】
本実施形態では、人の心理状態の支配的な要因である「気分」を、一瞬の表情（ある事象に対する表情筋の動き）によってではなく、比較的長い時間において示された複数の表情を統計的に解析することにより、その（気分の）レベルを推測する。具体的に、本実施形態では、数分から数時間の追跡時間を設定し、この追跡時間内に撮像された複数の撮像画像に基づいて、そのユーザの心理状態を基礎づける、支配的な要因としてのユーザの気分の度合いを判定することができる。ユーザの気分はユーザの感情の動向を基礎づけるものであり、心理状態の支配的な要因となりうるので、ユーザの気分を判断することにより、ユーザに生じる感情を正確に推測乃至判断することができる。また、気分の度合いに基づいてユーザに生じる感情の傾向を正確に予測することができる。また、従来の感情判定においても、基準となる平静の表情が気分により変動していることを考慮することにより、その精度を高めることもできる。
【００２３】
ちなみに、数秒以下、１／１０乃至１／１００〜数秒の撮像タイミングにおいて瞬間的に示された表情に基づいてユーザに瞬間的に生じた感情を判断することは可能であるが、瞬間的に示された表情に基づいて感情を基礎づけるユーザの気分を判断することは困難である。逆に、数分から数時間の長さの追跡時間に渡って観察された表情に基づいて気分を判断することは可能であるが、数分から数時間の長さの追跡時間に渡って観察された表情に基づいて、ある事象によって一時的に喚起された感情を判断することは困難である。
【００２４】
次に、本実施形態に係る気分判定装置１００の画像選択機能について説明する。図２に画像選択処理以降の処理の概要を示す。
【００２５】
本実施形態の気分判定装置１００の制御装置１０は、取得された複数の撮像画像について、ユーザの顔が正面方向を向いているか否か及びユーザの顔が隠されているか否かを判断し、ユーザの顔が正面方向を向いており、ユーザの顔が隠されていないと判断された撮像画像を選択する。なお、制御装置１０は、画像処理コントロールユニット（Image Processing Control Unit: IPCU）を備え、撮像画像のデータを解析し、撮像画像のデータから処理対象に対応する画像を抽出し、抽出された画像に基づいて処理対象の評価をすることができる。
【００２６】
図２に示すように、追跡時間Ｔの間に撮像された複数の撮像画像の中から、ユーザの顔が手などで隠されておらず、かつ顔が正面方向を向いている画像を選択する。撮像画像に隠れ部分があるか否かは、処理対象となる顔の外形線の態様、顔の基準形状、顔の面積等に基づいて判断することができる。また、顔が正面を向いているか否かは、撮像画像から抽出された顔画像の三次元座標の座標軸（図３のＸＹＺ座標を参照）の方向に基づいて判断することができる。選択された隠れ部分が無く、正面を向いた撮像画像は次に説明する特徴領域の抽出処理に用いられる。なお、撮像画像に含まれる顔の画像に隠れ部分（欠け部分）があるか否か、撮像画像に含まれる顔が正面を向いているか否かについては、出願時に知られている手法を適宜に用いることができる。これにより、特徴領域の抽出処理が正確に行われ、結果としてユーザの気分判定処理を正確に行うことができる。
【００２７】
次に、本実施形態に係る気分判定装置１００の特徴領域抽出機能について説明する。本実施形態の気分判定装置１００の制御装置１０は、図２に示すように、取得した各撮像画像からユーザの顔の特徴領域に対応するパッチをそれぞれ抽出する。
【００２８】
図３はユーザの顔の特徴領域の一例を示す。図３は、ユーザの顔が図面の紙面と垂直方向（Ｚ軸方向）に向いている、すなわちユーザの顔が正面を向いている図である。本実施形態の気分判定装置１００では、左右の眉の間の額領域（又は眉間領域）、眉間から鼻先までの部分であり、鼻筋に相当する鼻梁領域、左右の目の下であり鼻の左右の右頬領域及び左頬領域、口の左右の窪みであり、笑ったときに凹みが深くなる右笑窪領域及び左笑窪領域、口の下にある顎領域を、特徴領域として定義する。
【００２９】
本実施形態の気分判定装置１００においては、ユーザの顔の眉間又は頬領域のうち、何れか一つ以上の特徴領域を撮像画像から抽出する。気分の判定処理において、抽出する特徴領域は、上述の各領域の全部であってもよいし、一部であってもよい。本実施形態において判定する「気分」のレベルはユーザの覚醒度に応じるという知見に基づいて、ユーザの覚醒度に応じた指標量変化が比較的大きい眉間領域及び／又は左右の頬領域を特徴領域として定義し、眉間領域及び／又は左右の頬領域を撮像画像から抽出する。
【００３０】
特に限定されないが、本実施形態の気分判定装置１００は、正面を向いた顔を撮像した撮像画像から、左右の目、鼻、口の位置を抽出し、目、鼻、口の配置及び位置関係に基づいて上述の各特徴領域に対応する各パッチの画像データを抽出する。抽出した各特徴領域は、特徴領域ごとに識別され、次の相関度の算出処理に用いられる。なお、特徴領域の抽出手法は限定されず、出願時に知られた手法を適宜に用いることができる。
【００３１】
続いて、本実施形態に係る気分判定装置１００の指標量算出機能について説明する。本実施形態の気分判定装置１００の制御装置１０は、図２に示すように、特徴領域に対応する各パッチの画像データを取得し、特徴領域ごとの追跡時間Ｔにおける指標量をそれぞれ算出する。本実施形態において算出される指標量の内容は、特徴領域に表された特徴量を示すものであれば特に限定されず、その算出手法も限定されない。特に限定されないが、本実施形態では、ある主成分に関する総合的な指標を統計的に設定し，変数間の関係を把握するための主成分分析(ＰＣＡ： Principal Component Analysis)を用いて主成分スコア(指標量)を求める。特徴領域ごとの追跡時間Ｔにおける指標量は、出願時に知られた分析手法、統計手法などを適宜に用いることができる。
【００３２】
さらに、本実施形態に係る気分判定装置１００の相関度算出機能について説明する。本実施形態の気分判定装置１００の制御装置１０は、今回相関度の算出が行われる判定追跡時間Ｔｘに撮像された撮像画像を用いて、先に説明した手法により算出された特徴領域ごとの追跡時間Ｔにおける主成分スコア（指標量）を得るとともに、ユーザが平常状態である基準追跡時間Ｔ０において予め算出された各特徴領域の基準指標量をＲＡＭ１３から読みだす。この基準指標量は、初回の処理において算出してＲＡＭ１３に記憶しておくことができる。
【００３３】
そして、本実施形態の気分判定装置１００は、判定追跡時間Ｔｘにおける指標量（主成分スコア）に対応する観察ベクトルと、基準指標量（基準となる主成分スコア）に対応する固有ベクトルとの相関度βiを下掲の数１の式により算出することができる。なお、相関度の算出手法は特に限定されず、他の相関度の算出手法を用いることができる。
【数１】
【００３４】
続いて、本実施形態に係る気分判定装置１００の判定機能について説明する。本実施形態の気分判定装置１００の制御装置１０は、算出された相関度に基づいてユーザの気分の度合いを判定する。
【００３５】
本実施形態の気分判定装置１００は、図２に示すように、各特徴領域の相関度について、緊張レベルに応じた相関度と、イライラレベルに応じた相関度を求め、これらの各相関度を加えて（足して）総合的な相関度を算出し、総合的な相関度に基づいて追跡時間Ｔにおける気分レベルを判断する。特に限定されないが、本実施形態において、気分判定装置１００は、緊張レベルに応じた相関度を顔の頬領域（特徴領域）の指標量に基づいて算出し、イライラレベルに応じた相関度を顔の眉間領域（特徴領域）の指標量に基づいて算出することができる。
【００３６】
特に限定されないが、本実施形態の気分判定装置１００は、ユーザの気分の度合いを、第１〜第４の四つのレベルに区分して判定することができる。気分の度合いの定義例を図４に示す。図４に示すように、本実施形態では、覚醒度の高さに応じて気分を４つのレベルに分けている。気分のレベルはユーザ自身が自覚できないことがあるので、各気分のレベルをユーザ自身が自覚することができる感情の種別を用いて表現すると、本実施形態の気分のレベルは、平常な状態である第１レベル、緊張を感じやすい傾向にある第２レベル、怒りを感じやすい傾向にある第３レベル、及び激しい怒りを感じやすい傾向にある第４レベルと表現することができる。
【００３７】
本実施形態に係る気分判定装置１００は、算出された相関度に基づいて判定された気分の度合いと追跡時間Ｔとを対応づけて少なくとも一時的に記憶する。
【００３８】
最後に、本実施形態に係る気分判定装置１００の出力機能について説明する。図１に示すように、本実施形態の気分判定装置１００は、車両に搭載された車両コントローラ２００、報知装置３００、記憶装置４００、通信装置５００、車載装置６００、及び外部装置７００とともに、運転支援システムを構成する。気分判定装置１００により出力されるユーザの追跡時間Ｔにおける気分レベルの判定結果は、より安全な運転を支援するために利用される。
【００３９】
本実施形態の気分判定装置１００の制御装置１０は、判定されたユーザの気分の度合いを、両の駆動を制御可能な車両コントローラ２００、ユーザに報知するための報知装置３００、記憶装置４００、及び外部と情報の送受信が可能な通信装置５００のうちの何れか一つ以上に出力する。
【００４０】
本実施形態において出力された気分レベルの判定結果は、ユーザの運転操作、車両の駆動制御、次回の運転操作、他のユーザの運転操作などの制御にフィードバックされる。本実施形態における気分レベルの判定結果のフィードバック手法を、以下に例示する。
【００４１】
第１の例として、気分レベルの判定結果を取得した車両コントローラ２００は、安全な走行を確保するため、気分レベルの高さに応じて（第４レベルに近いほど）、維持する車間距離を長く設定する指令を車間維持装置６１１に送出し、気分レベルの高さに応じて（第４レベルに近いほど）、維持する車速を低く設定する指令を車速維持装置６２０に送出する。同様に、安全走行を実現するための制御指令を他の走行支援装置６１０に対して送出することができる。また、安全な走行を確保するため、車両コントローラ２００は、気分レベルの高さに応じて(第４レベルに近いほど)、制動装置６２０に車両を減速させ、車両を停止に導く指令を送出することができる。これにより、ユーザの気分レベルに応じた走行支援を行うことができる。
【００４２】
第２の例として、気分レベルの判定結果を取得した報知装置３００は、ディスプレイ６３１及び／又はスピーカ６３２を介して、現在のユーザの気分レベルを文字、図形、点滅信号、音声などによりユーザに報知することができる。また、気分レベルの判定結果を取得した報知装置３００は、ユーザに気分レベルを知らせるとともにユーザの気分を転換させるため、エアコンディショナー６４０に温風又は冷風を送風する指令を送出することができる。さらにまた、気分レベルの判定結果を取得した報知装置３００は、ユーザに気分レベルを知らせるとともにユーザの覚醒度を緩めるため、座席ヒータ６５０に加温指令を送出することができる。このように、報知装置３００は、ユーザの気分レベルをユーザ自身に直接的又は間接的に知らせることができる。
【００４３】
第３の例として、気分レベルの判定結果を取得した記憶装置４００は、記憶メモリ６６０に追跡時間Ｔと対応づけて記憶することができる。また、記憶装置４００は、取得した気分レベルの判定結果を、ナビゲーション装置６７０が利用する車載又はサーバに配置されている地図情報６７１、道路情報６７２に追跡時間Ｔ及び追跡時間Ｔにおける走行位置と、を対応づけて記憶することができる。これにより、走行中のユーザの気分を地図情報６７１、道路情報６７２に書き込むことができる。
【００４４】
第４の例として、気分レベルの判定結果を取得した通信装置５００は、取得した気分レベルの判定結果を、外部装置７００へ通信回線を介して送出することができる。これにより、走行中の多数のユーザの気分レベルの情報を外部装置７００に集約することができる。
【００４５】
このように、追跡時間Ｔの間におけるユーザの気分レベルの判定結果を車両コントローラ２００、報知装置３００、記憶装置４００、通信装置５００などに出力し、各装置が気分レベルの判定結果をフィードバックすることにより、後に行われる車両制御、ユーザの操作、他のユーザの操作に役立てることができる。
【００４６】
続いて、本実施形態の気分判定装置１００の制御手順を、図５に示すフローチャートに基づいて説明する。
【００４７】
ステップ１０１において、気分判定処理を行うため、本実施形態の気分判定装置１００は、追跡時間Ｔを設定し、カメラ１によるユーザの頭部近傍の撮像を開始する。追跡時間Ｔは数分から数時間の所定の長さで予め設定しておくことができる。気分判定処理のトリガは特に限定されず、イグニッションオンの情報が入力された場合や、ユーザが気分判定処理の開始を命令した場合などとすることができる。
【００４８】
次に、ステップ１０２において、本実施形態の気分判定装置１００は、撮像画像から顔に対応する画像を検出し、目、鼻、口などの顔の特徴を追跡し、顔に対応する画像に手などによって隠された部分（欠け）が有るか否か、及びユーザの顔の向き（図３に示すＺ軸方向からのずれ量）に基づいて、撮像画像に含まれる顔が正面を向いているか否かを判断する。
【００４９】
ステップ１０３において、本実施形態の気分判定装置１００は、顔に対応する画像に隠れ部分が無く、顔が正面を向いている（図３に示すＺ軸方向のずれ量が所定値未満である）撮像画像を選択する。気分判定装置１００は、追跡時間Ｔの間に所定数以上の撮像画像を選択する。特に限定されないが、追跡時間Ｔの間に選択された撮像画像の数が所定数未満である場合には、正確な判定ができないとして気分判定処理を中止するようにすることもできる。
【００５０】
ステップ１０４において、本実施形態の気分判定装置１００は、選択された各撮像画像から特徴領域を抽出する。特に限定されないが、本処理においては、覚醒度の影響が現れやすい眉間領域の画像と左右の頬領域の画像とを特徴領域として抽出する。
【００５１】
ステップ１０５において、本実施形態の気分判定装置１００は、各特徴領域（パッチ）の画像データを少なくとも一時的に記憶する。
【００５２】
続いてステップ１０６において、本実施形態の気分判定装置１００は、主成分分析(ＰＣＡ)の手法を用いて、各特徴領域の指標量(主成分スコア)をそれぞれ算出する。
【００５３】
ステップ１０７において、本実施形態の気分判定装置１００は、ステップ１０６において算出された指標量が最初の処理によって求められた初期値であるか否かを判断する。算出された指標量が最初の処理によって求められた初期値である場合には、ステップ１０８へ進み、相関度を算出する際に基準とされる基準指標量として記憶する。なお、最初に算出する指標量（初期値）は、基準指標量となるため、ユーザが平常の気分であるときに算出することが好ましい。
【００５４】
ステップ１０７において、算出された指標量が初期値でない場合には、ステップ１０９へ進み、今回の判定対象となる判定追跡時間Ｔｘにおける指標量と、基準となる基準追跡時間Ｔ０における指標量との相関度を算出する。
【００５５】
続いて、ステップ１１０において、本実施形態の気分判定装置１００は、ステップ１０９において算出された相関度に基づいて、判定追跡時間Ｔｘにおけるユーザの気分が図４に示す四つの気分レベルのうち、いずれのレベルに属するのかを判定する。
【００５６】
最後に、ステップ１１１において、本実施形態の気分判定装置１００は、気分レベルの判定結果を、車両コントローラ２００、報知装置３００、記憶装置４００、及び通信装置５００のうちの何れか一つ以上の装置へ出力する。
【００５７】
なお、本実施形態では、気分判定装置１００が車両に搭載された場合を例にして説明したが、本発明の本実施形態に係る気分判定方法を、カメラ１、ユーザが操作するクライアントコンピュータ（車載コンピュータ、管理装置、作業装置）と情報の授受が可能なサーバ（コンピュータ・制御装置）において実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
【００５８】
クライアントコンピュータと情報の授受が可能なサーバは、カメラ１、ユーザが操作するクライアントに以下の指令を送出して、気分判定方法を実行することができる。指令の内容は、予め設定された追跡時間Ｔ内にユーザの頭部領域をカメラ１で複数回撮像させて、これにより得た複数の撮像画像から、ユーザの顔の特徴領域をそれぞれ抽出し(ステップ)、追跡時間Ｔにおける各特徴領域の特徴成分量をそれぞれ算出し（ステップ）、算出された追跡時間における特徴成分量と、ユーザが追跡時間において平常状態であるときに予め算出された各特徴領域の基準特徴成分量との相関度を算出し(ステップ)、相関度に基づいて追跡時間Ｔにおけるユーザの気分の度合いを判定する（ステップ）と、を含む。さらに、サーバは、判定した追跡時間Ｔにおけるユーザの気分の度合いを、ユーザが操作する車両の車両コントローラ２００、車両の報知装置３００、記憶装置４００へ送出することができる。なお、処理の具体的な内容は、本実施形態の気分判定装置１００、運転支援システム１０００と共通するのでこれらの説明を援用する。
【００５９】
本発明の本実施形態の気分判定装置１００は以上のように構成され、以上のように動作するので、以下の効果を奏する。
【００６０】
本発明の本実施形態に係る気分判定装置１００によれば、予め設定された追跡時間Ｔにおける指標量に基づいてユーザの気分の度合いを判定するので、ユーザの顔に瞬間的に表わされる表情によっては判断することができないユーザの気分の度合いを判定することができる。この結果、ユーザの心理状態を基礎づけ、ユーザの心理状態の支配的な要因となる気分の状態を知ることができ、ユーザの心理状態を高い精度で推測することができる。また、従来の瞬間的な表情からの感情判定においても、本発明により、基準となる平静の表情が気分により変動していることを考慮することができるため、その精度を高めることができる。
【００６１】
本発明の本実施形態に係る気分判定装置１００によれば、追跡時間Ｔを数分から数時間の所定の長さとすることにより、一瞬の表情からではなく、追跡時間Ｔにおいて撮像された複数の撮像画像に基づく特徴領域の指標量に基づいて、ユーザの気分を正確に判断することができる。
【００６２】
本発明の本実施形態に係る気分判定装置１００によれば、選択された隠れ部分が無く、正面を向いた撮像画像のみが、特徴領域の抽出処理に用いられるので、特徴領域の抽出処理が正確に行われ、結果としてユーザの気分判定処理を正確に行うことができる。
【００６３】
本発明の本実施形態に係る気分判定装置１００によれば、「気分」のレベルがユーザの覚醒度に応じる場合には、ユーザの覚醒度に応じた指標量変化が比較的大きい眉間領域及び／又は左右の頬領域を特徴領域として定義するので、ユーザの気分レベルを正確に判定することができる。
【００６４】
本発明の本実施形態に係る気分判定装置１００によれば、追跡時間Ｔにおけるユーザの気分の度合いを平常な状態である第１レベル、緊張を感じやすい第２レベル、怒りを感じやすい第３レベル、激しい怒りを感じやすい第４レベルのうちのいずれのレベルであるかを判定するので、数分から数時間という比較的長い時間に渡って維持されるユーザの気分のレベルに基づき、気分のレベルに応じて生じる感情の傾向を予測することができる。
【００６５】
本発明の本実施形態に係る気分判定装置１００及び運転支援システム１０００によれば、判定された追跡時間Ｔにおけるユーザの気分の度合いを、車両に搭載された、車両コントローラ２００、報知装置３００、記憶装置４００、及び通信装置５００のうちの何れか一つ以上に出力するので、追跡時間Ｔにおけるユーザの気分の度合いを、現在の走行、次の走行、他のユーザの走行にフィードバックすることができる。各種のフィードバック制御により、ユーザの気分レベルを低く、つまり、ユーザの覚醒度を適正に保つようにすることができる。
【００６６】
本発明に係る実施形態の気分判定方法によっても、同様の作用を奏し、同様の効果を得ることができる。
【００６７】
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００６８】
本明細書では、本発明に係る気分判定装置の一態様として気分判定装置１００及び走行支援装置１０００を例にして説明するが、本発明はこれに限定されるものではない。
【００６９】
また、本明細書では、本発明に係る気分判定装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える気分判定装置１００を一例として説明するが、これに限定されるものではない。
【００７０】
また、本明細書では、カメラと、画像取得手段と、特徴領域抽出手段と、指標量算出手段と、相関度算出手段と、判定手段とを有する本発明に係る気分判定装置の一態様として、気分判定装置１００を説明するが、これに限定されるものではない。
【００７１】
本明細書では、本発明に係る気分判定装置の一態様として、本願発明に係る気分判定装置１００と、車両コントローラ２００と、報知装置３００と、記憶装置４００と、通信装置５００とを備えた走行支援システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【符号の説明】
【００７２】
１０００…運転支援システム
１００…気分判定装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１…カメラ
２００…車両コントローラ
３００…報知装置
４００…記憶装置
５００…通信装置
６００…車載装置
６１０…走行支援装置
６１１…車間維持装置
６１２…キープレーン装置
６２０…制動装置
６３０…出力装置
６３１…ディスプレイ
６３２…スピーカ
６４０…エアコンディショナー
６５０…座席ヒータ
６６０…メモリ
６７０…ナビゲーション装置
７００…外部装置
【特許請求の範囲】
【請求項１】
ユーザの頭部領域を撮像可能なカメラを用いて、予め設定された追跡時間内に撮像された複数の撮像画像を取得する画像取得手段と、
前記複数の撮像画像から前記ユーザの顔の特徴領域をそれぞれ抽出する特徴領域抽出手段と、
前記追跡時間における前記各特徴領域の指標量をそれぞれ算出する指標量算出手段と、
前記算出された追跡時間における指標量と、前記ユーザが前記追跡時間において平常状態であるときに予め算出された各特徴領域の基準指標量との相関度を算出する相関度算出手段と、
前記相関度に基づいて前記ユーザの気分の度合いを判定する判定手段と、を備える気分判定装置。
【請求項２】
前記追跡時間は、数分から数時間の所定の長さの時間であることを特徴とする請求項１に記載の気分判定装置。
【請求項３】
前記画像取得手段により取得された複数の撮像画像について、前記ユーザの顔が正面方向を向いているか否か及び前記ユーザの顔が隠されているか否かを判断し、前記ユーザの顔が正面方向を向いており、前記ユーザの顔が隠されていないと判断された撮像画像を選択する画像選択手段をさらに備え、
前記特徴領域抽出手段は、前記画像選択手段により選択された各撮像画像から前記ユーザの顔の特徴領域をそれぞれ抽出することを特徴とする請求項１又は２に記載の気分判定装置。
【請求項４】
前記特徴領域抽出手段は、前記ユーザの顔の眉間領域及び左右の頬領域のうち、何れか一つ以上の領域を特徴領域として前記撮像画像から抽出することを特徴とする請求項１〜３の何れか一項に記載の気分判定装置。
【請求項５】
前記判定手段は、前記相関度に基づいて前記ユーザの気分の度合いを、平常な状態である第１レベル、緊張を感じやすい第２レベル、怒りを感じやすい第３レベル、激しい怒りを感じやすい第４レベルのうちのいずれのレベルであるかを判定することを特徴とする請求項１〜４の何れか一項に記載の気分判定装置。
【請求項６】
前記気分判定装置は、車両に搭載され、
前記判定手段により判定された前記ユーザの気分の度合いを、前記車両に搭載された、前記車両の駆動を制御可能な車両コントローラ、前記ユーザに報知するための報知装置、前記判定された気分の度合いを格納可能な記憶装置、及び外部と情報の送受信が可能な通信装置のうちの何れか一つ以上に出力する出力手段をさらに備えることを特徴とする請求項１〜５の何れか一項に記載の気分判定装置。
【請求項７】
予め設定された追跡時間内にユーザの頭部領域をカメラで複数回撮像して得た複数の撮像画像から、前記ユーザの顔の特徴領域をそれぞれ抽出し、
前記追跡時間における前記各特徴領域の特徴成分量をそれぞれ算出し、
前記算出された追跡時間における特徴成分量と、前記ユーザが前記追跡時間において平常状態であるときに予め算出された各特徴領域の基準特徴成分量との相関度を算出し、
前記相関度に基づいて前記ユーザの追跡時間における気分の度合いを判定する、気分判定方法。
【請求項１】
ユーザの頭部領域を撮像可能なカメラを用いて、予め設定された追跡時間内に撮像された複数の撮像画像を取得する画像取得手段と、
前記複数の撮像画像から前記ユーザの顔の特徴領域をそれぞれ抽出する特徴領域抽出手段と、
前記追跡時間における前記各特徴領域の指標量をそれぞれ算出する指標量算出手段と、
前記算出された追跡時間における指標量と、前記ユーザが前記追跡時間において平常状態であるときに予め算出された各特徴領域の基準指標量との相関度を算出する相関度算出手段と、
前記相関度に基づいて前記ユーザの気分の度合いを判定する判定手段と、を備える気分判定装置。
【請求項２】
前記追跡時間は、数分から数時間の所定の長さの時間であることを特徴とする請求項１に記載の気分判定装置。
【請求項３】
前記画像取得手段により取得された複数の撮像画像について、前記ユーザの顔が正面方向を向いているか否か及び前記ユーザの顔が隠されているか否かを判断し、前記ユーザの顔が正面方向を向いており、前記ユーザの顔が隠されていないと判断された撮像画像を選択する画像選択手段をさらに備え、
前記特徴領域抽出手段は、前記画像選択手段により選択された各撮像画像から前記ユーザの顔の特徴領域をそれぞれ抽出することを特徴とする請求項１又は２に記載の気分判定装置。
【請求項４】
前記特徴領域抽出手段は、前記ユーザの顔の眉間領域及び左右の頬領域のうち、何れか一つ以上の領域を特徴領域として前記撮像画像から抽出することを特徴とする請求項１〜３の何れか一項に記載の気分判定装置。
【請求項５】
前記判定手段は、前記相関度に基づいて前記ユーザの気分の度合いを、平常な状態である第１レベル、緊張を感じやすい第２レベル、怒りを感じやすい第３レベル、激しい怒りを感じやすい第４レベルのうちのいずれのレベルであるかを判定することを特徴とする請求項１〜４の何れか一項に記載の気分判定装置。
【請求項６】
前記気分判定装置は、車両に搭載され、
前記判定手段により判定された前記ユーザの気分の度合いを、前記車両に搭載された、前記車両の駆動を制御可能な車両コントローラ、前記ユーザに報知するための報知装置、前記判定された気分の度合いを格納可能な記憶装置、及び外部と情報の送受信が可能な通信装置のうちの何れか一つ以上に出力する出力手段をさらに備えることを特徴とする請求項１〜５の何れか一項に記載の気分判定装置。
【請求項７】
予め設定された追跡時間内にユーザの頭部領域をカメラで複数回撮像して得た複数の撮像画像から、前記ユーザの顔の特徴領域をそれぞれ抽出し、
前記追跡時間における前記各特徴領域の特徴成分量をそれぞれ算出し、
前記算出された追跡時間における特徴成分量と、前記ユーザが前記追跡時間において平常状態であるときに予め算出された各特徴領域の基準特徴成分量との相関度を算出し、
前記相関度に基づいて前記ユーザの追跡時間における気分の度合いを判定する、気分判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−３００（Ｐ２０１３−３００Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３３６６７（Ｐ２０１１−１３３６６７）
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【出願人】（５９７０４０９０２）学校法人東京工芸大学 (28)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１５日（２０１１．６．１５）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【出願人】（５９７０４０９０２）学校法人東京工芸大学 (28)
【Ｆターム（参考）】
[ Back to top ]