推定装置、及びその制御方法
【課題】 ユーザが現在の感情に至った原因を推定し、推定した原因に応じてユーザとのコミュニケーションを図るための技術を提供すること。
【解決手段】 状況解析部1302は画像、音声、生体情報に基づくユーザの周囲環境、ユーザの心理状態を推定し、原因推定部1303は推定した心理状態が所定の状態である場合には、生体情報に基づいてユーザの体調が不良であるのか否かを推定し、推定した心理状態が所定の状態である場合には上記周囲環境に基づいてユーザの心理状態の原因を推定する。
【解決手段】 状況解析部1302は画像、音声、生体情報に基づくユーザの周囲環境、ユーザの心理状態を推定し、原因推定部1303は推定した心理状態が所定の状態である場合には、生体情報に基づいてユーザの体調が不良であるのか否かを推定し、推定した心理状態が所定の状態である場合には上記周囲環境に基づいてユーザの心理状態の原因を推定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザの感情に係る情報を推定するための技術に関するものである。
【背景技術】
【0002】
従来から、人間の個性や感情を理解し、その理解の結果に応じた処理を行うインターフェース装置の実現が望まれていた。このように人間的な処理を実現するためには、ユーザの個性や感情を認識するための個性認識技術や感情認識技術の開発が不可欠である。
【0003】
感情認識に関する従来技術によると、ユーザの音声情報と、表情や動作などの画像情報と、に基づいて感情認識を行なっている(例えば特許文献1〜3)。このうち特許文献2では、音声情報から得られる感情認識結果と画像(表情)情報から得られる感情認識結果に対して所定の重み付けを行ない、統合することで最終的な感情認識結果を得ている。
【0004】
また、特許文献3では、音声、表情の情報にさらにユーザの身体の特徴や動作の特徴を考慮に入れて個性を認識し、さらに感情認識精度を上げている。
【特許文献1】特開平5−12023号公報
【特許文献2】特開平10−228295号公報
【特許文献3】特開2001−83984号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ところで、人間の喜怒哀楽といった感情にはその感情が現れることとなった原因が必ずある。例えば「怒っている」としてもその原因は様々である。
【0006】
従来のインターフェース装置はユーザの精神状態や体調がどんな状態であるかにかかわらず、同じ感情に対しては同じ制御を行なっていた。
【0007】
本発明は以上の問題に鑑みて成されたものであり、ユーザが現在の感情に至った原因を推定し、推定した原因に応じてユーザとのコミュニケーションを図るための技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の目的を達成するために、例えば本発明の推定装置は以下の構成を備える。
【0009】
即ち、ユーザの画像データを入力する画像入力手段と、
前記ユーザの音声データを入力する音声入力手段と、
前記ユーザの生体情報を入力する生体情報入力手段と、
前記画像データ、前記音声データ、前記生体情報に基づく前記ユーザの周囲環境を推定する第1の推定手段と、
前記ユーザの心理状態を推定するために基準となる基準データを保持する保持手段と、
前記画像データ、前記音声データ、前記生体情報のうち1つ以上と前記基準データとを比較して、前記ユーザの心理状態を推定する第2の推定手段と、
前記第2の推定手段が推定した心理状態が所定の状態である場合には、前記第1の推定手段が推定した前記周囲環境に基づいて、前記ユーザの心理状態の原因を推定する第3の推定手段と
を備えることを特徴とする。
【0010】
本発明の目的を達成するために、例えば本発明の推定装置の制御方法は以下の構成を備える。
【0011】
即ち、ユーザの画像データを入力する画像入力工程と、
前記ユーザの音声データを入力する音声入力工程と、
前記ユーザの生体情報を入力する生体情報入力工程と、
前記画像データ、前記音声データ、前記生体情報に基づく前記ユーザの周囲環境を推定する第1の推定工程と、
前記ユーザの心理状態を推定するために基準となる基準データを保持する保持工程と、
前記画像データ、前記音声データ、前記生体情報のうち1つ以上と前記基準データとを比較して、前記ユーザの心理状態を推定する第2の推定工程と、
前記第2の推定工程で推定した心理状態が所定の状態である場合には、前記第1の推定手段が推定した前記周囲環境に基づいて、前記ユーザの心理状態の原因を推定する第3の推定工程と
を備えることを特徴とする。
【発明の効果】
【0012】
本発明の構成により、ユーザが現在の感情に至った原因を推定し、推定した原因に応じてユーザとのコミュニケーションを図ることができる。
【発明を実施するための最良の形態】
【0013】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【0014】
[第1の実施形態]
図1は、本実施形態に係る推定装置(以下の説明ではインターフェース装置と呼称する)を含むシステムの機能構成を示すブロック図である。以下の説明では、図1に示したインターフェース装置1を構成する各部はハードウェアにより構成されているものとするが、各部のうち一部もしくは全部をソフトウェアでもって実現するようにしても良いことはいうまでもない。
【0015】
同図において2はユーザで、以下の説明では、このユーザ2が現在の感情に至った原因を推定し、推定した結果に応じてユーザ2とコミュニケーションを行う。3はこのユーザの体温、心拍、血圧、発汗等の生体情報を測定し、測定した生体情報をインターフェース装置1に送信する送受信器である。送受信器3は、ユーザ2に装着されるものであり、この生体情報は定期的に測定され、無線でもってインターフェース装置1に送信されるものである。
【0016】
1は本実施形態に係るインターフェース装置で、その構成はセンサ部1100,情報記憶部1200、情報処理部1300に大別される。
【0017】
センサ部1100は外界の画像情報、音声情報、生体情報を得るための部分(画像入力部1101、音声入出力部1102、生体情報獲得部1103)と、外界の情報を計測するための部分(温度計1104、湿度計1105、照度計1106)とに大別される。
【0018】
画像入力部1101は現実空間を動画像として撮像するためのものであり、以下の説明では、ユーザ2を含む周囲環境を撮像する。これにより、ユーザ2の周囲環境やユーザ2の表情、身体動作を画像として得ることができる。また画像入力部1101は必要に応じて特定の人物を追尾できる人物追跡機能を有する。
【0019】
音声入出力部1102は現実空間における音声を収集すると共に、後段の情報処理部1300から出力された音声信号に基づいて、音声を出力する。以下の説明では、ユーザ2を含む周囲環境からの音声を収集すると共に、ユーザ2に対するメッセージを発する。
【0020】
生体情報獲得部1103は、上記送受信器3から送信された上記生体情報を受信するためのI/F部として機能するものである。
【0021】
温度計1104はインターフェース装置1の外界の気温を計測するためのものであり、湿度計1105はインターフェース装置1の外界の湿度を計測するためのものあり、照度計1106はインターフェース装置1の外界の照度を計測するためのものである。以下では、温度計1104により計測された気温、湿度計1105により計測された湿度、照度計1106により計測された照度をまとめて環境情報と呼称する。
【0022】
情報記憶部1200は、センサ部1100から得られる各種の情報や、予め記憶すべき情報などを記憶するためのものであり、イベントログ記憶部1201、人物データ記憶部1202、平均人データ記憶部1203、制御情報記憶部1204により構成されている。
【0023】
イベントログ記憶部1201には、センサ部1100から得られる上記生体情報、上記環境情報をイベントログとして現在の日付、時刻と共に記憶する。
【0024】
人物データ記憶部1202には、予めユーザ2の個人データが記憶されている。この個人データには、ユーザ2の顔画像、全身画像、ユーザ2の音声の特徴量データ等、ユーザ2を特定するためのデータが含まれている。またこの個人データには、ユーザ2の身長、体重、平均体温、平均脈拍数等、ユーザ2の身体情報も含まれている。
【0025】
平均人データ記憶部1203には、平均的な人の各感情における音声、表情、動作、心拍数等の特徴量データが記憶されている。
【0026】
例えば、音声の特徴としては声の高さ、大きさ、周波数特性などがあり、喜怒哀楽それぞれの感情に関してある程度の幅を持ったデータとして与えられる。表情の特徴としては、目、口、眉の動きなどがあり、それぞれの感情に関してある程度の幅を持ったデータとして与えられる。
【0027】
制御情報記憶部1204には、本インターフェース装置1が行った処理結果が制御情報として逐次記憶される。ここで制御情報とは、「インターフェース装置1が行ったユーザの感情の判定結果」、「その原因推定結果」、「原因を取り除くための制御内容」、「制御を行った結果」を示すものであり、それぞれの処理を実行した時点の時刻と共に記憶される。
【0028】
情報処理部1300は、インターフェース装置1が行うべき各処理を実行する実行部であり、会話解析部1301、状況解析部1302、原因推定部1303、制御情報生成部1304、制御部1305により構成されている。
【0029】
会話解析部1301は、音声入出力部1102によって本インターフェース装置1に入力された音声データに基づいて会話の内容を解析する処理を行う。会話解析処理については周知の技術であるので、これに関する説明は省略する。
【0030】
状況解析部1302は、センサ部1100より取得した情報から、ユーザ2の感情を推定する処理、及びユーザ2の周囲環境を推定する処理等を行う。
【0031】
原因推定部1303は、状況解析部1302により推定されたユーザ2の感情の原因を推定する処理を行う。
【0032】
制御情報生成部1304は、原因推定部1303による推定結果に基づいて、原因を解消するために本インターフェース装置1が行うべき処理内容を示す情報を生成する。
【0033】
制御部1305は、制御情報生成部1304が生成した情報に従った処理を行う。
【0034】
そして、情報処理部1300が行った一連の処理、即ち、感情推定結果、感情推定結果に基づく原因推定結果、原因推定結果に基づく制御結果が1セットとして、制御情報記憶部1204に記録される。
【0035】
ただし、情報記憶部1200に記憶されたデータの詳細はプライバシー保護のためにユーザ本人のみが確認することができ、他のユーザに対しては、異変がある、等の判定結果のみを提示するものとする。この提示はユーザ2とロボット1との会話またはデータ送信によって行なわれる。データの送信は予め設定しておけばその設定に応じて希望の時間、送信先に送信可能である。情報処理部1300は人物特定手段を備えているため、特にパスワード等で区別しなくてもプライバシー問題は回避できる。
【0036】
次に、本インターフェース装置1が行う処理について説明する。以下の説明では説明の便宜上、インターフェース装置1が学校の教室に設置されているものとして説明する。従って教室内の全ての生徒(ユーザ2を含む)には送受信器3が取り付けられていると共に、人物データ記憶部1202には、教室内の全ての生徒の個人データが格納されているものとする。
【0037】
このような設定において、インターフェース装置1は常に、教室内の画像、音声を収集し、その時点での画像、音声に基づく状況情報、及びその時点で送受信器3から送信済みの生体情報を日付、時刻と共にイベントログ記憶部1201に格納する処理を行う。このように、教室内の状況を収集するモードを通常モードと呼称する。従ってインターフェース装置1は、通常モードの場合には、このように教室内の状況を収集する処理を行っている。
【0038】
図2は、通常モードである場合にインターフェース装置1が行う処理のフローチャートである。
【0039】
先ず、インターフェース装置1は、教室内の状況を収集する処理を行う(ステップS101)。より具体的には、画像入力部1101により教室内の画像を入力すると共に、音声入出力部1102より教室内の音声を入力する。また、生体情報獲得部1103により、各生徒に取り付けられている送受信器3から定期的に送信されてくるそれぞれの生徒の生体情報を受信する。また、温度計1104、湿度計1105、照度計1106によりそれぞれ温度、湿度、照度を計測する。
【0040】
次に、状況解析部1302は、画像入力部1101から得られる画像内の状況を推測する処理を行う(ステップS103)。ここで、ステップS103における処理の詳細について説明する。
【0041】
図3は、状況解析部1302の機能構成を示すブロック図である。状況解析部1302は、データ読み込み部301、人物特定部302、状況推定部303により構成されている。更に、データ読み込み部301は、環境情報データ読み込み部301a、記憶データ読み込み部301bにより構成されている。
【0042】
環境情報データ読み込み部301aは、センサ部1100から得られる情報群を入力する。また、記憶データ読み込み部301bは、情報記憶部1200に記録されている情報群を入力する。
【0043】
そして人物特定部302は、センサ部1100から入力した画像、音声を、記憶データ読み込み部301bにより入力した個人データに照合させて、画像中に写っている生徒を特定する。
【0044】
例えばセンサ部1100から入力した画像に写っている人物の顔領域の特定は周知の技術により可能であるので、この顔領域内の顔画像と、各生徒の顔画像(各生徒の個人データに含まれている)とを比較して、この顔領域内の顔が誰のものであるのかを特定する。このように、画像中に写っている顔が誰のものであるのかを特定する為の技術については周知であるので、これについての詳細な説明は省略する。
【0045】
また、センサ部1100から入力した音声信号から周知の技術でもって特徴量を抽出し、抽出した特徴量と、各生徒の音声の特徴量(各生徒の個人データに含まれている)とを比較して、センサ部1100から入力した音声信号が誰のものであるのかを特定する。このように、収集した音声信号が誰のものであるのかを特定する為の技術については周知であるので、これについての詳細な説明は省略する。
【0046】
以上のようにして、画像中に写っている個人を特定する。
【0047】
次に、状況推定部303は、人物特定部302が特定した個人の感情を、センサ部1100から入力した情報群から推測する。即ち、状況推定部303は、センサ部1100から入力される個人の画像、音声を解析し、この個人が笑っているのか、怒っているのかといった感情認識を行う。例えば、画像中の顔において目じりが下がり、口が大きく開けられていて、且つ声が大きく周波数特性が高周波でレベルが高く、動作が大きい場合、「楽しい」と判断することができる。このように、画像、音声を用いて個人の感情認識を行う技術については周知の技術であるので、これに関する説明は省略する。
【0048】
また、特定した個人同士が会話している場合などがある。このような場合には、それぞれの個人について動作認識を行う必要がある。
【0049】
このような処理により、画像中に写っている人物の特定、及び特定した人物の感情推定を行うことができる。
【0050】
図2に戻って、次に、状況推定部303がこのようにして解析した結果をログとしてログ記憶部1201に記録する処理を行う(ステップS104)。解析結果をログとして記録する際には、記録時における日時を添付して記録する。日時の計時は制御部1305が行っている。
【0051】
記録するログとしては、例えば、「○月○日、○時○分、AさんとBさんが楽しそうに会話をしていた。」といったようなものである。また、例えばこのようなログを記録する場合、「Aさん」、「Bさん」、「楽しそう」というログ内容から、AさんとBさんとは仲が良いと判断し、その旨のデータもログと共に記録する。
【0052】
このように、画像入力部1101から得られる画像に写っている生徒の感情、及び画像に写っている教室内の状況を推定することができる。
【0053】
次に、本インターフェース装置1が、ユーザ2と会話をするモードであるインタラクションモードについて説明する。なお、このインタラクションモードとは、ユーザ2と本インターフェース装置1とのコンタクト、例えば対話や接触など、によるモードのことを指す。インタラクションモードへの切り替えは、不図示のスイッチ等を操作することにより成される。よって、通常は通常モードにおける処理を行い、本インターフェース装置1を用いて会話を行いたい場合には、スイッチなどを操作してインタラクションモードに移行させる。なお、インタラクションモードに移行させるための手段、方法についてはこれに限定するものではない。
【0054】
このとき、本インターフェース装置1はユーザ2との会話を行うことから、画像入力部1101はユーザ2を含む画像を撮像しているし、音声入出力部1102は、ユーザ2からの音声を収集している(当然ユーザ2の音声以外の音声も収集することになる)。
【0055】
図4A、4Bはインタラクションモードにおいてインターフェース装置1が行う処理のフローチャートである。
【0056】
先ずインターフェース装置1は、教室内の状況を収集する処理を行う(ステップS112)。より具体的には、画像入力部1101により教室内の画像を入力すると共に、音声入出力部1102より教室内の音声を入力する。また、生体情報獲得部1103により、各生徒に取り付けられている送受信器3から定期定期に送信されてくるそれぞれの生徒の生体情報を受信する。また、温度計1104、湿度計1105、照度計1106によりそれぞれ温度、湿度、照度を計測する。
【0057】
次に、上記ステップS103において行った、画像中の人物の特定処理を行うと共に、特定した人物を示す情報をログ記憶部1201に記録する処理を行う(ステップS113)。次に制御部1305は、ステップS113で特定した人物と、以前にコンタクトを取ったか否かを判断する(ステップS114)。これはログ記憶部1201に記録した「過去にコンタクトを取った人物を示す情報」のうち、今回特定した人物を示す情報が存在するのか否かを判断することで成される処理である。
【0058】
その結果、今回特定した人物を示す情報がログとしてログ記憶部1201に記録されていない場合(今回特定した人物と初めてコンタクトを取る場合)には、処理をステップS115aに進め、状況解析部1302は、平均人データ記憶部1203に格納されているデータを読み出す(ステップS115a)。一方、今回特定した人物を示す情報がログとしてログ記憶部1201に記録されている場合(今回特定した人物とは以前にコンタクトを取ったことがある場合)には、処理をステップS115bに進め、状況解析部1302は、人物データ記憶部1202から、今回特定した人物の個人データを読み出す(ステップS115b)。
【0059】
そして状況解析部1302は、ステップS112で得た情報、ステップS115aもしくはステップS115bで得た情報を用いて、ステップS103において行った、画像中の人物の感情を推定する処理を行う(ステップS116)。ここでは、画像入力部1101から得られる画像から判断される、ユーザ2の感情を推定する。
【0060】
しかし、多くの場合は、心理状態と感情は直結しているものだが、時に内面に隠れた心理状態を隠して感情が表れている場合があり、ここではそれを見つけるのが目的である。例えば、画像から推定した感情が「明るい、楽しげだ」であっても、脈拍が高く、体温が低めで、周波数特性が高周波で不自然に高い、といった場合には無理して笑っているのかもしれない、と心理状態を推察できる。このように、複数の情報を用いて感情を推定しようとすると、参照した情報によっては推定する感情が、他の情報を用いて推定した感情と逆の感情を推定する場合がある。
【0061】
そこで本実施形態では、画像から推定される感情、音声から推定される感情、生体情報から推定される感情のうち1つでも良くない感情(元気がない、悲しいなど、負の感情)が推定された場合には、「異変あり」と判断し(ステップS118)、処理をステップS119に進める。一方、各情報を用いて感情を推定した場合に、どの情報を用いてもおおむね同じ感情を推定したのであれば、本処理を終了する。
【0062】
更に、ユーザ2の過去データと比較することにより、心理状態の変化も見ることができる。例えば、ユーザ2が「元気だよ。」と答えたとしても、表情を解析した結果目がうつろだったり、音声データの解析により、声が小さい、周波数特性は低周波でレベルが高くなっている等、返事に元気がないと判断されたり、画像情報もしくは生体情報から汗の量が通常より多い、といった特徴が抽出されれば、状況推定部303は「何だか元気がないようだ。それも人には言えないことなのかもしれない。」というように推定し、「心理状態に異変あり」と推定する。
【0063】
「異変あり」の場合には、原因推定部1303は、ステップS116で推定した負の感情に至った原因を推定する処理を行う(ステップS119)。例えば、状況解析部1302がユーザ2について推定した複数の感情のうち「元気がない」という推定結果があるとすると、次に原因推定部1303においてその原因推定を行なう。
【0064】
図5は、ステップS119における処理の詳細を示すフローチャートである。先ず、画像から推定される感情、音声から推定される感情、生体情報から推定される感情のうち1つのみが負の感情である場合(ステップS501)、処理をステップS506に進め、原因推定部1303は、この負の感情をケアする目的のメッセージ、例えば「大丈夫?」などのメッセージを音声入出力部1102に出力すべきと判断し、その旨を制御情報生成部1304に出力する(ステップS506)。
【0065】
一方、画像から推定される感情、音声から推定される感情、生体情報から推定される感情のうち2つ以上が負の感情である場合(ステップS501)、処理をステップS502に進め、ステップS112で入力した生体情報を参照し、ユーザ2の体調を判断する(ステップS502)。より具体的には、人物データ記憶部1202に記憶されているユーザ2の個人データに含まれている平均体温、平均脈拍数と、ステップS112で入力した生体情報に含まれている体温、脈拍数とを比較し、ユーザ2の体調を判断する。体温、脈拍数が平均とどのような関係にあれば体調が良い/悪いのかについては予めデータとして原因推定部1303が保持しているものとする。
【0066】
この判断の結果、ユーザ2の現在の体温が平均体温と大きく異なる(即ち熱が高い)、且つ脈拍数が平均脈拍数と大きく異なる(即ち脈拍が安定していない)場合にはユーザ2の体調は悪いと判断し(ステップS502)、処理をステップS507に進め、体調が悪い旨を報知すべきと判断し、その旨を制御情報生成部1304に出力する(ステップS507)。
【0067】
一方、ユーザ2の現在の体温が平均体温と同じぐらい(即ち平熱である)、且つ脈拍数が平均脈拍数と同じぐらい(即ち脈拍が安定している)場合にはユーザ2の体調は良いと判断し、処理をステップS503に進め、制御情報記憶部1204が保持している情報のうち、ユーザ2に関する情報を参照し、過去に同様の感情に対する制御に係る情報を検索する(ステップS503)。そして、過去に同様の感情に対する制御に係る情報が見つかった場合には処理をステップS508に進め、見つけた情報を制御情報生成部1304に出力する(ステップS508)。
【0068】
一方、過去に同様の感情に対する制御に係る情報が見つからなかった場合には処理をステップS505に進め、イベントログ記憶部1201が保持するログのうちユーザ2に関するログを全て抽出し、原因推定を行なう(ステップS505)。例えば、ユーザ2に関する過去のログのうち、「○月○日、○時○分、AさんとBさんが楽しそうに会話をしていた。」というログと共に「AさんとBさんとは仲が良い」というログが記録されているのに、それよりも最近のログに「×月×日、×時×分、AさんとBさんがけんかしている。」というログと共に「AさんとBさんとは仲が悪い」というログが記録されている場合には、Aさんが元気がないのはこのけんかが原因であると推定できる。
【0069】
このように、ユーザ2に関するログを参照し、参照したログ(第1のログ)が示す状況と反対の状況を示すログ(第2のログ)が後に記録されている場合には、第2のログに記録されている状況を原因として推定する。
【0070】
このようにして、現在のユーザ2の感情の原因を推定することができる。なお、原因の推定方法についてはこれに限定するものではなく、様々な方法がある。例えば、推定した感情が変化した時刻から所定時間前までの間でログ記憶部1201に記録されたユーザ2に関するログを参照し、同様の状況を示しているログのグループのうち、数が最もログの数が多いグループのログが示す状況を原因としても良いし、その方法は様々なものが考えられる。
【0071】
以上、図5に示したフローチャートに従った処理が完了すると、図4BのステップS120に処理を戻し、制御情報生成部1304は、状況解析部1302から受けた情報に基づいて、これから行うべき処理を制御部1305に実行させる為のコマンド(制御情報)を生成する(ステップS120)。
【0072】
例えばステップS506では、負の感情をケアする目的のメッセージ、例えば「大丈夫?」などのメッセージを音声入出力部1102に出力すべき旨を示す情報が、制御情報生成部1304に入力されるので、制御情報生成部1304は、このようなメッセージを制御部1305に発行させるためのコマンドを生成し、制御部1305に出力する。
【0073】
また、ステップS507では、体調が悪い旨を報知すべき旨を示す情報が制御情報生成部1304に入力されるので、制御情報生成部1304は、体調が悪い旨を報知する処理を制御部1305に実行させるためのコマンドを生成し、制御部1305に出力する。
【0074】
また、ステップS508では、ステップS503で検索した情報が制御情報生成部1304に入力されるので、制御情報生成部1304は、この情報に従った制御処理を制御部1305に実行させるためのコマンドを生成し、制御部1305に出力する。
【0075】
よって、制御部1305は、制御情報生成部1304から受けたコマンドに応じた処理を行う(ステップS121)。
【0076】
例えば、負の感情をケアする目的のメッセージ、例えば「大丈夫?」などのメッセージを音声入出力部1102に出力するためのコマンドを受けた場合には、制御部1305は、このコマンドに応じたメッセージデータを自身が有するメモリから読み出し、音声入出力部1102に出力する。音声入出力部1102は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0077】
また、体調が悪い旨を報知する処理を実行するためのコマンドを受けた場合には、制御部1305は、「ユーザ2の体調が悪いです」というような、ユーザ2の体調が悪いことを報知するためのメッセージデータを自身が備えるメモリ内から読み出し、音声入出力部1102に出力する。音声入出力部1102は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0078】
また、ステップS503で検索した情報を受けた場合には、制御部1305は、過去の同様の感情に対する制御を行う。
【0079】
そして制御部1305は、上記一連の処理内容、即ち、ステップS113で特定した個人(ここではユーザ2)を識別するためのデータ、この個人に対するインタラクション内容、ステップS116におけるこの個人に対する感情推定結果、ステップS119におけるこの感情の原因推定結果、を今回の処理のログとして制御情報記憶部1204に記録する(ステップS122)。この記録したログは、上記ステップS503において、過去にどの人物がどのような感情であり、且つ原因がどのような場合であればどのような制御処理を行ったのかを検索する際に参照されるものである。
【0080】
情報記憶部1200は環境情報や会話の内容などを全て記憶するが、認証された本人以外の人には状況解析結果及び制御情報のみを知らせるだけとし、生体情報、会話内容といった個人のプライバシーは守る能力を備えるものとする。例えば、ユーザ2がインターフェース装置1に対して、「○さんは○月○日、落ち込んでいたみたいだけど何を話していたの?」と訊ねたとする。しかし、人物特定部302において本人以外の人物であると判断された場合には、「○月○日、○さんは元気がなかった。30分くらい会話したら元気になった。」、というような情報開示のみにとどめ、会話内容は開示しない。プライバシー保守機能を持つことにより、ユーザは安心して本音を話すことができる。
【0081】
なお、本実施形態では、ユーザ2に対してメッセージを通知する手段として音声を用いたが、本インターフェース装置1に新たに表示装置を設け、この表示装置上にテキスト文章としてメッセージを表示するようにしても良いし、その通知方法は特に限定するものではない。
【0082】
[第2の実施形態]
本実施形態では、インターフェース装置を第1の実施形態とは異なる用途でもって使用する。
【0083】
図6は、本実施形態に係るインターフェース装置を含むシステムの機能構成を示すブロック図である。以下の説明では、図6に示したインターフェース装置600を構成する各部はハードウェアにより構成されているものとするが、各部のうち一部もしくは全部をソフトウェアでもって実現するようにしても良いことはいうまでもない。また同図において図1と同じ部分については同じ番号を付けており、その説明は省略する。
【0084】
同図において4は被介護者である乳児であり、以下の説明では、インターフェース装置600は、この乳児4に対する育児手伝いを補佐する。なお、この乳児4には第1の実施形態と同様の送受信器3が取り付けられており、この乳児4に関する生体情報はインターフェース装置600に定期的に無線でもって送信される。
【0085】
7はこの乳児4の世話をする人(例えば乳児4の母親)であり、世話人7は、インターフェース装置600から送信されるデータを受信し、受信したデータを表示/音声出力するためのデータ受信器5を常に携帯している。本実施形態では制御部1305は外部との通信機能を有しており、このデータ受信器5に対するデータ送信機能を有しているものとする。
【0086】
6はセンサー付き哺乳瓶で、現在この哺乳瓶に貯蔵されているミルクの量を測定し、定期的にインターフェース装置600に送信するためのセンサがついた哺乳瓶である。なお、このセンサは、体積、重量など、ミルクの量を特定できるのであればどのような量を測定するセンサであっても良い。
【0087】
インターフェース装置600が第1の実施形態のインターフェース装置1と異なる点は、人物データ記憶部1202の代わりに、乳児4に関するデータが格納されている乳児データ記憶部601が備わっている点と、平均人データ記憶部1203の代わりに、平均乳児データ記憶部602が備わっている点である。
【0088】
図7A、7Bは本実施形態に係るインターフェース装置600が行う処理のフローチャートである。
【0089】
画像入力部1101からは乳児4を含む周囲環境の画像が入力され、音声入出力部1102からは乳児4の音声が入力され、生体情報獲得センサ1103からは送受信器3から送信された乳児4の体温、脈拍数などの生体情報が入力され、センサ付き哺乳瓶6からはミルクの量が入力されるので、これらはログとしてイベントログ記憶部1201に、記録時の日時と共に格納される(ステップS201)。
【0090】
また、このログを記録する際には、状況解析部1302は、画像入力部1101からの画像を参照し、乳児4が食事中であるのか否か、泣いているのか否か、おむつの交換中であるのか否かなどを認識し、その認識結果(乳児状態)をこのログと共に記録する。画像中の人物の行動や仕草等、画像中の状況を認識するために、例えば、様々な状況における画像を学習したニューラルネットワークを用いて、ある画像中の状況を認識させる等の技術を用いることができるが、これに限定するものではない。
【0091】
次に、状況解析部1302は、この認識結果が、「乳児4に異変が生じている」、即ち本実施形態では「乳児4が泣いている」場合には、処理をステップS205に進める。なお、泣いていることをより高精度に認識するために、音声入出力部1102から得られる音声情報をも参照するようにしても良い。なお、音声情報から、この音声が泣いている声なのか否かを認識するための技術については、例えば、様々な状況における音声を学習したニューラルネットワークを用いて、ある音声が泣いている音声なのか笑っている音声なのかといったことを認識させる等の技術を用いることができるが、これに限定するものではない。
【0092】
そして原因推定部1303は、乳児4が泣いていると認識した場合には、泣いている原因を推定する処理を行う。
【0093】
先ず、イベントログ記憶部1201に記録したログを参照し、食事が必要であるのか否かを判断する(ステップS205)。具体的には先ず、ログを参照し、食事が開始された時刻を特定する。そして、特定した時刻におけるミルクの量をログから特定する。次に、最後に食事をした時刻を特定し、特定した時刻におけるミルクの量をログから特定する。そして、それぞれ特定したミルクの量の差分を計算することで、前回の食事の量を求めることができる。
【0094】
一方で、乳児データ記憶部601に記憶されている、この乳児4に係るデータには、1回の食事の量を示すデータが含まれているので、上記求めた前回の食事の量が、このデータが示す1回の食事の量以下であるのか否かをチェックする。
【0095】
そして上記求めた前回の食事の量が、このデータが示す1回の食事の量以下である場合には、おなかがすいているので泣いていると推測する。
【0096】
なお、おなかがすいているのか否かをチェックする方法はこれに限定するものではなく、以下のような方法もある。即ち、現在が食事の時間である可能性を以下に示した式に従って求める。
【0097】
食事の時間の可能性=(前回の食事量/前回の食事からの経過時間)/(平均食事量/食事間隔)
「前回の食事量」は上述のようにして求める。「前回の食事からの経過時間」については、最後に食事をした時刻はログにより特定する事ができ、且つ現在時刻については計時しているので、その差分を経過時間として求めることができる。また、「平均食事量」、「食事間隔」については、過去の乳児4の食事量、食事間隔のログから求める。
【0098】
そして上記式に従って求めた結果、可能性が1.2以下であれば現在の時刻が食事の時間であると判断する。
【0099】
そして以上の処理の結果、泣いている原因が食事である場合には処理をステップS250に進め、原因推定部1303は、泣いている原因が食事である旨を制御情報生成部1304に出力する(ステップS250)。
【0100】
一方、泣いている原因が食事ではない場合には処理をステップS206に進め、泣いている原因がおむつであるのか否かを判断する(ステップS206)。これは、ログ記憶部1201に記録されているログを参照し、最後におむつを交換した時刻を特定する。そして、特定した時刻と、現在時刻との差分を計算し、その差分が所定値以上、即ち、前回のおむつの交換時刻から十分に時間が経過しているのかを判断する。この所定値には、過去のログに記録されているおむつの交換時刻の間隔の平均値を用いるものとするが、これに限定するものではない。
【0101】
なお、原因がおむつであるのか否かを推定する方法についてはこれに限定するものではない。
【0102】
そして、泣いている原因がおむつである場合には処理をステップS251に進め、原因推定部1303は、泣いている原因がおむつである旨を制御情報生成部1304に出力する(ステップS251)。
【0103】
一方、泣いている原因がおむつではない場合には処理をステップS207に進め、泣いている原因が睡眠不足であるのか否かをチェックする(ステップS207)。これは、ログ記憶部1201に記録されているログを参照し、最後に睡眠に入った時刻と起きた時の時刻との差分を計算し、前回の睡眠時間を求める。そして求めた睡眠時間が所定値以下、即ち、前回の睡眠時間が十分でないのかを判断する。この所定値には、過去のログに記録されている睡眠開始、終了の間隔の平均値を用いるものとするが、これに限定するものではない。
【0104】
なお、原因が睡眠不足であるのか否かを推定する方法についてはこれに限定するものではない。
【0105】
そして、泣いている原因が睡眠不足である場合には処理をステップS252に進め、原因推定部1303は、泣いている原因が睡眠不足である旨を制御情報生成部1304に出力する(ステップS252)。
【0106】
一方、泣いている原因が睡眠不足ではない場合には処理をステップS208に進め、ステップS201で入力した生体情報を参照し、乳児4の体調を判断する(ステップS208)。より具体的には、乳児データ記憶部601に記憶されている乳児4の個人データに含まれている平均体温、平均脈拍数と、ステップS201で入力した生体情報に含まれている体温、脈拍数とを比較し、乳児4の体調を判断する。体温、脈拍数が平均とどのような関係にあれば体調が良い/悪いのかについては予めデータとして原因推定部1303が保持しているものとする。
【0107】
この判断の結果、乳児4の現在の体温が平均体温と大きく異なる(即ち熱が高い)、且つ脈拍数が平均脈拍数と大きく異なる(即ち脈拍が安定していない)場合には乳児4の体調は悪いと判断し、体調が悪い旨を報知すべきと判断し、その旨を制御情報生成部1304に出力する(ステップS208)。
【0108】
次に、制御情報生成部1304は、状況解析部1302から受けた情報に基づいて、これから行うべき処理を制御部1305に実行させる為のコマンド(制御情報)を生成し、生成したコマンドを制御部1305に送信するので、制御部1305は、このコマンドに従った処理を行う(ステップS209)。
【0109】
例えばステップS250では、泣いている原因が食事である旨を示す情報が、制御情報生成部1304に入力されるので、制御情報生成部1304は、データ受信器5に「乳児4に食事を与えてください」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを生成し、制御部1305に出力する。
【0110】
また、ステップS251では、泣いている原因がおむつである旨を示す情報が制御情報生成部1304に入力されるので、制御情報生成部1304は、データ受信器5に「おむつを交換してください」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを生成し、制御部1305に出力する。
【0111】
また、ステップS252では、泣いている原因が睡眠不足である旨を示す情報が制御情報生成部1304に入力されるので、制御情報生成部1304は、データ受信器5に子守歌のデータを送信する処理を制御部1305に行わせるためのコマンドを生成し、制御部1305に出力する。
【0112】
また、ステップS208では、泣いている原因が乳児4の体調が不良である旨を示す情報が制御情報生成部1304に入力されるので、制御情報生成部1304は、データ受信器5に「乳児4の体調が不良です」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを生成し、制御部1305に出力する。
【0113】
よって、制御部1305は、制御情報生成部1304から受けたコマンドに応じた処理を行う。
【0114】
例えば、データ受信器5に「乳児4に食事を与えてください」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを受けた場合には、制御部1305は、このコマンドに応じたメッセージデータを自身が有するメモリから読み出し、データ受信器5に送信する。これにより、データ受信器5は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0115】
また、データ受信器5に「おむつを交換してください」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを受けた場合には、制御部1305は、このコマンドに応じたメッセージデータを自身が有するメモリから読み出し、データ受信器5に送信する。これにより、データ受信器5は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0116】
また、データ受信器5に子守歌のデータを送信する処理を制御部1305に行わせるためのコマンドを受けた場合には、制御部1305は、自身が有する子守歌のデータを読み出し、データ受信器5に送信する。これにより、データ受信器5は、この子守歌のデータを再生し、出力する。
【0117】
また、データ受信器5に「乳児4の体調が不良です」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを受けた場合には、制御部1305は、このコマンドに応じたメッセージデータを自身が有するメモリから読み出し、データ受信器5に送信する。これにより、データ受信器5は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0118】
これにより、乳児4の状態をこのデータ受信器5を備える世話人7に対して通知することができる。
【0119】
そして制御部1305は、上記一連の処理で用いた情報群のうち、上記処理で過去のログとして用いた情報に相当するものをログ記憶部1201に記録する処理を行う。
【0120】
[第3の実施形態]
本実施形態では、インターフェース装置を第1、2の実施形態とは異なる用途でもって使用する。
【0121】
図8は、本実施形態に係るインターフェース装置を含むシステムの機能構成を示すブロック図である。以下の説明では、図8に示したインターフェース装置800を構成する各部はハードウェアにより構成されているものとするが、各部のうち一部もしくは全部をソフトウェアでもって実現するようにしても良いことはいうまでもない。また同図において図1と同じ部分については同じ番号を付けており、その説明は省略する。
【0122】
同図において2は室内のユーザであり、以下の説明では、インターフェース装置600は、このユーザ2を含む全員が室内で快適に過ごせるように補佐する。またここで「室内」とは、空調のついている空間内のことを差すので、この空間が電車や車などの車内であっても、建物の中であっても以下の説明は同じである。
【0123】
図9A、9Bは本実施形態に係るインターフェース装置800が行う処理のフローチャートである。
【0124】
画像入力部1101からはユーザ2を含む周囲環境の画像が入力され、音声入出力部1102からはユーザ2の音声が入力され、温度計1104,湿度計1105,照度計1106からはそれぞれ室内の温度、湿度、照度が入力されるので、これらはログとしてイベントログ記憶部1201に、記録時の日時と共に格納される(ステップS301)。
【0125】
また、このログを記録する際には、状況解析部1302は、センサ部1100から入力される情報群を参照し、ユーザ2が暑がっているのか寒がっているのか、室内が明るいのか暗いのか暗いのかといったなどを認識し、その認識結果をこのログと共に記録する。
【0126】
例えば、画像入力部1101から入力された画像中で、ユーザ2の顔に汗が認識され、且つ温度計1104から入力した温度が27度以上であれば、「ユーザ2は暑がっている」と認識する。また、ユーザ2の動作を認識し、その認識結果が腕をさすっている動作であって、且つ温度計1104から入力した温度が25度以下であれば、ユーザ2は寒がっている」と認識する。このように、センサ部1100から入力した情報を用いてユーザ2の感情を推定する。
【0127】
また、室内の状況については、湿度計1105から入力される湿度が例えば80%を越えている場合には「湿度が高い」と認識する。また、照度計1106から入力される照度が所定値以下であれば、「室内が暗い」と判断する。
【0128】
なお、画像中の人物の行動や仕草等、画像中の状況を認識するためには、例えば、様々な状況における画像を学習したニューラルネットワークを用いて、ある画像中の状況を認識させる等の技術を用いることができるが、これに限定するものではない。
【0129】
次に、状況解析部1302は、この認識結果が、「ユーザ2に異変が生じている」、即ち本実施形態では「暑がっている(寒がっている)」、「湿度が高い(湿度が低い)」、「室内が暗い」の何れかが、状況解析部1302による解析結果である場合に、「ユーザ2に異変が生じている」と判断する。
【0130】
そして、以上の処理を画像入力部1101から入力した画像中のユーザ2以外の人について行い、その結果、画像中の全ての人のうち半数以上について「異変が生じている」と判断される場合には、処理をステップS305に進める。
【0131】
そして原因推定部1303は、室内の各人に生じている異変の原因を推定する処理を行う。
【0132】
原因推定部1303は、先にステップS301でログ記憶部1201に記録したログを参照し、異変の原因がユーザ2(ユーザ2以外のユーザでも良いが、ここでは代表としてユーザ2とする)が暑がっているのか、もしくは寒がっているのかを判断する(ステップS305)。その結果、「ユーザ2が暑がっている、もしくは寒がっている」場合には処理をステップS350に進め、ユーザ2が暑がっている場合には空調を調節して室内温度を下げるように、ユーザ2が寒がっている場合には空調を調節して室内温度を挙げるように報知すべき旨を制御情報生成部1304に出力する(ステップS350)。
【0133】
一方、異変の原因がユーザ2が暑がっていることでもないし、寒がっていることでもない場合には、処理をステップS306に進め、原因推定部1303は、先にステップS301でログ記憶部1201に記録したログを参照し、異変の原因が「湿度が高いのか、もしくは低いのか」を判断する(ステップS306)。その結果、「湿度が高い、もしくは低い」場合には処理をステップS351に進め、湿度が高い場合には空調を調節して除湿を行うように、湿度が低い場合には空調を調節して加湿を行うように報知すべき旨を制御情報生成部1304に出力する(ステップS351)。
【0134】
一方、異変の原因が湿度ではない場合には、処理をステップS307に進め、原因推定部1303は、先にステップS301でログ記憶部1201に記録したログを参照し、異変の原因が「部屋が暗いのか」を判断する(ステップS307)。その結果、「部屋が暗い」場合には処理をステップS352に進め、証明を調節して室内を明るくするように報知すべき旨を制御情報生成部1304に出力する(ステップS352)。
【0135】
次に、制御情報生成部1304は、状況解析部1302から受けた情報に基づいて、これから行うべき処理を制御部1305に実行させる為のコマンド(制御情報)を生成し、生成したコマンドを制御部1305に送信するので、制御部1305は、このコマンドに従った処理を行う(ステップS309)。
【0136】
例えばステップS350では、空調を調節して室内温度を上げる/下げる旨を示す情報が、制御情報生成部1304に入力されるので、制御情報生成部1304は、「室内温度を上げて/下げてください」の趣旨のメッセージを制御部1305に発行させるためのコマンドを生成し、制御部1305に出力する。
【0137】
また、ステップS351では、空調を調節して除湿/加湿を行う旨を示す情報が、制御情報生成部1304に入力されるので、制御情報生成部1304は、「除湿/加湿を行ってください」の趣旨のメッセージを制御部1305に発行させるためのコマンドを生成し、制御部1305に出力する。
【0138】
また、ステップS351では、室内を明るくする旨を示す情報が、制御情報生成部1304に入力されるので、制御情報生成部1304は、「室内を明るくしてください」の趣旨のメッセージを制御部1305に発行させるためのコマンドを生成し、制御部1305に出力する。
【0139】
よって、制御部1305は、制御情報生成部1304から受けたコマンドに応じた処理を行う。
【0140】
例えば、「室内温度を上げて/下げてください」の趣旨のメッセージを発行する旨を示すコマンドを受けると、制御部1305は自身が有するメモリ内からこのメッセージのデータを読み出し、これを音声入出力部1102に出力する。音声入出力部1102は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0141】
また、「室内湿度を上げて/下げてください」の趣旨のメッセージを発行する旨を示すコマンドを受けると、制御部1305は自身が有するメモリ内からこのメッセージのデータを読み出し、これを音声入出力部1102に出力する。音声入出力部1102は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0142】
また、「室内を明るくしてください」の趣旨のメッセージを発行する旨を示すコマンドを受けると、制御部1305は自身が有するメモリ内からこのメッセージのデータを読み出し、これを音声入出力部1102に出力する。音声入出力部1102は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0143】
これにより、室内を快適に保つことができる。なお、制御部1305は、上述したようなメッセージを発行する代わりに、温度や湿度を直接制御するようにしてもよい。
【0144】
そして制御部1305は、上記一連の処理で用いた情報群のうち、上記処理で過去のログとして用いた情報に相当するものをログ記憶部1201に記録する処理を行う。
【0145】
[第4の実施形態]
上記各実施形態に係るインターフェース装置を1つの組み込み機器として、例えばパーソナルコンピュータや監視カメラなどに組み込むようにしても良い。
【0146】
[その他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、カメラのCPUやMPUが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【0147】
また、カメラが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、カメラ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0148】
さらに、記録媒体から読み出されたプログラムコードが、カメラに挿入された機能拡張カードやカメラに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0149】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャート(機能構成)に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【0150】
【図1】本発明の第1の実施形態に係る推定装置を含むシステムの機能構成を示すブロック図である。
【図2】通常モードである場合にインターフェース装置1が行う処理のフローチャートである。
【図3】状況解析部1302の機能構成を示すブロック図である。
【図4A】インタラクションモードにおいてインターフェース装置1が行う処理のフローチャートである。
【図4B】インタラクションモードにおいてインターフェース装置1が行う処理のフローチャートである。
【図5】ステップS119における処理の詳細を示すフローチャートである。
【図6】本発明の第2の実施形態に係るインターフェース装置を含むシステムの機能構成を示すブロック図である。
【図7A】本発明の第2の実施形態に係るインターフェース装置600が行う処理のフローチャートである。
【図7B】本発明の第2の実施形態に係るインターフェース装置600が行う処理のフローチャートである。
【図8】本発明の第3の実施形態に係るインターフェース装置を含むシステムの機能構成を示すブロック図である。
【図9A】本発明の第3の実施形態に係るインターフェース装置800が行う処理のフローチャートである。
【図9B】本発明の第3の実施形態に係るインターフェース装置800が行う処理のフローチャートである。
【技術分野】
【0001】
本発明は、ユーザの感情に係る情報を推定するための技術に関するものである。
【背景技術】
【0002】
従来から、人間の個性や感情を理解し、その理解の結果に応じた処理を行うインターフェース装置の実現が望まれていた。このように人間的な処理を実現するためには、ユーザの個性や感情を認識するための個性認識技術や感情認識技術の開発が不可欠である。
【0003】
感情認識に関する従来技術によると、ユーザの音声情報と、表情や動作などの画像情報と、に基づいて感情認識を行なっている(例えば特許文献1〜3)。このうち特許文献2では、音声情報から得られる感情認識結果と画像(表情)情報から得られる感情認識結果に対して所定の重み付けを行ない、統合することで最終的な感情認識結果を得ている。
【0004】
また、特許文献3では、音声、表情の情報にさらにユーザの身体の特徴や動作の特徴を考慮に入れて個性を認識し、さらに感情認識精度を上げている。
【特許文献1】特開平5−12023号公報
【特許文献2】特開平10−228295号公報
【特許文献3】特開2001−83984号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ところで、人間の喜怒哀楽といった感情にはその感情が現れることとなった原因が必ずある。例えば「怒っている」としてもその原因は様々である。
【0006】
従来のインターフェース装置はユーザの精神状態や体調がどんな状態であるかにかかわらず、同じ感情に対しては同じ制御を行なっていた。
【0007】
本発明は以上の問題に鑑みて成されたものであり、ユーザが現在の感情に至った原因を推定し、推定した原因に応じてユーザとのコミュニケーションを図るための技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の目的を達成するために、例えば本発明の推定装置は以下の構成を備える。
【0009】
即ち、ユーザの画像データを入力する画像入力手段と、
前記ユーザの音声データを入力する音声入力手段と、
前記ユーザの生体情報を入力する生体情報入力手段と、
前記画像データ、前記音声データ、前記生体情報に基づく前記ユーザの周囲環境を推定する第1の推定手段と、
前記ユーザの心理状態を推定するために基準となる基準データを保持する保持手段と、
前記画像データ、前記音声データ、前記生体情報のうち1つ以上と前記基準データとを比較して、前記ユーザの心理状態を推定する第2の推定手段と、
前記第2の推定手段が推定した心理状態が所定の状態である場合には、前記第1の推定手段が推定した前記周囲環境に基づいて、前記ユーザの心理状態の原因を推定する第3の推定手段と
を備えることを特徴とする。
【0010】
本発明の目的を達成するために、例えば本発明の推定装置の制御方法は以下の構成を備える。
【0011】
即ち、ユーザの画像データを入力する画像入力工程と、
前記ユーザの音声データを入力する音声入力工程と、
前記ユーザの生体情報を入力する生体情報入力工程と、
前記画像データ、前記音声データ、前記生体情報に基づく前記ユーザの周囲環境を推定する第1の推定工程と、
前記ユーザの心理状態を推定するために基準となる基準データを保持する保持工程と、
前記画像データ、前記音声データ、前記生体情報のうち1つ以上と前記基準データとを比較して、前記ユーザの心理状態を推定する第2の推定工程と、
前記第2の推定工程で推定した心理状態が所定の状態である場合には、前記第1の推定手段が推定した前記周囲環境に基づいて、前記ユーザの心理状態の原因を推定する第3の推定工程と
を備えることを特徴とする。
【発明の効果】
【0012】
本発明の構成により、ユーザが現在の感情に至った原因を推定し、推定した原因に応じてユーザとのコミュニケーションを図ることができる。
【発明を実施するための最良の形態】
【0013】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【0014】
[第1の実施形態]
図1は、本実施形態に係る推定装置(以下の説明ではインターフェース装置と呼称する)を含むシステムの機能構成を示すブロック図である。以下の説明では、図1に示したインターフェース装置1を構成する各部はハードウェアにより構成されているものとするが、各部のうち一部もしくは全部をソフトウェアでもって実現するようにしても良いことはいうまでもない。
【0015】
同図において2はユーザで、以下の説明では、このユーザ2が現在の感情に至った原因を推定し、推定した結果に応じてユーザ2とコミュニケーションを行う。3はこのユーザの体温、心拍、血圧、発汗等の生体情報を測定し、測定した生体情報をインターフェース装置1に送信する送受信器である。送受信器3は、ユーザ2に装着されるものであり、この生体情報は定期的に測定され、無線でもってインターフェース装置1に送信されるものである。
【0016】
1は本実施形態に係るインターフェース装置で、その構成はセンサ部1100,情報記憶部1200、情報処理部1300に大別される。
【0017】
センサ部1100は外界の画像情報、音声情報、生体情報を得るための部分(画像入力部1101、音声入出力部1102、生体情報獲得部1103)と、外界の情報を計測するための部分(温度計1104、湿度計1105、照度計1106)とに大別される。
【0018】
画像入力部1101は現実空間を動画像として撮像するためのものであり、以下の説明では、ユーザ2を含む周囲環境を撮像する。これにより、ユーザ2の周囲環境やユーザ2の表情、身体動作を画像として得ることができる。また画像入力部1101は必要に応じて特定の人物を追尾できる人物追跡機能を有する。
【0019】
音声入出力部1102は現実空間における音声を収集すると共に、後段の情報処理部1300から出力された音声信号に基づいて、音声を出力する。以下の説明では、ユーザ2を含む周囲環境からの音声を収集すると共に、ユーザ2に対するメッセージを発する。
【0020】
生体情報獲得部1103は、上記送受信器3から送信された上記生体情報を受信するためのI/F部として機能するものである。
【0021】
温度計1104はインターフェース装置1の外界の気温を計測するためのものであり、湿度計1105はインターフェース装置1の外界の湿度を計測するためのものあり、照度計1106はインターフェース装置1の外界の照度を計測するためのものである。以下では、温度計1104により計測された気温、湿度計1105により計測された湿度、照度計1106により計測された照度をまとめて環境情報と呼称する。
【0022】
情報記憶部1200は、センサ部1100から得られる各種の情報や、予め記憶すべき情報などを記憶するためのものであり、イベントログ記憶部1201、人物データ記憶部1202、平均人データ記憶部1203、制御情報記憶部1204により構成されている。
【0023】
イベントログ記憶部1201には、センサ部1100から得られる上記生体情報、上記環境情報をイベントログとして現在の日付、時刻と共に記憶する。
【0024】
人物データ記憶部1202には、予めユーザ2の個人データが記憶されている。この個人データには、ユーザ2の顔画像、全身画像、ユーザ2の音声の特徴量データ等、ユーザ2を特定するためのデータが含まれている。またこの個人データには、ユーザ2の身長、体重、平均体温、平均脈拍数等、ユーザ2の身体情報も含まれている。
【0025】
平均人データ記憶部1203には、平均的な人の各感情における音声、表情、動作、心拍数等の特徴量データが記憶されている。
【0026】
例えば、音声の特徴としては声の高さ、大きさ、周波数特性などがあり、喜怒哀楽それぞれの感情に関してある程度の幅を持ったデータとして与えられる。表情の特徴としては、目、口、眉の動きなどがあり、それぞれの感情に関してある程度の幅を持ったデータとして与えられる。
【0027】
制御情報記憶部1204には、本インターフェース装置1が行った処理結果が制御情報として逐次記憶される。ここで制御情報とは、「インターフェース装置1が行ったユーザの感情の判定結果」、「その原因推定結果」、「原因を取り除くための制御内容」、「制御を行った結果」を示すものであり、それぞれの処理を実行した時点の時刻と共に記憶される。
【0028】
情報処理部1300は、インターフェース装置1が行うべき各処理を実行する実行部であり、会話解析部1301、状況解析部1302、原因推定部1303、制御情報生成部1304、制御部1305により構成されている。
【0029】
会話解析部1301は、音声入出力部1102によって本インターフェース装置1に入力された音声データに基づいて会話の内容を解析する処理を行う。会話解析処理については周知の技術であるので、これに関する説明は省略する。
【0030】
状況解析部1302は、センサ部1100より取得した情報から、ユーザ2の感情を推定する処理、及びユーザ2の周囲環境を推定する処理等を行う。
【0031】
原因推定部1303は、状況解析部1302により推定されたユーザ2の感情の原因を推定する処理を行う。
【0032】
制御情報生成部1304は、原因推定部1303による推定結果に基づいて、原因を解消するために本インターフェース装置1が行うべき処理内容を示す情報を生成する。
【0033】
制御部1305は、制御情報生成部1304が生成した情報に従った処理を行う。
【0034】
そして、情報処理部1300が行った一連の処理、即ち、感情推定結果、感情推定結果に基づく原因推定結果、原因推定結果に基づく制御結果が1セットとして、制御情報記憶部1204に記録される。
【0035】
ただし、情報記憶部1200に記憶されたデータの詳細はプライバシー保護のためにユーザ本人のみが確認することができ、他のユーザに対しては、異変がある、等の判定結果のみを提示するものとする。この提示はユーザ2とロボット1との会話またはデータ送信によって行なわれる。データの送信は予め設定しておけばその設定に応じて希望の時間、送信先に送信可能である。情報処理部1300は人物特定手段を備えているため、特にパスワード等で区別しなくてもプライバシー問題は回避できる。
【0036】
次に、本インターフェース装置1が行う処理について説明する。以下の説明では説明の便宜上、インターフェース装置1が学校の教室に設置されているものとして説明する。従って教室内の全ての生徒(ユーザ2を含む)には送受信器3が取り付けられていると共に、人物データ記憶部1202には、教室内の全ての生徒の個人データが格納されているものとする。
【0037】
このような設定において、インターフェース装置1は常に、教室内の画像、音声を収集し、その時点での画像、音声に基づく状況情報、及びその時点で送受信器3から送信済みの生体情報を日付、時刻と共にイベントログ記憶部1201に格納する処理を行う。このように、教室内の状況を収集するモードを通常モードと呼称する。従ってインターフェース装置1は、通常モードの場合には、このように教室内の状況を収集する処理を行っている。
【0038】
図2は、通常モードである場合にインターフェース装置1が行う処理のフローチャートである。
【0039】
先ず、インターフェース装置1は、教室内の状況を収集する処理を行う(ステップS101)。より具体的には、画像入力部1101により教室内の画像を入力すると共に、音声入出力部1102より教室内の音声を入力する。また、生体情報獲得部1103により、各生徒に取り付けられている送受信器3から定期的に送信されてくるそれぞれの生徒の生体情報を受信する。また、温度計1104、湿度計1105、照度計1106によりそれぞれ温度、湿度、照度を計測する。
【0040】
次に、状況解析部1302は、画像入力部1101から得られる画像内の状況を推測する処理を行う(ステップS103)。ここで、ステップS103における処理の詳細について説明する。
【0041】
図3は、状況解析部1302の機能構成を示すブロック図である。状況解析部1302は、データ読み込み部301、人物特定部302、状況推定部303により構成されている。更に、データ読み込み部301は、環境情報データ読み込み部301a、記憶データ読み込み部301bにより構成されている。
【0042】
環境情報データ読み込み部301aは、センサ部1100から得られる情報群を入力する。また、記憶データ読み込み部301bは、情報記憶部1200に記録されている情報群を入力する。
【0043】
そして人物特定部302は、センサ部1100から入力した画像、音声を、記憶データ読み込み部301bにより入力した個人データに照合させて、画像中に写っている生徒を特定する。
【0044】
例えばセンサ部1100から入力した画像に写っている人物の顔領域の特定は周知の技術により可能であるので、この顔領域内の顔画像と、各生徒の顔画像(各生徒の個人データに含まれている)とを比較して、この顔領域内の顔が誰のものであるのかを特定する。このように、画像中に写っている顔が誰のものであるのかを特定する為の技術については周知であるので、これについての詳細な説明は省略する。
【0045】
また、センサ部1100から入力した音声信号から周知の技術でもって特徴量を抽出し、抽出した特徴量と、各生徒の音声の特徴量(各生徒の個人データに含まれている)とを比較して、センサ部1100から入力した音声信号が誰のものであるのかを特定する。このように、収集した音声信号が誰のものであるのかを特定する為の技術については周知であるので、これについての詳細な説明は省略する。
【0046】
以上のようにして、画像中に写っている個人を特定する。
【0047】
次に、状況推定部303は、人物特定部302が特定した個人の感情を、センサ部1100から入力した情報群から推測する。即ち、状況推定部303は、センサ部1100から入力される個人の画像、音声を解析し、この個人が笑っているのか、怒っているのかといった感情認識を行う。例えば、画像中の顔において目じりが下がり、口が大きく開けられていて、且つ声が大きく周波数特性が高周波でレベルが高く、動作が大きい場合、「楽しい」と判断することができる。このように、画像、音声を用いて個人の感情認識を行う技術については周知の技術であるので、これに関する説明は省略する。
【0048】
また、特定した個人同士が会話している場合などがある。このような場合には、それぞれの個人について動作認識を行う必要がある。
【0049】
このような処理により、画像中に写っている人物の特定、及び特定した人物の感情推定を行うことができる。
【0050】
図2に戻って、次に、状況推定部303がこのようにして解析した結果をログとしてログ記憶部1201に記録する処理を行う(ステップS104)。解析結果をログとして記録する際には、記録時における日時を添付して記録する。日時の計時は制御部1305が行っている。
【0051】
記録するログとしては、例えば、「○月○日、○時○分、AさんとBさんが楽しそうに会話をしていた。」といったようなものである。また、例えばこのようなログを記録する場合、「Aさん」、「Bさん」、「楽しそう」というログ内容から、AさんとBさんとは仲が良いと判断し、その旨のデータもログと共に記録する。
【0052】
このように、画像入力部1101から得られる画像に写っている生徒の感情、及び画像に写っている教室内の状況を推定することができる。
【0053】
次に、本インターフェース装置1が、ユーザ2と会話をするモードであるインタラクションモードについて説明する。なお、このインタラクションモードとは、ユーザ2と本インターフェース装置1とのコンタクト、例えば対話や接触など、によるモードのことを指す。インタラクションモードへの切り替えは、不図示のスイッチ等を操作することにより成される。よって、通常は通常モードにおける処理を行い、本インターフェース装置1を用いて会話を行いたい場合には、スイッチなどを操作してインタラクションモードに移行させる。なお、インタラクションモードに移行させるための手段、方法についてはこれに限定するものではない。
【0054】
このとき、本インターフェース装置1はユーザ2との会話を行うことから、画像入力部1101はユーザ2を含む画像を撮像しているし、音声入出力部1102は、ユーザ2からの音声を収集している(当然ユーザ2の音声以外の音声も収集することになる)。
【0055】
図4A、4Bはインタラクションモードにおいてインターフェース装置1が行う処理のフローチャートである。
【0056】
先ずインターフェース装置1は、教室内の状況を収集する処理を行う(ステップS112)。より具体的には、画像入力部1101により教室内の画像を入力すると共に、音声入出力部1102より教室内の音声を入力する。また、生体情報獲得部1103により、各生徒に取り付けられている送受信器3から定期定期に送信されてくるそれぞれの生徒の生体情報を受信する。また、温度計1104、湿度計1105、照度計1106によりそれぞれ温度、湿度、照度を計測する。
【0057】
次に、上記ステップS103において行った、画像中の人物の特定処理を行うと共に、特定した人物を示す情報をログ記憶部1201に記録する処理を行う(ステップS113)。次に制御部1305は、ステップS113で特定した人物と、以前にコンタクトを取ったか否かを判断する(ステップS114)。これはログ記憶部1201に記録した「過去にコンタクトを取った人物を示す情報」のうち、今回特定した人物を示す情報が存在するのか否かを判断することで成される処理である。
【0058】
その結果、今回特定した人物を示す情報がログとしてログ記憶部1201に記録されていない場合(今回特定した人物と初めてコンタクトを取る場合)には、処理をステップS115aに進め、状況解析部1302は、平均人データ記憶部1203に格納されているデータを読み出す(ステップS115a)。一方、今回特定した人物を示す情報がログとしてログ記憶部1201に記録されている場合(今回特定した人物とは以前にコンタクトを取ったことがある場合)には、処理をステップS115bに進め、状況解析部1302は、人物データ記憶部1202から、今回特定した人物の個人データを読み出す(ステップS115b)。
【0059】
そして状況解析部1302は、ステップS112で得た情報、ステップS115aもしくはステップS115bで得た情報を用いて、ステップS103において行った、画像中の人物の感情を推定する処理を行う(ステップS116)。ここでは、画像入力部1101から得られる画像から判断される、ユーザ2の感情を推定する。
【0060】
しかし、多くの場合は、心理状態と感情は直結しているものだが、時に内面に隠れた心理状態を隠して感情が表れている場合があり、ここではそれを見つけるのが目的である。例えば、画像から推定した感情が「明るい、楽しげだ」であっても、脈拍が高く、体温が低めで、周波数特性が高周波で不自然に高い、といった場合には無理して笑っているのかもしれない、と心理状態を推察できる。このように、複数の情報を用いて感情を推定しようとすると、参照した情報によっては推定する感情が、他の情報を用いて推定した感情と逆の感情を推定する場合がある。
【0061】
そこで本実施形態では、画像から推定される感情、音声から推定される感情、生体情報から推定される感情のうち1つでも良くない感情(元気がない、悲しいなど、負の感情)が推定された場合には、「異変あり」と判断し(ステップS118)、処理をステップS119に進める。一方、各情報を用いて感情を推定した場合に、どの情報を用いてもおおむね同じ感情を推定したのであれば、本処理を終了する。
【0062】
更に、ユーザ2の過去データと比較することにより、心理状態の変化も見ることができる。例えば、ユーザ2が「元気だよ。」と答えたとしても、表情を解析した結果目がうつろだったり、音声データの解析により、声が小さい、周波数特性は低周波でレベルが高くなっている等、返事に元気がないと判断されたり、画像情報もしくは生体情報から汗の量が通常より多い、といった特徴が抽出されれば、状況推定部303は「何だか元気がないようだ。それも人には言えないことなのかもしれない。」というように推定し、「心理状態に異変あり」と推定する。
【0063】
「異変あり」の場合には、原因推定部1303は、ステップS116で推定した負の感情に至った原因を推定する処理を行う(ステップS119)。例えば、状況解析部1302がユーザ2について推定した複数の感情のうち「元気がない」という推定結果があるとすると、次に原因推定部1303においてその原因推定を行なう。
【0064】
図5は、ステップS119における処理の詳細を示すフローチャートである。先ず、画像から推定される感情、音声から推定される感情、生体情報から推定される感情のうち1つのみが負の感情である場合(ステップS501)、処理をステップS506に進め、原因推定部1303は、この負の感情をケアする目的のメッセージ、例えば「大丈夫?」などのメッセージを音声入出力部1102に出力すべきと判断し、その旨を制御情報生成部1304に出力する(ステップS506)。
【0065】
一方、画像から推定される感情、音声から推定される感情、生体情報から推定される感情のうち2つ以上が負の感情である場合(ステップS501)、処理をステップS502に進め、ステップS112で入力した生体情報を参照し、ユーザ2の体調を判断する(ステップS502)。より具体的には、人物データ記憶部1202に記憶されているユーザ2の個人データに含まれている平均体温、平均脈拍数と、ステップS112で入力した生体情報に含まれている体温、脈拍数とを比較し、ユーザ2の体調を判断する。体温、脈拍数が平均とどのような関係にあれば体調が良い/悪いのかについては予めデータとして原因推定部1303が保持しているものとする。
【0066】
この判断の結果、ユーザ2の現在の体温が平均体温と大きく異なる(即ち熱が高い)、且つ脈拍数が平均脈拍数と大きく異なる(即ち脈拍が安定していない)場合にはユーザ2の体調は悪いと判断し(ステップS502)、処理をステップS507に進め、体調が悪い旨を報知すべきと判断し、その旨を制御情報生成部1304に出力する(ステップS507)。
【0067】
一方、ユーザ2の現在の体温が平均体温と同じぐらい(即ち平熱である)、且つ脈拍数が平均脈拍数と同じぐらい(即ち脈拍が安定している)場合にはユーザ2の体調は良いと判断し、処理をステップS503に進め、制御情報記憶部1204が保持している情報のうち、ユーザ2に関する情報を参照し、過去に同様の感情に対する制御に係る情報を検索する(ステップS503)。そして、過去に同様の感情に対する制御に係る情報が見つかった場合には処理をステップS508に進め、見つけた情報を制御情報生成部1304に出力する(ステップS508)。
【0068】
一方、過去に同様の感情に対する制御に係る情報が見つからなかった場合には処理をステップS505に進め、イベントログ記憶部1201が保持するログのうちユーザ2に関するログを全て抽出し、原因推定を行なう(ステップS505)。例えば、ユーザ2に関する過去のログのうち、「○月○日、○時○分、AさんとBさんが楽しそうに会話をしていた。」というログと共に「AさんとBさんとは仲が良い」というログが記録されているのに、それよりも最近のログに「×月×日、×時×分、AさんとBさんがけんかしている。」というログと共に「AさんとBさんとは仲が悪い」というログが記録されている場合には、Aさんが元気がないのはこのけんかが原因であると推定できる。
【0069】
このように、ユーザ2に関するログを参照し、参照したログ(第1のログ)が示す状況と反対の状況を示すログ(第2のログ)が後に記録されている場合には、第2のログに記録されている状況を原因として推定する。
【0070】
このようにして、現在のユーザ2の感情の原因を推定することができる。なお、原因の推定方法についてはこれに限定するものではなく、様々な方法がある。例えば、推定した感情が変化した時刻から所定時間前までの間でログ記憶部1201に記録されたユーザ2に関するログを参照し、同様の状況を示しているログのグループのうち、数が最もログの数が多いグループのログが示す状況を原因としても良いし、その方法は様々なものが考えられる。
【0071】
以上、図5に示したフローチャートに従った処理が完了すると、図4BのステップS120に処理を戻し、制御情報生成部1304は、状況解析部1302から受けた情報に基づいて、これから行うべき処理を制御部1305に実行させる為のコマンド(制御情報)を生成する(ステップS120)。
【0072】
例えばステップS506では、負の感情をケアする目的のメッセージ、例えば「大丈夫?」などのメッセージを音声入出力部1102に出力すべき旨を示す情報が、制御情報生成部1304に入力されるので、制御情報生成部1304は、このようなメッセージを制御部1305に発行させるためのコマンドを生成し、制御部1305に出力する。
【0073】
また、ステップS507では、体調が悪い旨を報知すべき旨を示す情報が制御情報生成部1304に入力されるので、制御情報生成部1304は、体調が悪い旨を報知する処理を制御部1305に実行させるためのコマンドを生成し、制御部1305に出力する。
【0074】
また、ステップS508では、ステップS503で検索した情報が制御情報生成部1304に入力されるので、制御情報生成部1304は、この情報に従った制御処理を制御部1305に実行させるためのコマンドを生成し、制御部1305に出力する。
【0075】
よって、制御部1305は、制御情報生成部1304から受けたコマンドに応じた処理を行う(ステップS121)。
【0076】
例えば、負の感情をケアする目的のメッセージ、例えば「大丈夫?」などのメッセージを音声入出力部1102に出力するためのコマンドを受けた場合には、制御部1305は、このコマンドに応じたメッセージデータを自身が有するメモリから読み出し、音声入出力部1102に出力する。音声入出力部1102は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0077】
また、体調が悪い旨を報知する処理を実行するためのコマンドを受けた場合には、制御部1305は、「ユーザ2の体調が悪いです」というような、ユーザ2の体調が悪いことを報知するためのメッセージデータを自身が備えるメモリ内から読み出し、音声入出力部1102に出力する。音声入出力部1102は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0078】
また、ステップS503で検索した情報を受けた場合には、制御部1305は、過去の同様の感情に対する制御を行う。
【0079】
そして制御部1305は、上記一連の処理内容、即ち、ステップS113で特定した個人(ここではユーザ2)を識別するためのデータ、この個人に対するインタラクション内容、ステップS116におけるこの個人に対する感情推定結果、ステップS119におけるこの感情の原因推定結果、を今回の処理のログとして制御情報記憶部1204に記録する(ステップS122)。この記録したログは、上記ステップS503において、過去にどの人物がどのような感情であり、且つ原因がどのような場合であればどのような制御処理を行ったのかを検索する際に参照されるものである。
【0080】
情報記憶部1200は環境情報や会話の内容などを全て記憶するが、認証された本人以外の人には状況解析結果及び制御情報のみを知らせるだけとし、生体情報、会話内容といった個人のプライバシーは守る能力を備えるものとする。例えば、ユーザ2がインターフェース装置1に対して、「○さんは○月○日、落ち込んでいたみたいだけど何を話していたの?」と訊ねたとする。しかし、人物特定部302において本人以外の人物であると判断された場合には、「○月○日、○さんは元気がなかった。30分くらい会話したら元気になった。」、というような情報開示のみにとどめ、会話内容は開示しない。プライバシー保守機能を持つことにより、ユーザは安心して本音を話すことができる。
【0081】
なお、本実施形態では、ユーザ2に対してメッセージを通知する手段として音声を用いたが、本インターフェース装置1に新たに表示装置を設け、この表示装置上にテキスト文章としてメッセージを表示するようにしても良いし、その通知方法は特に限定するものではない。
【0082】
[第2の実施形態]
本実施形態では、インターフェース装置を第1の実施形態とは異なる用途でもって使用する。
【0083】
図6は、本実施形態に係るインターフェース装置を含むシステムの機能構成を示すブロック図である。以下の説明では、図6に示したインターフェース装置600を構成する各部はハードウェアにより構成されているものとするが、各部のうち一部もしくは全部をソフトウェアでもって実現するようにしても良いことはいうまでもない。また同図において図1と同じ部分については同じ番号を付けており、その説明は省略する。
【0084】
同図において4は被介護者である乳児であり、以下の説明では、インターフェース装置600は、この乳児4に対する育児手伝いを補佐する。なお、この乳児4には第1の実施形態と同様の送受信器3が取り付けられており、この乳児4に関する生体情報はインターフェース装置600に定期的に無線でもって送信される。
【0085】
7はこの乳児4の世話をする人(例えば乳児4の母親)であり、世話人7は、インターフェース装置600から送信されるデータを受信し、受信したデータを表示/音声出力するためのデータ受信器5を常に携帯している。本実施形態では制御部1305は外部との通信機能を有しており、このデータ受信器5に対するデータ送信機能を有しているものとする。
【0086】
6はセンサー付き哺乳瓶で、現在この哺乳瓶に貯蔵されているミルクの量を測定し、定期的にインターフェース装置600に送信するためのセンサがついた哺乳瓶である。なお、このセンサは、体積、重量など、ミルクの量を特定できるのであればどのような量を測定するセンサであっても良い。
【0087】
インターフェース装置600が第1の実施形態のインターフェース装置1と異なる点は、人物データ記憶部1202の代わりに、乳児4に関するデータが格納されている乳児データ記憶部601が備わっている点と、平均人データ記憶部1203の代わりに、平均乳児データ記憶部602が備わっている点である。
【0088】
図7A、7Bは本実施形態に係るインターフェース装置600が行う処理のフローチャートである。
【0089】
画像入力部1101からは乳児4を含む周囲環境の画像が入力され、音声入出力部1102からは乳児4の音声が入力され、生体情報獲得センサ1103からは送受信器3から送信された乳児4の体温、脈拍数などの生体情報が入力され、センサ付き哺乳瓶6からはミルクの量が入力されるので、これらはログとしてイベントログ記憶部1201に、記録時の日時と共に格納される(ステップS201)。
【0090】
また、このログを記録する際には、状況解析部1302は、画像入力部1101からの画像を参照し、乳児4が食事中であるのか否か、泣いているのか否か、おむつの交換中であるのか否かなどを認識し、その認識結果(乳児状態)をこのログと共に記録する。画像中の人物の行動や仕草等、画像中の状況を認識するために、例えば、様々な状況における画像を学習したニューラルネットワークを用いて、ある画像中の状況を認識させる等の技術を用いることができるが、これに限定するものではない。
【0091】
次に、状況解析部1302は、この認識結果が、「乳児4に異変が生じている」、即ち本実施形態では「乳児4が泣いている」場合には、処理をステップS205に進める。なお、泣いていることをより高精度に認識するために、音声入出力部1102から得られる音声情報をも参照するようにしても良い。なお、音声情報から、この音声が泣いている声なのか否かを認識するための技術については、例えば、様々な状況における音声を学習したニューラルネットワークを用いて、ある音声が泣いている音声なのか笑っている音声なのかといったことを認識させる等の技術を用いることができるが、これに限定するものではない。
【0092】
そして原因推定部1303は、乳児4が泣いていると認識した場合には、泣いている原因を推定する処理を行う。
【0093】
先ず、イベントログ記憶部1201に記録したログを参照し、食事が必要であるのか否かを判断する(ステップS205)。具体的には先ず、ログを参照し、食事が開始された時刻を特定する。そして、特定した時刻におけるミルクの量をログから特定する。次に、最後に食事をした時刻を特定し、特定した時刻におけるミルクの量をログから特定する。そして、それぞれ特定したミルクの量の差分を計算することで、前回の食事の量を求めることができる。
【0094】
一方で、乳児データ記憶部601に記憶されている、この乳児4に係るデータには、1回の食事の量を示すデータが含まれているので、上記求めた前回の食事の量が、このデータが示す1回の食事の量以下であるのか否かをチェックする。
【0095】
そして上記求めた前回の食事の量が、このデータが示す1回の食事の量以下である場合には、おなかがすいているので泣いていると推測する。
【0096】
なお、おなかがすいているのか否かをチェックする方法はこれに限定するものではなく、以下のような方法もある。即ち、現在が食事の時間である可能性を以下に示した式に従って求める。
【0097】
食事の時間の可能性=(前回の食事量/前回の食事からの経過時間)/(平均食事量/食事間隔)
「前回の食事量」は上述のようにして求める。「前回の食事からの経過時間」については、最後に食事をした時刻はログにより特定する事ができ、且つ現在時刻については計時しているので、その差分を経過時間として求めることができる。また、「平均食事量」、「食事間隔」については、過去の乳児4の食事量、食事間隔のログから求める。
【0098】
そして上記式に従って求めた結果、可能性が1.2以下であれば現在の時刻が食事の時間であると判断する。
【0099】
そして以上の処理の結果、泣いている原因が食事である場合には処理をステップS250に進め、原因推定部1303は、泣いている原因が食事である旨を制御情報生成部1304に出力する(ステップS250)。
【0100】
一方、泣いている原因が食事ではない場合には処理をステップS206に進め、泣いている原因がおむつであるのか否かを判断する(ステップS206)。これは、ログ記憶部1201に記録されているログを参照し、最後におむつを交換した時刻を特定する。そして、特定した時刻と、現在時刻との差分を計算し、その差分が所定値以上、即ち、前回のおむつの交換時刻から十分に時間が経過しているのかを判断する。この所定値には、過去のログに記録されているおむつの交換時刻の間隔の平均値を用いるものとするが、これに限定するものではない。
【0101】
なお、原因がおむつであるのか否かを推定する方法についてはこれに限定するものではない。
【0102】
そして、泣いている原因がおむつである場合には処理をステップS251に進め、原因推定部1303は、泣いている原因がおむつである旨を制御情報生成部1304に出力する(ステップS251)。
【0103】
一方、泣いている原因がおむつではない場合には処理をステップS207に進め、泣いている原因が睡眠不足であるのか否かをチェックする(ステップS207)。これは、ログ記憶部1201に記録されているログを参照し、最後に睡眠に入った時刻と起きた時の時刻との差分を計算し、前回の睡眠時間を求める。そして求めた睡眠時間が所定値以下、即ち、前回の睡眠時間が十分でないのかを判断する。この所定値には、過去のログに記録されている睡眠開始、終了の間隔の平均値を用いるものとするが、これに限定するものではない。
【0104】
なお、原因が睡眠不足であるのか否かを推定する方法についてはこれに限定するものではない。
【0105】
そして、泣いている原因が睡眠不足である場合には処理をステップS252に進め、原因推定部1303は、泣いている原因が睡眠不足である旨を制御情報生成部1304に出力する(ステップS252)。
【0106】
一方、泣いている原因が睡眠不足ではない場合には処理をステップS208に進め、ステップS201で入力した生体情報を参照し、乳児4の体調を判断する(ステップS208)。より具体的には、乳児データ記憶部601に記憶されている乳児4の個人データに含まれている平均体温、平均脈拍数と、ステップS201で入力した生体情報に含まれている体温、脈拍数とを比較し、乳児4の体調を判断する。体温、脈拍数が平均とどのような関係にあれば体調が良い/悪いのかについては予めデータとして原因推定部1303が保持しているものとする。
【0107】
この判断の結果、乳児4の現在の体温が平均体温と大きく異なる(即ち熱が高い)、且つ脈拍数が平均脈拍数と大きく異なる(即ち脈拍が安定していない)場合には乳児4の体調は悪いと判断し、体調が悪い旨を報知すべきと判断し、その旨を制御情報生成部1304に出力する(ステップS208)。
【0108】
次に、制御情報生成部1304は、状況解析部1302から受けた情報に基づいて、これから行うべき処理を制御部1305に実行させる為のコマンド(制御情報)を生成し、生成したコマンドを制御部1305に送信するので、制御部1305は、このコマンドに従った処理を行う(ステップS209)。
【0109】
例えばステップS250では、泣いている原因が食事である旨を示す情報が、制御情報生成部1304に入力されるので、制御情報生成部1304は、データ受信器5に「乳児4に食事を与えてください」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを生成し、制御部1305に出力する。
【0110】
また、ステップS251では、泣いている原因がおむつである旨を示す情報が制御情報生成部1304に入力されるので、制御情報生成部1304は、データ受信器5に「おむつを交換してください」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを生成し、制御部1305に出力する。
【0111】
また、ステップS252では、泣いている原因が睡眠不足である旨を示す情報が制御情報生成部1304に入力されるので、制御情報生成部1304は、データ受信器5に子守歌のデータを送信する処理を制御部1305に行わせるためのコマンドを生成し、制御部1305に出力する。
【0112】
また、ステップS208では、泣いている原因が乳児4の体調が不良である旨を示す情報が制御情報生成部1304に入力されるので、制御情報生成部1304は、データ受信器5に「乳児4の体調が不良です」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを生成し、制御部1305に出力する。
【0113】
よって、制御部1305は、制御情報生成部1304から受けたコマンドに応じた処理を行う。
【0114】
例えば、データ受信器5に「乳児4に食事を与えてください」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを受けた場合には、制御部1305は、このコマンドに応じたメッセージデータを自身が有するメモリから読み出し、データ受信器5に送信する。これにより、データ受信器5は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0115】
また、データ受信器5に「おむつを交換してください」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを受けた場合には、制御部1305は、このコマンドに応じたメッセージデータを自身が有するメモリから読み出し、データ受信器5に送信する。これにより、データ受信器5は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0116】
また、データ受信器5に子守歌のデータを送信する処理を制御部1305に行わせるためのコマンドを受けた場合には、制御部1305は、自身が有する子守歌のデータを読み出し、データ受信器5に送信する。これにより、データ受信器5は、この子守歌のデータを再生し、出力する。
【0117】
また、データ受信器5に「乳児4の体調が不良です」という趣旨のメッセージを送信する処理を制御部1305に行わせるためのコマンドを受けた場合には、制御部1305は、このコマンドに応じたメッセージデータを自身が有するメモリから読み出し、データ受信器5に送信する。これにより、データ受信器5は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0118】
これにより、乳児4の状態をこのデータ受信器5を備える世話人7に対して通知することができる。
【0119】
そして制御部1305は、上記一連の処理で用いた情報群のうち、上記処理で過去のログとして用いた情報に相当するものをログ記憶部1201に記録する処理を行う。
【0120】
[第3の実施形態]
本実施形態では、インターフェース装置を第1、2の実施形態とは異なる用途でもって使用する。
【0121】
図8は、本実施形態に係るインターフェース装置を含むシステムの機能構成を示すブロック図である。以下の説明では、図8に示したインターフェース装置800を構成する各部はハードウェアにより構成されているものとするが、各部のうち一部もしくは全部をソフトウェアでもって実現するようにしても良いことはいうまでもない。また同図において図1と同じ部分については同じ番号を付けており、その説明は省略する。
【0122】
同図において2は室内のユーザであり、以下の説明では、インターフェース装置600は、このユーザ2を含む全員が室内で快適に過ごせるように補佐する。またここで「室内」とは、空調のついている空間内のことを差すので、この空間が電車や車などの車内であっても、建物の中であっても以下の説明は同じである。
【0123】
図9A、9Bは本実施形態に係るインターフェース装置800が行う処理のフローチャートである。
【0124】
画像入力部1101からはユーザ2を含む周囲環境の画像が入力され、音声入出力部1102からはユーザ2の音声が入力され、温度計1104,湿度計1105,照度計1106からはそれぞれ室内の温度、湿度、照度が入力されるので、これらはログとしてイベントログ記憶部1201に、記録時の日時と共に格納される(ステップS301)。
【0125】
また、このログを記録する際には、状況解析部1302は、センサ部1100から入力される情報群を参照し、ユーザ2が暑がっているのか寒がっているのか、室内が明るいのか暗いのか暗いのかといったなどを認識し、その認識結果をこのログと共に記録する。
【0126】
例えば、画像入力部1101から入力された画像中で、ユーザ2の顔に汗が認識され、且つ温度計1104から入力した温度が27度以上であれば、「ユーザ2は暑がっている」と認識する。また、ユーザ2の動作を認識し、その認識結果が腕をさすっている動作であって、且つ温度計1104から入力した温度が25度以下であれば、ユーザ2は寒がっている」と認識する。このように、センサ部1100から入力した情報を用いてユーザ2の感情を推定する。
【0127】
また、室内の状況については、湿度計1105から入力される湿度が例えば80%を越えている場合には「湿度が高い」と認識する。また、照度計1106から入力される照度が所定値以下であれば、「室内が暗い」と判断する。
【0128】
なお、画像中の人物の行動や仕草等、画像中の状況を認識するためには、例えば、様々な状況における画像を学習したニューラルネットワークを用いて、ある画像中の状況を認識させる等の技術を用いることができるが、これに限定するものではない。
【0129】
次に、状況解析部1302は、この認識結果が、「ユーザ2に異変が生じている」、即ち本実施形態では「暑がっている(寒がっている)」、「湿度が高い(湿度が低い)」、「室内が暗い」の何れかが、状況解析部1302による解析結果である場合に、「ユーザ2に異変が生じている」と判断する。
【0130】
そして、以上の処理を画像入力部1101から入力した画像中のユーザ2以外の人について行い、その結果、画像中の全ての人のうち半数以上について「異変が生じている」と判断される場合には、処理をステップS305に進める。
【0131】
そして原因推定部1303は、室内の各人に生じている異変の原因を推定する処理を行う。
【0132】
原因推定部1303は、先にステップS301でログ記憶部1201に記録したログを参照し、異変の原因がユーザ2(ユーザ2以外のユーザでも良いが、ここでは代表としてユーザ2とする)が暑がっているのか、もしくは寒がっているのかを判断する(ステップS305)。その結果、「ユーザ2が暑がっている、もしくは寒がっている」場合には処理をステップS350に進め、ユーザ2が暑がっている場合には空調を調節して室内温度を下げるように、ユーザ2が寒がっている場合には空調を調節して室内温度を挙げるように報知すべき旨を制御情報生成部1304に出力する(ステップS350)。
【0133】
一方、異変の原因がユーザ2が暑がっていることでもないし、寒がっていることでもない場合には、処理をステップS306に進め、原因推定部1303は、先にステップS301でログ記憶部1201に記録したログを参照し、異変の原因が「湿度が高いのか、もしくは低いのか」を判断する(ステップS306)。その結果、「湿度が高い、もしくは低い」場合には処理をステップS351に進め、湿度が高い場合には空調を調節して除湿を行うように、湿度が低い場合には空調を調節して加湿を行うように報知すべき旨を制御情報生成部1304に出力する(ステップS351)。
【0134】
一方、異変の原因が湿度ではない場合には、処理をステップS307に進め、原因推定部1303は、先にステップS301でログ記憶部1201に記録したログを参照し、異変の原因が「部屋が暗いのか」を判断する(ステップS307)。その結果、「部屋が暗い」場合には処理をステップS352に進め、証明を調節して室内を明るくするように報知すべき旨を制御情報生成部1304に出力する(ステップS352)。
【0135】
次に、制御情報生成部1304は、状況解析部1302から受けた情報に基づいて、これから行うべき処理を制御部1305に実行させる為のコマンド(制御情報)を生成し、生成したコマンドを制御部1305に送信するので、制御部1305は、このコマンドに従った処理を行う(ステップS309)。
【0136】
例えばステップS350では、空調を調節して室内温度を上げる/下げる旨を示す情報が、制御情報生成部1304に入力されるので、制御情報生成部1304は、「室内温度を上げて/下げてください」の趣旨のメッセージを制御部1305に発行させるためのコマンドを生成し、制御部1305に出力する。
【0137】
また、ステップS351では、空調を調節して除湿/加湿を行う旨を示す情報が、制御情報生成部1304に入力されるので、制御情報生成部1304は、「除湿/加湿を行ってください」の趣旨のメッセージを制御部1305に発行させるためのコマンドを生成し、制御部1305に出力する。
【0138】
また、ステップS351では、室内を明るくする旨を示す情報が、制御情報生成部1304に入力されるので、制御情報生成部1304は、「室内を明るくしてください」の趣旨のメッセージを制御部1305に発行させるためのコマンドを生成し、制御部1305に出力する。
【0139】
よって、制御部1305は、制御情報生成部1304から受けたコマンドに応じた処理を行う。
【0140】
例えば、「室内温度を上げて/下げてください」の趣旨のメッセージを発行する旨を示すコマンドを受けると、制御部1305は自身が有するメモリ内からこのメッセージのデータを読み出し、これを音声入出力部1102に出力する。音声入出力部1102は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0141】
また、「室内湿度を上げて/下げてください」の趣旨のメッセージを発行する旨を示すコマンドを受けると、制御部1305は自身が有するメモリ内からこのメッセージのデータを読み出し、これを音声入出力部1102に出力する。音声入出力部1102は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0142】
また、「室内を明るくしてください」の趣旨のメッセージを発行する旨を示すコマンドを受けると、制御部1305は自身が有するメモリ内からこのメッセージのデータを読み出し、これを音声入出力部1102に出力する。音声入出力部1102は、このメッセージデータに従った音声を合成音声技術などによって生成し、出力する。
【0143】
これにより、室内を快適に保つことができる。なお、制御部1305は、上述したようなメッセージを発行する代わりに、温度や湿度を直接制御するようにしてもよい。
【0144】
そして制御部1305は、上記一連の処理で用いた情報群のうち、上記処理で過去のログとして用いた情報に相当するものをログ記憶部1201に記録する処理を行う。
【0145】
[第4の実施形態]
上記各実施形態に係るインターフェース装置を1つの組み込み機器として、例えばパーソナルコンピュータや監視カメラなどに組み込むようにしても良い。
【0146】
[その他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、カメラのCPUやMPUが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【0147】
また、カメラが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、カメラ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0148】
さらに、記録媒体から読み出されたプログラムコードが、カメラに挿入された機能拡張カードやカメラに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0149】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャート(機能構成)に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【0150】
【図1】本発明の第1の実施形態に係る推定装置を含むシステムの機能構成を示すブロック図である。
【図2】通常モードである場合にインターフェース装置1が行う処理のフローチャートである。
【図3】状況解析部1302の機能構成を示すブロック図である。
【図4A】インタラクションモードにおいてインターフェース装置1が行う処理のフローチャートである。
【図4B】インタラクションモードにおいてインターフェース装置1が行う処理のフローチャートである。
【図5】ステップS119における処理の詳細を示すフローチャートである。
【図6】本発明の第2の実施形態に係るインターフェース装置を含むシステムの機能構成を示すブロック図である。
【図7A】本発明の第2の実施形態に係るインターフェース装置600が行う処理のフローチャートである。
【図7B】本発明の第2の実施形態に係るインターフェース装置600が行う処理のフローチャートである。
【図8】本発明の第3の実施形態に係るインターフェース装置を含むシステムの機能構成を示すブロック図である。
【図9A】本発明の第3の実施形態に係るインターフェース装置800が行う処理のフローチャートである。
【図9B】本発明の第3の実施形態に係るインターフェース装置800が行う処理のフローチャートである。
【特許請求の範囲】
【請求項1】
ユーザの画像データを入力する画像入力手段と、
前記ユーザの音声データを入力する音声入力手段と、
前記ユーザの生体情報を入力する生体情報入力手段と、
前記画像データ、前記音声データ、前記生体情報に基づく前記ユーザの周囲環境を推定する第1の推定手段と、
前記ユーザの心理状態を推定するために基準となる基準データを保持する保持手段と、
前記画像データ、前記音声データ、前記生体情報のうち1つ以上と前記基準データとを比較して、前記ユーザの心理状態を推定する第2の推定手段と、
前記第2の推定手段が推定した心理状態が所定の状態である場合には、前記第1の推定手段が推定した前記周囲環境に基づいて、前記ユーザの心理状態の原因を推定する第3の推定手段と
を備えることを特徴とする推定装置。
【請求項2】
前記所定の状態は、前記第2の推定手段が前記画像データに基づいて推定した感情、前記第2の推定手段が前記音声データに基づいて推定した感情、前記第2の推定手段が前記生体情報に基づいて推定した感情のうち、2つ以上が負の感情である状態であることを特徴とする請求項1に記載の推定装置。
【請求項3】
前記第3の推定手段が推定した結果を報知する報知手段を更に備えることを特徴とする請求項1に記載の推定装置。
【請求項4】
前記第2の推定手段が推定した心理状態が所定の状態である場合には、前記生体情報に基づいて、前記ユーザの体調が不良であるのか否かを推定する第4の推定手段を更に備えることを特徴とする請求項1に記載の推定装置。
【請求項5】
前記第4の推定手段が推定した結果を報知する報知手段を更に備えることを特徴とする請求項4に記載の推定装置。
【請求項6】
ユーザの画像データを入力する画像入力工程と、
前記ユーザの音声データを入力する音声入力工程と、
前記ユーザの生体情報を入力する生体情報入力工程と、
前記画像データ、前記音声データ、前記生体情報に基づく前記ユーザの周囲環境を推定する第1の推定工程と、
前記ユーザの心理状態を推定するために基準となる基準データを保持する保持工程と、
前記画像データ、前記音声データ、前記生体情報のうち1つ以上と前記基準データとを比較して、前記ユーザの心理状態を推定する第2の推定工程と、
前記第2の推定工程で推定した心理状態が所定の状態である場合には、前記第1の推定手段が推定した前記周囲環境に基づいて、前記ユーザの心理状態の原因を推定する第3の推定工程と
を備えることを特徴とする推定装置の制御方法。
【請求項7】
コンピュータに請求項6に記載の制御方法を実行させることを特徴とするプログラム。
【請求項8】
請求項7に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【請求項1】
ユーザの画像データを入力する画像入力手段と、
前記ユーザの音声データを入力する音声入力手段と、
前記ユーザの生体情報を入力する生体情報入力手段と、
前記画像データ、前記音声データ、前記生体情報に基づく前記ユーザの周囲環境を推定する第1の推定手段と、
前記ユーザの心理状態を推定するために基準となる基準データを保持する保持手段と、
前記画像データ、前記音声データ、前記生体情報のうち1つ以上と前記基準データとを比較して、前記ユーザの心理状態を推定する第2の推定手段と、
前記第2の推定手段が推定した心理状態が所定の状態である場合には、前記第1の推定手段が推定した前記周囲環境に基づいて、前記ユーザの心理状態の原因を推定する第3の推定手段と
を備えることを特徴とする推定装置。
【請求項2】
前記所定の状態は、前記第2の推定手段が前記画像データに基づいて推定した感情、前記第2の推定手段が前記音声データに基づいて推定した感情、前記第2の推定手段が前記生体情報に基づいて推定した感情のうち、2つ以上が負の感情である状態であることを特徴とする請求項1に記載の推定装置。
【請求項3】
前記第3の推定手段が推定した結果を報知する報知手段を更に備えることを特徴とする請求項1に記載の推定装置。
【請求項4】
前記第2の推定手段が推定した心理状態が所定の状態である場合には、前記生体情報に基づいて、前記ユーザの体調が不良であるのか否かを推定する第4の推定手段を更に備えることを特徴とする請求項1に記載の推定装置。
【請求項5】
前記第4の推定手段が推定した結果を報知する報知手段を更に備えることを特徴とする請求項4に記載の推定装置。
【請求項6】
ユーザの画像データを入力する画像入力工程と、
前記ユーザの音声データを入力する音声入力工程と、
前記ユーザの生体情報を入力する生体情報入力工程と、
前記画像データ、前記音声データ、前記生体情報に基づく前記ユーザの周囲環境を推定する第1の推定工程と、
前記ユーザの心理状態を推定するために基準となる基準データを保持する保持工程と、
前記画像データ、前記音声データ、前記生体情報のうち1つ以上と前記基準データとを比較して、前記ユーザの心理状態を推定する第2の推定工程と、
前記第2の推定工程で推定した心理状態が所定の状態である場合には、前記第1の推定手段が推定した前記周囲環境に基づいて、前記ユーザの心理状態の原因を推定する第3の推定工程と
を備えることを特徴とする推定装置の制御方法。
【請求項7】
コンピュータに請求項6に記載の制御方法を実行させることを特徴とするプログラム。
【請求項8】
請求項7に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【公開番号】特開2006−127057(P2006−127057A)
【公開日】平成18年5月18日(2006.5.18)
【国際特許分類】
【出願番号】特願2004−312858(P2004−312858)
【出願日】平成16年10月27日(2004.10.27)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成18年5月18日(2006.5.18)
【国際特許分類】
【出願日】平成16年10月27日(2004.10.27)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]