説明

生体情報推定装置及びそれを搭載した電子機器

【課題】より高い精度で心身状態の推定を行うことを可能にする。
【解決手段】ユーザから継続的に生体情報を得る生体センサ10から送られてきた上記生体情報に基づいて、ユーザの心身の状態の度合いである心身状態推定値を求める演算を行う心身状態推定部23と、当該心身状態推定値に対するユーザの実際の心身の状態の度合いをユーザ入力値として取得するユーザ入力部24と、心身状態推定部23で求めた心身状態推定値とユーザ入力部24で取得したユーザ入力値とに基づいて、上記演算に用いるパラメータの補正を行う心身状態推定用係数算出部26とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被験者の生体情報から心身状態を推定するための心身状態推定装置、そのプログラムおよび該プログラムを記録したコンピュータ読取り可能な記録媒体、心身状態推定システムならびに心身状態推定装置における制御方法に関するものである。
【背景技術】
【0002】
生活行動を常時計測することによって、生体リズムの乱れを含めたさまざまな生体情報を分析することができる。例えば、特許文献1に記載された技術では、腰部中央の定められた方向に体動解析装置を取り付け、生体情報の1つである被験者の行動情報を取り込む。つまり、特許文献1に記載された技術は、3軸の加速度センサが搭載された体動解析装置を腰部の定められた方向に取り付けることで、腰の向きが判り、屈んでいるのか横になっているのかが判別できるようになっている。さらに、特許文献1に記載された技術では、加速度センサの出力信号におけるAC成分の周波数と振幅とから、被験者が歩行または走行のいずれの状態にあるのかの区別も可能としている。
【0003】
また、被験者の体に取り付けた加速度センサの情報から、身体運動の激しさを割り出し、被験者が睡眠または起床のいずれにあるのかを推定する方法も従来から行われている。さらに、最もよく知られたものに歩数計も挙げられる。
【0004】
さらに、生体情報の1つである脳内のホルモン、発汗、または血流を測定する機器を用いたりすることで、心身疾患および心理状態などの心身状態の推定をある程度行うことができる。また、心身疾患および心理状態などの心身状態の推定は、さまざまなテストまたはアンケートを行うことでも実現可能である。
【0005】
たとえば、心身状態の1つである疲労の推定は、たとえばATMT法(Advanced Trial Making Test法)により実現することができる。このATMT法は、ディスプレイ上に現れた数字を順にタッチし、その時に要した時間から疲労レベルを計測するものである。また、疲労を含めた心身状態を推定する方法として、アンケートがよく用いられる。
【0006】
他にも、生体情報の1つである発汗の状態または音声データを解析する事で、心身状態の1つである嘘の推定を行ったり、心理状態の変化などを調べたりすることも可能であり、上述した解析によって嘘を推定する嘘発見器などが実際に商品化されている。
【特許文献1】特開平7−178073号公報(平成7年7月18日公開)
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、生体情報の変化の傾向には個人差がある。また、同一人物であったとしても加齢などの時間の経過、環境の変化(例えば、気圧、気温などの変化等)、心理的変化(例えば、相手への信頼感の変化等)などにより上記傾向は変化することが多い。従って、生体情報の変化の傾向から、心身状態を高い精度で推定することは困難であった。
【0008】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、より高い精度で心身状態の推定を行うことを可能にする心身状態推定装置、心身状態推定システム、心身状態推定方法、心身状態推定プログラムおよび該プログラムを記録したコンピュータ読取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【0009】
本発明の心身状態推定装置は、上記課題を解決するために、ユーザから継続的に生体情報を得る生体センサから送られてきた上記生体情報に基づいて、ユーザの心身の状態の度合いである心身状態推定値を求める演算を行う心身状態推定手段と、当該心身状態推定値に対するユーザの実際の心身の状態の度合いをユーザ入力値として取得するユーザ入力値取得手段と、上記心身状態推定手段で求めた心身状態推定値と上記ユーザ入力値取得手段で取得したユーザ入力値とに基づいて、上記演算に用いるパラメータの補正を行う補正手段とを備えることを特徴としている。
【0010】
また、本発明の心身状態推定方法は、上記課題を解決するために、心身状態推定手段によって、ユーザから継続的に生体情報を得る生体センサから送られてきた上記生体情報に基づいて、ユーザの心身の状態の度合いである心身状態推定値を求める演算を行う心身状態推定工程と、ユーザ入力値取得手段によって、当該心身状態推定値に対するユーザの実際の心身の状態の度合いをユーザ入力値として取得するユーザ入力値取得工程と、補正手段によって、上記心身状態推定工程で求めた心身状態推定値と上記ユーザ入力値取得工程で取得したユーザ入力値とに基づいて、上記演算に用いるパラメータの補正を行う補正工程とを含むことを特徴としている。
【0011】
上記の発明によれば、生体情報をもとに心身状態推定手段で求めた心身状態推定値と、それに対するユーザ入力値取得手段で取得したユーザ入力値とに基づいて心身状態推定手段での演算に用いるパラメータの補正を補正手段で行うので、ユーザの実際の心身の状態の度合いを加味した補正を上記パラメータに対して行うことが可能になる。従って、上記パラメータの補正を行った後には、よりユーザの実際の心身の状態の度合いに即した心身状態推定値を心身状態推定手段で求めることが可能になる。その結果、より高い精度で心身状態の推定を行うことを可能にする。
【0012】
なお、ユーザ入力値としてユーザ入力値取得手段で取得されるユーザの実際の心身の状態の度合いは、例えば、生体情報に基づいて心身状態推定値を求められるユーザから与えられる場合、または生体情報に基づいて心身状態推定値を求められるユーザ以外のユーザから与えられる場合の両方の場合がある。
【0013】
また、本発明の心身状態推定装置では、心身状態推定手段で得られる心身状態推定値を格納する格納部をさらに備え、前記ユーザ入力値取得手段は、上記格納部に格納されている任意の心身状態推定値に対する前記ユーザ入力値を取得することが好ましい。
【0014】
これにより、過去に得られた心身状態推定値に対するユーザ入力値を取得することが可能になる。よって、格納部に格納されている過去に得られた心身状態推定値と、当該心身状態推定値に対するユーザ入力値とに基づいて、演算に用いるパラメータの補正を補正手段で行うことが可能になる。
【0015】
さらに、本発明の心身状態推定装置では、前記心身状態推定手段によって得られた心身状態推定値が、所定の範囲内であった場合に、ユーザへのアドバイスまたは警告を行う警告手段をさらに備えることが好ましい。
【0016】
これにより、警告手段によって心身状態推定手段で得られた心身状態推定値に応じて、ユーザへのアドバイスまたは警告を行うことができるので、ユーザの心身状態に応じたアドバイスまたは警告を行うことが可能になる。例えば、ユーザの心身状態が悪いと判断される心身状態推定値が得られた場合に、ユーザに休息を促すことなどが可能になる。
【0017】
また、本発明の心身状態推定装置では、前記ユーザ入力値取得手段を起動し、上記ユーザ入力値取得手段へのユーザ入力値の入力をユーザに促す起動手段と、前記心身状態推定手段によって得られた心身状態推定値が、所定の範囲内であった場合に、上記起動手段に上記ユーザ入力値取得手段を起動させる指示を行う起動判定手段をさらに備えることが好ましい。
【0018】
これにより、起動判定手段によって、心身状態推定手段で得られた心身状態推定値に応じて、起動手段によりユーザ入力値取得手段を起動し、ユーザ入力値取得手段へのユーザ入力値の入力をユーザに促すことができるので、ユーザの心身状態に応じてユーザにユーザ入力値を入力してもらうことが可能になる。例えば、ユーザの心身状態が極端に悪い、または良いと心身状態推定手段で推定した場合に、ユーザにユーザ入力値を入力してもらうことにより、心身状態推定手段で推定した結果の正しさを確認することが可能になる。
【0019】
さらに、本発明の心身状態推定装置では、前記心身状態推定手段から得られる心身状態推定値と、前記ユーザ入力値取得手段から得られるユーザ入力値との差に応じて、前記起動手段によって上記ユーザ入力値取得手段を起動させる頻度を変化させる第1起動頻度判定手段をさらに備えることが好ましい。
【0020】
これにより、第1起動頻度判定手段によって、心身状態推定手段で得られた心身状態推定値とユーザ入力値取得手段から得られるユーザ入力値との差に応じて、起動手段によりユーザ入力値取得手段を起動させる頻度を変化させることができるので、心身状態推定値とユーザ入力値との差の開きに応じて、よりユーザにユーザ入力値を頻繁に入力してもらうことが可能になる。例えば、心身状態推定値とユーザ入力値との差が大きかった場合に、ユーザにユーザ入力値を頻繁に入力してもらうことにより、補正手段でパラメータを頻繁に補正し、より迅速に正確な心身状態推定値を心身状態推定手段で推定できるようにすることが可能になる。
【0021】
また、本発明の心身状態推定装置では、前記ユーザ入力値取得手段から得られるユーザ入力値が、所定の範囲内であった場合に、前記補正手段で前記パラメータの補正を行わせるとともに、前記起動手段によって上記ユーザ入力値取得手段を起動させる頻度を変化させる第2起動頻度判定手段をさらに備えることが好ましい。
【0022】
これにより、第2起動頻度判定手段によって、ユーザ入力値取得手段で得られたユーザ入力値に応じて、補正手段でパラメータの補正を行わせるとともに、起動手段によりユーザ入力値取得手段を起動させる頻度を変化させることができるので、ユーザの実際の心身状態に応じて、よりユーザにユーザ入力値を頻繁に入力してもらうことが可能になる。例えば、実際のユーザの心身状態が極端に悪いとユーザ入力値取得手段にユーザ入力値が入力された場合に、ユーザにユーザ入力値を頻繁に入力してもらうことにより、補正手段でパラメータを頻繁に補正し、より迅速に正確な心身状態推定値を心身状態推定手段で推定できるようにすることが可能になる。
【0023】
さらに、本発明の心身状態推定装置では、前記心身状態推定手段は、生体情報としてユーザの活動の頻度である活動度に基づいて疲労レベルの推定値を求める演算を行うものであることが好ましい。
【0024】
これにより、生体センサから得た活動度を生体情報として心身状態推定手段で心身状態である疲労レベルを推定することが可能になる。
【0025】
また、本発明の心身状態推定装置では、携帯電話機であることが好ましい。
【0026】
これにより、携帯電話は、一般的にユーザが肌身離さず携帯するものであるので、心身状態推定装置を携帯電話内に設ければ、心身状態の推定を常に行うことが可能になる。
【0027】
ところで、上記心身状態推定装置は、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係る心身状態推定プログラムは、心身状態推定装置としてコンピュータを動作させるプログラムであり、本発明に係る記録媒体には、当該プログラムが記録されている。
【0028】
これらの心身状態推定プログラムがコンピュータによって実行されると、当該コンピュータは、心身状態推定装置として動作する。従って、上記心身状態推定装置と同様に、より高い精度で心身状態の推定を行うことが可能になる。
【0029】
本発明の心身状態推定システムは、上記課題を解決するために、ユーザから継続的に生体情報のデータを得る生体センサと、前記のうちのいずれかに記載の心身状態推定装置とを備えることを特徴としている。
【0030】
上記の発明によれば、より高い精度で心身状態の推定を行うことが可能になる。
【0031】
また、本発明の心身状態推定システムでは、前記生体センサと前記心身状態推定装置との間の通信が無線通信であることが好ましい。
【0032】
これにより、生体センサと心身状態推定装置との間での通信を有線通信によって行わなくてもよくなるので、ケーブルなどの邪魔になるものがなくなる。従って、ユーザにとっての心身状態推定システムの利便性を向上させることができる。
【0033】
さらに、本発明の心身状態推定システムでは、前記生体センサは加速度センサであることが好ましい。
【0034】
これにより、加速度センサによって得られる活動度に基づいて心身状態推定装置で疲労レベル、鬱状態、ストレス、だるさなどの心身状態を推定することが可能になる。
【0035】
また、本発明の心身状態推定システムでは、前記生体センサは音声センサであることが好ましい。
【0036】
これにより、音声センサによって得られる音声データに基づいて心身状態推定装置で嘘、動揺、あせりなどの心身状態を推定することが可能になる。
【0037】
さらに、本発明の心身状態推定システムでは、携帯電話機であることが好ましい。
【0038】
これにより、携帯電話は、一般的にユーザが肌身離さず携帯するものであるので、心身状態推定システムを携帯電話内に設ければ、生体情報の取得と心身状態の推定とを常に行うことが可能になる。
【0039】
本発明の心身状態推定システムは、上記課題を解決するために、ユーザから継続的に生体情報を得る生体センサから送られてきた上記生体情報を取得するデータ取得手段と、上記データ取得手段が取得した生体情報に基づいて、ユーザの心身の状態の度合いである心身状態推定値を求める演算を行う心身状態推定手段と、当該心身状態推定値に対するユーザの実際の心身の状態の度合いをユーザ入力値として取得するユーザ入力値取得手段と、上記心身状態推定手段で求めた心身状態推定値と上記ユーザ入力値取得手段で取得したユーザ入力値とに基づいて、上記演算に用いるパラメータの補正を行う補正手段とのうちの上記データ取得手段と上記ユーザ入力値取得手段とを有する中継装置と、上記心身状態推定手段と上記補正手段とを有するサーバとを備えるとともに、上記中継装置と上記サーバとがネットワークを介してデータのやり取りを行うことを特徴としている。
【0040】
また、本発明の心身状態推定方法は、上記課題を解決するために、データ取得手段によって、ユーザから継続的に生体情報を得る生体センサから送られてきた上記生体情報を取得するデータ取得工程と、心身状態推定手段によって、上記データ取得工程で取得した生体情報に基づいて、ユーザの心身の状態の度合いである心身状態推定値を求める演算を行う心身状態推定工程と、ユーザ入力値取得手段によって、当該心身状態推定値に対するユーザの実際の心身の状態の度合いをユーザ入力値として取得するユーザ入力値取得工程と、補正手段によって、上記心身状態推定工程で求めた心身状態推定値と上記ユーザ入力値取得工程で取得したユーザ入力値とに基づいて、上記演算に用いるパラメータの補正を行う補正工程と、通信手段によって、上記データ取得工程で取得した生体情報をネットワークを介して上記演算手段に送るとともに、上記ユーザ入力値取得工程で取得したユーザ入力値をネットワークを介して上記補正手段に送る通信工程とを含むことを特徴としている。
【0041】
上記の発明によれば、データ取得手段が取得した生体情報をもとに心身状態推定手段で求めた心身状態推定値と、それに対するユーザ入力値取得手段で取得したユーザ入力値とに基づいて心身状態推定手段での演算に用いるパラメータの補正を補正手段で行うので、ユーザの実際の心身の状態の度合いを加味した補正を上記パラメータに対して行うことが可能になる。従って、上記パラメータの補正を行った後には、よりユーザの実際の心身の状態の度合いに即した心身状態推定値を心身状態推定手段で求めることが可能になる。その結果、より高い精度で心身状態の推定を行うことを可能にする。
【0042】
また、本発明の心身状態推定システムでは、ユーザから継続的に生体情報を得る生体センサをさらに備えることが好ましい。
【0043】
これにより、心身状態推定システム内で生体センサから生体情報を得ることが可能になる。
【0044】
さらに、本発明の心身状態推定システムでは、前記中継装置は携帯電話機であることが好ましい。
【0045】
これにより、携帯電話は、一般的にユーザが肌身離さず携帯するものであるので、中継装置を携帯電話内に設ければ、少なくともユーザ入力値の取得を常に行うことが可能になる。
【0046】
なお、コンピュータに上記心身状態推定方法を実行させる心身状態推定プログラムにより、コンピュータを用いて本発明の心身状態推定方法と同様の作用効果を得ることができる。さらに、上記心身状態推定プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記心身状態推定プログラムを実行させることが可能になる。
【発明の効果】
【0047】
本発明によれば、生体情報をもとに心身状態推定手段で求めた心身状態推定値と、それに対するユーザ入力値取得手段で取得したユーザ入力値とに基づいて心身状態推定手段での演算に用いるパラメータの補正を補正手段で行うので、ユーザの実際の心身の状態の度合いを加味した補正を上記パラメータに対して行い、よりユーザの実際の心身の状態の度合いに即した心身状態推定値を心身状態推定手段で求めることが可能になる。従って、より高い精度で心身状態の推定を行うことを可能にするという効果を奏する。
【発明を実施するための最良の形態】
【0048】
〔1.生体情報の変化について〕
疲労の度合い、および嘘をついているか否かなどの生体の状態である心身状態は、加速度センサ、ならびに音声センサなどの生体センサによって被験者から取得される人の活動の頻度(活動度)を定量的に示すデータ(体動データ)、および音声データなどの情報である生体情報を解析することにより、推定することが出来る。以下では、例として体動データ、または音声データを用いて心身状態の変化に伴った生体情報の変化についての説明を行う。
【0049】
〔1−1.疲労時の活動の変化について〕
まず、疲労時における人の活動の変化(生体情報の変化)について説明を行う。人は、疲労を感じると動作を減らそうとする。しかし、その人が置かれている状況または本人の意思から、活動をやめることができない場合が多い。したがって、疲労時に人が継続的に活動しようとする状況においても、無意識のうちに動作が単発的に減る現象が見られる。
【0050】
疲労の推定は、例えばATMT法(Advanced Trial Making Test法)により行うことができる。このATMT法は、ディスプレイ上に現れた数字を順にタッチし、その時に要した時間から疲労の度合い(疲労レベル)を計測するものである。つまり、ディスプレイ上に現れた数字を順にタッチするのに要した時間が増えるほど、疲労していると推定するものである。
【0051】
また、疲労時に動作が減少する現象は体のあらゆる部分で起こるが、手首については、疲労時における動作の減少を効果的に取得できる。特に、単位時間内に手首を動かした回数を数えると、疲労時における動作の減少を少ないデータ数で効率的に取得できる。この疲労時における動作の減少は、動作を平均的に見ても明確にはわからないものであった。しかしながら、発明者らの鋭意研究により、人の動作を細かく分析すると、疲労時と非疲労時との間で、人の動作に違いが生じていることが判明した。
【0052】
このような疲労時における動作の減少について、図7(a)、図8(a)、図8(c)および図9(a)〜図9(d)を用いてより具体的に説明を行う。図7(a)は、人が疲労感を伴うときの典型的な体動データを示したものであり、図8(a)および図8(c)は、人が疲労感を伴わないときの典型的な体動データを示したものである。いずれも、横軸が経過した時間を示し、縦軸は手首に取り付けた加速度センサから得た体動データを示す。そして、図9(a)は、人が覚醒時に小さく動く状態を示す図であり、図9(b)は、人が疲労時に静止する状態を示す図であり、図9(c)および図9(d)は、人が自由に活動する状態を示す図である。なお、体動データとは、人の活動の頻度(活動度)を定量的に示すデータであり、その具体的な測定方法については後述する。
【0053】
図7(a)、図8(a)、図8(c)の縦軸については、値が大きいほど体動データが高いことを示し、値が小さいほど体動データが低いことを示している。また、体動データの値が0であれば、人がまったく動いていないことを意味している。程度の差こそあれ、人は、安静にしていても覚醒時には小さく動くので(図9(a)参照)、体動データはある程度高くなる。一方、人は、睡眠時にはほとんど動かないため、体動データは0に近づく。
【0054】
そして、発明者らは、鋭意研究の結果、覚醒時で疲労時には、図7(a)に示すように、ある程度高い値の体動データが継続する中で、短時間だけ周囲(直前・直後の時間)に比べて低い値の体動データが得られる傾向があることを発見した。なお、覚醒時で疲労をあまり感じないときは、図8(a)に示すように、短時間だけ周囲と比べて低い値の体動データが得られる傾向が現れないことが多い。また、図8(c)に示すように、短時間だけ周囲に比べて低い値の体動データが得られることもあれば、短時間だけ周囲に比べて高い値の体動データが得られ、体動データが幅広く分布することもある。上述したような体動データの傾向が得られるのは、次のように理論づけられる。
【0055】
覚醒時においては、人はある程度の活動をしているために、その活動に応じた体動データが得られる。しかし、疲労時において、人は、その活動を継続する意思があっても、実際は維持することができないためしばしば静止し(図9(b)参照)、図7(a)において破線の○印で囲った部分に示されるように、体動データが周囲に比べて短時間だけ低くなる現象が見られる。これは、例えばマラソンなど長時間の運動を行った場合、運動開始時には連続して運動し続けられるが、長時間続けると疲れて頻繁に休憩したくなることと類似している。
【0056】
また、疲労を感じないときには、本人の意思どおり活動を継続することができるため、疲労時のように短時間だけ体動データが低くなる現象は見られない。あるいは、その人が置かれている状況によって、自由に活動することができるため(図9(c)および図9(d)参照)、体動データが幅広く分布する。
【0057】
以上のように、体動データには疲労の度合い(疲労レベル)が強く反映されるため、体動データから人の疲労レベルを推定できる。より具体的に説明すれば、相対的に低い体動データを検出することで疲労レベルを推定できる。
【0058】
〔1−2.虚言時の音声の変化について〕
続いて、嘘をついている場合(虚言時)における人の音声の変化(生体情報の変化)について説明を行う。人は、嘘をついたり動揺したりすると声がうわずることが多い。音声による嘘発見器はこの声のうわずりに着目している。このような虚言時における声のうわずりについて、図10を用いてより具体的に説明を行う。図10は同一人物の「あ」と言う発音の波形をフーリエ変換した音声データを示した図である。そして、横軸が周波数を示し、縦軸は周波数に対応するエネルギーを示している。また、真実を話しているときの波形を実線で示し、嘘をついたときの波形を点線で示している。なお、音声データを得るための生体センサとしてはマイクなどがある。
【0059】
図10に示すように、例えば「あ」の音声データはおよそ100Hzごとに波形のピークを有している。嘘をついたり動揺したりして声がうわずった場合、上記ピークが周波数のより高い方へとシフトすることになる。実際に図10中の破線の長円で囲った周辺を見ると、真実を話しているときのピークと嘘をついたときのピークとの差が明確である。
【0060】
〔1−3.心理的変化時の心拍の変化について〕
さらに、嘘をついているか否か、およびストレスを感じているか否かなどといった心理的変化時における人の心臓の活動の変化(生体情報の変化)について説明を行う。人は、心理的変化時に心臓の活動(例えば、収縮および拡張の繰り返しのタイミング、または電気的活動など)に変化が生じる。このような心理的変化時における心臓の活動の変化について、図11を用いてより具体的に説明を行う。図11は心拍に伴って生じる心臓の電気的活動を示した心電図(EKG:Electrocardiogram)の典型的な波形の模式図である。そして、横軸が時間を示し、縦軸は電位を示している。なお、EKGを得る生体センサとしては心電図センサなどがある。
【0061】
図11に示すように、心拍には一回の拍動につき、いくつかの電位のピークが見られる。短時間で見ると、各波形は同じように見えるが、長時間評価すると、そのときの心理的な状態や運動量、何らかの疾患を患っているかどうかなどの違いで微妙に変化する。そのうち、最も顕著なピークはR波と呼ばれ、一つ目のR波と次のR波との間隔を長時間測定し、その揺らぎを解析することによって、心理的な変化および疾患などを推定することができることが知られている。
【0062】
〔1−4.生体情報の変化についてのまとめ〕
上述したように、身体情報の変化と心身状態との間には相関性が認められる。例として、疲労の度合い、嘘をついているか否か、およびストレスを感じているか否かといった心身状態にPCの入力機器への入力時間、体動データ、音声データ、ならびにEKGといった生体情報の変化が関係していることを説明してきたが、必ずしもこれらに限らず、他のさまざまな組み合わせも取り得る。ここで、以下に上記さまざまな組み合わせの一部を例示する。
【0063】
例えば、加速度センサから得ることができる体動データの変化は、疲労の度合いだけでなく、鬱状態、ストレス、だるさとも同様にして相関性がある。また、音声センサから得ることができる音声データの変化は、嘘だけでなく、動揺、あせりに対しても同様にして相関性がある。さらに、心電図センサから得ることができる心臓の電気的活動の変化は、嘘、ストレスだけでなく、疲労の度合い、痛み、苦痛、動揺、あせり、眠気、睡眠に対しても同様にして相関性がある。他にも、心電図センサまたは心電図センサ以外の心臓の活動をセンシングするセンサから得られる心拍数の変化は、嘘、動揺、あせりに対して相関性がある。また、キーボードまたはマウスから得ることのできるPCの入力機器への一定時間の移動量、および/または入力量は、疲労の度合い、ストレスに対して相関性がある。さらに、加速度センサから得られる活動度の変化は、眠気、睡眠に対して相関性がある(Kole−Kripke睡眠判定など)。また、呼吸センサから得られる呼気の長さ、および/または深さの変化は、不幸感に対して相関性がある。ここで言うところの不幸感とは、神経症および鬱状態のような治療の対象になる疾患ではなく、単純な心理状態の変化のことを表している。さらに、皮膚伝導度をセンシングするセンサから得られる皮膚伝導度の変化は、ストレス、嘘、動揺、あせりに対して相関性がある。そして、筋電センサと加速度センサとから得られる加速度に対する筋電の出力値の変化は、疲労の度合いに対して相関性がある。
【0064】
〔2.心身状態の推定方法について〕
上述した心身状態のほとんどは、本人あるいは周囲の人間にはある程度察知する事ができるが、生体センサによって得られる生体情報にはすぐに直接には現れない。しかし、生体情報に何らかの解析を行うことによって、統計的に高い確率で心身状態の推定を行う事が可能である。以下では、例として体動データ、または音声データを生体情報に用いて疲労レベル、もしくは嘘をついているか否かの心身状態を推定する方法についての説明を行う。
【0065】
〔2−1.疲労レベルの推定方法について〕
上述の疲労時における活動の変化に基づいて、人の疲労レベルを推定するための具体的な方法について以下で説明を行う。
【0066】
〔2−1−1.体動データの測定方法について〕
まず、体動データの測定方法について、図12を用いて説明する。図12は、手首に取り付けた加速度センサから得られる1軸の出力を、加速度の変化を見るためにハイパスフィルタを通過させた後のデータを示している。ハイパスフィルタに加速度センサの出力を通すことで、常に現れる重力方向の成分をキャンセルすることができる。
【0067】
ここで、図7(a)、図8(a)、および図8(c)で示した体動データは、図12で示すハイパスフィルタ通過後の加速度センサの出力(加速度データ)が、0.01Gの閾値を通過した単位時間当たりの回数を記録したデータである。
【0068】
たとえば、図12のグラフにおける左端から右端までの時間が単位時間であるとすれば、加速度センサの出力は閾値を4回通過しているので、体動データは4と計測される。このように測定された体動データは、一般にzero crossing dataと呼ばれ、睡眠・覚醒の検出および生活リズムの分析等に使用される。
【0069】
なお、図12に示すデータは、体動データの変化を効率的に見るために、加速度センサの出力をハイパスフィルタに通過させているが、必ずしもハイパスフィルタを通過させる必要はない。例えば、加速度センサの出力値そのものから、加速度センサの出力値に関する移動平均値を引くことで、同じく体動データの変化を効率的に見ることもできる。
【0070】
また、疲労レベルを推定するためには、必ずしもzero crossing dataを測定する必要はない。加速度センサから得られる3軸出力のベクトル和から体動データを求めると、軸の偏りがなく、より精度の高い体動データが得られる。
【0071】
〔2−1−2 疲労レベルの演算方法について〕
図7(a)、図8(a)、および図8(c)に示す体動データによって示される人の活動の違いは、次に説明する方法を取ることによって、推定することができる。
【0072】
まず、体動データのトレンドを除去する。トレンドの除去は、たとえば以下に説明するように行うことができる。なお、「トレンド」とは、体動データの長期的な変動の傾向を意味する。
【0073】
すなわち、体動データをさらに短時間に区切り、各区間のデータの1次近似を、最小2乗法を用いて算出することによって、体動データの回帰曲線を求める。この回帰曲線により、体動データのトレンドを把握することができる。
【0074】
そして、図7(a)、図8(a)、および図8(c)の体動データによって示される値x(t)に対して、体動データの回帰曲線における値をxtr(t)とすると、トレンドを除去した体動データy(t)は、以下の式で表すことができる。
y(t)=x(t)―xtr(t
ただし、tは各データの時刻である。
【0075】
このようにしてトレンドを除去すると、図7(a)に示す体動データからは、図7(b)に示す体動データが得られ、図8(a)に示す体動データからは、図8(b)に示す体動データが得られ、図8(c)に示す体動データからは、図8(d)に示す体動データが得られる。そして、トレンドを除去すると、体動データの変化がより顕著となる。さらに、体動データの変化は、体動データの歪度Skewを次の計算式(計算式1)に従って計算することにより、明確にすることができる。
【0076】
【数1】

【0077】
例えば、疲労時のトレンドを除去した体動データの歪度は−0.0118と負であるのに対して、非疲労時のトレンドを除去した体動データの歪度はそれよりも大きく、正の値を示す。すなわち、歪度は疲労レベルに大きく関係しているといえる。
【0078】
ここで、歪度が小さいということは、データの中で突出して低い値が、突出して大きい値よりも多いことを意味している。図13(a)の疲労レベルと歪度とを比較すると、疲労レベルが高いときに歪度が小さくなる傾向が見られる。しかし、この値は平均値にも依存するため、図13(a)中のサンプルNo.1のように疲労レベルが低いにもかかわらず歪度が小さい所も見られる。
そこで、以下に示す計算式(計算式2)を用いると、高い精度で疲労レベルを推定できる。
【0079】
【数2】

【0080】
A=0.732
B=58.321
C=4.028
D=33.370
Mean=体動データの平均値
Skew=トレンドが除去された体動データの歪度
ただし、sig()はシグモイド関数であり、以下に示す計算式(計算式3)とする。
【0081】
【数3】

【0082】
体動データの歪度および平均と、疲労レベルとに関して、5つのサンプルを比較した表を図13(a)に示す。図13(a)は、体動データの歪度および平均と疲労レベルとに関して、5つのサンプルを比較した表である。なお、図13(a)に示す「実際の疲労レベル」は、アンケートの結果得られた疲労レベルを定量的に示す情報であり、実疲労レベル情報としても表現できる。
【0083】
図13(b)を見ると、推定した疲労レベル(縦軸)と、実際の疲労レベル(横軸)とが高い相関を持つことが確認できる。図13(b)は、推定された疲労レベルと、アンケートの結果得られた実際の疲労レベルとを定量的に示した数値との相関関係を示す図である。ここでは、計算式2を容易に示すために、MeanとSkewとの2つの統計値から疲労を推定する例を示したが、もちろん他の統計値(たとえば、標準偏差や尖度など)を用いてもよいし、統計的手法に限らず、DFA(Detrend Fluctuation Analysis)またはWTMM(Wavelet Transform Modulus Maxima)といったフラクタルを評価する方法でも可能であり、より高い精度で体動データの変化を判別できる場合もある。しかし、これらの方法を用いる場合には計算量が増えるため、携帯機器などで疲労レベルを評価する場合には、2つ程度の統計値(たとえば、平均と歪度)から疲労レベルを推定する方法が、精度と計算量とを考慮すると最も適している。
【0084】
〔2−1−3 疲労レベルの推定用係数の算出方法について〕
以上で挙げた疲労レベルの推定の計算式に用いるパラメータ(計算式2のA,B,C,D)を算出する方法を、以下に説明する。ここでは、レーベンバーグ・マルカート法(LM法:Leveneberg-Marquardt法)を用いて、過去一定間隔でユーザに入力してもらった10回の「実際の疲労レベル」をもとに、11回目の疲労レベルを推定する場合を例にとって説明を行う。なお、ここで言うところの「実際の疲労レベル」とは、ユーザが実際に感じている疲労の度合い(疲労レベル)を表している。
【0085】
まず、求めたい疲労推定用パラメータ(心身状態推定用係数)をaとする。a=[am1,am2,...,amn]であり、上記例で挙げた疲労推定の場合は、パラメータは4つ、すなわちa=[am1,am2,am3,am4]である。以下で説明する計算方法では、収束するまで計算を繰り返し行うため、各回の計算を区別するために変数mを使用する。mはm回目の計算結果であることを意味し、計算前に仮で設定する場合はm=0とする。aは計算を繰り返すことによって(mが大きくなるのに従って)一定値に収束するため、m=0のときのaは任意の数字でも構わないが、収束を早めるためには収束値に近いほうがよく、例えば、複数人のデータから総合的に推定した値を用いる方がよい。例として、今回はa=[A,B,C,D](計算式2のA,B,C,D)とする。
【0086】
続いて、上述した疲労レベルの演算方法によって、統計データ[Mean,Skew]から疲労レベルの推定値(心身状態推定値)である疲労推定値Est(a)を計算し、疲労推定値Est(a)とユーザに入力してもらった「実際の疲労レベル」(ユーザ入力値)Ansとをもとに、以下の一連の計算式(順に計算式4、計算式5、計算式6、計算式7)に従って評価関数χ(a)を計算する。
【0087】
【数4】

【0088】
ただし、iは疲労を行ったときの時間に対応し、本例では過去10回のユーザからの入力データ(ユーザ入力値)をもとに疲労レベルを推定するので、i=1〜10となる。例えば、i=1の時は10:30、i=2の時は13:20などといったように対応付ける。
【0089】
【数5】

【0090】
σには、正しくは標準偏差が入るが、a収束の計算負荷を減らすために本例ではσi=1とする。ここで示されるχ(a)が0に近づけば、AnsとEst(a)とが近いことを意味するので、χ(a)が0に近づくようにaを計算する。そのためには以下の計算式(計算式6)に従って、αmkl、βmk、α’mklを計算する。
【0091】
【数6】

【0092】
ここで、λはα’mklを計算するためのパラメータであって、計算を繰り返すたびに(mが大きくなるたびに)変化するものである。本例では、m=0のときは、仮にλ=0.001とする。そして、得られたα’mkl、βmkをもとにして、以下の計算式(計算式7)からδamkを逆算する。
【0093】
【数7】

【0094】
以降では、δamkをまとめて、δaと表記する。ここで、χ(a+δa)とχ(a)とを比較し、χ(a+δa)≧χ(a)であれば、λm+1=λ×10、am+1=aとして、計算式4から再度計算を行う。一方、χ(a+δa)<χ(a)―0.1であればλm+1=λ×0.1、am+1=a+δaとして、計算式4から再度計算を行う。そして、いずれでもない場合には、aが収束していると判断し、収束したaを新たな疲労推定用パラメータとして使用する。ここで、収束していると判断して得られた上記aを、以降ではaと記述する。
【0095】
本実施の形態では、過去10回の「実際の疲労レベル」をもとに疲労推定を行う一例を示したが、もちろん回数は10回に限定する必要は必ずしもない。また、計算式2に沿って説明したため、本実施の形態では、パラメータの数は4つであったが、パラメータの数によらず以上の計算方法は活用できる。また、当然のことながら、この計算方法は疲労レベルの推定に限らず、他の心身状態の推定に用いるパラメータの算出に利用できる。疲労の推定は、個人差や時間による差が生じることが大きいため、このようなパラメータの修正を頻繁に行う必要がある。上記パラメータの修正をいつどの段階で行うことが好ましいのかについては、後に詳述する。
【0096】
〔2−2.会話の信憑性の推定方法について〕
上述した心理的変化における音声の変化に基づいて、会話の信憑性を推定するための具体的な方法について説明する。音声データは、マイクなどの生体センサによって被験者から得ることができ、得た音声データ(例えば波形)はフーリエ変換を行うことによって図10に示すようなデータを得ることができる。上述したように、例えば「あ」の音声データはおよそ100Hzごとに波形のピーク(基準ピーク)を有している。つまり、嘘をついたり動揺したりして声がうわずった場合、実際に検出されるピークが上記基準ピークからシフトすることになるので、実際に検出されるピークの周波数と上記基準ピークの周波数との差を音声データに基づいて求めることによって、会話の信憑性を推定する(信憑性の有無を推定する)。
【0097】
具体的な例としては、以下の計算式(計算式8)に従って会話の信憑性の推定値(心身状態推定値)である会話信憑性推定値Est(a)を計算する事によって、「会話の信憑性」すなわち会話中に嘘が含まれているか否かを判定する。ここでは、過去にユーザに入力してもらったi回の「実際の会話の信憑性」をもとに、i+1回目の会話の信憑性を推定するものとする。基本的には上述した疲労レベルの推定方法と同様にして会話の信憑性を求めることができる。なお、ここで言うところの「実際の会話の信憑性」とは、ユーザが実際に感じている会話の信憑性を表している。
【0098】
【数8】

【0099】
ただし、δPniはi番目の推定(実際の会話の信憑性のユーザ入力値の入力時)における、n番目の基準ピークの周波数(基準周波数)と実際の検出されるピークの周波数との差である。aは上述の疲労レベルの演算用係数算出方法で説明した例に従って、過去の会話の信憑性の推定値と、過去にユーザに入力してもらったi回の「実際の会話の信憑性」(ユーザ入力値)とから計算する。ここで言うところの過去の会話の信憑性の推定値とは、過去にユーザに「実際の会話の信憑性」を入力してもらったi回の時点での推定値のことである。なお、このときにも、もちろん計算式3で示したシグモイド関数を使ってよい。
【0100】
計算式8で示した例は、説明を容易にするために係数aを4つだけとして、δPniと係数aとを掛け合わせた値の和のみで説明したが、もちろん係数aは4つである必要は必ずしもなく、δPniとの間でさまざまな計算方法が考えられる。
【0101】
なお、上述したような音声のピーク位置が変化する傾向は、動揺および嘘に限らず、精神的な変化(例えば、落ち込み、気分の高揚、疲労など)全体的にそれぞれ特徴的に現れる。その変化は、個人によって差が生じたり、時間によって差が生じたりするが、上述の疲労レベルの演算用係数算出方法で示したのと同じ手法をとることによって、各個人、状況に最適な係数を算出する事ができる。つまり、従来までは判別できなかった図10の太い破線で示した“嘘だが真実と判定される波形”のピーク位置であっても嘘として推定できるようにできることになる。この係数算出をどの段階で行うことが好ましいかについては後に詳述する。
〔2−3.心身状態の推定についてのまとめ〕
以上で挙げたように、生体センサ(特に具体的には加速度センサおよび音声センサ)から得た被験者の生体情報(特に具体的には体動データおよび音声データ)に基づいて、被験者の心身状態(特に具体的には疲労レベルおよび会話の信憑性)を推定する事ができる。上記推定にあたって、傾向は個々人または状況によって変化してしまうが、上述したように、上記推定に用いる演算のパラメータに対して、ユーザが実際に感じている心身状態の度合いを加味した補正を行うことによって、より正確な推定を行うことが可能になる。
【0102】
なお、本実施の形態では、疲労レベルを体動データの変化から推定する場合、および会話の信憑性を音声データの変化から推定する場合の補正について述べたが、鬱状態、ストレス、だるさを体動データの変化から推定する場合、ならびに動揺、あせり、疲労を音声データの変化から推定する場合にも同様の補正を行うことが可能である。また、嘘、ストレス、疲労レベル、痛み、苦痛、動揺、あせり、眠気、睡眠を心臓の電気的活動の変化(一定時間の揺らぎの変化)から推定する場合には、揺らぎの閾値に対して同様の補正を行うことによって、より正確な推定を行うことが可能になる。さらに、嘘、動揺、あせりを心拍数の変化から推定する場合には、心拍数の範囲の閾値に対して同様の補正を行うことによって、より正確な推定を行うことが可能になる。他にも、疲労レベル、ストレスをPCの入力機器への一定時間の移動量、および/または入力量から推定する場合には、移動量、および/または入力量の閾値に対して同様の補正を行うことによって、より正確な推定を行うことが可能になる。また、眠気、睡眠を活動度の変化から推定する場合には、睡眠判定する活動度の閾値に対して同様の補正を行うことによって、より正確な推定を行うことが可能になる。さらに、不幸感を呼気の長さ、および/または深さの変化から推定する場合には、呼気の長さ、および/または深さの範囲の閾値に対して同様の補正を行うことによって、より正確な推定を行うことが可能になる。また、嘘、動揺、あせりを皮膚伝導度の変化から推定する場合には、皮膚伝導度の変化の範囲の閾値に対して同様の補正を行うことによって、より正確な推定を行うことが可能になる。そして、疲労レベルを加速度に対する筋電の出力値の変化から推定する場合には、加速度と筋電の出力値との相関の傾きの閾値に対して同様の補正を行うことによって、より正確な推定を行うことが可能になる。
【0103】
〔3.システム構成および装置構成について〕
最初に、図2を用いて、本発明の心身状態推定システムの一実施形態に係る構成について説明する。図2は、心身状態推定システム1の概略図である。本実施の形態における心身状態推定システム1は、図2に示すように、生体センサ10および心身状態推定装置11を備えている。
【0104】
まず、生体センサ10は、被験者から生体情報を継続的に検出するセンサである。生体センサ10は、生体センサ10が検出した生体情報を一旦蓄積する蓄積部を備えていることが好ましい。これは、上記蓄積部に生体情報を一旦蓄積することで、生体センサ10から後述する心身状態推定装置11への生体情報の送信が短時間途絶えても、途絶えた時間に対応する生体情報を蓄積部から読み出し、生体情報を途切れることなく心身状態推定装置11に送信することができるようにするためである。生体情報には、上述したように体動データ、音声データ、心臓の活動のデータ、体温のデータ、皮膚伝導度のデータ、脈拍のデータ、筋電のデータ、および呼吸のデータなどがある。生体センサ10としては、体動データを得るための加速度センサ、音声データを得るための音声センサ(マイク)、心臓の活動をセンシングするための心電図センサ、筋電をセンシングするための筋電センサ、皮膚伝導度をセンシングするためのセンサ、および呼気(ため息)の長さ、深さなどをセンシングするための呼吸センサなどがある。
【0105】
続いて、心身状態推定装置11は、生体センサ10で得られた生体情報に基づいて被験者の心身状態を推定するものである。心身状態推定装置11の詳細な構成については、以下で述べる。
【0106】
次に、図1を用いて心身状態推定装置11の構成の概要について説明を行う。図1は本実施の形態における心身状態推定装置11の構成を示す機能ブロック図である。心身状態推定装置11は、図1に示すように、データ取得部21、第1データ格納部22、心身状態推定部(心身状態推定手段)23、ユーザ入力部(ユーザ入力値取得手段)24、第2データ格納部(格納部)25、心身状態推定用係数算出部(補正手段)26、第1タイマ27、警告判定部28、提示部29、起動部(起動手段)30、第1起動頻度判定部(第1起動頻度判定手段)31、第2起動頻度判定部(第2起動頻度判定手段)32、第2タイマ33、および起動判定部(起動判定手段)34を備えている。なお、心身状態推定部23および心身状態推定用係数算出部26が推定部15を構成しており、第1タイマ27、警告判定部28、および提示部29が警告部(警告手段)16を構成している。そして、起動部30、第1起動頻度判定部31、第2起動頻度判定部32、第2タイマ33、および起動判定部34が起動制御部17を構成している。
【0107】
まず、データ取得部21は、生体センサ10で得られた生体情報(データ)を取得するものである。そして、第1データ格納部22は、心身状態推定部23で心身状態を推定するに必要な、データ取得部21で取得した生体情報を格納するものである。
【0108】
続いて、心身状態推定部23は、第1データ格納部22に格納された生体情報を用いて、心身状態の推定値(心身状態推定値)を演算する(心身状態を推定する)ものである。そして、得られた心身状態推定値を第2データ格納部25、警告判定部28、および第1起動頻度判定部31に送るものである。なお、心身状態推定部23で行う演算については後に詳述する。
【0109】
ユーザ入力部24は、ユーザが実際の心身状態の度合い(ユーザ入力値)を入力するものであって、ユーザ入力部24は、入力されたユーザ入力値を第2データ格納部25、第1起動頻度判定部31、および第2起動頻度判定部32に送るものである。ここで言うところの実際の心身状態の値とは、ユーザが自覚している心身状態の度合いであって、心身状態が疲労である場合を例にとると、実際に体感している疲労の度合いのことである。なお、ユーザ入力値の入力については後に詳述する。
【0110】
第2データ格納部25は、心身状態推定部23で得られた心身状態推定値と、当該心身状態推定値に対してユーザ入力部24に入力されたユーザ入力値とを対応付けて格納するものである。
【0111】
また、心身状態推定用係数算出部26は、第2データ格納部25に格納されている心身状態推定値と当該心身状態推定値に対応したユーザ入力値とを用いて、心身状態推定部23で行う演算に用いられるパラメータ(心身状態推定用係数)を演算するものである。そして、得られた心身状態推定用係数を心身状態推定部23に送り、心身状態推定部23で行う演算に用いられるパラメータを新たに設定し直すものである。
【0112】
第1タイマ27は、所定の時間ごとに警告判定部28に対して判定処理を行わせる指示(判定命令)を入力するものである。なお、ここで言うところの所定の時間とは、推定する心身状態の時間的な変化のしやすさに応じて任意に設定されるものである。続いて、警告判定部28は、第1タイマ27から入力を受けた場合、心身状態推定部23から得た心身状態推定値が所定の範囲内であるか否かの判定を行うものである。そして、上記心身状態推定値が所定の範囲内であった場合に、提示部29にユーザに警告を行うメッセージを提示させたり(警告命令)、心身状態推定部23から得た心身状態推定値などを提示させたりするものである。なお、ここで言うところの所定の範囲とは、通常の心身状態からかけ離れた状態にあると判断される心身状態推定値の範囲であって、心身状態の種類に応じて任意に設定可能な範囲である。そして、提示部29は、上述したようにユーザに警告を行うメッセージ、および/または心身状態推定部23から得た心身状態推定値などを提示するものである。なお、提示部29に提示されるメッセージなどについては後に詳述する。
【0113】
なお、本実施の形態では、警告部16に第1タイマ27、警告判定部28、および提示部29を備える構成になっているが、必ずしもこれに限らない。例えば、警告部16が第1タイマ27を備えていない構成であってもよい。この場合には、警告判定部28は、心身状態推定部23から得た心身状態推定値が所定の範囲内であった場合に、提示部29にユーザに警告を行うメッセージ、および/または心身状態推定部23から得た心身状態推定値などを提示させればよい。ただし、第1タイマ27を備えることによって、短時間の間に必要以上に警告が現れないようにすることができるので、第1タイマ27を備えている構成がより好適である。
【0114】
続いて、起動部30は、第1起動頻度判定部31、第2起動頻度判定部32、または起動判定部34からの指示(起動指示)に従って、ユーザ入力部24へのユーザからの入力を促すようにユーザ入力部24を起動させるものである。また、第1起動頻度判定部31は、心身状態推定部23から得た心身状態推定値とユーザ入力部24から得たユーザ入力値との差に応じて、起動部30がユーザ入力部24を起動させる頻度を変化させるものである。例えば、第1起動頻度判定部31は、上記心身状態推定値と上記ユーザ入力値との差が所定の値以上であった場合に、起動部30にユーザ入力部24を起動させる指示を送る。他にも、第1起動頻度判定部31は、上記心身状態推定値と上記ユーザ入力値との差が所定の値以上であった場合に、起動部30にユーザ入力部24を起動させる頻度を増やす指示を送る。なお、ここで言うところの所定の値とは、心身状態の推定が正しく行えていないと判断される値であって、心身状態の種類に応じて任意に設定可能な値である。
【0115】
さらに、第2起動頻度判定部32は、ユーザ入力部24から得たユーザ入力値が所定の範囲内であるか否かの判定を行うものである。そして、上記ユーザ入力値が所定の範囲内であった場合に、起動部30がユーザ入力部24を起動させる頻度を変化させるものである。なお、ここで言うところの所定の範囲とは、通常の心身状態からかけ離れた状態にある、例えば実際のユーザの心身状態が極端に悪いと判断されるユーザ入力値の範囲であって、心身状態の種類に応じて任意に設定可能な範囲である。
【0116】
続いて、第2タイマ33は、所定の時間ごとに起動判定部34に対して判定処理を行わせる指示を入力するものである。なお、ここで言うところの所定の時間とは、推定する心身状態の時間的な変化のしやすさに応じて任意に設定されるものである。そして、起動判定部34は、第2タイマ33から入力を受けた場合、警告判定部28から得た心身状態推定値が所定の範囲内であるか否かの判定を行うものである。そして、上記心身状態推定値が所定の範囲内であった場合に、起動部30にユーザ入力部24を起動させる指示を送る。なお、ここで言うところの所定の範囲とは、通常の心身状態からかけ離れた状態にあると判断される心身状態推定値の範囲であって、心身状態の種類に応じて任意に設定可能な範囲である。また、起動判定部34は、警告判定部28で警告を行う(提示部29にユーザに警告を行うメッセージを提示させる)判定がなされた場合に、起動部30にユーザ入力部24を起動させる指示を送る構成であってもよい。
【0117】
なお、本実施の形態では、第1起動頻度判定部31で上記心身状態推定値と上記ユーザ入力値との差が所定の値以上であると判定した場合に、心身状態推定用係数算出部26での係数の算出を行わせる構成であってもよい。
【0118】
また、本実施の形態では、第2起動頻度判定部32で上記ユーザ入力値が所定の範囲内であると判定した場合に、心身状態推定用係数算出部26での係数の算出を行わせる構成であってもよい。
【0119】
次に、本発明の心身状態推定システムの他の実施の形態としての心身状態推定システム2の構成について図3を用いて説明を行う。なお、説明の便宜上、心身状態推定システム1および心身状態推定装置11の構成の説明中に示した部材と同様の機能を有する部材については、同一の符号を付し、その説明を省略する。図3は、心身状態推定システム2の概略図である。本実施の形態における心身状態推定システム2は、図3に示すように、生体センサ10、中継装置12、およびサーバ13を備えている。心身状態推定システム2は、基本的な構成部材は心身状態推定システム1と同様であって、心身状態推定装置11の構成部材が中継装置12とサーバ13とにそれぞれ分かれていることが異なっている。また、中継装置12とサーバ13とをネットワークを介して通信可能にするための構成をさらに備えている点が異なっている。
【0120】
詳しくは、中継装置12が、警告部16、起動制御部17、データ取得部21、第1データ格納部22、ユーザ入力部24、第2データ格納部25、および中継装置側通信部(通信手段)41を備え、サーバ13が推定部15およびサーバ側通信部(通信手段)42を備えている。これは、高度な演算処理が必要な心身状態推定部23および心身状態推定用係数算出部26(推定部15)を計算用のワークステーション等のサーバ13に備えることが好適であるためである。心身状態推定システム2では、中継装置12とサーバ13とに分かれて備えられている部材同士が、中継装置側通信部41およびサーバ側通信部42を介してネットワークを通じた情報のやり取りを行うことを除けば、心身状態推定システム1で行われる処理と同様の処理を行っている。
【0121】
なお、本実施の形態では、生体センサ10から心身状態推定装置11または中継装置12のデータ取得部21に生体情報を送信する場合に行われる通信方式については特に限定していないが、利便性を考えると無線がより好ましい。
【0122】
また、心身状態推定装置11および中継装置12は、携帯可能な小型機器により実現され、1つの電子機器、例えば携帯電話の内部に設けられることが好ましい。さらに、生体センサ10と心身状態推定装置11とからなる心身状態推定システム1が1つの電子機器、例えば携帯電話の内部に設けられる構成であってもよい。
【0123】
なお、本実施の形態では、心身状態推定装置11および中継装置12は、生体センサ10を備えない構成になっているが、必ずしもこれに限らず、心身状態推定装置11および中継装置12が生体センサ10を備えている構成であってもよい。この場合、生体センサ10と心身状態推定装置11および中継装置12とを備えた携帯電話が、技術的に小型化可能で利便性を損なわない方がより好適である。
【0124】
また、「会話の信憑性」を判定する目的に本発明を適用する場合などは、生体センサ10を通話の相手の電話のマイクとし、それ以外の心身状態推定装置11または中継装置12を携帯電話に搭載する構成が適しているといえる。
【0125】
なお、心身状態推定部23と提示部29との間は、利便性を考えて分離していてもよいし、小型化が可能であれば一体化していてもよい。また、起動制御部17、ユーザ入力部24、および心身状態推定用係数算出部26に関しても、心身状態推定部23と合わさった機器を想定しているが、それぞれが分離していてもよい。
【0126】
また、提示部29を省略し、ネットワークを介して医療機関またはユーザの管理者などにユーザの心身状態の推定値および/または危険度(後述する警告レベルなど)を送信する構成にしてもよい。
【0127】
なお、本実施の形態では、心身状態推定部23で得られた心身状態推定値を、警告判定部28を介して提示部29に送り、提示部29で提示する構成になっているが、必ずしもこれに限らない。例えば、心身状態推定部23で得られた心身状態推定値を、警告判定部28を介さずに提示部29に送り、提示部29で提示する構成であってもよい。
【0128】
また、本実施の形態では、心身状態推定装置11が警告部16を備える構成を示したが、必ずしもこれに限らない。例えば、心身状態推定装置11が警告部16を備えず、心身状態推定部23で得られた心身状態推定値を、ネットワークを介して医療機関またはユーザの管理者などに送信する構成であってもよい。他にも、心身状態推定装置11が提示部29を除く警告部16を備えず、心身状態推定部23で得られた心身状態推定値を提示部29に提示する構成であってもよい。
【0129】
なお、本実施の形態では、心身状態推定装置11が起動制御部17を備える構成を示したが、必ずしもこれに限らない。例えば、心身状態推定装置11が起動制御部17を備えない構成であってもよい。
【0130】
また、本実施の形態では、中継装置12が警告部16を備える構成を示したが、必ずしもこれに限らない。例えば、中継装置12が警告部16を備えない構成であってもよい。他にも、中継装置12が提示部29を除く警告部16を備えず、サーバ13の心身状態推定部23で得られた心身状態推定値を提示部29に提示する構成であってもよい。
【0131】
なお、本実施の形態では、中継装置12が起動制御部17を備える構成を示したが、必ずしもこれに限らない。例えば、中継装置12が起動制御部17を備えない構成であってもよい。
【0132】
また、本実施の形態では、心身状態推定システム2が生体センサ10を備える構成を示したが、必ずしもこれに限らない。例えば心身状態推定システムが生体センサ10を備えない構成であってもよい。
【0133】
なお、本発明では、心身状態推定システム1、心身状態推定システム2、および心身状態推定装置11が生体センサ10を複数備えていてもよい。これは、生体センサ10を組み合わせることによって、より精度の高い心身状態の推定を行うことが可能になる場合があるためである。例えば、心身状態として疲労の推定を行う場合であれば、体動のみならず、複数の生体センサ10から得た心拍、筋電、音声のデータを組み合わせることによって、より高い精度で疲労の推定を行うことが可能になる。
【0134】
また、疲労時の体動データの傾向を検出する方法は、加速度センサを用いる方法に限定されない。例えば、位置情報を検出することで、疲労時の体動データの傾向を検出することも可能である。この場合は、ユーザの体に取り付ける位置情報センサから出力される位置情報を、たとえばUWB(Ultra Wide Band)による通信手段を用いて受信すれば、小型および低消費電力でユーザの位置情報を検出することができる。このように位置情報を検出する場合は、時系列に位置情報の変化を求めることで、各時間におけるユーザの速度情報に変換でき、さらにその速度情報の変化を取ることで、ユーザの加速度の情報に変換することができる。
【0135】
なお、ビデオカメラ等の撮像手段を用いて、ユーザの体動を撮影した画像情報を取得することでも、原理的にユーザーの疲労を検出することが可能である。このように画像情報を用いる場合は、画像認識処理により、まず被験者の体の一部(たとえば腕や頭部)の動きを常に監視する。そして、加速度センサの出力を疲労レベルの推定に用いる場合と同様に、体の一部の移動変化量を時間で2回微分することにより、該当する身体の一部の加速度を取ることができる。画像情報から加速度を取得した後は、加速度センサを用いる場合と同様の手順にて疲労レベルを推定すればよい。
【0136】
上述したようにカメラを用いると、ユーザを拘束することなくユーザの体動を把握できる点にメリットはあるが、ユーザはカメラの周辺に常に居る必要があり、画像情報から体動データを得るために膨大な計算量が必要となる場合がある。また、UWBを用いると、小型消費電力で効率的に疲労レベルを推定することが可能になるが、UWBによる位置情報の精度はそれほど高くないため、疲労レベルの推定精度も低下する。従って、より高い精度で簡易に疲労レベルを推定できるという点で、加速度センサにより体動データを測定することが好ましい。
【0137】
提示部29での警告出力は、情報量の多さおよび利便性を考えると表示部への画面表示が適していると思われるが、必ずしも画面表示する必要は無く、スピーカーからの音による警告、振動ならびに形状の変化など、人が認知できるあらゆる形態が考えられる。
【0138】
〔4.処理フロー〕
以下では、心身状態の推定を行うためのフロー、心身状態推定値の演算するためのフロー、および心身状態推定用係数を算出するためのフローの説明を行う。
【0139】
〔4−1.心身状態推定の処理フロー〕
まず、図4を用いて心身状態の推定を行うためのフローの説明を行う。図4は、心身状態の推定方法の一実施形態を示すフローチャートである。
【0140】
まず、ステップS1では、生体センサ10(疲労レベルの推定を行う場合は、加速度センサ)によって、生体情報の計測が開始される。その後、ステップS2では、生体センサ10が生体情報を取得し続け、上述した蓄積部に生体情報を蓄積する。続いてステップS3では、生体センサ10での生体情報の測定開始から一定時間(例えば30分)が経過しているか否かを判断する。そして、測定開始から一定時間が経過していた場合(ステップS3でYes)には、ステップS4に移る。また、測定開始から一定時間が経過していなかった場合(ステップS3でNo)には、ステップS2に戻ってフローを繰り返す。このようにして、測定開始から一定時間経過するまでに生体センサ10により測定された生体情報が、蓄積部に蓄積される。
【0141】
ステップS4では、蓄積部に蓄積されていた生体情報が、データ取得部21で取得され、第1データ格納部22に蓄積(格納)される。そして、ステップS5では、第1データ格納部22に格納されていた生体情報を用いて、上述の“心身状態の推定方法について”で示した計算式に基づいて、心身状態推定部23で心身状態推定値の演算を行う。
【0142】
続いて、ステップS6では、過去の警告を発してからの経過時刻が十分に長いか否かを警告判定部28が判断する。そして、経過時刻が十分に長かった(例えば、前回の警告から2時間以上経過)場合(ステップS6でYes)には、ステップS7に移る。また、経過時刻が十分に長くなかった場合(ステップS6でNo)には、フローを終了する。
【0143】
ステップS7では、心身状態推定部23で求めた心身状態推定値が所定の値以下か否かを警告判定部28が判断する。そして、心身状態推定値が所定の値以下であった場合(ステップS7でYes)には、ステップS10に移る。また、心身状態推定値が所定の値以下でなかった場合(ステップS7でNo)には、ステップS8に移る。ステップS8では、心身状態推定部23で求めた心身状態推定値が所定の値以上か否かを警告判定部28が判断する。そして、心身状態推定値が所定の値以上であった場合(ステップS8でYes)には、ステップS9に移る。また、心身状態推定値が所定の値以上でなかった場合(ステップS8でNo)には、フローを終了する。続いて、ステップS9では、警告判定部28が提示部29に警告を提示させる。そして、ステップS10では、起動判定部34の指示によって起動部30がユーザ入力部24を起動させる。そして、当該心身状態推定値に対して実際にユーザが感じている心身状態の度合い(ユーザ入力値)のユーザ入力部24への入力を促す。なお、ここで言うところの所定の値とは、ユーザの心身状態が極端に悪い、または良いと判断される心身状態推定値の閾値であって、心身状態の種類に応じて任意に設定可能な値である。
【0144】
なお、疲労レベルの推定を行う場合の例をここでは示す。疲労レベルの推定を行う本例では、ステップS7で心身状態推定値のレベル(本例の場合は疲労レベル)が20%以下の場合は、ステップS10でユーザ入力部24を起動させ、実際の疲労レベルが20%以下のオーダーにあるか否かをユーザに入力させる。また、ステップS8で疲労レベルが80%以上の場合は、ステップS9でユーザに対して、過労気味である警告を提示部29によって提示する。そして、ステップS10でユーザ入力部24を起動させ、実際の疲労レベルが80%以上のオーダーにあるか否かをユーザに入力させる。
【0145】
ステップS11では、上記心身状態推定値と上記ユーザ入力値とを第1起動頻度判定部31で比較し、上記心身状態推定値と上記ユーザ入力値とに大きな乖離があった場合(ステップS11でYes)には、ステップS12に移る。また、上記心身状態推定値と上記ユーザ入力値とに大きな乖離がなかった場合(ステップS11でNo)には、ステップS13に移る。ここで言うところの大きな乖離の例としては、例えば過去10回分の比較のうち、50%以上の開きが出たケースが4回以上ある場合などがある。なお、ここで言うところの大きな乖離とは、心身状態の推定が正しく行えていないと判断されるだけの心身状態推定値とユーザ入力値との食い違いの度合いであって、心身状態の種類に応じて任意に設定可能な値である。
【0146】
ステップS12では、心身状態推定用係数算出部26によって、第2データ格納部25に格納されている上記心身状態推定値と上記ユーザ入力値とに基づいて心身状態推定用係数を算出し、算出した心身状態推定用係数を心身状態推定部23の演算のパラメータとして設定し直してフローを終了する。
【0147】
なお、本実施の形態では、ユーザ入力部24を心身状態推定値に応じて起動する場合のみを示したが、ユーザ入力部24は第2タイマ33によって指定されるスケジュールに応じて、頻繁に行われることが好ましい。これは、心身状態推定用係数によっては、ユーザ入力部24がなかなか起動しない場合があるからである。
【0148】
また、第2タイマ33によって指定されるスケジュールに応じてユーザ入力部24の起動を頻繁に行う場合、第2タイマ33によって指定されるスケジュールは変化することが望ましい。例えば、ステップS11で、心身状態推定値とユーザ入力値とに大きな乖離があった場合、正しく心身状態を推定できていない可能性が高く、多くのデータ(生体情報)を集めていち早く正しい状態に戻すために、頻繁にユーザ入力部24を起動することが好ましい。また、正しく心身状態を推定できている場合でも、ユーザの状態が思わしくない(疲労レベルが高いなど)場合には、より精確な情報が必要であるため、やはり頻繁にユーザ入力部24を起動することが好ましい。
【0149】
なお、以下では会話の信憑性を推定する場合の例についても説明を行う。「会話の信憑性」を推定する場合には、生体センサ10は音声センサ(マイク)であり、心身状態は相手の話す内容の信憑性ということになる。基本的には疲労の推定の場合と同様のフローになるが、会話の信憑性は音声のほんの一部から推定が出来るので、ステップS2までに蓄積部に蓄積する生体情報は数秒程度の音声データでよいと考えられる。
【0150】
さらに、会話の内容は逐一変化し、真実と偽りとが頻繁に変化すると思われるので、本例ではステップS6は省いてよい。また、ステップS7およびステップS8に関しても、会話の信憑性の推定値のレベルが30%以下の場合に、ステップS9で提示部29から音声で警告を提示し、会話の信憑性の推定値のレベルに関係なく、常にユーザ入力部24を起動し、ユーザからの入力を待つ。ここでユーザは、会話の流れから真実か偽りかを予測し、もし疑わしい内容を相手が話しているにもかかわらず警告を発しなかった場合や、相手が真実を話していると思われるにも関わらず警告を発した場合には、ユーザはユーザ入力部24に対して実際に感じる会話の信憑性のレベル(ユーザ入力値)を入力する。ユーザによるユーザ入力値入力の後、過去の会話の信憑性の推定値とユーザ入力値との間に大きな乖離があった場合に、心身状態推定用係数算出部26によって心身状態推定用係数の算出を行う(ステップS12)。
【0151】
なお、心身状態推定用係数の計算においては、χを算出する際に過去の会話の信憑性の推定に用いた会話の信憑性の推定値を再度利用する。従って、計算効率を高めるためにピークの位置やユーザ入力値を第2データ格納部25に保存する。以上の流れを繰り返すと、会話の前半では会話の信憑性の推定値が正しく得られなくても、会話の後半には会話の信憑性の推定値の精度が向上してくる。また、会話の相手に応じてパラメータやピークの位置を保存しておくことで、次回の会話からは最初から高い精度で会話の信憑性が推定できるようになる。
【0152】
〔4−2.心身状態推定値の演算フロー〕
ここでは、図5を用いて心身状態推定値として疲労レベルを演算するための処理フローの説明を行う。図5は、心身状態推定値を演算するための具体的な処理を示すフローチャートである。以下では、平均と歪度という2つの統計値を用いて疲労レベルを演算する場合を例にして説明を行う。
【0153】
まず、ステップS51では、心身状態推定部23が第1データ格納部22に格納された生体情報(本例の場合は加速度データ)を取得する。続いて、ステップS52では、心身状態推定部23が、ハイパスフィルタを用いて上記加速度データから重力による影響を除去する。そして、ステップS53では、重力による影響が除去された加速度データが所定の閾値を通過する回数を検出することにより、zero crossing data(すなわち体動データ)を心身状態推定部23が得る。
【0154】
その後、心身状態推定部23は、体動データの平均値Meanを算出する処理(ステップS54)と、体動データからトレンドを除去する処理(ステップS55)し、体動データの歪度Skewを算出する処理(ステップS56)とを並行して行い、ステップS57に移る。
【0155】
そして、ステップS57では、ステップS54〜ステップS57で算出した平均値Meanおよび歪度Skewを用いて、計算式4に従ってEst(a)を算出し、算出したEst(a)をもとに計算式3に従って疲労レベルFatigueを算出し、フローは終了する。ただし、計算式4のaの初回値(心身状態推定用係数算出部26で算出していない初期値)は、[am1,am2,am3,am4]=[0.732,58.321,4.028,33.370]とし、後に心身状態推定用係数算出部26によって、aは設定し直されるものとする。
【0156】
なお、会話の信憑性の推定値を演算する場合も同様にして演算を行うことができる。例えば、会話の信憑性の推定値の演算の場合は、計算式8に従ってEst(a)を算出し、会話の信憑性の推定値Believabilityを計算式3に従って算出すればよい。ただし、計算式8のaの初回値は、[am1,am2,am3,am4]=[0.25,0.25,0.25,0.25]とし、後に心身状態推定用係数算出部26によって、aは設定し直されるものとする。
【0157】
〔4−3.心身状態推定用係数の算出フロー〕
ここでは、図6を用いて心身状態推定用係数を算出するための処理フローの説明を行う。図6は、心身状態推定用係数を算出するための具体的な処理を示すフローチャートである。以下では、疲労レベルの演算に用いるパラメータ(係数)を算出する場合を例にして説明を行う。
【0158】
まず、ステップS121では、心身状態推定用係数算出部26が第2データ格納部25から心身状態推定値と当該心身状態推定値に対応するユーザ入力値とを取得する。続いてステップS122では、初期値としてm=0を設定し、ステップS123に移る。そして、ステップS123では、計算式6のλの値をλ=0.001と設定し、ステップS124に移る。
【0159】
ステップS124では、上記心身状態推定値と上記ユーザ入力値とを用いて、計算式5に基づいてχ(a)を算出する。なお、σは正しくは標準偏差が入るが、a収束の計算負荷を減らすために今回はσ=1とする。続いて、ステップS125では、χ(a)とλとを用いて、計算式6に基づいてαklおよびβを算出し、ステップS126に移る。ステップS126では、さらに計算式6に基づいてα’mklを算出し、ステップS127に移る。そして、ステップS127では、α’mklおよびβを用いて計算式7に基づいてδaを逆算(算出)し、ステップS128に移る。
【0160】
ステップS128では、χ(a+δa)とχ(a)とを比較し、χ(a+δa)≧χ(a)であるか否かの判定を行う。そして、χ(a+δa)≧χ(a)であった場合(ステップS128でYes)には、ステップS129に移る。また、χ(a+δa)≧χ(a)でなかった場合(ステップS128でNo)には、ステップS130に移る。ステップS129では、λm+1=λ×10、am+1=aとして、ステップS124に戻ってフローを繰り返す。
【0161】
ステップS130では、χ(a+δa)とχ(a)とを比較し、χ(a+δa)<χ(a)−0.1であるか否かの判定を行う。そして、χ(a+δa)<χ(a)−0.1であった場合(ステップS130でYes)には、ステップS131に移る。また、χ(a+δa)<χ(a)−0.1でなかった場合(ステップS130でNo)には、ステップS132に移る。ステップS131では、λm+1=λ×0.1、am+1=a+δaとして、ステップS124に戻ってフローを繰り返す。そして、ステップS132では、aが収束していると判断し、aを新たな心身状態推定用係数として心身状態推定部23に設定する。なお、信憑性の推定値の演算に用いるパラメータを算出する場合もaを求めるのと同様にしてaを求めればよい。
【0162】
〔5.心身状態推定装置の装着例〕
次に図14(a)〜図15(b)を用いて、本実施形態に係る心身状態推定装置11の装着例を示す。図14(a)〜図14(c)は、図1を用いて説明した心身状態推定装置11を搭載した携帯電話の外観の一例である。以後、これを「本発明品付き携帯電話」と呼び、本発明の機能を持った電子機器全般を「本発明品」と称して区別する。本発明品付き携帯電話の記載内容に関しては、電話に関する記載を除く全ての内容について、本発明品の構成を説明する記載として理解されたい。
【0163】
本発明品付き携帯電話101は、図14(a)に示すように、折り畳み式のものであり、本体部102と蓋体部103とによって構成される。本発明品付き携帯電話101に関しては、心身状態推定装置11が搭載されている点以外は、一般に流布している携帯電話と大きく異なったところはない。
【0164】
本体部102は、図14(c)に示すように、携帯電話操作用のキーが配列されたものであり、蓋体部103の表示部103b(提示部29の一部)は、携帯電話の各種機能の表示を行う。
【0165】
通常、本発明品付き携帯電話101を使用しないとき、ユーザは、本発明品付き携帯電話101を図14(a)に示すように折り畳まれた状態とし、ズボンなどのポケットなどにしまっておく。そして、ユーザが、本発明品付き携帯電話101を使用するときは、図14(a)の状態から、図14(b)の状態を経て図14(c)の状態まで本発明品付き携帯電話101を開く。
【0166】
この本発明品付き携帯電話101では、表示部103bにおける画面表示により、ユーザに対する疲労警告を行うことができる。疲労警告をユーザが確認する際には、電話着信時や、メール受信・送信時とほとんど同じ動作で疲労警告を確認することができる。すなわち、図14(a)の状態から、図14(b)の状態を経て図14(c)の状態まで本発明品付き携帯電話101を開き、表示部103bにおける画面表示を視認することで、自分の疲労状態を知ることができる。あるいは、通話中の会話の信憑性を判定するのであれば、通話の相手の音声とともにスピーカー部103cまたは図示しないスピーカー(提示部28の一部)から警告音を発することで警告を行うことが出来る。
【0167】
なお、本発明品付き携帯電話101で警告を行う方法は、上述の方法に限定されるものではない。たとえば蓋体部103に小型表示部103aがあれば、小型表示部103aに疲労の状態を表示してもよい。これにより、本発明品付き携帯電話101を開くことなく疲労状態を確認することができる。ただし、表示部103bを用いる方が、小型表示部103aを用いるよりも、大きな画面に疲労の状態を詳細に表示できるので、疲労状態を正確にユーザに伝えることができる。また、会話の信憑性を判断する場合でも、もちろん表示部103bに表示しても良い。視覚的に表示することによって、警告音だけでは盛り込めない情報(たとえば会話の信憑性のレベル、および会話の信憑性の時間変化など)をユーザに提示することが出来るので、より詳しい情報をユーザに提供することができる。もちろん、表示部103bにおける画面表示に限らず、音またはバイブレーションで疲労の状態をユーザに伝えたり、音とバイブレーションとを組み合わせて疲労の状態をユーザに伝えたり、さまざまな方法で疲労の状態をユーザに提示する構成であってもよい。
【0168】
例えば、疲労であれば、心身状態推定装置11での推定結果(心身状態推定値)として70%の疲労レベルが得られた場合に短いビープ音を鳴らすとともに、表示部103bに休憩を促すメッセージ表示を行ってもよい。そして、90%以上などといった高い疲労レベルが得られた場合は、本発明品付き携帯電話101の折り畳み状態から蓋体部103が開かれる動作を検出する等、ユーザによるメッセージの確認処理が検出されるまで、ビープ音またはバイブレーションを用いて疲労警告を継続するようにしてもよい。これにより、確実にユーザへの警告を行うことができる。
【0169】
図15(a)は、疲労を対象とした場合、加速度センサとしての生体センサ10が搭載された腕時計を、腕に装着した状態を示す図である。加速度センサを搭載した腕時計の外観は、一見通常の腕時計と大きく違わず、時刻の確認も可能である。しかし、生体センサ10を搭載した腕時計は、その内部に生体センサ10を構成する部材が搭載されている点において、通常の腕時計とは異なる。
【0170】
図15(b)に、本発明品を普段使用するイメージ図を示す。本発明品を使用する際には、本発明品付き携帯電話101をズボンのポケットなどに入れてユーザの身近に携帯しておき、使用時には図15(b)に示すような具合で会話をしたり、表示部103bを確認したりする。生体センサを加速度センサとし、疲労を対象とした場合、本発明品付き携帯電話101を使用するときも、使用しないときも、生体センサ10を搭載した腕時計201を常に手首に装着する。なお、音声による信憑性の検出の場合は、生体センサ10は通話の相手の音声センサ(マイク)になるため、疲労を対象にした場合と異なって、上述したような生体センサ10を搭載した腕時計201をユーザが装着する必要はない。
【0171】
基本的に、本発明品付き携帯電話101と腕時計201とは、頻繁に通信を行うため両者間は通信を行うことができる範囲内になければならない。しかしながら、上述したように生体センサ10に蓄積部を備えている場合には、本発明品付き携帯電話101と腕時計201との間における通信が途絶えても、上述した理由により、途切れることなくユーザの加速度データを取得することができる。
【0172】
なお、図15(b)では、本発明品付き携帯電話101と腕時計201とが分離した構成を示しているが、必ずしもこれら2つの構成は分離させなくてもよい。例えば、加速度センサを搭載した携帯電話をユーザに普段から携帯させれば、本発明の心身状態推定装置11に係る機能を、その携帯電話のみで実現することができ、部品点数を減らすメリットが得られる。ただし、手首の加速度を用いれば、最も高い精度でユーザの疲労レベルの推定できるので、本発明の実施形態では本発明品付き携帯電話101と腕時計201とを分離する構成を採用している。
【0173】
なお、本実施の形態では、心身状態推定装置11の装着例について説明を行ったが、心身状態推定装置11を中継装置12に置き換えた場合にも上記装着例を同様に適用できる。
【0174】
本実施の形態では、疲労レベルの推定を行う場合に、生体情報である活動度を身体の一部(手首)から検出するものを前提にしているが、疲労推定を行う場合、同様のセンサを手首のみならず全身に装着してもよい。手首は、比較的動かすことが多いため、体動データを測定することに適するが、乗り物に乗るなど外的要因で動くことも多く、その場合、疲労レベルの推定精度が低下する。その低下を防ぐために、センサの数および/または種類を増やして装着する事は当然考えられる。
【0175】
例えば、手首は睡眠中であれば、本来ほとんど動きがない。しかし、乗り物に乗っていると乗り物のゆれに応じて動くことがあり、そのゆれによる加速度を元に疲労レベルを推定しても意味がない。このように、外的要因による振動を活動度と誤って判断しないためには、全身(例えば、腰部、脚部、体幹、および頭部など)の加速度を測定し、乗り物のゆれによる振動を、全身の加速度から相殺するのが良い。
【0176】
また、手首の加速度から疲労レベルの推定ができない場合、加速度測定位置に関する第2・第3の候補(腰部、脚部、体幹、および頭部など)の動きから、疲労レベルを推定することも考えられる。たとえば、医療従事者は、手洗い時に感染症を懸念して、腕時計をはずして手首まで手を洗う必要があり、状況によっては、その後しばらく腕時計を装着しないことも考えられる。その場合は、手首以外の部分における活動度を測定し、その活動度から疲労レベルの推定を行うことで、途切れることなく正しく疲労の推定を行うことできる。
【0177】
〔6.警告および入力処理について〕
〔6−1.疲労時の警告および入力処理について〕
本発明品付き携帯電話101の警告例として、疲労の警告を行う例を以下に示す。心身状態推定部23で演算された疲労レベルの推定値(心身状態推定値)が、例えば70%以上であると警告判定部28により判定された場合、電話着信時と同様の呼び出し音をスピーカー部103cまたは図示しないスピーカーから発するとともに、図16(a)に示すように休憩を促すメッセージを表示部103bに表示する。疲労の警告レベルについては複数設定してもよい。また、疲労警告のレベルはユーザによって受け止め方が異なり、過去の心身状態推定値およびユーザ入力値も確認したい場合があると考えられるので、図16(b)に示すように過去の推定値(疲労推定レベル)をグラフ表示してもよい。
【0178】
以上のように、表示または警告された疲労レベルに対して、心身状態推定値が必ずしも正しいとは限らない。従って、警告が現れた場合(疲労レベルが高かった場合)、あるいは逆に疲労レベルが低かった場合、図16(c)に示すように、ユーザが実際に感じている疲労レベル(ユーザ入力値)の入力を促すような画面を提示部29に表示することによって、本当に心身状態推定装置11またはサーバ13で得られた疲労レベルの推定値(心身状態推定値)とユーザが実際に感じている疲労レベルとが同等のレベルにあるかどうかをユーザからユーザ入力部24に入力してもらう。また、体動データから疲労レベルを推定する場合は、体動データが常に取得できているとは限らない。例えば、乗り物に乗っていれば、体動データは乗り物に応じて変化するし、生体センサ情報検知部をはずしていれば体動データを取ることは出来ない。そういった場合に備えて、図16(d)に示すように、過去の一定時間に取得した生体情報を心身状態の推定に用いてもよいかどうかを確認する確認画面を提示部29に表示してもよい。また、過去の疲労推定レベルにさかのぼって推定結果が正しいかどうかをユーザに入力してもらう方法も考えられる。その場合の好適な例として、図16(e)に示すように、提示部29に過去の生体情報の変化をグラフ表示し、自己の記憶と比較して極端に差がある時点をカーソルなどで選択し、修正することによって過去の疲労推定レベルに対してユーザ入力値を入力する構成であってもよい。
【0179】
以上のようにして、ユーザが入力したユーザ入力値をもとに、心身状態推定用係数算出部26で疲労レベル(心身状態)の推定の演算に使用する係数を算出し、次回の疲労レベルの推定時に使用する。
【0180】
なお、結果として得られた疲労レベルの推定値を伝える相手、およびユーザ入力値を入力する者は、本発明品を装着または携帯しているユーザに限る必要はなく、心身状態推定装置11および中継装置12も携帯電話に搭載が限られるものでないことは当然である。
【0181】
〔6−2.会話の信憑性の警告および入力処理について〕
次に、本発明品付き携帯電話101の警告例として、会話の信憑性の警告を行う例を図17(a)〜図17(c)を用いて以下に示す。図17(a)は、本発明品付き携帯電話101が相手の会話を嘘(会話の信憑性が疑わしい)と推定した場合のイメージを示す図である。図17(b)は、本発明品付き携帯電話101の表示部103bに表示される、ユーザが取るべき行動を促すメッセージを示す図である。そして、図17(c)は、本発明品付き携帯電話101での会話の信憑性の推定結果とそれに対してのユーザが取るべき対応とをまとめた表を示す図である。
【0182】
まず、心身状態推定部23で演算された会話の信憑性の推定値(心身状態推定値)が、例えば、30%以下であると警告判定部28により判定された場合、図17(a)に示すように電話のスピーカー部103c(提示部29の一部)からは、相手の音声とともに警告音が発せられる。ユーザは、この警告音から相手の会話の信憑性(すなわち、嘘をついているか否か、または嘘をついている可能性がどの程度あるのか)を知ることができる。一方、ユーザは会話の内容から会話の信憑性をある程度は判別することができる。ここで、ユーザが、会話の信憑性が疑わしいと察したにも関わらず、提示部29から警告音が鳴らない場合、会話の信憑性の推定値に誤りがある可能性が考えられる。逆に、ユーザが会話の信憑性が高いと判別したにもかかわらず、提示部29から警告音が鳴った場合も、会話の信憑性の推定値に誤りがあると考えられる。その場合、ユーザは本発明品付き携帯電話101のユーザ入力部24への入力を行うことによって、心身状態推定用係数算出部26にユーザが実際に感じた会話の信憑性のレベル(ユーザ入力値)のデータを送る。例えば、真実を話している(会話の信憑性が高いと判別した)にもかかわらず、提示部29から警告音が鳴った場合は本発明品付き携帯電話101のボタン「6」を押し、嘘を話している(会話の信憑性が疑わしい)にもかかわらず、提示部29から警告音が鳴らなかった場合は、本発明品付き携帯電話101のボタン「4」を押す。そして、それ以外の場合は、ユーザは本発明品付き携帯電話101のボタンを押さないものとする。これをまとめると、図17(c)の表に示すようなる。なお、ユーザがいつでも確認できるように、例えば表示部103b(提示部29の一部)に、ユーザが取るべき行動を促すメッセージを図17(b)のように表示する構成であってもよい。
【0183】
なお、会話の信憑性の警告レベルについては複数設定してもよい。また、会話の信憑性の警告のレベルはユーザによって受け止め方が異なり、過去の心身状態推定値およびユーザ入力値も確認したい場合があると考えられるので、上述の疲労時の警告処理例と同様にして過去の推定値(疲労推定レベル)をグラフ表示してもよい。
【0184】
以上のように、表示または警告された会話の信憑性のレベルに対して、心身状態推定値が必ずしも正しいとは限らない。従って、警告が現れた場合(会話の信憑性のレベルが低かった場合)、あるいは逆に会話の信憑性のレベルが高かった場合、図16(c)に示すように、ユーザが実際に感じている会話の信憑性のレベル(ユーザ入力値)の入力を促すような画面を提示部29に表示することによって、本当に心身状態推定装置11またはサーバ13で得られた会話の信憑性のレベルの推定値(心身状態推定値)とユーザが実際に感じている会話の信憑性のレベルとが同等のレベルにあるかどうかをユーザからユーザ入力部24に入力してもらう。また、過去の会話の信憑性の推定値にさかのぼって推定結果が正しいかどうかをユーザに入力してもらう方法も考えられる。その場合の好適な例として、上述の疲労時の入力処理例と同様にして、提示部29に過去の生体情報の変化をグラフ表示し、自己の記憶と比較して極端に差がある時点をカーソルなどで選択し、修正することによって過去の会話の信憑性の推定値に対してユーザ入力値を入力する構成であってもよい。
【0185】
以上のようにして、ユーザが入力したユーザ入力値をもとに、心身状態推定用係数算出部26で会話の信憑性のレベル(心身状態)の推定の演算に使用する係数を算出し、次回の会話の信憑性のレベルの推定時に使用する。
【0186】
なお、ユーザ入力値を入力する者は、本発明品を装着しているユーザに限る必要はなく、心身状態推定装置11および中継装置12も携帯電話に搭載が限られるものでないことは当然である。
【0187】
〔7.補足〕
まず、本発明によって得られる効果について、実例を用いて説明を行う。ここでは、心身状態推定装置11を用いて疲労レベルを推定した場合を例として図18を用いて説明を行う。図18は、心身状態推定部23での演算のパラメータの補正を行った場合と行わなかった場合との心身状態推定値を比較したグラフである。そして、横軸が推定回数(心身状態推定値を求めた回数)を示し、縦軸は疲労レベルを示している。
【0188】
図18中の中抜きのひし形(および破線のグラフ)は、心身状態推定部23での演算のパラメータの補正を心身状態推定用係数算出部によって行わなかった場合の疲労レベル(の推定値)を表している。すなわち、初期に設定されたパラメータを用いて心身状態推定部23での演算を行って疲労レベルの推定値を求めた結果である。また、黒塗りのひし形(および推定回数11回目からの細線のグラフ)は、心身状態推定部23での演算のパラメータの補正を心身状態推定用係数算出部によって行って得られた疲労レベルの推定値を表している。ただし、黒塗りのひし形は、過去10回分の疲労レベルの推定値とそれに対応するユーザ入力値とに基づいて心身状態推定部23での演算のパラメータの補正を行い、補正したパラメータを用いた演算で得られた疲労レベルの推定値なので、推定回数11回目からのデータを図18中で示している。そして太線のグラフは、ユーザが実際に感じた疲労レベル(ユーザ入力値)を表している。
【0189】
例えば、疲労レベル50%で警告を提示部29から提示する場合、上記パラメータの補正を行わない演算によって得られた疲労レベルの推定値に従った場合は、最初の10回を除く31回の推定回数のうち、ユーザ入力値に対して13回の誤った時点で警告を提示したり、警告を提示しなかったりしている。これに対して、上記パラメータの補正を行う演算によって得られた疲労レベルの推定値に従った場合は、最初の10回を除く31回の推定回数のうち、ユーザ入力値に対して2回の誤った時点で警告を提示しているだけである。以上に示したように、本発明を用いることで実際に、より高い精度で心身状態の推定を行うことが可能になっている。
【0190】
なお、本実施の形態では、心身状態として、「疲労」、「会話の信憑性(嘘)」、「鬱状態」、「眠気」、「睡眠」、「動揺」、「だるさ」、「不幸感」、「あせり」、「ストレス」、「痛み」、および「苦痛」などを挙げてきたが、必ずしもこれに限らず、他にも「倦怠感」、ならびに「不安」など本人または他人が確認できるあらゆる心身状態を対象にすることができる。
【0191】
また、生体センサとして、「疲労」に対して加速度センサ、「嘘」に対して音声センサ(マイク)を特に例にとって説明したが、上述の“生体情報の変化についてのまとめ”で示したように、「疲労」、「会話の信憑性(嘘)」、「鬱状態」、「眠気」、「睡眠」、「動揺」、「だるさ」、「不幸感」、「あせり」、「ストレス」、「痛み」、および「苦痛」に対して、加速度センサ、音声センサ、心電図センサ、心電図センサ以外の心臓の活動をセンシングするセンサ、キーボードまたはマウスなどの入力機器、呼吸センサ、皮膚伝導度をセンシングするセンサ、ならびに筋電センサなどの生体センサを用いることができ、他にも、あらゆる生体情報をセンシングするセンサを対象にすることができる。
【0192】
なお、本実施の形態では、1つの生体センサ10から得た生体情報をもとに心身状態を推定する場合を中心に推定に用いるパラメータの補正についての説明を行ったが、複数の生体センサ10から得た生体情報をもとに心身状態を推定する場合にも同様の補正を行うことができる。例えば、加速度センサと筋電センサとの2つの生体センサ10から得られる加速度に対する筋電の出力値の変化から疲労レベルを推定する場合にも、加速度と筋電の出力値との相関の傾きの閾値というパラメータに対して同様の補正を行うことができる。
【0193】
また、本実施の形態では、心身状態推定装置11、中継装置12、または心身状態推定システム1を組み込む電子機器として、携帯電話を例に挙げた。これは、携帯電話は協同で使用するよりも個人で持つ場合のほうが多く、かなり高い割合で常に携帯するため、個々人の心身状態を推定するのに都合が良いからである。しかし、本発明の機能を持った電子機器は、携帯電話に限られるものでなく、PCまたは車載機器としてもよい。例えば、疲労レベルを推定する機能を持ったPCを業務で使うことで、業務中にユーザが疲労を感じていると判断されれば、PCに設けられた提示部29からユーザに休憩を促すことができ、過労に起因する諸問題を避けることができる。また、車載機器に疲労レベルを推定する機能を持たせることで、車載機器に設けられた提示部29から運転のし過ぎや休憩のタイミングをユーザに知らせることができ、事故を未然に防ぐことができる。
【0194】
なお、疲労は、鬱病および慢性疲労症候群などのさまざまな神経系疾患に共通した症状である。また、近年、疲労に伴う事故および過労を原因とした疾患が問題となっている。そのため、いつでも手軽に疲労を検出することができると、上記で挙げたような神経疾患の早期発見および症状の程度の判断が可能となる。他にも、上述したように疲労に伴う事故を未然に防ぐことが出来るなど、非常に意義深いものである。
【0195】
また、本発明品を用いた疲労レベルの推定は、必ずしもリアルタイムに行う必要はない。たとえば、疲労レベルまたは会話の信憑性のレベルを推定した結果を示すデータを一定期間だけ蓄積しておき、その蓄積されたデータを基に、たとえば家庭用PCを用いて疲労レベルの推定を行ってもよい。これにより、過去の一定期間における疲労レベルまたは会話の信憑性のレベルの経時的な推移を事後的に把握することができる。
【0196】
さらに、生体情報を推定するためのフローチャートを実行するためのプログラムは、将来的により高精度な生体情報推定ができるように、処理ステップを後から追加できるようにしておくことが望ましい。特に、本実施形態で示したような携帯電話を用いれば、携帯電話本来の通信機能によりサーバなどから簡単にプログラムをダウンロードして、生体情報を推定するためのプログラムを更新することができるので、処理ステップを後から追加するのに好適である。
【0197】
なお、心身状態推定システム2の中継装置12を携帯電話に搭載する構成にした場合には、サーバ13で演算された心身状態推定値をユーザの携帯電話(つまり中継装置12)に送信することで、心身状態推定値を携帯電話において表示したり、携帯電話から警告を発したりしてもよい。また、サーバ13で演算された心身状態推定値を、医療機関、ユーザの管理者、ユーザの親戚、またはユーザの友人など、ユーザ以外に送ってもよい。
【0198】
本発明の心身状態推定装置11は、ユーザから継続的に生体情報を得る生体センサ10から送られてきた上記生体情報に基づいて、ユーザの心身の状態の度合いである心身状態推定値を求める演算を行う心身状態推定部23と、当該心身状態推定値に対するユーザの実際の心身の状態の度合いをユーザ入力値として取得するユーザ入力部24と、心身状態推定部23で求めた心身状態推定値とユーザ入力部24で取得したユーザ入力値とに基づいて、上記演算に用いるパラメータの補正を行う心身状態推定用係数算出部26とを備えている。
【0199】
以上の構成によれば、心身状態推定部23で求めた心身状態推定値と、それに対するユーザ入力部24で取得したユーザ入力値とに基づいて心身状態推定部23での演算に用いるパラメータの補正を心身状態推定用係数算出部26で行うので、ユーザの実際の心身の状態の度合いを加味した補正を上記パラメータに対して行うことが可能になる。従って、上記パラメータの補正を行った後には、よりユーザの実際の心身の状態の度合いに即した心身状態推定値を心身状態推定部23で求めることが可能になる。その結果、より高い精度で心身状態の推定を行うことを可能にする。
【0200】
また、本発明の心身状態推定装置11は、心身状態推定部23で得られる心身状態推定値を格納する第2データ格納部25と、第2データ格納部25に格納されている心身状態推定値の一部またはすべてを得られた順に経時的に表示する表示部(例えば、提示部29、表示部103b、または他の表示部)とをさらに備え、ユーザ入力部24は上記表示部に表示された心身状態推定値のうち、任意の時点に対するユーザ入力値を取得する構成であってもよい。
【0201】
これにより、過去に得られた心身状態推定値に対するユーザ入力値を取得することが可能になる。よって、第2データ格納部25に格納されている過去に得られた心身状態推定値と、当該心身状態推定値に対するユーザ入力値とに基づいて、演算に用いるパラメータの補正を心身状態推定用係数算出手段で行うことが可能になる。
【0202】
また、本発明の心身状態推定装置11は、ユーザの活動の頻度を活動度として継続的に取得する生体センサ10から送られてきた上記活動度(加速度)のデータに基づいて、ユーザの疲労の度合いである疲労レベルの推定値を求める演算を行う心身状態推定部23と、当該疲労レベルの推定値に対するユーザの実際の疲労の度合いをユーザ入力値として取得するユーザ入力部24と、心身状態推定部23で求めた疲労レベルの推定値とユーザ入力部24で取得したユーザ入力値とに基づいて、上記演算に用いる係数の補正を行う心身状態推定用係数算出部26とを備える構成であってもよい。
【0203】
これにより、生体センサ10から得た加速度を生体情報として心身状態推定部23で心身状態である疲労レベルを推定することが可能になる。
【0204】
さらに、本発明の心身状態推定装置11は、心身状態推定部23から得られる心身状態推定値と、ユーザ入力部24から得られるユーザ入力値との差の広がりに応じて、心身状態推定用係数算出部26で前記パラメータの補正を行わせるとともに、起動部30によってユーザ入力部24を起動させる頻度を上げる第1起動頻度判定部31をさらに備えていてもよい。
【0205】
これにより、心身状態推定値とユーザ入力値との差が大きかった場合に、ユーザにユーザ入力値を頻繁に入力してもらうことにより、心身状態推定用係数算出部26でパラメータを頻繁に補正し、より迅速に正確な心身状態推定値を心身状態推定部23で推定できるようにすることが可能になる。
【0206】
また、本発明の心身状態推定装置11は、ユーザ入力部24から得られるユーザ入力値が、所定の範囲内であった場合に、起動部30によってユーザ入力部24を起動させる頻度を上げる第2起動頻度判定部32をさらに備えていてもよい。
【0207】
これにより、第2起動頻度判定部32によって、ユーザ入力部24で得られたユーザ入力値に応じて、心身状態推定用係数算出部26でパラメータの補正を行わせるとともに、起動部30によりユーザ入力部24を起動させる頻度を上げることができるので、ユーザの実際の心身状態に応じて、よりユーザにユーザ入力値を頻繁に入力してもらうことが可能になる。例えば、実際のユーザの心身状態が極端に悪いとユーザ入力部24にユーザ入力値が入力された場合に、ユーザにユーザ入力値を頻繁に入力してもらうことにより、心身状態推定用係数算出部26でパラメータを頻繁に補正し、より迅速に正確な心身状態推定値を心身状態推定部23で推定できるようにすることが可能になる。
【0208】
〔8.ソフトウェアによる実現〕
最後に、心身状態推定システム1が備える心身状態推定装置11、および心身状態推定システム2が備える中継装置12ならびにサーバ13の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0209】
すなわち、心身状態推定装置11、中継装置12、およびサーバ13は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである心身状態推定装置11、中継装置12、およびサーバ13の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記心身状態推定装置11、中継装置12、およびサーバ13に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0210】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0211】
また、心身状態推定装置11、中継装置12、およびサーバ13を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0212】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0213】
以上のように、本発明の心身状態推定装置、心身状態推定システム、心身状態推定方法、心身状態推定プログラムおよび該プログラムを記録したコンピュータ読取り可能な記録媒体は、より高い精度で心身状態の推定を行うことを可能にする。したがって、本発明は、疲労、嘘、鬱状態、眠気、睡眠、動揺、だるさ、不幸感、あせり、ストレス、痛み、および苦痛などを始めとする心身状態を推定する装置に関連する産業分野に好適に用いることができる。
【図面の簡単な説明】
【0214】
【図1】本発明における心身状態推定装置の概略的構成を示す機能ブロック図である。
【図2】本発明における心身状態推定システムの実施の一形態を示す概略図である。
【図3】本発明における心身状態推定システムの他の実施の形態を示す概略図である。
【図4】本発明における心身状態の推定方法の一実施形態を示すフローチャートである。
【図5】本発明における心身状態推定値を演算するための具体的な処理を示すフローチャートである。
【図6】本発明における心身状態推定用係数を算出するための具体的な処理を示すフローチャートである。
【図7】(a)は、人が疲労感を伴うときの典型的な体動データを示すグラフであり、(b)は、(a)に示す体動データからトレンドを除去した体動データを示すグラフである。
【図8】(a)および(c)は、人が疲労感を伴わないときの典型的な体動データを示すグラフであり、(b)は、(a)に示す体動データからトレンドを除去した体動データを示すグラフであり、(d)は、(c)に示す体動データからトレンドを除去した体動データを示すグラフである。
【図9】(a)は、人が覚醒時に小さく動く状態を示す図であり、(b)は、人が疲労時に静止する状態を示す図であり、(c)および(d)は、人が自由に活動する状態を示す図である。
【図10】嘘をついている時と嘘をついていない時との同一人物の「あ」と言う発音の波形をフーリエ変換した音声データを示す図である。
【図11】心電図の典型的な波形を示す模式図である。
【図12】手首に取り付けた加速度センサから得られる1軸の出力を、加速度の変化を見るためにハイパスフィルタを通過させた後のデータを示す図である。
【図13】(a)は、体動データの歪度および平均と、疲労レベルとに関して、5つのサンプルを比較した表であり、(b)は、推定された疲労レベルをシグモイド関数に入力することで得られる出力値と、実際の疲労レベルとを定量的に示した数値との相関関係を示す図である。
【図14】(a)〜(c)は、本発明の心身状態推定装置を搭載した携帯電話の外観の一例を示す図である。
【図15】(a)は、生体センサが搭載された腕時計を、腕に装着した状態を示す図であり、(b)は、本発明品を普段使用するイメージを示す図である。
【図16】(a)〜(e)は、本発明品付き携帯電話において表示されるメッセージを示す図である。
【図17】(a)は、本発明品付き携帯電話が相手の会話を嘘と推定した場合のイメージを示す図であって、(b)は、本発明品付き携帯電話の表示部に表示される、ユーザが取るべき行動を促すメッセージを示す図であって、(c)は、本発明品付き携帯電話での会話の信憑性の推定結果とそれに対してのユーザが取るべき対応とをまとめた表を示す図である。
【図18】心身状態推定部での演算のパラメータの補正を行った場合と行わなかった場合との心身状態推定値を比較したグラフである。
【符号の説明】
【0215】
1 心身状態推定システム
2 心身状態推定システム
10 生体センサ
11 心身状態推定装置
12 中継装置
13 サーバ
15 推定部
16 警告部(警告手段)
17 起動制御部
21 データ取得部(データ取得手段)
22 第1データ格納部
23 心身状態推定部(心身状態推定手段)
24 ユーザ入力部(ユーザ入力値取得手段)
25 第2データ格納部(格納部)
26 心身状態推定用係数算出部(補正手段)
27 第1タイマ
28 警告判定部
29 提示部
30 起動部(起動手段)
31 第1起動頻度判定部(第1起動頻度判定手段)
32 第2起動頻度判定部(第2起動頻度判定手段)
33 第2タイマ
34 起動判定部(起動判定手段)
41 中継装置側通信部(通信手段)
42 サーバ側通信部(通信手段)
101 本発明品付き携帯電話101
102 本体部
103 蓋体部
103a 小型表示部
103b 表示部
103c スピーカー部
201 腕時計

【特許請求の範囲】
【請求項1】
ユーザから継続的に生体情報を得る生体センサから送られてきた上記生体情報に基づいて、ユーザの心身の状態の度合いである心身状態推定値を求める演算を行う心身状態推定手段と、
当該心身状態推定値に対するユーザの実際の心身の状態の度合いをユーザ入力値として取得するユーザ入力値取得手段と、
上記心身状態推定手段で求めた心身状態推定値と上記ユーザ入力値取得手段で取得したユーザ入力値とに基づいて、上記演算に用いるパラメータの補正を行う補正手段とを備えることを特徴とする心身状態推定装置。
【請求項2】
心身状態推定手段で得られる心身状態推定値を格納する格納部をさらに備え、
前記ユーザ入力値取得手段は、上記格納部に格納されている任意の心身状態推定値に対する前記ユーザ入力値を取得することを特徴とする請求項1に記載の心身状態推定装置。
【請求項3】
前記心身状態推定手段によって得られた心身状態推定値が、所定の範囲内であった場合に、ユーザへのアドバイスまたは警告を行う警告手段をさらに備えることを特徴とする請求項1または2に記載の心身状態推定装置。
【請求項4】
前記ユーザ入力値取得手段を起動し、上記ユーザ入力値取得手段へのユーザ入力値の入力をユーザに促す起動手段と、
前記心身状態推定手段によって得られた心身状態推定値が、所定の範囲内であった場合に、上記起動手段に上記ユーザ入力値取得手段を起動させる指示を行う起動判定手段をさらに備えることを特徴とする請求項1、2または3に記載の心身状態推定装置。
【請求項5】
前記心身状態推定手段から得られる心身状態推定値と、前記ユーザ入力値取得手段から得られるユーザ入力値との差に応じて、前記起動手段によって上記ユーザ入力値取得手段を起動させる頻度を変化させる第1起動頻度判定手段をさらに備えることを特徴とする請求項4に記載の心身状態推定装置。
【請求項6】
前記ユーザ入力値取得手段から得られるユーザ入力値が、所定の範囲内であった場合に、前記補正手段で前記パラメータの補正を行わせるとともに、前記起動手段によって上記ユーザ入力値取得手段を起動させる頻度を変化させる第2起動頻度判定手段をさらに備えることを特徴とする請求項4または5に記載の心身状態推定装置。
【請求項7】
前記心身状態推定手段は、生体情報としてユーザの活動の頻度である活動度に基づいて疲労レベルの推定値を求める演算を行うものであることを特徴とする請求項1〜6のいずれか1項に記載の心身状態推定装置。
【請求項8】
携帯電話機であることを特徴とする請求項1〜7のいずれか1項に記載の心身状態推定装置。
【請求項9】
ユーザから継続的に生体情報のデータを得る生体センサと、
請求項1〜7のうちのいずれか1項に記載の心身状態推定装置とを備えることを特徴とする心身状態推定システム。
【請求項10】
前記生体センサと前記心身状態推定装置との間の通信が無線通信であることを特徴とする請求項9に記載の心身状態推定システム。
【請求項11】
前記生体センサは加速度センサであることを特徴とする請求項9または10に記載の心身状態推定システム。
【請求項12】
前記生体センサは音声センサであることを特徴とする請求項9または10に記載の心身状態推定システム。
【請求項13】
携帯電話機であることを特徴とする請求項9〜12のいずれか1項に記載の心身状態推定システム。
【請求項14】
請求項1〜8のいずれか1項に記載の心身状態推定装置の備える前記各手段としてコンピュータを動作させる心身状態推定プログラム。
【請求項15】
心身状態推定手段によって、ユーザから継続的に生体情報を得る生体センサから送られてきた上記生体情報に基づいて、ユーザの心身の状態の度合いである心身状態推定値を求める演算を行う心身状態推定工程と、
ユーザ入力値取得手段によって、当該心身状態推定値に対するユーザの実際の心身の状態の度合いをユーザ入力値として取得するユーザ入力値取得工程と、
補正手段によって、上記心身状態推定工程で求めた心身状態推定値と上記ユーザ入力値取得工程で取得したユーザ入力値とに基づいて、上記演算に用いるパラメータの補正を行う補正工程とを含むことを特徴とする心身状態推定方法。
【請求項16】
ユーザから継続的に生体情報を得る生体センサから送られてきた上記生体情報を取得するデータ取得手段と、
上記データ取得手段が取得した生体情報に基づいて、ユーザの心身の状態の度合いである心身状態推定値を求める演算を行う心身状態推定手段と、
当該心身状態推定値に対するユーザの実際の心身の状態の度合いをユーザ入力値として取得するユーザ入力値取得手段と、
上記心身状態推定手段で求めた心身状態推定値と上記ユーザ入力値取得手段で取得したユーザ入力値とに基づいて、上記演算に用いるパラメータの補正を行う補正手段とのうちの上記データ取得手段と上記ユーザ入力値取得手段とを有する中継装置と、
上記心身状態推定手段と上記補正手段とを有するサーバとを備えるとともに、上記中継装置と上記サーバとがネットワークを介してデータのやり取りを行うことを特徴とする心身状態推定システム。
【請求項17】
ユーザから継続的に生体情報を得る生体センサをさらに備えることを特徴とする請求項16に記載の心身状態推定システム。
【請求項18】
前記中継装置は携帯電話機であることを特徴とする請求項16または17に記載の心身状態推定システム。
【請求項19】
データ取得手段によって、ユーザから継続的に生体情報を得る生体センサから送られてきた上記生体情報を取得するデータ取得工程と、
心身状態推定手段によって、上記データ取得工程で取得した生体情報に基づいて、ユーザの心身の状態の度合いである心身状態推定値を求める演算を行う心身状態推定工程と、
ユーザ入力値取得手段によって、当該心身状態推定値に対するユーザの実際の心身の状態の度合いをユーザ入力値として取得するユーザ入力値取得工程と、
補正手段によって、上記心身状態推定工程で求めた心身状態推定値と上記ユーザ入力値取得工程で取得したユーザ入力値とに基づいて、上記演算に用いるパラメータの補正を行う補正工程と、
通信手段によって、上記データ取得工程で取得した生体情報をネットワークを介して上記演算手段に送るとともに、上記ユーザ入力値取得工程で取得したユーザ入力値をネットワークを介して上記補正手段に送る通信工程とを含むことを特徴とする心身状態推定方法。
【請求項20】
請求項19に記載の心身状態推定方法をコンピュータに実行させる心身状態推定プログラム。
【請求項21】
請求項14または請求項20に記載のプログラムを記録したコンピュータ読取可能な記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2008−23127(P2008−23127A)
【公開日】平成20年2月7日(2008.2.7)
【国際特許分類】
【出願番号】特願2006−200052(P2006−200052)
【出願日】平成18年7月21日(2006.7.21)
【出願人】(000005049)シャープ株式会社 (33,933)
【出願人】(504137912)国立大学法人 東京大学 (1,942)
【Fターム(参考)】