メンタル状態推定装置、メンタル状態推定システム、メンタル状態推定方法、メンタル状態推定プログラム、及び携帯端末
【課題】迅速且つ適切に被験体のメンタル状態を推定することが可能なメンタル状態推定装置等を提供すること。
【解決手段】被験体の生体情報を反映した時系列データである指標データを基底関数展開することにより複数階層で前記指標データが分解された時空間分解データを生成し、該時空間分解データのそれぞれについて情報エントロピーを算出し、該算出した情報エントロピーを最小にする階層を選択すると共に、該選択した階層が最下層であれば該当する情報エントロピーを成分とし最下層でなければ前記選択した階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段により生成された特徴ベクトルに基づき、前記被験体のメンタル状態を推定する推定手段と、を備えるメンタル状態推定装置。
【解決手段】被験体の生体情報を反映した時系列データである指標データを基底関数展開することにより複数階層で前記指標データが分解された時空間分解データを生成し、該時空間分解データのそれぞれについて情報エントロピーを算出し、該算出した情報エントロピーを最小にする階層を選択すると共に、該選択した階層が最下層であれば該当する情報エントロピーを成分とし最下層でなければ前記選択した階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段により生成された特徴ベクトルに基づき、前記被験体のメンタル状態を推定する推定手段と、を備えるメンタル状態推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験体から取得した生体情報を解析して被験体のメンタル状態を推定するメンタル状態推定装置、方法、及びプログラム、並びにこれと関連する携帯端末及びメンタル状態推定システムに関する。
【背景技術】
【０００２】
従来、人や動物を被験体とし、生体情報を取得して被験体のメンタル状態（精神状態）を推定する技術について研究が進められている。このような技術は、医療分野のみならず、各種サービスの満足度調査を機械的に行うこと等に利用可能であるため、需要が大きいものとなっている。
【０００３】
特許文献１には、計測された脳活動信号から特徴ベクトルを算出し、各刺激や制御意思毎の特徴ベクトルから抽出された代表ベクトルを教師データとして機械学習を行っておき、計測された脳活動信号を上記教師データとマッチングさせて、ユーザの情動反応や制御意思を推定する技術について記載されている。特徴ベクトルは、全ての計測チャンネルから選択された２チャンネルにおいて計測された各脳活動信号の間の相互相関係数を、（計測チャンネルの組み合わせの総数）×（所定サンプル数）分有する多次元データであると説明されている。また、生体情報の他の例として、血圧、脈拍、呼吸・サーモグラフィ、皮膚血流量、心電図等が挙げられている。
【０００４】
また、生体情報に基づいてメンタル状態を測定する技術の他の例として、サービス利用時の脈波情報をカオス解析することで得られたリアポノフ係数や、自律神経系の状態に影響を受けるＬＦ／ＨＦ値からストレスやリラックスの度合いを測定する技術が知られている（例えば非特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１０１０５７号公報
【非特許文献】
【０００６】
【非特許文献１】「カオス理論を適用した加速度脈波によるストレス判別の研究」、藤本泰成他、日本知能情報ファジィ学会北信越支部シンポジウム講演論文集、１６巻、４３−４４、２００７.
【非特許文献２】「指尖脈波を利用した心身状態分類の自動化に関する考察」、山崎敏正他、電子情報通信学会技術研究報告、ＭＢＥ，ＭＥとバイオサイバネティックス、９５（８５）、１７−２４、１９９５.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の技術は、専ら計測チャンネル数が複数存在する脳波計測の分野に適用されるものであり、脳波計測装置等の設備が必要であると共に、他の生体情報への適用が困難である。
【０００８】
また、上記各非特許文献に記載の技術では、ストレスやリラックスなど事前に定義されたメンタル状態を、万人共通の尺度で判定するため、判定できるメンタル状態が限定される。更に、カオス解析を利用しているため、コンピュータ処理の負荷が大きく、迅速に結果を出力できない場合がある。
【０００９】
１つの側面では、本発明は、迅速且つ適切に被験体のメンタル状態を推定することが可能なメンタル状態推定装置等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための一態様は、
被験体の生体情報を反映した時系列データである指標データを基底関数展開することにより複数階層で前記指標データが分解された時空間分解データを生成し、該時空間分解データのそれぞれについて情報エントロピーを算出し、該算出した情報エントロピーを最小にする階層を選択すると共に、該選択した階層が最下層であれば該当する情報エントロピーを成分とし最下層でなければ前記選択した階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する特徴ベクトル生成手段と、
前記特徴ベクトル生成手段により生成された特徴ベクトルに基づき、前記被験体のメンタル状態を推定する推定手段と、
を備えるメンタル状態推定装置である。
【発明の効果】
【００１１】
１実施態様によれば、迅速且つ適切に被験体のメンタル状態を推定することが可能なメンタル状態推定装置等を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例に係るメンタル状態推定システム１を概念的に示す図である。
【図２】脈波センサ１２を概念的に示す図である。
【図３】ユーザが、脈波センサ１２を搭載した携帯端末１０を把持する様子を示す図である。
【図４】脈波センサ１２の出力するセンサデータと、冷静時、ストレス時、興奮状態等と区分される被験体のメンタル状態の関係を例示する図である。
【図５】メンタル状態推定サーバ１００のハードウエア構成例である。
【図６】原信号ｕ（０，０）が解像度レベル２まで階層的に分解される様子を模式的に示す図である。
【図７】最良階層選択処理を説明するための説明図である。
【図８】デンドログラムを例示した図である。
【図９】学習データ登録部１１０の処理結果を例示した図である。
【図１０】メンタル状態推定サーバ１００が学習段階の処理を行なう際の処理の流れを示すフローチャートである。
【図１１】メンタル状態推定サーバ１００が評価段階の処理を行なう際の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。
【実施例】
【００１４】
以下、図面を参照し、本発明の一実施例に係るメンタル状態推定装置、メンタル状態推定システム、メンタル状態推定方法、メンタル状態推定プログラム、及び携帯端末について説明する。
【００１５】
１．全体構成
図１は、本発明の一実施例に係るメンタル状態推定システム１を概念的に示す図である。図示するように、メンタル状態推定システム１は、脈波センサ１２を搭載した携帯端末（例えば携帯電話）１０と、メンタル状態推定サーバ１００と、を備える。携帯端末１０とメンタル状態推定サーバ１００は、例えば無線基地局５２、インターネット５４等により実願されるモバイルネットワーク５０を介して接続されている。
【００１６】
２．携帯端末
携帯端末１０は、通常の通話機能の他、モバイルネットワーク５０を介して提供される各種モバイルサービスを提供する機能を有する。
【００１７】
また、携帯端末１０には、脈波センサ１２が搭載されている。図２は、脈波センサ１２を概念的に示す図である。図示するように、脈波センサ１２は、ＬＥＤ等の光源１２Ａと、受光装置１２Ｂと、アンプ１２Ｃと、を備える。図３は、携帯端末１０のユーザが、脈波センサ１２を搭載した携帯端末１０を把持する様子を示す図である。脈波センサ１２の光源１２Ａ及び受光装置１２Ｂは、例えばユーザの指が当接する箇所に取り付けられ、アンプ１２Ｃはケーブル１２Ｄによって出力データを携帯端末１０に送信する。
【００１８】
図４は、脈波センサ１２の出力するセンサデータと、冷静時、ストレス時、興奮状態等と区分される被験体のメンタル状態の関係を例示する図である（あくまで個体差があり、これに限られない）。本実施例のメンタル状態推定サーバ１００は、このように被験体のメンタル状態に応じて特徴的な波形を示す、脈波センサ１２の出力するセンサデータを解析し、被験体のメンタル状態を推定する。
【００１９】
また、携帯端末１０は、ＣＰＵ（Central Processing Unit）やＩＣ（Integrated Circuit）等の処理装置を内蔵し、その機能部として、センサデータ獲得機能部１４と、センサデータ送信機能部１６と、を備える。
【００２０】
センサデータ獲得機能部１４は、例えばモバイルサービスが提供されているときに光源１２Ａを駆動し、ユーザＡの指先等に光を照射させて、反射又は透過する光を受光装置１２Ｂに受光させる。そして、受光装置１２Ｂが光電変換した電気信号をアンプ１２Ｃが増幅し出力する。ここで、人の血中に含まれるヘモグロビンの分光吸収スペクトル特性により、アンプ１２Ｃの出力はユーザＡの脈波を反映したものとなる。センサデータ獲得機能部１４は、アンプ１２Ｃが出力した信号にＡＤ変換等を施したセンサデータを、提供されているモバイルサービスの種別に対応付けてキャッシュメモリ１４Ａ等に格納する。
【００２１】
センサデータ送信機能部１６は、携帯端末１０の通信機能を利用して、センサデータ獲得機能部１４が獲得したセンサデータ、モバイルサービスの種別、及びユーザＩＤ等を、例えばパケットに分解してメンタル状態推定サーバ１００に送信する。
【００２２】
３．メンタル状態推定サーバ
図５は、メンタル状態推定サーバ１００のハードウエア構成例である。メンタル状態推定サーバ１００は、ＣＰＵ（Central Processing Unit）１００Ａと、ドライブ装置１００Ｂと、補助記憶装置１００Ｄと、メモリ装置１００Ｅと、インターフェース装置１００Ｆと、入力装置１００Ｇと、ディスプレイ装置１００Ｈと、を備える。これらの構成要素は、バスやシリアル回線等を介して接続されている。
【００２３】
ＣＰＵ１００Ａは、例えば、プログラムカウンタや命令デコーダ、各種演算器、ＬＳＵ（Load Store Unit）、汎用レジスタ等を有するプロセッサである。
【００２４】
ドライブ装置１００Ｂは、記憶媒体１００Ｃからプログラムやデータを読み込み可能な装置である。プログラムを記録した記憶媒体１００Ｃがドライブ装置１００Ｂに装着されると、プログラムが記憶媒体１００Ｃからドライブ装置１００Ｂを介して補助記憶装置１００Ｄにインストールされる。記憶媒体１００Ｃは、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記憶媒体である。また、補助記憶装置１００Ｄは、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリである。
【００２５】
プログラムのインストールは、上記のように記憶媒体１００Ｃを用いる他、インターフェース装置１００Ｆがネットワークを介して他のコンピュータよりダウンロードし、補助記憶装置１００Ｄにインストールすることによって行うこともできる。ネットワークは、インターネット、ＬＡＮ（Local Area Network）、無線ネットワーク等である。また、プログラムは、メンタル状態推定サーバ１００の出荷時に、予め補助記憶装置１００ＤやＲＯＭ（Read Only Memory）等に格納されていてもよい。
【００２６】
このようにしてインストール又は予め格納されたプログラムをＣＰＵ１００Ａが実行することにより、図３に示す態様の情報処理装置が、本実施例のメンタル状態推定サーバ１００として機能することができる。
【００２７】
メモリ装置１００Ｅは、例えば、ＲＡＭ（Random Access Memory）やＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）である。インターフェース装置１００Ｆは、上記ネットワークとの接続等を制御する。
【００２８】
入力装置１００Ｇは、例えば、キーボード、マウス、ボタン、タッチパッド、タッチパネル、マイク等である。また、ディスプレイ装置１００Ｈは、例えば、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等の表示装置である。メンタル状態推定サーバ１００は、ディスプレイ装置１００Ｈの他、プリンタ、スピーカ等の他の種類の出力装置を備えてもよい。
【００２９】
図１に戻り、メンタル状態推定サーバ１００の機能構成について説明する。メンタル状態推定サーバ１００は、センサデータ受信部１０２と、ノイズ除去・加速度脈波算出部１０４と、時分割処理部１０６と、特徴ベクトル算出部１０８と、学習データ登録部１１０と、評価データ解析部１１２と、を備える。また、学習データ登録部１１０、及び評価データ解析部１１２は、補助記憶装置１００Ｄやメモリ装置１００Ｅ上に構築される学習済クラスタリングデータベース１２０を利用する。
【００３０】
これらの機能部は、補助記憶装置１００ＤやＲＯＭ等に格納されたプログラム・ソフトウエアをＣＰＵ１００Ａが実行することにより機能する。なお、これらの機能ブロックが明確に分離したプログラムによって実現される必要はなく、サブルーチンや関数として他のプログラムによって呼び出されるものであってもよい。また、機能ブロックの一部が、ＩＣ（Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウエア手段であっても構わない。
【００３１】
以下の説明において、センサデータ受信処理、ノイズ除去処理、加速度脈波の算出処理、時分割処理、Wavelet Packet分解処理、情報エントロピー算出処理、及び最良階層選択処理、展開処理は、学習段階と評価段階の双方で行われる。学習段階とは、被験体のメンタル状態と脈波の傾向を学習して学習済クラスタリングデータベースに格納する段階であり、評価段階とは、実際に計測時点の被験体のメンタル状態を推定する段階である。
【００３２】
学習段階では、事後的にアンケート調査を行う等、何らかの手法で被験体のメンタル状態を調査するものとしてもよいし、そのような所与の情報無しで推定を行うことも可能である。
【００３３】
一方、評価段階では、以下のように算出されるクラスタリング分布ベクトルを、学習段階で算出されたクラスタリング分布と比較し、ユーザがどのようなメンタル状態であるかを評価する。
【００３４】
３．１ センサデータ受信処理
センサデータ受信部１０２は、モバイルネットワーク５０を介して携帯端末１０から脈波センサ１２のセンサデータ等を受信する。受信したセンサデータ等は、メモリ装置１００Ｅ等に格納される。
【００３５】
ノイズ除去・加速度脈波算出部１０４は、センサデータ受信部１０２が受信したセンサデータに対して、ノイズ除去処理、及び加速度脈波の算出処理を行う（処理順は任意でよい）。
【００３６】
（ノイズ除去処理）
ノイズ除去処理は、例えば、Wavelets Shrinkage法を利用して行う。すなわち、Wavelet変換（基底関数ψは問わない）のレベル１におけるWavelet係数ｄ（１，ｑ）に基づきノイズの標準偏差δを推定する。Wavelet係数ｄ（ｐ，ｑ）は次式（１）で表される。また、ノイズの標準偏差δは次式（２）で表される。
【００３７】
【数１】
【００３８】
そして、次式（３）により閾値λを設定した上で、次式（４）に基づく変換(Soft Threshold 処理）を行い、次式（５）によりWavelet逆変換を行ってノイズ除去処理を完了する。
【００３９】
【数２】
【００４０】
係る処理によって、センサデータを分解した際に、標準偏差が一定以下となった項が除外される。なお、ノイズ除去処理は、上記説明した手法に限らず、他の手法により行っても構わない。
【００４１】
３．２ 加速度脈波の算出処理
ノイズ除去・加速度脈波算出部１０４は、ノイズ除去が行われたセンサデータに対して、二階時間微分を行って脈波の加速度（加速度脈波）を算出する。この加速度脈波は、ユーザＡの脈波（すなわち生体情報）を反映した時系列データである。
【００４２】
加速度脈波の算出処理は、例えば、ノイズによる影響を抑えるために、次式（６）に基づき、移動平均法により二階時間差分を求めることにより行われる。
【００４３】
【数３】
【００４４】
なお、式（６）で表される手法に代えて、一般的な加速度算出処理が行われても構わない。
【００４５】
３．３ 時分割処理
時分割処理部１０６は、時系列データである加速度脈波を、例えば時間窓サイズｗｓで分割し、複数のベクトルデータ＃ａ（ｔｉ）（ｉ＝１、２、…）を生成する（次式（７）参照）。時間窓サイズは、例えば数［ｓｅｃ］〜数十［ｓｅｃ］程度に定める。以下、アルファベットの前の「＃」は、続くアルファベットがベクトルであることを示すものとする。ベクトルデータ＃ａ（ｔｉ）は、時系列データをベクトルで表現したものであり、区間内で適切なサンプリング周期で取得された加速度脈波を成分とするベクトルである。
【００４６】
【数４】
【００４７】
３．４ Wavelet Packet分解処理
特徴ベクトル算出部１０８は、時分割処理部１０６により分割された加速度脈波に対し、局在波による関数展開であるWavelet Packet分解処理を行う。すなわち、局在波である基底関数により展開することによって、複数階層で加速度脈波が分解された時空間分解データを生成する。次式（８）は、原信号＃ａ（ｔｉ）が時空間分解データｕ（ｐ，ｑ）（ｔｉ）に分解されることを示す関係式である。ここで、用いられる基底ｐｓｉについて特段の限定は存在しないが、例えばｓｙｍｌｅｔ７が好適に用いられる。時空間分解データｕ（ｐ，ｑ）（ｔｉ）は、解像度レベルｐのシフト数ｑ番目の分解波形（基底関数）を表す。図６は、原信号が解像度レベル２まで階層的に分解される様子を模式的に示す図である。例えば解像度レベル２におけるｕ（２，０）は、最も低周波な領域を抽出した時空間分解データであり、ｕ（２，３）は、最も高周波な領域を抽出した時空間分解データである。
【００４８】
【数５】
【００４９】
３．５ 情報エントロピー算出処理
特徴ベクトル算出部１０８は、更に、時空間分解データのそれぞれについて情報エントロピーを算出する。次式（９）は、情報エントロピーの一例である情報エントロピーコスト関数Ｌ（ｐ，ｑ）を定義する式である。式（９）が示すように、情報エントロピーコスト関数Ｌ（ｐ，ｑ）は、時分割処理及びWavelet Packet分解処理で生成された分解後の時空間分解データに対して、Wavelet関数とセンサデータ値とのコンボリューションによって得られる値であり、周波数を基準として分解された加速度脈波のエネルギー（振幅の二乗）の情報量を反映した値である。
【００５０】
【数６】
【００５１】
３．６ 最良階層選択処理、展開処理
特徴ベクトル算出部１０８は、時空間分解データのそれぞれについて情報エントロピーコスト関数Ｌ（ｐ，ｑ）を算出すると、情報エントロピーコスト関数Ｌ（ｐ，ｑ）を最小にする最良階層を選択する。
【００５２】
図７は、最良階層選択処理を説明するための説明図である。特徴ベクトル算出部１０８は、例えばｕ（３，０）からスタートし、隣接するｕ（３，１）との情報エントロピーコスト関数の和｛Ｌ（３，０）＋Ｌ（３，１）｝が、ｕ（３，０）とｕ（３，１）の一つ上の階層のｕ（２，０）に関する情報エントロピーコスト関数Ｌ（２，０）よりも大きいかどうかを判定する。
【００５３】
そして、｛Ｌ（３，０）＋Ｌ（３，１）｝がＬ（２，０）よりも小さければ、ｕ（３，０）とｕ（３，１）を最良階層として選択する。一方、｛Ｌ（３，０）＋Ｌ（３，１）｝がＬ（２，０）よりも大きければ、更に、ｕ（２，０）と、隣接するｕ（２，１）との情報エントロピーコスト関数の和｛Ｌ（２，０）＋Ｌ（２，１）｝が、ｕ（２，０）とｕ（２，１）の一つ上の階層のｕ（１，０）に関する情報エントロピーコスト関数Ｌ（１，０）よりも大きいかどうかを判定する。
【００５４】
そして、｛Ｌ（２，０）＋Ｌ（２，１）｝がＬ（１，０）よりも小さければ、ｕ（２，０）を最良階層として選択する（ｕ（２，１）については、より下層のｕ（３，２）、ｕ（３，２）との間で情報エントロピーコスト関数Ｌを比較し、比較結果に従う）。
【００５５】
このように、特徴ベクトル算出部１０８は、時空間分解データが分岐する上層のデータと、下層の二データ（三以上に分岐する場合は、三データ以上となる）の間で情報エントロピーコスト関数を網羅的に比較し、最良階層の時空間分解データを選択する。図７の例では、網掛けで示すｕ（３，０）、ｕ（３，１）、ｕ（３，２）、ｕ（３，３）、ｕ（２，２）、ｕ（２，３）が最良階層の時空間分解データとして選択されたものとする。なお、最良階層の時空間分解データは、階層間方向（図７の上下方向）に関して重複して選択されないため、最良階層の時空間分解データから下層方向に分岐を進めると、最下層の全ての時空間分解データに辿り着くことになる。
【００５６】
更に、特徴ベクトル算出部１０８は、最良階層の時空間分解データが最下層のデータでない場合は、情報エントロピーコスト関数を最下層に展開する処理を行う。次式（１０）は、展開後の情報エントロピーコスト関数を定義する式である。
【００５７】
【数７】
【００５８】
そして、特徴ベクトル算出部１０８は、情報エントロピーを最小にする階層が最下層であれば該当する情報エントロピーを成分とし、最下層でなければ式（１０）に従い情報エントロピーを最小にする階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する。図７の例では、ｕ（３，０）、ｕ（３，１）、ｕ（３，２）、ｕ（３，３）、ｕ（２，２）、ｕ（２，３）が最良階層の時空間分解データとして選択されたため、特徴ベクトルは、（Ｌ（３，０），Ｌ（３，１），Ｌ（３，２），Ｌ（３，３），Ｌ（２，２）／２，Ｌ（２，２）／２，Ｌ（２，３）／２，Ｌ（２，３）／２）で表される。
【００５９】
次式（１１）により最良階層となったｐ、ｑをｐＢ、ｑＢと表現し、次式（１２）、（１３）により特徴ベクトル＃ｘを定義する。式（１２）、（１３）におけるｋは、特徴ベクトル＃ｘの何番目の成分であるかを示すために便宜的に付した識別子である。
【００６０】
【数８】
【００６１】
なお、図７に示すように、特徴ベクトル算出部１０８は、最下層まで展開した情報エントロピーコスト関数を成分とするベクトルについて、最も低周波な領域を抽出した時空間分解データから派生した情報エントロピーコスト関数をゼロに置換して出力する。これによって、ＤＣ成分に近い定常的なノイズの影響を低減することができる。
【００６２】
３．７ 学習データ登録処理
学習データ登録部１１０は、特徴ベクトル＃ｘを入力ベクトルとして自己組織化アルゴリズムによって学習データ登録処理を行う。学習データ登録部１１０は、例えば既知のKohonenの自己組織化アルゴリズムを用いて学習データ登録処理を行う。
【００６３】
学習データ登録部１１０は、次式（１４）に基づき、自己組織化マップを構成しているノードベクトル＃ｍｉの中で、入力ベクトル＃ｘに最も近いベクトル＃ｎｃを抽出する。
【００６４】
｜＃ｘ−＃ｎｃ｜＝ｍｉｎi｜＃ｘ−＃ｎｉ｜ …（１４）
【００６５】
次に、学習データ登録部１１０は、次式（１５）に従って最近接ノードベクトル＃ｎｃ並びにその周辺のノードベクトル＃ｎを更新する。式中、δｈｒは、学習パラメータである。
【００６６】
＃ｎupdate＝＃ｎ＋δｈｒ（＃ｘ−＃ｎｃ） …（１５）
【００６７】
次に、学習データ登録部１１０は、自己組織化特徴マップの各ノードベクトルを入力データにして、例えばWard法により階層クラスタリングを実施する。まず、学習データ登録部１１０は、ノードベクトル一つずつの対象を構成単位とするjmax個のクラスタから出発する。次に、学習データ登録部１１０は、次式（１６）〜（１８）に基づいてクラスタ間の類似度を計算し、最も類似性の高い二つのクラスタを融合して一つのクラスタを生成する。
【００６８】
【数９】
【００６９】
学習データ登録部１１０は、クラスタ数が一になるまで、類似度の計算及びクラスタの融合を繰り返す。係る処理によって、クラスタを融合した段階ごとのクラスタ間の類似度を階層クラスタツリー構造に表現したデンドログラムを得ることができる。図８は、デンドログラムを例示した図である。図中、横軸はデータＩＤであり、縦軸はクラスタ間距離である。例えば図中に挿入した矢印は、データＩＤ５のみを含むクラスタＣ５と、その他全てのデータＩＤを含むクラスタＣａとの距離を示している。
【００７０】
上記のように得られるデンドログラムは、各クラスタの類似性Ｄｉｓｔ（ｌ）を距離で階層的に表現したものである。実際に用いるクラスタは、絶対的な距離尺度で決定することもできるし、また、レベルｌにおけるクラスタ間距離の、平均距離（レベルｌにおける各クラスタの間の距離の平均）との差を、クラスタ間距離の標準偏差σで規格化した不整合係数ＩＣＣ（ｌ）の極大値Ｃｄｉｓｔが現れるレベルｌまでをクラスタとして用いてもよい。
【００７１】
後者の場合、次式（１９）、（２０）により不整合係数ＩＣＣ（ｌ）を算出し、距離平均が極大となった階層（レベル）までをクラスタとして用いる。式中、Ｄｉｓｔ（ｌ）は、ある階層でデンドログラムを横方向に切断した際に切り口に現れる各サブクラスタと他のサブクラスタの距離を示し、ＤｉｓｔａｖｅはＤｉｓｔ（ｌ）の平均を示し、σはＤｉｓｔ（ｌ）の標準偏差を示す。式（２０）における不整合係数ＩＣＣ（ｌ）が極大になったときのレベルｌをｌ＿ｌｏｃａｌｍａｘｍａとすると、Ｃｄｉｓｔ＝ＩＣＣ（ｌ＿ｌｏｃａｌｍａｘｍａ）である。
【００７２】
Ｃｄｉｓｔ＝ｍａｘlＩＣＣ（ｌ） …（１９）
ＩＣＣ（ｌ）＝（Ｄｉｓｔ（ｌ）−Ｄｉｓｔａｖｅ）／σ …（２０）
【００７３】
そして、学習データ登録部１１０は、クラスタｋに属するヒストグラムｈｉｓｔ（ｋ）をカウントすることにより、次式（２１）で表されるクラスタリング分布ベクトル＃Ｈを得る。
【００７４】
＃Ｈ＝（ｈｉｓｔ（１），ｈｉｓｔ（２），…,ｈｉｓｔ（ｋ）） …（２１）
【００７５】
学習データ登録部１１０の処理結果は、図９に例示するデータテーブルの形式でデータベース化され、学習済クラスタリングデータベース１２０に蓄積される。図９は、学習データ登録部１１０の処理結果を例示した図である。図示するように、学習済クラスタリングデータベース１２０には、ユーザＩＤ毎に、利用されたモバイルサービス（利用サービス）と、クラスタリング分布ベクトル及びノードベクトルが対応付けられ、更に判明しているメンタル状態が対応付けられて格納される。図９の備考欄にあるメンタル状態は、恣意的にメンタル状態を識別したい場合など必要に応じて記入することができる。しかしながら、本発明が想定している利用ケースは、あるサービスと他のサービスとのメンタル状態に類似性があるか否かを分析し、メンタル状態が類似しているサービス群にはどのような関係があるかを解釈する場合なので、必ずしも恣意的にメンタル状態を登録する必要はない。
【００７６】
３．８ 評価データ解析処理
評価データ解析部１１２は、学習データ登録部１１０と同様に、評価段階で生成された特徴ベクトル＃ｘに基づきクラスタリング分布ベクトル＃Ｈを算出する。そして、ユークリッド距離を算出するための次式（２２）に基づき、評価段階におけるクラスタリング分布ベクトル＃Ｈと、学習済クラスタリングデータベース１２０に格納されたクラスタリング分布ベクトル＃Ｈの類似度Ｓｉｍを算出する。式中、＃Ｈｖｅｒは評価段階で生成されたクラスタリング分布ベクトルであり、＃Ｈｄｉｃiは学習済クラスタリングデータベース１２０から選択されたクラスタリング分布ベクトルである。なお、類似度の算出はユークリッド距離に基づく手法に限らず、他の手法によって行われてもよい。
【００７７】
【数１０】
【００７８】
係る処理によって、評価段階として取得されたユーザの脈波情報に基づき生成される特徴ベクトル＃ｘ及びクラスタリング分布ベクトル＃Ｈに類似したクラスタリング分布ベクトル＃Ｈを学習済クラスタリングデータベース１２０から抽出することができる。この結果、当該ユーザのメンタル状態を推定するのに寄与することができる。
【００７９】
また、ユーザのメンタル状態とモバイルサービスとの関係を把握することができるため、ユーザが興味を持つコンテンツの紹介等を行うことができ、ユーザにとっての利便性を向上させることができる。
【００８０】
４．処理フロー
以下、メンタル状態推定サーバ１００が学習段階と評価段階の処理を行なう際の動作について説明する。図１０は、メンタル状態推定サーバ１００が学習段階の処理を行なう際の処理の流れを示すフローチャートである。
【００８１】
まず、センサデータ受信部１０２がセンサデータ受信処理を行い（Ｓ２００）、脈波情報をメモリ装置１００Ｅに格納する。
【００８２】
次に、ノイズ除去・加速度脈波算出部１０４がノイズ除去処理を行い（Ｓ２０２）、ノイズ除去後の脈波情報をメモリ装置１００Ｅに格納する。
【００８３】
次に、ノイズ除去・加速度脈波算出部１０４が加速度脈波算出処理を行い（Ｓ２０４）、加速度脈波情報をメモリ装置１００Ｅに格納する。
【００８４】
次に、時分割処理部１０６が時分割処理を行い（Ｓ２０６）、時分割された加速度脈波情報をメモリ装置１００Ｅに格納する。
【００８５】
次に、特徴ベクトル算出部１０８がWavelet Packet分解処理を行い（Ｓ２０８）、時空間分解データをメモリ装置１００Ｅに格納する。
【００８６】
次に、特徴ベクトル算出部１０８が情報エントロピー算出処理を行い（Ｓ２１０）、情報エントロピーコスト関数値をメモリ装置１００Ｅに格納する。
【００８７】
次に、特徴ベクトル算出部１０８が最良階層選択処理及び展開処理を行い（Ｓ２１２）、特徴ベクトルをメモリ装置１００Ｅに格納する。
【００８８】
次に、学習データ登録部１１０が学習データ登録処理を行い（Ｓ２１４）、学習済クラスタリングデータベース１２０に追加する。
【００８９】
このようなフローを複数回実行することにより、学習済クラスタリングデータベース１２０が構築される。
【００９０】
図１１は、メンタル状態推定サーバ１００が評価段階の処理を行なう際の処理の流れを示すフローチャートである。
【００９１】
まず、センサデータ受信部１０２がセンサデータ受信処理を行い（Ｓ３００）、脈波情報をメモリ装置１００Ｅに格納する。
【００９２】
次に、ノイズ除去・加速度脈波算出部１０４がノイズ除去処理を行い（Ｓ３０２）、ノイズ除去後の脈波情報をメモリ装置１００Ｅに格納する。
【００９３】
次に、ノイズ除去・加速度脈波算出部１０４が加速度脈波算出処理を行い（Ｓ３０４）、加速度脈波情報をメモリ装置１００Ｅに格納する。
【００９４】
次に、時分割処理部１０６が時分割処理を行い（Ｓ３０６）、時分割された加速度脈波情報をメモリ装置１００Ｅに格納する。
【００９５】
次に、特徴ベクトル算出部１０８がWavelet Packet分解処理を行い（Ｓ３０８）、時空間分解データをメモリ装置１００Ｅに格納する。
【００９６】
次に、特徴ベクトル算出部１０８が情報エントロピー算出処理を行い（Ｓ３１０）、情報エントロピーコスト関数値をメモリ装置１００Ｅに格納する。
【００９７】
次に、特徴ベクトル算出部１０８が最良階層選択処理及び展開処理を行い（Ｓ３１２）、特徴ベクトルをメモリ装置１００Ｅに格納する。
【００９８】
次に、評価データ解析部１１２が評価データ解析処理を行い（Ｓ３１４）、評価結果を出力する。
【００９９】
５．まとめ
以上説明した本実施例のメンタル状態推定装置、メンタル状態推定システム、メンタル状態推定方法、メンタル状態推定プログラム、及び携帯端末によれば、以下の効果が奏される。
【０１００】
まず、Wavelet Packet分解処理によって時空間分解データを生成する処理を行うため、加速度脈波を効率的な情報量で表現することができる。
【０１０１】
また、自己組織学習処理と階層的クラスタリング手法を採用しているため、脈波状態の柔軟なクラスタリングを行うことができる。
【０１０２】
また、脈波をクラスタリングした結果として得られる指標が、汎用的なベクトル表現となっているため、類似性評価等を定量的に扱うことができる。
【０１０３】
これらの結果、迅速且つ適切に被験体のメンタル状態を推定することができる。
【０１０４】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１０５】
例えば、脈波を二階時間微分した加速度脈波を対象として解析を行うものとしたが、心電図、脳波、その他の生体情報を解析対象としても構わない。
【０１０６】
また、人のメンタル状態を推定するのに限らず、動物のメンタル状態を推定するのにも適用することができる。
【０１０７】
また、携帯端末とサーバ装置の協働により推定を行うのに限らず、メンタル状態推定システムの機能が全て携帯端末内に収容されるものとしてもよい。
【符号の説明】
【０１０８】
１ メンタル状態推定システム
１０ 携帯端末
１２ 脈波センサ
１２Ａ 光源１２
１２Ｂ 受光装置
１２Ｃ アンプ
１４ センサデータ獲得機能部
１６ センサデータ送信機能部
１００ メンタル状態推定サーバ
１０２ センサデータ受信部
１０４ ノイズ除去・加速度脈波算出部
１０６ 時分割処理部
１０８ 特徴ベクトル算出部
１１０ 学習データ登録部
１１２ 評価データ解析部
１２０ 学習済クラスタリングデータベース
【技術分野】
【０００１】
本発明は、被験体から取得した生体情報を解析して被験体のメンタル状態を推定するメンタル状態推定装置、方法、及びプログラム、並びにこれと関連する携帯端末及びメンタル状態推定システムに関する。
【背景技術】
【０００２】
従来、人や動物を被験体とし、生体情報を取得して被験体のメンタル状態（精神状態）を推定する技術について研究が進められている。このような技術は、医療分野のみならず、各種サービスの満足度調査を機械的に行うこと等に利用可能であるため、需要が大きいものとなっている。
【０００３】
特許文献１には、計測された脳活動信号から特徴ベクトルを算出し、各刺激や制御意思毎の特徴ベクトルから抽出された代表ベクトルを教師データとして機械学習を行っておき、計測された脳活動信号を上記教師データとマッチングさせて、ユーザの情動反応や制御意思を推定する技術について記載されている。特徴ベクトルは、全ての計測チャンネルから選択された２チャンネルにおいて計測された各脳活動信号の間の相互相関係数を、（計測チャンネルの組み合わせの総数）×（所定サンプル数）分有する多次元データであると説明されている。また、生体情報の他の例として、血圧、脈拍、呼吸・サーモグラフィ、皮膚血流量、心電図等が挙げられている。
【０００４】
また、生体情報に基づいてメンタル状態を測定する技術の他の例として、サービス利用時の脈波情報をカオス解析することで得られたリアポノフ係数や、自律神経系の状態に影響を受けるＬＦ／ＨＦ値からストレスやリラックスの度合いを測定する技術が知られている（例えば非特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１０１０５７号公報
【非特許文献】
【０００６】
【非特許文献１】「カオス理論を適用した加速度脈波によるストレス判別の研究」、藤本泰成他、日本知能情報ファジィ学会北信越支部シンポジウム講演論文集、１６巻、４３−４４、２００７.
【非特許文献２】「指尖脈波を利用した心身状態分類の自動化に関する考察」、山崎敏正他、電子情報通信学会技術研究報告、ＭＢＥ，ＭＥとバイオサイバネティックス、９５（８５）、１７−２４、１９９５.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の技術は、専ら計測チャンネル数が複数存在する脳波計測の分野に適用されるものであり、脳波計測装置等の設備が必要であると共に、他の生体情報への適用が困難である。
【０００８】
また、上記各非特許文献に記載の技術では、ストレスやリラックスなど事前に定義されたメンタル状態を、万人共通の尺度で判定するため、判定できるメンタル状態が限定される。更に、カオス解析を利用しているため、コンピュータ処理の負荷が大きく、迅速に結果を出力できない場合がある。
【０００９】
１つの側面では、本発明は、迅速且つ適切に被験体のメンタル状態を推定することが可能なメンタル状態推定装置等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための一態様は、
被験体の生体情報を反映した時系列データである指標データを基底関数展開することにより複数階層で前記指標データが分解された時空間分解データを生成し、該時空間分解データのそれぞれについて情報エントロピーを算出し、該算出した情報エントロピーを最小にする階層を選択すると共に、該選択した階層が最下層であれば該当する情報エントロピーを成分とし最下層でなければ前記選択した階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する特徴ベクトル生成手段と、
前記特徴ベクトル生成手段により生成された特徴ベクトルに基づき、前記被験体のメンタル状態を推定する推定手段と、
を備えるメンタル状態推定装置である。
【発明の効果】
【００１１】
１実施態様によれば、迅速且つ適切に被験体のメンタル状態を推定することが可能なメンタル状態推定装置等を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例に係るメンタル状態推定システム１を概念的に示す図である。
【図２】脈波センサ１２を概念的に示す図である。
【図３】ユーザが、脈波センサ１２を搭載した携帯端末１０を把持する様子を示す図である。
【図４】脈波センサ１２の出力するセンサデータと、冷静時、ストレス時、興奮状態等と区分される被験体のメンタル状態の関係を例示する図である。
【図５】メンタル状態推定サーバ１００のハードウエア構成例である。
【図６】原信号ｕ（０，０）が解像度レベル２まで階層的に分解される様子を模式的に示す図である。
【図７】最良階層選択処理を説明するための説明図である。
【図８】デンドログラムを例示した図である。
【図９】学習データ登録部１１０の処理結果を例示した図である。
【図１０】メンタル状態推定サーバ１００が学習段階の処理を行なう際の処理の流れを示すフローチャートである。
【図１１】メンタル状態推定サーバ１００が評価段階の処理を行なう際の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。
【実施例】
【００１４】
以下、図面を参照し、本発明の一実施例に係るメンタル状態推定装置、メンタル状態推定システム、メンタル状態推定方法、メンタル状態推定プログラム、及び携帯端末について説明する。
【００１５】
１．全体構成
図１は、本発明の一実施例に係るメンタル状態推定システム１を概念的に示す図である。図示するように、メンタル状態推定システム１は、脈波センサ１２を搭載した携帯端末（例えば携帯電話）１０と、メンタル状態推定サーバ１００と、を備える。携帯端末１０とメンタル状態推定サーバ１００は、例えば無線基地局５２、インターネット５４等により実願されるモバイルネットワーク５０を介して接続されている。
【００１６】
２．携帯端末
携帯端末１０は、通常の通話機能の他、モバイルネットワーク５０を介して提供される各種モバイルサービスを提供する機能を有する。
【００１７】
また、携帯端末１０には、脈波センサ１２が搭載されている。図２は、脈波センサ１２を概念的に示す図である。図示するように、脈波センサ１２は、ＬＥＤ等の光源１２Ａと、受光装置１２Ｂと、アンプ１２Ｃと、を備える。図３は、携帯端末１０のユーザが、脈波センサ１２を搭載した携帯端末１０を把持する様子を示す図である。脈波センサ１２の光源１２Ａ及び受光装置１２Ｂは、例えばユーザの指が当接する箇所に取り付けられ、アンプ１２Ｃはケーブル１２Ｄによって出力データを携帯端末１０に送信する。
【００１８】
図４は、脈波センサ１２の出力するセンサデータと、冷静時、ストレス時、興奮状態等と区分される被験体のメンタル状態の関係を例示する図である（あくまで個体差があり、これに限られない）。本実施例のメンタル状態推定サーバ１００は、このように被験体のメンタル状態に応じて特徴的な波形を示す、脈波センサ１２の出力するセンサデータを解析し、被験体のメンタル状態を推定する。
【００１９】
また、携帯端末１０は、ＣＰＵ（Central Processing Unit）やＩＣ（Integrated Circuit）等の処理装置を内蔵し、その機能部として、センサデータ獲得機能部１４と、センサデータ送信機能部１６と、を備える。
【００２０】
センサデータ獲得機能部１４は、例えばモバイルサービスが提供されているときに光源１２Ａを駆動し、ユーザＡの指先等に光を照射させて、反射又は透過する光を受光装置１２Ｂに受光させる。そして、受光装置１２Ｂが光電変換した電気信号をアンプ１２Ｃが増幅し出力する。ここで、人の血中に含まれるヘモグロビンの分光吸収スペクトル特性により、アンプ１２Ｃの出力はユーザＡの脈波を反映したものとなる。センサデータ獲得機能部１４は、アンプ１２Ｃが出力した信号にＡＤ変換等を施したセンサデータを、提供されているモバイルサービスの種別に対応付けてキャッシュメモリ１４Ａ等に格納する。
【００２１】
センサデータ送信機能部１６は、携帯端末１０の通信機能を利用して、センサデータ獲得機能部１４が獲得したセンサデータ、モバイルサービスの種別、及びユーザＩＤ等を、例えばパケットに分解してメンタル状態推定サーバ１００に送信する。
【００２２】
３．メンタル状態推定サーバ
図５は、メンタル状態推定サーバ１００のハードウエア構成例である。メンタル状態推定サーバ１００は、ＣＰＵ（Central Processing Unit）１００Ａと、ドライブ装置１００Ｂと、補助記憶装置１００Ｄと、メモリ装置１００Ｅと、インターフェース装置１００Ｆと、入力装置１００Ｇと、ディスプレイ装置１００Ｈと、を備える。これらの構成要素は、バスやシリアル回線等を介して接続されている。
【００２３】
ＣＰＵ１００Ａは、例えば、プログラムカウンタや命令デコーダ、各種演算器、ＬＳＵ（Load Store Unit）、汎用レジスタ等を有するプロセッサである。
【００２４】
ドライブ装置１００Ｂは、記憶媒体１００Ｃからプログラムやデータを読み込み可能な装置である。プログラムを記録した記憶媒体１００Ｃがドライブ装置１００Ｂに装着されると、プログラムが記憶媒体１００Ｃからドライブ装置１００Ｂを介して補助記憶装置１００Ｄにインストールされる。記憶媒体１００Ｃは、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記憶媒体である。また、補助記憶装置１００Ｄは、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリである。
【００２５】
プログラムのインストールは、上記のように記憶媒体１００Ｃを用いる他、インターフェース装置１００Ｆがネットワークを介して他のコンピュータよりダウンロードし、補助記憶装置１００Ｄにインストールすることによって行うこともできる。ネットワークは、インターネット、ＬＡＮ（Local Area Network）、無線ネットワーク等である。また、プログラムは、メンタル状態推定サーバ１００の出荷時に、予め補助記憶装置１００ＤやＲＯＭ（Read Only Memory）等に格納されていてもよい。
【００２６】
このようにしてインストール又は予め格納されたプログラムをＣＰＵ１００Ａが実行することにより、図３に示す態様の情報処理装置が、本実施例のメンタル状態推定サーバ１００として機能することができる。
【００２７】
メモリ装置１００Ｅは、例えば、ＲＡＭ（Random Access Memory）やＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）である。インターフェース装置１００Ｆは、上記ネットワークとの接続等を制御する。
【００２８】
入力装置１００Ｇは、例えば、キーボード、マウス、ボタン、タッチパッド、タッチパネル、マイク等である。また、ディスプレイ装置１００Ｈは、例えば、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等の表示装置である。メンタル状態推定サーバ１００は、ディスプレイ装置１００Ｈの他、プリンタ、スピーカ等の他の種類の出力装置を備えてもよい。
【００２９】
図１に戻り、メンタル状態推定サーバ１００の機能構成について説明する。メンタル状態推定サーバ１００は、センサデータ受信部１０２と、ノイズ除去・加速度脈波算出部１０４と、時分割処理部１０６と、特徴ベクトル算出部１０８と、学習データ登録部１１０と、評価データ解析部１１２と、を備える。また、学習データ登録部１１０、及び評価データ解析部１１２は、補助記憶装置１００Ｄやメモリ装置１００Ｅ上に構築される学習済クラスタリングデータベース１２０を利用する。
【００３０】
これらの機能部は、補助記憶装置１００ＤやＲＯＭ等に格納されたプログラム・ソフトウエアをＣＰＵ１００Ａが実行することにより機能する。なお、これらの機能ブロックが明確に分離したプログラムによって実現される必要はなく、サブルーチンや関数として他のプログラムによって呼び出されるものであってもよい。また、機能ブロックの一部が、ＩＣ（Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウエア手段であっても構わない。
【００３１】
以下の説明において、センサデータ受信処理、ノイズ除去処理、加速度脈波の算出処理、時分割処理、Wavelet Packet分解処理、情報エントロピー算出処理、及び最良階層選択処理、展開処理は、学習段階と評価段階の双方で行われる。学習段階とは、被験体のメンタル状態と脈波の傾向を学習して学習済クラスタリングデータベースに格納する段階であり、評価段階とは、実際に計測時点の被験体のメンタル状態を推定する段階である。
【００３２】
学習段階では、事後的にアンケート調査を行う等、何らかの手法で被験体のメンタル状態を調査するものとしてもよいし、そのような所与の情報無しで推定を行うことも可能である。
【００３３】
一方、評価段階では、以下のように算出されるクラスタリング分布ベクトルを、学習段階で算出されたクラスタリング分布と比較し、ユーザがどのようなメンタル状態であるかを評価する。
【００３４】
３．１ センサデータ受信処理
センサデータ受信部１０２は、モバイルネットワーク５０を介して携帯端末１０から脈波センサ１２のセンサデータ等を受信する。受信したセンサデータ等は、メモリ装置１００Ｅ等に格納される。
【００３５】
ノイズ除去・加速度脈波算出部１０４は、センサデータ受信部１０２が受信したセンサデータに対して、ノイズ除去処理、及び加速度脈波の算出処理を行う（処理順は任意でよい）。
【００３６】
（ノイズ除去処理）
ノイズ除去処理は、例えば、Wavelets Shrinkage法を利用して行う。すなわち、Wavelet変換（基底関数ψは問わない）のレベル１におけるWavelet係数ｄ（１，ｑ）に基づきノイズの標準偏差δを推定する。Wavelet係数ｄ（ｐ，ｑ）は次式（１）で表される。また、ノイズの標準偏差δは次式（２）で表される。
【００３７】
【数１】
【００３８】
そして、次式（３）により閾値λを設定した上で、次式（４）に基づく変換(Soft Threshold 処理）を行い、次式（５）によりWavelet逆変換を行ってノイズ除去処理を完了する。
【００３９】
【数２】
【００４０】
係る処理によって、センサデータを分解した際に、標準偏差が一定以下となった項が除外される。なお、ノイズ除去処理は、上記説明した手法に限らず、他の手法により行っても構わない。
【００４１】
３．２ 加速度脈波の算出処理
ノイズ除去・加速度脈波算出部１０４は、ノイズ除去が行われたセンサデータに対して、二階時間微分を行って脈波の加速度（加速度脈波）を算出する。この加速度脈波は、ユーザＡの脈波（すなわち生体情報）を反映した時系列データである。
【００４２】
加速度脈波の算出処理は、例えば、ノイズによる影響を抑えるために、次式（６）に基づき、移動平均法により二階時間差分を求めることにより行われる。
【００４３】
【数３】
【００４４】
なお、式（６）で表される手法に代えて、一般的な加速度算出処理が行われても構わない。
【００４５】
３．３ 時分割処理
時分割処理部１０６は、時系列データである加速度脈波を、例えば時間窓サイズｗｓで分割し、複数のベクトルデータ＃ａ（ｔｉ）（ｉ＝１、２、…）を生成する（次式（７）参照）。時間窓サイズは、例えば数［ｓｅｃ］〜数十［ｓｅｃ］程度に定める。以下、アルファベットの前の「＃」は、続くアルファベットがベクトルであることを示すものとする。ベクトルデータ＃ａ（ｔｉ）は、時系列データをベクトルで表現したものであり、区間内で適切なサンプリング周期で取得された加速度脈波を成分とするベクトルである。
【００４６】
【数４】
【００４７】
３．４ Wavelet Packet分解処理
特徴ベクトル算出部１０８は、時分割処理部１０６により分割された加速度脈波に対し、局在波による関数展開であるWavelet Packet分解処理を行う。すなわち、局在波である基底関数により展開することによって、複数階層で加速度脈波が分解された時空間分解データを生成する。次式（８）は、原信号＃ａ（ｔｉ）が時空間分解データｕ（ｐ，ｑ）（ｔｉ）に分解されることを示す関係式である。ここで、用いられる基底ｐｓｉについて特段の限定は存在しないが、例えばｓｙｍｌｅｔ７が好適に用いられる。時空間分解データｕ（ｐ，ｑ）（ｔｉ）は、解像度レベルｐのシフト数ｑ番目の分解波形（基底関数）を表す。図６は、原信号が解像度レベル２まで階層的に分解される様子を模式的に示す図である。例えば解像度レベル２におけるｕ（２，０）は、最も低周波な領域を抽出した時空間分解データであり、ｕ（２，３）は、最も高周波な領域を抽出した時空間分解データである。
【００４８】
【数５】
【００４９】
３．５ 情報エントロピー算出処理
特徴ベクトル算出部１０８は、更に、時空間分解データのそれぞれについて情報エントロピーを算出する。次式（９）は、情報エントロピーの一例である情報エントロピーコスト関数Ｌ（ｐ，ｑ）を定義する式である。式（９）が示すように、情報エントロピーコスト関数Ｌ（ｐ，ｑ）は、時分割処理及びWavelet Packet分解処理で生成された分解後の時空間分解データに対して、Wavelet関数とセンサデータ値とのコンボリューションによって得られる値であり、周波数を基準として分解された加速度脈波のエネルギー（振幅の二乗）の情報量を反映した値である。
【００５０】
【数６】
【００５１】
３．６ 最良階層選択処理、展開処理
特徴ベクトル算出部１０８は、時空間分解データのそれぞれについて情報エントロピーコスト関数Ｌ（ｐ，ｑ）を算出すると、情報エントロピーコスト関数Ｌ（ｐ，ｑ）を最小にする最良階層を選択する。
【００５２】
図７は、最良階層選択処理を説明するための説明図である。特徴ベクトル算出部１０８は、例えばｕ（３，０）からスタートし、隣接するｕ（３，１）との情報エントロピーコスト関数の和｛Ｌ（３，０）＋Ｌ（３，１）｝が、ｕ（３，０）とｕ（３，１）の一つ上の階層のｕ（２，０）に関する情報エントロピーコスト関数Ｌ（２，０）よりも大きいかどうかを判定する。
【００５３】
そして、｛Ｌ（３，０）＋Ｌ（３，１）｝がＬ（２，０）よりも小さければ、ｕ（３，０）とｕ（３，１）を最良階層として選択する。一方、｛Ｌ（３，０）＋Ｌ（３，１）｝がＬ（２，０）よりも大きければ、更に、ｕ（２，０）と、隣接するｕ（２，１）との情報エントロピーコスト関数の和｛Ｌ（２，０）＋Ｌ（２，１）｝が、ｕ（２，０）とｕ（２，１）の一つ上の階層のｕ（１，０）に関する情報エントロピーコスト関数Ｌ（１，０）よりも大きいかどうかを判定する。
【００５４】
そして、｛Ｌ（２，０）＋Ｌ（２，１）｝がＬ（１，０）よりも小さければ、ｕ（２，０）を最良階層として選択する（ｕ（２，１）については、より下層のｕ（３，２）、ｕ（３，２）との間で情報エントロピーコスト関数Ｌを比較し、比較結果に従う）。
【００５５】
このように、特徴ベクトル算出部１０８は、時空間分解データが分岐する上層のデータと、下層の二データ（三以上に分岐する場合は、三データ以上となる）の間で情報エントロピーコスト関数を網羅的に比較し、最良階層の時空間分解データを選択する。図７の例では、網掛けで示すｕ（３，０）、ｕ（３，１）、ｕ（３，２）、ｕ（３，３）、ｕ（２，２）、ｕ（２，３）が最良階層の時空間分解データとして選択されたものとする。なお、最良階層の時空間分解データは、階層間方向（図７の上下方向）に関して重複して選択されないため、最良階層の時空間分解データから下層方向に分岐を進めると、最下層の全ての時空間分解データに辿り着くことになる。
【００５６】
更に、特徴ベクトル算出部１０８は、最良階層の時空間分解データが最下層のデータでない場合は、情報エントロピーコスト関数を最下層に展開する処理を行う。次式（１０）は、展開後の情報エントロピーコスト関数を定義する式である。
【００５７】
【数７】
【００５８】
そして、特徴ベクトル算出部１０８は、情報エントロピーを最小にする階層が最下層であれば該当する情報エントロピーを成分とし、最下層でなければ式（１０）に従い情報エントロピーを最小にする階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する。図７の例では、ｕ（３，０）、ｕ（３，１）、ｕ（３，２）、ｕ（３，３）、ｕ（２，２）、ｕ（２，３）が最良階層の時空間分解データとして選択されたため、特徴ベクトルは、（Ｌ（３，０），Ｌ（３，１），Ｌ（３，２），Ｌ（３，３），Ｌ（２，２）／２，Ｌ（２，２）／２，Ｌ（２，３）／２，Ｌ（２，３）／２）で表される。
【００５９】
次式（１１）により最良階層となったｐ、ｑをｐＢ、ｑＢと表現し、次式（１２）、（１３）により特徴ベクトル＃ｘを定義する。式（１２）、（１３）におけるｋは、特徴ベクトル＃ｘの何番目の成分であるかを示すために便宜的に付した識別子である。
【００６０】
【数８】
【００６１】
なお、図７に示すように、特徴ベクトル算出部１０８は、最下層まで展開した情報エントロピーコスト関数を成分とするベクトルについて、最も低周波な領域を抽出した時空間分解データから派生した情報エントロピーコスト関数をゼロに置換して出力する。これによって、ＤＣ成分に近い定常的なノイズの影響を低減することができる。
【００６２】
３．７ 学習データ登録処理
学習データ登録部１１０は、特徴ベクトル＃ｘを入力ベクトルとして自己組織化アルゴリズムによって学習データ登録処理を行う。学習データ登録部１１０は、例えば既知のKohonenの自己組織化アルゴリズムを用いて学習データ登録処理を行う。
【００６３】
学習データ登録部１１０は、次式（１４）に基づき、自己組織化マップを構成しているノードベクトル＃ｍｉの中で、入力ベクトル＃ｘに最も近いベクトル＃ｎｃを抽出する。
【００６４】
｜＃ｘ−＃ｎｃ｜＝ｍｉｎi｜＃ｘ−＃ｎｉ｜ …（１４）
【００６５】
次に、学習データ登録部１１０は、次式（１５）に従って最近接ノードベクトル＃ｎｃ並びにその周辺のノードベクトル＃ｎを更新する。式中、δｈｒは、学習パラメータである。
【００６６】
＃ｎupdate＝＃ｎ＋δｈｒ（＃ｘ−＃ｎｃ） …（１５）
【００６７】
次に、学習データ登録部１１０は、自己組織化特徴マップの各ノードベクトルを入力データにして、例えばWard法により階層クラスタリングを実施する。まず、学習データ登録部１１０は、ノードベクトル一つずつの対象を構成単位とするjmax個のクラスタから出発する。次に、学習データ登録部１１０は、次式（１６）〜（１８）に基づいてクラスタ間の類似度を計算し、最も類似性の高い二つのクラスタを融合して一つのクラスタを生成する。
【００６８】
【数９】
【００６９】
学習データ登録部１１０は、クラスタ数が一になるまで、類似度の計算及びクラスタの融合を繰り返す。係る処理によって、クラスタを融合した段階ごとのクラスタ間の類似度を階層クラスタツリー構造に表現したデンドログラムを得ることができる。図８は、デンドログラムを例示した図である。図中、横軸はデータＩＤであり、縦軸はクラスタ間距離である。例えば図中に挿入した矢印は、データＩＤ５のみを含むクラスタＣ５と、その他全てのデータＩＤを含むクラスタＣａとの距離を示している。
【００７０】
上記のように得られるデンドログラムは、各クラスタの類似性Ｄｉｓｔ（ｌ）を距離で階層的に表現したものである。実際に用いるクラスタは、絶対的な距離尺度で決定することもできるし、また、レベルｌにおけるクラスタ間距離の、平均距離（レベルｌにおける各クラスタの間の距離の平均）との差を、クラスタ間距離の標準偏差σで規格化した不整合係数ＩＣＣ（ｌ）の極大値Ｃｄｉｓｔが現れるレベルｌまでをクラスタとして用いてもよい。
【００７１】
後者の場合、次式（１９）、（２０）により不整合係数ＩＣＣ（ｌ）を算出し、距離平均が極大となった階層（レベル）までをクラスタとして用いる。式中、Ｄｉｓｔ（ｌ）は、ある階層でデンドログラムを横方向に切断した際に切り口に現れる各サブクラスタと他のサブクラスタの距離を示し、ＤｉｓｔａｖｅはＤｉｓｔ（ｌ）の平均を示し、σはＤｉｓｔ（ｌ）の標準偏差を示す。式（２０）における不整合係数ＩＣＣ（ｌ）が極大になったときのレベルｌをｌ＿ｌｏｃａｌｍａｘｍａとすると、Ｃｄｉｓｔ＝ＩＣＣ（ｌ＿ｌｏｃａｌｍａｘｍａ）である。
【００７２】
Ｃｄｉｓｔ＝ｍａｘlＩＣＣ（ｌ） …（１９）
ＩＣＣ（ｌ）＝（Ｄｉｓｔ（ｌ）−Ｄｉｓｔａｖｅ）／σ …（２０）
【００７３】
そして、学習データ登録部１１０は、クラスタｋに属するヒストグラムｈｉｓｔ（ｋ）をカウントすることにより、次式（２１）で表されるクラスタリング分布ベクトル＃Ｈを得る。
【００７４】
＃Ｈ＝（ｈｉｓｔ（１），ｈｉｓｔ（２），…,ｈｉｓｔ（ｋ）） …（２１）
【００７５】
学習データ登録部１１０の処理結果は、図９に例示するデータテーブルの形式でデータベース化され、学習済クラスタリングデータベース１２０に蓄積される。図９は、学習データ登録部１１０の処理結果を例示した図である。図示するように、学習済クラスタリングデータベース１２０には、ユーザＩＤ毎に、利用されたモバイルサービス（利用サービス）と、クラスタリング分布ベクトル及びノードベクトルが対応付けられ、更に判明しているメンタル状態が対応付けられて格納される。図９の備考欄にあるメンタル状態は、恣意的にメンタル状態を識別したい場合など必要に応じて記入することができる。しかしながら、本発明が想定している利用ケースは、あるサービスと他のサービスとのメンタル状態に類似性があるか否かを分析し、メンタル状態が類似しているサービス群にはどのような関係があるかを解釈する場合なので、必ずしも恣意的にメンタル状態を登録する必要はない。
【００７６】
３．８ 評価データ解析処理
評価データ解析部１１２は、学習データ登録部１１０と同様に、評価段階で生成された特徴ベクトル＃ｘに基づきクラスタリング分布ベクトル＃Ｈを算出する。そして、ユークリッド距離を算出するための次式（２２）に基づき、評価段階におけるクラスタリング分布ベクトル＃Ｈと、学習済クラスタリングデータベース１２０に格納されたクラスタリング分布ベクトル＃Ｈの類似度Ｓｉｍを算出する。式中、＃Ｈｖｅｒは評価段階で生成されたクラスタリング分布ベクトルであり、＃Ｈｄｉｃiは学習済クラスタリングデータベース１２０から選択されたクラスタリング分布ベクトルである。なお、類似度の算出はユークリッド距離に基づく手法に限らず、他の手法によって行われてもよい。
【００７７】
【数１０】
【００７８】
係る処理によって、評価段階として取得されたユーザの脈波情報に基づき生成される特徴ベクトル＃ｘ及びクラスタリング分布ベクトル＃Ｈに類似したクラスタリング分布ベクトル＃Ｈを学習済クラスタリングデータベース１２０から抽出することができる。この結果、当該ユーザのメンタル状態を推定するのに寄与することができる。
【００７９】
また、ユーザのメンタル状態とモバイルサービスとの関係を把握することができるため、ユーザが興味を持つコンテンツの紹介等を行うことができ、ユーザにとっての利便性を向上させることができる。
【００８０】
４．処理フロー
以下、メンタル状態推定サーバ１００が学習段階と評価段階の処理を行なう際の動作について説明する。図１０は、メンタル状態推定サーバ１００が学習段階の処理を行なう際の処理の流れを示すフローチャートである。
【００８１】
まず、センサデータ受信部１０２がセンサデータ受信処理を行い（Ｓ２００）、脈波情報をメモリ装置１００Ｅに格納する。
【００８２】
次に、ノイズ除去・加速度脈波算出部１０４がノイズ除去処理を行い（Ｓ２０２）、ノイズ除去後の脈波情報をメモリ装置１００Ｅに格納する。
【００８３】
次に、ノイズ除去・加速度脈波算出部１０４が加速度脈波算出処理を行い（Ｓ２０４）、加速度脈波情報をメモリ装置１００Ｅに格納する。
【００８４】
次に、時分割処理部１０６が時分割処理を行い（Ｓ２０６）、時分割された加速度脈波情報をメモリ装置１００Ｅに格納する。
【００８５】
次に、特徴ベクトル算出部１０８がWavelet Packet分解処理を行い（Ｓ２０８）、時空間分解データをメモリ装置１００Ｅに格納する。
【００８６】
次に、特徴ベクトル算出部１０８が情報エントロピー算出処理を行い（Ｓ２１０）、情報エントロピーコスト関数値をメモリ装置１００Ｅに格納する。
【００８７】
次に、特徴ベクトル算出部１０８が最良階層選択処理及び展開処理を行い（Ｓ２１２）、特徴ベクトルをメモリ装置１００Ｅに格納する。
【００８８】
次に、学習データ登録部１１０が学習データ登録処理を行い（Ｓ２１４）、学習済クラスタリングデータベース１２０に追加する。
【００８９】
このようなフローを複数回実行することにより、学習済クラスタリングデータベース１２０が構築される。
【００９０】
図１１は、メンタル状態推定サーバ１００が評価段階の処理を行なう際の処理の流れを示すフローチャートである。
【００９１】
まず、センサデータ受信部１０２がセンサデータ受信処理を行い（Ｓ３００）、脈波情報をメモリ装置１００Ｅに格納する。
【００９２】
次に、ノイズ除去・加速度脈波算出部１０４がノイズ除去処理を行い（Ｓ３０２）、ノイズ除去後の脈波情報をメモリ装置１００Ｅに格納する。
【００９３】
次に、ノイズ除去・加速度脈波算出部１０４が加速度脈波算出処理を行い（Ｓ３０４）、加速度脈波情報をメモリ装置１００Ｅに格納する。
【００９４】
次に、時分割処理部１０６が時分割処理を行い（Ｓ３０６）、時分割された加速度脈波情報をメモリ装置１００Ｅに格納する。
【００９５】
次に、特徴ベクトル算出部１０８がWavelet Packet分解処理を行い（Ｓ３０８）、時空間分解データをメモリ装置１００Ｅに格納する。
【００９６】
次に、特徴ベクトル算出部１０８が情報エントロピー算出処理を行い（Ｓ３１０）、情報エントロピーコスト関数値をメモリ装置１００Ｅに格納する。
【００９７】
次に、特徴ベクトル算出部１０８が最良階層選択処理及び展開処理を行い（Ｓ３１２）、特徴ベクトルをメモリ装置１００Ｅに格納する。
【００９８】
次に、評価データ解析部１１２が評価データ解析処理を行い（Ｓ３１４）、評価結果を出力する。
【００９９】
５．まとめ
以上説明した本実施例のメンタル状態推定装置、メンタル状態推定システム、メンタル状態推定方法、メンタル状態推定プログラム、及び携帯端末によれば、以下の効果が奏される。
【０１００】
まず、Wavelet Packet分解処理によって時空間分解データを生成する処理を行うため、加速度脈波を効率的な情報量で表現することができる。
【０１０１】
また、自己組織学習処理と階層的クラスタリング手法を採用しているため、脈波状態の柔軟なクラスタリングを行うことができる。
【０１０２】
また、脈波をクラスタリングした結果として得られる指標が、汎用的なベクトル表現となっているため、類似性評価等を定量的に扱うことができる。
【０１０３】
これらの結果、迅速且つ適切に被験体のメンタル状態を推定することができる。
【０１０４】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１０５】
例えば、脈波を二階時間微分した加速度脈波を対象として解析を行うものとしたが、心電図、脳波、その他の生体情報を解析対象としても構わない。
【０１０６】
また、人のメンタル状態を推定するのに限らず、動物のメンタル状態を推定するのにも適用することができる。
【０１０７】
また、携帯端末とサーバ装置の協働により推定を行うのに限らず、メンタル状態推定システムの機能が全て携帯端末内に収容されるものとしてもよい。
【符号の説明】
【０１０８】
１ メンタル状態推定システム
１０ 携帯端末
１２ 脈波センサ
１２Ａ 光源１２
１２Ｂ 受光装置
１２Ｃ アンプ
１４ センサデータ獲得機能部
１６ センサデータ送信機能部
１００ メンタル状態推定サーバ
１０２ センサデータ受信部
１０４ ノイズ除去・加速度脈波算出部
１０６ 時分割処理部
１０８ 特徴ベクトル算出部
１１０ 学習データ登録部
１１２ 評価データ解析部
１２０ 学習済クラスタリングデータベース
【特許請求の範囲】
【請求項１】
被験体の生体情報を反映した時系列データである指標データを基底関数展開することにより複数階層で前記指標データが分解された時空間分解データを生成し、該時空間分解データのそれぞれについて情報エントロピーを算出し、該算出した情報エントロピーを最小にする階層を選択すると共に、該選択した階層が最下層であれば該当する情報エントロピーを成分とし最下層でなければ前記選択した階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する特徴ベクトル生成手段と、
前記特徴ベクトル生成手段により生成された特徴ベクトルに基づき、前記被験体のメンタル状態を推定する推定手段と、
を備えるメンタル状態推定装置。
【請求項２】
前記推定手段は、前記特徴ベクトル生成手段により生成された特徴ベクトルに対して階層的クラスタリング分析を行ってクラスタリング分布ベクトルを算出し、該算出したクラスタリング分布ベクトルと、予めメンタル状態に対応付けて記憶されたクラスタリング分布ベクトルとの関係に基づいて前記被験体のメンタル状態を推定する手段である、
請求項１に記載のメンタル状態推定装置。
【請求項３】
前記推定手段は、前記階層的クラスタリング分析において、各階層についてクラスタ間距離を規格化した不整合係数を算出し、該不整合係数が極大となった階層までをクラスタとして用いる手段である、
請求項１又は２に記載のメンタル状態推定装置。
【請求項４】
前記生体情報は、被験体の脈波情報であり、
前記脈波情報を二階時間微分して加速度を算出することにより前記指標データを生成する指標データ生成手段を備える、
請求項１ないし３のいずれか１項に記載のメンタル状態推定装置。
【請求項５】
前記特徴ベクトル生成手段は、最低周波数帯域を除外して前記特徴ベクトルを生成する手段である、
請求項１ないし４のいずれか１項に記載のメンタル状態推定装置。
【請求項６】
請求項１ないし５のいずれか１項に記載のメンタル状態推定装置と、
被験体の生体情報を取得する携帯端末と、を備え、
前記携帯端末から前記メンタル状態推定装置に前記生体情報が送信されることを特徴とする、
メンタル状態推定システム。
【請求項７】
コンピュータが、
被験体の生体情報を反映した時系列データである指標データを基底関数展開することにより複数階層で前記指標データが分解された時空間分解データを生成し、該時空間分解データのそれぞれについて情報エントロピーを算出し、該算出した情報エントロピーを最小にする階層を選択すると共に、該選択した階層が最下層であれば該当する情報エントロピーを成分とし最下層でなければ前記選択した階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する処理と、
前記生成された特徴ベクトルに基づき、前記被験体のメンタル状態を推定する処理と、 を実行するメンタル状態推定方法。
【請求項８】
コンピュータに、
被験体の生体情報を反映した時系列データである指標データを基底関数展開することにより複数階層で前記指標データが分解された時空間分解データを生成し、該時空間分解データのそれぞれについて情報エントロピーを算出し、該算出した情報エントロピーを最小にする階層を選択すると共に、該選択した階層が最下層であれば該当する情報エントロピーを成分とし最下層でなければ前記選択した階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する処理と、
前記生成された特徴ベクトルに基づき、前記被験体のメンタル状態を推定する処理と、 を実行するメンタル状態推定プログラム。
【請求項９】
無線通信機能を有し、該無線通信機能によって取得されたコンテンツをユーザに提供可能な携帯端末であって、
前記コンテンツの提供時に、前記ユーザの脈波情報を取得する脈波情報取得手段と、
前記取得された脈波情報を、該取得時に提供されたコンテンツの種別情報と対応付けて記憶手段に記憶する情報獲得手段と、
を備える携帯端末。
【請求項１】
被験体の生体情報を反映した時系列データである指標データを基底関数展開することにより複数階層で前記指標データが分解された時空間分解データを生成し、該時空間分解データのそれぞれについて情報エントロピーを算出し、該算出した情報エントロピーを最小にする階層を選択すると共に、該選択した階層が最下層であれば該当する情報エントロピーを成分とし最下層でなければ前記選択した階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する特徴ベクトル生成手段と、
前記特徴ベクトル生成手段により生成された特徴ベクトルに基づき、前記被験体のメンタル状態を推定する推定手段と、
を備えるメンタル状態推定装置。
【請求項２】
前記推定手段は、前記特徴ベクトル生成手段により生成された特徴ベクトルに対して階層的クラスタリング分析を行ってクラスタリング分布ベクトルを算出し、該算出したクラスタリング分布ベクトルと、予めメンタル状態に対応付けて記憶されたクラスタリング分布ベクトルとの関係に基づいて前記被験体のメンタル状態を推定する手段である、
請求項１に記載のメンタル状態推定装置。
【請求項３】
前記推定手段は、前記階層的クラスタリング分析において、各階層についてクラスタ間距離を規格化した不整合係数を算出し、該不整合係数が極大となった階層までをクラスタとして用いる手段である、
請求項１又は２に記載のメンタル状態推定装置。
【請求項４】
前記生体情報は、被験体の脈波情報であり、
前記脈波情報を二階時間微分して加速度を算出することにより前記指標データを生成する指標データ生成手段を備える、
請求項１ないし３のいずれか１項に記載のメンタル状態推定装置。
【請求項５】
前記特徴ベクトル生成手段は、最低周波数帯域を除外して前記特徴ベクトルを生成する手段である、
請求項１ないし４のいずれか１項に記載のメンタル状態推定装置。
【請求項６】
請求項１ないし５のいずれか１項に記載のメンタル状態推定装置と、
被験体の生体情報を取得する携帯端末と、を備え、
前記携帯端末から前記メンタル状態推定装置に前記生体情報が送信されることを特徴とする、
メンタル状態推定システム。
【請求項７】
コンピュータが、
被験体の生体情報を反映した時系列データである指標データを基底関数展開することにより複数階層で前記指標データが分解された時空間分解データを生成し、該時空間分解データのそれぞれについて情報エントロピーを算出し、該算出した情報エントロピーを最小にする階層を選択すると共に、該選択した階層が最下層であれば該当する情報エントロピーを成分とし最下層でなければ前記選択した階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する処理と、
前記生成された特徴ベクトルに基づき、前記被験体のメンタル状態を推定する処理と、 を実行するメンタル状態推定方法。
【請求項８】
コンピュータに、
被験体の生体情報を反映した時系列データである指標データを基底関数展開することにより複数階層で前記指標データが分解された時空間分解データを生成し、該時空間分解データのそれぞれについて情報エントロピーを算出し、該算出した情報エントロピーを最小にする階層を選択すると共に、該選択した階層が最下層であれば該当する情報エントロピーを成分とし最下層でなければ前記選択した階層の情報エントロピーを最下層まで等分展開した値を成分とした特徴ベクトルを生成する処理と、
前記生成された特徴ベクトルに基づき、前記被験体のメンタル状態を推定する処理と、 を実行するメンタル状態推定プログラム。
【請求項９】
無線通信機能を有し、該無線通信機能によって取得されたコンテンツをユーザに提供可能な携帯端末であって、
前記コンテンツの提供時に、前記ユーザの脈波情報を取得する脈波情報取得手段と、
前記取得された脈波情報を、該取得時に提供されたコンテンツの種別情報と対応付けて記憶手段に記憶する情報獲得手段と、
を備える携帯端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１０３０７２（Ｐ２０１３−１０３０７２Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２５０６４７（Ｐ２０１１−２５０６４７）
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]