行動分析方法および行動分析装置
【課題】 被験者の感情状態および精神状態を分析して、被験者の行動を確度高く予測できる技術を提供することを目的とする。
【解決手段】 被験者の発話を音声信号として取得する入力手順と、音声信号から複数の音声特徴量を算出する演算手順と、複数の音声特徴量に基づいて、被験者の生理活動および感情状態を分析し、被験者の行動を予測する予測手順と、を備える。
【解決手段】 被験者の発話を音声信号として取得する入力手順と、音声信号から複数の音声特徴量を算出する演算手順と、複数の音声特徴量に基づいて、被験者の生理活動および感情状態を分析し、被験者の行動を予測する予測手順と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の感情や精神を分析して行動を予測する行動分析方法および行動分析装置に関する。
【背景技術】
【０００２】
近年、被験者の発話に基づいて被験者の感情を認識する技術開発が盛んに行われており（例えば、特許文献１など）、そうした音声感情認識技術が、ロボットやテレビゲームとともに、医療用診断装置やうそ発見器などに応用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６７６９６９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、人の主観に基づいて作成された感情の判断基準となる指標に基づいて、被験者の感情を分析することから、医師や学習に用いられる被験者などの主観のズレや揺らぎにより、医療レベルに求められる精度で被験者の感情、心理、本音の識別することは非常に困難である。
【０００５】
また、生理指標だけから人の心を知ることも困難である。
【０００６】
上記従来技術が有する問題を鑑み、本発明の目的は、被験者の感情状態および精神状態を分析して、被験者の行動を確度高く予測できる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明を例示する行動分析方法の一態様は、被験者の発話を音声信号として取得する入力手順と、音声信号から複数の音声特徴量を算出する演算手順と、複数の音声特徴量に基づいて、被験者の生理活動および感情状態を分析し、被験者の行動を予測する予測手順と、を備える。
【０００８】
また、入力手順は、被験者の生理活動の複数の生理情報を取得し、予測手順は、複数の音声特徴量および複数の生理情報に基づいて、複数の音声特徴量と人の生理活動および感情状態とを関係付けるパラメータテーブルおよび判断木を予め生成し、パラメータテーブルおよび判断木を用いて、被験者の生理活動および感情状態を分析してもよい。
【０００９】
また、予測手順は、人の感情状態と行動とを関係付けるモデルを用いて、分析した被験者の感情状態から被験者の行動を予測してもよい。
【００１０】
また、入力手順は、予測手順による予測後に観察された被験者の行動結果を取得し、予測手段は、予測結果と行動結果とを比較して、パラメータテーブルおよび判断木における複数の音声特徴量と人の生理活動および感情状態との関係付けの度合いを調整してもよい。
【００１１】
また、予測手段は、被験者毎に度合いを調整してもよい。
【００１２】
また、予測手段は、感情状態毎に度合いを調整してもよい。
【００１３】
また、予測手順による被験者の生理活動および状態と予測結果とを表示する表示手順を備えてもよい。
【００１４】
本発明を例示する行動分析装置の一態様は、被験者の発話を音声信号として取得する入力部と、音声信号から複数の音声特徴量を算出する演算部と、複数の音声特徴量に基づいて、被験者の生理活動および感情状態を分析し、被験者の行動を予測する予測部と、を備える。
【発明の効果】
【００１５】
本発明によれば、被験者の感情状態および精神状態を分析して、被験者の行動を確度高く予測できる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態に係る行動分析装置の構成を示すブロック図
【図２】本人確認および他者評価を行うためのユーザインタフェースの一例を示す図
【図３】音声および生理情報測定のタイムスケジュールの一例を示す図
【図４】心拍数と音声パラメータとに基づいた感情クラス判定の判断木の一例を示す図
【図５】音声パラメータのみに基づいた感情クラス判定の判断木の一例を示す図
【図６】第１の実施形態に係る行動分析装置の動作について説明するフローチャート
【図７】内蔵影響度合いおよび身体反応影響度合いのグラフの一例を示す図
【図８】テンプレート（感情生理モデル）の一例を示す図
【図９】第２の実施形態に係る行動分析装置の動作について説明するフローチャート
【図１０】各基本精神状態におけるテンプレートの典型例を示す図
【図１１】健康な人の場合の表示の一例を示す図
【図１２】裁判所指定人格障害者の治療済みの場合（うつ状態のみ出現）の一例を示す図
【図１３】図１２の裁判所指定人格障害者の治療前の一例を示す図
【図１４】双極性２型障害度合いを数値で示す場合の一例を示す図
【図１５】第３の実施形態に係る行動分析装置の動作について説明するフローチャート
【発明を実施するための形態】
【００１７】
《第１の実施形態》
図１は、本発明の第１の実施形態に係る行動分析装置１００の構成を示すブロック図である。
【００１８】
図１に示す行動分析装置１００は、コンピュータ１、マイクロフォン２、デジタルカメラ３、生理測定装置４から構成される。これにより、本実施形態の行動分析装置１００は、精神分析、行動予測および分析を行う。また、行動分析装置１００は、本音などについても生理指標（特に脳神経系の影響をうけた音声パラメータなど）を根拠とした分析手法で分析し表示する。
【００１９】
コンピュータ１は、ＣＰＵ１０、記憶部１１、メモリ１２、入出力インタフェース（入出力Ｉ／Ｆ）１３、バス１４から構成される。ＣＰＵ１０、記憶部１１、メモリ１２、入出力Ｉ／Ｆ１３は、バス１４を介して情報伝達可能に接続されている。また、コンピュータ１には、入出力Ｉ／Ｆ１３を介して、音声信号処理などの途中経過や処理結果を表示する表示装置１５、ユーザからの入力を受け付ける入力装置１６がそれぞれ接続される。
【００２０】
ＣＰＵ１０は、コンピュータ１の各部の動作を統括的に制御するプロセッサである。ＣＰＵ１０は、後述するように、行動分析のプログラムを実行させることにより、入出力Ｉ／Ｆ１３を経由して、マイクロフォン２で受信した被験者や医師などの音声信号および生理測定装置４で測定した被験者などの生理情報を用い、被験者の感情状態の分析、精神分析および行動予測を行う予測部として動作する。具体的には、ＣＰＵ１０は、被験者の音声信号から算出した複数の音声パラメータの値および測定された生理情報と、後述する生理と心と関係を示すモデルであるテンプレート（または生理感情モデル）とに基づいて、被験者の感情状態を分析し行動を予測する。ＣＰＵ１０は、その被験者の感情分析、精神分析、行動予測の結果を、表示装置１５に表示する。ＣＰＵ１０には、一般的な中央演算装置を用いることができる。
【００２１】
記憶部１１は、マイクロフォン２が受信した被験者の発話や医師との会話の音声信号の音声データ、生理測定装置４によって測定された被験者の生理情報のデータとともに、ＣＰＵ１０がそれらのデータに基づいて被験者の感情状態、精神分析、行動予測を行う行動予測プログラム、精神状態や本音などを分析するプログラムなどを記憶する。また、記憶部１１には、後述するように、ＣＰＵ１０が行動予測を行うのに必要な主観感情テーブル（音声特徴テーブル）、各種生理情報の影響を受ける音声パラメータを生理情報毎に一覧にしたパラメータテーブル、これらテーブルに基づいて生成された各種判断木（ロジックテーブル）を記憶する。記憶部１１に記憶されるデータ、プログラム、テーブル、判断木などは、バス１４を介して、ＣＰＵ１０から適宜参照することができる。記憶部１１には、一般的なハードディスク装置、光磁気ディスク装置などの記憶装置を選択して用いることができる。
【００２２】
メモリ１２は、ＣＰＵ１０が処理する音声データ、生理情報、各種テーブルや判断木等のデータを一時記憶する。メモリ１２には、揮発性メモリなどの半導体メモリを適宜選択して用いることができる。
【００２３】
表示装置１５は、被験者に関する情報などを表示するとともに、被験者の感情状態、行動予測、精神状態、生理状態、本音などの分析結果を表示する。表示装置１５には、一般的な液晶モニタなどを用いることができる。
【００２４】
入力装置１６は、ユーザである医師または被験者からの要求や問い合わせの指示、診断結果などを受け付ける装置である。入力装置１６には、キーボードやマウスなどをそれぞれ適宜選択して使用できる。
【００２５】
マイクロフォン２は、被験者のなどの音声を受信して電気信号である音声信号に変換し、コンピュータ１に出力する。コンピュータ１は、マイクロフォン２からの音声信号を受信して、記憶部１１に記録する。ＣＰＵ１０が、演算部として、マイクロフォン２により取得された被験者の音声データを、ＦＦＴやウェーブレットなどの公知の解析方法を用いて、複数の音声パラメータ（Ｆ０など）（音声特徴量）の値を算出する。ＣＰＵ１０は、音声パラメータと後述する被験者の各種生理情報とを用い、脳の情動制御部位（辺縁系や視床下部など）と迷走神経で直結する声帯や音声特徴（声質にも関係する）を検出する。また、マイクロフォン２は、音声再生時などの場合において、記録された音声信号を音波として出力するスピーカとして動作する。
【００２６】
デジタルカメラ３は、被験者の顔を撮影し、撮影した画像データを、入出力Ｉ／Ｆ１３を介して、コンピュータ１に送信する。コンピュータ１は、受信した画像データを記憶部１１に記憶する。ＣＰＵ１０は、その画像データを表示装置１５に表示し、被験者自身または医師に被験者の表情変化を観察させて、その観察結果を入力装置１６を介して受け付け、記憶部１１またはメモリ１２に記録する。あるいは、ＣＰＵ１０は、その画像データを読み込み、公知の手法を用いて、顔認識して被験者の表情の心理的な属性を求めてもよい。本実施形態では、この表情変化、例えば、顔を顰めたり、瞬きや瞳孔の変化などの目の動き、首の傾きなども生理情報の１つとして用いる。これは、精神障害などの症状が表情に表れることによる。
【００２７】
生理測定装置４は、被験者を測定し複数の生理情報を取得する。生理測定装置４は、ＭＲＩ、ＰＥＴ、血圧計、体温計などであり適宜選択して用いる。生理測定装置４は、取得した生理情報を入出力Ｉ／Ｆ１３を介して、コンピュータ１に送信する。コンピュータ１は、受信した生理情報を記憶部１１に記憶する。本発明の生理測定装置４が測定する生理情報は、呼気、脳活動、神経活動、レセプタ、向精神薬投与、内臓情報、眼球活動、心拍心電、内蔵、身体活動であるとする。
【００２８】
ここで、呼気に基づいて測定される生理情報には、オフスイッチ、タイミング、長さ、量、深呼吸がある。オフスイッチとは、呼吸と感情との関係は深いという研究報告があることから、公知の呼吸のオフスウィッチモデル（例えば、意図的に呼吸を止めていても、いつかは再開してしまう）に基づいて求まるものであり、そのオフスイッチと感情の性質（例えば、いつまでも怒っていられない）との比較を行う。タイミングは、呼吸の回数は心的要素にも影響を受けることから、これを測定する。また、ため息なども測定するため、タイミングは必要である。長さは、どの程度の呼吸状態かを知る必要があり、呼吸の長さや深さを測定する。量は、呼吸の質を知る必要があり、呼吸量を測定する。深呼吸は、深呼吸するとその間はネガティヴな感情を想起できなくなるという人間の特徴から、深呼吸を測定し深呼吸による感情のオフモデルをつくる。
【００２９】
脳活動の生理情報は、感情発話時の脳の情動制御部位（辺縁系や視床下部・そのミラー反応など）の脳波やＭＲＩなどによって測定される脳活動を指す。測定された脳活動とマイクロフォン２による音声の感情性反応やその他の生理情報との比較を行う。また、発話がない場合における情動活動も知る必要があり、本実施形態ではその場合の脳波や脳活動も測定する。なお、ＭＲＩなどによる測定時には、騒音軽減のために、非磁性マイクが防音マスクの中に装備され、自然呼吸ができるように新鮮な空気を供給する防音ホースが装備された装置をマイクロフォン２として用いて実施する。
【００３０】
神経活動の生理情報は、一般的な公知の手法を用いて測定される交感神経や副交感神経の状態、各種神経の状態を指す。本実施形態では、測定されたそれら神経活動の生理情報を、マイクロフォン２による音声の感情性反応やその他の生理情報と比較する。なお、神経活動の生理情報は、心拍心電などの他の生理指標からも測定可能である。
【００３１】
レセプタの生理情報は、セロトニンや感情や呼吸などに関係する神経・レセプタの状態を指し、ＰＥＴなどで測定される。そして、本実施形態では、レセプタの生理情報を音声の感情性反応やその他の生理反応と比較する。
【００３２】
向精神薬投与の生理情報は、ＳＳＲＩ、精神安定剤、向精神薬、神経薬剤などに関する情報であり、本実施形態では、それらを投与する前後の状態と音声の感情性反応やその他の生理反応とを比較する。
【００３３】
内臓情報の生理情報とは、人の内蔵活動を指す。例えば、セロトニンなどは腸に多く存在し、セロトニンのようなホルモンなどの影響が、腸の活動を介して、逆に脳にフィードバック（バイオフィードバックという）される場合がある。そこで、被験者の感情が、脳活動による影響か、腸などの内蔵活動による影響かを分析する必要があり、その他の要素をスクリーニングするために、生理測定装置４は内臓活動に関する生理情報を測定する。なお、本実施形態では、生理測定装置４として、例えば、超音波検査装置などを用い、内蔵活動として腸の活動を測定するものとする。
【００３４】
眼球活動の生理情報には、瞳孔、瞬き、眼球運動がある。瞳孔とは、興味を持つと瞳孔は開く、驚いても同様であるため、これを測定する。瞬きは、例えば、動揺や相手を意識した場合には多くなり、注意や関心がある場合には集中して少なくなるので、瞬きの回数の回数を測定する。本実施形態における眼球活動の測定は、例えば、デジタルカメラ３により撮影される被験者の顔の画像を見ながら、医師などにより行われる。
【００３５】
なお、本実施形態では、生理測定装置４が測定する生理情報は、呼気、脳活動、神経活動、レセプタ、向精神薬、内臓情報、眼球活動としたが、これに限定されない。例えば、心電、血液、唾液、排便・尿、体温、ホルモン、生体物質、伝達物質、遺伝子情報、発汗、皮膚電位を合わせて用いることが好ましい。これにより、より正確に、被験者の感情状態や行動予測などが可能となる。
【００３６】
ここで、心電の生理情報は、公知の一般的な手法により測定される、感情変化に伴う心拍変化や心臓活動の変化のことである。血液の生理情報は、うつ状態やストレスや病気の原因による感情変化を分析するために、実験前後および最中で採取された血液に関する情報である。唾液の生理情報は、ストレスやうつ状態を計測するために、実験の前後、最中に測定される唾液に関する情報である。排便・尿の生理情報は、食事状態や健康状態を測定するために、実験の直前に採取測定される。体温の生理情報は、体温変化による情動の影響、ストレスや感情の変化を知るために測定される体温の変化に関する情報である。発汗の生理情報は、緊張、ストレスや動揺などの反応が発汗にも出るため測定する。皮膚電位の生理情報は、緊張やストレスなどの反応が皮膚電位にも出るため測定する。
【００３７】
また、生体物質、伝達物質、遺伝子情報の生理情報とは、アドレナリン、ドーパミン、カフェインなどの生体物質と、興奮、ストレス、不安、うつなどの身体反応および情動との関係を一覧にしたものである。その生体物質、伝達物質、遺伝子情報の生理情報において、例えば、アドレナリンは、興奮、不安、闘争、恐怖などの情動や、心拍、瞳孔、交感神経などの身体反応と関係し、カフェインは、興奮やストレスの情動と関係することなどが示されている。
【００３８】
次に、本実施形態に係る行動分析装置１００の動作について説明する。ただし、行動分析装置１００の動作の説明の前に、その行動分析装置１００の動作に必要となる、主観感情テーブル、パラメータテーブル、判断木とそれらの生成について説明する。
【００３９】
最初に、主観感情テーブルについて説明する。主観感情テーブルとは、複数の被験者（例えば、１００名以上）が自身および他者が発した発話を聴いて、主観的に発話時点の感情を評価（本人確認または他者評価）し、その評価結果を発話単位毎に対応付けして一覧にしたものである。
【００４０】
具体的には、被験者の各々は、マイクロフォン２に向かって、自由に音声を発する。マイクロフォン２は、その発せられた音声を受信して、音声信号としてコンピュータ１に出力する。コンピュータ１は、受信した音声信号を音声データとして被験者毎に記憶部１１に記録する。
【００４１】
ＣＰＵ１０は、入力装置１６を介して、被験者より本人確認を行うためのアプリケーションのプログラムの起動指示を受け付ける。ＣＰＵ１０は、その起動指示に基づいて、アプリケーションを起動し、図２に示すような、自身の発話を聴いて主観的に感情を評価するためのユーザインタフェースを表示装置１５に表示する。被験者は、自分自身の音声データのファイルを選択し再生の指令を、入力装置１６を介して、ＣＰＵ１０に出力する。ＣＰＵ１０は、被験者自身の音声データを発話単位で再生する。被験者は、再生された自身の発話単位の音声を聴き、各発話に対して、主観的な快・不快評価、感情評価、興奮評価（感情の度合い）などを、入力装置１６を用いて行う。例えば、被験者は、ある発話に対して、不快、怒り３や快、喜び２などのように評価する。ＣＰＵ１０は、被験者によるそれらの評価を受け付け、発話とそれに対する評価結果とを対応付けて記憶部１１に記録する。
【００４２】
なお、図２は、感情評価として平常、怒り、喜び、哀しみ、不安、苦痛を表示したが、これに限定されず、それら以外の感情を有することが好ましい。また、それらの感情に対する感情の度合いである興奮評価は、１〜３としたがこれに限定されず、１０段階評価などであってもよい。また、再生される発話は、時系列に沿って再生されてもよいが、シャッフルされてランダムに再生されるのが好ましい。さらに、過去に取得された発話や他の被験者の発話も含まれていてもよい。これにより、主観による評価であってもより安定した主観感情テーブルを取得することができる。また、発話単位だけでなく、連続の音声で再生されてもよい。連続の音声で再生されることにより、被験者自身が、その音声を発したときの状況を把握することが可能となり、その状況と合わせてその時の感情を判定することが可能となる。
【００４３】
次に、被験者は、例えば、上記アプリケーションを用いて、他の被験者の音声データを発話単位でランダムに再生させて他者評価する指令を、入力装置１６を介して、ＣＰＵ１０に出力する。ＣＰＵ１０は、他の複数の被験者の音声データを発話単位にランダムに再生する。被験者は、再生された他者の音声を発話単位に聴き、各発話に対して、主観的な快・不快評価、感情評価、興奮評価（感情の度合い）を、入力装置１６を用いて行う。ＣＰＵ１０は、被験者によるそれらの評価を受け付け、発話とそれに対する評価結果とを対応付けて記憶部１１に記録する。
【００４４】
そして、ＣＰＵ１０は、上記本人確認および他者評価の結果のうち、主観に基づいた発話と感情とにおける安定した評価結果を取得するために、複数の被験者による評価結果のうち、発話とそれに対する評価結果とが８０％以上一致したものを選び出して主観感情テーブルを生成する。
【００４５】
なお、本実施形態において、ＣＰＵ１０は、各被験者が、マイクロフォン２に向かって音声を発した後、どのような行動を取ったかの行動記録を、入力装置１６を介してユーザである医師などから取得し、各被験者の音声データと対応付けて記憶部１１に記録する。この行動記録は、後述する行動予測との比較や行動予測のパターンを導出するための試料となる。同時に、ＣＰＵ１０は、その時の天候、食事内容、体調など、感情や心理に影響を与える環境・状況の事前情報も、医師などから取得し、各被験者の音声データと対応付けて記憶部１１に記録する。また、ＣＰＵ１０は、被験者が音声を発する際、周りの環境などの影響（バイアス）を受けていたか否かの認知影響の有無についても、医師などから取得し確認する。
【００４６】
さらに、本実施形態では、各被験者は、自身の音声データに基づく本人確認を、音声データ取得直後に行ったが、これに限定されず、翌日など時間を空けて行ってもよいし、１日などの所定の時間を空けて再度本人確認を行ってもよい。同様に、他者評価についても、所定の時間を空けて再度行うことが好ましい。これにより、より安定した主観感情テーブルを生成することができる。
【００４７】
次に、パラメータテーブルについて説明する。パラメータテーブルは、複数の被験者それぞれに発話させるとともに、生理測定装置４による上記各種生理測定を行い、発話の音声信号から算出される複数の音声パラメータと各種生理情報とを比較し、生理変化に応じて影響を受ける音声パラメータを、生理情報毎に一覧にしたものである。ただし、パラメータテーブルが主観感情テーブルの場合と異なる点は、被験者による発話が、自然な状態で感情が強く強調される状況下で行われることにある。すなわち、音声と感情、脳、神経系とは密接に関係しており、被験者に対して明らかに特定の感情が想起されるような状況下で行う。ここで、自然な状態で感情が強く強調される状況とは、「被験者を狭い部屋に入れる」、「体が動かないように固定する」、「知人などから被験者にとってあまり触れられたくない質問を受け付ける」、「被験者の感情が刺激されるような映像を見せたり小説を聞かせたりする」などのストレスが加えられた状況をいう。
【００４８】
なお、本実施形態では、自然な状態で感情が強く強調される状況には、通常の自由な状況も含まれる。すなわち、先に求めた主観感情テーブルも、複数のパラメータテーブルのうち主観の影響を受けるパラメータテーブルをなす。これにより、通常の場合での感情状態と、ストレスの状況下での感情状態との差を観ることが可能となる。
【００４９】
具体的には、被験者は、例えば、生理測定装置４を構成する血圧計や体温計などが装着されるとともに、ｆＭＲＩなどの測定のために体が固定される。そのような状態で、デジタルカメラ３および生理測定装置４は、図３に示すようなタイムスケジュールに基づいて、被験者の各種生理情報を測定するとともに、マイクロフォン２は、被験者が自由に発する音声を受信する。マイクロフォン２は、受信した音声信号としてコンピュータ１に出力する。同時に、デジタルカメラ３は撮像した被験者の画像を、生理測定装置４は測定した被験者の各種生理情報をコンピュータ１にそれぞれ出力する。コンピュータ１は、受信した音声信号、画像、生理情報を被験者毎に記憶部１１に記録する。
【００５０】
ここで、図３に示すように、本実施形態のタイムスケジュールにおいて、デジタルカメラ３は、被験者が発話を開始する前から終了後まで、被験者の表情や眼球活動の生理情報を測定するために、被験者の顔を撮像する。同時に、生理測定装置４は、心電、皮膚電位、発汗、体温、呼気などの身体状態の測定を行う。さらに、医師などは、被験者の排泄物を実験の直前に採取測定して、食事状態や健康状態を確認するとともに、周りの環境の気温や天候などを、入力装置１６を介して、各被験者の音声データと対応付けて記録部１１に記録する。また、発話開始の前に、医師は、被験者に向精神薬投与の有無を確認し記録する。
【００５１】
また、本実施形態では、生理測定装置４は、発話開始後、上記身体状態の測定とともに、脳状態、神経状態、レセプタなどの神経活動の測定、および血液、唾液、内臓状態、ホルモンなどの内臓・内分泌系の測定を開始し、発話終了後まで行う。
【００５２】
なお、このような測定は、２４時間行われるのが理想的であるが、例えば、最低１時間以上あればよい。ただし、１時間などの短い期間で測定を行う場合、起床時、各食事の前後、就寝時のそれぞれの期間において行われるのが好ましい。また、各測定は、ストレスのない通常の場合とストレスの状況下の場合とで行われてもよい。あるいは、起床時の測定は、例えば、通常の場合で、就寝時の測定は、ストレスの状況下の場合のように、各測定が異なる状況下でそれぞれ行われてもよい。さらに、ストレスの与え方も測定毎に変えて行われるのが好ましい。
【００５３】
上記測定後、医師などは、各被験者が、どのような行動を取ったかの行動確認を行い、各被験者の音声データと対応づけて記憶部１１に記録する。同時に、医師は、認知影響が無いか否かも確認する。
【００５４】
一方、ＣＰＵ１０は、上述したように、取得した音声信号を公知の手法（ＦＦＴやウェーブレットなど）で解析し、Ｆ０や周波数などの複数の音声パラメータの値を算出する。ＣＰＵ１０は、一般的な解析手法を用い、それら音声パラメータおよび各種生理情報の値の時間変化に基づいて、通常の状況やストレスの状況とかの環境に拘わらず、生理情報毎に、複数の音声パラメータのうち、その生理情報の影響を受ける音声パラメータを抽出し、抽出された音声パラメータからなるパラメータテーブルを生成する。例えば、体温が、所定の閾値以上で大きく変化した場合、ＣＰＵ１０は、その影響を大きく受けて変化した音声パラメータ（Ｆ０パワーや周波数の変位量Δｆ）を、体温という生理情報の影響を受ける音声パラメータとして抽出し、パラメータテーブルに付加する。
【００５５】
本実施形態では、神経活動の影響を受けるパラメータのパラメータテーブル、内蔵・内分泌系の影響を受けるパラメータのパラメータテーブルなどが生成され、記憶部１１に記録される。これにより、感情の正確さという指標を取得することができ、抽象的な感情を定量化することができる。
【００５６】
なお、音声パラメータの変化と生理情報の変化とは、実際にはタイムラグがある。したがって、そのタイムラグを考慮しつつ音声パラメータと生理情報との変化を捉えないといけない。
【００５７】
また、このようなパラメータテーブルの生成は、最低１ヶ月間の測定が必要である。好ましくは、四季などの変化に伴う感情変化も考慮する必要であることから、１年間の測定期間が理想的である。
【００５８】
また、被験者は、図２に示すユーザインタフェースを用いて、図３に示すタイムスケジュールで取得された音声データによる本人確認および他者評価を行ってもよい。これにより、より安定した主観感情テーブルを生成することができる。
【００５９】
次に、主観感情テーブルを含む各種パラメータテーブルに基づいて、生成される各種感情クラス判定の判断木（ロジックテーブル）について説明する。
【００６０】
具体的には、ＣＰＵ１０は、入力装置１６からのユーザ指示に基づいて、記憶部１１から公知の判断木作成プログラムもしくは分析判定プログラムを読み込み起動する。ＣＰＵ１０は、記憶部１１から主観感情テーブルを含む各種パラメータテーブルを読み込み、様々な生理情報および主観の組み合わせの判断木を生成する。すなわち、ＣＰＵ１０は、音声パラメータを生理根拠から来る群と主観から来る群とに分けて、主観評価から作られたロジックと、生理変化の影響を受ける音声パラメータとを独立させ、根源的感情や精神状態を表示する生理情報と認知影響も含む主観パラメータとの組み合わせの各種感情クラス判定の判断木を生成する。
【００６１】
なお、本実施形態では、各種感情クラス判定の判断木を生成するにあたり、神経活動の影響を受けるパラメータテーブル、内蔵・内分泌系の影響を受けるパラメータテーブル、身体状態の影響を受けるパラメータテーブル、脳神経系と内蔵分泌系の影響を受けるパラメータテーブル、内蔵分泌系と身体反応との影響を受けるパラメータテーブル、神経、内蔵分泌系、身体反応の影響を受けるパラメータテーブル、主観の影響を受けるパラメータテーブル（主観感情テーブル）を用いるものとする。しかしながら、これに限定されず、例えば、神経活動の影響を受けるパラメータテーブル、内蔵・内分泌系の影響を受けるパラメータテーブル、身体状態の影響を受けるパラメータテーブル、主観の影響を受けるパラメータテーブル（主観感情テーブル）のみを用いて、判断木を生成してもよい。
【００６２】
図４および図５は、感情クラス判定の判断木の一例を示す。図４は、心拍数と音声パラメータに基づいて、被験者の感情状態を判断する判断木を示す。図５は、音声パラメータのＦ０の高さおよびパワーに基づいて、被験者の感情状態を判断する判断木を示す。
【００６３】
以上により、主観感情テーブル、各種パラメータテーブル、各種判断木が生成される。そして、本実施形態の行動分析装置１００は、これらを用いることにより、マイクロフォン２から入力される音声信号のみに基づいて、被験者の感情状態を診断することが可能となる。
【００６４】
そこで、本実施形態に係る行動分析装置１００の動作について、図６のフローチャートを参照しつつ説明する。
【００６５】
例えば、医師などのユーザが、入力装置１６を用いて、ＣＰＵ１０に行動分析プログラムの起動指令を送信する。ＣＰＵ１０は、その起動指令を受け付けると、記憶部１１から行動分析プログラムを読み込み実行する。
【００６６】
ステップＳ１０：マイクロフォン２は、患者である被験者の音声の音声信号を取得する。マイクロフォン２は、音声の音声信号をコンピュータ１に出力する。なお、マイクロフォン２は、被験者とともに、ユーザである医師の音声も取得してもよい。
【００６７】
ステップＳ１１：コンピュータ１のＣＰＵ１０は、受信した音声信号をＦＦＴやウェーブレットなどで解析し、複数の音声パラメータの値を算出する。ＣＰＵ１０は、算出された音声パラメータおよび各種パラメータテーブルに基づいて、算出された音声パラメータに影響を与える神経活動などの生理情報の値を決定する。なお、本実施形態では、生理情報の値の決定において、ＣＰＵ１０は、医師などのユーザによる手動調整を受け付けて、生理情報の値を微調整できるのが好ましい。つまり、行動分析プログラムのようなアプリケーションでは捉えられない、被験者毎の個人差などに起因する音声信号の微妙な変化を捉え調整するのが好ましい。
【００６８】
ステップＳ１２：ＣＰＵ１０は、音声パラメータおよび決定した各種生理情報の値を、各種感情クラス判定の判断木に代入する。ＣＰＵ１０は、それら各種感情クラス判定の判断木に基づいて被験者の感情状態を判定し、その判定結果を表示装置１５に表示する。
【００６９】
本実施形態のＣＰＵ１０は、表示装置１５に、少なくとも、図７ａに示すような内蔵影響度合い、および図７ｂに示すような身体反応影響度合いのグラフなどとともに、判定された被験者の感情状態およびそれに基づいて予測される行動を、図８に示すようなグラフィカルなテンプレートを用いて表示する。
【００７０】
ここで、図８は、各種感情クラス判定の判定木による各感情の発達の仕方を、同心円状のダイアグラムで示すテンプレートの一例を示す。図８に示すテンプレートは、中心に向かうに従い原始的な情動である「快」、「不快」からなる。一方、外周に向かうにつれて、より内側の情動に応じた行動のパターンが分布する。これにより、医師は、被験者の情動変化や精神状態を可視化して確認することができる。また、外周に向かって行動予測ができることから、被験者の行動と環境状況とを確認することにより、診察経過観察が可能になる。さらに、医師は、被験者の行動と中心部の情動変化分析との比較から精神分析、人格判定を行うことができる。
【００７１】
なお、発明者は、本実施形態の行動分析装置１００に様々な曲のデータを入力させることより、それらの曲を歌う歌手の感情状態の分析を行った。その結果、例えば、女性歌手による明るいバラードの曲の場合、行動分析装置１００は、前向きな歌詞の部分では「喜び」の感情と判別し、力づける宣言のような歌詞の部分では「怒り」の感情と判別した。一方、男性歌手による落ち着いた曲の場合、行動分析装置１００は、基本的に「平常」の感情しか判別されず、あまり感情の変化は見られなかった。
【００７２】
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。
【００７３】
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的（神経性）な原因によるものか、演技で言っているうつ的（心因性）な原因によるものかの判定が音声のみからできる。
【００７４】
また、本実施形態によれば、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。
《第２の実施形態》
第２の実施形態に係る行動分析装置は、第１の実施形態の行動分析装置１００と同じである。よって、図１に示す行動分析装置１００を本実施形態に係る行動分析装置とし、各構成要素についての詳細な説明は省略する。
【００７５】
第２の実施形態は、行動分析装置１００による行動分析を、ユーザである医師が、患者である被験者に適用し、音声パラメータから被験者の精神状態要素の分析を行うとともに、同時にＩＣＤ１０やＤＳＭ４からの生理指標、医師の診断確認を行う。なお、本実施形態に係る行動分析装置１００が、第１の実施形態のものと異なる点は、被験者毎に感情状態の判定をカスタマイズすることができる点にある。
【００７６】
そこで、感情状態の判定のカスタマイズを含めた行動分析装置１００の動作について、図９のフローチャートを参照しつつ説明する。
【００７７】
なお、本実施形態に係る行動分析装置１００の記憶部１１には、一の実施形態で求めた主観感情テーブルを含む各種パラメータテーブルおよび各種感情クラス判定の判断木を予め有しているものとする。ただし、本実施形態の各種パラメータテーブルおよび各種感情クラス判定の判断木における、例えば、図４、５に示すような音声パラメータと生理情報および感情状態とを関係付ける度合いを示す閾値は、医師が、行動分析装置１００を用いて、うつ病患者である被験者の特性（平常と悲しみの偏り）、そう患者の特徴（怒り・喜び軸での偏り）、人格障害（そう特徴・うつ特徴の同時計測）、不安神経症（不安・不快の偏り）などを、ＩＣＤ１０やＤＳＭ４などの医療規格に基づいて予め分析し、設定されているものとする。具体的には、医師が、ＩＣＤ１０やＤＳＭ４などの医療規格に基づいて、精神分析規格（臨床用）から欲しい分析項目を決め、「抑うつ」、「そう」、「不安神経症」、「人格障害」などを示す音声パラメータの閾値を導出する。あるいは、医師が、ＩＣＤ１０やＤＳＭ４などの医療規格に応じた各種質問を被験者に行うことにより、「抑うつ」「そう」、「不安神経症」、「人格障害」などを示す音声パラメータの閾値を導出し設定してもよい。
【００７８】
ステップＳ１０１：ＣＰＵ１０は、表示装置１５に感情は入らない台詞、例えば、「氏名・年齢」、「いろはにほへとににぬるをあか」や「ＡＢＣＤＥＦＧＨＩＪＫ」などを表示して、被験者に発話させる。
【００７９】
ステップＳ１０２：マイクロフォン２は、感情が入らない台詞の被験者による発話を受信する。マイクロフォン２は、受信した音声信号をコンピュータ１に送信する。ＣＰＵ１０は、受信した感情が入らない台詞の音声信号をＦＦＴやウェーブレットなどで解析し、複数の音声パラメータの値を算出する。ＣＰＵ１０は、算出した音声パラメータの値および各種パラメータテーブルに基づいて、算出された音声パラメータに影響を与える神経活動などの生理情報の値を決定する。ＣＰＵ１０は、音声パラメータおよび決定した生理情報の値を、各種感情クラス判定の判断木に代入する。ＣＰＵ１０は、精神分析用の感情状態を判定し、その判定結果を出力する。
【００８０】
ステップＳ１０３：ＣＰＵ１０は、表示装置１５に、明るいイメージを想起させる、例えば、「いい天気だね」などの明るい表現の台詞を表示し、被験者に発話させる。同様に、ＣＰＵ１０は、悲しいイメージや怒りのイメージの台詞を表示装置１５に表示し、被験者に発話させる。ＣＰＵ１０は、被験者によるそれぞれの台詞の音声信号に基づいて神分析用の感情状態を判定し、その判定結果を出力する。ＣＰＵ１０は、ステップＳ１０２およびステップＳ１０３の判定結果を表示装置１５に表示し、医師に対して、被験者における神分析用の感情状態の判定結果の状態遷移を示す。なお、状態遷移の表示として、図８に示すようなテンプレートを用いて行われることが好ましい。
【００８１】
ステップＳ１０４：ＣＰＵ１０は、入力装置１６を介して、テンプレートに基づいた医師による被験者の感情状態の状態遷移の観察結果を受け付け、「抑うつ」、「そう」、「不安神経症」、「人格障害」などの気分障害の度合いを測定し、被験者の基本精神状態を決定する。例えば、明るいイメージで基本的な感情状態よりも悲しい反応が多ければ、気分障害において「うつ」の度合いが測定される。また、悲しいイメージで明るい反応では「そう」の度合いが測定される。一方、常に「怒り」が多い場合や「そう」、「うつ」の度合いが同時に高いなどの反応の場合、パーソナリティ障害などを確認することができる。また、ＰＴＳＤやトラウマの場合、情動の急激な変化や躁鬱（双極性反応）パーソナリティ障害反応などを同時にかつリアルタイムに検出される。
【００８２】
図１０ａ〜ｃは、「うつ」、「そう」、「統合失調型人格障害」それぞれにおけるテンプレートの表示の一例を示す。なお、テンプレートの内周の各情動の幅は、被験者における各情動の出現頻度と度合いとに応じて決定され、外周の各行動状態の幅は、被験者の情動および予測された行動と実際の行動との差に応じて決定される。そして、医師は、上記情動の幅および行動状態の幅を被験者毎に調節するために、「抑うつ」、「そう」、「不安神経症」、「人格障害」などの音声特徴に基づいて、被験者毎に各種パラメータテーブルや各種感情クラス判定の判断木における閾値を調整し設定することが好ましい。
【００８３】
また、感情状態の判定結果の状態遷移の表示は、基本感情状態・基本精神状態である「抑うつ」、「そう」、「不安神経症」、「人格障害（パーソナリティ障害）」などを、例えば、図１１〜図１４に示すような棒グラフ、度合い、または色などで表示してもよい。ここで、図１１〜図１４において、左チャンネルおよび右チャンネルは、被験者および医師それぞれの快・不快値、感情評価値、興奮値の時間変動を示す。図１１は、健康な人の場合のサンプルを示す。図１２は、裁判所指定人格障害者の治療済みの一例を示す。図１３は、図１２の裁判所指定人格障害者の治療前の状態を示す。図１４は、度合いを数値で示す場合の一例を示す。また、図１１〜図１４において、トラウマ反応の表示、気分障害度合い、「抑うつ」、「そう」のリアルタイム変化が表示されてもよい。
【００８４】
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。
【００８５】
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的（神経性）な原因によるものか、演技で言っているうつ的（心因性）な原因によるものかの判定が音声のみからできる。
【００８６】
さらに、ユーザである医師は、各種パラメータテーブルおよび各種感情クラス判定の判断木の閾値を、被験者毎に調整することができることから、より正確に人の感情の真値を求めることができる。
【００８７】
また、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。
【００８８】
また、求められる感情の値から、従来の時間遷移手法ではなく、時間変化とは関係なく精神状態要素を検出することができる。
《第３の実施形態》
第３の実施形態に係る行動分析装置は、第１の実施形態の行動分析装置１００と同じである。よって、図１に示す行動分析装置１００を本実施形態に係る行動分析装置とし、各構成要素についての詳細な説明は省略する。
【００８９】
本実施形態に係る行動分析装置１００は、第２の実施形態の行動分析装置と同様に、感情分析の結果を、生理と心と関係を示すモデルであるテンプレートに適用して、被験者の心理的特性（本音、人格、行動予測、精神分析など）を決定する。つまり、行動分析装置１００は、双極性特徴（そう特徴、うつ特徴の時間遷移による交互検出）、パニック障害（平常からの不安や苦痛、人格障害特徴が混乱している状況）など時間遷移で見える精神状態を検出するとともに、ＩＣＤ１０やＤＳＭ４などの医療規格に合わせて閾値を分析設定し変化特徴を導出する。
【００９０】
なお、本実施形態の主観感情テーブルを含む各種パラメータテーブル、および各種感情クラス判定の判断木は、第１の実施形態および第２の実施形態の場合と同様の手順で予め生成されるが、本実施形態の複数の被験者は、健常者と精神的な疾患を有する患者とから構成される点が、第１の実施形態および第２の実施形態の場合と異なる。
【００９１】
また、本実施形態の各種パラメータテーブルを生成するにあたり、医師が、各被験者に対して向精神薬を投薬する、すなわち投薬の影響を受けている点が、第１の実施形態および第２の実施形態の場合と異なる。つまり、ＣＰＵ１０は、向精神薬の投薬のフラグを付与し、被験者に発話させるとともに、デジタルカメラ３に撮像された画像から観測された被験者の表情変化、およびＭＲＩなどを用いて測定された測定値の各種生理情報を用いて、本実施形態の各種パラメータテーブルおよび各種感情クラス判定の判断木を生成している。
【００９２】
次に、本実施形態の行動分析装置１００の動作について、図１５のフローチャートを参照しつつ説明する。なお、本実施形態は、上述した第２の実施形態の被験者の基本精神状態の観察が長期間に亘って行われることを前提とする。
【００９３】
ステップＳ２０１：ＣＰＵ１０は、被験者の長期に亘って観察された基本精神状態を表示装置１５に表示する。ＣＰＵ１０は、医師自身の判断基準に準じた期間のうち、被験者において、例えば、うつやそうなどの障害が所定の期間以上の長期に亘って確認されたか否かを医師に判定させ、入力装置１６を介して、その判定結果を受け付ける。ＣＰＵ１０は、障害が所定の期間以上の長期に亘って確認されなかった場合（ＮＯ側）、被験者の基本精神状態は正常であると判定して行動分析の処理を終了する。一方、ＣＰＵ１０は、障害が所定の期間以上確認された場合、ステップＳ２０２（ＹＥＳ側）へ移行する。なお、医師自身の判断基準に準じた期間とは、医師自身の経験に基づいて決められる期間で、１時間、１日、１ヶ月、１年など、被験者の性格や状況などに応じて決められることが好ましい。また、本実施形態における所定の期間以上の長期とは、障害の内容や被験者毎に決まり、例えば、うつやそうの場合、およそ１４日である。
【００９４】
ステップＳ２０２：ＣＰＵ１０は、ステップＳ２０１における医師の判定結果に基づいて、「症状の度合い」を決定する。ＣＰＵ１０は、その結果を、例えば、図１２〜１４に示すように、被験者の双極性状態、パニック障害状態などの精神状態を棒グラフや色（属性）と量（度合い）とで表示装置１５に表示する。
【００９５】
ステップＳ２０３：ＣＰＵ１０は、生体物質、伝達物質、遺伝子情報の生理情報である生理比較マトリックスに基づいて、投薬の影響を受ける生理情報の値の変化をテンプレートに反映させ、表示装置１５に表示する。
【００９６】
ステップＳ２０４：ＣＰＵ１０は、表示装置１５に感情は入らない台詞、例えば、「氏名・年齢」、「いろはにほへとににぬるをあか」や「ＡＢＣＤＥＦＧＨＩＪＫ」などを表示して、被験者に発話させる。
【００９７】
ステップＳ２０５：マイクロフォン２は、感情が入らない台詞の被験者による発話を受信する。マイクロフォン２は、受信した音声信号をコンピュータ１に送信する。ＣＰＵ１０は、受信した感情が入らない台詞の音声信号をＦＦＴやウェーブレットなどで解析し、複数の音声パラメータの値を算出する。ＣＰＵ１０は、算出した音声パラメータの値および各種パラメータテーブルに基づいて、算出された音声パラメータに影響を与える神経活動などの生理情報の値を決定する。ＣＰＵ１０は、音声パラメータおよび決定した生理情報の値を、各種感情クラス判定の判断木に代入する。ＣＰＵ１０は、精神分析用の感情状態を判定し、その判定結果を出力する。
【００９８】
ステップＳ２０６：ＣＰＵ１０は、表示装置１５に、明るいイメージを想起させる、例えば、「いい天気だね」などの明るい表現の台詞を表示し、被験者に発話させる。同様に、ＣＰＵ１０は、悲しいイメージや怒りのイメージの台詞を表示装置１５に表示し、被験者に発話させる。ＣＰＵ１０は、被験者によるそれぞれの台詞の音声信号に基づいて神分析用の感情状態を判定し、その判定結果を出力する。ＣＰＵ１０は、ステップＳ２０５およびステップＳ２０６の判定結果を表示装置１５に表示し、医師に対して、被験者における神分析用の感情状態の判定結果の状態遷移を示す。なお、状態遷移を示す表示としては、図８に示すようなテンプレートで医師に示されることが好ましい。
【００９９】
ステップＳ２０７：ＣＰＵ１０は、入力装置１６を介して、テンプレートに基づいた医師による被験者の感情状態の状態遷移の観察結果を受け付け、「抑うつ」、「そう」、「不安神経症」、「人格障害」などの気分障害の度合いを測定し、被験者の基本精神状態を決定する。
【０１００】
ステップＳ２０８：ＣＰＵ１０は、入力装置１６からの医師の指示に基づいて、ＩＣＤ１０やＤＳＭ４などの医療規格に応じた各種質問を表示装置１５に表示し、被験者に質問する。ＣＰＵ１０は、入力装置１６を介して、質問に対する被験者からの回答を受け付ける。ＣＰＵ１０は、被験者の回答に応じてテンプレートを動的に変化させ、その変化を表示装置１５に表示する。ＣＰＵ１０は、医師に、質問事項とそれに対する回答に応じたテンプレートの動的な変化を観察させて、トラウマやＰＴＳＤなどの人格判定をさせる。すなわち、測定される各種生理情報との関係性から脳や身体反応から来る情動（生理反応で確認できる感情要素）を本音とし、精神状態の時間的出現特徴と本音と質問事項との比較から、医師は、被験者の人格を推定することができる。ＣＰＵ１０は、医師による、被験者のサディストやマゾフィストなどの人格障害状態の診断結果を、入力装置１６を介して受け付ける。
【０１０１】
ステップＳ２０９：ＣＰＵ１０は、ステップＳ２０８の人格判定とテンプレートの状態遷移に基づいて状況確認を行い、被験者の行動を予測する。つまり、ＣＰＵ１０は、医師による人格判定、検出されるリアルタイムの感情および精神状態の変化、それらに応じたテンプレートの状態遷移に基づいて、被験者の行動予測を行う。ＣＰＵ１０は、表示装置１５に被験者の本音や人格とともに、予測された行動に対するコメントを表示する。例えば、医師が被験者をサディストと人格判定した場合、ＣＰＵ１０は、サディストであるならば、ある状況のとき喜びを感じるであろうと行動予測する。そして、ＣＰＵ１０は、医師から上記人格判定後に確認された被験者の実際の行動や感情状態を、入力装置１６を介して、行動確認入力として受け付ける。そして、ＣＰＵ１０は、その被験者から喜び以外の感情状態が検出されるなど、テンプレートの標準的反応以外の反応が出た場合、その被験者は人格障害であると判定したり、表示装置１５にアラートを表示したりすることが好ましい。
【０１０２】
ステップＳ２１０：ＣＰＵ１０は、予測された行動と行動確認入力とを比較するとともに、被験者に現れた情動の出現頻度および度合いを算出し、被験者毎により適したテンプレートとなるように、各種パラメータテーブルおよび各種感情クラス判定の判断木における閾値を調整する。すなわち、ＣＰＵ１０は、例えば、被験者をサディストであると判定したにも拘わらず、予測された行動と異なる行動や感情状態を被験者が示した場合、各種パラメータテーブルおよび各種感情クラス判定の判断木における閾値が、その被験者にとって最適ではないと判定する。ＣＰＵ１０は、判定結果に基づいて、各種パラメータテーブルおよび判断木の閾値を調節する。ＣＰＵ１０は、その閾値の調節に応じて、テンプレートにおける情動および行動状態それぞれの幅を調整する。これにより、行動分析装置１００における行動予測の精度向上を図ることができる。
【０１０３】
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。
【０１０４】
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的（神経性）な原因によるものか、演技で言っているうつ的（心因性）な原因によるものかの判定が音声のみからできる。
【０１０５】
さらに、各種パラメータテーブルおよび各種感情クラス判定の判断木の閾値を、被験者に応じて調整し、テンプレートを変化させることにより、本音・人格・行動予測・時間遷移に基づいた被験者の精神分析をより正確に行うことができる。
【０１０６】
また、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。
《第３の実施形態の変形例》
第３の実施形態の変形例に係る行動分析装置は、第１の実施形態の行動分析装置１００と同じである。よって、図１に示す行動分析装置１００を本実施形態に係る行動分析装置とし、各構成要素についての詳細な説明は省略する。
【０１０７】
本実施形態に係る行動分析装置１００は、第３の実施形態の行動分析装置と基本的に同じであり、図１５に示すフローチャートに従って処理動作を行う。ただし、本実施形態の行動分析装置１００と第３の実施形態のものとの相違点は、下記の通りである。
【０１０８】
１）ステップＳ２０６において、ＣＰＵ１０は、被験者における神分析用の感情状態の判定結果の状態遷移から、所定の演算子や判断木生成などの公知の一般的な手法を用い、生理情報が有する恒常性（例えば、血圧を一定に保とうとすること）のバランス状態を分析する。なお、所定の演算子とは、例えば、ある生理情報とその生理情報の影響を受け易い音声パラメータとの関係を線形に表現した演算子である。
【０１０９】
２）ステップＳ２１０において、ＣＰＵ１０は、被験者に対して予測された行動と実際の行動との比較、および上述のバランス状態の分析結果に基づいて、医師に被験者の障害判定を行わせる。ＣＰＵ１０は、判定された障害およびその障害におけるバランス変化の特徴の組み合わせを、テンプレートに反映させて記録する。そして、ＣＰＵ１０は、記録されたテンプレートに基づいて、各種パラメータテーブルおよび各種感情クラス判定の判断木における閾値を調整する。これにより、被験者の特性および医師の診断特性を反映したものとなる。なお、記録されたテンプレートおよび閾値の情報は、その被験者の情報として、カルテに記録されることが好ましい。
【０１１０】
また、ＣＰＵ１０は、上記被験者のテンプレートおよび閾値を他の被験者に適用し、医師により障害判定の診断において整合性が確認された場合、そのテンプレートおよび閾値の情報を、所定の障害の判定における基準データとして、重要度を引き上げる設定を行ってもよい。また、ＣＰＵ１０は、例えば、行動分析装置１００がネットワークに接続されている場合、他の医師による診断結果を集計し、それらの診断結果に基づいて、所定の障害の判定の基準データを随時更新し、他の医師と共有されることが好ましい。
【０１１１】
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。
【０１１２】
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的（神経性）な原因によるものか、演技で言っているうつ的（心因性）な原因によるものかの判定が音声のみからできる。
【０１１３】
さらに、生理情報における恒常性のバランス状態と医師による障害判定とに基づいて、被験者に応じたテンプレートや、各種パラメータテーブルおよび各種感情クラス判定の判断木の閾値に調整することにより、本音・人格・行動予測・時間遷移に基づいた被験者の精神分析をより正確に行うことができる。
【０１１４】
また、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。
《実施形態の補足事項》
（１）上記実施形態では、ユーザを医師などとしたが、本発明はこれに限定されない。例えば、被験者自身が、本発明を用いて、正常な精神状態となるまで繰り返し発話することにより、被験者自身が精神状態を改善するようにしてもよい。なお、この場合、被験者が、発話しながら自身の精神状態などの判定結果をリアルタイムに確認できるようにし、行動分析装置１００に対する安心感および信頼性を得られるようにすることが好ましい。
【０１１５】
また、行動分析装置１００は、被験者自身の発話が徐々に変化するように誘導するアナウンスやコメントを表示し、被験者自身の声質を変えさせることにより、被験者自身が精神状態の変化を自己学習できるようにすることが好ましい。
【０１１６】
また、行動分析装置１００は、被験者に対して、音声を再生して自己学習させたり、１週間毎や月毎に変化をレポートしたりすることにより、長期的改善へ誘導することが好ましい。これにより、今までに無い手法で作られたシステムを利用した音声発声からの精神状態の改善と処方箋の提示とを行うことができる。
【０１１７】
（２）上記実施形態では、生理感情モデルとして、図８に示すテンプレートを用いたが、本発明はこれに限定されず、ビオン・グリッドなど公知の他の生理感情モデルを用いてもよい。
【０１１８】
また、図８に示すテンプレートにおける階層、情動および行動状態の数は、適宜変更することができる。すなわち、階層、情動および行動状態がより細分化されたテンプレートを用いてもよいし、より簡略化されたテンプレートを用いてもよい。
【０１１９】
（３）上記実施形態では、行動分析装置１００として、図１に示す構成を有したが、本発明はこれに限定されない。例えば、マイクロフォン２を用いて、被験者の発話の音声信号から複数の音声パラメータを取得すると同時に、声帯が位置する被験者の首の部分に１つまたは複数のセンサを配置することにより、声帯の振動を新たな音声パラメータとして測定してもよい。あるいは、鼻などから光ファイバを通して、例えば、１０００〜２０００ｆｐｓで動画撮像可能なカメラで被験者の声帯を撮像し、直接声帯の形状の変化などを新たな音声パラメータとして測定してもよい。
【０１２０】
（４）上記実施形態では、精神分析、行動予測、行動分析などの心理カウンセリング、精神医療、一般医療における面接や処方へ適用した場合を示したが、本発明はこれに限定されない。例えば、行動分析装置をロボットや自動車へ適用、コールセンター、エンターテイメントやインターネットやケイタイ電話アプリケーションやサービス、検索システムへの応用、金融与信管理システムや行動予測、企業、学校、行政機関、警察や軍事、情報収集活動などでの情報分析、虚偽発見に繋がる心理分析、組織グループ管理への応用、組織の構成員、研究者や従業員、管理者などの心の健康や行動予測を管理するシステムへの応用、住居やオフィス、飛行機や宇宙船といった環境を制御するシステムへの応用、家族や友人の心の状態や行動予測を知るための手段や、音楽や映画配信への応用、一般的な情報検索・情報分析管理・情報処理への応用、顧客感性嗜好マーケット分析などへの応用、これらをネットワークやスタンドアローンで管理するシステムの応用等へ適用することも可能である。例えば、ロボットに適用する場合には、人の発話による人の感情状態及び行動予測に基づいて、それらに対応した発話や行動をしてもよい。また、自動車に適用する場合には、運転者の発話による運転者の感情状態及び行動予測に基づいて、それらに対応した注意喚起等を音声又は表示装置による表示を行ったり、自動車の操作を制限したりすることで、事故等を未然に防ぐようにしてもよい。
【０１２１】
例えば、コールセンターの場合、行動分析装置１００は、顧客の発話の音声信号を解析し、オペレータに対して、顧客の現在の精神状態および行動予測の結果を表示装置１５に表示することにより、顧客が商品などに対して本当に問い合わせてきているのか、または単に嫌がらせできているのかの判別が可能となり、より適切な顧客対応が可能となる。
【０１２２】
（５）上記第３の実施形態では、第２の実施形態と連続して行われてもよく、その場合、ステップＳ２０４からステップＳ２０７を省略することが好ましい。
【０１２３】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【０１２４】
１ コンピュータ、２ マイクロフォン、３ デジタルカメラ、４ 生理測定装置、１０ＣＰＵ、１１ 記憶部、１２ メモリ、１３ 入出力Ｉ／Ｆ、１４ バス、１５ 表示装置、１６ 入力装置、１００ 行動分析装置
【技術分野】
【０００１】
本発明は、被験者の感情や精神を分析して行動を予測する行動分析方法および行動分析装置に関する。
【背景技術】
【０００２】
近年、被験者の発話に基づいて被験者の感情を認識する技術開発が盛んに行われており（例えば、特許文献１など）、そうした音声感情認識技術が、ロボットやテレビゲームとともに、医療用診断装置やうそ発見器などに応用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６７６９６９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、人の主観に基づいて作成された感情の判断基準となる指標に基づいて、被験者の感情を分析することから、医師や学習に用いられる被験者などの主観のズレや揺らぎにより、医療レベルに求められる精度で被験者の感情、心理、本音の識別することは非常に困難である。
【０００５】
また、生理指標だけから人の心を知ることも困難である。
【０００６】
上記従来技術が有する問題を鑑み、本発明の目的は、被験者の感情状態および精神状態を分析して、被験者の行動を確度高く予測できる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明を例示する行動分析方法の一態様は、被験者の発話を音声信号として取得する入力手順と、音声信号から複数の音声特徴量を算出する演算手順と、複数の音声特徴量に基づいて、被験者の生理活動および感情状態を分析し、被験者の行動を予測する予測手順と、を備える。
【０００８】
また、入力手順は、被験者の生理活動の複数の生理情報を取得し、予測手順は、複数の音声特徴量および複数の生理情報に基づいて、複数の音声特徴量と人の生理活動および感情状態とを関係付けるパラメータテーブルおよび判断木を予め生成し、パラメータテーブルおよび判断木を用いて、被験者の生理活動および感情状態を分析してもよい。
【０００９】
また、予測手順は、人の感情状態と行動とを関係付けるモデルを用いて、分析した被験者の感情状態から被験者の行動を予測してもよい。
【００１０】
また、入力手順は、予測手順による予測後に観察された被験者の行動結果を取得し、予測手段は、予測結果と行動結果とを比較して、パラメータテーブルおよび判断木における複数の音声特徴量と人の生理活動および感情状態との関係付けの度合いを調整してもよい。
【００１１】
また、予測手段は、被験者毎に度合いを調整してもよい。
【００１２】
また、予測手段は、感情状態毎に度合いを調整してもよい。
【００１３】
また、予測手順による被験者の生理活動および状態と予測結果とを表示する表示手順を備えてもよい。
【００１４】
本発明を例示する行動分析装置の一態様は、被験者の発話を音声信号として取得する入力部と、音声信号から複数の音声特徴量を算出する演算部と、複数の音声特徴量に基づいて、被験者の生理活動および感情状態を分析し、被験者の行動を予測する予測部と、を備える。
【発明の効果】
【００１５】
本発明によれば、被験者の感情状態および精神状態を分析して、被験者の行動を確度高く予測できる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態に係る行動分析装置の構成を示すブロック図
【図２】本人確認および他者評価を行うためのユーザインタフェースの一例を示す図
【図３】音声および生理情報測定のタイムスケジュールの一例を示す図
【図４】心拍数と音声パラメータとに基づいた感情クラス判定の判断木の一例を示す図
【図５】音声パラメータのみに基づいた感情クラス判定の判断木の一例を示す図
【図６】第１の実施形態に係る行動分析装置の動作について説明するフローチャート
【図７】内蔵影響度合いおよび身体反応影響度合いのグラフの一例を示す図
【図８】テンプレート（感情生理モデル）の一例を示す図
【図９】第２の実施形態に係る行動分析装置の動作について説明するフローチャート
【図１０】各基本精神状態におけるテンプレートの典型例を示す図
【図１１】健康な人の場合の表示の一例を示す図
【図１２】裁判所指定人格障害者の治療済みの場合（うつ状態のみ出現）の一例を示す図
【図１３】図１２の裁判所指定人格障害者の治療前の一例を示す図
【図１４】双極性２型障害度合いを数値で示す場合の一例を示す図
【図１５】第３の実施形態に係る行動分析装置の動作について説明するフローチャート
【発明を実施するための形態】
【００１７】
《第１の実施形態》
図１は、本発明の第１の実施形態に係る行動分析装置１００の構成を示すブロック図である。
【００１８】
図１に示す行動分析装置１００は、コンピュータ１、マイクロフォン２、デジタルカメラ３、生理測定装置４から構成される。これにより、本実施形態の行動分析装置１００は、精神分析、行動予測および分析を行う。また、行動分析装置１００は、本音などについても生理指標（特に脳神経系の影響をうけた音声パラメータなど）を根拠とした分析手法で分析し表示する。
【００１９】
コンピュータ１は、ＣＰＵ１０、記憶部１１、メモリ１２、入出力インタフェース（入出力Ｉ／Ｆ）１３、バス１４から構成される。ＣＰＵ１０、記憶部１１、メモリ１２、入出力Ｉ／Ｆ１３は、バス１４を介して情報伝達可能に接続されている。また、コンピュータ１には、入出力Ｉ／Ｆ１３を介して、音声信号処理などの途中経過や処理結果を表示する表示装置１５、ユーザからの入力を受け付ける入力装置１６がそれぞれ接続される。
【００２０】
ＣＰＵ１０は、コンピュータ１の各部の動作を統括的に制御するプロセッサである。ＣＰＵ１０は、後述するように、行動分析のプログラムを実行させることにより、入出力Ｉ／Ｆ１３を経由して、マイクロフォン２で受信した被験者や医師などの音声信号および生理測定装置４で測定した被験者などの生理情報を用い、被験者の感情状態の分析、精神分析および行動予測を行う予測部として動作する。具体的には、ＣＰＵ１０は、被験者の音声信号から算出した複数の音声パラメータの値および測定された生理情報と、後述する生理と心と関係を示すモデルであるテンプレート（または生理感情モデル）とに基づいて、被験者の感情状態を分析し行動を予測する。ＣＰＵ１０は、その被験者の感情分析、精神分析、行動予測の結果を、表示装置１５に表示する。ＣＰＵ１０には、一般的な中央演算装置を用いることができる。
【００２１】
記憶部１１は、マイクロフォン２が受信した被験者の発話や医師との会話の音声信号の音声データ、生理測定装置４によって測定された被験者の生理情報のデータとともに、ＣＰＵ１０がそれらのデータに基づいて被験者の感情状態、精神分析、行動予測を行う行動予測プログラム、精神状態や本音などを分析するプログラムなどを記憶する。また、記憶部１１には、後述するように、ＣＰＵ１０が行動予測を行うのに必要な主観感情テーブル（音声特徴テーブル）、各種生理情報の影響を受ける音声パラメータを生理情報毎に一覧にしたパラメータテーブル、これらテーブルに基づいて生成された各種判断木（ロジックテーブル）を記憶する。記憶部１１に記憶されるデータ、プログラム、テーブル、判断木などは、バス１４を介して、ＣＰＵ１０から適宜参照することができる。記憶部１１には、一般的なハードディスク装置、光磁気ディスク装置などの記憶装置を選択して用いることができる。
【００２２】
メモリ１２は、ＣＰＵ１０が処理する音声データ、生理情報、各種テーブルや判断木等のデータを一時記憶する。メモリ１２には、揮発性メモリなどの半導体メモリを適宜選択して用いることができる。
【００２３】
表示装置１５は、被験者に関する情報などを表示するとともに、被験者の感情状態、行動予測、精神状態、生理状態、本音などの分析結果を表示する。表示装置１５には、一般的な液晶モニタなどを用いることができる。
【００２４】
入力装置１６は、ユーザである医師または被験者からの要求や問い合わせの指示、診断結果などを受け付ける装置である。入力装置１６には、キーボードやマウスなどをそれぞれ適宜選択して使用できる。
【００２５】
マイクロフォン２は、被験者のなどの音声を受信して電気信号である音声信号に変換し、コンピュータ１に出力する。コンピュータ１は、マイクロフォン２からの音声信号を受信して、記憶部１１に記録する。ＣＰＵ１０が、演算部として、マイクロフォン２により取得された被験者の音声データを、ＦＦＴやウェーブレットなどの公知の解析方法を用いて、複数の音声パラメータ（Ｆ０など）（音声特徴量）の値を算出する。ＣＰＵ１０は、音声パラメータと後述する被験者の各種生理情報とを用い、脳の情動制御部位（辺縁系や視床下部など）と迷走神経で直結する声帯や音声特徴（声質にも関係する）を検出する。また、マイクロフォン２は、音声再生時などの場合において、記録された音声信号を音波として出力するスピーカとして動作する。
【００２６】
デジタルカメラ３は、被験者の顔を撮影し、撮影した画像データを、入出力Ｉ／Ｆ１３を介して、コンピュータ１に送信する。コンピュータ１は、受信した画像データを記憶部１１に記憶する。ＣＰＵ１０は、その画像データを表示装置１５に表示し、被験者自身または医師に被験者の表情変化を観察させて、その観察結果を入力装置１６を介して受け付け、記憶部１１またはメモリ１２に記録する。あるいは、ＣＰＵ１０は、その画像データを読み込み、公知の手法を用いて、顔認識して被験者の表情の心理的な属性を求めてもよい。本実施形態では、この表情変化、例えば、顔を顰めたり、瞬きや瞳孔の変化などの目の動き、首の傾きなども生理情報の１つとして用いる。これは、精神障害などの症状が表情に表れることによる。
【００２７】
生理測定装置４は、被験者を測定し複数の生理情報を取得する。生理測定装置４は、ＭＲＩ、ＰＥＴ、血圧計、体温計などであり適宜選択して用いる。生理測定装置４は、取得した生理情報を入出力Ｉ／Ｆ１３を介して、コンピュータ１に送信する。コンピュータ１は、受信した生理情報を記憶部１１に記憶する。本発明の生理測定装置４が測定する生理情報は、呼気、脳活動、神経活動、レセプタ、向精神薬投与、内臓情報、眼球活動、心拍心電、内蔵、身体活動であるとする。
【００２８】
ここで、呼気に基づいて測定される生理情報には、オフスイッチ、タイミング、長さ、量、深呼吸がある。オフスイッチとは、呼吸と感情との関係は深いという研究報告があることから、公知の呼吸のオフスウィッチモデル（例えば、意図的に呼吸を止めていても、いつかは再開してしまう）に基づいて求まるものであり、そのオフスイッチと感情の性質（例えば、いつまでも怒っていられない）との比較を行う。タイミングは、呼吸の回数は心的要素にも影響を受けることから、これを測定する。また、ため息なども測定するため、タイミングは必要である。長さは、どの程度の呼吸状態かを知る必要があり、呼吸の長さや深さを測定する。量は、呼吸の質を知る必要があり、呼吸量を測定する。深呼吸は、深呼吸するとその間はネガティヴな感情を想起できなくなるという人間の特徴から、深呼吸を測定し深呼吸による感情のオフモデルをつくる。
【００２９】
脳活動の生理情報は、感情発話時の脳の情動制御部位（辺縁系や視床下部・そのミラー反応など）の脳波やＭＲＩなどによって測定される脳活動を指す。測定された脳活動とマイクロフォン２による音声の感情性反応やその他の生理情報との比較を行う。また、発話がない場合における情動活動も知る必要があり、本実施形態ではその場合の脳波や脳活動も測定する。なお、ＭＲＩなどによる測定時には、騒音軽減のために、非磁性マイクが防音マスクの中に装備され、自然呼吸ができるように新鮮な空気を供給する防音ホースが装備された装置をマイクロフォン２として用いて実施する。
【００３０】
神経活動の生理情報は、一般的な公知の手法を用いて測定される交感神経や副交感神経の状態、各種神経の状態を指す。本実施形態では、測定されたそれら神経活動の生理情報を、マイクロフォン２による音声の感情性反応やその他の生理情報と比較する。なお、神経活動の生理情報は、心拍心電などの他の生理指標からも測定可能である。
【００３１】
レセプタの生理情報は、セロトニンや感情や呼吸などに関係する神経・レセプタの状態を指し、ＰＥＴなどで測定される。そして、本実施形態では、レセプタの生理情報を音声の感情性反応やその他の生理反応と比較する。
【００３２】
向精神薬投与の生理情報は、ＳＳＲＩ、精神安定剤、向精神薬、神経薬剤などに関する情報であり、本実施形態では、それらを投与する前後の状態と音声の感情性反応やその他の生理反応とを比較する。
【００３３】
内臓情報の生理情報とは、人の内蔵活動を指す。例えば、セロトニンなどは腸に多く存在し、セロトニンのようなホルモンなどの影響が、腸の活動を介して、逆に脳にフィードバック（バイオフィードバックという）される場合がある。そこで、被験者の感情が、脳活動による影響か、腸などの内蔵活動による影響かを分析する必要があり、その他の要素をスクリーニングするために、生理測定装置４は内臓活動に関する生理情報を測定する。なお、本実施形態では、生理測定装置４として、例えば、超音波検査装置などを用い、内蔵活動として腸の活動を測定するものとする。
【００３４】
眼球活動の生理情報には、瞳孔、瞬き、眼球運動がある。瞳孔とは、興味を持つと瞳孔は開く、驚いても同様であるため、これを測定する。瞬きは、例えば、動揺や相手を意識した場合には多くなり、注意や関心がある場合には集中して少なくなるので、瞬きの回数の回数を測定する。本実施形態における眼球活動の測定は、例えば、デジタルカメラ３により撮影される被験者の顔の画像を見ながら、医師などにより行われる。
【００３５】
なお、本実施形態では、生理測定装置４が測定する生理情報は、呼気、脳活動、神経活動、レセプタ、向精神薬、内臓情報、眼球活動としたが、これに限定されない。例えば、心電、血液、唾液、排便・尿、体温、ホルモン、生体物質、伝達物質、遺伝子情報、発汗、皮膚電位を合わせて用いることが好ましい。これにより、より正確に、被験者の感情状態や行動予測などが可能となる。
【００３６】
ここで、心電の生理情報は、公知の一般的な手法により測定される、感情変化に伴う心拍変化や心臓活動の変化のことである。血液の生理情報は、うつ状態やストレスや病気の原因による感情変化を分析するために、実験前後および最中で採取された血液に関する情報である。唾液の生理情報は、ストレスやうつ状態を計測するために、実験の前後、最中に測定される唾液に関する情報である。排便・尿の生理情報は、食事状態や健康状態を測定するために、実験の直前に採取測定される。体温の生理情報は、体温変化による情動の影響、ストレスや感情の変化を知るために測定される体温の変化に関する情報である。発汗の生理情報は、緊張、ストレスや動揺などの反応が発汗にも出るため測定する。皮膚電位の生理情報は、緊張やストレスなどの反応が皮膚電位にも出るため測定する。
【００３７】
また、生体物質、伝達物質、遺伝子情報の生理情報とは、アドレナリン、ドーパミン、カフェインなどの生体物質と、興奮、ストレス、不安、うつなどの身体反応および情動との関係を一覧にしたものである。その生体物質、伝達物質、遺伝子情報の生理情報において、例えば、アドレナリンは、興奮、不安、闘争、恐怖などの情動や、心拍、瞳孔、交感神経などの身体反応と関係し、カフェインは、興奮やストレスの情動と関係することなどが示されている。
【００３８】
次に、本実施形態に係る行動分析装置１００の動作について説明する。ただし、行動分析装置１００の動作の説明の前に、その行動分析装置１００の動作に必要となる、主観感情テーブル、パラメータテーブル、判断木とそれらの生成について説明する。
【００３９】
最初に、主観感情テーブルについて説明する。主観感情テーブルとは、複数の被験者（例えば、１００名以上）が自身および他者が発した発話を聴いて、主観的に発話時点の感情を評価（本人確認または他者評価）し、その評価結果を発話単位毎に対応付けして一覧にしたものである。
【００４０】
具体的には、被験者の各々は、マイクロフォン２に向かって、自由に音声を発する。マイクロフォン２は、その発せられた音声を受信して、音声信号としてコンピュータ１に出力する。コンピュータ１は、受信した音声信号を音声データとして被験者毎に記憶部１１に記録する。
【００４１】
ＣＰＵ１０は、入力装置１６を介して、被験者より本人確認を行うためのアプリケーションのプログラムの起動指示を受け付ける。ＣＰＵ１０は、その起動指示に基づいて、アプリケーションを起動し、図２に示すような、自身の発話を聴いて主観的に感情を評価するためのユーザインタフェースを表示装置１５に表示する。被験者は、自分自身の音声データのファイルを選択し再生の指令を、入力装置１６を介して、ＣＰＵ１０に出力する。ＣＰＵ１０は、被験者自身の音声データを発話単位で再生する。被験者は、再生された自身の発話単位の音声を聴き、各発話に対して、主観的な快・不快評価、感情評価、興奮評価（感情の度合い）などを、入力装置１６を用いて行う。例えば、被験者は、ある発話に対して、不快、怒り３や快、喜び２などのように評価する。ＣＰＵ１０は、被験者によるそれらの評価を受け付け、発話とそれに対する評価結果とを対応付けて記憶部１１に記録する。
【００４２】
なお、図２は、感情評価として平常、怒り、喜び、哀しみ、不安、苦痛を表示したが、これに限定されず、それら以外の感情を有することが好ましい。また、それらの感情に対する感情の度合いである興奮評価は、１〜３としたがこれに限定されず、１０段階評価などであってもよい。また、再生される発話は、時系列に沿って再生されてもよいが、シャッフルされてランダムに再生されるのが好ましい。さらに、過去に取得された発話や他の被験者の発話も含まれていてもよい。これにより、主観による評価であってもより安定した主観感情テーブルを取得することができる。また、発話単位だけでなく、連続の音声で再生されてもよい。連続の音声で再生されることにより、被験者自身が、その音声を発したときの状況を把握することが可能となり、その状況と合わせてその時の感情を判定することが可能となる。
【００４３】
次に、被験者は、例えば、上記アプリケーションを用いて、他の被験者の音声データを発話単位でランダムに再生させて他者評価する指令を、入力装置１６を介して、ＣＰＵ１０に出力する。ＣＰＵ１０は、他の複数の被験者の音声データを発話単位にランダムに再生する。被験者は、再生された他者の音声を発話単位に聴き、各発話に対して、主観的な快・不快評価、感情評価、興奮評価（感情の度合い）を、入力装置１６を用いて行う。ＣＰＵ１０は、被験者によるそれらの評価を受け付け、発話とそれに対する評価結果とを対応付けて記憶部１１に記録する。
【００４４】
そして、ＣＰＵ１０は、上記本人確認および他者評価の結果のうち、主観に基づいた発話と感情とにおける安定した評価結果を取得するために、複数の被験者による評価結果のうち、発話とそれに対する評価結果とが８０％以上一致したものを選び出して主観感情テーブルを生成する。
【００４５】
なお、本実施形態において、ＣＰＵ１０は、各被験者が、マイクロフォン２に向かって音声を発した後、どのような行動を取ったかの行動記録を、入力装置１６を介してユーザである医師などから取得し、各被験者の音声データと対応付けて記憶部１１に記録する。この行動記録は、後述する行動予測との比較や行動予測のパターンを導出するための試料となる。同時に、ＣＰＵ１０は、その時の天候、食事内容、体調など、感情や心理に影響を与える環境・状況の事前情報も、医師などから取得し、各被験者の音声データと対応付けて記憶部１１に記録する。また、ＣＰＵ１０は、被験者が音声を発する際、周りの環境などの影響（バイアス）を受けていたか否かの認知影響の有無についても、医師などから取得し確認する。
【００４６】
さらに、本実施形態では、各被験者は、自身の音声データに基づく本人確認を、音声データ取得直後に行ったが、これに限定されず、翌日など時間を空けて行ってもよいし、１日などの所定の時間を空けて再度本人確認を行ってもよい。同様に、他者評価についても、所定の時間を空けて再度行うことが好ましい。これにより、より安定した主観感情テーブルを生成することができる。
【００４７】
次に、パラメータテーブルについて説明する。パラメータテーブルは、複数の被験者それぞれに発話させるとともに、生理測定装置４による上記各種生理測定を行い、発話の音声信号から算出される複数の音声パラメータと各種生理情報とを比較し、生理変化に応じて影響を受ける音声パラメータを、生理情報毎に一覧にしたものである。ただし、パラメータテーブルが主観感情テーブルの場合と異なる点は、被験者による発話が、自然な状態で感情が強く強調される状況下で行われることにある。すなわち、音声と感情、脳、神経系とは密接に関係しており、被験者に対して明らかに特定の感情が想起されるような状況下で行う。ここで、自然な状態で感情が強く強調される状況とは、「被験者を狭い部屋に入れる」、「体が動かないように固定する」、「知人などから被験者にとってあまり触れられたくない質問を受け付ける」、「被験者の感情が刺激されるような映像を見せたり小説を聞かせたりする」などのストレスが加えられた状況をいう。
【００４８】
なお、本実施形態では、自然な状態で感情が強く強調される状況には、通常の自由な状況も含まれる。すなわち、先に求めた主観感情テーブルも、複数のパラメータテーブルのうち主観の影響を受けるパラメータテーブルをなす。これにより、通常の場合での感情状態と、ストレスの状況下での感情状態との差を観ることが可能となる。
【００４９】
具体的には、被験者は、例えば、生理測定装置４を構成する血圧計や体温計などが装着されるとともに、ｆＭＲＩなどの測定のために体が固定される。そのような状態で、デジタルカメラ３および生理測定装置４は、図３に示すようなタイムスケジュールに基づいて、被験者の各種生理情報を測定するとともに、マイクロフォン２は、被験者が自由に発する音声を受信する。マイクロフォン２は、受信した音声信号としてコンピュータ１に出力する。同時に、デジタルカメラ３は撮像した被験者の画像を、生理測定装置４は測定した被験者の各種生理情報をコンピュータ１にそれぞれ出力する。コンピュータ１は、受信した音声信号、画像、生理情報を被験者毎に記憶部１１に記録する。
【００５０】
ここで、図３に示すように、本実施形態のタイムスケジュールにおいて、デジタルカメラ３は、被験者が発話を開始する前から終了後まで、被験者の表情や眼球活動の生理情報を測定するために、被験者の顔を撮像する。同時に、生理測定装置４は、心電、皮膚電位、発汗、体温、呼気などの身体状態の測定を行う。さらに、医師などは、被験者の排泄物を実験の直前に採取測定して、食事状態や健康状態を確認するとともに、周りの環境の気温や天候などを、入力装置１６を介して、各被験者の音声データと対応付けて記録部１１に記録する。また、発話開始の前に、医師は、被験者に向精神薬投与の有無を確認し記録する。
【００５１】
また、本実施形態では、生理測定装置４は、発話開始後、上記身体状態の測定とともに、脳状態、神経状態、レセプタなどの神経活動の測定、および血液、唾液、内臓状態、ホルモンなどの内臓・内分泌系の測定を開始し、発話終了後まで行う。
【００５２】
なお、このような測定は、２４時間行われるのが理想的であるが、例えば、最低１時間以上あればよい。ただし、１時間などの短い期間で測定を行う場合、起床時、各食事の前後、就寝時のそれぞれの期間において行われるのが好ましい。また、各測定は、ストレスのない通常の場合とストレスの状況下の場合とで行われてもよい。あるいは、起床時の測定は、例えば、通常の場合で、就寝時の測定は、ストレスの状況下の場合のように、各測定が異なる状況下でそれぞれ行われてもよい。さらに、ストレスの与え方も測定毎に変えて行われるのが好ましい。
【００５３】
上記測定後、医師などは、各被験者が、どのような行動を取ったかの行動確認を行い、各被験者の音声データと対応づけて記憶部１１に記録する。同時に、医師は、認知影響が無いか否かも確認する。
【００５４】
一方、ＣＰＵ１０は、上述したように、取得した音声信号を公知の手法（ＦＦＴやウェーブレットなど）で解析し、Ｆ０や周波数などの複数の音声パラメータの値を算出する。ＣＰＵ１０は、一般的な解析手法を用い、それら音声パラメータおよび各種生理情報の値の時間変化に基づいて、通常の状況やストレスの状況とかの環境に拘わらず、生理情報毎に、複数の音声パラメータのうち、その生理情報の影響を受ける音声パラメータを抽出し、抽出された音声パラメータからなるパラメータテーブルを生成する。例えば、体温が、所定の閾値以上で大きく変化した場合、ＣＰＵ１０は、その影響を大きく受けて変化した音声パラメータ（Ｆ０パワーや周波数の変位量Δｆ）を、体温という生理情報の影響を受ける音声パラメータとして抽出し、パラメータテーブルに付加する。
【００５５】
本実施形態では、神経活動の影響を受けるパラメータのパラメータテーブル、内蔵・内分泌系の影響を受けるパラメータのパラメータテーブルなどが生成され、記憶部１１に記録される。これにより、感情の正確さという指標を取得することができ、抽象的な感情を定量化することができる。
【００５６】
なお、音声パラメータの変化と生理情報の変化とは、実際にはタイムラグがある。したがって、そのタイムラグを考慮しつつ音声パラメータと生理情報との変化を捉えないといけない。
【００５７】
また、このようなパラメータテーブルの生成は、最低１ヶ月間の測定が必要である。好ましくは、四季などの変化に伴う感情変化も考慮する必要であることから、１年間の測定期間が理想的である。
【００５８】
また、被験者は、図２に示すユーザインタフェースを用いて、図３に示すタイムスケジュールで取得された音声データによる本人確認および他者評価を行ってもよい。これにより、より安定した主観感情テーブルを生成することができる。
【００５９】
次に、主観感情テーブルを含む各種パラメータテーブルに基づいて、生成される各種感情クラス判定の判断木（ロジックテーブル）について説明する。
【００６０】
具体的には、ＣＰＵ１０は、入力装置１６からのユーザ指示に基づいて、記憶部１１から公知の判断木作成プログラムもしくは分析判定プログラムを読み込み起動する。ＣＰＵ１０は、記憶部１１から主観感情テーブルを含む各種パラメータテーブルを読み込み、様々な生理情報および主観の組み合わせの判断木を生成する。すなわち、ＣＰＵ１０は、音声パラメータを生理根拠から来る群と主観から来る群とに分けて、主観評価から作られたロジックと、生理変化の影響を受ける音声パラメータとを独立させ、根源的感情や精神状態を表示する生理情報と認知影響も含む主観パラメータとの組み合わせの各種感情クラス判定の判断木を生成する。
【００６１】
なお、本実施形態では、各種感情クラス判定の判断木を生成するにあたり、神経活動の影響を受けるパラメータテーブル、内蔵・内分泌系の影響を受けるパラメータテーブル、身体状態の影響を受けるパラメータテーブル、脳神経系と内蔵分泌系の影響を受けるパラメータテーブル、内蔵分泌系と身体反応との影響を受けるパラメータテーブル、神経、内蔵分泌系、身体反応の影響を受けるパラメータテーブル、主観の影響を受けるパラメータテーブル（主観感情テーブル）を用いるものとする。しかしながら、これに限定されず、例えば、神経活動の影響を受けるパラメータテーブル、内蔵・内分泌系の影響を受けるパラメータテーブル、身体状態の影響を受けるパラメータテーブル、主観の影響を受けるパラメータテーブル（主観感情テーブル）のみを用いて、判断木を生成してもよい。
【００６２】
図４および図５は、感情クラス判定の判断木の一例を示す。図４は、心拍数と音声パラメータに基づいて、被験者の感情状態を判断する判断木を示す。図５は、音声パラメータのＦ０の高さおよびパワーに基づいて、被験者の感情状態を判断する判断木を示す。
【００６３】
以上により、主観感情テーブル、各種パラメータテーブル、各種判断木が生成される。そして、本実施形態の行動分析装置１００は、これらを用いることにより、マイクロフォン２から入力される音声信号のみに基づいて、被験者の感情状態を診断することが可能となる。
【００６４】
そこで、本実施形態に係る行動分析装置１００の動作について、図６のフローチャートを参照しつつ説明する。
【００６５】
例えば、医師などのユーザが、入力装置１６を用いて、ＣＰＵ１０に行動分析プログラムの起動指令を送信する。ＣＰＵ１０は、その起動指令を受け付けると、記憶部１１から行動分析プログラムを読み込み実行する。
【００６６】
ステップＳ１０：マイクロフォン２は、患者である被験者の音声の音声信号を取得する。マイクロフォン２は、音声の音声信号をコンピュータ１に出力する。なお、マイクロフォン２は、被験者とともに、ユーザである医師の音声も取得してもよい。
【００６７】
ステップＳ１１：コンピュータ１のＣＰＵ１０は、受信した音声信号をＦＦＴやウェーブレットなどで解析し、複数の音声パラメータの値を算出する。ＣＰＵ１０は、算出された音声パラメータおよび各種パラメータテーブルに基づいて、算出された音声パラメータに影響を与える神経活動などの生理情報の値を決定する。なお、本実施形態では、生理情報の値の決定において、ＣＰＵ１０は、医師などのユーザによる手動調整を受け付けて、生理情報の値を微調整できるのが好ましい。つまり、行動分析プログラムのようなアプリケーションでは捉えられない、被験者毎の個人差などに起因する音声信号の微妙な変化を捉え調整するのが好ましい。
【００６８】
ステップＳ１２：ＣＰＵ１０は、音声パラメータおよび決定した各種生理情報の値を、各種感情クラス判定の判断木に代入する。ＣＰＵ１０は、それら各種感情クラス判定の判断木に基づいて被験者の感情状態を判定し、その判定結果を表示装置１５に表示する。
【００６９】
本実施形態のＣＰＵ１０は、表示装置１５に、少なくとも、図７ａに示すような内蔵影響度合い、および図７ｂに示すような身体反応影響度合いのグラフなどとともに、判定された被験者の感情状態およびそれに基づいて予測される行動を、図８に示すようなグラフィカルなテンプレートを用いて表示する。
【００７０】
ここで、図８は、各種感情クラス判定の判定木による各感情の発達の仕方を、同心円状のダイアグラムで示すテンプレートの一例を示す。図８に示すテンプレートは、中心に向かうに従い原始的な情動である「快」、「不快」からなる。一方、外周に向かうにつれて、より内側の情動に応じた行動のパターンが分布する。これにより、医師は、被験者の情動変化や精神状態を可視化して確認することができる。また、外周に向かって行動予測ができることから、被験者の行動と環境状況とを確認することにより、診察経過観察が可能になる。さらに、医師は、被験者の行動と中心部の情動変化分析との比較から精神分析、人格判定を行うことができる。
【００７１】
なお、発明者は、本実施形態の行動分析装置１００に様々な曲のデータを入力させることより、それらの曲を歌う歌手の感情状態の分析を行った。その結果、例えば、女性歌手による明るいバラードの曲の場合、行動分析装置１００は、前向きな歌詞の部分では「喜び」の感情と判別し、力づける宣言のような歌詞の部分では「怒り」の感情と判別した。一方、男性歌手による落ち着いた曲の場合、行動分析装置１００は、基本的に「平常」の感情しか判別されず、あまり感情の変化は見られなかった。
【００７２】
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。
【００７３】
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的（神経性）な原因によるものか、演技で言っているうつ的（心因性）な原因によるものかの判定が音声のみからできる。
【００７４】
また、本実施形態によれば、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。
《第２の実施形態》
第２の実施形態に係る行動分析装置は、第１の実施形態の行動分析装置１００と同じである。よって、図１に示す行動分析装置１００を本実施形態に係る行動分析装置とし、各構成要素についての詳細な説明は省略する。
【００７５】
第２の実施形態は、行動分析装置１００による行動分析を、ユーザである医師が、患者である被験者に適用し、音声パラメータから被験者の精神状態要素の分析を行うとともに、同時にＩＣＤ１０やＤＳＭ４からの生理指標、医師の診断確認を行う。なお、本実施形態に係る行動分析装置１００が、第１の実施形態のものと異なる点は、被験者毎に感情状態の判定をカスタマイズすることができる点にある。
【００７６】
そこで、感情状態の判定のカスタマイズを含めた行動分析装置１００の動作について、図９のフローチャートを参照しつつ説明する。
【００７７】
なお、本実施形態に係る行動分析装置１００の記憶部１１には、一の実施形態で求めた主観感情テーブルを含む各種パラメータテーブルおよび各種感情クラス判定の判断木を予め有しているものとする。ただし、本実施形態の各種パラメータテーブルおよび各種感情クラス判定の判断木における、例えば、図４、５に示すような音声パラメータと生理情報および感情状態とを関係付ける度合いを示す閾値は、医師が、行動分析装置１００を用いて、うつ病患者である被験者の特性（平常と悲しみの偏り）、そう患者の特徴（怒り・喜び軸での偏り）、人格障害（そう特徴・うつ特徴の同時計測）、不安神経症（不安・不快の偏り）などを、ＩＣＤ１０やＤＳＭ４などの医療規格に基づいて予め分析し、設定されているものとする。具体的には、医師が、ＩＣＤ１０やＤＳＭ４などの医療規格に基づいて、精神分析規格（臨床用）から欲しい分析項目を決め、「抑うつ」、「そう」、「不安神経症」、「人格障害」などを示す音声パラメータの閾値を導出する。あるいは、医師が、ＩＣＤ１０やＤＳＭ４などの医療規格に応じた各種質問を被験者に行うことにより、「抑うつ」「そう」、「不安神経症」、「人格障害」などを示す音声パラメータの閾値を導出し設定してもよい。
【００７８】
ステップＳ１０１：ＣＰＵ１０は、表示装置１５に感情は入らない台詞、例えば、「氏名・年齢」、「いろはにほへとににぬるをあか」や「ＡＢＣＤＥＦＧＨＩＪＫ」などを表示して、被験者に発話させる。
【００７９】
ステップＳ１０２：マイクロフォン２は、感情が入らない台詞の被験者による発話を受信する。マイクロフォン２は、受信した音声信号をコンピュータ１に送信する。ＣＰＵ１０は、受信した感情が入らない台詞の音声信号をＦＦＴやウェーブレットなどで解析し、複数の音声パラメータの値を算出する。ＣＰＵ１０は、算出した音声パラメータの値および各種パラメータテーブルに基づいて、算出された音声パラメータに影響を与える神経活動などの生理情報の値を決定する。ＣＰＵ１０は、音声パラメータおよび決定した生理情報の値を、各種感情クラス判定の判断木に代入する。ＣＰＵ１０は、精神分析用の感情状態を判定し、その判定結果を出力する。
【００８０】
ステップＳ１０３：ＣＰＵ１０は、表示装置１５に、明るいイメージを想起させる、例えば、「いい天気だね」などの明るい表現の台詞を表示し、被験者に発話させる。同様に、ＣＰＵ１０は、悲しいイメージや怒りのイメージの台詞を表示装置１５に表示し、被験者に発話させる。ＣＰＵ１０は、被験者によるそれぞれの台詞の音声信号に基づいて神分析用の感情状態を判定し、その判定結果を出力する。ＣＰＵ１０は、ステップＳ１０２およびステップＳ１０３の判定結果を表示装置１５に表示し、医師に対して、被験者における神分析用の感情状態の判定結果の状態遷移を示す。なお、状態遷移の表示として、図８に示すようなテンプレートを用いて行われることが好ましい。
【００８１】
ステップＳ１０４：ＣＰＵ１０は、入力装置１６を介して、テンプレートに基づいた医師による被験者の感情状態の状態遷移の観察結果を受け付け、「抑うつ」、「そう」、「不安神経症」、「人格障害」などの気分障害の度合いを測定し、被験者の基本精神状態を決定する。例えば、明るいイメージで基本的な感情状態よりも悲しい反応が多ければ、気分障害において「うつ」の度合いが測定される。また、悲しいイメージで明るい反応では「そう」の度合いが測定される。一方、常に「怒り」が多い場合や「そう」、「うつ」の度合いが同時に高いなどの反応の場合、パーソナリティ障害などを確認することができる。また、ＰＴＳＤやトラウマの場合、情動の急激な変化や躁鬱（双極性反応）パーソナリティ障害反応などを同時にかつリアルタイムに検出される。
【００８２】
図１０ａ〜ｃは、「うつ」、「そう」、「統合失調型人格障害」それぞれにおけるテンプレートの表示の一例を示す。なお、テンプレートの内周の各情動の幅は、被験者における各情動の出現頻度と度合いとに応じて決定され、外周の各行動状態の幅は、被験者の情動および予測された行動と実際の行動との差に応じて決定される。そして、医師は、上記情動の幅および行動状態の幅を被験者毎に調節するために、「抑うつ」、「そう」、「不安神経症」、「人格障害」などの音声特徴に基づいて、被験者毎に各種パラメータテーブルや各種感情クラス判定の判断木における閾値を調整し設定することが好ましい。
【００８３】
また、感情状態の判定結果の状態遷移の表示は、基本感情状態・基本精神状態である「抑うつ」、「そう」、「不安神経症」、「人格障害（パーソナリティ障害）」などを、例えば、図１１〜図１４に示すような棒グラフ、度合い、または色などで表示してもよい。ここで、図１１〜図１４において、左チャンネルおよび右チャンネルは、被験者および医師それぞれの快・不快値、感情評価値、興奮値の時間変動を示す。図１１は、健康な人の場合のサンプルを示す。図１２は、裁判所指定人格障害者の治療済みの一例を示す。図１３は、図１２の裁判所指定人格障害者の治療前の状態を示す。図１４は、度合いを数値で示す場合の一例を示す。また、図１１〜図１４において、トラウマ反応の表示、気分障害度合い、「抑うつ」、「そう」のリアルタイム変化が表示されてもよい。
【００８４】
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。
【００８５】
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的（神経性）な原因によるものか、演技で言っているうつ的（心因性）な原因によるものかの判定が音声のみからできる。
【００８６】
さらに、ユーザである医師は、各種パラメータテーブルおよび各種感情クラス判定の判断木の閾値を、被験者毎に調整することができることから、より正確に人の感情の真値を求めることができる。
【００８７】
また、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。
【００８８】
また、求められる感情の値から、従来の時間遷移手法ではなく、時間変化とは関係なく精神状態要素を検出することができる。
《第３の実施形態》
第３の実施形態に係る行動分析装置は、第１の実施形態の行動分析装置１００と同じである。よって、図１に示す行動分析装置１００を本実施形態に係る行動分析装置とし、各構成要素についての詳細な説明は省略する。
【００８９】
本実施形態に係る行動分析装置１００は、第２の実施形態の行動分析装置と同様に、感情分析の結果を、生理と心と関係を示すモデルであるテンプレートに適用して、被験者の心理的特性（本音、人格、行動予測、精神分析など）を決定する。つまり、行動分析装置１００は、双極性特徴（そう特徴、うつ特徴の時間遷移による交互検出）、パニック障害（平常からの不安や苦痛、人格障害特徴が混乱している状況）など時間遷移で見える精神状態を検出するとともに、ＩＣＤ１０やＤＳＭ４などの医療規格に合わせて閾値を分析設定し変化特徴を導出する。
【００９０】
なお、本実施形態の主観感情テーブルを含む各種パラメータテーブル、および各種感情クラス判定の判断木は、第１の実施形態および第２の実施形態の場合と同様の手順で予め生成されるが、本実施形態の複数の被験者は、健常者と精神的な疾患を有する患者とから構成される点が、第１の実施形態および第２の実施形態の場合と異なる。
【００９１】
また、本実施形態の各種パラメータテーブルを生成するにあたり、医師が、各被験者に対して向精神薬を投薬する、すなわち投薬の影響を受けている点が、第１の実施形態および第２の実施形態の場合と異なる。つまり、ＣＰＵ１０は、向精神薬の投薬のフラグを付与し、被験者に発話させるとともに、デジタルカメラ３に撮像された画像から観測された被験者の表情変化、およびＭＲＩなどを用いて測定された測定値の各種生理情報を用いて、本実施形態の各種パラメータテーブルおよび各種感情クラス判定の判断木を生成している。
【００９２】
次に、本実施形態の行動分析装置１００の動作について、図１５のフローチャートを参照しつつ説明する。なお、本実施形態は、上述した第２の実施形態の被験者の基本精神状態の観察が長期間に亘って行われることを前提とする。
【００９３】
ステップＳ２０１：ＣＰＵ１０は、被験者の長期に亘って観察された基本精神状態を表示装置１５に表示する。ＣＰＵ１０は、医師自身の判断基準に準じた期間のうち、被験者において、例えば、うつやそうなどの障害が所定の期間以上の長期に亘って確認されたか否かを医師に判定させ、入力装置１６を介して、その判定結果を受け付ける。ＣＰＵ１０は、障害が所定の期間以上の長期に亘って確認されなかった場合（ＮＯ側）、被験者の基本精神状態は正常であると判定して行動分析の処理を終了する。一方、ＣＰＵ１０は、障害が所定の期間以上確認された場合、ステップＳ２０２（ＹＥＳ側）へ移行する。なお、医師自身の判断基準に準じた期間とは、医師自身の経験に基づいて決められる期間で、１時間、１日、１ヶ月、１年など、被験者の性格や状況などに応じて決められることが好ましい。また、本実施形態における所定の期間以上の長期とは、障害の内容や被験者毎に決まり、例えば、うつやそうの場合、およそ１４日である。
【００９４】
ステップＳ２０２：ＣＰＵ１０は、ステップＳ２０１における医師の判定結果に基づいて、「症状の度合い」を決定する。ＣＰＵ１０は、その結果を、例えば、図１２〜１４に示すように、被験者の双極性状態、パニック障害状態などの精神状態を棒グラフや色（属性）と量（度合い）とで表示装置１５に表示する。
【００９５】
ステップＳ２０３：ＣＰＵ１０は、生体物質、伝達物質、遺伝子情報の生理情報である生理比較マトリックスに基づいて、投薬の影響を受ける生理情報の値の変化をテンプレートに反映させ、表示装置１５に表示する。
【００９６】
ステップＳ２０４：ＣＰＵ１０は、表示装置１５に感情は入らない台詞、例えば、「氏名・年齢」、「いろはにほへとににぬるをあか」や「ＡＢＣＤＥＦＧＨＩＪＫ」などを表示して、被験者に発話させる。
【００９７】
ステップＳ２０５：マイクロフォン２は、感情が入らない台詞の被験者による発話を受信する。マイクロフォン２は、受信した音声信号をコンピュータ１に送信する。ＣＰＵ１０は、受信した感情が入らない台詞の音声信号をＦＦＴやウェーブレットなどで解析し、複数の音声パラメータの値を算出する。ＣＰＵ１０は、算出した音声パラメータの値および各種パラメータテーブルに基づいて、算出された音声パラメータに影響を与える神経活動などの生理情報の値を決定する。ＣＰＵ１０は、音声パラメータおよび決定した生理情報の値を、各種感情クラス判定の判断木に代入する。ＣＰＵ１０は、精神分析用の感情状態を判定し、その判定結果を出力する。
【００９８】
ステップＳ２０６：ＣＰＵ１０は、表示装置１５に、明るいイメージを想起させる、例えば、「いい天気だね」などの明るい表現の台詞を表示し、被験者に発話させる。同様に、ＣＰＵ１０は、悲しいイメージや怒りのイメージの台詞を表示装置１５に表示し、被験者に発話させる。ＣＰＵ１０は、被験者によるそれぞれの台詞の音声信号に基づいて神分析用の感情状態を判定し、その判定結果を出力する。ＣＰＵ１０は、ステップＳ２０５およびステップＳ２０６の判定結果を表示装置１５に表示し、医師に対して、被験者における神分析用の感情状態の判定結果の状態遷移を示す。なお、状態遷移を示す表示としては、図８に示すようなテンプレートで医師に示されることが好ましい。
【００９９】
ステップＳ２０７：ＣＰＵ１０は、入力装置１６を介して、テンプレートに基づいた医師による被験者の感情状態の状態遷移の観察結果を受け付け、「抑うつ」、「そう」、「不安神経症」、「人格障害」などの気分障害の度合いを測定し、被験者の基本精神状態を決定する。
【０１００】
ステップＳ２０８：ＣＰＵ１０は、入力装置１６からの医師の指示に基づいて、ＩＣＤ１０やＤＳＭ４などの医療規格に応じた各種質問を表示装置１５に表示し、被験者に質問する。ＣＰＵ１０は、入力装置１６を介して、質問に対する被験者からの回答を受け付ける。ＣＰＵ１０は、被験者の回答に応じてテンプレートを動的に変化させ、その変化を表示装置１５に表示する。ＣＰＵ１０は、医師に、質問事項とそれに対する回答に応じたテンプレートの動的な変化を観察させて、トラウマやＰＴＳＤなどの人格判定をさせる。すなわち、測定される各種生理情報との関係性から脳や身体反応から来る情動（生理反応で確認できる感情要素）を本音とし、精神状態の時間的出現特徴と本音と質問事項との比較から、医師は、被験者の人格を推定することができる。ＣＰＵ１０は、医師による、被験者のサディストやマゾフィストなどの人格障害状態の診断結果を、入力装置１６を介して受け付ける。
【０１０１】
ステップＳ２０９：ＣＰＵ１０は、ステップＳ２０８の人格判定とテンプレートの状態遷移に基づいて状況確認を行い、被験者の行動を予測する。つまり、ＣＰＵ１０は、医師による人格判定、検出されるリアルタイムの感情および精神状態の変化、それらに応じたテンプレートの状態遷移に基づいて、被験者の行動予測を行う。ＣＰＵ１０は、表示装置１５に被験者の本音や人格とともに、予測された行動に対するコメントを表示する。例えば、医師が被験者をサディストと人格判定した場合、ＣＰＵ１０は、サディストであるならば、ある状況のとき喜びを感じるであろうと行動予測する。そして、ＣＰＵ１０は、医師から上記人格判定後に確認された被験者の実際の行動や感情状態を、入力装置１６を介して、行動確認入力として受け付ける。そして、ＣＰＵ１０は、その被験者から喜び以外の感情状態が検出されるなど、テンプレートの標準的反応以外の反応が出た場合、その被験者は人格障害であると判定したり、表示装置１５にアラートを表示したりすることが好ましい。
【０１０２】
ステップＳ２１０：ＣＰＵ１０は、予測された行動と行動確認入力とを比較するとともに、被験者に現れた情動の出現頻度および度合いを算出し、被験者毎により適したテンプレートとなるように、各種パラメータテーブルおよび各種感情クラス判定の判断木における閾値を調整する。すなわち、ＣＰＵ１０は、例えば、被験者をサディストであると判定したにも拘わらず、予測された行動と異なる行動や感情状態を被験者が示した場合、各種パラメータテーブルおよび各種感情クラス判定の判断木における閾値が、その被験者にとって最適ではないと判定する。ＣＰＵ１０は、判定結果に基づいて、各種パラメータテーブルおよび判断木の閾値を調節する。ＣＰＵ１０は、その閾値の調節に応じて、テンプレートにおける情動および行動状態それぞれの幅を調整する。これにより、行動分析装置１００における行動予測の精度向上を図ることができる。
【０１０３】
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。
【０１０４】
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的（神経性）な原因によるものか、演技で言っているうつ的（心因性）な原因によるものかの判定が音声のみからできる。
【０１０５】
さらに、各種パラメータテーブルおよび各種感情クラス判定の判断木の閾値を、被験者に応じて調整し、テンプレートを変化させることにより、本音・人格・行動予測・時間遷移に基づいた被験者の精神分析をより正確に行うことができる。
【０１０６】
また、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。
《第３の実施形態の変形例》
第３の実施形態の変形例に係る行動分析装置は、第１の実施形態の行動分析装置１００と同じである。よって、図１に示す行動分析装置１００を本実施形態に係る行動分析装置とし、各構成要素についての詳細な説明は省略する。
【０１０７】
本実施形態に係る行動分析装置１００は、第３の実施形態の行動分析装置と基本的に同じであり、図１５に示すフローチャートに従って処理動作を行う。ただし、本実施形態の行動分析装置１００と第３の実施形態のものとの相違点は、下記の通りである。
【０１０８】
１）ステップＳ２０６において、ＣＰＵ１０は、被験者における神分析用の感情状態の判定結果の状態遷移から、所定の演算子や判断木生成などの公知の一般的な手法を用い、生理情報が有する恒常性（例えば、血圧を一定に保とうとすること）のバランス状態を分析する。なお、所定の演算子とは、例えば、ある生理情報とその生理情報の影響を受け易い音声パラメータとの関係を線形に表現した演算子である。
【０１０９】
２）ステップＳ２１０において、ＣＰＵ１０は、被験者に対して予測された行動と実際の行動との比較、および上述のバランス状態の分析結果に基づいて、医師に被験者の障害判定を行わせる。ＣＰＵ１０は、判定された障害およびその障害におけるバランス変化の特徴の組み合わせを、テンプレートに反映させて記録する。そして、ＣＰＵ１０は、記録されたテンプレートに基づいて、各種パラメータテーブルおよび各種感情クラス判定の判断木における閾値を調整する。これにより、被験者の特性および医師の診断特性を反映したものとなる。なお、記録されたテンプレートおよび閾値の情報は、その被験者の情報として、カルテに記録されることが好ましい。
【０１１０】
また、ＣＰＵ１０は、上記被験者のテンプレートおよび閾値を他の被験者に適用し、医師により障害判定の診断において整合性が確認された場合、そのテンプレートおよび閾値の情報を、所定の障害の判定における基準データとして、重要度を引き上げる設定を行ってもよい。また、ＣＰＵ１０は、例えば、行動分析装置１００がネットワークに接続されている場合、他の医師による診断結果を集計し、それらの診断結果に基づいて、所定の障害の判定の基準データを随時更新し、他の医師と共有されることが好ましい。
【０１１１】
このように、本実施形態では、医師が直感的に患者の精神状態や感情変化をリアルタイムに把握することができ、生理指標と確実な主観評価手段によって、人の感情の真値が求められる。
【０１１２】
また、主観感情テーブルを含む各種パラメータテーブル、各種感情クラス判定の判断木を用いて、被験者の感情状態を判定することにより、例えば、「お腹が痛い」と言っている被験者が、本当に痛いから痛いと言っている生理的（神経性）な原因によるものか、演技で言っているうつ的（心因性）な原因によるものかの判定が音声のみからできる。
【０１１３】
さらに、生理情報における恒常性のバランス状態と医師による障害判定とに基づいて、被験者に応じたテンプレートや、各種パラメータテーブルおよび各種感情クラス判定の判断木の閾値に調整することにより、本音・人格・行動予測・時間遷移に基づいた被験者の精神分析をより正確に行うことができる。
【０１１４】
また、音声データに基づいて、容易に感情やストレスなどの精神状態の識別と、それの変化状態からくる行動予測、精神分析、本音、人格の推定、および生理指標との連携による医療レベルでの「心のレントゲン」としての精神分析と治療改善を行うことができる。
《実施形態の補足事項》
（１）上記実施形態では、ユーザを医師などとしたが、本発明はこれに限定されない。例えば、被験者自身が、本発明を用いて、正常な精神状態となるまで繰り返し発話することにより、被験者自身が精神状態を改善するようにしてもよい。なお、この場合、被験者が、発話しながら自身の精神状態などの判定結果をリアルタイムに確認できるようにし、行動分析装置１００に対する安心感および信頼性を得られるようにすることが好ましい。
【０１１５】
また、行動分析装置１００は、被験者自身の発話が徐々に変化するように誘導するアナウンスやコメントを表示し、被験者自身の声質を変えさせることにより、被験者自身が精神状態の変化を自己学習できるようにすることが好ましい。
【０１１６】
また、行動分析装置１００は、被験者に対して、音声を再生して自己学習させたり、１週間毎や月毎に変化をレポートしたりすることにより、長期的改善へ誘導することが好ましい。これにより、今までに無い手法で作られたシステムを利用した音声発声からの精神状態の改善と処方箋の提示とを行うことができる。
【０１１７】
（２）上記実施形態では、生理感情モデルとして、図８に示すテンプレートを用いたが、本発明はこれに限定されず、ビオン・グリッドなど公知の他の生理感情モデルを用いてもよい。
【０１１８】
また、図８に示すテンプレートにおける階層、情動および行動状態の数は、適宜変更することができる。すなわち、階層、情動および行動状態がより細分化されたテンプレートを用いてもよいし、より簡略化されたテンプレートを用いてもよい。
【０１１９】
（３）上記実施形態では、行動分析装置１００として、図１に示す構成を有したが、本発明はこれに限定されない。例えば、マイクロフォン２を用いて、被験者の発話の音声信号から複数の音声パラメータを取得すると同時に、声帯が位置する被験者の首の部分に１つまたは複数のセンサを配置することにより、声帯の振動を新たな音声パラメータとして測定してもよい。あるいは、鼻などから光ファイバを通して、例えば、１０００〜２０００ｆｐｓで動画撮像可能なカメラで被験者の声帯を撮像し、直接声帯の形状の変化などを新たな音声パラメータとして測定してもよい。
【０１２０】
（４）上記実施形態では、精神分析、行動予測、行動分析などの心理カウンセリング、精神医療、一般医療における面接や処方へ適用した場合を示したが、本発明はこれに限定されない。例えば、行動分析装置をロボットや自動車へ適用、コールセンター、エンターテイメントやインターネットやケイタイ電話アプリケーションやサービス、検索システムへの応用、金融与信管理システムや行動予測、企業、学校、行政機関、警察や軍事、情報収集活動などでの情報分析、虚偽発見に繋がる心理分析、組織グループ管理への応用、組織の構成員、研究者や従業員、管理者などの心の健康や行動予測を管理するシステムへの応用、住居やオフィス、飛行機や宇宙船といった環境を制御するシステムへの応用、家族や友人の心の状態や行動予測を知るための手段や、音楽や映画配信への応用、一般的な情報検索・情報分析管理・情報処理への応用、顧客感性嗜好マーケット分析などへの応用、これらをネットワークやスタンドアローンで管理するシステムの応用等へ適用することも可能である。例えば、ロボットに適用する場合には、人の発話による人の感情状態及び行動予測に基づいて、それらに対応した発話や行動をしてもよい。また、自動車に適用する場合には、運転者の発話による運転者の感情状態及び行動予測に基づいて、それらに対応した注意喚起等を音声又は表示装置による表示を行ったり、自動車の操作を制限したりすることで、事故等を未然に防ぐようにしてもよい。
【０１２１】
例えば、コールセンターの場合、行動分析装置１００は、顧客の発話の音声信号を解析し、オペレータに対して、顧客の現在の精神状態および行動予測の結果を表示装置１５に表示することにより、顧客が商品などに対して本当に問い合わせてきているのか、または単に嫌がらせできているのかの判別が可能となり、より適切な顧客対応が可能となる。
【０１２２】
（５）上記第３の実施形態では、第２の実施形態と連続して行われてもよく、その場合、ステップＳ２０４からステップＳ２０７を省略することが好ましい。
【０１２３】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【０１２４】
１ コンピュータ、２ マイクロフォン、３ デジタルカメラ、４ 生理測定装置、１０ＣＰＵ、１１ 記憶部、１２ メモリ、１３ 入出力Ｉ／Ｆ、１４ バス、１５ 表示装置、１６ 入力装置、１００ 行動分析装置
【特許請求の範囲】
【請求項１】
被験者の発話を音声信号として取得する入力手順と、
前記音声信号から複数の音声特徴量を算出する演算手順と、
前記複数の音声特徴量に基づいて、前記被験者の生理活動および感情状態を分析し、前記被験者の行動を予測する予測手順と、
を備えることを特徴とする行動分析方法。
【請求項２】
請求項１に記載の行動分析方法において、
前記入力手順は、前記被験者の生理活動の複数の生理情報を取得し、
前記予測手順は、前記複数の音声特徴量および前記複数の生理情報に基づいて、前記複数の音声特徴量と人の前記生理活動および感情状態とを関係付けるパラメータテーブルおよび判断木を予め生成し、前記パラメータテーブルおよび判断木を用いて、前記被験者の生理活動および感情状態を分析する
ことを特徴とする行動分析方法。
【請求項３】
請求項１または請求項２に記載の行動分析方法において、
前記予測手順は、前記人の感情状態と行動とを関係付けるモデルを用いて、分析した前記被験者の感情状態から前記被験者の行動を予測することを特徴とする行動分析方法。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の行動分析方法において、
前記入力手順は、前記予測手順による予測後に観察された前記被験者の行動結果を取得し、
前記予測手段は、予測結果と前記行動結果とを比較して、前記パラメータテーブルおよび判断木における前記複数の音声特徴量と人の生理活動および感情状態との関係付けの度合いを調整する
ことを特徴とする行動分析方法。
【請求項５】
請求項４に記載の行動分析方法において、
前記予測手段は、前記被験者毎に前記度合いを調整することを特徴とする行動分析方法。
【請求項６】
請求項４に記載の行動分析方法において、
前記予測手段は、前記感情状態毎に前記度合いを調整することを特徴とする行動分析方法。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の行動分析方法において
前記予測手順による前記被験者の生理活動および感情状態と予測結果とを表示する表示手順を備える
ことを特徴とする行動分析方法。
【請求項８】
被験者の発話を音声信号として取得する入力部と、
前記音声信号から複数の音声特徴量を算出する演算部と、
前記複数の音声特徴量に基づいて、前記被験者の生理活動および感情状態を分析し、前記被験者の行動を予測する予測部と、
を備えることを特徴とする行動分析装置。
【請求項１】
被験者の発話を音声信号として取得する入力手順と、
前記音声信号から複数の音声特徴量を算出する演算手順と、
前記複数の音声特徴量に基づいて、前記被験者の生理活動および感情状態を分析し、前記被験者の行動を予測する予測手順と、
を備えることを特徴とする行動分析方法。
【請求項２】
請求項１に記載の行動分析方法において、
前記入力手順は、前記被験者の生理活動の複数の生理情報を取得し、
前記予測手順は、前記複数の音声特徴量および前記複数の生理情報に基づいて、前記複数の音声特徴量と人の前記生理活動および感情状態とを関係付けるパラメータテーブルおよび判断木を予め生成し、前記パラメータテーブルおよび判断木を用いて、前記被験者の生理活動および感情状態を分析する
ことを特徴とする行動分析方法。
【請求項３】
請求項１または請求項２に記載の行動分析方法において、
前記予測手順は、前記人の感情状態と行動とを関係付けるモデルを用いて、分析した前記被験者の感情状態から前記被験者の行動を予測することを特徴とする行動分析方法。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の行動分析方法において、
前記入力手順は、前記予測手順による予測後に観察された前記被験者の行動結果を取得し、
前記予測手段は、予測結果と前記行動結果とを比較して、前記パラメータテーブルおよび判断木における前記複数の音声特徴量と人の生理活動および感情状態との関係付けの度合いを調整する
ことを特徴とする行動分析方法。
【請求項５】
請求項４に記載の行動分析方法において、
前記予測手段は、前記被験者毎に前記度合いを調整することを特徴とする行動分析方法。
【請求項６】
請求項４に記載の行動分析方法において、
前記予測手段は、前記感情状態毎に前記度合いを調整することを特徴とする行動分析方法。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の行動分析方法において
前記予測手順による前記被験者の生理活動および感情状態と予測結果とを表示する表示手順を備える
ことを特徴とする行動分析方法。
【請求項８】
被験者の発話を音声信号として取得する入力部と、
前記音声信号から複数の音声特徴量を算出する演算部と、
前記複数の音声特徴量に基づいて、前記被験者の生理活動および感情状態を分析し、前記被験者の行動を予測する予測部と、
を備えることを特徴とする行動分析装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−４４９（Ｐ２０１２−４４９Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１１−１０９３９３（Ｐ２０１１−１０９３９３）
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（５１０１３５８４３）株式会社光吉研究所 (1)
【出願人】（５０４１１９５８３）
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（５１０１３５８４３）株式会社光吉研究所 (1)
【出願人】（５０４１１９５８３）
【Ｆターム（参考）】
[ Back to top ]