サーバ装置、通信システム及びプログラム
【課題】ノンバーバルコミュニケーションを支援する。
【解決手段】それぞれのユーザが利用する生体機器によって生体状態が検出されると、互いの生体情報が移動通信端末を介してサーバ装置に送られ、さらに、その生体情報に応じた動作指示がサーバ装置から移動通信端末を介して、コミュニケーションの相手方となるユーザの生体機器に伝えられる。そして、生体機器はこの動作指示に応じた報知を行う。さらに、サーバ装置は、ユーザの生体情報からそのユーザの心理状態を推定し、その心理状態が両者で一定の同期度に達すると、所定の報知を行うよう生体機器に対して指示し、生体機器はこの動作指示に応じた報知を行う。これにより、相手の温もりや心情を感じることができ、より深いノンバーバルコミュニケーションが可能となる。
【解決手段】それぞれのユーザが利用する生体機器によって生体状態が検出されると、互いの生体情報が移動通信端末を介してサーバ装置に送られ、さらに、その生体情報に応じた動作指示がサーバ装置から移動通信端末を介して、コミュニケーションの相手方となるユーザの生体機器に伝えられる。そして、生体機器はこの動作指示に応じた報知を行う。さらに、サーバ装置は、ユーザの生体情報からそのユーザの心理状態を推定し、その心理状態が両者で一定の同期度に達すると、所定の報知を行うよう生体機器に対して指示し、生体機器はこの動作指示に応じた報知を行う。これにより、相手の温もりや心情を感じることができ、より深いノンバーバルコミュニケーションが可能となる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人間のコミュニケーションを支援するための技術に関する。
【背景技術】
【0002】
人間のコミュニケーションを心理学的見地から見た場合、例えばジェスチャーといった視覚的要素や触れ合いといった触覚的要素などの非言語的要素が言語よりも重要であるという報告がある。このような非言語的要素を主としたコミュニケーションは、ノンバーバルコミュニケーションと呼ばれている。例えば特許文献1には、コンサート会場において、出演者や観客の生体情報を検出し、これらの検出結果から、そのコンサート会場全体の雰囲気を特定して出演者及び観客に伝えるための仕組みが開示されている。これにより、出演者及び観客で一体感を得ようというものである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−303722号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の技術は、不特定多数の人間によって形成された場の全体の雰囲気を特定し、それを共有しようというものであるから、前述したようなノンバーバルコミュニケーションを支援することを意図したものではない。
本発明の目的は、ノンバーバルコミュニケーションを支援することにある。
【課題を解決するための手段】
【0005】
上述の課題を解決するため、本発明は、互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、各々のユーザによって利用されるクライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあうユーザの前記クライアント装置に通知する通知手段とを備えることを特徴とするサーバ装置を提供する。
【0006】
前記生成手段は、前記特定手段によって特定された前記複数のユーザの前記クライアント装置から前記取得手段によってそれぞれ取得された生体情報に基づいて、各々の前記ユーザの心理状態を推定する心理状態推定手段と、前記心理状態推定手段によって推定された各々の心理状態が同期している度合いである同期度を推定する同期度推定手段とを備え、前記同期度推定手段によって推定された同期度に応じた前記動作指示を生成するようにしてもよい。
【0007】
前記同期度推定手段は、或る期間にわたって前記心理状態推定手段により繰り返し推定された心理状態の変化に基づいて前記同期度を推定するようにしてもよい。
【0008】
前記同期度推定手段は、前記或る期間のうち、決められた時点よりも新しい期間において前記心理状態推定手段により繰り返し推定された複数の心理状態と、前記決められた時点よりも古い期間を含む期間において前記心理状態推定手段により繰り返し推定された複数の心理状態とに対して、それぞれ異なる量の重み付けを行って前記同期度を推定するようにしてもよい。
【0009】
前記同期度推定手段は、複数の前記生体情報のサンプリングにより得られた統計結果を表すグラフにおいて一のユーザの前記生体情報が変化したときの当該変化前から当該変化後までの積分領域と、当該グラフにおいて他のユーザの前記生体情報が変化したときの当該変化前から当該変化後までの積分領域とを特定し、これらの積分領域が重なっている領域が大きいほど、同期の度合いが大きい同期度を推定するようにしてもよい。
【0010】
前記心理状態推定手段は、予め複数に区分された心理状態のレベルのうち、前記ユーザの心理状態が該当するレベルを推定し、前記同期度推定手段は、前記心理状態推定手段によって推定されたレベルの差が小さいほど、同期の度合いが大きい同期度を推定するようにしてもよい。
【0011】
前記心理状態推定手段は、前記生体情報と前記心理状態との対応関係を各々のユーザ単位で記憶しており、当該対応関係において、前記取得手段によってそれぞれ取得された生体情報に対応する心理状態を、各々のユーザの心理状態として推定するようにしてもよい。
【0012】
また、本発明は、複数のユーザによってそれぞれ利用される複数のクライアント装置と、サーバ装置とを備え、前記サーバ装置は、互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、各々のユーザの前記クライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあうユーザの前記クライアント装置に通知する通知手段とを備え、各々の前記クライアント装置は、自装置を利用するユーザの生体の状態を検出する検出手段と、前記検出手段によって検出された生体の状態に関する前記生体情報を前記サーバ装置に送信する送信手段と、前記サーバ装置から通知されてくる前記動作指示を受信する受信手段と、前記受信手段によって受信された動作指示に従って動作を行う動作手段とを備えることを特徴とする通信システムを提供する。
【0013】
また、本発明は、コンピュータを、互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、各々のユーザによって利用されるクライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあうユーザの前記クライアント装置に通知する通知手段として機能させるためのプログラムを提供する。
【発明の効果】
【0014】
本発明によれば、ノンバーバルコミュニケーションを支援することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態に係る通信システムの構成を示す図である。
【図2】生体機器、移動通信端末及びサーバ装置の構成を示すブロック図である。
【図3】通信システムの動作を示すシーケンスチャートである。
【図4】通信システムの動作を示すシーケンスチャートである。
【図5】コミュニケーションの開始時における通信システムの動作を示すシーケンスチャートである。
【図6】サーバ装置の制御部が行う動作指示生成処理の内容を示すフローチャートである。
【図7】生体情報の内容と動作指示の内容との対応関係を示す図である。
【図8】心理状態の推定に用いるグラフを示す図である。
【図9】同期度を推定するときのアルゴリズムを説明する図である。
【図10】同期度に基づく動作指示の内容を示す図である。
【図11】コミュニケーションの終了時における通信システムの動作を示すシーケンスチャートである。
【図12】同期度を推定するときのアルゴリズムの変形例を説明する図である。
【図13】生体情報が検出されなくなったときの理由を判別するときに用いるテーブルを示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について説明する。
<構成>
図1は、本発明の実施形態に係る通信システム1の構成を示す図である。通信システム1は、広範なエリアに設けられた移動通信ネットワーク100と、ユーザによって所持される移動通信端末110、130および生体機器120,140と、移動通信ネットワーク100に接続されたサーバ装置150とを備えている。移動通信端末110および生体機器120が連携することで、サーバ装置150に対するクライアント装置として機能する。同様に、移動通信端末130および生体機器140が、サーバ装置150に対するクライアント装置として機能する。これらのクライアント装置を利用する各ユーザ、つまり移動通信端末110および生体機器120を利用するユーザと、移動通信端末130および生体機器140を利用するユーザとは異なっている。これらのユーザがこの通信システム1を用いてお互いにコミュニケーションをとりあう。なお、通信システム1において、移動通信端末及び生体機器は多数存在し得るが、図1では、説明の便宜のため、それぞれ2つのみ図示している。
【0017】
移動通信ネットワーク100は、移動通信端末110,130に通話サービス及びデータ通信サービスを提供するネットワークである。この移動通信ネットワーク100は、自局の無線セル内に居る移動通信端末110,130と無線通信を行う基地局、網内で伝送されるデータのルーティングを行う交換局、及び移動通信端末110,130の位置登録などを行う制御局といった各種ノードと、これらのノード間を相互に接続する通信線とを備えている。移動通信端末110,130は、携帯電話機などの通信可能なコンピュータであり、移動通信ネットワーク100を介して他の移動通信端末との間で通話のための音声データを遣り取りしたり、移動通信ネットワーク100を介してサーバ装置150とデータ通信を行ったりする。また、移動通信端末110,130は、自端末とクライアント装置を構成する生体機器120,140との間で、例えばブルートゥース(登録商標)などの通信規格に従って無線通信を行う。この無線通信によって通信可能な距離は例えば数mなどの比較的近距離であるため、これを近距離通信と呼ぶ。これに対し、移動通信端末110,130が移動通信ネットワーク100を介して行う通信のことを、ネットワーク通信と呼ぶ。
【0018】
生体機器120,140は、ユーザが手で握ることができる程度の大きさであり、その筐体は例えばプラスチックなどの樹脂でハート型などの形状に成型されている。生体機器120,140は、ユーザの手に握られた状態で、そのユーザの心拍数や体温などの、人間の生体の状態(以下、生体状態という)を検出する。また、生体機器120,140は、コミュニケーションの相手方であるユーザの生体状態に応じた動作を行うようになっている。つまり、ユーザは、コミュニケーションの相手方となるユーザの生体状態を、自身が手に持っている生体機器の動作で認識することができるようになっている。この動作は、サーバ装置150によって指示されるものである。
【0019】
サーバ装置150は、移動通信ネットワーク100を介して移動通信端末110,130と通信を行うコンピュータである。このサーバ装置150は、クライアント装置とクライアント装置との間に介在して、ユーザのコミュニケーションを支援するための情報処理を行う。この通信システム1において、ユーザは、移動通信端末を用いて、他のユーザとの通話、つまり言語を用いたコミュニケーションをとることもできる一方、非言語的要素を用いたコミュニケーションもとることができる。すなわち、各々の生体機器120,140が、コミュニケーションの相手方となるユーザの心拍数と同期して点滅動作を行うなど生体状態に応じた動作を行うことで、各ユーザは相手方の存在感を感じつつ、コミュニケーションをとることができる。また、それぞれの生体状態から推定されるお互いのユーザの心理状態が同じようなレベルに達すると、生体機器120,140がその旨を報知し、ユーザどうしの一体感を演出することにより、コミュニケーションがさらに促進される。例えば、生体機器120,140がコミュニケーションの相手方となるユーザの心拍数と同期して点滅動作を行っているような場合において、その心拍数から推定されるユーザのリラックスまたは緊張の度合いがお互いにほぼ同じレベルになると、それぞれの生体機器120,140における点灯強度を大きくしたり点灯色を変化させたりするといった具合である。
【0020】
図2は、移動通信端末110、130、生体機器120,140、及びサーバ装置150の構成を示すブロック図である。生体機器120,140の構成は共通であり、移動通信端末110,130の構成は共通である。生体機器120,140は、制御部11と、検出部12と、報知動作部13と、圧力検知部14と、近距離通信部15とを備えている。制御部11は、CPU(Central Processing Unit)などの演算装置と、ROM(Read Only Memory)及びRAM(Random Access Memory)などの記憶装置、及び、EEPROM(Electronically Erasable and Programmable ROM)やバックアップ電源を備えたSRAM(Static Random Access Memory)などの書き込み可能な不揮発性記憶装置とを備えている。CPUがRAMをワークエリアとして用いてROMなどに記憶されたプログラムを実行することによって、生体機器120,140の各部の動作が制御される。制御部11の不揮発性記憶装置には、生体機器120,140が行う近距離通信の通信相手となる移動通信端末(生体機器120に対しては移動通信端末110、生体機器140に対しては移動通信端末130)の近距離通信部23に割り当てられた識別情報(例えばブルートゥースアドレスなど)が記憶されている。検出部12は、ユーザの生体状態を検出する。この検出部12は、例えばLED(Light Emitting Diode)から発せられた赤外線が生体で反射するときの反射光量の変動により心拍数を検出する心拍センサ121と、例えば熱電体を利用して生体表面の温度を検出する温度センサ122とを備えている。圧力検知部14は、生体機器120,140がユーザの手によって握られている否かを判断するために、例えばダイアフラムの変形量に基づいて自身に加えられた圧力を検出するダイアフラム型の圧力センサを備えている。近距離通信部15は、ブルートゥース(登録商標)などの通信規格に従って移動通信端末110,130と無線通信を行う。報知動作部13は、例えば赤、橙、黄、緑、青、藍、紫という7色で発光するLEDなどの発光部131と、例えば偏心カムを回転させたりピストンを往復運動させることで振動を発生させる振動部132と、例えば抵抗加熱方式により発熱する発熱部133とを有する。この報知動作部の発光、振動及び発熱動作によって、コミュニケーションの相手方となるユーザの生体状態に応じた報知が行われることになる。
【0021】
移動通信端末110,130は、制御部21と、記憶部22と、近距離通信部23と、ネットワーク通信部24と、操作部25と、表示部26と、音声入出力部27と、加速度検知部28とを備えている。制御部21は、CPUなどの演算装置と、ROM及びRAMなどの記憶装置とを備えている。CPUがRAMをワークエリアとして用いてROMや記憶部22に記憶されたプログラムを実行することによって、移動通信端末110,130の各部の動作が制御される。記憶部22は、書き込み可能な不揮発性の記憶手段であり、例えばEEPROM(Electronically Erasable and Programmable ROM)やバックアップ電源を備えたSRAM(Static Random Access Memory)である。近距離通信部23は、ブルートゥース(登録商標)などの通信規格に従って生体機器120,140の近距離通信部15と無線通信を行う。ネットワーク通信部24は、例えばIMT2000(International Mobile Telecommunication 2000)などの移動通信ネットワーク100が採用する通信規格に従って、移動通信ネットワーク100を介してサーバ装置150などと通信を行う。操作部25は、複数のキーやタッチスクリーンなどの操作子を備え、ユーザの操作に応じた操作信号を制御部21に供給する。制御部21は、この操作信号に応じた処理を行う。表示部26は、液晶パネルや液晶駆動回路を備えており、制御部21からの指示に応じて各種の情報を表示する。加速度検知部28は、例えばジャイロセンサを備えており、自端末に生じた加速度の大きさを検知する。音声入出力部27は、スピーカ、マイクロホン及び音声処理回路などを備えており、移動通信端末110,130に対して通話に係る音声の入出力を行う。
【0022】
サーバ装置150は、制御部31と、ネットワーク通信部32と、記憶部33とを備えている。制御部31は、CPUなどの演算装置と、ROM及びRAMなどの記憶装置とを備えている。CPUがRAMをワークエリアとして用いてROMや記憶部33に記憶されたプログラムを実行することによって、サーバ装置150の各部の動作が制御される。ネットワーク通信部32は、移動通信ネットワーク100を介して移動通信端末110,130と通信を行う。記憶部33は、書き込み可能な不揮発性の記憶手段であり、例えばハードディスクである。この記憶部33には、後述する動作を行うための手順が記述された管理プログラムと、ユーザから検出された生体の状態を表す生体情報の履歴などを含むユーザ管理データベースとを記憶している。ユーザ管理データベースにおいては、ユーザを識別する情報に対し、そのユーザの過去の生体情報の履歴や、さらには、その生体情報の代表的な値(例えば過去の心拍数の平均値)などが対応付けられている。ここで、ユーザを識別する情報としては、そのユーザが利用する移動通信端末110,130に割り当てられた識別情報(例えば移動通信端末に割り当てられた電話番号であり、以下、端末識別情報という)を用いる。
【0023】
<動作>
次に実施形態の動作を説明する。以下の説明において、移動通信端末110および生体機器120を利用するユーザをユーザAと呼び、移動通信端末130および生体機器140を利用するユーザをユーザBと呼ぶ。また、移動通信端末110,130、生体機器120,140及びサーバ装置150の各制御部11,21,31は、各々に記憶されているプログラムを実行することで以下の動作を行う。
【0024】
図3において、まずユーザAが移動通信端末110に対して所定の操作を行うと、移動通信端末110の制御部21はアカウント要求を生成し、これをネットワーク通信部24からサーバ装置150に送信する(ステップS1)。このアカウント要求には、移動通信端末110に割り当てられた端末識別情報が含まれている。サーバ装置150の制御部31は、アカウント要求がネットワーク通信部32によって受信されると、そのアカウント要求に含まれている端末識別情報をキーにしてユーザ管理データベースを検索して、ユーザAが正規に登録されたユーザであるか否かを確認する。そして、サーバ装置150の制御部31は、ユーザ名などのアカウントデータを含むアカウント許可をネットワーク通信部32から移動通信端末110に送信する(ステップS2)。移動通信端末110の制御部21は、ネットワーク通信部24がアカウント許可を受信すると、これに含まれるアカウントデータを表示部26に表示する(ステップS3)。
【0025】
さて、ユーザAが、移動通信端末110の操作部25を操作して、コミュニケーションをとる相手方、ここではユーザBの移動通信端末130の端末識別情報を指定して通信の開始を要求する(ステップS4)。そして、移動通信端末110の制御部21は、近距離通信部23を用いて生体機器120との間で通信路の確立処理を行う(ステップS5)。前述したとおり、移動通信端末110,130と生体機器120,140との間はそれぞれブルートゥース(登録商標)などの近距離通信によって接続されるが、一般にこの種の通信規格では、通信路を確立するまでに、通信相手を指定する作業が必要になるなどの、ユーザにとっての操作負担が大きい。そこで、本実施形態では、ユーザが生体機器120を握ったときの圧力を検出したことを契機として、生体機器120および移動通信端末110の間の通信路をこれらの装置間で自動的に確立するようにしている。具体的には、図5に示すような手順で生体機器120および移動通信端末110の間の通信路が確立される。
【0026】
図5において、生体機器120の制御部11は、圧力検知部14が閾値を超える大きさの圧力を検出すると(ステップS101;YES)、検出部12による生体状態の検出を開始させる(ステップS102)。そして、生体機器120の制御部11は、近距離通信の通信相手となる移動通信端末(ここでは移動通信端末110)の近距離通信部23に割り当てられた識別情報(例えばブルートゥースアドレスなど)を不揮発性記憶装置から読み出し、この識別情報を用い、自身の近距離通信部15と移動通信端末110の近距離通信部23との間で、通信規格に定められた手順で通信路を確立させる(ステップS103)。ただし、この時点では、生体機器120の制御部11は、通信相手を特定してその通信相手との間で通信路を確立したに過ぎず、近距離通信部15によって実際の通信が行われないように、近距離通信部15に対して動作制限をかけている。つまり、制御部11自身がこの動作制限を解除しない限り、制御部11は近距離通信部15を用いた通信を行わないようになっている。
【0027】
さて、生体機器120及び移動通信端末110の間で通信路が確立されると、生体機器120及び移動通信端末110は両者の間の通信路が確立したことをそれぞれ報知する(ステップS104,S105)。具体的には、生体機器120の制御部11は、発光部131から所定の色の光を発することで、この報知を行う。また、移動通信端末110の制御部21は、表示部26に所定のメッセージを表示することで、この報知を行う。次に、生体機器120の制御部11は、検出部12によって生体の状態が検出されているか否かを判断する(ステップS106)。ここでは、検出部12の検出不良によって実体がない生体状態が生成されることがあるので、それらを除くべく、生体状態を検出していると思われる程度の予め決まった範囲に収まる生体状態が検出されているか否かが判断される。例えば心拍数であれば、毎分30〜200の間に収まる場合には、生体状態が検出されていると判断される。
【0028】
生体機器120の制御部11は、ステップS104の報知がなされてから時間の計測を開始し、決められた時間が経過するまでの間に、検出部12によって生体状態が検出されたと判断した場合には(ステップS106;YES)、近距離通信部15の動作制限を解除し(ステップS107)、ステップS103にて確立した通信路を介した通信が可能な状態にする。一方、生体機器120の制御部11は、ステップS104の報知がなされてから、決められた時間が経過するまでの間に、検出部12によって生体状態が検出されなかったと判断した場合には(ステップS106;NO)、近距離通信部15に、既に確立している通信路を開放させ(ステップS108)、ステップS101の処理に戻る。
【0029】
さて、再び図3の説明に戻り、移動通信端末110の制御部21は、生体機器120との間で通信路が確立されると、移動通信端末130の端末識別情報を含む接続要求をネットワーク通信部24から送出する(ステップS6)。この接続要求はサーバ装置150のネットワーク通信部32によって受信される。サーバ装置150の制御部31は、この要求の送信元である移動通信端末110のユーザを、コミュニケーションをとりあうユーザの一方であることを特定し、この要求に含まれている端末識別情報の移動通信端末130のユーザを、コミュニケーションをとりあうユーザの他方であることを特定することになる。
【0030】
サーバ装置150の制御部31は、接続要求に含まれている端末識別情報の移動通信端末130に対してネットワーク通信部32から呼び出しを行う(ステップS7)。この呼び出しには、ユーザAの移動通信端末110の端末識別情報も含まれている。移動通信端末130の制御部21は、ネットワーク通信部24がこの呼び出しを受け取ると、生体機器140との間で通信路を確立する処理を行うとともに、移動通信端末130及び生体機器140は両者の間の通信路が確立したことをそれぞれ報知する(ステップS8)。具体的には、制御部21は、近距離通信の通信相手となる生体機器(ここでは生体機器140)の近距離通信部15に割り当てられた識別情報(例えばブルートゥースアドレスなど)を記憶部22から読み出し、この識別情報を用い、自身の近距離通信部23と生体機器140の近距離通信部15との間で、通信規格に定められた手順で通信路を確立する。このとき、近距離通信部23及び近距離通信部15の動作制限も解除される。移動通信端末130及び生体機器140の間で通信路が確立されると、移動通信端末130及び生体機器140は両者の間の通信路が確立したことをそれぞれ報知する。具体的には、生体機器140の制御部11は、発光部131から所定の色の光を発することで、この報知を行う。また、移動通信端末130の制御部21は、表示部26に所定のメッセージを表示することで、この報知を行う。
【0031】
移動通信端末130の制御部21は、移動通信端末130と生体機器140との間の通信路が確立すると、通信路が確立した旨の報告をネットワーク通信部24からサーバ装置150に対して送信する(ステップS9)。サーバ装置150の制御部31は、この報告をネットワーク通信部32が受信すると、移動通信端末110に対して、この報告をネットワーク通信部32から転送する(ステップS10)。移動通信端末110の制御部21は、ネットワーク通信部24がこの報告を受け取ると、移動通信端末130と通信を行う旨のメッセージを表示部26に表示する(ステップS11)。また、この報告は、移動通信端末110から生体機器120へも転送され(ステップS12)、生体機器120において、この報告に基づいた所定の報知が報知動作部13からなされる(ステップS13)。
【0032】
次に、サーバ装置150の制御部31は、動作の開始を通知する動作開始通知をネットワーク通信部32から各移動通信端末110,130に送信する(ステップS14,S15)。移動通信端末110,130の制御部21はネットワーク通信部24がこの動作開始通知を受け取ると、近距離通信部23から生体機器120,140に転送する(ステップS16,S17)。生体機器120,140の制御部11は、近距離通信部15がこの動作開始通知を受信すると、発光部131から所定の色の光を発して、ユーザに対し、生体情報を用いたコミュニケーションが開始されたことを通知する。
【0033】
さて、生体機器120,140の制御部11は、検出部12によって検出された生体状態を、サーバ装置150の制御部31が解釈可能なフォーマットに変換するなどして、その生体状態を表す生体情報を生成し、既に確立している通信路を介して近距離通信部15から移動通信端末110,130にそれぞれ送信する(ステップS18,19)。移動通信端末110,130の制御部21は、近距離通信部23がこの生体情報を受信すると、加速度検知部28によって検出された加速度を表す加速度情報をこの生体情報に付加して、ネットワーク通信部24からサーバ装置150に送信する(ステップS20,21)。
【0034】
サーバ装置150の制御部31は、ネットワーク通信部32が生体情報及び加速度情報を各移動通信端末110,130から受信することで、これらを取得する。そして、サーバ装置150の制御部31は、取得したこれらの情報に基づいて、生体機器120,140が行うべき報知動作の内容を指示する動作指示を生成する(図4のステップS22)。サーバ装置150の制御部31は、この動作指示生成処理を経て生成した動作指示を、ネットワーク通信部32から双方の移動通信端末110,130に対して送信する(ステップS23,24)。移動通信端末110,130の制御部21は、ネットワーク通信部24がこの動作指示を受信すると、近距離通信部23から生体機器120,140に転送する(ステップS25,26)。生体機器120,140の制御部11は、近距離通信部15がこの動作指示を受信すると、この動作指示によって指示された内容で報知動作部13を制御して、報知動作を行う(ステップS27,28)。
上記のようなステップS18〜ステップS28の処理は、生体機器120,140が生体情報を移動通信端末110,130に送信するたびに、繰り返し行われる。
【0035】
ここで、図6は、サーバ装置150の制御部31が動作指示を生成する手順を示したフローチャートである。この図に示した処理は、サーバ装置150においてネットワーク通信部32が移動通信端末110,130から生体情報及び加速度情報を受信するたびに実行される。図6において、制御部31は、ユーザ間のコミュニケーションが開始されたのち、各移動通信端末110,130からはじめて生体情報及び加速度情報を受信すると、これらを記憶部33のユーザ管理データベースに記憶したのち、まず、生体情報に基づいて動作指示を生成する(ステップS201)。このとき、制御部31は、ユーザAの生体情報に基づき、ユーザBの生体機器140に対する動作指示を生成し、一方、ユーザBの生体情報に基づき、ユーザAの生体機器140に対する動作指示を生成する。
【0036】
このときの生体情報の内容と動作指示の内容との対応関係は、図7に示すとおりである。制御部31は、生体情報に含まれている心拍数で60秒を除算した時間(心拍周期)を、生体機器120,140が備える発光部131による発光の点滅周期に決定する。また、制御部31は、生体情報に含まれている心拍数で60秒で除算した時間(心拍周期)を、生体機器120,140が備える振動部132による振動の周期に決定する。また、制御部31は、生体情報に含まれている温度を、生体機器120,140が備える発熱部133による発熱温度に決定する。制御部31はこのようにして決定した発光部131の点滅周期、振動部132の振動周期及び発熱部133による発熱温度を含む動作指示を生成する。
【0037】
次に制御部31は、ユーザ間のコミュニケーションが開始されてから、記憶部33のユーザ管理データベースに生体情報が十分に蓄積されたか否かを判断する(ステップS202)。ここでいう生体情報の十分な蓄積とは、次のステップS203でユーザの心理状態の推定を行うのに十分な量の生体情報という意味である。心理状態の推定には、時系列に繰り返し生成された複数の生体情報が必要であり、例えば、時間的に連続して生成された10回分の生体情報が必要とされる。制御部31が、移動通信端末110,130からはじめて生体情報及び加速度情報を受信した場合には、十分でないと判断され(ステップS202;NO)、図6の処理は終了する。そして、制御部31は、図4のステップS23,S24にて、各移動通信端末110,130に動作指示を送信して、生体機器による報知動作の内容を通知する。この動作指示は、移動通信端末110,130を介して生体機器120,140に届けられ、生体機器120,140の制御部11は、この動作指示に従って、発光部131の点滅周期、振動部132の振動周期及び発熱部133による発熱温度を制御する。
【0038】
さて、図6のステップS202にて、制御部31は、生体情報が十分に蓄積されたと判断した場合(ステップS202;YES)、各ユーザの心理状態を推定する。心理状態の推定アルゴリズムとしては様々なものを利用し得るが、ここでは、次のようなアルゴリズムを採用している。
【0039】
図8は心理状態を推定するときに用いる心拍数の分布を示す図である。図8に示すグラフがユーザ管理データベースに記憶されている。このグラフは、十分な数の被験者の心拍数をサンプリングし、それにより得られた統計結果を表したものであり、横軸が心拍数で、縦軸がサンプル数である。図8において心拍数の平均は65(回/分)であり、制御部31は、この平均値よりも心拍数が多くなると人間は緊張状態にあるとみなし、一方、平均値よりも心拍数が少なくなると人間はリラックス状態にあるとみなす。さらに、グラフ中の点線は、サンプル数の合計を心拍数の少ないほうから10%ずつで区切った線である。隣り合う点線の間に記した「1」から「10」までの数値は緊張又はリラックスの状態を予め複数に区分して数値化したものであり、「1」に近づくほどリラックスしており、「10」に近づくほど緊張しているという意味である。この数値を心理状態レベルという。図8の例では、例えば、心拍数が65(回/分)のときは心理状態レベルが「5」であり、心拍数が90(回/分)のときは心理状態レベルが「7」であり、心拍数が40(回/分)のときは心理状態レベルが「2」である。
【0040】
制御部31は、図8において、蓄積された各々の心拍数が該当する心理状態レベルを推定する。さらに、制御部31は、このようにして推定した心理状態レベルを、移動通信端末110,130から受信した加速度情報に応じて補正する。例えば移動通信端末110,130に生じる加速度が或る閾値を超える場合には、ユーザが走っているなどの運動を行っている可能性が考えられる。そこで、制御部31は、移動通信端末110,130から受信した加速度情報が示す加速度が、管理プログラムに記述されている閾値を超える場合には、前述したようにして推定した心理状態レベルから「1」を減じる。つまり、制御部31は、心拍数が65(回/分)であったとしても、それらの心拍数を含む生体情報とともに受信された加速度情報が示す加速度の平均値が閾値を超える場合には、心理状態レベル「5」から「1」を減じた「4」を最終的な心理状態レベルとして推定する。
【0041】
このようにして、制御部31は、生体情報及び加速度情報から心理状態レベルを特定する。例えば10個の生体情報の各々に含まれている心拍数が、65,65,65,65,60,60,55,55,55,50の場合で、且つ、いずれの加速度情報が示す加速度が閾値を超えない場合の心理状態レベルは、5,5,5,4,4,4,4,4,4,3になる、といった具合である。
【0042】
次に、制御部31は、各ユーザの心理状態レベルがどの程度同期しているかという同期度を推定する。図9は、各ユーザの心理状態レベルが時間とともに変化していく様子を示す図である。実線は、一方の利用者の心理状態レベルが上述したように、5,5,5,4,4,4,4,4,4,3というように変化した場合を示している。一方、点線は、他方の利用者の心理状態レベルが、8,8,7,6,5,4,4,4,4,2というように変化した場合を示している。制御部31は、コミュニケーションを取り合う各ユーザの心理状態レベルの差が小さいほど、心理状態の同期の度合いが大きいと推定する。
【0043】
ただし、制御部31は、心理状態レベルの同期度を推定するにあたって、対象期間が異なる2つの同期率を用い、且つ、この同期率の各々に対し、異なる重み付けを行う。まず1つ目の同期率は、ワイドレンジ同期率というものであり、既に蓄積されている全ての生体情報に含まれている心拍数がユーザ間でどの程度一致しているかを示す値である。制御部31は、このワイドレンジ同期率を、例えば、実線のグラフの積分値と点線のグラフの積分値とをそれぞれ算出し、両者のうち大きいほうの値で小さいほうの値を除算して得る。例えば、図9の例の場合、実線の積分値が38で、点線の積分値が47になるから、ワイドレンジ同期率は38/47≒81%である。もう1つの同期率は、トレンドレンジ同期率というものであり、時間軸上で新しいものから順に3個の心拍数がどの程度一致しているかを示す値である。制御部31は、このトレンドレンジ同期率を、ワイドレンジ同期率と同じように、実線のグラフの積分値と点線のグラフの積分値とをそれぞれ算出し、両者のうち大きいほうの値で小さいほうの値を除算して得る。例えば、図9の例の場合、実線の積分値が11.5で、点線の積分値が11になるから、ワイドレンジ同期率は11/11.5≒96%である。このように、制御部31は、時間軸上で新しいものから順に3個目の心拍数(生体情報)を取得した時点を、ワイドレンジ同期率とトレンドレンジ同期率とを区別する時点として予め決めておき、その時点よりも古い期間を含む期間において繰り返し推定された複数の心理状態レベルと、その時点よりも新しい期間において繰り返し推定された複数の心理状態レベルとを、同期度の推定に用いる。
【0044】
制御部31は、上記のようにして求めたワイドレンジ同期率及びトレンドレンジ同期率に対し、それぞれ異なる量の重み付けを行って同期度を求める。例えば、制御部31は、ワイドレンジ同期率×0.8+トレンドレンジ同期率×0.2という数式に基づき同期率を算出する。つまり、ワイドレンジ同期率に対する重み付け:トレンドレンジ同期率に対する重み付け=8:2である。上記の例の場合、制御部31は、81×0.8+91×0.2=64.8+18.2=83%という同期率を算する。制御部31はこのようにして求めた同期率に応じた動作指示を生成する。
【0045】
ここで、図10は、制御部31が同期率に応じた動作指示を生成するときに用いるテーブルを示している。このテーブルの内容は、管理プログラムに記述されている。制御部31は、このテーブルにおいて、求めた同期率に対応する動作指示を特定する。例えば、同期率が83%のときは、同期率70−90%の範囲に属するので、生体機器の発光部131の点灯色を赤色にする、発光部131の点灯強度を1.2倍にする、振動部132の振幅を1.2倍にする、という動作指示が生成され、これが図6のステップS201で生成された動作指示に付加されることになる。ここで、発光部131の発光強度と振動部132の振幅はそれぞれ基準となる大きさが決められており、発光部131の点灯強度が1.2倍とは、その基準となる発光強度の1.2倍という意味である。振動部132の振幅も同様である。
【0046】
動作指示が生成されると、図6の処理は終了する。そして、サーバ装置150の制御部31は、図4のステップS23,S24にて、各移動通信端末110,130に動作指示を送信して、生体機器による報知動作の内容を通知する。この動作指示は、移動通信端末110,130を介して生体機器120,140に届けられ、生体機器120,140の制御部11は、この動作指示に従って、発光部131の点滅周期、振動部132の振動周期及び発熱部133による発熱温度を制御する。
以上のようにして、遠隔に居るユーザどうし、例えば親子関係、友人関係或いは恋人関係にあるユーザが、お互いの生体の状態を生体機器120,140の報知動作によって認識することで、コミュニケーションの相手があたかも自らの傍に居るような感覚を得ることができ、これにより、今までないノンバーバルコミュニケーションが実現される。
【0047】
さて、前掲の図4において、最後に、コミュニケーションの終了の処理が行われる(ステップS29)。ここで、図11は、通信システム1においてコミュニケーションが終了するときの処理を示す図である。ここで、例えばユーザBの生体情報が検出できなくなった場合を想定する。この場合、ユーザBがユーザAとの間で生体情報を用いたコミュニケーションを止めようと考えて生体機器140を放置したというケースと、ユーザBは生体情報を用いたコミュニケーションを継続する気持ちはあるが、例えば別の作業を行うなどの理由により生体機器140を一時的に手離したというケースとが考えられる。サーバ装置150の制御部31は、生体情報を受信するたびに時間計測を開始し(ステップS301)、その次に生体情報を受信するとそれまでの計測時間をリセットして、再び新たな時間計測を開始する。つまり、ここで計測しているのは、サーバ装置150が生体情報を受信していない期間に相当する。ここで、計測時間がタイムアウトに到達した時点で、ユーザBの生体情報を受信できなかった場合(ステップS302)、サーバ装置150の制御部31は、まず、生体情報を送信してこない移動通信端末130及び生体機器140に対して、生体情報が未受信になっているときに行う動作を指示する未受信動作指示を送信する(ステップS303)。
【0048】
生体情報を送信してこない移動通信端末130及び生体機器140に対する未受信動作指示は、生体情報を受信しておらず、その生体情報の検出を促す旨を報知する動作を指示する第1報知情報である。この未受信時動作指示は、移動通信端末130を介して生体機器140に届けられ(ステップS304)、生体機器140の制御部11は、この動作指示に含まれている内容で動作するよう、発光部131、振動部132及び発熱部133を制御する(ステップS305)。この未受信動作指示には、さらに、移動通信端末130に対し、生体情報を受信していない旨を表示部26に表示する動作の指示が含まれていてもよい。ユーザBはこの報知を認識し、生体情報を用いたコミュニケーションを継続する気持ちがあれば、再び、生体機器140を手に持てばよいし、その気持ちがなければ、そのまま生体機器140を放置しておけばよい。
【0049】
さて、サーバ装置150の制御部31は、未受信動作指示を送信した後の或る時期(ここでは未受信動作指示の送信完了時期)を始期として時間計測を開始し(ステップS306)、移動通信端末130から生体情報を受信しないまま、閾値を超えるタイムアウトになると(ステップS307)、生体情報を送信してきていた移動通信端末110及び生体機器120に対して、コミュニケーションの相手方の生体情報が未受信になっているときに行う動作を指示する未受信動作指示を送信する(ステップS308)。生体情報を送信してきた移動通信端末110および生体機器120に対する未受信動作指示は、コミュニケーションの相手方のユーザの生体情報を受信しておらず、コミュニケーションの終了を予測する旨を報知する動作を指示する第2報知情報である。サーバ装置150の制御部31は、未受信動作指示を送信した後の或る時期(ここでは未受信動作指示の送信完了時期)を始期として時間計測を開始する(ステップS309)。
【0050】
この未受信時動作指示は、移動通信端末110を介して生体機器120に届けられ(ステップS310)、生体機器120の制御部11は、この動作指示に含まれている内容で動作するよう、発光部131、振動部132及び発熱部133を制御する(ステップS311)。この未受信動作指示には、さらに、移動通信端末110に対し、コミュニケーションの相手方のユーザの生体情報を受信していない旨を表示部26に表示する動作の指示が含まれていてもよい。ユーザAはこの報知を認識し、生体情報を用いたコミュニケーションを継続する気持ちがなければ、生体機器120を手放せばよい。
【0051】
一方、ユーザAが生体情報の遣り取りを継続する気持ちがあれば、ユーザAは生体機器120をさらに強い力で握るようにすればよい。生体機器120はその圧力を検知すると、圧力が増大した旨を移動通信端末110に通知し(ステップS312)、移動通信端末110はコミュニケーションの継続を要求するための継続要求をサーバ装置150に送信する(ステップS313)。サーバ装置150の制御部31は、ステップS309で計測を開始した時間がタイムアウトにならないうちに、この継続要求を受信すると、移動通信端末130に対して、継続要求時動作指示を送信する(ステップS314)。なお、サーバ装置150の制御部31は、ステップS309で計測を開始した時間が閾値を超えてタイムアウトになると、以降の処理を終了する。具体的には、制御部31は、移動通信端末110,130に対し、生体機器120,140との間の通信路を開放することを指示するとともに、サーバ装置150と移動通信端末110,130との間の通信路を開放する処理を行う。移動通信端末110,130の制御部21は、この指示に従って、生体機器120,140との間の通信路を開放する。
【0052】
また、ユーザAが生体情報の遣り取りを継続する気持ちがあって生体機器120を握り続けていれば、生体機器120はその旨を移動通信端末110に通知する。この通知に応じて、移動通信端末110は、コミュニケーションの継続を要求するための継続要求をサーバ装置150に送信する。サーバ装置150の制御部31は、ステップS309で計測を開始した時間がタイムアウトになった後であっても、上記のような生体機器120を握り続けていることに応じて送信されてくる継続要求を受信すると、ステップS314と同様に、移動通信端末130に対して継続要求時動作指示を送信する。この継続要求時動作指示は、コミュニケーションの相手方であるユーザAがコミュニケーションの継続を要求している旨を報知する動作を指示する第3報知情報である。この継続要求時動作指示には、さらに、移動通信端末130に対し、コミュニケーションの相手方であるユーザAがコミュニケーションの継続を要求している旨を表示部26に表示する動作の指示が含まれていてもよい。
【0053】
これらの継続要求時動作指示は、移動通信端末130を介して生体機器140に届けられ(ステップS315)、生体機器140の制御部11は、この動作指示に含まれている内容で動作するよう、発光部131、振動部132及び発熱部133を制御する(ステップS316)。ユーザBはこの報知を認識し、生体情報を用いたコミュニケーションを継続する気持ちがあれば、再び、生体機器140を手に持てばよい。サーバ装置150の制御部31は、継続要求時動作指示を送信してから時間計測を開始し(ステップS317)、閾値を超えてタイムアウトになると(ステップS318)、以降の処理を終了する(ステップS319)。具体的には、制御部31は、移動通信端末110,130に対し、生体機器120,140との間の通信路を開放することを指示するとともに、サーバ装置150と移動通信端末110,130との間の通信路を開放する処理を行う。移動通信端末110,130の制御部21は、この指示に従って、生体機器120,140との間の通信路を開放する。
【0054】
一方、サーバ装置150の制御部31は、継続要求時動作指示を送信してから時間計測を開始し、閾値を超えるタイムアウトにならないうちに、移動通信端末130から生体情報を受信すると、図4のステップS22の処理に戻る。
【0055】
以上の実施形態によれば、それぞれのユーザが利用する生体機器120,140によって生体状態が検出されると、互いの生体情報が移動通信端末110,130を介してサーバ装置150に送られ、さらに、その生体情報に応じた動作指示がサーバ装置150から移動通信端末110,130を介して、コミュニケーションの相手方となるユーザの生体機器120,140に伝えられる。そして、生体機器120,140はこの動作指示に応じた報知を行う。さらに、サーバ装置150は、ユーザの生体情報からそのユーザの心理状態を推定し、その心理状態が両者で一定の同期度に達すると、所定の報知を行うよう生体機器120,140に対して指示する、生体機器120,140はこの動作指示に応じた報知を行う。これにより、相手の温もりや心情を感じながらのコミュニケーションが可能となる。
また、長時間において心理状態が同期していることの指標となるワイドレンジ同期率と、短時間において心理状態が同期していることの指標となるトレンド同期率とを併用することで、心理状態の変遷をも加味した、心理状態の同期度の推定が可能となる。
また、ユーザが生体機器120,140を握ったことを契機として、生体機器120,140および移動通信端末110,130間の通信路を自動で確立しているので、ユーザにとって操作の手間がかからない。
また、ユーザが一時的に生体機器120,140を手離した場合であっても、ユーザがコミュニケーションを継続する意思があれば、そのコミュニケーションの再開を図ることができる。
【0056】
<変形例>
上述した実施形態は次のような変形が可能である。以下の変形例を互いに組み合わせて実施してもよい。
<変形例1>
実施形態では、生体機器と移動通信端末という2つの通信装置によって1つのクライアント装置を構成していた。これらの通信装置間の通信は、無線通信であっても有線通信であってもよい。また、クライアント装置とサーバ装置150との間のネットワークは、移動通信ネットワークに限らず、固定通信ネットワークであってもよいし、移動通信ネットワーク及び固定通信ネットワークの両者で構成してもよい。
また、クライアント装置は、生体機器と移動通信端末の機能を併せ持つ単体の装置であってもよいし、或いは、3つ以上の通信装置によって構成されていてもよい。
また、生体機器は、腕時計型などのウェアラブルな装置であってもよく、その場合、ユーザは生体機器を握るのではなく、生体機器の特定の部位を触れると生体機器が動作するようになっている。
【0057】
<変形例2>
図3において、移動通信端末110と生体機器120との間の通信路の確立は、ステップS4のコミュニケーションの相手が指定されてから行っていたが、これをステップS3の前や後に行ってもよい。つまり、移動通信端末110及び生体機器120は、まずお互いの通信路を確立してから、コミュニケーションの相手方となるユーザを指定する。具体的には、次のような手順となる。生体機器120の制御部11は、圧力検知部14が閾値を超える大きさの圧力を検出すると、検出部12による生体状態の検出を開始させる。そして、生体機器120の制御部11は、自身の近距離通信部15と移動通信端末110の近距離通信部23との間で、通信規格に定められた手順で通信路を確立する。そして、ユーザAが、コミュニケーションをとる相手方、ここではユーザBの移動通信端末130の端末識別情報を指定して通信の開始を要求する操作を行うと、移動通信端末110の制御部21は、移動通信端末130の端末識別情報を含む接続要求をネットワーク通信部24から送出する。
【0058】
<変形例3>
実施形態では、ユーザが生体機器120,140を握ったときの圧力をこれらの生体機器が検出して移動通信端末110,130との通信路を確立していた。このとき検出された圧力の大きさを、コミュニケーションの相手方となるユーザの生体機器120,140に対する動作指示に用いてもよい。このときの圧力の大きさは、例えばユーザの感情の指標として用いられる。例えば圧力が大きいときは、ユーザによって強く握られたときだから、強い感情であるとみなし、逆に、圧力が小さいときは、ユーザによって弱く握られたときだから、優しい感情であるとみなす。この場合、圧力の大きさを予め定めたレベル別に区分しておき、例えば、一方のユーザが強い圧力のレベルで握れば、コミュニケーションの相手方である他方のユーザのクライアント装置において赤い光で発光し、弱い圧力のレベルで握れば他方のユーザのクライアント装置において緑や青といった落ち着いた色で発光する。振動の大きさについても、同様に、圧力の大きさに応じてコミュニケーションの相手方であるユーザのクライアント装置において変化させるようにしてもよい。サーバ装置150の記憶部33には、圧力の大きさと報知動作とを対応付けたテーブルが記憶されており、制御部31は、このテーブルを参照して、一方のユーザのクライアント装置から通知された圧力の大きさから報知動作の内容を決定し、他方のユーザのクライアント装置に通知する。また、この圧力の大きさは、コミュニケーションの重要性ないし緊急性を相手方に通知するものであってよい。つまり、圧力が大きいときは、コミュニケーションの重要性ないし緊急性が高いとみなしてコミュニケーションの相手方である他方のユーザのクライアント装置において例えば赤い光で発光したり大きな振動を発生させ、逆に、圧力が小さいときは、コミュニケーションの重要性ないし緊急性が低いとみなしてコミュニケーションの相手方である他方のユーザのクライアント装置において例えば青い光で発光したり小さな振動を発生させる。
【0059】
サーバ装置150の記憶部33には、圧力の大きさと報知動作とを対応付けたテーブルが記憶されており、制御部31は、このテーブルを参照して、一方のユーザのクライアント装置から通知された圧力の大きさから報知動作の内容を決定し、他方のユーザのクライアント装置に通知する。具体的には以下のとおりである。
圧力の大きさに見合った点灯色および振幅がサーバ装置150の記憶部33に予め記憶されている。例えば、図3のステップS5にて、生体機器120と移動通信端末110との通信路を確立したとき、その生体機器120は検出した圧力の大きさを移動通信端末110に通知し、移動通信端末110は図3のステップS6の接続要求に、この圧力の大きさを含めてサーバ装置150に送信する。ステップS7にて、サーバ装置150の制御部31は、圧力の大きさに応じた点灯色と圧力の大きさに応じた振幅とを含む呼び出しを移動通信端末130に送信する。移動通信端末130の制御部21はステップS8にて、この接続要求に含まれている点灯色および振幅を生体機器140に伝え、生体機器140の制御部11は、ステップS9の報知処理においてこの点灯色で発光部131を点灯させ、且つ、この振幅で振動部132を振動させる。このようにすれば、ユーザが生体機器を握るときの強さを変えるだけで、そのユーザの感情、または、コミュニケーションの重要性ないし緊急性を相手に伝えることができる。
【0060】
<変形例4>
実施形態において、ユーザが生体機器120を握ったことを契機として、生体機器120および移動通信端末110の間の通信路を確立し(図5)、さらに、生体機器120において生体情報が生成されると、生体機器120からその通信路経由で移動通信端末110に生体情報が送信されていた(図3)。これを、ユーザが生体機器120を握り、且つ、生体機器120が生体情報を検出したという2つの条件充足を契機として、生体機器120および移動通信端末110間の通信路を自動で確立するようにしてもよい。このようにすれば、例えば生体機器120を鞄の中に入れておいたときに、生体機器120が鞄内の他の荷物からの接触を圧力として検出して移動通信端末110との通信路を確立しようとする、というような誤動作を防止することができる。
【0061】
<変形例5>
実施形態において、サーバ装置150の制御部31は、心理状態を推定するときに、図8に示すようなグラフを全ユーザについて共通して利用していたが、これを、図8に示すような生体情報と心理状態との対応関係として各々のユーザ単位で異なる内容を記憶部33に記憶しておき、制御部31は、その対応関係において受信された生体情報に対応する心理状態を、各々のユーザの心理状態として推定するようにしてもよい。例えば、制御部31は、ユーザの心拍数が検出されるたびに、その心拍数を図8に示すグラフに含まれるサンプル値の1つと入れ替えていき、最終的に、そのユーザから検出された心拍数のみによって、図8に示すようなグラフを生成するようにしてもよい。
また、制御部31は、図8のグラフにおいて心拍数の平均値がμのとき、その平均値μを、
μ=μ+(x-μ)×λ、
(ただし、xは検出された心拍数、λは1未満の定数)
という数式で変化させるようにしてもよい。
【0062】
<変形例6>
心理状態を推定するためのアルゴリズムは、実施形態で例示した内容に限らない。例えば、制御部31は心拍数の変動をパワースペクトル解析によって解析した結果から心理状態を推定してもよい。心拍数の変動に対するパワースペクトル解析結果は、3つの周波数成分に分けられることが知られている。1つ目は、VLF成分とよばれる低周波数成分(0-0.05Hz)、2つ目は、LF成分と呼ばれる中間周波数成分(0.05-0.20Hz)、3つ目は、H成分Fと呼ばれる高周波数成分(0.20-0.35Hz)である。HF成分は呼吸によって生ずる副交感神経活動によって影響を受ける。LF成分は交感神経と副交感神経活動によって影響を受ける。VLF成分は主として交感神経活動のほか、副交感神経活動により影響を受ける。LF成分とHF成分は交感神経機能の指標として用いられるから、制御部31は、X=f(LF成分、HF成分)、というLF成分及びHF成分の関数fに基づいて求めたXの大きさの大小で心理状態を推定するようにしてもよい。
また、サーバ装置150の制御部31は、一定期間あたりに計測された各脈拍数から、その期間における平均脈拍数を算出し、その平均脈拍数の大小によって心理状態を推定してもよい。
また、制御部31は、例えば心拍数、移動通信端末110,130における加速度情報、生体機器120,140において検知された圧力、移動通信端末110,130を用いた通話時の音声の解析結果なども加味して心理状態を推定するようにしてもよい。
【0063】
<変形例7>
同期度を推定するためのアルゴリズムは、実施形態で例示した内容に限らない。例えば、制御部31は、図8のような、複数の生体情報のサンプリングにより得られた統計結果を表すグラフにおいて、一のユーザの生体情報が変化したときの当該変化前から当該変化後までの積分領域と、同グラフにおいて他のユーザの生体情報が変化したときの当該変化前から当該変化後までの積分領域とを特定し、これらの積分領域が重なっている領域が大きいほど同期度が大きいと推定するようにしてもよい。例えば、図12に示す例では、或るユーザの生体情報が変化したときの当該変化前から当該変化後までの積分領域をA1とする。一方、その或るユーザとコミュニケーションをとっている他のユーザの生体情報が変化したときの当該変化前から当該変化後までの積分領域をA1’とする。この場合、積分領域A1と積分領域A1’とが重なる領域A1’’の大きさが同期度に応じたものとなる。この領域A1’’の大きさが、より大きいということは、両ユーザの心理状態の変化分の一致度が大きいということであるから、同期度もより大きくなる。
【0064】
<変形例8>
生体機器120,140に複数の動作モードを用意し、各動作モードで報知動作部13による報知動作の態様を変えるようにしてもよい。例えばノーマルモード、パーソナルモード、スリープモード及びオリジナルモードと呼ばれる4つの動作モードを用意する。各動作モードの切り替えは、生体機器120,140の圧力センサに対する加圧動作や、移動通信端末110,130における操作部25に対する操作などを用いて制御部11が行う。ノーマルモードでは実施形態と同じく、制御部11は、発光部131、発熱部133及び振動部132による報知を行う。パーソナルモードでは、制御部11は、発熱部133及び振動部132による報知を行う。スリープモードでは、制御部11は、発光部131及び発熱部133による報知を行うが、発光量はノーマルモードよりも小さく、また、発光部131、発熱部133及び振動部132による報知はタイムアウトで終了する。オリジナルモードでは、制御部11は、ユーザによって指示された報知動作の設定に従って、発光部131、発熱部133及び振動部132の少なくともいずれか1つによる報知を行う。
【0065】
<変形例9>
また、生体機器120,140の制御部11は、実施形態で例示したタイミングにおいてのみ何らかの報知動作を行うのではなく、これらの例示以外に、何らかのイベントがあるごとに報知動作を行ってもよい。
【0066】
<変形例10>
サーバ装置150の制御部31は、一方のユーザの生体情報を取得できない理由が、そのユーザのクライアント装置における電力残量または通信事情にある場合には、その理由を判別し、判別した理由を他方のユーザのクライアント装置に送信するようにしてもよい。具体的には、生体機器120,140の制御部11は、自装置における電力残量を監視しており、その電力残量が少なくなってきたときに、その旨を移動通信端末110,130経由でサーバ装置150に通知する。また、移動通信端末110,130の制御部31は、自装置における電力残量を監視しており、その電力残量が少なくなってきたときに、その旨をサーバ装置150に通知する。また、移動通信端末110,130の制御部21は、生体機器120,140と通信断になったときに、その旨をサーバ装置150に通知する。また、移動通信端末110,130の制御部21は、ネットワーク通信部24における受信電界強度が閾値を下回って、いわゆる圏外になる可能性が高いときにその旨をサーバ装置150に通知する。また、移動通信端末110,130の制御部21は、ネットワーク通信部24に対して通話の着信があったときにその旨をサーバ装置150に通知する。サーバ装置150の記憶部33には、図13に示すようなテーブルが記憶されており、制御部31は、上記のような各通知の内容と図13のテーブルの内容とに基づいて、一方のクライアント装置においてユーザの生体情報を取得できない理由を判別し、これを、コミュニケーションの相手方である、他方のクライアント装置に通知する。
さらに、制御部31は、ユーザの意図的な終了理由があってその旨がそのユーザの移動通信端末又は生成機器に入力された場合には、その旨をそのユーザの移動通信端末から受け取り、これをコミュニケーションの相手方であるクライアント装置に通知してもよい。
これらの通知を受け取ったクライアント装置は、発光部131、振動部132及び発熱部133を制御して所定の報知動作を行ったり、表示部26において所定の表示を行ったりする。
【0067】
<変形例11>
サーバ装置150の制御部31は、一のユーザの生体情報を取得できなくなってから各クライアント装置に対する動作指示の通知を行わなくなるまでの期間において、それぞれのクライアント装置との間の情報の遣り取りの状況に基づいて、ユーザ間の親密度を特定するようにしてもよい。例えば、制御部31は、コミュニケーションの終了をどちらのユーザから申し出たかとか、また、その申し出に対して相手がすぐに受け入れたか或いはコミュニケーションの継続を要求したかということを、上記の遣り取りから特定し、これに基づいて、互いに相手をどの程度想っているかを推定して親密度を特定する。より具体的には以下のとおりである。
サーバ装置150の記憶部33には、一のユーザから他のユーザに対する親密度を意味する親密度ポイントがあらゆるユーザの組み合わせごとに記憶される。親密度ポイントは、予め決められた初期値が設定されており、この初期値から、特定された親密度に応じて所定の値が加算又は減算される。例えば、サーバ装置150の制御部31は、生体情報を取得できなくなったほうのクライアント装置のユーザ(図11のステップS302参照、図11ではユーザB)を、コミュニケーションの終了を申し出たユーザとみなし、そのユーザ(ユーザB)から他のユーザ(コミュニケーションの相手方であるユーザA)に対する親密度ポイントの初期値から、所定値を減算する。また、サーバ装置150の制御部31は、その申し出に対して相手のユーザ(ユーザA)がすぐに受け入れなかった場合、つまり、図11のステップS308からS310までの報知動作に対して、ユーザ(ユーザA)がコミュニケーションを継続することを要求した場合には(ステップS311,S312)、そのユーザ(ユーザA)から他のユーザ(ユーザB)に対する親密度ポイントの初期値から、所定値を加算する。一方、サーバ装置150の制御部31は、その申し出に対して相手のユーザ(ユーザA)がすぐに受け入れた、つまり、図11のステップS308からS310までの報知動作に対して、ユーザ(ユーザA)がコミュニケーションを継続することを要求しなかった場合には、そのユーザ(ユーザA)から他のユーザ(ユーザB)に対する親密度ポイントの初期値から、所定値を減算する。制御部31は、上記のようにして求めた親密度を、それぞれ相手方のクライアント装置、または、双方のクライアント装置に伝える。
【0068】
<変形例12>
人間の生体状態には、実施形態で例示した心拍数や体温のほか、圧力、発汗、筋電、静電気などの、あらゆる生体の状態を含み得る。
また、実施形態では、言語を用いたコミュニケーションと、非言語的要素を用いたコミュニケーションの双方を利用可能であったが、非言語的要素を用いたコミュニケーションのみを利用可能としてもよい。
【0069】
<変形例13>
また、実施形態では、制御部31は、心拍周期を生体機器の発光部131による発光の点滅周期や振動部132による振動の周期にしていた。これに限らず、一方のクライアント装置は、脈拍のピーク間隔を計測し、その間隔をサーバ装置150経由でコミュニケーションの相手方のクライアント装置に伝え、相手方のクライアント装置では、伝えられた間隔を、発光部131の発光周期や振動部132による振動周期として用いてもよい。
サーバ装置150の制御部31は、一方のクライアント装置から得た生体情報に基づいて動作指示を生成し、これを他方のクライアント装置に通知していたが、一方のクライアント装置から得た生体情報をそのまま他方のクライアント装置に通知し、他方のクライアント装置が通知された生体情報から報知動作を決定して、その報知動作を行ってもよい。例えば、上記のように、一方のクライアント装置から脈拍のピーク間隔をサーバ装置150経由でコミュニケーションの相手方のクライアント装置に伝えられるような場合、相手方のクライアント装置では、伝えられた間隔を、発光部131の発光周期や振動部132による振動周期にするという報知動作を自ら決定していると言える。
また、実施形態では、発熱部133は、生体情報に含まれている温度そのものが発熱温度となるように発熱していたが、推定された心理状態のレベルに応じた発熱温度で発熱するようにしてもよい。
また、実施形態では、制御部31は、心拍数を含む生体情報とともに受信された加速度の平均値が閾値を超える場合には、心理状態レベルを「1」だけ引き下げていたが、加速度に基づいて推定される運動量のレベルを幾つかに分け、そのレベルに応じた値を心理状態レベルから減算するようにしてもよい。例えば加速度に基づいて推定される運動量が比較的高い場合は、心理状態レベルを「3」引き下げ、運動量が中程度の場合は、心理状態レベルを「2」引き下げ、運動量が比較的低い場合は、心理状態レベルを「1」引き下げるといった具合である。つまり、運動のレベルが高いほど大きな引き下げ量とするという考え方である。
【0070】
<変形例14>
実施形態では、2人のユーザの間でコミュケーションがとられる例を開示したが、コミュニケーションをとるユーザの数は、3人以上であってもよく、要するに、複数であればよい。つまり、1対1のユーザのコミュニケーションに限らず、1対複数のユーザのコミュニケーションに本発明を適用してもよい。
【0071】
<変形例15>
上述した実施形態における各プログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で、サーバ装置150、生体機器120,140及び移動通信端末110,130に提供し得る。この場合には、記録媒体を読み取るインターフェースをこれらのサーバ装置150、生体機器120,140及び移動通信端末110,130に設ければよい。また、ネットワーク経由でこれらのサーバ装置150、生体機器120,140及び移動通信端末110,130にダウンロードさせることも可能である。
【符号の説明】
【0072】
1・・・通信システム、110,130・・・移動通信端末、120,140・・・生体機器、150・・・サーバ装置、11・・・制御部、12・・・検出部、13・・・報知動作部、14・・・圧力検知部、15・・・近距離通信部、21・・・制御部、22・・・記憶部、23・・・近距離通信部、24・・・ネットワーク通信部、25・・・操作部、26・・・表示部、28・・・加速度検知部、31・・・制御部、32・・・ネットワーク通信部、33・・・記憶部
【技術分野】
【0001】
本発明は、人間のコミュニケーションを支援するための技術に関する。
【背景技術】
【0002】
人間のコミュニケーションを心理学的見地から見た場合、例えばジェスチャーといった視覚的要素や触れ合いといった触覚的要素などの非言語的要素が言語よりも重要であるという報告がある。このような非言語的要素を主としたコミュニケーションは、ノンバーバルコミュニケーションと呼ばれている。例えば特許文献1には、コンサート会場において、出演者や観客の生体情報を検出し、これらの検出結果から、そのコンサート会場全体の雰囲気を特定して出演者及び観客に伝えるための仕組みが開示されている。これにより、出演者及び観客で一体感を得ようというものである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−303722号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の技術は、不特定多数の人間によって形成された場の全体の雰囲気を特定し、それを共有しようというものであるから、前述したようなノンバーバルコミュニケーションを支援することを意図したものではない。
本発明の目的は、ノンバーバルコミュニケーションを支援することにある。
【課題を解決するための手段】
【0005】
上述の課題を解決するため、本発明は、互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、各々のユーザによって利用されるクライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあうユーザの前記クライアント装置に通知する通知手段とを備えることを特徴とするサーバ装置を提供する。
【0006】
前記生成手段は、前記特定手段によって特定された前記複数のユーザの前記クライアント装置から前記取得手段によってそれぞれ取得された生体情報に基づいて、各々の前記ユーザの心理状態を推定する心理状態推定手段と、前記心理状態推定手段によって推定された各々の心理状態が同期している度合いである同期度を推定する同期度推定手段とを備え、前記同期度推定手段によって推定された同期度に応じた前記動作指示を生成するようにしてもよい。
【0007】
前記同期度推定手段は、或る期間にわたって前記心理状態推定手段により繰り返し推定された心理状態の変化に基づいて前記同期度を推定するようにしてもよい。
【0008】
前記同期度推定手段は、前記或る期間のうち、決められた時点よりも新しい期間において前記心理状態推定手段により繰り返し推定された複数の心理状態と、前記決められた時点よりも古い期間を含む期間において前記心理状態推定手段により繰り返し推定された複数の心理状態とに対して、それぞれ異なる量の重み付けを行って前記同期度を推定するようにしてもよい。
【0009】
前記同期度推定手段は、複数の前記生体情報のサンプリングにより得られた統計結果を表すグラフにおいて一のユーザの前記生体情報が変化したときの当該変化前から当該変化後までの積分領域と、当該グラフにおいて他のユーザの前記生体情報が変化したときの当該変化前から当該変化後までの積分領域とを特定し、これらの積分領域が重なっている領域が大きいほど、同期の度合いが大きい同期度を推定するようにしてもよい。
【0010】
前記心理状態推定手段は、予め複数に区分された心理状態のレベルのうち、前記ユーザの心理状態が該当するレベルを推定し、前記同期度推定手段は、前記心理状態推定手段によって推定されたレベルの差が小さいほど、同期の度合いが大きい同期度を推定するようにしてもよい。
【0011】
前記心理状態推定手段は、前記生体情報と前記心理状態との対応関係を各々のユーザ単位で記憶しており、当該対応関係において、前記取得手段によってそれぞれ取得された生体情報に対応する心理状態を、各々のユーザの心理状態として推定するようにしてもよい。
【0012】
また、本発明は、複数のユーザによってそれぞれ利用される複数のクライアント装置と、サーバ装置とを備え、前記サーバ装置は、互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、各々のユーザの前記クライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあうユーザの前記クライアント装置に通知する通知手段とを備え、各々の前記クライアント装置は、自装置を利用するユーザの生体の状態を検出する検出手段と、前記検出手段によって検出された生体の状態に関する前記生体情報を前記サーバ装置に送信する送信手段と、前記サーバ装置から通知されてくる前記動作指示を受信する受信手段と、前記受信手段によって受信された動作指示に従って動作を行う動作手段とを備えることを特徴とする通信システムを提供する。
【0013】
また、本発明は、コンピュータを、互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、各々のユーザによって利用されるクライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあうユーザの前記クライアント装置に通知する通知手段として機能させるためのプログラムを提供する。
【発明の効果】
【0014】
本発明によれば、ノンバーバルコミュニケーションを支援することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態に係る通信システムの構成を示す図である。
【図2】生体機器、移動通信端末及びサーバ装置の構成を示すブロック図である。
【図3】通信システムの動作を示すシーケンスチャートである。
【図4】通信システムの動作を示すシーケンスチャートである。
【図5】コミュニケーションの開始時における通信システムの動作を示すシーケンスチャートである。
【図6】サーバ装置の制御部が行う動作指示生成処理の内容を示すフローチャートである。
【図7】生体情報の内容と動作指示の内容との対応関係を示す図である。
【図8】心理状態の推定に用いるグラフを示す図である。
【図9】同期度を推定するときのアルゴリズムを説明する図である。
【図10】同期度に基づく動作指示の内容を示す図である。
【図11】コミュニケーションの終了時における通信システムの動作を示すシーケンスチャートである。
【図12】同期度を推定するときのアルゴリズムの変形例を説明する図である。
【図13】生体情報が検出されなくなったときの理由を判別するときに用いるテーブルを示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について説明する。
<構成>
図1は、本発明の実施形態に係る通信システム1の構成を示す図である。通信システム1は、広範なエリアに設けられた移動通信ネットワーク100と、ユーザによって所持される移動通信端末110、130および生体機器120,140と、移動通信ネットワーク100に接続されたサーバ装置150とを備えている。移動通信端末110および生体機器120が連携することで、サーバ装置150に対するクライアント装置として機能する。同様に、移動通信端末130および生体機器140が、サーバ装置150に対するクライアント装置として機能する。これらのクライアント装置を利用する各ユーザ、つまり移動通信端末110および生体機器120を利用するユーザと、移動通信端末130および生体機器140を利用するユーザとは異なっている。これらのユーザがこの通信システム1を用いてお互いにコミュニケーションをとりあう。なお、通信システム1において、移動通信端末及び生体機器は多数存在し得るが、図1では、説明の便宜のため、それぞれ2つのみ図示している。
【0017】
移動通信ネットワーク100は、移動通信端末110,130に通話サービス及びデータ通信サービスを提供するネットワークである。この移動通信ネットワーク100は、自局の無線セル内に居る移動通信端末110,130と無線通信を行う基地局、網内で伝送されるデータのルーティングを行う交換局、及び移動通信端末110,130の位置登録などを行う制御局といった各種ノードと、これらのノード間を相互に接続する通信線とを備えている。移動通信端末110,130は、携帯電話機などの通信可能なコンピュータであり、移動通信ネットワーク100を介して他の移動通信端末との間で通話のための音声データを遣り取りしたり、移動通信ネットワーク100を介してサーバ装置150とデータ通信を行ったりする。また、移動通信端末110,130は、自端末とクライアント装置を構成する生体機器120,140との間で、例えばブルートゥース(登録商標)などの通信規格に従って無線通信を行う。この無線通信によって通信可能な距離は例えば数mなどの比較的近距離であるため、これを近距離通信と呼ぶ。これに対し、移動通信端末110,130が移動通信ネットワーク100を介して行う通信のことを、ネットワーク通信と呼ぶ。
【0018】
生体機器120,140は、ユーザが手で握ることができる程度の大きさであり、その筐体は例えばプラスチックなどの樹脂でハート型などの形状に成型されている。生体機器120,140は、ユーザの手に握られた状態で、そのユーザの心拍数や体温などの、人間の生体の状態(以下、生体状態という)を検出する。また、生体機器120,140は、コミュニケーションの相手方であるユーザの生体状態に応じた動作を行うようになっている。つまり、ユーザは、コミュニケーションの相手方となるユーザの生体状態を、自身が手に持っている生体機器の動作で認識することができるようになっている。この動作は、サーバ装置150によって指示されるものである。
【0019】
サーバ装置150は、移動通信ネットワーク100を介して移動通信端末110,130と通信を行うコンピュータである。このサーバ装置150は、クライアント装置とクライアント装置との間に介在して、ユーザのコミュニケーションを支援するための情報処理を行う。この通信システム1において、ユーザは、移動通信端末を用いて、他のユーザとの通話、つまり言語を用いたコミュニケーションをとることもできる一方、非言語的要素を用いたコミュニケーションもとることができる。すなわち、各々の生体機器120,140が、コミュニケーションの相手方となるユーザの心拍数と同期して点滅動作を行うなど生体状態に応じた動作を行うことで、各ユーザは相手方の存在感を感じつつ、コミュニケーションをとることができる。また、それぞれの生体状態から推定されるお互いのユーザの心理状態が同じようなレベルに達すると、生体機器120,140がその旨を報知し、ユーザどうしの一体感を演出することにより、コミュニケーションがさらに促進される。例えば、生体機器120,140がコミュニケーションの相手方となるユーザの心拍数と同期して点滅動作を行っているような場合において、その心拍数から推定されるユーザのリラックスまたは緊張の度合いがお互いにほぼ同じレベルになると、それぞれの生体機器120,140における点灯強度を大きくしたり点灯色を変化させたりするといった具合である。
【0020】
図2は、移動通信端末110、130、生体機器120,140、及びサーバ装置150の構成を示すブロック図である。生体機器120,140の構成は共通であり、移動通信端末110,130の構成は共通である。生体機器120,140は、制御部11と、検出部12と、報知動作部13と、圧力検知部14と、近距離通信部15とを備えている。制御部11は、CPU(Central Processing Unit)などの演算装置と、ROM(Read Only Memory)及びRAM(Random Access Memory)などの記憶装置、及び、EEPROM(Electronically Erasable and Programmable ROM)やバックアップ電源を備えたSRAM(Static Random Access Memory)などの書き込み可能な不揮発性記憶装置とを備えている。CPUがRAMをワークエリアとして用いてROMなどに記憶されたプログラムを実行することによって、生体機器120,140の各部の動作が制御される。制御部11の不揮発性記憶装置には、生体機器120,140が行う近距離通信の通信相手となる移動通信端末(生体機器120に対しては移動通信端末110、生体機器140に対しては移動通信端末130)の近距離通信部23に割り当てられた識別情報(例えばブルートゥースアドレスなど)が記憶されている。検出部12は、ユーザの生体状態を検出する。この検出部12は、例えばLED(Light Emitting Diode)から発せられた赤外線が生体で反射するときの反射光量の変動により心拍数を検出する心拍センサ121と、例えば熱電体を利用して生体表面の温度を検出する温度センサ122とを備えている。圧力検知部14は、生体機器120,140がユーザの手によって握られている否かを判断するために、例えばダイアフラムの変形量に基づいて自身に加えられた圧力を検出するダイアフラム型の圧力センサを備えている。近距離通信部15は、ブルートゥース(登録商標)などの通信規格に従って移動通信端末110,130と無線通信を行う。報知動作部13は、例えば赤、橙、黄、緑、青、藍、紫という7色で発光するLEDなどの発光部131と、例えば偏心カムを回転させたりピストンを往復運動させることで振動を発生させる振動部132と、例えば抵抗加熱方式により発熱する発熱部133とを有する。この報知動作部の発光、振動及び発熱動作によって、コミュニケーションの相手方となるユーザの生体状態に応じた報知が行われることになる。
【0021】
移動通信端末110,130は、制御部21と、記憶部22と、近距離通信部23と、ネットワーク通信部24と、操作部25と、表示部26と、音声入出力部27と、加速度検知部28とを備えている。制御部21は、CPUなどの演算装置と、ROM及びRAMなどの記憶装置とを備えている。CPUがRAMをワークエリアとして用いてROMや記憶部22に記憶されたプログラムを実行することによって、移動通信端末110,130の各部の動作が制御される。記憶部22は、書き込み可能な不揮発性の記憶手段であり、例えばEEPROM(Electronically Erasable and Programmable ROM)やバックアップ電源を備えたSRAM(Static Random Access Memory)である。近距離通信部23は、ブルートゥース(登録商標)などの通信規格に従って生体機器120,140の近距離通信部15と無線通信を行う。ネットワーク通信部24は、例えばIMT2000(International Mobile Telecommunication 2000)などの移動通信ネットワーク100が採用する通信規格に従って、移動通信ネットワーク100を介してサーバ装置150などと通信を行う。操作部25は、複数のキーやタッチスクリーンなどの操作子を備え、ユーザの操作に応じた操作信号を制御部21に供給する。制御部21は、この操作信号に応じた処理を行う。表示部26は、液晶パネルや液晶駆動回路を備えており、制御部21からの指示に応じて各種の情報を表示する。加速度検知部28は、例えばジャイロセンサを備えており、自端末に生じた加速度の大きさを検知する。音声入出力部27は、スピーカ、マイクロホン及び音声処理回路などを備えており、移動通信端末110,130に対して通話に係る音声の入出力を行う。
【0022】
サーバ装置150は、制御部31と、ネットワーク通信部32と、記憶部33とを備えている。制御部31は、CPUなどの演算装置と、ROM及びRAMなどの記憶装置とを備えている。CPUがRAMをワークエリアとして用いてROMや記憶部33に記憶されたプログラムを実行することによって、サーバ装置150の各部の動作が制御される。ネットワーク通信部32は、移動通信ネットワーク100を介して移動通信端末110,130と通信を行う。記憶部33は、書き込み可能な不揮発性の記憶手段であり、例えばハードディスクである。この記憶部33には、後述する動作を行うための手順が記述された管理プログラムと、ユーザから検出された生体の状態を表す生体情報の履歴などを含むユーザ管理データベースとを記憶している。ユーザ管理データベースにおいては、ユーザを識別する情報に対し、そのユーザの過去の生体情報の履歴や、さらには、その生体情報の代表的な値(例えば過去の心拍数の平均値)などが対応付けられている。ここで、ユーザを識別する情報としては、そのユーザが利用する移動通信端末110,130に割り当てられた識別情報(例えば移動通信端末に割り当てられた電話番号であり、以下、端末識別情報という)を用いる。
【0023】
<動作>
次に実施形態の動作を説明する。以下の説明において、移動通信端末110および生体機器120を利用するユーザをユーザAと呼び、移動通信端末130および生体機器140を利用するユーザをユーザBと呼ぶ。また、移動通信端末110,130、生体機器120,140及びサーバ装置150の各制御部11,21,31は、各々に記憶されているプログラムを実行することで以下の動作を行う。
【0024】
図3において、まずユーザAが移動通信端末110に対して所定の操作を行うと、移動通信端末110の制御部21はアカウント要求を生成し、これをネットワーク通信部24からサーバ装置150に送信する(ステップS1)。このアカウント要求には、移動通信端末110に割り当てられた端末識別情報が含まれている。サーバ装置150の制御部31は、アカウント要求がネットワーク通信部32によって受信されると、そのアカウント要求に含まれている端末識別情報をキーにしてユーザ管理データベースを検索して、ユーザAが正規に登録されたユーザであるか否かを確認する。そして、サーバ装置150の制御部31は、ユーザ名などのアカウントデータを含むアカウント許可をネットワーク通信部32から移動通信端末110に送信する(ステップS2)。移動通信端末110の制御部21は、ネットワーク通信部24がアカウント許可を受信すると、これに含まれるアカウントデータを表示部26に表示する(ステップS3)。
【0025】
さて、ユーザAが、移動通信端末110の操作部25を操作して、コミュニケーションをとる相手方、ここではユーザBの移動通信端末130の端末識別情報を指定して通信の開始を要求する(ステップS4)。そして、移動通信端末110の制御部21は、近距離通信部23を用いて生体機器120との間で通信路の確立処理を行う(ステップS5)。前述したとおり、移動通信端末110,130と生体機器120,140との間はそれぞれブルートゥース(登録商標)などの近距離通信によって接続されるが、一般にこの種の通信規格では、通信路を確立するまでに、通信相手を指定する作業が必要になるなどの、ユーザにとっての操作負担が大きい。そこで、本実施形態では、ユーザが生体機器120を握ったときの圧力を検出したことを契機として、生体機器120および移動通信端末110の間の通信路をこれらの装置間で自動的に確立するようにしている。具体的には、図5に示すような手順で生体機器120および移動通信端末110の間の通信路が確立される。
【0026】
図5において、生体機器120の制御部11は、圧力検知部14が閾値を超える大きさの圧力を検出すると(ステップS101;YES)、検出部12による生体状態の検出を開始させる(ステップS102)。そして、生体機器120の制御部11は、近距離通信の通信相手となる移動通信端末(ここでは移動通信端末110)の近距離通信部23に割り当てられた識別情報(例えばブルートゥースアドレスなど)を不揮発性記憶装置から読み出し、この識別情報を用い、自身の近距離通信部15と移動通信端末110の近距離通信部23との間で、通信規格に定められた手順で通信路を確立させる(ステップS103)。ただし、この時点では、生体機器120の制御部11は、通信相手を特定してその通信相手との間で通信路を確立したに過ぎず、近距離通信部15によって実際の通信が行われないように、近距離通信部15に対して動作制限をかけている。つまり、制御部11自身がこの動作制限を解除しない限り、制御部11は近距離通信部15を用いた通信を行わないようになっている。
【0027】
さて、生体機器120及び移動通信端末110の間で通信路が確立されると、生体機器120及び移動通信端末110は両者の間の通信路が確立したことをそれぞれ報知する(ステップS104,S105)。具体的には、生体機器120の制御部11は、発光部131から所定の色の光を発することで、この報知を行う。また、移動通信端末110の制御部21は、表示部26に所定のメッセージを表示することで、この報知を行う。次に、生体機器120の制御部11は、検出部12によって生体の状態が検出されているか否かを判断する(ステップS106)。ここでは、検出部12の検出不良によって実体がない生体状態が生成されることがあるので、それらを除くべく、生体状態を検出していると思われる程度の予め決まった範囲に収まる生体状態が検出されているか否かが判断される。例えば心拍数であれば、毎分30〜200の間に収まる場合には、生体状態が検出されていると判断される。
【0028】
生体機器120の制御部11は、ステップS104の報知がなされてから時間の計測を開始し、決められた時間が経過するまでの間に、検出部12によって生体状態が検出されたと判断した場合には(ステップS106;YES)、近距離通信部15の動作制限を解除し(ステップS107)、ステップS103にて確立した通信路を介した通信が可能な状態にする。一方、生体機器120の制御部11は、ステップS104の報知がなされてから、決められた時間が経過するまでの間に、検出部12によって生体状態が検出されなかったと判断した場合には(ステップS106;NO)、近距離通信部15に、既に確立している通信路を開放させ(ステップS108)、ステップS101の処理に戻る。
【0029】
さて、再び図3の説明に戻り、移動通信端末110の制御部21は、生体機器120との間で通信路が確立されると、移動通信端末130の端末識別情報を含む接続要求をネットワーク通信部24から送出する(ステップS6)。この接続要求はサーバ装置150のネットワーク通信部32によって受信される。サーバ装置150の制御部31は、この要求の送信元である移動通信端末110のユーザを、コミュニケーションをとりあうユーザの一方であることを特定し、この要求に含まれている端末識別情報の移動通信端末130のユーザを、コミュニケーションをとりあうユーザの他方であることを特定することになる。
【0030】
サーバ装置150の制御部31は、接続要求に含まれている端末識別情報の移動通信端末130に対してネットワーク通信部32から呼び出しを行う(ステップS7)。この呼び出しには、ユーザAの移動通信端末110の端末識別情報も含まれている。移動通信端末130の制御部21は、ネットワーク通信部24がこの呼び出しを受け取ると、生体機器140との間で通信路を確立する処理を行うとともに、移動通信端末130及び生体機器140は両者の間の通信路が確立したことをそれぞれ報知する(ステップS8)。具体的には、制御部21は、近距離通信の通信相手となる生体機器(ここでは生体機器140)の近距離通信部15に割り当てられた識別情報(例えばブルートゥースアドレスなど)を記憶部22から読み出し、この識別情報を用い、自身の近距離通信部23と生体機器140の近距離通信部15との間で、通信規格に定められた手順で通信路を確立する。このとき、近距離通信部23及び近距離通信部15の動作制限も解除される。移動通信端末130及び生体機器140の間で通信路が確立されると、移動通信端末130及び生体機器140は両者の間の通信路が確立したことをそれぞれ報知する。具体的には、生体機器140の制御部11は、発光部131から所定の色の光を発することで、この報知を行う。また、移動通信端末130の制御部21は、表示部26に所定のメッセージを表示することで、この報知を行う。
【0031】
移動通信端末130の制御部21は、移動通信端末130と生体機器140との間の通信路が確立すると、通信路が確立した旨の報告をネットワーク通信部24からサーバ装置150に対して送信する(ステップS9)。サーバ装置150の制御部31は、この報告をネットワーク通信部32が受信すると、移動通信端末110に対して、この報告をネットワーク通信部32から転送する(ステップS10)。移動通信端末110の制御部21は、ネットワーク通信部24がこの報告を受け取ると、移動通信端末130と通信を行う旨のメッセージを表示部26に表示する(ステップS11)。また、この報告は、移動通信端末110から生体機器120へも転送され(ステップS12)、生体機器120において、この報告に基づいた所定の報知が報知動作部13からなされる(ステップS13)。
【0032】
次に、サーバ装置150の制御部31は、動作の開始を通知する動作開始通知をネットワーク通信部32から各移動通信端末110,130に送信する(ステップS14,S15)。移動通信端末110,130の制御部21はネットワーク通信部24がこの動作開始通知を受け取ると、近距離通信部23から生体機器120,140に転送する(ステップS16,S17)。生体機器120,140の制御部11は、近距離通信部15がこの動作開始通知を受信すると、発光部131から所定の色の光を発して、ユーザに対し、生体情報を用いたコミュニケーションが開始されたことを通知する。
【0033】
さて、生体機器120,140の制御部11は、検出部12によって検出された生体状態を、サーバ装置150の制御部31が解釈可能なフォーマットに変換するなどして、その生体状態を表す生体情報を生成し、既に確立している通信路を介して近距離通信部15から移動通信端末110,130にそれぞれ送信する(ステップS18,19)。移動通信端末110,130の制御部21は、近距離通信部23がこの生体情報を受信すると、加速度検知部28によって検出された加速度を表す加速度情報をこの生体情報に付加して、ネットワーク通信部24からサーバ装置150に送信する(ステップS20,21)。
【0034】
サーバ装置150の制御部31は、ネットワーク通信部32が生体情報及び加速度情報を各移動通信端末110,130から受信することで、これらを取得する。そして、サーバ装置150の制御部31は、取得したこれらの情報に基づいて、生体機器120,140が行うべき報知動作の内容を指示する動作指示を生成する(図4のステップS22)。サーバ装置150の制御部31は、この動作指示生成処理を経て生成した動作指示を、ネットワーク通信部32から双方の移動通信端末110,130に対して送信する(ステップS23,24)。移動通信端末110,130の制御部21は、ネットワーク通信部24がこの動作指示を受信すると、近距離通信部23から生体機器120,140に転送する(ステップS25,26)。生体機器120,140の制御部11は、近距離通信部15がこの動作指示を受信すると、この動作指示によって指示された内容で報知動作部13を制御して、報知動作を行う(ステップS27,28)。
上記のようなステップS18〜ステップS28の処理は、生体機器120,140が生体情報を移動通信端末110,130に送信するたびに、繰り返し行われる。
【0035】
ここで、図6は、サーバ装置150の制御部31が動作指示を生成する手順を示したフローチャートである。この図に示した処理は、サーバ装置150においてネットワーク通信部32が移動通信端末110,130から生体情報及び加速度情報を受信するたびに実行される。図6において、制御部31は、ユーザ間のコミュニケーションが開始されたのち、各移動通信端末110,130からはじめて生体情報及び加速度情報を受信すると、これらを記憶部33のユーザ管理データベースに記憶したのち、まず、生体情報に基づいて動作指示を生成する(ステップS201)。このとき、制御部31は、ユーザAの生体情報に基づき、ユーザBの生体機器140に対する動作指示を生成し、一方、ユーザBの生体情報に基づき、ユーザAの生体機器140に対する動作指示を生成する。
【0036】
このときの生体情報の内容と動作指示の内容との対応関係は、図7に示すとおりである。制御部31は、生体情報に含まれている心拍数で60秒を除算した時間(心拍周期)を、生体機器120,140が備える発光部131による発光の点滅周期に決定する。また、制御部31は、生体情報に含まれている心拍数で60秒で除算した時間(心拍周期)を、生体機器120,140が備える振動部132による振動の周期に決定する。また、制御部31は、生体情報に含まれている温度を、生体機器120,140が備える発熱部133による発熱温度に決定する。制御部31はこのようにして決定した発光部131の点滅周期、振動部132の振動周期及び発熱部133による発熱温度を含む動作指示を生成する。
【0037】
次に制御部31は、ユーザ間のコミュニケーションが開始されてから、記憶部33のユーザ管理データベースに生体情報が十分に蓄積されたか否かを判断する(ステップS202)。ここでいう生体情報の十分な蓄積とは、次のステップS203でユーザの心理状態の推定を行うのに十分な量の生体情報という意味である。心理状態の推定には、時系列に繰り返し生成された複数の生体情報が必要であり、例えば、時間的に連続して生成された10回分の生体情報が必要とされる。制御部31が、移動通信端末110,130からはじめて生体情報及び加速度情報を受信した場合には、十分でないと判断され(ステップS202;NO)、図6の処理は終了する。そして、制御部31は、図4のステップS23,S24にて、各移動通信端末110,130に動作指示を送信して、生体機器による報知動作の内容を通知する。この動作指示は、移動通信端末110,130を介して生体機器120,140に届けられ、生体機器120,140の制御部11は、この動作指示に従って、発光部131の点滅周期、振動部132の振動周期及び発熱部133による発熱温度を制御する。
【0038】
さて、図6のステップS202にて、制御部31は、生体情報が十分に蓄積されたと判断した場合(ステップS202;YES)、各ユーザの心理状態を推定する。心理状態の推定アルゴリズムとしては様々なものを利用し得るが、ここでは、次のようなアルゴリズムを採用している。
【0039】
図8は心理状態を推定するときに用いる心拍数の分布を示す図である。図8に示すグラフがユーザ管理データベースに記憶されている。このグラフは、十分な数の被験者の心拍数をサンプリングし、それにより得られた統計結果を表したものであり、横軸が心拍数で、縦軸がサンプル数である。図8において心拍数の平均は65(回/分)であり、制御部31は、この平均値よりも心拍数が多くなると人間は緊張状態にあるとみなし、一方、平均値よりも心拍数が少なくなると人間はリラックス状態にあるとみなす。さらに、グラフ中の点線は、サンプル数の合計を心拍数の少ないほうから10%ずつで区切った線である。隣り合う点線の間に記した「1」から「10」までの数値は緊張又はリラックスの状態を予め複数に区分して数値化したものであり、「1」に近づくほどリラックスしており、「10」に近づくほど緊張しているという意味である。この数値を心理状態レベルという。図8の例では、例えば、心拍数が65(回/分)のときは心理状態レベルが「5」であり、心拍数が90(回/分)のときは心理状態レベルが「7」であり、心拍数が40(回/分)のときは心理状態レベルが「2」である。
【0040】
制御部31は、図8において、蓄積された各々の心拍数が該当する心理状態レベルを推定する。さらに、制御部31は、このようにして推定した心理状態レベルを、移動通信端末110,130から受信した加速度情報に応じて補正する。例えば移動通信端末110,130に生じる加速度が或る閾値を超える場合には、ユーザが走っているなどの運動を行っている可能性が考えられる。そこで、制御部31は、移動通信端末110,130から受信した加速度情報が示す加速度が、管理プログラムに記述されている閾値を超える場合には、前述したようにして推定した心理状態レベルから「1」を減じる。つまり、制御部31は、心拍数が65(回/分)であったとしても、それらの心拍数を含む生体情報とともに受信された加速度情報が示す加速度の平均値が閾値を超える場合には、心理状態レベル「5」から「1」を減じた「4」を最終的な心理状態レベルとして推定する。
【0041】
このようにして、制御部31は、生体情報及び加速度情報から心理状態レベルを特定する。例えば10個の生体情報の各々に含まれている心拍数が、65,65,65,65,60,60,55,55,55,50の場合で、且つ、いずれの加速度情報が示す加速度が閾値を超えない場合の心理状態レベルは、5,5,5,4,4,4,4,4,4,3になる、といった具合である。
【0042】
次に、制御部31は、各ユーザの心理状態レベルがどの程度同期しているかという同期度を推定する。図9は、各ユーザの心理状態レベルが時間とともに変化していく様子を示す図である。実線は、一方の利用者の心理状態レベルが上述したように、5,5,5,4,4,4,4,4,4,3というように変化した場合を示している。一方、点線は、他方の利用者の心理状態レベルが、8,8,7,6,5,4,4,4,4,2というように変化した場合を示している。制御部31は、コミュニケーションを取り合う各ユーザの心理状態レベルの差が小さいほど、心理状態の同期の度合いが大きいと推定する。
【0043】
ただし、制御部31は、心理状態レベルの同期度を推定するにあたって、対象期間が異なる2つの同期率を用い、且つ、この同期率の各々に対し、異なる重み付けを行う。まず1つ目の同期率は、ワイドレンジ同期率というものであり、既に蓄積されている全ての生体情報に含まれている心拍数がユーザ間でどの程度一致しているかを示す値である。制御部31は、このワイドレンジ同期率を、例えば、実線のグラフの積分値と点線のグラフの積分値とをそれぞれ算出し、両者のうち大きいほうの値で小さいほうの値を除算して得る。例えば、図9の例の場合、実線の積分値が38で、点線の積分値が47になるから、ワイドレンジ同期率は38/47≒81%である。もう1つの同期率は、トレンドレンジ同期率というものであり、時間軸上で新しいものから順に3個の心拍数がどの程度一致しているかを示す値である。制御部31は、このトレンドレンジ同期率を、ワイドレンジ同期率と同じように、実線のグラフの積分値と点線のグラフの積分値とをそれぞれ算出し、両者のうち大きいほうの値で小さいほうの値を除算して得る。例えば、図9の例の場合、実線の積分値が11.5で、点線の積分値が11になるから、ワイドレンジ同期率は11/11.5≒96%である。このように、制御部31は、時間軸上で新しいものから順に3個目の心拍数(生体情報)を取得した時点を、ワイドレンジ同期率とトレンドレンジ同期率とを区別する時点として予め決めておき、その時点よりも古い期間を含む期間において繰り返し推定された複数の心理状態レベルと、その時点よりも新しい期間において繰り返し推定された複数の心理状態レベルとを、同期度の推定に用いる。
【0044】
制御部31は、上記のようにして求めたワイドレンジ同期率及びトレンドレンジ同期率に対し、それぞれ異なる量の重み付けを行って同期度を求める。例えば、制御部31は、ワイドレンジ同期率×0.8+トレンドレンジ同期率×0.2という数式に基づき同期率を算出する。つまり、ワイドレンジ同期率に対する重み付け:トレンドレンジ同期率に対する重み付け=8:2である。上記の例の場合、制御部31は、81×0.8+91×0.2=64.8+18.2=83%という同期率を算する。制御部31はこのようにして求めた同期率に応じた動作指示を生成する。
【0045】
ここで、図10は、制御部31が同期率に応じた動作指示を生成するときに用いるテーブルを示している。このテーブルの内容は、管理プログラムに記述されている。制御部31は、このテーブルにおいて、求めた同期率に対応する動作指示を特定する。例えば、同期率が83%のときは、同期率70−90%の範囲に属するので、生体機器の発光部131の点灯色を赤色にする、発光部131の点灯強度を1.2倍にする、振動部132の振幅を1.2倍にする、という動作指示が生成され、これが図6のステップS201で生成された動作指示に付加されることになる。ここで、発光部131の発光強度と振動部132の振幅はそれぞれ基準となる大きさが決められており、発光部131の点灯強度が1.2倍とは、その基準となる発光強度の1.2倍という意味である。振動部132の振幅も同様である。
【0046】
動作指示が生成されると、図6の処理は終了する。そして、サーバ装置150の制御部31は、図4のステップS23,S24にて、各移動通信端末110,130に動作指示を送信して、生体機器による報知動作の内容を通知する。この動作指示は、移動通信端末110,130を介して生体機器120,140に届けられ、生体機器120,140の制御部11は、この動作指示に従って、発光部131の点滅周期、振動部132の振動周期及び発熱部133による発熱温度を制御する。
以上のようにして、遠隔に居るユーザどうし、例えば親子関係、友人関係或いは恋人関係にあるユーザが、お互いの生体の状態を生体機器120,140の報知動作によって認識することで、コミュニケーションの相手があたかも自らの傍に居るような感覚を得ることができ、これにより、今までないノンバーバルコミュニケーションが実現される。
【0047】
さて、前掲の図4において、最後に、コミュニケーションの終了の処理が行われる(ステップS29)。ここで、図11は、通信システム1においてコミュニケーションが終了するときの処理を示す図である。ここで、例えばユーザBの生体情報が検出できなくなった場合を想定する。この場合、ユーザBがユーザAとの間で生体情報を用いたコミュニケーションを止めようと考えて生体機器140を放置したというケースと、ユーザBは生体情報を用いたコミュニケーションを継続する気持ちはあるが、例えば別の作業を行うなどの理由により生体機器140を一時的に手離したというケースとが考えられる。サーバ装置150の制御部31は、生体情報を受信するたびに時間計測を開始し(ステップS301)、その次に生体情報を受信するとそれまでの計測時間をリセットして、再び新たな時間計測を開始する。つまり、ここで計測しているのは、サーバ装置150が生体情報を受信していない期間に相当する。ここで、計測時間がタイムアウトに到達した時点で、ユーザBの生体情報を受信できなかった場合(ステップS302)、サーバ装置150の制御部31は、まず、生体情報を送信してこない移動通信端末130及び生体機器140に対して、生体情報が未受信になっているときに行う動作を指示する未受信動作指示を送信する(ステップS303)。
【0048】
生体情報を送信してこない移動通信端末130及び生体機器140に対する未受信動作指示は、生体情報を受信しておらず、その生体情報の検出を促す旨を報知する動作を指示する第1報知情報である。この未受信時動作指示は、移動通信端末130を介して生体機器140に届けられ(ステップS304)、生体機器140の制御部11は、この動作指示に含まれている内容で動作するよう、発光部131、振動部132及び発熱部133を制御する(ステップS305)。この未受信動作指示には、さらに、移動通信端末130に対し、生体情報を受信していない旨を表示部26に表示する動作の指示が含まれていてもよい。ユーザBはこの報知を認識し、生体情報を用いたコミュニケーションを継続する気持ちがあれば、再び、生体機器140を手に持てばよいし、その気持ちがなければ、そのまま生体機器140を放置しておけばよい。
【0049】
さて、サーバ装置150の制御部31は、未受信動作指示を送信した後の或る時期(ここでは未受信動作指示の送信完了時期)を始期として時間計測を開始し(ステップS306)、移動通信端末130から生体情報を受信しないまま、閾値を超えるタイムアウトになると(ステップS307)、生体情報を送信してきていた移動通信端末110及び生体機器120に対して、コミュニケーションの相手方の生体情報が未受信になっているときに行う動作を指示する未受信動作指示を送信する(ステップS308)。生体情報を送信してきた移動通信端末110および生体機器120に対する未受信動作指示は、コミュニケーションの相手方のユーザの生体情報を受信しておらず、コミュニケーションの終了を予測する旨を報知する動作を指示する第2報知情報である。サーバ装置150の制御部31は、未受信動作指示を送信した後の或る時期(ここでは未受信動作指示の送信完了時期)を始期として時間計測を開始する(ステップS309)。
【0050】
この未受信時動作指示は、移動通信端末110を介して生体機器120に届けられ(ステップS310)、生体機器120の制御部11は、この動作指示に含まれている内容で動作するよう、発光部131、振動部132及び発熱部133を制御する(ステップS311)。この未受信動作指示には、さらに、移動通信端末110に対し、コミュニケーションの相手方のユーザの生体情報を受信していない旨を表示部26に表示する動作の指示が含まれていてもよい。ユーザAはこの報知を認識し、生体情報を用いたコミュニケーションを継続する気持ちがなければ、生体機器120を手放せばよい。
【0051】
一方、ユーザAが生体情報の遣り取りを継続する気持ちがあれば、ユーザAは生体機器120をさらに強い力で握るようにすればよい。生体機器120はその圧力を検知すると、圧力が増大した旨を移動通信端末110に通知し(ステップS312)、移動通信端末110はコミュニケーションの継続を要求するための継続要求をサーバ装置150に送信する(ステップS313)。サーバ装置150の制御部31は、ステップS309で計測を開始した時間がタイムアウトにならないうちに、この継続要求を受信すると、移動通信端末130に対して、継続要求時動作指示を送信する(ステップS314)。なお、サーバ装置150の制御部31は、ステップS309で計測を開始した時間が閾値を超えてタイムアウトになると、以降の処理を終了する。具体的には、制御部31は、移動通信端末110,130に対し、生体機器120,140との間の通信路を開放することを指示するとともに、サーバ装置150と移動通信端末110,130との間の通信路を開放する処理を行う。移動通信端末110,130の制御部21は、この指示に従って、生体機器120,140との間の通信路を開放する。
【0052】
また、ユーザAが生体情報の遣り取りを継続する気持ちがあって生体機器120を握り続けていれば、生体機器120はその旨を移動通信端末110に通知する。この通知に応じて、移動通信端末110は、コミュニケーションの継続を要求するための継続要求をサーバ装置150に送信する。サーバ装置150の制御部31は、ステップS309で計測を開始した時間がタイムアウトになった後であっても、上記のような生体機器120を握り続けていることに応じて送信されてくる継続要求を受信すると、ステップS314と同様に、移動通信端末130に対して継続要求時動作指示を送信する。この継続要求時動作指示は、コミュニケーションの相手方であるユーザAがコミュニケーションの継続を要求している旨を報知する動作を指示する第3報知情報である。この継続要求時動作指示には、さらに、移動通信端末130に対し、コミュニケーションの相手方であるユーザAがコミュニケーションの継続を要求している旨を表示部26に表示する動作の指示が含まれていてもよい。
【0053】
これらの継続要求時動作指示は、移動通信端末130を介して生体機器140に届けられ(ステップS315)、生体機器140の制御部11は、この動作指示に含まれている内容で動作するよう、発光部131、振動部132及び発熱部133を制御する(ステップS316)。ユーザBはこの報知を認識し、生体情報を用いたコミュニケーションを継続する気持ちがあれば、再び、生体機器140を手に持てばよい。サーバ装置150の制御部31は、継続要求時動作指示を送信してから時間計測を開始し(ステップS317)、閾値を超えてタイムアウトになると(ステップS318)、以降の処理を終了する(ステップS319)。具体的には、制御部31は、移動通信端末110,130に対し、生体機器120,140との間の通信路を開放することを指示するとともに、サーバ装置150と移動通信端末110,130との間の通信路を開放する処理を行う。移動通信端末110,130の制御部21は、この指示に従って、生体機器120,140との間の通信路を開放する。
【0054】
一方、サーバ装置150の制御部31は、継続要求時動作指示を送信してから時間計測を開始し、閾値を超えるタイムアウトにならないうちに、移動通信端末130から生体情報を受信すると、図4のステップS22の処理に戻る。
【0055】
以上の実施形態によれば、それぞれのユーザが利用する生体機器120,140によって生体状態が検出されると、互いの生体情報が移動通信端末110,130を介してサーバ装置150に送られ、さらに、その生体情報に応じた動作指示がサーバ装置150から移動通信端末110,130を介して、コミュニケーションの相手方となるユーザの生体機器120,140に伝えられる。そして、生体機器120,140はこの動作指示に応じた報知を行う。さらに、サーバ装置150は、ユーザの生体情報からそのユーザの心理状態を推定し、その心理状態が両者で一定の同期度に達すると、所定の報知を行うよう生体機器120,140に対して指示する、生体機器120,140はこの動作指示に応じた報知を行う。これにより、相手の温もりや心情を感じながらのコミュニケーションが可能となる。
また、長時間において心理状態が同期していることの指標となるワイドレンジ同期率と、短時間において心理状態が同期していることの指標となるトレンド同期率とを併用することで、心理状態の変遷をも加味した、心理状態の同期度の推定が可能となる。
また、ユーザが生体機器120,140を握ったことを契機として、生体機器120,140および移動通信端末110,130間の通信路を自動で確立しているので、ユーザにとって操作の手間がかからない。
また、ユーザが一時的に生体機器120,140を手離した場合であっても、ユーザがコミュニケーションを継続する意思があれば、そのコミュニケーションの再開を図ることができる。
【0056】
<変形例>
上述した実施形態は次のような変形が可能である。以下の変形例を互いに組み合わせて実施してもよい。
<変形例1>
実施形態では、生体機器と移動通信端末という2つの通信装置によって1つのクライアント装置を構成していた。これらの通信装置間の通信は、無線通信であっても有線通信であってもよい。また、クライアント装置とサーバ装置150との間のネットワークは、移動通信ネットワークに限らず、固定通信ネットワークであってもよいし、移動通信ネットワーク及び固定通信ネットワークの両者で構成してもよい。
また、クライアント装置は、生体機器と移動通信端末の機能を併せ持つ単体の装置であってもよいし、或いは、3つ以上の通信装置によって構成されていてもよい。
また、生体機器は、腕時計型などのウェアラブルな装置であってもよく、その場合、ユーザは生体機器を握るのではなく、生体機器の特定の部位を触れると生体機器が動作するようになっている。
【0057】
<変形例2>
図3において、移動通信端末110と生体機器120との間の通信路の確立は、ステップS4のコミュニケーションの相手が指定されてから行っていたが、これをステップS3の前や後に行ってもよい。つまり、移動通信端末110及び生体機器120は、まずお互いの通信路を確立してから、コミュニケーションの相手方となるユーザを指定する。具体的には、次のような手順となる。生体機器120の制御部11は、圧力検知部14が閾値を超える大きさの圧力を検出すると、検出部12による生体状態の検出を開始させる。そして、生体機器120の制御部11は、自身の近距離通信部15と移動通信端末110の近距離通信部23との間で、通信規格に定められた手順で通信路を確立する。そして、ユーザAが、コミュニケーションをとる相手方、ここではユーザBの移動通信端末130の端末識別情報を指定して通信の開始を要求する操作を行うと、移動通信端末110の制御部21は、移動通信端末130の端末識別情報を含む接続要求をネットワーク通信部24から送出する。
【0058】
<変形例3>
実施形態では、ユーザが生体機器120,140を握ったときの圧力をこれらの生体機器が検出して移動通信端末110,130との通信路を確立していた。このとき検出された圧力の大きさを、コミュニケーションの相手方となるユーザの生体機器120,140に対する動作指示に用いてもよい。このときの圧力の大きさは、例えばユーザの感情の指標として用いられる。例えば圧力が大きいときは、ユーザによって強く握られたときだから、強い感情であるとみなし、逆に、圧力が小さいときは、ユーザによって弱く握られたときだから、優しい感情であるとみなす。この場合、圧力の大きさを予め定めたレベル別に区分しておき、例えば、一方のユーザが強い圧力のレベルで握れば、コミュニケーションの相手方である他方のユーザのクライアント装置において赤い光で発光し、弱い圧力のレベルで握れば他方のユーザのクライアント装置において緑や青といった落ち着いた色で発光する。振動の大きさについても、同様に、圧力の大きさに応じてコミュニケーションの相手方であるユーザのクライアント装置において変化させるようにしてもよい。サーバ装置150の記憶部33には、圧力の大きさと報知動作とを対応付けたテーブルが記憶されており、制御部31は、このテーブルを参照して、一方のユーザのクライアント装置から通知された圧力の大きさから報知動作の内容を決定し、他方のユーザのクライアント装置に通知する。また、この圧力の大きさは、コミュニケーションの重要性ないし緊急性を相手方に通知するものであってよい。つまり、圧力が大きいときは、コミュニケーションの重要性ないし緊急性が高いとみなしてコミュニケーションの相手方である他方のユーザのクライアント装置において例えば赤い光で発光したり大きな振動を発生させ、逆に、圧力が小さいときは、コミュニケーションの重要性ないし緊急性が低いとみなしてコミュニケーションの相手方である他方のユーザのクライアント装置において例えば青い光で発光したり小さな振動を発生させる。
【0059】
サーバ装置150の記憶部33には、圧力の大きさと報知動作とを対応付けたテーブルが記憶されており、制御部31は、このテーブルを参照して、一方のユーザのクライアント装置から通知された圧力の大きさから報知動作の内容を決定し、他方のユーザのクライアント装置に通知する。具体的には以下のとおりである。
圧力の大きさに見合った点灯色および振幅がサーバ装置150の記憶部33に予め記憶されている。例えば、図3のステップS5にて、生体機器120と移動通信端末110との通信路を確立したとき、その生体機器120は検出した圧力の大きさを移動通信端末110に通知し、移動通信端末110は図3のステップS6の接続要求に、この圧力の大きさを含めてサーバ装置150に送信する。ステップS7にて、サーバ装置150の制御部31は、圧力の大きさに応じた点灯色と圧力の大きさに応じた振幅とを含む呼び出しを移動通信端末130に送信する。移動通信端末130の制御部21はステップS8にて、この接続要求に含まれている点灯色および振幅を生体機器140に伝え、生体機器140の制御部11は、ステップS9の報知処理においてこの点灯色で発光部131を点灯させ、且つ、この振幅で振動部132を振動させる。このようにすれば、ユーザが生体機器を握るときの強さを変えるだけで、そのユーザの感情、または、コミュニケーションの重要性ないし緊急性を相手に伝えることができる。
【0060】
<変形例4>
実施形態において、ユーザが生体機器120を握ったことを契機として、生体機器120および移動通信端末110の間の通信路を確立し(図5)、さらに、生体機器120において生体情報が生成されると、生体機器120からその通信路経由で移動通信端末110に生体情報が送信されていた(図3)。これを、ユーザが生体機器120を握り、且つ、生体機器120が生体情報を検出したという2つの条件充足を契機として、生体機器120および移動通信端末110間の通信路を自動で確立するようにしてもよい。このようにすれば、例えば生体機器120を鞄の中に入れておいたときに、生体機器120が鞄内の他の荷物からの接触を圧力として検出して移動通信端末110との通信路を確立しようとする、というような誤動作を防止することができる。
【0061】
<変形例5>
実施形態において、サーバ装置150の制御部31は、心理状態を推定するときに、図8に示すようなグラフを全ユーザについて共通して利用していたが、これを、図8に示すような生体情報と心理状態との対応関係として各々のユーザ単位で異なる内容を記憶部33に記憶しておき、制御部31は、その対応関係において受信された生体情報に対応する心理状態を、各々のユーザの心理状態として推定するようにしてもよい。例えば、制御部31は、ユーザの心拍数が検出されるたびに、その心拍数を図8に示すグラフに含まれるサンプル値の1つと入れ替えていき、最終的に、そのユーザから検出された心拍数のみによって、図8に示すようなグラフを生成するようにしてもよい。
また、制御部31は、図8のグラフにおいて心拍数の平均値がμのとき、その平均値μを、
μ=μ+(x-μ)×λ、
(ただし、xは検出された心拍数、λは1未満の定数)
という数式で変化させるようにしてもよい。
【0062】
<変形例6>
心理状態を推定するためのアルゴリズムは、実施形態で例示した内容に限らない。例えば、制御部31は心拍数の変動をパワースペクトル解析によって解析した結果から心理状態を推定してもよい。心拍数の変動に対するパワースペクトル解析結果は、3つの周波数成分に分けられることが知られている。1つ目は、VLF成分とよばれる低周波数成分(0-0.05Hz)、2つ目は、LF成分と呼ばれる中間周波数成分(0.05-0.20Hz)、3つ目は、H成分Fと呼ばれる高周波数成分(0.20-0.35Hz)である。HF成分は呼吸によって生ずる副交感神経活動によって影響を受ける。LF成分は交感神経と副交感神経活動によって影響を受ける。VLF成分は主として交感神経活動のほか、副交感神経活動により影響を受ける。LF成分とHF成分は交感神経機能の指標として用いられるから、制御部31は、X=f(LF成分、HF成分)、というLF成分及びHF成分の関数fに基づいて求めたXの大きさの大小で心理状態を推定するようにしてもよい。
また、サーバ装置150の制御部31は、一定期間あたりに計測された各脈拍数から、その期間における平均脈拍数を算出し、その平均脈拍数の大小によって心理状態を推定してもよい。
また、制御部31は、例えば心拍数、移動通信端末110,130における加速度情報、生体機器120,140において検知された圧力、移動通信端末110,130を用いた通話時の音声の解析結果なども加味して心理状態を推定するようにしてもよい。
【0063】
<変形例7>
同期度を推定するためのアルゴリズムは、実施形態で例示した内容に限らない。例えば、制御部31は、図8のような、複数の生体情報のサンプリングにより得られた統計結果を表すグラフにおいて、一のユーザの生体情報が変化したときの当該変化前から当該変化後までの積分領域と、同グラフにおいて他のユーザの生体情報が変化したときの当該変化前から当該変化後までの積分領域とを特定し、これらの積分領域が重なっている領域が大きいほど同期度が大きいと推定するようにしてもよい。例えば、図12に示す例では、或るユーザの生体情報が変化したときの当該変化前から当該変化後までの積分領域をA1とする。一方、その或るユーザとコミュニケーションをとっている他のユーザの生体情報が変化したときの当該変化前から当該変化後までの積分領域をA1’とする。この場合、積分領域A1と積分領域A1’とが重なる領域A1’’の大きさが同期度に応じたものとなる。この領域A1’’の大きさが、より大きいということは、両ユーザの心理状態の変化分の一致度が大きいということであるから、同期度もより大きくなる。
【0064】
<変形例8>
生体機器120,140に複数の動作モードを用意し、各動作モードで報知動作部13による報知動作の態様を変えるようにしてもよい。例えばノーマルモード、パーソナルモード、スリープモード及びオリジナルモードと呼ばれる4つの動作モードを用意する。各動作モードの切り替えは、生体機器120,140の圧力センサに対する加圧動作や、移動通信端末110,130における操作部25に対する操作などを用いて制御部11が行う。ノーマルモードでは実施形態と同じく、制御部11は、発光部131、発熱部133及び振動部132による報知を行う。パーソナルモードでは、制御部11は、発熱部133及び振動部132による報知を行う。スリープモードでは、制御部11は、発光部131及び発熱部133による報知を行うが、発光量はノーマルモードよりも小さく、また、発光部131、発熱部133及び振動部132による報知はタイムアウトで終了する。オリジナルモードでは、制御部11は、ユーザによって指示された報知動作の設定に従って、発光部131、発熱部133及び振動部132の少なくともいずれか1つによる報知を行う。
【0065】
<変形例9>
また、生体機器120,140の制御部11は、実施形態で例示したタイミングにおいてのみ何らかの報知動作を行うのではなく、これらの例示以外に、何らかのイベントがあるごとに報知動作を行ってもよい。
【0066】
<変形例10>
サーバ装置150の制御部31は、一方のユーザの生体情報を取得できない理由が、そのユーザのクライアント装置における電力残量または通信事情にある場合には、その理由を判別し、判別した理由を他方のユーザのクライアント装置に送信するようにしてもよい。具体的には、生体機器120,140の制御部11は、自装置における電力残量を監視しており、その電力残量が少なくなってきたときに、その旨を移動通信端末110,130経由でサーバ装置150に通知する。また、移動通信端末110,130の制御部31は、自装置における電力残量を監視しており、その電力残量が少なくなってきたときに、その旨をサーバ装置150に通知する。また、移動通信端末110,130の制御部21は、生体機器120,140と通信断になったときに、その旨をサーバ装置150に通知する。また、移動通信端末110,130の制御部21は、ネットワーク通信部24における受信電界強度が閾値を下回って、いわゆる圏外になる可能性が高いときにその旨をサーバ装置150に通知する。また、移動通信端末110,130の制御部21は、ネットワーク通信部24に対して通話の着信があったときにその旨をサーバ装置150に通知する。サーバ装置150の記憶部33には、図13に示すようなテーブルが記憶されており、制御部31は、上記のような各通知の内容と図13のテーブルの内容とに基づいて、一方のクライアント装置においてユーザの生体情報を取得できない理由を判別し、これを、コミュニケーションの相手方である、他方のクライアント装置に通知する。
さらに、制御部31は、ユーザの意図的な終了理由があってその旨がそのユーザの移動通信端末又は生成機器に入力された場合には、その旨をそのユーザの移動通信端末から受け取り、これをコミュニケーションの相手方であるクライアント装置に通知してもよい。
これらの通知を受け取ったクライアント装置は、発光部131、振動部132及び発熱部133を制御して所定の報知動作を行ったり、表示部26において所定の表示を行ったりする。
【0067】
<変形例11>
サーバ装置150の制御部31は、一のユーザの生体情報を取得できなくなってから各クライアント装置に対する動作指示の通知を行わなくなるまでの期間において、それぞれのクライアント装置との間の情報の遣り取りの状況に基づいて、ユーザ間の親密度を特定するようにしてもよい。例えば、制御部31は、コミュニケーションの終了をどちらのユーザから申し出たかとか、また、その申し出に対して相手がすぐに受け入れたか或いはコミュニケーションの継続を要求したかということを、上記の遣り取りから特定し、これに基づいて、互いに相手をどの程度想っているかを推定して親密度を特定する。より具体的には以下のとおりである。
サーバ装置150の記憶部33には、一のユーザから他のユーザに対する親密度を意味する親密度ポイントがあらゆるユーザの組み合わせごとに記憶される。親密度ポイントは、予め決められた初期値が設定されており、この初期値から、特定された親密度に応じて所定の値が加算又は減算される。例えば、サーバ装置150の制御部31は、生体情報を取得できなくなったほうのクライアント装置のユーザ(図11のステップS302参照、図11ではユーザB)を、コミュニケーションの終了を申し出たユーザとみなし、そのユーザ(ユーザB)から他のユーザ(コミュニケーションの相手方であるユーザA)に対する親密度ポイントの初期値から、所定値を減算する。また、サーバ装置150の制御部31は、その申し出に対して相手のユーザ(ユーザA)がすぐに受け入れなかった場合、つまり、図11のステップS308からS310までの報知動作に対して、ユーザ(ユーザA)がコミュニケーションを継続することを要求した場合には(ステップS311,S312)、そのユーザ(ユーザA)から他のユーザ(ユーザB)に対する親密度ポイントの初期値から、所定値を加算する。一方、サーバ装置150の制御部31は、その申し出に対して相手のユーザ(ユーザA)がすぐに受け入れた、つまり、図11のステップS308からS310までの報知動作に対して、ユーザ(ユーザA)がコミュニケーションを継続することを要求しなかった場合には、そのユーザ(ユーザA)から他のユーザ(ユーザB)に対する親密度ポイントの初期値から、所定値を減算する。制御部31は、上記のようにして求めた親密度を、それぞれ相手方のクライアント装置、または、双方のクライアント装置に伝える。
【0068】
<変形例12>
人間の生体状態には、実施形態で例示した心拍数や体温のほか、圧力、発汗、筋電、静電気などの、あらゆる生体の状態を含み得る。
また、実施形態では、言語を用いたコミュニケーションと、非言語的要素を用いたコミュニケーションの双方を利用可能であったが、非言語的要素を用いたコミュニケーションのみを利用可能としてもよい。
【0069】
<変形例13>
また、実施形態では、制御部31は、心拍周期を生体機器の発光部131による発光の点滅周期や振動部132による振動の周期にしていた。これに限らず、一方のクライアント装置は、脈拍のピーク間隔を計測し、その間隔をサーバ装置150経由でコミュニケーションの相手方のクライアント装置に伝え、相手方のクライアント装置では、伝えられた間隔を、発光部131の発光周期や振動部132による振動周期として用いてもよい。
サーバ装置150の制御部31は、一方のクライアント装置から得た生体情報に基づいて動作指示を生成し、これを他方のクライアント装置に通知していたが、一方のクライアント装置から得た生体情報をそのまま他方のクライアント装置に通知し、他方のクライアント装置が通知された生体情報から報知動作を決定して、その報知動作を行ってもよい。例えば、上記のように、一方のクライアント装置から脈拍のピーク間隔をサーバ装置150経由でコミュニケーションの相手方のクライアント装置に伝えられるような場合、相手方のクライアント装置では、伝えられた間隔を、発光部131の発光周期や振動部132による振動周期にするという報知動作を自ら決定していると言える。
また、実施形態では、発熱部133は、生体情報に含まれている温度そのものが発熱温度となるように発熱していたが、推定された心理状態のレベルに応じた発熱温度で発熱するようにしてもよい。
また、実施形態では、制御部31は、心拍数を含む生体情報とともに受信された加速度の平均値が閾値を超える場合には、心理状態レベルを「1」だけ引き下げていたが、加速度に基づいて推定される運動量のレベルを幾つかに分け、そのレベルに応じた値を心理状態レベルから減算するようにしてもよい。例えば加速度に基づいて推定される運動量が比較的高い場合は、心理状態レベルを「3」引き下げ、運動量が中程度の場合は、心理状態レベルを「2」引き下げ、運動量が比較的低い場合は、心理状態レベルを「1」引き下げるといった具合である。つまり、運動のレベルが高いほど大きな引き下げ量とするという考え方である。
【0070】
<変形例14>
実施形態では、2人のユーザの間でコミュケーションがとられる例を開示したが、コミュニケーションをとるユーザの数は、3人以上であってもよく、要するに、複数であればよい。つまり、1対1のユーザのコミュニケーションに限らず、1対複数のユーザのコミュニケーションに本発明を適用してもよい。
【0071】
<変形例15>
上述した実施形態における各プログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で、サーバ装置150、生体機器120,140及び移動通信端末110,130に提供し得る。この場合には、記録媒体を読み取るインターフェースをこれらのサーバ装置150、生体機器120,140及び移動通信端末110,130に設ければよい。また、ネットワーク経由でこれらのサーバ装置150、生体機器120,140及び移動通信端末110,130にダウンロードさせることも可能である。
【符号の説明】
【0072】
1・・・通信システム、110,130・・・移動通信端末、120,140・・・生体機器、150・・・サーバ装置、11・・・制御部、12・・・検出部、13・・・報知動作部、14・・・圧力検知部、15・・・近距離通信部、21・・・制御部、22・・・記憶部、23・・・近距離通信部、24・・・ネットワーク通信部、25・・・操作部、26・・・表示部、28・・・加速度検知部、31・・・制御部、32・・・ネットワーク通信部、33・・・記憶部
【特許請求の範囲】
【請求項1】
互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、
各々のユーザによって利用されるクライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、
前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、
前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあう他のユーザの前記クライアント装置に通知する通知手段と
を備えることを特徴とするサーバ装置。
【請求項2】
前記生成手段は、
前記特定手段によって特定された前記複数のユーザの前記クライアント装置から前記取得手段によってそれぞれ取得された生体情報に基づいて、各々の前記ユーザの心理状態を推定する心理状態推定手段と、
前記心理状態推定手段によって推定された各々の心理状態が同期している度合いである同期度を推定する同期度推定手段とを備え、
前記同期度推定手段によって推定された同期度に応じた前記動作指示を生成する
ことを特徴とする請求項1記載のサーバ装置。
【請求項3】
前記同期度推定手段は、或る期間にわたって前記心理状態推定手段により繰り返し推定された心理状態の変化に基づいて前記同期度を推定する
ことを特徴とする請求項2記載のサーバ装置。
【請求項4】
前記同期度推定手段は、前記或る期間のうち、決められた時点よりも新しい期間において前記心理状態推定手段により繰り返し推定された複数の心理状態と、前記決められた時点よりも古い期間を含む期間において前記心理状態推定手段により繰り返し推定された複数の心理状態とに対して、それぞれ異なる量の重み付けを行って前記同期度を推定する
ことを特徴とする請求項3記載のサーバ装置。
【請求項5】
前記同期度推定手段は、複数の前記生体情報のサンプリングにより得られた統計結果を表すグラフにおいて前記一のユーザの前記生体情報が変化したときの当該変化前から当該変化後までの積分領域と、当該グラフにおいて前記他のユーザの前記生体情報が変化したときの当該変化前から当該変化後までの積分領域とを特定し、これらの積分領域が重なっている領域が大きいほど、同期の度合いが大きい同期度を推定する
ことを特徴とする請求項2に記載のサーバ装置。
【請求項6】
前記心理状態推定手段は、予め複数に区分された心理状態のレベルのうち、前記ユーザの心理状態が該当するレベルを推定し、
前記同期度推定手段は、前記心理状態推定手段によって推定されたレベルの差が小さいほど、同期の度合いが大きい同期度を推定する
ことを特徴とする請求項2〜5のいずれか1に記載のサーバ装置。
【請求項7】
前記心理状態推定手段は、前記生体情報と前記心理状態との対応関係を各々のユーザ単位で記憶しており、当該対応関係において、前記取得手段によってそれぞれ取得された生体情報に対応する心理状態を、各々のユーザの心理状態として推定する
ことを特徴とする請求項2〜5のいずれか1に記載のサーバ装置。
【請求項8】
複数のユーザによってそれぞれ利用される複数のクライアント装置と、
サーバ装置とを備え、
前記サーバ装置は、
互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、
各々のユーザの前記クライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、
前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、
前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあう他のユーザの前記クライアント装置に通知する通知手段とを備え、
各々の前記クライアント装置は、
自装置を利用するユーザの生体の状態を検出する検出手段と、
前記検出手段によって検出された生体の状態に関する前記生体情報を前記サーバ装置に送信する送信手段と、
前記サーバ装置から通知されてくる前記動作指示を受信する受信手段と、
前記受信手段によって受信された動作指示に従って動作を行う動作手段とを備える
ことを特徴とする通信システム。
【請求項9】
コンピュータを、
互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、
各々のユーザによって利用されるクライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、
前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、
前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあう他のユーザの前記クライアント装置に通知する通知手段と
して機能させるためのプログラム。
【請求項1】
互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、
各々のユーザによって利用されるクライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、
前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、
前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあう他のユーザの前記クライアント装置に通知する通知手段と
を備えることを特徴とするサーバ装置。
【請求項2】
前記生成手段は、
前記特定手段によって特定された前記複数のユーザの前記クライアント装置から前記取得手段によってそれぞれ取得された生体情報に基づいて、各々の前記ユーザの心理状態を推定する心理状態推定手段と、
前記心理状態推定手段によって推定された各々の心理状態が同期している度合いである同期度を推定する同期度推定手段とを備え、
前記同期度推定手段によって推定された同期度に応じた前記動作指示を生成する
ことを特徴とする請求項1記載のサーバ装置。
【請求項3】
前記同期度推定手段は、或る期間にわたって前記心理状態推定手段により繰り返し推定された心理状態の変化に基づいて前記同期度を推定する
ことを特徴とする請求項2記載のサーバ装置。
【請求項4】
前記同期度推定手段は、前記或る期間のうち、決められた時点よりも新しい期間において前記心理状態推定手段により繰り返し推定された複数の心理状態と、前記決められた時点よりも古い期間を含む期間において前記心理状態推定手段により繰り返し推定された複数の心理状態とに対して、それぞれ異なる量の重み付けを行って前記同期度を推定する
ことを特徴とする請求項3記載のサーバ装置。
【請求項5】
前記同期度推定手段は、複数の前記生体情報のサンプリングにより得られた統計結果を表すグラフにおいて前記一のユーザの前記生体情報が変化したときの当該変化前から当該変化後までの積分領域と、当該グラフにおいて前記他のユーザの前記生体情報が変化したときの当該変化前から当該変化後までの積分領域とを特定し、これらの積分領域が重なっている領域が大きいほど、同期の度合いが大きい同期度を推定する
ことを特徴とする請求項2に記載のサーバ装置。
【請求項6】
前記心理状態推定手段は、予め複数に区分された心理状態のレベルのうち、前記ユーザの心理状態が該当するレベルを推定し、
前記同期度推定手段は、前記心理状態推定手段によって推定されたレベルの差が小さいほど、同期の度合いが大きい同期度を推定する
ことを特徴とする請求項2〜5のいずれか1に記載のサーバ装置。
【請求項7】
前記心理状態推定手段は、前記生体情報と前記心理状態との対応関係を各々のユーザ単位で記憶しており、当該対応関係において、前記取得手段によってそれぞれ取得された生体情報に対応する心理状態を、各々のユーザの心理状態として推定する
ことを特徴とする請求項2〜5のいずれか1に記載のサーバ装置。
【請求項8】
複数のユーザによってそれぞれ利用される複数のクライアント装置と、
サーバ装置とを備え、
前記サーバ装置は、
互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、
各々のユーザの前記クライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、
前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、
前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあう他のユーザの前記クライアント装置に通知する通知手段とを備え、
各々の前記クライアント装置は、
自装置を利用するユーザの生体の状態を検出する検出手段と、
前記検出手段によって検出された生体の状態に関する前記生体情報を前記サーバ装置に送信する送信手段と、
前記サーバ装置から通知されてくる前記動作指示を受信する受信手段と、
前記受信手段によって受信された動作指示に従って動作を行う動作手段とを備える
ことを特徴とする通信システム。
【請求項9】
コンピュータを、
互いにコミュニケーションをとりあう複数のユーザを特定する特定手段と、
各々のユーザによって利用されるクライアント装置から、当該ユーザの生体の状態に関する生体情報を取得する取得手段と、
前記特定手段によって特定された前記複数のユーザのうち、一のユーザの前記クライアント装置から前記取得手段によって取得された生体情報に応じた動作を行うよう指示する動作指示を生成する生成手段と、
前記生成手段によって生成された動作指示を、前記一のユーザとコミュニケーションをとりあう他のユーザの前記クライアント装置に通知する通知手段と
して機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−64018(P2012−64018A)
【公開日】平成24年3月29日(2012.3.29)
【国際特許分類】
【出願番号】特願2010−208192(P2010−208192)
【出願日】平成22年9月16日(2010.9.16)
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Fターム(参考)】
【公開日】平成24年3月29日(2012.3.29)
【国際特許分類】
【出願日】平成22年9月16日(2010.9.16)
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Fターム(参考)】
[ Back to top ]