バイオセンサ・デバイス及び方法
本発明は、一方の手の2本の指の間に保持するか、又はそれ以外の方法でユーザの皮膚上で2点と接触する携帯型ハンドヘルド・バイオセンサ・デバイスに関する。センサ・デバイスは、1対の導電性又は半導電性電極と、電極間における皮膚の電気コンダクタナスを検知し、増幅し、ディジタル化するように設計されている関連回路とを含む。本デバイスは、更に、血液酸素増量及び皮膚温度を含む、別の生物計測値を指から検知するように構成することができる。ディジタル化した生物計測値を、ワイヤレスで(又はUSBケーブルのような、直接ワイヤ接続を通じて)計算デバイスに送信し、このデータを利用して、不安フィードバック又は娯楽を提供するソフトウェア・アプリケーションにおいて制御パラメータを発生する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般的には、生物計測(バイオメトリック)センサに関し、更に特定すれば、ストレス管理及び娯楽用途に用いて好適なバイオフィードバック方法及びデバイスに関する。
なお、本願は、2007年2月16日に出願した米国仮特許出願第60/901,733号の優先権を主張する。この出願をここで引用したことにより、その開示内容全体が本願にも含まれるものとする。
【背景技術】
【0002】
生物信号の測定及び分析、並びにそれらの心理学的プロセスとの相関の調査には、長い歴史がある。19世紀後半における皮膚電気現象に関する先駆的な研究から、1950年台における精神医学及び犯罪学への幅広い応用まで、その装置、方法、及び理論は、実務者(practitioner)がポリグラフやオシロスコープというような計器を、個人の精神的状態の評価のための標準的ツールとして採用するところまで進歩した。
【0003】
1960年代において、皮膚電気アクティビティ(活動)のような、生理的信号によるフィードバックの理論及び実践が、流行の研究分野となった。バイオフィードバックとは、心理物理的情報を人に意識させるプロセスであり、これを用いると、主に無意識に規制が行われるプロセスを、彼らの直接的(意識した)制御下に置くことができる。この研究は、研究室から生まれ、人々が彼ら自身の自宅で治療用心理学的ツールとして用いることができる、市販の製品という形態で市場に投入された。
【0004】
初期のバイオフィードバック・デバイスは、比較的単純であり、フィードバック信号は、一般に、画面上におけるオシロスコープのドット位置、又はオーディオ・トーンのピッチによって表されていた。家庭用コンピュータの処理能力及びグラフィック能力の進歩により、1980年台の初期までには、ユーザに提供されていたフィードバックを、遥かに豊富なコンテキストで表現して、治療用製品及び消費者用製品双方において用いることができるようになった。
【0005】
最近になって、診療用及び商用双方の設定としたバイオフィードバック・デバイスの使用が増大しており、とりわけ、不安、不眠、及び注意力欠如障害(ADHC)のための治療に広く応用されている。また、ストレス管理のためのバイオフィードバック製品もいくつか市場に現れている。現在の都市生活に伴うストレスを軽減することは、社会全体の健康には重要であり、したがって、これらの製品は、人が彼らの精神的及び肉体的健康状態を監視し改善するのを支援するに当たって、有用な役割をはたしている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
従前からのバイオフィードバック・システムは、通常、テープ又は何らかの種類の接合体(binding)によってユーザに取り付けられていた。更に、従前のシステムは、大きく、重く、配線のために携行できない構成となっており、ユーザは、満足感を味わえる体験が得られず、再度利用したいとも感じなかった。加えて、人の生理機能の変動により、生物計測信号は、母集団全体について精度高く測定し追跡することが難しく、有用なフィードバックを個人毎に提供することが難しい。当技術分野においては、ストレス、及びそれに伴う、身体に対する有害な影響を軽減する有効な方法をユーザに提供する、移動可能で、人間工学的な効率を考え、審美上心地よい、娯楽及び高精度バイオフィードバック・システムが求められている。
【課題を解決するための手段】
【0007】
本発明の一態様では、審美的に楽しく、平均的なユーザが日常の設定で使い易い人間工学的なバイオセンサを提供する。ユーザがセンサと物理的に相互作用する様式は、本デバイスの大きな利点である。例えば、デバイスはワイヤレスであり、ユーザの親指と人差し指との間に納まるサイズになっている。本発明の一実施形態は、第1及び第2面を有する筐体を含み、これらの表面は、生物計測信号を検出するのに適した電極となっている。前述のように、筐体は、1つの手の指先(親指と他のもう1本の指)を第1及び第2導電面上に置いたときに、快適にしかも簡単に保持できるように、人間工学的に設計されている。
【0008】
別の態様では、本発明は生物計測装置に関する。この装置は、筐体を含み、筐体は、第1面と、皮膚電気信号を検出するように構成されている第2面と、処理エレメント又はフィルタ・エレメントのようなエレメントとを有する。エレメントは、第2面と電気的に通信しており、筐体内に配置されている。エレメントは皮膚電気信号をフィルタ処理するように構成されている。
【0009】
本装置の一実施形態では、第1面及び第2面は同一である。別の実施形態では、第1面及び第2面の各々は導電性電極である。皮膚電気信号は、第1周波数成分と第2周波数成分とを含むことができる。第1周波数成分は、皮膚電気レベルを含むことができる。第2周波数成分は、皮膚電気応答を含むことができる。更に、本装置は、筐体内に配置した送信機も含むことができる。送信機は、皮膚電気信号を送信するように構成されている。一実施形態では、処理エレメントはディジタル信号プロセッサである。筐体の一部は、形状が実質的に涙滴型、丸型、球状、円筒状、角張った形状、均整の取れた形状、及び/又は不規則な形状とすることができる。
【0010】
更に別の態様では、本発明は、生物計測パラメータの測定方法に関する。この方法は、信号を受信するステップであって、信号が皮膚電気レベル部と皮膚電気応答部とを備えている、ステップと、信号から皮膚電気レベル部をフィルタによって除去するステップとを含む。一実施形態では、フィルタによって除去するステップは、適応プロセスを用いて、実質的に連続的に行われる。更に、本方法は、制御可能システムに入力を発生するステップを含むこともできる。加えて、制御可能システムは、ゲーム、玩具、シミュレーションした実体、遠隔制御、視覚ディスプレイを有する計算デバイス、携帯用デバイス、ハンドヘルド・デバイス、ゲーム・コンソール、及び家庭用娯楽システムから選択される。
【0011】
更に別の態様では、本発明は、生物計測装置に関する。この装置は、第1電極及び第2電極であって、皮膚組織から信号を受けることができる程度に十分導電性がある又はそれ以外の方法で皮膚組織から信号を受けるように構成されている第1及び第2電極と、少なくとも1つの電極と電気的に通信する増幅器であって、前記信号を受信し第1信号部及び第2信号部を有する増幅信号を送信する増幅器と、増幅器と電気的に通信するフィルタであって、増幅信号を受信し、第1信号部を送信するように構成されているフィルタと、前述のフィルタ及び増幅器と電気的に通信し、第1信号部に応答して処理信号を発生するように構成されているプロセッサと、処理信号に応答してデータを送信するように構成されている送信機とを含む。一実施形態では、フィルタ、増幅器、及び電極はアナログ的に動作する。一実施形態では、本装置は、更に、プロセッサと電気的に通信する少なくとも1つの変換器を含み、この変換器は、プロセッサに達する前にアナログ信号をディジタル信号に変換するように構成されている。送信機は、一実施形態では、ワイヤレス送信機である。
【0012】
更にまた別の態様では、本発明は、適応生物計測測定を行う方法に関する。この方法は、使用期間の間ユーザの皮膚を連続的に(又は周期的に)監視するステップと、使用期間中にユーザの皮膚からデータを受信するステップと、ユーザの不安度に関する相対的ストレス傾向を特定するステップであって、相対的ストレス傾向をユーザの不安度に応答して判定するステップとを含む。更に、本方法は、ユーザが所定の時間期間不安度を維持した場合、カウンタをリセットするステップも含むことができる。更に、本方法は、ストレス傾向の変化を用いて、娯楽プログラム又は自助プログラムを制御するステップも含むことができる。娯楽プログラム又は自助プログラムは、ゲームとすることができる。また、娯楽プログラム又は自助プログラムは、計算デバイス又は計算デバイスのネットワーク上において多数のユーザの同時参加を含むことができる。
【0013】
一実施形態では、ユーザは、予め指定した目標を協同で達成するように、彼/彼女の個々の不安度に同様の傾向を呈する。別の実施形態では、ユーザの不安度の経時的変化が、自律的エージェント(autonomous agent)の1つ以上の性質、自律的エージェントの健康度を、ユーザの不安度に応じて判定することができる。自律的エージェントは、玩具とすることができる。自律的エージェントをコンピュータによって発生することができる。自律的エージェントは、生かし続けるためにはユーザが規則的な間隔で、リラクゼーションとともに「給餌」(feed)しなければならない仮想ペットとすることができる。
【0014】
一実施形態では、生物計測デバイスの最も長い寸法の長さは、約1cm〜約6cmの範囲にすることができる。好適な実施形態では、デバイスの最も長い寸法は、約3cm〜約5cmの範囲にすることができる。特に好適な一実施形態では、デバイスの長さは約5cmであり、幅は約3cmである。デバイスの重量は、約10g〜約50gの範囲にすることができる。別の実施形態では、筐体は涙滴状の外形を有し、1つ以上の外装又は筐体面によって形成することができる。更に別の実施形態では、筐体内にワイヤレス送受信機を内蔵する。
【0015】
本発明の一態様では、1つの筐体内において、個別に又は同時に、生物物理データのリアルタイム変換、調整、ディジタル化、及び送信のための電子回路を内蔵することができ、限定ではないが、検流計、脈拍酸素濃度計、及び熱電対を含む。
【0016】
本発明の別の態様では、筐体内に配置され、ユーザの皮膚電気活動(「EDA」)によってユーザのストレス・レベルの尺度を抽出するのに実質的に最適化した電子回路を含む。この回路は、自動的に皮膚電気信号から皮膚電気レベル(「EDL」)をフィルタで除去することにより、皮膚電気応答(「EDR」)をより高い分解能に増幅できるように構成されている。EDLは個人間でのばらつきが大きく、EDRは主要な対象信号であり、EDLを除去することによって、同じ手順による広範囲の種類の皮膚を処理し易くなる。更に、本発明のある実施形態では、特定のEDRイベントの抽出ではなく、連続的適応測定によって、皮膚電気信号から不安度を抽出する。
【0017】
本発明の更に別の態様では、制御可能システムに入力を発生する。制御可能システムは、ゲーム、玩具、コンピュータ、可搬/ハンドヘルド・デバイス、又は家庭用娯楽システムを含むことができる。このデバイスの一実施形態は、連続適応フィードバック・ループの一部を形成することができ、制御可能システムは、ユーザの生物計測信号の変動及び/又はそれから抽出される特徴に応答して、デバイスのパラメータを適応させることができる。ユーザの生物計測データから特徴を抽出するために用いられるディジタル信号処理は、デバイス上で実行することができる。このデバイスの更に別の実施形態では、ディジタル信号処理は、制御可能システム上で実行することができる。制御可能システム及びデバイスは、ワイヤレス・リンクを通じてデータを交換することができる。
【0018】
別の態様では、本発明は、可搬型生物計測装置に関する。この装置は、第1面を有する筐体と、生物計測信号を変換する検知エレメントと、筐体内に配置された電子回路であって、変換信号を増幅、フィルタ処理、及びディジタル化するように構成されている回路とを含む。検知エレメントは、皮膚電気信号を変換する。一実施形態では、筐体は第2面及び第3面を有する。検知エレメントは、第2面及び第3面を備えることができる。一実施形態では、第2及び第3面は、ユーザの一方の手の親指の指先と他の指の指先とによって、それぞれ、同時に接触するように、第1面に対して位置付けられている。
【0019】
一実施形態では、第1及び第2面は、ユーザが快適に保持できるように、人間工学的に位置決めすることができる。第1及び第2面は、筐体の対向する側面上に平行に位置付け、親指の指先と人差し指の指先との間に快適に保持することができる。一実施形態では、検知エレメントは、血液ヘモグロビンの酸素飽和、皮膚温度の一方又は双方を変換するように構成されている。更に、本装置は、筐体内に配置した送信機を含むことができ、この送信機はディジタル化した信号を送信するように構成されている。送信機は、ワイヤレス送信機又は有線送信機とすることができる。ワイヤレス送信機は、IR及びRF送信機の一群から選択することができる。
【0020】
別の態様では、本発明は生物計測システムに関する。このシステムは、クライアント・デバイスを含む。クライアント・デバイスは、生物計測装置の送信機からデータを受信することができるクライアント受信機と、クライアント受信機と通信するクライアント・プロセッサであって、クライアント・アプリケーション・プログラムを実行し、クライアント・アプリケーション・プログラムが生物計測装置から受信したデータを利用する、クライアント・プロセッサとを含む。本システムは更に、生物計測装置と通信する生物計測装置受信機と、クライアント・プロセッサと通信するクライアント送信機とを含むことができ、クライアント送信機は制御情報をクライアント・プロセッサから生物計測装置受信機に送信する。一実施形態では、クライアント・プロセッサは、ディジタル信号分析器を含み、ディジタル信号分析器はクライアント受信機と通信する。
【0021】
更に別の実施形態では、クライアント・プロセッサは、ディジタル信号分析器と通信するクライアント・アプリケーション・プロセッサと、クライアント・アプリケーション・プロセッサと通信する双方向可視化エンジンとを含む。一実施形態では、本システムは、適応閉フィードバック・ループであり、その中でクライアント・アプリケーションはディジタル信号分析器の出力を利用して生物計測装置の電気特性を適応させ、生物計測信号の最適な検知を達成する。本システムに関して、一実施形態では、クライアント・プロセッサは、ゲーム・コンソール、玩具、コンピュータ、携帯用デバイス、ハンドヘルド・デバイス、又は家庭用娯楽システムである。
【0022】
別の態様では、本発明は可搬型生物計測装置に関する。この装置は、絶縁材料から成る筐体と、筐体内に配置された電源と、筐体付近に配置された第1電磁波送信面と、筐体付近に配置された第1電磁波受信面であって、筐体の一部によって第1送信面から絶縁されている第1受信面と、筐体内に配置され、電源と第1電磁波受信面及び第1電磁波送信面双方と電気的に通信する検知エレメントとを含む。第1波送信面は、表面電極とすることができ、第1波受信面は表面電極とすることができる。第1波送信面は、光源を含むことができ、第1波受信面は光検出器を含むことができる。第1波受信面は、温度センサを含むことができる。一実施形態では、第1波送信面は、皮膚と接触しているとき、皮膚電気信号を検知エレメントに送信する。
【0023】
別の態様では、本発明は生物計測センサに関する。生物計測センサは、人間工学的な形状をなすデバイス筐体であって、ユーザの手の第1指と第2指との間に納まる形状とした筐体と、第1指に接触するように筐体付近に配置された第1センサ面と、第2指に接触するように筐体付近に配置された第2センサ面と、筐体内に配置され、第1センサ面及び第2センサ面と電気的に通信する信号受信エレメントであって、ユーザの生理的特性を検知するように設計された受信エレメントとを含む。一実施形態では、第1指は親指であり、第2指は人差し指である。センサ面は、筐体の対向する面に配置することができる。センサ面は、実質的に互いに平行であり、互いから離れて対向することができる。筐体は、実質的に涙滴形状をなすことができる。生物計測センサは、更に、受信した生物計測信号を増幅、フィルタ処理、又はディジタル化する回路を含むことができる。筐体の最も内外寸法は、約1cm〜約6cmの範囲にすることができる。
【0024】
別の態様では、本発明は生物計測装置に関する。この装置は、第1電極及び第2電極であって、第1及び第2電極は皮膚電気活動を変換できる程に十分な導電性があり、筐体に近接して配置されている、第1電極及び第2電極と、第1及び第2電極と電気的に通信する増幅器であって、変換した信号を増幅するように構成されている増幅器と、増幅器と通信する変換器であってアナログ信号をディジタル信号に変換する変換器と、変換器と電気的に通信し、ディジタル化したデータのフローを制御するプロセッサであって、筐体内に配置されているプロセッサと、プロセッサが発生するデータを送信するように構成されている送信機とを含む。
【0025】
一実施形態では、送信機はワイヤレス送信機とすることができる。更に、生物計測装置は、皮膚電気信号の位相成分を皮膚電気信号の強壮成分よりも多く通過させるフィルタを含むことができる。プロセッサは、皮膚電気信号の強壮成分の経時的変化を追跡するようにプログラミングすることができる。更に、本装置は、プロセッサと通信する検出エレメントを含むことができる。一実施形態では、検出エレメントは、光検出器、熱電対、温度センサ、及び血液酸素レベル・センサから成る一群から選択する。データは、クライアント計算デバイスに送信することができる。クライアント計算デバイスは、限定ではないが、パーソナル・コンピュータ、ハンドヘルド・デバイス、移動体電話機、家庭用娯楽システム、ゲーム・コンソールを含み、クライアント・デバイスは、ユーザ・データの処理、及びユーザに対する視聴覚提示の大部分を実行する。
【0026】
別の態様では、本発明は、皮膚電気信号からユーザの不安度を判定する方法に関する。この方法は、ユーザから皮膚電気データを受信するステップと、データをフィルタ処理して高周波成分を除去するステップと、フィルタ処理したデータの傾斜を計算するステップと、フィルタ処理したデータを閾値と比較するステップと、閾値以内のイベント数を蓄積するステップと、所与の時間期間において蓄積したイベントの数を判定するステップとを含む。更に、この方法は、イベントの数に応答して、制御可能システムに入力を発生するステップを含むことができる。高周波成分は、皮膚電気応答に対応することができる。
【0027】
本発明の種々の実施形態及び態様は、集団のコンテキストにおいて用いられる複数の生物計測センサを伴う実施形態に関する。
【0028】
別の態様では、本発明は、ユーザのグループに接続されている2以上のバイオセンサと通信するソフトウェア・アプリケーションに関し、各ユーザには、グループの集計生物計測性質と相関付けられた視聴覚フィードバックが与えられる。このソフトウェア・アプリケーションは、二人以上のユーザ(「グループ」)をサポートすることができ、各ユーザのバイオ信号を、1つ以上のバイオセンサによって検知する。各バイオセンサの出力は、グループの集計生物的性質を表す値に寄与することができる。本アプリケーションは、多数の計算デバイス上で走ることができ、アプリケーションの各インスタンスは、1つ以上のバイオセンサと通信する。
1つ以上の表示装置(presentation device)が、グループに表現(リプレゼンテーション)を供給することができ、この表現は、各ユーザの生物計測データから抽出した集計計量値と相関付けられている。一実施形態では、視覚表現はアニメーションであり、アニメーションの状態は、集計計量値によって決定される。
【0029】
別の実施形態では、生物計測装置は、以下の生理的プロセスの1つ以上を変換することができる。皮膚電気活動、血液ヘモグロビンの酸素飽和、皮膚温度、脳電気活動、心臓電気活動、筋肉電気活動。共通表現は、アニメーションとすることができる。一実施形態では、前述のアプリケーションは、グループの生物計測データの集計から抽出した、グループの状態の一側面の表現を供給する。表現は、グループの総合的なストレス/リラックス・レベルを反映することができる。ストレス/リラックス・レベルは、ユーザ毎に抽出することができ、既定範囲における目盛り数値に対応付けることができる。更に、目盛り数値は、0〜100までの範囲とすることができ、0は最小のストレスを表し、100は最大のストレスを表す。一実施形態では、グループ・リラックス・レベルは、個々のリラックス値の和である。グループ・リラックス・レベルは、グループ内の個々のユーザの最小値とすることができる。更に、グループ・リラックス・レベルは、グループ内の個々のユーザの最大値となるように取り込むことができる。別の実施形態では、グループ・リラックス・レベルは、経時的な個々のユーザのリラックス・レベルの関数である。
【0030】
一実施形態では、前述のアプリケーションは、巨大マルチプレーヤ・オンライン仮想世界の一実施形態であり、仮想環境における複数のプレーヤが一緒にリラックスし、環境内において協同目標を達成することができる。前述のアプリケーションは、精神健康介護現場におけるグループ不安管理システムの一部とすることができる。本アプリケーションは、企業の設定において用いるためのリラックス/チーム−構築ツールとすることができる。本アプリケーションは、学校又は大学の教室における教育設定においてリラックス及び協同を促進するツールとすることができる。
【0031】
本発明の種々の実施形態及び態様は、生物計測信号によって制御する人工知能及び仮想ペットを伴う実施形態に関する。
【0032】
別の態様では、本発明は、バイオセンサと通信する仮想エージェント・アプリケーションを含むシステムに関する。このシステムは、以下のコンポーネントを有する。すなわち、人の身体からの生理的パラメータを変換するバイオセンサ、バイオセンサ・デバイスとの通信リンクを有するデバイスCPU上で実行するソフトウェア・アプリケーション、生物計測データ・ストリームのディジタル分析を実行し、データ・ストリームからユーザの心理的状態の計量値を抽出することができる、アプリケーション内における信号処理コンポーネント、アプリケーション内にあり、信号処理ユニットから入力を受け取る仮想エージェント・シミュレーション・コンポーネント、仮想エージェントの視覚表現の更新を管理するアニメーション・マネージャ・コンポーネント、及び仮想エージェントのアニメーションをユーザに表示する視覚表示コンポーネントである。
【0033】
仮想エージェントは、シミュレーションによる仮想生物とすることができる。仮想生物は、規則的な間隔でバイオセンサを通じてユーザと相互作用することを仮想生物に要求する内部ドライブを有する。生物の内部状態は、メモリに格納され、ユーザ・セッションの間で存続する。一実施形態では、生物は空腹に相当する内部ドライブを有し、バイオセンサを通じてユーザによる「給餌」を要求するように生物を駆動する。仮想生物の状態は、ユーザの生物計測「給餌」によって修正され、仮想生物の経時的な健康は、これら給餌セッションの規則性を反映する。一実施形態では、クライアント・デバイスは、パーソナル・コンピュータ、移動体電話機、PDA、ゲーム・コンソール、セット・トップ・ボックス、家庭用娯楽システムとすることができる。
【0034】
更に、クライアント・デバイスは、生物計測センサと、グラフィカル・ディスプレイ・デバイスとを一体筐体内意含むことができる。前述のエージェントは、異なるクライアント・デバイス間、例えば、移動体デバイスからPCにその状態を転送する能力を所有することができる。仮想エージェントは、ロボット・デバイス内に具体化することができ、その振る舞い(挙動)は、生物計測入力に対する渇望を含む内部状態を反映する。
【図面の簡単な説明】
【0035】
本発明のこれらの実施形態及びその他の態様は、以下の詳細な説明及び添付図面から容易に明らかとなろう。これらは本発明を例示することを意図するのであって、限定することを意図するのではない。図面において、
【図1】本発明の一実施形態によるセンサの上面図である。
【図2】本発明の一実施形態によるセンサの斜視図である。
【図3】A及びBはそれぞれ、本発明の一実施形態によるセンサの使用中の図である。
【図4】本発明の一実施形態によるセンサのコンポーネントの一部の分解図である。
【図5】A及びBはそれぞれ、本発明の一実施形態によるセンサの代替実施形態を示す図である。
【図6】本発明の一実施形態によるセンサのアーキテクチャ例のブロック図である。
【図7】本発明の一実施形態によるセンサの回路の模式図である。
【図8】本発明の一実施形態による皮膚電気活動から皮膚電気レベルを除去する回路の模式図である。
【図9】本発明の一実施形態による、クライアントとセンサとの間における通信フローのブロック図である。
【図10】本発明の一実施形態による適応信号処理アルゴリズムのブロック図である。
【図11】本発明の一実施形態によるアプリケーション・アーキテクチャのブロック図である。
【図12】本発明の一実施形態による協同リラックス・アプリケーションのブロック図である。
【図13】本発明の一実施形態による協同リラックス・ネットワーク構造のブロック図である。
【図14】本発明の一実施形態による協同リラックスを有する娯楽アプリケーションのクライアント・サーバ・アーキテクチャのブロック図である。
【図15A】本発明の一実施形態による可搬型GSRバイオセンサ及び移動体デバイス仮想ペットを示すブロック図である。
【図15B】本発明の一実施形態による簡略仮想生物の内部状態のフローを示すブロック図である。
【図16】本発明の一実施形態による仮想エージェント・モデル・アーキテクチャのブロック図である。
【図17】本発明の一実施形態による信号データからキャラクタ挙動へのマッピングを示すブロック図である。
【発明を実施するための形態】
【0036】
本発明は、以下の詳細な説明を通じて一層深く理解できるであろう。詳細な説明は、添付図面と関連付けて読むとよい。本発明の詳細な実施形態を、本明細書では開示するが、開示する実施形態は本発明の単なる例示であり、本発明は種々の形態で具現化できることは言うまでもない。したがって、本明細書において開示する具体的な機能の詳細は、限定的に解釈するのではなく、特許請求の範囲のための基本であり、そして、しかるべく詳細に説明した実施形態であれば事実上いずれにおいても本発明を様々に用いるように当業者に教示するための代表的な基礎として解釈すべきである。
【0037】
種々の生物計測測定値をバイオフィードバック用途において用いることができ、生物計測測定値には皮膚電気活動、血液酸素増量(blood oxygenation)、皮膚温度が含まれる。これら3つの生物計測測定値は、被験者の指紋、又はユーザの皮膚とのその他の接触点から変換することができる。しかしながら、哺乳類の生理機能と関連のある電気信号であって、2つの電極によって測定することができるのであれば任意のものを、センサが用いるためのフィードバックを提供するために用いることができる。
【0038】
皮膚電気活動(「EDA」)は、皮膚表面内又は皮膚表面上で御今割れる生物化学的プロセス及び生理的プロセスから生ずる電気的性質を記述する。EDAは、検流計を用いて計測することができ、その一実施形態は、皮膚表面上にある2つの部位間に一定電圧を印加し、これらの間を流れる電流を測定することによって動作し、電気コンダクタンスを計算する。この計測の時間に対するグラフは、2つの構成要素を有する。即ち、低周波数「強壮」(tonic)成分(皮膚電気レベル(「EDL」とも呼ばれる)、及びそれよりも高い周波数の「位相」(phasic)成分(皮膚電気応答(「EDR」とも呼ばれる)である。強壮成分の振幅は、個人間で大きく異なり、皮膚が環境における変化に順応して恒常性状態を達成するにしたがって経時的にゆっくりと変動する。位相成分ストレスが多い状況に対する個人の心理−肉体的反応に相関付けられるので、こちらの方が一般に関心が高い。
【0039】
血液酸素増量は、本明細書において用いる場合、酸素で飽和した被験者のヘモグロビンの割合を指す。酸素増量のレベルは、被験者の心拍数と関係があり、一方、心拍数は被験者のストレス・レベルと相関付けられる。血液酸素増量は、脈拍酸素濃度計を用いて計測することができ、この場合、2つの発光ダイオードからの光を、指紋の組織間を通過させる。各周波数において吸収される光の量は、組織内におけるヘモグロビンの酸素増量の度合いに依存する。光検出器は、出現光の量を計測し、これから酸素増量の度合いを推論することができる。つまり、本明細書において記載するセンサは、実施形態によっては、血液酸素増量を計測することもできる。
【0040】
皮膚温度も、心拍数、したがってストレスと相関付けられる。皮膚温度は、熱電対を用いて計測することができる。このデバイスの動作は、熱勾配を受けるいずれの導電体も電圧を発生するという事実、即ち、シーベック効果として知られている現象に基づいている。つまり、本明細書において記載するセンサは、実施形態によっては、皮膚温度を計測することができる。
【0041】
これより図1に移ると、本発明の一実施形態によるセンサS1の外観が示されている。センサS1は、平坦な「涙滴」形状の外装1を有し、2つの電極2、3(図示せず)が、このデバイスの対向する側面上に配置されている。オン/オフ・スイッチ4及び2つのインディケータ・ライト5、6が、デバイスのステータス(例えば、デバイスはオンかオフか、充電中か、又は低電力オン状態か)に関する情報を提供し、外装1の上面に配置されている。コネクタ7が、涙滴形状の底面に位置する。このコネクタによって、デバイスを外部電源から充電すること、又はファームウェア及びソフトウェア更新を受信することが可能になる。主要アセンブリは、(1)2つの指先間における皮膚電気活動を計測しディジタル化し、(2)得られたデータ・ストリームをワイヤレスで、リアルタイムに、PC又は移動体電話機のようなクライアント計算デバイスに伝達するために必要となる電子コンポーネント全てを収容する。また、筐体すなわち外装は、充電可能バッテリも収容し、デバイスの可搬性を高める。
【0042】
センサS2の一実施形態の別の図を図2に示す。図示のように、センサS2は、2つの接触面2、3(図示せず)を有する涙滴状筐体を含むが、他の筐体設計も可能である。センサ・デバイスS2は、人間工学的及び審美的に快適であり、使用し易いように構成されている。従前からの実務者向けのバイオフィードバック機器は、比較的用いるのが厄介である。このようなデバイスは、湿性電極(即ち、効率的に動作するために導電性ゲル又は液体の塗布を必要とする電極)を頻繁に用いる。通例、このような湿性電極は、ワイヤによって別個の電子回路ユニットに接続される。対照的に、本発明のある種の実施形態のセンサS2は、小型、可搬型、そしてワイヤレスである。この進んだ設計により、ユーザを有線接続の制限から解放し、計算プラットフォーム(例えば、PC/Mac、移動体電話機、PDA、ゲーム・コンソール、又はセット・トップ・ボックス)の異質な混成でそれを用いることを可能にする。更に、本発明の実施形態は、乾性電極2、3を利用して、ゲル又は液体による事前準備の必要性を解消する。電極は、適した2−D又は3−D外形であればいずれでも有することができる。この実施形態の形状係数により、デバイスを指間に保持するときに、最適な使用の快適さが得られる。また、筐体外装1は、審美的に楽しい「涙滴」形状を有し、消費者用製品を製造するときに、大量市場で人目を引くという利点がある。しかしながら、2つの分離した導電面を含む筐体であれば、いずれでも、しかるべき測定回路と共に用いることができる。
【0043】
図3のA及びBは、図1に示した実施形態をユーザが保持した場合の図を示す。図示のように、センサS3には、指に接続するワイヤを通じて主要アセンブリに取り付けられる電極がなく、代わりにアセンブリのいずれかの側面に2つの電極を設け、同じ手の親指32と他の1本の指33との間にユニット全体を快適に保持することができるように構成されている。デバイスの保持方法は、黙想姿勢に類似しており、例えば、親指と人差し指の先端が接触してループを形成する。図3のBに、電極3B双方の位置が示されている。
【0044】
図4は、本発明の一実施形態によるバイオセンサ・デバイスS4のコンポーネントの分解図を示す。このデバイスは、2つの保持リング9、10、2つの電極2、3、筐体を形成する2つの主要外装コンポーネント11、12、プリント回路ボード(「PCB」)13、及びバッテリ14を含んでいる。
【0045】
一実施形態によれば、PCB13に内蔵されている電子回路は、2つのモジュールに再分割することができる。即ち、用途特定アナログ・フロント・エンド、及び用途独立ディジタル/ワイヤレス・バック・エンドである。一般に、アナログ回路の役割は、生物計測信号を変換し、次いでそれを調整して(増幅、フィルタリング等により)、ディジタル化に適した形態となるようにすることである。アナログ回路は、必然的に用途特定的となる。何故なら、異なる生物計測学はそれらの特性が大きく変動するからである。しかしながら、ディジタル/ワイヤレス・モジュールは、適宜調整した広範囲の様々なアナログ生物計測信号に跨って再利用可能に設計されている。一実施形態では、このモジュールは用途独立性が非常に高い。例えば、センサ電子回路についての以下の論述ではEDAセンサに照準を当てるが、同じ設計のパラダイムは、本発明の範囲から逸脱することなく、他の生物計測信号を計測するためにも用いることができることは、当業者には認められてしかるべきである。例えば、酸素濃度計を用いた脈拍数測定、熱電対を用いた温度測定も実施することができ、この場合、対応する信号を検知し調整するために必要なアナログ回路は、その特定の用途に合わせて構成される。ある種の実施形態では、2つ以上の測定を1つのデバイスに組み込んだ実施態様も可能である。
【0046】
図5のA及びBは、センサS5の別の実施形態を示し、筐体34が円盤形状となっている。円形ディスク電極35が筐体の上面付近に配置され、第2電極36がセンサS5の側壁に沿って巻き付いている。使用時には、図5のBに示すように、ユーザは親指32を上位電極上に載せて、第2の指33をディスク・センサ33の側壁に沿って巻き回す。尚、本明細書において記載する実施形態の筐体形状は限定ではないことは、当業者には明らかであろう。例えば、筐体は、2つの電極が手の異なる指の間に保持されて、有意なバイオ信号測定を行うことができるのであれば、任意の形状でよい。一般に、2つの独立した導電面を有する3−D筐体トポロジであれば、任意のものを種々のセンサ実施形態において用いることができる。
【0047】
図6は、本発明の一実施形態によるセンサ電子回路の上位アーキテクチャを示している。このアーキテクチャは、アナログ・モジュール15と、ディジタル/ワイヤレス・モジュール16とを含む。アナログ・モジュール15は、電極2、3、増幅器17、及びフィルタ18を含む。センサの電子回路は、2つの電極2、3間における皮膚の導電性変化を測定する。また、この回路は測定パラメータを適応的に調節して、ユーザのEDLの変動を追跡し、どのように生物計測をサンプリングするか制御する。更に、この回路は、サンプル及び制御信号の双方をワイヤレスで、処理のためにクライアント計算デバイスに伝達、即ち、送信する。
【0048】
前述のように、アナログ・モジュール15は用途特定的であり、測定するバイオ信号に依存する場合がある。以下の論述では、測定するバイオ信号が皮膚電気応答である場合の実施形態について詳細に説明するが、本発明の真の技術的範囲及び思想から逸脱することなく、他のバイオ信号測定も実施できることは、当業者には明らかであろう。
【0049】
図7は、本発明の一実施形態によるアナログ回路の一部の回路模式図を示す。アナログ回路は、センサ筐体内に内蔵されているPCB13(図4)の中に位置する。電極からの信号は、第1センサ・ピン24及び第2センサ・ピン25において発生する。皮膚電気測定は、体外(exosomatic)(即ち、外部電圧を皮膚に印加する)で行われ、実施形態によっては、電極間に電圧を印加する必要がある。第1レベル近似では、ある一定の入力電圧範囲内において、電極間における皮膚の電気インピーダンスは可変オーム要素と考えることができる。この抵抗要素のコンダクタンスを測定する際の最初のステージは、一定電圧を皮膚電極間に印加することである。
【0050】
この一定電圧を、分圧器26を介して一定励起27によって供給する。増幅段17は、非反転演算増幅器(「オペアンプ」)28を利用して実装する。増幅器の利得は、飽和せずに信号をできるだけ大きく増幅するように、利得抵抗器29によって設定する。一実施形態では、マイクロプロセッサ22は、ある範囲の抵抗値から選択することによって、オペアンプ利得を制御することができる。電極からの増幅信号は、次に、フィルタ段18を通される。一実施形態によれば、殆どの皮膚電気活動では、対象となる周波数帯域は約0.5〜5Hzの間に位置する。フィルタ段階18は、主要部(mains)(50/60Hz)干渉のような外部信号を排除することによって、信号を対象周波数範囲に絞り込む。尚、アナログ−ディジタル変換器(「ADC」)20(図6)の入力において、適宜に調整した信号を得るためには、演算増幅器、分圧器、及びその他の電気コンポーネントの他の構成を実装してもよいことは、当業者には認められるであろう。
【0051】
先に詳細に説明したように、皮膚電気活動は、通常、2つの成分−強壮「基準線」レベル及び重ね合わせた位相応答を含むように記述されている。実際には、位相要素は、通常、強壮レベルと比較して小さい振幅変動を呈する。したがって、強壮成分及び位相成分を一緒に増幅すると、位相成分に対する測定分解能が著しく低下し、その結果大きな測定誤差が生ずる可能性がある。増幅の前に、位相変動を強壮レベルから分離することによって、バイオフィードバック及び分析のために最も関連のある信号成分の測定精度を著しく高めることが可能になる。
【0052】
ディジタル/ワイヤレス・モジュール16(図6)の一実施形態では、この分離を達成するために、マイクロプロセッサ22を用いてディジタル−アナログ変換器(「DAC」)21の出力を制御することによって、励起電圧27を変動させる。皮膚に印加する励起を与えることに加えて、DAC21の出力電圧を(分圧器を介して)作動オペアンプ30(図7)の負入力に印加する。直前のオペアンプ段28からの出力電圧を、作動オペアンプ30の正入力に印加すると、測定したEDAから励起電圧の比例量が減算され、これによって信号の強壮成分を低減する。2つのオペアンプ28、30を組み合わせた伝達特性は、電圧制御増幅器のそれとなり、制御電圧はDAC21によって供給される。このように、DAC21の出力電圧を変動させることによって、皮膚電気信号が大きい場合には出力の飽和を防止するために全体的な利得を下げ、皮膚電気信号が弱い場合には増大させて、信号対ノイズ比を向上させることができる。
【0053】
DAC21の電圧を適応させるためのアルゴリズムは、バイオセンサのオンボード・マイクロプロセッサ22において、又はクライアント・デバイス上で走る信号処理ルーチンにおいて、というように種々の方法で実現することができるが、これらに限定されるわけではない。後者は、柔軟性の向上に対応する。フィードバック・ループ19(図6)が形成され、ユーザの変化する皮膚電気活動に連続的に適応し、増幅器に渡される信号における強壮(tonic)レベルを最小限に抑え、位相成分の測定値の分解能を最大に高める。
【0054】
図8には、本発明の一実施形態が示されており、位相変動を強壮レベルから分離するための適応型ホイートストーン・ブリッジ回路38が実装されている。回路38は、ソフトウェア制御によってユーザの皮膚のコンダクタンスの強壮レベルを測定するように、連続的に適応することができる。アナログ設計の全体的なアーキテクチャは、図6に示す実施形態とほぼ同一であるが、ホイートストーン・ブリッジ回路36がセンサ・ピン24、25と増幅器17との間に挿入されている。ホイートストーン・ブリッジの1本のアームは、電圧制御抵抗器31(オーム領域において動作するようにバイアスされた接合型電界効果トランジスタ(JFET))となっている。一実施形態では、制御電圧は、マイクロプロセッサの制御下にある出力レベルを有するDACによって供給することができる。動作において、マイクロプロセッサはDAC電圧を様々に変化させて(これによって、電圧制御抵抗が変動する)、できるだけ多くの強壮レベルを信号から減算する。
【0055】
本発明の一実施形態によれば、図6に示すように、ディジタル/ワイヤレス・モジュール16は、4つの主要コンポーネント、即ち、ADC20、マイクロプロセッサ22、DAC21、及びワイヤレス通信モジュール23を含む。一実施形態では、個々の集積回路(「IC」)間の通信は、シリアル・バスを通じて行われる。本発明の範囲から逸脱することなく、モジュール16の異なる実施態様を利用することもできる。例えば、各コンポーネントは、専用集積回路によって実現することができ、あるいは2つ以上の機能を1つのICに組み合わせることもできる。ワイヤレス・コントローラ23は、オンボード・マイクロプロセッサを有するBluetoothモジュール、又は他のいずれのワイヤレス通信規格でもよい。モジュールにカスタム・ファームウェア・アプリケーションを用いることにより、モジュールのマイクロプロセッサ上に余分な処理容量を備えておき、外部プロセッサの必要性を回避して、(こうしなければ余分な回路のために必要となる)センサ筐体内の貴重な空間を節約することができる。実施形態によっては、ディジタル/ワイヤレス・モジュール16はオンボードDAC21も備え、オンボードDAC21は、他のディスクリート・コンポーネントを実施態様から排除するために用いることができる。外部ICを排除することにより、電力の節約、及び回路ボード・フットプリントの縮小が得られる。
【0056】
一実施形態では、独立したIC間におけるデータ通信は、シリアル・バスによって実現する。一実施形態では、集積回路間(「I2C」)規格を利用する。このような実施態様では、各ICを個別にアドレスすることができ、双方向線を通じてデータを送信及び受信することができる。シリアル・バスの帯域幅は、皮膚電気測定に必要な帯域幅よりも遥かに高い。
【0057】
ディジタル/ワイヤレス・モジュール16のADC20は、アナログ回路15の出力電圧をサンプリングし、各サンプルを特定のビット分解能に量子化する。一実施形態では、位相信号の最大周波数は約5Hzであり、毎秒10サンプルという、エリアシングを回避するのに必要な最小サンプリング・レートが可能である。ADC20が供給するサンプル毎のビット数は、弱い位相信号を精度高く測定できるだけの十分な分解能が得られるだけ高くなければならない(量子化ノイズがアナログ回路内部におけるノイズと大きさが同様となるように、サンプル当たりのビット数を増大させることが、一般的水準である)。一実施形態では、65,536レベルの分解能を得るために、サンプル当たりのビット値に16を利用することにより、位相変動の精細な分析に対処する。
【0058】
DAC21は、マイクロプロセッサからの数値を対応するアナログ電圧に変換する。アナログ電圧は、電極間に印加される励起電圧を変動させるために用いられる。既に述べたように、一実施形態では、電圧制御抵抗の値を適応ホイートストーン・ブリッジの中に設定するために、第2DACを用いてもよい。
【0059】
ワイヤレス・リンク・コントローラ23は、マイクロプロセッサ22とクライアント・デバイスとの間に「ケーブル交換」リンクを設ける。この回路の一実施形態では、Bluetoothワイヤレス技術を用いるが、一般的なアーキテクチャでは、限定ではなく、802.11、WLAN、又はZigbeeのような他のワイヤレス技術によってこのリンクを設けることもできる。ワイヤレス・コントローラ23は、ベースバンド無線制御、短期間データ・バッファリング、誤り訂正を含む通信プロトコルというような低レベルの動作を扱いつつ、これらよりも高いレベルの接続及び発見プロセスも管理する。
【0060】
オンボード・マイクロプロセッサ22は、センサ全体の動作の制御及び環境設定を行い、更に、コンポーネント間のデータ・フロー及びクライアント・デバイスへのデータ・フローの管理も行うことができる。センサからクライアント・デバイスの方向では、情報フローの大部分(bulk)はユーザ・サンプル(信号)のストリームとなる。逆方向(クライアントからセンサ)制御コマンドをセンサからクライアントに送ることができ、種々のパラメータ(先に説明したように、増幅器利得抵抗、ホイートストーン・ブリッジ可変抵抗を含む)の構成設定(configuration)を可能とし、クライアントとセンサとの間における通信リンクの種々の観点の取り決め及び設定を行うことができる。
【0061】
オンボード・マイクロプロセッサ22は、一実施形態では、プログラム可能であり、センサの動作を制御するために、カスタム・ファームウェアを記述することができる。センサとクライアントとの間の通信は、上位APIを通じて行われる。一実施形態では、APIは、構成及び制御設定値を取り決めるため、そしてセンサとクライアント・デバイスとの間でワイヤレス・リンクを通じて生物計測データをロバストに流すためのトランザクション指向プロトコルである。プロトコルの大部分は用途に依存しないが、個々の用途では、特定的な要件を扱うために中核プロトコルに対する拡張が必要となる場合もある。しかしながら、本明細書に記載する実施形態は、用途依存でもプロトコル依存でもなく、本発明の範囲及び主旨から逸脱することなく、種々のプロトコルを実装できることは、当業者には認められてしかるべきである。
【0062】
本明細書では、「クライアント」という用語は、センサ・デバイスと接続しこれと通信することができるあらゆるデバイスを意味する。潜在的にクライアントになり得るものの例には、デスクトップ・コンピュータ、mp3プレーヤ、移動電話機、PDA、ゲーム・コンソール、及びセット・トップ・ボックスが含まれるが、これらに限定されるのではない。本明細書では、「クライアント・アプリケーション」(又は単に「アプリケーション」)とは、センサによって送信する生物計測データを入力として用いるクライアント上で走るのであれば、いずれのソフトウェア・プログラムも意味する。アプリケーションをセンサ自体から分離することによって、多数の利点が得られる。このような実施態様では、センサの設計は、小型、可搬型、そして電力効率的とするとよい(オンボード視覚表示ユニット、オーディオ等を不要とする)。加えて、典型的なクライアント・デバイスは、豊富なマルチメディア機構を提供し、アプリケーションはこれらを最大限利用することができるように設計されている。センサは、異質のクライアントを混合して用いることができ、ユーザがそれらの好ましいプラットフォームを選択する際に、その柔軟性を高めることができる。
【0063】
ある種の実施形態では、ソフトウェア計算の大部分がセンサからクライアント・デバイスに移管されている。埋め込みプロセッサは、クライアント・デバイス上におけるよりも、備えている処理能力が遥かに少ないので、この手法は有利である。加えて、生産中に、センサ上のファームウェアは通例変更することができないが、これに対してアプリケーションの更新及び改良は、クライアント・デバイス上で比較的単純に行われる。したがって、ディジタル信号処理及び分析、グラフィクス及びオーディオ処理、並びにユーザ入力管理というような計算集約的プロセスは、クライアントが実行する。これに関して、センサは、潜在的なソフトウェア・アプリケーションのホストをサポートすることができる、コンテンツ・プラットフォーム(ゲーム・コンソールのように)として作用するとよい。エンド・ユーザに提供するコンテンツ及び双方向処理は、アプリケーション間で様々であるが、センサ制御やディジタル信号処理というように、ある種の機能は共通である。この共通機能性は、アプリケーション間で再利用することができるライブラリの形態で実装することができる。
【0064】
図9には、本発明の一実施形態によるクライアント/センサ・システムの全体的なアーキテクチャが示されている。先に論じたように、フィードバック・ループは、ワイヤレス・リンク40を通じて、センサ42とクライアント・コンピュータ44との間に延び、変換する生物計測データの変動にセンサが応答して、アプリケーションがセンサ回路のパラメータを適応させることができる。センサ42のオンボード・マイクロプロセッサ46は、サンプリング・レート、増幅器の利得、及びフィードバック(DAC励起、又は可変ホイートストーン・ブリッジ抵抗)のようなアナログ・モジュール・パラメータを、アプリケーションから受信する命令に応じて制御する。アナログ段階45の出力をサンプリング及びディジタル化(47)し、次いでワイヤレス・リンク40を通じてクライアント・アプリケーション48に流す。アプリケーションは、ディジタル信号処理(「DSP」)モジュール50を用いて、着信したデータ・ストリームを分析することができる。DSPモジュール50のタスクは、有用な特徴を生物計測データから抽出すること、及び、受信した信号の特性に基づいてセンサのボード上で信号調整パラメータを適宜に制御することを含むことができる。
【0065】
皮膚電気活動に関して、センサからの着信データは、個々のユーザが呈する皮膚の電気的性質が大きく異なることから、著しく変化する可能性がある。DSPモジュール50によってアナログ回路を適応させる際、受信データ・ストリームが常に所定の限度内に維持されるように設計する。これによって、特徴抽出アルゴリズムが、入力データの調整不備の結果動作しなくなることを防止する(例えば、飽和又は低い信号対ノイズ比のため)。
【0066】
DSPモジュールの役割の1つは、一実施形態では、到来する生物計測データ・ストリームに対する特徴抽出を実行することである。DSPモジュール50は、ユーザの生物計測データに基づいて、ユーザの不安度をロバストに判定することができる適応アルゴリズムを含む。この手法については、以下で更に詳しく論ずる。
【0067】
従前のバイオフィードバック・システムでは、EDA信号からの使用可能なパラメータの抽出は、信号における反応パルスの識別と、測定中におけるユーザの身体の移動によるモーション人為性(motion artifact)干渉の除去に集中していた。典型的な反応パルスのグラフ(パルス振幅対時間)は、初期の短く急峻な上昇と、基準レベルに戻るゆっくりとした低下とを含む。このようなパルスの識別は、何らかの環境刺激に対するユーザによる生理的反応の証拠として用いられる(例えば、治療又はポリグラフ・セッションにおいて検査官から発せられるコンテキスト上の質問(contextual question))。
【0068】
本発明の実施形態の中には、生物計測信号に関する連続パラメータ適応に基づくものもある。即ち、信号内における1つのイベントの境界を特定しようとするのではなく、アルゴリズムはトレンド・カウンタを蓄積する。トレンド・カウンタは、信号が(閾値傾斜レベル52よりも上に)増加しているときに増分し、(閾値傾斜値より下に)減少しているときに減分する。このアルゴリズムを示したブロック図を図10に示す。時間ウィンドウにおいて電極から受信した(58)生のEDAデータを、次にフィルタ処理して(60)、傾斜計算部62に供給する。次いで、信号を閾値レベル52と比較して、トレンド・カウンタ54を増加させるか又は減少させるか判断する。トレンド・カウンタは、主アキュミュレータ66及び副アキュミュレータ68を含む。アプリケーションは、このトレンド・カウンタ54を利用する再、ユーザの不安度70を表すN状態システムを定義する。次に、これらのシステム状態を、アプリケーションのコンテキスト内における仮想表現の何らかの性質に対応付けることができる。一例を上げると、競走ゲームにおいて3つの状態、歩行(最も不安)、走行(不安が少ない)、そして飛行(不安が最も少ない)を有するキャラクタがある。トレンド・カウンタが既定の閾値52よりも上に増加すると、システムは「高ストレス」に移行し、トレンド・カウンタ54はゼロにリセットされる(64)。トレンド・カウンタが負の閾値よりも下に減少すると、システムは「ストレス減少」状態に移行し、トレンド・カウンタは再度リセットされる。
【0069】
このように、具体的なイベントの抽出を必要とせずに、ユーザの不安度を連続的に監視することができる。アプリケーションは、変化がユーザの皮膚の種類に最適化されるように、アキュミュレータの増分に重み付けし、閾値レベルを適応させることができ、更にユーザに与えられるストレス管理タスクに対して難易度(difficulty)又は時間枠を設定することができる。センサ及びその出力を較正するために、運動付きの検査アプリケーションを用いることができる。
【0070】
特徴抽出システムの出力は、ユーザの不安度を表すN状態有限状態機械の現在の状態によって表すことができる。この状態は、コンピュータ・アプリケーション(ビデオ・ゲームのような)の内部で、仮想オブジェクトのパラメータとして表すことができる。その例には、限定ではないが、飛行するキャラクタの速度、卵を割って出てくる鳥の進展を含むことができる。ユーザが彼らの不安/リラックス・レベルを新規な方法で可視化することを可能にするアプリケーションを開発するために、多数のクライアント・プラットフォームをサポートするアプリケーション・ツールキットを開発するとよい。
【0071】
図11は、本発明の一実施形態によるツールキットを用いるアプリケーションのブロック図である。ワイヤレスAPI(例えば、Bluetooth )は、クライアント・デバイスのBluetooth機能性に対する基本レベルのインターフェースであり、サービスに合わせてリモート・デバイスを検索するため、デバイスに接続するため、そしてデータの双方向ストリーミングのための機能性を提供する。I/O管理システム・モジュールは、入力/出力データ・ストリームに管理レイヤを設ける(例えば、アプリケーションに対するキーボード又はマウス入力)。センサ通信APIは、ワイヤレス・リンクを跨ぐロバストな通信のために、生物計測データ、構成データ、及び制御データをエンコード及びデコードする。
【0072】
ディジタル信号分析ツールキットは、ディジタルFIRフィルタリング、傾斜の最小平均二乗計算、ウィンドウ及び閾値の設定、並びにこれらのコンポーネントを利用する中核の特徴抽出アルゴリズムの実装というような、基本的なアルゴリズムを備えている。フロー制御マネージャは、ユーザの相互作用に基づくアプリケーションの現在の状態を制御する有限状態マシーンを含む。グラフィック・ユーザ・インターフェース(GUI)マネージャは、メニュー、リスト、及びテキスト・ボックスのような、共通のGUIエレメントを実装する。グラフィックス・エンジンは、2D又は3D場面の描画をレンダリングする。ユーザに彼らの生物計測の表現を提示するコンテキストを作成するためにアプリケーションにおいて利用し、ユーザが生物計測に対して意識して管理することを習得できるようにする。オーディオ・エンジンは、音響及び音楽の再生を実行する。グラフィクス・エンジンと同様、オーディオ環境の態様は、ユーザの生物計測の表現を提供するために、変調することができる。
【0073】
マルチ・ユーザ実施形態
本発明の実施形態によれば、本明細書に記載する方法、システム、及びデバイスを共同して用いることができる。即ち、多数のユーザが活動に関与して、生物計測データをユーザのグループ内で協同使用する。
本発明の実施形態では、2人以上の人のグループが、仮想環境において分担タスクを実行することを伴う場合があり、タスクは協同でリラックスするグループの構成員でなければ完了することはできない。ある種の実施形態では、グループの進展をアニメーション又はオーディオの一節(audio piece)の状態によって表すことができる。タスクの進展を同時にグループの全構成員に示し、各構成員に、グループ全体のリラックス・レベルについてのフィードバックを与える。
【0074】
本発明の一実施形態は、EDA、血液酸素増量、脳内電気活動、筋肉電気活動、脈拍、又は体温というような、生物信号を監視する多数の生物計測センサ・デバイス(少なくとも、ユーザ毎に1つ)を含む。各バイオセンサからのデータ・ストリームを、少なくとも1つのクライアント・デバイス(PC、移動体デバイス、PDA、又はセット・トップ・ボックスのような)に送信する。ある種の実施形態では、クライアント・デバイス上にある信号処理モジュールが、各着信データ・ストリームを分析して、ストリーム毎に、心理学的喚起(ストレス/リラックス)情報を抽出する。別の実施形態では、信号処理モジュールは、グループのそれぞれの構成員からのデータを組み合わせて、グループの総合ストレス・レベルを表す1つの変数とする。更に別の実施形態では、グラフィック・レンダリング・システム(2D又は3D)が、グループの総合ストレス/リラックス・レベルに応じて、時と共に移り変わるアニメーションを表示する。加えて、オーディオ・システムが音響及び/又は音楽を再生してもよく、グループの総合ストレス/リラックス・レベルに基づいてその特性を変調する。
【0075】
本発明の更に別の実施形態は、ある種の生物計測信号は、高レベルの交感神経系統の喚起のような、心理生理的状態と既知の相関を呈するという事実に基づいている。一方、交感神経系統は、個人のストレス及びリラックス・レベルの日毎の概要に関係がある。このような実施形態の1つでは、脈拍の変動(「HRV」)、人の心臓の連続する拍動間の時間間隔の変動に基づく生物計測を利用する。一般に、この変動は、人にストレスがかかると増大し、リラックスすると減少する。HRVは、EKG及び脈拍酸素濃度計を含む、脈拍に関する多数の生物計測測定値の分析によって抽出することができる。このような測定は、ユーザに接続されているバイオセンサによって行い、分析及びHRVの抽出のために計算デバイスに送ることができる。別の実施形態では、ユーザのストレス・レベルを抽出するために用いる生物計測は、皮膚のコンダクタンスの変動によって生ずる皮膚電気活動である。導電性の増大は、交感神経の喚起と強い相関があり、したがってストレス・レベルの上昇を示す。尚、心理的ストレス・レベルの多くの生物計測相関は測定又は監視することができ、本発明の実施形態は、先に定めた相関に限定されるのではないことは、当業者には認められるであろう。
【0076】
一実施形態では、ストレスの尺度は、ユーザ・グループの各構成員から抽出し、個々の測定値を組み合わせて、グループ全体のリラックス・レベルの集計計量値を求める。集計は多くの方法で行うことができ、最も多いストレスを受けた構成員又は最も少ないストレスを受けた構成員のストレス・レベルとなるようにグループ計量値、グループの平均又は中点ストレス・レベル、あるいは時間に対するグループ構成員の個々のレベルの何らかの関数を選択することを含むが、これらに限定されるのではない。
【0077】
一実施形態によれば、グループ計量値は、グループに対する聴覚/視覚提示における変調パラメータとして用いることができる。これは、グループがリラックスするに連れて変化する場面をレンダリングするアニメーション・システムを含むことができる。これの一例は、グループがリラックスするにしたがって、嵐から日照に変化する場面のレンダリングを含むことができる。別の実施形態では、グループ計量値は、多数のレイヤから成る音楽ピースの一節の再生を変調することもできる。最初に、その一節の1つのレイヤのみを再生する。グループがリラックスするに連れて、明らかになるレイヤが多くなる。
【0078】
本発明の実施形態は、グループ構成員が更にリラックスする動機が得られるために、グループ内における協同的結束(cooperative bonding)、及びグループの全体的なストレス・レベルを低下させるための運動という双方のコンテキストを与える。
【0079】
一実施形態では、アプリケーションは、大規模マルチプレーヤ・オンライン・ゲーム(「MMOG」: massively-multiplayer online game)と定められる。MMOGは、分散ネットワーク・アプリケーションから成り、多数のユーザが、パーソナル・コンピュータ又は移動体デバイス上で走るクライアント・アプリケーションを通じて、永続的仮想世界に参加する。クライアント・デバイスは場面をレンダリングし、各ユーザは、仮想世界内を自由に移動するアバターによって表される。従来では、ユーザは、キーボード、マウス、トラッカ・ボール、及びゲーム・パッドのような入力デバイスによって、この世界とインターフェースしていた。本実施形態でも、各ユーザはバイオセンサを通じてMMOGクライアントとインターフェースし、バイオセンサが皮膚電気及び/又は血液酸素増量データをユーザから直接変換する。前述のように、ユーザのストレス・レベルは、変換した信号から抽出することができ、仮想世界の更新を変調し、グループ・バイオフィードバック・ループを形成するために用いることができる。
【0080】
別の実施形態では、図12に示すように、MMOGは仮想環境を含み、数人のユーザがその環境内の特定の場所で会うことができ、一方クライアント計算機にバイオセンサを通じて接続されている全員がグループ・バイオフィードバック・プロセスに参加し、各ユーザは、彼らのリラックス・レベルを通じて、仮想世界の性質を変調するパラメータに寄与する。この実施形態では、変調される性質は、コンテキストに応じて変更することができ、グループ・タスクとして、アプリケーションのフレームワークに組み込むことができる。一例は、仮想世界における天気を変調するためにグループ・リラックス・レベルを用いることである。グループには、乾熱から雨雲への天気の変化を見ることによって、その総合リラックス・レベルに対してフィードバックが与えられる。このようなグループ行動によって引き出される変化は、更に、グループが実行するタスクに対応付けることによって、何らかのコンテキスト定義目標に到達するため、例えば、仮想作物が成長するように雨を降らせるために、仮想環境のフレームワークにリンクすることができる。
【0081】
一実施形態によれば、クライアント・デバイスは、視覚及び聴覚出力を有するパーソナル・コンピュータ(コンピュータ・モニタ及びスピーカのような)、又は移動電話機のように、視聴覚処理能力を有する移動体計算デバイスのいずれかとするとよい。また、クライアント・デバイスは、Bluetooth送受信機のようなワイヤレス通信ユニットも内蔵するとよく、これによって、Bluetooth対応デバイスにワイヤレスで接続し、これらからデータを取り込むことができる。一実施形態では、生物計測信号を分析し利用するサブシステムを「感情エンジン」と呼び、クライアント側コンポーネント及びサーバ側コンポーネント双方を含む。
【0082】
別の実施形態では、バイオセンサは皮膚コンダクタンス(EDA)の変化を読み取るための検流計、及び血液酸素増量の変化を検出するための脈拍酸素濃度計を含む。バイオセンサの筐体内部で、これらのアナログ信号を取り込み、ディジタル信号に変換する。
【0083】
一実施形態によれば、EDAはサンプル当たり16ビット、及び毎秒32サンプルのサンプリング・レートで取り込まれる。血液酸素増量データは、サンプル当たり16ビット、及び毎秒128サンプルのサンプリング・レートで取り込まれる。次いで、Bluetooth(又はその他のワイヤレス・プロトコル)リンクを通じて、処理のために、ディジタル・データをワイヤレスでクライアント・デバイスに送る。
【0084】
図14に示すように、クライアント・アプリケーションの一実施形態は、Bluetooth IOシステムのような、ワイヤレス・リンクを内蔵しており、このシステムはバイオセンサとクライアント・アプリケーションとの間における双方向のデータ・フローを管理する。また、クライアント・アプリケーションは、クライアントとサーバ・アプリケーションとの間における双方向のデータ・フローを管理するために、インターネット(TCP/IP)IOシステムも実装する。感情エンジンは、バイオセンサからの入力をBluetoothIOシステムを通じて受信する。このエンジンは、通信API及びIOマネージャ、並びにカスタム・データ・プロトコルを用いて、バイオセンサからの入力データ・ストリームを解析し解釈するデコーダ・モジュールを含む。感情エンジンのクライアント(ディジタル信号分析ツールキット)は、ディジタルFIRフィルタリング、傾斜の最小平均二乗計算、ウィンドウ及び閾値の設定というような、基本的な信号処理アルゴリズムを提供する。また、これは、これらのコンポーネントを利用する中核の特徴抽出アルゴリズムの実施態様も提供する。このアプリケーションのディジタル信号処理コンポーネントは、その入力として、2つの生物計測データ・ストリーム、即ち、皮膚電気信号及び血液酸素増量信号を取り込む。また、このエンジンは、制御信号を処理しバイオセンサに送信するハードウェア・コントローラも含む。フロー制御マネージャは、ユーザのクライアント・アプリケーションに対する相互作用を制御するために、有限状態機械を実装する。グラフィカル・ユーザ・インターフェース(「GUI」)システムは、メニュー、リスト、及びテキスト・ボックスというような、共通GUIコンポーネントを実装する。グラフィクス・エンジン及びシーン・マネージャは、3Dレンダリングを実行する。オーディオ・エンジンは、音楽及び音響の再生に備える。これらの組み合わせによって、グラフィクス及びオーディオ・システムは、ユーザの生物計測に対して意識した管理を実践する強制的なフィードバックと強い動機とをユーザが受けることができるコンテキストを作成する。
【0085】
一実施形態によれば、EDAには最初にロー・パス・フィルタ処理が行われ(カットオフ周波数は5Hz)、次いで16サンプルのスライディング・ウィンドウ(sliding window)としてストリームを処理する(0.5秒のデータ、32Hzのサンプリング・レート)。最小二乗アルゴリズムを用いて、データのウィンドウについて傾斜計算を行う。この結果得られた傾斜値を、次に、ユーザのEDL(強壮レベル)で変調した一連の閾値レベルと比較する。一般に、傾斜が正側に行く程高いストレスを表し、負側に行く程低いストレスを表す。この比較に基づいて、ユーザのストレス・レベルを1つのパラメータに対応付ける。EDAデータ・ストリームは、ユーザの感情状態変化の高速応答(低レイテンシ)の尺度を表す。
【0086】
血液酸素増量データ・ストリームには、最初にロー・パス・フィルタ処理が行われ(カットオフ周波数は40Hz)、心拍毎に、現心拍周期のピーク・ピーク測定を行う。この周期を、1心拍周期サンプルのスライディング・ウィンドウに追加し(円形バッファとして実装する)、心拍毎に心拍周期の標準偏差を計算する。この値の増大はユーザのストレス増大と相関付けられ、この値の減少はユーザのストレス減少と相関付けられる。心拍変動(HRV)測定によって、レイテンシは高くなるものの、時間目盛りを長く取るとユーザの感情状態を一層正確に示すことができる(彼らのストレス・レベルから判断する)。
【0087】
MMOGサーバ・アプリケーションは、それに接続されているクライアント・アプリケーションのグループのためのハブとして作用する。図14は、MMOGシステムの基本的なコンポーネントを示す。サーバ・アプリケーションは、数個のコンポーネント・パーツを収容し、その中には、TCP/IP入力/出力データ・ストリームに管理レイヤを設けるインターネットIO管理システムが含まれる。また、サーバ・アプリケーションは、感情エンジン・サーバも含む。感情エンジン・サーバは、クライアント感情エンジン・システムからデータを読み出し、このデータを組み合わせて、ユーザの感情状態のグループを示す1つのパラメータを求める。次に、このパラメータを用いて、ワールド・シーン・コントローラ・システムが維持する1又は複数のオブジェクトの更新を変調する。ワールド・シーン・コントローラは、ユーザのアバターを含む、仮想世界における全てのオブジェクトの更新を担う。データベース・マネージャは、全てのアバター・データを含む、仮想世界における全てのオブジェクト・データの永続的記憶に対処する。物理マネージャ(Physics Manager)は、仮想世界におけるオブジェクト及びアバターの移動及び物理的相互作用を制御する物理的刺激を与える。天候システム(物理システムのサブセクション)は、仮想世界における天候を更新し、仮想世界の地図の異なる区域において、風速から雷嵐までに及ぶ変化を管理する。クライアント・アプリケーションは、局在的世界状態のサーバの世界状態表現との同期をある期間にわたって管理する役割を担う。
【0088】
感情エンジンのサーバ・コンポーネントは、クライアントの生物計測サブシステムからの生物計測データを受信する。このデータは、クライアントから、クライアント・アバターの移動及び行為に関する通常制御データと共に送られる。ユーザのストレス・レベルの各クライアントの尺度は、サーバ・アプリケーションに送られ、ここで、個々の測定値を組み合わせて、ユーザのグループの全体的なストレス/リラックス・レベルを表す1つの計量値となる。一実施形態では、総合計量値は、集合の最大値である。Liが、クライアントiによって測定したストレス・レベルを示すとする。ここで、iは1からNまでの範囲である。次いで、グループ・ストレス・レベルを次のように定義する。
Lg=Max(L1,L2, ..., Li, ...,LN)
【0089】
次に、このグループ・ストレス・レベルLgは、仮想世界の何らかの側面を制御するサーバ上で走る更に別のシステムへの入力パラメータとして用いられる。一例は、天候制御システムへの入力としてであり、Lgは、クライアント・アバターのグループが位置する仮想世界の領域における仮想気象状態を変化させるために用いられる。次に、この天候状態を各クライアントの視聴覚レンダリング・システムにフィードバックし、ユーザは、天候システム上でグループの総合的効果を見ること及び聞くことができる。その結果、集計リラックス・レベルは、グループ・バイオフィードバック・ループを形成する。この場合のバイオフィードバック・プロセスは、更に、仮想世界におけるタスクに関しても定義され、グループは、仮想世界において雨を降らせ、それによって仮想作物を成長させる程に、一緒にリラックスしなければならない。
【0090】
別の実施形態では、ユーザのグループは単体アプリケーションに参加し、各ユーザはバイオセンサを通じてアプリケーションと対話する。各バイオセンサはユーザの身体からの皮膚電気活動及び血液酸素増量を変換する。一実施形態では、グループのリラックス・レベルの尺度を計算し、コンサートを演奏するオーケストラのアニメーション及びオーディオ演出のための制御パラメータとして用いる。オーケストラが演奏するミュージカル作品は、多数のレイヤで構成される。グループが一緒にリラックスすると、音楽の余分なレイヤが追加され、ある時間量の後、作品の最大の深さ(depth)が可聴となるまで、音が大きくなる。このアプリケーションの更に別の機構によって、ユーザ・グループ全体の内個々のサブグループを、オーケストラの(弦楽又は吹奏楽のような)異なるセクションに対応付け、サブグループの相対的リラックス・レベルを測定することが可能となる。
【0091】
このようなアプリケーションの1つのコンテキストは、授業開始の前に、学生たちが一緒に愉快にリラックスしているという教室の設定である。このコンテキストを更に精細に述べると、クラスは、運動過剰又は不安の問題を抱えている学生のグループから成る。別の可能なコンテキストは、会社の設定であり、生産性を高め、チームの結束を促進するような方法として、同僚が互いにリラックスする。更に別の可能なコンテキストは、不安又は激怒管理の分野におけるクリニカル集団治療である。
【0092】
仮想エージェントの実施形態
また、本発明の実施形態は、そのユーザ相互作用モードの中で、バイオセンサを通じたバイオフィードバックを含む、仮想エージェント刺激を含む。このバイオフィードバック相互作用を、仮想エージェントの内部ドライブに関係付けて、仮想エージェントの経時的な挙動及び状態を修正する。一実施形態では、バイオフィードバック相互作用を仮想エージェントの「給餌」(feeding)に関係付ける。仮想エージェントの現在の状態が健康であるためには、ユーザは規則的な間隔でエージェントに「給餌」するために時間を費やさなければならない。この「給餌」プロセスでは、ユーザが生物計測センサを介してアプリケーションに接続する必要がある。生物計測センサ・データを処理して、ユーザのストレス/リラックス・レベルと相関のある情報を抽出する。仮想エージェントの給餌のペース(rate)は、給餌セッション中にユーザが到達したリラックス・レベルに比例する。
【0093】
仮想エージェントの給餌をユーザのリラックス・レベルと対応付けることによって、仮想エージェントの健康とユーザの健康との間で、概念的ミラーリング(mirroring:反映)が可能になる。このアプリケーションの信号処理コンポーネントは、ユーザのストレス/リラックス・レベルを計算する。ストレス・レベルが閾値未満である場合、ユーザはリラックスしていると見なされ、このリラックスは仮想キャラクタに給餌するために用いられる。この仮想給餌プロセスの間、仮想エージェントの給餌を示すアニメーションのようにして、ユーザのストレス/リラックスの表現をユーザに示す。給餌は、それ自体において、バイオフィードバック・セッションがあり、ユーザには彼/彼女のストレス/リラックス状態の連続フィードバックが与えられ、更に、仮想エージェントの空腹を満たすために、要求される時間量の間リラックスするという目標を有する。この仮想フィードバックを、図17に、給餌セッションの進展を示すインディケータ・バーとして示している。
【0094】
ユーザのリラックス・レベルにおいて生き残った仮想エージェントは、一実施形態によれば、ユーザに優しいコンテキストを与え、その中では、人は規則的にリラックスし、単純な方法で(エージェントの状態を通じて)彼らのリラックス・ルーチン全体を追跡するための時間を見出すことができる。
【0095】
図15Aは、移動体クライアント上で走る仮想キャラクタ・アプリケーションを示す。クライアント・デバイスは、エージェントの内部状態をシミュレートする実行環境を提供することに加え、アプリケーションのフロー及び、画面上におけるキャラクタの挙動の表示を管理するために、ユーザにグラフィカル・ユーザ・インターフェースを提供する。
【0096】
一実施形態では、アプリケーションは、移動体計算デバイス(プログラム実行環境及び表示画面を有する移動電話機)上で走る。一実施形態によれば、移動体デバイスは、バイオセンサにワイヤレスで接続し、センサから移動体デバイスに流入する生物計測データを分析する能力を有する。この実施形態では、バイオセンサは、ユーザの皮膚電気活動及び血液酸素投入レベルを変換するために、酸素濃度計と組み合わせた検流計を内蔵する。これらの生物信号を移動体デバイスに送り、移動体デバイスにおいて、これらをアプリケーションによって処理して、ユーザのストレス及びリラックス・レベルとの既知の相関を抽出する。
【0097】
クライアント・アプリケーションは、数個のコンポーネント・パーツを内蔵し、その中には、バイオセンサ間で送受信するデータの管理を行うBluetoothIOシステムが含まれる。通信プロトコル・システムは、センサからの入力ストリームを解析し、カスタム・プロトコルにしたがってデータを解釈する。感情エンジン・クライアント(ディジタル信号分析ツールキット)は、ディジタルFIRフィルタリング、傾斜の最小平均二乗計算、ウィンドウ及び閾値の設定というような、基本的信号処理アルゴリズムを備えている。また、これらのコンポーネントを利用する中核の特徴抽出アルゴリズムを実装する。仮想エージェント状態管理システムは、仮想キャラクタの状態の表現を維持し、エージェントの挙動を変化させる可能性がある状態及びドライブの集合全体を定義する。フロー制御マネージャは、ユーザのクライアント・アプリケーションとの対話を制御する有限状態機械を備えている。GUIシステムは、メニュー、リスト、及びテキスト・ボックスというような、共通のユーザ・インターフェース・コンポーネントを実装する。グラフィックス・エンジンは、仮想キャラクタの可視化を管理する。オーディオ・エンジンは、アプリケーション内において音響及び音楽の再生を行う。
【0098】
一実施形態によれば、アプリケーションのディジタル信号処理コンポーネントは、2つ生物計測データ・ストリーム、即ち、皮膚電気活動及び血液酸素増量をその入力として取り込む。皮膚電気活動データには最初にロー・パス・フィルタ処理が行われ(カットオフ周波数は5Hz)、次いで16サンプルのスライディング・ウィンドウ(sliding window)として処理される。最小二乗アルゴリズムを用いて、データのウィンドウについて傾斜計算を行う。この結果得られた傾斜値を、次に、ユーザのEDL(強壮レベル)で変調した一連の閾値レベルと比較する。一般に、傾斜が正側に行く程高いストレスを表し、負側に行く程低いストレスを表す。この比較に基づいて、ユーザのストレス・レベルを1つのパラメータに対応付ける。EDAデータ・ストリームは、ユーザの感情状態変化の高速応答(低レイテンシ)の尺度を表す。
【0099】
血液酸素増量データ・ストリームには、最初にロー・パス・フィルタ処理が行われ(カットオフ周波数は40Hz)、心拍毎に現心拍周期のピーク・ピーク測定を行う。この周期を、1心拍周期サンプルのスライディング・ウィンドウに追加し(円形バッファとして実装する)、心拍毎に心拍周期の標準偏差を計算する。この値の増大はユーザのストレス増大と相関付けられ、この値の減少はユーザのストレス減少と相関付けられる。心拍変動(HRV)測定によって、レイテンシが高くなるが、時間目盛りを長く取るとユーザの感情状態を一層正確に示すことができる(彼らのストレス・レベルから判断する)。
【0100】
一実施形態では、これらの計量値を仮想エージェントのシミュレーションに対する入力として用いる。シミュレーションは、内部では一連の状態を表し、その状態は、各々、「睡眠」、「食事」、「遊び」、又は「狩猟」のような、本物の動物の状態に類似する。一連のドライブは、どのようにエージェントが経時的に異なる状態間で移動するかをモデル化する。即ち、空腹ドライブ(hunger drive)は、エージェントを「遊び戯れる」から食べ物を求めて「狩猟を開始する」に移動させることができる。ユーザから抽出するリラックス計量値は、このシステムへの入力として用いられ、エージェントに「給餌」し、したがって時間と共に空腹ドライブを満足させていく。
【0101】
特定的な一実施形態では、仮想キャラクタはペットの子犬である。アプリケーションを最初に走らせるとき、ユーザには子犬の選択肢が与えられ、その中から選択する。ユーザが子犬の選択を行ったならば、それら子犬が画面上に現れ、ユーザと交流するのを待っている。子犬の挙動は、陽気にそしてユーザとの交流を望んでいるように描写することができる。ユーザは、犬を散歩に連れていく又は「狩猟ごっこ」(fetch)で遊ぶというような、一連の画面上アイコンを通じて子犬と交流することができる。子犬の内部状態は、これらの交流に基づいてその挙動を変調する自律システムを表す。
【0102】
アプリケーションは、セッション中の経過時間及びセッション同士の間の経過時間を測定し、子犬の内部ドライブ及び状態の変化を計算する。空腹に対するドライブは、時間と共に大きくなり、視覚的に表すことができる(例えば、給餌容器に向かって歩いていく子犬によって)。この挙動は、ユーザがバイオセンサを通じてアプリケーションに接続するまで、時間と共に規則性を増大させる。アプリケーションは、ユーザの生物信号を分析し、彼らのストレス/リラックス・レベルに関する情報を抽出する。子犬に給餌する量は、バイオフィードバック・セッションの時間長に関係付けられ、更にセッション中に達成されるリラックスのレベルにも関係付けられている。
【0103】
図17は、給餌プロセスの概要、及び、ユーザの皮膚電気信号と仮想ペットの視覚表現との間における一般的なマッピングの概要を示す。ユーザが子犬に規則的に給餌しないと、無気力な挙動を呈し、最終的に病気になって応答しなくなる。この状態変化を、図15Bに示す。数回のセッションを経ると、子犬は成熟した成犬に成長したように見える。給餌セッションは、それら自体が、バイオフィードバック・プロセスであり、したがってユーザには彼/彼女のリラックス・レベルに関する視覚フィードバックがリアルタイムで与えられる。これらのセッションは、所与の時間ウィンドウ内で異なる目標を達成できなければ、彼らの仮想ペットに給餌する(例えば、「リラックス競争」に勝利してゲーマの食べ物を得る)ことができないというような、ミニゲームとしてユーザに表現することができる。また、これらのセッションは、現在の給餌セッションにおいてなされる進展を示すインディケータに加えて、仮想の子犬が食べているところを示すことによって、単純に記述することもできる。(図15AにおいてBとして示すインディケータ)。仮想の犬の健康は、経時的なユーザの犬に対する注意、そして特にバイオセンサを通じた給餌セッションの規則性を反映する。
【0104】
一実施形態では、クライアント・デバイス間で仮想エージェントの状態を転送する能力を含む。移動体クライアント・デバイス(この場合、ディスプレイ・エレメントを有する移動電話機)上で走るアプリケーションをPCと同期させ、エージェントの内部状態全てを記述するデータを、2つのデバイス間で転送する。このように、仮想生物の表現は、多数のデバイスに跨って連続して存在するように見ることができる。
【0105】
別の実施形態では、仮想ペットを仮想環境の社会に「順応」させることができる。ペットの状態を、ネットワークを通じて、2つ以上のペットが自律的に交流することができる仮想環境にアップロードする。この環境は、ユーザが見ることができるので、彼/彼女は、彼らの仮想ペットが他の仮想ペットとどのように交流するか確かめることができる。
【0106】
同じ概念は、広範囲の仮想エージェント実施形態にも適用することができ、これらには、限定ではないが、ユーザのリラックス・レベルを雨/水に対応付けて植物を生かし続けるようにした人工植物又は庭園、ストレス/リラックス・レベルによって仮想魚又は魚群に給餌する仮想金魚、ユーザによって実施形態が設計可能かつ修正可能である一般的な人工エージェントが含まれる。
【0107】
移動ポリグラフ実施形態
別の実施形態では、バイオセンサに接続されているクライアント・デバイス上でアプリケーションが走り、単純なポリグラフとして作用する。ポリグラフは、1つ以上のグラフを画面上に描き、各グラフは、ユーザのストレス・レベルと相関があることが分かっている生物計測データ・ストリームを表す。
【0108】
一実施形態では、バイオセンサは皮膚表面上における皮膚電気活動を変換する。画面上に表示されるグラフは、正弦波関数を表し、その振幅は、皮膚導電性信号の現在の変化率によって変調される。導電性の大きな増加は大きな振幅の正弦波トレースに対応付けられ、皮膚電気導電性の低下は、振幅がない正弦波トレース、即ち、平坦線に対応付けられる。このマッピングによってグラフ上に生成されるグラフは、多くの人々に馴染みがある、初期の機械的ポリグラフの図と同様である。このように、ユーザは高正弦波振幅を高いストレスに明確に関連付けることができる。この実施形態は、単純な「嘘発見機」として用いることができ、その場合、一人の人が、画面上でポリグラフ線図を見ながら、他の人に質問する。
【0109】
プロトコルの例
USB、イーサネット(登録商標)、及びFireWireというような種々の有線系プロトコル、並びにBluetooth及びWi-Fiというようなワイヤレス・プロトコルは、生物計測センサとマスタ・デバイス(例えば、移動体電話機、PDA、iPOD、又はデスクトップ・コンピュータ)との間における通信をし易くするために用いることができる。加えて、生物計測センサと別のデバイスとの間における通信のために、種々の専用プロトコルを開発することもできる。
【0110】
一実施形態では、生物計測センサのプロトコルは、トランザクション指向型である。2種類のトランザクション、要求及び通知が存在する。発信側からの要求トランザクションは、受信側が承認することができる。即ち、受信側は、(a)要求のステータス(成功又は失敗)を指示するため、(b)要求において求められた適宜の情報(ある場合には)を返送するために、発信側に応答を送る。通知トランザクションは単一方向性である。つまり、発信側は応答を期待せず、受信側も送らなくてよい。別のプロトコルの実施形態では、マスタ・デバイスが生物計測デバイスに発行するトランザクションの全てが要求型であり、一方生物計測デバイスが発行するトランザクションの全てが通知型である。これは、マスタ・デバイスからの応答を解析する必要性を未然に回避することによって、生物計測デバイスにおけるトランザクション処理オーバーヘッドを極力少なくするためである。
【0111】
プロトコルの一実施形態では、1回のトランザクション完了には、1つ又は2つのメッセージが伴う。通知は1つのメッセージを含み、要求は2つのメッセージ、即ち、要求及び応答から成る。各通知又は要求メッセージは、開始シンボル及び終了シンボルによって区切ることができる。例えば、開始シンボルの直後にトランザクションID(TRANSACTION ID)が続くことができる。トランザクションIDは、このメッセージが言及する特定のトランザクション・タイプを特定する。このプロトコルでは、トランザクション・タイプに関連する追加情報を収容するペイロードを用いることができる。応答メッセージは、対応する要求のステータス、即ち、成功又は失敗を示す追加フィールドを有する。
【0112】
一実施形態では、応答メッセージのフォーマットは、対応する要求によって指令され、応答のトランザクションIDは、要求のそれと一致していなければならず、ステータス・フィールドは、要求が成功に終わったか又は失敗に終わったか示さなければならない。トランザクション・プロトコルは、バイト指向である。即ち、各トランザクションにおける情報の原子単位がバイトである実施形態もある。
【0113】
以下の表は、特定の生物計測装置のプロトコルの一実施形態について、全ての有効なトランザクションの概要を示す。
【表1】
【0114】
上記した表に掲示したトランザクションIDに加えて、プロトコルは次の用語も定義する。
【表2】
【0115】
本明細書では、種々の具体的なプロトコルの詳細を引用したが、適した有線系プロトコル又はワイヤレス・プロトコルであれば任意のものを、本明細書に記載した生物計測デバイスと通信するために用いることができる。
【0116】
以上、例示的な実施形態を参照しながら本発明について説明したが、本発明の主旨及び範囲から逸脱することなく、その他の変更、省略、及び/又は追加も行うことができ、更に実質的な同等物をその要素と置換してもよいことは、当業者には言うまでもないであろう。加えて、本発明の範囲から逸脱することなく、特定の状況又は材料を本発明の教示に適応させるために、多くの修正を行うこともできる。したがって、本発明は、発明を実施するために開示した特定的な実施形態に限定されるのではなく、本発明は、添付した請求項の範囲に該当する全ての実施形態を含むものとする。更に、特に明記しない限り、第1、第2等の用語を使用するときはいつでも、いかなる順序や重要性を示すのではなく、逆に第1、第2等の用語は、ある要素を他の要素と区別するために用いるに過ぎない。
【技術分野】
【0001】
本発明は、一般的には、生物計測(バイオメトリック)センサに関し、更に特定すれば、ストレス管理及び娯楽用途に用いて好適なバイオフィードバック方法及びデバイスに関する。
なお、本願は、2007年2月16日に出願した米国仮特許出願第60/901,733号の優先権を主張する。この出願をここで引用したことにより、その開示内容全体が本願にも含まれるものとする。
【背景技術】
【0002】
生物信号の測定及び分析、並びにそれらの心理学的プロセスとの相関の調査には、長い歴史がある。19世紀後半における皮膚電気現象に関する先駆的な研究から、1950年台における精神医学及び犯罪学への幅広い応用まで、その装置、方法、及び理論は、実務者(practitioner)がポリグラフやオシロスコープというような計器を、個人の精神的状態の評価のための標準的ツールとして採用するところまで進歩した。
【0003】
1960年代において、皮膚電気アクティビティ(活動)のような、生理的信号によるフィードバックの理論及び実践が、流行の研究分野となった。バイオフィードバックとは、心理物理的情報を人に意識させるプロセスであり、これを用いると、主に無意識に規制が行われるプロセスを、彼らの直接的(意識した)制御下に置くことができる。この研究は、研究室から生まれ、人々が彼ら自身の自宅で治療用心理学的ツールとして用いることができる、市販の製品という形態で市場に投入された。
【0004】
初期のバイオフィードバック・デバイスは、比較的単純であり、フィードバック信号は、一般に、画面上におけるオシロスコープのドット位置、又はオーディオ・トーンのピッチによって表されていた。家庭用コンピュータの処理能力及びグラフィック能力の進歩により、1980年台の初期までには、ユーザに提供されていたフィードバックを、遥かに豊富なコンテキストで表現して、治療用製品及び消費者用製品双方において用いることができるようになった。
【0005】
最近になって、診療用及び商用双方の設定としたバイオフィードバック・デバイスの使用が増大しており、とりわけ、不安、不眠、及び注意力欠如障害(ADHC)のための治療に広く応用されている。また、ストレス管理のためのバイオフィードバック製品もいくつか市場に現れている。現在の都市生活に伴うストレスを軽減することは、社会全体の健康には重要であり、したがって、これらの製品は、人が彼らの精神的及び肉体的健康状態を監視し改善するのを支援するに当たって、有用な役割をはたしている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
従前からのバイオフィードバック・システムは、通常、テープ又は何らかの種類の接合体(binding)によってユーザに取り付けられていた。更に、従前のシステムは、大きく、重く、配線のために携行できない構成となっており、ユーザは、満足感を味わえる体験が得られず、再度利用したいとも感じなかった。加えて、人の生理機能の変動により、生物計測信号は、母集団全体について精度高く測定し追跡することが難しく、有用なフィードバックを個人毎に提供することが難しい。当技術分野においては、ストレス、及びそれに伴う、身体に対する有害な影響を軽減する有効な方法をユーザに提供する、移動可能で、人間工学的な効率を考え、審美上心地よい、娯楽及び高精度バイオフィードバック・システムが求められている。
【課題を解決するための手段】
【0007】
本発明の一態様では、審美的に楽しく、平均的なユーザが日常の設定で使い易い人間工学的なバイオセンサを提供する。ユーザがセンサと物理的に相互作用する様式は、本デバイスの大きな利点である。例えば、デバイスはワイヤレスであり、ユーザの親指と人差し指との間に納まるサイズになっている。本発明の一実施形態は、第1及び第2面を有する筐体を含み、これらの表面は、生物計測信号を検出するのに適した電極となっている。前述のように、筐体は、1つの手の指先(親指と他のもう1本の指)を第1及び第2導電面上に置いたときに、快適にしかも簡単に保持できるように、人間工学的に設計されている。
【0008】
別の態様では、本発明は生物計測装置に関する。この装置は、筐体を含み、筐体は、第1面と、皮膚電気信号を検出するように構成されている第2面と、処理エレメント又はフィルタ・エレメントのようなエレメントとを有する。エレメントは、第2面と電気的に通信しており、筐体内に配置されている。エレメントは皮膚電気信号をフィルタ処理するように構成されている。
【0009】
本装置の一実施形態では、第1面及び第2面は同一である。別の実施形態では、第1面及び第2面の各々は導電性電極である。皮膚電気信号は、第1周波数成分と第2周波数成分とを含むことができる。第1周波数成分は、皮膚電気レベルを含むことができる。第2周波数成分は、皮膚電気応答を含むことができる。更に、本装置は、筐体内に配置した送信機も含むことができる。送信機は、皮膚電気信号を送信するように構成されている。一実施形態では、処理エレメントはディジタル信号プロセッサである。筐体の一部は、形状が実質的に涙滴型、丸型、球状、円筒状、角張った形状、均整の取れた形状、及び/又は不規則な形状とすることができる。
【0010】
更に別の態様では、本発明は、生物計測パラメータの測定方法に関する。この方法は、信号を受信するステップであって、信号が皮膚電気レベル部と皮膚電気応答部とを備えている、ステップと、信号から皮膚電気レベル部をフィルタによって除去するステップとを含む。一実施形態では、フィルタによって除去するステップは、適応プロセスを用いて、実質的に連続的に行われる。更に、本方法は、制御可能システムに入力を発生するステップを含むこともできる。加えて、制御可能システムは、ゲーム、玩具、シミュレーションした実体、遠隔制御、視覚ディスプレイを有する計算デバイス、携帯用デバイス、ハンドヘルド・デバイス、ゲーム・コンソール、及び家庭用娯楽システムから選択される。
【0011】
更に別の態様では、本発明は、生物計測装置に関する。この装置は、第1電極及び第2電極であって、皮膚組織から信号を受けることができる程度に十分導電性がある又はそれ以外の方法で皮膚組織から信号を受けるように構成されている第1及び第2電極と、少なくとも1つの電極と電気的に通信する増幅器であって、前記信号を受信し第1信号部及び第2信号部を有する増幅信号を送信する増幅器と、増幅器と電気的に通信するフィルタであって、増幅信号を受信し、第1信号部を送信するように構成されているフィルタと、前述のフィルタ及び増幅器と電気的に通信し、第1信号部に応答して処理信号を発生するように構成されているプロセッサと、処理信号に応答してデータを送信するように構成されている送信機とを含む。一実施形態では、フィルタ、増幅器、及び電極はアナログ的に動作する。一実施形態では、本装置は、更に、プロセッサと電気的に通信する少なくとも1つの変換器を含み、この変換器は、プロセッサに達する前にアナログ信号をディジタル信号に変換するように構成されている。送信機は、一実施形態では、ワイヤレス送信機である。
【0012】
更にまた別の態様では、本発明は、適応生物計測測定を行う方法に関する。この方法は、使用期間の間ユーザの皮膚を連続的に(又は周期的に)監視するステップと、使用期間中にユーザの皮膚からデータを受信するステップと、ユーザの不安度に関する相対的ストレス傾向を特定するステップであって、相対的ストレス傾向をユーザの不安度に応答して判定するステップとを含む。更に、本方法は、ユーザが所定の時間期間不安度を維持した場合、カウンタをリセットするステップも含むことができる。更に、本方法は、ストレス傾向の変化を用いて、娯楽プログラム又は自助プログラムを制御するステップも含むことができる。娯楽プログラム又は自助プログラムは、ゲームとすることができる。また、娯楽プログラム又は自助プログラムは、計算デバイス又は計算デバイスのネットワーク上において多数のユーザの同時参加を含むことができる。
【0013】
一実施形態では、ユーザは、予め指定した目標を協同で達成するように、彼/彼女の個々の不安度に同様の傾向を呈する。別の実施形態では、ユーザの不安度の経時的変化が、自律的エージェント(autonomous agent)の1つ以上の性質、自律的エージェントの健康度を、ユーザの不安度に応じて判定することができる。自律的エージェントは、玩具とすることができる。自律的エージェントをコンピュータによって発生することができる。自律的エージェントは、生かし続けるためにはユーザが規則的な間隔で、リラクゼーションとともに「給餌」(feed)しなければならない仮想ペットとすることができる。
【0014】
一実施形態では、生物計測デバイスの最も長い寸法の長さは、約1cm〜約6cmの範囲にすることができる。好適な実施形態では、デバイスの最も長い寸法は、約3cm〜約5cmの範囲にすることができる。特に好適な一実施形態では、デバイスの長さは約5cmであり、幅は約3cmである。デバイスの重量は、約10g〜約50gの範囲にすることができる。別の実施形態では、筐体は涙滴状の外形を有し、1つ以上の外装又は筐体面によって形成することができる。更に別の実施形態では、筐体内にワイヤレス送受信機を内蔵する。
【0015】
本発明の一態様では、1つの筐体内において、個別に又は同時に、生物物理データのリアルタイム変換、調整、ディジタル化、及び送信のための電子回路を内蔵することができ、限定ではないが、検流計、脈拍酸素濃度計、及び熱電対を含む。
【0016】
本発明の別の態様では、筐体内に配置され、ユーザの皮膚電気活動(「EDA」)によってユーザのストレス・レベルの尺度を抽出するのに実質的に最適化した電子回路を含む。この回路は、自動的に皮膚電気信号から皮膚電気レベル(「EDL」)をフィルタで除去することにより、皮膚電気応答(「EDR」)をより高い分解能に増幅できるように構成されている。EDLは個人間でのばらつきが大きく、EDRは主要な対象信号であり、EDLを除去することによって、同じ手順による広範囲の種類の皮膚を処理し易くなる。更に、本発明のある実施形態では、特定のEDRイベントの抽出ではなく、連続的適応測定によって、皮膚電気信号から不安度を抽出する。
【0017】
本発明の更に別の態様では、制御可能システムに入力を発生する。制御可能システムは、ゲーム、玩具、コンピュータ、可搬/ハンドヘルド・デバイス、又は家庭用娯楽システムを含むことができる。このデバイスの一実施形態は、連続適応フィードバック・ループの一部を形成することができ、制御可能システムは、ユーザの生物計測信号の変動及び/又はそれから抽出される特徴に応答して、デバイスのパラメータを適応させることができる。ユーザの生物計測データから特徴を抽出するために用いられるディジタル信号処理は、デバイス上で実行することができる。このデバイスの更に別の実施形態では、ディジタル信号処理は、制御可能システム上で実行することができる。制御可能システム及びデバイスは、ワイヤレス・リンクを通じてデータを交換することができる。
【0018】
別の態様では、本発明は、可搬型生物計測装置に関する。この装置は、第1面を有する筐体と、生物計測信号を変換する検知エレメントと、筐体内に配置された電子回路であって、変換信号を増幅、フィルタ処理、及びディジタル化するように構成されている回路とを含む。検知エレメントは、皮膚電気信号を変換する。一実施形態では、筐体は第2面及び第3面を有する。検知エレメントは、第2面及び第3面を備えることができる。一実施形態では、第2及び第3面は、ユーザの一方の手の親指の指先と他の指の指先とによって、それぞれ、同時に接触するように、第1面に対して位置付けられている。
【0019】
一実施形態では、第1及び第2面は、ユーザが快適に保持できるように、人間工学的に位置決めすることができる。第1及び第2面は、筐体の対向する側面上に平行に位置付け、親指の指先と人差し指の指先との間に快適に保持することができる。一実施形態では、検知エレメントは、血液ヘモグロビンの酸素飽和、皮膚温度の一方又は双方を変換するように構成されている。更に、本装置は、筐体内に配置した送信機を含むことができ、この送信機はディジタル化した信号を送信するように構成されている。送信機は、ワイヤレス送信機又は有線送信機とすることができる。ワイヤレス送信機は、IR及びRF送信機の一群から選択することができる。
【0020】
別の態様では、本発明は生物計測システムに関する。このシステムは、クライアント・デバイスを含む。クライアント・デバイスは、生物計測装置の送信機からデータを受信することができるクライアント受信機と、クライアント受信機と通信するクライアント・プロセッサであって、クライアント・アプリケーション・プログラムを実行し、クライアント・アプリケーション・プログラムが生物計測装置から受信したデータを利用する、クライアント・プロセッサとを含む。本システムは更に、生物計測装置と通信する生物計測装置受信機と、クライアント・プロセッサと通信するクライアント送信機とを含むことができ、クライアント送信機は制御情報をクライアント・プロセッサから生物計測装置受信機に送信する。一実施形態では、クライアント・プロセッサは、ディジタル信号分析器を含み、ディジタル信号分析器はクライアント受信機と通信する。
【0021】
更に別の実施形態では、クライアント・プロセッサは、ディジタル信号分析器と通信するクライアント・アプリケーション・プロセッサと、クライアント・アプリケーション・プロセッサと通信する双方向可視化エンジンとを含む。一実施形態では、本システムは、適応閉フィードバック・ループであり、その中でクライアント・アプリケーションはディジタル信号分析器の出力を利用して生物計測装置の電気特性を適応させ、生物計測信号の最適な検知を達成する。本システムに関して、一実施形態では、クライアント・プロセッサは、ゲーム・コンソール、玩具、コンピュータ、携帯用デバイス、ハンドヘルド・デバイス、又は家庭用娯楽システムである。
【0022】
別の態様では、本発明は可搬型生物計測装置に関する。この装置は、絶縁材料から成る筐体と、筐体内に配置された電源と、筐体付近に配置された第1電磁波送信面と、筐体付近に配置された第1電磁波受信面であって、筐体の一部によって第1送信面から絶縁されている第1受信面と、筐体内に配置され、電源と第1電磁波受信面及び第1電磁波送信面双方と電気的に通信する検知エレメントとを含む。第1波送信面は、表面電極とすることができ、第1波受信面は表面電極とすることができる。第1波送信面は、光源を含むことができ、第1波受信面は光検出器を含むことができる。第1波受信面は、温度センサを含むことができる。一実施形態では、第1波送信面は、皮膚と接触しているとき、皮膚電気信号を検知エレメントに送信する。
【0023】
別の態様では、本発明は生物計測センサに関する。生物計測センサは、人間工学的な形状をなすデバイス筐体であって、ユーザの手の第1指と第2指との間に納まる形状とした筐体と、第1指に接触するように筐体付近に配置された第1センサ面と、第2指に接触するように筐体付近に配置された第2センサ面と、筐体内に配置され、第1センサ面及び第2センサ面と電気的に通信する信号受信エレメントであって、ユーザの生理的特性を検知するように設計された受信エレメントとを含む。一実施形態では、第1指は親指であり、第2指は人差し指である。センサ面は、筐体の対向する面に配置することができる。センサ面は、実質的に互いに平行であり、互いから離れて対向することができる。筐体は、実質的に涙滴形状をなすことができる。生物計測センサは、更に、受信した生物計測信号を増幅、フィルタ処理、又はディジタル化する回路を含むことができる。筐体の最も内外寸法は、約1cm〜約6cmの範囲にすることができる。
【0024】
別の態様では、本発明は生物計測装置に関する。この装置は、第1電極及び第2電極であって、第1及び第2電極は皮膚電気活動を変換できる程に十分な導電性があり、筐体に近接して配置されている、第1電極及び第2電極と、第1及び第2電極と電気的に通信する増幅器であって、変換した信号を増幅するように構成されている増幅器と、増幅器と通信する変換器であってアナログ信号をディジタル信号に変換する変換器と、変換器と電気的に通信し、ディジタル化したデータのフローを制御するプロセッサであって、筐体内に配置されているプロセッサと、プロセッサが発生するデータを送信するように構成されている送信機とを含む。
【0025】
一実施形態では、送信機はワイヤレス送信機とすることができる。更に、生物計測装置は、皮膚電気信号の位相成分を皮膚電気信号の強壮成分よりも多く通過させるフィルタを含むことができる。プロセッサは、皮膚電気信号の強壮成分の経時的変化を追跡するようにプログラミングすることができる。更に、本装置は、プロセッサと通信する検出エレメントを含むことができる。一実施形態では、検出エレメントは、光検出器、熱電対、温度センサ、及び血液酸素レベル・センサから成る一群から選択する。データは、クライアント計算デバイスに送信することができる。クライアント計算デバイスは、限定ではないが、パーソナル・コンピュータ、ハンドヘルド・デバイス、移動体電話機、家庭用娯楽システム、ゲーム・コンソールを含み、クライアント・デバイスは、ユーザ・データの処理、及びユーザに対する視聴覚提示の大部分を実行する。
【0026】
別の態様では、本発明は、皮膚電気信号からユーザの不安度を判定する方法に関する。この方法は、ユーザから皮膚電気データを受信するステップと、データをフィルタ処理して高周波成分を除去するステップと、フィルタ処理したデータの傾斜を計算するステップと、フィルタ処理したデータを閾値と比較するステップと、閾値以内のイベント数を蓄積するステップと、所与の時間期間において蓄積したイベントの数を判定するステップとを含む。更に、この方法は、イベントの数に応答して、制御可能システムに入力を発生するステップを含むことができる。高周波成分は、皮膚電気応答に対応することができる。
【0027】
本発明の種々の実施形態及び態様は、集団のコンテキストにおいて用いられる複数の生物計測センサを伴う実施形態に関する。
【0028】
別の態様では、本発明は、ユーザのグループに接続されている2以上のバイオセンサと通信するソフトウェア・アプリケーションに関し、各ユーザには、グループの集計生物計測性質と相関付けられた視聴覚フィードバックが与えられる。このソフトウェア・アプリケーションは、二人以上のユーザ(「グループ」)をサポートすることができ、各ユーザのバイオ信号を、1つ以上のバイオセンサによって検知する。各バイオセンサの出力は、グループの集計生物的性質を表す値に寄与することができる。本アプリケーションは、多数の計算デバイス上で走ることができ、アプリケーションの各インスタンスは、1つ以上のバイオセンサと通信する。
1つ以上の表示装置(presentation device)が、グループに表現(リプレゼンテーション)を供給することができ、この表現は、各ユーザの生物計測データから抽出した集計計量値と相関付けられている。一実施形態では、視覚表現はアニメーションであり、アニメーションの状態は、集計計量値によって決定される。
【0029】
別の実施形態では、生物計測装置は、以下の生理的プロセスの1つ以上を変換することができる。皮膚電気活動、血液ヘモグロビンの酸素飽和、皮膚温度、脳電気活動、心臓電気活動、筋肉電気活動。共通表現は、アニメーションとすることができる。一実施形態では、前述のアプリケーションは、グループの生物計測データの集計から抽出した、グループの状態の一側面の表現を供給する。表現は、グループの総合的なストレス/リラックス・レベルを反映することができる。ストレス/リラックス・レベルは、ユーザ毎に抽出することができ、既定範囲における目盛り数値に対応付けることができる。更に、目盛り数値は、0〜100までの範囲とすることができ、0は最小のストレスを表し、100は最大のストレスを表す。一実施形態では、グループ・リラックス・レベルは、個々のリラックス値の和である。グループ・リラックス・レベルは、グループ内の個々のユーザの最小値とすることができる。更に、グループ・リラックス・レベルは、グループ内の個々のユーザの最大値となるように取り込むことができる。別の実施形態では、グループ・リラックス・レベルは、経時的な個々のユーザのリラックス・レベルの関数である。
【0030】
一実施形態では、前述のアプリケーションは、巨大マルチプレーヤ・オンライン仮想世界の一実施形態であり、仮想環境における複数のプレーヤが一緒にリラックスし、環境内において協同目標を達成することができる。前述のアプリケーションは、精神健康介護現場におけるグループ不安管理システムの一部とすることができる。本アプリケーションは、企業の設定において用いるためのリラックス/チーム−構築ツールとすることができる。本アプリケーションは、学校又は大学の教室における教育設定においてリラックス及び協同を促進するツールとすることができる。
【0031】
本発明の種々の実施形態及び態様は、生物計測信号によって制御する人工知能及び仮想ペットを伴う実施形態に関する。
【0032】
別の態様では、本発明は、バイオセンサと通信する仮想エージェント・アプリケーションを含むシステムに関する。このシステムは、以下のコンポーネントを有する。すなわち、人の身体からの生理的パラメータを変換するバイオセンサ、バイオセンサ・デバイスとの通信リンクを有するデバイスCPU上で実行するソフトウェア・アプリケーション、生物計測データ・ストリームのディジタル分析を実行し、データ・ストリームからユーザの心理的状態の計量値を抽出することができる、アプリケーション内における信号処理コンポーネント、アプリケーション内にあり、信号処理ユニットから入力を受け取る仮想エージェント・シミュレーション・コンポーネント、仮想エージェントの視覚表現の更新を管理するアニメーション・マネージャ・コンポーネント、及び仮想エージェントのアニメーションをユーザに表示する視覚表示コンポーネントである。
【0033】
仮想エージェントは、シミュレーションによる仮想生物とすることができる。仮想生物は、規則的な間隔でバイオセンサを通じてユーザと相互作用することを仮想生物に要求する内部ドライブを有する。生物の内部状態は、メモリに格納され、ユーザ・セッションの間で存続する。一実施形態では、生物は空腹に相当する内部ドライブを有し、バイオセンサを通じてユーザによる「給餌」を要求するように生物を駆動する。仮想生物の状態は、ユーザの生物計測「給餌」によって修正され、仮想生物の経時的な健康は、これら給餌セッションの規則性を反映する。一実施形態では、クライアント・デバイスは、パーソナル・コンピュータ、移動体電話機、PDA、ゲーム・コンソール、セット・トップ・ボックス、家庭用娯楽システムとすることができる。
【0034】
更に、クライアント・デバイスは、生物計測センサと、グラフィカル・ディスプレイ・デバイスとを一体筐体内意含むことができる。前述のエージェントは、異なるクライアント・デバイス間、例えば、移動体デバイスからPCにその状態を転送する能力を所有することができる。仮想エージェントは、ロボット・デバイス内に具体化することができ、その振る舞い(挙動)は、生物計測入力に対する渇望を含む内部状態を反映する。
【図面の簡単な説明】
【0035】
本発明のこれらの実施形態及びその他の態様は、以下の詳細な説明及び添付図面から容易に明らかとなろう。これらは本発明を例示することを意図するのであって、限定することを意図するのではない。図面において、
【図1】本発明の一実施形態によるセンサの上面図である。
【図2】本発明の一実施形態によるセンサの斜視図である。
【図3】A及びBはそれぞれ、本発明の一実施形態によるセンサの使用中の図である。
【図4】本発明の一実施形態によるセンサのコンポーネントの一部の分解図である。
【図5】A及びBはそれぞれ、本発明の一実施形態によるセンサの代替実施形態を示す図である。
【図6】本発明の一実施形態によるセンサのアーキテクチャ例のブロック図である。
【図7】本発明の一実施形態によるセンサの回路の模式図である。
【図8】本発明の一実施形態による皮膚電気活動から皮膚電気レベルを除去する回路の模式図である。
【図9】本発明の一実施形態による、クライアントとセンサとの間における通信フローのブロック図である。
【図10】本発明の一実施形態による適応信号処理アルゴリズムのブロック図である。
【図11】本発明の一実施形態によるアプリケーション・アーキテクチャのブロック図である。
【図12】本発明の一実施形態による協同リラックス・アプリケーションのブロック図である。
【図13】本発明の一実施形態による協同リラックス・ネットワーク構造のブロック図である。
【図14】本発明の一実施形態による協同リラックスを有する娯楽アプリケーションのクライアント・サーバ・アーキテクチャのブロック図である。
【図15A】本発明の一実施形態による可搬型GSRバイオセンサ及び移動体デバイス仮想ペットを示すブロック図である。
【図15B】本発明の一実施形態による簡略仮想生物の内部状態のフローを示すブロック図である。
【図16】本発明の一実施形態による仮想エージェント・モデル・アーキテクチャのブロック図である。
【図17】本発明の一実施形態による信号データからキャラクタ挙動へのマッピングを示すブロック図である。
【発明を実施するための形態】
【0036】
本発明は、以下の詳細な説明を通じて一層深く理解できるであろう。詳細な説明は、添付図面と関連付けて読むとよい。本発明の詳細な実施形態を、本明細書では開示するが、開示する実施形態は本発明の単なる例示であり、本発明は種々の形態で具現化できることは言うまでもない。したがって、本明細書において開示する具体的な機能の詳細は、限定的に解釈するのではなく、特許請求の範囲のための基本であり、そして、しかるべく詳細に説明した実施形態であれば事実上いずれにおいても本発明を様々に用いるように当業者に教示するための代表的な基礎として解釈すべきである。
【0037】
種々の生物計測測定値をバイオフィードバック用途において用いることができ、生物計測測定値には皮膚電気活動、血液酸素増量(blood oxygenation)、皮膚温度が含まれる。これら3つの生物計測測定値は、被験者の指紋、又はユーザの皮膚とのその他の接触点から変換することができる。しかしながら、哺乳類の生理機能と関連のある電気信号であって、2つの電極によって測定することができるのであれば任意のものを、センサが用いるためのフィードバックを提供するために用いることができる。
【0038】
皮膚電気活動(「EDA」)は、皮膚表面内又は皮膚表面上で御今割れる生物化学的プロセス及び生理的プロセスから生ずる電気的性質を記述する。EDAは、検流計を用いて計測することができ、その一実施形態は、皮膚表面上にある2つの部位間に一定電圧を印加し、これらの間を流れる電流を測定することによって動作し、電気コンダクタンスを計算する。この計測の時間に対するグラフは、2つの構成要素を有する。即ち、低周波数「強壮」(tonic)成分(皮膚電気レベル(「EDL」とも呼ばれる)、及びそれよりも高い周波数の「位相」(phasic)成分(皮膚電気応答(「EDR」とも呼ばれる)である。強壮成分の振幅は、個人間で大きく異なり、皮膚が環境における変化に順応して恒常性状態を達成するにしたがって経時的にゆっくりと変動する。位相成分ストレスが多い状況に対する個人の心理−肉体的反応に相関付けられるので、こちらの方が一般に関心が高い。
【0039】
血液酸素増量は、本明細書において用いる場合、酸素で飽和した被験者のヘモグロビンの割合を指す。酸素増量のレベルは、被験者の心拍数と関係があり、一方、心拍数は被験者のストレス・レベルと相関付けられる。血液酸素増量は、脈拍酸素濃度計を用いて計測することができ、この場合、2つの発光ダイオードからの光を、指紋の組織間を通過させる。各周波数において吸収される光の量は、組織内におけるヘモグロビンの酸素増量の度合いに依存する。光検出器は、出現光の量を計測し、これから酸素増量の度合いを推論することができる。つまり、本明細書において記載するセンサは、実施形態によっては、血液酸素増量を計測することもできる。
【0040】
皮膚温度も、心拍数、したがってストレスと相関付けられる。皮膚温度は、熱電対を用いて計測することができる。このデバイスの動作は、熱勾配を受けるいずれの導電体も電圧を発生するという事実、即ち、シーベック効果として知られている現象に基づいている。つまり、本明細書において記載するセンサは、実施形態によっては、皮膚温度を計測することができる。
【0041】
これより図1に移ると、本発明の一実施形態によるセンサS1の外観が示されている。センサS1は、平坦な「涙滴」形状の外装1を有し、2つの電極2、3(図示せず)が、このデバイスの対向する側面上に配置されている。オン/オフ・スイッチ4及び2つのインディケータ・ライト5、6が、デバイスのステータス(例えば、デバイスはオンかオフか、充電中か、又は低電力オン状態か)に関する情報を提供し、外装1の上面に配置されている。コネクタ7が、涙滴形状の底面に位置する。このコネクタによって、デバイスを外部電源から充電すること、又はファームウェア及びソフトウェア更新を受信することが可能になる。主要アセンブリは、(1)2つの指先間における皮膚電気活動を計測しディジタル化し、(2)得られたデータ・ストリームをワイヤレスで、リアルタイムに、PC又は移動体電話機のようなクライアント計算デバイスに伝達するために必要となる電子コンポーネント全てを収容する。また、筐体すなわち外装は、充電可能バッテリも収容し、デバイスの可搬性を高める。
【0042】
センサS2の一実施形態の別の図を図2に示す。図示のように、センサS2は、2つの接触面2、3(図示せず)を有する涙滴状筐体を含むが、他の筐体設計も可能である。センサ・デバイスS2は、人間工学的及び審美的に快適であり、使用し易いように構成されている。従前からの実務者向けのバイオフィードバック機器は、比較的用いるのが厄介である。このようなデバイスは、湿性電極(即ち、効率的に動作するために導電性ゲル又は液体の塗布を必要とする電極)を頻繁に用いる。通例、このような湿性電極は、ワイヤによって別個の電子回路ユニットに接続される。対照的に、本発明のある種の実施形態のセンサS2は、小型、可搬型、そしてワイヤレスである。この進んだ設計により、ユーザを有線接続の制限から解放し、計算プラットフォーム(例えば、PC/Mac、移動体電話機、PDA、ゲーム・コンソール、又はセット・トップ・ボックス)の異質な混成でそれを用いることを可能にする。更に、本発明の実施形態は、乾性電極2、3を利用して、ゲル又は液体による事前準備の必要性を解消する。電極は、適した2−D又は3−D外形であればいずれでも有することができる。この実施形態の形状係数により、デバイスを指間に保持するときに、最適な使用の快適さが得られる。また、筐体外装1は、審美的に楽しい「涙滴」形状を有し、消費者用製品を製造するときに、大量市場で人目を引くという利点がある。しかしながら、2つの分離した導電面を含む筐体であれば、いずれでも、しかるべき測定回路と共に用いることができる。
【0043】
図3のA及びBは、図1に示した実施形態をユーザが保持した場合の図を示す。図示のように、センサS3には、指に接続するワイヤを通じて主要アセンブリに取り付けられる電極がなく、代わりにアセンブリのいずれかの側面に2つの電極を設け、同じ手の親指32と他の1本の指33との間にユニット全体を快適に保持することができるように構成されている。デバイスの保持方法は、黙想姿勢に類似しており、例えば、親指と人差し指の先端が接触してループを形成する。図3のBに、電極3B双方の位置が示されている。
【0044】
図4は、本発明の一実施形態によるバイオセンサ・デバイスS4のコンポーネントの分解図を示す。このデバイスは、2つの保持リング9、10、2つの電極2、3、筐体を形成する2つの主要外装コンポーネント11、12、プリント回路ボード(「PCB」)13、及びバッテリ14を含んでいる。
【0045】
一実施形態によれば、PCB13に内蔵されている電子回路は、2つのモジュールに再分割することができる。即ち、用途特定アナログ・フロント・エンド、及び用途独立ディジタル/ワイヤレス・バック・エンドである。一般に、アナログ回路の役割は、生物計測信号を変換し、次いでそれを調整して(増幅、フィルタリング等により)、ディジタル化に適した形態となるようにすることである。アナログ回路は、必然的に用途特定的となる。何故なら、異なる生物計測学はそれらの特性が大きく変動するからである。しかしながら、ディジタル/ワイヤレス・モジュールは、適宜調整した広範囲の様々なアナログ生物計測信号に跨って再利用可能に設計されている。一実施形態では、このモジュールは用途独立性が非常に高い。例えば、センサ電子回路についての以下の論述ではEDAセンサに照準を当てるが、同じ設計のパラダイムは、本発明の範囲から逸脱することなく、他の生物計測信号を計測するためにも用いることができることは、当業者には認められてしかるべきである。例えば、酸素濃度計を用いた脈拍数測定、熱電対を用いた温度測定も実施することができ、この場合、対応する信号を検知し調整するために必要なアナログ回路は、その特定の用途に合わせて構成される。ある種の実施形態では、2つ以上の測定を1つのデバイスに組み込んだ実施態様も可能である。
【0046】
図5のA及びBは、センサS5の別の実施形態を示し、筐体34が円盤形状となっている。円形ディスク電極35が筐体の上面付近に配置され、第2電極36がセンサS5の側壁に沿って巻き付いている。使用時には、図5のBに示すように、ユーザは親指32を上位電極上に載せて、第2の指33をディスク・センサ33の側壁に沿って巻き回す。尚、本明細書において記載する実施形態の筐体形状は限定ではないことは、当業者には明らかであろう。例えば、筐体は、2つの電極が手の異なる指の間に保持されて、有意なバイオ信号測定を行うことができるのであれば、任意の形状でよい。一般に、2つの独立した導電面を有する3−D筐体トポロジであれば、任意のものを種々のセンサ実施形態において用いることができる。
【0047】
図6は、本発明の一実施形態によるセンサ電子回路の上位アーキテクチャを示している。このアーキテクチャは、アナログ・モジュール15と、ディジタル/ワイヤレス・モジュール16とを含む。アナログ・モジュール15は、電極2、3、増幅器17、及びフィルタ18を含む。センサの電子回路は、2つの電極2、3間における皮膚の導電性変化を測定する。また、この回路は測定パラメータを適応的に調節して、ユーザのEDLの変動を追跡し、どのように生物計測をサンプリングするか制御する。更に、この回路は、サンプル及び制御信号の双方をワイヤレスで、処理のためにクライアント計算デバイスに伝達、即ち、送信する。
【0048】
前述のように、アナログ・モジュール15は用途特定的であり、測定するバイオ信号に依存する場合がある。以下の論述では、測定するバイオ信号が皮膚電気応答である場合の実施形態について詳細に説明するが、本発明の真の技術的範囲及び思想から逸脱することなく、他のバイオ信号測定も実施できることは、当業者には明らかであろう。
【0049】
図7は、本発明の一実施形態によるアナログ回路の一部の回路模式図を示す。アナログ回路は、センサ筐体内に内蔵されているPCB13(図4)の中に位置する。電極からの信号は、第1センサ・ピン24及び第2センサ・ピン25において発生する。皮膚電気測定は、体外(exosomatic)(即ち、外部電圧を皮膚に印加する)で行われ、実施形態によっては、電極間に電圧を印加する必要がある。第1レベル近似では、ある一定の入力電圧範囲内において、電極間における皮膚の電気インピーダンスは可変オーム要素と考えることができる。この抵抗要素のコンダクタンスを測定する際の最初のステージは、一定電圧を皮膚電極間に印加することである。
【0050】
この一定電圧を、分圧器26を介して一定励起27によって供給する。増幅段17は、非反転演算増幅器(「オペアンプ」)28を利用して実装する。増幅器の利得は、飽和せずに信号をできるだけ大きく増幅するように、利得抵抗器29によって設定する。一実施形態では、マイクロプロセッサ22は、ある範囲の抵抗値から選択することによって、オペアンプ利得を制御することができる。電極からの増幅信号は、次に、フィルタ段18を通される。一実施形態によれば、殆どの皮膚電気活動では、対象となる周波数帯域は約0.5〜5Hzの間に位置する。フィルタ段階18は、主要部(mains)(50/60Hz)干渉のような外部信号を排除することによって、信号を対象周波数範囲に絞り込む。尚、アナログ−ディジタル変換器(「ADC」)20(図6)の入力において、適宜に調整した信号を得るためには、演算増幅器、分圧器、及びその他の電気コンポーネントの他の構成を実装してもよいことは、当業者には認められるであろう。
【0051】
先に詳細に説明したように、皮膚電気活動は、通常、2つの成分−強壮「基準線」レベル及び重ね合わせた位相応答を含むように記述されている。実際には、位相要素は、通常、強壮レベルと比較して小さい振幅変動を呈する。したがって、強壮成分及び位相成分を一緒に増幅すると、位相成分に対する測定分解能が著しく低下し、その結果大きな測定誤差が生ずる可能性がある。増幅の前に、位相変動を強壮レベルから分離することによって、バイオフィードバック及び分析のために最も関連のある信号成分の測定精度を著しく高めることが可能になる。
【0052】
ディジタル/ワイヤレス・モジュール16(図6)の一実施形態では、この分離を達成するために、マイクロプロセッサ22を用いてディジタル−アナログ変換器(「DAC」)21の出力を制御することによって、励起電圧27を変動させる。皮膚に印加する励起を与えることに加えて、DAC21の出力電圧を(分圧器を介して)作動オペアンプ30(図7)の負入力に印加する。直前のオペアンプ段28からの出力電圧を、作動オペアンプ30の正入力に印加すると、測定したEDAから励起電圧の比例量が減算され、これによって信号の強壮成分を低減する。2つのオペアンプ28、30を組み合わせた伝達特性は、電圧制御増幅器のそれとなり、制御電圧はDAC21によって供給される。このように、DAC21の出力電圧を変動させることによって、皮膚電気信号が大きい場合には出力の飽和を防止するために全体的な利得を下げ、皮膚電気信号が弱い場合には増大させて、信号対ノイズ比を向上させることができる。
【0053】
DAC21の電圧を適応させるためのアルゴリズムは、バイオセンサのオンボード・マイクロプロセッサ22において、又はクライアント・デバイス上で走る信号処理ルーチンにおいて、というように種々の方法で実現することができるが、これらに限定されるわけではない。後者は、柔軟性の向上に対応する。フィードバック・ループ19(図6)が形成され、ユーザの変化する皮膚電気活動に連続的に適応し、増幅器に渡される信号における強壮(tonic)レベルを最小限に抑え、位相成分の測定値の分解能を最大に高める。
【0054】
図8には、本発明の一実施形態が示されており、位相変動を強壮レベルから分離するための適応型ホイートストーン・ブリッジ回路38が実装されている。回路38は、ソフトウェア制御によってユーザの皮膚のコンダクタンスの強壮レベルを測定するように、連続的に適応することができる。アナログ設計の全体的なアーキテクチャは、図6に示す実施形態とほぼ同一であるが、ホイートストーン・ブリッジ回路36がセンサ・ピン24、25と増幅器17との間に挿入されている。ホイートストーン・ブリッジの1本のアームは、電圧制御抵抗器31(オーム領域において動作するようにバイアスされた接合型電界効果トランジスタ(JFET))となっている。一実施形態では、制御電圧は、マイクロプロセッサの制御下にある出力レベルを有するDACによって供給することができる。動作において、マイクロプロセッサはDAC電圧を様々に変化させて(これによって、電圧制御抵抗が変動する)、できるだけ多くの強壮レベルを信号から減算する。
【0055】
本発明の一実施形態によれば、図6に示すように、ディジタル/ワイヤレス・モジュール16は、4つの主要コンポーネント、即ち、ADC20、マイクロプロセッサ22、DAC21、及びワイヤレス通信モジュール23を含む。一実施形態では、個々の集積回路(「IC」)間の通信は、シリアル・バスを通じて行われる。本発明の範囲から逸脱することなく、モジュール16の異なる実施態様を利用することもできる。例えば、各コンポーネントは、専用集積回路によって実現することができ、あるいは2つ以上の機能を1つのICに組み合わせることもできる。ワイヤレス・コントローラ23は、オンボード・マイクロプロセッサを有するBluetoothモジュール、又は他のいずれのワイヤレス通信規格でもよい。モジュールにカスタム・ファームウェア・アプリケーションを用いることにより、モジュールのマイクロプロセッサ上に余分な処理容量を備えておき、外部プロセッサの必要性を回避して、(こうしなければ余分な回路のために必要となる)センサ筐体内の貴重な空間を節約することができる。実施形態によっては、ディジタル/ワイヤレス・モジュール16はオンボードDAC21も備え、オンボードDAC21は、他のディスクリート・コンポーネントを実施態様から排除するために用いることができる。外部ICを排除することにより、電力の節約、及び回路ボード・フットプリントの縮小が得られる。
【0056】
一実施形態では、独立したIC間におけるデータ通信は、シリアル・バスによって実現する。一実施形態では、集積回路間(「I2C」)規格を利用する。このような実施態様では、各ICを個別にアドレスすることができ、双方向線を通じてデータを送信及び受信することができる。シリアル・バスの帯域幅は、皮膚電気測定に必要な帯域幅よりも遥かに高い。
【0057】
ディジタル/ワイヤレス・モジュール16のADC20は、アナログ回路15の出力電圧をサンプリングし、各サンプルを特定のビット分解能に量子化する。一実施形態では、位相信号の最大周波数は約5Hzであり、毎秒10サンプルという、エリアシングを回避するのに必要な最小サンプリング・レートが可能である。ADC20が供給するサンプル毎のビット数は、弱い位相信号を精度高く測定できるだけの十分な分解能が得られるだけ高くなければならない(量子化ノイズがアナログ回路内部におけるノイズと大きさが同様となるように、サンプル当たりのビット数を増大させることが、一般的水準である)。一実施形態では、65,536レベルの分解能を得るために、サンプル当たりのビット値に16を利用することにより、位相変動の精細な分析に対処する。
【0058】
DAC21は、マイクロプロセッサからの数値を対応するアナログ電圧に変換する。アナログ電圧は、電極間に印加される励起電圧を変動させるために用いられる。既に述べたように、一実施形態では、電圧制御抵抗の値を適応ホイートストーン・ブリッジの中に設定するために、第2DACを用いてもよい。
【0059】
ワイヤレス・リンク・コントローラ23は、マイクロプロセッサ22とクライアント・デバイスとの間に「ケーブル交換」リンクを設ける。この回路の一実施形態では、Bluetoothワイヤレス技術を用いるが、一般的なアーキテクチャでは、限定ではなく、802.11、WLAN、又はZigbeeのような他のワイヤレス技術によってこのリンクを設けることもできる。ワイヤレス・コントローラ23は、ベースバンド無線制御、短期間データ・バッファリング、誤り訂正を含む通信プロトコルというような低レベルの動作を扱いつつ、これらよりも高いレベルの接続及び発見プロセスも管理する。
【0060】
オンボード・マイクロプロセッサ22は、センサ全体の動作の制御及び環境設定を行い、更に、コンポーネント間のデータ・フロー及びクライアント・デバイスへのデータ・フローの管理も行うことができる。センサからクライアント・デバイスの方向では、情報フローの大部分(bulk)はユーザ・サンプル(信号)のストリームとなる。逆方向(クライアントからセンサ)制御コマンドをセンサからクライアントに送ることができ、種々のパラメータ(先に説明したように、増幅器利得抵抗、ホイートストーン・ブリッジ可変抵抗を含む)の構成設定(configuration)を可能とし、クライアントとセンサとの間における通信リンクの種々の観点の取り決め及び設定を行うことができる。
【0061】
オンボード・マイクロプロセッサ22は、一実施形態では、プログラム可能であり、センサの動作を制御するために、カスタム・ファームウェアを記述することができる。センサとクライアントとの間の通信は、上位APIを通じて行われる。一実施形態では、APIは、構成及び制御設定値を取り決めるため、そしてセンサとクライアント・デバイスとの間でワイヤレス・リンクを通じて生物計測データをロバストに流すためのトランザクション指向プロトコルである。プロトコルの大部分は用途に依存しないが、個々の用途では、特定的な要件を扱うために中核プロトコルに対する拡張が必要となる場合もある。しかしながら、本明細書に記載する実施形態は、用途依存でもプロトコル依存でもなく、本発明の範囲及び主旨から逸脱することなく、種々のプロトコルを実装できることは、当業者には認められてしかるべきである。
【0062】
本明細書では、「クライアント」という用語は、センサ・デバイスと接続しこれと通信することができるあらゆるデバイスを意味する。潜在的にクライアントになり得るものの例には、デスクトップ・コンピュータ、mp3プレーヤ、移動電話機、PDA、ゲーム・コンソール、及びセット・トップ・ボックスが含まれるが、これらに限定されるのではない。本明細書では、「クライアント・アプリケーション」(又は単に「アプリケーション」)とは、センサによって送信する生物計測データを入力として用いるクライアント上で走るのであれば、いずれのソフトウェア・プログラムも意味する。アプリケーションをセンサ自体から分離することによって、多数の利点が得られる。このような実施態様では、センサの設計は、小型、可搬型、そして電力効率的とするとよい(オンボード視覚表示ユニット、オーディオ等を不要とする)。加えて、典型的なクライアント・デバイスは、豊富なマルチメディア機構を提供し、アプリケーションはこれらを最大限利用することができるように設計されている。センサは、異質のクライアントを混合して用いることができ、ユーザがそれらの好ましいプラットフォームを選択する際に、その柔軟性を高めることができる。
【0063】
ある種の実施形態では、ソフトウェア計算の大部分がセンサからクライアント・デバイスに移管されている。埋め込みプロセッサは、クライアント・デバイス上におけるよりも、備えている処理能力が遥かに少ないので、この手法は有利である。加えて、生産中に、センサ上のファームウェアは通例変更することができないが、これに対してアプリケーションの更新及び改良は、クライアント・デバイス上で比較的単純に行われる。したがって、ディジタル信号処理及び分析、グラフィクス及びオーディオ処理、並びにユーザ入力管理というような計算集約的プロセスは、クライアントが実行する。これに関して、センサは、潜在的なソフトウェア・アプリケーションのホストをサポートすることができる、コンテンツ・プラットフォーム(ゲーム・コンソールのように)として作用するとよい。エンド・ユーザに提供するコンテンツ及び双方向処理は、アプリケーション間で様々であるが、センサ制御やディジタル信号処理というように、ある種の機能は共通である。この共通機能性は、アプリケーション間で再利用することができるライブラリの形態で実装することができる。
【0064】
図9には、本発明の一実施形態によるクライアント/センサ・システムの全体的なアーキテクチャが示されている。先に論じたように、フィードバック・ループは、ワイヤレス・リンク40を通じて、センサ42とクライアント・コンピュータ44との間に延び、変換する生物計測データの変動にセンサが応答して、アプリケーションがセンサ回路のパラメータを適応させることができる。センサ42のオンボード・マイクロプロセッサ46は、サンプリング・レート、増幅器の利得、及びフィードバック(DAC励起、又は可変ホイートストーン・ブリッジ抵抗)のようなアナログ・モジュール・パラメータを、アプリケーションから受信する命令に応じて制御する。アナログ段階45の出力をサンプリング及びディジタル化(47)し、次いでワイヤレス・リンク40を通じてクライアント・アプリケーション48に流す。アプリケーションは、ディジタル信号処理(「DSP」)モジュール50を用いて、着信したデータ・ストリームを分析することができる。DSPモジュール50のタスクは、有用な特徴を生物計測データから抽出すること、及び、受信した信号の特性に基づいてセンサのボード上で信号調整パラメータを適宜に制御することを含むことができる。
【0065】
皮膚電気活動に関して、センサからの着信データは、個々のユーザが呈する皮膚の電気的性質が大きく異なることから、著しく変化する可能性がある。DSPモジュール50によってアナログ回路を適応させる際、受信データ・ストリームが常に所定の限度内に維持されるように設計する。これによって、特徴抽出アルゴリズムが、入力データの調整不備の結果動作しなくなることを防止する(例えば、飽和又は低い信号対ノイズ比のため)。
【0066】
DSPモジュールの役割の1つは、一実施形態では、到来する生物計測データ・ストリームに対する特徴抽出を実行することである。DSPモジュール50は、ユーザの生物計測データに基づいて、ユーザの不安度をロバストに判定することができる適応アルゴリズムを含む。この手法については、以下で更に詳しく論ずる。
【0067】
従前のバイオフィードバック・システムでは、EDA信号からの使用可能なパラメータの抽出は、信号における反応パルスの識別と、測定中におけるユーザの身体の移動によるモーション人為性(motion artifact)干渉の除去に集中していた。典型的な反応パルスのグラフ(パルス振幅対時間)は、初期の短く急峻な上昇と、基準レベルに戻るゆっくりとした低下とを含む。このようなパルスの識別は、何らかの環境刺激に対するユーザによる生理的反応の証拠として用いられる(例えば、治療又はポリグラフ・セッションにおいて検査官から発せられるコンテキスト上の質問(contextual question))。
【0068】
本発明の実施形態の中には、生物計測信号に関する連続パラメータ適応に基づくものもある。即ち、信号内における1つのイベントの境界を特定しようとするのではなく、アルゴリズムはトレンド・カウンタを蓄積する。トレンド・カウンタは、信号が(閾値傾斜レベル52よりも上に)増加しているときに増分し、(閾値傾斜値より下に)減少しているときに減分する。このアルゴリズムを示したブロック図を図10に示す。時間ウィンドウにおいて電極から受信した(58)生のEDAデータを、次にフィルタ処理して(60)、傾斜計算部62に供給する。次いで、信号を閾値レベル52と比較して、トレンド・カウンタ54を増加させるか又は減少させるか判断する。トレンド・カウンタは、主アキュミュレータ66及び副アキュミュレータ68を含む。アプリケーションは、このトレンド・カウンタ54を利用する再、ユーザの不安度70を表すN状態システムを定義する。次に、これらのシステム状態を、アプリケーションのコンテキスト内における仮想表現の何らかの性質に対応付けることができる。一例を上げると、競走ゲームにおいて3つの状態、歩行(最も不安)、走行(不安が少ない)、そして飛行(不安が最も少ない)を有するキャラクタがある。トレンド・カウンタが既定の閾値52よりも上に増加すると、システムは「高ストレス」に移行し、トレンド・カウンタ54はゼロにリセットされる(64)。トレンド・カウンタが負の閾値よりも下に減少すると、システムは「ストレス減少」状態に移行し、トレンド・カウンタは再度リセットされる。
【0069】
このように、具体的なイベントの抽出を必要とせずに、ユーザの不安度を連続的に監視することができる。アプリケーションは、変化がユーザの皮膚の種類に最適化されるように、アキュミュレータの増分に重み付けし、閾値レベルを適応させることができ、更にユーザに与えられるストレス管理タスクに対して難易度(difficulty)又は時間枠を設定することができる。センサ及びその出力を較正するために、運動付きの検査アプリケーションを用いることができる。
【0070】
特徴抽出システムの出力は、ユーザの不安度を表すN状態有限状態機械の現在の状態によって表すことができる。この状態は、コンピュータ・アプリケーション(ビデオ・ゲームのような)の内部で、仮想オブジェクトのパラメータとして表すことができる。その例には、限定ではないが、飛行するキャラクタの速度、卵を割って出てくる鳥の進展を含むことができる。ユーザが彼らの不安/リラックス・レベルを新規な方法で可視化することを可能にするアプリケーションを開発するために、多数のクライアント・プラットフォームをサポートするアプリケーション・ツールキットを開発するとよい。
【0071】
図11は、本発明の一実施形態によるツールキットを用いるアプリケーションのブロック図である。ワイヤレスAPI(例えば、Bluetooth )は、クライアント・デバイスのBluetooth機能性に対する基本レベルのインターフェースであり、サービスに合わせてリモート・デバイスを検索するため、デバイスに接続するため、そしてデータの双方向ストリーミングのための機能性を提供する。I/O管理システム・モジュールは、入力/出力データ・ストリームに管理レイヤを設ける(例えば、アプリケーションに対するキーボード又はマウス入力)。センサ通信APIは、ワイヤレス・リンクを跨ぐロバストな通信のために、生物計測データ、構成データ、及び制御データをエンコード及びデコードする。
【0072】
ディジタル信号分析ツールキットは、ディジタルFIRフィルタリング、傾斜の最小平均二乗計算、ウィンドウ及び閾値の設定、並びにこれらのコンポーネントを利用する中核の特徴抽出アルゴリズムの実装というような、基本的なアルゴリズムを備えている。フロー制御マネージャは、ユーザの相互作用に基づくアプリケーションの現在の状態を制御する有限状態マシーンを含む。グラフィック・ユーザ・インターフェース(GUI)マネージャは、メニュー、リスト、及びテキスト・ボックスのような、共通のGUIエレメントを実装する。グラフィックス・エンジンは、2D又は3D場面の描画をレンダリングする。ユーザに彼らの生物計測の表現を提示するコンテキストを作成するためにアプリケーションにおいて利用し、ユーザが生物計測に対して意識して管理することを習得できるようにする。オーディオ・エンジンは、音響及び音楽の再生を実行する。グラフィクス・エンジンと同様、オーディオ環境の態様は、ユーザの生物計測の表現を提供するために、変調することができる。
【0073】
マルチ・ユーザ実施形態
本発明の実施形態によれば、本明細書に記載する方法、システム、及びデバイスを共同して用いることができる。即ち、多数のユーザが活動に関与して、生物計測データをユーザのグループ内で協同使用する。
本発明の実施形態では、2人以上の人のグループが、仮想環境において分担タスクを実行することを伴う場合があり、タスクは協同でリラックスするグループの構成員でなければ完了することはできない。ある種の実施形態では、グループの進展をアニメーション又はオーディオの一節(audio piece)の状態によって表すことができる。タスクの進展を同時にグループの全構成員に示し、各構成員に、グループ全体のリラックス・レベルについてのフィードバックを与える。
【0074】
本発明の一実施形態は、EDA、血液酸素増量、脳内電気活動、筋肉電気活動、脈拍、又は体温というような、生物信号を監視する多数の生物計測センサ・デバイス(少なくとも、ユーザ毎に1つ)を含む。各バイオセンサからのデータ・ストリームを、少なくとも1つのクライアント・デバイス(PC、移動体デバイス、PDA、又はセット・トップ・ボックスのような)に送信する。ある種の実施形態では、クライアント・デバイス上にある信号処理モジュールが、各着信データ・ストリームを分析して、ストリーム毎に、心理学的喚起(ストレス/リラックス)情報を抽出する。別の実施形態では、信号処理モジュールは、グループのそれぞれの構成員からのデータを組み合わせて、グループの総合ストレス・レベルを表す1つの変数とする。更に別の実施形態では、グラフィック・レンダリング・システム(2D又は3D)が、グループの総合ストレス/リラックス・レベルに応じて、時と共に移り変わるアニメーションを表示する。加えて、オーディオ・システムが音響及び/又は音楽を再生してもよく、グループの総合ストレス/リラックス・レベルに基づいてその特性を変調する。
【0075】
本発明の更に別の実施形態は、ある種の生物計測信号は、高レベルの交感神経系統の喚起のような、心理生理的状態と既知の相関を呈するという事実に基づいている。一方、交感神経系統は、個人のストレス及びリラックス・レベルの日毎の概要に関係がある。このような実施形態の1つでは、脈拍の変動(「HRV」)、人の心臓の連続する拍動間の時間間隔の変動に基づく生物計測を利用する。一般に、この変動は、人にストレスがかかると増大し、リラックスすると減少する。HRVは、EKG及び脈拍酸素濃度計を含む、脈拍に関する多数の生物計測測定値の分析によって抽出することができる。このような測定は、ユーザに接続されているバイオセンサによって行い、分析及びHRVの抽出のために計算デバイスに送ることができる。別の実施形態では、ユーザのストレス・レベルを抽出するために用いる生物計測は、皮膚のコンダクタンスの変動によって生ずる皮膚電気活動である。導電性の増大は、交感神経の喚起と強い相関があり、したがってストレス・レベルの上昇を示す。尚、心理的ストレス・レベルの多くの生物計測相関は測定又は監視することができ、本発明の実施形態は、先に定めた相関に限定されるのではないことは、当業者には認められるであろう。
【0076】
一実施形態では、ストレスの尺度は、ユーザ・グループの各構成員から抽出し、個々の測定値を組み合わせて、グループ全体のリラックス・レベルの集計計量値を求める。集計は多くの方法で行うことができ、最も多いストレスを受けた構成員又は最も少ないストレスを受けた構成員のストレス・レベルとなるようにグループ計量値、グループの平均又は中点ストレス・レベル、あるいは時間に対するグループ構成員の個々のレベルの何らかの関数を選択することを含むが、これらに限定されるのではない。
【0077】
一実施形態によれば、グループ計量値は、グループに対する聴覚/視覚提示における変調パラメータとして用いることができる。これは、グループがリラックスするに連れて変化する場面をレンダリングするアニメーション・システムを含むことができる。これの一例は、グループがリラックスするにしたがって、嵐から日照に変化する場面のレンダリングを含むことができる。別の実施形態では、グループ計量値は、多数のレイヤから成る音楽ピースの一節の再生を変調することもできる。最初に、その一節の1つのレイヤのみを再生する。グループがリラックスするに連れて、明らかになるレイヤが多くなる。
【0078】
本発明の実施形態は、グループ構成員が更にリラックスする動機が得られるために、グループ内における協同的結束(cooperative bonding)、及びグループの全体的なストレス・レベルを低下させるための運動という双方のコンテキストを与える。
【0079】
一実施形態では、アプリケーションは、大規模マルチプレーヤ・オンライン・ゲーム(「MMOG」: massively-multiplayer online game)と定められる。MMOGは、分散ネットワーク・アプリケーションから成り、多数のユーザが、パーソナル・コンピュータ又は移動体デバイス上で走るクライアント・アプリケーションを通じて、永続的仮想世界に参加する。クライアント・デバイスは場面をレンダリングし、各ユーザは、仮想世界内を自由に移動するアバターによって表される。従来では、ユーザは、キーボード、マウス、トラッカ・ボール、及びゲーム・パッドのような入力デバイスによって、この世界とインターフェースしていた。本実施形態でも、各ユーザはバイオセンサを通じてMMOGクライアントとインターフェースし、バイオセンサが皮膚電気及び/又は血液酸素増量データをユーザから直接変換する。前述のように、ユーザのストレス・レベルは、変換した信号から抽出することができ、仮想世界の更新を変調し、グループ・バイオフィードバック・ループを形成するために用いることができる。
【0080】
別の実施形態では、図12に示すように、MMOGは仮想環境を含み、数人のユーザがその環境内の特定の場所で会うことができ、一方クライアント計算機にバイオセンサを通じて接続されている全員がグループ・バイオフィードバック・プロセスに参加し、各ユーザは、彼らのリラックス・レベルを通じて、仮想世界の性質を変調するパラメータに寄与する。この実施形態では、変調される性質は、コンテキストに応じて変更することができ、グループ・タスクとして、アプリケーションのフレームワークに組み込むことができる。一例は、仮想世界における天気を変調するためにグループ・リラックス・レベルを用いることである。グループには、乾熱から雨雲への天気の変化を見ることによって、その総合リラックス・レベルに対してフィードバックが与えられる。このようなグループ行動によって引き出される変化は、更に、グループが実行するタスクに対応付けることによって、何らかのコンテキスト定義目標に到達するため、例えば、仮想作物が成長するように雨を降らせるために、仮想環境のフレームワークにリンクすることができる。
【0081】
一実施形態によれば、クライアント・デバイスは、視覚及び聴覚出力を有するパーソナル・コンピュータ(コンピュータ・モニタ及びスピーカのような)、又は移動電話機のように、視聴覚処理能力を有する移動体計算デバイスのいずれかとするとよい。また、クライアント・デバイスは、Bluetooth送受信機のようなワイヤレス通信ユニットも内蔵するとよく、これによって、Bluetooth対応デバイスにワイヤレスで接続し、これらからデータを取り込むことができる。一実施形態では、生物計測信号を分析し利用するサブシステムを「感情エンジン」と呼び、クライアント側コンポーネント及びサーバ側コンポーネント双方を含む。
【0082】
別の実施形態では、バイオセンサは皮膚コンダクタンス(EDA)の変化を読み取るための検流計、及び血液酸素増量の変化を検出するための脈拍酸素濃度計を含む。バイオセンサの筐体内部で、これらのアナログ信号を取り込み、ディジタル信号に変換する。
【0083】
一実施形態によれば、EDAはサンプル当たり16ビット、及び毎秒32サンプルのサンプリング・レートで取り込まれる。血液酸素増量データは、サンプル当たり16ビット、及び毎秒128サンプルのサンプリング・レートで取り込まれる。次いで、Bluetooth(又はその他のワイヤレス・プロトコル)リンクを通じて、処理のために、ディジタル・データをワイヤレスでクライアント・デバイスに送る。
【0084】
図14に示すように、クライアント・アプリケーションの一実施形態は、Bluetooth IOシステムのような、ワイヤレス・リンクを内蔵しており、このシステムはバイオセンサとクライアント・アプリケーションとの間における双方向のデータ・フローを管理する。また、クライアント・アプリケーションは、クライアントとサーバ・アプリケーションとの間における双方向のデータ・フローを管理するために、インターネット(TCP/IP)IOシステムも実装する。感情エンジンは、バイオセンサからの入力をBluetoothIOシステムを通じて受信する。このエンジンは、通信API及びIOマネージャ、並びにカスタム・データ・プロトコルを用いて、バイオセンサからの入力データ・ストリームを解析し解釈するデコーダ・モジュールを含む。感情エンジンのクライアント(ディジタル信号分析ツールキット)は、ディジタルFIRフィルタリング、傾斜の最小平均二乗計算、ウィンドウ及び閾値の設定というような、基本的な信号処理アルゴリズムを提供する。また、これは、これらのコンポーネントを利用する中核の特徴抽出アルゴリズムの実施態様も提供する。このアプリケーションのディジタル信号処理コンポーネントは、その入力として、2つの生物計測データ・ストリーム、即ち、皮膚電気信号及び血液酸素増量信号を取り込む。また、このエンジンは、制御信号を処理しバイオセンサに送信するハードウェア・コントローラも含む。フロー制御マネージャは、ユーザのクライアント・アプリケーションに対する相互作用を制御するために、有限状態機械を実装する。グラフィカル・ユーザ・インターフェース(「GUI」)システムは、メニュー、リスト、及びテキスト・ボックスというような、共通GUIコンポーネントを実装する。グラフィクス・エンジン及びシーン・マネージャは、3Dレンダリングを実行する。オーディオ・エンジンは、音楽及び音響の再生に備える。これらの組み合わせによって、グラフィクス及びオーディオ・システムは、ユーザの生物計測に対して意識した管理を実践する強制的なフィードバックと強い動機とをユーザが受けることができるコンテキストを作成する。
【0085】
一実施形態によれば、EDAには最初にロー・パス・フィルタ処理が行われ(カットオフ周波数は5Hz)、次いで16サンプルのスライディング・ウィンドウ(sliding window)としてストリームを処理する(0.5秒のデータ、32Hzのサンプリング・レート)。最小二乗アルゴリズムを用いて、データのウィンドウについて傾斜計算を行う。この結果得られた傾斜値を、次に、ユーザのEDL(強壮レベル)で変調した一連の閾値レベルと比較する。一般に、傾斜が正側に行く程高いストレスを表し、負側に行く程低いストレスを表す。この比較に基づいて、ユーザのストレス・レベルを1つのパラメータに対応付ける。EDAデータ・ストリームは、ユーザの感情状態変化の高速応答(低レイテンシ)の尺度を表す。
【0086】
血液酸素増量データ・ストリームには、最初にロー・パス・フィルタ処理が行われ(カットオフ周波数は40Hz)、心拍毎に、現心拍周期のピーク・ピーク測定を行う。この周期を、1心拍周期サンプルのスライディング・ウィンドウに追加し(円形バッファとして実装する)、心拍毎に心拍周期の標準偏差を計算する。この値の増大はユーザのストレス増大と相関付けられ、この値の減少はユーザのストレス減少と相関付けられる。心拍変動(HRV)測定によって、レイテンシは高くなるものの、時間目盛りを長く取るとユーザの感情状態を一層正確に示すことができる(彼らのストレス・レベルから判断する)。
【0087】
MMOGサーバ・アプリケーションは、それに接続されているクライアント・アプリケーションのグループのためのハブとして作用する。図14は、MMOGシステムの基本的なコンポーネントを示す。サーバ・アプリケーションは、数個のコンポーネント・パーツを収容し、その中には、TCP/IP入力/出力データ・ストリームに管理レイヤを設けるインターネットIO管理システムが含まれる。また、サーバ・アプリケーションは、感情エンジン・サーバも含む。感情エンジン・サーバは、クライアント感情エンジン・システムからデータを読み出し、このデータを組み合わせて、ユーザの感情状態のグループを示す1つのパラメータを求める。次に、このパラメータを用いて、ワールド・シーン・コントローラ・システムが維持する1又は複数のオブジェクトの更新を変調する。ワールド・シーン・コントローラは、ユーザのアバターを含む、仮想世界における全てのオブジェクトの更新を担う。データベース・マネージャは、全てのアバター・データを含む、仮想世界における全てのオブジェクト・データの永続的記憶に対処する。物理マネージャ(Physics Manager)は、仮想世界におけるオブジェクト及びアバターの移動及び物理的相互作用を制御する物理的刺激を与える。天候システム(物理システムのサブセクション)は、仮想世界における天候を更新し、仮想世界の地図の異なる区域において、風速から雷嵐までに及ぶ変化を管理する。クライアント・アプリケーションは、局在的世界状態のサーバの世界状態表現との同期をある期間にわたって管理する役割を担う。
【0088】
感情エンジンのサーバ・コンポーネントは、クライアントの生物計測サブシステムからの生物計測データを受信する。このデータは、クライアントから、クライアント・アバターの移動及び行為に関する通常制御データと共に送られる。ユーザのストレス・レベルの各クライアントの尺度は、サーバ・アプリケーションに送られ、ここで、個々の測定値を組み合わせて、ユーザのグループの全体的なストレス/リラックス・レベルを表す1つの計量値となる。一実施形態では、総合計量値は、集合の最大値である。Liが、クライアントiによって測定したストレス・レベルを示すとする。ここで、iは1からNまでの範囲である。次いで、グループ・ストレス・レベルを次のように定義する。
Lg=Max(L1,L2, ..., Li, ...,LN)
【0089】
次に、このグループ・ストレス・レベルLgは、仮想世界の何らかの側面を制御するサーバ上で走る更に別のシステムへの入力パラメータとして用いられる。一例は、天候制御システムへの入力としてであり、Lgは、クライアント・アバターのグループが位置する仮想世界の領域における仮想気象状態を変化させるために用いられる。次に、この天候状態を各クライアントの視聴覚レンダリング・システムにフィードバックし、ユーザは、天候システム上でグループの総合的効果を見ること及び聞くことができる。その結果、集計リラックス・レベルは、グループ・バイオフィードバック・ループを形成する。この場合のバイオフィードバック・プロセスは、更に、仮想世界におけるタスクに関しても定義され、グループは、仮想世界において雨を降らせ、それによって仮想作物を成長させる程に、一緒にリラックスしなければならない。
【0090】
別の実施形態では、ユーザのグループは単体アプリケーションに参加し、各ユーザはバイオセンサを通じてアプリケーションと対話する。各バイオセンサはユーザの身体からの皮膚電気活動及び血液酸素増量を変換する。一実施形態では、グループのリラックス・レベルの尺度を計算し、コンサートを演奏するオーケストラのアニメーション及びオーディオ演出のための制御パラメータとして用いる。オーケストラが演奏するミュージカル作品は、多数のレイヤで構成される。グループが一緒にリラックスすると、音楽の余分なレイヤが追加され、ある時間量の後、作品の最大の深さ(depth)が可聴となるまで、音が大きくなる。このアプリケーションの更に別の機構によって、ユーザ・グループ全体の内個々のサブグループを、オーケストラの(弦楽又は吹奏楽のような)異なるセクションに対応付け、サブグループの相対的リラックス・レベルを測定することが可能となる。
【0091】
このようなアプリケーションの1つのコンテキストは、授業開始の前に、学生たちが一緒に愉快にリラックスしているという教室の設定である。このコンテキストを更に精細に述べると、クラスは、運動過剰又は不安の問題を抱えている学生のグループから成る。別の可能なコンテキストは、会社の設定であり、生産性を高め、チームの結束を促進するような方法として、同僚が互いにリラックスする。更に別の可能なコンテキストは、不安又は激怒管理の分野におけるクリニカル集団治療である。
【0092】
仮想エージェントの実施形態
また、本発明の実施形態は、そのユーザ相互作用モードの中で、バイオセンサを通じたバイオフィードバックを含む、仮想エージェント刺激を含む。このバイオフィードバック相互作用を、仮想エージェントの内部ドライブに関係付けて、仮想エージェントの経時的な挙動及び状態を修正する。一実施形態では、バイオフィードバック相互作用を仮想エージェントの「給餌」(feeding)に関係付ける。仮想エージェントの現在の状態が健康であるためには、ユーザは規則的な間隔でエージェントに「給餌」するために時間を費やさなければならない。この「給餌」プロセスでは、ユーザが生物計測センサを介してアプリケーションに接続する必要がある。生物計測センサ・データを処理して、ユーザのストレス/リラックス・レベルと相関のある情報を抽出する。仮想エージェントの給餌のペース(rate)は、給餌セッション中にユーザが到達したリラックス・レベルに比例する。
【0093】
仮想エージェントの給餌をユーザのリラックス・レベルと対応付けることによって、仮想エージェントの健康とユーザの健康との間で、概念的ミラーリング(mirroring:反映)が可能になる。このアプリケーションの信号処理コンポーネントは、ユーザのストレス/リラックス・レベルを計算する。ストレス・レベルが閾値未満である場合、ユーザはリラックスしていると見なされ、このリラックスは仮想キャラクタに給餌するために用いられる。この仮想給餌プロセスの間、仮想エージェントの給餌を示すアニメーションのようにして、ユーザのストレス/リラックスの表現をユーザに示す。給餌は、それ自体において、バイオフィードバック・セッションがあり、ユーザには彼/彼女のストレス/リラックス状態の連続フィードバックが与えられ、更に、仮想エージェントの空腹を満たすために、要求される時間量の間リラックスするという目標を有する。この仮想フィードバックを、図17に、給餌セッションの進展を示すインディケータ・バーとして示している。
【0094】
ユーザのリラックス・レベルにおいて生き残った仮想エージェントは、一実施形態によれば、ユーザに優しいコンテキストを与え、その中では、人は規則的にリラックスし、単純な方法で(エージェントの状態を通じて)彼らのリラックス・ルーチン全体を追跡するための時間を見出すことができる。
【0095】
図15Aは、移動体クライアント上で走る仮想キャラクタ・アプリケーションを示す。クライアント・デバイスは、エージェントの内部状態をシミュレートする実行環境を提供することに加え、アプリケーションのフロー及び、画面上におけるキャラクタの挙動の表示を管理するために、ユーザにグラフィカル・ユーザ・インターフェースを提供する。
【0096】
一実施形態では、アプリケーションは、移動体計算デバイス(プログラム実行環境及び表示画面を有する移動電話機)上で走る。一実施形態によれば、移動体デバイスは、バイオセンサにワイヤレスで接続し、センサから移動体デバイスに流入する生物計測データを分析する能力を有する。この実施形態では、バイオセンサは、ユーザの皮膚電気活動及び血液酸素投入レベルを変換するために、酸素濃度計と組み合わせた検流計を内蔵する。これらの生物信号を移動体デバイスに送り、移動体デバイスにおいて、これらをアプリケーションによって処理して、ユーザのストレス及びリラックス・レベルとの既知の相関を抽出する。
【0097】
クライアント・アプリケーションは、数個のコンポーネント・パーツを内蔵し、その中には、バイオセンサ間で送受信するデータの管理を行うBluetoothIOシステムが含まれる。通信プロトコル・システムは、センサからの入力ストリームを解析し、カスタム・プロトコルにしたがってデータを解釈する。感情エンジン・クライアント(ディジタル信号分析ツールキット)は、ディジタルFIRフィルタリング、傾斜の最小平均二乗計算、ウィンドウ及び閾値の設定というような、基本的信号処理アルゴリズムを備えている。また、これらのコンポーネントを利用する中核の特徴抽出アルゴリズムを実装する。仮想エージェント状態管理システムは、仮想キャラクタの状態の表現を維持し、エージェントの挙動を変化させる可能性がある状態及びドライブの集合全体を定義する。フロー制御マネージャは、ユーザのクライアント・アプリケーションとの対話を制御する有限状態機械を備えている。GUIシステムは、メニュー、リスト、及びテキスト・ボックスというような、共通のユーザ・インターフェース・コンポーネントを実装する。グラフィックス・エンジンは、仮想キャラクタの可視化を管理する。オーディオ・エンジンは、アプリケーション内において音響及び音楽の再生を行う。
【0098】
一実施形態によれば、アプリケーションのディジタル信号処理コンポーネントは、2つ生物計測データ・ストリーム、即ち、皮膚電気活動及び血液酸素増量をその入力として取り込む。皮膚電気活動データには最初にロー・パス・フィルタ処理が行われ(カットオフ周波数は5Hz)、次いで16サンプルのスライディング・ウィンドウ(sliding window)として処理される。最小二乗アルゴリズムを用いて、データのウィンドウについて傾斜計算を行う。この結果得られた傾斜値を、次に、ユーザのEDL(強壮レベル)で変調した一連の閾値レベルと比較する。一般に、傾斜が正側に行く程高いストレスを表し、負側に行く程低いストレスを表す。この比較に基づいて、ユーザのストレス・レベルを1つのパラメータに対応付ける。EDAデータ・ストリームは、ユーザの感情状態変化の高速応答(低レイテンシ)の尺度を表す。
【0099】
血液酸素増量データ・ストリームには、最初にロー・パス・フィルタ処理が行われ(カットオフ周波数は40Hz)、心拍毎に現心拍周期のピーク・ピーク測定を行う。この周期を、1心拍周期サンプルのスライディング・ウィンドウに追加し(円形バッファとして実装する)、心拍毎に心拍周期の標準偏差を計算する。この値の増大はユーザのストレス増大と相関付けられ、この値の減少はユーザのストレス減少と相関付けられる。心拍変動(HRV)測定によって、レイテンシが高くなるが、時間目盛りを長く取るとユーザの感情状態を一層正確に示すことができる(彼らのストレス・レベルから判断する)。
【0100】
一実施形態では、これらの計量値を仮想エージェントのシミュレーションに対する入力として用いる。シミュレーションは、内部では一連の状態を表し、その状態は、各々、「睡眠」、「食事」、「遊び」、又は「狩猟」のような、本物の動物の状態に類似する。一連のドライブは、どのようにエージェントが経時的に異なる状態間で移動するかをモデル化する。即ち、空腹ドライブ(hunger drive)は、エージェントを「遊び戯れる」から食べ物を求めて「狩猟を開始する」に移動させることができる。ユーザから抽出するリラックス計量値は、このシステムへの入力として用いられ、エージェントに「給餌」し、したがって時間と共に空腹ドライブを満足させていく。
【0101】
特定的な一実施形態では、仮想キャラクタはペットの子犬である。アプリケーションを最初に走らせるとき、ユーザには子犬の選択肢が与えられ、その中から選択する。ユーザが子犬の選択を行ったならば、それら子犬が画面上に現れ、ユーザと交流するのを待っている。子犬の挙動は、陽気にそしてユーザとの交流を望んでいるように描写することができる。ユーザは、犬を散歩に連れていく又は「狩猟ごっこ」(fetch)で遊ぶというような、一連の画面上アイコンを通じて子犬と交流することができる。子犬の内部状態は、これらの交流に基づいてその挙動を変調する自律システムを表す。
【0102】
アプリケーションは、セッション中の経過時間及びセッション同士の間の経過時間を測定し、子犬の内部ドライブ及び状態の変化を計算する。空腹に対するドライブは、時間と共に大きくなり、視覚的に表すことができる(例えば、給餌容器に向かって歩いていく子犬によって)。この挙動は、ユーザがバイオセンサを通じてアプリケーションに接続するまで、時間と共に規則性を増大させる。アプリケーションは、ユーザの生物信号を分析し、彼らのストレス/リラックス・レベルに関する情報を抽出する。子犬に給餌する量は、バイオフィードバック・セッションの時間長に関係付けられ、更にセッション中に達成されるリラックスのレベルにも関係付けられている。
【0103】
図17は、給餌プロセスの概要、及び、ユーザの皮膚電気信号と仮想ペットの視覚表現との間における一般的なマッピングの概要を示す。ユーザが子犬に規則的に給餌しないと、無気力な挙動を呈し、最終的に病気になって応答しなくなる。この状態変化を、図15Bに示す。数回のセッションを経ると、子犬は成熟した成犬に成長したように見える。給餌セッションは、それら自体が、バイオフィードバック・プロセスであり、したがってユーザには彼/彼女のリラックス・レベルに関する視覚フィードバックがリアルタイムで与えられる。これらのセッションは、所与の時間ウィンドウ内で異なる目標を達成できなければ、彼らの仮想ペットに給餌する(例えば、「リラックス競争」に勝利してゲーマの食べ物を得る)ことができないというような、ミニゲームとしてユーザに表現することができる。また、これらのセッションは、現在の給餌セッションにおいてなされる進展を示すインディケータに加えて、仮想の子犬が食べているところを示すことによって、単純に記述することもできる。(図15AにおいてBとして示すインディケータ)。仮想の犬の健康は、経時的なユーザの犬に対する注意、そして特にバイオセンサを通じた給餌セッションの規則性を反映する。
【0104】
一実施形態では、クライアント・デバイス間で仮想エージェントの状態を転送する能力を含む。移動体クライアント・デバイス(この場合、ディスプレイ・エレメントを有する移動電話機)上で走るアプリケーションをPCと同期させ、エージェントの内部状態全てを記述するデータを、2つのデバイス間で転送する。このように、仮想生物の表現は、多数のデバイスに跨って連続して存在するように見ることができる。
【0105】
別の実施形態では、仮想ペットを仮想環境の社会に「順応」させることができる。ペットの状態を、ネットワークを通じて、2つ以上のペットが自律的に交流することができる仮想環境にアップロードする。この環境は、ユーザが見ることができるので、彼/彼女は、彼らの仮想ペットが他の仮想ペットとどのように交流するか確かめることができる。
【0106】
同じ概念は、広範囲の仮想エージェント実施形態にも適用することができ、これらには、限定ではないが、ユーザのリラックス・レベルを雨/水に対応付けて植物を生かし続けるようにした人工植物又は庭園、ストレス/リラックス・レベルによって仮想魚又は魚群に給餌する仮想金魚、ユーザによって実施形態が設計可能かつ修正可能である一般的な人工エージェントが含まれる。
【0107】
移動ポリグラフ実施形態
別の実施形態では、バイオセンサに接続されているクライアント・デバイス上でアプリケーションが走り、単純なポリグラフとして作用する。ポリグラフは、1つ以上のグラフを画面上に描き、各グラフは、ユーザのストレス・レベルと相関があることが分かっている生物計測データ・ストリームを表す。
【0108】
一実施形態では、バイオセンサは皮膚表面上における皮膚電気活動を変換する。画面上に表示されるグラフは、正弦波関数を表し、その振幅は、皮膚導電性信号の現在の変化率によって変調される。導電性の大きな増加は大きな振幅の正弦波トレースに対応付けられ、皮膚電気導電性の低下は、振幅がない正弦波トレース、即ち、平坦線に対応付けられる。このマッピングによってグラフ上に生成されるグラフは、多くの人々に馴染みがある、初期の機械的ポリグラフの図と同様である。このように、ユーザは高正弦波振幅を高いストレスに明確に関連付けることができる。この実施形態は、単純な「嘘発見機」として用いることができ、その場合、一人の人が、画面上でポリグラフ線図を見ながら、他の人に質問する。
【0109】
プロトコルの例
USB、イーサネット(登録商標)、及びFireWireというような種々の有線系プロトコル、並びにBluetooth及びWi-Fiというようなワイヤレス・プロトコルは、生物計測センサとマスタ・デバイス(例えば、移動体電話機、PDA、iPOD、又はデスクトップ・コンピュータ)との間における通信をし易くするために用いることができる。加えて、生物計測センサと別のデバイスとの間における通信のために、種々の専用プロトコルを開発することもできる。
【0110】
一実施形態では、生物計測センサのプロトコルは、トランザクション指向型である。2種類のトランザクション、要求及び通知が存在する。発信側からの要求トランザクションは、受信側が承認することができる。即ち、受信側は、(a)要求のステータス(成功又は失敗)を指示するため、(b)要求において求められた適宜の情報(ある場合には)を返送するために、発信側に応答を送る。通知トランザクションは単一方向性である。つまり、発信側は応答を期待せず、受信側も送らなくてよい。別のプロトコルの実施形態では、マスタ・デバイスが生物計測デバイスに発行するトランザクションの全てが要求型であり、一方生物計測デバイスが発行するトランザクションの全てが通知型である。これは、マスタ・デバイスからの応答を解析する必要性を未然に回避することによって、生物計測デバイスにおけるトランザクション処理オーバーヘッドを極力少なくするためである。
【0111】
プロトコルの一実施形態では、1回のトランザクション完了には、1つ又は2つのメッセージが伴う。通知は1つのメッセージを含み、要求は2つのメッセージ、即ち、要求及び応答から成る。各通知又は要求メッセージは、開始シンボル及び終了シンボルによって区切ることができる。例えば、開始シンボルの直後にトランザクションID(TRANSACTION ID)が続くことができる。トランザクションIDは、このメッセージが言及する特定のトランザクション・タイプを特定する。このプロトコルでは、トランザクション・タイプに関連する追加情報を収容するペイロードを用いることができる。応答メッセージは、対応する要求のステータス、即ち、成功又は失敗を示す追加フィールドを有する。
【0112】
一実施形態では、応答メッセージのフォーマットは、対応する要求によって指令され、応答のトランザクションIDは、要求のそれと一致していなければならず、ステータス・フィールドは、要求が成功に終わったか又は失敗に終わったか示さなければならない。トランザクション・プロトコルは、バイト指向である。即ち、各トランザクションにおける情報の原子単位がバイトである実施形態もある。
【0113】
以下の表は、特定の生物計測装置のプロトコルの一実施形態について、全ての有効なトランザクションの概要を示す。
【表1】
【0114】
上記した表に掲示したトランザクションIDに加えて、プロトコルは次の用語も定義する。
【表2】
【0115】
本明細書では、種々の具体的なプロトコルの詳細を引用したが、適した有線系プロトコル又はワイヤレス・プロトコルであれば任意のものを、本明細書に記載した生物計測デバイスと通信するために用いることができる。
【0116】
以上、例示的な実施形態を参照しながら本発明について説明したが、本発明の主旨及び範囲から逸脱することなく、その他の変更、省略、及び/又は追加も行うことができ、更に実質的な同等物をその要素と置換してもよいことは、当業者には言うまでもないであろう。加えて、本発明の範囲から逸脱することなく、特定の状況又は材料を本発明の教示に適応させるために、多くの修正を行うこともできる。したがって、本発明は、発明を実施するために開示した特定的な実施形態に限定されるのではなく、本発明は、添付した請求項の範囲に該当する全ての実施形態を含むものとする。更に、特に明記しない限り、第1、第2等の用語を使用するときはいつでも、いかなる順序や重要性を示すのではなく、逆に第1、第2等の用語は、ある要素を他の要素と区別するために用いるに過ぎない。
【特許請求の範囲】
【請求項1】
生物計測センサであって、
(a)人間工学的な形状をなすデバイス筐体であって、ユーザの手の第1指と第2指との間に納まる形状の筐体と、
(b)前記第1指に接触するように、前記筐体に近接して配置された第1センサ面と、
(c)前記第2指と接触するように、前記筐体に近接して配置された第2センサ面と、
(d)前記筐体内に配置され、前記第1センサ面及び前記第2センサ面と電気的に通信し、ユーザの生理的特性を検知する信号受信エレメントと
を備えていることを特徴とする生物計測センサ。
【請求項2】
請求項1記載の生物計測センサにおいて、前記第1の指は親指であり、前記第2の指は人差し指であることを特徴とする生物計測センサ。
【請求項3】
請求項1記載の生物計測センサにおいて、前記第1及び第2センサ面は、前記筐体の対向する面に配置されていることを特徴とする生物計測センサ。
【請求項4】
請求項3記載の生物計測センサにおいて、前記第1及び第2センサ面は、実質的に平行であり、かつ互いに離れて対向していることを特徴とする生物計測センサ。
【請求項5】
請求項4記載の生物計測センサにおいて、前記第1及び第2センサ面の距離は、約1cm〜約4cmであることを特徴とする生物計測センサ。
【請求項6】
請求項1記載の生物計測センサにおいて、前記筐体の最も長い寸法は、約1cm〜約6cmの範囲であることを特徴とする生物計測センサ。
【請求項7】
請求項1記載の生物計測センサにおいて、前記筐体は実質的に涙滴形状をなすことを特徴とする生物計測センサ。
【請求項8】
請求項1記載の生物計測センサにおいて、該センサは更に、受信した生物計測信号を増幅、フィルタ処理、又はディジタル化する回路を備えていることを特徴とする生物計測センサ。
【請求項9】
生物計測装置であって、
(a)皮膚電気活動を変換するだけの十分な導電性を有し、筐体に近接して配置された第1電極及び第2電極と、
(b)前記第1及び第2電極に電気的に接続された増幅器であって、導入された信号を増幅する増幅器と、
(c)前記増幅器に電気的に接続された変換器であって、アナログ信号をディジタル信号に変換する変換器と、
(d)前記変換器と電気的に接続されたプロセッサであって、ディジタル化されたデータのフローを制御することができ、前記筐体内に配置されたプロセッサと、
(e)前記プロセッサにより発生されたデータを送信する送信機と
を備えていることを特徴とする生物計測装置。
【請求項10】
請求項9記載の生物計測装置において、前記送信機はワイヤレス送信機であることを特徴とする生物計測装置。
【請求項11】
請求項9記載の生物計測装置において、該装置は更に、前記皮膚電気信号の位相成分を、前記皮膚電気信号の強壮成分よりも多く通過させるフィルタを備えていることを特徴とする生物計測装置。
【請求項12】
請求項11記載の装置において、前記フィルタは、前記強壮成分のほぼ全体を除去するよう構成されており、前記プロセッサは、(i)皮膚電気信号の強壮成分の経時的な変動を追跡し、かつ(ii)前記フィルタが前記強壮成分をほぼ除去するように該フィルタにフィードバック・パラメータを提供するようにプログラムされていることを特徴とする装置。
【請求項13】
請求項9記載の装置において、該装置は更に、前記プロセッサと接続された検出エレメントを備えていることを特徴とする装置。
【請求項14】
請求項13記載の装置において、前記検出エレメントは、光検出器、熱電対、温度センサ、及び血液酸素レベル・センサから成る一群から選択されることを特徴とする装置。
【請求項15】
請求項9記載の装置において、前記データはクライアント計算デバイスに送信され、該クライアント計算デバイスは、ハンドヘルド・デバイス、移動体電話機、家庭用娯楽システム、ゲーム・コンソールを含み、前記クライアント・デバイスが、前記ユーザ・データの処理及びユーザに対する視聴覚提示の大部分を実行することを特徴とする装置。
【請求項16】
皮膚電気信号からユーザの不安度を判定する方法であって、
(a)ユーザから皮膚電気データを受信するステップと、
(b)高周波成分を除去するために、前記データをフィルタ処理するステップと、
(c)前記フィルタ処理後のデータの傾斜を計算するステップと、
(d)前記フィルタ処理後のデータを閾値と比較するステップと、
(e)閾値以内に納まるイベント数を蓄積するステップと、
(f)所与の時間期間の間に蓄積されたイベントの数を判定するステップと
を備えていることを特徴とする方法。
【請求項17】
請求項16記載の方法において、該方法は更に、前記イベントの数に応答して、制御可能システムへの入力を発生するステップを備えていることを特徴とする方法。
【請求項18】
請求項16記載の方法において、前記高周波成分は、皮膚電気応答に対応することを特徴とする方法。
【請求項19】
生物計測データに基づいてクライアント・アプリケーションを提供するシステムであって、
(a)生物計測センサであって、
(i)皮膚電気活動を変換するだけの十分な導電性を有し、筐体に近接して配置された第1電極及び第2電極と、
(ii)前記第1及び第2電極に電気的に接続された増幅器であって、導入された信号を増幅する増幅器と、
(iii)前記増幅器に電気的に接続された変換器であって、アナログ信号をディジタル信号に変換する変換器と、
(iv)前記変換器と電気的に接続された生物計測プロセッサであって、ディジタル化されたデータのフローを制御することができ、前記筐体内に配置された生物計測プロセッサと、
(v)前記プロセッサにより発生されたデータを送信する送信機と
を備えている生物計測センサと、
(b)クライアント・コンピュータ・デバイスであって、
(i)該クライアント・コンピュータ・デバイスが前記生物計測プロセッサとディジタル・データを無線で送受信可能にするための無線リンク・コントローラと、
(ii)前記無線リンク・コントローラによって提供されたディジタル・データを処理し、該データを入力として使用するクライアント・アプリケーションをランさせるクライアント・プロセッサと
からなるクライアント・コンピュータ・デバイスと
を備えていることを特徴とするシステム。
【請求項20】
請求項19記載のシステムにおいて、前記第1及び第2電極は、実質的に平行であり、かつ互いに離れて対向していることを特徴とするシステム。
【請求項21】
請求項20記載のシステムにおいて、前記第1及び第2電極の距離は、約1cm〜約4cmであることを特徴とする生物計測センサ。
【請求項22】
請求項19記載のシステムにおいて、前記生物計測センサは更に、前記皮膚電気信号の位相成分を、前記皮膚電気信号の強壮成分よりも多く通過させるフィルタを備えていることを特徴とするシステム。
【請求項23】
請求項22記載のシステムにおいて、前記フィルタは、前記強壮成分のほぼ全体を除去するよう構成されており、前記プロセッサは、(i)皮膚電気信号の強壮成分の経時的な変動を追跡し、かつ(ii)前記フィルタが前記強壮成分をほぼ除去するように該フィルタにフィードバック・パラメータを提供するようにプログラムされていることを特徴とするシステム。
【請求項24】
請求項22記載のシステムにおいて、前記クライアント・コンピュータ・デバイスはさらに、前記生物計測プロセッサから受け取った生物計測データから1又は複数の特性を抽出して前記クライアント・アプリケーションに提供するディジタル信号分析器を備えていることを特徴とするシステム。
【請求項25】
請求項24記載のシステムにおいて、前記1又は複数の特性は、ストレス度、不安度、及びくつろぎ度から選択されることを特徴とするシステム。
【請求項26】
請求項24記載のシステムにおいて、前記クライアント・アプリケーションは、仮想エージェント・アプリケーションであり、前記特性は、仮想エージェントの振る舞いに変更が生じるように仮想エージェントの状態を修正するよう構成されていることを特徴とするシステム。
【請求項27】
請求項26記載のシステムにおいて、前記仮想エージェントは、仮想の人間、仮想ペット、及び仮想植物から選択されていることを特徴とするシステム。
【請求項28】
対話型仮想エージェントを提供する方法であって、
(a)1又は複数のバイオセンサからユーザの生物計測データを受信するステップと、
(b)ストレス度、不安度、及びくつろぎ度から選択される特性を、前記生物計測データから抽出するステップと、
(c)抽出された特性をクライアント・アプリケーションに提供するステップと、
(d)前記仮想エージェントにより行われた振る舞いを表す1組の状態を、前記クライアント・アプリケーションによって保持するステップと、
(e)提供された特性に基づいて、前記仮想エージェントの現在の状態を変更するステップと、
(f)前記仮想エージェントの現在状態に基づいて、前記クライアント・アプリケーションにより可聴可視の表現を生成するステップと
からなることを特徴とする方法。
【請求項29】
請求項28記載の方法において、前記1又は複数のバイオセンサは、皮膚電気センサ、光検出器、熱電対、温度センサ、及び血液酸素レベル・センサから成る一群から選択されていることを特徴とする方法。
【請求項30】
請求項28記載の方法において、前記1又は複数のバイオセンサは、相成分を有する皮膚電気データを提供する皮膚電気センサであり、該方法はさらに、前記皮膚電気データをフィルタリングして前記相成分を得るステップを備えていることを特徴とする方法。
【請求項31】
請求項28記載の方法において、前記仮想エージェントは、仮想の人間、仮想ペット、及び仮想植物から選択されていることを特徴とする方法。
【請求項32】
請求項31記載の方法において、前記状態によって表される前記振る舞いは、1又は複数の給餌及び空腹の表示を含んでいることを特徴とする方法。
【請求項1】
生物計測センサであって、
(a)人間工学的な形状をなすデバイス筐体であって、ユーザの手の第1指と第2指との間に納まる形状の筐体と、
(b)前記第1指に接触するように、前記筐体に近接して配置された第1センサ面と、
(c)前記第2指と接触するように、前記筐体に近接して配置された第2センサ面と、
(d)前記筐体内に配置され、前記第1センサ面及び前記第2センサ面と電気的に通信し、ユーザの生理的特性を検知する信号受信エレメントと
を備えていることを特徴とする生物計測センサ。
【請求項2】
請求項1記載の生物計測センサにおいて、前記第1の指は親指であり、前記第2の指は人差し指であることを特徴とする生物計測センサ。
【請求項3】
請求項1記載の生物計測センサにおいて、前記第1及び第2センサ面は、前記筐体の対向する面に配置されていることを特徴とする生物計測センサ。
【請求項4】
請求項3記載の生物計測センサにおいて、前記第1及び第2センサ面は、実質的に平行であり、かつ互いに離れて対向していることを特徴とする生物計測センサ。
【請求項5】
請求項4記載の生物計測センサにおいて、前記第1及び第2センサ面の距離は、約1cm〜約4cmであることを特徴とする生物計測センサ。
【請求項6】
請求項1記載の生物計測センサにおいて、前記筐体の最も長い寸法は、約1cm〜約6cmの範囲であることを特徴とする生物計測センサ。
【請求項7】
請求項1記載の生物計測センサにおいて、前記筐体は実質的に涙滴形状をなすことを特徴とする生物計測センサ。
【請求項8】
請求項1記載の生物計測センサにおいて、該センサは更に、受信した生物計測信号を増幅、フィルタ処理、又はディジタル化する回路を備えていることを特徴とする生物計測センサ。
【請求項9】
生物計測装置であって、
(a)皮膚電気活動を変換するだけの十分な導電性を有し、筐体に近接して配置された第1電極及び第2電極と、
(b)前記第1及び第2電極に電気的に接続された増幅器であって、導入された信号を増幅する増幅器と、
(c)前記増幅器に電気的に接続された変換器であって、アナログ信号をディジタル信号に変換する変換器と、
(d)前記変換器と電気的に接続されたプロセッサであって、ディジタル化されたデータのフローを制御することができ、前記筐体内に配置されたプロセッサと、
(e)前記プロセッサにより発生されたデータを送信する送信機と
を備えていることを特徴とする生物計測装置。
【請求項10】
請求項9記載の生物計測装置において、前記送信機はワイヤレス送信機であることを特徴とする生物計測装置。
【請求項11】
請求項9記載の生物計測装置において、該装置は更に、前記皮膚電気信号の位相成分を、前記皮膚電気信号の強壮成分よりも多く通過させるフィルタを備えていることを特徴とする生物計測装置。
【請求項12】
請求項11記載の装置において、前記フィルタは、前記強壮成分のほぼ全体を除去するよう構成されており、前記プロセッサは、(i)皮膚電気信号の強壮成分の経時的な変動を追跡し、かつ(ii)前記フィルタが前記強壮成分をほぼ除去するように該フィルタにフィードバック・パラメータを提供するようにプログラムされていることを特徴とする装置。
【請求項13】
請求項9記載の装置において、該装置は更に、前記プロセッサと接続された検出エレメントを備えていることを特徴とする装置。
【請求項14】
請求項13記載の装置において、前記検出エレメントは、光検出器、熱電対、温度センサ、及び血液酸素レベル・センサから成る一群から選択されることを特徴とする装置。
【請求項15】
請求項9記載の装置において、前記データはクライアント計算デバイスに送信され、該クライアント計算デバイスは、ハンドヘルド・デバイス、移動体電話機、家庭用娯楽システム、ゲーム・コンソールを含み、前記クライアント・デバイスが、前記ユーザ・データの処理及びユーザに対する視聴覚提示の大部分を実行することを特徴とする装置。
【請求項16】
皮膚電気信号からユーザの不安度を判定する方法であって、
(a)ユーザから皮膚電気データを受信するステップと、
(b)高周波成分を除去するために、前記データをフィルタ処理するステップと、
(c)前記フィルタ処理後のデータの傾斜を計算するステップと、
(d)前記フィルタ処理後のデータを閾値と比較するステップと、
(e)閾値以内に納まるイベント数を蓄積するステップと、
(f)所与の時間期間の間に蓄積されたイベントの数を判定するステップと
を備えていることを特徴とする方法。
【請求項17】
請求項16記載の方法において、該方法は更に、前記イベントの数に応答して、制御可能システムへの入力を発生するステップを備えていることを特徴とする方法。
【請求項18】
請求項16記載の方法において、前記高周波成分は、皮膚電気応答に対応することを特徴とする方法。
【請求項19】
生物計測データに基づいてクライアント・アプリケーションを提供するシステムであって、
(a)生物計測センサであって、
(i)皮膚電気活動を変換するだけの十分な導電性を有し、筐体に近接して配置された第1電極及び第2電極と、
(ii)前記第1及び第2電極に電気的に接続された増幅器であって、導入された信号を増幅する増幅器と、
(iii)前記増幅器に電気的に接続された変換器であって、アナログ信号をディジタル信号に変換する変換器と、
(iv)前記変換器と電気的に接続された生物計測プロセッサであって、ディジタル化されたデータのフローを制御することができ、前記筐体内に配置された生物計測プロセッサと、
(v)前記プロセッサにより発生されたデータを送信する送信機と
を備えている生物計測センサと、
(b)クライアント・コンピュータ・デバイスであって、
(i)該クライアント・コンピュータ・デバイスが前記生物計測プロセッサとディジタル・データを無線で送受信可能にするための無線リンク・コントローラと、
(ii)前記無線リンク・コントローラによって提供されたディジタル・データを処理し、該データを入力として使用するクライアント・アプリケーションをランさせるクライアント・プロセッサと
からなるクライアント・コンピュータ・デバイスと
を備えていることを特徴とするシステム。
【請求項20】
請求項19記載のシステムにおいて、前記第1及び第2電極は、実質的に平行であり、かつ互いに離れて対向していることを特徴とするシステム。
【請求項21】
請求項20記載のシステムにおいて、前記第1及び第2電極の距離は、約1cm〜約4cmであることを特徴とする生物計測センサ。
【請求項22】
請求項19記載のシステムにおいて、前記生物計測センサは更に、前記皮膚電気信号の位相成分を、前記皮膚電気信号の強壮成分よりも多く通過させるフィルタを備えていることを特徴とするシステム。
【請求項23】
請求項22記載のシステムにおいて、前記フィルタは、前記強壮成分のほぼ全体を除去するよう構成されており、前記プロセッサは、(i)皮膚電気信号の強壮成分の経時的な変動を追跡し、かつ(ii)前記フィルタが前記強壮成分をほぼ除去するように該フィルタにフィードバック・パラメータを提供するようにプログラムされていることを特徴とするシステム。
【請求項24】
請求項22記載のシステムにおいて、前記クライアント・コンピュータ・デバイスはさらに、前記生物計測プロセッサから受け取った生物計測データから1又は複数の特性を抽出して前記クライアント・アプリケーションに提供するディジタル信号分析器を備えていることを特徴とするシステム。
【請求項25】
請求項24記載のシステムにおいて、前記1又は複数の特性は、ストレス度、不安度、及びくつろぎ度から選択されることを特徴とするシステム。
【請求項26】
請求項24記載のシステムにおいて、前記クライアント・アプリケーションは、仮想エージェント・アプリケーションであり、前記特性は、仮想エージェントの振る舞いに変更が生じるように仮想エージェントの状態を修正するよう構成されていることを特徴とするシステム。
【請求項27】
請求項26記載のシステムにおいて、前記仮想エージェントは、仮想の人間、仮想ペット、及び仮想植物から選択されていることを特徴とするシステム。
【請求項28】
対話型仮想エージェントを提供する方法であって、
(a)1又は複数のバイオセンサからユーザの生物計測データを受信するステップと、
(b)ストレス度、不安度、及びくつろぎ度から選択される特性を、前記生物計測データから抽出するステップと、
(c)抽出された特性をクライアント・アプリケーションに提供するステップと、
(d)前記仮想エージェントにより行われた振る舞いを表す1組の状態を、前記クライアント・アプリケーションによって保持するステップと、
(e)提供された特性に基づいて、前記仮想エージェントの現在の状態を変更するステップと、
(f)前記仮想エージェントの現在状態に基づいて、前記クライアント・アプリケーションにより可聴可視の表現を生成するステップと
からなることを特徴とする方法。
【請求項29】
請求項28記載の方法において、前記1又は複数のバイオセンサは、皮膚電気センサ、光検出器、熱電対、温度センサ、及び血液酸素レベル・センサから成る一群から選択されていることを特徴とする方法。
【請求項30】
請求項28記載の方法において、前記1又は複数のバイオセンサは、相成分を有する皮膚電気データを提供する皮膚電気センサであり、該方法はさらに、前記皮膚電気データをフィルタリングして前記相成分を得るステップを備えていることを特徴とする方法。
【請求項31】
請求項28記載の方法において、前記仮想エージェントは、仮想の人間、仮想ペット、及び仮想植物から選択されていることを特徴とする方法。
【請求項32】
請求項31記載の方法において、前記状態によって表される前記振る舞いは、1又は複数の給餌及び空腹の表示を含んでいることを特徴とする方法。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図15A】
【図15B】
【図13】
【図16】
【図17】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図15A】
【図15B】
【図13】
【図16】
【図17】
【公表番号】特表2010−518914(P2010−518914A)
【公表日】平成22年6月3日(2010.6.3)
【国際特許分類】
【出願番号】特願2009−549870(P2009−549870)
【出願日】平成20年2月15日(2008.2.15)
【国際出願番号】PCT/IB2008/001363
【国際公開番号】WO2008/099288
【国際公開日】平成20年8月21日(2008.8.21)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
2.ZIGBEE
【出願人】(509229843)ヴィロ・ゲームス・リミテッド (1)
【Fターム(参考)】
【公表日】平成22年6月3日(2010.6.3)
【国際特許分類】
【出願日】平成20年2月15日(2008.2.15)
【国際出願番号】PCT/IB2008/001363
【国際公開番号】WO2008/099288
【国際公開日】平成20年8月21日(2008.8.21)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
2.ZIGBEE
【出願人】(509229843)ヴィロ・ゲームス・リミテッド (1)
【Fターム(参考)】
[ Back to top ]