行動識別装置
【課題】日常生活に支障のない身体の部位から検知された生体情報に基づいて使用者の行動を識別することができる行動識別装置を提供する。
【解決手段】使用者の額に装着された生体電極1により検知された生体信号は生体信号取得部2により取得され、前処理部4はその生体信号から周波数に基づいて分離した被識別データを生成する。行動識別部10は被識別データに基づいて使用者の行動を識別する。
【解決手段】使用者の額に装着された生体電極1により検知された生体信号は生体信号取得部2により取得され、前処理部4はその生体信号から周波数に基づいて分離した被識別データを生成する。行動識別部10は被識別データに基づいて使用者の行動を識別する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の行動を識別する装置、特に、人の生体信号に基づいて行動を識別する装置に関する。
【背景技術】
【0002】
従来、人の行動の補助やマン・マシンインターフェイスのために人の行動を識別する技術が提案されている。特に、近年では生体信号を用いた技術が提案されている。
【0003】
例えば、目の動き、すなわち、視線方向を識別するための方法としてEOG法と呼ばれる方法が提案されている。このEOG法では、目の周囲に装着した電極により角膜部と網膜部との電位を取得し、これらの電位差により眼球運動、すなわち、視線の移動を測定することができる。
【0004】
また、発話音声を識別するための技術も提案されており、例えば、特許文献1から2に開示されたものがある。これらの特許文献の技術では、取得した生体信号から抽出される特徴量と予め登録されている発話音声の特徴量とを比較することにより、発話音声を識別している。なお、生体信号を取得するためのセンサチップ(生体電極)は、特許文献1では、使用者の咽頭部、喉頭部、気道、顔面、口腔部、鼻腔部等に埋め込み、特許文献2では、頸部、顔面等に装着している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平5−293128号公報
【特許文献2】特開2004−329750号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述したように、これらの技術では生体情報に基づいて使用者の行動(視線移動方向や発話音声)を識別することができる。しかし、生体情報を取得する生体電極等のセンサを眼の周囲や人体内部、頸部、顔面等に装着しているため、日常生活や他の行動を阻害するおそれがあり、好ましくない。また、眼の周囲から得られる生体信号からは視線移動を識別することしかできず、また、頸部等から得られる生体信号からは発話音声を識別することしかできない。つまり、特定の行動を識別するためには人体の特定の部位にセンサを装着しなければならない。そのため、視線移動と発話音声とを識別するためには、非常に多くのセンサを装着しなければならない。
【0007】
本発明は上記課題に鑑みてなされたものであり、その目的は、日常生活に支障のない身体の部位から検知された生体情報に基づいて使用者の行動を識別することができる行動識別装置を提供することである。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明の行動識別装置は、使用者の額に装着され、当該使用者の生体信号を検知する生体電極と、検知された前記生体信号を取得する生体信号取得部と、前記生体信号取得部により取得された前記生体信号から周波数に基づいて分離した被識別データを生成する前処理部と、前記被識別データに基づいて前記使用者の行動を識別する行動識別部と、を備えている。
【0009】
この構成では、生体電極は使用者の額に装着されている。そのため、眼の周囲や顔面等への装着に比べて使用者の行動を阻害することもない。また、この構成では生体信号から生成された被識別データに基づいて使用者の行動の識別が行われるものであるが、額から得られる生体信号には様々な器官に由来する生体信号が含まれているため、額から検知した生体信号に基づけば複数の行動を識別することができる。
【0010】
行動の識別は様々な方法を用いることができるが、本発明の行動識別装置の好適な実施形態の一つでは、前記行動識別部は、統計的学習則に基づいて前記行動を識別する。
【0011】
本発明の行動識別装置の好適な実施形態の一つでは、取得された前記生体信号を所定の閾値より低い周波数を持つ低周波生体信号と前記閾値以上の周波数を持つ高周波生体信号とに分離する生体信号分離部を備え、前記前処理部は前記低周波生体信号から低周波被識別データを生成し、前記高周波生体信号から高周波被識別データを生成し、前記行動識別部は前記低周波被識別データと前記高周波被識別データとに基づいて前記行動を識別する。
【0012】
この構成では、取得された生体信号を低周波成分と高周波成分とに分離し、それぞれに基づいて行動を識別している。特に、本発明の発明者らの研究により、生体信号の低周波成分は行動の種別(発話音声や視線移動方向等)を表しており、高周波成分は行動の量(発話音声の大きさ、タイミング、視線移動量等)を表していることが判明しているため、前記行動識別部は、前記低周波被識別データに基づいて前記行動の種別を識別する行動種別識別部と、前記高周波被識別データに基づいて前記行動の量を識別する行動量識別部と、を備えることが好ましい。この構成により、行動の種別および量を同時に識別することができる。
【0013】
また、本発明の発明者らの研究により、整流化した生体信号の高周波成分の低周波成分は筋肉の張力と類似する波形となることが判明している。そのため、本発明の行動識別装置の好適な実施形態の一つでは、前記行動量識別部は、整流化された前記高周波被識別データの低周波成分に基づいて前記行動の量を識別する。これにより、適切な行動の量を識別することができる。
【0014】
本発明の行動識別装置の好適な実施形態の一つでは、複数の前記生体電極が前記使用者の額に所定間隔で装着され、前記生体信号取得部は各々の前記生体電極から前記生体信号を取得し、前記前処理部は前記生体信号取得部により取得された複数の前記生体信号の各々から前記被識別データを生成し、前記行動識別部は複数の前記被識別データの各々に基づいて識別された結果を統合することにより前記行動を識別する。
【0015】
この構成では、複数の生体電極により検知された生体信号に基づいて行動の識別が行われるため、ロバスト性を向上させることができる。
【図面の簡単な説明】
【0016】
【図1】行動識別装置の構成図である。
【図2】処理装置の機能ブロック図である。
【図3】生体信号取得部の入出力を示す図である。
【図4】生体信号分離部の入出力を示す図である。
【図5】前処理部の入出力を示す図である。
【図6】識別器の入出力を示す図である。
【図7】行動識別装置の処理の流れを表すフローチャートである。
【図8】低周波生体信号に対する前処理の流れを表すフローチャートである。
【図9】高周波生体信号に対する前処理の流れを表すフローチャートである。
【図10】生体信号および生体信号から得られる信号の例である。
【図11】生体信号および生体信号の低周波成分および高周波成分の例である。
【発明を実施するための形態】
【0017】
以下に、図面を用いて本発明の行動識別装置の実施形態を説明する。図1は行動識別装置の構成図である。本発明の行動識別装置は使用者から生体信号を検知する生体電極1および検知された生体信号を処理する処理装置Aから構成されている。図に示すように、本発明の行動識別装置は8つの生体電極1aから1hを備えており、いずれも使用者の額に装着されている。
【0018】
生体電極1を額に装着することは本発明の特徴の1つである。額から得られる生体信号には表情変化、眼球移動、舌の運動等により生じる筋電等の変化が含まれている。すなわち、額から得られる生体信号には複数の行動(視線移動や発話音声等)を示す変化が含まれている。そのため、額から得られる生体信号を用いれば、発話音声や視線移動等の複数の異なる行動を識別することができる。また、生体電極1を額に装着すれば、口や眼の周囲に装着することと比べて、使用者の行動を阻害することがない。
【0019】
なお、本実施形態では、生体電極の装着位置は10−20法に基づいており、生体電極1aから1hの装着位置はそれぞれ10−20法におけるF4,Fz,F3,F8,Fp1,Fpz,Fp2,F7の位置としている。したがって、処理装置Aには8チャネルの生体信号が入力されることとなる。
【0020】
一方、図1および2に示すように、処理装置Aは、生体電極1から生体信号を取得する生体信号取得部2、生体信号取得部2から出力された生体信号を低周波成分の低周波生体信号と高周波成分の高周波生体信号とに分離する生体信号分離部3、生体信号分離部3から出力される低周波生体信号および高周波生体信号に対して前処理を行い、被識別データを生成する前処理部4、前処理部4により生成された被識別データに基づいて使用者の行動を識別する行動識別部10を備えている。
【0021】
上述したように、生体信号取得部2には生体電極1からの生体信号が入力されている。しかし、生体電極1により検知された生体信号は微弱であるため、そのままでは後の処理が行い難い。そのため、本実施形態の生体信号取得部2は信号を増幅する機能を有している。また、本実施形態では以下の信号処理はデジタル信号処理としているため、生体信号取得部2は生体信号をデジタル信号に変換する機能も有している。そのため、本実施形態における生体信号取得部2は、図3に示すように、生体電極1から入力される生体信号(アナログ)を増幅する増幅器2a、増幅された生体信号をデジタル化するA/Dコンバータ2bを備えている。なお、本実施形態ではA/D変換のサンプリングレートは500Hzとしているが、サンプリングレートは適宜変更可能である。
【0022】
なお、図3の生体信号取得部の構成図は1チャネル分のみであり、生体信号取得部2はチャネル数と同数、すなわち、8つの増幅器2aおよびA/Dコンバータ2bを備えている。したがって、生体信号取得部2は8チャネルの生体信号(デジタル)を出力する(図2参照)。
【0023】
生体信号分離部3は、生体信号取得部2により増幅された生体信号を所定の閾値よりも低い周波数成分を持つ低周波生体信号と所定の閾値以上の周波数成分を持つ高周波生体信号とに分割する。本実施形態では、図4に示すように各チャネルの生体信号に対してそれぞれLPF3a(ローパスフィルタ)およびHPF3b(ハイパスフィルタ)を備えている。なお、図は1チャネル分のみを記しており、実際にはチャネル数と同数、すなわち8つのLPF3aおよびHPF3bを備えている。したがって、生体信号分離部3からは8チャネルの低周波生体信号と8チャネルの高周波生体信号とが出力される(図2参照)。なお、本実施形態ではLPF3aおよびHPF3bのカットオフ周波数は50Hzとしている。
【0024】
前処理部4は、生体信号分離部3から出力される低周波生体信号に対して前処理を施した低周波被識別データと、高周波生体信号に対して前処理を施した高周波被識別データとを生成する。本実施形態では、図5に示すように、前処理部4は、低周波生体信号に対して低周波生体信号に適した前処理(詳細は後述)を施して低周波被識別データを生成する低周波前処理部4aと、高周波生体信号に対して高周波生体信号に適した前処理(詳細は後述)を施して高周波被識別データを生成する高周波前処理部4bとを備えている。なお、図は1チャネル分のみを記しており、実際にはチャネル数と同数、すなわち、8つの低周波前処理部4aおよび高周波前処理部4bが備えられている。したがって、前処理部4からは8チャネルの低周波被識別データと8チャネルの高周波被識別データとが出力される(図2参照)。
【0025】
行動識別部10は、図2に示すように、8つの識別器11aから11hと、これらの識別器による識別結果を統合し、最終的な識別結果を出力する識別結果統合部12と、を備えている。また、各々の識別器11は、図6に示すように、低周波被識別データに基づいて行動の種類を識別する行動種別識別部111および高周波被識別データに基づいて行動の量を識別する行動量識別部112を備えている。本実施形態では、行動種別識別部111および行動量識別部112は、SVM(Support Vector Machine、統計的学習則の例)により構成されている。行動種別識別部111は低周波被識別データを入力として、行動の種別のカテゴリ番号を出力する。一方、行動量識別部112は高周波被識別データを入力として、行動の量のカテゴリ番号を出力する。
【0026】
なお、識別器11aから11hに構成されているSVMのパラメータは共通ではなく、それぞれ、生体電極1aから1hからの生体信号に基づく学習により構築されたものである。SVMのパラメータの構築には、同じ行動を行った複数の被験者から得られた低周波被識別データおよび高周波被識別データが使用される。
【0027】
以下に、図7から図9のフローチャートを用いて本発明の行動識別装置の処理の流れを説明する。なお、以下の説明では、使用者が所定の行動を行った際の生体信号が予め切り出された状態となっているものとする。
【0028】
まず、生体電極1により検知された8チャネルの生体信号が生体信号取得部2により取得されると、増幅器2aにより増幅され、A/Dコンバータ2bによりデジタル化された生体信号が生体信号分離部3に出力される(#01)。したがって、生体信号取得部2から生体信号分離部3に対して8チャネルの生体信号が送られる。図10(a)は使用者が視線を視野の中央から上方向に約40°移動させた際に生体信号取得部2から出力される1チャネル分の生体信号の例である。
【0029】
生体信号取得部2から生体信号を取得した生体信号分離部3では、各チャネルの生体信号を各チャネルのLPF3aおよびHPF3bに入力し、それぞれから低周波生体信号および高周波生体信号を出力する(#02)。したがって、生体信号分離部3からは8チャネルの低周波生体信号および8チャネルの高周波生体信号が出力される。図10(b)および(d)は図10(a)の生体信号に対する低周波生体信号および高周波生体信号の例である。
【0030】
生体信号分離部3から8チャネルの低周波生体信号と8チャネルの高周波生体信号を取得した前処理部4は、低周波生体信号を低周波前処理部4aに入力して低周波被識別データを生成するとともに、高周波生体信号を高周波前処理部4bに入力して高周波被識別データを生成する(#03)。
【0031】
図8は、低周波前処理部4aの処理の流れを表すフローチャートである。低周波前処理部4aは、先ず取得した低周波生体信号に対してベースライン補正を施し(#11)、基準電圧を定める。次に、ベースライン補正された低周波生体信号に対して、振幅の正規化(ノーマライズ)を施す(#12)。これにより、振幅のばらつきによる識別精度の低下を抑制することができる。さらに、このような処理が施された低周波生体信号に対してダウンサンプリングを行い、低周波被識別データとして出力する(#13)。なお、ダウンサンプリングのサンプリングレートは、行動種別識別部111の入力データの次元数と低周波被識別データの次元数とが一致するように決定される。図10(c)は図10(b)の低周波生体信号から生成された低周波被識別データの例である。
【0032】
図9は、高周波前処理部4bの処理の流れを表すフローチャートである。本実施形態における高周波前処理部4bは、高周波生体信号に対して全整流化処理を施し(#21)、3Hzのカットオフ周波数のローパス処理を施している(#22)。図10(e)は図10(d)の高周波生体信号から生成された高周波被識別データである。このようにして得られた高周波被識別データは、使用者が行動した際の筋肉の張力に近似しており、この高周波被識別データに基づけば行動の量を識別できることが、発明者らの研究により判明している。例えば、上述のように視線を上方向に移動した場合には、高周波被識別データの立ち上がりと立ち下がりとの時点は、眼球運動のタイミングを表していることが判明している。また、高周波被識別データの振幅を含めた波形パターンは、視線の移動量と相関していることが判明している。したがって、高周波被識別データの波形パターンに基づけば、視線移動量を識別することができる。
【0033】
なお、高周波前処理部4bにおいても適宜ダウンサンプリングを行い、行動量識別部112の次元数と高周波被識別データの次元数とを一致させる(#23)。
【0034】
このようにして、前処理部4により低周波生体信号および高周波生体信号からそれぞれ8チャネルの低周波被識別データおよび高周波被識別データが生成され、行動識別部10に出力される。
【0035】
前処理部4から出力される8チャネルの低周波被識別データおよび高周波被識別データはそれぞれ行動識別部10の識別器11aから11hに入力される。各々の識別器11では、低周波被識別データが行動種別識別部111に入力され、高周波被識別データが行動量識別部112に入力される。上述したように、行動種別識別部111からは行動の種別を表すカテゴリ番号(以下、行動種別番号と称する)が出力され、行動量識別部112からは行動の量を表すカテゴリ番号(以下、行動量番号と称する)が識別結果として出力される(#04)。したがって、識別結果統合部12には8つの行動種別番号と8つの行動量番号とが出力される。
【0036】
8つの識別器11a〜11hからの識別結果を取得した識別結果統合部12は、これらの識別結果を統合し、最終的な使用者の行動の識別結果として出力する(#05)。本実施形態における行動種別の識別は、8つの識別器11a〜11hから出力される行動種別番号が一致した場合にのみその行動種別番号を出力し、それ以外の場合には識別不能としている。行動量の識別も同様である。なお、識別結果の統合はこれに限定されるものではなく、最頻値となるカテゴリ番号を採用しても構わない。また、行動量の場合には平均をとっても構わない。
【0037】
このようにして、行動識別部10からは行動の種別および量についての識別結果が出力される。この出力結果は目的に応じて適宜使用される。例えば、行動の種別を発話音声とし、識別結果を音声合成装置に入力すれば、識別結果に応じた発話が可能となる。また、行動の種別を視線移動とし、識別結果をコンピュータ等に入力すれば、識別結果に応じたポインティングを実現することもできる。
【0038】
〔実験結果〕
発明者らは、行動の種別を発話音声および視線移動として識別実験を行った。その結果を以下に示す。
【0039】
〔視線移動〕
行動の種別を上下左右の4方向への視線移動とし、行動の量を大小の視線の移動量として識別実験を行った。表1は正答率を示している。なお、全体とは、行動種別および行動量ともに識別結果が正しい場合を正答としたものである。
【表1】
【0040】
〔発話〕
行動の種別を発話内容として識別実験を行った。表2にその識別結果の正答率を示す。なお、本実験では行動種別のみの正答率を求めている。
【表2】
【0041】
このように、本発明の行動識別装置では、生体電極を額に装着しているため、行動を阻害することがない。また、生体信号を低周波成分と高周波成分とに分離し、低周波成分からは行動の種別を識別し、高周波成分からは行動の量を識別することができるため、より緻密な行動を識別することができる。
【0042】
ここで、図11(a)に図10(a)に示した生体信号よりも長時間の生体信号を示す。図11(a)中の点線で挟まれた範囲の生体信号が図10(a)の生体信号である。図から明らかなように、この生体信号には視線移動に起因する変化(図中(2)部分)以外の変化(図中(1)(3)(4)部分)も含まれている。図中(1)および(4)部分の変化は瞬きに起因するものであり、(3)部分は上方に移動させた視線を戻す際の視線移動に起因するものである。そのため、行動を的確に識別するためには、行動により変化が生じている(2)部分のみを抽出する必要がある。
【0043】
本発明の発明者らは、実験を通じて、瞬き等に起因する生体信号の変化は低周波成分にのみ表れることが判明している。図11(b)および(c)はそれぞれ図11(a)の生体信号に対してカットオフ周波数を50Hzとしたときの低周波成分および高周波成分である。図から明らかなように、低周波成分には視線移動だけでなく瞬き等に起因する信号変化が含まれているのに対して、高周波成分には視線移動に起因する信号変化のみが含まれている。したがって、この低周波成分と高周波成分との変化の差に基づけば、瞬き等に起因する信号変化を除外し、本来抽出すべき視線移動に起因する信号変化のみを抽出することができる。
【0044】
〔別実施形態〕
(1)上述の実施形態では行動として視線の移動と発話を例に説明を行ったが、行動の種類はこれに限定されるものではなく、本発明の行動識別装置は他の行動の識別にも利用可能である。
【0045】
(2)上述の実施形態では、8つの生体電極1を用いたが生体電極の数は適宜増減可能である。例えば、1つでも構わないし、8つより多くても構わない。生体電極1の数を変更した場合には、それに応じて識別器11等の数も変更すればよい。
【0046】
(3)上述の実施形態では、生体信号を低周波被識別データと高周波被識別データとに周波数分解したが、周波数分割を行わずに識別を行っても構わない。また、2以上の周波数帯の被識別データに分割しても構わない。
【0047】
(4)上述の実施形態では、行動を識別する識別器11としてSVMを用いたが、当然ながら他の方法を用いて構わない。例えば、判別分析法やニューラルネットワーク等の統計的学習則やパターンマッチングを用いても構わない。
【産業上の利用可能性】
【0048】
本発明は、生体信号を用いた行動識別装置に適用することができる。
【符号の説明】
【0049】
A:処理装置
1,1a〜1h:生体電極
2:生体信号取得部
3:生体信号分離部
4:前処理部
4a:低周波前処理部
4b:高周波前処理部
10:行動識別部
111:行動種別識別部
112:行動量識別部
【技術分野】
【0001】
本発明は、人の行動を識別する装置、特に、人の生体信号に基づいて行動を識別する装置に関する。
【背景技術】
【0002】
従来、人の行動の補助やマン・マシンインターフェイスのために人の行動を識別する技術が提案されている。特に、近年では生体信号を用いた技術が提案されている。
【0003】
例えば、目の動き、すなわち、視線方向を識別するための方法としてEOG法と呼ばれる方法が提案されている。このEOG法では、目の周囲に装着した電極により角膜部と網膜部との電位を取得し、これらの電位差により眼球運動、すなわち、視線の移動を測定することができる。
【0004】
また、発話音声を識別するための技術も提案されており、例えば、特許文献1から2に開示されたものがある。これらの特許文献の技術では、取得した生体信号から抽出される特徴量と予め登録されている発話音声の特徴量とを比較することにより、発話音声を識別している。なお、生体信号を取得するためのセンサチップ(生体電極)は、特許文献1では、使用者の咽頭部、喉頭部、気道、顔面、口腔部、鼻腔部等に埋め込み、特許文献2では、頸部、顔面等に装着している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平5−293128号公報
【特許文献2】特開2004−329750号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述したように、これらの技術では生体情報に基づいて使用者の行動(視線移動方向や発話音声)を識別することができる。しかし、生体情報を取得する生体電極等のセンサを眼の周囲や人体内部、頸部、顔面等に装着しているため、日常生活や他の行動を阻害するおそれがあり、好ましくない。また、眼の周囲から得られる生体信号からは視線移動を識別することしかできず、また、頸部等から得られる生体信号からは発話音声を識別することしかできない。つまり、特定の行動を識別するためには人体の特定の部位にセンサを装着しなければならない。そのため、視線移動と発話音声とを識別するためには、非常に多くのセンサを装着しなければならない。
【0007】
本発明は上記課題に鑑みてなされたものであり、その目的は、日常生活に支障のない身体の部位から検知された生体情報に基づいて使用者の行動を識別することができる行動識別装置を提供することである。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明の行動識別装置は、使用者の額に装着され、当該使用者の生体信号を検知する生体電極と、検知された前記生体信号を取得する生体信号取得部と、前記生体信号取得部により取得された前記生体信号から周波数に基づいて分離した被識別データを生成する前処理部と、前記被識別データに基づいて前記使用者の行動を識別する行動識別部と、を備えている。
【0009】
この構成では、生体電極は使用者の額に装着されている。そのため、眼の周囲や顔面等への装着に比べて使用者の行動を阻害することもない。また、この構成では生体信号から生成された被識別データに基づいて使用者の行動の識別が行われるものであるが、額から得られる生体信号には様々な器官に由来する生体信号が含まれているため、額から検知した生体信号に基づけば複数の行動を識別することができる。
【0010】
行動の識別は様々な方法を用いることができるが、本発明の行動識別装置の好適な実施形態の一つでは、前記行動識別部は、統計的学習則に基づいて前記行動を識別する。
【0011】
本発明の行動識別装置の好適な実施形態の一つでは、取得された前記生体信号を所定の閾値より低い周波数を持つ低周波生体信号と前記閾値以上の周波数を持つ高周波生体信号とに分離する生体信号分離部を備え、前記前処理部は前記低周波生体信号から低周波被識別データを生成し、前記高周波生体信号から高周波被識別データを生成し、前記行動識別部は前記低周波被識別データと前記高周波被識別データとに基づいて前記行動を識別する。
【0012】
この構成では、取得された生体信号を低周波成分と高周波成分とに分離し、それぞれに基づいて行動を識別している。特に、本発明の発明者らの研究により、生体信号の低周波成分は行動の種別(発話音声や視線移動方向等)を表しており、高周波成分は行動の量(発話音声の大きさ、タイミング、視線移動量等)を表していることが判明しているため、前記行動識別部は、前記低周波被識別データに基づいて前記行動の種別を識別する行動種別識別部と、前記高周波被識別データに基づいて前記行動の量を識別する行動量識別部と、を備えることが好ましい。この構成により、行動の種別および量を同時に識別することができる。
【0013】
また、本発明の発明者らの研究により、整流化した生体信号の高周波成分の低周波成分は筋肉の張力と類似する波形となることが判明している。そのため、本発明の行動識別装置の好適な実施形態の一つでは、前記行動量識別部は、整流化された前記高周波被識別データの低周波成分に基づいて前記行動の量を識別する。これにより、適切な行動の量を識別することができる。
【0014】
本発明の行動識別装置の好適な実施形態の一つでは、複数の前記生体電極が前記使用者の額に所定間隔で装着され、前記生体信号取得部は各々の前記生体電極から前記生体信号を取得し、前記前処理部は前記生体信号取得部により取得された複数の前記生体信号の各々から前記被識別データを生成し、前記行動識別部は複数の前記被識別データの各々に基づいて識別された結果を統合することにより前記行動を識別する。
【0015】
この構成では、複数の生体電極により検知された生体信号に基づいて行動の識別が行われるため、ロバスト性を向上させることができる。
【図面の簡単な説明】
【0016】
【図1】行動識別装置の構成図である。
【図2】処理装置の機能ブロック図である。
【図3】生体信号取得部の入出力を示す図である。
【図4】生体信号分離部の入出力を示す図である。
【図5】前処理部の入出力を示す図である。
【図6】識別器の入出力を示す図である。
【図7】行動識別装置の処理の流れを表すフローチャートである。
【図8】低周波生体信号に対する前処理の流れを表すフローチャートである。
【図9】高周波生体信号に対する前処理の流れを表すフローチャートである。
【図10】生体信号および生体信号から得られる信号の例である。
【図11】生体信号および生体信号の低周波成分および高周波成分の例である。
【発明を実施するための形態】
【0017】
以下に、図面を用いて本発明の行動識別装置の実施形態を説明する。図1は行動識別装置の構成図である。本発明の行動識別装置は使用者から生体信号を検知する生体電極1および検知された生体信号を処理する処理装置Aから構成されている。図に示すように、本発明の行動識別装置は8つの生体電極1aから1hを備えており、いずれも使用者の額に装着されている。
【0018】
生体電極1を額に装着することは本発明の特徴の1つである。額から得られる生体信号には表情変化、眼球移動、舌の運動等により生じる筋電等の変化が含まれている。すなわち、額から得られる生体信号には複数の行動(視線移動や発話音声等)を示す変化が含まれている。そのため、額から得られる生体信号を用いれば、発話音声や視線移動等の複数の異なる行動を識別することができる。また、生体電極1を額に装着すれば、口や眼の周囲に装着することと比べて、使用者の行動を阻害することがない。
【0019】
なお、本実施形態では、生体電極の装着位置は10−20法に基づいており、生体電極1aから1hの装着位置はそれぞれ10−20法におけるF4,Fz,F3,F8,Fp1,Fpz,Fp2,F7の位置としている。したがって、処理装置Aには8チャネルの生体信号が入力されることとなる。
【0020】
一方、図1および2に示すように、処理装置Aは、生体電極1から生体信号を取得する生体信号取得部2、生体信号取得部2から出力された生体信号を低周波成分の低周波生体信号と高周波成分の高周波生体信号とに分離する生体信号分離部3、生体信号分離部3から出力される低周波生体信号および高周波生体信号に対して前処理を行い、被識別データを生成する前処理部4、前処理部4により生成された被識別データに基づいて使用者の行動を識別する行動識別部10を備えている。
【0021】
上述したように、生体信号取得部2には生体電極1からの生体信号が入力されている。しかし、生体電極1により検知された生体信号は微弱であるため、そのままでは後の処理が行い難い。そのため、本実施形態の生体信号取得部2は信号を増幅する機能を有している。また、本実施形態では以下の信号処理はデジタル信号処理としているため、生体信号取得部2は生体信号をデジタル信号に変換する機能も有している。そのため、本実施形態における生体信号取得部2は、図3に示すように、生体電極1から入力される生体信号(アナログ)を増幅する増幅器2a、増幅された生体信号をデジタル化するA/Dコンバータ2bを備えている。なお、本実施形態ではA/D変換のサンプリングレートは500Hzとしているが、サンプリングレートは適宜変更可能である。
【0022】
なお、図3の生体信号取得部の構成図は1チャネル分のみであり、生体信号取得部2はチャネル数と同数、すなわち、8つの増幅器2aおよびA/Dコンバータ2bを備えている。したがって、生体信号取得部2は8チャネルの生体信号(デジタル)を出力する(図2参照)。
【0023】
生体信号分離部3は、生体信号取得部2により増幅された生体信号を所定の閾値よりも低い周波数成分を持つ低周波生体信号と所定の閾値以上の周波数成分を持つ高周波生体信号とに分割する。本実施形態では、図4に示すように各チャネルの生体信号に対してそれぞれLPF3a(ローパスフィルタ)およびHPF3b(ハイパスフィルタ)を備えている。なお、図は1チャネル分のみを記しており、実際にはチャネル数と同数、すなわち8つのLPF3aおよびHPF3bを備えている。したがって、生体信号分離部3からは8チャネルの低周波生体信号と8チャネルの高周波生体信号とが出力される(図2参照)。なお、本実施形態ではLPF3aおよびHPF3bのカットオフ周波数は50Hzとしている。
【0024】
前処理部4は、生体信号分離部3から出力される低周波生体信号に対して前処理を施した低周波被識別データと、高周波生体信号に対して前処理を施した高周波被識別データとを生成する。本実施形態では、図5に示すように、前処理部4は、低周波生体信号に対して低周波生体信号に適した前処理(詳細は後述)を施して低周波被識別データを生成する低周波前処理部4aと、高周波生体信号に対して高周波生体信号に適した前処理(詳細は後述)を施して高周波被識別データを生成する高周波前処理部4bとを備えている。なお、図は1チャネル分のみを記しており、実際にはチャネル数と同数、すなわち、8つの低周波前処理部4aおよび高周波前処理部4bが備えられている。したがって、前処理部4からは8チャネルの低周波被識別データと8チャネルの高周波被識別データとが出力される(図2参照)。
【0025】
行動識別部10は、図2に示すように、8つの識別器11aから11hと、これらの識別器による識別結果を統合し、最終的な識別結果を出力する識別結果統合部12と、を備えている。また、各々の識別器11は、図6に示すように、低周波被識別データに基づいて行動の種類を識別する行動種別識別部111および高周波被識別データに基づいて行動の量を識別する行動量識別部112を備えている。本実施形態では、行動種別識別部111および行動量識別部112は、SVM(Support Vector Machine、統計的学習則の例)により構成されている。行動種別識別部111は低周波被識別データを入力として、行動の種別のカテゴリ番号を出力する。一方、行動量識別部112は高周波被識別データを入力として、行動の量のカテゴリ番号を出力する。
【0026】
なお、識別器11aから11hに構成されているSVMのパラメータは共通ではなく、それぞれ、生体電極1aから1hからの生体信号に基づく学習により構築されたものである。SVMのパラメータの構築には、同じ行動を行った複数の被験者から得られた低周波被識別データおよび高周波被識別データが使用される。
【0027】
以下に、図7から図9のフローチャートを用いて本発明の行動識別装置の処理の流れを説明する。なお、以下の説明では、使用者が所定の行動を行った際の生体信号が予め切り出された状態となっているものとする。
【0028】
まず、生体電極1により検知された8チャネルの生体信号が生体信号取得部2により取得されると、増幅器2aにより増幅され、A/Dコンバータ2bによりデジタル化された生体信号が生体信号分離部3に出力される(#01)。したがって、生体信号取得部2から生体信号分離部3に対して8チャネルの生体信号が送られる。図10(a)は使用者が視線を視野の中央から上方向に約40°移動させた際に生体信号取得部2から出力される1チャネル分の生体信号の例である。
【0029】
生体信号取得部2から生体信号を取得した生体信号分離部3では、各チャネルの生体信号を各チャネルのLPF3aおよびHPF3bに入力し、それぞれから低周波生体信号および高周波生体信号を出力する(#02)。したがって、生体信号分離部3からは8チャネルの低周波生体信号および8チャネルの高周波生体信号が出力される。図10(b)および(d)は図10(a)の生体信号に対する低周波生体信号および高周波生体信号の例である。
【0030】
生体信号分離部3から8チャネルの低周波生体信号と8チャネルの高周波生体信号を取得した前処理部4は、低周波生体信号を低周波前処理部4aに入力して低周波被識別データを生成するとともに、高周波生体信号を高周波前処理部4bに入力して高周波被識別データを生成する(#03)。
【0031】
図8は、低周波前処理部4aの処理の流れを表すフローチャートである。低周波前処理部4aは、先ず取得した低周波生体信号に対してベースライン補正を施し(#11)、基準電圧を定める。次に、ベースライン補正された低周波生体信号に対して、振幅の正規化(ノーマライズ)を施す(#12)。これにより、振幅のばらつきによる識別精度の低下を抑制することができる。さらに、このような処理が施された低周波生体信号に対してダウンサンプリングを行い、低周波被識別データとして出力する(#13)。なお、ダウンサンプリングのサンプリングレートは、行動種別識別部111の入力データの次元数と低周波被識別データの次元数とが一致するように決定される。図10(c)は図10(b)の低周波生体信号から生成された低周波被識別データの例である。
【0032】
図9は、高周波前処理部4bの処理の流れを表すフローチャートである。本実施形態における高周波前処理部4bは、高周波生体信号に対して全整流化処理を施し(#21)、3Hzのカットオフ周波数のローパス処理を施している(#22)。図10(e)は図10(d)の高周波生体信号から生成された高周波被識別データである。このようにして得られた高周波被識別データは、使用者が行動した際の筋肉の張力に近似しており、この高周波被識別データに基づけば行動の量を識別できることが、発明者らの研究により判明している。例えば、上述のように視線を上方向に移動した場合には、高周波被識別データの立ち上がりと立ち下がりとの時点は、眼球運動のタイミングを表していることが判明している。また、高周波被識別データの振幅を含めた波形パターンは、視線の移動量と相関していることが判明している。したがって、高周波被識別データの波形パターンに基づけば、視線移動量を識別することができる。
【0033】
なお、高周波前処理部4bにおいても適宜ダウンサンプリングを行い、行動量識別部112の次元数と高周波被識別データの次元数とを一致させる(#23)。
【0034】
このようにして、前処理部4により低周波生体信号および高周波生体信号からそれぞれ8チャネルの低周波被識別データおよび高周波被識別データが生成され、行動識別部10に出力される。
【0035】
前処理部4から出力される8チャネルの低周波被識別データおよび高周波被識別データはそれぞれ行動識別部10の識別器11aから11hに入力される。各々の識別器11では、低周波被識別データが行動種別識別部111に入力され、高周波被識別データが行動量識別部112に入力される。上述したように、行動種別識別部111からは行動の種別を表すカテゴリ番号(以下、行動種別番号と称する)が出力され、行動量識別部112からは行動の量を表すカテゴリ番号(以下、行動量番号と称する)が識別結果として出力される(#04)。したがって、識別結果統合部12には8つの行動種別番号と8つの行動量番号とが出力される。
【0036】
8つの識別器11a〜11hからの識別結果を取得した識別結果統合部12は、これらの識別結果を統合し、最終的な使用者の行動の識別結果として出力する(#05)。本実施形態における行動種別の識別は、8つの識別器11a〜11hから出力される行動種別番号が一致した場合にのみその行動種別番号を出力し、それ以外の場合には識別不能としている。行動量の識別も同様である。なお、識別結果の統合はこれに限定されるものではなく、最頻値となるカテゴリ番号を採用しても構わない。また、行動量の場合には平均をとっても構わない。
【0037】
このようにして、行動識別部10からは行動の種別および量についての識別結果が出力される。この出力結果は目的に応じて適宜使用される。例えば、行動の種別を発話音声とし、識別結果を音声合成装置に入力すれば、識別結果に応じた発話が可能となる。また、行動の種別を視線移動とし、識別結果をコンピュータ等に入力すれば、識別結果に応じたポインティングを実現することもできる。
【0038】
〔実験結果〕
発明者らは、行動の種別を発話音声および視線移動として識別実験を行った。その結果を以下に示す。
【0039】
〔視線移動〕
行動の種別を上下左右の4方向への視線移動とし、行動の量を大小の視線の移動量として識別実験を行った。表1は正答率を示している。なお、全体とは、行動種別および行動量ともに識別結果が正しい場合を正答としたものである。
【表1】
【0040】
〔発話〕
行動の種別を発話内容として識別実験を行った。表2にその識別結果の正答率を示す。なお、本実験では行動種別のみの正答率を求めている。
【表2】
【0041】
このように、本発明の行動識別装置では、生体電極を額に装着しているため、行動を阻害することがない。また、生体信号を低周波成分と高周波成分とに分離し、低周波成分からは行動の種別を識別し、高周波成分からは行動の量を識別することができるため、より緻密な行動を識別することができる。
【0042】
ここで、図11(a)に図10(a)に示した生体信号よりも長時間の生体信号を示す。図11(a)中の点線で挟まれた範囲の生体信号が図10(a)の生体信号である。図から明らかなように、この生体信号には視線移動に起因する変化(図中(2)部分)以外の変化(図中(1)(3)(4)部分)も含まれている。図中(1)および(4)部分の変化は瞬きに起因するものであり、(3)部分は上方に移動させた視線を戻す際の視線移動に起因するものである。そのため、行動を的確に識別するためには、行動により変化が生じている(2)部分のみを抽出する必要がある。
【0043】
本発明の発明者らは、実験を通じて、瞬き等に起因する生体信号の変化は低周波成分にのみ表れることが判明している。図11(b)および(c)はそれぞれ図11(a)の生体信号に対してカットオフ周波数を50Hzとしたときの低周波成分および高周波成分である。図から明らかなように、低周波成分には視線移動だけでなく瞬き等に起因する信号変化が含まれているのに対して、高周波成分には視線移動に起因する信号変化のみが含まれている。したがって、この低周波成分と高周波成分との変化の差に基づけば、瞬き等に起因する信号変化を除外し、本来抽出すべき視線移動に起因する信号変化のみを抽出することができる。
【0044】
〔別実施形態〕
(1)上述の実施形態では行動として視線の移動と発話を例に説明を行ったが、行動の種類はこれに限定されるものではなく、本発明の行動識別装置は他の行動の識別にも利用可能である。
【0045】
(2)上述の実施形態では、8つの生体電極1を用いたが生体電極の数は適宜増減可能である。例えば、1つでも構わないし、8つより多くても構わない。生体電極1の数を変更した場合には、それに応じて識別器11等の数も変更すればよい。
【0046】
(3)上述の実施形態では、生体信号を低周波被識別データと高周波被識別データとに周波数分解したが、周波数分割を行わずに識別を行っても構わない。また、2以上の周波数帯の被識別データに分割しても構わない。
【0047】
(4)上述の実施形態では、行動を識別する識別器11としてSVMを用いたが、当然ながら他の方法を用いて構わない。例えば、判別分析法やニューラルネットワーク等の統計的学習則やパターンマッチングを用いても構わない。
【産業上の利用可能性】
【0048】
本発明は、生体信号を用いた行動識別装置に適用することができる。
【符号の説明】
【0049】
A:処理装置
1,1a〜1h:生体電極
2:生体信号取得部
3:生体信号分離部
4:前処理部
4a:低周波前処理部
4b:高周波前処理部
10:行動識別部
111:行動種別識別部
112:行動量識別部
【特許請求の範囲】
【請求項1】
使用者の額に装着され、当該使用者の生体信号を検知する生体電極と、
検知された前記生体信号を取得する生体信号取得部と、
前記生体信号取得部により取得された前記生体信号から周波数に基づいて分離した被識別データを生成する前処理部と、
前記被識別データに基づいて前記使用者の行動を識別する行動識別部と、を備えた行動識別装置。
【請求項2】
前記行動識別部は、統計的学習則に基づいて前記行動を識別する請求項1記載の行動識別装置。
【請求項3】
取得された前記生体信号を所定の閾値より低い周波数を持つ低周波生体信号と前記閾値以上の周波数を持つ高周波生体信号とに分離する生体信号分離部を備え、
前記前処理部は前記低周波生体信号から低周波被識別データを生成し、前記高周波生体信号から高周波被識別データを生成し、
前記行動識別部は前記低周波被識別データと前記高周波被識別データとに基づいて前記行動を識別する請求項1または2記載の行動識別装置。
【請求項4】
前記行動識別部は、前記低周波被識別データに基づいて前記行動の種別を識別する行動種別識別部と、前記高周波被識別データに基づいて前記行動の量を識別する行動量識別部と、を備えた請求項3記載の行動識別装置。
【請求項5】
前記行動量識別部は、整流化された前記高周波被識別データの低周波成分に基づいて前記行動の量を識別する請求項4記載の行動識別装置。
【請求項6】
複数の前記生体電極が前記使用者の額に所定間隔で装着され、
前記生体信号取得部は各々の前記生体電極から前記生体信号を取得し、
前記前処理部は前記生体信号取得部により取得された複数の前記生体信号の各々から前記被識別データを生成し、
前記行動識別部は複数の前記被識別データの各々に基づいて識別された結果を統合することにより前記行動を識別する請求項1から5のいずれか一項に記載の行動識別装置。
【請求項1】
使用者の額に装着され、当該使用者の生体信号を検知する生体電極と、
検知された前記生体信号を取得する生体信号取得部と、
前記生体信号取得部により取得された前記生体信号から周波数に基づいて分離した被識別データを生成する前処理部と、
前記被識別データに基づいて前記使用者の行動を識別する行動識別部と、を備えた行動識別装置。
【請求項2】
前記行動識別部は、統計的学習則に基づいて前記行動を識別する請求項1記載の行動識別装置。
【請求項3】
取得された前記生体信号を所定の閾値より低い周波数を持つ低周波生体信号と前記閾値以上の周波数を持つ高周波生体信号とに分離する生体信号分離部を備え、
前記前処理部は前記低周波生体信号から低周波被識別データを生成し、前記高周波生体信号から高周波被識別データを生成し、
前記行動識別部は前記低周波被識別データと前記高周波被識別データとに基づいて前記行動を識別する請求項1または2記載の行動識別装置。
【請求項4】
前記行動識別部は、前記低周波被識別データに基づいて前記行動の種別を識別する行動種別識別部と、前記高周波被識別データに基づいて前記行動の量を識別する行動量識別部と、を備えた請求項3記載の行動識別装置。
【請求項5】
前記行動量識別部は、整流化された前記高周波被識別データの低周波成分に基づいて前記行動の量を識別する請求項4記載の行動識別装置。
【請求項6】
複数の前記生体電極が前記使用者の額に所定間隔で装着され、
前記生体信号取得部は各々の前記生体電極から前記生体信号を取得し、
前記前処理部は前記生体信号取得部により取得された複数の前記生体信号の各々から前記被識別データを生成し、
前記行動識別部は複数の前記被識別データの各々に基づいて識別された結果を統合することにより前記行動を識別する請求項1から5のいずれか一項に記載の行動識別装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−45164(P2012−45164A)
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願番号】特願2010−189786(P2010−189786)
【出願日】平成22年8月26日(2010.8.26)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【出願人】(304021417)国立大学法人東京工業大学 (1,821)
【Fターム(参考)】
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願日】平成22年8月26日(2010.8.26)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【出願人】(304021417)国立大学法人東京工業大学 (1,821)
【Fターム(参考)】
[ Back to top ]