生体情報処理プログラム、生体情報処理装置、生体情報処理方法および生体情報処理システム
【課題】情動反応の変化や映像酔いの評価などを含む様々な用途において有効な生体指標を簡便に提供すること。
【解決手段】まず安静時において，光電脈波信号の特徴量（脈波振幅、脈波拍内平均値、加速度脈波のピーク値など９つ）を説明変数とし、数秒先の心拍数を目的変数とする重回帰モデルを求める。ただし、説明変数と目的変数は帯域通過フィルタを通すことによりマイヤー波帯域に制限されている。次に、このモデルに光電脈波信号の特徴量を入力して得られる心拍数の推定値と（ＦＦＩに基づき算出された）心拍数との間のマイヤー波帯域における相互相関係数をρ（τ）として推定する。
【解決手段】まず安静時において，光電脈波信号の特徴量（脈波振幅、脈波拍内平均値、加速度脈波のピーク値など９つ）を説明変数とし、数秒先の心拍数を目的変数とする重回帰モデルを求める。ただし、説明変数と目的変数は帯域通過フィルタを通すことによりマイヤー波帯域に制限されている。次に、このモデルに光電脈波信号の特徴量を入力して得られる心拍数の推定値と（ＦＦＩに基づき算出された）心拍数との間のマイヤー波帯域における相互相関係数をρ（τ）として推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体情報処理プログラム、生体情報処理装置、生体情報処理方法および生体情報処理システムに関する。より具体的には、本発明は、脈波信号に基づく、生体情報処理プログラム、生体情報処理装置、生体情報処理方法および生体情報処理システムに関する。
【背景技術】
【０００２】
近年、新しい映像機器、映像コンテンツなどの普及に伴い、映像が生体に及ぼす望ましくない影響が懸念されている。例えば、広い画面の動く映像を見続けたときに人間は映像酔いなどを発症する場合がある。このような生体影響、特に自律神経機能の変化を非侵襲的・客観的・経時的に再現性よく定量化する手法がなかった。
【０００３】
このような中、マイヤー波帯域（Ｍａｙｅｒ ｗａｖｅ ｂａｎｄ；０．０８Ｈｚ〜０．１２Ｈｚ）における血圧変動から心拍数変動までの相互相関係数の最大値を算出する方法が提案されてきた（例えば、特許文献１）。
【０００４】
人間の体内においては、血圧の揺らぎを抑制するためにフィードバックループに基づいて、自律神経の働きなどで心拍数の操作が常に行われている。システムに遅れが生じるため、血行循環にマイヤー波と呼ばれている周期約１０秒の低周波数の揺らぎが現れる。生体状況が急変すると血圧と心拍数のそれぞれのマイヤー波の相互相関が変化する。まず、マイヤー波の揺らぎを心拍数変動と血圧変動からそれぞれ抽出し、両者間の相互相関係数を算出し、その相互相関係数の最大値を時系列データとして蓄積する。そして、蓄積された最大相互相関係数の時系列データにより、自律神経機能の評価を行う。最大相互相関係数が１から離れれば離れるほど、自律神経機能による心拍数に現れる血圧反射機能が低下していると評価できる。このように生体状況を評価する最大相互相関係数をρmaxと記す。
【０００５】
より具体的には、マイヤー波帯域における、血圧変動と心拍数変動と間の最大相互相関係数ρmax、あるいは脈波伝播時間変動と心拍数変動と間の最大相互相関係数ρmaxは、圧反射系の線形相関性を表す。このような最大相互相関係数ρmaxは、自律神経系に支配される圧受容器反射系の特性に関係する情動反応の変化や映像酔いの評価などに有効であることがわかっている。ここで、脈波伝播時間（ｐｕｌｓｅ ｗａｖｅ ｔｒａｎｓｍｉｓｓｉｏｎ ｔｉｍｅ；ＰＴＴ）とは、心電図のＲ波から脈波の立ち上がり時刻あるいは脈波速度の最大値を与える時刻までの時間をいう。この脈波伝播時間は、血圧の代用にできる場合がある。この指標ρmaxは自律神経系に関する不定愁訴や日常的な運動効果の確認などにも使われる可能性があり、自律神経系に関する体調変化を家庭などにおいて手軽にチェックすることができるようになると期待されている。
【０００６】
しかしながら、現在のところρmaxを直接的に得るためには連続血圧あるいは脈波伝播時間の計測が必要である。連続血圧を計測するためには大型で高価な連続血圧計が必要である。また、脈波伝播時間の計測には、心電図信号と脈波信号との２つ情報が同時に必要である。
【０００７】
また、脈波信号は安価な光電脈波センサで容易に計測できるが、心電図信号を計測するためには心電計が必要である。心電計は、医療機器扱いになる可能性もあるため、家庭的な利用が容易な形態（例えば、家庭用ゲーム機）への導入は困難である。
【０００８】
脈波信号を処理することによって、血圧の絶対値を推定する方法が数多く提案されている。しかし、これらの方法は、血圧の絶対値を精度よく推定するための複雑な更正機構を必要とする。また、この方法は、血圧の絶対値の推定を目的としており、ρmaxの推定を目的としているものではない。
【０００９】
非侵襲的・安価で装着が簡単な光電容積脈波を用いて血圧情報を算出する方法としては、規格化拍内積分値（Ｎｏｒｍａｌｉｚｅｄ Ｐｕｌｓｅ Ｗａｖｅ Ａｒｅａ；ＮＰＷＡ）および脈波のピークの時間差（ｔｈｅ ｔｉｍｅ ｏｆ ｉｎｔｅｒｖａｌ ｂｅｔｗｅｅｎ ｔｈｅ ｓｙｓｔｏｌｉｃ ａｎｄ ｄｉａｓｔｏｌｉｃ ｐｅａｋｓ；ΔＴ）が挙げられる。ここで、規格化拍内積分値とは、一拍内の脈波信号の拍動成分の積分値（ｐｕｌｓｅ ｗａｖｅ ａｒｅａ；ＰＷＡ）を、脈波の立ち上がりの間隔であるＦＦＩ（Ｆｏｏｔ−ｔｏ−Ｆｏｏｔ Ｉｎｔｅｒｖａｌ）で規格化することより得られる値である。
【００１０】
しかし、ＮＰＷＡまたはΔＴのような指標には、自律神経活動に関する情報とは異なる情報も含まれている。すなわち、ＮＰＷＡは、血中ヘモグロビン濃度の変化による影響を受け、また、ΔＴは、胸腔内圧および被験者の姿勢により影響を受ける。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００９−１８９６５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
そこで、脈波情報のみに基づき、情動反応の変化や映像酔いの評価などを含む様々な用途において有効な生体指標を簡便に提供することができる、生体情報処理プログラム、生体情報処理装置、生体情報処理方法および生体情報処理システムが必要とされる。
【課題を解決するための手段】
【００１３】
一態様において、本発明は、生体情報を処理するための生体情報処理装置のコンピュータで実行される生体情報処理プログラムを提供する。当該生体情報処理プログラムは、そのコンピュータを、脈波信号を入力として得るための手段と、心拍数を算出して第１の時系列データとして得る手段と、拍ごとの複数の特徴量を算出する手段と、マイヤー波帯域成分の時系列データを得る手段と、推定心拍数を得るための時系列モデルを決定する手段と、相互相関係数の最大値を算出する手段として機能させる。
【００１４】
ここで、上述の脈波信号を入力として得るための手段は、被験者から脈波検出装置を介して得られる脈波信号を入力として得る。また、上述の心拍数を算出して第１の時系列データとして得る手段は、入力された上記脈波信号に基づき心拍数を算出する。さらに、上述の拍ごとの複数の特徴量を算出する手段は、入力された上記脈波信号に基づきその拍ごとの複数の特徴量を算出する。上述のマイヤー波帯域成分の時系列データを得る手段は、入力された時系列データを帯域通過フィルタで処理し、マイヤー波帯域成分の時系列データを得る。
【００１５】
さらに、上述の推定心拍数を得るための時系列モデルを決定する手段は、上記第１の時系列データ、および上記複数の特徴量の組合せで構成される第２の時系列データが、上記マイヤー波帯域成分の時系列データを得る手段による処理を受けることで得られた、第３の時系列データ、および第４の時系列データを用いて、推定心拍数を得るための時系列モデルを決定する。そして、相互相関係数の最大値を算出する手段は、決定された上記時系列モデルに基づいて、上記第３の時系列データと、上記第４の時系列データとの間で、相互相関係数を設定し、当該相互相関係数の最大値を算出する。
【００１６】
なお、本明細書において使用される場合、用語「被験体（ｓｕｂｊｅｃｔ）」または「ユーザ（ｕｓｅｒ）」は、交換可能に使用され、本発明の生体情報処理プログラム、生体情報処理装置、生体情報処理方法および生体情報処理システムが処理対象とする生体情報（例えば、脈波信号）を示すデータの供給源となり得る者をいう。したがって、本発明の生体情報処理プログラム等が処理対象とする生体情報を示すデータが取得される限りにおいて、そのデータの供給源となる者は、いずれの態様の生体情報処理装置または生体情報処理システムを利用しているものであってもよい。具体的には、被験体またはユーザとして称される者は、家庭用ゲーム機、医療用装置、移動体に積載される装置などの形態で実装された生体情報処理装置または生体情報処理システムを使用するいずれの者も含む。
【００１７】
また、本明細書において使用される場合、用語「推定心拍数」とは、脈波信号から得られた特徴量を用いて記述される時系列モデルに基づき算出される心拍数の推定値をいう。例示的な実施形態において、この推定心拍数は、例えば、脈波信号の特徴量を説明変数とし、数秒先の心拍数を目的変数とする重回帰モデルに基づき得られる心拍数の推定値として定義づけられる（ただし、説明変数と目的変数は帯域通過フィルタを通すことによりマイヤー波帯域に制限されている）。なお、後述により明らかになるが、本発明の実施形態において利用される時系列モデルは、重回帰モデルに限定されない。
【００１８】
一実施形態において、上述の時系列モデルは、重回帰モデル、自己回帰移動平均外性入力モデル、自己回帰外性入力モデル、または移動平均モデルのいずれかで規定される。
【００１９】
一実施形態において、上記時系列モデルを決定する手段は、上記第４の時系列データに含まれる複数の特徴量の組合せを説明変数とし、当該特徴量の組合せの各々を取得した時点から所定間隔だけずれた時点の、上記第３の時系列データに含まれる心拍数に相当する第１の変数に負号を付したものを目的変数とした重回帰モデルを、決定する。
【００２０】
他の実施形態において、上記時系列モデルを決定する手段は、上記所定間隔を第１の範囲で変動させたときの最適な重回帰モデルを決定し、上記最適な重回帰モデルに基づき、上記第１の変数に負号を付したものの時系列データを推定心拍数の時系列データとして取得する。
【００２１】
別の実施形態において、上記時系列モデルを決定する手段が、前記最適な重回帰モデルを決定する際に、最小２乗法または最尤法を用いて、最適な重回帰モデルを決定する。
【００２２】
別の実施形態において、上記相互相関係数の最大値を算出する手段は、上記第３の時系列データと、上記推定心拍数の時系列データとの間で、相互相関係数を設定し、遅延時間を第２の範囲で変動させたときの最大相互相関係数を取得する。
【００２３】
さらに別の実施形態において、上記第１の時系列データを得る手段は、脈波の立ち上がり点の間隔に基づいて上記心拍数を算出して第１の時系列データを取得する。
【００２４】
さらに別の実施形態において、上記第１の時系列データを得る手段は、上記脈波検出装置が取得した脈波信号が極小値または極大値を示す時点に基づき、上記心拍数を算出して第１の時系列データを取得する。
【００２５】
さらに別の実施形態において、上記第１の時系列データを得る手段は、上記脈波検出装置が取得した脈波信号において、上記被験者の特定の血管が収縮または膨張する速度が最大となる時点に基づき、上記心拍数を算出して第１の時系列データを取得する。
【００２６】
さらに別の実施形態において、上記第１の時系列データを得る手段は、上記脈波検出装置が取得した脈波信号において、上記被験者の特定の血管が収縮する加速度または膨張する加速度が最大となる時点に基づき、上記心拍数を算出して第１の時系列データを取得する。
【００２７】
さらに別の実施形態において、上記特徴量の組合せは、上記脈波信号に基づき算出された加速度脈波の最初の極大値および最初の極小値、上記脈波信号に基づき算出された速度脈波の最初の極小値に基づいた複数の値の組合せを含む。実際の使用に当たってはこれらの一部の組合せを使って特徴量としてもよい。また、脈波信号に雑音が少ない場合には、２番目以降の極大値または極小値を特徴量の組合せとしてもよい。
【００２８】
さらに別の実施形態において、上記特徴量の組合せは、上記脈波信号に基づき算出された加速度脈波の最初の極大値および最初の極小値、上記最初の極小値を上記最初の極大値で除算した値、上記最初の極大値の平方、上記最初の極小値の平方、上記最初の極大値と最初の極小値との積、上記脈波信号に基づき算出された速度脈波の最初の極小値を上記最初の極大値で除算した値ならびに、上記脈波に基づき算出された脈波平均値および脈波振幅からなる。
【００２９】
さらに別の実施形態において、上記マイヤー波帯域成分の時系列データを得る手段は、前述の入力された時系列データを帯域通過フィルタで処理しするとともに、規格化する。
【００３０】
また、上述の生体情報処理プログラムは、それを実行する生体情報処理装置として使用されたとしても、１または複数の装置が通信可能に構成される生体情報処理システムとして使用されてもよい。また、本発明は、上述のようなプログラム、装置、システムとして実装され得る、生体情報処理の方法も含む。
【００３１】
本明細書において使用される場合、「システム」（例えば、生体情報処理システム、情報処理システム、ゲームシステム）との用語は、１つの装置だけでなく、複数の装置であって、その各々の装置が他の装置のいずれかと通信可能であるものも含む。
【発明の効果】
【００３２】
本発明によって、脈波情報のみに基づき、情動反応の変化や映像酔いの評価などを含む様々な用途において有効な生体指標が、簡便に提供される。
【図面の簡単な説明】
【００３３】
【図１】一拍の脈波およびその脈波から導出される波形の一例
【図２】被験者のうちの１名における１５分間の試験の間に得られた、脈波平均値（ＭＰ）および脈波振幅（ＰＡ）の経時的変動を示す図
【図３】図１に示された脈波から導出された特徴量（加速度脈波における極値）の経時変動を示す図
【図４】脈波から得られた特徴量の各要素を説明変数とし、心拍数を目的変数とする重回帰モデルから得られる、時間遅延Ｌ［秒］だけ遅らせた心拍数の推定値と、心拍数の間の相関係数を縦軸に取り、横軸を遅延時間Ｌとして、遅延時間Ｌを０秒から６秒までの間で変化させてプロットした図
【図５】β*を同定するために使用した、安静時（０．５分間から４．５分間まで）の推定心拍数と、（脈波に基づいた）心拍数の時間波形の一例
【図６】図５に示された時間波形の一例に対応する、推定心拍数と心拍数との相関図
【図７】τを−１０秒から１０秒までに制限して自由に変動させた場合の最大相互相関係数
【図８】τを１秒から５秒までに制限して自由に変動させた場合の最大相互相関係数
【図９】τを３秒に固定した場合の最大相互相関係数ρ（３）
【図１０】τを１秒から５秒までに制限して自由に変動させたときの安静時（１分から４分まで）におけるτの平均値に固定した場合の最大相互相関係数
【図１１】図９で示されたグラフのうち、手順［Ｍ３］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値のグラフのみを抜粋したもの
【図１２】遅延時間τを３秒に固定した推定心拍数に基づく最大相互相関係数のうち、安静時（０分から４分まで）のρ（３）の平均値が０．４以上である被験者についてのみρ（３）の平均値を算出した結果
【図１３】遅延時間τを３秒に固定した推定心拍数に基づく最大相互相関係数のうち、安静時（０分から４分まで）のρ（３）の平均値が０．５以上である被験者についてのみρ（３）の平均値を算出した結果
【図１４】遅延時間τを３秒に固定した推定心拍数に基づく最大相互相関係数のうち、安静時（０分から４分まで）のρ（３）の平均値が０．６以上である被験者についてのみρ（３）の平均値を算出した結果
【図１５】遅延時間τを３秒に固定した推定心拍数に基づく最大相互相関係数のうち、安静時（０分から４分までの）のρ（３）の平均値が０．７以上である被験者についてのみρ（３）の平均値を算出した結果
【図１６】実験系の概要
【図１７】本発明の一実施形態に係るゲームシステム１の一例を示す外観図
【図１８】図１７のゲーム装置本体５の一例を示すブロック図
【図１９】コアユニット７０の構成例を示すブロック図
【図２０】バイタルセンサ７６の構成の一例を示すブロック図
【図２１】バイタルセンサ７６から出力される生体情報の一例である脈波情報の例を示す図
【図２２】本実施形態において行われる処理の過程で、モニタ２に表示される一連の画像の一例
【図２３Ａ】生体情報処理プログラムよる生体情報処理の流れを示すフローチャート
【図２３Ｂ】生体指標算出処理の一例を示すフローチャート
【図２４】生体情報処理システムにおける主要なデータを示すメモリマップ
【発明を実施するための形態】
【００３４】
（生体情報処理の概要）
一態様において、本発明は、生体情報を処理するための生体情報処理装置のコンピュータで実行される生体情報処理プログラムを提供する。より具体的には、脈波信号（特に、光電指尖脈波信号）だけを処理することによって、最大相互相関係数ρmaxを連続的に推定する新しい処理方法を生体情報処理装置のコンピュータで実行するための生体情報処理プログラムを開発した。ここで実行される方法は、脈波情報に基づいて、時系列モデルを設定し、その時系列モデルを決定することを介して、最大相互相関係数ρmaxを連続的に推定する。
【００３５】
ここで、使用する時系列モデルとして、重回帰モデルを用いる例を説明する。この方法では、まず、被験体の安静時において、光電脈波信号の特徴量を説明変数とし、数秒先の心拍数を目的変数とする重回帰モデルを求める。ただし、説明変数と目的変数は、帯域通過フィルタを通すことによりマイヤー波帯域に制限されている。
【００３６】
次に、この重回帰モデルに光電脈波信号の特徴量を入力して得られる心拍数の推定値と、脈波に基づく心拍数との間のマイヤー波帯域における相互相関係数をρ(τ)として推定する。ここで、τは時間遅れである。また、脈波に基づく心拍数は、脈波の立ち上がり点の間隔に基づいて算出される。本明細書において使用される場合、この「脈波の立ち上がり点」すなわち、脈波が立ち上がる時刻は、脈波の拍内最大値を与える時刻以前の直近の極小値（雑音が少ない場合は拍内最小値に一致）を与える時刻とする。
【００３７】
このように、血圧の代わりに推定心拍数を使うことができる理由は，安静時のマイヤー波帯域における血圧が約３秒遅れた心拍数とよく相関することによる。
【００３８】
これ以降、このような方法が、実際に有効であることを示す実験について説明し、その後、本方法を実行するプログラムが実装される生体情報処理システムの一例について説明する。
【００３９】
（実験）
上述の生体情報処理システムの特性を評価するため、以下に示す実験を行った。
（実験プロトコル）
本実験の目的は、被験体の各々について脈波および血圧の時系列データを取得して本発明の方法を評価することである。３２名の健常被験者（年齢の平均値：２３．１３歳；年齢の標準偏差：３．５６歳；男性２４名，女性８名）が、本実験に参加した。本実験のプロトコルは、バルサルバ試験（Ｖａｌｓａｌｖａ ｔｅｓｔ）である。
【００４０】
具体的には、被験者の各々に、１５分間に亘って、その姿勢を座位に保ちつつ、以下の表１に示されるＰ１からＰ５までのフェーズの各々で「安静」または「呼吸停止」の状態をとることを要求した。ここで、「呼吸停止」で示される状態は、「バルサルバ操作（Ｖａｌｓａｌｖａ ｍａｎｅｕｖｅｒ）」により達成される状態である。「バルサルバ操作」は、被験者に声門を閉じて強制呼気努力を行わせ、そのまま１分間保持することにより実施した。一般に、バルサルバ操作の際の被験体の圧反射感受性は、低下する。したがって、このときのρmaxも低下し得る。
（表１：実験のプロトコル）
――――――――――――――――――
フェーズ ：状態
――――――――――――――――――
・Ｐ１） ０分〜 ５分：安静
・Ｐ２） ５分〜 ６分：呼吸停止
・Ｐ３） ６分〜 ９分：安静
・Ｐ４） ９分〜１０分：呼吸停止
・Ｐ５） １０分〜１５分：安静
――――――――――――――――――
図１６は、本実験系の概要を示す。図１６から理解されるように、被験者の各々は、パーソナルコンピュータに脈波測定用アンプ（ＢＩＯＰＡＣ社製 ＰＰＧ１００Ｃ）を介して接続した脈拍測定トランスデューサ（ＢＩＯＰＡＣ社製 ＴＳＤ２００）を、その右手人差し指に装着した。ここで、この脈拍測定トランスデューサは、右手人差し指の指尖脈波を取得する。パーソナルコンピュータのプロセッサは、本発明の生体指標算出プログラムを実行し、脈波測定用アンプを介して得られた指尖脈波の信号を入力として取り込み、（脈波情報に基づく）心拍数と、脈波から導出される特徴量に基づいた重回帰モデルにより得られる推定心拍数とを算出する。次いで、本発明の生体指標算出プログラムに従い、上述のプロセッサは、この脈波に基づく心拍数と、推定心拍数に基づいて、脈波に基づいたρmaxを算出する。この本発明の生体指標算出プログラムのおける解析方法の詳細は、後述する。
【００４１】
その被験者の各々はまた、連続血圧計（フィナプレス社製 Ｐｏｒｔａｐｒｅｓ）の指先カフを、その右手中指に装着した。連続血圧計は、本発明の生体情報処理プログラムの性能を評価するために連続血圧を取得したものである。
【００４２】
（解析方法）
発明者らは、およそ次の手順で解析を行った。
《１：重回帰モデルの決定》まず安静時において取得された光電脈波信号に基づき、光電脈波信号の特徴量（脈波振幅、脈波拍内平均値、加速度脈波のピーク値など９つ）を説明変数とし、数秒先の心拍数を目的変数とする重回帰モデルを得た。ただし、説明変数と目的変数は帯域通過フィルタを通すことによりマイヤー波帯域に制限されている。
《２：相互相関係数の最大値の算出》次に、この重回帰モデルに光電脈波信号の特徴量を入力して得られる心拍数の推定値（以下、「推定心拍数」）と（脈波の立ち上がり点から次の脈波の立ち上がり点までの時間の長さに基づき算出された）心拍数との間のマイヤー波帯域における相互相関係数をρ(τ)として推定する。ここでτは時間遅れである。時間遅れτを所定の範囲で変動させることで相互相関係数の最大値ρmaxを取得する。なお、血圧の代わりに推定心拍数を使うことができる理由は、安静時のマイヤー波帯域における血圧が約３秒遅れた心拍数とよく相関するからである。
《３：対照用のデータの取得》比較対照のため、連続血圧計で実測された平均値血圧と心拍数の時系列データに基づいて、平均血圧と心拍数との間の最大相互相関係数を算出する。
【００４３】
次に、上述の解析方法を、より具体的に説明する。
【００４４】
（重回帰モデルの決定について）
まず、入力として得られた脈波信号から特徴量を得た過程を、図１を参照して以下に説明する。
【００４５】
図１は、１拍の脈波およびその脈波から導出される波形の一例を示す。この図１に示された脈波は、上述した被験者のうちの１名から得た脈波の一例である。３２名の被験者のうち他の被験体も、同様の脈波を取得した。図１の太線、点線、実線および破線は、それぞれ、１拍分の脈波ならびにその速度脈波、加速度脈波および加加速度脈波である。この速度脈波、加速度脈波および加加速度脈波は、それぞれ、脈波の一回微分、二回微分および三回微分することで得られた。すなわち、本実験では、一拍分の脈波が得られるごとに、その速度脈波、加速度脈波および加加速度脈波を計算した。
【００４６】
そして、得られた速度脈波、加速度脈波および加加速度脈波を示す曲線における極値（極大値および極小値）を取得した。以下の説明の簡便のために、図１において示されるに、取得した速度脈波曲線における極値を、時間的に若い方からＡ（最初の極大点）、Ｂ（最初の極小点）、Ｃ（第２の極大点），．．．とする。また、取得した加速度脈波曲線における極値を、時間的に若い方からａ（最初の極大点）、ｂ（最初の極小点）、ｃ（第２の極大点），．．．とする。なお、図３は、図１に示された脈波から導出された特徴量（加速度脈波における極値）の経時変動を示す。
【００４７】
また、図１の太線で示されるような各拍の脈波から、脈波平均値（ＭＰ）および脈波振幅（ＰＡ）を取得した。図２は、上述の被験者のうちの１名における１５分間の試験の間に得られた、脈波平均値（ＭＰ）および脈波振幅（ＰＡ）の経時的変動を示す。
【００４８】
本実験において、上述したように得られた特徴量（すなわち、極値、脈波平均値および脈波振幅）は、それぞれ、各拍が不等間隔で得られているので，拍間を３次のスプライン関数で補間した後、０．２秒（５Ｈｚ）で再サンプリングした。その後、これらの特徴量の各々を、マイヤー波帯域（０．０８Ｈｚ〜０．１２Ｈｚ）の帯域通過フィルタに通し、平均値が０となり、標準偏差が１となるように規格化した。
【００４９】
このようにして得られた特徴量の組合せを、重回帰モデルの説明変数として使用した。具体的には、時刻ｔ[ｓ]における、９個の要素からなる入力変数ベクトルを次のように定義した：
【数１】
ここで、時刻ｔにおける、速度脈波曲線における第２の極大値Ｂ、加速度脈波曲線における最初の極大値ａおよび最初の極小値ｂ、ならびに脈波平均値ＭＰおよび脈波振幅ＰＡが、９個の要素のために使用される。なお、説明の簡便のために、ｘ（ｔ）の各要素は、ａ、ｂ、Ｂ、ＭＰおよびＰＡの組合せを用いて表現しているが、いずれの特徴量においても、マイヤー波帯域（０．０８Ｈｚ〜０．１２Ｈｚ）の帯域通過フィルタにより処理され、さらに規格化された後の値を、ｘ（ｔ）の実際の要素として使用した。
【００５０】
次に、入力として得られた脈波信号から心拍数を得た過程を説明する。
【００５１】
本実験では、脈波の立ち上がり点から次の脈波の立ち上がり点までの時間の長さ（いわゆるＦｏｏｔ−Ｆｏｏｔ間隔（ＦＦＩ））を心周期［ｓ］とみなして、その逆数に６０をかけたもの（＝６０倍したもの）［ｍｉｎ-1］を、心拍数とした。このように得られる心拍数は、心電図信号のＲ−Ｒ間隔から求める心拍数とほぼ同等の情報として用いることができる（なお、別実験で、この二者の間の相関係数が、０．９９９であるとの結果が得られている（データは示さず））。
【００５２】
なお、本明細書において使用される場合、用語「心周期」または「心拍周期（ｃａｒｄｉａｃ ｃｙｃｌｅ）」は、心拍動１回の全経過またはその時間をいう。また、本明細書において使用される場合、用語「心拍動（ｈｅａｒｔ ｂｅａｔ）」は、完全な心臓周期をいい、電気的刺激の拡散とそれに続く機械的収縮を含む。
【００５３】
このようにして得られる（脈波に基づく）心拍数を、３次のスプライン関数で補間した後、０．２秒（５Ｈｚ）で再サンプリングした。次いで、再サンプリングをした心拍数を、マイヤー波帯域（０．０８Ｈｚ〜０．１２Ｈｚ）の帯域通過フィルタに通し、平均値が０，標準偏差が１となるように規格化し、これに−１を乗じた。この結果得られた時系列データは、時刻ｔの関数として、ｙ（ｔ）で表される。
【００５４】
このようにして得られたｙ（ｔ）と、先述のｘ（ｔ）を、後続の計算で用いた。すなわち、これらの時系列データを利用して、重回帰モデルを設定し、決定した。
【００５５】
具体的には、以下の重回帰モデル：
【数２】
を設定した。ここで、βは、重回帰係数ベクトルであり、Ｌ[s]は、現時刻ｔとの時間的ずれを表現する、時間の次元を有するパラメータ（遅延時間）である。
【００５６】
被験体の各人において、実験で得られたデータのうち安静時の０．５分から４．５分のデータに基づき、遅延時間Ｌを０秒から６秒まで０．２秒ずつ変化させながら、最小２乗法によって重回帰係数ベクトルβを同定した。すなわち、時間遅延Ｌを特定の範囲で変化させたときに、最も誤差が小さい重回帰モデルを、最適な重回帰モデルとして決定した。また、この最適なモデルを与えるβおよびＬを、それぞれ、β*およびＬ*として取得した。
【００５７】
ここで、図４は、脈波から得られた特徴量の各要素を説明変数とし、心拍数を目的変数とする重回帰モデルから得られる、時間遅延Ｌ［秒］だけ遅らせた心拍数の推定値と、心拍数の間の相関係数を縦軸に取り、横軸を遅延時間Ｌとして、遅延時間Ｌを０秒から６秒までの間で変化させてプロットした図である。図４に示した結果は、上述した被験者のうちの１名から得た結果に基づくものである。図４から理解されるように、遅延時間Ｌが１．４のときに、相関係数ｒが、０．９２１６４となる。
【００５８】
上述のように、各被験体において、β*を安静時（０．５分間から４．５分間まで）の各特徴量等のデータを利用した。図５は、その０．５分間から４．５分間までにおける、図４に示した結果を与えた被験体から得た、推定心拍数（β*Tｘ（ｔ））と、脈波に基づいた心拍数の時間波形を示している。また、図６は、図５に示された時間波形の一例に対応する、推定心拍数と心拍数との相関図である。
【００５９】
（相互相関係数の最大値の算出について）
次に、時刻ごとに、得られた重回帰モデルに光電脈波信号の特徴量を入力して得られる心拍数の推定値（以下、推定心拍数）を取得した。すなわち、時刻ｔにおける推定心拍数は、β*Tｘ（ｔ）として計算される。これにより、推定心拍数の時系列データを得た。
【００６０】
次に、得られた推定心拍数の時系列データと、上述の脈波に基づく心拍数の系列データとの間で、相互相関係数ρ（τ）を設定した。ここで、τは遅延時間である。そして、この遅延時間τを変動させて、この相互相関係数ρ（τ）の最大値を算出した。
【００６１】
具体的には、次のように計算した。ここで、説明を簡便にするために、上述の推定心拍数の時系列データ、および脈波に基づく心拍数の時系列データを、それぞれ、ｕ（ｉ）およびｖ（ｉ）（ここで、ｉ＝０，１，２・・・）とおく。ここで、この２つの時系列データは、所定のサンプリング周期Δｔ（例えば、Δｔ＝０．２［ｓ］）でサンプリングされた時系列データである。なお、ｕ（ｉ）およびｖ（ｉ）は、上述のように、０．０８Ｈｚと０．１２Ｈｚとの間の帯域を有する帯域通過デジタルフィルタでフィルタリングされて、その周波数成分をマイヤー波帯域に制限されている。特定の時点ｔ（ここで、ｔ＝ｉ・Δｔ［ｓ］）において、ｔ−６０［ｓ］とｔ＋６０［ｓ］との間隔を有するハミング窓を、時系列データｕ（ｉ）およびｖ（ｉ）に適用した。相互相関係数ρuvは、遅延時間τ（ここで、τ＝ｊ・Δｔ［ｓ］であり；ｊ＝・・・，−１，０，１，・・・）について、次のように計算される：
【数３】
ここで、φuv（τ）は、ｕ（ｉ）とｖ（ｉ）との間の相互相関関数であり、φuu（０）およびφvv（０）のそれぞれは、自己相関関数である。
【００６２】
そして、最大相互相関係数ρmaxは、所定の区間で変動するτについて、次のように定義される。
【数４】
【００６３】
本実験において、このτを、以下の４通りの手順に従い、それぞれの場合の最大相互相関係数を計算した：
・［Ｍ１］τを−１０秒から１０秒までに制限して自由に変動させた場合；
・［Ｍ２］τを１秒から５秒までに制限して自由に変動させた場合；
・［Ｍ３］τを３秒に固定した場合、すなわちρ（３）とした場合；および
・［Ｍ４］τを１秒から５秒までに制限して自由に変動させたときの１分から４分までの安静時におけるτmaxの平均値に固定した場合。
【００６４】
（対照用のデータの取得について）
上述の例では、重回帰モデルの決定により推定心拍数を得ることで、相互相関係数の最大値の算出を行った。対照用のデータとして、推定心拍数の代わりに、連続血圧計で得られる平均血圧（血圧計で得られる波形積分して心周期で割った値）を用いて、上述の［Ｍ１］から［Ｍ４］までと同様の手法により、（血圧に基づく）最大相互相関係数を算出した。
【００６５】
（結果および評価）
上述の手順［Ｍ１］から［Ｍ４］までに従い算出された各時刻における最大相互相関係数が、３２名の被験体の各々について得られた。また、この結果に対応する、連続血圧に基づく測定値が得られた。
【００６６】
図７は、手順［Ｍ１］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値を示す。同様に、図８は、手順［Ｍ２］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値を示す。また、図９は、手順［Ｍ３］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値を示す。さらに、図１０は、手順［Ｍ４］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値を示す。
【００６７】
これらの図において、それぞれの上段のグラフは、当該最大相互相関係数の経時変化を示し、下段のグラフは、その最大相互相関係数を与える遅延時間τmaxの経時変化を示している。これらの図の実線の曲線は、推定心拍数に基づいて算出結果を示し、他方、点線の曲線は、連続血圧に基づいて算出した結果を示す。また、点線による枠で囲んだ時間領域は、被験体がバルサルバ操作による呼吸停止状態である時間帯を示している。
【００６８】
図７から図１０までに示されるように、最大相互相関係数を算出するために、推定心拍数を用いたとき、および血圧を用いたときのいずれの場合でも、最大相互相関係数ρmaxが最も高かったのは、手順［Ｍ１］の結果であり、手順［Ｍ２］、［Ｍ４］、［Ｍ３］の順で得られた最大相互相関係数は低くなっていくことが理解される。しかし、手順［Ｍ１］または［Ｍ２］で得られた、推定心拍数を用いた場合の結果は、血圧を用いた場合にみられるような呼吸停止時点の変動を十分に表していない。他方、手順［Ｍ３］または［Ｍ４］で得られた、推定心拍数を用いる場合の結果は、血圧を用いた場合にみられるような呼吸停止時点の変動をやや反映している。
【００６９】
また、［Ｍ１］および［Ｍ２］が、高い最大相互相関係数を与えながらも、有効なデータとして判断され得ないと解釈され得る理由は、以下のとおりである。
【００７０】
すなわち、通常、安静時の圧反射系は、３秒程度遅れたところで血圧と心拍数の相関が最も高くなる。この遅れ時間の探索範囲を大きく取りすぎると、圧反射（血圧変動を抑えるように心拍数を操作する）とは全く無関係な遅れ時間で相関が高くなることがある。このような場合には、算出された最大相互相関係数が、圧反射という意味を持たなくなるので［Ｍ１］または［Ｍ２］が高い相関を持ったとしても有効性の乏しいデータとして評価され得る。すなわち、遅れ時間が３秒程度で相互相関係数が最も高くなる場合はそれの指標としての有効性が高いが、これから逸脱した範囲で相関が高くても圧反射としては有効でないと解釈される。
【００７１】
なお、図１０で示されるように、手順［Ｍ４］の場合において、τmaxは、ほぼ３秒（平均値２．９９秒、標準偏差０．９７秒）となった。しかし、この場合でも最適なτmaxは、標準偏差が約１秒をとるほどに各被験者間で異なっており、偶然に３２名全員の平均値が３秒であったと解釈され得る。
【００７２】
図１１は、図９で示されたグラフのうち、手順［Ｍ３］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値のグラフのみを抜粋したものである。
【００７３】
図１１は、最大相互相関係数の被験体３２名全員の平均値を示している。ここで、図１１に示されるように、最大相互相関係数の変動に対する呼吸停止の影響は、鋭敏ではなかった。そこで、安静時でもρmaxが低い被験者が、３２名の被験者の中に存在する可能性について検討した。これを検討する理由は、安静時でもρmaxが低い被験者は、呼吸停止時の自律神経反応が鈍いためである。なお、発明者は、脈波信号だけではなく心電図計測を行って得られる脈波伝搬時間と心拍数との間のρ（３）を対象とした実験において、被験者における日常的な運動の効果を、ρ（３）が反映することを見いだしている（データ示さず）。このことは、被験者が全て健常者であっても、自律神経反応の程度は、個人差が存在することを示唆する。
【００７４】
安静時でもρmaxが低い被験者が、３２名の被験者の中に存在する可能性について検討するために、具体的には、次のような手順に従い、実験結果を評価した。まず、遅延時間τを３秒に固定した推定心拍数に基づく最大相互相関係数（すなわち、手順［Ｍ３］に従った結果）のうち、０分から４分までの安静時のρ（３）の平均値が０．４以上である被験者を、選択した。その結果、１５名の被験体が得られた。図１２は、これらの被験者についてのみρ（３）の平均値を算出した結果を示す。図１２から理解されるように、呼吸停止時のρ（３）の下降がやや大きくなった。
【００７５】
ここで、被験者の選択に用いた平均値の閾値を、０．４としたのは、次の理由による。圧反射の感度を表す収縮期血圧変動に対する心拍数変動の比であるαインデックスは、０．１Ｈｚ付近で線形相関性を表すコヒーレンス関数が０．５以上であれば、定義できることが一般に知られている（例えば、ｈｔｔｐ：／／ｗｗｗ．ｃｂｉ．ｄｏｎｇｎｏｃｃｈｉ．ｉｔ／ｇｌｏｓｓａｒｙ／ＡｌｐｈａＩｎｄｅｘ．ｈｔｍｌ）。ここで、このコヒーレンス関数は、ρmaxに数学的にはほぼ等価とみなせるため、０．５に近い０．４を上述の閾値に選択した。さらに、この０．４を閾値とするとこの値以上で全被験者のほぼ半数となるために、統計的な解釈が容易となる。
【００７６】
同様にして、この閾値を０．５、０．６または０．７として被験体を選別した。閾値として０．５、０．６および０．７を用いたときに選択された被験体の数は、それぞれ、９名、６名および４名であった。図１３、図１４および図１５は、それぞれ、閾値として０．５、０．６および０．７を用いたときに選択された被験体のみについて、ρ（３）の平均値を算出した結果を示す。
【００７７】
図１３、図１４および図１５から理解されるように、呼吸停止時のρ（３）の下降の程度が、閾値を０．５、０．６または０．７とするに従い、大きくなっている。しかも、安静時の推定心拍数に基づくρ（３）は、血圧に基づくρ（３）に近接していくことが理解される。このことは、最大相互相関係数が被験体の圧反射機能の個人的な優劣を敏感に反映し、対象者の自律神経機能の性能をよく表す指標であることを意味する。すなわち、安静時において、ρ（３）が高い被験体は呼吸停止に対する自律神経反応と呼応した明確なρ（３）の変化を示すのに対して、安静時においてρ（３）が低い被験体は、呼吸停止に対する自律神経反応と呼応が鈍いρ（３）の変化を示す。
【００７８】
そして、この実験結果から判断すると、ρ（３）の大きさを見ることにより自律神経機能の優劣を判断することができると考えられる。このことは、バルサルバ試験をすることなしに、安静時のρ（３）を見るだけで対象者の自律神経機能の優劣を推定できる可能性を示すものである。また、脈波信号に基づくρ（３）の呼吸停止に対する変化は、血圧に基づくρ（３）より顕著であることも、脈波信号に基づくρ（３）が、血圧計測が不要であるにもかかわらず優れた指標であることを示唆している。
【００７９】
なお、手順［Ｍ１］および［Ｍ２］に従って得られた結果においても、手順［Ｍ３］の場合（ρ（３）のとき）と同様に、閾値を０．４、０．５、０．６または０．７として、データを選別した上でその評価を行ったが、［Ｍ１］および［Ｍ２］の手順に従った場合の最大相互相関係数は、呼吸停止時点の変動を十分に表さないことが確認された（データ示さず）。
【００８０】
また、手順［Ｍ４］については、手順［Ｍ３］の場合（ρ（３）のとき）と同様に、閾値を０．４、０．５、０．６または０．７として、データを選別した上でその評価を行ったが、その結果は、［Ｍ３］と同様に、呼吸停止時の最大相互相関係数ρmaxの下降の程度が、閾値を０．５、０．６または０．７とするに従い、大きくなっていることを示している（データ示さず）。しかも、安静時の推定心拍数に基づくρ（３）は、血圧に基づくρ（３）に近接していく傾向も担保されている。
【００８１】
以上の実験の結果から、次の結論が得られる。
【００８２】
まず、脈波の特徴量を入力とする重回帰モデルによる推定心拍数と、（ＦＦＩに基づき算出された）心拍数の間のρmaxは、血圧に基づくρmaxと安静時によく相似する。
【００８３】
次に、推定心拍数に基づくρmaxが、安静時に高い被験者ほどこの指標が呼吸停止時により大きく減少した。この反応は、血圧を直接計測する場合のρmaxよりもむしろ敏感であり、推定心拍数に基づくρmaxは、被験者の圧受容器反射に関係する自律神経機能の相違をより明瞭に表す指標であると言える。
【００８４】
実用的には、遅延時間τが１秒から５秒に制限された場合のτmaxの平均値である、
【数５】
を使った、
【数６】
を使用するか、あるいは、τを３秒に固定したρ（３）を使用すると、鋭敏なρmaxの推移が得られる。
【００８５】
本明細書のこれ以降の記載において、上述したように被験体の自律神経系の機能の有用な指標を与える、脈波情報にのみに基づき時系列モデル（例えば、重回帰モデル）を決定することによる本発明の方法を実装した生体情報処理システムの一例の具体的な説明を行う。
【００８６】
（生体情報処理システム）
（生体情報処理システムの基本構成）
図１７を参照して、本発明の生体情報処理プログラムを実行する生体情報処理システムの一例について説明する。以下、説明を具体的にするために、当該生体情報処理システムとして、据置型のゲーム装置本体５を含むゲームシステム１を用いて説明する。ここで、図１７は、据置型のゲーム装置３を含むゲームシステム１の一例を示す外観図である。また、図１８は、ゲーム装置本体５の一例を示すブロック図である。以下、当該ゲームシステム１について説明する。
【００８７】
図１７において、ゲームシステム１は、表示手段の一例の家庭用テレビジョン受像機２（以下、モニタ２と記載する）と、当該モニタ２に接続コードを介して接続する据置型のゲーム装置３とから構成される。モニタ２は、ゲーム装置３から出力された音声信号を音声出力するためのスピーカ２ａを備える。また、ゲーム装置３は、本発明の情報処理プログラムの一例である生体情報処理プログラムを記録した光ディスク４と、当該光ディスク４の生体情報処理プログラムを実行してゲーム画面をモニタ２に表示出力させるためのコンピュータを搭載したゲーム装置本体５と、ゲーム画面に表示されたキャラクタ等を操作するゲームに必要な操作情報をゲーム装置本体５に与えるためのコントローラ７とを備えている。
【００８８】
また、ゲーム装置本体５は、無線コントローラモジュール１９（図１８参照）を内蔵する。無線コントローラモジュール１９は、コントローラ７から無線送信されるデータを受信し、ゲーム装置本体５からコントローラ７へデータを送信して、コントローラ７とゲーム装置本体５とを無線通信によって接続する。さらに、ゲーム装置本体５には、当該ゲーム装置本体５に対して交換可能に用いられる情報記憶媒体の一例の光ディスク４が脱着される。
【００８９】
また、ゲーム装置本体５には、セーブデータ等のデータを固定的に記憶するバックアップメモリとして機能するフラッシュメモリ１７（図１８参照）が搭載される。ゲーム装置本体５は、光ディスク４に記憶された生体情報処理プログラム等を実行することによって、その結果をゲーム画像としてモニタ２に表示する。また、生体情報処理プログラム等は、光ディスク４に限らず、フラッシュメモリ１７に予め記録されたものを実行するようにしてもよい。さらに、ゲーム装置本体５は、フラッシュメモリ１７に記憶されたセーブデータを用いて、過去に実行されたゲーム状態を再現して、ゲーム画像をモニタ２に表示することもできる。そして、ゲーム装置３のユーザは、モニタ２に表示されたゲーム画像を見ながら、コントローラ７を操作することによって、ゲーム進行を楽しむことができる。
【００９０】
コントローラ７は、無線コントローラモジュール１９を内蔵するゲーム装置本体５へ、例えば、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース；登録商標）の技術を用いて操作情報および生体情報等の送信データを無線送信する。
【００９１】
コントローラ７は、コアユニット７０およびバイタルセンサ７６を備えており、コアユニット７０およびバイタルセンサ７６が屈曲自在な接続ケーブル７９を介して互いに接続されて構成されている。コアユニット７０は、主にモニタ２の表示画面に表示されるオブジェクト等を操作するための操作手段である。バイタルセンサ７６は、ユーザの身体（例えば、指）に装着されてユーザの生体信号を取得し、接続ケーブル７９を介してコアユニット７０へ生体情報を送る。
【００９２】
コアユニット７０は、片手で把持可能な程度の大きさのハウジングと、当該ハウジングの表面に露出して設けられた複数個の操作ボタン（十字キーやスティック等を含む）とが設けられている。また、後述により明らかとなるが、コアユニット７０は、当該コアユニット７０から見た画像を撮像する撮像情報演算部７４を備えている。また、撮像情報演算部７４の撮像対象の一例として、モニタ２の表示画面近傍に２つのＬＥＤモジュール（以下、マーカと記載する）８Ｌおよび８Ｒが設置される。これらマーカ８Ｌおよび８Ｒは、それぞれモニタ２の前方に向かって例えば赤外光を出力する。
【００９３】
また、コントローラ７（例えば、コアユニット７０）は、ゲーム装置本体５の無線コントローラモジュール１９から無線送信された送信データを通信部７５で受信して、当該送信データに応じた音や振動を発生させることもできる。
【００９４】
なお、本実施例では、コアユニット７０とバイタルセンサ７６とを屈曲自在な接続ケーブル７９で接続したが、バイタルセンサ７６に無線ユニットを搭載することで、接続ケーブル７９をなくすこともできる。例えば、無線ユニットとしてＢｌｕｅｔｏｏｔｈ（登録商標）ユニットをバイタルセンサ７６に搭載することで、バイタルセンサ７６からコアユニット７０やゲーム装置本体５へ生体情報データを送信することが可能になる。また、コアユニット７０にバイタルセンサ７６を固定して設けることによって、コアユニット７０とバイタルセンサ７６とを一体構成してもかまわない。この場合、ユーザは、コアユニット７０と一体でバイタルセンサ７６を扱うことができる。
【００９５】
（ゲーム装置本体の内部構成）
次に、図１８を参照して、ゲーム装置本体５の内部構成について説明する。図１８は、ゲーム装置本体５の構成を示すブロック図である。ゲーム装置本体５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ／Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）１３、ディスクドライブ１４、およびＡＶ−ＩＣ（Ａｕｄｉｏ Ｖｉｄｅｏ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１５等を有する。
【００９６】
ＣＰＵ１０は、光ディスク４に記憶された生体情報処理プログラムを実行することによって生体情報処理プログラムを実行するものであり、生体情報処理プロセッサとして機能する。また、生体情報処理プログラムにゲームアプリケーションが含まれる場合、ＣＰＵ１０は、光ディスク４に記憶されたゲームアプリケーションを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。
【００９７】
ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間のデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については、後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出された生体情報処理プログラムや、フラッシュメモリ１７から読み出された生体情報処理プログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置本体５の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ３５または外部メインメモリ１２に読み出したデータを書き込む。
【００９８】
また、システムＬＳＩ１１には、入出力プロセッサ３１、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）３２、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３３、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３４、および内部メインメモリ３５が設けられる。図示は省略するが、これらの構成要素３１〜３５は、内部バスによって互いに接続される。
【００９９】
ＧＰＵ３２は、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ３４は、ＧＰＵ３２がグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ３２は、ＶＲＡＭ３４に記憶されたデータを用いて画像データを作成する。
【０１００】
ＤＳＰ３３は、オーディオプロセッサとして機能し、内部メインメモリ３５や外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。
【０１０１】
上述のように生成された画像データおよび音声データは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、ＡＶコネクタ１６を介して、読み出した画像データをモニタ２に出力するとともに、読み出した音声データをモニタ２に内蔵されるスピーカ２ａに出力する。これによって、画像がモニタ２に表示されるとともに音がスピーカ２ａから出力される。
【０１０２】
入出力プロセッサ（Ｉ／Ｏプロセッサ）３１は、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ３１は、フラッシュメモリ１７、無線通信モジュール１８、無線コントローラモジュール１９、拡張コネクタ２０、および外部メモリカード用コネクタ２１に接続される。無線通信モジュール１８にはアンテナ２２が接続され、無線コントローラモジュール１９にはアンテナ２３が接続される。
【０１０３】
入出力プロセッサ３１は、無線通信モジュール１８およびアンテナ２２を介してネットワークに接続し、ネットワークに接続される他のゲーム装置や各種サーバと通信することができる。入出力プロセッサ３１は、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データがある場合には、無線通信モジュール１８およびアンテナ２２を介して当該データをネットワークに送信する。また、入出力プロセッサ３１は、他のゲーム装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２、および無線通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０は、生体情報処理プログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出して生体情報処理プログラムで利用する。フラッシュメモリ１７には、ゲーム装置本体５と他のゲーム装置や各種サーバとの間で送受信されるデータの他、ゲーム装置本体５を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。
【０１０４】
また、入出力プロセッサ３１は、アンテナ２３および無線コントローラモジュール１９を介して、コントローラ７から送信される操作データ等を受信し、内部メインメモリ３５または外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。なお、内部メインメモリ３５には、外部メインメモリ１２と同様に、光ディスク４から読み出された生体情報処理プログラムや、フラッシュメモリ１７から読み出された生体情報処理プログラム等のプログラムを記憶したり、各種データを記憶したりしてもよく、ＣＰＵ１０のワーク領域やバッファ領域として用いられてもかまわない。
【０１０５】
さらに、入出力プロセッサ３１には、拡張コネクタ２０および外部メモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタであり、外部記憶媒体のようなメディアを接続したり、他のコントローラのような周辺機器を接続したり、有線の通信用コネクタを接続することによって無線通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。外部メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ３１は、拡張コネクタ２０や外部メモリカード用コネクタ２１を介して、外部記憶媒体にアクセスし、データを保存したり、データを読み出したりすることができる。
【０１０６】
また、ゲーム装置本体５（例えば、前部主面）には、当該ゲーム装置本体５の電源ボタン２４、ゲーム処理のリセットボタン２５、光ディスク４を脱着する投入口、およびゲーム装置本体５の投入口から光ディスク４を取り出すイジェクトボタン２６等が設けられている。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオン状態にされると、ゲーム装置本体５の各構成要素に対して、図示しないＡＣアダプタを介して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置本体５の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【０１０７】
（コントローラの内部構成）
次に、図１９を参照して、コントローラ７の内部構成について説明する。なお、図１９は、コントローラ７の構成の一例を示すブロック図である。
【０１０８】
図１９において、コアユニット７０は、上述した操作部７２、撮像情報演算部７４、加速度センサ７０１、バイブレータ７０４、スピーカ７０６、サウンドＩＣ７０７、およびアンプ７０８の他に、その内部に通信部７５を備えている。また、バイタルセンサ７６は、接続ケーブル７９とコネクタ７９１および７３とを介して、マイコン７５１と接続される。
【０１０９】
撮像情報演算部７４は、赤外線フィルタ７４１、レンズ７４２、撮像素子７４３、および画像処理回路７４４を含んでいる。赤外線フィルタ７４１は、コアユニット７０の前方から入射する光から赤外線のみを通過させる。レンズ７４２は、赤外線フィルタ７４１を透過した赤外線を集光して撮像素子７４３へ出射する。撮像素子７４３は、例えば、ＣＭＯＳセンサやあるいはＣＣＤのような固体撮像素子であり、レンズ７４２が集光した赤外線を撮像する。したがって、撮像素子７４３は、赤外線フィルタ７４１を通過した赤外線だけを撮像して画像データを生成する。撮像素子７４３で生成された画像データは、画像処理回路７４４で処理される。具体的には、画像処理回路７４４は、撮像素子７４３から得られた画像データを処理して高輝度部分を検知し、それらの位置座標や面積を検出した結果を示す処理結果データを通信部７５へ出力する。なお、これらの撮像情報演算部７４は、コアユニット７０のハウジング７１に固設されており、ハウジング７１自体の方向を変えることによってその撮像方向を変更することができる。
【０１１０】
コアユニット７０は、３軸（Ｘ、Ｙ、Ｚ軸）の加速度センサ７０１を備えていることが好ましい。この３軸の加速度センサ７０１は、３方向、すなわち、上下方向、左右方向、および前後方向で直線加速度を検知する。また、少なくとも１軸方向（例えば、Ｚ軸方向）に沿った直線加速度を検知する加速度検出手段を使用してもよい。例えば、これらの加速度センサ７０１は、アナログ・デバイセズ株式会社（Ａｎａｌｏｇ Ｄｅｖｉｃｅｓ， Ｉｎｃ．）またはＳＴマイクロエレクトロニクス社（ＳＴＭｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．）から入手可能であるタイプのものでもよい。加速度センサ７０１は、シリコン微細加工されたＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ：微小電子機械システム）の技術に基づいた静電容量式（静電容量結合式）であることが好ましい。しかしながら、既存の加速度検出手段の技術（例えば、圧電方式や圧電抵抗方式）あるいは将来開発される他の適切な技術を用いて、加速度センサ７０１が提供されてもよい。
【０１１１】
加速度センサ７０１に用いられるような加速度検出手段は、加速度センサ７０１の持つ各軸に対応する直線に沿った加速度（直線加速度）のみを検知することができる。つまり、加速度センサ７０１からの直接の出力は、それら３軸のそれぞれに沿った直線加速度（静的または動的）を示す信号である。このため、加速度センサ７０１は、非直線状（例えば、円弧状）の経路に沿った動き、回転、回転運動、角変位、傾斜、位置、または姿勢等の物理特性を直接検知することはできない。
【０１１２】
しかしながら、加速度センサ７０１から出力される加速度の信号に基づいて、ゲーム装置のプロセッサ（例えばＣＰＵ１０）またはコントローラのプロセッサ（例えばマイコン７５１）等のコンピュータが処理を行うことによって、コアユニット７０に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。
【０１１３】
例えば、加速度センサ７０１を搭載するコアユニット７０が静的な状態であることを前提としてコンピュータ側で処理する場合（すなわち、加速度センサ７０１によって検出される加速度が重力加速度のみであるとして処理する場合）、コアユニット７０が現実に静的な状態であれば、検出された加速度に基づいてコアユニット７０の姿勢が重力方向に対して傾いているか否か、またはどの程度傾いているかを知ることができる。
【０１１４】
具体的には、加速度センサ７０１の検出軸が鉛直下方向を向いている状態を基準としたとき、当該検出軸方向に１Ｇ（重力加速度）が作用しているか否かだけでコアユニット７０が鉛直下方向に対して傾いているか否かを知ることができる。また、上記検出軸方向に作用している加速度の大きさによって、コアユニット７０が鉛直下方向に対してどの程度傾いているかも知ることができる。また、多軸方向の加速度を検出可能な加速度センサ７０１の場合には、さらに各軸に対して検出された加速度の信号に対して処理を施すことによって、重力方向に対してコアユニット７０がどの程度傾いているかをより詳細に知ることができる。この場合において、加速度センサ７０１からの出力に基づいて、プロセッサがコアユニット７０の傾き角度のデータを算出する処理を行ってもよいが、当該傾き角度のデータを算出する処理を行うことなく、加速度センサ７０１からの出力に基づいて、おおよそのコアユニット７０の傾き具合を推定するような処理としてもよい。このように、加速度センサ７０１をプロセッサと組み合わせて用いることによって、コアユニット７０の傾き、姿勢、または位置を判定することができる。
【０１１５】
一方、加速度センサ７０１が動的な状態であることを前提とする場合には、当該加速度センサ７０１が重力加速度成分に加えて加速度センサ７０１の動きに応じた加速度を検出するので、重力加速度成分を所定の処理により除去すれば、コアユニット７０の動き方向等を知ることができる。
【０１１６】
具体的には、加速度センサ７０１を備えるコアユニット７０がユーザの手で動的に加速されて動かされる場合に、加速度センサ７０１によって生成される加速度信号を処理することによって、コアユニット７０の様々な動きおよび／または位置を算出することができる。なお、加速度センサ７０１が動的な状態であることを前提とする場合であっても、加速度センサ７０１の動きに応じた加速度を所定の処理により除去すれば、重力方向に対するコアユニット７０の傾きを知ることが可能である。
【０１１７】
他の実施例では、加速度センサ７０１は、信号をマイコン７５１に出力する前に内蔵された加速度検出手段から出力される加速度信号に対して所望の処理を行うための、組み込み式信号処理装置または他の種類の専用処理装置を備えていてもよい。例えば、組み込み式または専用の処理装置は、加速度センサ７０１が静的な加速度（例えば、重力加速度）を検出するためのものである場合、検知された加速度信号をそれに相当する傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。加速度センサ７０１でそれぞれ検知された加速度を示すデータは、通信部７５に出力される。
【０１１８】
通信部７５は、マイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）７５１、メモリ７５２、無線モジュール７５３、およびアンテナ７５４を含んでいる。マイコン７５１は、処理の際にメモリ７５２を記憶領域として用いながら、送信データを無線送信する無線モジュール７５３を制御する。また、マイコン７５１は、アンテナ７５４を介して無線モジュール７５３が受信したゲーム装置本体５からのデータに応じて、サウンドＩＣ７０７およびバイブレータ７０４の動作を制御する。サウンドＩＣ７０７は、通信部７５を介してゲーム装置本体５から送信されたサウンドデータ等を処理する。また、マイコン７５１は、通信部７５を介してゲーム装置本体５から送信された振動データ（例えば、バイブレータ７０４をＯＮまたはＯＦＦする信号）等に応じて、バイブレータ７０４を作動させる。
【０１１９】
コアユニット７０に設けられた操作部７２からの操作信号（キーデータ）、加速度センサ７０１からの３軸方向の加速度信号（Ｘ、Ｙ、およびＺ軸方向加速度データ）、および撮像情報演算部７４からの処理結果データは、マイコン７５１に出力される。また、接続ケーブル７９を介して、バイタルセンサ７６からの生体信号（生体情報データ）は、マイコン７５１に出力される。
【０１２０】
マイコン７５１は、入力した各データ（キーデータ、Ｘ、Ｙ、およびＺ軸方向加速度データ、処理結果データ、生体情報データ）を無線コントローラモジュール１９へ送信する送信データとして一時的にメモリ７５２に記憶する。ここで、通信部７５から無線コントローラモジュール１９への無線送信は、所定の周期毎に行われるが、ゲームの処理は１／６０秒を単位として行われることが一般的であるので、それよりも短い周期で送信を行うことが必要となる。
【０１２１】
具体的には、ゲームの処理単位は１６．７ｍｓ（１／６０秒）であり、ブルートゥース（登録商標）で構成される通信部７５の送信間隔は５ｍｓである。マイコン７５１は、無線コントローラモジュール１９への送信タイミングが到来すると、メモリ７５２に記憶されている送信データを一連の操作情報として出力し、無線モジュール７５３へ出力する。そして、無線モジュール７５３は、例えばブルートゥース（登録商標）の技術を用いて、操作情報を示す電波信号を所定周波数の搬送波を用いてアンテナ７５４から放射する。つまり、コアユニット７０に設けられた操作部７２からのキーデータと、加速度センサ７０１からのＸ、Ｙ、およびＺ軸方向加速度データと、撮像情報演算部７４からの処理結果データと、バイタルセンサ７６からの生体情報データとがコアユニット７０から送信される。そして、ゲーム装置本体５の無線コントローラモジュール１９でその電波信号を受信し、ゲーム装置本体５で当該電波信号を復調や復号することによって、一連の操作情報（キーデータ、Ｘ、Ｙ、およびＺ軸方向加速度データ、処理結果データ、生体情報データ）を取得する。そして、ゲーム装置本体５のＣＰＵ１０は、取得した操作情報と生体情報処理プログラムとに基づいて、情報処理を行う。なお、ブルートゥース（登録商標）の技術を用いて通信部７５を構成する場合、通信部７５は、他のデバイスから無線送信された送信データを受信する機能も備えることができる。
【０１２２】
（バイタルセンサの基本構成）
次に、図２０および図２１を参照して、バイタルセンサ７６について説明する。バイタルセンサ７６は、脈波検出装置としての機能を担うとともに、検出された脈波信号を利用するために付随する所定の情報処理を行う機能を担う。なお、図２０は、バイタルセンサ７６の構成の一例を示すブロック図である。図２１は、バイタルセンサ７６から出力される生体情報の一例である脈波情報の例を示す図である。
【０１２３】
図２０において、バイタルセンサ７６は、制御部７６１、発光部７６２、および受光部７６３を備えている。
【０１２４】
発光部７６２および受光部７６３は、ユーザの生体信号を得るセンサの一例であり、透過型指尖容積脈波センサを構成する。発光部７６２は、例えば赤外線ＬＥＤで構成され、所定波長（例えば、９４０ｎｍ）の赤外線を受光部７６３に向けて照射する。一方、受光部７６３は、発光部７６２が照射する波長に応じて照射される光を受光し、例えば赤外線フォトレジスタで構成される。そして、発光部７６２と受光部７６３とは、所定の間隙（空洞）を介して配置されている。
【０１２５】
ここで、人体の血液中に存在するヘモグロビンは、赤外線を吸光する性質をもっている。例えば、上述した発光部７６２および受光部７６３間の間隙にユーザの身体の一部（例えば、指先）を挿入する。これによって、発光部７６２から照射された赤外線は、挿入した指先内に存在するヘモグロビンで吸光された後、受光部７６３で受光される。
【０１２６】
一方、心拍によって血管および血液中を伝播する波（脈波）が生じている。このため、人体の動脈は拍動し、当該拍動に応じて動脈の太さが変化する。すなわち、脈波は、身体組織のある部分への血液の流入によって生じる容積変化を体表面から波形として捉えることが可能である。したがって、バイタルセンサ７６に挿入した指先内の動脈も同様の拍動が生じており、当該拍動に応じて血流量が変化するため、当該血流量に応じて吸光される赤外線の量も変化する。すなわち、心臓の動きそのものではなく、末梢血管の運動を測定することによっても、心拍関連情報（例えば、心電図Ｒ−Ｒ間隔）と同様の意味を持つ情報が取得可能である。なお、心電図のＲ波は心室筋、すなわち、心室の収縮を示しており、１分間のＲ波の数が心拍数という解釈ができる。このＲ波とその次のＲ波との間隔がＲ−Ｒ間隔である。そして、Ｒ−Ｒ間隔は心拍数の逆数なので、Ｒ−Ｒ間隔が長いということは、心拍数が少ないということを意味している。逆に、Ｒ−Ｒ間隔が短いということは、心拍数が多いということを意味している。
【０１２７】
図２１は、バイタルセンサ７６から出力される生体情報の一例である脈波情報の例である。図２１において、脈波の立ち上がり点から次の脈波の立ち上がり点までの時間の長さ（すなわち、いわゆるＦＦＩ（Ｆｏｏｔ−Ｆｏｏｔ Ｉｎｔｅｒｖａｌ））を示した。前述のように、このＦＦＩを心周期［ｓ］とみなして、その逆数に６０をかけたもの（＝６０倍したもの）［ｍｉｎ-1］を心拍数として取得することが可能である。
【０１２８】
具体的には、挿入した指先内の血流量が多い場合、ヘモグロビンで吸光される量も増加するために受光部７６３で受光する赤外線の光量が相対的に少なくなる。他方、挿入した指先内の血流量が少ない場合、ヘモグロビンで吸光される量も減少するために受光部７６３で受光する赤外線の光量が相対的に多くなる。
【０１２９】
発光部７６２および受光部７６３は、このような動作原理を利用し、受光部７６３で受光する赤外線の光量を光電信号に変換することによって、人体の脈拍を検出している。例えば、図２１に示すように、挿入した指先内の血流量が増加した場合に受光部７６３の検出値が上昇し、挿入した指先内の血流量が減少した場合に受光部７６３の検出値が下降する。このように、受光部７６３の検出値が脈動する脈波部分が、脈波信号として生成される。なお、受光部７６３の回路構成によって、挿入した指先内の血流量が増加した場合に受光部７６３の検出値が下降し、挿入した指先内の血流量が減少した場合に受光部７６３の検出値が上昇するような脈波信号を生成してもかまわない。
【０１３０】
制御部７６１は、例えば、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）で構成される。制御部７６１は、発光部７６２から照射される赤外線の光量を制御する。また、制御部７６１は、受光部７６３から出力された光電信号（脈波信号）をＡ／Ｄ変換して脈波データ（生体情報データ）を生成する。そして、制御部７６１は、接続ケーブル７９を介して、脈波データ（生体情報データ）をコアユニット７０へ出力する。
【０１３１】
（生体情報処理および生体情報処理プログラムの概要）
次に、ゲーム装置本体５が行う具体的な処理を説明する前に、図２２を参照しつつ、本ゲーム装置本体５で行う処理、およびその処理を担う生体情報処理プログラムの概要について説明する。
【０１３２】
ここで、図２２は、本実施形態において行われる処理の過程で、モニタ２に表示される一連の画像の一例を示す図である。
【０１３３】
まず、ゲーム装置本体５のプロセッサが、ゲームアプリケーション（例えば、後述のメモリマップにおけるＤ１２で記載されているゲームアプリケーション）を実行している際に、当該プロセッサは、そのゲームアプリケーションと協働して、生体情報処理プログラムも実行する。ここで、ゲーム装置本体５は、ユーザに対してバイタルセンサ７６を装着するようにモニタ２など介して促し、バイタルセンサ７６により検出された一連の脈波信号を入力として受け取る。次いで、ゲーム装置本体５は、ユーザに対して安静にするように指示する。そして、当該プロセッサは、次のような生体情報処理を行う。
【０１３４】
上述のプロセッサは、この安静時において光電脈波信号の特徴量を説明変数として心拍数（または心拍数に相当する変数）を目的変数とする重回帰モデルを求める。次に、プロセッサは、このモデルに光電脈波信号の特徴量を入力して得られる心拍数の推定値と、脈波に基づき得られた心拍数との間のマイヤー波帯域における最大相互相関係数をρmaxとして推定する。この場合の心拍数の推定値が血圧の代用とできる理由は、安静時のマイヤー波帯域における血圧と心拍数の間の相互相関が強いため、光電脈波信号の特徴量の重回帰モデルの出力が血圧情報に近ければ、この出力が心拍数とよく相関するからである。
【０１３５】
そして、プロセッサは、上述の得られた最大相互相関係数ρmaxを評価し、評価結果に基づいて、モニタ２などを介してユーザの所定の提示を行う。図２２は、このような提示の一例を示す。
【０１３６】
（生体情報処理の詳細）
次に、ゲームシステム１において行われる情報処理、特に、生体情報処理の詳細を説明する。
【０１３７】
まず、図２４を参照して、当該生体情報処理において用いられる主なデータについて説明する。
【０１３８】
（生体情報処理において用いられる主なデータ）
図２４は、上記生体情報処理システムにおける主要なデータを示すメモリマップである。このメモリマップに示される各種データは、ＶＲＡＭ３４、内部メインメモリ３５などを含むゲーム装置本体５が有する記憶領域の所定の位置に記憶され、生体情報処理プログラムの処理において、ゲーム装置本体５が要求するタイミングで、必要とするデータが読み出され、利用される。
【０１３９】
プログラム群Ｄ１０は、主に、以下のプログラム群を含む。
【０１４０】
生体情報処理プログラムＤ１１は、本実施形態の生体情報処理システムで行われる一連の処理を統合するためのプログラム群である。
【０１４１】
ゲームアプリケーションＤ１２は、生体情報処理プログラムＤ１１と協働して実行されるゲームアプリケーションの一例である。
【０１４２】
生体指標算出用データＤ２０は、本発明の方法に従って生体指標算出を行うときに必要なデータ群である。以下、領域Ｄ２１から２９に示されるデータは、ゲーム装置本体５のプロセッサが、生体情報処理を行う際に利用されるデータのうちの主な例である。
【０１４３】
脈波瞬時値データＤ２１は、生体情報処理システムにおける脈波検出装置を介して得られる一群の脈波信号の瞬時値データである。
【０１４４】
心拍数データＤ２２は、生体情報処理システムにおける脈波検出装置を介して得られる一群の脈波信号（より具体的には、脈波の立ち上がり点の間隔）に基づいて算出された心拍数データである。
【０１４５】
特徴量データＤ２３は、生体情報処理システムにおける脈波検出装置を介して得られる一群の脈波信号に基づき算出された一群の特徴量のデータである。
【０１４６】
規格化心拍数データＤ２４は、心拍数データＤ２２に記載される心拍数データが、マイヤー波帯域（０．０８Ｈｚ〜０．１２Ｈｚ）の帯域通過フィルタに通し、平均値が０，標準偏差が１となるように規格化されることで得られるデータである。
【０１４７】
規格化特徴量データＤ２５は、心拍数データＤ２３に記載される特徴量の各々が、マイヤー波帯域（０．０８Ｈｚ〜０．１２Ｈｚ）の帯域通過フィルタに通し、平均値が０，標準偏差が１となるように規格化されることで得られるデータである。
【０１４８】
目的変数データＤ２６は、生体情報処理システムにより設定される重回帰モデルの目的変数データである。
【０１４９】
説明変数データＤ２７は、生体情報処理システムにより設定される重回帰モデルの説明変数データである。
【０１５０】
重回帰係数ベクトルデータＤ２８は、生体情報処理システムにより設定される重回帰モデルの重回帰係数ベクトルデータである。
【０１５１】
相互相関係数データＤ２９は、生体情報処理システムにより算出される一群の相互相関係数データである。
【０１５２】
（生体情報処理プログラム）
図２３Ａを参照して、生体情報処理プログラムによる、生体情報処理について説明する。生体情報処理プログラムは、バイタルセンサ７６から得られる脈波信号を入力情報として、生体指標算出処理を含む生体情報処理を行うためのプログラムである。
【０１５３】
図２３Ａは、生体情報処理プログラムよる生体情報処理の流れを示すフローチャートである。
【０１５４】
後述する生体指標算出処理は、脈波の瞬時値を一拍ごとに読み込む過程（図２３Ｂ、ステップ１００）から開始するが、生体情報処理プログラムは、当該生体指標算出処理を行う前に行うべき、前処理（図２３Ａのステップ１）を適宜行うように構成される。例えば、脈波信号をユーザから得るバイタルセンサ７６（およびそれに接続するコアユニット７０）は、検出した脈波のデータをゲーム装置本体５に対して送信するが、当該脈波データは一定量がバイタルセンサ７６（またはコアユニット７０）に蓄積されてからゲーム装置本体５に送信されてもよい。このとき、そのような一連の脈波データを受信したゲーム装置本体５のプロセッサは、生体指標算出処理（図２３Ａのステップ２；図２３Ｂ）を行うために、当該一連の脈波データの平滑化、差分、拍の切り出しなどの前処理を、生体情報処理プログラムに従い適宜行う。
【０１５５】
他方、生体情報処理の過程において、生体指標算出処理の後、後処理（図２３Ａのステップ３）が行われる。この後処理は、生体指標算出処理で得られた生体指標（例えば、最大相互相関係数ρmax）に基づき、ユーザに対して所定の提示が行われる処理である。
【０１５６】
ここで、ユーザに対して行われる提示は、得られた生体指標が利用される用途に応じて
、その提示の時期、頻度などを含む態様が適宜変更され得る。
【０１５７】
以下、ユーザから得られた脈波情報が、順次、生体指標算出処理に供される態様を説明する。
【０１５８】
（生体指標算出処理の具体的な流れ）
以下に、ゲーム装置本体５のプロセッサ（ＣＰＵ１０）が行う生体指標算出処理の具体的な流れを説明する。
【０１５９】
図２３Ｂを参照して、ゲーム装置本体５のプロセッサ（以下、単にプロセッサと称す）が、生体情報処理プログラムＤ１１に従って実行する生体指標算出処理の流れを説明する。図２３Ｂは、上記実施形態における、生体指標算出処理の一例を示すフローチャートである。本図および後続の図では、「ステップ」を、「Ｓ」と略記する。
【０１６０】
ステップ１００において、プロセッサは、脈波信号の瞬時値の取得を行う。
【０１６１】
ステップ１０１において、プロセッサは、所定の拍数分（以下、Ｐ１個とする）の脈波の瞬時値が蓄積されたか否かを判断する。プロセッサが、Ｐ１個の脈波の瞬時値が蓄積されたと判断した場合（ステップ１０１のＹＥＳの場合）、プロセッサは、ステップ１０２の処理に進む。他方、ステップ１０１において、プロセッサが、Ｐ１個の脈波の瞬時値が蓄積されていないと判断した場合（ステップ１０１のＮＯの場合）、プロセッサは、ステップ１０１の処理に戻る。なお、本実施形態において、所定拍数Ｐ１は、脈波の呼吸性変動を吸収できるくらいの拍数（例えば、７拍）に設定される。ここで、「脈波の呼吸性変動と吸収できる」とは、脈波に含まれる呼吸に伴って変動する低周波成分（約０．３Ｈｚ前後）である呼吸性変動成分が、脈波の特徴量抽出の精度に影響を与えないということである。
【０１６２】
ステップ１０２において、プロセッサは、Ｐ１個分の脈波の瞬時値に対して、平滑化処理、規格化処理および差分処理を行なう。
【０１６３】
ここで、プロセッサは、平滑処理としてバンドパスフィルタリングを行う。より具体的には、プロセッサは、低域カットオフ周波数が０．０１Ｈｚであり、高域カットオフ周波数が１０Ｈｚである２次のバターワース型バンドパス・ディジタル・フィルタを上述の瞬時値に適用する。
【０１６４】
また、プロセッサは、この平滑化処理された瞬時値に対して、平均値が０で標準偏差が１となるような規格化を行う。
【０１６５】
さらに、プロセッサは、差分処理を行う。より具体的には、プロセッサは、規格化された脈波信号に、次数が３のメジアン・デジタル・フィルタを適用し、その信号を１階差分をとり脈波速度信号とする。プロセッサは、その脈波速度信号に対して、次数が８のメジアン・デジタル・フィルタを掛け、その信号の１階差分をとり脈波加速度信号とする．その脈波速度信号に対して、次数が８のメジアン・デジタル・フィルタを掛け、その信号の１階差分をとり脈波加加速度信号とする。上記のメジアン・デジタル・フィルタを掛ける理由は、差分処理によって強調される突発的な雑音を抑制するためである。次に、プロセッサは、ステップ１０３の処理に進む。
【０１６６】
ステップ１０３において、プロセッサは、脈波に基づく心拍数を取得する処理を行う。具体的には、プロセッサは、脈波の立ち上がり点から次の脈波の立ち上がり点までの時間の長さ（すなわち、いわゆるＦｏｏｔ−Ｆｏｏｔ間隔（ＦＦＩ））を心周期［ｓ］とみなして、その逆数に６０をかけたもの（＝６０倍したもの）［ｍｉｎ-1］を心拍数として取得する。すなわち、プロセッサは、脈波のみから心拍数を算出し、心拍数の時系列データとして蓄積する。
【０１６７】
ここで、プロセッサは、ＦＦＩを算出するために、脈波の立ち上がり点の各々を次のように同定する。まず、プロセッサは、次のような演算をすることで、脈波の立ち上がり点を同定する。
【０１６８】
説明の簡便のために、サンプリング周期毎に増えるインデックス（離散時刻）をパラメータｋで表す。また、離散時刻ｋにおける、脈波速度をＸ（ｋ）とし、脈波加速度をＹ（ｋ）とする。
［１］Ｐ１拍の間における、Ｘ（ｋ）の最大値の０．６倍をＰｉｖｏｔＸとし、Ｙ（ｋ）の最大値の０．２５倍をＰｉｖｏｔＹとする。
［２］初期値状態として、ｋ＝１とする。
［３］状態点（Ｘ（ｋ），Ｙ（ｋ））からピボット座標（ＰｉｖｏｔＸ，ＰｉｖｏｔＹ）を引いたものを新たな状態点とし、そのＸ座標に負号をつけたものを（ＸＸ（ｋ），ＹＹ（ｋ））とする。すなわち、
ＸＸ（ｋ）＝−（Ｘ（ｋ）−ＰｉｖｏｔＸ）；および
ＹＹ（ｋ）＝Ｙ（ｋ）−ＰｉｖｏｔＹ
とおく。
［４］状態点（ＸＸ（ｋ），ＹＹ（ｋ））の偏角θ（ｋ）を、次の式、
θ（ｋ）＝ｔａｎ-1（ＹＹ（ｋ）／ＸＸ（ｋ））
に基づき計算する。
［５］偏角θ（ｋ）の時間差分Θ（ｋ）を、次の式、
Θ（ｋ）＝θ（ｋ）−θ（ｋ−１）
に基づき計算する。
［６］得られたΘ（ｋ）の絶対値｜Θ（ｋ）｜が３ｒａｄ以上であれば、このときのｋを、その拍での拍開始時刻として記憶する。
［７］パラメータｋをインクリメントする（すなわち、ｋ＝ｋ＋１とする）。このとき、ｋが、Ｐ１拍以内であれば上述の［３］へ戻り、ｋがＰ１拍を越えていれば脈波の立ち上がり点の同定処理を終了する。
【０１６９】
ステップ１０４において、プロセッサは、各拍ごとの脈波瞬時値から得られる速度脈波の極値、加速度脈波の極値、脈波瞬時値の平均値および振幅を含む複数の脈波に基づいた特徴量を取得する。ここで、プロセッサが各拍の脈波から取得する具体的な特徴量は、例えば、図１に示される内容に基づき、次のように示される。
【０１７０】
まず、プロセッサは、図１の太線で示されるような各拍の脈波から、脈波平均値（ＭＰ）および脈波振幅（ＰＡ）を、上述の特徴量の１つとして算出する。ここで、脈波平均値は、各拍の脈波において、サンプリング周期毎に脈波信号を累積加算していき、その総和をその拍での総サンプリング数で除することによって算出される。また、脈波振幅は、各拍の脈波の波形における振幅の最大値から開始時の値を引いたものとして定義される。
【０１７１】
次に、プロセッサは、図１の点線で示される速度脈波（脈波を１回微分することより得られる波形）を算出する。そして、プロセッサは、その速度脈波の極値を、時間的に若い方からＡ（最初の極大点）、Ｂ（最初の極小点）、Ｃ（第２の極大点），．．．として取得する。プロセッサは、これらの極値を特徴量として特徴量データＤ２５に記憶する。
【０１７２】
プロセッサは、図１の実線で示される加速度脈波（脈波の２回微分することにより得られる波形）を算出する。そして、プロセッサは、その加速度脈波の極値を、時間的に若い方からａ（最初の極大点）、ｂ（最初の極小点）、ｃ（第２の極大点），．．．として取得する。プロセッサは、これらの極値を特徴量として特徴量データＤ２５に記憶する。
【０１７３】
上述した脈波に基づいた特徴量の各々は、拍間変数である。したがって、プロセッサは、このような脈波の特徴量の時系列データを、３次のスプライン関数により補間し、０．２秒（５Ｈｚ）で再サンプリングした後に、（等間隔の時系列データとして）特徴量データＤ２５に記憶する。
【０１７４】
ステップ１０５において、プロセッサは、得られた脈波に基づく心拍数（ステップ１０３参照）および脈波特徴量（ステップ１０４参照）に、０．０８Ｈｚと０．１２Ｈｚとの間の帯域を有する帯域通過デジタルフィルタにてフィルタリングを適用することで、それらをマイヤー波帯域成分に制限する。次いで、プロセッサは、これらのフィルタリングされた時系列データのそれぞれを、平均値が０であって標準偏差が１となるように規格化を行い、規格化心拍数データＤ２４および規格化特徴量データＤ２５に記憶する。次いで、プロセッサは、ステップ１０６の処理に進む。なお、ステップ１０５において、プロセッサは、フィルタリングされた時系列データの規格化を適宜省略することが可能である。
【０１７５】
ステップ１０６において、プロセッサは、ステップ１０５で得られた規格化心拍数データＤ２４に記憶されている、時刻ｔの心拍数のマイヤー波帯域成分が規格化されたものに−１を乗じ、これをｙ（ｔ）として設定し、目的変数データＤ２６に記憶する。次いで、プロセッサは、ステップ１０７の処理に進む。
【０１７６】
ステップ１０７において、プロセッサは、ステップ１０５により得られた脈波に基づいた特徴量の規格化されたマイヤー波帯域成分を各要素とする時刻ｔの入力変数ベクトルｘ（ｔ）を設定し、説明変数データＤ２７に記憶する。具体的には、この時刻ｔにおける入力変数ベクトルは、次のように定義される。
【数７】
ここで、入力変数ベクトルｘ（ｔ）の要素の各々は、ステップ１０４で例示された各拍の脈波、速度脈波および加速度脈波において定義づけられる値である。すなわち、ａは、各拍の加速度脈波において、時間的に若い方からみて最初の極大点に対応する値である。また、ｂは、各拍の加速度脈波において、時間的に若い方からみて最初の極小点に対応する値である。また、ＭＰは、脈波平均値であり、他方、ＰＡは、脈波振幅である。ただし、これらの特徴量は、ステップ１０５で示されるように、それぞれの特徴量の規格化処理等が施された後の値である。
【０１７７】
ステップ１０８において、プロセッサは、規格特徴量データＤ２５を参照することで、所定拍数分（以下、Ｐ２個とする）の特徴量が蓄積されたか否かを判断する。プロセッサが、Ｐ２個の特徴量が蓄積されたと判断した場合（ステップ１０８のＹＥＳの場合）、プロセッサは、ステップ１０９の処理に進む。他方、ステップ１０８において、プロセッサが、Ｐ２個の特徴量が蓄積されていないと判断した場合（ステップ１０８のＮＯの場合）、プロセッサは、ステップ１００の処理に戻る。本実施形態では、所定拍数Ｐ２は、１２０拍に設定される。このＰ２は、後述の重回帰モデルを決定するのに十分な数の拍数であればよく、１２０拍に限定される必要はない。
【０１７８】
ステップ１０９において、プロセッサは、時間遅延Ｌ［秒］だけ遅れたときのｙ（ｔ）を、ｙ（ｔ−Ｌ）とおく。次いで、プロセッサは、ステップ１１０の処理に進む。
【０１７９】
ステップ１１０において、プロセッサは、目的変数データＤ２６を参照して、ｙ（ｔ−Ｌ）を目的変数とし、他方、説明変数データＤ２７を参照して、ｘ（ｔ）を説明変数とする重回帰モデルを設定する。
【０１８０】
ステップ１１１において、プロセッサは、時間遅延Ｌを特定の範囲で変化させたときに、最も誤差が小さい重回帰モデルを、最適な重回帰モデルとして決定する。
【０１８１】
ステップ１１２において、プロセッサは、上述の最適な重回帰モデルから心拍数の推定値を求める。
【０１８２】
ステップ１１３において、プロセッサは、上記の心拍数の推定値と「脈波に基づく心拍数」との間の相互相関係数ρ（τ）を設定する。
【０１８３】
ステップ１１４において、プロセッサは、遅延時間τの求め方をいくつか変えたときのρmaxをそれぞれ求める。このとき、プロセッサは、例えば、上述した実験における[Ｍ３]または[Ｍ４]などの手順に従い、最大相互相関係数を計算する。
【０１８４】
（変形例その他）
上述した例では、ゲームシステム１が、本発明の生体情報処理プログラムを実行する例示的な態様を説明した。しかしながら、本発明の生体情報処理が実装されるものは、このようなゲームシステムに限定されない。
【０１８５】
その他の実装例としては、例えば、映像酔いを引き起こす可能性がある大画面テレビや、プロジェクタなどに付属して、ユーザに注意を喚起するための安全装置などが挙げられる。つまり、そのような家電製品を利用するユーザが、本発明の脈波に基づく生体情報処理装置を組み込んだ当該安全装置を利用しつつ、その家電製品を使用することにより、ユーザの自律神経系に関連する状態が当該ユーザに提示される。
【０１８６】
また、本発明の生体情報処理システムは、移動体において応用されてもよい。例えば、自動車を運転するドライバーに注意を喚起するための装置に利用されてもよい。このような生体情報処理システムは、運転中のドライバーから取得した脈波情報に基づき、当該ドライバーの情動反応などを含む自律神経系の状態を定量的に把握し、必要に応じて音声・振動などで、運転時の危険に対する注意をドライバーに喚起することができる。
【０１８７】
また、ρmaxが情動反応を反映するため、本方法とインターネットにつながったゲーム機を組み合わせることにより、多数の被験者からの計測情報に基づいたテレビ番組や映画の最も興味あるシーンの定量的判定を行うことが可能になると期待される。特に、ゲームの３Ｄ化の生体影響などを本方法で調査することも可能となる。
【０１８８】
また、上記実施例では、据置型のゲーム装置３に本願発明を適用した例を説明したが、ゲーム装置３で行われる同様の生体情報処理を実行する生体情報処理装置であればよく、例えば一般的なパーソナルコンピュータ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯ゲーム装置等のデバイスにも適用することができる。
【０１８９】
上述の例では、最大相相関係数ρmaxを脈波情報のみから算出する方法において、重回帰モデルを使用して当該算出を行う際に、重回帰モデルの決定のために最小２乗法を利用した。しかしながら、重回帰モデルを決定する方法は、最小２乗法に限られない。例えば、最小２乗法の代わりに、最尤法が、重回帰モデルを決定するために使用されてもよい。
【０１９０】
また、上述の例では、最大相相関係数ρmaxを脈波情報のみから算出する方法を、重回帰モデルを使用して行う例に基づき本発明の例示的な実施形態を説明してきたが、この重回帰モデルの代わりに、別の時系列モデルを利用してそのモデルを脈波情報のみに基づき決定することにより最大相相関係数ρmaxを得てもよい。
【０１９１】
上述の本発明の生体情報処理システムの一例では、静的な入出力関係を記述する重回帰モデルを使用した。生体情報処理システムの別例では、この重回帰モデルの代わりに、現在ばかりでなく複数の過去の時刻の変数を利用するために動的な入出力関係もモデル化する時系列モデルを用いてもよい。すなわち、当業者は、重回帰モデルを用いた本明細書の記載される知見の基づき、動的な入出力関係もモデル化する時系列モデルを用いてその手法を拡張することで、所望の指標の精度向上を図ることが可能である。
【０１９２】
本件に適用できる時系列モデルとしては、例えば、自己回帰移動平均外性入力モデル（ａｕｔｏｒｅｇｒｅｓｓｉｖｅ ｍｏｖｉｎｇ ａｖｅｒａｇｅ ｍｏｄｅｌ ｗｉｔｈ ｅｘｏｇｅｎｏｕｓ ｉｎｐｕｔ；ＡＲＭＡＸモデル）や、その特別な場合である、自己回帰外性入力モデル（ａｕｔｏｒｅｇｒｅｓｓｉｖｅ ｍｏｄｅｌ ｗｉｔｈ ｅｘｏｇｅｎｏｕｓ ｉｎｐｕｔ；ＡＲＸモデル）あるいは移動平均モデル（ｍｏｖｉｎｇ ａｖｅｒａｇｅ ｍｏｄｅｌ；ＭＡモデル）などが挙げられる。
【０１９３】
上述した本発明の生体情報処理システムの一実施形態においては、脈波に基づく心拍数が、脈波の立ち上がり点の間隔に基づいて算出された。この「脈波の立ち上がり点」すなわち、脈波が立ち上がる時刻は、脈波の拍内最大値を与える時刻以前の直近の極小値（雑音が少ない場合は拍内最小値に一致）を与える時刻として算出される。そして、脈波の立ち上がり点から次の脈波の立ち上がり点までの時間の長さに基づき、心拍数が算出された。
【０１９４】
しかしながら、心拍数あるいは心周期または心拍動に関する情報を得るために、脈波の形状における特徴を取得する方法は、この脈波の立ち上がり点を基準する方法に限られない。すなわち、別の実施形態において、本発明の生体情報処理システムは、脈波瞬時値データＤ２１を参照して脈波の所定の形状特徴を示す点を検出し、心拍数あるいは心周期または心拍動に関する情報を取得することが可能である。この形状特徴を示す点は、所定の情報処理を介して、心拍数あるいは心周期または心拍動に関する情報に関連づけることのできる点であれば、脈波の形状特徴を示す点のうちいずれであってもよい。このような点としては、脈波が極小値となる点または脈波が極大値となる点だけでなく、心拍動に連動して被験体の特定の血管が収縮または膨張する速度が最大となる点、当該血管が収縮または膨張する加速度が最大となる点などが挙げられるが、これに限定されない。
【０１９５】
別の実施形態において、生体情報処理プログラムＤ１１の構成する個々の部分が同時並行的に複数のコンピュータ上で実行され、それらがネットワークを介して互いに通信しあう形態（分散システム）で実施されてもよい。
【０１９６】
また、上記生体情報処理プログラムＤ１１は、光ディスク４等の外部記憶媒体を通じてゲーム装置本体５に供給されるだけでなく、有線または無線の通信回線を通じてゲーム装置本体５に供給されてもよい。
【０１９７】
また、その生体情報処理プログラムＤ１１は、ゲーム装置本体５内部の不揮発性記憶装置にあらかじめ記録されていてもよい。なお、生体情報処理プログラムＤ１１を記憶する情報記憶媒体としては、任意のコンピュータ読み取り可能な記憶媒体であればよく、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体の他に、不揮発性半導体メモリでもよい。
【０１９８】
なお、上記実施形態では、生体情報処理プログラムＤ１１と、その他のゲームアプリケーションＤ１２とを別個に設けている。しかしながら、この構成はあくまでも一例である。したがって、ゲームアプリケーションＤ１２の中に生体情報処理プログラムＤ１１が組み込まれていてもよい。
【０１９９】
また、本明細書において例示される生体情報処理プログラムＤ１１の特徴の本質を維持しつつ、本発明の生体情報処理プログラムＤ１１が総体としてユーザに提供する機能を別のプログラム上の構成単位を用いて再構築することが可能である（例えば、所定機能のモジュール化などを利用することが可能である。）。
【０２００】
また、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュール（関数等）を用意しておくことが一般的傾向である。さらに、アプリケーションプログラムはこれらのモジュールを必要な時に呼び出して処理を進める方式が一般的である。そして、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトを流通させる必要はない。したがって、上記プログラムからそれらモジュールに対応する部分を除いたソフトウェアが、記録媒体に記憶された形式で、またはネットワーク上で提供される形式で提供／流通された場合であって、上述のモジュールによって機能が補完されたときには、結果として上記プログラムそのものが提供された場合と等価な効果が存在し得る。よって、上述のようなモジュールによって機能が補完されることを前提に、上記生体情報処理プログラムから上述のようなモジュールに対応する機能を除いたものは、実質的に上記生体情報処理プログラムに相当するものと解釈され得る。
【０２０１】
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施形態の記載から、本発明の記載および技術常識に基づいて均等な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用されるすべての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。
【産業上の利用可能性】
【０２０２】
例えば、情動反応の変化や映像酔いの評価などを含む様々な用途において有効な生体指標を簡便に提供する、生体情報に係る情報処理プログラム、情報処理装置、情報処理方法および情報処理システムが提供される。
【符号の説明】
【０２０３】
１…ゲームシステム
２…モニタ
２ａ、７０６…スピーカ
３…ゲーム装置
４…光ディスク
５…ゲーム装置本体
１０…ＣＰＵ
１１…システムＬＳＩ
１２…外部メインメモリ
１３…ＲＯＭ／ＲＴＣ
１４…ディスクドライブ
１５…ＡＶ−ＩＣ
１６…ＡＶコネクタ
１７…フラッシュメモリ
１８…無線通信モジュール
１９…無線コントローラモジュール
２０…拡張コネクタ
２１…外部メモリカード用コネクタ
２２、２３…アンテナ
２４…電源ボタン
２５…リセットボタン
２６…イジェクトボタン
３１…入出力プロセッサ
３２…ＧＰＵ
３３…ＤＳＰ
３４…ＶＲＡＭ
３５…内部メインメモリ
７…コントローラ
７０…コアユニット
７１…ハウジング
７２…操作部
７３…コネクタ
７４…撮像情報演算部
７４１…赤外線フィルタ
７４２…レンズ
７４３…撮像素子
７４４…画像処理回路
７５…通信部
７５１…マイコン
７５２…メモリ
７５３…無線モジュール
７５４…アンテナ
７００…基板
７０１…加速度センサ
７０２…ＬＥＤ
７０４…バイブレータ
７０７…サウンドＩＣ
７０８…アンプ
７６…バイタルセンサ
７６１…制御部
７６２…発光部
７６３…受光部
８…マーカ
【技術分野】
【０００１】
本発明は、生体情報処理プログラム、生体情報処理装置、生体情報処理方法および生体情報処理システムに関する。より具体的には、本発明は、脈波信号に基づく、生体情報処理プログラム、生体情報処理装置、生体情報処理方法および生体情報処理システムに関する。
【背景技術】
【０００２】
近年、新しい映像機器、映像コンテンツなどの普及に伴い、映像が生体に及ぼす望ましくない影響が懸念されている。例えば、広い画面の動く映像を見続けたときに人間は映像酔いなどを発症する場合がある。このような生体影響、特に自律神経機能の変化を非侵襲的・客観的・経時的に再現性よく定量化する手法がなかった。
【０００３】
このような中、マイヤー波帯域（Ｍａｙｅｒ ｗａｖｅ ｂａｎｄ；０．０８Ｈｚ〜０．１２Ｈｚ）における血圧変動から心拍数変動までの相互相関係数の最大値を算出する方法が提案されてきた（例えば、特許文献１）。
【０００４】
人間の体内においては、血圧の揺らぎを抑制するためにフィードバックループに基づいて、自律神経の働きなどで心拍数の操作が常に行われている。システムに遅れが生じるため、血行循環にマイヤー波と呼ばれている周期約１０秒の低周波数の揺らぎが現れる。生体状況が急変すると血圧と心拍数のそれぞれのマイヤー波の相互相関が変化する。まず、マイヤー波の揺らぎを心拍数変動と血圧変動からそれぞれ抽出し、両者間の相互相関係数を算出し、その相互相関係数の最大値を時系列データとして蓄積する。そして、蓄積された最大相互相関係数の時系列データにより、自律神経機能の評価を行う。最大相互相関係数が１から離れれば離れるほど、自律神経機能による心拍数に現れる血圧反射機能が低下していると評価できる。このように生体状況を評価する最大相互相関係数をρmaxと記す。
【０００５】
より具体的には、マイヤー波帯域における、血圧変動と心拍数変動と間の最大相互相関係数ρmax、あるいは脈波伝播時間変動と心拍数変動と間の最大相互相関係数ρmaxは、圧反射系の線形相関性を表す。このような最大相互相関係数ρmaxは、自律神経系に支配される圧受容器反射系の特性に関係する情動反応の変化や映像酔いの評価などに有効であることがわかっている。ここで、脈波伝播時間（ｐｕｌｓｅ ｗａｖｅ ｔｒａｎｓｍｉｓｓｉｏｎ ｔｉｍｅ；ＰＴＴ）とは、心電図のＲ波から脈波の立ち上がり時刻あるいは脈波速度の最大値を与える時刻までの時間をいう。この脈波伝播時間は、血圧の代用にできる場合がある。この指標ρmaxは自律神経系に関する不定愁訴や日常的な運動効果の確認などにも使われる可能性があり、自律神経系に関する体調変化を家庭などにおいて手軽にチェックすることができるようになると期待されている。
【０００６】
しかしながら、現在のところρmaxを直接的に得るためには連続血圧あるいは脈波伝播時間の計測が必要である。連続血圧を計測するためには大型で高価な連続血圧計が必要である。また、脈波伝播時間の計測には、心電図信号と脈波信号との２つ情報が同時に必要である。
【０００７】
また、脈波信号は安価な光電脈波センサで容易に計測できるが、心電図信号を計測するためには心電計が必要である。心電計は、医療機器扱いになる可能性もあるため、家庭的な利用が容易な形態（例えば、家庭用ゲーム機）への導入は困難である。
【０００８】
脈波信号を処理することによって、血圧の絶対値を推定する方法が数多く提案されている。しかし、これらの方法は、血圧の絶対値を精度よく推定するための複雑な更正機構を必要とする。また、この方法は、血圧の絶対値の推定を目的としており、ρmaxの推定を目的としているものではない。
【０００９】
非侵襲的・安価で装着が簡単な光電容積脈波を用いて血圧情報を算出する方法としては、規格化拍内積分値（Ｎｏｒｍａｌｉｚｅｄ Ｐｕｌｓｅ Ｗａｖｅ Ａｒｅａ；ＮＰＷＡ）および脈波のピークの時間差（ｔｈｅ ｔｉｍｅ ｏｆ ｉｎｔｅｒｖａｌ ｂｅｔｗｅｅｎ ｔｈｅ ｓｙｓｔｏｌｉｃ ａｎｄ ｄｉａｓｔｏｌｉｃ ｐｅａｋｓ；ΔＴ）が挙げられる。ここで、規格化拍内積分値とは、一拍内の脈波信号の拍動成分の積分値（ｐｕｌｓｅ ｗａｖｅ ａｒｅａ；ＰＷＡ）を、脈波の立ち上がりの間隔であるＦＦＩ（Ｆｏｏｔ−ｔｏ−Ｆｏｏｔ Ｉｎｔｅｒｖａｌ）で規格化することより得られる値である。
【００１０】
しかし、ＮＰＷＡまたはΔＴのような指標には、自律神経活動に関する情報とは異なる情報も含まれている。すなわち、ＮＰＷＡは、血中ヘモグロビン濃度の変化による影響を受け、また、ΔＴは、胸腔内圧および被験者の姿勢により影響を受ける。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００９−１８９６５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
そこで、脈波情報のみに基づき、情動反応の変化や映像酔いの評価などを含む様々な用途において有効な生体指標を簡便に提供することができる、生体情報処理プログラム、生体情報処理装置、生体情報処理方法および生体情報処理システムが必要とされる。
【課題を解決するための手段】
【００１３】
一態様において、本発明は、生体情報を処理するための生体情報処理装置のコンピュータで実行される生体情報処理プログラムを提供する。当該生体情報処理プログラムは、そのコンピュータを、脈波信号を入力として得るための手段と、心拍数を算出して第１の時系列データとして得る手段と、拍ごとの複数の特徴量を算出する手段と、マイヤー波帯域成分の時系列データを得る手段と、推定心拍数を得るための時系列モデルを決定する手段と、相互相関係数の最大値を算出する手段として機能させる。
【００１４】
ここで、上述の脈波信号を入力として得るための手段は、被験者から脈波検出装置を介して得られる脈波信号を入力として得る。また、上述の心拍数を算出して第１の時系列データとして得る手段は、入力された上記脈波信号に基づき心拍数を算出する。さらに、上述の拍ごとの複数の特徴量を算出する手段は、入力された上記脈波信号に基づきその拍ごとの複数の特徴量を算出する。上述のマイヤー波帯域成分の時系列データを得る手段は、入力された時系列データを帯域通過フィルタで処理し、マイヤー波帯域成分の時系列データを得る。
【００１５】
さらに、上述の推定心拍数を得るための時系列モデルを決定する手段は、上記第１の時系列データ、および上記複数の特徴量の組合せで構成される第２の時系列データが、上記マイヤー波帯域成分の時系列データを得る手段による処理を受けることで得られた、第３の時系列データ、および第４の時系列データを用いて、推定心拍数を得るための時系列モデルを決定する。そして、相互相関係数の最大値を算出する手段は、決定された上記時系列モデルに基づいて、上記第３の時系列データと、上記第４の時系列データとの間で、相互相関係数を設定し、当該相互相関係数の最大値を算出する。
【００１６】
なお、本明細書において使用される場合、用語「被験体（ｓｕｂｊｅｃｔ）」または「ユーザ（ｕｓｅｒ）」は、交換可能に使用され、本発明の生体情報処理プログラム、生体情報処理装置、生体情報処理方法および生体情報処理システムが処理対象とする生体情報（例えば、脈波信号）を示すデータの供給源となり得る者をいう。したがって、本発明の生体情報処理プログラム等が処理対象とする生体情報を示すデータが取得される限りにおいて、そのデータの供給源となる者は、いずれの態様の生体情報処理装置または生体情報処理システムを利用しているものであってもよい。具体的には、被験体またはユーザとして称される者は、家庭用ゲーム機、医療用装置、移動体に積載される装置などの形態で実装された生体情報処理装置または生体情報処理システムを使用するいずれの者も含む。
【００１７】
また、本明細書において使用される場合、用語「推定心拍数」とは、脈波信号から得られた特徴量を用いて記述される時系列モデルに基づき算出される心拍数の推定値をいう。例示的な実施形態において、この推定心拍数は、例えば、脈波信号の特徴量を説明変数とし、数秒先の心拍数を目的変数とする重回帰モデルに基づき得られる心拍数の推定値として定義づけられる（ただし、説明変数と目的変数は帯域通過フィルタを通すことによりマイヤー波帯域に制限されている）。なお、後述により明らかになるが、本発明の実施形態において利用される時系列モデルは、重回帰モデルに限定されない。
【００１８】
一実施形態において、上述の時系列モデルは、重回帰モデル、自己回帰移動平均外性入力モデル、自己回帰外性入力モデル、または移動平均モデルのいずれかで規定される。
【００１９】
一実施形態において、上記時系列モデルを決定する手段は、上記第４の時系列データに含まれる複数の特徴量の組合せを説明変数とし、当該特徴量の組合せの各々を取得した時点から所定間隔だけずれた時点の、上記第３の時系列データに含まれる心拍数に相当する第１の変数に負号を付したものを目的変数とした重回帰モデルを、決定する。
【００２０】
他の実施形態において、上記時系列モデルを決定する手段は、上記所定間隔を第１の範囲で変動させたときの最適な重回帰モデルを決定し、上記最適な重回帰モデルに基づき、上記第１の変数に負号を付したものの時系列データを推定心拍数の時系列データとして取得する。
【００２１】
別の実施形態において、上記時系列モデルを決定する手段が、前記最適な重回帰モデルを決定する際に、最小２乗法または最尤法を用いて、最適な重回帰モデルを決定する。
【００２２】
別の実施形態において、上記相互相関係数の最大値を算出する手段は、上記第３の時系列データと、上記推定心拍数の時系列データとの間で、相互相関係数を設定し、遅延時間を第２の範囲で変動させたときの最大相互相関係数を取得する。
【００２３】
さらに別の実施形態において、上記第１の時系列データを得る手段は、脈波の立ち上がり点の間隔に基づいて上記心拍数を算出して第１の時系列データを取得する。
【００２４】
さらに別の実施形態において、上記第１の時系列データを得る手段は、上記脈波検出装置が取得した脈波信号が極小値または極大値を示す時点に基づき、上記心拍数を算出して第１の時系列データを取得する。
【００２５】
さらに別の実施形態において、上記第１の時系列データを得る手段は、上記脈波検出装置が取得した脈波信号において、上記被験者の特定の血管が収縮または膨張する速度が最大となる時点に基づき、上記心拍数を算出して第１の時系列データを取得する。
【００２６】
さらに別の実施形態において、上記第１の時系列データを得る手段は、上記脈波検出装置が取得した脈波信号において、上記被験者の特定の血管が収縮する加速度または膨張する加速度が最大となる時点に基づき、上記心拍数を算出して第１の時系列データを取得する。
【００２７】
さらに別の実施形態において、上記特徴量の組合せは、上記脈波信号に基づき算出された加速度脈波の最初の極大値および最初の極小値、上記脈波信号に基づき算出された速度脈波の最初の極小値に基づいた複数の値の組合せを含む。実際の使用に当たってはこれらの一部の組合せを使って特徴量としてもよい。また、脈波信号に雑音が少ない場合には、２番目以降の極大値または極小値を特徴量の組合せとしてもよい。
【００２８】
さらに別の実施形態において、上記特徴量の組合せは、上記脈波信号に基づき算出された加速度脈波の最初の極大値および最初の極小値、上記最初の極小値を上記最初の極大値で除算した値、上記最初の極大値の平方、上記最初の極小値の平方、上記最初の極大値と最初の極小値との積、上記脈波信号に基づき算出された速度脈波の最初の極小値を上記最初の極大値で除算した値ならびに、上記脈波に基づき算出された脈波平均値および脈波振幅からなる。
【００２９】
さらに別の実施形態において、上記マイヤー波帯域成分の時系列データを得る手段は、前述の入力された時系列データを帯域通過フィルタで処理しするとともに、規格化する。
【００３０】
また、上述の生体情報処理プログラムは、それを実行する生体情報処理装置として使用されたとしても、１または複数の装置が通信可能に構成される生体情報処理システムとして使用されてもよい。また、本発明は、上述のようなプログラム、装置、システムとして実装され得る、生体情報処理の方法も含む。
【００３１】
本明細書において使用される場合、「システム」（例えば、生体情報処理システム、情報処理システム、ゲームシステム）との用語は、１つの装置だけでなく、複数の装置であって、その各々の装置が他の装置のいずれかと通信可能であるものも含む。
【発明の効果】
【００３２】
本発明によって、脈波情報のみに基づき、情動反応の変化や映像酔いの評価などを含む様々な用途において有効な生体指標が、簡便に提供される。
【図面の簡単な説明】
【００３３】
【図１】一拍の脈波およびその脈波から導出される波形の一例
【図２】被験者のうちの１名における１５分間の試験の間に得られた、脈波平均値（ＭＰ）および脈波振幅（ＰＡ）の経時的変動を示す図
【図３】図１に示された脈波から導出された特徴量（加速度脈波における極値）の経時変動を示す図
【図４】脈波から得られた特徴量の各要素を説明変数とし、心拍数を目的変数とする重回帰モデルから得られる、時間遅延Ｌ［秒］だけ遅らせた心拍数の推定値と、心拍数の間の相関係数を縦軸に取り、横軸を遅延時間Ｌとして、遅延時間Ｌを０秒から６秒までの間で変化させてプロットした図
【図５】β*を同定するために使用した、安静時（０．５分間から４．５分間まで）の推定心拍数と、（脈波に基づいた）心拍数の時間波形の一例
【図６】図５に示された時間波形の一例に対応する、推定心拍数と心拍数との相関図
【図７】τを−１０秒から１０秒までに制限して自由に変動させた場合の最大相互相関係数
【図８】τを１秒から５秒までに制限して自由に変動させた場合の最大相互相関係数
【図９】τを３秒に固定した場合の最大相互相関係数ρ（３）
【図１０】τを１秒から５秒までに制限して自由に変動させたときの安静時（１分から４分まで）におけるτの平均値に固定した場合の最大相互相関係数
【図１１】図９で示されたグラフのうち、手順［Ｍ３］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値のグラフのみを抜粋したもの
【図１２】遅延時間τを３秒に固定した推定心拍数に基づく最大相互相関係数のうち、安静時（０分から４分まで）のρ（３）の平均値が０．４以上である被験者についてのみρ（３）の平均値を算出した結果
【図１３】遅延時間τを３秒に固定した推定心拍数に基づく最大相互相関係数のうち、安静時（０分から４分まで）のρ（３）の平均値が０．５以上である被験者についてのみρ（３）の平均値を算出した結果
【図１４】遅延時間τを３秒に固定した推定心拍数に基づく最大相互相関係数のうち、安静時（０分から４分まで）のρ（３）の平均値が０．６以上である被験者についてのみρ（３）の平均値を算出した結果
【図１５】遅延時間τを３秒に固定した推定心拍数に基づく最大相互相関係数のうち、安静時（０分から４分までの）のρ（３）の平均値が０．７以上である被験者についてのみρ（３）の平均値を算出した結果
【図１６】実験系の概要
【図１７】本発明の一実施形態に係るゲームシステム１の一例を示す外観図
【図１８】図１７のゲーム装置本体５の一例を示すブロック図
【図１９】コアユニット７０の構成例を示すブロック図
【図２０】バイタルセンサ７６の構成の一例を示すブロック図
【図２１】バイタルセンサ７６から出力される生体情報の一例である脈波情報の例を示す図
【図２２】本実施形態において行われる処理の過程で、モニタ２に表示される一連の画像の一例
【図２３Ａ】生体情報処理プログラムよる生体情報処理の流れを示すフローチャート
【図２３Ｂ】生体指標算出処理の一例を示すフローチャート
【図２４】生体情報処理システムにおける主要なデータを示すメモリマップ
【発明を実施するための形態】
【００３４】
（生体情報処理の概要）
一態様において、本発明は、生体情報を処理するための生体情報処理装置のコンピュータで実行される生体情報処理プログラムを提供する。より具体的には、脈波信号（特に、光電指尖脈波信号）だけを処理することによって、最大相互相関係数ρmaxを連続的に推定する新しい処理方法を生体情報処理装置のコンピュータで実行するための生体情報処理プログラムを開発した。ここで実行される方法は、脈波情報に基づいて、時系列モデルを設定し、その時系列モデルを決定することを介して、最大相互相関係数ρmaxを連続的に推定する。
【００３５】
ここで、使用する時系列モデルとして、重回帰モデルを用いる例を説明する。この方法では、まず、被験体の安静時において、光電脈波信号の特徴量を説明変数とし、数秒先の心拍数を目的変数とする重回帰モデルを求める。ただし、説明変数と目的変数は、帯域通過フィルタを通すことによりマイヤー波帯域に制限されている。
【００３６】
次に、この重回帰モデルに光電脈波信号の特徴量を入力して得られる心拍数の推定値と、脈波に基づく心拍数との間のマイヤー波帯域における相互相関係数をρ(τ)として推定する。ここで、τは時間遅れである。また、脈波に基づく心拍数は、脈波の立ち上がり点の間隔に基づいて算出される。本明細書において使用される場合、この「脈波の立ち上がり点」すなわち、脈波が立ち上がる時刻は、脈波の拍内最大値を与える時刻以前の直近の極小値（雑音が少ない場合は拍内最小値に一致）を与える時刻とする。
【００３７】
このように、血圧の代わりに推定心拍数を使うことができる理由は，安静時のマイヤー波帯域における血圧が約３秒遅れた心拍数とよく相関することによる。
【００３８】
これ以降、このような方法が、実際に有効であることを示す実験について説明し、その後、本方法を実行するプログラムが実装される生体情報処理システムの一例について説明する。
【００３９】
（実験）
上述の生体情報処理システムの特性を評価するため、以下に示す実験を行った。
（実験プロトコル）
本実験の目的は、被験体の各々について脈波および血圧の時系列データを取得して本発明の方法を評価することである。３２名の健常被験者（年齢の平均値：２３．１３歳；年齢の標準偏差：３．５６歳；男性２４名，女性８名）が、本実験に参加した。本実験のプロトコルは、バルサルバ試験（Ｖａｌｓａｌｖａ ｔｅｓｔ）である。
【００４０】
具体的には、被験者の各々に、１５分間に亘って、その姿勢を座位に保ちつつ、以下の表１に示されるＰ１からＰ５までのフェーズの各々で「安静」または「呼吸停止」の状態をとることを要求した。ここで、「呼吸停止」で示される状態は、「バルサルバ操作（Ｖａｌｓａｌｖａ ｍａｎｅｕｖｅｒ）」により達成される状態である。「バルサルバ操作」は、被験者に声門を閉じて強制呼気努力を行わせ、そのまま１分間保持することにより実施した。一般に、バルサルバ操作の際の被験体の圧反射感受性は、低下する。したがって、このときのρmaxも低下し得る。
（表１：実験のプロトコル）
――――――――――――――――――
フェーズ ：状態
――――――――――――――――――
・Ｐ１） ０分〜 ５分：安静
・Ｐ２） ５分〜 ６分：呼吸停止
・Ｐ３） ６分〜 ９分：安静
・Ｐ４） ９分〜１０分：呼吸停止
・Ｐ５） １０分〜１５分：安静
――――――――――――――――――
図１６は、本実験系の概要を示す。図１６から理解されるように、被験者の各々は、パーソナルコンピュータに脈波測定用アンプ（ＢＩＯＰＡＣ社製 ＰＰＧ１００Ｃ）を介して接続した脈拍測定トランスデューサ（ＢＩＯＰＡＣ社製 ＴＳＤ２００）を、その右手人差し指に装着した。ここで、この脈拍測定トランスデューサは、右手人差し指の指尖脈波を取得する。パーソナルコンピュータのプロセッサは、本発明の生体指標算出プログラムを実行し、脈波測定用アンプを介して得られた指尖脈波の信号を入力として取り込み、（脈波情報に基づく）心拍数と、脈波から導出される特徴量に基づいた重回帰モデルにより得られる推定心拍数とを算出する。次いで、本発明の生体指標算出プログラムに従い、上述のプロセッサは、この脈波に基づく心拍数と、推定心拍数に基づいて、脈波に基づいたρmaxを算出する。この本発明の生体指標算出プログラムのおける解析方法の詳細は、後述する。
【００４１】
その被験者の各々はまた、連続血圧計（フィナプレス社製 Ｐｏｒｔａｐｒｅｓ）の指先カフを、その右手中指に装着した。連続血圧計は、本発明の生体情報処理プログラムの性能を評価するために連続血圧を取得したものである。
【００４２】
（解析方法）
発明者らは、およそ次の手順で解析を行った。
《１：重回帰モデルの決定》まず安静時において取得された光電脈波信号に基づき、光電脈波信号の特徴量（脈波振幅、脈波拍内平均値、加速度脈波のピーク値など９つ）を説明変数とし、数秒先の心拍数を目的変数とする重回帰モデルを得た。ただし、説明変数と目的変数は帯域通過フィルタを通すことによりマイヤー波帯域に制限されている。
《２：相互相関係数の最大値の算出》次に、この重回帰モデルに光電脈波信号の特徴量を入力して得られる心拍数の推定値（以下、「推定心拍数」）と（脈波の立ち上がり点から次の脈波の立ち上がり点までの時間の長さに基づき算出された）心拍数との間のマイヤー波帯域における相互相関係数をρ(τ)として推定する。ここでτは時間遅れである。時間遅れτを所定の範囲で変動させることで相互相関係数の最大値ρmaxを取得する。なお、血圧の代わりに推定心拍数を使うことができる理由は、安静時のマイヤー波帯域における血圧が約３秒遅れた心拍数とよく相関するからである。
《３：対照用のデータの取得》比較対照のため、連続血圧計で実測された平均値血圧と心拍数の時系列データに基づいて、平均血圧と心拍数との間の最大相互相関係数を算出する。
【００４３】
次に、上述の解析方法を、より具体的に説明する。
【００４４】
（重回帰モデルの決定について）
まず、入力として得られた脈波信号から特徴量を得た過程を、図１を参照して以下に説明する。
【００４５】
図１は、１拍の脈波およびその脈波から導出される波形の一例を示す。この図１に示された脈波は、上述した被験者のうちの１名から得た脈波の一例である。３２名の被験者のうち他の被験体も、同様の脈波を取得した。図１の太線、点線、実線および破線は、それぞれ、１拍分の脈波ならびにその速度脈波、加速度脈波および加加速度脈波である。この速度脈波、加速度脈波および加加速度脈波は、それぞれ、脈波の一回微分、二回微分および三回微分することで得られた。すなわち、本実験では、一拍分の脈波が得られるごとに、その速度脈波、加速度脈波および加加速度脈波を計算した。
【００４６】
そして、得られた速度脈波、加速度脈波および加加速度脈波を示す曲線における極値（極大値および極小値）を取得した。以下の説明の簡便のために、図１において示されるに、取得した速度脈波曲線における極値を、時間的に若い方からＡ（最初の極大点）、Ｂ（最初の極小点）、Ｃ（第２の極大点），．．．とする。また、取得した加速度脈波曲線における極値を、時間的に若い方からａ（最初の極大点）、ｂ（最初の極小点）、ｃ（第２の極大点），．．．とする。なお、図３は、図１に示された脈波から導出された特徴量（加速度脈波における極値）の経時変動を示す。
【００４７】
また、図１の太線で示されるような各拍の脈波から、脈波平均値（ＭＰ）および脈波振幅（ＰＡ）を取得した。図２は、上述の被験者のうちの１名における１５分間の試験の間に得られた、脈波平均値（ＭＰ）および脈波振幅（ＰＡ）の経時的変動を示す。
【００４８】
本実験において、上述したように得られた特徴量（すなわち、極値、脈波平均値および脈波振幅）は、それぞれ、各拍が不等間隔で得られているので，拍間を３次のスプライン関数で補間した後、０．２秒（５Ｈｚ）で再サンプリングした。その後、これらの特徴量の各々を、マイヤー波帯域（０．０８Ｈｚ〜０．１２Ｈｚ）の帯域通過フィルタに通し、平均値が０となり、標準偏差が１となるように規格化した。
【００４９】
このようにして得られた特徴量の組合せを、重回帰モデルの説明変数として使用した。具体的には、時刻ｔ[ｓ]における、９個の要素からなる入力変数ベクトルを次のように定義した：
【数１】
ここで、時刻ｔにおける、速度脈波曲線における第２の極大値Ｂ、加速度脈波曲線における最初の極大値ａおよび最初の極小値ｂ、ならびに脈波平均値ＭＰおよび脈波振幅ＰＡが、９個の要素のために使用される。なお、説明の簡便のために、ｘ（ｔ）の各要素は、ａ、ｂ、Ｂ、ＭＰおよびＰＡの組合せを用いて表現しているが、いずれの特徴量においても、マイヤー波帯域（０．０８Ｈｚ〜０．１２Ｈｚ）の帯域通過フィルタにより処理され、さらに規格化された後の値を、ｘ（ｔ）の実際の要素として使用した。
【００５０】
次に、入力として得られた脈波信号から心拍数を得た過程を説明する。
【００５１】
本実験では、脈波の立ち上がり点から次の脈波の立ち上がり点までの時間の長さ（いわゆるＦｏｏｔ−Ｆｏｏｔ間隔（ＦＦＩ））を心周期［ｓ］とみなして、その逆数に６０をかけたもの（＝６０倍したもの）［ｍｉｎ-1］を、心拍数とした。このように得られる心拍数は、心電図信号のＲ−Ｒ間隔から求める心拍数とほぼ同等の情報として用いることができる（なお、別実験で、この二者の間の相関係数が、０．９９９であるとの結果が得られている（データは示さず））。
【００５２】
なお、本明細書において使用される場合、用語「心周期」または「心拍周期（ｃａｒｄｉａｃ ｃｙｃｌｅ）」は、心拍動１回の全経過またはその時間をいう。また、本明細書において使用される場合、用語「心拍動（ｈｅａｒｔ ｂｅａｔ）」は、完全な心臓周期をいい、電気的刺激の拡散とそれに続く機械的収縮を含む。
【００５３】
このようにして得られる（脈波に基づく）心拍数を、３次のスプライン関数で補間した後、０．２秒（５Ｈｚ）で再サンプリングした。次いで、再サンプリングをした心拍数を、マイヤー波帯域（０．０８Ｈｚ〜０．１２Ｈｚ）の帯域通過フィルタに通し、平均値が０，標準偏差が１となるように規格化し、これに−１を乗じた。この結果得られた時系列データは、時刻ｔの関数として、ｙ（ｔ）で表される。
【００５４】
このようにして得られたｙ（ｔ）と、先述のｘ（ｔ）を、後続の計算で用いた。すなわち、これらの時系列データを利用して、重回帰モデルを設定し、決定した。
【００５５】
具体的には、以下の重回帰モデル：
【数２】
を設定した。ここで、βは、重回帰係数ベクトルであり、Ｌ[s]は、現時刻ｔとの時間的ずれを表現する、時間の次元を有するパラメータ（遅延時間）である。
【００５６】
被験体の各人において、実験で得られたデータのうち安静時の０．５分から４．５分のデータに基づき、遅延時間Ｌを０秒から６秒まで０．２秒ずつ変化させながら、最小２乗法によって重回帰係数ベクトルβを同定した。すなわち、時間遅延Ｌを特定の範囲で変化させたときに、最も誤差が小さい重回帰モデルを、最適な重回帰モデルとして決定した。また、この最適なモデルを与えるβおよびＬを、それぞれ、β*およびＬ*として取得した。
【００５７】
ここで、図４は、脈波から得られた特徴量の各要素を説明変数とし、心拍数を目的変数とする重回帰モデルから得られる、時間遅延Ｌ［秒］だけ遅らせた心拍数の推定値と、心拍数の間の相関係数を縦軸に取り、横軸を遅延時間Ｌとして、遅延時間Ｌを０秒から６秒までの間で変化させてプロットした図である。図４に示した結果は、上述した被験者のうちの１名から得た結果に基づくものである。図４から理解されるように、遅延時間Ｌが１．４のときに、相関係数ｒが、０．９２１６４となる。
【００５８】
上述のように、各被験体において、β*を安静時（０．５分間から４．５分間まで）の各特徴量等のデータを利用した。図５は、その０．５分間から４．５分間までにおける、図４に示した結果を与えた被験体から得た、推定心拍数（β*Tｘ（ｔ））と、脈波に基づいた心拍数の時間波形を示している。また、図６は、図５に示された時間波形の一例に対応する、推定心拍数と心拍数との相関図である。
【００５９】
（相互相関係数の最大値の算出について）
次に、時刻ごとに、得られた重回帰モデルに光電脈波信号の特徴量を入力して得られる心拍数の推定値（以下、推定心拍数）を取得した。すなわち、時刻ｔにおける推定心拍数は、β*Tｘ（ｔ）として計算される。これにより、推定心拍数の時系列データを得た。
【００６０】
次に、得られた推定心拍数の時系列データと、上述の脈波に基づく心拍数の系列データとの間で、相互相関係数ρ（τ）を設定した。ここで、τは遅延時間である。そして、この遅延時間τを変動させて、この相互相関係数ρ（τ）の最大値を算出した。
【００６１】
具体的には、次のように計算した。ここで、説明を簡便にするために、上述の推定心拍数の時系列データ、および脈波に基づく心拍数の時系列データを、それぞれ、ｕ（ｉ）およびｖ（ｉ）（ここで、ｉ＝０，１，２・・・）とおく。ここで、この２つの時系列データは、所定のサンプリング周期Δｔ（例えば、Δｔ＝０．２［ｓ］）でサンプリングされた時系列データである。なお、ｕ（ｉ）およびｖ（ｉ）は、上述のように、０．０８Ｈｚと０．１２Ｈｚとの間の帯域を有する帯域通過デジタルフィルタでフィルタリングされて、その周波数成分をマイヤー波帯域に制限されている。特定の時点ｔ（ここで、ｔ＝ｉ・Δｔ［ｓ］）において、ｔ−６０［ｓ］とｔ＋６０［ｓ］との間隔を有するハミング窓を、時系列データｕ（ｉ）およびｖ（ｉ）に適用した。相互相関係数ρuvは、遅延時間τ（ここで、τ＝ｊ・Δｔ［ｓ］であり；ｊ＝・・・，−１，０，１，・・・）について、次のように計算される：
【数３】
ここで、φuv（τ）は、ｕ（ｉ）とｖ（ｉ）との間の相互相関関数であり、φuu（０）およびφvv（０）のそれぞれは、自己相関関数である。
【００６２】
そして、最大相互相関係数ρmaxは、所定の区間で変動するτについて、次のように定義される。
【数４】
【００６３】
本実験において、このτを、以下の４通りの手順に従い、それぞれの場合の最大相互相関係数を計算した：
・［Ｍ１］τを−１０秒から１０秒までに制限して自由に変動させた場合；
・［Ｍ２］τを１秒から５秒までに制限して自由に変動させた場合；
・［Ｍ３］τを３秒に固定した場合、すなわちρ（３）とした場合；および
・［Ｍ４］τを１秒から５秒までに制限して自由に変動させたときの１分から４分までの安静時におけるτmaxの平均値に固定した場合。
【００６４】
（対照用のデータの取得について）
上述の例では、重回帰モデルの決定により推定心拍数を得ることで、相互相関係数の最大値の算出を行った。対照用のデータとして、推定心拍数の代わりに、連続血圧計で得られる平均血圧（血圧計で得られる波形積分して心周期で割った値）を用いて、上述の［Ｍ１］から［Ｍ４］までと同様の手法により、（血圧に基づく）最大相互相関係数を算出した。
【００６５】
（結果および評価）
上述の手順［Ｍ１］から［Ｍ４］までに従い算出された各時刻における最大相互相関係数が、３２名の被験体の各々について得られた。また、この結果に対応する、連続血圧に基づく測定値が得られた。
【００６６】
図７は、手順［Ｍ１］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値を示す。同様に、図８は、手順［Ｍ２］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値を示す。また、図９は、手順［Ｍ３］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値を示す。さらに、図１０は、手順［Ｍ４］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値を示す。
【００６７】
これらの図において、それぞれの上段のグラフは、当該最大相互相関係数の経時変化を示し、下段のグラフは、その最大相互相関係数を与える遅延時間τmaxの経時変化を示している。これらの図の実線の曲線は、推定心拍数に基づいて算出結果を示し、他方、点線の曲線は、連続血圧に基づいて算出した結果を示す。また、点線による枠で囲んだ時間領域は、被験体がバルサルバ操作による呼吸停止状態である時間帯を示している。
【００６８】
図７から図１０までに示されるように、最大相互相関係数を算出するために、推定心拍数を用いたとき、および血圧を用いたときのいずれの場合でも、最大相互相関係数ρmaxが最も高かったのは、手順［Ｍ１］の結果であり、手順［Ｍ２］、［Ｍ４］、［Ｍ３］の順で得られた最大相互相関係数は低くなっていくことが理解される。しかし、手順［Ｍ１］または［Ｍ２］で得られた、推定心拍数を用いた場合の結果は、血圧を用いた場合にみられるような呼吸停止時点の変動を十分に表していない。他方、手順［Ｍ３］または［Ｍ４］で得られた、推定心拍数を用いる場合の結果は、血圧を用いた場合にみられるような呼吸停止時点の変動をやや反映している。
【００６９】
また、［Ｍ１］および［Ｍ２］が、高い最大相互相関係数を与えながらも、有効なデータとして判断され得ないと解釈され得る理由は、以下のとおりである。
【００７０】
すなわち、通常、安静時の圧反射系は、３秒程度遅れたところで血圧と心拍数の相関が最も高くなる。この遅れ時間の探索範囲を大きく取りすぎると、圧反射（血圧変動を抑えるように心拍数を操作する）とは全く無関係な遅れ時間で相関が高くなることがある。このような場合には、算出された最大相互相関係数が、圧反射という意味を持たなくなるので［Ｍ１］または［Ｍ２］が高い相関を持ったとしても有効性の乏しいデータとして評価され得る。すなわち、遅れ時間が３秒程度で相互相関係数が最も高くなる場合はそれの指標としての有効性が高いが、これから逸脱した範囲で相関が高くても圧反射としては有効でないと解釈される。
【００７１】
なお、図１０で示されるように、手順［Ｍ４］の場合において、τmaxは、ほぼ３秒（平均値２．９９秒、標準偏差０．９７秒）となった。しかし、この場合でも最適なτmaxは、標準偏差が約１秒をとるほどに各被験者間で異なっており、偶然に３２名全員の平均値が３秒であったと解釈され得る。
【００７２】
図１１は、図９で示されたグラフのうち、手順［Ｍ３］に従い被験体の各々で得られた各時刻おける最大相互相関係数を、時刻ごとに被験体３２名全員で平均した値のグラフのみを抜粋したものである。
【００７３】
図１１は、最大相互相関係数の被験体３２名全員の平均値を示している。ここで、図１１に示されるように、最大相互相関係数の変動に対する呼吸停止の影響は、鋭敏ではなかった。そこで、安静時でもρmaxが低い被験者が、３２名の被験者の中に存在する可能性について検討した。これを検討する理由は、安静時でもρmaxが低い被験者は、呼吸停止時の自律神経反応が鈍いためである。なお、発明者は、脈波信号だけではなく心電図計測を行って得られる脈波伝搬時間と心拍数との間のρ（３）を対象とした実験において、被験者における日常的な運動の効果を、ρ（３）が反映することを見いだしている（データ示さず）。このことは、被験者が全て健常者であっても、自律神経反応の程度は、個人差が存在することを示唆する。
【００７４】
安静時でもρmaxが低い被験者が、３２名の被験者の中に存在する可能性について検討するために、具体的には、次のような手順に従い、実験結果を評価した。まず、遅延時間τを３秒に固定した推定心拍数に基づく最大相互相関係数（すなわち、手順［Ｍ３］に従った結果）のうち、０分から４分までの安静時のρ（３）の平均値が０．４以上である被験者を、選択した。その結果、１５名の被験体が得られた。図１２は、これらの被験者についてのみρ（３）の平均値を算出した結果を示す。図１２から理解されるように、呼吸停止時のρ（３）の下降がやや大きくなった。
【００７５】
ここで、被験者の選択に用いた平均値の閾値を、０．４としたのは、次の理由による。圧反射の感度を表す収縮期血圧変動に対する心拍数変動の比であるαインデックスは、０．１Ｈｚ付近で線形相関性を表すコヒーレンス関数が０．５以上であれば、定義できることが一般に知られている（例えば、ｈｔｔｐ：／／ｗｗｗ．ｃｂｉ．ｄｏｎｇｎｏｃｃｈｉ．ｉｔ／ｇｌｏｓｓａｒｙ／ＡｌｐｈａＩｎｄｅｘ．ｈｔｍｌ）。ここで、このコヒーレンス関数は、ρmaxに数学的にはほぼ等価とみなせるため、０．５に近い０．４を上述の閾値に選択した。さらに、この０．４を閾値とするとこの値以上で全被験者のほぼ半数となるために、統計的な解釈が容易となる。
【００７６】
同様にして、この閾値を０．５、０．６または０．７として被験体を選別した。閾値として０．５、０．６および０．７を用いたときに選択された被験体の数は、それぞれ、９名、６名および４名であった。図１３、図１４および図１５は、それぞれ、閾値として０．５、０．６および０．７を用いたときに選択された被験体のみについて、ρ（３）の平均値を算出した結果を示す。
【００７７】
図１３、図１４および図１５から理解されるように、呼吸停止時のρ（３）の下降の程度が、閾値を０．５、０．６または０．７とするに従い、大きくなっている。しかも、安静時の推定心拍数に基づくρ（３）は、血圧に基づくρ（３）に近接していくことが理解される。このことは、最大相互相関係数が被験体の圧反射機能の個人的な優劣を敏感に反映し、対象者の自律神経機能の性能をよく表す指標であることを意味する。すなわち、安静時において、ρ（３）が高い被験体は呼吸停止に対する自律神経反応と呼応した明確なρ（３）の変化を示すのに対して、安静時においてρ（３）が低い被験体は、呼吸停止に対する自律神経反応と呼応が鈍いρ（３）の変化を示す。
【００７８】
そして、この実験結果から判断すると、ρ（３）の大きさを見ることにより自律神経機能の優劣を判断することができると考えられる。このことは、バルサルバ試験をすることなしに、安静時のρ（３）を見るだけで対象者の自律神経機能の優劣を推定できる可能性を示すものである。また、脈波信号に基づくρ（３）の呼吸停止に対する変化は、血圧に基づくρ（３）より顕著であることも、脈波信号に基づくρ（３）が、血圧計測が不要であるにもかかわらず優れた指標であることを示唆している。
【００７９】
なお、手順［Ｍ１］および［Ｍ２］に従って得られた結果においても、手順［Ｍ３］の場合（ρ（３）のとき）と同様に、閾値を０．４、０．５、０．６または０．７として、データを選別した上でその評価を行ったが、［Ｍ１］および［Ｍ２］の手順に従った場合の最大相互相関係数は、呼吸停止時点の変動を十分に表さないことが確認された（データ示さず）。
【００８０】
また、手順［Ｍ４］については、手順［Ｍ３］の場合（ρ（３）のとき）と同様に、閾値を０．４、０．５、０．６または０．７として、データを選別した上でその評価を行ったが、その結果は、［Ｍ３］と同様に、呼吸停止時の最大相互相関係数ρmaxの下降の程度が、閾値を０．５、０．６または０．７とするに従い、大きくなっていることを示している（データ示さず）。しかも、安静時の推定心拍数に基づくρ（３）は、血圧に基づくρ（３）に近接していく傾向も担保されている。
【００８１】
以上の実験の結果から、次の結論が得られる。
【００８２】
まず、脈波の特徴量を入力とする重回帰モデルによる推定心拍数と、（ＦＦＩに基づき算出された）心拍数の間のρmaxは、血圧に基づくρmaxと安静時によく相似する。
【００８３】
次に、推定心拍数に基づくρmaxが、安静時に高い被験者ほどこの指標が呼吸停止時により大きく減少した。この反応は、血圧を直接計測する場合のρmaxよりもむしろ敏感であり、推定心拍数に基づくρmaxは、被験者の圧受容器反射に関係する自律神経機能の相違をより明瞭に表す指標であると言える。
【００８４】
実用的には、遅延時間τが１秒から５秒に制限された場合のτmaxの平均値である、
【数５】
を使った、
【数６】
を使用するか、あるいは、τを３秒に固定したρ（３）を使用すると、鋭敏なρmaxの推移が得られる。
【００８５】
本明細書のこれ以降の記載において、上述したように被験体の自律神経系の機能の有用な指標を与える、脈波情報にのみに基づき時系列モデル（例えば、重回帰モデル）を決定することによる本発明の方法を実装した生体情報処理システムの一例の具体的な説明を行う。
【００８６】
（生体情報処理システム）
（生体情報処理システムの基本構成）
図１７を参照して、本発明の生体情報処理プログラムを実行する生体情報処理システムの一例について説明する。以下、説明を具体的にするために、当該生体情報処理システムとして、据置型のゲーム装置本体５を含むゲームシステム１を用いて説明する。ここで、図１７は、据置型のゲーム装置３を含むゲームシステム１の一例を示す外観図である。また、図１８は、ゲーム装置本体５の一例を示すブロック図である。以下、当該ゲームシステム１について説明する。
【００８７】
図１７において、ゲームシステム１は、表示手段の一例の家庭用テレビジョン受像機２（以下、モニタ２と記載する）と、当該モニタ２に接続コードを介して接続する据置型のゲーム装置３とから構成される。モニタ２は、ゲーム装置３から出力された音声信号を音声出力するためのスピーカ２ａを備える。また、ゲーム装置３は、本発明の情報処理プログラムの一例である生体情報処理プログラムを記録した光ディスク４と、当該光ディスク４の生体情報処理プログラムを実行してゲーム画面をモニタ２に表示出力させるためのコンピュータを搭載したゲーム装置本体５と、ゲーム画面に表示されたキャラクタ等を操作するゲームに必要な操作情報をゲーム装置本体５に与えるためのコントローラ７とを備えている。
【００８８】
また、ゲーム装置本体５は、無線コントローラモジュール１９（図１８参照）を内蔵する。無線コントローラモジュール１９は、コントローラ７から無線送信されるデータを受信し、ゲーム装置本体５からコントローラ７へデータを送信して、コントローラ７とゲーム装置本体５とを無線通信によって接続する。さらに、ゲーム装置本体５には、当該ゲーム装置本体５に対して交換可能に用いられる情報記憶媒体の一例の光ディスク４が脱着される。
【００８９】
また、ゲーム装置本体５には、セーブデータ等のデータを固定的に記憶するバックアップメモリとして機能するフラッシュメモリ１７（図１８参照）が搭載される。ゲーム装置本体５は、光ディスク４に記憶された生体情報処理プログラム等を実行することによって、その結果をゲーム画像としてモニタ２に表示する。また、生体情報処理プログラム等は、光ディスク４に限らず、フラッシュメモリ１７に予め記録されたものを実行するようにしてもよい。さらに、ゲーム装置本体５は、フラッシュメモリ１７に記憶されたセーブデータを用いて、過去に実行されたゲーム状態を再現して、ゲーム画像をモニタ２に表示することもできる。そして、ゲーム装置３のユーザは、モニタ２に表示されたゲーム画像を見ながら、コントローラ７を操作することによって、ゲーム進行を楽しむことができる。
【００９０】
コントローラ７は、無線コントローラモジュール１９を内蔵するゲーム装置本体５へ、例えば、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース；登録商標）の技術を用いて操作情報および生体情報等の送信データを無線送信する。
【００９１】
コントローラ７は、コアユニット７０およびバイタルセンサ７６を備えており、コアユニット７０およびバイタルセンサ７６が屈曲自在な接続ケーブル７９を介して互いに接続されて構成されている。コアユニット７０は、主にモニタ２の表示画面に表示されるオブジェクト等を操作するための操作手段である。バイタルセンサ７６は、ユーザの身体（例えば、指）に装着されてユーザの生体信号を取得し、接続ケーブル７９を介してコアユニット７０へ生体情報を送る。
【００９２】
コアユニット７０は、片手で把持可能な程度の大きさのハウジングと、当該ハウジングの表面に露出して設けられた複数個の操作ボタン（十字キーやスティック等を含む）とが設けられている。また、後述により明らかとなるが、コアユニット７０は、当該コアユニット７０から見た画像を撮像する撮像情報演算部７４を備えている。また、撮像情報演算部７４の撮像対象の一例として、モニタ２の表示画面近傍に２つのＬＥＤモジュール（以下、マーカと記載する）８Ｌおよび８Ｒが設置される。これらマーカ８Ｌおよび８Ｒは、それぞれモニタ２の前方に向かって例えば赤外光を出力する。
【００９３】
また、コントローラ７（例えば、コアユニット７０）は、ゲーム装置本体５の無線コントローラモジュール１９から無線送信された送信データを通信部７５で受信して、当該送信データに応じた音や振動を発生させることもできる。
【００９４】
なお、本実施例では、コアユニット７０とバイタルセンサ７６とを屈曲自在な接続ケーブル７９で接続したが、バイタルセンサ７６に無線ユニットを搭載することで、接続ケーブル７９をなくすこともできる。例えば、無線ユニットとしてＢｌｕｅｔｏｏｔｈ（登録商標）ユニットをバイタルセンサ７６に搭載することで、バイタルセンサ７６からコアユニット７０やゲーム装置本体５へ生体情報データを送信することが可能になる。また、コアユニット７０にバイタルセンサ７６を固定して設けることによって、コアユニット７０とバイタルセンサ７６とを一体構成してもかまわない。この場合、ユーザは、コアユニット７０と一体でバイタルセンサ７６を扱うことができる。
【００９５】
（ゲーム装置本体の内部構成）
次に、図１８を参照して、ゲーム装置本体５の内部構成について説明する。図１８は、ゲーム装置本体５の構成を示すブロック図である。ゲーム装置本体５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ／Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）１３、ディスクドライブ１４、およびＡＶ−ＩＣ（Ａｕｄｉｏ Ｖｉｄｅｏ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１５等を有する。
【００９６】
ＣＰＵ１０は、光ディスク４に記憶された生体情報処理プログラムを実行することによって生体情報処理プログラムを実行するものであり、生体情報処理プロセッサとして機能する。また、生体情報処理プログラムにゲームアプリケーションが含まれる場合、ＣＰＵ１０は、光ディスク４に記憶されたゲームアプリケーションを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。
【００９７】
ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間のデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については、後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出された生体情報処理プログラムや、フラッシュメモリ１７から読み出された生体情報処理プログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置本体５の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ３５または外部メインメモリ１２に読み出したデータを書き込む。
【００９８】
また、システムＬＳＩ１１には、入出力プロセッサ３１、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）３２、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３３、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３４、および内部メインメモリ３５が設けられる。図示は省略するが、これらの構成要素３１〜３５は、内部バスによって互いに接続される。
【００９９】
ＧＰＵ３２は、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ３４は、ＧＰＵ３２がグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ３２は、ＶＲＡＭ３４に記憶されたデータを用いて画像データを作成する。
【０１００】
ＤＳＰ３３は、オーディオプロセッサとして機能し、内部メインメモリ３５や外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。
【０１０１】
上述のように生成された画像データおよび音声データは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、ＡＶコネクタ１６を介して、読み出した画像データをモニタ２に出力するとともに、読み出した音声データをモニタ２に内蔵されるスピーカ２ａに出力する。これによって、画像がモニタ２に表示されるとともに音がスピーカ２ａから出力される。
【０１０２】
入出力プロセッサ（Ｉ／Ｏプロセッサ）３１は、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ３１は、フラッシュメモリ１７、無線通信モジュール１８、無線コントローラモジュール１９、拡張コネクタ２０、および外部メモリカード用コネクタ２１に接続される。無線通信モジュール１８にはアンテナ２２が接続され、無線コントローラモジュール１９にはアンテナ２３が接続される。
【０１０３】
入出力プロセッサ３１は、無線通信モジュール１８およびアンテナ２２を介してネットワークに接続し、ネットワークに接続される他のゲーム装置や各種サーバと通信することができる。入出力プロセッサ３１は、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データがある場合には、無線通信モジュール１８およびアンテナ２２を介して当該データをネットワークに送信する。また、入出力プロセッサ３１は、他のゲーム装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２、および無線通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０は、生体情報処理プログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出して生体情報処理プログラムで利用する。フラッシュメモリ１７には、ゲーム装置本体５と他のゲーム装置や各種サーバとの間で送受信されるデータの他、ゲーム装置本体５を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。
【０１０４】
また、入出力プロセッサ３１は、アンテナ２３および無線コントローラモジュール１９を介して、コントローラ７から送信される操作データ等を受信し、内部メインメモリ３５または外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。なお、内部メインメモリ３５には、外部メインメモリ１２と同様に、光ディスク４から読み出された生体情報処理プログラムや、フラッシュメモリ１７から読み出された生体情報処理プログラム等のプログラムを記憶したり、各種データを記憶したりしてもよく、ＣＰＵ１０のワーク領域やバッファ領域として用いられてもかまわない。
【０１０５】
さらに、入出力プロセッサ３１には、拡張コネクタ２０および外部メモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタであり、外部記憶媒体のようなメディアを接続したり、他のコントローラのような周辺機器を接続したり、有線の通信用コネクタを接続することによって無線通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。外部メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ３１は、拡張コネクタ２０や外部メモリカード用コネクタ２１を介して、外部記憶媒体にアクセスし、データを保存したり、データを読み出したりすることができる。
【０１０６】
また、ゲーム装置本体５（例えば、前部主面）には、当該ゲーム装置本体５の電源ボタン２４、ゲーム処理のリセットボタン２５、光ディスク４を脱着する投入口、およびゲーム装置本体５の投入口から光ディスク４を取り出すイジェクトボタン２６等が設けられている。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオン状態にされると、ゲーム装置本体５の各構成要素に対して、図示しないＡＣアダプタを介して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置本体５の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【０１０７】
（コントローラの内部構成）
次に、図１９を参照して、コントローラ７の内部構成について説明する。なお、図１９は、コントローラ７の構成の一例を示すブロック図である。
【０１０８】
図１９において、コアユニット７０は、上述した操作部７２、撮像情報演算部７４、加速度センサ７０１、バイブレータ７０４、スピーカ７０６、サウンドＩＣ７０７、およびアンプ７０８の他に、その内部に通信部７５を備えている。また、バイタルセンサ７６は、接続ケーブル７９とコネクタ７９１および７３とを介して、マイコン７５１と接続される。
【０１０９】
撮像情報演算部７４は、赤外線フィルタ７４１、レンズ７４２、撮像素子７４３、および画像処理回路７４４を含んでいる。赤外線フィルタ７４１は、コアユニット７０の前方から入射する光から赤外線のみを通過させる。レンズ７４２は、赤外線フィルタ７４１を透過した赤外線を集光して撮像素子７４３へ出射する。撮像素子７４３は、例えば、ＣＭＯＳセンサやあるいはＣＣＤのような固体撮像素子であり、レンズ７４２が集光した赤外線を撮像する。したがって、撮像素子７４３は、赤外線フィルタ７４１を通過した赤外線だけを撮像して画像データを生成する。撮像素子７４３で生成された画像データは、画像処理回路７４４で処理される。具体的には、画像処理回路７４４は、撮像素子７４３から得られた画像データを処理して高輝度部分を検知し、それらの位置座標や面積を検出した結果を示す処理結果データを通信部７５へ出力する。なお、これらの撮像情報演算部７４は、コアユニット７０のハウジング７１に固設されており、ハウジング７１自体の方向を変えることによってその撮像方向を変更することができる。
【０１１０】
コアユニット７０は、３軸（Ｘ、Ｙ、Ｚ軸）の加速度センサ７０１を備えていることが好ましい。この３軸の加速度センサ７０１は、３方向、すなわち、上下方向、左右方向、および前後方向で直線加速度を検知する。また、少なくとも１軸方向（例えば、Ｚ軸方向）に沿った直線加速度を検知する加速度検出手段を使用してもよい。例えば、これらの加速度センサ７０１は、アナログ・デバイセズ株式会社（Ａｎａｌｏｇ Ｄｅｖｉｃｅｓ， Ｉｎｃ．）またはＳＴマイクロエレクトロニクス社（ＳＴＭｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．）から入手可能であるタイプのものでもよい。加速度センサ７０１は、シリコン微細加工されたＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ：微小電子機械システム）の技術に基づいた静電容量式（静電容量結合式）であることが好ましい。しかしながら、既存の加速度検出手段の技術（例えば、圧電方式や圧電抵抗方式）あるいは将来開発される他の適切な技術を用いて、加速度センサ７０１が提供されてもよい。
【０１１１】
加速度センサ７０１に用いられるような加速度検出手段は、加速度センサ７０１の持つ各軸に対応する直線に沿った加速度（直線加速度）のみを検知することができる。つまり、加速度センサ７０１からの直接の出力は、それら３軸のそれぞれに沿った直線加速度（静的または動的）を示す信号である。このため、加速度センサ７０１は、非直線状（例えば、円弧状）の経路に沿った動き、回転、回転運動、角変位、傾斜、位置、または姿勢等の物理特性を直接検知することはできない。
【０１１２】
しかしながら、加速度センサ７０１から出力される加速度の信号に基づいて、ゲーム装置のプロセッサ（例えばＣＰＵ１０）またはコントローラのプロセッサ（例えばマイコン７５１）等のコンピュータが処理を行うことによって、コアユニット７０に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。
【０１１３】
例えば、加速度センサ７０１を搭載するコアユニット７０が静的な状態であることを前提としてコンピュータ側で処理する場合（すなわち、加速度センサ７０１によって検出される加速度が重力加速度のみであるとして処理する場合）、コアユニット７０が現実に静的な状態であれば、検出された加速度に基づいてコアユニット７０の姿勢が重力方向に対して傾いているか否か、またはどの程度傾いているかを知ることができる。
【０１１４】
具体的には、加速度センサ７０１の検出軸が鉛直下方向を向いている状態を基準としたとき、当該検出軸方向に１Ｇ（重力加速度）が作用しているか否かだけでコアユニット７０が鉛直下方向に対して傾いているか否かを知ることができる。また、上記検出軸方向に作用している加速度の大きさによって、コアユニット７０が鉛直下方向に対してどの程度傾いているかも知ることができる。また、多軸方向の加速度を検出可能な加速度センサ７０１の場合には、さらに各軸に対して検出された加速度の信号に対して処理を施すことによって、重力方向に対してコアユニット７０がどの程度傾いているかをより詳細に知ることができる。この場合において、加速度センサ７０１からの出力に基づいて、プロセッサがコアユニット７０の傾き角度のデータを算出する処理を行ってもよいが、当該傾き角度のデータを算出する処理を行うことなく、加速度センサ７０１からの出力に基づいて、おおよそのコアユニット７０の傾き具合を推定するような処理としてもよい。このように、加速度センサ７０１をプロセッサと組み合わせて用いることによって、コアユニット７０の傾き、姿勢、または位置を判定することができる。
【０１１５】
一方、加速度センサ７０１が動的な状態であることを前提とする場合には、当該加速度センサ７０１が重力加速度成分に加えて加速度センサ７０１の動きに応じた加速度を検出するので、重力加速度成分を所定の処理により除去すれば、コアユニット７０の動き方向等を知ることができる。
【０１１６】
具体的には、加速度センサ７０１を備えるコアユニット７０がユーザの手で動的に加速されて動かされる場合に、加速度センサ７０１によって生成される加速度信号を処理することによって、コアユニット７０の様々な動きおよび／または位置を算出することができる。なお、加速度センサ７０１が動的な状態であることを前提とする場合であっても、加速度センサ７０１の動きに応じた加速度を所定の処理により除去すれば、重力方向に対するコアユニット７０の傾きを知ることが可能である。
【０１１７】
他の実施例では、加速度センサ７０１は、信号をマイコン７５１に出力する前に内蔵された加速度検出手段から出力される加速度信号に対して所望の処理を行うための、組み込み式信号処理装置または他の種類の専用処理装置を備えていてもよい。例えば、組み込み式または専用の処理装置は、加速度センサ７０１が静的な加速度（例えば、重力加速度）を検出するためのものである場合、検知された加速度信号をそれに相当する傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。加速度センサ７０１でそれぞれ検知された加速度を示すデータは、通信部７５に出力される。
【０１１８】
通信部７５は、マイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）７５１、メモリ７５２、無線モジュール７５３、およびアンテナ７５４を含んでいる。マイコン７５１は、処理の際にメモリ７５２を記憶領域として用いながら、送信データを無線送信する無線モジュール７５３を制御する。また、マイコン７５１は、アンテナ７５４を介して無線モジュール７５３が受信したゲーム装置本体５からのデータに応じて、サウンドＩＣ７０７およびバイブレータ７０４の動作を制御する。サウンドＩＣ７０７は、通信部７５を介してゲーム装置本体５から送信されたサウンドデータ等を処理する。また、マイコン７５１は、通信部７５を介してゲーム装置本体５から送信された振動データ（例えば、バイブレータ７０４をＯＮまたはＯＦＦする信号）等に応じて、バイブレータ７０４を作動させる。
【０１１９】
コアユニット７０に設けられた操作部７２からの操作信号（キーデータ）、加速度センサ７０１からの３軸方向の加速度信号（Ｘ、Ｙ、およびＺ軸方向加速度データ）、および撮像情報演算部７４からの処理結果データは、マイコン７５１に出力される。また、接続ケーブル７９を介して、バイタルセンサ７６からの生体信号（生体情報データ）は、マイコン７５１に出力される。
【０１２０】
マイコン７５１は、入力した各データ（キーデータ、Ｘ、Ｙ、およびＺ軸方向加速度データ、処理結果データ、生体情報データ）を無線コントローラモジュール１９へ送信する送信データとして一時的にメモリ７５２に記憶する。ここで、通信部７５から無線コントローラモジュール１９への無線送信は、所定の周期毎に行われるが、ゲームの処理は１／６０秒を単位として行われることが一般的であるので、それよりも短い周期で送信を行うことが必要となる。
【０１２１】
具体的には、ゲームの処理単位は１６．７ｍｓ（１／６０秒）であり、ブルートゥース（登録商標）で構成される通信部７５の送信間隔は５ｍｓである。マイコン７５１は、無線コントローラモジュール１９への送信タイミングが到来すると、メモリ７５２に記憶されている送信データを一連の操作情報として出力し、無線モジュール７５３へ出力する。そして、無線モジュール７５３は、例えばブルートゥース（登録商標）の技術を用いて、操作情報を示す電波信号を所定周波数の搬送波を用いてアンテナ７５４から放射する。つまり、コアユニット７０に設けられた操作部７２からのキーデータと、加速度センサ７０１からのＸ、Ｙ、およびＺ軸方向加速度データと、撮像情報演算部７４からの処理結果データと、バイタルセンサ７６からの生体情報データとがコアユニット７０から送信される。そして、ゲーム装置本体５の無線コントローラモジュール１９でその電波信号を受信し、ゲーム装置本体５で当該電波信号を復調や復号することによって、一連の操作情報（キーデータ、Ｘ、Ｙ、およびＺ軸方向加速度データ、処理結果データ、生体情報データ）を取得する。そして、ゲーム装置本体５のＣＰＵ１０は、取得した操作情報と生体情報処理プログラムとに基づいて、情報処理を行う。なお、ブルートゥース（登録商標）の技術を用いて通信部７５を構成する場合、通信部７５は、他のデバイスから無線送信された送信データを受信する機能も備えることができる。
【０１２２】
（バイタルセンサの基本構成）
次に、図２０および図２１を参照して、バイタルセンサ７６について説明する。バイタルセンサ７６は、脈波検出装置としての機能を担うとともに、検出された脈波信号を利用するために付随する所定の情報処理を行う機能を担う。なお、図２０は、バイタルセンサ７６の構成の一例を示すブロック図である。図２１は、バイタルセンサ７６から出力される生体情報の一例である脈波情報の例を示す図である。
【０１２３】
図２０において、バイタルセンサ７６は、制御部７６１、発光部７６２、および受光部７６３を備えている。
【０１２４】
発光部７６２および受光部７６３は、ユーザの生体信号を得るセンサの一例であり、透過型指尖容積脈波センサを構成する。発光部７６２は、例えば赤外線ＬＥＤで構成され、所定波長（例えば、９４０ｎｍ）の赤外線を受光部７６３に向けて照射する。一方、受光部７６３は、発光部７６２が照射する波長に応じて照射される光を受光し、例えば赤外線フォトレジスタで構成される。そして、発光部７６２と受光部７６３とは、所定の間隙（空洞）を介して配置されている。
【０１２５】
ここで、人体の血液中に存在するヘモグロビンは、赤外線を吸光する性質をもっている。例えば、上述した発光部７６２および受光部７６３間の間隙にユーザの身体の一部（例えば、指先）を挿入する。これによって、発光部７６２から照射された赤外線は、挿入した指先内に存在するヘモグロビンで吸光された後、受光部７６３で受光される。
【０１２６】
一方、心拍によって血管および血液中を伝播する波（脈波）が生じている。このため、人体の動脈は拍動し、当該拍動に応じて動脈の太さが変化する。すなわち、脈波は、身体組織のある部分への血液の流入によって生じる容積変化を体表面から波形として捉えることが可能である。したがって、バイタルセンサ７６に挿入した指先内の動脈も同様の拍動が生じており、当該拍動に応じて血流量が変化するため、当該血流量に応じて吸光される赤外線の量も変化する。すなわち、心臓の動きそのものではなく、末梢血管の運動を測定することによっても、心拍関連情報（例えば、心電図Ｒ−Ｒ間隔）と同様の意味を持つ情報が取得可能である。なお、心電図のＲ波は心室筋、すなわち、心室の収縮を示しており、１分間のＲ波の数が心拍数という解釈ができる。このＲ波とその次のＲ波との間隔がＲ−Ｒ間隔である。そして、Ｒ−Ｒ間隔は心拍数の逆数なので、Ｒ−Ｒ間隔が長いということは、心拍数が少ないということを意味している。逆に、Ｒ−Ｒ間隔が短いということは、心拍数が多いということを意味している。
【０１２７】
図２１は、バイタルセンサ７６から出力される生体情報の一例である脈波情報の例である。図２１において、脈波の立ち上がり点から次の脈波の立ち上がり点までの時間の長さ（すなわち、いわゆるＦＦＩ（Ｆｏｏｔ−Ｆｏｏｔ Ｉｎｔｅｒｖａｌ））を示した。前述のように、このＦＦＩを心周期［ｓ］とみなして、その逆数に６０をかけたもの（＝６０倍したもの）［ｍｉｎ-1］を心拍数として取得することが可能である。
【０１２８】
具体的には、挿入した指先内の血流量が多い場合、ヘモグロビンで吸光される量も増加するために受光部７６３で受光する赤外線の光量が相対的に少なくなる。他方、挿入した指先内の血流量が少ない場合、ヘモグロビンで吸光される量も減少するために受光部７６３で受光する赤外線の光量が相対的に多くなる。
【０１２９】
発光部７６２および受光部７６３は、このような動作原理を利用し、受光部７６３で受光する赤外線の光量を光電信号に変換することによって、人体の脈拍を検出している。例えば、図２１に示すように、挿入した指先内の血流量が増加した場合に受光部７６３の検出値が上昇し、挿入した指先内の血流量が減少した場合に受光部７６３の検出値が下降する。このように、受光部７６３の検出値が脈動する脈波部分が、脈波信号として生成される。なお、受光部７６３の回路構成によって、挿入した指先内の血流量が増加した場合に受光部７６３の検出値が下降し、挿入した指先内の血流量が減少した場合に受光部７６３の検出値が上昇するような脈波信号を生成してもかまわない。
【０１３０】
制御部７６１は、例えば、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）で構成される。制御部７６１は、発光部７６２から照射される赤外線の光量を制御する。また、制御部７６１は、受光部７６３から出力された光電信号（脈波信号）をＡ／Ｄ変換して脈波データ（生体情報データ）を生成する。そして、制御部７６１は、接続ケーブル７９を介して、脈波データ（生体情報データ）をコアユニット７０へ出力する。
【０１３１】
（生体情報処理および生体情報処理プログラムの概要）
次に、ゲーム装置本体５が行う具体的な処理を説明する前に、図２２を参照しつつ、本ゲーム装置本体５で行う処理、およびその処理を担う生体情報処理プログラムの概要について説明する。
【０１３２】
ここで、図２２は、本実施形態において行われる処理の過程で、モニタ２に表示される一連の画像の一例を示す図である。
【０１３３】
まず、ゲーム装置本体５のプロセッサが、ゲームアプリケーション（例えば、後述のメモリマップにおけるＤ１２で記載されているゲームアプリケーション）を実行している際に、当該プロセッサは、そのゲームアプリケーションと協働して、生体情報処理プログラムも実行する。ここで、ゲーム装置本体５は、ユーザに対してバイタルセンサ７６を装着するようにモニタ２など介して促し、バイタルセンサ７６により検出された一連の脈波信号を入力として受け取る。次いで、ゲーム装置本体５は、ユーザに対して安静にするように指示する。そして、当該プロセッサは、次のような生体情報処理を行う。
【０１３４】
上述のプロセッサは、この安静時において光電脈波信号の特徴量を説明変数として心拍数（または心拍数に相当する変数）を目的変数とする重回帰モデルを求める。次に、プロセッサは、このモデルに光電脈波信号の特徴量を入力して得られる心拍数の推定値と、脈波に基づき得られた心拍数との間のマイヤー波帯域における最大相互相関係数をρmaxとして推定する。この場合の心拍数の推定値が血圧の代用とできる理由は、安静時のマイヤー波帯域における血圧と心拍数の間の相互相関が強いため、光電脈波信号の特徴量の重回帰モデルの出力が血圧情報に近ければ、この出力が心拍数とよく相関するからである。
【０１３５】
そして、プロセッサは、上述の得られた最大相互相関係数ρmaxを評価し、評価結果に基づいて、モニタ２などを介してユーザの所定の提示を行う。図２２は、このような提示の一例を示す。
【０１３６】
（生体情報処理の詳細）
次に、ゲームシステム１において行われる情報処理、特に、生体情報処理の詳細を説明する。
【０１３７】
まず、図２４を参照して、当該生体情報処理において用いられる主なデータについて説明する。
【０１３８】
（生体情報処理において用いられる主なデータ）
図２４は、上記生体情報処理システムにおける主要なデータを示すメモリマップである。このメモリマップに示される各種データは、ＶＲＡＭ３４、内部メインメモリ３５などを含むゲーム装置本体５が有する記憶領域の所定の位置に記憶され、生体情報処理プログラムの処理において、ゲーム装置本体５が要求するタイミングで、必要とするデータが読み出され、利用される。
【０１３９】
プログラム群Ｄ１０は、主に、以下のプログラム群を含む。
【０１４０】
生体情報処理プログラムＤ１１は、本実施形態の生体情報処理システムで行われる一連の処理を統合するためのプログラム群である。
【０１４１】
ゲームアプリケーションＤ１２は、生体情報処理プログラムＤ１１と協働して実行されるゲームアプリケーションの一例である。
【０１４２】
生体指標算出用データＤ２０は、本発明の方法に従って生体指標算出を行うときに必要なデータ群である。以下、領域Ｄ２１から２９に示されるデータは、ゲーム装置本体５のプロセッサが、生体情報処理を行う際に利用されるデータのうちの主な例である。
【０１４３】
脈波瞬時値データＤ２１は、生体情報処理システムにおける脈波検出装置を介して得られる一群の脈波信号の瞬時値データである。
【０１４４】
心拍数データＤ２２は、生体情報処理システムにおける脈波検出装置を介して得られる一群の脈波信号（より具体的には、脈波の立ち上がり点の間隔）に基づいて算出された心拍数データである。
【０１４５】
特徴量データＤ２３は、生体情報処理システムにおける脈波検出装置を介して得られる一群の脈波信号に基づき算出された一群の特徴量のデータである。
【０１４６】
規格化心拍数データＤ２４は、心拍数データＤ２２に記載される心拍数データが、マイヤー波帯域（０．０８Ｈｚ〜０．１２Ｈｚ）の帯域通過フィルタに通し、平均値が０，標準偏差が１となるように規格化されることで得られるデータである。
【０１４７】
規格化特徴量データＤ２５は、心拍数データＤ２３に記載される特徴量の各々が、マイヤー波帯域（０．０８Ｈｚ〜０．１２Ｈｚ）の帯域通過フィルタに通し、平均値が０，標準偏差が１となるように規格化されることで得られるデータである。
【０１４８】
目的変数データＤ２６は、生体情報処理システムにより設定される重回帰モデルの目的変数データである。
【０１４９】
説明変数データＤ２７は、生体情報処理システムにより設定される重回帰モデルの説明変数データである。
【０１５０】
重回帰係数ベクトルデータＤ２８は、生体情報処理システムにより設定される重回帰モデルの重回帰係数ベクトルデータである。
【０１５１】
相互相関係数データＤ２９は、生体情報処理システムにより算出される一群の相互相関係数データである。
【０１５２】
（生体情報処理プログラム）
図２３Ａを参照して、生体情報処理プログラムによる、生体情報処理について説明する。生体情報処理プログラムは、バイタルセンサ７６から得られる脈波信号を入力情報として、生体指標算出処理を含む生体情報処理を行うためのプログラムである。
【０１５３】
図２３Ａは、生体情報処理プログラムよる生体情報処理の流れを示すフローチャートである。
【０１５４】
後述する生体指標算出処理は、脈波の瞬時値を一拍ごとに読み込む過程（図２３Ｂ、ステップ１００）から開始するが、生体情報処理プログラムは、当該生体指標算出処理を行う前に行うべき、前処理（図２３Ａのステップ１）を適宜行うように構成される。例えば、脈波信号をユーザから得るバイタルセンサ７６（およびそれに接続するコアユニット７０）は、検出した脈波のデータをゲーム装置本体５に対して送信するが、当該脈波データは一定量がバイタルセンサ７６（またはコアユニット７０）に蓄積されてからゲーム装置本体５に送信されてもよい。このとき、そのような一連の脈波データを受信したゲーム装置本体５のプロセッサは、生体指標算出処理（図２３Ａのステップ２；図２３Ｂ）を行うために、当該一連の脈波データの平滑化、差分、拍の切り出しなどの前処理を、生体情報処理プログラムに従い適宜行う。
【０１５５】
他方、生体情報処理の過程において、生体指標算出処理の後、後処理（図２３Ａのステップ３）が行われる。この後処理は、生体指標算出処理で得られた生体指標（例えば、最大相互相関係数ρmax）に基づき、ユーザに対して所定の提示が行われる処理である。
【０１５６】
ここで、ユーザに対して行われる提示は、得られた生体指標が利用される用途に応じて
、その提示の時期、頻度などを含む態様が適宜変更され得る。
【０１５７】
以下、ユーザから得られた脈波情報が、順次、生体指標算出処理に供される態様を説明する。
【０１５８】
（生体指標算出処理の具体的な流れ）
以下に、ゲーム装置本体５のプロセッサ（ＣＰＵ１０）が行う生体指標算出処理の具体的な流れを説明する。
【０１５９】
図２３Ｂを参照して、ゲーム装置本体５のプロセッサ（以下、単にプロセッサと称す）が、生体情報処理プログラムＤ１１に従って実行する生体指標算出処理の流れを説明する。図２３Ｂは、上記実施形態における、生体指標算出処理の一例を示すフローチャートである。本図および後続の図では、「ステップ」を、「Ｓ」と略記する。
【０１６０】
ステップ１００において、プロセッサは、脈波信号の瞬時値の取得を行う。
【０１６１】
ステップ１０１において、プロセッサは、所定の拍数分（以下、Ｐ１個とする）の脈波の瞬時値が蓄積されたか否かを判断する。プロセッサが、Ｐ１個の脈波の瞬時値が蓄積されたと判断した場合（ステップ１０１のＹＥＳの場合）、プロセッサは、ステップ１０２の処理に進む。他方、ステップ１０１において、プロセッサが、Ｐ１個の脈波の瞬時値が蓄積されていないと判断した場合（ステップ１０１のＮＯの場合）、プロセッサは、ステップ１０１の処理に戻る。なお、本実施形態において、所定拍数Ｐ１は、脈波の呼吸性変動を吸収できるくらいの拍数（例えば、７拍）に設定される。ここで、「脈波の呼吸性変動と吸収できる」とは、脈波に含まれる呼吸に伴って変動する低周波成分（約０．３Ｈｚ前後）である呼吸性変動成分が、脈波の特徴量抽出の精度に影響を与えないということである。
【０１６２】
ステップ１０２において、プロセッサは、Ｐ１個分の脈波の瞬時値に対して、平滑化処理、規格化処理および差分処理を行なう。
【０１６３】
ここで、プロセッサは、平滑処理としてバンドパスフィルタリングを行う。より具体的には、プロセッサは、低域カットオフ周波数が０．０１Ｈｚであり、高域カットオフ周波数が１０Ｈｚである２次のバターワース型バンドパス・ディジタル・フィルタを上述の瞬時値に適用する。
【０１６４】
また、プロセッサは、この平滑化処理された瞬時値に対して、平均値が０で標準偏差が１となるような規格化を行う。
【０１６５】
さらに、プロセッサは、差分処理を行う。より具体的には、プロセッサは、規格化された脈波信号に、次数が３のメジアン・デジタル・フィルタを適用し、その信号を１階差分をとり脈波速度信号とする。プロセッサは、その脈波速度信号に対して、次数が８のメジアン・デジタル・フィルタを掛け、その信号の１階差分をとり脈波加速度信号とする．その脈波速度信号に対して、次数が８のメジアン・デジタル・フィルタを掛け、その信号の１階差分をとり脈波加加速度信号とする。上記のメジアン・デジタル・フィルタを掛ける理由は、差分処理によって強調される突発的な雑音を抑制するためである。次に、プロセッサは、ステップ１０３の処理に進む。
【０１６６】
ステップ１０３において、プロセッサは、脈波に基づく心拍数を取得する処理を行う。具体的には、プロセッサは、脈波の立ち上がり点から次の脈波の立ち上がり点までの時間の長さ（すなわち、いわゆるＦｏｏｔ−Ｆｏｏｔ間隔（ＦＦＩ））を心周期［ｓ］とみなして、その逆数に６０をかけたもの（＝６０倍したもの）［ｍｉｎ-1］を心拍数として取得する。すなわち、プロセッサは、脈波のみから心拍数を算出し、心拍数の時系列データとして蓄積する。
【０１６７】
ここで、プロセッサは、ＦＦＩを算出するために、脈波の立ち上がり点の各々を次のように同定する。まず、プロセッサは、次のような演算をすることで、脈波の立ち上がり点を同定する。
【０１６８】
説明の簡便のために、サンプリング周期毎に増えるインデックス（離散時刻）をパラメータｋで表す。また、離散時刻ｋにおける、脈波速度をＸ（ｋ）とし、脈波加速度をＹ（ｋ）とする。
［１］Ｐ１拍の間における、Ｘ（ｋ）の最大値の０．６倍をＰｉｖｏｔＸとし、Ｙ（ｋ）の最大値の０．２５倍をＰｉｖｏｔＹとする。
［２］初期値状態として、ｋ＝１とする。
［３］状態点（Ｘ（ｋ），Ｙ（ｋ））からピボット座標（ＰｉｖｏｔＸ，ＰｉｖｏｔＹ）を引いたものを新たな状態点とし、そのＸ座標に負号をつけたものを（ＸＸ（ｋ），ＹＹ（ｋ））とする。すなわち、
ＸＸ（ｋ）＝−（Ｘ（ｋ）−ＰｉｖｏｔＸ）；および
ＹＹ（ｋ）＝Ｙ（ｋ）−ＰｉｖｏｔＹ
とおく。
［４］状態点（ＸＸ（ｋ），ＹＹ（ｋ））の偏角θ（ｋ）を、次の式、
θ（ｋ）＝ｔａｎ-1（ＹＹ（ｋ）／ＸＸ（ｋ））
に基づき計算する。
［５］偏角θ（ｋ）の時間差分Θ（ｋ）を、次の式、
Θ（ｋ）＝θ（ｋ）−θ（ｋ−１）
に基づき計算する。
［６］得られたΘ（ｋ）の絶対値｜Θ（ｋ）｜が３ｒａｄ以上であれば、このときのｋを、その拍での拍開始時刻として記憶する。
［７］パラメータｋをインクリメントする（すなわち、ｋ＝ｋ＋１とする）。このとき、ｋが、Ｐ１拍以内であれば上述の［３］へ戻り、ｋがＰ１拍を越えていれば脈波の立ち上がり点の同定処理を終了する。
【０１６９】
ステップ１０４において、プロセッサは、各拍ごとの脈波瞬時値から得られる速度脈波の極値、加速度脈波の極値、脈波瞬時値の平均値および振幅を含む複数の脈波に基づいた特徴量を取得する。ここで、プロセッサが各拍の脈波から取得する具体的な特徴量は、例えば、図１に示される内容に基づき、次のように示される。
【０１７０】
まず、プロセッサは、図１の太線で示されるような各拍の脈波から、脈波平均値（ＭＰ）および脈波振幅（ＰＡ）を、上述の特徴量の１つとして算出する。ここで、脈波平均値は、各拍の脈波において、サンプリング周期毎に脈波信号を累積加算していき、その総和をその拍での総サンプリング数で除することによって算出される。また、脈波振幅は、各拍の脈波の波形における振幅の最大値から開始時の値を引いたものとして定義される。
【０１７１】
次に、プロセッサは、図１の点線で示される速度脈波（脈波を１回微分することより得られる波形）を算出する。そして、プロセッサは、その速度脈波の極値を、時間的に若い方からＡ（最初の極大点）、Ｂ（最初の極小点）、Ｃ（第２の極大点），．．．として取得する。プロセッサは、これらの極値を特徴量として特徴量データＤ２５に記憶する。
【０１７２】
プロセッサは、図１の実線で示される加速度脈波（脈波の２回微分することにより得られる波形）を算出する。そして、プロセッサは、その加速度脈波の極値を、時間的に若い方からａ（最初の極大点）、ｂ（最初の極小点）、ｃ（第２の極大点），．．．として取得する。プロセッサは、これらの極値を特徴量として特徴量データＤ２５に記憶する。
【０１７３】
上述した脈波に基づいた特徴量の各々は、拍間変数である。したがって、プロセッサは、このような脈波の特徴量の時系列データを、３次のスプライン関数により補間し、０．２秒（５Ｈｚ）で再サンプリングした後に、（等間隔の時系列データとして）特徴量データＤ２５に記憶する。
【０１７４】
ステップ１０５において、プロセッサは、得られた脈波に基づく心拍数（ステップ１０３参照）および脈波特徴量（ステップ１０４参照）に、０．０８Ｈｚと０．１２Ｈｚとの間の帯域を有する帯域通過デジタルフィルタにてフィルタリングを適用することで、それらをマイヤー波帯域成分に制限する。次いで、プロセッサは、これらのフィルタリングされた時系列データのそれぞれを、平均値が０であって標準偏差が１となるように規格化を行い、規格化心拍数データＤ２４および規格化特徴量データＤ２５に記憶する。次いで、プロセッサは、ステップ１０６の処理に進む。なお、ステップ１０５において、プロセッサは、フィルタリングされた時系列データの規格化を適宜省略することが可能である。
【０１７５】
ステップ１０６において、プロセッサは、ステップ１０５で得られた規格化心拍数データＤ２４に記憶されている、時刻ｔの心拍数のマイヤー波帯域成分が規格化されたものに−１を乗じ、これをｙ（ｔ）として設定し、目的変数データＤ２６に記憶する。次いで、プロセッサは、ステップ１０７の処理に進む。
【０１７６】
ステップ１０７において、プロセッサは、ステップ１０５により得られた脈波に基づいた特徴量の規格化されたマイヤー波帯域成分を各要素とする時刻ｔの入力変数ベクトルｘ（ｔ）を設定し、説明変数データＤ２７に記憶する。具体的には、この時刻ｔにおける入力変数ベクトルは、次のように定義される。
【数７】
ここで、入力変数ベクトルｘ（ｔ）の要素の各々は、ステップ１０４で例示された各拍の脈波、速度脈波および加速度脈波において定義づけられる値である。すなわち、ａは、各拍の加速度脈波において、時間的に若い方からみて最初の極大点に対応する値である。また、ｂは、各拍の加速度脈波において、時間的に若い方からみて最初の極小点に対応する値である。また、ＭＰは、脈波平均値であり、他方、ＰＡは、脈波振幅である。ただし、これらの特徴量は、ステップ１０５で示されるように、それぞれの特徴量の規格化処理等が施された後の値である。
【０１７７】
ステップ１０８において、プロセッサは、規格特徴量データＤ２５を参照することで、所定拍数分（以下、Ｐ２個とする）の特徴量が蓄積されたか否かを判断する。プロセッサが、Ｐ２個の特徴量が蓄積されたと判断した場合（ステップ１０８のＹＥＳの場合）、プロセッサは、ステップ１０９の処理に進む。他方、ステップ１０８において、プロセッサが、Ｐ２個の特徴量が蓄積されていないと判断した場合（ステップ１０８のＮＯの場合）、プロセッサは、ステップ１００の処理に戻る。本実施形態では、所定拍数Ｐ２は、１２０拍に設定される。このＰ２は、後述の重回帰モデルを決定するのに十分な数の拍数であればよく、１２０拍に限定される必要はない。
【０１７８】
ステップ１０９において、プロセッサは、時間遅延Ｌ［秒］だけ遅れたときのｙ（ｔ）を、ｙ（ｔ−Ｌ）とおく。次いで、プロセッサは、ステップ１１０の処理に進む。
【０１７９】
ステップ１１０において、プロセッサは、目的変数データＤ２６を参照して、ｙ（ｔ−Ｌ）を目的変数とし、他方、説明変数データＤ２７を参照して、ｘ（ｔ）を説明変数とする重回帰モデルを設定する。
【０１８０】
ステップ１１１において、プロセッサは、時間遅延Ｌを特定の範囲で変化させたときに、最も誤差が小さい重回帰モデルを、最適な重回帰モデルとして決定する。
【０１８１】
ステップ１１２において、プロセッサは、上述の最適な重回帰モデルから心拍数の推定値を求める。
【０１８２】
ステップ１１３において、プロセッサは、上記の心拍数の推定値と「脈波に基づく心拍数」との間の相互相関係数ρ（τ）を設定する。
【０１８３】
ステップ１１４において、プロセッサは、遅延時間τの求め方をいくつか変えたときのρmaxをそれぞれ求める。このとき、プロセッサは、例えば、上述した実験における[Ｍ３]または[Ｍ４]などの手順に従い、最大相互相関係数を計算する。
【０１８４】
（変形例その他）
上述した例では、ゲームシステム１が、本発明の生体情報処理プログラムを実行する例示的な態様を説明した。しかしながら、本発明の生体情報処理が実装されるものは、このようなゲームシステムに限定されない。
【０１８５】
その他の実装例としては、例えば、映像酔いを引き起こす可能性がある大画面テレビや、プロジェクタなどに付属して、ユーザに注意を喚起するための安全装置などが挙げられる。つまり、そのような家電製品を利用するユーザが、本発明の脈波に基づく生体情報処理装置を組み込んだ当該安全装置を利用しつつ、その家電製品を使用することにより、ユーザの自律神経系に関連する状態が当該ユーザに提示される。
【０１８６】
また、本発明の生体情報処理システムは、移動体において応用されてもよい。例えば、自動車を運転するドライバーに注意を喚起するための装置に利用されてもよい。このような生体情報処理システムは、運転中のドライバーから取得した脈波情報に基づき、当該ドライバーの情動反応などを含む自律神経系の状態を定量的に把握し、必要に応じて音声・振動などで、運転時の危険に対する注意をドライバーに喚起することができる。
【０１８７】
また、ρmaxが情動反応を反映するため、本方法とインターネットにつながったゲーム機を組み合わせることにより、多数の被験者からの計測情報に基づいたテレビ番組や映画の最も興味あるシーンの定量的判定を行うことが可能になると期待される。特に、ゲームの３Ｄ化の生体影響などを本方法で調査することも可能となる。
【０１８８】
また、上記実施例では、据置型のゲーム装置３に本願発明を適用した例を説明したが、ゲーム装置３で行われる同様の生体情報処理を実行する生体情報処理装置であればよく、例えば一般的なパーソナルコンピュータ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯ゲーム装置等のデバイスにも適用することができる。
【０１８９】
上述の例では、最大相相関係数ρmaxを脈波情報のみから算出する方法において、重回帰モデルを使用して当該算出を行う際に、重回帰モデルの決定のために最小２乗法を利用した。しかしながら、重回帰モデルを決定する方法は、最小２乗法に限られない。例えば、最小２乗法の代わりに、最尤法が、重回帰モデルを決定するために使用されてもよい。
【０１９０】
また、上述の例では、最大相相関係数ρmaxを脈波情報のみから算出する方法を、重回帰モデルを使用して行う例に基づき本発明の例示的な実施形態を説明してきたが、この重回帰モデルの代わりに、別の時系列モデルを利用してそのモデルを脈波情報のみに基づき決定することにより最大相相関係数ρmaxを得てもよい。
【０１９１】
上述の本発明の生体情報処理システムの一例では、静的な入出力関係を記述する重回帰モデルを使用した。生体情報処理システムの別例では、この重回帰モデルの代わりに、現在ばかりでなく複数の過去の時刻の変数を利用するために動的な入出力関係もモデル化する時系列モデルを用いてもよい。すなわち、当業者は、重回帰モデルを用いた本明細書の記載される知見の基づき、動的な入出力関係もモデル化する時系列モデルを用いてその手法を拡張することで、所望の指標の精度向上を図ることが可能である。
【０１９２】
本件に適用できる時系列モデルとしては、例えば、自己回帰移動平均外性入力モデル（ａｕｔｏｒｅｇｒｅｓｓｉｖｅ ｍｏｖｉｎｇ ａｖｅｒａｇｅ ｍｏｄｅｌ ｗｉｔｈ ｅｘｏｇｅｎｏｕｓ ｉｎｐｕｔ；ＡＲＭＡＸモデル）や、その特別な場合である、自己回帰外性入力モデル（ａｕｔｏｒｅｇｒｅｓｓｉｖｅ ｍｏｄｅｌ ｗｉｔｈ ｅｘｏｇｅｎｏｕｓ ｉｎｐｕｔ；ＡＲＸモデル）あるいは移動平均モデル（ｍｏｖｉｎｇ ａｖｅｒａｇｅ ｍｏｄｅｌ；ＭＡモデル）などが挙げられる。
【０１９３】
上述した本発明の生体情報処理システムの一実施形態においては、脈波に基づく心拍数が、脈波の立ち上がり点の間隔に基づいて算出された。この「脈波の立ち上がり点」すなわち、脈波が立ち上がる時刻は、脈波の拍内最大値を与える時刻以前の直近の極小値（雑音が少ない場合は拍内最小値に一致）を与える時刻として算出される。そして、脈波の立ち上がり点から次の脈波の立ち上がり点までの時間の長さに基づき、心拍数が算出された。
【０１９４】
しかしながら、心拍数あるいは心周期または心拍動に関する情報を得るために、脈波の形状における特徴を取得する方法は、この脈波の立ち上がり点を基準する方法に限られない。すなわち、別の実施形態において、本発明の生体情報処理システムは、脈波瞬時値データＤ２１を参照して脈波の所定の形状特徴を示す点を検出し、心拍数あるいは心周期または心拍動に関する情報を取得することが可能である。この形状特徴を示す点は、所定の情報処理を介して、心拍数あるいは心周期または心拍動に関する情報に関連づけることのできる点であれば、脈波の形状特徴を示す点のうちいずれであってもよい。このような点としては、脈波が極小値となる点または脈波が極大値となる点だけでなく、心拍動に連動して被験体の特定の血管が収縮または膨張する速度が最大となる点、当該血管が収縮または膨張する加速度が最大となる点などが挙げられるが、これに限定されない。
【０１９５】
別の実施形態において、生体情報処理プログラムＤ１１の構成する個々の部分が同時並行的に複数のコンピュータ上で実行され、それらがネットワークを介して互いに通信しあう形態（分散システム）で実施されてもよい。
【０１９６】
また、上記生体情報処理プログラムＤ１１は、光ディスク４等の外部記憶媒体を通じてゲーム装置本体５に供給されるだけでなく、有線または無線の通信回線を通じてゲーム装置本体５に供給されてもよい。
【０１９７】
また、その生体情報処理プログラムＤ１１は、ゲーム装置本体５内部の不揮発性記憶装置にあらかじめ記録されていてもよい。なお、生体情報処理プログラムＤ１１を記憶する情報記憶媒体としては、任意のコンピュータ読み取り可能な記憶媒体であればよく、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体の他に、不揮発性半導体メモリでもよい。
【０１９８】
なお、上記実施形態では、生体情報処理プログラムＤ１１と、その他のゲームアプリケーションＤ１２とを別個に設けている。しかしながら、この構成はあくまでも一例である。したがって、ゲームアプリケーションＤ１２の中に生体情報処理プログラムＤ１１が組み込まれていてもよい。
【０１９９】
また、本明細書において例示される生体情報処理プログラムＤ１１の特徴の本質を維持しつつ、本発明の生体情報処理プログラムＤ１１が総体としてユーザに提供する機能を別のプログラム上の構成単位を用いて再構築することが可能である（例えば、所定機能のモジュール化などを利用することが可能である。）。
【０２００】
また、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュール（関数等）を用意しておくことが一般的傾向である。さらに、アプリケーションプログラムはこれらのモジュールを必要な時に呼び出して処理を進める方式が一般的である。そして、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトを流通させる必要はない。したがって、上記プログラムからそれらモジュールに対応する部分を除いたソフトウェアが、記録媒体に記憶された形式で、またはネットワーク上で提供される形式で提供／流通された場合であって、上述のモジュールによって機能が補完されたときには、結果として上記プログラムそのものが提供された場合と等価な効果が存在し得る。よって、上述のようなモジュールによって機能が補完されることを前提に、上記生体情報処理プログラムから上述のようなモジュールに対応する機能を除いたものは、実質的に上記生体情報処理プログラムに相当するものと解釈され得る。
【０２０１】
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施形態の記載から、本発明の記載および技術常識に基づいて均等な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用されるすべての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。
【産業上の利用可能性】
【０２０２】
例えば、情動反応の変化や映像酔いの評価などを含む様々な用途において有効な生体指標を簡便に提供する、生体情報に係る情報処理プログラム、情報処理装置、情報処理方法および情報処理システムが提供される。
【符号の説明】
【０２０３】
１…ゲームシステム
２…モニタ
２ａ、７０６…スピーカ
３…ゲーム装置
４…光ディスク
５…ゲーム装置本体
１０…ＣＰＵ
１１…システムＬＳＩ
１２…外部メインメモリ
１３…ＲＯＭ／ＲＴＣ
１４…ディスクドライブ
１５…ＡＶ−ＩＣ
１６…ＡＶコネクタ
１７…フラッシュメモリ
１８…無線通信モジュール
１９…無線コントローラモジュール
２０…拡張コネクタ
２１…外部メモリカード用コネクタ
２２、２３…アンテナ
２４…電源ボタン
２５…リセットボタン
２６…イジェクトボタン
３１…入出力プロセッサ
３２…ＧＰＵ
３３…ＤＳＰ
３４…ＶＲＡＭ
３５…内部メインメモリ
７…コントローラ
７０…コアユニット
７１…ハウジング
７２…操作部
７３…コネクタ
７４…撮像情報演算部
７４１…赤外線フィルタ
７４２…レンズ
７４３…撮像素子
７４４…画像処理回路
７５…通信部
７５１…マイコン
７５２…メモリ
７５３…無線モジュール
７５４…アンテナ
７００…基板
７０１…加速度センサ
７０２…ＬＥＤ
７０４…バイブレータ
７０７…サウンドＩＣ
７０８…アンプ
７６…バイタルセンサ
７６１…制御部
７６２…発光部
７６３…受光部
８…マーカ
【特許請求の範囲】
【請求項１】
生体情報を処理するための生体情報処理装置のコンピュータで実行される生体情報処理プログラムであって、
前記コンピュータを、
被験者から脈波検出装置を介して得られる脈波信号を入力として得るための手段と、
入力された前記脈波信号に基づき心拍数を算出して第１の時系列データとして得る手段と、
入力された前記脈波信号に基づきその拍ごとの複数の特徴量を算出する手段と、
入力された時系列データを帯域通過フィルタで処理し、マイヤー波帯域成分の時系列データを得る手段と、
前記第１の時系列データ、および前記複数の特徴量の組合せで構成される第２の時系列データが、前記マイヤー波帯域成分の時系列データを得る手段による処理を受けることで得られた、第３の時系列データ、および第４の時系列データを用いて、推定心拍数を得るための時系列モデルを決定する手段と、
決定された前記時系列モデルに基づいて、前記第３の時系列データと、前記第４の時系列データとの間で、相互相関係数を設定し、当該相互相関係数の最大値を算出する手段として機能させる、生体情報処理プログラム。
【請求項２】
前記時系列モデルが、重回帰モデル、自己回帰移動平均外性入力モデル、自己回帰外性入力モデル、または移動平均モデルのいずれかで規定される、請求項１に記載の生体情報処理プログラム。
【請求項３】
前記時系列モデルを決定する手段は、前記第４の時系列データに含まれる複数の特徴量の組合せを説明変数とし、当該特徴量の組合せの各々を取得した時点から所定間隔だけずれた時点の、前記第３の時系列データに含まれる心拍数に相当する第１の変数に負号を付したものを目的変数とした重回帰モデルを、決定する、請求項２に記載の生体情報処理プログラム。
【請求項４】
前記時系列モデルを決定する手段は、前記所定間隔を第１の範囲で変動させたときの最適な重回帰モデルを決定し、前記最適な重回帰モデルに基づき、前記第１の変数に負号を付したものの時系列データを推定心拍数の時系列データとして取得する、請求項３に記載の生体情報処理プログラム。
【請求項５】
前記時系列モデルを決定する手段が、前記最適な重回帰モデルを決定する際に、最小２乗法または最尤法を用いて、最適な重回帰モデルを決定する、請求項４に記載の生体情報処理プログラム。
【請求項６】
前記相互相関係数の最大値を算出する手段は、前記第３の時系列データと、前記推定心拍数の時系列データとの間で、相互相関係数を設定し、遅延時間を第２の範囲で変動させたときの最大相互相関係数を取得する、請求項４に記載の生体情報処理プログラム。
【請求項７】
前記第１の時系列データを得る手段は、脈波の立ち上がり点の間隔に基づいて前記心拍数を算出して第１の時系列データを取得する、請求項１に記載の生体情報処理プログラム。
【請求項８】
前記第１の時系列データを得る手段は、前記脈波検出装置が取得した脈波信号が極小値または極大値を示す時点に基づき、前記心拍数を算出して第１の時系列データを取得する、請求項１に記載の生体情報処理プログラム。
【請求項９】
前記第１の時系列データを得る手段は、前記脈波検出装置が取得した脈波信号において、前記被験者の特定の血管が収縮または膨張する速度が最大となる時点に基づき、前記心拍数を算出して第１の時系列データを取得する、請求項１に記載の生体情報処理プログラム。
【請求項１０】
前記第１の時系列データを得る手段は、前記脈波検出装置が取得した脈波信号において、前記被験者の特定の血管が収縮する加速度または膨張する加速度が最大となる時点に基づき、前記心拍数を算出して第１の時系列データを取得する、請求項１に記載の生体情報処理プログラム。
【請求項１１】
前記特徴量の組合せは、前記脈波信号に基づき算出された加速度脈波の最初の極大値および最初の極小値、前記脈波信号に基づき算出された速度脈波の最初の極小値に基づいた複数の値の組合せを含む、請求項１に記載の生体情報処理プログラム。
【請求項１２】
前記特徴量の組合せは、
前記脈波信号に基づき算出された加速度脈波の最初の極大値および最初の極小値、
前記最初の極小値を前記最初の極大値で除算した値、
前記最初の極大値の平方、
前記最初の極小値の平方、
前記最初の極大値と最初の極小値との積、
前記脈波信号に基づき算出された速度脈波の最初の極小値を前記最初の極大値で除算した値ならびに、
前記脈波に基づき算出された脈波平均値および脈波振幅
からなる、請求項１１に記載の生体情報処理プログラム。
【請求項１３】
前記マイヤー波帯域成分の時系列データを得る手段は、前記入力された時系列データを帯域通過フィルタで処理するとともに、規格化する、請求項１に記載の生体情報処理プログラム。
【請求項１４】
生体情報を処理するための生体情報処理装置であって、
被験者から脈波検出装置を介して得られる脈波信号を入力として得るための手段と、
入力された前記脈波信号に基づき心拍数を算出して第１の時系列データとして得る手段と、
入力された前記脈波信号に基づきその拍ごとの複数の特徴量を算出する手段と、
入力された時系列データを帯域通過フィルタで処理し、マイヤー波帯域成分の時系列データを得る手段と、
前記第１の時系列データ、および前記複数の特徴量の組合せで構成される第２の時系列データが、前記マイヤー波帯域成分の時系列データを得る手段による処理を受けることで得られた、第３の時系列データ、および第４の時系列データを用いて、推定心拍数を得るための時系列モデルを決定する手段と、
決定された前記時系列モデルに基づいて、前記第３の時系列データと、前記第４の時系列データとの間で、相互相関係数を設定し、当該相互相関係数の最大値を算出する手段を備える、生体情報処理装置。
【請求項１５】
生体情報を処理するための生体情報処理方法であって、
被験者から脈波検出装置を介して得られる脈波信号を入力として得るためのステップと、
入力された前記脈波信号に基づき心拍数を算出して第１の時系列データとして得るステップと、
入力された前記脈波信号に基づきその拍ごとの複数の特徴量を算出するステップと、
入力された時系列データを帯域通過フィルタで処理し、マイヤー波帯域成分の時系列データを得るステップと、
前記第１の時系列データ、および前記複数の特徴量の組合せで構成される第２の時系列データが、前記マイヤー波帯域成分の時系列データを得るステップによる処理を受けることで得られた、第３の時系列データ、および第４の時系列データを用いて、推定心拍数を得るための時系列モデルを決定するステップと、
決定された前記時系列モデルに基づいて、前記第３の時系列データと、前記第４の時系列データとの間で、相互相関係数を設定し、当該相互相関係数の最大値を算出するステップを含む、生体情報処理方法。
【請求項１６】
生体情報を処理するための生体情報処理システムであって、
被験者から脈波検出装置を介して得られる脈波信号を入力として得るための手段と、
入力された前記脈波信号に基づき心拍数を算出して第１の時系列データとして得る手段と、
入力された前記脈波信号に基づきその拍ごとの複数の特徴量を算出する手段と、
入力された時系列データを帯域通過フィルタで処理し、マイヤー波帯域成分の時系列データを得る手段と、
前記第１の時系列データ、および前記複数の特徴量の組合せで構成される第２の時系列データが、前記マイヤー波帯域成分の時系列データを得る手段による処理を受けることで得られた、第３の時系列データ、および第４の時系列データを用いて、推定心拍数を得るための時系列モデルを決定する手段と、
決定された前記時系列モデルに基づいて、前記第３の時系列データと、前記第４の時系列データとの間で、相互相関係数を設定し、当該相互相関係数の最大値を算出する手段を備える、生体情報処理システム。
【請求項１】
生体情報を処理するための生体情報処理装置のコンピュータで実行される生体情報処理プログラムであって、
前記コンピュータを、
被験者から脈波検出装置を介して得られる脈波信号を入力として得るための手段と、
入力された前記脈波信号に基づき心拍数を算出して第１の時系列データとして得る手段と、
入力された前記脈波信号に基づきその拍ごとの複数の特徴量を算出する手段と、
入力された時系列データを帯域通過フィルタで処理し、マイヤー波帯域成分の時系列データを得る手段と、
前記第１の時系列データ、および前記複数の特徴量の組合せで構成される第２の時系列データが、前記マイヤー波帯域成分の時系列データを得る手段による処理を受けることで得られた、第３の時系列データ、および第４の時系列データを用いて、推定心拍数を得るための時系列モデルを決定する手段と、
決定された前記時系列モデルに基づいて、前記第３の時系列データと、前記第４の時系列データとの間で、相互相関係数を設定し、当該相互相関係数の最大値を算出する手段として機能させる、生体情報処理プログラム。
【請求項２】
前記時系列モデルが、重回帰モデル、自己回帰移動平均外性入力モデル、自己回帰外性入力モデル、または移動平均モデルのいずれかで規定される、請求項１に記載の生体情報処理プログラム。
【請求項３】
前記時系列モデルを決定する手段は、前記第４の時系列データに含まれる複数の特徴量の組合せを説明変数とし、当該特徴量の組合せの各々を取得した時点から所定間隔だけずれた時点の、前記第３の時系列データに含まれる心拍数に相当する第１の変数に負号を付したものを目的変数とした重回帰モデルを、決定する、請求項２に記載の生体情報処理プログラム。
【請求項４】
前記時系列モデルを決定する手段は、前記所定間隔を第１の範囲で変動させたときの最適な重回帰モデルを決定し、前記最適な重回帰モデルに基づき、前記第１の変数に負号を付したものの時系列データを推定心拍数の時系列データとして取得する、請求項３に記載の生体情報処理プログラム。
【請求項５】
前記時系列モデルを決定する手段が、前記最適な重回帰モデルを決定する際に、最小２乗法または最尤法を用いて、最適な重回帰モデルを決定する、請求項４に記載の生体情報処理プログラム。
【請求項６】
前記相互相関係数の最大値を算出する手段は、前記第３の時系列データと、前記推定心拍数の時系列データとの間で、相互相関係数を設定し、遅延時間を第２の範囲で変動させたときの最大相互相関係数を取得する、請求項４に記載の生体情報処理プログラム。
【請求項７】
前記第１の時系列データを得る手段は、脈波の立ち上がり点の間隔に基づいて前記心拍数を算出して第１の時系列データを取得する、請求項１に記載の生体情報処理プログラム。
【請求項８】
前記第１の時系列データを得る手段は、前記脈波検出装置が取得した脈波信号が極小値または極大値を示す時点に基づき、前記心拍数を算出して第１の時系列データを取得する、請求項１に記載の生体情報処理プログラム。
【請求項９】
前記第１の時系列データを得る手段は、前記脈波検出装置が取得した脈波信号において、前記被験者の特定の血管が収縮または膨張する速度が最大となる時点に基づき、前記心拍数を算出して第１の時系列データを取得する、請求項１に記載の生体情報処理プログラム。
【請求項１０】
前記第１の時系列データを得る手段は、前記脈波検出装置が取得した脈波信号において、前記被験者の特定の血管が収縮する加速度または膨張する加速度が最大となる時点に基づき、前記心拍数を算出して第１の時系列データを取得する、請求項１に記載の生体情報処理プログラム。
【請求項１１】
前記特徴量の組合せは、前記脈波信号に基づき算出された加速度脈波の最初の極大値および最初の極小値、前記脈波信号に基づき算出された速度脈波の最初の極小値に基づいた複数の値の組合せを含む、請求項１に記載の生体情報処理プログラム。
【請求項１２】
前記特徴量の組合せは、
前記脈波信号に基づき算出された加速度脈波の最初の極大値および最初の極小値、
前記最初の極小値を前記最初の極大値で除算した値、
前記最初の極大値の平方、
前記最初の極小値の平方、
前記最初の極大値と最初の極小値との積、
前記脈波信号に基づき算出された速度脈波の最初の極小値を前記最初の極大値で除算した値ならびに、
前記脈波に基づき算出された脈波平均値および脈波振幅
からなる、請求項１１に記載の生体情報処理プログラム。
【請求項１３】
前記マイヤー波帯域成分の時系列データを得る手段は、前記入力された時系列データを帯域通過フィルタで処理するとともに、規格化する、請求項１に記載の生体情報処理プログラム。
【請求項１４】
生体情報を処理するための生体情報処理装置であって、
被験者から脈波検出装置を介して得られる脈波信号を入力として得るための手段と、
入力された前記脈波信号に基づき心拍数を算出して第１の時系列データとして得る手段と、
入力された前記脈波信号に基づきその拍ごとの複数の特徴量を算出する手段と、
入力された時系列データを帯域通過フィルタで処理し、マイヤー波帯域成分の時系列データを得る手段と、
前記第１の時系列データ、および前記複数の特徴量の組合せで構成される第２の時系列データが、前記マイヤー波帯域成分の時系列データを得る手段による処理を受けることで得られた、第３の時系列データ、および第４の時系列データを用いて、推定心拍数を得るための時系列モデルを決定する手段と、
決定された前記時系列モデルに基づいて、前記第３の時系列データと、前記第４の時系列データとの間で、相互相関係数を設定し、当該相互相関係数の最大値を算出する手段を備える、生体情報処理装置。
【請求項１５】
生体情報を処理するための生体情報処理方法であって、
被験者から脈波検出装置を介して得られる脈波信号を入力として得るためのステップと、
入力された前記脈波信号に基づき心拍数を算出して第１の時系列データとして得るステップと、
入力された前記脈波信号に基づきその拍ごとの複数の特徴量を算出するステップと、
入力された時系列データを帯域通過フィルタで処理し、マイヤー波帯域成分の時系列データを得るステップと、
前記第１の時系列データ、および前記複数の特徴量の組合せで構成される第２の時系列データが、前記マイヤー波帯域成分の時系列データを得るステップによる処理を受けることで得られた、第３の時系列データ、および第４の時系列データを用いて、推定心拍数を得るための時系列モデルを決定するステップと、
決定された前記時系列モデルに基づいて、前記第３の時系列データと、前記第４の時系列データとの間で、相互相関係数を設定し、当該相互相関係数の最大値を算出するステップを含む、生体情報処理方法。
【請求項１６】
生体情報を処理するための生体情報処理システムであって、
被験者から脈波検出装置を介して得られる脈波信号を入力として得るための手段と、
入力された前記脈波信号に基づき心拍数を算出して第１の時系列データとして得る手段と、
入力された前記脈波信号に基づきその拍ごとの複数の特徴量を算出する手段と、
入力された時系列データを帯域通過フィルタで処理し、マイヤー波帯域成分の時系列データを得る手段と、
前記第１の時系列データ、および前記複数の特徴量の組合せで構成される第２の時系列データが、前記マイヤー波帯域成分の時系列データを得る手段による処理を受けることで得られた、第３の時系列データ、および第４の時系列データを用いて、推定心拍数を得るための時系列モデルを決定する手段と、
決定された前記時系列モデルに基づいて、前記第３の時系列データと、前記第４の時系列データとの間で、相互相関係数を設定し、当該相互相関係数の最大値を算出する手段を備える、生体情報処理システム。
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３Ａ】
【図２３Ｂ】
【図２４】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３Ａ】
【図２３Ｂ】
【図２４】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−２２９７６７（Ｐ２０１１−２２９７６７Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０４５２１（Ｐ２０１０−１０４５２１）
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【出願人】（５０４１５７０２４）国立大学法人東北大学 (2,297)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【出願人】（５０４１５７０２４）国立大学法人東北大学 (2,297)
【Ｆターム（参考）】
[ Back to top ]