信号処理装置、タッチパネルユニット、情報処理装置および信号処理方法
【課題】脈拍を測定するには、たとえば、血液中のヘモグロビンが赤外線を吸収する性質を用いて脈拍を測定する脈拍センサを搭載した脈拍測定器が必要であり、センサの追加によりコストがかかる。
【解決手段】サンプル抽出部２０は、タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得する。離散フーリエ変換部４０は、サンプルデータ列を周波数領域に変換する。周波数スペクトル分析部５０は、周波数領域に変換されたサンプルデータをもとに、周波数スペクトル分布を求める。ピーク検出部６０は、周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求める。
【解決手段】サンプル抽出部２０は、タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得する。離散フーリエ変換部４０は、サンプルデータ列を周波数領域に変換する。周波数スペクトル分析部５０は、周波数領域に変換されたサンプルデータをもとに、周波数スペクトル分布を求める。ピーク検出部６０は、周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、タッチパネルの検出信号を処理する装置および方法に関する。
【背景技術】
【０００２】
表示画面に直接、人間が指で触れることにより入力を行うことができるタッチパネルやタッチパッドなどのインタフェース機器がパーソナルコンピュータ、各種の携帯機器や携帯電話などで幅広く利用されている。最近では、タッチ点の座標以外にも、タッチの強さ（圧力）や、指の向きなど、タッチ点に関する属性情報を取得することができる機器も登場している。
【０００３】
特許文献１には、表裏両面に表示画面を備えた携帯型画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２６０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タッチパネルやタッチパッドを用いて、ユーザは画面を操作しながらいろいろな情報を入力することができるが、人間の生体情報を入力できるようにしたものは実現されていない。生体情報として、脈拍を測定するには、血液中のヘモグロビンが赤外線を吸収する性質を用いて脈拍を測定する脈拍センサを搭載した脈拍測定器のような専用機器が必要であり、コストがかかる。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、タッチパネルを用いて脈拍に関する情報を取得することのできる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の信号処理装置は、タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含む。
【０００８】
本発明の別の態様は、タッチパネルユニットである。このタッチパネルユニットは、タッチパネルと、前記タッチパネルにおけるタッチ点の位置とタッチ状態量を検出して信号として出力するタッチパネルコントローラとを含む。前記タッチパネルコントローラは、前記タッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含む。
【０００９】
本発明のさらに別の態様は、情報処理装置である。この装置は、タッチパネルと前記タッチパネルにおけるタッチ点の位置とタッチ状態量を検出して信号として出力するタッチパネルコントローラとを含むタッチパネルユニットと、タッチパネルコントローラの出力信号を信号処理する信号処理部と、アプリケーションを実行するメインプロセッサと、前記タッチパネルに設けられるディスプレイデバイスに表示すべきデータを制御する表示制御部とを含む。前記信号処理部は、タッチパネルにおいて検出された前記タッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含む。
【００１０】
本発明のさらに別の態様は、信号処理方法である。この方法は、タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得するステップと、前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求めるステップと、周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるステップとを含む。
【００１１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、タッチパネルを用いて脈拍に関する情報を効率的に取得することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態に係る情報処理装置の構成図である。
【図２】図１の信号処理部の機能構成図である。
【図３】図１のタッチパネルを指で触れている様子を示す図である。
【図４】図３のようにタッチパネルのある位置を指で直接触れたときに検出される静電容量振幅信号に対する信号処理を説明する図である。
【図５】図３のようにタッチパネルの別の位置を硬貨を介して指で間接的に触れたときに検出される静電容量振幅信号Ａに対する信号処理を説明する図である。
【図６】異なる仕様の静電容量方式のタッチパネルを指で触れたときに検出される静電容量振幅信号に対する信号処理を説明する図である。
【図７】図７（ａ）〜（ｃ）は、ユーザにタッチパネルに触れさせるためのディスプレイ画面を説明する図である。
【図８】ゲーム画面においてユーザの脈拍を測定する例を説明する図である。
【図９】携帯ゲーム機においてユーザの脈拍を測定する方法を説明する図である。
【発明を実施するための形態】
【００１４】
図１は、実施の形態に係る情報処理装置１００の構成図である。図１に示す情報処理装置１００の機能構成の一部または全部は、一例として、パーソナルコンピュータ、ゲーム機、携帯機器、携帯端末などにハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。
【００１５】
情報処理装置１００は、タッチパネルユニット１４０、信号処理部１５０、メインプロセッサ１６０、メモリ１７０、表示制御部１８０、およびディスプレイ１９０を含む。
【００１６】
タッチパネルユニット１４０は、タッチパネル１１０と、フレキシブル基板１２０によりタッチパネル１１０に接続されたタッチパネルコントローラ１３０とを含む。
【００１７】
タッチパネル１１０は、各種方式で、指などによる接触点（位置）（以下、「タッチ点（位置）」と呼ぶ）と、タッチ点（位置）における接触状態を示す静電容量や電気抵抗量などの検知量（以下、「タッチ状態量」と呼ぶ）を検出する入力装置であり、液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイなどのディスプレイ１９０の上に重ねて設置される。これにより、ユーザはディスプレイ１９０の画面を見ながら、タッチパネル１１０に指で直接触れることで画面に対する操作を入力することができる。
【００１８】
タッチパネル１１０は、一例として、静電容量方式タッチパネルである。タッチパネルコントローラ１３０は、タッチパネル１１０の各点の静電容量の変化量を測定してタッチ点の位置とタッチ点の静電容量値を検出する。人間の指でタッチパネル１１０に触れると、静電容量が脈動により変化する。これは、脈拍に連動した指の微少な動きや血流の変化がタッチ点の静電容量に影響を与えるからである。これを利用すれば、タッチパネル１１０に触れたユーザの脈拍を測定することが可能である。
【００１９】
タッチパネルユニット１４０は、本実施の形態の脈拍測定をするためには以下の条件を備えれば十分である。
【００２０】
（１）２０Ｈｚ以上のサンプリング周波数でタッチ点のスキャニングが行えること。
人間の脈拍は一般に５０−２００［パルス／分］の範囲に収まるため、脈拍信号の周波数としては、０．５Ｈｚ〜２Ｈｚである。一般に、サンプリング周波数は、計測対象の２倍以上、高精度測定の場合、５〜１０倍程度のサンプリング周波数が必要となるので、仮に１０倍としても、最大サンプリング周波数は２×１０＝２０Ｈｚ以上あればよい。この値は、一般的な静電容量型タッチパネルでも比較的簡単に実現されている値であり、特に高性能であるわけではない。
【００２１】
（２）各タッチ点ごとに、静電容量の時系列変化（振幅）を取得できること。
ここでいう、静電容量の時系列変化は、非タッチ時とタッチ時の静電容量計測値の差の時系列変化である。
【００２２】
（３）好ましくは、適応的ゲイン制御（adaptive gain control）を一時的に停止できること。
静電容量型タッチパネルによっては、適応的にタッチ感度を自動調整する適応的ゲイン制御または自動ゲイン制御を取り入れ、感度を調整して出力を一定に保つようにしたものがある。これは、環境ノイズが変動する場合に安定したタッチパネルのセンシングを実現する上で効果的であるが、その反面、本実施の形態のように脈拍測定のために静電容量の時系列変化を見る場合は、タッチ感度が変化すると、信号の振幅が感度の切り替わり前後で不連続となり、測定値が不安定となってしまう。そこで、脈拍測定時はタッチ感度を固定することが望ましい。もっとも、タッチ感度が変わることで測定値が不安定になる時間帯があってもそれが許容されるようなアプリケーションにおいては、適応的ゲイン制御があっても問題にはならない。また、頻繁に感度調整がかからないものであれば、適応的ゲイン制御を停止しなくてもよいことがある。
【００２３】
ここでは、静電容量方式のタッチパネル１１０を例にとって説明したが、指の脈拍に応じて何らかの測定量が時系列データとして取得できるタッチパネルであれば、静電容量方式に限らず、任意の方式のものを利用することができる。たとえば、圧力分解能の高い高感度感圧式タッチパネルでもよく、指の血流に含まれるヘモグロビンの近赤外線反射・吸収強度を高分解能で取得可能な光学式タッチパネルであってもよい。タッチパネル１１０は、脈動に応じて変動するタッチ状態量を何らかの物理量として検出できるものであれば、ここで例示しない任意の方式のものであってもよい。
【００２４】
信号処理部１５０は、タッチパネルコントローラ１３０が検出したタッチ点の静電容量の時系列データを取得して、メモリ１７０に対してデータを読み書きしながら信号処理を行い、タッチしたユーザの脈拍を求める。
【００２５】
メインプロセッサ１６０は、信号処理部１５０が求めた脈拍データを用いて、ゲームなどのアプリケーションを実行する。たとえば、メインプロセッサ１６０は、測定された脈拍の値に応じてゲームのパラメータを調整したり、ゲーム実行中に脈拍に関する指標を表示したり、ユーザに通知する。
【００２６】
表示制御部１８０は、ゲームの画面やアプリケーションの出力画面などをディスプレイ１９０に表示する。また、表示制御部１８０は、ユーザに触れさせるタッチパネル１１０上の位置を案内するガイドをディスプレイ１９０に表示したり、脈拍測定に必要な時間が経過するまで、ユーザがタッチパネル１１０に触れ続けるように案内するガイドをディスプレイ１９０に表示する。
【００２７】
図２は、信号処理部１５０の機能構成図である。信号処理部１５０は、ローパスフィルタ（ＬＰＦ）１０、サンプル抽出部２０、窓関数処理部３０、離散フーリエ変換（ＤＦＴ）部４０、周波数スペクトル分析部５０、およびピーク検出部６０を含む。
【００２８】
タッチパネルコントローラ１３０は、タッチ点データとして、ｎ個のタッチ点の座標（Ｘ，Ｙ）と静電容量の振幅Ａを計測時刻Ｔとともに出力する。信号処理部１５０は、以下の時系列データを取得する。複数のタッチ点を同時に検出可能なマルチタッチパネルであれば、ｎ≧２であるが、１点のみしか検出できない場合は、ｎ＝１である。
Ｔ＝ｔ０，（Ｘ１，Ｙ１，Ａ１），（Ｘ２，Ｙ２，Ａ２），…，（Ｘｎ，Ｙｎ，Ａｎ）
Ｔ＝ｔ１，（Ｘ１，Ｙ１，Ａ１），（Ｘ２，Ｙ２，Ａ２），…，（Ｘｎ，Ｙｎ，Ａｎ）
Ｔ＝ｔ２，（Ｘ１，Ｙ１，Ａ１），（Ｘ２，Ｙ２，Ａ２），…，（Ｘｎ，Ｙｎ，Ａｎ）
…
【００２９】
ここで、第１のタッチ点に着目すると、静電容量の振幅の時系列データは、
Ａ１（ｔ）＝｛Ａ１（ｔ０），Ａ１（ｔ１），Ａ１（ｔ２），…｝
となり、時系列離散サンプリングデータとして得られることになる。ここで、サンプリングレートｆｓは、
ｆｓ＝１／（ｔ１−ｔ０）＝１／（ｔ２−ｔ１）＝…
で求められる。一般には計測時刻にはジッタが含まれるため、サンプリングレートは、個々の時間差の平均値を使用してもよい。
【００３０】
上記の静電容量の振幅の時系列データには、人間の脈拍以外の情報、たとえば電源系ノイズや環境ノイズ等も含まれている。特に、一般的なタッチパネルユニットでは、タッチ点座標の時系列変化を細かく取りたいため、サンプリングレートは３０Ｈｚ以上となっていることが多い。つまり、脈拍の周波数帯０．５〜２Ｈｚと比較すると、より高周波成分を含んでいることになる。
【００３１】
そこで、まず、ローパスフィルタ１０は、静電容量の振幅信号Ａ（ｔ）に対して、脈拍以外の周波数、特に高域を制限するローパスフィルタをかける。脈拍の周波数帯域を考慮して、ここではカットオフ周波数ｆｃ＝４Ｈｚで、１０タップのローパスフィルタを用いる。ローパスフィルタの特性は、タッチパネル１１０から得られる周波数特性およびノイズ環境を考慮してチューニングするのが望ましい。
【００３２】
次に、サンプル抽出部２０は、周波数スペクトル解析を行うため、ローパスフィルタをかけた後の静電容量振幅信号のデータ列からサンプルデータ列を取り出す。サンプル数は、後で離散フーリエ変換の演算処理を施すことができるように、２のべき乗であることが望ましい。ここでは５１２サンプルを取り出す。サンプル数が多ければ多いほど、精度は上がるが、演算量も大きくなるので、５１２〜１０２４サンプル程度が適当である。タッチパネル１１０が１秒間に６０サンプルをサンプリングする場合、５１２サンプルを取り出すには、８秒程度のサンプルデータ取得期間を設ける必要がある。
【００３３】
窓関数処理部３０では、周波数解析を精度よく行うため、サンプルデータ列に対して窓関数を適用する。ここでは周波数スペクトルの精度を重視して、ハミング（Ｈａｍｍｉｎｇ）窓を用いたが、タッチパネル１１０の出力データの特性に合わせて、他の窓関数を利用してもよい。
【００３４】
離散フーリエ変換部４０は、窓関数を適用した後のサンプルデータ列に対して、離散フーリエ変換（ＤＦＴ）を実行し、周波数領域に変換する。周波数スペクトル分析部５０は、周波数領域に変換されたサンプルデータをもとに、周波数スペクトル分布を求める。
【００３５】
ピーク検出部６０は、周波数スペクトル分析部５０により得られたスペクトル分布において脈拍に対応するピークを検出する。スペクトル分布において、０．５Ｈｚ〜２Ｈｚに対応する周波数帯のピークが、他のピークよりも大きく、明確な単峰性ピークを示していれば、これは脈拍に対応するものであり、ピーク検出部６０は、そのピークの周波数の逆数を取って脈拍Ｐ［パルス／分］を算出する。
【００３６】
図３は、タッチパネル１１０を指で触れている様子を示す図である。タッチパネル１１０のある位置（Ｘ１，Ｙ１）を指１１２で直接触れたとき、静電容量振幅信号Ａ１が検出される。タッチパネル１１０の別の位置（Ｘ２，Ｙ２）を硬貨１１６を介して指１１４で間接的に触れたとき、静電容量振幅信号Ａ２が検出される。
【００３７】
図４は、図３のようにタッチパネル１１０のある位置（Ｘ１，Ｙ１）を指１１２で直接触れたときに検出される静電容量振幅信号Ａ１に対する信号処理を説明する図である。
【００３８】
図４の上段には、静電容量振幅信号Ａ１の原波形２００が横軸を時間（単位は秒）として示されている。図４の中段には、静電容量振幅Ａ１の原波形２００をローパスフィルタに通して高周波成分を除去した信号２１０が示されている。図４の下段には、ローパスフィルタ後の信号２１０を周波数領域に変換した周波数スペクトル２２０が横軸を周波数（単位はＨｚ）として示されている。脈拍の周波数帯０．５〜２Ｈｚにおいて、一つのピークがあり、このピークの周波数を脈拍に換算すると、７２パルス／秒である。
【００３９】
このように、タッチパネル１１０を指１１２で直接触れると、タッチ点において検出される静電容量振幅信号には、脈拍に対応する周波数成分が含まれる。静電容量振幅信号から高周波成分を除去した後に周波数スペクトル分析すると、脈拍に対応する周波数スペクトルを検出することができる。周波数スペクトル分布には、複数のピークがあるが、人間の脈拍の周波数帯は０．５〜２Ｈｚの範囲に収まることがわかっているから、脈拍の周波数スペクトルだけを検出することができる。仮に、脈拍の周波数帯に別の要因（たとえばノイズ）によるスペクトルが混入したとしても、脈拍の周波数スペクトルの方が十分に大きければ、脈拍の周波数スペクトルだけを抽出することができる。
【００４０】
図５は、図３のようにタッチパネル１１０の別の位置（Ｘ２，Ｙ２）を硬貨１１６を介して指１１４で間接的に触れたときに検出される静電容量振幅信号Ａ２に対する信号処理を説明する図である。
【００４１】
図５の上段には、静電容量振幅信号Ａ２の原波形２０４が示されている。図５の中段には、静電容量振幅Ａ２の原波形２０４をローパスフィルタに通して高周波成分を除去した信号２１４が示されている。図５の下段には、ローパスフィルタ後の信号２１４を周波数領域に変換した周波数スペクトル２２４が示されている。周波数スペクトル２２４には、脈拍の周波数帯０．５〜２Ｈｚを含めて、顕著なピークは存在しない。このように、硬貨１１６をタッチパネル１１０と指１１４の間に挟むと、脈拍による静電容量の変化は生じないので、脈拍は検出されない。タッチパネル１１０を静電容量型タッチパネル対応のスタイラスなどで触れた場合も同様である。したがって、人間の指でタッチパネル１１０を触れているのか、指以外のもので触れているのかを区別することができる。
【００４２】
認証などの目的で、タッチパネル１１０に生身の指で触れているか、指以外のもので触れたり、指に何かを付けて触れているかを区別したい場合がある。そのような場合、タッチパネル１１０から検出される信号波形から脈拍が検出されるか否かによって、生身の指で触れているか否かを判別することができる。
【００４３】
図６は、異なる仕様の静電容量方式のタッチパネルを指で触れたときに検出される静電容量振幅信号に対する信号処理を説明する図である。同じ静電容量方式を用いたタッチパネルであっても、データ取得ならびに信号処理方法が異なり、また検出信号のＳ／Ｎ比などの条件も異なるので、信号波形は異なっている。
【００４４】
図６の上段には、静電容量振幅信号の原波形２０２が示されている。図６の中段には、静電容量振幅Ａ１の原波形２０２をローパスフィルタに通して高周波成分を除去した信号２１２が示されている。図６の下段には、ローパスフィルタ後の信号２１２を周波数領域に変換した周波数スペクトル２２２が示されている。脈拍の周波数帯０．５〜２Ｈｚにおいて、一つのピークがあり、このピークの周波数を脈拍に換算すると、９８パルス／秒である。このように、タッチパネルの種類が異なると、検出される静電容量振幅信号の波形が大きく異なることがあるが、その場合でも周波数スペクトル分布には脈拍に対応するピークがはっきりと表れるので、脈拍を測定することができる。
【００４５】
以上述べたように、タッチパネルユニット１４０を用いれば、タッチパネル１１０にユーザが指で触れているときにユーザの脈拍を測定することができる。次に、ユーザにタッチパネル１１０に触れさせて脈拍を測定するためのユーザインタフェース、測定されたユーザの脈拍を利用したアプリケーションについて説明する。
【００４６】
図７（ａ）〜（ｃ）は、ユーザにタッチパネル１１０に触れさせるためのディスプレイ画面を説明する図である。ユーザの脈拍を測定するには、測定に必要なサンプル数を取得するのに必要な時間だけユーザにタッチパネル１１０に触れさせる必要がある。
【００４７】
図７（ａ）に示すように、タッチパネル１１０（厳密にはタッチパネル１１０の下に配置されたディスプレイ１９０の画面）には、キャラクタが「ここに触れて！！」と話ながら、点線で囲まれた領域１１８を指さしてタッチするようにユーザに案内する。
【００４８】
このガイドにしたがって、図７（ｂ）に示すように、ユーザが指１１５で領域１１８に触れると、キャラクタは「押し続けて！」と話し、ユーザが領域１１８に触れ続けるように促す。一定の測定時間、たとえば５〜８秒が経過すると、図７（ｃ）に示すように、キャラクタは表情を変えて「もういいよ！！」と話し、ユーザは指１１５をタッチパネル１１０から離す。
【００４９】
ユーザの指１１５がタッチパネル１１０に触れている間、信号処理部１５０は、タッチパネルユニット１４０から得られるタッチ点の静電容量振幅値を周波数スペクトル分析してユーザの脈拍を測定する。こうして、ユーザに気づかれないうちに、脈拍を測定することができる。
【００５０】
脈拍は、タッチパネル１１０上のどの位置でも計測可能であるが、より高精度のセンシングを行うために、指を当てる場所を制限することもできる。その場合は、図７（ａ）〜（ｃ）の点線で囲まれた領域１１８を高精度のセンシングが可能な位置に表示して、指で触れる位置をガイドすることができる。
【００５１】
図７（ａ）〜（ｃ）の例では、画面に表示されたキャラクタが、ユーザにタッチパネル１１０を長押しするように促したが、脈拍を計測中であることをインジケータなどを点滅させてユーザに知らせる形態を取ってもよい。
【００５２】
図８は、ゲーム画面においてユーザの脈拍を測定する例を説明する図である。タッチパネル１１０のディスプレ画面には、エアホッケーゲームが表示されており、第１のユーザは指１１１で自分のマレット１２４を操作し、円盤１２２を打つ。第２のユーザは指１１３で自分のマレット１２６を操作し、円盤１２２を打つ。
【００５３】
第１、第２のユーザはそれぞれ自分のマレット１２４、１２６を操作する間、自分の指１１１、１１３でタッチパネル１１０に触れている。タッチ点は移動するが、指１１１、１１３でタッチパネル１１０を一定時間触れ続ける。したがって、マルチタッチ対応のタッチパネル１１０であれば、たとえば、第１のユーザについて、タッチ位置座標と静電容量振幅の時系列データが次のように得られる。
Ｔ＝ｔ１，（Ｘ１，Ｙ１，Ａ１）
Ｔ＝ｔ２，（Ｘ２，Ｙ２，Ａ２）
Ｔ＝ｔ３，（Ｘ３，Ｙ３，Ａ３）
…
Ｔ＝ｔｎ，（Ｘｎ，Ｙｎ，Ａｎ）
【００５４】
第１のユーザについて、タッチ位置を変えながら、静電容量振幅の時系列データＡ１＝｛Ａ１（ｔ１），Ａ２（ｔ２），Ａ３（ｔ３），…，Ａｎ（ｔｎ）｝が得られる。第２のユーザについても、同様にタッチ位置を変えながら、静電容量振幅の時系列データＢ１＝｛Ｂ１（ｔ１），Ｂ２（ｔ２），Ｂ３（ｔ３），…，Ｂｎ（ｔｎ）｝が得られる。
【００５５】
マルチタッチ対応のタッチパネルユニット１４０は、第１のユーザの静電容量振幅の時系列データＡ１と第２のユーザの静電容量振幅の時系列データＢ１とを同時に出力するが、信号処理部１５０は、両者をタッチ位置の違いで区別することができる。エアホッケーゲームでは、第１、第２のユーザは、それぞれタッチパネル１１０のディスプレ画面に表示された自分のコート内でタッチし、相手のコート内ではタッチしないから、タッチ位置座標（Ｘ，Ｙ）がどちらのコートに属するかを判定して第１のユーザの静電容量振幅信号と第２のユーザの静電容量振幅信号とを区別することができる。
【００５６】
第１ユーザ、第２ユーザの脈拍測定値をゲームアプリケーションで利用して、図８に示すようにユーザの緊張度を表示してもよい。この例では、第１ユーザはゲームの進行に連れて脈拍が高くなったため、自分のコート内に「緊張度８０」と高い値が表示されているが、第２ユーザは脈拍が上がっていないため、自分のコート内に「緊張度３０」と低い値が表示されている。
【００５７】
測定された脈拍に応じてゲームアプリケーションのパラメータを変更してもよい。たとえば、脈拍が上がると、ゲームのキャラクタの感情の高ぶりを示すパラメータの値を上げたり、攻撃力や体力に関するパラメータの値を下げてもよい。また、ユーザの脈拍が上がると、キャラクタの緊張度を示す値を上げて、ゲーム中のキャラクタも緊張するようにしてもよい。レーシングゲームであれば、乗り物の速度を脈拍に応じて変化させてもよい。また、脈拍の時間変化をゲームの展開に反映させてもよい。脈拍が速くなるにつれて、ゲームの進行速度を速めたり、ゲーム中に流れる音楽のテンポを上げたり、曲を変えてもよい。
【００５８】
このように、ゲームなどのアプリケーションでは、脈拍の測定結果をゲームの演出に用いることができる。その場合、脈拍の測定値の精度はそれほど問われない。
【００５９】
この例では、ユーザに脈拍を測定させるためにタッチパネル１１０に意識的に触れさせなくても、ユーザがタッチパネル１１０に触れてゲームをしている内に、ユーザの知らない間に脈拍が測定されてゲームに利用される。したがって、ユーザは何ら負担を感じることがない。また、マルチタッチ対応のタッチパネル１１０では、複数のユーザの脈拍を測定できるため、マルチユーザのゲームに応用することができる。
【００６０】
マルチタッチ対応のタッチパネル１１０では、一人のユーザが複数の指を用いてマルチタッチしている場合と、複数のユーザがマルチタッチしている場合とがあるが、これらを区別することも可能である。サンプル抽出部２０が上述のようにマルチタッチに対応して複数の静電容量振幅の時系列データを取得した場合、もし、複数のユーザによるマルチタッチであれば、一般に、ピーク検出部６０は脈拍の周波数帯にあるピークを複数検出し、複数の異なる脈拍値を得る。それに対して、一人のユーザによるマルチタッチであれば、脈拍の周波数帯においてピークは一つだけ検出され、脈拍値は一つしか得られないはずである。ユーザの脈拍値は一般にそれぞれ異なるため、メインプロセッサ１６０は、マルチタッチが検出されても、実質的に同じ脈拍値が検出されたならば、たまたま複数のユーザの脈拍値が一致する場合を除けば一人のユーザがマルチタッチしたものと推定することができ、同時に異なる脈拍値が検出されたならば、複数のユーザがマルチタッチしたものとみなすことができる。
【００６１】
図９は、携帯ゲーム機４００においてユーザの脈拍を測定する方法を説明する図である。携帯ゲーム機４００をユーザがグリップすると、ユーザの親指が携帯ゲーム機４００の液晶ディスプレイに触れる。このグリップ箇所４１０においてタッチパネルユニットが検出する静電容量の変化をもとにユーザの脈拍を測定してもよい。
【００６２】
また、表裏両面にタッチパッドやタッチパネルのようにタッチセンサを備えた携帯ゲーム機４００であれば、親指以外の指で背面のタッチセンサに触れているため、背面のタッチセンサにおいて脈拍を検出してもよい。この方法であれば、前面のタッチパネルに親指が触れていないときでも、携帯ゲーム機４００をグリップしている限り、背面のタッチセンサには指が触れているから、より安定かつ継続的な脈拍の測定が可能である。
【００６３】
以上述べたように、本実施の形態の情報処理装置によれば、タッチパネルを用いて簡単にユーザの脈拍を測定し、アプリケーションに対する入力として利用したり、ユーザにフィードバックを与えることができる。これにより、ヒューマンインタフェースデバイスとしての機能性を高めることができる。生体情報として脈拍の入力を可能にしたことにより、ユーザとアプリケーションの相互作用を支援し、運動や健康管理に関連するアプリケーションの実現性を高めたり、ゲームなどのアプリケーションに臨場感を与えることができる。
【００６４】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６５】
上記の説明では、タッチパネルユニット１４０のタッチパネルコントローラ１３０から出力されるタッチ状態量を示す信号を信号処理部１５０が取得して信号処理し、周波数スペクトル分析により脈拍を求めたが、信号処理部１５０の機能構成をタッチパネルコントローラ１３０の内部に専用回路または専用プログラムで実装することも可能である。脈拍は１秒に１回程度であるから、信号処理にはそれほどのリアルタイム性は求められず、１秒に１回程度の演算ができればよい。したがって、タッチパネル１１０にフレキシブル基板１２０で接続されたタッチパネルコントローラ１３０の処理能力でも十分に対応することができる。
【符号の説明】
【００６６】
１０ ローパスフィルタ、 ２０ サンプル抽出部、 ３０ 窓関数処理部、 ４０ 離散フーリエ変換部、 ５０ 周波数スペクトル分析部、 ６０ ピーク検出部、 １００ 情報処理装置、 １１０ タッチパネル、 １２０ フレキシブル基板、 １３０ タッチパネルコントローラ、 １４０ タッチパネルユニット、 １５０ 信号処理部、 １６０ メインプロセッサ、 １７０ メモリ、 １８０ 表示制御部、 １９０ ディスプレイ。
【技術分野】
【０００１】
この発明は、タッチパネルの検出信号を処理する装置および方法に関する。
【背景技術】
【０００２】
表示画面に直接、人間が指で触れることにより入力を行うことができるタッチパネルやタッチパッドなどのインタフェース機器がパーソナルコンピュータ、各種の携帯機器や携帯電話などで幅広く利用されている。最近では、タッチ点の座標以外にも、タッチの強さ（圧力）や、指の向きなど、タッチ点に関する属性情報を取得することができる機器も登場している。
【０００３】
特許文献１には、表裏両面に表示画面を備えた携帯型画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２６０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タッチパネルやタッチパッドを用いて、ユーザは画面を操作しながらいろいろな情報を入力することができるが、人間の生体情報を入力できるようにしたものは実現されていない。生体情報として、脈拍を測定するには、血液中のヘモグロビンが赤外線を吸収する性質を用いて脈拍を測定する脈拍センサを搭載した脈拍測定器のような専用機器が必要であり、コストがかかる。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、タッチパネルを用いて脈拍に関する情報を取得することのできる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の信号処理装置は、タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含む。
【０００８】
本発明の別の態様は、タッチパネルユニットである。このタッチパネルユニットは、タッチパネルと、前記タッチパネルにおけるタッチ点の位置とタッチ状態量を検出して信号として出力するタッチパネルコントローラとを含む。前記タッチパネルコントローラは、前記タッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含む。
【０００９】
本発明のさらに別の態様は、情報処理装置である。この装置は、タッチパネルと前記タッチパネルにおけるタッチ点の位置とタッチ状態量を検出して信号として出力するタッチパネルコントローラとを含むタッチパネルユニットと、タッチパネルコントローラの出力信号を信号処理する信号処理部と、アプリケーションを実行するメインプロセッサと、前記タッチパネルに設けられるディスプレイデバイスに表示すべきデータを制御する表示制御部とを含む。前記信号処理部は、タッチパネルにおいて検出された前記タッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含む。
【００１０】
本発明のさらに別の態様は、信号処理方法である。この方法は、タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得するステップと、前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求めるステップと、周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるステップとを含む。
【００１１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、タッチパネルを用いて脈拍に関する情報を効率的に取得することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態に係る情報処理装置の構成図である。
【図２】図１の信号処理部の機能構成図である。
【図３】図１のタッチパネルを指で触れている様子を示す図である。
【図４】図３のようにタッチパネルのある位置を指で直接触れたときに検出される静電容量振幅信号に対する信号処理を説明する図である。
【図５】図３のようにタッチパネルの別の位置を硬貨を介して指で間接的に触れたときに検出される静電容量振幅信号Ａに対する信号処理を説明する図である。
【図６】異なる仕様の静電容量方式のタッチパネルを指で触れたときに検出される静電容量振幅信号に対する信号処理を説明する図である。
【図７】図７（ａ）〜（ｃ）は、ユーザにタッチパネルに触れさせるためのディスプレイ画面を説明する図である。
【図８】ゲーム画面においてユーザの脈拍を測定する例を説明する図である。
【図９】携帯ゲーム機においてユーザの脈拍を測定する方法を説明する図である。
【発明を実施するための形態】
【００１４】
図１は、実施の形態に係る情報処理装置１００の構成図である。図１に示す情報処理装置１００の機能構成の一部または全部は、一例として、パーソナルコンピュータ、ゲーム機、携帯機器、携帯端末などにハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。
【００１５】
情報処理装置１００は、タッチパネルユニット１４０、信号処理部１５０、メインプロセッサ１６０、メモリ１７０、表示制御部１８０、およびディスプレイ１９０を含む。
【００１６】
タッチパネルユニット１４０は、タッチパネル１１０と、フレキシブル基板１２０によりタッチパネル１１０に接続されたタッチパネルコントローラ１３０とを含む。
【００１７】
タッチパネル１１０は、各種方式で、指などによる接触点（位置）（以下、「タッチ点（位置）」と呼ぶ）と、タッチ点（位置）における接触状態を示す静電容量や電気抵抗量などの検知量（以下、「タッチ状態量」と呼ぶ）を検出する入力装置であり、液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイなどのディスプレイ１９０の上に重ねて設置される。これにより、ユーザはディスプレイ１９０の画面を見ながら、タッチパネル１１０に指で直接触れることで画面に対する操作を入力することができる。
【００１８】
タッチパネル１１０は、一例として、静電容量方式タッチパネルである。タッチパネルコントローラ１３０は、タッチパネル１１０の各点の静電容量の変化量を測定してタッチ点の位置とタッチ点の静電容量値を検出する。人間の指でタッチパネル１１０に触れると、静電容量が脈動により変化する。これは、脈拍に連動した指の微少な動きや血流の変化がタッチ点の静電容量に影響を与えるからである。これを利用すれば、タッチパネル１１０に触れたユーザの脈拍を測定することが可能である。
【００１９】
タッチパネルユニット１４０は、本実施の形態の脈拍測定をするためには以下の条件を備えれば十分である。
【００２０】
（１）２０Ｈｚ以上のサンプリング周波数でタッチ点のスキャニングが行えること。
人間の脈拍は一般に５０−２００［パルス／分］の範囲に収まるため、脈拍信号の周波数としては、０．５Ｈｚ〜２Ｈｚである。一般に、サンプリング周波数は、計測対象の２倍以上、高精度測定の場合、５〜１０倍程度のサンプリング周波数が必要となるので、仮に１０倍としても、最大サンプリング周波数は２×１０＝２０Ｈｚ以上あればよい。この値は、一般的な静電容量型タッチパネルでも比較的簡単に実現されている値であり、特に高性能であるわけではない。
【００２１】
（２）各タッチ点ごとに、静電容量の時系列変化（振幅）を取得できること。
ここでいう、静電容量の時系列変化は、非タッチ時とタッチ時の静電容量計測値の差の時系列変化である。
【００２２】
（３）好ましくは、適応的ゲイン制御（adaptive gain control）を一時的に停止できること。
静電容量型タッチパネルによっては、適応的にタッチ感度を自動調整する適応的ゲイン制御または自動ゲイン制御を取り入れ、感度を調整して出力を一定に保つようにしたものがある。これは、環境ノイズが変動する場合に安定したタッチパネルのセンシングを実現する上で効果的であるが、その反面、本実施の形態のように脈拍測定のために静電容量の時系列変化を見る場合は、タッチ感度が変化すると、信号の振幅が感度の切り替わり前後で不連続となり、測定値が不安定となってしまう。そこで、脈拍測定時はタッチ感度を固定することが望ましい。もっとも、タッチ感度が変わることで測定値が不安定になる時間帯があってもそれが許容されるようなアプリケーションにおいては、適応的ゲイン制御があっても問題にはならない。また、頻繁に感度調整がかからないものであれば、適応的ゲイン制御を停止しなくてもよいことがある。
【００２３】
ここでは、静電容量方式のタッチパネル１１０を例にとって説明したが、指の脈拍に応じて何らかの測定量が時系列データとして取得できるタッチパネルであれば、静電容量方式に限らず、任意の方式のものを利用することができる。たとえば、圧力分解能の高い高感度感圧式タッチパネルでもよく、指の血流に含まれるヘモグロビンの近赤外線反射・吸収強度を高分解能で取得可能な光学式タッチパネルであってもよい。タッチパネル１１０は、脈動に応じて変動するタッチ状態量を何らかの物理量として検出できるものであれば、ここで例示しない任意の方式のものであってもよい。
【００２４】
信号処理部１５０は、タッチパネルコントローラ１３０が検出したタッチ点の静電容量の時系列データを取得して、メモリ１７０に対してデータを読み書きしながら信号処理を行い、タッチしたユーザの脈拍を求める。
【００２５】
メインプロセッサ１６０は、信号処理部１５０が求めた脈拍データを用いて、ゲームなどのアプリケーションを実行する。たとえば、メインプロセッサ１６０は、測定された脈拍の値に応じてゲームのパラメータを調整したり、ゲーム実行中に脈拍に関する指標を表示したり、ユーザに通知する。
【００２６】
表示制御部１８０は、ゲームの画面やアプリケーションの出力画面などをディスプレイ１９０に表示する。また、表示制御部１８０は、ユーザに触れさせるタッチパネル１１０上の位置を案内するガイドをディスプレイ１９０に表示したり、脈拍測定に必要な時間が経過するまで、ユーザがタッチパネル１１０に触れ続けるように案内するガイドをディスプレイ１９０に表示する。
【００２７】
図２は、信号処理部１５０の機能構成図である。信号処理部１５０は、ローパスフィルタ（ＬＰＦ）１０、サンプル抽出部２０、窓関数処理部３０、離散フーリエ変換（ＤＦＴ）部４０、周波数スペクトル分析部５０、およびピーク検出部６０を含む。
【００２８】
タッチパネルコントローラ１３０は、タッチ点データとして、ｎ個のタッチ点の座標（Ｘ，Ｙ）と静電容量の振幅Ａを計測時刻Ｔとともに出力する。信号処理部１５０は、以下の時系列データを取得する。複数のタッチ点を同時に検出可能なマルチタッチパネルであれば、ｎ≧２であるが、１点のみしか検出できない場合は、ｎ＝１である。
Ｔ＝ｔ０，（Ｘ１，Ｙ１，Ａ１），（Ｘ２，Ｙ２，Ａ２），…，（Ｘｎ，Ｙｎ，Ａｎ）
Ｔ＝ｔ１，（Ｘ１，Ｙ１，Ａ１），（Ｘ２，Ｙ２，Ａ２），…，（Ｘｎ，Ｙｎ，Ａｎ）
Ｔ＝ｔ２，（Ｘ１，Ｙ１，Ａ１），（Ｘ２，Ｙ２，Ａ２），…，（Ｘｎ，Ｙｎ，Ａｎ）
…
【００２９】
ここで、第１のタッチ点に着目すると、静電容量の振幅の時系列データは、
Ａ１（ｔ）＝｛Ａ１（ｔ０），Ａ１（ｔ１），Ａ１（ｔ２），…｝
となり、時系列離散サンプリングデータとして得られることになる。ここで、サンプリングレートｆｓは、
ｆｓ＝１／（ｔ１−ｔ０）＝１／（ｔ２−ｔ１）＝…
で求められる。一般には計測時刻にはジッタが含まれるため、サンプリングレートは、個々の時間差の平均値を使用してもよい。
【００３０】
上記の静電容量の振幅の時系列データには、人間の脈拍以外の情報、たとえば電源系ノイズや環境ノイズ等も含まれている。特に、一般的なタッチパネルユニットでは、タッチ点座標の時系列変化を細かく取りたいため、サンプリングレートは３０Ｈｚ以上となっていることが多い。つまり、脈拍の周波数帯０．５〜２Ｈｚと比較すると、より高周波成分を含んでいることになる。
【００３１】
そこで、まず、ローパスフィルタ１０は、静電容量の振幅信号Ａ（ｔ）に対して、脈拍以外の周波数、特に高域を制限するローパスフィルタをかける。脈拍の周波数帯域を考慮して、ここではカットオフ周波数ｆｃ＝４Ｈｚで、１０タップのローパスフィルタを用いる。ローパスフィルタの特性は、タッチパネル１１０から得られる周波数特性およびノイズ環境を考慮してチューニングするのが望ましい。
【００３２】
次に、サンプル抽出部２０は、周波数スペクトル解析を行うため、ローパスフィルタをかけた後の静電容量振幅信号のデータ列からサンプルデータ列を取り出す。サンプル数は、後で離散フーリエ変換の演算処理を施すことができるように、２のべき乗であることが望ましい。ここでは５１２サンプルを取り出す。サンプル数が多ければ多いほど、精度は上がるが、演算量も大きくなるので、５１２〜１０２４サンプル程度が適当である。タッチパネル１１０が１秒間に６０サンプルをサンプリングする場合、５１２サンプルを取り出すには、８秒程度のサンプルデータ取得期間を設ける必要がある。
【００３３】
窓関数処理部３０では、周波数解析を精度よく行うため、サンプルデータ列に対して窓関数を適用する。ここでは周波数スペクトルの精度を重視して、ハミング（Ｈａｍｍｉｎｇ）窓を用いたが、タッチパネル１１０の出力データの特性に合わせて、他の窓関数を利用してもよい。
【００３４】
離散フーリエ変換部４０は、窓関数を適用した後のサンプルデータ列に対して、離散フーリエ変換（ＤＦＴ）を実行し、周波数領域に変換する。周波数スペクトル分析部５０は、周波数領域に変換されたサンプルデータをもとに、周波数スペクトル分布を求める。
【００３５】
ピーク検出部６０は、周波数スペクトル分析部５０により得られたスペクトル分布において脈拍に対応するピークを検出する。スペクトル分布において、０．５Ｈｚ〜２Ｈｚに対応する周波数帯のピークが、他のピークよりも大きく、明確な単峰性ピークを示していれば、これは脈拍に対応するものであり、ピーク検出部６０は、そのピークの周波数の逆数を取って脈拍Ｐ［パルス／分］を算出する。
【００３６】
図３は、タッチパネル１１０を指で触れている様子を示す図である。タッチパネル１１０のある位置（Ｘ１，Ｙ１）を指１１２で直接触れたとき、静電容量振幅信号Ａ１が検出される。タッチパネル１１０の別の位置（Ｘ２，Ｙ２）を硬貨１１６を介して指１１４で間接的に触れたとき、静電容量振幅信号Ａ２が検出される。
【００３７】
図４は、図３のようにタッチパネル１１０のある位置（Ｘ１，Ｙ１）を指１１２で直接触れたときに検出される静電容量振幅信号Ａ１に対する信号処理を説明する図である。
【００３８】
図４の上段には、静電容量振幅信号Ａ１の原波形２００が横軸を時間（単位は秒）として示されている。図４の中段には、静電容量振幅Ａ１の原波形２００をローパスフィルタに通して高周波成分を除去した信号２１０が示されている。図４の下段には、ローパスフィルタ後の信号２１０を周波数領域に変換した周波数スペクトル２２０が横軸を周波数（単位はＨｚ）として示されている。脈拍の周波数帯０．５〜２Ｈｚにおいて、一つのピークがあり、このピークの周波数を脈拍に換算すると、７２パルス／秒である。
【００３９】
このように、タッチパネル１１０を指１１２で直接触れると、タッチ点において検出される静電容量振幅信号には、脈拍に対応する周波数成分が含まれる。静電容量振幅信号から高周波成分を除去した後に周波数スペクトル分析すると、脈拍に対応する周波数スペクトルを検出することができる。周波数スペクトル分布には、複数のピークがあるが、人間の脈拍の周波数帯は０．５〜２Ｈｚの範囲に収まることがわかっているから、脈拍の周波数スペクトルだけを検出することができる。仮に、脈拍の周波数帯に別の要因（たとえばノイズ）によるスペクトルが混入したとしても、脈拍の周波数スペクトルの方が十分に大きければ、脈拍の周波数スペクトルだけを抽出することができる。
【００４０】
図５は、図３のようにタッチパネル１１０の別の位置（Ｘ２，Ｙ２）を硬貨１１６を介して指１１４で間接的に触れたときに検出される静電容量振幅信号Ａ２に対する信号処理を説明する図である。
【００４１】
図５の上段には、静電容量振幅信号Ａ２の原波形２０４が示されている。図５の中段には、静電容量振幅Ａ２の原波形２０４をローパスフィルタに通して高周波成分を除去した信号２１４が示されている。図５の下段には、ローパスフィルタ後の信号２１４を周波数領域に変換した周波数スペクトル２２４が示されている。周波数スペクトル２２４には、脈拍の周波数帯０．５〜２Ｈｚを含めて、顕著なピークは存在しない。このように、硬貨１１６をタッチパネル１１０と指１１４の間に挟むと、脈拍による静電容量の変化は生じないので、脈拍は検出されない。タッチパネル１１０を静電容量型タッチパネル対応のスタイラスなどで触れた場合も同様である。したがって、人間の指でタッチパネル１１０を触れているのか、指以外のもので触れているのかを区別することができる。
【００４２】
認証などの目的で、タッチパネル１１０に生身の指で触れているか、指以外のもので触れたり、指に何かを付けて触れているかを区別したい場合がある。そのような場合、タッチパネル１１０から検出される信号波形から脈拍が検出されるか否かによって、生身の指で触れているか否かを判別することができる。
【００４３】
図６は、異なる仕様の静電容量方式のタッチパネルを指で触れたときに検出される静電容量振幅信号に対する信号処理を説明する図である。同じ静電容量方式を用いたタッチパネルであっても、データ取得ならびに信号処理方法が異なり、また検出信号のＳ／Ｎ比などの条件も異なるので、信号波形は異なっている。
【００４４】
図６の上段には、静電容量振幅信号の原波形２０２が示されている。図６の中段には、静電容量振幅Ａ１の原波形２０２をローパスフィルタに通して高周波成分を除去した信号２１２が示されている。図６の下段には、ローパスフィルタ後の信号２１２を周波数領域に変換した周波数スペクトル２２２が示されている。脈拍の周波数帯０．５〜２Ｈｚにおいて、一つのピークがあり、このピークの周波数を脈拍に換算すると、９８パルス／秒である。このように、タッチパネルの種類が異なると、検出される静電容量振幅信号の波形が大きく異なることがあるが、その場合でも周波数スペクトル分布には脈拍に対応するピークがはっきりと表れるので、脈拍を測定することができる。
【００４５】
以上述べたように、タッチパネルユニット１４０を用いれば、タッチパネル１１０にユーザが指で触れているときにユーザの脈拍を測定することができる。次に、ユーザにタッチパネル１１０に触れさせて脈拍を測定するためのユーザインタフェース、測定されたユーザの脈拍を利用したアプリケーションについて説明する。
【００４６】
図７（ａ）〜（ｃ）は、ユーザにタッチパネル１１０に触れさせるためのディスプレイ画面を説明する図である。ユーザの脈拍を測定するには、測定に必要なサンプル数を取得するのに必要な時間だけユーザにタッチパネル１１０に触れさせる必要がある。
【００４７】
図７（ａ）に示すように、タッチパネル１１０（厳密にはタッチパネル１１０の下に配置されたディスプレイ１９０の画面）には、キャラクタが「ここに触れて！！」と話ながら、点線で囲まれた領域１１８を指さしてタッチするようにユーザに案内する。
【００４８】
このガイドにしたがって、図７（ｂ）に示すように、ユーザが指１１５で領域１１８に触れると、キャラクタは「押し続けて！」と話し、ユーザが領域１１８に触れ続けるように促す。一定の測定時間、たとえば５〜８秒が経過すると、図７（ｃ）に示すように、キャラクタは表情を変えて「もういいよ！！」と話し、ユーザは指１１５をタッチパネル１１０から離す。
【００４９】
ユーザの指１１５がタッチパネル１１０に触れている間、信号処理部１５０は、タッチパネルユニット１４０から得られるタッチ点の静電容量振幅値を周波数スペクトル分析してユーザの脈拍を測定する。こうして、ユーザに気づかれないうちに、脈拍を測定することができる。
【００５０】
脈拍は、タッチパネル１１０上のどの位置でも計測可能であるが、より高精度のセンシングを行うために、指を当てる場所を制限することもできる。その場合は、図７（ａ）〜（ｃ）の点線で囲まれた領域１１８を高精度のセンシングが可能な位置に表示して、指で触れる位置をガイドすることができる。
【００５１】
図７（ａ）〜（ｃ）の例では、画面に表示されたキャラクタが、ユーザにタッチパネル１１０を長押しするように促したが、脈拍を計測中であることをインジケータなどを点滅させてユーザに知らせる形態を取ってもよい。
【００５２】
図８は、ゲーム画面においてユーザの脈拍を測定する例を説明する図である。タッチパネル１１０のディスプレ画面には、エアホッケーゲームが表示されており、第１のユーザは指１１１で自分のマレット１２４を操作し、円盤１２２を打つ。第２のユーザは指１１３で自分のマレット１２６を操作し、円盤１２２を打つ。
【００５３】
第１、第２のユーザはそれぞれ自分のマレット１２４、１２６を操作する間、自分の指１１１、１１３でタッチパネル１１０に触れている。タッチ点は移動するが、指１１１、１１３でタッチパネル１１０を一定時間触れ続ける。したがって、マルチタッチ対応のタッチパネル１１０であれば、たとえば、第１のユーザについて、タッチ位置座標と静電容量振幅の時系列データが次のように得られる。
Ｔ＝ｔ１，（Ｘ１，Ｙ１，Ａ１）
Ｔ＝ｔ２，（Ｘ２，Ｙ２，Ａ２）
Ｔ＝ｔ３，（Ｘ３，Ｙ３，Ａ３）
…
Ｔ＝ｔｎ，（Ｘｎ，Ｙｎ，Ａｎ）
【００５４】
第１のユーザについて、タッチ位置を変えながら、静電容量振幅の時系列データＡ１＝｛Ａ１（ｔ１），Ａ２（ｔ２），Ａ３（ｔ３），…，Ａｎ（ｔｎ）｝が得られる。第２のユーザについても、同様にタッチ位置を変えながら、静電容量振幅の時系列データＢ１＝｛Ｂ１（ｔ１），Ｂ２（ｔ２），Ｂ３（ｔ３），…，Ｂｎ（ｔｎ）｝が得られる。
【００５５】
マルチタッチ対応のタッチパネルユニット１４０は、第１のユーザの静電容量振幅の時系列データＡ１と第２のユーザの静電容量振幅の時系列データＢ１とを同時に出力するが、信号処理部１５０は、両者をタッチ位置の違いで区別することができる。エアホッケーゲームでは、第１、第２のユーザは、それぞれタッチパネル１１０のディスプレ画面に表示された自分のコート内でタッチし、相手のコート内ではタッチしないから、タッチ位置座標（Ｘ，Ｙ）がどちらのコートに属するかを判定して第１のユーザの静電容量振幅信号と第２のユーザの静電容量振幅信号とを区別することができる。
【００５６】
第１ユーザ、第２ユーザの脈拍測定値をゲームアプリケーションで利用して、図８に示すようにユーザの緊張度を表示してもよい。この例では、第１ユーザはゲームの進行に連れて脈拍が高くなったため、自分のコート内に「緊張度８０」と高い値が表示されているが、第２ユーザは脈拍が上がっていないため、自分のコート内に「緊張度３０」と低い値が表示されている。
【００５７】
測定された脈拍に応じてゲームアプリケーションのパラメータを変更してもよい。たとえば、脈拍が上がると、ゲームのキャラクタの感情の高ぶりを示すパラメータの値を上げたり、攻撃力や体力に関するパラメータの値を下げてもよい。また、ユーザの脈拍が上がると、キャラクタの緊張度を示す値を上げて、ゲーム中のキャラクタも緊張するようにしてもよい。レーシングゲームであれば、乗り物の速度を脈拍に応じて変化させてもよい。また、脈拍の時間変化をゲームの展開に反映させてもよい。脈拍が速くなるにつれて、ゲームの進行速度を速めたり、ゲーム中に流れる音楽のテンポを上げたり、曲を変えてもよい。
【００５８】
このように、ゲームなどのアプリケーションでは、脈拍の測定結果をゲームの演出に用いることができる。その場合、脈拍の測定値の精度はそれほど問われない。
【００５９】
この例では、ユーザに脈拍を測定させるためにタッチパネル１１０に意識的に触れさせなくても、ユーザがタッチパネル１１０に触れてゲームをしている内に、ユーザの知らない間に脈拍が測定されてゲームに利用される。したがって、ユーザは何ら負担を感じることがない。また、マルチタッチ対応のタッチパネル１１０では、複数のユーザの脈拍を測定できるため、マルチユーザのゲームに応用することができる。
【００６０】
マルチタッチ対応のタッチパネル１１０では、一人のユーザが複数の指を用いてマルチタッチしている場合と、複数のユーザがマルチタッチしている場合とがあるが、これらを区別することも可能である。サンプル抽出部２０が上述のようにマルチタッチに対応して複数の静電容量振幅の時系列データを取得した場合、もし、複数のユーザによるマルチタッチであれば、一般に、ピーク検出部６０は脈拍の周波数帯にあるピークを複数検出し、複数の異なる脈拍値を得る。それに対して、一人のユーザによるマルチタッチであれば、脈拍の周波数帯においてピークは一つだけ検出され、脈拍値は一つしか得られないはずである。ユーザの脈拍値は一般にそれぞれ異なるため、メインプロセッサ１６０は、マルチタッチが検出されても、実質的に同じ脈拍値が検出されたならば、たまたま複数のユーザの脈拍値が一致する場合を除けば一人のユーザがマルチタッチしたものと推定することができ、同時に異なる脈拍値が検出されたならば、複数のユーザがマルチタッチしたものとみなすことができる。
【００６１】
図９は、携帯ゲーム機４００においてユーザの脈拍を測定する方法を説明する図である。携帯ゲーム機４００をユーザがグリップすると、ユーザの親指が携帯ゲーム機４００の液晶ディスプレイに触れる。このグリップ箇所４１０においてタッチパネルユニットが検出する静電容量の変化をもとにユーザの脈拍を測定してもよい。
【００６２】
また、表裏両面にタッチパッドやタッチパネルのようにタッチセンサを備えた携帯ゲーム機４００であれば、親指以外の指で背面のタッチセンサに触れているため、背面のタッチセンサにおいて脈拍を検出してもよい。この方法であれば、前面のタッチパネルに親指が触れていないときでも、携帯ゲーム機４００をグリップしている限り、背面のタッチセンサには指が触れているから、より安定かつ継続的な脈拍の測定が可能である。
【００６３】
以上述べたように、本実施の形態の情報処理装置によれば、タッチパネルを用いて簡単にユーザの脈拍を測定し、アプリケーションに対する入力として利用したり、ユーザにフィードバックを与えることができる。これにより、ヒューマンインタフェースデバイスとしての機能性を高めることができる。生体情報として脈拍の入力を可能にしたことにより、ユーザとアプリケーションの相互作用を支援し、運動や健康管理に関連するアプリケーションの実現性を高めたり、ゲームなどのアプリケーションに臨場感を与えることができる。
【００６４】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６５】
上記の説明では、タッチパネルユニット１４０のタッチパネルコントローラ１３０から出力されるタッチ状態量を示す信号を信号処理部１５０が取得して信号処理し、周波数スペクトル分析により脈拍を求めたが、信号処理部１５０の機能構成をタッチパネルコントローラ１３０の内部に専用回路または専用プログラムで実装することも可能である。脈拍は１秒に１回程度であるから、信号処理にはそれほどのリアルタイム性は求められず、１秒に１回程度の演算ができればよい。したがって、タッチパネル１１０にフレキシブル基板１２０で接続されたタッチパネルコントローラ１３０の処理能力でも十分に対応することができる。
【符号の説明】
【００６６】
１０ ローパスフィルタ、 ２０ サンプル抽出部、 ３０ 窓関数処理部、 ４０ 離散フーリエ変換部、 ５０ 周波数スペクトル分析部、 ６０ ピーク検出部、 １００ 情報処理装置、 １１０ タッチパネル、 １２０ フレキシブル基板、 １３０ タッチパネルコントローラ、 １４０ タッチパネルユニット、 １５０ 信号処理部、 １６０ メインプロセッサ、 １７０ メモリ、 １８０ 表示制御部、 １９０ ディスプレイ。
【特許請求の範囲】
【請求項１】
タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、
前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、
前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含むことを特徴とする信号処理装置。
【請求項２】
タッチパネルと、
前記タッチパネルにおけるタッチ点の位置とタッチ状態量を検出して信号として出力するタッチパネルコントローラとを含み、
前記タッチパネルコントローラは、
前記タッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、
前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、
前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含むことを特徴とするタッチパネルユニット。
【請求項３】
タッチパネルと前記タッチパネルにおけるタッチ点の位置とタッチ状態量を検出して信号として出力するタッチパネルコントローラとを含むタッチパネルユニットと、
タッチパネルコントローラの出力信号を信号処理する信号処理部と、
アプリケーションを実行するメインプロセッサと、
前記タッチパネルに設けられるディスプレイデバイスに表示すべきデータを制御する表示制御部とを含み、
前記信号処理部は、
タッチパネルにおいて検出された前記タッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、
前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、
前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含むことを特徴とする情報処理装置。
【請求項４】
前記表示制御部は、前記ディスプレイデバイスの画面に、ユーザに触れさせるタッチパネル上の位置を案内するガイドを表示することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記表示制御部は、脈拍測定に必要な時間が経過するまで、ユーザがタッチパネルに触れ続けるように案内するガイドを表示することを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
前記信号処理部は、ユーザが所定の時間、操作入力を与えるために前記タッチパネルに触れている間に検出されたタッチ状態量をもとに周波数スペクトル分析することにより、ユーザの脈拍を求めることを特徴とする請求項３に記載の情報処理装置。
【請求項７】
前記メインプロセッサは、測定された脈拍の値にもとづいてゲームアプリケーションのパラメータを調整することを特徴とする請求項３から６のいずれかに記載の情報処理装置。
【請求項８】
前記ピーク検出部により、脈拍の周波数帯にあるピークが検出されない場合、前記メインプロセッサは、生身の指でタッチされたものではないと判定することを特徴とする請求項３から７のいずれかに記載の情報処理装置。
【請求項９】
前記タッチパネルユニットがマルチタッチ対応であり、前記サンプル抽出部がマルチタッチに対応して複数のサンプルデータ列を取得した場合、
前記ピーク検出部が脈拍の周波数帯にあるピークを複数検出し、複数の異なる脈拍値を得たならば、前記メインプロセッサは、複数のユーザによるマルチタッチであると判定し、
前記ピーク検出部が脈拍の周波数帯にあるピークを実質的に一つだけ検出し、一つの脈拍値を得たならば、前記メインプロセッサは、単一のユーザによるマルチタッチであると判定することを特徴とする請求項３から８のいずれかに記載の情報処理装置。
【請求項１０】
タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得するステップと、
前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求めるステップと、
前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるステップとを含むことを特徴とする信号処理方法。
【請求項１１】
タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得する機能と、
前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める機能と、
前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求める機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項１２】
請求項１１のプログラムを格納したことを特徴とする記録媒体。
【請求項１】
タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、
前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、
前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含むことを特徴とする信号処理装置。
【請求項２】
タッチパネルと、
前記タッチパネルにおけるタッチ点の位置とタッチ状態量を検出して信号として出力するタッチパネルコントローラとを含み、
前記タッチパネルコントローラは、
前記タッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、
前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、
前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含むことを特徴とするタッチパネルユニット。
【請求項３】
タッチパネルと前記タッチパネルにおけるタッチ点の位置とタッチ状態量を検出して信号として出力するタッチパネルコントローラとを含むタッチパネルユニットと、
タッチパネルコントローラの出力信号を信号処理する信号処理部と、
アプリケーションを実行するメインプロセッサと、
前記タッチパネルに設けられるディスプレイデバイスに表示すべきデータを制御する表示制御部とを含み、
前記信号処理部は、
タッチパネルにおいて検出された前記タッチ状態量を示す信号のサンプルデータ列を取得するサンプル抽出部と、
前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める分析部と、
前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるピーク検出部とを含むことを特徴とする情報処理装置。
【請求項４】
前記表示制御部は、前記ディスプレイデバイスの画面に、ユーザに触れさせるタッチパネル上の位置を案内するガイドを表示することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記表示制御部は、脈拍測定に必要な時間が経過するまで、ユーザがタッチパネルに触れ続けるように案内するガイドを表示することを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
前記信号処理部は、ユーザが所定の時間、操作入力を与えるために前記タッチパネルに触れている間に検出されたタッチ状態量をもとに周波数スペクトル分析することにより、ユーザの脈拍を求めることを特徴とする請求項３に記載の情報処理装置。
【請求項７】
前記メインプロセッサは、測定された脈拍の値にもとづいてゲームアプリケーションのパラメータを調整することを特徴とする請求項３から６のいずれかに記載の情報処理装置。
【請求項８】
前記ピーク検出部により、脈拍の周波数帯にあるピークが検出されない場合、前記メインプロセッサは、生身の指でタッチされたものではないと判定することを特徴とする請求項３から７のいずれかに記載の情報処理装置。
【請求項９】
前記タッチパネルユニットがマルチタッチ対応であり、前記サンプル抽出部がマルチタッチに対応して複数のサンプルデータ列を取得した場合、
前記ピーク検出部が脈拍の周波数帯にあるピークを複数検出し、複数の異なる脈拍値を得たならば、前記メインプロセッサは、複数のユーザによるマルチタッチであると判定し、
前記ピーク検出部が脈拍の周波数帯にあるピークを実質的に一つだけ検出し、一つの脈拍値を得たならば、前記メインプロセッサは、単一のユーザによるマルチタッチであると判定することを特徴とする請求項３から８のいずれかに記載の情報処理装置。
【請求項１０】
タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得するステップと、
前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求めるステップと、
前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求めるステップとを含むことを特徴とする信号処理方法。
【請求項１１】
タッチパネルにおいて検出されたタッチ状態量を示す信号のサンプルデータ列を取得する機能と、
前記サンプルデータ列を周波数領域に変換して周波数スペクトル分布を求める機能と、
前記周波数スペクトル分布において脈拍の周波数帯にあるピークを検出し、検出されたピークの周波数の逆数を取って脈拍を求める機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項１２】
請求項１１のプログラムを格納したことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図７】
【図８】
【図９】
【図４】
【図５】
【図６】
【図２】
【図３】
【図７】
【図８】
【図９】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１３０５６５（Ｐ２０１２−１３０５６５Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８６２４０（Ｐ２０１０−２８６２４０）
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]