聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム
【課題】ユーザの覚醒度低下を抑制するために、聴覚刺激と平行して映像を呈示した場合、視覚誘発電位がノイズとして混入し、高精度に聴覚事象関連電位を計測することは困難であった。
【解決手段】聴覚事象関連電位計測システムは、ユーザの脳波信号を計測する生体信号計測部と、前記ユーザに、複数の聴覚刺激を呈示する聴覚刺激出力部と、前記脳波信号において、前記聴覚刺激が呈示された時刻を起点として第１の時間範囲の事象関連電位を取得する脳波処理部と、
前記ユーザに映像を呈示する映像出力部と、前記出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出する輝度変化検出部と、前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出する聴覚事象関連電位算出部とを備える。
【解決手段】聴覚事象関連電位計測システムは、ユーザの脳波信号を計測する生体信号計測部と、前記ユーザに、複数の聴覚刺激を呈示する聴覚刺激出力部と、前記脳波信号において、前記聴覚刺激が呈示された時刻を起点として第１の時間範囲の事象関連電位を取得する脳波処理部と、
前記ユーザに映像を呈示する映像出力部と、前記出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出する輝度変化検出部と、前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出する聴覚事象関連電位算出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、聴覚刺激に対する聴覚事象関連電位を高精度に測定するための技術に関する。より具体的には、本発明は、映像を呈示しながら聴覚刺激を呈示し、ユーザの覚醒度の変動や映像の影響を受けずに、聴覚事象関連電位を計測する方法に関する。
【背景技術】
【０００２】
近年、補聴器の小型化・高性能化に伴い、補聴器を利用するユーザが増加している。補聴器は、ユーザごとの聴力低下の状態に合わせて、聴力が低下している周波数帯の音信号を、聴力低下の度合いに合わせて増幅する。これにより、ユーザが音を聞き取りやすくする。聴力低下の状態はユーザごとに異なるため、補聴器の利用を開始する前には、ユーザごとの聞こえを正しく評価する必要がある。そして、その評価結果に基づいて、周波数ごとの音の増幅量を決定する「フィッティング」を行う。
【０００３】
一般的に、ユーザごとの聞こえは、ユーザの主観報告に基づいて評価される。しかし、主観報告による評価は、言語表現やパーソナリティによって結果がばらつくという問題と、主観報告のできない乳児では評価ができないという問題がある。そこで主観報告によらず、聞こえを客観的に評価する手法の開発が進んでいる。
【０００４】
脳波は、知覚・認知等のユーザ状態を測定するための有効なツールである。頭皮上の２点間の電位変化を記録したもので、大脳皮質の神経活動を反映している。ユーザの頭皮上に電極を装着して脳波を記録しながら、ユーザに対して聴覚刺激を呈示すると、聴覚刺激を起点に特徴的な聴覚事象関連電位が惹起される。この聴覚事象関連電位は、ユーザの聞こえを客観的に評価可能な指標である。聴覚事象関連電位は、聴覚刺激によって誘発される外因性成分（聴覚誘発電位）と、聴覚刺激を受けたことによる内因性成分を含む。
【０００５】
非特許文献１では、ユーザの主観的なうるささであるラウドネスと、純音聴覚刺激に対するＮ１成分の振幅および潜時の関係を特定し、Ｎ１成分の振幅および潜時から、聞こえ評価のうちラウドネスが推定できる可能性を示唆している。なお、Ｎ１成分とは、聴覚刺激呈示を起点に約１００ｍｓにおいて惹起される陰性の感覚誘発電位である。Ｎ１成分は、大脳皮質の神経活動を反映しているので、脳幹反応（ＡＢＲ）と比較して、主観との相関が高いと考えられている。これは、Ｎ１成分の振幅および潜時から、聞こえ評価のうちラウドネスが推定できる可能性を示している。
【０００６】
また、非特許文献２では、Ｎ１成分の馴化を用いた不快閾値推定について開示している。不快閾値（ｕｎｃｏｍｆｏｒｔａｂｌｅ ｌｅｖｅｌ：ＵＣＬ）とは、うるさすぎて長時間聞き続けることのできない最小の音圧である。音が大きすぎて無視できないときには、Ｎ１成分の馴化が生じないことを利用している。
【０００７】
聴覚事象関連電位は背景脳波と比較してＳ／Ｎが低いことから、刺激を繰り返し呈示し、加算平均によって混入するノイズの影響を低減する必要がある。そのため、刺激間間隔の繰り返し回数倍の時間を要する。たとえば、非特許文献２では、刺激間間隔１秒で８００回の繰り返しを実施しており、聴覚刺激の種類ごとに、十数分の時間がかかる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Ｈｏｐｐｅ，Ｕ．他、「Ｌｏｕｄｎｅｓｓ ｐｅｒｃｅｐｔｉｏｎ ａｎｄ ｌａｔｅ ａｕｄｉｔｏｒｙ ｅｖｏｋｅｄ ｐｏｔｅｎｔｉａｌｓ ｉｎ ａｄｕｌｔ ｃｏｃｈｌｅａｒ ｉｍｐｌａｎｔ ｕｓｅｒｓ」、２００１年
【非特許文献２】Ｍａｒｉａｍ，Ｍ．他、「Ｃｏｍｐａｒｉｎｇ ｔｈｅ ｈａｂｉｔｕａｔｉｏｎ ｏｆ ｌａｔｅ ａｕｄｉｔｏｒｙ ｅｖｏｋｅｄ ｐｏｔｅｎｔｉａｌｓ ｔｏ ｌｏｕｄ ａｎｄ ｓｏｆｔ ｓｏｕｎｄ」、２００９年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献１および非特許文献２のような従来手法では、単調な聴覚刺激が長時間にわたって呈示されることから、しばしばユーザが覚醒度を維持できない場合があった。佐藤他、監修、「誘発電位の基礎と臨床」、ｐ１２９、創造出版、１９９０年（第１版）に記載のように、聴覚事象関連電位は覚醒度によって波形そのものが大幅に変化する。そのため、たとえば非特許文献１や非特許文献２のように、Ｎ１成分の振幅や潜時を用いて聞こえ評価をする場合に、正しく評価ができないという課題があった。
【００１０】
本発明の目的は、聞こえ評価のための聴覚事象関連電位測定システムにおいて、覚醒度の変化に由来する聴覚事象関連電位の変動を抑制し、高精度な聴覚事象関連電位を計測することにある。そのために、聴覚刺激以外に映像を呈示してユーザの覚醒度の変化を低減する。また、呈示する映像の変化パターンに応じて聴覚事象関連電位を加算平均に加えるか否かを判定し、映像呈示によって惹起されるノイズの影響を低減する。
【課題を解決するための手段】
【００１１】
本発明のユーザの聴覚事象関連電位計測システムは、脳波信号を計測する生体信号計測部と、前記ユーザに、複数の聴覚刺激を呈示する聴覚刺激出力部と、前記脳波信号において、前記聴覚刺激が呈示された時刻を起点として第１の時間範囲の事象関連電位を取得する脳波処理部と、前記ユーザに映像を呈示する映像出力部と、前記出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出する輝度変化検出部と、前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出する聴覚事象関連電位算出部とを備える。
【発明の効果】
【００１２】
本発明によれば、聴覚事象関連電位の計測時に、聴覚刺激以外に映像を呈示することで、ユーザの覚醒度の変化に由来する聴覚事象関連電位の変動を低減し、精度の高い聴覚事象関連電位の計測が実現できる。
【図面の簡単な説明】
【００１３】
【図１】聴覚刺激のみの聴覚事象関連電位計測パラダイムと聴覚事象関連電位計測中の仮想的な覚醒度変化を示す図である。
【図２】映像を並列呈示する聴覚事象関連電位計測パラダイムと聴覚事象関連電位計測中の仮想的な覚醒度変化を示す図である。
【図３】輝度変化タイミングと、輝度変化に対する視覚誘発電位が聴覚事象関連電位に及ぼす影響の概念図である。
【図４】実施形態１による聴覚事象関連電位計測システム１の構成および利用環境を示す図である。
【図５】実施形態１による聴覚事象関連電位計測装置１０のハードウェア構成を示す図である。
【図６】実施形態１による聴覚事象関連電位計測システム１の機能ブロックの構成を示す図である。
【図７】聴覚事象関連電位算出部１００に保持するデータの例を示す図である。
【図８】聴覚事象関連電位計測システム１において行われる処理の手順を示すフローチャートである。
【図９】実施形態２による聴覚事象関連電位計測システム２の機能ブロックの構成を示す図である。
【図１０】実施形態２による聴覚刺激群と除外試行群判定の概念図である。
【図１１】実施形態２による除外試行群決定部に保持する聴覚刺激群および除外試行フラグのデータの例を示す図である。
【図１２】聴覚事象関連電位計測システム２において行われる処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
ここで、本明細書における用語の定義を説明する。「事象関連電位（ｅｖｅｎｔ−ｒｅｌａｔｅｄ ｐｏｔｅｎｔｉａｌ：ＥＲＰ）」とは、脳波（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ：ＥＥＧ）の一種であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。「聴覚事象関連電位」とは、聴覚刺激に対して惹起される事象関連電位である。たとえば、聴覚刺激を起点に約５０ｍｓにおいて惹起される陽性の電位であるＰ１成分、聴覚刺激呈示を起点に約１００ｍｓにおいて惹起される陰性の電位であるＮ１成分や、聴覚刺激呈示を起点に約２００ｍｓにおいて惹起される陽性の電位であるＰ２成分が該当する。「音を呈示する」とは、純音の聴覚刺激を出力すること、たとえば純音をヘッドフォンの片耳側から出力することをいう。「純音」とは、周期振動を繰り返す楽音のうち、単一の周波数成分しか持たない正弦波で表される音である。ヘッドフォンの種類は任意であるが、不快音圧を正しく測定するために、指定した音圧の純音を正確に出力できる必要がある。
【００１５】
本発明による聴覚事象関連電位計測システムは、聴覚刺激以外に映像の呈示によりユーザの覚醒度の変化を低減する。そして覚醒度変化の影響の少ない聴覚事象関連電位を計測する。また、呈示する映像の変化パターンに応じて聴覚事象関連電位を加算平均に加えるか否かを判定し、映像呈示によって惹起されるノイズの影響を低減する。
【００１６】
以下では、まず本願発明に至った経緯に触れ、その後、実施形態として聴覚事象関連電位計測システムを概説し、聴覚事象関連電位計測装置の構成およびその動作について詳述する。
【００１７】
（本願発明の経緯）
上述のように、単調な聴覚刺激を繰り返す聴覚事象関電位計測では、ユーザが覚醒度を維持できない場合がある。それによって、覚醒度変動に伴う聴覚事象関連電位の波形変化が生じてしまう。それに対して、本願発明者らは、ユーザの覚醒度変動を抑制するために、聴覚刺激とは異なるモダリティの映像を、聴覚事象関連電位計測中に同時呈示する方法に着目した。覚醒度を抑制可能な映像としては、たとえば映画やＴＶ番組のドラマやスポーツ中継などが挙げられる。しかしながら、それらの映像を呈示すると、映像によって惹起される脳波がノイズとして混入する。そこで、その影響を低減するための工夫が必要になる。本願発明のポイントは、映像に起因するノイズ成分の影響を低減するために、映像中のシーン切替り等による大きな輝度変化があった場合に、その輝度変化後の聴覚刺激を加算平均から除外し、ノイズの影響を受けないより高精度な聴覚事象関連電位計測を実現することである。なお、映像によって惹起される脳波として、映像の内容認知に関連した高次な脳活動によるものも考えられるが、個人差が大きく、呈示した映像から惹起される成分が予測できないため、本発明では対象にしない。
【００１８】
図１中（ａ）に、従来の聴覚事象関連電位計測の実験パラダイムを示す。横軸は時間で、縦線は聴覚刺激のタイミングを模式的に示している。加算平均によって背景脳波等のノイズを低減するために、聴覚刺激が繰り返し呈示される。たとえば、聴覚刺激の持続時間が１００ｍｓ、刺激間間隔の平均値が１秒で、繰り返し回数を３０回とすると、一つの周波数、一つの音圧、片耳の聴覚事象関連電位計測に約３０秒程度の時間を要する。そのため、たとえばユーザの聞こえ評価を行うために、５つの周波数、５つの音圧、両耳において聴覚事象関連電位を計測する場合、単純計算で約２５分（３０×５×５×２秒）程度かかる。ユーザは合計約２５分間、単調な聴覚刺激を聞き続ける必要があり、覚醒度を維持することが難しい。図１中（ｂ）に、聴覚事象関連電位計測中のユーザの仮想的な覚醒度変動を示す。横軸は時間で、縦軸は覚醒度である。聴覚事象関連電位の計測開始から時間が経過するにつれて、覚醒度が低下している様子を表現している。
【００１９】
図２（ａ）は、本願発明者らが着目した聴覚事象関連電位計測の方法である。聴覚事象関連電位計測中のユーザの覚醒度低下を抑制するために、映像を呈示しながら、聴覚刺激を呈示する。図２（ｂ）に、図１中（ｂ）と同様に聴覚事象関連電位計測中のユーザの仮想的な覚醒度変動を示す。映像の呈示によって、ユーザの覚醒度低下が抑制されると考えられる。図２（ｂ）に示した覚醒度は仮想的なグラフであるが、実際に、本願発明者らが、５人の参加者に対して映像呈示あり／なしの条件で約１０分程度の聴覚事象関連電位計測を実施し、計測後に覚醒度に関するアンケートを行ったところ、すべての参加者が映像呈示ありの場合で覚醒度が高かったと回答した。このことから少なくとも、映像呈示によって聴覚事象関連電位計測中のユーザの覚醒度低下が低減されるといえる。
【００２０】
しかしながら、映像に関連して聴覚事象関連電位計測のノイズとなる特徴的な脳波が混入するため、単純に聴覚刺激と同時に映像を呈示するだけで、高精度な聴覚事象関連電位を計測することはできないと考えられる。そこで、本願発明者らは、映像によって惹起される脳波のうち、少なくとも映像の物理的な変化に対して惹起される視覚誘発電位（ｖｉｓｕａｌ ｅｖｏｋｅｄ ｐｏｔｅｎｔｉａｌ：ＶＥＰ）の影響を低減する方法を考案した。たとえば映画やＴＶ番組のドラマ、スポーツ中継の映像中には、シーンの切替り等の画面全体の輝度や輝度の分布が大きく変化するタイミングが存在する。本明細書中では、全体的な輝度の変化および、輝度分布の変化（平均輝度が変化。ない場合を含む）の両方を輝度変化とし、輝度が変化したタイミングを輝度変化タイミングと呼ぶ。その輝度変化タイミングに対して、聴覚事象関連電位計測のノイズとなる視覚誘発電位が惹起される。
【００２１】
視覚誘発電位とは、閃光（全体の輝度が変化）やパターン刺激（輝度の分布が変化）によって誘発される一過性の電位である。閃光あるいはパターン刺激のどちらであっても、刺激呈示後約７０ｍｓ前後に陰性、約１００ｍｓ前後で陽性、約１３０ｍｓで陰性の波が誘発される。視覚刺激の輝度や大きさによって潜時・振幅が変化するが、個人差の影響が比較的少ない。宮田、監修、「新整理心理学」、１巻、ｐ１１５（第３版）によると、左右マストイド連結を基準とした場合、頭頂部から後頭部優位であるが、聴覚事象関連電位の優勢部位である中心部においても惹起される。
【００２２】
図３に、映像の輝度変化タイミングと、輝度変化によって惹起される視覚誘発電位が、聴覚誘発電位計測におよぼす影響の度合いを模式的に示した。映像中には、所定の閾値以上の輝度変化が起こる輝度変化タイミングがいくつも存在する。その輝度変化タイミングを起点に、視覚誘発電位が惹起される。それが、輝度変化を起点に約１００ｍｓ前後をピークにノイズとして混入する。視覚誘発電位の影響は、輝度変化タイミング後約２００ｍｓ前後まで持続する。そこで、本願発明者らは、輝度変化タイミング後所定時間内に呈示された聴覚刺激を聴覚事象関連電位計測のための加算平均から除外する方法に想到した。所定時間とは、たとえば輝度変化後２００ｍｓである。
【００２３】
従来、事象関連電位計測においてノイズを含んだ試行は除外された。しかし従来は、測定した電位データに基づいて、たとえば振幅の最大値が±８０μＶを超えた試行のように、明らかにノイズが混入した試行が除外された。本願発明の映像呈示のように、測定対象以外の情報呈示はしない場合が多く、その測定対象以外の情報呈示の内容に基づいて、除外する試行が決定されることはなかった。なお、聴覚事象関連電位と視覚誘発電位は、周波数が近いため、周波数フィルタリングによって視覚誘発電位の影響を低減することは難しい。
【００２４】
また、あらかじめ映像の輝度変化タイミングを検出し、輝度変化による視覚誘発電位が惹起されない時刻に聴覚刺激を呈示して、輝度変化による視覚誘発電位の影響を受けないようにすることもできる。その場合、輝度変化の発生頻度によっては聴覚刺激の刺激間間隔が数秒程度あいてしまう可能性がある。しかしながら、Ｎａａｔａｎｅｎ，Ｒ、「Ａｔｔｅｎｔｉｏｎ ａｎｄ ｂｒａｉｎ ｆｕｎｃｔｉｏｎ」、ｐ１２６、１９９２年に記載のように、刺激間間隔が数秒以上あいた場合には、感覚刺激に依存しない振幅の大きな成分が、聴覚刺激呈示後約１００ｍｓ前後に惹起されてしまいノイズとして混入する。そのため、単純にあらかじめ検出した輝度変化のタイミングに基づいて、聴覚刺激の呈示タイミングを決めたとしても、高精度な聴覚事象関連電位は計測できない。
【００２５】
（実施形態１）
＜聴覚事象関連電位計測システムの概説＞
本実施形態による聴覚事象関連電位計測システムは、聴覚事象関連電位計測中に映像を呈示し、映像の輝度変化のタイミングを検出し、輝度変化のタイミング後所定時間内に呈示された聴覚刺激を加算平均から除外して、ユーザの覚醒度変動が少なくかつ映像によって誘発される視覚誘発電位の影響を受けない高精度な聴覚事象関連電位計測を実現する。
【００２６】
本実施形態においては、探査電極を中心部（Ｃｚ）に設け、基準電極を右マストイドに設けて、探査電極と基準電極の電位差である脳波を計測するものとする。なお、事象関連電位の特徴成分のレベルや極性は、脳波計測用の電極を装着する部位や、基準電極および探査電極の設定位置に応じて変わる可能性がある。しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極に応じて適切な改変を行って事象関連電位の特徴を抽出し、聴覚事象関連電位の測定を行うことが可能である。そのような改変例は、本発明の範疇である。
【００２７】
＜利用環境＞
図４は、聴覚事象関連電位計測システム１の構成および利用環境を示す。この聴覚事象関連電位計測システム１は、後述する実施形態１のシステム構成に対応させて例示している。
【００２８】
聴覚事象関連電位計測システム１は、ユーザ５の聴覚事象関連電位を高精度に計測するためのシステムである。ユーザ５の脳波信号は、ユーザが頭部に装着した生体信号計測部５０によって取得され、無線または有線で聴覚事象関連電位計測装置１０に送付される。聴覚刺激出力部６１と映像出力部７１は、聴覚事象関連電位計測装置１０から無線または有線で、それぞれ聴覚刺激と映像の情報を受け、ユーザ５にそれぞれ聴覚刺激と映像を呈示する。図４に示す聴覚事象関連電位計測システム１は、生体信号計測部５０および聴覚刺激出力部６１を同じ筐体内に備える。しかしこれは例である。聴覚事象関連電位計測システム１は、生体信号計測部５０および聴覚刺激出力部６１を別筐体に備えてもよい。
【００２９】
生体信号計測部５０は、少なくとも２つの電極Ａおよび電極Ｂと接続されている。例えば、電極Ａはユーザ５のマストイドに貼り付けられ、電極Ｂはユーザ５の頭皮上の中心部（いわゆるＣｚ）に貼り付けられている。生体信号計測部５０は、電極Ａと電極Ｂとの電位差に対応するユーザ５の脳波を計測する。
【００３０】
聴覚刺激出力部６１は、ユーザ５に聴覚刺激を出力するヘッドフォンである。
【００３１】
映像出力部７１は、ユーザ５に映像を呈示するモニタである。
【００３２】
聴覚事象関連電位計測装置１０は、たとえば映画やＴＶ番組の映像をユーザ５に呈示しながら、聴覚刺激を呈示し、聴覚事象関連電位を計測する。そして、映像の輝度変化タイミングを検出して、そのタイミングから所定の時間内に呈示された聴覚刺激を聴覚事象関連電位算出の加算平均から除外する。
【００３３】
＜ハードウェア構成＞
図５は、本実施形態による聴覚事象関連電位計測装置１０のハードウェア構成を示す。聴覚事象関連電位計測装置１０は、ＣＰＵ３０と、メモリ３１と、オーディオコントローラ３２と、グラフィックコントローラ３３を備えている。ＣＰＵ３０と、メモリ３１と、オーディオコントローラ３２、グラフィックコントローラ３３とは、互いにバス３４で接続されており、相互にデータの授受が可能である。
【００３４】
ＣＰＵ３０は、メモリ３１に格納されているコンピュータプログラム３５を実行する。コンピュータプログラム３５には、後述するフローチャートに示される処理手順が記述されている。聴覚事象関連電位計測装置１０、このコンピュータプログラム３５にしたがって、聴覚刺激の生成、映像の再生、映像の輝度変化検出、除外試行の判定等の、聴覚事象関連電位計測システム１の全体を制御する処理を行う。この処理は後に詳述する。
【００３５】
オーディオコントローラ３２は、ＣＰＵ３０の命令に従って、それぞれ、呈示すべき聴覚刺激を指定されたタイミングで、指定された音圧および持続時間で聴覚刺激出力部６１を介して出力する。
【００３６】
グラフィックコントローラ３３は、ＣＰＵ３０の命令に従って、映像出力部７１を介して映像を出力する。
【００３７】
なお、聴覚事象関連電位計測装置１０は、１つの半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現されてもよい。そのようなＤＳＰは、１つの集積回路で上述のＣＰＵ３０、メモリ３１、オーディオコントローラ３２、グラフィックコントローラ３３の機能を全て実現することが可能である。
【００３８】
上述のコンピュータプログラム３５は、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。図５に示すハードウェアを備えた機器（たとえばＰＣ）は、当該コンピュータプログラム３５を読み込むことにより、本実施形態による聴覚事象関連電位計測装置１０として機能し得る。
【００３９】
＜聴覚事象関連電位計測システム１の構成＞
図６は、本実施形態による聴覚事象関連電位計測システム１の機能ブロックの構成を示す。聴覚事象関連電位計測システム１は、生体信号計測部５０と、聴覚刺激出力部６１と、映像出力部７１と、聴覚事象関連電位計測装置１０とを有している。
【００４０】
また、聴覚事象関連電位計測装置１０は、脳波処理部５５と、聴覚刺激生成部６０と、映像再生処理部７０と、輝度変化検出部７５と、除外試行決定部８０と、聴覚事象関連電位算出部１００とを備えている。ユーザ５のブロックは説明の便宜のために示されている。なお、聴覚事象関連電位計測装置１０は、脳波処理部５５と、輝度変化検出部７５と、聴覚事象関連電位算出部１００とを少なくとも備えればよい。
【００４１】
聴覚事象関連電位計測装置１０の各機能ブロックは、それぞれ、図５で説明したプログラムが実行されることによって、ＣＰＵ３０、メモリ３１、オーディオコントローラ３２、グラフィックコントローラ３３によって全体としてその時々で実現される機能に対応している。
【００４２】
＜聴覚刺激生成部６０＞
聴覚刺激生成部６０は、ユーザ５に呈示する聴覚刺激の情報を決定する。聴覚刺激の情報は、ユーザ５の右耳か左耳のどちらに呈示するのか、及び、呈示する聴覚刺激の周波数、音圧を含む。呈示する聴覚刺激の左右耳および周波数、音圧を決定する。
【００４３】
たとえば次の制約に基づいてランダムに決定してもよい。直前の聴覚刺激と同じ周波数、同じ音圧の聴覚刺激は選択しないことが好ましい。左右耳はランダムな順序で選択する。ただし、左右どちらか一方の耳への聴覚刺激の呈示を４回以上連続させないことが好ましい。こうすることで、同一耳、周波数の聴覚刺激の連続呈示による脳波の慣れ（ｈａｂｉｔｕａｔｉｏｎ）の影響が低減され、高精度な聴覚事象関連電位計測が実現できる。
【００４４】
聴覚刺激生成部６０は、決定した聴覚刺激を生成し、所定の刺激間間隔をあけて聴覚刺激出力部６１に送付する。聴覚刺激は、たとえば、立ち上がり、立下り３ｍｓのトーンバースト音としてもよい。聴覚刺激の持続時間は、聴覚事象関連電位が安定して惹起されるよう、たとえば２５ｍｓ以上に設定する。所定の時間間隔は、音刺激の持続時間以上で２秒以下の時間に設定する。たとえば、５００ｍｓとしてもよいし、１秒としてもよい。また、聴覚刺激生成部６０は、聴覚刺激出力部６１に聴覚刺激の情報を送付したタイミングで、脳波処理部５５にトリガを出力する。このトリガは、脳波処理部５５において聴覚刺激に対する事象関連電位を切り出す際に利用される。加えて、聴覚刺激生成部６０は、聴覚刺激出力部６１に聴覚刺激の情報を送付したタイミングで、聴覚刺激を呈示したタイミング、左右耳、聴覚刺激の周波数および音圧を除外試行決定部８０に送付する。
【００４５】
＜聴覚刺激出力部６１＞
聴覚刺激出力部６１は、聴覚刺激生成部６０と有線または無線で接続されている。聴覚刺激出力部６１は、聴覚刺激生成部６０で生成された聴覚刺激データを再生し、ユーザ５に呈示する。
【００４６】
＜生体信号計測部５０＞
生体信号計測部５０は、ユーザ５の生体信号を計測する脳波計である。生体信号計測部５０は、ユーザ５に装着されている基準電極と探査電極との電位差に対応する、ユーザ５の生体信号を計測する。本実施形態において、ユーザ５の生体信号は、脳波である。
【００４７】
好ましくは、生体信号計測部５０は、脳波データに対して適切な遮断周波数の周波数フィルタリングを行う。そして、その脳波データを脳波処理部５５に送付する。周波数フィルタとしてバンドパスフィルタを用いる場合は、たとえば５Ｈｚから１５Ｈｚまでを通過させるように遮断周波数を設定してもよい。ユーザ５はあらかじめ脳波計を装着しているものとする。脳波計測用の探査電極はたとえば中心部のＣｚに装着される。
【００４８】
＜脳波処理部５５＞
脳波処理部５５は、生体信号計測部５０から受けた脳波データから、聴覚刺激生成部６０から受けたトリガを起点に、所定区間（たとえば聴覚刺激呈示前１００ｍｓから聴覚刺激呈示後４００ｍｓの区間）の事象関連電位を切り出す。なお、切り出した事象関連電位とは、計測した生体信号から脳波データの所定区間の電位のみを抽出したデータだけでなく、計測した生体信号において所定区間の電位を特定しているだけのデータも含む。脳波処理部５５は、取得した事象関連電位を聴覚事象関連電位算出部１００に送付する。脳波処理部５５が記憶している所定の区間は、第１の時間範囲に対応する。
【００４９】
＜映像再生処理部７０＞
映像再生処理部７０は、映像再生処理部７０内にあらかじめ保持している映像コンテンツを再生する。映像コンテンツとは、少なくとも一部が異なる複数の画像が、時系列で連続している情報である。たとえば、映画やＴＶ映像のドラマやスポーツ中継とする。ユーザ５の覚醒度の変動を抑制するために、ユーザ５の興味度合いに合わせてユーザ５がコンテンツを選択できるようにしてもよい。なお、映像コンテンツは、音を含まないようにあらかじめ加工しておくものとする。
【００５０】
＜映像出力部７１＞
映像出力部７１は、映像再生処理部７０と有線または無線でつながり、映像再生処理部７０で再生処理された映像を再生する。映像は、聴覚事象関連電位計測中、常に再生するものとする。
【００５１】
＜輝度変化検出部７５＞
輝度変化検出部７５は、映像再生処理部７０で再生処理をした映像コンテンツの輝度変化のタイミングを検出する。輝度変化量は、たとえば画素ごとにフレームごとの輝度の差分を算出し、その差分を積分して求めてもよい。そして、求めた輝度変化量とあらかじめ設定した輝度変化量に関する所定の閾値との比較を行う。
【００５２】
その結果、輝度変化量が所定の閾値よりも大きかった場合には、輝度変化ありとして、その輝度変化タイミングを記録し、輝度変化タイミングを除外試行決定部８０に送付する。なお、輝度変化量が所定の閾値よりも小さかった場合、除外試行決定部８０に輝度変化が小さかったことを送付してもよいし、何も送付しなくてもよい。また、輝度変化検出部７５における映像の輝度変化検出は、リアルタイムに実施してもよいし、映像再生終了後にまとめて実施してもよい。
【００５３】
＜除外試行決定部８０＞
除外試行決定部８０は、聴覚刺激の呈示タイミングおよび聴覚刺激の情報である左右耳、周波数、音圧の情報を聴覚刺激生成部６０から受け取る。また、輝度変化検出部７５から輝度変化タイミングを受け取る。そして、輝度変化タイミング後所定の時間帯に呈示された聴覚刺激を加算平均から除外するように決定する。図３に模式的に示したように、輝度変化から約２００ｍｓまでは視覚誘発電位の影響を多く受けるため、所定の時間帯とは輝度変化のタイミング後０ｍｓ以上、２００ｍｓ以下としてもよい。また、輝度変化のタイミング前１００ｍｓ以上、後２００ｍｓ以下としてもよい。そして、除外試行フラグを立てて、聴覚刺激の情報とともに、聴覚事象関連電位算出部１００に送付する。
【００５４】
＜聴覚事象関連電位算出部１００＞
聴覚事象関連電位算出部１００は、除外試行決定部８０から受けた聴覚刺激の情報および除外試行の情報に基づいて、脳波処理部５５から受けた事象関連電位のうち除外試行フラグの立っていない試行の事象関連電位を加算平均する。
【００５５】
図７は、聴覚事象関連電位算出部１００が、除外試行決定部８０および脳波処理部５５から受ける情報の例を示す。試行番号ごとに、聴覚刺激の情報と除外試行フラグおよび事象関連電位の対応付けを行う。そして、たとえば左右耳ごと、周波数ごと、音圧ごとに除外試行フラグが立っていない試行の事象関連電位を加算平均する。図７中の「試行番号」は、聴覚事象関連電位の計測を開始してから呈示された聴覚刺激の通し番号である。聴覚刺激の情報のうち「左右」は、聴覚刺激を呈示した左右耳の識別番号である。たとえば右耳を１、左耳を２としてもよい。「周波数」は、聴覚刺激の周波数で単位はHzである。「音圧」は、聴覚刺激の音圧で単位はｄBHLである。「除外試行フラグ」は、除外試行決定部８０で決定された除外試行のフラグである。たとえば、除外試行であると決定した場合に１を、除外試行でないと決定した試行を０としてもよい。「事象関連電位」は、脳波処理部５５において切り出したユーザ５の事象関連電位である。図７中では、模式的に波形を示したが、事象関連電位のデータをたとえばサンプリングポイント数×計測チャンネル数の配列として受ける。
【００５６】
なお、除外試行決定部８０を省略することもできる。その場合には、聴覚事象関連電位算出部１００は、輝度変化検出部７５から輝度変化タイミングを取得する。脳波処理部５５が取得した複数の聴覚刺激に対する事象関連電位のうち、取得した輝度変化タイミング（時刻）を基準とした所定の時間範囲の聴覚刺激以外の事象関連電位を加算平均する。また、聴覚事象関連電位算出部１００が記憶している所定の時間範囲は、第２の時間範囲に対応する。
【００５７】
＜聴覚事象関連電位計測システム１の処理フロー＞
次に、図８を参照しながら図６の聴覚事象関連電位計測システム１において行われる処理手順を説明する。図８は、聴覚事象関連電位計測システム１において行われる処理の手順を示すフローチャートである。
【００５８】
ステップＳ１０１において、生体信号計測部５０は、生体信号としてユーザ５の脳波を計測する。そして、脳波データに対して適切な遮断周波数の周波数フィルタリングを行い、連続脳波データを脳波処理部に送付する。
【００５９】
ステップＳ１０２において、映像再生処理部７０は、映像再生処理部７０内にあらかじめ保持した映像コンテンツを再生し、映像出力部７１を介してユーザ５に呈示する。映像コンテンツとは、たとえば映画やＴＶ映像のドラマやスポーツ中継とする。ユーザ５の覚醒度の変動を抑制するために、ユーザ５の興味度合いに合わせてユーザ５がコンテンツを選択できるようにしてもよい。なお、映像コンテンツは、音を含まないようにあらかじめ加工しておくものとする。
【００６０】
ステップＳ１０３において、輝度変化検出部７５は、映像再生処理部７０で再生処理をした映像コンテンツの輝度変化のタイミングを検出する。輝度変化量は、たとえば画素ごとにフレームごとの輝度の差分を算出し、その差分を積分して求めてもよい。
【００６１】
ステップＳ１０４は、ステップＳ１０３で求めた輝度変化量とあらかじめ設定した輝度変化量よりも大きいかどうかの比較による分岐である。輝度変化量の比較は、輝度変化検出部７５で実施する。比較の結果、輝度変化量が所定の閾値よりも大きかった場合には、輝度変化ありとして、ステップＳ１０９に進む。一方、所定の閾値よりも小さかった場合には、ステップＳ１１０に進む。
【００６２】
ステップＳ１０５において、聴覚刺激生成部６０は、ユーザ５に呈示する聴覚刺激の情報を決定する。聴覚刺激の情報は、ユーザ５の右耳か左耳のどちらに呈示するのか、及び、呈示する聴覚刺激の周波数、音圧を含む。呈示する聴覚刺激の左右耳および周波数、音圧を決定する。そして、聴覚刺激生成部６０は、決定した聴覚刺激を生成し、所定の刺激間間隔をあけて聴覚刺激出力部６１に送付する。また、聴覚刺激生成部６０は、聴覚刺激出力部６１に聴覚刺激の情報を送付したタイミングで、脳波処理部５５にトリガを出力する。加えて、聴覚刺激生成部６０は、聴覚刺激出力部６１に聴覚刺激の情報を送付したタイミングで、聴覚刺激を呈示したタイミング、左右耳、聴覚刺激の周波数および音圧を除外試行決定部８０に送付する。
【００６３】
ステップＳ１０６において、聴覚刺激出力部６１は、聴覚刺激生成部６０で生成された聴覚刺激データを再生し、ユーザ５に呈示する。
【００６４】
ステップＳ１０７において、脳波処理部５５は、生体信号計測部５０から受けた脳波データから、聴覚刺激生成部６０から受けたトリガを起点に、所定区間（たとえば聴覚刺激呈示前１００ｍｓから聴覚刺激呈示後４００ｍｓの区間）の事象関連電位を切り出す。そして、その事象関連電位を聴覚事象関連電位算出部１００に送付する。
【００６５】
ステップＳ１０８は、ステップＳ１０５からステップＳ１０７の聴覚刺激呈示および事象関連電位抽出をあらかじめ設定した所定の回数だけ実施したかによる分岐である。たとえば、左右それぞれの耳について、５つの周波数のそれぞれ３つの音圧に対して、３０回の繰り返し回数とした場合、所定回数とは９００回（２×５×３×３０）である。ステップＳ１０８でＹｅｓの場合にはステップＳ１１０へ進み、Ｎｏの場合にはステップＳ１０５へ戻って聴覚刺激呈示および事象関連電位抽出を繰り返す。
【００６６】
ステップＳ１０９は、除外試行決定部８０において、ステップＳ１０４で求めた輝度変化タイミングと、ステップＳ１０６で聴覚刺激の呈示タイミングを参照し、輝度変化タイミング後の所定の時間帯に呈示された聴覚刺激を加算平均から除外するように決定する。所定の時間帯とは輝度変化のタイミング後０ｍｓ以上、２００ｍｓ以下としてもよい。また、輝度変化のタイミング前１００ｍｓ以上、後２００ｍｓ以下としてもよい。そして、該当する試行に除外試行フラグを立てる。
【００６７】
ステップＳ１１０において、聴覚事象関連電位算出部１００は、除外試行決定部８０から受けた聴覚刺激の情報および除外試行の情報に基づいて、脳波処理部５５から受けた事象関連電位のうち除外試行フラグの立っていない試行の事象関連電位を加算平均する。
【００６８】
本実施形態の聴覚事象関連電位計測システム１によれば、聴覚事象関連電位計測中に映像を呈示し、映像の輝度変化のタイミングを検出し、輝度変化のタイミング後所定時間内に呈示された聴覚刺激を加算平均から除外して、ユーザの覚醒度変動が少なくかつ映像によって誘発される視覚誘発電位の影響を受けない高精度な聴覚事象関連電位計測が実現できる。これにより、ユーザの聞こえ評価の精度が向上し、たとえばユーザの不満の少ない補聴器の調整が実現できるようになる。
【００６９】
なお、本実施形態においては、聴覚事象関連電位計測の結果の蓄積をしていないが、結果蓄積用のデータベースを新たに設け、結果を蓄積してもよい。
【００７０】
なお、本実施形態においては、呈示する映像は映像再生処理部７０にあらかじめ保持しているとした。しかし、聴覚事象関連電位計測時にリアルタイムで放送されているＴＶ映像を呈示してもよい。その場合も同様に輝度変化検出部７５において、ＴＶ映像の輝度変化を検出すればよい。
【００７１】
（実施形態２）
実施形態１による聴覚事象関連電位計測システム１では、聴覚刺激と並列に呈示した映像の輝度変化タイミングを検出し、輝度変化タイミングを起点に所定の時間範囲の聴覚刺激を加算平均から除外した。輝度変化に関連した除外試行を設けることで、映像に対する視覚誘発電位に関するノイズ成分が混入しないため、ユーザの覚醒度低下を抑制しつつ高精度な聴覚事象関連電位の計測が可能になった。
【００７２】
しかしながら、ある規則に基づいて聴覚刺激を呈示し、その規則に対応した聴覚事象関連電位を計測する場合には、輝度変化に関連して規則的な聴覚刺激の一部が除外試行となるため、聴覚刺激の規則性が失われる可能性があった。たとえば、同一周波数で同一の音圧を２回連発呈示し第１音と第２音に対する聴覚事象関連電位の変化量を用いてユーザの聞こえ状態を評価する場合、第１音あるいは第２音のみが除外試行になることで、変化量が正しく計測できない可能性があった。また、たとえば同一周波数で規則的に音圧を変化させて第１音から第ｎ音まで聴覚刺激を連発し、第１音から第ｎ音までの聴覚事象関連電位の変化パターンからユーザの聞こえ状態を評価する場合、部分的に除外試行になることで、パターンが正しく計測できない可能性があった。
【００７３】
そこで、本実施形態では、規則的な聴覚刺激を聴覚刺激群とし、聴覚刺激群ごとに除外試行を決定し、規則的な聴覚刺激に対する聴覚事象関連電位の変化量をより高精度に計測する、聴覚事象関連電位計測システムについて説明する。
【００７４】
図９は、実施形態による聴覚事象関連電位計測システム２の機能ブロックの構成を示す。聴覚事象関連電位計測システム２は、生体信号計測部５０と、聴覚刺激出力部６１と、映像出力部７１と、聴覚事象関連電位計測装置２０とを有している。図６と同じブロックについては同一の参照符号を付し、その説明は省略する。なお、聴覚事象関連電位計測装置２０のハードウェア構成は、図５に示すとおりである。実施形態１で説明したプログラム３５と異なる処理を規定するプログラムが実行されることにより、図９に示す本実施形態による聴覚事象関連電位計測装置２０が実現される。
【００７５】
本実施形態による聴覚事象関連電位計測装置２０が、実施形態１による聴覚事象関連電位計測装置１０と大きく相違する点は、聴覚刺激生成部６０に代えて聴覚刺激群生成部６２を設けた点、および、除外試行決定部８０に代えて除外試行群決定部８２を設けた点である。
【００７６】
以下、聴覚刺激群生成部６２と除外試行群決定部８２について説明する。
【００７７】
聴覚刺激群生成部６２は、ユーザ５に呈示する規則的な聴覚刺激である聴覚刺激群の情報を決定する。聴覚刺激の規則性は、あらかじめ設定されるものとする。規則的な聴覚刺激としては、たとえば同一周波数かつ同一音圧の聴覚刺激を所定間隔で２回連発呈示する、あるいは、同一周波数の聴覚刺激を規則的に音圧変化させて呈示する、が考えられる。このような規則的な聴覚刺激に対する聴覚事象関連電位の変化量あるいは変化パターンを指標に、ユーザの聞こえ状態を推定できる可能性がる。また、聴覚刺激群生成部６２は、決定した呈示耳、周波数、音圧に基づいて、聴覚刺激群を生成する。そして、聴覚刺激出力部６１に生成した聴覚刺激群の情報を送付し、そのタイミングで脳波処理部５５にトリガを出力する。トリガは、聴覚刺激群内の聴覚刺激ごとに出力する。さらに、聴覚刺激群生成部６２は、聴覚刺激群の情報を除外試行群決定部８２に送付する。聴覚刺激群の情報とは、聴覚刺激群を呈示する左右耳、聴覚刺激群の周波数と音圧である。
【００７８】
除外試行群決定部８２は、聴覚刺激群の呈示タイミングおよび聴覚刺激の情報である左右耳、周波数、音圧の情報を聴覚刺激群生成部６２から受け取る。また、輝度変化検出部７５から輝度変化タイミングを受け取る。図１０は、除外試行群決定部８２における除外試行群決定の概念を示す。聴覚刺激群ごとに、輝度変化タイミングを起点に所定の時間範囲に呈示された聴覚刺激が存在したか否かを判定し、一つでも存在した場合には、その聴覚刺激群のすべての聴覚刺激を除外試行と決定する。輝度変化から約２００ｍｓまでは視覚誘発電位の影響を多く受けるため、実施形態１の除外試行決定部８０と同様に、所定の時間帯とは輝度変化のタイミング後０ｍｓ以上、２００ｍｓ以下としてもよい。また、輝度変化のタイミング前１００ｍｓ以上、後２００ｍｓ以下としてもよい。そして、該当する聴覚刺激群に対して除外試行フラグを立てて、聴覚刺激群の情報とともに、聴覚事象関連電位算出部１００に送付する。図１１は、除外試行群決定部８２が、聴覚事象関連電位算出部１００に送付する情報の例を示す。図１１では、左右耳ごとに、５００Ｈｚ、１０００Ｈｚ、２０００Ｈｚ、４０００Ｈｚの周波数の聴覚刺激を８０ｄＢＨＬ、７５ｄＢＨＬ、７０ｄＢＨＬの規則的な音圧変化で呈示する場合の例である。３段階の音圧変化をまとめて聴覚刺激群としている。図１１中の聴覚刺激群番号は、聴覚刺激群の通し番号である。除外試行フラグは、聴覚刺激群番号ごとに立てる。除外試行フラグは、図７と同様に、たとえば除外する刺激群に対して「１」を、除外しない刺激群に対して「０」としてもよい。
【００７９】
次に、図１２のフローチャートを参照しながら、聴覚事象関連電位計測システム２において行われる全体的な処理の手順を説明する。
【００８０】
図１２は、本実施形態による聴覚事象関連電位計測システム２の処理手順を示す。図１２では、聴覚事象関連電位計測システム１の処理（図８）と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
【００８１】
本実施形態による聴覚事象関連電位計測システム２の処理が、実施形態１による聴覚事象関連電位計測システム１の処理と相違する点は、ステップＳ２０１およびＳ２０２である。それ以外のステップについては、図８に関連して既に説明しているため、説明を省略する。
【００８２】
ステップＳ２０１において、聴覚刺激群生成部６２は、ユーザ５に呈示する規則的な聴覚刺激である聴覚刺激群の情報を決定する。また、聴覚刺激群生成部６２は、決定した呈示耳、周波数、音圧に基づいて、聴覚刺激群を生成し、聴覚刺激出力部６１に生成した聴覚刺激群の情報を送付して、そのタイミングで脳波処理部５５にトリガを出力する。さらに、聴覚刺激群生成部６２は、聴覚刺激群の情報を除外試行群決定部８２に送付する。聴覚刺激群の情報とは、聴覚刺激群を呈示する左右耳、聴覚刺激群の周波数と音圧である。
【００８３】
ステップＳ２０２において、除外試行群決定部８２は、聴覚刺激群生成部６２から受けた聴覚刺激群の呈示タイミングおよび聴覚刺激の情報である左右耳、周波数、音圧の情報と、輝度変化検出部７５から受けた輝度変化タイミングに基づいて、除外する聴覚刺激群を決定する。聴覚刺激群ごとに、輝度変化タイミングを起点に所定の時間範囲に呈示された聴覚刺激が存在したか否かを判定し、一つでも存在した場合には、その聴覚刺激群のすべての聴覚刺激を除外試行と決定する。そして、該当する聴覚刺激群に対して除外試行フラグを立てて、聴覚刺激群の情報とともに、聴覚事象関連電位算出部１００に送付する。
【００８４】
このような処理によって、規則的な聴覚刺激に対する聴覚事象関連電位の変化量または変化パターンをより高精度に計測する、聴覚事象関連電位計測システムが実現できる。
【産業上の利用可能性】
【００８５】
本発明の聴覚事象関連電位計測装置および聴覚事象関連電位計測装置が組み込まれた聴覚事象関連電位計測システムによれば、聴覚刺激と並列に呈示した映像の輝度変化タイミングを検出し、輝度変化タイミングを起点に所定の時間範囲の聴覚刺激を加算平均から除外することで、ユーザの覚醒度低下を抑制しつつ高精度な聴覚事象関連電位の計測が実現される。高精度な聴覚事象関連電位の計測結果は、ユーザの客観的な聞こえ評価において利用可能である。
【符号の説明】
【００８６】
１、２ 聴覚事象関連電位計測システム
５ ユーザ
１０、２０ 聴覚事象関連電位計測装置
５０ 生体信号計測部
５５ 脳波処理部
６０ 聴覚刺激生成部
６１ 聴覚刺激出力部
６２ 聴覚刺激群生成部
７０ 映像再生処理部
７１ 映像出力部
７５ 輝度変化検出部
８０ 除外試行決定部
８２ 除外試行群決定部
【技術分野】
【０００１】
本発明は、聴覚刺激に対する聴覚事象関連電位を高精度に測定するための技術に関する。より具体的には、本発明は、映像を呈示しながら聴覚刺激を呈示し、ユーザの覚醒度の変動や映像の影響を受けずに、聴覚事象関連電位を計測する方法に関する。
【背景技術】
【０００２】
近年、補聴器の小型化・高性能化に伴い、補聴器を利用するユーザが増加している。補聴器は、ユーザごとの聴力低下の状態に合わせて、聴力が低下している周波数帯の音信号を、聴力低下の度合いに合わせて増幅する。これにより、ユーザが音を聞き取りやすくする。聴力低下の状態はユーザごとに異なるため、補聴器の利用を開始する前には、ユーザごとの聞こえを正しく評価する必要がある。そして、その評価結果に基づいて、周波数ごとの音の増幅量を決定する「フィッティング」を行う。
【０００３】
一般的に、ユーザごとの聞こえは、ユーザの主観報告に基づいて評価される。しかし、主観報告による評価は、言語表現やパーソナリティによって結果がばらつくという問題と、主観報告のできない乳児では評価ができないという問題がある。そこで主観報告によらず、聞こえを客観的に評価する手法の開発が進んでいる。
【０００４】
脳波は、知覚・認知等のユーザ状態を測定するための有効なツールである。頭皮上の２点間の電位変化を記録したもので、大脳皮質の神経活動を反映している。ユーザの頭皮上に電極を装着して脳波を記録しながら、ユーザに対して聴覚刺激を呈示すると、聴覚刺激を起点に特徴的な聴覚事象関連電位が惹起される。この聴覚事象関連電位は、ユーザの聞こえを客観的に評価可能な指標である。聴覚事象関連電位は、聴覚刺激によって誘発される外因性成分（聴覚誘発電位）と、聴覚刺激を受けたことによる内因性成分を含む。
【０００５】
非特許文献１では、ユーザの主観的なうるささであるラウドネスと、純音聴覚刺激に対するＮ１成分の振幅および潜時の関係を特定し、Ｎ１成分の振幅および潜時から、聞こえ評価のうちラウドネスが推定できる可能性を示唆している。なお、Ｎ１成分とは、聴覚刺激呈示を起点に約１００ｍｓにおいて惹起される陰性の感覚誘発電位である。Ｎ１成分は、大脳皮質の神経活動を反映しているので、脳幹反応（ＡＢＲ）と比較して、主観との相関が高いと考えられている。これは、Ｎ１成分の振幅および潜時から、聞こえ評価のうちラウドネスが推定できる可能性を示している。
【０００６】
また、非特許文献２では、Ｎ１成分の馴化を用いた不快閾値推定について開示している。不快閾値（ｕｎｃｏｍｆｏｒｔａｂｌｅ ｌｅｖｅｌ：ＵＣＬ）とは、うるさすぎて長時間聞き続けることのできない最小の音圧である。音が大きすぎて無視できないときには、Ｎ１成分の馴化が生じないことを利用している。
【０００７】
聴覚事象関連電位は背景脳波と比較してＳ／Ｎが低いことから、刺激を繰り返し呈示し、加算平均によって混入するノイズの影響を低減する必要がある。そのため、刺激間間隔の繰り返し回数倍の時間を要する。たとえば、非特許文献２では、刺激間間隔１秒で８００回の繰り返しを実施しており、聴覚刺激の種類ごとに、十数分の時間がかかる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Ｈｏｐｐｅ，Ｕ．他、「Ｌｏｕｄｎｅｓｓ ｐｅｒｃｅｐｔｉｏｎ ａｎｄ ｌａｔｅ ａｕｄｉｔｏｒｙ ｅｖｏｋｅｄ ｐｏｔｅｎｔｉａｌｓ ｉｎ ａｄｕｌｔ ｃｏｃｈｌｅａｒ ｉｍｐｌａｎｔ ｕｓｅｒｓ」、２００１年
【非特許文献２】Ｍａｒｉａｍ，Ｍ．他、「Ｃｏｍｐａｒｉｎｇ ｔｈｅ ｈａｂｉｔｕａｔｉｏｎ ｏｆ ｌａｔｅ ａｕｄｉｔｏｒｙ ｅｖｏｋｅｄ ｐｏｔｅｎｔｉａｌｓ ｔｏ ｌｏｕｄ ａｎｄ ｓｏｆｔ ｓｏｕｎｄ」、２００９年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献１および非特許文献２のような従来手法では、単調な聴覚刺激が長時間にわたって呈示されることから、しばしばユーザが覚醒度を維持できない場合があった。佐藤他、監修、「誘発電位の基礎と臨床」、ｐ１２９、創造出版、１９９０年（第１版）に記載のように、聴覚事象関連電位は覚醒度によって波形そのものが大幅に変化する。そのため、たとえば非特許文献１や非特許文献２のように、Ｎ１成分の振幅や潜時を用いて聞こえ評価をする場合に、正しく評価ができないという課題があった。
【００１０】
本発明の目的は、聞こえ評価のための聴覚事象関連電位測定システムにおいて、覚醒度の変化に由来する聴覚事象関連電位の変動を抑制し、高精度な聴覚事象関連電位を計測することにある。そのために、聴覚刺激以外に映像を呈示してユーザの覚醒度の変化を低減する。また、呈示する映像の変化パターンに応じて聴覚事象関連電位を加算平均に加えるか否かを判定し、映像呈示によって惹起されるノイズの影響を低減する。
【課題を解決するための手段】
【００１１】
本発明のユーザの聴覚事象関連電位計測システムは、脳波信号を計測する生体信号計測部と、前記ユーザに、複数の聴覚刺激を呈示する聴覚刺激出力部と、前記脳波信号において、前記聴覚刺激が呈示された時刻を起点として第１の時間範囲の事象関連電位を取得する脳波処理部と、前記ユーザに映像を呈示する映像出力部と、前記出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出する輝度変化検出部と、前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出する聴覚事象関連電位算出部とを備える。
【発明の効果】
【００１２】
本発明によれば、聴覚事象関連電位の計測時に、聴覚刺激以外に映像を呈示することで、ユーザの覚醒度の変化に由来する聴覚事象関連電位の変動を低減し、精度の高い聴覚事象関連電位の計測が実現できる。
【図面の簡単な説明】
【００１３】
【図１】聴覚刺激のみの聴覚事象関連電位計測パラダイムと聴覚事象関連電位計測中の仮想的な覚醒度変化を示す図である。
【図２】映像を並列呈示する聴覚事象関連電位計測パラダイムと聴覚事象関連電位計測中の仮想的な覚醒度変化を示す図である。
【図３】輝度変化タイミングと、輝度変化に対する視覚誘発電位が聴覚事象関連電位に及ぼす影響の概念図である。
【図４】実施形態１による聴覚事象関連電位計測システム１の構成および利用環境を示す図である。
【図５】実施形態１による聴覚事象関連電位計測装置１０のハードウェア構成を示す図である。
【図６】実施形態１による聴覚事象関連電位計測システム１の機能ブロックの構成を示す図である。
【図７】聴覚事象関連電位算出部１００に保持するデータの例を示す図である。
【図８】聴覚事象関連電位計測システム１において行われる処理の手順を示すフローチャートである。
【図９】実施形態２による聴覚事象関連電位計測システム２の機能ブロックの構成を示す図である。
【図１０】実施形態２による聴覚刺激群と除外試行群判定の概念図である。
【図１１】実施形態２による除外試行群決定部に保持する聴覚刺激群および除外試行フラグのデータの例を示す図である。
【図１２】聴覚事象関連電位計測システム２において行われる処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
ここで、本明細書における用語の定義を説明する。「事象関連電位（ｅｖｅｎｔ−ｒｅｌａｔｅｄ ｐｏｔｅｎｔｉａｌ：ＥＲＰ）」とは、脳波（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ：ＥＥＧ）の一種であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。「聴覚事象関連電位」とは、聴覚刺激に対して惹起される事象関連電位である。たとえば、聴覚刺激を起点に約５０ｍｓにおいて惹起される陽性の電位であるＰ１成分、聴覚刺激呈示を起点に約１００ｍｓにおいて惹起される陰性の電位であるＮ１成分や、聴覚刺激呈示を起点に約２００ｍｓにおいて惹起される陽性の電位であるＰ２成分が該当する。「音を呈示する」とは、純音の聴覚刺激を出力すること、たとえば純音をヘッドフォンの片耳側から出力することをいう。「純音」とは、周期振動を繰り返す楽音のうち、単一の周波数成分しか持たない正弦波で表される音である。ヘッドフォンの種類は任意であるが、不快音圧を正しく測定するために、指定した音圧の純音を正確に出力できる必要がある。
【００１５】
本発明による聴覚事象関連電位計測システムは、聴覚刺激以外に映像の呈示によりユーザの覚醒度の変化を低減する。そして覚醒度変化の影響の少ない聴覚事象関連電位を計測する。また、呈示する映像の変化パターンに応じて聴覚事象関連電位を加算平均に加えるか否かを判定し、映像呈示によって惹起されるノイズの影響を低減する。
【００１６】
以下では、まず本願発明に至った経緯に触れ、その後、実施形態として聴覚事象関連電位計測システムを概説し、聴覚事象関連電位計測装置の構成およびその動作について詳述する。
【００１７】
（本願発明の経緯）
上述のように、単調な聴覚刺激を繰り返す聴覚事象関電位計測では、ユーザが覚醒度を維持できない場合がある。それによって、覚醒度変動に伴う聴覚事象関連電位の波形変化が生じてしまう。それに対して、本願発明者らは、ユーザの覚醒度変動を抑制するために、聴覚刺激とは異なるモダリティの映像を、聴覚事象関連電位計測中に同時呈示する方法に着目した。覚醒度を抑制可能な映像としては、たとえば映画やＴＶ番組のドラマやスポーツ中継などが挙げられる。しかしながら、それらの映像を呈示すると、映像によって惹起される脳波がノイズとして混入する。そこで、その影響を低減するための工夫が必要になる。本願発明のポイントは、映像に起因するノイズ成分の影響を低減するために、映像中のシーン切替り等による大きな輝度変化があった場合に、その輝度変化後の聴覚刺激を加算平均から除外し、ノイズの影響を受けないより高精度な聴覚事象関連電位計測を実現することである。なお、映像によって惹起される脳波として、映像の内容認知に関連した高次な脳活動によるものも考えられるが、個人差が大きく、呈示した映像から惹起される成分が予測できないため、本発明では対象にしない。
【００１８】
図１中（ａ）に、従来の聴覚事象関連電位計測の実験パラダイムを示す。横軸は時間で、縦線は聴覚刺激のタイミングを模式的に示している。加算平均によって背景脳波等のノイズを低減するために、聴覚刺激が繰り返し呈示される。たとえば、聴覚刺激の持続時間が１００ｍｓ、刺激間間隔の平均値が１秒で、繰り返し回数を３０回とすると、一つの周波数、一つの音圧、片耳の聴覚事象関連電位計測に約３０秒程度の時間を要する。そのため、たとえばユーザの聞こえ評価を行うために、５つの周波数、５つの音圧、両耳において聴覚事象関連電位を計測する場合、単純計算で約２５分（３０×５×５×２秒）程度かかる。ユーザは合計約２５分間、単調な聴覚刺激を聞き続ける必要があり、覚醒度を維持することが難しい。図１中（ｂ）に、聴覚事象関連電位計測中のユーザの仮想的な覚醒度変動を示す。横軸は時間で、縦軸は覚醒度である。聴覚事象関連電位の計測開始から時間が経過するにつれて、覚醒度が低下している様子を表現している。
【００１９】
図２（ａ）は、本願発明者らが着目した聴覚事象関連電位計測の方法である。聴覚事象関連電位計測中のユーザの覚醒度低下を抑制するために、映像を呈示しながら、聴覚刺激を呈示する。図２（ｂ）に、図１中（ｂ）と同様に聴覚事象関連電位計測中のユーザの仮想的な覚醒度変動を示す。映像の呈示によって、ユーザの覚醒度低下が抑制されると考えられる。図２（ｂ）に示した覚醒度は仮想的なグラフであるが、実際に、本願発明者らが、５人の参加者に対して映像呈示あり／なしの条件で約１０分程度の聴覚事象関連電位計測を実施し、計測後に覚醒度に関するアンケートを行ったところ、すべての参加者が映像呈示ありの場合で覚醒度が高かったと回答した。このことから少なくとも、映像呈示によって聴覚事象関連電位計測中のユーザの覚醒度低下が低減されるといえる。
【００２０】
しかしながら、映像に関連して聴覚事象関連電位計測のノイズとなる特徴的な脳波が混入するため、単純に聴覚刺激と同時に映像を呈示するだけで、高精度な聴覚事象関連電位を計測することはできないと考えられる。そこで、本願発明者らは、映像によって惹起される脳波のうち、少なくとも映像の物理的な変化に対して惹起される視覚誘発電位（ｖｉｓｕａｌ ｅｖｏｋｅｄ ｐｏｔｅｎｔｉａｌ：ＶＥＰ）の影響を低減する方法を考案した。たとえば映画やＴＶ番組のドラマ、スポーツ中継の映像中には、シーンの切替り等の画面全体の輝度や輝度の分布が大きく変化するタイミングが存在する。本明細書中では、全体的な輝度の変化および、輝度分布の変化（平均輝度が変化。ない場合を含む）の両方を輝度変化とし、輝度が変化したタイミングを輝度変化タイミングと呼ぶ。その輝度変化タイミングに対して、聴覚事象関連電位計測のノイズとなる視覚誘発電位が惹起される。
【００２１】
視覚誘発電位とは、閃光（全体の輝度が変化）やパターン刺激（輝度の分布が変化）によって誘発される一過性の電位である。閃光あるいはパターン刺激のどちらであっても、刺激呈示後約７０ｍｓ前後に陰性、約１００ｍｓ前後で陽性、約１３０ｍｓで陰性の波が誘発される。視覚刺激の輝度や大きさによって潜時・振幅が変化するが、個人差の影響が比較的少ない。宮田、監修、「新整理心理学」、１巻、ｐ１１５（第３版）によると、左右マストイド連結を基準とした場合、頭頂部から後頭部優位であるが、聴覚事象関連電位の優勢部位である中心部においても惹起される。
【００２２】
図３に、映像の輝度変化タイミングと、輝度変化によって惹起される視覚誘発電位が、聴覚誘発電位計測におよぼす影響の度合いを模式的に示した。映像中には、所定の閾値以上の輝度変化が起こる輝度変化タイミングがいくつも存在する。その輝度変化タイミングを起点に、視覚誘発電位が惹起される。それが、輝度変化を起点に約１００ｍｓ前後をピークにノイズとして混入する。視覚誘発電位の影響は、輝度変化タイミング後約２００ｍｓ前後まで持続する。そこで、本願発明者らは、輝度変化タイミング後所定時間内に呈示された聴覚刺激を聴覚事象関連電位計測のための加算平均から除外する方法に想到した。所定時間とは、たとえば輝度変化後２００ｍｓである。
【００２３】
従来、事象関連電位計測においてノイズを含んだ試行は除外された。しかし従来は、測定した電位データに基づいて、たとえば振幅の最大値が±８０μＶを超えた試行のように、明らかにノイズが混入した試行が除外された。本願発明の映像呈示のように、測定対象以外の情報呈示はしない場合が多く、その測定対象以外の情報呈示の内容に基づいて、除外する試行が決定されることはなかった。なお、聴覚事象関連電位と視覚誘発電位は、周波数が近いため、周波数フィルタリングによって視覚誘発電位の影響を低減することは難しい。
【００２４】
また、あらかじめ映像の輝度変化タイミングを検出し、輝度変化による視覚誘発電位が惹起されない時刻に聴覚刺激を呈示して、輝度変化による視覚誘発電位の影響を受けないようにすることもできる。その場合、輝度変化の発生頻度によっては聴覚刺激の刺激間間隔が数秒程度あいてしまう可能性がある。しかしながら、Ｎａａｔａｎｅｎ，Ｒ、「Ａｔｔｅｎｔｉｏｎ ａｎｄ ｂｒａｉｎ ｆｕｎｃｔｉｏｎ」、ｐ１２６、１９９２年に記載のように、刺激間間隔が数秒以上あいた場合には、感覚刺激に依存しない振幅の大きな成分が、聴覚刺激呈示後約１００ｍｓ前後に惹起されてしまいノイズとして混入する。そのため、単純にあらかじめ検出した輝度変化のタイミングに基づいて、聴覚刺激の呈示タイミングを決めたとしても、高精度な聴覚事象関連電位は計測できない。
【００２５】
（実施形態１）
＜聴覚事象関連電位計測システムの概説＞
本実施形態による聴覚事象関連電位計測システムは、聴覚事象関連電位計測中に映像を呈示し、映像の輝度変化のタイミングを検出し、輝度変化のタイミング後所定時間内に呈示された聴覚刺激を加算平均から除外して、ユーザの覚醒度変動が少なくかつ映像によって誘発される視覚誘発電位の影響を受けない高精度な聴覚事象関連電位計測を実現する。
【００２６】
本実施形態においては、探査電極を中心部（Ｃｚ）に設け、基準電極を右マストイドに設けて、探査電極と基準電極の電位差である脳波を計測するものとする。なお、事象関連電位の特徴成分のレベルや極性は、脳波計測用の電極を装着する部位や、基準電極および探査電極の設定位置に応じて変わる可能性がある。しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極に応じて適切な改変を行って事象関連電位の特徴を抽出し、聴覚事象関連電位の測定を行うことが可能である。そのような改変例は、本発明の範疇である。
【００２７】
＜利用環境＞
図４は、聴覚事象関連電位計測システム１の構成および利用環境を示す。この聴覚事象関連電位計測システム１は、後述する実施形態１のシステム構成に対応させて例示している。
【００２８】
聴覚事象関連電位計測システム１は、ユーザ５の聴覚事象関連電位を高精度に計測するためのシステムである。ユーザ５の脳波信号は、ユーザが頭部に装着した生体信号計測部５０によって取得され、無線または有線で聴覚事象関連電位計測装置１０に送付される。聴覚刺激出力部６１と映像出力部７１は、聴覚事象関連電位計測装置１０から無線または有線で、それぞれ聴覚刺激と映像の情報を受け、ユーザ５にそれぞれ聴覚刺激と映像を呈示する。図４に示す聴覚事象関連電位計測システム１は、生体信号計測部５０および聴覚刺激出力部６１を同じ筐体内に備える。しかしこれは例である。聴覚事象関連電位計測システム１は、生体信号計測部５０および聴覚刺激出力部６１を別筐体に備えてもよい。
【００２９】
生体信号計測部５０は、少なくとも２つの電極Ａおよび電極Ｂと接続されている。例えば、電極Ａはユーザ５のマストイドに貼り付けられ、電極Ｂはユーザ５の頭皮上の中心部（いわゆるＣｚ）に貼り付けられている。生体信号計測部５０は、電極Ａと電極Ｂとの電位差に対応するユーザ５の脳波を計測する。
【００３０】
聴覚刺激出力部６１は、ユーザ５に聴覚刺激を出力するヘッドフォンである。
【００３１】
映像出力部７１は、ユーザ５に映像を呈示するモニタである。
【００３２】
聴覚事象関連電位計測装置１０は、たとえば映画やＴＶ番組の映像をユーザ５に呈示しながら、聴覚刺激を呈示し、聴覚事象関連電位を計測する。そして、映像の輝度変化タイミングを検出して、そのタイミングから所定の時間内に呈示された聴覚刺激を聴覚事象関連電位算出の加算平均から除外する。
【００３３】
＜ハードウェア構成＞
図５は、本実施形態による聴覚事象関連電位計測装置１０のハードウェア構成を示す。聴覚事象関連電位計測装置１０は、ＣＰＵ３０と、メモリ３１と、オーディオコントローラ３２と、グラフィックコントローラ３３を備えている。ＣＰＵ３０と、メモリ３１と、オーディオコントローラ３２、グラフィックコントローラ３３とは、互いにバス３４で接続されており、相互にデータの授受が可能である。
【００３４】
ＣＰＵ３０は、メモリ３１に格納されているコンピュータプログラム３５を実行する。コンピュータプログラム３５には、後述するフローチャートに示される処理手順が記述されている。聴覚事象関連電位計測装置１０、このコンピュータプログラム３５にしたがって、聴覚刺激の生成、映像の再生、映像の輝度変化検出、除外試行の判定等の、聴覚事象関連電位計測システム１の全体を制御する処理を行う。この処理は後に詳述する。
【００３５】
オーディオコントローラ３２は、ＣＰＵ３０の命令に従って、それぞれ、呈示すべき聴覚刺激を指定されたタイミングで、指定された音圧および持続時間で聴覚刺激出力部６１を介して出力する。
【００３６】
グラフィックコントローラ３３は、ＣＰＵ３０の命令に従って、映像出力部７１を介して映像を出力する。
【００３７】
なお、聴覚事象関連電位計測装置１０は、１つの半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現されてもよい。そのようなＤＳＰは、１つの集積回路で上述のＣＰＵ３０、メモリ３１、オーディオコントローラ３２、グラフィックコントローラ３３の機能を全て実現することが可能である。
【００３８】
上述のコンピュータプログラム３５は、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。図５に示すハードウェアを備えた機器（たとえばＰＣ）は、当該コンピュータプログラム３５を読み込むことにより、本実施形態による聴覚事象関連電位計測装置１０として機能し得る。
【００３９】
＜聴覚事象関連電位計測システム１の構成＞
図６は、本実施形態による聴覚事象関連電位計測システム１の機能ブロックの構成を示す。聴覚事象関連電位計測システム１は、生体信号計測部５０と、聴覚刺激出力部６１と、映像出力部７１と、聴覚事象関連電位計測装置１０とを有している。
【００４０】
また、聴覚事象関連電位計測装置１０は、脳波処理部５５と、聴覚刺激生成部６０と、映像再生処理部７０と、輝度変化検出部７５と、除外試行決定部８０と、聴覚事象関連電位算出部１００とを備えている。ユーザ５のブロックは説明の便宜のために示されている。なお、聴覚事象関連電位計測装置１０は、脳波処理部５５と、輝度変化検出部７５と、聴覚事象関連電位算出部１００とを少なくとも備えればよい。
【００４１】
聴覚事象関連電位計測装置１０の各機能ブロックは、それぞれ、図５で説明したプログラムが実行されることによって、ＣＰＵ３０、メモリ３１、オーディオコントローラ３２、グラフィックコントローラ３３によって全体としてその時々で実現される機能に対応している。
【００４２】
＜聴覚刺激生成部６０＞
聴覚刺激生成部６０は、ユーザ５に呈示する聴覚刺激の情報を決定する。聴覚刺激の情報は、ユーザ５の右耳か左耳のどちらに呈示するのか、及び、呈示する聴覚刺激の周波数、音圧を含む。呈示する聴覚刺激の左右耳および周波数、音圧を決定する。
【００４３】
たとえば次の制約に基づいてランダムに決定してもよい。直前の聴覚刺激と同じ周波数、同じ音圧の聴覚刺激は選択しないことが好ましい。左右耳はランダムな順序で選択する。ただし、左右どちらか一方の耳への聴覚刺激の呈示を４回以上連続させないことが好ましい。こうすることで、同一耳、周波数の聴覚刺激の連続呈示による脳波の慣れ（ｈａｂｉｔｕａｔｉｏｎ）の影響が低減され、高精度な聴覚事象関連電位計測が実現できる。
【００４４】
聴覚刺激生成部６０は、決定した聴覚刺激を生成し、所定の刺激間間隔をあけて聴覚刺激出力部６１に送付する。聴覚刺激は、たとえば、立ち上がり、立下り３ｍｓのトーンバースト音としてもよい。聴覚刺激の持続時間は、聴覚事象関連電位が安定して惹起されるよう、たとえば２５ｍｓ以上に設定する。所定の時間間隔は、音刺激の持続時間以上で２秒以下の時間に設定する。たとえば、５００ｍｓとしてもよいし、１秒としてもよい。また、聴覚刺激生成部６０は、聴覚刺激出力部６１に聴覚刺激の情報を送付したタイミングで、脳波処理部５５にトリガを出力する。このトリガは、脳波処理部５５において聴覚刺激に対する事象関連電位を切り出す際に利用される。加えて、聴覚刺激生成部６０は、聴覚刺激出力部６１に聴覚刺激の情報を送付したタイミングで、聴覚刺激を呈示したタイミング、左右耳、聴覚刺激の周波数および音圧を除外試行決定部８０に送付する。
【００４５】
＜聴覚刺激出力部６１＞
聴覚刺激出力部６１は、聴覚刺激生成部６０と有線または無線で接続されている。聴覚刺激出力部６１は、聴覚刺激生成部６０で生成された聴覚刺激データを再生し、ユーザ５に呈示する。
【００４６】
＜生体信号計測部５０＞
生体信号計測部５０は、ユーザ５の生体信号を計測する脳波計である。生体信号計測部５０は、ユーザ５に装着されている基準電極と探査電極との電位差に対応する、ユーザ５の生体信号を計測する。本実施形態において、ユーザ５の生体信号は、脳波である。
【００４７】
好ましくは、生体信号計測部５０は、脳波データに対して適切な遮断周波数の周波数フィルタリングを行う。そして、その脳波データを脳波処理部５５に送付する。周波数フィルタとしてバンドパスフィルタを用いる場合は、たとえば５Ｈｚから１５Ｈｚまでを通過させるように遮断周波数を設定してもよい。ユーザ５はあらかじめ脳波計を装着しているものとする。脳波計測用の探査電極はたとえば中心部のＣｚに装着される。
【００４８】
＜脳波処理部５５＞
脳波処理部５５は、生体信号計測部５０から受けた脳波データから、聴覚刺激生成部６０から受けたトリガを起点に、所定区間（たとえば聴覚刺激呈示前１００ｍｓから聴覚刺激呈示後４００ｍｓの区間）の事象関連電位を切り出す。なお、切り出した事象関連電位とは、計測した生体信号から脳波データの所定区間の電位のみを抽出したデータだけでなく、計測した生体信号において所定区間の電位を特定しているだけのデータも含む。脳波処理部５５は、取得した事象関連電位を聴覚事象関連電位算出部１００に送付する。脳波処理部５５が記憶している所定の区間は、第１の時間範囲に対応する。
【００４９】
＜映像再生処理部７０＞
映像再生処理部７０は、映像再生処理部７０内にあらかじめ保持している映像コンテンツを再生する。映像コンテンツとは、少なくとも一部が異なる複数の画像が、時系列で連続している情報である。たとえば、映画やＴＶ映像のドラマやスポーツ中継とする。ユーザ５の覚醒度の変動を抑制するために、ユーザ５の興味度合いに合わせてユーザ５がコンテンツを選択できるようにしてもよい。なお、映像コンテンツは、音を含まないようにあらかじめ加工しておくものとする。
【００５０】
＜映像出力部７１＞
映像出力部７１は、映像再生処理部７０と有線または無線でつながり、映像再生処理部７０で再生処理された映像を再生する。映像は、聴覚事象関連電位計測中、常に再生するものとする。
【００５１】
＜輝度変化検出部７５＞
輝度変化検出部７５は、映像再生処理部７０で再生処理をした映像コンテンツの輝度変化のタイミングを検出する。輝度変化量は、たとえば画素ごとにフレームごとの輝度の差分を算出し、その差分を積分して求めてもよい。そして、求めた輝度変化量とあらかじめ設定した輝度変化量に関する所定の閾値との比較を行う。
【００５２】
その結果、輝度変化量が所定の閾値よりも大きかった場合には、輝度変化ありとして、その輝度変化タイミングを記録し、輝度変化タイミングを除外試行決定部８０に送付する。なお、輝度変化量が所定の閾値よりも小さかった場合、除外試行決定部８０に輝度変化が小さかったことを送付してもよいし、何も送付しなくてもよい。また、輝度変化検出部７５における映像の輝度変化検出は、リアルタイムに実施してもよいし、映像再生終了後にまとめて実施してもよい。
【００５３】
＜除外試行決定部８０＞
除外試行決定部８０は、聴覚刺激の呈示タイミングおよび聴覚刺激の情報である左右耳、周波数、音圧の情報を聴覚刺激生成部６０から受け取る。また、輝度変化検出部７５から輝度変化タイミングを受け取る。そして、輝度変化タイミング後所定の時間帯に呈示された聴覚刺激を加算平均から除外するように決定する。図３に模式的に示したように、輝度変化から約２００ｍｓまでは視覚誘発電位の影響を多く受けるため、所定の時間帯とは輝度変化のタイミング後０ｍｓ以上、２００ｍｓ以下としてもよい。また、輝度変化のタイミング前１００ｍｓ以上、後２００ｍｓ以下としてもよい。そして、除外試行フラグを立てて、聴覚刺激の情報とともに、聴覚事象関連電位算出部１００に送付する。
【００５４】
＜聴覚事象関連電位算出部１００＞
聴覚事象関連電位算出部１００は、除外試行決定部８０から受けた聴覚刺激の情報および除外試行の情報に基づいて、脳波処理部５５から受けた事象関連電位のうち除外試行フラグの立っていない試行の事象関連電位を加算平均する。
【００５５】
図７は、聴覚事象関連電位算出部１００が、除外試行決定部８０および脳波処理部５５から受ける情報の例を示す。試行番号ごとに、聴覚刺激の情報と除外試行フラグおよび事象関連電位の対応付けを行う。そして、たとえば左右耳ごと、周波数ごと、音圧ごとに除外試行フラグが立っていない試行の事象関連電位を加算平均する。図７中の「試行番号」は、聴覚事象関連電位の計測を開始してから呈示された聴覚刺激の通し番号である。聴覚刺激の情報のうち「左右」は、聴覚刺激を呈示した左右耳の識別番号である。たとえば右耳を１、左耳を２としてもよい。「周波数」は、聴覚刺激の周波数で単位はHzである。「音圧」は、聴覚刺激の音圧で単位はｄBHLである。「除外試行フラグ」は、除外試行決定部８０で決定された除外試行のフラグである。たとえば、除外試行であると決定した場合に１を、除外試行でないと決定した試行を０としてもよい。「事象関連電位」は、脳波処理部５５において切り出したユーザ５の事象関連電位である。図７中では、模式的に波形を示したが、事象関連電位のデータをたとえばサンプリングポイント数×計測チャンネル数の配列として受ける。
【００５６】
なお、除外試行決定部８０を省略することもできる。その場合には、聴覚事象関連電位算出部１００は、輝度変化検出部７５から輝度変化タイミングを取得する。脳波処理部５５が取得した複数の聴覚刺激に対する事象関連電位のうち、取得した輝度変化タイミング（時刻）を基準とした所定の時間範囲の聴覚刺激以外の事象関連電位を加算平均する。また、聴覚事象関連電位算出部１００が記憶している所定の時間範囲は、第２の時間範囲に対応する。
【００５７】
＜聴覚事象関連電位計測システム１の処理フロー＞
次に、図８を参照しながら図６の聴覚事象関連電位計測システム１において行われる処理手順を説明する。図８は、聴覚事象関連電位計測システム１において行われる処理の手順を示すフローチャートである。
【００５８】
ステップＳ１０１において、生体信号計測部５０は、生体信号としてユーザ５の脳波を計測する。そして、脳波データに対して適切な遮断周波数の周波数フィルタリングを行い、連続脳波データを脳波処理部に送付する。
【００５９】
ステップＳ１０２において、映像再生処理部７０は、映像再生処理部７０内にあらかじめ保持した映像コンテンツを再生し、映像出力部７１を介してユーザ５に呈示する。映像コンテンツとは、たとえば映画やＴＶ映像のドラマやスポーツ中継とする。ユーザ５の覚醒度の変動を抑制するために、ユーザ５の興味度合いに合わせてユーザ５がコンテンツを選択できるようにしてもよい。なお、映像コンテンツは、音を含まないようにあらかじめ加工しておくものとする。
【００６０】
ステップＳ１０３において、輝度変化検出部７５は、映像再生処理部７０で再生処理をした映像コンテンツの輝度変化のタイミングを検出する。輝度変化量は、たとえば画素ごとにフレームごとの輝度の差分を算出し、その差分を積分して求めてもよい。
【００６１】
ステップＳ１０４は、ステップＳ１０３で求めた輝度変化量とあらかじめ設定した輝度変化量よりも大きいかどうかの比較による分岐である。輝度変化量の比較は、輝度変化検出部７５で実施する。比較の結果、輝度変化量が所定の閾値よりも大きかった場合には、輝度変化ありとして、ステップＳ１０９に進む。一方、所定の閾値よりも小さかった場合には、ステップＳ１１０に進む。
【００６２】
ステップＳ１０５において、聴覚刺激生成部６０は、ユーザ５に呈示する聴覚刺激の情報を決定する。聴覚刺激の情報は、ユーザ５の右耳か左耳のどちらに呈示するのか、及び、呈示する聴覚刺激の周波数、音圧を含む。呈示する聴覚刺激の左右耳および周波数、音圧を決定する。そして、聴覚刺激生成部６０は、決定した聴覚刺激を生成し、所定の刺激間間隔をあけて聴覚刺激出力部６１に送付する。また、聴覚刺激生成部６０は、聴覚刺激出力部６１に聴覚刺激の情報を送付したタイミングで、脳波処理部５５にトリガを出力する。加えて、聴覚刺激生成部６０は、聴覚刺激出力部６１に聴覚刺激の情報を送付したタイミングで、聴覚刺激を呈示したタイミング、左右耳、聴覚刺激の周波数および音圧を除外試行決定部８０に送付する。
【００６３】
ステップＳ１０６において、聴覚刺激出力部６１は、聴覚刺激生成部６０で生成された聴覚刺激データを再生し、ユーザ５に呈示する。
【００６４】
ステップＳ１０７において、脳波処理部５５は、生体信号計測部５０から受けた脳波データから、聴覚刺激生成部６０から受けたトリガを起点に、所定区間（たとえば聴覚刺激呈示前１００ｍｓから聴覚刺激呈示後４００ｍｓの区間）の事象関連電位を切り出す。そして、その事象関連電位を聴覚事象関連電位算出部１００に送付する。
【００６５】
ステップＳ１０８は、ステップＳ１０５からステップＳ１０７の聴覚刺激呈示および事象関連電位抽出をあらかじめ設定した所定の回数だけ実施したかによる分岐である。たとえば、左右それぞれの耳について、５つの周波数のそれぞれ３つの音圧に対して、３０回の繰り返し回数とした場合、所定回数とは９００回（２×５×３×３０）である。ステップＳ１０８でＹｅｓの場合にはステップＳ１１０へ進み、Ｎｏの場合にはステップＳ１０５へ戻って聴覚刺激呈示および事象関連電位抽出を繰り返す。
【００６６】
ステップＳ１０９は、除外試行決定部８０において、ステップＳ１０４で求めた輝度変化タイミングと、ステップＳ１０６で聴覚刺激の呈示タイミングを参照し、輝度変化タイミング後の所定の時間帯に呈示された聴覚刺激を加算平均から除外するように決定する。所定の時間帯とは輝度変化のタイミング後０ｍｓ以上、２００ｍｓ以下としてもよい。また、輝度変化のタイミング前１００ｍｓ以上、後２００ｍｓ以下としてもよい。そして、該当する試行に除外試行フラグを立てる。
【００６７】
ステップＳ１１０において、聴覚事象関連電位算出部１００は、除外試行決定部８０から受けた聴覚刺激の情報および除外試行の情報に基づいて、脳波処理部５５から受けた事象関連電位のうち除外試行フラグの立っていない試行の事象関連電位を加算平均する。
【００６８】
本実施形態の聴覚事象関連電位計測システム１によれば、聴覚事象関連電位計測中に映像を呈示し、映像の輝度変化のタイミングを検出し、輝度変化のタイミング後所定時間内に呈示された聴覚刺激を加算平均から除外して、ユーザの覚醒度変動が少なくかつ映像によって誘発される視覚誘発電位の影響を受けない高精度な聴覚事象関連電位計測が実現できる。これにより、ユーザの聞こえ評価の精度が向上し、たとえばユーザの不満の少ない補聴器の調整が実現できるようになる。
【００６９】
なお、本実施形態においては、聴覚事象関連電位計測の結果の蓄積をしていないが、結果蓄積用のデータベースを新たに設け、結果を蓄積してもよい。
【００７０】
なお、本実施形態においては、呈示する映像は映像再生処理部７０にあらかじめ保持しているとした。しかし、聴覚事象関連電位計測時にリアルタイムで放送されているＴＶ映像を呈示してもよい。その場合も同様に輝度変化検出部７５において、ＴＶ映像の輝度変化を検出すればよい。
【００７１】
（実施形態２）
実施形態１による聴覚事象関連電位計測システム１では、聴覚刺激と並列に呈示した映像の輝度変化タイミングを検出し、輝度変化タイミングを起点に所定の時間範囲の聴覚刺激を加算平均から除外した。輝度変化に関連した除外試行を設けることで、映像に対する視覚誘発電位に関するノイズ成分が混入しないため、ユーザの覚醒度低下を抑制しつつ高精度な聴覚事象関連電位の計測が可能になった。
【００７２】
しかしながら、ある規則に基づいて聴覚刺激を呈示し、その規則に対応した聴覚事象関連電位を計測する場合には、輝度変化に関連して規則的な聴覚刺激の一部が除外試行となるため、聴覚刺激の規則性が失われる可能性があった。たとえば、同一周波数で同一の音圧を２回連発呈示し第１音と第２音に対する聴覚事象関連電位の変化量を用いてユーザの聞こえ状態を評価する場合、第１音あるいは第２音のみが除外試行になることで、変化量が正しく計測できない可能性があった。また、たとえば同一周波数で規則的に音圧を変化させて第１音から第ｎ音まで聴覚刺激を連発し、第１音から第ｎ音までの聴覚事象関連電位の変化パターンからユーザの聞こえ状態を評価する場合、部分的に除外試行になることで、パターンが正しく計測できない可能性があった。
【００７３】
そこで、本実施形態では、規則的な聴覚刺激を聴覚刺激群とし、聴覚刺激群ごとに除外試行を決定し、規則的な聴覚刺激に対する聴覚事象関連電位の変化量をより高精度に計測する、聴覚事象関連電位計測システムについて説明する。
【００７４】
図９は、実施形態による聴覚事象関連電位計測システム２の機能ブロックの構成を示す。聴覚事象関連電位計測システム２は、生体信号計測部５０と、聴覚刺激出力部６１と、映像出力部７１と、聴覚事象関連電位計測装置２０とを有している。図６と同じブロックについては同一の参照符号を付し、その説明は省略する。なお、聴覚事象関連電位計測装置２０のハードウェア構成は、図５に示すとおりである。実施形態１で説明したプログラム３５と異なる処理を規定するプログラムが実行されることにより、図９に示す本実施形態による聴覚事象関連電位計測装置２０が実現される。
【００７５】
本実施形態による聴覚事象関連電位計測装置２０が、実施形態１による聴覚事象関連電位計測装置１０と大きく相違する点は、聴覚刺激生成部６０に代えて聴覚刺激群生成部６２を設けた点、および、除外試行決定部８０に代えて除外試行群決定部８２を設けた点である。
【００７６】
以下、聴覚刺激群生成部６２と除外試行群決定部８２について説明する。
【００７７】
聴覚刺激群生成部６２は、ユーザ５に呈示する規則的な聴覚刺激である聴覚刺激群の情報を決定する。聴覚刺激の規則性は、あらかじめ設定されるものとする。規則的な聴覚刺激としては、たとえば同一周波数かつ同一音圧の聴覚刺激を所定間隔で２回連発呈示する、あるいは、同一周波数の聴覚刺激を規則的に音圧変化させて呈示する、が考えられる。このような規則的な聴覚刺激に対する聴覚事象関連電位の変化量あるいは変化パターンを指標に、ユーザの聞こえ状態を推定できる可能性がる。また、聴覚刺激群生成部６２は、決定した呈示耳、周波数、音圧に基づいて、聴覚刺激群を生成する。そして、聴覚刺激出力部６１に生成した聴覚刺激群の情報を送付し、そのタイミングで脳波処理部５５にトリガを出力する。トリガは、聴覚刺激群内の聴覚刺激ごとに出力する。さらに、聴覚刺激群生成部６２は、聴覚刺激群の情報を除外試行群決定部８２に送付する。聴覚刺激群の情報とは、聴覚刺激群を呈示する左右耳、聴覚刺激群の周波数と音圧である。
【００７８】
除外試行群決定部８２は、聴覚刺激群の呈示タイミングおよび聴覚刺激の情報である左右耳、周波数、音圧の情報を聴覚刺激群生成部６２から受け取る。また、輝度変化検出部７５から輝度変化タイミングを受け取る。図１０は、除外試行群決定部８２における除外試行群決定の概念を示す。聴覚刺激群ごとに、輝度変化タイミングを起点に所定の時間範囲に呈示された聴覚刺激が存在したか否かを判定し、一つでも存在した場合には、その聴覚刺激群のすべての聴覚刺激を除外試行と決定する。輝度変化から約２００ｍｓまでは視覚誘発電位の影響を多く受けるため、実施形態１の除外試行決定部８０と同様に、所定の時間帯とは輝度変化のタイミング後０ｍｓ以上、２００ｍｓ以下としてもよい。また、輝度変化のタイミング前１００ｍｓ以上、後２００ｍｓ以下としてもよい。そして、該当する聴覚刺激群に対して除外試行フラグを立てて、聴覚刺激群の情報とともに、聴覚事象関連電位算出部１００に送付する。図１１は、除外試行群決定部８２が、聴覚事象関連電位算出部１００に送付する情報の例を示す。図１１では、左右耳ごとに、５００Ｈｚ、１０００Ｈｚ、２０００Ｈｚ、４０００Ｈｚの周波数の聴覚刺激を８０ｄＢＨＬ、７５ｄＢＨＬ、７０ｄＢＨＬの規則的な音圧変化で呈示する場合の例である。３段階の音圧変化をまとめて聴覚刺激群としている。図１１中の聴覚刺激群番号は、聴覚刺激群の通し番号である。除外試行フラグは、聴覚刺激群番号ごとに立てる。除外試行フラグは、図７と同様に、たとえば除外する刺激群に対して「１」を、除外しない刺激群に対して「０」としてもよい。
【００７９】
次に、図１２のフローチャートを参照しながら、聴覚事象関連電位計測システム２において行われる全体的な処理の手順を説明する。
【００８０】
図１２は、本実施形態による聴覚事象関連電位計測システム２の処理手順を示す。図１２では、聴覚事象関連電位計測システム１の処理（図８）と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
【００８１】
本実施形態による聴覚事象関連電位計測システム２の処理が、実施形態１による聴覚事象関連電位計測システム１の処理と相違する点は、ステップＳ２０１およびＳ２０２である。それ以外のステップについては、図８に関連して既に説明しているため、説明を省略する。
【００８２】
ステップＳ２０１において、聴覚刺激群生成部６２は、ユーザ５に呈示する規則的な聴覚刺激である聴覚刺激群の情報を決定する。また、聴覚刺激群生成部６２は、決定した呈示耳、周波数、音圧に基づいて、聴覚刺激群を生成し、聴覚刺激出力部６１に生成した聴覚刺激群の情報を送付して、そのタイミングで脳波処理部５５にトリガを出力する。さらに、聴覚刺激群生成部６２は、聴覚刺激群の情報を除外試行群決定部８２に送付する。聴覚刺激群の情報とは、聴覚刺激群を呈示する左右耳、聴覚刺激群の周波数と音圧である。
【００８３】
ステップＳ２０２において、除外試行群決定部８２は、聴覚刺激群生成部６２から受けた聴覚刺激群の呈示タイミングおよび聴覚刺激の情報である左右耳、周波数、音圧の情報と、輝度変化検出部７５から受けた輝度変化タイミングに基づいて、除外する聴覚刺激群を決定する。聴覚刺激群ごとに、輝度変化タイミングを起点に所定の時間範囲に呈示された聴覚刺激が存在したか否かを判定し、一つでも存在した場合には、その聴覚刺激群のすべての聴覚刺激を除外試行と決定する。そして、該当する聴覚刺激群に対して除外試行フラグを立てて、聴覚刺激群の情報とともに、聴覚事象関連電位算出部１００に送付する。
【００８４】
このような処理によって、規則的な聴覚刺激に対する聴覚事象関連電位の変化量または変化パターンをより高精度に計測する、聴覚事象関連電位計測システムが実現できる。
【産業上の利用可能性】
【００８５】
本発明の聴覚事象関連電位計測装置および聴覚事象関連電位計測装置が組み込まれた聴覚事象関連電位計測システムによれば、聴覚刺激と並列に呈示した映像の輝度変化タイミングを検出し、輝度変化タイミングを起点に所定の時間範囲の聴覚刺激を加算平均から除外することで、ユーザの覚醒度低下を抑制しつつ高精度な聴覚事象関連電位の計測が実現される。高精度な聴覚事象関連電位の計測結果は、ユーザの客観的な聞こえ評価において利用可能である。
【符号の説明】
【００８６】
１、２ 聴覚事象関連電位計測システム
５ ユーザ
１０、２０ 聴覚事象関連電位計測装置
５０ 生体信号計測部
５５ 脳波処理部
６０ 聴覚刺激生成部
６１ 聴覚刺激出力部
６２ 聴覚刺激群生成部
７０ 映像再生処理部
７１ 映像出力部
７５ 輝度変化検出部
８０ 除外試行決定部
８２ 除外試行群決定部
【特許請求の範囲】
【請求項１】
ユーザの脳波信号を計測する生体信号計測部と、
前記ユーザに、複数の聴覚刺激を呈示する聴覚刺激出力部と、
前記脳波信号において、前記聴覚刺激が呈示された時刻を起点として第１の時間範囲の事象関連電位を取得する脳波処理部と、
前記ユーザに映像を呈示する映像出力部と、
前記出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出する輝度変化検出部と、
前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出する聴覚事象関連電位算出部と
を備えた、聴覚事象関連電位計測システム。
【請求項２】
さらに、前記輝度変化タイミングの後の第２の時間範囲に呈示された前記聴覚刺激を除外試行と決定する除外試行決定部とを備え、
前記聴覚事象関連電位算出部は、前記呈示された複数の聴覚刺激のうち、除外試行決定部が除外試行と決定した聴覚刺激を除いた、聴覚刺激に対する事象関連電位を加算平均する、聴覚事象関連電位計測システム。
【請求項３】
前記輝度変化検出部において、映像のフレーム間で、画素ごとに輝度または色の変化を積分し、輝度変化量とする、
請求項１に記載の聴覚事象関連電位計測システム。
【請求項４】
前記第２の時間範囲は、前記輝度変化タイミングの後５０ｍｓ以上２００ｍｓ以下の範囲を含む、
請求項１に記載の聴覚事象関連電位計測システム。
【請求項５】
さらに、前記ユーザに呈示する映像コンテンツを保持し、保持した映像コンテンツの再生処理を行う映像再生処理部を備えた、
請求項１に記載の聴覚事象関連電位計測システム。
【請求項６】
前記映像再生処理部において保持する映像コンテンツは、音情報を含まない、
請求項５に記載の聴覚事象関連電位計測システム。
【請求項７】
前記映像再生処理部において保持する映像コンテンツは、ユーザ自信が選択できることを特徴とした、
請求項５に記載の聴覚事象関連電位計測システム。
【請求項８】
さらに、前記ユーザに呈示する聴覚刺激の左右耳、周波数、音圧を決定し、決定した特性を有する聴覚刺激を生成する聴覚刺激生成部を備える、
請求項１に記載の聴覚事象関連電位計測システム。
【請求項９】
前記聴覚刺激生成部において、あらかじめ設定された規則的なパターンを有する２つ以上の聴覚刺激からなる聴覚刺激群を呈示し、前記除外試行決定部において、聴覚刺激群内の聴覚刺激がひとつでも除外試行と判定した場合に当該聴覚刺激群の全体を除外試行と決定する、
請求項２に記載の聴覚事象関連電位計測システム。
【請求項１０】
ユーザの脳波信号を計測するステップと、
前記ユーザに映像を呈示するステップと、
前記ユーザに映像を呈示しているときに、複数の聴覚刺激を呈示するステップと、
前記出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出するステップと、
前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出するステップと
を備えた、聴覚事象関連電位計測方法。
【請求項１１】
コンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは、前記コンピュータに対し、
ユーザの脳波信号を計測するステップと、
前記ユーザに映像を呈示するステップと、
前記ユーザに映像を呈示しているときに、複数の聴覚刺激を呈示するステップと、
前記出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出するステップと、
前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出するステップと
を実行させる、コンピュータプログラム。
【請求項１２】
生体信号計測部が計測したユーザの脳波信号において、映像出力部によりユーザに映像が呈示されている状態で、前記ユーザに聴覚刺激が呈示された時刻を起点として第１の時間範囲の事象関連電位を取得する脳波処理部と、
前記ユーザに出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出する輝度変化検出部と、
前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出する聴覚事象関連電位算出部と
を備えた、聴覚事象関連電位計測装置。
【請求項１】
ユーザの脳波信号を計測する生体信号計測部と、
前記ユーザに、複数の聴覚刺激を呈示する聴覚刺激出力部と、
前記脳波信号において、前記聴覚刺激が呈示された時刻を起点として第１の時間範囲の事象関連電位を取得する脳波処理部と、
前記ユーザに映像を呈示する映像出力部と、
前記出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出する輝度変化検出部と、
前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出する聴覚事象関連電位算出部と
を備えた、聴覚事象関連電位計測システム。
【請求項２】
さらに、前記輝度変化タイミングの後の第２の時間範囲に呈示された前記聴覚刺激を除外試行と決定する除外試行決定部とを備え、
前記聴覚事象関連電位算出部は、前記呈示された複数の聴覚刺激のうち、除外試行決定部が除外試行と決定した聴覚刺激を除いた、聴覚刺激に対する事象関連電位を加算平均する、聴覚事象関連電位計測システム。
【請求項３】
前記輝度変化検出部において、映像のフレーム間で、画素ごとに輝度または色の変化を積分し、輝度変化量とする、
請求項１に記載の聴覚事象関連電位計測システム。
【請求項４】
前記第２の時間範囲は、前記輝度変化タイミングの後５０ｍｓ以上２００ｍｓ以下の範囲を含む、
請求項１に記載の聴覚事象関連電位計測システム。
【請求項５】
さらに、前記ユーザに呈示する映像コンテンツを保持し、保持した映像コンテンツの再生処理を行う映像再生処理部を備えた、
請求項１に記載の聴覚事象関連電位計測システム。
【請求項６】
前記映像再生処理部において保持する映像コンテンツは、音情報を含まない、
請求項５に記載の聴覚事象関連電位計測システム。
【請求項７】
前記映像再生処理部において保持する映像コンテンツは、ユーザ自信が選択できることを特徴とした、
請求項５に記載の聴覚事象関連電位計測システム。
【請求項８】
さらに、前記ユーザに呈示する聴覚刺激の左右耳、周波数、音圧を決定し、決定した特性を有する聴覚刺激を生成する聴覚刺激生成部を備える、
請求項１に記載の聴覚事象関連電位計測システム。
【請求項９】
前記聴覚刺激生成部において、あらかじめ設定された規則的なパターンを有する２つ以上の聴覚刺激からなる聴覚刺激群を呈示し、前記除外試行決定部において、聴覚刺激群内の聴覚刺激がひとつでも除外試行と判定した場合に当該聴覚刺激群の全体を除外試行と決定する、
請求項２に記載の聴覚事象関連電位計測システム。
【請求項１０】
ユーザの脳波信号を計測するステップと、
前記ユーザに映像を呈示するステップと、
前記ユーザに映像を呈示しているときに、複数の聴覚刺激を呈示するステップと、
前記出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出するステップと、
前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出するステップと
を備えた、聴覚事象関連電位計測方法。
【請求項１１】
コンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは、前記コンピュータに対し、
ユーザの脳波信号を計測するステップと、
前記ユーザに映像を呈示するステップと、
前記ユーザに映像を呈示しているときに、複数の聴覚刺激を呈示するステップと、
前記出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出するステップと、
前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出するステップと
を実行させる、コンピュータプログラム。
【請求項１２】
生体信号計測部が計測したユーザの脳波信号において、映像出力部によりユーザに映像が呈示されている状態で、前記ユーザに聴覚刺激が呈示された時刻を起点として第１の時間範囲の事象関連電位を取得する脳波処理部と、
前記ユーザに出力された映像の輝度変化量が所定の閾値を超えた時刻を、輝度変化タイミングとして検出する輝度変化検出部と、
前記呈示された複数の聴覚刺激のうち、前記輝度変化タイミングの後の第２の時間範囲に呈示された聴覚刺激を除いた、聴覚刺激に対する事象関連電位を算出する聴覚事象関連電位算出部と
を備えた、聴覚事象関連電位計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−８５７３１（Ｐ２０１３−８５７３１Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２９３５６（Ｐ２０１１−２２９３５６）
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]