脳波処理装置、脳波処理プログラム及び脳波処理方法
【課題】利用者の脳波を用いた音質の客観的評価をするようにした脳波処理装置を提供する。
【解決手段】脳波処理装置の音発生手段は、音を発生し、脳波計測手段は、前記音発生手段によって発生している音を聞いている利用者の脳波を計測し、分析手段は、前記脳波計測手段によって計測された脳波を対象として統計的分析を行い、判別分析手段は、前記分析手段による分析結果に基づいて、判別分析を行い、出力手段は、前記音発生手段によって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析手段による判別結果を出力する。
【解決手段】脳波処理装置の音発生手段は、音を発生し、脳波計測手段は、前記音発生手段によって発生している音を聞いている利用者の脳波を計測し、分析手段は、前記脳波計測手段によって計測された脳波を対象として統計的分析を行い、判別分析手段は、前記分析手段による分析結果に基づいて、判別分析を行い、出力手段は、前記音発生手段によって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析手段による判別結果を出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、脳波処理装置、脳波処理プログラム及び脳波処理方法に関する。
【背景技術】
【0002】
音楽聴取において音質を決定づける機器の一つであるスピーカ、イヤホンは、電気信号を物理信号に変換して音を生み出す装置である。これらの機器は、木や金属などの素材や筺体の構造によって、周波数特性、歪み、過渡応答といった音の物理特性を変化させることができ、これらの物理特性により評価される。この物理特性による評価とは、音の忠実な再現に関する評価である。
しかしながら、例えば人間の耳の器官の構造には個人差があり、同じ機器、特性、距離において音を聴いた場合でも知覚する音質は人によって様々である。このため、良い音質とされる物理特性が万人共通のものとは言い難く、音響機器設計の際にはユーザ毎に音質評価を行うことが望ましい。
【0003】
音質を評価する方法として、一般にアンケート調査などの主観評価が用いられる(例えば、非特許文献1参照)。音質の主観評価には、“滑らかさ”や“分離の良さ”などの表現が用いられ、項目毎に段階的な点数をつけることで評価を行う。
しかしながら、音質評価に不慣れな人は、音楽聴取時の感性をこれらの項目に対して正確に反映することは難しい。一方、人間の心理変化の計測及び感性・嗜好の定量化を行う方法として、脳波を用いた客観的指標を利用する研究が行われている(例えば、非特許文献2〜5参照)。特に、左前頭葉部分から観測される脳波は、外部刺激や内因的要素から変化する人間の心理変化により生じる電位の波形である可能性が高いとされている。
【0004】
また、脳波を計測して被験者の嗜好等を判別する技術として、例えば、特許文献1には、被験者の負担にならない簡易脳波計を用いて脳波を測定することで、被験者の嗜好及び/又は生理的状態を簡単に判別することができる嗜好判別装置、嗜好判別方法、嗜好判別プログラム、及び脳波解析方法を提供することを課題とし、刺激発生部は、被験者が好む匂い刺激を発生し、簡易脳波計は、装着した被験者の脳波を測定し、処理部内のデータ行列作成部は、測定した脳波データについて高速フーリエ変換による周波数解析を行い、データ行列作成部は、高速フーリエ変換を行った脳波データから、行が時間、列が周波数成分のデータ行列を作成し、特徴値抽出部は、作成したデータ行列から、因子分析により特徴値の抽出を行い、制御部は、抽出した特徴値について、データベースに予め格納されている、分類テーブルを参照して、好む匂いか嫌いな匂いかの嗜好を判定することが開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−131328号公報
【非特許文献】
【0006】
【非特許文献1】厨川守,八尋博司,柏木成豪:「音質評価のための7属性」,日本音響学会誌,Vol.32,No.8,pp.1259−1266(1978)
【非特許文献2】上野秀剛,石田響子,松田侑子,福嶋祥太,中道上,大平雅雄,松本健一,岡田保紀:「脳波を利用したソフトウェアユーザビリティの評価:異なるバージョン間における周波数成分の比較」, ヒューマンインタフェース学会論文誌Vol.10, No.2, pp.233−242 (2008)
【非特許文献3】Hong J.Eoh, Min K. Chung, and Seong−Han Kim, “Electroencephalographic study of drowsiness in simulated driving with sleep deprivation”, International Journal of Industrial Ergonomics, Vol.35, Issue 4,pp.307−320, (2005)
【非特許文献4】T. Ajiro, A. Yamanouchi, K. Shimomura, H. Yamamoto,and K. Kamijo, “A Method for Structure Analysis of EEG Data − Application to ANOVA in Vegetable Ingestion”, IJSNS International Journal of Computer Science and Network Security, Vol.9, No.9pp.70−82 (2009)
【非特許文献5】横山幸生,島田尊正,竹村淳,椎名毅,斉藤陽一:「睡眠脳波の主成分分析とニューラルネットワークによる特徴波検出」,電子情報通信学会論文誌A, 基礎・境界Vol.J76−A,No.8, pp.1050−1058 (1998)
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、このような背景技術の状況の中でなされたもので、利用者の脳波を用いた音質の客観的評価をするようにした脳波処理装置、脳波処理プログラム及び脳波処理方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
[1] 音を発生する音発生手段と、前記音発生手段によって発生している音を聞いている利用者の脳波を計測する脳波計測手段と、前記脳波計測手段によって計測された脳波を対象として統計的分析を行う分析手段と、前記分析手段による分析結果に基づいて、判別分析を行う判別分析手段と、前記音発生手段によって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析手段による判別結果を出力する出力手段を具備することを特徴とする脳波処理装置。
【0009】
[2] 前記脳波計測手段は、左耳朶を基準電極とし、左頭葉箇所の脳波を計測することを特徴とする[1]に記載の脳波処理装置。
【0010】
[3] 前記脳波計測手段は、計測した脳波にフーリエ変換を施し、行又は列を時間又は周波数とするデータ行列を作成することを特徴とする[1]又は[2]に記載の脳波処理装置。
【0011】
[4] 前記分析手段は、主成分分析による分析を行い、少なくとも第1主成分を音質評価の情報が含まれているとして、前記判別分析手段に渡すことを特徴とする[1]から[3]のいずれか一項に記載の脳波処理装置。
【0012】
[5] 前記判別分析手段は、フィッシャーの線形判別分析による判別分析を行い、該フィッシャーの線形判別分析による決定境界を音質評価軸とすることを特徴とする[1]から[4]のいずれか一項に記載の脳波処理装置。
【0013】
[6] 前記脳波計測手段によって計測された脳波と予め定められた標準的な脳波とを比較して、該脳波の調整が必要であるか否かを判断し、調整が必要であると判断した場合は、該脳波に対して調整を行う調整手段をさらに具備し、前記分析手段は、前記調整手段によって調整された脳波を対象として統計的分析を行うことを特徴とする[1]から[5]のいずれか一項に記載の脳波処理装置。
【0014】
[7] コンピュータを、音発生手段によって発生している音を聞いている利用者の脳波を受け付ける脳波受付手段と、前記脳波受付手段によって受け付けられた脳波を対象として統計的分析を行う分析手段と、前記分析手段による分析結果に基づいて、判別分析を行う判別分析手段と、前記音発生手段によって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析手段による判別結果を出力する出力手段として機能させることを特徴とする脳波処理プログラム。
【0015】
[8] 音発生手段により音を発生させる音発生ステップと、前記音発生手段によって発生している音を聞いている利用者の脳波を計測する脳波計測ステップと、前記脳波計測ステップによって計測された脳波を対象として統計的分析を行う分析ステップと、前記分析ステップによる分析結果に基づいて、判別分析を行う判別分析ステップと、前記音発生ステップによって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析ステップによる判別結果を出力する出力ステップを具備することを特徴とする脳波処理方法。
【発明の効果】
【0016】
本発明にかかる脳波処理装置、脳波処理プログラム及び脳波処理方法によれば、評価対象の音を利用者に聞かせ、その際の脳波を計測し、評価対象である音の音質に対する利用者の客観的な評価を行うことができるようになる。さらに、主観評価であるアンケートには表れない音質の評価を行うことができる。
【図面の簡単な説明】
【0017】
【図1】本実施の形態の構成例についての概念的なモジュール構成図である。
【図2】本実施の形態を実現するためのシステム構成例を示す説明図である。
【図3】脳波計測モジュールの例を示す説明図である。
【図4】脳波測定の位置の例を示す説明図である。
【図5】本実施の形態による処理例を示すフローチャートである。
【図6】音響特性の実験例を示すグラフである。
【図7】主成分得点の分布例を示すグラフである。
【図8】主成分得点の分布例を示すグラフである。
【図9】主成分得点の分布例を示すグラフである。
【図10】主成分得点の分布例を示すグラフである。
【図11】音質評価軸の例を示すグラフである。
【図12】音質評価軸の例を示すグラフである。
【図13】音質評価軸の例を示すグラフである。
【図14】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0018】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
【0019】
本実施の形態である脳波処理装置は、評価対象の音を利用者に聞かせ、その際の脳波を計測し、評価対象である音の音質に対する利用者の客観的な評価を行うものであって、図1の例に示すように、制御モジュール110、計測モジュール125、キャリブレーションモジュール140、データ蓄積モジュール150、前処理モジュール160、判別モジュール170、出力モジュール180を有している。
【0020】
計測モジュール125は、音発生モジュール120、脳波計測モジュール130を有しており、キャリブレーションモジュール140と接続されている。
音発生モジュール120は、音を発生する。ここでの音とは、主に音楽であるが、音声等であってもよい。また、音を発生する装置として、音響機器であり、少なくともスピーカ、イヤホンを含むが、これらの他にプレーヤー、アンプ等を含んでいてもよい。また、CD(Compact Disk)等のメディアから音を再生してもよいし、通信回線を介して他のサーバー等に格納されている音を再生するようにしてもよい。
【0021】
脳波計測モジュール130は、音発生モジュール120によって発生している音を聞いている利用者(被験者)の脳波を計測する。脳波計測には脳力開発研究所のBrain Builderという簡易型脳波計を用いてもよい。図3は、脳波計測モジュール130の例を示す説明図である。図3(a)に例示するものは、脳波を計測し、後述の取得データを出力する。図3(b)に例示するものは、利用者の頭部に設置するセンサである。例えば、国際10−20法に従い、図4に例示するように、左耳朶420を基準電極として左前頭葉箇所(計測箇所Fp1:410)の脳波を計測する。脳波計測モジュール130からは、サンプリング周波数128Hzで計測した脳波に対して1秒毎の短時間フーリエ変換を適用した結果を出力する。また、脳波計測モジュール130では4−22Hzの脳波データを用いるため、取得データは(1)式に示すように、行又は列を時間又は周波数(行を時間、列を周波数とするデータ行列、又は列を時間、行を周波数とするデータ行列)とする19次元のデータ行列で表現される。
【数1】
【0022】
キャリブレーションモジュール140は、計測モジュール125、データ蓄積モジュール150と接続されている。キャリブレーションモジュール140は、脳波計測モジュール130によって計測された脳波と予め定められた標準的な脳波とを比較して、その脳波の調整が必要であるか否かを判断し、調整が必要であると判断した場合は、その脳波に対して調整を行う。利用者、日時、その人の体調等によって異なる脳波となる場合があり、これらに対応するためである。
ここで標準的な脳波とは、例えば実験等によって予め定められた1つの閾値であり、その場合の比較とは、その閾値との比較によって差が予め定められた値よりも大きい又は以上の場合に調整が必要であると判断する。また、標準的な脳波を範囲として定めてもよい。その場合の比較とは、その範囲内に入らない場合に調整が必要であると判断する。
具体的な処理例として、最初の30秒間は参照音楽を音発生モジュール120によって発生させ、そのときの脳波を計測して標準的な脳波との比較を行う。
調整として、例えば、脳波の値が予め定められた範囲内に入るように、演算処理を行う等がある。
なお、調整が済んだ利用者の脳波を計測した場合、安定している利用者である場合等には、キャリブレーションモジュール140はなくてもよい。
【0023】
データ蓄積モジュール150は、キャリブレーションモジュール140、前処理モジュール160と接続されている。データ蓄積モジュール150は、キャリブレーションモジュール140によって調整された脳波又は脳波計測モジュール130によって計測された脳波を記憶する。例えば、予め定められた人数分の脳波を記憶する。具体的には、ハードディスク等の記憶装置が該当する。なお、通信回線を介して外部の装置内にあるものであってもよい。
【0024】
前処理モジュール160は、データ蓄積モジュール150、判別モジュール170と接続されている。前処理モジュール160は、データ蓄積モジュール150に蓄積されている脳波(キャリブレーションモジュール140によって調整された脳波又は脳波計測モジュール130によって計測された脳波)を対象として統計的分析を行う。例えば、前処理モジュール160は、主成分分析による分析を行い、少なくとも第1主成分を音質評価の情報が含まれているとして、判別モジュール170に渡す。主成分分析は多変量解析手法の一つであり、多次元の相関変数を無相関化する手法である。
【0025】
判別モジュール170は、前処理モジュール160、出力モジュール180と接続されている。判別モジュール170は、前処理モジュール160による分析結果に基づいて、判別分析を行う。例えば、判別モジュール170は、フィッシャーの線形判別分析による判別分析を行い、そのフィッシャーの線形判別分析による決定境界を音質評価軸とする。フィッシャーの線形判別分析は線形判別解析の一つであり、射影後のデータの分離度を最も大きくする射影方向を求める手法である。
【0026】
出力モジュール180は、判別モジュール170と接続されている。出力モジュール180は、音発生モジュール120によって発生された音の音質に対する利用者の客観的な評価として、判別モジュール170による判別結果を出力する。ここでの出力とは、例えば、判別結果であるデータをデータベース等の記憶装置へ書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等が含まれ、また、その判別結果であるデータに基づいてグラフ等を生成してもよく、そのグラフ等をプリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること等を行ってもよい。
【0027】
制御モジュール110は、全体のモジュールを制御する。例えば、音発生モジュール120と脳波計測モジュール130を連動させ、音の発生開始と終了に基づいて、脳波計測の開始と終了を制御する。また、データ蓄積モジュール150に蓄積されたデータが予め定められた量に達したときに、前処理モジュール160以降の処理を行うように制御する。
【0028】
図2は、本実施の形態を実現するためのシステム構成例を示す説明図である。
音発生装置210、脳波計測装置220、情報処理装置230は、それぞれ通信回線290を介して接続されている。音発生装置210は、図1に例示した音発生モジュール120に該当し、具体的には、例えば、スピーカを付属しているCDプレーヤー等である。脳波計測装置220は、図1に例示した脳波計測モジュール130に該当し、具体的には、図3に例示した簡易型脳波計等である。情報処理装置230は、図1に例示した制御モジュール110、キャリブレーションモジュール140、データ蓄積モジュール150、前処理モジュール160、判別モジュール170、出力モジュール180に該当し、具体的には、例えば、PCが該当する。
【0029】
図5は、本実施の形態による処理例を示すフローチャートである。
ステップS502では、計測モジュール125が、音発生モジュール120が発生させている音を聴いている利用者の脳波を計測する。
ステップS504では、キャリブレーションモジュール140が、キャリブレーションは必要であるか否かを判断し、必要である場合はステップS506へ進み、それ以外の場合はステップS508へ進む。
ステップS506では、キャリブレーションモジュール140が、キャリブレーション処理を行う。
ステップS508では、データ蓄積モジュール150が、計測データを蓄積する。
【0030】
音響特性間の脳波の違いを解析するために、以下、主成分分析とフィッシャーの判別分析を用いて、3種類の音響特性(音質)間の脳波の違いを解析する例で説明する。したがって、数式においては3つの変数を用いているものがあるが、それらは異なる音響特性の数によって変わるものである。
ここでは、3種類の音響特性の音楽を聴いたときの脳波を解析する。被験者は20−40代の男女37名(男性29名、女性8名)を対象とし、図6(横軸を周波数(Hz)、縦軸をレベル(dB)とするグラフ)に例示する音響特性を持つイコライザにより人工的に音響特性に加工したJ−Pop音楽1曲を用いた。音質A:610は加工していない元の音質を示し、音質C:630は低周波数と高周波数を小さく、人間の耳の感度の良い2kHz付近が大きな音となるような特性としている。音質B:620は音質A:610と音質C:630の中間の特性を持つ。被験者は安静・閉眼状態で各音質の音楽を120秒間聴き、その最中の脳波を計測する。なお、各音質の再生順はランダムとし、全ての音質の音楽を12回ずつ聴くまで繰り返し計測を行った。
【0031】
ステップS510では、前処理モジュール160が、主成分分析処理を行う。まず、主成分分析の入力データを(2)式で定義する。
【数2】
ここで、右辺の成分であるX1、X2、X3は、音質A:610、音質B:620、音質C:630それぞれの音響特性で音楽を聴いたときの脳波データの12回の平均値を示す。
次に、(2)式の左辺(X)の相関行列Sを求め、Sの固有値と固有ベクトルを算出する。k番目に大きい固有値に対応する固有ベクトルを(3)式で定義する。
【数3】
(3)式を用いると、第k主成分は、(4)式で表現できる。
【数4】
結合係数行列Bを用いると、主成分ykを要素に持つ行列Yは(5)式、(6)式で定義される。
【数5】
【数6】
固有値Sをλ=(λ1,λ2,・・・,λ19)とすると、各固有ベクトルの寄与率は(7)式で計算される。
【数7】
【0032】
図7に例示するグラフは、主成分得点の分布例を示すグラフ(横軸を第1主成分、縦軸を第2主成分とするグラフ)である。図7(a)は、ある被験者において音質A:610の1回目の実験結果(丸印でプロット)と2回目の実験結果(星印でプロット)を示している。図7(b)は、同じ被験者において音質B:620の1回目の実験結果(丸印でプロット)と2回目の実験結果(星印でプロット)を示している。これらのグラフは、1回目と2回目の分布が一致していること(約80%以上で同様の傾向を示していること)を示している。したがって、同一音質の音楽聴取時は同じ脳波を観測していることになる。
図8に例示するグラフは、主成分得点の分布例を示すグラフ(横軸を第1主成分、縦軸を第2主成分とするグラフ)である。図8(a)は、ある被験者Aにおいて音質A:610の実験結果(丸印でプロット)と音質B:620の実験結果(星印でプロット)を示している。図8(b)は、別の被験者Bにおいて音質A:610の実験結果(丸印でプロット)と音質B:620の実験結果(星印でプロット)を示している。これらのグラフから、音質A:610と音質B:620の主成分得点の分布に差があることを示している。したがって、音質の違いが脳波に表れていることがわかる。
図9に例示するグラフは、主成分得点の分布例を示すグラフ(横軸を第1主成分、縦軸を第2主成分とするグラフ)である。図9(a)は、ある被験者Aにおいて音質A:610の実験結果(丸印でプロット)と音質C:630の実験結果(星印でプロット)を示している。図9(b)は、別の被験者Bにおいて音質A:610の実験結果(丸印でプロット)と音質C:630の実験結果(星印でプロット)を示している。これらのグラフから、音質A:610と音質C:630の主成分得点の分布に差があることを示している。したがって、音質の違いが脳波に表れていることがわかる。
図10に例示するグラフは、主成分得点の分布例を示すグラフである。図10(a)は、ある被験者Aにおいて音質B:620の実験結果(丸印でプロット)と音質C:630の実験結果(星印でプロット)を示している。図10(b)は、別の被験者Bにおいて音質B:620の実験結果(丸印でプロット)と音質C:630の実験結果(星印でプロット)を示している。これらのグラフから、音質B:620と音質C:630の主成分得点の分布に差があることを示している。したがって、音質の違いが脳波に表れていることがわかる。
【0033】
音質評価に重要な情報が各主成分にどの程度含まれているか明らかにするために、各主成分の寄与率の平均値を示す。第1主成分の寄与率は74.1%を示し、第1−3主成分までの累積寄与率は80%を超えることがわかる。したがって、音質に関係する情報の多くは第1−3主成分に含まれると仮定することができる。
また、音楽聴取時脳波の各主成分に分散分析を適用した結果を示す。第1主成分のみが音質間に有意な差が存在することが明らかとなった。実際には、第2主成分、第3主成分に有意な差が確認された被験者も多く存在した。
したがって、第1主成分は音質評価に関連する情報を含んでいると考えられる。
【0034】
ステップS512では、判別モジュール170が、フィッシャーの線形判別分析を行う。フィッシャーの線形判別分析を用いて、データを分離するための超平面を決定する。2クラス問題を考えると、(8)式のように超平面パラメータwを用いてD次元ベクトルxを1次元へ射影する。
【数8】
パラメータwは、(9)式に示すように、射影されたクラス平均m1,m2間の分離度を大きくし、各クラス内で小さな分散SWを与える関数を最大化することで求める。
【数9】
wはクラス平均m1,m2の差に比例することがわかる。射影されたデータに対して閾値を設定することで、2クラス分類を行う識別関数を構成することができる。
ここでは、2種類の脳波データをフィッシャー判別の入力として用いる。一つは、脳波の各主成分のみを用いた1次元データであり、もう一つは、第1主成分から第N主成分までのN次元データである。これらを入力データとして、音質A:610と音質B:620との間、音質A:610と音質C:630との間、音質B:620と音質C:630との間それぞれの判別率を求める。
【0035】
図11は、音質評価軸の例を示すグラフ(横軸を第1主成分、縦軸を第2主成分とするグラフ)である。図11(a)は、ある被験者において音質A:610の実験結果(濃い星印でプロット)と音質C:630の実験結果(薄い星印でプロット)を示しており、これらを分ける線は、フィッシャーの線形判別分析の結果による直線を示している。2本の線が直交していないのは、グラフの横軸と縦軸のスケールが異なるためである。図11(b)は、図11(a)の軸を回転したものである。この例は、音質A:610と音質C:630との判別率は83.18%であった。
図12は、別の被験者における図11と同様の結果を示したものであり、この例は、音質A:610と音質C:630との判別率は89.55%であった。
図13は、別の被験者における図11と同様の結果を示したものであり、この例は、音質A:610と音質C:630との判別率は51.82%であった。
平均の判別率は、72.35%であった。
入力データとして各主成分のみを用いた場合の判別率の平均値を示す。第1主成分のみを用いた場合の判別率は他の主成分を用いた場合に比べて最も高い値となったが、第2−19主成分のみを用いた場合の判別率は約50%であり、ほぼ判別不可能であることがわかる。これより、第1主成分に音質評価に関連する情報が含まれていると考えられる。
第1−N主成分までのN次元データを入力とした場合の判別率の平均値を調べたところ、主成分が増えるに従って判別率も高くなった。したがって、少なくとも第1主成分による判別を行うべきであり、より好ましくは複数の主成分を含めた判別を行うことが必要であり、例えば、第1−3主成分までの3次元データによって判別する。
【0036】
また、脳波計測後にアンケートを実施した。例えば、聴いた音楽に対して、「好み」、「深み」、「豊かさ」、「メリハリ」、「ハギレ」、「分離の良さ」、「明瞭さ」、「なめらかさ」、「響き」、「迫力」等について、点数を付けるものである。
全被験者のアンケート得点の平均値と標準偏差を調べたところ、全ての項目において、音質C:630、音質B:620、音質A:610の順に評価が高くなることがわかった。さらに,アンケート得点に分散分析を行った結果、3種類の音質は互いに有意な差があることが示された。しかしながら、実際には同一の被験者においても得点は施行毎に異なり、再生順にも影響される場合も存在した。また、音質A:610よりも音質B:620の音質を高く評価した被験者も存在したが、全ての被験者は音質C:630を最も低く評価した。
ここで、アンケート結果とフィッシャーの線形判別分析の結果を比べる。フィッシャーの線形判別分析の結果では、音質B:620と音質C:630の判別率が他の組み合わせに比べて最も高くなった。これより、人間の脳はアンケート結果と異なり、音質B:620と音質C:630が最も異なる音質であると判断している可能性があると考えられる。つまり、主観評価であるアンケートには表れない音質の評価を行うことができると考えられる。
また、アンケート得点と第1−3主成分の相関係数を調べた。アンケートと主成分はほぼ無相関であることがわかった。しかしながら、多くの被験者において第1−3主成分に音質間の違いが現れていることから、脳波を用いることでアンケートでは得る事のできない情報を得る事ができる可能性があると考えられる。
以上によって、フィッシャーの線形判別分析による決定境界を音質評価軸として利用可能であることを示した。したがって、音を聴いた人の脳波によって、音質の客観的評価ができる。
【0037】
ステップS514では、出力モジュール180が、結果を出力する。例えば、図11等で示したグラフ等を出力するようにしてもよい。
【0038】
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図14に示すように、一般的なコンピュータであり、具体的には本実施の形態による処理以外にも多くの処理を高速に実行することができるサーバーとなりうるようなコンピュータである。キャリブレーションモジュール140、前処理モジュール160、判別モジュール170、出力モジュール180等のプログラムを実行するCPU1401と、そのプログラムやデータを記憶するRAM1403と、本コンピュータを起動するためのプログラム等が格納されているROM1402と、補助記憶装置であるHD1404と、キーボード、マウス等から操作者の操作によってデータを入力又はCRTや液晶ディスプレイ等にデータを出力して操作者とのインタフェースとなるUI/F1405と、CD−R等のリムーバブルメディアに対して読み書きするリムーバブルメディアリーダーライター1406と、通信ネットワークと接続するための通信回線I/F1407、そして、それらをつないでデータのやりとりをするためのバス1408により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
【0039】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray Disc(登録商標))、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【0040】
110…制御モジュール
120…音発生モジュール
125…計測モジュール
130…脳波計測モジュール
140…キャリブレーションモジュール
150…データ蓄積モジュール
160…前処理モジュール
170…判別モジュール
180…出力モジュール
210…音発生装置
220…脳波計測装置
230…情報処理装置
290…通信回線
【技術分野】
【0001】
本発明は、脳波処理装置、脳波処理プログラム及び脳波処理方法に関する。
【背景技術】
【0002】
音楽聴取において音質を決定づける機器の一つであるスピーカ、イヤホンは、電気信号を物理信号に変換して音を生み出す装置である。これらの機器は、木や金属などの素材や筺体の構造によって、周波数特性、歪み、過渡応答といった音の物理特性を変化させることができ、これらの物理特性により評価される。この物理特性による評価とは、音の忠実な再現に関する評価である。
しかしながら、例えば人間の耳の器官の構造には個人差があり、同じ機器、特性、距離において音を聴いた場合でも知覚する音質は人によって様々である。このため、良い音質とされる物理特性が万人共通のものとは言い難く、音響機器設計の際にはユーザ毎に音質評価を行うことが望ましい。
【0003】
音質を評価する方法として、一般にアンケート調査などの主観評価が用いられる(例えば、非特許文献1参照)。音質の主観評価には、“滑らかさ”や“分離の良さ”などの表現が用いられ、項目毎に段階的な点数をつけることで評価を行う。
しかしながら、音質評価に不慣れな人は、音楽聴取時の感性をこれらの項目に対して正確に反映することは難しい。一方、人間の心理変化の計測及び感性・嗜好の定量化を行う方法として、脳波を用いた客観的指標を利用する研究が行われている(例えば、非特許文献2〜5参照)。特に、左前頭葉部分から観測される脳波は、外部刺激や内因的要素から変化する人間の心理変化により生じる電位の波形である可能性が高いとされている。
【0004】
また、脳波を計測して被験者の嗜好等を判別する技術として、例えば、特許文献1には、被験者の負担にならない簡易脳波計を用いて脳波を測定することで、被験者の嗜好及び/又は生理的状態を簡単に判別することができる嗜好判別装置、嗜好判別方法、嗜好判別プログラム、及び脳波解析方法を提供することを課題とし、刺激発生部は、被験者が好む匂い刺激を発生し、簡易脳波計は、装着した被験者の脳波を測定し、処理部内のデータ行列作成部は、測定した脳波データについて高速フーリエ変換による周波数解析を行い、データ行列作成部は、高速フーリエ変換を行った脳波データから、行が時間、列が周波数成分のデータ行列を作成し、特徴値抽出部は、作成したデータ行列から、因子分析により特徴値の抽出を行い、制御部は、抽出した特徴値について、データベースに予め格納されている、分類テーブルを参照して、好む匂いか嫌いな匂いかの嗜好を判定することが開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−131328号公報
【非特許文献】
【0006】
【非特許文献1】厨川守,八尋博司,柏木成豪:「音質評価のための7属性」,日本音響学会誌,Vol.32,No.8,pp.1259−1266(1978)
【非特許文献2】上野秀剛,石田響子,松田侑子,福嶋祥太,中道上,大平雅雄,松本健一,岡田保紀:「脳波を利用したソフトウェアユーザビリティの評価:異なるバージョン間における周波数成分の比較」, ヒューマンインタフェース学会論文誌Vol.10, No.2, pp.233−242 (2008)
【非特許文献3】Hong J.Eoh, Min K. Chung, and Seong−Han Kim, “Electroencephalographic study of drowsiness in simulated driving with sleep deprivation”, International Journal of Industrial Ergonomics, Vol.35, Issue 4,pp.307−320, (2005)
【非特許文献4】T. Ajiro, A. Yamanouchi, K. Shimomura, H. Yamamoto,and K. Kamijo, “A Method for Structure Analysis of EEG Data − Application to ANOVA in Vegetable Ingestion”, IJSNS International Journal of Computer Science and Network Security, Vol.9, No.9pp.70−82 (2009)
【非特許文献5】横山幸生,島田尊正,竹村淳,椎名毅,斉藤陽一:「睡眠脳波の主成分分析とニューラルネットワークによる特徴波検出」,電子情報通信学会論文誌A, 基礎・境界Vol.J76−A,No.8, pp.1050−1058 (1998)
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、このような背景技術の状況の中でなされたもので、利用者の脳波を用いた音質の客観的評価をするようにした脳波処理装置、脳波処理プログラム及び脳波処理方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
[1] 音を発生する音発生手段と、前記音発生手段によって発生している音を聞いている利用者の脳波を計測する脳波計測手段と、前記脳波計測手段によって計測された脳波を対象として統計的分析を行う分析手段と、前記分析手段による分析結果に基づいて、判別分析を行う判別分析手段と、前記音発生手段によって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析手段による判別結果を出力する出力手段を具備することを特徴とする脳波処理装置。
【0009】
[2] 前記脳波計測手段は、左耳朶を基準電極とし、左頭葉箇所の脳波を計測することを特徴とする[1]に記載の脳波処理装置。
【0010】
[3] 前記脳波計測手段は、計測した脳波にフーリエ変換を施し、行又は列を時間又は周波数とするデータ行列を作成することを特徴とする[1]又は[2]に記載の脳波処理装置。
【0011】
[4] 前記分析手段は、主成分分析による分析を行い、少なくとも第1主成分を音質評価の情報が含まれているとして、前記判別分析手段に渡すことを特徴とする[1]から[3]のいずれか一項に記載の脳波処理装置。
【0012】
[5] 前記判別分析手段は、フィッシャーの線形判別分析による判別分析を行い、該フィッシャーの線形判別分析による決定境界を音質評価軸とすることを特徴とする[1]から[4]のいずれか一項に記載の脳波処理装置。
【0013】
[6] 前記脳波計測手段によって計測された脳波と予め定められた標準的な脳波とを比較して、該脳波の調整が必要であるか否かを判断し、調整が必要であると判断した場合は、該脳波に対して調整を行う調整手段をさらに具備し、前記分析手段は、前記調整手段によって調整された脳波を対象として統計的分析を行うことを特徴とする[1]から[5]のいずれか一項に記載の脳波処理装置。
【0014】
[7] コンピュータを、音発生手段によって発生している音を聞いている利用者の脳波を受け付ける脳波受付手段と、前記脳波受付手段によって受け付けられた脳波を対象として統計的分析を行う分析手段と、前記分析手段による分析結果に基づいて、判別分析を行う判別分析手段と、前記音発生手段によって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析手段による判別結果を出力する出力手段として機能させることを特徴とする脳波処理プログラム。
【0015】
[8] 音発生手段により音を発生させる音発生ステップと、前記音発生手段によって発生している音を聞いている利用者の脳波を計測する脳波計測ステップと、前記脳波計測ステップによって計測された脳波を対象として統計的分析を行う分析ステップと、前記分析ステップによる分析結果に基づいて、判別分析を行う判別分析ステップと、前記音発生ステップによって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析ステップによる判別結果を出力する出力ステップを具備することを特徴とする脳波処理方法。
【発明の効果】
【0016】
本発明にかかる脳波処理装置、脳波処理プログラム及び脳波処理方法によれば、評価対象の音を利用者に聞かせ、その際の脳波を計測し、評価対象である音の音質に対する利用者の客観的な評価を行うことができるようになる。さらに、主観評価であるアンケートには表れない音質の評価を行うことができる。
【図面の簡単な説明】
【0017】
【図1】本実施の形態の構成例についての概念的なモジュール構成図である。
【図2】本実施の形態を実現するためのシステム構成例を示す説明図である。
【図3】脳波計測モジュールの例を示す説明図である。
【図4】脳波測定の位置の例を示す説明図である。
【図5】本実施の形態による処理例を示すフローチャートである。
【図6】音響特性の実験例を示すグラフである。
【図7】主成分得点の分布例を示すグラフである。
【図8】主成分得点の分布例を示すグラフである。
【図9】主成分得点の分布例を示すグラフである。
【図10】主成分得点の分布例を示すグラフである。
【図11】音質評価軸の例を示すグラフである。
【図12】音質評価軸の例を示すグラフである。
【図13】音質評価軸の例を示すグラフである。
【図14】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0018】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
【0019】
本実施の形態である脳波処理装置は、評価対象の音を利用者に聞かせ、その際の脳波を計測し、評価対象である音の音質に対する利用者の客観的な評価を行うものであって、図1の例に示すように、制御モジュール110、計測モジュール125、キャリブレーションモジュール140、データ蓄積モジュール150、前処理モジュール160、判別モジュール170、出力モジュール180を有している。
【0020】
計測モジュール125は、音発生モジュール120、脳波計測モジュール130を有しており、キャリブレーションモジュール140と接続されている。
音発生モジュール120は、音を発生する。ここでの音とは、主に音楽であるが、音声等であってもよい。また、音を発生する装置として、音響機器であり、少なくともスピーカ、イヤホンを含むが、これらの他にプレーヤー、アンプ等を含んでいてもよい。また、CD(Compact Disk)等のメディアから音を再生してもよいし、通信回線を介して他のサーバー等に格納されている音を再生するようにしてもよい。
【0021】
脳波計測モジュール130は、音発生モジュール120によって発生している音を聞いている利用者(被験者)の脳波を計測する。脳波計測には脳力開発研究所のBrain Builderという簡易型脳波計を用いてもよい。図3は、脳波計測モジュール130の例を示す説明図である。図3(a)に例示するものは、脳波を計測し、後述の取得データを出力する。図3(b)に例示するものは、利用者の頭部に設置するセンサである。例えば、国際10−20法に従い、図4に例示するように、左耳朶420を基準電極として左前頭葉箇所(計測箇所Fp1:410)の脳波を計測する。脳波計測モジュール130からは、サンプリング周波数128Hzで計測した脳波に対して1秒毎の短時間フーリエ変換を適用した結果を出力する。また、脳波計測モジュール130では4−22Hzの脳波データを用いるため、取得データは(1)式に示すように、行又は列を時間又は周波数(行を時間、列を周波数とするデータ行列、又は列を時間、行を周波数とするデータ行列)とする19次元のデータ行列で表現される。
【数1】
【0022】
キャリブレーションモジュール140は、計測モジュール125、データ蓄積モジュール150と接続されている。キャリブレーションモジュール140は、脳波計測モジュール130によって計測された脳波と予め定められた標準的な脳波とを比較して、その脳波の調整が必要であるか否かを判断し、調整が必要であると判断した場合は、その脳波に対して調整を行う。利用者、日時、その人の体調等によって異なる脳波となる場合があり、これらに対応するためである。
ここで標準的な脳波とは、例えば実験等によって予め定められた1つの閾値であり、その場合の比較とは、その閾値との比較によって差が予め定められた値よりも大きい又は以上の場合に調整が必要であると判断する。また、標準的な脳波を範囲として定めてもよい。その場合の比較とは、その範囲内に入らない場合に調整が必要であると判断する。
具体的な処理例として、最初の30秒間は参照音楽を音発生モジュール120によって発生させ、そのときの脳波を計測して標準的な脳波との比較を行う。
調整として、例えば、脳波の値が予め定められた範囲内に入るように、演算処理を行う等がある。
なお、調整が済んだ利用者の脳波を計測した場合、安定している利用者である場合等には、キャリブレーションモジュール140はなくてもよい。
【0023】
データ蓄積モジュール150は、キャリブレーションモジュール140、前処理モジュール160と接続されている。データ蓄積モジュール150は、キャリブレーションモジュール140によって調整された脳波又は脳波計測モジュール130によって計測された脳波を記憶する。例えば、予め定められた人数分の脳波を記憶する。具体的には、ハードディスク等の記憶装置が該当する。なお、通信回線を介して外部の装置内にあるものであってもよい。
【0024】
前処理モジュール160は、データ蓄積モジュール150、判別モジュール170と接続されている。前処理モジュール160は、データ蓄積モジュール150に蓄積されている脳波(キャリブレーションモジュール140によって調整された脳波又は脳波計測モジュール130によって計測された脳波)を対象として統計的分析を行う。例えば、前処理モジュール160は、主成分分析による分析を行い、少なくとも第1主成分を音質評価の情報が含まれているとして、判別モジュール170に渡す。主成分分析は多変量解析手法の一つであり、多次元の相関変数を無相関化する手法である。
【0025】
判別モジュール170は、前処理モジュール160、出力モジュール180と接続されている。判別モジュール170は、前処理モジュール160による分析結果に基づいて、判別分析を行う。例えば、判別モジュール170は、フィッシャーの線形判別分析による判別分析を行い、そのフィッシャーの線形判別分析による決定境界を音質評価軸とする。フィッシャーの線形判別分析は線形判別解析の一つであり、射影後のデータの分離度を最も大きくする射影方向を求める手法である。
【0026】
出力モジュール180は、判別モジュール170と接続されている。出力モジュール180は、音発生モジュール120によって発生された音の音質に対する利用者の客観的な評価として、判別モジュール170による判別結果を出力する。ここでの出力とは、例えば、判別結果であるデータをデータベース等の記憶装置へ書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等が含まれ、また、その判別結果であるデータに基づいてグラフ等を生成してもよく、そのグラフ等をプリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること等を行ってもよい。
【0027】
制御モジュール110は、全体のモジュールを制御する。例えば、音発生モジュール120と脳波計測モジュール130を連動させ、音の発生開始と終了に基づいて、脳波計測の開始と終了を制御する。また、データ蓄積モジュール150に蓄積されたデータが予め定められた量に達したときに、前処理モジュール160以降の処理を行うように制御する。
【0028】
図2は、本実施の形態を実現するためのシステム構成例を示す説明図である。
音発生装置210、脳波計測装置220、情報処理装置230は、それぞれ通信回線290を介して接続されている。音発生装置210は、図1に例示した音発生モジュール120に該当し、具体的には、例えば、スピーカを付属しているCDプレーヤー等である。脳波計測装置220は、図1に例示した脳波計測モジュール130に該当し、具体的には、図3に例示した簡易型脳波計等である。情報処理装置230は、図1に例示した制御モジュール110、キャリブレーションモジュール140、データ蓄積モジュール150、前処理モジュール160、判別モジュール170、出力モジュール180に該当し、具体的には、例えば、PCが該当する。
【0029】
図5は、本実施の形態による処理例を示すフローチャートである。
ステップS502では、計測モジュール125が、音発生モジュール120が発生させている音を聴いている利用者の脳波を計測する。
ステップS504では、キャリブレーションモジュール140が、キャリブレーションは必要であるか否かを判断し、必要である場合はステップS506へ進み、それ以外の場合はステップS508へ進む。
ステップS506では、キャリブレーションモジュール140が、キャリブレーション処理を行う。
ステップS508では、データ蓄積モジュール150が、計測データを蓄積する。
【0030】
音響特性間の脳波の違いを解析するために、以下、主成分分析とフィッシャーの判別分析を用いて、3種類の音響特性(音質)間の脳波の違いを解析する例で説明する。したがって、数式においては3つの変数を用いているものがあるが、それらは異なる音響特性の数によって変わるものである。
ここでは、3種類の音響特性の音楽を聴いたときの脳波を解析する。被験者は20−40代の男女37名(男性29名、女性8名)を対象とし、図6(横軸を周波数(Hz)、縦軸をレベル(dB)とするグラフ)に例示する音響特性を持つイコライザにより人工的に音響特性に加工したJ−Pop音楽1曲を用いた。音質A:610は加工していない元の音質を示し、音質C:630は低周波数と高周波数を小さく、人間の耳の感度の良い2kHz付近が大きな音となるような特性としている。音質B:620は音質A:610と音質C:630の中間の特性を持つ。被験者は安静・閉眼状態で各音質の音楽を120秒間聴き、その最中の脳波を計測する。なお、各音質の再生順はランダムとし、全ての音質の音楽を12回ずつ聴くまで繰り返し計測を行った。
【0031】
ステップS510では、前処理モジュール160が、主成分分析処理を行う。まず、主成分分析の入力データを(2)式で定義する。
【数2】
ここで、右辺の成分であるX1、X2、X3は、音質A:610、音質B:620、音質C:630それぞれの音響特性で音楽を聴いたときの脳波データの12回の平均値を示す。
次に、(2)式の左辺(X)の相関行列Sを求め、Sの固有値と固有ベクトルを算出する。k番目に大きい固有値に対応する固有ベクトルを(3)式で定義する。
【数3】
(3)式を用いると、第k主成分は、(4)式で表現できる。
【数4】
結合係数行列Bを用いると、主成分ykを要素に持つ行列Yは(5)式、(6)式で定義される。
【数5】
【数6】
固有値Sをλ=(λ1,λ2,・・・,λ19)とすると、各固有ベクトルの寄与率は(7)式で計算される。
【数7】
【0032】
図7に例示するグラフは、主成分得点の分布例を示すグラフ(横軸を第1主成分、縦軸を第2主成分とするグラフ)である。図7(a)は、ある被験者において音質A:610の1回目の実験結果(丸印でプロット)と2回目の実験結果(星印でプロット)を示している。図7(b)は、同じ被験者において音質B:620の1回目の実験結果(丸印でプロット)と2回目の実験結果(星印でプロット)を示している。これらのグラフは、1回目と2回目の分布が一致していること(約80%以上で同様の傾向を示していること)を示している。したがって、同一音質の音楽聴取時は同じ脳波を観測していることになる。
図8に例示するグラフは、主成分得点の分布例を示すグラフ(横軸を第1主成分、縦軸を第2主成分とするグラフ)である。図8(a)は、ある被験者Aにおいて音質A:610の実験結果(丸印でプロット)と音質B:620の実験結果(星印でプロット)を示している。図8(b)は、別の被験者Bにおいて音質A:610の実験結果(丸印でプロット)と音質B:620の実験結果(星印でプロット)を示している。これらのグラフから、音質A:610と音質B:620の主成分得点の分布に差があることを示している。したがって、音質の違いが脳波に表れていることがわかる。
図9に例示するグラフは、主成分得点の分布例を示すグラフ(横軸を第1主成分、縦軸を第2主成分とするグラフ)である。図9(a)は、ある被験者Aにおいて音質A:610の実験結果(丸印でプロット)と音質C:630の実験結果(星印でプロット)を示している。図9(b)は、別の被験者Bにおいて音質A:610の実験結果(丸印でプロット)と音質C:630の実験結果(星印でプロット)を示している。これらのグラフから、音質A:610と音質C:630の主成分得点の分布に差があることを示している。したがって、音質の違いが脳波に表れていることがわかる。
図10に例示するグラフは、主成分得点の分布例を示すグラフである。図10(a)は、ある被験者Aにおいて音質B:620の実験結果(丸印でプロット)と音質C:630の実験結果(星印でプロット)を示している。図10(b)は、別の被験者Bにおいて音質B:620の実験結果(丸印でプロット)と音質C:630の実験結果(星印でプロット)を示している。これらのグラフから、音質B:620と音質C:630の主成分得点の分布に差があることを示している。したがって、音質の違いが脳波に表れていることがわかる。
【0033】
音質評価に重要な情報が各主成分にどの程度含まれているか明らかにするために、各主成分の寄与率の平均値を示す。第1主成分の寄与率は74.1%を示し、第1−3主成分までの累積寄与率は80%を超えることがわかる。したがって、音質に関係する情報の多くは第1−3主成分に含まれると仮定することができる。
また、音楽聴取時脳波の各主成分に分散分析を適用した結果を示す。第1主成分のみが音質間に有意な差が存在することが明らかとなった。実際には、第2主成分、第3主成分に有意な差が確認された被験者も多く存在した。
したがって、第1主成分は音質評価に関連する情報を含んでいると考えられる。
【0034】
ステップS512では、判別モジュール170が、フィッシャーの線形判別分析を行う。フィッシャーの線形判別分析を用いて、データを分離するための超平面を決定する。2クラス問題を考えると、(8)式のように超平面パラメータwを用いてD次元ベクトルxを1次元へ射影する。
【数8】
パラメータwは、(9)式に示すように、射影されたクラス平均m1,m2間の分離度を大きくし、各クラス内で小さな分散SWを与える関数を最大化することで求める。
【数9】
wはクラス平均m1,m2の差に比例することがわかる。射影されたデータに対して閾値を設定することで、2クラス分類を行う識別関数を構成することができる。
ここでは、2種類の脳波データをフィッシャー判別の入力として用いる。一つは、脳波の各主成分のみを用いた1次元データであり、もう一つは、第1主成分から第N主成分までのN次元データである。これらを入力データとして、音質A:610と音質B:620との間、音質A:610と音質C:630との間、音質B:620と音質C:630との間それぞれの判別率を求める。
【0035】
図11は、音質評価軸の例を示すグラフ(横軸を第1主成分、縦軸を第2主成分とするグラフ)である。図11(a)は、ある被験者において音質A:610の実験結果(濃い星印でプロット)と音質C:630の実験結果(薄い星印でプロット)を示しており、これらを分ける線は、フィッシャーの線形判別分析の結果による直線を示している。2本の線が直交していないのは、グラフの横軸と縦軸のスケールが異なるためである。図11(b)は、図11(a)の軸を回転したものである。この例は、音質A:610と音質C:630との判別率は83.18%であった。
図12は、別の被験者における図11と同様の結果を示したものであり、この例は、音質A:610と音質C:630との判別率は89.55%であった。
図13は、別の被験者における図11と同様の結果を示したものであり、この例は、音質A:610と音質C:630との判別率は51.82%であった。
平均の判別率は、72.35%であった。
入力データとして各主成分のみを用いた場合の判別率の平均値を示す。第1主成分のみを用いた場合の判別率は他の主成分を用いた場合に比べて最も高い値となったが、第2−19主成分のみを用いた場合の判別率は約50%であり、ほぼ判別不可能であることがわかる。これより、第1主成分に音質評価に関連する情報が含まれていると考えられる。
第1−N主成分までのN次元データを入力とした場合の判別率の平均値を調べたところ、主成分が増えるに従って判別率も高くなった。したがって、少なくとも第1主成分による判別を行うべきであり、より好ましくは複数の主成分を含めた判別を行うことが必要であり、例えば、第1−3主成分までの3次元データによって判別する。
【0036】
また、脳波計測後にアンケートを実施した。例えば、聴いた音楽に対して、「好み」、「深み」、「豊かさ」、「メリハリ」、「ハギレ」、「分離の良さ」、「明瞭さ」、「なめらかさ」、「響き」、「迫力」等について、点数を付けるものである。
全被験者のアンケート得点の平均値と標準偏差を調べたところ、全ての項目において、音質C:630、音質B:620、音質A:610の順に評価が高くなることがわかった。さらに,アンケート得点に分散分析を行った結果、3種類の音質は互いに有意な差があることが示された。しかしながら、実際には同一の被験者においても得点は施行毎に異なり、再生順にも影響される場合も存在した。また、音質A:610よりも音質B:620の音質を高く評価した被験者も存在したが、全ての被験者は音質C:630を最も低く評価した。
ここで、アンケート結果とフィッシャーの線形判別分析の結果を比べる。フィッシャーの線形判別分析の結果では、音質B:620と音質C:630の判別率が他の組み合わせに比べて最も高くなった。これより、人間の脳はアンケート結果と異なり、音質B:620と音質C:630が最も異なる音質であると判断している可能性があると考えられる。つまり、主観評価であるアンケートには表れない音質の評価を行うことができると考えられる。
また、アンケート得点と第1−3主成分の相関係数を調べた。アンケートと主成分はほぼ無相関であることがわかった。しかしながら、多くの被験者において第1−3主成分に音質間の違いが現れていることから、脳波を用いることでアンケートでは得る事のできない情報を得る事ができる可能性があると考えられる。
以上によって、フィッシャーの線形判別分析による決定境界を音質評価軸として利用可能であることを示した。したがって、音を聴いた人の脳波によって、音質の客観的評価ができる。
【0037】
ステップS514では、出力モジュール180が、結果を出力する。例えば、図11等で示したグラフ等を出力するようにしてもよい。
【0038】
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図14に示すように、一般的なコンピュータであり、具体的には本実施の形態による処理以外にも多くの処理を高速に実行することができるサーバーとなりうるようなコンピュータである。キャリブレーションモジュール140、前処理モジュール160、判別モジュール170、出力モジュール180等のプログラムを実行するCPU1401と、そのプログラムやデータを記憶するRAM1403と、本コンピュータを起動するためのプログラム等が格納されているROM1402と、補助記憶装置であるHD1404と、キーボード、マウス等から操作者の操作によってデータを入力又はCRTや液晶ディスプレイ等にデータを出力して操作者とのインタフェースとなるUI/F1405と、CD−R等のリムーバブルメディアに対して読み書きするリムーバブルメディアリーダーライター1406と、通信ネットワークと接続するための通信回線I/F1407、そして、それらをつないでデータのやりとりをするためのバス1408により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
【0039】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray Disc(登録商標))、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【0040】
110…制御モジュール
120…音発生モジュール
125…計測モジュール
130…脳波計測モジュール
140…キャリブレーションモジュール
150…データ蓄積モジュール
160…前処理モジュール
170…判別モジュール
180…出力モジュール
210…音発生装置
220…脳波計測装置
230…情報処理装置
290…通信回線
【特許請求の範囲】
【請求項1】
音を発生する音発生手段と、
前記音発生手段によって発生している音を聞いている利用者の脳波を計測する脳波計測手段と、
前記脳波計測手段によって計測された脳波を対象として統計的分析を行う分析手段と、
前記分析手段による分析結果に基づいて、判別分析を行う判別分析手段と、
前記音発生手段によって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析手段による判別結果を出力する出力手段
を具備することを特徴とする脳波処理装置。
【請求項2】
前記脳波計測手段は、左耳朶を基準電極とし、左頭葉箇所の脳波を計測する
ことを特徴とする請求項1に記載の脳波処理装置。
【請求項3】
前記脳波計測手段は、計測した脳波にフーリエ変換を施し、行又は列を時間又は周波数とするデータ行列を作成する
ことを特徴とする請求項1又は2に記載の脳波処理装置。
【請求項4】
前記分析手段は、主成分分析による分析を行い、少なくとも第1主成分を音質評価の情報が含まれているとして、前記判別分析手段に渡す
ことを特徴とする請求項1から3のいずれか一項に記載の脳波処理装置。
【請求項5】
前記判別分析手段は、フィッシャーの線形判別分析による判別分析を行い、該フィッシャーの線形判別分析による決定境界を音質評価軸とする
ことを特徴とする請求項1から4のいずれか一項に記載の脳波処理装置。
【請求項6】
前記脳波計測手段によって計測された脳波と予め定められた標準的な脳波とを比較して、該脳波の調整が必要であるか否かを判断し、調整が必要であると判断した場合は、該脳波に対して調整を行う調整手段
をさらに具備し、
前記分析手段は、前記調整手段によって調整された脳波を対象として統計的分析を行う
ことを特徴とする請求項1から5のいずれか一項に記載の脳波処理装置。
【請求項7】
コンピュータを、
音発生手段によって発生している音を聞いている利用者の脳波を受け付ける脳波受付手段と、
前記脳波受付手段によって受け付けられた脳波を対象として統計的分析を行う分析手段と、
前記分析手段による分析結果に基づいて、判別分析を行う判別分析手段と、
前記音発生手段によって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析手段による判別結果を出力する出力手段
として機能させることを特徴とする脳波処理プログラム。
【請求項8】
音発生手段により音を発生させる音発生ステップと、
前記音発生手段によって発生している音を聞いている利用者の脳波を計測する脳波計測ステップと、
前記脳波計測ステップによって計測された脳波を対象として統計的分析を行う分析ステップと、
前記分析ステップによる分析結果に基づいて、判別分析を行う判別分析ステップと、
前記音発生ステップによって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析ステップによる判別結果を出力する出力ステップ
を具備することを特徴とする脳波処理方法。
【請求項1】
音を発生する音発生手段と、
前記音発生手段によって発生している音を聞いている利用者の脳波を計測する脳波計測手段と、
前記脳波計測手段によって計測された脳波を対象として統計的分析を行う分析手段と、
前記分析手段による分析結果に基づいて、判別分析を行う判別分析手段と、
前記音発生手段によって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析手段による判別結果を出力する出力手段
を具備することを特徴とする脳波処理装置。
【請求項2】
前記脳波計測手段は、左耳朶を基準電極とし、左頭葉箇所の脳波を計測する
ことを特徴とする請求項1に記載の脳波処理装置。
【請求項3】
前記脳波計測手段は、計測した脳波にフーリエ変換を施し、行又は列を時間又は周波数とするデータ行列を作成する
ことを特徴とする請求項1又は2に記載の脳波処理装置。
【請求項4】
前記分析手段は、主成分分析による分析を行い、少なくとも第1主成分を音質評価の情報が含まれているとして、前記判別分析手段に渡す
ことを特徴とする請求項1から3のいずれか一項に記載の脳波処理装置。
【請求項5】
前記判別分析手段は、フィッシャーの線形判別分析による判別分析を行い、該フィッシャーの線形判別分析による決定境界を音質評価軸とする
ことを特徴とする請求項1から4のいずれか一項に記載の脳波処理装置。
【請求項6】
前記脳波計測手段によって計測された脳波と予め定められた標準的な脳波とを比較して、該脳波の調整が必要であるか否かを判断し、調整が必要であると判断した場合は、該脳波に対して調整を行う調整手段
をさらに具備し、
前記分析手段は、前記調整手段によって調整された脳波を対象として統計的分析を行う
ことを特徴とする請求項1から5のいずれか一項に記載の脳波処理装置。
【請求項7】
コンピュータを、
音発生手段によって発生している音を聞いている利用者の脳波を受け付ける脳波受付手段と、
前記脳波受付手段によって受け付けられた脳波を対象として統計的分析を行う分析手段と、
前記分析手段による分析結果に基づいて、判別分析を行う判別分析手段と、
前記音発生手段によって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析手段による判別結果を出力する出力手段
として機能させることを特徴とする脳波処理プログラム。
【請求項8】
音発生手段により音を発生させる音発生ステップと、
前記音発生手段によって発生している音を聞いている利用者の脳波を計測する脳波計測ステップと、
前記脳波計測ステップによって計測された脳波を対象として統計的分析を行う分析ステップと、
前記分析ステップによる分析結果に基づいて、判別分析を行う判別分析ステップと、
前記音発生ステップによって発生された音の音質に対する前記利用者の客観的な評価として、前記判別分析ステップによる判別結果を出力する出力ステップ
を具備することを特徴とする脳波処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−183210(P2012−183210A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2011−48642(P2011−48642)
【出願日】平成23年3月7日(2011.3.7)
【出願人】(504132881)国立大学法人東京農工大学 (595)
【出願人】(000112565)フォスター電機株式会社 (113)
【Fターム(参考)】
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願日】平成23年3月7日(2011.3.7)
【出願人】(504132881)国立大学法人東京農工大学 (595)
【出願人】(000112565)フォスター電機株式会社 (113)
【Fターム(参考)】
[ Back to top ]