動作評価装置及びプログラム
【課題】利用者の動作に応じて脳機能の測定や脳機能の活性化を図ることのできる技術を提供する。
【解決手段】課題提示装置1の制御部11は、提示音データ記憶領域121から提示音データを読み出して提示音を再生する。利用者は課題提示装置1によって提示される提示音に従って操作装置2を振り動かす。利用者によって操作装置2が振り動かされると、操作装置2の加速度センサ21が加速度データを生成し、生成した加速度データを課題提示装置1へ出力する。制御部11は、操作装置2から出力される加速度データに応じて利用者の動作を検出し、検出した動作と予め定められた基準データとの比較に基づいて利用者の動作を評価する。また、制御部11は、複数の操作装置2のそれぞれから出力された信号を比較し、比較結果に応じて利用者の動作を評価するとともに、両者の差分が予め定められた範囲内である場合に、その旨を示す報知音をスピーカ17から出力する。
【解決手段】課題提示装置1の制御部11は、提示音データ記憶領域121から提示音データを読み出して提示音を再生する。利用者は課題提示装置1によって提示される提示音に従って操作装置2を振り動かす。利用者によって操作装置2が振り動かされると、操作装置2の加速度センサ21が加速度データを生成し、生成した加速度データを課題提示装置1へ出力する。制御部11は、操作装置2から出力される加速度データに応じて利用者の動作を検出し、検出した動作と予め定められた基準データとの比較に基づいて利用者の動作を評価する。また、制御部11は、複数の操作装置2のそれぞれから出力された信号を比較し、比較結果に応じて利用者の動作を評価するとともに、両者の差分が予め定められた範囲内である場合に、その旨を示す報知音をスピーカ17から出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動作評価装置及びプログラムに関する。
【背景技術】
【0002】
近年、鍵盤にLEDを設け、鍵盤を光らせて押鍵を指示する装置が提案されている(例えば、特許文献1、2参照)。また、鍵盤にLEDが設けられた楽器を用いて、ゲームを行ったり動体視力の訓練をしたりする装置が提案されている(例えば、特許文献3参照)。また、近年、図形課題を提示し、脳機能を測定する装置が提案されている(例えば、特許文献4、5参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平06−067653号公報
【特許文献2】特開平10−222160号公報
【特許文献3】特開2006−158955号公報
【特許文献4】特開2006−158421号公報
【特許文献5】特開2006−158944号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、従来の脳機能の測定方法においては、人がパターンを覚えて提示して、被験者に対して課題提示し、その結果を人が判断していたため、測定結果を数値的に算出することができなかった。また、鍵盤上でのガイドは、提示と同時に鍵盤を弾くように促すものが多く、不慣れな者にとってはガイドに追いついていくのが困難であったため、利用者が楽しく練習することが出来ず、またその測定結果を数値的に算出することもできなかった。
本発明は上述した背景に鑑みてなされたものであり、脳機能の測定や脳機能の活性化を従来と比較して容易に行うことのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明は、利用者の動作タイミングを報知するためのタイミングデータを記憶するタイミングデータ記憶手段と、前記タイミングデータ記憶手段に記憶されたタイミングデータに基づいて利用者の動作タイミングを報知する動作タイミング報知手段と、利用者に把持または装着されて移動可能な複数の操作子と、前記操作子に設けられ、該操作子の運動を検出し、該検出結果に基づいて、前記利用者の動作を検出する動作検出手段と、前記動作タイミング報知手段によって前記動作タイミングが報知されてから予め定められた期間において、前記動作検出手段が検出する複数の動作のそれぞれと予め定められた基準データとの比較に基づいて前記利用者の動作を評価する評価手段とを具備することを特徴とする動作評価装置を提供する。
【0006】
本発明の好ましい態様において、前記タイミングデータと前記利用者の動作態様との対応関係を記憶する対応関係記憶手段を具備し、前記予め定められた基準データは、前記動作タイミング報知手段によって参照されたタイミングデータに対応する利用者の動作態様を、前記評価手段が、前記対応関係記憶手段内を参照して特定したものであって、前記評価手段は、前記特定した利用者の動作態様と前記動作検出手段が検出した複数の動作のそれぞれとの比較に基づいて前記利用者の動作を評価してもよい。
【0007】
本発明の更に好ましい態様において、前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、前記対応関係記憶手段は、前記タイミングデータと前記利用者の動作態様との対応関係を複数種類記憶し、前記動作タイミング報知手段は、複数のタイミングデータに基づいてタイミングを報知し、前記評価手段は、前記対応関係記憶手段に記憶された複数の対応関係のそれぞれに基づいて前記利用者の動作を評価し、該複数の評価結果を比較することによって利用者の動作判断の類型を判定してもよい。
【0008】
本発明の別の好ましい態様において、前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、前記動作タイミング報知手段は、前記複数のタイミングデータに基づいて順次タイミングを報知した後、再び前記複数のタイミングデータのうちの所定のタイミングデータに基づいてタイミングを報知してもよい。
【0009】
本発明の別の好ましい態様において、前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、前記動作タイミング報知手段は、前記複数のタイミングデータをランダムな順番で選択し、選択した順番でタイミングを報知してもよい。
【発明の効果】
【0010】
本発明によれば、脳機能の測定や脳機能の活性化を従来と比較して容易に行うことができる。
【図面の簡単な説明】
【0011】
【図1】課題提示システムの構成の一例を示す図である。
【図2】操作装置の外観の一例を示す図である。
【図3】操作装置のハードウェア構成の一例を示すブロック図である。
【図4】課題提示装置のハードウェア構成の一例を示すブロック図である。
【図5】対応関係記憶領域に記憶されたデータの内容の一例を示す図である。
【図6】課題提示装置の機能的構成の一例を示すブロック図である。
【図7】動作評価部が行う処理の流れを示すフローチャートである。
【図8】課題提示処理の流れを示すシーケンス図である。
【図9】課題提示処理の流れを示すシーケンス図である。
【図10】課題提示処理の流れを示すシーケンス図である。
【図11】課題提示処理の流れを示すシーケンス図である。
【図12】音階名称対応テーブルの内容の一例を示す図である。
【発明を実施するための形態】
【0012】
<A:構成>
図1は、この発明の一実施形態である課題提示システムの構成の一例を示す図である。図において、課題提示装置1は、脳機能の測定や脳機能の活性化のための課題を利用者に対して提示したり、利用者の反応を評価したりする装置である。操作装置2a,2b,2cはそれぞれ、利用者に装着されて移動可能な装置であり、利用者の動作を検出する装置である。操作装置2a,2b,2cは、それぞれ異なる利用者によって用いられる。なお、以下の説明では、操作装置2a,2b,2cを各々区別する必要がない場合には、これらを「操作装置2」と称して説明する。
【0013】
図2は、操作装置2の外観の一例を示す図である。図示のように、操作装置2の筐体2Aは略直方体の形状であり、利用者に装着されて(又は把持されて)用いられる。操作装置2の内部構成を、図3を参照して説明する。操作装置2において、制御部20とセンサ21と送信部22とは、バスで接続されており、それらの構成は図2に示す筐体2aに収められている。
【0014】
センサ21は、加速度センサとジャイロセンサとを有している。センサ21に含まれる加速度センサは、3軸の加速度センサである。すなわち、センサ21には、互いに直交する3軸方向の加速度を検出する3つのセンサ(以下、各センサをSx、Sy、Szと呼ぶ)が含まれており、各センサの軸が図2に示すx、y、z軸方向となるように設けられている。この実施形態では、図2に示すように、操作装置2の長手方向をx軸、図中上下方向をz軸、x軸とz軸に直交する方向をy軸として定義されている。各センサSx、Sy、Szは、各時刻において、図2に示したx、y、z軸についての正の向きおよび負の向きの加速度(それぞれax、ay、azと表す)を検出し、その加速度を表す数値データを生成・出力する。以下、該加速度を示す数値データを「加速度データ」と呼び、以下では、具体的にデータの内容を示す場合には、x、y、z軸それぞれの方向の加速度の値を用いて、(ax、ay、az)のように表す。また、センサ21に含まれるジャイロセンサは、操作装置2のロール、ピッチ、ヨー角を検出し、検出結果を示すデータを出力する。
【0015】
制御部20は、CPU(Central Processing Unit)とROM(Read Only Memory)とRAM(Random Access Memory)とを含む。CPUは、RAMをワーキングエリアとして、ROMに格納された制御プログラムを実行する。送信部22は、上記センサ21が生成したデータを、所定時間(本実施形態では5ミリ秒)ごとに、電波などの無線信号として課題提示装置1に出力する。
【0016】
次に、課題提示装置1の構成について図面を参照しつつ説明する。図4は、課題提示装置1のハードウェア構成の一例を示す図である。図において、制御部11は、CPUやROM、RAMを備え、ROM又は記憶部12に記憶されているコンピュータプログラムを読み出して実行することにより、バスを介して課題提示装置1の各部を制御する。記憶部12は、制御部11によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部13は、液晶パネル等を備え、制御部11による制御の下に各種の画像を表示する。操作部14は、課題提示装置1の利用者が操作可能な各種操作子を有し、操作に応じた信号を出力する。
【0017】
マイクロホン15は、近傍の音を収音し、収音した音を表すアナログ信号を出力する収音手段である。音声処理部16は、マイクロホン15が出力するアナログ信号をA/D変換してデジタルデータを生成する。また、音声処理部16は、制御部11の制御の下、デジタル形式の音声データをD/A変換してアナログ信号を生成し、生成した音声信号をスピーカ17に出力する。スピーカ17は、音声処理部16から供給されるアナログ信号に応じた強度で放音する放音手段である。受信部18は、操作装置2から送信される無線信号を受信し、受信した無線信号が表すデータを制御部11に出力する。
【0018】
なお、この実施形態では、マイクロホン15とスピーカ17とが課題提示装置1に含まれている場合について説明するが、音声処理部16に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続するとしても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン15から音声処理部16へ入力される音声信号及び音声処理部16からスピーカ17へ出力される音声信号がアナログ音声信号である場合について説明するが、デジタル音声データを入出力するようにしても良い。このような場合には、音声処理部16にてA/D変換やD/A変換を行う必要はない。表示部13、操作部14についても同様であり、課題提示装置1に内蔵される構成であってもよく、外付けされる構成であってもよい。
【0019】
記憶部12は、図示のように、提示音データ記憶領域121と、対応関係記憶領域122とを有している。提示音データ記憶領域121には、利用者の動作タイミングを提示する音(以下「提示音」という)を表す音データ(以下「提示音データ」)が複数記憶されている。この提示音データは、単音を表すデータであってもよく、また、複数の音が連なって構成されたフレーズを表すデータであってもよい。また、提示音データは、音のリズムのパターンを表すリズムパターンデータであってもよい。この提示音データは、利用者の動作タイミングを報知するためのタイミングデータとして用いられる。この提示音データの一部は、それぞれ異なる音を表す第1、第2の提示音データからなる組を有している。
【0020】
対応関係記憶領域122には、提示音データと利用者の動作態様との対応関係が記憶されている。図5は、対応関係記憶領域122に記憶されたデータの内容の一例を示す図である。図5に示す例では、この記憶領域には、「提示音」と「動作」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「提示音」の項目には、提示音データ記憶領域121に記憶された提示音データを識別する提示音ID(伴奏音識別情報)が記憶されている。「動作」の項目には、利用者の動作の内容(動作態様)をあらわすデータ(以下「基準データ」という)が記憶されている。具体的な提示音データと利用者の動作態様との対応関係は、以下のように例示される。例えば、後述の<B−1:Go/NoGo課題>において、「形成実験課題」では、提示音1に対応する動作は操作装置2を振り動かす動作であり、「分化実験課題」では、提示音2に対応する動作は操作装置2を振り動かす動作、及び提示音3に対応する動作は何もしない(無動作)であり、「逆転分化実験課題」では、提示音2に対応する動作は何もしない(無動作)、及び提示音3に対応する動作は操作装置2を振り動かす動作である。また、<B−2:ブランチング課題>において、リズムパターンP1の提示音に対応する動作はリズムパターンP1と同じようにリズムを刻む動作であり、リズムパターンP2の提示音に対応する動作はリズムパターンP2と同じようにリズムを刻む動作である。さらに、<B−3:葛藤課題>において、リズムパターンAの提示音に対応する動作はリズムパターンXを叩く動作であり、リズムパターンBの提示音に対応する動作はリズムパターンYを叩く動作である。以上のように、実行される課題に応じて、提示音データの内容と利用者の動作態様の内容、およびその対応関係は、任意に設定される。
【0021】
次に、課題提示装置1の機能的構成の一例について図面を参照しつつ説明する。図6は、課題提示装置1の機能的構成の一例を示す図である。図において、課題提示制御部111,提示音再生部112,動作検出部113,動作評価部114は、制御部11がROM又は記憶部12に記憶されたコンピュータプログラムを読み出して実行することによって実現される。なお、図中の矢印はデータの流れを概略的に示すものである。
【0022】
図6において、課題提示制御部111は、利用者の操作内容に応じて、課題提示処理を行う。提示音再生部112は、提示音データ記憶領域121に記憶された提示音データに基づいて提示音を再生する。この提示音再生部112は、提示音データ記憶領域121に記憶された提示音データに基づいて利用者の動作タイミングを報知する動作タイミング手段として機能する。
【0023】
動作検出部113は、操作装置2から出力される信号に基づいて、利用者の動作を検出する。この実施形態では、動作検出部113は、操作装置2のセンサ21から出力される加速度データに基づいて、利用者が操作装置2を振り動かしたか否かを検出するとともに、利用者が操作装置2を振り動かした場合にその振り動かした時間長を検出する。より具体的には、この実施形態では、動作検出部113は、加速度データの値αx、αy、αzの全てが予め定められた閾値未満である場合には、利用者が操作装置2を振り動かしていないと判定する一方、それ以外の場合、すなわち加速度データαx、αy、αzの値のうちの少なくともいずれか一つが予め定められた閾値以上である場合に、利用者が操作装置2を振り動かしていると判定する。また、動作検出部113は、加速度データのαx、αy、αzのうちの少なくともいずれか一つが予め定められた閾値以上である時間長を測定する。動作検出部113は、検出結果を示すデータを動作評価部114に出力する。
【0024】
また、動作検出部113は、利用者の動作が検出された場合(すなわち利用者が操作装置2を振り動かしていると判定した場合)に、音声処理部16を制御して、予め定められた音(以下「センサ音」という)をスピーカ17から放音させる。すなわち、この実施形態では、利用者によって操作装置2が振り動かされる度に、スピーカ17からセンサ音が出力される。
【0025】
動作評価部114は、提示音再生部112によって提示音が再生されてから予め定められた期間(以下「評価対象期間」という)において、動作検出部113が検出する動作と予め定められた基準データ(対応関係記憶領域122に記憶された基準データ)との比較に基づいて利用者の動作を評価し、評価結果を示す評価データを生成する。この実施形態では、動作評価部114は、提示音再生部112によって提示された提示音に対応する動作を対応関係記憶領域122を参照して特定し、特定した動作と検出された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。動作評価部114は、評価結果を表示部13に表示する。
【0026】
また、動作評価部114は、複数の操作装置2を用いて脳機能測定を行う場合に、操作装置2のそれぞれから出力された信号を比較し、比較結果に応じて利用者の動作を評価する。具体的には、例えば、課題提示装置1が、或る提示音1が提示された場合は反応1を行う(例えば、右手で突き動作を行った後に左手で突き動作を行う)一方、或る提示音2が提示された場合は反応2を行う(例えば、左手で突き動作を行った後に右手で突き動作を行う)ように利用者に対して教示し、課題提示装置1が、これらの反応1,反応2の一連の動作の正確さを判定するようにしてもよい。
【0027】
ここで、動作評価部114が行う具体的な処理の一例について、図7を参照しつつ説明する。図7は、動作評価部114が行う処理の流れの一例を示すフローチャートである。動作評価部114は、操作装置2から受信される信号を受信し、受信した信号に基づいてそれぞれの操作装置2の現在の姿勢(ロール、ピッチ、ヨー角)を取得する(ステップSa1)。次いで、動作評価部114は、取得したセンサ出力値を他の操作装置2のセンサ出力値と比較する(ステップSa2)。動作評価部114は、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合(例えば、比較する姿勢が一致または対称である場合)には(ステップSa3;YES)、その旨を報知する処理を行う(ステップSa4)一方、それ以外の場合には(ステップSa3;NO)、そのまま処理を終了する。
【0028】
ステップSa3において動作評価部114が行う判定処理の一例としては、例えば、動作評価部114が、複数の操作装置2からのセンサ出力値の一致度が予め定められた閾値以上であるか否かを判定するようにしてもよく、また、複数の操作装置2からのセンサ出力値の出力タイミングの差分が予め定められた範囲内であるか否かを判定するようにしてもよい。また、複数の操作装置2の姿勢が垂直方向に対して対称となっているかを判定することによって、比較する姿勢が対称であるかを判定するようにしてもよい。また、ステップSa4において行う報知処理の具体的な内容の一例としては、例えば、動作評価部114は、比較結果が予め定められた条件を満たしたタイミングにおいて、音声処理部16を制御して、予め定められた報知音をスピーカ17から出力するようにしてもよい。
【0029】
<B:動作>
次に、この実施形態の動作について説明する。利用者は、課題提示装置1の操作部14を用いて、課題提示処理を行う旨の操作を行う。操作部14は、操作された内容に応じた操作信号を出力する。制御部11は、操作部14から出力される信号に応じて、課題提示処理を開始する。課題提示装置1は、課題として、<1:Go/NoGo課題>、<2:ブランチング課題>、<3:葛藤課題>の3種類の課題を提示する。課題提示装置1の制御部11は、演奏者によって操作された内容に応じて、これらの3種類の課題のなかからいずれかを選択し、選択した課題を演奏者に対して提示する処理を行う。
【0030】
<B−1:Go/NoGo課題>
まず、課題提示装置1が提示する、Go/NoGo課題について説明する。この課題では、「形成実験課題」、「分化実験課題」、「逆転分化実験課題」の3つの課題を順番に行う。
まず、「形成実験課題」について、図8を参照しつつ説明する。図8は、形成実験課題の動作の流れを示すシーケンス図である。この動作においては、まず、課題提示装置1が提示音1を提示する(s1)。すなわち、課題提示装置1の制御部11は、提示音データ記憶領域121から予め定められた提示音データを読み出して、音声処理部16を制御してスピーカ17から音として出力させる。実験前に利用者は、提示音1が提示されたことを確認すると、操作装置2を振り動かして発音させるように教示される。このため、提示音1が提示されたことを利用者が確認すると、利用者は、操作装置2を振り動かして発音させる(s2)。
【0031】
利用者によって操作装置2が振り動かされると、センサ21は、各軸方向の加速度を表す加速度データを逐次生成するとともに、操作装置2の姿勢(ロール、ピッチ、ヨー角)を表すデータを逐次生成する。生成されたデータは、送信部22を介して無線信号として課題提示装置1に送信される。この実施形態では、センサ21から出力されるデータは、5ミリ秒ごとにその時点での値が書き込まれ送信される。課題提示装置1の受信部18は、操作装置2からデータを受信し、制御部11に出力する。制御部11は、データを受信し、受信したデータに基づいて利用者の動作を検出する。制御部11は、検出結果を示すデータをRAMに記憶する。また、制御部11は、利用者が操作装置2を振り動かしたと判定した場合に、音声処理部16を制御して予め定められたセンサ音を再生する。すなわち、利用者によって操作装置2が動かされるたびに、その動きに応じてセンサ音が放音される。
【0032】
また、制御部11は、複数の操作装置2のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を報知する処理を行う。この実施形態では、制御部11は、それぞれの操作装置2の姿勢(ロール、ピッチ、ヨー角)を検出し、検出した姿勢の差分が予め定められた範囲内である場合に、その旨を示す報知音をスピーカ17から出力する。
【0033】
課題提示装置1は提示音1の提示処理を5回繰り返して行う(s3,s5,s7,s9)。利用者は、課題提示装置1によって提示音1が提示される度に、操作装置2を振り動かす動作を行う。利用者の動作はセンサ21によって検出され、逐次課題提示装置1へ送信される(s4,s6,s8,s10)。
【0034】
次に、「分化実験課題」について、図9を参照しつつ説明する。図9は、分化実験課題の動作の流れを示すシーケンス図である。この課題においては、課題提示装置1は、提示音2,提示音3の2種類の提示音を提示する(s11,s13)。すなわち、課題提示装置1の制御部11は、提示音データ記憶領域121から2種類の異なる提示音データを読み出し、音声処理部16を制御してスピーカ17から音として出力させる。提示音2が鳴ったときは、利用者は操作装置2を振り発音させる(s12,s15,s18,s22,s25)。一方、提示音3が鳴ったときは、利用者は何も行わないように、実験開始前に教示される。
【0035】
課題提示装置1は、提示音の提示処理を10回繰り返して行う(s11,s13,s14,s16,s17,s19,s20,s21,s23,s24)。すなわち、課題提示装置1の制御部11は、提示音データ記憶領域121から2種類の異なる提示音データ(提示音2の提示音データと提示音3の提示音データ)を読み出し、それらをランダムな順番でスピーカ17から音として出力させる。利用者は、放音される提示音を聞き分けながら、動作を行うか否かを判断する。課題提示装置1の制御部11は、操作装置2から出力されるデータに基づいて利用者の動作を検出し、検出結果を示すデータをRAMに記憶する。また、制御部11は、複数の操作装置2のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ17から出力する。
【0036】
次に、「逆転分化実験課題」について図10を参照しつつ説明する。図10は逆転分化実験課題の動作の流れを示すシーケンス図である。この課題においては、課題提示装置1は、「分化実験課題」において提示した2種類の提示音を提示する(s31,s32)。すなわち、課題提示装置1の制御部11は、提示音データ記憶領域121から2種類の異なる提示音データを読み出し、音声処理部16を制御してスピーカ17から音として出力させる。それに対し、利用者は、分化実験のときとは逆の動作を行う。すなわち、提示音2が鳴ったときは利用者は何も行わない一方、提示音3が鳴ったときは、利用者は操作装置2を振り動かして発音させるように、実験開始前に教示される(s33,s36,s39,s41,s44)。
【0037】
課題提示装置1は、提示音の提示処理を10回繰り返して行う(s31,s32,s34,s35,s37,s38,s40,s42,s43,s45)。すなわち、課題提示装置1の制御部11は、提示音データ記憶領域121から2種類の異なる提示音データ(提示音2の提示音データと提示音3の提示音データ)を読み出し、それらをランダムな順番でスピーカ17から音として出力させる。利用者は、放音される提示音を聞き分けながら、動作を行うか否かを判断する。課題提示装置1の制御部11は、操作装置2から出力されるデータに基づいて利用者の動作を検出し、検出結果を示すデータをRAMに記憶する。また、制御部11は、複数の操作装置2のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ17から出力する。
【0038】
課題の提示処理を終えると、課題提示装置1の制御部11は、RAMに記憶されたデータを参照して、検出された動作と対応関係記憶領域122に記憶された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。制御部11が行う評価の具体例としては、例えば、両者の整合度合いに応じて、予め定められたアルゴリズムに従って利用者の脳年齢を数値で算出するようにしてもよい。また、他の例として、例えば、制御部11が、予め定められたアルゴリズムに従って性格分析(おっとり、早とちり、など)を行うようにしてもよい。この実施形態では、制御部11は、課題提示装置1から放音された提示音のそれぞれに対する利用者の反応の有無を判定する。また、制御部11は、提示音が出力されてから利用者が反応するまでの時間を測定し、この時間長も参照して評価を行う。
【0039】
制御部11が行う評価の具体的な内容としては、例えば、利用者の動作の正/誤反応の割合を評価したり、また、正/誤反応の内容(反応時間長、各課題のどの辺の時間帯で正/誤反応しているか)を評価したり、また、試験時間・時期との関連(午前と午後、季節の影響など)を評価してもよい。また、例えば、正/誤反応の履歴(だんだん正解が増えている/減っている、改善/改悪の傾向)をとり、この履歴に応じて評価を行うようにしてもよい。すなわち、制御部11が、検出された動作と対応関係記憶領域122に記憶された動作とを比較し、該比較結果に基づいて利用者の動作の正誤、正誤の内容、正誤の割合、及び比較結果の履歴の少なくともいずれか一つを特定し、特定結果に応じて評価を行うようにしてもよい。また、例えば、提示音との関連(難易度等)に応じて評価態様を異ならせるようにしてもよい。
【0040】
また、制御部11は、分化実験課題の判定結果及び逆転分化実験課題の判定結果から、利用者の動作判断の類型が、「不活発型」、「興奮型」、「抑制型」、「おっとり型」、「活発型」のいずれかの型であるかを判定する。具体的には、制御部11は、分化実験でGo課題(操作装置2を振り動かす動作を行わなければいけないとき)の間違いがあり、かつ、分化実験でNoGo課題(操作装置2を振り動かす動作を行ってはいけないとき)の間違いが3回以上ある場合に、「不活発型」と判定する。また、制御部11は、分化実験でGo課題の間違いがなく、かつ、分化実験でNoGo課題の間違いが3回以上ある場合に、「興奮型」と判定する。また、制御部11は、分化実験でGo課題の間違いがあり、かつ、分化実験でNoGo課題の間違いが2回以下の場合に、「抑制型」と判定する。また、制御部11は、分化実験でGo課題の間違いがなく、分化実験でNoGo課題の間違いが2回以下であり、逆転分化実験でGo課題の間違いがあり、かつ、逆転分化実験でNoGo課題の間違いが2回以下の場合に、「おっとり型」と判定する。また、制御部11は、分化実験、逆転分化実験でともにGo課題の間違いがなく、かつ、分化実験、逆転分化実験でNoGo課題の間違いが2回以下である場合に、「活発型」と判定する。
【0041】
すなわち、制御部11は、分化実験課題においては、複数の提示音データに基づいて提示音(提示音2,提示音3)を再生するとともに、これら複数の提示音データのうちのいずれかひとつの提示音データ(提示音2を示す提示音データ)を、利用者の動作タイミングを報知するためのタイミングデータとして用いる。すなわち、制御部11は、分化実験課題においては、提示音2を再生してから予め定められた期間において利用者の動作評価を行う。また、制御部11は、逆転分化実験課題においては、上述した分化実験課題と同様の提示音(提示音2,提示音3)を再生するとともに、分化実験課題においてタイミングデータとして用いた提示音データ(提示音2を示す提示音データ)以外の提示音データ(提示音データ3)を、利用者の動作タイミングを報知するためのタイミングデータとして用いる。すなわち、制御部11は、逆転分化実験課題においては、提示音3を再生してから予め定められた期間において利用者の動作評価を行う。次いで、制御部11は、分化実験課題における評価結果と逆転分化実験課題における評価結果とを比較し、両者の差分に応じて利用者の動作判断の類型(「不活発型」、「興奮型」、「抑制型」、「おっとり型」、「活発型」)を判定する。
【0042】
制御部11は、評価結果(判定結果)を表示部13に表示する等して、評価結果を利用者に報知する。利用者は表示部13に表示される画面を参照することで自身の脳機能の測定結果を把握することができる。
【0043】
<B−2:ブランチング課題>
次に、ブランチング課題の提示処理について図11を参照しつつ説明する。このブランチング課題は短期記憶力の評価と向上を目的としている。この課題においては、まず、課題提示装置1が、提示音としてリズムパターンP2を作成し、そのパターンを再生する(s91)。すなわち、制御部11は、提示音データ記憶領域121から予め定められた提示音データ(リズムパターンデータ)を読み出して、音声処理部16を制御してスピーカ17から音として放音させる。
【0044】
利用者は、課題提示装置1によって提示されるリズムパターンP2を記憶して、操作装置2を振り動かして、提示されたリズムパターンP2と同じようにリズムを刻む反応をするように教示される。操作装置2は利用者の操作に応じて加速度データを課題提示装置1に出力する(s92)。なお、このブランチング課題においては、集中して記憶することを利用者に促すために、短音等の単純な提示音ではなく、複数の音で構成されるリズムパターンを採用し、短期記憶力の評価と向上に供した。
【0045】
次いで、課題提示装置1が提示音としてリズムパターンP1を作成し、そのパターンを繰り返し再生し続ける。(s101,…,s107)。すなわち、制御部11は、提示音データ記憶領域121から予め定められた提示音データ(リズムパターンデータ)を読み出して、音声処理部16を制御してスピーカ17から音として放音させる。
【0046】
利用者は、課題提示装置1によって提示されるリズムパターンP1を記憶して、操作装置2を振り動かして提示されたリズムパターンP1と同じようにリズムを刻む反応をするように教示される。操作装置2は利用者の操作に応じてデータを課題提示装置1に出力する(s102,s103,s104,s105,s106,…,s108,s109,s110,s111,s112)。課題提示装置1によってリズムパターンP1が1回提示される度に、利用者が提示されたリズムパターンP1と同じリズムパターンP1を5回繰り返して行うと成功とする。この組み合わせを3回繰り返す。
【0047】
なお、図11に示す例においては、利用者が、ひとつのリズムパターンP1に対してその動作を5回繰り返して行うとともに、課題提示装置1がリズムパターンP1の提示を3回繰り返して行う場合について例示したが、利用者の動作回数や課題提示装置1のリズムパターンの提示回数はこれに限定されるものではなく、課題提示装置1の設計等に応じて適宜変更可能である。要は、課題提示装置1が、リズムパターンの提示を複数回繰り返して行うとともに、利用者が、提示されたリズムパターンに対して動作を所定回数繰り返して行うようにすればよい。
【0048】
3回目のリズムパターンP1の提示が終了すると、課題提示装置1は、利用者に以前行った別のリズムパターンP2を再生させるように指示する(s113)。利用者は、課題提示装置1によって提示されるリズムパターンP2に従って、操作装置2を振り動かして前記別のリズムパターンP2と同じようにリズムを刻む。操作装置2は利用者の操作に応じてデータを課題提示装置1に出力する(s114)。以上のように、リズムパターンP1が複数回(3回)提示され、この提示期間がリズムパターンP2の2回の提示期間の間に設けられることにより、リズムパターンP2の短期の記憶の保持能力が判定される。また、課題提示装置1の制御部11は、複数の操作装置2のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ17から出力する。
【0049】
制御部11は、RAMに記憶されたデータを参照して、検出された動作と対応関係記憶領域122に記憶された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。なお、制御部11が行う評価処理については、上述したGo/NoGo課題において示した処理と同様であり、ここではその詳細な説明を省略する。
【0050】
<B−3:葛藤課題>
次に、課題提示装置1が提示する葛藤課題について説明する。この課題提示処理においては、リズムパターンA,Bと、リズムパターンA,Bに合うようなリズムパターンX,Yを用いる。リズムパターンA,Bは音楽的につながるものが好ましい。また、リズムパターンX,Yは、それぞれ音楽的にリズムパターンA,Bに合うものが好ましい。
【0051】
利用者は、課題提示装置1によって、リズムパターンAが流れたときはリズムパターンXを叩く一方、リズムパターンBが流れたときはリズムパターンYを叩くように教示される。この教示の態様としては、例えば、制御部11が、リズムパターンAとリズムパターンXとをそれぞれ実際に放音しながら、「このリズムパターン(A)が流れたときはこのリズムパターン(X)を叩いて反応してください」といったメッセージを、実際に放音する音に同期して出力するようにしてもよい。なお、リズムパターンXとリズムパターンYは、予め譜面などで利用者に提示しておくようにしてもよい。
【0052】
制御部11は、リズムパターンAとリズムパターンBとをランダムな順番で再生する。
このリズムパターンは、打楽器の演奏音であってもよく、また、他の楽器の演奏音であってもよい。また、音程を有する演奏音を用いる場合には、フレーズ、和音、伴奏などを用いてもよく、この場合、1〜2小節の長さであることが好ましい。
【0053】
すなわち、制御部11は、提示音データ記憶領域121から2種類の異なるリズムパターンデータを読み出し、それらをランダムな順番でスピーカ17から音として出力させる。利用者は、放音されるリズムパターンを聞き分けながら、それぞれのリズムパターンに対応する動作を行う。操作装置2は利用者の操作に応じてデータを出力し、制御部11は、操作装置2から出力されるデータに基づいて利用者の動作を検出し、検出結果を示すデータをRAMに記憶する。また、課題提示装置1の制御部11は、複数の操作装置2のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ17から出力する。
【0054】
課題の提示を終えると、制御部11は、RAMに記憶されたデータを参照して、検出された動作と提示したパターンデータに対応付けて対応関係記憶領域122に記憶された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。この課題においては、制御部11は、利用者がリズムパターンに対して反応していたかを評価する。より具体的には、制御部11は、利用者の反応の有無を評価する。また、制御部11は、フレーズX,Yのリズム・音、パターンが合っていたかを評価解析する。制御部11は、その状況データや、判定結果を保存しておき、更に難易度が選定された場合には、長さ、時間、パターンの難易度がランダムに提示できるようにしてもよい。
【0055】
以上説明したように本実施形態によれば、音・音楽提示等により、Go/NoGo課題、ブランチング課題、葛藤課題を音楽的に楽しみながら行うことができ、認知症の予防や、前頭前野の賦活、いわゆる「キレル」子供たちの予防訓練等、判断指向パターン等を知ることができる。すなわち、本実施形態によれば、利用者の音に対する反応動作をセンシングする操作装置2を用いて、脳機能の活性化や性格分析などを行うことができる。また、本実施形態によれば、音・音楽を用いて課題を提示するため、利用者に精神的な負担を強いることなく、利用者が楽しみながら課題を行うことができる。
【0056】
更に、本実施形態によれば、ひとりの利用者が複数の操作装置2を装着して課題提示装置1を用いる場合や、複数の利用者がそれぞれ操作装置2を装着して課題提示装置1を用いる場合において、検出される複数の動作を比較することによって利用者の動作を評価するとともに、複数の操作装置2の姿勢等が予め定められた条件を満たす場合(例えば、操作装置2の動きが一致した場合や、操作装置2の動きが対称になった場合、等)に、音や音楽を放音するから、利用者が楽しみながら課題を行うことができる。
【0057】
また、本実施形態によれば、被験者の反応時間から反射脳年齢等を数値で出すことができ、次回のやる気に繋げることができる。また、利用者の動作を正解率や反応時間で評価することにより、利用者の動作判断の類型の分析(おっとり、早とちりなど)を行うことができる。
【0058】
<C:変形例>
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
(1)上述の実施形態では、課題提示装置1が提示音を再生することによって、動作を行うべきタイミングや動作を行わないタイミングを演奏者に報知した。動作のタイミングの報知の態様はこれに限らず、例えば、表示装置に映像を表示し、その映像を時系列に変化させることによって、動作のタイミングを報知するようにしてもよい。また、例えば、課題提示装置1が自装置を振動させる機構を備える構成とし、振動の態様を時系列に変化させることによって動作タイミングを報知するようにしてもよい。要は、課題提示装置1の制御部11が、音、光、映像及び振動の少なくともいずれかひとつを時系列に変化させることによって、動作のタイミングを報知するようにすればよい。
【0059】
(2)上述の実施形態では、ひとりの利用者が1台の操作装置2を用いて複数人の動作測定を行う場合について説明したが、これに限らず、一人の利用者が複数(2台)の操作装置2を例えば両手に把持(装着)して複数の部位の動作測定を行うようにしてもよい。この場合は、制御部11は、複数の操作装置2から出力されるデータに基づいて利用者の動作を検出し、検出結果に応じて利用者の動作を評価する。
【0060】
(3)上述の実施形態において、操作装置2が動かされた軸方向及びその向きに応じて、異なる音を放音するようにしてもよい。この場合は、課題提示装置1の記憶部12に、図11に示すような、音階名称対応テーブルを記憶しておく構成とし、課題提示装置1の制御部11が、このテーブルを参照して、操作装置2が動かされた軸及びその向きに対応する音を放音する。図11に示す例では、音階名称対応テーブルには、図示のように、操作装置2が動かされた軸方向及びその向きと、音階の名称とが対応付けて記憶されている。同図に示すように、音階名称対応テーブルにおいては、操作装置2が動かされた軸方向(軸x、y、z)および、該軸方向の向き(正または負)の組み合わせに対して音階の名称が1つ対応付けられている。
【0061】
利用者によって操作装置2が動かされると、センサ21は、各軸方向の加速度を表す加速度データを逐次生成し、課題提示装置1へ送信する。課題提示装置1は、操作装置2から加速度データを受信する。制御部11は、音階名称対応テーブルを参照して、受信された加速度データに対応する音階を特定する。制御部11は、特定した音階の音を放音する。
【0062】
なお、上述の態様においては、操作装置2が動かされた軸方向及びその向きと音階とを対応付けるようにしたが、操作装置2が動かされた軸方向及びその向きに対応付けるものは音階に限らず、例えば、音色(楽器別の音色やそのバリエーション等)、効果(残響音や定位(パン)等)であってもよく、要は、操作装置2が動かされた軸方向及びその向きと、音の性質(音階、音色、効果を含む)とを対応付けて記憶するようにすればよい。
【0063】
(4)上述の実施形態では、操作装置2として略直方体の形状の装置を用いたが、操作装置2の形状はこれに限らず、例えば、オーケストラの指揮棒の形状をしたものであってもよく、また、例えば、球形状であってもよい。要は、操作装置2は、利用者に把持または装着されて移動可能であり、複数の軸についての正の向きおよび負の向きの運動を検出するセンサが内蔵されているものであればよい。
また、上述の実施形態において、課題提示装置1は、専用の装置であってもよく、また、例えば、携帯電話端末や、携帯型ゲーム機等であってもよい。
【0064】
(5)上述の実施形態では、課題提示装置1の制御部11が、操作装置2のセンサ21によって利用者の動作が検出される毎に、予め定められたセンサ音をスピーカ17から出力させるようにした。これに代えて、操作装置2がスピーカを内蔵する構成とし、操作装置2のスピーカからセンサ音を出力するようにしてもよい。この場合は、操作装置2の制御部20が、センサ21から出力されるデータに基づいて利用者の動作の有無を検出し、利用者の動作が検出された場合(すなわち利用者が操作装置2を振り動かしていると判定した場合)に、予め定められたセンサ音を内蔵スピーカから放音するようにすればよい。また、操作装置2がスピーカを内蔵するに限らず、操作装置2に外付けスピーカを接続する構成としてもよい。
【0065】
(6)上述の実施形態では、3軸の加速度センサとジャイロセンサとを用いて利用者の動作を検出するようにしたが、利用者の動作を検出する態様はこれに限らず、例えば、地磁気センサを操作装置2に内蔵する構成とし、地磁気センサによって利用者の動作を検出するようにしてもよい。また、複数種類のセンサを組み合わせて用いてもよい。要は、操作装置2内に設けられ、複数の軸についての運動を検出するものであればよい。
【符号の説明】
【0066】
1…課題提示装置、2…操作装置、11,20…制御部、12…記憶部、13…表示部、14…操作部、15…マイクロホン、16…音声処理部、17…スピーカ、18…受信部、21…センサ、22…送信部。
【技術分野】
【0001】
本発明は、動作評価装置及びプログラムに関する。
【背景技術】
【0002】
近年、鍵盤にLEDを設け、鍵盤を光らせて押鍵を指示する装置が提案されている(例えば、特許文献1、2参照)。また、鍵盤にLEDが設けられた楽器を用いて、ゲームを行ったり動体視力の訓練をしたりする装置が提案されている(例えば、特許文献3参照)。また、近年、図形課題を提示し、脳機能を測定する装置が提案されている(例えば、特許文献4、5参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平06−067653号公報
【特許文献2】特開平10−222160号公報
【特許文献3】特開2006−158955号公報
【特許文献4】特開2006−158421号公報
【特許文献5】特開2006−158944号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、従来の脳機能の測定方法においては、人がパターンを覚えて提示して、被験者に対して課題提示し、その結果を人が判断していたため、測定結果を数値的に算出することができなかった。また、鍵盤上でのガイドは、提示と同時に鍵盤を弾くように促すものが多く、不慣れな者にとってはガイドに追いついていくのが困難であったため、利用者が楽しく練習することが出来ず、またその測定結果を数値的に算出することもできなかった。
本発明は上述した背景に鑑みてなされたものであり、脳機能の測定や脳機能の活性化を従来と比較して容易に行うことのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明は、利用者の動作タイミングを報知するためのタイミングデータを記憶するタイミングデータ記憶手段と、前記タイミングデータ記憶手段に記憶されたタイミングデータに基づいて利用者の動作タイミングを報知する動作タイミング報知手段と、利用者に把持または装着されて移動可能な複数の操作子と、前記操作子に設けられ、該操作子の運動を検出し、該検出結果に基づいて、前記利用者の動作を検出する動作検出手段と、前記動作タイミング報知手段によって前記動作タイミングが報知されてから予め定められた期間において、前記動作検出手段が検出する複数の動作のそれぞれと予め定められた基準データとの比較に基づいて前記利用者の動作を評価する評価手段とを具備することを特徴とする動作評価装置を提供する。
【0006】
本発明の好ましい態様において、前記タイミングデータと前記利用者の動作態様との対応関係を記憶する対応関係記憶手段を具備し、前記予め定められた基準データは、前記動作タイミング報知手段によって参照されたタイミングデータに対応する利用者の動作態様を、前記評価手段が、前記対応関係記憶手段内を参照して特定したものであって、前記評価手段は、前記特定した利用者の動作態様と前記動作検出手段が検出した複数の動作のそれぞれとの比較に基づいて前記利用者の動作を評価してもよい。
【0007】
本発明の更に好ましい態様において、前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、前記対応関係記憶手段は、前記タイミングデータと前記利用者の動作態様との対応関係を複数種類記憶し、前記動作タイミング報知手段は、複数のタイミングデータに基づいてタイミングを報知し、前記評価手段は、前記対応関係記憶手段に記憶された複数の対応関係のそれぞれに基づいて前記利用者の動作を評価し、該複数の評価結果を比較することによって利用者の動作判断の類型を判定してもよい。
【0008】
本発明の別の好ましい態様において、前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、前記動作タイミング報知手段は、前記複数のタイミングデータに基づいて順次タイミングを報知した後、再び前記複数のタイミングデータのうちの所定のタイミングデータに基づいてタイミングを報知してもよい。
【0009】
本発明の別の好ましい態様において、前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、前記動作タイミング報知手段は、前記複数のタイミングデータをランダムな順番で選択し、選択した順番でタイミングを報知してもよい。
【発明の効果】
【0010】
本発明によれば、脳機能の測定や脳機能の活性化を従来と比較して容易に行うことができる。
【図面の簡単な説明】
【0011】
【図1】課題提示システムの構成の一例を示す図である。
【図2】操作装置の外観の一例を示す図である。
【図3】操作装置のハードウェア構成の一例を示すブロック図である。
【図4】課題提示装置のハードウェア構成の一例を示すブロック図である。
【図5】対応関係記憶領域に記憶されたデータの内容の一例を示す図である。
【図6】課題提示装置の機能的構成の一例を示すブロック図である。
【図7】動作評価部が行う処理の流れを示すフローチャートである。
【図8】課題提示処理の流れを示すシーケンス図である。
【図9】課題提示処理の流れを示すシーケンス図である。
【図10】課題提示処理の流れを示すシーケンス図である。
【図11】課題提示処理の流れを示すシーケンス図である。
【図12】音階名称対応テーブルの内容の一例を示す図である。
【発明を実施するための形態】
【0012】
<A:構成>
図1は、この発明の一実施形態である課題提示システムの構成の一例を示す図である。図において、課題提示装置1は、脳機能の測定や脳機能の活性化のための課題を利用者に対して提示したり、利用者の反応を評価したりする装置である。操作装置2a,2b,2cはそれぞれ、利用者に装着されて移動可能な装置であり、利用者の動作を検出する装置である。操作装置2a,2b,2cは、それぞれ異なる利用者によって用いられる。なお、以下の説明では、操作装置2a,2b,2cを各々区別する必要がない場合には、これらを「操作装置2」と称して説明する。
【0013】
図2は、操作装置2の外観の一例を示す図である。図示のように、操作装置2の筐体2Aは略直方体の形状であり、利用者に装着されて(又は把持されて)用いられる。操作装置2の内部構成を、図3を参照して説明する。操作装置2において、制御部20とセンサ21と送信部22とは、バスで接続されており、それらの構成は図2に示す筐体2aに収められている。
【0014】
センサ21は、加速度センサとジャイロセンサとを有している。センサ21に含まれる加速度センサは、3軸の加速度センサである。すなわち、センサ21には、互いに直交する3軸方向の加速度を検出する3つのセンサ(以下、各センサをSx、Sy、Szと呼ぶ)が含まれており、各センサの軸が図2に示すx、y、z軸方向となるように設けられている。この実施形態では、図2に示すように、操作装置2の長手方向をx軸、図中上下方向をz軸、x軸とz軸に直交する方向をy軸として定義されている。各センサSx、Sy、Szは、各時刻において、図2に示したx、y、z軸についての正の向きおよび負の向きの加速度(それぞれax、ay、azと表す)を検出し、その加速度を表す数値データを生成・出力する。以下、該加速度を示す数値データを「加速度データ」と呼び、以下では、具体的にデータの内容を示す場合には、x、y、z軸それぞれの方向の加速度の値を用いて、(ax、ay、az)のように表す。また、センサ21に含まれるジャイロセンサは、操作装置2のロール、ピッチ、ヨー角を検出し、検出結果を示すデータを出力する。
【0015】
制御部20は、CPU(Central Processing Unit)とROM(Read Only Memory)とRAM(Random Access Memory)とを含む。CPUは、RAMをワーキングエリアとして、ROMに格納された制御プログラムを実行する。送信部22は、上記センサ21が生成したデータを、所定時間(本実施形態では5ミリ秒)ごとに、電波などの無線信号として課題提示装置1に出力する。
【0016】
次に、課題提示装置1の構成について図面を参照しつつ説明する。図4は、課題提示装置1のハードウェア構成の一例を示す図である。図において、制御部11は、CPUやROM、RAMを備え、ROM又は記憶部12に記憶されているコンピュータプログラムを読み出して実行することにより、バスを介して課題提示装置1の各部を制御する。記憶部12は、制御部11によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部13は、液晶パネル等を備え、制御部11による制御の下に各種の画像を表示する。操作部14は、課題提示装置1の利用者が操作可能な各種操作子を有し、操作に応じた信号を出力する。
【0017】
マイクロホン15は、近傍の音を収音し、収音した音を表すアナログ信号を出力する収音手段である。音声処理部16は、マイクロホン15が出力するアナログ信号をA/D変換してデジタルデータを生成する。また、音声処理部16は、制御部11の制御の下、デジタル形式の音声データをD/A変換してアナログ信号を生成し、生成した音声信号をスピーカ17に出力する。スピーカ17は、音声処理部16から供給されるアナログ信号に応じた強度で放音する放音手段である。受信部18は、操作装置2から送信される無線信号を受信し、受信した無線信号が表すデータを制御部11に出力する。
【0018】
なお、この実施形態では、マイクロホン15とスピーカ17とが課題提示装置1に含まれている場合について説明するが、音声処理部16に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続するとしても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン15から音声処理部16へ入力される音声信号及び音声処理部16からスピーカ17へ出力される音声信号がアナログ音声信号である場合について説明するが、デジタル音声データを入出力するようにしても良い。このような場合には、音声処理部16にてA/D変換やD/A変換を行う必要はない。表示部13、操作部14についても同様であり、課題提示装置1に内蔵される構成であってもよく、外付けされる構成であってもよい。
【0019】
記憶部12は、図示のように、提示音データ記憶領域121と、対応関係記憶領域122とを有している。提示音データ記憶領域121には、利用者の動作タイミングを提示する音(以下「提示音」という)を表す音データ(以下「提示音データ」)が複数記憶されている。この提示音データは、単音を表すデータであってもよく、また、複数の音が連なって構成されたフレーズを表すデータであってもよい。また、提示音データは、音のリズムのパターンを表すリズムパターンデータであってもよい。この提示音データは、利用者の動作タイミングを報知するためのタイミングデータとして用いられる。この提示音データの一部は、それぞれ異なる音を表す第1、第2の提示音データからなる組を有している。
【0020】
対応関係記憶領域122には、提示音データと利用者の動作態様との対応関係が記憶されている。図5は、対応関係記憶領域122に記憶されたデータの内容の一例を示す図である。図5に示す例では、この記憶領域には、「提示音」と「動作」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「提示音」の項目には、提示音データ記憶領域121に記憶された提示音データを識別する提示音ID(伴奏音識別情報)が記憶されている。「動作」の項目には、利用者の動作の内容(動作態様)をあらわすデータ(以下「基準データ」という)が記憶されている。具体的な提示音データと利用者の動作態様との対応関係は、以下のように例示される。例えば、後述の<B−1:Go/NoGo課題>において、「形成実験課題」では、提示音1に対応する動作は操作装置2を振り動かす動作であり、「分化実験課題」では、提示音2に対応する動作は操作装置2を振り動かす動作、及び提示音3に対応する動作は何もしない(無動作)であり、「逆転分化実験課題」では、提示音2に対応する動作は何もしない(無動作)、及び提示音3に対応する動作は操作装置2を振り動かす動作である。また、<B−2:ブランチング課題>において、リズムパターンP1の提示音に対応する動作はリズムパターンP1と同じようにリズムを刻む動作であり、リズムパターンP2の提示音に対応する動作はリズムパターンP2と同じようにリズムを刻む動作である。さらに、<B−3:葛藤課題>において、リズムパターンAの提示音に対応する動作はリズムパターンXを叩く動作であり、リズムパターンBの提示音に対応する動作はリズムパターンYを叩く動作である。以上のように、実行される課題に応じて、提示音データの内容と利用者の動作態様の内容、およびその対応関係は、任意に設定される。
【0021】
次に、課題提示装置1の機能的構成の一例について図面を参照しつつ説明する。図6は、課題提示装置1の機能的構成の一例を示す図である。図において、課題提示制御部111,提示音再生部112,動作検出部113,動作評価部114は、制御部11がROM又は記憶部12に記憶されたコンピュータプログラムを読み出して実行することによって実現される。なお、図中の矢印はデータの流れを概略的に示すものである。
【0022】
図6において、課題提示制御部111は、利用者の操作内容に応じて、課題提示処理を行う。提示音再生部112は、提示音データ記憶領域121に記憶された提示音データに基づいて提示音を再生する。この提示音再生部112は、提示音データ記憶領域121に記憶された提示音データに基づいて利用者の動作タイミングを報知する動作タイミング手段として機能する。
【0023】
動作検出部113は、操作装置2から出力される信号に基づいて、利用者の動作を検出する。この実施形態では、動作検出部113は、操作装置2のセンサ21から出力される加速度データに基づいて、利用者が操作装置2を振り動かしたか否かを検出するとともに、利用者が操作装置2を振り動かした場合にその振り動かした時間長を検出する。より具体的には、この実施形態では、動作検出部113は、加速度データの値αx、αy、αzの全てが予め定められた閾値未満である場合には、利用者が操作装置2を振り動かしていないと判定する一方、それ以外の場合、すなわち加速度データαx、αy、αzの値のうちの少なくともいずれか一つが予め定められた閾値以上である場合に、利用者が操作装置2を振り動かしていると判定する。また、動作検出部113は、加速度データのαx、αy、αzのうちの少なくともいずれか一つが予め定められた閾値以上である時間長を測定する。動作検出部113は、検出結果を示すデータを動作評価部114に出力する。
【0024】
また、動作検出部113は、利用者の動作が検出された場合(すなわち利用者が操作装置2を振り動かしていると判定した場合)に、音声処理部16を制御して、予め定められた音(以下「センサ音」という)をスピーカ17から放音させる。すなわち、この実施形態では、利用者によって操作装置2が振り動かされる度に、スピーカ17からセンサ音が出力される。
【0025】
動作評価部114は、提示音再生部112によって提示音が再生されてから予め定められた期間(以下「評価対象期間」という)において、動作検出部113が検出する動作と予め定められた基準データ(対応関係記憶領域122に記憶された基準データ)との比較に基づいて利用者の動作を評価し、評価結果を示す評価データを生成する。この実施形態では、動作評価部114は、提示音再生部112によって提示された提示音に対応する動作を対応関係記憶領域122を参照して特定し、特定した動作と検出された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。動作評価部114は、評価結果を表示部13に表示する。
【0026】
また、動作評価部114は、複数の操作装置2を用いて脳機能測定を行う場合に、操作装置2のそれぞれから出力された信号を比較し、比較結果に応じて利用者の動作を評価する。具体的には、例えば、課題提示装置1が、或る提示音1が提示された場合は反応1を行う(例えば、右手で突き動作を行った後に左手で突き動作を行う)一方、或る提示音2が提示された場合は反応2を行う(例えば、左手で突き動作を行った後に右手で突き動作を行う)ように利用者に対して教示し、課題提示装置1が、これらの反応1,反応2の一連の動作の正確さを判定するようにしてもよい。
【0027】
ここで、動作評価部114が行う具体的な処理の一例について、図7を参照しつつ説明する。図7は、動作評価部114が行う処理の流れの一例を示すフローチャートである。動作評価部114は、操作装置2から受信される信号を受信し、受信した信号に基づいてそれぞれの操作装置2の現在の姿勢(ロール、ピッチ、ヨー角)を取得する(ステップSa1)。次いで、動作評価部114は、取得したセンサ出力値を他の操作装置2のセンサ出力値と比較する(ステップSa2)。動作評価部114は、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合(例えば、比較する姿勢が一致または対称である場合)には(ステップSa3;YES)、その旨を報知する処理を行う(ステップSa4)一方、それ以外の場合には(ステップSa3;NO)、そのまま処理を終了する。
【0028】
ステップSa3において動作評価部114が行う判定処理の一例としては、例えば、動作評価部114が、複数の操作装置2からのセンサ出力値の一致度が予め定められた閾値以上であるか否かを判定するようにしてもよく、また、複数の操作装置2からのセンサ出力値の出力タイミングの差分が予め定められた範囲内であるか否かを判定するようにしてもよい。また、複数の操作装置2の姿勢が垂直方向に対して対称となっているかを判定することによって、比較する姿勢が対称であるかを判定するようにしてもよい。また、ステップSa4において行う報知処理の具体的な内容の一例としては、例えば、動作評価部114は、比較結果が予め定められた条件を満たしたタイミングにおいて、音声処理部16を制御して、予め定められた報知音をスピーカ17から出力するようにしてもよい。
【0029】
<B:動作>
次に、この実施形態の動作について説明する。利用者は、課題提示装置1の操作部14を用いて、課題提示処理を行う旨の操作を行う。操作部14は、操作された内容に応じた操作信号を出力する。制御部11は、操作部14から出力される信号に応じて、課題提示処理を開始する。課題提示装置1は、課題として、<1:Go/NoGo課題>、<2:ブランチング課題>、<3:葛藤課題>の3種類の課題を提示する。課題提示装置1の制御部11は、演奏者によって操作された内容に応じて、これらの3種類の課題のなかからいずれかを選択し、選択した課題を演奏者に対して提示する処理を行う。
【0030】
<B−1:Go/NoGo課題>
まず、課題提示装置1が提示する、Go/NoGo課題について説明する。この課題では、「形成実験課題」、「分化実験課題」、「逆転分化実験課題」の3つの課題を順番に行う。
まず、「形成実験課題」について、図8を参照しつつ説明する。図8は、形成実験課題の動作の流れを示すシーケンス図である。この動作においては、まず、課題提示装置1が提示音1を提示する(s1)。すなわち、課題提示装置1の制御部11は、提示音データ記憶領域121から予め定められた提示音データを読み出して、音声処理部16を制御してスピーカ17から音として出力させる。実験前に利用者は、提示音1が提示されたことを確認すると、操作装置2を振り動かして発音させるように教示される。このため、提示音1が提示されたことを利用者が確認すると、利用者は、操作装置2を振り動かして発音させる(s2)。
【0031】
利用者によって操作装置2が振り動かされると、センサ21は、各軸方向の加速度を表す加速度データを逐次生成するとともに、操作装置2の姿勢(ロール、ピッチ、ヨー角)を表すデータを逐次生成する。生成されたデータは、送信部22を介して無線信号として課題提示装置1に送信される。この実施形態では、センサ21から出力されるデータは、5ミリ秒ごとにその時点での値が書き込まれ送信される。課題提示装置1の受信部18は、操作装置2からデータを受信し、制御部11に出力する。制御部11は、データを受信し、受信したデータに基づいて利用者の動作を検出する。制御部11は、検出結果を示すデータをRAMに記憶する。また、制御部11は、利用者が操作装置2を振り動かしたと判定した場合に、音声処理部16を制御して予め定められたセンサ音を再生する。すなわち、利用者によって操作装置2が動かされるたびに、その動きに応じてセンサ音が放音される。
【0032】
また、制御部11は、複数の操作装置2のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を報知する処理を行う。この実施形態では、制御部11は、それぞれの操作装置2の姿勢(ロール、ピッチ、ヨー角)を検出し、検出した姿勢の差分が予め定められた範囲内である場合に、その旨を示す報知音をスピーカ17から出力する。
【0033】
課題提示装置1は提示音1の提示処理を5回繰り返して行う(s3,s5,s7,s9)。利用者は、課題提示装置1によって提示音1が提示される度に、操作装置2を振り動かす動作を行う。利用者の動作はセンサ21によって検出され、逐次課題提示装置1へ送信される(s4,s6,s8,s10)。
【0034】
次に、「分化実験課題」について、図9を参照しつつ説明する。図9は、分化実験課題の動作の流れを示すシーケンス図である。この課題においては、課題提示装置1は、提示音2,提示音3の2種類の提示音を提示する(s11,s13)。すなわち、課題提示装置1の制御部11は、提示音データ記憶領域121から2種類の異なる提示音データを読み出し、音声処理部16を制御してスピーカ17から音として出力させる。提示音2が鳴ったときは、利用者は操作装置2を振り発音させる(s12,s15,s18,s22,s25)。一方、提示音3が鳴ったときは、利用者は何も行わないように、実験開始前に教示される。
【0035】
課題提示装置1は、提示音の提示処理を10回繰り返して行う(s11,s13,s14,s16,s17,s19,s20,s21,s23,s24)。すなわち、課題提示装置1の制御部11は、提示音データ記憶領域121から2種類の異なる提示音データ(提示音2の提示音データと提示音3の提示音データ)を読み出し、それらをランダムな順番でスピーカ17から音として出力させる。利用者は、放音される提示音を聞き分けながら、動作を行うか否かを判断する。課題提示装置1の制御部11は、操作装置2から出力されるデータに基づいて利用者の動作を検出し、検出結果を示すデータをRAMに記憶する。また、制御部11は、複数の操作装置2のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ17から出力する。
【0036】
次に、「逆転分化実験課題」について図10を参照しつつ説明する。図10は逆転分化実験課題の動作の流れを示すシーケンス図である。この課題においては、課題提示装置1は、「分化実験課題」において提示した2種類の提示音を提示する(s31,s32)。すなわち、課題提示装置1の制御部11は、提示音データ記憶領域121から2種類の異なる提示音データを読み出し、音声処理部16を制御してスピーカ17から音として出力させる。それに対し、利用者は、分化実験のときとは逆の動作を行う。すなわち、提示音2が鳴ったときは利用者は何も行わない一方、提示音3が鳴ったときは、利用者は操作装置2を振り動かして発音させるように、実験開始前に教示される(s33,s36,s39,s41,s44)。
【0037】
課題提示装置1は、提示音の提示処理を10回繰り返して行う(s31,s32,s34,s35,s37,s38,s40,s42,s43,s45)。すなわち、課題提示装置1の制御部11は、提示音データ記憶領域121から2種類の異なる提示音データ(提示音2の提示音データと提示音3の提示音データ)を読み出し、それらをランダムな順番でスピーカ17から音として出力させる。利用者は、放音される提示音を聞き分けながら、動作を行うか否かを判断する。課題提示装置1の制御部11は、操作装置2から出力されるデータに基づいて利用者の動作を検出し、検出結果を示すデータをRAMに記憶する。また、制御部11は、複数の操作装置2のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ17から出力する。
【0038】
課題の提示処理を終えると、課題提示装置1の制御部11は、RAMに記憶されたデータを参照して、検出された動作と対応関係記憶領域122に記憶された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。制御部11が行う評価の具体例としては、例えば、両者の整合度合いに応じて、予め定められたアルゴリズムに従って利用者の脳年齢を数値で算出するようにしてもよい。また、他の例として、例えば、制御部11が、予め定められたアルゴリズムに従って性格分析(おっとり、早とちり、など)を行うようにしてもよい。この実施形態では、制御部11は、課題提示装置1から放音された提示音のそれぞれに対する利用者の反応の有無を判定する。また、制御部11は、提示音が出力されてから利用者が反応するまでの時間を測定し、この時間長も参照して評価を行う。
【0039】
制御部11が行う評価の具体的な内容としては、例えば、利用者の動作の正/誤反応の割合を評価したり、また、正/誤反応の内容(反応時間長、各課題のどの辺の時間帯で正/誤反応しているか)を評価したり、また、試験時間・時期との関連(午前と午後、季節の影響など)を評価してもよい。また、例えば、正/誤反応の履歴(だんだん正解が増えている/減っている、改善/改悪の傾向)をとり、この履歴に応じて評価を行うようにしてもよい。すなわち、制御部11が、検出された動作と対応関係記憶領域122に記憶された動作とを比較し、該比較結果に基づいて利用者の動作の正誤、正誤の内容、正誤の割合、及び比較結果の履歴の少なくともいずれか一つを特定し、特定結果に応じて評価を行うようにしてもよい。また、例えば、提示音との関連(難易度等)に応じて評価態様を異ならせるようにしてもよい。
【0040】
また、制御部11は、分化実験課題の判定結果及び逆転分化実験課題の判定結果から、利用者の動作判断の類型が、「不活発型」、「興奮型」、「抑制型」、「おっとり型」、「活発型」のいずれかの型であるかを判定する。具体的には、制御部11は、分化実験でGo課題(操作装置2を振り動かす動作を行わなければいけないとき)の間違いがあり、かつ、分化実験でNoGo課題(操作装置2を振り動かす動作を行ってはいけないとき)の間違いが3回以上ある場合に、「不活発型」と判定する。また、制御部11は、分化実験でGo課題の間違いがなく、かつ、分化実験でNoGo課題の間違いが3回以上ある場合に、「興奮型」と判定する。また、制御部11は、分化実験でGo課題の間違いがあり、かつ、分化実験でNoGo課題の間違いが2回以下の場合に、「抑制型」と判定する。また、制御部11は、分化実験でGo課題の間違いがなく、分化実験でNoGo課題の間違いが2回以下であり、逆転分化実験でGo課題の間違いがあり、かつ、逆転分化実験でNoGo課題の間違いが2回以下の場合に、「おっとり型」と判定する。また、制御部11は、分化実験、逆転分化実験でともにGo課題の間違いがなく、かつ、分化実験、逆転分化実験でNoGo課題の間違いが2回以下である場合に、「活発型」と判定する。
【0041】
すなわち、制御部11は、分化実験課題においては、複数の提示音データに基づいて提示音(提示音2,提示音3)を再生するとともに、これら複数の提示音データのうちのいずれかひとつの提示音データ(提示音2を示す提示音データ)を、利用者の動作タイミングを報知するためのタイミングデータとして用いる。すなわち、制御部11は、分化実験課題においては、提示音2を再生してから予め定められた期間において利用者の動作評価を行う。また、制御部11は、逆転分化実験課題においては、上述した分化実験課題と同様の提示音(提示音2,提示音3)を再生するとともに、分化実験課題においてタイミングデータとして用いた提示音データ(提示音2を示す提示音データ)以外の提示音データ(提示音データ3)を、利用者の動作タイミングを報知するためのタイミングデータとして用いる。すなわち、制御部11は、逆転分化実験課題においては、提示音3を再生してから予め定められた期間において利用者の動作評価を行う。次いで、制御部11は、分化実験課題における評価結果と逆転分化実験課題における評価結果とを比較し、両者の差分に応じて利用者の動作判断の類型(「不活発型」、「興奮型」、「抑制型」、「おっとり型」、「活発型」)を判定する。
【0042】
制御部11は、評価結果(判定結果)を表示部13に表示する等して、評価結果を利用者に報知する。利用者は表示部13に表示される画面を参照することで自身の脳機能の測定結果を把握することができる。
【0043】
<B−2:ブランチング課題>
次に、ブランチング課題の提示処理について図11を参照しつつ説明する。このブランチング課題は短期記憶力の評価と向上を目的としている。この課題においては、まず、課題提示装置1が、提示音としてリズムパターンP2を作成し、そのパターンを再生する(s91)。すなわち、制御部11は、提示音データ記憶領域121から予め定められた提示音データ(リズムパターンデータ)を読み出して、音声処理部16を制御してスピーカ17から音として放音させる。
【0044】
利用者は、課題提示装置1によって提示されるリズムパターンP2を記憶して、操作装置2を振り動かして、提示されたリズムパターンP2と同じようにリズムを刻む反応をするように教示される。操作装置2は利用者の操作に応じて加速度データを課題提示装置1に出力する(s92)。なお、このブランチング課題においては、集中して記憶することを利用者に促すために、短音等の単純な提示音ではなく、複数の音で構成されるリズムパターンを採用し、短期記憶力の評価と向上に供した。
【0045】
次いで、課題提示装置1が提示音としてリズムパターンP1を作成し、そのパターンを繰り返し再生し続ける。(s101,…,s107)。すなわち、制御部11は、提示音データ記憶領域121から予め定められた提示音データ(リズムパターンデータ)を読み出して、音声処理部16を制御してスピーカ17から音として放音させる。
【0046】
利用者は、課題提示装置1によって提示されるリズムパターンP1を記憶して、操作装置2を振り動かして提示されたリズムパターンP1と同じようにリズムを刻む反応をするように教示される。操作装置2は利用者の操作に応じてデータを課題提示装置1に出力する(s102,s103,s104,s105,s106,…,s108,s109,s110,s111,s112)。課題提示装置1によってリズムパターンP1が1回提示される度に、利用者が提示されたリズムパターンP1と同じリズムパターンP1を5回繰り返して行うと成功とする。この組み合わせを3回繰り返す。
【0047】
なお、図11に示す例においては、利用者が、ひとつのリズムパターンP1に対してその動作を5回繰り返して行うとともに、課題提示装置1がリズムパターンP1の提示を3回繰り返して行う場合について例示したが、利用者の動作回数や課題提示装置1のリズムパターンの提示回数はこれに限定されるものではなく、課題提示装置1の設計等に応じて適宜変更可能である。要は、課題提示装置1が、リズムパターンの提示を複数回繰り返して行うとともに、利用者が、提示されたリズムパターンに対して動作を所定回数繰り返して行うようにすればよい。
【0048】
3回目のリズムパターンP1の提示が終了すると、課題提示装置1は、利用者に以前行った別のリズムパターンP2を再生させるように指示する(s113)。利用者は、課題提示装置1によって提示されるリズムパターンP2に従って、操作装置2を振り動かして前記別のリズムパターンP2と同じようにリズムを刻む。操作装置2は利用者の操作に応じてデータを課題提示装置1に出力する(s114)。以上のように、リズムパターンP1が複数回(3回)提示され、この提示期間がリズムパターンP2の2回の提示期間の間に設けられることにより、リズムパターンP2の短期の記憶の保持能力が判定される。また、課題提示装置1の制御部11は、複数の操作装置2のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ17から出力する。
【0049】
制御部11は、RAMに記憶されたデータを参照して、検出された動作と対応関係記憶領域122に記憶された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。なお、制御部11が行う評価処理については、上述したGo/NoGo課題において示した処理と同様であり、ここではその詳細な説明を省略する。
【0050】
<B−3:葛藤課題>
次に、課題提示装置1が提示する葛藤課題について説明する。この課題提示処理においては、リズムパターンA,Bと、リズムパターンA,Bに合うようなリズムパターンX,Yを用いる。リズムパターンA,Bは音楽的につながるものが好ましい。また、リズムパターンX,Yは、それぞれ音楽的にリズムパターンA,Bに合うものが好ましい。
【0051】
利用者は、課題提示装置1によって、リズムパターンAが流れたときはリズムパターンXを叩く一方、リズムパターンBが流れたときはリズムパターンYを叩くように教示される。この教示の態様としては、例えば、制御部11が、リズムパターンAとリズムパターンXとをそれぞれ実際に放音しながら、「このリズムパターン(A)が流れたときはこのリズムパターン(X)を叩いて反応してください」といったメッセージを、実際に放音する音に同期して出力するようにしてもよい。なお、リズムパターンXとリズムパターンYは、予め譜面などで利用者に提示しておくようにしてもよい。
【0052】
制御部11は、リズムパターンAとリズムパターンBとをランダムな順番で再生する。
このリズムパターンは、打楽器の演奏音であってもよく、また、他の楽器の演奏音であってもよい。また、音程を有する演奏音を用いる場合には、フレーズ、和音、伴奏などを用いてもよく、この場合、1〜2小節の長さであることが好ましい。
【0053】
すなわち、制御部11は、提示音データ記憶領域121から2種類の異なるリズムパターンデータを読み出し、それらをランダムな順番でスピーカ17から音として出力させる。利用者は、放音されるリズムパターンを聞き分けながら、それぞれのリズムパターンに対応する動作を行う。操作装置2は利用者の操作に応じてデータを出力し、制御部11は、操作装置2から出力されるデータに基づいて利用者の動作を検出し、検出結果を示すデータをRAMに記憶する。また、課題提示装置1の制御部11は、複数の操作装置2のそれぞれから出力される信号を比較し、比較結果に応じて利用者の動作を評価するとともに、比較結果が予め定められた条件を満たす場合に、その旨を示す報知音をスピーカ17から出力する。
【0054】
課題の提示を終えると、制御部11は、RAMに記憶されたデータを参照して、検出された動作と提示したパターンデータに対応付けて対応関係記憶領域122に記憶された動作とを比較し、両者の整合度合いに応じて利用者の動作を評価する。この課題においては、制御部11は、利用者がリズムパターンに対して反応していたかを評価する。より具体的には、制御部11は、利用者の反応の有無を評価する。また、制御部11は、フレーズX,Yのリズム・音、パターンが合っていたかを評価解析する。制御部11は、その状況データや、判定結果を保存しておき、更に難易度が選定された場合には、長さ、時間、パターンの難易度がランダムに提示できるようにしてもよい。
【0055】
以上説明したように本実施形態によれば、音・音楽提示等により、Go/NoGo課題、ブランチング課題、葛藤課題を音楽的に楽しみながら行うことができ、認知症の予防や、前頭前野の賦活、いわゆる「キレル」子供たちの予防訓練等、判断指向パターン等を知ることができる。すなわち、本実施形態によれば、利用者の音に対する反応動作をセンシングする操作装置2を用いて、脳機能の活性化や性格分析などを行うことができる。また、本実施形態によれば、音・音楽を用いて課題を提示するため、利用者に精神的な負担を強いることなく、利用者が楽しみながら課題を行うことができる。
【0056】
更に、本実施形態によれば、ひとりの利用者が複数の操作装置2を装着して課題提示装置1を用いる場合や、複数の利用者がそれぞれ操作装置2を装着して課題提示装置1を用いる場合において、検出される複数の動作を比較することによって利用者の動作を評価するとともに、複数の操作装置2の姿勢等が予め定められた条件を満たす場合(例えば、操作装置2の動きが一致した場合や、操作装置2の動きが対称になった場合、等)に、音や音楽を放音するから、利用者が楽しみながら課題を行うことができる。
【0057】
また、本実施形態によれば、被験者の反応時間から反射脳年齢等を数値で出すことができ、次回のやる気に繋げることができる。また、利用者の動作を正解率や反応時間で評価することにより、利用者の動作判断の類型の分析(おっとり、早とちりなど)を行うことができる。
【0058】
<C:変形例>
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
(1)上述の実施形態では、課題提示装置1が提示音を再生することによって、動作を行うべきタイミングや動作を行わないタイミングを演奏者に報知した。動作のタイミングの報知の態様はこれに限らず、例えば、表示装置に映像を表示し、その映像を時系列に変化させることによって、動作のタイミングを報知するようにしてもよい。また、例えば、課題提示装置1が自装置を振動させる機構を備える構成とし、振動の態様を時系列に変化させることによって動作タイミングを報知するようにしてもよい。要は、課題提示装置1の制御部11が、音、光、映像及び振動の少なくともいずれかひとつを時系列に変化させることによって、動作のタイミングを報知するようにすればよい。
【0059】
(2)上述の実施形態では、ひとりの利用者が1台の操作装置2を用いて複数人の動作測定を行う場合について説明したが、これに限らず、一人の利用者が複数(2台)の操作装置2を例えば両手に把持(装着)して複数の部位の動作測定を行うようにしてもよい。この場合は、制御部11は、複数の操作装置2から出力されるデータに基づいて利用者の動作を検出し、検出結果に応じて利用者の動作を評価する。
【0060】
(3)上述の実施形態において、操作装置2が動かされた軸方向及びその向きに応じて、異なる音を放音するようにしてもよい。この場合は、課題提示装置1の記憶部12に、図11に示すような、音階名称対応テーブルを記憶しておく構成とし、課題提示装置1の制御部11が、このテーブルを参照して、操作装置2が動かされた軸及びその向きに対応する音を放音する。図11に示す例では、音階名称対応テーブルには、図示のように、操作装置2が動かされた軸方向及びその向きと、音階の名称とが対応付けて記憶されている。同図に示すように、音階名称対応テーブルにおいては、操作装置2が動かされた軸方向(軸x、y、z)および、該軸方向の向き(正または負)の組み合わせに対して音階の名称が1つ対応付けられている。
【0061】
利用者によって操作装置2が動かされると、センサ21は、各軸方向の加速度を表す加速度データを逐次生成し、課題提示装置1へ送信する。課題提示装置1は、操作装置2から加速度データを受信する。制御部11は、音階名称対応テーブルを参照して、受信された加速度データに対応する音階を特定する。制御部11は、特定した音階の音を放音する。
【0062】
なお、上述の態様においては、操作装置2が動かされた軸方向及びその向きと音階とを対応付けるようにしたが、操作装置2が動かされた軸方向及びその向きに対応付けるものは音階に限らず、例えば、音色(楽器別の音色やそのバリエーション等)、効果(残響音や定位(パン)等)であってもよく、要は、操作装置2が動かされた軸方向及びその向きと、音の性質(音階、音色、効果を含む)とを対応付けて記憶するようにすればよい。
【0063】
(4)上述の実施形態では、操作装置2として略直方体の形状の装置を用いたが、操作装置2の形状はこれに限らず、例えば、オーケストラの指揮棒の形状をしたものであってもよく、また、例えば、球形状であってもよい。要は、操作装置2は、利用者に把持または装着されて移動可能であり、複数の軸についての正の向きおよび負の向きの運動を検出するセンサが内蔵されているものであればよい。
また、上述の実施形態において、課題提示装置1は、専用の装置であってもよく、また、例えば、携帯電話端末や、携帯型ゲーム機等であってもよい。
【0064】
(5)上述の実施形態では、課題提示装置1の制御部11が、操作装置2のセンサ21によって利用者の動作が検出される毎に、予め定められたセンサ音をスピーカ17から出力させるようにした。これに代えて、操作装置2がスピーカを内蔵する構成とし、操作装置2のスピーカからセンサ音を出力するようにしてもよい。この場合は、操作装置2の制御部20が、センサ21から出力されるデータに基づいて利用者の動作の有無を検出し、利用者の動作が検出された場合(すなわち利用者が操作装置2を振り動かしていると判定した場合)に、予め定められたセンサ音を内蔵スピーカから放音するようにすればよい。また、操作装置2がスピーカを内蔵するに限らず、操作装置2に外付けスピーカを接続する構成としてもよい。
【0065】
(6)上述の実施形態では、3軸の加速度センサとジャイロセンサとを用いて利用者の動作を検出するようにしたが、利用者の動作を検出する態様はこれに限らず、例えば、地磁気センサを操作装置2に内蔵する構成とし、地磁気センサによって利用者の動作を検出するようにしてもよい。また、複数種類のセンサを組み合わせて用いてもよい。要は、操作装置2内に設けられ、複数の軸についての運動を検出するものであればよい。
【符号の説明】
【0066】
1…課題提示装置、2…操作装置、11,20…制御部、12…記憶部、13…表示部、14…操作部、15…マイクロホン、16…音声処理部、17…スピーカ、18…受信部、21…センサ、22…送信部。
【特許請求の範囲】
【請求項1】
利用者の動作タイミングを報知するためのタイミングデータを記憶するタイミングデータ記憶手段と、
前記タイミングデータ記憶手段に記憶されたタイミングデータに基づいて利用者の動作タイミングを報知する動作タイミング報知手段と、
利用者に把持または装着されて移動可能な複数の操作子と、
前記操作子に設けられ、該操作子の運動を検出し、該検出結果に基づいて、前記利用者の動作を検出する動作検出手段と、
前記動作タイミング報知手段によって前記動作タイミングが報知されてから予め定められた期間において、前記動作検出手段が検出する複数の動作のそれぞれと予め定められた基準データとの比較に基づいて前記利用者の動作を評価する評価手段と
を具備することを特徴とする動作評価装置。
【請求項2】
前記タイミングデータと前記利用者の動作態様との対応関係を記憶する対応関係記憶手段
を具備し、
前記予め定められた基準データは、前記動作タイミング報知手段によって参照されたタイミングデータに対応する利用者の動作態様を、前記評価手段が、前記対応関係記憶手段内を参照して特定したものであって、
前記評価手段は、前記特定した利用者の動作態様と前記動作検出手段が検出した複数の動作のそれぞれとの比較に基づいて前記利用者の動作を評価する
ことを特徴とする請求項1に記載の動作評価装置。
【請求項3】
前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、
前記対応関係記憶手段は、前記タイミングデータと前記利用者の動作態様との対応関係を複数種類記憶し、
前記動作タイミング報知手段は、複数のタイミングデータに基づいてタイミングを報知し、
前記評価手段は、前記対応関係記憶手段に記憶された複数の対応関係のそれぞれに基づいて前記利用者の動作を評価し、該複数の評価結果を比較することによって利用者の動作判断の類型を判定する
ことを特徴とする請求項2に記載の動作評価装置。
【請求項4】
前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、
前記動作タイミング報知手段は、前記複数のタイミングデータに基づいて順次タイミングを報知した後、再び前記複数のタイミングデータのうちの所定のタイミングデータに基づいてタイミングを報知する
ことを特徴とする請求項2に記載の動作評価装置。
【請求項5】
前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、
前記動作タイミング報知手段は、前記複数のタイミングデータをランダムな順番で選択し、選択した順番でタイミングを報知する
ことを特徴とする請求項2に記載の動作評価装置。
【請求項6】
利用者の動作タイミングを報知するためのタイミングデータを記憶するタイミングデータ記憶手段を具備するコンピュータに、
前記タイミングデータ記憶手段に記憶されたタイミングデータに基づいて利用者の動作タイミングを報知するステップと、
前記利用者に把持または装着されて移動可能な操作子の運動を検出し、検出結果に基づいて前記利用者の動作を検出するステップと、
前記動作タイミングが報知されてから予め定められた期間において、検出する複数の動作のそれぞれと予め定められた基準データとの比較に基づいて前記利用者の動作を評価するステップと
を実行させるためのプログラム。
【請求項1】
利用者の動作タイミングを報知するためのタイミングデータを記憶するタイミングデータ記憶手段と、
前記タイミングデータ記憶手段に記憶されたタイミングデータに基づいて利用者の動作タイミングを報知する動作タイミング報知手段と、
利用者に把持または装着されて移動可能な複数の操作子と、
前記操作子に設けられ、該操作子の運動を検出し、該検出結果に基づいて、前記利用者の動作を検出する動作検出手段と、
前記動作タイミング報知手段によって前記動作タイミングが報知されてから予め定められた期間において、前記動作検出手段が検出する複数の動作のそれぞれと予め定められた基準データとの比較に基づいて前記利用者の動作を評価する評価手段と
を具備することを特徴とする動作評価装置。
【請求項2】
前記タイミングデータと前記利用者の動作態様との対応関係を記憶する対応関係記憶手段
を具備し、
前記予め定められた基準データは、前記動作タイミング報知手段によって参照されたタイミングデータに対応する利用者の動作態様を、前記評価手段が、前記対応関係記憶手段内を参照して特定したものであって、
前記評価手段は、前記特定した利用者の動作態様と前記動作検出手段が検出した複数の動作のそれぞれとの比較に基づいて前記利用者の動作を評価する
ことを特徴とする請求項1に記載の動作評価装置。
【請求項3】
前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、
前記対応関係記憶手段は、前記タイミングデータと前記利用者の動作態様との対応関係を複数種類記憶し、
前記動作タイミング報知手段は、複数のタイミングデータに基づいてタイミングを報知し、
前記評価手段は、前記対応関係記憶手段に記憶された複数の対応関係のそれぞれに基づいて前記利用者の動作を評価し、該複数の評価結果を比較することによって利用者の動作判断の類型を判定する
ことを特徴とする請求項2に記載の動作評価装置。
【請求項4】
前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、
前記動作タイミング報知手段は、前記複数のタイミングデータに基づいて順次タイミングを報知した後、再び前記複数のタイミングデータのうちの所定のタイミングデータに基づいてタイミングを報知する
ことを特徴とする請求項2に記載の動作評価装置。
【請求項5】
前記タイミングデータ記憶手段は、複数のタイミングデータを記憶し、
前記動作タイミング報知手段は、前記複数のタイミングデータをランダムな順番で選択し、選択した順番でタイミングを報知する
ことを特徴とする請求項2に記載の動作評価装置。
【請求項6】
利用者の動作タイミングを報知するためのタイミングデータを記憶するタイミングデータ記憶手段を具備するコンピュータに、
前記タイミングデータ記憶手段に記憶されたタイミングデータに基づいて利用者の動作タイミングを報知するステップと、
前記利用者に把持または装着されて移動可能な操作子の運動を検出し、検出結果に基づいて前記利用者の動作を検出するステップと、
前記動作タイミングが報知されてから予め定められた期間において、検出する複数の動作のそれぞれと予め定められた基準データとの比較に基づいて前記利用者の動作を評価するステップと
を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−273878(P2010−273878A)
【公開日】平成22年12月9日(2010.12.9)
【国際特許分類】
【出願番号】特願2009−129588(P2009−129588)
【出願日】平成21年5月28日(2009.5.28)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
【公開日】平成22年12月9日(2010.12.9)
【国際特許分類】
【出願日】平成21年5月28日(2009.5.28)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
[ Back to top ]