発音制御装置、発音システム、およびプログラム
【課題】音の発音態様の変化を楽しみながら身体を動かすことができるようにする。
【手段】加速度センサ２１の検出信号から得られる加速度絶対値ａｓの波形からボール１０が投擲された投擲時とボール１０がキャッチされたキャッチ時を検出し、投擲時からキャッチ時までの間、サウンドシステム５０から音を発音させる。そして、加速度センサ２１の検出信号から得られる加速度成分ａｘ，ａｙ，ａｚと０との大小関係である正負の向きの組み合わせに応じて、サウンドシステム５０から発音させるリズムパターンの種類を変化させ、投擲時以後の加速度絶対値ａｓの大きさに応じて、そのリズムパターンをなす音の音色を変化させる。
【手段】加速度センサ２１の検出信号から得られる加速度絶対値ａｓの波形からボール１０が投擲された投擲時とボール１０がキャッチされたキャッチ時を検出し、投擲時からキャッチ時までの間、サウンドシステム５０から音を発音させる。そして、加速度センサ２１の検出信号から得られる加速度成分ａｘ，ａｙ，ａｚと０との大小関係である正負の向きの組み合わせに応じて、サウンドシステム５０から発音させるリズムパターンの種類を変化させ、投擲時以後の加速度絶対値ａｓの大きさに応じて、そのリズムパターンをなす音の音色を変化させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多軸のセンサの出力信号を用いた発音制御を行う技術に関する。
【背景技術】
【０００２】
演奏操作子に働く力を加速度センサにより定量化し、その加速度波形に利用者の拍打意思とみなし得るピークが現れるたびに、各種発音態様の楽音を音源から発音させる発音制御装置がある。この発音制御装置を利用する利用者は、演奏操作子を振る強さや間隔を変えることによって、音量や音長などを異にする発音態様の音を音源から発音させ、即興の音楽を楽しむことができる。この種の発音制御装置は、たとえば、特許文献１に開示されている。
【特許文献１】特開２００２−３４１８６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に開示された類の発音制御装置の演奏操作子を用いた演奏の仕方は、演奏操作子を手に把持して振る、という決まり切ったものであり、このような単純な動きによる音楽では飽き足らない利用者でも満足できるような発音制御装置の提供が望まれていた。
本発明は、このような背景の下に案出されたものであり、利用者の身体による様々な動きを音源から発音させる音の発音態様の変化に結び付け、楽しみながら身体を動かすことができるようにすることを目的とする。
【課題を解決するための手段】
【０００４】
本発明は、運動体の運動を示す複数の種類の物理量成分を取得する取得手段と、前記取得手段が取得した物理量成分の各々と所定値との大小関係を求め、当該物理量成分ごとの大小関係の組み合わせに応じて音の発音態様を決定し、決定した発音態様の音を発音させる発音制御手段とを具備する発音制御装置を提供する。
この発明によると、運動体の運動を示す複数の種類の物理量成分を取得し、それらの物理量成分の各々と所定値との大小関係の組み合わせに応じた発音態様の音を発音する。よって、利用者の身体の動きによって運動体に働いた力の大きさだけでなく、その力の向きなどを音の発音態様の変化に反映させることができ、音の発音態様の変化を楽しみながら身体を動かすことができる。
【発明を実施するための最良の形態】
【０００５】
以下、図面を参照し、この発明の実施形態を説明する。
図１は、この発明の一実施形態である発音制御装置３０を含む発音システムの構成を示すブロック図である。この発音システムは、２人の利用者によるボール１０をつかった遊戯を支援するものである。この発音システムの発音制御装置３０は、ある利用者がボール１０を投擲した時（「投擲時」という）から別の利用者がそのボール１０をキャッチした時（「キャッチ時」という）まで、発音装置たるサウンドシステム５０から音を発音させ、その音の発音態様を、投擲されたボール１０の回転速度および回転方向に応じて変化させる。
【０００６】
図１において、ボール１０は、ウレタン発泡樹脂を球状に成形したもので、野球のボール程度の大きさである。このボール１０内の中心Ｐより距離ｍだけ離れた位置には運動検出チップ２０が埋め込まれている。運動検出チップ２０は、加速度センサ２１と無線通信部２２とを有する。
【０００７】
加速度センサ２１は、当該加速度センサ２１に加わる加速度ベクトルを３つの検出軸ｘ，ｙ，ｚの加速度成分ａｘ，ａｙ，ａｚに分解して検出し、これらの加速度成分ａｘ，ａｙ，ａｚを示す各アナログ信号を各々出力する。より詳細には、加速度センサ２１は、検出軸ｘの正の向きに加わる加速度を検出したときは、その大きさに比例した正の加速度成分ａｘを示すアナログ信号を出力し、検出軸ｘの負の向きに加わる加速度を検出したときは、その大きさに比例した負の加速度成分ａｘを示すアナログ信号を出力する。また、加速度センサ２１は、検出軸ｙの正の向きに加わる加速度を検出したときは、その大きさに比例した正の加速度成分ａｙを示すアナログ信号を出力し、検出軸ｙの負の向きに加わる加速度を検出したときは、その大きさに比例した負の加速度成分ａｙを示すアナログ信号を出力する。さらに、加速度センサ２１は、検出軸ｚの正の向きに加わる加速度を検出したときは、その大きさに比例した正の加速度成分ａｚを示すアナログ信号を出力し、検出軸ｚの負の向きに加わる加速度を検出したときは、その大きさに比例した負の加速度成分ａｚを示すアナログ信号を出力する。
ここで、図１に示すように、この加速度センサ２１の検出軸ｘ，ｙ，ｚは互いに直交しており、それらのうち検出軸ｘの正の向きは、ボール１０の中心Ｐから当該センサ２１に向かう向きと同じである。
【０００８】
無線通信部２２は、一定時間長（例えば５ｍｓ）のサンプリング周期毎に、加速度センサ２１から出力される３種類のアナログ信号をサンプリングしてデジタル化することにより、加速度成分ａｘ，ａｙ，ａｚを示すデータを生成し、このデータを含むパケットを、無線区間を介して発音制御装置３０に送信する。
【０００９】
利用者は、数メートル程度の距離をとった上で、相手から投擲されたボール１０をキャッチし、キャッチしたボール１０を相手に向かって投擲する、という動作を交互に繰り返す。利用者は、ボール１０を持ち上げた腕を、手首を左または右に捻りながら前方へ振り下ろすことによって、回転する球質のボール１０を投擲してもよいし、ボール１０を持ち上げた腕を、手首を捻らずに前方へ振り下ろすことによって、無回転の球質のボール１０を投擲してもよい。
【００１０】
発音制御装置３０は、操作表示部３１、無線通信部３２、制御部３３、およびインターフェース３４を有する。
操作表示部３１は、ユーザから各種の指示を受け取るとともに、ユーザに各種の情報を提供する。
無線通信部３２は、一定時間長（例えば５ｍｓ）のサンプリング周期ごとに、ボール１０の無線通信部２２から送信されたパケットを受信し、そのパケットから加速度成分ａｘ，ａｙ，ａｚを示すデータを取り出し、取り出したデータを制御部３３に引き渡す。
【００１１】
制御部３３は、加速度取得部３５、リングバッファ３６、および発音制御部３７を有する。
加速度取得部３５は、無線通信部３２から加速度成分ａｘ，ａｙ，ａｚを示すデータが引き渡されるたびにリングバッファ３６の書き込み先アドレスを歩進させ、加速度成分ａｘ，ａｙ，ａｚ、およびその加速度成分ａｘ，ａｙ，ａｚを次式に入力して求まる加速度絶対値ａｓのセットを書き込み先アドレスへ書き込んでいく。
ａｓ＝（ａｘ２＋ａｙ２＋ａｚ２）１/２ …（１）
【００１２】
発音制御部３７は、ＲＡＭ３８、ＲＯＭ３９、ＣＰＵ４０を有する。
ＲＯＭ３９は、制御プログラム４１を記憶した読み出し専用メモリである。ＣＰＵ４０は、ＲＡＭ３８をワークエリアとして利用しつつ、ＲＯＭ３９に記憶された制御プログラム４１を実行する。制御プログラム４１は、投擲時からキャッチ時までの間にサウンドシステム５０から音を発音させる処理を、ＣＰＵ４０に実行させるプログラムである。
【００１３】
この制御プログラム４１は、発音制御機能を有する。発音制御機能は、リングバッファ３６に書き込まれた加速度絶対値ａｓの波形から、投擲時のものとみなし得るローカルピークおよびキャッチ時のものとみなし得るローカルピークをそれぞれ検出し、投擲時からキャッチ時までサウンドシステム５０から音を発音させ、その音の発音態様を、加速度絶対値ａｓ、および加速度成分ａｘ，ａｙ，ａｚにより特定したボール１０の回転速度と回転方向とに応じて変化させる機能である。
サウンドシステム５０は、音源およびスピーカを有する。サウンドシステム５０は、発音制御装置３０から音信号を受け取り、その音信号が示す音を合成し、出力する。
【００１４】
次に、本実施形態の動作を説明する。
図２は、本実施形態の動作を示すフローチャートである。図２に示す一連の処理は、発音制御機能の働きによってＣＰＵ４０が実行する処理である。図２に示す一連の処理を実行するにあたり、ＣＰＵ４０は、有効ピーク検出処理を行う。有効ピーク検出処理は、加速度取得部３５によってリングバッファ３６へ書き込まれる加速度絶対値ａｓの波形から、投擲時のものとみなし得る加速度絶対値ａｓの大きさをもったローカルピークと、キャッチ時のものとみなし得る加速度絶対値ａｓの大きさをもったローカルピークとを検出する処理である。
【００１５】
図３に示すように、ボール１０が投擲されてからキャッチされるまでの加速度絶対値ａｓの波形には、投擲時のものとみなし得る２つのローカルピークＰT1，ＰT2と、キャッチ時のものとみなし得るローカルピークＰCとが現れる。投擲時のものとみなし得る２つのローカルピークＰT1，ＰT2のうち後に現れるローカルピークＰT2は、利用者がボール１０を持ち上げた腕を振り下ろす力やその手首を捻る力の働きによる加速度ベクトルが加速度センサ２１へ加わることによって発生するものであり、先に現れるローカルピークＰT1は、それらの力の反動力の働きによる加速度ベクトルが加速度センサ２１へ加わることによって発生するものである。
【００１６】
有効ピーク検出処理において、ＣＰＵ４０は、加速度取得部３５によってリングバッファ３６へ加速度絶対値ａｓが書き込まれるたび、その加速度絶対値ａｓと１つ前に書き込まれたものとの大小関係を比較し、加速度絶対値ａｓが上昇から下降に転じた時刻を加速度絶対値ａｓの波形のローカルピークとする。その上で、ＣＰＵ４０は、閾値ＴＨTHROWを超える加速度絶対値ａｓの大きさを持ったローカルピークが現れた時刻を投擲時とし、閾値ＴＨCATCHを超える加速度絶対値ａｓの大きさを持ったローカルピークが現れた時刻をキャッチ時とする。閾値ＴＨTHROW，ＴＨCATCHは、回転の有無、回転方向、回転速度、ボール１０そのものの速度を様々に変えてボール１０を投擲させた場合における投擲時とキャッチ時の加速度絶対値ａｓの実測結果を基に、割り出されたものである。発明者らが取り纏めた実測結果によると、閾値ＴＨTHROWは３Ｇ程度が望ましく、閾値ＴＨCATCHは４Ｇ程度が望ましい。
【００１７】
図２において、ＣＰＵ４０は、リングバッファ３６に書き込まれた加速度絶対値ａｓの波形から閾値ＴＨTHROWを超える加速度絶対値ａｓの大きさをもったローカルピークを検出すると（Ｓ１００：Ｙｅｓ）、音色決定処理を実行する（Ｓ１１０）。音色決定処理は、投擲時の後のある短い時間の間にリングバッファ３６に書き込まれた加速度絶対値ａｓを基に、空中においてボール１０の中心Ｐから距離ｍだけ離れた位置に加わる加速度の加速度レベルを特定し、その加速度レベルに応じた音色の種類を決定する処理である。
【００１８】
ここで、再び前掲の図３を参照すると、ボール１０が投擲されてからキャッチされるまでの加速度絶対値ａｓの波形においては、ローカルピークＰT2からローカルピークＰCまでの間、つまり、ボール１０が空中を飛んでいる間の加速度絶対値ａｓはほぼ一定になっている。これは、以下の理由による。加速度センサ２１が、ボール１０の中心Ｐを中心として回転している場合、加速度センサ２１には、遠心力が働き続ける。よって、この場合、加速度センサ２１には、重力加速度（１Ｇ）の加速度ベクトルとは別に、ボール１０の中心Ｐからみて外側の向き、つまり、検出軸ｘの正の向きに向かう一定の大きさの加速度ベクトルが加わり続け、この検出軸ｘの正の向きの加速度ベクトルの大きさは、ボール１０の回転速度の２乗に比例して大きくなる。一方、ボール１０が空中で全く回転していない場合、加速度センサ２１には、重力加速度（１Ｇ）の加速度ベクトルだけが加わり続ける。
【００１９】
そこで、本ステップＳ１１０における音色決定処理では、ＣＰＵ４０は、閾値ＴＨTHROWを超える加速度絶対値ａｓの大きさをもったローカルピークを検出した後、リングバッファ３６へ加速度絶対値ａｓが書き込まれるたび、その加速度絶対値ａｓと１つ前に書き込まれたものとの差を求め、求めた差と０よりも僅かに大きい閾値ＴＨDIFFとの大小関係を比較する。そして、ＣＰＵ４０は、ある加速度絶対値ａｓと１つ前に書き込まれたものとの差が閾値ＴＨDIFFよりも小さくなると、その加速度絶対値ａｓと５つの加速度レベル０〜４の境界となる閾値ＴＨAS0〜AS3との大小関係を比較することによって、ボール１０が空中を飛んでいる間の加速度レベルを求め、サウンドシステム５０から発音させる音の音色の種類をその加速度レベルに応じたものとする。
【００２０】
図４は、図３に示したものと同じ加速度絶対値ａｓの波形に閾値ＴＨAS0〜AS3を示す線を重ね合わせた図である。ＣＰＵ４０は、１つ前に書き込まれたものとの差が閾値ＴＨDIFFよりも小さくなった時点における加速度絶対値ａｓが、重力加速度（１Ｇ）に相当する閾値ＴＨAS0以下である場合は、サウンドシステム５０から発音させる音を加速度レベル０（無回転）に応じた音色TIM0とする。また、その加速度絶対値ａｓが、閾値ＴＨAS0以上閾値ＴＨAS1未満である場合は、加速度レベル１に応じた音色TIM1とし、閾値ＴＨAS1以上閾値ＴＨAS2未満である場合は、加速度レベル２に応じた音色TIM2とし、閾値ＴＨAS2以上閾値ＴＨAS３未満である場合は、加速度レベル３に応じた音色TIM３とする。さらに、その加速度絶対値ａｓが、最も大きな閾値ＴＨAS３以上である場合は、加速度レベル４に応じた音色TIM4とする。ここで、図４に示された加速度絶対値ａｓの波形におけるローカルピークＰT2の後の、ボール１０が空中を飛んでいる間の加速度絶対値ａｓは、閾値ＴＨAS1より大きく閾値ＴＨAS2より小さい。よって、この例の場合、ＣＰＵ４０は、サウンドシステム５０から発音させる音の音色の種類を、音色TIM2とする。
【００２１】
図２において、ＣＰＵ４０は、ステップＳ１１０の音色決定処理において特定した加速度レベルが加速度レベル０（無回転）である場合（Ｓ１２０：Ｙｅｓ）、その加速度レベル０に応じた音色TIM0の連続音をサウンドシステム５０から発音させる（Ｓ１３０）。より詳細に説明すると、ＣＰＵ４０は、５種類の音色TIM0〜4の連続音の波形のうちから、加速度レベル０（無回転）に応じた音色TIM0のものを選択し、選択した波形のサンプル列をインターフェース３４を介してサウンドシステム５０へ引き渡す。
【００２２】
ＣＰＵ４０は、ステップＳ１１０の音色決定処理において特定した加速度レベルが加速度レベル０（無回転）でない場合（Ｓ１２０：Ｎｏ）、リズムパターン決定処理を実行する（Ｓ１４０）。本実施形態においては、空中においてボール１０の中心Ｐから距離ｍだけ離れた位置に加わる加速度の加速度レベルが加速度レベル０（無回転）である場合は、ステップＳ１１０で決定した音色で連続音を発音させる一方、その加速度レベルが加速度レベル１以上である場合は、ステップＳ１１０で決定した音色でリズムパターンを発音させる。リズムパターンは、「タンタンタン」、「ターターター」、「タッタッタッ」といったような、ある短い時間間隔を空けた一連の音である。リズムパターン決定処理は、ローカルピークＰT2において加速度センサ２１に加わった加速度の加速度成分ａｘ，ａｙ，ａｚの向きの組み合わせを基に、サウンドシステム５０から発音させるリズムパターンの種類を決定する処理である。
【００２３】
上述したように、ボール１０が投擲されてからキャッチされるまでの加速度絶対値ａｓの波形に現れるローカルピークＰT2は、利用者がボール１０を持ち上げた腕を振り下ろす力やその手首を捻る力の働きによる加速度ベクトルが加速度センサ２１へ加わったことを示すものである。そして、利用者が回転する球質のボール１０を投擲する場合、このローカルピークＰT2において加速度センサ２１から出力される加速度成分ａｘ，ａｙ，ａｚの正負の向きの組み合わせは、利用者がボール１０を握った状態における内部の加速度センサ２１の検出軸ｘ，ｙ，ｚの向きと、そのボール１０を持ち上げた腕を振り下ろす向きおよびその手首を捻る向きとの関係に依存して変わる。
【００２４】
そこで、本ステップ１４０におけるリズムパターン決定処理では、ＣＰＵ４０は、リングバッファ３６のデータを走査し、ローカルピークＰT2の加速度絶対値ａｓとセットとして同時刻に書き込まれた加速度成分ａｘ，ａｙ，ａｚの所在を探索する。そして、その探索先の加速度成分ａｘ，ａｙ，ａｚにおける加速度の向き（符号）の組み合わせを特定し、サウンドシステム５０から発音させるリズムパターンの種類をその組み合わせに応じたものとする。
より具体的には、加速度成分ａｘ，ａｙ，ａｚのすべてが０より大きい場合、つまり、そのすべての向きが正であった場合はリズムパターンＲＰ１とする。また、加速度成分ａｘ，ａｙ，ａｚのすべてが０より小さい場合、つまり、そのすべての向きが負であった場合はリズムパターンＲＰ２とする。
また、加速度成分ａｘの向きが正で加速度成分ａｙ，ａｚの向きが負であった場合はリズムパターンＲＰ３とし、加速度成分ａｙの向きが正で加速度成分ａｘ、ａｚの向きが負であった場合はリズムパターンＲＰ４とし、加速度成分ａｚの向きが正で加速度成分ａｘ，ａｙの向きが負であった場合はリズムパターンＲＰ５とする。
さらに、加速度成分ａｘ，ａｙの向きが正で加速度成分ａｚの向きが負であった場合はリズムパターンＲＰ６とし、加速度成分ａｘ，ａｚの向きが正で加速度成分ａｙの向きが負であった場合はリズムパターンＲＰ７とし、加速度成分ａｙ，ａｚの向きが正で加速度成分ａｘの向きが負であった場合はリズムパターンＲＰ８とする。
【００２５】
以上説明した加速度成分ａｘ，ａｙ，ａｚの向きとリズムパターンＰＲ１〜８との関係を表に纏めると、以下のようになる。
【表１】
【００２６】
図２において、ＣＰＵ４０は、ステップＳ１１０で決定した音色の音をステップＳ１４０で決定したリズムパターンとしてサウンドシステム５０から発音させる（Ｓ１５０）。より詳細に説明すると、ＣＰＵ４０は、上述した５種類の音色TIM0〜4の連続音の波形のうちから、ステップＳ１１０で決定した音色と対応するものを選択する。さらに、ＣＰＵ４０は、その連続音の波形をステップＳ１４０で決定したリズムパターンの波形の振幅エンベロープによって変調し、変調した音波形のサンプル列をインターフェース３４を介してサウンドシステム５０へ引き渡す。
ＣＰＵ４０は、ステップＳ１３０またはステップＳ１５０においてサウンドシステム５０からの連続音またはリズムパターンの発音を開始させた以後、リングバッファ３６に書き込まれた加速度絶対値ａｓの波形から閾値ＴＨCATCHを超える加速度絶対値ａｓの大きさをもったローカルピークを検出すると（Ｓ１６０：Ｙｅｓ）、サウンドシステム５０からの発音を停止させる（Ｓ１７０）。
【００２７】
以上説明したように、本実施形態にかかる発音制御装置３０は、投擲時からキャッチ時までの間、サウンドシステム５０から音を発音させる。そして、その音の発音態様を決定づける要素である音色の種類を、ローカルピークＰT2よりも後の加速度絶対値ａｓと閾値との大小関係に応じて変化させるとともに、発音態様を決定づける別の要素であるリズムパターンの種類を、ローカルピークＰT2における加速度成分ａｘ，ａｙ，ａｚと０との大小関係である正負の向きの組み合わせに応じて変化させる。よって、利用者は、回転の有無や、回転速度、回転方向を様々に変えてボール１０を投擲した場合においてサウンドシステム５０から発音される音の発音態様の変化を楽しむことができる。また、加速度センサ２１の検出軸ｘの正の向きが掌を向くようにしてボール１０を握って投擲の動作に移る、といったボール１０の握り方のルールを決めて投擲を行うようにすれば、回転する球質のボール１０を投擲した後にサウンドシステム５０から発音されるリズムパターンの種類から、そのボール１０が空中でどの方向へ回転しているのかを知ることもできる。
【００２８】
以上、この発明の実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
（１）上記実施形態において、ＣＰＵ４０は、投擲時からキャッチ時までの間、サウンドシステム５０から連続音またはリズムパターンを発音させた。これに加えて、閾値ＴＨTHROWを超える加速度絶対値ａｓの大きさを持ったローカルピークを検出した時に、ボール１０が投擲されたことを示す音を発音させ、閾値ＴＨCATCHを超える加速度絶対値ａｓの大きさをもったローカルピークを検出した時に、ボール１０がキャッチされたことを示す音を発音させてもよい。これにより、利用者がボールの投擲とキャッチの動作を明確に認識することができ、動作の娯楽性、操作性が増す。
（２）上記実施形態において、ＣＰＵ４０は、サウンドシステム５０から発音させるリズムパターンの種類を、ローカルピークＰT2の加速度絶対値ａｓとセットとして書き込まれた加速度成分ａｘ，ａｙ，ａｚの向きの組み合わせに応じて決定した。しかし、ローカルピークＰT1の加速度絶対値ａｓとセットとして同時刻に書き込まれた加速度成分ａｘ，ａｙ，ａｚの向きの組み合わせに応じてこれを決定してもよい。
（３）上記実施形態において、ＣＰＵ４０は、加速度成分ａｘ，ａｙ，ａｚの正負の向きの組み合わせ、つまり、それらの加速度成分ａｘ，ａｙ，ａｚと０との大小関係の組み合わせに応じてリズムパターンの種類を変化させた。しかし、０とは異なるある値を閾値として設定し、その閾値と加速度成分ａｘ，ａｙ，ａｚとの大小関係の組み合わせに応じてリズムパターンの種類を変化させてもよい。
（４）上記実施形態において、加速度センサ２１は、当該加速度センサ２１に働く加速度ベクトルを互いに直交する３つの検出軸ｘ，ｙ，ｚの加速度成分ａｘ，ａｙ，ａｚに分解して検出した。しかし、この加速度ベクトルを互いに異なる方向の２軸や４軸以上の加速度成分に分解して検出し、それらの加速度成分の正負の向きの組み合わせに応じてリズムパターンの種類を変化させてもよい。
（５）上記実施形態において、加速度センサ２１は、ボール１０内の中心Ｐより距離ｍだけ離れた位置に加わる加速度を検出した。しかし、ボール１０内のほぼ中心Ｐに加わる加速度を検出してもよい。
（６）上記実施形態は、本発明を、ボール１０の投擲とキャッチとを交互に行う遊戯に適用したものである。しかし、本発明は、以下に示す他の用途にも適用できる。
ａ．バトントワリング
たとえば、運動体である棒状のバトンに加速度センサ２１を内蔵し、発音制御装置３０のＣＰＵ４０が、この加速度センサ２１の出力信号から得られる加速度絶対値ａｓの波形から、バトンを空中に投げるエーリアル動作、バトンを手以外の身体の部分上で転がすロール動作、バトンを手指で回転させるコンタクトマテリアル動作などの各種動作が行われたことを検出する。そして、加速度絶対値ａｓの波形からいずれかの動作が行われたことを検出すると、その時刻における加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせを基にバトンの姿勢を求め、その姿勢に応じた発音態様の音をサウンドシステム５０から発音させる。
ｂ．電子ドラム演奏
たとえば、複数の打面を有する電子ドラムに加速度センサ２１を内蔵し、発音制御装置３０のＣＰＵ４０が、重力加速度の働きによってこの加速度センサ２１に加わる複数の加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせを基に上を向いている打面を求め、サウンドシステム５０からその上を向いている打面の応じた発音態様の音を発音させる。
ｃ．携帯電話機の発音態様の切り換え
たとえば、携帯電話機に加速度センサ２１を内蔵し、その携帯電話機の制御部が、重力加速度の働きによってこの加速度センサ２１に加わる複数の加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせを基に携帯電話機の姿勢を算出し、着信時にスピーカから発音させる着信音の音色をその姿勢に応じて変化させる。
ｄ．目ざまし時計の目ざまし音の発音態様の切り換え
たとえば、目ざまし時計に加速度センサ２１を内蔵し、重力加速度の働きによってこの加速度センサ２１に加わる複数の加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせを基に目ざまし時計がどの面を下にした姿勢になっているかを特定し、その姿勢に応じて目ざまし音の発音態様を変化させる。
（７）上記実施形態において、ＣＰＵ４０は、加速度成分ａｘ，ａｙ，ａｚの正負の向きの組み合わせに応じて、リズムパターンの種類を変化させた。しかし、この組み合わせに応じて、サウンドシステム５０から発音させる音のピッチを変化させてもよいし、その周波数特性を変化させてもよい。要するに、加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせに応じて、サウンドシステム５０から発音させる音の発音態様が変わるようになっていればよい。
（８）上記実施形態において、ＣＰＵ４０は、空中においてボール１０の中心Ｐから距離ｍだけ離れた位置に加わる加速度の加速度レベルを特定し、サウンドシステム５０から発音させる音の音色をその加速度レベルに応じて変化させた。しかし、サウンドシステム５０から発音させる音の音量やピッチ、周波数特性などをその加速度レベルに応じて変化させてもよい。
（９）上記実施形態において、ジャイロセンサ（角加速度センサ）、角度センサ、速度センサなどの運動体の運動を表す物理量を検出するセンサを、加速度センサ２１の代わりにボール１０内に埋め込み、そのセンサにより、ボール１０の運動を示す複数の種類の物理量成分を取得してもよい。
（１０）上記実施形態において、ＣＰＵ４０は、ボール１０の加速度センサ２１から得られる加速度絶対値ａｓの波形に閾値ＴＨTHROWを超える加速度絶対値ａｓのローカルピークが現れたときに発音を開始させ、以後の波形に閾値ＴＨCATCHを超える加速度絶対値ａｓのローカルピークが現れたときに発音を停止させた。しかし、この閾値ＴＨTHROW，閾値ＴＨCATCHを、ラケットを使った球技におけるボールの打撃の瞬間の加速度の下限に相当する値に置き換え、この種の球技においてラリーが続いている間に発音させる音の発音態様を、ボールの打撃のたびに切り換えるようにしてもよい。
この場合において、ボールが打撃された時刻における加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせに応じて発音態様を変えるのではなく、地軸方向に対する加速度センサ２１の各検出軸ｘ，ｙ，ｚの傾斜角を求め、その傾斜角と所定値との大小関係に応じて、発音態様を変えてもよい。この態様は、たとえば、以下のようにして実現できる。加速度絶対値ａｓの波形からボールが打撃されたことを検出すると、その時刻における加速度成分ａｘ，ａｙ，ａｚを下記式にそれぞれ入力することにより、Ｘ角度ａｎｇｌｅｘ，Ｙ角度ａｎｇｌｅｙ，Ｚ角度ａｎｇｌｅｚを求める。その上で、Ｘ角度ａｎｇｌｅｘが８０度より大きく９０度より小さい場合は、リズムパターンＰＲ１を発音させ、Ｙ角度ａｎｇｌｅｙが８０度より大きく９０度より小さい場合は、リズムパターンＰＲ２を発音させ、Ｚ角度ａｎｇｌｅｚが８０度より大きく９０度より小さい場合は、リズムパターンＰＲ３を発音させ、Ｘ角度ａｎｇｌｅｘが−９０度より大きく−８０度より小さい場合は、リズムパターンＰＲ４を発音させ、Ｙ角度ａｎｇｌｅｙが−９０度より大きく−８０度より小さい場合は、リズムパターンＰＲ５を発音させ、Ｚ角度ａｎｇｌｅｚが−９０度より大きく−８０度より小さい場合は、リズムパターンＰＲ６を発音させる。
ａｎｇｌｅｘ（−９０度≦ａｎｇｌｅｘ≦９０度）＝sin−１（ａｘ／（ａｘ２＋ａｙ２＋ａｚ２）１/２ ）…（２）
ａｎｇｌｅｙ（−９０度≦ａｎｇｌｅｙ≦９０度）＝sin−１（ａｙ／（ａｘ２＋ａｙ２＋ａｚ２）１/２ ）…（３）
ａｎｇｌｅｚ（−９０度≦ａｎｇｌｅｚ≦９０度）＝sin−１（ａｚ／（ａｘ２＋ａｙ２＋ａｚ２）１/２ ）…（４）
（１１）上記実施形態における発音制御装置を、球技のパフォーマンスを評価する評価装置として応用してもよい。球技の中には、ボールを投げたり打撃する際の回転のかけ方によってそのパフォーマンスが左右されるものがある。よって、この変形例によると、利用者は、ボールを投げたり打撃した時に発音された音の発音態様を聴取することにより、自らが意図した通りにそのボールを回転させることができたか否かを把握することができる。また、ボールを投げたり打撃した際に発音された音の発音態様を示すデータを履歴としてメモリに記憶しておき、その履歴を利用者に提示するようにしてもよい。
（１２）上記実施形態において、リズムパターン決定処理を行うことなく、閾値ＴＨTHROWを超える加速度絶対値ａｓのローカルピークを検出した後のある時間の間に取得された加速度絶対値ａｓと複数の閾値との大小関係を基に、空中においてボール１０の中心Ｐから距離ｍだけ離れた位置に加わる加速度の加速度レベルを特定し、その加速度レベルに応じた音色の連続音を発音させるようにしてもよい。この変形例を概念的に示すと、「運動体内のある位置に加わる加速度を取得する取得手段と、前記取得手段が取得した加速度の波形から、前記運動体が投擲されたこと示す特徴を検出し、当該特徴を検出した時刻よりも後のある時間の間に取得された加速度と閾値との大小関係を求め、当該加速度と閾値との大小関係に応じて音の発音態様を決定し、決定した発音態様の音を発音させる発音制御手段とを有する発音制御装置。」となる。
（１３）上記実施形態において、制御プログラム４１のものと同じ機能をコンピュータに実現させるプログラムを携帯電話機に通信網を介してインストールさせ、携帯電話機に搭載された音源やスピーカ、加速度センサをそのプログラムによって制御し、上記発音制御装置と同様の処理を実行させてもよい。その携帯電話機をボール１０内に埋め込んで用いることにより、利用者は、回転の有無や、回転速度、回転方向を様々に変えてボール１０を投擲した場合において携帯電話機から発音される音の発音態様の変化を楽しむことができる。また、このプログラムを、パーソナルコンピュータ、ＰＤＡ（Personal Data Assistance）にインストールさせてもよい。
【図面の簡単な説明】
【００２９】
【図１】この発明の一実施形態である発音制御装置を含む発音システムの構成を示すブロック図である。
【図２】図１に示す発音制御装置の動作を示すフローチャートである。
【図３】ボールが投擲されてからキャッチされるまでの加速度絶対値の波形の一例を示す図である。
【図４】図３に示す加速度絶対値の波形に加速度レベルの閾値を示す線を重ね合わせた図である。
【符号の説明】
【００３０】
１０…ボール、２０…運動検出チップ、２１…加速度センサ、２２，３２…無線通信部、、３０…発音制御装置、３１…操作表示部、３３…制御部、３４…インターフェース、３５…加速度取得部、３６…リングバッファ、３７…発音制御部、３８…ＲＡＭ、３９…ＲＯＭ、４０…ＣＰＵ、４１…制御プログラム、５０…サウンドシステム。
【技術分野】
【０００１】
本発明は、多軸のセンサの出力信号を用いた発音制御を行う技術に関する。
【背景技術】
【０００２】
演奏操作子に働く力を加速度センサにより定量化し、その加速度波形に利用者の拍打意思とみなし得るピークが現れるたびに、各種発音態様の楽音を音源から発音させる発音制御装置がある。この発音制御装置を利用する利用者は、演奏操作子を振る強さや間隔を変えることによって、音量や音長などを異にする発音態様の音を音源から発音させ、即興の音楽を楽しむことができる。この種の発音制御装置は、たとえば、特許文献１に開示されている。
【特許文献１】特開２００２−３４１８６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に開示された類の発音制御装置の演奏操作子を用いた演奏の仕方は、演奏操作子を手に把持して振る、という決まり切ったものであり、このような単純な動きによる音楽では飽き足らない利用者でも満足できるような発音制御装置の提供が望まれていた。
本発明は、このような背景の下に案出されたものであり、利用者の身体による様々な動きを音源から発音させる音の発音態様の変化に結び付け、楽しみながら身体を動かすことができるようにすることを目的とする。
【課題を解決するための手段】
【０００４】
本発明は、運動体の運動を示す複数の種類の物理量成分を取得する取得手段と、前記取得手段が取得した物理量成分の各々と所定値との大小関係を求め、当該物理量成分ごとの大小関係の組み合わせに応じて音の発音態様を決定し、決定した発音態様の音を発音させる発音制御手段とを具備する発音制御装置を提供する。
この発明によると、運動体の運動を示す複数の種類の物理量成分を取得し、それらの物理量成分の各々と所定値との大小関係の組み合わせに応じた発音態様の音を発音する。よって、利用者の身体の動きによって運動体に働いた力の大きさだけでなく、その力の向きなどを音の発音態様の変化に反映させることができ、音の発音態様の変化を楽しみながら身体を動かすことができる。
【発明を実施するための最良の形態】
【０００５】
以下、図面を参照し、この発明の実施形態を説明する。
図１は、この発明の一実施形態である発音制御装置３０を含む発音システムの構成を示すブロック図である。この発音システムは、２人の利用者によるボール１０をつかった遊戯を支援するものである。この発音システムの発音制御装置３０は、ある利用者がボール１０を投擲した時（「投擲時」という）から別の利用者がそのボール１０をキャッチした時（「キャッチ時」という）まで、発音装置たるサウンドシステム５０から音を発音させ、その音の発音態様を、投擲されたボール１０の回転速度および回転方向に応じて変化させる。
【０００６】
図１において、ボール１０は、ウレタン発泡樹脂を球状に成形したもので、野球のボール程度の大きさである。このボール１０内の中心Ｐより距離ｍだけ離れた位置には運動検出チップ２０が埋め込まれている。運動検出チップ２０は、加速度センサ２１と無線通信部２２とを有する。
【０００７】
加速度センサ２１は、当該加速度センサ２１に加わる加速度ベクトルを３つの検出軸ｘ，ｙ，ｚの加速度成分ａｘ，ａｙ，ａｚに分解して検出し、これらの加速度成分ａｘ，ａｙ，ａｚを示す各アナログ信号を各々出力する。より詳細には、加速度センサ２１は、検出軸ｘの正の向きに加わる加速度を検出したときは、その大きさに比例した正の加速度成分ａｘを示すアナログ信号を出力し、検出軸ｘの負の向きに加わる加速度を検出したときは、その大きさに比例した負の加速度成分ａｘを示すアナログ信号を出力する。また、加速度センサ２１は、検出軸ｙの正の向きに加わる加速度を検出したときは、その大きさに比例した正の加速度成分ａｙを示すアナログ信号を出力し、検出軸ｙの負の向きに加わる加速度を検出したときは、その大きさに比例した負の加速度成分ａｙを示すアナログ信号を出力する。さらに、加速度センサ２１は、検出軸ｚの正の向きに加わる加速度を検出したときは、その大きさに比例した正の加速度成分ａｚを示すアナログ信号を出力し、検出軸ｚの負の向きに加わる加速度を検出したときは、その大きさに比例した負の加速度成分ａｚを示すアナログ信号を出力する。
ここで、図１に示すように、この加速度センサ２１の検出軸ｘ，ｙ，ｚは互いに直交しており、それらのうち検出軸ｘの正の向きは、ボール１０の中心Ｐから当該センサ２１に向かう向きと同じである。
【０００８】
無線通信部２２は、一定時間長（例えば５ｍｓ）のサンプリング周期毎に、加速度センサ２１から出力される３種類のアナログ信号をサンプリングしてデジタル化することにより、加速度成分ａｘ，ａｙ，ａｚを示すデータを生成し、このデータを含むパケットを、無線区間を介して発音制御装置３０に送信する。
【０００９】
利用者は、数メートル程度の距離をとった上で、相手から投擲されたボール１０をキャッチし、キャッチしたボール１０を相手に向かって投擲する、という動作を交互に繰り返す。利用者は、ボール１０を持ち上げた腕を、手首を左または右に捻りながら前方へ振り下ろすことによって、回転する球質のボール１０を投擲してもよいし、ボール１０を持ち上げた腕を、手首を捻らずに前方へ振り下ろすことによって、無回転の球質のボール１０を投擲してもよい。
【００１０】
発音制御装置３０は、操作表示部３１、無線通信部３２、制御部３３、およびインターフェース３４を有する。
操作表示部３１は、ユーザから各種の指示を受け取るとともに、ユーザに各種の情報を提供する。
無線通信部３２は、一定時間長（例えば５ｍｓ）のサンプリング周期ごとに、ボール１０の無線通信部２２から送信されたパケットを受信し、そのパケットから加速度成分ａｘ，ａｙ，ａｚを示すデータを取り出し、取り出したデータを制御部３３に引き渡す。
【００１１】
制御部３３は、加速度取得部３５、リングバッファ３６、および発音制御部３７を有する。
加速度取得部３５は、無線通信部３２から加速度成分ａｘ，ａｙ，ａｚを示すデータが引き渡されるたびにリングバッファ３６の書き込み先アドレスを歩進させ、加速度成分ａｘ，ａｙ，ａｚ、およびその加速度成分ａｘ，ａｙ，ａｚを次式に入力して求まる加速度絶対値ａｓのセットを書き込み先アドレスへ書き込んでいく。
ａｓ＝（ａｘ２＋ａｙ２＋ａｚ２）１/２ …（１）
【００１２】
発音制御部３７は、ＲＡＭ３８、ＲＯＭ３９、ＣＰＵ４０を有する。
ＲＯＭ３９は、制御プログラム４１を記憶した読み出し専用メモリである。ＣＰＵ４０は、ＲＡＭ３８をワークエリアとして利用しつつ、ＲＯＭ３９に記憶された制御プログラム４１を実行する。制御プログラム４１は、投擲時からキャッチ時までの間にサウンドシステム５０から音を発音させる処理を、ＣＰＵ４０に実行させるプログラムである。
【００１３】
この制御プログラム４１は、発音制御機能を有する。発音制御機能は、リングバッファ３６に書き込まれた加速度絶対値ａｓの波形から、投擲時のものとみなし得るローカルピークおよびキャッチ時のものとみなし得るローカルピークをそれぞれ検出し、投擲時からキャッチ時までサウンドシステム５０から音を発音させ、その音の発音態様を、加速度絶対値ａｓ、および加速度成分ａｘ，ａｙ，ａｚにより特定したボール１０の回転速度と回転方向とに応じて変化させる機能である。
サウンドシステム５０は、音源およびスピーカを有する。サウンドシステム５０は、発音制御装置３０から音信号を受け取り、その音信号が示す音を合成し、出力する。
【００１４】
次に、本実施形態の動作を説明する。
図２は、本実施形態の動作を示すフローチャートである。図２に示す一連の処理は、発音制御機能の働きによってＣＰＵ４０が実行する処理である。図２に示す一連の処理を実行するにあたり、ＣＰＵ４０は、有効ピーク検出処理を行う。有効ピーク検出処理は、加速度取得部３５によってリングバッファ３６へ書き込まれる加速度絶対値ａｓの波形から、投擲時のものとみなし得る加速度絶対値ａｓの大きさをもったローカルピークと、キャッチ時のものとみなし得る加速度絶対値ａｓの大きさをもったローカルピークとを検出する処理である。
【００１５】
図３に示すように、ボール１０が投擲されてからキャッチされるまでの加速度絶対値ａｓの波形には、投擲時のものとみなし得る２つのローカルピークＰT1，ＰT2と、キャッチ時のものとみなし得るローカルピークＰCとが現れる。投擲時のものとみなし得る２つのローカルピークＰT1，ＰT2のうち後に現れるローカルピークＰT2は、利用者がボール１０を持ち上げた腕を振り下ろす力やその手首を捻る力の働きによる加速度ベクトルが加速度センサ２１へ加わることによって発生するものであり、先に現れるローカルピークＰT1は、それらの力の反動力の働きによる加速度ベクトルが加速度センサ２１へ加わることによって発生するものである。
【００１６】
有効ピーク検出処理において、ＣＰＵ４０は、加速度取得部３５によってリングバッファ３６へ加速度絶対値ａｓが書き込まれるたび、その加速度絶対値ａｓと１つ前に書き込まれたものとの大小関係を比較し、加速度絶対値ａｓが上昇から下降に転じた時刻を加速度絶対値ａｓの波形のローカルピークとする。その上で、ＣＰＵ４０は、閾値ＴＨTHROWを超える加速度絶対値ａｓの大きさを持ったローカルピークが現れた時刻を投擲時とし、閾値ＴＨCATCHを超える加速度絶対値ａｓの大きさを持ったローカルピークが現れた時刻をキャッチ時とする。閾値ＴＨTHROW，ＴＨCATCHは、回転の有無、回転方向、回転速度、ボール１０そのものの速度を様々に変えてボール１０を投擲させた場合における投擲時とキャッチ時の加速度絶対値ａｓの実測結果を基に、割り出されたものである。発明者らが取り纏めた実測結果によると、閾値ＴＨTHROWは３Ｇ程度が望ましく、閾値ＴＨCATCHは４Ｇ程度が望ましい。
【００１７】
図２において、ＣＰＵ４０は、リングバッファ３６に書き込まれた加速度絶対値ａｓの波形から閾値ＴＨTHROWを超える加速度絶対値ａｓの大きさをもったローカルピークを検出すると（Ｓ１００：Ｙｅｓ）、音色決定処理を実行する（Ｓ１１０）。音色決定処理は、投擲時の後のある短い時間の間にリングバッファ３６に書き込まれた加速度絶対値ａｓを基に、空中においてボール１０の中心Ｐから距離ｍだけ離れた位置に加わる加速度の加速度レベルを特定し、その加速度レベルに応じた音色の種類を決定する処理である。
【００１８】
ここで、再び前掲の図３を参照すると、ボール１０が投擲されてからキャッチされるまでの加速度絶対値ａｓの波形においては、ローカルピークＰT2からローカルピークＰCまでの間、つまり、ボール１０が空中を飛んでいる間の加速度絶対値ａｓはほぼ一定になっている。これは、以下の理由による。加速度センサ２１が、ボール１０の中心Ｐを中心として回転している場合、加速度センサ２１には、遠心力が働き続ける。よって、この場合、加速度センサ２１には、重力加速度（１Ｇ）の加速度ベクトルとは別に、ボール１０の中心Ｐからみて外側の向き、つまり、検出軸ｘの正の向きに向かう一定の大きさの加速度ベクトルが加わり続け、この検出軸ｘの正の向きの加速度ベクトルの大きさは、ボール１０の回転速度の２乗に比例して大きくなる。一方、ボール１０が空中で全く回転していない場合、加速度センサ２１には、重力加速度（１Ｇ）の加速度ベクトルだけが加わり続ける。
【００１９】
そこで、本ステップＳ１１０における音色決定処理では、ＣＰＵ４０は、閾値ＴＨTHROWを超える加速度絶対値ａｓの大きさをもったローカルピークを検出した後、リングバッファ３６へ加速度絶対値ａｓが書き込まれるたび、その加速度絶対値ａｓと１つ前に書き込まれたものとの差を求め、求めた差と０よりも僅かに大きい閾値ＴＨDIFFとの大小関係を比較する。そして、ＣＰＵ４０は、ある加速度絶対値ａｓと１つ前に書き込まれたものとの差が閾値ＴＨDIFFよりも小さくなると、その加速度絶対値ａｓと５つの加速度レベル０〜４の境界となる閾値ＴＨAS0〜AS3との大小関係を比較することによって、ボール１０が空中を飛んでいる間の加速度レベルを求め、サウンドシステム５０から発音させる音の音色の種類をその加速度レベルに応じたものとする。
【００２０】
図４は、図３に示したものと同じ加速度絶対値ａｓの波形に閾値ＴＨAS0〜AS3を示す線を重ね合わせた図である。ＣＰＵ４０は、１つ前に書き込まれたものとの差が閾値ＴＨDIFFよりも小さくなった時点における加速度絶対値ａｓが、重力加速度（１Ｇ）に相当する閾値ＴＨAS0以下である場合は、サウンドシステム５０から発音させる音を加速度レベル０（無回転）に応じた音色TIM0とする。また、その加速度絶対値ａｓが、閾値ＴＨAS0以上閾値ＴＨAS1未満である場合は、加速度レベル１に応じた音色TIM1とし、閾値ＴＨAS1以上閾値ＴＨAS2未満である場合は、加速度レベル２に応じた音色TIM2とし、閾値ＴＨAS2以上閾値ＴＨAS３未満である場合は、加速度レベル３に応じた音色TIM３とする。さらに、その加速度絶対値ａｓが、最も大きな閾値ＴＨAS３以上である場合は、加速度レベル４に応じた音色TIM4とする。ここで、図４に示された加速度絶対値ａｓの波形におけるローカルピークＰT2の後の、ボール１０が空中を飛んでいる間の加速度絶対値ａｓは、閾値ＴＨAS1より大きく閾値ＴＨAS2より小さい。よって、この例の場合、ＣＰＵ４０は、サウンドシステム５０から発音させる音の音色の種類を、音色TIM2とする。
【００２１】
図２において、ＣＰＵ４０は、ステップＳ１１０の音色決定処理において特定した加速度レベルが加速度レベル０（無回転）である場合（Ｓ１２０：Ｙｅｓ）、その加速度レベル０に応じた音色TIM0の連続音をサウンドシステム５０から発音させる（Ｓ１３０）。より詳細に説明すると、ＣＰＵ４０は、５種類の音色TIM0〜4の連続音の波形のうちから、加速度レベル０（無回転）に応じた音色TIM0のものを選択し、選択した波形のサンプル列をインターフェース３４を介してサウンドシステム５０へ引き渡す。
【００２２】
ＣＰＵ４０は、ステップＳ１１０の音色決定処理において特定した加速度レベルが加速度レベル０（無回転）でない場合（Ｓ１２０：Ｎｏ）、リズムパターン決定処理を実行する（Ｓ１４０）。本実施形態においては、空中においてボール１０の中心Ｐから距離ｍだけ離れた位置に加わる加速度の加速度レベルが加速度レベル０（無回転）である場合は、ステップＳ１１０で決定した音色で連続音を発音させる一方、その加速度レベルが加速度レベル１以上である場合は、ステップＳ１１０で決定した音色でリズムパターンを発音させる。リズムパターンは、「タンタンタン」、「ターターター」、「タッタッタッ」といったような、ある短い時間間隔を空けた一連の音である。リズムパターン決定処理は、ローカルピークＰT2において加速度センサ２１に加わった加速度の加速度成分ａｘ，ａｙ，ａｚの向きの組み合わせを基に、サウンドシステム５０から発音させるリズムパターンの種類を決定する処理である。
【００２３】
上述したように、ボール１０が投擲されてからキャッチされるまでの加速度絶対値ａｓの波形に現れるローカルピークＰT2は、利用者がボール１０を持ち上げた腕を振り下ろす力やその手首を捻る力の働きによる加速度ベクトルが加速度センサ２１へ加わったことを示すものである。そして、利用者が回転する球質のボール１０を投擲する場合、このローカルピークＰT2において加速度センサ２１から出力される加速度成分ａｘ，ａｙ，ａｚの正負の向きの組み合わせは、利用者がボール１０を握った状態における内部の加速度センサ２１の検出軸ｘ，ｙ，ｚの向きと、そのボール１０を持ち上げた腕を振り下ろす向きおよびその手首を捻る向きとの関係に依存して変わる。
【００２４】
そこで、本ステップ１４０におけるリズムパターン決定処理では、ＣＰＵ４０は、リングバッファ３６のデータを走査し、ローカルピークＰT2の加速度絶対値ａｓとセットとして同時刻に書き込まれた加速度成分ａｘ，ａｙ，ａｚの所在を探索する。そして、その探索先の加速度成分ａｘ，ａｙ，ａｚにおける加速度の向き（符号）の組み合わせを特定し、サウンドシステム５０から発音させるリズムパターンの種類をその組み合わせに応じたものとする。
より具体的には、加速度成分ａｘ，ａｙ，ａｚのすべてが０より大きい場合、つまり、そのすべての向きが正であった場合はリズムパターンＲＰ１とする。また、加速度成分ａｘ，ａｙ，ａｚのすべてが０より小さい場合、つまり、そのすべての向きが負であった場合はリズムパターンＲＰ２とする。
また、加速度成分ａｘの向きが正で加速度成分ａｙ，ａｚの向きが負であった場合はリズムパターンＲＰ３とし、加速度成分ａｙの向きが正で加速度成分ａｘ、ａｚの向きが負であった場合はリズムパターンＲＰ４とし、加速度成分ａｚの向きが正で加速度成分ａｘ，ａｙの向きが負であった場合はリズムパターンＲＰ５とする。
さらに、加速度成分ａｘ，ａｙの向きが正で加速度成分ａｚの向きが負であった場合はリズムパターンＲＰ６とし、加速度成分ａｘ，ａｚの向きが正で加速度成分ａｙの向きが負であった場合はリズムパターンＲＰ７とし、加速度成分ａｙ，ａｚの向きが正で加速度成分ａｘの向きが負であった場合はリズムパターンＲＰ８とする。
【００２５】
以上説明した加速度成分ａｘ，ａｙ，ａｚの向きとリズムパターンＰＲ１〜８との関係を表に纏めると、以下のようになる。
【表１】
【００２６】
図２において、ＣＰＵ４０は、ステップＳ１１０で決定した音色の音をステップＳ１４０で決定したリズムパターンとしてサウンドシステム５０から発音させる（Ｓ１５０）。より詳細に説明すると、ＣＰＵ４０は、上述した５種類の音色TIM0〜4の連続音の波形のうちから、ステップＳ１１０で決定した音色と対応するものを選択する。さらに、ＣＰＵ４０は、その連続音の波形をステップＳ１４０で決定したリズムパターンの波形の振幅エンベロープによって変調し、変調した音波形のサンプル列をインターフェース３４を介してサウンドシステム５０へ引き渡す。
ＣＰＵ４０は、ステップＳ１３０またはステップＳ１５０においてサウンドシステム５０からの連続音またはリズムパターンの発音を開始させた以後、リングバッファ３６に書き込まれた加速度絶対値ａｓの波形から閾値ＴＨCATCHを超える加速度絶対値ａｓの大きさをもったローカルピークを検出すると（Ｓ１６０：Ｙｅｓ）、サウンドシステム５０からの発音を停止させる（Ｓ１７０）。
【００２７】
以上説明したように、本実施形態にかかる発音制御装置３０は、投擲時からキャッチ時までの間、サウンドシステム５０から音を発音させる。そして、その音の発音態様を決定づける要素である音色の種類を、ローカルピークＰT2よりも後の加速度絶対値ａｓと閾値との大小関係に応じて変化させるとともに、発音態様を決定づける別の要素であるリズムパターンの種類を、ローカルピークＰT2における加速度成分ａｘ，ａｙ，ａｚと０との大小関係である正負の向きの組み合わせに応じて変化させる。よって、利用者は、回転の有無や、回転速度、回転方向を様々に変えてボール１０を投擲した場合においてサウンドシステム５０から発音される音の発音態様の変化を楽しむことができる。また、加速度センサ２１の検出軸ｘの正の向きが掌を向くようにしてボール１０を握って投擲の動作に移る、といったボール１０の握り方のルールを決めて投擲を行うようにすれば、回転する球質のボール１０を投擲した後にサウンドシステム５０から発音されるリズムパターンの種類から、そのボール１０が空中でどの方向へ回転しているのかを知ることもできる。
【００２８】
以上、この発明の実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
（１）上記実施形態において、ＣＰＵ４０は、投擲時からキャッチ時までの間、サウンドシステム５０から連続音またはリズムパターンを発音させた。これに加えて、閾値ＴＨTHROWを超える加速度絶対値ａｓの大きさを持ったローカルピークを検出した時に、ボール１０が投擲されたことを示す音を発音させ、閾値ＴＨCATCHを超える加速度絶対値ａｓの大きさをもったローカルピークを検出した時に、ボール１０がキャッチされたことを示す音を発音させてもよい。これにより、利用者がボールの投擲とキャッチの動作を明確に認識することができ、動作の娯楽性、操作性が増す。
（２）上記実施形態において、ＣＰＵ４０は、サウンドシステム５０から発音させるリズムパターンの種類を、ローカルピークＰT2の加速度絶対値ａｓとセットとして書き込まれた加速度成分ａｘ，ａｙ，ａｚの向きの組み合わせに応じて決定した。しかし、ローカルピークＰT1の加速度絶対値ａｓとセットとして同時刻に書き込まれた加速度成分ａｘ，ａｙ，ａｚの向きの組み合わせに応じてこれを決定してもよい。
（３）上記実施形態において、ＣＰＵ４０は、加速度成分ａｘ，ａｙ，ａｚの正負の向きの組み合わせ、つまり、それらの加速度成分ａｘ，ａｙ，ａｚと０との大小関係の組み合わせに応じてリズムパターンの種類を変化させた。しかし、０とは異なるある値を閾値として設定し、その閾値と加速度成分ａｘ，ａｙ，ａｚとの大小関係の組み合わせに応じてリズムパターンの種類を変化させてもよい。
（４）上記実施形態において、加速度センサ２１は、当該加速度センサ２１に働く加速度ベクトルを互いに直交する３つの検出軸ｘ，ｙ，ｚの加速度成分ａｘ，ａｙ，ａｚに分解して検出した。しかし、この加速度ベクトルを互いに異なる方向の２軸や４軸以上の加速度成分に分解して検出し、それらの加速度成分の正負の向きの組み合わせに応じてリズムパターンの種類を変化させてもよい。
（５）上記実施形態において、加速度センサ２１は、ボール１０内の中心Ｐより距離ｍだけ離れた位置に加わる加速度を検出した。しかし、ボール１０内のほぼ中心Ｐに加わる加速度を検出してもよい。
（６）上記実施形態は、本発明を、ボール１０の投擲とキャッチとを交互に行う遊戯に適用したものである。しかし、本発明は、以下に示す他の用途にも適用できる。
ａ．バトントワリング
たとえば、運動体である棒状のバトンに加速度センサ２１を内蔵し、発音制御装置３０のＣＰＵ４０が、この加速度センサ２１の出力信号から得られる加速度絶対値ａｓの波形から、バトンを空中に投げるエーリアル動作、バトンを手以外の身体の部分上で転がすロール動作、バトンを手指で回転させるコンタクトマテリアル動作などの各種動作が行われたことを検出する。そして、加速度絶対値ａｓの波形からいずれかの動作が行われたことを検出すると、その時刻における加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせを基にバトンの姿勢を求め、その姿勢に応じた発音態様の音をサウンドシステム５０から発音させる。
ｂ．電子ドラム演奏
たとえば、複数の打面を有する電子ドラムに加速度センサ２１を内蔵し、発音制御装置３０のＣＰＵ４０が、重力加速度の働きによってこの加速度センサ２１に加わる複数の加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせを基に上を向いている打面を求め、サウンドシステム５０からその上を向いている打面の応じた発音態様の音を発音させる。
ｃ．携帯電話機の発音態様の切り換え
たとえば、携帯電話機に加速度センサ２１を内蔵し、その携帯電話機の制御部が、重力加速度の働きによってこの加速度センサ２１に加わる複数の加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせを基に携帯電話機の姿勢を算出し、着信時にスピーカから発音させる着信音の音色をその姿勢に応じて変化させる。
ｄ．目ざまし時計の目ざまし音の発音態様の切り換え
たとえば、目ざまし時計に加速度センサ２１を内蔵し、重力加速度の働きによってこの加速度センサ２１に加わる複数の加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせを基に目ざまし時計がどの面を下にした姿勢になっているかを特定し、その姿勢に応じて目ざまし音の発音態様を変化させる。
（７）上記実施形態において、ＣＰＵ４０は、加速度成分ａｘ，ａｙ，ａｚの正負の向きの組み合わせに応じて、リズムパターンの種類を変化させた。しかし、この組み合わせに応じて、サウンドシステム５０から発音させる音のピッチを変化させてもよいし、その周波数特性を変化させてもよい。要するに、加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせに応じて、サウンドシステム５０から発音させる音の発音態様が変わるようになっていればよい。
（８）上記実施形態において、ＣＰＵ４０は、空中においてボール１０の中心Ｐから距離ｍだけ離れた位置に加わる加速度の加速度レベルを特定し、サウンドシステム５０から発音させる音の音色をその加速度レベルに応じて変化させた。しかし、サウンドシステム５０から発音させる音の音量やピッチ、周波数特性などをその加速度レベルに応じて変化させてもよい。
（９）上記実施形態において、ジャイロセンサ（角加速度センサ）、角度センサ、速度センサなどの運動体の運動を表す物理量を検出するセンサを、加速度センサ２１の代わりにボール１０内に埋め込み、そのセンサにより、ボール１０の運動を示す複数の種類の物理量成分を取得してもよい。
（１０）上記実施形態において、ＣＰＵ４０は、ボール１０の加速度センサ２１から得られる加速度絶対値ａｓの波形に閾値ＴＨTHROWを超える加速度絶対値ａｓのローカルピークが現れたときに発音を開始させ、以後の波形に閾値ＴＨCATCHを超える加速度絶対値ａｓのローカルピークが現れたときに発音を停止させた。しかし、この閾値ＴＨTHROW，閾値ＴＨCATCHを、ラケットを使った球技におけるボールの打撃の瞬間の加速度の下限に相当する値に置き換え、この種の球技においてラリーが続いている間に発音させる音の発音態様を、ボールの打撃のたびに切り換えるようにしてもよい。
この場合において、ボールが打撃された時刻における加速度成分ａｘ，ａｙ，ａｚと所定値との大小関係の組み合わせに応じて発音態様を変えるのではなく、地軸方向に対する加速度センサ２１の各検出軸ｘ，ｙ，ｚの傾斜角を求め、その傾斜角と所定値との大小関係に応じて、発音態様を変えてもよい。この態様は、たとえば、以下のようにして実現できる。加速度絶対値ａｓの波形からボールが打撃されたことを検出すると、その時刻における加速度成分ａｘ，ａｙ，ａｚを下記式にそれぞれ入力することにより、Ｘ角度ａｎｇｌｅｘ，Ｙ角度ａｎｇｌｅｙ，Ｚ角度ａｎｇｌｅｚを求める。その上で、Ｘ角度ａｎｇｌｅｘが８０度より大きく９０度より小さい場合は、リズムパターンＰＲ１を発音させ、Ｙ角度ａｎｇｌｅｙが８０度より大きく９０度より小さい場合は、リズムパターンＰＲ２を発音させ、Ｚ角度ａｎｇｌｅｚが８０度より大きく９０度より小さい場合は、リズムパターンＰＲ３を発音させ、Ｘ角度ａｎｇｌｅｘが−９０度より大きく−８０度より小さい場合は、リズムパターンＰＲ４を発音させ、Ｙ角度ａｎｇｌｅｙが−９０度より大きく−８０度より小さい場合は、リズムパターンＰＲ５を発音させ、Ｚ角度ａｎｇｌｅｚが−９０度より大きく−８０度より小さい場合は、リズムパターンＰＲ６を発音させる。
ａｎｇｌｅｘ（−９０度≦ａｎｇｌｅｘ≦９０度）＝sin−１（ａｘ／（ａｘ２＋ａｙ２＋ａｚ２）１/２ ）…（２）
ａｎｇｌｅｙ（−９０度≦ａｎｇｌｅｙ≦９０度）＝sin−１（ａｙ／（ａｘ２＋ａｙ２＋ａｚ２）１/２ ）…（３）
ａｎｇｌｅｚ（−９０度≦ａｎｇｌｅｚ≦９０度）＝sin−１（ａｚ／（ａｘ２＋ａｙ２＋ａｚ２）１/２ ）…（４）
（１１）上記実施形態における発音制御装置を、球技のパフォーマンスを評価する評価装置として応用してもよい。球技の中には、ボールを投げたり打撃する際の回転のかけ方によってそのパフォーマンスが左右されるものがある。よって、この変形例によると、利用者は、ボールを投げたり打撃した時に発音された音の発音態様を聴取することにより、自らが意図した通りにそのボールを回転させることができたか否かを把握することができる。また、ボールを投げたり打撃した際に発音された音の発音態様を示すデータを履歴としてメモリに記憶しておき、その履歴を利用者に提示するようにしてもよい。
（１２）上記実施形態において、リズムパターン決定処理を行うことなく、閾値ＴＨTHROWを超える加速度絶対値ａｓのローカルピークを検出した後のある時間の間に取得された加速度絶対値ａｓと複数の閾値との大小関係を基に、空中においてボール１０の中心Ｐから距離ｍだけ離れた位置に加わる加速度の加速度レベルを特定し、その加速度レベルに応じた音色の連続音を発音させるようにしてもよい。この変形例を概念的に示すと、「運動体内のある位置に加わる加速度を取得する取得手段と、前記取得手段が取得した加速度の波形から、前記運動体が投擲されたこと示す特徴を検出し、当該特徴を検出した時刻よりも後のある時間の間に取得された加速度と閾値との大小関係を求め、当該加速度と閾値との大小関係に応じて音の発音態様を決定し、決定した発音態様の音を発音させる発音制御手段とを有する発音制御装置。」となる。
（１３）上記実施形態において、制御プログラム４１のものと同じ機能をコンピュータに実現させるプログラムを携帯電話機に通信網を介してインストールさせ、携帯電話機に搭載された音源やスピーカ、加速度センサをそのプログラムによって制御し、上記発音制御装置と同様の処理を実行させてもよい。その携帯電話機をボール１０内に埋め込んで用いることにより、利用者は、回転の有無や、回転速度、回転方向を様々に変えてボール１０を投擲した場合において携帯電話機から発音される音の発音態様の変化を楽しむことができる。また、このプログラムを、パーソナルコンピュータ、ＰＤＡ（Personal Data Assistance）にインストールさせてもよい。
【図面の簡単な説明】
【００２９】
【図１】この発明の一実施形態である発音制御装置を含む発音システムの構成を示すブロック図である。
【図２】図１に示す発音制御装置の動作を示すフローチャートである。
【図３】ボールが投擲されてからキャッチされるまでの加速度絶対値の波形の一例を示す図である。
【図４】図３に示す加速度絶対値の波形に加速度レベルの閾値を示す線を重ね合わせた図である。
【符号の説明】
【００３０】
１０…ボール、２０…運動検出チップ、２１…加速度センサ、２２，３２…無線通信部、、３０…発音制御装置、３１…操作表示部、３３…制御部、３４…インターフェース、３５…加速度取得部、３６…リングバッファ、３７…発音制御部、３８…ＲＡＭ、３９…ＲＯＭ、４０…ＣＰＵ、４１…制御プログラム、５０…サウンドシステム。
【特許請求の範囲】
【請求項１】
運動体の運動を示す複数の種類の物理量成分を取得する取得手段と、
前記取得手段が取得した物理量成分の各々と所定値との大小関係を求め、当該物理量成分ごとの大小関係の組み合わせに応じて音の発音態様を決定し、決定した発音態様の音を発音させる発音制御手段と
を具備することを特徴とする発音制御装置。
【請求項２】
前記取得手段は、
前記運動体内のある位置に加わる加速度を互いに異なる複数の軸方向に分解した加速度成分を前記物理量成分として取得し、
前記発音制御手段は、
前記取得手段が取得した複数の軸方向の加速度成分の各々と所定値との大小関係を求め、当該加速度成分ごとの大小関係の組み合わせに応じて音の発音態様を決定し、決定した発音態様の音を発音させる
ことを特徴とする請求項１に記載の発音制御装置。
【請求項３】
前記取得手段は、
前記複数の軸方向の加速度成分を合成した加速度絶対値をさらに取得し、
前記発音制御手段は、
前記取得手段が取得した加速度絶対値の波形のピークを検出し、検出したピークの時刻において前記位置に加わった加速度を互いに異なる複数の軸方向に分解した加速度成分の各々と所定値との大小関係を求め、前記取得手段によって取得された前記ピークよりも後の加速度絶対値の大きさと、前記加速度成分の各々と所定値との大小関係の組み合わせとに応じて音の発音態様を決定する
ことを特徴とする請求項２に記載の発音制御装置。
【請求項４】
請求項２または３に記載の発音制御装置と、
運動体であるボールと、
前記ボールに内蔵され、当該ボール内のある位置に加わる加速度を複数の軸方向の加速度成分に分解して検出するセンサと、
前記ボールに内蔵され、前記センサが検出した複数の軸方向の加速度成分を送信する通信手段と、
前記発音制御装置が決定した発音態様の音を表す音信号を前記発音制御装置から受け取り、その音信号が示す音を合成して出力する発音装置と
を有する発音システム。
【請求項５】
コンピュータに、
運動体の運動を示す複数の種類の物理量成分が取得されたとき、取得された物理量成分の各々と所定値との大小関係を求め、当該物理量成分ごとの大小関係の組み合わせに応じて音の発音態様を決定し、決定した発音態様の音を発音させる発音制御手段
を実現させるプログラム。
【請求項１】
運動体の運動を示す複数の種類の物理量成分を取得する取得手段と、
前記取得手段が取得した物理量成分の各々と所定値との大小関係を求め、当該物理量成分ごとの大小関係の組み合わせに応じて音の発音態様を決定し、決定した発音態様の音を発音させる発音制御手段と
を具備することを特徴とする発音制御装置。
【請求項２】
前記取得手段は、
前記運動体内のある位置に加わる加速度を互いに異なる複数の軸方向に分解した加速度成分を前記物理量成分として取得し、
前記発音制御手段は、
前記取得手段が取得した複数の軸方向の加速度成分の各々と所定値との大小関係を求め、当該加速度成分ごとの大小関係の組み合わせに応じて音の発音態様を決定し、決定した発音態様の音を発音させる
ことを特徴とする請求項１に記載の発音制御装置。
【請求項３】
前記取得手段は、
前記複数の軸方向の加速度成分を合成した加速度絶対値をさらに取得し、
前記発音制御手段は、
前記取得手段が取得した加速度絶対値の波形のピークを検出し、検出したピークの時刻において前記位置に加わった加速度を互いに異なる複数の軸方向に分解した加速度成分の各々と所定値との大小関係を求め、前記取得手段によって取得された前記ピークよりも後の加速度絶対値の大きさと、前記加速度成分の各々と所定値との大小関係の組み合わせとに応じて音の発音態様を決定する
ことを特徴とする請求項２に記載の発音制御装置。
【請求項４】
請求項２または３に記載の発音制御装置と、
運動体であるボールと、
前記ボールに内蔵され、当該ボール内のある位置に加わる加速度を複数の軸方向の加速度成分に分解して検出するセンサと、
前記ボールに内蔵され、前記センサが検出した複数の軸方向の加速度成分を送信する通信手段と、
前記発音制御装置が決定した発音態様の音を表す音信号を前記発音制御装置から受け取り、その音信号が示す音を合成して出力する発音装置と
を有する発音システム。
【請求項５】
コンピュータに、
運動体の運動を示す複数の種類の物理量成分が取得されたとき、取得された物理量成分の各々と所定値との大小関係を求め、当該物理量成分ごとの大小関係の組み合わせに応じて音の発音態様を決定し、決定した発音態様の音を発音させる発音制御手段
を実現させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−２８２２０３（Ｐ２００９−２８２２０３Ａ）
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願番号】特願２００８−１３２９５３（Ｐ２００８−１３２９５３）
【出願日】平成２０年５月２１日（２００８．５．２１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願日】平成２０年５月２１日（２００８．５．２１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]