楽曲再生装置および楽曲再生方法
【課題】 緩急のある運動であってもその拍に追従する楽曲データを生成し人の所望する拍で快適な運動を遂行させる。
【解決手段】 本発明の楽曲再生装置100は、楽曲データの拍を検出し、その拍の位置を示す第1拍情報を生成する第1拍生成部132と、楽曲データを拍毎に分離する楽曲分離部134と、人の動きを検出する動きセンサと、検出された動きに対応した拍の位置を示す第2拍情報を生成する第2拍生成部138と、第2拍情報が示す拍の位置に基づいて第1拍情報が示す拍の位置を変更した変更第1拍情報を生成する第1拍変更部140と、変更第1拍情報が示す拍の位置に合わせて分離された楽曲データを伸縮する楽曲伸縮部142と、伸縮された楽曲データを再配置する楽曲再配置部144と、を備えることを特徴とする。
【解決手段】 本発明の楽曲再生装置100は、楽曲データの拍を検出し、その拍の位置を示す第1拍情報を生成する第1拍生成部132と、楽曲データを拍毎に分離する楽曲分離部134と、人の動きを検出する動きセンサと、検出された動きに対応した拍の位置を示す第2拍情報を生成する第2拍生成部138と、第2拍情報が示す拍の位置に基づいて第1拍情報が示す拍の位置を変更した変更第1拍情報を生成する第1拍変更部140と、変更第1拍情報が示す拍の位置に合わせて分離された楽曲データを伸縮する楽曲伸縮部142と、伸縮された楽曲データを再配置する楽曲再配置部144と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ダンスやジョギングといったリズミカルな運動に楽曲を適合させ、運動を促進する楽曲再生装置および楽曲再生方法に関する。
【背景技術】
【0002】
人は、ダンスやジョギングといった運動を通じて、健康維持やダイエットを遂行する。このような運動はある程度継続的に行われるのが望ましいが、ダンスやジョギングといった運動は動作が単調になり易く、人は、その運動に飽きてしまうことがあった。そこで、人の運動意欲を高めるべく、リズミカルな楽曲に合わせてダンスやジョギングといった運動が遂行されるようになった。
【0003】
しかし、運動能力には個人差があり、また、人が意図的に緩急のある運動を望む場合もあることから、任意の楽曲による所定リズムに合わせた運動が個人にとって必ずしも最適な運動になるとは限らない。そこで、人のリズミカルな動作を検出して、その動作に同期した音を発し、また、そのリズム速度が所定の速度に達すると、同速度の音楽を再生する玩具が知られている(例えば、特許文献1)。
【0004】
また、複数の楽曲データのテンポを予め抽出しておき、その複数の楽曲データの中から、人の運動テンポに合致する楽曲を選択する装置も開示されている(例えば、特許文献2)。
【0005】
さらに、運動センサで検出した運動テンポを補正し、その補正したテンポと、MIDI(Musical Instrument Digital Interface)データのような音楽データのテンポとの位相差を検出して音符毎または小節毎に再生を補正する技術も公開されている(特許文献3)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平7−104691号公報
【特許文献2】特開2007−292847号公報
【特許文献3】特開2001−299980号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献1に記載された技術では、検出した人の動作に同期した音が発せられるものの、その音は断片的な拍子に留まり、その単調さから人を飽きさせてしまうおそれがある。また、特許文献2に記載された技術では、ある程度多くの楽曲を登録しなければ効果がなく、人の運動テンポに合致する楽曲が登録されていない場合に対応できなくなるといった問題があった。さらに、特許文献3に記載された技術は、MIDIデータのような拍の時間的位置が予め把握されている音楽データを用いることはできるものの、拍の時間的位置が不明な楽曲には対応できなかった。
【0008】
また、上述した従来技術では、ダンスやジョギングのように緩急のある運動、即ち、拍の間隔が変化する運動に対して楽曲データが追従することができず、人が望んでいるペース配分を却って阻害しかねなかった。
【0009】
本発明は、このような課題に鑑み、緩急のある運動であってもその拍に追従する楽曲データを生成し、人の所望する拍で快適な運動を遂行することが可能な楽曲再生装置および楽曲再生方法を提供することを目的としている。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明の楽曲再生装置は、任意の楽曲データの拍を検出し、その拍の位置を示す第1拍情報を生成する第1拍生成部と、第1拍情報に基づいて楽曲データを拍毎に分離する楽曲分離部と、人の動きを検出する動きセンサと、検出された動きに対応した拍の位置を示す第2拍情報を生成する第2拍生成部と、第2拍情報が示す拍の位置に基づいて第1拍情報が示す拍の位置を変更した変更第1拍情報を生成する第1拍変更部と、変更第1拍情報が示す拍の位置に合わせて分離された楽曲データを伸縮する楽曲伸縮部と、伸縮された楽曲データを変更第1拍情報が示す拍の位置に再配置する楽曲再配置部と、を備えることを特徴とする。
【0011】
本発明では、人の動き(節目)に対応した拍のみならず、楽曲データの拍も検出しているので、その楽曲データの種類やテンポの安定性および拍情報の有無を問わず、人は所望する楽曲データの下で快適な運動を遂行できる。また、人の動きに対応した拍に基づいて楽曲データの拍の位置を随時変更することで、人が緩急のある運動を遂行した場合であってもその動きに楽曲データを追従させることができ、人は自身が主体となって自分のペースを維持し無理せず安全かつ快適な運動を遂行することが可能となる。
【0012】
第1拍生成部は、楽曲データの音圧が突出する第1特異点を複数抽出し、複数の第1特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第1拍情報を生成してもよい。
【0013】
楽曲データの音圧(または振幅)が突出する第1特異点はリズムを刻む拍として受け入れやすい妥当な点である。本発明では、かかる第1特異点のうち、周期性を有しかつその周期が安定している(第1特異点同士で形成される周期の頻度が高い)拍を第1拍情報とすることで、人は、楽曲の心地よい安定したリズムを通じて快適な運動を遂行することが可能となる。
【0014】
第1拍生成部は、直前の所定期間内における楽曲データの最大音圧の所定率以下の音圧を、第1特異点として考慮しなくてもよい。
【0015】
楽曲データには上述した第1特異点以外に雑音や高調波等様々な音圧も含まれる。しかし、運動中に聴く楽曲ではペースメーカとしての高い音圧による拍が重要であり、最大音圧の所定率以下の音圧は却ってリズミカルな拍を乱すこととなる。本発明では、このような相対的に低い音圧を考慮しないことで、安定した拍の抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。
【0016】
第1拍生成部は、楽曲データの低域周波数成分の音圧に1以上の重み付けを行ってから第1特異点を複数抽出してもよい。
【0017】
楽曲データには幅広い周波数成分の音圧が含まれる。しかし、音圧の低域周波数成分には十分な延びとパワーがあり、ダイナミックなリズム感が表現できるのでペースメーカとしては低域周波数成分の音圧が適している。従って、本発明では、このような低域周波数成分の音圧に重み付けを行い抽出し易くすることで、低域周波数成分の音圧のリズムが安定した楽曲データを形成することができる。
【0018】
第1拍生成部は、抽出した複数の第1特異点の音圧を一旦等しくし、複数の第1特異点のうち低域周波数成分の第1特異点に1以上の重み付けを行って第1拍情報を生成してもよい。
【0019】
楽曲データの最大音圧の所定率以下の音圧を排除した後、残っているすべての第1特異点は拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき音圧もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。ここでは、このような残った第1特異点の音圧を一旦等しくして周期以外の振幅情報等を排除し、その後で低域周波数成分の音圧のみ重み付けを行っている。かかる構成により、第1拍生成部は、周期情報と低域周波数成分とがバランスよく考慮された第1拍情報を生成することができる。
【0020】
第1拍生成部は、第1特異点の抽出毎、または所定時間毎に第1拍情報を生成し直してもよい。本発明では、楽曲データの拍の変化を第1特異点の抽出毎または所定時間毎に把握し、その時々における最適な第1拍情報を生成することで、楽曲データの拍が不安定であっても、人の動きへの追従性を向上することが可能となる。
【0021】
動きセンサは加速度を検出する加速度センサであり、第2拍生成部は、加速度センサの検出値が極値となる第2特異点を複数抽出し、複数の第2特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第2拍情報を生成してもよい。
【0022】
人の動き、特にステップにおける着地時には速度が急激に変化し、加速度は極値をとる。本発明では、運動におけるリズムとして適当なステップを第2拍情報とすることで、人が緩急のある運動を遂行した場合であってもそのステップに対応した拍に楽曲データを追従させることができ、人は安全かつ快適な運動を遂行することが可能となる。
【0023】
第2拍生成部は、直前の所定期間内における加速度センサの最大検出値の所定率以下の検出値を、第2特異点として考慮しなくてもよい。
【0024】
楽曲データを追従させる対象は、人の比較的大きな動きであり、加速度センサの最大検出値の所定率以下の検出値(絶対値)は却ってリズミカルな拍を乱すこととなる。本発明では、このような相対的に低い加速度値を考慮しないことで、人の大きな動きの抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。
【0025】
第2拍生成部は、重力の反対方向の検出値に1以上の重み付けを行ってから第2特異点を複数抽出してもよい。
【0026】
上述したステップにおける着地時の加速度は重力の反対方向の成分として検出される。本発明は、このような重力の反対方向の成分に重み付けを行い抽出し易くすることで、ステップに適切に対応した第1拍情報を形成することが可能となる。
【0027】
第2拍生成部は、抽出した複数の第2特異点の検出値を一旦等しくし、複数の第2特異点のうち重力の反対方向の第2特異点に1以上の重み付けを行って第2拍情報を生成してもよい。
【0028】
人の動きの加速度センサの最大検出値の所定率以下の検出値を排除した後、残っているすべての第2特異点は、拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき検出値もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。ここでは、このような残った第2特異点の検出値を一旦等しくして周期以外の振幅情報等を排除し、その後で重力の反対方向に相当する検出値のみ重み付けを行っている。かかる構成により、第2拍生成部は、周期情報と低域周波数成分とがバランスよく考慮された第2拍情報を生成することができる。
【0029】
第2拍生成部は、第2特異点の抽出毎、または所定時間毎に第2拍情報を生成し直してもよい。人の運動能力には個人差があり、また、人が緩急のある運動を望む場合もある。本発明では、このような動き(拍)の変化を第2特異点の抽出毎または所定時間毎に把握し、その時々における最適な第2拍情報を生成することで、人は、自分のペースを維持し無理せず安全かつ快適な運動を遂行することが可能となる。
【0030】
第1拍変更部は、第1拍情報の拍と第2拍情報の拍とを周期化し、周期化した第1拍情報の拍を、周期化した第2拍情報の拍に変位させてもよい。
【0031】
かかる第1拍情報の拍を第2拍情報の拍に変位させる構成により、変動する第2拍情報に第1拍情報を迅速かつ適切に追従させることが可能となり、人は、自分のペースを維持した快適な運動を遂行することができる。
【0032】
第1拍変更部は、第1拍情報の拍から第2拍情報の拍への変位比率を、第1拍情報の拍の周期と第2拍情報の拍の周期との比率から決定してもよい。
【0033】
第1拍情報の拍の周期と第2拍情報の拍の周期との比率が整数倍になると、拍を整数個おきに変位させた方が、原曲の速度に近い場合がある。本発明では、第1拍情報の拍の周期と第2拍情報の拍の周期との比率に応じて第1拍情報の拍から第2拍情報の拍への変位比率を決定しているので、原曲の速度を大凡維持することができ、人は快適な運動を遂行することが可能となる。
【0034】
上記課題を解決するために、本発明の楽曲再生方法は、任意の楽曲データの拍を検出し、その拍の位置を示す第1拍情報を生成し、第1拍情報に基づいて楽曲データを拍毎に分離し、人の動きを検出して、検出された動きに対応した拍の位置を示す第2拍情報を生成し、第2拍情報が示す拍の位置に基づいて第1拍情報が示す拍の位置を変更した変更第1拍情報を生成し、変更第1拍情報が示す拍の位置に合わせて分離された楽曲データを伸縮し、伸縮された楽曲データを変更第1拍情報が示す拍の位置に再配置することを特徴とする。
【0035】
上述した、楽曲再生装置の技術的思想に基づく構成要素やその説明は、当該楽曲再生方法にも適用可能である。
【発明の効果】
【0036】
本発明の楽曲再生装置は、ダンスやジョギングといった緩急のある運動であってもその拍に追従する楽曲データを生成し、人の所望する拍で快適な運動を遂行することが可能となる。
【図面の簡単な説明】
【0037】
【図1】本実施形態にかかる楽曲再生装置の電気的な構成を示した機能ブロック図である。
【図2】第1特異点抽出部によって抽出された第1特異点のシフトレジスタへの保持状態を示した説明図である。
【図3】第1拍生成部による拍の検出を説明するための説明図である。
【図4】第1拍情報を説明するための説明図である。
【図5】低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。
【図6】第1特異点を一旦等しくして低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。
【図7】楽曲分離部による楽曲データの分離を説明するための説明図である。
【図8】第1拍変更部による変更第1拍情報の生成を説明するための説明図である。
【図9】第1拍変更部による変更第1拍情報の生成を説明するための説明図である。
【図10】第1拍変更部による変更第1拍情報の生成を説明するための説明図である。
【図11】変位比率を説明するための説明図である。
【図12】楽曲伸縮部による分離した楽曲データの伸縮を示した説明図である。
【図13】楽曲再配置部による伸縮した楽曲データの再配置を説明するための説明図である。
【図14】本実施形態にかかる楽曲再生方法の具体的な処理を示したフローチャートである。
【図15】本実施形態にかかる楽曲再生方法の具体的な処理を示したフローチャートである。
【発明を実施するための形態】
【0038】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【0039】
本実施形態では、ジョギングのように大凡一定の間隔で動く運動だけでなく、ダンスのような緩急のある動きに対してもその人の動き(リズム)を検出すると共に、楽曲データからもリズムを検出して、ダンスやジョギングといった運動に楽曲を適合させ、運動を促進することを目的としている。以下、かかる目的を達成すべく楽曲データを再生可能な楽曲再生装置100を説明し、その後、楽曲再生方法の一連の動作を述べる。
【0040】
(楽曲再生装置100)
図1は、本実施形態にかかる楽曲再生装置100の電気的な構成を示した機能ブロック図である。楽曲再生装置100は、加速度センサ110と、楽曲データ取得部112と、記憶部114と、シフトレジスタ116と、楽曲出力部118と、中央制御部120とを含んで構成され、人が着用している衣服や手足首等に装着することができる。
【0041】
加速度センサ110は、人の動きを検出する動きセンサとして機能し、検出軸方向への人の加速度を検出する。ここでは、加速度センサ110の検出値の代わりに、速度センサの微分値や位置センサの2回微分値を用いることもできる。かかる加速度センサ110は、重力方向の検出値の振動に基づいて歩数計として用いることもできる。
【0042】
また、後述するように、本実施形態では、重力の反対方向の加速度を特定しなくてはならないので、加速度センサ110の少なくとも1つの検出軸が重力方向となるように、楽曲再生装置100を人に装着させることが望ましい。加速度センサ110は、重力を検出できる場合、電力が供給されている間、検出値を平均化しその平均検出値を重力方向の検出値(1G)と見なして、重力の反対方向の検出値を特定することができる。さらに、加速度センサ110は、検出した検出値が重力の反対方向を示しているときにそのことを示す識別子を検出値に関連付ける。
【0043】
加速度センサ110はXYZの3軸で構成することもできるが、1軸のみで構成することもできる。この場合、その1軸を重力方向に合わせることで、人の動きを検出するのに必要な重力の反対方向の加速度を確実に検出すると共に、水平方向の不要な加速度を排除することが可能となる。
【0044】
楽曲データ取得部112は、CD(Compact Disk)プレーヤ、カセットプレーヤやその他の記憶媒体から楽曲データを取得し記憶部114に記憶する。かかる楽曲データとしては、MP3(MPeg audio layer 3)、AAC(Advanced Audio Coding)、WMA(Windows(登録商標) Media Audio)、ATRAC(Adaptive TRansform Acoustic Coding)等の技術を用いて音声圧縮されたデータを用いることができる。
【0045】
記憶部114は、RAM、フラッシュメモリ、HDD等で構成され、1または複数の楽曲データや、後述する中央制御部120が用いるプログラムを記憶する。
【0046】
シフトレジスタ116は、RAMで構成され、楽曲データの音圧の第1特異点(音圧が突出する点)および加速度センサ110の検出値の第2特異点(極値)を所定期間分一時的に保持する。そして、楽曲データの音圧や加速度センサ110の検出値が新たにシフトレジスタ116に入力されると最古の値を削除する、所謂FIFO(First-In First-Out)として機能する。かかる構成により、直前の所定期間内の第1特異点または第2特異点を容易に抽出することができる。
【0047】
楽曲出力部118は、記憶部114に記憶された楽曲データ、または本実施形態により生成された楽曲データを楽曲信号に変換しスピーカ122またはヘッドフォン124に出力させる。
【0048】
中央制御部120は、中央処理装置(CPU)を含む半導体集積回路で構成され、記憶部114やその他の回路と協働して楽曲再生装置100全体を管理および制御する。また、中央制御部120は、第1特異点抽出部130、第1拍生成部132、楽曲分離部134、第2特異点抽出部136、第2拍生成部138、第1拍変更部140、楽曲伸縮部142、楽曲再配置部144として機能する。
【0049】
第1特異点抽出部130は、記憶部114に記憶された楽曲データを時系列に読み出し、その楽曲データの音圧が突出した点を第1特異点として、その時間情報と音圧をシフトレジスタ116に保持する。このとき、第1特異点抽出部130は、第1特異点となる音圧が低域周波数成分にあたる場合、その旨を示す識別子を第1特異点に関連付ける。
【0050】
楽曲データの音圧(または振幅)が突出する第1特異点はリズムを刻む拍として受け入れやすい妥当な点である。本実施形態では、かかる第1特異点のうち、周期性を有しかつその周期が安定している、第1特異点同士で形成される周期の頻度が高い拍を第1拍情報とすることで、人は、楽曲の心地よい安定したリズムを通じて快適な運動を遂行することが可能となる。また、ここでは、第1特異点の導出に楽曲データの音圧を用いているが、楽曲データの振幅の二乗値や、所定区間における振幅の二乗の積分値を用いることもできる。
【0051】
図2は、第1特異点抽出部130によって抽出された第1特異点のシフトレジスタ116への保持状態を示した説明図である。図2では、横軸が時間、縦軸が音圧の絶対値を示す。第1特異点抽出部130は、順次楽曲データを読み出す。図2(a)はこのようにして読み出された楽曲データを示している。特異点抽出部130は、今回読み出した音圧列168の突出点170を抽出し、その突出点170の音圧が、図2(b)に示すようなシフトレジスタ116に既に保持されている第1特異点の最大値(直前の所定期間内における楽曲データの最大音圧)172の所定率、例えば50%(図2中破線で示す)より大きいか否かを判定する。突出点が所定率以下であった場合、第1特異点抽出部130は、突出点を第1特異点として考慮しない。即ち、所定率以下の音圧はシフトレジスタ116には残されない。こうしてシフトレジスタ116には図2(b)に黒丸で示したような所定率より大きな音圧の突出点174のみが第1特異点として所定期間分保持される。
【0052】
このように所定率以下の音圧を考慮しないのは、運動中に聴く楽曲ではペースメーカとしての高い音圧による拍が重要であり、最大音圧の所定率以下の音圧は却ってリズミカルな拍を乱すこととなるからである。第1特異点抽出部130では、このような相対的に低い音圧を考慮しないことで、安定した拍の抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。
【0053】
第1拍生成部132は、シフトレジスタ116に保持された所定数の第1特異点の周期性を判断、ここでは、複数の第1特異点同士で形成される周期のうち最も頻度の高い周期を導出して、その周期に相当する(一致する)楽曲データ(原曲)の拍を検出し、その拍の位置を示す第1拍情報を生成する。かかる「拍」は、等しい間隔で打たれる基本的なリズムの一つ一つの時間単位を示す。また、所定数は、後述する自己相関やフーリエ変換を実行するために十分な数であるが、その周期性に応じて必要なサンプル数も変化する。
【0054】
図3は、第1拍生成部132による拍の検出を説明するための説明図である。第1拍生成部132は、シフトレジスタ116に第1特異点が新たに保持されるか、または所定時間毎に、図2(b)に示されたシフトレジスタ116に保持された所定数(所定期間分)の第1特異点の自己相関またはフーリエ変換を通じて、最も頻度の高い周期を導出する。このように、楽曲データの拍の変化を第1特異点の抽出毎または所定時間毎に把握し、その時々における最適な第1拍情報を生成することで、楽曲データの拍が不安定であっても、人の動きへの追従性を向上することが可能となる。
【0055】
そして、周期が導出されたら、第1拍生成部132は、前回拍とされた第1特異点180から導出された周期182またはその整数倍離れた時点184に拍が存在するかどうか判断する。かかる判断を、自己相関を用いて行う場合、例えば相関値が0.6(0.6〜0.8から任意に設定)〜1.0のときに拍とすることとする。
【0056】
例えば図3においては、新たに抽出された第1特異点186は導出された周期182との相関値が低い、即ち時点184と離れているので拍とはならず、次の第1特異点188は相関値が高い、即ち時点184に近いので拍となる。本実施形態では、このように相関が高い第1特異点(例えば、180、188)のみが拍とされる(図3中白丸で示す。)。拍の導出は、上述したように第1特異点の抽出毎、または所定時間毎に行われるので、検出された拍同士は、ある程度周期性を有するが等間隔になるとは限らない。また、導出した周期との相関値が高くなる第1特異点がない場合、時点190のように拍がない部分も生じる。
【0057】
第1拍生成部132は、このようにして検出された拍の位置をリスト化し、第1拍情報を生成する。
【0058】
図4は、第1拍情報を説明するための説明図である。ここでは、第1拍生成部132によって導出された、図3において白丸で示された拍が時系列に並べられ、拍毎に、拍位置情報と時間情報とが関連付けられている。ここでは、BPM(Beats Per Minute)が120程度のテンポになっているので、1拍の差分が約0.5秒となる。また、3拍目および7拍目に相当する拍が存在しなかったので、図4の第1拍情報では3拍目と7拍目に対応するレコードが無く、拍が不連続になっている。
【0059】
また、第1拍生成部132は、楽曲データの低域周波数成分の音圧に1以上の重み付けを行ってから第1特異点を複数抽出してもよい。
【0060】
図5は、低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。例えば、第1特異点抽出部130が第1特異点を抽出する時点でその音圧が低域周波数成分にあたると判断した場合、即ち、音圧が低域周波数成分である旨の識別子が第1特異点に関連付けられている場合、図5に示したように、その第1特異点192のみ、例えば1.2倍といった重み付けを行う。
【0061】
楽曲データには幅広い周波数成分の音圧が含まれる。しかし、音圧の低域周波数成分には十分な延びとパワーがあり、ダイナミックなリズム感が表現できるのでペースメーカとしては低域周波数成分の音圧が適している。従って、本実施形態では、このような低域周波数成分の音圧からなる第1特異点に重み付けを行い抽出し易くすることで、低域周波数成分の音圧のリズムが安定した楽曲データを形成することができる。
【0062】
また、第1拍生成部132は、上述した楽曲データの低域周波数成分の音圧に直接重み付けを行う代わりに、抽出した複数の第1特異点の音圧を一旦等しくし、複数の第1特異点のうち低域周波数成分の第1特異点に1以上の重み付けを行って第1拍情報を生成してもよい。
【0063】
図6は、第1特異点を一旦等しくして低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。図6では、横軸が時間、縦軸が重み付けを示す。楽曲データの最大音圧の所定率以下の音圧を排除した後、残っているすべての第1特異点は、拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき音圧もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。そこで、第1特異点抽出部130が第1特異点を抽出すると、その音圧の値を図6(a)に示すように、すべて等しい所定値、例えば1.0でシフトレジスタ116に保持する。こうして、第1特異点から振幅情報を排除し、周期にのみ着目することができる。
【0064】
そして、第1拍生成部132は、その第1特異点の音圧が低域周波数成分にあたる場合にのみ重み付け(例えば1.2倍)を行う。従って、重み付けを行った後のシフトレジスタ116への保持状態は図6(b)のようになる。
【0065】
図6(b)のように低域周波数成分のみ重み付けされた状態で並置された第1特異点同士の自己相関をとると、例えば図6(c)に示したように隣接する低域周波数成分の第1特異点と重なるところで相関値が高くなるので低域周波数成分の音圧が拍として認識され易くなる。
【0066】
かかる、第1特異点の音圧を一旦等しくして周期以外の振幅情報等を排除し、その後で低域周波数成分の音圧のみ重み付けを行う構成により、第1拍生成部132は、周期情報と低域周波数成分とがバランスよく考慮された第1拍情報を生成することができる。
【0067】
楽曲分離部134は、第1拍生成部132が生成した第1拍情報に基づいて楽曲データを拍毎に分離する。
【0068】
図7は、楽曲分離部134による楽曲データの分離を説明するための説明図である。楽曲分離部134は、原曲となる楽曲データ194と第1拍生成部132が生成した第1拍情報が示す拍196との時間軸を合わせ、拍196の位置で楽曲データ194を分離する。上述したように拍196は等間隔になるとは限らないので、分離された楽曲データの時間長も等しくなるとは限らない。
【0069】
第2特異点抽出部136は、加速度センサ110に検出された検出値を取得し、その検出値の微分値の符号が反転する点である極値(極大値および極小値)を第2特異点として、その時間情報と検出値をシフトレジスタ116に保持する。本実施形態では、かかる第2特異点のうち、周期性を有しかつその周期が安定している、第2特異点同士で形成される周期の頻度が高い拍を第2拍情報とすることで、人は、快適な運動を遂行することが可能となる。また、第2特異点抽出部136によって抽出された第2特異点のシフトレジスタ116への保持状態は、第1特異点抽出部130の説明で用いた図2(b)と同様になるので、ここではその詳細な説明を省略する。
【0070】
このとき、第2特異点抽出部136は、シフトレジスタ116に既に保持されている第2特異点の最大値(直前の所定期間内における加速度センサの最大検出値)の所定率、例えば50%以下の検出値を、第2特異点として考慮しない。これは、楽曲データを追従させる対象は、人の比較的大きな動きであり、加速度センサ110の最大検出値の所定率以下の検出値(絶対値)は却ってリズミカルな拍を乱すこととなるからである。ここでは、このような相対的に低い加速度値を考慮しないことで、人の大きな動きの抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。
【0071】
第2拍生成部138は、シフトレジスタ116に保持された所定数の第2特異点の周期性を判断、ここでは、複数の第2特異点同士で形成される周期(グルーブ)のうち最も頻度の高い周期を導出して、その周期に相当する(一致する)拍を検出し、その拍の位置を示す第1拍情報を生成する。
【0072】
人の動き、特にステップ(歩調、足取り)における着地時には速度が急激に変化し、加速度は極値をとる。第2拍生成部138では、運動におけるリズムとして適当なステップを第2拍情報とすることで、人が緩急のある運動を遂行した場合であってもそのステップに対応した拍に楽曲データを追従させることができ、人は安全かつ快適な運動を遂行することが可能となる。
【0073】
かかる第2拍生成部138の第2拍情報の生成は、その対象となる第2特異点が楽曲データの音圧ではなく、加速度センサ110の検出値というだけで、他の処理は第1拍生成部132と等しいのでここではその詳細な説明を省略する。
【0074】
また、第2拍生成部138は、図5を用いて説明した第1拍生成部132同様、重力の反対方向の検出値に1以上の重み付けを行ってから第2特異点を複数抽出する。このとき、第2特異点抽出部136が第2特異点を抽出する時点でその検出値が重力の反対方向の検出値にあたる場合、即ち、加速度センサ110によって検出値に重力の反対方向の成分である旨の識別子が関連付けられている場合、その第2特異点のみ例えば、1.2倍といった重み付けを行ってシフトレジスタ116への保持することとなり、第2拍生成部138は、そのように重み付けられた第2特異点を抽出する。
【0075】
上述したステップにおける着地時の加速度は重力の反対方向の成分として検出される。本実施形態では、このような重力の反対方向の成分に重み付けを行い抽出し易くすることで、ステップに適切に対応した第1拍情報を生成することが可能となる。
【0076】
また、第2拍生成部138は、重力の反対方向の検出値に直接重み付けを行う代わりに、図6を用いて説明した第1拍生成部132同様、抽出した複数の第2特異点の検出値を一旦等しくし、複数の第2特異点のうち重力の反対方向の第2特異点に1以上の重み付けを行って第2拍情報を生成してもよい。
【0077】
人の動きの加速度センサ110の最大検出値の所定率以下の検出値を排除した後、残っているすべての第2特異点は、拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき検出値もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。ここでは、このような残った第2特異点の検出値を一旦等しくして周期以外の振幅情報等を排除し、その後で重力の反対方向に相当する検出値のみ重み付けを行っている。かかる構成により、第2拍生成部138は、周期情報と低域周波数成分とがバランスよく考慮された第2拍情報を生成することができる。
【0078】
第1拍変更部140は、第2拍生成部138が生成した第2拍情報が示す拍の位置に基づいて、第1拍生成部132が生成した第1拍情報が示す拍の位置を変更した変更第1拍情報を生成する。具体的に、第1拍変更部140は、第1拍情報の拍と第2拍情報の拍とを周期化し、周期化した第1拍情報の拍を、周期化した第2拍情報の拍に変位(転位)させる。
【0079】
図8、9、10は、第1拍変更部140による変更第1拍情報の生成を説明するための説明図である。まず、第1拍変更部140は、第1拍情報が示す拍を周期化する。第1拍生成部132によって生成された第1拍情報は、図4に示したように、拍に相当する第1特異点が無く、3拍目や7拍目のように拍が欠落している場合がある。そこで、第1拍変更部140は、図8のように、欠落している拍の位置を推測し、第1仮想拍198を生成する。こうして第1拍情報が周期化される。かかる第1仮想拍198は、前後の拍の間隔を等分した時点としてもよいし、前拍の周期を単純に第1仮想拍198の周期として配置してもよい。
【0080】
続いて、第1拍変更部140は、第2拍情報が示す拍を周期化する。例えば、第2拍情報が図9(a)に示すように拍が並置されているとすると、第1拍変更部140は、第1拍情報のとき同様、図9(b)のように、欠落している拍の位置を推測し、第2仮想拍200を生成する。こうして第2拍情報が周期化される。
【0081】
最後に、第1拍変更部140は、図10(a)のように、周期化した第2拍情報の拍の位置に、周期化した第1拍情報の拍を変位比率1:1で変位させ、図10(b)のように、第1仮想拍198を排除する。こうして変更第1拍情報が形成される。
【0082】
かかる第1拍情報の拍を第2拍情報の拍に変位させる構成により、変動する第2拍情報に第1拍情報を迅速かつ適切に追従させることが可能となり、人は、自分のペースを維持した快適な運動を遂行することができる。
【0083】
また、ここでは、変位比率を1:1としたが、第1拍情報の拍の周期と第2拍情報の拍の周期との比率に基づいて、第1拍変更部140は、第1拍情報の拍から第2拍情報の拍への変位比率を決定してもよい。
【0084】
図11は、変位比率を説明するための説明図である。第1拍情報の拍の周期と第2拍情報の拍の周期との比率が整数倍になると、拍を整数個おきに変位させた方が、原曲の速度に近い場合がある。例えば、図11に示すように、第1拍情報の拍の周期と第2拍情報の拍の周期の比率が2:1となった場合にまで、変位比率1:1で変位させると、楽曲データの速度が単純に2倍になり、原曲の速度との隔たりが大きくなり人に違和感を与えてしまうことになる。
【0085】
ここでは、第1拍情報の拍の周期と第2拍情報の拍の周期との比率(図11では2:1)に応じて第1拍情報の拍から第2拍情報の拍への変位比率を1:2、即ち、周期化された第2拍情報の2拍毎に周期化された第1拍情報を変位させている。こうして、原曲の速度を大凡維持することができ、人は快適な運動を遂行することが可能となる。また、変位比率が2:1と逆になった場合には、第2拍情報が示す拍同士の中間に新たに拍を生成し、第1拍情報を変位させる。
【0086】
このような変位比率は、第1拍情報の拍の周期と第2拍情報の拍の周期との比率を四捨五入することで決定することができる。例えば、周期の比率が1.2:1の場合、変位比率を1:1とすべきであり、1.8:1の場合、変位比率を1:2にすべきである。しかし、変位比率をダイナミックに変更すると楽曲の速度が不本意に変更されるため却って人に違和感を与えかねない。従って、変位比率を判断するのに十分な時間分の周期を比較し、一度決定された変位比率は相当の周期比率の変動がない限り変更しないとしてもよい。また、変位比率を変更する場合であっても、その変更スレショルドにヒステリシスを設け、煩雑な変更を回避することができる。
【0087】
楽曲伸縮部142は、第1拍変更部140が生成した変更第1拍情報が示す拍の位置に合わせて楽曲分離部134が分離した楽曲データを伸縮する。
【0088】
図12は、楽曲伸縮部142による分離した楽曲データの伸縮を示した説明図である。図7のように分離した楽曲データを図10(b)に示した変更第1拍情報が示す拍の位置に合わせるべく時間方向に伸縮する。このとき、拍の長さを変えても音声の高さを変えないようにタイムストレッチ技術やその他様々な既存の技術を用いることができる。上述したように変位比率は、ほぼ一定に推移するが、楽曲データを分離する時点における第1拍情報の拍の間隔や変更第1拍情報の拍の間隔は等間隔とは限らないので、伸縮の比率は、それぞれ微妙に異なることとなる。
【0089】
一方、第1拍情報や第2拍情報の拍の周期を拍の所定倍以上長い任意の時間毎にのみ更新することとすれば、楽曲伸縮部142の伸縮比率は任意の時間毎に同じになるので、任意の時間毎の楽曲データを纏めて伸縮することもできる。
【0090】
楽曲再配置部144は、楽曲伸縮部142が伸縮した楽曲データを、変更第1拍情報が示す拍の位置に再配置する。
【0091】
図13は、楽曲再配置部144による伸縮した楽曲データの再配置を説明するための説明図である。ここでは、図10(b)に示した変更第1拍情報が示す拍に、その拍に対応して伸縮した楽曲データを配置し、楽曲データを連続させる。かかる楽曲データの連続点でノイズが生じないよう、楽曲再配置部144は、クロスフェードしながら再配置する。
【0092】
以上、説明した楽曲再生装置100により、人の動き(節目)に対応した拍のみならず、楽曲データの拍も検出しているので、その楽曲データの種類やテンポの安定性および拍情報の有無を問わず、人は所望する楽曲データの下で快適な運動を遂行できる。また、人の動きに対応した拍に基づいて楽曲データの拍の位置を随時変更することで、人が緩急のある運動を遂行した場合であってもその動きに楽曲データを追従させることができ、人は自身が主体となって自分のペースを維持し無理せず安全かつ快適な運動を遂行することが可能となる。
【0093】
(楽曲再生方法)
続いて、上述した楽曲再生装置100を用いた楽曲再生方法について説明する。図14、図15は、本実施形態にかかる楽曲再生方法の具体的な処理を示したフローチャートである。特に図14は、第1拍情報の生成処理と楽曲データの分離処理を、図15は、最終的な楽曲データの生成処理を示している。
【0094】
図14のフローチャートを参照すると、まず、第1特異点抽出部130は、記憶部114に記憶された楽曲データを時系列に読み出し、その音圧が突出した点を第1特異点とし、低域周波数成分以外の第1特異点の音圧をすべて等しい所定値(1.0)で、低域周波数成分の第1特異点の音圧を所定値にさらに重み付けした値(1.2)でシフトレジスタ116に保持する(S300)。第1拍生成部132は、このようにシフトレジスタ116に保持された所定数の第1特異点同士で形成される周期のうち最も頻度の高い周期を導出して(S302)、その周期に相当する楽曲データの拍を検出する(S304)。
【0095】
そして、楽曲データすべてについて拍の検出が完了したか判定され(S306)、完了していない場合(S306のNO)、第1特異点の抽出処理(S300)から繰り返す。完了していれば(S306のYES)、検出した拍の位置を示す第1拍情報を生成する(S308)。続いて、楽曲分離部134は、第1拍生成部132が生成した第1拍情報に基づいて楽曲データを拍毎に分離する(S310)。
【0096】
図15のフローチャートでは、人が当該楽曲再生装置100の再生が開始されると(S350のYES)、第2特異点抽出部136は、加速度センサ110に検出された検出値を取得し、その検出値の極値を第2特異点とし、その検出値をすべて等しい所定値で、重力の反対方向の検出値を所定値にさらに重み付けした値でシフトレジスタ116に保持する(S352)。
【0097】
第2拍生成部138は、シフトレジスタ116に保持された所定数の第2特異点同士で形成される周期のうち最も頻度の高い周期を導出して(S354)、その周期に相当する拍を検出し(S356)、その都度、拍の位置を示す第2拍情報を生成する(S358)。
【0098】
続いて、第1拍変更部140は、第2拍生成部138が生成した第2拍情報が示す拍の位置に基づいて、図12において第1拍生成部132が生成した第1拍情報が示す拍の位置を変更した変更第1拍情報を生成する(S360)。具体的に、第1拍変更部140は、第1拍情報の拍と第2拍情報の拍とを周期化し、周期化した第1拍情報の拍を、周期化した第2拍情報の拍に変位させる。
【0099】
そして、楽曲伸縮部142は、第1拍変更部140が生成した変更第1拍情報が示す拍の位置に合わせて楽曲分離部134が分離した楽曲データを伸縮し(S362)、楽曲再配置部144は、楽曲伸縮部142が伸縮した楽曲データを、変更第1拍情報が示す拍の位置に再配置する(S364)。最後に、楽曲出力部118は、再配置された楽曲データを楽曲信号に変換しスピーカ122またはヘッドフォン124に出力させる(S366)。こうした第2特異点抽出ステップ(S352)からの一連の動作を繰り返す。
【0100】
かかる楽曲再生方法によっても、ダンスやジョギングといった緩急のある運動であってもその拍に追従する楽曲データを生成し、人の所望する拍で快適な運動を遂行することが可能となる。
【0101】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0102】
なお、本明細書の楽曲再生方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【0103】
本発明は、ダンスやジョギングといったリズミカルな運動に楽曲を適合させ、運動を促進する楽曲再生装置および楽曲再生方法に利用することができる。
【符号の説明】
【0104】
100 …楽曲再生装置
110 …加速度センサ(動きセンサ)
132 …第1拍生成部
134 …楽曲分離部
138 …第2拍生成部
140 …第1拍変更部
142 …楽曲伸縮部
144 …楽曲再配置部
【技術分野】
【0001】
本発明は、ダンスやジョギングといったリズミカルな運動に楽曲を適合させ、運動を促進する楽曲再生装置および楽曲再生方法に関する。
【背景技術】
【0002】
人は、ダンスやジョギングといった運動を通じて、健康維持やダイエットを遂行する。このような運動はある程度継続的に行われるのが望ましいが、ダンスやジョギングといった運動は動作が単調になり易く、人は、その運動に飽きてしまうことがあった。そこで、人の運動意欲を高めるべく、リズミカルな楽曲に合わせてダンスやジョギングといった運動が遂行されるようになった。
【0003】
しかし、運動能力には個人差があり、また、人が意図的に緩急のある運動を望む場合もあることから、任意の楽曲による所定リズムに合わせた運動が個人にとって必ずしも最適な運動になるとは限らない。そこで、人のリズミカルな動作を検出して、その動作に同期した音を発し、また、そのリズム速度が所定の速度に達すると、同速度の音楽を再生する玩具が知られている(例えば、特許文献1)。
【0004】
また、複数の楽曲データのテンポを予め抽出しておき、その複数の楽曲データの中から、人の運動テンポに合致する楽曲を選択する装置も開示されている(例えば、特許文献2)。
【0005】
さらに、運動センサで検出した運動テンポを補正し、その補正したテンポと、MIDI(Musical Instrument Digital Interface)データのような音楽データのテンポとの位相差を検出して音符毎または小節毎に再生を補正する技術も公開されている(特許文献3)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平7−104691号公報
【特許文献2】特開2007−292847号公報
【特許文献3】特開2001−299980号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献1に記載された技術では、検出した人の動作に同期した音が発せられるものの、その音は断片的な拍子に留まり、その単調さから人を飽きさせてしまうおそれがある。また、特許文献2に記載された技術では、ある程度多くの楽曲を登録しなければ効果がなく、人の運動テンポに合致する楽曲が登録されていない場合に対応できなくなるといった問題があった。さらに、特許文献3に記載された技術は、MIDIデータのような拍の時間的位置が予め把握されている音楽データを用いることはできるものの、拍の時間的位置が不明な楽曲には対応できなかった。
【0008】
また、上述した従来技術では、ダンスやジョギングのように緩急のある運動、即ち、拍の間隔が変化する運動に対して楽曲データが追従することができず、人が望んでいるペース配分を却って阻害しかねなかった。
【0009】
本発明は、このような課題に鑑み、緩急のある運動であってもその拍に追従する楽曲データを生成し、人の所望する拍で快適な運動を遂行することが可能な楽曲再生装置および楽曲再生方法を提供することを目的としている。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明の楽曲再生装置は、任意の楽曲データの拍を検出し、その拍の位置を示す第1拍情報を生成する第1拍生成部と、第1拍情報に基づいて楽曲データを拍毎に分離する楽曲分離部と、人の動きを検出する動きセンサと、検出された動きに対応した拍の位置を示す第2拍情報を生成する第2拍生成部と、第2拍情報が示す拍の位置に基づいて第1拍情報が示す拍の位置を変更した変更第1拍情報を生成する第1拍変更部と、変更第1拍情報が示す拍の位置に合わせて分離された楽曲データを伸縮する楽曲伸縮部と、伸縮された楽曲データを変更第1拍情報が示す拍の位置に再配置する楽曲再配置部と、を備えることを特徴とする。
【0011】
本発明では、人の動き(節目)に対応した拍のみならず、楽曲データの拍も検出しているので、その楽曲データの種類やテンポの安定性および拍情報の有無を問わず、人は所望する楽曲データの下で快適な運動を遂行できる。また、人の動きに対応した拍に基づいて楽曲データの拍の位置を随時変更することで、人が緩急のある運動を遂行した場合であってもその動きに楽曲データを追従させることができ、人は自身が主体となって自分のペースを維持し無理せず安全かつ快適な運動を遂行することが可能となる。
【0012】
第1拍生成部は、楽曲データの音圧が突出する第1特異点を複数抽出し、複数の第1特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第1拍情報を生成してもよい。
【0013】
楽曲データの音圧(または振幅)が突出する第1特異点はリズムを刻む拍として受け入れやすい妥当な点である。本発明では、かかる第1特異点のうち、周期性を有しかつその周期が安定している(第1特異点同士で形成される周期の頻度が高い)拍を第1拍情報とすることで、人は、楽曲の心地よい安定したリズムを通じて快適な運動を遂行することが可能となる。
【0014】
第1拍生成部は、直前の所定期間内における楽曲データの最大音圧の所定率以下の音圧を、第1特異点として考慮しなくてもよい。
【0015】
楽曲データには上述した第1特異点以外に雑音や高調波等様々な音圧も含まれる。しかし、運動中に聴く楽曲ではペースメーカとしての高い音圧による拍が重要であり、最大音圧の所定率以下の音圧は却ってリズミカルな拍を乱すこととなる。本発明では、このような相対的に低い音圧を考慮しないことで、安定した拍の抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。
【0016】
第1拍生成部は、楽曲データの低域周波数成分の音圧に1以上の重み付けを行ってから第1特異点を複数抽出してもよい。
【0017】
楽曲データには幅広い周波数成分の音圧が含まれる。しかし、音圧の低域周波数成分には十分な延びとパワーがあり、ダイナミックなリズム感が表現できるのでペースメーカとしては低域周波数成分の音圧が適している。従って、本発明では、このような低域周波数成分の音圧に重み付けを行い抽出し易くすることで、低域周波数成分の音圧のリズムが安定した楽曲データを形成することができる。
【0018】
第1拍生成部は、抽出した複数の第1特異点の音圧を一旦等しくし、複数の第1特異点のうち低域周波数成分の第1特異点に1以上の重み付けを行って第1拍情報を生成してもよい。
【0019】
楽曲データの最大音圧の所定率以下の音圧を排除した後、残っているすべての第1特異点は拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき音圧もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。ここでは、このような残った第1特異点の音圧を一旦等しくして周期以外の振幅情報等を排除し、その後で低域周波数成分の音圧のみ重み付けを行っている。かかる構成により、第1拍生成部は、周期情報と低域周波数成分とがバランスよく考慮された第1拍情報を生成することができる。
【0020】
第1拍生成部は、第1特異点の抽出毎、または所定時間毎に第1拍情報を生成し直してもよい。本発明では、楽曲データの拍の変化を第1特異点の抽出毎または所定時間毎に把握し、その時々における最適な第1拍情報を生成することで、楽曲データの拍が不安定であっても、人の動きへの追従性を向上することが可能となる。
【0021】
動きセンサは加速度を検出する加速度センサであり、第2拍生成部は、加速度センサの検出値が極値となる第2特異点を複数抽出し、複数の第2特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第2拍情報を生成してもよい。
【0022】
人の動き、特にステップにおける着地時には速度が急激に変化し、加速度は極値をとる。本発明では、運動におけるリズムとして適当なステップを第2拍情報とすることで、人が緩急のある運動を遂行した場合であってもそのステップに対応した拍に楽曲データを追従させることができ、人は安全かつ快適な運動を遂行することが可能となる。
【0023】
第2拍生成部は、直前の所定期間内における加速度センサの最大検出値の所定率以下の検出値を、第2特異点として考慮しなくてもよい。
【0024】
楽曲データを追従させる対象は、人の比較的大きな動きであり、加速度センサの最大検出値の所定率以下の検出値(絶対値)は却ってリズミカルな拍を乱すこととなる。本発明では、このような相対的に低い加速度値を考慮しないことで、人の大きな動きの抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。
【0025】
第2拍生成部は、重力の反対方向の検出値に1以上の重み付けを行ってから第2特異点を複数抽出してもよい。
【0026】
上述したステップにおける着地時の加速度は重力の反対方向の成分として検出される。本発明は、このような重力の反対方向の成分に重み付けを行い抽出し易くすることで、ステップに適切に対応した第1拍情報を形成することが可能となる。
【0027】
第2拍生成部は、抽出した複数の第2特異点の検出値を一旦等しくし、複数の第2特異点のうち重力の反対方向の第2特異点に1以上の重み付けを行って第2拍情報を生成してもよい。
【0028】
人の動きの加速度センサの最大検出値の所定率以下の検出値を排除した後、残っているすべての第2特異点は、拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき検出値もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。ここでは、このような残った第2特異点の検出値を一旦等しくして周期以外の振幅情報等を排除し、その後で重力の反対方向に相当する検出値のみ重み付けを行っている。かかる構成により、第2拍生成部は、周期情報と低域周波数成分とがバランスよく考慮された第2拍情報を生成することができる。
【0029】
第2拍生成部は、第2特異点の抽出毎、または所定時間毎に第2拍情報を生成し直してもよい。人の運動能力には個人差があり、また、人が緩急のある運動を望む場合もある。本発明では、このような動き(拍)の変化を第2特異点の抽出毎または所定時間毎に把握し、その時々における最適な第2拍情報を生成することで、人は、自分のペースを維持し無理せず安全かつ快適な運動を遂行することが可能となる。
【0030】
第1拍変更部は、第1拍情報の拍と第2拍情報の拍とを周期化し、周期化した第1拍情報の拍を、周期化した第2拍情報の拍に変位させてもよい。
【0031】
かかる第1拍情報の拍を第2拍情報の拍に変位させる構成により、変動する第2拍情報に第1拍情報を迅速かつ適切に追従させることが可能となり、人は、自分のペースを維持した快適な運動を遂行することができる。
【0032】
第1拍変更部は、第1拍情報の拍から第2拍情報の拍への変位比率を、第1拍情報の拍の周期と第2拍情報の拍の周期との比率から決定してもよい。
【0033】
第1拍情報の拍の周期と第2拍情報の拍の周期との比率が整数倍になると、拍を整数個おきに変位させた方が、原曲の速度に近い場合がある。本発明では、第1拍情報の拍の周期と第2拍情報の拍の周期との比率に応じて第1拍情報の拍から第2拍情報の拍への変位比率を決定しているので、原曲の速度を大凡維持することができ、人は快適な運動を遂行することが可能となる。
【0034】
上記課題を解決するために、本発明の楽曲再生方法は、任意の楽曲データの拍を検出し、その拍の位置を示す第1拍情報を生成し、第1拍情報に基づいて楽曲データを拍毎に分離し、人の動きを検出して、検出された動きに対応した拍の位置を示す第2拍情報を生成し、第2拍情報が示す拍の位置に基づいて第1拍情報が示す拍の位置を変更した変更第1拍情報を生成し、変更第1拍情報が示す拍の位置に合わせて分離された楽曲データを伸縮し、伸縮された楽曲データを変更第1拍情報が示す拍の位置に再配置することを特徴とする。
【0035】
上述した、楽曲再生装置の技術的思想に基づく構成要素やその説明は、当該楽曲再生方法にも適用可能である。
【発明の効果】
【0036】
本発明の楽曲再生装置は、ダンスやジョギングといった緩急のある運動であってもその拍に追従する楽曲データを生成し、人の所望する拍で快適な運動を遂行することが可能となる。
【図面の簡単な説明】
【0037】
【図1】本実施形態にかかる楽曲再生装置の電気的な構成を示した機能ブロック図である。
【図2】第1特異点抽出部によって抽出された第1特異点のシフトレジスタへの保持状態を示した説明図である。
【図3】第1拍生成部による拍の検出を説明するための説明図である。
【図4】第1拍情報を説明するための説明図である。
【図5】低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。
【図6】第1特異点を一旦等しくして低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。
【図7】楽曲分離部による楽曲データの分離を説明するための説明図である。
【図8】第1拍変更部による変更第1拍情報の生成を説明するための説明図である。
【図9】第1拍変更部による変更第1拍情報の生成を説明するための説明図である。
【図10】第1拍変更部による変更第1拍情報の生成を説明するための説明図である。
【図11】変位比率を説明するための説明図である。
【図12】楽曲伸縮部による分離した楽曲データの伸縮を示した説明図である。
【図13】楽曲再配置部による伸縮した楽曲データの再配置を説明するための説明図である。
【図14】本実施形態にかかる楽曲再生方法の具体的な処理を示したフローチャートである。
【図15】本実施形態にかかる楽曲再生方法の具体的な処理を示したフローチャートである。
【発明を実施するための形態】
【0038】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【0039】
本実施形態では、ジョギングのように大凡一定の間隔で動く運動だけでなく、ダンスのような緩急のある動きに対してもその人の動き(リズム)を検出すると共に、楽曲データからもリズムを検出して、ダンスやジョギングといった運動に楽曲を適合させ、運動を促進することを目的としている。以下、かかる目的を達成すべく楽曲データを再生可能な楽曲再生装置100を説明し、その後、楽曲再生方法の一連の動作を述べる。
【0040】
(楽曲再生装置100)
図1は、本実施形態にかかる楽曲再生装置100の電気的な構成を示した機能ブロック図である。楽曲再生装置100は、加速度センサ110と、楽曲データ取得部112と、記憶部114と、シフトレジスタ116と、楽曲出力部118と、中央制御部120とを含んで構成され、人が着用している衣服や手足首等に装着することができる。
【0041】
加速度センサ110は、人の動きを検出する動きセンサとして機能し、検出軸方向への人の加速度を検出する。ここでは、加速度センサ110の検出値の代わりに、速度センサの微分値や位置センサの2回微分値を用いることもできる。かかる加速度センサ110は、重力方向の検出値の振動に基づいて歩数計として用いることもできる。
【0042】
また、後述するように、本実施形態では、重力の反対方向の加速度を特定しなくてはならないので、加速度センサ110の少なくとも1つの検出軸が重力方向となるように、楽曲再生装置100を人に装着させることが望ましい。加速度センサ110は、重力を検出できる場合、電力が供給されている間、検出値を平均化しその平均検出値を重力方向の検出値(1G)と見なして、重力の反対方向の検出値を特定することができる。さらに、加速度センサ110は、検出した検出値が重力の反対方向を示しているときにそのことを示す識別子を検出値に関連付ける。
【0043】
加速度センサ110はXYZの3軸で構成することもできるが、1軸のみで構成することもできる。この場合、その1軸を重力方向に合わせることで、人の動きを検出するのに必要な重力の反対方向の加速度を確実に検出すると共に、水平方向の不要な加速度を排除することが可能となる。
【0044】
楽曲データ取得部112は、CD(Compact Disk)プレーヤ、カセットプレーヤやその他の記憶媒体から楽曲データを取得し記憶部114に記憶する。かかる楽曲データとしては、MP3(MPeg audio layer 3)、AAC(Advanced Audio Coding)、WMA(Windows(登録商標) Media Audio)、ATRAC(Adaptive TRansform Acoustic Coding)等の技術を用いて音声圧縮されたデータを用いることができる。
【0045】
記憶部114は、RAM、フラッシュメモリ、HDD等で構成され、1または複数の楽曲データや、後述する中央制御部120が用いるプログラムを記憶する。
【0046】
シフトレジスタ116は、RAMで構成され、楽曲データの音圧の第1特異点(音圧が突出する点)および加速度センサ110の検出値の第2特異点(極値)を所定期間分一時的に保持する。そして、楽曲データの音圧や加速度センサ110の検出値が新たにシフトレジスタ116に入力されると最古の値を削除する、所謂FIFO(First-In First-Out)として機能する。かかる構成により、直前の所定期間内の第1特異点または第2特異点を容易に抽出することができる。
【0047】
楽曲出力部118は、記憶部114に記憶された楽曲データ、または本実施形態により生成された楽曲データを楽曲信号に変換しスピーカ122またはヘッドフォン124に出力させる。
【0048】
中央制御部120は、中央処理装置(CPU)を含む半導体集積回路で構成され、記憶部114やその他の回路と協働して楽曲再生装置100全体を管理および制御する。また、中央制御部120は、第1特異点抽出部130、第1拍生成部132、楽曲分離部134、第2特異点抽出部136、第2拍生成部138、第1拍変更部140、楽曲伸縮部142、楽曲再配置部144として機能する。
【0049】
第1特異点抽出部130は、記憶部114に記憶された楽曲データを時系列に読み出し、その楽曲データの音圧が突出した点を第1特異点として、その時間情報と音圧をシフトレジスタ116に保持する。このとき、第1特異点抽出部130は、第1特異点となる音圧が低域周波数成分にあたる場合、その旨を示す識別子を第1特異点に関連付ける。
【0050】
楽曲データの音圧(または振幅)が突出する第1特異点はリズムを刻む拍として受け入れやすい妥当な点である。本実施形態では、かかる第1特異点のうち、周期性を有しかつその周期が安定している、第1特異点同士で形成される周期の頻度が高い拍を第1拍情報とすることで、人は、楽曲の心地よい安定したリズムを通じて快適な運動を遂行することが可能となる。また、ここでは、第1特異点の導出に楽曲データの音圧を用いているが、楽曲データの振幅の二乗値や、所定区間における振幅の二乗の積分値を用いることもできる。
【0051】
図2は、第1特異点抽出部130によって抽出された第1特異点のシフトレジスタ116への保持状態を示した説明図である。図2では、横軸が時間、縦軸が音圧の絶対値を示す。第1特異点抽出部130は、順次楽曲データを読み出す。図2(a)はこのようにして読み出された楽曲データを示している。特異点抽出部130は、今回読み出した音圧列168の突出点170を抽出し、その突出点170の音圧が、図2(b)に示すようなシフトレジスタ116に既に保持されている第1特異点の最大値(直前の所定期間内における楽曲データの最大音圧)172の所定率、例えば50%(図2中破線で示す)より大きいか否かを判定する。突出点が所定率以下であった場合、第1特異点抽出部130は、突出点を第1特異点として考慮しない。即ち、所定率以下の音圧はシフトレジスタ116には残されない。こうしてシフトレジスタ116には図2(b)に黒丸で示したような所定率より大きな音圧の突出点174のみが第1特異点として所定期間分保持される。
【0052】
このように所定率以下の音圧を考慮しないのは、運動中に聴く楽曲ではペースメーカとしての高い音圧による拍が重要であり、最大音圧の所定率以下の音圧は却ってリズミカルな拍を乱すこととなるからである。第1特異点抽出部130では、このような相対的に低い音圧を考慮しないことで、安定した拍の抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。
【0053】
第1拍生成部132は、シフトレジスタ116に保持された所定数の第1特異点の周期性を判断、ここでは、複数の第1特異点同士で形成される周期のうち最も頻度の高い周期を導出して、その周期に相当する(一致する)楽曲データ(原曲)の拍を検出し、その拍の位置を示す第1拍情報を生成する。かかる「拍」は、等しい間隔で打たれる基本的なリズムの一つ一つの時間単位を示す。また、所定数は、後述する自己相関やフーリエ変換を実行するために十分な数であるが、その周期性に応じて必要なサンプル数も変化する。
【0054】
図3は、第1拍生成部132による拍の検出を説明するための説明図である。第1拍生成部132は、シフトレジスタ116に第1特異点が新たに保持されるか、または所定時間毎に、図2(b)に示されたシフトレジスタ116に保持された所定数(所定期間分)の第1特異点の自己相関またはフーリエ変換を通じて、最も頻度の高い周期を導出する。このように、楽曲データの拍の変化を第1特異点の抽出毎または所定時間毎に把握し、その時々における最適な第1拍情報を生成することで、楽曲データの拍が不安定であっても、人の動きへの追従性を向上することが可能となる。
【0055】
そして、周期が導出されたら、第1拍生成部132は、前回拍とされた第1特異点180から導出された周期182またはその整数倍離れた時点184に拍が存在するかどうか判断する。かかる判断を、自己相関を用いて行う場合、例えば相関値が0.6(0.6〜0.8から任意に設定)〜1.0のときに拍とすることとする。
【0056】
例えば図3においては、新たに抽出された第1特異点186は導出された周期182との相関値が低い、即ち時点184と離れているので拍とはならず、次の第1特異点188は相関値が高い、即ち時点184に近いので拍となる。本実施形態では、このように相関が高い第1特異点(例えば、180、188)のみが拍とされる(図3中白丸で示す。)。拍の導出は、上述したように第1特異点の抽出毎、または所定時間毎に行われるので、検出された拍同士は、ある程度周期性を有するが等間隔になるとは限らない。また、導出した周期との相関値が高くなる第1特異点がない場合、時点190のように拍がない部分も生じる。
【0057】
第1拍生成部132は、このようにして検出された拍の位置をリスト化し、第1拍情報を生成する。
【0058】
図4は、第1拍情報を説明するための説明図である。ここでは、第1拍生成部132によって導出された、図3において白丸で示された拍が時系列に並べられ、拍毎に、拍位置情報と時間情報とが関連付けられている。ここでは、BPM(Beats Per Minute)が120程度のテンポになっているので、1拍の差分が約0.5秒となる。また、3拍目および7拍目に相当する拍が存在しなかったので、図4の第1拍情報では3拍目と7拍目に対応するレコードが無く、拍が不連続になっている。
【0059】
また、第1拍生成部132は、楽曲データの低域周波数成分の音圧に1以上の重み付けを行ってから第1特異点を複数抽出してもよい。
【0060】
図5は、低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。例えば、第1特異点抽出部130が第1特異点を抽出する時点でその音圧が低域周波数成分にあたると判断した場合、即ち、音圧が低域周波数成分である旨の識別子が第1特異点に関連付けられている場合、図5に示したように、その第1特異点192のみ、例えば1.2倍といった重み付けを行う。
【0061】
楽曲データには幅広い周波数成分の音圧が含まれる。しかし、音圧の低域周波数成分には十分な延びとパワーがあり、ダイナミックなリズム感が表現できるのでペースメーカとしては低域周波数成分の音圧が適している。従って、本実施形態では、このような低域周波数成分の音圧からなる第1特異点に重み付けを行い抽出し易くすることで、低域周波数成分の音圧のリズムが安定した楽曲データを形成することができる。
【0062】
また、第1拍生成部132は、上述した楽曲データの低域周波数成分の音圧に直接重み付けを行う代わりに、抽出した複数の第1特異点の音圧を一旦等しくし、複数の第1特異点のうち低域周波数成分の第1特異点に1以上の重み付けを行って第1拍情報を生成してもよい。
【0063】
図6は、第1特異点を一旦等しくして低域周波数成分の音圧に重み付けを行った場合を説明するための説明図である。図6では、横軸が時間、縦軸が重み付けを示す。楽曲データの最大音圧の所定率以下の音圧を排除した後、残っているすべての第1特異点は、拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき音圧もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。そこで、第1特異点抽出部130が第1特異点を抽出すると、その音圧の値を図6(a)に示すように、すべて等しい所定値、例えば1.0でシフトレジスタ116に保持する。こうして、第1特異点から振幅情報を排除し、周期にのみ着目することができる。
【0064】
そして、第1拍生成部132は、その第1特異点の音圧が低域周波数成分にあたる場合にのみ重み付け(例えば1.2倍)を行う。従って、重み付けを行った後のシフトレジスタ116への保持状態は図6(b)のようになる。
【0065】
図6(b)のように低域周波数成分のみ重み付けされた状態で並置された第1特異点同士の自己相関をとると、例えば図6(c)に示したように隣接する低域周波数成分の第1特異点と重なるところで相関値が高くなるので低域周波数成分の音圧が拍として認識され易くなる。
【0066】
かかる、第1特異点の音圧を一旦等しくして周期以外の振幅情報等を排除し、その後で低域周波数成分の音圧のみ重み付けを行う構成により、第1拍生成部132は、周期情報と低域周波数成分とがバランスよく考慮された第1拍情報を生成することができる。
【0067】
楽曲分離部134は、第1拍生成部132が生成した第1拍情報に基づいて楽曲データを拍毎に分離する。
【0068】
図7は、楽曲分離部134による楽曲データの分離を説明するための説明図である。楽曲分離部134は、原曲となる楽曲データ194と第1拍生成部132が生成した第1拍情報が示す拍196との時間軸を合わせ、拍196の位置で楽曲データ194を分離する。上述したように拍196は等間隔になるとは限らないので、分離された楽曲データの時間長も等しくなるとは限らない。
【0069】
第2特異点抽出部136は、加速度センサ110に検出された検出値を取得し、その検出値の微分値の符号が反転する点である極値(極大値および極小値)を第2特異点として、その時間情報と検出値をシフトレジスタ116に保持する。本実施形態では、かかる第2特異点のうち、周期性を有しかつその周期が安定している、第2特異点同士で形成される周期の頻度が高い拍を第2拍情報とすることで、人は、快適な運動を遂行することが可能となる。また、第2特異点抽出部136によって抽出された第2特異点のシフトレジスタ116への保持状態は、第1特異点抽出部130の説明で用いた図2(b)と同様になるので、ここではその詳細な説明を省略する。
【0070】
このとき、第2特異点抽出部136は、シフトレジスタ116に既に保持されている第2特異点の最大値(直前の所定期間内における加速度センサの最大検出値)の所定率、例えば50%以下の検出値を、第2特異点として考慮しない。これは、楽曲データを追従させる対象は、人の比較的大きな動きであり、加速度センサ110の最大検出値の所定率以下の検出値(絶対値)は却ってリズミカルな拍を乱すこととなるからである。ここでは、このような相対的に低い加速度値を考慮しないことで、人の大きな動きの抽出精度を高め、ブレの無いより快適なリズムを形成することが可能となる。
【0071】
第2拍生成部138は、シフトレジスタ116に保持された所定数の第2特異点の周期性を判断、ここでは、複数の第2特異点同士で形成される周期(グルーブ)のうち最も頻度の高い周期を導出して、その周期に相当する(一致する)拍を検出し、その拍の位置を示す第1拍情報を生成する。
【0072】
人の動き、特にステップ(歩調、足取り)における着地時には速度が急激に変化し、加速度は極値をとる。第2拍生成部138では、運動におけるリズムとして適当なステップを第2拍情報とすることで、人が緩急のある運動を遂行した場合であってもそのステップに対応した拍に楽曲データを追従させることができ、人は安全かつ快適な運動を遂行することが可能となる。
【0073】
かかる第2拍生成部138の第2拍情報の生成は、その対象となる第2特異点が楽曲データの音圧ではなく、加速度センサ110の検出値というだけで、他の処理は第1拍生成部132と等しいのでここではその詳細な説明を省略する。
【0074】
また、第2拍生成部138は、図5を用いて説明した第1拍生成部132同様、重力の反対方向の検出値に1以上の重み付けを行ってから第2特異点を複数抽出する。このとき、第2特異点抽出部136が第2特異点を抽出する時点でその検出値が重力の反対方向の検出値にあたる場合、即ち、加速度センサ110によって検出値に重力の反対方向の成分である旨の識別子が関連付けられている場合、その第2特異点のみ例えば、1.2倍といった重み付けを行ってシフトレジスタ116への保持することとなり、第2拍生成部138は、そのように重み付けられた第2特異点を抽出する。
【0075】
上述したステップにおける着地時の加速度は重力の反対方向の成分として検出される。本実施形態では、このような重力の反対方向の成分に重み付けを行い抽出し易くすることで、ステップに適切に対応した第1拍情報を生成することが可能となる。
【0076】
また、第2拍生成部138は、重力の反対方向の検出値に直接重み付けを行う代わりに、図6を用いて説明した第1拍生成部132同様、抽出した複数の第2特異点の検出値を一旦等しくし、複数の第2特異点のうち重力の反対方向の第2特異点に1以上の重み付けを行って第2拍情報を生成してもよい。
【0077】
人の動きの加速度センサ110の最大検出値の所定率以下の検出値を排除した後、残っているすべての第2特異点は、拍を形成する候補としてとらえることができる。しかし、本来同一の周波数として認識すべき検出値もその振幅が相異すると周期性を判断する際の相関が高くならず周期的な拍と判断されない。ここでは、このような残った第2特異点の検出値を一旦等しくして周期以外の振幅情報等を排除し、その後で重力の反対方向に相当する検出値のみ重み付けを行っている。かかる構成により、第2拍生成部138は、周期情報と低域周波数成分とがバランスよく考慮された第2拍情報を生成することができる。
【0078】
第1拍変更部140は、第2拍生成部138が生成した第2拍情報が示す拍の位置に基づいて、第1拍生成部132が生成した第1拍情報が示す拍の位置を変更した変更第1拍情報を生成する。具体的に、第1拍変更部140は、第1拍情報の拍と第2拍情報の拍とを周期化し、周期化した第1拍情報の拍を、周期化した第2拍情報の拍に変位(転位)させる。
【0079】
図8、9、10は、第1拍変更部140による変更第1拍情報の生成を説明するための説明図である。まず、第1拍変更部140は、第1拍情報が示す拍を周期化する。第1拍生成部132によって生成された第1拍情報は、図4に示したように、拍に相当する第1特異点が無く、3拍目や7拍目のように拍が欠落している場合がある。そこで、第1拍変更部140は、図8のように、欠落している拍の位置を推測し、第1仮想拍198を生成する。こうして第1拍情報が周期化される。かかる第1仮想拍198は、前後の拍の間隔を等分した時点としてもよいし、前拍の周期を単純に第1仮想拍198の周期として配置してもよい。
【0080】
続いて、第1拍変更部140は、第2拍情報が示す拍を周期化する。例えば、第2拍情報が図9(a)に示すように拍が並置されているとすると、第1拍変更部140は、第1拍情報のとき同様、図9(b)のように、欠落している拍の位置を推測し、第2仮想拍200を生成する。こうして第2拍情報が周期化される。
【0081】
最後に、第1拍変更部140は、図10(a)のように、周期化した第2拍情報の拍の位置に、周期化した第1拍情報の拍を変位比率1:1で変位させ、図10(b)のように、第1仮想拍198を排除する。こうして変更第1拍情報が形成される。
【0082】
かかる第1拍情報の拍を第2拍情報の拍に変位させる構成により、変動する第2拍情報に第1拍情報を迅速かつ適切に追従させることが可能となり、人は、自分のペースを維持した快適な運動を遂行することができる。
【0083】
また、ここでは、変位比率を1:1としたが、第1拍情報の拍の周期と第2拍情報の拍の周期との比率に基づいて、第1拍変更部140は、第1拍情報の拍から第2拍情報の拍への変位比率を決定してもよい。
【0084】
図11は、変位比率を説明するための説明図である。第1拍情報の拍の周期と第2拍情報の拍の周期との比率が整数倍になると、拍を整数個おきに変位させた方が、原曲の速度に近い場合がある。例えば、図11に示すように、第1拍情報の拍の周期と第2拍情報の拍の周期の比率が2:1となった場合にまで、変位比率1:1で変位させると、楽曲データの速度が単純に2倍になり、原曲の速度との隔たりが大きくなり人に違和感を与えてしまうことになる。
【0085】
ここでは、第1拍情報の拍の周期と第2拍情報の拍の周期との比率(図11では2:1)に応じて第1拍情報の拍から第2拍情報の拍への変位比率を1:2、即ち、周期化された第2拍情報の2拍毎に周期化された第1拍情報を変位させている。こうして、原曲の速度を大凡維持することができ、人は快適な運動を遂行することが可能となる。また、変位比率が2:1と逆になった場合には、第2拍情報が示す拍同士の中間に新たに拍を生成し、第1拍情報を変位させる。
【0086】
このような変位比率は、第1拍情報の拍の周期と第2拍情報の拍の周期との比率を四捨五入することで決定することができる。例えば、周期の比率が1.2:1の場合、変位比率を1:1とすべきであり、1.8:1の場合、変位比率を1:2にすべきである。しかし、変位比率をダイナミックに変更すると楽曲の速度が不本意に変更されるため却って人に違和感を与えかねない。従って、変位比率を判断するのに十分な時間分の周期を比較し、一度決定された変位比率は相当の周期比率の変動がない限り変更しないとしてもよい。また、変位比率を変更する場合であっても、その変更スレショルドにヒステリシスを設け、煩雑な変更を回避することができる。
【0087】
楽曲伸縮部142は、第1拍変更部140が生成した変更第1拍情報が示す拍の位置に合わせて楽曲分離部134が分離した楽曲データを伸縮する。
【0088】
図12は、楽曲伸縮部142による分離した楽曲データの伸縮を示した説明図である。図7のように分離した楽曲データを図10(b)に示した変更第1拍情報が示す拍の位置に合わせるべく時間方向に伸縮する。このとき、拍の長さを変えても音声の高さを変えないようにタイムストレッチ技術やその他様々な既存の技術を用いることができる。上述したように変位比率は、ほぼ一定に推移するが、楽曲データを分離する時点における第1拍情報の拍の間隔や変更第1拍情報の拍の間隔は等間隔とは限らないので、伸縮の比率は、それぞれ微妙に異なることとなる。
【0089】
一方、第1拍情報や第2拍情報の拍の周期を拍の所定倍以上長い任意の時間毎にのみ更新することとすれば、楽曲伸縮部142の伸縮比率は任意の時間毎に同じになるので、任意の時間毎の楽曲データを纏めて伸縮することもできる。
【0090】
楽曲再配置部144は、楽曲伸縮部142が伸縮した楽曲データを、変更第1拍情報が示す拍の位置に再配置する。
【0091】
図13は、楽曲再配置部144による伸縮した楽曲データの再配置を説明するための説明図である。ここでは、図10(b)に示した変更第1拍情報が示す拍に、その拍に対応して伸縮した楽曲データを配置し、楽曲データを連続させる。かかる楽曲データの連続点でノイズが生じないよう、楽曲再配置部144は、クロスフェードしながら再配置する。
【0092】
以上、説明した楽曲再生装置100により、人の動き(節目)に対応した拍のみならず、楽曲データの拍も検出しているので、その楽曲データの種類やテンポの安定性および拍情報の有無を問わず、人は所望する楽曲データの下で快適な運動を遂行できる。また、人の動きに対応した拍に基づいて楽曲データの拍の位置を随時変更することで、人が緩急のある運動を遂行した場合であってもその動きに楽曲データを追従させることができ、人は自身が主体となって自分のペースを維持し無理せず安全かつ快適な運動を遂行することが可能となる。
【0093】
(楽曲再生方法)
続いて、上述した楽曲再生装置100を用いた楽曲再生方法について説明する。図14、図15は、本実施形態にかかる楽曲再生方法の具体的な処理を示したフローチャートである。特に図14は、第1拍情報の生成処理と楽曲データの分離処理を、図15は、最終的な楽曲データの生成処理を示している。
【0094】
図14のフローチャートを参照すると、まず、第1特異点抽出部130は、記憶部114に記憶された楽曲データを時系列に読み出し、その音圧が突出した点を第1特異点とし、低域周波数成分以外の第1特異点の音圧をすべて等しい所定値(1.0)で、低域周波数成分の第1特異点の音圧を所定値にさらに重み付けした値(1.2)でシフトレジスタ116に保持する(S300)。第1拍生成部132は、このようにシフトレジスタ116に保持された所定数の第1特異点同士で形成される周期のうち最も頻度の高い周期を導出して(S302)、その周期に相当する楽曲データの拍を検出する(S304)。
【0095】
そして、楽曲データすべてについて拍の検出が完了したか判定され(S306)、完了していない場合(S306のNO)、第1特異点の抽出処理(S300)から繰り返す。完了していれば(S306のYES)、検出した拍の位置を示す第1拍情報を生成する(S308)。続いて、楽曲分離部134は、第1拍生成部132が生成した第1拍情報に基づいて楽曲データを拍毎に分離する(S310)。
【0096】
図15のフローチャートでは、人が当該楽曲再生装置100の再生が開始されると(S350のYES)、第2特異点抽出部136は、加速度センサ110に検出された検出値を取得し、その検出値の極値を第2特異点とし、その検出値をすべて等しい所定値で、重力の反対方向の検出値を所定値にさらに重み付けした値でシフトレジスタ116に保持する(S352)。
【0097】
第2拍生成部138は、シフトレジスタ116に保持された所定数の第2特異点同士で形成される周期のうち最も頻度の高い周期を導出して(S354)、その周期に相当する拍を検出し(S356)、その都度、拍の位置を示す第2拍情報を生成する(S358)。
【0098】
続いて、第1拍変更部140は、第2拍生成部138が生成した第2拍情報が示す拍の位置に基づいて、図12において第1拍生成部132が生成した第1拍情報が示す拍の位置を変更した変更第1拍情報を生成する(S360)。具体的に、第1拍変更部140は、第1拍情報の拍と第2拍情報の拍とを周期化し、周期化した第1拍情報の拍を、周期化した第2拍情報の拍に変位させる。
【0099】
そして、楽曲伸縮部142は、第1拍変更部140が生成した変更第1拍情報が示す拍の位置に合わせて楽曲分離部134が分離した楽曲データを伸縮し(S362)、楽曲再配置部144は、楽曲伸縮部142が伸縮した楽曲データを、変更第1拍情報が示す拍の位置に再配置する(S364)。最後に、楽曲出力部118は、再配置された楽曲データを楽曲信号に変換しスピーカ122またはヘッドフォン124に出力させる(S366)。こうした第2特異点抽出ステップ(S352)からの一連の動作を繰り返す。
【0100】
かかる楽曲再生方法によっても、ダンスやジョギングといった緩急のある運動であってもその拍に追従する楽曲データを生成し、人の所望する拍で快適な運動を遂行することが可能となる。
【0101】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0102】
なお、本明細書の楽曲再生方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【0103】
本発明は、ダンスやジョギングといったリズミカルな運動に楽曲を適合させ、運動を促進する楽曲再生装置および楽曲再生方法に利用することができる。
【符号の説明】
【0104】
100 …楽曲再生装置
110 …加速度センサ(動きセンサ)
132 …第1拍生成部
134 …楽曲分離部
138 …第2拍生成部
140 …第1拍変更部
142 …楽曲伸縮部
144 …楽曲再配置部
【特許請求の範囲】
【請求項1】
任意の楽曲データの拍を検出し、その拍の位置を示す第1拍情報を生成する第1拍生成部と、
前記第1拍情報に基づいて前記楽曲データを拍毎に分離する楽曲分離部と、
人の動きを検出する動きセンサと、
検出された動きに対応した拍の位置を示す第2拍情報を生成する第2拍生成部と、
前記第2拍情報が示す拍の位置に基づいて前記第1拍情報が示す拍の位置を変更した変更第1拍情報を生成する第1拍変更部と、
前記変更第1拍情報が示す拍の位置に合わせて前記分離された楽曲データを伸縮する楽曲伸縮部と、
前記伸縮された楽曲データを前記変更第1拍情報が示す拍の位置に再配置する楽曲再配置部と、
を備えることを特徴とする楽曲再生装置。
【請求項2】
前記第1拍生成部は、前記楽曲データの音圧が突出する第1特異点を複数抽出し、前記複数の第1特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第1拍情報を生成することを特徴とする請求項1に記載の楽曲再生装置。
【請求項3】
前記第1拍生成部は、直前の所定期間内における前記楽曲データの最大音圧の所定率以下の音圧を、第1特異点として考慮しないことを特徴とする請求項2に記載の楽曲再生装置。
【請求項4】
前記第1拍生成部は、前記楽曲データの低域周波数成分の音圧に1以上の重み付けを行ってから第1特異点を複数抽出することを特徴とする請求項2または3に記載の楽曲再生装置。
【請求項5】
前記第1拍生成部は、抽出した複数の第1特異点の音圧を一旦等しくし、前記複数の第1特異点のうち低域周波数成分の第1特異点に1以上の重み付けを行って第1拍情報を生成することを特徴とする請求項2または3に記載の楽曲再生装置。
【請求項6】
前記第1拍生成部は、前記第1特異点の抽出毎、または所定時間毎に第1拍情報を生成し直すことを特徴とする請求項2から5のいずれか1項に記載の楽曲再生装置。
【請求項7】
前記動きセンサは加速度を検出する加速度センサであり、
前記第2拍生成部は、前記加速度センサの検出値が極値となる第2特異点を複数抽出し、前記複数の第2特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第2拍情報を生成することを特徴とする請求項1から6のいずれか1項に記載の楽曲再生装置。
【請求項8】
前記第2拍生成部は、直前の所定期間内における前記加速度センサの最大検出値の所定率以下の検出値を、第2特異点として考慮しないことを特徴とする請求項7に記載の楽曲再生装置。
【請求項9】
前記第2拍生成部は、重力の反対方向の検出値に1以上の重み付けを行ってから第2特異点を複数抽出することを特徴とする請求項7または8に記載の楽曲再生装置。
【請求項10】
前記第2拍生成部は、抽出した複数の第2特異点の検出値を一旦等しくし、前記複数の第2特異点のうち重力の反対方向の第2特異点に1以上の重み付けを行って第2拍情報を生成することを特徴とする請求項7または8に記載の楽曲再生装置。
【請求項11】
前記第2拍生成部は、前記第2特異点の抽出毎、または所定時間毎に第2拍情報を生成し直すことを特徴とする請求項7から10のいずれか1項に記載の楽曲再生装置。
【請求項12】
前記第1拍変更部は、前記第1拍情報の拍と第2拍情報の拍とを周期化し、前記周期化した第1拍情報の拍を、前記周期化した第2拍情報の拍に変位させることを特徴とする請求項1から11のいずれか1項に記載の楽曲再生装置。
【請求項13】
前記第1拍変更部は、前記第1拍情報の拍から第2拍情報の拍への変位比率を、前記第1拍情報の拍の周期と前記第2拍情報の拍の周期との比率から決定することを特徴とする請求項12に記載の楽曲再生装置。
【請求項14】
任意の楽曲データの拍を検出し、その拍の位置を示す第1拍情報を生成し、
前記第1拍情報に基づいて前記楽曲データを拍毎に分離し、
人の動きを検出して、検出された動きに対応した拍の位置を示す第2拍情報を生成し、
前記第2拍情報が示す拍の位置に基づいて前記第1拍情報が示す拍の位置を変更した変更第1拍情報を生成し、
前記変更第1拍情報が示す拍の位置に合わせて前記分離された楽曲データを伸縮し、
前記伸縮された楽曲データを前記変更第1拍情報が示す拍の位置に再配置することを特徴とする楽曲再生方法。
【請求項1】
任意の楽曲データの拍を検出し、その拍の位置を示す第1拍情報を生成する第1拍生成部と、
前記第1拍情報に基づいて前記楽曲データを拍毎に分離する楽曲分離部と、
人の動きを検出する動きセンサと、
検出された動きに対応した拍の位置を示す第2拍情報を生成する第2拍生成部と、
前記第2拍情報が示す拍の位置に基づいて前記第1拍情報が示す拍の位置を変更した変更第1拍情報を生成する第1拍変更部と、
前記変更第1拍情報が示す拍の位置に合わせて前記分離された楽曲データを伸縮する楽曲伸縮部と、
前記伸縮された楽曲データを前記変更第1拍情報が示す拍の位置に再配置する楽曲再配置部と、
を備えることを特徴とする楽曲再生装置。
【請求項2】
前記第1拍生成部は、前記楽曲データの音圧が突出する第1特異点を複数抽出し、前記複数の第1特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第1拍情報を生成することを特徴とする請求項1に記載の楽曲再生装置。
【請求項3】
前記第1拍生成部は、直前の所定期間内における前記楽曲データの最大音圧の所定率以下の音圧を、第1特異点として考慮しないことを特徴とする請求項2に記載の楽曲再生装置。
【請求項4】
前記第1拍生成部は、前記楽曲データの低域周波数成分の音圧に1以上の重み付けを行ってから第1特異点を複数抽出することを特徴とする請求項2または3に記載の楽曲再生装置。
【請求項5】
前記第1拍生成部は、抽出した複数の第1特異点の音圧を一旦等しくし、前記複数の第1特異点のうち低域周波数成分の第1特異点に1以上の重み付けを行って第1拍情報を生成することを特徴とする請求項2または3に記載の楽曲再生装置。
【請求項6】
前記第1拍生成部は、前記第1特異点の抽出毎、または所定時間毎に第1拍情報を生成し直すことを特徴とする請求項2から5のいずれか1項に記載の楽曲再生装置。
【請求項7】
前記動きセンサは加速度を検出する加速度センサであり、
前記第2拍生成部は、前記加速度センサの検出値が極値となる第2特異点を複数抽出し、前記複数の第2特異点同士で形成される周期のうち最も頻度の高い周期に相当する拍に基づいて第2拍情報を生成することを特徴とする請求項1から6のいずれか1項に記載の楽曲再生装置。
【請求項8】
前記第2拍生成部は、直前の所定期間内における前記加速度センサの最大検出値の所定率以下の検出値を、第2特異点として考慮しないことを特徴とする請求項7に記載の楽曲再生装置。
【請求項9】
前記第2拍生成部は、重力の反対方向の検出値に1以上の重み付けを行ってから第2特異点を複数抽出することを特徴とする請求項7または8に記載の楽曲再生装置。
【請求項10】
前記第2拍生成部は、抽出した複数の第2特異点の検出値を一旦等しくし、前記複数の第2特異点のうち重力の反対方向の第2特異点に1以上の重み付けを行って第2拍情報を生成することを特徴とする請求項7または8に記載の楽曲再生装置。
【請求項11】
前記第2拍生成部は、前記第2特異点の抽出毎、または所定時間毎に第2拍情報を生成し直すことを特徴とする請求項7から10のいずれか1項に記載の楽曲再生装置。
【請求項12】
前記第1拍変更部は、前記第1拍情報の拍と第2拍情報の拍とを周期化し、前記周期化した第1拍情報の拍を、前記周期化した第2拍情報の拍に変位させることを特徴とする請求項1から11のいずれか1項に記載の楽曲再生装置。
【請求項13】
前記第1拍変更部は、前記第1拍情報の拍から第2拍情報の拍への変位比率を、前記第1拍情報の拍の周期と前記第2拍情報の拍の周期との比率から決定することを特徴とする請求項12に記載の楽曲再生装置。
【請求項14】
任意の楽曲データの拍を検出し、その拍の位置を示す第1拍情報を生成し、
前記第1拍情報に基づいて前記楽曲データを拍毎に分離し、
人の動きを検出して、検出された動きに対応した拍の位置を示す第2拍情報を生成し、
前記第2拍情報が示す拍の位置に基づいて前記第1拍情報が示す拍の位置を変更した変更第1拍情報を生成し、
前記変更第1拍情報が示す拍の位置に合わせて前記分離された楽曲データを伸縮し、
前記伸縮された楽曲データを前記変更第1拍情報が示す拍の位置に再配置することを特徴とする楽曲再生方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2010−230770(P2010−230770A)
【公開日】平成22年10月14日(2010.10.14)
【国際特許分類】
【出願番号】特願2009−75652(P2009−75652)
【出願日】平成21年3月26日(2009.3.26)
【出願人】(000004329)日本ビクター株式会社 (3,896)
【Fターム(参考)】
【公開日】平成22年10月14日(2010.10.14)
【国際特許分類】
【出願日】平成21年3月26日(2009.3.26)
【出願人】(000004329)日本ビクター株式会社 (3,896)
【Fターム(参考)】
[ Back to top ]