信号処理装置
【課題】 ピッチ変換やテンポ変換に伴うアタックタイミングのずれを少なくする。
【解決手段】 再生基準位置更新部31は、リングバッファ1の書込アドレスに追従する再生基準位置を発生する。読出制御部32Aは、再生基準位置と異なる勾配での変化とその逆方向へのジャンプを周期的に繰り返す互いに位相がずれた第1および第2の変調再生位置を発生し、これらに対応した2系統のオーディオ信号をリングバッファ1から再生し、そのクロスフェードを信号合成部35Aに行わせる。また、読出制御部32Aの軌道修正部323は、アタック検出に応じて、再生基準位置がリングバッファ1のアタック部の記憶位置となるタイミングの近傍をアタック部の目標再生タイミングとし、一方の変調再生位置の軌道が目標再生タイミングにおいて再生基準位置の軌道とクロスするように軌道修正し、目標再生タイミングの近傍ではクロスフェード処理を行わせない。
【解決手段】 再生基準位置更新部31は、リングバッファ1の書込アドレスに追従する再生基準位置を発生する。読出制御部32Aは、再生基準位置と異なる勾配での変化とその逆方向へのジャンプを周期的に繰り返す互いに位相がずれた第1および第2の変調再生位置を発生し、これらに対応した2系統のオーディオ信号をリングバッファ1から再生し、そのクロスフェードを信号合成部35Aに行わせる。また、読出制御部32Aの軌道修正部323は、アタック検出に応じて、再生基準位置がリングバッファ1のアタック部の記憶位置となるタイミングの近傍をアタック部の目標再生タイミングとし、一方の変調再生位置の軌道が目標再生タイミングにおいて再生基準位置の軌道とクロスするように軌道修正し、目標再生タイミングの近傍ではクロスフェード処理を行わせない。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、オーディオ信号のピッチ変換またはテンポ変換を行う機能を備えた信号処理装置に関する。
【背景技術】
【0002】
この種の信号処理装置として、時間軸の圧縮/伸張とクロスフェードとを組み合わせてオーディオ信号のピッチ変換を行うディレイモジュレーション方式の信号処理装置がある。図12は、このディレイモジュレーション方式の信号処理装置の構成例を示すブロック図である。この信号処理装置において、リングバッファ1は、RAM等により実現される記憶手段であり、処理対象であるオーディオ信号のサンプル列を記憶するのに用いられる。書込部2は、処理対象であるオーディオ信号のサンプルを順次受け取り、リングバッファ1に対する書込アドレスを一定方向に順次変化させつつ、受け取ったオーディオ信号のサンプルをリングバッファ1に順次書き込む。この書込部2によるリングバッファ1へのサンプル列の書き込みは巡回的に行われる。すなわち、書込部2は、例えば書込アドレスを順次インクリメントしつつサンプルのリングバッファ1への書き込みを行い、リングバッファ1の最後のアドレスへの書き込みを終えた後は、リングバッファ1の最初のアドレスに戻ってサンプルの書き込みを行う。
【0003】
再生部3は、このようにしてリングバッファ1に書き込まれるオーディオ信号のサンプル列を書き込み速度とは異なる読み出し速度でリングバッファ1から読み出すことによりピッチ変換のなされたオーディオ信号のサンプル列を出力する手段である。この再生部3は、再生基準位置更新部31と、読出制御部32と、補間部33および34と、信号合成部35とを有する。
【0004】
再生基準位置更新部31は、リングバッファ1の書込アドレスに対して所定アドレスだけ遅れて追従するように再生基準位置BAを更新する手段である。また、読出制御部32は、再生基準位置BAに基づき、変調再生位置MA1およびMA2を生成し、これらの変調再生位置MA1およびMA2に基づき、リングバッファ1に対する読出アドレスを生成する手段である。ここで、変調再生位置MA1およびMA2は、一般的には整数にはならず、整数部と小数部とからなる実数となる。そこで、読出制御部32は、変調再生位置MA1およびMA2の各々に基づき、変調再生位置MA1およびMA2の各々に対応したサンプルの前後所定個数のサンプルの読出アドレス(整数)を各々生成し、各読出アドレスに対応したサンプルから変調再生位置MA1およびMA2に対応したサンプルを算出する補間処理を補間部33および34に実行させるのである。
【0005】
図13(a)は、ピッチ変換比rが1より大きい場合における再生基準位置BA、変調再生位置MA1およびMA2の関係を例示している。ここで、ピッチ変換比rは、リングバッファ1に書き込まれるオーディオ信号のピッチに対するピッチ変換後のオーディオ信号のピッチの比である。ピッチ変換比rが1より大きい場合、読出制御部32は、図13(a)に示すように、再生基準位置BAの時間勾配である第1の時間勾配よりも大きな第2の時間勾配(具体的には第1の時間勾配のr倍の時間勾配)で所定値だけ上昇した後、現在位置から再生基準位置BAを挟んで反対側の方向(すなわち、マイナス方向)に所定値だけジャンプする挙動を周期的に繰り返すように変調再生位置MA1を更新する。また、読出制御部32は、変調再生位置MA1に対して半周期だけ位相がずれた状態で第2の時間勾配での変化とジャンプを周期的に繰り返すように変調再生位置MA2を更新する。具体的には、読出制御部32は、変調再生位置MA1のジャンプが発生する各タイミング間の中央のタイミングにおいて変調再生位置MA2をジャンプさせる。
【0006】
図13(b)は、ピッチ変換比rが1より小さく、処理対象であるオーディオ信号のピッチを現状よりも低いピッチに変換する場合における再生基準位置BA、変調再生位置MA1およびMA2の関係を例示している。この場合も、読出制御部32は、ジャンプの方向が逆になる点を除き、基本的に図13(a)の場合と同様な方法により変調再生位置MA1およびMA2を生成する。
【0007】
そして、読出制御部32は、変調再生位置MA1の前後の所定個数のサンプリング点に対応した各サンプルの読出アドレスをリングバッファ1に与えて、それらのサンプルをリングバッファ1から読み出し、それらのサンプルを用いて変調再生位置MA1に対応したサンプルXMA1を求める補間処理を補間部33に実行させる。また、読出制御部32は、変調再生位置MA2の前後の所定個数のサンプリング点に対応した各サンプルの読出アドレスをリングバッファ1に与えて、それらのサンプルをリングバッファ1から読み出し、それらのサンプルを用いて変調再生位置MA2に対応したサンプルXMA2を求める補間処理を補間部34に実行させる。そして、信号合成部35は、サンプルXMA1およびXMA2を用いたクロスフェード処理を実行することにより、出力オーディオ信号のサンプルYを生成する。
【0008】
図14(a)および(b)は、ピッチ変換比rが1より大きい場合および1より小さい場合の各場合において行われるクロスフェード処理の内容を示す図である。この図14(a)および(b)において、横軸は再生基準位置BAである。この再生基準位置BAは、時間経過に対して単調に変化する。従って、横軸は時間軸を兼ねている。
【0009】
クロスフェード処理では、「0」〜「1」の範囲の値をとりうる係数C1およびC2をサンプルXMA1およびXMA2に乗算し、乗算結果を加算することにより出力オーディオ信号のサンプルYを生成する。係数C1およびC2は、両者の加算結果が1となるように定めてもよく、両者の2乗の和が1となるように定めてもよい。図14(a)および(b)に示すように、サンプルXMA1に乗算される係数C1は、変調再生位置MA1のジャンプが発生するタイミングにおいて最小値「0」となり、変調再生位置MA1が再生基準位置BAと交差するタイミングにおいて最大値「1」となる正弦波状の周期波形をなす。また、サンプルXMA2に乗算される係数C2は、変調再生位置MA2のジャンプが発生するタイミングにおいて最小値「0」となり、変調再生位置MA2が再生基準位置BAと交差するタイミングにおいて最大値「1」となる正弦波状の周期波形をなす。このように互いに半周期だけ位相がずれた周期的な波形の係数C1およびC2を用いてクロスフェード処理を行うのは、変調再生位置MA1がジャンプすることによりサンプルXMA1の列に発生する波形の不連続、変調再生位置MA2がジャンプすることによりサンプルXMA2の列に発生する波形の不連続が、出力オーディオ信号に現われるのを防止するためである。
【0010】
以上の構成によれば、リングバッファ1に対する書き込み速度のr倍の時間勾配で補間部33および34からサンプルXMA1およびXMA2の各サンプル列が再生される。このサンプルXMA1およびXMA2の各サンプル列は、元のオーディオ信号のr倍のピッチを有するサンプル列となる。また、出力オーディオ信号のサンプル列は、サンプルXMA1およびXMA2の各サンプル列にクロスフェード処理を施すことにより得られるので、この出力オーディオ信号のサンプル列も、元のオーディオ信号のr倍のピッチを有するサンプル列となる。
【0011】
さて、このようなクロスフェードを利用してピッチ変換を行う信号処理装置には、アタック部を持ったオーディオ信号のピッチ変換を行った場合に、出力オーディオ信号にアタック部が複数回重複して現われるという問題があった。以下、図15を参照し、この問題について説明する。
【0012】
図15は、時間経過に伴う再生基準位置BA、変調再生位置MA1およびMA2の変化の様子を例示するものである。この図15において、横軸は時間軸、縦軸はリングバッファ1のアドレスを示す軸である。
【0013】
図15に示す例では、リングバッファ1におけるアドレスApにオーディオ信号のアタック部のサンプルが記憶されている。そして、変調再生位置MA2が上昇してアドレスApを横切るタイミングt1と、その後、変調再生位置MA1が上昇してアドレスApを横切るタイミングt2と、変調再生位置MA2が下方にジャンプした後、上昇してアドレスApを横切るタイミングt3の3種類のタイミングにおいて、リングバッファ1からオーディオ信号のアタック部のサンプルが読み出される。このため、出力オーディオ信号に相前後して3回に亙ってアタック部の波形が現われる。このような出力オーディオ信号は、相前後して複数回立ち上がるアタックを持ったトレモロ感のある音となって放音される。
【0014】
特許文献1は、このような不都合を回避するための技術として、リングバッファ1からアタック部の波形を再生する期間、クロスフェード処理を行わず、変調再生位置MA1またはMA2の一方に対応したサンプルをリングバッファ1に記憶されたサンプルから再生し、出力オーディオ信号のサンプルYとして出力する技術を開示している。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】特許第3847150号
【発明の概要】
【発明が解決しようとする課題】
【0016】
特許文献1に開示の技術によると、例えば前掲図15の例において、変調再生位置MA1が上昇してアタック部の所在するアドレスApを横切る過程において、クロスフェード処理を行わず、変調再生位置MA1に対応したサンプルを出力オーディオ信号のサンプルYとして再生することとなる。この場合、変調再生位置MA1がアタック部の所在するアドレスApを横切るタイミングt2のみにおいて出力オーディオ信号にアタック部の波形を出現させ、他のタイミングt1およびt3において出力オーディオ信号にアタック部の波形が現われるのを防止することができる。しかし、オーディオ信号のアタック部の理想的な再生タイミングは、再生基準位置BAがアドレスApとなるタイミングtaである。オーディオ信号のアタック部は、変調再生位置MA1およびMA2とは非同期に発生するので、一般的に、変調再生位置MA1またはMA2がアタック部の所在するアドレスApを横切るタイミング(図15ではタイミングt2)は、この理想的な再生タイミングtaからずれたものとなる。このため、従来の信号処理装置は、ピッチ変換に伴うアタックタイミングのずれが出力オーディオ信号に発生するという問題があった。具体的には、タン、タン、タン、とアタック性のリズム音を等間隔で演奏するような音をピッチ変換すると、等間隔音に聞こえない問題が発生した。
【0017】
以上、ピッチ変換を行う信号処理装置について説明したが、同様な問題はテンポ変換を行う信号処理装置にも発生する。例えばオーディオ信号を記録時とは異なる速度で再生することによりテンポ変換を行う装置では、テンポ変換に連動してオーディオ信号のピッチが変更される。すなわち、オーディオ信号のテンポをr倍した場合、オーディオ信号のピッチもr倍される。そこで、例えば上述の信号処理装置により、ピッチを変更することなく、テンポ変換を行う場合、オーディオ信号を記録時のr倍の速度でリングバッファ1に書き込み、再生基準位置BAを書込速度と同じ速度で変化させるとともに、ピッチを1/rにするための変調再生位置MA1およびMA2を発生するのである。この場合も、上述と同様なピッチ変換に伴うアタックタイミングのずれが生じる。
【0018】
この発明は以上のような事情に鑑みてなされたものであり、ピッチ変換に伴うアタックタイミングのずれを少なくすることができる信号処理装置を提供することを目的としている。
【課題を解決するための手段】
【0019】
この発明は、オーディオ信号を記憶するためのバッファと、前記バッファの書込アドレスを順次変化させつつオーディオ信号を前記バッファに書き込む書込手段と、前記バッファに書き込まれるオーディオ信号に現われるアタック部を検出するアタック検出手段と、前記バッファからオーディオ信号を読み出すことにより出力オーディオ信号を生成する再生手段とを具備し、前記再生手段は、前記バッファの書込アドレスの変化に対して所定値だけ遅れて追従するように再生基準位置を更新する再生基準位置更新手段と、前記再生基準位置の時間勾配である第1の時間勾配と異なる第2の時間勾配での変化と、該第2の時間勾配での変化方向と逆方向へのジャンプとを周期的に繰り返しつつ、全体的には前記第1の時間勾配で変化する第1の変調再生位置を生成するとともに、前記第1の変調再生位置に対して位相のずれた第2の変調再生位置を生成し、前記第1および第2の変調再生位置に対応した2系統のオーディオ信号を前記バッファに記憶されたオーディオ信号に基づいて再生し、前記2系統のオーディオ信号を用いて前記出力オーディオ信号を生成する出力オーディオ信号生成手段とを具備し、前記出力オーディオ信号生成手段は、前記2系統のオーディオ信号にクロスフェード処理を施すことにより前記出力オーディオ信号を生成する手段であって、前記第1の変調再生位置がジャンプするのに先立って前記第1の変調再生位置に対応したオーディオ信号のフェードアウトと前記第2の変調再生位置に対応したオーディオ信号のフェードインを行い、前記第2の変調再生位置がジャンプするのに先立って前記第2の変調再生位置に対応したオーディオ信号のフェードアウトと前記第1の変調再生位置に対応したオーディオ信号のフェードインを行う信号合成手段と、前記アタック検出手段がアタック部を検出するのに応じて、前記再生基準位置更新手段により更新される再生基準位置が前記バッファにおけるオーディオ信号のアタック部の記憶位置となるタイミングの近傍のタイミングをアタック部の目標再生タイミングとし、前記第1の変調再生位置および前記第2の変調再生位置のうち一方をアタック再生用変調再生位置とし、軌道修正後の前記アタック再生用変調再生位置の軌道が前記目標再生タイミングにおいて前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置の軌道修正を行うとともに、前記目標再生タイミングを途中に挟んだ所定期間に亙って、前記信号合成手段にクロフフェード処理を実行させず、前記アタック再生用変調再生位置に対応したオーディオ信号を前記出力オーディオ信号として出力させる軌道修正手段とを具備することを特徴とする信号処理装置を提供する。
【0020】
この発明によれば、再生基準位置更新手段により更新される再生基準位置がバッファにおけるオーディオ信号のアタック部の記憶位置となるタイミングの近傍の目標再生タイミングにおいて、アタック部のサンプルがバッファに記憶されたサンプルに基づいて生成される。従って、ピッチ変換に伴うアタックタイミングのずれを少なくすることができる。
【図面の簡単な説明】
【0021】
【図1】この発明の第1実施形態である信号処理装置の構成を示すブロック図である。
【図2】同実施形態における読出制御部32Aおよび信号合成部35Aの構成を示すブロック図である。
【図3】同実施形態の動作例を示すタイムチャートである。
【図4】シンバル音の波形を例示する図である。
【図5】ピアノ音の波形を例示する図である。
【図6】各種のアタック検出アルゴリズムにより検出されるアタック部の相違を説明する図である。
【図7】この発明の第3実施形態である信号処理装置の第1の動作例を示すタイムチャートである。
【図8】同信号処理装置の第2の動作例を示すタイムチャートである。
【図9】この発明の第4実施形態である信号処理装置の構成を示すブロック図である。
【図10】同信号処理装置における変調再生位置の変化の態様を示すタイムチャートである。
【図11】同信号処理装置におけるアタック検出時の変調再生位置の変化の態様を示すタイムチャートである。
【図12】従来の信号処理装置の構成例を示すブロック図である。
【図13】同信号処理装置の動作を示すタイムチャートである。
【図14】同信号処理装置の動作を示すタイムチャートである。
【図15】同信号処理装置において発生するアタック部の重複再生の問題を説明する図である。
【発明を実施するための形態】
【0022】
以下、図面を参照し、この発明の一実施形態について説明する。
<第1実施形態>
図1はこの発明の第1実施形態である信号処理装置の構成を示すブロック図である。この信号処理装置は、オーディオ信号のピッチ変換を行う装置であり、例えばカラオケ演奏用のオーディオ信号のキーコントロール(ピッチ変換)やテンポ変更に伴うピッチ変換に用いられる。なお、図1において、前掲図12に示された各部と対応する部分には共通の符号を付け、その説明を省略する。
【0023】
図1に示すように、本実施形態による信号処理装置において、リングバッファ1と、書込部2と、再生部3Aと、アタック検出部4と、制御部5とを有する。
【0024】
アタック検出部4は、リングバッファ1に書き込まれるオーディオ信号に現われるアタック部を検出する手段である。さらに詳述すると、アタック検出部4は、書込部2がリングバッファ1に対して発生する書込アドレスに対して所定値だけ遅れて追従する読出アドレスをリングバッファ1に供給し、その読出アドレスに対応したオーディオ信号のサンプルをリングバッファ1から読み出す。そして、アタック検出部4は、リングバッファ1から読み出したオーディオ信号のサンプル列に振幅が大きい区間または振幅上昇が急激な区間であるアタック部が現われたとき、アタック検出信号ATKを出力する。
【0025】
再生部3Aでは、前掲図12の再生部3の読出制御部32が読出制御部32Aに、信号合成部35が信号合成部35Aに置き換えられている。この再生部3Aにおいて、読出制御部32Aと、補間部33および34と、信号合成部35Aは、リングバッファ1に記憶されたオーディオ信号のサンプルに基づいて出力オーディオ信号のサンプルYを生成する出力オーディオ信号生成手段を構成している。
【0026】
図2は、読出制御部32Aおよび信号合成部35Aの構成を示すブロック図である。図2に示すように、読出制御部32Aは、変調再生位置生成部321と、読出アドレス生成部322と、軌道修正部323とを有する。また、信号合成部35Aは、補間部33および34から出力されるサンプルXMA1およびXMA2に係数C1およびC2を各々乗算する乗算器351および352と、乗算器351および352の各乗算結果を加算することにより出力オーディオ信号のサンプルYを生成する加算器353と、乗算器351および352に対して係数C1およびC2を各々供給する係数発生部354とを有する。この信号合成部35Aにおける係数発生部354は、読出制御部32Aの軌道修正部323による制御の下で動作する。
【0027】
読出制御部32Aにおいて、変調再生位置生成部321は、ピッチ変換比rと再生基準位置BAに基づいて、変調再生位置MA1およびMA2の更新を行う手段である。この変調再生位置生成部321は、アタック検出部4によってアタックが検出されない期間は、再生基準位置BAの時間勾配である第1の時間勾配に対してピッチ変換比rを乗算した第2の時間勾配での変化とこの変化方向と反対方向へのジャンプとを周期的に繰り返すように、変調再生位置MA1の更新を行う。また、変調再生位置生成部321は、変調再生位置MA2が、変調再生位置MA1と半周期ずれた位相で、第2の時間勾配での変化とこの変化方向と反対方向へのジャンプとを周期的に繰り返すように、変調再生位置MA2の更新を行う。このアタックが検出されない期間内における変調再生位置MA1およびMA2の挙動は、上述した従来技術(図12〜図14参照)と同様である。
【0028】
読出アドレス生成部322は、変調再生位置MA1およびMA2の各々の前後所定個数のサンプリング点の各サンプルの読出アドレスをリングバッファバッファ1に供給し、それらのサンプルをリングバッファ1から読み出し、補間部33および34に変調再生位置MA1およびMA2に対応したオーディオ信号のサンプルを生成するための補間処理を実行させる。
【0029】
軌道修正部323は、アタック検出部4によってアタック部が検出されない期間は、変調再生位置MA1がジャンプするのに先立って変調再生位置MA1に対応したオーディオ信号のフェードアウトと変調再生位置MA2に対応したオーディオ信号のフェードインを信号合成部35Aに行わせ、変調再生位置MA2がジャンプするのに先立って変調再生位置MA2に対応したオーディオ信号のフェードアウトと変調再生位置MA1に対応したオーディオ信号のフェードインを信号合成部35Aに行わせる。
【0030】
そして、軌道修正部323は、アタック検出部4がアタック部を検出するのに応じて、再生基準位置更新部31により更新される再生基準位置BAがリングバッファ1におけるオーディオ信号のアタック部の記憶位置となるタイミングをアタック部の目標再生タイミングとする。そして、軌道修正部323は、変調再生位置MA1およびMA2のうち一方をアタック再生用変調再生位置、他方を非アタック再生用変調再生位置とし、目標再生タイミングにおいて軌道修正後のアタック再生用変調再生位置の軌道が再生基準位置BAの軌道とクロスするように、アタック再生用変調再生位置の軌道修正を行い、目標再生タイミングを途中に挟んだ所定期間に亙って、信号合成部35Aにクロフフェード処理を実行させず、アタック再生用変調再生位置に対応したオーディオ信号を出力オーディオ信号として出力させる。本実施形態の特徴は、このアタック検出に応じて行われる軌道修正部323の処理内容にある。
【0031】
図3(a)〜(d)はピッチ変換比rが1より大きい場合における本実施形態の動作例を示すタイムチャートである。前掲図14と同様、図3(a)〜(d)の横軸は基準再生位置BAであり、この横軸は時間軸でもある。ここで、図3(a)および(b)は、仮に本実施形態におけるアタック検出に応じた制御を行わなかった場合における変調再生位置MA1およびMA2の波形と係数C1およびC2の波形を各々例示するものである。本実施形態では、図示のように、クロスフェード処理のために、正弦波状に変化する係数C1およびC2を使用し、係数C1およびC2の2乗和が常に1となるようにしている。また、図3(c)および(d)は、本実施形態におけるアタック検出に応じた制御を行った場合における変調再生位置MA1およびMA2の波形と係数C1およびC2の波形を各々例示するものである。
【0032】
アタック検出部4によりアタック部が検出されると、軌道修正部323は、再生基準位置BAがアタック部の記憶位置となるタイミングTxを求め、このタイミングTxをアタック部の目標再生タイミングとする。そして、目標再生タイミングTx以前の期間において、変調再生位置MA1およびMA2のうち目標再生タイミングTxにより近いタイミングにおいてジャンプする変調再生位置をアタック再生用変調再生位置、もう一方の変調再生位置を非アタック再生用変調再生位置とする。
【0033】
図3(a)に示す例では、軌道修正部323は、変調再生位置MA1をアタック再生用変調再生位置、変調再生位置MA2を非アタック再生用変調再生位置とする。そして、軌道修正部323は、次のようにアタック再生用変調再生位置および非アタック再生用変調再生位置の軌道修正と、係数発生部354に発生させる係数C1およびC2の制御を行う。
【0034】
(1)まず、軌道修正部323は、アタック検出直後の所定時間T0を利用して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを信号合成部35Aに実行させる。具体的には、図3(d)に示すように、アタック再生用変調再生位置MA1に対応したオーディオ信号のサンプルXMA1に乗算する係数C1を時間T0を要して「0」まで低下させ、非アタック再生用変調再生位置MA2に対応したオーディオ信号のサンプルXMA2に乗算する係数C2を時間T0を要して「1」まで上昇させる。
【0035】
(2)上記(1)のフェードアウトおよびフェードインが完了すると、軌道修正部323は、図3(c)に示すように、アタック再生用変調再生位置MA1を現在位置Mst1から目標位置Men1へジャンプさせる。その際、軌道修正部323は、図3(c)に示すように、ジャンプ後のアタック再生用変調再生位置MA1が第2の時間勾配で上昇していったときに、目標再生タイミングTxにおいてアタック再生用変調再生位置MA1の軌道が再生基準位置BAの軌道とクロスするように、アタック再生用変調再生位置MA1のジャンプ先の目標位置Men1を決定する。
【0036】
(3)次に軌道修正部323は、図3(d)に示すように、所定時間T1を要して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを信号合成部35Aに実行させる。この所定時間T1と上述した所定時間T0は、両者の和が、アタック検出信号ATKの発生タイミングから目標再生タイミングTxまでの所要時間の半分程度となるように決定されている。
【0037】
(4)このようにアタック再生用変調再生位置MA1の軌道修正を行い、かつ、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを行わせた後、軌道修正部323は、アタック再生用変調再生位置MA1に対応したオーディオ信号に対する係数C1を「1」に固定させ、非アタック再生用変調再生位置MA2に対応したオーディオ信号に対する係数C2を「0」に固定させる。
【0038】
この結果、信号合成部35Aではクロスフェード処理が行われず、アタック再生用変調再生位置MA1に対応したオーディオ信号のサンプルXMA1が出力オーディオ信号のサンプルYとして出力される。この間に、オーディオ信号におけるアタック部のサンプルがリングバッファ1から読み出され、このサンプルに基づいてアタック部のサンプルXMA1が補間部33により生成され、出力オーディオ信号のサンプルYとして出力される。
【0039】
ここで、アタック再生用変調再生位置MA1は、再生基準位置BAの示す位置がリングバッファ1におけるオーディオ信号のアタック部の記憶位置となる目標再生タイミングTxにおいて、再生基準位置BAと一致する。従って、仮にアタック再生用変調再生位置MA1を用いずに、再生基準位置BAを用いてリングバッファ1に対する読出アドレスを発生した場合におけるアタック部の再生タイミングと同じタイミングにおいてアタック部が再生される。
【0040】
(5)次に軌道修正部323は、目標再生タイミングTxから所定時間T2が経過したときに、図3(c)に示すように、非アタック再生用変調再生位置MA2を現在位置Mst2から目標位置Men2へジャンプさせる。その際、軌道修正部323は、軌道修正後のアタック再生用変調再生位置MA1がジャンプするタイミングにおいて、ジャンプ後の非アタック再生用変調再生位置MA2の軌道が再生基準位置BAの軌道とクロスするように、非アタック再生用変調再生位置MA2のジャンプ先の目標位置Men2を決定するとより良い。
【0041】
(6)このように非アタック再生用変調再生位置MA2をジャンプさせた後、軌道修正部323は、図3(d)に示すように、軌道修正後のアタック再生用変調再生位置MA1がジャンプするまでの所要時間T3を利用して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを行わせる。
これにより再生部3Aは、クロスフェード処理を利用した通常の再生動作に戻る。
【0042】
図示は省略したが、変調再生位置MA2がアタック再生用変調再生位置、変調再生位置MA1が非アタック再生用変調再生位置となる場合の動作も上述と同様である。また、ピッチ変換比rが1より小さい場合の動作も、以上説明したピッチ変換比rが1より大きい場合の動作と同様である。
【0043】
以上説明したように、本実施形態によれば、ピッチ変換の際、オーディオ信号のアタック部は、再生基準位置BAがリングバッファ1におけるアタック部の記憶位置となる目標再生タイミングTxにおいて再生されるので、ピッチ変換に伴うアタックタイミングのずれを低減することができる。また、本実施形態によれば、アタック部の再生時には、クロスフェードを行わないので、出力オーディオ信号にアタック部が重複して現われるのを防止することができる。また、本実施形態によれば、再生基準位置BAがアタック部の記憶位置となるアタック部の目標再生タイミングTxから所定時間以上前にクロスフェードを終了させて、アタック再生用変調再生位置に対応したオーディオ信号のみを出力オーディオ信号として出力させ、アタック部の目標再生タイミングTxから所定時間T2が経過した時点でクロスフェードを再開するようにしたので、楽音の特徴が現われるアタック波形を極力損なうことなく再生することができる。
【0044】
<第2実施形態>
次にこの発明の第2実施形態について説明する。上記第1実施形態において、軌道修正部323は、アタック検出部4がアタック部を検出したタイミングに基づいて、リングバッファ1におけるアタック部の記憶位置を求め、再生基準位置BAがアタック部の記憶位置となるタイミングをアタック部の目標再生タイミングTxとし、この目標再生タイミングTxに基づいてアタック再生用変調再生位置の軌道修正を行った。
【0045】
しかし、ピッチ変換の対象となる楽音波形には、例えば図4に示すシンバル音のように、アタック部が占めるアタック期間の短いものや、図5に示すピアノ音のように、アタック部が占めるアタック期間の長いものがある。また、アタック検出アルゴリズムにも各種のものがあり、例えば図6に示すように、音圧が僅かに高まったアタック開始直後のタイミングA1を検出するアルゴリズムや、アタック開始から少し時間が経ったタイミングA2を検出するアルゴリズムや、アタックが終了するタイミングA3を検出するものがある。
【0046】
従って、上記実施形態のような画一的なアタック再生用変調再生位置の軌道修正を行うと、ピッチ変換の対象であるオーディオ信号の楽器の種類やアタック検出アルゴリズムによっては、適切なタイミングからずれたタイミングでピッチ変換後の楽器音が再生される可能性がある。
【0047】
そこで、本実施形態では、例えばカラオケ装置に設けられた操作子の操作等に応じて、所望の方向および所望のオフセット量を指定できるように信号処理装置が構成されている。また、軌道修正部は、目標再生タイミングTxを、再生基準位置BAがリングバッファ1におけるアタック部の記憶位置となるタイミングから、操作子の操作等により指定された方向に指定されたオフセット量だけシフトさせるオフセット調整手段を有している。なお、カラオケ装置での使用の場合、楽曲データ(ジャンルや使用楽器データなどの情報)を用いてオフセット量を自動設定してもよい。あるいは楽曲データにオフセット量情報を持たせ、この楽曲データ中のオフセット量情報に従ってオフセット量の設定を行ってもよい。この場合、時系列的なオフセット量情報を楽曲データに持たせ、楽曲データとともに再生され、時々刻々と変化するオフセット量情報に従ってオフセット量の設定を繰り返すようにしてもよい。
【0048】
本実施形態によれば、楽器の種類やアタック検出アルゴリズムに合わせて、ピッチ変換後のオーディオ信号のアタック部の再生タイミングを最適化することができる。
なお、種類の異なる楽器の演奏音を示す複数種類のオーディオ信号のピッチ変換をチャネル毎に行うような装置に本発明を適用する場合、チャネル毎に、このような軌道修正後のアタック再生用変調再生位置をクロスさせる再生基準位置の目標位置に適用するオフセット量とシフトの方向を操作子の操作等により指定するようにしてもよい。
【0049】
<第3実施形態>
次に図7および図8を参照し、この発明の第3実施形態について説明する。上記第1実施形態において、ピッチ変換比rが大きくなると、変調再生位置MA1およびMA2の時間勾配が大きくなる。この場合、アタック部の再生に支障が出ないようにするために、アタック再生用変調再生位置に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトを行うための時間T1を短くする必要が生じる(前掲図3参照)。しかし、時間T1を短くして、フェードイン、フェードアウトを行うと、出力オーディオ信号の音質が劣化する問題が生じる。本実施形態は、この問題を解決するものである。
【0050】
本実施形態では、アタック検出部4の読出アドレスと再生基準位置BAとの間に変調再生位置MA1(MA2)の1周期相当のアドレス差を越える十分に大きなアドレス差が設けられている。
【0051】
図7に示す例では、変調再生位置MA1が再生基準位置BAよりも大きい期間T10内において、リングバッファ1に書き込まれたアタック部が検出されている。この検出されたアタック部は、アタック検出後の2回目の変調再生位置MA1のジャンプの後のタイミングTxにおいて再生されるべきものである。従って、このタイミングTxが目標再生タイミングとなる。そこで、軌道修正部323は、目標再生タイミングTxの直前にジャンプする変調再生位置MA1をアタック再生用変調再生位置、他方の変調再生位置MA2を非アタック再生用変調再生位置とする。ここで、図7に示す例では、アタック部の目標再生タイミングTxとその直前の変調再生位置MA1のジャンプタイミングとの間の時間が所定の閾値を越えている。
【0052】
そこで、軌道修正部323は、期間T10の1周期後の期間T20内に、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを開始させ(前掲図3の時間T0の始期を発生させ)、上記第1実施形態と同様な制御を行っている。
【0053】
この場合、目標再生タイミングTxとその直前の変調再生位置MA1のジャンプタイミングとの間の時間が十分に長いので、期間T20内にアタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを開始させても(時間T0)、その後、アタック再生用変調再生位置に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトを行うための時間T1を十分に長くすることができる。
【0054】
これに対し、図8に示す例では、アタック部の目標再生タイミングTxとその直前の変調再生位置MA1のジャンプタイミングとの間の時間が所定の閾値よりも短い。この場合、アタック検出が行われた期間T10の1周期後の期間T20内にアタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを開始させると、その後のアタック再生用変調再生位置に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトのための時間T1を十分な長さにすることが困難である。
【0055】
そこで、軌道修正部323は、次のようにしてアタック再生用変調再生位置MA1および非アタック再生用変調再生位置MA2の軌道修正と、係数C1およびC2の制御を行う。まず、軌道修正部323は、アタック部が検出された後、アタック再生用変調再生位置MA1がジャンプし、さらに図8に示す期間T15が経過して非アタック再生用変調再生位置MA2がジャンプするのを待つ。
【0056】
非アタック再生用変調再生位置MA2がジャンプした時点において、アタック再生用変調再生位置MA1に対応したオーディオ信号に乗算される係数C1は「1」、非アタック再生用変調再生位置MA2に対応したオーディオ信号に乗算される係数C2は「0」となっている。そこで、軌道修正部323は、所定時間T0を要して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと、非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを信号合成部35Aに実行させる。
【0057】
このフェードアウトおよびフェードインが完了すると、軌道修正部323は、アタック再生用変調再生位置MA1をジャンプさせる。その際、軌道修正部323は、目標再生タイミングTxにおいて、軌道修正後のアタック再生用変調再生位置MA1の軌道が基準再生位置BAとクロスするように、アタック再生用変調再生位置MA1のジャンプ先の位置を決定する。
【0058】
そして、軌道修正部323は、アタック再生用変調再生位置MA1のジャンプ後、所定時間T1を要して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと、非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを信号合成部35Aに実行させる。
以降の動作は上記第1実施形態と同様である。
【0059】
図8に示す例では、時間T0の始期を非アタック再生用変調再生位置MA2のジャンプタイミングまで早めているので、その後、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと、非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを実行するための時間T1の長さを十分な長さにすることができる。
【0060】
以上説明したように、本実施形態によれば、ピッチ変換比rが大きくなって、変調再生位置MA1およびMA2の時間勾配が大きくなる場合でも、出力オーディオ信号の音質の劣化を招くことなく、ピッチ変換に伴うアタックタイミングのずれを低減することができる。
【0061】
<第4実施形態>
図9はこの発明の第4実施形態である信号処理装置の構成を示すブロック図である。この信号処理装置では、上記第1実施形態による信号処理装置(図1)の再生部3Aが再生部3Bに置き換えられており、さらに基本周期検出部5が追加されている。そして、再生部3Bでは、上記第1実施形態における読出制御部32Aが読出制御部32Bに置き換えられている。
【0062】
この信号処理装置において、基本周期検出部5は、リングバッファ1に書き込まれるオーディオ信号の基本波成分の周期を検出する。読出制御部32Bは、上記第1実施形態の読出制御部32Aと同様、変調再生位置生成部321と、読出アドレス生成部322と、軌道修正部323とからなるものである(図2参照)。しかし、読出制御部32Bの変調再生位置生成部321は、図10に示すように、基本周期検出部5が検出したオーディオ信号の基本波成分の周期τのn倍(nは整数)の周期で、変調再生位置MA1およびMA2を変化させる。読出制御部32Bの軌道修正部323は、図11に示すように、アタック検出に応じて、アタック再生用変調再生位置(図11の例ではMA1)に対応したオーディオ信号のフェードアウトを行わせて、アタック再生用変調再生位置MA1を現在位置Mstから目的位置Menまでジャンプさせる際、目標位置Menを基本周期検出部5により検出された基本波成分の周期に対応した長さα(すなわち、基本波成分の一波長分のサンプル列が格納されるアドレスの幅)に基づいて決定する。具体的には、現在位置Mstから目標位置Menまでの距離の候補として、長さαの整数倍の長さ(m−1)α、mα、(m+1)α、…を幾つか想定し、それらの中から、ジャンプ後のアタック再生用変調再生位置MA1の軌道が再生基準位置BAの軌道とクロスするタイミングがアタック部の目標再生タイミングTxに最も近くなるものを選択することによりジャンプ先の目標位置Menを決定するのである。
【0063】
この態様によれば、アタック部の再生タイミングが理想的な再生タイミングから若干ずれるが、アタック部の近傍の区間が再生される間、クロスフェードされる2系統のオーディオ信号の位相を揃えることができるので、より自然な楽音を再生することができる。
【0064】
<他の実施形態>
以上、この発明の第1〜第4実施形態について説明したが、この発明には、それ以外にも他の実施形態が考えられる。例えば次の通りである。
【0065】
(1)上記各実施形態では、クロスフェード処理のために、正弦波状に変化する係数C1およびC2を使用し、係数C1およびC2の2乗和が常に1となるようにした。このような係数C1およびC2をクロスフェード処理に用いた場合、処理対象である2系統のオーディオ信号の波形が周期性を有しない場合でも、両オーディオ信号を滑らかに接続することができるという効果が得られる。しかし、このような係数C1およびC2をクロスフェード処理に用いると、処理対象であるオーディオ信号の波形に周期性がある場合に出力オーディオ信号のレベルが変動するという問題が生じる。そこで、係数C1およびC2の波形を他の波形に切り換えることができるように信号処理装置を構成してもよい。例えば処理対象であるオーディオ信号の周期性を解析する手段を設け、周期性がある旨の判断結果が得られた場合に、クロスフェード処理のための係数C1およびC2を三角波状に変化する係数C1およびC2に切り換え、係数C1およびC2の和が常に1となるようにしてもよい。このような係数C1およびC2をクロスフェード処理に使用すると、処理対象である2系統のオーディオ信号の波形が周期性を有する場合に両オーディオ信号を滑らかに接続することができる。
【0066】
(2)上記各実施形態ではピッチ変換を行う信号処理装置を挙げたが、この発明は、ピッチ変換を行わず、テンポ変換のみを行う信号処理装置にも勿論適用可能である。
【符号の説明】
【0067】
1…リングバッファ、2…書込部、3A,3B…再生部、4…アタック検出部、31…再生基準位置更新部、32A,32B…読出制御部、33,34…補間部、35A…信号合成部、321…変調再生位置生成部、322…読出アドレス生成部、323…軌道修正部、354…係数発生部、351,352…乗算器、353…加算器。
【技術分野】
【0001】
この発明は、オーディオ信号のピッチ変換またはテンポ変換を行う機能を備えた信号処理装置に関する。
【背景技術】
【0002】
この種の信号処理装置として、時間軸の圧縮/伸張とクロスフェードとを組み合わせてオーディオ信号のピッチ変換を行うディレイモジュレーション方式の信号処理装置がある。図12は、このディレイモジュレーション方式の信号処理装置の構成例を示すブロック図である。この信号処理装置において、リングバッファ1は、RAM等により実現される記憶手段であり、処理対象であるオーディオ信号のサンプル列を記憶するのに用いられる。書込部2は、処理対象であるオーディオ信号のサンプルを順次受け取り、リングバッファ1に対する書込アドレスを一定方向に順次変化させつつ、受け取ったオーディオ信号のサンプルをリングバッファ1に順次書き込む。この書込部2によるリングバッファ1へのサンプル列の書き込みは巡回的に行われる。すなわち、書込部2は、例えば書込アドレスを順次インクリメントしつつサンプルのリングバッファ1への書き込みを行い、リングバッファ1の最後のアドレスへの書き込みを終えた後は、リングバッファ1の最初のアドレスに戻ってサンプルの書き込みを行う。
【0003】
再生部3は、このようにしてリングバッファ1に書き込まれるオーディオ信号のサンプル列を書き込み速度とは異なる読み出し速度でリングバッファ1から読み出すことによりピッチ変換のなされたオーディオ信号のサンプル列を出力する手段である。この再生部3は、再生基準位置更新部31と、読出制御部32と、補間部33および34と、信号合成部35とを有する。
【0004】
再生基準位置更新部31は、リングバッファ1の書込アドレスに対して所定アドレスだけ遅れて追従するように再生基準位置BAを更新する手段である。また、読出制御部32は、再生基準位置BAに基づき、変調再生位置MA1およびMA2を生成し、これらの変調再生位置MA1およびMA2に基づき、リングバッファ1に対する読出アドレスを生成する手段である。ここで、変調再生位置MA1およびMA2は、一般的には整数にはならず、整数部と小数部とからなる実数となる。そこで、読出制御部32は、変調再生位置MA1およびMA2の各々に基づき、変調再生位置MA1およびMA2の各々に対応したサンプルの前後所定個数のサンプルの読出アドレス(整数)を各々生成し、各読出アドレスに対応したサンプルから変調再生位置MA1およびMA2に対応したサンプルを算出する補間処理を補間部33および34に実行させるのである。
【0005】
図13(a)は、ピッチ変換比rが1より大きい場合における再生基準位置BA、変調再生位置MA1およびMA2の関係を例示している。ここで、ピッチ変換比rは、リングバッファ1に書き込まれるオーディオ信号のピッチに対するピッチ変換後のオーディオ信号のピッチの比である。ピッチ変換比rが1より大きい場合、読出制御部32は、図13(a)に示すように、再生基準位置BAの時間勾配である第1の時間勾配よりも大きな第2の時間勾配(具体的には第1の時間勾配のr倍の時間勾配)で所定値だけ上昇した後、現在位置から再生基準位置BAを挟んで反対側の方向(すなわち、マイナス方向)に所定値だけジャンプする挙動を周期的に繰り返すように変調再生位置MA1を更新する。また、読出制御部32は、変調再生位置MA1に対して半周期だけ位相がずれた状態で第2の時間勾配での変化とジャンプを周期的に繰り返すように変調再生位置MA2を更新する。具体的には、読出制御部32は、変調再生位置MA1のジャンプが発生する各タイミング間の中央のタイミングにおいて変調再生位置MA2をジャンプさせる。
【0006】
図13(b)は、ピッチ変換比rが1より小さく、処理対象であるオーディオ信号のピッチを現状よりも低いピッチに変換する場合における再生基準位置BA、変調再生位置MA1およびMA2の関係を例示している。この場合も、読出制御部32は、ジャンプの方向が逆になる点を除き、基本的に図13(a)の場合と同様な方法により変調再生位置MA1およびMA2を生成する。
【0007】
そして、読出制御部32は、変調再生位置MA1の前後の所定個数のサンプリング点に対応した各サンプルの読出アドレスをリングバッファ1に与えて、それらのサンプルをリングバッファ1から読み出し、それらのサンプルを用いて変調再生位置MA1に対応したサンプルXMA1を求める補間処理を補間部33に実行させる。また、読出制御部32は、変調再生位置MA2の前後の所定個数のサンプリング点に対応した各サンプルの読出アドレスをリングバッファ1に与えて、それらのサンプルをリングバッファ1から読み出し、それらのサンプルを用いて変調再生位置MA2に対応したサンプルXMA2を求める補間処理を補間部34に実行させる。そして、信号合成部35は、サンプルXMA1およびXMA2を用いたクロスフェード処理を実行することにより、出力オーディオ信号のサンプルYを生成する。
【0008】
図14(a)および(b)は、ピッチ変換比rが1より大きい場合および1より小さい場合の各場合において行われるクロスフェード処理の内容を示す図である。この図14(a)および(b)において、横軸は再生基準位置BAである。この再生基準位置BAは、時間経過に対して単調に変化する。従って、横軸は時間軸を兼ねている。
【0009】
クロスフェード処理では、「0」〜「1」の範囲の値をとりうる係数C1およびC2をサンプルXMA1およびXMA2に乗算し、乗算結果を加算することにより出力オーディオ信号のサンプルYを生成する。係数C1およびC2は、両者の加算結果が1となるように定めてもよく、両者の2乗の和が1となるように定めてもよい。図14(a)および(b)に示すように、サンプルXMA1に乗算される係数C1は、変調再生位置MA1のジャンプが発生するタイミングにおいて最小値「0」となり、変調再生位置MA1が再生基準位置BAと交差するタイミングにおいて最大値「1」となる正弦波状の周期波形をなす。また、サンプルXMA2に乗算される係数C2は、変調再生位置MA2のジャンプが発生するタイミングにおいて最小値「0」となり、変調再生位置MA2が再生基準位置BAと交差するタイミングにおいて最大値「1」となる正弦波状の周期波形をなす。このように互いに半周期だけ位相がずれた周期的な波形の係数C1およびC2を用いてクロスフェード処理を行うのは、変調再生位置MA1がジャンプすることによりサンプルXMA1の列に発生する波形の不連続、変調再生位置MA2がジャンプすることによりサンプルXMA2の列に発生する波形の不連続が、出力オーディオ信号に現われるのを防止するためである。
【0010】
以上の構成によれば、リングバッファ1に対する書き込み速度のr倍の時間勾配で補間部33および34からサンプルXMA1およびXMA2の各サンプル列が再生される。このサンプルXMA1およびXMA2の各サンプル列は、元のオーディオ信号のr倍のピッチを有するサンプル列となる。また、出力オーディオ信号のサンプル列は、サンプルXMA1およびXMA2の各サンプル列にクロスフェード処理を施すことにより得られるので、この出力オーディオ信号のサンプル列も、元のオーディオ信号のr倍のピッチを有するサンプル列となる。
【0011】
さて、このようなクロスフェードを利用してピッチ変換を行う信号処理装置には、アタック部を持ったオーディオ信号のピッチ変換を行った場合に、出力オーディオ信号にアタック部が複数回重複して現われるという問題があった。以下、図15を参照し、この問題について説明する。
【0012】
図15は、時間経過に伴う再生基準位置BA、変調再生位置MA1およびMA2の変化の様子を例示するものである。この図15において、横軸は時間軸、縦軸はリングバッファ1のアドレスを示す軸である。
【0013】
図15に示す例では、リングバッファ1におけるアドレスApにオーディオ信号のアタック部のサンプルが記憶されている。そして、変調再生位置MA2が上昇してアドレスApを横切るタイミングt1と、その後、変調再生位置MA1が上昇してアドレスApを横切るタイミングt2と、変調再生位置MA2が下方にジャンプした後、上昇してアドレスApを横切るタイミングt3の3種類のタイミングにおいて、リングバッファ1からオーディオ信号のアタック部のサンプルが読み出される。このため、出力オーディオ信号に相前後して3回に亙ってアタック部の波形が現われる。このような出力オーディオ信号は、相前後して複数回立ち上がるアタックを持ったトレモロ感のある音となって放音される。
【0014】
特許文献1は、このような不都合を回避するための技術として、リングバッファ1からアタック部の波形を再生する期間、クロスフェード処理を行わず、変調再生位置MA1またはMA2の一方に対応したサンプルをリングバッファ1に記憶されたサンプルから再生し、出力オーディオ信号のサンプルYとして出力する技術を開示している。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】特許第3847150号
【発明の概要】
【発明が解決しようとする課題】
【0016】
特許文献1に開示の技術によると、例えば前掲図15の例において、変調再生位置MA1が上昇してアタック部の所在するアドレスApを横切る過程において、クロスフェード処理を行わず、変調再生位置MA1に対応したサンプルを出力オーディオ信号のサンプルYとして再生することとなる。この場合、変調再生位置MA1がアタック部の所在するアドレスApを横切るタイミングt2のみにおいて出力オーディオ信号にアタック部の波形を出現させ、他のタイミングt1およびt3において出力オーディオ信号にアタック部の波形が現われるのを防止することができる。しかし、オーディオ信号のアタック部の理想的な再生タイミングは、再生基準位置BAがアドレスApとなるタイミングtaである。オーディオ信号のアタック部は、変調再生位置MA1およびMA2とは非同期に発生するので、一般的に、変調再生位置MA1またはMA2がアタック部の所在するアドレスApを横切るタイミング(図15ではタイミングt2)は、この理想的な再生タイミングtaからずれたものとなる。このため、従来の信号処理装置は、ピッチ変換に伴うアタックタイミングのずれが出力オーディオ信号に発生するという問題があった。具体的には、タン、タン、タン、とアタック性のリズム音を等間隔で演奏するような音をピッチ変換すると、等間隔音に聞こえない問題が発生した。
【0017】
以上、ピッチ変換を行う信号処理装置について説明したが、同様な問題はテンポ変換を行う信号処理装置にも発生する。例えばオーディオ信号を記録時とは異なる速度で再生することによりテンポ変換を行う装置では、テンポ変換に連動してオーディオ信号のピッチが変更される。すなわち、オーディオ信号のテンポをr倍した場合、オーディオ信号のピッチもr倍される。そこで、例えば上述の信号処理装置により、ピッチを変更することなく、テンポ変換を行う場合、オーディオ信号を記録時のr倍の速度でリングバッファ1に書き込み、再生基準位置BAを書込速度と同じ速度で変化させるとともに、ピッチを1/rにするための変調再生位置MA1およびMA2を発生するのである。この場合も、上述と同様なピッチ変換に伴うアタックタイミングのずれが生じる。
【0018】
この発明は以上のような事情に鑑みてなされたものであり、ピッチ変換に伴うアタックタイミングのずれを少なくすることができる信号処理装置を提供することを目的としている。
【課題を解決するための手段】
【0019】
この発明は、オーディオ信号を記憶するためのバッファと、前記バッファの書込アドレスを順次変化させつつオーディオ信号を前記バッファに書き込む書込手段と、前記バッファに書き込まれるオーディオ信号に現われるアタック部を検出するアタック検出手段と、前記バッファからオーディオ信号を読み出すことにより出力オーディオ信号を生成する再生手段とを具備し、前記再生手段は、前記バッファの書込アドレスの変化に対して所定値だけ遅れて追従するように再生基準位置を更新する再生基準位置更新手段と、前記再生基準位置の時間勾配である第1の時間勾配と異なる第2の時間勾配での変化と、該第2の時間勾配での変化方向と逆方向へのジャンプとを周期的に繰り返しつつ、全体的には前記第1の時間勾配で変化する第1の変調再生位置を生成するとともに、前記第1の変調再生位置に対して位相のずれた第2の変調再生位置を生成し、前記第1および第2の変調再生位置に対応した2系統のオーディオ信号を前記バッファに記憶されたオーディオ信号に基づいて再生し、前記2系統のオーディオ信号を用いて前記出力オーディオ信号を生成する出力オーディオ信号生成手段とを具備し、前記出力オーディオ信号生成手段は、前記2系統のオーディオ信号にクロスフェード処理を施すことにより前記出力オーディオ信号を生成する手段であって、前記第1の変調再生位置がジャンプするのに先立って前記第1の変調再生位置に対応したオーディオ信号のフェードアウトと前記第2の変調再生位置に対応したオーディオ信号のフェードインを行い、前記第2の変調再生位置がジャンプするのに先立って前記第2の変調再生位置に対応したオーディオ信号のフェードアウトと前記第1の変調再生位置に対応したオーディオ信号のフェードインを行う信号合成手段と、前記アタック検出手段がアタック部を検出するのに応じて、前記再生基準位置更新手段により更新される再生基準位置が前記バッファにおけるオーディオ信号のアタック部の記憶位置となるタイミングの近傍のタイミングをアタック部の目標再生タイミングとし、前記第1の変調再生位置および前記第2の変調再生位置のうち一方をアタック再生用変調再生位置とし、軌道修正後の前記アタック再生用変調再生位置の軌道が前記目標再生タイミングにおいて前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置の軌道修正を行うとともに、前記目標再生タイミングを途中に挟んだ所定期間に亙って、前記信号合成手段にクロフフェード処理を実行させず、前記アタック再生用変調再生位置に対応したオーディオ信号を前記出力オーディオ信号として出力させる軌道修正手段とを具備することを特徴とする信号処理装置を提供する。
【0020】
この発明によれば、再生基準位置更新手段により更新される再生基準位置がバッファにおけるオーディオ信号のアタック部の記憶位置となるタイミングの近傍の目標再生タイミングにおいて、アタック部のサンプルがバッファに記憶されたサンプルに基づいて生成される。従って、ピッチ変換に伴うアタックタイミングのずれを少なくすることができる。
【図面の簡単な説明】
【0021】
【図1】この発明の第1実施形態である信号処理装置の構成を示すブロック図である。
【図2】同実施形態における読出制御部32Aおよび信号合成部35Aの構成を示すブロック図である。
【図3】同実施形態の動作例を示すタイムチャートである。
【図4】シンバル音の波形を例示する図である。
【図5】ピアノ音の波形を例示する図である。
【図6】各種のアタック検出アルゴリズムにより検出されるアタック部の相違を説明する図である。
【図7】この発明の第3実施形態である信号処理装置の第1の動作例を示すタイムチャートである。
【図8】同信号処理装置の第2の動作例を示すタイムチャートである。
【図9】この発明の第4実施形態である信号処理装置の構成を示すブロック図である。
【図10】同信号処理装置における変調再生位置の変化の態様を示すタイムチャートである。
【図11】同信号処理装置におけるアタック検出時の変調再生位置の変化の態様を示すタイムチャートである。
【図12】従来の信号処理装置の構成例を示すブロック図である。
【図13】同信号処理装置の動作を示すタイムチャートである。
【図14】同信号処理装置の動作を示すタイムチャートである。
【図15】同信号処理装置において発生するアタック部の重複再生の問題を説明する図である。
【発明を実施するための形態】
【0022】
以下、図面を参照し、この発明の一実施形態について説明する。
<第1実施形態>
図1はこの発明の第1実施形態である信号処理装置の構成を示すブロック図である。この信号処理装置は、オーディオ信号のピッチ変換を行う装置であり、例えばカラオケ演奏用のオーディオ信号のキーコントロール(ピッチ変換)やテンポ変更に伴うピッチ変換に用いられる。なお、図1において、前掲図12に示された各部と対応する部分には共通の符号を付け、その説明を省略する。
【0023】
図1に示すように、本実施形態による信号処理装置において、リングバッファ1と、書込部2と、再生部3Aと、アタック検出部4と、制御部5とを有する。
【0024】
アタック検出部4は、リングバッファ1に書き込まれるオーディオ信号に現われるアタック部を検出する手段である。さらに詳述すると、アタック検出部4は、書込部2がリングバッファ1に対して発生する書込アドレスに対して所定値だけ遅れて追従する読出アドレスをリングバッファ1に供給し、その読出アドレスに対応したオーディオ信号のサンプルをリングバッファ1から読み出す。そして、アタック検出部4は、リングバッファ1から読み出したオーディオ信号のサンプル列に振幅が大きい区間または振幅上昇が急激な区間であるアタック部が現われたとき、アタック検出信号ATKを出力する。
【0025】
再生部3Aでは、前掲図12の再生部3の読出制御部32が読出制御部32Aに、信号合成部35が信号合成部35Aに置き換えられている。この再生部3Aにおいて、読出制御部32Aと、補間部33および34と、信号合成部35Aは、リングバッファ1に記憶されたオーディオ信号のサンプルに基づいて出力オーディオ信号のサンプルYを生成する出力オーディオ信号生成手段を構成している。
【0026】
図2は、読出制御部32Aおよび信号合成部35Aの構成を示すブロック図である。図2に示すように、読出制御部32Aは、変調再生位置生成部321と、読出アドレス生成部322と、軌道修正部323とを有する。また、信号合成部35Aは、補間部33および34から出力されるサンプルXMA1およびXMA2に係数C1およびC2を各々乗算する乗算器351および352と、乗算器351および352の各乗算結果を加算することにより出力オーディオ信号のサンプルYを生成する加算器353と、乗算器351および352に対して係数C1およびC2を各々供給する係数発生部354とを有する。この信号合成部35Aにおける係数発生部354は、読出制御部32Aの軌道修正部323による制御の下で動作する。
【0027】
読出制御部32Aにおいて、変調再生位置生成部321は、ピッチ変換比rと再生基準位置BAに基づいて、変調再生位置MA1およびMA2の更新を行う手段である。この変調再生位置生成部321は、アタック検出部4によってアタックが検出されない期間は、再生基準位置BAの時間勾配である第1の時間勾配に対してピッチ変換比rを乗算した第2の時間勾配での変化とこの変化方向と反対方向へのジャンプとを周期的に繰り返すように、変調再生位置MA1の更新を行う。また、変調再生位置生成部321は、変調再生位置MA2が、変調再生位置MA1と半周期ずれた位相で、第2の時間勾配での変化とこの変化方向と反対方向へのジャンプとを周期的に繰り返すように、変調再生位置MA2の更新を行う。このアタックが検出されない期間内における変調再生位置MA1およびMA2の挙動は、上述した従来技術(図12〜図14参照)と同様である。
【0028】
読出アドレス生成部322は、変調再生位置MA1およびMA2の各々の前後所定個数のサンプリング点の各サンプルの読出アドレスをリングバッファバッファ1に供給し、それらのサンプルをリングバッファ1から読み出し、補間部33および34に変調再生位置MA1およびMA2に対応したオーディオ信号のサンプルを生成するための補間処理を実行させる。
【0029】
軌道修正部323は、アタック検出部4によってアタック部が検出されない期間は、変調再生位置MA1がジャンプするのに先立って変調再生位置MA1に対応したオーディオ信号のフェードアウトと変調再生位置MA2に対応したオーディオ信号のフェードインを信号合成部35Aに行わせ、変調再生位置MA2がジャンプするのに先立って変調再生位置MA2に対応したオーディオ信号のフェードアウトと変調再生位置MA1に対応したオーディオ信号のフェードインを信号合成部35Aに行わせる。
【0030】
そして、軌道修正部323は、アタック検出部4がアタック部を検出するのに応じて、再生基準位置更新部31により更新される再生基準位置BAがリングバッファ1におけるオーディオ信号のアタック部の記憶位置となるタイミングをアタック部の目標再生タイミングとする。そして、軌道修正部323は、変調再生位置MA1およびMA2のうち一方をアタック再生用変調再生位置、他方を非アタック再生用変調再生位置とし、目標再生タイミングにおいて軌道修正後のアタック再生用変調再生位置の軌道が再生基準位置BAの軌道とクロスするように、アタック再生用変調再生位置の軌道修正を行い、目標再生タイミングを途中に挟んだ所定期間に亙って、信号合成部35Aにクロフフェード処理を実行させず、アタック再生用変調再生位置に対応したオーディオ信号を出力オーディオ信号として出力させる。本実施形態の特徴は、このアタック検出に応じて行われる軌道修正部323の処理内容にある。
【0031】
図3(a)〜(d)はピッチ変換比rが1より大きい場合における本実施形態の動作例を示すタイムチャートである。前掲図14と同様、図3(a)〜(d)の横軸は基準再生位置BAであり、この横軸は時間軸でもある。ここで、図3(a)および(b)は、仮に本実施形態におけるアタック検出に応じた制御を行わなかった場合における変調再生位置MA1およびMA2の波形と係数C1およびC2の波形を各々例示するものである。本実施形態では、図示のように、クロスフェード処理のために、正弦波状に変化する係数C1およびC2を使用し、係数C1およびC2の2乗和が常に1となるようにしている。また、図3(c)および(d)は、本実施形態におけるアタック検出に応じた制御を行った場合における変調再生位置MA1およびMA2の波形と係数C1およびC2の波形を各々例示するものである。
【0032】
アタック検出部4によりアタック部が検出されると、軌道修正部323は、再生基準位置BAがアタック部の記憶位置となるタイミングTxを求め、このタイミングTxをアタック部の目標再生タイミングとする。そして、目標再生タイミングTx以前の期間において、変調再生位置MA1およびMA2のうち目標再生タイミングTxにより近いタイミングにおいてジャンプする変調再生位置をアタック再生用変調再生位置、もう一方の変調再生位置を非アタック再生用変調再生位置とする。
【0033】
図3(a)に示す例では、軌道修正部323は、変調再生位置MA1をアタック再生用変調再生位置、変調再生位置MA2を非アタック再生用変調再生位置とする。そして、軌道修正部323は、次のようにアタック再生用変調再生位置および非アタック再生用変調再生位置の軌道修正と、係数発生部354に発生させる係数C1およびC2の制御を行う。
【0034】
(1)まず、軌道修正部323は、アタック検出直後の所定時間T0を利用して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを信号合成部35Aに実行させる。具体的には、図3(d)に示すように、アタック再生用変調再生位置MA1に対応したオーディオ信号のサンプルXMA1に乗算する係数C1を時間T0を要して「0」まで低下させ、非アタック再生用変調再生位置MA2に対応したオーディオ信号のサンプルXMA2に乗算する係数C2を時間T0を要して「1」まで上昇させる。
【0035】
(2)上記(1)のフェードアウトおよびフェードインが完了すると、軌道修正部323は、図3(c)に示すように、アタック再生用変調再生位置MA1を現在位置Mst1から目標位置Men1へジャンプさせる。その際、軌道修正部323は、図3(c)に示すように、ジャンプ後のアタック再生用変調再生位置MA1が第2の時間勾配で上昇していったときに、目標再生タイミングTxにおいてアタック再生用変調再生位置MA1の軌道が再生基準位置BAの軌道とクロスするように、アタック再生用変調再生位置MA1のジャンプ先の目標位置Men1を決定する。
【0036】
(3)次に軌道修正部323は、図3(d)に示すように、所定時間T1を要して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを信号合成部35Aに実行させる。この所定時間T1と上述した所定時間T0は、両者の和が、アタック検出信号ATKの発生タイミングから目標再生タイミングTxまでの所要時間の半分程度となるように決定されている。
【0037】
(4)このようにアタック再生用変調再生位置MA1の軌道修正を行い、かつ、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを行わせた後、軌道修正部323は、アタック再生用変調再生位置MA1に対応したオーディオ信号に対する係数C1を「1」に固定させ、非アタック再生用変調再生位置MA2に対応したオーディオ信号に対する係数C2を「0」に固定させる。
【0038】
この結果、信号合成部35Aではクロスフェード処理が行われず、アタック再生用変調再生位置MA1に対応したオーディオ信号のサンプルXMA1が出力オーディオ信号のサンプルYとして出力される。この間に、オーディオ信号におけるアタック部のサンプルがリングバッファ1から読み出され、このサンプルに基づいてアタック部のサンプルXMA1が補間部33により生成され、出力オーディオ信号のサンプルYとして出力される。
【0039】
ここで、アタック再生用変調再生位置MA1は、再生基準位置BAの示す位置がリングバッファ1におけるオーディオ信号のアタック部の記憶位置となる目標再生タイミングTxにおいて、再生基準位置BAと一致する。従って、仮にアタック再生用変調再生位置MA1を用いずに、再生基準位置BAを用いてリングバッファ1に対する読出アドレスを発生した場合におけるアタック部の再生タイミングと同じタイミングにおいてアタック部が再生される。
【0040】
(5)次に軌道修正部323は、目標再生タイミングTxから所定時間T2が経過したときに、図3(c)に示すように、非アタック再生用変調再生位置MA2を現在位置Mst2から目標位置Men2へジャンプさせる。その際、軌道修正部323は、軌道修正後のアタック再生用変調再生位置MA1がジャンプするタイミングにおいて、ジャンプ後の非アタック再生用変調再生位置MA2の軌道が再生基準位置BAの軌道とクロスするように、非アタック再生用変調再生位置MA2のジャンプ先の目標位置Men2を決定するとより良い。
【0041】
(6)このように非アタック再生用変調再生位置MA2をジャンプさせた後、軌道修正部323は、図3(d)に示すように、軌道修正後のアタック再生用変調再生位置MA1がジャンプするまでの所要時間T3を利用して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを行わせる。
これにより再生部3Aは、クロスフェード処理を利用した通常の再生動作に戻る。
【0042】
図示は省略したが、変調再生位置MA2がアタック再生用変調再生位置、変調再生位置MA1が非アタック再生用変調再生位置となる場合の動作も上述と同様である。また、ピッチ変換比rが1より小さい場合の動作も、以上説明したピッチ変換比rが1より大きい場合の動作と同様である。
【0043】
以上説明したように、本実施形態によれば、ピッチ変換の際、オーディオ信号のアタック部は、再生基準位置BAがリングバッファ1におけるアタック部の記憶位置となる目標再生タイミングTxにおいて再生されるので、ピッチ変換に伴うアタックタイミングのずれを低減することができる。また、本実施形態によれば、アタック部の再生時には、クロスフェードを行わないので、出力オーディオ信号にアタック部が重複して現われるのを防止することができる。また、本実施形態によれば、再生基準位置BAがアタック部の記憶位置となるアタック部の目標再生タイミングTxから所定時間以上前にクロスフェードを終了させて、アタック再生用変調再生位置に対応したオーディオ信号のみを出力オーディオ信号として出力させ、アタック部の目標再生タイミングTxから所定時間T2が経過した時点でクロスフェードを再開するようにしたので、楽音の特徴が現われるアタック波形を極力損なうことなく再生することができる。
【0044】
<第2実施形態>
次にこの発明の第2実施形態について説明する。上記第1実施形態において、軌道修正部323は、アタック検出部4がアタック部を検出したタイミングに基づいて、リングバッファ1におけるアタック部の記憶位置を求め、再生基準位置BAがアタック部の記憶位置となるタイミングをアタック部の目標再生タイミングTxとし、この目標再生タイミングTxに基づいてアタック再生用変調再生位置の軌道修正を行った。
【0045】
しかし、ピッチ変換の対象となる楽音波形には、例えば図4に示すシンバル音のように、アタック部が占めるアタック期間の短いものや、図5に示すピアノ音のように、アタック部が占めるアタック期間の長いものがある。また、アタック検出アルゴリズムにも各種のものがあり、例えば図6に示すように、音圧が僅かに高まったアタック開始直後のタイミングA1を検出するアルゴリズムや、アタック開始から少し時間が経ったタイミングA2を検出するアルゴリズムや、アタックが終了するタイミングA3を検出するものがある。
【0046】
従って、上記実施形態のような画一的なアタック再生用変調再生位置の軌道修正を行うと、ピッチ変換の対象であるオーディオ信号の楽器の種類やアタック検出アルゴリズムによっては、適切なタイミングからずれたタイミングでピッチ変換後の楽器音が再生される可能性がある。
【0047】
そこで、本実施形態では、例えばカラオケ装置に設けられた操作子の操作等に応じて、所望の方向および所望のオフセット量を指定できるように信号処理装置が構成されている。また、軌道修正部は、目標再生タイミングTxを、再生基準位置BAがリングバッファ1におけるアタック部の記憶位置となるタイミングから、操作子の操作等により指定された方向に指定されたオフセット量だけシフトさせるオフセット調整手段を有している。なお、カラオケ装置での使用の場合、楽曲データ(ジャンルや使用楽器データなどの情報)を用いてオフセット量を自動設定してもよい。あるいは楽曲データにオフセット量情報を持たせ、この楽曲データ中のオフセット量情報に従ってオフセット量の設定を行ってもよい。この場合、時系列的なオフセット量情報を楽曲データに持たせ、楽曲データとともに再生され、時々刻々と変化するオフセット量情報に従ってオフセット量の設定を繰り返すようにしてもよい。
【0048】
本実施形態によれば、楽器の種類やアタック検出アルゴリズムに合わせて、ピッチ変換後のオーディオ信号のアタック部の再生タイミングを最適化することができる。
なお、種類の異なる楽器の演奏音を示す複数種類のオーディオ信号のピッチ変換をチャネル毎に行うような装置に本発明を適用する場合、チャネル毎に、このような軌道修正後のアタック再生用変調再生位置をクロスさせる再生基準位置の目標位置に適用するオフセット量とシフトの方向を操作子の操作等により指定するようにしてもよい。
【0049】
<第3実施形態>
次に図7および図8を参照し、この発明の第3実施形態について説明する。上記第1実施形態において、ピッチ変換比rが大きくなると、変調再生位置MA1およびMA2の時間勾配が大きくなる。この場合、アタック部の再生に支障が出ないようにするために、アタック再生用変調再生位置に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトを行うための時間T1を短くする必要が生じる(前掲図3参照)。しかし、時間T1を短くして、フェードイン、フェードアウトを行うと、出力オーディオ信号の音質が劣化する問題が生じる。本実施形態は、この問題を解決するものである。
【0050】
本実施形態では、アタック検出部4の読出アドレスと再生基準位置BAとの間に変調再生位置MA1(MA2)の1周期相当のアドレス差を越える十分に大きなアドレス差が設けられている。
【0051】
図7に示す例では、変調再生位置MA1が再生基準位置BAよりも大きい期間T10内において、リングバッファ1に書き込まれたアタック部が検出されている。この検出されたアタック部は、アタック検出後の2回目の変調再生位置MA1のジャンプの後のタイミングTxにおいて再生されるべきものである。従って、このタイミングTxが目標再生タイミングとなる。そこで、軌道修正部323は、目標再生タイミングTxの直前にジャンプする変調再生位置MA1をアタック再生用変調再生位置、他方の変調再生位置MA2を非アタック再生用変調再生位置とする。ここで、図7に示す例では、アタック部の目標再生タイミングTxとその直前の変調再生位置MA1のジャンプタイミングとの間の時間が所定の閾値を越えている。
【0052】
そこで、軌道修正部323は、期間T10の1周期後の期間T20内に、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを開始させ(前掲図3の時間T0の始期を発生させ)、上記第1実施形態と同様な制御を行っている。
【0053】
この場合、目標再生タイミングTxとその直前の変調再生位置MA1のジャンプタイミングとの間の時間が十分に長いので、期間T20内にアタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを開始させても(時間T0)、その後、アタック再生用変調再生位置に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトを行うための時間T1を十分に長くすることができる。
【0054】
これに対し、図8に示す例では、アタック部の目標再生タイミングTxとその直前の変調再生位置MA1のジャンプタイミングとの間の時間が所定の閾値よりも短い。この場合、アタック検出が行われた期間T10の1周期後の期間T20内にアタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを開始させると、その後のアタック再生用変調再生位置に対応したオーディオ信号のフェードインと非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトのための時間T1を十分な長さにすることが困難である。
【0055】
そこで、軌道修正部323は、次のようにしてアタック再生用変調再生位置MA1および非アタック再生用変調再生位置MA2の軌道修正と、係数C1およびC2の制御を行う。まず、軌道修正部323は、アタック部が検出された後、アタック再生用変調再生位置MA1がジャンプし、さらに図8に示す期間T15が経過して非アタック再生用変調再生位置MA2がジャンプするのを待つ。
【0056】
非アタック再生用変調再生位置MA2がジャンプした時点において、アタック再生用変調再生位置MA1に対応したオーディオ信号に乗算される係数C1は「1」、非アタック再生用変調再生位置MA2に対応したオーディオ信号に乗算される係数C2は「0」となっている。そこで、軌道修正部323は、所定時間T0を要して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードアウトと、非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードインを信号合成部35Aに実行させる。
【0057】
このフェードアウトおよびフェードインが完了すると、軌道修正部323は、アタック再生用変調再生位置MA1をジャンプさせる。その際、軌道修正部323は、目標再生タイミングTxにおいて、軌道修正後のアタック再生用変調再生位置MA1の軌道が基準再生位置BAとクロスするように、アタック再生用変調再生位置MA1のジャンプ先の位置を決定する。
【0058】
そして、軌道修正部323は、アタック再生用変調再生位置MA1のジャンプ後、所定時間T1を要して、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと、非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを信号合成部35Aに実行させる。
以降の動作は上記第1実施形態と同様である。
【0059】
図8に示す例では、時間T0の始期を非アタック再生用変調再生位置MA2のジャンプタイミングまで早めているので、その後、アタック再生用変調再生位置MA1に対応したオーディオ信号のフェードインと、非アタック再生用変調再生位置MA2に対応したオーディオ信号のフェードアウトを実行するための時間T1の長さを十分な長さにすることができる。
【0060】
以上説明したように、本実施形態によれば、ピッチ変換比rが大きくなって、変調再生位置MA1およびMA2の時間勾配が大きくなる場合でも、出力オーディオ信号の音質の劣化を招くことなく、ピッチ変換に伴うアタックタイミングのずれを低減することができる。
【0061】
<第4実施形態>
図9はこの発明の第4実施形態である信号処理装置の構成を示すブロック図である。この信号処理装置では、上記第1実施形態による信号処理装置(図1)の再生部3Aが再生部3Bに置き換えられており、さらに基本周期検出部5が追加されている。そして、再生部3Bでは、上記第1実施形態における読出制御部32Aが読出制御部32Bに置き換えられている。
【0062】
この信号処理装置において、基本周期検出部5は、リングバッファ1に書き込まれるオーディオ信号の基本波成分の周期を検出する。読出制御部32Bは、上記第1実施形態の読出制御部32Aと同様、変調再生位置生成部321と、読出アドレス生成部322と、軌道修正部323とからなるものである(図2参照)。しかし、読出制御部32Bの変調再生位置生成部321は、図10に示すように、基本周期検出部5が検出したオーディオ信号の基本波成分の周期τのn倍(nは整数)の周期で、変調再生位置MA1およびMA2を変化させる。読出制御部32Bの軌道修正部323は、図11に示すように、アタック検出に応じて、アタック再生用変調再生位置(図11の例ではMA1)に対応したオーディオ信号のフェードアウトを行わせて、アタック再生用変調再生位置MA1を現在位置Mstから目的位置Menまでジャンプさせる際、目標位置Menを基本周期検出部5により検出された基本波成分の周期に対応した長さα(すなわち、基本波成分の一波長分のサンプル列が格納されるアドレスの幅)に基づいて決定する。具体的には、現在位置Mstから目標位置Menまでの距離の候補として、長さαの整数倍の長さ(m−1)α、mα、(m+1)α、…を幾つか想定し、それらの中から、ジャンプ後のアタック再生用変調再生位置MA1の軌道が再生基準位置BAの軌道とクロスするタイミングがアタック部の目標再生タイミングTxに最も近くなるものを選択することによりジャンプ先の目標位置Menを決定するのである。
【0063】
この態様によれば、アタック部の再生タイミングが理想的な再生タイミングから若干ずれるが、アタック部の近傍の区間が再生される間、クロスフェードされる2系統のオーディオ信号の位相を揃えることができるので、より自然な楽音を再生することができる。
【0064】
<他の実施形態>
以上、この発明の第1〜第4実施形態について説明したが、この発明には、それ以外にも他の実施形態が考えられる。例えば次の通りである。
【0065】
(1)上記各実施形態では、クロスフェード処理のために、正弦波状に変化する係数C1およびC2を使用し、係数C1およびC2の2乗和が常に1となるようにした。このような係数C1およびC2をクロスフェード処理に用いた場合、処理対象である2系統のオーディオ信号の波形が周期性を有しない場合でも、両オーディオ信号を滑らかに接続することができるという効果が得られる。しかし、このような係数C1およびC2をクロスフェード処理に用いると、処理対象であるオーディオ信号の波形に周期性がある場合に出力オーディオ信号のレベルが変動するという問題が生じる。そこで、係数C1およびC2の波形を他の波形に切り換えることができるように信号処理装置を構成してもよい。例えば処理対象であるオーディオ信号の周期性を解析する手段を設け、周期性がある旨の判断結果が得られた場合に、クロスフェード処理のための係数C1およびC2を三角波状に変化する係数C1およびC2に切り換え、係数C1およびC2の和が常に1となるようにしてもよい。このような係数C1およびC2をクロスフェード処理に使用すると、処理対象である2系統のオーディオ信号の波形が周期性を有する場合に両オーディオ信号を滑らかに接続することができる。
【0066】
(2)上記各実施形態ではピッチ変換を行う信号処理装置を挙げたが、この発明は、ピッチ変換を行わず、テンポ変換のみを行う信号処理装置にも勿論適用可能である。
【符号の説明】
【0067】
1…リングバッファ、2…書込部、3A,3B…再生部、4…アタック検出部、31…再生基準位置更新部、32A,32B…読出制御部、33,34…補間部、35A…信号合成部、321…変調再生位置生成部、322…読出アドレス生成部、323…軌道修正部、354…係数発生部、351,352…乗算器、353…加算器。
【特許請求の範囲】
【請求項1】
オーディオ信号を記憶するためのバッファと、
前記バッファの書込アドレスを順次変化させつつオーディオ信号を前記バッファに書き込む書込手段と、
前記バッファに書き込まれるオーディオ信号に現われるアタック部を検出するアタック検出手段と、
前記バッファからオーディオ信号を読み出すことにより出力オーディオ信号を生成する再生手段とを具備し、
前記再生手段は、
前記バッファの書込アドレスの変化に対して所定値だけ遅れて追従するように再生基準位置を更新する再生基準位置更新手段と、
前記再生基準位置の時間勾配である第1の時間勾配と異なる第2の時間勾配での変化と、該第2の時間勾配での変化方向と逆方向へのジャンプとを周期的に繰り返しつつ、全体的には前記第1の時間勾配で変化する第1の変調再生位置を生成するとともに、前記第1の変調再生位置に対して位相のずれた第2の変調再生位置を生成し、前記第1および第2の変調再生位置に対応した2系統のオーディオ信号を前記バッファに記憶されたオーディオ信号に基づいて再生し、前記2系統のオーディオ信号を用いて前記出力オーディオ信号を生成する出力オーディオ信号生成手段とを具備し、
前記出力オーディオ信号生成手段は、
前記2系統のオーディオ信号にクロスフェード処理を施すことにより前記出力オーディオ信号を生成する手段であって、前記第1の変調再生位置がジャンプするのに先立って前記第1の変調再生位置に対応したオーディオ信号のフェードアウトと前記第2の変調再生位置に対応したオーディオ信号のフェードインを行い、前記第2の変調再生位置がジャンプするのに先立って前記第2の変調再生位置に対応したオーディオ信号のフェードアウトと前記第1の変調再生位置に対応したオーディオ信号のフェードインを行う信号合成手段と、
前記アタック検出手段がアタック部を検出するのに応じて、前記再生基準位置更新手段により更新される再生基準位置が前記バッファにおけるオーディオ信号のアタック部の記憶位置となるタイミングの近傍のタイミングをアタック部の目標再生タイミングとし、前記第1の変調再生位置および前記第2の変調再生位置のうち一方をアタック再生用変調再生位置とし、軌道修正後の前記アタック再生用変調再生位置の軌道が前記目標再生タイミングにおいて前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置の軌道修正を行うとともに、前記目標再生タイミングを途中に挟んだ所定期間に亙って、前記信号合成手段にクロフフェード処理を実行させず、前記アタック再生用変調再生位置に対応したオーディオ信号を前記出力オーディオ信号として出力させる軌道修正手段と
を具備することを特徴とする信号処理装置。
【請求項2】
前記軌道修正手段は、
前記第1の変調再生位置および前記第2の変調再生位置のうち前記アタック再生用変調再生位置としなかった方の変調再生位置を非アタック再生用変調再生位置とし、
前記目標再生タイミングから所定時間が経過したときに、軌道修正後の前記アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするタイミングにおいて、前記非アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記非アタック再生用変調再生位置の軌道を修正することを特徴とする請求項1に記載の信号処理装置。
【請求項3】
前記軌道修正手段は、
前記アタック検出手段がアタック部を検出するのに応じて、所定時間を利用して、前記アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと前記非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを前記信号合成手段に実行させ、
このフェードアウトおよびフェードインの完了後、前記アタック再生用変調再生位置をジャンプさせ、その際に、前記目標再生タイミングにおいて前記アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置のジャンプ先の値を決定し、
前記アタック再生用変調再生位置のジャンプ後、前記目標再生タイミングより前にフェードインおよびフェードアウトが完了するように、前記アタック再生用変調再生位置に対応したオーディオ信号のフェードインと前記非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトを信号合成手段に実行させ、
前記目標再生タイミングから所定時間が経過したときに、前記非アタック再生用変調再生位置をジャンプさせ、その際、軌道修正後の前記アタック再生用変調再生位置がジャンプするタイミングにおいて、ジャンプ後の前記非アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記非アタック再生用変調再生位置のジャンプ先の値を決定し、
前記非アタック再生用変調再生位置をジャンプさせた後、軌道修正後の前記アタック再生用変調再生位置がジャンプするまでの期間を利用して、前記アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと前記非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを前記信号合成手段に実行させることを特徴とする請求項2に記載の信号処理装置。
【請求項4】
前記バッファに書き込まれるオーディオ信号の基本波成分の周期を検出する基本周期検出手段を具備し、
前記軌道修正手段は、前記目標再生タイミングにおいて前記アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置を現在位置から目標位置までジャンプさせる際、前記現在位置から前記目標位置までの長さが基本波成分の周期に対応した長さの整数倍となるように、前記目標位置および前記目標再生タイミングを決定することを特徴とする請求項3に記載の信号処理装置。
【請求項5】
前記再生基準位置更新手段により更新される再生基準位置が前記バッファにおけるオーディオ信号のアタック部の記憶位置となるタイミングに対する前記目標再生タイミングのオフセットを調整するオフセット調整手段を具備することを特徴とする請求項1〜4のいずれか1の請求項に記載の信号処理装置。
【請求項1】
オーディオ信号を記憶するためのバッファと、
前記バッファの書込アドレスを順次変化させつつオーディオ信号を前記バッファに書き込む書込手段と、
前記バッファに書き込まれるオーディオ信号に現われるアタック部を検出するアタック検出手段と、
前記バッファからオーディオ信号を読み出すことにより出力オーディオ信号を生成する再生手段とを具備し、
前記再生手段は、
前記バッファの書込アドレスの変化に対して所定値だけ遅れて追従するように再生基準位置を更新する再生基準位置更新手段と、
前記再生基準位置の時間勾配である第1の時間勾配と異なる第2の時間勾配での変化と、該第2の時間勾配での変化方向と逆方向へのジャンプとを周期的に繰り返しつつ、全体的には前記第1の時間勾配で変化する第1の変調再生位置を生成するとともに、前記第1の変調再生位置に対して位相のずれた第2の変調再生位置を生成し、前記第1および第2の変調再生位置に対応した2系統のオーディオ信号を前記バッファに記憶されたオーディオ信号に基づいて再生し、前記2系統のオーディオ信号を用いて前記出力オーディオ信号を生成する出力オーディオ信号生成手段とを具備し、
前記出力オーディオ信号生成手段は、
前記2系統のオーディオ信号にクロスフェード処理を施すことにより前記出力オーディオ信号を生成する手段であって、前記第1の変調再生位置がジャンプするのに先立って前記第1の変調再生位置に対応したオーディオ信号のフェードアウトと前記第2の変調再生位置に対応したオーディオ信号のフェードインを行い、前記第2の変調再生位置がジャンプするのに先立って前記第2の変調再生位置に対応したオーディオ信号のフェードアウトと前記第1の変調再生位置に対応したオーディオ信号のフェードインを行う信号合成手段と、
前記アタック検出手段がアタック部を検出するのに応じて、前記再生基準位置更新手段により更新される再生基準位置が前記バッファにおけるオーディオ信号のアタック部の記憶位置となるタイミングの近傍のタイミングをアタック部の目標再生タイミングとし、前記第1の変調再生位置および前記第2の変調再生位置のうち一方をアタック再生用変調再生位置とし、軌道修正後の前記アタック再生用変調再生位置の軌道が前記目標再生タイミングにおいて前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置の軌道修正を行うとともに、前記目標再生タイミングを途中に挟んだ所定期間に亙って、前記信号合成手段にクロフフェード処理を実行させず、前記アタック再生用変調再生位置に対応したオーディオ信号を前記出力オーディオ信号として出力させる軌道修正手段と
を具備することを特徴とする信号処理装置。
【請求項2】
前記軌道修正手段は、
前記第1の変調再生位置および前記第2の変調再生位置のうち前記アタック再生用変調再生位置としなかった方の変調再生位置を非アタック再生用変調再生位置とし、
前記目標再生タイミングから所定時間が経過したときに、軌道修正後の前記アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするタイミングにおいて、前記非アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記非アタック再生用変調再生位置の軌道を修正することを特徴とする請求項1に記載の信号処理装置。
【請求項3】
前記軌道修正手段は、
前記アタック検出手段がアタック部を検出するのに応じて、所定時間を利用して、前記アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと前記非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを前記信号合成手段に実行させ、
このフェードアウトおよびフェードインの完了後、前記アタック再生用変調再生位置をジャンプさせ、その際に、前記目標再生タイミングにおいて前記アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置のジャンプ先の値を決定し、
前記アタック再生用変調再生位置のジャンプ後、前記目標再生タイミングより前にフェードインおよびフェードアウトが完了するように、前記アタック再生用変調再生位置に対応したオーディオ信号のフェードインと前記非アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトを信号合成手段に実行させ、
前記目標再生タイミングから所定時間が経過したときに、前記非アタック再生用変調再生位置をジャンプさせ、その際、軌道修正後の前記アタック再生用変調再生位置がジャンプするタイミングにおいて、ジャンプ後の前記非アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記非アタック再生用変調再生位置のジャンプ先の値を決定し、
前記非アタック再生用変調再生位置をジャンプさせた後、軌道修正後の前記アタック再生用変調再生位置がジャンプするまでの期間を利用して、前記アタック再生用変調再生位置に対応したオーディオ信号のフェードアウトと前記非アタック再生用変調再生位置に対応したオーディオ信号のフェードインを前記信号合成手段に実行させることを特徴とする請求項2に記載の信号処理装置。
【請求項4】
前記バッファに書き込まれるオーディオ信号の基本波成分の周期を検出する基本周期検出手段を具備し、
前記軌道修正手段は、前記目標再生タイミングにおいて前記アタック再生用変調再生位置の軌道が前記再生基準位置の軌道とクロスするように、前記アタック再生用変調再生位置を現在位置から目標位置までジャンプさせる際、前記現在位置から前記目標位置までの長さが基本波成分の周期に対応した長さの整数倍となるように、前記目標位置および前記目標再生タイミングを決定することを特徴とする請求項3に記載の信号処理装置。
【請求項5】
前記再生基準位置更新手段により更新される再生基準位置が前記バッファにおけるオーディオ信号のアタック部の記憶位置となるタイミングに対する前記目標再生タイミングのオフセットを調整するオフセット調整手段を具備することを特徴とする請求項1〜4のいずれか1の請求項に記載の信号処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2013−24911(P2013−24911A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−156579(P2011−156579)
【出願日】平成23年7月15日(2011.7.15)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願日】平成23年7月15日(2011.7.15)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
[ Back to top ]