音割れ検出装置、及び音割れ検出方法
【課題】 本発明は楽曲信号を符号化し、更に復号化した際の音割れ検出装置、及び音割れ検出方法に関し、特に音割れの検出を自動的に行い、音割れする直前の音量を推定し、熟練者を必要としない音割れ検出装置、及び音割れ検出方法を提供するものである。
【解決手段】 本発明は符号化前の音量のみが異なる同一の楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算手段と、音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算手段と、該計算結果が一定のしきい値を越えるか判定する判定手段と、前記判定結果に基づいて、前記計算結果が一定のしきい値を越える直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定手段で構成される音割れ検出装置である。
【解決手段】 本発明は符号化前の音量のみが異なる同一の楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算手段と、音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算手段と、該計算結果が一定のしきい値を越えるか判定する判定手段と、前記判定結果に基づいて、前記計算結果が一定のしきい値を越える直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定手段で構成される音割れ検出装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は楽曲信号を符号化し、復号化した楽曲信号に対するの音割れ検出装置、及び音割れ検出方法に関する。
【背景技術】
【０００２】
楽曲信号を符号化（エンコード）すると、入力信号に対応した符号が出力される。また、この符号を復号化器（デコーダ）に入力すると対応する楽曲信号波形を出力する。この楽曲信号波形をスピーカに入力することにより、対応する音波がスピーカより出力される。
【０００３】
上記過程において、楽曲信号を符号化する符号化器への入力の大きさには限度がある。すなわち、一定以上の大きさの信号が入力すると正確に符号化できない。これはどのような符号化器にも共通の制限であり、ダイナミックレンジを超えた大きさの信号が入力すると、出力される符号は正確な値とならず、歪んだ信号となる。
【０００４】
また、信号が正確に符号化された場合でも、その信号が大きい場合、復号化してスピーカで再生する際、正確な再生音を出力することができない。それはスピーカにもダイナミックレンジがあり、この範囲を超えた大きな信号が入力すると、再生される音が歪み、人間の耳には「割れた」様な不快音となって聞こえる。
【０００５】
尚、スピーカからの再生音が不快な感覚を与える要素は上記以外にもあり、例えばいくつかの楽器の特定の位相が重なった場合や、急激な音量変化等のいくつかの要素があり、総称して「音割れ現象」と呼ばれている。
【０００６】
ここで、特許文献１は配信元あるいは音楽の種類に関係なく、音楽データの再生時の音割れの発生を無くし、適切な音量に調整された音楽を自動再生する携帯端末装置の発明を開示する。
【特許文献１】特開２００７−６３７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
符号にも多数の種類があり、例えば楽曲信号をＭＩＤＩ（MusicalInstrument Digital Interface）符号に変換する場合、人間が手作業で行う必要があり、信号を完全に自動的にＭＩＤＩ符号化する装置はまだ実現されていない。
【０００８】
また、人間が手作業で符号化するとスピーカのダイナミックレンジを越える符号にしてしまう可能性がある。また、ＭＩＤＩ符号においては複数の楽器の音量と音程を別々に符号化し、同時に再生することにより合奏した信号を再生することができる。このような場合、前述のように、いくつかの楽器の特定の位相が重なってしまい、再生したときに音割れの印象を与える符号を生成する場合もある。
具体的には、「音割れ現象」が発生する直前の音量となるよう符号化するのが最も良い符号化である。
【０００９】
しかしながら、上記ＭＩＤＩ符号はそれを見ただけでは「音割れ」しているかどうか検出できない。このため、従来符号を再生して音割れしているか否かを人間が聞いて判断する必要があった。しかし、この作業は熟練した人間が耳で聞いて判断しなければならず、人件費が掛かり、ＭＩＤＩ符号化のコストが高くなるという問題があった。
【００１０】
また、特許文献１の発明は、入力レベルが所定値以下の間、予め設定されているデータ再生特性に従った出力を行い、入力レベルが所定値よりも大きい値となったとき、音楽データ再生特性を変更し、適切な音量に調整する発明である。
【００１１】
そこで、本発明は音割れの検出を自動的に行い、音割れする直前の音量で符号化処理を行い、熟練者を必要とせず、再生音に不快な要素を含ませない音割れ検出装置、及び音割れ検出方法を提供するものである。
【課題を解決するための手段】
【００１２】
上記課題は第１の発明によれば、符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算手段と、音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算手段と、該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定手段と、該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定手段とを有する音割れ検出装置を提供することによって達成できる。
【００１３】
また、前記振幅スペクトル計算手段は、窓関数掛算回路と、フーリエ変換回路と、振幅計算回路で構成されている。
さらに、上記課題は第２の発明によれば、符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算処理と、音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算処理と、該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定処理と、該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定処理とを行う音割れ検出方法を提供することによって達成できる。
【００１４】
また、前記振幅スペクトル計算処理は、例えば窓関数の掛算処理と、フーリエ変換処理と、振幅計算処理とを行う構成である。
【００１５】
さらに、上記課題は第３の発明によれば、符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算処理と、音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算処理と、該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定処理と、該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定処理とを行うプログラムであって、コンピュータが実行可能なプログラムを提供することによって達成できる。
【００１６】
また、前記振幅スペクトル計算処理は、例えば窓関数の掛算処理と、フーリエ変換処理と、振幅計算処理を行うプログラムであって、コンピュータが実行可能なプログラムである。
【００１７】
さらに、上記課題は第４の発明によれば、楽曲信号を符号化し、復号化して再生するシステムにおいて、符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して一定時間ごとの振幅スペクトルを計算し、音量の異なるもの間の関係を利用して、再生した場合に人間にとって不快であるか否かを推定する音割れ検出装置を提供することによって達成できる。
【００１８】
また、音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を利用して推定をする構成である。
また、最も小さい音量の楽曲信号から、特定の音量の楽曲信号までの各音量段階のすべての楽曲信号のそれぞれの振幅スペクトルを平均した値と、該特定の音量の楽曲信号の振幅スペクトルを比較して推定する構成である。
【００１９】
また、音量が異なる同一の楽曲信号に対して、一定時間ごとの振幅スペクトルを計算し、その値を表示する構成である。
【発明の効果】
【００２０】
上記課題の解決手段によれば、音割れの検出を自動的に行う装置、及び方法を提供する。それにより、音割れする直前の音量で符号化することが可能となり、熟練者を必要とせず、ＭＩＤＩ符号化された楽曲の制作コストを低下させることができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照しながら本発明の実施の形態について説明する。
図２は本例の音割れ検出装置、及び音割れ検出方法を説明する為の楽曲信号の符号化、及び復号化の過程を示す図である。
【００２２】
同図において、エンコーダ１には楽曲信号が供給され、符号化処理が行われる。この符号化信号はデコーダ２に供給され、楽曲信号波形に復号され、スピーカ３に出力される。スピーカ３は楽曲信号波形に従った音波を外部に出力する。
【００２３】
図１は上記構成において、本発明の音割れ検出装置の一例を示す図である。同図において、本例の装置は、振幅スペクトル計算装置５、２乗距離計算装置６、及び判定装置７で構成されている。振幅スペクトル計算装置５には楽曲信号Ｓ(0)，Ｓ(1),Ｓ(2),・・・Ｓ（i-1),Ｓ(i)が入力されるが、これらは同一楽曲の信号で音量だけが異なる信号を符号化し、それを復号化したものである。すなわち、Ｓ(0)が最も小さい音量の信号であり、Ｓ(1),Ｓ(2), ・・・の順に一定比率で音量が大きくなる信号である。
【００２４】
先ず、振幅スペクトル計算装置５について説明する。
振幅スペクトル計算装置５には上記楽曲信号Ｓ(0)，Ｓ(1),Ｓ(2),・・・Ｓ（i-1),Ｓ(i)が入力し、振幅スペクトル計算装置５は入力された信号、例えばＳ(i)に対して、それぞれ振幅スペクトルＰ(i)を計算する。楽曲信号Ｓ(i)は時間ｔの関数であり、振幅スペクトルは一般的には周波数ωの関数である。
【００２５】
しかし、図３に示すように信号Ｓ(i)、３１の時刻ｔ０付近の一部分（例えば、Ｔ秒間）を部分的にフーリエ変換して振幅スペクトルを求めると、図４の４１に示す様に、Ｐ(i)はＴ秒単位で時間的指標ｎの関数になる。すなわち、Ｓ(i)とＰ(i)の関係は、以下に示す数１の通りである。
【数１】
【００２６】
但し、Ｗn(t)は窓関数と呼ばれ、図５のようにｔ＝(ｎ-1/2)Ｔ〜ｔ＝（n+1/2）Ｔまでの区間では正の値を持ち、他の区間では０である関数である。また、｜ ｜は絶対値を意味する。
【００２７】
図６は上記振幅スペクトル計算装置５の構成を詳しく説明する図である。同図において、５０〜５３は、窓関数を入力信号に掛け算する回路である。すなわち、以下に示す数２を計算する回路である。また、６０〜６３は、入力信号をフーリエ変換する回路であり、以下に示す数３を計算する回路である。さらに、７０〜７３は、入力信号の振幅を計算する回路であり、以下に示す数４を計算する回路である。
【数２】
【数３】
【数４】
【００２８】
上記５０〜５３は、それぞれ異なる窓関数を乗ずるので振幅スペクトル計算装置５ｉの出力Ｐ0(i),Ｐ1(i),・・・Ｐn(i)は、信号Ｓ(i)の異なる部分のパワーとなる。
【００２９】
図６は、ｉ番目の音量の信号Ｓ(i)に対する処理の部分だけを図示したものであるが、図１の振幅スペクトル計算装置５は、これを０番目〜ｎ番目の音量の信号Ｓ(0)〜Ｓ(i)まで、それぞれに対して実装した全体構成である。
【００３０】
次に、２乗距離計算装置６の構成について説明する。
２乗距離計算装置６は振幅スペクトルの２乗距離を計算する回路であり、入力されたＰ(i)に対して、以下に示す数５、及び数６の計算を行う。
【数５】
【数６】
【００３１】
但し、Ｄ(i) = {Ｄ１(i), Ｄ２(i), …, Ｄ３(i)} であり、Ｄn(i)は音量 i の信号の振幅スペクトルと i+1 の信号の振幅スペクトルとの２乗距離である。
図７は上記数５、数６の計算を行う装置、即ち２乗距離計算装置６の内部構成を説明する図である。８０〜８３は２乗距離の計算装置である。振幅スペクトルＰn(0)、Ｐn(1)、Ｐn(2)・・・, Ｐn(i)が入力されると、隣り合うもの同士の２乗距離を計算し、９０〜９３にて閾値と照合される。このような装置の出力は、振幅スペクトル計算装置５に対する入力信号が楽曲信号の場合は人間が不快に感ずる音量となるｍにおいてＡn(i) は一般的に数７のような傾向を持つことが実験的に確認された。
【数７】
【００３２】
即ち、ある一定の値ｋを境にＡn(k)の値が閾値より大きくなるという傾向である。この現象を利用して人間にとって不快な要素が入り込まない最大の音量を機械的に推定することができる。
【００３３】
図８と図９は、実際の楽曲信号２曲をＭＩＤＩコードで符号化し、復号化した信号Ｓn(i)の振幅スペクトルＰn(i)の値の隣同士の差分Ｄn(i)をそれぞれ図示したものである。
両図において、手前右上の方向は数１のｎ、即ち時間軸である。また、手前から左上への方向は数１のｉ、即ち音量の軸である。さらに、縦方向はＤn(i)の値の大きさである。同図から分かるように、１つの曲の中では時間に関わらず、ある一定の音量から大きい信号はＤn(i)も大きくなっている。
【００３４】
図１０は、図８を等高線で表したものである。図中の黒の太線で囲まれた領域は人間が音割れしていると感じる領域である。同図を見ると、人間は音割れしていると感じる領域と、Ｄn(i)がある一定の値を越す領域とはかなり相関があることが分かる。
【００３５】
図１１と図１２は、図８と図９の楽曲にそれぞれ対応する図である。これら２曲において人間が音割れしていると感ずる領域と、Ｄn(i)が一定の値以上となる領域を図示したものである。これらを見ても人間が音割れしていると感ずる領域は、Ｄn(i)が一定値を越す領域にほぼ含まれていることが分かる。
【００３６】
以上から、音割れしないような音量ｉを自動的に特定することが可能であることが分かる。すなわち、音量が異なる同一楽曲について、一定時間ごとに振幅スペクトルを計算し、音量が隣り合う値の楽曲信号の振幅スペクトルの２乗距離を算出し、この２乗距離が一定値Ｈを超えたらその時刻について音割れしていると判断する。そして同一信号について音割れしている期間が一定数Ｋ以上ある場合、即ち数８を満たす場合その信号が音割れしていると判断する、もしくは音割れしている間における、２乗距離と一定値Ｈとの差の総和が一定値Ｌを超える場合、即ち数９を満たす場合音割れしていると判断することにより、人間による判断をしなくても音割れを検出することができる。
【数８】
【数９】
【００３７】
判定装置７は上記数８、又は数９の計算を行う装置である。入力Ａ(i)に対してＦ（ｉ）を計算する。即ち、Ａ(i)が数８を満たしていればＦ（ｉ）を１とし、満たしていなければ０とする。数８の代わりに数９を使うこともできる。
【００３８】
図１３は本方式を用いて音割れ検出を自動的に行った場合と、人間が聞いて検出した場合の比較をした図である。判定に数９を使用した例である。
横軸は曲目であり、１番から１３番まで１３種類の曲について判定を行った結果である。縦軸は各楽曲の符号化前の音量である。実線が本方式を用いて自動的に判定した場合であり、点線が人間が判定した場合である。この結果から自動判定結果は人間の判定結果と統計的にほぼ同一であることが分かる。
【００３９】
したがって、本方式を利用してどのくらいの音量信号を符号化すると再生時に音割れするかを自動的に判定することができる。
【００４０】
尚、上記数５のＤn(i)の代わりに、数１０のＥ(i)を利用しても同様の結果が統計的に得られることが確認された。
【数１０】
【図面の簡単な説明】
【００４１】
【図１】本発明の音割れ検出を行う装置の一例を示す図である。
【図２】本発明を説明する図である。
【図３】信号Ｓ(i)の時刻ｔ０付近の波形を示す図である。
【図４】フーリエ変換した振幅スペクトルを示す図である。
【図５】窓関数を説明する図である。
【図６】振幅スペクトル計算装置の構成を詳しく説明する図である。
【図７】２乗距離計算装置の内部構成を説明する図である。
【図８】実際の楽曲信号をＭＩＤＩコードで符号化し、復号化した信号Ｓ(i)の振幅スペクトルの値の隣同士の差分を示す図である。
【図９】実際の楽曲信号をＭＩＤＩコードで符号化し、復号化した信号Ｓ(i)の振幅スペクトラムの値の隣同士の差分を示す図である。
【図１０】図８を等高線で表した図である。
【図１１】図８の楽曲を等高線で表した図である。
【図１２】図９の楽曲を等高線で表した図である。
【図１３】本発明の方式を用いて音割れ検出を自動的に行った場合と、人間が聞いて検出した場合の比較をした図である。
【符号の説明】
【００４２】
１・・・エンコーダ
２・・・デコーダ
３・・・スピーカ
５・・・振幅スペクトル計算装置
６・・・２乗距離計算装置
７・・・判定装置
５０〜５３・・掛算回路
６０〜６３・・フーリエ変換回路
７０〜７３・・振幅計算回路
８０〜８３・・２乗距離計算回路
９０〜９３・・閾値照合回路
【技術分野】
【０００１】
本発明は楽曲信号を符号化し、復号化した楽曲信号に対するの音割れ検出装置、及び音割れ検出方法に関する。
【背景技術】
【０００２】
楽曲信号を符号化（エンコード）すると、入力信号に対応した符号が出力される。また、この符号を復号化器（デコーダ）に入力すると対応する楽曲信号波形を出力する。この楽曲信号波形をスピーカに入力することにより、対応する音波がスピーカより出力される。
【０００３】
上記過程において、楽曲信号を符号化する符号化器への入力の大きさには限度がある。すなわち、一定以上の大きさの信号が入力すると正確に符号化できない。これはどのような符号化器にも共通の制限であり、ダイナミックレンジを超えた大きさの信号が入力すると、出力される符号は正確な値とならず、歪んだ信号となる。
【０００４】
また、信号が正確に符号化された場合でも、その信号が大きい場合、復号化してスピーカで再生する際、正確な再生音を出力することができない。それはスピーカにもダイナミックレンジがあり、この範囲を超えた大きな信号が入力すると、再生される音が歪み、人間の耳には「割れた」様な不快音となって聞こえる。
【０００５】
尚、スピーカからの再生音が不快な感覚を与える要素は上記以外にもあり、例えばいくつかの楽器の特定の位相が重なった場合や、急激な音量変化等のいくつかの要素があり、総称して「音割れ現象」と呼ばれている。
【０００６】
ここで、特許文献１は配信元あるいは音楽の種類に関係なく、音楽データの再生時の音割れの発生を無くし、適切な音量に調整された音楽を自動再生する携帯端末装置の発明を開示する。
【特許文献１】特開２００７−６３７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
符号にも多数の種類があり、例えば楽曲信号をＭＩＤＩ（MusicalInstrument Digital Interface）符号に変換する場合、人間が手作業で行う必要があり、信号を完全に自動的にＭＩＤＩ符号化する装置はまだ実現されていない。
【０００８】
また、人間が手作業で符号化するとスピーカのダイナミックレンジを越える符号にしてしまう可能性がある。また、ＭＩＤＩ符号においては複数の楽器の音量と音程を別々に符号化し、同時に再生することにより合奏した信号を再生することができる。このような場合、前述のように、いくつかの楽器の特定の位相が重なってしまい、再生したときに音割れの印象を与える符号を生成する場合もある。
具体的には、「音割れ現象」が発生する直前の音量となるよう符号化するのが最も良い符号化である。
【０００９】
しかしながら、上記ＭＩＤＩ符号はそれを見ただけでは「音割れ」しているかどうか検出できない。このため、従来符号を再生して音割れしているか否かを人間が聞いて判断する必要があった。しかし、この作業は熟練した人間が耳で聞いて判断しなければならず、人件費が掛かり、ＭＩＤＩ符号化のコストが高くなるという問題があった。
【００１０】
また、特許文献１の発明は、入力レベルが所定値以下の間、予め設定されているデータ再生特性に従った出力を行い、入力レベルが所定値よりも大きい値となったとき、音楽データ再生特性を変更し、適切な音量に調整する発明である。
【００１１】
そこで、本発明は音割れの検出を自動的に行い、音割れする直前の音量で符号化処理を行い、熟練者を必要とせず、再生音に不快な要素を含ませない音割れ検出装置、及び音割れ検出方法を提供するものである。
【課題を解決するための手段】
【００１２】
上記課題は第１の発明によれば、符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算手段と、音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算手段と、該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定手段と、該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定手段とを有する音割れ検出装置を提供することによって達成できる。
【００１３】
また、前記振幅スペクトル計算手段は、窓関数掛算回路と、フーリエ変換回路と、振幅計算回路で構成されている。
さらに、上記課題は第２の発明によれば、符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算処理と、音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算処理と、該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定処理と、該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定処理とを行う音割れ検出方法を提供することによって達成できる。
【００１４】
また、前記振幅スペクトル計算処理は、例えば窓関数の掛算処理と、フーリエ変換処理と、振幅計算処理とを行う構成である。
【００１５】
さらに、上記課題は第３の発明によれば、符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算処理と、音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算処理と、該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定処理と、該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定処理とを行うプログラムであって、コンピュータが実行可能なプログラムを提供することによって達成できる。
【００１６】
また、前記振幅スペクトル計算処理は、例えば窓関数の掛算処理と、フーリエ変換処理と、振幅計算処理を行うプログラムであって、コンピュータが実行可能なプログラムである。
【００１７】
さらに、上記課題は第４の発明によれば、楽曲信号を符号化し、復号化して再生するシステムにおいて、符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して一定時間ごとの振幅スペクトルを計算し、音量の異なるもの間の関係を利用して、再生した場合に人間にとって不快であるか否かを推定する音割れ検出装置を提供することによって達成できる。
【００１８】
また、音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を利用して推定をする構成である。
また、最も小さい音量の楽曲信号から、特定の音量の楽曲信号までの各音量段階のすべての楽曲信号のそれぞれの振幅スペクトルを平均した値と、該特定の音量の楽曲信号の振幅スペクトルを比較して推定する構成である。
【００１９】
また、音量が異なる同一の楽曲信号に対して、一定時間ごとの振幅スペクトルを計算し、その値を表示する構成である。
【発明の効果】
【００２０】
上記課題の解決手段によれば、音割れの検出を自動的に行う装置、及び方法を提供する。それにより、音割れする直前の音量で符号化することが可能となり、熟練者を必要とせず、ＭＩＤＩ符号化された楽曲の制作コストを低下させることができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照しながら本発明の実施の形態について説明する。
図２は本例の音割れ検出装置、及び音割れ検出方法を説明する為の楽曲信号の符号化、及び復号化の過程を示す図である。
【００２２】
同図において、エンコーダ１には楽曲信号が供給され、符号化処理が行われる。この符号化信号はデコーダ２に供給され、楽曲信号波形に復号され、スピーカ３に出力される。スピーカ３は楽曲信号波形に従った音波を外部に出力する。
【００２３】
図１は上記構成において、本発明の音割れ検出装置の一例を示す図である。同図において、本例の装置は、振幅スペクトル計算装置５、２乗距離計算装置６、及び判定装置７で構成されている。振幅スペクトル計算装置５には楽曲信号Ｓ(0)，Ｓ(1),Ｓ(2),・・・Ｓ（i-1),Ｓ(i)が入力されるが、これらは同一楽曲の信号で音量だけが異なる信号を符号化し、それを復号化したものである。すなわち、Ｓ(0)が最も小さい音量の信号であり、Ｓ(1),Ｓ(2), ・・・の順に一定比率で音量が大きくなる信号である。
【００２４】
先ず、振幅スペクトル計算装置５について説明する。
振幅スペクトル計算装置５には上記楽曲信号Ｓ(0)，Ｓ(1),Ｓ(2),・・・Ｓ（i-1),Ｓ(i)が入力し、振幅スペクトル計算装置５は入力された信号、例えばＳ(i)に対して、それぞれ振幅スペクトルＰ(i)を計算する。楽曲信号Ｓ(i)は時間ｔの関数であり、振幅スペクトルは一般的には周波数ωの関数である。
【００２５】
しかし、図３に示すように信号Ｓ(i)、３１の時刻ｔ０付近の一部分（例えば、Ｔ秒間）を部分的にフーリエ変換して振幅スペクトルを求めると、図４の４１に示す様に、Ｐ(i)はＴ秒単位で時間的指標ｎの関数になる。すなわち、Ｓ(i)とＰ(i)の関係は、以下に示す数１の通りである。
【数１】
【００２６】
但し、Ｗn(t)は窓関数と呼ばれ、図５のようにｔ＝(ｎ-1/2)Ｔ〜ｔ＝（n+1/2）Ｔまでの区間では正の値を持ち、他の区間では０である関数である。また、｜ ｜は絶対値を意味する。
【００２７】
図６は上記振幅スペクトル計算装置５の構成を詳しく説明する図である。同図において、５０〜５３は、窓関数を入力信号に掛け算する回路である。すなわち、以下に示す数２を計算する回路である。また、６０〜６３は、入力信号をフーリエ変換する回路であり、以下に示す数３を計算する回路である。さらに、７０〜７３は、入力信号の振幅を計算する回路であり、以下に示す数４を計算する回路である。
【数２】
【数３】
【数４】
【００２８】
上記５０〜５３は、それぞれ異なる窓関数を乗ずるので振幅スペクトル計算装置５ｉの出力Ｐ0(i),Ｐ1(i),・・・Ｐn(i)は、信号Ｓ(i)の異なる部分のパワーとなる。
【００２９】
図６は、ｉ番目の音量の信号Ｓ(i)に対する処理の部分だけを図示したものであるが、図１の振幅スペクトル計算装置５は、これを０番目〜ｎ番目の音量の信号Ｓ(0)〜Ｓ(i)まで、それぞれに対して実装した全体構成である。
【００３０】
次に、２乗距離計算装置６の構成について説明する。
２乗距離計算装置６は振幅スペクトルの２乗距離を計算する回路であり、入力されたＰ(i)に対して、以下に示す数５、及び数６の計算を行う。
【数５】
【数６】
【００３１】
但し、Ｄ(i) = {Ｄ１(i), Ｄ２(i), …, Ｄ３(i)} であり、Ｄn(i)は音量 i の信号の振幅スペクトルと i+1 の信号の振幅スペクトルとの２乗距離である。
図７は上記数５、数６の計算を行う装置、即ち２乗距離計算装置６の内部構成を説明する図である。８０〜８３は２乗距離の計算装置である。振幅スペクトルＰn(0)、Ｐn(1)、Ｐn(2)・・・, Ｐn(i)が入力されると、隣り合うもの同士の２乗距離を計算し、９０〜９３にて閾値と照合される。このような装置の出力は、振幅スペクトル計算装置５に対する入力信号が楽曲信号の場合は人間が不快に感ずる音量となるｍにおいてＡn(i) は一般的に数７のような傾向を持つことが実験的に確認された。
【数７】
【００３２】
即ち、ある一定の値ｋを境にＡn(k)の値が閾値より大きくなるという傾向である。この現象を利用して人間にとって不快な要素が入り込まない最大の音量を機械的に推定することができる。
【００３３】
図８と図９は、実際の楽曲信号２曲をＭＩＤＩコードで符号化し、復号化した信号Ｓn(i)の振幅スペクトルＰn(i)の値の隣同士の差分Ｄn(i)をそれぞれ図示したものである。
両図において、手前右上の方向は数１のｎ、即ち時間軸である。また、手前から左上への方向は数１のｉ、即ち音量の軸である。さらに、縦方向はＤn(i)の値の大きさである。同図から分かるように、１つの曲の中では時間に関わらず、ある一定の音量から大きい信号はＤn(i)も大きくなっている。
【００３４】
図１０は、図８を等高線で表したものである。図中の黒の太線で囲まれた領域は人間が音割れしていると感じる領域である。同図を見ると、人間は音割れしていると感じる領域と、Ｄn(i)がある一定の値を越す領域とはかなり相関があることが分かる。
【００３５】
図１１と図１２は、図８と図９の楽曲にそれぞれ対応する図である。これら２曲において人間が音割れしていると感ずる領域と、Ｄn(i)が一定の値以上となる領域を図示したものである。これらを見ても人間が音割れしていると感ずる領域は、Ｄn(i)が一定値を越す領域にほぼ含まれていることが分かる。
【００３６】
以上から、音割れしないような音量ｉを自動的に特定することが可能であることが分かる。すなわち、音量が異なる同一楽曲について、一定時間ごとに振幅スペクトルを計算し、音量が隣り合う値の楽曲信号の振幅スペクトルの２乗距離を算出し、この２乗距離が一定値Ｈを超えたらその時刻について音割れしていると判断する。そして同一信号について音割れしている期間が一定数Ｋ以上ある場合、即ち数８を満たす場合その信号が音割れしていると判断する、もしくは音割れしている間における、２乗距離と一定値Ｈとの差の総和が一定値Ｌを超える場合、即ち数９を満たす場合音割れしていると判断することにより、人間による判断をしなくても音割れを検出することができる。
【数８】
【数９】
【００３７】
判定装置７は上記数８、又は数９の計算を行う装置である。入力Ａ(i)に対してＦ（ｉ）を計算する。即ち、Ａ(i)が数８を満たしていればＦ（ｉ）を１とし、満たしていなければ０とする。数８の代わりに数９を使うこともできる。
【００３８】
図１３は本方式を用いて音割れ検出を自動的に行った場合と、人間が聞いて検出した場合の比較をした図である。判定に数９を使用した例である。
横軸は曲目であり、１番から１３番まで１３種類の曲について判定を行った結果である。縦軸は各楽曲の符号化前の音量である。実線が本方式を用いて自動的に判定した場合であり、点線が人間が判定した場合である。この結果から自動判定結果は人間の判定結果と統計的にほぼ同一であることが分かる。
【００３９】
したがって、本方式を利用してどのくらいの音量信号を符号化すると再生時に音割れするかを自動的に判定することができる。
【００４０】
尚、上記数５のＤn(i)の代わりに、数１０のＥ(i)を利用しても同様の結果が統計的に得られることが確認された。
【数１０】
【図面の簡単な説明】
【００４１】
【図１】本発明の音割れ検出を行う装置の一例を示す図である。
【図２】本発明を説明する図である。
【図３】信号Ｓ(i)の時刻ｔ０付近の波形を示す図である。
【図４】フーリエ変換した振幅スペクトルを示す図である。
【図５】窓関数を説明する図である。
【図６】振幅スペクトル計算装置の構成を詳しく説明する図である。
【図７】２乗距離計算装置の内部構成を説明する図である。
【図８】実際の楽曲信号をＭＩＤＩコードで符号化し、復号化した信号Ｓ(i)の振幅スペクトルの値の隣同士の差分を示す図である。
【図９】実際の楽曲信号をＭＩＤＩコードで符号化し、復号化した信号Ｓ(i)の振幅スペクトラムの値の隣同士の差分を示す図である。
【図１０】図８を等高線で表した図である。
【図１１】図８の楽曲を等高線で表した図である。
【図１２】図９の楽曲を等高線で表した図である。
【図１３】本発明の方式を用いて音割れ検出を自動的に行った場合と、人間が聞いて検出した場合の比較をした図である。
【符号の説明】
【００４２】
１・・・エンコーダ
２・・・デコーダ
３・・・スピーカ
５・・・振幅スペクトル計算装置
６・・・２乗距離計算装置
７・・・判定装置
５０〜５３・・掛算回路
６０〜６３・・フーリエ変換回路
７０〜７３・・振幅計算回路
８０〜８３・・２乗距離計算回路
９０〜９３・・閾値照合回路
【特許請求の範囲】
【請求項１】
符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算手段と、
音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算手段と、
該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定手段と、
該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定手段と、
を有することを特徴とする音割れ検出装置。
【請求項２】
前記振幅スペクトル計算手段は、窓関数掛算回路と、フーリエ変換回路と、振幅計算回路で構成されていることを特徴とする請求項１記載の音割れ検出装置。
【請求項３】
符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算処理と、
音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算処理と、
該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定処理と、
該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定処理と、
を行うことを特徴とする音割れ検出方法。
【請求項４】
前記振幅スペクトル計算処理は、窓関数の掛算処理と、フーリエ変換処理と、振幅計算処理を行うことを特徴とする請求項３記載の音割れ検出方法。
【請求項５】
符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算処理と、
音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算処理と、
該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定処理と、
該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定処理と、
を行うプログラムであって、コンピュータが実行可能なプログラム。
【請求項６】
前記振幅スペクトル計算処理は、窓関数の掛算処理と、フーリエ変換処理と、振幅計算処理を行うプログラムであって、コンピュータが実行可能な請求項５記載のプログラム。
【請求項７】
楽曲信号を符号化し、復号化して再生するシステムにおいて、
符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して一定時間ごとの振幅スペクトルを計算し、音量の異なるもの間の関係を利用して、再生した場合に人間にとって不快であるか否かを推定することを特徴とする音割れ検出装置。
【請求項８】
音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を利用して推定することを特徴とする請求項７記載の音割れ検出装置。
【請求項９】
最も小さい音量の楽曲信号から、特定の音量の楽曲信号までの各音量段階のすべての楽曲信号のそれぞれの振幅スペクトルを平均した値と、該特定の音量の楽曲信号の振幅スペクトルを比較して推定することを特徴とする請求項７記載の音割れ検出装置。
【請求項１０】
音量が異なる同一の楽曲信号に対して、一定時間ごとの振幅スペクトルを計算し、その値を表示することを特徴とする音割れ検出装置。
【請求項１】
符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算手段と、
音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算手段と、
該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定手段と、
該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定手段と、
を有することを特徴とする音割れ検出装置。
【請求項２】
前記振幅スペクトル計算手段は、窓関数掛算回路と、フーリエ変換回路と、振幅計算回路で構成されていることを特徴とする請求項１記載の音割れ検出装置。
【請求項３】
符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算処理と、
音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算処理と、
該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定処理と、
該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定処理と、
を行うことを特徴とする音割れ検出方法。
【請求項４】
前記振幅スペクトル計算処理は、窓関数の掛算処理と、フーリエ変換処理と、振幅計算処理を行うことを特徴とする請求項３記載の音割れ検出方法。
【請求項５】
符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して、一定時間ごとの振幅ペクトルを計算する振幅スペクトル計算処理と、
音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を計算する２乗距離計算処理と、
該計算結果が一定値を越えるか判断し、該一定値を越える期間が一定数以上ある場合、又は前記一定値を越えている間における、前記計算結果と前記一定値との差の総和が所定値を超える場合、楽曲信号に音割れがあると判定する判定処理と、
該判定結果に基づいて、音割れ直前の音量の楽曲信号を音割れのない楽曲信号であると推定する推定処理と、
を行うプログラムであって、コンピュータが実行可能なプログラム。
【請求項６】
前記振幅スペクトル計算処理は、窓関数の掛算処理と、フーリエ変換処理と、振幅計算処理を行うプログラムであって、コンピュータが実行可能な請求項５記載のプログラム。
【請求項７】
楽曲信号を符号化し、復号化して再生するシステムにおいて、
符号化前の音量のみが異なる同一の楽曲信号を符号化し、復号化した楽曲信号に対して一定時間ごとの振幅スペクトルを計算し、音量の異なるもの間の関係を利用して、再生した場合に人間にとって不快であるか否かを推定することを特徴とする音割れ検出装置。
【請求項８】
音量が隣接する楽曲信号の振幅スペクトル同士の２乗距離を利用して推定することを特徴とする請求項７記載の音割れ検出装置。
【請求項９】
最も小さい音量の楽曲信号から、特定の音量の楽曲信号までの各音量段階のすべての楽曲信号のそれぞれの振幅スペクトルを平均した値と、該特定の音量の楽曲信号の振幅スペクトルを比較して推定することを特徴とする請求項７記載の音割れ検出装置。
【請求項１０】
音量が異なる同一の楽曲信号に対して、一定時間ごとの振幅スペクトルを計算し、その値を表示することを特徴とする音割れ検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−２５６７５８（Ｐ２００８−２５６７５８Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−９５８７４（Ｐ２００７−９５８７４）
【出願日】平成１９年３月３１日（２００７．３．３１）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【出願人】（５９９１２６８００）株式会社エムティーアイ (17)
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年３月３１日（２００７．３．３１）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【出願人】（５９９１２６８００）株式会社エムティーアイ (17)
[ Back to top ]