オーディオ信号処理装置
【課題】マスキング効果を利用して情報量を減らした圧縮オーディオ信号の音質を的確に改善する。
【解決手段】 音楽等のオーディオ信号の場合、圧縮により省略される信号成分（マスキー）は、以前マスカーであったものが減衰したものが多い。そこで、伸長したオーディオ信号に残響を付与することにより、以前はマスカーであったが、今はマスキーとなっている信号成分を今の信号に取り込み、擬似的に原音のオーディオ信号を復元する。人間の聴覚マスキング特性は、周波数によって異なる。そこで、オーディオ信号を複数の周波数帯域の部分帯域信号に分割し、各周波数帯域のマスキング特性に合わせた特性の残響を付与する。
【解決手段】 音楽等のオーディオ信号の場合、圧縮により省略される信号成分（マスキー）は、以前マスカーであったものが減衰したものが多い。そこで、伸長したオーディオ信号に残響を付与することにより、以前はマスカーであったが、今はマスキーとなっている信号成分を今の信号に取り込み、擬似的に原音のオーディオ信号を復元する。人間の聴覚マスキング特性は、周波数によって異なる。そこで、オーディオ信号を複数の周波数帯域の部分帯域信号に分割し、各周波数帯域のマスキング特性に合わせた特性の残響を付与する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、圧縮されたデジタルオーディオ信号をデコードしたときの音質の劣化を補償するオーディオ信号処理装置、オーディオ信号処理方法、および、オーディオ信号処理プログラムに関する。
【背景技術】
【０００２】
近年、ＭＰ３，ＡＴＲＡＣ，ＡＡＣ等のオーディオ信号圧縮方式が開発され、実用化されている。これら信号圧縮方式の殆どは、人間の聴覚のマスキング効果を利用し、生のオーディオ信号のうちマスキング効果によってリスナに聞こえないであろう信号成分を省略することによって聴感上の音質劣化を抑えながら情報量を少なくしている。
【０００３】
図１は人間のマスキング効果について説明する図である。図１（Ａ），（Ｂ）は、マスキング効果のうち同時マスキングについて示している。また、図１（Ｃ）は、マスキング効果のうち継時マスキングについて示している。同時マスキングとは、オーディオ信号中のある周波数に大レベルの信号成分（マスカー）が存在する場合、その周辺の周波数の信号成分（マスキー）はリスナに聞こえないという効果である。同図（Ａ）に示すように、マスカーのレベルが大きいほどマスクされるマスキーのレベルも大きくなり、周波数範囲も広くなる。また、同図（Ｂ）に示すように、マスカーのレベルが（等感度曲線上で）同じレベルであっても、その周波数によって周波数軸の広がりが異なり、１ｋＨｚ以下では約１００Ｈｚの範囲、１ｋＨｚ以上では周波数が大きいほど影響を及ぼす範囲は大きくなる。
【０００４】
また、同図（Ｃ）に示すように、大レベルの信号成分が発音された後は、その周辺の周波数成分については、しばらくの間音が聞こえなくなる。また、これら同時マスキング効果、（前方の）継時マスキング効果以外にも、時間的に過去に遡る後方継時マスキング効果や倍音マスキング効果等を利用したものもある。
【０００５】
しかしながら、上記オーディオ信号圧縮方式は、不可逆に情報量を少なくするのであるから音質が劣化することは否めず、特に高音域の音質劣化が著しいといわれている。そこで、復調（デコード）したオーディオ信号の高音域を強調することによって、音質の劣化を補償する技術が開発されている（たとえば特許文献１）。
【特許文献１】特開２００３−１４０６９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１の装置では、強調されるのは高音部のみであり、それ以外の周波数帯域の音質劣化を補償することはできなかった。
【０００７】
また、単に高音域を強調して新たな周波数成分を生成するのみであるため、実際に存在していたが省略された信号成分を再現したことにはならず、聴感上の音質改善にはなるが、原音を復元することにはならないという問題点があった。
【０００８】
この発明は、マスキング効果を利用して情報量を減らした圧縮オーディオ信号の音質を的確に改善できるオーディオ信号処理装置、オーディオ信号処理方法、オーディオ信号処理プログラムを提供することを特徴とする。
【課題を解決するための手段】
【０００９】
この発明は、圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割する帯域分割部と、各部分帯域信号ごとに設けられ、各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成する残響フィルタと、前記残響フィルタが生成した各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算する加算部と、を備えたオーディオ信号処理装置である。
【００１０】
この発明は、圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出す高域分離部と、前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成する残響フィルタと、前記残響フィルタが生成した残響信号を前記復調オーディオ信号に加算する加算部と、を備えたオーディオ信号処理装置である。
【００１１】
この発明は、前記残響信号を、前記復調オーディオ信号によってマスキングされるレベルに応じたゲインで増幅する増幅部を備えたオーディオ信号処理装置である。
【００１２】
この発明は、圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割し、各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成し、前記各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算することを特徴とするオーディオ信号処理方法である。
【００１３】
この発明は、圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出し、前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成し、前記残響信号を前記復調オーディオ信号に加算することを特徴とするオーディオ信号処理方法である。
【００１４】
この発明は、デジタル信号処理装置に、圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割するプロセス、各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成するプロセス、前記各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算するするプロセス、を実行させるオーディオ信号処理プログラムである。
【００１５】
この発明は、デジタル信号処理装置に、圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出すプロセス、前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成するプロセス、前記残響信号を前記復調オーディオ信号に加算するプロセス、を実行させるオーディオ信号処理プログラムである。
【００１６】
音楽等のオーディオ信号の場合、圧縮により省略される信号成分は、その直前は大レベルで発音されていた楽音が減衰したものが多い。すなわち、打楽器等の減衰音は時間とともに減衰するため、最初はマスカーであっても途中からマスキーに変わる、また、その楽音を録音したホールに響きがあっても直接音と初期反射音は発音されるが残響はマスキーとなって省略されてしまう、等である。そこで、圧縮オーディオ信号を復調した復調信号に残響を付与することにより、以前はマスカーであったが、今はマスキーとなっている信号成分を復元することができ、擬似的に原音のオーディオ信号を復元することができる。
【００１７】
圧縮オーディオ信号は、人間の聴覚マスキング特性に基づいて信号成分を省略している。人間の聴覚マスキング特性は、周波数によって異なる。そこで、この発明では、復元オーディオ信号を複数の周波数帯域の部分帯域信号に分割し、各周波数帯域のマスキング特性に合わせた特性の残響を付与する。
【００１８】
なお、信号圧縮による音質の劣化は高音域において顕著であるため、高音域のみ残響を付加しても簡易的に音質の改善実現することができる。
【００１９】
また、復調オーディオ信号の周波数成分（マスカー）のレベルによっても実際にマスキングされる周波数成分の特性が変化するため、この復調オーディオ信号に応じて残響信号を増幅するゲインを調整し、実際にマスキングされた信号成分に近い残響を付加するようにする。
【発明の効果】
【００２０】
この発明によれば、人間の聴覚のマスキング効果に基づいて省略された音声信号成分を擬似的に再現することができるため、マスキング効果を利用した圧縮によって劣化した音質をよりよく改善することができる。
【発明を実施するための最良の形態】
【００２１】
図面を参照してこの発明の実施形態について説明する。図２は、この発明の実施形態であるオーディオ信号処理装置のブロック図である。このオーディオ信号処理装置では、図１に示したマスキング効果による非可聴成分を省略することによって圧縮されたオーディオ信号を再生するときに、直前の（時間的に遡った）音声信号を残響として残すことにより、上記圧縮によって省略された信号成分を擬似的に復元するものである。
【００２２】
これは、オーディオ信号が音楽演奏等の楽音である場合、省略される信号成分は、その直前にはレベルが大きく省略されず発音していた成分が減衰したものまたは演奏によりデクレッシェンドしたものである可能性がたかい。そこで過去の信号を残響として小レベルで付加することにより、この失われた信号成分を擬似的に復元することが可能になる。
【００２３】
図２に示すように、オーディオ信号処理装置は、圧縮されたオーディオ信号を伸長（デコード）するデコーダ１０、デコードされたオーディオ信号を高域（Ｈ），中域（Ｍ），低域（Ｌ）の３つの周波数帯域に分割する帯域分割フィルタ１１、各帯域の信号に基づき、それぞれの態様の残響信号を生成する残響フィルタ１２（１２Ｈ，１２Ｍ，１２Ｌ）、生成された各帯域の残響信号をそれぞれのレベルで増幅するアンプ１３（１３Ｈ，１３Ｍ，１３Ｌ）、高域，中域，低域に分割された残響信号を統合する帯域合成部１５、帯域合成部１５から出力された残響信号とデコーダ１０でデコードされた復調オーディオ信号とを合成する加算器１６を備えている。
【００２４】
また、オーディオ信号処理装置は、デコーダ１０がデコードしたオーディオ信号の周波数特性に応じて、アンプ１３（１３Ｈ，１３Ｍ，１３Ｌ）のゲインを設定する解析部１４を備えている。また、この解析部１４が、デコーダ１０がデコードしたオーディオ信号の周波数特性に応じて残響フィルタ１２（１２Ｈ，１２Ｍ，１２Ｌ）のフィルタ特性）を設定するようにしてもよい。
【００２５】
図１のブロック図は機能的に示したものであり、このオーディオ信号処理装置は、例えばオーディオ装置やＡＶ機器に組み込まれる場合においてはＤＳＰ等のハードウェアで実現される。
【００２６】
デコーダ１０は、ＭＰ３，ＡＴＲＡＣ，ＡＡＣ等の圧縮方式で圧縮されたオーディオ信号を通常のＰＣＭ形式のオーディオ信号にデコードする。このデコードされたオーディオ信号は帯域分割部１１、加算器１６および解析部１４に入力される。また、デコーダは、デコードする前の圧縮されたオーディオ信号に含まれる（省略されずに残った）再生信号成分の周波数・レベル成分情報を、解析部１４に出力する。
【００２７】
帯域分割部１１は、入力されたオーディオ信号を高域（Ｈ），中域（Ｍ），低域（Ｌ）に分割して、それぞれ別々の残響フィルタ１２（１２Ｈ，１２Ｍ，１２Ｌ）に入力する。各帯域は、低域が２００Ｈｚ以下、中域が２００Ｈｚ〜２ｋＨｚ、高域が２ｋＨｚ以上となるように分割する。
【００２８】
なお各帯域の周波数割りは上記に限定されない。また、帯域分割数も高域、中域、低域の３つに限定されるものではない。
【００２９】
残響フィルタ１２Ｈ，１２Ｍ，１２Ｌは、帯域分割部から入力されたオーディオ信号に対して、それぞれの帯域に応じたフィルタ特性で残響を付与し、残響信号を生成する。
【００３０】
ここで、図３を参照して残響フィルタ１２Ｈ，１２Ｍ，１２Ｌに設定されるフィルタ特性について説明する。図３は、（Ａ），（Ｂ），（Ｃ）は、それぞれ高域、中域、低域の残響フィルタに設定されるフィルタ特性を示す図である。
【００３１】
人間の聴覚の高音域のマスキング特性は、大きな音が鳴った直後は大レベルの信号成分までマスキングされるが、そのマスキングレベルの減衰は急速である。そこで、高域の残響フィルタ１２Ｈには、このマスキング特性を模して初期レベルが高く減衰の速いフィルタ係数を設定する。また、人間の聴覚の低音域のマスキング特性は、大きな音が鳴った直後でもマスキングされる信号成分のレベルは高くないが、その後のマスキングレベルの減衰は緩やかであり長時間持続する。そこで、低域の残響フィルタ１２Ｌには、このマスキング特性を模して初期レベルが低く減衰の緩やかなフィルタ係数を設定する。人間の聴覚の中音域のマスキング特性は、高音域と低音域の中間の特性であるため、中域の残響フィルタ１２Ｍには、高域の残響フィルタ１２Ｈのフィルタ係数と低域の残響フィルタ１２Ｌのフィルタ係数の中間の特徴をもったフィルタ係数を設定する。
【００３２】
なお、各残響フィルタ１２Ｈ，１２Ｍ，１２Ｌは、直接音を出力せず残響の成分のみを出力するようにしているが、直接音も出力するようにしてもよい。
【００３３】
これらのフィルタ係数は、固定的なものであるが、デコードされたオーディオ信号の周波数特性に応じて（解析部１４の解析に基づき）特性を変更するようにしてもよい。たとえば、各帯域で特に大レベルの成分が出力された場合には、その成分の周辺周波数を強調するような周波数特性を持たせる等である。
【００３４】
なお、残響フィルタ１２は、信号圧縮により省略された周波数成分を擬似的に復元するためのものであるため、ホール等の空間の響きを模擬する一般の残響効果装置のように、残響特性を（空間の広さを模した）ディレイ，（直接反射音を模した）初期反射音，（乱反射音を模した）残響音と時間分割する必要はなく、最初から密なタップ設定で残響信号を出力するように設定すればよい。
【００３５】
図２にもどって、残響フィルタ１２Ｈ，１２Ｍ，１２Ｌから出力された残響信号は、アンプ１３Ｈ，１３Ｍ，１３Ｌに入力され、それぞれのアンプに設定されたゲインで増幅される。これらアンプ１３Ｈ，１３Ｍ，１３Ｌのゲインは、解析部１４が、デコーダ１０がデコードしたオーディオ信号の周波数特性に応じて設定する。
【００３６】
図４を参照してアンプ１３Ｈ，１３Ｍ，１３Ｌのゲイン決定の方式を説明する。図４は、デコードされたオーディオ信号のある瞬間のピーク周波数成分とそのピーク周波数成分による同時マスキング範囲を示す図である。図示のようにピーク周波数成分によって低レベルの信号成分の多くはマスキングされてしまい、ピークレベルが高いほど、マスキングされる信号のレベルも高くなる。そこで、各周波数帯域（高域、中域、低域）で、それぞれ最大のピークレベルを検出し、そのレベルに相関した値をその帯域のアンプのゲインとして設定する。
【００３７】
オーディオ信号のピーク周波数成分は、デコードされたオーディオ信号をＦＦＴして求めてもよく、デコードする前の圧縮信号に含まれている周波数成分情報をデコーダ１０から入力するようにしてもよい。
【００３８】
上記では各帯域の最大ピークレベルに相関した値をその帯域のアンプゲインとして設定したが、各帯域のピークレベルの平均値等に基づいてアンプのゲインを設定するようにしてもよい。また、この実施形態では同時マスキングのみ考慮してアンプのゲインを設定しているが、過去のオーディオ信号の周波数成分に基づき、継時マスキングも考慮してアンプのゲインを設定するようにしてもよい。
【００３９】
図２に戻って、帯域合成部１５は、高域、中域、低域の帯域ごとに生成された残響信号を合成して全帯域の残響信号を生成する。そして、この残響信号を加算器１６に出力する。加算器１６は、この残響信号をデコーダ１０で復調出力された復調オーディオ信号と合成して後段の装置に出力する。後段の装置は、たとえばイコライザ、Ｄ／Ａコンバータ等である。
【００４０】
デコーダ１０から出力された復調オーディオ信号と、そののち帯域分割部１１から帯域合成部１５までの処理部で処理されて出力される残響信号とでは、加算器１６に入力可能になるタイミングが異なるが、両信号が適切なタイミングで合成されるように復調オーディオ信号をバッファして加算器１６に入力する。
【００４１】
図５は、この発明の第２の実施形態であるオーディオ信号処理装置の構成を示すブロック図である。この図において、図２と同一構成の部分は同一符号を付して説明を省略する。このオーディオ信号処理装置は、信号圧縮では高域の信号成分の省略による音質劣化が著しいことに着目し、簡略な構成で効率的に音質の改善を図れるようにしたものである。このオーディオ信号処理装置は、このため、図２のオーディオ信号処理装置のうち中域、低域の処理系統を省略し、高域の処理系統である残響フィルタ１２Ｈ、アンプ１３Ｈのみを備えている。残響フィルタ１２Ｈには、ハイパスフィルタ（ＨＰＦ）１１′で取り出された高域の信号成分が入力される。またアンプ１３Ｈから出力された高域の残響信号は帯域合成部を経ることなくそのまま加算器１６で復調オーディオ信号と合成される。
【００４２】
図６は、この発明の第３の実施形態であるオーディオ信号処理装置の構成を示すブロック図である。この図において、図２と同一構成の部分は同一符号を付して説明を省略する。このオーディオ信号処理装置は、図２の構成のオーディオ信号処理装置にさらに高域強調部を付加したものである。このオーディオ信号処理装置は、残響信号を用いて省略された信号成分を擬似的に復元するとともに、残響にも含まれていない高音域の信号成分を強調または生成する高域強調部２０を備えている。この高域強調部２０としては、たとえば特開２００３−１４０６９６号公報記載の装置等を用いることができる。
なお、図６では高域強調部２０を帯域分割部１１〜加算部１６までの残響付与部と並列に設けたが、加算器１６の後段に高域強調部を設け、残響を付与されたオーディオ信号に対して更に高域を強調するようにしてもよい。
【００４３】
上記オーディオ信号処理装置は、ＤＳＰ等の専用プロセッサ上に構成するのみならず、パーソナルコンピュータ等でソフトウェア的に構成してもよい。
【図面の簡単な説明】
【００４４】
【図１】人間の聴覚のマスキング特性を説明する図
【図２】この発明の実施形態であるオーディオ信号処理装置のブロック図
【図３】同オーディオ信号処理装置の残響フィルタのフィルタ係数を説明する図
【図４】同オーディオ信号処理装置のアンプのゲイン決定方式を説明する図
【図５】この発明の第２の実施形態であるオーディオ信号処理装置のブロック図
【図６】この発明の第３の実施形態であるオーディオ信号処理装置のブロック図
【符号の説明】
【００４５】
１０…デコーダ
１１…帯域分割部
１１′…ハイパスフィルタ
１２（１２Ｈ、１２Ｍ、１２Ｌ）…残響フィルタ
１３（１３Ｈ、１３Ｍ、１３Ｌ）…アンプ
１４…解析部
１５…帯域合成部
１６…加算器
２０…高域強調部
【技術分野】
【０００１】
この発明は、圧縮されたデジタルオーディオ信号をデコードしたときの音質の劣化を補償するオーディオ信号処理装置、オーディオ信号処理方法、および、オーディオ信号処理プログラムに関する。
【背景技術】
【０００２】
近年、ＭＰ３，ＡＴＲＡＣ，ＡＡＣ等のオーディオ信号圧縮方式が開発され、実用化されている。これら信号圧縮方式の殆どは、人間の聴覚のマスキング効果を利用し、生のオーディオ信号のうちマスキング効果によってリスナに聞こえないであろう信号成分を省略することによって聴感上の音質劣化を抑えながら情報量を少なくしている。
【０００３】
図１は人間のマスキング効果について説明する図である。図１（Ａ），（Ｂ）は、マスキング効果のうち同時マスキングについて示している。また、図１（Ｃ）は、マスキング効果のうち継時マスキングについて示している。同時マスキングとは、オーディオ信号中のある周波数に大レベルの信号成分（マスカー）が存在する場合、その周辺の周波数の信号成分（マスキー）はリスナに聞こえないという効果である。同図（Ａ）に示すように、マスカーのレベルが大きいほどマスクされるマスキーのレベルも大きくなり、周波数範囲も広くなる。また、同図（Ｂ）に示すように、マスカーのレベルが（等感度曲線上で）同じレベルであっても、その周波数によって周波数軸の広がりが異なり、１ｋＨｚ以下では約１００Ｈｚの範囲、１ｋＨｚ以上では周波数が大きいほど影響を及ぼす範囲は大きくなる。
【０００４】
また、同図（Ｃ）に示すように、大レベルの信号成分が発音された後は、その周辺の周波数成分については、しばらくの間音が聞こえなくなる。また、これら同時マスキング効果、（前方の）継時マスキング効果以外にも、時間的に過去に遡る後方継時マスキング効果や倍音マスキング効果等を利用したものもある。
【０００５】
しかしながら、上記オーディオ信号圧縮方式は、不可逆に情報量を少なくするのであるから音質が劣化することは否めず、特に高音域の音質劣化が著しいといわれている。そこで、復調（デコード）したオーディオ信号の高音域を強調することによって、音質の劣化を補償する技術が開発されている（たとえば特許文献１）。
【特許文献１】特開２００３−１４０６９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１の装置では、強調されるのは高音部のみであり、それ以外の周波数帯域の音質劣化を補償することはできなかった。
【０００７】
また、単に高音域を強調して新たな周波数成分を生成するのみであるため、実際に存在していたが省略された信号成分を再現したことにはならず、聴感上の音質改善にはなるが、原音を復元することにはならないという問題点があった。
【０００８】
この発明は、マスキング効果を利用して情報量を減らした圧縮オーディオ信号の音質を的確に改善できるオーディオ信号処理装置、オーディオ信号処理方法、オーディオ信号処理プログラムを提供することを特徴とする。
【課題を解決するための手段】
【０００９】
この発明は、圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割する帯域分割部と、各部分帯域信号ごとに設けられ、各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成する残響フィルタと、前記残響フィルタが生成した各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算する加算部と、を備えたオーディオ信号処理装置である。
【００１０】
この発明は、圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出す高域分離部と、前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成する残響フィルタと、前記残響フィルタが生成した残響信号を前記復調オーディオ信号に加算する加算部と、を備えたオーディオ信号処理装置である。
【００１１】
この発明は、前記残響信号を、前記復調オーディオ信号によってマスキングされるレベルに応じたゲインで増幅する増幅部を備えたオーディオ信号処理装置である。
【００１２】
この発明は、圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割し、各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成し、前記各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算することを特徴とするオーディオ信号処理方法である。
【００１３】
この発明は、圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出し、前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成し、前記残響信号を前記復調オーディオ信号に加算することを特徴とするオーディオ信号処理方法である。
【００１４】
この発明は、デジタル信号処理装置に、圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割するプロセス、各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成するプロセス、前記各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算するするプロセス、を実行させるオーディオ信号処理プログラムである。
【００１５】
この発明は、デジタル信号処理装置に、圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出すプロセス、前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成するプロセス、前記残響信号を前記復調オーディオ信号に加算するプロセス、を実行させるオーディオ信号処理プログラムである。
【００１６】
音楽等のオーディオ信号の場合、圧縮により省略される信号成分は、その直前は大レベルで発音されていた楽音が減衰したものが多い。すなわち、打楽器等の減衰音は時間とともに減衰するため、最初はマスカーであっても途中からマスキーに変わる、また、その楽音を録音したホールに響きがあっても直接音と初期反射音は発音されるが残響はマスキーとなって省略されてしまう、等である。そこで、圧縮オーディオ信号を復調した復調信号に残響を付与することにより、以前はマスカーであったが、今はマスキーとなっている信号成分を復元することができ、擬似的に原音のオーディオ信号を復元することができる。
【００１７】
圧縮オーディオ信号は、人間の聴覚マスキング特性に基づいて信号成分を省略している。人間の聴覚マスキング特性は、周波数によって異なる。そこで、この発明では、復元オーディオ信号を複数の周波数帯域の部分帯域信号に分割し、各周波数帯域のマスキング特性に合わせた特性の残響を付与する。
【００１８】
なお、信号圧縮による音質の劣化は高音域において顕著であるため、高音域のみ残響を付加しても簡易的に音質の改善実現することができる。
【００１９】
また、復調オーディオ信号の周波数成分（マスカー）のレベルによっても実際にマスキングされる周波数成分の特性が変化するため、この復調オーディオ信号に応じて残響信号を増幅するゲインを調整し、実際にマスキングされた信号成分に近い残響を付加するようにする。
【発明の効果】
【００２０】
この発明によれば、人間の聴覚のマスキング効果に基づいて省略された音声信号成分を擬似的に再現することができるため、マスキング効果を利用した圧縮によって劣化した音質をよりよく改善することができる。
【発明を実施するための最良の形態】
【００２１】
図面を参照してこの発明の実施形態について説明する。図２は、この発明の実施形態であるオーディオ信号処理装置のブロック図である。このオーディオ信号処理装置では、図１に示したマスキング効果による非可聴成分を省略することによって圧縮されたオーディオ信号を再生するときに、直前の（時間的に遡った）音声信号を残響として残すことにより、上記圧縮によって省略された信号成分を擬似的に復元するものである。
【００２２】
これは、オーディオ信号が音楽演奏等の楽音である場合、省略される信号成分は、その直前にはレベルが大きく省略されず発音していた成分が減衰したものまたは演奏によりデクレッシェンドしたものである可能性がたかい。そこで過去の信号を残響として小レベルで付加することにより、この失われた信号成分を擬似的に復元することが可能になる。
【００２３】
図２に示すように、オーディオ信号処理装置は、圧縮されたオーディオ信号を伸長（デコード）するデコーダ１０、デコードされたオーディオ信号を高域（Ｈ），中域（Ｍ），低域（Ｌ）の３つの周波数帯域に分割する帯域分割フィルタ１１、各帯域の信号に基づき、それぞれの態様の残響信号を生成する残響フィルタ１２（１２Ｈ，１２Ｍ，１２Ｌ）、生成された各帯域の残響信号をそれぞれのレベルで増幅するアンプ１３（１３Ｈ，１３Ｍ，１３Ｌ）、高域，中域，低域に分割された残響信号を統合する帯域合成部１５、帯域合成部１５から出力された残響信号とデコーダ１０でデコードされた復調オーディオ信号とを合成する加算器１６を備えている。
【００２４】
また、オーディオ信号処理装置は、デコーダ１０がデコードしたオーディオ信号の周波数特性に応じて、アンプ１３（１３Ｈ，１３Ｍ，１３Ｌ）のゲインを設定する解析部１４を備えている。また、この解析部１４が、デコーダ１０がデコードしたオーディオ信号の周波数特性に応じて残響フィルタ１２（１２Ｈ，１２Ｍ，１２Ｌ）のフィルタ特性）を設定するようにしてもよい。
【００２５】
図１のブロック図は機能的に示したものであり、このオーディオ信号処理装置は、例えばオーディオ装置やＡＶ機器に組み込まれる場合においてはＤＳＰ等のハードウェアで実現される。
【００２６】
デコーダ１０は、ＭＰ３，ＡＴＲＡＣ，ＡＡＣ等の圧縮方式で圧縮されたオーディオ信号を通常のＰＣＭ形式のオーディオ信号にデコードする。このデコードされたオーディオ信号は帯域分割部１１、加算器１６および解析部１４に入力される。また、デコーダは、デコードする前の圧縮されたオーディオ信号に含まれる（省略されずに残った）再生信号成分の周波数・レベル成分情報を、解析部１４に出力する。
【００２７】
帯域分割部１１は、入力されたオーディオ信号を高域（Ｈ），中域（Ｍ），低域（Ｌ）に分割して、それぞれ別々の残響フィルタ１２（１２Ｈ，１２Ｍ，１２Ｌ）に入力する。各帯域は、低域が２００Ｈｚ以下、中域が２００Ｈｚ〜２ｋＨｚ、高域が２ｋＨｚ以上となるように分割する。
【００２８】
なお各帯域の周波数割りは上記に限定されない。また、帯域分割数も高域、中域、低域の３つに限定されるものではない。
【００２９】
残響フィルタ１２Ｈ，１２Ｍ，１２Ｌは、帯域分割部から入力されたオーディオ信号に対して、それぞれの帯域に応じたフィルタ特性で残響を付与し、残響信号を生成する。
【００３０】
ここで、図３を参照して残響フィルタ１２Ｈ，１２Ｍ，１２Ｌに設定されるフィルタ特性について説明する。図３は、（Ａ），（Ｂ），（Ｃ）は、それぞれ高域、中域、低域の残響フィルタに設定されるフィルタ特性を示す図である。
【００３１】
人間の聴覚の高音域のマスキング特性は、大きな音が鳴った直後は大レベルの信号成分までマスキングされるが、そのマスキングレベルの減衰は急速である。そこで、高域の残響フィルタ１２Ｈには、このマスキング特性を模して初期レベルが高く減衰の速いフィルタ係数を設定する。また、人間の聴覚の低音域のマスキング特性は、大きな音が鳴った直後でもマスキングされる信号成分のレベルは高くないが、その後のマスキングレベルの減衰は緩やかであり長時間持続する。そこで、低域の残響フィルタ１２Ｌには、このマスキング特性を模して初期レベルが低く減衰の緩やかなフィルタ係数を設定する。人間の聴覚の中音域のマスキング特性は、高音域と低音域の中間の特性であるため、中域の残響フィルタ１２Ｍには、高域の残響フィルタ１２Ｈのフィルタ係数と低域の残響フィルタ１２Ｌのフィルタ係数の中間の特徴をもったフィルタ係数を設定する。
【００３２】
なお、各残響フィルタ１２Ｈ，１２Ｍ，１２Ｌは、直接音を出力せず残響の成分のみを出力するようにしているが、直接音も出力するようにしてもよい。
【００３３】
これらのフィルタ係数は、固定的なものであるが、デコードされたオーディオ信号の周波数特性に応じて（解析部１４の解析に基づき）特性を変更するようにしてもよい。たとえば、各帯域で特に大レベルの成分が出力された場合には、その成分の周辺周波数を強調するような周波数特性を持たせる等である。
【００３４】
なお、残響フィルタ１２は、信号圧縮により省略された周波数成分を擬似的に復元するためのものであるため、ホール等の空間の響きを模擬する一般の残響効果装置のように、残響特性を（空間の広さを模した）ディレイ，（直接反射音を模した）初期反射音，（乱反射音を模した）残響音と時間分割する必要はなく、最初から密なタップ設定で残響信号を出力するように設定すればよい。
【００３５】
図２にもどって、残響フィルタ１２Ｈ，１２Ｍ，１２Ｌから出力された残響信号は、アンプ１３Ｈ，１３Ｍ，１３Ｌに入力され、それぞれのアンプに設定されたゲインで増幅される。これらアンプ１３Ｈ，１３Ｍ，１３Ｌのゲインは、解析部１４が、デコーダ１０がデコードしたオーディオ信号の周波数特性に応じて設定する。
【００３６】
図４を参照してアンプ１３Ｈ，１３Ｍ，１３Ｌのゲイン決定の方式を説明する。図４は、デコードされたオーディオ信号のある瞬間のピーク周波数成分とそのピーク周波数成分による同時マスキング範囲を示す図である。図示のようにピーク周波数成分によって低レベルの信号成分の多くはマスキングされてしまい、ピークレベルが高いほど、マスキングされる信号のレベルも高くなる。そこで、各周波数帯域（高域、中域、低域）で、それぞれ最大のピークレベルを検出し、そのレベルに相関した値をその帯域のアンプのゲインとして設定する。
【００３７】
オーディオ信号のピーク周波数成分は、デコードされたオーディオ信号をＦＦＴして求めてもよく、デコードする前の圧縮信号に含まれている周波数成分情報をデコーダ１０から入力するようにしてもよい。
【００３８】
上記では各帯域の最大ピークレベルに相関した値をその帯域のアンプゲインとして設定したが、各帯域のピークレベルの平均値等に基づいてアンプのゲインを設定するようにしてもよい。また、この実施形態では同時マスキングのみ考慮してアンプのゲインを設定しているが、過去のオーディオ信号の周波数成分に基づき、継時マスキングも考慮してアンプのゲインを設定するようにしてもよい。
【００３９】
図２に戻って、帯域合成部１５は、高域、中域、低域の帯域ごとに生成された残響信号を合成して全帯域の残響信号を生成する。そして、この残響信号を加算器１６に出力する。加算器１６は、この残響信号をデコーダ１０で復調出力された復調オーディオ信号と合成して後段の装置に出力する。後段の装置は、たとえばイコライザ、Ｄ／Ａコンバータ等である。
【００４０】
デコーダ１０から出力された復調オーディオ信号と、そののち帯域分割部１１から帯域合成部１５までの処理部で処理されて出力される残響信号とでは、加算器１６に入力可能になるタイミングが異なるが、両信号が適切なタイミングで合成されるように復調オーディオ信号をバッファして加算器１６に入力する。
【００４１】
図５は、この発明の第２の実施形態であるオーディオ信号処理装置の構成を示すブロック図である。この図において、図２と同一構成の部分は同一符号を付して説明を省略する。このオーディオ信号処理装置は、信号圧縮では高域の信号成分の省略による音質劣化が著しいことに着目し、簡略な構成で効率的に音質の改善を図れるようにしたものである。このオーディオ信号処理装置は、このため、図２のオーディオ信号処理装置のうち中域、低域の処理系統を省略し、高域の処理系統である残響フィルタ１２Ｈ、アンプ１３Ｈのみを備えている。残響フィルタ１２Ｈには、ハイパスフィルタ（ＨＰＦ）１１′で取り出された高域の信号成分が入力される。またアンプ１３Ｈから出力された高域の残響信号は帯域合成部を経ることなくそのまま加算器１６で復調オーディオ信号と合成される。
【００４２】
図６は、この発明の第３の実施形態であるオーディオ信号処理装置の構成を示すブロック図である。この図において、図２と同一構成の部分は同一符号を付して説明を省略する。このオーディオ信号処理装置は、図２の構成のオーディオ信号処理装置にさらに高域強調部を付加したものである。このオーディオ信号処理装置は、残響信号を用いて省略された信号成分を擬似的に復元するとともに、残響にも含まれていない高音域の信号成分を強調または生成する高域強調部２０を備えている。この高域強調部２０としては、たとえば特開２００３−１４０６９６号公報記載の装置等を用いることができる。
なお、図６では高域強調部２０を帯域分割部１１〜加算部１６までの残響付与部と並列に設けたが、加算器１６の後段に高域強調部を設け、残響を付与されたオーディオ信号に対して更に高域を強調するようにしてもよい。
【００４３】
上記オーディオ信号処理装置は、ＤＳＰ等の専用プロセッサ上に構成するのみならず、パーソナルコンピュータ等でソフトウェア的に構成してもよい。
【図面の簡単な説明】
【００４４】
【図１】人間の聴覚のマスキング特性を説明する図
【図２】この発明の実施形態であるオーディオ信号処理装置のブロック図
【図３】同オーディオ信号処理装置の残響フィルタのフィルタ係数を説明する図
【図４】同オーディオ信号処理装置のアンプのゲイン決定方式を説明する図
【図５】この発明の第２の実施形態であるオーディオ信号処理装置のブロック図
【図６】この発明の第３の実施形態であるオーディオ信号処理装置のブロック図
【符号の説明】
【００４５】
１０…デコーダ
１１…帯域分割部
１１′…ハイパスフィルタ
１２（１２Ｈ、１２Ｍ、１２Ｌ）…残響フィルタ
１３（１３Ｈ、１３Ｍ、１３Ｌ）…アンプ
１４…解析部
１５…帯域合成部
１６…加算器
２０…高域強調部
【特許請求の範囲】
【請求項１】
圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割する帯域分割部と、
各部分帯域信号ごとに設けられ、各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成する残響フィルタと、
前記残響フィルタが生成した各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算する加算部と、
を備えたオーディオ信号処理装置。
【請求項２】
圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出す高域分離部と、
前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成する残響フィルタと、
前記残響フィルタが生成した残響信号を前記復調オーディオ信号に加算する加算部と、
を備えたオーディオ信号処理装置。
【請求項３】
前記残響信号を、前記復調オーディオ信号によってマスキングされるレベルに応じたゲインで増幅する増幅部を備えた請求項１または請求項２に記載のオーディオ信号処理装置。
【請求項４】
圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割し、
各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成し、
前記各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算する、
ことを特徴とするオーディオ信号処理方法。
【請求項５】
圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出し、
前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成し、、
前記残響信号を前記復調オーディオ信号に加算する、
ことを特徴とするオーディオ信号処理方法。
【請求項６】
デジタル信号処理装置に、
圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割するプロセス、
各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成するプロセス、
前記各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算するするプロセス、
を実行させるオーディオ信号処理プログラム。
【請求項７】
デジタル信号処理装置に、
圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出すプロセス、
前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成するプロセス、
前記残響信号を前記復調オーディオ信号に加算するプロセス、
を実行させるオーディオ信号処理プログラム。
【請求項１】
圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割する帯域分割部と、
各部分帯域信号ごとに設けられ、各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成する残響フィルタと、
前記残響フィルタが生成した各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算する加算部と、
を備えたオーディオ信号処理装置。
【請求項２】
圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出す高域分離部と、
前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成する残響フィルタと、
前記残響フィルタが生成した残響信号を前記復調オーディオ信号に加算する加算部と、
を備えたオーディオ信号処理装置。
【請求項３】
前記残響信号を、前記復調オーディオ信号によってマスキングされるレベルに応じたゲインで増幅する増幅部を備えた請求項１または請求項２に記載のオーディオ信号処理装置。
【請求項４】
圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割し、
各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成し、
前記各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算する、
ことを特徴とするオーディオ信号処理方法。
【請求項５】
圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出し、
前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成し、、
前記残響信号を前記復調オーディオ信号に加算する、
ことを特徴とするオーディオ信号処理方法。
【請求項６】
デジタル信号処理装置に、
圧縮オーディオ信号を復調した復調オーディオ信号を複数の周波数帯域の部分帯域信号に分割するプロセス、
各部分帯域信号に基づいて、各周波数帯域における聴覚マスキング特性の時間変化を模した残響信号を生成するプロセス、
前記各周波数帯域ごとの残響信号を前記復調オーディオ信号に加算するするプロセス、
を実行させるオーディオ信号処理プログラム。
【請求項７】
デジタル信号処理装置に、
圧縮オーディオ信号を復調した復調オーディオ信号から高音域の部分帯域信号を取り出すプロセス、
前記部分帯域信号に基づいて、高音域における聴覚マスキング特性の時間変化を模した残響信号を生成するプロセス、
前記残響信号を前記復調オーディオ信号に加算するプロセス、
を実行させるオーディオ信号処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２７１６８６（Ｐ２００７−２７１６８６Ａ）
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００６−９３９４４（Ｐ２００６−９３９４４）
【出願日】平成１８年３月３０日（２００６．３．３０）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願日】平成１８年３月３０日（２００６．３．３０）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]