信号処理装置
【課題】できるだけ簡略な処理でオーディオ信号の内容を正確に検出することを可能にした信号処理装置を提供する。
【解決手段】オーディオ信号の音階周波数成分のエネルギーと全帯域成分のエネルギーとを比較することにより、オーディオ信号が楽音か否かを判定する楽音判定部、楽音判定部により楽音と判定されなかったとき、オーディオ信号の調波性の有無を判定することにより、オーディオ信号が調波音であるかその他音であるかを判定する調波性判定部、調波音であると判定されたとき、このオーディオ信号のピッチ周波数が音階周波数に一致しているか否か、および、ピッチ周波数の揺らぎの有無に基づいてオーディオ信号が話声であるか楽音であるかを判定する話声／楽音判定部、を備えた。
【解決手段】オーディオ信号の音階周波数成分のエネルギーと全帯域成分のエネルギーとを比較することにより、オーディオ信号が楽音か否かを判定する楽音判定部、楽音判定部により楽音と判定されなかったとき、オーディオ信号の調波性の有無を判定することにより、オーディオ信号が調波音であるかその他音であるかを判定する調波性判定部、調波音であると判定されたとき、このオーディオ信号のピッチ周波数が音階周波数に一致しているか否か、および、ピッチ周波数の揺らぎの有無に基づいてオーディオ信号が話声であるか楽音であるかを判定する話声／楽音判定部、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力されたオーディオ信号の内容を判別する信号処理装置に関する。
【背景技術】
【０００２】
近年、マルチチャンネルオーディオ装置が普及している。マルチチャンネルオーディオ装置は、５．１チャンネルなど、ステレオ２チャンネルよりも多いチャンネル（マルチチャンネル）のオーディオ信号を再生し、これらの信号を部屋の各所に設置された複数のスピーカから出力することによって、立体的な広がりのあるオーディオを再生する装置である（特許文献１）。
【０００３】
従来のマルチチャンネルオーディオ信号では、各チャンネルにどのような内容のオーディオ信号を割り振るか（チャンネル割当）は、ほぼ統一されていた。すなわち、センタチャンネルにセリフ等の話声、フロント左右チャンネルにＢＧＭ等の楽音、サラウンド左右チャンネルに環境音や効果音などのその他音が割り当てられていた。
【０００４】
マルチチャンネルオーディオ装置は、再生したオーディオ信号に反射音や残響音を付加することにより、ホールなどの仮想的な空間の響きを作り出す音場制御を行う機能を有している。ただし、セリフ等の話声に反射音や残響音等の効果を強く付加すると、明瞭度が低下して出演者が何を話しているか聴き取りくくなってしまうため、話声が再生されるチャンネルの音場制御量を他のチャンネルよりも小さくするように設定されている。
【０００５】
上記従来のコンテンツの場合、センタチャンネルにセリフ等の話声が割り振られるのが一般であるため、従来のマルチチャンネルオーディオ装置では、センタチャンネルの音場制御量を小とし、他のチャンネルの音場制御量を大または中とするよう予め設定されていた。
【０００６】
しかし、地上波デジタル放送の開始等により、家庭で再生可能なマルチチャンネルオーディオのコンテンツも多様化しており、従来の映画のようなチャンネル割当でないものが増えている。すなわち、センタチャンネルでないフロントチャンネルやサラウンドチャンネルに話声が割り当てられたコンテンツも増えている。
【０００７】
このようなマルチチャンネルオーディオコンテンツを従来の音場制御量の設定で再生すると、セリフ等の話声に強い反射音や残響効果が掛かってしまい、明瞭度が低下してしまう。また、センタチャンネルでＢＧＭ等の楽音が再生されている場合には、ＢＧＭに音場効果が掛からず雰囲気を盛り上げることができないなどの問題が生じる。
【０００８】
そこで、どのチャンネルでどのような内容の音響が再生されているかを検出して、各チャンネルの音場制御量を調整することが考えられる。特に、どのチャンネルで話声が再生されているかを検出し、話声が再生されているチャンネルの音場制御量を小さくすることが考えられる。オーディオ信号から話声を検出する手法としては、従来より特許文献２、３のような方法が提案されていた。
【０００９】
特許文献２には、有声音の時間波形の自己相関関数を用いて話声を検出することが記載されている。また、特許文献３には、音響信号における調波構造成分の占める占有度を瞬時周波数分析を用いて求め、これに基づいて音声区間を検出することが記載されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平８−２７５３００号公報
【００１１】
【特許文献２】特公平４−５５３２０号公報
【００１２】
【特許文献３】特許第３８９２３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかし、特許文献２の方式では、時間波形の自己相関関数に基づき話声を検出するのみなので、正弦波などの周期性はあるが調波構造を持たない信号を話声と誤検出してしまう問題点があった。また、特許文献３の方式では、毎フレーム、全周波数帯域について瞬時周波数分析を行う必要があり演算量が膨大である。
また、上記いずれの方式でも、話声、単音の楽音、合奏の楽音、その他音のそれぞれを判別することができなかった。
【００１４】
この発明は、できるだけ簡略な処理でオーディオ信号の内容を正確に検出することを可能にした信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
請求項１の発明は、オーディオ信号の調波性の有無を判定することにより、前記オーディオ信号が調波音であるかその他音であるかを判定する調波性判定部と、前記調波性判定部により、前記オーディオ信号が調波音であると判定されたとき、このオーディオ信号のピッチ周波数が音階周波数に一致しているか否か、および、前記ピッチ周波数の揺らぎの有無に基づいて、前記オーディオ信号が話声であるか楽音であるかを判定する話声／楽音判定部と、を備えたことを特徴とする。
請求項２の発明は、前記発明において、前記調波性判定部による判定の前に、前記オーディオ信号の音階周波数成分のエネルギーと全帯域成分のエネルギーとを比較することにより、前記オーディオ信号が楽音か否かを判定する楽音判定部を設け、この楽音判定部により、前記オーディオ信号が楽音でないと判定されたとき、前記調波性判定部の処理を行うことを特徴とする。
請求項３の発明は、前記発明において、前記前記調波性判定部は、短時間フーリエ変換による周波数スペクトルの自己相関関数に基づき調波性の有無を判定することを特徴とする。
請求項４の発明は、請求項３の発明において、前記話声／楽音判定部は、前記自己相関関数に基づいて求められた概算のピッチ周波数付近のみで瞬時周波数分析を行うことにより、正確なピッチ周波数を求める手段を含むことを特徴とする。
【発明の効果】
【００１６】
この発明によれば、比較的簡略な処理でオーディオ信号の内容（話声／楽音等）を判別することが可能になる。
【図面の簡単な説明】
【００１７】
【図１】この発明の実施形態である信号処理部を含むオーディオ装置のブロック図
【図２】マルチチャンネルオーディオ信号のチャンネル割当の例を示す図
【図３】同信号処理部のブロック図
【図４】同信号処理部の内容判別部の処理を示すフローチャート
【図５】内容判別部の楽音判定処理を説明する図
【図６】内容判別部の調波性判定処理を示すフローチャート
【図７】各種オーディオ信号の周波数スペクトルおよび自己相関関数を示す図
【図８】内容判別部の話声／楽音判定処理を示すフローチャート
【図９】ＳＴＦＴの周波数ｂｉｎと瞬時周波数との相関を説明する図
【発明を実施するための形態】
【００１８】
《オーディオ装置の構成》
図１はこの発明の実施形態である信号処理部を含むオーディオ装置のブロック図である。オーディオ装置は、コンテンツ再生装置２、オーディオアンプ１、複数のスピーカ３を有してている。オーディオアンプ１は、信号処理部４、増幅回路５を有している。
【００１９】
コンテンツ再生装置２は、たとえば映画等のＤＶＤを再生するＤＶＤプレイヤ、衛星、地上波のテレビ放送を受信するテレビ放送チューナ等で構成される。コンテンツ再生装置２は、マルチチャンネル（たとえば５．１チャンネル）のオーディオ信号をオーディオアンプ１に入力する。オーディオアンプ１の信号処理部４は、コンテンツ再生装置２から入力されたマルチチャンネルのオーディオ信号に対してイコライジング、音場制御等の処理を行ったのち、増幅回路５に入力する。増幅回路５は入力されたマルチチャンネルのオーディオ信号をそれぞれ個別に増幅して各チャンネルに対応するスピーカ３に出力する。
【００２０】
複数のスピーカ３はリスニングルームの各所に設置されており、各チャンネルの音響が各スピーカ３から放音されることにより、リスニングルームに広がりのある音場が形成される。
【００２１】
《コンテンツのチャンネル割当例》
ここで、図２を参照して、コンテンツ再生装置２からオーディオアンプ１に入力されるマルチチャンネルオーディオ信号のチャンネル割当について説明する。
【００２２】
図２（Ａ）は、一般的な映画コンテンツのマルチチャンネルオーディオ信号のチャンネル割当を示す図である。この実施形態では５．１チャンネルのオーディオ信号を例にあげて説明する。５．１チャンネルのオーディオ信号は、センタチャンネルＣ、フロント左チャンネルＦＬ、フロント右チャンネルＦＲ、サラウンド（リア）左チャンネルＳＬ、サラウンド（リア）右チャンネルＳＲ、および、サブウーファチャンネルＳＷからなっている。このうち、サブウーファチャンネルＳＷは他のチャンネルの重低音信号を集めて構成されるため、コンテンツ再生装置２から入力されるチャンネル数は５チャンネルである。したがって以下では、センタチャンネルＣ、フロント左チャンネルＦＬ、フロント右チャンネルＦＲ、サラウンド左チャンネルＳＬおよびサラウンド右チャンネルＳＲの５チャンネルのチャンネル割当について説明する。
【００２３】
一般的なコンテンツの場合、センタチャンネルＣにセリフ等の話声、フロント左右チャンネルＦＬ，ＦＲにＢＧＭ等の楽音、サラウンド左右チャンネルＳＬ，ＳＲにその他音（効果音や環境音など）が割り当てられる。
【００２４】
一般的に、話声に対しては喋っている内容が不明瞭になるのを防止するため、音場効果を付与する量（音場制御量）を小さくする。また、ＢＧＭ等の楽音に対しては、響きが豊かになるように音場制御量を大きくする。また、環境音や効果音等のその他音に対しては音場制御量を中くらいに設定する。したがってセンタチャンネルＣの音場制御量は「小」、フロント左右チャンネルＦＬ，ＦＲの音場制御量は「大」、サラウンド左右チャンネルＳＬ，ＳＲの音場制御量は「中」に設定される。
【００２５】
一方、同図（Ｂ）は、一般的な映画コンテンツ以外のコンテンツ、たとえば、デジタルテレビ放送のマルチチャンネルオーディオ信号のチャンネル割当の例を示す図である。この例では、センタチャンネルＣは無音であり、フロント左チャンネルＦＬにセリフ等の話声とＢＧＭ、フロント右チャンネルＦＲにＢＧＭ等の楽音、サラウンド左右チャンネルＳＬ，ＳＲにその他音が割り当てられている。
【００２６】
このような場合、センタチャンネルＣの音場制御量は任意（入力信号がないため音場効果は実質０になる）、フロント左右チャンネルＦＬ，ＦＲの音場制御量は「小」、サラウンド左右チャンネルＳＬ，ＳＲの音場制御量は「中」に設定される。
【００２７】
すなわち、フロント左チャンネルＦＬには、話声と楽音が合成して出力されているが、この場合には話声が優先し、音場制御量は「小」に設定される。また、フロント右チャンネルＦＲは楽音のみであるが、左右チャンネルの音場制御のバランスが崩れるとリスナーに不安定な印象を与える可能性があるため、フロント左チャンネルＦＬと同様に音場制御量を「小」にしている。なお、この場合フロント右チャンネルＦＲの音場制御量を楽音に合わせて「大」に設定してもよく、それらの中間をとって「中」に設定してもよい。
【００２８】
《信号処理部の構成》
図３は、上記信号処理部４の構成例を示す図である。信号処理部４は、イコライジング、音場効果付与等種々の処理を行う機能部であるが、図３ではそのうち音場効果を付与する構成部のみを示している。入力部１０は、センタチャンネル用入力部１０Ｃ，フロント左チャンネル用入力部、フロント右チャンネル用入力部、サラウンド左チャンネル用入力部、サラウンド右チャンネル用入力部の５つの入力部からなっており、それぞれ各チャンネル（Ｃ、ＦＬ、ＦＲ、ＳＬ、ＳＲ）のオーディオ信号が入力される。
以下、上記入力部１０と同じように、５チャンネル分並列に設けられている構成部については、個別チャンネル毎の説明は省略する。
【００２９】
入力部１０から入力されたオーディオ信号は、内容判別部１４および遅延部１１に入力される。内容判別部１４は、５チャンネル分並列に設けられており、各チャンネルのオーディオ信号の内容を判別する。内容とは、オーディオ信号が、話声／楽音／その他音のいずれであるかを示す情報である。
【００３０】
内容判別部１４は、調波構造の有無や、変調スペクトル、倍音構造、周波数変化率などを測定することで、話声／音楽／その他音を判別する。内容判別部１４の判別処理の詳細は後述する。
【００３１】
遅延部１１は、内容判別部１４がオーディオ信号の内容を判別するために必要な時間分、オーディオ信号を遅延させる。これにより、内容判別部１４の判別結果に基づく音場制御の制御遅れを解消している。
【００３２】
内容判別部１４の判別結果は、係数制御部１５に入力される。係数制御部１５は、各チャンネルのオーディオ信号の内容に応じて各チャンネルのオーディオ信号に対する音場制御量を決定する。音場制御量は図２に示したようなルールで決定される。内容判別部１４は、各チャンネルのオーディオ信号に対する音場制御量を決定し、その音場制御量に対応する入力レベルにオーディオ信号を制御する係数を出力する。係数は係数乗算部１６に入力される。
【００３３】
係数乗算部１６は、遅延部１１で遅延されたオーディオ信号に係数制御部１５から入力された係数を乗算して加算部１７に入力する。係数乗算部１６は５チャンネル分並列に設けられている。加算部１７は、それぞれ係数が乗算された５チャンネルのオーディオ信号を加算合成する。加算合成されたオーディオ信号は、レベル制御部１８でレベルが制御されたのち、音場効果生成部１９により、初期反射音、残響音を含む音場効果が付与される。
【００３４】
音場効果生成部１９に入力されるオーディオ信号のレベルが大きいほど、音場効果生成部１９によって生成される音場効果音（反射音、残響音）は大きくなる。したがって、係数制御部１５が生成する係数により、各チャンネルのオーディオ信号に付与される音場効果の程度が制御される。
【００３５】
音場効果生成部１９は、音場データ２０に基づき、ホールや室内などにおける音の響きを再現する。すなわち、ホールや室内で生じる初期反射音や残響音を生成する。この処理は、空間伝搬や反射に伴う周波数特性の変化を模擬するためのフィルタ処理や遅延と係数乗算による初期反射音の生成処理および後部残響音の生成処理などを含んでいる。
【００３６】
音場効果生成部１９で生成された音場効果音は、係数乗算部２１および加算部１２を介してドライのオーディオ信号に加算される。係数乗算部２１、加算部１２も５チャンネル分並列に設けられている。一般的にセリフ等の話声が出力されるチャンネルには音場効果音を加算しないほうが話声の明瞭度が高くなるため、係数乗算部２１により、話声のチャンネルへの音場効果音の加算ゲインを０にする。
【００３７】
係数乗算部２１に入力される係数も係数制御部１５が設定すればよい。話声が出力されるチャンネルの係数を“０”とし、他のチャンネルの係数を“１”とすればよいが、各チャンネルごとに係数の値を“０”と“１”の中間値に変化させてもよい。
【００３８】
このような制御により、各チャンネルにおいて、セリフ以外を再生している期間は広く豊かな音場効果を付与しつつ、セリフが再生された場合にはセリフに対する音場効果の量を抑えることで響きすぎを抑え、豊かな音場効果と明瞭なセリフを両立することができる。
【００３９】
《内容判別部１４の処理の説明》
図４〜図９を参照して内容判別部１４の内容判別処理について説明する。この処理は、１フレーム（４０ｍｓ）毎に実行される。調波性判定処理（Ｓ４）では自フレームのほか、前後３フレームのデータを併せて用いるため、判別処理は３フレーム分遅延する。遅延部１１がこの判別処理の遅れ時間だけオーディオ信号を遅延させる。
【００４０】
図４は、内容判別処理の全体処理を示すフローチャートである。まず、楽音判定処理を行う（Ｓ１）。楽音判定処理とは、オーディオ信号の周波数成分のうち、音階周波数の成分が占める比率を測定する処理である。この楽音判定の詳細は図５を参照して後述する。楽音判定処理により楽音であると判定された場合（Ｓ２でＹＥＳ）には、内容判別結果として「楽音」を出力して（Ｓ３）、処理を終える。
【００４１】
楽音判定処理により楽音と判定されなかった場合（Ｓ２でＮＯ）には、調波性判定処理を行う（Ｓ４）。調波性判定処理とは、オーディオ信号が調波性を有するか、すなわち、基音およびその整数倍の倍音成分からなるスペクトル構造を有しているかを判定する処理である。調波性判定処理の詳細は図６を参照して後述する。調波性判定処理により調波性なしと判定された場合（Ｓ５でＮＯ）には、内容判別結果として「その他音」を出力する（Ｓ６）。一方、調波性判定処理によた調波性ありと判定された場合（Ｓ５でＹＥＳ）、そのオーディオ信号は話声または楽音であると考えられるため、話声／楽音判定処理（Ｓ７）を行う。
すなわち、話声や楽音は、調波性を有するが、環境音や効果音などの音響は調波性を持たないためである。
【００４２】
話声／楽音判定処理では、正確な基音周波数（ピッチ）を算出し、このピッチが音階周波数に一致しているか、または、ピッチに大きな揺らぎがないかに基づき、このオーディオ信号が楽音であるか話声であるかを判定する。この話声／楽音判定処理の詳細は図７を参照して後述する。判定結果が話声であった場合には、内容判別結果として「話声」を出力する（Ｓ９）。判定結果が楽音であった場合には、内容判別結果として「楽音」を出力する（Ｓ１０）。
【００４３】
図５（Ａ）は、楽音判定処理を示すフローチャートである。この処理では、オーディオ信号の全周波数帯域のエネルギーに占める音階周波数成分のエネルギーを測定することにより、このオーディオ信号が楽音（特に合奏の楽音）であるか否かを判定する。
【００４４】
まず、オーディオ信号の中の音階周波数成分のエネルギーおよび全周波数帯域のエネルギーを測定する（Ｓ２０）。オーディオ信号のエネルギーを測定する機能部のブロック図を図５（Ｂ）に示す。音階周波数成分のエネルギー測定は、特定オクターブの１２音のエネルギーを加算したものである。特定オクターブとしては、メロディが演奏されるオクターブ、たとえばＣ３〜Ｂ３のオクターブを用いればよい。このため、Ｃ〜Ｂの１２半音階のＢＰＦフィルタを設ける。各フィルタを通過した周波数成分をそれぞれ積分して、各周波数成分のエネルギーを求め、これらを加算する。この加算されたものが音階周波数成分のエネルギーである。一方、オーディオ信号を直接積分して全周波数帯域のエネルギーを求める。
【００４５】
Ｓ２０で求められた音階周波数成分のエネルギーと全周波数帯域成分のエネルギーとを比較し（Ｓ２１）、その比率が所定の比率以上であった場合、すなわち、音階周波数成分のエネルギーの占める比率が所定値以上であった場合には（Ｓ２２でＹＥＳ）、判定結果として「楽音」を出力する（Ｓ２３）。一方、音階周波数成分のエネルギーの占める比率が所定値に満たなかった場合には（Ｓ２２でＮＯ）、判定結果を出力しないで終了する。
【００４６】
このように、複数のＢＰＦフィルタ処理およひ積分処理のみでオーディオ信号が楽音であるか否かが判定可能であるため、この処理でオーディオ信号が楽音と判定されれば、図４のＳ４以下の処理を省略することができ、処理負荷を大幅に軽減することができる。また、この楽音判定処理では、明確な調波性が現れない複数楽器による合奏の楽音であっても、音階周波数に多くの成分が現れるため、容易に検出可能である。
【００４７】
図６は、調波判定処理を示すフローチャートである。この処理では、オーディオ信号を短時間フーリエ変換（ＳＴＦＴ）し、その周波数スペクトルの自己相関を求めることによって、調波性の有無およびピーク周波数（概略のピッチ周波数）を求める。
【００４８】
ここで、ＳＴＦＴは、現フレームのデータとその前後２フレームを併せた５フレーム分のデータを用いて行う。また、現フレームにおけるＳＴＦＴ結果に前フレームのＳＴＦＴ結果、次フレームのＳＴＦＴ結果を加えた平均値を現フレームの周波数スペクトルＰ（Ｔ）として用いる。したがって、現フレームの周波数スペクトルが求められるのは、現フレームから３フレーム後である。
【００４９】
このように複数フレームの周波数スペクトルを平均することにより、継続的に存在する周波数成分が強調される。すなわち、背景音等のノイズ成分は継続的に存在しないため、スペクトル上で強調されないが、話声や楽音等の継続的に存在する成分は、スペクトル上でその調波成分が強調される。これにより、オーディオ信号中に背景音に埋もれたレベルの小さい話声や楽音が存在しても、これを検出してピーク周波数の測定が可能になる。
【００５０】
図６において、まず、上述の手法で短時間フーリエ変換を行い、現フレーム（時刻：Ｔ）の周波数スペクトルＰ（Ｔ）を求める（Ｓ３１）。図７（Ａ）にＦＦＴ結果の例を示す。この例は話声のみの信号スペクトルである。
【００５１】
次にこの周波数スペクトルの自己相関を検出する（Ｓ３２）。図７（Ｂ）、（Ｃ）、（Ｄ）に自己相関関数の例を示す。図７（Ｂ）は、図７（Ａ）に示した話声のみの周波数スペクトルの自己相関関数であり、自己相関が明確に現れている。図７（Ｃ）は話声および話声以外の成分をふくむオーディオ信号の周波数スペクトルの自己相関関数の例を示す図である。話声が占める周波数帯域は狭いため、周波数差が小さい範囲では自己相関が現れているが、周波数差が大きい範囲では自己相関が乱れている。図７（Ｄ）はその他音の周波数スペクトルの自己相関関数の例を示す図である。このように、その他音は調波性がないため、周波数スペクトルの自己相関が全くない。
【００５２】
自己相関関数の最初のピークを検出し、そのピークの周波数差をピーク周波数Ｆａとする（Ｓ３３）。図７（Ｄ）に例示したようにピーク周波数Ｆａが検出できなかった場合は（Ｓ３４でＮＯ）、「調波性なし」の判定結果を出力して（Ｓ３９）、この処理を終了する。
【００５３】
ピーク周波数Ｆａが検出された場合には、このピーク周波数Ｆａと直前のフレーム（Ｔ−３）のピッチ周波数Ｆ（Ｔ−３）とを比較する（Ｓ３５）。その差が所定値以下（ほぼ一致）であった場合には（Ｓ３６でＹＥＳ）、ピーク周波数Ｆａをオーディオ信号の今回のフレーム（Ｆ−２）におけるピッチ周波数Ｆ（Ｔ−２）とする（Ｓ３７）。そして、判定結果「調波性あり」、ピッチ周波数「Ｆ（Ｔ−２）」を出力して（Ｓ３８）、調波性判定処理を終了する。
【００５４】
一方、ＦａとＦ（Ｔ−３）との差が所定値より大きかった場合には（Ｓ３６でＮＯ）、「調波性なし」の判定結果を出力して（Ｓ３９）、処理動作を終了する。
【００５５】
話声、楽音の調波性は瞬間的に現れて消滅するものではなく複数フレーム継続するものであるため、今回のピーク周波数を前フレームのピッチ周波数と比較してほぼ一致したときのみ調波性ありと判定して誤検出を防止している。
【００５６】
図８は話声／楽音判定処理を示すフローチャートである。この処理では、今回の判別対象フレームの正確なピッチ周波数を算出し、このピッチ周波数が音階周波数に一致しているか、または、ピッチ周波数に大きな揺らぎがないかに基づき、このオーディオ信号が楽音であるか話声であるかを判定している。
【００５７】
まず、図６の処理で得たＳＴＦＴ周波数スペクトルおよびその周波数分解能で得られたＳＴＦＴ分解能の精度のピッチ周波数Ｆ（Ｔ−２）を用いて、瞬時周波数を分析し、これに基づいて得られた正確なピッチ周波数をＦｅ（Ｔ−２）とする（Ｓ５０）。すなわち、全周波数帯域について瞬時周波数分析をするのではなく、ＳＴＦＴで得られた概算のピッチ周波数Ｆ（Ｔ−２）付近のみで瞬時周波数分析を行う。これにより、瞬時周波数分析における処理量を大幅に少なくすることができる。
【００５８】
瞬時周波数は、ＳＴＦＴの各周波数ｂｉｎの信号成分波形の位相φの時間微分φ′として求められる。通常、瞬時周波数φ′は、各周波数ｂｉｎの周波数とほぼ一致し、図９（Ａ）のような一次関数的な相関を示すが、ＳＴＦＴを行ったフレームの信号波形に強いパワーを持った周波数成分Ｆｅがあると、そのＳＴＦＴにおけるその周波数成分Ｆｅ近傍の周波数ｂｉｎの瞬時周波数φ′がほぼ一定値になることが知られている。そして、この場合、ＳＴＦＴで求めた概算のピッチ周波数Ｆと、上述の相関曲線のほぼ水平になっている部分との交点の縦軸値が正確なピッチ周波数Ｆｅであると推定することができる。このようにして、０．２Ｈｚ精度の正確なピッチ周波数Ｆｅ（Ｔ−２）を求めることが可能になる。
【００５９】
この正確なピッチ周波数Ｆｅ（Ｔ−２）が音階周波数とを比較する（Ｓ５１）。この処理では、楽音の存在しえるオクターブ範囲の全１２半音階の周波数をＦｅ（Ｔ−２）と比較する。これらがほぼ一致した場合には（Ｓ５２でＹＥＳ）、オーディオ信号は楽音であるとして、楽音の判定結果を出力し（Ｓ５６）、処理を終了する。一方、Ｆｅ（Ｔ−２）と音階周波数とが一致しない場合には、前フレームで求めた正確なピッチ周波数Ｆｅ（Ｔ−３）と今回の正確なピッチ周波数Ｆｅ（Ｔ−２）とを比較する（Ｓ５３）。前回の正確なピッチ周波数Ｆｅ（Ｔ−３）と今回の正確なピッチ周波数Ｆｅ（Ｔ−２）とがほぼ一致する場合には（Ｓ５４でＹＥＳ）、ピッチ周波数の揺らぎが殆どないため楽音の判定結果を出力する（Ｓ５６）。一方、前回の正確なピッチ周波数Ｆｅ（Ｔ−３）と今回の正確なピッチ周波数Ｆｅ（Ｔ−２）とが一致しない場合には（Ｓ５４でＮＯ）、ピッチに揺らぎがあるため話声の判定結果を出力する（Ｓ５５）。
【００６０】
すなわち、楽音は、安定した周波数の音響であるが、話声は周波数の抑揚があり、比較的大きいピッチ変動（揺らぎ）があるからである。なお、前フレームの正確なピッチＦｅがない（前フレームでこの処理が行われなかった）場合には、Ｓ５４では不一致と判定される。なお、人声に限らず、動物の鳴き声であってもこの話声／楽音判定処理で話声と判定することが可能である。
【００６１】
また、楽音判定処理（図４のＳ１または図５の処理）で楽音と判定されず、この話声／楽音判定処理で楽音と判定されるオーディオ信号とは、たとえばフルート１本など単音の演奏であるため音階音の占めるエネルギーが小さい楽音や、民族楽器等の西洋１２音音階に一致しないピッチの楽器等である。
【００６２】
なお、この実施形態では、全てのチャンネルに内容判別部１４を設け、全てのチャンネルの内容を判別しているが、必ずしも全てのチャンネルの内容を判別する必要はなく、一部のチャンネル（たとえばセンタチャンネル）のみ内容を判別してもよい。また、話声／楽音／その他音の全ての内容を判別する必要はなく、一部の内容（たとえば話声）のみを判別してもよい。
【００６３】
《尚書き》
上記実施形態では、オーディオ信号に初期反射音や残響音を付加する音場効果について説明したが、本発明における信号処理は音場効果に限定されない。
【００６４】
また、上記実施形態では、５．１チャンネルのマルチオーディオ信号を例に挙げて説明したが、マルチチャンネルオーディオ信号のチャンネル数は５．１チャンネルに限定されない。
【符号の説明】
【００６５】
１ オーディオアンプ
４ 信号処理部
１４ 内容判別部
１５ 係数制御部
１６ 係数乗算部
１９ 音場効果生成部
【技術分野】
【０００１】
この発明は、入力されたオーディオ信号の内容を判別する信号処理装置に関する。
【背景技術】
【０００２】
近年、マルチチャンネルオーディオ装置が普及している。マルチチャンネルオーディオ装置は、５．１チャンネルなど、ステレオ２チャンネルよりも多いチャンネル（マルチチャンネル）のオーディオ信号を再生し、これらの信号を部屋の各所に設置された複数のスピーカから出力することによって、立体的な広がりのあるオーディオを再生する装置である（特許文献１）。
【０００３】
従来のマルチチャンネルオーディオ信号では、各チャンネルにどのような内容のオーディオ信号を割り振るか（チャンネル割当）は、ほぼ統一されていた。すなわち、センタチャンネルにセリフ等の話声、フロント左右チャンネルにＢＧＭ等の楽音、サラウンド左右チャンネルに環境音や効果音などのその他音が割り当てられていた。
【０００４】
マルチチャンネルオーディオ装置は、再生したオーディオ信号に反射音や残響音を付加することにより、ホールなどの仮想的な空間の響きを作り出す音場制御を行う機能を有している。ただし、セリフ等の話声に反射音や残響音等の効果を強く付加すると、明瞭度が低下して出演者が何を話しているか聴き取りくくなってしまうため、話声が再生されるチャンネルの音場制御量を他のチャンネルよりも小さくするように設定されている。
【０００５】
上記従来のコンテンツの場合、センタチャンネルにセリフ等の話声が割り振られるのが一般であるため、従来のマルチチャンネルオーディオ装置では、センタチャンネルの音場制御量を小とし、他のチャンネルの音場制御量を大または中とするよう予め設定されていた。
【０００６】
しかし、地上波デジタル放送の開始等により、家庭で再生可能なマルチチャンネルオーディオのコンテンツも多様化しており、従来の映画のようなチャンネル割当でないものが増えている。すなわち、センタチャンネルでないフロントチャンネルやサラウンドチャンネルに話声が割り当てられたコンテンツも増えている。
【０００７】
このようなマルチチャンネルオーディオコンテンツを従来の音場制御量の設定で再生すると、セリフ等の話声に強い反射音や残響効果が掛かってしまい、明瞭度が低下してしまう。また、センタチャンネルでＢＧＭ等の楽音が再生されている場合には、ＢＧＭに音場効果が掛からず雰囲気を盛り上げることができないなどの問題が生じる。
【０００８】
そこで、どのチャンネルでどのような内容の音響が再生されているかを検出して、各チャンネルの音場制御量を調整することが考えられる。特に、どのチャンネルで話声が再生されているかを検出し、話声が再生されているチャンネルの音場制御量を小さくすることが考えられる。オーディオ信号から話声を検出する手法としては、従来より特許文献２、３のような方法が提案されていた。
【０００９】
特許文献２には、有声音の時間波形の自己相関関数を用いて話声を検出することが記載されている。また、特許文献３には、音響信号における調波構造成分の占める占有度を瞬時周波数分析を用いて求め、これに基づいて音声区間を検出することが記載されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平８−２７５３００号公報
【００１１】
【特許文献２】特公平４−５５３２０号公報
【００１２】
【特許文献３】特許第３８９２３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかし、特許文献２の方式では、時間波形の自己相関関数に基づき話声を検出するのみなので、正弦波などの周期性はあるが調波構造を持たない信号を話声と誤検出してしまう問題点があった。また、特許文献３の方式では、毎フレーム、全周波数帯域について瞬時周波数分析を行う必要があり演算量が膨大である。
また、上記いずれの方式でも、話声、単音の楽音、合奏の楽音、その他音のそれぞれを判別することができなかった。
【００１４】
この発明は、できるだけ簡略な処理でオーディオ信号の内容を正確に検出することを可能にした信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
請求項１の発明は、オーディオ信号の調波性の有無を判定することにより、前記オーディオ信号が調波音であるかその他音であるかを判定する調波性判定部と、前記調波性判定部により、前記オーディオ信号が調波音であると判定されたとき、このオーディオ信号のピッチ周波数が音階周波数に一致しているか否か、および、前記ピッチ周波数の揺らぎの有無に基づいて、前記オーディオ信号が話声であるか楽音であるかを判定する話声／楽音判定部と、を備えたことを特徴とする。
請求項２の発明は、前記発明において、前記調波性判定部による判定の前に、前記オーディオ信号の音階周波数成分のエネルギーと全帯域成分のエネルギーとを比較することにより、前記オーディオ信号が楽音か否かを判定する楽音判定部を設け、この楽音判定部により、前記オーディオ信号が楽音でないと判定されたとき、前記調波性判定部の処理を行うことを特徴とする。
請求項３の発明は、前記発明において、前記前記調波性判定部は、短時間フーリエ変換による周波数スペクトルの自己相関関数に基づき調波性の有無を判定することを特徴とする。
請求項４の発明は、請求項３の発明において、前記話声／楽音判定部は、前記自己相関関数に基づいて求められた概算のピッチ周波数付近のみで瞬時周波数分析を行うことにより、正確なピッチ周波数を求める手段を含むことを特徴とする。
【発明の効果】
【００１６】
この発明によれば、比較的簡略な処理でオーディオ信号の内容（話声／楽音等）を判別することが可能になる。
【図面の簡単な説明】
【００１７】
【図１】この発明の実施形態である信号処理部を含むオーディオ装置のブロック図
【図２】マルチチャンネルオーディオ信号のチャンネル割当の例を示す図
【図３】同信号処理部のブロック図
【図４】同信号処理部の内容判別部の処理を示すフローチャート
【図５】内容判別部の楽音判定処理を説明する図
【図６】内容判別部の調波性判定処理を示すフローチャート
【図７】各種オーディオ信号の周波数スペクトルおよび自己相関関数を示す図
【図８】内容判別部の話声／楽音判定処理を示すフローチャート
【図９】ＳＴＦＴの周波数ｂｉｎと瞬時周波数との相関を説明する図
【発明を実施するための形態】
【００１８】
《オーディオ装置の構成》
図１はこの発明の実施形態である信号処理部を含むオーディオ装置のブロック図である。オーディオ装置は、コンテンツ再生装置２、オーディオアンプ１、複数のスピーカ３を有してている。オーディオアンプ１は、信号処理部４、増幅回路５を有している。
【００１９】
コンテンツ再生装置２は、たとえば映画等のＤＶＤを再生するＤＶＤプレイヤ、衛星、地上波のテレビ放送を受信するテレビ放送チューナ等で構成される。コンテンツ再生装置２は、マルチチャンネル（たとえば５．１チャンネル）のオーディオ信号をオーディオアンプ１に入力する。オーディオアンプ１の信号処理部４は、コンテンツ再生装置２から入力されたマルチチャンネルのオーディオ信号に対してイコライジング、音場制御等の処理を行ったのち、増幅回路５に入力する。増幅回路５は入力されたマルチチャンネルのオーディオ信号をそれぞれ個別に増幅して各チャンネルに対応するスピーカ３に出力する。
【００２０】
複数のスピーカ３はリスニングルームの各所に設置されており、各チャンネルの音響が各スピーカ３から放音されることにより、リスニングルームに広がりのある音場が形成される。
【００２１】
《コンテンツのチャンネル割当例》
ここで、図２を参照して、コンテンツ再生装置２からオーディオアンプ１に入力されるマルチチャンネルオーディオ信号のチャンネル割当について説明する。
【００２２】
図２（Ａ）は、一般的な映画コンテンツのマルチチャンネルオーディオ信号のチャンネル割当を示す図である。この実施形態では５．１チャンネルのオーディオ信号を例にあげて説明する。５．１チャンネルのオーディオ信号は、センタチャンネルＣ、フロント左チャンネルＦＬ、フロント右チャンネルＦＲ、サラウンド（リア）左チャンネルＳＬ、サラウンド（リア）右チャンネルＳＲ、および、サブウーファチャンネルＳＷからなっている。このうち、サブウーファチャンネルＳＷは他のチャンネルの重低音信号を集めて構成されるため、コンテンツ再生装置２から入力されるチャンネル数は５チャンネルである。したがって以下では、センタチャンネルＣ、フロント左チャンネルＦＬ、フロント右チャンネルＦＲ、サラウンド左チャンネルＳＬおよびサラウンド右チャンネルＳＲの５チャンネルのチャンネル割当について説明する。
【００２３】
一般的なコンテンツの場合、センタチャンネルＣにセリフ等の話声、フロント左右チャンネルＦＬ，ＦＲにＢＧＭ等の楽音、サラウンド左右チャンネルＳＬ，ＳＲにその他音（効果音や環境音など）が割り当てられる。
【００２４】
一般的に、話声に対しては喋っている内容が不明瞭になるのを防止するため、音場効果を付与する量（音場制御量）を小さくする。また、ＢＧＭ等の楽音に対しては、響きが豊かになるように音場制御量を大きくする。また、環境音や効果音等のその他音に対しては音場制御量を中くらいに設定する。したがってセンタチャンネルＣの音場制御量は「小」、フロント左右チャンネルＦＬ，ＦＲの音場制御量は「大」、サラウンド左右チャンネルＳＬ，ＳＲの音場制御量は「中」に設定される。
【００２５】
一方、同図（Ｂ）は、一般的な映画コンテンツ以外のコンテンツ、たとえば、デジタルテレビ放送のマルチチャンネルオーディオ信号のチャンネル割当の例を示す図である。この例では、センタチャンネルＣは無音であり、フロント左チャンネルＦＬにセリフ等の話声とＢＧＭ、フロント右チャンネルＦＲにＢＧＭ等の楽音、サラウンド左右チャンネルＳＬ，ＳＲにその他音が割り当てられている。
【００２６】
このような場合、センタチャンネルＣの音場制御量は任意（入力信号がないため音場効果は実質０になる）、フロント左右チャンネルＦＬ，ＦＲの音場制御量は「小」、サラウンド左右チャンネルＳＬ，ＳＲの音場制御量は「中」に設定される。
【００２７】
すなわち、フロント左チャンネルＦＬには、話声と楽音が合成して出力されているが、この場合には話声が優先し、音場制御量は「小」に設定される。また、フロント右チャンネルＦＲは楽音のみであるが、左右チャンネルの音場制御のバランスが崩れるとリスナーに不安定な印象を与える可能性があるため、フロント左チャンネルＦＬと同様に音場制御量を「小」にしている。なお、この場合フロント右チャンネルＦＲの音場制御量を楽音に合わせて「大」に設定してもよく、それらの中間をとって「中」に設定してもよい。
【００２８】
《信号処理部の構成》
図３は、上記信号処理部４の構成例を示す図である。信号処理部４は、イコライジング、音場効果付与等種々の処理を行う機能部であるが、図３ではそのうち音場効果を付与する構成部のみを示している。入力部１０は、センタチャンネル用入力部１０Ｃ，フロント左チャンネル用入力部、フロント右チャンネル用入力部、サラウンド左チャンネル用入力部、サラウンド右チャンネル用入力部の５つの入力部からなっており、それぞれ各チャンネル（Ｃ、ＦＬ、ＦＲ、ＳＬ、ＳＲ）のオーディオ信号が入力される。
以下、上記入力部１０と同じように、５チャンネル分並列に設けられている構成部については、個別チャンネル毎の説明は省略する。
【００２９】
入力部１０から入力されたオーディオ信号は、内容判別部１４および遅延部１１に入力される。内容判別部１４は、５チャンネル分並列に設けられており、各チャンネルのオーディオ信号の内容を判別する。内容とは、オーディオ信号が、話声／楽音／その他音のいずれであるかを示す情報である。
【００３０】
内容判別部１４は、調波構造の有無や、変調スペクトル、倍音構造、周波数変化率などを測定することで、話声／音楽／その他音を判別する。内容判別部１４の判別処理の詳細は後述する。
【００３１】
遅延部１１は、内容判別部１４がオーディオ信号の内容を判別するために必要な時間分、オーディオ信号を遅延させる。これにより、内容判別部１４の判別結果に基づく音場制御の制御遅れを解消している。
【００３２】
内容判別部１４の判別結果は、係数制御部１５に入力される。係数制御部１５は、各チャンネルのオーディオ信号の内容に応じて各チャンネルのオーディオ信号に対する音場制御量を決定する。音場制御量は図２に示したようなルールで決定される。内容判別部１４は、各チャンネルのオーディオ信号に対する音場制御量を決定し、その音場制御量に対応する入力レベルにオーディオ信号を制御する係数を出力する。係数は係数乗算部１６に入力される。
【００３３】
係数乗算部１６は、遅延部１１で遅延されたオーディオ信号に係数制御部１５から入力された係数を乗算して加算部１７に入力する。係数乗算部１６は５チャンネル分並列に設けられている。加算部１７は、それぞれ係数が乗算された５チャンネルのオーディオ信号を加算合成する。加算合成されたオーディオ信号は、レベル制御部１８でレベルが制御されたのち、音場効果生成部１９により、初期反射音、残響音を含む音場効果が付与される。
【００３４】
音場効果生成部１９に入力されるオーディオ信号のレベルが大きいほど、音場効果生成部１９によって生成される音場効果音（反射音、残響音）は大きくなる。したがって、係数制御部１５が生成する係数により、各チャンネルのオーディオ信号に付与される音場効果の程度が制御される。
【００３５】
音場効果生成部１９は、音場データ２０に基づき、ホールや室内などにおける音の響きを再現する。すなわち、ホールや室内で生じる初期反射音や残響音を生成する。この処理は、空間伝搬や反射に伴う周波数特性の変化を模擬するためのフィルタ処理や遅延と係数乗算による初期反射音の生成処理および後部残響音の生成処理などを含んでいる。
【００３６】
音場効果生成部１９で生成された音場効果音は、係数乗算部２１および加算部１２を介してドライのオーディオ信号に加算される。係数乗算部２１、加算部１２も５チャンネル分並列に設けられている。一般的にセリフ等の話声が出力されるチャンネルには音場効果音を加算しないほうが話声の明瞭度が高くなるため、係数乗算部２１により、話声のチャンネルへの音場効果音の加算ゲインを０にする。
【００３７】
係数乗算部２１に入力される係数も係数制御部１５が設定すればよい。話声が出力されるチャンネルの係数を“０”とし、他のチャンネルの係数を“１”とすればよいが、各チャンネルごとに係数の値を“０”と“１”の中間値に変化させてもよい。
【００３８】
このような制御により、各チャンネルにおいて、セリフ以外を再生している期間は広く豊かな音場効果を付与しつつ、セリフが再生された場合にはセリフに対する音場効果の量を抑えることで響きすぎを抑え、豊かな音場効果と明瞭なセリフを両立することができる。
【００３９】
《内容判別部１４の処理の説明》
図４〜図９を参照して内容判別部１４の内容判別処理について説明する。この処理は、１フレーム（４０ｍｓ）毎に実行される。調波性判定処理（Ｓ４）では自フレームのほか、前後３フレームのデータを併せて用いるため、判別処理は３フレーム分遅延する。遅延部１１がこの判別処理の遅れ時間だけオーディオ信号を遅延させる。
【００４０】
図４は、内容判別処理の全体処理を示すフローチャートである。まず、楽音判定処理を行う（Ｓ１）。楽音判定処理とは、オーディオ信号の周波数成分のうち、音階周波数の成分が占める比率を測定する処理である。この楽音判定の詳細は図５を参照して後述する。楽音判定処理により楽音であると判定された場合（Ｓ２でＹＥＳ）には、内容判別結果として「楽音」を出力して（Ｓ３）、処理を終える。
【００４１】
楽音判定処理により楽音と判定されなかった場合（Ｓ２でＮＯ）には、調波性判定処理を行う（Ｓ４）。調波性判定処理とは、オーディオ信号が調波性を有するか、すなわち、基音およびその整数倍の倍音成分からなるスペクトル構造を有しているかを判定する処理である。調波性判定処理の詳細は図６を参照して後述する。調波性判定処理により調波性なしと判定された場合（Ｓ５でＮＯ）には、内容判別結果として「その他音」を出力する（Ｓ６）。一方、調波性判定処理によた調波性ありと判定された場合（Ｓ５でＹＥＳ）、そのオーディオ信号は話声または楽音であると考えられるため、話声／楽音判定処理（Ｓ７）を行う。
すなわち、話声や楽音は、調波性を有するが、環境音や効果音などの音響は調波性を持たないためである。
【００４２】
話声／楽音判定処理では、正確な基音周波数（ピッチ）を算出し、このピッチが音階周波数に一致しているか、または、ピッチに大きな揺らぎがないかに基づき、このオーディオ信号が楽音であるか話声であるかを判定する。この話声／楽音判定処理の詳細は図７を参照して後述する。判定結果が話声であった場合には、内容判別結果として「話声」を出力する（Ｓ９）。判定結果が楽音であった場合には、内容判別結果として「楽音」を出力する（Ｓ１０）。
【００４３】
図５（Ａ）は、楽音判定処理を示すフローチャートである。この処理では、オーディオ信号の全周波数帯域のエネルギーに占める音階周波数成分のエネルギーを測定することにより、このオーディオ信号が楽音（特に合奏の楽音）であるか否かを判定する。
【００４４】
まず、オーディオ信号の中の音階周波数成分のエネルギーおよび全周波数帯域のエネルギーを測定する（Ｓ２０）。オーディオ信号のエネルギーを測定する機能部のブロック図を図５（Ｂ）に示す。音階周波数成分のエネルギー測定は、特定オクターブの１２音のエネルギーを加算したものである。特定オクターブとしては、メロディが演奏されるオクターブ、たとえばＣ３〜Ｂ３のオクターブを用いればよい。このため、Ｃ〜Ｂの１２半音階のＢＰＦフィルタを設ける。各フィルタを通過した周波数成分をそれぞれ積分して、各周波数成分のエネルギーを求め、これらを加算する。この加算されたものが音階周波数成分のエネルギーである。一方、オーディオ信号を直接積分して全周波数帯域のエネルギーを求める。
【００４５】
Ｓ２０で求められた音階周波数成分のエネルギーと全周波数帯域成分のエネルギーとを比較し（Ｓ２１）、その比率が所定の比率以上であった場合、すなわち、音階周波数成分のエネルギーの占める比率が所定値以上であった場合には（Ｓ２２でＹＥＳ）、判定結果として「楽音」を出力する（Ｓ２３）。一方、音階周波数成分のエネルギーの占める比率が所定値に満たなかった場合には（Ｓ２２でＮＯ）、判定結果を出力しないで終了する。
【００４６】
このように、複数のＢＰＦフィルタ処理およひ積分処理のみでオーディオ信号が楽音であるか否かが判定可能であるため、この処理でオーディオ信号が楽音と判定されれば、図４のＳ４以下の処理を省略することができ、処理負荷を大幅に軽減することができる。また、この楽音判定処理では、明確な調波性が現れない複数楽器による合奏の楽音であっても、音階周波数に多くの成分が現れるため、容易に検出可能である。
【００４７】
図６は、調波判定処理を示すフローチャートである。この処理では、オーディオ信号を短時間フーリエ変換（ＳＴＦＴ）し、その周波数スペクトルの自己相関を求めることによって、調波性の有無およびピーク周波数（概略のピッチ周波数）を求める。
【００４８】
ここで、ＳＴＦＴは、現フレームのデータとその前後２フレームを併せた５フレーム分のデータを用いて行う。また、現フレームにおけるＳＴＦＴ結果に前フレームのＳＴＦＴ結果、次フレームのＳＴＦＴ結果を加えた平均値を現フレームの周波数スペクトルＰ（Ｔ）として用いる。したがって、現フレームの周波数スペクトルが求められるのは、現フレームから３フレーム後である。
【００４９】
このように複数フレームの周波数スペクトルを平均することにより、継続的に存在する周波数成分が強調される。すなわち、背景音等のノイズ成分は継続的に存在しないため、スペクトル上で強調されないが、話声や楽音等の継続的に存在する成分は、スペクトル上でその調波成分が強調される。これにより、オーディオ信号中に背景音に埋もれたレベルの小さい話声や楽音が存在しても、これを検出してピーク周波数の測定が可能になる。
【００５０】
図６において、まず、上述の手法で短時間フーリエ変換を行い、現フレーム（時刻：Ｔ）の周波数スペクトルＰ（Ｔ）を求める（Ｓ３１）。図７（Ａ）にＦＦＴ結果の例を示す。この例は話声のみの信号スペクトルである。
【００５１】
次にこの周波数スペクトルの自己相関を検出する（Ｓ３２）。図７（Ｂ）、（Ｃ）、（Ｄ）に自己相関関数の例を示す。図７（Ｂ）は、図７（Ａ）に示した話声のみの周波数スペクトルの自己相関関数であり、自己相関が明確に現れている。図７（Ｃ）は話声および話声以外の成分をふくむオーディオ信号の周波数スペクトルの自己相関関数の例を示す図である。話声が占める周波数帯域は狭いため、周波数差が小さい範囲では自己相関が現れているが、周波数差が大きい範囲では自己相関が乱れている。図７（Ｄ）はその他音の周波数スペクトルの自己相関関数の例を示す図である。このように、その他音は調波性がないため、周波数スペクトルの自己相関が全くない。
【００５２】
自己相関関数の最初のピークを検出し、そのピークの周波数差をピーク周波数Ｆａとする（Ｓ３３）。図７（Ｄ）に例示したようにピーク周波数Ｆａが検出できなかった場合は（Ｓ３４でＮＯ）、「調波性なし」の判定結果を出力して（Ｓ３９）、この処理を終了する。
【００５３】
ピーク周波数Ｆａが検出された場合には、このピーク周波数Ｆａと直前のフレーム（Ｔ−３）のピッチ周波数Ｆ（Ｔ−３）とを比較する（Ｓ３５）。その差が所定値以下（ほぼ一致）であった場合には（Ｓ３６でＹＥＳ）、ピーク周波数Ｆａをオーディオ信号の今回のフレーム（Ｆ−２）におけるピッチ周波数Ｆ（Ｔ−２）とする（Ｓ３７）。そして、判定結果「調波性あり」、ピッチ周波数「Ｆ（Ｔ−２）」を出力して（Ｓ３８）、調波性判定処理を終了する。
【００５４】
一方、ＦａとＦ（Ｔ−３）との差が所定値より大きかった場合には（Ｓ３６でＮＯ）、「調波性なし」の判定結果を出力して（Ｓ３９）、処理動作を終了する。
【００５５】
話声、楽音の調波性は瞬間的に現れて消滅するものではなく複数フレーム継続するものであるため、今回のピーク周波数を前フレームのピッチ周波数と比較してほぼ一致したときのみ調波性ありと判定して誤検出を防止している。
【００５６】
図８は話声／楽音判定処理を示すフローチャートである。この処理では、今回の判別対象フレームの正確なピッチ周波数を算出し、このピッチ周波数が音階周波数に一致しているか、または、ピッチ周波数に大きな揺らぎがないかに基づき、このオーディオ信号が楽音であるか話声であるかを判定している。
【００５７】
まず、図６の処理で得たＳＴＦＴ周波数スペクトルおよびその周波数分解能で得られたＳＴＦＴ分解能の精度のピッチ周波数Ｆ（Ｔ−２）を用いて、瞬時周波数を分析し、これに基づいて得られた正確なピッチ周波数をＦｅ（Ｔ−２）とする（Ｓ５０）。すなわち、全周波数帯域について瞬時周波数分析をするのではなく、ＳＴＦＴで得られた概算のピッチ周波数Ｆ（Ｔ−２）付近のみで瞬時周波数分析を行う。これにより、瞬時周波数分析における処理量を大幅に少なくすることができる。
【００５８】
瞬時周波数は、ＳＴＦＴの各周波数ｂｉｎの信号成分波形の位相φの時間微分φ′として求められる。通常、瞬時周波数φ′は、各周波数ｂｉｎの周波数とほぼ一致し、図９（Ａ）のような一次関数的な相関を示すが、ＳＴＦＴを行ったフレームの信号波形に強いパワーを持った周波数成分Ｆｅがあると、そのＳＴＦＴにおけるその周波数成分Ｆｅ近傍の周波数ｂｉｎの瞬時周波数φ′がほぼ一定値になることが知られている。そして、この場合、ＳＴＦＴで求めた概算のピッチ周波数Ｆと、上述の相関曲線のほぼ水平になっている部分との交点の縦軸値が正確なピッチ周波数Ｆｅであると推定することができる。このようにして、０．２Ｈｚ精度の正確なピッチ周波数Ｆｅ（Ｔ−２）を求めることが可能になる。
【００５９】
この正確なピッチ周波数Ｆｅ（Ｔ−２）が音階周波数とを比較する（Ｓ５１）。この処理では、楽音の存在しえるオクターブ範囲の全１２半音階の周波数をＦｅ（Ｔ−２）と比較する。これらがほぼ一致した場合には（Ｓ５２でＹＥＳ）、オーディオ信号は楽音であるとして、楽音の判定結果を出力し（Ｓ５６）、処理を終了する。一方、Ｆｅ（Ｔ−２）と音階周波数とが一致しない場合には、前フレームで求めた正確なピッチ周波数Ｆｅ（Ｔ−３）と今回の正確なピッチ周波数Ｆｅ（Ｔ−２）とを比較する（Ｓ５３）。前回の正確なピッチ周波数Ｆｅ（Ｔ−３）と今回の正確なピッチ周波数Ｆｅ（Ｔ−２）とがほぼ一致する場合には（Ｓ５４でＹＥＳ）、ピッチ周波数の揺らぎが殆どないため楽音の判定結果を出力する（Ｓ５６）。一方、前回の正確なピッチ周波数Ｆｅ（Ｔ−３）と今回の正確なピッチ周波数Ｆｅ（Ｔ−２）とが一致しない場合には（Ｓ５４でＮＯ）、ピッチに揺らぎがあるため話声の判定結果を出力する（Ｓ５５）。
【００６０】
すなわち、楽音は、安定した周波数の音響であるが、話声は周波数の抑揚があり、比較的大きいピッチ変動（揺らぎ）があるからである。なお、前フレームの正確なピッチＦｅがない（前フレームでこの処理が行われなかった）場合には、Ｓ５４では不一致と判定される。なお、人声に限らず、動物の鳴き声であってもこの話声／楽音判定処理で話声と判定することが可能である。
【００６１】
また、楽音判定処理（図４のＳ１または図５の処理）で楽音と判定されず、この話声／楽音判定処理で楽音と判定されるオーディオ信号とは、たとえばフルート１本など単音の演奏であるため音階音の占めるエネルギーが小さい楽音や、民族楽器等の西洋１２音音階に一致しないピッチの楽器等である。
【００６２】
なお、この実施形態では、全てのチャンネルに内容判別部１４を設け、全てのチャンネルの内容を判別しているが、必ずしも全てのチャンネルの内容を判別する必要はなく、一部のチャンネル（たとえばセンタチャンネル）のみ内容を判別してもよい。また、話声／楽音／その他音の全ての内容を判別する必要はなく、一部の内容（たとえば話声）のみを判別してもよい。
【００６３】
《尚書き》
上記実施形態では、オーディオ信号に初期反射音や残響音を付加する音場効果について説明したが、本発明における信号処理は音場効果に限定されない。
【００６４】
また、上記実施形態では、５．１チャンネルのマルチオーディオ信号を例に挙げて説明したが、マルチチャンネルオーディオ信号のチャンネル数は５．１チャンネルに限定されない。
【符号の説明】
【００６５】
１ オーディオアンプ
４ 信号処理部
１４ 内容判別部
１５ 係数制御部
１６ 係数乗算部
１９ 音場効果生成部
【特許請求の範囲】
【請求項１】
オーディオ信号の調波性の有無を判定することにより、前記オーディオ信号が調波音であるかその他音であるかを判定する調波性判定部と、
前記調波性判定部により、前記オーディオ信号が調波音であると判定されたとき、このオーディオ信号のピッチ周波数が音階周波数に一致しているか否か、および、前記ピッチ周波数の揺らぎの有無に基づいて、前記オーディオ信号が話声であるか楽音であるかを判定する話声／楽音判定部と、
を備えた信号処理装置。
【請求項２】
前記調波性判定部による判定の前に、前記オーディオ信号の音階周波数成分のエネルギーと全帯域成分のエネルギーとを比較することにより、前記オーディオ信号が楽音か否かを判定する楽音判定部を設け、
この楽音判定部により、前記オーディオ信号が楽音でないと判定されたとき、前記調波性判定部の処理を行う請求項１に記載の信号処理装置。
【請求項３】
前記前記調波性判定部は、短時間フーリエ変換による周波数スペクトルの自己相関関数に基づき調波性の有無を判定する請求項１または請求項２に記載の信号処理装置。
【請求項４】
前記話声／楽音判定部は、前記自己相関関数に基づいて求められた概算のピッチ周波数付近のみで瞬時周波数分析を行うことにより、正確なピッチ周波数を求める手段を含む請求項３に記載の信号処理装置。
【請求項１】
オーディオ信号の調波性の有無を判定することにより、前記オーディオ信号が調波音であるかその他音であるかを判定する調波性判定部と、
前記調波性判定部により、前記オーディオ信号が調波音であると判定されたとき、このオーディオ信号のピッチ周波数が音階周波数に一致しているか否か、および、前記ピッチ周波数の揺らぎの有無に基づいて、前記オーディオ信号が話声であるか楽音であるかを判定する話声／楽音判定部と、
を備えた信号処理装置。
【請求項２】
前記調波性判定部による判定の前に、前記オーディオ信号の音階周波数成分のエネルギーと全帯域成分のエネルギーとを比較することにより、前記オーディオ信号が楽音か否かを判定する楽音判定部を設け、
この楽音判定部により、前記オーディオ信号が楽音でないと判定されたとき、前記調波性判定部の処理を行う請求項１に記載の信号処理装置。
【請求項３】
前記前記調波性判定部は、短時間フーリエ変換による周波数スペクトルの自己相関関数に基づき調波性の有無を判定する請求項１または請求項２に記載の信号処理装置。
【請求項４】
前記話声／楽音判定部は、前記自己相関関数に基づいて求められた概算のピッチ周波数付近のみで瞬時周波数分析を行うことにより、正確なピッチ周波数を求める手段を含む請求項３に記載の信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１４５３２６（Ｐ２０１１−１４５３２６Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−３７９２（Ｐ２０１０−３７９２）
【出願日】平成２２年１月１２日（２０１０．１．１２）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年１月１２日（２０１０．１．１２）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]