風雑音低減装置
【課題】歪みの発生を抑制しつつ、高い風雑音低減効果を得る。
【解決手段】入力音響信号を低・中・高帯域に分離する。風雑音低減装置は、入力音響信号の低帯域成分から風雑音の影響度合いを判定する風雑音判定部(11)と、入力音響信号の中帯域成分から低帯域の復元信号を生成し、風雑音判定部の判定結果に応じて復元信号とオリジナルの低帯域信号を加重加算することにより低帯域用の補正音響信号を生成する信号復元部(12)と、風雑音判定部の判定結果に応じて入力音響信号の中帯域成分の信号レベルを低減することにより中帯域用の補正音響信号を生成する信号低減部(13)と、低帯域用及び中帯域用の各補正音響信号とオリジナルの高帯域信号を合成する信号合成部15と、を備える。
【解決手段】入力音響信号を低・中・高帯域に分離する。風雑音低減装置は、入力音響信号の低帯域成分から風雑音の影響度合いを判定する風雑音判定部(11)と、入力音響信号の中帯域成分から低帯域の復元信号を生成し、風雑音判定部の判定結果に応じて復元信号とオリジナルの低帯域信号を加重加算することにより低帯域用の補正音響信号を生成する信号復元部(12)と、風雑音判定部の判定結果に応じて入力音響信号の中帯域成分の信号レベルを低減することにより中帯域用の補正音響信号を生成する信号低減部(13)と、低帯域用及び中帯域用の各補正音響信号とオリジナルの高帯域信号を合成する信号合成部15と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力音響信号に含まれる風雑音を低減するための風雑音低減装置及び風雑音低減方法に関し、また、その風雑音低減装置を利用した録音装置及び撮像装置に関する。
【背景技術】
【0002】
マイクロホンを備えた録音装置において、マイクロホンに風が当たると音響信号に風雑音が混入する。この風雑音は、マイクロホンの振動板に風圧が加わることによって発生し、本来の音響信号にとっての雑音となるため除去されることが望ましい。
【0003】
風雑音が存在する周波数帯域は比較的低く、通常、風雑音は300Hz以下程度の帯域に集中して存在する。このような特性を利用し、従来の風雑音低減装置では、低帯域信号を中心に風雑音の低減を図っていた。一般的には、図11に示す如く、ハイパスフィルタ(HPF)とローパスフィルタ(LPF)を用いて入力音響信号を低帯域成分とそれ以上の帯域成分とに分離し、低帯域の信号を低減させてから(又はカットしてから)両者を再度足し合わせるという手法がとられる。
【0004】
また、風雑音の有無を判定する部位を備えた風雑音低減装置も提案されている。風雑音の有無の判定は、一般的に「風雑音が左右のチャンネル信号間で相互相関がない」という特徴を利用する。具体的には、入力音響信号を形成する左右のチャンネル信号間で相互相関を求め、相互相関を表す相関値が或る閾値以下である場合に、入力音響信号に風雑音が含まれていると判断する。また、単に風雑音の有無を判断するだけでなく、求められた相関値は風雑音の強さを表す指標としても利用される。例えば、相関値に応じて低帯域信号の低減度合いを変動させる手法も提案されている(例えば、下記特許文献1参照)。
【0005】
【特許文献1】特開平11−69480号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
低帯域は、風雑音の周波数帯域を含み、風雑音の影響を多く受けるが、低帯域には音の重要な要素が含まれている。特に、人間の声に関しては、その声のピッチ(ピッチ周波数)が男性で90〜160Hz、女性で230〜370Hz程度であり、音質を決定する上で非常に重要な要素が低帯域に含まれている。ピッチとは、声帯振動による信号の基本周波数のことである。このような重要要素を含む帯域の成分を、単純に低減したりカットしたりすると風雑音とは異なる信号成分の要素まで低減又はカットされてしまい、歪んだ音になってしまう。人間の声の場合では、その声が小さくなったり声色が変化してしまったりする。
【0007】
また、低帯域だけに風雑音低減対策を施し、それ以外の帯域に対して風雑音低減対策を何ら施さなければ、比較的高い周波数の風雑音(コロコロといった音)が残存し、ユーザは違和感を覚える。
【0008】
そこで本発明は、歪みの発生が少なく風雑音低減効果の高い風雑音低減装置及び風雑音低減方法を提供することを目的とする。また、その風雑音低減装置を利用した録音装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために本発明に係る風雑音低減装置は、入力音響信号から風雑音が低減された補正音響信号を生成する風雑音低減装置において、風雑音の帯域を含む所定帯域を第1帯域とし且つ前記第1帯域よりも周波数が高い所定帯域を第2帯域とした場合、当該風雑音低減装置は、前記入力音響信号に含まれる、第1帯域よりも周波数が高い帯域の音響信号に基づいて、前記入力音響信号に含まれる第1帯域の音響信号と異なる、前記第1帯域の音響信号を生成する信号生成手段を有し、前記信号生成手段が生成した前記音響信号に基づいて第1補正音響信号を生成する第1補正手段と、前記入力音響信号の第2帯域の音響信号の信号レベルを低減することにより、前記風雑音が低減された第2帯域の音響信号である第2補正音響信号を生成する第2補正手段と、前記第1及び第2補正音響信号に基づいて前記補正音響信号を出力する補正音響信号出力手段と、を備えたことを特徴とする。
【0010】
重要な音の要素を含む比較的低周波側の第1帯域に対しては音響信号の生成処理(例えば、信号復元処理)を実行し、音の歪みの発生を抑制しつつ風雑音の低減を図る。一方、第1帯域よりも高周波側の、信号低減によって歪みを生じにくい第2帯域に対しては、信号低減処理によって風雑音の低減を図る。これにより、歪みの発生を抑えつつ、高い風雑音低減効果が得られる。
【0011】
具体的には例えば、前記第1補正手段は、前記入力音響信号に含まれる第1帯域の前記音響信号と前記信号生成手段が生成した前記音響信号に基づいて、前記第1補正音響信号を生成する。
【0012】
更に具体的には例えば、前記入力音響信号は、複数のチャンネル信号から成り、当該風雑音低減装置は、更に、前記風雑音の帯域を含む各チャンネル信号の所定帯域成分の、互いに異なるチャンネル信号間における相互相関に基づいて、前記入力音響信号に対する前記風雑音の影響度合いを判定する風雑音判定手段を備え、前記第1補正手段は、前記風雑音判定手段の判定結果に応じて、前記第1補正音響信号を生成する。
【0013】
また例えば、前記入力音響信号は、複数のチャンネル信号から成り、当該風雑音低減装置は、更に、前記風雑音の帯域を含む各チャンネル信号の所定帯域成分の、互いに異なるチャンネル信号間における相互相関に基づいて、前記入力音響信号に対する前記風雑音の影響度合いを判定する風雑音判定手段を備え、前記第2補正手段は、前記風雑音判定手段の判定結果に応じて、前記第2補正音響信号を生成する。
【0014】
或いは例えば、前記入力音響信号は周波数軸上の信号として当該風雑音低減装置に与えられ、且つ、前記入力音響信号は複数のチャンネル信号から成り、前記第2補正手段は、前記入力音響信号の第2帯域を複数の要素帯域に分割し、各要素帯域の音響信号の信号レベルを低減することにより周波数軸上の前記第2補正音響信号を生成し、前記複数の要素帯域の夫々に対して、互いに異なるチャンネル信号間における前記要素帯域の音響信号の相互相関を求め、各相互相関に基づいて前記要素帯域ごとに前記信号レベルの低減度合いを決定する。
【0015】
これにより、無駄に歪みを発生させることなく第2帯域に対する風雑音低減効果が得られる。
【0016】
また例えば、前記入力音響信号は時間軸上の信号として当該風雑音低減装置に与えられ、且つ、前記入力音響信号は複数のチャンネル信号から成り、前記第1補正手段によって生成される前記第1補正音響信号は、時間軸上の信号であり、当該音声信号補正装置は、更に、前記入力音響信号から前記第1帯域を含まず且つ前記第2帯域を含む所定帯域の成分を抽出する抽出手段と、前記第1補正音響信号と前記抽出手段の抽出信号との合成信号の信号形式を時間軸上から周波数軸上に変換する時間周波数変換手段と、を備え、前記第2補正手段は、周波数軸上の前記合成信号における第2帯域の音響信号の信号レベルを低減することにより、周波数軸上の前記第2補正音響信号を生成し、前記補正音響信号出力手段は、前記第2補正手段から得られる周波数軸上の前記第2補正音響信号と、前記時間周波数変換手段から得られる周波数軸上の前記第1補正音響信号を含む音響信号と、に基づいて周波数軸上の前記補正音響信号を出力する。
【0017】
このように構成すれば、風雑音低減装置のエンコーダへの組み込みが容易となる。
【0018】
そして例えば、前記第2補正手段は、周波数軸上の前記合成信号の第2帯域を複数の要素帯域に分割し、各要素帯域の音響信号の信号レベルを低減することにより周波数軸上の前記第2補正音響信号を生成し、前記複数の要素帯域の夫々に対して、互いに異なるチャンネル信号間における前記要素帯域の音響信号の相互相関を求め、各相互相関に基づいて前記要素帯域ごとに前記信号レベルの低減度合いを決定する。
【0019】
また例えば、前記入力音響信号は、複数のチャンネル信号から成り、前記第2補正手段は、前記第2帯域の全部又は一部の帯域に着目し、前記入力音響信号に含まれる前記複数のチャンネル信号分の着目帯域の音響信号を平均化することにより、前記風雑音の影響を比較的多く受けているチャンネルにおける前記着目帯域の音響信号の信号レベルを低減させ、この平均化によって得られた信号から前記第2補正音響信号を生成する。
【0020】
また例えば、前記入力音響信号は、複数のチャンネル信号から成り、前記第2補正手段は、前記第2帯域の全部又は一部の帯域に着目し、前記入力音響信号に含まれる前記複数のチャンネル信号分の着目帯域の音響信号の内、最小の信号レベルを有する音響信号を最小音響信号として且つそれ以外の音響信号を非最小音響信号として特定し、前記非最小音響信号を前記最小音響信号にて置き換えることにより、前記風雑音の影響を比較的多く受けているチャンネルにおける前記着目帯域の音響信号の信号レベルを低減させ、この置き換えによって得られた信号から前記第2補正音響信号を生成する。
【0021】
また、上記目的を達成するために本発明に係る録音装置は、前記風雑音低減装置と、前記風雑音低減装置に対する前記入力音響信号を生成するためのマイクロホンと、を備えたことを特徴とする。
【0022】
また、上記目的を達成するために本発明に係る撮像装置は、前記風雑音低減装置と、前記風雑音低減装置に対する前記入力音響信号を生成するためのマイクロホンと、画像を取得するための撮像手段と、を備えたことを特徴とする。
【0023】
また、上記目的を達成するために本発明に係る風雑音低減方法は、入力音響信号から風雑音が低減された補正音響信号を生成する風雑音低減方法において、風雑音の帯域を含む所定帯域を第1帯域とし且つ前記第1帯域よりも周波数が高い所定帯域を第2帯域とした場合、当該風雑音低減方法は、前記入力音響信号に含まれる、第1帯域よりも周波数が高い帯域の音響信号に基づいて、前記入力音響信号に含まれる第1帯域の音響信号と異なる、前記第1帯域の音響信号を生成する信号生成ステップと、前記信号生成ステップにて生成された前記音響信号に基づいて第1補正音響信号を生成する第1補正ステップと、前記入力音響信号の第2帯域の音響信号の信号レベルを低減することにより、前記風雑音が低減された第2帯域の音響信号である第2補正音響信号を生成する第2補正ステップと、を備え、前記第1及び第2補正音響信号に基づいて前記補正音響信号を生成することを特徴とする。
【発明の効果】
【0024】
本発明によれば、歪みの発生が少なく風雑音低減効果の高い風雑音低減装置及び風雑音低減方法並びに録音装置及び撮像装置を提供することができる。
【0025】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【0026】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第1〜第5実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【0027】
図1は、本発明の実施形態に係る撮像装置1の外観斜視図である。撮像装置1は、音声録音をも可能なデジタルビデオカメラである。撮像装置1の筐体の左側にはマイクロホンMIC1が備え付けられ、撮像装置1の筐体の右側にはマイクロホンMIC2が備え付けられている。マイクロホンMIC1が撮像装置1の左方向から到来する音を収音し、マイクロホンMIC2が撮像装置1の右方向から到来する音を収音することにより、マイクロホンMIC1及びMIC2はスレテオマイクを形成する。尚、図1に示す配置位置とは異なるが、マイクロホンMIC1及びMIC2は、例えば、表示ディスプレイが嵌め込まれた板状筐体の裏面(表示ディスプレイの反対側の面)に互いに近接して設置されうる。
【0028】
図2に、撮像装置1の電気的構成を表す概略ブロック図を示す。撮像装置1は、マイクロホンMIC1及びMIC2の他、撮像部2、映像信号処理部3、音声信号処理部4及び記録媒体5を備える。図示を省略しているが、撮像装置1には、シャッタボタン及び録画ボタンを含む操作部、表示ディスプレイ、スピーカ、CPU(Central Processing Unit)などが備えられている。
【0029】
撮像部2は、光学系と、CCD(Charge Coupled Devices)又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子とを含み、光学系を介して入射する光学像を電気信号に変換することによって該電気信号にて表される画像を取得する。映像信号処理部3は、その電気信号に基づき、撮像部2の取得画像を表す映像信号を生成する。撮像装置1に備えられた操作部(不図示)に対する操作に従って、該映像信号は、メモリカードや光ディスクなどの記録媒体5に記録される。
【0030】
マイクロホンMIC1及びMIC2は、夫々、自身が収音した音をアナログの電気信号に変換して出力する。マイクロホンMIC1及びMIC2の各出力信号は、音声信号処理部4内に設けられたA/D変換器(不図示)によってデジタル信号に変換され、音声信号処理部4は、このデジタル信号に所望の処理を施す。この処理を介して得た信号は、撮像装置1に備えられた操作部(不図示)に対する操作に従って記録媒体5に記録される。
【0031】
マイクロホンMIC1及びMIC2は、夫々、振動体としての振動板(不図示)を有している。各振動板は、音波による空気振動によって振動する一方で振動板に作用した風圧によっても振動する。故に、振動板に音波と風圧が作用している時、振動板は音波と風圧に応じて振動する。マイクロホンMIC1及びMIC2の夫々は、各振動板の振動を電気信号に変換して出力する。マイクロホンの出力信号の内、風圧に由来する雑音(雑音成分)を風雑音という。風雑音は、音波として振動板に到来する雑音ではない。
【0032】
音声信号処理部4は、風雑音低減部6を備える。風雑音低減部6は、各マイクロホンの出力信号に基づく風雑音低減部6の入力信号から風雑音を低減し、風雑音が低減された音響信号を出力信号として出力する。
【0033】
風雑音が存在する周波数帯域は比較的低く、通常、風雑音は300Hz以下程度の帯域に集中して存在する。従って、風雑音低減部6は、300Hzを境界として取り扱い、300Hz(ヘルツ)より小さい周波数帯域を「低帯域」として取り扱って、低帯域に対して風雑音を低減するための処理を施す。但し、強度は比較的小さいものの、300Hz以上であって且つ低帯域に近い周波数帯域にも風雑音は存在する。そこで、風雑音低減部6は、300Hz以上の周波数帯域を、更に、中帯域及び高帯域に分割して取り扱い、中帯域に対しても風雑音を低減するための処理を施す。具体的な数値例として、300Hz以上であって且つ1.5kHz(キロヘルツ)よりも小さい周波数帯域を「中帯域」として取り扱い、1.5kHz以上の周波数帯域を「高帯域」として取り扱うこととする。
【0034】
低帯域は、風雑音の周波数帯域を含み、風雑音の影響を多く受けるが、低帯域には音の重要な要素が含まれている。特に、人間の声に関しては、その声のピッチ(ピッチ周波数)が男性で90〜160Hz、女性で230〜370Hz程度であり、音質を決定する上で非常に重要な要素が低帯域に含まれている。ピッチとは、声帯振動による信号の基本周波数のことである。このような重要要素を含む帯域の成分を、単純に低減したりカットしたりすると風雑音とは異なる信号成分の要素まで低減又はカットされてしまい、歪んだ音になってしまう。人間の声の場合では、その声が小さくなったり声色が変化してしまったりする。
【0035】
そこで、風雑音低減部6では、風雑音を低減するための処理を2段に分割し、各処理を異なる帯域に対して適用する。2段の処理の内、一方の処理は、風雑音を含まない信号を復元する信号復元処理であり、他方の処理は、信号レベルを低減することによって風雑音を低減する信号低減処理である。
【0036】
信号復元処理は、低帯域の信号に適用する。低帯域には強い風雑音とともに音の重要な要素が含まれているため、信号レベルを低減させるのではなく、風雑音を含まない信号を復元することで雑音除去を図る。信号復元処理を行えば、信号レベルを低減させる必要がなくなるため、音の歪みが生じにくくなる。
【0037】
信号低減処理は、中帯域の信号に適用する。中帯域に対する風雑音の影響は小さいが、低帯域にのみ風雑音を低減するための処理を施して中帯域に対して風雑音低減対策を何ら施さなければ、比較的高い周波数の風雑音(コロコロといった音)が残存し、ユーザは違和感を覚える。但し、風雑音の影響が小さいが故に信号低減による音の歪みは少ないと想定され、音の要素に着目しても中帯域はピッチの高調波が存在する帯域であるので信号低減を行っても低帯域ほど歪みの影響を受けない。従って、上述の如く、中帯域の信号には信号低減処理を適用するようにする。
【0038】
尚、中帯域に対しても信号復元処理を適用することが考えられるが、風雑音を含まない中帯域の信号を復元するためには、高帯域の信号中の高調波成分が必要となる。このような高調波成分は微弱であるため、良好な復元は困難である。故に、中帯域の信号には信号低減処理が適している。
【0039】
信号復元処理と信号低減処理を、どちらを先に行っても構わないし、夫々を並列に実行させてもよい。また、信号復元処理と信号低減処理の夫々は、時間軸上でも周波数軸上でも行うことができる。
【0040】
また、風雑音の有無や強さを判定する風雑音判定部を設けるようにしても良い。風雑音判定部は、例えば、左右チャンネル間の相互相関を求めることにより風雑音の有無や強さを判定し、判定結果は、信号復元処理及び/又は信号低減処理に利用される。1つの風雑音判定部を、信号復元処理と信号低減処理で共有してもよいし、2つの風雑音判定部を設け、信号復元処理と信号低減処理の夫々に対して独立に風雑音判定部を割り当てるようにしてもよい。信号復元処理と信号低減処理の夫々に対して独立に風雑音判定部を割り当てる場合、各判定結果を相互利用することも可能である(詳細な具体例は後述)。
【0041】
尚、相互相関とは、対比されるべき信号間における相互の相関性を意味する。後述の各実施例では、所定の演算を介して求めた相関値を相互相関を表す指標として取り扱っているが、相互相関の評価方法はこれに限定されない。
【0042】
以下に、風雑音低減部6に関与する具体的な実施例として、第1〜第5実施例を説明する。
【0043】
<<第1実施例>>
まず、第1実施例について説明する。第1実施例では、信号復元処理と信号低減処理を共に時間軸上で実行する。
【0044】
図3は、第1実施例に係る風雑音低減部6aの内部ブロック図である。風雑音低減部6aは、図2の風雑音低減部6として利用される。風雑音低減部6aは、符号11〜15にて参照される各部位を備える。
【0045】
風雑音低減部6aに対する入力信号(入力音響信号)は、複数のチャンネル信号から成る時間軸上の音響信号(換言すれば、時間領域で表現された音響信号)である。具体的には、図2の音声信号処理部4が、マイクロホンMIC1及びMIC2からのアナログの出力信号を所定のサンプリング周波数にてデジタル信号に変換する。今、マイクロホンMIC1の出力信号に対応するデジタル信号を時系列で並べたチャンネル信号をL(t)にて表し、マイクロホンMIC2の出力信号に対応するデジタル信号を時系列で並べたチャンネル信号をR(t)にて表す。そして、マイクロホンMIC1の出力信号に対応するチャンネル信号をL信号と呼び、マイクロホンMIC2の出力信号に対応するチャンネル信号をR信号と呼ぶ。そうすると、図3の風雑音低減部6aに対する入力信号は、L信号L(t)及びR信号R(t)から成る。この入力信号は風雑音低減部6aによって補正される。従って、風雑音低減部6aに対する入力信号を「原信号」と呼び、風雑音低減部6aの出力信号を「補正信号」と呼ぶことにする。尚、以下、L信号L(t)及びR信号R(t)を、夫々、信号L(t)及びR(t)と略記することもある。
【0046】
信号L(t)及びR(t)は、ゼロを中心とした正負の値をとり、マイクロホンMIC1及びMIC2の振動板が振動しないとき、L(t)及びR(t)の値はゼロとなり(但し、オフセットやノイズ成分を無視)、それらの振動が大きくなるに従ってL(t)及びR(t)の振幅は大きくなる。
【0047】
第1実施例において、原信号は、バンドパスフィルタ(以下、BPFという)23及び30、ローパスフィルタ(以下、LPFという)21及び26、並びに、ハイパスフィルタ(以下、HPFという)14の夫々に対して入力される。
【0048】
風雑音判定部11は、符号21及び22にて参照される各部位を備える。LPF21は、自身に対する入力信号の所定帯域成分を抽出して出力する。LPF21が抽出する帯域は、風雑音の周波数帯域を含み、典型的には上記の「低帯域」と同じとされる。但し、LPF21が抽出する帯域が、上記の「低帯域」と完全に合致する必要はなく、例えば200Hzより小さい周波数帯域をLPF21が抽出する帯域としてもよい。
【0049】
ところで、風雑音低減部6a内の各部位は、複数のチャンネル信号の夫々に対して個別に必要な信号処理を行う。即ち例えば、LPF21は、L信号L(t)の所定帯域成分とR信号R(t)の所定帯域成分を抽出して出力する。これは、後述の風雑音低減部6b及び6cについても同様に当てはまる。但し、当然ではあるが、相互相関演算によって相関値を算出する部位(本実施例において、相関値演算部22)に対して、これは当てはまらない。
【0050】
相関値演算部22は、LPF21から出力されたチャンネル信号間の相互相関を表す相関値、即ち、LPF21によって抽出された帯域成分におけるチャンネル信号間の相関値を求める。具体的には、原信号及び原信号に基づく時間軸上の音響信号を所定間隔の単位区間で区切って考える。図4に示す如く、第1、第2、第3の単位区間、・・・、の順番で時間が進行するものとし、各単位区間には、離散化されたN個の信号(Nサンプルの信号)が含まれているとする。従って、1つの単位区間には、N個のL信号L(t)とN個のR信号R(t)が含まれる。
【0051】
相関値演算部22は、LPF21から出力される信号L(t)及びR(t)に基づき、各単位区間に対して、下記式(1)に従って相関値K[p]を算出する。ここで、pは、単位区間の番号を表す。式(1)におけるLi及びRiは、夫々、着目した単位区間内における、i番目のL信号L(t)の値及びi番目のR信号R(t)の値を示す。勿論、相関値演算部22に対する信号L(t)及びR(t)は、LPF21を介して与えられるので、式(1)におけるLi及びRiは、LPF21の出力値にて規定される。
【0052】
【数1】
【0053】
風雑音は、左右のチャンネル信号間で相互相関がない。故に、原信号に含まれる風雑音が比較的多ければ相関値は比較的小さくなり、原信号に含まれる風雑音が比較的少なければ相関値は比較的大きくなる。従って、相関値K[p]は、第pの単位区間における風雑音の強さに応じた値をとることになる。これを利用し、風雑音判定部11は、相関値演算部22が算出した相関値に基づいて各単位区間に対する風雑音の影響度合いを判定する。この判定結果は、信号復元部12及び信号低減部13での処理に利用される。
【0054】
信号復元部12は、符号23〜29にて参照される各部位を備える。信号復元部12では、音声や楽器音の調波性を利用し、原信号の中帯域信号から低帯域に対する復元信号を生成する。
【0055】
調波性とは、周波数スペクトルが倍音構造で成り立っているという性質であり、音声や楽器音の多くはこの性質を有している。つまり、或る音の周波数スペクトルにおいて、最も低域側の成分の周波数をf0とすると、その音の周波数スペクトルは、f0と、その倍音成分であるf0×2、f0×3、f0×4、・・・の周波数成分から形成される。この場合、f0の周波数成分は基本波成分と呼ばれ、f0×2、f0×3、f0×4、・・・の周波数成分は、夫々、2次、3次、4次、・・・の高調波成分と呼ばれる。
【0056】
調波性のある信号では、高次の高調波成分から基本波成分又は低次の高調波成分を復元できることが知られており、この復元に二乗処理、全波整流、半波整流などの非線形処理を利用できることが知られている(例えば、特開平8−130494号公報、特開平8−278800号公報、特開平9−55778号公報)。
【0057】
図3の信号復元部12でも、公知の任意の手法を用いて復元信号を生成することができる。具体的な例として、信号復元部12では、符号23〜25にて参照される各部位によって復元信号が生成される。各部位の説明を行う。
【0058】
BPF23は、自身に対する入力信号の所定帯域成分を抽出して出力する。低帯域の信号を復元するべく、BPF23が抽出する帯域は、上記の「中帯域」と同じとされる。但し、BPF23が抽出する帯域が、上記の「中帯域」と完全に合致する必要はない。
【0059】
非線形処理部24は、BPF23を通過した信号(BPF23によって抽出された信号)に対して非線形処理を施す。この非線形処理は、二乗処理、全波整流(絶対値処理)又は半波整流などである。二乗処理を用いる場合、非線形処理部24は、BPF23を通過した信号を二乗して出力する。人の声がマイクロホンMIC1及びMIC2に収音された場合、BPF23を通過した信号には音声のピッチ信号の高調波成分が含まれるが、この通過した信号を二乗することにより各高調波成分の周波数の差及び和に相当する周波数の信号が生成される。つまり、二乗処理によって、BPF23の通過帯域の低周波側及び高周波側にも調波成分(基本波成分又は高調波成分)が生成される。尚、二乗処理を用いる場合、生成される調波成分の振幅は、本来求めたい調波成分のそれを二乗したものになっている。このため、二乗処理を用いる場合、非線形処理部24は、BPF23を通過した信号を二乗することによって得られる二乗信号に対して正規化等を行い、それによって振幅が調整された二乗信号を出力するようにする。
【0060】
非線形処理として、全波整流(絶対値処理)又は半波整流を用いる場合も同様である。例えば、全波整流を用いる場合、非線形処理部24は、BPF23を通過した信号の絶対値を算出して出力する。
【0061】
信号復元部12では、復元された信号の内、低帯域の信号成分のみを利用する。このため、LPF25は、非線形処理部24の出力信号の低帯域成分のみを通過させる。LPF25の出力信号は、原信号中の中帯域の音響信号から復元された低帯域の音響信号である。そして、復元の元となる中帯域には風雑音が殆ど含まれていないため、復元された低帯域の音響信号にも、風雑音が殆ど含まれてない。つまり、符号23〜25にて参照される各部位によって、原信号の低帯域の音響信号よりも風雑音が低減された低帯域の音響信号が復元される。
【0062】
他方、信号復元部12では、LPF26を用いてオリジナルの低帯域信号を用意しておく。つまり、自身に対する入力信号の低帯域成分のみを通過させるLPF26を用い、LPF26から原信号の低帯域成分のみを出力させる。
【0063】
乗算器27及び28及び加算器29は、相関値演算部22にて算出された相関値に応じてLPF25及び26の各出力信号値を加重加算することにより、信号復元部12の出力信号(第1補正音響信号)を生成する。第pの単位区間におけるLPF26の出力信号値をLPF_OUTO(t)にて表し、且つ、第pの単位区間におけるLPF25の出力信号値をLPF_OUTR(t)にて表した場合、第pの単位区間に対応する信号復元部12の出力信号値OUT12(t)は、下記式(2)にて表される。
【0064】
【数2】
【0065】
つまり、相関値が比較的大きい場合は風雑音が比較的小さいと判断されるため、信号復元部12の出力信号に対するオリジナルの低帯域信号の寄与度を増大させる。一方、相関値が比較的小さいは風雑音が比較的大きいと判断されるため、信号復元部12の出力信号に対する復元信号(復元信号の低帯域信号)の寄与度を増大させる。
【0066】
尚、上記式(1)の算出式からも分かるように、相関値K[p]は、不等式「0≦K[p]≦1」を満たす。このため、OUT12(t)の算出に相関値K[p]をそのまま用いているが、「0≦K[p]≦1」を満たさない場合は式(2)を適宜変更すればよい。また、着目した単位区間に関し、相関値が所定の基準閾値よりも大きい場合は、風雑音はないと判断してLPF26の出力信号をそのまま信号復元部12の出力信号とするようにしてもよい。
【0067】
信号低減部13は、符号30及び31にて参照される各部位を備える。BPF30は、自身に対する入力信号の中帯域成分を抽出して出力する。乗算器31は、単位区間ごとに、BPF30を通過した信号(即ち、原信号から抽出された中帯域の音響信号)のレベルを相関値演算部22にて算出された相関値に応じた低減率にて低減させ、低減後の信号を信号低減部13の出力信号として出力する。或る信号のレベルとは、その信号の振幅(強度)を表している。
【0068】
この際、相関値から風雑音の影響が大きいと判断される場合はレベルを大きく低減させ、相関値から風雑音の影響が小さいと判断される場合はレベルをあまり低減させないようにする。つまり、第pの単位区間に着目した場合、相関値K[p]が減少するに従って第pの単位区間に対応する低減率を増大させてより大きくレベルを低減させるようにする(逆に考えれば、相関値K[p]が増大するに従って第pの単位区間に対応する低減率を減少させる)。乗算器31による信号低減によって信号低減部13の出力信号(第2補正音響信号)に含まれる風雑音は適切に低減されることになる。
【0069】
尚、同じ結果を導くのであれば、低減させる手法は任意である。例えば、相関値演算部22にて算出された相関値又は該相関値に応じた係数をBPF30の出力信号に乗じればよい。
【0070】
HPF14は、自身に対する入力信号の高帯域成分のみを通過させる。
【0071】
信号合成部15は、信号復元処理によって風雑音が低減された低帯域の音響信号を表す信号復元部12の出力信号と、信号低減処理によって風雑音が低減された中帯域の音響信号を表す信号低減部13の出力信号と、HPF14の出力信号とを加算し、この加算によって得られた信号を風雑音低減部6aの出力信号(即ち、補正信号)として出力する。第1実施例において、この補正信号も原信号と同じく複数のチャンネル信号から成る時間軸上の音響信号である。
【0072】
尚、信号復元部12、信号低減部13及びHPF14における各信号遅延量が異なる場合は、信号合成部15内または信号合成部15の前段にて、それらの信号遅延量間の差を打ち消す遅延処理を行ってから、信号合成部15の加算処理を行うようにする。これは、乗算器27及び28及び加算器29を用いた加重加算処理においても同様である。また、信号復元部12による信号復元処理と信号低減部13による信号低減処理の前に相関値を算出する必要はあるが、信号復元処理と信号低減処理の処理順序に対して特に制約はない。
【0073】
図2の音声信号処理部4は、信号合成部15から出力される補正信号に所定の符号化処理(音声圧縮処理)を施して得た信号を記録媒体5に記録する。所定の符号化処理とは、例えば、MPEG(Moving Picture Experts Group)の規格に従ったAAC (Advanced Audio Coding)である。
【0074】
上述の説明では、原則として、L信号とR信号に対する信号処理を個別に分けて記述していないが、上述したように、風雑音低減部6a内の各部位は、複数のチャンネル信号の夫々に対して個別に必要な信号処理を行う。
【0075】
つまり、LPF21は、原信号を形成するL信号及びR信号の各所定帯域成分(典型的には低帯域成分)を抽出して出力する。BPF23は、原信号を形成するL信号及びR信号の各所定帯域成分(典型的には中帯域成分)を抽出して出力する。非線形処理部24は、BPF23を介して与えられるL信号及びR信号に対して個別に非線形処理を行い、LPF25は、この非線形処理後のL信号及びR信号の各低帯域成分のみを通過させる。LPF26は、原信号を形成するL信号及びR信号の各低帯域成分のみを通過させる。乗算器27及び28並びに加算器29は、LPF25から出力されるL信号とLPF26から出力されるL信号の加重加算処理を行うと共にLPF25から出力されるR信号とLPF26から出力されるR信号の加重加算処理を行う。
BPF30は、原信号を形成するL信号及びR信号の各中帯域成分を抽出して出力し、乗算器31は、BPF30を通過したL信号及びR信号の各レベルを相関値に応じた低減率にて低減させる(低減率を決定する相関値は、L信号及びR信号間で共通である)。
HPF14は、原信号を形成するL信号及びR信号の各高帯域成分のみを通過させる。信号合成部15は、信号復元部12の出力信号におけるL信号と信号低減部13の出力信号におけるL信号とHPF14の出力信号におけるL信号とを加算する共に信号復元部12の出力信号におけるR信号と信号低減部13の出力信号におけるR信号とHPF14の出力信号におけるR信号とを加算することによって、補正信号を生成する。
【0076】
また、風雑音低減部6aから、風雑音判定部11を省略することも可能である。風雑音判定部11を省略した場合、乗算器27及び28及び加算器29は、LPF25及び26の各出力信号値を一定の比率で加重加算することにより、信号復元部12の出力信号(第1補正音響信号)を生成する。つまり、この場合、上記式(2)におけるK[p]は固定値とされる。また、風雑音判定部11を省略した場合、乗算器31は、BPF30を通過した信号のレベルを、一定の低減率にて低減させ、低減後の信号を信号低減部13の出力信号として出力する。尚、風雑音判定部11が省略された場合、風雑音低減部6aに対する入力信号は1つのチャンネル信号から成るモノラル信号であってもよい。
【0077】
また、上述の例では、BPF23、非線形処理部24及びLPF25が、L信号とR信号に対して個別に必要な処理を行うことにより、L信号についての復元信号とR信号についての復元信号を生成することとしているが、原信号を形成するL信号とR信号からモノラル信号を生成し、該モノラル信号に基づいてモノラルの復元信号を生成するようにしてもよい。信号のモノラル化は、原信号から復元信号を生成する過程内の何れの段階でも行うことができる。通常は、BPF23の前段において、原信号を形成するL信号とR信号を平均化することによりモノラル信号を生成し、該モノラル信号をBPF23に与えればよい。モノラルの復元信号は、L信号用の復元信号として利用されると共にR信号用の復元信号としても利用される。モノラル信号からモノラルの復元信号を生成するようにすれば、信号処理が1チャンネル分ですみ、処理の簡素化が図られる。低帯域ではステレオ感が乏しいため、モノラルの復元信号を利用しても問題は少ない。モノラルの復元信号を生成するという技術的事項を、後述の他の実施例に当てはめることも可能である。
【0078】
[信号低減処理の変形例]
また、上述の信号低減処理では、乗算器31を用い、BPF30を通過した信号のレベルを相関値K[p]に応じた低減率にて低減させているが、信号レベルの低減方法はこれに限定されない。例として、第1実施例の信号低減処理に関する、第1及び第2の変形信号低減処理を例示する。尚、以下、L信号に対応するチャンネルをLチャンネルと呼び、R信号に対応するチャンネルをRチャンネルと呼ぶ。
【0079】
まず、第1の変形信号低減処理を説明する。第1の変形信号低減処理において、信号低減部13は、相関値K[p]を所定の閾値KTHAと比較する。上述の如く、相関値K[p]は、第pの単位区間における風雑音の影響度合いを表している。一方で、閾値KTHAは、その影響度合いと対比されるべき基準影響度合いを表している。相関値K[p]が閾値KTHAよりも小さい場合、第pの単位区間おける風雑音の影響が比較的大きいと判断され、相関値K[p]が閾値KTHAよりも大きい場合、それが比較的小さいと判断される(第2の変形信号低減処理についても同様)。
【0080】
そして、相関値K[p]が閾値KTHAよりも小さい場合、信号低減部13は、BPF30を通過したL信号及びR信号を平均化し、この平均化によって得られたモノラル信号を信号低減部13の出力信号として信号合成部15に与える。今、BPF30を通過した、第pの単位区間におけるL信号及びR信号の信号値を夫々BPF_OUTL(t)及びBPF_OUTR(t)で表し、且つ、信号低減部13から出力される、第pの単位区間におけるL信号及びR信号の信号値を夫々BPF_OUTL’(t)及びBPF_OUTR’(t)で表す。そうすると、相関値K[p]が閾値KTHAよりも小さいとき、「BPF_OUTL’(t)=BPF_OUTR’(t)=(BPF_OUTL(t)+BPF_OUTR(t))/2」にて表される信号が信号低減部13から出力される。
【0081】
風雑音は、乱気流によって各チャンネルでランダムに発生する雑音であるため、風雑音の影響が強いチャンネルもあれば弱いチャンネルも存在する。上記の平均化を行えば、風雑音の影響が各チャンネル間で均等になり、風雑音の影響を比較的多く受けているチャンネルの雑音レベルが低減する。
【0082】
図12に、この平均化による信号低減処理の概念図を示す。第pの単位区間について議論する。図12に示す例では、風雑音の影響がLチャンネルに対して比較的多くRチャンネルに対して比較的小さくなっており、これに由来して、BPF30を通過したL信号の信号レベルはBPF30を通過したR信号のそれよりも大きくなっている。このような場合に上記の平均化を行うと、BPF30を通過したL信号及びR信号に含まれる風雑音成分も平均化され、結果として、BPF30の通過信号の内、L信号の信号レベルが低減される。
【0083】
一方、相関値K[p]が所定の閾値KTHAよりも大きい場合は、上記の平均化を行わず、BPF30を通過したL信号及びR信号を、そのまま、信号低減部13から出力されるべきL信号及びR信号として信号合成部15に与えるとよい。或いは、乗算器31を用いた、原則通りの信号低減処理を行うようにしてもよい。即ち、相関値K[p]が所定の閾値KTHAよりも大きい場合は、乗算器31を用い、BPF30を通過したL信号及びR信号のレベルを相関値K[p]に応じた低減率にて低減させ、これによって得た信号を信号低減部13の出力信号としてもよい。
【0084】
次に、第2の変形信号低減処理を説明する。第1の変形信号低減処理を利用した場合、図12からも理解されるように、信号低減処理によって、風雑音の影響が比較的小さいチャンネル(図12においてRチャンネル)の風雑音成分が増加する。これを回避するため、第2の変形信号低減処理では、左右チャンネルの内、信号レベルが小さい方のチャンネルの信号にて信号レベルが大きい方のチャンネルの信号を置き換える。
【0085】
より具体的には、第2の変形信号低減処理において、信号低減部13は、相関値K[p]を所定の閾値KTHAと比較する。そして、相関値K[p]が閾値KTHAよりも小さい場合は、BPF30を通過したL信号とR信号の内、信号レベルが小さい方の信号を最小音響信号として且つ他方の信号を非最小音響信号として特定し、非最小音響信号を最小音響信号にて置き換える。即ち、相関値K[p]が閾値KTHAよりも小さい場合において、BPF30を通過したL信号とR信号の内、例えばR信号が最小音響信号として特定されたときは、「BPF_OUTL’(t)=BPF_OUTR’(t)=BPF_OUTR(t)」にて表される信号が信号低減部13から出力される。
【0086】
図13に、この置き換えによる信号低減処理の概念図を示す。第pの単位区間について議論する。図13に示す例では、風雑音の影響がLチャンネルに対して比較的多くRチャンネルに対して比較的小さくなっており、これに由来して、BPF30を通過したL信号の信号レベルはBPF30を通過したR信号のそれよりも大きくなっている。このような場合に上記の置き換えを行うと、BPF30を通過したL信号に含まれる風雑音成分が低減される(R信号に対しては変化なし)。これにより、風雑音の影響が比較的少ないチャンネルの雑音レベルを増大させることなく、風雑音の影響を比較的多く受けているチャンネルの雑音レベルを低減させることができる。
【0087】
一方、相関値K[p]が所定の閾値KTHAよりも大きい場合は、上記の置き換えを行わず、BPF30を通過したL信号及びR信号を、そのまま、信号低減部13から出力されるべきL信号及びR信号として信号合成部15に与えるとよい。或いは、乗算器31を用いた、原則通りの信号低減処理を行うようにしてもよい。即ち、相関値K[p]が所定の閾値KTHAよりも大きい場合は、乗算器31を用い、BPF30を通過したL信号及びR信号のレベルを相関値K[p]に応じた低減率にて低減させ、これによって得た信号を信号低減部13の出力信号としてもよい。
【0088】
<<第2実施例>>
次に、第2実施例について説明する。第2実施例では、信号復元処理と信号低減処理を共に周波数軸上で実行する。
【0089】
図5は、第2実施例に係る風雑音低減部6bの内部ブロック図である。風雑音低減部6bは、図2の風雑音低減部6として利用される。風雑音低減部6bは、低帯域用の風雑音判定部として機能する相関値演算部51と、中帯域用の風雑音判定部52と、信号低減部53と、信号復元部54と、信号合成部55と、を備える。風雑音判定部52は、n個の相関値演算部52_1、52_2、・・・、52_nを備え、信号低減部53は、n個の乗算器53_1、53_2、・・・、53_nを備える(nは、2以上の整数)。信号復元部54は、復元信号生成部61及び信号選択器62にて参照される各部位を備える。
【0090】
風雑音低減部6bに対する入力信号(入力音響信号)は、複数のチャンネル信号から成る周波数軸上の音響信号(換言すれば、周波数領域で表現された音響信号)である。風雑音低減部6bに対する入力信号は、時間軸上の音響信号である図3の風雑音低減部6aに対する入力信号(L(t)及びR(t))を時間周波数変換によって周波数軸上の音響信号に変換したものである。この時間周波数変換には、DFT(Discrete Fourier Transform)やDCT(Discrete Cosine Transform)などを利用する。
【0091】
上記の時間周波数変換によって、時間Δt毎に時間軸方向にサンプリングされたL信号L(t)及びR信号R(t)が周波数Δf毎に周波数軸方向にサンプリングされたL信号L(f)及びR信号R(f)に変換される。L(t)及びL(f)に対応するチャンネル信号をL信号と呼び、R(t)及びR(f)に対応するチャンネル信号をR信号と呼ぶ。
【0092】
図5の風雑音低減部6bに対する入力信号は、上述のようなL信号L(f)及びR信号R(f)から形成される。この入力信号は風雑音低減部6bによって補正される。従って、風雑音低減部6bに対する入力信号を「原信号」と呼び、風雑音低減部6bの出力信号を「補正信号」と呼ぶことにする。尚、以下、L信号L(f)及びR信号R(f)を、夫々、信号L(f)及びR(f)と略記することもある。
【0093】
今、説明の具体化のため、時間周波数変換として修正離散コサイン変換(modified discrete cosine transform;MDCT)を用いる場合を想定する。MDCTを用いる場合、時間軸上の各チャンネル信号を符号化の処理単位であるフレームに分割する。1つのフレームには、1つ以上のブロックが含まれるが、今、1つのフレームが1つのブロックから形成されるものとする。フレームの番号(即ち、ブロックの番号)をmで表し、0から起算してm番目のフレームを第mのフレームと表現する。mは、0以上の整数値をとる。図6に、各フレームの関係を示す。第0のフレーム、第1のフレーム、第2のフレーム、・・・、の順番で時間が進行する。各ブロックは、直前のブロックとの間でブロックの半分の長さの重複部分を有する。今の例の場合、1つのフレームが1つのブロックから形成されるため、各フレームも、直前のフレームとの間で1フレームの半分の長さの重複部分を有する。
【0094】
そして、Nサンプルの信号L(t)がMサンプルの信号L(f)に変換されると共にNサンプルの信号R(t)がMサンプルの信号R(f)に変換されるものとし、N=2048且つM=1024であるとする。また、サンプリング周波数が48kHzである場合を想定し、上述のΔtを48kHzの逆数とする。更に、周波数番号を表す変数としてkを導入する。M=1024であるためkは0以上且つ1023以下の各整数値をとり、更にΔt=1/48kHzであるため、L(f)及びR(f)が表す周波数スペクトルの周波数間隔、即ち、周波数番号(k−1)とkの間の周波数間隔は約23Hzとなる。従って、低帯域の上限として考えた300Hzはk=13に対応し、中帯域の上限として考えた1.5kHzはk=64に対応する。
【0095】
そうすると、信号L(f)及びR(f)はMDCT係数Lm,k及びRm,kにて表現することができる。MDCT係数Lm,kは、信号L(f)の、第mのフレームにおける周波数番号kの周波数成分の信号強度を表し、MDCT係数Rm,kは、信号R(f)の、第mのフレームにおける周波数番号kの周波数成分の信号強度を表す。
【0096】
原信号を形成する信号L(f)及びR(f)の内、周波数帯域が低帯域に属する信号が相関値演算部51に入力される。即ち、0≦k≦13の範囲内におけるMDCT係数Lm,k及びRm,kが相関値演算部51に入力される。相関値演算部51は、フレームごとに下記式(3)に従って相関値KA[m]を算出する。KA[m]は、第mのフレームに対する相関値を表す。KA[m]は、0以上1以下の値となる。尚、当然ではあるが、本実施例の如く周波数軸上で信号を取り扱う場合は、一定の周波数間隔で信号が存在するため、第1実施例では必要であったLPF等は不要である。
【0097】
【数3】
【0098】
風雑音は、左右のチャンネル信号間で相互相関がない。故に、原信号に含まれる風雑音が比較的多ければ相関値は比較的小さくなり、原信号に含まれる風雑音が比較的少なければ相関値は比較的大きくなる。相関値KA[m]は、第mのフレームにおける風雑音の強さに応じた値をとることになる。これを利用し、低帯域用の風雑音判定部としての相関値演算部51は、相関値に基づいて各フレームに対する風雑音の影響度合いを判定する。この判定結果は、信号復元部54での処理に利用される。
【0099】
原信号を形成する信号L(f)及びR(f)の内、周波数帯域が中帯域に属する信号が風雑音判定部52及び信号低減部53に入力される。即ち、14≦k≦64の範囲内におけるMDCT係数Lm,k及びRm,kが風雑音判定部52及び信号低減部53に入力される。風雑音判定部52及び信号低減部53に対する入力信号は、更にn個に細分化される。つまり、中帯域を更にn個に細分化し、細分化された帯域ごとに風雑音判定と信号低減を実施する。
【0100】
具体的には、
14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kが相関値演算部52_1及び乗算器53_1に入力され、
k1<k≦k2の範囲内におけるMDCT係数Lm,k及びRm,kが相関値演算部52_2及び乗算器53_2に入力され、・・・、
knー1<k≦knの範囲内におけるMDCT係数Lm,k及びRm,kが相関値演算部52_n及び乗算器53_nに入力される。
ここで、14<k1<k2<、・・・<kn-1<kn=64、である。
【0101】
風雑音判定部52では、n個に細分化された帯域ごとに相関値を算出する。即ち、相関値演算部52_1は、フレームごとに下記式(4−1)に従って相関値KB1[m]を算出し、相関値演算部52_2は、フレームごとに下記式(4−2)に従って相関値KB2[m]を算出し、・・・、相関値演算部52_nは、フレームごとに下記式(4−n)に従って相関値KBn[m]を算出する。相関値KB1[m]、KB2[m]、・・・KBn[m]は、第mのフレームに対する相関値を表す。KB1[m]、KB2[m]、・・・KBn[m]は、対応する帯域に関するL信号とR信号との間の相互相関を表し、夫々、0以上1以下の値となる。
【0102】
【数4】
【0103】
乗算器53_1は、第mのフレームに関し、自身に対する入力信号のレベル(即ち、14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kの値)を相関値KB1[m]に応じた低減率にて低減させ、低減後の信号を出力する。同様に、
乗算器53_2は、第mのフレームに関し、自身に対する入力信号のレベル(即ち、k1<k≦k2の範囲内におけるMDCT係数Lm,k及びRm,kの値)を相関値KB2[m]に応じた低減率にて低減させ、低減後の信号を出力する。同様に、
乗算器53_nは、第mのフレームに関し、自身に対する入力信号のレベル(即ち、knー1<k≦knの範囲内におけるMDCT係数Lm,k及びRm,kの値)を相関値KBn[m]に応じた低減率にて低減させ、低減後の信号を出力する。
信号低減部53内の他の乗算器についても同様である。
【0104】
この際、jを1以上n以下の整数とした場合、乗算器53_jは、相関値KBj[m]から風雑音の影響が大きいと判断される場合はレベルを大きく低減させ、相関値KBj[m]から風雑音の影響が小さいと判断される場合はレベルをあまり低減させないようにする。つまり、乗算器53_jは、相関値KBj[m]が減少するに従って第mのフレームに対応する低減率を増大させ、相関値KBj[m]が増大するに従って第mのフレームに対応する低減率を減少させる。低減率が大きいほど乗算器53_jにおけるレベルの低減度合いは大きくなる。低減対象となるレベルとは、具体的には、例えばj=1の場合、14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kの値である。
【0105】
尚、同じ結果を導くのであれば、低減させる手法は任意である。例えば、相関値演算部52_jにて算出された相関値又は該相関値に応じた係数を、乗算器53_jの入力信号に乗じればよい。尚、相関値KBj[m]が所定の基準閾値よりも大きい場合は、風雑音はないと判断して乗算器53_jの入力信号をそのまま乗算器53_jの出力信号とするようにしてもよい。
【0106】
中帯域においては、風の強さ等に依存して風雑音の影響を受ける帯域が異なってくる。そこで、中帯域をより小さな帯域に細分化して細分化した帯域ごとに風雑音の影響度合いを相関値演算によって評価する。そして、細分化した帯域ごとに、風雑音の影響度合いに応じて信号レベルの低減度合いを調整する。これにより、風雑音の影響がある細分化帯域に対してのみ信号低減がなされ、或いは、より風雑音の影響が多い細分化帯域に対してより強い信号低減がなされる。結果、不必要に信号低減を行うことなく中帯域に対する風雑音低減効果が得られる。
【0107】
乗算器53_1、53_2、・・・、53_nの各出力信号は合成され、その合成によって得られた中帯域のMDCT係数は、信号低減部53の出力信号(第2補正音響信号)として復元信号生成部61及び信号合成部55に送られる。
【0108】
復元信号生成部61は、信号低減部53の出力信号に含まれる、中帯域のピッチ情報から低帯域のピッチを予測して周波数軸上における低帯域の音響信号を復元する。1つのフレームに着目して、この復元手法を説明する。図7を参照する。図7の符号300が付された実線の折れ線は、復元信号生成部61に与えられた、着目フレームにおける中帯域の周波数スペクトルを表している。本実施例において、周波数スペクトル300は、信号低減部53の出力信号にて規定されることになる。
【0109】
図7において、横軸は周波数を表し、縦軸は周波数スペクトルのレベルを表す。周波数スペクトルのレベルは、MDCT係数の値によって表される。図7は、着目フレームにピッチが含まれている場合に対応している。着目フレームにピッチが含まれていると周波数スペクトルが周期的に変動し、周期的に極大値と極小値をとる。今、周波数スペクトル300が周波数fA、fC、fE及びfGにて極大値をとり且つ周波数fB、fD、fF、fHにて極小値をとったとする。ここで、fA<fB<fC<fD<fE<fF<fG<fHとする。
【0110】
復元信号生成部61は、周波数スペクトル300から周波数fA、fB、fC、fD、fE、fF、fG及びfHを検出し、隣接する極大値と極小値間の差分値を算出する、そして、その差分値が所定の差分閾値以上である場合に、その差分値に対応する極大値の周波数成分をピッチの高調波成分であると判断する。例えば、周波数スペクトル300における周波数fAのレベルから周波数fBのレベルを差し引くことによって得られる差分値と上記の差分閾値を比較し、前者が後者以上である場合に周波数fAの成分をピッチの高調波成分であると判断する一方、前者が後者未満である場合に周波数fAの成分はピッチの高調波成分でないと判断する。他の極大値及び極小値に対応する周波数についても同様である。
【0111】
今、この判断によって、周波数fA、fC、fE及びfGがピッチの高調波成分であると判断されたとする。この場合、復元信号生成部61は、隣接する高調波成分の周波数差からピッチ間隔Dpを予測する。例えば、周波数差(fA−fC)と(fC−fE)と(fE−fG)の平均をピッチ間隔Dpとする。更に、復元信号生成部61は、周波数スペクトル300における周波数fA、fC、fE及びfGのレベルからピッチのレベルGpを予測する。
【0112】
復元信号生成部61は、予測したピッチ間隔Dp及びピッチのレベルGpを含むピッチ情報から、低帯域の信号を予測して復元信号を生成する。即ち、中帯域の中で最も低周波数側にあるピッチの高調波成分の周波数からピッチ間隔Dpだけ低い周波数fX(=fA−Dp)にピッチが存在すると予測し、その周波数fXにレベルGpのピッチを復元する。この復元の様子を図7及び図8に示す。図7において、符号301が付された破線の折れ線は、復元信号生成部61にて生成された周波数軸上における低帯域の復元信号の周波数スペクトルを表している。
【0113】
レベルGpは、周波数スペクトル300を表す座標面において、周波数スペクトル300における周波数fA、fC、fE及びfGのレベルを線形補間又は曲線補間することによって算出する。例えば、周波数fA、fC、fE及びfGのレベルが、夫々、10、8、6及び4によって数値化される場合、Gpは12と予測される。
【0114】
また、周波数fX以外の復元信号(即ち、図7の周波数スペクトル301の折れ線形状)は、周波数fXから周波数が離れるに従ってレベルが徐々に減少するように、予測される。この予測の際、周波数スペクトル300を考慮するようにしてもよい。例えば、周波数スペクトル300における隣接する極大値と極小値間のスペクトル形状を考慮して、周波数fX以外の復元信号を予測しても良い。例えば、レベルGpと周波数fCにおけるレベルとの比率(上記の数値例では、12/8=1.5)にて、周波数スペクトル300内における周波数fB−fD間のスペクトル形状をレベル方向に引き伸ばすことによって得られるスペククトル形状を、周波数スペクトル301の形状としてもよい。尚、図7及び図8に示す例では、復元したピッチが1つしかないが、算出されたピッチ間隔Dpが狭い場合は、低帯域内に複数のピッチが存在するように復元信号を生成するようにしても構わない。
【0115】
信号選択器62には、原信号内の低帯域の信号と復元信号生成部61によって生成された復元信号とが与えられ、信号選択器62は、フレーム毎に、前者と後者の内の一方を相関値演算部51によって算出された相関値KA[m]に応じて選択して出力する。原信号内の低帯域の信号も復元信号生成部61によって生成された復元信号も、0≦k≦13の範囲内におけるMDCT係数Lm,k及びRm,kにて表現されるが、両者間におけるMDCT係数Lm,k及びRm,kの値は通常異なる。
【0116】
具体的には、第mのフレームに着目した場合、信号選択器62は、相関値KA[m]と所定の閾値を比較し、相関値KA[m]が所定の閾値以下の場合に風雑音があると判断して第mのフレームに対応する復元信号を選択及び出力し、相関値KA[m]が該閾値よりも大きい場合に風雑音がないと判断して第mのフレームに対応する原信号内の低帯域の信号を選択及び出力する。信号選択器62の出力信号は、信号復元部54の出力信号(第1補正音響信号)とされる。
【0117】
信号合成部55には、信号復元部54と信号低減部53の各出力信号の他、原信号内の高帯域の信号がそのまま与えられる。信号合成部55は、フレーム毎に、低帯域の音響信号を表す信号復元部54の出力信号と、信号低減処理によって風雑音が低減された中帯域の音響信号を表す信号低減部53の出力信号と、原信号内の高帯域の信号とを合成し、この合成によって得られた信号を、風雑音低減部6bの出力信号(即ち、補正信号)として出力する。第2実施例において、この補正信号も原信号と同じく複数のチャンネル信号から成る周波数軸上の音響信号である。
【0118】
図2の音声信号処理部4において、信号合成部55から出力される補正信号は、AACの符号化方式に従って量子化され、符号化音声信号としてのビットストリームに変換される。この符号化音声信号(ビットストリーム)は、図2の記録媒体5に記録される。
【0119】
上述の説明では、原則として、L信号とR信号に対する信号処理を個別に分けて記述していないが、上述したように、風雑音低減部6b内の各部位は、複数のチャンネル信号の夫々に対して個別に必要な信号処理を行う。
【0120】
つまり、乗算器53_jは、原信号中の中帯域におけるL信号及びR信号の夫々に対して相関値演算部52_jが算出した相関値に応じた信号低減処理を行う(上述したように、jは1以上n以下の整数)。復元信号生成部61は、信号低減部53の出力信号を形成するL信号及びR信号の夫々のピッチ情報を作成し、各ピッチ情報に基づいてL信号及びR信号の復元信号を生成する。信号選択器62は、相関値演算部51が算出した相関値に応じて、原信号中の低帯域におけるL信号及びR信号又は復元信号におけるL信号及びR信号を選択して出力する。信号合成部55は、信号復元部54の出力信号におけるL信号と信号低減部53の出力信号におけるL信号と原信号中の高帯域におけるL信号とを合成すると共に信号復元部54の出力信号におけるR信号と信号低減部53の出力信号におけるR信号と原信号中の高帯域におけるR信号とを合成することによって、補正信号を生成する。
【0121】
尚、本実施例では、信号低減部53の出力信号(即ち、信号低減処理後の中帯域の信号)に基づいて復元信号を生成するようにしているが、原信号中の中帯域の信号に基づいて復元信号を生成することも可能である。この場合、信号低減部53の出力信号の代わりに、原信号中の中帯域の信号を復元信号生成部61に与えればよい。しかし、信号低減処理によって風雑音を低減してからピッチ情報の抽出を行った方が、より精度の高い情報が得られるため、図5に示す如く構成した方が望ましい。
【0122】
また、風雑音低減部6bから、相関値演算部51を省略することも可能である。相関値演算部51を省略した場合、信号選択器62も省略され、信号復元部54は復元信号生成部61にて生成された復元信号を無条件で出力する。これに類似して、風雑音低減部6bから、風雑音判定部52を省略することも可能である。風雑音判定部52を省略した場合、乗算器53_jは、原信号中の中帯域における信号のレベルを一定の低減率にて低減させ、低減後の信号を出力する。尚、相関値演算部51及び風雑音判定部52が省略された場合、風雑音低減部6bに対する入力信号は1つのチャンネル信号から成るモノラル信号であってもよい。
【0123】
また、風雑音低減部6bに、相関値演算部51としての低帯域用の風雑音判定部と中帯域用の風雑音判定部52とを独立に設け、前者の判定結果を信号復元部52の処理にのみ反映させ且つ後者の判定結果を信号低減部53の処理にのみ反映させているが、以下のように各判定結果を相互利用するようにしてもよい。即ち例えば、相関値演算部51が算出した相関値KA[m]と相関値演算部52_jが算出した相関値KBj[m]に基づいて、第mのフレームにおける乗算器53_jでの低減率を決定するようにしてもよい。より具体的には例えば、相関値KBj[m]の減少に従って該低減率を増大させるだけでなく、相関値KA[m]の減少に従っても該低減率を増大させるようにする。同様に、第mのフレームにおける信号選択器62の選択を、相関値演算部51が算出した相関値KA[m]と相関値演算部52_jが算出した相関値KBj[m]に基づいて行うようにしても良い。
【0124】
[信号低減処理の変形例]
また、上述の信号低減処理では、原信号中の中帯域におけるL信号及びR信号の夫々の信号レベルを乗算器53_jを用いて低減させ、この低減後の信号を信号合成部55に与えているが、これに代えて以下のような処理を実行しても良い。例として、第2実施例の信号低減処理に関する、第3及び第4の変形信号低減処理を例示する。第3及び第4の変形信号低減処理は、夫々、第1実施例にて述べた第1及び第2の変形信号低減処理を、第2実施例に適応させた処理に相当する。
【0125】
第3の変形信号低減処理を説明する。説明の具体化のため、まず、細分化されたn個の帯域の1つである、相関値演算部52_1に対応する帯域に注目する。第3の変形信号低減処理において、信号低減部53は、相関値演算部52_1によって算出された相関値KB1[m]を所定の閾値KTHB1と比較する。上述の如く、相関値KB1[m]は、第mのフレームにおける特定帯域への風雑音の影響度合いを表している。一方で、閾値KTHB1は、その影響度合いと対比されるべき基準影響度合いを表している。相関値KB1[m]が閾値KTHB1よりも小さい場合、第mのフレームおける特定帯域への風雑音の影響が比較的大きいと判断され、相関値KB1[m]が閾値KTHB1よりも大きい場合、それが比較的小さいと判断される(相関値KB2[m]〜KBn[m]についても同様、且つ、第4の変形信号低減処理についても同様)。
【0126】
そして、相関値KB1[m]が閾値KTHB1よりも小さい場合、信号低減部53は、原信号に含まれる14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kを平均化したMDCT係数(Lm,k+Rm,k)/2を算出し、そのMDCT係数(Lm,k+Rm,k)/2を、信号低減部53から出力されるべき14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kとして取り扱う。
【0127】
一方、相関値KB1[m]が閾値KTHB1よりも大きい場合は、上記の平均化を行わず、原信号に含まれる14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kをそのまま信号低減部53から出力されるべき14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kとして取り扱う(或いは、乗算器53_1による上述の信号低減処理を行ってもよい)。
【0128】
上記の処理は、細分化されたn個の帯域の夫々に対して個別に行われる。変数jを用いて一般化する。信号低減部53から出力されるべきkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k及びRm,kを、夫々、MDCT係数Lm,k’及びRm,k’にて表す。上述したように、14<k1<k2<、・・・<kn-1<kn=64、であり、また、k0=14であるとする。
【0129】
信号低減部53は、j=1、2、・・・、nの夫々に関し、相関値演算部52_jによって算出された相関値KBj[m]を所定の閾値KTHBjと比較する。そして、相関値KBj[m]が閾値KTHBjよりも小さい場合、信号低減部53は、原信号に含まれるkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k及びRm,kを平均化したMDCT係数(Lm,k+Rm,k)/2を算出し、そのMDCT係数(Lm,k+Rm,k)/2を、kj-1≦k≦kjの範囲内におけるMDCT係数Lm,k’及びRm,k’として出力する。一方、相関値KBj[m]が閾値KTHBjよりも大きい場合は、上記の平均化を行わず、原信号に含まれるkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k及びRm,kをそのままkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k’及びRm,k’として出力する(或いは、乗算器53_jによる上述の信号低減処理を行ってもよい)。
【0130】
上記の平均化を行えば、風雑音の影響が各チャンネル間で均等になり、風雑音の影響を比較的多く受けているチャンネルの雑音レベルが低減する。また、細分化された帯域ごとに信号低減処理を行うことで、風雑音の影響のある帯域のみの雑音レベルを効率よく低減することができる。
【0131】
第4の変形信号低減処理を説明する。説明の具体化のため、まず、細分化されたn個の帯域の1つである、相関値演算部52_1に対応する帯域に注目する。第4の変形信号低減処理において、信号低減部53は、相関値演算部52_1によって算出された相関値KB1[m]を所定の閾値KTHB1と比較する。そして、相関値KB1[m]が閾値KTHB1よりも小さい場合は、原信号に含まれる14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kの内、信号レベルが小さい方の信号(即ち、絶対値が小さい方のMDCT係数)を最小音響信号として且つ他方の信号(即ち、絶対値が大きい方のMDCT係数)を非最小音響信号として特定し、非最小音響信号を最小音響信号にて置き換える。
【0132】
即ち、相関値KB1[m]が閾値KTHB1よりも小さい場合において、原信号に含まれる14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kの内、例えばMDCT係数Rm,kが最小音響信号として特定されたときは、最小音響信号を表すそのMDCT係数Rm,kが、14≦k≦k1の範囲内におけるMDCT係数Lm,k’として、且つ、14≦k≦k1の範囲内におけるMDCT係数Rm,k’として出力される。
【0133】
一方、相関値KB1[m]が閾値KTHB1よりも大きい場合は、上記の置き換えを行わず、原信号に含まれる14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kをそのまま14≦k≦k1の範囲内におけるMDCT係数Lm,k’及びRm,k’として出力する(或いは、乗算器53_1による上述の信号低減処理を行ってもよい)。
【0134】
上記の処理は、細分化されたn個の帯域の夫々に対して個別に行われる。変数jを用いて一般化する。信号低減部53は、j=1、2、・・・、nの夫々に関し、相関値演算部52_jによって算出された相関値KBj[m]を所定の閾値KTHBjと比較する。そして、相関値KBj[m]が閾値KTHBjよりも小さい場合は、原信号に含まれるkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k及びRm,kの内、信号レベルが小さい方の信号(即ち、絶対値が小さい方のMDCT係数)を最小音響信号として且つ他方の信号(即ち、絶対値が大きい方のMDCT係数)を非最小音響信号として特定し、非最小音響信号を最小音響信号にて置き換える。そして、その置き換え後のMDCT係数を、kj-1≦k≦kjの範囲内におけるMDCT係数Lm,k’及びRm,k’として出力する。
【0135】
一方、相関値KBj[m]が閾値KTHBjよりも大きい場合は、上記の置き換えを行わず、原信号に含まれるkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k及びRm,kをそのままkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k’及びRm,k’として出力する(或いは、乗算器53_jによる上述の信号低減処理を行ってもよい)。
【0136】
上記の置き換えを行えば、風雑音の影響が比較的少ないチャンネルの雑音レベルを増大させることなく、風雑音の影響を比較的多く受けているチャンネルの雑音レベルを低減させることができる。また、細分化された帯域ごとに信号低減処理を行うことで、風雑音の影響のある帯域のみの雑音レベルを効率よく低減することができる。
【0137】
第3又は第4の変形信号低減処理を行って得られた14≦k≦64の範囲内におけるMDCT係数Lm,k’及びRm,k’は合成され、その合成によって得られた中帯域のMDCT係数は、信号低減部53の出力信号として復元信号生成部61及び信号合成部55に送られる。
【0138】
また、低帯域用の風雑音判定部として機能する相関値演算部51の演算結果に基づいて閾値KTHBjを可変設定するようにしてもよい。具体的には例えば、相関値演算部51にて求められた相関値KA[m]が小さくなるに従って、上記の平均化又は置き換えが実行されやすくなるように閾値KTHBjを可変設定する。即ち、相関値KA[m]が小さくなるに従って、相関値KBj[m]と比較されるべき閾値KTHBjを大きくする。
【0139】
<<第3実施例>>
次に、第3実施例について説明する。第3実施例では、信号復元処理を時間軸上で実行し、その後、時間周波数変換を行ってから信号低減処理を周波数軸上で実行する。実現しやすい領域(時間領域又は周波数領域)でそれぞれの処理を行うことにより、より高精度で処理負荷の少ない風雑音低減部を形成できる。
【0140】
図9は、第3実施例に係る風雑音低減部6cの内部ブロック図である。風雑音低減部6cは、図2の風雑音低減部6として利用される。風雑音低減部6cは、低帯域用の風雑音判定部として機能する風雑音判定部11と、信号復元部12と、中帯域用の風雑音判定部として機能する風雑音判定部52と、信号低減部53と、HPF81と、信号合成部82と、時間周波数変換部83と、信号合成部84と、を備える。
【0141】
風雑音低減部6cに対する入力信号(入力音響信号)は、図3の風雑音低減部6aに対する入力信号と同じ信号L(t)及びR(t)である。この入力信号は風雑音低減部6cによって補正される。従って、風雑音低減部6cに対する入力信号を「原信号」と呼び、風雑音低減部6cの出力信号を「補正信号」と呼ぶことにする。
【0142】
第3実施例において、原信号は、BPF23、LPF21及び26、並びに、HPF81の夫々に対して入力される。
【0143】
風雑音低減部6cにおける風雑音判定部11及び信号復元部12は、図3の風雑音低減部6aにおけるそれらと同じものである。即ち、風雑音判定部11にて算出された相関値に応じて、信号復元部12にて原信号の低帯域信号と復元信号の低帯域信号が加重加算され、これによって信号復元部12の出力信号(第1補正音響信号)が生成される。
【0144】
HPF81は、自身に対する入力信号の中帯域成分と高帯域成分のみを通過させる。
【0145】
信号合成部82は、信号復元処理によって風雑音が低減された低帯域の音響信号を表す信号復元部12の出力信号と、HPF81の出力信号とを加算し、この加算によって得られた信号を、時間周波数変換部83に出力する。尚、信号復元部12及びHPF81における各信号遅延量が異なる場合は、信号合成部82内または信号合成部82の前段にて、それらの信号遅延量間の差を打ち消す遅延処理を行ってから、信号合成部82の加算処理を行うようにする。これは、乗算器27及び28及び加算器29を用いた加重加算処理においても同様である。
【0146】
信号合成部82から出力される音響信号は、L信号及びR信号から成る時間軸上の音響信号である。信号合成部82の出力信号を形成するL信号及びR信号の各値は、原信号を形成するL信号及びR信号のそれと異なるのであるが、信号合成部82の出力信号を形成するL信号及びR信号も、説明の便宜上、L(t)及びR(t)で表すこととする。
【0147】
時間周波数変換部83は、信号合成部82の出力信号を時間周波数変換によって周波数軸上の信号に変換する。この時間周波数変換は、第2実施例で述べた時間周波数変換と同様である。即ち、時間周波数変換部83は、時間周波数変換によって、信号合成部82の出力信号を形成する、時間Δt毎に時間軸方向にサンプリングされたL信号L(t)及びR信号R(t)を、周波数Δf毎に周波数軸方向にサンプリングされたL信号L(f)及びR信号R(f)に変換して出力する。時間周波数変換部83の前段にて低帯域に対する信号復元処理がなされているため、この変換によって得られたL信号L(f)及びR信号R(f)の低帯域成分の値は、図5の風雑音低減部6bに対する原信号(第2実施例におけるL(f)及びR(f))のそれと異なっているが、説明の便宜上、本実施例では、時間周波数変換部83から出力されるL信号及びR信号をL(f)及びR(f)と表記する。
【0148】
そして、説明の具体化のため、時間周波数変換部83における時間周波数変換として、第2実施例と同様、修正離散コサイン変換(MDCT)を用いる場合を想定する。そして、第2実施例で述べた、MDCTに対する具体例を本実施例にも適用する(N、M、m、kなどの値の具体例も適用する)。そうすると、時間周波数変換部83の出力信号を形成する信号L(f)及びR(f)は、MDCT係数Lm,k及びRm,kにて表現することができる。
【0149】
時間周波数変換部83の出力信号を形成する信号L(f)及びR(f)の内、周波数帯域が中帯域に属する信号が風雑音判定部52及び信号低減部53に入力される。即ち、14≦k≦64の範囲内におけるMDCT係数Lm,k及びRm,kが風雑音判定部52及び信号低減部53に入力される。
【0150】
風雑音低減部6cにおける風雑音判定部52及び信号低減部53は、図5の風雑音低減部6bにおけるそれらと同じものである。即ち、中帯域をn個に細分化し、細分化された帯域ごとに、風雑音判定部52にて算出された相関値に応じた低減率にて時間周波数変換83の出力信号の中帯域を低減させる。この低減後の信号である、乗算器53_1、53_2、・・・、53_nの各出力信号は合成され、その合成によって得られた中帯域のMDCT係数は、信号低減部53の出力信号(第2補正音響信号)として信号合成部84に送られる。尚、乗算器53_1、53_2、・・・、53_nの各出力信号の合成は、信号合成部84にて行われると考えても良い。
【0151】
時間周波数変換部83の出力信号を形成する信号L(f)及びR(f)の内、周波数帯域が低帯域及び高帯域に属する信号は、そのまま、信号合成部84に与えられる。信号合成部84は、フレーム毎に、時間周波数変換部83から直接与えられた低帯域及び高帯域に属する信号と、信号低減部53の出力信号と、を合成し、この合成によって得られた信号を風雑音低減部6cの出力信号(即ち、補正信号)として出力する。第3実施例において、この補正信号は、複数のチャンネル信号から成る周波数軸上の音響信号である。
【0152】
図2の音声信号処理部4において、信号合成部84から出力される補正信号は、AACの符号化方式に従って量子化され、符号化音声信号としてのビットストリームに変換される。この符号化音声信号(ビットストリーム)は、図2の記録媒体5に記録される。
【0153】
上述の説明では、原則として、L信号とR信号に対する信号処理を個別に分けて記述していないが、上述したように、風雑音低減部6c内の各部位は、複数のチャンネル信号の夫々に対して個別に必要な信号処理を行う。
【0154】
つまり、HPF81は、原信号を形成するL信号の中帯域及び高帯域成分と原信号を形成するR信号の中帯域及び高帯域成分のみを通過させる。信号合成部82は、信号復元部12の出力信号におけるL信号とHPF81の出力信号におけるL信号とを加算する共に信号復元部12の出力信号におけるR信号とHPF81の出力信号におけるR信号とを加算する。時間周波数変換部83は、与えられた時間軸上のL信号とR信号を個別に時間周波数変換する。信号合成部84は、信号低減部53の出力信号におけるL信号と時間周波数変換部83の出力信号中の低帯域及び高帯域におけるL信号とを合成すると共に信号低減部53の出力信号におけるR信号と時間周波数変換部83の出力信号中の低帯域及び高帯域におけるR信号とを合成することによって、補正信号を生成する。尚、LPF21等に関しては、第1又は第2実施例にて述べた通りである。
【0155】
また、第1実施例でも述べたのと同様、風雑音低減部6cから、風雑音判定部11を省略することも可能である。風雑音判定部11を省略した場合、乗算器27及び28及び加算器29は、LPF25及び26の各出力信号値を一定の比率で加重加算することにより、信号復元部12の出力信号(第1補正音響信号)を生成する。また、第2実施例でも述べたのと同様、風雑音低減部6cから、風雑音判定部52を省略することも可能である。風雑音判定部52を省略した場合、乗算器53_jは、時間周波数変換部83の出力信号中の中帯域における信号のレベルを一定の低減率にて低減させ、低減後の信号を出力する。尚、風雑音判定部11及び風雑音判定部52が省略された場合、風雑音低減部6cに対する入力信号は1つのチャンネル信号から成るモノラル信号であってもよい。
【0156】
また、風雑音低減部6cに、低帯域用の風雑音判定部11と中帯域用の風雑音判定部52とを独立に設け、前者の判定結果を信号復元部12の処理にのみ反映させ且つ後者の判定結果を信号低減部53の処理にのみ反映させているが、第2実施例で述べたのと同様、各判定結果を相互利用するようにしてもよい。即ち例えば、或る着目フレームに関し、相関値演算部22が算出した相関値と相関値演算部52_jが算出した相関値に基づいて、着目フレームにおける乗算器53_jでの低減率を決定する。より具体的には例えば、相関値演算部52_jが算出した相関値の減少に従って該低減率を増大させるだけでなく、相関値演算部22が算出した相関値の減少に従っても該低減率を増大させるようにする。
【0157】
また、第2実施例にて上述した第3及び第4の変形信号低減処理は、第3実施例に対しても適用可能である。当然ではあるが、第3及び第4の変形信号低減処理を第3実施例に適用する場合、第3及び第4の変形信号低減処理の説明文で述べた「原信号及び信号合成部55」は、夫々、「時間周波数変換部83の出力信号及び信号合成部84に読み替えられる。また、第3及び第4の変形信号低減処理を第3実施例に適用する場合、低帯域用の風雑音判定部11の判定結果に応じて閾値KTHBjを可変設定するようにしてもよい。具体的には例えば、或る着目フレームに関し、相関値演算部22にて求められた相関値が小さくなるに従って、上記の平均化又は置き換えが実行されやすくなるように閾値KTHBjを可変設定する。即ち、或る着目フレームに関し、相関値演算部22にて求められた相関値が小さくなるに従って、相関値KBj[m]と比較されるべき閾値KTHBjを大きくする。
【0158】
第1〜第3実施例によれば、風雑音低減用の処理に起因する低帯域信号の歪みを解消することができる。また、中帯域についても、信号低減処理によって風雑音の影響を抑制することができる。
【0159】
ここで、第1〜第3実施例の夫々の風雑音低減部の利点を考察する。
第1実施例に係る風雑音低減部6a(図3)では、信号復元処理と信号低減処理を並列に行うことができる。また、時間領域のみで信号処理を行うことができるため、時間周波数変換が不要となる。
第2実施例に係る風雑音低減部6b(図5)では、周波数領域で信号処理を行うため、帯域別の処理を直感的に行うことができる。信号低減処理を施す中帯域を容易に細かく分けることが可能であり、風の影響のある帯域にのみ信号低減を行うといったことが可能となる。
第3実施例に係る風雑音低減部6c(図9)は、AACなどに従ったエンコーダ(符号化器)に組み込みやすく、実用性が高い。
【0160】
<<第4実施例>>
上述したように、第3実施例に係る風雑音低減部6cは、AACなどに従ったエンコーダへの組み込みが容易である。例えば、時間周波数変換にMDCTを利用できたり、出力される周波数軸上の補正信号をエンコーダの量子化処理にそのまま利用できたりする。エンコーダへの組み込みに関する実施例として、第4実施例を説明する。
【0161】
図9の風雑音低減部6cと組み合わせて使用可能なAACエンコーダ110の内部ブロック図を、図10に示す。AACエンコーダ110は、図2の音声信号処理部4に内蔵される。AACエンコーダ110内の各部位の動作は、AACの規格に従うものであるため説明を割愛する。AACエンコーダ110内に設けられたフィルタバンク111が、修正離散コサイン変換を行う部分であり、図9の時間周波数変換部83に相当することになる。
【0162】
AACエンコーダ110の前段に、図9の風雑音低減部6cにおける風雑音判定部11、信号復元部12、HPF81及び信号合成部82を設け、信号合成部82の出力信号をAACエンコーダ110の入力信号として与える。そして、時間周波数変換部83の出力信号に対応するフィルタバンク111の出力信号の中帯域を信号低減部53にて補正し、この補正を介した信号(即ち、図9の信号合成部84から出力される補正信号)を、フィルタバンク111の出力信号を必要とする部位(TNS(Temporal Noise Shaping)及びビットストリームマルチプレクサ)に供給するようにする。この補正を介してAACエンコーダ110から出力されるビットストリームが、図2の記録媒体5に記録される。
【0163】
尚、AACエンコーダ110などのエンコーダに風雑音低減部(6b又は6c)を組み込む場合、帯域の分割の仕方を、組み込むエンコーダにおけるオーディオフォーマットに合わせておくと良い。これにより、処理を簡略化することができる。つまり例えば、第2又は第3実施例で述べたMDCT係数Lm,k及びRm,kの表現形式(kの取りうる値など)をエンコーダで用いるMDCT係数のそれと合わせておくとよい。
【0164】
また、AACエンコーダ110などのエンコーダに風雑音低減部(6b又は6c)を組み込む場合、隣接するフレーム間で時間軸上の音響信号がオーバーラップされることがある。つまり例えば、第2又は第3実施例で述べたMDCTの具体例の場合、図6に示す如く、隣接するフレーム間で1024サンプルの時間軸上の音響信号がオーバーラップされる。このような場合、低帯域用の風雑音判定と中帯域用の風雑音判定が同等となるように、風雑音低減部6cの風雑音判定部11及び信号復元部12にて、以下のように処理することが望ましい。
【0165】
即ち、風雑音判定部11の相関値演算部22は、各フレームに対し、上記式(1)に従って相関値を算出する。これは、第1実施例で導入した「単位区間」をMDCTに適応した「フレーム」として取り扱うことによって実現される。この場合、図4に示す状況と異なるが、隣接する単位区間同士は単位区間の半分だけ重なり合うことになる。そして例えば、時間軸上における1番目〜2048番目の音響信号に基づいて或るフレームに対する相関値が算出され、その後、時間軸上における1025番目〜3072番目の音響信号に基づいて次のフレームに対する相関値が算出されることになる。乗算器27及び28並びに加算器29は、第mのフレームの前半(又は後半)1024サンプルについてのLPF25及び26の出力信号値を、相関値演算部22が第mのフレームについて算出した相関値に応じて上記式(2)に従って加重加算し、これによって信号復元部12の出力信号を形成するようにする。
【0166】
<<第5実施例>>
上述の各実施例では、各マイクロホンの出力信号に対してリアルタイムに風雑音低減用の補正処理(信号復元処理及び信号低減処理)を施し、これによって得られた補正信号を図2の記録媒体5に保存するようにしているが、補正処理を実行するタイミングは任意である。
【0167】
例えば、マイクロホンMIC1及びMIC2の出力信号に基づく補正前の時間軸上の原信号又は補正前の周波数軸上の原信号を、一旦、記録媒体5に生データとして記録しておく。勿論、この記録の際に、適宜、圧縮処理等の信号処理を行っても構わない。そして、音声再生時などにおいて、その生データから補正前の時間軸上の原信号又は補正前の周波数軸上の原信号を再現し、その再現された原信号を風雑音低減部(6a、6b又は6c)に与えることによって補正信号を得るようにしてもよい。そして、音声再生時には、この補正信号を再生出力すれば良い。
【0168】
上述の説明から明らかなように、上記の生データから音響信号を再生する音響信号再生装置に風雑音低減部(6a、6b又は6c)を含む音声信号処理部を搭載することも可能であり、その場合も、風雑音低減部は有効に機能する。つまり、本発明は、音響信号再生装置にも適用可能である。集音時には生データを記録しておき、風雑音低減用の補正処理を音響信号再生装置側に担わせるようにしておけば、該補正処理の実施/不実施を再生時に自由に切り替えることも可能である。
【0169】
また、音声信号処理部4が設けられる装置として撮像装置1を例示したが、同様の音声信号処理部を、他の録音装置又は録音機能を備えた装置に設けることが可能である。他の録音装置又は録音機能を備えた装置には、例えば、ICレコーダ等の携帯型録音装置や、録音機能を備えた携帯電話機が含まれる。これらの装置には、図2に示されるマイクロホンMIC1及びMIC2、音声信号処理部4及び記録媒体5が設けられることになる。
【0170】
<<変形等>>
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1〜注釈4を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【0171】
[注釈1]
上述の説明では、説明の具体化のため、時間周波数変換として修正離散コサイン変換(MDCT)を用いる場合を例示したが、勿論、これは例示であり、その他の任意の時間周波数変換を利用することが可能である。
【0172】
[注釈2]
説明の簡略化上、マイクロホンの個数を2に限定し、2つのチャンネル信号から形成される音響信号を補正する手法を上述したが、本発明において、マイクロホンの個数は2に限定されない。つまり、上述の各実施例に記載した技術を、3以上のマイクロホンの出力信号に基づく3以上のチャンネル信号から成るマルチチャンネル信号に対して適用することもできる。各実施例でチャンネル信号ごとに信号復元処理及び信号低減処理を行っていたのと同様、各実施例に記載した技術をマルチチャンネル信号に対して適用する場合も、基本的には、チャンネル信号ごとに信号復元処理及び信号低減処理を行えばよい。
【0173】
また、各実施例に記載した技術を、第1、第2、・・・第qのチャンネル信号から成るマルチチャンネル信号に対して適用する場合、風雑音判定は、以下のように行えばよい(qは3以上の整数)。
例えば、第1〜第qのチャンネル信号の中から2つのチャンネル信号を選定しておき、その選定された2つのチャンネル信号を上記のL信号及びR信号と取り扱って、各実施例で述べたのと同様に、相関値演算を介して風雑音の影響度合いを判定を行う。
或いは例えば、第1〜第qのチャンネル信号の内の2つのチャンネル信号の各組み合わせに対して、組み合わせ毎に2つのチャンネル信号間の相互相関を表す相関値を求め、組み合わせ毎に求められた相関値の最大値、平均値、最小値などに基づいて風雑音の影響度合いを判定する。
或いは例えば、第1〜第qのチャンネル信号の内の3以上のチャンネル信号間の相互相関を表す相関値を求め、この相関値に基づいて風雑音の影響度合いを判定する。
【0174】
また、上述の第1〜第4の変形信号処理をマルチチャンネル信号に対して適用することもできる。
【0175】
第1実施例に着目した場合、マルチチャンネル信号を形成する第1〜第qのチャンネル信号はBPF30に与えられる。そして、マルチチャンネル信号に第1の変形信号処理を適用する場合は、相関値演算を介して風雑音の影響度合いを判定し、その影響度合いが比較的大きいと判断したならば、BPF30を通過した第1〜第qのチャンネル信号を平均化し、この平均化後の各チャンネル信号にて信号低減部13の出力信号を形成すればよい。
【0176】
マルチチャンネル信号に第2の変形信号処理を適用する場合は、相関値演算を介して風雑音の影響度合いを判定し、その影響度合いが比較的大きいと判断したならば、BPF30を通過した第1〜第qのチャンネル信号の信号レベルを互いに対比する。そして、BPF30を通過した第1〜第qのチャンネル信号の内、信号レベルが最も小さいチャンネル信号を最小音響信号として且つそれ以外の各チャンネル信号を非最小音響信号として特定し、全ての非最小音響信号を最小音響信号にて置き換えて、置き換え後の各チャンネル信号にて信号低減部13の出力信号を形成すればよい。
【0177】
マルチチャンネル信号に第3の変形信号処理を適用する場合は、中帯域をn個に細分化し、n個に細分化された帯域ごとに相関値演算を介して風雑音の影響度合いを判定する。そして、n個に細分化された帯域ごとに影響度合いの大小を判別し、その影響度合いが比較的大きいと判断した帯域に対して、周波数軸上の第1〜第qのチャンネル信号(即ち、MDCT係数)を平均化し、この平均化後の各チャンネル信号にて信号低減部53の出力信号を形成すればよい。
【0178】
マルチチャンネル信号に第4の変形信号処理を適用する場合も、中帯域をn個に細分化し、n個に細分化された帯域ごとに相関値演算を介して風雑音の影響度合いを判定する。そして、n個に細分化された帯域ごとに影響度合いの大小を判別し、その影響度合いが比較的大きいと判断した帯域に対して、周波数軸上の第1〜第qのチャンネル信号(即ち、MDCT係数)間の大小関係を評価し、信号レベルが最も小さいチャンネル信号を最小音響信号として且つそれ以外の各チャンネル信号を非最小音響信号として特定する。その後、全ての非最小音響信号を最小音響信号にて置き換えて、置き換え後の各チャンネル信号にて信号低減部53の出力信号を形成すればよい。
【0179】
[注釈3]
図3、図5又は図9に示される風雑音低減部6a、6b又は6cは、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて風雑音低減部(6a、6b又は6c)を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【0180】
また、風雑音低減部(6a、6b又は6c)にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【0181】
[注釈4]
例えば、以下のように考えることができる。
本発明に係る風雑音低減装置は、入力音響信号に含まれる低帯域の音響信号とは異なる、低帯域の音響信号を信号復元処理によって生成する信号生成手段を備えており、風雑音低減装置6a又は6cでは、符号23〜25にて参照される各部位によって信号生成手段が形成され、風雑音低減装置6bでは、復元信号生成部61が信号生成手段として機能する(図3、図5及び図9参照)。
低帯域の補正音響信号を生成する第1補正手段の機能は、風雑音低減装置6a又は6cでは信号復元部12が担い、雑音低減装置6bでは信号復元部54が担う。
中帯域の補正音響信号を生成する第2補正手段の機能は、風雑音低減装置6aでは信号低減部13が担い、雑音低減装置6b又は6cでは信号低減部53が担う。この第2補正手段に、風雑音判定部11(図3)又は風雑音判定部52(図5、図9)が含まれていると考えることも含まれていないと考えることもできる。
【図面の簡単な説明】
【0182】
【図1】本発明の実施形態に係る撮像装置の外観斜視図である。
【図2】図1の撮像装置の電気的構成を表す概略ブロック図である。
【図3】本発明の第1実施例に係る、図2の風雑音低減部の内部ブロック図である。
【図4】本発明の第1実施例に係る、信号処理の単位区間を表す図である。
【図5】本発明の第2実施例に係る、図2の風雑音低減部の内部ブロック図である。
【図6】本発明の第2実施例に係り、符号化の処理単位である各フレームの関係を示す図である。
【図7】図5の復元信号生成部による信号の復元手法を説明するための周波数スペクトル図である。
【図8】図5の復元信号生成部による信号の復元手法を説明するための図である。
【図9】本発明の第3実施例に係る、図2の風雑音低減部の内部ブロック図である。
【図10】図9の風雑音低減部と組み合わせて使用可能なAACエンコーダの内部ブロック図である。
【図11】従来の風雑音低減装置の内部ブロック図である。
【図12】本発明の第1実施例に係り、第1の変形信号低減処理を説明するための概念図である。
【図13】本発明の第1実施例に係り、第2の変形信号低減処理を説明するための概念図である。
【符号の説明】
【0183】
MIC1、MIC2 マイクロホン
1 撮像装置
4 音声信号処理部
5 記録媒体
6、6a、6b、6c 風雑音低減部
11、52 風雑音判定部
51 相関値演算部(風雑音判定部)
12、54 信号復元部
13、53 信号低減部
【技術分野】
【0001】
本発明は、入力音響信号に含まれる風雑音を低減するための風雑音低減装置及び風雑音低減方法に関し、また、その風雑音低減装置を利用した録音装置及び撮像装置に関する。
【背景技術】
【0002】
マイクロホンを備えた録音装置において、マイクロホンに風が当たると音響信号に風雑音が混入する。この風雑音は、マイクロホンの振動板に風圧が加わることによって発生し、本来の音響信号にとっての雑音となるため除去されることが望ましい。
【0003】
風雑音が存在する周波数帯域は比較的低く、通常、風雑音は300Hz以下程度の帯域に集中して存在する。このような特性を利用し、従来の風雑音低減装置では、低帯域信号を中心に風雑音の低減を図っていた。一般的には、図11に示す如く、ハイパスフィルタ(HPF)とローパスフィルタ(LPF)を用いて入力音響信号を低帯域成分とそれ以上の帯域成分とに分離し、低帯域の信号を低減させてから(又はカットしてから)両者を再度足し合わせるという手法がとられる。
【0004】
また、風雑音の有無を判定する部位を備えた風雑音低減装置も提案されている。風雑音の有無の判定は、一般的に「風雑音が左右のチャンネル信号間で相互相関がない」という特徴を利用する。具体的には、入力音響信号を形成する左右のチャンネル信号間で相互相関を求め、相互相関を表す相関値が或る閾値以下である場合に、入力音響信号に風雑音が含まれていると判断する。また、単に風雑音の有無を判断するだけでなく、求められた相関値は風雑音の強さを表す指標としても利用される。例えば、相関値に応じて低帯域信号の低減度合いを変動させる手法も提案されている(例えば、下記特許文献1参照)。
【0005】
【特許文献1】特開平11−69480号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
低帯域は、風雑音の周波数帯域を含み、風雑音の影響を多く受けるが、低帯域には音の重要な要素が含まれている。特に、人間の声に関しては、その声のピッチ(ピッチ周波数)が男性で90〜160Hz、女性で230〜370Hz程度であり、音質を決定する上で非常に重要な要素が低帯域に含まれている。ピッチとは、声帯振動による信号の基本周波数のことである。このような重要要素を含む帯域の成分を、単純に低減したりカットしたりすると風雑音とは異なる信号成分の要素まで低減又はカットされてしまい、歪んだ音になってしまう。人間の声の場合では、その声が小さくなったり声色が変化してしまったりする。
【0007】
また、低帯域だけに風雑音低減対策を施し、それ以外の帯域に対して風雑音低減対策を何ら施さなければ、比較的高い周波数の風雑音(コロコロといった音)が残存し、ユーザは違和感を覚える。
【0008】
そこで本発明は、歪みの発生が少なく風雑音低減効果の高い風雑音低減装置及び風雑音低減方法を提供することを目的とする。また、その風雑音低減装置を利用した録音装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために本発明に係る風雑音低減装置は、入力音響信号から風雑音が低減された補正音響信号を生成する風雑音低減装置において、風雑音の帯域を含む所定帯域を第1帯域とし且つ前記第1帯域よりも周波数が高い所定帯域を第2帯域とした場合、当該風雑音低減装置は、前記入力音響信号に含まれる、第1帯域よりも周波数が高い帯域の音響信号に基づいて、前記入力音響信号に含まれる第1帯域の音響信号と異なる、前記第1帯域の音響信号を生成する信号生成手段を有し、前記信号生成手段が生成した前記音響信号に基づいて第1補正音響信号を生成する第1補正手段と、前記入力音響信号の第2帯域の音響信号の信号レベルを低減することにより、前記風雑音が低減された第2帯域の音響信号である第2補正音響信号を生成する第2補正手段と、前記第1及び第2補正音響信号に基づいて前記補正音響信号を出力する補正音響信号出力手段と、を備えたことを特徴とする。
【0010】
重要な音の要素を含む比較的低周波側の第1帯域に対しては音響信号の生成処理(例えば、信号復元処理)を実行し、音の歪みの発生を抑制しつつ風雑音の低減を図る。一方、第1帯域よりも高周波側の、信号低減によって歪みを生じにくい第2帯域に対しては、信号低減処理によって風雑音の低減を図る。これにより、歪みの発生を抑えつつ、高い風雑音低減効果が得られる。
【0011】
具体的には例えば、前記第1補正手段は、前記入力音響信号に含まれる第1帯域の前記音響信号と前記信号生成手段が生成した前記音響信号に基づいて、前記第1補正音響信号を生成する。
【0012】
更に具体的には例えば、前記入力音響信号は、複数のチャンネル信号から成り、当該風雑音低減装置は、更に、前記風雑音の帯域を含む各チャンネル信号の所定帯域成分の、互いに異なるチャンネル信号間における相互相関に基づいて、前記入力音響信号に対する前記風雑音の影響度合いを判定する風雑音判定手段を備え、前記第1補正手段は、前記風雑音判定手段の判定結果に応じて、前記第1補正音響信号を生成する。
【0013】
また例えば、前記入力音響信号は、複数のチャンネル信号から成り、当該風雑音低減装置は、更に、前記風雑音の帯域を含む各チャンネル信号の所定帯域成分の、互いに異なるチャンネル信号間における相互相関に基づいて、前記入力音響信号に対する前記風雑音の影響度合いを判定する風雑音判定手段を備え、前記第2補正手段は、前記風雑音判定手段の判定結果に応じて、前記第2補正音響信号を生成する。
【0014】
或いは例えば、前記入力音響信号は周波数軸上の信号として当該風雑音低減装置に与えられ、且つ、前記入力音響信号は複数のチャンネル信号から成り、前記第2補正手段は、前記入力音響信号の第2帯域を複数の要素帯域に分割し、各要素帯域の音響信号の信号レベルを低減することにより周波数軸上の前記第2補正音響信号を生成し、前記複数の要素帯域の夫々に対して、互いに異なるチャンネル信号間における前記要素帯域の音響信号の相互相関を求め、各相互相関に基づいて前記要素帯域ごとに前記信号レベルの低減度合いを決定する。
【0015】
これにより、無駄に歪みを発生させることなく第2帯域に対する風雑音低減効果が得られる。
【0016】
また例えば、前記入力音響信号は時間軸上の信号として当該風雑音低減装置に与えられ、且つ、前記入力音響信号は複数のチャンネル信号から成り、前記第1補正手段によって生成される前記第1補正音響信号は、時間軸上の信号であり、当該音声信号補正装置は、更に、前記入力音響信号から前記第1帯域を含まず且つ前記第2帯域を含む所定帯域の成分を抽出する抽出手段と、前記第1補正音響信号と前記抽出手段の抽出信号との合成信号の信号形式を時間軸上から周波数軸上に変換する時間周波数変換手段と、を備え、前記第2補正手段は、周波数軸上の前記合成信号における第2帯域の音響信号の信号レベルを低減することにより、周波数軸上の前記第2補正音響信号を生成し、前記補正音響信号出力手段は、前記第2補正手段から得られる周波数軸上の前記第2補正音響信号と、前記時間周波数変換手段から得られる周波数軸上の前記第1補正音響信号を含む音響信号と、に基づいて周波数軸上の前記補正音響信号を出力する。
【0017】
このように構成すれば、風雑音低減装置のエンコーダへの組み込みが容易となる。
【0018】
そして例えば、前記第2補正手段は、周波数軸上の前記合成信号の第2帯域を複数の要素帯域に分割し、各要素帯域の音響信号の信号レベルを低減することにより周波数軸上の前記第2補正音響信号を生成し、前記複数の要素帯域の夫々に対して、互いに異なるチャンネル信号間における前記要素帯域の音響信号の相互相関を求め、各相互相関に基づいて前記要素帯域ごとに前記信号レベルの低減度合いを決定する。
【0019】
また例えば、前記入力音響信号は、複数のチャンネル信号から成り、前記第2補正手段は、前記第2帯域の全部又は一部の帯域に着目し、前記入力音響信号に含まれる前記複数のチャンネル信号分の着目帯域の音響信号を平均化することにより、前記風雑音の影響を比較的多く受けているチャンネルにおける前記着目帯域の音響信号の信号レベルを低減させ、この平均化によって得られた信号から前記第2補正音響信号を生成する。
【0020】
また例えば、前記入力音響信号は、複数のチャンネル信号から成り、前記第2補正手段は、前記第2帯域の全部又は一部の帯域に着目し、前記入力音響信号に含まれる前記複数のチャンネル信号分の着目帯域の音響信号の内、最小の信号レベルを有する音響信号を最小音響信号として且つそれ以外の音響信号を非最小音響信号として特定し、前記非最小音響信号を前記最小音響信号にて置き換えることにより、前記風雑音の影響を比較的多く受けているチャンネルにおける前記着目帯域の音響信号の信号レベルを低減させ、この置き換えによって得られた信号から前記第2補正音響信号を生成する。
【0021】
また、上記目的を達成するために本発明に係る録音装置は、前記風雑音低減装置と、前記風雑音低減装置に対する前記入力音響信号を生成するためのマイクロホンと、を備えたことを特徴とする。
【0022】
また、上記目的を達成するために本発明に係る撮像装置は、前記風雑音低減装置と、前記風雑音低減装置に対する前記入力音響信号を生成するためのマイクロホンと、画像を取得するための撮像手段と、を備えたことを特徴とする。
【0023】
また、上記目的を達成するために本発明に係る風雑音低減方法は、入力音響信号から風雑音が低減された補正音響信号を生成する風雑音低減方法において、風雑音の帯域を含む所定帯域を第1帯域とし且つ前記第1帯域よりも周波数が高い所定帯域を第2帯域とした場合、当該風雑音低減方法は、前記入力音響信号に含まれる、第1帯域よりも周波数が高い帯域の音響信号に基づいて、前記入力音響信号に含まれる第1帯域の音響信号と異なる、前記第1帯域の音響信号を生成する信号生成ステップと、前記信号生成ステップにて生成された前記音響信号に基づいて第1補正音響信号を生成する第1補正ステップと、前記入力音響信号の第2帯域の音響信号の信号レベルを低減することにより、前記風雑音が低減された第2帯域の音響信号である第2補正音響信号を生成する第2補正ステップと、を備え、前記第1及び第2補正音響信号に基づいて前記補正音響信号を生成することを特徴とする。
【発明の効果】
【0024】
本発明によれば、歪みの発生が少なく風雑音低減効果の高い風雑音低減装置及び風雑音低減方法並びに録音装置及び撮像装置を提供することができる。
【0025】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【0026】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第1〜第5実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【0027】
図1は、本発明の実施形態に係る撮像装置1の外観斜視図である。撮像装置1は、音声録音をも可能なデジタルビデオカメラである。撮像装置1の筐体の左側にはマイクロホンMIC1が備え付けられ、撮像装置1の筐体の右側にはマイクロホンMIC2が備え付けられている。マイクロホンMIC1が撮像装置1の左方向から到来する音を収音し、マイクロホンMIC2が撮像装置1の右方向から到来する音を収音することにより、マイクロホンMIC1及びMIC2はスレテオマイクを形成する。尚、図1に示す配置位置とは異なるが、マイクロホンMIC1及びMIC2は、例えば、表示ディスプレイが嵌め込まれた板状筐体の裏面(表示ディスプレイの反対側の面)に互いに近接して設置されうる。
【0028】
図2に、撮像装置1の電気的構成を表す概略ブロック図を示す。撮像装置1は、マイクロホンMIC1及びMIC2の他、撮像部2、映像信号処理部3、音声信号処理部4及び記録媒体5を備える。図示を省略しているが、撮像装置1には、シャッタボタン及び録画ボタンを含む操作部、表示ディスプレイ、スピーカ、CPU(Central Processing Unit)などが備えられている。
【0029】
撮像部2は、光学系と、CCD(Charge Coupled Devices)又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子とを含み、光学系を介して入射する光学像を電気信号に変換することによって該電気信号にて表される画像を取得する。映像信号処理部3は、その電気信号に基づき、撮像部2の取得画像を表す映像信号を生成する。撮像装置1に備えられた操作部(不図示)に対する操作に従って、該映像信号は、メモリカードや光ディスクなどの記録媒体5に記録される。
【0030】
マイクロホンMIC1及びMIC2は、夫々、自身が収音した音をアナログの電気信号に変換して出力する。マイクロホンMIC1及びMIC2の各出力信号は、音声信号処理部4内に設けられたA/D変換器(不図示)によってデジタル信号に変換され、音声信号処理部4は、このデジタル信号に所望の処理を施す。この処理を介して得た信号は、撮像装置1に備えられた操作部(不図示)に対する操作に従って記録媒体5に記録される。
【0031】
マイクロホンMIC1及びMIC2は、夫々、振動体としての振動板(不図示)を有している。各振動板は、音波による空気振動によって振動する一方で振動板に作用した風圧によっても振動する。故に、振動板に音波と風圧が作用している時、振動板は音波と風圧に応じて振動する。マイクロホンMIC1及びMIC2の夫々は、各振動板の振動を電気信号に変換して出力する。マイクロホンの出力信号の内、風圧に由来する雑音(雑音成分)を風雑音という。風雑音は、音波として振動板に到来する雑音ではない。
【0032】
音声信号処理部4は、風雑音低減部6を備える。風雑音低減部6は、各マイクロホンの出力信号に基づく風雑音低減部6の入力信号から風雑音を低減し、風雑音が低減された音響信号を出力信号として出力する。
【0033】
風雑音が存在する周波数帯域は比較的低く、通常、風雑音は300Hz以下程度の帯域に集中して存在する。従って、風雑音低減部6は、300Hzを境界として取り扱い、300Hz(ヘルツ)より小さい周波数帯域を「低帯域」として取り扱って、低帯域に対して風雑音を低減するための処理を施す。但し、強度は比較的小さいものの、300Hz以上であって且つ低帯域に近い周波数帯域にも風雑音は存在する。そこで、風雑音低減部6は、300Hz以上の周波数帯域を、更に、中帯域及び高帯域に分割して取り扱い、中帯域に対しても風雑音を低減するための処理を施す。具体的な数値例として、300Hz以上であって且つ1.5kHz(キロヘルツ)よりも小さい周波数帯域を「中帯域」として取り扱い、1.5kHz以上の周波数帯域を「高帯域」として取り扱うこととする。
【0034】
低帯域は、風雑音の周波数帯域を含み、風雑音の影響を多く受けるが、低帯域には音の重要な要素が含まれている。特に、人間の声に関しては、その声のピッチ(ピッチ周波数)が男性で90〜160Hz、女性で230〜370Hz程度であり、音質を決定する上で非常に重要な要素が低帯域に含まれている。ピッチとは、声帯振動による信号の基本周波数のことである。このような重要要素を含む帯域の成分を、単純に低減したりカットしたりすると風雑音とは異なる信号成分の要素まで低減又はカットされてしまい、歪んだ音になってしまう。人間の声の場合では、その声が小さくなったり声色が変化してしまったりする。
【0035】
そこで、風雑音低減部6では、風雑音を低減するための処理を2段に分割し、各処理を異なる帯域に対して適用する。2段の処理の内、一方の処理は、風雑音を含まない信号を復元する信号復元処理であり、他方の処理は、信号レベルを低減することによって風雑音を低減する信号低減処理である。
【0036】
信号復元処理は、低帯域の信号に適用する。低帯域には強い風雑音とともに音の重要な要素が含まれているため、信号レベルを低減させるのではなく、風雑音を含まない信号を復元することで雑音除去を図る。信号復元処理を行えば、信号レベルを低減させる必要がなくなるため、音の歪みが生じにくくなる。
【0037】
信号低減処理は、中帯域の信号に適用する。中帯域に対する風雑音の影響は小さいが、低帯域にのみ風雑音を低減するための処理を施して中帯域に対して風雑音低減対策を何ら施さなければ、比較的高い周波数の風雑音(コロコロといった音)が残存し、ユーザは違和感を覚える。但し、風雑音の影響が小さいが故に信号低減による音の歪みは少ないと想定され、音の要素に着目しても中帯域はピッチの高調波が存在する帯域であるので信号低減を行っても低帯域ほど歪みの影響を受けない。従って、上述の如く、中帯域の信号には信号低減処理を適用するようにする。
【0038】
尚、中帯域に対しても信号復元処理を適用することが考えられるが、風雑音を含まない中帯域の信号を復元するためには、高帯域の信号中の高調波成分が必要となる。このような高調波成分は微弱であるため、良好な復元は困難である。故に、中帯域の信号には信号低減処理が適している。
【0039】
信号復元処理と信号低減処理を、どちらを先に行っても構わないし、夫々を並列に実行させてもよい。また、信号復元処理と信号低減処理の夫々は、時間軸上でも周波数軸上でも行うことができる。
【0040】
また、風雑音の有無や強さを判定する風雑音判定部を設けるようにしても良い。風雑音判定部は、例えば、左右チャンネル間の相互相関を求めることにより風雑音の有無や強さを判定し、判定結果は、信号復元処理及び/又は信号低減処理に利用される。1つの風雑音判定部を、信号復元処理と信号低減処理で共有してもよいし、2つの風雑音判定部を設け、信号復元処理と信号低減処理の夫々に対して独立に風雑音判定部を割り当てるようにしてもよい。信号復元処理と信号低減処理の夫々に対して独立に風雑音判定部を割り当てる場合、各判定結果を相互利用することも可能である(詳細な具体例は後述)。
【0041】
尚、相互相関とは、対比されるべき信号間における相互の相関性を意味する。後述の各実施例では、所定の演算を介して求めた相関値を相互相関を表す指標として取り扱っているが、相互相関の評価方法はこれに限定されない。
【0042】
以下に、風雑音低減部6に関与する具体的な実施例として、第1〜第5実施例を説明する。
【0043】
<<第1実施例>>
まず、第1実施例について説明する。第1実施例では、信号復元処理と信号低減処理を共に時間軸上で実行する。
【0044】
図3は、第1実施例に係る風雑音低減部6aの内部ブロック図である。風雑音低減部6aは、図2の風雑音低減部6として利用される。風雑音低減部6aは、符号11〜15にて参照される各部位を備える。
【0045】
風雑音低減部6aに対する入力信号(入力音響信号)は、複数のチャンネル信号から成る時間軸上の音響信号(換言すれば、時間領域で表現された音響信号)である。具体的には、図2の音声信号処理部4が、マイクロホンMIC1及びMIC2からのアナログの出力信号を所定のサンプリング周波数にてデジタル信号に変換する。今、マイクロホンMIC1の出力信号に対応するデジタル信号を時系列で並べたチャンネル信号をL(t)にて表し、マイクロホンMIC2の出力信号に対応するデジタル信号を時系列で並べたチャンネル信号をR(t)にて表す。そして、マイクロホンMIC1の出力信号に対応するチャンネル信号をL信号と呼び、マイクロホンMIC2の出力信号に対応するチャンネル信号をR信号と呼ぶ。そうすると、図3の風雑音低減部6aに対する入力信号は、L信号L(t)及びR信号R(t)から成る。この入力信号は風雑音低減部6aによって補正される。従って、風雑音低減部6aに対する入力信号を「原信号」と呼び、風雑音低減部6aの出力信号を「補正信号」と呼ぶことにする。尚、以下、L信号L(t)及びR信号R(t)を、夫々、信号L(t)及びR(t)と略記することもある。
【0046】
信号L(t)及びR(t)は、ゼロを中心とした正負の値をとり、マイクロホンMIC1及びMIC2の振動板が振動しないとき、L(t)及びR(t)の値はゼロとなり(但し、オフセットやノイズ成分を無視)、それらの振動が大きくなるに従ってL(t)及びR(t)の振幅は大きくなる。
【0047】
第1実施例において、原信号は、バンドパスフィルタ(以下、BPFという)23及び30、ローパスフィルタ(以下、LPFという)21及び26、並びに、ハイパスフィルタ(以下、HPFという)14の夫々に対して入力される。
【0048】
風雑音判定部11は、符号21及び22にて参照される各部位を備える。LPF21は、自身に対する入力信号の所定帯域成分を抽出して出力する。LPF21が抽出する帯域は、風雑音の周波数帯域を含み、典型的には上記の「低帯域」と同じとされる。但し、LPF21が抽出する帯域が、上記の「低帯域」と完全に合致する必要はなく、例えば200Hzより小さい周波数帯域をLPF21が抽出する帯域としてもよい。
【0049】
ところで、風雑音低減部6a内の各部位は、複数のチャンネル信号の夫々に対して個別に必要な信号処理を行う。即ち例えば、LPF21は、L信号L(t)の所定帯域成分とR信号R(t)の所定帯域成分を抽出して出力する。これは、後述の風雑音低減部6b及び6cについても同様に当てはまる。但し、当然ではあるが、相互相関演算によって相関値を算出する部位(本実施例において、相関値演算部22)に対して、これは当てはまらない。
【0050】
相関値演算部22は、LPF21から出力されたチャンネル信号間の相互相関を表す相関値、即ち、LPF21によって抽出された帯域成分におけるチャンネル信号間の相関値を求める。具体的には、原信号及び原信号に基づく時間軸上の音響信号を所定間隔の単位区間で区切って考える。図4に示す如く、第1、第2、第3の単位区間、・・・、の順番で時間が進行するものとし、各単位区間には、離散化されたN個の信号(Nサンプルの信号)が含まれているとする。従って、1つの単位区間には、N個のL信号L(t)とN個のR信号R(t)が含まれる。
【0051】
相関値演算部22は、LPF21から出力される信号L(t)及びR(t)に基づき、各単位区間に対して、下記式(1)に従って相関値K[p]を算出する。ここで、pは、単位区間の番号を表す。式(1)におけるLi及びRiは、夫々、着目した単位区間内における、i番目のL信号L(t)の値及びi番目のR信号R(t)の値を示す。勿論、相関値演算部22に対する信号L(t)及びR(t)は、LPF21を介して与えられるので、式(1)におけるLi及びRiは、LPF21の出力値にて規定される。
【0052】
【数1】
【0053】
風雑音は、左右のチャンネル信号間で相互相関がない。故に、原信号に含まれる風雑音が比較的多ければ相関値は比較的小さくなり、原信号に含まれる風雑音が比較的少なければ相関値は比較的大きくなる。従って、相関値K[p]は、第pの単位区間における風雑音の強さに応じた値をとることになる。これを利用し、風雑音判定部11は、相関値演算部22が算出した相関値に基づいて各単位区間に対する風雑音の影響度合いを判定する。この判定結果は、信号復元部12及び信号低減部13での処理に利用される。
【0054】
信号復元部12は、符号23〜29にて参照される各部位を備える。信号復元部12では、音声や楽器音の調波性を利用し、原信号の中帯域信号から低帯域に対する復元信号を生成する。
【0055】
調波性とは、周波数スペクトルが倍音構造で成り立っているという性質であり、音声や楽器音の多くはこの性質を有している。つまり、或る音の周波数スペクトルにおいて、最も低域側の成分の周波数をf0とすると、その音の周波数スペクトルは、f0と、その倍音成分であるf0×2、f0×3、f0×4、・・・の周波数成分から形成される。この場合、f0の周波数成分は基本波成分と呼ばれ、f0×2、f0×3、f0×4、・・・の周波数成分は、夫々、2次、3次、4次、・・・の高調波成分と呼ばれる。
【0056】
調波性のある信号では、高次の高調波成分から基本波成分又は低次の高調波成分を復元できることが知られており、この復元に二乗処理、全波整流、半波整流などの非線形処理を利用できることが知られている(例えば、特開平8−130494号公報、特開平8−278800号公報、特開平9−55778号公報)。
【0057】
図3の信号復元部12でも、公知の任意の手法を用いて復元信号を生成することができる。具体的な例として、信号復元部12では、符号23〜25にて参照される各部位によって復元信号が生成される。各部位の説明を行う。
【0058】
BPF23は、自身に対する入力信号の所定帯域成分を抽出して出力する。低帯域の信号を復元するべく、BPF23が抽出する帯域は、上記の「中帯域」と同じとされる。但し、BPF23が抽出する帯域が、上記の「中帯域」と完全に合致する必要はない。
【0059】
非線形処理部24は、BPF23を通過した信号(BPF23によって抽出された信号)に対して非線形処理を施す。この非線形処理は、二乗処理、全波整流(絶対値処理)又は半波整流などである。二乗処理を用いる場合、非線形処理部24は、BPF23を通過した信号を二乗して出力する。人の声がマイクロホンMIC1及びMIC2に収音された場合、BPF23を通過した信号には音声のピッチ信号の高調波成分が含まれるが、この通過した信号を二乗することにより各高調波成分の周波数の差及び和に相当する周波数の信号が生成される。つまり、二乗処理によって、BPF23の通過帯域の低周波側及び高周波側にも調波成分(基本波成分又は高調波成分)が生成される。尚、二乗処理を用いる場合、生成される調波成分の振幅は、本来求めたい調波成分のそれを二乗したものになっている。このため、二乗処理を用いる場合、非線形処理部24は、BPF23を通過した信号を二乗することによって得られる二乗信号に対して正規化等を行い、それによって振幅が調整された二乗信号を出力するようにする。
【0060】
非線形処理として、全波整流(絶対値処理)又は半波整流を用いる場合も同様である。例えば、全波整流を用いる場合、非線形処理部24は、BPF23を通過した信号の絶対値を算出して出力する。
【0061】
信号復元部12では、復元された信号の内、低帯域の信号成分のみを利用する。このため、LPF25は、非線形処理部24の出力信号の低帯域成分のみを通過させる。LPF25の出力信号は、原信号中の中帯域の音響信号から復元された低帯域の音響信号である。そして、復元の元となる中帯域には風雑音が殆ど含まれていないため、復元された低帯域の音響信号にも、風雑音が殆ど含まれてない。つまり、符号23〜25にて参照される各部位によって、原信号の低帯域の音響信号よりも風雑音が低減された低帯域の音響信号が復元される。
【0062】
他方、信号復元部12では、LPF26を用いてオリジナルの低帯域信号を用意しておく。つまり、自身に対する入力信号の低帯域成分のみを通過させるLPF26を用い、LPF26から原信号の低帯域成分のみを出力させる。
【0063】
乗算器27及び28及び加算器29は、相関値演算部22にて算出された相関値に応じてLPF25及び26の各出力信号値を加重加算することにより、信号復元部12の出力信号(第1補正音響信号)を生成する。第pの単位区間におけるLPF26の出力信号値をLPF_OUTO(t)にて表し、且つ、第pの単位区間におけるLPF25の出力信号値をLPF_OUTR(t)にて表した場合、第pの単位区間に対応する信号復元部12の出力信号値OUT12(t)は、下記式(2)にて表される。
【0064】
【数2】
【0065】
つまり、相関値が比較的大きい場合は風雑音が比較的小さいと判断されるため、信号復元部12の出力信号に対するオリジナルの低帯域信号の寄与度を増大させる。一方、相関値が比較的小さいは風雑音が比較的大きいと判断されるため、信号復元部12の出力信号に対する復元信号(復元信号の低帯域信号)の寄与度を増大させる。
【0066】
尚、上記式(1)の算出式からも分かるように、相関値K[p]は、不等式「0≦K[p]≦1」を満たす。このため、OUT12(t)の算出に相関値K[p]をそのまま用いているが、「0≦K[p]≦1」を満たさない場合は式(2)を適宜変更すればよい。また、着目した単位区間に関し、相関値が所定の基準閾値よりも大きい場合は、風雑音はないと判断してLPF26の出力信号をそのまま信号復元部12の出力信号とするようにしてもよい。
【0067】
信号低減部13は、符号30及び31にて参照される各部位を備える。BPF30は、自身に対する入力信号の中帯域成分を抽出して出力する。乗算器31は、単位区間ごとに、BPF30を通過した信号(即ち、原信号から抽出された中帯域の音響信号)のレベルを相関値演算部22にて算出された相関値に応じた低減率にて低減させ、低減後の信号を信号低減部13の出力信号として出力する。或る信号のレベルとは、その信号の振幅(強度)を表している。
【0068】
この際、相関値から風雑音の影響が大きいと判断される場合はレベルを大きく低減させ、相関値から風雑音の影響が小さいと判断される場合はレベルをあまり低減させないようにする。つまり、第pの単位区間に着目した場合、相関値K[p]が減少するに従って第pの単位区間に対応する低減率を増大させてより大きくレベルを低減させるようにする(逆に考えれば、相関値K[p]が増大するに従って第pの単位区間に対応する低減率を減少させる)。乗算器31による信号低減によって信号低減部13の出力信号(第2補正音響信号)に含まれる風雑音は適切に低減されることになる。
【0069】
尚、同じ結果を導くのであれば、低減させる手法は任意である。例えば、相関値演算部22にて算出された相関値又は該相関値に応じた係数をBPF30の出力信号に乗じればよい。
【0070】
HPF14は、自身に対する入力信号の高帯域成分のみを通過させる。
【0071】
信号合成部15は、信号復元処理によって風雑音が低減された低帯域の音響信号を表す信号復元部12の出力信号と、信号低減処理によって風雑音が低減された中帯域の音響信号を表す信号低減部13の出力信号と、HPF14の出力信号とを加算し、この加算によって得られた信号を風雑音低減部6aの出力信号(即ち、補正信号)として出力する。第1実施例において、この補正信号も原信号と同じく複数のチャンネル信号から成る時間軸上の音響信号である。
【0072】
尚、信号復元部12、信号低減部13及びHPF14における各信号遅延量が異なる場合は、信号合成部15内または信号合成部15の前段にて、それらの信号遅延量間の差を打ち消す遅延処理を行ってから、信号合成部15の加算処理を行うようにする。これは、乗算器27及び28及び加算器29を用いた加重加算処理においても同様である。また、信号復元部12による信号復元処理と信号低減部13による信号低減処理の前に相関値を算出する必要はあるが、信号復元処理と信号低減処理の処理順序に対して特に制約はない。
【0073】
図2の音声信号処理部4は、信号合成部15から出力される補正信号に所定の符号化処理(音声圧縮処理)を施して得た信号を記録媒体5に記録する。所定の符号化処理とは、例えば、MPEG(Moving Picture Experts Group)の規格に従ったAAC (Advanced Audio Coding)である。
【0074】
上述の説明では、原則として、L信号とR信号に対する信号処理を個別に分けて記述していないが、上述したように、風雑音低減部6a内の各部位は、複数のチャンネル信号の夫々に対して個別に必要な信号処理を行う。
【0075】
つまり、LPF21は、原信号を形成するL信号及びR信号の各所定帯域成分(典型的には低帯域成分)を抽出して出力する。BPF23は、原信号を形成するL信号及びR信号の各所定帯域成分(典型的には中帯域成分)を抽出して出力する。非線形処理部24は、BPF23を介して与えられるL信号及びR信号に対して個別に非線形処理を行い、LPF25は、この非線形処理後のL信号及びR信号の各低帯域成分のみを通過させる。LPF26は、原信号を形成するL信号及びR信号の各低帯域成分のみを通過させる。乗算器27及び28並びに加算器29は、LPF25から出力されるL信号とLPF26から出力されるL信号の加重加算処理を行うと共にLPF25から出力されるR信号とLPF26から出力されるR信号の加重加算処理を行う。
BPF30は、原信号を形成するL信号及びR信号の各中帯域成分を抽出して出力し、乗算器31は、BPF30を通過したL信号及びR信号の各レベルを相関値に応じた低減率にて低減させる(低減率を決定する相関値は、L信号及びR信号間で共通である)。
HPF14は、原信号を形成するL信号及びR信号の各高帯域成分のみを通過させる。信号合成部15は、信号復元部12の出力信号におけるL信号と信号低減部13の出力信号におけるL信号とHPF14の出力信号におけるL信号とを加算する共に信号復元部12の出力信号におけるR信号と信号低減部13の出力信号におけるR信号とHPF14の出力信号におけるR信号とを加算することによって、補正信号を生成する。
【0076】
また、風雑音低減部6aから、風雑音判定部11を省略することも可能である。風雑音判定部11を省略した場合、乗算器27及び28及び加算器29は、LPF25及び26の各出力信号値を一定の比率で加重加算することにより、信号復元部12の出力信号(第1補正音響信号)を生成する。つまり、この場合、上記式(2)におけるK[p]は固定値とされる。また、風雑音判定部11を省略した場合、乗算器31は、BPF30を通過した信号のレベルを、一定の低減率にて低減させ、低減後の信号を信号低減部13の出力信号として出力する。尚、風雑音判定部11が省略された場合、風雑音低減部6aに対する入力信号は1つのチャンネル信号から成るモノラル信号であってもよい。
【0077】
また、上述の例では、BPF23、非線形処理部24及びLPF25が、L信号とR信号に対して個別に必要な処理を行うことにより、L信号についての復元信号とR信号についての復元信号を生成することとしているが、原信号を形成するL信号とR信号からモノラル信号を生成し、該モノラル信号に基づいてモノラルの復元信号を生成するようにしてもよい。信号のモノラル化は、原信号から復元信号を生成する過程内の何れの段階でも行うことができる。通常は、BPF23の前段において、原信号を形成するL信号とR信号を平均化することによりモノラル信号を生成し、該モノラル信号をBPF23に与えればよい。モノラルの復元信号は、L信号用の復元信号として利用されると共にR信号用の復元信号としても利用される。モノラル信号からモノラルの復元信号を生成するようにすれば、信号処理が1チャンネル分ですみ、処理の簡素化が図られる。低帯域ではステレオ感が乏しいため、モノラルの復元信号を利用しても問題は少ない。モノラルの復元信号を生成するという技術的事項を、後述の他の実施例に当てはめることも可能である。
【0078】
[信号低減処理の変形例]
また、上述の信号低減処理では、乗算器31を用い、BPF30を通過した信号のレベルを相関値K[p]に応じた低減率にて低減させているが、信号レベルの低減方法はこれに限定されない。例として、第1実施例の信号低減処理に関する、第1及び第2の変形信号低減処理を例示する。尚、以下、L信号に対応するチャンネルをLチャンネルと呼び、R信号に対応するチャンネルをRチャンネルと呼ぶ。
【0079】
まず、第1の変形信号低減処理を説明する。第1の変形信号低減処理において、信号低減部13は、相関値K[p]を所定の閾値KTHAと比較する。上述の如く、相関値K[p]は、第pの単位区間における風雑音の影響度合いを表している。一方で、閾値KTHAは、その影響度合いと対比されるべき基準影響度合いを表している。相関値K[p]が閾値KTHAよりも小さい場合、第pの単位区間おける風雑音の影響が比較的大きいと判断され、相関値K[p]が閾値KTHAよりも大きい場合、それが比較的小さいと判断される(第2の変形信号低減処理についても同様)。
【0080】
そして、相関値K[p]が閾値KTHAよりも小さい場合、信号低減部13は、BPF30を通過したL信号及びR信号を平均化し、この平均化によって得られたモノラル信号を信号低減部13の出力信号として信号合成部15に与える。今、BPF30を通過した、第pの単位区間におけるL信号及びR信号の信号値を夫々BPF_OUTL(t)及びBPF_OUTR(t)で表し、且つ、信号低減部13から出力される、第pの単位区間におけるL信号及びR信号の信号値を夫々BPF_OUTL’(t)及びBPF_OUTR’(t)で表す。そうすると、相関値K[p]が閾値KTHAよりも小さいとき、「BPF_OUTL’(t)=BPF_OUTR’(t)=(BPF_OUTL(t)+BPF_OUTR(t))/2」にて表される信号が信号低減部13から出力される。
【0081】
風雑音は、乱気流によって各チャンネルでランダムに発生する雑音であるため、風雑音の影響が強いチャンネルもあれば弱いチャンネルも存在する。上記の平均化を行えば、風雑音の影響が各チャンネル間で均等になり、風雑音の影響を比較的多く受けているチャンネルの雑音レベルが低減する。
【0082】
図12に、この平均化による信号低減処理の概念図を示す。第pの単位区間について議論する。図12に示す例では、風雑音の影響がLチャンネルに対して比較的多くRチャンネルに対して比較的小さくなっており、これに由来して、BPF30を通過したL信号の信号レベルはBPF30を通過したR信号のそれよりも大きくなっている。このような場合に上記の平均化を行うと、BPF30を通過したL信号及びR信号に含まれる風雑音成分も平均化され、結果として、BPF30の通過信号の内、L信号の信号レベルが低減される。
【0083】
一方、相関値K[p]が所定の閾値KTHAよりも大きい場合は、上記の平均化を行わず、BPF30を通過したL信号及びR信号を、そのまま、信号低減部13から出力されるべきL信号及びR信号として信号合成部15に与えるとよい。或いは、乗算器31を用いた、原則通りの信号低減処理を行うようにしてもよい。即ち、相関値K[p]が所定の閾値KTHAよりも大きい場合は、乗算器31を用い、BPF30を通過したL信号及びR信号のレベルを相関値K[p]に応じた低減率にて低減させ、これによって得た信号を信号低減部13の出力信号としてもよい。
【0084】
次に、第2の変形信号低減処理を説明する。第1の変形信号低減処理を利用した場合、図12からも理解されるように、信号低減処理によって、風雑音の影響が比較的小さいチャンネル(図12においてRチャンネル)の風雑音成分が増加する。これを回避するため、第2の変形信号低減処理では、左右チャンネルの内、信号レベルが小さい方のチャンネルの信号にて信号レベルが大きい方のチャンネルの信号を置き換える。
【0085】
より具体的には、第2の変形信号低減処理において、信号低減部13は、相関値K[p]を所定の閾値KTHAと比較する。そして、相関値K[p]が閾値KTHAよりも小さい場合は、BPF30を通過したL信号とR信号の内、信号レベルが小さい方の信号を最小音響信号として且つ他方の信号を非最小音響信号として特定し、非最小音響信号を最小音響信号にて置き換える。即ち、相関値K[p]が閾値KTHAよりも小さい場合において、BPF30を通過したL信号とR信号の内、例えばR信号が最小音響信号として特定されたときは、「BPF_OUTL’(t)=BPF_OUTR’(t)=BPF_OUTR(t)」にて表される信号が信号低減部13から出力される。
【0086】
図13に、この置き換えによる信号低減処理の概念図を示す。第pの単位区間について議論する。図13に示す例では、風雑音の影響がLチャンネルに対して比較的多くRチャンネルに対して比較的小さくなっており、これに由来して、BPF30を通過したL信号の信号レベルはBPF30を通過したR信号のそれよりも大きくなっている。このような場合に上記の置き換えを行うと、BPF30を通過したL信号に含まれる風雑音成分が低減される(R信号に対しては変化なし)。これにより、風雑音の影響が比較的少ないチャンネルの雑音レベルを増大させることなく、風雑音の影響を比較的多く受けているチャンネルの雑音レベルを低減させることができる。
【0087】
一方、相関値K[p]が所定の閾値KTHAよりも大きい場合は、上記の置き換えを行わず、BPF30を通過したL信号及びR信号を、そのまま、信号低減部13から出力されるべきL信号及びR信号として信号合成部15に与えるとよい。或いは、乗算器31を用いた、原則通りの信号低減処理を行うようにしてもよい。即ち、相関値K[p]が所定の閾値KTHAよりも大きい場合は、乗算器31を用い、BPF30を通過したL信号及びR信号のレベルを相関値K[p]に応じた低減率にて低減させ、これによって得た信号を信号低減部13の出力信号としてもよい。
【0088】
<<第2実施例>>
次に、第2実施例について説明する。第2実施例では、信号復元処理と信号低減処理を共に周波数軸上で実行する。
【0089】
図5は、第2実施例に係る風雑音低減部6bの内部ブロック図である。風雑音低減部6bは、図2の風雑音低減部6として利用される。風雑音低減部6bは、低帯域用の風雑音判定部として機能する相関値演算部51と、中帯域用の風雑音判定部52と、信号低減部53と、信号復元部54と、信号合成部55と、を備える。風雑音判定部52は、n個の相関値演算部52_1、52_2、・・・、52_nを備え、信号低減部53は、n個の乗算器53_1、53_2、・・・、53_nを備える(nは、2以上の整数)。信号復元部54は、復元信号生成部61及び信号選択器62にて参照される各部位を備える。
【0090】
風雑音低減部6bに対する入力信号(入力音響信号)は、複数のチャンネル信号から成る周波数軸上の音響信号(換言すれば、周波数領域で表現された音響信号)である。風雑音低減部6bに対する入力信号は、時間軸上の音響信号である図3の風雑音低減部6aに対する入力信号(L(t)及びR(t))を時間周波数変換によって周波数軸上の音響信号に変換したものである。この時間周波数変換には、DFT(Discrete Fourier Transform)やDCT(Discrete Cosine Transform)などを利用する。
【0091】
上記の時間周波数変換によって、時間Δt毎に時間軸方向にサンプリングされたL信号L(t)及びR信号R(t)が周波数Δf毎に周波数軸方向にサンプリングされたL信号L(f)及びR信号R(f)に変換される。L(t)及びL(f)に対応するチャンネル信号をL信号と呼び、R(t)及びR(f)に対応するチャンネル信号をR信号と呼ぶ。
【0092】
図5の風雑音低減部6bに対する入力信号は、上述のようなL信号L(f)及びR信号R(f)から形成される。この入力信号は風雑音低減部6bによって補正される。従って、風雑音低減部6bに対する入力信号を「原信号」と呼び、風雑音低減部6bの出力信号を「補正信号」と呼ぶことにする。尚、以下、L信号L(f)及びR信号R(f)を、夫々、信号L(f)及びR(f)と略記することもある。
【0093】
今、説明の具体化のため、時間周波数変換として修正離散コサイン変換(modified discrete cosine transform;MDCT)を用いる場合を想定する。MDCTを用いる場合、時間軸上の各チャンネル信号を符号化の処理単位であるフレームに分割する。1つのフレームには、1つ以上のブロックが含まれるが、今、1つのフレームが1つのブロックから形成されるものとする。フレームの番号(即ち、ブロックの番号)をmで表し、0から起算してm番目のフレームを第mのフレームと表現する。mは、0以上の整数値をとる。図6に、各フレームの関係を示す。第0のフレーム、第1のフレーム、第2のフレーム、・・・、の順番で時間が進行する。各ブロックは、直前のブロックとの間でブロックの半分の長さの重複部分を有する。今の例の場合、1つのフレームが1つのブロックから形成されるため、各フレームも、直前のフレームとの間で1フレームの半分の長さの重複部分を有する。
【0094】
そして、Nサンプルの信号L(t)がMサンプルの信号L(f)に変換されると共にNサンプルの信号R(t)がMサンプルの信号R(f)に変換されるものとし、N=2048且つM=1024であるとする。また、サンプリング周波数が48kHzである場合を想定し、上述のΔtを48kHzの逆数とする。更に、周波数番号を表す変数としてkを導入する。M=1024であるためkは0以上且つ1023以下の各整数値をとり、更にΔt=1/48kHzであるため、L(f)及びR(f)が表す周波数スペクトルの周波数間隔、即ち、周波数番号(k−1)とkの間の周波数間隔は約23Hzとなる。従って、低帯域の上限として考えた300Hzはk=13に対応し、中帯域の上限として考えた1.5kHzはk=64に対応する。
【0095】
そうすると、信号L(f)及びR(f)はMDCT係数Lm,k及びRm,kにて表現することができる。MDCT係数Lm,kは、信号L(f)の、第mのフレームにおける周波数番号kの周波数成分の信号強度を表し、MDCT係数Rm,kは、信号R(f)の、第mのフレームにおける周波数番号kの周波数成分の信号強度を表す。
【0096】
原信号を形成する信号L(f)及びR(f)の内、周波数帯域が低帯域に属する信号が相関値演算部51に入力される。即ち、0≦k≦13の範囲内におけるMDCT係数Lm,k及びRm,kが相関値演算部51に入力される。相関値演算部51は、フレームごとに下記式(3)に従って相関値KA[m]を算出する。KA[m]は、第mのフレームに対する相関値を表す。KA[m]は、0以上1以下の値となる。尚、当然ではあるが、本実施例の如く周波数軸上で信号を取り扱う場合は、一定の周波数間隔で信号が存在するため、第1実施例では必要であったLPF等は不要である。
【0097】
【数3】
【0098】
風雑音は、左右のチャンネル信号間で相互相関がない。故に、原信号に含まれる風雑音が比較的多ければ相関値は比較的小さくなり、原信号に含まれる風雑音が比較的少なければ相関値は比較的大きくなる。相関値KA[m]は、第mのフレームにおける風雑音の強さに応じた値をとることになる。これを利用し、低帯域用の風雑音判定部としての相関値演算部51は、相関値に基づいて各フレームに対する風雑音の影響度合いを判定する。この判定結果は、信号復元部54での処理に利用される。
【0099】
原信号を形成する信号L(f)及びR(f)の内、周波数帯域が中帯域に属する信号が風雑音判定部52及び信号低減部53に入力される。即ち、14≦k≦64の範囲内におけるMDCT係数Lm,k及びRm,kが風雑音判定部52及び信号低減部53に入力される。風雑音判定部52及び信号低減部53に対する入力信号は、更にn個に細分化される。つまり、中帯域を更にn個に細分化し、細分化された帯域ごとに風雑音判定と信号低減を実施する。
【0100】
具体的には、
14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kが相関値演算部52_1及び乗算器53_1に入力され、
k1<k≦k2の範囲内におけるMDCT係数Lm,k及びRm,kが相関値演算部52_2及び乗算器53_2に入力され、・・・、
knー1<k≦knの範囲内におけるMDCT係数Lm,k及びRm,kが相関値演算部52_n及び乗算器53_nに入力される。
ここで、14<k1<k2<、・・・<kn-1<kn=64、である。
【0101】
風雑音判定部52では、n個に細分化された帯域ごとに相関値を算出する。即ち、相関値演算部52_1は、フレームごとに下記式(4−1)に従って相関値KB1[m]を算出し、相関値演算部52_2は、フレームごとに下記式(4−2)に従って相関値KB2[m]を算出し、・・・、相関値演算部52_nは、フレームごとに下記式(4−n)に従って相関値KBn[m]を算出する。相関値KB1[m]、KB2[m]、・・・KBn[m]は、第mのフレームに対する相関値を表す。KB1[m]、KB2[m]、・・・KBn[m]は、対応する帯域に関するL信号とR信号との間の相互相関を表し、夫々、0以上1以下の値となる。
【0102】
【数4】
【0103】
乗算器53_1は、第mのフレームに関し、自身に対する入力信号のレベル(即ち、14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kの値)を相関値KB1[m]に応じた低減率にて低減させ、低減後の信号を出力する。同様に、
乗算器53_2は、第mのフレームに関し、自身に対する入力信号のレベル(即ち、k1<k≦k2の範囲内におけるMDCT係数Lm,k及びRm,kの値)を相関値KB2[m]に応じた低減率にて低減させ、低減後の信号を出力する。同様に、
乗算器53_nは、第mのフレームに関し、自身に対する入力信号のレベル(即ち、knー1<k≦knの範囲内におけるMDCT係数Lm,k及びRm,kの値)を相関値KBn[m]に応じた低減率にて低減させ、低減後の信号を出力する。
信号低減部53内の他の乗算器についても同様である。
【0104】
この際、jを1以上n以下の整数とした場合、乗算器53_jは、相関値KBj[m]から風雑音の影響が大きいと判断される場合はレベルを大きく低減させ、相関値KBj[m]から風雑音の影響が小さいと判断される場合はレベルをあまり低減させないようにする。つまり、乗算器53_jは、相関値KBj[m]が減少するに従って第mのフレームに対応する低減率を増大させ、相関値KBj[m]が増大するに従って第mのフレームに対応する低減率を減少させる。低減率が大きいほど乗算器53_jにおけるレベルの低減度合いは大きくなる。低減対象となるレベルとは、具体的には、例えばj=1の場合、14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kの値である。
【0105】
尚、同じ結果を導くのであれば、低減させる手法は任意である。例えば、相関値演算部52_jにて算出された相関値又は該相関値に応じた係数を、乗算器53_jの入力信号に乗じればよい。尚、相関値KBj[m]が所定の基準閾値よりも大きい場合は、風雑音はないと判断して乗算器53_jの入力信号をそのまま乗算器53_jの出力信号とするようにしてもよい。
【0106】
中帯域においては、風の強さ等に依存して風雑音の影響を受ける帯域が異なってくる。そこで、中帯域をより小さな帯域に細分化して細分化した帯域ごとに風雑音の影響度合いを相関値演算によって評価する。そして、細分化した帯域ごとに、風雑音の影響度合いに応じて信号レベルの低減度合いを調整する。これにより、風雑音の影響がある細分化帯域に対してのみ信号低減がなされ、或いは、より風雑音の影響が多い細分化帯域に対してより強い信号低減がなされる。結果、不必要に信号低減を行うことなく中帯域に対する風雑音低減効果が得られる。
【0107】
乗算器53_1、53_2、・・・、53_nの各出力信号は合成され、その合成によって得られた中帯域のMDCT係数は、信号低減部53の出力信号(第2補正音響信号)として復元信号生成部61及び信号合成部55に送られる。
【0108】
復元信号生成部61は、信号低減部53の出力信号に含まれる、中帯域のピッチ情報から低帯域のピッチを予測して周波数軸上における低帯域の音響信号を復元する。1つのフレームに着目して、この復元手法を説明する。図7を参照する。図7の符号300が付された実線の折れ線は、復元信号生成部61に与えられた、着目フレームにおける中帯域の周波数スペクトルを表している。本実施例において、周波数スペクトル300は、信号低減部53の出力信号にて規定されることになる。
【0109】
図7において、横軸は周波数を表し、縦軸は周波数スペクトルのレベルを表す。周波数スペクトルのレベルは、MDCT係数の値によって表される。図7は、着目フレームにピッチが含まれている場合に対応している。着目フレームにピッチが含まれていると周波数スペクトルが周期的に変動し、周期的に極大値と極小値をとる。今、周波数スペクトル300が周波数fA、fC、fE及びfGにて極大値をとり且つ周波数fB、fD、fF、fHにて極小値をとったとする。ここで、fA<fB<fC<fD<fE<fF<fG<fHとする。
【0110】
復元信号生成部61は、周波数スペクトル300から周波数fA、fB、fC、fD、fE、fF、fG及びfHを検出し、隣接する極大値と極小値間の差分値を算出する、そして、その差分値が所定の差分閾値以上である場合に、その差分値に対応する極大値の周波数成分をピッチの高調波成分であると判断する。例えば、周波数スペクトル300における周波数fAのレベルから周波数fBのレベルを差し引くことによって得られる差分値と上記の差分閾値を比較し、前者が後者以上である場合に周波数fAの成分をピッチの高調波成分であると判断する一方、前者が後者未満である場合に周波数fAの成分はピッチの高調波成分でないと判断する。他の極大値及び極小値に対応する周波数についても同様である。
【0111】
今、この判断によって、周波数fA、fC、fE及びfGがピッチの高調波成分であると判断されたとする。この場合、復元信号生成部61は、隣接する高調波成分の周波数差からピッチ間隔Dpを予測する。例えば、周波数差(fA−fC)と(fC−fE)と(fE−fG)の平均をピッチ間隔Dpとする。更に、復元信号生成部61は、周波数スペクトル300における周波数fA、fC、fE及びfGのレベルからピッチのレベルGpを予測する。
【0112】
復元信号生成部61は、予測したピッチ間隔Dp及びピッチのレベルGpを含むピッチ情報から、低帯域の信号を予測して復元信号を生成する。即ち、中帯域の中で最も低周波数側にあるピッチの高調波成分の周波数からピッチ間隔Dpだけ低い周波数fX(=fA−Dp)にピッチが存在すると予測し、その周波数fXにレベルGpのピッチを復元する。この復元の様子を図7及び図8に示す。図7において、符号301が付された破線の折れ線は、復元信号生成部61にて生成された周波数軸上における低帯域の復元信号の周波数スペクトルを表している。
【0113】
レベルGpは、周波数スペクトル300を表す座標面において、周波数スペクトル300における周波数fA、fC、fE及びfGのレベルを線形補間又は曲線補間することによって算出する。例えば、周波数fA、fC、fE及びfGのレベルが、夫々、10、8、6及び4によって数値化される場合、Gpは12と予測される。
【0114】
また、周波数fX以外の復元信号(即ち、図7の周波数スペクトル301の折れ線形状)は、周波数fXから周波数が離れるに従ってレベルが徐々に減少するように、予測される。この予測の際、周波数スペクトル300を考慮するようにしてもよい。例えば、周波数スペクトル300における隣接する極大値と極小値間のスペクトル形状を考慮して、周波数fX以外の復元信号を予測しても良い。例えば、レベルGpと周波数fCにおけるレベルとの比率(上記の数値例では、12/8=1.5)にて、周波数スペクトル300内における周波数fB−fD間のスペクトル形状をレベル方向に引き伸ばすことによって得られるスペククトル形状を、周波数スペクトル301の形状としてもよい。尚、図7及び図8に示す例では、復元したピッチが1つしかないが、算出されたピッチ間隔Dpが狭い場合は、低帯域内に複数のピッチが存在するように復元信号を生成するようにしても構わない。
【0115】
信号選択器62には、原信号内の低帯域の信号と復元信号生成部61によって生成された復元信号とが与えられ、信号選択器62は、フレーム毎に、前者と後者の内の一方を相関値演算部51によって算出された相関値KA[m]に応じて選択して出力する。原信号内の低帯域の信号も復元信号生成部61によって生成された復元信号も、0≦k≦13の範囲内におけるMDCT係数Lm,k及びRm,kにて表現されるが、両者間におけるMDCT係数Lm,k及びRm,kの値は通常異なる。
【0116】
具体的には、第mのフレームに着目した場合、信号選択器62は、相関値KA[m]と所定の閾値を比較し、相関値KA[m]が所定の閾値以下の場合に風雑音があると判断して第mのフレームに対応する復元信号を選択及び出力し、相関値KA[m]が該閾値よりも大きい場合に風雑音がないと判断して第mのフレームに対応する原信号内の低帯域の信号を選択及び出力する。信号選択器62の出力信号は、信号復元部54の出力信号(第1補正音響信号)とされる。
【0117】
信号合成部55には、信号復元部54と信号低減部53の各出力信号の他、原信号内の高帯域の信号がそのまま与えられる。信号合成部55は、フレーム毎に、低帯域の音響信号を表す信号復元部54の出力信号と、信号低減処理によって風雑音が低減された中帯域の音響信号を表す信号低減部53の出力信号と、原信号内の高帯域の信号とを合成し、この合成によって得られた信号を、風雑音低減部6bの出力信号(即ち、補正信号)として出力する。第2実施例において、この補正信号も原信号と同じく複数のチャンネル信号から成る周波数軸上の音響信号である。
【0118】
図2の音声信号処理部4において、信号合成部55から出力される補正信号は、AACの符号化方式に従って量子化され、符号化音声信号としてのビットストリームに変換される。この符号化音声信号(ビットストリーム)は、図2の記録媒体5に記録される。
【0119】
上述の説明では、原則として、L信号とR信号に対する信号処理を個別に分けて記述していないが、上述したように、風雑音低減部6b内の各部位は、複数のチャンネル信号の夫々に対して個別に必要な信号処理を行う。
【0120】
つまり、乗算器53_jは、原信号中の中帯域におけるL信号及びR信号の夫々に対して相関値演算部52_jが算出した相関値に応じた信号低減処理を行う(上述したように、jは1以上n以下の整数)。復元信号生成部61は、信号低減部53の出力信号を形成するL信号及びR信号の夫々のピッチ情報を作成し、各ピッチ情報に基づいてL信号及びR信号の復元信号を生成する。信号選択器62は、相関値演算部51が算出した相関値に応じて、原信号中の低帯域におけるL信号及びR信号又は復元信号におけるL信号及びR信号を選択して出力する。信号合成部55は、信号復元部54の出力信号におけるL信号と信号低減部53の出力信号におけるL信号と原信号中の高帯域におけるL信号とを合成すると共に信号復元部54の出力信号におけるR信号と信号低減部53の出力信号におけるR信号と原信号中の高帯域におけるR信号とを合成することによって、補正信号を生成する。
【0121】
尚、本実施例では、信号低減部53の出力信号(即ち、信号低減処理後の中帯域の信号)に基づいて復元信号を生成するようにしているが、原信号中の中帯域の信号に基づいて復元信号を生成することも可能である。この場合、信号低減部53の出力信号の代わりに、原信号中の中帯域の信号を復元信号生成部61に与えればよい。しかし、信号低減処理によって風雑音を低減してからピッチ情報の抽出を行った方が、より精度の高い情報が得られるため、図5に示す如く構成した方が望ましい。
【0122】
また、風雑音低減部6bから、相関値演算部51を省略することも可能である。相関値演算部51を省略した場合、信号選択器62も省略され、信号復元部54は復元信号生成部61にて生成された復元信号を無条件で出力する。これに類似して、風雑音低減部6bから、風雑音判定部52を省略することも可能である。風雑音判定部52を省略した場合、乗算器53_jは、原信号中の中帯域における信号のレベルを一定の低減率にて低減させ、低減後の信号を出力する。尚、相関値演算部51及び風雑音判定部52が省略された場合、風雑音低減部6bに対する入力信号は1つのチャンネル信号から成るモノラル信号であってもよい。
【0123】
また、風雑音低減部6bに、相関値演算部51としての低帯域用の風雑音判定部と中帯域用の風雑音判定部52とを独立に設け、前者の判定結果を信号復元部52の処理にのみ反映させ且つ後者の判定結果を信号低減部53の処理にのみ反映させているが、以下のように各判定結果を相互利用するようにしてもよい。即ち例えば、相関値演算部51が算出した相関値KA[m]と相関値演算部52_jが算出した相関値KBj[m]に基づいて、第mのフレームにおける乗算器53_jでの低減率を決定するようにしてもよい。より具体的には例えば、相関値KBj[m]の減少に従って該低減率を増大させるだけでなく、相関値KA[m]の減少に従っても該低減率を増大させるようにする。同様に、第mのフレームにおける信号選択器62の選択を、相関値演算部51が算出した相関値KA[m]と相関値演算部52_jが算出した相関値KBj[m]に基づいて行うようにしても良い。
【0124】
[信号低減処理の変形例]
また、上述の信号低減処理では、原信号中の中帯域におけるL信号及びR信号の夫々の信号レベルを乗算器53_jを用いて低減させ、この低減後の信号を信号合成部55に与えているが、これに代えて以下のような処理を実行しても良い。例として、第2実施例の信号低減処理に関する、第3及び第4の変形信号低減処理を例示する。第3及び第4の変形信号低減処理は、夫々、第1実施例にて述べた第1及び第2の変形信号低減処理を、第2実施例に適応させた処理に相当する。
【0125】
第3の変形信号低減処理を説明する。説明の具体化のため、まず、細分化されたn個の帯域の1つである、相関値演算部52_1に対応する帯域に注目する。第3の変形信号低減処理において、信号低減部53は、相関値演算部52_1によって算出された相関値KB1[m]を所定の閾値KTHB1と比較する。上述の如く、相関値KB1[m]は、第mのフレームにおける特定帯域への風雑音の影響度合いを表している。一方で、閾値KTHB1は、その影響度合いと対比されるべき基準影響度合いを表している。相関値KB1[m]が閾値KTHB1よりも小さい場合、第mのフレームおける特定帯域への風雑音の影響が比較的大きいと判断され、相関値KB1[m]が閾値KTHB1よりも大きい場合、それが比較的小さいと判断される(相関値KB2[m]〜KBn[m]についても同様、且つ、第4の変形信号低減処理についても同様)。
【0126】
そして、相関値KB1[m]が閾値KTHB1よりも小さい場合、信号低減部53は、原信号に含まれる14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kを平均化したMDCT係数(Lm,k+Rm,k)/2を算出し、そのMDCT係数(Lm,k+Rm,k)/2を、信号低減部53から出力されるべき14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kとして取り扱う。
【0127】
一方、相関値KB1[m]が閾値KTHB1よりも大きい場合は、上記の平均化を行わず、原信号に含まれる14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kをそのまま信号低減部53から出力されるべき14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kとして取り扱う(或いは、乗算器53_1による上述の信号低減処理を行ってもよい)。
【0128】
上記の処理は、細分化されたn個の帯域の夫々に対して個別に行われる。変数jを用いて一般化する。信号低減部53から出力されるべきkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k及びRm,kを、夫々、MDCT係数Lm,k’及びRm,k’にて表す。上述したように、14<k1<k2<、・・・<kn-1<kn=64、であり、また、k0=14であるとする。
【0129】
信号低減部53は、j=1、2、・・・、nの夫々に関し、相関値演算部52_jによって算出された相関値KBj[m]を所定の閾値KTHBjと比較する。そして、相関値KBj[m]が閾値KTHBjよりも小さい場合、信号低減部53は、原信号に含まれるkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k及びRm,kを平均化したMDCT係数(Lm,k+Rm,k)/2を算出し、そのMDCT係数(Lm,k+Rm,k)/2を、kj-1≦k≦kjの範囲内におけるMDCT係数Lm,k’及びRm,k’として出力する。一方、相関値KBj[m]が閾値KTHBjよりも大きい場合は、上記の平均化を行わず、原信号に含まれるkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k及びRm,kをそのままkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k’及びRm,k’として出力する(或いは、乗算器53_jによる上述の信号低減処理を行ってもよい)。
【0130】
上記の平均化を行えば、風雑音の影響が各チャンネル間で均等になり、風雑音の影響を比較的多く受けているチャンネルの雑音レベルが低減する。また、細分化された帯域ごとに信号低減処理を行うことで、風雑音の影響のある帯域のみの雑音レベルを効率よく低減することができる。
【0131】
第4の変形信号低減処理を説明する。説明の具体化のため、まず、細分化されたn個の帯域の1つである、相関値演算部52_1に対応する帯域に注目する。第4の変形信号低減処理において、信号低減部53は、相関値演算部52_1によって算出された相関値KB1[m]を所定の閾値KTHB1と比較する。そして、相関値KB1[m]が閾値KTHB1よりも小さい場合は、原信号に含まれる14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kの内、信号レベルが小さい方の信号(即ち、絶対値が小さい方のMDCT係数)を最小音響信号として且つ他方の信号(即ち、絶対値が大きい方のMDCT係数)を非最小音響信号として特定し、非最小音響信号を最小音響信号にて置き換える。
【0132】
即ち、相関値KB1[m]が閾値KTHB1よりも小さい場合において、原信号に含まれる14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kの内、例えばMDCT係数Rm,kが最小音響信号として特定されたときは、最小音響信号を表すそのMDCT係数Rm,kが、14≦k≦k1の範囲内におけるMDCT係数Lm,k’として、且つ、14≦k≦k1の範囲内におけるMDCT係数Rm,k’として出力される。
【0133】
一方、相関値KB1[m]が閾値KTHB1よりも大きい場合は、上記の置き換えを行わず、原信号に含まれる14≦k≦k1の範囲内におけるMDCT係数Lm,k及びRm,kをそのまま14≦k≦k1の範囲内におけるMDCT係数Lm,k’及びRm,k’として出力する(或いは、乗算器53_1による上述の信号低減処理を行ってもよい)。
【0134】
上記の処理は、細分化されたn個の帯域の夫々に対して個別に行われる。変数jを用いて一般化する。信号低減部53は、j=1、2、・・・、nの夫々に関し、相関値演算部52_jによって算出された相関値KBj[m]を所定の閾値KTHBjと比較する。そして、相関値KBj[m]が閾値KTHBjよりも小さい場合は、原信号に含まれるkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k及びRm,kの内、信号レベルが小さい方の信号(即ち、絶対値が小さい方のMDCT係数)を最小音響信号として且つ他方の信号(即ち、絶対値が大きい方のMDCT係数)を非最小音響信号として特定し、非最小音響信号を最小音響信号にて置き換える。そして、その置き換え後のMDCT係数を、kj-1≦k≦kjの範囲内におけるMDCT係数Lm,k’及びRm,k’として出力する。
【0135】
一方、相関値KBj[m]が閾値KTHBjよりも大きい場合は、上記の置き換えを行わず、原信号に含まれるkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k及びRm,kをそのままkj-1≦k≦kjの範囲内におけるMDCT係数Lm,k’及びRm,k’として出力する(或いは、乗算器53_jによる上述の信号低減処理を行ってもよい)。
【0136】
上記の置き換えを行えば、風雑音の影響が比較的少ないチャンネルの雑音レベルを増大させることなく、風雑音の影響を比較的多く受けているチャンネルの雑音レベルを低減させることができる。また、細分化された帯域ごとに信号低減処理を行うことで、風雑音の影響のある帯域のみの雑音レベルを効率よく低減することができる。
【0137】
第3又は第4の変形信号低減処理を行って得られた14≦k≦64の範囲内におけるMDCT係数Lm,k’及びRm,k’は合成され、その合成によって得られた中帯域のMDCT係数は、信号低減部53の出力信号として復元信号生成部61及び信号合成部55に送られる。
【0138】
また、低帯域用の風雑音判定部として機能する相関値演算部51の演算結果に基づいて閾値KTHBjを可変設定するようにしてもよい。具体的には例えば、相関値演算部51にて求められた相関値KA[m]が小さくなるに従って、上記の平均化又は置き換えが実行されやすくなるように閾値KTHBjを可変設定する。即ち、相関値KA[m]が小さくなるに従って、相関値KBj[m]と比較されるべき閾値KTHBjを大きくする。
【0139】
<<第3実施例>>
次に、第3実施例について説明する。第3実施例では、信号復元処理を時間軸上で実行し、その後、時間周波数変換を行ってから信号低減処理を周波数軸上で実行する。実現しやすい領域(時間領域又は周波数領域)でそれぞれの処理を行うことにより、より高精度で処理負荷の少ない風雑音低減部を形成できる。
【0140】
図9は、第3実施例に係る風雑音低減部6cの内部ブロック図である。風雑音低減部6cは、図2の風雑音低減部6として利用される。風雑音低減部6cは、低帯域用の風雑音判定部として機能する風雑音判定部11と、信号復元部12と、中帯域用の風雑音判定部として機能する風雑音判定部52と、信号低減部53と、HPF81と、信号合成部82と、時間周波数変換部83と、信号合成部84と、を備える。
【0141】
風雑音低減部6cに対する入力信号(入力音響信号)は、図3の風雑音低減部6aに対する入力信号と同じ信号L(t)及びR(t)である。この入力信号は風雑音低減部6cによって補正される。従って、風雑音低減部6cに対する入力信号を「原信号」と呼び、風雑音低減部6cの出力信号を「補正信号」と呼ぶことにする。
【0142】
第3実施例において、原信号は、BPF23、LPF21及び26、並びに、HPF81の夫々に対して入力される。
【0143】
風雑音低減部6cにおける風雑音判定部11及び信号復元部12は、図3の風雑音低減部6aにおけるそれらと同じものである。即ち、風雑音判定部11にて算出された相関値に応じて、信号復元部12にて原信号の低帯域信号と復元信号の低帯域信号が加重加算され、これによって信号復元部12の出力信号(第1補正音響信号)が生成される。
【0144】
HPF81は、自身に対する入力信号の中帯域成分と高帯域成分のみを通過させる。
【0145】
信号合成部82は、信号復元処理によって風雑音が低減された低帯域の音響信号を表す信号復元部12の出力信号と、HPF81の出力信号とを加算し、この加算によって得られた信号を、時間周波数変換部83に出力する。尚、信号復元部12及びHPF81における各信号遅延量が異なる場合は、信号合成部82内または信号合成部82の前段にて、それらの信号遅延量間の差を打ち消す遅延処理を行ってから、信号合成部82の加算処理を行うようにする。これは、乗算器27及び28及び加算器29を用いた加重加算処理においても同様である。
【0146】
信号合成部82から出力される音響信号は、L信号及びR信号から成る時間軸上の音響信号である。信号合成部82の出力信号を形成するL信号及びR信号の各値は、原信号を形成するL信号及びR信号のそれと異なるのであるが、信号合成部82の出力信号を形成するL信号及びR信号も、説明の便宜上、L(t)及びR(t)で表すこととする。
【0147】
時間周波数変換部83は、信号合成部82の出力信号を時間周波数変換によって周波数軸上の信号に変換する。この時間周波数変換は、第2実施例で述べた時間周波数変換と同様である。即ち、時間周波数変換部83は、時間周波数変換によって、信号合成部82の出力信号を形成する、時間Δt毎に時間軸方向にサンプリングされたL信号L(t)及びR信号R(t)を、周波数Δf毎に周波数軸方向にサンプリングされたL信号L(f)及びR信号R(f)に変換して出力する。時間周波数変換部83の前段にて低帯域に対する信号復元処理がなされているため、この変換によって得られたL信号L(f)及びR信号R(f)の低帯域成分の値は、図5の風雑音低減部6bに対する原信号(第2実施例におけるL(f)及びR(f))のそれと異なっているが、説明の便宜上、本実施例では、時間周波数変換部83から出力されるL信号及びR信号をL(f)及びR(f)と表記する。
【0148】
そして、説明の具体化のため、時間周波数変換部83における時間周波数変換として、第2実施例と同様、修正離散コサイン変換(MDCT)を用いる場合を想定する。そして、第2実施例で述べた、MDCTに対する具体例を本実施例にも適用する(N、M、m、kなどの値の具体例も適用する)。そうすると、時間周波数変換部83の出力信号を形成する信号L(f)及びR(f)は、MDCT係数Lm,k及びRm,kにて表現することができる。
【0149】
時間周波数変換部83の出力信号を形成する信号L(f)及びR(f)の内、周波数帯域が中帯域に属する信号が風雑音判定部52及び信号低減部53に入力される。即ち、14≦k≦64の範囲内におけるMDCT係数Lm,k及びRm,kが風雑音判定部52及び信号低減部53に入力される。
【0150】
風雑音低減部6cにおける風雑音判定部52及び信号低減部53は、図5の風雑音低減部6bにおけるそれらと同じものである。即ち、中帯域をn個に細分化し、細分化された帯域ごとに、風雑音判定部52にて算出された相関値に応じた低減率にて時間周波数変換83の出力信号の中帯域を低減させる。この低減後の信号である、乗算器53_1、53_2、・・・、53_nの各出力信号は合成され、その合成によって得られた中帯域のMDCT係数は、信号低減部53の出力信号(第2補正音響信号)として信号合成部84に送られる。尚、乗算器53_1、53_2、・・・、53_nの各出力信号の合成は、信号合成部84にて行われると考えても良い。
【0151】
時間周波数変換部83の出力信号を形成する信号L(f)及びR(f)の内、周波数帯域が低帯域及び高帯域に属する信号は、そのまま、信号合成部84に与えられる。信号合成部84は、フレーム毎に、時間周波数変換部83から直接与えられた低帯域及び高帯域に属する信号と、信号低減部53の出力信号と、を合成し、この合成によって得られた信号を風雑音低減部6cの出力信号(即ち、補正信号)として出力する。第3実施例において、この補正信号は、複数のチャンネル信号から成る周波数軸上の音響信号である。
【0152】
図2の音声信号処理部4において、信号合成部84から出力される補正信号は、AACの符号化方式に従って量子化され、符号化音声信号としてのビットストリームに変換される。この符号化音声信号(ビットストリーム)は、図2の記録媒体5に記録される。
【0153】
上述の説明では、原則として、L信号とR信号に対する信号処理を個別に分けて記述していないが、上述したように、風雑音低減部6c内の各部位は、複数のチャンネル信号の夫々に対して個別に必要な信号処理を行う。
【0154】
つまり、HPF81は、原信号を形成するL信号の中帯域及び高帯域成分と原信号を形成するR信号の中帯域及び高帯域成分のみを通過させる。信号合成部82は、信号復元部12の出力信号におけるL信号とHPF81の出力信号におけるL信号とを加算する共に信号復元部12の出力信号におけるR信号とHPF81の出力信号におけるR信号とを加算する。時間周波数変換部83は、与えられた時間軸上のL信号とR信号を個別に時間周波数変換する。信号合成部84は、信号低減部53の出力信号におけるL信号と時間周波数変換部83の出力信号中の低帯域及び高帯域におけるL信号とを合成すると共に信号低減部53の出力信号におけるR信号と時間周波数変換部83の出力信号中の低帯域及び高帯域におけるR信号とを合成することによって、補正信号を生成する。尚、LPF21等に関しては、第1又は第2実施例にて述べた通りである。
【0155】
また、第1実施例でも述べたのと同様、風雑音低減部6cから、風雑音判定部11を省略することも可能である。風雑音判定部11を省略した場合、乗算器27及び28及び加算器29は、LPF25及び26の各出力信号値を一定の比率で加重加算することにより、信号復元部12の出力信号(第1補正音響信号)を生成する。また、第2実施例でも述べたのと同様、風雑音低減部6cから、風雑音判定部52を省略することも可能である。風雑音判定部52を省略した場合、乗算器53_jは、時間周波数変換部83の出力信号中の中帯域における信号のレベルを一定の低減率にて低減させ、低減後の信号を出力する。尚、風雑音判定部11及び風雑音判定部52が省略された場合、風雑音低減部6cに対する入力信号は1つのチャンネル信号から成るモノラル信号であってもよい。
【0156】
また、風雑音低減部6cに、低帯域用の風雑音判定部11と中帯域用の風雑音判定部52とを独立に設け、前者の判定結果を信号復元部12の処理にのみ反映させ且つ後者の判定結果を信号低減部53の処理にのみ反映させているが、第2実施例で述べたのと同様、各判定結果を相互利用するようにしてもよい。即ち例えば、或る着目フレームに関し、相関値演算部22が算出した相関値と相関値演算部52_jが算出した相関値に基づいて、着目フレームにおける乗算器53_jでの低減率を決定する。より具体的には例えば、相関値演算部52_jが算出した相関値の減少に従って該低減率を増大させるだけでなく、相関値演算部22が算出した相関値の減少に従っても該低減率を増大させるようにする。
【0157】
また、第2実施例にて上述した第3及び第4の変形信号低減処理は、第3実施例に対しても適用可能である。当然ではあるが、第3及び第4の変形信号低減処理を第3実施例に適用する場合、第3及び第4の変形信号低減処理の説明文で述べた「原信号及び信号合成部55」は、夫々、「時間周波数変換部83の出力信号及び信号合成部84に読み替えられる。また、第3及び第4の変形信号低減処理を第3実施例に適用する場合、低帯域用の風雑音判定部11の判定結果に応じて閾値KTHBjを可変設定するようにしてもよい。具体的には例えば、或る着目フレームに関し、相関値演算部22にて求められた相関値が小さくなるに従って、上記の平均化又は置き換えが実行されやすくなるように閾値KTHBjを可変設定する。即ち、或る着目フレームに関し、相関値演算部22にて求められた相関値が小さくなるに従って、相関値KBj[m]と比較されるべき閾値KTHBjを大きくする。
【0158】
第1〜第3実施例によれば、風雑音低減用の処理に起因する低帯域信号の歪みを解消することができる。また、中帯域についても、信号低減処理によって風雑音の影響を抑制することができる。
【0159】
ここで、第1〜第3実施例の夫々の風雑音低減部の利点を考察する。
第1実施例に係る風雑音低減部6a(図3)では、信号復元処理と信号低減処理を並列に行うことができる。また、時間領域のみで信号処理を行うことができるため、時間周波数変換が不要となる。
第2実施例に係る風雑音低減部6b(図5)では、周波数領域で信号処理を行うため、帯域別の処理を直感的に行うことができる。信号低減処理を施す中帯域を容易に細かく分けることが可能であり、風の影響のある帯域にのみ信号低減を行うといったことが可能となる。
第3実施例に係る風雑音低減部6c(図9)は、AACなどに従ったエンコーダ(符号化器)に組み込みやすく、実用性が高い。
【0160】
<<第4実施例>>
上述したように、第3実施例に係る風雑音低減部6cは、AACなどに従ったエンコーダへの組み込みが容易である。例えば、時間周波数変換にMDCTを利用できたり、出力される周波数軸上の補正信号をエンコーダの量子化処理にそのまま利用できたりする。エンコーダへの組み込みに関する実施例として、第4実施例を説明する。
【0161】
図9の風雑音低減部6cと組み合わせて使用可能なAACエンコーダ110の内部ブロック図を、図10に示す。AACエンコーダ110は、図2の音声信号処理部4に内蔵される。AACエンコーダ110内の各部位の動作は、AACの規格に従うものであるため説明を割愛する。AACエンコーダ110内に設けられたフィルタバンク111が、修正離散コサイン変換を行う部分であり、図9の時間周波数変換部83に相当することになる。
【0162】
AACエンコーダ110の前段に、図9の風雑音低減部6cにおける風雑音判定部11、信号復元部12、HPF81及び信号合成部82を設け、信号合成部82の出力信号をAACエンコーダ110の入力信号として与える。そして、時間周波数変換部83の出力信号に対応するフィルタバンク111の出力信号の中帯域を信号低減部53にて補正し、この補正を介した信号(即ち、図9の信号合成部84から出力される補正信号)を、フィルタバンク111の出力信号を必要とする部位(TNS(Temporal Noise Shaping)及びビットストリームマルチプレクサ)に供給するようにする。この補正を介してAACエンコーダ110から出力されるビットストリームが、図2の記録媒体5に記録される。
【0163】
尚、AACエンコーダ110などのエンコーダに風雑音低減部(6b又は6c)を組み込む場合、帯域の分割の仕方を、組み込むエンコーダにおけるオーディオフォーマットに合わせておくと良い。これにより、処理を簡略化することができる。つまり例えば、第2又は第3実施例で述べたMDCT係数Lm,k及びRm,kの表現形式(kの取りうる値など)をエンコーダで用いるMDCT係数のそれと合わせておくとよい。
【0164】
また、AACエンコーダ110などのエンコーダに風雑音低減部(6b又は6c)を組み込む場合、隣接するフレーム間で時間軸上の音響信号がオーバーラップされることがある。つまり例えば、第2又は第3実施例で述べたMDCTの具体例の場合、図6に示す如く、隣接するフレーム間で1024サンプルの時間軸上の音響信号がオーバーラップされる。このような場合、低帯域用の風雑音判定と中帯域用の風雑音判定が同等となるように、風雑音低減部6cの風雑音判定部11及び信号復元部12にて、以下のように処理することが望ましい。
【0165】
即ち、風雑音判定部11の相関値演算部22は、各フレームに対し、上記式(1)に従って相関値を算出する。これは、第1実施例で導入した「単位区間」をMDCTに適応した「フレーム」として取り扱うことによって実現される。この場合、図4に示す状況と異なるが、隣接する単位区間同士は単位区間の半分だけ重なり合うことになる。そして例えば、時間軸上における1番目〜2048番目の音響信号に基づいて或るフレームに対する相関値が算出され、その後、時間軸上における1025番目〜3072番目の音響信号に基づいて次のフレームに対する相関値が算出されることになる。乗算器27及び28並びに加算器29は、第mのフレームの前半(又は後半)1024サンプルについてのLPF25及び26の出力信号値を、相関値演算部22が第mのフレームについて算出した相関値に応じて上記式(2)に従って加重加算し、これによって信号復元部12の出力信号を形成するようにする。
【0166】
<<第5実施例>>
上述の各実施例では、各マイクロホンの出力信号に対してリアルタイムに風雑音低減用の補正処理(信号復元処理及び信号低減処理)を施し、これによって得られた補正信号を図2の記録媒体5に保存するようにしているが、補正処理を実行するタイミングは任意である。
【0167】
例えば、マイクロホンMIC1及びMIC2の出力信号に基づく補正前の時間軸上の原信号又は補正前の周波数軸上の原信号を、一旦、記録媒体5に生データとして記録しておく。勿論、この記録の際に、適宜、圧縮処理等の信号処理を行っても構わない。そして、音声再生時などにおいて、その生データから補正前の時間軸上の原信号又は補正前の周波数軸上の原信号を再現し、その再現された原信号を風雑音低減部(6a、6b又は6c)に与えることによって補正信号を得るようにしてもよい。そして、音声再生時には、この補正信号を再生出力すれば良い。
【0168】
上述の説明から明らかなように、上記の生データから音響信号を再生する音響信号再生装置に風雑音低減部(6a、6b又は6c)を含む音声信号処理部を搭載することも可能であり、その場合も、風雑音低減部は有効に機能する。つまり、本発明は、音響信号再生装置にも適用可能である。集音時には生データを記録しておき、風雑音低減用の補正処理を音響信号再生装置側に担わせるようにしておけば、該補正処理の実施/不実施を再生時に自由に切り替えることも可能である。
【0169】
また、音声信号処理部4が設けられる装置として撮像装置1を例示したが、同様の音声信号処理部を、他の録音装置又は録音機能を備えた装置に設けることが可能である。他の録音装置又は録音機能を備えた装置には、例えば、ICレコーダ等の携帯型録音装置や、録音機能を備えた携帯電話機が含まれる。これらの装置には、図2に示されるマイクロホンMIC1及びMIC2、音声信号処理部4及び記録媒体5が設けられることになる。
【0170】
<<変形等>>
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1〜注釈4を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【0171】
[注釈1]
上述の説明では、説明の具体化のため、時間周波数変換として修正離散コサイン変換(MDCT)を用いる場合を例示したが、勿論、これは例示であり、その他の任意の時間周波数変換を利用することが可能である。
【0172】
[注釈2]
説明の簡略化上、マイクロホンの個数を2に限定し、2つのチャンネル信号から形成される音響信号を補正する手法を上述したが、本発明において、マイクロホンの個数は2に限定されない。つまり、上述の各実施例に記載した技術を、3以上のマイクロホンの出力信号に基づく3以上のチャンネル信号から成るマルチチャンネル信号に対して適用することもできる。各実施例でチャンネル信号ごとに信号復元処理及び信号低減処理を行っていたのと同様、各実施例に記載した技術をマルチチャンネル信号に対して適用する場合も、基本的には、チャンネル信号ごとに信号復元処理及び信号低減処理を行えばよい。
【0173】
また、各実施例に記載した技術を、第1、第2、・・・第qのチャンネル信号から成るマルチチャンネル信号に対して適用する場合、風雑音判定は、以下のように行えばよい(qは3以上の整数)。
例えば、第1〜第qのチャンネル信号の中から2つのチャンネル信号を選定しておき、その選定された2つのチャンネル信号を上記のL信号及びR信号と取り扱って、各実施例で述べたのと同様に、相関値演算を介して風雑音の影響度合いを判定を行う。
或いは例えば、第1〜第qのチャンネル信号の内の2つのチャンネル信号の各組み合わせに対して、組み合わせ毎に2つのチャンネル信号間の相互相関を表す相関値を求め、組み合わせ毎に求められた相関値の最大値、平均値、最小値などに基づいて風雑音の影響度合いを判定する。
或いは例えば、第1〜第qのチャンネル信号の内の3以上のチャンネル信号間の相互相関を表す相関値を求め、この相関値に基づいて風雑音の影響度合いを判定する。
【0174】
また、上述の第1〜第4の変形信号処理をマルチチャンネル信号に対して適用することもできる。
【0175】
第1実施例に着目した場合、マルチチャンネル信号を形成する第1〜第qのチャンネル信号はBPF30に与えられる。そして、マルチチャンネル信号に第1の変形信号処理を適用する場合は、相関値演算を介して風雑音の影響度合いを判定し、その影響度合いが比較的大きいと判断したならば、BPF30を通過した第1〜第qのチャンネル信号を平均化し、この平均化後の各チャンネル信号にて信号低減部13の出力信号を形成すればよい。
【0176】
マルチチャンネル信号に第2の変形信号処理を適用する場合は、相関値演算を介して風雑音の影響度合いを判定し、その影響度合いが比較的大きいと判断したならば、BPF30を通過した第1〜第qのチャンネル信号の信号レベルを互いに対比する。そして、BPF30を通過した第1〜第qのチャンネル信号の内、信号レベルが最も小さいチャンネル信号を最小音響信号として且つそれ以外の各チャンネル信号を非最小音響信号として特定し、全ての非最小音響信号を最小音響信号にて置き換えて、置き換え後の各チャンネル信号にて信号低減部13の出力信号を形成すればよい。
【0177】
マルチチャンネル信号に第3の変形信号処理を適用する場合は、中帯域をn個に細分化し、n個に細分化された帯域ごとに相関値演算を介して風雑音の影響度合いを判定する。そして、n個に細分化された帯域ごとに影響度合いの大小を判別し、その影響度合いが比較的大きいと判断した帯域に対して、周波数軸上の第1〜第qのチャンネル信号(即ち、MDCT係数)を平均化し、この平均化後の各チャンネル信号にて信号低減部53の出力信号を形成すればよい。
【0178】
マルチチャンネル信号に第4の変形信号処理を適用する場合も、中帯域をn個に細分化し、n個に細分化された帯域ごとに相関値演算を介して風雑音の影響度合いを判定する。そして、n個に細分化された帯域ごとに影響度合いの大小を判別し、その影響度合いが比較的大きいと判断した帯域に対して、周波数軸上の第1〜第qのチャンネル信号(即ち、MDCT係数)間の大小関係を評価し、信号レベルが最も小さいチャンネル信号を最小音響信号として且つそれ以外の各チャンネル信号を非最小音響信号として特定する。その後、全ての非最小音響信号を最小音響信号にて置き換えて、置き換え後の各チャンネル信号にて信号低減部53の出力信号を形成すればよい。
【0179】
[注釈3]
図3、図5又は図9に示される風雑音低減部6a、6b又は6cは、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて風雑音低減部(6a、6b又は6c)を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【0180】
また、風雑音低減部(6a、6b又は6c)にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【0181】
[注釈4]
例えば、以下のように考えることができる。
本発明に係る風雑音低減装置は、入力音響信号に含まれる低帯域の音響信号とは異なる、低帯域の音響信号を信号復元処理によって生成する信号生成手段を備えており、風雑音低減装置6a又は6cでは、符号23〜25にて参照される各部位によって信号生成手段が形成され、風雑音低減装置6bでは、復元信号生成部61が信号生成手段として機能する(図3、図5及び図9参照)。
低帯域の補正音響信号を生成する第1補正手段の機能は、風雑音低減装置6a又は6cでは信号復元部12が担い、雑音低減装置6bでは信号復元部54が担う。
中帯域の補正音響信号を生成する第2補正手段の機能は、風雑音低減装置6aでは信号低減部13が担い、雑音低減装置6b又は6cでは信号低減部53が担う。この第2補正手段に、風雑音判定部11(図3)又は風雑音判定部52(図5、図9)が含まれていると考えることも含まれていないと考えることもできる。
【図面の簡単な説明】
【0182】
【図1】本発明の実施形態に係る撮像装置の外観斜視図である。
【図2】図1の撮像装置の電気的構成を表す概略ブロック図である。
【図3】本発明の第1実施例に係る、図2の風雑音低減部の内部ブロック図である。
【図4】本発明の第1実施例に係る、信号処理の単位区間を表す図である。
【図5】本発明の第2実施例に係る、図2の風雑音低減部の内部ブロック図である。
【図6】本発明の第2実施例に係り、符号化の処理単位である各フレームの関係を示す図である。
【図7】図5の復元信号生成部による信号の復元手法を説明するための周波数スペクトル図である。
【図8】図5の復元信号生成部による信号の復元手法を説明するための図である。
【図9】本発明の第3実施例に係る、図2の風雑音低減部の内部ブロック図である。
【図10】図9の風雑音低減部と組み合わせて使用可能なAACエンコーダの内部ブロック図である。
【図11】従来の風雑音低減装置の内部ブロック図である。
【図12】本発明の第1実施例に係り、第1の変形信号低減処理を説明するための概念図である。
【図13】本発明の第1実施例に係り、第2の変形信号低減処理を説明するための概念図である。
【符号の説明】
【0183】
MIC1、MIC2 マイクロホン
1 撮像装置
4 音声信号処理部
5 記録媒体
6、6a、6b、6c 風雑音低減部
11、52 風雑音判定部
51 相関値演算部(風雑音判定部)
12、54 信号復元部
13、53 信号低減部
【特許請求の範囲】
【請求項1】
入力音響信号から風雑音が低減された補正音響信号を生成する風雑音低減装置において、
風雑音の帯域を含む所定帯域を第1帯域とし且つ前記第1帯域よりも周波数が高い所定帯域を第2帯域とした場合、
当該風雑音低減装置は、
前記入力音響信号に含まれる、第1帯域よりも周波数が高い帯域の音響信号に基づいて、前記入力音響信号に含まれる第1帯域の音響信号と異なる、前記第1帯域の音響信号を生成する信号生成手段を有し、前記信号生成手段が生成した前記音響信号に基づいて第1補正音響信号を生成する第1補正手段と、
前記入力音響信号の第2帯域の音響信号の信号レベルを低減することにより、前記風雑音が低減された第2帯域の音響信号である第2補正音響信号を生成する第2補正手段と、
前記第1及び第2補正音響信号に基づいて前記補正音響信号を出力する補正音響信号出力手段と、を備えた
ことを特徴とする風雑音低減装置。
【請求項2】
前記第1補正手段は、前記入力音響信号に含まれる第1帯域の前記音響信号と前記信号生成手段が生成した前記音響信号に基づいて、前記第1補正音響信号を生成する
ことを特徴とする請求項1に記載の風雑音低減装置。
【請求項3】
前記入力音響信号は、複数のチャンネル信号から成り、
当該風雑音低減装置は、更に、
前記風雑音の帯域を含む各チャンネル信号の所定帯域成分の、互いに異なるチャンネル信号間における相互相関に基づいて、前記入力音響信号に対する前記風雑音の影響度合いを判定する風雑音判定手段を備え、
前記第1補正手段は、前記風雑音判定手段の判定結果に応じて、前記第1補正音響信号を生成する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項4】
前記入力音響信号は、複数のチャンネル信号から成り、
当該風雑音低減装置は、更に、
前記風雑音の帯域を含む各チャンネル信号の所定帯域成分の、互いに異なるチャンネル信号間における相互相関に基づいて、前記入力音響信号に対する前記風雑音の影響度合いを判定する風雑音判定手段を備え、
前記第2補正手段は、前記風雑音判定手段の判定結果に応じて、前記第2補正音響信号を生成する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項5】
前記入力音響信号は周波数軸上の信号として当該風雑音低減装置に与えられ、且つ、前記入力音響信号は複数のチャンネル信号から成り、
前記第2補正手段は、
前記入力音響信号の第2帯域を複数の要素帯域に分割し、各要素帯域の音響信号の信号レベルを低減することにより周波数軸上の前記第2補正音響信号を生成し、
前記複数の要素帯域の夫々に対して、互いに異なるチャンネル信号間における前記要素帯域の音響信号の相互相関を求め、各相互相関に基づいて前記要素帯域ごとに前記信号レベルの低減度合いを決定する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項6】
前記入力音響信号は時間軸上の信号として当該風雑音低減装置に与えられ、且つ、前記入力音響信号は複数のチャンネル信号から成り、
前記第1補正手段によって生成される前記第1補正音響信号は、時間軸上の信号であり、
当該音声信号補正装置は、更に、
前記入力音響信号から前記第1帯域を含まず且つ前記第2帯域を含む所定帯域の成分を抽出する抽出手段と、
前記第1補正音響信号と前記抽出手段の抽出信号との合成信号の信号形式を時間軸上から周波数軸上に変換する時間周波数変換手段と、を備え、
前記第2補正手段は、周波数軸上の前記合成信号における第2帯域の音響信号の信号レベルを低減することにより、周波数軸上の前記第2補正音響信号を生成し、
前記補正音響信号出力手段は、前記第2補正手段から得られる周波数軸上の前記第2補正音響信号と、前記時間周波数変換手段から得られる周波数軸上の前記第1補正音響信号を含む音響信号と、に基づいて周波数軸上の前記補正音響信号を出力する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項7】
前記第2補正手段は、
周波数軸上の前記合成信号の第2帯域を複数の要素帯域に分割し、各要素帯域の音響信号の信号レベルを低減することにより周波数軸上の前記第2補正音響信号を生成し、
前記複数の要素帯域の夫々に対して、互いに異なるチャンネル信号間における前記要素帯域の音響信号の相互相関を求め、各相互相関に基づいて前記要素帯域ごとに前記信号レベルの低減度合いを決定する
ことを特徴とする請求項6に記載の風雑音低減装置。
【請求項8】
前記入力音響信号は、複数のチャンネル信号から成り、
前記第2補正手段は、
前記第2帯域の全部又は一部の帯域に着目し、
前記入力音響信号に含まれる前記複数のチャンネル信号分の着目帯域の音響信号を平均化することにより、前記風雑音の影響を比較的多く受けているチャンネルにおける前記着目帯域の音響信号の信号レベルを低減させ、
この平均化によって得られた信号から前記第2補正音響信号を生成する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項9】
前記入力音響信号は、複数のチャンネル信号から成り、
前記第2補正手段は、
前記第2帯域の全部又は一部の帯域に着目し、
前記入力音響信号に含まれる前記複数のチャンネル信号分の着目帯域の音響信号の内、最小の信号レベルを有する音響信号を最小音響信号として且つそれ以外の音響信号を非最小音響信号として特定し、
前記非最小音響信号を前記最小音響信号にて置き換えることにより、前記風雑音の影響を比較的多く受けているチャンネルにおける前記着目帯域の音響信号の信号レベルを低減させ、
この置き換えによって得られた信号から前記第2補正音響信号を生成する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項10】
請求項1〜請求項9の何れかに記載の風雑音低減装置と、
前記風雑音低減装置に対する前記入力音響信号を生成するためのマイクロホンと、を備えた
ことを特徴とする録音装置。
【請求項11】
請求項1〜請求項9の何れかに記載の風雑音低減装置と、
前記風雑音低減装置に対する前記入力音響信号を生成するためのマイクロホンと、
画像を取得するための撮像手段と、を備えた
ことを特徴とする撮像装置。
【請求項12】
入力音響信号から風雑音が低減された補正音響信号を生成する風雑音低減方法において、
風雑音の帯域を含む所定帯域を第1帯域とし且つ前記第1帯域よりも周波数が高い所定帯域を第2帯域とした場合、
当該風雑音低減方法は、
前記入力音響信号に含まれる、第1帯域よりも周波数が高い帯域の音響信号に基づいて、前記入力音響信号に含まれる第1帯域の音響信号と異なる、前記第1帯域の音響信号を生成する信号生成ステップと、
前記信号生成ステップにて生成された前記音響信号に基づいて第1補正音響信号を生成する第1補正ステップと、
前記入力音響信号の第2帯域の音響信号の信号レベルを低減することにより、前記風雑音が低減された第2帯域の音響信号である第2補正音響信号を生成する第2補正ステップと、を備え、
前記第1及び第2補正音響信号に基づいて前記補正音響信号を生成する
ことを特徴とする風雑音低減方法。
【請求項1】
入力音響信号から風雑音が低減された補正音響信号を生成する風雑音低減装置において、
風雑音の帯域を含む所定帯域を第1帯域とし且つ前記第1帯域よりも周波数が高い所定帯域を第2帯域とした場合、
当該風雑音低減装置は、
前記入力音響信号に含まれる、第1帯域よりも周波数が高い帯域の音響信号に基づいて、前記入力音響信号に含まれる第1帯域の音響信号と異なる、前記第1帯域の音響信号を生成する信号生成手段を有し、前記信号生成手段が生成した前記音響信号に基づいて第1補正音響信号を生成する第1補正手段と、
前記入力音響信号の第2帯域の音響信号の信号レベルを低減することにより、前記風雑音が低減された第2帯域の音響信号である第2補正音響信号を生成する第2補正手段と、
前記第1及び第2補正音響信号に基づいて前記補正音響信号を出力する補正音響信号出力手段と、を備えた
ことを特徴とする風雑音低減装置。
【請求項2】
前記第1補正手段は、前記入力音響信号に含まれる第1帯域の前記音響信号と前記信号生成手段が生成した前記音響信号に基づいて、前記第1補正音響信号を生成する
ことを特徴とする請求項1に記載の風雑音低減装置。
【請求項3】
前記入力音響信号は、複数のチャンネル信号から成り、
当該風雑音低減装置は、更に、
前記風雑音の帯域を含む各チャンネル信号の所定帯域成分の、互いに異なるチャンネル信号間における相互相関に基づいて、前記入力音響信号に対する前記風雑音の影響度合いを判定する風雑音判定手段を備え、
前記第1補正手段は、前記風雑音判定手段の判定結果に応じて、前記第1補正音響信号を生成する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項4】
前記入力音響信号は、複数のチャンネル信号から成り、
当該風雑音低減装置は、更に、
前記風雑音の帯域を含む各チャンネル信号の所定帯域成分の、互いに異なるチャンネル信号間における相互相関に基づいて、前記入力音響信号に対する前記風雑音の影響度合いを判定する風雑音判定手段を備え、
前記第2補正手段は、前記風雑音判定手段の判定結果に応じて、前記第2補正音響信号を生成する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項5】
前記入力音響信号は周波数軸上の信号として当該風雑音低減装置に与えられ、且つ、前記入力音響信号は複数のチャンネル信号から成り、
前記第2補正手段は、
前記入力音響信号の第2帯域を複数の要素帯域に分割し、各要素帯域の音響信号の信号レベルを低減することにより周波数軸上の前記第2補正音響信号を生成し、
前記複数の要素帯域の夫々に対して、互いに異なるチャンネル信号間における前記要素帯域の音響信号の相互相関を求め、各相互相関に基づいて前記要素帯域ごとに前記信号レベルの低減度合いを決定する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項6】
前記入力音響信号は時間軸上の信号として当該風雑音低減装置に与えられ、且つ、前記入力音響信号は複数のチャンネル信号から成り、
前記第1補正手段によって生成される前記第1補正音響信号は、時間軸上の信号であり、
当該音声信号補正装置は、更に、
前記入力音響信号から前記第1帯域を含まず且つ前記第2帯域を含む所定帯域の成分を抽出する抽出手段と、
前記第1補正音響信号と前記抽出手段の抽出信号との合成信号の信号形式を時間軸上から周波数軸上に変換する時間周波数変換手段と、を備え、
前記第2補正手段は、周波数軸上の前記合成信号における第2帯域の音響信号の信号レベルを低減することにより、周波数軸上の前記第2補正音響信号を生成し、
前記補正音響信号出力手段は、前記第2補正手段から得られる周波数軸上の前記第2補正音響信号と、前記時間周波数変換手段から得られる周波数軸上の前記第1補正音響信号を含む音響信号と、に基づいて周波数軸上の前記補正音響信号を出力する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項7】
前記第2補正手段は、
周波数軸上の前記合成信号の第2帯域を複数の要素帯域に分割し、各要素帯域の音響信号の信号レベルを低減することにより周波数軸上の前記第2補正音響信号を生成し、
前記複数の要素帯域の夫々に対して、互いに異なるチャンネル信号間における前記要素帯域の音響信号の相互相関を求め、各相互相関に基づいて前記要素帯域ごとに前記信号レベルの低減度合いを決定する
ことを特徴とする請求項6に記載の風雑音低減装置。
【請求項8】
前記入力音響信号は、複数のチャンネル信号から成り、
前記第2補正手段は、
前記第2帯域の全部又は一部の帯域に着目し、
前記入力音響信号に含まれる前記複数のチャンネル信号分の着目帯域の音響信号を平均化することにより、前記風雑音の影響を比較的多く受けているチャンネルにおける前記着目帯域の音響信号の信号レベルを低減させ、
この平均化によって得られた信号から前記第2補正音響信号を生成する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項9】
前記入力音響信号は、複数のチャンネル信号から成り、
前記第2補正手段は、
前記第2帯域の全部又は一部の帯域に着目し、
前記入力音響信号に含まれる前記複数のチャンネル信号分の着目帯域の音響信号の内、最小の信号レベルを有する音響信号を最小音響信号として且つそれ以外の音響信号を非最小音響信号として特定し、
前記非最小音響信号を前記最小音響信号にて置き換えることにより、前記風雑音の影響を比較的多く受けているチャンネルにおける前記着目帯域の音響信号の信号レベルを低減させ、
この置き換えによって得られた信号から前記第2補正音響信号を生成する
ことを特徴とする請求項1または請求項2に記載の風雑音低減装置。
【請求項10】
請求項1〜請求項9の何れかに記載の風雑音低減装置と、
前記風雑音低減装置に対する前記入力音響信号を生成するためのマイクロホンと、を備えた
ことを特徴とする録音装置。
【請求項11】
請求項1〜請求項9の何れかに記載の風雑音低減装置と、
前記風雑音低減装置に対する前記入力音響信号を生成するためのマイクロホンと、
画像を取得するための撮像手段と、を備えた
ことを特徴とする撮像装置。
【請求項12】
入力音響信号から風雑音が低減された補正音響信号を生成する風雑音低減方法において、
風雑音の帯域を含む所定帯域を第1帯域とし且つ前記第1帯域よりも周波数が高い所定帯域を第2帯域とした場合、
当該風雑音低減方法は、
前記入力音響信号に含まれる、第1帯域よりも周波数が高い帯域の音響信号に基づいて、前記入力音響信号に含まれる第1帯域の音響信号と異なる、前記第1帯域の音響信号を生成する信号生成ステップと、
前記信号生成ステップにて生成された前記音響信号に基づいて第1補正音響信号を生成する第1補正ステップと、
前記入力音響信号の第2帯域の音響信号の信号レベルを低減することにより、前記風雑音が低減された第2帯域の音響信号である第2補正音響信号を生成する第2補正ステップと、を備え、
前記第1及び第2補正音響信号に基づいて前記補正音響信号を生成する
ことを特徴とする風雑音低減方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2009−55583(P2009−55583A)
【公開日】平成21年3月12日(2009.3.12)
【国際特許分類】
【出願番号】特願2007−334121(P2007−334121)
【出願日】平成19年12月26日(2007.12.26)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成21年3月12日(2009.3.12)
【国際特許分類】
【出願日】平成19年12月26日(2007.12.26)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]