説明

信号処理装置、及び携帯端末装置

【課題】複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に高音質化する信号処理を行うことができる信号処理装置及び携帯端末装置を提供すること。
【解決手段】複数の入力チャネルから入力された複数の入力信号に対して信号帯域を拡張する処理を施す信号処理装置1を次のように構成する。すなわち、信号処理装置1に、複数の入力信号に共通する共通成分と、前記複数の入力信号に共通しない非共通成分と、を抽出する共通成分・非共通成分抽出部10と、前記複数の入力信号の音質を推定する音質推定部20と、前記共通成分に対して、信号帯域拡張処理を含む高音質化処理を施す高音質化処理部40と、前記音質推定部20による推定結果に基づいて、前記高音質化処理部を制御する制御部30と、を具備させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、周波数帯域が制限されている入力信号について、除去されている周波数帯域の信号を生成する信号帯域拡張処理などの高音質化処理を行う信号処理装置、及び携帯端末装置に関する。
【背景技術】
【0002】
従来、周波数帯域が制限されている音声信号の再生に際して、除去されている周波帯域の信号を擬似的に合成して生成し、原音声信号と合わせて再生する信号帯域拡張処理による信号処理装置が知られている。この技術によれば、周波数帯域が制限される前の音声と同様の、人間の聴覚にとって、より自然な音声信号が生成される。
【0003】
一方、従来、複数の入力チャネルからの音声信号を処理する装置が知られている。このような技術は、例えば特許文献1に開示されている。
【0004】
特許文献1に開示されている技術では、複数の入力チャネルから入力された音声信号について、それら音声信号の共通成分にのみ雑音成分の抑圧処理を行い、非共通成分には減衰処理を行う。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−283385号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、現在、複数の入力チャネルからの信号に対して、より効率的且つ効果的に信号帯域拡張処理を行う技術が望まれている。
【0007】
しかしながら、上述した特許文献1に開示されている複数の入力チャネルからの信号に対する処理を、従来存在する高音質化する信号処理に単純に適用した場合、次のような問題が生じる。
【0008】
すなわち、入力信号の種類(例えばステレオ信号やモノラル信号等)及びその音質(例えば制限周波数、有効チャネル、SN比、残響度合い等)が一定でない場合には、効率的・効果的な高音質化する信号処理を行うことができない。
【0009】
さらには、例えば2チャネルの信号(ステレオ信号)が入力された場合に、帯域拡張された信号帯域においてステレオ性を備えさせることができない。
【0010】
本発明は、前記の事情に鑑みて為されたものであり、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に高音質化する信号処理を行うことができる信号処理装置及び携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
前記の目的を達成するために、本発明の第1の態様による信号処理装置は、入力信号に対して高音質化処理を施す高音質化処理部と、前記入力信号の音質を推定する音質推定部と、前記音質推定部による推定結果に基づいて、前記高音質化処理部を制御する制御部とを具備することを特徴とする。
【0012】
前記の目的を達成するために、本発明の第2の態様による携帯端末装置は、
移動通信網に収容される無線基地局と無線通信し、前記無線基地局及び前記移動通信網を通じて通信相手局との間に通信リンクを確立して通信する無線通信部と、
前記無線通信部により前記通信相手局から受信した受信データを復号して、ディジタル信号を取得するデコーダ部と、
前記デコーダ部から出力されたディジタル信号を複数のチャネルから入力して信号帯域を拡張する処理を施す信号帯域拡張装置と、
前記信号帯域拡張装置により帯域拡張されたディジタル信号をアナログ信号に変換するD/A変換部と、
前記アナログ信号に基づく音声信号を音響空間へ拡声出力するスピーカ部と、
を具備し、
前記信号帯域拡張装置は、
前記複数のチャネルから入力した信号に共通する共通成分と、前記複数のチャネルから入力した信号に共通しない非共通成分と、を抽出する抽出部と、
前記抽出部により抽出された共通成分及び非共通成分に基づいて、前記複数の入力信号の音質を推定する音質推定部と、
前記抽出部により抽出された共通成分に対して、信号帯域拡張処理を含む高音質化処理を施し、且つ、前記信号帯域拡張処理により拡張した帯域の信号を、前記非共通成分にも適用する高音質化処理部と、
前記音質推定部による推定結果に基づいて、前記高音質化処理部を制御する制御部と、
を有することを特徴とする。
【発明の効果】
【0013】
本発明によれば、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に高音質化する信号処理を行うことができる信号処理装置及び携帯端末装置を提供することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態に係る信号処理装置の一構成例を示す図。
【図2】図1に示す上限周波数検出部の動作を説明する図。
【図3】図1に示す帯域拡張既処理検出部の動作を説明する図。
【図4】図1に示す高音質化処理部の信号帯域拡張処理部を具体化した一構成例を示す図。
【図5】第1変形例に係る信号処理装置の構成を示す図。
【図6】第2変形例に係る信号処理装置の構成を示す図
【図7】第3変形例に係る信号処理装置の構成を示す図
【図8】一実施形態及び第1変形例〜第3変形例に係る信号処理装置を適用した通信装置の構成を示す図。
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明の実施形態について説明する。
【0016】
図1は、本発明の一実施形態に係る信号処理装置の一構成例を示す図である。図1に示すように、本一実施形態に係る信号処理装置1は、共通成分・非共通成分抽出部10と、音質推定部20と、処理制御部30と、高音質化処理部40と、複数チャネル生成部50と、を具備する。本実施形態では、高周波数方向への帯域拡張を行うものとして説明する。
【0017】
前記共通成分・非共通成分抽出部10は、複数の入力チャネルの信号in[n,k](k=1,…,Kin: Kinは入力チャネルの総数、nは時刻)を入力とし、複数の入力チャネルに共通に含まれる共通成分Mi[n]を抽出し、且つ、複数の入力チャネルに共通しない非共通成分Si[n,k](k=1,…,Kin−1)を抽出する。ここで、信号in[n,k]は、すべてのチャネルでサンプリング周波数48kHzであるとする。
【0018】
前記音質推定部20は、時々刻々と変化する可能性もある入力信号に対して、時変に追従してリアルタイムで、有音区間、制限周波数(本実施形態では、高周波数方向への帯域拡張を行うものとするため、以降では上限周波数として説明する。)、帯域拡張既処理であるか否か、ステレオ性度合い、有効チャネル数、残響度合い、雑音度合いを推定して算出する。音質推定部20は、有音・無音判定部20aと、上限周波数検出部20bと、帯域拡張既処理検出部20cと、有効チャネル検出部20dと、残響度合推定部20eと、SNR推定部20fと、を有する。
【0019】
前記有音・無音判定部20aは、前記共通成分・非共通成分抽出部10により抽出された共通成分Mi[n]及び非共通成分Si[n,k]について、信号成分が存在するか否か(音声が存在するか否か)を検出する。
【0020】
前記帯域拡張既処理検出部20cは、前記共通成分・非共通成分抽出部10により抽出された共通成分Mi[n]及び非共通成分Si[n,k]について、既に信号帯域拡張処理が施されているか否かを検出する。
【0021】
図3を用いて帯域拡張既処理検出部20cの動作を説明する。具体的には、特定周波数近傍のパワースペクトルが大きく減衰しているか否かを検出する。例えば、図3に示すように特定周波数11kHzなどにおいて、パワースペクトルが所定の閾値以下になるような極小値となっているかどうかを調べることで検出する。ここで、特定周波数近傍のパワースペクトルが大きく減衰して所定の閾値以下である極小値となっている場合のみ、既処理(信号帯域拡張処理済み)であると判断する。図3では、0〜11kHzまでが本来有している周波数帯域であり、11kHzが上限周波数であり、11kHz以上は既処理(信号帯域拡張処理済み)によって帯域拡張されたと判断する。ここで、既処理(信号帯域拡張処理済み)であると判断された信号は、本来有している上限周波数よりも高い上限周波数を有している。
【0022】
なお、前記特定周波数は、当該信号帯域拡張処理を施したソフトウェアによって異なるため、単数でも複数個でもよく、事前に設定しておく。
【0023】
前記上限周波数検出部20bは、前記共通成分・非共通成分抽出部10により抽出された共通成分Mi[n]及び非共通成分Si[n,k]について、帯域拡張既処理検出部20cの検出結果を用いて、上限周波数を検出する。
【0024】
図2を用いて上限周波数検出部20bの動作を説明する。帯域拡張既処理検出部20cの検出結果で既処理(信号帯域拡張処理済み)でないと判断されたときは、前記上限周波数検出部20bは、共通成分Mi[n]及び非共通成分Si[n,k]について、例えばFFT(Fast Fourier Transform ;FFT;高速フーリエ変換)アナライザ等により、パワースペクトル(信号のパワーを一定の周波数帯域毎に分割し、各帯域のパワーを周波数の関数として表したもの)を求め、且つ、該パワースペクトルを解析して所定の閾値と大小判定することで、上限周波数を検出する。また、帯域拡張既処理検出部20cの検出結果で既処理(信号帯域拡張処理済み)であると判断されたときは、帯域拡張既処理検出部20cで用いた特定周波数を上限周波数とする。
【0025】
例えば、パワースペクトルを周波数が高い方から低い方へ解析していく場合、当該信号のパワースペクトルが所定の閾値以上になる起点を上限周波数として検出する。また、上限周波数を検出する際に連続的ではなく、離散的にパワースペクトルを調べてもよいし、ある特定の周波数のパワースペクトルを調べてもよい。図2に示した例では、離散的に1kHz単位でパワースペクトルを調べるとしており、パワースペクトルと所定の閾値との大小関係から、上限周波数は16kHzであるとし、本来有している周波数帯域は0〜16kHzまでであるとしている。さらに、入力される信号が符号化され復号化されていた信号である場合には、コーデックにおけるサンプリング周波数を予想して、8、16、22.05、32、44.1kHzなどの特定の周波数のパワースペクトルを調べることで上限周波数を検出することができる。このように、離散的にパワースペクトルを調べることで処理量を減らすことができる。一方で、図3に示した例では、0〜11kHzまでが本来有している周波数帯域であり、11kHzが上限周波数であり、11kHz以上は既処理(信号帯域拡張処理済み)によって帯域拡張されたと判断する。
【0026】
なお、以降では、高周波数方向への帯域拡張を対象とするが、低周波数方向への帯域拡張にも適用できる。低周波数方向へ帯域拡張を施す場合には、パワースペクトルを周波数が低い方から高い方へ解析していき、当該信号のパワースペクトルが所定の閾値以下になる起点を下限周波数として検出し、下限周波数を用いて高音質化処理を行う。
【0027】
なお、この上限周波数検出部20bによる上限周波数の検出処理は、常時行い続ける必要はなく、間欠的に行えばよい。また、上限周波数検出部20bによる上限周波数の検出処理に用いるパワースペクトルは、瞬時的ではなく所定の時間の平均値を用いてもよいし、有音・無音判定部20aによって有音区間と判定された区間の所定の時間の平均値を用いてもよい。
【0028】
前記有効チャネル検出部20dは、前記共通成分・非共通成分抽出部10により抽出された共通成分Mi[n]及び非共通成分Si[n,k]に基づいて、どれだけステレオ性が強いかのステレオ性度合いを求めて、そのステレオ性度合いに応じて、前記複数の入力チャネルから有効な入力チャネルを検出する。
【0029】
具体的にステレオ性度合いは、各入力チャネル間の相関に基づいて(例えば各チャネル間の信号の相関係数を算出したり、各チャネルからすべての2つのチャネルの組み合わせについて2つのチャネル間での信号の差分をとったりする)表現するとして、冗長性の無い入力チャネルの信号を検出する。例えば、入力チャネルがL信号とR信号から成る2チャネルのステレオ信号であっても、L信号とR信号とが同じ信号である場合には、一方の入力チャネルからの信号は冗長であると検出する。
【0030】
前記残響度合推定部20eは、上限周波数検出部20bによる上限周波数検出結果と、有効チャネル検出部20dによる有効チャネル検出結果と、に基づいて、信号成分が存在する入力チャネル・周波数帯域の残響度合いを検出する。具体的には、残響度合推定部20eは、例えば特開2007−65204のような公知の残響抑圧処理技術を用いて、残響時間毎の残響パワーあるいは残響パワースペクトルを検出する。
【0031】
前記SNR推定部20fは、上限周波数検出部20bによる上限周波数検出結果と、有効チャネル検出部20dによる有効チャネル検出結果と、に基づいて、公知の雑音推定技術を用いて、信号成分が存在する入力チャネル・周波数帯域のSNR(Signal−to−Noise Ratio;雑音度合い)を検出する。換言すれば、SNR推定部20fは、雑音区間において推定検出処理を行い、当該雑音のパワーあるいは雑音のパワースペクトルを検出する。例えば、前記SNR推定部20fは、有効チャネルが2チャネルの場合は、1チャネルずつ2回の前記処理を行う。
【0032】
前記処理制御部30は、音質推定部20による音質推定結果に基づいて、高音質化処理部40を制御する。この処理制御部30による制御は、本一実施形態に係る信号処理装置の主な特徴部の一つであり、後に詳述する。
【0033】
前記高音質化処理部40は、信号帯域拡張処理部40aと、周波数特性変更部40bと、残響抑圧処理部40cと、音量制御部40dと、雑音抑圧処理部40eの少なくともいずれか1つを有し、入力されてくる信号(ここでは共通成分Mi[n]及び非共通成分Si[n,k])をより高音質な信号にする処理をする。
【0034】
前記信号帯域拡張処理部40aは、1フレーム単位で前記共通成分Mi[n]に公知の帯域拡張処理を施す。
【0035】
前記周波数特性変更部40bは、前記共通成分Mi[n]や非共通成分Si[n,k]について、周波数領域でパワー制御する(パワースペクトルを制御する)ことで周波数特性を変更する。換言すれば、前記周波数特性変更部40bは、パワースペクトルを制御して周波数特性を補正する処理や公知のイコライザー(Equalizer)と同様の処理を行う。
【0036】
前記残響抑圧処理部40cは、残響度合推定部20eにより検出された残響時間毎の残響パワーあるいは残響パワースペクトルに基づいて、例えば特開2007−65204のような公知の残響抑圧処理を行い、共通成分Mi[n]及び非共通性分Si[n,k]に含まれている残響成分を抑圧処理する。
【0037】
前記音量制御部40dは、公知の技術を用いて、音量補正処理を行う。具体的には、音量制御部40dは、信号帯域拡張処理部40aにより帯域拡張されることに伴って増加してしまった音量の補正処理を行う。つまり、上限周波数検出部20bによって検出された上限周波数を用いて動的に入力信号の音量を算出し、信号帯域拡張処理部40aにより帯域拡張された信号の音量を算出してそれを入力信号の音量に揃える処理を行う。
【0038】
前記雑音抑圧処理部40eは、SNR推定部20fにより検出された雑音のパワーあるいは雑音のパワースペクトルに基づいて、共通成分Mi[n]及び非共通性分Si[n,k]に含まれている雑音成分を抑圧処理する。換言すれば、前記雑音抑圧処理部40eは、例えば特開2008−309955のような公知のノイズキャンセラ(Noise Canceller)と同様の処理を行う。
【0039】
前記複数チャネル生成部50は、高音質化処理部40により高音質化処理を施された共通信号Mi[n]及び非共通信号Si[n,k]に基づいて、Kinチャネルの出力信号in´[n,k](k=1,…,Kin: Kinは入力チャネルの総数、nは時刻)を生成して入力信号の形式に戻して出力する。
【0040】
本一実施形態に係る信号処理装置1では、音質推定部20により音質推定を行い、その推定結果に基づいて、高音質化処理部40による処理を最適化する制御をリアルタイムに行う。この際に、信号処理装置1では、音質推定部20により音質推定を行い、その推定結果に基づいて、処理制御部30においてチャネル・周波数帯域ごとに高音質化処理40の動作設定を制御する。以下、本一実施形態に係る信号処理装置1の処理制御部30による特有の処理について、例を挙げて詳細に説明する。
【0041】
《制御例》
具体的には、例えば、次のような制御を挙げることができる。
【0042】
・帯域拡張既処理検出部20cにより既に帯域拡張処理されていると判断された場合、信号帯域拡張処理部40aにより信号帯域拡張処理を行う前に、既に信号帯域拡張処理により帯域拡張された帯域の周波数成分を除去処理させた上で、改めて信号帯域拡張処理を行わせる。
【0043】
・有音・無音判定手段により無音であると判定されている時間帯については、高音質化処理部40による処理を行わせない。
【0044】
・有効チャネル検出部20dにより有効な入力チャネルであるとして検出された入力チャネルの入力信号のみを、前記高音質化処理部40に処理させる。
【0045】
・有効チャネル検出部20dによるステレオ性度合いに応じて前記高音質化処理部40における処理を適応的に変化させる。
【0046】
・入力チャネルが2チャネルでステレオ信号が入力された場合であって、有効チャネル検出部20dによりL信号とR信号とが同一の信号であることが検出された場合、非共通成分Si[n,k]についての処理を行わせない。
【0047】
・周波数特性変更部40bによる処理は、上限周波数検出部20bにより検出された上限周波数を参照し、この上限周波数帯域までの帯域についてのみ行わせる。
【0048】
・上限周波数検出部20bにより検出された上限周波数に基づいて、信号帯域拡張処理部40aにより信号帯域拡張処理する帯域幅を動的に変更する制御を行う。
【0049】
・上限周波数検出部20bにより検出された上限周波数に基づいて、残響度合推定部20eで検出する残響時間毎の残響パワーあるいは残響パワースペクトルを求める帯域幅と、残響抑圧処理部40cで残響成分を抑圧処理する帯域幅を動的に変更する制御を行う。
【0050】
・上限周波数検出部20bにより検出された上限周波数に基づいて、SNR推定部20fで検出する雑音のパワーあるいは雑音のパワースペクトルを求める帯域幅と、雑音抑圧処理部40eで雑音成分を抑圧処理する帯域幅を動的に変更する制御を行う。
【0051】
・上限周波数検出部20bにより検出された上限周波数に基づいて、信号帯域拡張処理部40aにより帯域拡張されることに伴って増加してしまった音量の音量制御部40dにおける補正処理を動的に変更する制御を行う。
【0052】
・信号帯域拡張処理部40aによって、共通成分Mi[n]について信号帯域拡張処理し、該処理によって生成した拡張帯域における信号を利用して、非共通成分Si[n,k]の帯域を拡張する処理を行う。
【0053】
以下、高音質化処理部40における信号帯域拡張処理部40aに係る一連の処理を、図4を参照して詳細に説明する。図4は、図1に示す高音質化処理部40の信号帯域拡張処理部40aを具体化した(説明の便宜上、他の処理部については図示を省略)、本一実施形態に係る信号処理装置の一構成例を示す図である。
【0054】
なお、図4に示す構成例においては、説明の便宜上、ステレオ入力を想定して入力チャネル数を2チャネルとしている。従って、共通成分・非共通成分抽出部10には、L[n]信号及びR[n]信号が入力される。
【0055】
図4に示すように、信号帯域拡張処理部40aは、バンドパスフィルタ41,45と、ダウンサンプリング処理部42と、帯域拡張処理部43と、信号加算部44,48と、フィルタ(中域)46と、フィルタ(高域)47と、フィルタ(中・高域)49と、を備える。
【0056】
ここで“中域”とは、入力される信号に含まれている周波数帯域のことを意味する。また、“高域”とは、信号帯域拡張処理部40aによって拡張されて生成された高い周波数帯域のことを意味する。そして、“中・高域”は、その両方を含む周波数帯域のことを意味する。これ以降そのように表現するものとする。例えば、入力される信号がサンプリング周波数48kHzで0〜11kHzに周波数成分が存在していれば、“中域”は0〜11kHzとなる。そして例えば、信号帯域拡張処理部40aによって、0〜22kHzに周波数成分が存在するように帯域拡張されたならば、“高域”は11〜22kHzとなり、“中・高域”は0〜22kHzとなる。
【0057】
前記バンドパスフィルタ41は、共通成分Mi[n]について、音質推定部20の帯域拡張既処理検出部20cによる検出結果あるいは上限周波数検出部20bにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。
【0058】
前記ダウンサンプリング処理部42は、バンドパスフィルタ41から出力された共通成分Mi[n]について、帯域拡張処理部43による解析に伴う処理量を軽減する為にダウンサンプリング処理を行う。例えば、ダウンサンプリング処理部42は、サンプリング周波数を半減させる等の処理を行う。
【0059】
なお、このダウンサンプリング処理部42による処理においては、音質推定部20の上限周波数検出部20bにより検出された上限周波数程度まで、サンプリング周波数を低減させてよい。また、ダウンサンプリング処理部42におけるダウンサンプリング後のサンプリング周波数を、上限周波数検出部20bにより検出された上限周波数に基づいて動的に変更してもよい。
【0060】
前記帯域拡張処理部43は、主として次の処理を行い、帯域拡張された高域の周波数成分のみを有する信号を出力する。
【0061】
・公知の高域へ拡張する信号帯域拡張処理。
【0062】
・ダウンサンプリング処理部42にて低減されたサンプリング周波数を元のサンプリング周波数に戻す為のアップサンプリング処理。
【0063】
・信号帯域拡張処理によって帯域拡張された周波数帯域以外の帯域の周波数成分を除去する為の(帯域拡張された周波数帯域の成分のみを出力させる為の)ハイパスフィルタ処理。
【0064】
前記信号加算部44は、帯域拡張処理部43からの出力(共通成分Mi[n]における帯域拡張された帯域の成分)と、バンドパスフィルタ41からの出力(既に帯域拡張された帯域の周波数成分が除去され、且つ、直流成分が除去された共通成分Mi[n])と、を加算する処理を行う。
【0065】
前記バンドパスフィルタ45は、非共通成分Si[n,k]について、音質推定部20の帯域拡張既処理検出部20cによる検出結果あるいは上限周波数検出部20bにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。
【0066】
前記フィルタ(高域)47は、帯域拡張処理部43からの出力(共通成分Mi[n]における帯域拡張された周波数帯域成分)について、位相成分をランダムにしたり、片チャネルを遅延させたり、無相関化するフィルタを乗じたりする擬似ステレオ化処理を行うことで、高域信号の波形を変形させて、帯域拡張処理部43から出力される信号と無相関な信号を生成する。
【0067】
前記フィルタ(中域)46は、バンドパスフィルタ45により処理された非共通成分Si[n,k]の中域信号について、所定のフィルタ処理を行うことで、中域信号の波形を変形させ、後述する信号加算部48でフィルタ(高域)47の出力信号と加算した際に周波数方向での帯域成分におけるステレオ性についての連続性と整合性がとれるようにする。
【0068】
前記信号加算部48は、フィルタ(中域)46からの出力(フィルタ処理された非共通成分Si[n,k])と、フィルタ(高域)47からの出力(フィルタ処理された拡張帯域成分)と、を加算する処理を行う。従って、この信号加算部48による処理で、帯域拡張された非共通成分Si[n,k]が生成される。
【0069】
前記フィルタ(中・高域)49は、信号加算部48からの出力(帯域拡張された非共通成分Si[n,k])について、擬似ステレオ化処理を行うことで、中・高域信号の波形を変形させ、信号加算部44から出力される信号と無相関な信号を生成する。
【0070】
このようにして、前記フィルタ(中域)46、前記フィルタ(高域)47、及び前記フィルタ(中・高域)49においてフィルタ処理をすることで、当該信号処理装置1からの出力信号(特に帯域拡張された帯域)においてもステレオ性を付加することができる。
【0071】
なお、当該信号処理装置1からの出力信号にステレオ性を付加する為の構成は、前記フィルタ(中域)46、前記フィルタ(高域)47、及び前記フィルタ(中・高域)49に限られず、他の形態でフィルタ手段を設ける構成にしても勿論よい。
【0072】
また、有効チャネル検出部20dによるステレオ性度合いに応じて、共通成分Mi[n]に対してのみ帯域拡張処理を行う構成、共通成分Mi[n]に対して帯域拡張処理し共通成分Mi[n]における帯域拡張された帯域の成分を非共通成分Si[n,k]にも流用する前述の構成、共通成分Mi[n]と非共通成分Si[n,k]の両方に対して帯域拡張処理を行う構成を適応的に変化させてもよい。
【0073】
なお、入力チャネルが2チャネルでステレオ信号が入力された場合であって、有効チャネル検出部20dによりL信号とR信号とが同一の信号であることが検出され、有効チャネルが1チャネルであると判定された区間や入力信号に対しては、非共通成分Si[n,k]については前記高音質化処理部40による処理を行わせないように、処理制御部30によって制御する。このようにするために処理制御部30は、バンドパスフィルタ45、フィルタ(中域)46、フィルタ(高域)47、信号加算部48、フィルタ(中・高域)49の処理を行わないように制御し、複数チャネル生成部50において非共通成分Si[n,k]を0にして処理をするように制御する。
【0074】
以上説明したように、本一実施形態によれば、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に信号帯域拡張処理を行うことができる信号処理装置を提供することができる。
【0075】
具体的には、本一実施形態に係る信号処理装置によれば、例えば次のような効果を奏する。
【0076】
・入力信号の音質を音質推定部20によりリアルタイムに推定して、音質に合わせた高音質化処理を高音質化処理部40によって施して出力する為、例えば入力信号に係るコンテンツによって上限周波数が異なる場合や入力信号における上限周波数が時間帯によって異なる場合であっても、効率的且つ効果的な高音質化処理である帯域拡張処理を行い、高音質での再生が可能となる。
【0077】
・入力信号に係るコンテンツの音質を示す情報が入力信号に付与されていない場合であっても、当該信号処理装置1自身でリアルタイムに音質を推定して高音質処理することが可能となる。
【0078】
・音質推定部20により入力信号の有効チャネルや上限周波数を推定することで、冗長なチャネルや周波数成分がない周波数帯域における無駄な高音質化処理を行わない為、従来技術に比べて処理量を大きく削減することができ、結果として処理時間の短縮化が実現する。
【0079】
・上述した処理が可能となる為、ハードウェアの構成自由度が上がり、音質も向上させることができる。
【0080】
さらに言えば、本一実施形態に係る信号処理装置によれば、高音質化処理である帯域拡張処理を行う際に、帯域拡張された帯域においてもステレオ性を維持すること(付加すること)ができる、という更なる格別な効果を奏する。
【0081】
以上、一実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で、種々の変形及び応用が可能なことは勿論である。
【0082】
例えば、図4に示す一構成例は、次のように変形することができる。
【0083】
[第1変形例]
以下、本第1変形例に係る信号処理装置について説明する。説明の重複を避ける為、前記一実施形態に係る信号処理装置との相違点を説明する。
【0084】
図5は、本第1変形例に係る信号処理装置の構成を示す図である。同図に示すように、信号処理装置1は、共通成分抽出部100と、音質推定部20と、処理制御部30と、バンドパスフィルタ401,403,405と、フィルタ(中域)402と、信号加算部404と、フィルタ(中域)406と、ダウンサンプリング処理部407と、帯域拡張処理部408と、複数チャネル生成部50と、フィルタ(中・高域)601と、フィルタ(中・高域)602と、を具備する。
【0085】
前記共通成分抽出部100は、入力信号であるL[n]信号とR[n]信号との共通成分C[n]を抽出する。例えば、C[n]=(L[n]+R[n])÷2=0.5L[n]+0.5R[n]として求める。
【0086】
前記音質推定部20は、図4に示す音質推定部20と同様の処理を行う。
【0087】
前記処理制御部30は、図4に示す処理制御部30と同様の処理を行う。
【0088】
前記バンドパスフィルタ401は、入力信号L[n]について、音質推定部20の帯域拡張既処理検出部20cによる検出結果あるいは上限周波数検出部20bにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。
【0089】
前記フィルタ(中域)402は、バンドパスフィルタ401の出力について、所定のフィルタ処理を行うことで、中域信号の波形を変形させ、後述する信号加算部506で後述するフィルタ(中・高域)504の出力信号と加算した際に周波数方向での帯域成分におけるステレオ性についての連続性と整合性がとれるようにする。
【0090】
前記バンドパスフィルタ405は、入力信号R[n]について、音質推定部20の帯域拡張既処理検出部20cによる検出結果あるいは上限周波数検出部20bにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。
【0091】
前記フィルタ(中域)406は、バンドパスフィルタ405の出力について、所定のフィルタ処理を行うことで、中域信号の波形を変形させ、後述する信号加算部507で後述するフィルタ(中・高域)505の出力信号と加算した際に周波数方向での帯域成分におけるステレオ性についての連続性と整合性がとれるようにする。
【0092】
前記バンドパスフィルタ403は、入力信号L[n]とR[n]との共通成分であるC[n]について、音質推定部20の帯域拡張既処理検出部20cによる検出結果あるいは上限周波数検出部20bにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。
【0093】
前記ダウンサンプリング処理部407は、バンドパスフィルタ403から出力された共通成分C[n]について、帯域拡張処理部408による解析処理を軽減する為にダウンサンプリング処理を行う。例えば、ダウンサンプリング処理部407は、サンプリング周波数を半減させる等の処理を行う。
【0094】
なお、このダウンサンプリング処理部407による処理においては、音質推定部20の上限周波数検出部20bにより検出された上限周波数程度まで、サンプリング周波数を低減させてよい。また、ダウンサンプリング処理部42におけるダウンサンプリング後のサンプリング周波数を、上限周波数検出部20bにより検出された上限周波数に基づいて動的に変更してもよい。
【0095】
前記帯域拡張処理部408は、主として次の処理を行う。
【0096】
・公知の高域へ拡張する信号帯域拡張処理。
【0097】
・ダウンサンプリング処理部407にて低減されたサンプリング周波数を元のサンプリング周波数に戻す為のアップサンプリング処理。
【0098】
・信号帯域拡張処理によって帯域拡張された周波数帯域以外の帯域の周波数成分を除去する為の(帯域拡張された周波数帯域の成分のみを出力させる為の)ハイパスフィルタ処理
前記信号加算部404は、帯域拡張処理部408からの出力と、バンドパスフィルタ403からの出力(共通成分C[n]における帯域拡張された帯域の成分)と、を加算する処理を行う。これにより信号帯域拡張処理された共通成分C´[n]が生成される。
【0099】
前記複数チャネル生成部50は、振幅制御部501,503と、信号加算部502,504と、フィルタ(中・高域)505,506と、を備える。
【0100】
前記振幅制御部501は、入力された信号のパワーを制御するために、その信号について振幅にゲインαを掛ける。具体的には、L´[n]=α×L[n]+C[n]=(0.5+α)×L[n]+0.5R[n]で示される処理を行い、L´[n]を算出して出力する。
【0101】
前記振幅制御部503は、入力された信号のパワーを制御するために、その信号について振幅にゲインβを掛ける。具体的には、R´[n]=β×R[n]+C[n]=0.5L[n]+(0.5+β)×R[n]で示される処理を行い、R´[n]を算出して出力する。
【0102】
なお、α=β=0に設定すると、入力信号はモノラル信号となる。従って、α及びβを0でない値に設定し、上述したように前記振幅制御部501ではゲインαを用いて、前記振幅制御部503ではゲインβを用いることで、出力信号であるL´[n]及びR´[n]のステレオ性の度合いを制御することができる。なお、これら振幅制御部501,503におけるステレオ性の度合いの制御は、帯域拡張されていない周波数帯域におけるステレオ性の度合いの制御を行っている。
【0103】
前記フィルタ(中・高域)504,505は、信号帯域拡張処理された共通成分C[n]であるC´[n]について、それぞれ別個の擬似ステレオ化処理を行うことで、中・高域信号の波形を変形させ、フィルタ(中・高域)504の出力とフィルタ(中・高域)505の出力とを無相関化させる。
【0104】
前記信号加算部506は、振幅制御部501の出力と、フィルタ(中・高域)504の出力と、を加算する処理を行う。すなわち、L´[n]と、信号帯域拡張処理され擬似ステレオ化処理された共通成分C´[n]とを加算する処理を行う。
【0105】
前記信号加算部507は、振幅制御部503の出力と、フィルタ(中・高域)505の出力と、を加算する処理を行う。すなわち、R´[n]と、信号帯域拡張処理され擬似ステレオ化処理された共通成分C´[n]とを加算する処理を行う。
【0106】
前記フィルタ(中・高域)601は信号加算部506の出力L´[n]について、前記フィルタ(中・高域)602は信号加算部507の出力R´[n]について、それぞれ別個の擬似ステレオ化処理を行うことで、中・高域信号の波形をそれぞれ変形させ、フィルタ(中・高域)601の出力とフィルタ(中・高域)602の出力とを無相関化させて出力する。
【0107】
このようにして、前記フィルタ(中域)402、前記フィルタ(中域)406、前記フィルタ(中・高域)504、前記フィルタ(中・高域)505、前記フィルタ(中・高域)601、及び、前記フィルタ(中・高域)602は、当該信号処理装置1からの出力信号(特に帯域拡張された帯域)においてもステレオ性を付加することができる。
【0108】
なお、当該信号処理装置1からの出力信号にステレオ性を付加する為の構成は、図5に示す構成に限られず、他の形態でフィルタ手段を設ける構成にしても勿論よい。
【0109】
なお、入力チャネルが2チャネルでステレオ信号が入力された場合であって、有効チャネル検出部20dによりL信号とR信号とが同一の信号であることが検出され、有効チャネルが1チャネルであると判定された区間や入力信号に対しては、処理制御部30によって、バンドパスフィルタ401、バンドパスフィルタ405の処理を行わないように制御し、複数チャネル生成部50において振幅制御部501と振幅制御部503でα=β=0としてフィルタ(中・高域)601の出力とフィルタ(中・高域)602の出力とを同じにするように制御する。
【0110】
以上説明したように、本第1変形例によれば、前記一実施形態に係る信号処理装置と同様の効果を奏する信号処理装置を提供することができる。
【0111】
[第2変形例]
以下、本第2変形例に係る信号処理装置について説明する。説明の重複を避ける為、前記第1変形例に係る信号処理装置との相違点を説明する。
【0112】
図6は、本第2変形例に係る信号処理装置の構成を示す図である。同図に示すように、信号処理装置1は、共通成分抽出部100と、音質推定部20と、処理制御部30と、バンドパスフィルタ401,403,405と、フィルタ(中域)402と、フィルタ(中域)406と、ダウンサンプリング処理部407と、帯域拡張処理部408と、複数チャネル生成部50と、フィルタ(中・高域)601と、フィルタ(中・高域)602と、を具備する。
【0113】
第1変形例に係る信号処理装置と、本第2変形例に係る信号処理装置と、の主な相違点は、共通成分抽出部100により抽出された共通成分C[n]における帯域拡張処理されていない周波数帯域成分の信号を、その後の処理において利用するか否かである。本第2変形例に係る信号処理装置では利用しない。その際、帯域拡張処理部408から出力される帯域拡張処理された周波数帯域成分の信号をC´´[n]とする。
【0114】
前記複数チャネル生成部50は、フィルタ(高域)514,515と、信号加算部516,517と、を備える。
【0115】
前記帯域拡張処理部408の出力C´´[n]は、複数チャネル生成部50におけるフィルタ(高域)514,515に入力される。
【0116】
前記フィルタ(高域)514,515は、帯域拡張処理部408の出力について、擬似ステレオ化処理を行うことで、高域信号の波形を変形させ、帯域拡張処理部408から出力される信号と無相関な信号を別個に生成する。ここで、フィルタ(高域)514の出力とフィルタ(高域)515の出力とは、極力無相関であることが望ましい。
【0117】
前記信号加算部516は、フィルタ(中域)402の出力と、フィルタ(高域)514の出力と、を加算する処理を行う。これにより、信号帯域拡張処理されたL[n]信号であるL´[n]信号が生成される。
【0118】
前記信号加算部517は、フィルタ(中域)406の出力と、フィルタ(高域)515の出力と、を加算する処理を行う。これにより、信号帯域拡張処理されたR[n]信号であるR´[n]信号が生成される。
【0119】
なお、入力チャネルが2チャネルでステレオ信号が入力された場合であって、有効チャネル検出部20dによりL信号とR信号とが同一の信号であることが検出され、有効チャネルが1チャネルであると判定された区間や入力信号に対しては、処理制御部30によって、バンドパスフィルタ401あるいはバンドパスフィルタ405のいずれか一方の処理を行わないように制御し、複数チャネル生成部50においてフィルタ(中・高域)601の出力とフィルタ(中・高域)602の出力とを同じにするように制御する。
【0120】
以上説明したように、本第2変形例によれば、前記第1変形例に係る信号処理装置と同様の効果を奏する信号処理装置を提供することができる。
【0121】
[第3変形例]
以下、本第3変形例に係る信号処理装置について説明する。説明の重複を避ける為、前記第1変形例に係る信号処理装置との相違点を説明する。
【0122】
図7は、本第3変形例に係る信号処理装置の構成を示す図である。同図に示すように、信号処理装置1は、共通成分抽出部100と、音質推定部20と、処理制御部30と、バンドパスフィルタ401,403,405と、フィルタ(中域)406と、ダウンサンプリング処理部407と、帯域拡張処理部408と、複数チャネル生成部50と、を具備する。
【0123】
本第3変形例に係る信号処理装置では、帯域拡張処理した帯域成分に、ステレオ性を備えさせないで、帯域拡張されていない帯域(当初より信号が存在する帯域)の信号についてのみステレオ性を備える。従って、当該装置全体として処理量を軽減することができる。
【0124】
前記複数チャネル生成部50は、振幅制御部501,503と、信号加算部521,522と、を備える。
【0125】
前記信号加算部521は、信号加算部404の出力である信号帯域拡張処理された共通成分C´[n]と、振幅制御部501の出力(バンドパスフィルタ401により処理されたL[n])と、を加算する処理を行う。これにより、帯域拡張されていない帯域(当初より信号が存在する帯域)の信号についてのみステレオ性を備えるL´´[n]が生成される。
【0126】
前記信号加算部522は、信号加算部404の出力である帯域拡張された共通成分信号C´[n]と、振幅制御部503の出力(バンドパスフィルタ405により処理されたR[n])と、を加算する処理を行う。これにより、帯域拡張されていない帯域(当初より信号が存在する帯域)の信号についてのみステレオ性を備えるR´[n]が生成される。
【0127】
なお、入力チャネルが2チャネルでステレオ信号が入力された場合であって、有効チャネル検出部20dによりL信号とR信号とが同一の信号であることが検出され、有効チャネルが1チャネルであると判定された区間や入力信号に対しては、処理制御部30によって、バンドパスフィルタ401あるいはバンドパスフィルタ405のいずれか一方の処理を行わないように制御し、複数チャネル生成部50において信号加算部521の出力と信号加算部522の出力とを同じにするように制御する。
【0128】
以上説明したように、本第3変形例によれば、帯域拡張された帯域の信号についてはステレオ性を備えていないが、第1変形例に係る信号処理装置よりも処理量を軽減させた信号処理装置を提供することができる。
【0129】
[第4変形例]
ところで、上述した一実施形態及び第1変形例〜第3変形例に係る信号処理装置は、例えば図8に示すような通信装置(例えば携帯端末装置)に適用することができる。
【0130】
図8は、一実施形態及び第1変形例〜第3変形例に係る信号処理装置が適用された通信装置の構成を示す図である。同図に示す通信装置は、例えば携帯電話などの無線通信装置の受信系を示すものであって、無線通信部150と、デコーダ200と、一実施形態及び第1変形例〜第3変形例のうち何れかに係る信号処理装置1と、D/A変換器400と、を具備する。
【0131】
前記無線通信部150は、移動通信網に収容される無線基地局と無線通信し、そしてこの無線基地局および移動通信網を通じて通信相手局との間に通信リンクを確立して通信する。
【0132】
前記デコーダ200は、無線通信部1が通信相手局から受信した受信データを、事前に決められた単位(1フレーム=Nサンプル)ごとに復号して、ディジタルの受話信号x[n](n=0,1,・・・N−1)を得る。ただし、この受信データのサンプリング周波数はfs[Hz]とする。このようにして得られたディジタル信号は、フレーム単位で信号処理装置1に出力される。
【0133】
信号処理装置1は、上述した高音質化する信号処理を、例えば1フレーム単位で前記受話信号(x[0]〜x[N−1])に施す。
【0134】
前記D/A変換器400は、前記信号処理された受話信号y[n]をアナログ信号y(t)に変換して、スピーカ500に出力する。スピーカ500は、前記アナログ信号に基づく音声信号を音響空間へ拡声出力する。
【0135】
以上説明したように、本第4変形例によれば、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に高音質化する信号処理を行うことができる携帯端末装置を提供することができる。
【0136】
さらに、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【0137】
1…信号処理装置、 150…無線通信部、 200…デコーダ、 400…A/D変換器、 500…スピーカ、 10…共通成分・非共通成分抽出部、 20…音質推定部、 20a…有音・無音判定部、 20b…上限周波数検出部、 20c…帯域拡張既処理検出部、 20d…有効チャネル検出部、 20e…残響度合推定部、 20f…SNR推定部、 30…処理制御部、 40…高音質化処理部、 40a…信号帯域拡張処理部、 40b…周波数特性変更部、 40c…残響抑圧処理部、 40d…音量制御部、 40e…雑音抑圧処理部、 41…バンドパスフィルタ、 42…ダウンサンプリング処理部、 43…帯域拡張処理部、 44,48…信号加算部、 44…信号加算部、 45…バンドパスフィルタ、 46…フィルタ、 47…フィルタ、 48…信号加算部、 49…フィルタ、 50…複数チャネル生成部、 100…共通成分抽出部、 401,403…バンドパスフィルタ、 402…フィルタ、 404…信号加算部、 405…バンドパスフィルタ、 406…フィルタ、 407…ダウンサンプリング処理部、 408…帯域拡張処理部、 501,503…振幅制御部、 502,504…信号加算部、 504,505…フィルタ、 506,507…信号加算部、 514,515…フィルタ、 516,517…信号加算部、 521,522…信号加算部、 601…フィルタ、 602…フィルタ。

【特許請求の範囲】
【請求項1】
入力信号に対して高音質化処理を施す高音質化処理部と、
前記入力信号の音質を推定する音質推定部と、
前記音質推定部による推定結果に基づいて、前記高音質化処理部を制御する制御部と、
を具備することを特徴とする信号処理装置。
【請求項2】
前記音質推定部は、前記入力信号から検出した制限周波数を音質として推定し、
前記制御部は、前記音質推定部により検出された制限周波数を参照し、該制限周波数帯域までの帯域についてのみ、前記高音質化処理部に高音質化処理させる制御を行うことを特徴とする請求項1に記載の信号処理装置。
【請求項3】
前記音質推定部は、入力信号から間欠的にパワースペクトルを算出し、該パワースペクトルを解析することにより制限周波数を検出することを特徴とする請求項2に記載の信号処理装置。
【請求項4】
前記音質推定部は、前記入力信号に対して既に信号帯域拡張処理が施されているか否かを考慮して、信号帯域拡張処理が施されていない制限周波数を取得することを特徴とする請求項2に記載の信号処理装置。
【請求項5】
前記音質推定部は、前記入力信号からパワースペクトルを算出し、該パワースペクトルにおける特定周波数近傍の帯域成分が欠落しているか否かを検出することにより、既に帯域拡張処理が施されているか否かを検出することを特徴とする請求項4に記載の信号処理装置。
【請求項6】
前記入力信号は複数の入力信号チャネルから成る信号であって、
前記制御部は、前記複数の入力信号チャネルのうち有効な入力チャネルの信号に対して高音質化処理部による高音質化処理を行うよう制御する請求項2に記載の信号処理装置。
【請求項7】
前記入力信号は複数の入力信号チャネルから成る信号であって、
前記複数の入力信号に共通する共通成分と前記複数の入力信号に共通しない非共通成分とを抽出する抽出部を更に有し、
前記高音質化処理部は、前記抽出部により抽出された共通成分に対して信号帯域拡張処理を施し、該信号帯域拡張処理により帯域拡張した帯域の信号を、前記非共通成分にも適用することを特徴とする請求項2に記載の信号処理装置。
【請求項8】
前記高音質化処理部は、前記共通成分に対して信号帯域拡張処理により帯域拡張した帯域の信号に擬似ステレオ化を施したうえで、前記比共通成分に適用することを特徴とする請求項7に記載の信号処理装置。
【請求項9】
前記高音質化処理は、信号帯域拡張処理、音量制御処理、周波数特性変更処理、残響抑圧処理、及び雑音抑圧処理の少なくともいずれか一つを含むことを特徴とする請求項1に記載の信号処理装置。
【請求項10】
移動通信網に収容される無線基地局と無線通信し、前記無線基地局及び前記移動通信網を通じて通信相手局との間に通信リンクを確立して通信する無線通信部と、
前記無線通信部により前記通信相手局から受信した受信データを復号して、ディジタル信号を取得するデコーダ部と、
前記デコーダ部から出力されたディジタル信号を複数のチャネルから入力して信号帯域を拡張する処理を施す信号帯域拡張装置と、
前記信号帯域拡張装置により帯域拡張されたディジタル信号をアナログ信号に変換するD/A変換部と、
前記アナログ信号に基づく音声信号を音響空間へ拡声出力するスピーカ部と、
を具備し、
前記信号帯域拡張装置は、
前記複数のチャネルから入力した信号に共通する共通成分と、前記複数のチャネルから入力した信号に共通しない非共通成分と、を抽出する抽出部と、
前記抽出部により抽出された共通成分及び非共通成分に基づいて、前記複数の入力信号の音質を推定する音質推定部と、
前記抽出部により抽出された共通成分に対して、信号帯域拡張処理を含む高音質化処理を施し、且つ、前記信号帯域拡張処理により拡張した帯域の信号を、前記非共通成分にも適用する高音質化処理部と、
前記音質推定部による推定結果に基づいて、前記高音質化処理部を制御する制御部と、
を有することを特徴とする携帯端末装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2011−81033(P2011−81033A)
【公開日】平成23年4月21日(2011.4.21)
【国際特許分類】
【出願番号】特願2009−230713(P2009−230713)
【出願日】平成21年10月2日(2009.10.2)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】