音響信号処理装置及び音声度合算出方法
【課題】 簡単な構成あるいは少ない処理量で音声らしさあるいは音声の度合を求め、入力音響信号から音声部分を分離する。
【解決手段】 ステップＳ１で入力音響信号をフレーム単位で波形切り出し処理し、ステップＳ２でフレーム内での半波長の増減割合を算出し、ステップＳ３でフレーム内でのゼロクロスの割合を算出する。ステップＳ２での半波長の増減割合は、入力音響信号の波形の登り半波長又は下り半波長について、増減あるいは減増と交互に変化する部分の割合を求めて算出する。ステップＳ４で上記各ステップＳ２、Ｓ３で算出された各割合を用いて音声の度合を決定する。ステップＳ５では、ステップＳ１で切り出されたフレーム毎の音響信号に対して、ステップＳ４にて得られた音声度合に応じて音声と背景雑音とを分離あるいは強調減衰するような音声処理を行う。
【解決手段】 ステップＳ１で入力音響信号をフレーム単位で波形切り出し処理し、ステップＳ２でフレーム内での半波長の増減割合を算出し、ステップＳ３でフレーム内でのゼロクロスの割合を算出する。ステップＳ２での半波長の増減割合は、入力音響信号の波形の登り半波長又は下り半波長について、増減あるいは減増と交互に変化する部分の割合を求めて算出する。ステップＳ４で上記各ステップＳ２、Ｓ３で算出された各割合を用いて音声の度合を決定する。ステップＳ５では、ステップＳ１で切り出されたフレーム毎の音響信号に対して、ステップＳ４にて得られた音声度合に応じて音声と背景雑音とを分離あるいは強調減衰するような音声処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、環境雑音や背景雑音等の環境音と音声とを含む入力音響信号から音声を分離したり環境音を減衰し音声を強調するために用いられる音響信号処理装置及び音声度合算出方法に関する。
【背景技術】
【０００２】
携帯用電話機や音声認識等の応用において、収音された音響信号あるいは可聴信号に含まれる環境雑音や背景雑音等の雑音（ノイズ）を抑圧し音声成分を強調したり、雑音と音声とを分離することが必要とされている。
【０００３】
このような音声と雑音とを分離する従来の技術としては、例えば、特許文献１、２に示すように、複数のマイクロホンを利用して各マイクの受信した音響信号の差から分離をする方法が知られており、また、特許文献３、４に示すように、あるタイミングでそのときの環境音を学習する方法が知られている。また、例えば特許文献５には、一定区間内の最小の平均振幅値をノイズとし、その値との大小関係で環境音と音声の判断を行なう方法が開示されている。
【０００４】
【特許文献１】特開２０００−８１９００号公報
【特許文献２】特開平８−７９８９７号公報
【特許文献３】特開２００１−４２８８６号公報
【特許文献４】特開２０００−２２２０００号公報
【特許文献５】特開２００３−７００９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述のような従来技術においては、次のような問題点がある。
【０００６】
上記特許文献１、２に示すような複数のマイクロホンを利用する技術の場合には、それぞれのマイク間隔が一定以上離れている必要があり、指向性マイクの場合に、対象の移動に合わせて方向を変える必要がある、といった問題点が挙げられる。
【０００７】
また、上記特許文献３、４に示すような環境音を学習するような技術の場合には、学習に必要十分な時間の環境音が必要であり、また汎用性に欠ける、という問題点がある。
【０００８】
また、上記特許文献５の技術においては、大きな振幅のノイズに対応できない点と、一定区間内がすべて音声のみまたは環境音のみである場合に判断が困難である点とが問題と考えられる。
【０００９】
本発明は、このような従来の実情に鑑みて提案されたものであり、１本のマイクロホンで収音された音響信号や、記録媒体から再生された音響信号を入力として、簡単な構成あるいは少ない処理量で音声らしさあるいは音声の度合を求めることができ、入力音響信号に対して、音声の分離あるいは雑音抑圧・音声強調が容易に行えるような音響信号処理装置及び音声度合算出方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述の課題を解決するために、本発明に係る音響信号処理装置は、音声及び環境音を含む入力音響信号の音声の度合を算出する音声度合算出手段と、この音声度合算出手段からの出力に基づき上記入力音響信号を処理する音声処理手段とを有し、上記音声度合算出手段は、上記入力音響信号の波形の波長方向の特徴量に基づいて音声の度合を算出することを特徴とする。
【００１１】
ここで、上記波長方向の特徴量は、上記波形の長さの変化、あるいは上記波形のレベル方向の変化であることが挙げられる。
【００１２】
上記音声度合算出手段は、上記入力音響信号の所定の時間長単位で切り出されたフレーム単位で音声度合を算出することことが好ましい。
【００１３】
また、上記音声度合算出手段は、上記入力音響信号の波形の半波長の増減の繰り返し割合を算出する半波長増減繰り返し割合算出手段と、上記入力音響信号の波形の半波長のゼロクロスの割合を算出するゼロクロス割合算出手段と、上記半波長増減繰り返し割合算出手段からの出力及び上記ゼロクロス割合算出手段からの出力に基づいて音声の度合を決定し出力する音声度合出力手段とを有して成ることが好ましい。上記半波長増減繰り返し割合算出手段は、上記入力音響信号の波形の登り半波長が増減あるいは減増と交互に変化する部分の割合と、上記入力音響信号の波形の下り半波長が増減あるいは減増と交互に変化する部分の割合とに基づいて半波長の増減の繰り返し割合を算出することが好ましい。
【００１４】
次に、本発明に係る音声度合算出方法は、上記目的を達成するため、入力音響信号の波形を所定長さのフレーム単位で切り出す波形切り出し工程と、上記波形切り出し工程により切り出された波形の半波長の増減の繰り返し割合を算出する半波長増減繰り返し割合算出工程と、上記波形切り出し工程により切り出された波形の半波長のゼロクロスの割合を算出するゼロクロス割合算出工程と、上記半波長増減繰り返し割合算出手段からの出力及び上記ゼロクロス割合算出手段からの出力に基づいて音声の度合を決定し出力する音声度合出力工程とを有することを特徴とする。
【００１５】
このような本発明では、入力音響信号をフレーム単位で波形切り出し処理し、フレーム内での半波長の増減割合を算出し、またフレーム内でのゼロクロスの割合を算出し、これらの算出された各割合を用いて音声の度合を決定する。この決定された音声度合に応じて音声と背景雑音とを分離あるいは強調減衰する
を制御する。
【発明の効果】
【００１６】
本発明によれば、入力音響信号がモノラル音声でも、環境音を除去して音声のみを分離することができ、また、波形の簡単な特徴量を用いているため、処理が軽くて済み、実時間で処理が可能である。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明の実施の形態における音声分離機能を有する音響信号処理装置の構成例を概略的に示すブロック図である。
【００１９】
図１に示す音響信号処理装置は、マイクロホンにより音響電気変換された音響信号や記録媒体から再生された音響信号等が入力される音響信号入力部１０と、入力音響信号を所定の時間長（フレーム）単位で切り出す波形切り出し部２０と、切り出された波形が音声である度合いを算出する音声度合算出部３０と、音声度合算出部３０から出力された値に基づいて、入力音響信号を処理する音声処理部４０とを有して構成されている。音声処理部４０では、例えば主として、入力音響信号の音声と環境音（環境雑音や背景雑音等のノイズ）とを分離したり、環境音を減衰し音声を強調するような処理が行われる。
【００２０】
図１の音声度合算出部３０は、入力音響信号の波形の波長方向の特徴量に基づいて音声の度合を算出するものであり、例えば図２に示すように、切り出されたフレーム毎の波形について、極値点間の半波長の長さが増減を繰り返す割合を算出する半波長増減繰り返し割合算出部３１と、切り出された波形内に含まれる半波長のうち、ゼロクロスを有する割合を算出するゼロクロス割合算出部３２と、これら半波長増減繰り返し割合算出部３１及びゼロクロス割合算出部３２から得られる二つの割合から、音声度合を計算し、出力する音声度合出力部３３とを有して構成されている。
【００２１】
次に、これらの図１、図２に示す構成における各部の動作について、処理手順に従って説明する。
【００２２】
先ず、図１の音響信号入力部１０にて音響信号を取り込む。この入力音響信号は任意であり、例えばマイクロホンにより収音された音響信号や、テレビジョン放送やラジオ放送等を受信して得られた音響信号や、ＣＤ、ＤＶＤ、カセットテープ、ビデオテープ、半導体メモリカード等の記録媒体を再生して得られた音響信号等が挙げられる。音響信号入力部１０からの音響信号は、例えば後段回路部でのディジタル処理に合わせてディジタル信号となっている。
【００２３】
次に、波形切り出し部２０で、音響信号をある長さに切り分ける。ここで切り出された区間をフレームと呼ぶ。フレーム長は、例えば１０００サンプルとすることが挙げられるが、このサンプル数に限定されず、また固定である必要もない。また、前後のフレームの一部をオーバーラップさせるようにしてもよい。
【００２４】
波形切り出し部２０で切り出されたフレームの音響信号の音声度合を音声度合算出部３０で求める。この音声度合算出部３０は例えば図２のような構成を有し、フレーム毎の処理は、図３に示すような、極値点間の半波長毎に行なう。この図３において、極小点から極大点までを登り半波長ＵＨ、極大点から極小点までを下り半波長ＤＨとする。
【００２５】
図２の半波長増減繰り返し割合算出部３１では、フレーム内の登り半波長ＵＨのみ、又は下り半波長のみを見て、半波長の長さの変化が増減交互に繰り返されている割合を算出している。すなわち、現在注目しているｎ番の登り半波長ＵＨｎの長さが一つ前のｎ−１番の登り半波長ＵＨｎ−１の長さに比べて増加しているか、減少しているかを調べ、この増減が、フレーム内で「増・減・増・減」と交互になっている割合を求める。下り半波長についても同様に「増・減・増・減」と交互になっている割合を求める。二つの割合から、フレーム内の、半波長増減繰り返し割合を決定する。
【００２６】
例えば、図４において、登り半波長ＵＨの各長さについて、ＵＨ１に比べてＵＨ２が増加し、ＵＨ２に比べてＵＨ３が減少し、ＵＨ３に比べてＵＨ４が増加し、ＵＨ４に比べてＵＨ５が減少している。また、下り半波長ＤＨの各長さについて、ＤＨ１に比べてＤＨ２が増加し、ＤＨ２に比べてＤＨ３が減少し、ＤＨ３に比べてＤＨ４が増加し、ＤＨ４に比べてＤＨ５が減少している。半波長増減繰り返し割合算出部３１は、このような増減が交互に繰り返し生じている部分のフレーム内の割合を、登り半波長ＵＨと下り半波長ＤＨとについてそれぞれ求め、これらの２つの割合の平均、積、重みつき平均等に基づいて、フレーム内の半波長増減繰り返し割合を決定し、音声度合出力部３３に送っている。なお、半波長増減繰り返し割合算出部３１のより具体的な構成及び動作については、後で図面を参照しながら説明する。
【００２７】
図２のゼロクロス割合算出部３２では、フレーム内の半波長の内のゼロクロスを有する半波長の割合を求める。例えば図５において、登り及び下りの各半波長ＵＨ１、ＤＨ１、ＵＨ２、ＤＨ２、ＵＨ３、ＤＨ５はゼロクロスを有しており、ＤＨ３、ＵＨ４、ＤＨ４、ＵＨ５はゼロクロスを有していない。この図５の場合には、１０の半波長の内のゼロクロスを有する半波長（６つ）の割合そのものは、６／１０＝０．６、として求められるが、これをフレーム内の全ての半波長に対して行い、後述するように必要に応じて出力調整を行って、フレーム内の半波長の内のゼロクロスを有する半波長の割合を求め、音声度合出力部３３に送っている。
【００２８】
図２の音声度合出力部３３では、半波長増減繰り返し割合算出部３１からの割合と、ゼロクロス割合算出部３２からの割合とに基づいて、音声の度合いを決定する。例えば、各出力の平均、積、重みつき和などが考えられる。音声度合出力部３３からの出力（音声の度合）は、図１の音声度合算出部３０からの出力として音声処理部４０に送られる。
【００２９】
音声合成部４０では、波形切り出し部２０からの各フレームの音声波形に対して、音声度合算出部３０から出力される音声の度合いを用いて音声と背景雑音とを分離あるいは強調減衰するような処理を施し、出力波形とする。例えば、音声度合を倍率として、フレームの音声波形との積を出力するなどの処理が考えられる。
【００３０】
以上の手順をフローチャートに近似した形式で図６に示す。この図６において、ステップＳ１で入力音響信号をフレーム単位で波形切り出し処理し、ステップＳ２でフレーム内での半波長の増減割合を算出し、ステップＳ３でフレーム内でのゼロクロスの割合を算出し、ステップＳ４で上記各ステップＳ２、Ｓ３で算出された各割合を用いて音声の度合を決定する。ステップＳ５では、ステップＳ１で切り出されたフレーム毎の音響信号に対して、ステップＳ４にて得られた音声度合に応じて音声と背景雑音とを分離あるいは強調減衰するような音声処理を行う。
【００３１】
ここで、本発明の実施の形態は、入力音響信号の波形が「音声」なのか「環境音（車の走行音や風音、ノイズ）」なのかを区別することを要旨とするものである。すなわち、従来のように、単にレベルの大きさで音声と環境音を区別する手法では、レベルの大きなノイズまで音声と見なしてしまうという欠点があった。そこで、本発明の実施の形態においては、各時刻においてその波形が「音声」なのか「環境音」なのかを「音声らしさ」として数値化することにした。環境音と音声が両方含まれるといったこともあり、どちらかの二値で判定するのは困難であるためである。一定区間内の波形が音声である確率、もしくは波形に含まれる音声波形の割合という意味合いで「音声らしさ」という言葉を使用している。
【００３２】
本発明の実施の形態において採用した手法は、母音部分に特化したものである。音声の母音部分は基本周波数とその倍音成分とから構成されるため、波長は定常になる。本発明の実施の形態では、一波長を極大点から次の極大点まで、もしくは極小点から次の極小点までとしている。そのため、一般的に波長の揺ぎを定義するとなればその長さが「常に一定値→揺ぎ無し」、「一定の範囲内で変動→揺ぎあり」ということになる。本発明の実施の形態では、「揺ぎ」とは、この半波長が「増減増減」となっている部分の変化を意味すると共に、音声らしさの基準としての一例としてゼロクロス（もしくは中心点のずれ）に基づく波形のレベル方向の変化を意味している。
【００３３】
すなわち、本発明の実施の形態においては、「波長の揺ぎ」、「レベル方向の揺ぎ」の二種類の揺ぎを定義している。それぞれの場合で揺ぎがあるのは以下の場合である。
【００３４】
先ず、「波長の揺ぎ」とは、登り半波長、もしくは下り半波長の長さの変化が「増減増減」と交互になっている場合である。次に、「レベル方向の揺ぎ」とは、半波長がゼロクロスしていない場合である。ここで、「レベル方向の揺ぎ」として、半波長のレベル方向の中心点がゼロクロスから離れている場合を採用してもよい。この場合は、図７に示すように、半波長の振幅方向の中心点からのずれ度合Ａ／Ｂによって「レベル方向の揺ぎ」を求めるようにすることが挙げられる。
【００３５】
また、各揺ぎと音声らしさの関係は、「波長の揺ぎ」については揺ぎがあるほど、すなわち、半波長の長さの変化で「増減増減」となっている波長が多いほど、音声である可能性が高い。また、「レベル方向の揺ぎ」については揺ぎが小さいほど、すなわちゼロクロスしていない半波長の割合が小さいほど、あるいは半波長のレベル方向の中心点がゼロクロスに近いほど、音声である可能性が高い。
【００３６】
これは、音声信号波形のスペクトルをとると、ある基本周波数の倍数構造を有していることが知られているが、この基本周波数は、一般的に音の高さを表すピッチに相当しており、ピッチ周波数とも称され、例えばピッチ周波数の整数倍の位置にピークが現れる。さらに、音声信号波形における隣り合うピーク間に相当するピッチ周期に対して、実際の波形信号にはこのピッチ周期よりも長い波長の成分も含まれており、特に２倍のピッチ周期の成分も比較的有力に現れている。このような２倍のピッチ周期の成分は、上述した登り半波長、あるいは下り半波長で見ると、長さの変化で増減が交互に繰り返し現れることに相当し、半波長の長さの変化が「増減増減」となっている波長が多いほど、音声である可能性が高くなるものである。なお、これは、人の声（人声）のみならず、楽器音を含む音楽信号のようないわゆる楽音信号の場合にもある程度成立するものであり、本発明の実施の形態は、楽音を含む音声信号と、環境音（ノイズ）とを分離あるいは増強減衰することも可能である。
【００３７】
上述したような揺ぎと音声らしさとの関係を表にまとめたものを、図８に示し、また、入力音響信号が音声のみの場合の波形の一例を図９に、環境音が混入した音響信号の波形の一例を図１０に、波長の揺ぎがない波形の一例を図１１にそれぞれ示している。
【００３８】
図８から明らかなように、波長の揺ぎが大きい・多い場合が音声、小さい・少ない場合が環境音にそれぞれ対応し、レベル方向の揺ぎが大きい・多い場合が環境音、小さい・少ない場合が音声にそれぞれ対応している。
【００３９】
図９は、入力音響信号の波形の波長の揺ぎが「増減増減」と交互に現れており、音声のみである場合を示し、図１０は、ゼロクロスしない部分が多くレベル方向の揺ぎが大きい場合に相当し、入力音響信号に環境音（ノイズ）が混ざっていることを示している。また、図１１の波形は、半波長が増加するのみで波長の揺ぎが無いような波形の例を示すものである。
【００４０】
次に、音声らしさあるいは音声度合を求めるための半波長増減繰り返し割合算出及びゼロクロス割合算出のより具体的な構成例について、図面を参照しながら説明する。
【００４１】
図１２は、上記図２の半波長増減繰り返し割合算出部３１の具体的な構成例を示すブロック図、図１３は、上記図２のゼロクロス割合算出部３２の具体的な構成例を示すブロック図である。
【００４２】
図１２に示す半波長増減繰り返し割合算出部３１は、上記図１の波形切り出し部２０にてフレーム単位で切り出された音響信号の波形が入力される登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２と、これらの登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２から出力される各割合を統合する半波長増減繰り返し割合統合部５３と、この半波長増減繰り返し割合統合部５３からの出力値を調整して出力する出力値調整部５４とを有して構成されており、この出力値調整部５４からの出力が図２の音声度合出力部３３に送られる。なお、出力値調整部５４は省略してもよい。
【００４３】
次に、図１２の登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２の動作について、図１４を参照しながら説明する。この場合、登り半波長、下り半波長について、同様の処理が行われる。
【００４４】
登り半波長増減繰り返し割合算出部５１において、先ず、フレーム内の隣り合う３つの登り半波長の長さの変化が「増減」もしくは「減増」と交互になっている組の数をＡupとする。フレーム内の全登り半波長数をＮupとすると、登り半波長の増減繰り返し割合Ｒupは、
Ｒup＝Ａup／（Ｎup−２）
で定義される。下り半波長増減繰り返し割合算出部５２の下り半波長についても、
Ｒdown＝Ａdown／（Ｎdown−２）
で定義される。
【００４５】
図１４の例では、登り半波長のＵＨ１からＵＨ２が増加、ＵＨ２からＵＨ３が減少、ＵＨ３からＵＨ４が減少となっており、下り半波長のＤＨ１からＤＨ２が減少、ＤＨ２からＤＨ３が増加、ＤＨ３からＤＨ４が増加、ＤＨ４からＤＨ５が増加となっている。すなわち、ＵＨ１〜３の組が「増減」、ＵＨ２〜４の組が「減増」、ＵＨ３〜５の組が「増減」となり、ＤＨ１〜３の組が「減増」となる。従って、図１４の例で、ＲupおよびＲdownを計算すると
Ｒup＝Ａup／（Ｎup−２）＝２／（５−２）＝０．６７
Ｒdown＝Ａdown／（Ｎdown−２）＝１／（５−２）＝０．３３
となる。
【００４６】
このようにして登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２にて求められた登り及び下りの半波長の増減割合Ｒup及びＲdownが半波長増減繰り返し割合統合部５３に送られて統合される。この統合方法としては、ＲupとＲdownの積、平均、大きな方の値、小さな方の値等を求めることが挙げられる。半波長増減繰り返し割合統合部５３からの出力は、値域を調節する出力値調整部５４に送られ、例えば出力値を０．０から１．０の範囲にして出力している。この処理の一例としては、出力値調整部５４への入力をｉｎ、出力値調整部５４からの出力をｏｕｔとするとき、
【００４７】
【数１】
のようにすることが挙げられる。この式（１）で、ＴＨは０以上で１より小さい閾値（０≦ＴＨ＜１．０）である。増減が交互になる割合の期待値は０．５であるので、ＴＨはそれ以上の値が好ましい。なお、この出力値調整部５４は省略してもよい。
【００４８】
ところで、登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２での計算方法としては、上述したような、切り出されたフレーム内の３つの半波長の長さの変化が「増減」又は「減増」になっている個数を数える方法の他にも種々の方法が考えられる。例えば、「増減」又は「減増」が交互に続いている長さの最大値を求める方法や、「増減」又は「減増」が交互に続いている長さのばらつきを求める方法等が挙げられる。これらの方法について、図１５を参照しながら説明する。図１５の波形の例において、「増減」又は「減増」が交互に続いている長さとしては、登り半波長について、部分ａが「３」、部分ｂが「２」、部分ｃが「２」であり、下り半波長について、部分ｄが「１」、部分ｅが「４」、部分ｆが「１」となっている。
【００４９】
上記「増減」又は「減増」が交互に続いている長さの最大値を求める方法とは、切り出されたフレーム内の登り半波長、下り半波長毎に、「増減」又は「減増」が交互に続く長さの最大値を求めるものである。例えば図１５の波形の例では、増減が交互に続いている長さは、登り半波長が「３」、下り半波長が「４」となる。
【００５０】
また、上記「増減」又は「減増」が交互に続いている長さのばらつきを求める方法の例としては、求めるべきばらつきを、登り半波長、下り半波長をそれぞれＶup、Ｖdownとして、以下の式で定義することが挙げられる。
【００５１】
Ｖup＝（Ａｖｅup／Ｖａｒup）／（Ｎup−２）
Ｖdown＝（Ａｖｅdown／Ｖａｒdown）／（Ｎdown−２）
ここでＡｖｅは登り、下りそれぞれの増減の繰り返しの長さの平均値、Ｖａｒは増減の繰り返しの長さの分散、 Ｎはフレーム内の登り、下り半波長数である。
【００５２】
図１５の場合には、以下のように計算される。
【００５３】
Ｖup＝（２．３３／０．２２）／（９−２）＝１．５
Ｖdown＝（２／２）／（９ − ２）＝０．１４
ただしこのままでは、出力値が０〜１の範囲に収まらないので、出力値調整部５４で調整する必要がある。具体的には以下の式（２）のようなシグモイド関数が挙げられる。
【００５４】
【数２】
この式（２）中で、ｉｎは出力値調整部５４への入力、ｏｕｔは出力値調整部５４からの出力、αはパラメータである。
【００５５】
次に、図１３に示すゼロクロス割合算出部３２は、上記図１の波形切り出し部２０にてフレーム単位で切り出された音響信号の波形が入力されるゼロクロス割合計算部５６と、このゼロクロス割合計算部５６からの出力値を調整して出力する出力値調整部５７とを有して成っている。出力値調整部５７からの出力は、ゼロクロス割合算出部３２の出力として、上記図２の音声度合出力部３３に送られる。なお、出力値調整部５７は省略してもよい。
【００５６】
ゼロクロス割合計算部３２では、ゼロクロス割合として、
ゼロクロスを有する半波長数／全半波長数
を求め、これをゼロクロス割合出力値として出力値調整部５７に送っている。例えば、上述した図５の波形の例では、登り及び下りの各半波長ＵＨ１、ＤＨ１、ＵＨ２、ＤＨ２、ＵＨ３、ＤＨ５はゼロクロスを有しており、ＤＨ３、ＵＨ４、ＤＨ４、ＵＨ５はゼロクロスを有していないことから、
ゼロクロスを有する半波長数／全半波長数＝６／１０＝０．６
と計算される。これをフレーム内の全半波長について計算するものである。
【００５７】
出力値調整部５７では、ゼロクロス割合計算部５６にて上記計算を行うことにより求められたゼロクロス割合の出力値を例えば０．０から１．０の範囲に調整して出力する。この処理は、例えば上述した出力値調整部５４と同様に、上記式（１）、あるいは式（２）のような計算を行うことが挙げられ、これらの式（１）、（２）において、ｉｎは出力値調整部５７への入力、ｏｕｔは出力値調整部５７からの出力であり、式（２）のαはパラメータである。
【００５８】
次に、音響信号の具体的な波形例に対する上記図１、図２、図１２、図１３に示した構成における各部からの出力波形あるいは出力値について、図１６〜図２０を参照しながら説明する。
【００５９】
先ず図１６は、入力音響信号からフィルタによって取り出した８００〜２０００Ｈｚの周波数帯域の波形を示している。この図１６のｘ軸の単位は［ｓｅｃ］である。この図１６に示すような音響信号の波形に対する各部からの出力値を、図１７〜図２０に示す。これらの図１７〜図２０は、フレーム長は１０００サンプル（約２１ｍｓｅｃ）とし、１００サンプル（約２．１ｍｓｅｃ）ずつフレームをずらしていくことにより得られた出力値を示している。
【００６０】
図１７は、上記図１２の登り半波長増減繰り返し割合算出部５１にて求められた登り半波長の繰り返し割合の出力結果（出力値）を示し、図１８は、上記図１２の下り半波長増減繰り返し割合算出部５２にて求められた下り半波長の繰り返し割合の出力結果を示している。また、図１９は、上記図１３のゼロクロス割合計算部５６にて求められたゼロクロス割合の出力結果（出力値）を示している。なお、これらの図１７、図１８の具体例では、登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２において、例えば切り出されたフレーム内の３つの半波長の長さの変化が「増減」又は「減増」になっている個数を数え、その割合を算出した結果を示しているが、この他、上述したように、「増減」又は「減増」が交互に続いている長さの最大値を求めたり、「増減」又は「減増」が交互に続いている長さのばらつきを求めるようにしてもよい。
【００６１】
次に図２０は、図１、図２に示す音声度合算出部３０からの出力結果（出力値）を示している。この場合、図１２の半波長増減繰り返し割合統合部５３では、図１７及び図１８に示す登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２からの各出力値の内の大きい方の値を出力するようにし、出力値調整部５４では、上記式（１）のＴＨ＝０．６としたものを用いて調整し、半波長増減繰り返し割合算出部３１からの出力値としている。また、図１３の出力値調整部５７では、ゼロクロス割合計算部５６からの上記図１９に示す出力値に対して、上記式（１）のＴＨ＝０．７としたものを用いて調整し、ゼロクロス割合算出部３２からの出力値としている。図２の音声度合出力部３３では、これらの半波長増減繰り返し割合算出部３１からの出力値とゼロクロス割合算出部３２からの出力値との積をとって、図２０に示すような音声度合算出部３０からの出力値としている。
【００６２】
上述したような本発明の実施の形態によれば、環境音ノイズが含まれていても、音声のみを分離することができ、モノラル音声でも、環境音が除去できるため、あらゆる音響信号に適用でき、また、簡単な特徴量を用いるため、処理が軽くて済み、実時間で処理が可能である。
【００６３】
次に、本発明の他の実施の形態について、図２１を参照しながら説明する。この図２１の例では、音響信号入力部１０から入力された音響信号等を、波形切り出し部２０にて一定の時間長（フレーム）単位で切り出した後、帯域分割部６０により複数の帯域に分割して、各帯域毎に処理を行うようにしている。すなわち、帯域分割部６０では、波形切り出し部２０からの音響信号を、複数の周波数帯域ＦＢ０〜ＦＢｎに分割し、それぞれの周波数帯域ＦＢ０〜ＦＢｎ毎に、音声度合算出部７０にて音声度合を算出し、これらの各周波数帯域ＦＢ０〜ＦＢｎの音声度合に基づいて、音声処理部８０で、帯域分割部６０からの各周波数帯域ＦＢ０〜ＦＢｎの信号に対して処理を行い、音声と環境音（ノイズ）とを分離あるいは増強減衰し、各周波数帯域の信号を合成して出力している。音声度合算出部７０での各周波数帯域毎の処理は、上記図２、図１２、図１３と共に説明した処理と同様な処理が行われ、音声度合算出部７０には、上記図２、図１２、図１３と同様な構成が各周波数帯域毎に設けられている。
【００６４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施の形態となる音響信号処理装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態に用いられる音声度合算出部の構成例を示すブロック図である。
【図３】音響信号の波形の一例を示す波形図である。
【図４】半波長の増減を説明するための音響信号波形の一例を示す波形図である。
【図５】半波長のゼロクロスを説明するための音響信号波形の一例を示す波形図である。
【図６】本発明の実施の形態の動作を説明するためのフローチャート近似の説明図である。
【図７】半波長のレベル方向の中心点のずれを説明するための波形の一例を示す波形図である。
【図８】揺ぎと音声らしさとの関係を示す図である。
【図９】音声のみの場合の音響信号波形の一例を示す波形図である。
【図１０】環境音の混入した音声の場合の音響信号波形の一例を示す波形図である。
【図１１】波長の揺ぎが無い場合の音響信号波形の一例を示す波形図である。
【図１２】本発明の実施の形態に用いられる半波長増減繰り返し割合算出部の構成例を示すブロック図である。
【図１３】本発明の実施の形態に用いられるゼロクロス割合算出部の構成例を示すブロック図である。
【図１４】登り半波長及び下り半波長の増減繰り返し割合を説明するための音響信号波形の一例を示す波形図である。
【図１５】登り半波長及び下り半波長の増減繰り返し割合の他の計算方法を説明するための音響信号波形の一例を示す波形図である。
【図１６】入力音響信号の波形の一例を示す波形図である。
【図１７】登り半波長の繰り返し割合の算出結果となる出力値を示す図である。
【図１８】下り半波長の繰り返し割合の算出結果となる出力値を示す図である。
【図１９】ゼロクロス割合の算出結果となる出力値を示す図である。
【図２０】音声度合の算出結果となる出力値を示す図である。
【図２１】本発明の他の実施の形態となる音響信号処理装置の概略構成を示すブロック図である。
【符号の説明】
【００６６】
１０ 音響信号入力部、 ２０ 波形切り出し部、 ３０ 音声度合算出部、 ３１ 半波長増減繰り返し割合算出部、 ３２ ゼロクロス割合算出部、 ３３ 音声度合出力部、 ５１ 登り半波長増減繰り返し割合算出部、 ５２ 下り半波長増減繰り返し割合算出部、 ５３ 半波長増減繰り返し割合統合部、 ５４，５７ 出力値調整部、 ５６ ゼロクロス割合計算部
【技術分野】
【０００１】
本発明は、環境雑音や背景雑音等の環境音と音声とを含む入力音響信号から音声を分離したり環境音を減衰し音声を強調するために用いられる音響信号処理装置及び音声度合算出方法に関する。
【背景技術】
【０００２】
携帯用電話機や音声認識等の応用において、収音された音響信号あるいは可聴信号に含まれる環境雑音や背景雑音等の雑音（ノイズ）を抑圧し音声成分を強調したり、雑音と音声とを分離することが必要とされている。
【０００３】
このような音声と雑音とを分離する従来の技術としては、例えば、特許文献１、２に示すように、複数のマイクロホンを利用して各マイクの受信した音響信号の差から分離をする方法が知られており、また、特許文献３、４に示すように、あるタイミングでそのときの環境音を学習する方法が知られている。また、例えば特許文献５には、一定区間内の最小の平均振幅値をノイズとし、その値との大小関係で環境音と音声の判断を行なう方法が開示されている。
【０００４】
【特許文献１】特開２０００−８１９００号公報
【特許文献２】特開平８−７９８９７号公報
【特許文献３】特開２００１−４２８８６号公報
【特許文献４】特開２０００−２２２０００号公報
【特許文献５】特開２００３−７００９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述のような従来技術においては、次のような問題点がある。
【０００６】
上記特許文献１、２に示すような複数のマイクロホンを利用する技術の場合には、それぞれのマイク間隔が一定以上離れている必要があり、指向性マイクの場合に、対象の移動に合わせて方向を変える必要がある、といった問題点が挙げられる。
【０００７】
また、上記特許文献３、４に示すような環境音を学習するような技術の場合には、学習に必要十分な時間の環境音が必要であり、また汎用性に欠ける、という問題点がある。
【０００８】
また、上記特許文献５の技術においては、大きな振幅のノイズに対応できない点と、一定区間内がすべて音声のみまたは環境音のみである場合に判断が困難である点とが問題と考えられる。
【０００９】
本発明は、このような従来の実情に鑑みて提案されたものであり、１本のマイクロホンで収音された音響信号や、記録媒体から再生された音響信号を入力として、簡単な構成あるいは少ない処理量で音声らしさあるいは音声の度合を求めることができ、入力音響信号に対して、音声の分離あるいは雑音抑圧・音声強調が容易に行えるような音響信号処理装置及び音声度合算出方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述の課題を解決するために、本発明に係る音響信号処理装置は、音声及び環境音を含む入力音響信号の音声の度合を算出する音声度合算出手段と、この音声度合算出手段からの出力に基づき上記入力音響信号を処理する音声処理手段とを有し、上記音声度合算出手段は、上記入力音響信号の波形の波長方向の特徴量に基づいて音声の度合を算出することを特徴とする。
【００１１】
ここで、上記波長方向の特徴量は、上記波形の長さの変化、あるいは上記波形のレベル方向の変化であることが挙げられる。
【００１２】
上記音声度合算出手段は、上記入力音響信号の所定の時間長単位で切り出されたフレーム単位で音声度合を算出することことが好ましい。
【００１３】
また、上記音声度合算出手段は、上記入力音響信号の波形の半波長の増減の繰り返し割合を算出する半波長増減繰り返し割合算出手段と、上記入力音響信号の波形の半波長のゼロクロスの割合を算出するゼロクロス割合算出手段と、上記半波長増減繰り返し割合算出手段からの出力及び上記ゼロクロス割合算出手段からの出力に基づいて音声の度合を決定し出力する音声度合出力手段とを有して成ることが好ましい。上記半波長増減繰り返し割合算出手段は、上記入力音響信号の波形の登り半波長が増減あるいは減増と交互に変化する部分の割合と、上記入力音響信号の波形の下り半波長が増減あるいは減増と交互に変化する部分の割合とに基づいて半波長の増減の繰り返し割合を算出することが好ましい。
【００１４】
次に、本発明に係る音声度合算出方法は、上記目的を達成するため、入力音響信号の波形を所定長さのフレーム単位で切り出す波形切り出し工程と、上記波形切り出し工程により切り出された波形の半波長の増減の繰り返し割合を算出する半波長増減繰り返し割合算出工程と、上記波形切り出し工程により切り出された波形の半波長のゼロクロスの割合を算出するゼロクロス割合算出工程と、上記半波長増減繰り返し割合算出手段からの出力及び上記ゼロクロス割合算出手段からの出力に基づいて音声の度合を決定し出力する音声度合出力工程とを有することを特徴とする。
【００１５】
このような本発明では、入力音響信号をフレーム単位で波形切り出し処理し、フレーム内での半波長の増減割合を算出し、またフレーム内でのゼロクロスの割合を算出し、これらの算出された各割合を用いて音声の度合を決定する。この決定された音声度合に応じて音声と背景雑音とを分離あるいは強調減衰する
を制御する。
【発明の効果】
【００１６】
本発明によれば、入力音響信号がモノラル音声でも、環境音を除去して音声のみを分離することができ、また、波形の簡単な特徴量を用いているため、処理が軽くて済み、実時間で処理が可能である。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明の実施の形態における音声分離機能を有する音響信号処理装置の構成例を概略的に示すブロック図である。
【００１９】
図１に示す音響信号処理装置は、マイクロホンにより音響電気変換された音響信号や記録媒体から再生された音響信号等が入力される音響信号入力部１０と、入力音響信号を所定の時間長（フレーム）単位で切り出す波形切り出し部２０と、切り出された波形が音声である度合いを算出する音声度合算出部３０と、音声度合算出部３０から出力された値に基づいて、入力音響信号を処理する音声処理部４０とを有して構成されている。音声処理部４０では、例えば主として、入力音響信号の音声と環境音（環境雑音や背景雑音等のノイズ）とを分離したり、環境音を減衰し音声を強調するような処理が行われる。
【００２０】
図１の音声度合算出部３０は、入力音響信号の波形の波長方向の特徴量に基づいて音声の度合を算出するものであり、例えば図２に示すように、切り出されたフレーム毎の波形について、極値点間の半波長の長さが増減を繰り返す割合を算出する半波長増減繰り返し割合算出部３１と、切り出された波形内に含まれる半波長のうち、ゼロクロスを有する割合を算出するゼロクロス割合算出部３２と、これら半波長増減繰り返し割合算出部３１及びゼロクロス割合算出部３２から得られる二つの割合から、音声度合を計算し、出力する音声度合出力部３３とを有して構成されている。
【００２１】
次に、これらの図１、図２に示す構成における各部の動作について、処理手順に従って説明する。
【００２２】
先ず、図１の音響信号入力部１０にて音響信号を取り込む。この入力音響信号は任意であり、例えばマイクロホンにより収音された音響信号や、テレビジョン放送やラジオ放送等を受信して得られた音響信号や、ＣＤ、ＤＶＤ、カセットテープ、ビデオテープ、半導体メモリカード等の記録媒体を再生して得られた音響信号等が挙げられる。音響信号入力部１０からの音響信号は、例えば後段回路部でのディジタル処理に合わせてディジタル信号となっている。
【００２３】
次に、波形切り出し部２０で、音響信号をある長さに切り分ける。ここで切り出された区間をフレームと呼ぶ。フレーム長は、例えば１０００サンプルとすることが挙げられるが、このサンプル数に限定されず、また固定である必要もない。また、前後のフレームの一部をオーバーラップさせるようにしてもよい。
【００２４】
波形切り出し部２０で切り出されたフレームの音響信号の音声度合を音声度合算出部３０で求める。この音声度合算出部３０は例えば図２のような構成を有し、フレーム毎の処理は、図３に示すような、極値点間の半波長毎に行なう。この図３において、極小点から極大点までを登り半波長ＵＨ、極大点から極小点までを下り半波長ＤＨとする。
【００２５】
図２の半波長増減繰り返し割合算出部３１では、フレーム内の登り半波長ＵＨのみ、又は下り半波長のみを見て、半波長の長さの変化が増減交互に繰り返されている割合を算出している。すなわち、現在注目しているｎ番の登り半波長ＵＨｎの長さが一つ前のｎ−１番の登り半波長ＵＨｎ−１の長さに比べて増加しているか、減少しているかを調べ、この増減が、フレーム内で「増・減・増・減」と交互になっている割合を求める。下り半波長についても同様に「増・減・増・減」と交互になっている割合を求める。二つの割合から、フレーム内の、半波長増減繰り返し割合を決定する。
【００２６】
例えば、図４において、登り半波長ＵＨの各長さについて、ＵＨ１に比べてＵＨ２が増加し、ＵＨ２に比べてＵＨ３が減少し、ＵＨ３に比べてＵＨ４が増加し、ＵＨ４に比べてＵＨ５が減少している。また、下り半波長ＤＨの各長さについて、ＤＨ１に比べてＤＨ２が増加し、ＤＨ２に比べてＤＨ３が減少し、ＤＨ３に比べてＤＨ４が増加し、ＤＨ４に比べてＤＨ５が減少している。半波長増減繰り返し割合算出部３１は、このような増減が交互に繰り返し生じている部分のフレーム内の割合を、登り半波長ＵＨと下り半波長ＤＨとについてそれぞれ求め、これらの２つの割合の平均、積、重みつき平均等に基づいて、フレーム内の半波長増減繰り返し割合を決定し、音声度合出力部３３に送っている。なお、半波長増減繰り返し割合算出部３１のより具体的な構成及び動作については、後で図面を参照しながら説明する。
【００２７】
図２のゼロクロス割合算出部３２では、フレーム内の半波長の内のゼロクロスを有する半波長の割合を求める。例えば図５において、登り及び下りの各半波長ＵＨ１、ＤＨ１、ＵＨ２、ＤＨ２、ＵＨ３、ＤＨ５はゼロクロスを有しており、ＤＨ３、ＵＨ４、ＤＨ４、ＵＨ５はゼロクロスを有していない。この図５の場合には、１０の半波長の内のゼロクロスを有する半波長（６つ）の割合そのものは、６／１０＝０．６、として求められるが、これをフレーム内の全ての半波長に対して行い、後述するように必要に応じて出力調整を行って、フレーム内の半波長の内のゼロクロスを有する半波長の割合を求め、音声度合出力部３３に送っている。
【００２８】
図２の音声度合出力部３３では、半波長増減繰り返し割合算出部３１からの割合と、ゼロクロス割合算出部３２からの割合とに基づいて、音声の度合いを決定する。例えば、各出力の平均、積、重みつき和などが考えられる。音声度合出力部３３からの出力（音声の度合）は、図１の音声度合算出部３０からの出力として音声処理部４０に送られる。
【００２９】
音声合成部４０では、波形切り出し部２０からの各フレームの音声波形に対して、音声度合算出部３０から出力される音声の度合いを用いて音声と背景雑音とを分離あるいは強調減衰するような処理を施し、出力波形とする。例えば、音声度合を倍率として、フレームの音声波形との積を出力するなどの処理が考えられる。
【００３０】
以上の手順をフローチャートに近似した形式で図６に示す。この図６において、ステップＳ１で入力音響信号をフレーム単位で波形切り出し処理し、ステップＳ２でフレーム内での半波長の増減割合を算出し、ステップＳ３でフレーム内でのゼロクロスの割合を算出し、ステップＳ４で上記各ステップＳ２、Ｓ３で算出された各割合を用いて音声の度合を決定する。ステップＳ５では、ステップＳ１で切り出されたフレーム毎の音響信号に対して、ステップＳ４にて得られた音声度合に応じて音声と背景雑音とを分離あるいは強調減衰するような音声処理を行う。
【００３１】
ここで、本発明の実施の形態は、入力音響信号の波形が「音声」なのか「環境音（車の走行音や風音、ノイズ）」なのかを区別することを要旨とするものである。すなわち、従来のように、単にレベルの大きさで音声と環境音を区別する手法では、レベルの大きなノイズまで音声と見なしてしまうという欠点があった。そこで、本発明の実施の形態においては、各時刻においてその波形が「音声」なのか「環境音」なのかを「音声らしさ」として数値化することにした。環境音と音声が両方含まれるといったこともあり、どちらかの二値で判定するのは困難であるためである。一定区間内の波形が音声である確率、もしくは波形に含まれる音声波形の割合という意味合いで「音声らしさ」という言葉を使用している。
【００３２】
本発明の実施の形態において採用した手法は、母音部分に特化したものである。音声の母音部分は基本周波数とその倍音成分とから構成されるため、波長は定常になる。本発明の実施の形態では、一波長を極大点から次の極大点まで、もしくは極小点から次の極小点までとしている。そのため、一般的に波長の揺ぎを定義するとなればその長さが「常に一定値→揺ぎ無し」、「一定の範囲内で変動→揺ぎあり」ということになる。本発明の実施の形態では、「揺ぎ」とは、この半波長が「増減増減」となっている部分の変化を意味すると共に、音声らしさの基準としての一例としてゼロクロス（もしくは中心点のずれ）に基づく波形のレベル方向の変化を意味している。
【００３３】
すなわち、本発明の実施の形態においては、「波長の揺ぎ」、「レベル方向の揺ぎ」の二種類の揺ぎを定義している。それぞれの場合で揺ぎがあるのは以下の場合である。
【００３４】
先ず、「波長の揺ぎ」とは、登り半波長、もしくは下り半波長の長さの変化が「増減増減」と交互になっている場合である。次に、「レベル方向の揺ぎ」とは、半波長がゼロクロスしていない場合である。ここで、「レベル方向の揺ぎ」として、半波長のレベル方向の中心点がゼロクロスから離れている場合を採用してもよい。この場合は、図７に示すように、半波長の振幅方向の中心点からのずれ度合Ａ／Ｂによって「レベル方向の揺ぎ」を求めるようにすることが挙げられる。
【００３５】
また、各揺ぎと音声らしさの関係は、「波長の揺ぎ」については揺ぎがあるほど、すなわち、半波長の長さの変化で「増減増減」となっている波長が多いほど、音声である可能性が高い。また、「レベル方向の揺ぎ」については揺ぎが小さいほど、すなわちゼロクロスしていない半波長の割合が小さいほど、あるいは半波長のレベル方向の中心点がゼロクロスに近いほど、音声である可能性が高い。
【００３６】
これは、音声信号波形のスペクトルをとると、ある基本周波数の倍数構造を有していることが知られているが、この基本周波数は、一般的に音の高さを表すピッチに相当しており、ピッチ周波数とも称され、例えばピッチ周波数の整数倍の位置にピークが現れる。さらに、音声信号波形における隣り合うピーク間に相当するピッチ周期に対して、実際の波形信号にはこのピッチ周期よりも長い波長の成分も含まれており、特に２倍のピッチ周期の成分も比較的有力に現れている。このような２倍のピッチ周期の成分は、上述した登り半波長、あるいは下り半波長で見ると、長さの変化で増減が交互に繰り返し現れることに相当し、半波長の長さの変化が「増減増減」となっている波長が多いほど、音声である可能性が高くなるものである。なお、これは、人の声（人声）のみならず、楽器音を含む音楽信号のようないわゆる楽音信号の場合にもある程度成立するものであり、本発明の実施の形態は、楽音を含む音声信号と、環境音（ノイズ）とを分離あるいは増強減衰することも可能である。
【００３７】
上述したような揺ぎと音声らしさとの関係を表にまとめたものを、図８に示し、また、入力音響信号が音声のみの場合の波形の一例を図９に、環境音が混入した音響信号の波形の一例を図１０に、波長の揺ぎがない波形の一例を図１１にそれぞれ示している。
【００３８】
図８から明らかなように、波長の揺ぎが大きい・多い場合が音声、小さい・少ない場合が環境音にそれぞれ対応し、レベル方向の揺ぎが大きい・多い場合が環境音、小さい・少ない場合が音声にそれぞれ対応している。
【００３９】
図９は、入力音響信号の波形の波長の揺ぎが「増減増減」と交互に現れており、音声のみである場合を示し、図１０は、ゼロクロスしない部分が多くレベル方向の揺ぎが大きい場合に相当し、入力音響信号に環境音（ノイズ）が混ざっていることを示している。また、図１１の波形は、半波長が増加するのみで波長の揺ぎが無いような波形の例を示すものである。
【００４０】
次に、音声らしさあるいは音声度合を求めるための半波長増減繰り返し割合算出及びゼロクロス割合算出のより具体的な構成例について、図面を参照しながら説明する。
【００４１】
図１２は、上記図２の半波長増減繰り返し割合算出部３１の具体的な構成例を示すブロック図、図１３は、上記図２のゼロクロス割合算出部３２の具体的な構成例を示すブロック図である。
【００４２】
図１２に示す半波長増減繰り返し割合算出部３１は、上記図１の波形切り出し部２０にてフレーム単位で切り出された音響信号の波形が入力される登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２と、これらの登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２から出力される各割合を統合する半波長増減繰り返し割合統合部５３と、この半波長増減繰り返し割合統合部５３からの出力値を調整して出力する出力値調整部５４とを有して構成されており、この出力値調整部５４からの出力が図２の音声度合出力部３３に送られる。なお、出力値調整部５４は省略してもよい。
【００４３】
次に、図１２の登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２の動作について、図１４を参照しながら説明する。この場合、登り半波長、下り半波長について、同様の処理が行われる。
【００４４】
登り半波長増減繰り返し割合算出部５１において、先ず、フレーム内の隣り合う３つの登り半波長の長さの変化が「増減」もしくは「減増」と交互になっている組の数をＡupとする。フレーム内の全登り半波長数をＮupとすると、登り半波長の増減繰り返し割合Ｒupは、
Ｒup＝Ａup／（Ｎup−２）
で定義される。下り半波長増減繰り返し割合算出部５２の下り半波長についても、
Ｒdown＝Ａdown／（Ｎdown−２）
で定義される。
【００４５】
図１４の例では、登り半波長のＵＨ１からＵＨ２が増加、ＵＨ２からＵＨ３が減少、ＵＨ３からＵＨ４が減少となっており、下り半波長のＤＨ１からＤＨ２が減少、ＤＨ２からＤＨ３が増加、ＤＨ３からＤＨ４が増加、ＤＨ４からＤＨ５が増加となっている。すなわち、ＵＨ１〜３の組が「増減」、ＵＨ２〜４の組が「減増」、ＵＨ３〜５の組が「増減」となり、ＤＨ１〜３の組が「減増」となる。従って、図１４の例で、ＲupおよびＲdownを計算すると
Ｒup＝Ａup／（Ｎup−２）＝２／（５−２）＝０．６７
Ｒdown＝Ａdown／（Ｎdown−２）＝１／（５−２）＝０．３３
となる。
【００４６】
このようにして登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２にて求められた登り及び下りの半波長の増減割合Ｒup及びＲdownが半波長増減繰り返し割合統合部５３に送られて統合される。この統合方法としては、ＲupとＲdownの積、平均、大きな方の値、小さな方の値等を求めることが挙げられる。半波長増減繰り返し割合統合部５３からの出力は、値域を調節する出力値調整部５４に送られ、例えば出力値を０．０から１．０の範囲にして出力している。この処理の一例としては、出力値調整部５４への入力をｉｎ、出力値調整部５４からの出力をｏｕｔとするとき、
【００４７】
【数１】
のようにすることが挙げられる。この式（１）で、ＴＨは０以上で１より小さい閾値（０≦ＴＨ＜１．０）である。増減が交互になる割合の期待値は０．５であるので、ＴＨはそれ以上の値が好ましい。なお、この出力値調整部５４は省略してもよい。
【００４８】
ところで、登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２での計算方法としては、上述したような、切り出されたフレーム内の３つの半波長の長さの変化が「増減」又は「減増」になっている個数を数える方法の他にも種々の方法が考えられる。例えば、「増減」又は「減増」が交互に続いている長さの最大値を求める方法や、「増減」又は「減増」が交互に続いている長さのばらつきを求める方法等が挙げられる。これらの方法について、図１５を参照しながら説明する。図１５の波形の例において、「増減」又は「減増」が交互に続いている長さとしては、登り半波長について、部分ａが「３」、部分ｂが「２」、部分ｃが「２」であり、下り半波長について、部分ｄが「１」、部分ｅが「４」、部分ｆが「１」となっている。
【００４９】
上記「増減」又は「減増」が交互に続いている長さの最大値を求める方法とは、切り出されたフレーム内の登り半波長、下り半波長毎に、「増減」又は「減増」が交互に続く長さの最大値を求めるものである。例えば図１５の波形の例では、増減が交互に続いている長さは、登り半波長が「３」、下り半波長が「４」となる。
【００５０】
また、上記「増減」又は「減増」が交互に続いている長さのばらつきを求める方法の例としては、求めるべきばらつきを、登り半波長、下り半波長をそれぞれＶup、Ｖdownとして、以下の式で定義することが挙げられる。
【００５１】
Ｖup＝（Ａｖｅup／Ｖａｒup）／（Ｎup−２）
Ｖdown＝（Ａｖｅdown／Ｖａｒdown）／（Ｎdown−２）
ここでＡｖｅは登り、下りそれぞれの増減の繰り返しの長さの平均値、Ｖａｒは増減の繰り返しの長さの分散、 Ｎはフレーム内の登り、下り半波長数である。
【００５２】
図１５の場合には、以下のように計算される。
【００５３】
Ｖup＝（２．３３／０．２２）／（９−２）＝１．５
Ｖdown＝（２／２）／（９ − ２）＝０．１４
ただしこのままでは、出力値が０〜１の範囲に収まらないので、出力値調整部５４で調整する必要がある。具体的には以下の式（２）のようなシグモイド関数が挙げられる。
【００５４】
【数２】
この式（２）中で、ｉｎは出力値調整部５４への入力、ｏｕｔは出力値調整部５４からの出力、αはパラメータである。
【００５５】
次に、図１３に示すゼロクロス割合算出部３２は、上記図１の波形切り出し部２０にてフレーム単位で切り出された音響信号の波形が入力されるゼロクロス割合計算部５６と、このゼロクロス割合計算部５６からの出力値を調整して出力する出力値調整部５７とを有して成っている。出力値調整部５７からの出力は、ゼロクロス割合算出部３２の出力として、上記図２の音声度合出力部３３に送られる。なお、出力値調整部５７は省略してもよい。
【００５６】
ゼロクロス割合計算部３２では、ゼロクロス割合として、
ゼロクロスを有する半波長数／全半波長数
を求め、これをゼロクロス割合出力値として出力値調整部５７に送っている。例えば、上述した図５の波形の例では、登り及び下りの各半波長ＵＨ１、ＤＨ１、ＵＨ２、ＤＨ２、ＵＨ３、ＤＨ５はゼロクロスを有しており、ＤＨ３、ＵＨ４、ＤＨ４、ＵＨ５はゼロクロスを有していないことから、
ゼロクロスを有する半波長数／全半波長数＝６／１０＝０．６
と計算される。これをフレーム内の全半波長について計算するものである。
【００５７】
出力値調整部５７では、ゼロクロス割合計算部５６にて上記計算を行うことにより求められたゼロクロス割合の出力値を例えば０．０から１．０の範囲に調整して出力する。この処理は、例えば上述した出力値調整部５４と同様に、上記式（１）、あるいは式（２）のような計算を行うことが挙げられ、これらの式（１）、（２）において、ｉｎは出力値調整部５７への入力、ｏｕｔは出力値調整部５７からの出力であり、式（２）のαはパラメータである。
【００５８】
次に、音響信号の具体的な波形例に対する上記図１、図２、図１２、図１３に示した構成における各部からの出力波形あるいは出力値について、図１６〜図２０を参照しながら説明する。
【００５９】
先ず図１６は、入力音響信号からフィルタによって取り出した８００〜２０００Ｈｚの周波数帯域の波形を示している。この図１６のｘ軸の単位は［ｓｅｃ］である。この図１６に示すような音響信号の波形に対する各部からの出力値を、図１７〜図２０に示す。これらの図１７〜図２０は、フレーム長は１０００サンプル（約２１ｍｓｅｃ）とし、１００サンプル（約２．１ｍｓｅｃ）ずつフレームをずらしていくことにより得られた出力値を示している。
【００６０】
図１７は、上記図１２の登り半波長増減繰り返し割合算出部５１にて求められた登り半波長の繰り返し割合の出力結果（出力値）を示し、図１８は、上記図１２の下り半波長増減繰り返し割合算出部５２にて求められた下り半波長の繰り返し割合の出力結果を示している。また、図１９は、上記図１３のゼロクロス割合計算部５６にて求められたゼロクロス割合の出力結果（出力値）を示している。なお、これらの図１７、図１８の具体例では、登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２において、例えば切り出されたフレーム内の３つの半波長の長さの変化が「増減」又は「減増」になっている個数を数え、その割合を算出した結果を示しているが、この他、上述したように、「増減」又は「減増」が交互に続いている長さの最大値を求めたり、「増減」又は「減増」が交互に続いている長さのばらつきを求めるようにしてもよい。
【００６１】
次に図２０は、図１、図２に示す音声度合算出部３０からの出力結果（出力値）を示している。この場合、図１２の半波長増減繰り返し割合統合部５３では、図１７及び図１８に示す登り半波長増減繰り返し割合算出部５１及び下り半波長増減繰り返し割合算出部５２からの各出力値の内の大きい方の値を出力するようにし、出力値調整部５４では、上記式（１）のＴＨ＝０．６としたものを用いて調整し、半波長増減繰り返し割合算出部３１からの出力値としている。また、図１３の出力値調整部５７では、ゼロクロス割合計算部５６からの上記図１９に示す出力値に対して、上記式（１）のＴＨ＝０．７としたものを用いて調整し、ゼロクロス割合算出部３２からの出力値としている。図２の音声度合出力部３３では、これらの半波長増減繰り返し割合算出部３１からの出力値とゼロクロス割合算出部３２からの出力値との積をとって、図２０に示すような音声度合算出部３０からの出力値としている。
【００６２】
上述したような本発明の実施の形態によれば、環境音ノイズが含まれていても、音声のみを分離することができ、モノラル音声でも、環境音が除去できるため、あらゆる音響信号に適用でき、また、簡単な特徴量を用いるため、処理が軽くて済み、実時間で処理が可能である。
【００６３】
次に、本発明の他の実施の形態について、図２１を参照しながら説明する。この図２１の例では、音響信号入力部１０から入力された音響信号等を、波形切り出し部２０にて一定の時間長（フレーム）単位で切り出した後、帯域分割部６０により複数の帯域に分割して、各帯域毎に処理を行うようにしている。すなわち、帯域分割部６０では、波形切り出し部２０からの音響信号を、複数の周波数帯域ＦＢ０〜ＦＢｎに分割し、それぞれの周波数帯域ＦＢ０〜ＦＢｎ毎に、音声度合算出部７０にて音声度合を算出し、これらの各周波数帯域ＦＢ０〜ＦＢｎの音声度合に基づいて、音声処理部８０で、帯域分割部６０からの各周波数帯域ＦＢ０〜ＦＢｎの信号に対して処理を行い、音声と環境音（ノイズ）とを分離あるいは増強減衰し、各周波数帯域の信号を合成して出力している。音声度合算出部７０での各周波数帯域毎の処理は、上記図２、図１２、図１３と共に説明した処理と同様な処理が行われ、音声度合算出部７０には、上記図２、図１２、図１３と同様な構成が各周波数帯域毎に設けられている。
【００６４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施の形態となる音響信号処理装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態に用いられる音声度合算出部の構成例を示すブロック図である。
【図３】音響信号の波形の一例を示す波形図である。
【図４】半波長の増減を説明するための音響信号波形の一例を示す波形図である。
【図５】半波長のゼロクロスを説明するための音響信号波形の一例を示す波形図である。
【図６】本発明の実施の形態の動作を説明するためのフローチャート近似の説明図である。
【図７】半波長のレベル方向の中心点のずれを説明するための波形の一例を示す波形図である。
【図８】揺ぎと音声らしさとの関係を示す図である。
【図９】音声のみの場合の音響信号波形の一例を示す波形図である。
【図１０】環境音の混入した音声の場合の音響信号波形の一例を示す波形図である。
【図１１】波長の揺ぎが無い場合の音響信号波形の一例を示す波形図である。
【図１２】本発明の実施の形態に用いられる半波長増減繰り返し割合算出部の構成例を示すブロック図である。
【図１３】本発明の実施の形態に用いられるゼロクロス割合算出部の構成例を示すブロック図である。
【図１４】登り半波長及び下り半波長の増減繰り返し割合を説明するための音響信号波形の一例を示す波形図である。
【図１５】登り半波長及び下り半波長の増減繰り返し割合の他の計算方法を説明するための音響信号波形の一例を示す波形図である。
【図１６】入力音響信号の波形の一例を示す波形図である。
【図１７】登り半波長の繰り返し割合の算出結果となる出力値を示す図である。
【図１８】下り半波長の繰り返し割合の算出結果となる出力値を示す図である。
【図１９】ゼロクロス割合の算出結果となる出力値を示す図である。
【図２０】音声度合の算出結果となる出力値を示す図である。
【図２１】本発明の他の実施の形態となる音響信号処理装置の概略構成を示すブロック図である。
【符号の説明】
【００６６】
１０ 音響信号入力部、 ２０ 波形切り出し部、 ３０ 音声度合算出部、 ３１ 半波長増減繰り返し割合算出部、 ３２ ゼロクロス割合算出部、 ３３ 音声度合出力部、 ５１ 登り半波長増減繰り返し割合算出部、 ５２ 下り半波長増減繰り返し割合算出部、 ５３ 半波長増減繰り返し割合統合部、 ５４，５７ 出力値調整部、 ５６ ゼロクロス割合計算部
【特許請求の範囲】
【請求項１】
音声及び環境音を含む入力音響信号の音声の度合を算出する音声度合算出手段と、
この音声度合算出手段からの出力に基づき上記入力音響信号を処理する音声処理手段とを有し、
上記音声度合算出手段は、上記入力音響信号の波形の波長方向の特徴量に基づいて音声の度合を算出することを特徴とする音響信号処理装置。
【請求項２】
上記波長方向の特徴量は、上記波形の長さの変化であることを特徴とする請求項１記載の音響信号処理装置。
【請求項３】
上記波長方向の特徴量は、上記波形のレベル方向の変化であることを特徴とする請求項１記載の音響信号処理装置。
【請求項４】
上記音声度合算出手段は、上記入力音響信号の所定の時間長単位で切り出されたフレーム単位で音声度合を算出することを特徴とする請求項１記載の音響信号処理装置。
【請求項５】
上記音声度合算出手段は、
上記入力音響信号の波形の半波長の増減の繰り返し割合を算出する半波長増減繰り返し割合算出手段と、
上記入力音響信号の波形の半波長のゼロクロスの割合を算出するゼロクロス割合算出手段と、
上記半波長増減繰り返し割合算出手段からの出力及び上記ゼロクロス割合算出手段からの出力に基づいて音声の度合を決定し出力する音声度合出力手段と
を有して成ることを特徴とする請求項１記載の音響信号処理装置。
【請求項６】
上記半波長増減繰り返し割合算出手段は、上記入力音響信号の波形の登り半波長が増減あるいは減増と交互に変化する部分の割合と、上記入力音響信号の波形の下り半波長が増減あるいは減増と交互に変化する部分の割合とに基づいて半波長の増減の繰り返し割合を算出することを特徴とする請求項５記載の音響信号処理装置。
【請求項７】
上記半波長増減繰り返し割合算出手段には、算出された繰り返し割合の出力値を調整する第１の出力値調整手段が設けられ、
上記ゼロクロス割合算出手段には、算出されたゼロクロス割合の出力値を調整する第２の出力値調整手段が設けられ、
上記第１、第２の出力調整手段により各出力値を調整して上記音声度合出力手段に送ることを特徴とする請求項５記載の音響信号処理装置。
【請求項８】
上記入力音響信号を複数の周波数帯域に分割する帯域分割手段を有し、
上記帯域分割手段により分割された各帯域毎に上記音声度合算出手段により音声の度合を算出し、算出された各帯域の音声の度合に基づいて上記音声処理手段により各帯域毎に処理することを特徴とする請求項１記載の音響信号処理装置。
【請求項９】
入力音響信号の波形を所定長さのフレーム単位で切り出す波形切り出し工程と、
上記波形切り出し工程により切り出された波形の半波長の増減の繰り返し割合を算出する半波長増減繰り返し割合算出工程と、
上記波形切り出し工程により切り出された波形の半波長のゼロクロスの割合を算出するゼロクロス割合算出工程と、
上記半波長増減繰り返し割合算出手段からの出力及び上記ゼロクロス割合算出手段からの出力に基づいて音声の度合を決定し出力する音声度合出力工程と
を有して成ることを特徴とする音声度合算出方法。
【請求項１０】
上記半波長増減繰り返し割合算出工程では、上記入力音響信号の波形の登り半波長が増減あるいは減増と交互に変化する部分の割合と、上記入力音響信号の波形の下り半波長が増減あるいは減増と交互に変化する部分の割合とに基づいて半波長の増減の繰り返し割合を算出することを特徴とする請求項９記載の音声度合算出方法。
【請求項１】
音声及び環境音を含む入力音響信号の音声の度合を算出する音声度合算出手段と、
この音声度合算出手段からの出力に基づき上記入力音響信号を処理する音声処理手段とを有し、
上記音声度合算出手段は、上記入力音響信号の波形の波長方向の特徴量に基づいて音声の度合を算出することを特徴とする音響信号処理装置。
【請求項２】
上記波長方向の特徴量は、上記波形の長さの変化であることを特徴とする請求項１記載の音響信号処理装置。
【請求項３】
上記波長方向の特徴量は、上記波形のレベル方向の変化であることを特徴とする請求項１記載の音響信号処理装置。
【請求項４】
上記音声度合算出手段は、上記入力音響信号の所定の時間長単位で切り出されたフレーム単位で音声度合を算出することを特徴とする請求項１記載の音響信号処理装置。
【請求項５】
上記音声度合算出手段は、
上記入力音響信号の波形の半波長の増減の繰り返し割合を算出する半波長増減繰り返し割合算出手段と、
上記入力音響信号の波形の半波長のゼロクロスの割合を算出するゼロクロス割合算出手段と、
上記半波長増減繰り返し割合算出手段からの出力及び上記ゼロクロス割合算出手段からの出力に基づいて音声の度合を決定し出力する音声度合出力手段と
を有して成ることを特徴とする請求項１記載の音響信号処理装置。
【請求項６】
上記半波長増減繰り返し割合算出手段は、上記入力音響信号の波形の登り半波長が増減あるいは減増と交互に変化する部分の割合と、上記入力音響信号の波形の下り半波長が増減あるいは減増と交互に変化する部分の割合とに基づいて半波長の増減の繰り返し割合を算出することを特徴とする請求項５記載の音響信号処理装置。
【請求項７】
上記半波長増減繰り返し割合算出手段には、算出された繰り返し割合の出力値を調整する第１の出力値調整手段が設けられ、
上記ゼロクロス割合算出手段には、算出されたゼロクロス割合の出力値を調整する第２の出力値調整手段が設けられ、
上記第１、第２の出力調整手段により各出力値を調整して上記音声度合出力手段に送ることを特徴とする請求項５記載の音響信号処理装置。
【請求項８】
上記入力音響信号を複数の周波数帯域に分割する帯域分割手段を有し、
上記帯域分割手段により分割された各帯域毎に上記音声度合算出手段により音声の度合を算出し、算出された各帯域の音声の度合に基づいて上記音声処理手段により各帯域毎に処理することを特徴とする請求項１記載の音響信号処理装置。
【請求項９】
入力音響信号の波形を所定長さのフレーム単位で切り出す波形切り出し工程と、
上記波形切り出し工程により切り出された波形の半波長の増減の繰り返し割合を算出する半波長増減繰り返し割合算出工程と、
上記波形切り出し工程により切り出された波形の半波長のゼロクロスの割合を算出するゼロクロス割合算出工程と、
上記半波長増減繰り返し割合算出手段からの出力及び上記ゼロクロス割合算出手段からの出力に基づいて音声の度合を決定し出力する音声度合出力工程と
を有して成ることを特徴とする音声度合算出方法。
【請求項１０】
上記半波長増減繰り返し割合算出工程では、上記入力音響信号の波形の登り半波長が増減あるいは減増と交互に変化する部分の割合と、上記入力音響信号の波形の下り半波長が増減あるいは減増と交互に変化する部分の割合とに基づいて半波長の増減の繰り返し割合を算出することを特徴とする請求項９記載の音声度合算出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００６−１７９４０（Ｐ２００６−１７９４０Ａ）
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願番号】特願２００４−１９４６４６（Ｐ２００４−１９４６４６）
【出願日】平成１６年６月３０日（２００４．６．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願日】平成１６年６月３０日（２００４．６．３０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
[ Back to top ]