音信号調整装置、プログラム及び方法、並びに、電話装置
【課題】低コストで、かつ、わずらわしいボタン操作を必要とせずに、周囲環境条件のみに支配されず、装置使用者の意志を反映し、かつ、電話の使用者が大声をだすことを必要とせずに音信号を調整する電話装置を提供する。
【解決手段】本発明は、スピーカ部とマイクロホン部とを備える電話装置に搭載された音信号調整装置に関する、そして、音信号調整装置は、スピーカ部周辺の第1の音信号を捕捉する手段と、第1の音信号の変動とマイクロホン部が捕捉した第2の音信号の変動とに基づいて、近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定する手段と、遮音効果が発生していると判定されている間、遮音効果が発生していない間よりも、スピーカ部における遠端信号の出力音の音量をより大きくするように制御する手段とを有する。
【解決手段】本発明は、スピーカ部とマイクロホン部とを備える電話装置に搭載された音信号調整装置に関する、そして、音信号調整装置は、スピーカ部周辺の第1の音信号を捕捉する手段と、第1の音信号の変動とマイクロホン部が捕捉した第2の音信号の変動とに基づいて、近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定する手段と、遮音効果が発生していると判定されている間、遮音効果が発生していない間よりも、スピーカ部における遠端信号の出力音の音量をより大きくするように制御する手段とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音信号調整装置、プログラム及び方法、並びに、電話装置に関し、例えば、携帯電話端末に適用し得るものである。
【背景技術】
【0002】
従来、携帯電話端末で通話する際には、その特性上、屋外に持ち出して通話する事も多く、所持者の様々な状況に応じて通話が行われるのが通例である。携帯電話端末は、屋外で使用されることが普通であるばかりか、従来の屋外型電話装置よりも通話環境が劣悪な場合がしばしばである。
【0003】
たとえば従来、屋外の公衆電話器などに見られる電話BOXなどの設備の中に格納されることもなく、携帯電話端末がむき出しの状態で通話に用いられることのほうが普通である。その為、所持者近辺の背景雑音によって受話、送話の音声がききとりにくくなり、所持者が携帯電話端末を操作して通話音量を上げることによって、聞き取りやすくしていた。
【0004】
一方、携帯性を優先する必要性から装置を非常に小型化が進んだために、近年の携帯電話端末はスイッチ類、ボタン類は携帯電話端末の前面、側面などに極度に密集し、目視による操作部の識別と位置確認が必要になっている。このことは、携帯電話端末において、次に述べるような会話の円滑を妨げる不都合を発生させるにいたっている。
【0005】
携帯電話端末所持者が、受話音量が小さいことに気がつくのは、実際には会話が始まってしまってからであることがしばしばである。会話が始まってから受話音量を好みの大きさに変更するには、携帯電話の操作部を操作する必要があるが、近年の小型化した携帯電話では目視せずの手探りでは目的の音量ボタンを探し当てることが困難であるばかりか、装置自体の小型化、多機能化のために、操作のためのボタン類が増加しており、不注意に目的以外のスイッチ類を操作してしまうと、所持者の意図とはことなる機能が動作を始めてしまう虞がある。また、目視による確認を行うためには携帯電話端末をいったん顔から放して操作する必要があるのだが、この操作をしていることは、電話機を通した会話相手にはわからないため、特段相手にたいして事前に断ってから操作をしない限りは、遠方の通話相手はこちらが話を聞いていると考えて会話を続けてしまう。結果、せっかく話した内容は携帯電話端末所持者に伝わることがない。厄介なことに、携帯電話端末が音声による意思伝達装置である特質から、通話相手にしてみれば、こちらがたまたま装置の操作を行ったせいで発生した会話の聞き逃しなのか、そもそも興味を払っていないための聞き逃しなのかを区別する方法がないから、会話断の後の会話者同士の心理的な円滑さまで損なう可能性があるものであった。
【0006】
以上のような不都合を回避するために、特許文献1には携帯電話端末の操作ボタンを操作しなくてもレシーバ付近に収納された接触式センサを利用して、耳を押し付けることで発生する機械的な圧力の大小で受信音量を自動に調節する技術が開示されている。
【0007】
特許文献2には形態端末所持者の周囲雑音の大きさをマイクで検出し、雑音が大きいときには受話音量が大きくなる技術が開示されている。
【0008】
特許文献3には携帯電話端末とレシーバの間の空間に音圧センサを設けて、耳とレシーバの間の小空間が密閉されることで閉空間が形成されることで発生する音圧の変化を検出し、耳がレシーバに密着して閉空間の音圧が大きくなると、受話音量を抑え、耳の密着度が小さいと受話音量を大きくする技術が開示されている。
【0009】
特許文献4には所持者が受話音声を大きくしたいとき、ボタン操作をせずに携帯所持者自身の声を大きくしてマイクロホンに大きな音声を入力すると、それに応じて、スピーカ音量を大きくする技術が開示されている。
【0010】
特許文献5には携帯電話端末の表示装置と同じ面につけられたカメラ画像を解析し、黒の要素が閾値以上のときに、携帯電話が耳についていると判定してレシーバから受話音声信号を出力し、そうでないときはハンズフリーモードとして携帯電話に別に実装されたハンズフリースピーカから受話音声を出力する技術が開示されている。
【0011】
特許文献6にはマイクロホンごとに周囲雑音を記録しておき、選択したマイクロホンに応じたノイズ特性を読み出して周波数減算によってノイズ抑圧を行う装置が開示されている。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開2005−20730号公報
【特許文献2】特開平01−241208号公報
【特許文献3】特開平7−38624号公報
【特許文献4】特開平11−284694号公報
【特許文献5】特開2008−187221号公報
【特許文献6】特開2007−116585号公報
【特許文献7】特開平7−202998号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
しかしながら、上記の従来技術は以下に述べるように実際の利用では不都合があった。
【0014】
近年、携帯電話端末は多機能、小型化がすすんでおり、多機能が進んだ分、操作の種類やボタンの数が増え、もはや端末上への新たなセンサや部品の増設が困難になっているのが実情である。
【0015】
特許文献1の技術は新たにレシーバ周辺に圧力センサを組み込む必要があり、実装が困難であった。特許文献2には余分なセンサを増設せずに通常携帯電話に用いるマイクロホンを用いて周囲雑音の大きさを検出し、周囲雑音の大きさに応じて受話音量を大きくする技術が開示されている、しかし特許文献2の技術ではあくまでも周囲雑音の大きさが受話音量の大きさを制御するのであって、携帯電話所持者の意図と一致するものではなかった。たとえば、雑音がさほど大きくなくても相手の声そのものが小さい場合などには特許文献2の技術は効果がなかった。さらに特許文献3、4には携帯電話所持者の通話中の振る舞いが受話音量の大きさに反映される技術が開示されているが、特許文献3の技術は特許文献1の技術と同様に新たに音圧センサの増設が必要になる。加えて、実際には特許文献3に開示されるような携帯電話と耳との密着が発生することがまれであるので効果が少なかった。しかも、通常、受話音声が聞きにくいときにはレシーバに耳をより強く押し付けるのであるから特許文献3の技術では逆に耳の接触で音量を小さくしてしまうので、音量が小さく聞きにくい受話音声がなおさら聞きにくくなってしまう欠点があった。これに対し、特許文献4では特許文献1〜3の不都合に対して、新たなセンサ類を増設せず、しかも携帯電話所持者の意図が反映でき、ボタン類の操作を一切必要としない優れた技術が開示されている。
【0016】
しかしながら、特許文献4の方法は受話音量を大きくするために携帯電話所持者が声を大きく発声する必要があった。これはつまり、通話相手の音量が小さいだけで、とくに周囲雑音がさほど大きくないときにも、携帯電話所持者自身は大きな声を出す必要があり、静かなら環境では周囲にとっては迷惑になるために実際には機能の使用がためらわれる場合がしばしばであった。
【0017】
また、逆に周囲が背景雑音でうるさいときには特許文献4の技術はノイズと話者音声信号の区別の有無にかかわらず、レベルが増加し、マイクロホン入力が大レベルを検出するようになるので、応じてスピーカボリウムも大きくなるので、携帯電話所持者の端末のレシーバから出力される音声信号の音量は大きくなるので都合がよいが、一方でマイク入力はノイズが混じってレベルが大きくなった信号のパワーを予め定めた送信振幅基準値にあわせて送信しているだけなので相手側への音声はノイズ感が多いままという欠点があった。
【0018】
また、特許文献5には、携帯電話に装備されたカメラを用い、カメラに写る画像を解析して映像に黒い部分が多ければ顔が非常に近いとして通常モードとしてレシーバに受話音声を出力し、そうでなければハンズフリーモードとしてハンズフリースピーカに受話音声を切り替え出力する技術が開示されている。
【0019】
しかし実際の携帯電話では特許文献5に開示される状態とは異なり、カメラは表示ディスプレー装置などと反対面を撮像するように実装されることがほとんどである。つまり、いったん会話が始まってから受話音量を変更しようとすると、カメラの向きを変更する必要があり、そうであれば、ボタン操作をするためにいったん携帯電話を目視する不都合とあまり大差がなく問題を解決できていない。
【0020】
また、照明が暗い部屋などでは話者の意図とは関係なく受話信号が制御されてしまうという欠点は解決できないものであった。
【0021】
特許文献6の技術は複数マイクの切り替えを実施できるときにはいいが、1つのマイクがさまざまな場所に移動する場合は効果が小さかったし、周波数減算法を行うためには一旦ノイズまじり音声で正確な音声検出を行わなければ、ノイズ除去の性能は著しく劣化する欠点があった。
【0022】
上述のような問題点を鑑み、電話装置において低コストで音信号を調整することができる音信号調整装置、プログラム及び方法、並びに、電話装置が望まれている。
【課題を解決するための手段】
【0023】
第1の本発明は、(1)スピーカ部とマイクロホン部とを備える電話装置に搭載された音信号調整装置において、(2)上記スピーカ部の周辺における第1の音信号を捕捉するスピーカ周辺音捕捉手段と、(3)上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定する遮音判定手段と、(4)上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御する音量制御手段とを有していることを特徴とする音信号調整装置。
【0024】
第2の本発明の音信号調整プログラムは、(1)スピーカ部とマイクロホン部とを備える電話装置に搭載されたコンピュータを、(2)上記スピーカ部の周辺における第1の音信号を捕捉するスピーカ周辺音捕捉手段と、(3)上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定する遮音判定手段と、(4)上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御する音量制御手段として機能させることを特徴とする。
【0025】
第3の本発明の音信号調整方法は、(1)スピーカ部とマイクロホン部とを備える電話装置における音量制御方法において、(2)スピーカ周辺音捕捉手段、遮音判定手段、音量制御手段を有し、(3)上記スピーカ周辺音捕捉手段は、上記スピーカ部の周辺における第1の音信号を捕捉し、(4)上記遮音判定手段は、上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定し、(5)上記音量制御手段は、上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御することを特徴とする。
【0026】
第4の本発明の電話装置は、第1の本発明の音信号調整装置を搭載したことを特徴とする。
【発明の効果】
【0027】
低コストで、かつ、わずらわしいボタン操作を必要とせずに、周囲環境条件のみに支配されず、装置使用者の意志を反映して音信号を調整でき、かつ、電話の使用者が大声をだして話者の周囲にいる人に迷惑をかけることがないように音信号を調整することができる電話装置を提供する。
【図面の簡単な説明】
【0028】
【図1】第1の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図2】第1の実施形態に係る、レベル補正部における補正処理を行う構成の例について説明する。
【図3】第1の実施形態の電話装置のスピーカにおいて、近端話者の耳介により遮音が発生する様子について示した説明図である。
【図4】第1の実施形態のレベル変動検出部において、NLVL_Rの変動とNLVL_Sの変動を用いて、耳介による遮音を検出する方法について示した説明図である。
【図5】第2の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図6】第3の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図7】第4の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図8】第5の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図9】第5の実施形態に係る特性補正部において、周波数特性に係る補正について示した説明図である。
【図10】第5の実施形態に係る特性変動検出部において、Dif_freq_r(f)を算出する処理について示した説明図である。
【図11】第6の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図12】第7の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【発明を実施するための形態】
【0029】
(A)第1の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第1の実施形態を、図面を参照しながら詳述する。
【0030】
(A−1)第1の実施形態の構成
図1は、この実施形態の電話装置10及び音信号調整装置20全体構成を示すブロック図である。
【0031】
電話装置10は、ディジタル・アナログ変換器(以下「D/A」という)12、スピーカまたはレシーバ(以下、「スピーカ」という)11、増幅器(以下、「AMP」という)13、マイクロホン14、アナログ・ディジタル変換器(以下、「A/D」という)15及び音信号調整装置20を有している。
【0032】
図1において、図示は省略しているが、右側が遠端側、左側が近端末者側を表している。又、図1においては図示を省略しているが、電話装置10には、電話発信するためのプッシュボタン等、電話装置として必要な他の構成を備えているものとする。また、図1において、電話装置10は、携帯電話端末であるものとして説明するが、電話装置10は有線による固定電話であっても良く、電話装置の種類は限定されないものである。
【0033】
電話装置10において、電話装置所持者(以下、「近端話者」ともいう)が発声することにより、マイクロホン14に近端信号が入力されると、近端信号はA/D15によりディジタル信号に変換され遠端側に向けて送出される。
【0034】
電話装置10において、遠端信号は、AMP13により増幅され、さらに、D/A12によりアナログ信号に変換された後、スピーカ11では順方向では電気信号を音信号に変換し音信号は空間に放出され、近端話者に供せられる。その際に、背景ノイズ源40から発せられるノイズにより、近端話者のスピーカ11から出力される音声の聴き取りが阻害される場合があるものとする。また、背景ノイズ源40により、近端話者のスピーカ11から出力される音声の聴き取りが阻害される度合いは変動する場合があるものとする。また、音信号調整装置20は、近端話者のスピーカ11からの音声の聴き取りを容易にするために、AMP13を介して、スピーカ11から近端話者に出力される音声の音量を制御するものである。
【0035】
音信号調整装置20は、A/D201、受信側音声検出器(以下、「VAD_R」という)22、受信側レベル計算部(以下、「LV_R」という)203、送信側レベル計算部(以下「LV−S」という)204、送信側音声検出器(以下「VAD_S」という)205、レベル補正部206、レベル変動検出部207、ゲイン計算部208、を有している。また、音信号調整装置20は、CPU、ROM、RAM、EEPROM、ハードディスクなどのプログラムの実行構成(1台に限定されず、複数台を分散処理し得るようにしたものであっても良い。)に、実施形態の音量制御プログラム等をインストールすることにより構築しても良く、その場合でも機能的には図1により示すことができる。また、音信号調整装置20は、全ての構成要素をハードウェアにより実現しても良いし、一部の構成要素を上述のようにプログラム(ソフトウェア)を用いて実現するようにしても良い。
【0036】
VAD_R202は、遠端信号において、遠端話者の音声の有無を検出するものである。また、VAD_S205は、近端信号において、近端話者の音声の有無を検出するものである。
【0037】
A/D201は、スピーカ11において、背景ノイズ源13から到達したノイズなどが電気信号に変換されると、その電気信号をディジタル信号に変換し、LV_R203に与える。一般的に、スピーカ11が電気音響変換素子であるが、性能は劣るものの、マイクロホン14と同様に音を電気信号に変換できる性質がある。このときスピーカ11をマイクロホン14と同様に扱うことができる。すなわち、A/D201では、マイクロホンとしてスピーカ11が機能した場合に逆流してくる信号を取得して、ディジタル信号に変換する機能を担っている。例えば、スピーカ11がいわゆるダイヤフラム式のように、電気振動により振動板を振動させて音を発生させるものであれば、ノイズなどの音がスピーカにおける振動板を振動させることにより、電気信号に逆変換されA/D201に供給することができる。
【0038】
VAD_R202は、遠端信号としてAMP13から出力される信号を取得して、その信号において音声の有無を検出する。VAD_R202において、遠端話者の音声の有無を検出する構成は、既存の電話装置に搭載されているものを適用するようにしても良く、限定されないものである。VAD_R202は、遠端話者の音声の検出がされていない間、音声が出力されていない旨を通知する信号(以下、「NV_R」という)の出力を継続し、遠端話者の音声が検出されるとNV_Rの出力を停止する。VAD_R202から、NV_Rが出力されている間は、遠端信号において音声信号がないときであるから、受信側A/D201の出力は背景ノイズ源30からスピーカ11からの信号がアナログ・ディジタル変換を受けた背景ノイズがLV_R203に入力されていることになる。
【0039】
VAD_S205は、近端信号としてVAD_S205に入力される信号を取得して、その信号において、音声の有無を検出する。VAD_S205において、近端話者の音声の有無を検出する構成は、VAD_R202と同様の構成を適用することができるため、詳しい説明を省略する。VAD_S205は、近端話者の音声の検出がされていない間、音声が出力されていない旨を通知する信号(以下、「NV_S」という)の出力を継続し、近端話者の音声が検出されるとNV_Sの出力を停止する。
【0040】
次に、VAD_R202において、遠端信号から遠端話者の音声の有無を検出する構成の例について説明する。なお、以下の説明において、遠端信号(AMP13に入力される信号)は、離散時間信号x(n)(nはディジタルサンプル順)で表されるものとして説明する。
【0041】
VAD_R202では、信号レベルの長期平滑特性ABS_L(n)と短期平滑特性ABS_S(n)の乖離を用いて、遠端信号における音声の有無を判定するものとする。例えば、以下の(1)式に示すように信号レベルの長期平滑特性ABS_L(n)を計算し、以下の(2)式に示すように信号レベルの短期平滑特性ABS_S(n)を計算し、その計算結果を利用して判定しても良い。なお、以下の(1)及び(2)式ではδ1=0.0001、δ2=0.01であるものとして説明するが、これに限定されないものである。なお、以下、(1)式及び(2)式では、「||」は絶対値を表すが、絶対値ではなく自乗を用いるようにしてもよい。
【0042】
ABS_L(n)=(1.0−δ1)ABS_L(n−1)+δ1|x(n)|…(1)
ABS_S(n)=(1,0−δ2)ABS_S(n−1)+δ2|x(n)|…(2)
上記の(1)式及び(2)式において、δ1およびδ2は、δ1<δ2、かつ、0<δ1<1.0、0<δ2<1.0を満たす係数であり、値が大きくなれば信号の急峻な特性に追従する代わりに計算結果はノイズの影響を受けやすくなり、逆に値が小さくなれば信号の大まかな特性に追従し、ノイズの影響はあまり受けなくなるという特性がある。
【0043】
次に、音声有無の判定閥値(以下、「TH_VAD」という)を用いて、以下の(3)式を満足するときに「音声あり」と判定をする。以下、(3)式において、判定閥値TH_VADとしては、例えば、6dBを適用するものとして説明するが、これに限定されないものである。
【0044】
ABS_S(n)≧ABS_L(n)+TH_VAD…(3)
以上のように、VAD_R202では、遠端信号から音声の有無を検知する。なお、音声検出の方法は近端信号(マイクロホン14の出力信号)を用いることだけを除けばVAD_S205における処理も同様であるため、詳しい説明を省略する。
【0045】
LV_R203は、VAD_R202からNV_Rが出力されている間、すなわち、遠端信号において音声が検出されていない間だけ、A/D201から入力されるスピーカ逆流信号(この場合には背景ノイズ)のレベル(以下、「NLVL_R」という)を算出して、レベル補正部206に与える。
【0046】
LV_S204は、VAD_S205からNV_Sが出力されている間、すなわち、近端信号において音声が検出されていない間だけ、A/D15から入力される近端信号(この場合には背景ノイズ)のレベル(以下、「NLVL_S」という)を算出して、レベル補正部206に与える。LV_S204は、NLVL_Sをレベル補正部206に与える。
【0047】
レベル補正部206は、LV_R203から与えられるNLVL_Rの値と、LV_S204から与えられるNLVL_Sの値について、補正を行うものである。上述の通り、NLVL_Rはスピーカ11から逆流してくる信号のレベルであり、NLVL_Sはマイクロホン14により取得した信号のレベルであるが、スピーカ11の集音性能はマイクロホン14には及ばないため、レベル補正部206により、その集音性能の差を補正する処理を行い、補正処理後のNLVL_R及びNLVL_Sを、レベル変動検出部207も与える。
【0048】
次に、レベル補正部206における補正処理を行う構成の例について説明する。
【0049】
図2は、レベル補正部206における補正処理の例について説明した説明図である。
【0050】
図2(a)は、補正前のNLVL_Rのレベルを示したグラフであり、図2(b)は、NLVL_Sのレベルを示したグラフである。そして、図2(c)は、NLVL_Rが補正される様子について示した説明図である。
【0051】
まず、レベル補正部206では、一旦NLVL_RをNLVL_Sと同じレベルとなるα倍して補正し、NLVL_R_rとする。
【0052】
レベル補正部206では、スピーカ11から逆流する電気信号は本来音を電気信号に変換するマイクロホン14に比べれば性能が劣っているため、その性能差を補正が行われる。レベル補正部206では、このように一旦NLVL_R_rを計算した後は、その際算出した補正用の係数αを固定し、以後は、単にNLVL_R_rをα倍してレベル変動検出部207に出力するように動作する。なお、上述の補正用の係数αは、予め、スピーカ11とマイクロホン14の集音の性能差に基づいて設定した値を使用するようにしても良いし、上述のように、当初のNLVL_R及びNLVL_Sを用いて算出するようにしても良く、その設定方法は限定されないものである。
【0053】
図3は、第1の実施形態の電話装置10のスピーカ11において、近端話者の耳介により遮音が発生する様子について示した説明図である。
【0054】
レベル変動検出部207では後述するように、レベルの変動を検出する。レベル変動検出部207の動作について、図3を用いて説明する。図示しない遠端話者の音声のレベルが小さく、聞き取りにくいときは、電話装置所持者は相手の音声をよく聞こうとしてスピーカ11に耳を近づけたり、押し付けたりすることが多い。電話装置所持者の耳がスピーカ11に近づくと、耳介がスピーカ11に対して遮音壁として作用する。
【0055】
ここで耳による遮音の効果について説明する。近年の携帯電話装置は小型がすすんでいるため、スピーカ11部の形状はあまり人間の耳と密着できることを重視した形状は配慮されていない。つまり従来特許文献3に開示されるがごとく鼓膜、外耳道、形態電話器壁面によって密閉空間を作り出すことはできないのが実情である。しかしながら、耳介がスピーカ11に近くなることは、少なくとも耳介が遮音壁の役目をはたし、密閉する事はできなくてもスピーカ11に対しての雑音を一部遮音できることを意味している。図3では耳がスピーカ11に近づいて背景ノイズを遮音している様子を示した。このとき、耳が近づくことによってスピーカ11からの逆流信号レベルNLVL_R_r(NLVL_R)は耳介に遮音された分だけ小さくなる。
【0056】
図4は、NLVL_R_rの変動とNLVL_Sの変動を用いて、耳介による遮音を検出する方法について示した説明図である。
【0057】
図4(a)は、スピーカ11において遮音を検出した場合のNLVL_R_rの変動例を示したグラフであり、図4(b)は、スピーカ11において遮音を検出した場合のNLVL_Sの変動例を示したグラフである。
【0058】
図4において、NLVL_R_r1は、任意のタイミングで取得されたNLVL_R_rを示し、NLVL_S1は、NLVL_R_r1と同じタイミングで取得されたNLVL_Sである。また、NLVL_R_r2は、NLVL_R_r1以後のタイミングで取得されたNLVL_R_rを示し。NLVL_S2は、NLVL_R_r2と同じタイミングで取得されたNLVL_Sである。
【0059】
図4に示す通り、レベル変動検出部207に入力されている信号NLVL_R_r1は耳介による遮音を受けてレベルが急に降下した場合NLVL_R_r2のようになる。一方NLVL_Sではそのようなことがない。通常の通話中にマイクロホン14を顔でふさぐことはほとんどないからである。マイク側はせいぜい顔が近づく程度であり、スピーカ11側ほどには遮音を受けることがない。この実施形態では耳介による遮音がδrecを超えたとき、すなわち、レベルの降下が式(4)を満たすとき、耳介の接近による遮音があったと判定するものとする。ここでは、δrecは6dBとするが、これに限定されない。
【0060】
NLVL_R_r2<NLVL_R_r1−δrec…(4)
なお、NLVL_R_rが急に降下するタイミングを検出する方法としては、例えば、電話装置10が動作を開始してからNLVL_R_rの最大値をNLVL_R_r1、最小値をNLVL_R_r2とし、上記の(4)式を満たす場合には、NLVL_R2を取得したタイミングを、NLVL_Rが急降下したタイミングとして検出するようにしても良い。また、例えば、所定の時間間隔おきのタイミングでNLVL_R_rをサンプリングし、直前のタイミングで取得したNLVL_RをNLVL_R_r1、最新に取得したNLVL_R_rをNLVL_R_r2として、上記の(4)を満たす場合に、NLVL_R_rが急降下したタイミングとして検出するようにしても良い。このように、NLVL_R_rが急に降下するタイミングを検出する方法は、限定されないものである。
【0061】
一方で、送信側のレベルNLVL_Sにおいても以下の式(5)の判定式を用いて背景ノイズレベルの変動を検出するものとする。ここで、δsendは3dB程度とするが、これに限定されない。
【0062】
NLVL_S2<NLVL_S1−δsend…(5)
送信側(マイクロホン14)において遮音が発生しているということは、例えば、電話装置をうつぶせに伏せて机上などにおいたか、手でふさいだかなどしているためであるので、会話状態にはないことや、背景ノイズ源40からのノイズ自体が急に低下したことなどを示している。そこで式(5)が成立しているきには、たとえ式(4)が成立している場合であっても後述するAMP13の増幅は行わない。レベル変動検出部207は、式(4)が成立し、式(5)が成立しないとき、スピーカ遮音検出信号shをゲイン計算部208に出力する。レベル変動検出部207は、それ以外のときは何も出力しない。
【0063】
ゲイン計算部208はスピーカ遮音検出信号shを入力されたとき、AMP13で信号を増幅するためのゲインを計算する。本実施形態においてスピーカ遮音検出信号shを入力されたとき、ゲイン計算部208は12dBのゲインを発生するものとするが、発生させるゲインはこれに限定されないものである。ゲイン計算部208は計算したゲインをAMP13に出力し、AMP13は受話信号を増幅してスピーカ11に出力する。
【0064】
LV_R203では信号のレベルNLVL_Rをレベル補正部206に出力する一方でマイクロホン14からは送信側A/D15でディジタル変換された背景ノイズ信号が送信側レベル計算部LV_S204とVAD_S205に出力されている。
【0065】
AMP13の増幅率は初期状態では1.0であり信号を増幅も減衰もしないものとするがこれに限定されない。AMP13の出力は受信側D/A12に出力されアナログ信号に変換されてスピーカ11に出力される。
【0066】
(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態の音信号調整装置20における音量制御の動作(この実施形態の音信号調整方法)について、図1を用いて説明する。
【0067】
まず、VAD_R202において、遠端信号において音声が含まれていないと判定されると、VAD_R202からLV_R203に、音声検出無しを示すNV_Rが与えられる。そして、NV_Rが与えられている間、LV_R203では、A/D15からスピーカ11において逆流してくる信号のレベルが算出され、NLVL_Rとしてレベル補正部206に与えられる。
【0068】
同様に、VAD_S205において、近端信号において音声が含まれていないと判定されると、VAD_S205からLV_S204に、音声検出無しを示すNV_Sが与えられる。そして、NV_Sが与えられている間、LV_S204では、A/D15からマイクロホン14に入力される信号のレベルが算出され、NLVL_Sとしてレベル補正部206に与えられる。
【0069】
レベル補正部206では、LV_R203からNLVL_Rが与えられ、かつ、LV_S204からNLVL_Sが与えられている間、NLVL_Rのレベルが補正され、補正後のNLVL_R_r、NLVL_Sがレベル変動検出部207に与えられる。
【0070】
そして、レベル変動検出部207では、上述の(4)が成立し、(5)式が成立しない場合には、スピーカ11における遮音度合が所定以上であるとみなされ、スピーカ遮音検出信号shが、ゲイン計算部208に与えられる。
【0071】
そして、ゲイン計算部208では、スピーカ遮音検出信号shが与えられている間は、スピーカ遮音検出信号shが与えられていない間と比較して、遠端信号により大きなゲインが発生するようにA/D15を制御される。
【0072】
(A−3)第1の実施形態の効果
第1実施形態によれば、以下のような効果を奏することができる。
【0073】
電話装置のスピーカ11を音電気変換機として流用して、NLVL_R(NV_R)を取得し、マイクロホン14を用いて取得したNLVL_S(NV_S)の変動と比較することにより、電話装置所持者の耳がスピーカ11の一部を覆うことで発生する遮音効果で低下することを検出し、耳による遮音効果を検出したときにゲイン計算部208が受話音声の音量を増加する倍率を計算してAMP13で受話音量を増加するようにしている。これにより、単に背景ノイズの大小ではなく電話装置所持者が音をよく聞き取ろうとする動作(耳介をスピーカ11に押し付ける動作)を検出して、音圧センサなどの別途部品を備えることなく、低コストで音量を調整することができる。また、電話装置所持者が特段、大音声を発生することもないので、周囲に迷惑にならず、受話中であってもボタン類の操作をしないまま相手側から到来する受信音声信号に音量を与えることができる電話装置を実現することができるのである。
【0074】
(B)第2の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第2の実施形態を、図面を参照しながら詳述する。
【0075】
(B−1)第2の実施形態の構成
図5は、この実施形態の電話装置10A及び音信号調整装置20Aの全体構成を示すブロック図である。
【0076】
図5において、第1の実施形態と異なるのは、レベル変動検出部207及びゲイン計算部208が、それぞれ、レベル変動検出部207A及びゲイン計算部208Aに置き換わったことであり、そのほかの構成は第1の、実施形態と同様であるので詳しい説明は省略する。以下、第1の実施形態との差異について説明する。
【0077】
レベル変動検出部207Aは、上記の(4)式が成立し、かつ、上記の(5)式が成立しないとき、第1の実施形態と異なり、以下の(6)式で計算するレベル変動値Dif_lev_rをゲイン計算部208Aに出力し、それ以外のときはDif_lef_r=0(db)を出力する。
【0078】
Dif_lev_r=NLVL_R_r_2 − NLVL_R_r_1…(6)
そして、ゲイン計算部208Aは、Dif_lev_rに応じて係数を乗じ、以下の(7)式に従ってゲイン(Grec)を計算する。
【0079】
Grec=δ20×Dif_lev_r…(7)
上記の(7)式において、δ20は差分を増幅する定数であり、この実施形態ではδ20=2.0としても良いが、これに限定されない。ゲイン計算部208Aは計算したゲインをAMP13に出力し、AMP13では、ゲイン計算部208Aから与えられたゲインに従って受話信号を増幅してスピーカ11に出力する。
【0080】
この実施形態においては、ゲイン計算部208Aでは、上記の(7)式を用いてゲインを計算するものとして説明したが、Dif_lev_rに応じたゲインを算出できる方法であれば、その計算式は上記の(7)式に限定されないものである。また、上記の(7)式のようにその都度計算して求めるのではなく、あらかじめ経験的、実験的に求めた参照表を参照して、適用するゲインを適用するようにしても良い。
【0081】
(B−2)第2の実施形態の動作
次に、以上のような構成を有する第2の実施形態の音信号調整装置20の動作(この実施形態の音信号調整方法)について、図5を用いて説明する。
【0082】
上述の通り、第1の実施形態と第2の実施形態では、レベル変動検出部及びゲイン計算部の動作が異なるだけであるので、その差異部分の動作についてのみ説明する。
【0083】
レベル変動検出部207Aでは、上述の(4)が成立し、上記の(5)式が成立しない場合、すなわち、スピーカ11において電話装置所持者の耳による遮音が発生していると判定される場合には、さらに上記の(6)式を用いて遮音度合を示すDif_lev_rが算出され、ゲイン計算部208Aに与えられる。ただし、上述の(4)が成立し、上記の(5)式が成立しない場合以外には、レベル変動検出部207Aは、Dif_lef_r=0(db)をゲイン計算部208Aに与える。
【0084】
そして、ゲイン計算部208Aにより、レベル変動検出部207Aから与えられるDif_lef_rに応じたゲインが算出され、AMP13が制御される。
【0085】
(B−3)第2の実施形態の効果
第2の実施形態によれば、以下のような効果を奏することができる。
【0086】
以上説明したように、本実施形態によれば、第1の実施形態と異なり、レベル変動検出部207がレベルの変動分をゲイン計算部208に出力し、AMP22はゲイン計算部208の計算したゲインを信号に施すようにしたので、電話装置所持者の耳によるノイズ遮音度合に応じて滑らかに受話音声の音量を変更することができるようになり、よりきめの細かい音量制御をおこなって、快適な通話を可能にできるのである。また、スピーカを耳に強く押し付けたときに、単にスピーカを耳にあてたときよりも大きい音量にすることができ、ユーザの音量を大きくして欲しいとする要求に応えることができる。
【0087】
(C)第3の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第3の実施形態を、図面を参照しながら詳述する。
【0088】
(C−1)第3の実施形態の構成
図6は、この実施形態の電話装置10B及び音信号調整装置20Bの全体構成を示すブロック図である。
【0089】
第3の実施形態の構成が第2の実施形態の構成と異なるのは、VAD_R202がVAD_R202Bに置き換わり、VAD_R202Bは、AMP13とD/A12との間に配置されていることである。そのほかの構成は第2の実施形態と同様であるので詳しい説明は省略する。以下、第2の実施形態との差異について説明する。
【0090】
VAD_R202Bは、通常AMP13から与えられる遠端信号を、通常時はそのままD/A12に供給するが、遠端信号に音声信号が含まれていないと判定した場合には、D/A12への遠端信号の供給を停止する点で、第2の実施形態と異なっている。なお、VAD_R202Bにおいて、遠端信号における音声の有無を判定する方法は、上述の第1及び第2の実施形態と同様であるので詳しい説明を省略する。
【0091】
なお、第3の実施形態の音信号調整装置20Bについては、図6に示すように、第2の実施形態のVAD_R202をVAD_R202Bに置き換えた構成について説明したが、同様に、第1の実施形態のVAD_R202をVAD_R202Bに置き換えたものとして構築するようにしても良い。
【0092】
(C−2)第3の実施形態の動作
第3の実施形態の音信号調整装置20Bについては、図6に示すように、第2の実施形態のVAD_R202をVAD_R202Bに置き換わり、VAD_R202Bでは、遠端信号に音声信号が含まれていないと判定した場合には、D/A12への遠端信号の供給を停止する点で、第2の実施形態と異なるだけであるので、詳しい説明を省略する。
【0093】
(C−3)第3の実施形態の効果
第3の実施形態によれば、以下のような効果を奏することができる。
【0094】
VAD_R202Bにおいて遠端信号に音声信号が含まれていないと判定した場合に、D/A12への遠端信号の供給を停止することにより、遠端信号において比較的大きなノイズが重畳しているとき、スピーカ11から放出された遠端信号による音が、エコーとなってNLVL_R(NV_R)に入り込んで、音信号調整装置20Bにおいて誤動作を起こす頻度を低減することができる。遠端話信号において大きなノイズが重畳していても、第1及び第2の実施形態では、遠端側からの信号は透過されて、D/A12に供給されてしまうので、VAD_R202が音声信号なしと判定しても、遠端側からのノイズがスピーカ11出力を経由して、A/D201に入力され、さらにLV_R203に入力されて、背景ノイズ源13からのノイズと交じり合ったままノイズレベルとして計算されてしまう。結果、音信号調整装置20において背景ノイズレベル計算の精度を劣化させてしまう。しかし、第2の実施形態のように、VAD_R202Bにより、遠端信号に音声が含まれていないと判定した場合に、D/A12へ遠端信号の供給を遮断することで、スピーカ11から逆流する電気信号は電話装置所持者近辺の背景ノイズに限定できるようになり、正確な背景ノイズレベルを計算して、遠端信号をより適切に音量制御し、上述のような背景ノイズレベル計算の精度を劣化させてしまう頻度を低減することができる。
【0095】
(D)第4の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第3の実施形態を、図面を参照しながら詳述する。
【0096】
(D−1)第4の実施形態の構成
図7は、この実施形態の電話装置10C全体構成及び音信号調整装置20Cを示すブロック図である。
【0097】
図7は第4の実施形態である。第4の実施形態の構成が第3の実施形態の構成と異なるのは、ゲイン計算部208Aがゲイン計算部208Cに置き換わり、さらに、新たに近端ノイズ量判定部209がLV_S204とゲイン計算部208Cの間に設けられている点である。そのほかの構成は第3の、実施形態と同様であるので詳しい説明は省略する。以下、第3の実施形態との差異について説明する。
【0098】
第1の実施形態と同様にLV_S204は送信話者音声なしのとき、近端のノイズレベルNLVL_Sを計算する。そして、近端ノイズ量判定部209は入力された近端ノイズレベルNLVL_Sを予め定めた閾値TH_BG_Sと比較し、閾値TH_BG_Sを上回ったとき、近端の電話装置所持者の背景雑音環境がノイズの多い環境であると判定する。具体的には以下の(8)式を満足したとき、近端の電話装置所持者の背景雑音環境がノイズの多い環境であると判定し、大背景ノイズ判定信号BG_NZYをゲイン計算部208Cに出力し、以下(8)式を満足しないときには何も出力しない。
【0099】
NLVL_S≧TH_BG_S…(8)
ここで、第4の実施形態では、大背景ノイズ閾値TH_BG_Sをディジタル振幅値の−30dBm0と設定するようにしても良い(第3の実施形態で、0dBm0は国際通信規格ITU−T G.711に規定される1kHzトーンの振幅を基準とした)。ただし、大背景ノイズ閾値TH_BG_Sをこの値に限定されないものである。
【0100】
一方でゲイン計算部208Cには第2の実施形態と同様に、レベル変動検出部207Aからレベル変動値Dif_lev_rが入力されている。
【0101】
ゲイン計算部208CはDif_lev_rの値と、BG_NZYの有無に応じて以下の(9)式及び(10)式のようにゲインを計算して、AMP13に出力する。ただし、BG_NZYの有のときには以下の(9)式を適用し、BG_NZYの無しのときには以下の(10)式を適用するものとする。また、δ40、δ41は倍率を表す定数であって、以下の(11)式の関係を満たすものである。
【0102】
Grec=δ40×Dif_lev_r…(9)
Grec=δ41×Dif_lev_r…(10)
δ40≧δ41…(11)
上記の(9)〜(11)式において、δ40=4.0とし、δ41=2.0としても良いが、これに限定されないものである。
【0103】
ゲイン計算部208Cは計算したゲインGrecをAMP13に出力し、AMP13は遠端信号をゲインGrecを乗じて増幅してからスピーカ11に出力する。
【0104】
第4の実施形態では上記の(9)式及び(10)式のようにゲインを計算したが、第3の実施形態と同様に、Dif_lev_rに応じて適切なゲインを発生できる計算方法であれば計算式(7)に限定されないものである。また、上記の(9)式及び(10)式のような計算式によらずに、上記の(11)式の関係、すなわち、BG_NZYの有のときのほうのゲインが、BG_NZYの無しのときのゲインより大きくなる関係を保てば、他の計算式を用いるようにしても良い。また、BG_NZYが有のときのほうのゲインが、BG_NZYが無しのときのゲインより大きくなるように、あらかじめ経験的、実験的に求めた参照表を参照して適用するようにしてもよい。また、本実施形態ではAMP13をディジタル信号の段階で増幅するようにしたが、D/A12とレシーバの間にアナログ増幅器を設けて、一旦ゲイン計算部208Cで計算したゲインをアナログ増幅器で乗算するようにしてもよい。
【0105】
また、ゲイン計算部208Cでは、上述の通り、BG_NZYの「有り」又は「無し」の2段階で、上記(9)式又は(10)式を適用するようにしたが、近端のノイズレベルNLVL_Sの大きさに応じて、Dif_lev_rに乗じる係数の値(例えば、上記の(9)式においては「δ40」の値)を変更して、Grecを求めるようにしても良い。すなわち、ゲイン計算部208Cにおいて、近端のノイズレベルNLVL_Sに応じて、Grecを算出することができれば、その算出方法は限定されないものである。
【0106】
(D−2)第4の実施形態の動作
次に、以上のような構成を有する第4の実施形態の音信号調整装置20Cの動作(この実施形態の音信号調整方法)について、図7を用いて説明する。
【0107】
上述の通り、第3の実施形態と第4の実施形態では、近端ノイズ量判定部209が追加され、ゲイン計算部の動作が異なるだけであるので、その差異部分の動作についてのみ説明する。
【0108】
近端ノイズ量判定部209では、上記の(8)式を満たす場合、背景ノイズ源40によるノイズの量が所定以上であるとみなして、ゲイン計算部208CへBG_NZYの信号が与えられる。
【0109】
そして、ゲイン計算部208Cでは、レベル変動検出部207Aから与えられるDif_lev_rと、近端ノイズ量判定部209から与えられるBG_NZYを利用して、A/D15を制御するゲインが、上記の(9)式及び(10)式により算出され、算出されたゲイン(Grec)がAMP13に与えられる。
【0110】
(D−3)第4の実施形態の効果
第4の実施形態によれば、以下のような効果を奏することができる。
【0111】
第4の実施形態では、新たに近端ノイズ量判定部40を設け電話装置所持者近傍の背景ノイズの大きさを検出するようにし、電話装置所持者側の背景ノイズが大きいときには、通常よりも受信信号に与えるゲインを大きくするようにした。したがって、近端ノイズが大きいことを検出し、電話装置所持者が電話装置に耳をより近づけたのが、相手の遠端話者の声の大小が原因でなく、電話装置所持者近傍の背景ノイズによって聞き取りづらくなっていると判定するので、たとえば装置の出力定格付近まで増幅するなど、通常の音量増幅よりも増幅度を大きくして、遠端話者の音声を聞き取とりやすくするようにできる。
【0112】
(E)第5の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第5の実施形態を、図面を参照しながら詳述する。
【0113】
(E−1)第5の実施形態の構成
図8は、この実施形態の電話装置10D及び音信号調整装置20Dの全体構成を示すブロック図である。
【0114】
第5の実施形態の構成は第4の実施形態の構成と比較すると、LV_R203が受信側信号特性計算部(以下「char_R」という)210に、LV_S204が、送信側信号特性計算部(以下、「char_S」という)211に、レベル補正部206が特性補正部212に、レベル変動検出部207Aが、特性変動検出部213に置き換わっている。また、第5の実施形態では、さらに、特性変動検出部213の後段に減算特性計算部214が設けられ、減算特性計算部214の後段に周波数減残部(以下「NC」という)215が設けられている。そのほかの構成は第4の実施形態と同様であるので詳しい説明は省略する。以下、第4の実施形態との差異について説明する。
【0115】
Char_R210は、第1〜第4の実施形態のLV_R203が計算するNLVL_R以外に、信号の周波数特性(以下、「NP_R(f)」という)が、例えば、公知の高速フーリエ変換法(以下、「FFT」という)を用いて計算される。そして、Char_R210は、NV_RとNLVL_Rを、特性補正部212に与える。Char_S211も同様に、第1〜第4の実施形態のLV_S204が計算するNLVL_S以外に、信号の周波数特性(以下、「NP_S(f)」という)を計算し、NLVL_SとNP_S(f)を、特性補正部212に与える。
【0116】
特性補正部212では、char_R210、char_S211からそれぞれ与えられる信号レベル(NLVL_R、NLVL_S)と、周波数特性(NP_R(f)、NP_S(f))について補正の処理が行われ、補正後の信号レベル及び周波数特性が、特性変動検出部213に与えられる。なお、特性補正部212における信号レベル(NLVL_R、NLVL_S)の補正の処理は、第1〜第4の実施形態のレベル補正部206と同様の処理であるので詳しい説明は省略する。
【0117】
次に、特性補正部212における、周波数特性の補正に係る処理を行う構成について説明する。Char_R210、Char_S211でFFT等を用いて計算された周波数特性(NP_R(f)、NP_S(f))は、信号レベルについて行った補正と同様に、NP_R(f)をNP_S(f)に合わせるように補正を行う。
【0118】
図9は、特性補正部212において、周波数特性に係る補正について示した説明図である。
【0119】
図9(a)は、補正前のNP_R(f)を示したグラフであり、図2(b)は、NP_S(f)のレベルを示したグラフである。そして、図2(c)は、NP_R(f)が補正される様子について示した説明図である。
【0120】
Char_R210、Char_S211では各々入力信号の周波数のパワー特性NP_R(f)と周波数特性NP_S(f)を計算する。図9において、横軸fは周波数を表している。NP_R(f)は、一旦NP_S(f)に一致するように補正され、NP_R_r(f)となる。補正を行うのはスピーカ11よりもマイクロホン14のほうが集音感度のよい平坦周波数特性であり、後述するマイクロホン出力に対するノイズ抑圧処理に用いる減算処理に都合が良いからであるが、逆に、NP_S(f)の方を補正してNP_R(f)に合わせるようにしても良い。
【0121】
特性補正部212では、スピーカ11から逆流する電気信号は本来音を電気信号に変換するマイクロホン14に比べれば性能が劣っているため、その性能差を補正が行われる。特性補正部212では、NP_R(f)をNP_R_r(f)に補正する係数(例えば、NP_S(f)/NP_R(f))を一旦計算した後は、その係数を固定し、以降は単にNP_R(f)にその係数を乗じて補正したNP_R_r(f)を、特性変動検出部213に出力するように動作する。なお、上述の補正用の係数は、予め、スピーカ11とマイクロホン14の集音の性能差に基づいて設定した値を使用するようにしても良いし、上述のように、当初のNP_R(f)及びNP_S(f)を用いて算出するようにしても良く、その設定方法は限定されないものである。
【0122】
特性補正部212は補正したNP_R_r(f)とNP_S(f)を特性変動検出部213に出力する。
【0123】
特性変動検出部213では以下に説明するように、電話装置所持者の耳介による遮音の周波数特性を求める。この実施形態では耳介の接近検出に関しては第1の実施形態で説明した方法をそのまま使うものであり再び説明しない。第1の実施形態で説明したように耳介による雑音の遮音は低下だけでなく、周波数成分のパワー低下としても反映される。特性変動検出部213では耳介の接近による雑音遮音の特性変化を、第1の実施形態で説明したレベルの変動検出に加えて、以下に述べるように周波数成分での変化を計算する。
【0124】
図10は、特性変動検出部213において、Dif_freq_r(f)を算出する処理について示した説明図である。
【0125】
図10において、NP_R_r1(f)は、特性変動検出部213において電話装置所持者の耳介による遮音効果が検出されない場合の周波数特性を示しており、NP_R_r2(f)は、その遮音効果が検出されている場合の周波数特性を示している。図10(a)は、NP_R_r1(f)とNP_R_r2(f)を比較したグラフであり、図10(b)は、Dif_freq_r(f)を示したグラフである。
【0126】
図10を用いて特性変動検出部213の周波数成分での変動検出の動作を説明する。特性変動検出部213ではレベルによる耳介の雑音遮音発生を、第1の実施形態で説明したと同様にレベルで検出する。このとき、変動検出前後のパワーは図10のNP_R_r1(f)からNP_R_r2(f)のように降下する。これは耳介によって背景雑音の一部または全部が遮音されるからである。
【0127】
特性変動検出部213ではNP_R_r1(f)からNP_R_r2(f)への変化分Dif_freq_r(f)について、以下の(12)式のように計算して求める。あるいは、特性補正部212の補正でNP_R_r1(f)=NP_S(f)となっているため、(12)式に置き換えて以下の(12−1)式を適用するようにしても良いが、この実施形態においては(12)式を用いるものとして説明する。
【0128】
Dif_freq_r(f)=NP_R_r1(f)−NP_R_r2(f)…(12)
Dif_freq_r(f)=NP_S1(f)−NP_R2(f)…(12−1)
特性変動検出部213で計算した周波数特性の変化分Dif_freq_r(f)は減算特性計算部214に出力される。一方では第2の実施形態で説明したと同様に、レベル変動値Dif_lev_がゲイン計算部に出力されているが、ゲイン計算部208Cの動作は第2、第4の実施形態で説明したとおりである。
【0129】
さらに減算特性計算部214は特性変動検出部213の出力Dif_freq_r(f)に応じて下記のように動作する。減算特性計算部214には近端ノイズ量判定部40からの出力が入力されており、第4の実施形態で説明したように、背景ノイズが大ノイズのときには大ノイズ判定信号BG_NZYが入力され、背景ノイズが大きくないときはなにも入力されない。
【0130】
減算特性計算部214はDif_freq_r(f)と大ノイズ判定信号BG_NZY入力の有無によって式(13)、式(14)のようにノイズ減算用周波数成分を計算する。なお、減算特性計算部214では、BG_NZY無しの場合には以下の(13)式が適用され、BG_NZY有りの場合には、以下の(14)式が適用される。
【0131】
Sub_freq(f)=C51×Dif_freq_r(f)…(13)
Sub_freq(f)=C52×Dif_freq_r(f)…(14)
ここで、この実施形態ではC51=0.2、C52=0.9としても良いが、これに限定されないものである。また、C51は1.0≧C51≧0.0を満たし、C52は1.0≧C52≧0.0を満たす定数であるものとし。値が大きければノイズ抑圧の効果が大きい変わりに音質に周波数減算処理による歪の影響が大きくなり、逆に小さければ音質に与える悪影響が小さい代わりにノイズ抑圧の効果も小さくなる。大ノイズの時にノイズ抑圧効果をより発揮するためにはC52≧C51であることが望ましい。
【0132】
また、減算特性計算部214では、上述の通り、BG_NZYの「有り」又は「無し」の2段階で、上記(13)式又は(14)式を適用するようにしたが、近端のノイズレベルNLVL_Sの大きさに応じて、Dif_lev_r(f)に乗じる係数の値(例えば、上記の(13)式においては「C51」)を変更して、Sub_freq(f)を求めるようにしても良い。すなわち、減算特性計算部214において、近端のノイズレベルNLVL_Sに応じて、Sub_freq(f)を算出することができれば、その算出方法は限定されないものである。
【0133】
減算特性計算部214の出力sub_freq(f)はNC215に出力される。NC215ではたとえば特許文献6に記載されているような公知の周波数減算方法を用いて、ノイズ交じりの周波数特性からsub_freq(f)を減算し、逆FFTを施して時間波形に変換してから送話音声信号を図示しない遠端に出力するようにしても良い。なお、NC215における処理は、フィルタバンク方法や、適応フィルタを用いる方法などを用いても良く、上述の特許文献6に記載されている方法に限定されないものである。
【0134】
(E−2)第5の実施形態の動作
次に、以上のような構成を有する第5の実施形態の音信号調整装置20Dの動作(この実施形態の音信号調整方法)について、図8を用いて説明する。
【0135】
まず、VAD_R202Bにおいて、遠端信号において音声が含まれていないと判定されると、VAD_R202Bからchar_R210に、音声検出無しを示すNV_Rが与えられる。そして、NV_Rが与えられている間、char_R210では、A/D201からスピーカ11において逆流してくる信号のレベルNLVL_Rと、信号の周波数特性NP_R(f)が算出され、特性補正部212に与えられる。
【0136】
同様に、VAD_S205において、近端信号において音声が含まれていないと判定されると、VAD_S205からchar_S211に、音声検出無しを示すNV_Sが与えられる。そして、NV_Sが与えられている間、char_S211では、A/D15からマイクロホン14に入力される信号のレベルNLVL_Sと、信号の周波数特性NP_S(f)が算出され、特性補正部212に与えられる。
【0137】
特性補正部212では、char_R210からNLVL_Rが与えられ、かつ、char_S211からNLVL_Sが与えられている間、NLVL_Rのレベルと、NP_R(f)が補正され、補正後のNLVL_R、NP_R_r(f)と、NLVL_S、NP_S(f)が特性変動検出部213に与えられる。
【0138】
そして、特性変動検出部213では、上述の(4)が成立し、上記の(5)式が成立しない場合には、スピーカ11における遮音度合が所定以上であるとみなされ、さらに上記の(6)式を用いて遮音度合を示すDif_lev_rが算出され、ゲイン計算部208Cに与えられる。ただし、上述の(4)が成立し、上記の(5)式が成立しない場合以外には、レベル変動検出部207Aは、Dif_lef_r=0(db)をゲイン計算部208Cに与える。また、特性変動検出部213では、上述の(4)が成立し、上記の(5)式が成立しない場合には、スピーカ11における遮音度合が所定以上であるとみなされ、さらに上記の(12)式を用いて、Dif_freq_r(f)が算出されて減算特性計算部214に与えられる。
【0139】
近端ノイズ量判定部209では、上記の(8)式を満たす間、背景ノイズ源40によるノイズの量が所定以上であるとみなして、ゲイン計算部208C及び減算特性計算部214へ、BG_NZYの信号が与えられる。
【0140】
そして、ゲイン計算部208Cでは、レベル変動検出部207Aから与えられるDif_lev_rと、近端ノイズ量判定部209から与えられるBG_NZYを利用して、AMP13を制御するゲイン(Grec)が、上記の(9)式及び(10)式により算出され、算出されたゲインがAMP13に与えられる。
【0141】
一方、減算特性計算部214では、BG_NZYが有りの場合には上記の(13)式、BG_NZYが無しの場合には上記の(14)式を用いて、Sub_freq(f)を算出してNC215に与える。そして、NC215により、近端信号について、減算特性計算部214から与えられたSub_freq(f)の分だけ減算され遠端側へ送出される。
【0142】
(E−3)第5の実施形態の効果
第5の実施形態によれば、以下のような効果を奏することができる。
【0143】
第5の実施形態は第4の実施形態において、近端側において遠端側への音質を鑑みたものになっている。即ち、第5の実施形態では、スピーカ11において電話装置所持者の耳介による遮音が発生している場合のNP_R_r(f)(NP_R(f))と、遮音が発生していない場合のNP_R_r(f)(NP_R(f))との差分であるDif_freq_r(f)を、背景ノイズ源40の周波数特性に係る周波数特性とみなし、減算特性計算部214においてDif_freq_r(f)に基づいてsub_freq(f)が算出され、NC215を用いて近端信号からsub_freq(f)の分減算して遠端側へ送出している。これにより、近端信号のうち、背景ノイズ源40により発生するノイズ成分を抑圧することができる。
【0144】
また、減算特性計算部214において、近端ノイズ量判定部40からの大ノイズ判定信号BG_NZY入力の有無に応じて、Dif_freq_r(f)に対して、例えば、0以上、1.0以下の係数を乗ずるようにした。具体的には大ノイズ判定信号BG_NZYがあるときに比較的大きな係数を用いて周波数減算効果が強く発揮されるようにしている。これにより、大ノイズ判定信号BG_NZYが無いときには比較的小さな係数を用いて周波数減算効果が弱く発揮されるようにして遠端話者への音質を自然な音質になるようにした。
【0145】
上記の効果において特に重要なのは、耳介によって背景雑音が遮音されることによるパワー変動成分Dif_freq_r(f)そのものを直接、あるいは単純な係数を用いて周波数減算のための減算特性としたことである。従来、一般に周波数減算法によるノイズを低減する方法は、特許文献6に開示される方法のように、入力信号を分析して音声区間とノイズ区間を精密に区別し、ノイズ区間の周波数成分を計算して、その成分を減算するのが通常である。
【0146】
しかし、従来方法である周波数減算法は長年にわたってノイズ区間の決定が精度よくできないことに伴う性能劣化問題点を解決できずにいる。残念ながらこの間題はある程度当然発生するものであり今後も解決が困難である。なぜなら、もともと、従来の周波数減算法によるノイズ抑圧では、音声の有無、つまり純ノイズ区間の特性を入手することが品質のよいノイズ抑圧には必須である。しかし、厄介なことにノイズ抑圧処理技術を適用しなければならないほどに大きなノイズが混入した音声信号で純ノイズ区間なのかどうかを検出して以後の処理に利用するのだから、多少の音声/ノイズ区間検出処理に誤検出は必然的に付きまとう。当然、従来方法はノイズ区間の誤検出を必然的に含む結果をもとに算出した減算用ノイズ成分を作成する。結果、不正確なノイズ成分を利用するから、周波数成分を加減算したり、逆に減算不足を発生する。その結果ノイズ減算処理後の音質を劣化させるものであった。しかし、本方法においては、ノイズの成分を、”声信号”自体からの分析ではなく、”耳接近”による信号の変化分として捕らえている。つまり、音の入力手段を何かで遮音したとき、その遮音効果をそのまま送信信号への効果に似せるのであって、電話装置所持者側において通話中に遮音されるような成分ならば、それは電話装置所持者側の背景ノイズ成分であり、その背景ノイズ成分はマイクロホン14を通じて送話信号となって図示しない遠端話者に出力されてしまう雑音信号である。つまり送話信号から除去されるのが望ましい信号であり、たとえば周波数減算法によって除去されてもよい成分なのであって、区分検出タイミングの精度さはさほど重要ではない。
【0147】
音声検出器を持つという点では、第5の実施形態でもVAD_S、VAD_Rの音声検出器があり、近端ノイズ成分があるときには音声検出の精度が落ちるが、このとき、マイクロホン14と、逆流信号使用時のスピーカ部3の両方にノイズも音声も入力されていることになるので、結果的に特性補正部212において周波数成分がうまく補正され、不都合がない。また、それ以後周波数成分の低下を差分として利用するだけなので、減算特性計算部への影響がほとんどない。このように本発明の第5の実施形態によれば、電話装置所持者がわのノイズと電話装置所持者音声のS/Nがどうであれ安定的にノイズを除去して自然な音質を実現した電話装置を実現できるのである。
【0148】
また、音信号調整装置20Dでは、電話装置10Dのスピーカ11を音電気変換機として流用して、NLVL_R(NP_R(f))を取得し、近端信号におけるノイズの抑圧を行っているため、特許文献7に記載の電話機のように、スピーカの周辺にノイズを検出するために別途マイクロホンを備える必要がないため、低コストでノイズを抑圧する構成を構築することができる。
【0149】
さらに、音信号調整装置20Dでは、特性変動検出部213、減算特性計算部214により、一旦sub_freq(f)が算出されると、sub_freq(f)を、背景ノイズ源40によるノイズ成分の周波数特性として固定し、以降NC215を用いて近端信号のノイズ成分を抑圧する処理を行わせることもできるため、特許文献7に記載の電話機のように、ノイズ抑圧(ノイズキャンセリング)に係る連続的なフィードバック処理を行う必要がないため、ノイズ抑圧に係る処理量を低減することができる。
【0150】
(F)第6の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第6の実施形態を、図面を参照しながら詳述する。
【0151】
(F−1)第6の実施形態の構成
図11は、この実施形態の電話装置10E及び音信号調整装置20Eの全体構成を示すブロック図である。
【0152】
第6の実施形態の構成が第5の実施形態の構成と異なるのは、新たにエコーキャンセラ部216と打ち消し加算器217が設けられたことであり、VAD_R(受信側音声検出器)が、第1の実施形態と同じくVAD_R202に戻ったことである。その他は、第5の実施形態と同様である。第3の実施形態では、遠端信号において比較的大きなノイズが重畳しているとき、スピーカ11から放出された遠端信号による音が、エコーとなってNLVL_R(NV_R)に入り込んで、音信号調整装置において誤動作を起こす頻度を低減することを目的として、VAD_R202をVAD_R202Bに置き換える構成について説明したが、第6の実施形態では、上述のエコーを消去する手段として、エコーキャンセラ部216と加算器217を備えている。
【0153】
エコーキャンセラ部216は、VAD_R202から音声なし信号NV_Rがないとき、は、加算器217の出力と、A/D201の入力の2つの信号を用いて、図示しない内部の適応フィルタを用いて、加算器217の出力のパワーが最小になるように適応動作する。適応動作のアルゴリズムとしては公知のNLMSアルゴリズムやLMSアルゴリズムなど、加算器217の出力のパワーが最小になるように適応アルゴリズムであればどのようなアルゴリズムを用いてもよい。加算器217には、受信側A/D201の出力が入力されており、エコーキャンセラ部216の出力と加算相殺されて、再びエコーキャンセラ部216にフィードバックされるとともに、char_R210に入力される。
【0154】
また、エコーキャンセラ部216は、VAD_R202から音声なし信号NV_Rがあったときは、上述のNLMSアルゴリズムは駆動せず、エコーキャンセラ部216は図示しない内部の適応フィルタのフィルタ係数を固定したまま、D/A12の入力と加算器217の出力を適応フィルタの入力信号として加算器217へ信号を出力する。加算器217の出力はchar_R210に入力される。
【0155】
なお、第6の実施形態においては、図11に示すように第5の実施形態の音信号調整装置20Dにエコーキャンセラ部216及び加算器217を追加し、VAD_R202BをVAD_R202に戻した構成について説明したが、第1、第2、第4の実施形態の音信号調整装置についても同様に、エコーキャンセラ部216及び加算器217を追加し、VAD_R202BをVAD_R202に戻した構成として構築するようにしても良い。
【0156】
(F−2)第6の実施形態の動作
第6の実施形態の音信号調整装置20Eでは、上述の通り、第5の実施形態のように遠端信号に音声信号が含まれていないと判定した場合には、D/A12への遠端信号の供給を停止する代わりに、エコーキャンセラ部216及び加算器217による動作に置き換えられるだけであるので詳しい説明を省略する。
【0157】
(F−3)第6の実施形態の効果
第6の実施形態によれば、以下のような効果を奏することができる。
【0158】
第5の実施形態の受話側音声検出器30は音声が無いときには出力を遮断するようにしたのは第3の実施形態で説明したとおりである。しかし、図示しない遠端話者のノイズ環境が劣悪で、遠端からの信号に大きなノイズが重畳している場合は、VAD_R30による音声信号断続そのものが耳障りになることがある。しかし、一方でchar_R210にとっては、外乱となるので遠端からのノイズ信号がスピーカ11を経由して入力されてしまうことは避けなければならない。そこで第6の実施形態ではエコーキャンセラ部216を設け、遠端から音声信号があったときはループ経路の特性をNLMSアルゴリズムなどを用いて同定し、音声がないときには適応フィルタの係数を固定するようにした。このときエコーキャンセラ部216の入力は遠端から到来したノイズ信号と、近端のスピーカ11から逆流しているノイズ信号が、加算器217で加算された信号である。このとき上記に説明したようにすでに適応フィルタの係数は固定されているので、ループバック経路を同定済みの固定フィルタ係数によってループバックノイズの疑似信号が作成されることになるから、加算器217で擬似遠端ループバックノイズと遠端ループバックノイズが相殺され、所望どおり近端の背景ノイズがchar_R210に出力されて、以後用いることができる。
【0159】
音質の良し悪しは電話装置所持者の好みによることが多いが、ノイズ交じりの音声があるとき、相手からのノイズが聞こえる事よりも、むしろ信号の断続を嫌う利用者が多いことも事実である。第6の実施形態はこのことを鑑みたものであり、受話側音声検出器30のように信号の断続を発生させずに第1、2、4、5の実施形態の効果を実現させて、電話装置所持者と遠端話者とに快適な通話を実現することができる。
【0160】
(G)第7の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第7の実施形態を、図面を参照しながら詳述する。
【0161】
(G−1)第7の実施形態の構成
第5、第6の実施形態において、近端信号から近端側から入り込むノイズを低減する構成が付加された実施形態について説明したが、第7の実施形態では、音信号調整装置が、上述のノイズを低減する機能に必要となる構成のみを有している。
【0162】
図12は、第7の実施形態の電話装置10F及び音信号調整装置20Fの機能的構成について示したブロック図である。
【0163】
電話装置10Fは、スピーカ11、D/A12、マイクロホン14、A/D15を有している。図12において、電話装置10Fは、第1〜第6の実施形態のようにAMPを備えていないが、備えるようにしても良い。なお、スピーカ11、D/A12、マイクロホン14、A/D15については、第1〜第6の実施形態のものと同様であるので詳しい説明は省略する。
【0164】
音信号調整装置20Fは、A/D201、VAD_R202、VAD_S205、char_R210、char_S211、特性補正部212、特性変動検出部213F、減算特性計算部214F、NC215を有している。なお、A/D201、VAD_R202、VAD_S205、char_R210、char_S211、特性補正部212については、第6の実施形態のものと同様であるので、詳しい説明は省略する。第7の実施形態と、第6の実施形態との主な差異は、エコーキャンセラ部、近端ノイズ量判定部、ゲイン計算部や、それに係る処理が省略されていることである。
【0165】
第7の実施形態では、VAD_Rとしては、第6の実施形態と同様にVAD_R202を用いているが、第5の実施形態と同様にVAD_R202Bを適用するようにしても良い。また、第6の実施形態のように、エコーキャンセラ部216及び加算器217を付加するようにしても良い。
【0166】
第6の実施形態の特性変動検出部213Eでは、Dif_lev_rを、ゲイン計算部208Cに与えていたが、第7の実施形態の特性変動検出部213Fでは、ゲイン計算部が省略されているため、そのような処理は行われない点で異なっている。また、特性変動検出部213Fにおいては、Dif_lev_rを求める処理を省略するようにしても良い。
【0167】
第5、第6の実施形態の減算特性計算部214では、BG_NZY及びDif_freq_r(f)を用いて、sub_freq(f)を求めていたが、第7の実施形態の減算特性計算部214Fでは、Dif_freq_r(f)のみを用いてsub_freq(f)を求める点で異なっている。第6の実施形態では、BG_NZYの有無に応じて、上記の(13)式又は(14)式を選択的に適用していた。すなわち、第6の実施形態では、sub_freq(f)を求める際の係数を、BG_NZYの有無に応じて、C51又はC52のいずれかを選択的に適用していたが、第7の実施形態では、固定的な係数を用いて求めるようにしても良い。その際、C51又はC52のいずれかを適用するようにしても良いし、他の値を適用するようにしても良い。
【0168】
また、第5、第6の実施形態と同様に、別途近端ノイズ量判定部を設けて、減算特性計算部214Fにおいて上記の(13)式、(14)式を用いてsub_freq(f)を求めるようにしても良い。その際、第5、第6の実施形態と同様に、特性変動検出部213Fでも、近端のノイズレベルNLVL_Sに応じて、Sub_freq(f)を算出することができれば、その算出方法は限定されないものである。例えば、第5、第6の実施形態と同様に、BG_NZYの「有り」又は「無し」の2段階で、上記(13)式又は(14)式を適用するようにする構成だけでなく、近端のノイズレベルNLVL_Sの大きさに応じて、Dif_lev_r(f)に乗じる係数の値(例えば、上記の(13)式においては「C51」)を変更して、Sub_freq(f)を求める構成としても良い。
【0169】
(G−2)第7の実施形態の動作
次に、以上のような構成を有する第7の実施形態の音信号調整装置20Fの動作(この実施形態の音信号調整方法)について、図12を用いて説明する。
【0170】
まず、VAD_R202において、遠端信号において音声が含まれていないと判定されると、VAD_R202からchar_R210に、音声検出無しを示すNV_Rが与えられる。そして、NV_Rが与えられている間、char_R210では、A/D201からスピーカ11において逆流してくる信号のレベルNLVL_Rと、信号の周波数特性NP_R(f)が算出され、特性補正部212に与えられる。
【0171】
同様に、VAD_S205において、近端信号において音声が含まれていないと判定されると、VAD_S205からchar_S211に、音声検出無しを示すNV_Sが与えられる。そして、NV_Sが与えられている間、char_S211では、A/D15からマイクロホン14に入力される信号のレベルNLVL_Sと、信号の周波数特性NP_S(f)が算出され、特性補正部212に与えられる。
【0172】
特性補正部212では、char_R210からNLVL_Rが与えられ、かつ、char_S211からNLVL_Sが与えられている間、NLVL_Rのレベルと、NP_R(f)の周波数特性が補正され、補正後のNLVL_R、NLVL_S、NP_R(f)、NP_S(f)が特性変動検出部213Fに与えられる。
【0173】
そして、特性変動検出部213Fでは、上述の(4)が成立し、上記の(5)式が成立しない場合には、スピーカ11において、電話装置所持者の耳による遮音が発生していると判定され、上記の(12)式を用いて、Dif_freq_r(f)が算出されて減算特性計算部214Fに与えられる。
【0174】
減算特性計算部214Fでは、Dif_freq_r(f)を用いて、Sub_freq(f)が算出されてNC215に与えられる。そして、NC215により、近端信号について、減算特性計算部214Fから与えられたSub_freq(f)の分だけ減算され遠端側へ送出される。
【0175】
(G−3)第7の実施形態の効果
第7の実施形態においては、上述の特性変動検出部213F、減算特性計算部214F、NC215による近端側からのノイズの低減に係る機能に関する効果に限定されるが、上述の第5の実施形態の効果と同様の効果を奏することができる。
【0176】
(H)他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【0177】
(H−1)上記の各実施形態においては、本発明の電話装置を携帯電話端末に適用した例について説明したが、携帯無線端末(トランシーバ)や、固定電話装置など他の電話装置に適用するようにしても良いことは当然である。
【0178】
(H−2)第1の実施形態では、LV_Rで受話音声信号のレベルNLVL_Rを計算し、LV−Sで送話音声のレベルNLVL_Sを計算するようにしたが、LV_Rで受話音声信号のレベルを計算する代わりに、VAD_R202で計算したABS_L(n)、またはABS_L(n)をNLVL_Rとして用いてもよい。また、送信側も同様にLV_S204で送話音声信号NLVL_Sのレベルを計算する代わりに、VAD_S205で計算したABS_L(n)、またはABS_L(n)をレベルとして用いてもよい。
【0179】
(H−3)第1〜第4の実施形態では、レベル補正部206がNLVL_RのレベルをNLVL_Sに合わせこむようにしたが、受信側A/Dからの信号のダイナミックレンジが十分確保できる場合にはNLVL_RをそのままNLVL_R_rとして用いてもよい。これにより、装置構成を簡単にできより装置の小型化/省電力化が可能になる。この場合はレベル補正部を省略してLV_Rの出力と、LV_Sの出力をそのままレベル変動検出部に出力すればよい。
【0180】
(H−4)上記の各実施形態において、スピーカ11を流用してNV_Rを取得していたが、スピーカ11の周辺に別のマイクロホンを備えてNV_Rを取得するようにしても良い。
【符号の説明】
【0181】
10…電話装置、11…スピーカ、12…D/A、13…AMP、14…マイクロホン、15…A/D、20…音信号調整装置、201…A/D、202…VAD_R、203…LV_R、204…LV_S、205…VAD_S、206…レベル補正部、207…レベル変動検出部、208…ゲイン計算部、30…耳部、40…背景ノイズ源。
【技術分野】
【0001】
本発明は、音信号調整装置、プログラム及び方法、並びに、電話装置に関し、例えば、携帯電話端末に適用し得るものである。
【背景技術】
【0002】
従来、携帯電話端末で通話する際には、その特性上、屋外に持ち出して通話する事も多く、所持者の様々な状況に応じて通話が行われるのが通例である。携帯電話端末は、屋外で使用されることが普通であるばかりか、従来の屋外型電話装置よりも通話環境が劣悪な場合がしばしばである。
【0003】
たとえば従来、屋外の公衆電話器などに見られる電話BOXなどの設備の中に格納されることもなく、携帯電話端末がむき出しの状態で通話に用いられることのほうが普通である。その為、所持者近辺の背景雑音によって受話、送話の音声がききとりにくくなり、所持者が携帯電話端末を操作して通話音量を上げることによって、聞き取りやすくしていた。
【0004】
一方、携帯性を優先する必要性から装置を非常に小型化が進んだために、近年の携帯電話端末はスイッチ類、ボタン類は携帯電話端末の前面、側面などに極度に密集し、目視による操作部の識別と位置確認が必要になっている。このことは、携帯電話端末において、次に述べるような会話の円滑を妨げる不都合を発生させるにいたっている。
【0005】
携帯電話端末所持者が、受話音量が小さいことに気がつくのは、実際には会話が始まってしまってからであることがしばしばである。会話が始まってから受話音量を好みの大きさに変更するには、携帯電話の操作部を操作する必要があるが、近年の小型化した携帯電話では目視せずの手探りでは目的の音量ボタンを探し当てることが困難であるばかりか、装置自体の小型化、多機能化のために、操作のためのボタン類が増加しており、不注意に目的以外のスイッチ類を操作してしまうと、所持者の意図とはことなる機能が動作を始めてしまう虞がある。また、目視による確認を行うためには携帯電話端末をいったん顔から放して操作する必要があるのだが、この操作をしていることは、電話機を通した会話相手にはわからないため、特段相手にたいして事前に断ってから操作をしない限りは、遠方の通話相手はこちらが話を聞いていると考えて会話を続けてしまう。結果、せっかく話した内容は携帯電話端末所持者に伝わることがない。厄介なことに、携帯電話端末が音声による意思伝達装置である特質から、通話相手にしてみれば、こちらがたまたま装置の操作を行ったせいで発生した会話の聞き逃しなのか、そもそも興味を払っていないための聞き逃しなのかを区別する方法がないから、会話断の後の会話者同士の心理的な円滑さまで損なう可能性があるものであった。
【0006】
以上のような不都合を回避するために、特許文献1には携帯電話端末の操作ボタンを操作しなくてもレシーバ付近に収納された接触式センサを利用して、耳を押し付けることで発生する機械的な圧力の大小で受信音量を自動に調節する技術が開示されている。
【0007】
特許文献2には形態端末所持者の周囲雑音の大きさをマイクで検出し、雑音が大きいときには受話音量が大きくなる技術が開示されている。
【0008】
特許文献3には携帯電話端末とレシーバの間の空間に音圧センサを設けて、耳とレシーバの間の小空間が密閉されることで閉空間が形成されることで発生する音圧の変化を検出し、耳がレシーバに密着して閉空間の音圧が大きくなると、受話音量を抑え、耳の密着度が小さいと受話音量を大きくする技術が開示されている。
【0009】
特許文献4には所持者が受話音声を大きくしたいとき、ボタン操作をせずに携帯所持者自身の声を大きくしてマイクロホンに大きな音声を入力すると、それに応じて、スピーカ音量を大きくする技術が開示されている。
【0010】
特許文献5には携帯電話端末の表示装置と同じ面につけられたカメラ画像を解析し、黒の要素が閾値以上のときに、携帯電話が耳についていると判定してレシーバから受話音声信号を出力し、そうでないときはハンズフリーモードとして携帯電話に別に実装されたハンズフリースピーカから受話音声を出力する技術が開示されている。
【0011】
特許文献6にはマイクロホンごとに周囲雑音を記録しておき、選択したマイクロホンに応じたノイズ特性を読み出して周波数減算によってノイズ抑圧を行う装置が開示されている。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開2005−20730号公報
【特許文献2】特開平01−241208号公報
【特許文献3】特開平7−38624号公報
【特許文献4】特開平11−284694号公報
【特許文献5】特開2008−187221号公報
【特許文献6】特開2007−116585号公報
【特許文献7】特開平7−202998号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
しかしながら、上記の従来技術は以下に述べるように実際の利用では不都合があった。
【0014】
近年、携帯電話端末は多機能、小型化がすすんでおり、多機能が進んだ分、操作の種類やボタンの数が増え、もはや端末上への新たなセンサや部品の増設が困難になっているのが実情である。
【0015】
特許文献1の技術は新たにレシーバ周辺に圧力センサを組み込む必要があり、実装が困難であった。特許文献2には余分なセンサを増設せずに通常携帯電話に用いるマイクロホンを用いて周囲雑音の大きさを検出し、周囲雑音の大きさに応じて受話音量を大きくする技術が開示されている、しかし特許文献2の技術ではあくまでも周囲雑音の大きさが受話音量の大きさを制御するのであって、携帯電話所持者の意図と一致するものではなかった。たとえば、雑音がさほど大きくなくても相手の声そのものが小さい場合などには特許文献2の技術は効果がなかった。さらに特許文献3、4には携帯電話所持者の通話中の振る舞いが受話音量の大きさに反映される技術が開示されているが、特許文献3の技術は特許文献1の技術と同様に新たに音圧センサの増設が必要になる。加えて、実際には特許文献3に開示されるような携帯電話と耳との密着が発生することがまれであるので効果が少なかった。しかも、通常、受話音声が聞きにくいときにはレシーバに耳をより強く押し付けるのであるから特許文献3の技術では逆に耳の接触で音量を小さくしてしまうので、音量が小さく聞きにくい受話音声がなおさら聞きにくくなってしまう欠点があった。これに対し、特許文献4では特許文献1〜3の不都合に対して、新たなセンサ類を増設せず、しかも携帯電話所持者の意図が反映でき、ボタン類の操作を一切必要としない優れた技術が開示されている。
【0016】
しかしながら、特許文献4の方法は受話音量を大きくするために携帯電話所持者が声を大きく発声する必要があった。これはつまり、通話相手の音量が小さいだけで、とくに周囲雑音がさほど大きくないときにも、携帯電話所持者自身は大きな声を出す必要があり、静かなら環境では周囲にとっては迷惑になるために実際には機能の使用がためらわれる場合がしばしばであった。
【0017】
また、逆に周囲が背景雑音でうるさいときには特許文献4の技術はノイズと話者音声信号の区別の有無にかかわらず、レベルが増加し、マイクロホン入力が大レベルを検出するようになるので、応じてスピーカボリウムも大きくなるので、携帯電話所持者の端末のレシーバから出力される音声信号の音量は大きくなるので都合がよいが、一方でマイク入力はノイズが混じってレベルが大きくなった信号のパワーを予め定めた送信振幅基準値にあわせて送信しているだけなので相手側への音声はノイズ感が多いままという欠点があった。
【0018】
また、特許文献5には、携帯電話に装備されたカメラを用い、カメラに写る画像を解析して映像に黒い部分が多ければ顔が非常に近いとして通常モードとしてレシーバに受話音声を出力し、そうでなければハンズフリーモードとしてハンズフリースピーカに受話音声を切り替え出力する技術が開示されている。
【0019】
しかし実際の携帯電話では特許文献5に開示される状態とは異なり、カメラは表示ディスプレー装置などと反対面を撮像するように実装されることがほとんどである。つまり、いったん会話が始まってから受話音量を変更しようとすると、カメラの向きを変更する必要があり、そうであれば、ボタン操作をするためにいったん携帯電話を目視する不都合とあまり大差がなく問題を解決できていない。
【0020】
また、照明が暗い部屋などでは話者の意図とは関係なく受話信号が制御されてしまうという欠点は解決できないものであった。
【0021】
特許文献6の技術は複数マイクの切り替えを実施できるときにはいいが、1つのマイクがさまざまな場所に移動する場合は効果が小さかったし、周波数減算法を行うためには一旦ノイズまじり音声で正確な音声検出を行わなければ、ノイズ除去の性能は著しく劣化する欠点があった。
【0022】
上述のような問題点を鑑み、電話装置において低コストで音信号を調整することができる音信号調整装置、プログラム及び方法、並びに、電話装置が望まれている。
【課題を解決するための手段】
【0023】
第1の本発明は、(1)スピーカ部とマイクロホン部とを備える電話装置に搭載された音信号調整装置において、(2)上記スピーカ部の周辺における第1の音信号を捕捉するスピーカ周辺音捕捉手段と、(3)上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定する遮音判定手段と、(4)上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御する音量制御手段とを有していることを特徴とする音信号調整装置。
【0024】
第2の本発明の音信号調整プログラムは、(1)スピーカ部とマイクロホン部とを備える電話装置に搭載されたコンピュータを、(2)上記スピーカ部の周辺における第1の音信号を捕捉するスピーカ周辺音捕捉手段と、(3)上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定する遮音判定手段と、(4)上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御する音量制御手段として機能させることを特徴とする。
【0025】
第3の本発明の音信号調整方法は、(1)スピーカ部とマイクロホン部とを備える電話装置における音量制御方法において、(2)スピーカ周辺音捕捉手段、遮音判定手段、音量制御手段を有し、(3)上記スピーカ周辺音捕捉手段は、上記スピーカ部の周辺における第1の音信号を捕捉し、(4)上記遮音判定手段は、上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定し、(5)上記音量制御手段は、上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御することを特徴とする。
【0026】
第4の本発明の電話装置は、第1の本発明の音信号調整装置を搭載したことを特徴とする。
【発明の効果】
【0027】
低コストで、かつ、わずらわしいボタン操作を必要とせずに、周囲環境条件のみに支配されず、装置使用者の意志を反映して音信号を調整でき、かつ、電話の使用者が大声をだして話者の周囲にいる人に迷惑をかけることがないように音信号を調整することができる電話装置を提供する。
【図面の簡単な説明】
【0028】
【図1】第1の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図2】第1の実施形態に係る、レベル補正部における補正処理を行う構成の例について説明する。
【図3】第1の実施形態の電話装置のスピーカにおいて、近端話者の耳介により遮音が発生する様子について示した説明図である。
【図4】第1の実施形態のレベル変動検出部において、NLVL_Rの変動とNLVL_Sの変動を用いて、耳介による遮音を検出する方法について示した説明図である。
【図5】第2の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図6】第3の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図7】第4の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図8】第5の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図9】第5の実施形態に係る特性補正部において、周波数特性に係る補正について示した説明図である。
【図10】第5の実施形態に係る特性変動検出部において、Dif_freq_r(f)を算出する処理について示した説明図である。
【図11】第6の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【図12】第7の実施形態に係る電話装置及び音信号調整装置の機能的構成について示したブロック図である。
【発明を実施するための形態】
【0029】
(A)第1の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第1の実施形態を、図面を参照しながら詳述する。
【0030】
(A−1)第1の実施形態の構成
図1は、この実施形態の電話装置10及び音信号調整装置20全体構成を示すブロック図である。
【0031】
電話装置10は、ディジタル・アナログ変換器(以下「D/A」という)12、スピーカまたはレシーバ(以下、「スピーカ」という)11、増幅器(以下、「AMP」という)13、マイクロホン14、アナログ・ディジタル変換器(以下、「A/D」という)15及び音信号調整装置20を有している。
【0032】
図1において、図示は省略しているが、右側が遠端側、左側が近端末者側を表している。又、図1においては図示を省略しているが、電話装置10には、電話発信するためのプッシュボタン等、電話装置として必要な他の構成を備えているものとする。また、図1において、電話装置10は、携帯電話端末であるものとして説明するが、電話装置10は有線による固定電話であっても良く、電話装置の種類は限定されないものである。
【0033】
電話装置10において、電話装置所持者(以下、「近端話者」ともいう)が発声することにより、マイクロホン14に近端信号が入力されると、近端信号はA/D15によりディジタル信号に変換され遠端側に向けて送出される。
【0034】
電話装置10において、遠端信号は、AMP13により増幅され、さらに、D/A12によりアナログ信号に変換された後、スピーカ11では順方向では電気信号を音信号に変換し音信号は空間に放出され、近端話者に供せられる。その際に、背景ノイズ源40から発せられるノイズにより、近端話者のスピーカ11から出力される音声の聴き取りが阻害される場合があるものとする。また、背景ノイズ源40により、近端話者のスピーカ11から出力される音声の聴き取りが阻害される度合いは変動する場合があるものとする。また、音信号調整装置20は、近端話者のスピーカ11からの音声の聴き取りを容易にするために、AMP13を介して、スピーカ11から近端話者に出力される音声の音量を制御するものである。
【0035】
音信号調整装置20は、A/D201、受信側音声検出器(以下、「VAD_R」という)22、受信側レベル計算部(以下、「LV_R」という)203、送信側レベル計算部(以下「LV−S」という)204、送信側音声検出器(以下「VAD_S」という)205、レベル補正部206、レベル変動検出部207、ゲイン計算部208、を有している。また、音信号調整装置20は、CPU、ROM、RAM、EEPROM、ハードディスクなどのプログラムの実行構成(1台に限定されず、複数台を分散処理し得るようにしたものであっても良い。)に、実施形態の音量制御プログラム等をインストールすることにより構築しても良く、その場合でも機能的には図1により示すことができる。また、音信号調整装置20は、全ての構成要素をハードウェアにより実現しても良いし、一部の構成要素を上述のようにプログラム(ソフトウェア)を用いて実現するようにしても良い。
【0036】
VAD_R202は、遠端信号において、遠端話者の音声の有無を検出するものである。また、VAD_S205は、近端信号において、近端話者の音声の有無を検出するものである。
【0037】
A/D201は、スピーカ11において、背景ノイズ源13から到達したノイズなどが電気信号に変換されると、その電気信号をディジタル信号に変換し、LV_R203に与える。一般的に、スピーカ11が電気音響変換素子であるが、性能は劣るものの、マイクロホン14と同様に音を電気信号に変換できる性質がある。このときスピーカ11をマイクロホン14と同様に扱うことができる。すなわち、A/D201では、マイクロホンとしてスピーカ11が機能した場合に逆流してくる信号を取得して、ディジタル信号に変換する機能を担っている。例えば、スピーカ11がいわゆるダイヤフラム式のように、電気振動により振動板を振動させて音を発生させるものであれば、ノイズなどの音がスピーカにおける振動板を振動させることにより、電気信号に逆変換されA/D201に供給することができる。
【0038】
VAD_R202は、遠端信号としてAMP13から出力される信号を取得して、その信号において音声の有無を検出する。VAD_R202において、遠端話者の音声の有無を検出する構成は、既存の電話装置に搭載されているものを適用するようにしても良く、限定されないものである。VAD_R202は、遠端話者の音声の検出がされていない間、音声が出力されていない旨を通知する信号(以下、「NV_R」という)の出力を継続し、遠端話者の音声が検出されるとNV_Rの出力を停止する。VAD_R202から、NV_Rが出力されている間は、遠端信号において音声信号がないときであるから、受信側A/D201の出力は背景ノイズ源30からスピーカ11からの信号がアナログ・ディジタル変換を受けた背景ノイズがLV_R203に入力されていることになる。
【0039】
VAD_S205は、近端信号としてVAD_S205に入力される信号を取得して、その信号において、音声の有無を検出する。VAD_S205において、近端話者の音声の有無を検出する構成は、VAD_R202と同様の構成を適用することができるため、詳しい説明を省略する。VAD_S205は、近端話者の音声の検出がされていない間、音声が出力されていない旨を通知する信号(以下、「NV_S」という)の出力を継続し、近端話者の音声が検出されるとNV_Sの出力を停止する。
【0040】
次に、VAD_R202において、遠端信号から遠端話者の音声の有無を検出する構成の例について説明する。なお、以下の説明において、遠端信号(AMP13に入力される信号)は、離散時間信号x(n)(nはディジタルサンプル順)で表されるものとして説明する。
【0041】
VAD_R202では、信号レベルの長期平滑特性ABS_L(n)と短期平滑特性ABS_S(n)の乖離を用いて、遠端信号における音声の有無を判定するものとする。例えば、以下の(1)式に示すように信号レベルの長期平滑特性ABS_L(n)を計算し、以下の(2)式に示すように信号レベルの短期平滑特性ABS_S(n)を計算し、その計算結果を利用して判定しても良い。なお、以下の(1)及び(2)式ではδ1=0.0001、δ2=0.01であるものとして説明するが、これに限定されないものである。なお、以下、(1)式及び(2)式では、「||」は絶対値を表すが、絶対値ではなく自乗を用いるようにしてもよい。
【0042】
ABS_L(n)=(1.0−δ1)ABS_L(n−1)+δ1|x(n)|…(1)
ABS_S(n)=(1,0−δ2)ABS_S(n−1)+δ2|x(n)|…(2)
上記の(1)式及び(2)式において、δ1およびδ2は、δ1<δ2、かつ、0<δ1<1.0、0<δ2<1.0を満たす係数であり、値が大きくなれば信号の急峻な特性に追従する代わりに計算結果はノイズの影響を受けやすくなり、逆に値が小さくなれば信号の大まかな特性に追従し、ノイズの影響はあまり受けなくなるという特性がある。
【0043】
次に、音声有無の判定閥値(以下、「TH_VAD」という)を用いて、以下の(3)式を満足するときに「音声あり」と判定をする。以下、(3)式において、判定閥値TH_VADとしては、例えば、6dBを適用するものとして説明するが、これに限定されないものである。
【0044】
ABS_S(n)≧ABS_L(n)+TH_VAD…(3)
以上のように、VAD_R202では、遠端信号から音声の有無を検知する。なお、音声検出の方法は近端信号(マイクロホン14の出力信号)を用いることだけを除けばVAD_S205における処理も同様であるため、詳しい説明を省略する。
【0045】
LV_R203は、VAD_R202からNV_Rが出力されている間、すなわち、遠端信号において音声が検出されていない間だけ、A/D201から入力されるスピーカ逆流信号(この場合には背景ノイズ)のレベル(以下、「NLVL_R」という)を算出して、レベル補正部206に与える。
【0046】
LV_S204は、VAD_S205からNV_Sが出力されている間、すなわち、近端信号において音声が検出されていない間だけ、A/D15から入力される近端信号(この場合には背景ノイズ)のレベル(以下、「NLVL_S」という)を算出して、レベル補正部206に与える。LV_S204は、NLVL_Sをレベル補正部206に与える。
【0047】
レベル補正部206は、LV_R203から与えられるNLVL_Rの値と、LV_S204から与えられるNLVL_Sの値について、補正を行うものである。上述の通り、NLVL_Rはスピーカ11から逆流してくる信号のレベルであり、NLVL_Sはマイクロホン14により取得した信号のレベルであるが、スピーカ11の集音性能はマイクロホン14には及ばないため、レベル補正部206により、その集音性能の差を補正する処理を行い、補正処理後のNLVL_R及びNLVL_Sを、レベル変動検出部207も与える。
【0048】
次に、レベル補正部206における補正処理を行う構成の例について説明する。
【0049】
図2は、レベル補正部206における補正処理の例について説明した説明図である。
【0050】
図2(a)は、補正前のNLVL_Rのレベルを示したグラフであり、図2(b)は、NLVL_Sのレベルを示したグラフである。そして、図2(c)は、NLVL_Rが補正される様子について示した説明図である。
【0051】
まず、レベル補正部206では、一旦NLVL_RをNLVL_Sと同じレベルとなるα倍して補正し、NLVL_R_rとする。
【0052】
レベル補正部206では、スピーカ11から逆流する電気信号は本来音を電気信号に変換するマイクロホン14に比べれば性能が劣っているため、その性能差を補正が行われる。レベル補正部206では、このように一旦NLVL_R_rを計算した後は、その際算出した補正用の係数αを固定し、以後は、単にNLVL_R_rをα倍してレベル変動検出部207に出力するように動作する。なお、上述の補正用の係数αは、予め、スピーカ11とマイクロホン14の集音の性能差に基づいて設定した値を使用するようにしても良いし、上述のように、当初のNLVL_R及びNLVL_Sを用いて算出するようにしても良く、その設定方法は限定されないものである。
【0053】
図3は、第1の実施形態の電話装置10のスピーカ11において、近端話者の耳介により遮音が発生する様子について示した説明図である。
【0054】
レベル変動検出部207では後述するように、レベルの変動を検出する。レベル変動検出部207の動作について、図3を用いて説明する。図示しない遠端話者の音声のレベルが小さく、聞き取りにくいときは、電話装置所持者は相手の音声をよく聞こうとしてスピーカ11に耳を近づけたり、押し付けたりすることが多い。電話装置所持者の耳がスピーカ11に近づくと、耳介がスピーカ11に対して遮音壁として作用する。
【0055】
ここで耳による遮音の効果について説明する。近年の携帯電話装置は小型がすすんでいるため、スピーカ11部の形状はあまり人間の耳と密着できることを重視した形状は配慮されていない。つまり従来特許文献3に開示されるがごとく鼓膜、外耳道、形態電話器壁面によって密閉空間を作り出すことはできないのが実情である。しかしながら、耳介がスピーカ11に近くなることは、少なくとも耳介が遮音壁の役目をはたし、密閉する事はできなくてもスピーカ11に対しての雑音を一部遮音できることを意味している。図3では耳がスピーカ11に近づいて背景ノイズを遮音している様子を示した。このとき、耳が近づくことによってスピーカ11からの逆流信号レベルNLVL_R_r(NLVL_R)は耳介に遮音された分だけ小さくなる。
【0056】
図4は、NLVL_R_rの変動とNLVL_Sの変動を用いて、耳介による遮音を検出する方法について示した説明図である。
【0057】
図4(a)は、スピーカ11において遮音を検出した場合のNLVL_R_rの変動例を示したグラフであり、図4(b)は、スピーカ11において遮音を検出した場合のNLVL_Sの変動例を示したグラフである。
【0058】
図4において、NLVL_R_r1は、任意のタイミングで取得されたNLVL_R_rを示し、NLVL_S1は、NLVL_R_r1と同じタイミングで取得されたNLVL_Sである。また、NLVL_R_r2は、NLVL_R_r1以後のタイミングで取得されたNLVL_R_rを示し。NLVL_S2は、NLVL_R_r2と同じタイミングで取得されたNLVL_Sである。
【0059】
図4に示す通り、レベル変動検出部207に入力されている信号NLVL_R_r1は耳介による遮音を受けてレベルが急に降下した場合NLVL_R_r2のようになる。一方NLVL_Sではそのようなことがない。通常の通話中にマイクロホン14を顔でふさぐことはほとんどないからである。マイク側はせいぜい顔が近づく程度であり、スピーカ11側ほどには遮音を受けることがない。この実施形態では耳介による遮音がδrecを超えたとき、すなわち、レベルの降下が式(4)を満たすとき、耳介の接近による遮音があったと判定するものとする。ここでは、δrecは6dBとするが、これに限定されない。
【0060】
NLVL_R_r2<NLVL_R_r1−δrec…(4)
なお、NLVL_R_rが急に降下するタイミングを検出する方法としては、例えば、電話装置10が動作を開始してからNLVL_R_rの最大値をNLVL_R_r1、最小値をNLVL_R_r2とし、上記の(4)式を満たす場合には、NLVL_R2を取得したタイミングを、NLVL_Rが急降下したタイミングとして検出するようにしても良い。また、例えば、所定の時間間隔おきのタイミングでNLVL_R_rをサンプリングし、直前のタイミングで取得したNLVL_RをNLVL_R_r1、最新に取得したNLVL_R_rをNLVL_R_r2として、上記の(4)を満たす場合に、NLVL_R_rが急降下したタイミングとして検出するようにしても良い。このように、NLVL_R_rが急に降下するタイミングを検出する方法は、限定されないものである。
【0061】
一方で、送信側のレベルNLVL_Sにおいても以下の式(5)の判定式を用いて背景ノイズレベルの変動を検出するものとする。ここで、δsendは3dB程度とするが、これに限定されない。
【0062】
NLVL_S2<NLVL_S1−δsend…(5)
送信側(マイクロホン14)において遮音が発生しているということは、例えば、電話装置をうつぶせに伏せて机上などにおいたか、手でふさいだかなどしているためであるので、会話状態にはないことや、背景ノイズ源40からのノイズ自体が急に低下したことなどを示している。そこで式(5)が成立しているきには、たとえ式(4)が成立している場合であっても後述するAMP13の増幅は行わない。レベル変動検出部207は、式(4)が成立し、式(5)が成立しないとき、スピーカ遮音検出信号shをゲイン計算部208に出力する。レベル変動検出部207は、それ以外のときは何も出力しない。
【0063】
ゲイン計算部208はスピーカ遮音検出信号shを入力されたとき、AMP13で信号を増幅するためのゲインを計算する。本実施形態においてスピーカ遮音検出信号shを入力されたとき、ゲイン計算部208は12dBのゲインを発生するものとするが、発生させるゲインはこれに限定されないものである。ゲイン計算部208は計算したゲインをAMP13に出力し、AMP13は受話信号を増幅してスピーカ11に出力する。
【0064】
LV_R203では信号のレベルNLVL_Rをレベル補正部206に出力する一方でマイクロホン14からは送信側A/D15でディジタル変換された背景ノイズ信号が送信側レベル計算部LV_S204とVAD_S205に出力されている。
【0065】
AMP13の増幅率は初期状態では1.0であり信号を増幅も減衰もしないものとするがこれに限定されない。AMP13の出力は受信側D/A12に出力されアナログ信号に変換されてスピーカ11に出力される。
【0066】
(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態の音信号調整装置20における音量制御の動作(この実施形態の音信号調整方法)について、図1を用いて説明する。
【0067】
まず、VAD_R202において、遠端信号において音声が含まれていないと判定されると、VAD_R202からLV_R203に、音声検出無しを示すNV_Rが与えられる。そして、NV_Rが与えられている間、LV_R203では、A/D15からスピーカ11において逆流してくる信号のレベルが算出され、NLVL_Rとしてレベル補正部206に与えられる。
【0068】
同様に、VAD_S205において、近端信号において音声が含まれていないと判定されると、VAD_S205からLV_S204に、音声検出無しを示すNV_Sが与えられる。そして、NV_Sが与えられている間、LV_S204では、A/D15からマイクロホン14に入力される信号のレベルが算出され、NLVL_Sとしてレベル補正部206に与えられる。
【0069】
レベル補正部206では、LV_R203からNLVL_Rが与えられ、かつ、LV_S204からNLVL_Sが与えられている間、NLVL_Rのレベルが補正され、補正後のNLVL_R_r、NLVL_Sがレベル変動検出部207に与えられる。
【0070】
そして、レベル変動検出部207では、上述の(4)が成立し、(5)式が成立しない場合には、スピーカ11における遮音度合が所定以上であるとみなされ、スピーカ遮音検出信号shが、ゲイン計算部208に与えられる。
【0071】
そして、ゲイン計算部208では、スピーカ遮音検出信号shが与えられている間は、スピーカ遮音検出信号shが与えられていない間と比較して、遠端信号により大きなゲインが発生するようにA/D15を制御される。
【0072】
(A−3)第1の実施形態の効果
第1実施形態によれば、以下のような効果を奏することができる。
【0073】
電話装置のスピーカ11を音電気変換機として流用して、NLVL_R(NV_R)を取得し、マイクロホン14を用いて取得したNLVL_S(NV_S)の変動と比較することにより、電話装置所持者の耳がスピーカ11の一部を覆うことで発生する遮音効果で低下することを検出し、耳による遮音効果を検出したときにゲイン計算部208が受話音声の音量を増加する倍率を計算してAMP13で受話音量を増加するようにしている。これにより、単に背景ノイズの大小ではなく電話装置所持者が音をよく聞き取ろうとする動作(耳介をスピーカ11に押し付ける動作)を検出して、音圧センサなどの別途部品を備えることなく、低コストで音量を調整することができる。また、電話装置所持者が特段、大音声を発生することもないので、周囲に迷惑にならず、受話中であってもボタン類の操作をしないまま相手側から到来する受信音声信号に音量を与えることができる電話装置を実現することができるのである。
【0074】
(B)第2の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第2の実施形態を、図面を参照しながら詳述する。
【0075】
(B−1)第2の実施形態の構成
図5は、この実施形態の電話装置10A及び音信号調整装置20Aの全体構成を示すブロック図である。
【0076】
図5において、第1の実施形態と異なるのは、レベル変動検出部207及びゲイン計算部208が、それぞれ、レベル変動検出部207A及びゲイン計算部208Aに置き換わったことであり、そのほかの構成は第1の、実施形態と同様であるので詳しい説明は省略する。以下、第1の実施形態との差異について説明する。
【0077】
レベル変動検出部207Aは、上記の(4)式が成立し、かつ、上記の(5)式が成立しないとき、第1の実施形態と異なり、以下の(6)式で計算するレベル変動値Dif_lev_rをゲイン計算部208Aに出力し、それ以外のときはDif_lef_r=0(db)を出力する。
【0078】
Dif_lev_r=NLVL_R_r_2 − NLVL_R_r_1…(6)
そして、ゲイン計算部208Aは、Dif_lev_rに応じて係数を乗じ、以下の(7)式に従ってゲイン(Grec)を計算する。
【0079】
Grec=δ20×Dif_lev_r…(7)
上記の(7)式において、δ20は差分を増幅する定数であり、この実施形態ではδ20=2.0としても良いが、これに限定されない。ゲイン計算部208Aは計算したゲインをAMP13に出力し、AMP13では、ゲイン計算部208Aから与えられたゲインに従って受話信号を増幅してスピーカ11に出力する。
【0080】
この実施形態においては、ゲイン計算部208Aでは、上記の(7)式を用いてゲインを計算するものとして説明したが、Dif_lev_rに応じたゲインを算出できる方法であれば、その計算式は上記の(7)式に限定されないものである。また、上記の(7)式のようにその都度計算して求めるのではなく、あらかじめ経験的、実験的に求めた参照表を参照して、適用するゲインを適用するようにしても良い。
【0081】
(B−2)第2の実施形態の動作
次に、以上のような構成を有する第2の実施形態の音信号調整装置20の動作(この実施形態の音信号調整方法)について、図5を用いて説明する。
【0082】
上述の通り、第1の実施形態と第2の実施形態では、レベル変動検出部及びゲイン計算部の動作が異なるだけであるので、その差異部分の動作についてのみ説明する。
【0083】
レベル変動検出部207Aでは、上述の(4)が成立し、上記の(5)式が成立しない場合、すなわち、スピーカ11において電話装置所持者の耳による遮音が発生していると判定される場合には、さらに上記の(6)式を用いて遮音度合を示すDif_lev_rが算出され、ゲイン計算部208Aに与えられる。ただし、上述の(4)が成立し、上記の(5)式が成立しない場合以外には、レベル変動検出部207Aは、Dif_lef_r=0(db)をゲイン計算部208Aに与える。
【0084】
そして、ゲイン計算部208Aにより、レベル変動検出部207Aから与えられるDif_lef_rに応じたゲインが算出され、AMP13が制御される。
【0085】
(B−3)第2の実施形態の効果
第2の実施形態によれば、以下のような効果を奏することができる。
【0086】
以上説明したように、本実施形態によれば、第1の実施形態と異なり、レベル変動検出部207がレベルの変動分をゲイン計算部208に出力し、AMP22はゲイン計算部208の計算したゲインを信号に施すようにしたので、電話装置所持者の耳によるノイズ遮音度合に応じて滑らかに受話音声の音量を変更することができるようになり、よりきめの細かい音量制御をおこなって、快適な通話を可能にできるのである。また、スピーカを耳に強く押し付けたときに、単にスピーカを耳にあてたときよりも大きい音量にすることができ、ユーザの音量を大きくして欲しいとする要求に応えることができる。
【0087】
(C)第3の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第3の実施形態を、図面を参照しながら詳述する。
【0088】
(C−1)第3の実施形態の構成
図6は、この実施形態の電話装置10B及び音信号調整装置20Bの全体構成を示すブロック図である。
【0089】
第3の実施形態の構成が第2の実施形態の構成と異なるのは、VAD_R202がVAD_R202Bに置き換わり、VAD_R202Bは、AMP13とD/A12との間に配置されていることである。そのほかの構成は第2の実施形態と同様であるので詳しい説明は省略する。以下、第2の実施形態との差異について説明する。
【0090】
VAD_R202Bは、通常AMP13から与えられる遠端信号を、通常時はそのままD/A12に供給するが、遠端信号に音声信号が含まれていないと判定した場合には、D/A12への遠端信号の供給を停止する点で、第2の実施形態と異なっている。なお、VAD_R202Bにおいて、遠端信号における音声の有無を判定する方法は、上述の第1及び第2の実施形態と同様であるので詳しい説明を省略する。
【0091】
なお、第3の実施形態の音信号調整装置20Bについては、図6に示すように、第2の実施形態のVAD_R202をVAD_R202Bに置き換えた構成について説明したが、同様に、第1の実施形態のVAD_R202をVAD_R202Bに置き換えたものとして構築するようにしても良い。
【0092】
(C−2)第3の実施形態の動作
第3の実施形態の音信号調整装置20Bについては、図6に示すように、第2の実施形態のVAD_R202をVAD_R202Bに置き換わり、VAD_R202Bでは、遠端信号に音声信号が含まれていないと判定した場合には、D/A12への遠端信号の供給を停止する点で、第2の実施形態と異なるだけであるので、詳しい説明を省略する。
【0093】
(C−3)第3の実施形態の効果
第3の実施形態によれば、以下のような効果を奏することができる。
【0094】
VAD_R202Bにおいて遠端信号に音声信号が含まれていないと判定した場合に、D/A12への遠端信号の供給を停止することにより、遠端信号において比較的大きなノイズが重畳しているとき、スピーカ11から放出された遠端信号による音が、エコーとなってNLVL_R(NV_R)に入り込んで、音信号調整装置20Bにおいて誤動作を起こす頻度を低減することができる。遠端話信号において大きなノイズが重畳していても、第1及び第2の実施形態では、遠端側からの信号は透過されて、D/A12に供給されてしまうので、VAD_R202が音声信号なしと判定しても、遠端側からのノイズがスピーカ11出力を経由して、A/D201に入力され、さらにLV_R203に入力されて、背景ノイズ源13からのノイズと交じり合ったままノイズレベルとして計算されてしまう。結果、音信号調整装置20において背景ノイズレベル計算の精度を劣化させてしまう。しかし、第2の実施形態のように、VAD_R202Bにより、遠端信号に音声が含まれていないと判定した場合に、D/A12へ遠端信号の供給を遮断することで、スピーカ11から逆流する電気信号は電話装置所持者近辺の背景ノイズに限定できるようになり、正確な背景ノイズレベルを計算して、遠端信号をより適切に音量制御し、上述のような背景ノイズレベル計算の精度を劣化させてしまう頻度を低減することができる。
【0095】
(D)第4の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第3の実施形態を、図面を参照しながら詳述する。
【0096】
(D−1)第4の実施形態の構成
図7は、この実施形態の電話装置10C全体構成及び音信号調整装置20Cを示すブロック図である。
【0097】
図7は第4の実施形態である。第4の実施形態の構成が第3の実施形態の構成と異なるのは、ゲイン計算部208Aがゲイン計算部208Cに置き換わり、さらに、新たに近端ノイズ量判定部209がLV_S204とゲイン計算部208Cの間に設けられている点である。そのほかの構成は第3の、実施形態と同様であるので詳しい説明は省略する。以下、第3の実施形態との差異について説明する。
【0098】
第1の実施形態と同様にLV_S204は送信話者音声なしのとき、近端のノイズレベルNLVL_Sを計算する。そして、近端ノイズ量判定部209は入力された近端ノイズレベルNLVL_Sを予め定めた閾値TH_BG_Sと比較し、閾値TH_BG_Sを上回ったとき、近端の電話装置所持者の背景雑音環境がノイズの多い環境であると判定する。具体的には以下の(8)式を満足したとき、近端の電話装置所持者の背景雑音環境がノイズの多い環境であると判定し、大背景ノイズ判定信号BG_NZYをゲイン計算部208Cに出力し、以下(8)式を満足しないときには何も出力しない。
【0099】
NLVL_S≧TH_BG_S…(8)
ここで、第4の実施形態では、大背景ノイズ閾値TH_BG_Sをディジタル振幅値の−30dBm0と設定するようにしても良い(第3の実施形態で、0dBm0は国際通信規格ITU−T G.711に規定される1kHzトーンの振幅を基準とした)。ただし、大背景ノイズ閾値TH_BG_Sをこの値に限定されないものである。
【0100】
一方でゲイン計算部208Cには第2の実施形態と同様に、レベル変動検出部207Aからレベル変動値Dif_lev_rが入力されている。
【0101】
ゲイン計算部208CはDif_lev_rの値と、BG_NZYの有無に応じて以下の(9)式及び(10)式のようにゲインを計算して、AMP13に出力する。ただし、BG_NZYの有のときには以下の(9)式を適用し、BG_NZYの無しのときには以下の(10)式を適用するものとする。また、δ40、δ41は倍率を表す定数であって、以下の(11)式の関係を満たすものである。
【0102】
Grec=δ40×Dif_lev_r…(9)
Grec=δ41×Dif_lev_r…(10)
δ40≧δ41…(11)
上記の(9)〜(11)式において、δ40=4.0とし、δ41=2.0としても良いが、これに限定されないものである。
【0103】
ゲイン計算部208Cは計算したゲインGrecをAMP13に出力し、AMP13は遠端信号をゲインGrecを乗じて増幅してからスピーカ11に出力する。
【0104】
第4の実施形態では上記の(9)式及び(10)式のようにゲインを計算したが、第3の実施形態と同様に、Dif_lev_rに応じて適切なゲインを発生できる計算方法であれば計算式(7)に限定されないものである。また、上記の(9)式及び(10)式のような計算式によらずに、上記の(11)式の関係、すなわち、BG_NZYの有のときのほうのゲインが、BG_NZYの無しのときのゲインより大きくなる関係を保てば、他の計算式を用いるようにしても良い。また、BG_NZYが有のときのほうのゲインが、BG_NZYが無しのときのゲインより大きくなるように、あらかじめ経験的、実験的に求めた参照表を参照して適用するようにしてもよい。また、本実施形態ではAMP13をディジタル信号の段階で増幅するようにしたが、D/A12とレシーバの間にアナログ増幅器を設けて、一旦ゲイン計算部208Cで計算したゲインをアナログ増幅器で乗算するようにしてもよい。
【0105】
また、ゲイン計算部208Cでは、上述の通り、BG_NZYの「有り」又は「無し」の2段階で、上記(9)式又は(10)式を適用するようにしたが、近端のノイズレベルNLVL_Sの大きさに応じて、Dif_lev_rに乗じる係数の値(例えば、上記の(9)式においては「δ40」の値)を変更して、Grecを求めるようにしても良い。すなわち、ゲイン計算部208Cにおいて、近端のノイズレベルNLVL_Sに応じて、Grecを算出することができれば、その算出方法は限定されないものである。
【0106】
(D−2)第4の実施形態の動作
次に、以上のような構成を有する第4の実施形態の音信号調整装置20Cの動作(この実施形態の音信号調整方法)について、図7を用いて説明する。
【0107】
上述の通り、第3の実施形態と第4の実施形態では、近端ノイズ量判定部209が追加され、ゲイン計算部の動作が異なるだけであるので、その差異部分の動作についてのみ説明する。
【0108】
近端ノイズ量判定部209では、上記の(8)式を満たす場合、背景ノイズ源40によるノイズの量が所定以上であるとみなして、ゲイン計算部208CへBG_NZYの信号が与えられる。
【0109】
そして、ゲイン計算部208Cでは、レベル変動検出部207Aから与えられるDif_lev_rと、近端ノイズ量判定部209から与えられるBG_NZYを利用して、A/D15を制御するゲインが、上記の(9)式及び(10)式により算出され、算出されたゲイン(Grec)がAMP13に与えられる。
【0110】
(D−3)第4の実施形態の効果
第4の実施形態によれば、以下のような効果を奏することができる。
【0111】
第4の実施形態では、新たに近端ノイズ量判定部40を設け電話装置所持者近傍の背景ノイズの大きさを検出するようにし、電話装置所持者側の背景ノイズが大きいときには、通常よりも受信信号に与えるゲインを大きくするようにした。したがって、近端ノイズが大きいことを検出し、電話装置所持者が電話装置に耳をより近づけたのが、相手の遠端話者の声の大小が原因でなく、電話装置所持者近傍の背景ノイズによって聞き取りづらくなっていると判定するので、たとえば装置の出力定格付近まで増幅するなど、通常の音量増幅よりも増幅度を大きくして、遠端話者の音声を聞き取とりやすくするようにできる。
【0112】
(E)第5の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第5の実施形態を、図面を参照しながら詳述する。
【0113】
(E−1)第5の実施形態の構成
図8は、この実施形態の電話装置10D及び音信号調整装置20Dの全体構成を示すブロック図である。
【0114】
第5の実施形態の構成は第4の実施形態の構成と比較すると、LV_R203が受信側信号特性計算部(以下「char_R」という)210に、LV_S204が、送信側信号特性計算部(以下、「char_S」という)211に、レベル補正部206が特性補正部212に、レベル変動検出部207Aが、特性変動検出部213に置き換わっている。また、第5の実施形態では、さらに、特性変動検出部213の後段に減算特性計算部214が設けられ、減算特性計算部214の後段に周波数減残部(以下「NC」という)215が設けられている。そのほかの構成は第4の実施形態と同様であるので詳しい説明は省略する。以下、第4の実施形態との差異について説明する。
【0115】
Char_R210は、第1〜第4の実施形態のLV_R203が計算するNLVL_R以外に、信号の周波数特性(以下、「NP_R(f)」という)が、例えば、公知の高速フーリエ変換法(以下、「FFT」という)を用いて計算される。そして、Char_R210は、NV_RとNLVL_Rを、特性補正部212に与える。Char_S211も同様に、第1〜第4の実施形態のLV_S204が計算するNLVL_S以外に、信号の周波数特性(以下、「NP_S(f)」という)を計算し、NLVL_SとNP_S(f)を、特性補正部212に与える。
【0116】
特性補正部212では、char_R210、char_S211からそれぞれ与えられる信号レベル(NLVL_R、NLVL_S)と、周波数特性(NP_R(f)、NP_S(f))について補正の処理が行われ、補正後の信号レベル及び周波数特性が、特性変動検出部213に与えられる。なお、特性補正部212における信号レベル(NLVL_R、NLVL_S)の補正の処理は、第1〜第4の実施形態のレベル補正部206と同様の処理であるので詳しい説明は省略する。
【0117】
次に、特性補正部212における、周波数特性の補正に係る処理を行う構成について説明する。Char_R210、Char_S211でFFT等を用いて計算された周波数特性(NP_R(f)、NP_S(f))は、信号レベルについて行った補正と同様に、NP_R(f)をNP_S(f)に合わせるように補正を行う。
【0118】
図9は、特性補正部212において、周波数特性に係る補正について示した説明図である。
【0119】
図9(a)は、補正前のNP_R(f)を示したグラフであり、図2(b)は、NP_S(f)のレベルを示したグラフである。そして、図2(c)は、NP_R(f)が補正される様子について示した説明図である。
【0120】
Char_R210、Char_S211では各々入力信号の周波数のパワー特性NP_R(f)と周波数特性NP_S(f)を計算する。図9において、横軸fは周波数を表している。NP_R(f)は、一旦NP_S(f)に一致するように補正され、NP_R_r(f)となる。補正を行うのはスピーカ11よりもマイクロホン14のほうが集音感度のよい平坦周波数特性であり、後述するマイクロホン出力に対するノイズ抑圧処理に用いる減算処理に都合が良いからであるが、逆に、NP_S(f)の方を補正してNP_R(f)に合わせるようにしても良い。
【0121】
特性補正部212では、スピーカ11から逆流する電気信号は本来音を電気信号に変換するマイクロホン14に比べれば性能が劣っているため、その性能差を補正が行われる。特性補正部212では、NP_R(f)をNP_R_r(f)に補正する係数(例えば、NP_S(f)/NP_R(f))を一旦計算した後は、その係数を固定し、以降は単にNP_R(f)にその係数を乗じて補正したNP_R_r(f)を、特性変動検出部213に出力するように動作する。なお、上述の補正用の係数は、予め、スピーカ11とマイクロホン14の集音の性能差に基づいて設定した値を使用するようにしても良いし、上述のように、当初のNP_R(f)及びNP_S(f)を用いて算出するようにしても良く、その設定方法は限定されないものである。
【0122】
特性補正部212は補正したNP_R_r(f)とNP_S(f)を特性変動検出部213に出力する。
【0123】
特性変動検出部213では以下に説明するように、電話装置所持者の耳介による遮音の周波数特性を求める。この実施形態では耳介の接近検出に関しては第1の実施形態で説明した方法をそのまま使うものであり再び説明しない。第1の実施形態で説明したように耳介による雑音の遮音は低下だけでなく、周波数成分のパワー低下としても反映される。特性変動検出部213では耳介の接近による雑音遮音の特性変化を、第1の実施形態で説明したレベルの変動検出に加えて、以下に述べるように周波数成分での変化を計算する。
【0124】
図10は、特性変動検出部213において、Dif_freq_r(f)を算出する処理について示した説明図である。
【0125】
図10において、NP_R_r1(f)は、特性変動検出部213において電話装置所持者の耳介による遮音効果が検出されない場合の周波数特性を示しており、NP_R_r2(f)は、その遮音効果が検出されている場合の周波数特性を示している。図10(a)は、NP_R_r1(f)とNP_R_r2(f)を比較したグラフであり、図10(b)は、Dif_freq_r(f)を示したグラフである。
【0126】
図10を用いて特性変動検出部213の周波数成分での変動検出の動作を説明する。特性変動検出部213ではレベルによる耳介の雑音遮音発生を、第1の実施形態で説明したと同様にレベルで検出する。このとき、変動検出前後のパワーは図10のNP_R_r1(f)からNP_R_r2(f)のように降下する。これは耳介によって背景雑音の一部または全部が遮音されるからである。
【0127】
特性変動検出部213ではNP_R_r1(f)からNP_R_r2(f)への変化分Dif_freq_r(f)について、以下の(12)式のように計算して求める。あるいは、特性補正部212の補正でNP_R_r1(f)=NP_S(f)となっているため、(12)式に置き換えて以下の(12−1)式を適用するようにしても良いが、この実施形態においては(12)式を用いるものとして説明する。
【0128】
Dif_freq_r(f)=NP_R_r1(f)−NP_R_r2(f)…(12)
Dif_freq_r(f)=NP_S1(f)−NP_R2(f)…(12−1)
特性変動検出部213で計算した周波数特性の変化分Dif_freq_r(f)は減算特性計算部214に出力される。一方では第2の実施形態で説明したと同様に、レベル変動値Dif_lev_がゲイン計算部に出力されているが、ゲイン計算部208Cの動作は第2、第4の実施形態で説明したとおりである。
【0129】
さらに減算特性計算部214は特性変動検出部213の出力Dif_freq_r(f)に応じて下記のように動作する。減算特性計算部214には近端ノイズ量判定部40からの出力が入力されており、第4の実施形態で説明したように、背景ノイズが大ノイズのときには大ノイズ判定信号BG_NZYが入力され、背景ノイズが大きくないときはなにも入力されない。
【0130】
減算特性計算部214はDif_freq_r(f)と大ノイズ判定信号BG_NZY入力の有無によって式(13)、式(14)のようにノイズ減算用周波数成分を計算する。なお、減算特性計算部214では、BG_NZY無しの場合には以下の(13)式が適用され、BG_NZY有りの場合には、以下の(14)式が適用される。
【0131】
Sub_freq(f)=C51×Dif_freq_r(f)…(13)
Sub_freq(f)=C52×Dif_freq_r(f)…(14)
ここで、この実施形態ではC51=0.2、C52=0.9としても良いが、これに限定されないものである。また、C51は1.0≧C51≧0.0を満たし、C52は1.0≧C52≧0.0を満たす定数であるものとし。値が大きければノイズ抑圧の効果が大きい変わりに音質に周波数減算処理による歪の影響が大きくなり、逆に小さければ音質に与える悪影響が小さい代わりにノイズ抑圧の効果も小さくなる。大ノイズの時にノイズ抑圧効果をより発揮するためにはC52≧C51であることが望ましい。
【0132】
また、減算特性計算部214では、上述の通り、BG_NZYの「有り」又は「無し」の2段階で、上記(13)式又は(14)式を適用するようにしたが、近端のノイズレベルNLVL_Sの大きさに応じて、Dif_lev_r(f)に乗じる係数の値(例えば、上記の(13)式においては「C51」)を変更して、Sub_freq(f)を求めるようにしても良い。すなわち、減算特性計算部214において、近端のノイズレベルNLVL_Sに応じて、Sub_freq(f)を算出することができれば、その算出方法は限定されないものである。
【0133】
減算特性計算部214の出力sub_freq(f)はNC215に出力される。NC215ではたとえば特許文献6に記載されているような公知の周波数減算方法を用いて、ノイズ交じりの周波数特性からsub_freq(f)を減算し、逆FFTを施して時間波形に変換してから送話音声信号を図示しない遠端に出力するようにしても良い。なお、NC215における処理は、フィルタバンク方法や、適応フィルタを用いる方法などを用いても良く、上述の特許文献6に記載されている方法に限定されないものである。
【0134】
(E−2)第5の実施形態の動作
次に、以上のような構成を有する第5の実施形態の音信号調整装置20Dの動作(この実施形態の音信号調整方法)について、図8を用いて説明する。
【0135】
まず、VAD_R202Bにおいて、遠端信号において音声が含まれていないと判定されると、VAD_R202Bからchar_R210に、音声検出無しを示すNV_Rが与えられる。そして、NV_Rが与えられている間、char_R210では、A/D201からスピーカ11において逆流してくる信号のレベルNLVL_Rと、信号の周波数特性NP_R(f)が算出され、特性補正部212に与えられる。
【0136】
同様に、VAD_S205において、近端信号において音声が含まれていないと判定されると、VAD_S205からchar_S211に、音声検出無しを示すNV_Sが与えられる。そして、NV_Sが与えられている間、char_S211では、A/D15からマイクロホン14に入力される信号のレベルNLVL_Sと、信号の周波数特性NP_S(f)が算出され、特性補正部212に与えられる。
【0137】
特性補正部212では、char_R210からNLVL_Rが与えられ、かつ、char_S211からNLVL_Sが与えられている間、NLVL_Rのレベルと、NP_R(f)が補正され、補正後のNLVL_R、NP_R_r(f)と、NLVL_S、NP_S(f)が特性変動検出部213に与えられる。
【0138】
そして、特性変動検出部213では、上述の(4)が成立し、上記の(5)式が成立しない場合には、スピーカ11における遮音度合が所定以上であるとみなされ、さらに上記の(6)式を用いて遮音度合を示すDif_lev_rが算出され、ゲイン計算部208Cに与えられる。ただし、上述の(4)が成立し、上記の(5)式が成立しない場合以外には、レベル変動検出部207Aは、Dif_lef_r=0(db)をゲイン計算部208Cに与える。また、特性変動検出部213では、上述の(4)が成立し、上記の(5)式が成立しない場合には、スピーカ11における遮音度合が所定以上であるとみなされ、さらに上記の(12)式を用いて、Dif_freq_r(f)が算出されて減算特性計算部214に与えられる。
【0139】
近端ノイズ量判定部209では、上記の(8)式を満たす間、背景ノイズ源40によるノイズの量が所定以上であるとみなして、ゲイン計算部208C及び減算特性計算部214へ、BG_NZYの信号が与えられる。
【0140】
そして、ゲイン計算部208Cでは、レベル変動検出部207Aから与えられるDif_lev_rと、近端ノイズ量判定部209から与えられるBG_NZYを利用して、AMP13を制御するゲイン(Grec)が、上記の(9)式及び(10)式により算出され、算出されたゲインがAMP13に与えられる。
【0141】
一方、減算特性計算部214では、BG_NZYが有りの場合には上記の(13)式、BG_NZYが無しの場合には上記の(14)式を用いて、Sub_freq(f)を算出してNC215に与える。そして、NC215により、近端信号について、減算特性計算部214から与えられたSub_freq(f)の分だけ減算され遠端側へ送出される。
【0142】
(E−3)第5の実施形態の効果
第5の実施形態によれば、以下のような効果を奏することができる。
【0143】
第5の実施形態は第4の実施形態において、近端側において遠端側への音質を鑑みたものになっている。即ち、第5の実施形態では、スピーカ11において電話装置所持者の耳介による遮音が発生している場合のNP_R_r(f)(NP_R(f))と、遮音が発生していない場合のNP_R_r(f)(NP_R(f))との差分であるDif_freq_r(f)を、背景ノイズ源40の周波数特性に係る周波数特性とみなし、減算特性計算部214においてDif_freq_r(f)に基づいてsub_freq(f)が算出され、NC215を用いて近端信号からsub_freq(f)の分減算して遠端側へ送出している。これにより、近端信号のうち、背景ノイズ源40により発生するノイズ成分を抑圧することができる。
【0144】
また、減算特性計算部214において、近端ノイズ量判定部40からの大ノイズ判定信号BG_NZY入力の有無に応じて、Dif_freq_r(f)に対して、例えば、0以上、1.0以下の係数を乗ずるようにした。具体的には大ノイズ判定信号BG_NZYがあるときに比較的大きな係数を用いて周波数減算効果が強く発揮されるようにしている。これにより、大ノイズ判定信号BG_NZYが無いときには比較的小さな係数を用いて周波数減算効果が弱く発揮されるようにして遠端話者への音質を自然な音質になるようにした。
【0145】
上記の効果において特に重要なのは、耳介によって背景雑音が遮音されることによるパワー変動成分Dif_freq_r(f)そのものを直接、あるいは単純な係数を用いて周波数減算のための減算特性としたことである。従来、一般に周波数減算法によるノイズを低減する方法は、特許文献6に開示される方法のように、入力信号を分析して音声区間とノイズ区間を精密に区別し、ノイズ区間の周波数成分を計算して、その成分を減算するのが通常である。
【0146】
しかし、従来方法である周波数減算法は長年にわたってノイズ区間の決定が精度よくできないことに伴う性能劣化問題点を解決できずにいる。残念ながらこの間題はある程度当然発生するものであり今後も解決が困難である。なぜなら、もともと、従来の周波数減算法によるノイズ抑圧では、音声の有無、つまり純ノイズ区間の特性を入手することが品質のよいノイズ抑圧には必須である。しかし、厄介なことにノイズ抑圧処理技術を適用しなければならないほどに大きなノイズが混入した音声信号で純ノイズ区間なのかどうかを検出して以後の処理に利用するのだから、多少の音声/ノイズ区間検出処理に誤検出は必然的に付きまとう。当然、従来方法はノイズ区間の誤検出を必然的に含む結果をもとに算出した減算用ノイズ成分を作成する。結果、不正確なノイズ成分を利用するから、周波数成分を加減算したり、逆に減算不足を発生する。その結果ノイズ減算処理後の音質を劣化させるものであった。しかし、本方法においては、ノイズの成分を、”声信号”自体からの分析ではなく、”耳接近”による信号の変化分として捕らえている。つまり、音の入力手段を何かで遮音したとき、その遮音効果をそのまま送信信号への効果に似せるのであって、電話装置所持者側において通話中に遮音されるような成分ならば、それは電話装置所持者側の背景ノイズ成分であり、その背景ノイズ成分はマイクロホン14を通じて送話信号となって図示しない遠端話者に出力されてしまう雑音信号である。つまり送話信号から除去されるのが望ましい信号であり、たとえば周波数減算法によって除去されてもよい成分なのであって、区分検出タイミングの精度さはさほど重要ではない。
【0147】
音声検出器を持つという点では、第5の実施形態でもVAD_S、VAD_Rの音声検出器があり、近端ノイズ成分があるときには音声検出の精度が落ちるが、このとき、マイクロホン14と、逆流信号使用時のスピーカ部3の両方にノイズも音声も入力されていることになるので、結果的に特性補正部212において周波数成分がうまく補正され、不都合がない。また、それ以後周波数成分の低下を差分として利用するだけなので、減算特性計算部への影響がほとんどない。このように本発明の第5の実施形態によれば、電話装置所持者がわのノイズと電話装置所持者音声のS/Nがどうであれ安定的にノイズを除去して自然な音質を実現した電話装置を実現できるのである。
【0148】
また、音信号調整装置20Dでは、電話装置10Dのスピーカ11を音電気変換機として流用して、NLVL_R(NP_R(f))を取得し、近端信号におけるノイズの抑圧を行っているため、特許文献7に記載の電話機のように、スピーカの周辺にノイズを検出するために別途マイクロホンを備える必要がないため、低コストでノイズを抑圧する構成を構築することができる。
【0149】
さらに、音信号調整装置20Dでは、特性変動検出部213、減算特性計算部214により、一旦sub_freq(f)が算出されると、sub_freq(f)を、背景ノイズ源40によるノイズ成分の周波数特性として固定し、以降NC215を用いて近端信号のノイズ成分を抑圧する処理を行わせることもできるため、特許文献7に記載の電話機のように、ノイズ抑圧(ノイズキャンセリング)に係る連続的なフィードバック処理を行う必要がないため、ノイズ抑圧に係る処理量を低減することができる。
【0150】
(F)第6の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第6の実施形態を、図面を参照しながら詳述する。
【0151】
(F−1)第6の実施形態の構成
図11は、この実施形態の電話装置10E及び音信号調整装置20Eの全体構成を示すブロック図である。
【0152】
第6の実施形態の構成が第5の実施形態の構成と異なるのは、新たにエコーキャンセラ部216と打ち消し加算器217が設けられたことであり、VAD_R(受信側音声検出器)が、第1の実施形態と同じくVAD_R202に戻ったことである。その他は、第5の実施形態と同様である。第3の実施形態では、遠端信号において比較的大きなノイズが重畳しているとき、スピーカ11から放出された遠端信号による音が、エコーとなってNLVL_R(NV_R)に入り込んで、音信号調整装置において誤動作を起こす頻度を低減することを目的として、VAD_R202をVAD_R202Bに置き換える構成について説明したが、第6の実施形態では、上述のエコーを消去する手段として、エコーキャンセラ部216と加算器217を備えている。
【0153】
エコーキャンセラ部216は、VAD_R202から音声なし信号NV_Rがないとき、は、加算器217の出力と、A/D201の入力の2つの信号を用いて、図示しない内部の適応フィルタを用いて、加算器217の出力のパワーが最小になるように適応動作する。適応動作のアルゴリズムとしては公知のNLMSアルゴリズムやLMSアルゴリズムなど、加算器217の出力のパワーが最小になるように適応アルゴリズムであればどのようなアルゴリズムを用いてもよい。加算器217には、受信側A/D201の出力が入力されており、エコーキャンセラ部216の出力と加算相殺されて、再びエコーキャンセラ部216にフィードバックされるとともに、char_R210に入力される。
【0154】
また、エコーキャンセラ部216は、VAD_R202から音声なし信号NV_Rがあったときは、上述のNLMSアルゴリズムは駆動せず、エコーキャンセラ部216は図示しない内部の適応フィルタのフィルタ係数を固定したまま、D/A12の入力と加算器217の出力を適応フィルタの入力信号として加算器217へ信号を出力する。加算器217の出力はchar_R210に入力される。
【0155】
なお、第6の実施形態においては、図11に示すように第5の実施形態の音信号調整装置20Dにエコーキャンセラ部216及び加算器217を追加し、VAD_R202BをVAD_R202に戻した構成について説明したが、第1、第2、第4の実施形態の音信号調整装置についても同様に、エコーキャンセラ部216及び加算器217を追加し、VAD_R202BをVAD_R202に戻した構成として構築するようにしても良い。
【0156】
(F−2)第6の実施形態の動作
第6の実施形態の音信号調整装置20Eでは、上述の通り、第5の実施形態のように遠端信号に音声信号が含まれていないと判定した場合には、D/A12への遠端信号の供給を停止する代わりに、エコーキャンセラ部216及び加算器217による動作に置き換えられるだけであるので詳しい説明を省略する。
【0157】
(F−3)第6の実施形態の効果
第6の実施形態によれば、以下のような効果を奏することができる。
【0158】
第5の実施形態の受話側音声検出器30は音声が無いときには出力を遮断するようにしたのは第3の実施形態で説明したとおりである。しかし、図示しない遠端話者のノイズ環境が劣悪で、遠端からの信号に大きなノイズが重畳している場合は、VAD_R30による音声信号断続そのものが耳障りになることがある。しかし、一方でchar_R210にとっては、外乱となるので遠端からのノイズ信号がスピーカ11を経由して入力されてしまうことは避けなければならない。そこで第6の実施形態ではエコーキャンセラ部216を設け、遠端から音声信号があったときはループ経路の特性をNLMSアルゴリズムなどを用いて同定し、音声がないときには適応フィルタの係数を固定するようにした。このときエコーキャンセラ部216の入力は遠端から到来したノイズ信号と、近端のスピーカ11から逆流しているノイズ信号が、加算器217で加算された信号である。このとき上記に説明したようにすでに適応フィルタの係数は固定されているので、ループバック経路を同定済みの固定フィルタ係数によってループバックノイズの疑似信号が作成されることになるから、加算器217で擬似遠端ループバックノイズと遠端ループバックノイズが相殺され、所望どおり近端の背景ノイズがchar_R210に出力されて、以後用いることができる。
【0159】
音質の良し悪しは電話装置所持者の好みによることが多いが、ノイズ交じりの音声があるとき、相手からのノイズが聞こえる事よりも、むしろ信号の断続を嫌う利用者が多いことも事実である。第6の実施形態はこのことを鑑みたものであり、受話側音声検出器30のように信号の断続を発生させずに第1、2、4、5の実施形態の効果を実現させて、電話装置所持者と遠端話者とに快適な通話を実現することができる。
【0160】
(G)第7の実施形態
以下、本発明による音信号調整装置、プログラム及び方法、並びに、電話装置の第7の実施形態を、図面を参照しながら詳述する。
【0161】
(G−1)第7の実施形態の構成
第5、第6の実施形態において、近端信号から近端側から入り込むノイズを低減する構成が付加された実施形態について説明したが、第7の実施形態では、音信号調整装置が、上述のノイズを低減する機能に必要となる構成のみを有している。
【0162】
図12は、第7の実施形態の電話装置10F及び音信号調整装置20Fの機能的構成について示したブロック図である。
【0163】
電話装置10Fは、スピーカ11、D/A12、マイクロホン14、A/D15を有している。図12において、電話装置10Fは、第1〜第6の実施形態のようにAMPを備えていないが、備えるようにしても良い。なお、スピーカ11、D/A12、マイクロホン14、A/D15については、第1〜第6の実施形態のものと同様であるので詳しい説明は省略する。
【0164】
音信号調整装置20Fは、A/D201、VAD_R202、VAD_S205、char_R210、char_S211、特性補正部212、特性変動検出部213F、減算特性計算部214F、NC215を有している。なお、A/D201、VAD_R202、VAD_S205、char_R210、char_S211、特性補正部212については、第6の実施形態のものと同様であるので、詳しい説明は省略する。第7の実施形態と、第6の実施形態との主な差異は、エコーキャンセラ部、近端ノイズ量判定部、ゲイン計算部や、それに係る処理が省略されていることである。
【0165】
第7の実施形態では、VAD_Rとしては、第6の実施形態と同様にVAD_R202を用いているが、第5の実施形態と同様にVAD_R202Bを適用するようにしても良い。また、第6の実施形態のように、エコーキャンセラ部216及び加算器217を付加するようにしても良い。
【0166】
第6の実施形態の特性変動検出部213Eでは、Dif_lev_rを、ゲイン計算部208Cに与えていたが、第7の実施形態の特性変動検出部213Fでは、ゲイン計算部が省略されているため、そのような処理は行われない点で異なっている。また、特性変動検出部213Fにおいては、Dif_lev_rを求める処理を省略するようにしても良い。
【0167】
第5、第6の実施形態の減算特性計算部214では、BG_NZY及びDif_freq_r(f)を用いて、sub_freq(f)を求めていたが、第7の実施形態の減算特性計算部214Fでは、Dif_freq_r(f)のみを用いてsub_freq(f)を求める点で異なっている。第6の実施形態では、BG_NZYの有無に応じて、上記の(13)式又は(14)式を選択的に適用していた。すなわち、第6の実施形態では、sub_freq(f)を求める際の係数を、BG_NZYの有無に応じて、C51又はC52のいずれかを選択的に適用していたが、第7の実施形態では、固定的な係数を用いて求めるようにしても良い。その際、C51又はC52のいずれかを適用するようにしても良いし、他の値を適用するようにしても良い。
【0168】
また、第5、第6の実施形態と同様に、別途近端ノイズ量判定部を設けて、減算特性計算部214Fにおいて上記の(13)式、(14)式を用いてsub_freq(f)を求めるようにしても良い。その際、第5、第6の実施形態と同様に、特性変動検出部213Fでも、近端のノイズレベルNLVL_Sに応じて、Sub_freq(f)を算出することができれば、その算出方法は限定されないものである。例えば、第5、第6の実施形態と同様に、BG_NZYの「有り」又は「無し」の2段階で、上記(13)式又は(14)式を適用するようにする構成だけでなく、近端のノイズレベルNLVL_Sの大きさに応じて、Dif_lev_r(f)に乗じる係数の値(例えば、上記の(13)式においては「C51」)を変更して、Sub_freq(f)を求める構成としても良い。
【0169】
(G−2)第7の実施形態の動作
次に、以上のような構成を有する第7の実施形態の音信号調整装置20Fの動作(この実施形態の音信号調整方法)について、図12を用いて説明する。
【0170】
まず、VAD_R202において、遠端信号において音声が含まれていないと判定されると、VAD_R202からchar_R210に、音声検出無しを示すNV_Rが与えられる。そして、NV_Rが与えられている間、char_R210では、A/D201からスピーカ11において逆流してくる信号のレベルNLVL_Rと、信号の周波数特性NP_R(f)が算出され、特性補正部212に与えられる。
【0171】
同様に、VAD_S205において、近端信号において音声が含まれていないと判定されると、VAD_S205からchar_S211に、音声検出無しを示すNV_Sが与えられる。そして、NV_Sが与えられている間、char_S211では、A/D15からマイクロホン14に入力される信号のレベルNLVL_Sと、信号の周波数特性NP_S(f)が算出され、特性補正部212に与えられる。
【0172】
特性補正部212では、char_R210からNLVL_Rが与えられ、かつ、char_S211からNLVL_Sが与えられている間、NLVL_Rのレベルと、NP_R(f)の周波数特性が補正され、補正後のNLVL_R、NLVL_S、NP_R(f)、NP_S(f)が特性変動検出部213Fに与えられる。
【0173】
そして、特性変動検出部213Fでは、上述の(4)が成立し、上記の(5)式が成立しない場合には、スピーカ11において、電話装置所持者の耳による遮音が発生していると判定され、上記の(12)式を用いて、Dif_freq_r(f)が算出されて減算特性計算部214Fに与えられる。
【0174】
減算特性計算部214Fでは、Dif_freq_r(f)を用いて、Sub_freq(f)が算出されてNC215に与えられる。そして、NC215により、近端信号について、減算特性計算部214Fから与えられたSub_freq(f)の分だけ減算され遠端側へ送出される。
【0175】
(G−3)第7の実施形態の効果
第7の実施形態においては、上述の特性変動検出部213F、減算特性計算部214F、NC215による近端側からのノイズの低減に係る機能に関する効果に限定されるが、上述の第5の実施形態の効果と同様の効果を奏することができる。
【0176】
(H)他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【0177】
(H−1)上記の各実施形態においては、本発明の電話装置を携帯電話端末に適用した例について説明したが、携帯無線端末(トランシーバ)や、固定電話装置など他の電話装置に適用するようにしても良いことは当然である。
【0178】
(H−2)第1の実施形態では、LV_Rで受話音声信号のレベルNLVL_Rを計算し、LV−Sで送話音声のレベルNLVL_Sを計算するようにしたが、LV_Rで受話音声信号のレベルを計算する代わりに、VAD_R202で計算したABS_L(n)、またはABS_L(n)をNLVL_Rとして用いてもよい。また、送信側も同様にLV_S204で送話音声信号NLVL_Sのレベルを計算する代わりに、VAD_S205で計算したABS_L(n)、またはABS_L(n)をレベルとして用いてもよい。
【0179】
(H−3)第1〜第4の実施形態では、レベル補正部206がNLVL_RのレベルをNLVL_Sに合わせこむようにしたが、受信側A/Dからの信号のダイナミックレンジが十分確保できる場合にはNLVL_RをそのままNLVL_R_rとして用いてもよい。これにより、装置構成を簡単にできより装置の小型化/省電力化が可能になる。この場合はレベル補正部を省略してLV_Rの出力と、LV_Sの出力をそのままレベル変動検出部に出力すればよい。
【0180】
(H−4)上記の各実施形態において、スピーカ11を流用してNV_Rを取得していたが、スピーカ11の周辺に別のマイクロホンを備えてNV_Rを取得するようにしても良い。
【符号の説明】
【0181】
10…電話装置、11…スピーカ、12…D/A、13…AMP、14…マイクロホン、15…A/D、20…音信号調整装置、201…A/D、202…VAD_R、203…LV_R、204…LV_S、205…VAD_S、206…レベル補正部、207…レベル変動検出部、208…ゲイン計算部、30…耳部、40…背景ノイズ源。
【特許請求の範囲】
【請求項1】
スピーカ部とマイクロホン部とを備える電話装置に搭載された音信号調整装置において、
上記スピーカ部の周辺における第1の音信号を捕捉するスピーカ周辺音捕捉手段と、
上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定する遮音判定手段と、
上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御する音量制御手段と
を有していることを特徴とする音信号調整装置。
【請求項2】
上記スピーカ周辺音捕捉手段は、上記スピーカ部自体を用いて、上記第1の音信号を捕捉することを特徴とする請求項1に記載の音信号調整装置。
【請求項3】
上記遮音判定手段において、上記遮音効果が発生していると判定された場合に、その遮音度合を算出する遮音度合算出手段をさらに有し、
上記音量制御手段は、上記遮音判定手段において、上記遮音効果が発生していると判定されている間、上記スピーカ部における遠端信号の出力音の音量を、上記遮音度合算出手段が算出した遮音度合に応じた音量で出力するように制御すること
を特徴とする請求項1又は2に記載の音信号調整装置。
【請求項4】
上記第1の音信号及び上記第2の音信号において、上記スピーカ周辺音捕捉手段による集音性能と、上記マイクロホン部による集音性能との性能差により発生する差分を補正するように、少なくとも上記第1の音信号又は上記第2の音信号の一方を加工する信号補正手段をさらに有し、
上記遮音判定手段は、上記信号補正手段により補正された結果を用いて、上記遮音効果が発生しているか否かを判定する
ことを特徴とする請求項1〜3のいずれかに記載の音信号調整装置。
【請求項5】
上記電話装置において遠端信号に遠端話者の音声成分が含まれているか否かを判定する遠端信号音声判定手段と、
上記電話装置において近端信号に近端話者の音声成分が含まれているか否かを判定する近端信号音声判定手段とをさらに有し、
上記遮音判定手段は、上記遠端信号音声判定手段において遠端信号に遠端話者の音声成分が含まれていないと判定され、かつ、上記近端信号音声判定手段において、近端信号に近端話者の音声成分が含まれていないと判定されている場合にのみ、上記遮音効果が発生しているか否かを判定する
ことを特徴とする請求項1〜4のいずれかに記載の音信号調整装置。
【請求項6】
上記遠端信号音声判定手段により、音声成分が含まれていないと判定されている間、上記電話装置において、上記スピーカ部への遠端信号の供給を遮断する遠端信号遮断手段をさらに有することを特徴とする請求項6に記載の音信号調整装置。
【請求項7】
上記第1の音信号において上記スピーカ部から放出された遠端信号による音が、上記スピーカ周辺音捕捉手段により捕捉されることにより発生するエコー成分を、上記第1の音信号から除去するエコーキャンセル手段をさらに備えたことを特徴とする請求項1〜5のいずれかに記載の音信号調整装置。
【請求項8】
上記遠端信号音声判定手段において遠端信号に遠端話者の音声成分が含まれていないと判定され、かつ、上記近端信号音声判定手段において近端信号に近端話者の音声成分が含まれていないと判定されている間に、上記第1の音信号又は上記第2の音信号の信号を用いて、上記電話装置の周辺ノイズのノイズ音量を算出するノイズ量算出手段と、
上記音量制御手段は、上記遮音度合算出手段により算出された遮音度合と上記ノイズ量算出手段により算出されたノイズ音量とを用いて、上記スピーカ部により出力される音の音量を制御する
ことを特徴とする請求項5〜7のいずれかに記載の音信号調整装置。
【請求項9】
上記第1の音信号について周波数特性を抽出する第1の周波数特性抽出手段と、
上記遮音判定手段により上記遮音効果が発生していると判定されている場合に上記第1の周波数特性抽出手段が抽出した第1の周波数特性と、上記遮音判定手段により上記遮音効果が発生していないと判定されている場合に上記第1の周波数特性抽出手段が抽出した第2の周波数特性との差分である差分周波数特性を算出する差分周波数特性算出手段と、
上記差分周波数特性算出手段が算出した上記差分周波数特性を用いて、上記電話装置における近端信号のうちノイズ成分を抑圧して遠端側へ送出するノイズ成分抑圧手段と
をさらに有することを特徴とする請求項5〜8のいずれかに記載の音信号調整装置。
【請求項10】
スピーカ部とマイクロホン部とを備える電話装置に搭載されたコンピュータを、
上記スピーカ部の周辺における第1の音信号を捕捉するスピーカ周辺音捕捉手段と、
上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定する遮音判定手段と、
上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御する音量制御手段と
して機能させることを特徴とする音信号調整プログラム。
【請求項11】
スピーカ部とマイクロホン部とを備える電話装置における音信号調整方法において、
スピーカ周辺音捕捉手段、遮音判定手段、音量制御手段を有し、
上記スピーカ周辺音捕捉手段は、上記スピーカ部の周辺における第1の音信号を捕捉し、
上記遮音判定手段は、上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定し、
上記音量制御手段は、上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御する
ことを特徴とする音信号調整方法。
【請求項12】
請求項1〜9のいずれかに記載の音信号調整装置を搭載したことを特徴とする電話装置。
【請求項1】
スピーカ部とマイクロホン部とを備える電話装置に搭載された音信号調整装置において、
上記スピーカ部の周辺における第1の音信号を捕捉するスピーカ周辺音捕捉手段と、
上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定する遮音判定手段と、
上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御する音量制御手段と
を有していることを特徴とする音信号調整装置。
【請求項2】
上記スピーカ周辺音捕捉手段は、上記スピーカ部自体を用いて、上記第1の音信号を捕捉することを特徴とする請求項1に記載の音信号調整装置。
【請求項3】
上記遮音判定手段において、上記遮音効果が発生していると判定された場合に、その遮音度合を算出する遮音度合算出手段をさらに有し、
上記音量制御手段は、上記遮音判定手段において、上記遮音効果が発生していると判定されている間、上記スピーカ部における遠端信号の出力音の音量を、上記遮音度合算出手段が算出した遮音度合に応じた音量で出力するように制御すること
を特徴とする請求項1又は2に記載の音信号調整装置。
【請求項4】
上記第1の音信号及び上記第2の音信号において、上記スピーカ周辺音捕捉手段による集音性能と、上記マイクロホン部による集音性能との性能差により発生する差分を補正するように、少なくとも上記第1の音信号又は上記第2の音信号の一方を加工する信号補正手段をさらに有し、
上記遮音判定手段は、上記信号補正手段により補正された結果を用いて、上記遮音効果が発生しているか否かを判定する
ことを特徴とする請求項1〜3のいずれかに記載の音信号調整装置。
【請求項5】
上記電話装置において遠端信号に遠端話者の音声成分が含まれているか否かを判定する遠端信号音声判定手段と、
上記電話装置において近端信号に近端話者の音声成分が含まれているか否かを判定する近端信号音声判定手段とをさらに有し、
上記遮音判定手段は、上記遠端信号音声判定手段において遠端信号に遠端話者の音声成分が含まれていないと判定され、かつ、上記近端信号音声判定手段において、近端信号に近端話者の音声成分が含まれていないと判定されている場合にのみ、上記遮音効果が発生しているか否かを判定する
ことを特徴とする請求項1〜4のいずれかに記載の音信号調整装置。
【請求項6】
上記遠端信号音声判定手段により、音声成分が含まれていないと判定されている間、上記電話装置において、上記スピーカ部への遠端信号の供給を遮断する遠端信号遮断手段をさらに有することを特徴とする請求項6に記載の音信号調整装置。
【請求項7】
上記第1の音信号において上記スピーカ部から放出された遠端信号による音が、上記スピーカ周辺音捕捉手段により捕捉されることにより発生するエコー成分を、上記第1の音信号から除去するエコーキャンセル手段をさらに備えたことを特徴とする請求項1〜5のいずれかに記載の音信号調整装置。
【請求項8】
上記遠端信号音声判定手段において遠端信号に遠端話者の音声成分が含まれていないと判定され、かつ、上記近端信号音声判定手段において近端信号に近端話者の音声成分が含まれていないと判定されている間に、上記第1の音信号又は上記第2の音信号の信号を用いて、上記電話装置の周辺ノイズのノイズ音量を算出するノイズ量算出手段と、
上記音量制御手段は、上記遮音度合算出手段により算出された遮音度合と上記ノイズ量算出手段により算出されたノイズ音量とを用いて、上記スピーカ部により出力される音の音量を制御する
ことを特徴とする請求項5〜7のいずれかに記載の音信号調整装置。
【請求項9】
上記第1の音信号について周波数特性を抽出する第1の周波数特性抽出手段と、
上記遮音判定手段により上記遮音効果が発生していると判定されている場合に上記第1の周波数特性抽出手段が抽出した第1の周波数特性と、上記遮音判定手段により上記遮音効果が発生していないと判定されている場合に上記第1の周波数特性抽出手段が抽出した第2の周波数特性との差分である差分周波数特性を算出する差分周波数特性算出手段と、
上記差分周波数特性算出手段が算出した上記差分周波数特性を用いて、上記電話装置における近端信号のうちノイズ成分を抑圧して遠端側へ送出するノイズ成分抑圧手段と
をさらに有することを特徴とする請求項5〜8のいずれかに記載の音信号調整装置。
【請求項10】
スピーカ部とマイクロホン部とを備える電話装置に搭載されたコンピュータを、
上記スピーカ部の周辺における第1の音信号を捕捉するスピーカ周辺音捕捉手段と、
上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定する遮音判定手段と、
上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御する音量制御手段と
して機能させることを特徴とする音信号調整プログラム。
【請求項11】
スピーカ部とマイクロホン部とを備える電話装置における音信号調整方法において、
スピーカ周辺音捕捉手段、遮音判定手段、音量制御手段を有し、
上記スピーカ周辺音捕捉手段は、上記スピーカ部の周辺における第1の音信号を捕捉し、
上記遮音判定手段は、上記第1の音信号と、上記マイクロホン部が捕捉した第2の音信号とに基づいて、上記スピーカ周辺音捕捉手段により捕捉される、上記電話装置における近端話者の音声以外の音が、上記電話装置における近端話者の体の一部により遮音される遮音効果が発生しているか否かを判定し、
上記音量制御手段は、上記遮音判定手段により、上記遮音効果が発生していると判定されている間、上記遮音効果が発生していない間よりも、上記スピーカ部における遠端信号の出力音の音量をより大きくするように制御する
ことを特徴とする音信号調整方法。
【請求項12】
請求項1〜9のいずれかに記載の音信号調整装置を搭載したことを特徴とする電話装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−166406(P2010−166406A)
【公開日】平成22年7月29日(2010.7.29)
【国際特許分類】
【出願番号】特願2009−8035(P2009−8035)
【出願日】平成21年1月16日(2009.1.16)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】
【公開日】平成22年7月29日(2010.7.29)
【国際特許分類】
【出願日】平成21年1月16日(2009.1.16)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】
[ Back to top ]