音声推定インタフェースおよび通信システム
ユーザが騒々しい環境または社会的に敏感な環境で、声を出さずに、または聞こえるように話す間、ユーザの音声を推定するために、閾値下の音波でユーザの声道を探る音声推定（ＶＥ）インタフェースを有する装置。一実施形態では、ＶＥインタフェースは携帯電話に組み込まれ、携帯電話がネットワークを通じて推定音声信号を遠隔通話相手に送り、（ｉ）ユーザは、例えばミーティング、会議、映画、または公演において他の人々に迷惑をかけることなく遠隔通話相手と会話することができるようになる、（ｉｉ）遠隔通話相手は、そうでなければユーザが例えばナイトクラブ、ディスコ、もしくは飛行中の航空機にいることによる比較的大きな周囲雑音によってかき消されることになるユーザの声をより明瞭に聞くことができるようになる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信機器に関し、より詳細には発話認識装置およびこれを使用する通信システムに関する。
【背景技術】
【０００２】
この項では、本発明のよりよい理解を容易にする助けとなり得る諸態様を紹介する。したがって、この項で述べることは、この観点において読まれるべきであり、従来の技術にあるもの、または従来の技術にないものについての承認と理解されるべきではない。
【０００３】
携帯電話の使用はこの１０年で急増したが、依然として、従来の携帯電話を使用することが物理的に適していない、および／または社会的に容認できない環境がある。例えば、ナイトクラブ、ディスコ、または飛行中の航空機における比較的大きい背景雑音により、遠隔通話相手に宛てられた発話は聞き取れないおよび／または理解できないようになる。また、ミーティング、会議、映画、または公演中に携帯電話で話すことは一般的に不作法であるとみなされ、したがって通常は許容されない。こうした状況の多くへの今日の対応は、携帯電話の電源を切ること、または、物理的に可能であれば、騒々しいもしくは敏感な場所を離れて通話により良い場所を見つけることである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７，２５１，６０１号
【特許文献２】米国特許第６，８０１，８９４号
【特許文献３】米国再発行特許第３９，３３６号
【特許文献４】米国特許出願公開第２００８／０１５４８１５号
【発明の概要】
【課題を解決するための手段】
【０００５】
従来技術の諸問題は、騒々しい環境または社会的に敏感な環境でユーザが声を出さずに、または聞こえるように話す間、閾値下の音波でユーザの声道を探ってユーザの声を推定する音声推定（ＶＥ）インタフェースによって対処される。一実施形態では、このＶＥインタフェースは携帯電話に組み込まれ、携帯電話は推定された音声信号を、ネットワークを介して遠隔通話相手に送る。有利には、ＶＥインタフェースによりユーザは、例えばミーティング、会議、映画、または公演において、他の人々に迷惑をかけることなく、遠隔通話相手と会話することができるようになり、また遠隔通話相手は、そうでなければユーザが、例えばナイトクラブ、ディスコ、または飛行中の航空機にいることによる、比較的大きい周囲雑音によってかき消されることになるユーザの声が、よりはっきりと聞こえるようになる。
【０００６】
一実施形態によれば、本発明は、（ｉ）ユーザの声道を探るように構成されたＶＥインタフェースと、（ｉｉ）ＶＥインタフェースに動作可能に結合され、ＶＥインタフェースによって作り出された１つまたは複数の信号を処理してユーザに対応する推定音声信号を生成するように構成された信号変換（ＳＣ）モジュールと、を有する装置である。ＶＥインタフェースは、閾値下音響（ＳＴＡ）バーストを声道に送って、このＳＴＡバーストに対応するエコー信号を検出するように構成された閾値下音響（ＳＴＡ）パッケージを含む。推定音声信号は、このエコー信号に基づく。
【０００７】
別の実施形態によれば、本発明は、（Ａ）ＶＥインタフェースを使用してユーザの声道を探るステップと、（Ｂ）ＶＥインタフェースによって作り出された１つまたは複数の信号を処理して、ユーザに対応する推定音声信号を生成するステップと、を有する音声を推定する方法である。このＶＥインタフェースは、ＳＴＡバーストを声道に送って、このＳＴＡバーストに対応するエコー信号を検出するように構成されたＳＴＡパッケージを含む。推定音声信号は、このエコー信号に基づく。
【０００８】
本発明の他の態様、特徴、および利点は、次の詳細な説明、添付の特許請求の範囲、および添付の図面から、さらに十分に明らかになるであろう。
【図面の簡単な説明】
【０００９】
【図１Ａ】本発明の一実施形態による通信システムを示す図である。
【図１Ｂ】本発明の一実施形態による通信システムを示す図である。
【図２】人の声道の解剖学的構造を示す図である。
【図３Ａ】本発明の一実施形態による図１の通信システムにおける送受信機として使用することができる携帯電話を示す図である。
【図３Ｂ】本発明の一実施形態による図１の通信システムにおける送受信機として使用することができる携帯電話を示す図である。
【図３Ｃ】本発明の一実施形態による図１の通信システムにおける送受信機として使用することができる携帯電話を示す図である。
【図４】図４Ａ及び４Ｂは、図３の携帯電話によって検出される２つの代表的なエコー信号をグラフによって示す図である。
【図５】本発明の一実施形態による図１の通信システムにおいて信号変換（ＳＣ）モジュールによって使用可能である信号処理方法のフローチャートである。
【図６Ａ】本発明の別の実施形態による図１の通信システムにおいてＳＣモジュールによって使用可能である信号処理方法を示す図である。
【図６Ｂ】本発明の別の実施形態による図１の通信システムにおいてＳＣモジュールによって使用可能である信号処理方法を示す図である。
【発明を実施するための形態】
【００１０】
図１Ａは、本発明の一実施形態による通信システム１００のブロック図を示す。システム１００は、人１０２の顔に比較的近接して配置することができる音声推定（ＶＥ）インタフェース１１０を有する。ＶＥインタフェース１１０は、例えば、無声発話を検出するために、または通常発話が比較的騒々しい音響背景によって重ね合わされる、もしくは実質的にかき消されるときに、通常発話の認知を強化するために使用することができる。無声発話の現象について、図２を参照して以下により詳細に説明する。
【００１１】
ＶＥインタフェース１１０は、人１０２の声道を特徴付ける１つまたは複数の信号を集めるように設計された１つまたは複数のセンサ（明示せず）を有する。様々な実施形態では、ＶＥインタフェース１１０は、次のセンサ、すなわちビデオ・カメラ、赤外線センサもしくは撮像装置、閾値下音響（ＳＴＡ）センサ、ミリ波センサ、筋電センサ、および電磁調音センサのうちの１つまたは複数を（無制限に）含むことができる。代表的な実施形態では、ＶＥインタフェース１１０は、少なくともＳＴＡセンサを有する。
【００１２】
図１Ｂは、ＳＴＡ波をグラフによって示す。より詳細には、図１Ｂ中の曲線１０１は、静かな環境において可聴領域（すなわち、約１５Ｈｚと約２０ｋＨｚの間）で聞いている人の生理学的知覚の閾値を示す。通常、可聴領域からの周波数を有する音波は、その強度が曲線１０１を超えている場合、知覚できる。具体的には、発話および音楽の最適な知覚は、それぞれ領域１０３および１０５で示す周波数−強度の範囲内で認められる。しかしながら、音波の強度が曲線１０１を下回ると、その音波は人の耳では知覚できなくなる。また、超音波（すなわち、その周波数が可聴領域の上方境界より高い準音波）は、通常人の耳には知覚できない。本明細書で使用する、「閾値下音響」または「ＳＴＡ」という用語は、（Ａ）その強度が生理学的知覚の閾値を下回る、可聴周波数領域からの音波と、（Ｂ）超音波の両方を含む。
【００１３】
曲線１０１の形状および位置は、背景雑音の関数であることに注意されたい。より具体的には、背景雑音が「白色」雑音であって、その強度が増大する場合、曲線１０１は全体的に強度の目盛が上昇する。背景雑音が「白色」ではない、すなわち明白な周波数帯域を有する場合、曲線１０１のスペクトル形状はそれに応じて変化する可能性がある。さらに、様々な人々が様々な生理学的知覚の閾値を有する可能性がある。
【００１４】
ＶＥインタフェース１１０については、そのＳＴＡ機能が、人１０２の典型的な隣人の生理学的知覚の閾値を基準とし、人１０２の生理学的知覚の閾値を基準としないことが有益である。このような基準付けの１つの理由は、ある一定のモードの動作では、ＶＥインタフェース１１０は人１０２の周りの他の人々に迷惑をかけるべきではないという理解でシステム１００が設計されるからである。結果として、人１０２の典型的な隣人の生理学的知覚の閾値が考慮に入れられるべきである。代表的な実施形態では、ＶＥインタフェース１１０は、約１メートルの距離において平均的な人がＶＥインタフェースの動作のいかなる厄介な影響をも感じないように動作する。ＶＥインタフェース１１０は、背景音響雑音を測定するように構成されたマイクロフォンから入力信号を受信し、その情報を使用して、そのＳＴＡの励起パルスを、例えばその強度が比較的高くなるように、ただし人１０２の推定上の隣人には依然として知覚できないように調整することができる。
【００１５】
図１Ａを再度参照すると、ＶＥインタフェース１１０の１つまたは複数のセンサによって生成された１つまたは複数の出力信号１１２が、信号変換器（ＳＣ）モジュール１２０に印加され、信号変換器モジュールが出力信号を処理して、人１０２の無声発話または雑音が混入した発話に対応する統合された推定音声信号を生成する。一実施形態では、統合された推定音声信号は、人１０２の声に対応する一連の音素を含む。別の実施形態では、統合された推定音声信号は、人１０２の声に対応する通常の知覚可能な音を生成するために使用することができる音声信号を含む。ＳＣモジュール１２０は、デジタル信号プロセッサ（ＤＳＰ）および／または人工ニューラル・ネットワークを使用して、統合された推定音声信号を生成することができる。
【００１６】
一実施形態では、ＶＥインタフェース１１０およびＳＣモジュール１２０は、無線、有線、および／または光伝送のシステム、ネットワーク、または媒体１２８に結合された、送受信機（例えば、携帯電話）１０８の一部である。携帯電話１０８は、ＳＣモジュール１２０によって生成された、統合された推定音声信号を使用して通信信号１２４を生成し、この通信信号１２４はネットワーク１２８を介して従来の方法で送信される、および通信信号１３８の一部としてリモートの送受信機（例えば、携帯電話）１４０で受信されることが可能である。送受信機１４０は、通信信号１３８を処理し、これを推定音声信号を発音する音１４２に変換する。送受信機１０８は、人１０２に対して推定音声信号を同様に発音することができるイヤピース１２２を有することができる。イヤピース１２２は、音１４２と実質的に同様の音を再生し、これにより人１０２は自身の発話が遠隔の送受信機１４０でよりよく知覚できるようになるように自身の発話を調節することができる。イヤピース１２２は、人１０２の発話が無声発話であるとき特に有用である可能性がある。様々な実施形態では、送受信機１０８は、ウォーキートーキー、ヘッド・セット、またはワンウェイ・ラジオであることが可能である。１つの実施では、イヤピース１２２は携帯電話の通常のスピーカであることが可能である。別の実施では、イヤピース１２２は、人１０２に自身の発話に関して音声フィードバックを提供することに専用の別個のスピーカであることが可能である。
【００１７】
ＳＣモジュール１２０の処理電力が比較的低い場合、ＶＥインタフェース１１０の様々なセンサによって生成される信号を適切に表す、統合された推定音声信号を生成するには、送受信機１０８外の追加処理が必要である可能性がある。このような追加処理には、システム１００は、ネットワーク１２８に接続された信号プロセッサ（例えばサーバ）１３０を使用することができる。１つの実施では、信号プロセッサ１３０は、様々な発話認識技術および／または発話合成技術を使用することができる。信号プロセッサ１３０に使用することができる代表的な技術は、例えば米国特許第７，２５１，６０１号、第６，８０１，８９４号、および米国再発行特許第３９，３３６号に開示されており、これらのすべては全体として参照により本明細書に組み込まれる。
【００１８】
代替的実施形態では、ＳＣモジュール１２０は、ネットワーク１２８に接続されたサーバの一部として実装可能である。信号プロセッサ１３０は、送受信機１４０に実装することができる。ＳＣモジュール１２０および信号プロセッサ１３０をシステム１００内の様々な物理的位置に有する他の配置もまた可能であることを当業者は理解するであろう。一実施形態では、信号１２４および／または信号１３８は、一連の音素を搬送し、実質的にテキストメッセージの信号と似ていることが可能である。一実施形態では、信号１３８はテキストに変換することができ、テキストはその後、音１４２として再生されることに加えて、または音１４２として再生される代わりに、送受信機１４０のディスプレイ画面上に表示される。あるいは、信号１３８は、従来から携帯電話によって受信される信号と同様の、通常の携帯電話の信号であることが可能である。同様に、信号１２４はテキストに変換することができ、その後テキストは、イヤピース１２２で音として再生されることに加えて、またはその代わりに、送受信機１０８のディスプレイ画面上に表示される。
【００１９】
図２は、人の声道の解剖学的構造を示す。発話時の音は、声道を通過する空気の流れによって作り出される。この空気の流れは、呼気流（すなわち、空気が口および／または鼻を通って吐き出される）か、吸気流（すなわち、空気が吸い込まれる）であることが可能である。肺が、この空気の流れを生成する空気ポンプとして働く。気管の上部にある喉頭の開口に広がる声帯（ｖｏｃａｌ ｆｏｌｄｓ、しばしばｖｏｃａｌ ｃｏｒｄｓとも呼ばれる）は、空気の流れの運動エネルギーを可聴音に変える。次いで声道の様々な調音器官が、この音を理解できる発話に変える。
【００２０】
喉頭の軟骨組織が、様々に回転し、傾いて、声帯の形状を変えることができる。声帯が開くとき、呼吸が可能になる。声帯の間の開口部は、声門として知られる。声帯が閉じるとき、声帯は、咽喉頭と気管の間に障壁を形成する。閉じた声帯の下の空気圧（すなわち、声門下圧）が十分に高いとき、声帯はこじ開けられる。空気が声門を通って流れ始めると、声門下圧は下がり、弾性力と空気力学的な力の両方が声帯を閉じた状態に戻す。声帯が閉じた後に、声門下圧は再び増大し、したがって声帯を再び開いて空気が声門を通過するようにする。その結果、声門下圧は下がり、したがって声帯が再び閉じるようにする。この周期的なプロセス（発声として知られる）が、声帯の形状に対応する音を作り出し、肺が十分な声門下圧を作り上げることができる限り、継続することができる。
【００２１】
声帯によって作り出された音は、声道の上部を通過するときに修正される。より詳細には、声道の様々な空洞が、声帯によって作り出された音を修正する音響フィルタおよび／または共鳴器として働く。通常、以下の主要な声道の空洞が認められる。（ｉ）食道と喉頭蓋の間に位置する喉頭腔、（ｉｉ）舌、歯、口蓋、軟口蓋、および口蓋垂によって定められる口腔、（ｉｉｉ）歯と唇の間に位置する唇面窩洞、および（ｉｖ）鼻腔。これらの腔の形状、したがってその音響特性は、軟口蓋、舌、唇、顎などの、声道の様々な調音器官を動かすことによって変えることができる。
【００２２】
無声発話は、声帯が振動することを強いられていないことを除いて、声道の上述の機構が通常の方法で活動させられた現象である。声帯は、（ｉ）互いに十分に閉じていない、（ｉｉ）張力が十分でない、または（ｉｉｉ）張力が大きすぎる場合、あるいは喉頭全体にわたる圧力差が十分に大きくない場合、振動しない。人は、自身に話しかけるとき、すなわち音を発生させずに「話す」、または生理学的知覚の閾値を下回る音を発生させることによって「話す」とき、声道の機構を活動させることができる。「自身に話しかける」という精神的な行為を経ることによって、人は、声帯が振動しないようにしながら、潜在意識的に脳が声道の中の様々な調音器官を制御する筋肉に適切な信号を送るようにする。平均的な人は、ほんの少しの訓練で、または全く訓練することなく、無声発話を行うことができることがよく知られている。また、無声発話はささやきとは異なることを、当業者であれば理解するであろう。
【００２３】
図３Ａ〜Ｃは、本発明の一実施形態により送受信機１０８として使用することができる携帯電話３００を示す。より詳細には、図３Ａは、開いた状態の携帯電話３００の３次元の斜視図を示す。図３Ｂは、ＳＴＡスピーカ３１６を駆動するために携帯電話３００に使用される駆動回路３５０のブロック図を示す。図３Ｃは、ＳＴＡマイクロフォン３１８によって生成されたアナログ出力信号をデジタル形式に変換するために携帯電話３００で使用される検出回路３７０のブロック図を示す。
【００２４】
図３Ａを参照すると、携帯電話３００は、基部３０２と、基部にそれぞれ枢動可能に結合されたフリップアウト式のパネル３０４および３１０とを有する。基部３０２は、従来の音響マイクロフォン３１２を有し、図３Ｂの駆動回路３５０、および／または図３Ｃの検出回路３７０を含むことができる。パネル３０４は、ディスプレイ画面（例えば、ＬＣＤ）３０６を有する。パネル３１０は、ＳＴＡスピーカ３１６およびＳＴＡマイクロフォン３１８を含むＳＴＡパッケージ３１４を有する。パネル３１０を基部３０２に枢動可能に結合するヒンジ３０８は、ＳＴＡパッケージ３１４に適切な電気的接続を提供する。例えば、ヒンジ３０４は、（ｉ）基部３０２からＳＴＡパッケージ３１４への電源電圧／電流および制御信号、（ｉｉ）ＳＴＡパッケージから基部へのエコー信号、を搬送する電気的接続を提供することができる。またヒンジ３０８により、ユーザ（例えば、図１の人物１０２）は、通信セッション中にはＳＴＡパッケージ３１４をユーザの口の前に位置付け、通信セッションが終わるとパネル３１０を折り畳んで基部３０２に戻すことができる。通信セッションは、無声発話または通常発話の通信セッションであることが可能である。
【００２５】
ＳＴＡスピーカ３１６は、ユーザの声道の形状を探るために、周期的に（例えば、約５０Ｈｚ以上の繰り返し率で）、または非周期的に、ＳＴＡ波の短い（例えば、約１ｍｓ未満の）バーストを発するように設計される。代表的な構成では、ＳＴＡ波のバーストは、ユーザのわずかに開いた口から声道に入り、声道の様々な腔内の多重反射を受ける。反射したＳＴＡ波は互いに干渉して、減衰するエコー信号を形成し、これがＳＴＡマイクロフォン３１８によってとらえられる。一実施形態では、ＳＴＡスピーカ３１６は、Ｎｅｗ Ｙｏｒｋ、ＳｙｏｓｓｅｔのＳｈｏｇｙｏ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｒｐｏｒａｔｉｏｎから市販されているモデルＧＣ０１０１スピーカであり、ＳＴＡマイクロフォン３１８は、英国、Ｂｕｒｇｅｓｓ ＨｉｌｌのＫｎｏｗｌｅｓ Ａｃｏｕｓｔｉｃｓから市販されているモデルＳＰＭ０２０４マイクロフォンである。様々な実施形態では、様々なタイプの携帯電話（例えば、折り畳み式ではない携帯電話）が、同様に使用されて、送受信機１０８を実現することができる。
【００２６】
図３Ｂを参照すると、駆動回路３５０が、デジタル・パルス生成器３５２によって定義される励起パルスの包絡線３５３にキャリア周波数の信号３５４を投入する乗算器３５６を有する。様々な構成では、キャリア周波数は、例えば約１ｋＨｚと約１００ｋＨｚの間の範囲から選択することができる。励起パルスの包絡線３５３は、いかなる好適な（例えば、ガウス的または直線的）形状を有することもでき、さらに擬似雑音の波形によって変調されることも可能である。乗算器３５６の出力３５７は、Ｄ／Ａ変換器３５８でデジタル−アナログ（Ｄ／Ａ）変換される。結果として生じるアナログ信号３５９は、高域（ＨＰ）フィルタ３６０を通され、フィルタリングされた信号３６１が使用されて、ＳＴＡスピーカ３１６を駆動する（図３Ａ参照）。
【００２７】
一実施形態では、携帯電話３００は、従来のマイクロフォン３１２または別個の専用マイクロフォン（明示せず）を使用して、周囲の音響雑音のレベルを測定し、その情報を使用してパルス生成器３５２を構成し、ＳＴＡスピーカ３１６によって発せられる励起パルスの強度および／または周波数を設定するように構成されることが可能である。携帯電話３００のユーザの周りの他の人々に迷惑をかけないことが望ましいので、ユーザの生理学的知覚の閾値ではなく、こうした人々の生理学的知覚の閾値が考慮に入れられて、ＳＴＡ放出のパラメータを設定すべきである。生理学的知覚の閾値の曲線のスペクトル形状および位置は、一般に周囲の音響雑音（上記図１Ｂの説明を参照）の特性によって決まるので、携帯電話３００は、例えば、周囲の雑音のレベルが比較的高いとき、携帯電話のユーザの周りの他の人々に迷惑をかけることなく励起パルスの強度を増大させることができる。対応するエコー信号の信号対雑音比に関しては、一般により強力な励起パルスが有益であることを当業者は理解するであろう。
【００２８】
図３Ｃを参照すると、検出回路３７０が、キャリア周波数の信号３５４と、キャリア周波数の信号を、約９０度（あるいは、約２７０度）の移相を施すように構成された移相器３７６に通すことによって作り出された、移相したキャリア周波数の信号３７７とを利用するホモダイン検出法を実行する。ＳＴＡマイクロフォン３１８（図３Ａ参照）によって生成されたアナログ出力信号３７１は、帯域通過（ＢＰ）フィルタ３７２を通される。結果として生じるフィルタを通された信号３７３は、アナログ−デジタル（Ａ／Ｄ）変換器３７４でデジタル形式に変換される。Ａ／Ｄ変換器３７４によって生成されたデジタル信号３７５は、それぞれキャリア周波数の信号３５４およびその移相されたもの３７７と乗算器３７８ａ〜ｂでミキシングされることによってホモダイン検出を受け、ホモダイン検出された信号の、それぞれ実数部３７９ａと虚数部３７９ｂを生成する。パルス包絡線（ＰＥ）整合フィルタ３８０ａ〜ｂは、それぞれ実数部および虚数部をフィルタにかけて、検出されたエコー信号への励起パルスの包絡線の影響を低減する。加算器３８２が、ＰＥ整合フィルタ３８０ａ〜ｂによって作り出された、フィルタ処理した信号を合計し、デジタル・エコー信号３８３を作り出す。フィルタ３８０ａ〜ｂを使用することにより、デジタル・エコー信号３８３が、声道の現在の形状の関数となり、励起パルスの包絡線の関数とならないようにすることを、当業者は理解するであろう。
【００２９】
駆動回路３５０および検出回路３７０は、例示の回路にすぎないことを、当業者は理解するであろう。様々な実施形態では、本発明の範囲および趣旨を逸脱することなく、他の好適な駆動回路および検出回路が携帯電話３００の中で同様に使用できる。
【００３０】
図４Ａ〜Ｂは、携帯電話３００によって検出される２つの代表的なエコー信号をグラフによって示す。より詳細には、図４Ａのエコー信号４０２ａは、ユーザが声を出さずに母音「ａｈ」を発したときに検出された。図４Ａ中の挿入部は、この無声母音に対応する声道の形状を示す。同様に、図４Ｂのエコー信号４０２ｕは、ユーザが声を出さずに母音「ｙｕ」を発したときに検出された。図４Ｂ中の挿入部は、この無声母音に対応する声道の形状を示す。図に示すように、エコー信号４０２ａおよび４０２ｕは、対応する声道の形状が異なるように、有意に異なる。エコー信号４０２ａと４０２ｕの違いにより、ＳＣモジュール１２０（図１）はそれぞれ母音「ａｈ」および「ｙｕ」がユーザによって声を出さずに発せられたことを認識することができる。ＳＴＡパッケージ３１４は、一般に声を出さずに発せられた異なる母音、子音、摩擦音、および接近音（すなわち、典型的な母音と典型的な子音との中間であるとみなされる発話音）に対して異なるエコー信号を生成することを、当業者は理解するであろう。エコー信号のこの特性を用いて、通信システム１００（図１）は、無声発話セッションの間にＳＴＡパッケージ３１４によって生成されたエコー信号の流れを適切に処理して、対応する無声発話を発音することができる。
【００３１】
ユーザが無声ではなく、聞こえるように話すときは、エコー信号４０２と類似しているエコー信号が作り出されることを、当業者は理解するであろう。すでに上述したように、声に出さずに話される発話音（ｓｐｅｅｃｈ ｐｈｏｎｅ）に対応する声道の形状は、無声発話の間、声帯が振動していないことを除いて、聞こえるように話される同じ発話音に対応する声道の形状と実質的に同じものである。本明細書で使用する、「発話音」という用語は、音声上の発話分析によって明らかにされ、また明確な物理的特性および／または知覚特性を持つ発話の基本単位を指す。例えば、人の発話を伝えるために使用される様々な母音および子音のそれぞれが、発話音である。エコー信号は、声道中の様々な空洞の形状の関数であり、声帯が振動しているか、振動していないかにはほとんど左右されないので、ユーザが母音「ａｈ」を無声ではなく聞こえるように話すとき、エコー信号４０２ａと実質的に同様のエコー信号が作り出される。同様に、ユーザが母音「ｙｕ」を無声ではなく聞こえるように話すとき、エコー信号４０２ｕと実質的に同様のエコー信号が作り出される。一般に、他の発話音にも同様に、無声発話および通常発話に対応するエコー信号間に実質的な類似性が存在する。
【００３２】
図５は、本発明の一実施形態によりＳＣモジュール１２０（図１）で使用することができる信号処理方法５００のフローチャートを示す。以下に無声発話に関して方法５００を説明するが、例えば、通常発話がかなりの音響雑音に混入されるとき、通常発話にも同様に使用することができる。通常発話に対応する方法５００のある実施形態のフローチャートを得るには、読者は図５の対応するテキスト・ボックスにおいて、「無声発話」および「声を出さずに発せられた」という用語をそれぞれ「可聴発話」および「聞こえるように発せられた」という用語に置き換えることができる。方法５００の代表的な実施形態は、携帯電話３００（図３）を使用して実行することができる。
【００３３】
方法５００は、ＳＣモジュール１２０の異なる２つの動作モードに対応する分岐５１０および５２０を有する。ＳＣモジュール１２０が「トレーニング」モードである場合、方法５００の処理はモード・スイッチ５０２によってステップ５１２〜５１８を有するトレーニング分岐５１０へ向けられる。ＳＣモジュール１２０が「作動」モードである場合、方法５００の処理はモード・スイッチ５０２によってステップ５２２〜５２６を有する作動分岐５２０へ向けられる。１つの実施では、携帯電話３００のユーザは、一般に手動でモード・スイッチ５０２を一方のモードから他方のモードへ再構成することができる。
【００３４】
トレーニング・モードでは、ＳＣモジュール１２０は、ユーザ固有の参照データを収集し、その後、続いて発生する動作モードの間にこのデータを使用して、この特定のユーザから発するエコー信号を処理することができるように構成される。２人以上の異なるユーザが、異なる時間に携帯電話３００のＶＥインタフェース機能を使用しようとする場合、対応するユーザ固有の参照データを収集するために、それぞれ個々のユーザに対して別個のトレーニング・セッションが行われることが可能である。多数のユーザを有する携帯電話３００は、現在のユーザを識別して、その識別情報をＳＣモジュール１２０に中継することができるように、適切なユーザ・ログイン手順を使用するように構成されることが可能である。
【００３５】
トレーニング分岐５１０のステップ５１２では、ＳＣモジュール１２０がユーザに１つまたは複数のトレーニング・フレーズを声を出さずに話すよう要求を送信する。トレーニング・フレーズは、文、単語、音節、または個々の言語音であることが可能である。この特定のユーザに固有の自然発話分散のサンプルを抽出するためには、各トレーニング・フレーズが、数回繰り返されなければならない可能性がある。ＳＣモジュール１２０は、携帯電話３００のディスプレイ画面３０６を使用して、トレーニング・フレーズの内容および適切な発話指示をユーザに伝えることができる。
【００３６】
ステップ５１４では、ユーザがステップ５１２で指定された様々なトレーニング・フレーズを声に出さずに話す間、ＳＣモジュール１２０が、携帯電話３００によって検出された一連のエコー信号を記録する。記録されるエコー信号のそれぞれは、一般に図４に示すエコー信号４０２に類似している。
【００３７】
ステップ５１６では、ＳＣモジュール１２０が記録されたエコー信号を処理して複数の参照エコー応答（ＲＥＲ）を導き出す。一実施形態では、各ＲＥＲは、それぞれの異なる発話音を表す。ＳＣモジュール１２０は、（１つまたは複数の）トレーニング・フレーズの中の同じ発話音の様々な発生に対応する複数のエコー信号を時間的に合わせ、その後強度を平均することによって各ＲＥＲを生成することができる。ステップ５１６の他の実施形態では、ＳＣモジュール１２０が、記録されたエコー信号を処理して、エコー信号に対応する信号空間をユーザの発話の音響信号に対応する信号空間にマッピングするためのマッピング手順をより一般的に定義する。
【００３８】
各ＲＥＲは、通常音素に対応することに注意する。本明細書で使用する、「音素」という用語は、認識される音の区別の所与の言語のシステムの中で潜在的に有意味な音の最小単位を指す。ある言語の各音素は、言葉の意味を潜在的に変えることなく代用することができない他の音素との対比によってその独自性を得る。例えば、「ｌｅｖｅｌ」という言葉と「ｒｅｖｅｌ」という言葉との違いが認められるのは、英語における／ｌ／と／ｒ／（表記では、音素は２つのスラッシュで示される）の音素の差異を示す。発話音と違い、音素は実際の音ではなく、むしろその音を表す抽象概念である。
【００３９】
２つ以上の異なるＲＥＲが、同じ音素に対応することが可能である。例えば、「ｔｉｐ」、「ｓｔａｎｄ」、「ｗａｔｅｒ」、および「ｃａｔ」という言葉の中の音「ｔ」は、若干異なるように発音され、したがって異なる発話音を表す。それにもかかわらず、これらのそれぞれは、同じ／ｔ／に対応する。さらに、実質的に同じ知覚可能な音声（これは人の耳による音知覚のエラー・バー内の複数の音声に対応する）は、この知覚可能な音声が一般に声道のいくつかの異なる形状によって作り出されることが可能であるので、いくつかの顕著に異なるＲＥＲで表されることが可能である。ステップ５１４で使用されるトレーニング・フレーズは、それぞれ特定のＲＥＲに対応する音素が比較的簡単に判断できるように設計されることが好ましい。
【００４０】
ステップ５１８では、ＳＣモジュール１２０が、ステップ５１６で生成されたＲＥＲをユーザに対応する参照データベースに格納する。さらに以下に説明するように、ＲＥＲおよびその対応する音素は、作動分岐５２０で実行される信号処理の間に呼び出される。
【００４１】
作動分岐５２０のステップ５２２では、ＳＣモジュール１２０は、実際の（すなわち、トレーニングではない）無声発話セッションの間に携帯電話３００によって検出されたエコー信号の流れを受信する。受信されるエコー信号のそれぞれは、一般に図４に示すエコー信号４０２に類似している。
【００４２】
ステップ５２４では、ＳＣモジュール１２０が、受信したエコー信号のそれぞれを、ステップ５１８において参照データベースに格納されたＲＥＲと比較し、最も近い一致を判断する。一実施形態では、最も近い一致は、それぞれがエコー信号とＲＥＲとの相互相関関数に基づく、複数の相互相関値を計算することによって判断される。相互相関値は、例えば、（ｉ）エコー信号とＲＥＲを時間的に合わせること、（ｉｉ）例えばミリ秒あたり約５００サンプルなど、指定されたサンプリング・レートでこれらのそれぞれのサンプルを抽出すること、（ｉｉｉ）エコー信号の各サンプルにＲＥＲの対応するサンプルを掛けること、および（ｉｖ）この積を合計すること、によって計算することができる。一般に、上記相関値が指定された閾値より高い場合、最高の相関値に対応するＲＥＲは、最も近い一致であると考えられる。計算された相互相関値がすべて閾値を下回る場合、対応するエコー信号は解釈できないと考えられ、廃棄される。
【００４３】
ステップ５２４の代替的実施形態では、他の好適な信号処理技術を使用して、受信された各エコー信号に最も近い一致を判断することができる。例えば、本発明の範囲および趣旨を逸脱することなく、スペクトル成分の分析、人工ニューラル・ネットワークの処理、および／または様々な信号相互相関技術を利用することができる。
【００４４】
ステップ５２６では、ステップ５２４で判断された一連の最も近い一致に基づいて、ＳＣモジュール１２０が、無声発話セッションに対応する推定音声信号を生成する。一実施形態では、推定音声信号は、ステップ５２４で判断された最も近いＲＥＲの一致に対応する一連のタイムスタンプを記録された音素である。各音素は、対応するエコー信号が携帯電話３００に検出された時間でタイムスタンプを記録されていることに注意する。
【００４５】
図６Ａ〜Ｂは、本発明の別の実施形態によりＳＣモジュール１２０（図１）で使用することができる信号処理方法６００を示す。より詳細には、図６Ａは方法６００のフローチャートを示す。図６Ｂは、方法６００の１つの実施で使用することができる音声推定アルゴリズムをグラフによって示す。方法５００と同様に、方法６００は、無声発話と可聴発話の両方に適用できるものである。可聴発話に適用する場合、方法６００は、可聴発話が周囲の音響雑音がかなり混入するとき特に有益である。
【００４６】
図６Ａを参照すると、信号処理方法６００は、２つの分岐、すなわちトレーニング分岐６１０と作動分岐６２０を有するという点で、信号処理方法５００（図５）と同様である。モード・スイッチ６０２は、方法６００の処理が、トレーニング分岐６１０に向けられるか、作動分岐６２０に向けられるかを制御する。ＳＣモジュール１２０が「トレーニング」モードである場合、方法６００の処理はステップ６１２〜６１６を有するトレーニング分岐６１０へ向けられる。ＳＣモジュール１２０が「作動」モードである場合、方法６００の処理はステップ６２２〜６２６を有する作動分岐６２０へ向けられる。
【００４７】
トレーニング分岐６１０のステップ６１２では、ＳＣモジュール１２０は、１つまたは複数のトレーニング・フレーズを聞こえるように（例えば、通常の方法で）言うようにユーザに要求を送信する。この特定のユーザに固有の自然発話の分散のサンプルを抽出するために、各トレーニング・フレーズは数回繰り返されなければならない場合がある。ＳＣモジュール１２０は、携帯電話３００のディスプレイ画面３０６を使用して、トレーニング・フレーズの内容および適切な発話の指示をユーザに伝える。
【００４８】
ステップ６１４では、ＳＣモジュール１２０は、ステップ６１２において指定された様々なトレーニング・フレーズに対応する一連のオーディオ波形および対応する一連のエコー信号を記録する。オーディオ波形は、従来の音響マイクロフォン３１２がユーザの声の音をとらえるとき、これによって生成される。同時に、ＳＴＡパッケージ３１４が、ユーザの声道からＳＴＡエコー信号をとらえる。ＢＰフィルタ３７２（図３Ｃ参照）は、ＳＣモジュール１２０によって記録されたＳＴＡエコー信号にオーディオ波形が干渉しないように、および／または寄与しないようにする助けとなる。
【００４９】
ステップ６１６では、ＳＣモジュール１２０の人工ニューラル・ネットワークは、ステップ６１４で記録されたオーディオ波形およびエコー信号を使用して、音声推定アルゴリズムを実行するように教育される。一実施形態では、エコー信号はフーリエ変換されて、対応するスペクトルを生成する。一例として、図６Ｂは、検出されたエコー信号の（例示的に）超音波スペクトル６０６を示す。ＳＣモジュール１２０は、矢印６０８で図６Ｂに示すスペクトル変換を行い、超音波スペクトル６０６を音声スペクトル６０４に変換する。音響スペクトル６０４は、そのスペクトルのケプストラムが、ステップ６１４でエコー信号と共に記録されたオーディオ波形に近いようになっている。一般に、人工ニューラル・ネットワークのパラメータは、ＳＴＡエコー信号が人工ニューラル・ネットワークの入力に適用される場合、その出力には、対応する記録されたオーディオ波形に近似するオーディオ波形が現れる。言い換えれば、人工ニューラル・ネットワークは、エコー信号の空間をオーディオ波形の空間にマップするように教育される。人工ニューラル・ネットワークが、スペクトル変換６０８と似ている十分に多数の変換を正確に行い、ステップ６１２のトレーニング・フレーズに対応する様々な発話音および音素にわたる信号空間で満足に動作するように教育されるまで、人工ニューラル・ネットワークのトレーニング・プロセスは続く。
【００５０】
以下にさらに説明するように、ステップ６１６で作り出されたＳＣモジュール１２０の教育された人工ニューラル・ネットワークは、作動分岐６２０で実行される信号処理の間使用される。代表的な実施形態では、人工ニューラル・ネットワークは、１つまたは複数のニューロン層に編成された約５００の人工ニューロンを有することができる。ＳＣモジュール１２０の中で人工ニューラル・ネットワークを実行するために使用することができる好適なプロセッサは、例えば米国特許出願公開第２００８／０１５４８１５号に開示されており、これは全体として参照により本明細書に組み込まれる。
【００５１】
作動分岐６２０のステップ６２２では、ＳＣモジュール１２０は、無声発話セッションの間に携帯電話３００によって検出されたエコー信号の流れを受信する。受信されるエコー信号のそれぞれは、一般に図４に示すエコー信号４０２に類似している。
【００５２】
ステップ６２４では、受信したエコー信号のそれぞれが、教育された人工ニューラル・ネットワークに適用されて、対応するオーディオ波形を生成する。
【００５３】
ステップ６２６では、ＳＣモジュール１２０は、ステップ６２４で生成されたオーディオ波形を使用して、無声発話セッションに対応する推定された音声の信号を生成する。ＳＣモジュール１２０および／または信号プロセッサ１３０において追加の発話合成技術を使用してオーディオ波形をさらに操作し（例えば、マージする、フィルタにかける、廃棄するなど）、合成音１４２が比較的高品質を有することを保証することができる。
【００５４】
様々な実施形態では、方法５００および６００の様々な特徴を利用して、ＳＣモジュール１２０および／または信号プロセッサ１３０で使用することができる代替的信号処理方法を作り出すことができる。例えば、トレーニング分岐がない信号処理方法が企図される。より詳細には、イヤピース１２２（図１Ａ参照）を使用して、推定された音声信号に対応する音をユーザにフィードバックすることができる。この音に基づいて、ユーザは、遠隔受信機での音１４２が所望の音声特性を有するように、ユーザの無声発話または通常発話の方法を調整することができる。ＳＣモジュール１２０は、無声発話、通常発話、または雑音の混入した発話に対応するエコー信号の処理に特に合わせた信号処理方法５００および６００の様々な実施形態を呼び出すことができることを、当業者は理解するであろう。
【００５５】
図１に戻ると、すでに上述したように、ＳＴＡパッケージ（ＳＴＡパッケージ３１４など）に加えて、ＶＥインタフェース１１０（図１）またはパネル３１０（図３）が、１つまたは複数の追加のセンサを含むことができ、その信号を使用して、合成された音１４２の質を向上させることができる。例えば、ビデオ・カメラを使用して、聴覚障害者によって使用される読唇術と似ているとみなすことができる読唇術を実行することができる。ビデオ・カメラによって記録されたビデオ信号は、携帯電話３００が接続されたネットワークを介して比較的高性能なコンピュータに送信されることが可能であり、そこでビデオ情報が処理されて、対応する一連のタイムスタンプを記録された音素を生成することができる。このビデオによる一連の音素は、ＳＴＡによる一連の音素と併せて使用することができ、例えば、解釈できないＳＴＡエコー信号に対応する曖昧さを解消する、またはギャップを埋める。赤外線センサ、ミリ波センサ、筋電センサ、電磁調音センサなど、他のタイプのセンサによって生成されたデータに基づいて作り出された、一連のタイムスタンプを記録された音素を同様に使用して、合成された音１４２の品質を向上させることができる。
【００５６】
一実施形態では、ＳＴＡパッケージ（ＳＴＡパッケージ３１４、図３）など）は、ＳＴＡスピーカ３１６に似ている数多くのＳＴＡスピーカおよび／またはＳＴＡマイクロフォン３１８に似ている数多くのＳＴＡマイクロフォンを有することができる。並んだＳＴＡスピーカおよび／またはマイクロフォンを有することは、例えば並んだＳＴＡスピーカは、干渉効果による励起ビームの成形に使用することができるので有益である可能性があり、並んだＳＴＡマイクロフォンは、ユーザの声道の形状に関するより正確な情報を提供するより洗練された信号処理を可能にすることができる。例えば、ＣＤＭＡで使用される符号化と似ている励起符号化を使用して、エコー信号の解釈機能をさらに向上させることができる。
【００５７】
システム１００の様々な実施形態は、有利には、（ｉ）雑音のある、または社会的に敏感な環境で、（ｉｉ）病気、先天的欠損、もしくは手術が原因で声道に異常がある身体障害者によって、および／または（ｉｉｉ）例えば、敵陣の背後など、軍事活動中に、生ずる無声発話を発音するために使用されることが可能である。あるいは、またはさらに、システム１００の様々な実施形態は、有利には、周囲の音響雑音が混入するとき通常発話の知覚品質を向上させるために使用されることが可能である。例えば、雑音レベルが比較的耐えられる場合、ＳＴＡパッケージ３１４が、第２のセンサとして使用されて、従来の音響マイクロフォン３１２によって作り出される音声信号を強化することができる。雑音レベルが比較的耐えられると耐えられないとの中間にあるとき、音響マイクロフォン３１２が第２のセンサとして使用されて、ＳＴＡパッケージ３１４によってとらえられたエコー信号に基づいて生成される、推定音声信号の質を強化することができる。雑音レベルが耐えられない場合、音響マイクロフォン３１２はオフにすることができ、推定音声信号は、単にＳＴＡパッケージ３１４によってとらえられたエコー信号に基づいて生成されることが可能である。一実施形態では、ＳＴＡパッケージ３１４は、スキューバ・ダイビングの用具のマウスピースに取り付けられ、例えば、スキューバ・ダイバは、他のスキューバ・ダイバに、および／またはボートからダイビングを監視する人々に、話しかけることができるようになる。スキューバ・ダイバは、無声発話と同様の発話技術を使用して、意図した受信者に向かって可聴発話を作り出すことができる。
【００５８】
例示的実施形態を参照して本発明を説明したが、この説明は、限定される意味で解釈されることを意図しない。説明した諸実施形態の様々な変更形態、ならびに本発明の他の実施形態は、本発明が関連する当業者には明らかであるが、これらは次の特許請求の範囲に表すように、本発明の趣旨および範囲内にあるとみなされる。
【００５９】
本発明の一定の実施形態は、単一の集積回路上で実施することができるなど、回路ベースのプロセスとして実施することができる。当業者には明らかなように、回路要素の様々な機能をソフトウェア・プログラムの処理ステップとして実装することもできる。このようなソフトウェアは、例えばデジタル信号処理装置、マイクロコントローラ、または汎用コンピュータで使用されることが可能である。
【００６０】
明示的に別段の記載がない限り、各数値および範囲は、その値または範囲の前に「約」または「およそ」という語が付いたのと同じように近似であると解釈されるべきである。
【００６１】
さらに、本発明の本質を説明するために記載し、図示した部分の細部、材料、および配列の様々な変更が、添付の特許請求の範囲に表す本発明の範囲を逸脱することなく、当業者によって行われる可能性があることを理解されるであろう。
【００６２】
本明細書に示す例示的方法の諸ステップは、必ずしも記載した順序で行われる必要がないことを理解すべきであり、このような方法の諸ステップの順序は、例示にすぎないと理解されるべきである。同様に、このような方法に追加のステップが含まれることが可能であり、ある一定のステップは、本発明の様々な実施形態と矛盾しない方法で、省略される、または結合されることが可能である。
【００６３】
本明細書における「一実施形態」または「ある実施形態」への言及は、その実施形態に関連して説明する特定の特徴、構造、または特性を、本発明の少なくとも１つの実施形態に含むことができることを意味する。明細書中の様々な場所での「一実施形態では」という語句の出現は、必ずしもすべて同じ実施形態に言及しておらず、別個の実施形態または代替的実施形態は、必ずしも他の実施形態を互いに排除しない。同じことは、「実行」という用語にもあてはまる。
【００６４】
また、この説明の目的で、「結合する」、「結合している」、「結合された」、「接続する」、「接続している」、または「接続された」という用語は、エネルギーが２つ以上の要素間で転送されることを可能にし、また必須ではないが、１つまたは複数の追加要素の介入を企図する、当技術分野で知られる、または後に開発されるいかなる方法も指す。逆に、「直接結合された」、「直接接続された」などの用語は、このような追加要素がないことを暗示する。
【技術分野】
【０００１】
本発明は、通信機器に関し、より詳細には発話認識装置およびこれを使用する通信システムに関する。
【背景技術】
【０００２】
この項では、本発明のよりよい理解を容易にする助けとなり得る諸態様を紹介する。したがって、この項で述べることは、この観点において読まれるべきであり、従来の技術にあるもの、または従来の技術にないものについての承認と理解されるべきではない。
【０００３】
携帯電話の使用はこの１０年で急増したが、依然として、従来の携帯電話を使用することが物理的に適していない、および／または社会的に容認できない環境がある。例えば、ナイトクラブ、ディスコ、または飛行中の航空機における比較的大きい背景雑音により、遠隔通話相手に宛てられた発話は聞き取れないおよび／または理解できないようになる。また、ミーティング、会議、映画、または公演中に携帯電話で話すことは一般的に不作法であるとみなされ、したがって通常は許容されない。こうした状況の多くへの今日の対応は、携帯電話の電源を切ること、または、物理的に可能であれば、騒々しいもしくは敏感な場所を離れて通話により良い場所を見つけることである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７，２５１，６０１号
【特許文献２】米国特許第６，８０１，８９４号
【特許文献３】米国再発行特許第３９，３３６号
【特許文献４】米国特許出願公開第２００８／０１５４８１５号
【発明の概要】
【課題を解決するための手段】
【０００５】
従来技術の諸問題は、騒々しい環境または社会的に敏感な環境でユーザが声を出さずに、または聞こえるように話す間、閾値下の音波でユーザの声道を探ってユーザの声を推定する音声推定（ＶＥ）インタフェースによって対処される。一実施形態では、このＶＥインタフェースは携帯電話に組み込まれ、携帯電話は推定された音声信号を、ネットワークを介して遠隔通話相手に送る。有利には、ＶＥインタフェースによりユーザは、例えばミーティング、会議、映画、または公演において、他の人々に迷惑をかけることなく、遠隔通話相手と会話することができるようになり、また遠隔通話相手は、そうでなければユーザが、例えばナイトクラブ、ディスコ、または飛行中の航空機にいることによる、比較的大きい周囲雑音によってかき消されることになるユーザの声が、よりはっきりと聞こえるようになる。
【０００６】
一実施形態によれば、本発明は、（ｉ）ユーザの声道を探るように構成されたＶＥインタフェースと、（ｉｉ）ＶＥインタフェースに動作可能に結合され、ＶＥインタフェースによって作り出された１つまたは複数の信号を処理してユーザに対応する推定音声信号を生成するように構成された信号変換（ＳＣ）モジュールと、を有する装置である。ＶＥインタフェースは、閾値下音響（ＳＴＡ）バーストを声道に送って、このＳＴＡバーストに対応するエコー信号を検出するように構成された閾値下音響（ＳＴＡ）パッケージを含む。推定音声信号は、このエコー信号に基づく。
【０００７】
別の実施形態によれば、本発明は、（Ａ）ＶＥインタフェースを使用してユーザの声道を探るステップと、（Ｂ）ＶＥインタフェースによって作り出された１つまたは複数の信号を処理して、ユーザに対応する推定音声信号を生成するステップと、を有する音声を推定する方法である。このＶＥインタフェースは、ＳＴＡバーストを声道に送って、このＳＴＡバーストに対応するエコー信号を検出するように構成されたＳＴＡパッケージを含む。推定音声信号は、このエコー信号に基づく。
【０００８】
本発明の他の態様、特徴、および利点は、次の詳細な説明、添付の特許請求の範囲、および添付の図面から、さらに十分に明らかになるであろう。
【図面の簡単な説明】
【０００９】
【図１Ａ】本発明の一実施形態による通信システムを示す図である。
【図１Ｂ】本発明の一実施形態による通信システムを示す図である。
【図２】人の声道の解剖学的構造を示す図である。
【図３Ａ】本発明の一実施形態による図１の通信システムにおける送受信機として使用することができる携帯電話を示す図である。
【図３Ｂ】本発明の一実施形態による図１の通信システムにおける送受信機として使用することができる携帯電話を示す図である。
【図３Ｃ】本発明の一実施形態による図１の通信システムにおける送受信機として使用することができる携帯電話を示す図である。
【図４】図４Ａ及び４Ｂは、図３の携帯電話によって検出される２つの代表的なエコー信号をグラフによって示す図である。
【図５】本発明の一実施形態による図１の通信システムにおいて信号変換（ＳＣ）モジュールによって使用可能である信号処理方法のフローチャートである。
【図６Ａ】本発明の別の実施形態による図１の通信システムにおいてＳＣモジュールによって使用可能である信号処理方法を示す図である。
【図６Ｂ】本発明の別の実施形態による図１の通信システムにおいてＳＣモジュールによって使用可能である信号処理方法を示す図である。
【発明を実施するための形態】
【００１０】
図１Ａは、本発明の一実施形態による通信システム１００のブロック図を示す。システム１００は、人１０２の顔に比較的近接して配置することができる音声推定（ＶＥ）インタフェース１１０を有する。ＶＥインタフェース１１０は、例えば、無声発話を検出するために、または通常発話が比較的騒々しい音響背景によって重ね合わされる、もしくは実質的にかき消されるときに、通常発話の認知を強化するために使用することができる。無声発話の現象について、図２を参照して以下により詳細に説明する。
【００１１】
ＶＥインタフェース１１０は、人１０２の声道を特徴付ける１つまたは複数の信号を集めるように設計された１つまたは複数のセンサ（明示せず）を有する。様々な実施形態では、ＶＥインタフェース１１０は、次のセンサ、すなわちビデオ・カメラ、赤外線センサもしくは撮像装置、閾値下音響（ＳＴＡ）センサ、ミリ波センサ、筋電センサ、および電磁調音センサのうちの１つまたは複数を（無制限に）含むことができる。代表的な実施形態では、ＶＥインタフェース１１０は、少なくともＳＴＡセンサを有する。
【００１２】
図１Ｂは、ＳＴＡ波をグラフによって示す。より詳細には、図１Ｂ中の曲線１０１は、静かな環境において可聴領域（すなわち、約１５Ｈｚと約２０ｋＨｚの間）で聞いている人の生理学的知覚の閾値を示す。通常、可聴領域からの周波数を有する音波は、その強度が曲線１０１を超えている場合、知覚できる。具体的には、発話および音楽の最適な知覚は、それぞれ領域１０３および１０５で示す周波数−強度の範囲内で認められる。しかしながら、音波の強度が曲線１０１を下回ると、その音波は人の耳では知覚できなくなる。また、超音波（すなわち、その周波数が可聴領域の上方境界より高い準音波）は、通常人の耳には知覚できない。本明細書で使用する、「閾値下音響」または「ＳＴＡ」という用語は、（Ａ）その強度が生理学的知覚の閾値を下回る、可聴周波数領域からの音波と、（Ｂ）超音波の両方を含む。
【００１３】
曲線１０１の形状および位置は、背景雑音の関数であることに注意されたい。より具体的には、背景雑音が「白色」雑音であって、その強度が増大する場合、曲線１０１は全体的に強度の目盛が上昇する。背景雑音が「白色」ではない、すなわち明白な周波数帯域を有する場合、曲線１０１のスペクトル形状はそれに応じて変化する可能性がある。さらに、様々な人々が様々な生理学的知覚の閾値を有する可能性がある。
【００１４】
ＶＥインタフェース１１０については、そのＳＴＡ機能が、人１０２の典型的な隣人の生理学的知覚の閾値を基準とし、人１０２の生理学的知覚の閾値を基準としないことが有益である。このような基準付けの１つの理由は、ある一定のモードの動作では、ＶＥインタフェース１１０は人１０２の周りの他の人々に迷惑をかけるべきではないという理解でシステム１００が設計されるからである。結果として、人１０２の典型的な隣人の生理学的知覚の閾値が考慮に入れられるべきである。代表的な実施形態では、ＶＥインタフェース１１０は、約１メートルの距離において平均的な人がＶＥインタフェースの動作のいかなる厄介な影響をも感じないように動作する。ＶＥインタフェース１１０は、背景音響雑音を測定するように構成されたマイクロフォンから入力信号を受信し、その情報を使用して、そのＳＴＡの励起パルスを、例えばその強度が比較的高くなるように、ただし人１０２の推定上の隣人には依然として知覚できないように調整することができる。
【００１５】
図１Ａを再度参照すると、ＶＥインタフェース１１０の１つまたは複数のセンサによって生成された１つまたは複数の出力信号１１２が、信号変換器（ＳＣ）モジュール１２０に印加され、信号変換器モジュールが出力信号を処理して、人１０２の無声発話または雑音が混入した発話に対応する統合された推定音声信号を生成する。一実施形態では、統合された推定音声信号は、人１０２の声に対応する一連の音素を含む。別の実施形態では、統合された推定音声信号は、人１０２の声に対応する通常の知覚可能な音を生成するために使用することができる音声信号を含む。ＳＣモジュール１２０は、デジタル信号プロセッサ（ＤＳＰ）および／または人工ニューラル・ネットワークを使用して、統合された推定音声信号を生成することができる。
【００１６】
一実施形態では、ＶＥインタフェース１１０およびＳＣモジュール１２０は、無線、有線、および／または光伝送のシステム、ネットワーク、または媒体１２８に結合された、送受信機（例えば、携帯電話）１０８の一部である。携帯電話１０８は、ＳＣモジュール１２０によって生成された、統合された推定音声信号を使用して通信信号１２４を生成し、この通信信号１２４はネットワーク１２８を介して従来の方法で送信される、および通信信号１３８の一部としてリモートの送受信機（例えば、携帯電話）１４０で受信されることが可能である。送受信機１４０は、通信信号１３８を処理し、これを推定音声信号を発音する音１４２に変換する。送受信機１０８は、人１０２に対して推定音声信号を同様に発音することができるイヤピース１２２を有することができる。イヤピース１２２は、音１４２と実質的に同様の音を再生し、これにより人１０２は自身の発話が遠隔の送受信機１４０でよりよく知覚できるようになるように自身の発話を調節することができる。イヤピース１２２は、人１０２の発話が無声発話であるとき特に有用である可能性がある。様々な実施形態では、送受信機１０８は、ウォーキートーキー、ヘッド・セット、またはワンウェイ・ラジオであることが可能である。１つの実施では、イヤピース１２２は携帯電話の通常のスピーカであることが可能である。別の実施では、イヤピース１２２は、人１０２に自身の発話に関して音声フィードバックを提供することに専用の別個のスピーカであることが可能である。
【００１７】
ＳＣモジュール１２０の処理電力が比較的低い場合、ＶＥインタフェース１１０の様々なセンサによって生成される信号を適切に表す、統合された推定音声信号を生成するには、送受信機１０８外の追加処理が必要である可能性がある。このような追加処理には、システム１００は、ネットワーク１２８に接続された信号プロセッサ（例えばサーバ）１３０を使用することができる。１つの実施では、信号プロセッサ１３０は、様々な発話認識技術および／または発話合成技術を使用することができる。信号プロセッサ１３０に使用することができる代表的な技術は、例えば米国特許第７，２５１，６０１号、第６，８０１，８９４号、および米国再発行特許第３９，３３６号に開示されており、これらのすべては全体として参照により本明細書に組み込まれる。
【００１８】
代替的実施形態では、ＳＣモジュール１２０は、ネットワーク１２８に接続されたサーバの一部として実装可能である。信号プロセッサ１３０は、送受信機１４０に実装することができる。ＳＣモジュール１２０および信号プロセッサ１３０をシステム１００内の様々な物理的位置に有する他の配置もまた可能であることを当業者は理解するであろう。一実施形態では、信号１２４および／または信号１３８は、一連の音素を搬送し、実質的にテキストメッセージの信号と似ていることが可能である。一実施形態では、信号１３８はテキストに変換することができ、テキストはその後、音１４２として再生されることに加えて、または音１４２として再生される代わりに、送受信機１４０のディスプレイ画面上に表示される。あるいは、信号１３８は、従来から携帯電話によって受信される信号と同様の、通常の携帯電話の信号であることが可能である。同様に、信号１２４はテキストに変換することができ、その後テキストは、イヤピース１２２で音として再生されることに加えて、またはその代わりに、送受信機１０８のディスプレイ画面上に表示される。
【００１９】
図２は、人の声道の解剖学的構造を示す。発話時の音は、声道を通過する空気の流れによって作り出される。この空気の流れは、呼気流（すなわち、空気が口および／または鼻を通って吐き出される）か、吸気流（すなわち、空気が吸い込まれる）であることが可能である。肺が、この空気の流れを生成する空気ポンプとして働く。気管の上部にある喉頭の開口に広がる声帯（ｖｏｃａｌ ｆｏｌｄｓ、しばしばｖｏｃａｌ ｃｏｒｄｓとも呼ばれる）は、空気の流れの運動エネルギーを可聴音に変える。次いで声道の様々な調音器官が、この音を理解できる発話に変える。
【００２０】
喉頭の軟骨組織が、様々に回転し、傾いて、声帯の形状を変えることができる。声帯が開くとき、呼吸が可能になる。声帯の間の開口部は、声門として知られる。声帯が閉じるとき、声帯は、咽喉頭と気管の間に障壁を形成する。閉じた声帯の下の空気圧（すなわち、声門下圧）が十分に高いとき、声帯はこじ開けられる。空気が声門を通って流れ始めると、声門下圧は下がり、弾性力と空気力学的な力の両方が声帯を閉じた状態に戻す。声帯が閉じた後に、声門下圧は再び増大し、したがって声帯を再び開いて空気が声門を通過するようにする。その結果、声門下圧は下がり、したがって声帯が再び閉じるようにする。この周期的なプロセス（発声として知られる）が、声帯の形状に対応する音を作り出し、肺が十分な声門下圧を作り上げることができる限り、継続することができる。
【００２１】
声帯によって作り出された音は、声道の上部を通過するときに修正される。より詳細には、声道の様々な空洞が、声帯によって作り出された音を修正する音響フィルタおよび／または共鳴器として働く。通常、以下の主要な声道の空洞が認められる。（ｉ）食道と喉頭蓋の間に位置する喉頭腔、（ｉｉ）舌、歯、口蓋、軟口蓋、および口蓋垂によって定められる口腔、（ｉｉｉ）歯と唇の間に位置する唇面窩洞、および（ｉｖ）鼻腔。これらの腔の形状、したがってその音響特性は、軟口蓋、舌、唇、顎などの、声道の様々な調音器官を動かすことによって変えることができる。
【００２２】
無声発話は、声帯が振動することを強いられていないことを除いて、声道の上述の機構が通常の方法で活動させられた現象である。声帯は、（ｉ）互いに十分に閉じていない、（ｉｉ）張力が十分でない、または（ｉｉｉ）張力が大きすぎる場合、あるいは喉頭全体にわたる圧力差が十分に大きくない場合、振動しない。人は、自身に話しかけるとき、すなわち音を発生させずに「話す」、または生理学的知覚の閾値を下回る音を発生させることによって「話す」とき、声道の機構を活動させることができる。「自身に話しかける」という精神的な行為を経ることによって、人は、声帯が振動しないようにしながら、潜在意識的に脳が声道の中の様々な調音器官を制御する筋肉に適切な信号を送るようにする。平均的な人は、ほんの少しの訓練で、または全く訓練することなく、無声発話を行うことができることがよく知られている。また、無声発話はささやきとは異なることを、当業者であれば理解するであろう。
【００２３】
図３Ａ〜Ｃは、本発明の一実施形態により送受信機１０８として使用することができる携帯電話３００を示す。より詳細には、図３Ａは、開いた状態の携帯電話３００の３次元の斜視図を示す。図３Ｂは、ＳＴＡスピーカ３１６を駆動するために携帯電話３００に使用される駆動回路３５０のブロック図を示す。図３Ｃは、ＳＴＡマイクロフォン３１８によって生成されたアナログ出力信号をデジタル形式に変換するために携帯電話３００で使用される検出回路３７０のブロック図を示す。
【００２４】
図３Ａを参照すると、携帯電話３００は、基部３０２と、基部にそれぞれ枢動可能に結合されたフリップアウト式のパネル３０４および３１０とを有する。基部３０２は、従来の音響マイクロフォン３１２を有し、図３Ｂの駆動回路３５０、および／または図３Ｃの検出回路３７０を含むことができる。パネル３０４は、ディスプレイ画面（例えば、ＬＣＤ）３０６を有する。パネル３１０は、ＳＴＡスピーカ３１６およびＳＴＡマイクロフォン３１８を含むＳＴＡパッケージ３１４を有する。パネル３１０を基部３０２に枢動可能に結合するヒンジ３０８は、ＳＴＡパッケージ３１４に適切な電気的接続を提供する。例えば、ヒンジ３０４は、（ｉ）基部３０２からＳＴＡパッケージ３１４への電源電圧／電流および制御信号、（ｉｉ）ＳＴＡパッケージから基部へのエコー信号、を搬送する電気的接続を提供することができる。またヒンジ３０８により、ユーザ（例えば、図１の人物１０２）は、通信セッション中にはＳＴＡパッケージ３１４をユーザの口の前に位置付け、通信セッションが終わるとパネル３１０を折り畳んで基部３０２に戻すことができる。通信セッションは、無声発話または通常発話の通信セッションであることが可能である。
【００２５】
ＳＴＡスピーカ３１６は、ユーザの声道の形状を探るために、周期的に（例えば、約５０Ｈｚ以上の繰り返し率で）、または非周期的に、ＳＴＡ波の短い（例えば、約１ｍｓ未満の）バーストを発するように設計される。代表的な構成では、ＳＴＡ波のバーストは、ユーザのわずかに開いた口から声道に入り、声道の様々な腔内の多重反射を受ける。反射したＳＴＡ波は互いに干渉して、減衰するエコー信号を形成し、これがＳＴＡマイクロフォン３１８によってとらえられる。一実施形態では、ＳＴＡスピーカ３１６は、Ｎｅｗ Ｙｏｒｋ、ＳｙｏｓｓｅｔのＳｈｏｇｙｏ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｒｐｏｒａｔｉｏｎから市販されているモデルＧＣ０１０１スピーカであり、ＳＴＡマイクロフォン３１８は、英国、Ｂｕｒｇｅｓｓ ＨｉｌｌのＫｎｏｗｌｅｓ Ａｃｏｕｓｔｉｃｓから市販されているモデルＳＰＭ０２０４マイクロフォンである。様々な実施形態では、様々なタイプの携帯電話（例えば、折り畳み式ではない携帯電話）が、同様に使用されて、送受信機１０８を実現することができる。
【００２６】
図３Ｂを参照すると、駆動回路３５０が、デジタル・パルス生成器３５２によって定義される励起パルスの包絡線３５３にキャリア周波数の信号３５４を投入する乗算器３５６を有する。様々な構成では、キャリア周波数は、例えば約１ｋＨｚと約１００ｋＨｚの間の範囲から選択することができる。励起パルスの包絡線３５３は、いかなる好適な（例えば、ガウス的または直線的）形状を有することもでき、さらに擬似雑音の波形によって変調されることも可能である。乗算器３５６の出力３５７は、Ｄ／Ａ変換器３５８でデジタル−アナログ（Ｄ／Ａ）変換される。結果として生じるアナログ信号３５９は、高域（ＨＰ）フィルタ３６０を通され、フィルタリングされた信号３６１が使用されて、ＳＴＡスピーカ３１６を駆動する（図３Ａ参照）。
【００２７】
一実施形態では、携帯電話３００は、従来のマイクロフォン３１２または別個の専用マイクロフォン（明示せず）を使用して、周囲の音響雑音のレベルを測定し、その情報を使用してパルス生成器３５２を構成し、ＳＴＡスピーカ３１６によって発せられる励起パルスの強度および／または周波数を設定するように構成されることが可能である。携帯電話３００のユーザの周りの他の人々に迷惑をかけないことが望ましいので、ユーザの生理学的知覚の閾値ではなく、こうした人々の生理学的知覚の閾値が考慮に入れられて、ＳＴＡ放出のパラメータを設定すべきである。生理学的知覚の閾値の曲線のスペクトル形状および位置は、一般に周囲の音響雑音（上記図１Ｂの説明を参照）の特性によって決まるので、携帯電話３００は、例えば、周囲の雑音のレベルが比較的高いとき、携帯電話のユーザの周りの他の人々に迷惑をかけることなく励起パルスの強度を増大させることができる。対応するエコー信号の信号対雑音比に関しては、一般により強力な励起パルスが有益であることを当業者は理解するであろう。
【００２８】
図３Ｃを参照すると、検出回路３７０が、キャリア周波数の信号３５４と、キャリア周波数の信号を、約９０度（あるいは、約２７０度）の移相を施すように構成された移相器３７６に通すことによって作り出された、移相したキャリア周波数の信号３７７とを利用するホモダイン検出法を実行する。ＳＴＡマイクロフォン３１８（図３Ａ参照）によって生成されたアナログ出力信号３７１は、帯域通過（ＢＰ）フィルタ３７２を通される。結果として生じるフィルタを通された信号３７３は、アナログ−デジタル（Ａ／Ｄ）変換器３７４でデジタル形式に変換される。Ａ／Ｄ変換器３７４によって生成されたデジタル信号３７５は、それぞれキャリア周波数の信号３５４およびその移相されたもの３７７と乗算器３７８ａ〜ｂでミキシングされることによってホモダイン検出を受け、ホモダイン検出された信号の、それぞれ実数部３７９ａと虚数部３７９ｂを生成する。パルス包絡線（ＰＥ）整合フィルタ３８０ａ〜ｂは、それぞれ実数部および虚数部をフィルタにかけて、検出されたエコー信号への励起パルスの包絡線の影響を低減する。加算器３８２が、ＰＥ整合フィルタ３８０ａ〜ｂによって作り出された、フィルタ処理した信号を合計し、デジタル・エコー信号３８３を作り出す。フィルタ３８０ａ〜ｂを使用することにより、デジタル・エコー信号３８３が、声道の現在の形状の関数となり、励起パルスの包絡線の関数とならないようにすることを、当業者は理解するであろう。
【００２９】
駆動回路３５０および検出回路３７０は、例示の回路にすぎないことを、当業者は理解するであろう。様々な実施形態では、本発明の範囲および趣旨を逸脱することなく、他の好適な駆動回路および検出回路が携帯電話３００の中で同様に使用できる。
【００３０】
図４Ａ〜Ｂは、携帯電話３００によって検出される２つの代表的なエコー信号をグラフによって示す。より詳細には、図４Ａのエコー信号４０２ａは、ユーザが声を出さずに母音「ａｈ」を発したときに検出された。図４Ａ中の挿入部は、この無声母音に対応する声道の形状を示す。同様に、図４Ｂのエコー信号４０２ｕは、ユーザが声を出さずに母音「ｙｕ」を発したときに検出された。図４Ｂ中の挿入部は、この無声母音に対応する声道の形状を示す。図に示すように、エコー信号４０２ａおよび４０２ｕは、対応する声道の形状が異なるように、有意に異なる。エコー信号４０２ａと４０２ｕの違いにより、ＳＣモジュール１２０（図１）はそれぞれ母音「ａｈ」および「ｙｕ」がユーザによって声を出さずに発せられたことを認識することができる。ＳＴＡパッケージ３１４は、一般に声を出さずに発せられた異なる母音、子音、摩擦音、および接近音（すなわち、典型的な母音と典型的な子音との中間であるとみなされる発話音）に対して異なるエコー信号を生成することを、当業者は理解するであろう。エコー信号のこの特性を用いて、通信システム１００（図１）は、無声発話セッションの間にＳＴＡパッケージ３１４によって生成されたエコー信号の流れを適切に処理して、対応する無声発話を発音することができる。
【００３１】
ユーザが無声ではなく、聞こえるように話すときは、エコー信号４０２と類似しているエコー信号が作り出されることを、当業者は理解するであろう。すでに上述したように、声に出さずに話される発話音（ｓｐｅｅｃｈ ｐｈｏｎｅ）に対応する声道の形状は、無声発話の間、声帯が振動していないことを除いて、聞こえるように話される同じ発話音に対応する声道の形状と実質的に同じものである。本明細書で使用する、「発話音」という用語は、音声上の発話分析によって明らかにされ、また明確な物理的特性および／または知覚特性を持つ発話の基本単位を指す。例えば、人の発話を伝えるために使用される様々な母音および子音のそれぞれが、発話音である。エコー信号は、声道中の様々な空洞の形状の関数であり、声帯が振動しているか、振動していないかにはほとんど左右されないので、ユーザが母音「ａｈ」を無声ではなく聞こえるように話すとき、エコー信号４０２ａと実質的に同様のエコー信号が作り出される。同様に、ユーザが母音「ｙｕ」を無声ではなく聞こえるように話すとき、エコー信号４０２ｕと実質的に同様のエコー信号が作り出される。一般に、他の発話音にも同様に、無声発話および通常発話に対応するエコー信号間に実質的な類似性が存在する。
【００３２】
図５は、本発明の一実施形態によりＳＣモジュール１２０（図１）で使用することができる信号処理方法５００のフローチャートを示す。以下に無声発話に関して方法５００を説明するが、例えば、通常発話がかなりの音響雑音に混入されるとき、通常発話にも同様に使用することができる。通常発話に対応する方法５００のある実施形態のフローチャートを得るには、読者は図５の対応するテキスト・ボックスにおいて、「無声発話」および「声を出さずに発せられた」という用語をそれぞれ「可聴発話」および「聞こえるように発せられた」という用語に置き換えることができる。方法５００の代表的な実施形態は、携帯電話３００（図３）を使用して実行することができる。
【００３３】
方法５００は、ＳＣモジュール１２０の異なる２つの動作モードに対応する分岐５１０および５２０を有する。ＳＣモジュール１２０が「トレーニング」モードである場合、方法５００の処理はモード・スイッチ５０２によってステップ５１２〜５１８を有するトレーニング分岐５１０へ向けられる。ＳＣモジュール１２０が「作動」モードである場合、方法５００の処理はモード・スイッチ５０２によってステップ５２２〜５２６を有する作動分岐５２０へ向けられる。１つの実施では、携帯電話３００のユーザは、一般に手動でモード・スイッチ５０２を一方のモードから他方のモードへ再構成することができる。
【００３４】
トレーニング・モードでは、ＳＣモジュール１２０は、ユーザ固有の参照データを収集し、その後、続いて発生する動作モードの間にこのデータを使用して、この特定のユーザから発するエコー信号を処理することができるように構成される。２人以上の異なるユーザが、異なる時間に携帯電話３００のＶＥインタフェース機能を使用しようとする場合、対応するユーザ固有の参照データを収集するために、それぞれ個々のユーザに対して別個のトレーニング・セッションが行われることが可能である。多数のユーザを有する携帯電話３００は、現在のユーザを識別して、その識別情報をＳＣモジュール１２０に中継することができるように、適切なユーザ・ログイン手順を使用するように構成されることが可能である。
【００３５】
トレーニング分岐５１０のステップ５１２では、ＳＣモジュール１２０がユーザに１つまたは複数のトレーニング・フレーズを声を出さずに話すよう要求を送信する。トレーニング・フレーズは、文、単語、音節、または個々の言語音であることが可能である。この特定のユーザに固有の自然発話分散のサンプルを抽出するためには、各トレーニング・フレーズが、数回繰り返されなければならない可能性がある。ＳＣモジュール１２０は、携帯電話３００のディスプレイ画面３０６を使用して、トレーニング・フレーズの内容および適切な発話指示をユーザに伝えることができる。
【００３６】
ステップ５１４では、ユーザがステップ５１２で指定された様々なトレーニング・フレーズを声に出さずに話す間、ＳＣモジュール１２０が、携帯電話３００によって検出された一連のエコー信号を記録する。記録されるエコー信号のそれぞれは、一般に図４に示すエコー信号４０２に類似している。
【００３７】
ステップ５１６では、ＳＣモジュール１２０が記録されたエコー信号を処理して複数の参照エコー応答（ＲＥＲ）を導き出す。一実施形態では、各ＲＥＲは、それぞれの異なる発話音を表す。ＳＣモジュール１２０は、（１つまたは複数の）トレーニング・フレーズの中の同じ発話音の様々な発生に対応する複数のエコー信号を時間的に合わせ、その後強度を平均することによって各ＲＥＲを生成することができる。ステップ５１６の他の実施形態では、ＳＣモジュール１２０が、記録されたエコー信号を処理して、エコー信号に対応する信号空間をユーザの発話の音響信号に対応する信号空間にマッピングするためのマッピング手順をより一般的に定義する。
【００３８】
各ＲＥＲは、通常音素に対応することに注意する。本明細書で使用する、「音素」という用語は、認識される音の区別の所与の言語のシステムの中で潜在的に有意味な音の最小単位を指す。ある言語の各音素は、言葉の意味を潜在的に変えることなく代用することができない他の音素との対比によってその独自性を得る。例えば、「ｌｅｖｅｌ」という言葉と「ｒｅｖｅｌ」という言葉との違いが認められるのは、英語における／ｌ／と／ｒ／（表記では、音素は２つのスラッシュで示される）の音素の差異を示す。発話音と違い、音素は実際の音ではなく、むしろその音を表す抽象概念である。
【００３９】
２つ以上の異なるＲＥＲが、同じ音素に対応することが可能である。例えば、「ｔｉｐ」、「ｓｔａｎｄ」、「ｗａｔｅｒ」、および「ｃａｔ」という言葉の中の音「ｔ」は、若干異なるように発音され、したがって異なる発話音を表す。それにもかかわらず、これらのそれぞれは、同じ／ｔ／に対応する。さらに、実質的に同じ知覚可能な音声（これは人の耳による音知覚のエラー・バー内の複数の音声に対応する）は、この知覚可能な音声が一般に声道のいくつかの異なる形状によって作り出されることが可能であるので、いくつかの顕著に異なるＲＥＲで表されることが可能である。ステップ５１４で使用されるトレーニング・フレーズは、それぞれ特定のＲＥＲに対応する音素が比較的簡単に判断できるように設計されることが好ましい。
【００４０】
ステップ５１８では、ＳＣモジュール１２０が、ステップ５１６で生成されたＲＥＲをユーザに対応する参照データベースに格納する。さらに以下に説明するように、ＲＥＲおよびその対応する音素は、作動分岐５２０で実行される信号処理の間に呼び出される。
【００４１】
作動分岐５２０のステップ５２２では、ＳＣモジュール１２０は、実際の（すなわち、トレーニングではない）無声発話セッションの間に携帯電話３００によって検出されたエコー信号の流れを受信する。受信されるエコー信号のそれぞれは、一般に図４に示すエコー信号４０２に類似している。
【００４２】
ステップ５２４では、ＳＣモジュール１２０が、受信したエコー信号のそれぞれを、ステップ５１８において参照データベースに格納されたＲＥＲと比較し、最も近い一致を判断する。一実施形態では、最も近い一致は、それぞれがエコー信号とＲＥＲとの相互相関関数に基づく、複数の相互相関値を計算することによって判断される。相互相関値は、例えば、（ｉ）エコー信号とＲＥＲを時間的に合わせること、（ｉｉ）例えばミリ秒あたり約５００サンプルなど、指定されたサンプリング・レートでこれらのそれぞれのサンプルを抽出すること、（ｉｉｉ）エコー信号の各サンプルにＲＥＲの対応するサンプルを掛けること、および（ｉｖ）この積を合計すること、によって計算することができる。一般に、上記相関値が指定された閾値より高い場合、最高の相関値に対応するＲＥＲは、最も近い一致であると考えられる。計算された相互相関値がすべて閾値を下回る場合、対応するエコー信号は解釈できないと考えられ、廃棄される。
【００４３】
ステップ５２４の代替的実施形態では、他の好適な信号処理技術を使用して、受信された各エコー信号に最も近い一致を判断することができる。例えば、本発明の範囲および趣旨を逸脱することなく、スペクトル成分の分析、人工ニューラル・ネットワークの処理、および／または様々な信号相互相関技術を利用することができる。
【００４４】
ステップ５２６では、ステップ５２４で判断された一連の最も近い一致に基づいて、ＳＣモジュール１２０が、無声発話セッションに対応する推定音声信号を生成する。一実施形態では、推定音声信号は、ステップ５２４で判断された最も近いＲＥＲの一致に対応する一連のタイムスタンプを記録された音素である。各音素は、対応するエコー信号が携帯電話３００に検出された時間でタイムスタンプを記録されていることに注意する。
【００４５】
図６Ａ〜Ｂは、本発明の別の実施形態によりＳＣモジュール１２０（図１）で使用することができる信号処理方法６００を示す。より詳細には、図６Ａは方法６００のフローチャートを示す。図６Ｂは、方法６００の１つの実施で使用することができる音声推定アルゴリズムをグラフによって示す。方法５００と同様に、方法６００は、無声発話と可聴発話の両方に適用できるものである。可聴発話に適用する場合、方法６００は、可聴発話が周囲の音響雑音がかなり混入するとき特に有益である。
【００４６】
図６Ａを参照すると、信号処理方法６００は、２つの分岐、すなわちトレーニング分岐６１０と作動分岐６２０を有するという点で、信号処理方法５００（図５）と同様である。モード・スイッチ６０２は、方法６００の処理が、トレーニング分岐６１０に向けられるか、作動分岐６２０に向けられるかを制御する。ＳＣモジュール１２０が「トレーニング」モードである場合、方法６００の処理はステップ６１２〜６１６を有するトレーニング分岐６１０へ向けられる。ＳＣモジュール１２０が「作動」モードである場合、方法６００の処理はステップ６２２〜６２６を有する作動分岐６２０へ向けられる。
【００４７】
トレーニング分岐６１０のステップ６１２では、ＳＣモジュール１２０は、１つまたは複数のトレーニング・フレーズを聞こえるように（例えば、通常の方法で）言うようにユーザに要求を送信する。この特定のユーザに固有の自然発話の分散のサンプルを抽出するために、各トレーニング・フレーズは数回繰り返されなければならない場合がある。ＳＣモジュール１２０は、携帯電話３００のディスプレイ画面３０６を使用して、トレーニング・フレーズの内容および適切な発話の指示をユーザに伝える。
【００４８】
ステップ６１４では、ＳＣモジュール１２０は、ステップ６１２において指定された様々なトレーニング・フレーズに対応する一連のオーディオ波形および対応する一連のエコー信号を記録する。オーディオ波形は、従来の音響マイクロフォン３１２がユーザの声の音をとらえるとき、これによって生成される。同時に、ＳＴＡパッケージ３１４が、ユーザの声道からＳＴＡエコー信号をとらえる。ＢＰフィルタ３７２（図３Ｃ参照）は、ＳＣモジュール１２０によって記録されたＳＴＡエコー信号にオーディオ波形が干渉しないように、および／または寄与しないようにする助けとなる。
【００４９】
ステップ６１６では、ＳＣモジュール１２０の人工ニューラル・ネットワークは、ステップ６１４で記録されたオーディオ波形およびエコー信号を使用して、音声推定アルゴリズムを実行するように教育される。一実施形態では、エコー信号はフーリエ変換されて、対応するスペクトルを生成する。一例として、図６Ｂは、検出されたエコー信号の（例示的に）超音波スペクトル６０６を示す。ＳＣモジュール１２０は、矢印６０８で図６Ｂに示すスペクトル変換を行い、超音波スペクトル６０６を音声スペクトル６０４に変換する。音響スペクトル６０４は、そのスペクトルのケプストラムが、ステップ６１４でエコー信号と共に記録されたオーディオ波形に近いようになっている。一般に、人工ニューラル・ネットワークのパラメータは、ＳＴＡエコー信号が人工ニューラル・ネットワークの入力に適用される場合、その出力には、対応する記録されたオーディオ波形に近似するオーディオ波形が現れる。言い換えれば、人工ニューラル・ネットワークは、エコー信号の空間をオーディオ波形の空間にマップするように教育される。人工ニューラル・ネットワークが、スペクトル変換６０８と似ている十分に多数の変換を正確に行い、ステップ６１２のトレーニング・フレーズに対応する様々な発話音および音素にわたる信号空間で満足に動作するように教育されるまで、人工ニューラル・ネットワークのトレーニング・プロセスは続く。
【００５０】
以下にさらに説明するように、ステップ６１６で作り出されたＳＣモジュール１２０の教育された人工ニューラル・ネットワークは、作動分岐６２０で実行される信号処理の間使用される。代表的な実施形態では、人工ニューラル・ネットワークは、１つまたは複数のニューロン層に編成された約５００の人工ニューロンを有することができる。ＳＣモジュール１２０の中で人工ニューラル・ネットワークを実行するために使用することができる好適なプロセッサは、例えば米国特許出願公開第２００８／０１５４８１５号に開示されており、これは全体として参照により本明細書に組み込まれる。
【００５１】
作動分岐６２０のステップ６２２では、ＳＣモジュール１２０は、無声発話セッションの間に携帯電話３００によって検出されたエコー信号の流れを受信する。受信されるエコー信号のそれぞれは、一般に図４に示すエコー信号４０２に類似している。
【００５２】
ステップ６２４では、受信したエコー信号のそれぞれが、教育された人工ニューラル・ネットワークに適用されて、対応するオーディオ波形を生成する。
【００５３】
ステップ６２６では、ＳＣモジュール１２０は、ステップ６２４で生成されたオーディオ波形を使用して、無声発話セッションに対応する推定された音声の信号を生成する。ＳＣモジュール１２０および／または信号プロセッサ１３０において追加の発話合成技術を使用してオーディオ波形をさらに操作し（例えば、マージする、フィルタにかける、廃棄するなど）、合成音１４２が比較的高品質を有することを保証することができる。
【００５４】
様々な実施形態では、方法５００および６００の様々な特徴を利用して、ＳＣモジュール１２０および／または信号プロセッサ１３０で使用することができる代替的信号処理方法を作り出すことができる。例えば、トレーニング分岐がない信号処理方法が企図される。より詳細には、イヤピース１２２（図１Ａ参照）を使用して、推定された音声信号に対応する音をユーザにフィードバックすることができる。この音に基づいて、ユーザは、遠隔受信機での音１４２が所望の音声特性を有するように、ユーザの無声発話または通常発話の方法を調整することができる。ＳＣモジュール１２０は、無声発話、通常発話、または雑音の混入した発話に対応するエコー信号の処理に特に合わせた信号処理方法５００および６００の様々な実施形態を呼び出すことができることを、当業者は理解するであろう。
【００５５】
図１に戻ると、すでに上述したように、ＳＴＡパッケージ（ＳＴＡパッケージ３１４など）に加えて、ＶＥインタフェース１１０（図１）またはパネル３１０（図３）が、１つまたは複数の追加のセンサを含むことができ、その信号を使用して、合成された音１４２の質を向上させることができる。例えば、ビデオ・カメラを使用して、聴覚障害者によって使用される読唇術と似ているとみなすことができる読唇術を実行することができる。ビデオ・カメラによって記録されたビデオ信号は、携帯電話３００が接続されたネットワークを介して比較的高性能なコンピュータに送信されることが可能であり、そこでビデオ情報が処理されて、対応する一連のタイムスタンプを記録された音素を生成することができる。このビデオによる一連の音素は、ＳＴＡによる一連の音素と併せて使用することができ、例えば、解釈できないＳＴＡエコー信号に対応する曖昧さを解消する、またはギャップを埋める。赤外線センサ、ミリ波センサ、筋電センサ、電磁調音センサなど、他のタイプのセンサによって生成されたデータに基づいて作り出された、一連のタイムスタンプを記録された音素を同様に使用して、合成された音１４２の品質を向上させることができる。
【００５６】
一実施形態では、ＳＴＡパッケージ（ＳＴＡパッケージ３１４、図３）など）は、ＳＴＡスピーカ３１６に似ている数多くのＳＴＡスピーカおよび／またはＳＴＡマイクロフォン３１８に似ている数多くのＳＴＡマイクロフォンを有することができる。並んだＳＴＡスピーカおよび／またはマイクロフォンを有することは、例えば並んだＳＴＡスピーカは、干渉効果による励起ビームの成形に使用することができるので有益である可能性があり、並んだＳＴＡマイクロフォンは、ユーザの声道の形状に関するより正確な情報を提供するより洗練された信号処理を可能にすることができる。例えば、ＣＤＭＡで使用される符号化と似ている励起符号化を使用して、エコー信号の解釈機能をさらに向上させることができる。
【００５７】
システム１００の様々な実施形態は、有利には、（ｉ）雑音のある、または社会的に敏感な環境で、（ｉｉ）病気、先天的欠損、もしくは手術が原因で声道に異常がある身体障害者によって、および／または（ｉｉｉ）例えば、敵陣の背後など、軍事活動中に、生ずる無声発話を発音するために使用されることが可能である。あるいは、またはさらに、システム１００の様々な実施形態は、有利には、周囲の音響雑音が混入するとき通常発話の知覚品質を向上させるために使用されることが可能である。例えば、雑音レベルが比較的耐えられる場合、ＳＴＡパッケージ３１４が、第２のセンサとして使用されて、従来の音響マイクロフォン３１２によって作り出される音声信号を強化することができる。雑音レベルが比較的耐えられると耐えられないとの中間にあるとき、音響マイクロフォン３１２が第２のセンサとして使用されて、ＳＴＡパッケージ３１４によってとらえられたエコー信号に基づいて生成される、推定音声信号の質を強化することができる。雑音レベルが耐えられない場合、音響マイクロフォン３１２はオフにすることができ、推定音声信号は、単にＳＴＡパッケージ３１４によってとらえられたエコー信号に基づいて生成されることが可能である。一実施形態では、ＳＴＡパッケージ３１４は、スキューバ・ダイビングの用具のマウスピースに取り付けられ、例えば、スキューバ・ダイバは、他のスキューバ・ダイバに、および／またはボートからダイビングを監視する人々に、話しかけることができるようになる。スキューバ・ダイバは、無声発話と同様の発話技術を使用して、意図した受信者に向かって可聴発話を作り出すことができる。
【００５８】
例示的実施形態を参照して本発明を説明したが、この説明は、限定される意味で解釈されることを意図しない。説明した諸実施形態の様々な変更形態、ならびに本発明の他の実施形態は、本発明が関連する当業者には明らかであるが、これらは次の特許請求の範囲に表すように、本発明の趣旨および範囲内にあるとみなされる。
【００５９】
本発明の一定の実施形態は、単一の集積回路上で実施することができるなど、回路ベースのプロセスとして実施することができる。当業者には明らかなように、回路要素の様々な機能をソフトウェア・プログラムの処理ステップとして実装することもできる。このようなソフトウェアは、例えばデジタル信号処理装置、マイクロコントローラ、または汎用コンピュータで使用されることが可能である。
【００６０】
明示的に別段の記載がない限り、各数値および範囲は、その値または範囲の前に「約」または「およそ」という語が付いたのと同じように近似であると解釈されるべきである。
【００６１】
さらに、本発明の本質を説明するために記載し、図示した部分の細部、材料、および配列の様々な変更が、添付の特許請求の範囲に表す本発明の範囲を逸脱することなく、当業者によって行われる可能性があることを理解されるであろう。
【００６２】
本明細書に示す例示的方法の諸ステップは、必ずしも記載した順序で行われる必要がないことを理解すべきであり、このような方法の諸ステップの順序は、例示にすぎないと理解されるべきである。同様に、このような方法に追加のステップが含まれることが可能であり、ある一定のステップは、本発明の様々な実施形態と矛盾しない方法で、省略される、または結合されることが可能である。
【００６３】
本明細書における「一実施形態」または「ある実施形態」への言及は、その実施形態に関連して説明する特定の特徴、構造、または特性を、本発明の少なくとも１つの実施形態に含むことができることを意味する。明細書中の様々な場所での「一実施形態では」という語句の出現は、必ずしもすべて同じ実施形態に言及しておらず、別個の実施形態または代替的実施形態は、必ずしも他の実施形態を互いに排除しない。同じことは、「実行」という用語にもあてはまる。
【００６４】
また、この説明の目的で、「結合する」、「結合している」、「結合された」、「接続する」、「接続している」、または「接続された」という用語は、エネルギーが２つ以上の要素間で転送されることを可能にし、また必須ではないが、１つまたは複数の追加要素の介入を企図する、当技術分野で知られる、または後に開発されるいかなる方法も指す。逆に、「直接結合された」、「直接接続された」などの用語は、このような追加要素がないことを暗示する。
【特許請求の範囲】
【請求項１】
ユーザの声道を探るように構成された音声推定（ＶＥ）インタフェースと、
前記ＶＥインタフェースに動作可能に結合され、前記ＶＥインタフェースの２つ以上のそれぞれのセンサによって作り出された２つ以上の信号を処理して、前記ユーザに対応する統合された推定音声信号を生成するように構成された信号変換器（ＳＣ）モジュールとを含み、
前記ＶＥインタフェースが、それぞれが前記声道を探るように構成された、少なくとも第１のセンサおよび第２のセンサを含み、
前記第１のセンサが、閾値下音響（ＳＴＡ）バーストを前記声道に送って、前記ＳＴＡバーストに対応するエコー信号を検出するように構成されたＳＴＡパッケージを含み、
前記第２のセンサが、ビデオ・カメラ、赤外線センサもしくは撮像装置、ミリメートル波センサ、筋電センサ、および電磁調音センサからなる群から選択されたセンサを含み、
前記ＳＣモジュールが、前記統合された推定音声信号の生成時に、前記エコー信号および前記第２のセンサによって作り出された少なくとも１つの信号を使用するように構成される、装置。
【請求項２】
前記エコー信号が前記ユーザの無声発話に対応する、請求項１に記載の発明。
【請求項３】
前記ＶＥインタフェースが携帯電話の中に実装される、請求項１に記載の発明。
【請求項４】
前記ＳＴＡパッケージが、
ある包絡線の形状およびあるキャリア周波数を有する励起パルスを生成するように構成されたＳＴＡスピーカと、
前記声道から前記励起パルスに対応し、エコー信号を含む応答信号をとらえるように構成されたＳＴＡマイクロフォンとを含む、請求項１に記載の発明。
【請求項５】
前記キャリア周波数が約２０ｋＨｚより大きい、請求項４に記載の発明。
【請求項６】
前記キャリア周波数が約２０Ｈｚと約２０ｋＨｚの間の範囲であり、
前記励起パルスが、生理学的知覚の閾値を下回る強度を有する、請求項４に記載の発明。
【請求項７】
前記ＳＣモジュールが、
トレーニング・セッションの間に参照データを収集し、そして、
前記統合された推定音声信号を生成するために作動セッション中に前記参照データを使用するように構成され、
前記参照データが複数の参照エコー応答（ＲＥＲ）を含み、さらに、
前記作動セッション中に、前記ＳＣモジュールが、
前記ＳＴＡパッケージから前記ユーザに対応するエコー信号の流れを受信し、そして、
前記統合された推定音声信号を生成するために、受信した各信号を前記ＲＥＲと比較する、請求項１に記載の発明。
【請求項８】
前記ＳＣモジュールが、前記１つまたは複数の追加センサによって作り出された前記１つまたは複数の信号を使用して、単に前記エコー信号に基づいて得られる精度と比べて前記統合された推定音声信号の精度を上げるように構成される、請求項１に記載の発明。
【請求項９】
前記統合された推定音声信号を発音して、結果として生じた音を前記ユーザに供給するように構成されたイヤピースをさらに含む、請求項１に記載の発明。
【請求項１０】
音声推定（ＶＥ）インタフェースを使用してユーザの声道を探るステップと、
前記ＶＥインタフェースの２つ以上のそれぞれのセンサによって作り出された２つ以上の信号を処理して、前記ユーザに対応する統合された推定音声信号を生成するステップとを含み、
前記ＶＥインタフェースが、それぞれが前記声道を探るように構成された、少なくとも第１のセンサおよび第２のセンサを含み、
前記第１のセンサが、閾値下音響（ＳＴＡ）バーストを前記声道に送って、前記ＳＴＡバーストに対応するエコー信号を検出するように構成されたＳＴＡパッケージを含み、
前記第２のセンサが、ビデオ・カメラ、赤外線センサもしくは撮像装置、ミリメートル波センサ、筋電センサ、および電磁調音センサからなる群から選択されたセンサを含み、
前記ＳＣモジュールが、前記統合された推定音声信号の生成時に、前記エコー信号および前記第２のセンサによって作り出された少なくとも１つの信号を使用するように構成される、音声を推定する方法。
【請求項１】
ユーザの声道を探るように構成された音声推定（ＶＥ）インタフェースと、
前記ＶＥインタフェースに動作可能に結合され、前記ＶＥインタフェースの２つ以上のそれぞれのセンサによって作り出された２つ以上の信号を処理して、前記ユーザに対応する統合された推定音声信号を生成するように構成された信号変換器（ＳＣ）モジュールとを含み、
前記ＶＥインタフェースが、それぞれが前記声道を探るように構成された、少なくとも第１のセンサおよび第２のセンサを含み、
前記第１のセンサが、閾値下音響（ＳＴＡ）バーストを前記声道に送って、前記ＳＴＡバーストに対応するエコー信号を検出するように構成されたＳＴＡパッケージを含み、
前記第２のセンサが、ビデオ・カメラ、赤外線センサもしくは撮像装置、ミリメートル波センサ、筋電センサ、および電磁調音センサからなる群から選択されたセンサを含み、
前記ＳＣモジュールが、前記統合された推定音声信号の生成時に、前記エコー信号および前記第２のセンサによって作り出された少なくとも１つの信号を使用するように構成される、装置。
【請求項２】
前記エコー信号が前記ユーザの無声発話に対応する、請求項１に記載の発明。
【請求項３】
前記ＶＥインタフェースが携帯電話の中に実装される、請求項１に記載の発明。
【請求項４】
前記ＳＴＡパッケージが、
ある包絡線の形状およびあるキャリア周波数を有する励起パルスを生成するように構成されたＳＴＡスピーカと、
前記声道から前記励起パルスに対応し、エコー信号を含む応答信号をとらえるように構成されたＳＴＡマイクロフォンとを含む、請求項１に記載の発明。
【請求項５】
前記キャリア周波数が約２０ｋＨｚより大きい、請求項４に記載の発明。
【請求項６】
前記キャリア周波数が約２０Ｈｚと約２０ｋＨｚの間の範囲であり、
前記励起パルスが、生理学的知覚の閾値を下回る強度を有する、請求項４に記載の発明。
【請求項７】
前記ＳＣモジュールが、
トレーニング・セッションの間に参照データを収集し、そして、
前記統合された推定音声信号を生成するために作動セッション中に前記参照データを使用するように構成され、
前記参照データが複数の参照エコー応答（ＲＥＲ）を含み、さらに、
前記作動セッション中に、前記ＳＣモジュールが、
前記ＳＴＡパッケージから前記ユーザに対応するエコー信号の流れを受信し、そして、
前記統合された推定音声信号を生成するために、受信した各信号を前記ＲＥＲと比較する、請求項１に記載の発明。
【請求項８】
前記ＳＣモジュールが、前記１つまたは複数の追加センサによって作り出された前記１つまたは複数の信号を使用して、単に前記エコー信号に基づいて得られる精度と比べて前記統合された推定音声信号の精度を上げるように構成される、請求項１に記載の発明。
【請求項９】
前記統合された推定音声信号を発音して、結果として生じた音を前記ユーザに供給するように構成されたイヤピースをさらに含む、請求項１に記載の発明。
【請求項１０】
音声推定（ＶＥ）インタフェースを使用してユーザの声道を探るステップと、
前記ＶＥインタフェースの２つ以上のそれぞれのセンサによって作り出された２つ以上の信号を処理して、前記ユーザに対応する統合された推定音声信号を生成するステップとを含み、
前記ＶＥインタフェースが、それぞれが前記声道を探るように構成された、少なくとも第１のセンサおよび第２のセンサを含み、
前記第１のセンサが、閾値下音響（ＳＴＡ）バーストを前記声道に送って、前記ＳＴＡバーストに対応するエコー信号を検出するように構成されたＳＴＡパッケージを含み、
前記第２のセンサが、ビデオ・カメラ、赤外線センサもしくは撮像装置、ミリメートル波センサ、筋電センサ、および電磁調音センサからなる群から選択されたセンサを含み、
前記ＳＣモジュールが、前記統合された推定音声信号の生成時に、前記エコー信号および前記第２のセンサによって作り出された少なくとも１つの信号を使用するように構成される、音声を推定する方法。
【図１Ａ】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図５】
【図６Ａ】
【図６Ｂ】
【図１Ｂ】
【図４】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図５】
【図６Ａ】
【図６Ｂ】
【図１Ｂ】
【図４】
【公表番号】特表２０１２−５１００８８（Ｐ２０１２−５１００８８Ａ）
【公表日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１１−５３８６２７（Ｐ２０１１−５３８６２７）
【出願日】平成２１年１１月１６日（２００９．１１．１６）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０６４５６３
【国際公開番号】ＷＯ２０１０／０６２８０６
【国際公開日】平成２２年６月３日（２０１０．６．３）
【出願人】（５９６０９２６９８）アルカテル−ルーセント ユーエスエー インコーポレーテッド (965)
【Ｆターム（参考）】
【公表日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２１年１１月１６日（２００９．１１．１６）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０６４５６３
【国際公開番号】ＷＯ２０１０／０６２８０６
【国際公開日】平成２２年６月３日（２０１０．６．３）
【出願人】（５９６０９２６９８）アルカテル−ルーセント ユーエスエー インコーポレーテッド (965)
【Ｆターム（参考）】
[ Back to top ]