スピーチ取り込み及びスピーチレンダリング
本発明は、マイクロフォンによって取り込まれるサウンド信号から、１又は複数のスピーチ信号１５１−１５４及び１又は複数のアンビエント信号１３１を抽出することを提案し、スピーチ信号の各々は、それぞれ異なる話者に対応する。本発明は、スピーチ信号のみを送ることとは異なり、レンダリング側に１又は複数のスピーチ信号１５１−１５４及び１又は複数のアンビエント信号１３１の両方を送信することを提案する。これは、レンダリング側で、スピーチ及びアンビエント信号を空間的に異なるやり方で再生することを可能にする。アンビエント信号を再生することによって、「一緒にいる」感覚が生成される。一実施形態において、本発明は、２又はそれ以上のスピーチ信号を、互いに及びアンビエント信号と空間的に異なるように再生することを可能にし、それにより、スピーチ了解度が、アンビエント信号の存在にかかわらず増大される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばハンズフリーのオーディオ又はオーディオビジュアル会議端末において使用されるスピーチ取り込み方法及び装置に関する。本発明は更に、例えばハンズフリーのオーディオ又はオーディオビジュアル会議端末において使用されるスピーチレンダリング方法及び装置に関する。更に、本発明は、通信システム、及びハンズフリーのオーディオ又はオーディオビジュアル会議端末に関する。
【背景技術】
【０００２】
今日の（ハンズフリーの）１対１通信システムにおいて、スピーチの送信は、特に帯域幅制限のため、モノラルの送信チャネルによって実現される。その結果、再生側では、すべてのサウンドが、同じ方向（又は複数のスピーカが使用される場合は同じ複数の方向）から到来し、それゆえ、両耳聴に基づいて音源を区別する人間の能力が、使用されることができない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
結果として、雑音及び／又は競合する話者により汚染されたスピーチを聞くことは、困難であり、低減されたスピーチ了解度及び聴取者の疲労につながる。ハンズフリー電話システムに関するこの理由のため、送信される所望のスピーチ信号は、可能な限り「クリーン」であり、すなわち、それは、所望の直接のスピーチのみを含む。定常雑音の抑制は、ハンズフリー通信においてどうしても必要なものである。付加の処理を有するマイクロフォンアレイビームフォーミングが、スピーチを更に改善するために使用されることができる。しかしながら、既知のシステムは、特にスピーチ（メッセージ）だけでなく一緒にいる感覚も重要である非公式の場面において、通信中の対面感覚を提供しない。
【０００４】
本発明の目的は、一緒にいる感覚を伴う、真に迫った通信を提供することである。
【課題を解決するための手段】
【０００５】
本発明は、独立請求項によって規定される。従属請求項は、有利な実施形態を規定する。
【０００６】
本発明によるスピーチ取り込み装置は、
−複数のサウンド信号を取り込むための複数のマイクロフォンを有する取り込み回路と、
−複数のサウンド信号から、個々の話者に対応する個々のスピーチ信号を各々が導き出す１又は複数の抽出回路と、
−１又は複数の抽出回路によって導き出された１又は複数のスピーチ信号を各々減じられた複数のサウンド信号から、１又は複数のアンビエント信号を導き出す残余抽出回路と、
−１又は複数のスピーチ信号及び１又は複数のアンビエント信号を送信する送信回路と、を有する。
【０００７】
このようにして、１又は複数のスピーチ信号が、取り込み回路によって取り込まれたサウンド信号から抽出されることができる。抽出回路は、話者に対応するスピーチ信号を提供する。このスピーチ信号は、所望の話者の前にある１又は複数のクロストークマイクロフォンによって供給される信号とみなされることができる。残余抽出回路は、アンビエント情報（すなわち、所望の話者がいない状況でサウンド信号に含まれる情報）を含むアンビエント信号を導き出す。これらのスピーチ及びアンビエント信号を別々に送信する場合、レンダリング側は、スピーチ及びアンビエント信号を、空間的にそれぞれ異なるやり方で再生することが可能である。アンビエント信号を再生することによって、「一緒にいる」感覚が生成される。更に、一実施形態において、本発明は、２又はそれ以上のスピーチ信号を、互いに及びアンビエント信号と空間的に異なるように再生することを可能にし、それにより、アンビエント信号の存在にもかかわらず、スピーチ了解度が増大され、リスナーの疲労が低減される。
【０００８】
一実施形態において、スピーチ取り込み装置は更に、話者の１又は複数のロケーションを判定するオーディオビジュアルロケータを有し、各々の抽出回路は、話者の一人一人のロケーションに方向付けられる。オーディオビジュアルロケータを使用する利点は、抽出回路のロバストネスを改善する。話者が、移動していて話していない場合でも、抽出回路は、同じ一人の話者にフォーカスされたままでありうる。このようにして、話者が（再び）話し始めると、抽出回路は、すでにフォーカスされており、第１の語が、高い品質を伴って取り込まれる。そうでない場合、抽出回路は、第１の語の間に、再フォーカスされなければならず、これは、第１の語に関してより低い品質をもたらす。
【０００９】
他の実施形態において、送信回路は更に、話者のロケーションを含む空間的な情報を送信する。（複数の）話者のロケーションに関するこのような空間的な情報は、取り込み側の聴覚的情景を表す。このような空間的な情報により、取り込み側と同じ聴覚的情景をレンダリング側で再現することが可能である。この特性は、特にオーディオがビデオに対応しなければならないオーディオビジュアル会議にとって重要である。例えば、視覚的情景が、左、中央及び右の位置に位置する３人の話者を含む場合、位置情報は、（ほぼ）これらの３つの位置において話者を再生するために、レンダリング側で使用されることができる。
【００１０】
他の実施形態において、各々の抽出回路は、スピーチ信号を導き出すための一般化サイドローブキャンセラを有する。一般化サイドローブキャンセラは、特に適応的なビームフォーミングに適しているビームフォーミングの実現例である。このようなキャンセラにおいて、ビームは、所望の話者にフォーカスされる。
【００１１】
他の実施形態において、各々の抽出回路は更に、スピーチ信号における更なるノイズ低減のためのポストプロセッサ回路を有する。ポストプロセッサは更に雑音を除去し、それにより、送信回路によって送信されるスピーチ信号における雑音はより少なくなる。これは、所望の話者がよりよく区別されることができ、レンダリング側で任意の所望のロケーションに所望の話者を位置付けるために生成されるより多くの自由度がある、という利点をもつ。
【００１２】
他の実施形態において、残余抽出回路は更に、１又は複数の抽出回路によって導き出されたスピーチ信号を各々減じられた複数のサウンド信号から、１又は複数のアンビエント信号を導き出すマルチチャネル適応フィルタを有する。マルチチャネル適応フィルタは、サウンド信号に含まれるスピーチ信号を評価する。これらのスピーチ信号は、サウンド信号から減算され、こうしてアンビエント信号を提供する。
【００１３】
他の実施形態において、マルチチャネル適応フィルタは、参照信号として、マイクロフォンのうちの１つによって取り込まれたサウンド信号を入力するように結合される。このようにして、１つのアンビエント信号は、相対的に低い複雑さで生成される。
【００１４】
本発明の別の見地により、スピーチレンダリング装置は、
−１又は複数のスピーチ信号及び１又は複数のアンビエント信号を受信する受信回路であって、各スピーチ信号はそれぞれ異なる話者に対応する、受信回路と、
−スピーチ信号がアンビエント信号と異なる方向から来るように知覚されるように、１又は複数のスピーチ信号及び１又は複数のアンビエント信号を空間的に再生するレンダリング回路と、
を有する。レンダリング側でアンビエント信号を再生することによって、「一緒にいる」感覚が生成される。２又はそれ以上のスピーチ信号が、互いに及びアンビエント信号と空間的に異なって再生される実施形態において、スピーチ了解度は、アンビエント信号の存在にもかかわらず維持され又は増大されさえする。
【００１５】
一実施形態において、レンダリング回路は、スピーチ信号の２又はそれ以上を、それらスピーチ信号が相互に異なる方向から来るように知覚されるように、空間的に再生する。スピーチ信号を空間的に異なって再生することによって、レンダリング側の聴取者がそれぞれ異なる話者を区別すること、及び話者が同時に話す場合に話者の一人に集中することが、一層容易になる。これは、聴取者のより少ない疲労及び改善されたスピーチ了解度につながる。
【００１６】
他の実施形態において、受信回路は更に、話者のロケーションに関する空間的な情報を受信し、レンダリング回路は、スピーチ信号が空間的な情報によって表されるロケーションから来るように知覚されるように、スピーチ信号を空間的に再生する。このようにして、レンダリング側において、取り込み側と同じ聴覚的情景が生成されることができ、これは、特にサウンド及びビデオが揃えられるべきであるオーディオビジュアル通信システムにとって重要である。
【００１７】
他の実施形態において、スピーチ信号が知覚される方向は、話者を視覚化したものにおける話者のロケーションに揃えられる。この実施形態において、同じ話者に対応するオーディオ対象及びビデオ対象は、１つのオーディオビジュアル対象として知覚され、これは、聴取者にとって自然に知覚され、スピーチがビデオ対象の方向と別の方向から来る場合に生じる疲労を低減する。
【００１８】
他の実施形態において、１又は複数のアンビエント信号の振幅が低減される。このようにして、聴取者は、自分の環境においてレンダリングを制御することができ、レンダリングを、自分の環境に生じている他のアンビエント信号に適応させることができる。
【００１９】
本発明の別の見地により、スピーチ信号を通信する通信システム、及びハンズフリーのオーディオ又はオーディオビジュアル会議端末が提供される。
【００２０】
本発明のこれらの及び他の見地、特徴及び利点は、以下に記述される（複数の）実施形態から明らかであり、それらを参照して説明される。
【図面の簡単な説明】
【００２１】
【図１】本発明によるスピーチ取り込み装置の実施形態を示す図。
【図２】オーディオビジュアルロケータを有するスピーチ取り込み装置の実施形態を示す図。
【図３】ポストプロセッサ回路を有する抽出回路の実施形態を示す図。
【図４】抽出回路がポストプロセッサ回路を有するスピーチ取り込み装置の実施形態を示す図。
【図５】アンビエント信号を導き出すためのマルチチャネル適応フィルタを有する残余抽出回路の実施形態を示す図。
【図６】本発明によるスピーチレンダリング装置の実施形態を示す図。
【図７】本発明によるスピーチ取り込み装置及びスピーチレンダリング装置を有する、スピーチ信号を通信する通信システムの例を示す図。
【発明を実施するための形態】
【００２２】
図１は、本発明によるスピーチ取り込み装置１００の一実施形態を示す。スピーチ取り込み装置１００は、ハンズフリーのオーディオ又はオーディオビジュアル会議端末において使用されることができる。ハンズフリーのオーディオ又はオーディオビジュアル会議端末は、２つの異なるロケーション、例えば部屋、に位置する話者が互いに通信する１対１の通信アプリケーションを実現するために使用される。ロケーションにおける話者の数は、１人から複数の話者までさまざまでありうる。部屋の中の話者のロケーションもまた変化しうる。
【００２３】
装置１００は、複数のサウンド信号１１１、１１２...１１６を取り込むための取り込み回路１１０を有する。取り込み回路１１０は、複数のマイクロフォン１０１、１０２...１０６を有する。これらのマイクロフォンは、好適には、マイクロフォンのアレイの形で構成される。６つのマイクロフォンのみがこの例において示されているが、マイクロフォンの数はこの数に限定されない。
【００２４】
スピーチ取り込み装置１００は更に、１又は複数の抽出回路１２１、１２２...１２４を有する。抽出回路の各々は、話者のうちの一人に対応する。この例において、抽出回路１２１は、第１の話者に対応し、抽出回路１２２は、第２の話者に対応する等である。抽出回路の各々は、それぞれ異なる話者に対応する。抽出回路の各々は、当該話者に対応するスピーチ信号を導き出し、例において、それは信号１５１、１５２又は１５４の１つである。信号１５１は、例において、第１の話者に対応し、信号１５２は、第２の話者に対応する等である。スピーチ信号１５１乃至１５４の各々は、取り込み回路１１０によって取り込まれるような複数のサウンド信号１０１、１０２...１０６から導き出される。スピーチ取り込み装置１００は更に、複数のサウンド信号から１又は複数のアンビエント信号１３１を導き出すための残余抽出回路１３０を有する。アンビエント信号は、サウンド信号から導き出される信号束１６０として示される、スピーチ信号を補完するものを表す。言い換えると、アンビエント信号は、１又は複数の抽出回路によって導き出されたスピーチ信号１５１、１５２...１５４を減じられたサウンド信号から導き出される（スピーチ信号が、サウンド信号から減算される）。
【００２５】
スピーチ取り込み装置１００は、１又は複数のスピーチ信号１５１、１５２...１５４及び１又は複数のアンビエント信号１３１を送信する送信回路１５０を更に有する。送信回路１５０は、スピーチ信号及びアンビエント信号を単一の出力信号１８１にマージし、出力信号１８１は、スピーチレンダリング装置５００に送信される。当業者であれば、マージが、例えば連結又は多重化の知られている方法によって行われることができることが明らかである。
【００２６】
図２は、オーディオビジュアルロケータ１４０を有するスピーチ取り込み装置１００の一実施形態を示す。オーディオビジュアルロケータ１４０は、１又は複数の話者のロケーションを検出する。話者のロケーションに関する情報は、抽出回路を特定の話者のロケーションに方向付けるために、抽出回路に供給される。オーディオビジュアルロケータは、さまざまなやり方で実現されることができる。オーディオビジュアルロケータの知られている例は、例えば米国特許第６８５０２６５Ｂ１号公報又はN. Strobel, S. Spors, and R. Rabenstein, Joint audio-video object localization and tracking, IEEE Signal Processing Magazine, vol. 18, no. 1, pp. 22-31, Jan. 2001である。空間的な情報は、米国特許第６８５０２６５Ｂ１号公報に記載されるような角度、又はN. Strobel, S. Spors, and R. Rabenstein, Joint audio-video object localization and tracking, IEEE Signal Processing Magazine, vol. 18, no. 1, pp. 22-31, Jan. 2001に記載されるような位置を含むことができる。
【００２７】
図２に表されるスピーチ取り込み装置１００は、オーディオビジュアルロケータ１４０によって拡張された図１の装置である。例において、第１の話者１４１のロケーションに関する情報は、抽出回路１２１に供給され、第２の話者１４２のロケーションに関する情報は、抽出回路１２２に供給される。２人の話者のみがいるように、２つの抽出回路のみが図２に示されているが、より多くの抽出回路が使用されることができる。抽出回路の数は、話者の数と一致する。送信回路１５０は、話者のロケーションに関する情報をも送信するように変更される。これは、スピーチレンダリング装置５００が、スピーチ信号１５１、１５２をレンダリングする際に話者１４１、１４２のロケーションに関する情報を使用することを可能にする。
【００２８】
一実施形態において、抽出回路１２１又は１２２は、ビームフォーマ回路を含む。ビームフォーマ回路の例の１つは、国際公開第２００５／０５０６１８号又は国際公開第２００５／１０６８４１号パンフレットに記載されるような一般化サイドローブキャンセラである。一般化サイドローブキャンセラは、米国特許第７１４６０１２号に開示されるように、例えばフィルタードサムビームフォーマを含むことができ、その後に、例えば米国特許第７０５８１８５号明細書に開示されるようなマルチチャネルノイズキャンセラが続く。
【００２９】
図３は、例えば米国特許第６５４６０９９号明細書に記述されるようなポストプロセッサ回路２２０を有する抽出回路１２１の実施形態を示す。サウンド信号１１１乃至１１６は、一般化サイドローブキャンセラ２１０に供給され、一般化サイドローブキャンセラ２１０は、その出力部にスピーチ信号１５１を供給する。このスピーチ信号１５１は、残余抽出回路１３０への入力として提供される。スピーチ信号１５１は、ポストプロセッサ２２０にも供給され、ポストプロセッサ２２０は、スピーチ信号１５１の更なるノイズ低減を実施する。それゆえ、ポストプロセッサ２２０は、その出力部に、スピーチ信号１５１よりクリーンである他のスピーチ信号１６１を生成する。ポストプロセッサ回路２２０は、送信回線１５０による送信のために他のスピーチ信号１６１を供給し、他のスピーチ信号１６１は、図１及び図２に示されるようなスピーチ信号１５１と置き換わる。
【００３０】
図４は、スピーチ取り込み装置１００の一実施形態を示し、抽出回路１２１、１２２乃至１２４は、ポストプロセッサ回路２２０を有する。抽出回路１２１乃至１２４の各々は、２つの出力部を有し、第１の出力部には、例えば回路１２１に関するスピーチ信号１５１であるスピーチ信号が供給され、第２の出力部には、例えば回路１２１に関するスピーチ信号１６１である他のスピーチ信号が供給される。信号１６１、１６２...１６４は、信号１５１、１５２...１５４に代わって、送信回路に供給される。
【００３１】
図１及び図２と比較して、残余抽出回路１３０は、ただ１つの出力信号１３１Ａをもつ。残余抽出回路は２つのステージを有する。第１のステージでは、入力サウンド信号（信号１１、１１２...１１６の１つ）の各々について、スピーチ信号１５１、１５２...１５４が減算される。その結果、抽出回路によって抽出されたスピーチ信号に関連するスピーチ成分のいずれも含まない変更されたサウンド信号が、取得される。どんな信号が、残余抽出回路１３０の出力部に供給されるべきかについてさまざまなオプションがある。例えば、変更されたサウンド信号が、回路１３０の出力部にそのまま供給されることができる。別の例は、すべての変更されたサウンド信号にわたる平均信号が、回路１３０の出力部に供給されることができるものである。別の代替例は、回路１３０の出力部に供給される変更されたサウンド信号のうちの１つを選択することである。更に他の代替例が、図５に記述されている。
【００３２】
図５は、アンビエント信号１３１Ａを導き出すための、米国特許第７０５８１８５号明細書に記載されるようなマルチチャネル適応フィルタを有する残余抽出回路１３０の実施形態を示す。この特定の実施形態において、マルチチャネル適応フィルタは、簡潔さの目的で、２チャネルである。しかしながら、マルチチャネル適応フィルタは、４チャネルであってもよく、その場合、各チャネルは、抽出回路１２１乃至１２４の１つに対応する。
【００３３】
図５の実施形態において、マイクロフォン１０１によって取り込まれるサウンド信号１１１が、参照信号として選ばれる。スピーチ信号１５１及び１５２は、それぞれ２つの適応フィルタ３１０及び３２０に供給される。適応フィルタ３１０及び３２０フィルタは、入力信号１５１及び１５２をそれぞれフィルタし、ここで、適応フィルタ３１０及び３２０は、残余信号１３１Ａによって制御される。残余信号１３１Ａは、サウンド信号１１１と適応フィルタ３１０及び３２０の出力信号との間の差を計算する減算回路４００によって供給される。適応フィルタ３１０及び３２０は、残余信号１３１Ａのエネルギーが最小にされるようなやり方で、それらの係数を調整する。フィルタの適応化のために、S. Haykin, Adaptive Filter Theory, Englewood Cliffs (NJ, USA): Prentice-Hall, 1986, ISBN 0-13-004052-5 025に記載されるような正規化最小二乗平均（ＮＬＭ）フィルタが使用されることができる。代替の形態は、米国特許第７０５８１８５号明細書に記載されるような周波数ドメイン適応フィルタを使用することである。残余信号１３１Ａは、回路１３０の出力信号でもある。
【００３４】
図６は、本発明によるスピーチレンダリング装置５００の実施形態を示す。スピーチレンダリング装置５００は、
−１又は複数のスピーチ信号１５１乃至１５４及び１又は複数のアンビエント信号（信号束）１３１を受信する受信回路５１０であって、各スピーチ信号はそれぞれ異なる話者に対応する、受信回路５１０と、
−１又は複数のスピーチ信号が１又は複数のアンビエント信号と異なる方向から来るように知覚されるように、１又は複数のスピーチ信号１５１乃至１５４及び１又は複数のアンビエント信号（信号束）１３１を空間的に再生するレンダリング回路５２０と、
を有する。
【００３５】
受信回路５１０は、入力信号１８１から、スピーチ信号１５１乃至１５４及びアンビエント信号１３１を抽出する。受信回路５１０は、送信回路１５０において実施される動作を逆にするよく知られた動作を機能的に実施する。受信回路５１０は、スピーチ信号及びアンビエント信号を入力信号１８１から抽出する。当業者であれば、抽出が、例えば連結解除又は逆多重化の知られている方法によって行われることができることが明らかである。
【００３６】
任意には、話者の位置に関する空間的な情報１７１が、入力信号１８１中に存在する場合、それは、受信回路５１０によって抽出され、レンダリング回路５２０に供給される。
【００３７】
レンダリング回路５２０は、再生回路５３０にスピーチ信号及びアンビエント信号をマップする。再生回路は、スピーカを含みうる。例において、再生回路５３０は、５．１構造の５つのスピーカ５３１乃至５３５を有する。スピーカ５３２は、中央チャネル信号を再生し、スピーカ５３３は、右前方チャネル信号を再生し、スピーカ５３１は、左前方チャネル信号を再生し、スピーカ５３５は、右後方チャネル信号を再生し、スピーカ５３４は、左後方チャネル信号を再生する。２人の話者のみが存在する場合、第１の話者のスピーチ信号１５１は、スピーカ５３１によって再生されることができ、第２の話者のスピーチ信号１５２は、スピーカ５３２によって再生されることができる。アンビエント信号は、スピーカ５３５及び５３４によって再生されることができる。複数のスピーチ信号の場合、これらの信号は、スピーチ信号がそれぞれ異なる方向から来るように知覚される錯覚を与えるために、前方スピーカ５３１、５３２及び５３３によって再生されることができる。この知覚効果は、振幅パニング、時間遅延パニング及び波動場合成技法のようなさまざまなやり方で達成されることができる。
【００３８】
代替として、スピーカに代わって、ヘッドホンが使用されることができる。そのような場合、ＨＲＴＦ（Chapter 13 "3D Audio and Virtual Acoustical Environment Synthesis" by Jiashu Chen in the book Acoustical Signal Processing For Telecommunication by Steven L. Gay and Jakob Benesty (Editors) Kluwer Academic Publishers: 2000 ISBN 0-7923-7814-8）が、仮想空間でスピーチ信号及びアンビエント信号を再生するために使用されることができる。
【００３９】
他の実施形態において、受信回路５１０は更に、話者のロケーションに関する空間的な情報１７１を受信し、レンダリング回路５２０は、スピーチ信号１５１乃至１５４が空間的な情報１７１によって表されるロケーションから来るように知覚されるように、スピーチ信号を空間的に再生する。これは、例えば振幅パニングを使用して行われる。振幅パニングによって、話者が２つのスピーカ位置の間に位置するように知覚されるように、スピーチ信号を仮想的に位置付けることが可能である。
【００４０】
他の実施形態において、スピーチ信号が知覚される方向は、話者を視覚化したものにおける話者のロケーションに揃えられる。
【００４１】
他の実施形態において、１又は複数のアンビエント信号の振幅が低減される。
【００４２】
図７は、本発明によるスピーチ取り込み装置１００及びスピーチレンダリング装置５００を有する、スピーチ信号を通信する通信システムの例を示す。
【００４３】
通信は、２つの端末７００及び８００を有する。これらの端末の各々は、スピーチ取り込み装置１００及びスピーチレンダリング装置５００を有する。これらの端末は、２つの異なるロケーション、例えば部屋、に位置する話者が互いに通信する１対１の通信アプリケーションを有する。端末８００に含まれるスピーチ取り込み装置１００は、端末７００に含まれるレンダリング装置５００に送信されるスピーチ信号及びアンビエント信号を含む出力信号１８１Ａを生成する。それぞれ、端末７００に含まれるスピーチ取り込み装置１００は、端末８００に含まれるレンダリング装置５００に送信されるスピーチ信号及びアンビエント信号を含む出力信号１８１Ｂを生成する。
【００４４】
本発明は、幾つかの実施形態に関連して記述されているが、本明細書に記述される特定の形態に限定されることは意図されない。むしろ、本発明の範囲は、添付の請求項によってのみ制限される。更に、特徴は、特定の実施形態に関して記述されているようにみえうるが、当業者であれば、記述された実施形態のさまざまな特徴が、本発明に従って組み合わせられることができることが分かるであろう。請求項において、有する、含む、という語は、他の構成要素又はステップの存在を除外しない。
【００４５】
更に、複数の回路、構成要素又は方法ステップは、個別に列挙されているが、例えば単一のユニット又はプロセッサによって実現されることができる。更に、個別の特徴が、それぞれ異なる請求項に含まれることができるが、これらは、有利に組み合わせられることが可能であり、それぞれ異なる請求項における包含は、特徴の組み合わせが実現可能でなく及び／又は有利でないことを示さない。更に、請求項の１つのカテゴリにおける特徴の包含は、このカテゴリへの限定を意味するものではなく、特徴が他の請求項のカテゴリに等しく適用可能であることを示す。更に、単数形の言及は、複数性を除外しない。「a」、「an」、「first」、「second」等の語は、複数性を除外しない。請求項における参照符号は、単に例示を明確にするものとして与えられており、いかなる形であれ請求項の範囲を制限するものとして解釈されるべきでない。本発明は、幾つかの個別の構成要素を含むハードウェアの回路によって、及び適切にプログラムされたコンピュータ又は他のプログラム可能な装置の回路によって、実現されることができる。
【技術分野】
【０００１】
本発明は、例えばハンズフリーのオーディオ又はオーディオビジュアル会議端末において使用されるスピーチ取り込み方法及び装置に関する。本発明は更に、例えばハンズフリーのオーディオ又はオーディオビジュアル会議端末において使用されるスピーチレンダリング方法及び装置に関する。更に、本発明は、通信システム、及びハンズフリーのオーディオ又はオーディオビジュアル会議端末に関する。
【背景技術】
【０００２】
今日の（ハンズフリーの）１対１通信システムにおいて、スピーチの送信は、特に帯域幅制限のため、モノラルの送信チャネルによって実現される。その結果、再生側では、すべてのサウンドが、同じ方向（又は複数のスピーカが使用される場合は同じ複数の方向）から到来し、それゆえ、両耳聴に基づいて音源を区別する人間の能力が、使用されることができない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
結果として、雑音及び／又は競合する話者により汚染されたスピーチを聞くことは、困難であり、低減されたスピーチ了解度及び聴取者の疲労につながる。ハンズフリー電話システムに関するこの理由のため、送信される所望のスピーチ信号は、可能な限り「クリーン」であり、すなわち、それは、所望の直接のスピーチのみを含む。定常雑音の抑制は、ハンズフリー通信においてどうしても必要なものである。付加の処理を有するマイクロフォンアレイビームフォーミングが、スピーチを更に改善するために使用されることができる。しかしながら、既知のシステムは、特にスピーチ（メッセージ）だけでなく一緒にいる感覚も重要である非公式の場面において、通信中の対面感覚を提供しない。
【０００４】
本発明の目的は、一緒にいる感覚を伴う、真に迫った通信を提供することである。
【課題を解決するための手段】
【０００５】
本発明は、独立請求項によって規定される。従属請求項は、有利な実施形態を規定する。
【０００６】
本発明によるスピーチ取り込み装置は、
−複数のサウンド信号を取り込むための複数のマイクロフォンを有する取り込み回路と、
−複数のサウンド信号から、個々の話者に対応する個々のスピーチ信号を各々が導き出す１又は複数の抽出回路と、
−１又は複数の抽出回路によって導き出された１又は複数のスピーチ信号を各々減じられた複数のサウンド信号から、１又は複数のアンビエント信号を導き出す残余抽出回路と、
−１又は複数のスピーチ信号及び１又は複数のアンビエント信号を送信する送信回路と、を有する。
【０００７】
このようにして、１又は複数のスピーチ信号が、取り込み回路によって取り込まれたサウンド信号から抽出されることができる。抽出回路は、話者に対応するスピーチ信号を提供する。このスピーチ信号は、所望の話者の前にある１又は複数のクロストークマイクロフォンによって供給される信号とみなされることができる。残余抽出回路は、アンビエント情報（すなわち、所望の話者がいない状況でサウンド信号に含まれる情報）を含むアンビエント信号を導き出す。これらのスピーチ及びアンビエント信号を別々に送信する場合、レンダリング側は、スピーチ及びアンビエント信号を、空間的にそれぞれ異なるやり方で再生することが可能である。アンビエント信号を再生することによって、「一緒にいる」感覚が生成される。更に、一実施形態において、本発明は、２又はそれ以上のスピーチ信号を、互いに及びアンビエント信号と空間的に異なるように再生することを可能にし、それにより、アンビエント信号の存在にもかかわらず、スピーチ了解度が増大され、リスナーの疲労が低減される。
【０００８】
一実施形態において、スピーチ取り込み装置は更に、話者の１又は複数のロケーションを判定するオーディオビジュアルロケータを有し、各々の抽出回路は、話者の一人一人のロケーションに方向付けられる。オーディオビジュアルロケータを使用する利点は、抽出回路のロバストネスを改善する。話者が、移動していて話していない場合でも、抽出回路は、同じ一人の話者にフォーカスされたままでありうる。このようにして、話者が（再び）話し始めると、抽出回路は、すでにフォーカスされており、第１の語が、高い品質を伴って取り込まれる。そうでない場合、抽出回路は、第１の語の間に、再フォーカスされなければならず、これは、第１の語に関してより低い品質をもたらす。
【０００９】
他の実施形態において、送信回路は更に、話者のロケーションを含む空間的な情報を送信する。（複数の）話者のロケーションに関するこのような空間的な情報は、取り込み側の聴覚的情景を表す。このような空間的な情報により、取り込み側と同じ聴覚的情景をレンダリング側で再現することが可能である。この特性は、特にオーディオがビデオに対応しなければならないオーディオビジュアル会議にとって重要である。例えば、視覚的情景が、左、中央及び右の位置に位置する３人の話者を含む場合、位置情報は、（ほぼ）これらの３つの位置において話者を再生するために、レンダリング側で使用されることができる。
【００１０】
他の実施形態において、各々の抽出回路は、スピーチ信号を導き出すための一般化サイドローブキャンセラを有する。一般化サイドローブキャンセラは、特に適応的なビームフォーミングに適しているビームフォーミングの実現例である。このようなキャンセラにおいて、ビームは、所望の話者にフォーカスされる。
【００１１】
他の実施形態において、各々の抽出回路は更に、スピーチ信号における更なるノイズ低減のためのポストプロセッサ回路を有する。ポストプロセッサは更に雑音を除去し、それにより、送信回路によって送信されるスピーチ信号における雑音はより少なくなる。これは、所望の話者がよりよく区別されることができ、レンダリング側で任意の所望のロケーションに所望の話者を位置付けるために生成されるより多くの自由度がある、という利点をもつ。
【００１２】
他の実施形態において、残余抽出回路は更に、１又は複数の抽出回路によって導き出されたスピーチ信号を各々減じられた複数のサウンド信号から、１又は複数のアンビエント信号を導き出すマルチチャネル適応フィルタを有する。マルチチャネル適応フィルタは、サウンド信号に含まれるスピーチ信号を評価する。これらのスピーチ信号は、サウンド信号から減算され、こうしてアンビエント信号を提供する。
【００１３】
他の実施形態において、マルチチャネル適応フィルタは、参照信号として、マイクロフォンのうちの１つによって取り込まれたサウンド信号を入力するように結合される。このようにして、１つのアンビエント信号は、相対的に低い複雑さで生成される。
【００１４】
本発明の別の見地により、スピーチレンダリング装置は、
−１又は複数のスピーチ信号及び１又は複数のアンビエント信号を受信する受信回路であって、各スピーチ信号はそれぞれ異なる話者に対応する、受信回路と、
−スピーチ信号がアンビエント信号と異なる方向から来るように知覚されるように、１又は複数のスピーチ信号及び１又は複数のアンビエント信号を空間的に再生するレンダリング回路と、
を有する。レンダリング側でアンビエント信号を再生することによって、「一緒にいる」感覚が生成される。２又はそれ以上のスピーチ信号が、互いに及びアンビエント信号と空間的に異なって再生される実施形態において、スピーチ了解度は、アンビエント信号の存在にもかかわらず維持され又は増大されさえする。
【００１５】
一実施形態において、レンダリング回路は、スピーチ信号の２又はそれ以上を、それらスピーチ信号が相互に異なる方向から来るように知覚されるように、空間的に再生する。スピーチ信号を空間的に異なって再生することによって、レンダリング側の聴取者がそれぞれ異なる話者を区別すること、及び話者が同時に話す場合に話者の一人に集中することが、一層容易になる。これは、聴取者のより少ない疲労及び改善されたスピーチ了解度につながる。
【００１６】
他の実施形態において、受信回路は更に、話者のロケーションに関する空間的な情報を受信し、レンダリング回路は、スピーチ信号が空間的な情報によって表されるロケーションから来るように知覚されるように、スピーチ信号を空間的に再生する。このようにして、レンダリング側において、取り込み側と同じ聴覚的情景が生成されることができ、これは、特にサウンド及びビデオが揃えられるべきであるオーディオビジュアル通信システムにとって重要である。
【００１７】
他の実施形態において、スピーチ信号が知覚される方向は、話者を視覚化したものにおける話者のロケーションに揃えられる。この実施形態において、同じ話者に対応するオーディオ対象及びビデオ対象は、１つのオーディオビジュアル対象として知覚され、これは、聴取者にとって自然に知覚され、スピーチがビデオ対象の方向と別の方向から来る場合に生じる疲労を低減する。
【００１８】
他の実施形態において、１又は複数のアンビエント信号の振幅が低減される。このようにして、聴取者は、自分の環境においてレンダリングを制御することができ、レンダリングを、自分の環境に生じている他のアンビエント信号に適応させることができる。
【００１９】
本発明の別の見地により、スピーチ信号を通信する通信システム、及びハンズフリーのオーディオ又はオーディオビジュアル会議端末が提供される。
【００２０】
本発明のこれらの及び他の見地、特徴及び利点は、以下に記述される（複数の）実施形態から明らかであり、それらを参照して説明される。
【図面の簡単な説明】
【００２１】
【図１】本発明によるスピーチ取り込み装置の実施形態を示す図。
【図２】オーディオビジュアルロケータを有するスピーチ取り込み装置の実施形態を示す図。
【図３】ポストプロセッサ回路を有する抽出回路の実施形態を示す図。
【図４】抽出回路がポストプロセッサ回路を有するスピーチ取り込み装置の実施形態を示す図。
【図５】アンビエント信号を導き出すためのマルチチャネル適応フィルタを有する残余抽出回路の実施形態を示す図。
【図６】本発明によるスピーチレンダリング装置の実施形態を示す図。
【図７】本発明によるスピーチ取り込み装置及びスピーチレンダリング装置を有する、スピーチ信号を通信する通信システムの例を示す図。
【発明を実施するための形態】
【００２２】
図１は、本発明によるスピーチ取り込み装置１００の一実施形態を示す。スピーチ取り込み装置１００は、ハンズフリーのオーディオ又はオーディオビジュアル会議端末において使用されることができる。ハンズフリーのオーディオ又はオーディオビジュアル会議端末は、２つの異なるロケーション、例えば部屋、に位置する話者が互いに通信する１対１の通信アプリケーションを実現するために使用される。ロケーションにおける話者の数は、１人から複数の話者までさまざまでありうる。部屋の中の話者のロケーションもまた変化しうる。
【００２３】
装置１００は、複数のサウンド信号１１１、１１２...１１６を取り込むための取り込み回路１１０を有する。取り込み回路１１０は、複数のマイクロフォン１０１、１０２...１０６を有する。これらのマイクロフォンは、好適には、マイクロフォンのアレイの形で構成される。６つのマイクロフォンのみがこの例において示されているが、マイクロフォンの数はこの数に限定されない。
【００２４】
スピーチ取り込み装置１００は更に、１又は複数の抽出回路１２１、１２２...１２４を有する。抽出回路の各々は、話者のうちの一人に対応する。この例において、抽出回路１２１は、第１の話者に対応し、抽出回路１２２は、第２の話者に対応する等である。抽出回路の各々は、それぞれ異なる話者に対応する。抽出回路の各々は、当該話者に対応するスピーチ信号を導き出し、例において、それは信号１５１、１５２又は１５４の１つである。信号１５１は、例において、第１の話者に対応し、信号１５２は、第２の話者に対応する等である。スピーチ信号１５１乃至１５４の各々は、取り込み回路１１０によって取り込まれるような複数のサウンド信号１０１、１０２...１０６から導き出される。スピーチ取り込み装置１００は更に、複数のサウンド信号から１又は複数のアンビエント信号１３１を導き出すための残余抽出回路１３０を有する。アンビエント信号は、サウンド信号から導き出される信号束１６０として示される、スピーチ信号を補完するものを表す。言い換えると、アンビエント信号は、１又は複数の抽出回路によって導き出されたスピーチ信号１５１、１５２...１５４を減じられたサウンド信号から導き出される（スピーチ信号が、サウンド信号から減算される）。
【００２５】
スピーチ取り込み装置１００は、１又は複数のスピーチ信号１５１、１５２...１５４及び１又は複数のアンビエント信号１３１を送信する送信回路１５０を更に有する。送信回路１５０は、スピーチ信号及びアンビエント信号を単一の出力信号１８１にマージし、出力信号１８１は、スピーチレンダリング装置５００に送信される。当業者であれば、マージが、例えば連結又は多重化の知られている方法によって行われることができることが明らかである。
【００２６】
図２は、オーディオビジュアルロケータ１４０を有するスピーチ取り込み装置１００の一実施形態を示す。オーディオビジュアルロケータ１４０は、１又は複数の話者のロケーションを検出する。話者のロケーションに関する情報は、抽出回路を特定の話者のロケーションに方向付けるために、抽出回路に供給される。オーディオビジュアルロケータは、さまざまなやり方で実現されることができる。オーディオビジュアルロケータの知られている例は、例えば米国特許第６８５０２６５Ｂ１号公報又はN. Strobel, S. Spors, and R. Rabenstein, Joint audio-video object localization and tracking, IEEE Signal Processing Magazine, vol. 18, no. 1, pp. 22-31, Jan. 2001である。空間的な情報は、米国特許第６８５０２６５Ｂ１号公報に記載されるような角度、又はN. Strobel, S. Spors, and R. Rabenstein, Joint audio-video object localization and tracking, IEEE Signal Processing Magazine, vol. 18, no. 1, pp. 22-31, Jan. 2001に記載されるような位置を含むことができる。
【００２７】
図２に表されるスピーチ取り込み装置１００は、オーディオビジュアルロケータ１４０によって拡張された図１の装置である。例において、第１の話者１４１のロケーションに関する情報は、抽出回路１２１に供給され、第２の話者１４２のロケーションに関する情報は、抽出回路１２２に供給される。２人の話者のみがいるように、２つの抽出回路のみが図２に示されているが、より多くの抽出回路が使用されることができる。抽出回路の数は、話者の数と一致する。送信回路１５０は、話者のロケーションに関する情報をも送信するように変更される。これは、スピーチレンダリング装置５００が、スピーチ信号１５１、１５２をレンダリングする際に話者１４１、１４２のロケーションに関する情報を使用することを可能にする。
【００２８】
一実施形態において、抽出回路１２１又は１２２は、ビームフォーマ回路を含む。ビームフォーマ回路の例の１つは、国際公開第２００５／０５０６１８号又は国際公開第２００５／１０６８４１号パンフレットに記載されるような一般化サイドローブキャンセラである。一般化サイドローブキャンセラは、米国特許第７１４６０１２号に開示されるように、例えばフィルタードサムビームフォーマを含むことができ、その後に、例えば米国特許第７０５８１８５号明細書に開示されるようなマルチチャネルノイズキャンセラが続く。
【００２９】
図３は、例えば米国特許第６５４６０９９号明細書に記述されるようなポストプロセッサ回路２２０を有する抽出回路１２１の実施形態を示す。サウンド信号１１１乃至１１６は、一般化サイドローブキャンセラ２１０に供給され、一般化サイドローブキャンセラ２１０は、その出力部にスピーチ信号１５１を供給する。このスピーチ信号１５１は、残余抽出回路１３０への入力として提供される。スピーチ信号１５１は、ポストプロセッサ２２０にも供給され、ポストプロセッサ２２０は、スピーチ信号１５１の更なるノイズ低減を実施する。それゆえ、ポストプロセッサ２２０は、その出力部に、スピーチ信号１５１よりクリーンである他のスピーチ信号１６１を生成する。ポストプロセッサ回路２２０は、送信回線１５０による送信のために他のスピーチ信号１６１を供給し、他のスピーチ信号１６１は、図１及び図２に示されるようなスピーチ信号１５１と置き換わる。
【００３０】
図４は、スピーチ取り込み装置１００の一実施形態を示し、抽出回路１２１、１２２乃至１２４は、ポストプロセッサ回路２２０を有する。抽出回路１２１乃至１２４の各々は、２つの出力部を有し、第１の出力部には、例えば回路１２１に関するスピーチ信号１５１であるスピーチ信号が供給され、第２の出力部には、例えば回路１２１に関するスピーチ信号１６１である他のスピーチ信号が供給される。信号１６１、１６２...１６４は、信号１５１、１５２...１５４に代わって、送信回路に供給される。
【００３１】
図１及び図２と比較して、残余抽出回路１３０は、ただ１つの出力信号１３１Ａをもつ。残余抽出回路は２つのステージを有する。第１のステージでは、入力サウンド信号（信号１１、１１２...１１６の１つ）の各々について、スピーチ信号１５１、１５２...１５４が減算される。その結果、抽出回路によって抽出されたスピーチ信号に関連するスピーチ成分のいずれも含まない変更されたサウンド信号が、取得される。どんな信号が、残余抽出回路１３０の出力部に供給されるべきかについてさまざまなオプションがある。例えば、変更されたサウンド信号が、回路１３０の出力部にそのまま供給されることができる。別の例は、すべての変更されたサウンド信号にわたる平均信号が、回路１３０の出力部に供給されることができるものである。別の代替例は、回路１３０の出力部に供給される変更されたサウンド信号のうちの１つを選択することである。更に他の代替例が、図５に記述されている。
【００３２】
図５は、アンビエント信号１３１Ａを導き出すための、米国特許第７０５８１８５号明細書に記載されるようなマルチチャネル適応フィルタを有する残余抽出回路１３０の実施形態を示す。この特定の実施形態において、マルチチャネル適応フィルタは、簡潔さの目的で、２チャネルである。しかしながら、マルチチャネル適応フィルタは、４チャネルであってもよく、その場合、各チャネルは、抽出回路１２１乃至１２４の１つに対応する。
【００３３】
図５の実施形態において、マイクロフォン１０１によって取り込まれるサウンド信号１１１が、参照信号として選ばれる。スピーチ信号１５１及び１５２は、それぞれ２つの適応フィルタ３１０及び３２０に供給される。適応フィルタ３１０及び３２０フィルタは、入力信号１５１及び１５２をそれぞれフィルタし、ここで、適応フィルタ３１０及び３２０は、残余信号１３１Ａによって制御される。残余信号１３１Ａは、サウンド信号１１１と適応フィルタ３１０及び３２０の出力信号との間の差を計算する減算回路４００によって供給される。適応フィルタ３１０及び３２０は、残余信号１３１Ａのエネルギーが最小にされるようなやり方で、それらの係数を調整する。フィルタの適応化のために、S. Haykin, Adaptive Filter Theory, Englewood Cliffs (NJ, USA): Prentice-Hall, 1986, ISBN 0-13-004052-5 025に記載されるような正規化最小二乗平均（ＮＬＭ）フィルタが使用されることができる。代替の形態は、米国特許第７０５８１８５号明細書に記載されるような周波数ドメイン適応フィルタを使用することである。残余信号１３１Ａは、回路１３０の出力信号でもある。
【００３４】
図６は、本発明によるスピーチレンダリング装置５００の実施形態を示す。スピーチレンダリング装置５００は、
−１又は複数のスピーチ信号１５１乃至１５４及び１又は複数のアンビエント信号（信号束）１３１を受信する受信回路５１０であって、各スピーチ信号はそれぞれ異なる話者に対応する、受信回路５１０と、
−１又は複数のスピーチ信号が１又は複数のアンビエント信号と異なる方向から来るように知覚されるように、１又は複数のスピーチ信号１５１乃至１５４及び１又は複数のアンビエント信号（信号束）１３１を空間的に再生するレンダリング回路５２０と、
を有する。
【００３５】
受信回路５１０は、入力信号１８１から、スピーチ信号１５１乃至１５４及びアンビエント信号１３１を抽出する。受信回路５１０は、送信回路１５０において実施される動作を逆にするよく知られた動作を機能的に実施する。受信回路５１０は、スピーチ信号及びアンビエント信号を入力信号１８１から抽出する。当業者であれば、抽出が、例えば連結解除又は逆多重化の知られている方法によって行われることができることが明らかである。
【００３６】
任意には、話者の位置に関する空間的な情報１７１が、入力信号１８１中に存在する場合、それは、受信回路５１０によって抽出され、レンダリング回路５２０に供給される。
【００３７】
レンダリング回路５２０は、再生回路５３０にスピーチ信号及びアンビエント信号をマップする。再生回路は、スピーカを含みうる。例において、再生回路５３０は、５．１構造の５つのスピーカ５３１乃至５３５を有する。スピーカ５３２は、中央チャネル信号を再生し、スピーカ５３３は、右前方チャネル信号を再生し、スピーカ５３１は、左前方チャネル信号を再生し、スピーカ５３５は、右後方チャネル信号を再生し、スピーカ５３４は、左後方チャネル信号を再生する。２人の話者のみが存在する場合、第１の話者のスピーチ信号１５１は、スピーカ５３１によって再生されることができ、第２の話者のスピーチ信号１５２は、スピーカ５３２によって再生されることができる。アンビエント信号は、スピーカ５３５及び５３４によって再生されることができる。複数のスピーチ信号の場合、これらの信号は、スピーチ信号がそれぞれ異なる方向から来るように知覚される錯覚を与えるために、前方スピーカ５３１、５３２及び５３３によって再生されることができる。この知覚効果は、振幅パニング、時間遅延パニング及び波動場合成技法のようなさまざまなやり方で達成されることができる。
【００３８】
代替として、スピーカに代わって、ヘッドホンが使用されることができる。そのような場合、ＨＲＴＦ（Chapter 13 "3D Audio and Virtual Acoustical Environment Synthesis" by Jiashu Chen in the book Acoustical Signal Processing For Telecommunication by Steven L. Gay and Jakob Benesty (Editors) Kluwer Academic Publishers: 2000 ISBN 0-7923-7814-8）が、仮想空間でスピーチ信号及びアンビエント信号を再生するために使用されることができる。
【００３９】
他の実施形態において、受信回路５１０は更に、話者のロケーションに関する空間的な情報１７１を受信し、レンダリング回路５２０は、スピーチ信号１５１乃至１５４が空間的な情報１７１によって表されるロケーションから来るように知覚されるように、スピーチ信号を空間的に再生する。これは、例えば振幅パニングを使用して行われる。振幅パニングによって、話者が２つのスピーカ位置の間に位置するように知覚されるように、スピーチ信号を仮想的に位置付けることが可能である。
【００４０】
他の実施形態において、スピーチ信号が知覚される方向は、話者を視覚化したものにおける話者のロケーションに揃えられる。
【００４１】
他の実施形態において、１又は複数のアンビエント信号の振幅が低減される。
【００４２】
図７は、本発明によるスピーチ取り込み装置１００及びスピーチレンダリング装置５００を有する、スピーチ信号を通信する通信システムの例を示す。
【００４３】
通信は、２つの端末７００及び８００を有する。これらの端末の各々は、スピーチ取り込み装置１００及びスピーチレンダリング装置５００を有する。これらの端末は、２つの異なるロケーション、例えば部屋、に位置する話者が互いに通信する１対１の通信アプリケーションを有する。端末８００に含まれるスピーチ取り込み装置１００は、端末７００に含まれるレンダリング装置５００に送信されるスピーチ信号及びアンビエント信号を含む出力信号１８１Ａを生成する。それぞれ、端末７００に含まれるスピーチ取り込み装置１００は、端末８００に含まれるレンダリング装置５００に送信されるスピーチ信号及びアンビエント信号を含む出力信号１８１Ｂを生成する。
【００４４】
本発明は、幾つかの実施形態に関連して記述されているが、本明細書に記述される特定の形態に限定されることは意図されない。むしろ、本発明の範囲は、添付の請求項によってのみ制限される。更に、特徴は、特定の実施形態に関して記述されているようにみえうるが、当業者であれば、記述された実施形態のさまざまな特徴が、本発明に従って組み合わせられることができることが分かるであろう。請求項において、有する、含む、という語は、他の構成要素又はステップの存在を除外しない。
【００４５】
更に、複数の回路、構成要素又は方法ステップは、個別に列挙されているが、例えば単一のユニット又はプロセッサによって実現されることができる。更に、個別の特徴が、それぞれ異なる請求項に含まれることができるが、これらは、有利に組み合わせられることが可能であり、それぞれ異なる請求項における包含は、特徴の組み合わせが実現可能でなく及び／又は有利でないことを示さない。更に、請求項の１つのカテゴリにおける特徴の包含は、このカテゴリへの限定を意味するものではなく、特徴が他の請求項のカテゴリに等しく適用可能であることを示す。更に、単数形の言及は、複数性を除外しない。「a」、「an」、「first」、「second」等の語は、複数性を除外しない。請求項における参照符号は、単に例示を明確にするものとして与えられており、いかなる形であれ請求項の範囲を制限するものとして解釈されるべきでない。本発明は、幾つかの個別の構成要素を含むハードウェアの回路によって、及び適切にプログラムされたコンピュータ又は他のプログラム可能な装置の回路によって、実現されることができる。
【特許請求の範囲】
【請求項１】
スピーチ取り込み装置であって、
複数のサウンド信号を取り込むための複数のマイクロフォンを有する取り込み回路と、
前記複数のサウンド信号から、個々の話者に対応する個々のスピーチ信号を各々が導き出す１又は複数の抽出回路と、
前記１又は複数の抽出回路によって導き出された前記１又は複数のスピーチ信号を各々減じられた前記複数のサウンド信号から、１又は複数のアンビエント信号を導き出す残余抽出回路と、
前記１又は複数のスピーチ信号及び前記１又は複数のアンビエント信号を送信する送信回路と、
を有するスピーチ取り込み装置。
【請求項２】
前記スピーチ取り込み装置は、前記話者の１又は複数のロケーションを判定するオーディオビジュアルロケータを更に有し、各抽出回路は、前記話者の個々の人のロケーションに方向付けられる、請求項１に記載のスピーチ取り込み装置。
【請求項３】
前記送信回路は更に、前記話者の１又は複数のロケーションを含む空間的な情報を送信する、請求項２に記載のスピーチ取り込み装置。
【請求項４】
各抽出回路は、前記スピーチ信号を導き出すための一般化サイドローブキャンセラを有する、請求項１又は２に記載のスピーチ取り込み装置。
【請求項５】
各抽出回路は、前記スピーチ信号において更なるノイズ低減を行うポストプロセッサ回路を更に有する、請求項１又は２に記載のスピーチ取り込み装置。
【請求項６】
前記残余抽出回路は、前記１又は複数の抽出回路によって導き出された前記１又は複数のスピーチ信号を各々減じられた前記複数のサウンド信号から、１又は複数のアンビエント信号を導き出すマルチチャネル適応フィルタを更に有する、請求項１に記載のスピーチ取り込み装置。
【請求項７】
前記マルチチャネル適応フィルタは、参照信号として、前記マイクロフォンの１つによって取り込まれたサウンド信号を入力するように結合される、請求項６に記載のスピーチ取り込み装置。
【請求項８】
スピーチレンダリング装置であって、
１又は複数のスピーチ信号及び１又は複数のアンビエント信号を受信する受信回路であって、各スピーチ信号がそれぞれ異なる話者に対応する、受信回路と、
前記１又は複数のスピーチ信号が前記１又は複数のアンビエント信号と異なる方向から来るように知覚されるように、前記１又は複数のスピーチ信号及び前記１又は複数のアンビエント信号を空間的に再生するレンダリング回路と、
を有するスピーチレンダリング装置。
【請求項９】
前記レンダリング回路は、スピーチ信号の２又はそれ以上が互いに異なる方向から来るように知覚されるように、該スピーチ信号を空間的に再生する、請求項８に記載のスピーチレンダリング装置。
【請求項１０】
前記受信回路は、前記話者のロケーションに関する空間的な情報を更に受信し、前記レンダリング回路は、前記スピーチ信号が空間的な情報によって表されるロケーションから来るように知覚されるように、前記スピーチ信号を空間的に再生する、請求項９に記載のスピーチレンダリング装置。
【請求項１１】
前記スピーチレンダリング装置は、前記スピーチ信号が知覚される方向を、前記話者を視覚化したものにおける前記話者のロケーションに揃えるように構成される、請求項８に記載のスピーチレンダリング装置。
【請求項１２】
前記スピーチレンダリング装置は、前記１又は複数のアンビエント信号の振幅を低下させる、請求項８に記載のスピーチレンダリング装置。
【請求項１３】
スピーチ信号を通信する通信システムであって、
請求項１乃至７のいずれか１項に記載のスピーチ取り込み装置と、
請求項８乃至１２のいずれか１項に記載のスピーチレンダリング装置と、
を有する通信システム。
【請求項１４】
ハンズフリーのオーディオ又はオーディオビジュアル会議端末であって、
請求項１乃至７のいずれか１項に記載のスピーチ取り込み装置と、
請求項８乃至１２のいずれか１項に記載のスピーチレンダリング装置と、
を有する端末。
【請求項１５】
スピーチ取り込み方法であって、
複数のサウンド信号を取り込むステップと、
前記複数のサウンド信号から、１又は複数の個々の話者に対応する１又は複数のスピーチ信号を導き出すステップと、
前記１又は複数のスピーチ信号を各々減じられた前記複数のサウンド信号から、１又は複数のアンビエント信号を導き出すステップと、
前記１又は複数のスピーチ信号及び前記１又は複数のアンビエント信号を送信するステップと、
を含む方法。
【請求項１６】
スピーチレンダリング方法であって、
１又は複数のスピーチ信号及び１又は複数のアンビエント信号を受信するステップであって、各スピーチ信号はそれぞれ異なる話者に対応する、ステップと、
前記１又は複数のスピーチ信号が前記１又は複数のアンビエント信号と異なる方向から来るように知覚されるように、前記１又は複数のスピーチ信号及び前記１又は複数のアンビエント信号を空間的に再生するステップと、
を含む方法。
【請求項１】
スピーチ取り込み装置であって、
複数のサウンド信号を取り込むための複数のマイクロフォンを有する取り込み回路と、
前記複数のサウンド信号から、個々の話者に対応する個々のスピーチ信号を各々が導き出す１又は複数の抽出回路と、
前記１又は複数の抽出回路によって導き出された前記１又は複数のスピーチ信号を各々減じられた前記複数のサウンド信号から、１又は複数のアンビエント信号を導き出す残余抽出回路と、
前記１又は複数のスピーチ信号及び前記１又は複数のアンビエント信号を送信する送信回路と、
を有するスピーチ取り込み装置。
【請求項２】
前記スピーチ取り込み装置は、前記話者の１又は複数のロケーションを判定するオーディオビジュアルロケータを更に有し、各抽出回路は、前記話者の個々の人のロケーションに方向付けられる、請求項１に記載のスピーチ取り込み装置。
【請求項３】
前記送信回路は更に、前記話者の１又は複数のロケーションを含む空間的な情報を送信する、請求項２に記載のスピーチ取り込み装置。
【請求項４】
各抽出回路は、前記スピーチ信号を導き出すための一般化サイドローブキャンセラを有する、請求項１又は２に記載のスピーチ取り込み装置。
【請求項５】
各抽出回路は、前記スピーチ信号において更なるノイズ低減を行うポストプロセッサ回路を更に有する、請求項１又は２に記載のスピーチ取り込み装置。
【請求項６】
前記残余抽出回路は、前記１又は複数の抽出回路によって導き出された前記１又は複数のスピーチ信号を各々減じられた前記複数のサウンド信号から、１又は複数のアンビエント信号を導き出すマルチチャネル適応フィルタを更に有する、請求項１に記載のスピーチ取り込み装置。
【請求項７】
前記マルチチャネル適応フィルタは、参照信号として、前記マイクロフォンの１つによって取り込まれたサウンド信号を入力するように結合される、請求項６に記載のスピーチ取り込み装置。
【請求項８】
スピーチレンダリング装置であって、
１又は複数のスピーチ信号及び１又は複数のアンビエント信号を受信する受信回路であって、各スピーチ信号がそれぞれ異なる話者に対応する、受信回路と、
前記１又は複数のスピーチ信号が前記１又は複数のアンビエント信号と異なる方向から来るように知覚されるように、前記１又は複数のスピーチ信号及び前記１又は複数のアンビエント信号を空間的に再生するレンダリング回路と、
を有するスピーチレンダリング装置。
【請求項９】
前記レンダリング回路は、スピーチ信号の２又はそれ以上が互いに異なる方向から来るように知覚されるように、該スピーチ信号を空間的に再生する、請求項８に記載のスピーチレンダリング装置。
【請求項１０】
前記受信回路は、前記話者のロケーションに関する空間的な情報を更に受信し、前記レンダリング回路は、前記スピーチ信号が空間的な情報によって表されるロケーションから来るように知覚されるように、前記スピーチ信号を空間的に再生する、請求項９に記載のスピーチレンダリング装置。
【請求項１１】
前記スピーチレンダリング装置は、前記スピーチ信号が知覚される方向を、前記話者を視覚化したものにおける前記話者のロケーションに揃えるように構成される、請求項８に記載のスピーチレンダリング装置。
【請求項１２】
前記スピーチレンダリング装置は、前記１又は複数のアンビエント信号の振幅を低下させる、請求項８に記載のスピーチレンダリング装置。
【請求項１３】
スピーチ信号を通信する通信システムであって、
請求項１乃至７のいずれか１項に記載のスピーチ取り込み装置と、
請求項８乃至１２のいずれか１項に記載のスピーチレンダリング装置と、
を有する通信システム。
【請求項１４】
ハンズフリーのオーディオ又はオーディオビジュアル会議端末であって、
請求項１乃至７のいずれか１項に記載のスピーチ取り込み装置と、
請求項８乃至１２のいずれか１項に記載のスピーチレンダリング装置と、
を有する端末。
【請求項１５】
スピーチ取り込み方法であって、
複数のサウンド信号を取り込むステップと、
前記複数のサウンド信号から、１又は複数の個々の話者に対応する１又は複数のスピーチ信号を導き出すステップと、
前記１又は複数のスピーチ信号を各々減じられた前記複数のサウンド信号から、１又は複数のアンビエント信号を導き出すステップと、
前記１又は複数のスピーチ信号及び前記１又は複数のアンビエント信号を送信するステップと、
を含む方法。
【請求項１６】
スピーチレンダリング方法であって、
１又は複数のスピーチ信号及び１又は複数のアンビエント信号を受信するステップであって、各スピーチ信号はそれぞれ異なる話者に対応する、ステップと、
前記１又は複数のスピーチ信号が前記１又は複数のアンビエント信号と異なる方向から来るように知覚されるように、前記１又は複数のスピーチ信号及び前記１又は複数のアンビエント信号を空間的に再生するステップと、
を含む方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公表番号】特表２０１２−５１３７０１（Ｐ２０１２−５１３７０１Ａ）
【公表日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１１−５４１６９９（Ｐ２０１１−５４１６９９）
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【国際出願番号】ＰＣＴ／ＩＢ２００９／０５５８０３
【国際公開番号】ＷＯ２０１０／０７３１９３
【国際公開日】平成２２年７月１日（２０１０．７．１）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【国際出願番号】ＰＣＴ／ＩＢ２００９／０５５８０３
【国際公開番号】ＷＯ２０１０／０７３１９３
【国際公開日】平成２２年７月１日（２０１０．７．１）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]