通信装置、通信方法、および通信用プログラム
【課題】 相手側への音声がどの程度の音量となっているのかを把握することのできる通信装置を提供する。
【解決手段】 提示音声集音部１０５は、相手側装置２０から受信した音声を再生したときの音量レベルを測定する。伝播状態情報生成部１０８は、音声をユーザに提示する空間内での音声の伝播モデルを予め求めておく。そして、伝播状態情報生成部１０８は、相手側装置２０からの音声が再生されたとき、提示音声集音部１０５で測定された音量レベルと伝播モデルとから、相手側装置２０からの音声の空間内での伝播状態を算出し、その伝播状態の情報を相手側装置２０に送信する。
【解決手段】 提示音声集音部１０５は、相手側装置２０から受信した音声を再生したときの音量レベルを測定する。伝播状態情報生成部１０８は、音声をユーザに提示する空間内での音声の伝播モデルを予め求めておく。そして、伝播状態情報生成部１０８は、相手側装置２０からの音声が再生されたとき、提示音声集音部１０５で測定された音量レベルと伝播モデルとから、相手側装置２０からの音声の空間内での伝播状態を算出し、その伝播状態の情報を相手側装置２０に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔の通信装置において、相手側の空間での音伝播の様子を可視化する方法に関する。
【背景技術】
【０００２】
音声を含む通信において音量は重要であり、ユーザが音量を容易に把握することができるように可視化する手法が用いられることがある。例えば、映像音声通信装置において、自分側の装置に入力する音量を可視化する手法として、ピークメータを用いる手法がある。
【０００３】
しかし、遠隔の相手側の音声提示部から再生される音量を可視化する手法はなかった。そのため、従来の映像音声通信装置では、遠隔の相手側の音声提示部から再生される音量が未知であるために、コミュニケーションの成立が阻害されることがあった（非特許文献１参照）。
【非特許文献１】Ｆｉｓｈ, Ｒ． Ｓ．, Ｋｒａｕｔ, Ｒ． Ｅ．, ａｎｄ Ｃｈａｌｆｏｎｅｔｅ, Ｂ． Ｌ．, ： Ｔｈｅ Ｖｉｄｅｏ Ｗｉｎｄｏｗ Ｓｙｓｔｅｍ ｉｎ Ｉｎｆｏｒｍａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ, Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ１９９０ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｓｕｐｐｏｒｔｅｄ Ｃｏｏｐｅｒａｔｉｖｅ Ｗｏｒｋ（ＣＳＣＷ９０）, ＡＣＭ, ｐｐ．１−１１（１９９０）．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の手法では、自分の声が相手側の装置でどの程度の音量で再生され、相手にどの程度の音量で伝わっているのかわからず、自分が望んでいる音量、相手が望んでいる音量で相手と会話をすることが難しい。
【０００５】
本発明の目的は、相手側への音声がどの程度の音量となっているのかを把握することのできる通信装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の通信装置は、少なくとも音声を相互に送受信して通信を行う通信装置であって、相手側装置から受信した音声を再生したときの音量レベルを測定する提示音声集音部と、音声をユーザに提示する空間内での音声の伝播モデルを予め求めておき、前記相手側装置からの音声が再生されたとき、前記提示音声集音部で測定された音量レベルと前記伝播モデルとから、前記相手側装置からの前記音声の前記空間内での伝播状態を算出し、該伝播状態の情報を前記相手側装置に送信する伝播状態情報生成部とを有している。
【０００７】
本発明によれば、受話側の通信装置が予め音の伝播モデルを求めておき、通信時、その伝播モデルを用いて送話側の通信装置からの音声の伝播状態を求め、それを送話側の通信装置に送るので、送話側の通信装置のユーザは、自分の発した音声が、受話側の通信装置のユーザの周囲の空間にどのように提示されているかを把握することができる。
【０００８】
また、音声に加えて前記空間内の映像が相互に送受信されており、前記伝播状態情報生成部は、前記伝播状態の情報を前記空間内の映像にエフェクトとして付加して前記相手側装置に送信することとしてもよい。
【０００９】
これによれば、受話側の通信装置が送話側の通信装置２０からの音声の伝播状態をエフェクトとして映像に付加して送話側の通信装置に送るので、送話側の通信装置のユーザは、自分の発した音声が、受話側の通信装置のユーザの周囲の空間にどのように提示されているかを視覚的に把握することができる。
【００１０】
また、所定のテスト音が発生されたときの、前記空間内の複数箇所の音量レベルを測定する音場測定部をさらに有し、前記伝播状態情報生成部は、前記音場測定部で測定された複数の音量レベルを用いて前記伝播モデルを算出することとしてもよい。
【００１１】
これによれば、音場測定部の複数箇所の音量レベルにより伝播モデルを算出することができ、実際の音声の伝播状態の推定が可能である。
【００１２】
また、前記伝播モデルは、前記提示音声集音部で測定される音量レベルと前記空間内の任意点の音量レベルとの関係を示すｎ次近似関数であり、前記音場測定部は、前記ｎ次近似関数の次数に応じた数の箇所の音量レベルを測定することとしてもよい。
【００１３】
これによれば、空間内にて複雑な伝播状態を示すような場合にも、必要に応じて高次数の伝播モデルを利用することにより実際の伝播状態を高い精度で把握することができる。
【００１４】
また、前記相手側装置から受信した音声について、該相手側装置での波形と前記提示音声集音部での波形が一致するか否かを判定する波形一致判定部をさらに有し、前記伝播状態情報生成部は、前記波形一致判定部にて一致と判定された期間について、前記伝播状態の情報を前記相手側装置に送信することとしてもよい。
【００１５】
これによれば、受話側の通信装置は、送話側波形と受話側波形との一致を判定し、それらが一致したときに伝播状態の情報を送信するので、受話側の通信装置の周囲に大きな騒音が発生する場合にも、騒音の影響を除去し、送話側の通信装置から送った音声の伝播状態を送話側の通信装置のユーザに把握させることができる。
【発明の効果】
【００１６】
本発明によれば、受話側の通信装置が予め音の伝播モデルを求めておき、通信時、その伝播モデルを用いて送話側の通信装置からの音声の伝播状態を求め、それを送話側の通信装置に送るので、送話側の通信装置のユーザは、自分の発した音声が、受話側の通信装置のユーザの周囲の空間にどのように提示されているかを把握することができる。
【発明を実施するための最良の形態】
【００１７】
本発明を実施するための形態について図面を参照して詳細に説明する。本実施形態では、双方向に映像および音声を送受信する通信システムを例示する。本実施形態の通信システムは、送話者から受話者に音声が送られるとき、受話者側での音量の情報を、送話者側に提示される受話者側の映像にエフェクトとして付加することにより、送話者に提示するものである。エフェクトとは、映像に対して付加される映像効果であり、例えば、映像に効果画像を重ね合わせて表示する（重畳）ものである。
【００１８】
図１は、本実施形態による通信システムの概略構成を示すブロック図である。図１を参照すると、本実施形態の通信システムは、通信装置１０と通信装置２０が通信網３０を介して相互に接続されている。ここでは２つの通信装置を有する構成を例示するが、本発明はこの構成に限定されるものではなく、通信装置が複数であればよい。
【００１９】
図２は、本実施形態による通信システムの各装置の構成および各部の配置を示す図である。図３は、本実施形態による通信装置の構成を示すブロック図である。通信装置１０はユーザａ１０９に使用され、通信装置２０はユーザｂ１１０に使用されるものとする。また、ここではユーザａ１０９とユーザｂ１１０の間の通信を想定する。
【００２０】
図１および図２を参照すると、通信装置１０、２０は双方向の通信を可能にするために、同じ構成を有している。
【００２１】
通信装置１０は、集音部１０１、音声提示部１０２、撮像部１０３、映像提示部１０４、提示音声集音部１０５、音場測定部１０６、およびエフェクト生成部１０８を有している。音場測定部１０６には、音声提示部１０２および映像提示部１０４の前に配置された複数のマイク入力部１０７が含まれている。
【００２２】
同様に、通信装置２０は、集音部２０１、音声提示部２０２、撮像部２０３、映像提示部２０４、提示音声集音部２０５、音場測定部２０６、およびエフェクト生成部２０８を有している。音場測定部２０６には複数のマイク入力部２０７が含まれている。集音部２０１、音声提示部２０２、撮像部２０３、映像提示部２０４、提示音声集音部２０５、音場測定部２０６、エフェクト生成部２０８の各々は、通信装置１０における集音部１０１、音声提示部１０２、撮像部１０３、映像提示部１０４、提示音声集音部１０５、音場測定部１０６、エフェクト生成部１０８と同じものである。ここでは、通信装置１０について説明する。
【００２３】
集音部１０１は、ユーザａ１０９の発話を集音し、音声を相手側の通信装置２０に送る。
【００２４】
撮像部１０３は、ユーザａ１０９の画像を撮影し、画像をエフェクト生成部１０８に送る。
【００２５】
音声提示部１０２は、相手側の通信装置２０から受信した音声を再生し、ユーザａ１０９に提示する。
【００２６】
映像提示部１０４は、相手側の通信装置２０からの映像を再生し、ユーザａ１０９に提示する。
【００２７】
提示音声集音部１０５は、音声提示部１０２の前に設置されており、音声提示部１０２による再生音の音量レベルを測定し、その音量レベルをエフェクト生成部１０８に通知する。
【００２８】
音場測定部１０６は、撮像部１０３の画角内に平面的に配置した複数（本実施形態では１０個）のマイク入力部１０７より構成されており、音声提示部１０２からの再生音の各マイク入力部１０７での音量レベルを測定し、その音量レベルをエフェクト生成部１０８に通知する。
【００２９】
エフェクト生成部１０８は、本装置が通信に使用される前に、予め、音声提示部１０２から発せられる音の伝播状態を算出するための伝播モデルとなる空間伝播二次近似関数を算出しておく。空間伝播二次近似関数は、音声提示部１０２から所定のテスト音を発生させ、提示音声集音部１０５で得られる音量レベルと、音場測定部１０６で得られる音量レベルとに基づいて算出される。
【００３０】
また、エフェクト生成部１０８は、本装置が通信に使用されるとき、音声提示部１０２で再生され、音声提示集音部１０５で測定される、相手側の通信装置２０からの音声の音量レベルを、予め求めておいた空間伝播二次近似関数に代入し、空間の任意点での音量レベルを算出する。そして、エフェクト生成部１０８は、得られた空間内の音量レベルの情報をエフェクトとして、撮像部１０３で撮像された空間の映像に重畳して相手側の通信装置に送る。
【００３１】
なお、撮像部１０３の設置位置および撮影方向は音場測定部１０６に対して固定されており、撮像部１０３による映像と音場測定部１０６の平面座標との対応関係は予め得られているものとしてもよい。また、撮像部１０３で撮像される映像と音場測定部１０６のマイク入力部１０７の配置などから、撮像された映像と音場測定部１０６の平面座標との対応関係を求めることとしてもよい。また、撮像部１０３の設置位置および撮影方向から、撮像された映像と音場測定部１０６の平面座標との対応関係を求めることとしてもよい。
【００３２】
次に、空間伝播二次近似関数を算出する処理について説明する。
【００３３】
図４は、本実施形態による通信装置の空間伝播二次近似関数算出処理を示すフローチャートである。ここでは音量の異なる複数のテスト音を用いるものとし、各テスト音を示す番号をｍとする。
【００３４】
空間伝播二次近似関数は、通信装置が通信に用いられる前に算出される。図４を参照すると、まず、本実施形態の通信装置は、音声提示部１０２より所定のテスト音を提示する（ステップＡ１０１）。その状態で、通信装置は、提示音声集音部１０５にてその音声を集音して音量レベルを測定するとともに（ステップＡ１０２）、音場測定部１０６の１０個のマイク入力部１０７により、マイクの配置された位置（ｘ，ｙ）の音量レベル（Ｖ）を測定する（ステップＡ１０３）。
【００３５】
ここで用いるテスト音は、男性の発声時の平均基本周波数１３０Ｈｚ、あるいは女性の発声時の平均基本周波数２４５Ｈｚのどちらかの音声であることが好ましい。また、このテスト音は、提示音声集音部１０５で測定される音量レベル（Ｗｍ）が人の発声時の主な音量帯である２０、３０、４０、５０、６０、７０、８０ｄＢのいずれかであることが好ましい。
【００３６】
提示音声集音部１０５で測定されるテスト音（Ｗｍ）と、１０個のマイク入力部１０７の座標位置（ｘ，ｙ）および音量レベル（Ｖ）の測定値とを式（１）に代入し、各係数（ａ，ｂ，ｃ）を求める（ステップＡ１０４）。音量（Ｖ）には、複数のテスト音により各周波数（１３０Ｈｚ、２４５Ｈｚ）に対して得られた音量の平均値を用いれば良い。
【００３７】
【数１】
次に、通信装置は、得られた各係数に基づき、提示音声集音部１０５での音量レベルがＷであるときの空間内の任意点（ｘ，ｙ）での音の伝播状態を近似する二次関数を式（２）として求める（ステップＡ１０５）。音の伝播状態は、音がどの領域に有効に到達するかを示すものである。例えば、平常時のノイズがある環境において、有意な音声が人間の聴覚により認識可能な程度で到達するか否かを基準とすることとしてもよい。
【００３８】
【数２】
なお、ここで通信装置１０（ユーザａ１０９側）における空間伝播二次近似関数の算出には通信装置２０（ユーザｂ１１０）における集音部２０１での入力の音量レベルでなく、通信装置１０の提示音声集音部１０５における音量レベルを用いている。これは、通信装置の使用に際し、通信装置２０における集音部２０１のゲインなどのセッティングや、通信装置１０における音声提示部１０２のボリュームなどのセッティングがユーザにより自由に変更される可能性があり、セッティングが変更された場合にも空間伝播二次近似関数が影響を受けないようにしておくためである。
【００３９】
また、装置利用前に、音場測定部１０６の各マイク入力部１０７により装置を設置する環境の定常ノイズレベル（Ｖａｖｇ）を測定しておくこととしてもよい。この定常ノイズレベルの値は、提示音声集音部１０２の音量レベルからユーザｂ１１０の発話の有無を判定するのに用いることができる。
【００４０】
マイク入力部１０７で測定される音量レベル（Ｖ）が定常ノイズレベル（Ｖａｖｇ）より大きいとき、そのマイク入力部１０７で測定される音声が音声提示部１０２からの再生音であると考えられる。例えば、再生音が検出されていることを、エフェクト４０１を映像に重畳させる条件としてもよい。
【００４１】
また、本実施形態では、本装置を通信に利用するとき、音場測定部１０６でリアルタイムに測定される音量レベルからではなく、予め求めておいた空間二次近時関数と提示音声集音部１０５で得られたリアルタイムの音量とから任意点（ｘ，ｙ）での音量を求めている。そのため、音場測定部１０６は、空間二次近似関数を算出するときに必要とされるだけで、その後は必ずしも必要ではない。音場測定部１０６のマイク入力部１０７は、ユーザｂ１１０の発話以外の音声を集音する可能性もあるので、例えば、空間二次近似関数を求める処理が終了したら、音場測定部１０６を撤去することとしてもよい。
【００４２】
次に、エフェクト生成部１０８によるエフェクト重畳処理について説明する。
【００４３】
図５は、本実施形態による通信装置のエフェクト重畳処理を示すフローチャートである。図５を参照すると、通信装置１０と通信装置２０の通信時、まず、通信装置２０の集音部２０１にユーザｂ１１０の音声が入力されると（ステップＢ１０１）、通信装置１０の音声提示部１０２はその音声を再生し、ユーザａ１０９に提示する（ステップＢ１０２）。音声提示部１０２により再生された音声の音量レベルを提示音声集音部１０５が測定し（ステップＢ１０３）、エフェクト生成部１０８が式（２）の空間伝播二次近似関数を用いて任意点の音量レベル（Ｖ）を算出する（ステップＢ１０４）。
【００４４】
一方、それと並行して、通信装置１０の撮像部１０３では映像が取得される（ステップＣ１０１）。そして、エフェクト生成部１０８では、取得された映像と音場測定部１０６の平面座標との対応関係を求め、座標系を一致させる（ステップＣ１０２）。さらに、エフェクト生成部１０８は、式（２）においてＶ＝Ｖａｖｇ（定常ノイズレベル）、Ｗ＝Ｗ＋５（Ｗの初期値は０であるとする）を満たす領域を求め、その領域の境界を識別するエフェクト４０１の１つの波を作成する（ステップＣ１０３）。エフェクト４０１は、所定の座標の領域を他の領域と識別可能にする画像効果をいい、ここでは一例として曲線で示された波により識別するものとする。
【００４５】
次に、任意点での音量レベル（Ｖ）が定常ノイズレベル（Ｖａｖｇ）より大きいか否か判定し、大きくなければ透明度を０としエフェクト４０１を映像に重畳し（ステップＤ１０２）、大きければ透明度を１００としてエフェクト４０１を映像に重畳する（ステップＤ１０３）。ここでは透明度０は透明であることを示し、透明度１００は不透明であることを示すものとする。したがって、音声レベルが定常ノイズレベルより大きければ、音声がそこまで伝播するものとして不透明の曲線のエフェクト４０１を提示する。一方、音声レベルが定常ノイズレベルより大きくなければ、音声がそこまで伝播しないものとしてエフェクト４０１の曲線を透明にする。エフェクト４０１の重畳された映像は通信装置２０に送られ、通信装置２０の映像提示部２０３にて再生され、ユーザｂ１１０に提示される（ステップＤ１０４）。
【００４６】
図６は、本実施形態における、通信装置１０における音場測定部１０６の平面の座標軸と、通信装置２０の映像提示部２０４に提示される映像の座標軸との対応の一例を示す図である。図７は、通信装置１０における音場測定部１０６の平面の座標軸と対応付けられた、通信装置２０の映像提示部２０４にて提示される映像の一例を示す図である。
【００４７】
図６および図７を参照すると、撮像部１０３の設置位置および撮像方向が固定されており、音場測定部１０６の各マイク入力部１０７が平面状に設置されている。撮像部１０３で撮像される映像から、画像認識により、平面状に設置されたマイク入力部１０７のうち、座標が既知な３つのマイク入力部１０７の位置を求め、撮像された映像の座標軸と音場測定部１０６の平面上の座標との対応付けを求める。これらの処理は、装置を通信に利用する前に予め行っておけばよい。これにより、通信装置２０の映像提示部２０４にてユーザｂ１１０に提示される映像の座標と通信装置１０の音場測定部１０６の座標を一致させることができる。エフェクト４０１を良好に重畳させることができる。
【００４８】
図８は、映像提示部にてユーザに提示されるエフェクト４０１の重畳された映像の、音量が小さいときの一例を示す図である。図９は、映像提示部にてユーザに提示されるエフェクトの重畳された映像の、音量が大きいときの一例を示す図である。
【００４９】
空間伝播二次近似関数を求めるときには、音声提示部１０２で複数のテスト音を発生させる。ここでは、テスト音は、提示音声集音部１０５で集音する音量レベルが０ｄＢから、５ｄＢ間隔の音量レベル（Ｗｍ）となるような５段階の音量とする。
【００５０】
そして、エフェクト生成部１０８は、各テスト音について、各マイク入力部１０７で得られる音量から、音量レベル（Ｖ）が定常ノイズレベル（Ｖａｖｇ）を超えると推定される領域を求め、その領域に対応する映像提示部２０４で提示される映像領域を求める。
これを５段階の音量について行うことにより５つの領域（領域ａ５０１、領域ｂ５０２、領域ｃ５０３、領域ｄ５０４、領域ｅ５０５が得られる。
【００５１】
各音量レベルについて得られた領域は、その音量レベルの音声が再生されたときの音の伝播範囲とみなすことができる。そして、各領域の境界にエフェクト４０１の曲線を描くことにより、エフェクト４０１は波紋の形状になり、通信装置２０の映像提示部
２０４では、通信装置１０の音声提示部１０２から波紋が発生しているように見える。
【００５２】
これらの曲線を含むエフェクト４０１は、常に映像とともに映像提示部に２０４に提示可能なように、撮像部１０３で撮影された映像に予め重畳されている。そして、初期状態では、このエフェクト４０１の透明度設定は０にされており、エフェクト４０１は透明に描画されている。
【００５３】
通信装置２０にてユーザｂ１１０が発話すると、通信装置１０の提示音声集音部１０２における音量レベルに応じて、通信装置２０の映像提示部２０４では、音の伝播範囲内のエフェクト４０１の波紋の透明度が１００にされる。
【００５４】
ユーザａ１０９側の音声提示部１０２での音量レベルが小さければ、エフェクト４０１はあまり広がらずエフェクト４０１を形成する波の数は少なくなる（図８参照）。ユーザａ１０９側の音声提示部１０２での音量レベルが大きければ、エフェクト４０１は大きく広がりエフェクト４０１を形成する波の数が多くなる（図９参照）。
【００５５】
以上説明したように、本実施形態によれば、予め受話側の通信装置１０が音の空間伝播近似二次関数を求めておき、通信時、受話側の通信装置１０が空間伝播近似二次関数を用いて送話側の通信装置２０からの音声の伝播状態を求め、それをエフェクトとして、受話側の通信装置１０の映像に重畳して送話側の通信装置２０に送るので、通信装置２０のユーザｂ１１０は、自分の発した音声が、通信装置１０のユーザａ１０９の周囲の空間にどのように提示されているかを視覚的に把握することができる。
【００５６】
なお、本実施形態では、空間内の複数箇所に設置したマイク入力部１０７により測定した音量レベルから得られた空間伝播二次近似関数を算出することにより、空間内での実際の音声の伝播状態を推定可能である。しかし、本発明は、空間伝播関数を二次関数として近似する構成に限定されるものではない。音場測定部１０６のマイク入力部１０７の数を増やすことによって、音の空間伝播関数算出時に、高次数の関数を算出することが可能となる。複雑な音の伝播を表現できる高次数の関数によって、より精度の高い音の伝播の推定が可能となる。空間内の音声の伝播が音声提示部１０２で再生される音量から単純に推定できないような複雑な伝播状態を示すような場合にも、必要に応じて高次数の伝播モデルを利用することにより実際の伝播状態を高い精度で把握することができる。
【００５７】
また、本実施形態では、映像上の音声の伝播状態を複数の曲線からなるエフェクト４０１として重畳する例を示したが、本発明はこれに限定されるものではない。受話側の音声の伝播状態を送話側にフィードバックするものであれば、どのような手段によってもよい。例えば、音声の伝播状態を、色の変化など他の態様のエフェクトとして映像上にマッピングし、フィードバックすることとしてもよい。また、音声の伝播状態をフィードバックする手段は映像によるものに限定されるものでもない。
【００５８】
また、本実施形態は、双方向の映像および音声を送受信する通信システムを例示したが、本発明はこれに限定されるものではない。少なくとも音声を送受信するものであれば、必ずしも映像の送受信は必要とされない。音声通信の場合、映像以外の手段により音声の伝播状態をフィードバックすればよく、例えば、音声の伝播状態のみを表示可能な簡易な表示装置があればよい。
【００５９】
また、本実施形態では、提示音声集音部１０５は、音声提示部１０２で再生された音声の音量レベルを測定することとしたが、本発明はこれに限定されるものではない。提示音声集音部１０５は音声提示部１０２のスピーカ（不図示）への入力信号のレベルを音量レベルとして測定することとし、伝播モデルの算出および実際の伝播状態の算出においてその入力信号レベルを用いることとしてもよい。
【００６０】
次に、本発明の他の実施形態について説明する。
【００６１】
図１０は、他の実施形態による通信装置の構成を示すブロック図である。
【００６２】
図１０を参照すると、本実施形態の通信装置６０は、集音部１０１、音声提示部１０２、撮像部１０３、映像提示部１０４、提示音声集音部１０５、音場測定部１０６、エフェクト生成部１０８、および波形一致判定部６０１を有している。
【００６３】
図１０には、ユーザａ１０９の使用する通信装置のみが示されているが、これと通信するユーザｂ１１０の使用する通信装置も同様の構成である。不図示であるが、ユーザｂ１１０の使用する通信装置７０は、通信装置６０の各部に対応する、集音部２０１、音声提示部２０２、撮像部２０３、映像提示部２０４、提示音声集音部２０５、音場測定部２０６、エフェクト生成部２０８、および波形一致判定部７０１を有しているものとする。
【００６４】
図１０における集音部１０１、音声提示部１０２、撮像部１０３、映像提示部１０４、提示音声集音部１０５、音場測定部１０６は図３に示したものと同じものである。
【００６５】
波形一致判定部６０１は、送話側波形と受話側波形が一致するか否かの判定を行う。
【００６６】
ユーザｂ１１０が発話すると、その音声が通信装置７０の集音部２０１で集音される。このときの集音部２０１での音量レベルを時系列で取得した波形を送話側波形１１０１とする。なお、送話側波形１１０１は、ユーザｂ１１０の使用する通信装置７０で測定された波形であるが、この波形をユーザａ１０９の使用する通信装置６０に通知することとすればよい。また、通信装置１０側で音声提示部１０２にて再生する音声データから送話側波形１１０１を求めることとしてもよい。
【００６７】
一方、通信装置６０における提示音声集音部１０５での音量レベルを時系列で取得した波形を受話側波形１１０２とする。
【００６８】
送話側波形１１０１は、ユーザｂ１１０が発話し、集音部２０１で音量レベルが変化したときに取得が開始され、集音部２０１で１秒間の無音時間帯が計測された時点で取得が終了する。その間の時間が入力時間（Ｔ）とされる。
【００６９】
受話側波形１１０２は、ユーザａ１０９側の通信装置６０の音声提示部１０２で音声が再生されるとき、取得が開始され、ユーザｂ１１０側の通信装置７０の集音部２０１で測定された入力時間（Ｔ）が経過すると、取得が終了する。
【００７０】
提示音声集音部１０５での集音には、音声提示部１０２での再生に対して遅延があり、入力時間（Ｔ）で波形の取得を終了することで、必要な音声波形を逃すことが考えられるが、ユーザｂ１１０側の集音部２０１の開始から終了までの時間には、１秒間の無音時間帯が含まれているため、ユーザｂ１１０の発話時の音声波形を逃すことはない。
【００７１】
波形一致判定部６０１は、切り出された送話側波形１１０１と受話側波形１１０２の一致を判定するため、一定の誤差範囲（ここでは３ｄＢ）で両波形の一致処理を行う。この一致処理では、２つの波形が一定誤差範囲内にあれば一致と判定する。一致していないと判定されれば、提示音声集音部１０５に入力された音は音声提示部１０２からの再生音以外の音であり、ユーザｂ１１０側の集音部２０１へ入力された音声ではないとみなされる。一方、２つの波形が一致していると判定されれば、音場測定部１０６のマイク入力部１０７に入力された音声であるとみなされる。
【００７２】
この判定結果は、波形一致判定部６０１からエフェクト生成部１０８に通知される。エフェクト生成部１０８は、波形が一致しないと通知された場合、エフェクト４０１の透明度を０に設定する。
【００７３】
図１１は、波形一致判定部による波形一致判定処理を示すフローチャートである。図１１を参照すると、ユーザｂ１１０が通信装置７０の集音部２０１に音声を入力すると（ステップＥ１０１）、通信装置７０の集音部２０１にて集音が開始される（ステップＥ１０２）。ここで集音される波形が送話側波形１１０１となる。
【００７４】
その音声は通信装置７０から通信装置６０に送られる。そして、通信装置６０の音声提示部１０２にて音声が再生され、ユーザａ１０９に提示される（ステップＥ１０３）。音声提示部１０２で再生された音声は、提示音声集音部１０５にて集音される（ステップＥ１０４）。そこで、波形一致判定部６０１は、送話側波形と受話側波形の一致判定を開始する（ステップＥ１０５）。
【００７５】
通信装置７０の集音部２０１にて１秒間の無音状態が検出されると、その時点で入力時間（Ｔ）が算出される（ステップＥ１０６）。そして、一致判定の開始から時間Ｔが経過すると、通信装置６０の波形一致判定部６０１による一致判定が終了する（ステップＥ１０７）。
【００７６】
次に、通信装置６０の波形一致判定部６０１は、送話側波形と受話側波形の一致処理の結果、それらが一致しているか否か判定する（ステップＥ１０８）。送話側波形と受話側波形が一致していれば、そのまま処理が繰り返される。また、送話側波形と受話側波形が類似していなければ、エフェクト生成部１０８は、エフェクト４０１の透明度を０に設定する（ステップＥ１０９）。
【００７７】
図１２は、送話側波形と受話側波形の関係を示す図である。図１２を参照すると、送話側波形１１０１と受話側波形１１０２が示されている。送話側波形と受話側波形の間にはｔ（ｍｓ）の遅延があるが、送話側波形の（ａ）の部分と受話側波形の（ｂ）の部分とは類似している。波形一致判定部６０１は、この部分を一致すると判定し、エフェクト生成部１０８は、この部分にてエフェクト４０１を提示する。一方、受話側波形の（ｃ）の部分や（ｄ）の部分に現れている波形は、送話側波形１１０１にはない。波形一致判定部６０１は、この部分で一致しないと判定し、エフェクト生成部１０８はこの部分のエフェクト４０１の透明度を０にし、エフェクト４０１を透明にする。
【００７８】
以上説明したように本実施形態によれば、受話側の通信装置１０は、送話側波形と受話側波形との一致を判定し、それらが一致したときに不透明なエフェクト４０１を重畳するので、受話側の通信装置１０の周囲に音声提示部１０２以外に大きな騒音が発生する場合にも、騒音の影響を除去し、送話側の通信装置１０から送った音声の伝播状態を送話側の通信装置１０のユーザｂ１１０に把握させることができる。
【００７９】
なお、上述した各実施形態における通信装置は、ソフトウェアプログラムおよびそれを実行するコンピュータにより実現することができる。また、そのソフトウェアプログラムは記録媒体に記録することができ、あるいはネットワークを通じて提供することもできる。
【図面の簡単な説明】
【００８０】
【図１】本実施形態による通信システムの概略構成を示すブロック図である。
【図２】本実施形態による通信システムの各装置の構成および各部の配置を示す図である。
【図３】本実施形態による通信装置の構成を示すブロック図である。
【図４】本実施形態による通信装置の空間伝播二次近似関数算出処理を示すフローチャートである。
【図５】本実施形態による通信装置のエフェクト重畳処理を示すフローチャートである。
【図６】受話側の通信装置における音場測定部の平面の座標軸と、送話側の通信装置の映像提示部に提示される映像の座標軸との対応の一例を示す図である。
【図７】受話側の通信装置における音場測定部の平面の座標軸と対応付けられた、送話側の通信装置の映像提示部にて提示される映像の一例を示す図である。
【図８】映像提示部にてユーザに提示されるエフェクトの重畳された映像の、音量が小さいときの一例を示す図である。
【図９】映像提示部にてユーザに提示されるエフェクトの重畳された映像の、音量が大きいときの一例を示す図である。
【図１０】他の実施形態による通信装置の構成を示すブロック図である。
【図１１】波形一致判定部による波形一致判定処理を示すフローチャートである。
【図１２】送話側波形と受話側波形の関係を示す図である。
【符号の説明】
【００８１】
１０、６０ 通信装置
１０１ 集音部
１０２ 音声提示部
１０３ 撮像部
１０４ 映像提示部
１０５ 提示音声集音部
１０６ 音場測定部
１０７ マイク入力部
１０８ エフェクト生成部
１０９ ユーザａ
１１０ ユーザｂ
２０、７０ 通信装置
２０１ 集音部
２０２ 音声提示部
２０３ 撮像部
２０４ 映像提示部
２０５ 提示音声集音部
２０６ 音場測定部
２０７ マイク入力部
２０８ エフェクト生成部２０８
３０ 通信網
４０１ エフェクト
５０１ 領域ａ
５０２ 領域ｂ
５０３ 領域ｃ
５０４ 領域ｄ
５０５ 領域ｅ
６１ 波形一致判定部
１１０１ 送話側波形
１１０２ 受話側波形
Ａ１０１〜Ａ１０５、Ｂ１０１〜Ｂ１０４、Ｃ１０１〜Ｃ１０３、Ｄ１０１〜Ｄ１０４１、Ｅ１０１〜Ｅ１０９ ステップ
【技術分野】
【０００１】
本発明は、遠隔の通信装置において、相手側の空間での音伝播の様子を可視化する方法に関する。
【背景技術】
【０００２】
音声を含む通信において音量は重要であり、ユーザが音量を容易に把握することができるように可視化する手法が用いられることがある。例えば、映像音声通信装置において、自分側の装置に入力する音量を可視化する手法として、ピークメータを用いる手法がある。
【０００３】
しかし、遠隔の相手側の音声提示部から再生される音量を可視化する手法はなかった。そのため、従来の映像音声通信装置では、遠隔の相手側の音声提示部から再生される音量が未知であるために、コミュニケーションの成立が阻害されることがあった（非特許文献１参照）。
【非特許文献１】Ｆｉｓｈ, Ｒ． Ｓ．, Ｋｒａｕｔ, Ｒ． Ｅ．, ａｎｄ Ｃｈａｌｆｏｎｅｔｅ, Ｂ． Ｌ．, ： Ｔｈｅ Ｖｉｄｅｏ Ｗｉｎｄｏｗ Ｓｙｓｔｅｍ ｉｎ Ｉｎｆｏｒｍａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ, Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ１９９０ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｓｕｐｐｏｒｔｅｄ Ｃｏｏｐｅｒａｔｉｖｅ Ｗｏｒｋ（ＣＳＣＷ９０）, ＡＣＭ, ｐｐ．１−１１（１９９０）．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の手法では、自分の声が相手側の装置でどの程度の音量で再生され、相手にどの程度の音量で伝わっているのかわからず、自分が望んでいる音量、相手が望んでいる音量で相手と会話をすることが難しい。
【０００５】
本発明の目的は、相手側への音声がどの程度の音量となっているのかを把握することのできる通信装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の通信装置は、少なくとも音声を相互に送受信して通信を行う通信装置であって、相手側装置から受信した音声を再生したときの音量レベルを測定する提示音声集音部と、音声をユーザに提示する空間内での音声の伝播モデルを予め求めておき、前記相手側装置からの音声が再生されたとき、前記提示音声集音部で測定された音量レベルと前記伝播モデルとから、前記相手側装置からの前記音声の前記空間内での伝播状態を算出し、該伝播状態の情報を前記相手側装置に送信する伝播状態情報生成部とを有している。
【０００７】
本発明によれば、受話側の通信装置が予め音の伝播モデルを求めておき、通信時、その伝播モデルを用いて送話側の通信装置からの音声の伝播状態を求め、それを送話側の通信装置に送るので、送話側の通信装置のユーザは、自分の発した音声が、受話側の通信装置のユーザの周囲の空間にどのように提示されているかを把握することができる。
【０００８】
また、音声に加えて前記空間内の映像が相互に送受信されており、前記伝播状態情報生成部は、前記伝播状態の情報を前記空間内の映像にエフェクトとして付加して前記相手側装置に送信することとしてもよい。
【０００９】
これによれば、受話側の通信装置が送話側の通信装置２０からの音声の伝播状態をエフェクトとして映像に付加して送話側の通信装置に送るので、送話側の通信装置のユーザは、自分の発した音声が、受話側の通信装置のユーザの周囲の空間にどのように提示されているかを視覚的に把握することができる。
【００１０】
また、所定のテスト音が発生されたときの、前記空間内の複数箇所の音量レベルを測定する音場測定部をさらに有し、前記伝播状態情報生成部は、前記音場測定部で測定された複数の音量レベルを用いて前記伝播モデルを算出することとしてもよい。
【００１１】
これによれば、音場測定部の複数箇所の音量レベルにより伝播モデルを算出することができ、実際の音声の伝播状態の推定が可能である。
【００１２】
また、前記伝播モデルは、前記提示音声集音部で測定される音量レベルと前記空間内の任意点の音量レベルとの関係を示すｎ次近似関数であり、前記音場測定部は、前記ｎ次近似関数の次数に応じた数の箇所の音量レベルを測定することとしてもよい。
【００１３】
これによれば、空間内にて複雑な伝播状態を示すような場合にも、必要に応じて高次数の伝播モデルを利用することにより実際の伝播状態を高い精度で把握することができる。
【００１４】
また、前記相手側装置から受信した音声について、該相手側装置での波形と前記提示音声集音部での波形が一致するか否かを判定する波形一致判定部をさらに有し、前記伝播状態情報生成部は、前記波形一致判定部にて一致と判定された期間について、前記伝播状態の情報を前記相手側装置に送信することとしてもよい。
【００１５】
これによれば、受話側の通信装置は、送話側波形と受話側波形との一致を判定し、それらが一致したときに伝播状態の情報を送信するので、受話側の通信装置の周囲に大きな騒音が発生する場合にも、騒音の影響を除去し、送話側の通信装置から送った音声の伝播状態を送話側の通信装置のユーザに把握させることができる。
【発明の効果】
【００１６】
本発明によれば、受話側の通信装置が予め音の伝播モデルを求めておき、通信時、その伝播モデルを用いて送話側の通信装置からの音声の伝播状態を求め、それを送話側の通信装置に送るので、送話側の通信装置のユーザは、自分の発した音声が、受話側の通信装置のユーザの周囲の空間にどのように提示されているかを把握することができる。
【発明を実施するための最良の形態】
【００１７】
本発明を実施するための形態について図面を参照して詳細に説明する。本実施形態では、双方向に映像および音声を送受信する通信システムを例示する。本実施形態の通信システムは、送話者から受話者に音声が送られるとき、受話者側での音量の情報を、送話者側に提示される受話者側の映像にエフェクトとして付加することにより、送話者に提示するものである。エフェクトとは、映像に対して付加される映像効果であり、例えば、映像に効果画像を重ね合わせて表示する（重畳）ものである。
【００１８】
図１は、本実施形態による通信システムの概略構成を示すブロック図である。図１を参照すると、本実施形態の通信システムは、通信装置１０と通信装置２０が通信網３０を介して相互に接続されている。ここでは２つの通信装置を有する構成を例示するが、本発明はこの構成に限定されるものではなく、通信装置が複数であればよい。
【００１９】
図２は、本実施形態による通信システムの各装置の構成および各部の配置を示す図である。図３は、本実施形態による通信装置の構成を示すブロック図である。通信装置１０はユーザａ１０９に使用され、通信装置２０はユーザｂ１１０に使用されるものとする。また、ここではユーザａ１０９とユーザｂ１１０の間の通信を想定する。
【００２０】
図１および図２を参照すると、通信装置１０、２０は双方向の通信を可能にするために、同じ構成を有している。
【００２１】
通信装置１０は、集音部１０１、音声提示部１０２、撮像部１０３、映像提示部１０４、提示音声集音部１０５、音場測定部１０６、およびエフェクト生成部１０８を有している。音場測定部１０６には、音声提示部１０２および映像提示部１０４の前に配置された複数のマイク入力部１０７が含まれている。
【００２２】
同様に、通信装置２０は、集音部２０１、音声提示部２０２、撮像部２０３、映像提示部２０４、提示音声集音部２０５、音場測定部２０６、およびエフェクト生成部２０８を有している。音場測定部２０６には複数のマイク入力部２０７が含まれている。集音部２０１、音声提示部２０２、撮像部２０３、映像提示部２０４、提示音声集音部２０５、音場測定部２０６、エフェクト生成部２０８の各々は、通信装置１０における集音部１０１、音声提示部１０２、撮像部１０３、映像提示部１０４、提示音声集音部１０５、音場測定部１０６、エフェクト生成部１０８と同じものである。ここでは、通信装置１０について説明する。
【００２３】
集音部１０１は、ユーザａ１０９の発話を集音し、音声を相手側の通信装置２０に送る。
【００２４】
撮像部１０３は、ユーザａ１０９の画像を撮影し、画像をエフェクト生成部１０８に送る。
【００２５】
音声提示部１０２は、相手側の通信装置２０から受信した音声を再生し、ユーザａ１０９に提示する。
【００２６】
映像提示部１０４は、相手側の通信装置２０からの映像を再生し、ユーザａ１０９に提示する。
【００２７】
提示音声集音部１０５は、音声提示部１０２の前に設置されており、音声提示部１０２による再生音の音量レベルを測定し、その音量レベルをエフェクト生成部１０８に通知する。
【００２８】
音場測定部１０６は、撮像部１０３の画角内に平面的に配置した複数（本実施形態では１０個）のマイク入力部１０７より構成されており、音声提示部１０２からの再生音の各マイク入力部１０７での音量レベルを測定し、その音量レベルをエフェクト生成部１０８に通知する。
【００２９】
エフェクト生成部１０８は、本装置が通信に使用される前に、予め、音声提示部１０２から発せられる音の伝播状態を算出するための伝播モデルとなる空間伝播二次近似関数を算出しておく。空間伝播二次近似関数は、音声提示部１０２から所定のテスト音を発生させ、提示音声集音部１０５で得られる音量レベルと、音場測定部１０６で得られる音量レベルとに基づいて算出される。
【００３０】
また、エフェクト生成部１０８は、本装置が通信に使用されるとき、音声提示部１０２で再生され、音声提示集音部１０５で測定される、相手側の通信装置２０からの音声の音量レベルを、予め求めておいた空間伝播二次近似関数に代入し、空間の任意点での音量レベルを算出する。そして、エフェクト生成部１０８は、得られた空間内の音量レベルの情報をエフェクトとして、撮像部１０３で撮像された空間の映像に重畳して相手側の通信装置に送る。
【００３１】
なお、撮像部１０３の設置位置および撮影方向は音場測定部１０６に対して固定されており、撮像部１０３による映像と音場測定部１０６の平面座標との対応関係は予め得られているものとしてもよい。また、撮像部１０３で撮像される映像と音場測定部１０６のマイク入力部１０７の配置などから、撮像された映像と音場測定部１０６の平面座標との対応関係を求めることとしてもよい。また、撮像部１０３の設置位置および撮影方向から、撮像された映像と音場測定部１０６の平面座標との対応関係を求めることとしてもよい。
【００３２】
次に、空間伝播二次近似関数を算出する処理について説明する。
【００３３】
図４は、本実施形態による通信装置の空間伝播二次近似関数算出処理を示すフローチャートである。ここでは音量の異なる複数のテスト音を用いるものとし、各テスト音を示す番号をｍとする。
【００３４】
空間伝播二次近似関数は、通信装置が通信に用いられる前に算出される。図４を参照すると、まず、本実施形態の通信装置は、音声提示部１０２より所定のテスト音を提示する（ステップＡ１０１）。その状態で、通信装置は、提示音声集音部１０５にてその音声を集音して音量レベルを測定するとともに（ステップＡ１０２）、音場測定部１０６の１０個のマイク入力部１０７により、マイクの配置された位置（ｘ，ｙ）の音量レベル（Ｖ）を測定する（ステップＡ１０３）。
【００３５】
ここで用いるテスト音は、男性の発声時の平均基本周波数１３０Ｈｚ、あるいは女性の発声時の平均基本周波数２４５Ｈｚのどちらかの音声であることが好ましい。また、このテスト音は、提示音声集音部１０５で測定される音量レベル（Ｗｍ）が人の発声時の主な音量帯である２０、３０、４０、５０、６０、７０、８０ｄＢのいずれかであることが好ましい。
【００３６】
提示音声集音部１０５で測定されるテスト音（Ｗｍ）と、１０個のマイク入力部１０７の座標位置（ｘ，ｙ）および音量レベル（Ｖ）の測定値とを式（１）に代入し、各係数（ａ，ｂ，ｃ）を求める（ステップＡ１０４）。音量（Ｖ）には、複数のテスト音により各周波数（１３０Ｈｚ、２４５Ｈｚ）に対して得られた音量の平均値を用いれば良い。
【００３７】
【数１】
次に、通信装置は、得られた各係数に基づき、提示音声集音部１０５での音量レベルがＷであるときの空間内の任意点（ｘ，ｙ）での音の伝播状態を近似する二次関数を式（２）として求める（ステップＡ１０５）。音の伝播状態は、音がどの領域に有効に到達するかを示すものである。例えば、平常時のノイズがある環境において、有意な音声が人間の聴覚により認識可能な程度で到達するか否かを基準とすることとしてもよい。
【００３８】
【数２】
なお、ここで通信装置１０（ユーザａ１０９側）における空間伝播二次近似関数の算出には通信装置２０（ユーザｂ１１０）における集音部２０１での入力の音量レベルでなく、通信装置１０の提示音声集音部１０５における音量レベルを用いている。これは、通信装置の使用に際し、通信装置２０における集音部２０１のゲインなどのセッティングや、通信装置１０における音声提示部１０２のボリュームなどのセッティングがユーザにより自由に変更される可能性があり、セッティングが変更された場合にも空間伝播二次近似関数が影響を受けないようにしておくためである。
【００３９】
また、装置利用前に、音場測定部１０６の各マイク入力部１０７により装置を設置する環境の定常ノイズレベル（Ｖａｖｇ）を測定しておくこととしてもよい。この定常ノイズレベルの値は、提示音声集音部１０２の音量レベルからユーザｂ１１０の発話の有無を判定するのに用いることができる。
【００４０】
マイク入力部１０７で測定される音量レベル（Ｖ）が定常ノイズレベル（Ｖａｖｇ）より大きいとき、そのマイク入力部１０７で測定される音声が音声提示部１０２からの再生音であると考えられる。例えば、再生音が検出されていることを、エフェクト４０１を映像に重畳させる条件としてもよい。
【００４１】
また、本実施形態では、本装置を通信に利用するとき、音場測定部１０６でリアルタイムに測定される音量レベルからではなく、予め求めておいた空間二次近時関数と提示音声集音部１０５で得られたリアルタイムの音量とから任意点（ｘ，ｙ）での音量を求めている。そのため、音場測定部１０６は、空間二次近似関数を算出するときに必要とされるだけで、その後は必ずしも必要ではない。音場測定部１０６のマイク入力部１０７は、ユーザｂ１１０の発話以外の音声を集音する可能性もあるので、例えば、空間二次近似関数を求める処理が終了したら、音場測定部１０６を撤去することとしてもよい。
【００４２】
次に、エフェクト生成部１０８によるエフェクト重畳処理について説明する。
【００４３】
図５は、本実施形態による通信装置のエフェクト重畳処理を示すフローチャートである。図５を参照すると、通信装置１０と通信装置２０の通信時、まず、通信装置２０の集音部２０１にユーザｂ１１０の音声が入力されると（ステップＢ１０１）、通信装置１０の音声提示部１０２はその音声を再生し、ユーザａ１０９に提示する（ステップＢ１０２）。音声提示部１０２により再生された音声の音量レベルを提示音声集音部１０５が測定し（ステップＢ１０３）、エフェクト生成部１０８が式（２）の空間伝播二次近似関数を用いて任意点の音量レベル（Ｖ）を算出する（ステップＢ１０４）。
【００４４】
一方、それと並行して、通信装置１０の撮像部１０３では映像が取得される（ステップＣ１０１）。そして、エフェクト生成部１０８では、取得された映像と音場測定部１０６の平面座標との対応関係を求め、座標系を一致させる（ステップＣ１０２）。さらに、エフェクト生成部１０８は、式（２）においてＶ＝Ｖａｖｇ（定常ノイズレベル）、Ｗ＝Ｗ＋５（Ｗの初期値は０であるとする）を満たす領域を求め、その領域の境界を識別するエフェクト４０１の１つの波を作成する（ステップＣ１０３）。エフェクト４０１は、所定の座標の領域を他の領域と識別可能にする画像効果をいい、ここでは一例として曲線で示された波により識別するものとする。
【００４５】
次に、任意点での音量レベル（Ｖ）が定常ノイズレベル（Ｖａｖｇ）より大きいか否か判定し、大きくなければ透明度を０としエフェクト４０１を映像に重畳し（ステップＤ１０２）、大きければ透明度を１００としてエフェクト４０１を映像に重畳する（ステップＤ１０３）。ここでは透明度０は透明であることを示し、透明度１００は不透明であることを示すものとする。したがって、音声レベルが定常ノイズレベルより大きければ、音声がそこまで伝播するものとして不透明の曲線のエフェクト４０１を提示する。一方、音声レベルが定常ノイズレベルより大きくなければ、音声がそこまで伝播しないものとしてエフェクト４０１の曲線を透明にする。エフェクト４０１の重畳された映像は通信装置２０に送られ、通信装置２０の映像提示部２０３にて再生され、ユーザｂ１１０に提示される（ステップＤ１０４）。
【００４６】
図６は、本実施形態における、通信装置１０における音場測定部１０６の平面の座標軸と、通信装置２０の映像提示部２０４に提示される映像の座標軸との対応の一例を示す図である。図７は、通信装置１０における音場測定部１０６の平面の座標軸と対応付けられた、通信装置２０の映像提示部２０４にて提示される映像の一例を示す図である。
【００４７】
図６および図７を参照すると、撮像部１０３の設置位置および撮像方向が固定されており、音場測定部１０６の各マイク入力部１０７が平面状に設置されている。撮像部１０３で撮像される映像から、画像認識により、平面状に設置されたマイク入力部１０７のうち、座標が既知な３つのマイク入力部１０７の位置を求め、撮像された映像の座標軸と音場測定部１０６の平面上の座標との対応付けを求める。これらの処理は、装置を通信に利用する前に予め行っておけばよい。これにより、通信装置２０の映像提示部２０４にてユーザｂ１１０に提示される映像の座標と通信装置１０の音場測定部１０６の座標を一致させることができる。エフェクト４０１を良好に重畳させることができる。
【００４８】
図８は、映像提示部にてユーザに提示されるエフェクト４０１の重畳された映像の、音量が小さいときの一例を示す図である。図９は、映像提示部にてユーザに提示されるエフェクトの重畳された映像の、音量が大きいときの一例を示す図である。
【００４９】
空間伝播二次近似関数を求めるときには、音声提示部１０２で複数のテスト音を発生させる。ここでは、テスト音は、提示音声集音部１０５で集音する音量レベルが０ｄＢから、５ｄＢ間隔の音量レベル（Ｗｍ）となるような５段階の音量とする。
【００５０】
そして、エフェクト生成部１０８は、各テスト音について、各マイク入力部１０７で得られる音量から、音量レベル（Ｖ）が定常ノイズレベル（Ｖａｖｇ）を超えると推定される領域を求め、その領域に対応する映像提示部２０４で提示される映像領域を求める。
これを５段階の音量について行うことにより５つの領域（領域ａ５０１、領域ｂ５０２、領域ｃ５０３、領域ｄ５０４、領域ｅ５０５が得られる。
【００５１】
各音量レベルについて得られた領域は、その音量レベルの音声が再生されたときの音の伝播範囲とみなすことができる。そして、各領域の境界にエフェクト４０１の曲線を描くことにより、エフェクト４０１は波紋の形状になり、通信装置２０の映像提示部
２０４では、通信装置１０の音声提示部１０２から波紋が発生しているように見える。
【００５２】
これらの曲線を含むエフェクト４０１は、常に映像とともに映像提示部に２０４に提示可能なように、撮像部１０３で撮影された映像に予め重畳されている。そして、初期状態では、このエフェクト４０１の透明度設定は０にされており、エフェクト４０１は透明に描画されている。
【００５３】
通信装置２０にてユーザｂ１１０が発話すると、通信装置１０の提示音声集音部１０２における音量レベルに応じて、通信装置２０の映像提示部２０４では、音の伝播範囲内のエフェクト４０１の波紋の透明度が１００にされる。
【００５４】
ユーザａ１０９側の音声提示部１０２での音量レベルが小さければ、エフェクト４０１はあまり広がらずエフェクト４０１を形成する波の数は少なくなる（図８参照）。ユーザａ１０９側の音声提示部１０２での音量レベルが大きければ、エフェクト４０１は大きく広がりエフェクト４０１を形成する波の数が多くなる（図９参照）。
【００５５】
以上説明したように、本実施形態によれば、予め受話側の通信装置１０が音の空間伝播近似二次関数を求めておき、通信時、受話側の通信装置１０が空間伝播近似二次関数を用いて送話側の通信装置２０からの音声の伝播状態を求め、それをエフェクトとして、受話側の通信装置１０の映像に重畳して送話側の通信装置２０に送るので、通信装置２０のユーザｂ１１０は、自分の発した音声が、通信装置１０のユーザａ１０９の周囲の空間にどのように提示されているかを視覚的に把握することができる。
【００５６】
なお、本実施形態では、空間内の複数箇所に設置したマイク入力部１０７により測定した音量レベルから得られた空間伝播二次近似関数を算出することにより、空間内での実際の音声の伝播状態を推定可能である。しかし、本発明は、空間伝播関数を二次関数として近似する構成に限定されるものではない。音場測定部１０６のマイク入力部１０７の数を増やすことによって、音の空間伝播関数算出時に、高次数の関数を算出することが可能となる。複雑な音の伝播を表現できる高次数の関数によって、より精度の高い音の伝播の推定が可能となる。空間内の音声の伝播が音声提示部１０２で再生される音量から単純に推定できないような複雑な伝播状態を示すような場合にも、必要に応じて高次数の伝播モデルを利用することにより実際の伝播状態を高い精度で把握することができる。
【００５７】
また、本実施形態では、映像上の音声の伝播状態を複数の曲線からなるエフェクト４０１として重畳する例を示したが、本発明はこれに限定されるものではない。受話側の音声の伝播状態を送話側にフィードバックするものであれば、どのような手段によってもよい。例えば、音声の伝播状態を、色の変化など他の態様のエフェクトとして映像上にマッピングし、フィードバックすることとしてもよい。また、音声の伝播状態をフィードバックする手段は映像によるものに限定されるものでもない。
【００５８】
また、本実施形態は、双方向の映像および音声を送受信する通信システムを例示したが、本発明はこれに限定されるものではない。少なくとも音声を送受信するものであれば、必ずしも映像の送受信は必要とされない。音声通信の場合、映像以外の手段により音声の伝播状態をフィードバックすればよく、例えば、音声の伝播状態のみを表示可能な簡易な表示装置があればよい。
【００５９】
また、本実施形態では、提示音声集音部１０５は、音声提示部１０２で再生された音声の音量レベルを測定することとしたが、本発明はこれに限定されるものではない。提示音声集音部１０５は音声提示部１０２のスピーカ（不図示）への入力信号のレベルを音量レベルとして測定することとし、伝播モデルの算出および実際の伝播状態の算出においてその入力信号レベルを用いることとしてもよい。
【００６０】
次に、本発明の他の実施形態について説明する。
【００６１】
図１０は、他の実施形態による通信装置の構成を示すブロック図である。
【００６２】
図１０を参照すると、本実施形態の通信装置６０は、集音部１０１、音声提示部１０２、撮像部１０３、映像提示部１０４、提示音声集音部１０５、音場測定部１０６、エフェクト生成部１０８、および波形一致判定部６０１を有している。
【００６３】
図１０には、ユーザａ１０９の使用する通信装置のみが示されているが、これと通信するユーザｂ１１０の使用する通信装置も同様の構成である。不図示であるが、ユーザｂ１１０の使用する通信装置７０は、通信装置６０の各部に対応する、集音部２０１、音声提示部２０２、撮像部２０３、映像提示部２０４、提示音声集音部２０５、音場測定部２０６、エフェクト生成部２０８、および波形一致判定部７０１を有しているものとする。
【００６４】
図１０における集音部１０１、音声提示部１０２、撮像部１０３、映像提示部１０４、提示音声集音部１０５、音場測定部１０６は図３に示したものと同じものである。
【００６５】
波形一致判定部６０１は、送話側波形と受話側波形が一致するか否かの判定を行う。
【００６６】
ユーザｂ１１０が発話すると、その音声が通信装置７０の集音部２０１で集音される。このときの集音部２０１での音量レベルを時系列で取得した波形を送話側波形１１０１とする。なお、送話側波形１１０１は、ユーザｂ１１０の使用する通信装置７０で測定された波形であるが、この波形をユーザａ１０９の使用する通信装置６０に通知することとすればよい。また、通信装置１０側で音声提示部１０２にて再生する音声データから送話側波形１１０１を求めることとしてもよい。
【００６７】
一方、通信装置６０における提示音声集音部１０５での音量レベルを時系列で取得した波形を受話側波形１１０２とする。
【００６８】
送話側波形１１０１は、ユーザｂ１１０が発話し、集音部２０１で音量レベルが変化したときに取得が開始され、集音部２０１で１秒間の無音時間帯が計測された時点で取得が終了する。その間の時間が入力時間（Ｔ）とされる。
【００６９】
受話側波形１１０２は、ユーザａ１０９側の通信装置６０の音声提示部１０２で音声が再生されるとき、取得が開始され、ユーザｂ１１０側の通信装置７０の集音部２０１で測定された入力時間（Ｔ）が経過すると、取得が終了する。
【００７０】
提示音声集音部１０５での集音には、音声提示部１０２での再生に対して遅延があり、入力時間（Ｔ）で波形の取得を終了することで、必要な音声波形を逃すことが考えられるが、ユーザｂ１１０側の集音部２０１の開始から終了までの時間には、１秒間の無音時間帯が含まれているため、ユーザｂ１１０の発話時の音声波形を逃すことはない。
【００７１】
波形一致判定部６０１は、切り出された送話側波形１１０１と受話側波形１１０２の一致を判定するため、一定の誤差範囲（ここでは３ｄＢ）で両波形の一致処理を行う。この一致処理では、２つの波形が一定誤差範囲内にあれば一致と判定する。一致していないと判定されれば、提示音声集音部１０５に入力された音は音声提示部１０２からの再生音以外の音であり、ユーザｂ１１０側の集音部２０１へ入力された音声ではないとみなされる。一方、２つの波形が一致していると判定されれば、音場測定部１０６のマイク入力部１０７に入力された音声であるとみなされる。
【００７２】
この判定結果は、波形一致判定部６０１からエフェクト生成部１０８に通知される。エフェクト生成部１０８は、波形が一致しないと通知された場合、エフェクト４０１の透明度を０に設定する。
【００７３】
図１１は、波形一致判定部による波形一致判定処理を示すフローチャートである。図１１を参照すると、ユーザｂ１１０が通信装置７０の集音部２０１に音声を入力すると（ステップＥ１０１）、通信装置７０の集音部２０１にて集音が開始される（ステップＥ１０２）。ここで集音される波形が送話側波形１１０１となる。
【００７４】
その音声は通信装置７０から通信装置６０に送られる。そして、通信装置６０の音声提示部１０２にて音声が再生され、ユーザａ１０９に提示される（ステップＥ１０３）。音声提示部１０２で再生された音声は、提示音声集音部１０５にて集音される（ステップＥ１０４）。そこで、波形一致判定部６０１は、送話側波形と受話側波形の一致判定を開始する（ステップＥ１０５）。
【００７５】
通信装置７０の集音部２０１にて１秒間の無音状態が検出されると、その時点で入力時間（Ｔ）が算出される（ステップＥ１０６）。そして、一致判定の開始から時間Ｔが経過すると、通信装置６０の波形一致判定部６０１による一致判定が終了する（ステップＥ１０７）。
【００７６】
次に、通信装置６０の波形一致判定部６０１は、送話側波形と受話側波形の一致処理の結果、それらが一致しているか否か判定する（ステップＥ１０８）。送話側波形と受話側波形が一致していれば、そのまま処理が繰り返される。また、送話側波形と受話側波形が類似していなければ、エフェクト生成部１０８は、エフェクト４０１の透明度を０に設定する（ステップＥ１０９）。
【００７７】
図１２は、送話側波形と受話側波形の関係を示す図である。図１２を参照すると、送話側波形１１０１と受話側波形１１０２が示されている。送話側波形と受話側波形の間にはｔ（ｍｓ）の遅延があるが、送話側波形の（ａ）の部分と受話側波形の（ｂ）の部分とは類似している。波形一致判定部６０１は、この部分を一致すると判定し、エフェクト生成部１０８は、この部分にてエフェクト４０１を提示する。一方、受話側波形の（ｃ）の部分や（ｄ）の部分に現れている波形は、送話側波形１１０１にはない。波形一致判定部６０１は、この部分で一致しないと判定し、エフェクト生成部１０８はこの部分のエフェクト４０１の透明度を０にし、エフェクト４０１を透明にする。
【００７８】
以上説明したように本実施形態によれば、受話側の通信装置１０は、送話側波形と受話側波形との一致を判定し、それらが一致したときに不透明なエフェクト４０１を重畳するので、受話側の通信装置１０の周囲に音声提示部１０２以外に大きな騒音が発生する場合にも、騒音の影響を除去し、送話側の通信装置１０から送った音声の伝播状態を送話側の通信装置１０のユーザｂ１１０に把握させることができる。
【００７９】
なお、上述した各実施形態における通信装置は、ソフトウェアプログラムおよびそれを実行するコンピュータにより実現することができる。また、そのソフトウェアプログラムは記録媒体に記録することができ、あるいはネットワークを通じて提供することもできる。
【図面の簡単な説明】
【００８０】
【図１】本実施形態による通信システムの概略構成を示すブロック図である。
【図２】本実施形態による通信システムの各装置の構成および各部の配置を示す図である。
【図３】本実施形態による通信装置の構成を示すブロック図である。
【図４】本実施形態による通信装置の空間伝播二次近似関数算出処理を示すフローチャートである。
【図５】本実施形態による通信装置のエフェクト重畳処理を示すフローチャートである。
【図６】受話側の通信装置における音場測定部の平面の座標軸と、送話側の通信装置の映像提示部に提示される映像の座標軸との対応の一例を示す図である。
【図７】受話側の通信装置における音場測定部の平面の座標軸と対応付けられた、送話側の通信装置の映像提示部にて提示される映像の一例を示す図である。
【図８】映像提示部にてユーザに提示されるエフェクトの重畳された映像の、音量が小さいときの一例を示す図である。
【図９】映像提示部にてユーザに提示されるエフェクトの重畳された映像の、音量が大きいときの一例を示す図である。
【図１０】他の実施形態による通信装置の構成を示すブロック図である。
【図１１】波形一致判定部による波形一致判定処理を示すフローチャートである。
【図１２】送話側波形と受話側波形の関係を示す図である。
【符号の説明】
【００８１】
１０、６０ 通信装置
１０１ 集音部
１０２ 音声提示部
１０３ 撮像部
１０４ 映像提示部
１０５ 提示音声集音部
１０６ 音場測定部
１０７ マイク入力部
１０８ エフェクト生成部
１０９ ユーザａ
１１０ ユーザｂ
２０、７０ 通信装置
２０１ 集音部
２０２ 音声提示部
２０３ 撮像部
２０４ 映像提示部
２０５ 提示音声集音部
２０６ 音場測定部
２０７ マイク入力部
２０８ エフェクト生成部２０８
３０ 通信網
４０１ エフェクト
５０１ 領域ａ
５０２ 領域ｂ
５０３ 領域ｃ
５０４ 領域ｄ
５０５ 領域ｅ
６１ 波形一致判定部
１１０１ 送話側波形
１１０２ 受話側波形
Ａ１０１〜Ａ１０５、Ｂ１０１〜Ｂ１０４、Ｃ１０１〜Ｃ１０３、Ｄ１０１〜Ｄ１０４１、Ｅ１０１〜Ｅ１０９ ステップ
【特許請求の範囲】
【請求項１】
少なくとも音声を相互に送受信して通信を行う通信装置であって、
相手側装置から受信した音声を再生したときの音量レベルを測定する提示音声集音部と、
音声をユーザに提示する空間内での音声の伝播モデルを予め求めておき、前記相手側装置からの音声が再生されたとき、前記提示音声集音部で測定された音量レベルと前記伝播モデルとから、前記相手側装置からの前記音声の前記空間内での伝播状態を算出し、該伝播状態の情報を前記相手側装置に送信する伝播状態情報生成部とを有する通信装置。
【請求項２】
音声に加えて前記空間内の映像が相互に送受信されており、
前記伝播状態情報生成部は、前記伝播状態の情報を前記空間内の映像にエフェクトとして付加して前記相手側装置に送信する、請求項１記載の通信装置。
【請求項３】
所定のテスト音が発生されたときの、前記空間内の複数箇所の音量レベルを測定する音場測定部をさらに有し、
前記伝播状態情報生成部は、前記音場測定部で測定された複数の音量レベルを用いて前記伝播モデルを算出する、請求項１または２に記載の通信装置。
【請求項４】
前記伝播モデルは、前記提示音声集音部で測定される音量レベルと前記空間内の任意点の音量レベルとの関係を示すｎ次近似関数であり、
前記音場測定部は、前記ｎ次近似関数の次数に応じた数の箇所の音量レベルを測定する、請求項３に記載の通信装置。
【請求項５】
前記相手側装置から受信した音声について、該相手側装置での波形と前記提示音声集音部での波形が一致するか否かを判定する波形一致判定部をさらに有し、
前記伝播状態情報生成部は、前記波形一致判定部にて一致と判定された期間について、前記伝播状態の情報を前記相手側装置に送信する、請求項１〜４のいずれか１項に記載の通信装置。
【請求項６】
通信装置にて少なくとも音声を相互に送受信して通信を行う通信方法であって、
音声をユーザに提示する空間内での音声の伝播モデルを予め求めておくステップと、
相手側装置から受信した音声を再生したときの音量レベルを測定するステップと、
前記相手側装置からの音声が再生されたときに測定された前記音量レベルと前記伝播モデルとから、前記相手側装置からの前記音声の前記空間内での伝播状態を算出し、該伝播状態の情報を前記相手側装置に送信するステップとを有する通信方法。
【請求項７】
音声に加えて前記空間内の映像が相互に送受信されており、
前記伝播状態の情報を前記空間内の映像にエフェクトとして付加して前記相手側装置に送信する、請求項６記載の通信方法。
【請求項８】
所定のテスト音を発声されたときの前記空間内の複数箇所の音量レベルを測定し、
前記空間内の複数箇所で測定された前記音量レベルを用いて前記伝播モデルを算出する、請求項６または７に記載の通信方法。
【請求項９】
前記相手側装置から受信した音声について、該相手側装置での波形と自装置にて測定した波形とが一致するか否かを判定し、一致と判定された期間について、前記伝播状態の情報を前記相手側装置に送信する、請求項６〜８のいずれか１項に記載の通信方法。
【請求項１０】
請求項６〜９のいずれか１項に記載の通信方法における各ステップの動作をコンピュータに実行させるための通信用プログラム。
【請求項１】
少なくとも音声を相互に送受信して通信を行う通信装置であって、
相手側装置から受信した音声を再生したときの音量レベルを測定する提示音声集音部と、
音声をユーザに提示する空間内での音声の伝播モデルを予め求めておき、前記相手側装置からの音声が再生されたとき、前記提示音声集音部で測定された音量レベルと前記伝播モデルとから、前記相手側装置からの前記音声の前記空間内での伝播状態を算出し、該伝播状態の情報を前記相手側装置に送信する伝播状態情報生成部とを有する通信装置。
【請求項２】
音声に加えて前記空間内の映像が相互に送受信されており、
前記伝播状態情報生成部は、前記伝播状態の情報を前記空間内の映像にエフェクトとして付加して前記相手側装置に送信する、請求項１記載の通信装置。
【請求項３】
所定のテスト音が発生されたときの、前記空間内の複数箇所の音量レベルを測定する音場測定部をさらに有し、
前記伝播状態情報生成部は、前記音場測定部で測定された複数の音量レベルを用いて前記伝播モデルを算出する、請求項１または２に記載の通信装置。
【請求項４】
前記伝播モデルは、前記提示音声集音部で測定される音量レベルと前記空間内の任意点の音量レベルとの関係を示すｎ次近似関数であり、
前記音場測定部は、前記ｎ次近似関数の次数に応じた数の箇所の音量レベルを測定する、請求項３に記載の通信装置。
【請求項５】
前記相手側装置から受信した音声について、該相手側装置での波形と前記提示音声集音部での波形が一致するか否かを判定する波形一致判定部をさらに有し、
前記伝播状態情報生成部は、前記波形一致判定部にて一致と判定された期間について、前記伝播状態の情報を前記相手側装置に送信する、請求項１〜４のいずれか１項に記載の通信装置。
【請求項６】
通信装置にて少なくとも音声を相互に送受信して通信を行う通信方法であって、
音声をユーザに提示する空間内での音声の伝播モデルを予め求めておくステップと、
相手側装置から受信した音声を再生したときの音量レベルを測定するステップと、
前記相手側装置からの音声が再生されたときに測定された前記音量レベルと前記伝播モデルとから、前記相手側装置からの前記音声の前記空間内での伝播状態を算出し、該伝播状態の情報を前記相手側装置に送信するステップとを有する通信方法。
【請求項７】
音声に加えて前記空間内の映像が相互に送受信されており、
前記伝播状態の情報を前記空間内の映像にエフェクトとして付加して前記相手側装置に送信する、請求項６記載の通信方法。
【請求項８】
所定のテスト音を発声されたときの前記空間内の複数箇所の音量レベルを測定し、
前記空間内の複数箇所で測定された前記音量レベルを用いて前記伝播モデルを算出する、請求項６または７に記載の通信方法。
【請求項９】
前記相手側装置から受信した音声について、該相手側装置での波形と自装置にて測定した波形とが一致するか否かを判定し、一致と判定された期間について、前記伝播状態の情報を前記相手側装置に送信する、請求項６〜８のいずれか１項に記載の通信方法。
【請求項１０】
請求項６〜９のいずれか１項に記載の通信方法における各ステップの動作をコンピュータに実行させるための通信用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−２３８３４４（Ｐ２００６−２３８３４４Ａ）
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願番号】特願２００５−５３５４０（Ｐ２００５−５３５４０）
【出願日】平成１７年２月２８日（２００５．２．２８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願日】平成１７年２月２８日（２００５．２．２８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]