Notice: Undefined variable: fterm_desc_sub in /mnt/www/biblio_conv.php on line 353
音量監視装置及び音量監視方法
説明

音量監視装置及び音量監視方法

【課題】スピーカとマイクロホンとの位置関係に依存しない音量を取得する。
【解決手段】通信網10を経由して、互いに音声を送受信するコミュニケーション装置11とコミュニケーション装置12とを含む音響システム1に用いられる音量監視装置100であって、収音信号m(t)に含まれ、スピーカ111から出音された音声のうち直接波142の音量である直接波音量情報132を算出する直接波音量算出部102と、スピーカ111とマイクロホン112との距離を示す距離情報131を算出する距離算出部101と、距離情報131と直接波音量情報132とを用いて、スピーカ111から予め定められた距離における、当該スピーカ111により出音される音声の音量であるスピーカ位置音量情報133を算出するスピーカ位置音量算出部103と、スピーカ位置音量情報133を、コミュニケーション装置12に送信する送信部104とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音量監視装置及び音量監視方法に関し、特に、通信網を経由して、互いに音声を送受信する第1の音声通信端末と第2の音声通信端末とを含む音響システムに用いられ、第2の音声通信端末から送信された音声が、第1の音声通信端末で出音される音量を監視する音量監視装置に関する。
【背景技術】
【0002】
音声会議システム及びテレビ会議システムにおいて、一般的に、自地点側では、相手地点側のスピーカ及びマイクロホンの設置条件、及び接続機器の音量設定値などは分からない。これにより、自地点側は、相手地点側でどのような音量で自地点の音声が拡声されているか確認できない。よって、例えば、自地点側のユーザが相手地点側のユーザに質問をした際に、相手地点側のユーザからリアクションがないような場合に、自地点側のユーザは、相手地点側で正しく音声が拡声されている把握できないために、不安になる。このため、自地点側のユーザは、相手地点側のユーザに音声が正しく拡声されているかの確認を行う必要が生じるという問題がある。
【0003】
この問題に対して、特許文献1には、第1地点側が、当該第1地点側で拡声された音声の音量を取得し、取得した音量を第2地点側に通知する技術が開示されている。具体的には、第1地点側は、第2地点側のユーザの音声が第1地点側で拡声された際の、第1地点側に設置されたマイクロホンの収音信号を用いて、第1地点側における音量を取得する。これにより、第2地点側のユーザは、第1地点側で拡声さている音声の音量を知ることができる。
【0004】
しかしながら、第1地点側のマイクロホンの収音信号は、第1地点側のスピーカから拡声された第2地点側のユーザの音声だけでなく、第1地点側のユーザの音声及び第1地点側の背景騒音も混じっている。これにより、特許文献1記載の技術は、第2地点側のユーザの音声の音量のみを正しく取得することが困難であるという問題を有している。
【0005】
この問題を解決する技術として、特許文献2に記載の技術が知られている。特許文献2記載の技術では、第1地点側が、当該第1地点側が備えるエコーキャンセラで生成される疑似エコーを利用して、当該第1地点側で拡声された音声の音量を取得する。
【0006】
ここで、エコーキャンセラで生成される疑似エコーは、第1地点側のマイクロホンの収音信号に含まれる音声のうち、第1地点側に設置されたスピーカから拡声された第2地点側のユーザの音声に相当する。よって、特許文献2記載の技術は、第1地点側のユーザの音声及び第1地点側の背景雑音の影響を除去した第2地点側のユーザの音声の音量のみを取得できる。
【特許文献1】特開2004−48329号公報
【特許文献2】特開2007−267218号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献2記載の技術では、疑似エコーより取得された音量は第1地点側のマイクロホン位置での音量である。つまり、同じ音量の音声が第1地点側のスピーカから拡声された場合でも、第1地点側のスピーカとマイクロホンとの位置関係に応じて、異なる音量が取得されることとなる。例えば、スピーカとマイクロホンとの位置が近い場合には、マイクロホン位置での音量は大きくなり、スピーカとマイクロホンとの位置が遠い場合には、マイクロホン位置での音量は小さくなる。これにより、第2地点側のユーザは、第1地点側で拡声される、定量的な音量を知ることができない。
【0008】
以上のように、特許文献2記載の技術は、スピーカとマイクロホンとの位置関係に応じて、取得される音量が変化するという課題を有している。なお、特許文献1記載の技術も同様の課題を有している。
【0009】
そこで、本発明は、前記従来の課題を解決するものであり、スピーカとマイクロホンとの位置関係に依存しない音量を取得できる音量監視装置及び音量監視方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するために、本発明に係る音量監視装置は、通信網を経由して、互いに音声を送受信する第1の音声通信端末と第2の音声通信端末とを含む音響システムに用いられ、前記第2の音声通信端末から送信された音声が、前記第1の音声通信端末で出音される音量を監視する音量監視装置であって、前記第1の音声通信端末は、前記第2の音声通信端末により、前記通信網を経由して送信されるスピーカ入力信号に基づき、音声を出音する第1のスピーカと、音声を収音することにより収音信号を生成し、当該収音信号を前記第2の音声通信端末に送信する第1のマイクロホンとを備え、前記音量監視装置は、前記収音信号に含まれる、前記第1のマイクロホンの位置における、前記第1のスピーカから出音された音声のうち直接波の音量である直接波音量を算出する直接波音量算出部と、前記第1のスピーカと前記第1のマイクロホンとの距離を算出する距離算出部と、前記距離算出部により算出された前記距離と、前記直接波音量算出部により算出された前記直接波音量とを用いて、前記第1のスピーカから予め定められた距離における、当該第1のスピーカにより出音される音声の音量である第1音量を算出する第1音量算出部と、前記第1音量を、前記通信網を経由して前記第2の音声通信端末に送信する送信部とを備える。
【0011】
この構成によれば、本発明に係る音量監視装置は、第1のスピーカから予め定められた距離における、当該第1のスピーカにより出音される音声の音量を算出できる。よって、本発明に係る音量監視装置は、スピーカとマイクロホンとの位置関係に依存しない、スピーカから拡声される音量を取得できる。これにより、第2の音声通信端末のユーザは、自身の声が第1の音声通信端末において正しく拡声されているか否かを、より正確に把握できる。
【0012】
また、前記第1音量算出部は、前記第1音量として、前記第1のスピーカの位置における、当該第1のスピーカにより出音される音声の音量であるスピーカ位置音量を算出してもよい。
【0013】
この構成によれば、本発明に係る音量監視装置は、第1のスピーカの位置における、当該第1のスピーカにより出音される音声の音量を算出できる。よって、本発明に係る音量監視装置は、スピーカとマイクロホンとの位置関係に依存しない、スピーカから拡声される音量を取得できる。
【0014】
また、前記音量監視装置は、さらに、前記第1のスピーカと前記第1のマイクロホンとの間の音響伝達特性を算出する音響伝達特性算出部を備え、前記直接波音量算出部、及び前記距離算出部のうち少なくとも一方は、前記音響伝達特性を用いて、前記直接波音量、又は前記距離を算出してもよい。
【0015】
この構成によれば、本発明に係る音量監視装置は、従来から用いられているエコーキャンセラで算出される音響伝達特性を用いて、第1のスピーカと第1のマイクロホンとの距離又は直接波音量を算出できる。これにより、第1の音声通信端末に対する機能追加(コスト増加)を抑制しつつ、音量監視装置の機能を実現できる。
【0016】
また、前記距離算出部は、前記第1のスピーカから出音された音声が前記第1のマイクロホンに収音されるまでの時間遅延を、前記音響伝達特性を用いて算出し、当該時間遅延から前記距離を算出し、前記直接波音量算出部は、前記時間遅延と、前記スピーカ入力信号と、前記音響伝達特性とを用いて、前記直接波音量を算出してもよい。
【0017】
また、前記第1音量算出部は、前記距離算出部により算出された前記距離と、前記直接波音量算出部により算出された前記直接波音量とを用いて、前記第1のスピーカにより出音された音声の、前記第1のスピーカから異なる距離離れた複数の位置における音量である複数の距離別音量を、前記第1音量として算出する距離別音量算出部を備えてもよい。
【0018】
この構成によれば、本発明に係る音量監視装置は、第1のスピーカから複数の距離における音量を算出できる。つまり、本発明に係る音量監視装置は、より第1の音声通信端末のユーザに聞こえている音量に近い音量を算出できる。
【0019】
また、前記音量監視装置は、さらに、前記第1のスピーカが設置された空間の残響特性を算出する残響特性算出部を備え、前記第1音量算出部は、さらに、前記残響特性を用いて前記距離別音量算出部により算出された前記複数の距離別音量を調整する残響調整部を備え、前記送信部は、前記第1音量として、前記残響調整部により調整された前記複数の距離別音量を、前記通信網を経由して前記第2の音声通信端末に送信してもよい。
【0020】
この構成によれば、本発明に係る音量監視装置は、残響特性を考慮した音量を算出できるので、より第1の音声通信端末のユーザに聞こえている音量に近い音量を算出できる。
【0021】
また、前記音量監視装置は、さらに、前記第1のスピーカと前記第1のマイクロホンとの間の音響伝達特性を算出する音響伝達特性算出部を備え、前記残響特性算出部は、前記音響伝達特性を用いて前記残響特性を算出してもよい。
【0022】
この構成によれば、本発明に係る音量監視装置は、従来から用いられているエコーキャンセラで算出される音響伝達特性を用いて、残響特性を算出できる。これにより、第1の音声通信端末に対する機能追加(コスト増加)を抑制しつつ、音量監視装置の機能を実現できる。
【0023】
また、前記音量監視装置は、さらに、前記第1の音声通信端末における騒音の音量である騒音レベルを算出する騒音レベル算出部を備え、前記第1算出部は、さらに、前記第1音量が前記騒音レベル以下の場合に、当該第1音量を実質的に無音状態に調整する騒音調整部を備え、前記送信部は、前記騒音調整部により調整された前記第1音量を、前記通信網を経由して前記第2の音声通信端末に送信してもよい。
【0024】
この構成によれば、本発明に係る音量監視装置は、第1の音声通信端末における騒音を考慮した音量を算出できるので、より第1の音声通信端末のユーザに聞こえている音量に近い音量を算出できる。
【0025】
また、前記音量監視装置は、さらに、前記第1音量が予め定められた音量より大きい場合に、前記通信網を経由して、前記第2の音声通信端末に、前記第1の音声通信端末において過大音が拡声されたことを警告する情報を送信する警告部を備えてもよい。
【0026】
この構成によれば、本発明に係る音量監視装置は、第1の音声通信端末において、過大音が拡声された場合には、その旨を第2の音声通信端末のユーザに警告できる。
【0027】
また、前記音量監視装置は、さらに、前記距離別音量算出部により算出された複数の距離別音量を用いて、前記第1スピーカにより出力された音声が予め定められた音量以上となる前記第1のスピーカからの距離を算出し、当該距離を示す拡声領域情報を生成する拡声領域算出部を備え、前記送信部は、さらに、前記拡声領域情報を、前記通信網を経由して、前記第2の音声通信端末に送信してもよい。
【0028】
この構成によれば、本発明に係る音量監視装置は、第1の音声通信端末において、音声が聞こえている範囲を、音声通信端末に通知できる。これにより、第2の音声通信端末のユーザは、自身の声が第1の音声通信端末のユーザに聞こえているか否かを容易に把握できる。
【0029】
また、前記第1のマイクロホンは指向性を有する収音信号を生成し、前記音量監視装置は、さらに、前記第1マイクロホンにより生成された前記指向性を有する収音信号を、無指向化する無指向化部を備え、前記直接波音量算出部は、前記無指向化部により無指向化された収音信号に含まれる前記直接波音量を算出してもよい。
【0030】
この構成によれば、本発明に係る音量監視装置は、第1のマイクロホンが指向性を有する場合でも、スピーカとマイクロホンとの位置関係に依存しない、スピーカから拡声される音量を取得できる。
【0031】
なお、本発明は、このような音量監視装置として実現できるだけでなく、音量監視装置に含まれる特徴的な手段をステップとする音量監視方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【0032】
さらに、本発明は、このような音量監視装置の機能の一部又は全てを実現する半導体集積回路(LSI)として実現したり、このような音量監視装置を備える音声通信端末、音声会議端末、又はテレビ会議端末として実現したり、このような音声通信端末、音声会議端末、又はテレビ会議端末を含む音響システム、音声会議システム、又はテレビ会議システムとして実現したりできる。
【発明の効果】
【0033】
以上より、本発明は、スピーカとマイクロホンとの位置関係に依存しない音量を取得できる音量監視装置及び音量監視方法を提供できる。
【発明を実施するための最良の形態】
【0034】
以下本発明の実施の形態について、図面を参照しながら説明する。
【0035】
(実施の形態1)
本発明の実施の形態1に係る音量監視装置は、スピーカが設置された位置における、当該スピーカにより出音される音量を算出する。これにより、本発明の実施の形態1に係る音量監視装置は、スピーカとマイクロホンとの位置関係に依存しない定量的な音量を取得できる。
【0036】
まず、本発明の実施の形態1に係る音量監視装置を含む音響システムの構成を説明する。
【0037】
図1は、本発明の実施の形態1に係る音響システムの構成を示す図である。
図1に示す音響システム1は、第1の場所に設置されたコミュニケーション装置11と、第2の場所に設置されたコミュニケーション装置12と、通信網10とを含む。このコミュニケーション装置11とコミュニケーション装置12とは、通信網10を経由して接続される。また、コミュニケーション装置11とコミュニケーション装置12とは、音声通信端末であり、通信網10を介して、互いにリアルタイムの音声の送受信を行う。
【0038】
コミュニケーション装置11は、スピーカ111と、マイクロホン112とを備える。
スピーカ111は、コミュニケーション装置12から通信網10を経由して送信されたスピーカ入力信号s(t)に基づき、音声を出音する。
【0039】
マイクロホン112は、コミュニケーション装置11の周辺の音声を収音することにより、収音信号m(t)を生成する。また、マイクロホン112は、この収音信号m(t)を、通信網10を経由してコミュニケーション装置12へ送信する。また、この収音信号m(t)には、コミュニケーション装置11のユーザ110が発する音声と、コミュニケーション装置11の周辺の雑音等と、スピーカ111により出音される、コミュニケーション装置12のユーザ120が発した音声とが含まれる。
【0040】
コミュニケーション装置12は、スピーカ121と、マイクロホン122とを備える。
スピーカ121は、コミュニケーション装置11から通信網10を経由して送信された収音信号m(t)に基づき、音声を出音する。
【0041】
マイクロホン122は、コミュニケーション装置12の周辺の音声を収音することにより、収音信号を生成する。また、マイクロホン122は、当該収音信号をスピーカ入力信号s(t)として、通信網10を経由してコミュニケーション装置11へ送信する。また、この収音信号には、コミュニケーション装置12のユーザ120が発する音声と、コミュニケーション装置12の周辺の雑音等と、スピーカ121により出音される、コミュニケーション装置11のユーザ110が発した音声とが含まれる。
【0042】
図2は、本発明の実施の形態1に係る音量監視装置100のブロック図である。
図2に示すようにコミュニケーション装置11は、音量監視装置100を備える。
【0043】
音量監視装置100は、コミュニケーション装置12から送信された音声が、コミュニケーション装置11で出音される音量を監視する。言い換えると、音量監視装置100は、コミュニケーション装置12のユーザ120により発せられた音声が、コミュニケーション装置11においてどのような音量で拡声されているかを監視する。具体的には、音量監視装置100は、スピーカ111が設置された位置における当該スピーカ111が出音する音声の音量を算出し、算出した音量をコミュニケーション装置12に送信する。
【0044】
この音量監視装置100は、距離算出部101と、直接波音量算出部102と、スピーカ位置音量算出部103と、送信部104とを備える。
【0045】
距離算出部101は、スピーカ入力信号s(t)と、収音信号m(t)とを用いて、スピーカ111とマイクロホン112との間の距離を示す距離情報131を算出する。
【0046】
直接波音量算出部102は、スピーカ入力信号s(t)と、収音信号m(t)と、距離情報131とを用いて、収音信号m(t)に含まれる、マイクロホン112が設置された位置における、スピーカ111から出音された音声のうち直接波の音量を示す直接波音量情報132を算出する。
【0047】
ここで、直接波とは、典型的には、スピーカ111から出音された音声のうち、反射物(壁)等に反射されずに直接マイクロホン112に入力された音声である。
【0048】
スピーカ位置音量算出部103は、直接波音量情報132と距離情報131とを用いて、スピーカ111が設置されている位置における当該スピーカ111が拡声する音声の音量であるスピーカ位置音量情報133を算出する。
【0049】
送信部104は、スピーカ位置音量情報133を、通信網10を経由して、コミュニケーション装置12に送信する。
【0050】
コミュニケーション装置12は、さらに、受信部105と、表示部106とを備える。
受信部105は、送信部104により送信されたスピーカ位置音量情報133を、通信網10を経由して受信する。
【0051】
表示部106は、受信部105により受信されたスピーカ位置音量情報133に示されるスピーカ111の位置における音量を表示するディスプレイ等である。例えば、表示部106は、スピーカ位置音量情報133で示される音量を、数値、又は映像(メータ等)で表示する。
【0052】
なお、ここでは、簡単化のため、コミュニケーション装置11のみが本発明の実施の形態1に係る音量監視装置100を備える例を説明するが、コミュニケーション装置12も音量監視装置100を備えてもよい。また、コミュニケーション装置11が受信部105及び表示部106を備えてもよい。
【0053】
以下、以上の様に構成された音量監視装置100による動作を説明する。
図3は、音量監視装置100による動作の流れを示すフローチャートである。
【0054】
まず、距離算出部101は、スピーカ入力信号s(t)と、収音信号m(t)とを用いて、スピーカ111とマイクロホン112との間の距離を示す距離情報131を算出する(S101)。ここで、距離情報131とは、スピーカ111とマイクロホン112との相対関係を示す情報であり、具体的には、スピーカ111とマイクロホン112と間の距離、及び、スピーカ111とマイクロホン112と間の音波の時間遅延のうち少なくとも一方を含む。
【0055】
具体的には、距離算出部101は、下記式(1)及び式(2)を用いてスピーカ111とマイクロホン112と間の音波の時間遅延を算出する。つまり、距離算出部101は、下記式(2)に示すようにc(τ)が最大となる時間遅延τmaxを求めることで、スピーカ111とマイクロホン112との間の音波の時間遅延τmaxを算出する。ここで、c(τ)は、式(1)に示すように、スピーカ入力信号s(t)と収音信号m(t)との相関関数の絶対値である。
【0056】
【数1】

【0057】
【数2】

【0058】
また、上記式(1)における<・>tは時間tに関する平均値を示す。
また、距離算出部101は、スピーカ111とマイクロホン112との距離dmを、サンプリング周波数Fsと音速Vsと上記時間遅延τmaxとを用いて、下記式(3)により算出する。
【0059】
【数3】

【0060】
なお、距離算出部101は、スピーカ111とマイクロホン112の距離dmを、コミュニケーション装置11が備えるカメラ(図示せず)により撮影されたカメラ画像から算出してもよい。
【0061】
また、距離算出部101は、スピーカ111とマイクロホン112との時間遅延τmaxを、上記カメラ画像を用いて算出された距離dmと、上記式(3)とを用いて算出してもよい。
【0062】
次に、直接波音量算出部102は、スピーカ入力信号s(t)と、収音信号m(t)と、距離情報131とを用いて、直接波の音量を示す直接波音量情報132を算出する(S102)。
【0063】
ここで、コミュニケーション装置11において、コミュニケーション装置12から送信されたスピーカ入力信号s(t)がスピーカ111から拡声される。この拡声された音声は、スピーカ111からマイクロホン112への直接の経路と、反射物、壁、天井及び床等に反射する経路とを含む複数の経路を通ってマイクロホン112で収音される。
【0064】
図4は、スピーカ111により拡声された音声が、マイクロホン112で収音される状況を示す図である。図4に示すように、マイクロホン112に収音される音声は、スピーカ111により拡声され、反射物141等に反射せずに直接マイクロホン112に入力される直接波142に対応する音声と、反射物141等により反射された後、マイクロホン112に入力される反射波143に対応する音声とを含む。
【0065】
なお、直接波142は、スピーカ111とマイクロホン112との間の最短の経路を直線状に伝搬した音声に限らない。例えば、スピーカ111とマイクロホン112との間に壁又は障害物等が配置されている場合には、直接波は収音されなくなるため、音量監視装置100は、近似的に直接波として、当該壁又は障害物等を迂回してマイクロホン112に収音される音声のうち、スピーカ111とマイクロホン112との間の最短の経路を伝搬した音声を用いる。言い換えると、ここで用いる直接波とは、スピーカ111から出音された音声のうち、最初にマイクロホン112に入力された音声であり、スピーカ111から出音された音声のうち、マイクロホン112における音量が最も大きい音声とする。
【0066】
同様に、距離情報131で示される距離は、スピーカ111とマイクロホン112との間の直線の距離に限らず、スピーカ111とマイクロホン112との間に壁又は障害物等が配置されている場合には、当該距離は、当該壁又は障害物等を迂回してマイクロホン112に収音される音声の経路のうち、最短の経路の長さである。言い換えると、距離情報131で示される距離は、直接波142が伝搬する経路の長さである。
【0067】
直接波音量算出部102は、スピーカ入力信号s(t)と収音信号m(t)と時間遅延τmaxとを用いて、直接波音量情報132を算出する。具体的には、直接波音量情報132は、直接波142に対応する音声信号である直接波信号sd(t)と、直接波142の音圧である直接波信号音圧Pdとを含む。
【0068】
図5Aは、スピーカ111により拡声されるスピーカ入力信号s(t)の一例を示す図である。また、図5Bは、マイクロホン112より収音される直接波信号sd(t)の一例を示す図である。
【0069】
図5Bに示すように、直接波142に対応する直接波信号sd(t)は、スピーカ入力信号s(t)から、時間遅延τmax分遅れて、マイクロホン112で収音される。また、マイクロホン112に収音される収音信号m(t)には、直接波142に対応する直接波信号sd(t)と、複数の反射波143に対応する複数の反射波信号153とが含まれる。
【0070】
具体的には、直接波音量算出部102は、下記式(4)を用いて、収音信号m(t)の中から、直接波142に対応する信号を分離することにより、直接波信号sd(t)を算出する。また、直接波音量算出部102は、下記式(5)を用いて、算出した直接波信号sd(t)から、直接波信号音圧Pdを算出する。
【0071】
【数4】

【0072】
【数5】

【0073】
また、実際には障害物による経路の変化の影響、風又は温度変化による経路の変化の影響、及びサンプリング周波数の影響など、様々な要因でτmaxは微妙に揺らいで変化する場合がある。これらの影響を緩和するために、直接波信号sd(t)は式(6)のように数ms〜数10msに相当するN点のデータ時間的マージンをもって算出しても構わない。
【0074】
【数6】

【0075】
次に、スピーカ位置音量算出部103は、直接波音量情報132と距離情報131とを用いて、スピーカ111が設置されている位置における当該スピーカ111により拡声される音声の音量であるスピーカ位置音量情報133を算出する(S103)。
【0076】
ここで、スピーカ入力信号s(t)に対応するスピーカ111により拡声された音声は、距離とともに減衰し、マイクロホン112の位置では式(4)で示す時間特性、かつ式(5)で示す音圧レベルで収音される。よって、スピーカ位置音量算出部103は、直接波音量情報132(直接波信号sd(t)、及び直接波信号音圧Pd)と、距離dmとを用いてスピーカ111の位置でのスピーカ位置音量情報133を算出できる。ここで、スピーカ111の位置とは、スピーカ111で拡声される音声の距離減衰特性が、距離に反比例するという関係を満たし始める位置とする。また、以下では、スピーカ111に対応するスピーカユニットの設置位置から、この距離に反比例するという関係を満たし始める位置までの距離をds[m]とする。つまり、スピーカ111に対応するスピーカユニットの設置位置からマイクロホン112までの距離は、dm−dsとなる。
【0077】
また、スピーカ位置音量情報133は、スピーカ111の位置での音声信号であるスピーカ位置信号sp(t)、及びスピーカ111の位置での信号音圧であるスピーカ位置信号音圧Pspを含む。スピーカ位置音量算出部103は、直接波信号sd(t)と、距離dmとを用いて、下記式(7)により、スピーカ位置信号sp(t)を算出する。つまり、スピーカ位置音量算出部103は、直接波信号sd(t)を、比率dm/dsで乗算することにより、スピーカ位置信号sp(t)を算出する。
【0078】
また、スピーカ位置音量算出部103は、直接波信号音圧Pdと、距離dmとを用いて、下記式(8)により、スピーカ位置信号音圧Pspを算出する。
【0079】
【数7】

【0080】
【数8】

【0081】
次に、送信部104は、スピーカ位置音量算出部103により算出されたスピーカ位置音量情報133を、通信網10を経由して、コミュニケーション装置12に送信する(S104)。
【0082】
以上のように、本発明の実施の形態1に係る音量監視装置100は、スピーカ111の位置における、当該スピーカ111により拡声される音量を取得し、取得した音量をコミュニケーション装置12に通知できる。つまり、音量監視装置100は、スピーカ111とマイクロホン112との位置関係に依存しない音量を取得できる。これにより、コミュニケーション装置12のユーザ120は、自身の声がコミュニケーション装置11において正しく拡声されているか否かを定量的に把握できる。
【0083】
なお、上記説明では、音声がモノラルの場合について説明したが、2チャンネル以上の場合、つまりスピーカ111が複数の場合にも、本発明を適用できる。つまり、音量監視装置100は、スピーカ111毎のスピーカ位置音量情報133を算出してもよい。
【0084】
また、スピーカ位置音量情報133は、直接波信号sd(t)、及び直接波信号音圧Pdのうち一方のみを含んでもよい。同様に、距離情報131は、時間遅延τmax及び距離dmのうち一方のみを含んでもよい。また、直接波音量情報132は、直接波信号sd(t)及び直接波信号音圧Pdのうち一方のみを含んでもよい。
【0085】
また、スピーカ位置音量情報133は、直接波信号sd(t)、及び直接波信号音圧Pdのうち少なくとも一方を用いて作成した情報であってもよい。例えば、スピーカ位置音量情報133は、スピーカ111の位置における音量を視覚的に示す画像(メータ等)のデータであってもよい。
【0086】
(実施の形態2)
本発明の実施の形態2に係る音量監視装置200では、距離算出部201及び直接波音量算出部202がスピーカ111とマイクロホン112との間の音響伝達特性を用いて、距離情報131及び直接波音量情報132を算出する。
【0087】
図6は、本発明の実施の形態2に係る音量監視装置200の構成を示すブロック図である。なお、図2と同様の要素には同一の符号を付しており、重複する説明は省略する。
【0088】
図6に示すように、音量監視装置200は、実施の形態1に係る音量監視装置100の構成に加え、さらに、音響伝達特性算出部207を備える。また、音量監視装置200では、実施の形態1に係る音量監視装置100に対して、距離算出部201及び直接波音量算出部202の構成が異なる。
【0089】
音響伝達特性算出部207は、スピーカ入力信号s(t)と、収音信号m(t)とを用いて、スピーカ111とマイクロホン112との間の音響伝達特性237を算出する。具体的には、音響伝達特性算出部207は、エコーキャンセラを用いて音響伝達特性237を推定する。例えば、音響伝達特性算出部207は、音響伝達特性237を推定するために疑似的にスピーカ入力信号s(t)を生成することによりスピーカ111から音声を拡声させる。さらに、音響伝達特性算出部207は、当該音声がマイクロホン112で収音された収音信号m(t)を用いて、音響伝達特性237を推定する。
【0090】
また、エコーキャンセラとは、従来のコミュニケーション装置において、エコーを除去する際に用いられるものであり、本発明の実施の形態2に係る音量監視装置200に、エコーキャンセラの機能の一部を用いることで、コミュニケーション装置11の機能追加(コスト増加)を抑制できる。
【0091】
ここで、エコーキャンセラの動作について簡単に説明する。
エコーキャンセラは、マイクロホン112に収音された収音信号m(t)から、スピーカ111により拡声された音声に対応する信号を除去する。これにより、スピーカ111により拡声された音声が、再度、コミュニケーション装置12で拡声されることを防止できる。つまり、エコーキャンセラは、スピーカ111からマイクロホン112へと回り込む音声をキャンセルすることにより、エコー及びハウリングを防止する。
【0092】
具体的には、まず、エコーキャンセラは、スピーカ入力信号s(t)を用いて、エコー経路の伝達特性であるエコー伝達特性を推定する。次に、エコーキャンセラは、スピーカ入力信号s(t)と、推定したエコー伝達特性とを乗算することにより、マイクロホン112により収音された収音信号m(t)に含まれるスピーカ111により拡声された音声に対応する信号である疑似エコーを推定する。次に、エコーキャンセラは、収音信号m(t)から疑似エコーを減算することにより、収音信号m(t)から、スピーカ111により拡声された音声に対応する信号を除去する。
【0093】
音響伝達特性算出部207は、このエコーキャンセラで推定されたエコー伝達特性を、音響伝達特性237として距離算出部201及び直接波音量算出部202に出力する。
距離算出部201は、音響伝達特性237を用いて距離情報131を算出する。
【0094】
直接波音量算出部202は、音響伝達特性237を用いて直接波音量情報132を算出する。
【0095】
図7は、音響伝達特性237を有限インパルス応答で表記したものであり、横軸が時間τ、縦軸が振幅h(τ)である。図7に示すように振幅のピーク162が直接波142の振幅となる。次のピーク163と、当該ピーク163より後に現れるピークが複数の反射波143のそれぞれに対応する振幅、つまり残響特性に対応する振幅となる。
【0096】
以下、音量監視装置200の動作を説明する。
図8は、音量監視装置200による動作の流れを示すフローチャートである。
【0097】
まず、音響伝達特性算出部207は、スピーカ入力信号s(t)と、収音信号m(t)とを用いて、スピーカ111とマイクロホン112との間の音響伝達特性237を算出する(S201)。
【0098】
次に、距離算出部201は、音響伝達特性算出部207により推定された音響伝達特性237を用いて、距離情報131を算出する(S202)。ここで、図7に示すように直接波142の振幅であるピーク162の時間がスピーカ111とマイクロホン112との間の時間遅延τmaxとなる。よって、距離算出部201は、音響伝達特性h(τ)を用いて、下記式(9)により時間遅延τmaxを算出できる。つまり、距離算出部201は、音響伝達特性において振幅のピークが現れるまでの時間を算出することにより、時間遅延τmaxを算出する。
【0099】
【数9】

【0100】
また、距離算出部101は、スピーカ111とマイクロホン112の距離dmを、サンプリング周波数Fsと音速Vsと上記時間遅延τmaxとを用いて、上記式(3)により算出する。
【0101】
次に、直接波音量算出部202は、音響伝達特性h(τ)を用いて直接波音量情報132を算出する(S203)。具体的には、直接波音量算出部202は、スピーカ入力信号s(t)と音響伝達特性h(τ)と時間遅延τmaxとを用いて、下記式(10)により直接波信号sd(t)を算出する。つまり、直接波音量算出部202は、音響伝達特性h(τ)のピークと、時間遅延τmax分前の時刻におけるスピーカ入力信号s(t)とを乗算することにより、直接波信号sd(t)を算出する。
【0102】
【数10】

【0103】
なお、上記式(10)ではτmaxという1点のデータを基に直接波信号sd(t)を算出しているが、τmaxの前後数10msに相当するN点のデータを利用して、下記式(11)から直接波信号sd(t)を算出してもよい。
【0104】
【数11】

【0105】
次に、スピーカ位置音量算出部103は、実施の形態1と同様に、直接波音量情報132と距離情報131とを用いて、スピーカ位置音量情報133を算出する(S204)。
【0106】
次に、送信部104は、スピーカ位置音量算出部103により算出されたスピーカ位置音量情報133を、通信網10を経由して、コミュニケーション装置12に送信する(S205)。
【0107】
以上より、本発明の実施の形態2に係る音量監視装置200は、実施の形態1に係る音量監視装置200と同様に、スピーカ111とマイクロホン112との位置関係に依存しない音量を取得し、取得した音量をコミュニケーション装置12に通知できる。これにより、コミュニケーション装置12のユーザ120は、自身の声がコミュニケーション装置11において正しく拡声されているか否かを定量的に把握できる。
【0108】
さらに、本発明の実施の形態2に係る音量監視装置200は、エコーキャンセラで算出される音響伝達特性237を用いて、距離情報131及び直接波音量情報132を算出する。これにより、音量監視装置200は、コミュニケーション装置11に対する機能追加(コスト増加)を抑制できる。
【0109】
なお、上記説明では、距離算出部201及び直接波音量算出部202が共に、音響伝達特性237を用いた場合について説明したが、距離算出部201及び直接波音量算出部202のうち一方のみが音響伝達特性237を用いてもよい。
【0110】
また、上記説明では、音声がモノラルの場合について説明したが、2チャンネル以上の場合、つまりスピーカ111が複数の場合でも、音響伝達特性算出部207がマルチチャンネルの音響伝達特性237を算出し、距離算出部201及び直接波音量算出部202がマルチチャンネルの音響伝達特性237を利用することで、スピーカ111毎の距離情報131及び直接波音量情報132を算出できる。
【0111】
(実施の形態3)
本発明の実施の形態3に係る音量監視装置300は、実施の形態1に係る音量監視装置100の変形例であり、スピーカ111の位置から所定の距離毎における音量を算出する。
【0112】
図9は、本発明の実施の形態3に係る音量監視装置300のブロック図である。図9に示す音量監視装置300は、実施の形態1に係る音量監視装置100の構成に加えて、さらに、距離別音量算出部308を備える。なお、図2と同様の要素には同一の符号を付しており、重複する説明は省略する。
【0113】
距離別音量算出部308は、スピーカ位置音量情報133を用いて、スピーカ111により出音された音声の、スピーカ111から異なる距離離れた複数の位置における音量である距離別音量情報338を算出する。例えば、距離別音量情報338は、スピーカ111の位置から所定の距離毎におけるスピーカ111により拡声された音声の音量である。
【0114】
図10は、本発明の実施の形態3に係る音量監視装置300の動作の流れを示すフローチャートである。なお、図10に示すステップS301〜S303の処理は、図3に示すステップS101〜S103の処理と同様であり、説明は省略する。
【0115】
ステップS303の後、距離別音量算出部308は、スピーカ位置音量情報133を用いて距離別音量情報338を算出する(S304)。ここで、距離別音量情報338は、
スピーカ111からr[m]離れた地点における、スピーカ111により拡声された音声信号である距離別信号spr(t)と、スピーカ111よりr[m]離れた地点における音圧レベルである距離別信号音圧Prとを含む。
【0116】
具体的には、距離別音量算出部308は、スピーカ位置信号sp(t)を用いて、下記式(12)により距離別信号spr(t)を算出する。つまり、距離別音量算出部308は、スピーカ位置信号sp(t)を距離rで除算することにより、距離別信号spr(t)を算出する。
【0117】
また、距離別音量算出部308は、直接波信号音圧Pdと距離dmとを用いて下記式(13)により距離別信号音圧Prを算出する。
【0118】
【数12】

【0119】
【数13】

【0120】
次に、送信部104は、距離別音量算出部308により算出された距離別音量情報338を、通信網10を経由して、コミュニケーション装置12に送信する(S305)。
【0121】
コミュニケーション装置12の受信部105は、送信部104により送信された距離別音量情報338を受信する。表示部106は、受信部105により受信された距離別音量情報338で示される距離別の音量を、数値、又は映像(分布図等)で表示する。
【0122】
以上により、本発明の実施の形態3に係る音量監視装置300は、スピーカ111とマイクロホン112との位置関係に依存しない、スピーカ111からの距離別の、当該スピーカ111から拡声される音量を取得し、取得した距離別の音量をコミュニケーション装置12に通知できる。これにより、コミュニケーション装置12のユーザ120は、自身の声がコミュニケーション装置11において正しく拡声されているか否かを定量的に把握できる。
【0123】
さらに、コミュニケーション装置12において、スピーカ111の位置の音量のみでなく、スピーカ111からの距離別の音量が表示されるので、コミュニケーション装置12のユーザ120は、よりコミュニケーション装置11のユーザ110に聞こえている音量に近い音量を把握できる。
【0124】
なお、上記説明では、距離別音量算出部308は、スピーカ111の位置から所定の距離毎の複数の距離別音量情報338を算出するとしたが、スピーカ111から予め定められた距離における1つの距離別音量情報338のみを算出してもよい。
【0125】
また、距離別音量算出部308は、スピーカ111の位置から任意の複数の距離における複数の距離別音量情報338を算出してもよい。
【0126】
また、距離別音量情報338は、スピーカ位置音量情報133を含んでもよい。
また、距離別音量情報338は、距離別信号spr(t)、及び距離別信号音圧Prのうち一方のみを含んでもよい。また、距離別音量情報338は、距離別信号spr(t)、及び距離別信号音圧Prのうち少なくとも一方を用いて作成したデータであってもよい。例えば、スピーカ位置音量情報133は、距離別の音量を視覚的に示す画像(分布図等)のデータであってもよい。
【0127】
また、上記説明では、音量監視装置200は、スピーカ位置音量情報133を算出したのちに、当該スピーカ位置音量情報133を用いて距離別音量情報338を算出するとしたが、上記式(12)及び式(13)に示すように、距離情報131及び直接波音量情報132とを用いて、直接的に距離別音量情報338を算出してもよい。
【0128】
(実施の形態4)
本発明の実施の形態4に係る音量監視装置400は、実施の形態3に係る音量監視装置300の変形例であり、さらに、残響及び騒音の影響を考慮して、距離別音量情報338を調整する。
【0129】
図11は、本発明の実施の形態4に係る音量監視装置400のブロック図である。図11に示す音量監視装置400は、実施の形態3に係る音量監視装置300の構成に加えて、さらに、残響特性算出部409と、騒音レベル算出部410と、距離別音量調整部411とを備える。なお、図9と同様の要素には同一の符号を付しており、重複する説明は省略する。
【0130】
残響特性算出部409は、スピーカ入力信号s(t)と収音信号m(t)とを用いて、スピーカ111が設置された空間の残響特性439を算出する。
【0131】
騒音レベル算出部410は、収音信号m(t)を用いて、騒音レベル440を生成する。騒音レベル440とは、コミュニケーション装置11における騒音の音量であり、言い換えると、収音信号m(t)に含まれる騒音の音量である。
【0132】
距離別音量調整部411は、残響特性439と騒音レベル440とを用いて、距離別音量情報338を調整することにより、調整距離別音量情報441を生成する。具体的には、距離別音量調整部411は、直接波142のみに対応する距離別音量情報338に、残響の成分を加えることで、より実際の音量に近い調整距離別音量情報441を生成する。また、距離別音量調整部411は、距離別音量情報338が騒音レベル440以下の場合に、当該距離別音量を実質的に無音状態に調整する。言い換えると、距離別音量調整部411は、距離別音量情報338に含まれる音声のうち、騒音レベル440以下の音量の時間区間の音量を実質的にゼロにすることにより、距離別音量情報338を調整する。
【0133】
以上の様に構成された音量監視装置400の動作を説明する。
図12は、音量監視装置400の動作の流れを示すフローチャートである。なお、図12に示すステップS401〜S404の処理は、図10に示すステップS301〜S304の処理と同様であり、説明は省略する。
【0134】
ステップS404の後、残響特性算出部409は、スピーカ入力信号s(t)と収音信号m(t)とを用いて、残響特性439を算出する(S405)。この残響特性439は、直接波142と残響成分との比率α、及び残響成分に対応する音声信号である残響信号srev(t)のうち少なくとも一方を含む。ここで、残響成分とは、壁、床、又は物体などに複数回以上反射してマイクロホンに到達した信号成分である。
【0135】
まず、残響特性算出部409は、スピーカ入力信号s(t)と収音信号m(t)と直接波142の時間遅延τmaxとを用いて、下記式(14)により、比率αを算出する。下記式(14)に示すように比率αは、スピーカ入力信号s(t)及び収音信号m(t)の相関関数を利用することで、算出できる。
【0136】
【数14】

【0137】
なお、式(14)におけるτrevは残響成分の時間遅延である。また、残響成分は、直接波142に比べ、音圧が小さく、微々たる環境変動の影響を受けやすいため、振幅の値は揺らぎがちである。よって、下記式(15)及び式(16)のように平均値を用いて、比率αを算出することも有効である。
【0138】
【数15】

【0139】
【数16】

【0140】
ここで、式(15)及び式(16)におけるNは、平均値をとる時間区間であり、数msから100ms程度の時間に相当するデータ長である。また、残響特性算出部409は、比率αを用いて、下記式(17)により残響成分に対応する音声信号である残響信号srev(t)を算出できる。つまり、残響特性算出部409は、直接波信号sd(t)に比率αを乗算することにより、残響信号srev(t)を算出できる。
【0141】
【数17】

【0142】
次に、距離別音量調整部411は、残響特性439を用いて、距離別音量情報338を調整する(S406)。具体的には、距離別音量調整部411は、距離別信号spr(t)と残響信号srev(t)とを用いて、下記式(18)により、残響調整距離別信号spr(t)’を算出する。つまり、距離別音量調整部411は、距離別信号spr(t)と、残響信号srev(t)とを加算することにより、残響調整距離別信号spr(t)’を算出する。
【0143】
また、距離別音量調整部411は、比率αと直接波信号音圧Pdと距離dmとを用いて、下記式(19)により残響調整距離別信号音圧Pr’を算出する。
【0144】
【数18】

【0145】
【数19】

【0146】
また、騒音レベル算出部410は、収音信号m(t)を用いて、騒音レベル440を生成する(S407)。具体的には、騒音レベルは、下記式(20)に示す非音声区間の収音信号m(t)である騒音信号mn(t)、及び、騒音信号mn(t)の音圧である騒音信号音圧Pnとを含む。ここで非音声区間とは、コミュニケーション装置11において音声が収音されない区間である。つまり、非音声区間とは、コミュニケーション装置11のユーザ110、及びコミュニケーション装置12のユーザ120が共に、発声していない区間である。また、騒音信号音圧Pnは、非音声区間の収音信号m(t)の音圧である。具体的には、騒音レベル算出部410は、下記式(21)に示すように、雑音信号mn(t)の二乗の平均値を用いて騒音信号音圧Pnを算出する。
【0147】
【数20】

【0148】
【数21】

【0149】
上記では、コミュニケーション装置11のユーザ110、及びコミュニケーション装置12のユーザ120が共に、発声していない区間における収音信号m(t)を用いて雑音信号を算出する例について述べたが、コミュニケーション装置11のユーザ110のみが発声していない区間におけるエコーキャンセラ出力信号を用いても構わない。
【0150】
次に、距離別音量調整部411は、騒音レベル440を用いて、距離別音量情報338を調整することにより、調整距離別音量情報441を算出する(S408)。ここで、スピーカ111により拡声される音声のうち、ユーザ110に聞き取れる音声は、騒音信号音圧Pnより大きな音圧の音声である。よって、距離別音量調整部411は、騒音レベル440を用いて距離別音量情報に制限を掛ける。
【0151】
また、調整距離別音量情報441は、調整距離別信号spr(t)’’と、調整距離別信号音圧Pr’’とを含む。
【0152】
具体的には、距離別音量調整部411は、雑音信号mn(t)と残響調整距離別信号spr(t)’とを用いて、下記式(22)により、補正距離別音声信号spr(t)’’を算出する。つまり、距離別音量調整部411は、残響調整距離別信号spr(t)’に含まれる音声信号のうち、雑音信号mn(t)より小さい振幅の時間区間の音声信号を実質的にゼロにすることにより、補正距離別音声信号spr(t)’’を算出する。
【0153】
また、距離別音量調整部411は、騒音信号音圧Pnと残響調整距離別信号音圧Pr’とを用いて、下記式(23)により、補正距離別音声信号音圧Pr’’を算出する。つまり、距離別音量調整部411は、残響調整距離別信号音圧Pr’が騒音信号音圧Pnより小さい場合に、残響調整距離別信号音圧Pr’を実質的にゼロにすることで、補正距離別音声信号音圧Pr’’を算出する。
【0154】
【数22】

【0155】
【数23】

【0156】
次に、送信部104は、距離別音量調整部411により算出された調整距離別音量情報441を、通信網10を経由して、コミュニケーション装置12に送信する(S409)。
【0157】
コミュニケーション装置12の受信部105は、送信部104により送信された調整距離別音量情報441を受信する。表示部106は、受信部105により受信された調整距離別音量情報441で示される距離別の音量を、数値、又は映像(分布図等)で表示する。
【0158】
以上より、本発明の実施の形態4に係る音量監視装置400は、残響及び雑音の影響を考慮した音量を算出できるので、実際にユーザが聞く音量に、よりマッチした音量を取得し、取得した音量をコミュニケーション装置12に送信できる。
【0159】
なお、上記説明では、距離別音量調整部411は、距離別音量情報338を、残響特性439を用いて調整した(S406)後に、さらに騒音レベル440を用いて調整する(S408)場合について説明したが、距離別音量調整部411は、距離別音量情報338を、騒音レベル440を用いて調整した(S408)後、騒音レベル440を用いて調整(S408)してもよい。
【0160】
また、距離別音量調整部411は、距離別音量情報338に対して、残響特性439を用いた調整、及び、騒音レベル440を用いた調整のうち、いずれか一方のみを行ってもよい。
【0161】
具体的には、距離別音量調整部411が距離別音量情報338に対して、騒音レベル440を用いた調整のみを行う場合、距離別音量調整部411により算出される調整距離別信号spr(t)’’と調整距離別信号音圧Pr’’とは、下記式(24)、及び式(25)で示される。
【0162】
【数24】

【0163】
【数25】

【0164】
なお、調整距離別音量情報441は、調整距離別信号spr(t)’’、及び調整距離別信号音圧Pr’’のうち一方のみを含んでもよい。同様に、残響特性439は、比率α、及び残響信号srev(t)のうち一方のみを含んでもよい。また、騒音レベル440は、騒音信号mn(t)、及び騒音信号音圧Pnのうち一方のみを含んでもよい。
【0165】
また、実施の形態1又は2に係る音量監視装置100又は200が、さらに、騒音レベル算出部410及び距離別音量調整部411を備えてもよい。言い換えると、距離別音量調整部411は、スピーカ位置音量情報133に対して、上述した騒音レベル440を用いた調整を行ってもよい。
【0166】
(実施の形態5)
本発明の実施の形態5に係る音量監視装置500は、実施の形態4に係る音量監視装置400の変形例であり、実施の形態2に係る音量監視装置200と同様に、音響伝達特性237を用いて残響特性439を推定する。
【0167】
図13は、本発明の実施の形態5に係る音量監視装置500の構成を示すブロック図である。なお、図6及び図11と同様の要素には同一の符号を付しており、重複する説明は省略する。
【0168】
図13に示すように、音量監視装置500は、実施の形態4に係る音量監視装置400の構成に加え、さらに、音響伝達特性算出部207を備える。また、音量監視装置500では、実施の形態4に係る音量監視装置400に対して、距離算出部201と直接波音量算出部202と残響特性算出部509との構成が異なる。
【0169】
なお、音響伝達特性算出部207と距離算出部201と直接波音量算出部202との構成は、実施の形態2と同様であり説明は省略する。
【0170】
ここで、実施の形態2と同様に、音響伝達特性算出部207は、従来から用いられているエコーキャンセラの機能の一部を用いることで実現できる。よって、本発明の実施の形態5に係る音量監視装置500は、コミュニケーション装置11の機能追加(コスト増加)を抑制できる。
【0171】
残響特性算出部509は、音響伝達特性237を用いて残響特性439を算出する。具体的には、残響特性算出部509は、音響伝達特性h(τ)を用いて、下記式(26)、式(27)又は式(28)により、直接波142と残響成分との比率αを算出する。
【0172】
【数26】

【0173】
【数27】

【0174】
【数28】

【0175】
また、残響特性算出部509は、音響伝達特性h(τ)を用いて、下記式(29)により、残響信号srev(t)を算出する。
【0176】
【数29】

【0177】
なお、上記式(29)ではτrevという1点のデータを基に残響信号srev(t)を算出したが、τrevの前後数ms〜数100msに相当するN点のデータを利用して式(30)のように算出してもよい。
【0178】
【数30】

【0179】
以上より、本発明の実施の形態5に係る音量監視装置500は、従来から用いられているエコーキャンセラで算出される音響伝達特性237を用いて、残響特性439を算出する。これにより、音量監視装置500は、コミュニケーション装置11に対する機能追加(コスト増加)を抑制できる。
【0180】
なお、上記説明では、距離算出部201、直接波音量算出部202及び残響特性算出部509のうち全てが、音響伝達特性237を用いた場合について説明したが、距離算出部201、直接波音量算出部202及び残響特性算出部509のうち一以上が音響伝達特性237を用いてもよい。
【0181】
また、上記説明では、音声がモノラルの場合について説明したが、2チャンネル以上の場合、つまりスピーカ111が複数の場合でも、音響伝達特性算出部207がマルチチャンネルの音響伝達特性237を算出し、残響特性算出部509がマルチチャンネルの音響伝達特性237を利用することで、スピーカ111毎の残響特性439を算出できる。
【0182】
(実施の形態6)
本発明の実施の形態6に係る音量監視装置600は、実施の形態1に係る音量監視装置100の変形例であり、音量監視装置100の機能に加え、スピーカ111により拡声される音声が所定の音量以上の場合、コミュニケーション装置12に警告を送る機能を有する。
【0183】
図14は、本発明の実施の形態6に係る音量監視装置600の構成を示すブロック図である。なお、図2と同様の要素には同一の符号を付しており、重複する説明は省略する。
【0184】
図14に示す音量監視装置600は、音量監視装置100の構成に加え、さらに、警告部612を備える。
【0185】
警告部612は、スピーカ位置音量算出部103により算出されたスピーカ位置音量情報133で示される音量が所定の音量以上であるか否かを判定する。また、警告部612は、スピーカ位置音量情報133で示される音量が所定の音量以上であると判定した場合、送信部104及び通信網10を経由して、スピーカ111により拡声された音声の音量が所定の音量以上であることを示す警告情報642を、コミュニケーション装置12に送信する。言い換えると、警告情報642は、コミュニケーション装置11において、過大音が拡声されたことを警告する情報である。
【0186】
以上の構成により、本発明の実施の形態6に係る音量監視装置600は、コミュニケーション装置12から送信された音声が、スピーカ111により非常に大きい音で拡声されている場合には、コミュニケーション装置12に警告を通知できる。
【0187】
なお、送信部104は、スピーカ位置音量情報133、及び警告情報642を共に、コミュニケーション装置12に送信してもよいし、警告情報642のみをコミュニケーション装置12に送信してもよい。
【0188】
また、上記説明では、実施の形態1に係る音量監視装置100が、さらに、警告部612を備える例を説明したが、実施の形態2〜5に係る音量監視装置200〜500が、さらに、警告部612を備えてもよい。言い換えると、警告部612は、スピーカ111から所定の距離rにおける音量が所定の音量以上である場合に、警告情報642を、コミュニケーション装置12に送信してもよい。
【0189】
(実施の形態7)
本発明の実施の形態7に係る音量監視装置700は、実施の形態1に係る音量監視装置100の変形例であり、指向性マイクロホン712a及び712bにより、収音された複数の収音信号742a及び742bを無指向性の収音信号m(t)に変換した後に、当該変換した収音信号m(t)を用いて、スピーカ位置における音量を算出する。
【0190】
図15は、本発明の実施の形態7に係る音量監視装置700の構成を示すブロック図である。なお、図2と同様の要素には同一の符号を付しており、重複する説明は省略する。
【0191】
図15に示す音量監視装置700は、音量監視装置100の構成に加え、さらに、無指向化部713を備える。また、コミュニケーション装置11は、可変の指向性を有する複数のマイクロホン712a及び712bを備える。
【0192】
無指向化部713は、マイクロホン712a及び712bにより収音された指向性を有する収音信号742a及び742bを、無指向化することにより、収音信号m(t)を生成する。例えば、複数の指向性マイクロホンで全方位の音を収音するようなマイクロホンシステムの場合、無指向化部713は、各マイクロホンの収音信号を、各方向からの音が均等の音圧で収音されるように加算することにより、収音信号m(t)を生成する。
【0193】
また、距離算出部101及び直接波音量算出部102は、無指向化部713により無指向化された収音信号m(t)を用いて、距離情報131及び直接波音量情報132を算出する。
【0194】
以上の構成により、本発明の実施の形態7に係る音量監視装置700は、指向性のマイクロホンが使用するコミュニケーション装置11においても、スピーカ111とマイクロホン112との位置関係に依存しない、スピーカ111から拡声される音量を取得できる。
【0195】
なお、上記説明では、コミュニケーション装置11は無指向化した収音信号m(t)を、通信網10を経由して、コミュニケーション装置12に送信しているが、指向性を有する複数の収音信号742a〜742bをコミュニケーション装置12に送信してもよい。
【0196】
また、指向性マイクロホンの数は、2以上であってもよい。
また、上記説明では、実施の形態1に係る音量監視装置100が、さらに、無指向化部713を備える例を説明したが、実施の形態2〜6に係る音量監視装置200〜600が、さらに、無指向化部713を備えてもよい。
【0197】
(実施の形態8)
本発明の実施の形態8に係る音量監視装置800は、実施の形態3に係る音量監視装置300の変形例であり、さらに、スピーカ111により拡声された音声がユーザ110に聞こえる範囲を示す拡声領域情報844を算出する。
【0198】
図16は、本発明の実施の形態8に係る音量監視装置800の構成を示すブロック図である。なお、図9と同様の要素には同一の符号を付しており、重複する説明は省略する。
【0199】
図16に示す音量監視装置800は、音量監視装置300の構成に加え、さらに、拡声領域算出部814を備える。
【0200】
拡声領域算出部814、距離別音量情報338を用いて、スピーカ111により拡声された音声が、予め定められた音量より大きくなる範囲(スピーカ111からの距離)を示す拡声領域情報844を算出する。具体的には、拡声領域算出部814は、複数の距離における距離別信号音圧Prが、予め定められた値より大きくなる距離rを拡声領域情報844として算出する。
【0201】
また、送信部104は、拡声領域算出部814により算出された拡声領域情報844を、通信網10を経由して、コミュニケーション装置12に送信する。
【0202】
なお、送信部104は、拡声領域情報844のみをコミュニケーション装置12に送信してもよいし、拡声領域情報844と、距離別音量情報338とをコミュニケーション装置12に送信してもよい。
【0203】
また、拡声領域情報844は、スピーカ111により拡声された音声が、予め定められた音量より大きくなる範囲を視覚的に示す画像のデータであってもよい。また、音量監視装置800は、拡声領域情報844及び距離別音量情報338を用いて、距離別の音量を視覚的に示す画像(分布図等)に、予め定められた音量より大きくなる範囲を視覚的に示す情報(当該範囲を示す枠等)を加えた画像を生成し、当該画像のデータをコミュニケーション装置12に送信してもよい。
【0204】
また、上記説明では、実施の形態3に係る音量監視装置300が、さらに、拡声領域算出部814を備える例を説明したが、実施の形態4又は5に係る音量監視装置400又は500が、さらに、拡声領域算出部814を備えてもよい。
【0205】
また、上記実施の形態1〜8の説明では、音声を受信する側のコミュニケーション装置11が、音量監視装置100〜800を備えるとしたが、音声を送信する側のコミュニケーション装置12が、音量監視装置100〜800を備えてもよい。さらに、通信網10に接続されるサーバ等が、音量監視装置100〜800を備えてもよい。
【0206】
(実施の形態9)
本発明の実施の形態9では、上述した実施の形態1〜8に係る音量監視装置100〜800のいずれかを備えるコミュニケーション装置11を含むコミュニケーションシステムについて説明する。
【0207】
図17は、本発明の実施の形態9に係る2拠点でのコミュニケーションサービスを実現するコミュニケーションシステム2の構成を示す図である。
【0208】
図17において、第1の拠点に配置されるコミュニケーション装置11と、第2の拠点に配置されるコミュニケーション装置12とは、通信機能を有する映像音声制御装置であり、通信網10を介して相互接続が可能である。
【0209】
コミュニケーション装置11は、第1の拠点におけるリアルタイムな映像音声データを、カメラ及びマイクから取得し、取得した映像音声データを、通信網10を介してコミュニケーション装置12に送信する。また、コミュニケーション装置11は、第2の拠点におけるリアルタイムな映像音声データを、コミュニケーション装置12から受信し、自装置のディスプレイ及びスピーカに出力する。
【0210】
また、通信網10を介しているにもかかわらず、距離による影響を低減した、よりリアルなコミュニケーションサービスを提供するために、コミュニケーション装置11及び12は、複数個のディスプレイ、カメラ、マイク、及びスピーカを備える。これらの入出力装置は、予め適した位置に配置されており、この配置に特徴を有している。これについては、図を用いて後で詳細に説明する。
【0211】
通信網10は、有線回線でも無線回線でもよく、また、この両方の組み合わせであってもよい。また、インターネット又は公衆電話回線などのパブリックネットワークであってもよく、LAN(Local Area Network)などの限られたドメインの中でクローズされたローカルネットワークであってもよく、また、この両方の組み合わせであってもよい。
【0212】
また、コミュニケーション装置11とコミュニケーション装置12との間の通信には、例えば、RTP(Real−time Transport Protocol)又はTCP(Transmission Control Protocol)を用いたデジタル通信が用いられる。
【0213】
また、コミュニケーション装置11及び12は、ネットワーク上の位置を示すアドレス情報としてIPアドレスが割り当てられているものとする。なお、IPアドレスでなく、電話番号など他の情報をアドレス情報として用いてもよい。
【0214】
また、コミュニケーション装置11及び12が送受信するデータは、リアルタイムな映像音声データとしたが、光ディスク又はハードディスクなどの記憶媒体に記録されている映像音声データも、リアルタイムな映像音声データと共に送受信することができる。また、コミュニケーション装置11及び12が送受信するデータは、静止画データ、テキスト、又はHTMLなどの文書データでもよい。
【0215】
以上により、コミュニケーション装置11とコミュニケーション装置12とは、予め適した位置に配置された複数個の入出力装置を用いて、他拠点のリアルタイムな映像及び音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。
【0216】
また、図17に示した2拠点でのコミュニケーションサービスだけでなく、3拠点以上での相互接続によるコミュニケーションサービスが可能である。図18は、前述したコミュニケーション装置11及び12以外の機器も備えたコミュニケーションシステム3の構成の一例を示している。
【0217】
図18に示すコミュニケーションシステム3では、コミュニケーション装置11と、コミュニケーション装置12と、ノートPC(パーソナルコンピュータ)13と、PDA(Personal Digital Assistant)15と、携帯電話16と、ディスクトップPC19とが接続され、5拠点でのコミュニケーションシステムが実施される。なお、ここでは、公衆電話回線である通信網10とインターネット18とが、インターネットサービスプロバイダであるサーバ17を介して接続されているものとする。
【0218】
また、ノートPC13、PDA15、携帯電話16、及びディスクトップPC19のうち1以上が、上述した音量監視装置100〜800のいずれかを備えてもよい。
【0219】
コミュニケーション装置11及び12は、図17と同じであるため、それ以外の機器について説明する。なお、図18に示した通り、コミュニケーション装置11及び12を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。つまり、上述した音量監視装置100〜800を構成する構成要素の一部又は全部は、1個のシステムLSIから構成されているとしてもよい。
【0220】
ノートPC13は、カメラ機能を内蔵しておらず、外付けでカメラ14が接続されている。カメラ14は、デジタルビデオカメラなどの動画撮影が可能な機器である。ノートPC13は、カメラ14により撮影された映像音声データを、自拠点でのリアルタイムな映像音声データとして、通信網10を介して、他機器に送信する。なお、カメラ14が、動画撮影機能を有しておらず、静止画撮影機能のみの場合、撮影した静止画データを一定間隔で送信してもよい。
【0221】
PDA15は、カメラ機能を有しておらず、自拠点のリアルタイムな映像データを送信することができない。PDA15は、通信網10を介して、受信した映像データをディスプレイ及びスピーカに出力するとともに、自拠点でのリアルタイムな音声データを他機器に送信する。なお、カメラ機能を有している場合は、映像音声データを送受信することが可能となる。
【0222】
携帯電話16は、CCDカメラなどのカメラ付きの携帯電話であり、自拠点でのリアルタイムな映像音声データをカメラ及びマイクから取得し、通信網10を介して他機器に送信する。また、受信した映像音声データを自装置のディスプレイ及びスピーカに出力する。また、携帯電話16は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、GSM(Global System for Mobile Communications)方式、W−CDMA(WidebandーCode Division Multiple Access)方式、CDMA1x(Code Division Multiple Access)方式、及びLTE(Long Term Evolution)などのうち、いずれの通信方式を用いてもよい。また、携帯電話16は、SDカードなどの記録媒体である蓄積メディアを装着可能なスロット部を有しており、記録メディアに記録されているデータを、コミュニケーションサービスに参加している他機器と共有することが可能である。さらに、携帯電話16による通信網10への接続は、WiMAXなど他の無線通信機能を用いてもよい。
【0223】
ディスクトップPC19は、カメラ機能を内蔵しており、自拠点でのリアルタイムな映像音声データをカメラ及びマイクから取得し、インターネット18と通信網10を介して他機器に送信する。なお、インターネット18と通信網10とは、インターネットサービスプロバイダのサーバ17を介して接続しているものとする。また、ディスクトップPC19は、受信した映像音声データを自装置のディスプレイ及びスピーカに出力する。なお、ディスクトップPC19は、光ディスク又はSDカードなどの記憶媒体である蓄積メディアの読み取りが可能なデバイスと、外付けHDD又は内部メモリとのうち1以上を有しており、これらに記録されているデータを、コミュニケーションサービスに参加している他機器と共有することが可能である。
【0224】
また、各機器は、ネットワーク上の位置を示すアドレス情報として電話番号又はIPアドレスが割り当てられているものとする。なお、IPv6対応のIPアドレスを用いることで、各機器が物理的に移動しても、同じアドレスを用いてコミュニケーションサービスに参加することが可能となる。
【0225】
また、各機器は、コミュニケーションサービスに参加している他機器へマルチキャストで映像音声データの送信を行なってもよい。また、特定の機器(例えばコミュニケーション装置11)をサーバと設定し、サーバが他機器から映像音声データを受信して処理を行なった後、他機器へマルチキャストしてもよい。
【0226】
以上により、コミュニケーション装置11とコミュニケーション装置12は、複数拠点に位置する各機器が送信したリアルタイムな映像や音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。
【0227】
次に、コミュニケーション装置11及び12が備える入出力装置の配置について説明する。図19は、コミュニケーション装置11及び12の構成の一例を示す図である。
【0228】
コミュニケーション装置11及び12は、本体20と、ディスプレイ21a、21b及び21cと、カメラ22a、22b、22c、22d及び22eと、マイク23と、スピーカ24a、24b及び24cと、リモコン26とを備えている。また、各入出力装置(ディスプレイ21a、21b及び21c、カメラ22a、22b、22c、22d及び22e、マイク23、スピーカ24a、24b及び24c、及びリモコン26)は、本体20と接続されている。この接続は、有線回線であっても無線回線であってもよい。また、コミュニケーションサービスに参加する1人以上のユーザは、ディスプレイ21a、21b及び21cの方向に向いて机25の席につくことを想定している。
【0229】
本体20は、CPU及びメモリを備えた情報処理装置である。本体20は、各入出力装置の制御と、入出力装置から入力された映像音声データの符号化処理と、通信網10を介した通信制御処理と、通信網10を介して受信した映像音声データの復号化処理と、復号化した映像音声データの入出力装置への出力処理などとを行なう。
【0230】
ディスプレイ21a、21b及び21cは、映像などを表示する装置であり、例えば、LCD(Liguid Crystal Display)又はPDP(Plasma Display Panel)である。このディスプレイ21a、21b及び21cは、コミュニケーションサービスに参加するユーザの正面に位置するよう、机25の前面に並べて配置される。ここでは3個のディスプレイが接続されている。この3個のディスプレイには、他拠点での参加者の映像が、机25の席についているよう表示される。つまり、他拠点の映像は、ディスプレイの個数に合わせて分割して表示される。なお、4個以上のディスプレイを接続してもよい。
【0231】
カメラ22a、22b、22c、22d及び22eは、デジタルビデオカメラなどの動画撮影機能を有する撮影装置である。このカメラ22a、22b、22c、22d及び22eは、ディスプレイ21a、21b及び21cの上部に配置される。ここでは5個のカメラが接続されている。カメラ22aは、左に位置するディスプレイ21aの左右方向の中央に配置される。カメラ22eは、右に位置するディスプレイ21cの左右方向の中央に配置される。カメラ22b、22c及び22dは、中央に位置するディスプレイ21bの左右方向の中央に並べて配置される。また、隣り合わせに配置されたカメラの撮影対象は、映像の端が一部重なるものとする。これにより、コミュニケーション装置11及び12は、ディスプレイ21a、21b及び21cの方向に向いて机25の席についたユーザの映像を、切れ目なく撮影して、他拠点に送信することが可能となる。
【0232】
マイク23は、周辺の音声の集音を行なう入力装置である。このマイク23は、机25の中央に配置される。また、机25の席についたユーザの人数に合わせた個数の指向性マイクを、各ユーザの正面位置するように配置してもよい。また、1個の無指向性マイクと1個以上の指向性マイクを組み合わせて配置してもよい。これにより、他拠点において、どの方向からの音声かを把握することが可能となり、他拠点は音声を出力する方向を制御することが可能となる。
【0233】
スピーカ24a、24b及び24cは、ディスプレイ21a、21b及び21cの背後に配置される。ディスプレイの個数に合わせて、ここでは3個のスピーカが接続されている。これにより、ディスプレイ21a、21b及び21cに表示されている映像に合わせて、音声を出力するスピーカを制御することが可能となる。つまり、ディスプレイ21aに表示されているユーザの声が、スピーカ24aから出力されることになる。
【0234】
リモコン26は、ユーザからの入力指示を受け、本体20への操作入力信号を送信する操作入力装置である。なお、リモコン26は、机25の席についたユーザにより操作可能であればよい。また、ここでは、操作入力装置はリモコンとしたが、キーボード及びマウスなど、他の操作入力装置を用いてもよい。また、机25の席についたユーザの人数に合わせた個数の操作入力装置を、各ユーザの正面に位置するように配置してもよい。
【0235】
以上により、コミュニケーション装置11及び12は、他拠点とのコミュニケーションサービスを提供することが可能となる。つまり、ユーザがリモコン26を操作して接続先(他拠点)を設定して通信を確立し、コミュニケーションサービスを開始する。コミュニケーションサービス実行中は、カメラ22a、22b、22c、22d及び22eが、机25の席についたユーザの映像を撮影し、同時に、マイク23が、音声を収音する。
【0236】
本体20は、カメラ22a、22b、22c、22d及び22eとマイク23とから、自拠点のリアルタイムな映像音声データを取得し、取得した映像音声データに符号化処理を行い、符号化した映像音声データを他拠点へ送信する。また、本体20は、他拠点の映像音声データを受信し、受信した映像音声データに復号化処理を行い、復号化した映像音声データをディスプレイ21a、21b及び21cとスピーカ24a、24b及び24cとへ出力する。
【0237】
これにより、複数拠点間で相互にリアルタイムな映像及び音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。また、コミュニケーションサービス実行中に、ユーザがリモコン26を操作して、光ディスク又はSDカードなどの記憶媒体である蓄積メディアに記録されているデータを取得し、通信網10を介して送受信することで、コミュニケーションサービスに参加している他機器と当該データを共有することが可能となる。
【0238】
図20は、コミュニケーション装置11及び12の構成を示すブロック図である。
コミュニケーション装置11及び12は、制御部30、音声符号化部31、音声復号化部32、画像符号化部33、画像復号化部34、電源回路35、タイマー回路36、音声処理部37、音声出力部38、音声入力部39、表示処理部40、表示部41、画像処理部42、画像入力部43、操作入力制御部44、操作入力部45、通信制御部46、及び送受信回路47を備える。各処理部は、バスラインを通じて互いに接続されている。また、必要に応じて、バスラインには、ハードディスク装置48及び読取装置49を接続することが可能である。ハードディスク装置48と読取装置49とは、それぞれインタフェースを通じてバスラインに接続される。
【0239】
制御部30は、CPU(Central Processing Unit)50、ROM(Read Only Memory)51、及びRAM(Random Access Memory)52を備え、コミュニケーション装置全体の制御を行う。CPU50は、単一のCPUで構成されても良く、複数のCPUで構成されても良い。ROM51は、CPU50の動作を規定するコンピュータプログラムを記憶している。コンピュータプログラムは、ハードディスク装置48に記憶させることもできる。CPU50は、ROM51又はハードディスク装置48が格納するコンピュータプログラムを、必要に応じてRAM52に書き込みつつ、コンピュータプログラムが規定する処理を実行する。RAM52は、CPU50が処理を実行するのに伴って発生するデータを一時的に記憶する媒体としても機能する。ROM51には、フラッシュROMのように書き込みが可能で、電源を切っても記憶内容を保持できる不揮発性のメモリ及び記憶媒体も含まれる。また、RAM52には、電源を切ると記憶内容が保持されない揮発性のメモリ及び記憶媒体が含まれる。
【0240】
音声符号化部31は、音声処理部37から通知された音声データを、特定の符号化方法によって圧縮符号化することにより、符号化音声データに変換し、変換した符号化音声データを通信制御部46に出力する。
【0241】
音声復号化部32は、通信制御部46から通知された符号化音声データを、特定の復号化方法で復号化することにより再生可能な音声データを生成し、生成した音声データを音声処理部37に出力する。
【0242】
画像符号化部33は、画像処理部42から通知された画像データを、特定の符号化方法によって圧縮符号化することにより、符号化画像データに変換し、変換した符号化画像データを通信制御部46に出力する。
【0243】
画像復号化部34は、通信制御部46から通知された符号化画像データを、特定の復号化方法で復号化することにより再生可能な画像データを生成し、生成した画像データを表示処理部40に出力する。
【0244】
電源回路35は、電源キーのオン操作により、バッテリーパック又はアダプタ経由で受け取った電力を各処理部に供給することにより、コミュニケーション装置を動作可能な状態に起動する。また、コミュニケーション装置11及び12は、通常モード及び省電力モードを含む複数のモードを備えでもよい。省電力モード時には、電源回路35は、一部の処理部にのみに電力を供給することで、必要な電力を低減することができる。例えば、コミュニケーション装置11及び12は、他拠点からの着呼待ち状態の場合、通信制御部46及び送受信回路47のみに電力を供給する省電力モードで動作し、着呼を受けた際に省電力モードから通常モードに遷移することで、他処理部の動作を開始してもよい。
【0245】
タイマー回路36は、一定の周期でタイマー割込信号を出力する装置である。
音声出力部38は、音声データを出力する装置であり、図19で説明したスピーカ24a、24b及び24cに相当する。音声出力部38は、音声処理部37から通知された音声データを出音する。
【0246】
音声入力部39は、周辺の音声の集音を行なう入力装置であり、図19で説明したマイク23に相当する。音声入力部39は、集音した音声信号を音声処理部37に通知する。
【0247】
音声処理部37は、1つ以上の音声入力部39から通知された音声信号をデジタル変換し、変換したデジタル音声信号に対して合成又は加工処理などを行い、当該処理を行った音声信号を音声符号化部31に通知する。また、音声処理部37が、ノイズキャンセル機能などにより、よりクリアな音声データを生成することもできる。また、音声入力部39が複数個存在する場合、音声処理部37は、複数個の音声入力部39の配置情報を管理し、配置に適した音声データを生成することが可能となる。さらに、音声処理部37は、音声復号化部32から通知された音声データの分割及び加工処理などを行い、生成した音声データを音声出力部38に通知する。音声処理部37は、複数個の音声出力部38の配置情報を管理し、各音声出力部38に適した複数個の音声データを生成することが可能となる。
【0248】
表示部41は、画像及び文字等を表示する装置である。図19で説明したディスプレイ21a、21b及び21cに相当する。表示部41は、表示処理部40から通知された表示データを画面に表示する。
【0249】
表示処理部40は、画像復号化部34から通知された画像データの分割及び加工処理などを行い、生成した表示データを表示部41に通知する。表示処理部40は、複数個の表示部41の配置情報を管理し、各表示部41に適した複数個の表示データを生成することが可能となる。また、表示処理部40は、画像処理部42から自拠点の画像データを受け取り、表示部41に出力することで、自拠点の画像を表示することも可能である。
【0250】
画像入力部43は、デジタルビデオカメラなどの動画撮影機能を有する撮影装置であり、図19で説明したカメラ22a、22b、22c、22d及び22eに相当する。画像入力部43は、撮影した画像データを画像処理部42に通知する。また、画像入力部43は、デジタルスチルカメラなどの静止画撮影機能のみの撮影装置であってもよく、撮影した静止画データを一定間隔で画像処理部42に通知してもよい。
【0251】
画像処理部42は、1つ以上の画像入力部43から通知される画像データの合成及び加工処理などを行い、画像符号化部33に通知する。画像処理部42は、複数個の画像入力部43の配置情報を管理し、配置に適した画像データを生成することが可能となる。また、画像処理部42は、表示処理部40に通知することで、自拠点の画像データを表示部41に直接表示することも可能である。
【0252】
操作入力部45は、ユーザからの入力指示を受け、当該入力指示に対応する操作入力信号を操作入力制御部44に通知する装置であり、図19で説明したリモコン26に相当する。なお、操作入力部45は、キーボード及びマウスなど、他の操作入力装置であってもよい。また、操作入力部45は、ジャイロ機能及びセンサー機能などを用いて、入力指示を受けてもよい。
【0253】
操作入力制御部44は、操作入力部45から通知された操作入力信号を受け取り、受け取った操作入力信号を対応する制御データに変換したうえで制御部30に出力する。
【0254】
送受信回路47は、ネットワークを介したデータ送受信を行なう回路である。例えば、ネットワークが無線回線の場合、送受信回路47は、通信制御部46から受け取った送信データを、所定の方式で変調し、変調した送受信データを無線搬送波に乗せて送信する機能と、アンテナに誘起した高周波信号の中から所定の周波数帯の信号を受信し、受信した信号を復調したうえで通信制御部46に通知する機能を有する。
【0255】
通信制御部46は、送受信回路47を用いて、他機器と自身との間で通信を確立したうえで、ネットワークを介した映像音声データの送受信を行なう。例えば、呼接続制御(Call Control)機能、及びデータ通信制御(IP、RTP、TCPなど)機能を有している。また、音声符号化部31から通知された符号化音声データと、画像符号化部33から通知された符号化画像データとを受け取り、受け取った符号化音声データ及び符号化画像データを所定の方式で多重化することにより、送信する映像音声データを生成する。また、受信した映像音声データを、所定の方式で多重分離することにより、符号化音声データと符号化画像データとに分離し、分離した符号化音声データを音声復号化部32に通知し、分離した符号化画像データを画像復号化部34に通知する。また、コミュニケーション装置11及び12が複数の異なるネットワークに接続可能である場合、コミュニケーション装置11及び12は、各ネットワークに対応する複数個の通信制御部46と送受信回路47とを備える構成でもよい。
【0256】
ハードディスク装置48は、内蔵するハードディスクに対して、コンピュータプログラム、又はデータを書き込み及び読み出す装置である。
【0257】
読取装置49は、記録媒体(例えばCD、DVD又はメモリカードなど)に記録されたコンピュータプログラム、又はデータを読み取る装置である。
【0258】
なお、上述した音量監視装置100〜800に含まれる送信部104以外の処理部は、音声処理部37に相当し、送信部104及び受信部105は、通信制御部46及び送受信回路47に相当する。また、スピーカ111及び121は、音声出力部38に相当し、マイクロホン112及び122は、音声入力部39に相当し、表示部106は、表示処理部40及び表示部41に相当する。
【0259】
以上のように、コミュニケーション装置11及び12は、複数の入出力装置を備えたコンピュータとして構成されており、他拠点とのコミュニケーションサービスを提供することが可能となる。
【0260】
(その他変形例)
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【0261】
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0262】
(2)上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM及びRAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
【0263】
(3)上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
【0264】
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【0265】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、又は半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【0266】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【0267】
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【0268】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【0269】
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【0270】
本発明は、音量監視装置に適用でき、特に、音声会議システム、テレビ会議システム、及びハンズフリー電話などに用いられる音量監視装置に適用できる。
【図面の簡単な説明】
【0271】
【図1】本発明の実施の形態1に係る音響システムの構成を示す図である。
【図2】本発明の実施の形態1に係る音量監視装置の構成を示すブロック図である。
【図3】本発明の実施の形態1に係る音量監視装置の動作の流れを示すフローチャートである。
【図4】本発明の実施の形態1に係るスピーカにより拡声された音声信号が、マイクロホンで収音される状況を示す図である。
【図5A】本発明の実施の形態1に係るスピーカにより拡声されるスピーカ入力信号の一例を示す図である。
【図5B】本発明の実施の形態1に係るマイクロホンより収音される直接波信号の一例を示す図である。
【図6】本発明の実施の形態2に係る音量監視装置の構成を示すブロック図である。
【図7】本発明の実施の形態2に係る音響伝達特性の一例を示す図である。
【図8】本発明の実施の形態2に係る音量監視装置の動作の流れを示すフローチャートである。
【図9】本発明の実施の形態3に係る音量監視装置の構成を示すブロック図である。
【図10】本発明の実施の形態3に係る音量監視装置の動作の流れを示すフローチャートである。
【図11】本発明の実施の形態4に係る音量監視装置の構成を示すブロック図である。
【図12】本発明の実施の形態4に係る音量監視装置の動作の流れを示すフローチャートである。
【図13】本発明の実施の形態5に係る音量監視装置の構成を示すブロック図である。
【図14】本発明の実施の形態6に係る音量監視装置の構成を示すブロック図である。
【図15】本発明の実施の形態7に係る音量監視装置の構成を示すブロック図である。
【図16】本発明の実施の形態8に係る音量監視装置の構成を示すブロック図である。
【図17】本発明の実施の形態9に係る2拠点でのコミュニケーションシステムの構成を示す図である。
【図18】本発明の実施の形態9に係る多拠点でのコミュニケーションシステムの構成の一例を示す図である。
【図19】本発明の実施の形態9に係るコミュニケーション装置が備える入出力装置の配置の一例を示す図である。
【図20】本発明の実施の形態9に係るコミュニケーション装置の構成の一例を示すブロック図である。
【符号の説明】
【0272】
1 音響システム
2、3 コミュニケーションシステム
10 通信網
11、12 コミュニケーション装置
13 ノートPC
14 カメラ
15 PDA
16 携帯電話
17 サーバ
18 インターネット
19 ディスクトップPC
20 本体
21a、21b、21c ディスプレイ
22a、22b、22c、22d、22e カメラ
23 マイク
24a、24b、24c スピーカ
25 机
26 リモコン
30 制御部
31 音声符号化部
32 音声復号化部
33 画像符号化部
34 画像復号化部
35 電源回路
36 タイマー回路
37 音声処理部
38 音声出力部
39 音声入力部
40 表示処理部
41 表示部
42 画像処理部
43 画像入力部
44 操作入力制御部
45 操作入力部
46 通信制御部
47 送受信回路
50 CPU
51 ROM
52 RAM
100、200、300、400、500、600、700、800 音量監視装置
101、201 距離算出部
102、202 直接波音量算出部
103 スピーカ位置音量算出部
104 送信部
105 受信部
106 表示部
110、120 ユーザ
111、121 スピーカ
112、122、712a、712b マイクロホン
131 距離情報
132 直接波音量情報
133 スピーカ位置音量情報
141 反射物
142 直接波
143 反射波
153 反射波信号
162、163 ピーク
207 音響伝達特性算出部
237 音響伝達特性
308 距離別音量算出部
338 距離別音量情報
409、509 残響特性算出部
410 騒音レベル算出部
411 距離別音量調整部
439 残響特性
440 騒音レベル
441 調整距離別音量情報
612 警告部
642 警告情報
713 無指向化部
742a、742b 収音信号
814 拡声領域算出部
844 拡声領域情報

【特許請求の範囲】
【請求項1】
通信網を経由して、互いに音声を送受信する第1の音声通信端末と第2の音声通信端末とを含む音響システムに用いられ、前記第2の音声通信端末から送信された音声が、前記第1の音声通信端末で出音される音量を監視する音量監視装置であって、
前記第1の音声通信端末は、
前記第2の音声通信端末により、前記通信網を経由して送信されるスピーカ入力信号に基づき、音声を出音する第1のスピーカと、
音声を収音することにより収音信号を生成し、当該収音信号を前記第2の音声通信端末に送信する第1のマイクロホンとを備え、
前記音量監視装置は、
前記収音信号に含まれる、前記第1のマイクロホンの位置における、前記第1のスピーカから出音された音声のうち直接波の音量である直接波音量を算出する直接波音量算出部と、
前記第1のスピーカと前記第1のマイクロホンとの距離を算出する距離算出部と、
前記距離算出部により算出された前記距離と、前記直接波音量算出部により算出された前記直接波音量とを用いて、前記第1のスピーカから予め定められた距離における、当該第1のスピーカにより出音される音声の音量である第1音量を算出する第1音量算出部と、
前記第1音量を、前記通信網を経由して前記第2の音声通信端末に送信する送信部とを備える
音量監視装置。
【請求項2】
前記第1音量算出部は、前記第1音量として、前記第1のスピーカの位置における、当該第1のスピーカにより出音される音声の音量であるスピーカ位置音量を算出する
請求項1記載の音量監視装置。
【請求項3】
前記音量監視装置は、さらに、
前記第1のスピーカと前記第1のマイクロホンとの間の音響伝達特性を算出する音響伝達特性算出部を備え、
前記直接波音量算出部、及び前記距離算出部のうち少なくとも一方は、前記音響伝達特性を用いて、前記直接波音量、又は前記距離を算出する
請求項1又は2記載の音量監視装置。
【請求項4】
前記距離算出部は、前記第1のスピーカから出音された音声が前記第1のマイクロホンに収音されるまでの時間遅延を、前記音響伝達特性を用いて算出し、当該時間遅延から前記距離を算出し、
前記直接波音量算出部は、前記時間遅延と、前記スピーカ入力信号と、前記音響伝達特性とを用いて、前記直接波音量を算出する
請求項3記載の音量監視装置。
【請求項5】
前記第1音量算出部は、
前記距離算出部により算出された前記距離と、前記直接波音量算出部により算出された前記直接波音量とを用いて、前記第1のスピーカにより出音された音声の、前記第1のスピーカから異なる距離離れた複数の位置における音量である複数の距離別音量を、前記第1音量として算出する距離別音量算出部を備える
請求項1記載の音量監視装置。
【請求項6】
前記音量監視装置は、さらに、
前記第1のスピーカが設置された空間の残響特性を算出する残響特性算出部を備え、
前記第1音量算出部は、さらに、
前記残響特性を用いて前記距離別音量算出部により算出された前記複数の距離別音量を調整する残響調整部を備え、
前記送信部は、前記第1音量として、前記残響調整部により調整された前記複数の距離別音量を、前記通信網を経由して前記第2の音声通信端末に送信する
請求項5に記載の音量監視装置。
【請求項7】
前記音量監視装置は、さらに、
前記第1のスピーカと前記第1のマイクロホンとの間の音響伝達特性を算出する音響伝達特性算出部を備え、
前記残響特性算出部は、前記音響伝達特性を用いて前記残響特性を算出する
請求項6記載の音量監視装置。
【請求項8】
前記音量監視装置は、さらに、
前記第1の音声通信端末における騒音の音量である騒音レベルを算出する騒音レベル算出部を備え、
前記第1算出部は、さらに、
前記第1音量が前記騒音レベル以下の場合に、当該第1音量を実質的に無音状態に調整する騒音調整部を備え、
前記送信部は、前記騒音調整部により調整された前記第1音量を、前記通信網を経由して前記第2の音声通信端末に送信する
請求項1〜7のいずれか1項に記載の音量監視装置。
【請求項9】
前記音量監視装置は、さらに、
前記第1音量が予め定められた音量より大きい場合に、前記通信網を経由して、前記第2の音声通信端末に、前記第1の音声通信端末において過大音が拡声されたことを警告する情報を送信する警告部を備える
請求項1〜8のいずれか1項に記載の音量監視装置。
【請求項10】
前記音量監視装置は、さらに、
前記距離別音量算出部により算出された複数の距離別音量を用いて、前記第1スピーカにより出力された音声が予め定められた音量以上となる前記第1のスピーカからの距離を算出し、当該距離を示す拡声領域情報を生成する拡声領域算出部を備え、
前記送信部は、さらに、前記拡声領域情報を、前記通信網を経由して、前記第2の音声通信端末に送信する
請求項5記載の音量監視装置。
【請求項11】
前記第1のマイクロホンは指向性を有する収音信号を生成し、
前記音量監視装置は、さらに、
前記第1マイクロホンにより生成された前記指向性を有する収音信号を、無指向化する無指向化部を備え、
前記直接波音量算出部は、前記無指向化部により無指向化された収音信号に含まれる前記直接波音量を算出する
請求項1〜10のいずれか1項に記載の音量監視装置。
【請求項12】
通信網を経由して、互いに音声を送受信する第1の音声通信端末と第2の音声通信端末とを含む音響システムに用いられ、前記第2の音声通信端末から送信された音声が、前記第1の音声通信端末で出音される音量を監視する音量監視方法であって、
前記第1の音声通信端末は、
前記第2の音声通信端末により、前記通信網を経由して送信されるスピーカ入力信号に基づき、音声を出音する第1のスピーカと、
音声を収音することにより収音信号を生成し、当該収音信号を前記第2の音声通信端末に送信する第1のマイクロホンとを備え、
前記音量監視方法は、
前記収音信号に含まれる、前記第1のマイクロホンの位置における、前記第1のスピーカから出音された音声のうち直接波の音量である直接波音量を算出する直接波音量算出ステップと、
前記第1のスピーカと前記第1のマイクロホンとの距離を算出する距離算出ステップと、
前記距離算出ステップで算出された前記距離と、前記直接波音量算出ステップで算出された前記直接波音量とを用いて、前記第1のスピーカから予め定められた距離における、当該第1のスピーカにより出音される音声の音量である第1音量を算出する第1音量算出ステップと、
前記第1音量を、前記通信網を経由して前記第2の音声通信端末に送信する送信ステップとを含む
音量監視方法。
【請求項13】
通信網を経由して、互いに音声を送受信する第1の音声通信端末と第2の音声通信端末とを含む音響システムに用いられ、前記第2の音声通信端末から送信された音声が、前記第1の音声通信端末で出音される音量を監視する音量監視方法のプログラムであって、
前記第1の音声通信端末は、
前記第2の音声通信端末により、前記通信網を経由して送信されるスピーカ入力信号に基づき、音声を出音する第1のスピーカと、
音声を収音することにより収音信号を生成し、当該収音信号を前記第2の音声通信端末に送信する第1のマイクロホンとを備え、
前記プログラムは、
前記収音信号に含まれる、前記第1のマイクロホンの位置における、前記第1のスピーカから出音された音声のうち直接波の音量である直接波音量を算出する直接波音量算出ステップと、
前記第1のスピーカと前記第1のマイクロホンとの距離を算出する距離算出ステップと、
前記距離算出ステップで算出された前記距離と、前記直接波音量算出ステップで算出された前記直接波音量とを用いて、前記第1のスピーカから予め定められた距離における、当該第1のスピーカにより出音される音声の音量である第1音量を算出する第1音量算出ステップと、
前記第1音量を、前記通信網を経由して前記第2の音声通信端末に送信する送信ステップとをコンピュータに実行させる
プログラム。
【請求項14】
通信網を経由して、互いに音声を送受信する第1の音声通信端末と第2の音声通信端末とを含む音響システムに用いられ、前記第2の音声通信端末から送信された音声が、前記第1の音声通信端末で出音される音量を監視する集積回路であって、
前記第1の音声通信端末は、
前記第2の音声通信端末により、前記通信網を経由して送信されるスピーカ入力信号に基づき、音声を出音する第1のスピーカと、
音声を収音することにより収音信号を生成し、当該収音信号を前記第2の音声通信端末に送信する第1のマイクロホンとを備え、
前記集積回路は、
前記収音信号に含まれる、前記第1のマイクロホンの位置における、前記第1のスピーカから出音された音声のうち直接波の音量である直接波音量を算出する直接波音量算出部と、
前記第1のスピーカと前記第1のマイクロホンとの距離を算出する距離算出部と、
前記距離算出部により算出された前記距離と、前記直接波音量算出部により算出された前記直接波音量とを用いて、前記第1のスピーカから予め定められた距離における、当該第1のスピーカにより出音される音声の音量である第1音量を算出する第1音量算出部と、
前記第1音量を、前記通信網を経由して前記第2の音声通信端末に送信する送信部とを備える
集積回路。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate


【公開番号】特開2010−103853(P2010−103853A)
【公開日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願番号】特願2008−274759(P2008−274759)
【出願日】平成20年10月24日(2008.10.24)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】