音声ミキシング装置及びプログラム
【課題】背景ノイズの多い環境で音声会議を使用する際に、全ての発話者の音声を聞き取ることができる音声ミキシング装置を提供することを目的とする。
【解決手段】この目的を達成するために本発明の音声ミキシング装置は、外部からの複数の音声情報の受信を行なう音声情報受信手段と、音声情報受信手段の音声情報毎の出力に有音先頭部分の有無を検出する有音先頭部分有無検出手段と、音声情報受信手段の音声情報毎の出力の中で有音閾値以上の音声の数を検出する音声数検出手段と、音声数検出手段の出力が有効音声数閾値未満の場合であって有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないゲイン制御手段と、ゲイン制御手段の音声情報毎の出力を加算する音声情報合成手段と、音声情報合成手段の出力を外部に送信する音声情報送信手段とを備えた構成を有している。
【解決手段】この目的を達成するために本発明の音声ミキシング装置は、外部からの複数の音声情報の受信を行なう音声情報受信手段と、音声情報受信手段の音声情報毎の出力に有音先頭部分の有無を検出する有音先頭部分有無検出手段と、音声情報受信手段の音声情報毎の出力の中で有音閾値以上の音声の数を検出する音声数検出手段と、音声数検出手段の出力が有効音声数閾値未満の場合であって有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないゲイン制御手段と、ゲイン制御手段の音声情報毎の出力を加算する音声情報合成手段と、音声情報合成手段の出力を外部に送信する音声情報送信手段とを備えた構成を有している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音声情報が入力される音声通話システムに使用される音声ミキシング装置に関し、特に背景ノイズの多い飛行機内で客室乗務員等が各担当持場に居ながらマイクとスピーカから成るハンドセットを用いて会議を行なう場合の音声統括サーバ内の音声ミキシング装置に関する。
【背景技術】
【０００２】
以下に従来の音声ミキシング装置について説明する。
【０００３】
従来、音声ミキシング装置は特許文献１に記載されたものが知られている。図９は特許文献１に記載された音声ミキシング装置の構成を示すブロック図である。図９において、１〜３は音声情報送受信部で４〜６は信号レベル検出部、７は優先選択部、８は制御部、９は音声情報合成部である。
【０００４】
以上のように構成された従来の音声ミキシング装置について、以下その動作について説明する。まず、ネットワークを介した音声情報は音声情報送受信部１〜３で受信され、信号レベル検出部４〜６及び優先選択部９へ伝達される。５地点以上の会議室からの音声を無条件に合成した場合、各会議室からのエコーが重畳され、合成された音声が聞きとりにくくなる問題があり、運用上・技術上から４地点程度までの合成が限度であることから、信号レベル検出部４〜６から音声の有無及び音声の有音部分を認識した時刻を受信した制御部８は、音声の有音部分が検出された回線数が予め設定されたＮ（Ｎは正の整数）回線より少ないかどうかをチェックし、少ない場合には優先選択部９を制御し、音声の有音部分が検出された回線のみを音声情報合成部７に接続する。また、多い場合にはこれら回線で音声の有音部分が認識された時刻を時系列的にチェックし、音声の発生した順序に従い早いものからＮ回線を選択し、優先選択部９を制御し、選択されたＮ回線を音声情報合成部７へ接続する。
【特許文献１】特開平４−８４５５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら上記の従来の構成では、有音部分が認識された時刻を時系列的にチェックし、音声の発生した順序に従い早いものから選択するので、場合によっては重要な発言をしている人の音声を破棄してしまうという問題点があった。
【０００６】
また、背景ノイズが多い場合は聞き取りにくいという問題点があった。
【０００７】
本発明は上記従来の問題点を解決するもので、背景ノイズの多い環境で音声会議を使用する際に、全ての発話者の音声を聞き取ることができる音声ミキシング装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この目的を達成するために本発明の音声ミキシング装置は、外部からの複数の音声情報の受信を行なう音声情報受信手段と、前記音声情報受信手段の音声情報毎の出力に有音先頭部分の有無を検出する有音先頭部分有無検出手段と、前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないゲイン制御手段と、前記ゲイン制御手段の音声情報毎の出力を加算する音声情報合成手段と、前記音声情報合成手段の出力を外部に送信する音声情報送信手段と、を備えた構成を有している。
【０００９】
また、前記音声情報受信手段の音声情報毎の出力の中で有音閾値以上の音声の数を検出する音声数検出手段を更に有し、ゲイン制御手段は、前記音声数検出手段の出力が有効音声数閾値未満の場合であって前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げない構成を有している。
【発明の効果】
【００１０】
以上のように本発明は、背景ノイズの多い環境で音声会議を使用する際に、全ての発話者の音声を聞き取ることができるという優れた効果が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について、図を用いて説明する。
（実施の形態１）
図１は本発明の実施の形態１における音声ミキシング装置の構成を示すブロック図である。入力音声数が少ない場合には、背景ノイズが多い場合であっても会話の有音先頭部分のゲインを上げると聞き取り易い。しかし、入力音声数が多い場合には、会話の先頭音のゲインを上げると、会話の途中から参加する話者の音声が、継続中の会話の障害になり聞き取り難い。そこで、以下の構成を有する。１００はハンドセット等の音声端末との間で音声情報を伝達するネットワーク、１０１〜１０２はネットワーク１００との間で音声情報を送受信する第１の音声情報送受信部〜第Ｍ（Ｍは正整数）の音声情報送受信部、１０３〜１０４は第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２の受信出力から有音閾値１２０以上の音声レベル（以下、「有音レベル」という）の有無を検出する第１の信号レベル検出部〜第Ｍの信号レベル検出部、１０５〜１０６は第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の出力において有音閾値１２０以上の音声レベルを有する先頭部分である有音先頭部分の有無検出を行なう第１の有音先頭部分有無検出部〜第Ｍの有音先頭部分有無検出部、１２１は第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の出力の中で有音閾値１２０以上の音声の数（以下、「有効音声数」という）を検出する音声数検出部、１２３は有効音声数が有効音声数閾値１２２未満か否かを判断するゲイン変更判断部、１０７〜１０８は第１の有音先頭部分有無検出部１０５〜第Ｍの有音先頭部分有無検出部１０６の出力についてゲイン変更判断部１２３の出力がゲート信号として制御する第１のゲート部〜第Ｍのゲート部、１０９〜１１０は第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２の受信出力を第１のゲート部１０７〜第Ｍのゲート部１０８の出力に基いてゲイン制御する第１のゲイン制御部〜第Ｍのゲイン制御部、１２４は第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０の出力を加算する音声情報合成部である。音声情報合成部１２４の出力は第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２に供給されネットワーク１００を介して音声端末に送られる。
【００１２】
次に本発明の実施の形態１における音声ミキシング装置の動作について図２〜８を用いて説明する。図２は本発明の実施の形態１における第ｍ（ｍは１〜Ｍの中の任意の整数）の信号レベル検出部の出力の模式図である。第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の一構成要素である第ｍの信号レベル検出部では、まず時刻ｔ（ｎ）における有音部分の信号レベルであるアナログ有音レベル（Ｖ（ｎ）（ｍ））を算出し、次にアナログ有音レベルと有音閾値１２０との大小比較を行い２値化有音レベル（ＢＶ（ｎ）（ｍ））（有音閾値以上の場合は１、有音閾値未満の場合は０）を算出し出力する。ここで無音、無声音の場合はレベルの値は０となる。
【００１３】
図３は本発明の実施の形態１における第ｍの有音先頭部分有無検出部の出力の模式図である。第１の有音先頭部分有無検出部１０５〜第Ｍの有音先頭部分有無検出部１０６の一構成要素である第ｍの有音先頭部分有無検出部では第ｍの信号レベル検出部の出力から有音先頭部分の有無検出を行なう。有音先頭部分の有無検出の仕方としては例えば、現時刻での値ＢＶ（ｎ）（ｍ）−前時刻での値ＢＶ（ｎ−１）（ｍ）が１の場合にのみ有音先頭部分を検出したとすることができ、０または−１の場合は有音先頭部分を検出しなかったとすることができる。有音先頭部分を検出した場合はゲインアップ、そうでない場合はゲイン不変とする信号を出力する。
【００１４】
図４は本発明の実施の形態１における音声数検出部１２１の出力の模式図である。音声数検出部１２１では、第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の各出力である２値化有音レベルＢＶ（ｎ）（ｍ）の値を加算した値を有効音声数として検出する。時刻ｔ（ｎ）における有効音声数をＶＰ（ｎ）で表す。
【００１５】
図５は本発明の実施の形態１におけるゲイン変更判断部の出力の模式図である。ゲイン変更判断部１２３では、有効音声数が有効音声数閾値１２２未満か否かを大小比較により判断する。有効音声数が有効音声数閾値以上の場合はゲイン変更ＯＦＦ、有効音声数閾値未満の場合はゲイン変更ＯＮとして出力する。
【００１６】
図６は本発明の実施の形態１における第ｍのゲート部の出力の模式図である。第１のゲート部１０７〜第Ｍのゲート部１０８の一構成要素である第ｍのゲート部では、第ｍの有音先頭部分有無検出部の出力をゲイン変更判断部１２３の出力により制御する。例えば第ｍの有音先頭部分有無検出部がゲインアップを示している場合に、ゲイン変更判断部１２３の出力がゲイン変更ＯＮのときはゲインアップを出力するが、ゲイン変更ＯＦＦのときはゲイン不変を出力する。また、第ｍの有音先頭部分有無検出部がゲイン不変を示している場合には、ゲイン変更判断部１２３の出力がゲイン変更ＯＮおよびゲイン変更ＯＦＦの何れのときもゲイン不変を出力する。第１のゲート部１０７〜第Ｍのゲート部１０８の出力は各々第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０のゲインを制御する。ゲインアップの場合は音量を上げる。ゲイン不変の場合は音量を変更しない。
【００１７】
図７は本発明の実施の形態１における音声ミキシング装置のゲイン制御のフローチャートである。Ｓ７０１では、ネットワーク１００を介した音声情報は第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２で受信され時刻ｔ（ｎ）における第１の音声情報〜第Ｍの音声情報が入力される。Ｓ７０２では、第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０全てのゲインをリセットする。Ｓ７０３では、第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４において各々が対応する第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２の出力の有音レベルを検出する。Ｓ７０４では、第１の有音先頭部分有無検出部１０５〜第Ｍの有音先頭部分有無検出部１０６において各々が対応する第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の出力から有音先頭部分の有無検出を行なう。Ｓ７０５では、音声数検出部１２１において有効音声数を検出する。Ｓ７０６では、ゲイン変更判断部１２３において有効音声数が有効音声数閾値未満か否かを判断する。有効音声数閾値以上の場合はＳ７０７に進み、有効音声数閾値未満の場合はＳ７０８に進む。Ｓ７０７では、第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０についてゲイン不変とする。Ｓ７０８では、有音先頭部分有りを検出した該当するゲイン制御部についてのみゲインアップし他のゲイン制御部についてゲイン不変とする。Ｓ７０９では、第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０の出力を音声情報合成部１２４に入力し音声情報合成する。音声情報合成部１２４の出力は第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２に入力され、ネットワーク１００を介して各発話者に送られる。Ｓ７１０では、時刻ｔ（ｎ）における処理を終了し時刻ｔ（ｎ＋１）における処理のために待機する。
【００１８】
図８は本発明の実施の形態１における音声ミキシング装置の動作説明のための音声の状態図である。話者Ａ〜Ｅが会話に参加しており、図示のタイミングで会話がなされているとする。有効音声数閾値＝３とする。時刻ｔ（ａ）で話者Ｂの有音先頭部分が検出された際、有効音声数を算出する。話者Ａが発話中であるので、Ｂを含めた有効音声数は２となる。有効音声数閾値と有効音声数を比較し、閾値未満となるため、話者Ｂの音声パケットはゲインアップされ、音声情報合成される。時刻ｔ（ｂ）で話者Ｅの有音先頭部分が検出された場合は、ＡとＢが発話中であるので、有効音声数は３となる。有効音声数閾値以上となり話者Ｅの音声パケットはゲイン不変のまま音声情報合成される。時刻ｔ（ｃ）でも同様で、有効音声数は３となる。有効音声数閾値以上となり話者Ａの音声パケットはゲイン不変のまま音声情報合成される。時刻ｔ（ｄ）で話者Ｄの有音先頭部分が検出された場合は、有効音声数が２なので話者Ｄの音声パケットはゲインアップされ音声情報合成される。
【００１９】
以上のように本実施の形態１によれば、背景ノイズの多い環境で少人数で音声会議を使用する際には、聞き取りにくいとされる会話の先頭音のゲインアップを行うので聞き返しなどが少なくなり、効率よく会話を進めることができる。一方、多人数で音声会議を使用する際には割り込み音声の会話の先頭音のゲインアップを停止するため、会話の途中から参加する話者の音声が、継続中の会話の障害とならない。これにより、ユーザは音量調整など会議の妨げとなる操作をすることなく音声会議を使用することができる。
【００２０】
尚、以上の説明ではＭ個の音声情報送受信部、信号レベル検出部、有音先頭部分有無検出部、ゲート部、ゲイン制御部を前提とした。しかし、時分割処理を行う場合は各々について１個備えればよい。
【００２１】
また、上記説明した手段を機能させるためのプログラムを用いてソフトウェア処理とすることも可能である。
【００２２】
さらに、以上の説明では第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の入力を第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２からの受信入力としたが、第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４への入力は、第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２からの受信入力にＡＧＣを介して参加者の音量レベルを調整したものとしてもよい。この場合はＡＧＣにより、マイクと話者との距離が異なることなどが原因となる参加者の音量レベルの差異を取り除くことにより、より快適な通話環境となる。
（実施の形態２）
実施の形態１においては参加人数の多少に拘わらず適用できる音声ミキシング装置について説明した。しかし、参加人数が有効音声数未満であることが定まっている場合は有効音声数の大小を考慮する必要がないため以下の様にすることができる。
【００２３】
図９は本発明の実施の形態２における音声ミキシング装置の構成を示すブロック図である。図１と比較して省くことができる手段及び信号は、音声数検出部１２１、ゲイン変更判断部１２３、第１のゲート部１０７〜第Ｍのゲート部１０８及び有効音声数閾値１２２である。この場合は第１の有音先頭部分有無検出部１０５〜第Ｍの有音先頭部分有無検出部１０６の出力が有音先頭部分を検出した場合はゲインアップ、そうでない場合はゲイン不変とする信号が第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０に直接供給される。
【００２４】
図１０は本発明の実施の形態２における音声ミキシング装置のゲイン制御のフローチャートである。図７と比較して省くことができるステップは、音声数検出部１２１において有効音声数を検出すること（Ｓ７０５）、ゲイン変更判断部１２３において有効音声数が有効音声数閾値未満か否かを判断すること（Ｓ７０６）、第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０の全てについてゲイン不変とすること（Ｓ７０７）である。
【００２５】
以上のように本実施の形態２によれば、実施の形態１に比較して多人数で音声会議を使用する際に必要な手段等を省くことができ、これにより、ユーザは音量調整など会議の妨げとなる操作をすることなく音声会議を経済的に使用することができる。
【００２６】
尚、以上の説明ではＭ個の音声情報送受信部、信号レベル検出部、有音先頭部分有無検出部、ゲイン制御部を前提とした。しかし、時分割処理を行う場合は各々について１個備えればよい。
【００２７】
また、上記説明した手段を機能させるためのプログラムを用いてソフトウェア処理とすることも可能である。
【産業上の利用可能性】
【００２８】
本発明の音声ミキシング装置は、適切な音量ですべての発話者の音声を聞き取ることができるという優れた効果を有しているため、飛行機など背景ノイズが高い機中などにおけるインターコミュニケーションシステム等において有用である。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態１における音声ミキシング装置の構成を示すブロック図
【図２】本発明の実施の形態１における第ｍの信号レベル検出部の出力の模式図
【図３】本発明の実施の形態１における第ｍの有音先頭部分有無検出部の出力の模式図
【図４】本発明の実施の形態１における音声数検出部の出力の模式図
【図５】本発明の実施の形態１におけるゲイン変更判断部の出力の模式図
【図６】本発明の実施の形態１における第ｍのゲート部の出力の模式図
【図７】本発明の実施の形態１における音声ミキシング装置のゲイン制御のフローチャート
【図８】本発明の実施の形態１における音声ミキシング装置の動作説明のための音声の状態図
【図９】本発明の実施の形態２における音声ミキシング装置の構成を示すブロック図
【図１０】本発明の実施の形態２における音声ミキシング装置のゲイン制御のフローチャート
【図１１】従来の音声ミキシング装置の構成を示すブロック図
【符号の説明】
【００３０】
１００ ネットワーク
１０１〜１０２ 第１〜第Ｍの音声情報送受信部
１０３〜１０４ 第１〜第Ｍの信号レベル検出部
１０５〜１０６ 第１〜第Ｍの有音先頭部分有無検出部
１０７〜１０８ 第１〜第Ｍのゲート部
１０９〜１１０ 第１〜第Ｍのゲイン制御部
１２０ 有音閾値
１２１ 音声数検出部
１２２ 有効音声数閾値
１２３ ゲイン変更判断部
１２４ 音声情報合成部
【技術分野】
【０００１】
本発明は、複数の音声情報が入力される音声通話システムに使用される音声ミキシング装置に関し、特に背景ノイズの多い飛行機内で客室乗務員等が各担当持場に居ながらマイクとスピーカから成るハンドセットを用いて会議を行なう場合の音声統括サーバ内の音声ミキシング装置に関する。
【背景技術】
【０００２】
以下に従来の音声ミキシング装置について説明する。
【０００３】
従来、音声ミキシング装置は特許文献１に記載されたものが知られている。図９は特許文献１に記載された音声ミキシング装置の構成を示すブロック図である。図９において、１〜３は音声情報送受信部で４〜６は信号レベル検出部、７は優先選択部、８は制御部、９は音声情報合成部である。
【０００４】
以上のように構成された従来の音声ミキシング装置について、以下その動作について説明する。まず、ネットワークを介した音声情報は音声情報送受信部１〜３で受信され、信号レベル検出部４〜６及び優先選択部９へ伝達される。５地点以上の会議室からの音声を無条件に合成した場合、各会議室からのエコーが重畳され、合成された音声が聞きとりにくくなる問題があり、運用上・技術上から４地点程度までの合成が限度であることから、信号レベル検出部４〜６から音声の有無及び音声の有音部分を認識した時刻を受信した制御部８は、音声の有音部分が検出された回線数が予め設定されたＮ（Ｎは正の整数）回線より少ないかどうかをチェックし、少ない場合には優先選択部９を制御し、音声の有音部分が検出された回線のみを音声情報合成部７に接続する。また、多い場合にはこれら回線で音声の有音部分が認識された時刻を時系列的にチェックし、音声の発生した順序に従い早いものからＮ回線を選択し、優先選択部９を制御し、選択されたＮ回線を音声情報合成部７へ接続する。
【特許文献１】特開平４−８４５５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら上記の従来の構成では、有音部分が認識された時刻を時系列的にチェックし、音声の発生した順序に従い早いものから選択するので、場合によっては重要な発言をしている人の音声を破棄してしまうという問題点があった。
【０００６】
また、背景ノイズが多い場合は聞き取りにくいという問題点があった。
【０００７】
本発明は上記従来の問題点を解決するもので、背景ノイズの多い環境で音声会議を使用する際に、全ての発話者の音声を聞き取ることができる音声ミキシング装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この目的を達成するために本発明の音声ミキシング装置は、外部からの複数の音声情報の受信を行なう音声情報受信手段と、前記音声情報受信手段の音声情報毎の出力に有音先頭部分の有無を検出する有音先頭部分有無検出手段と、前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないゲイン制御手段と、前記ゲイン制御手段の音声情報毎の出力を加算する音声情報合成手段と、前記音声情報合成手段の出力を外部に送信する音声情報送信手段と、を備えた構成を有している。
【０００９】
また、前記音声情報受信手段の音声情報毎の出力の中で有音閾値以上の音声の数を検出する音声数検出手段を更に有し、ゲイン制御手段は、前記音声数検出手段の出力が有効音声数閾値未満の場合であって前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げない構成を有している。
【発明の効果】
【００１０】
以上のように本発明は、背景ノイズの多い環境で音声会議を使用する際に、全ての発話者の音声を聞き取ることができるという優れた効果が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について、図を用いて説明する。
（実施の形態１）
図１は本発明の実施の形態１における音声ミキシング装置の構成を示すブロック図である。入力音声数が少ない場合には、背景ノイズが多い場合であっても会話の有音先頭部分のゲインを上げると聞き取り易い。しかし、入力音声数が多い場合には、会話の先頭音のゲインを上げると、会話の途中から参加する話者の音声が、継続中の会話の障害になり聞き取り難い。そこで、以下の構成を有する。１００はハンドセット等の音声端末との間で音声情報を伝達するネットワーク、１０１〜１０２はネットワーク１００との間で音声情報を送受信する第１の音声情報送受信部〜第Ｍ（Ｍは正整数）の音声情報送受信部、１０３〜１０４は第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２の受信出力から有音閾値１２０以上の音声レベル（以下、「有音レベル」という）の有無を検出する第１の信号レベル検出部〜第Ｍの信号レベル検出部、１０５〜１０６は第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の出力において有音閾値１２０以上の音声レベルを有する先頭部分である有音先頭部分の有無検出を行なう第１の有音先頭部分有無検出部〜第Ｍの有音先頭部分有無検出部、１２１は第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の出力の中で有音閾値１２０以上の音声の数（以下、「有効音声数」という）を検出する音声数検出部、１２３は有効音声数が有効音声数閾値１２２未満か否かを判断するゲイン変更判断部、１０７〜１０８は第１の有音先頭部分有無検出部１０５〜第Ｍの有音先頭部分有無検出部１０６の出力についてゲイン変更判断部１２３の出力がゲート信号として制御する第１のゲート部〜第Ｍのゲート部、１０９〜１１０は第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２の受信出力を第１のゲート部１０７〜第Ｍのゲート部１０８の出力に基いてゲイン制御する第１のゲイン制御部〜第Ｍのゲイン制御部、１２４は第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０の出力を加算する音声情報合成部である。音声情報合成部１２４の出力は第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２に供給されネットワーク１００を介して音声端末に送られる。
【００１２】
次に本発明の実施の形態１における音声ミキシング装置の動作について図２〜８を用いて説明する。図２は本発明の実施の形態１における第ｍ（ｍは１〜Ｍの中の任意の整数）の信号レベル検出部の出力の模式図である。第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の一構成要素である第ｍの信号レベル検出部では、まず時刻ｔ（ｎ）における有音部分の信号レベルであるアナログ有音レベル（Ｖ（ｎ）（ｍ））を算出し、次にアナログ有音レベルと有音閾値１２０との大小比較を行い２値化有音レベル（ＢＶ（ｎ）（ｍ））（有音閾値以上の場合は１、有音閾値未満の場合は０）を算出し出力する。ここで無音、無声音の場合はレベルの値は０となる。
【００１３】
図３は本発明の実施の形態１における第ｍの有音先頭部分有無検出部の出力の模式図である。第１の有音先頭部分有無検出部１０５〜第Ｍの有音先頭部分有無検出部１０６の一構成要素である第ｍの有音先頭部分有無検出部では第ｍの信号レベル検出部の出力から有音先頭部分の有無検出を行なう。有音先頭部分の有無検出の仕方としては例えば、現時刻での値ＢＶ（ｎ）（ｍ）−前時刻での値ＢＶ（ｎ−１）（ｍ）が１の場合にのみ有音先頭部分を検出したとすることができ、０または−１の場合は有音先頭部分を検出しなかったとすることができる。有音先頭部分を検出した場合はゲインアップ、そうでない場合はゲイン不変とする信号を出力する。
【００１４】
図４は本発明の実施の形態１における音声数検出部１２１の出力の模式図である。音声数検出部１２１では、第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の各出力である２値化有音レベルＢＶ（ｎ）（ｍ）の値を加算した値を有効音声数として検出する。時刻ｔ（ｎ）における有効音声数をＶＰ（ｎ）で表す。
【００１５】
図５は本発明の実施の形態１におけるゲイン変更判断部の出力の模式図である。ゲイン変更判断部１２３では、有効音声数が有効音声数閾値１２２未満か否かを大小比較により判断する。有効音声数が有効音声数閾値以上の場合はゲイン変更ＯＦＦ、有効音声数閾値未満の場合はゲイン変更ＯＮとして出力する。
【００１６】
図６は本発明の実施の形態１における第ｍのゲート部の出力の模式図である。第１のゲート部１０７〜第Ｍのゲート部１０８の一構成要素である第ｍのゲート部では、第ｍの有音先頭部分有無検出部の出力をゲイン変更判断部１２３の出力により制御する。例えば第ｍの有音先頭部分有無検出部がゲインアップを示している場合に、ゲイン変更判断部１２３の出力がゲイン変更ＯＮのときはゲインアップを出力するが、ゲイン変更ＯＦＦのときはゲイン不変を出力する。また、第ｍの有音先頭部分有無検出部がゲイン不変を示している場合には、ゲイン変更判断部１２３の出力がゲイン変更ＯＮおよびゲイン変更ＯＦＦの何れのときもゲイン不変を出力する。第１のゲート部１０７〜第Ｍのゲート部１０８の出力は各々第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０のゲインを制御する。ゲインアップの場合は音量を上げる。ゲイン不変の場合は音量を変更しない。
【００１７】
図７は本発明の実施の形態１における音声ミキシング装置のゲイン制御のフローチャートである。Ｓ７０１では、ネットワーク１００を介した音声情報は第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２で受信され時刻ｔ（ｎ）における第１の音声情報〜第Ｍの音声情報が入力される。Ｓ７０２では、第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０全てのゲインをリセットする。Ｓ７０３では、第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４において各々が対応する第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２の出力の有音レベルを検出する。Ｓ７０４では、第１の有音先頭部分有無検出部１０５〜第Ｍの有音先頭部分有無検出部１０６において各々が対応する第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の出力から有音先頭部分の有無検出を行なう。Ｓ７０５では、音声数検出部１２１において有効音声数を検出する。Ｓ７０６では、ゲイン変更判断部１２３において有効音声数が有効音声数閾値未満か否かを判断する。有効音声数閾値以上の場合はＳ７０７に進み、有効音声数閾値未満の場合はＳ７０８に進む。Ｓ７０７では、第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０についてゲイン不変とする。Ｓ７０８では、有音先頭部分有りを検出した該当するゲイン制御部についてのみゲインアップし他のゲイン制御部についてゲイン不変とする。Ｓ７０９では、第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０の出力を音声情報合成部１２４に入力し音声情報合成する。音声情報合成部１２４の出力は第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２に入力され、ネットワーク１００を介して各発話者に送られる。Ｓ７１０では、時刻ｔ（ｎ）における処理を終了し時刻ｔ（ｎ＋１）における処理のために待機する。
【００１８】
図８は本発明の実施の形態１における音声ミキシング装置の動作説明のための音声の状態図である。話者Ａ〜Ｅが会話に参加しており、図示のタイミングで会話がなされているとする。有効音声数閾値＝３とする。時刻ｔ（ａ）で話者Ｂの有音先頭部分が検出された際、有効音声数を算出する。話者Ａが発話中であるので、Ｂを含めた有効音声数は２となる。有効音声数閾値と有効音声数を比較し、閾値未満となるため、話者Ｂの音声パケットはゲインアップされ、音声情報合成される。時刻ｔ（ｂ）で話者Ｅの有音先頭部分が検出された場合は、ＡとＢが発話中であるので、有効音声数は３となる。有効音声数閾値以上となり話者Ｅの音声パケットはゲイン不変のまま音声情報合成される。時刻ｔ（ｃ）でも同様で、有効音声数は３となる。有効音声数閾値以上となり話者Ａの音声パケットはゲイン不変のまま音声情報合成される。時刻ｔ（ｄ）で話者Ｄの有音先頭部分が検出された場合は、有効音声数が２なので話者Ｄの音声パケットはゲインアップされ音声情報合成される。
【００１９】
以上のように本実施の形態１によれば、背景ノイズの多い環境で少人数で音声会議を使用する際には、聞き取りにくいとされる会話の先頭音のゲインアップを行うので聞き返しなどが少なくなり、効率よく会話を進めることができる。一方、多人数で音声会議を使用する際には割り込み音声の会話の先頭音のゲインアップを停止するため、会話の途中から参加する話者の音声が、継続中の会話の障害とならない。これにより、ユーザは音量調整など会議の妨げとなる操作をすることなく音声会議を使用することができる。
【００２０】
尚、以上の説明ではＭ個の音声情報送受信部、信号レベル検出部、有音先頭部分有無検出部、ゲート部、ゲイン制御部を前提とした。しかし、時分割処理を行う場合は各々について１個備えればよい。
【００２１】
また、上記説明した手段を機能させるためのプログラムを用いてソフトウェア処理とすることも可能である。
【００２２】
さらに、以上の説明では第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４の入力を第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２からの受信入力としたが、第１の信号レベル検出部１０３〜第Ｍの信号レベル検出部１０４への入力は、第１の音声情報送受信部１０１〜第Ｍの音声情報送受信部１０２からの受信入力にＡＧＣを介して参加者の音量レベルを調整したものとしてもよい。この場合はＡＧＣにより、マイクと話者との距離が異なることなどが原因となる参加者の音量レベルの差異を取り除くことにより、より快適な通話環境となる。
（実施の形態２）
実施の形態１においては参加人数の多少に拘わらず適用できる音声ミキシング装置について説明した。しかし、参加人数が有効音声数未満であることが定まっている場合は有効音声数の大小を考慮する必要がないため以下の様にすることができる。
【００２３】
図９は本発明の実施の形態２における音声ミキシング装置の構成を示すブロック図である。図１と比較して省くことができる手段及び信号は、音声数検出部１２１、ゲイン変更判断部１２３、第１のゲート部１０７〜第Ｍのゲート部１０８及び有効音声数閾値１２２である。この場合は第１の有音先頭部分有無検出部１０５〜第Ｍの有音先頭部分有無検出部１０６の出力が有音先頭部分を検出した場合はゲインアップ、そうでない場合はゲイン不変とする信号が第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０に直接供給される。
【００２４】
図１０は本発明の実施の形態２における音声ミキシング装置のゲイン制御のフローチャートである。図７と比較して省くことができるステップは、音声数検出部１２１において有効音声数を検出すること（Ｓ７０５）、ゲイン変更判断部１２３において有効音声数が有効音声数閾値未満か否かを判断すること（Ｓ７０６）、第１のゲイン制御部１０９〜第Ｍのゲイン制御部１１０の全てについてゲイン不変とすること（Ｓ７０７）である。
【００２５】
以上のように本実施の形態２によれば、実施の形態１に比較して多人数で音声会議を使用する際に必要な手段等を省くことができ、これにより、ユーザは音量調整など会議の妨げとなる操作をすることなく音声会議を経済的に使用することができる。
【００２６】
尚、以上の説明ではＭ個の音声情報送受信部、信号レベル検出部、有音先頭部分有無検出部、ゲイン制御部を前提とした。しかし、時分割処理を行う場合は各々について１個備えればよい。
【００２７】
また、上記説明した手段を機能させるためのプログラムを用いてソフトウェア処理とすることも可能である。
【産業上の利用可能性】
【００２８】
本発明の音声ミキシング装置は、適切な音量ですべての発話者の音声を聞き取ることができるという優れた効果を有しているため、飛行機など背景ノイズが高い機中などにおけるインターコミュニケーションシステム等において有用である。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態１における音声ミキシング装置の構成を示すブロック図
【図２】本発明の実施の形態１における第ｍの信号レベル検出部の出力の模式図
【図３】本発明の実施の形態１における第ｍの有音先頭部分有無検出部の出力の模式図
【図４】本発明の実施の形態１における音声数検出部の出力の模式図
【図５】本発明の実施の形態１におけるゲイン変更判断部の出力の模式図
【図６】本発明の実施の形態１における第ｍのゲート部の出力の模式図
【図７】本発明の実施の形態１における音声ミキシング装置のゲイン制御のフローチャート
【図８】本発明の実施の形態１における音声ミキシング装置の動作説明のための音声の状態図
【図９】本発明の実施の形態２における音声ミキシング装置の構成を示すブロック図
【図１０】本発明の実施の形態２における音声ミキシング装置のゲイン制御のフローチャート
【図１１】従来の音声ミキシング装置の構成を示すブロック図
【符号の説明】
【００３０】
１００ ネットワーク
１０１〜１０２ 第１〜第Ｍの音声情報送受信部
１０３〜１０４ 第１〜第Ｍの信号レベル検出部
１０５〜１０６ 第１〜第Ｍの有音先頭部分有無検出部
１０７〜１０８ 第１〜第Ｍのゲート部
１０９〜１１０ 第１〜第Ｍのゲイン制御部
１２０ 有音閾値
１２１ 音声数検出部
１２２ 有効音声数閾値
１２３ ゲイン変更判断部
１２４ 音声情報合成部
【特許請求の範囲】
【請求項１】
外部からの複数の音声情報の受信を行なう音声情報受信手段と、
前記音声情報受信手段の音声情報毎の出力に有音先頭部分の有無を検出する有音先頭部分有無検出手段と、
前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないゲイン制御手段と、
前記ゲイン制御手段の音声情報毎の出力を加算する音声情報合成手段と、
前記音声情報合成手段の出力を外部に送信する音声情報送信手段と、
を有する音声ミキシング装置。
【請求項２】
前記音声情報受信手段の音声情報毎の出力の中で有音閾値以上の音声の数を検出する音声数検出手段を更に有し、
ゲイン制御手段は、前記音声数検出手段の出力が有効音声数閾値未満の場合であって前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないことを特徴とする請求項１に記載の音声ミキシング装置。
【請求項３】
コンピュータを、
外部からの複数の音声情報の受信を行なう音声情報受信手段と、
前記音声情報受信手段の音声情報毎の出力に有音先頭部分の有無を検出する有音先頭部分有無検出手段と、
前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないゲイン制御手段と、
前記ゲイン制御手段の音声情報毎の出力を加算する音声情報合成手段と、
前記音声情報合成手段の出力を外部に送信する音声情報送信手段として機能させるためのプログラム。
【請求項４】
前記音声情報受信手段の音声情報毎の出力の中で有音閾値以上の音声の数を検出する音声数検出手段を更に有し、
ゲイン制御手段は、前記音声数検出手段の出力が有効音声数閾値未満の場合であって前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないことを特徴とする請求項３に記載のプログラム。
【請求項１】
外部からの複数の音声情報の受信を行なう音声情報受信手段と、
前記音声情報受信手段の音声情報毎の出力に有音先頭部分の有無を検出する有音先頭部分有無検出手段と、
前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないゲイン制御手段と、
前記ゲイン制御手段の音声情報毎の出力を加算する音声情報合成手段と、
前記音声情報合成手段の出力を外部に送信する音声情報送信手段と、
を有する音声ミキシング装置。
【請求項２】
前記音声情報受信手段の音声情報毎の出力の中で有音閾値以上の音声の数を検出する音声数検出手段を更に有し、
ゲイン制御手段は、前記音声数検出手段の出力が有効音声数閾値未満の場合であって前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないことを特徴とする請求項１に記載の音声ミキシング装置。
【請求項３】
コンピュータを、
外部からの複数の音声情報の受信を行なう音声情報受信手段と、
前記音声情報受信手段の音声情報毎の出力に有音先頭部分の有無を検出する有音先頭部分有無検出手段と、
前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないゲイン制御手段と、
前記ゲイン制御手段の音声情報毎の出力を加算する音声情報合成手段と、
前記音声情報合成手段の出力を外部に送信する音声情報送信手段として機能させるためのプログラム。
【請求項４】
前記音声情報受信手段の音声情報毎の出力の中で有音閾値以上の音声の数を検出する音声数検出手段を更に有し、
ゲイン制御手段は、前記音声数検出手段の出力が有効音声数閾値未満の場合であって前記有音先頭部分有無検出手段の出力の中で有音先頭部分が有る旨を示す音声情報の音量のみを上げ他の音声情報の音量を上げないことを特徴とする請求項３に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−５０５１２（Ｐ２０１０−５０５１２Ａ）
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願番号】特願２００８−２１０４３６（Ｐ２００８−２１０４３６）
【出願日】平成２０年８月１９日（２００８．８．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願日】平成２０年８月１９日（２００８．８．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]