ネットワーク通信システム
【課題】大規模なシステムを構成することなく、複数の会議装置の話者情報をほぼリアルタイムに取得し利用することができるネットワーク通信システムを提供することにある。
【解決手段】放収音装置１１Ａ〜１１Ｄは、互いに音声データ通信網２０１により接続されており、音声データ通信網２０１を介して入力した音声データをミキシングして、自装置周りの会議者へ放音する。また、音声データ通信網２０１を介して、制御サーバ１０を介さずに自装置で収音した音声データを他の放収音装置へ送信する。制御サーバ１０は、制御データ通信網２０２により各放収音装置１１Ａ〜１１Ｄと接続し、話者検出要求を行う。各放収音装置は、制御サーバ１０の話者検出要求に応じて話者検出し、話者検出データを、制御データ通信網２０２を介して制御サーバ１０へ送信する。制御サーバ１０は、これら話者検出データに基づいて話者状況データを生成する。
【解決手段】放収音装置１１Ａ〜１１Ｄは、互いに音声データ通信網２０１により接続されており、音声データ通信網２０１を介して入力した音声データをミキシングして、自装置周りの会議者へ放音する。また、音声データ通信網２０１を介して、制御サーバ１０を介さずに自装置で収音した音声データを他の放収音装置へ送信する。制御サーバ１０は、制御データ通信網２０２により各放収音装置１１Ａ〜１１Ｄと接続し、話者検出要求を行う。各放収音装置は、制御サーバ１０の話者検出要求に応じて話者検出し、話者検出データを、制御データ通信網２０２を介して制御サーバ１０へ送信する。制御サーバ１０は、これら話者検出データに基づいて話者状況データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、互いに離れた場所に設置された複数の通信装置をネットワーク接続して、互いに音声や映像を通信するネットワーク通信システムに関するものである。
【背景技術】
【０００２】
従来、例えば、本社、支社、支店のような遠隔地間で会議を行うシステムが各種開示されている。このような会議システムでは、会議により臨場感を与えるために、特許文献１や特許文献２に示すように、話者検出を行い、現在発言中の話者の映像を、例えば強調するように表示させる等の処理を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−３３９４８４号公報
【特許文献２】特許第２６４８１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のような会議システムでは、それぞれの会議装置の映像データ、音声データ、話者情報を管理する必要がある。このため、特許文献１では、ネットワークに集中制御装置を備え、当該集中制御装置により全てのデータおよび情報の通信制御を行っている。また、特許文献２では、ネットワーク接続されている複数の会議装置のうちで、一台に送信権を与え、送信許可が得られた会議装置のみが他の装置にデータや情報を送信している。
【０００５】
しかしながら、集中制御装置を用いる場合には、当該集中制御装置にデータが集中するため集中制御装置を大規模で処理が複雑なものにしなければならない。また、送信権を利用する場合には、送信権を持つ唯一の装置のみしかデータを送信できないため、フレキシビリティに欠けるものとなる。
【０００６】
したがって、本発明の目的は、大規模なシステムを構成することなく、例えば放収音装置のような複数の会議装置の話者情報をほぼリアルタイムに取得し利用することができるネットワーク通信システムを提供することにある。
【課題を解決するための手段】
【０００７】
この発明は、音声データを通信する音声データ通信網に接続し、それぞれが放収音を行う複数の放収音装置と、複数の放収音装置間の接続制御を行う通信制御サーバと、を備えたネットワーク通信システムであって、前記複数の放収音装置はそれぞれに話者検出手段を備え、前記通信制御サーバは、前記複数の放収音装置のそれぞれに対して話者検出情報取得制御を行い、前記複数の放収音装置は、前記話者検出情報取得制御を受け付けると、前記話者検出手段で取得した話者検出情報を前記通信制御サーバへ送信し、前記音声データは前記通信制御サーバを介さずに、複数の放収音装置間で直接通信を行う、ことを特徴としている。
【０００８】
この構成では、通信制御サーバは、各放収音装置間での音声データの通信制御は行わず、各放収音装置間での接続開始等の接続制御のみを行う。このような接続制御とは別に、通信制御サーバは各放収音装置に対して話者検出情報の取得制御を行う。各放収音装置は、話者検出情報取得制御を受け付けると、発話者の有無を含む自装置周りの話者位置情報を取得して通信制御サーバへ送信する。通信制御サーバがこの話者位置情報を受け付けることで、ネットワークに接続された各放収音装置の話者位置情報が一括で管理される。この際、通信制御サーバは、データ量が大きいながらも通信速度が要求される音声データの通信制御を行う必要がないので、簡素な構成で且つ簡潔な処理により話者位置情報の取得、管理を行うことができる。
【０００９】
また、この発明の放収音装置の話者検出手段は、前記放収音装置に入力された収音データのレベルが所定の閾値以上である場合に前記話者検出情報を生成することを特徴とする。
【００１０】
また、この発明のネットワーク通信システムの通信制御サーバは、取得した前記話者検出情報と、該話者検出情報を送信した前記放収音装置と、を対応付けた話者状況データを生成する話者情報管理部を備えることを特徴とする。
この構成では、通信制御サーバは、各放収音装置における話者の有無を認識することができる。
【００１１】
また、この発明のネットワーク通信システムの通信制御サーバは、複数の放収音装置による通信のスケジュールを予め記憶しており、前記スケジュールまたは時刻情報に基づいて時系列で前記話者状況データを生成する、ことを特徴としている。
【００１２】
この構成では、通信制御サーバは、スケジュールにより通信が行われている間でのみ、話者検出情報を取得する。これにより、必要な時にのみ話者検出情報を得ることができ、上述のシステムの簡素化とともに、ネットワークのリソースを有効に利用することができる。
【００１３】
また、この発明のネットワーク通信システムは、さらに、複数の放収音装置にそれぞれ対応し、映像の取得及び表示を行う複数の映像処理手段を備える。この発明のネットワーク通信システムの通信制御サーバは、取得した話者位置情報に基づく話者状況データを生成して複数の映像処理手段に与える。そして、この発明の複数の映像処理手段は、取得した話者状況データを表示することを特徴としている。
【００１４】
この構成では、経時的に得られる話者位置情報群に基づく話者状況データが生成され、映像処理手段で表示される。これにより、発話中の話者の切り替わり等からなる話者状況を視覚的に取得することができる。
【００１５】
また、この発明のネットワーク通信システムの複数の映像処理手段は、話者状況データに基づいて、表示する映像の切替制御を行うことを特徴としている。
【００１６】
この構成では、各映像処理手段により、話者状況データに基づいて、例えば、現在発話中の話者の映像を強調表示する等の表示切替制御が行える。
【発明の効果】
【００１７】
この発明によれば、通信制御サーバで制御データや音声データ等の全てを一括で管理して利用するような大きなシステムを用いることなく、簡素なシステム構成および簡素な処理で、通信している各放収音装置での話者情報を一括で管理して利用することができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態の音声通信システムの主要構成を示すブロック図である。
【図２】放収音装置１１Ａの主要構成を示すブロック図である。
【図３】放収音装置１１Ａ〜１１Ｄをメッシュ接続した態様での音声データ通信網２０１および制御データ通信網２０２を説明する図、および、放収音装置１１Ａ〜１１Ｄと同じ構成からなる放収音装置１１Ｅ〜１１Ｊをカスケード接続した態様での音声データ通信網２０１および制御データ通信網２０２を説明する図である。
【図４】制御サーバ１０の主要構成を示すブロック図である。
【図５】映像データ通信網２０３および話者状況データ通信網２０４の構成を示す図である。
【図６】音声データ通信網２０１の確立処理フローを示したフローチャートである。
【図７】音声データ通信網２０１の確立後における話者検出の処理フローを示したフローチャートである。
【発明を実施するための形態】
【００１９】
本発明の実施形態に係るネットワーク通信システムついて、図を参照して説明する。以下の説明では、ネットワーク通信システムの主たる構成として、複数の放収音装置間で音声を通信する音声通信システム、特に、放収音装置とともに映像処理装置を備える映像付きの音声通信システムを例に説明する。なお、以下の説明では、映像処理装置を備える音声通信システムを説明するが、映像処理装置での処理は、話者検出情報に基づく処理の一例であり、映像処理装置が無くても良い。
図１は、本実施形態の音声通信システムの主要構成を示すブロック図である。
図２は放収音装置１１Ａの主要構成を示すブロック図である。
【００２０】
図３（Ａ）は放収音装置１１Ａ〜１１Ｄをメッシュ接続した態様での音声データ通信網２０１および制御データ通信網２０２を説明する図であり、図３（Ｂ）は放収音装置１１Ａ〜１１Ｄと同じ構成からなる放収音装置１１Ｅ〜１１Ｊをカスケード接続した態様での音声データ通信網２０１および制御データ通信網２０２を説明する図である。
図４は、制御サーバ１０の主要構成を示すブロック図である。
図５は、映像データ通信網２０３および話者状況データ通信網２０４の構成を示す図である。
【００２１】
音声通信システムは、それぞれ別の位置にある会議室１０１Ａ〜１０１Ｄの放収音装置１１Ａ〜１１Ｄおよび映像処理装置１２Ａ〜１２Ｄを、それぞれルータ１３Ａ〜１３Ｄを介してネットワーク２００で接続する構成を有する。また、このネットワーク２００には、ルータ１３Ｅを介して制御サーバ１０が接続している。そして、ネットワーク２００は、一つまたは複数の物理層からなり、当該物理層上に、音声データを伝送する音声データ通信網２０１、制御データを伝送する制御データ通信網２０２、映像データを伝送する映像データ通信網２０３が形成されている。
【００２２】
各会議室１０１Ａ〜１０１Ｄのそれぞれには、放収音装置１１Ａ〜１１Ｄ、映像処理装置１２Ａ〜１２Ｄ、ルータ１３Ａ〜１３Ｄが備えられている。これらの各会議室では、各装置の接続構成が同じであり、代表して会議室１０１Ａを用いて説明する。
会議室１０１Ａには、放収音装置１１Ａ、映像処理装置１２Ａ、ルータ１３Ａが設置されており、放収音装置１１Ａおよび映像処理装置１２Ａは、ルータ１３Ａを介してネットワーク２００に接続している。
【００２３】
映像処理装置１２Ａは、放収音装置１１Ａの周りを撮像する撮像部と、撮像した映像から映像データを生成する映像データ生成部と、ネットワーク２００の映像データ通信網２０３を経由して取得した映像データを表示する映像表示部と、ルータ１３Ａとのデータの入出力を行う入出力部とを備える。また、図５に示すように、映像処理装置１２Ａは、話者状況データを送受信する話者状況データ通信網２０４により制御サーバ１０と接続している。
【００２４】
ルータ１３Ａは、他のルータ１３Ｂ〜１３Ｅと、例えば、ＩＰＳｅｃ−ＶＰＮ等のセキュアなネットワーク２００を形成する。より具体的には、ルータ１３Ａは、図３（Ａ）に示すように、放収音装置１１Ａと他の放収音装置１１Ｂ〜１１Ｄとの間を接続する音声データ通信網２０１を形成し、放収音装置１１Ａと制御サーバ１０との間を接続する制御データ通信網２０２を形成する。なお、ルータ１３Ｂ〜１３Ｄについても同様に対応する放収音装置１１Ｂ〜１１Ｄと制御サーバ１０との間を接続する制御データ通信網２０２を形成する。すなわち、放収音装置１１Ａ〜１１Ｄと制御サーバ１０との間に制御データ通信網２０２が形成される。また、ルータ１３Ａは、図５に示すように、映像処理装置１２Ａと他の映像処理装置１２Ｂ〜１２Ｄとの間を接続する映像データ通信網２０３を形成する。
【００２５】
放収音装置１１Ａは、図２に示すように、制御部１１１、ネットワークＩ／Ｆ１１２、放音用ミキサ１１３、話者検出部１１４、送信音用ミキサ１１５、スピーカＳＰ、マイクＭＩＣを備える。
【００２６】
制御部１１１は、放収音装置１１Ａの全体制御を行うとともに、ネットワークＩ／Ｆ１１２を制御して、自装置で収音した収音データを音声データ通信網２０１へ送信させ、話者検出部１１４で生成された話者検出データを制御データ通信網２０２へ送信させる。
【００２７】
制御部１１１は、制御サーバ１０から話者検出要求を受け付けると、図示しないタイマにて計時して、定期的に話者検出部１１４へ話者検出制御を行う。また、制御部１１１は、話者検出要求を受け付けてから、所定時間以上新たな話者検出要求を受け付けなければ、話者検出部１１４に対する話者検出制御を停止する。
また、制御部１１１は、選択された接続モードに応じて、送信音用ミキサ１１５の処理を制御する。具体的には、図３（Ａ）に示すようなメッシュ接続モードであるか、図３（Ｂ）に示すようなカスケード接続モードであるかにより処理制御を設定する。
【００２８】
ネットワークＩ／Ｆ１１２は、ルータ１３Ａを介して外部のネットワーク２００と接続し、音声データ通信網２０１を介して入力される放収音装置１１Ｂ〜１１Ｄの収音データを、音声データ通信網２０１の通信データ形式から所定の音声データ形式に変換して、放音用ミキサ１１３および送信音用ミキサ１１５へ与える。ネットワークＩ／Ｆ１１２は、マイクＭＩＣで収音され、送信用ミキサ１１５で必要に応じてミキシングされた収音データを、音声データ通信網２０１の通信データ形式に変換して、音声データ通信網２０１を介して放収音装置１１Ｂ〜１１Ｄへ送信する。また、ネットワークＩ／Ｆ１１２は、話者検出部１１４で生成された話者検出データを、制御データ通信網２０２を介して制御サーバ１０へ送信する。
【００２９】
放音用ミキサ１１３は、他の放収音装置１１Ｂ〜１１Ｄで収音された音声データをミキシングしてスピーカＳＰへ出力する。
スピーカＳＰは、入力された音声データにより放音する。
マイクＭＩＣは、自装置周りの音声を収音して、収音データを話者検出部１１４および送信音用ミキサ１１５へ与える。
話者検出部１１４は、予め話者検出閾値が設定、記憶されており、入力された収音データのレベルが話者検出閾値以上であれば、自装置周りに在席する話者が発話中であると判断し、「発話有」を示す話者検出データを生成する。一方、話者検出部１１４は、入力された収音データのレベルが話者検出閾値未満であれば「発話者無」と判断し、発話無を示す話者検出データを生成する。
【００３０】
送信音用ミキサ１１５は、制御部１１１からの制御に従い、メッシュ接続モードであれば、収音データをそのまま出力する。送信音用ミキサ１１５は、図３（Ｂ）に示すようなカスケード接続モードであれば、自装置の収音データに、他の放収音装置で収音した音声データをミキシングして出力する。この際、送信音用ミキサ１１５は、送信先を指定するデータを備え、送信先毎に送信用の音声データを生成する。具体的には、送信音用ミキサ１１５は、送信先を除く放収音装置で収音された音声データと、自装置の収音データとをミキシングして、送信先情報に関連付けして出力する。この処理は送信先毎に行われる。
【００３１】
このような構成とすることで、放収音装置１１Ａ（１１Ｂ〜１１Ｄ）は、音声データ通信網２０１を利用して、音声データを直接放収音装置間で送受信する。また、放収音装置１１Ａ（１１Ｂ〜１１Ｄ）は、話者検出データを制御サーバ１０からの話者検出要求に応じて取得し、制御サーバ１０へ送信する。
【００３２】
制御サーバ１０は、図４に示すように、通信制御部１５０、スケジュール制御部１５１、話者情報管理部１５２、ネットワークＩ／Ｆ１５３、表示部１５４を備える。
通信制御部１５０は、ネットワークＩ／Ｆ１５３を介して行われる放収音装置１１Ａ〜１１Ｄとの制御データ通信網２０２を利用した通信の制御を行う。具体的には、通信制御部１５０は、音声データの送受信の制御は行わず、制御データ通信網２０２を利用して各放収音装置１１Ａ〜１１Ｄ間の音声データ通信網２０１の確立や解除の制御を行う。また、通信制御部１５０は、各放収音装置１１Ａ〜１１Ｄに対して、話者検出データの要求を実行する制御や話者検出データの受信制御を行う。また、通信制御部１５０は、話者状況データ通信網２０４を介して行われる話者状況データの通信の制御を行う。
【００３３】
スケジュール制御部１５１は、タイマ機能を備え、予め入力された会議等のスケジュールを記憶し、会議の開始タイミングを検出すると、通信制御部１５０へ音声データ通信網２０１の確立制御を行うように通知する。また、会議の終了タイミングを検出すると、通信制御部１５０へ音声データ通信網２０１の解除制御を行うように通知する。また、スケジュール制御部１５１は、話者情報管理部１５２へ記憶されているスケジュールや現在会議実行中であるかどうかや時刻情報を与える。
【００３４】
話者情報管理部１５２は、通信制御部１５０を介して、各放収音装置１１Ａ〜１１Ｄの話者検出データを取得し、スケジュール制御部１５１からのスケジュールや時刻情報とリンクさせて、時系列での話者情報を含む話者状況データを生成する。この際、話者情報と放収音装置とは関連付けされている。生成された話者状況データは、表示部１５４へ与えられるとともに記憶され、通信制御部１５０を介して外部の映像処理装置１２Ａ等から要求されれば、通信制御部１５０、ネットワークＩ／Ｆ１５３、話者状況データ通信網２０４を介して、要求元へ送信される。
【００３５】
表示部１５４は、液晶パネル等からなり、話者情報管理部１５２から与えられたスケジュール、時刻情報、および話者状況データに基づいて、話者の変化が視覚的に取得できるようなグラフィカル表示を行う。これにより、制御サーバ１０が設置された位置にいる人は、話者の状況を容易に且つ視覚的に確認することができる。
【００３６】
また、前述のように、制御サーバ１０の外部に話者状況データを出力できることで、各会議室１０１Ａ〜１０１Ｄで話者状況データを容易に利用することができる。例えば、話者状況データを映像処理装置１２Ａで利用する場合として、「発話有」情報を取得すると、当該「発話有」情報に関連付けされた放収音装置に対応する映像処理装置からの話者画像を他の映像処理装置からの画像よりも強調表示することができる。これにより、より発言者の判りやすい会議を提供することができる。
【００３７】
次に、本実施形態のネットワーク通信システムにおける、音声データ通信網２０１の確立および話者検出の処理フローについて、図６および図７を参照して、より具体的に説明する。
図６は音声データ通信網２０１の確立処理フローを示したフローチャートである。
図７は音声データ通信網２０１の確立後における話者検出の処理フローを示したフローチャートである。
【００３８】
なお、以下の説明では、放収音装置１１Ａから放収音装置１１Ｂに接続を行う場合を示すが、他の放収音装置に対しても同様の処理を行えばよい。また、下記のような制御データ通信網２０２を利用した制御データの送受信は、具体的には、所謂ＳＩＰにより実現される。
【００３９】
まず、制御サーバ１０は、予め設定、記憶されたスケジュールを読み出し（Ｓ１０１）、現在時刻を取得する（Ｓ１０２）。制御サーバ１０は、取得時刻が読み出したスケジュールの会議開始時刻になると（Ｓ１０３：Ｙ）、会議に参加する放収音装置の内の一つの放収音装置１１Ａへ、同じ会議に参加する他の放収音装置１１Ｂへの発信要求を、制御データ通信網２０２を介して送信する（Ｓ１０４）。
【００４０】
放収音装置１１Ａは、これを利用するユーザ等の電源入力やタイマによる自動電源入力によりスタンバイ状態となっており（Ｓ２０１）、制御サーバ１０から発信要求を検知すると、これを受信する（Ｓ２０２）。放収音装置１１Ａは、発信要求に従い、放収音装置１１Ｂへの発呼を、制御データ通信網２０２を介して制御サーバ１０へ送信し（Ｓ２０３）、制御サーバ１０は、この発呼を中継して、制御データ通信網２０２を介して放収音装置１１Ｂへ送信する（Ｓ１０５）。
【００４１】
放収音装置１１Ｂも、放収音装置１１Ａと同様に、予めスタンバイ状態にあり（Ｓ３０１）、制御サーバ１０を介した放収音装置１１Ａからの呼に従い、着呼する（Ｓ３０２）。この際、制御サーバ１０からは、制御データ通信網２０２を介して着信要求が送信されており（Ｓ１０６）、放収音装置１１Ｂは、着呼の後に着信要求を受信する（Ｓ３０３）。
【００４２】
放収音装置１１Ｂは、自身がビジーでないことを確認すると、音声データ通信網２０１での通信開始可能情報を、制御データ通信網２０２を介して制御サーバ１０へ送信し（Ｓ３０４）、制御サーバ１０は、この通信開始可能情報を中継して放収音装置１１Ａへ送信する（Ｓ１０７）。
【００４３】
放収音装置１１Ａは、通信開始可能情報を受信すると（Ｓ２０４）、音声データ通信網２０１での通信開始制御を、制御データ通信網２０２を利用し、制御サーバ１０を介して、放収音装置１１Ｂに送信する（Ｓ２０５→Ｓ１０８→Ｓ３０５）。放収音装置１１Ｂは、この放収音装置１１Ａからの通信開始制御に、制御データ通信網２０２を利用し、制御サーバ１０を介して、放収音装置１１Ａへ応答する（Ｓ３０５→Ｓ１０８→Ｓ２０５）。
【００４４】
このような通信開始制御の確認が終了すると、放収音装置１１Ａと放収音装置１１Ｂとの間で音声データ通信網２０１による伝送経路が確立される（Ｓ２０６，Ｓ３０６）。
【００４５】
放収音装置１１Ａと放収音装置１１Ｂとは、音声データ通信網２０１が確立されると、制御サーバ１０を介することなく、音声データの送受信を行う（Ｓ２０７，Ｓ３０７）。
【００４６】
このように、本実施形態の構成では、放収音装置間での音声データを送受信する音声データ通信網２０１の確立までは、制御サーバ１０により先導的に実行され、音声データ通信網２０１が確立されれば、それぞれの放収音装置間で直接音声データを送受信することができる。これにより、制御サーバ１０は、ミキシング機能を有する大規模で複雑なものを用いなくてもよい。
【００４７】
次に、音声データ通信網２０１が確立されると、制御サーバ１０は計時を開始する（Ｓ１１１）。制御サーバ１０は、予め設定した話者検出要求送信タイミングを検出すると（Ｓ１１２：Ｙ）、話者検出要求を接続が確立された各放収音装置１１Ａ，１１Ｂへ、制御データ通信網２０２を介して送信する（Ｓ１１３）。一方で、制御サーバ１０は、話者検出要求送信タイミングでなければ（Ｓ１１２：Ｎ）、計時とタイミング検出を継続する（Ｓ１１１）。
【００４８】
以下、放収音装置１１Ａと放収音装置１１Ｂとは同じ処理を行うので、放収音装置１１Ａのみについて説明する。
放収音装置１１Ａは、話者検出要求を受け付けると（Ｓ２１１）、検出要求を受け付けたことを示す確認データを制御サーバ１０へ制御データ通信網２０２を介して送信する（Ｓ２１２）。制御サーバ１０は、この確認データを取得することで、放収音装置１１Ａが話者検出を開始するものと判断し（Ｓ１１４）、話者検出データの受信待機状態となる。
【００４９】
放収音装置１１Ａは、計時を開始し（Ｓ２１３）、検出タイミングになると（Ｓ２１４：Ｙ）、前述のように話者検出と話者検出データの生成とを実行し、制御サーバ１０へ話者検出データを送信する（Ｓ２１５）。この際、放収音装置１１Ａは、制御データ通信網２０２を用いて、制御サーバ１０へ話者検出データを送信する。
【００５０】
放収音装置１１Ａは、話者検出および話者検出データの生成、送信を検出期間終了になるまで継続して行う（Ｓ２１６：Ｎ→Ｓ２１３）。ここで、検出期間終了は、例えば、次のように決定される。（１）放収音装置１１Ａは、制御サーバ１０からの話者検出要求を受け付けて、話者検出を行う場合に、予め設定した所定時間に、新たな話者検出要求を受け付けなければ、終了を決定する。（２）放収音装置１１Ａは、図示していないが、制御サーバ１０から話者検出要求の終了を示す話者検出要求終了データを受信した場合に、終了を決定する。なお、検出期間終了を検出した場合、放収音装置１１Ａは、制御サーバ１０への話者検出データの取得・送信を停止する（Ｓ２１６：Ｙ→Ｓ２１７）。
【００５１】
制御サーバ１０は、放収音装置１１Ａからの話者検出データを受信して記憶し（Ｓ１１５）、話者状況データの生成・更新を行う（Ｓ１１６）。すなわち、制御サーバ１０は、話者検出データを初めて取得した場合には、話者状況データを新規に生成し、これ以降に順次話者検出データを取得すると、直前の話者状況データに対して、新たな話者検出データを付け加えるように更新する。このような話者状況データの生成・更新は、スケジュールで設定された会議終了タイミングか、ユーザにより操作入力された終了タイミングまで実行され続ける（Ｓ１１７→Ｓ１１１）。そして、終了時間を検出すると、制御サーバ１０は、話者状況データの記憶を行い、終了処理を行う（Ｓ１１７：Ｎ→Ｓ１１８）。
【００５２】
このような処理を行うことで、制御サーバ１０は、音声データの通信制御を行うことなく、各放収音装置１１Ａ〜１１Ｄの話者検出データすなわち発話者情報を取得することができる。これにより、大規模で高価なサーバを用いることなく、前述のような話者検出データに基づく各種の応用処理を実現することができる。さらに、この際、話者検出データおよび話者状況データの送受信は、音声データ通信網２０１を用いないので、当該音声データ通信網２０１を伝送する音声データの送受信に影響を与えることも、これらの送受信による影響を与えられることもない。すなわち、独立して話者検出データおよび話者状況データの送受信を行うことができる。そして、このような話者検出データおよび話者状況データの送受信は、比較的データ量が小さいので、容量の大きくない伝送経路を用いても、音声データとのタイムラグを生じることなく、音声データと話者状況データとを各会議室１０１Ａ〜１０１Ｄで利用することができる。
【符号の説明】
【００５３】
１０１Ａ〜１０１Ｄ−会議室、１０−制御サーバ、１１Ａ〜１１Ｄ−放収音装置、１２Ａ〜１２Ｄ−映像処理装置、１３Ａ〜１３Ｅ−ルータ、２００−ネットワーク、２０１−音声データ通信網、２０２−制御データ通信網、２０３−映像データ通信網、２０４−話者状況データ通信網、
１１１−放収音装置の制御部、１１２−放収音装置のネットワークＩ／Ｆ、１１３−放音用ミキサ、１１４−話者検出部、１１５−送信音用ミキサ、
１５０−制御サーバ１０の通信制御部、１５１−スケジュール制御部、１５２−話者情報管理部、１５３−制御サーバ１０のネットワークＩ／Ｆ、１５４−表示部
【技術分野】
【０００１】
この発明は、互いに離れた場所に設置された複数の通信装置をネットワーク接続して、互いに音声や映像を通信するネットワーク通信システムに関するものである。
【背景技術】
【０００２】
従来、例えば、本社、支社、支店のような遠隔地間で会議を行うシステムが各種開示されている。このような会議システムでは、会議により臨場感を与えるために、特許文献１や特許文献２に示すように、話者検出を行い、現在発言中の話者の映像を、例えば強調するように表示させる等の処理を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−３３９４８４号公報
【特許文献２】特許第２６４８１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のような会議システムでは、それぞれの会議装置の映像データ、音声データ、話者情報を管理する必要がある。このため、特許文献１では、ネットワークに集中制御装置を備え、当該集中制御装置により全てのデータおよび情報の通信制御を行っている。また、特許文献２では、ネットワーク接続されている複数の会議装置のうちで、一台に送信権を与え、送信許可が得られた会議装置のみが他の装置にデータや情報を送信している。
【０００５】
しかしながら、集中制御装置を用いる場合には、当該集中制御装置にデータが集中するため集中制御装置を大規模で処理が複雑なものにしなければならない。また、送信権を利用する場合には、送信権を持つ唯一の装置のみしかデータを送信できないため、フレキシビリティに欠けるものとなる。
【０００６】
したがって、本発明の目的は、大規模なシステムを構成することなく、例えば放収音装置のような複数の会議装置の話者情報をほぼリアルタイムに取得し利用することができるネットワーク通信システムを提供することにある。
【課題を解決するための手段】
【０００７】
この発明は、音声データを通信する音声データ通信網に接続し、それぞれが放収音を行う複数の放収音装置と、複数の放収音装置間の接続制御を行う通信制御サーバと、を備えたネットワーク通信システムであって、前記複数の放収音装置はそれぞれに話者検出手段を備え、前記通信制御サーバは、前記複数の放収音装置のそれぞれに対して話者検出情報取得制御を行い、前記複数の放収音装置は、前記話者検出情報取得制御を受け付けると、前記話者検出手段で取得した話者検出情報を前記通信制御サーバへ送信し、前記音声データは前記通信制御サーバを介さずに、複数の放収音装置間で直接通信を行う、ことを特徴としている。
【０００８】
この構成では、通信制御サーバは、各放収音装置間での音声データの通信制御は行わず、各放収音装置間での接続開始等の接続制御のみを行う。このような接続制御とは別に、通信制御サーバは各放収音装置に対して話者検出情報の取得制御を行う。各放収音装置は、話者検出情報取得制御を受け付けると、発話者の有無を含む自装置周りの話者位置情報を取得して通信制御サーバへ送信する。通信制御サーバがこの話者位置情報を受け付けることで、ネットワークに接続された各放収音装置の話者位置情報が一括で管理される。この際、通信制御サーバは、データ量が大きいながらも通信速度が要求される音声データの通信制御を行う必要がないので、簡素な構成で且つ簡潔な処理により話者位置情報の取得、管理を行うことができる。
【０００９】
また、この発明の放収音装置の話者検出手段は、前記放収音装置に入力された収音データのレベルが所定の閾値以上である場合に前記話者検出情報を生成することを特徴とする。
【００１０】
また、この発明のネットワーク通信システムの通信制御サーバは、取得した前記話者検出情報と、該話者検出情報を送信した前記放収音装置と、を対応付けた話者状況データを生成する話者情報管理部を備えることを特徴とする。
この構成では、通信制御サーバは、各放収音装置における話者の有無を認識することができる。
【００１１】
また、この発明のネットワーク通信システムの通信制御サーバは、複数の放収音装置による通信のスケジュールを予め記憶しており、前記スケジュールまたは時刻情報に基づいて時系列で前記話者状況データを生成する、ことを特徴としている。
【００１２】
この構成では、通信制御サーバは、スケジュールにより通信が行われている間でのみ、話者検出情報を取得する。これにより、必要な時にのみ話者検出情報を得ることができ、上述のシステムの簡素化とともに、ネットワークのリソースを有効に利用することができる。
【００１３】
また、この発明のネットワーク通信システムは、さらに、複数の放収音装置にそれぞれ対応し、映像の取得及び表示を行う複数の映像処理手段を備える。この発明のネットワーク通信システムの通信制御サーバは、取得した話者位置情報に基づく話者状況データを生成して複数の映像処理手段に与える。そして、この発明の複数の映像処理手段は、取得した話者状況データを表示することを特徴としている。
【００１４】
この構成では、経時的に得られる話者位置情報群に基づく話者状況データが生成され、映像処理手段で表示される。これにより、発話中の話者の切り替わり等からなる話者状況を視覚的に取得することができる。
【００１５】
また、この発明のネットワーク通信システムの複数の映像処理手段は、話者状況データに基づいて、表示する映像の切替制御を行うことを特徴としている。
【００１６】
この構成では、各映像処理手段により、話者状況データに基づいて、例えば、現在発話中の話者の映像を強調表示する等の表示切替制御が行える。
【発明の効果】
【００１７】
この発明によれば、通信制御サーバで制御データや音声データ等の全てを一括で管理して利用するような大きなシステムを用いることなく、簡素なシステム構成および簡素な処理で、通信している各放収音装置での話者情報を一括で管理して利用することができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態の音声通信システムの主要構成を示すブロック図である。
【図２】放収音装置１１Ａの主要構成を示すブロック図である。
【図３】放収音装置１１Ａ〜１１Ｄをメッシュ接続した態様での音声データ通信網２０１および制御データ通信網２０２を説明する図、および、放収音装置１１Ａ〜１１Ｄと同じ構成からなる放収音装置１１Ｅ〜１１Ｊをカスケード接続した態様での音声データ通信網２０１および制御データ通信網２０２を説明する図である。
【図４】制御サーバ１０の主要構成を示すブロック図である。
【図５】映像データ通信網２０３および話者状況データ通信網２０４の構成を示す図である。
【図６】音声データ通信網２０１の確立処理フローを示したフローチャートである。
【図７】音声データ通信網２０１の確立後における話者検出の処理フローを示したフローチャートである。
【発明を実施するための形態】
【００１９】
本発明の実施形態に係るネットワーク通信システムついて、図を参照して説明する。以下の説明では、ネットワーク通信システムの主たる構成として、複数の放収音装置間で音声を通信する音声通信システム、特に、放収音装置とともに映像処理装置を備える映像付きの音声通信システムを例に説明する。なお、以下の説明では、映像処理装置を備える音声通信システムを説明するが、映像処理装置での処理は、話者検出情報に基づく処理の一例であり、映像処理装置が無くても良い。
図１は、本実施形態の音声通信システムの主要構成を示すブロック図である。
図２は放収音装置１１Ａの主要構成を示すブロック図である。
【００２０】
図３（Ａ）は放収音装置１１Ａ〜１１Ｄをメッシュ接続した態様での音声データ通信網２０１および制御データ通信網２０２を説明する図であり、図３（Ｂ）は放収音装置１１Ａ〜１１Ｄと同じ構成からなる放収音装置１１Ｅ〜１１Ｊをカスケード接続した態様での音声データ通信網２０１および制御データ通信網２０２を説明する図である。
図４は、制御サーバ１０の主要構成を示すブロック図である。
図５は、映像データ通信網２０３および話者状況データ通信網２０４の構成を示す図である。
【００２１】
音声通信システムは、それぞれ別の位置にある会議室１０１Ａ〜１０１Ｄの放収音装置１１Ａ〜１１Ｄおよび映像処理装置１２Ａ〜１２Ｄを、それぞれルータ１３Ａ〜１３Ｄを介してネットワーク２００で接続する構成を有する。また、このネットワーク２００には、ルータ１３Ｅを介して制御サーバ１０が接続している。そして、ネットワーク２００は、一つまたは複数の物理層からなり、当該物理層上に、音声データを伝送する音声データ通信網２０１、制御データを伝送する制御データ通信網２０２、映像データを伝送する映像データ通信網２０３が形成されている。
【００２２】
各会議室１０１Ａ〜１０１Ｄのそれぞれには、放収音装置１１Ａ〜１１Ｄ、映像処理装置１２Ａ〜１２Ｄ、ルータ１３Ａ〜１３Ｄが備えられている。これらの各会議室では、各装置の接続構成が同じであり、代表して会議室１０１Ａを用いて説明する。
会議室１０１Ａには、放収音装置１１Ａ、映像処理装置１２Ａ、ルータ１３Ａが設置されており、放収音装置１１Ａおよび映像処理装置１２Ａは、ルータ１３Ａを介してネットワーク２００に接続している。
【００２３】
映像処理装置１２Ａは、放収音装置１１Ａの周りを撮像する撮像部と、撮像した映像から映像データを生成する映像データ生成部と、ネットワーク２００の映像データ通信網２０３を経由して取得した映像データを表示する映像表示部と、ルータ１３Ａとのデータの入出力を行う入出力部とを備える。また、図５に示すように、映像処理装置１２Ａは、話者状況データを送受信する話者状況データ通信網２０４により制御サーバ１０と接続している。
【００２４】
ルータ１３Ａは、他のルータ１３Ｂ〜１３Ｅと、例えば、ＩＰＳｅｃ−ＶＰＮ等のセキュアなネットワーク２００を形成する。より具体的には、ルータ１３Ａは、図３（Ａ）に示すように、放収音装置１１Ａと他の放収音装置１１Ｂ〜１１Ｄとの間を接続する音声データ通信網２０１を形成し、放収音装置１１Ａと制御サーバ１０との間を接続する制御データ通信網２０２を形成する。なお、ルータ１３Ｂ〜１３Ｄについても同様に対応する放収音装置１１Ｂ〜１１Ｄと制御サーバ１０との間を接続する制御データ通信網２０２を形成する。すなわち、放収音装置１１Ａ〜１１Ｄと制御サーバ１０との間に制御データ通信網２０２が形成される。また、ルータ１３Ａは、図５に示すように、映像処理装置１２Ａと他の映像処理装置１２Ｂ〜１２Ｄとの間を接続する映像データ通信網２０３を形成する。
【００２５】
放収音装置１１Ａは、図２に示すように、制御部１１１、ネットワークＩ／Ｆ１１２、放音用ミキサ１１３、話者検出部１１４、送信音用ミキサ１１５、スピーカＳＰ、マイクＭＩＣを備える。
【００２６】
制御部１１１は、放収音装置１１Ａの全体制御を行うとともに、ネットワークＩ／Ｆ１１２を制御して、自装置で収音した収音データを音声データ通信網２０１へ送信させ、話者検出部１１４で生成された話者検出データを制御データ通信網２０２へ送信させる。
【００２７】
制御部１１１は、制御サーバ１０から話者検出要求を受け付けると、図示しないタイマにて計時して、定期的に話者検出部１１４へ話者検出制御を行う。また、制御部１１１は、話者検出要求を受け付けてから、所定時間以上新たな話者検出要求を受け付けなければ、話者検出部１１４に対する話者検出制御を停止する。
また、制御部１１１は、選択された接続モードに応じて、送信音用ミキサ１１５の処理を制御する。具体的には、図３（Ａ）に示すようなメッシュ接続モードであるか、図３（Ｂ）に示すようなカスケード接続モードであるかにより処理制御を設定する。
【００２８】
ネットワークＩ／Ｆ１１２は、ルータ１３Ａを介して外部のネットワーク２００と接続し、音声データ通信網２０１を介して入力される放収音装置１１Ｂ〜１１Ｄの収音データを、音声データ通信網２０１の通信データ形式から所定の音声データ形式に変換して、放音用ミキサ１１３および送信音用ミキサ１１５へ与える。ネットワークＩ／Ｆ１１２は、マイクＭＩＣで収音され、送信用ミキサ１１５で必要に応じてミキシングされた収音データを、音声データ通信網２０１の通信データ形式に変換して、音声データ通信網２０１を介して放収音装置１１Ｂ〜１１Ｄへ送信する。また、ネットワークＩ／Ｆ１１２は、話者検出部１１４で生成された話者検出データを、制御データ通信網２０２を介して制御サーバ１０へ送信する。
【００２９】
放音用ミキサ１１３は、他の放収音装置１１Ｂ〜１１Ｄで収音された音声データをミキシングしてスピーカＳＰへ出力する。
スピーカＳＰは、入力された音声データにより放音する。
マイクＭＩＣは、自装置周りの音声を収音して、収音データを話者検出部１１４および送信音用ミキサ１１５へ与える。
話者検出部１１４は、予め話者検出閾値が設定、記憶されており、入力された収音データのレベルが話者検出閾値以上であれば、自装置周りに在席する話者が発話中であると判断し、「発話有」を示す話者検出データを生成する。一方、話者検出部１１４は、入力された収音データのレベルが話者検出閾値未満であれば「発話者無」と判断し、発話無を示す話者検出データを生成する。
【００３０】
送信音用ミキサ１１５は、制御部１１１からの制御に従い、メッシュ接続モードであれば、収音データをそのまま出力する。送信音用ミキサ１１５は、図３（Ｂ）に示すようなカスケード接続モードであれば、自装置の収音データに、他の放収音装置で収音した音声データをミキシングして出力する。この際、送信音用ミキサ１１５は、送信先を指定するデータを備え、送信先毎に送信用の音声データを生成する。具体的には、送信音用ミキサ１１５は、送信先を除く放収音装置で収音された音声データと、自装置の収音データとをミキシングして、送信先情報に関連付けして出力する。この処理は送信先毎に行われる。
【００３１】
このような構成とすることで、放収音装置１１Ａ（１１Ｂ〜１１Ｄ）は、音声データ通信網２０１を利用して、音声データを直接放収音装置間で送受信する。また、放収音装置１１Ａ（１１Ｂ〜１１Ｄ）は、話者検出データを制御サーバ１０からの話者検出要求に応じて取得し、制御サーバ１０へ送信する。
【００３２】
制御サーバ１０は、図４に示すように、通信制御部１５０、スケジュール制御部１５１、話者情報管理部１５２、ネットワークＩ／Ｆ１５３、表示部１５４を備える。
通信制御部１５０は、ネットワークＩ／Ｆ１５３を介して行われる放収音装置１１Ａ〜１１Ｄとの制御データ通信網２０２を利用した通信の制御を行う。具体的には、通信制御部１５０は、音声データの送受信の制御は行わず、制御データ通信網２０２を利用して各放収音装置１１Ａ〜１１Ｄ間の音声データ通信網２０１の確立や解除の制御を行う。また、通信制御部１５０は、各放収音装置１１Ａ〜１１Ｄに対して、話者検出データの要求を実行する制御や話者検出データの受信制御を行う。また、通信制御部１５０は、話者状況データ通信網２０４を介して行われる話者状況データの通信の制御を行う。
【００３３】
スケジュール制御部１５１は、タイマ機能を備え、予め入力された会議等のスケジュールを記憶し、会議の開始タイミングを検出すると、通信制御部１５０へ音声データ通信網２０１の確立制御を行うように通知する。また、会議の終了タイミングを検出すると、通信制御部１５０へ音声データ通信網２０１の解除制御を行うように通知する。また、スケジュール制御部１５１は、話者情報管理部１５２へ記憶されているスケジュールや現在会議実行中であるかどうかや時刻情報を与える。
【００３４】
話者情報管理部１５２は、通信制御部１５０を介して、各放収音装置１１Ａ〜１１Ｄの話者検出データを取得し、スケジュール制御部１５１からのスケジュールや時刻情報とリンクさせて、時系列での話者情報を含む話者状況データを生成する。この際、話者情報と放収音装置とは関連付けされている。生成された話者状況データは、表示部１５４へ与えられるとともに記憶され、通信制御部１５０を介して外部の映像処理装置１２Ａ等から要求されれば、通信制御部１５０、ネットワークＩ／Ｆ１５３、話者状況データ通信網２０４を介して、要求元へ送信される。
【００３５】
表示部１５４は、液晶パネル等からなり、話者情報管理部１５２から与えられたスケジュール、時刻情報、および話者状況データに基づいて、話者の変化が視覚的に取得できるようなグラフィカル表示を行う。これにより、制御サーバ１０が設置された位置にいる人は、話者の状況を容易に且つ視覚的に確認することができる。
【００３６】
また、前述のように、制御サーバ１０の外部に話者状況データを出力できることで、各会議室１０１Ａ〜１０１Ｄで話者状況データを容易に利用することができる。例えば、話者状況データを映像処理装置１２Ａで利用する場合として、「発話有」情報を取得すると、当該「発話有」情報に関連付けされた放収音装置に対応する映像処理装置からの話者画像を他の映像処理装置からの画像よりも強調表示することができる。これにより、より発言者の判りやすい会議を提供することができる。
【００３７】
次に、本実施形態のネットワーク通信システムにおける、音声データ通信網２０１の確立および話者検出の処理フローについて、図６および図７を参照して、より具体的に説明する。
図６は音声データ通信網２０１の確立処理フローを示したフローチャートである。
図７は音声データ通信網２０１の確立後における話者検出の処理フローを示したフローチャートである。
【００３８】
なお、以下の説明では、放収音装置１１Ａから放収音装置１１Ｂに接続を行う場合を示すが、他の放収音装置に対しても同様の処理を行えばよい。また、下記のような制御データ通信網２０２を利用した制御データの送受信は、具体的には、所謂ＳＩＰにより実現される。
【００３９】
まず、制御サーバ１０は、予め設定、記憶されたスケジュールを読み出し（Ｓ１０１）、現在時刻を取得する（Ｓ１０２）。制御サーバ１０は、取得時刻が読み出したスケジュールの会議開始時刻になると（Ｓ１０３：Ｙ）、会議に参加する放収音装置の内の一つの放収音装置１１Ａへ、同じ会議に参加する他の放収音装置１１Ｂへの発信要求を、制御データ通信網２０２を介して送信する（Ｓ１０４）。
【００４０】
放収音装置１１Ａは、これを利用するユーザ等の電源入力やタイマによる自動電源入力によりスタンバイ状態となっており（Ｓ２０１）、制御サーバ１０から発信要求を検知すると、これを受信する（Ｓ２０２）。放収音装置１１Ａは、発信要求に従い、放収音装置１１Ｂへの発呼を、制御データ通信網２０２を介して制御サーバ１０へ送信し（Ｓ２０３）、制御サーバ１０は、この発呼を中継して、制御データ通信網２０２を介して放収音装置１１Ｂへ送信する（Ｓ１０５）。
【００４１】
放収音装置１１Ｂも、放収音装置１１Ａと同様に、予めスタンバイ状態にあり（Ｓ３０１）、制御サーバ１０を介した放収音装置１１Ａからの呼に従い、着呼する（Ｓ３０２）。この際、制御サーバ１０からは、制御データ通信網２０２を介して着信要求が送信されており（Ｓ１０６）、放収音装置１１Ｂは、着呼の後に着信要求を受信する（Ｓ３０３）。
【００４２】
放収音装置１１Ｂは、自身がビジーでないことを確認すると、音声データ通信網２０１での通信開始可能情報を、制御データ通信網２０２を介して制御サーバ１０へ送信し（Ｓ３０４）、制御サーバ１０は、この通信開始可能情報を中継して放収音装置１１Ａへ送信する（Ｓ１０７）。
【００４３】
放収音装置１１Ａは、通信開始可能情報を受信すると（Ｓ２０４）、音声データ通信網２０１での通信開始制御を、制御データ通信網２０２を利用し、制御サーバ１０を介して、放収音装置１１Ｂに送信する（Ｓ２０５→Ｓ１０８→Ｓ３０５）。放収音装置１１Ｂは、この放収音装置１１Ａからの通信開始制御に、制御データ通信網２０２を利用し、制御サーバ１０を介して、放収音装置１１Ａへ応答する（Ｓ３０５→Ｓ１０８→Ｓ２０５）。
【００４４】
このような通信開始制御の確認が終了すると、放収音装置１１Ａと放収音装置１１Ｂとの間で音声データ通信網２０１による伝送経路が確立される（Ｓ２０６，Ｓ３０６）。
【００４５】
放収音装置１１Ａと放収音装置１１Ｂとは、音声データ通信網２０１が確立されると、制御サーバ１０を介することなく、音声データの送受信を行う（Ｓ２０７，Ｓ３０７）。
【００４６】
このように、本実施形態の構成では、放収音装置間での音声データを送受信する音声データ通信網２０１の確立までは、制御サーバ１０により先導的に実行され、音声データ通信網２０１が確立されれば、それぞれの放収音装置間で直接音声データを送受信することができる。これにより、制御サーバ１０は、ミキシング機能を有する大規模で複雑なものを用いなくてもよい。
【００４７】
次に、音声データ通信網２０１が確立されると、制御サーバ１０は計時を開始する（Ｓ１１１）。制御サーバ１０は、予め設定した話者検出要求送信タイミングを検出すると（Ｓ１１２：Ｙ）、話者検出要求を接続が確立された各放収音装置１１Ａ，１１Ｂへ、制御データ通信網２０２を介して送信する（Ｓ１１３）。一方で、制御サーバ１０は、話者検出要求送信タイミングでなければ（Ｓ１１２：Ｎ）、計時とタイミング検出を継続する（Ｓ１１１）。
【００４８】
以下、放収音装置１１Ａと放収音装置１１Ｂとは同じ処理を行うので、放収音装置１１Ａのみについて説明する。
放収音装置１１Ａは、話者検出要求を受け付けると（Ｓ２１１）、検出要求を受け付けたことを示す確認データを制御サーバ１０へ制御データ通信網２０２を介して送信する（Ｓ２１２）。制御サーバ１０は、この確認データを取得することで、放収音装置１１Ａが話者検出を開始するものと判断し（Ｓ１１４）、話者検出データの受信待機状態となる。
【００４９】
放収音装置１１Ａは、計時を開始し（Ｓ２１３）、検出タイミングになると（Ｓ２１４：Ｙ）、前述のように話者検出と話者検出データの生成とを実行し、制御サーバ１０へ話者検出データを送信する（Ｓ２１５）。この際、放収音装置１１Ａは、制御データ通信網２０２を用いて、制御サーバ１０へ話者検出データを送信する。
【００５０】
放収音装置１１Ａは、話者検出および話者検出データの生成、送信を検出期間終了になるまで継続して行う（Ｓ２１６：Ｎ→Ｓ２１３）。ここで、検出期間終了は、例えば、次のように決定される。（１）放収音装置１１Ａは、制御サーバ１０からの話者検出要求を受け付けて、話者検出を行う場合に、予め設定した所定時間に、新たな話者検出要求を受け付けなければ、終了を決定する。（２）放収音装置１１Ａは、図示していないが、制御サーバ１０から話者検出要求の終了を示す話者検出要求終了データを受信した場合に、終了を決定する。なお、検出期間終了を検出した場合、放収音装置１１Ａは、制御サーバ１０への話者検出データの取得・送信を停止する（Ｓ２１６：Ｙ→Ｓ２１７）。
【００５１】
制御サーバ１０は、放収音装置１１Ａからの話者検出データを受信して記憶し（Ｓ１１５）、話者状況データの生成・更新を行う（Ｓ１１６）。すなわち、制御サーバ１０は、話者検出データを初めて取得した場合には、話者状況データを新規に生成し、これ以降に順次話者検出データを取得すると、直前の話者状況データに対して、新たな話者検出データを付け加えるように更新する。このような話者状況データの生成・更新は、スケジュールで設定された会議終了タイミングか、ユーザにより操作入力された終了タイミングまで実行され続ける（Ｓ１１７→Ｓ１１１）。そして、終了時間を検出すると、制御サーバ１０は、話者状況データの記憶を行い、終了処理を行う（Ｓ１１７：Ｎ→Ｓ１１８）。
【００５２】
このような処理を行うことで、制御サーバ１０は、音声データの通信制御を行うことなく、各放収音装置１１Ａ〜１１Ｄの話者検出データすなわち発話者情報を取得することができる。これにより、大規模で高価なサーバを用いることなく、前述のような話者検出データに基づく各種の応用処理を実現することができる。さらに、この際、話者検出データおよび話者状況データの送受信は、音声データ通信網２０１を用いないので、当該音声データ通信網２０１を伝送する音声データの送受信に影響を与えることも、これらの送受信による影響を与えられることもない。すなわち、独立して話者検出データおよび話者状況データの送受信を行うことができる。そして、このような話者検出データおよび話者状況データの送受信は、比較的データ量が小さいので、容量の大きくない伝送経路を用いても、音声データとのタイムラグを生じることなく、音声データと話者状況データとを各会議室１０１Ａ〜１０１Ｄで利用することができる。
【符号の説明】
【００５３】
１０１Ａ〜１０１Ｄ−会議室、１０−制御サーバ、１１Ａ〜１１Ｄ−放収音装置、１２Ａ〜１２Ｄ−映像処理装置、１３Ａ〜１３Ｅ−ルータ、２００−ネットワーク、２０１−音声データ通信網、２０２−制御データ通信網、２０３−映像データ通信網、２０４−話者状況データ通信網、
１１１−放収音装置の制御部、１１２−放収音装置のネットワークＩ／Ｆ、１１３−放音用ミキサ、１１４−話者検出部、１１５−送信音用ミキサ、
１５０−制御サーバ１０の通信制御部、１５１−スケジュール制御部、１５２−話者情報管理部、１５３−制御サーバ１０のネットワークＩ／Ｆ、１５４−表示部
【特許請求の範囲】
【請求項１】
音声データを通信する音声データ通信網に接続し、それぞれが放収音を行う複数の放収音装置と、
複数の放収音装置間の接続制御を行う通信制御サーバと、
を備えたネットワーク通信システムであって、
前記複数の放収音装置はそれぞれに話者検出手段を備え、
前記通信制御サーバは、前記複数の放収音装置のそれぞれに対して話者検出情報取得制御を行い、
前記複数の放収音装置は、前記話者検出情報取得制御を受け付けると、前記話者検出手段で取得した話者検出情報を前記通信制御サーバへ送信し、
前記音声データは前記通信制御サーバを介さずに、複数の放収音装置間で直接通信を行う
ことを特徴とするネットワーク通信システム。
【請求項２】
前記話者検出手段は、前記放収音装置に入力された収音データのレベルが所定の閾値以上である場合に前記話者検出情報を生成する
ことを特徴とする請求項１に記載のネットワーク通信システム。
【請求項３】
前記通信制御サーバは、取得した前記話者検出情報と、該話者検出情報を送信した前記放収音装置と、を対応付けた話者状況データを生成する話者情報管理部を備える
ことを特徴とする請求項１または２に記載のネットワーク通信システム。
【請求項４】
前記通信制御サーバは、前記複数の放収音装置による通信のスケジュールを予め記憶しており、前記スケジュールまたは時刻情報に基づいて時系列で前記話者状況データを生成する
ことを特徴とする請求項３に記載のネットワーク通信システム。
【請求項５】
前記複数の放収音装置にそれぞれ対応し、映像の取得及び表示を行う複数の映像処理手段を備え、
前記複数の映像処理手段は、取得した前記話者状況データを表示する
ことを特徴とする請求項３または請求項４に記載のネットワーク通信システム。
【請求項６】
前記複数の映像処理手段は、前記話者状況データに基づいて、表示する映像の切替制御を行う
ことを特徴とする請求項５に記載のネットワーク通信システム。
【請求項１】
音声データを通信する音声データ通信網に接続し、それぞれが放収音を行う複数の放収音装置と、
複数の放収音装置間の接続制御を行う通信制御サーバと、
を備えたネットワーク通信システムであって、
前記複数の放収音装置はそれぞれに話者検出手段を備え、
前記通信制御サーバは、前記複数の放収音装置のそれぞれに対して話者検出情報取得制御を行い、
前記複数の放収音装置は、前記話者検出情報取得制御を受け付けると、前記話者検出手段で取得した話者検出情報を前記通信制御サーバへ送信し、
前記音声データは前記通信制御サーバを介さずに、複数の放収音装置間で直接通信を行う
ことを特徴とするネットワーク通信システム。
【請求項２】
前記話者検出手段は、前記放収音装置に入力された収音データのレベルが所定の閾値以上である場合に前記話者検出情報を生成する
ことを特徴とする請求項１に記載のネットワーク通信システム。
【請求項３】
前記通信制御サーバは、取得した前記話者検出情報と、該話者検出情報を送信した前記放収音装置と、を対応付けた話者状況データを生成する話者情報管理部を備える
ことを特徴とする請求項１または２に記載のネットワーク通信システム。
【請求項４】
前記通信制御サーバは、前記複数の放収音装置による通信のスケジュールを予め記憶しており、前記スケジュールまたは時刻情報に基づいて時系列で前記話者状況データを生成する
ことを特徴とする請求項３に記載のネットワーク通信システム。
【請求項５】
前記複数の放収音装置にそれぞれ対応し、映像の取得及び表示を行う複数の映像処理手段を備え、
前記複数の映像処理手段は、取得した前記話者状況データを表示する
ことを特徴とする請求項３または請求項４に記載のネットワーク通信システム。
【請求項６】
前記複数の映像処理手段は、前記話者状況データに基づいて、表示する映像の切替制御を行う
ことを特徴とする請求項５に記載のネットワーク通信システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−４２５４２（Ｐ２０１３−４２５４２Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１２−２３７４２９（Ｐ２０１２−２３７４２９）
【出願日】平成２４年１０月２９日（２０１２．１０．２９）
【分割の表示】特願２００７−９１４６２（Ｐ２００７−９１４６２）の分割
【原出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２４年１０月２９日（２０１２．１０．２９）
【分割の表示】特願２００７−９１４６２（Ｐ２００７−９１４６２）の分割
【原出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]