説明

マルチポイントビデオ会議ユニット機能を提供するデバイス、方法及び媒体

マルチポイントビデオ会議ユニット機能を提供するデバイス、方法及び媒体が提供される。いくつかの実施例においては、マルチポイントビデオ会議ユニット機能を提供するデバイスは、複数のビデオ信号を受信するとともにEMCUエンドポイントからビジュアルレイアウトを受信する少なくとも1つの入力インターフェースの組み合わせと、前記複数のビデオ信号のサブセットを選択するプロセッサと、前記複数のビデオ信号のサブセットを前記EMCUエンドポイントに送り、前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送る少なくとも1つの出力インターフェースの組み合わせとを具える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明はマルチポイントビデオ会議ユニット(多地点ビデオ会議装置)機能を提供するデバイス、方法及び媒体に関する。
【背景技術】
【0002】
エンベデッドマルチポイント会議ユニット(EMCU:Embedded Multi-point Conferencing Unit)を備えたビデオ会議エンドポイント(EMCUエンドポイントという)は、いくつかのビデオ会議エンドポイントにマルチポイントビデオ会議を提供することができる。小さなビデオ会議ネットワークを展開する組織は、必要とされるコストが比較的低いこと及びその展開が簡単であるために、EMCUエンドポイントを選択する傾向にある。例えば、1つ以上のEMCUエンドポイントは(例えば多大な費用をかけずに)直ちに購入することができ、ビデオ会議ネットワークを構築する初期段階において容易に展開することができる。
【0003】
しかし、ビデオ会議ネットワークが成長するにつれて、EMCUエンドポイントは媒体及び/又は大規模ビデオ会議ネットワークを展開するために必要とされるスケーラビリティ及びキャパシティを提供できなくなる。例えば、EMCUエンドポイントは、EMCUエンドポイントがビデオ会議においてサポートできるビデオ会議エンドポイントの数に制限がある。EMCUエンドポイントがサポートできるビデオストリームレイアウトの数及び異なるビットレートの数も制限される。
【0004】
このような欠点を解決するためにこれまでいくつかの解決策が提案されている。例えば、既存のEMCUエンドポイントを含むことができるネットワークベースマルチポイント会議システムが提案されている。しかし、このような会議システムはさらに多くの費用を要する。その上、このような提案システムは既存のEMCUエンドポイントの能力を利用しきっていない。例えば、先に提案された会議システムは、EMCUエンドポイントが実行するように設計されたビデオ処理等の機能を十分に利用しておらず、既存のEMCUエンドポイントをビデオ会議エンドポイントの限られた役割に追いやっている。
【発明の概要】
【0005】
マルチポイントビデオ会議ユニット機能を提供するデバイス、方法及び媒体が提供される。いくつかの実施例においては、マルチポイントビデオ会議ユニット機能を提供するデバイスは、複数のビデオ信号を受信するとともにEMCUエンドポイントからビジュアルレイアウトを受信する少なくとも1つの入力インターフェースの組み合わせと、前記複数のビデオ信号のサブセットを選択するプロセッサと、前記複数のビデオ信号のサブセットを前記EMCUエンドポイントに送り、前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送る少なくとも1つの出力インターフェースの組み合わせとを具える。
【0006】
いくつかの実施例においては、マルチポイント会議ユニット機能を提供するデバイスは、複数のオーディオ信号を受信するとともにEMCUエンドポイントから分離されたEMCUエンドポイントユーザオーディオ信号を受信する少なくとも1つの入力インターフェースの組み合わせと、前記複数のオーディオ信号のサブセットを選択し、前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するプロセッサと、前記混合オーディオ信号を前記EMCUエンドポイントに送る少なくとも1つの出力インターフェースの組み合わせとを具える。
【0007】
いくつかの実施例においては、マルチポイントビデオ会議ユニット機能を提供する方法が提供される。これらの方法は、複数のビデオ信号を受信するステップ、EMCUエンドポイントからビジュアルレイアウトを受信するステップ、前記複数のビデオ信号のサブセットを選択するステップ、前記複数のビデオ信号のサブセットを前記EMCUエンドポイントに送るステップ、及び前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送るステップを具える。
【0008】
いくつかの実施例においては、マルチポイントビデオ会議ユニット機能を提供する方法が提供される。これらの方法は、複数のオーディオ信号を受信するステップ、EMCUエンドポイントから分離されたEMCUエンドポイントユーザオーディオ信号を受信するステップ、前記複数のオーディオ信号のサブセットを選択するステップ、前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び前記混合オーディオ信号を前記EMCUエンドポイントに送るステップを具える。
【0009】
いくつかの実施例においては、プロセッサにより実行されたとき、該プロセッサにマルチポイントビデオ会議ユニット機能を提供する方法を実行させるコンピュータ読み取り可能な命令を含むコンピュータ読み取り可能な媒体が提供される。前記方法は、複数のビデオ信号を受信するステップ、EMCUエンドポイントからビジュアルレイアウトを受信するステップ、前記複数のビデオ信号のサブセットを選択するステップ、前記複数のビデオ信号のサブセットを前記EMCUエンドポイントに送るステップ、及び前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送るステップを具える。
【0010】
いくつかの実施例においては、プロセッサにより実行されたとき、該プロセッサにマルチポイントビデオ会議ユニット機能を提供する方法を実行させるコンピュータ読み取り可能な命令を含むコンピュータ読み取り可能な媒体が提供される。前記方法は、複数のオーディオ信号を受信するステップ、EMCUエンドポイントから分離されたEMCUエンドポイントユーザオーディオ信号を受信するステップ、前記複数のオーディオ信号のサブセットを選択するステップ、前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び前記混合オーディオ信号を前記EMCUエンドポイントに送るステップを具える。
【図面の簡単な説明】
【0011】
【図1】図1は本発明のいくつかの実施例による、ネットワークMCU及び1つ以上のEMCUエンドポイントを用いるマルチポイントビデオ会議提供システムの概略図である。
【図2】図2は本発明のいくつかの実施例による、ネットワークMCUとEMCUエンドポイントとの間の一組の通信チャネル及びネットワークMCUとビデオ会議エンドポイントとの間の一組の通信ネットワークの説明図である。
【図3】図3A−Bは本発明のいくつかの実施例による、マルチポイントビデオ会議提供方法を示す図である。
【図4】図4A−Bは本発明のいくつかの実施例による、EMCUエンドポイント及び/又はビデオ会議エンドポイントのスクリーン上に表示されるビジュアルレイアウトの説明図である。
【発明を実施するための形態】
【0012】
マルチポイントビデオ会議ユニット機能を提供するデバイス、方法及び媒体が提供される。本発明のいくつかの実施の形態においては、1つ以上のEMCUエンドポイントの処理能力を活用することによってマルチポイントビデオ会議ユニット機能を提供するデバイス、方法及び媒体が提供される。EMCUエンドポイントを制御するためにネットワークMCUを使用することがえきる。例えば、EMCUエンドポイントの各々はネットワークMCUを介してビデオ会議エンドポイント及び/又は他のEMCUエンドポイントと通信することができる。ネットワークMCUはビデオ会議エンドポイント及びEMCUエンドポイントからのビデオストリームに対してスイッチングサービスを提供することができ、且つビデオ会議エンドポイントからのオーディオストリームに対してスイッチングサービスを提供することができる。EMCUエンドポイントはビデオストリームを処理し、ビデオ会議エンドポイントのためにビジュアルレイアウトを生成し、これらのビジュアルレイアウトを他のエンドポイントに分配するためにネットワークMCUに供給することができる。
【0013】
図1及び図2を一緒に参照してマルチポイントビデオ会議を提供するシステム100を説明する。
【0014】
図1は、いくつかの実施例による、ネットワークMCU及び1つ以上のEMCUエンドポイントを用いるマルチポイントビデオ会議提供システム100の概略図である。図に示されるように、システム100は、ネットワークMCU102、ネットワーク104、1つ以上のEMCUエンドポイント106、1つ以上のビデオ会議エンドポイント108、一組のEMCUエンドポイントコール(呼接続)110及び一組のビデオ会議エンドポイントコール(呼接続)112を含む。
【0015】
ネットワークMCU102はプログラム、例えばアプリケーションソフトウェア、ライブラリファンクション及び/又はプロシージャのインスタンス、1つ以上のバックグラウンドデーモンプロセス、実行可能なスレッドの1つ以上のインスタンス、及び/又は種々の他の適切なソフトウェアピースとすることができる。ネットワークMCU102は、このようなプログラムを実行できる1つ以上のプロセッサ、例えば汎用コンピュータ、特殊目的のコンピュータ、ディジタルプロセッシングデバイス、サーバ及び/又は種々の他の適切なデバイスとすることもできる。
【0016】
ネットワーク104は、マルチポイントビデオ会議システムを実施できるローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、無線ネットワーク、ケーブルネットワーク、電話ネットワーク、インターネット及び/又は種々の他の適切なネットワークとすることができる。
【0017】
EMCUエンドポイント106は、EMCUを具えたビデオ会議エンドポイントとすることができる。例えば、このようなEMCUエンドポイントのいくつかは、ビデオ会議エンドポイント製造業者、例えばPOLYCOM(登録商標)、TANDBERG(登録商標)、SONY(登録商標)、LIFESIZE(登録商標)、AETHRA(登録商標)及び/又は種々の他の適切な製造業者により製造されている。いくつかの実施例では、ネットワークMCU102と同様に、EMCUエンドポイント106はプログラム又はプログラム実行デバイスとすることができる。
【0018】
ビデオ会議エンドポイント108はビデオ会議エンドポイントを提供する任意の適切なデバイスとすることができる。例えば、このデバイスは、ビデオ会議に参加するために用いることができる専用のエンドポイントデバイス、適切なソフトウェアを実行するパーソナルコンピュータ、電話、携帯電話、形態情報端末(PDA)、eメールデバイス及び/又は種々の他の適切なデバイスとすることができる。いくつかの実施例では、ビデオ会議に参加するために必要な機能はビデオ会議エンドポイント108に組み込まれる。いくつかの実施例では、ビデオ会議エンドポイント108は、このような機能を提供し得る周辺装置とインターフェースすることによってこれらの機能のいくつかを付加することができる。例えば、いくつかのこのようなビデオ会議エンドポイントは、ビデオ会議エンドポイント製造業者、例えばPOLYCOM(登録商標)、TANDBERG(登録商標)、SONY(登録商標)、LIFESIZE(登録商標)、AETHRA(登録商標)及び/又は種々の他の適切な製造業者により製造されている。
【0019】
図2は、ネットワークMCU102とEMCUエンドポイント106との間の一組のコール110及びネットワークMCU102とビデオ会議エンドポイント108との間の一組のコール112を示す。コール110及び112はネットワークMCU102とEMCUエンドポイント106及びビデオ会議エンドポイント108のそれぞれとの間の任意の論理接続とすることができる。例えば、コール110及び112はダイアルアップ電話コール、TCP/IP接続(例えばインターネット経由)等で実施することができる。
【0020】
EMCUエンドポイントコール110は、ビデオチャネル111A及び111Bと、オーディオチャネル111C及び111Dと、制御チャネル111Eとを含むことができる。ビデオチャネル111A及び111Bは、EMCUエンドポイント106への1つ以上の出ビデオチャネル111Aと、EMCUエンドポイント106からの1つ以上の入ビデオチャネル111Bとを含むことができる。
【0021】
同様に、オーディオチャネル111C及び111Dは、EMCUエンドポイント106への1つ以上の出オーディオチャネル111Cと、EMCUエンドポイント106からの1つ以上の入オーディオチャネル111Dとを含むことができる。
【0022】
制御チャネル111EはネットワークMCU102とEMCUエンドポイント106との間での制御コマンドの送信及び受信に使用することができる。
【0023】
ビデオ会議エンドポイントコール112は、ビデオチャネル113A及び113Bと、オーディオチャネル113C及び113Dと、制御チャネル113Eとを含むことができる。ビデオチャネル113A及び113Bは、ビデオ会議エンドポイント108への1つ以上の出ビデオチャネル113Bと、EMCUエンドポイント106からの1つ以上の入ビデオチャネル113Aとを含むことができる。
【0024】
同様に、オーディオチャネル113C及び113Dは、ビデオ会議エンドポイント108への1つ以上の出オーディオチャネル113Dと、ビデオ会議エンドポイント108からの1つ以上の入オーディオチャネル113Cとを含むことができる。
【0025】
制御チャネル113EはネットワークMCU102とビデオ会議エンドポイント108との間での制御コマンドの送信及び受信に使用することができる。
【0026】
コール110及び112は、出席情報チャネル、データチャネル、遠端カメラ制御チャネル及び種々の他の標準及び/又は専用チャネルを含むこともできる。
【0027】
MCU102とEMCUエンドポイント106との間に3つのコール110を示すが、任意の適切な数のコールを使用することができる。同様に、MCU102とビデオ会議エンドポイント108との間に3つのコール112を示すが、任意の数のコール112を使用することができる。
【0028】
マルチポイントビデオ会議を提供する方法300を説明するために、図2、図3A−B及び図4A−Bを一緒に参照する。
【0029】
図3A−Bは、いくつかの実施例による、マルチポイントビデオ会議提供方法300を示す。図3Aは、いくつかの実施例による、EMCUエンドポイント106及びビデオ会議エンドポイント108によって実行できる一組の代表的な機能を示す。図3Bは、いくつかの実施例による、MCU102及びEMCUエンドポイント106によって実行できる一組の代表的な機能を示す。
【0030】
ステップ302において、マルチポイントビデオ会議のための接続を確立する要求が行われる。ユーザはビデオ会議エンドポイント108又はEMCUエンドポイント106を用いてこのような要求を行うことができる。
【0031】
ステップ304において、要求されたマルチポイントビデオ会議のために1つ以上の接続が確立される。いくつかの実施例では、ネットワークMCU102が接続を確立する。いくつかの実施例では、この接続はEMCUエンドポイントコール110とビデオ会議エンドポイントコール112を含む。いくつかの実施例では、これらのコールはマルチポイントビデオ会議中にいつでもダイナミックに確立及び/又は終了される。
【0032】
ステップ306において、コールを介して確立された接続を経てデータストリームを送信する。データストリームは、ビデオストリーム、オーディオストリーム、ホワイトボードを示すストリーム及び/又は種々の他の適切なタイプのデータストリームを含むことができる。例えば、ユーザがビデオ会議エンドポイント108又はEMCUエンドポイント106を用いてビデオ会議への参加を開始すると、ビデオストリームが生成され、送信することができ、ビデオストリームはビデオフレームを含むものとし得る。ユーザが話し始めると、オーディオストリームが生成され、送信することができる。
【0033】
ステップ308において、データストリームが受信される。いくつかの実施例では、例えばネットワークMCU102は最初にビデオ会議エンドポイント108からデータストリームをチャネル113A及び113Cを経て受信する。
【0034】
いくつかの実施例では、ネットワークMCU102はデータストリームを制御するためにエンドポイント108及び/又はEMCUエンドポイント106にフロー制御コマンドを送信する。例えば、ネットワークMCU102はエンドポイント108及び106に、ビデオ帯域幅を512kbps又は任意の他の適切なビットレートに低減するように命令することができる。
【0035】
ステップ310において、308で受信したデータストリームを処理する。データストリームの処理は、符号化、復号化、混合、選択、スイッチング及び種々の他の適切な処理を含むことができる。いくつかの実施例では、ネットワークMCU102が受信データストリームを処理する。いくつかの実施例では、EMCUエンドポイント106が受信データストリームを処理する。いくつかの実施例では、ネットワークMCU102とEMCUエンドポイント106がデータストリーム処理タスクをシェアする。例えば、ネットワークMCU102はオーディオストリームの復号、混合、選択及び/又はスイッチングとビデオストリームの選択及びスイッチングを行い、EMCUエンドポイント106はビデオストリームの復号、符号化及び/又は混合を行うようにすることができる。いくつかの実施例では、別の例として、ネットワークMCU102はビデオストリームの復号化、符号化及び/又は混合を行うようにすることもできる。
【0036】
オーディオストリームの選択は1つ以上のファクタに基づいて行うことができる。いくつかの実施例では、例えばこの選択は、ネットワークMCU102により、どのユーザが現在最も大声で話しているかに基づいて行われ、このユーザのみが会議オーディオに含められる。いくつかの実施例では、例えば最も大声で話している複数のユーザが会議オーディオに含められる。いくつかの実施例では、会議ビデオに選択されたユーザが会議オーディオにも選択される。いくつかの実施例では、オーディオストリームはユーザ入力に基づいて選択することができる。オーディオの選択には任意の他の適切な基準を用いることができる。
【0037】
選択されたオーディオはネットワークMCU102により混合し、エンドポイント108及び106に分配することができる。各エンドポイント108に供給されるオーディオは、当該エンドポイントのユーザのオーディオを含まない、ビジュアルレイアウトに提示されている1以上のユーザからのオーディオの混合とすることができる。
【0038】
ビデオストリームの選択は1つ以上のファクタに基づいて行うことができる。いくつかの実施例では、例えばこの選択は、どのユーザが最も直前に話したかに基づいて行われる。いくつかの実施例では、この選択は、各ユーザがビデオ会議に参加した順序に基づいて行われる。いくつかの実施例では、この選択は、各ユーザがどのタイプのエンドポイントデバイスを使用しているかに基づいて部分的に行われる。例えば、ビジュアルレイアウトを生成するEMCUエンドポイントを用いてビデオ会議に参加しているユーザは常にビジュアルレイアウトの一部分とすることができる。いくつかの実施例では、この選択は、話しているどのユーザのビデオも常にビジュアルレイアウトを生成する所定のEMCUエンドポイント108に供給されるように行うことができる。いくつかの実施例では、ビデオストリームの選択はユーザ入力に基づいて行うことができる。ビデオの選択には任意の他の適切な基準を用いることもできる。
【0039】
ステップ312において、310で処理されたデータストリームを用いてビジュアルレイアウトを生成することができる。ビジュアルレイアウトの例が図4A及び図4Bに示されている。いくつかの実施例では、ネットワークMCU102は一つのEMCUエンドポイント106に接続され、このEMCUエンドポイントによりビジュアルレイアウト402Aが生成される。複数のEMCUエンドポイント106がネットワークMCU102に接続されると、各エンドポイントは他のEMCUエンドポイント106により生成されるビジュアルレイアウトと同一もしくは異なるビジュアルレイアウトを生成することができる。いくつかの実施例では、ビデオストリームの各フレームごとに新しいビジュアルレイアウトを生成することができる。
【0040】
いくつかの実施例では、EMCUエンドポイント106を用いてビデオ会議に参加するユーザ又はネットワークMCU102は、ユーザが見るビジュアルレイアウトをカスタマイズすることができる。例えば、当該ユーザは他の指定したユーザのみを見るように選択することができる。このような場合には、コマンドをネットワークMCUに送り、対応するビデオ信号をEMCUエンドポイントに供給するように命令することができる。このコマンドは、例えばEMCUからネットワークMCUへのインターフェース、ネットワークMCUと関連してホスティングされた(例えば)ウェブページ上のインターフェース、ユーザにより入力されネットワークMCUにより受信されるDTMFコマンド、ユーザにより入力されネットワークMCUにより認識される音声コマンド等のような任意の適切なメカニズムを用いて送ることができる。この場合、カスタマイズされたビジュアルレイアウトを有するEMCUエンドポイント106は、その出力ビデオとして、そのディスプレイに提示されているビデオ及び/又は当該EMCUエンドポイントにおけるユーザのビデオをネットワークMCU102に送ることができる。
【0041】
ステップ314において、312で生成されたビジュアルレイアウトは310で選択され混合された任意のオーディオストリームと一緒に分配される。例えば、ネットワークMCU102は、入ビデオチャネル111Bを経てビジュアルレイアウトを受信し、ビジュアルレイアウト及びオーディオを出ビデオ及びオーディオチャネル113B及び113Dを経てユーザA及びD−G又はユーザA,C−D及びF−Gにそれぞれ分配することができる。
【0042】
いくつかの実施例では、エンドポイント108のユーザは、ネットワークMCU102により受信される任意のビジュアルレイアウト又はユーザビデオ(例えばエンドポイント108又は106により当該エンドポイントのユーザのために生成されたビデオ)を見るように選択することができる。このような場合には、ユーザはそれらのエンドポイント108から適切な制御信号を(例えば、エンドポイント108とネットワークMCU102との間のインターフェース、ウェブページ、DTMFコマンド又は音声コマンド等を用いて)を送信して、ネットワークMCU102に、適切なビジュアルレイアウト又はユーザビデオを送信するように命令することができる。
【0043】
ステップ316において、312で生成されたビジュアルレイアウトが付随オーディオストリームと一緒に受信される。いくつかの実施例では、例えば、ビデオ会議エンドポイント108はチャネル113B及び113Dを経てビジュアルレイアウト及び付随オーディオストリームを受信することができる。ステップ318において、ビジュアルレイアウトが表示され、付随オーディオストリームが再生される。
【0044】
その後、ステップ310〜318がストリームの各部分、例えばフレームごとに繰り返され、ステップ306〜318が次のストリームに対して繰り返されること明らかであろう。
【0045】
図4A−Bを参照してステップ312〜318を説明する。図4A−Bは、いくつかの実施例においてEMCUエンドポイント106及び/又はビデオ会議エンドポイント108のスクリーン上に表示できるビジュアルレイアウト、例えば402A及び402Bの説明図である。ビジュアルレイアウト400は1つ以上の独立の表示領域404及び406を含むことができる。
【0046】
これらのレイアウトの理解を助けるために、例えば、ネットワークMCU102はビデオ会議に参加している7人の異なるユーザA−Gから7つのビデオストリーム及び7つのオーディオストリームを受信していると仮定する。更に、ユーザBはEMCUエンドポイント106を用いてビデオ会議に参加し、ユーザA及びC−Gはビデオ会議エンドポイント108を用いてビデオ会議に参加していると仮定する。最初に、ユーザAが話しており、その間他のユーザはユーザAの話を聞いている。
【0047】
ネットワークMCU102は、ユーザA及びC−Gにより対応するコール112のビデオチャネル113Aで送信されるビデオストリームを受信する。このとき、ネットワークMCU102は1つ以上のビデオストリームを選択し、選択したビデオストリームをEMCUエンドポイント106へ送る。例えば、ネットワークMCU102は、図4Aに示すように、3つのビデオストリームA,C及びDを選択し、これらのビデオストリームを3つのそれぞれのコール110の出ビデオチャネル111Aを経てEMCUエンドポイント106へ送る。このとき、EMCUエンドポイント106はビデオストリームを復号し、選択されたビデオストリームをユーザBにより生成されたビデオストリームと混合してビジュアルレイアウト402Aを生成し、ビジュアルレイアウト402Aを1つ以上のコール110の入ビデオチャネル111Bを経てネットワークMCU102に送り返す。次に、ネットワークMCU102はビジュアルレイアウト402Aを対応するコール112の出ビデオチャネル113Bを経てビデオ会議エンドポイント108へ分配することができる。
【0048】
ネットワークMCU102は、1人以上のユーザからのオーディオストリームを混合し、混合したオーディオをユーザへの提示のためにエンドポイント106及び108へ送ることもできる。例えば、エンドポイント108のユーザ(例えばユーザA)が話していると決定され、ネットワークMCUが話しているユーザの声のみを提示するように構成されている場合、当該ユーザのオーディオを選択し、随意に混合し、エンドポイント106及び108の各々に分配することができる。
【0049】
EMCUエンドポイント106に供給されるオーディオストリームは種々の方法で供給することができる。例えば、ユーザA,C及びDの各々からのオーディオを選択し、一緒に混合することができる。その後、混合されたオーディオを1つのコール110の出オーディオチャネル111Cを経てEMCUエンドポイント106へ送ることができる。代案として、ユーザA,C及びDのオーディオは、これらのオーディオストリームのいくつか(例えば、ユーザA及びCのオーディオストリーム)を一緒に混合し、1つのコール110の出オーディオチャネル111CでEMCUエンドポイント106へ送り、1つ以上のオーディオストリーム(例えば、ユーザDのオーディオストリーム)の各々は別々にしておき、コール110の各自のチャネル111CでEMCUエンドポイント106へ送るようにすることもできる。更に他の代案として、オーディオストリームの各々を、他のオーディオストリームから分離して、コール110の各自の出オーディオチャネル111Cで送ることができる。いくつかの実施例においては、2つ以上のオーディオストリームが一緒に混合され、単一のオーディオチャネルで送られるとき、EMCUエンドポイント106へのオーディオチャネル111Cのいくつかを不要にすることができ、従ってこれらのチャネルを省略し、無信号状態又は強く減衰又はミュートされた信号状態に確立することができる。
【0050】
EMCUエンドポイントのユーザのオーディオを分離するためにネットワークMCUにおいて適切な処理が必要とされる。例えば、いくつかの実施例では、EMCUエンドポイントに供給されるすべてのオーディオストリーム(例えば、ユーザA,C及びDのオーディオストリーム)が一緒に混合され、単一のオーディオチャネル111Cで送られるとき、EMCUエンドポイントはEMCUエンドポイントのユーザ(例えばユーザB)のオーディオを単一のオーディオチャネル111Cと同じコール110の入オーディオチャネル111DでネットワークMCUへ送り返す。この例では、この処理は、ユーザA,C及びDのオーディオストリームを、これらのストリームがEMCUエンドポイントに送られる前に、混合することによって実行される。別の例として、EMCUエンドポイントが、1人以上の他のユーザ(例えば、ユーザD)と混合された当該エンドポイントのユーザ(例えばユーザB)のオーディオをネットワークMCUに送り返す場合、ネットワークMCUはこれらの他のユーザのオーディオを差し引いてユーザBのオーディオを得る必要がある。EMCUエンドポイントのユーザのオーディオが分離されたら、このオーディオをネットワークMCU102によって任意のエンドポイント108のオーディオと同様に選択し混合することができる。
【0051】
いくつかの実施例では、ネットワークMCU102は2つ以上のEMCUエンドポイント106に接続される。例えば、ユーザB及びEが異なるEMCUエンドポイント106を用いてビデオ会議に参加しているとする。いくつかの実施例では、ネットワークMCU102はユーザBのEMCUエンドポイント106からビジュアルレイアウト402Aを受信し、それをその出ビデオチャネルの一つでユーザEのEMCUエンドポイント106へ、ネットワークMCU102が選択した2つの他のビデオストリーム(例えば、図に示されるようにユーザF及びGのビデオストリーム)と一緒に供給する。この場合、ユーザEのEMCUエンドポイント106は、ビジュアルレイアウト402Aと例えばユーザF及びGの2つの他のビデオストリームを用いて、図4Bに示されるような異なるビジュアルレイアウト402Bを生成することができる。その後、ネットワークMCU102はビジュアルレイアウト402BをユーザA,C−D及びF−Gのすべて又はいくつかに分配することができる。
【0052】
本発明を以上の例示的実施例について記載し説明したが、この開示は一例にすぎず、本発明の実施に当たっては、本発明の精神及び範囲内において多くの細部の変更が可能であり、本発明の精神及び範囲は後記の特許請求の範囲によってのみ限定される。開示の実施例の特徴は種々に組み合わせ、再編成することができる。

【特許請求の範囲】
【請求項1】
複数のビデオ信号を受信するとともにEMCUエンドポイントからビジュアルレイアウトを受信する少なくとも1つの入力インターフェースの組み合わせと、前記複数のビデオ信号のサブセットを選択するプロセッサと、前記複数のビデオ信号のサブセットを前記EMCUエンドポイントに送り、前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送る少なくとも1つの出力インターフェースの組み合わせとを具える、マルチポイントビデオ会議ユニット機能を提供するデバイス。
【請求項2】
前記少なくとも1つの入力インターフェースの組み合わせは複数のオーディオ信号も受信するとともに、EMCUエンドポイントから分離されたEMCUエンドポイントユーザオーディオ信号も受信し、前記プロセッサは前記複数のオーディオ信号のサブセットを選択し、前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成し、前記少なくとも1つの出力インターフェースの組み合わせは前記混合オーディオ信号を前記EMCUエンドポイントに送る、請求項1記載のデバイス。
【請求項3】
前記少なくとも1つの出力インターフェースの組み合わせはミュートされたオーディオ信号も前記EMCUエンドポイントに送る、請求項2記載のデバイス。
【請求項4】
前記少なくとも1つの出力インターフェースの組み合わせは、オーディオ信号のないEMCUエンドポイントに対してオーディオチャネルを維持する、請求項2記載のデバイス。
【請求項5】
前記EMCUエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項2記載のデバイス。
【請求項6】
前記複数のビデオ信号の一つは、第2のEMCUエンドポイントから受信される第2のビジュアルレイアウトであり、前記プロセッサは前記第2のビジュアルレイアウトを前記複数のビデオ信号のサブセットの一部分として選択する、請求項1記載のデバイス。
【請求項7】
前記複数のビデオ信号のすべてがビデオ会議エンドポイントから受信される、請求項1記載のデバイス。
【請求項8】
複数のオーディオ信号を受信するとともにEMCUエンドポイントから分離されたEMCUエンドポイントユーザオーディオ信号を受信する少なくとも1つの入力インターフェースの組み合わせと、前記複数のオーディオ信号のサブセットを選択し、前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するプロセッサと、前記混合オーディオ信号を前記EMCUエンドポイントに送る少なくとも1つの出力インターフェースの組み合わせとを具える、マルチポイント会議ユニット機能を提供するデバイス。
【請求項9】
前記少なくとも1つの出力インターフェースの組み合わせはミュートされたオーディオ信号も前記EMCUエンドポイントに送る、請求項8記載のデバイス。
【請求項10】
前記少なくとも1つの出力インターフェースの組み合わせは、オーディオ信号のないEMCUエンドポイントに対してオーディオチャネルを維持する、請求項8記載のデバイス。
【請求項11】
前記EMCUエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項8記載のデバイス。
【請求項12】
複数のビデオ信号を受信するステップ、
EMCUエンドポイントからビジュアルレイアウトを受信するステップ、
前記複数のビデオ信号のサブセットを選択するステップ、
前記複数のビデオ信号のサブセットを前記EMCUエンドポイントに送るステップ、及び
前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送るステップ、
を具える、マルチポイント会議ユニット機能を提供する方法。
【請求項13】
複数のオーディオ信号を受信するステップ、
EMCUエンドポイントから分離されたEMCUエンドポイントユーザオーディオ信号を受信するステップ、
前記複数のオーディオ信号のサブセットを選択するステップ、
前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び
前記混合オーディオ信号を前記EMCUエンドポイントに送るステップ、
を更に具える、請求項12記載の方法。
【請求項14】
ミュートされたオーディオ信号を前記EMCUエンドポイントに送るステップを更に具える、請求項13記載の方法。
【請求項15】
オーディオチャネルをオーディオ信号のないEMCUエンドポイントに対して維持するステップを更に具える、請求項13記載の方法。
【請求項16】
前記EMCUエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項13記載の方法。
【請求項17】
前記複数のビデオ信号の一つは、第2のEMCUエンドポイントから受信される第2のビジュアルレイアウトであり、前記第2のビジュアルレイアウトが前記複数のビデオ信号のサブセットの一部分として選択される、請求項12記載のデバイス。
【請求項18】
前記複数のビデオ信号のすべてがビデオ会議エンドポイントから受信される、請求項12記載の方法。
【請求項19】
複数のオーディオ信号を受信するステップ、
EMCUエンドポイントから分離されたEMCUエンドポイントユーザオーディオ信号を受信するステップ、
前記複数のオーディオ信号のサブセットを選択するステップ、
前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び
前記混合オーディオ信号を前記EMCUエンドポイントに送るステップ、
を具える、マルチポイント会議ユニット機能を提供する方法。
【請求項20】
ミュートされたオーディオ信号を前記EMCUエンドポイントに送るステップを更に具える、請求項19記載の方法。
【請求項21】
オーディオチャネルをオーディオ信号のないEMCUエンドポイントに対して維持するステップを更に具える、請求項19記載の方法。
【請求項22】
前記EMCUエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項19記載の方法。
【請求項23】
プロセッサにより実行されたとき、
複数のビデオ信号を受信するステップ、
EMCUエンドポイントからビジュアルレイアウトを受信するステップ、
前記複数のビデオ信号のサブセットを選択するステップ、
前記複数のビデオ信号のサブセットを前記EMCUエンドポイントに送るステップ、及び
前記複数のビデオ信号のサブセットを内蔵する前記ビジュアルレイアウトをビデオ会議エンドポイントに送るステップ、
を具えるマルチポイント会議ユニット機能を提供する方法を、前記プロセッサに実行させるコンピュータ読み取り可能な命令を含むコンピュータ読み取り可能な媒体。
【請求項24】
前記方法は、
複数のオーディオ信号を受信するステップ、
EMCUエンドポイントから分離されたEMCUエンドポイントユーザオーディオ信号を受信するステップ、
前記複数のオーディオ信号のサブセットを選択するステップ、
前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び
前記混合オーディオ信号を前記EMCUエンドポイントに送るステップ、
を更に具える、請求項23記載の媒体。
【請求項25】
前記方法は、ミュートされたオーディオ信号を前記EMCUエンドポイントに送るステップを更に具える、請求項24記載の媒体。
【請求項26】
前記方法は、オーディオチャネルをオーディオ信号のないEMCUエンドポイントに対して維持するステップを更に具える、請求項24記載の媒体。
【請求項27】
前記EMCUエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項24記載の媒体。
【請求項28】
前記複数のビデオ信号の一つは、第2のEMCUエンドポイントから受信される第2のビジュアルレイアウトであり、前記第2のビジュアルレイアウトが前記複数のビデオ信号のサブセットの一部分として選択される、請求項23記載の媒体。
【請求項29】
前記複数のビデオ信号のすべてがビデオ会議エンドポイントから受信される、請求項23記載の媒体。
【請求項30】
プロセッサにより実行されたとき、
複数のオーディオ信号を受信するステップ、
EMCUエンドポイントから分離されたEMCUエンドポイントユーザオーディオ信号を受信するステップ、
前記複数のオーディオ信号のサブセットを選択するステップ、
前記複数のオーディオ信号のサブセットを混合して混合オーディオ信号を生成するステップ、及び
前記混合オーディオ信号を前記EMCUエンドポイントに送るステップ、
を具えるマルチポイント会議ユニット機能を提供する方法を、前記プロセッサに実行させるコンピュータ読み取り可能な命令を含むコンピュータ読み取り可能な媒体。
【請求項31】
前記方法は、ミュートされたオーディオ信号を前記EMCUエンドポイントに送るステップを更に具える、請求項30記載の媒体。
【請求項32】
前記方法は、オーディオチャネルをオーディオ信号のないEMCUエンドポイントに対して維持するステップを更に具える、請求項30記載の媒体。
【請求項33】
前記EMCUエンドポイントに供給される唯一のオーディオ信号は前記混合オーディオ信号である、請求項30記載の媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公表番号】特表2010−526506(P2010−526506A)
【公表日】平成22年7月29日(2010.7.29)
【国際特許分類】
【出願番号】特願2010−507057(P2010−507057)
【出願日】平成20年5月6日(2008.5.6)
【国際出願番号】PCT/IL2008/000626
【国際公開番号】WO2008/135999
【国際公開日】平成20年11月13日(2008.11.13)
【出願人】(500285509)ラドヴィジョン リミテッド (4)
【Fターム(参考)】