常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム

【課題】メディアリレー会議（ＭＲＣ）システムにおいて、複数のメディアリレーエンドポイント（ＭＲＥ）のうちの１つでイントラフレームが必要になった際に、ＭＲＣセッションに関連するリソースへの影響を低減し、ユーザがより良く感じる新規の方法およびシステムを提供する。
【解決手段】メディアリレー会議（ＭＲＣ）システムは、メディアリレー多地点接続装置（ＭＲＭ）と、効率的な方法でイントラフレームの必要性を処理するメディアリレーエンドポイント（ＭＲＥ）とを含み、ある実施形態において、提示側ＭＲＥから受信するビデオストリーム用のイントラフレームを要求側ＭＲＥが要求する場合、ＭＲＭは、残りのＭＲＥに通常のストリームを並行して送信する一方で、一時的ビデオストリームを要求側ＭＲＥに送信するよう提示側ＭＲＥに要求することにより、この要求に対応する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像通信に関し、より詳しくは、多地点間ビデオ会議の分野に関する。
【背景技術】
【０００２】
様々なビデオ会議機器の進展と共に、インターネットプロトコル（ＩＰ）ネットワーク上のトラフィックが急増するにつれ、より多くの人々がビデオ会議を通信ツールとして利用している。３人以上の参加者がいる多地点会議では、多地点接続装置（ＭＣＵ）が必要とされる。ＭＣＵは、通常、ネットワークのノードまたはエンドポイントから幾つかのチャンネルを受信するターミナルに配置される、会議接続エンティティである。ＭＣＵは、ある一定の基準に従って、音声信号および映像信号を処理し、接続チャンネルのセットに配布する。このようなＭＣＵの例としては、ポリコムが販売するＭＧＣ-１００、ＲＭＸョ２０００が挙げられる（ＲＭＸ２０００はポリコムの登録商標である）。ターミナル（エンドポイントとも呼ばれる）は、ネットワーク上のエンティティであり、他のターミナルまたはＭＣＵとのリアルタイムかつ双方向の音声および／または映像音声通信を可能とする。エンドポイントおよびＭＣＵのさらに詳細な定義は、国際電気通信連合（ＩＴＵ）による標準規格、例えばＨ．３２０、Ｈ．３２４およびＨ．３２３等に記載されており、ＩＴＵのウェブサイトから閲覧可能である：ｗｗｗ．ｉｔｕ．ｉｎｔ。
【０００３】
ＭＣＵは、複数の音声およびビデオデコーダ、エンコーダおよびブリッジを含む。また、ＭＣＵは、不特定数の参加者（エンドポイント）間で音声およびビデオ通信を行うために、大量の処理能力を活用する。通信は、様々な通信プロトコルおよび圧縮規格に基づき、また複数の異なるエンドポイントにて受信される。ＭＣＵは、複数の入力音声または入力ビデオストリームから、出力ストリームが送信される少なくとも１人の会議出席者（エンドポイント）のプロパティと互換性のある、（それぞれ）少なくとも１つの音声またはビデオ出力ストリームを構成する必要がある。複数のエンドポイントから受信した圧縮音声ストリームは、デコードされ、どの音声ストリームを選択して単一の会議音声ストリームにミキシングするのかを決定するために分析される場合がある。本開示に関しては、用語「デコード」および「復元」を区別なく用いる。
【０００４】
１つの会議が１つ以上のビデオ出力ストリームを有している場合があり、各出力ストリームはレイアウトと関連付けられている。レイアウトは、ストリームを受信する１人以上の会議出席者のディスプレー上での会議の見え方を定義する。レイアウトは１つ以上のセグメントに分割される場合があり、各セグメントは、一人の会議出席者（エンドポイント）が送信するビデオ入力ストリームと関連付けられる。各出力ストリームは、幾つかの入力ストリームから構成されるため、常駐表示式ビデオ (continous presence: 画面分割による常駐表示)（ＣＰ）会議が可能となる。ＣＰ会議において、リモートターミナルにおけるユーザは、他の複数の会議参加者を同時に観ることができる。各参加者はレイアウトのセグメントに表示され、各セグメントは同一のサイズであっても異なるサイズであってもよい。レイアウトのセグメントに表示され、それに関連付けられる参加者は、同一セッションに参加している会議出席者間でそれぞれ異なるように選択可能である。
【０００５】
ＭＣＵは、各入力ビデオストリームをフルフレームの復元映像にデコードし、各会議に関連付けられた複数の復元ビデオストリームを管理し、各出力ビューストリームが会議出席者またはあるレイアウトに関連付けられた、複数の出力ストリームの構成および／または管理する必要があり得る。出力ストリームは、ＭＣＵのビデオ出力ポートで生成される。ビデオ出力ポートは、レイアウトビルダーおよびエンコーダから成る。レイアウトビルダーは、選択された複数の会議選択者からの様々な復元ビデオフレームを収集して最終的なサイズに調整し、レイアウト上の該当セグメントに配置する。その後、構成したビデオフレームの映像をエンコーダでエンコードし、適切なエンドポイントに送信する。従って、複数のビデオ会議の処理および管理には、大規模かつ高価なコンピュータリソースが必要であり、その理由からＭＣＵは概して高価かつ非常に複雑な製品となっている。ＭＣＵは、例えば特許文献１、２、３または４等幾つかの特許および特許出願に開示されており、その内容は参照により本明細書に組み込まれる。これらの特許では、ＣＰ会議のビデオ出力ストリームの生成に利用される、ＭＣＵのビデオユニットの操作が開示されている。
【０００６】
ビデオ会議を利用する傾向の高まりにより、ＣＰ映像イメージを構成した複数の会議セッションを実施可能な、安価なＭＣＵへの需要が高まっている。
【０００７】
従来のＭＣＵよりも少ないリソースで、圧縮ビデオストリームからＣＰ映像イメージを構成する既存の技術がある。幾つかの技術では、ＱＣＩＦ（ＱｕａｒｔｅｒＣｏｍｍｏｎＩｎｔｅｒｍｅｄｉａｔｅＦｏｒｍａｔ）で符号化された複数の画像から１つのＣＩＦ画像を構成する、画像処理装置の使用が開示されている。これらの技術において、画像がＨ．２６１規格で圧縮されている場合には、複数の符号化された画像のデコードは不要である。ＱＣＩＦは、ビデオ会議のフォーマットであり、ビデオフレームが各ライン１７６画素Ｘ１４４ラインを含むよう指定している。これはＣＩＦ（ＣｏｍｍｏｎＩｎｔｅｒｍｅｄｉａｔｅＦｏｒｍａｔ）の解像度の４分の１である。ＱＣＩＦのサポートは、国際電気通信連合（ＩＴＵ）の幾つかのビデオ会議の規格で必要とされている。
【０００８】
ＱＣＩＦのサイズおよびレイアウトの制約を払拭する他の技術としては、サブエンコード方式の利用がある。サブエンコード方式の１例が米国特許第７，１３９，０１５号に開示されており、参照によりあらゆる目的においてその全文が本明細書に組み込まれる。
【０００９】
他のビデオ会議システムは、メディアリレー会議（ＭＲＣ）（ＭｅｄｉａＲｅｌａｙＣｏｎｆｅｒｅｎｃｉｎｇ）を使用する。ＭＲＣにおいて、メディアリレーＭＣＵ（ＭＲＭ）は、参加している各メディアリレーエンドポイント（ＭＲＥ）から１つ以上のストリームを受信し、これらのストリームは、本明細書において、リレー用ＲＴＰ圧縮ビデオストリームまたはリレー用ストリームと呼ばれる。該ＭＲＭは、参加しているエンドポイントの各々に対して、会議中に他のエンドポイントから受信した一群のビデオストリームを中継（リレー）するが、これらを本明細書において、中継ＲＴＰ圧縮ビデオストリームまたは中継ストリームと呼ぶ。受信エンドポイントは、それぞれ複数のストリームを利用して、レイアウトに基づいたＣＰビデオ画像を生成する。ＣＰビデオ画像は、ＭＲＥのユーザに対して表示される。ＭＲＥは、セッション中の会議出席者のターミナルであってもよく、ＭＲＭから中継されたメディアを受信し、ＭＲＭからの指示に従って圧縮メディアを送信する能力を有する。ＭＲＭについては、特許文献５に更に詳細に記載されており、参照によりあらゆる目的においてその全文が本明細書に組み込まれる。本開示に関しては、用語「エンドポイント」および「ＭＲＥ」を区別なく用いる。
【００１０】
幾つかのＭＲＣシステムでは、送信ＭＲＥがそのビデオ画像を２つ以上のストリームで送信し、各ストリームは異なる品質レベルに関連する。このようなシステムでは、複数のストリームを使用して、レイアウト上に異なる大きさのウィンドーを表示したり、各受信エンドポイントによって様々な解像度を使用できる。さらに、パケットロスに対応するために、複数のストリームを使用できる。それらの質は、フレームレート、解像度および／または信号雑音比（ＳＮＲ）等の点で異なってもよい。
【００１１】
ビデオストリーミングは、増々普及しつつある。また、次々と増えるビデオストリーミングソースならびにビデオ会議システムが、複数のストリームを並行して配信するが、各ストリームは圧縮ビデオの質によって異なる。その質は、時間ドメイン（例えば、１秒あたりのフレーム数）、空間ドメイン（例えば、高解像度（ＨＤ）またはＣＩＦ）等のドメイン数および／または質（例えば、鮮明度）で表現される。ビデオストリーミングおよび複数品質のストリームに使用される動画圧縮規格には、Ｈ．２６４ＡＶＣ、Ｈ．２６４ａｎｎｅｘＧ、ＭＰＥＧ-４等が含まれる。Ｈ．２６４等の圧縮規格に関するさらなる情報は、ＩＴＵのウェブサイトｗｗｗ．ｉｔｕ．ｉｎｔまたはｗｗｗ．ｍｐｅｇ．ｏｒｇから入手できる。
【００１２】
会議セッション中、受信ＭＲＥは、しばし、複数の送信ＭＲＥの１つからのイントラフレームを必要とする。パケットの損失、受信ＭＲＥにて表示されるレイアウトの変更、ビデオ会議セッション途中での出席者の参加等の理由により、イントラフレームが要求され得る。場合よっては、複数の受信ＭＲＥの１つのみがイントラフレームを要求する一方で、同質レベルのストリームを取得している他のセッション参加ＭＲＥは要求しないことがある。イントラフレームは、ビデオシーケンスの他のフレームに関してではなく、同一フレームのみに含まれる情報に関して圧縮されたビデオフレームである。一方、インターフレームは、同一フレーム内に含まれる情報と、ビデオシーケンスのうち１つ以上の他のフレーム（参照フレーム）とに関して圧縮されたビデオフレームである。インターフレームには、予測フレーム（Ｐフレーム）および／または双方向予測フレーム（Ｂフレーム）が含まれる。ビデオ会議では、通常、Ｂフレームはその待機時間を理由に使用されない。以下の記述において、用語「Ｐフレーム」が、インターフレームを表す用語として使用される。
【００１３】
ビデオストリーミングでは、損失パケット、ビデオ再生中の映像の飛び、または異なる質のストリーム間での切替えを伴うことがある。これらの性能をサポートするため、動画圧縮規格は、ストリームに沿って周期的に配置される特殊な種類のフレームを規定している。第１の特殊フレームには、切替Ｐフレーム（ＳＰ）がある。ＳＰフレームはＰフレームと類似する（類似のマクロブロックモードの使用および動き補償予測を使用）。しかし、ＳＰフレームは、異なる参照フレームを使用して予測された場合においても、同一のフレームを再構築できる。第２の特殊フレームは、二次ＳＰフレーム（ＳＳＰ）と呼ばれる。ＳＳＰフレームは、特殊なエンコードを使用する。どの参照フレーム、マクロブロックまたは運動ベクトルを使用してＳＳＰフレームをエンコードしたかに関わらず、デコードによって常に同じ画像が再構築される。第３の特殊フレームは、切替イントラフレーム（ＳＩ）である。ＳＩフレームは、同一のＳＰフレームを再構築するイントラフレームと見なされる。本開示において、用語「エンコード」および「圧縮」を区別なく用いる。
【００１４】
ＳＰ、ＳＳＰおよびＳＩフレーム、ならびにストリーム間の切替えまたはパケットロスの回復にそれらフレームを使用することは、ビデオストリーミングの分野において周知であり、従ってさらなる説明は省略する。これらのフレームおよびフレームの使用についてさらに知りたい者には、Ｈ．２６４ＡＶＣ規格およびＭｉｃｈａｅｌＷａｌｔｅｒの卒業論文である“ＡｄｖａｎｃｅｄＢｉｔｓｔｒｅａｍＳｗｉｔｃｈｉｎｇｆｏｒＷｉｒｅｌｅｓｓＶｉｄｅｏＳｔｒｅａｍｉｎｇ”（２００４年１１月２６日）を勧める。他の文献としては、ＭａｒｔａＫａｒｃｚｅｗｉｃｓ他により、ＩＥＥＥＶｏｌ．１３，Ｎｏ．７（２００３年７月）で発表された“ＴｈｅＳＰ- ａｎｄＳＩ-ＦｒａｍｅｓＤｅｓｉｇｎｆｏｒＨ．２６４／ＡＶＣ，”がある。
【００１５】
要求側ＭＲＥから受信した、関連ＭＲＥをターゲットとするイントラ要求に応じて、ＭＲＭはその要求を関連ＭＲＥに中継する。それに応じて、関連ＭＲＥはＭＲＭにイントラフレームを送信し、ＭＲＭは、関連ＭＲＥから現在ビデオストリームを受信している各ＭＲＥに対してイントラフレームを中継する。これらの関連ＭＲＥには、イントラフレームを必要とせず、またそれを要求していないものが含まれる。イントラフレームの符号化効率は、インターフレームの符号化効率よりも低いため、同じ質を得るためには、より広い帯域幅が必要である。また、イントラフレームのエンコード／デコードには、インターフレームよりも時間を要し、さらなる処理能力が要求される。従って、イントラフレームをすべてのＭＲＥに送信すると、通信リンク上に不要な負荷がかかり、受信ＭＲＥならびに送信ＭＲＥの処理負荷も増加する。従って、帯域幅の制約を維持するためには、イントラフレームを低品質でエンコードする必要がある。あるいは、遷移期間中にフレームレートを一時的に低減することも考えられる。従ってその期間中、会議主席者は、概してイントラフレームによる質の低下を感じることとなる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】米国特許第６，３００，９７３号
【特許文献２】米国特許第６，４９６，２１６号
【特許文献３】米国特許第５，６００，６４６号
【特許文献４】米国特許第５，８３８，６６４号
【特許文献５】米国公開特許第２０１０／０１９４８４７号
【発明の概要】
【００１７】
複数のＭＲＥのうちの１つでイントラフレームが必要になった際に、ＭＲＣセッションに関連するリソースへの影響を低減し、ユーザがより良く感じる新規の方法およびシステムが開示される。
【００１８】
様々な実施形態によると、ＭＲＥ（要求側ＭＲＥ）が、他のＭＲＥ（提示側ＭＲＥ）から受信したビデオストリーム用にイントラフレームを要求する場合、ＭＲＭは、他のＭＲＥに中継される通常のストリームを送信するのと並行して、要求側ＭＲＥに中継される一時的なストリームを送信するよう、提示側ＭＲＥに要求することで対応することができる。
【図面の簡単な説明】
【００１９】
本明細書に組み込まれ、その一部を構成する添付の図面は、本発明のいくつかの装置および方法の実施を図示しており、詳細な説明と共に、本発明の利点および原理を説明する役割を果たしている。
【００２０】
【図１】一実施形態に係る、様々な新規の電子会議システムを備えるマルチメディア会議システムを示すブロック図である。
【００２１】
【図２】一実施形態に係る、メディアリレーＭＣＵ（ＭＲＭ）の関連要素を示すブロック図である。
【００２２】
【図３】一実施形態に係る、セッション圧縮音声ＲＴＰプロセッサの関連要素を示す簡略ブロック図である。
【００２３】
【図４】一実施形態に係る、セッション圧縮ビデオＲＴＰプロセッサの関連要素を示す簡略ブロック図である。
【００２４】
【図５】一実施形態に係る、メディアリレーエンドポイント（ＭＲＥ）の関連要素を示す簡略ブロック図である。
【００２５】
【図６】一実施形態に係る、ＭＲＥビデオモジュール（ＭＲＥＶＭ）の一部分の関連要素を示す簡略ブロック図である。
【００２６】
【図７】一実施形態に係る、ＭＲＥ音声モジュール（ＭＲＥＡＭ）の一部分の関連要素を示すブロック図である。
【００２７】
【図８Ａ】一実施形態に係る、会議設定方法の関連動作を示すフローチャートである。
【００２８】
【図８Ｂ】一実施形態に係る、シグナル化およびＭＲＭのコントロールモジュールによる切替技術の関連動作を示すフローチャートである。
【００２９】
【図９Ａ】一実施形態に係る、ＭＲＥ制御モジュールの会議設定技術の関連動作を示すフローチャートである。
【図９Ｂ】一実施形態に係る、ＭＲＥ制御モジュールの会議設定技術の関連動作を示すフローチャートである。
【００３０】
【図１０Ａ】１つのＭＲＥで生成され、ＭＲＭを介して他の２つのＭＲＥに送信されるビデオストリームの特殊フレームを使用する、一実施形態に係る遷移期間を示すタイムチャートである。
【図１０Ｂ】１つのＭＲＥで生成され、ＭＲＭを介して他の２つのＭＲＥに送信されるビデオストリームの特殊フレームを使用する、一実施形態に係る遷移期間を示すタイムチャートである。
【００３１】
【図１１Ａ】１つのＥＰで生成され、ＭＲＭを介して他の２つのＭＲＥに送信されるビデオストリームの特別フレームを使用する、一実施形態に係る遷移期間を示すタイムチャートである。
【図１１Ｂ】１つのＥＰで生成され、ＭＲＭを介して他の２つのＭＲＥに送信されるビデオストリームの特別フレームを使用する、一実施形態に係る遷移期間を示すタイムチャートである。
【発明を実施するための形態】
【００３２】
上述したＭＲＣ（ＭｅｄｉａＲｅｌａｙＣｏｎｆｅｒｅｎｃｉｎｇ）の不備は、本開示の発明概念の範囲をいかなる形においても制限するものではない。これら不備は、例示することのみを目的として示すものである。
【００３３】
以下の記載においては、説明を目的として、本発明の完全な理解のために多くの具体的な詳細を述べる。しかし、本発明をこれらの具体的な詳細無しで実施しうることは、当業者にとって自明であろう。他の例として、ブロック図に示した構造および装置は、本発明の不明瞭さを排除する役割を果たす。下付きまたは添え字のない数字が示されている場合は、その示されている数字に対応するすべての下付きまたは添え字のインスタンスを示しているものと解釈される。さらに、本開示で使用する言い回しは、主に読み易さおよび解説を目的として選択されており、本発明の主題を正確に記述するまたは制限する目的では選択されていない。かかる本発明の主題を特定するには、特許請求の範囲を参照すること。本明細書における「一実施形態」または「１つの実施形態」といった言い回しは、実施形態との関連で記載された特定の特徴、構造または性質が、本発明の少なくとも１つの実施形態に含まれることを意味しており、「一実施形態」または「１つの実施形態」といった言い回しが本明細書の随所に見られるが、これは必ずしも同じ実施形態を意味しているわけではない。
【００３４】
以下の記載の一部では、ソフトウェアまたはファームウェアに関する用語を用いて記述しているが、あらゆるソフトウェア、ファームウェアおよびハードウェアの組み合わせを含む、所望のソフトウェア、ファームウェアまたはハードウェアにおいても、本明細書に記載された特徴および機能を実施形態にて実行可能である。以下の記載では、用語「ユニット」「要素」「モジュール」および「論理モジュール」を区別なく用いる。ユニットまたはモジュールと称するものは、スタンドアロン型のユニットもしくは特殊または統合モジュールでありうる。ユニットまたはモジュールは、取り外し可能であり、または他の類似ユニットまたはモジュールと容易に交換可能なモジュラーまたはモジュールの側面を有するものでありうる。各ユニットまたはモジュールは、ソフトウェア、ハードウェアおよび／またはファームウェアのいずれか１つ、またはそれらの任意の組み合わせであって、最終的には、そのユニットまたはモジュールの機能を実行するためにプログラムされた１つ以上のプロセッサとなるものであり得る。さらに、同一または異なる種類の複数のモジュールを、１つのプロセッサで実行してもよい。論理モジュールのソフトウェアは、読み書き可能なハードディスク、ＣＤＲＯＭ、フラッシュメモリ、ＲＯＭ、他のメモリまたは記憶装置等のコンピュータ可読媒体上に取り込むことができる。あるタスクを実行するために、必要に応じてソフトウェアプログラムを適切なプロセッサに搭載してもよい。本開示において、用語「タスク」「方法」「プロセス」を区別なく用いる。
【００３５】
図１は、本開示の一実施形態に係る、新規のマルチメディア会議システム１００を示す。システム１００は、ネットワーク１１０、１つ以上のメディアリレーＭＣＵ（ＭＲＭ）１２０および複数のメディアリレーエンドポイント（ＭＲＥ）１３０を含む。ネットワーク１１０は、あらゆる所望のネットワークでよく、例えば、パケット交換ネットワーク、回路交換ネットワーク、ＩＰネットワークまたはそれらのいかなる組み合わせであってもよい。ネットワーク上のマルチメディア通信は、Ｈ．３２０、Ｈ．３２３およびＳＩＰ等の通信プロトコルをベースとしてよく、また音声圧縮規格Ｇ．７１１およびＧ．７１９ならびに／またはビデオストリーミングおよび複数品質のストリームに対して使用されるＨ．２６４ＡＶＣ、Ｈ．２６４ａｎｎｅｘＧ、ＭＰＥＧ-４のような動画圧縮規格等のメディア圧縮規格を使用してもよい。
【００３６】
エンドポイントとの接続を確立した後、ＭＲＭ１２０は、圧縮音声を送信するようエンドポイントに指示する。ＭＲＭ１２０は、各音声ストリームの音声エネルギーを決定し、それにより、１つ以上のエンドポイントに中継する１つ以上の音声ストリームを選択する。音声ストリームは、１つ以上のエンドポイントにてデコードおよびミキシングされ、エンドポイントのスピーカに送られる。
【００３７】
同様の方法で、ＭＲＭ１２０は、ビデオ画像を表示するレイアウトのセグメントに一致するサイズの圧縮ビデオ画像を送信するよう、エンドポイントに指示する。サイズは、例えば、各方向（高さおよび幅）における画素数で定義される。さらに、ＭＲＭ１２０は、エンドポイントの１つを現時点での話者エンドポイントに指定し、現時点での話者エンドポイントに対し、関連レイアウトの話者用セグメントに合致する大きな画像サイズで、そのビデオ画像を送信するように要求する。ある実施形態において、２つ以上の異なるサイズで圧縮ビデオ画像を送信するようにエンドポイントを構成でき、各ビデオ画像のサイズは、異なるセグメントのサイズ（画素数）と一致させることができる。このような実施形態において、前回の話者エンドポイントは、その圧縮ビデオ画像を以下の２つのサイズで送信する：（１）通常の会議出席者のセグメントレイアウトに表示される通常サイズ；および（２）現時点での話者に割り当てられたレイアウトセグメントに表示される話者用のサイズ（大きな画像）。
【００３８】
他の実施形態において、ＭＲＣのセッション中、エンドポイントは、そのビデオ画像を複数のストリームでＭＲＭ１２０に送信する。各ストリームは、圧縮ビデオ画像を様々な質で転送する。その質は、空間解像度（画像サイズ）、フレームレート、ビットレート、鮮明度等の点で異なっている。さらに、ＭＲＭ１２０は、他の１つ以上のエンドポイントにどのストリームを中継するかを決定する。
【００３９】
会議セッションの現時点での話者は、例えば、その音声エネルギーが最も高い会議出席者とすることができる。別の実施形態では、話者は、所定の期間中に最も活発に発言した会議出席者とすることができる。最も活発に発言した会議出席者は、例えば期間中のある割合において、例えば、６０パーセント以上の期間において音声エネルギーが最も高い会議出席者と定義される。
【００４０】
各ＭＲＥ１３０は、リアルタイムかつ双方向の音声および／または映像通信を他のＭＲＥ１３０またはＭＲＭ１２０に提供する。ＭＲＥは、ＭＲＭから中継された圧縮メディアを受信し、ＭＲＭからの指示に従って、リレー用圧縮音声およびビデオデータチャンクをＭＲＭに送信する能力を備えたセッション中の会議出席者のターミナルでもよい。圧縮メディアは、リアルタイムプロトコル（ＲＰＴ）のデータチャンクとして送信される。ＲＴＰに関する情報は、インターネット技術特別調査委員会（ＩＥＴＦ）のウェブサイトｗｗｗ．ｉｅｔｆ．ｏｒｇから入手できる。各ＭＲＥ１３０は、適切かつ要求されたビットレート（単数または複数）および要求された圧縮規格に基づき、リレー用ＲＴＰ圧縮音声データチャンクを送信する。同様に、各ＭＲＥ１３０は、適切かつ要求されたサイズ（単数または複数）、ビットレートまたはフレームレート、および要求された圧縮規格に基づいて、リレー用ＲＴＰ圧縮ビデオデータチャンクを送信する。一実施形態においては、各ＭＲＥ１３０は、リレー用ＲＴＰ圧縮音声データチャンクのヘッダフィールドまたは拡張ヘッダに音声エネルギーの指示情報を埋め込むことによって、その音声エネルギーの指示情報を送信するよう適用される。用語「データチャンク」および「パケット」を本明細書において区別なく用いる。
【００４１】
ＭＲＣセッションの開始時、ＭＲＭ１２０は、参加者数、レイアウト数、各レイアウトに表示する会議出席者数および会議出席者の異なる画像サイズ等の会議要件を処理する。表示される会議出席者とは、少なくとも１人の他の会議出席者、つまり受信側の会議出席者のＣＰビデオ画像に表示される会議出席者である。会議出席者の１人に対して表示される会議出席者は、他の会議出席者に対しては受信側の会議出席者にもなりうる。ＭＲＭ１２０は、セッションの要件に基づき、セッション中にエンドポイントが送受信する各ストリームとの接続を確立するために、各エンドポイントと取り決めを行う。
【００４２】
受信した圧縮音声またはビデオパケットの送信元を識別するため、各ＭＲＥ１３０は、メディアデータのリレー用ＲＴＰ圧縮チャンクのＲＴＰヘッダに保持された識別子（ＩＤ）と関連付けられる。一実施形態において、ＩＤは、ＭＲＥ１３０によって無作為に選択され、その独自性が認証された後に、ＭＲＭ１２０によって確認される。別の実施形態において、ＩＤは、ＭＲＭ１２０によって割り当てられ、関連するＭＲＥ１３０に伝達される。ＭＲＥ１３０は、各リレー用圧縮メディアデータチャンクのＲＴＰヘッダにおける同期元（ＳＳＲＣ）フィールドにＩＤを書き込む。別の実施形態において、ＩＤは、ＲＴＰヘッダの寄与元（ＣＳＲＳ）フィールドに書き込まれる。代替の実施形態において、ＩＤは、各リレー用ＲＴＰ圧縮メディアデータチャンクの拡張ヘッダに書き込まれる。ＭＲＭ１２０は、受信したリレー用ＲＴＰ圧縮音声および／またはビデオパケットの送信元を、ＩＤによって識別する。圧縮音声またはビデオストリームは、各々のＩＤと関連付けられる。ある実施形態において、同一のＭＲＥ１３０からのリレー用ＲＴＰ圧縮音声データチャンクおよびリレー用ＲＴＰ圧縮ビデオデータチャンクは、同一のＩＤを有する。代替の実施形態においては、同一のＭＲＥ１３０からのリレー用ＲＴＰ圧縮音声データチャンクおよびリレー用ＲＴＰ圧縮ビデオデータチャンクは、異なるＩＤを有する。ある実施形態において、ＭＲＥ１３０が、そのビデオ画像を複数の異なる質のストリームでＭＲＭ１２０に送信した場合、各ストリームには異なるＩＤが割り当てられる。ある実施形態において、表示されるレイアウトの各セグメントは、ＩＤと関連付けられ、ＭＲＭ１２０は、例えば、音声エネルギー等の様々なパラメータに従って、セッション中に、各ＭＲＥ１３０にセグメントのＩＤを配信する責を負う。別の実施形態において、各受信ＭＲＥ１３０は、そのレイアウトの各セグメントのセグメントＩＤを決定し、それらのセグメントＩＤを関連情報と共にＭＲＭ１２０に送信する。各セグメントＩＤの情報には、解像度、フレームレート等、セグメントに必要なビデオパラメータが含まれる。本明細書において、用語「ＲＴＰヘッダ」は、一般的なＲＴＰヘッダならびにＲＴＰヘッダに追加される拡張子を含むものとする。
【００４３】
ある実施形態においてＩＤは数字であり、他の実施形態において、ＩＤは、ＭＲＥ１３０または特定のストリームを一意的に識別できる他の値である。他の実施形態において、ＩＤ番号の代わりにＩＰアドレスおよびＩＰポートを使用してもよく、ＩＰポートでは、リレー用ＲＴＰ圧縮音声および／またはビデオデータチャンクをＭＲＭ１２０が受信する。
【００４４】
一実施形態では、各会議出席者（ＭＲＥ１３０）の受信音声エネルギーに従って、ＭＲＭ１２０が、セッションの一定期間中、どの会議出席者をＣＰ画像に表示するかを決定する。例えば、最も音声エネルギーの高いＭＲＥ１３０が選択および表示され、所定期間中その音声が流れる。さらに、ＭＲＭ１２０は、表示された会議出席者のうち、誰をレイアウトの話者セグメントに表示するのかを決定する。代替の実施形態において、各ＭＲＥ１３０は、どの会議出席者を表示レイアウトに表示するか、またどの会議出席者（ＭＲＥ１３０）を話者セグメントに表示するかを決定する。このような実施形態において、ＭＲＥ１３０のユーザは、米国特許公報第２００３０１７４２０２号に開示されたクリックビューオプションを使用することができ、その特許公報の内容は、参照することにより本明細書に組み込まれる。また、ＭＲＭ１２０は、受信した適切なストリームを適切なＭＲＥ１３０に送信する。
【００４５】
セッションのプロパティに基づき、各エンドポイントは、自身のＣＰビデオ画像を構築する。エンドポイントは、そのレイアウトに従って、受信した圧縮ビデオのペイロードパケットを２つ以上の圧縮ビデオセグメントメモリ（ＣＶＳＭ）に整理（organize）し、各ＣＶＳＭは、レイアウトのセグメントと関連付けられる。各ＣＶＳＭは、セグメントに表示される圧縮ビデオ画像ストリームのＩＤ番号と関連付けられる。受信した圧縮ビデオを保持するパケットのＲＴＰヘッダ内に埋め込まれたＩＤ番号に基づいて、受信した圧縮ビデオデータが適切なＣＶＳＭに保存される。ＣＶＳＭとＩＤ番号との関係は、セッション中に生じる活動によって動的に変化する。例えば、エンドポイントの会議への参加または退席、話者の変更等のセッション中の変更を受けたＭＲＭ１２０からの指示により、関係が変化する。エンドポイントは、エンドポイントＩＤとレイアウトのセグメントとを関連付ける相互割出表を有する。該表は、セッションの動態を反映して、セッション中に更新される。例えば、パケットのシーケンス番号またはＲＴＰヘッダに埋め込まれたフレームのタイムスタンプに基づいて、ＣＶＳＭが整理される。
【００４６】
一実施形態において、エンドポイントは、ＲＴＰヘッダのフィールドまたはＲＴＰパケットの拡張ヘッダに音声エネルギーの指示情報を埋め込むことで、それを送信するよう適用される。このような実施形態において、ＭＲＭ１２０は、音声データを送信するＲＴＰのヘッダを解析して、各エンドポイントの音声エネルギーを決定し、話者である会議出席者および／または表示される会議出席者を適宜選択する。代替の実施形態において、ＭＲＭ１２０は、信号接続または制御接続で音声エネルギーの指示情報を送信するよう、エンドポイントに指示してもよいし、あるいはＭＲＭ１２０が受信した音声ストリームをデコードし、そのエネルギーを決定してもよい。
【００４７】
音声圧縮が（例えば）圧縮規格Ｇ．７２２１．ＣまたはＧ．７１９に適合している他の実施形態において、音声ヘッダに音声エネルギーの指示情報を追加するよう、エンドポイントの音声コーデックが構成される。このような実施形態において、ＭＲＭ１２０は、音声ペイロードのヘッダを検索し、音声エネルギーのフィールドを入手するよう適用される。他の実施形態では、専用の帯域外ステータスおよび制御接続を介して、音声エネルギーの指示情報をエンドポイントからＭＲＭ１２０へ送信する。
【００４８】
また、エンドポイントは、各ＣＶＳＭから入手し、保存した圧縮ビデオをデコードするよう適用される。デコードしたビデオは、セグメントフレームメモリ（ＦＭ）モジュールに保存される。セグメントＦＭは、関連セグメントでＣＰに表示される、デコードしたビデオデータを保存する。ある実施形態では、デコーダと関連セグメントＦＭとの間に計数回路を追加し、受信画像を関連セグメントのサイズに調整するために使用する。さらに、他の実施形態では、関連するＣＶＳＭのセグメントと関連付けられたセクション内のＣＰ画像のＦＭに、デコードしたビデオが保存される。
【００４９】
一実施形態において、ＣＶＳＭは、セッションの間、特定のＩＤと関連付けられる。このような実施形態では、ＭＲＭ１２０は、ＣＶＳＭ（レイアウトのセグメント）を表すＩＤを、関連セグメントに表示される圧縮ビデオデータと動的に関連付ける。このような実施形態において、レイアウトの変更をエンドポイントに通知する必要はない。ＭＲＭ１２０は、セグメントの関連ＩＤを、会議出席者から送信され、関連セグメントに表示される関連圧縮ビデオデータに関連付けることによって、変更を管理する。ある実施形態では、レイアウトのセグメントを表すＩＤを送信元ＩＤに追加する、あるいは送信元ＩＤをセグメントＩＤに変更する。
【００５０】
ＭＲＭ１２０は、受信ＭＲＥ１３０の１つ（要求側ＭＲＥ１３０と呼ぶ）が、提示側ＭＲＥ１３０の１つからのイントラフレームを必要としていることを決定する。この決定は、要求側ＭＲＥ１３０から受信したイントラ要求に基づいて行うことができる。例えば、パケットロスまたは要求側ＭＲＥ１３０の会議出席者が要求側ＭＲＥ１３０のレイアウトに提示側ＭＲＥ１３０のビデオ画像を追加する旨の希望に応じて、この要求が送信される。場合によって、ＭＲＭ１２０は、提示（表示）された会議出席者からのイントラフレームを要求側ＭＲＥ１３０に送信する必要があると判断する。例えば、要求側ＭＲＥ１３０が開催中のＭＲＣセッションに途中参加した場合、ＭＲＥ１３０は、提示（表示）されている各会議出席者からイントラフレームを取得する必要がある。従来のビデオ会議システムでは、このような場合において、イントラフレームの要否に関わらず、ビデオストリームを受信する全てのエンドポイントにイントラフレームが送信されることになる。開示された技術では、イントラフレームを必要としないＭＲＥ１３０へのイントラフレームの送信が回避される。
【００５１】
一実施形態において、ＭＲＭ１２０は、要求側ＭＲＥ１３０が提示側ＭＲＥ１３０からのイントラフレームを必要としていると判断すると、さらに、要求側ＭＲＥ１３０のデコーダがデコーダによって復元された１つ以上の参照フレームを有しているかどうかを、該当の提示側ＭＲＥ１３０から前回受信したビデオフレームを処理している間に確認する。当技術分野で周知のように、Ｈ．２６４、ＭＰＥＧ-４および類似のエンコーダおよびデコーダは、例えば、最大１６フレームの複数の参照フレームを集約して使用できる。エンコーダは、現時点でのビデオ画像を処理しながら、これら参照フレームのうち、どれを使用して現時点のビデオ画像をエンコードするかを決定する。さらに、エンコーダは、どの参照フレームを現時点での圧縮ビデオフレームのエンコードに使用したかを特定する指示情報を、現在圧縮しているビデオ画像のヘッダに追加する。この指示情報は、受信した現時点での圧縮ビデオ画像のデコード処理とエンコード処理とを同期化するために、受信ＭＲＥのデコーダによって使用される。
【００５２】
ＭＲＣビデオセッションの開始時、ＭＲＭ１２０は、エンコード／デコード処理で使用する複数の参照フレームを保存するよう、参加ＭＲＥ１３０に指示する。その数は、最後の２フレーム、４フレーム、８フレーム等であってよい。開催中のセッションの間、ＭＲＭ１２０は、要求側ＭＲＥ１３０のデコーダが、提示側ＭＲＥ１３０からのどの参照フレームを有しているのかを知る必要がある。一実施形態において、要求側ＭＲＥ１３０は、最後に保存した参照フレームに対応するフレーム番号と共に、イントラ交換の要求信号を送信する。
【００５３】
他の実施形態において、ＭＲＭ１２０は、各ＭＲＥ１３０から送信された幾つかの最後のフレームのフレーム番号を、表または他の便宜なデータ構造に保存する。ＭＲＭ１２０は、該表、要求側ＭＲＥ１３０からイントラフレームの要求を受信するタイミング、およびＭＲＭ１２０が提示側ＭＲＥ１３０からフレームを受信するイベントと、要求側ＭＲＥ１３０がこのフレームを受信およびデコードしていないという理由によりイントラの要求を受領するイベントとの間の予測待ち時間に基いて、どの参照フレームが要求側ＭＲＥ１３０に存在するかを推定する。
【００５４】
要求側ＭＲＥ１３０のデコーダが先の参照フレーム（このフレームは存在する先の参照フレームと呼ばれる）を有しているとＭＲＭ１２０が判断した場合、ＭＲＭ１２０は、存在する先の参照フレームに基づいて次のビデオフレームをインターフレームとして圧縮し、先に保存した参照フレームを削除するよう、提示側エンドポイントの関連ストリームのエンコーダに指示する。このような場合、全ての受信ＭＲＥ１３０は、古い先のフレームに基づいて圧縮されたインターフレームを取得し、全ての受信ＭＲＥ１３０は、その時点から提示側ＭＲＥと再度同期化される。
【００５５】
要求側ＭＲＥ１３０のデコーダが提示側ＭＲＥ１３０からのイントラフレームを必要としているとＭＲＭ１２０が判断した場合、ＭＲＭ１２０は、全ての受信ＭＲＥ１３０にイントラフレームを送信することなく、要求側ＭＲＥ１３０を含む、全ての受信ＭＲＥ１３０のデコーダの参照フレームの同期化処理を開始する。提示側ＭＲＥ１３０が１つ以上のストリームを送信する場合、「提示側ＭＲＥ１３０の通常のストリーム」を表す用語は、要求側ＭＲＥ１３０と同じ品質レベルで受信する他のＭＲＥ１３０に送信されるストリームを指す。
【００５６】
ある実施形態において、複数の連続フレームが同期化処理に関与する。複数のフレームに跨がって処理を拡げる理由の１つには、提示側ＭＲＥ１３０のコンピューティングリソース、ならびに提示側ＭＲＥ１３０とＭＲＭ１２０との間およびＭＲＭ１２０と要求側ＭＲＥ１３０との間のネットワークリソースの消費急増の回避が挙げられる。ある時点において、例えば、提示側ＭＲＥ１３０がフレーム番号Ｍ?１を送信すると、ＭＲＭ１２０は、通常のストリームと並行して、追加ストリーム、一時的なストリームを送信するよう、提示側ＭＲＥ１３０に指示する。一時的なストリームは、カメラから受信したビデオ画像ではなく、通常ストリームの参照フレームメモリをエンコードすることで作成される。一時的ストリームのエンコードされた第１フレームは、イントラフレームである。前記イントラフレームは、通常のストリームと同じ空間解像度を有するが、例えば、低品質、低鮮明度、低いフレームレート等で圧縮される。
【００５７】
ＭＲＭ１２０からの指示を提示側ＭＲＥ１３０が受信すると、例えば、提示側ＭＲＥ１３０のカメラからのフレームＭが、インターフレームとして１つ以上の品質レベルで圧縮されてＭＲＭ１２０に送信される。また、フレームＭと関係する通常ストリームの参照フレームを低品質のイントラフレーム（ＴＩｍ）に圧縮することによって一時的ストリームが開始されて、一時的ストリームがＭＲＭ１２０に送信され、続いて、ＭＲＭ１２０は、その一時的ストリームを要求側ＭＲＥ１３０に中継する。
【００５８】
要求側ＭＲＥ１３０はＴＩｍをデコードし、デコードした低品質の画像は、ＣＰ画像に配置され、会議出席者に対して提示（表示）される。並行して、デコーダは、提示側ＭＲＥ１３０の通常ストリームのフレームＭへの参照に関連する参照フレームを作成する。
【００５９】
提示側ＭＲＥ１３０のエンコーダは、Ｍ＋１、Ｍ＋２等のフレームＮまでに関する通常ストリームの参照メモリをインターフレームとしてエンコードすることによって、一時的ストリームのエンコードを継続する。フレームの数は、ゼロから所定のフレーム数、例えば１０フレームまでの範囲内でありうる。これらのフレームは、各インターフレームの圧縮の質が先のものよりも高いので、品質向上フレームと呼ばれる。ビデオカメラから受信したフレームＮは、ＳＰフレームとして圧縮される。ＳＰフレームは、Ｐフレームとして、通常ストリームで他の受信エンドポイントに送信される。このフレームはＳＰｎと呼ばれてもよい。ＳＰｎフレームをエンコードする間に作成された、提示側ＭＲＥ１３０のエンコーダにおける参照フレームは、ＳＳＰｎとして圧縮される。ＳＳＰｎフレームは、一時的ストリームの最終フレームとして、要求側ＭＲＥ１３０に送信される。
【００６０】
要求側ＭＲＥ１３０は、受信したＳＳＰｎをデコードすることにより、フレームＮと関連する参照フレームを作成する。デコードした画像は、ＣＰビデオ画像に配置され、フレームＮとして提示（表示）される。この時点において、ＳＳＰｎをデコードすることによって作成された参照フレームは、他の受信ＭＲＥ１３０で作成された同じ品質レベルの参照フレームメモリならびに提示側ＭＲＥ１３０の通常ストリームの参照メモリと同一である。次のフレームＮ＋１等は、一旦エンコードされてから、要求側ＭＲＥ１３０および同じ品質レベルを有する他方の受信ＭＲＥ１３０に対して、通常ストリームとして送信される。
【００６１】
別の実施形態において、上述した例のように、通常ストリームのエンコーダの参照フレームからではなく、カメラから受信したビデオ画像から、一時的ストリームを作成する。このような実施形態において、ＳＰおよびＳＳＰフレームは、カメラから受信した同一のビデオ画像から作成される。ある時点において、例えば、提示側ＭＲＥ１３０がフレーム番号Ｍ-１を送信する時点において、ＭＲＭ１２０は、通常ストリームと並行して、追加ストリーム、一時的ストリームを送信するよう、提示側ＭＲＥ１３０に指示する。一時的ストリームは、通常ストリームのエンコード同様に、ビデオカメラから受信したビデオフレームをエンコードすることにより作成される。一時的ストリームのエンコードされた第１フレームは、フレームＭ（ＴＩｍ）のイントラフレームである。前記イントラフレームは、通常ストリームと同じ空間解像度を有するが、低品質、低鮮明度、低いフレームレート等で圧縮される。
【００６２】
要求側ＭＲＥ１３０はＴＩｍをデコードし、低品質でデコードされた画像は、ＣＰ画像に配置され、会議出席者に対して提示（表示）される。並行して、デコーダは、提示側ＭＲＥ１３０からのフレームＭと関連する参照フレームを作成する。提示側ＭＲＥ１３０のエンコーダは、ビデオカメラから受信する次のビデオフレームをインターフレームとしてエンコードすることにより一時的ストリームのエンコードを継続する。これらのインターフレームは、フレームＭ＋１、Ｍ＋２等からフレームＮまでに関わっている。フレームの数は、ゼロから所定のフレーム数、例えば１０フレームまでの範囲内でありうる。これらのフレームは、各インターフレームの圧縮の質が先のものよりも高いので、品質向上フレームと呼んで良い。
【００６３】
通常ストリームのフレームＮは、他のインターフレームとは異なる形で圧縮される。フレームＮはＳＰフレームとして圧縮される。この時点において、要求側ＭＲＥ１３０は、少なくとも１つの他の受信ＭＲＥ１３０と同様の質を有する。しかし、要求側ＭＲＥ１３０の参照フレームメモリは、他の受信ＭＲＥ１３０と類似しなくてもよい。
【００６４】
従って、ＭＲＭ１２０は、要求側ＭＲＥ１３０の参照フレームを、同品質のストリームを有する他の受信ＭＲＥ１３０と同期化する。要求側ＭＲＥ１３０の参照メモリを他の受信ＭＲＥ１３０と同期化するために、ＭＲＭ１２０は、一時的ストリームのフレームＮをＳＳＰｎフレームとしてエンコードするよう、提示側ＭＲＥ１３０のエンコーダに指示し、ＳＳＰｎフレームは、一時的ストリームの最終フレームとして、要求側ＭＲＥ１３０に送信される。
【００６５】
要求側ＭＲＥ１３０は、受信したＳＳＰｎをデコードすることにより、フレームＮと関連する参照フレームを作成する。デコードした画像は、ＣＰビデオ画像に配置され、フレームＮとして提示（表示）される。この時点において、ＳＳＰｎをデコードすることによって作成した参照フレームメモリーは、他の受信ＭＲＥ１３０で作成された同じ品質レベルの参照フレームメモリならびに提示側ＭＲＥ１３０の通常ストリームの参照メモリと同一である。次のフレームＮ＋１等は、一旦エンコードされて、要求側ＭＲＥ１３０および同一の品質レベルを有する他の受信ＭＲＥ１３０に対して、通常ストリームとして送信される。
【００６６】
先にエンコードした複数の参照フレームが使用される別の実施形態において、例えば、提示側ＭＲＥ１３０がフレーム番号Ｍ-１を送信する際、先の参照フレームを一群の要求パラメータと共に要求側ＭＲＥ１３０に送信し、次いで先の参照フレームに基づいて次のフレームをエンコードするために、可逆圧縮が使用される。ＭＲＭ１２０は、１つ以上の通常ストリームと並行して、追加ストリーム、一時的ストリームを送信するよう、提示側ＭＲＥ１３０に指示する。前記一時的ストリームは、通常ストリームのフレームＭ-１をエンコードする間に作成された、参照フレームを可逆圧縮することによって作成される。フレームＭ-１の可逆圧縮参照フレーム（ＬＬＣＲＦ）は、ＭＲＭ１２０を介して、帯域外でＩＰ接続を通じ、提示側ＭＲＥ１３０から要求側ＭＲＥ１３０へ送信される。また、一時的ストリームは、「画像パラメータセット」「シーケンスパラメータセット」等の要求パラメータのセットも同時に送ることができる。要求パラメータのセットに関する情報は、Ｈ．２６４等の圧縮規格から入手できる。
【００６７】
別の実施形態において、提示側ＭＲＥ１３０は、直接要求側ＭＲＥ１３０に向けて一時的ストリームを送信する。ＬＬＣＲＦおよび要求パラメータのセットは、少数のパケットで送信でき、１つ以上のフレームインターバルが必要となり得る。可逆圧縮方式は、例えば、ＺＩＰ、レンペル＿ジフ＝ウェルチ（ＬＺＷ）、可逆ＪＰＥＧ２０００等、いずれの可逆方式であってもよい。
【００６８】
さらに別の実施形態において、他のＭＲＥ１３０が、中継ＲＴＰ圧縮ビデオデータチャンクのストリームを第２解像度で提示側ＭＲＥ１３０から受信する一方で、要求側ＭＲＥ１３０が、中継ＲＴＰ圧縮ビデオデータチャンクのストリームを第１解像度で提示側ＭＲＥ１３０から既に受信していてもよい。第２解像度のストリームを通常ストリームと呼ぶ。ある時点において、要求側ＭＲＥ１３０に、受信するストリームの解像度を第１から第２に変更する必要が生じる場合がある。このような実施形態において、提示側ＭＲＥ１３０は、一時的エンコーダを割り当てる。前記一時的エンコーダには、第１解像度の切替参照フレームが読み込まれる。次いで、読み込まれた切替参照フレームの解像度が、第１解像度から第２解像度へ変更される。並行して、提示側ＭＲＥ１３０の切替参照フレームと同等である、要求側ＭＲＥ１３０の参照フレームの解像度が、提示側ＭＲＥ１３０と同様の方法で、第１解像度から第２解像度へ変更される。従って、この時点において、提示側ＭＲＥ１３０の一時的エンコーダと、要求側ＭＲＥ１３０のデコーダは、同じ参照フレームを有する。
【００６９】
提示側ＭＲＥ１３０のビデオカメラから受信した１つ以上の次のビデオ画像は、一時的エンコーダによって第２解像度で圧縮され、他の受信エンドポイントに送信される通常ストリームと並行して、要求側ＭＲＥ１３０に送信される。１つ以上のビデオフレームの後に、通常のエンコーダが、ビデオカメラから受信した次のビデオ画像をＳＰフレームとして圧縮し、通常ストリームで１つ以上の受信ＭＲＥ１３０に向けて送信する一方、一時的エンコーダは、同じビデオ画像をＳＳＰフレームとして圧縮し、要求側ＭＲＥ１３０に向けて送信する。ＳＰおよびＳＳＰフレームの送信後、提示側ＭＲＥ１３０は一時的エンコーダを解放し、要求側ＭＲＥ１３０は、１つ以上の他の受信ＭＲＥ１３０と同様に、通常ストリームを受信する。さらに別の実施形態において、ＳＰおよびＳＳＰフレームは、切替参照フレームを用いて作成および送信される。
【００７０】
要求側ＭＲＥ１３０は、可逆アルゴリズムを用いて、取得したＬＬＣＲＦおよび要求パラメータのセットを復元する。次いで、要求側ＭＲＥ１３０のデコーダには、復元した参照フレームおよび要求パラメータのセットが読み込まれる。従って、デコーダは、参照フレームＭ-１と同じ参照フレームを有し、他の受信ＭＲＥ１３０の要求パラメータセットと同一のセットを有する。提示側ＭＲＥ１３０のエンコーダは、参照フレームＭ-１に基づいて次のカメラフレームをエンコードし、結果生じたインターフレームを、要求側ＭＲＥ１３０を含む受信ＭＲＥ１３０に送信する。さらに、要求側ＭＲＥ１３０のエンコーダは、先の参照フレーム全てを削除してもよい。
【００７１】
別の実施形態において、上記で開示した技術を組み合わせて使用してもよい。このような実施形態においては、通常ストリームと同じ解像度ではあるが低品質のイントラフレームから開始され、少数の品質改良フレームに続く一時的ストリームが使用される。一般的ビデオ会議セッションでは、連続フレーム間での変化は僅かであるため、少数の品質向上フレームの後、一時的ストリームのエンコーダの入力部における非圧縮フレームは、先のフレームをエンコードした後に作成される参照フレームと酷似している。このような実施形態において、提示側ＭＲＥ１３０は、通常ストリームと一時的ストリームの参照フレーム間の差異を、可逆圧縮技術を用いて圧縮し、圧縮した差異を要求側ＭＲＥ１３０に送信する。要求側ＭＲＥ１３０は、差異を復元し、デコーダの参照フレームを適宜修正する。
【００７２】
可逆圧縮技術を用いて両ストリームのエンコーダで同一フレームを圧縮することにより、両ストリームのエンコーダおよびデコーダにおいて同一の参照フレームが生成され、その結果、次のフレームが通常のエンコーダで圧縮され、通常ストリームが要求側ＭＲＥ１３０ならびに他の受信ＭＲＥ１３０に送信される。
【００７３】
一実施形態において、上述したように、ＭＲＭ１２０は、提示側ＭＲＥ１３０に指示することによって、一時的ストリームに関連する活動を制御する。他の実施形態において、ＭＲＭ１２０は、提示側ＭＲＥ１３０とＭＲＭ１２０との間に一時的ストリームを送るチャンネルを割り当てることによって、単に処理を開始する。これ以降、ＭＲＥ１３０は、低品質のイントラフレームから始まり、ＳＳＰｎで終了する全プロセスを自動的に実行し、その後一時的ストリームの余分なチャンネルを閉鎖するように構成される。これに代わる実施形態において、ＭＲＭ１２０はプロセスを開始するが、提示側ＭＲＥ１３０および要求側ＭＲＥ１３０が、一時的ストリームに沿って、あるプロセスから他のプロセスへの移行時期を取り決める。
【００７４】
ある実施形態において、一時的ストリームを作成するために割り当てられたエンコーダは、通常ストリームのエンコーダとは異なるエンコーダであってもよい。異なるエンコーダは、通常ストリームのエンコーダの参照メモリにアクセスできる。また、異なるエンコーダは、遷移期間中に通常のエンコーダを先導し、エンコーダのアクション間の変化する指示により、特別なエンコードの実行時期を指示する。他の実施形態においては、単一のエンコーダが、両ストリームを作成するように構成される。
【００７５】
ＭＲＥ１３０は、選択された会議出席者から受信した中継ＲＴＰ圧縮ビデオストリームのビデオ画像のデータチャンクをデコードし、各画像を適切なレイアウトのセグメント内に表示する。ＭＲＥ１３０は、受信した中継ＲＴＰ圧縮音声ストリームの音声データチャンクをデコードし、デコードされた様々な音声ストリームのミキシングを行い、ミキシングした音声をＭＲＥ１３０のスピーカに転送する。逆方向からいえば、ＭＲＥ１３０は、ＭＲＭ１２０からの指示に従って、リレー用ＲＴＰ圧縮音声およびビデオデータチャンクを送信する。
【００７６】
ＭＲＥ１３０の上述した機能に加えて、２つ以上の受信ＭＲＥ１３０に中継するために圧縮ビデオの通常ストリームをＭＲＭ１２０に送信する、提示側ＭＲＥ１３０は、新規の方法にて、要求側ＭＲＥ１３０に関係するイントラフレームの要求に応答する。エンコーダおよびデコーダが複数の先の参照フレームを保存し、これらを使用する一実施形態において、２つ以上の関連ＭＲＥ１３０に中継するために、イントラフレームをエンコードし、それを次のフレームとして通常のストリームでＭＲＭ１２０に送信する代わりに、提示側ＭＲＥ１３０は、全ての関連ＭＲＥ１３０にインターフレームを提供することによって応答する。提供されたインターフレームは、その圧縮ビデオのストリームに関与する全てのＭＲＥ１３０に存在する、同一参照フレーム（ＩＲＦ）に基づいてエンコードされる。エンコードされたインターフレームは、関係ＭＲＥ１３０に向けて送信され、エンコーダは、先に保存した全ての参照フレームを解放する。要求側ＭＲＥ１３０および他の受信ＭＲＥ１３０のデコーダは、先に保存したＩＲＦのコピーに基づいて、提供されたエンコード済のインターフレームをデコードする。
【００７７】
エンコーダおよびデコーダが、現在のフレームをエンコード／デコードするために先の複数の参照フレームを使用する、ＭＲＥ１３０の一実施形態において、提示側ＭＲＥ１３０のエンコーダは、要求側ＭＲＥ１３０のデコーダに先の参照フレームが存在する旨の通知を受ける。エンコーダは、他の受信ＭＲＥ１３０にも存在する参照フレームと同一であるこの参照フレームをＩＲＦとして使用する。提示側ＭＲＥ１３０のカメラから受信した次のビデオ画像は、ＩＲＦに基づいてインターフレームとして圧縮され、提示側ＭＲＥ１３０のエンコーダにある、先の参照フレームの残りが解放される。
【００７８】
ある実施形態において、提示側ＭＲＥ１３０は、圧縮ビデオの新規かつ一時的なストリームを送信するために、通常のストリームと並行して、ＭＲＭ１２０との一時的な接続を確立する。一時的ストリームは、ＭＲＭ１２０によって要求側ＭＲＥ１３０に中継される。一時的ストリームは、通常ストリームに帰属する今後のインターフレームを受信およびデコードするために、要求側ＭＲＥのデコーダの準備に使用され、今後のインターフレームは、他の受信ＭＲＥ１３０に対しても送信される。一時的ストリームおよび通常ストリームは、同一の解像度を有する。ただし、一時的ストリームを低品質のイントラフレームから開始し、その質をあるインターフレームから次のインターフレームへと改善することも可能である。
【００７９】
一時的ストリームから通常のストリームへと切替えるために、提示側ＭＲＥ１３０は、カメラから受信した次のビデオ画像を通常ストリームのＳＰフレームとしてエンコードし、それに対応する一時的ストリームのフレームをＳＳＰフレームとしてエンコードする。ＳＰフレームおよびＳＳＰフレームをデコードした結果として、他の受信ＭＲＥ１３０ならびに要求側ＭＲＥ１３０のデコーダのそれぞれにＩＲＦが生成される。通常のエンコーダの参照フレームもまた、ＩＲＦと同一である。従って、カメラから受信した次のビデオ画像をＩＲＦに基づいてエンコードでき、要求側ＭＲＥ１３０を含む全ての関連ＭＲＥ１３０に対して通常のストリームでそれを送信できる。一実施形態において、一時的ストリームのフレームは、通常ストリームの参照フレームをエンコードすることにより作成される。さらに別の実施形態において、両ストリームは、提示側ＭＲＥのビデオカメラから受信したビデオ画像をエンコードすることにより作成される。
【００８０】
さらに開示したシステムの別の実施形態では、１つ以上の通常のストリームと並行して、一時的ストリームを送信するための一時的接続を確立することによって、イントラフレームの必要性に対応する。一時的ストリームは、通常ストリームの少し前のフレームをエンコードする間に作成された、参照フレームの可逆圧縮によって作成される。一時的接続は、例えば、ＭＲＭ１２０を介する提示側ＭＲＥ１３０から要求側ＭＲＥ１３０へのＩＰ接続上の、開放された帯域外の接続となりうる。可逆圧縮参照フレーム（ＬＬＣＲＦ）は、少数のパケットで送信でき、１つ以上のフレームインターバルが必要となり得る。可逆圧縮方式は、例えば、ＺＩＰ、レンペル＿ジフ＿ウェルチ（ＬＺＷ）、可逆ＪＰＥＧ２０００等であってよい。提示側ＭＲＥ１３０は、ＬＬＣＲＦを送信すると共に、Ｈ．２６４圧縮規格に開示された「画像パラメータセット」または「シーケンスパラメータセット」等をデコードするために必要なパラメータを送信する。
【００８１】
一実施形態では、上記で開示した方法を組み合わせて使用する。このような実施形態において、提示側ＭＲＥ１３０は、通常のストリームと同じ解像度だが相対的に質が悪いイントラフレームによって一時的ストリームを開始し、少数の品質向上フレームで一時的ストリームを継続する。少数の品質向上フレームの後、一時的ストリームのエンコーダにある参照フレームは、通常のストリームのエンコーダにある参照フレームに類似する。この時点において、２つのエンコーダの参照フレーム間の差異が算出され、可逆圧縮方式にて圧縮される。圧縮された前記の差異は要求側ＭＲＥ１３０に送信される。要求側ＭＲＥ１３０にて、可逆圧縮された差異が可逆的に復元され、要求側ＭＲＥ１３０のデコーダにある参照フレームに追加されることにより、要求側ＭＲＥ１３０のデコーダならびに他の受信ＭＲＥ１３０のデコーダにおいてＩＲＦが作成される。この時点で一時的ストリームが終了され、通常ストリームが、要求側ＭＲＥ１３０に向けても送信される。
【００８２】
別の実施形態では、上記で開示した方法を組み合わせて使用する。このような実施形態において、提示側ＭＲＥ１３０は、通常ストリームと同じ解像度だが低い品質のイントラフレームによって一時的ストリームを開始し、少数の品質向上フレームで一時的ストリームを継続する。少数の品質向上フレームの後、一時的ストリームのエンコーダの入力部において提示側ＭＲＥ１３０のカメラから受信した次の非圧縮フレームは、先のフレームをエンコードした後に作成された参照フレームに類似する。このような実施形態において、通常のストリームのエンコーダおよび一時的ストリームのエンコーダは、次のフレームと参照フレームとの差異を可逆圧縮方式にて圧縮する。
【００８３】
提示側ＭＲＥ１３０において、両ストリームのエンコーダで、可逆圧縮方式を用いて同一フレームを圧縮することにより、両ストリームのエンコーダおよびデコーダにおいて同一の参照フレームが生成される。その結果、提示側ＭＲＥ１３０の通常のエンコーダで次のフレームが圧縮され、単一ストリーム、つまり通常のストリームがＭＲＭ１２０に向けて送信され、ＭＲＭ１２０は、要求側ＭＲＥ１３０ならびに他の受信ＭＲＥ１３０にそれを配信する。通常ストリームおよび一時的ストリームの可逆圧縮は、エンコーダおよびデコーダの両方で量子化モジュールをバイパスすることによって実施される。ＭＲＥ１３０のさらなる詳細な情報は、図１１とあわせて以下に開示される。
【００８４】
別の実施形態において、新規のＭＲＭ１２０は、要求側ＭＲＥ１３０による提示側ＭＲＥ１３０からのイントラフレームの要求に対応するプロセスを開始するように構成され、残りの活動は、提示側ＭＲＥ１３０および要求側ＭＲＥ１３０によって管理される。
【００８５】
マルチキャストを使用するさらに別の実施形態において、ＭＲＭ１２０は、一時的ストリームが使用されている限り、新規のマルチキャストアドレスを問い合わせ、次いで、通常のストリームに関連付けられたマルチキャストアドレスを問い合わせるよう、要求側ＭＲＥ１３０に指示する。同時に、ＭＲＭ１２０は、通常ストリームに関連付けられたマルチキャストアドレスに通常ストリームを送信するのと並行して、一時的ストリームの生成を開始し、新規のマルチキャストアドレスにそれを送信するよう、提示側ＭＲＥ１３０に指示する。ＭＲＭ１２０の詳細な情報は、図２、３、４、８Ａおよび８Ｂとあわせて以下に開示される。
【００８６】
図２は、一実施形態に係る、ＭＲＭ１２０の関連要素を示すブロック図である。ＭＲＭ１２０は、例えば、ネットワークインターフェースモジュール（ＮＩ）２２０と、１つ以上のセッション圧縮音声ＲＴＰプロセッサ（ＳＣＡＲＰ）２３０と、信号処理および制御モジュール（ＳＣＭ）２４０と、１つ以上のセッション圧縮ビデオＲＴＰプロセッサ（ＳＣＶＲＰ）２５０とを含み得る。これに代わる実施形態において、ＭＲＭ１２０は、セッション毎に１つ以上のＳＣＭ２４０を含んでもよい。
【００８７】
ネットワークインターフェースモジュール（ＮＩ）２２０は、ネットワーク１１０を介して、ＭＲＥ１３０等の複数のビデオ会議機器と通信する。ネットワークインターフェース２２０は、Ｈ．３２３およびＳＩＰ等の１つ以上の通信規格に基づいて、通信を解析する。さらに、ネットワークインターフェースモジュール２２０（ＮＩ）は、受信した通信の物理層、データリンク層、ネットワーク層およびトランスポート層（ＵＤＰ／ＴＣＰ層）を処理する。ＮＩ２２０は、ＭＲＭ１２０およびＭＲＥ１３０または他のノード（図示せず）との間で、制御情報およびデータ情報を受送信する。
【００８８】
ＮＩ２２０は、ＭＲＥ１３０とＭＲＭ１２０との間で通信された様々な信号およびストリームを多重送信／分離送信する。圧縮音声のＲＴＰチャンクは、ＮＩ２２０を介して、ＭＲＥ１３０およびＳＣＡＲＰ２３０との間でやりとりされる。各ＳＣＡＲＰ２３０は、ある特定のセッションと関連付けられる。ＮＩ２２０は、ＭＲＥ１３０のパケットソースおよび／または宛先ＩＰポート、ならびにＩＰアドレスおよび／またはＩＤから、ＭＲＥ１３０がどのセッションに参加しているかを判断する。その結果、ＮＩ２２０は、特定のＭＲＥ１３０から受信した圧縮音声のＲＴＰチャンクを、どのＳＣＡＲＰ２３０が受信すべきかを決定できる。逆方向からいえば、ＳＣＡＲＰ２３０から受信した圧縮音声のＲＴＰチャンクは、ＮＩ２２０によってＩＰパケットに変換され、適切なＭＲＥ１３０または他のノードに向けて転送される。
【００８９】
ビデオデータのＲＴＰ圧縮チャンクは、ＮＩ２２０を介して、ＭＲＥ１３０とＳＣＶＲＰ２５０との間でやりとりされる。各ＳＣＶＲＰ２５０は、ビデオ会議セッションと関連付けられる。ＮＩ２２０は、ＭＲＥ１３０のパケットソースおよび／または宛先ＩＰポート、ならびにＩＰアドレスおよび／または転送元ＩＤから、ＭＲＥ１３０がどのセッションに参加しているかを判断する。その結果ＮＩ２２０は、特定のＭＲＥ１３０から受信した圧縮パケットを、どのＳＣＶＲＰ２５０が受信すべきかを決定できる。逆方向からいえば、ＳＣＶＲＰ２５０から受信した圧縮ビデオのＲＴＰチャンクは、ＮＩ２２０によってＩＰパケットに変換され、適切なＭＲＥ１３０または他のノードに向けて転送される。
【００９０】
また、ＮＩ２２０は、ＳＣＭ２４０とＭＲＥ１３０との間で信号処理データおよび制御データの転送および受信を行う。さらに、ＮＩ２２０は、提示側ＭＲＥ１３０から要求側ＭＲＥ１３０へ送られるイントラフレームの必要性に対応するプロセスの信号処理と制御も扱う。
【００９１】
ＭＲＭ１２０が対処する各会議セッションにおいて、ＳＣＡＲＰ２３０をセッションの音声を処理するために割り当てる。ＳＣＡＲＰ２３０は、ＮＩ２２０を介して、音声データのリレー用ＲＴＰ圧縮チャンク（ヘッダおよびペイロード）をセッション参加中のＭＲＥ１３０から受信する。ＳＣＡＲＰ２３０は、複数のＭＲＥシーケンシャルメモリを管理し、ＭＲＥシーケンシャルメモリの各々が、セッションに参加中の各ＭＲＥ１３０に対して割り当てられる。ＳＣＡＲＰ２３０は、ＭＲＥ１３０から受信したリレー用ＲＴＰ圧縮音声チャンクのＲＴＰヘッダを解析し、そのチャンクを適切なＭＲＥのシーケンシャルメモリに保存する。また、ＳＣＡＲＰ２３０は、リレー用ＲＴＰヘッダに埋め込まれたシーケンス番号またはタイムスタンプに従って、リレー用ＲＴＰ圧縮音声チャンクをＭＲＥのシーケンシャルメモリに適切に保存するための順番を決定する。
【００９２】
ＳＣＡＲＰ２３０は、各ＭＲＥ１３０の音声エネルギーに関する情報を収集する。一実施形態において、音声エネルギーは、受信した各リレー用ＲＴＰ圧縮音声チャンクのリレー用ＲＴＰヘッダ内の適切なフィールドを解析することにより取得される。さらに別の実施形態において、音声エネルギーは、受信したリレー用ＲＴＰ圧縮音声チャンクの音声エネルギーレベルをサンプリングすることによって取得される。
【００９３】
ＳＣＡＲＰ２３０は、周期的に、通常は数十ミリ秒毎に、音声を流すためにＭＲＥ１３０に転送される、一群の音声チャンクのリレー用ＲＴＰ圧縮ストリームを選択する。この選択は、受信ストリームに関連付けられた音声エネルギーの比較に基づいている。選択されるリレー用ＲＴＰ圧縮ストリームの数は、ＭＲＥ１３０の音声ミキシング性能によって決まる。また、ＳＣＡＲＰ２３０は、どのＭＲＥ１３０を主要スピーカ（例えば、最も大きなレイアウトセグメント内に表示されるもの）にするかを選択し、その結果、信号処理情報および制御情報をＳＣＭ２４０に転送する。主要スピーカは、ある期間に亘って、音声として流すストリームの選択(heard-streams-selection)インターバルのうち一定のパーセンテージにおいて音声エネルギーが最も高いスピーカーとしてよい。
【００９４】
さらに別の代替実施形態において、ＳＣＡＲＰ２３０は、ＭＲＥ１３０の音声エネルギーに関する情報をＳＣＭ２４０に転送する。ＳＣＭ２４０は、ＭＲＥ１３０の主要スピーカと、音声として流す（ミキシングされる）音声データのＲＴＰ圧縮ストリーム群とを選択し、適切なＳＣＡＲＰ２３０およびＳＣＶＲＰ２５０に対して信号処理データおよび制御データを送信する。ある実施形態において、選択された会議出席者群および／または主要スピーカに関する情報も、ＭＲＥ１３０に転送される。ＳＣＭ２４０から送信された信号処理データおよび制御データに従って、ＳＣＡＲＰ２３０は、選択群のリレー用ＲＴＰ圧縮音声チャンクを編成し、それらを中継圧縮音声データチャンクとして、ＮＩ２２０を介して適切なＭＲＥ１３０に中継する。ＳＣＡＲＰ２３０に関するさらなる情報は、図３とあわせて以下に開示する。
【００９５】
ＭＲＭ１２０が処理する各ビデオ会議セッションに対してひとつのＳＣＶＲＰ２５０が割り当てられる。ＳＣＶＲＰ２５０は、ＮＩ２２０を介して、セッションに参加中のＭＲＥ１３０から、リレー用ＲＴＰ圧縮ビデオチャンクのストリーム（ヘッダおよびペイロード）を受信する。ＳＣＶＲＰ２５０は、複数のＭＲＥシーケンシャルメモリを管理し、ＭＲＥシーケンシャルメモリの各々がセッションに参加している各ＭＲＥ１３０に割り当てられる。ＳＣＶＲＰ２５０は、受信したリレー用ＲＴＰ圧縮ビデオチャンクを解析し、そのフレーム番号またはタイムスタンプに従って、適切なＭＲＥシーケンシャルメモリにそれを保存する。時折、セッションで使用されるフレームレートによっては、ＳＣＶＲＰ２５０が、ＳＣＭ２４０から受信する信号および制御情報に従って、１つ以上のＭＲＥシーケンシャルメモリから成る一群にアクセスし、ＮＩ２２０を介して、選択したＭＲＥ１３０群のデータを適切なＭＲＥ１３０に向けて中継する。
【００９６】
遷移期間中、ＳＣＶＲＰ２５０は、通常の動作に加えて、追加のシーケンシャルメモリを割り当てる。追加されたシーケンシャルメモリは、提示側ＭＲＥ１３０から受信する一時的ストリームを保存するために使用され、提示側ＭＲＥから受信する１つ以上の通常のストリームと並行して、要求側ＭＲＥ１３０に向けられる。さらに、この一時的メモリは、同様の品質レベルを有する１つ以上の通常のストリームの代わりに、要求側ＭＲＥ１３０に向けて排出される。ＳＣＶＲＰ２５０に関するさらなる情報は、図４とあわせて以下に開示する。
【００９７】
ＳＣＭ２４０は、セッションの運営を制御する。ＳＣＭ２４０は、（前もって予定されているか、または突然行われる）会議セッションを開始し、エンドポイントとの接続を設定し、会議プロパティを決定し、エンドポイントが適宜メディアを転送および受信するよう設定する。さらに、ＳＣＭ２４０は、リソースの割り当て、ＩＤの割り当て、複数の参照フレームを使用するようエンドポイントのエンコーダに対する指示等を行う。時に応じて、ＳＣＭは、音声エネルギーおよびビデオソースに基づいて新たな話者を選択し、これらの音声エネルギーおよびビデオソースは、話者である会議出席者の指標と共に、各エンドポイントに送信される。この新たな選択は、ＳＣＡＲＰ２３０およびＳＣＶＲＰ２５０に適宜転送される。ＳＣＭ２４０は、レイアウトの変更に応じた適切なビデオパラメータを送信するよう、エンドポイントに指示する。
【００９８】
ＳＣＭ２４０は、ビデオデータのどのＲＴＰ圧縮ストリームをどのＭＲＥ１３０に中継するか、また、どのレイアウトセグメントにビデオ画像を表示するかを決定する。ＳＣＶＲＰ２５０は、ＳＣＭ２４０から受信した指示に基づいて、適切なストリームをＭＲＥ１３０に中継し、どのレイアウトセグメントに各ビデオ画像を表示するかをＭＲＥ１３０に指示する。一実施形態において、ＳＣＶＲＰ２５０は、自身が送信する中継ＲＴＰ圧縮ビデオデータチャンクのＲＴＰヘッダー内のＩＤを変更することにより、会議出席者の提示（表示）に変更が生じたことをＭＲＥ１３０に通知する。ヘッダー内で変更されたＩＤは、ＣＰ画像のどのセグメントに、中継ＲＴＰ圧縮ビデオデータチャンクを表示すべきかを、受信ＭＲＥ１３０に対して指定する指標として使用される。これに代わる実施形態において、ＳＣＭ２４０は、ＮＩ２２０を介し、信号処理データおよび制御データによって、ＭＲＥ１３０に対してこれらの変更を通知する。さらに別の実施形態において、ＳＣＶＲＰ２５０は、自身が送信する中継ＲＴＰ圧縮ビデオデータチャンクのＲＴＰヘッダー内に所定のフィールドを設定することによって、ＭＲＥ１３０に対して変更を通知する。ＲＴＰヘッダの所定フィールドは、ＭＲＥ１３０がどのセグメントに中継ＲＴＰ圧縮ビデオデータチャンクを表示すべきかを指示するために使用される。
【００９９】
上記の活動に加え、ＳＣＭ２４０は、遷移および切替期間を管理する。ＳＣＭ２４０は、複数の受信ＭＲＥ１３０のうち、１つのＭＲＥ１３０からのイントラ要求に応じる。ＳＣＭ２４０は、例えば、イントラの要求がレイアウトの変更に起因するものであるのか、または新たな参加者が会議に参加したことに起因するものであるのか、その要求の理由を判断する。ＳＣＭ２４０は、提示側ＭＲＥ１３０からのユニークなストリームを搬送するための一時的接続を管理する。ＭＲＭ１２０の幾つかの実施形態では、イントラ要求に対して次のように対応する。すなわち、ＳＣＭは単に遷移期間を開始し、提示側ＭＲＥ１３０および要求側ＭＲＥ１３０が、一時的な低品質フレームの数と、通常ストリームへ切替えて戻す時期とを管理する。ＭＲＭ１２０に関するさらなる情報は、図３、図４、図８および図１１とあわせて以下に開示する。
【０１００】
図３は、様々な実施形態における技術および要素を実施する、ＳＣＡＲＰ２３０の関連要素を示す簡略ブロック図である。ＳＣＡＲＰ２３０は、ＲＴＰ音声入力バッファ３１０と、音声ＲＴＰヘッダパーサおよびオーガナイザ３２０と、複数のＭＲＥシーケンシャル音声メモリ３３０と、内部バスまたは共有メモリでありうるバス３４０と、複数のＲＴＰ圧縮音声ストリームビルダ３５０と、音声エネルギープロセッサ３６０とを含む。ＳＣＡＲＰ２３０は、例えば、内部バスまたは共有メモリでありうる制御バス３６５を介して、ＳＣＭ２４０によって制御される。ＳＣＡＲＰ２３０の入力部および出力部は、圧縮音声データチャンクの受信および転送を行う圧縮ＲＴＰ音声データインターフェース（ＣＲＡＤＩ）３０５を介して、ＮＩ２２０に接続される。ＣＲＡＤＩ３０５は、内部バスまたは共有メモリでありうる。
【０１０１】
各ＳＣＡＲＰ２３０は、ＭＲＭ１２０が処理する会議セッションの音声処理を担当する。ＳＣＡＲＰ２３０のＲＴＰ音声入力バッファ３１０は、ＣＲＡＤＩ３０５から、リレー用ＲＴＰ圧縮音声データチャンクを取得する。リレー用ＲＴＰ圧縮音声データチャンクは、セッションに参加するＭＲＥ１３０から受信される。一実施形態において、ＲＴＰ音声入力バッファ３１０は、リレー用ＲＴＰヘッダ内のＩＤ番号を使用して、どのリレー用ＲＴＰ圧縮音声データチャンクをＣＲＡＤＩ３０５から取得するのかを決定する。これに代わる実施形態において、ＲＴＰ音声入力バッファ３１０は、受信した関連パケットの送信元および／または宛先ＩＰアドレスならびにポート番号に基づいて、ＮＩ２２０からリレー用ＲＴＰ圧縮音声データチャンクを入手する。
【０１０２】
音声ＲＴＰヘッダパーサおよびオーガナイザ３２０は、ＲＴＰ音声入力バッファ３１０からリレー用ＲＴＰ圧縮音声データチャンクを抽出し、そのリレー用ＲＴＰ圧縮音声データチャンクのヘッダを解析し、ＩＤ、チャンクのシーケンス番号および／またはタイムスタンプならびに存在する場合は音声エネルギー等の関連情報を入手する。ある実施形態においては、音声エネルギー情報を入手するために、音声ヘッダが解析される。音声ＲＴＰヘッダパーサおよびオーガナイザ３２０は、例えばＩＤに基づいて、解析したリレー用ＲＴＰ圧縮音声データチャンクを適切なＭＲＥシーケンシャル音声メモリ３３０に転送し、音声エネルギーを音声エネルギープロセッサ３６０に転送する。
【０１０３】
各ＭＲＥシーケンシャル音声メモリ３３０は、ＭＲＥ１３０（図１）のそれぞれと関連付けられる。関連ＭＲＥから受信したリレー用ＲＴＰ圧縮音声データチャンクは、それらのシーケンス番号および／またはタイムスタンプに基づいて、ＭＲＥシーケンシャル音声メモリ３３０に保存される。各ＭＲＥシーケンシャル音声メモリ３３０には、全てのＭＲＥシーケンシャル音声メモリ３３０を１つ以上のＲＴＰ圧縮音声ストリームビルダ３５０と接続するバス３４０を介して、アクセス可能である。
【０１０４】
各ＲＴＰ圧縮音声ストリームビルダ３５０は、１つ以上のＭＲＥ１３０に対して割り当てられる。ＲＴＰ圧縮音声ストリームビルダ３５０は、ＭＲＥマルチプレクサおよびシーセンサ３５２と、ＭＲＥＲＴＰ音声出力バッファ３５４とを具備し得る。ＲＴＰ圧縮音声ストリームビルダ３５０は、１つ以上のＭＲＥシーケンシャル音声メモリ３３０にアクセスすることによって、圧縮音声リレー用データチャンクの１つ以上の送信元から成るグループを選択する。このグループの選択は、例えば、音声エネルギープロセッサ３６０から受信した制御信号、そのエネルギーとは無関係にユーザが指定する特定の送信元、または宛先ＭＲＥ１３０の音声ミキシング性能等、様々なパラメータに基づいて行うことができる。通常、選択された送信元グループには、宛先ＭＲＥ１３０から受信した音声ストリームは含まれない。これに代わる実施形態において、ＲＴＰ圧縮音声ストリームビルダ３５０は、どのＭＲＥ１３０を選択すべきかに関して、宛先ＭＲＥ１３０から制御信号を受信する。さらに、時に応じて、ＲＴＰ圧縮音声ストリームビルダ３５０は、会議中のリアルタイムの変更に従って、入力の選択を変更できる。
【０１０５】
ＭＲＥマルチプレクサ・シーセンサ３５２は、バス３４０から入力された１つ以上のリレー用ＲＴＰ圧縮音声データチャンクのストリームを選択する。選択されたリレー用ＲＴＰ圧縮音声データチャンクのストリームは、１つの中継ＲＴＰ圧縮音声データチャンクのストリームに多重化され、ＭＲＥＲＴＰ音声出力ＦＩＦＯ３５４に送信され、またそこからＣＲＡＤＩ３０５およびＮＩ２２０を介して、適切なＭＲＥ１３０に向けて転送される。
【０１０６】
ＲＴＰ圧縮音声ストリームビルダ３５０の代替実施形態（図示せず）には、一群のセレクタが含まれる。各セレクタは、バス３４０に接続され、ＭＲＥシーケンシャル音声メモリ３３０のうち１つの出力を選択する。セレクタの他方のポートは、ＦＩＦＯを介してＣＲＡＤＩ３０５に接続される。このような実施形態において、選択された音声ストリームは、複数の中継ＲＴＰ圧縮音声データチャンクのストリームとして、ＭＲＥ１３０に向けて送信される。
【０１０７】
別の実施形態において、ＲＴＰ圧縮音声ストリームビルダ３５０は、会議セッションに参加している会議出席者のグループに対して使用され、ここで全ての関連ＭＲＥ１３０は、中継ＲＴＰ圧縮音声データチャンクの同一ストリームを受信する。
【０１０８】
音声エネルギープロセッサ３６０は、各リレー用ＲＴＰ圧縮音声データチャンクに関連する音声エネルギーを受信し、この情報に基づいて、音声エネルギープロセッサ３６０は、次の周期において、どのＭＲＥ１３０を選択してその音声をミキシングするかを決定し、その選択を適切なＲＴＰ圧縮音声ストリームビルダ３５０のＭＲＥマルチプレクサ・シーセンサ３５２に転送する。さらに、音声エネルギープロセッサ３６０は、上述したように、どのエンドポイントを主要な話者として提示（表示）するかを決定する。新しい積極的な話者を指定するこの情報は、制御バス３６５を介してＳＣＭ２４０に送られる。
【０１０９】
図４は、様々な実施形態の技術および要素を実施するＳＣＶＲＰ２５０の関連要素を示す簡略ブロック図である。ＳＣＶＲＰ２５０は、ＲＴＰビデオ入力バッファ４１０と、ビデオＲＴＰヘッダパーサおよびオーガナイザ４２０と、１つ以上のＭＲＥシーケンシャルビデオメモリ４３０と、例えば内部バスまたは共有メモリでありうるバス４４０と、、１つ以上のＲＴＰ圧縮ビデオストリームビルダ４５０とを備える。ＳＣＶＲＰ２５０は、例えば内部バスまたは共有メモリであり得る制御バス４６５を介して、ＳＣＭ２４０による制御を受ける。圧縮された出入力ビデオデータチャンクは、例えば内部バスまたは共有メモリであり得る圧縮ＲＴＰビデオデータインターフェース（ＣＲＶＤＩ）４０５を介して、ＳＣＶＲＰ２５０とＮＩ２２０との間で通信される。
【０１１０】
各ＳＣＶＲＰ２５０は、会議セッションのビデオを管理する。ＲＴＰビデオ入力バッファ４１０は、セッションに参加しているＭＲＥ１３０から受信したリレー用ＲＴＰ圧縮ビデオデータチャンクを、ＣＲＶＤＩ４０５を介して、ＮＩ２２０から取得する。一実施形態において、ＲＴＰビデオ入力バッファ４１０は、例えばＲＴＰヘッダに埋め込まれたＩＤ番号によって、どのリレー用ＲＴＰ圧縮ビデオデータチャンクを処理するかを決定する。これに代わる実施形態において、ＲＴＰビデオ入力バッファ４１０は、関連パケットと関連付けられた送信元および／または宛先ＩＰアドレスならびにポート番号に基づいて、ＮＩ２２０からビデオチャンクを受信する。
【０１１１】
ビデオＲＴＰヘッダパーサおよびオーガナイザ４２０は、ＲＴＰビデオ入力バッファ４１０からリレー用ＲＴＰ圧縮ビデオデータチャンクを抽出し、そのリレー用ＲＴＰ圧縮ビデオデータチャンクのヘッダを解析して、各ビデオチャンクと関連付けられたＩＤ、シーケンス番号および／もしくはタイムスタンプならびに／または第１マクロブロックアドレス（ＭＢＡ）を有するフレーム番号等の関連情報を入手する。ビデオＲＴＰヘッダパーサおよびオーガナイザ４２０は、入手した情報に基づき、関連するリレー用ＲＴＰ圧縮ビデオデータチャンクを、適切なＭＲＥシーケンシャルビデオメモリ４３０に保存する。
【０１１２】
各ＭＲＥシーケンシャルビデオメモリ４３０は、セッションに参加しているＭＲＥ１３０から受信したストリームと関連付けられる。ＭＲＥ１３０から受信した各ストリームでは、様々な品質レベルおよび／または解像度の圧縮ビデオが運ばれる。ＭＲＥシーケンシャルビデオメモリ４３０の各出力部は、バス４４０に連結されており、バス４４０は、全てのＭＲＥシーケンシャルビデオメモリ４３０を１つ以上のＲＴＰ圧縮ビデオストリームビルダ４５０に接続する。
【０１１３】
遷移期間中、ＳＣＭ２４０は、提示側ＭＲＥ１３０から送信される一時的ストリーム用に、一時的ＭＲＥシーケンシャルビデオメモリ４３０を追加で割り当てる。さらに、ビデオＲＴＰヘッダパーサおよびオーガナイザ４２０、ＲＴＰビデオ入力バッファ４１０およびＮＩ２２０は、一時的ストリームを一時的ＭＲＥシーケンシャルビデオメモリ４３０に送るため、一時的ストリームのＩＤを通知される。
【０１１４】
ＭＲＥ１３０に中継する適切なリレー用圧縮ビデオデータストリームのグループを選択するために、各ＲＴＰ圧縮ビデオストリームビルダ４５０が１つ以上の受信ＭＲＥ１３０に割り当てられる。ＲＴＰ圧縮ビデオストリームビルダ４５０は、ＭＲＥマルチプレクサ・シーセンサ４５２と、ＭＲＥＲＴＰビデオ出力バッファ４５４とを具備し得る。各ＲＴＰ圧縮ビデオストリームビルダ４５０は、１つ以上のリレー用ＲＴＰ圧縮ビデオデータチャンクの送信元（ＭＲＥ１３０）からなるグループと、１つ以上のＭＲＥシーケンシャルビデオメモリ４３０から成るグループとを選択する。この選択は、制御バス４６５を介してＳＣＭ２４０から受信した制御信号に基づき、セッション中の変更を受けて変更される。代替実施形態において、ＲＴＰ圧縮ビデオストリームビルダ４５０は、ＳＣＭ２４０および制御バス４６５を介して、割り当てられたＭＲＥ１３０自身から、割り当てられたＭＲＥ１３０がどのＭＲＥ１３０の視聴を希望するかに関する制御信号を受信する。
【０１１５】
ＭＲＥビデオマルチプレクサ・シーセンサ４５２は、入力されたリレー用ＲＴＰ圧縮ビデオデータチャンクのうちの選択されたストリームをバス４４０から入手し、一群のストリームを中継ＲＴＰ圧縮音声ビデオチャンクの１つのストリームに多重化して、ＭＲＥＲＴＰビデオ出力ＦＩＦＯ４５４に保存し、またそこからＣＲＶＤＩ４０５およびＮＩ２２０を介して、割り当てられた受信ＭＲＥ１３０に向けて転送する。ある会議セッションでは、１つのＲＴＰ圧縮ビデオストリームビルダ４５０を、セッション内の全てのＭＲＥ１３０に対して使用するため、全てのＭＲＥ１３０は、中継ＲＴＰ圧縮ビデオデータチャンクの同一ストリームを受信することになる。
【０１１６】
ＲＴＰ圧縮ビデオストリームビルダ４５０の代替実施形態（図示せず）は、一群のセレクタを備える。各セレクタは、バス４４０に接続され、ＭＲＥシーケンシャルビデオメモリ４３０のうち１つの出力を選択する。セレクタの他方のポートは、ＦＩＦＯを介してＣＲＶＤＩ４０５に接続される。このような実施形態において、選択されたビデオストリームは、複数の中継ＲＴＰ圧縮ビデオデータチャンクのストリームとして、ＭＲＥに向けて送信される。
【０１１７】
さらに別の実施形態において、例示的なＭＲＥシーケンシャルビデオメモリ４３０は、受信したリレー用ＲＴＰ圧縮ビデオデータチャンクをシーケンス番号に従って整理しなくてもよい。その代わり、受信したリレー用ＲＴＰ圧縮ビデオデータチャンクは、受信した順番で整理される。
【０１１８】
ＩＤ番号がレイアウトの各セグメントに割り当てられている一実施形態において、ＭＲＥＲＴＰビデオ出力ＦＩＦＯモジュール４５４は、処理した各圧縮ビデオデータチャンクに適切なセグメントＩＤを追加するよう適用される。このような実施形態において、セグメントIDと送信元であるＭＲＥ１３０の関連ＩＤとの関連性は、バス４６５を介して受信した制御信号によって保持される。セグメントＩＤは、チャンクと関連付けられた送信元ＩＤと置き換えてもよいし、ＲＴＰヘッダの他のフィールド内にそれを保存しても良い。
【０１１９】
遷移期間中、ＳＣＭ２４０は、提示側ＭＲＥ１３０から送信されるストリームに対して割り当てられたＭＲＥシーケンシャルビデオメモリ４３０の代わりに、一時的ストリームに割り当てられた一時的ＭＲＥシーケンシャルビデオメモリ４３０から圧縮ビデオデータチャンクを入手するよう、要求側ＭＲＥ１３０に割り当てられたＲＴＰ圧縮ビデオストリームビルダ４５０に指示する。残りの受信ＭＲＥに割り当てられたＲＴＰ圧縮ビデオストリームビルダ４５０は、提示側ＭＲＥからのストリームに対して割り当てられたＭＲＥシーケンシャルビデオメモリ４３０の排出を継続する。
【０１２０】
図５は、ＭＲＥ１３０の一実施形態の関連要素を示す簡略ブロック図である。ＭＲＥ１３０は、ＭＲＥネットワークインターフェースモジュール（ＭＲＥＮＩ）５２０と、ＭＲＥ音声モジュール（ＭＲＥＡＭ）５３０と、ＭＲＥ制御モジュール（ＭＲＥＣＭ）５４０と、ＭＲＥビデオモジュール（ＭＲＥＶＭ）５５０とを含む。
【０１２１】
ＭＲＥ１３０は、ＭＲＥＮＩ５２０を介してＭＲＭ１２０と、またはネットワーク１１０を介して他のＭＲＥ１３０と通信する。ＭＲＥＮＩ５２０は、Ｈ．３２３、ＳＩＰ等の１つ以上の通信規格またはＨ．２６４、ＭＰＥＧ等の圧縮規格に基づいて、通信を処理する。さらに、ネットワークＭＲＥＮＩ５２０は、ＭＲＥ１３０とやりとりする通信の物理層、データリンク層、ネットワーク層およびトランスポート層（ＵＤＰ／ＴＣＰ層）を実行する。
【０１２２】
ＭＲＥＮＩ５２０は、信号および制御ならびにＭＲＥ１３０とＭＲＭ１２０との間のメディアストリームを多重送信／分離送信する。音声およびビデオのＲＴＰ圧縮データチャンク（ヘッダおよびペイロード）は、ＭＲＥＮＩ５２０を介して、ＭＲＭ１２０、ＭＲＥＡＭ５３０、ＭＲＥＶＭ５５０間でそれぞれ互いに転送される。また、ＭＲＥＮＩ５２０は、ＭＲＥＣＭ５４０とＭＲＭ１２０との間で、信号処理および制御を転送および受信する。
【０１２３】
ＭＲＥＡＭ５３０は、ＭＲＥＮＩ５２０を介して、ＭＲＭ１２０から複数の中継ＲＴＰ圧縮音声データチャンクから成るグループ（ヘッダおよびペイロード）を受信し、中継ＲＴＰ圧縮音声データチャンクのＲＴＰヘッダを解析し、送信元ＩＤ、タイムスタンプおよびシーケンス番号等のパラメータを特定する。また、ＭＲＥＡＭ５３０は、受信した中継ＲＴＰ圧縮音声データチャンクを、そのＩＤ、タイムスタンプおよび／またはシーケンス番号で編成し、次いで音声データチャンクをデコード、ミキシングおよび増幅する。ＭＲＥＡＭ５３０は、ミキシングした音声を１つ以上のＭＲＥ１３０のスピーカに転送する。
【０１２４】
逆方向からいえば、ＭＲＥＡＭ５３０は、ＭＲＥ１３０のマイクから音声信号を収集し、その信号をアナログからデジタルへ変換し、音声エネルギーを算出し、適切な圧縮規格に従って、音声をＲＴＰ圧縮音声データチャンクにエンコード／圧縮する。使用される圧縮規格には、Ｇ．７１１、Ｇ．７１９またはＧ．７２２．１Ｃが含まれる。
【０１２５】
ＭＲＥＡＭ５３０は、算出した音声エネルギー、ＭＲＭ１２０によってＭＲＥ１３０のストリームに割り当てられたＩＤ、タイムスタンプおよびシーケンス番号を、圧縮音声データチャンクのＲＴＰヘッダ内の適切なフィールドに埋め込む。別の実施形態において、ＭＲＥＡＭ５３０は、ＭＲＥＣＭ５４０を介して、音声信号エネルギーの指示情報を送信する。ＭＲＥＡＭ５３０に関するさらなる情報は、図７と共に以下に開示する。
【０１２６】
ＭＲＥＶＭ５５０は、ＭＲＥＮＩ５２０を介して、ＭＲＭ１２０から中継ＲＴＰ圧縮ビデオデータチャンクのグループ（ヘッダおよびペイロード）を受信し、受信した中継ＲＴＰ圧縮ビデオデータチャンクのＲＴＰヘッダを解析し、送信元ＩＤ、セグメントＩＤ、タイムスタンプおよびシーケンス番号等のパラメータを特定する。遷移期間中、一時的ストリームにＩＤ番号が割り当てられる。ＭＲＥＶＭ５５０は、タイムスタンプおよび／またはシーケンス番号に従って、受信した中継ＲＴＰ圧縮ビデオデータチャンクを編成し、中継ＲＴＰ圧縮ビデオデータチャンクをデコードし、ＩＤ番号に基づいて、それらを適切なセグメントＦＭ（フレームメモリ）になるよう整理する。レイアウトの各セグメントに対してセグメントＦＭがあり、各セグメントおよび／または送信元ＩＤは、レイアウトの一定のセグメントＦＭに関連付けられる。これに代わる実施形態において、送信元および／または宛先ＩＰアドレスならびにポート番号は、レイアウトのセグメントと関連付けられる。ＭＲＥ１３０が使用するフレームレートによって、ＭＲＥＶＭ５５０は、異なるセグメントＦＭを結合して結合ＦＭ（ＣＰＦＭ）を生成し、ＭＲＥ１３０の１つ以上のディスプレー上に映し出されるよう、完成したＣＰＦＭを送信する。
【０１２７】
代替実施形態において、ＭＲＥＶＭ５５０は、受信した中継ＲＴＰ圧縮ビデオデータチャンクをそのタイムスタンプおよび／またはシーケンス番号によって編成し、ビデオデータチャンクをデコードし、レイアウト全体をカバーする１つのＣＰＦＭ内にそれらを整理する。別の実施形態において、ＭＲＥＶＭ５５０は、また、会議の主要な話者の変更、提示（表示）される会議出席者数の変更、会議出席者の一部入れ替え等に関する情報をＭＲＥＣＭ５４０から受信する。
【０１２８】
ある実施形態において、受信した中継ＲＴＰ圧縮ビデオデータチャンクをデコードするＭＲＥＶＭ５５０のデコーダは、遷移期間中のデコード処理を行うように構成される。一実施形態において、デコーダは、先の複数の参照フレームを保存および使用する。このような実施形態において、デコーダは、最後に保存した先の参照フレームの指標と共に、イントラ交換要求を送信する。他の実施形態において、デコーダは、ＳＰおよびＳＳＰフレーム等のユニークなフレーム（一意に区別できる特有なフレーム）を処理する。さらに他の実施形態において、デコーダは、可逆圧縮フレームをデコードし、続くインターフレーム等の参照フレームとしてそれを読み込むように適用される。
【０１２９】
逆方向からいえば、ＭＲＥＶＭ５５０は、ＭＲＥ１３０のカメラからビデオ画像を収集し、ビデオ画像を１つ以上の要求されたサイズ／質に調節し、適切な圧縮規格に従って、ビデオ画像をＲＴＰ圧縮ビデオデータチャンクにエンコード／圧縮する。圧縮規格には、Ｈ．２６４、ＭＰＥＧ４等が含まれる。要求されるサイズおよび圧縮規格に関する情報は、ＭＲＥＣＭ５４０を介して、ＭＲＭ１２０から受信する。ＭＲＥＶＭ５５０は、ＲＴＰヘッダ内の適切なフィールドに、送信元ＩＤ、タイムスタンプ、シーケンス番号、フレーム番号等の様々なパラメータを埋め込む。リレー用ＲＴＰ圧縮ビデオデータチャンクは、フレームレートに従って、ＭＲＥＮＩ５２０を介してＭＲＭ１２０に転送される。
【０１３０】
ある実施形態において、リレー用ＲＴＰ圧縮ビデオデータチャンクをエンコード／圧縮するＭＲＥＶＭ５５０のエンコーダは、遷移期間中にエンコード処理を実施するように構成される。一実施形態において、受信ＭＲＥ１３０のデコーダは、複数の先の参照フレームを保存および使用する。このような実施形態において、エンコーダは、要求デコーダが有する最後に保存した先の参照フレームの指標と共に、イントラ交換要求を、要求デコーダから受信する。するとエンコーダは、指示された最後に保存した参照フレームに基づいて、カメラからの次のビデオ画像をインターフレームとして圧縮することによって、これに対応する。他の実施形態において、エンコーダはＳＰおよびＳＳＰフレームをエンコードする。さらに他の実施形態において、エンコーダは、可逆圧縮方式に基づき、その参照フレームを可逆圧縮フレームにエンコードし、それは、次のインターフレーム用等のために、要求側ＭＲＥ１３０のデコーダにて参照フレームとして読み込まれる。
【０１３１】
ＭＲＥ制御モジュール（ＭＲＥＣＭ）５４０は、ＭＲＥ１３０の動作を制御する。ＭＲＥＣＭ５４０は、ＭＲＭ１２０との接続を確立し、ＭＲＥ１３０においてレイアウト上に提示（表示）される会議出席者数、画像サイズ、圧縮規格、主要な話者、ＩＤ情報等のパラメータを通信する。ＩＤ情報には、ＭＲＥ１３０から送信される様々な音声またはビデオデータチャンクのＩＤ、遷移期間に関する通信等の情報が含まれうる。遷移期間に関する情報には、遷移期間の開始と終了の指標、一時的ストリームのＩＤ、遷移期間に関する信号処理および制御等が含まれる。
【０１３２】
ＭＲＥＣＭ５４０は、セッション内の選択された会議出席者の数、要求レイアウト、要求されたＦＭの数等に従って、音声リソースおよびビデオリソースを割り当てる。ＭＲＥＣＭ５４０は、ＭＲＥ１３０の１つ以上のディスプレイに表示されるべきレイアウトの構築方法をＭＲＥＶＭ５５０に指示する。また、ＭＲＥＣＭ５４０は、ミキシングされるべき会議出席者の数等に関して、ＭＲＥＡＭ５３０を更新する。ある実施形態において、帯域外の接続がＭＲＥ１３０とＭＲＭ１２０との間に確立され、これにより、ＭＲＥ１３０およびＭＲＭ１２０は、セッション中、動的に通信可能となる。
【０１３３】
ＭＲＥ１３０の幾つかの実施形態において、ＭＲＥＣＭ５４０およびＭＲＥＶＭ５５０は、表示されたＣＰ画像に情報を追加するように適用される。この情報は、現在の話者および／または各セグメント内に現在表示されている会議出席者の氏名を示す。このような実施形態において、ＭＲＥＣＭ５４０は、ＭＲＭ１２０から情報を受信するよう適用される。この情報は、ＭＲＥＶＭ５５０に転送され、文字および画像生成プログラムを含み、ステータス情報がエンドポイントで表示されるように変換される。逆方向からいえば、ＭＲＥＶＭ５００およびＭＲＥＣＭ５４０は、エンドポイントからのメニューを表示するように適用され、メニューは、ＭＲＭ１２０の制御に使用される。
【０１３４】
遷移期間中、ＭＲＥＣＭ５４０は、一時的ストリームを処理するために、ビデオおよびネットワークリソースをそれぞれＭＲＥＶＭ５５０およびＭＲＥＮＩ５２０に割り当てるよう適用される。ある実施形態において、提示側ＭＲＥ１３０および要求側ＭＲＥ１３０のＭＲＥＣＭ５４０は、遷移期間に対応するプロセスを管理するよう構成される。ＭＲＭ１２０は、遷移期間を開始するが、開始後は、要求側ＭＲＥ１３０および／または提示側ＭＲＥ１３０のＭＲＥＣＭ５４０が、遷移期間の継続および終了を管理する。ＭＲＥ１３０に関するさらなる詳細は、図６、７、９および９Ｂと共に、下記に開示する。
【０１３５】
図６は、一実施形態に係る、ＭＲＥＶＭ５５０の一部分の関連要素を示す簡略ブロック図である。ＭＲＥＶＭ５５０は、次の２つの主要部を有する：（１）受信した中継ＲＴＰ圧縮ビデオデータチャンクの一群を処理する、入力部と；（２）ＭＲＥ１３０のカメラが捉えたビデオデータを処理する出力部。一実施形態に係る入力部は、例えば、ＲＴＰビデオ入力バッファ６１０と、ビデオＲＴＰヘッダパーサおよびオーガナイザ６２０と、１つ以上の圧縮ビデオセグメントメモリ（ＣＶＳＭ）６３０（レイアウトの各セグメントに対して１つ）と、１つ以上のＭＲＥビデオデコーダ６４０（レイアウトの各セグメントに対して１つ）と、１つ以上のセグメントＦＭ６５０（レイアウトの各セグメントに対して１つ）と、ＭＲＥＣＰ画像ビルダ６６０と、ＭＲＥＣＰフレームメモリモジュール６７０と、背景ＦＭ６５５等のモジュールを具備し得る。出力部は、例えば、１つ以上の計数装置およびＦＭ６８０と、１つ以上のエンコーダ６８５と、一時的エンコーダ６８７と、ＭＲＥビデオＲＴＰプロセッサ（ＭＲＥＶＲＴＰ）６９０とを具備し得る。エンコーダ６８５およびデコーダ６４０は、Ｈ．２６４ＡＶＣ、Ｈ．２６４ａｎｎｅｘＧ、ＭＰＥＧ-４等の圧縮規格を使用可能である。
【０１３６】
各ＣＶＳＭ６３０は、そのセグメントに表示予定のビデオストリームのＩＤと関連付けられる。一実施形態において、ＣＶＳＭのＩＤとの関連性は、セッション中に変化する。一方、他の実施形態において、ＣＶＳＭのＩＤとの関連性は、セッション全体にわたって固定される。
【０１３７】
ＭＲＥＶＭ５５０の入力部にあるＲＴＰビデオ入力バッファ６１０は、ＭＲＥＮＩ５２０から中継ＲＴＰ圧縮ビデオデータチャンクを入手する。ビデオＲＴＰヘッダパーサおよびオーガナイザ６２０は、入力バッファ６１０にアクセスし、ＲＴＰヘッダを解析して、受信した中継ＲＴＰ圧縮ビデオデータの様々なパラメータを特定する。パラメータには、シーケンス番号、フレーム番号、送信元および／またはセグメントＩＤ、タイムスタンプ等が含まれるが、これらに限定されない。また、ＲＴＰヘッダパーサおよびオーガナイザ６２０は、例えば、送信元ＩＤと表示レイアウトのセグメントとを関連付ける割出表を有する。セグメントＩＤが受信したデータチャンクと関連付けられていない一実施形態において、各ＣＶＳＭ６３０は、例えば、表示レイアウトのあるセグメントに関連付けられる。従って、ＲＴＰヘッダパーサおよびオーガナイザ６２０は、例えば送信元ＩＤに従って、中継ＲＴＰ圧縮ビデオデータチャンクの適切なストリームをＣＶＳＭ６３０に転送する。また、ＲＴＰヘッダパーサおよびオーガナイザ６２０は、シーケンス番号、タイムスタンプまたはフレーム番号および受信したデータチャンクの第１ＭＢのアドレスに応じて、ＣＶＳＭ６３０内のＲＴＰ圧縮ビデオデータチャンクを整理することができる。
【０１３８】
各ＣＶＳＭ６３０の出力を、ＭＲＥビデオデコーダ６４０に関連付け、各ＭＲＥビデオデコーダ６４０の出力を、セグメントＦＭ６５０に関連付けることができる。従って、ＭＲＥビデオデコーダ６４０は、適切なＣＶＳＭ６３０にアクセスし、ＲＴＰ圧縮ビデオデータチャンクをデコードし、デコードしたビデオを適切なセグメントＦＭ６５０に保存する。これに代わる実施形態では、デコーダ６４０とセグメントＦＭ６５０の間に計数装置が追加される。ＭＲＥＣＰ画像ビルダ６６０は、様々なセグメントＦＭ６５０の内容をＭＲＥＣＰフレームメモリモジュール６７０に転送して、ＣＰ画像を構築する。ＣＰ画像のフレーム全体を、ＭＲＥＣＰフレームメモリモジュール６７０から転送して、ＭＲＥの表示ユニット上に表示される。場合に応じて、背景色、異なるセグメント間の境界線およびその色、パターンならびに会議出席者名等の様々なパラメータに基づき背景ＦＭ６５５が読み込まれる。背景ＦＭ６５５は、セッション開始時に作成されるが、セッション中のいずれの時期にも変更されうる。ＭＲＥ１３０の一実施形態において、背景は、ＭＲＥＣＭ５４０によって作成される。ＭＲＥＣＰ画像ビルダ６６０は、ＣＰ画像を構築する一方で、セグメントＦＭ６５０からデータが収集されるのと同じように背景ＦＭ６５５からデータを収集する。
【０１３９】
遷移期間中、要求側ＭＲＥ１３０のＭＲＥＶＭ５５０の入力部は、通常と異なる動作を行う。遷移期間中、ＲＴＰビデオ入力バッファ６１０は、関連する提示側ＭＲＥ１３０から受信した一時的ストリームに関連する、ＭＲＥＮＩ５２０からの中継ＲＴＰ圧縮ビデオデータチャンクを入手するようにも構成できる。ビデオＲＴＰヘッダパーサおよびオーガナイザ６２０は、一時的ストリームの中継ＲＴＰ圧縮ビデオデータチャンクを取得し、提示側ＭＲＥ１３０に割り当てたセグメントに関連するＣＶＳＭ６３０内でそれらを整理し、要求側ＭＲＥ１３０のディスプレー上のＣＰ画像に表示するよう構成される。
【０１４０】
一実施形態において、提示側ＭＲＥ１３０に割り当てられたセグメントと関連するＭＲＥビデオデコーダ６４０は、保存されている複数の先の参照フレームを使用するように構成される。このような実施形態において、デコーダは、先に保存した参照フレームのシーケンス番号と共に、イントラ交換要求を送信するよう構成される。それに応じて、提示側ＭＲＥ１３０の関連エンコーダは、指定された先に保存されたフレームに基づいて圧縮されたインターフレームを送信する。このインターフレームは、通常のストリームで送信される。
【０１４１】
ＳＰフレームが通常のストリームで使用され、ＳＳＰフレームが一時的ストリームで使用される、別の実施形態において、関連ストリーム６４０のデコーダは、受信ＭＲＥ１３０または要求側ＭＲＥ１３０のそれぞれに対してＳＰおよび／またはＳＳＰフレームを処理するよう構成される。
【０１４２】
可逆圧縮アルゴリズムを使用して、提示側ＭＲＥ１３０のエンコーダから一時的ストリームで参照フレームが転送される、さらに別の実施形態において、関連デコーダ６４０は、参照フレームをエンコードするために使用される可逆圧縮アルゴリズムをデコードし、該当参照フレームに基づいてエンコードされる、通常ストリームの次のフレームをデコードできるように、それを参照フレームに読み込む能力を有するものであり得る。
【０１４３】
遷移期間の管理は、提示側ＭＲＥ１３０のエンコーダと共に、関連デコーダ６４０によって行われる。一方、他の実施形態においては、ＳＣＭ２４０が管理を行う。他の実施形態において、デコーダ／エンコーダの遷移期間中の活動は、遷移期間の開始時にＳＣＭ２４０によって開始され、その後はデコーダ６４０および提示側ＭＲＥ１３０のエンコーダが自律的に継続する。
【０１４４】
ＭＲＥＶＭ５５０の出力部は、ＭＲＥ１３０のカメラからのビデオ画像を受信し、１つ以上の計数装置およびＦＭ６８０に画像を保存する。各計数装置およびＦＭ６８０は、例えば、異なるサイズ（解像度）にビデオ画像を調整し、保存する。各計数装置およびＦＭ６８０の出力は、ビデオエンコーダ６８５に関連付けられ、ビデオエンコーダ６８５は様々なレートおよび／または質でデータをエンコードできるため、その結果圧縮ビデオデータチャンクが生成される。次いで、ビデオエンコーダ６８５は、ＭＲＥＶＲＴＰ６９０にビデオデータチャンクを転送し、そこで発信元ＩＤ、タイムスタンプ、シーケンス番号または他のパラメータをＲＴＰ圧縮ビデオデータチャンクのヘッダに埋め込む。次に、ＭＲＥＶＲＴＰ６９０は、リレー用ＲＴＰ圧縮ビデオデータチャンクをＭＲＥＮＩ５２０に対して出力する。
【０１４５】
遷移期間中、提示側ＭＲＥ１３０のＭＲＥＶＭ５５０の出力部は、通常の動作と異なる動作を行う。遷移期間中、要求側ＭＲＥ１３０に合うサイズに画像を調整する計数装置と関連する、ビデオエンコーダ６８５の一実施形態は、先に使用し保存されている複数の参照フレームを使用するように構成される。このような実施形態において、エンコーダが、保存されている先の参照フレームのシーケンス番号と共に、イントラ交換要求を要求側ＭＲＥ１３０から受信する場合、エンコーダは、その先に使用した参照フレームに基づいて、関連する計数装置およびＦＭ６８０から次に受信するカメラフレームをインターフレームとしてエンコードすることによって、これに応じる。先のフレームに基づいて圧縮されたインターフレームは、ＭＲＥＶＲＴＰ６９０を介して、通常のストリームで送信される。インターフレーム送信後、エンコーダは、他の保存されている先の参照フレーム全てを消去する。
【０１４６】
ＳＰフレームが通常のストリームで使用され、ＳＳＰフレームが一時的ストリームで使用される、別の実施形態において、一時的ストリームを作成するために、一時的エンコーダ６８７が割り当てられる。また、ＭＲＥＶＲＴＰ６９０は、一時的ストリームの圧縮チャンクを処理するように適用される。一時的エンコーダ６８７は、通常ストリームのエンコーダ６８５に割り当てられた関連計数装置およびＦＭ６８０から、同一の調整されたフレームを取得する。一時的ストリームの第１圧縮フレームは、イントラフレームとして、通常のストリームと同一サイズだがそれより低品質でエンコードされる。一時的ストリームの質は、インターフレーム毎に徐々に改善される。幾つかのインターフレーム後（例えば、３から１５フレーム）、一時的エンコーダ６８７はＳＳＰフレームを転送し、その一方、通常のエンコーダ６８５は、ＳＰフレームを転送する。次のカメラフレームは、通常のフレームとして、関連するビデオエンコーダ６８５によってエンコードされ、他の全ての受信ＭＲＥ１３０と同様に、通常のストリームで要求側ＭＲＥ１３０に向けて送信される。
【０１４７】
可逆圧縮アルゴリズムを用いて、提示側ＭＲＥ１３０のエンコーダ６８５から一時的ストリームで参照フレームが転送される、代替実施形態において、一時的エンコーダ６８７は、通常のストリームのエンコーダ６８５から、参照フレームを取得できる。取得した参照フレームは、可逆圧縮アルゴリズムを用いて、一時的エンコーダ６８７によって圧縮される。可逆圧縮フレームは、ＭＲＥＶＲＴＰ６９０を介して、一時的ストリームまたは帯域外のＩＰ接続で、要求側ＭＲＥ１３０に向けて送信される。帯域外接続が使用される一実施形態において、可逆圧縮参照フレームは、一時的エンコーダ６８７からＭＲＥＮＩ５２０へ直接転送される。可逆アルゴリズムは、ＺＩＰ、レンペル＿ジフ＿ウェルチ（ＬＺＷ）、可逆ＪＰＥＧ２０００等でありうる。
【０１４８】
図７は、ＭＲＥＡＭ５３０の一実施形態の関連要素を示す簡略ブロック図である。ＭＲＥＡＭ５３０は、以下の２つの部分を有する：（i）ＭＲＥＡＭ５３０が受信した一群の入力中継ＲＴＰ圧縮音声データチャンクを処理するＭＲＥＡＭ入力部と；（ii）例えば、ＭＲＥ１３０からＭＲＭ１２０へ向けて出力される音声データを処理する、ＭＲＥＡＭ出力部。ＭＲＥＡＭ入力部は、ＲＴＰ音声入力バッファ７１０と、音声ＲＴＰヘッダパーサおよびオーガナイザ７２０と、１つ以上のＭＲＥシーケンシャル音声メモリ（ＭＲＥＳＡＭ）７３０と、１つ以上のＭＲＥ音声デコーダ７４０と、音声ミキサ７５０等のモジュールを備える。ＭＲＥＡＭ出力部は、例えば、エンコーダ７６０と、ＭＲＥ音声ＲＴＰプロセッサ７７０とを備える。２つの受信ＭＲＥ１３０が異なる音声圧縮規格を使用する、ある実施形態の場合、出力部は、エンコーダ７６０およびＭＲＥ音声ＲＴＰプロセッサ７７０の２つ以上のセットを備え、各セットは、例えば、他のセットと異なる圧縮規格に基づいて圧縮された音声ストリームに関連付けられる。
【０１４９】
ＲＴＰ音声入力バッファ７１０は、ＭＲＥＮＩ５２０を介して、ＭＲＭ１２０から中継ＲＴＰ圧縮音声データチャンクの一群を取得する。音声ＲＴＰヘッダパーサおよびオーガナイザ７２０は、入力バッファ７１０にアクセスし、ＲＴＰヘッダを解析して、シーケンス番号、送信元ＩＤ、タイムスタンプ等のパラメータを特定する。各ＭＲＥＳＡＭ７３０は、例えば、セッションに参加しており、その音声が流れるように選択された、特定の送信元ＭＲＥ１３０と関連付けてもよい。ＲＴＰヘッダパーサおよびオーガナイザ７２０は、例えば、データチャンクＩＤに従って、中継ＲＴＰ圧縮音声データチャンクの適切なストリームをＭＲＥＳＡＭ７３０に転送する。これに代わる実施形態において、ＲＴＰヘッダパーサおよびオーガナイザ７２０は、例えば、送信元ＩＰアドレスおよびポートに従って、中継ＲＴＰ圧縮音声データチャンクの適切なストリームをＭＲＥＳＡＭ７３０に転送する。また、ＲＴＰヘッダパーサおよびオーガナイザ７２０は、各ＭＲＥＳＡＭ７３０内のＲＴＰ圧縮音声データチャンクを、データチャンクのシーケンス番号またはタイムスタンプに基づいて整理する。各ＭＲＥＳＡＭ７３０の出力は、ＭＲＥＳＡＭ７３０にアクセスしてＲＴＰ圧縮音声データチャンクをデコードするＭＲＥ音声デコーダ７４０に関連付けられる。デコーダが使用する圧縮規格は、Ｇ７１９、Ｇ．７２２１．Ｃ等であるが、これらに限定されない。音声ミキサ７５０は、全てのＭＲＥ音声デコーダ７４０からの出力を受信し、それらのミキシングを行い、ミキシングした音声をＭＲＥ１３０のスピーカに出力する。
【０１５０】
ＭＲＥＡＭ５３０の出力部は、ＭＲＥ１３０のマイクからの音声を受信する。エンコーダ７６０は、受信した入力音声を収集し、そのエネルギーを判定し、入力音声を圧縮音声データチャンクにエンコードする。圧縮は、Ｇ．７１９、Ｇ．７２２１．Ｃ等の圧縮規格に基づいて行われる。次に、圧縮された音声データチャンクは、ＭＲＥ音声ＲＴＰプロセッサ７７０に転送される。音声エネルギーの指示情報もまた、ＭＲＥ音声ＲＴＰプロセッサ７７０に転送され、ＭＲＥ音声ＲＴＰプロセッサ７７０は、ＲＴＰ音声データチャンクのヘッダに様々なパラメータを埋め込む。パラメータには、シーケンス番号、送信元ＩＤ、タイムスタンプ、音声エネルギーの指示情報等が含まれる。次に、ＭＲＥ音声ＲＴＰプロセッサ７７０は、リレー用ＲＴＰ圧縮音声データチャンクをＭＲＥＮＩ５２０に対して出力し、そこからＭＲＭ１２０に出力する。代替実施形態において、音声エネルギーの指示情報は、圧縮音声データチャンクのヘッダ内に保存される。さらに別の実施形態において、音声エネルギーは、ＭＲＥＣＭ５４０およびＭＲＥＮＩ５２０を介して、信号処理および制御接続によりＭＲＭ１２０に向けて転送される。
【０１５１】
図８Ａは、ＳＣＭ２４０の一実施形態が実施する、会議設定方法８００の関連プロセスを示すフローチャートである。方法８００は、ＭＲＭ制御モジュール会議のセットアップ処理により、動作８１０で開始される。動作８１５では、会議出席者（ＭＲＥ１３０）の数、ビットレート、音声および動画圧縮規格ならびにビデオのエンコード／デコードに使用される先の参照フレーム数、ＣＰレイアウト等の会議パラメータが収集される。続いて、方法８００は、動作８２０において、ＮＩ２２０のリソース、関連ＳＣＡＲＰ２３０、関連ＳＣＶＲＰ２５０、帯域幅等の様々な会議リソースを割り当てる。次いで、動作８３０と８４０との間のループが、会議に参加している各ＭＲＥ１３０に対して実行される。動作８３２では、ＭＲＥ１３０からの１つ以上の予想される出力画像サイズ（質）および関連ＩＤが定義される。一実施形態において、方法８００は、ＭＲＥ１３０からのＩＰアドレスおよび各ストリームのポートをＩＤとして使用する。動作８３６では、ＳＣＡＲＰ２３０およびＳＣＶＲＰ２５０等のＭＲＭ１２０の内部モジュールとＭＲＥ１３０とが関連付けられる。
【０１５２】
動作８３６において、ＭＲＥ１３０は、ＭＲＭ１２０のＳＣＡＲＰ２３０内にあるＭＲＥシーケンシャル音声メモリ３３０の１つと、ＲＴＰ圧縮音声ストリームビルダ３５０の１つと、ＭＲＭのＳＣＶＲＰ２５０内にあるＭＲＥシーケンシャルビデオメモリ４３０の１つと、ＲＴＰ圧縮ビデオストリームビルダ４５０の１つ等とリンクされる。次に、関連ＭＲＥ１３０と関連付けられた、リソースの様々な接続パラメータ（外部および内部）が、動作８３８で設定される。外部接続パラメータには、ＭＲＥ１３０のＩＤ、リモートＩＰアドレスおよびポートならびにローカルＩＤアドレスおよびポートが含まれる。内部接続パラメータには、ＳＣＡＲＴＰ２３０およびＳＣＶＲＰ２５０内のモジュールの内部接続等、ＭＲＭ１２０自身のモジュールの内部接続が含まれる。
【０１５３】
次に、動作８４０にて、さらに処理すべきＭＲＥ１３０の有無が判定される。処理すべきＭＲＥ１３０がある場合、方法８００は、動作８３０に戻り、次のＭＲＥ１３０のセットアップを管理する。処理すべきＭＲＥ１３０が無い場合、方法８００は動作８４５に進み、会議における各ＭＲＥ１３０の初期ＣＰレイアウトの定義を行う。方法８００は動作８５０に進み、会議内の各ＭＲＥ１３０に対して、別のループを開始する。動作８５１において、方法８００は、ＭＲＥが送信を要する１つ以上の画像サイズと、ＭＲＥ１３０が送信を要する１つ以上の圧縮音声ストリームと、ＭＲＥ１３０が各ストリームの音声およびビデオＲＴＰヘッダへの追加を要する１つ以上のＩＤ等を、関連ＭＲＥ１３０に読み込む。動作８５２にて、ＭＲＥ１３０に割り当てられたＣＰレイアウトのパラメータを算出し、ＭＲＥＶＭ５５０に読み込む。パラメータには、レイアウトのセグメント数と、各セグメントに関連付けられたＩＤまたはＩＰアドレスおよびポートと、提示（表示）されるＭＲＥ１３０と、現在の話者等が含まれる。他の実施形態において、各ＭＲＥ１３０は、自身のディスプレーユニットに表示される自身のレイアウトを定義し、それらのパラメータをＭＲＭ１２０に通知する。
【０１５４】
また、動作８５２において、ＭＲＥ１３０のＭＲＥＶＭ５５０は、セグメントフレームメモリ６５０およびＣＰフレームメモリ６７０のパラメータを定義するよう指示される。例えば、音声ＲＴＰヘッダパーサおよびオーガナイザモジュール７２０ならびに音声ミキサ７５０等、ＭＲＥＡＭ５３０の内部モジュールは、類似の方法で設定される。この動作によって、ＭＲＥ１３０の様々なモジュールを関連ストリームＩＤと接続するマップが作成される。
【０１５５】
続いて、方法８００は、ＳＣＡＲＰ２３０およびＳＣＶＲＰ２５０等、ＭＲＭ１２０の内部モジュールの関連パラメータを設定する。動作８５４において、ＳＣＶＲＰ２５０の内部モジュールの様々なパラメータおよび接続が設定される。パラメータおよび接続には、ＭＲＥシーケンシャルビデオメモリ４３０とＭＲＥ１３０のＩＤおよび／またはＩＰアドレスならびにポートとの関連付けと、そのＭＲＥ１３０のビデオを選択するための関連ＭＲＥビデオマルチプレクサ・シーケンサ４５２の設定とが含まれる。動作８５６において、ＳＣＡＲＰ２３０の内部モジュールの様々なパラメータおよび接続が設定される。パラメータおよび接続には、ＭＲＥシーケンシャル音声メモリとＭＲＥ１３０のＩＤおよび／またはＩＰアドレスならびにポートとの関連付けと、そのＭＲＥ１３０の音声を選択するための関連ＭＲＥマルチプレクサ・シーケンサ３５２の設定とが含まれる。
【０１５６】
動作８５８において、ＭＲＭ１２０は、関連ＭＲＥ１３０にイントラフレームを要求し、動作８６０に進む。動作８６０では、さらに設定が必要なＭＲＥ１３０の有無が決定される。設定が必要なＭＲＥ１３０がある場合、方法８００は動作８５０に戻る。設定が必要なＭＲＥ１３０が無い場合、方法８００は終了する。方法８００に類似した方法が、主要な話者が変更される度に、または新たな会議出席者あるいは退席者が発生した場合等に実行されうる。
【０１５７】
図８Ｂは、一実施形態に係るＭＲＭ１２０のＳＣＭ２４０が実施する、遷移タスク８０００の関連動作を示すフローチャートである。提示側ＭＲＥ１３０からのイントラフレームを要求側ＭＲＥ１３０が必要とする一方で、同じビデオ画像を通常のストリームで受信する他の受信ＭＲＥが、イントラフレームを必要としない場合、タスク８０００は動作８０１０にて開始される。このような事例は、要求側ＭＲＥ１３０が継続中のセッションに参加を希望する新規の参加者である場合、または要求側ＭＲＥ１３０が使用するレイアウトに変更が生じるが、他の受信ＭＲＥ１３０には生じない場合、または要求側ＭＲＥ１３０に転送されたストリームの１つ以上のパケットが紛失した場合等に、起こりうる。
【０１５８】
８０１０での開始後、ＳＣＭ２４０は、ブロック８２０にて、提示側ＭＲＥ１３０からの関連ストリームと（適切なサイズで）関連付けられた、先に使用した参照フレームを要求側ＭＲＥ１３０が有するか否かを確認する。この確認は、イントラ要求交換指示情報と関連する、要求側ＭＲＥ１３０からの信号伝達によって行われる。代替的に、ＳＣＭ２４０は、提示側ＭＲＥ１３０から各ＭＲＥ１３０に対して、通常のストリームで最近送信された、少数フレーム（例えば、最後からの１６フレーム）のシーケンス番号を保存する履歴表を管理する。要求のタイミングおよび履歴表に基づき、ＳＣＭ２４０は、動作８０２０において、要求側ＭＲＥ１３０のデコーダに先の参照フレームが存在するか否かを推測する。ＳＣＭ２４０が、要求側ＭＲＥ１３０のレイアウトを変更する場合、ＳＣＭ２４０は、先の参照フレームが新規のレイアウト等に合致するか否かを結論付ける。
【０１５９】
動作８０２０において、先に使用した参照フレームが要求側ＭＲＥ１３０のデコーダに存在する場合、ＳＣＭ２４０は、動作８０２６において、提示側ＭＲＥ１３０の関連ストリームのエンコーダに対して、既存の先の参照フレームに基づいて次のフレームをインターフレームとしてエンコードし、そのインターフレームを要求側ＭＲＥ１３０ならびに残りの受信ＭＲＥ１３０にも通常のストリームで送信するよう、指示する。さらに、エンコーダは、これ以外の先の参照フレーム全てをリセットするよう指示を受ける。並行して、ＳＣＭ２４０は、関連ストリームの履歴表をリセットする。そして、方法８０００が終了する。他の実施形態において、要求側ＭＲＥ１３０から受信したイントラ交換要求は、提示側ＭＲＥ１３０の関連ストリームのエンコーダに中継され、該エンコーダは、先に使用された参照フレームに基づいて次のフレームをインターフレームとしてエンコードすることによって、これに応じるよう構成される。
【０１６０】
動作８０２０において、先に使用した参照フレームが、要求側ＭＲＥ１３０のデコーダに存在しない場合、ＳＣＭ２４０は、動作８０２２において、一時的ストリーム用の通信チャンネルならびに追加リソースを、ＳＣＶＲＰ２５０および提示側ＭＲＥ１３０のＭＲＥＶＭ５５０の出力部に割り当てるとともに、一時的ストリームを処理するために、要求側ＭＲＥ１３０のＭＲＥＶＭ５５０の入力部を調整する。ＳＣＶＲＰ２５０に割り当てられたリソースは、追加のＭＲＥシーケンシャルビデオメモリ４３０と、追加のＲＴＰ圧縮ビデオストリームビルダ４５０とを備える。提示側ＭＲＥ１３０のＭＲＥＶＭ５５０に割り当てられたリソースは、一時的エンコーダ６８７を備える。
【０１６１】
リソースおよび帯域幅の割り当て後、提示側ＭＲＥ１３０は、動作８０２２において、定義されたシーケンスに従って、通常ストリームと並行して、同一サイズ（解像度）の一時的ストリームの生成を開始するよう指示される。一時的ストリームの定義されたシーケンスは、同一の解像度だが低品質のイントラから開始され、続けて少数の品質が向上したインターフレームが来て、通常ストリームおよび一時的ストリームの両ストリームで同様の質に達するまで継続する。シーケンスの終了時において、提示側ＭＲＥ１３０の各エンコーダは、前記ユニークなフレームをエンコードし、これを送信する。通常のストリームのエンコーダ６８５は、ＳＰフレームをエンコードし、これを他の受信ＭＲＥに向けて通常のストリームで送信する一方、一時的エンコーダ６８７は、ＳＳＰフレームをエンコードし、これを一時的ストリームで送信する。
【０１６２】
一時的ストリームの送信開始を提示側ＭＲＥ１３０に指示した後、タスク８０００は、動作８０２４において、提示側ＭＲＥ１３０からの前記ユニークなフレーム（ＳＰおよびＳＳＰ）を受信待機する。動作８０３０において前記ユニークなフレームを受信すると、ＳＰおよびＳＳＰフレームは、動作８０３２において、他の受信ＭＲＥ１３０および要求側ＭＲＥ１３０にそれぞれ中継される。次いで、一時的ストリームが終了され、ＭＲＭ１２０、提示側ＭＲＥ１３０および要求側ＭＲＥに割り当てられたリソースは、動作８０３２にて解放され、タスク８０００が終了する。
【０１６３】
図９Ａは、ＭＲＥＣＭ５４０の一実施形態が実施する、ＭＲＥ会議セットアップ方法９００の関連動作を示すフローチャートである。方法９００は、動作９１０にて開始される。動作９１２において、ＭＲＭ１２０との接続が確立され、ＭＲＥＣＭ５４０は、セットアップ指示を受信する。セットアップ指示は、このＭＲＥ１３０から送信されるメディアストリームに関連付けられることになる１つ以上のＩＤと、ＭＲＥ１３０が伝送しなければならない画像のサイズと、ＭＲＥ１３０上で音声を流し、提示（表示）される会議出席者数と、レイアウト情報とを含む。次いで、方法９００は、動作９１４において、適宜リソースを割り当て、このリソースには、ＭＲＥＮＩ５２０、ＭＲＥＶＭ５５０、ＭＲＥＡＭ５３０、帯域幅等におけるリソースが含まれる。
【０１６４】
次に、方法９００は動作９２０に進み、ここで、ＭＲＥＶＭ５５０の様々な内部モジュールが設定される。これらの設定には、動作９１２で受信したＩＤに基いて、ビデオＲＴＰヘッダパーサおよびオーガナイザ６２０に指示することと、どのＣＶＳＭ６３０にどの中継圧縮ビデオＲＴＰデータチャンクを保存するかを確立することと、セッションのレイアウトに従って、各セグメントＦＭ６５０およびＭＲＥＣＰＦＭモジュール６７０のパラメータを設定することと、セグメントＦＭ６５０からどのようにＣＰを構築するかをＣＰビルダ６６０に指示することと、背景ＦＭ６５５を更新することと、正確なサイズを送信するために計数装置およびＦＭ６８０を設定することと、ＲＴＰヘッダにＩＤを追加するようＭＲＥＶＲＴＰ６９０に指示すること等が含まれる。動作９２０において、ＣＰビルダ６６０は、ＣＰＧ画像の構築方法を指示される。この指示によって、ＣＰフレームの各列の第１および最終ＭＢのＭＢＡ（マクロブロックアドレス）と、ＣＰ画像の各セグメントの第１ＭＢＡおよび前記セグメントの最終ＭＢＡ等とが定義付けられる。
【０１６５】
ＭＲＥＣＭ５４０およびＭＲＥＶＭ５５０が、表示されるＣＰ画像に情報を追加するよう適用される、ＭＲＥ１３０のある実施形態において、動作９２０は、この情報を伝達するよう適用される。この情報は、現在の話者、各セグメント内に現在表示されている会議出席者の氏名等を示す。このような実施形態において、ＣＰビルダ６６０は、この情報をビデオデータに変換し、エンドポイントにて表示されるＣＰ画像にこれを追加するよう適用される。
【０１６６】
次に、動作９２２において、ＭＲＥＡＭ５３０の様々な内部モジュールが設定される。設定には、圧縮規格に従って音声エンコーダ７６０を設定することと、ＲＴＰヘッダにＩＤおよび音声エネルギーの指示情報を追加するようＭＲＥ音声ＲＴＰに指示することと、どのＭＲＥＳＡＭ７３０にどのＩＤを保存すべきかを音声ＲＴＰパーサ７２０に指示することと、ＭＲＥ音声デコーダ７４０を設定すること等が含まれる。動作９２２の後、この方法は終了し、関連ＭＲＥ１３０は、イントラフレームを送信する準備ができている。方法９００に類似した方法は、主要な話者が変更される度に、または新たな会議出席者あるいは退席者が発生した場合等に実行されうる。
【０１６７】
図９Ｂは、ＭＲＥ１３０のＭＲＥＣＭ５４０が実施する、遷移タスク９０００の関連動作を示すフローチャートである。図示の方法９０００は、提示側ＭＲＥ１３０が処理する動作および要求側ＭＲＥ１３０が処理する動作を含む。提示側ＭＲＥ１３０からのイントラフレームを要求側ＭＲＥ１３０が必要とする一方で、同一品質／サイズのビデオ画像を通常ストリームで受信する他の受信ＭＲＥ１３０がイントラフレームを必要としない場合に、タスク９０００は動作９０１０にて開始される。このような事例は、要求側ＭＲＥが継続中の会議に参加を希望する新規の参加者である場合、要求側ＭＲＥ１３０がレイアウトの変更を必要とする一方で、他の受信ＭＲＥ１３０がこれを必要としない場合、または要求側ＭＲＥ１３０が、ある品質／サイズのストリームから別の品質／サイズのストリームへの切替えを希望する場合等に生じる。さらに、要求側ＭＲＥに伝送されたストリーム内の１つ以上のパケットが紛失した場合に、要求側ＭＲＥ１３０はイントラフレームを必要とするが他の受信ＭＲＥ１３０は必要としない。
【０１６８】
タスク９０００の開始９０１０は、ＭＲＥ１３０から受信した圧縮ストリームのデコードを割り当てられた、要求側ＭＲＥのデコーダ６４０（図６）によって行われる。提示側ＭＲＥ１３０からの先の複数のインターフレームを受信およびデコードした後、デコーダがイントラフレームを必要とする場合に、タスク９０００が開始される。このようなイントラフレームの要求は、例えば、パケットロス等に起因する。代替的に、提示側ＭＲＥ１３０から送信された、あるストリーム、つまり通常のストリームのイントラフレームを、要求側ＭＲＥ１３０に送信する必要があると判断された場合に、ＭＲＭ１２０のＳＣＭ２４０によってタスクが開始されてもよい。
【０１６９】
エンコーダ／デコーダが複数の先の参照フレームを保存し、イントラ要求の代わりにイントラ交換要求を使用するように構成された実施形態において、方法９０００が実施される。イントラ交換要求は、先の参照フレームに基づくインターフレームの要求である。この要求は、要求側ＭＲＥ１３０から、保存された先の参照フレームの１つを示す提示側ＭＲＥ１３０へ送信される。このような実施形態において、タスク９０００は、動作９０１０にて、要求側ＭＲＥのデコーダ６４０によって開始され、デコーダ６４０は、９０１２において、デコーダが所有するどの先の参照フレームが、提示側ＭＲＥ１３０から次に受信するエンコードされたフレームをデコードするために使われ得るかを決定する。この決定は、参照フレームのタイムスタンプに基づいて行われる。次いで、動作９１１０にて、イントラ交換要求は、選択された先の参照フレームのシーケンス番号またはタイムスタンプと共に、要求側ＭＲＥ１３０のデコーダから、ＭＲＥＣＭ５４０を介して、ＭＲＭ１２０のＳＣＭ２４０に送信される。
【０１７０】
次いで、ＭＲＭ１２０のＳＣＭ２４０は、動作９１１０において、先の参照フレームのシーケンス番号またはタイムスタンプと共に、イントラ交換要求を提示側ＭＲＥ１３０のＭＲＥＣＭ５４０に転送する。動作９１１０において、ＳＣＭ２４０から提示側ＭＲＥ１３０のＭＲＥＣＭ５４０でイントラ交換要求を取得するとすぐに、イントラ交換要求は、動作９１３０において、要求側ＭＲＥ１３０に送信される関連ストリーム（質／サイズ）に割り当てられた、提示側ＭＲＥ１３０のビデオエンコーダ６８５に転送される。動作９１３０において、ビデオエンコーダ６８５は、先の参照フレームに基づいて、関連する計数装置６８０を介してカメラから受信した次の調整済みフレームをインターフレームとして圧縮し、それを次のインターフレームとして、要求側ＭＲＥ１３０を含む全ての受信ＭＲＥ１３０に通常のストリームで送信するよう指示される。さらに、エンコーダ６８５は、他の先の参照フレーム全てを解放するよう指示され、方法９０００が終了する。ＭＲＭ１２０のＳＣＭ２４０が、提示側ＭＲＥ１３０から受信したリレー用フレームのシーケンス番号を変更する一方で、それらを中継フレームとして受信ＭＲＥ１３０に送信する実施形態において、ＳＣＭ２４０は、要求側ＭＲＥから受信するシーケンス番号を、すでに提示側ＭＲＥ１３０からＭＲＭ１２０へと送信された適切なシーケンス番号に変換する。
【０１７１】
動作９０１２において、先の参照フレームが使用できないと判断されると、タスク９０００は、引き続いて動作９２１０に移り、ＭＲＭ１２０のＳＣＭ２４０と通信する。ＳＣＭ２４０との通信において、提示側ＭＲＥ１３０のＭＲＥＣＭ５４０は通常のストリームと並行して一時的ストリーム用に新規の接続を開くよう指示され、ＩＤが一時ストリームに割り当てられ、一時的ストリームのエンコードされた画像のサイズ（解像度）は通常のストリームと同一であると定義され、一時的ストリームの品質向上フレームの数が定義される等のことが実施される。
【０１７２】
一時的ストリームが、提示側表示ＭＲＥ１３０から送信された新規ストリームである場合、図９Ａおよび８Ａに関する記載で上述したように、要求側ＭＲＥ１３０のＭＲＥＣＭ５４０は、ブロック９２１０において、新規の中継ストリームの１つ以上のＩＤと、ビデオ画像のサイズ（解像度）、ＣＰレイアウト内における関連セグメントの位置等、このストリームに関するビデオパラメータとを、ＳＣＭ２４０から取得する。一時的ストリームが、提示側ＭＲＥ１３０から送信された新規ストリームではない場合、要求側ＭＲＥ１３０のＭＲＥＣＭ５４０は、提示側ＭＲＥ１３０から受信するストリームの次のフレームが一時的ストリームに属することを通知されるのみである。
【０１７３】
動作９２１０において、ＳＣＭ２４０、提示側ＭＲＥ１３０のＭＲＥＣＭ５４０および要求側ＭＲＥ１３０から遷移時期に関する関連情報を取得した後、方法９０００は、動作９２３０において、必要なリソースの割り当てを開始し、両ＭＲＥ１３０にて遷移期間の処理を行う。リソースは、ＭＲＥＮＩ５２０の通信および帯域幅に関するリソース、ＭＲＥＮＩ５２０とＭＲＥＶＭ５５０との間の内部通信リソースおよびＭＲＥＮＩ５２０とＭＲＭ１２０内のＮＩ２２０との間の外部通信リソースである。さらなる割当リソースとして、ＭＲＥＶＭ５５０のビデオリソース等が考えられる。
【０１７４】
動作９２４０において、割り当てられたリソースは、一時的ストリームを処理するために整理される。提示側ＭＲＥ１３０のＭＲＥＶＭ５５０において、一時的エンコーダ６８７の入力は、通常ストリームのエンコーダと関連付けられる。一実施形態において、この関連付けは、例えば、関連する計数装置６８０から同一スケールのビデオ画像を入手することと、通常のインターフレームならびにＳＰおよびＳＳＰフレーム用の量子化パラメータの適切なセットを入手することを目的とする。他の実施形態において、この関連付けは、通常ストリームのエンコーダの参照フレームを入手することと、一時的エンコーダ６８７によってエンコードされる入力ビデオ画像として、それを使用することを目的とする。さらに、提示側ＭＲＥ１３０の一時的エンコーダ６８７の出力は、適切なＩＤ番号ならびにタイムスタンプとの関連付けを目的として、ＭＲＥＶＲＴＰ６９０と関連付けられる。
【０１７５】
ＳＰフレームが通常ストリームで使用され、ＳＳＰフレームが一時的ストリームで使用される一実施形態において、要求側ＭＲＥ１３０のビデオデコーダ６４０は、低品質の圧縮イントラフレームを受信し、次いで少数の品質向上インターフレームと、さらにＳＳＰフレームを受信することになる。この順序は、圧縮規格に適合している。ＳＳＰフレームに続くフレームは、通常ストリームからのインターフレームである。
【０１７６】
さらに、一時的ストリームが、ＭＲＭ１２０を介して提示側ＭＲＥ１３０から送信される新規ストリームである場合、要求側ＭＲＥ１３０のＭＲＥＣＭ５４０は、動作９２４０において、新規ストリームを処理するように整理され、ＲＴＰビデオ入力バッファ６１０およびビデオＲＴＰパーサ６２０は、新規ストリームのＩＤを通知されたうえＣＶＳＭ６３０に関連付けられる。ＭＲＥビデオエンコーダ６４０は、そのＣＶＳＭ等に関連付けられる。
【０１７７】
通常エンコーダの参照フレームが（可逆圧縮で）圧縮され、一時的ストリームで伝送されるさらに別の実施形態では、上述した幾つかの実施形態の関連動作に加えて、要求側ＭＲＥ１３０のＭＲＥビデオデコーダ６４０は、動作９２４０において、通常圧縮から、参照フレームの圧縮に使用される特有の圧縮（可逆圧縮）への圧縮規格の変更時期、またはその逆の変更時期の通知を受ける。
【０１７８】
動作９２４０において、提示側ＭＲＥ１３０および要求側ＭＲＥ１３０のＭＲＥＶＭ５５０を整理した後、遷移期間は、提示側ＭＲＥ１３０および要求側ＭＲＥ１３０のＭＲＥＶＭ５５０ならびにＭＲＭ１２０のＳＣＶＲＰ２５０によって、自律的にさらに実行される。よって、方法９０００は終了する。
【０１７９】
図１０Ａおよび１０Ｂは、ＭＲＥ１（提示側ＭＲＥ１３０）で生成され、ＭＲＭ１２０を介してＭＲＥ２および３（それぞれ受信および要求側ＭＲＥ１３０）へ転送された、ビデオストリームのユニークなフレームを使用する、一実施形態における遷移期間を示すタイムチャートである。図１０Ａおよび１０Ｂは、例示を目的でとするものであり、縮尺通りに描かれてはいない。
【０１８０】
図１０Ａは２つのセクションを有し、上部のセクションでは通常ストリームを例示し、下部のセクションでは提示側ＭＲＥ１３０、すなわちＭＲＥ１に関する一時的ストリームを例示する。この２つのセクションは、５つの列と両セクションで共用される時間軸とで示される。一列目には、計数装置およびＦＭ６８０で調整された後にＭＲＥ１のビデオカメラから受信した、調整済のカメラビデオ画像（ＣＦ１からＣＦｎ＋１）のストリームを示す。二列目には、ＭＲＥ１の通常エンコーダの出力部における、エンコード済ビデオフレーム（ＩＦ１からＥＦｎ＋１）のストリームを示す。このエンコード済フレームのストリームは、ＭＲＣセッションを管理するＭＲＭ１２０に対して、通常ストリームとして伝送される。三列目には、カメラから受信した調整済の関連ビデオフレームをエンコードした結果、ＭＲＥ１のエンコーダに保存される、参照フレーム（ＲＦｍ-１からＲＦｎ）のストリームを示す。三列目は、上部セクションの最後の列である。
【０１８１】
図１０Ａの下部セクションは、一時的ストリームを例示し、ＭＲＥ１の一時的エンコーダの出力部におけるエンコード済のビデオフレーム（ＴｌｍからＴｍ＋２およびＳＳＴｎ）のストリームを示す４列目から開始される。このエンコード済フレームのストリームは、一時的ストリームとしてＭＲＭ１２０に向けて伝送される。最後の列は、ＭＲＥ１の一時的エンコーダ６８７に保存される、参照フレーム（ＲＴｍからＲＴｍ＋２およびＲＴＦｎ）のストリームを示す。
【０１８２】
本例示において、一時的ストリームは、３列目と４列目の間の矢印で示すように、通常エンコーダ６８５の参照フレームをエンコードすることによって作成される。第１フレーム（ＴＩｍ）は、イントラフレームとして、同一のサイズ（解像度）であるが低品質でエンコードされる。次の２つのフレームは、品質向上インターフレームである。各フレームでは、その質が改善され、通常ストリームのエンコーダに保存される参照フレームと、一時的エンコーダ６８７に保存される関連参照フレームとの差異が低減する。他の実施形態において、品質向上インターフレームの数は２つではなく、例えば、１から１５フレームの間の任意の数であってよい。一時的ストリームの最終フレームであるＳＳＴｎは、参照フレームＲＴＦｎが通常エンコーダの参照フレームＲＦｎと同一の値を有する方法で圧縮される或るユニークなフレームであり、参照フレームＲＴＦｎを参照フレームＲＦｎと同期化する。一実施形態において、一時的エンコーダの入力部におけるＲＦｎと、一時的エンコーダ６８７に保存された参照フレームＲＴｍ＋２との差異は、ＳＳＴｎフレームを作成するために可逆圧縮方式で圧縮される。従って、ＲＴＦｎの各ピクセルの値は、ＲＦｎの対応するピクセルの値と同一である。
【０１８３】
ＭＲＥ１からの通常ストリームは、調整後にＭＲＥ１のカメラからビデオフレームＣＦ１を受信した時点で、Ｔ１にて開始される。通常ストリームのエンコーダは、それをイントラフレーム、ＩＦ１として圧縮する。次の調整済カメラフレームは、インターフレームとしてエンコードされる。圧縮規格は、Ｈ．２６４ＡＶＣ、Ｈ．２６４ａｎｎｅｘＧ、ＭＰＥＧ-４等でありうる。
【０１８４】
Ｔ２において、ＭＲＥ３は、通常ストリームの受信ＭＲＥへの参加を要求する。従って、Ｔ２では、ＭＲＥ１からのイントラフレームを要求するＭＲＥ３から、イントラ要求が送信される。通常ストリームの受信ＭＲＥ１３０全てにイントラフレームを送信することでこの要求に応じる代わりに、ＭＲＥ１、つまり提示側ＭＲＥ１３０は、図１０Ａの下部セクションに図示した一時的ストリームを開始する。
【０１８５】
イントラ要求に従うカメラからの第１フレーム、すなわちＣＦｍは、先のフレームＲＦｍ-１を圧縮する間に生成された参照フレームに基づいて圧縮される。図１０Ａの実施形態において、ＣＦｍを通常ストリーム上のインターフレームＥＦｍとして圧縮することにより作成された参照フレームＲＦｍは、一時的ストリームのイントラフレームＴＩｍとして圧縮される。イントラフレームＴＩｍは、第１フレームとして、一時的ストリームでＭＲＥ３に向けて送信される。一時的ストリームの圧縮は、通常ストリームのエンコーダで使用される同一の圧縮規格を使用して行われるが、イントラフレームの質は、通常ストリームの質よりも低い。ビットレート、鮮明度等に関して質が異なりうる。
【０１８６】
通常ストリームのエンコーダの次の幾つかの参照フレーム、ＲＦｍ＋１、ＲＦｍ＋２は、一時的フレームによって品質向上インターフレームとしてエンコードされ、次に続くインターフレームＴｍ＋１およびＴｍ＋２を作成する。品質向上イントラフレームの数は、例えば、１から１５の間の任意の数であってよい。品質向上フレームの数は、一時的ストリームを確立する間に定義される。
【０１８７】
Ｔ３において、２つのストリームの質が類似していると推定されると、次に続く調整済カメラフレームＣＦｎは、インターフレームＥＦｎとして圧縮される。ＣＦｎを圧縮する間に作成された参照フレームＲＦｎは、一時的エンコーダ６８７によって可逆圧縮方式にて圧縮され、前記ユニークなフレームＳＳＴｎを生成する。可逆圧縮は、例えば、ＲＦｎと、一時的ストリームの参照フレームＲＴｍ＋２との値の差異に対して実行される。これは、ビデオ会議の場合、２つの連続するフレーム間の差異が通常のビデオ画像と比較して小さいという事実を活用している。可逆圧縮方式の例として、ＺＩＰ、レンペル＿ジフ＿ウェルチ（ＬＺＷ）、可逆ＪＰＥＧ２０００等が挙げられる。従って、一時的エンコーダ６８７で生成された参照フレーム６８７、つまりＲＴＦｎは、ＲＦｎと同一の値を有し、参照フレームＲＴＦｎと参照フレームＲＦｎを同期化する。さらに、ＭＲＥ３のデコーダで前記ユニークなフレームをデコードすることによって、ＲＦｎおよびＲＴＦｎと同一の値を有する参照フレームが生成される。その結果、図１０Ｂに示すように、この時点で一時的ストリームが終了し、通常ストリームは、ＭＲＭ１２０によって要求側ＭＲＥ３に切替えられる。
【０１８８】
要求側ＭＲＥ３では、可逆エンコードの逆演算として、エンコードされた差異のデコードが行われる。その結果は、ＲＴｍ＋２に類似する先のデコーダ参照フレームの値に加算される。デコードされた差異を加算した結果は、参照フレームＲＴＦｎとしてＭＲＥ３のデコーダ内に保存され、ＭＲＥ３で表示される。Ｔ４において、一時的ストリームが終了する。
【０１８９】
図１０ＢにおいてＭＲＭ１２０の他の側面を捉えると、Ｔ１にて、提示側ＭＲＥ１の通常ストリームの第１フレーム、つまりイントラフレームＩＦ１が、複数のインターフレームよりも先にＭＲＥ２に向けて送信される。通常ストリームは、ＭＲＥ２と並行して、複数の受信ＭＲＥ１３０（図示せず）に中継される。Ｔ２において、ＭＲＥ３は通常ストリームを受信するよう問い合わせ、イントラフレームを要求する。ＭＲＭ１２０は、これに応じ、要求側ＭＲＥ３に向けて、一時的ストリームのフレーム送信を開始する。第１フレームはイントラフレームＴＩｍであり、少数の品質向上インターフレームＴｍ＋１およびＴｍ＋２がこれに続く。次に、Ｔ３において、一時的ストリームの最終フレームとして、前記ユニークなフレームＳＳＴｎが送信される。Ｔ４では、インターフレームＦｎ＋１、Ｆｎ＋２および通常ストリームからの追従フレームも、ＭＲＥ３に向けて送信される。
【０１９０】
図１１Ａおよび１１Ｂは、ひとつのストリームから他方のストリームへ移動するためにＳＰおよびＳＳＰフレームを使用する、別の実施形態における遷移期間を図示するタイムチャートである。２つのストリームは、同一のサイズ（解像度）を有する同一のビデオカメラから生成される。ビデオストリームは、ＭＲＥ１、すなわち提示側ＭＲＥ１３０によって生成され、ＭＲＭ１２０を介して、ＭＲＥ２および３（それぞれ受信および要求側ＭＲＥ１３０）に伝送される。図１１Ａおよび１１Ｂは、例示を目的でとするものであり、縮尺通りに描かれてはいない。
【０１９１】
図１０Ａと同様に、図１１Ａも２つのセクションを有する。上部のセクションは通常ストリームを例示し、下部のセクションはＭＲＥ１からの一時的ストリームを例示する。２つのセクションは、５つの列と両セクションで共用される時間軸とで図示される。一列目には、計数装置およびＦＭ６８０で調整後にＭＲＥ１のビデオカメラから受信した、調整済のカメラビデオ画像（ＣＦ１からＣＦｎ＋１）のストリームを示す。二列目には、ＭＲＥ１の通常エンコーダの出力部における、エンコード済ビデオフレーム（ＩＦ１からＦｎ＋１、ＳＰｎを含む）のストリームを示す。このエンコード済フレームのストリームは、通常ストリームとして、ＭＲＣセッションを管理するＭＲＭ１２０に伝送される。三列目には、カメラから受信した、調整済の関連ビデオ画像をエンコードした結果、ＭＲＥ１の通常エンコーダ６８５に保存される、参照フレーム（ＲＦｍ-１からＲＦｍ＋２およびＲＳＰｎ）のストリームを示す。三列目は、上部セクションの最終列である。
【０１９２】
図１１Ａの下部セクションは、ＭＲＥ１の一時的エンコーダ６８７の出力部におけるエンコード済ビデオフレーム（ＴＩｍからＴｍ＋２およびＳＳＰｎ）のストリームを示す、４列目から開始される一時的ストリームを示す。このエンコード済フレームのストリームは、一時的ストリームとしてＭＲＭ１２０に向けて伝送される。最後の列には、ＭＲＥ１の一時的エンコーダ６８７に保存される、参照フレーム（ＲＴｍからＲＴｍ＋２およびＲＳＳＰｎ）のストリームを示す。
【０１９３】
本例示において、一時的ストリームは、圧縮フレームＴＩｍからＳＳＰｎの最上部に矢印で示したように、通常エンコーダ６８５と関連付けられた計数装置およびＦＭ６８０の出力部において、同一の調整済ビデオフレームをエンコードすることによって作成される。従って、２つのエンコーダ、通常エンコーダ６８５および一時的エンコーダ６８７は、同じ入力フレームをエンコードする。第１フレーム（ＴＩｍ）は、同一のサイズ（解像度）だが低品質でイントラフレームとしてエンコードされる。次の２つのフレームは、品質向上インターフレームである。各フレームは、その質を改善し、一時的エンコーダ６８７の入力部における調整済フレームと、一時的エンコーダ６８７に保存された関連参照フレームとの差異を低減する。他の実施形態において、品質向上インターフレームの数は、２つ以外であってもよく、例えば、１から１５の任意の数でありうる。一時的ストリームの最終フレームは、通常のＳＳＰフレームとして圧縮されてＳＳＰｎフレームとして生成される、調整済のカメラフレームＣＦｎである。調整済の同一カメラフレームＣＦｎは、通常のエンコーダ６８５によって、通常のＳＰフレームとして調整される。ＳＰおよびＳＳＰをエンコードした結果、通常ストリームの参照フレームＲＳＰｎおよび一時的ストリームの参照フレームＲＳＳＰｎは、同一の値を有し、参照フレームＲＳＰｎと参照フレームＲＳＳＰｎは同期化される。通常ストリームおよび一時的ストリームのデコーダの参照フレームが同一の値を有するので、一時的ストリームが終了し、ＭＲＭ１２０は、通常ストリームの追従フレームを要求側ＭＲＥ３に中継する。
【０１９４】
ＭＲＥ１からの通常ストリームは、調整後にＭＲＥ１のカメラからの調整済ビデオフレームＣＦ１を受信した時点で、Ｔ１にて開始される。通常ストリームのエンコーダ６８５は、これをイントラフレームＩＦ１として圧縮する。次に続く調整済カメラフレームは、インターフレームとしてエンコードされる。圧縮規格は、ＳＰおよびＳＳＰフレームを処理可能である、Ｈ．２６４ＡＶＣ、Ｈ．２６４付録Ｇ等の何れの規格でもよい。
【０１９５】
Ｔ２において、ＭＲＥ３は、通常ストリームの受信ＭＲＥ１３０への参加を問い合わせる。従って、Ｔ２では、ＭＲＥ１からのイントラフレームを要求するイントラ要求がＭＲＥ３から送信される。一実施形態において、通常ストリームの受信ＭＲＥ１３０全てにイントラフレームを送信することでこの要求に応じる代わりに、ＭＲＥ１、すなわち提示側ＭＲＥ１３０が図１１Ａの下部セクションに図示するように、一時的ストリームを開始する。
【０１９６】
イントラ要求に追従する、調整後のカメラからの第１フレームＣＦｍは、先のフレームＲＦｍ-１を圧縮している間に生成された参照フレームに基づいて圧縮される。図１１Ａの実施形態において、調整済の同一カメラフレームＣＦｍは、一時的ストリームのイントラフレームＴＩｍとして圧縮される。イントラフレームＴＩｍは、第１フレームとして、一時的ストリームでＭＲＥ３に向けて送信される。一時的ストリームの圧縮は、通常ストリームのエンコーダ６８５で使用されるものと同一の圧縮規格を使用して行われるが、イントラフレームの質は、通常ストリームの質より低くてもよい。ビットレート、鮮明度等に関して質が異なりうる。
【０１９７】
追従する少数の調整済カメラフレームＣＦｍ＋１、ＣＦｍ＋２は、一時的エンコーダ６８７によって品質向上インターフレームとしてエンコードされ、次に続くインターフレームＴｍ＋１およびＴｍ＋２を作成する。品質向上インターフレームは、例えば、１から１５の間の任意の数でありうる。
【０１９８】
Ｔ３において、２つのストリームの質が類似していると推定されると、続く調整済カメラフレームＣＦｎは、通常エンコーダによって、通常のＳＰフレームＳＰｎとして圧縮され、通常のストリームで送信される。同じ調整済カメラフレームＣＦｎは、一時的エンコーダ６８７によって、通常のＳＳＰフレームＳＳＰｎとして圧縮され、最終フレームとして一時的ストリームで送信される。従って、一時的エンコーダで生成される参照フレームＲＳＳＰｎは、通常エンコーダの参照フレームＲＳＰｎと同一の値を有する。さらに、ＭＲＥ２のデコーダでＳＰｎフレームをデコードすることにより、ＲＳＰｎと同一の値を有する参照フレームが生成される。ＭＲＥ３のデコーダでＳＳＰｎをデコードすることにより、ＲＳＳＰｎと同一の値を有する参照フレームが生成される。ＲＳＳＰｎおよびＲＳＰｎが同一の値を有するので、エンコーダ／デコーダは同一の参照フレームを備える。その結果、この時点において、一時的ストリームはＴ４にて終了し、図１１Ｂに図示するように、通常ストリームもまた、ＭＲＭ１２０によって要求側ＭＲＥ３に切替えられる。
【０１９９】
図１１Ｂにおいて、ＭＲＭ１２０の出力側を見ると、Ｔ１において、提示側ＭＲＥ１の通常ストリームの第１フレーム、つまりイントラフレームＩＦ１は、ＭＲＥ２に向けて送信され、その後に複数のインターフレームが続く。通常ストリームは、ＭＲＥ２と並行して、複数の受信ＭＲＥ１３０（図示せず）に中継される。Ｔ２において、ＭＲＥ３は、通常ストリームを受信するよう問い合わせ、イントラフレームを要求する。これに応じて、ＭＲＭ１２０は、要求側ＭＲＥ３に向けた一時的ストリームのフレーム中継を開始する。第１フレームはイントラフレームＴＩｍであり、少数の品質向上インターフレームＴｍ＋１およびＴｍ＋２がこれに続く。続いて、Ｔ３において、前記ユニークなフレームＳＳＰｎが一時的ストリームの最終フレームとして送信される。Ｔ４では、インターフレームＦｎ＋１、Ｆｎ＋２および通常フレームからの追従フレームもまた、ＭＲＥ３に向けて中継される。
【０２００】
以上の説明は、例示に過ぎず、それに限定するものではない。例えば、上述した実施形態は、各々と組み合わせて使用してもよい。当業者であれば、以上の説明を再検討することで、多数の他の実施形態が明らかであろう。従って、本発明の範囲は、添付の特許請求の範囲、およびそれが権利化されるところの等効物の全範囲を参照して決定されるべきである。添付の特許請求の範囲において、用語「?を含む」および「?において」はそれぞれ、用語「?を備える」および「?において」の平易な英語の同意語として使用される。

【特許請求の範囲】
【請求項１】
第１メディアリレーエンドポイントからの第１圧縮ビデオストリームを、第２メディアリレーエンドポイントに向けて転送されるように送信するステップと、
第２圧縮ビデオストリームを、第３メディアリレーエンドポイントに向けて転送されるように、前記第１メディアリレーエンドポイントによって作成するステップと
を備え、前記作成するステップは、
前記第１メディアリレーエンドポイントの第１エンコーダにおける第１参照フレームを、前記第１メディアリレーエンドポイントの第２エンコーダにおける第２参照フレームと同期化するステップと、
前記第１参照フレームによって前記第１エンコーダでエンコードされた第１圧縮ビデオフレームを前記第１圧縮ビデオストリームで送信するステップと、
前記第２参照フレームによって前記第２エンコーダでエンコードされた第２圧縮ビデオフレームを前記第２圧縮ビデオストリームで送信するステップ
からなる、方法。
【請求項２】
前記第３メディアリレーエンドポイントに向けて送信されるイントラフレームの要求を受信するステップをさらに備え、
前記第２圧縮ビデオストリームを、第３メディアリレーエンドポイントに向けて転送されるように、前記第１メディアリレーエンドポイントによって作成する前記ステップは、イントラフレームの要求に応じて実行される、請求項１に記載の方法。
【請求項３】
前記第１メディアリレーエンドポイントの第１エンコーダにおける第１参照フレームを、前記第１メディアリレーエンドポイントの第２エンコーダにおける第２参照フレームと同期化する前記ステップは、
前記第１ビデオストリームにおけるビデオフレームの第１シーケンスを前記第１エンコーダでエンコードすることによって、前記第１エンコーダにおいて参照フレームの第１シーケンスを作成するステップと、
前記第２ビデオストリームにおけるビデオフレームの第２シーケンスを前記第２エンコーダでエンコードすることによって、前記第２エンコーダにおいて参照フレームの第２シーケンスを作成することであって、前記ビデオフレームの第２シーケンスは、前記参照フレームの第１シーケンスに基づいてエンコードされるステップと、を含み、
前記参照フレームの第２シーケンスは、前記参照フレームの第１シーケンスと引き続きさらに同期化され、
前記参照フレームの第２シーケンスの最終参照フレームは、前記参照フレームの第１シーケンスの最終参照フレームと同期化される、請求項１に記載の方法。
【請求項４】
前記ビデオフレームの第２シーケンスは、
前記第１ビデオストリームのビデオフレームよりも低品質のイントラフレームと、
品質が向上する連続的なインターフレームとを含む、請求項３に記載の方法。
【請求項５】
前記ビデオフレームの第２シーケンスの最終ビデオフレームは、或るユニークな圧縮フレームである、請求項３に記載の方法。
【請求項６】
前記参照フレームの第１シーケンスの現在のフレームと、前記参照フレームの第２シーケンスの直前の参照フレームとの差異は、可逆的に圧縮されて、前記ビデオストリームの第２シーケンスの最終フレームを作成する、請求項３に記載の方法。
【請求項７】
前記差異は、ＺＩＰを使用して可逆圧縮される、請求項６に記載の方法。
【請求項８】
前記ビデオフレームの第１シーケンスは、インターフレームのシーケンスである、請求項３に記載の方法。
【請求項９】
前記第１圧縮ビデオストリームおよび前記第２圧縮ビデオストリームは、Ｈ．２６４に適合している、請求項１に記載の方法。
【請求項１０】
前記第２ビデオストリームを終了するステップと、
前記第２メディアリレーエンドポイントおよび前記第３メディアリレーエンドポイントに向けて転送されるように、前記第１ビデオストリームを送信するステップと、
をさらに備える、請求項１に記載の方法。
【請求項１１】
前記第１ビデオストリームは、複数のメディアリレーエンドポイントに向けて中継するために送信される、請求項１に記載の方法。
【請求項１２】
前記第１メディアリレーエンドポイントの第１エンコーダにおける第１参照フレームを、前記第１メディアリレーエンドポイントの第２エンコーダにおける第２参照フレームと同期化する前記ステップは、
前記第１圧縮ビデオストリームをエンコードする一方で、前記第１エンコーダにおいて、参照フレームの第１シーケンスを作成することと、
前記第２圧縮ビデオストリームをエンコードする一方で、前記第２エンコーダにおいて、参照フレームの第２シーケンスを作成することと、を含み、
前記第１圧縮ビデオストリームおよび前記第２圧縮ビデオストリームは、調整されたビデオ画像の同一シーケンスからエンコードされる、請求項１に記載の方法。
【請求項１３】
前記第２圧縮ビデオストリームは、
前記第１圧縮ビデオストリームのビデオフレームよりも低品質のイントラフレームと、
品質が向上しているインターフレームのシーケンスと、を備える請求項１２に記載の方法。
【請求項１４】
前記第１圧縮ビデオストリームは、インターフレームのストリームを備える、請求項１３に記載の方法。
【請求項１５】
前記調整されたビデオ画像の同一シーケンスにおける現在のビデオフレームは、前記第１エンコーダによって切替予測（ＳＰ）フレームとしてエンコードされ、また前記第２エンコーダによって二次切替予測（ＳＳＰ）フレームとしてエンコードされる、請求項１２に記載の方法。
【請求項１６】
前記ＳＳＰフレームを送信後に前記第２圧縮ビデオストリームを終了するステップをさらに備え、前記第２圧縮ビデオストリームはＳＳＰフレームである、請求項１５に記載の方法。
【請求項１７】
第１メディアリレーエンドポイントと複数のメディアリレーエンドポイントとの間の多地点ビデオ会議中に、前記第１メディアリレーエンドポイントにおいて、常駐表示式レイアウトを提供するメディアリレーマルチポイント制御ユニットであって、前記常駐表示式レイアウトは複数のセグメントを備え、各セグメントは前記複数のメディアリレーエンドポイントのうち選択されたメディアリレーエンドポイントからのビデオを表示するようになっており、前記メディアリレーマルチポイント制御ユニットは、
前記複数のメディアリレーエンドポイントからリレー用圧縮ビデオデータチャンクを受信し、中継圧縮ビデオデータチャンクを前記第１メディアリレーエンドポイントに送信する、ネットワークインターフェースと、
前記複数のメディアリレーエンドポイントから２つ以上のメディアリレーエンドポイントを選択する信号処理および制御モジュールと、
圧縮ビデオプロセッサであって、
前記受信したリレー用圧縮ビデオデータチャンクを解析し、
前記選択された２つ以上のメディアリレーエンドポイントからの前記解析したリレー用圧縮ビデオデータチャンクを、中継圧縮ビデオデータチャンクの２つ以上のストリームのグループに整理し、
前記中継圧縮ビデオデータチャンクの２つ以上のストリームのグループを、前記ネットワークインターフェースを介して、前記第１メディアリレーエンドポイントに向けて送信する、前記圧縮ビデオプロセッサと
を備え、
前記圧縮ビデオプロセッサは、前記選択された２つ以上のメディアリレーエンドポイントのうち或る提示側メディアリレーエンドポイントからのイントラフレームを或る要求側メディアエンドポイントが要求している旨の指示を、前記信号処理および制御モジュールから受信することに応答して、
リレー用圧縮ビデオデータチャンクの通常ストリームの取得と並行して、リレー用圧縮ビデオデータチャンクの一時的ストリームを取得し、その際両ストリームともに前記提示側メディアリレーエンドポイントから取得し、
前記一時的ストリームの前記取得したリレー用圧縮ビデオデータチャンクを解析し、
前記解析したリレー用圧縮ビデオデータチャンクを、中継圧縮ビデオデータチャンクの一時的ストリームに整理し、
前記中継圧縮ビデオデータチャンクの一時的ストリームを、前記ネットワークインターフェースを介して、前記要求側メディアリレーエンドポイントに向けて転送する、
ことを特徴とするメディアリレーマルチポイント制御ユニット。
【請求項１８】
前記圧縮ビデオプロセッサは、前記提示側メディアリレーエンドポイントから取得した通常の中継圧縮ビデオデータチャンクを、前記要求側メディアリレーエンドポイントに向けて中継することによって前記一時的ストリームが終了する旨の指示を、前記信号処理および制御モジュールから受信するとそれに応答するように、さらに構成される、請求項１７に記載のメディアリレーマルチポイント制御ユニット。
【請求項１９】
第１エンコーダと一時的エンコーダとを備えたビデオプロセッサを備えるメディアリレーエンドポイントであって、
前記ビデオプロセッサが、
前記第１エンコーダによって圧縮された第１ビデオストリームを、第２メディアリレーエンドポイントに中継するために送信し、
第３メディアリレーエンドポイントがイントラフレームを必要としている旨の指示を受信した場合に、前記一時的エンコーダによって圧縮された一時的ビデオストリームを、前記第３メディアリレーエンドポイントに向けて中継するために送信し、
前記第１エンコーダの第１参照フレームと前記一時的エンコーダの第２参照フレームを同期化し、
前記一時的ビデオストリームを終了する
よう構成されていることを特徴とするメディアリレーエンドポイント。
【請求項２０】
前記指示は、前記第３メディアリレーエンドポイントから受信したイントラ要求である、請求項１９に記載のメディアリレーエンドポイント。
【請求項２１】
前記ビデオプロセッサは、前記第１エンコーダによって切替予測（ＳＰ）フレームを作成し、前記一時的エンコーダによって二次切替予測（ＳＳＰ）フレームを作成することによって同期化を行う、請求項１９に記載のメディアリレーエンドポイント。
【請求項２２】
メディアリレーエンドポイント（ＭＲＥ）用ビデオプロセッサを備えたメディアリレーエンドポイントであって、
前記ＭＲＥ用ビデオプロセッサは、
選択された複数のＭＲＥのグループから発せられる中継圧縮ビデオデータチャンクのストリームのグループを受信し、
前記受信した中継圧縮ビデオデータチャンクを複数のグループに整理し、該複数のグループの各々は、前記選択された複数のＭＲＥのグループ内の１つのＭＲＥに対応しており、
整理および受信した中継圧縮ビデオデータチャンクの前記各グループをデコードし、
前記デコード済の前記整理および受信した中継圧縮ビデオデータチャンクから、常駐表示式レイアウトを構築するものであり、かつ、
前記ＭＲＥ用ビデオプロセッサは、
第１ＭＲＥから送信された中継圧縮ビデオデータチャンクの一時的ストリームを取得し、
前記レイアウトにおいて、前記一時的ストリームからのビデオを整理、デコードおよび構築し、
前記第１ＭＲＥから受信した通常ビデオストリームをデコードするために割り当てられたデコーダにおいて、参照フレームを同期化し、
前記レイアウトにおいて、前記通常ストリームからのビデオを整理、デコードおよび構築するよう構成されている、
ことを特徴とするメディアリレーエンドポイント。

【図１】