多人数参加型テレビ会議における映像処理
【課題】多人数参加型テレビ会議システムでの、画像伝送処理のための計算資源及び帯域幅の削減を図る。
【解決手段】システムは、２人以上の参加者からビデオ画像を受信する中央配信装置を有する。中央配信装置は、中央配信装置が参加者に送り返す合成画像を受信した画像から生成する。各合成画像はサブ画像のセットを含み、各サブ画像は１人の参加者に属する。いくつかの実施形態において、中央配信装置は、中央配信装置が特定の各参加者に送出する合成画像からその特定の参加者の画像を除去することによりネットワーク帯域幅を節約する。また、いくつかの実施形態において、各参加者から受信した画像は、非インターリーブ方式で配置されて合成画像になる。例えばいくつかの実施形態において、合成画像は各参加者に対して最大１つのサブ画像を含み、２つのサブ画像がインターリーブされない。一実施形態では、長期参照フレームを用いて、符号化を行っている。
【解決手段】システムは、２人以上の参加者からビデオ画像を受信する中央配信装置を有する。中央配信装置は、中央配信装置が参加者に送り返す合成画像を受信した画像から生成する。各合成画像はサブ画像のセットを含み、各サブ画像は１人の参加者に属する。いくつかの実施形態において、中央配信装置は、中央配信装置が特定の各参加者に送出する合成画像からその特定の参加者の画像を除去することによりネットワーク帯域幅を節約する。また、いくつかの実施形態において、各参加者から受信した画像は、非インターリーブ方式で配置されて合成画像になる。例えばいくつかの実施形態において、合成画像は各参加者に対して最大１つのサブ画像を含み、２つのサブ画像がインターリーブされない。一実施形態では、長期参照フレームを用いて、符号化を行っている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多人数参加型テレビ会議における映像処理に関する。
【背景技術】
【０００２】
汎用コンピュータの普及に伴い、パーソナルコンピュータ又はビジネスコンピュータを介してテレビ会議を行なうことに対する要求が大きくなってきた。しかし、そのような会議を確立するには、参加者間のデータ転送方法において大きな課題がある。従来の解決策では大量のデータの交換を必要とし、それにより多くの計算資源及び多くの帯域幅が消費される。
【０００３】
それら資源及び帯域幅に制限があるため、家及びオフィスで使用するために容易に入手可能である汎用コンピュータは、テレビ会議を効果的及び安価に実行できなかった。従って、従来技術において、テレビ会議の参加者間でデータを送信する効率的な方法を使用するテレビ会議アーキテクチャが必要とされる。そのような方法により、テレビ会議は一般に利用可能なネットワーク接続を介して行なわれる。
【発明の概要】
【課題を解決するための手段】
【０００４】
いくつかの実施形態は、多人数参加型テレビ会議を確立するアーキテクチャを提供する。このアーキテクチャは、２人以上の参加者からビデオ画像を受信する中央配信装置を有する。中央配信装置は、中央配信装置が参加者に送り返す合成画像を受信した画像から生成する。各合成画像はサブ画像のセットを含み、各サブ画像は１人の参加者に属する。いくつかの実施形態において、中央配信装置は、中央配信装置が特定の各参加者に送出する合成画像からその特定の参加者の画像を除去することによりネットワーク帯域幅を節約する。いくつかの実施形態において、各参加者から受信した画像は、非インターリーブ方式で配置されて合成画像となる。例えばいくつかの実施形態において、合成画像は各参加者に対して最大１つのサブ画像を含み、２つのサブ画像がインターリーブされない。
【０００５】
中央配信装置及び参加者のコンピュータは、種々の形態をとることができる。換言すると、それらコンピュータは、スタンドアロンデスクトップ、ラップトップ及び／又はハンドヘルドコンピュータ、あるいは民生電子機器又は通信装置、ホームメディアセンタ、ハブ等の任意の種類の装置に組み込まれてもよい。
【図面の簡単な説明】
【０００６】
添付の請求の範囲において、本発明の新しい特徴を示す。しかし、説明の目的でいくつかの実施形態を以下の図において示す。
【図１】図１は、本発明のいくつかの実施形態のテレビ会議アーキテクチャの一例を示す図である。
【図２】図２は、いくつかの実施形態が多人数参加型テレビ会議において映像コンテンツを交換する方法を示す図である。
【図３】図３は、いくつかの実施形態が多人数参加型テレビ会議において映像コンテンツを交換する方法を示す図である。
【図４】図４は、１人の参加者のディスプレイ上における参加者の画像の好適な配置を示す図である。
【図５】図５は、本発明のいくつかの実施形態のテレビ会議アプリケーションのソフトウェアコンポーネントを示す図である。
【図６】図６は、本発明のいくつかの実施形態の焦点位置モジュールを示す図である。
【図７】図７は、いくつかの実施形態の焦点位置モジュールが生成する合成映像データ及び映像ストリームを示す図である。
【図８】図８は、いくつかの実施形態の焦点位置映像処理を示すフローチャートである。
【図９】図９は、本発明のいくつかの実施形態における差分比較器を有する焦点位置モジュールを示す図である。
【図１０】図１０は、異なる時間に焦点位置符号器に到着する新しいフレームの例を示す図である。
【図１１】図１１は、非テレビ会議アプリケーションにおいて冗長フレームを回避するアプリケーションを示す図である。
【図１２】図１２は、いくつかの実施形態の非焦点位置モジュールを示す図である。
【図１３】図１３は、いくつかの実施形態の非焦点位置モジュールの復号化動作を示すフローチャートである。
【図１４】図１４は、いくつかの実施形態における差分比較器を有する非焦点位置モジュールを示す図である。
【図１５】図１５は、いくつかの実施形態における参加者のサブフレームの焦点位置の２×２の位置付けを示す図である。
【図１６】図１６は、いくつかの実施形態において、焦点位置がいくつかの符号器を使用して、各参加者が受信する合成画像からその参加者自身の画像を削除する方法を示す図である。
【図１７】図１７は、いくつかの実施形態において、合成ビデオ画像を符号化するために符号器が利用するステップを示すフローチャートである。
【図１８】図１８は、動きベクトルに対して許可される探索ウィンドウの一例を示す図である。
【図１９】図１９は、本発明のいくつかの実施形態において、許可されない動きベクトル探索ウィンドウの一例を示す図である。
【図２０】図２０は、現在のサブフレームに適合するようにトリミングされる動きベクトルに対する探索ウィンドウの一例を示す図である。
【図２１】図２１は、現在のサブフレームに適合するように移動される動きベクトルに対する探索ウィンドウの一例を示す図である。
【図２２】図２２は、いくつかの実施形態において、動きベクトル探索ウィンドウが現在のサブフレームに適合するように調整される方法を示すフローチャートである。
【図２３】図２３は、サブフレームの一部分における整数画素及び小数画素位置の一例を示す図である。
【図２４】図２４は、いくつかの実施形態において、符号器が動きベクトルの対象となる位置を制約する方法を示すフローチャートである。
【図２５】図２５は、いくつかの実施形態において、動きベクトル境界バッファ領域を示す図である。
【図２６】図２６は、いくつかの実施形態において、符号器がマクロブロック内予想に与える制限を示す図である。
【図２７】図２７は、いくつかの実施形態において、非ブロック化フィルタが使用する画素のグループに対して与えられる制限を示す図である。
【図２８】図２８は、いくつかの実施形態が非ブロック化フィルタを同一サブフレームの画素に制限する方法を示すフローチャートである。
【図２９】図２９は、いくつかの実施形態において、合成フレームのサブフレームの異なる処理を示す図である。
【図３０】図３０は、いくつかの実施形態において、合成フレームのサブフレームの異なる処理を示す図である。
【図３１】図３１は、いくつかの実施形態において、同一フレーム内のサブフレームの異なる処理を示す図である。
【図３２】図３２は、帯域幅を節約するために、いくつかの実施形態における長期参照フレームの用途を示す図である。
【図３３】図３３は、本発明の一実施形態を実現するのに使用されるコンピュータシステムを示す図である。
【発明を実施するための形態】
【０００７】
以下において、説明の目的で多くの詳細を示す。しかし、本発明は、それら特定の詳細を使用せずに実現されてもよいことが当業者には理解されるだろう。他の例において、不必要な詳細により本発明の説明を曖昧にしないように、周知の構成及び装置がブロック図の形態で示される。
【０００８】
いくつかの実施形態は、多人数参加型テレビ会議を確立するアーキテクチャを提供する。このアーキテクチャは、２人以上の参加者からビデオ画像を受信する中央配信装置を有する。中央配信装置は、中央配信装置が参加者に送り返す合成画像を受信した画像から生成する。各合成画像はサブ画像のセットを含み、各サブ画像は１人の参加者に属する。いくつかの実施形態において、中央配信装置は、中央配信装置が特定の各参加者に送出する合成画像からその特定の参加者の画像を除去することによりネットワーク帯域幅を節約する。いくつかの実施形態において、各参加者から受信した画像は、非インターリーブ方式で配置されて合成画像となる。例えばいくつかの実施形態において、合成画像は各参加者に対して最大１つのサブ画像を含み、２つのサブ画像がインターリーブされない。
【０００９】
本発明のいくつかの詳細な実施形態を以下に説明する。それら実施形態において、中央配信装置はテレビ会議の１人の参加者のコンピュータであり、中央配信装置との間で送信される画像は映像フレームである。他の実施形態が異なる方法で実現されることは、当業者には理解されるだろう。例えば、いくつかの実施形態における中央配信装置は、テレビ会議の任意の参加者のコンピュータではない。また、いくつかの実施形態において、中央配信装置との間で送信される画像は映像フレームではない（例えば画像は、フレームを含むフィールドであってもよく、あるいは他のビデオ画像表現であってもよい）。
【００１０】
Ｉ．概要
図１は、本発明のいくつかの実施形態のテレビ会議アーキテクチャ１００の一例を示す。このアーキテクチャは、複数の参加者がテレビ会議に参加することを可能にする。図１に示す例において、４人の参加者Ａ、Ｂ、Ｃ及びＤは、各々の４つのコンピュータ１０５〜１２０及びそれらコンピュータを接続するネットワーク（不図示）を介してテレビ会議に参加する。それらコンピュータを接続するネットワークは、ローカルエリアネットワーク、ワイドエリアネットワーク、複数のネットワークのうちの１つのネットワーク（例えば、インターネット）等の任意のネットワークである。
【００１１】
テレビ会議中、１人の参加者（この例においては参加者Ｄ）のコンピュータ１０５は、図１に示すように音声／映像コンテンツの中央配信装置としての役割を果たす。この中央配信装置１２５は、以下において多人数参加型会議の焦点位置と呼ばれる。他の参加者のコンピュータは、以下において非焦点マシン又は非焦点コンピュータと呼ばれる。
【００１２】
以下の説明は、焦点及び非焦点コンピュータの映像動作に焦点を当てる。コンピュータの音声動作は、米国特許出願第１１／１１８，５５５号「Audio Processing in aMulti-Participant Conference」Attorney DocketNo. APLE.P0087において更に説明される。更に、米国特許出願第１１／１１８，９３１号「Multi-ParticipantConferenceSetup」Attorney Docket No. APLE.P0084は、いくつかの実施形態が図１に示すような焦点位置アーキテクチャを介して多人数参加型テレビ会議をセットアップする方法を説明する。これら双方の特許出願を引用することによってその内容をここに合体する。
【００１３】
音声／映像コンテンツの中央配信装置として、焦点位置１２５は、各参加者からビデオ画像を受信し、それら画像を合成及び符号化し、合成画像を各非焦点マシンに送信する。図２は、図１の４人の参加者の例に対する画像の交換の一例を示す。特に図２は、各参加者から１つの映像フレーム２１５〜２２５を受信する焦点位置１２５を示す。焦点位置１２５は、各受信フレーム及び焦点位置参加者Ｄのフレーム２３５を含む合成フレーム２３０を受信画像２１５〜２２５から生成する。焦点位置１２５は、合成フレーム２３０を各非焦点マシン１１０、１１５及び１２０に送信する。
【００１４】
図２に示す例において、特定の各非焦点参加者に送信される合成フレーム２３０は、その特定の非焦点参加者の映像フレームを含む。しかし、いくつかの実施形態において、焦点位置は、焦点位置が特定の非焦点参加者に送信する合成画像からその特定の非焦点参加者の画像を除去する。帯域幅を節約するために、焦点位置１２５は各参加者自身の画像を対応する合成画像から除去する。
【００１５】
図３は、図２に示す例に対するその除去の一例を示す。特に図３は、（１）参加者Ａに対して、参加者Ａ自身の画像２１５を有さない合成画像３３０と、（２）参加者Ｂに対して、参加者Ｂ自身の画像２２０を有さない合成画像３３５と、（３）参加者Ｃに対して、参加者Ｃ自身の画像２２５を有さない合成画像３４０とを示す。
【００１６】
図３は、いくつかの実施形態が、非焦点参加者自身の画像の代わりに、合成画像３３０の非焦点参加者の画像の位置に空フィールドフラグ３４５を挿入することを示す。このフラグは、非焦点参加者自身の画像に対応するサブ画像が無いことを示す。このインディケータ３４５のサイズが非焦点参加者の画像のサイズより非常に小さいため、特定の非焦点参加者の合成画像からその参加者の画像を除去することにより、合成画像が使用する帯域幅の量は減少する。いくつかの実施形態は、空フィールドフラグ３４５を使用せず、特定の非焦点参加者に送出される合成画像からその特定の非焦点参加者の画像を単純に除去する。例えばいくつかの実施形態において、各画像の各符号化マクロブロックがその位置を表す識別子を有するため、非焦点位置モジュールの復号器は、どのように残りの符号化サブ画像でビデオ画像を構成するかを決定する。
【００１７】
各非焦点マシンが符号化合成画像を受信すると、非焦点マシンは、合成画像を復号化し、合成画像の各サブ画像を抽出し、復号化され且つ抽出された画像をディスプレイ上に表示する。図４は、テレビ会議に４人の参加者が存在する場合の表示の一例を示す。図４に示すように、３人の他の参加者の画像４０５〜４１５は、参加者のコンピュータディスプレイ４００に水平方向に表示される。ローカル参加者自身の画像４２０は、他の参加者の画像４０５〜４１５に対して小さなサイズで表示され、ディスプレイ４００の下部に位置付けられる。
【００１８】
いくつかの実施形態は、焦点及び非焦点位置動作を実行できるテレビ会議アプリケーションにより実現される。図５は、そのような１つのアプリケーションに対するソフトウェアアーキテクチャを示す。特に図５は、焦点位置モジュール５１０及び非焦点位置モジュール５１５の２つのモジュールを有するテレビ会議アプリケーション５０５を示す。それらモジュール５１０及び５１５、並びにテレビ会議アプリケーション５０５は、テレビ会議の参加者のコンピュータのオペレーティングシステム５２０上で動作する。
【００１９】
多人数参加型テレビ会議中、テレビ会議アプリケーション５０５は、会議の焦点位置としての役割を果たす場合には焦点位置モジュール５１０を使用し、焦点位置としての役割を果たさない場合には非焦点位置モジュールを使用する。テレビ会議アプリケーション５０５が多人数参加型テレビ会議の焦点位置である場合、焦点位置モジュール５１０は焦点位置映像処理動作を実行する。一方、アプリケーション５０５が会議の焦点位置でない場合、非焦点位置モジュール５１５は非焦点位置映像処理動作を実行する。いくつかの実施形態において、焦点位置モジュール５１０及び非焦点位置モジュール５１５はある特定のリソースを共有する。
【００２０】
本明細書の節ＩＩにおいて焦点位置モジュール５１０を説明し、節ＩＩＩにおいて非焦点位置モジュール５１５を説明する。
【００２１】
ＩＩ．焦点位置モジュール
図６は、本発明のいくつかの実施形態の焦点位置モジュール５１０を示す。この例において、３人の非焦点参加者及び１人の焦点参加者の４人の参加者を含むテレビ会議の間の焦点位置モジュール５１０を示す。特に図６は、３つの復号器６２０〜６３０、３つの中間バッファ６３５〜６４５、３つのリサイザ６４７〜６４９、ローカル画像取り込みモジュール６５１、フレームレートコントローラ６５２、合成画像バッファ６５５、符号器６６０、冗長性除去器６６５、パースペクティブ調整器６７５及びローカル画像コントローラ６８５を利用する、焦点位置モジュール５１０を示す。
【００２２】
復号器６２０〜６３０、中間バッファ６３５〜６４５及びリサイザ６４７〜６４９は、３つの映像復号化パイプラインから合成画像バッファ６５５の３つのセクション６５７〜６５９を形成する。それら３つの映像復号化パイプラインにより、焦点位置モジュール５１０は、テレビ会議中に最大３人の参加者からの映像信号を復号化及び合成できる。
【００２３】
特に、各復号器６２０、６２５又は６３０は、テレビ会議中に１つの非焦点コンピュータからの映像信号を復号化する役割を果たす。図１に示す例に対して、図６は、参加者Ａのコンピュータから映像信号を受信する復号器６２０、参加者Ｂのコンピュータから映像信号を受信する復号器６２５及び参加者Ｃのコンピュータから映像信号を受信する復号器６３０を示す。受信フレームの復号化後、各復号器６２０、６２５又は６３０は、中間バッファ６３５、６４０又は６４５に復号化フレームを格納する。いくつかの実施形態において、各中間バッファは焦点位置コンピュータのメモリ中の場所である。
【００２４】
各リサイザ６４７、６４８又は６４９は、特定のフレームサンプリングレートで（１）対応する中間バッファに格納されるフレームを検索し、（２）必要に応じてそのフレームをサイズ変更し、（３）合成画像バッファ６５５の対応するセクションにフレームを格納する。例えばリサイザ６４８は、中間バッファ６４０から参加者Ｂの復号化フレームを検索し、必要に応じて検索したフレームをサイズ変更し、そのフレームを合成バッファセクション６５８に格納する。
【００２５】
フレームレートコントローラ６５２は、リサイザ６４７〜６４９が中間バッファ６３５〜６４５からフレームを検索する際のフレームサンプリングレートを規定する。フレームレートコントローラ６５２は、システム帯域幅、焦点位置コンピュータの計算資源、テレビ会議の参加者数等を含む種々の因子に基づいてそのレートを判定する。コントローラ６５２がリサイザ６４７〜６４９に与えるフレームサンプリングレートで、フレームレートコントローラ６５２は、ローカル画像取り込みモジュール６５１に対してフレームを合成画像バッファ６５５のセクション６５６に格納するように指示する。それら格納されたフレームは、テレビ会議中に焦点位置コンピュータを使用しているテレビ会議参加者の画像である。それら画像は、焦点位置コンピュータにおいてカメラ６５０及び画像取り込みモジュール６５１により取り込まれる。いくつかの実施形態において、テレビ会議の状態の変化に従って、フレームレートコントローラ６５２はテレビ会議中に特定のフレームレートを変更する。
【００２６】
上述のように、リサイザ６４７〜６４９は、コントローラ６５２から受信するフレームレートに基づいてバッファ６３５〜６４５からフレームを検索する。その検索したフレームを供給した非焦点コンピュータがそのフレームに対する合成バッファセクションのサイズと異なるサイズでそのフレームを供給した場合、リサイザは、検索したフレームを合成画像バッファに格納する前にそのフレームをサイズ変更する。例えば、符号化中に帯域幅又は計算資源を節約するために、非焦点コンピュータはより小さいフレームを符号化及び送信してもよい（すなわち、粗粒度でフレームを符号化し、各フレームに対してより少ない符号化コンテンツを含むパケットを送信する）。
【００２７】
更に上述のように、リサイザ６４７〜６４９は、合成画像バッファ６５５の対応するセクション６５７〜６５９に潜在的にサイズ変更されたフレームを格納する。いくつかの実施形態において、合成画像バッファ６５５は、焦点位置コンピュータのメモリ中の場所であり、そのバッファの各セクション６５６〜６５９は、メモリのその場所における連続した論理セクションである。
【００２８】
符号器６６０は、コントローラ６５２が規定するサンプリングレートで、合成画像バッファに格納される合成フレームを符号化する。符号器は、合成画像バッファ６５５の他のセクションに格納されるサブフレームに関係なく、各セクション６５６、６５７、６５８又は６５９に格納されるサブフレームを符号化する。
【００２９】
これを示すために、図７は合成フレームの符号化を要約する図を提示する。特に図７は、合成画像バッファ６５５の４つのセクション６５６〜６５９を示す。その符号化のために、セクション６５６〜６５９のサブフレームは画素のセットに分割される。例えばいくつかの実施形態において、各サブフレームはマクロブロックのセットに分割され、それらは他のフレームのマクロブロックを参照せずにイントラエンコード（intra-encode）されるか又は別のフレームのマクロブロックを参照してインターエンコード（inter-encode）される。図７は、セクション６５６のサブフレームをいくつかのマクロブロック７０５〜７１０に分割すること、セクション６５７のサブフレームをいくつかのマクロブロック７１５〜７２０に分割すること、セクション６５８のサブフレームをいくつかのマクロブロック７２５〜７３０に分割すること及びセクション６５９のサブフレームをいくつかのマクロブロック７３５〜７４０に分割することを示す。
【００３０】
上述のように、各サブフレームの符号化が他のサブフレームに依存しないように（すなわち、１つのセクションの符号化が各セクションの境界を越えて映像データを使用しないように）、符号器６６０は各セクション６５６、６５７、６５８又は６５９の各サブフレームの符号化を分離する。例えば、セクション６５７の参加者Ａのサブフレームのマクロブロックの符号化は、セクション６５８の参加者Ｂのサブフレームのマクロブロックの符号化に依存しない。この符号化を以下に更に説明する。
【００３１】
合成フレームの符号化後、符号器６６０は、別個のセクションの各参加者の符号化映像データを含む（すなわち、別個の非インターリーブセクションの種々の参加者の符号化映像データを含む）符号化映像ストリームを冗長性除去器に供給する。例えば図７は、合成フレームのイントラエンコード又はインターエンコードされたマクロブロックの各々に対する符号化データを含む符号化映像ストリーム７５０を示す。図７に示すように、この合成ストリーム７５０において、各サブフレームに対する符号化データは他のサブフレームの符号化データとインターリーブされない。
【００３２】
符号化ストリームの非インターリーブ構成により、冗長性除去器は、特定の非焦点参加者に送信される映像ストリームからその特定の非焦点参加者の映像データを迅速に除去できる。例えば図７は、（１）参加者Ａに対して、参加者Ａの符号化映像データを空フィールドフラグ７６０と置換した映像ストリーム７５５と、（２）参加者Ｂに対して、参加者Ｂの符号化映像データを空フィールドフラグ７７０と置換した映像ストリーム７６５と、（３）参加者Ｃに対して、参加者Ｃの符号化映像データを空フィールドフラグ７８０と置換した映像ストリーム７７５とを示す。上述のように、いくつかの実施形態は、そのような空フィールドフラグを採用せず、非焦点モジュール復号器に依存して空のサブフレームを自動的に識別する。
【００３３】
冗長性除去器が各参加者の映像ストリームからその参加者の冗長画像データを除去すると、冗長性除去器は参加者の映像ストリームをその参加者に送信する。従って、図６は３人の非焦点参加者Ａ、Ｂ及びＣに３つの映像ストリームを送出する冗長性除去器６６５を示す。
【００３４】
図６は、焦点位置モジュール５１０のパースペクティブ調整器６７５が合成画像バッファ６５５の焦点位置サブ画像６５６から焦点位置参加者の画像を検索することを更に示す。パースペクティブ調整器６７５は、中間バッファ６３５、６４０及び６４５から非焦点参加者のサブ画像を検索する。調整器６７５は、図４に示す透視図に対して合成画像の各非焦点参加者のサブフレームを調整する。調整器６７５は、調整した合成フレームをローカル画像コントローラに供給し、ローカル画像コントローラは、焦点位置コンピュータの表示装置６９５に表示するために最終的な合成画像を描画する。
【００３５】
テレビ会議中、焦点位置モジュール５１０の各構成要素は、上述の動作を反復的に実行する。図８は、いくつかの実施形態において、焦点位置モジュール５１０のそれら反復動作を概念的に示す処理８００を提示する。いくつかの実施形態において、焦点位置モジュール５１０は、ｎ人の参加者を含むテレビ会議に対して処理８００を実行する。ここで、ｎは３以上の任意の数字である。
【００３６】
図８に示すように、焦点位置処理８００は、まずテレビ会議に関する１つ以上のパラメータを定義する（８０５）。８０５において、種々の実施形態が種々のパラメータを定義する。そのようなパラメータの例には、各非焦点コンピュータの符号器により使用される符号化の種類、各非焦点コンピュータにより送信されるフレームのサイズ、焦点位置コンピュータにより使用される符号化の種類、合成画像バッファのサイズ等が含まれる。上述の本願に取り込まれた米国特許出願「Multi-Participant ConferenceSetup」は、それらパラメータが、いかにして設定され且つ場合によってはテレビ会議中にいかにして再設定されるかを説明する。
【００３７】
次に、焦点位置モジュールは、各非焦点コンピュータからフレームを受信する（８１０）。焦点位置モジュール５１０の復号器（例えば、復号器６２０、６２５又は６３０）は、受信フレームを復号化し（８１５）、復号化フレームを中間画像バッファ（例えば、バッファ６３５、６４０又は６４５）に格納する。特定の非焦点コンピュータからのフレームを復号化するために、復号器は、特定の非焦点コンピュータが使用する符号化に適切な復号化アルゴリズムを使用する。これら符号化及び／又は復号化アルゴリズムは、処理８００の初期化動作８０５の間に特定される。いくつかの実施形態において、上述の取り込まれた特許出願において説明したように、テレビ会議の状態の変化に従って、それらアルゴリズムはテレビ会議中に再度特定されてもよい。
【００３８】
８１５において、焦点位置モジュール５１０は、リサイザが中間バッファをサンプリングする（すなわち、３人の非焦点参加者の場合には、中間バッファ、即ちバッファ６３５〜６４５から復号化フレームを検索する）時点であるかを判定する（８１７）。上述のように、サンプリングレートはフレームレートコントローラ６５２により設定される。
【００３９】
リサイザが中間バッファをサンプリングする時点ではないと処理８００が判定した場合（８１７）、８１８に移る。８１８において、新しいフレームが非焦点参加者から受信されたかを判定する。受信されたと判定した場合、８１５に移り、受信フレームを復号化し且つ適切な中間画像バッファに復号化フレームを格納する。一方、フレームを受信していないと判定した場合（８１８）、８１７に戻り、リサイザが中間バッファをサンプリングする時点であるかを判定する。
【００４０】
リサイザが中間バッファをサンプリングする時点であると判定した場合（８１７）、リサイザ（例えば、リサイザ６４７〜６４９）は、中間バッファ（例えば、バッファ６３５〜６４５）から復号化フレームを検索し（８２０）、必要に応じてそれら検索したフレームをサイズ変更し、それらフレームを合成画像バッファ６５５に格納する。
【００４１】
次の８２５において、ローカル画像取り込みモジュール６５１は、カメラ６５０が取り込む焦点位置コンピュータを使用している参加者のフレームを合成バッファセクション６５６に格納する。８３０において、合成画像バッファからの焦点位置サブ画像６５６、並びに中間バッファ６３５、６４０及び６４５からの非焦点参加者のサブ画像は、パースペクティブ調整器６７５に供給され、調整器６７５は、図４に示す透視図に対して合成画像の各非焦点参加者のサブフレームを調整する。調整器６７５は、調整した合成フレームをローカル画像コントローラに供給し、ローカル画像コントローラは、焦点位置コンピュータの表示装置６９５に表示するために最終的な合成画像を描画する。
【００４２】
合成フレームは、符号器６６０に供給され（８３５）、符号器６６０は他のサブフレームに関係なく合成画像の各サブフレームを符号化する。冗長性除去器６６５は、符号器により生成される符号化映像ストリームから非焦点参加者の映像コンテンツを除去することにより、各非焦点参加者に対する映像ストリームを生成する（８４０）。冗長性除去器は、各参加者の映像ストリームを参加者に送信する（８４５）。８４５において、焦点位置処理８００は、多人数参加型テレビ会議が終了したかを判定する（８５０）。終了したと判定した場合、処理８００は終了する。終了していないと判定した場合、８１０に戻り、別のフレームを受信する。
【００４３】
上述のように、図８は、いくつかの実施形態における焦点位置の復号化及び符号化動作を示す概念図である。いくつかの実施形態において、焦点位置モジュールは、マルチスレッド処理方式で１つ以上の復号化及び符号化動作を同時に独立して実行する。
【００４４】
更にいくつかの実施形態において、焦点位置モジュールは他のソフトウェアモジュールを含む。例えば図９は、焦点位置モジュールの別の実現例を示す。この実現例は、焦点位置モジュール９００が（１）更新タイムトラッカを有するフレームレートコントローラ９０５、（２）差分比較器９１０及び（３）タイムスタンプフィールドを有する中間バッファ９１５〜９２５を有すること以外は、図６に示す実現例と同様である。
【００４５】
フレームレートコントローラ及び中間バッファの追加の特徴により、焦点位置モジュールは、非焦点位置コンピュータからの同一フレームを２回以上符号化することを回避できる。特に復号器６２０〜６３０の１つが中間バッファ９１５〜９２５の１つに新しいフレームを書き込む場合、その復号器は中間バッファのタイムスタンプフィールドに時間を記録する。
【００４６】
フレームレートコントローラ９０５は、特定のフレームレートで各中間バッファのタイムスタンプフィールドをチェックする。バッファのコンテンツが対応するリサイザに供給された先の時間より中間バッファのタイムスタンプの方が遅いことをフレームレートコントローラが検出した場合、フレームレートコントローラは、バッファの対応するリサイザに対してバッファのコンテンツを検索するように指示する。あるいは、バッファが対応するリサイザにより読み出された最後の時間とバッファのタイムスタンプとの間に差がないことをフレームレートコントローラが検出した場合、フレームコントローラはリサイザを呼び出してバッファのコンテンツを読み出すことを行なわない。これは、この場合、中間バッファが対応するリサイザにより最後に読み出されて以来新しいフレームを受信していないためである。同一フレームの複数回の読み出しを行なわないことにより、重複フレームの不必要な符号化をなくし、テレビ会議に関わるコンピュータの計算資源及び帯域幅リソースを節約する。
【００４７】
この利点を示すために、図１０は、焦点コンピュータと非焦点コンピュータとの間の信号送信における遅延により、焦点位置コンピュータがある特定の重複フレームの符号化をスキップする一例を提示する。特に図１０は、焦点位置モジュールの中間バッファ９１５〜９２５へのフレームの格納を示す。図中、時間の経過を左から右に示し、焦点位置中間バッファへの各参加者のフレームの格納を水平な線上に配置された点により示す。
【００４８】
例えば時間０において、焦点位置中間バッファは焦点位置及び全ての非焦点参加者からの新しいフレームを有する。それらフレームは、図１０においてＦ１、Ａ１、Ｂ１及びＣ１でラベル付けされる。それらフレームの各々は符号化され、非焦点参加者に送信される。時間１までに格納される唯一の新しいフレームは焦点参加者の画像であり、図１０においてフレームＦ２として識別される。従って、非焦点位置参加者のフレームは時間０以降変更されていないため、焦点位置モジュールはそれらフレームの検索及び符号化をスキップする。
【００４９】
時間１と時間２との間において、焦点位置コンピュータは、焦点位置カメラから１つの新しいフレームを受信し、参加者Ａから２つの新しいフレームを受信し、参加者Ｂから１つの新しいフレームを受信する。新しく到着したフレームは、図１０においてそれぞれフレームＦ３、Ａ２、Ａ３及びＢ２として識別される。従って、焦点位置モジュールは、時間２までにサブフレームとしてフレームＦ３、Ａ３及びＢ２を合成画像バッファに格納し、それら格納したサブフレームに基づいて合成画像を符号化及び送信する。この場合、フレームＡ２は、焦点位置モジュールにより検索される前に中間バッファにおいて上書きされたため、会議の他の参加者に対して失われる。また、時間２における中間バッファ９２５のコンテンツが時間０から変更されていないため、時間２においてリサイザ６４９（参加者Ｃのデータに対する）は中間バッファ９２５のコンテンツを検索しない。ここで時間０とは、中間バッファ９２５がリサイザ６４９により読み出された最後の時間である。
【００５０】
種々の理由により、焦点位置コンピュータにおけるカメラ６５０は、ローカル画像取り込みモジュール６５１がカメラ６５０からフレームを受信した時に２つ以上の連続する時点間に同一フレームを生成する可能性がある。従って、ローカル焦点位置参加者Ｄの画像の重複処理を回避するために、焦点位置モジュール９００は差分比較器９１０を利用する。特に、フレームレートコントローラ９０５は、特定のフレームレートでローカル画像取り込み６５１に対してローカルカメラ６５０からフレームを取り込むように指示する。図６の取り込みモジュール６５１とは異なり、図９のローカル画像取り込みモジュール６５１は取り込んだフレームを差分比較器９１０に供給する。差分比較器９１０は、合成画像バッファ６５５のセクション６５６にそのフレームを直接格納する。差分比較器９１０は、合成画像バッファのセクション６５６に格納した最後のフレームが受信フレームと同一でないか又はそれ程類似していないと判定する限り、そのセクション６５６に受信フレームを格納する。いくつかの実施形態において、差分比較器９１０は、比較器が合成画像バッファに格納した最後のフレームと受信フレームとの間の差を表す計測値を計算する。計測値が特定の閾値より小さい場合、比較器９１０は、合成画像バッファに格納した最後のフレームと受信フレームとが同一であるか又は非常に類似することを検出する。
【００５１】
合成画像バッファに格納した最後のフレームと受信フレームとが同一であるか又は非常に類似すると比較器が判定した場合、比較器は、テレビ会議に関わるコンピュータの計算資源及び帯域幅リソースを節約するために受信フレームを破棄する。それらフレームが同一であるか又は非常に類似すると判定しなかった場合、比較器は、合成画像バッファのセクション６５６に受信フレームを格納し、次にローカル画像取り込みからフレームを受信した時に差分比較を行なうためにそのフレームのコピーを維持する。
【００５２】
上述のように、フレームレートコントローラの更新追跡及び比較器９１０の差分比較により、合成画像バッファ６５５の１つ以上のセクションは、焦点位置モジュール９００が合成フレームを生成及び符号化している時に空になる可能性がある。従って、焦点位置モジュールによるそのような場合に生成される合成フレームは、１つ以上の空のサブフレームを有する。そのような空のサブフレームは、上述のように、フラグにより識別されてもよく又は非焦点コンピュータの復号器により自動的に識別されてもよい。
【００５３】
重複フレームの処理及び符号化を回避することは、多人数参加型テレビ会議以外の多くの状況において有用である。例えばピアツーピアテレビ会議において、それは、他の参加者からのフレームの重複復号化又はローカルで取り込まれるフレームの重複符号化を回避するのに有用である。
【００５４】
重複処理及び符号化を回避することは、テレビ会議設定においても有用である。図１１は、１つのそのような設定を示す。特に図１１は、コンピュータ１１１０がカメラからフレームを取り込み、それらフレームを符号化し、それらフレームをローカルに格納する例を示す。図示するように、コンピュータ１１１０は、特定のレートでビデオカメラ１１０５からフレームを取り込むローカル取り込みモジュールを有する。種々の理由により、カメラ１１０５は、ローカル画像取り込みモジュール１１１５がカメラからフレームを受信する時に２つ以上の連続する時点の間に同一フレームを生成する可能性がある。
【００５５】
ローカル画像取り込みモジュール１１１５は、取り込まれた各フレームを差分比較器１１２０に供給する。比較器１１２０は、取り込まれたフレームを符号器１１２５に転送してもしなくてもよい。特に比較器１１２０は、取り込みモジュール１１１５から受信するフレームと比較器が符号器１１２５に供給した最後のフレームとを比較する。２つのフレームが同一であるか又は非常に類似する場合、差分比較器は符号器への受信フレームの供給を行なわない。あるいは、２つのフレームが同一でないか又はそれ程類似していない場合、差分比較器は符号化するために受信フレームを符号器に転送する。符号器は、受信するフレームを符号化し、それらフレームを記憶装置に格納する。記憶装置は、コンピュータメモリ、ハードディスク、ＤＶＤ又は同様の媒体である。
【００５６】
ＩＩＩ．非焦点位置モジュール
図１２は、本発明のいくつかの実施形態の非焦点位置モジュール５１５を示す。非焦点位置モジュールは、符号化及び復号化動作を実行する。符号化動作に対して、非焦点位置モジュール５１５は、ローカル画像取り込みモジュール１２４０、フレームレートコントローラ１２４２及び符号器１２５０を利用する。復号化動作に対して、非焦点位置モジュール５１５は、復号器１２１０、中間バッファ１２１５、パースペクティブ調整器１２２０及びローカル画像コントローラ１２３０を利用する。
【００５７】
テレビ会議中、非焦点コンピュータに取り付けられたカメラ１２２５は、非焦点位置コンピュータを使用しているテレビ会議の参加者を撮影する。符号化動作中、ローカル画像取り込みモジュール１２４０は、カメラにより生成される映像フレームを受信して取り込む。フレームレートコントローラ１２４２により特定される特定のサンプリングレートで、ローカル画像取り込みモジュール１２４０は取り込まれたフレームを符号器１２５０に向け、符号器１２５０はフレームを符号化し且つ焦点位置コンピュータに送信する。いくつかの実施形態において、テレビ会議の状態の変化に従って、フレームレートコントローラ１２４２はテレビ会議中に特定のフレームレートを変更する。
【００５８】
復号化動作中、非焦点モジュール５１５は、焦点位置モジュール５１０から合成フレームを受信し、非焦点コンピュータの表示装置１２３５に表示するためにそれらフレームを復号化する。この復号化動作については、図１３を参照して更に説明する。図１３は、非焦点位置モジュールの復号化処理１３００を概念的に示す。
【００５９】
図１３に示すように、非焦点位置モジュールの復号化処理１３００は、非焦点位置モジュールが焦点位置モジュールから合成フレームを含む映像ストリームを受信した（１３０５）時に開始する。次に、非焦点モジュール５１５の復号器１２１０は受信した合成フレームを復号化する（１３１０）。
【００６０】
いくつかの実施形態において、復号器１２１０は、最初に合成フレームを構成するサブフレームを抽出することなく合成フレームを復号化する。いくつかの実施形態において、復号器は、空のままとなっているサブフレームを識別するために空フィールドフラグを使用する。他の実施形態において、復号器は、他の方法を介してサブフレームを識別できるため（合成フレームの各マクロブロックに関連するサブフレームを識別できるため）、空フィールドフラグに依存する必要はない。
【００６１】
各復号化サブフレームは、テレビ会議の他の参加者のうちの１人のフレームを表す。合成フレームの復号化後、復号器は、復号化合成フレームのサブフレームを中間バッファ１２１５に格納する（１３１５）。いくつかの実施形態において、中間バッファ１２１５は３つの小さな中間バッファにより形成される。その小さな各中間バッファは、復号化合成フレームの潜在的な各サブフレームを格納するためのものである。１３２０において、パースペクティブ調整器は、中間バッファから復号化サブフレームを検索し、他の会議参加者の画像の透視図を調整する。上述のように、図４はそのような透視図の１つの例を示す。調整器１２２０は、調整した合成フレームをローカル画像コントローラ１２３０に供給する。ローカル画像コントローラは、ローカル非焦点位置テレビ会議参加者の映像フレームをローカル画像取り込みモジュール１２４０から受信する。ローカル画像コントローラ１２３０は、非焦点コンピュータの表示装置１２３５に表示するために、他の会議参加者の調整したフレーム及びローカル参加者の取り込んだフレームからテレビ会議ディスプレイプレゼンテーションを描画する（１３２５）。
【００６２】
１３３０の後、非焦点復号化処理１３００は、多人数参加型テレビ会議が終了したかを判定する（１３３５）。終了したと判定した場合、処理１３００は終了する。終了していないと判定する場合、１３０５に戻り、別の符号化合成画像を受信する。
【００６３】
上述のように、図１３は、非焦点位置モジュールの復号化及び符号化動作の簡単化された概念図である。いくつかの実施形態において、非焦点位置モジュールは他のソフトウェアモジュールを含む。例えば図１４は、非焦点位置モジュールの別の実現例を示す。この実現例は、非焦点位置モジュール１４００が差分比較器１４１０を有すること以外は図１２に示す実現例と同様である。
【００６４】
この差分比較器は、図９の差分比較器９１０と同様の役割を果たす。特に差分比較器は、ローカルで取り込まれた同一の又は非常に類似するフレームの重複符号化を防止する。ローカル画像取り込みモジュール１２４０は、フレームを取り込むと、取り込んだフレームを符号器１２５０に直接送出するのではなく差分比較器１４１０に供給する。
【００６５】
差分比較器１４１０は、符号器に供給した最後のフレームが取り込んだフレームと同一でないか又はそれ程類似していないと判定する限り、取り込んだフレームを符号器１２５０に供給する。いくつかの実施形態において、差分比較器１４１０は、比較器が符号器１２５０に供給した最後のフレームと受信フレームとの間の差を表す計測値を計算する。計測値が特定の閾値より小さい場合、比較器１４１０は、符号器に供給した最後のフレームと受信フレームとが同一であるか又は非常に類似することを検出する。
【００６６】
受信フレームが符号器に供給された最後のフレームと同一であるか又は非常に類似すると比較器が判定した場合、比較器は、テレビ会議に関わるコンピュータの計算資源及び帯域幅リソースを節約するために受信フレームを破棄する。それらフレームが同一であるか又は非常に類似すると判定しなかった場合、比較器は、受信フレームを符号器１２５０に供給し、次にローカル画像取り込みからフレームを受信した時に差分比較を行なうためにそのフレームのコピーを維持する。
【００６７】
いくつかの実施形態において、非焦点位置モジュールは、更新タイムトラッカを有するフレームレートコントローラ及びタイムスタンプを有する中間バッファを更に含む。先の節の焦点位置モジュールに対する説明と同様に、これら実施形態において、非焦点位置モジュールは、中間バッファ１２１５からパースペクティブ調整器１２２０に重複復号化画像を送出することを回避することにより計算資源を節約できる。
【００６８】
上述の映像符号化、復号化及び配信技術が多くの利点を有することは、当業者には理解されるだろう。例えば、焦点位置モジュール５１０の映像合成方法は冗長映像データの除去を簡単化し、それによりテレビ会議中に多くの必要なネットワーク帯域幅を節約する。
【００６９】
それら利点を示すために、図１５は、４人のテレビ会議において映像データを合成する別の方法を示す。この方法において、焦点位置モジュールは、２×２形式１５００で参加者のフレームを合成する。焦点位置５１０は、符号化し且つ結果として得られる符号化画像を各参加者に送出する。図１５は、２×２合成フレーム１５００の符号化の結果、異なる参加者からの映像データをインターリーブした映像ストリーム１５５０が得られることを示す。特に、図１５に示される映像ストリーム１５５０の最初の部分は、インターリーブされた焦点位置参加者Ｆ及び非焦点位置参加者Ａからの映像データを示す。
【００７０】
このインターリーブにより、焦点位置モジュールが参加者に供給する映像ストリームから各参加者自身の映像データを除去することは困難になる。この除去を簡単にするために、１つの解決策は、（１）図１６に示すように、３人の異なる非焦点参加者に対して３つの異なる合成映像フレームを生成し、（２）３つの異なる符号器を使用してそれら３つの異なる合成映像フレームを符号化することである。この方法により、参加者が受信する合成映像ストリームから各参加者の映像データは削除されるが、追加の符号器をサポートするためにより多くの処理リソースが必要とされる。
【００７１】
ＩＶ．符号化の制約
Ａ．概要
上記節ＩＩで説明したように、焦点位置モジュールは、２つ以上のサブフレームを有する合成フレームを生成する。各サブフレームは、テレビ会議の参加者のうちの１人からのフレームである。いくつかの実施形態において、焦点位置モジュールは、非インターリーブ方式で各参加者のフレームを合成フレームに配置する。それら実施形態において、符号化処理は、各サブフレームの符号化が別のサブフレームのいずれの部分にも依存しないように制約のセットを利用する。
【００７２】
図１７は、いくつかの実施形態の焦点位置モジュールの符号器６６０の符号化処理１７００を示す。合成フレームの符号化の前に、符号化処理１７００は、合成フレームの種々のサブフレームの符号化が互いに依存しないままであることを保証するために、合成フレームの符号化に対する制約のセットを規定する（１７１０）。それら制約のいくつかの例を以下の節ＩＶ．Ｂ．で更に説明する。いくつかの実施形態において、符号化処理１７００は、合成フレームに対する実行の度に制約のセットを規定せずに（１７１０）、参加者が会議に参加する度又は会議から離脱する度に制約規定動作を実行するようにしてもよい。
【００７３】
１７１０の後、処理１７００は、以下の動作を実行することにより合成フレームを反復的に符号化する。１７１５において、処理１７００は、合成画像バッファ６５５から非符号化サブフレームを検索する。符号化の制約を使用して、符号化処理１７００はその検索したサブフレームを符号化する（１７２０）。符号化サブフレームは、出力バッファに保管される（１７２５）。１７２５の後、処理１７００は、符号化する別のサブフレームが存在するかを判定する（１７３０）。存在すると判定した場合、１７１５に戻り、合成画像バッファ６５５から次のサブフレームを取得する。存在しないと判定した場合、処理は終了する。
【００７４】
Ｂ．制約
上述のように、符号化処理１７００は、複数の制約を規定し（１７１０）、それら制約に基づいて合成フレームのサブフレームを符号化する（１７２０）。それら制約は、ブロック間符号化（interblock encoding）の制約、ブロック内符号化（intrablock encoding）の制約及びループフィルタリングの制約である。それら制約のいくつかの例を以下に説明する。
【００７５】
１．ブロック間符号化の制約
ブロック間符号化の２つの例を以下に説明する。それら例は、（１）符号化中の探索ウィンドウのサイズに対する制約及び（２）画素ブロックを探索又は符号化するのに使用される目標サブ画素に対する制約である。ブロック間符号化は、１つ以上の参照フレームの１つ以上の部分を参照して現在のフレーム中の画素の１つのブロックを符号化する。ブロック間符号化は１つ以上の動き推定動作を含み、各動き推定動作は、現在のフレーム中の画素のブロックに最も適合する参照フレームの一部分を識別する。そのような識別により、現在のフレームの画素ブロックの符号化表現としての役割を果たすことができる動きベクトルが得られる。現在のフレームの画素ブロックを復号化中において、その動きベクトルは、現在のフレームの画素ブロックの画素値を提供する参照フレームブロックの一部分を識別するために使用される。
【００７６】
符号器の動き推定動作は、参照フレームにおいて少なくとも１つの探索ウィンドウを規定する。その後、動き推定動作は、現在のフレームの画素ブロックに最も適合する参照フレームの一部分をウィンドウ内で探索する。その部分は、参照フレームの画素位置又は参照フレームのサブ画素位置と位置合わせされる。サブ画素位置は、参照フレームの非整数位置であり、画素位置は、参照フレームの整数位置に規定される画素を含む参照フレームの整数位置である。いくつかの実施形態において、符号器は、粗探索及び細探索を実行し且つ少なくとも一部の探索に対して種々の探索ウィンドウを使用する多段動き推定処理を使用してもよい。
【００７７】
ａ）探索ウィンドウに対する制約
各参加者のサブフレームを独立させるために、各画素ブロックに対する探索ウィンドウは、特定の画素ブロックが位置付けられるサブフレームと同一のサブフレーム内に制限される必要がある。例えば図１８は、本発明により許可される探索ウィンドウ１８１５を示す。この例において、現在の合成フレーム１８０１は、参照合成フレーム１８０２を使用して符号化される。符号化される画素ブロック１８０５は、参加者Ａのサブフレーム１８１０内に位置付けられる。この画素ブロックを符号化するために、符号器は、いくつかの実施形態において初期動きベクトル１８３０により識別される位置を中心に配置される探索ウィンドウ１８１５内を探索する。いくつかの実施形態における初期動きベクトルは、デフォルト値に設定されるか、あるいは既にブロック間符号化された隣接する画素ブロックの動きベクトルから得られる。動き推定動作は、現在のフレームの画素ブロック１８０５に最も適合する探索ウィンドウ１８１５の参照サブフレーム１８２５の画素ブロック１８３５を識別するためにウィンドウ１８１５を探索する。図１８に示すように、参照サブフレーム１８２５の画素ブロックは、動き推定動作により特定される最終的な動きベクトル１８４０により識別される。
【００７８】
探索ウィンドウ１８１５内の任意の画素ブロックは、参照合成フレーム１８０２の参加者Ａのサブフレーム１８２５内に位置付けられる。現在のフレーム１８０１の参加者Ａのサブフレーム１８１０を受信する任意の復号器は、参照フレーム１８０２の参加者Ａのサブフレームを有する。従って、復号器は、動き推定動作により特定される最終的な動きベクトル１８４０を使用して画素ブロック１８０５を再現できる。
【００７９】
これに対して、図１９は、本発明により許可されない探索ウィンドウの一例を示す。この例において、現在の合成フレーム１９０１は、参照合成フレーム１９０２を使用して符号化される。符号器は、参加者Ａのサブフレーム１９１０内に位置付けられる画素ブロック１９０５を符号化する。
【００８０】
図１９は、動き推定動作に対する探索ウィンドウ１９１５を示す。探索ウィンドウの一部は、参加者Ｂのサブフレーム１９２５内にある。従って、この探索ウィンドウ１９１５が使用される場合、そのサブフレームの適合する画素ブロックを最終的な結果として得る。サブフレームは完全に独立して保持されるべきであるため、結果としてサブフレーム間に相互依存性を与える探索ウィンドウは許可されない。
【００８１】
上記節ＩＩで説明したように、探索ウィンドウ１９１５を許可しない理由は、焦点位置モジュール５１０が参加者Ｂに送出する圧縮合成フレームから参加者Ｂのサブフレーム１９２５を削除することを考慮することにより明らかとなるだろう。参加者Ｂの復号器１２１０が参照サブフレーム１９２５を受信しないため、動き推定動作により識別される最終的な動きベクトル（動きベクトル１９３５等）がサブフレーム１９２５内の画素ブロック（画素ブロック１９４０等）を指し示す場合、復号器１２１０は画素ブロック１９０５を再現できない。
【００８２】
初期動きベクトルが２つのサブフレームの境界に近接するか又は他のサブフレーム内に位置する場合、探索ウィンドウは参照合成フレームの２つのサブフレームと重なる。それら双方の状況において、いくつかの実施形態は、探索ウィンドウを上に移動するか又は他のサブフレームに位置する探索ウィンドウの一部をトリミングすることにより、これらの探索ウィンドウの問題に対処する。
【００８３】
図２０は、トリミングされた探索ウィンドウ２０２０を結果として与える図１９の探索ウィンドウ１９１５をトリミングする例を示す。トリミングされた探索ウィンドウ２０２０は、サブフレーム２０２５内のみにある。参加者Ａのサブフレームを受信する任意の復号器は、参照フレーム１９０２の参加者Ａのサブフレームを有する。従って、復号器は、画素ブロック２０１０を識別する最終的な動きベクトル２００５（動き推定動作により特定される）を使用して画素ブロック１９０５を再現できる。探索ウィンドウ２０２０がサブフレーム２０２５の外側に位置することはないと仮定すると、最終的な動きベクトル２００５及びそれに対応する画素ブロックは、サブフレーム２０２５内にあることが保証される。
【００８４】
いくつかの実施形態における符号器は、探索ウィンドウ１９１５をトリミングするのではなく、探索ウィンドウ全体が所望のサブフレーム内になるようにその探索ウィンドウを他のサブフレームから離れる方向に移動する。図２１は、図１９に示す例に対するそのような移動の一例を示す。
【００８５】
図２２は、符号器６６０が探索ウィンドウを所望のサブフレーム内に留まらせる方法を示す。２２０５において、符号器６６０は、定義済みの方法を使用して、符号化される現在の画素ブロックに対して動きベクトル探索ウィンドウを選択する。しかし、符号化動作においてこの探索ウィンドウを利用する前に、符号器６６０は、探索ウィンドウが符号化される現在のフレームの画素ブロックと同一の合成参照フレームのサブフレーム（以下において目標サブフレームと呼ぶ）内に完全に存在するかをチェックする（２２１０）。
【００８６】
探索ウィンドウが現在の画素ブロックと同一のサブフレーム内に完全に存在すると符号器が判定する場合（２２１０）、現在の画素ブロックに対する目標画素を見つけるために符号化動作において探索ウィンドウを利用する（２２２０）。完全に存在すると判定されない場合、符号器は、探索ウィンドウが目標サブフレームの外側に位置しないように探索ウィンドウを調整する（２２１５）。上述のように、探索ウィンドウは、目標サブフレームの外側に位置する部分をトリミングすることにより調整されるか、あるいは探索ウィンドウ全体が目標サブフレーム内になるように他のサブフレームから離れる方向に探索ウィンドウを移動することにより調整される。２２１５の後、符号器６６０は符号化動作に対して探索ウィンドウの残りの部分を利用する（２２２０）。
【００８７】
ｂ）目標サブ画素に対する制約
いくつかの実施形態において、符号器は、いくつかの実施形態の動き推定動作中に参照のサブ画素位置と位置合わせされる（すなわち、整数画素位置と位置合わせされない）ブロックを検査する。いくつかの実施形態の復号器は、いくつかの例において、サブ画素位置と位置合わせされる（すなわち、画素位置と位置合わせされない）参照フレームブロックを参照フレームから検索する必要がある。
【００８８】
サブ画素位置と位置合わせされるブロックの検査及び検索は、符号器又は復号器がサブ画素位置において参照フレームに対する画像値（例えば、輝度値）を生成することを必要とする。サブ画素位置は、符号化動作中の現在のフレームの画素位置に対応することになる。画像値は、場合によっては縦列に垂直に位置合わせされる複数（例えば、６つの）画素の画像値の補間を必要とする補間動作を介して生成される。
【００８９】
いくつかの実施形態において、符号器は、補間に使用される画素の垂直方向の各セットが目標サブフレームからの画素のみを含むことを保証するためにそのような補間動作に対して制約を与える。更にいくつかの実施形態において、符号器は、画素の水平方向のセットにわたる各補間が２つのサブフレームに及ぶ垂直方向の補間動作を介してのみ生成されるサブ画素値に依存しないことを保証するために補間動作に対して制約を与える。
【００９０】
図２３は、サブフレームの整数及び非整数画素位置にわたる補間の一例を示す。図中、整数画素位置は陰影を付けた正方形（例えば、正方形Ａ又はＢ）で示され、１／２画素位置は白色の正方形（例えば、正方形ｂ、ｈ、ｓ又はｔ）で示され、１／４画素位置は円（例えば、円ａ及びｄ）で示される。図２３を簡単化するために、図中にはいくつかの１／２画素及び１／４画素位置のみを示す。整数画素位置の画像値は、補間の必要なく利用可能である。１／２レベル位置及び１／４レベル位置の小数画素の値は利用不可能であり、符号器がそれらの値を計算するために補間を実行する必要がある。
【００９１】
各補間動作は、特定の長さを有する特定の補間フィルタにより実行される。いくつかの実施形態において、目標サブ画素位置に対する各補間動作は、目標サブ画素位置に対して水平又は垂直に位置付けられる画素値及び／又はサブ画素値のセットを使用して行なわれる。例えば、１／２画素の値を計算するために、いくつかの実施形態は長さ３の補間フィルタを使用する。ここで、長さは非整数画素を計算するために各方向で使用される画素数を示す。
【００９２】
補間動作が２つのサブフレームに及ばないことを保証するために、いくつかの実施形態における符号器は、補間フィルタの長さを使用してサブフレーム境界を規定する。このサブフレーム境界で、動き推定動作は、サブ画素位置に位置合わせされたブロックを検査できない。
【００９３】
例えば補間フィルタ長３を使用すると、１／２画素ｂはＥ、Ｆ、Ｇ、Ｈ、Ｉ及びＪ画素の値を利用することにより補間される。１／２画素ｈは、Ａ、Ｃ、Ｇ、Ｍ、Ｒ及びＴ画素の値を利用することにより補間される。同一サブフレームの画素値が使用される場合、補間動作において使用される画素が現在のサブフレームの外側に位置付けられることがなければ、ｈ等の１／２画素は補間が行なわれる。この必要条件により、サブフレームの境界内に位置付けられるサブ画素の検査を禁止する特別な制約が作成される。それら境界領域の長さは、最長の垂直方向の補間フィルタの長さと等しい。
【００９４】
例えば図２３において、線２３０５は、２つの隣接するサブフレームの境界を示す。長さ３の補間フィルタの場合、この境界領域は、線２３０５から３画素離れた任意の位置である。例えば、１／２画素ｔはそのような境界領域内にある。１／２画素ｔの値の計算は、Ｃ、Ｇ、Ｍ、Ｒ、Ｔ及びＶ画素の補間を必要とする。しかし、画素Ｖは、現在のサブフレームの外側にある。１／２画素ｔの値は、現在のサブフレーム内の画素を使用して計算されない。従って、動き推定動作は、動きベクトルに対する目標位置としてこの１／２画素値を使用しない。
【００９５】
１／２画素ｓは、その境界領域内に位置付けられる。しかし、１／２画素ｓは水平方向に位置付けられる２つの整数画素内に位置付けられる。１／２画素ｓは、同一サブフレーム内に位置付けられるＫ、Ｌ、Ｍ、Ｎ、Ｐ及びＱを補間することにより計算される。従ってこの１／２画素は、動きベクトルに対する目標位置として使用される。
【００９６】
いくつかの実施形態において、１／４画素値は、２つの最近接する整数画素値又は１／２画素値を平均し且つ切り上げることにより計算される。従って、１／４画素値の計算は、１／２画素がそれらの値を計算する時に要求された制約と同一の制約を有するべきである。
【００９７】
図２４は、符号器６６０の動き推定処理が動きベクトルに対する合成参照フレームの目標位置を判定するのに使用する処理２４００を示す。図２４に示さない初期化において、符号器６６０は、サブフレームの境界においてバッファ領域のセットを確立するために補間フィルタの長さを利用する。
【００９８】
図２５は、補間フィルタの長さが３画素である場合、１×４の合成画像バッファ２５００に対する境界領域を示す一例を提示する。図２５に示すように、境界バッファ領域２５０５〜２５３０はサブフレーム境界の３画素内にある。例えば、境界バッファ領域２５１５の１つのセクション２５３５は２５４０において拡大され、境界領域２５１５が参加者Ａのサブフレーム２５４５内に位置付けられ且つ参加者Ｂのサブフレーム２５５０に対する境界に沿った深さ３画素の領域を範囲に含むことを示す。
【００９９】
２４０５において、動きベクトルに対する次の可能な目標を選択する。目標位置が１つの境界領域内にないと判定した場合（２４１０）、目標位置を検査する（２４２５）（すなわち、目標位置により識別される参照フレームブロックと現在の参照フレームブロックとを比較する）。２４２５の後、動き推定動作を終了すべきかを判定する（２４３０）。終了すべきでないと判定した場合、２４０５に戻り、別の目標位置を選択する。終了すべきであると判定する場合、２４２５において処理２４００により識別された最適な目標位置を選択し（２４３５）、その最適な位置を使用して動きベクトルを識別する（２４３５）。２４３５の後、処理は終了する。
【０１００】
目標位置が１つの境界領域内にあると判定した場合（２４１０）、目標位置が整数位置であるかを判定する（２４１５）。整数位置であると判定した場合、上述した２４２５に移る。整数位置でないと判定した場合、目標位置が同一サブフレームの２つの整数画素間に水平に位置付けられる１／２画素であるかを判定する（２４２０）。目標位置が同一サブフレームの２つの整数画素間に水平に位置付けられる１／２画素であると判定される場合、上述の２４２５に移る。一方、目標位置が同一サブフレームの２つの整数画素間に水平に位置付けられる１／２画素ではないと判定される場合（２４２０）、選択した目標位置の検査を行なわず、単に上述の２４３０に移る。
【０１０１】
２．ブロック内符号化の制約
符号器６６０により実行される別の圧縮動作は、マクロブロック内予測である。マクロブロック内予測動作は、隣接するマクロブロックの選択された画素の値からマクロブロックの値を予測する。参加者のサブフレームを独立させるために、ブロック内予測に対するソース画素は、現在のサブフレーム内に位置付けられるマクロブロックから選択されるべきである。
【０１０２】
図２６は、本発明のいくつかの実施形態において符号器６６０がブロック内予測を行う対象である２つのマクロブロック２６０５及び２６１０を示す。この例に示すように、双方のマクロブロックは、参加者Ｂのサブフレーム２６１５内に位置付けられる。マクロブロック「ｉ」２６０５を取り囲むマクロブロック「ａ」〜「ｈ」２６２０〜２６３４は、同一サブフレーム２６１５内に位置付けられる。マクロブロック「ｉ」に対するブロック内予測を実行するためにそれらマクロブロックのうち任意の１つを使用することにより、参加者Ｂのサブフレーム内においてのみマクロブロックの依存性を生じる。従って、符号器６６０は、マクロブロック「ｉ」２６０５に対してブロック内予測を行なう時にそれらマクロブロックのいずれか１つを使用できる。
【０１０３】
一方、マクロブロック「ｒ」２６１０は、参加者Ｂのサブフレーム２６１５及び参加者Ａのサブフレーム２６４０の境界に近接して位置付けられるため、「ｊ」、「ｋ」及び「ｌ」２６５０〜２６５４等の隣接するマクロブロックのいくつかは参加者Ａのサブフレーム内になる。それらマクロブロックを使用することにより、参加者Ｂのサブフレーム２６１５と参加者Ａのサブフレーム２６４０との間に依存性を生じるため、符号器６６０は、マクロブロック「ｒ」２６１０に対してブロック内予測を行なうのにそれらマクロブロックを使用しない。しかし、マクロブロック「ｍ」〜「ｑ」２６５６〜２６６４はマクロブロック「ｒ」２６１０と同一のサブフレーム内にある。従って、符号器６６０は、マクロブロック「ｒ」２６１０のブロック内予測に対してそれらマクロブロックを使用できる。符号器は、使用されるラスタ走査又は同様の技術のために「ｎ」〜「ｑ」２６５８〜２６６４等のいくつかのマクロブロックを使用できない。従って、ここで説明されるブロック内予測の制約は、特定のマクロブロックのブロック内予測に対する特定のマクロブロックの利用を符号器に対して単に許可するか又は許可しないかである（利用を要求するのではない）。
【０１０４】
３．ループフィルタの制約
符号器は、種々の符号化方法を使用して隣接する画素のブロックを符号化してもよい。例えば符号器は、ブロック間符号化、ブロック内符号化を使用して画素のブロックを符号化してもよく、あるいはブロック全体をスキップしてもよい。従って、種々の符号化方法を使用して符号化された隣接する画素ブロックは、ほぼ同等の値を有するべきであるにもかかわらず種々の値を有する可能性がある。それらアーティファクトを除去するために、フレームが動き予測動作において利用される前に、符号器は参照フレームにループフィルタを適用する。
【０１０５】
いくつかの実施形態において、非ブロック化フィルタはループフィルタリングに対して利用される。非ブロック化フィルタは、高圧縮された映像データに現れるアーティファクトのようなブロックの外観を減少するのを助長するために使用され、それにより映像フレームを向上する。使用される映像コーデックアルゴリズムに依存して、復号器又は復号器及び符号器の双方が非ブロック化フィルタを使用してもよい。参加者のサブフレームが独立しているため、フィルタリングは種々の参加者のサブフレームに位置付けられる画素間で行なわれる必要はない。
【０１０６】
図２７は、いくつかの実施形態において画素のグループがフィルタリングのために選択される方法を示す。例を明示するために、画素及びサブフレームは一定の縮尺に従わずに描かれる。図２７に示す例において、２つの画素のグループ２７０５及び２７１０は、フィルタリングのために選択される。第１のグループ２７０５の全ての画素は、参加者Ａのサブフレーム２７１５の境界内に位置付けられる。従って、この画素のグループはフィルタリングされることを許可される。
【０１０７】
しかし、第２の画素のグループ２７１０は、参加者Ａのサブフレーム２７１５と参加者Ｂのサブフレーム２７２０との間の境界を横切る。参加者Ａのサブフレーム２７１５及び参加者Ｂのサブフレーム２７２０が独立しているため、異なるサブフレームに位置付けられる隣接する画素値の類似性又は差は一致し、符号化動作の結果とならない。従って、その画素のグループはフィルタリングのために選択されるべきではない。
【０１０８】
図２８は、フィルタリングに対して制約を適用するために、本発明のいくつかの実施形態が利用する処理２８００を示す。処理２８００は、まずフィルタリングのために画素のグループを識別する（２８０５）。フィルタリングに必要な全ての画素がフィルタリングされる画素のグループと同一のサブフレーム内に位置付けられると判定される場合、フィルタリングを続行する（２８１５）。フィルタリングに必要な全ての画素がフィルタリングされる画素のグループと同一のサブフレーム内に位置付けられないと処理２８００が判定した場合（２８１０）、グループはフィルタリングのために選択されず、２８０５に戻り、そのグループを改良するか（２８０５）又はフィルタリングのために次の画素のグループを見つける。２８１５の後、フィルタリング処理２８００は、フィルタリング処理が終了したかを判定する（２８２０）。終了したと判定した場合、処理２８００は終了する。終了していないと判定した場合、２８０５に戻り、次の画素のグループを見つけて非ブロック化する。
【０１０９】
Ｃ．帯域幅を節約するための符号化の制約
上述の符号化の制約は、焦点位置モジュールが種々の会議参加者からの種々のフレームを有する合成フレームを生成することを許可する。例えば、ある特定の合成フレームは、１人の参加者に対する相対的に大きなブロック内符号化サブフレーム（Ｉサブフレーム）及び１人以上の他の参加者に対する相対的に小さなブロック間符号化サブフレーム（Ｐ又はＢサブフレーム）から構成されてもよい。
【０１１０】
いくつかの実施形態において、符号器は、従来の合成フレームの送信のエラーに対処するために、組み合わされたブロック内符号化サブフレーム及びブロック間符号化サブフレームを含むそのような合成フレームを送出する。そのような組み合わされた合成フレームは、テレビ会議中に不足する可能性のあるネットワーク帯域幅を節約する。これを更に説明する前に、いくつかの実施形態の符号器及び復号器により使用されるハンドシェイクプロトコルの簡単な概要を以下に説明する。
【０１１１】
１．プロトコル
いくつかの実施形態において、１人の参加者の符号器（例えば、焦点位置モジュール符号器）は、別の参加者（例えば、非焦点位置モジュール復号器）と通信するためにハンドシェイクプロトコルを使用し、フレームが送信中にドロップされるかを決定する。例えば、非焦点復号器が特定の参加者に関係するサブフレームの１つ以上の部分を完全に受信していないと判定する場合、復号器は、焦点位置符号器にリフレッシュ要求を送出し、破損したサブフレームを識別する。復号器が誤り伝播を阻止する符号器からデータを受信するまで（例えば、特定の参加者に対するブロック内符号化サブフレームを受信するまで）、復号器は符号器にリフレッシュ要求を繰り返し送信する。いくつかの実施形態において、サブフレームは、各々がいくつかのマクロブロックを含むいくつかのスライス（例えば、２つのスライス）に分割される。これら実施形態において、復号器が完全性に対する解析を行なうサブフレームの部分はスライスである。
【０１１２】
２．帯域幅の節約
帯域幅節約技術のいくつかの例を以下に説明する。ＭＰＥＧ−４の例を使用してそれら技術を説明する。ＭＰＥＧ−４において、参加者の１画像はフレームと呼ばれる。フレームは、Ｉ、Ｐ又はＢフレームである。Ｉフレームは、フレーム自体に含まれる情報のみを使用して符号化される。従って、それらフレームは他のフレームとは無関係に復号化される。しかし、ＩフレームはＰ及びＢフレームより非常に大きい。
【０１１３】
Ｐ及びＢフレームは、他のＩ又はＰフレームの情報を使用して符号化される。従って、それらフレームはＩフレームより小さく、送信するのに必要な帯域幅が小さい。通常、１つのＩフレーム、並びにいくつかのＰ及びＢフレームは、共にグループ化され、繰返し構造を形成する。繰返し構造のＩフレーム及びＰフレームはアンカーフレームと呼ばれ、他のＰ及びＢフレームを生成することを要求される。Ｉフレーム又はＰフレームが送信中に失われると、失われたフレームに依存する繰返し構造の残りのフレームは無用になり、復号化されなくなる。
【０１１４】
以下の項における第１の例は、帯域幅を節約するための多人数参加型会議中の合成フレーム内の種々のサブフレームの種々の処理を説明する。第２の例は、いくつかの後続フレームのＩフレームの異なる部分を送信することにより帯域幅を均等化する方法を説明する。第３の例は、Ｉフレームの送信を必要としない送信中にフレームが失われた後、同期をとるための長期フレーム参照の用途を説明する。
【０１１５】
ａ）合成フレームの特定のサブフレームのリフレッシュ
本発明のいくつかの実施形態において、焦点位置モジュール５１０及び非焦点モジュール５１５は、サブフレームの全体的な独立性を利用して失われたフレームの再送信中に帯域幅を節約する。図２９のシーケンス図２９００は、参加者Ａ、Ｂ、Ｃ及び焦点位置Ｆが会議に参加しているいくつかの実施形態において交換されるフレームの例を示す。このシーケンス図において、縦軸は時間の経過（上から下へ）を表し、横軸はオブジェクト間のメッセージの受け渡しを示す。参加者Ａ、Ｂ及びＣの非焦点モジュール２９０５〜２９１５及び焦点モジュール２９２０は、ライフライン、すなわち各モジュールが存在いている時間の限界を示す垂直の破線の上部にラベル付けされた矩形で示される。それらモジュール間のメッセージは、送信オブジェクトのライフラインから受信オブジェクトのライフラインへの水平の矢印で描かれる。
【０１１６】
焦点位置モジュール２９２０と非焦点モジュール２９０５〜２９１５との間で交換されるフレームは、モジュールから発生し且つモジュールで終了する矢印付きの線と共に示される。各フレームは、非焦点位置モジュール２９０５〜２９１５の１つから送出される参加者のサブフレームを表すか又は焦点位置モジュール２９２０により送出される合成フレームを表す。
【０１１７】
この例において、各非焦点モジュールはステップ１で焦点位置２９２０にＰフレームを送出する。しかし、図２９に示すように、参加者Ｃの非焦点モジュール２９１５により送出されるフレームは失われ、焦点位置２９２０により受信されない。焦点位置は、繰返し構造に符号化されたフレームのセットを送信及び受信する途中にあるため、後続フレームを生成するために参加者Ｃの非焦点位置モジュール２９１５からの新しいＩフレームを要求する。
【０１１８】
従って、ステップ２において、焦点位置２９２０は参加者Ｃの非焦点位置モジュール２９１５にＩフレームを送出するように要求する。次のステップ３において、参加者Ｃ２９１５はＩフレームを焦点位置２９２０に送出する。次のステップ４において、焦点位置モジュール２９２０は、参加者Ａ、Ｂ及び焦点位置ポイント参加者の存在するＰフレームとステップ３において受信した参加者ＣのＩフレームとから合成フレームを作成し、特定の参加者が受信する合成画像から各参加者自身の画像を削除した後にそれら合成フレームを参加者Ａ、Ｂ及びＣに送出する。送信は継続し、全ての参加者は受信する全ての後続フレームを復号化できる。
【０１１９】
図２９に示されるリフレッシュ方法は、符号器が参加者のサブフレームを独立させておくことができず且つ全ての参加者からのＩフレームの再送信を要求する必要がある状況に比して利点を有する。図３０は、合成フレームの参加者のサブフレームが別個に保持されない場合に再送信を行なう方法の一例を示す。
【０１２０】
参加者のサブフレームが合成フレームにおいて別個に保持されない場合、焦点位置モジュール３０２０は、ステップ２において全ての非焦点位置モジュール３００５〜３０１５からの新しいＩフレームを要求する必要がある。次のステップ３において、全ての非焦点モジュール３００５〜３０１５は、Ｉフレームを焦点位置モジュール３０２０に送出する必要がある。ステップ４において、焦点位置３０２０は、全ての参加者のＩフレームから合成フレームを生成し、非常に大きなそれら合成フレームを送信する必要がある。一方、図２９に示す方法は、１人の参加者に対してのみブロック内符号化データを送信するため、そのように大きな合成フレームの影響を受けない。
【０１２１】
また、組み合わされたブロック内符号化サブフレーム及びブロック間符号化サブフレームを含む合成フレームを送出することには、焦点位置が第１の参加者のサブフレームを第２の参加者に送信したが第２の参加者により適切に受信されなかった当該第１の参加者に対するサブフレームを焦点位置符号器がリフレッシュしようとする場合にも、大きな利点がある。
【０１２２】
ｂ）複数の後続フレームに対するフレームのリフレッシュ
フレーム（例えば、多人数参加型会議のサブフレーム又はピアツーピア会議のフレーム）をリフレッシュするのに必要なデータを複数の後続フレームに分割するために、いくつかの実施形態は、上述の符号化の制約をフレームの１つ以上のセクションに拡張する。例えば、いくつかの実施形態は、合成フレームのサブフレーム境界に関係なく符号化の制約を規定するが、スライス境界においてそれら制約を規定する。それら制約の使用により、符号器はフレームをリフレッシュするのに必要なデータを複数の後続フレームに分割できる。
【０１２３】
そのような方法は、ピアツーピア会議及び多人数参加型会議において利点がある。ピアツーピア会議中、符号器は、先のフレームが失われたと判定した場合に新しいＭＰＥＧ繰返し構造を開始するためにＩフレームを再送信しなければならない。そのようなＩフレームは、多くのネットワーク帯域幅を消費する。従って、いくつかの実施形態における符号器は、フレーム全体より小さいフレームのセクションに対する２つ以上のフレームを介してブロック内符号化データを提供する。
【０１２４】
図３１は、ピアツーピア会議の場合のその１つの例を示す。この例において、２人の参加者がピアツーピア送信に関係する。各参加者は、符号器及び復号器を有する。各復号器は、適切なフレームを受信した時に他者の符号器に通知する。一方の符号器が他者の復号器に送出するフレームに対する例を示す。
【０１２５】
時間軸３１０５に示すように、符号器は、時間１においてフレーム３１１０を送出する。そのフレーム３１１０は送信中に破損するか又は失われる。動作遅延及び送信遅延のために、符号器は時間３までそのエラーを認識しない。復号器がフレームにおいてビットエラーが存在することを符号器に通知するか又はフレーム３１１０の送信中にエラーが発生したことに符号器が気付いた時、符号器はそのエラーを認識する。ＭＰＥＧ繰返し構造の残りのフレームがフレーム３１１０なしでは復号化されないため、符号器は新しい繰返し構造を開始するためにＩフレームを再送信する必要がある。
【０１２６】
ＩフレームがＰフレーム又はＢフレームより非常に大きいため、符号器は次のフレーム３１１５を上側スライス３１２０及び下側スライス３１２５の２つのスライスに分割する。符号器は、ブロック内符号化スライスである上側スライスを送出し、下側スライス３１２５を破棄する（すなわち、下側スライス３１２５に対する映像データを送出しない）。符号器は、次のフレーム３１３０を上側スライス３１３５及び下側スライス３１４０に分割する。しかし、このフレームの場合、符号器は、上記符号化の制約の観点から上側スライス３１３５をブロック間符号化し、下側スライス３１４０をブロック内符号化する。
【０１２７】
時間４において、復号器は、受信した上側スライス３１２０及び後続のスライス３１３５に対するブロック間符号化データの組合せを使用して、復号化リフレッシュフレーム３１４５の上半分を生成する。復号器は、復号化リフレッシュフレーム３１４５の下半分を下側スライス３１４０になるように規定する。時間４の後、符号器が次の不良サブフレーム又は失われたサブフレームに気付くまで、全ての後続フレームは別個のサブフレームに分割されることなく正常に符号化される。
【０１２８】
他の実施形態は、ブロック内符号化データを３つ以上のフレームに分割してもよい。更にこの技術は、多人数参加型会議における２つ以上の合成フレームの中の特定のサブフレームに対するブロック内符号化データを分割するために使用される。更に、上述の方法は、送信エラーに対して何も行なわない他の状況においてＩフレームデータを送信するのに使用される。例えばこの方法は、新しいＩフレームがテレビ会議の映像シーケンスにおいて確立される必要がある度に使用される。
【０１２９】
ｃ）帯域幅を節約するための長期参照フレームの用途
本発明のいくつかの実施形態において、符号器は、符号器と復号器との間で上述のハンドシェイクを使用して、復号器が受信した最後の周知の完全な参照フレーム（Ｉフレーム又はＰフレーム）を追跡する。復号器は、この最後の周知の完全なフレーム又は長期参照フレームを保管する。送信エラーの場合、符号器は、保管される長期参照フレームを使用して後続フレームの符号化を開始する。従って、符号器は、大きなＩフレームを送信する必要なく更なる誤り伝播を阻止する。この技術は、ピアツーピア会議及び多人数参加型会議において使用される。
【０１３０】
図３２は、長期参照フレームの用途の例を示す。この例において、符号器及び復号器は、フレーム３２０５が復号器により受信された最後の周知の完全な参照フレームであることを理解している。このフレームは、Ｉフレーム又はＰフレームであってもよい。時間２において、復号器は、フレーム３２１０を受信しないか、あるいはビットエラーを有することに気付いて符号器に通知する。フレームが復号器において失われた時間と符号器が通知された時間との間の遅延のために、この例における符号器は、復号器がフレーム３２１０を受信していないことを時間６において判定する。この時まで、時間３〜５において送信された全てのフレームはフレーム３２１０に依存していたため、復号器はそれらフレームを使用できない。
【０１３１】
時間６において、符号器は後続フレームを符号化するためにフレーム３２１０〜３２２５を使用することを停止する。その代わり、符号器はフレーム３２３０を符号化するために長期参照フレーム３２０５を使用する。復号器は、そのフレームのコピーを保管したためフレーム３２３０を復号化できる。符号器は、復号器により受信されたフレーム１又はフレーム６を参照として使用して全ての後続フレームを符号化するため、送信は同期される。
【０１３２】
Ｖ．コンピュータシステム
図３３は、本発明のいくつかの実施形態を実現するのに使用されるコンピュータシステムを概念的に示す。コンピュータシステム３３００は、バス３３０５、プロセッサ３３１０、システムメモリ３３１５、読み出し専用メモリ３３２０、永久記憶装置３３２５、入力装置３３３０及び出力装置３３３５を含む。
【０１３３】
バス３３０５は、コンピュータシステム３３００の内部装置間の通信をサポートする全てのシステム、周辺装置及びチップセットバスを一括して表す。例えば、バス３３０５は、プロセッサ３３１０を読み出し専用メモリ３３２０、システムメモリ３３１５及び永久記憶装置３３２５に通信可能に接続する。
【０１３４】
プロセッサ３３１０は、本発明の処理を実行するために、それら種々の記憶装置から実行する命令及び処理するデータを検索する。読み出し専用メモリ（ＲＯＭ）３３２０は、プロセッサ３３１０及びコンピュータシステムの他のモジュールにより必要とされる静的データ及び命令を格納する。一方、永久記憶装置３３２５は書き込み／読み出しメモリ素子である。この装置は、コンピュータシステム３３００がｏｆｆの時でも命令及びデータを格納する不揮発性記憶装置である。本発明のいくつかの実施形態は、大容量記憶装置（磁気ディスク又は光ディスク及びその対応するディスクドライブ等）を永久記憶装置３３２５として使用する。他の実施形態は、取外し可能記憶装置（フロッピディスク又はzip(R)ディスク及びその対応するディスクドライブ等）を永久記憶装置として使用する。
【０１３５】
永久記憶装置３３２５と同様に、システムメモリ３３１５は書き込み／読み出しメモリ素子である。しかし、記憶装置３３２５とは異なり、システムメモリはランダムアクセスメモリ等の揮発性書き込み／読み出しメモリである。システムメモリは、プロセッサが実行時に必要とする命令及びデータの一部を格納する。いくつかの実施形態において、本発明の処理は、システムメモリ３３１５、永久記憶装置３３２５及び／又は読み出し専用メモリ３３２０に格納される。
【０１３６】
バス３３０５は、入力装置３３３０及び出力装置３３３５を更に接続する。入力装置により、ユーザはコンピュータシステムに対して情報を通信し且つコマンドを選択できる。入力装置３３３０は、英数字キーボード及びカーソルコントローラを含む。出力装置３３３５は、コンピュータシステムにより生成される画像を表示する。例えば、それら装置はＩＣ設計レイアウトを表示する。出力装置は、陰極線管（ＣＲＴ）ディスプレイ又は液晶ディスプレイ（ＬＣＤ）等の表示装置及びプリンタを含む。
【０１３７】
最後に、図３３に示すように、バス３３０５はコンピュータ３３００をネットワークアダプタ（不図示）を介してネットワーク３３６５に結合する。このように、コンピュータは、コンピュータのネットワーク（ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）又はイントラネット等）又は複数のネットワークのうちの１つのネットワーク（インターネット等）の一部となる。コンピュータシステム３３００の任意又は全ての構成要素は、本発明と共に使用されてもよい。しかし、任意の他のシステム構成が本発明と共に使用されてもよいことは、当業者には理解されるだろう。
【０１３８】
多くの特定の詳細を参照して本発明を説明したが、本発明は、本発明の趣旨の範囲から逸脱せずに他の特定の形態で実現できることが当業者には理解されるだろう。本発明の趣旨の範囲から逸脱せずに、説明された要素に対して均等物が代用されてもよく且つ種々の変更が行なわれてもよい。例えば、合成フレームの生成後に符号化を行なうのではなく、いくつかの実施形態の焦点位置モジュール５１０は、送信のために符号化フレームを１つの合成フレームにパッケージ化する前に非焦点参加者のフレームを符号化してもよい。
【０１３９】
上述のように、いくつかの実施形態は設定された間隔で合成を実行し、遅れて到着するフレーム（図１０のＡ３等）がまだ送出されていない先のフレーム（図１０のＡ２等）を上書きすることを可能にする。しかし、他の実施形態は、まだ送出されていないフレームが破棄されることを防止してもよい。例えばいくつかの実施形態は、設定された間隔で合成フレームを送出することを待たず、ある特定の数の新しいフレームが非焦点参加者から受信された時に合成フレームを送出してもよい。従って、本発明は、上述の詳細により限定されず、添付の請求の範囲により規定されることが当業者には理解されるだろう。
【技術分野】
【０００１】
本発明は、多人数参加型テレビ会議における映像処理に関する。
【背景技術】
【０００２】
汎用コンピュータの普及に伴い、パーソナルコンピュータ又はビジネスコンピュータを介してテレビ会議を行なうことに対する要求が大きくなってきた。しかし、そのような会議を確立するには、参加者間のデータ転送方法において大きな課題がある。従来の解決策では大量のデータの交換を必要とし、それにより多くの計算資源及び多くの帯域幅が消費される。
【０００３】
それら資源及び帯域幅に制限があるため、家及びオフィスで使用するために容易に入手可能である汎用コンピュータは、テレビ会議を効果的及び安価に実行できなかった。従って、従来技術において、テレビ会議の参加者間でデータを送信する効率的な方法を使用するテレビ会議アーキテクチャが必要とされる。そのような方法により、テレビ会議は一般に利用可能なネットワーク接続を介して行なわれる。
【発明の概要】
【課題を解決するための手段】
【０００４】
いくつかの実施形態は、多人数参加型テレビ会議を確立するアーキテクチャを提供する。このアーキテクチャは、２人以上の参加者からビデオ画像を受信する中央配信装置を有する。中央配信装置は、中央配信装置が参加者に送り返す合成画像を受信した画像から生成する。各合成画像はサブ画像のセットを含み、各サブ画像は１人の参加者に属する。いくつかの実施形態において、中央配信装置は、中央配信装置が特定の各参加者に送出する合成画像からその特定の参加者の画像を除去することによりネットワーク帯域幅を節約する。いくつかの実施形態において、各参加者から受信した画像は、非インターリーブ方式で配置されて合成画像となる。例えばいくつかの実施形態において、合成画像は各参加者に対して最大１つのサブ画像を含み、２つのサブ画像がインターリーブされない。
【０００５】
中央配信装置及び参加者のコンピュータは、種々の形態をとることができる。換言すると、それらコンピュータは、スタンドアロンデスクトップ、ラップトップ及び／又はハンドヘルドコンピュータ、あるいは民生電子機器又は通信装置、ホームメディアセンタ、ハブ等の任意の種類の装置に組み込まれてもよい。
【図面の簡単な説明】
【０００６】
添付の請求の範囲において、本発明の新しい特徴を示す。しかし、説明の目的でいくつかの実施形態を以下の図において示す。
【図１】図１は、本発明のいくつかの実施形態のテレビ会議アーキテクチャの一例を示す図である。
【図２】図２は、いくつかの実施形態が多人数参加型テレビ会議において映像コンテンツを交換する方法を示す図である。
【図３】図３は、いくつかの実施形態が多人数参加型テレビ会議において映像コンテンツを交換する方法を示す図である。
【図４】図４は、１人の参加者のディスプレイ上における参加者の画像の好適な配置を示す図である。
【図５】図５は、本発明のいくつかの実施形態のテレビ会議アプリケーションのソフトウェアコンポーネントを示す図である。
【図６】図６は、本発明のいくつかの実施形態の焦点位置モジュールを示す図である。
【図７】図７は、いくつかの実施形態の焦点位置モジュールが生成する合成映像データ及び映像ストリームを示す図である。
【図８】図８は、いくつかの実施形態の焦点位置映像処理を示すフローチャートである。
【図９】図９は、本発明のいくつかの実施形態における差分比較器を有する焦点位置モジュールを示す図である。
【図１０】図１０は、異なる時間に焦点位置符号器に到着する新しいフレームの例を示す図である。
【図１１】図１１は、非テレビ会議アプリケーションにおいて冗長フレームを回避するアプリケーションを示す図である。
【図１２】図１２は、いくつかの実施形態の非焦点位置モジュールを示す図である。
【図１３】図１３は、いくつかの実施形態の非焦点位置モジュールの復号化動作を示すフローチャートである。
【図１４】図１４は、いくつかの実施形態における差分比較器を有する非焦点位置モジュールを示す図である。
【図１５】図１５は、いくつかの実施形態における参加者のサブフレームの焦点位置の２×２の位置付けを示す図である。
【図１６】図１６は、いくつかの実施形態において、焦点位置がいくつかの符号器を使用して、各参加者が受信する合成画像からその参加者自身の画像を削除する方法を示す図である。
【図１７】図１７は、いくつかの実施形態において、合成ビデオ画像を符号化するために符号器が利用するステップを示すフローチャートである。
【図１８】図１８は、動きベクトルに対して許可される探索ウィンドウの一例を示す図である。
【図１９】図１９は、本発明のいくつかの実施形態において、許可されない動きベクトル探索ウィンドウの一例を示す図である。
【図２０】図２０は、現在のサブフレームに適合するようにトリミングされる動きベクトルに対する探索ウィンドウの一例を示す図である。
【図２１】図２１は、現在のサブフレームに適合するように移動される動きベクトルに対する探索ウィンドウの一例を示す図である。
【図２２】図２２は、いくつかの実施形態において、動きベクトル探索ウィンドウが現在のサブフレームに適合するように調整される方法を示すフローチャートである。
【図２３】図２３は、サブフレームの一部分における整数画素及び小数画素位置の一例を示す図である。
【図２４】図２４は、いくつかの実施形態において、符号器が動きベクトルの対象となる位置を制約する方法を示すフローチャートである。
【図２５】図２５は、いくつかの実施形態において、動きベクトル境界バッファ領域を示す図である。
【図２６】図２６は、いくつかの実施形態において、符号器がマクロブロック内予想に与える制限を示す図である。
【図２７】図２７は、いくつかの実施形態において、非ブロック化フィルタが使用する画素のグループに対して与えられる制限を示す図である。
【図２８】図２８は、いくつかの実施形態が非ブロック化フィルタを同一サブフレームの画素に制限する方法を示すフローチャートである。
【図２９】図２９は、いくつかの実施形態において、合成フレームのサブフレームの異なる処理を示す図である。
【図３０】図３０は、いくつかの実施形態において、合成フレームのサブフレームの異なる処理を示す図である。
【図３１】図３１は、いくつかの実施形態において、同一フレーム内のサブフレームの異なる処理を示す図である。
【図３２】図３２は、帯域幅を節約するために、いくつかの実施形態における長期参照フレームの用途を示す図である。
【図３３】図３３は、本発明の一実施形態を実現するのに使用されるコンピュータシステムを示す図である。
【発明を実施するための形態】
【０００７】
以下において、説明の目的で多くの詳細を示す。しかし、本発明は、それら特定の詳細を使用せずに実現されてもよいことが当業者には理解されるだろう。他の例において、不必要な詳細により本発明の説明を曖昧にしないように、周知の構成及び装置がブロック図の形態で示される。
【０００８】
いくつかの実施形態は、多人数参加型テレビ会議を確立するアーキテクチャを提供する。このアーキテクチャは、２人以上の参加者からビデオ画像を受信する中央配信装置を有する。中央配信装置は、中央配信装置が参加者に送り返す合成画像を受信した画像から生成する。各合成画像はサブ画像のセットを含み、各サブ画像は１人の参加者に属する。いくつかの実施形態において、中央配信装置は、中央配信装置が特定の各参加者に送出する合成画像からその特定の参加者の画像を除去することによりネットワーク帯域幅を節約する。いくつかの実施形態において、各参加者から受信した画像は、非インターリーブ方式で配置されて合成画像となる。例えばいくつかの実施形態において、合成画像は各参加者に対して最大１つのサブ画像を含み、２つのサブ画像がインターリーブされない。
【０００９】
本発明のいくつかの詳細な実施形態を以下に説明する。それら実施形態において、中央配信装置はテレビ会議の１人の参加者のコンピュータであり、中央配信装置との間で送信される画像は映像フレームである。他の実施形態が異なる方法で実現されることは、当業者には理解されるだろう。例えば、いくつかの実施形態における中央配信装置は、テレビ会議の任意の参加者のコンピュータではない。また、いくつかの実施形態において、中央配信装置との間で送信される画像は映像フレームではない（例えば画像は、フレームを含むフィールドであってもよく、あるいは他のビデオ画像表現であってもよい）。
【００１０】
Ｉ．概要
図１は、本発明のいくつかの実施形態のテレビ会議アーキテクチャ１００の一例を示す。このアーキテクチャは、複数の参加者がテレビ会議に参加することを可能にする。図１に示す例において、４人の参加者Ａ、Ｂ、Ｃ及びＤは、各々の４つのコンピュータ１０５〜１２０及びそれらコンピュータを接続するネットワーク（不図示）を介してテレビ会議に参加する。それらコンピュータを接続するネットワークは、ローカルエリアネットワーク、ワイドエリアネットワーク、複数のネットワークのうちの１つのネットワーク（例えば、インターネット）等の任意のネットワークである。
【００１１】
テレビ会議中、１人の参加者（この例においては参加者Ｄ）のコンピュータ１０５は、図１に示すように音声／映像コンテンツの中央配信装置としての役割を果たす。この中央配信装置１２５は、以下において多人数参加型会議の焦点位置と呼ばれる。他の参加者のコンピュータは、以下において非焦点マシン又は非焦点コンピュータと呼ばれる。
【００１２】
以下の説明は、焦点及び非焦点コンピュータの映像動作に焦点を当てる。コンピュータの音声動作は、米国特許出願第１１／１１８，５５５号「Audio Processing in aMulti-Participant Conference」Attorney DocketNo. APLE.P0087において更に説明される。更に、米国特許出願第１１／１１８，９３１号「Multi-ParticipantConferenceSetup」Attorney Docket No. APLE.P0084は、いくつかの実施形態が図１に示すような焦点位置アーキテクチャを介して多人数参加型テレビ会議をセットアップする方法を説明する。これら双方の特許出願を引用することによってその内容をここに合体する。
【００１３】
音声／映像コンテンツの中央配信装置として、焦点位置１２５は、各参加者からビデオ画像を受信し、それら画像を合成及び符号化し、合成画像を各非焦点マシンに送信する。図２は、図１の４人の参加者の例に対する画像の交換の一例を示す。特に図２は、各参加者から１つの映像フレーム２１５〜２２５を受信する焦点位置１２５を示す。焦点位置１２５は、各受信フレーム及び焦点位置参加者Ｄのフレーム２３５を含む合成フレーム２３０を受信画像２１５〜２２５から生成する。焦点位置１２５は、合成フレーム２３０を各非焦点マシン１１０、１１５及び１２０に送信する。
【００１４】
図２に示す例において、特定の各非焦点参加者に送信される合成フレーム２３０は、その特定の非焦点参加者の映像フレームを含む。しかし、いくつかの実施形態において、焦点位置は、焦点位置が特定の非焦点参加者に送信する合成画像からその特定の非焦点参加者の画像を除去する。帯域幅を節約するために、焦点位置１２５は各参加者自身の画像を対応する合成画像から除去する。
【００１５】
図３は、図２に示す例に対するその除去の一例を示す。特に図３は、（１）参加者Ａに対して、参加者Ａ自身の画像２１５を有さない合成画像３３０と、（２）参加者Ｂに対して、参加者Ｂ自身の画像２２０を有さない合成画像３３５と、（３）参加者Ｃに対して、参加者Ｃ自身の画像２２５を有さない合成画像３４０とを示す。
【００１６】
図３は、いくつかの実施形態が、非焦点参加者自身の画像の代わりに、合成画像３３０の非焦点参加者の画像の位置に空フィールドフラグ３４５を挿入することを示す。このフラグは、非焦点参加者自身の画像に対応するサブ画像が無いことを示す。このインディケータ３４５のサイズが非焦点参加者の画像のサイズより非常に小さいため、特定の非焦点参加者の合成画像からその参加者の画像を除去することにより、合成画像が使用する帯域幅の量は減少する。いくつかの実施形態は、空フィールドフラグ３４５を使用せず、特定の非焦点参加者に送出される合成画像からその特定の非焦点参加者の画像を単純に除去する。例えばいくつかの実施形態において、各画像の各符号化マクロブロックがその位置を表す識別子を有するため、非焦点位置モジュールの復号器は、どのように残りの符号化サブ画像でビデオ画像を構成するかを決定する。
【００１７】
各非焦点マシンが符号化合成画像を受信すると、非焦点マシンは、合成画像を復号化し、合成画像の各サブ画像を抽出し、復号化され且つ抽出された画像をディスプレイ上に表示する。図４は、テレビ会議に４人の参加者が存在する場合の表示の一例を示す。図４に示すように、３人の他の参加者の画像４０５〜４１５は、参加者のコンピュータディスプレイ４００に水平方向に表示される。ローカル参加者自身の画像４２０は、他の参加者の画像４０５〜４１５に対して小さなサイズで表示され、ディスプレイ４００の下部に位置付けられる。
【００１８】
いくつかの実施形態は、焦点及び非焦点位置動作を実行できるテレビ会議アプリケーションにより実現される。図５は、そのような１つのアプリケーションに対するソフトウェアアーキテクチャを示す。特に図５は、焦点位置モジュール５１０及び非焦点位置モジュール５１５の２つのモジュールを有するテレビ会議アプリケーション５０５を示す。それらモジュール５１０及び５１５、並びにテレビ会議アプリケーション５０５は、テレビ会議の参加者のコンピュータのオペレーティングシステム５２０上で動作する。
【００１９】
多人数参加型テレビ会議中、テレビ会議アプリケーション５０５は、会議の焦点位置としての役割を果たす場合には焦点位置モジュール５１０を使用し、焦点位置としての役割を果たさない場合には非焦点位置モジュールを使用する。テレビ会議アプリケーション５０５が多人数参加型テレビ会議の焦点位置である場合、焦点位置モジュール５１０は焦点位置映像処理動作を実行する。一方、アプリケーション５０５が会議の焦点位置でない場合、非焦点位置モジュール５１５は非焦点位置映像処理動作を実行する。いくつかの実施形態において、焦点位置モジュール５１０及び非焦点位置モジュール５１５はある特定のリソースを共有する。
【００２０】
本明細書の節ＩＩにおいて焦点位置モジュール５１０を説明し、節ＩＩＩにおいて非焦点位置モジュール５１５を説明する。
【００２１】
ＩＩ．焦点位置モジュール
図６は、本発明のいくつかの実施形態の焦点位置モジュール５１０を示す。この例において、３人の非焦点参加者及び１人の焦点参加者の４人の参加者を含むテレビ会議の間の焦点位置モジュール５１０を示す。特に図６は、３つの復号器６２０〜６３０、３つの中間バッファ６３５〜６４５、３つのリサイザ６４７〜６４９、ローカル画像取り込みモジュール６５１、フレームレートコントローラ６５２、合成画像バッファ６５５、符号器６６０、冗長性除去器６６５、パースペクティブ調整器６７５及びローカル画像コントローラ６８５を利用する、焦点位置モジュール５１０を示す。
【００２２】
復号器６２０〜６３０、中間バッファ６３５〜６４５及びリサイザ６４７〜６４９は、３つの映像復号化パイプラインから合成画像バッファ６５５の３つのセクション６５７〜６５９を形成する。それら３つの映像復号化パイプラインにより、焦点位置モジュール５１０は、テレビ会議中に最大３人の参加者からの映像信号を復号化及び合成できる。
【００２３】
特に、各復号器６２０、６２５又は６３０は、テレビ会議中に１つの非焦点コンピュータからの映像信号を復号化する役割を果たす。図１に示す例に対して、図６は、参加者Ａのコンピュータから映像信号を受信する復号器６２０、参加者Ｂのコンピュータから映像信号を受信する復号器６２５及び参加者Ｃのコンピュータから映像信号を受信する復号器６３０を示す。受信フレームの復号化後、各復号器６２０、６２５又は６３０は、中間バッファ６３５、６４０又は６４５に復号化フレームを格納する。いくつかの実施形態において、各中間バッファは焦点位置コンピュータのメモリ中の場所である。
【００２４】
各リサイザ６４７、６４８又は６４９は、特定のフレームサンプリングレートで（１）対応する中間バッファに格納されるフレームを検索し、（２）必要に応じてそのフレームをサイズ変更し、（３）合成画像バッファ６５５の対応するセクションにフレームを格納する。例えばリサイザ６４８は、中間バッファ６４０から参加者Ｂの復号化フレームを検索し、必要に応じて検索したフレームをサイズ変更し、そのフレームを合成バッファセクション６５８に格納する。
【００２５】
フレームレートコントローラ６５２は、リサイザ６４７〜６４９が中間バッファ６３５〜６４５からフレームを検索する際のフレームサンプリングレートを規定する。フレームレートコントローラ６５２は、システム帯域幅、焦点位置コンピュータの計算資源、テレビ会議の参加者数等を含む種々の因子に基づいてそのレートを判定する。コントローラ６５２がリサイザ６４７〜６４９に与えるフレームサンプリングレートで、フレームレートコントローラ６５２は、ローカル画像取り込みモジュール６５１に対してフレームを合成画像バッファ６５５のセクション６５６に格納するように指示する。それら格納されたフレームは、テレビ会議中に焦点位置コンピュータを使用しているテレビ会議参加者の画像である。それら画像は、焦点位置コンピュータにおいてカメラ６５０及び画像取り込みモジュール６５１により取り込まれる。いくつかの実施形態において、テレビ会議の状態の変化に従って、フレームレートコントローラ６５２はテレビ会議中に特定のフレームレートを変更する。
【００２６】
上述のように、リサイザ６４７〜６４９は、コントローラ６５２から受信するフレームレートに基づいてバッファ６３５〜６４５からフレームを検索する。その検索したフレームを供給した非焦点コンピュータがそのフレームに対する合成バッファセクションのサイズと異なるサイズでそのフレームを供給した場合、リサイザは、検索したフレームを合成画像バッファに格納する前にそのフレームをサイズ変更する。例えば、符号化中に帯域幅又は計算資源を節約するために、非焦点コンピュータはより小さいフレームを符号化及び送信してもよい（すなわち、粗粒度でフレームを符号化し、各フレームに対してより少ない符号化コンテンツを含むパケットを送信する）。
【００２７】
更に上述のように、リサイザ６４７〜６４９は、合成画像バッファ６５５の対応するセクション６５７〜６５９に潜在的にサイズ変更されたフレームを格納する。いくつかの実施形態において、合成画像バッファ６５５は、焦点位置コンピュータのメモリ中の場所であり、そのバッファの各セクション６５６〜６５９は、メモリのその場所における連続した論理セクションである。
【００２８】
符号器６６０は、コントローラ６５２が規定するサンプリングレートで、合成画像バッファに格納される合成フレームを符号化する。符号器は、合成画像バッファ６５５の他のセクションに格納されるサブフレームに関係なく、各セクション６５６、６５７、６５８又は６５９に格納されるサブフレームを符号化する。
【００２９】
これを示すために、図７は合成フレームの符号化を要約する図を提示する。特に図７は、合成画像バッファ６５５の４つのセクション６５６〜６５９を示す。その符号化のために、セクション６５６〜６５９のサブフレームは画素のセットに分割される。例えばいくつかの実施形態において、各サブフレームはマクロブロックのセットに分割され、それらは他のフレームのマクロブロックを参照せずにイントラエンコード（intra-encode）されるか又は別のフレームのマクロブロックを参照してインターエンコード（inter-encode）される。図７は、セクション６５６のサブフレームをいくつかのマクロブロック７０５〜７１０に分割すること、セクション６５７のサブフレームをいくつかのマクロブロック７１５〜７２０に分割すること、セクション６５８のサブフレームをいくつかのマクロブロック７２５〜７３０に分割すること及びセクション６５９のサブフレームをいくつかのマクロブロック７３５〜７４０に分割することを示す。
【００３０】
上述のように、各サブフレームの符号化が他のサブフレームに依存しないように（すなわち、１つのセクションの符号化が各セクションの境界を越えて映像データを使用しないように）、符号器６６０は各セクション６５６、６５７、６５８又は６５９の各サブフレームの符号化を分離する。例えば、セクション６５７の参加者Ａのサブフレームのマクロブロックの符号化は、セクション６５８の参加者Ｂのサブフレームのマクロブロックの符号化に依存しない。この符号化を以下に更に説明する。
【００３１】
合成フレームの符号化後、符号器６６０は、別個のセクションの各参加者の符号化映像データを含む（すなわち、別個の非インターリーブセクションの種々の参加者の符号化映像データを含む）符号化映像ストリームを冗長性除去器に供給する。例えば図７は、合成フレームのイントラエンコード又はインターエンコードされたマクロブロックの各々に対する符号化データを含む符号化映像ストリーム７５０を示す。図７に示すように、この合成ストリーム７５０において、各サブフレームに対する符号化データは他のサブフレームの符号化データとインターリーブされない。
【００３２】
符号化ストリームの非インターリーブ構成により、冗長性除去器は、特定の非焦点参加者に送信される映像ストリームからその特定の非焦点参加者の映像データを迅速に除去できる。例えば図７は、（１）参加者Ａに対して、参加者Ａの符号化映像データを空フィールドフラグ７６０と置換した映像ストリーム７５５と、（２）参加者Ｂに対して、参加者Ｂの符号化映像データを空フィールドフラグ７７０と置換した映像ストリーム７６５と、（３）参加者Ｃに対して、参加者Ｃの符号化映像データを空フィールドフラグ７８０と置換した映像ストリーム７７５とを示す。上述のように、いくつかの実施形態は、そのような空フィールドフラグを採用せず、非焦点モジュール復号器に依存して空のサブフレームを自動的に識別する。
【００３３】
冗長性除去器が各参加者の映像ストリームからその参加者の冗長画像データを除去すると、冗長性除去器は参加者の映像ストリームをその参加者に送信する。従って、図６は３人の非焦点参加者Ａ、Ｂ及びＣに３つの映像ストリームを送出する冗長性除去器６６５を示す。
【００３４】
図６は、焦点位置モジュール５１０のパースペクティブ調整器６７５が合成画像バッファ６５５の焦点位置サブ画像６５６から焦点位置参加者の画像を検索することを更に示す。パースペクティブ調整器６７５は、中間バッファ６３５、６４０及び６４５から非焦点参加者のサブ画像を検索する。調整器６７５は、図４に示す透視図に対して合成画像の各非焦点参加者のサブフレームを調整する。調整器６７５は、調整した合成フレームをローカル画像コントローラに供給し、ローカル画像コントローラは、焦点位置コンピュータの表示装置６９５に表示するために最終的な合成画像を描画する。
【００３５】
テレビ会議中、焦点位置モジュール５１０の各構成要素は、上述の動作を反復的に実行する。図８は、いくつかの実施形態において、焦点位置モジュール５１０のそれら反復動作を概念的に示す処理８００を提示する。いくつかの実施形態において、焦点位置モジュール５１０は、ｎ人の参加者を含むテレビ会議に対して処理８００を実行する。ここで、ｎは３以上の任意の数字である。
【００３６】
図８に示すように、焦点位置処理８００は、まずテレビ会議に関する１つ以上のパラメータを定義する（８０５）。８０５において、種々の実施形態が種々のパラメータを定義する。そのようなパラメータの例には、各非焦点コンピュータの符号器により使用される符号化の種類、各非焦点コンピュータにより送信されるフレームのサイズ、焦点位置コンピュータにより使用される符号化の種類、合成画像バッファのサイズ等が含まれる。上述の本願に取り込まれた米国特許出願「Multi-Participant ConferenceSetup」は、それらパラメータが、いかにして設定され且つ場合によってはテレビ会議中にいかにして再設定されるかを説明する。
【００３７】
次に、焦点位置モジュールは、各非焦点コンピュータからフレームを受信する（８１０）。焦点位置モジュール５１０の復号器（例えば、復号器６２０、６２５又は６３０）は、受信フレームを復号化し（８１５）、復号化フレームを中間画像バッファ（例えば、バッファ６３５、６４０又は６４５）に格納する。特定の非焦点コンピュータからのフレームを復号化するために、復号器は、特定の非焦点コンピュータが使用する符号化に適切な復号化アルゴリズムを使用する。これら符号化及び／又は復号化アルゴリズムは、処理８００の初期化動作８０５の間に特定される。いくつかの実施形態において、上述の取り込まれた特許出願において説明したように、テレビ会議の状態の変化に従って、それらアルゴリズムはテレビ会議中に再度特定されてもよい。
【００３８】
８１５において、焦点位置モジュール５１０は、リサイザが中間バッファをサンプリングする（すなわち、３人の非焦点参加者の場合には、中間バッファ、即ちバッファ６３５〜６４５から復号化フレームを検索する）時点であるかを判定する（８１７）。上述のように、サンプリングレートはフレームレートコントローラ６５２により設定される。
【００３９】
リサイザが中間バッファをサンプリングする時点ではないと処理８００が判定した場合（８１７）、８１８に移る。８１８において、新しいフレームが非焦点参加者から受信されたかを判定する。受信されたと判定した場合、８１５に移り、受信フレームを復号化し且つ適切な中間画像バッファに復号化フレームを格納する。一方、フレームを受信していないと判定した場合（８１８）、８１７に戻り、リサイザが中間バッファをサンプリングする時点であるかを判定する。
【００４０】
リサイザが中間バッファをサンプリングする時点であると判定した場合（８１７）、リサイザ（例えば、リサイザ６４７〜６４９）は、中間バッファ（例えば、バッファ６３５〜６４５）から復号化フレームを検索し（８２０）、必要に応じてそれら検索したフレームをサイズ変更し、それらフレームを合成画像バッファ６５５に格納する。
【００４１】
次の８２５において、ローカル画像取り込みモジュール６５１は、カメラ６５０が取り込む焦点位置コンピュータを使用している参加者のフレームを合成バッファセクション６５６に格納する。８３０において、合成画像バッファからの焦点位置サブ画像６５６、並びに中間バッファ６３５、６４０及び６４５からの非焦点参加者のサブ画像は、パースペクティブ調整器６７５に供給され、調整器６７５は、図４に示す透視図に対して合成画像の各非焦点参加者のサブフレームを調整する。調整器６７５は、調整した合成フレームをローカル画像コントローラに供給し、ローカル画像コントローラは、焦点位置コンピュータの表示装置６９５に表示するために最終的な合成画像を描画する。
【００４２】
合成フレームは、符号器６６０に供給され（８３５）、符号器６６０は他のサブフレームに関係なく合成画像の各サブフレームを符号化する。冗長性除去器６６５は、符号器により生成される符号化映像ストリームから非焦点参加者の映像コンテンツを除去することにより、各非焦点参加者に対する映像ストリームを生成する（８４０）。冗長性除去器は、各参加者の映像ストリームを参加者に送信する（８４５）。８４５において、焦点位置処理８００は、多人数参加型テレビ会議が終了したかを判定する（８５０）。終了したと判定した場合、処理８００は終了する。終了していないと判定した場合、８１０に戻り、別のフレームを受信する。
【００４３】
上述のように、図８は、いくつかの実施形態における焦点位置の復号化及び符号化動作を示す概念図である。いくつかの実施形態において、焦点位置モジュールは、マルチスレッド処理方式で１つ以上の復号化及び符号化動作を同時に独立して実行する。
【００４４】
更にいくつかの実施形態において、焦点位置モジュールは他のソフトウェアモジュールを含む。例えば図９は、焦点位置モジュールの別の実現例を示す。この実現例は、焦点位置モジュール９００が（１）更新タイムトラッカを有するフレームレートコントローラ９０５、（２）差分比較器９１０及び（３）タイムスタンプフィールドを有する中間バッファ９１５〜９２５を有すること以外は、図６に示す実現例と同様である。
【００４５】
フレームレートコントローラ及び中間バッファの追加の特徴により、焦点位置モジュールは、非焦点位置コンピュータからの同一フレームを２回以上符号化することを回避できる。特に復号器６２０〜６３０の１つが中間バッファ９１５〜９２５の１つに新しいフレームを書き込む場合、その復号器は中間バッファのタイムスタンプフィールドに時間を記録する。
【００４６】
フレームレートコントローラ９０５は、特定のフレームレートで各中間バッファのタイムスタンプフィールドをチェックする。バッファのコンテンツが対応するリサイザに供給された先の時間より中間バッファのタイムスタンプの方が遅いことをフレームレートコントローラが検出した場合、フレームレートコントローラは、バッファの対応するリサイザに対してバッファのコンテンツを検索するように指示する。あるいは、バッファが対応するリサイザにより読み出された最後の時間とバッファのタイムスタンプとの間に差がないことをフレームレートコントローラが検出した場合、フレームコントローラはリサイザを呼び出してバッファのコンテンツを読み出すことを行なわない。これは、この場合、中間バッファが対応するリサイザにより最後に読み出されて以来新しいフレームを受信していないためである。同一フレームの複数回の読み出しを行なわないことにより、重複フレームの不必要な符号化をなくし、テレビ会議に関わるコンピュータの計算資源及び帯域幅リソースを節約する。
【００４７】
この利点を示すために、図１０は、焦点コンピュータと非焦点コンピュータとの間の信号送信における遅延により、焦点位置コンピュータがある特定の重複フレームの符号化をスキップする一例を提示する。特に図１０は、焦点位置モジュールの中間バッファ９１５〜９２５へのフレームの格納を示す。図中、時間の経過を左から右に示し、焦点位置中間バッファへの各参加者のフレームの格納を水平な線上に配置された点により示す。
【００４８】
例えば時間０において、焦点位置中間バッファは焦点位置及び全ての非焦点参加者からの新しいフレームを有する。それらフレームは、図１０においてＦ１、Ａ１、Ｂ１及びＣ１でラベル付けされる。それらフレームの各々は符号化され、非焦点参加者に送信される。時間１までに格納される唯一の新しいフレームは焦点参加者の画像であり、図１０においてフレームＦ２として識別される。従って、非焦点位置参加者のフレームは時間０以降変更されていないため、焦点位置モジュールはそれらフレームの検索及び符号化をスキップする。
【００４９】
時間１と時間２との間において、焦点位置コンピュータは、焦点位置カメラから１つの新しいフレームを受信し、参加者Ａから２つの新しいフレームを受信し、参加者Ｂから１つの新しいフレームを受信する。新しく到着したフレームは、図１０においてそれぞれフレームＦ３、Ａ２、Ａ３及びＢ２として識別される。従って、焦点位置モジュールは、時間２までにサブフレームとしてフレームＦ３、Ａ３及びＢ２を合成画像バッファに格納し、それら格納したサブフレームに基づいて合成画像を符号化及び送信する。この場合、フレームＡ２は、焦点位置モジュールにより検索される前に中間バッファにおいて上書きされたため、会議の他の参加者に対して失われる。また、時間２における中間バッファ９２５のコンテンツが時間０から変更されていないため、時間２においてリサイザ６４９（参加者Ｃのデータに対する）は中間バッファ９２５のコンテンツを検索しない。ここで時間０とは、中間バッファ９２５がリサイザ６４９により読み出された最後の時間である。
【００５０】
種々の理由により、焦点位置コンピュータにおけるカメラ６５０は、ローカル画像取り込みモジュール６５１がカメラ６５０からフレームを受信した時に２つ以上の連続する時点間に同一フレームを生成する可能性がある。従って、ローカル焦点位置参加者Ｄの画像の重複処理を回避するために、焦点位置モジュール９００は差分比較器９１０を利用する。特に、フレームレートコントローラ９０５は、特定のフレームレートでローカル画像取り込み６５１に対してローカルカメラ６５０からフレームを取り込むように指示する。図６の取り込みモジュール６５１とは異なり、図９のローカル画像取り込みモジュール６５１は取り込んだフレームを差分比較器９１０に供給する。差分比較器９１０は、合成画像バッファ６５５のセクション６５６にそのフレームを直接格納する。差分比較器９１０は、合成画像バッファのセクション６５６に格納した最後のフレームが受信フレームと同一でないか又はそれ程類似していないと判定する限り、そのセクション６５６に受信フレームを格納する。いくつかの実施形態において、差分比較器９１０は、比較器が合成画像バッファに格納した最後のフレームと受信フレームとの間の差を表す計測値を計算する。計測値が特定の閾値より小さい場合、比較器９１０は、合成画像バッファに格納した最後のフレームと受信フレームとが同一であるか又は非常に類似することを検出する。
【００５１】
合成画像バッファに格納した最後のフレームと受信フレームとが同一であるか又は非常に類似すると比較器が判定した場合、比較器は、テレビ会議に関わるコンピュータの計算資源及び帯域幅リソースを節約するために受信フレームを破棄する。それらフレームが同一であるか又は非常に類似すると判定しなかった場合、比較器は、合成画像バッファのセクション６５６に受信フレームを格納し、次にローカル画像取り込みからフレームを受信した時に差分比較を行なうためにそのフレームのコピーを維持する。
【００５２】
上述のように、フレームレートコントローラの更新追跡及び比較器９１０の差分比較により、合成画像バッファ６５５の１つ以上のセクションは、焦点位置モジュール９００が合成フレームを生成及び符号化している時に空になる可能性がある。従って、焦点位置モジュールによるそのような場合に生成される合成フレームは、１つ以上の空のサブフレームを有する。そのような空のサブフレームは、上述のように、フラグにより識別されてもよく又は非焦点コンピュータの復号器により自動的に識別されてもよい。
【００５３】
重複フレームの処理及び符号化を回避することは、多人数参加型テレビ会議以外の多くの状況において有用である。例えばピアツーピアテレビ会議において、それは、他の参加者からのフレームの重複復号化又はローカルで取り込まれるフレームの重複符号化を回避するのに有用である。
【００５４】
重複処理及び符号化を回避することは、テレビ会議設定においても有用である。図１１は、１つのそのような設定を示す。特に図１１は、コンピュータ１１１０がカメラからフレームを取り込み、それらフレームを符号化し、それらフレームをローカルに格納する例を示す。図示するように、コンピュータ１１１０は、特定のレートでビデオカメラ１１０５からフレームを取り込むローカル取り込みモジュールを有する。種々の理由により、カメラ１１０５は、ローカル画像取り込みモジュール１１１５がカメラからフレームを受信する時に２つ以上の連続する時点の間に同一フレームを生成する可能性がある。
【００５５】
ローカル画像取り込みモジュール１１１５は、取り込まれた各フレームを差分比較器１１２０に供給する。比較器１１２０は、取り込まれたフレームを符号器１１２５に転送してもしなくてもよい。特に比較器１１２０は、取り込みモジュール１１１５から受信するフレームと比較器が符号器１１２５に供給した最後のフレームとを比較する。２つのフレームが同一であるか又は非常に類似する場合、差分比較器は符号器への受信フレームの供給を行なわない。あるいは、２つのフレームが同一でないか又はそれ程類似していない場合、差分比較器は符号化するために受信フレームを符号器に転送する。符号器は、受信するフレームを符号化し、それらフレームを記憶装置に格納する。記憶装置は、コンピュータメモリ、ハードディスク、ＤＶＤ又は同様の媒体である。
【００５６】
ＩＩＩ．非焦点位置モジュール
図１２は、本発明のいくつかの実施形態の非焦点位置モジュール５１５を示す。非焦点位置モジュールは、符号化及び復号化動作を実行する。符号化動作に対して、非焦点位置モジュール５１５は、ローカル画像取り込みモジュール１２４０、フレームレートコントローラ１２４２及び符号器１２５０を利用する。復号化動作に対して、非焦点位置モジュール５１５は、復号器１２１０、中間バッファ１２１５、パースペクティブ調整器１２２０及びローカル画像コントローラ１２３０を利用する。
【００５７】
テレビ会議中、非焦点コンピュータに取り付けられたカメラ１２２５は、非焦点位置コンピュータを使用しているテレビ会議の参加者を撮影する。符号化動作中、ローカル画像取り込みモジュール１２４０は、カメラにより生成される映像フレームを受信して取り込む。フレームレートコントローラ１２４２により特定される特定のサンプリングレートで、ローカル画像取り込みモジュール１２４０は取り込まれたフレームを符号器１２５０に向け、符号器１２５０はフレームを符号化し且つ焦点位置コンピュータに送信する。いくつかの実施形態において、テレビ会議の状態の変化に従って、フレームレートコントローラ１２４２はテレビ会議中に特定のフレームレートを変更する。
【００５８】
復号化動作中、非焦点モジュール５１５は、焦点位置モジュール５１０から合成フレームを受信し、非焦点コンピュータの表示装置１２３５に表示するためにそれらフレームを復号化する。この復号化動作については、図１３を参照して更に説明する。図１３は、非焦点位置モジュールの復号化処理１３００を概念的に示す。
【００５９】
図１３に示すように、非焦点位置モジュールの復号化処理１３００は、非焦点位置モジュールが焦点位置モジュールから合成フレームを含む映像ストリームを受信した（１３０５）時に開始する。次に、非焦点モジュール５１５の復号器１２１０は受信した合成フレームを復号化する（１３１０）。
【００６０】
いくつかの実施形態において、復号器１２１０は、最初に合成フレームを構成するサブフレームを抽出することなく合成フレームを復号化する。いくつかの実施形態において、復号器は、空のままとなっているサブフレームを識別するために空フィールドフラグを使用する。他の実施形態において、復号器は、他の方法を介してサブフレームを識別できるため（合成フレームの各マクロブロックに関連するサブフレームを識別できるため）、空フィールドフラグに依存する必要はない。
【００６１】
各復号化サブフレームは、テレビ会議の他の参加者のうちの１人のフレームを表す。合成フレームの復号化後、復号器は、復号化合成フレームのサブフレームを中間バッファ１２１５に格納する（１３１５）。いくつかの実施形態において、中間バッファ１２１５は３つの小さな中間バッファにより形成される。その小さな各中間バッファは、復号化合成フレームの潜在的な各サブフレームを格納するためのものである。１３２０において、パースペクティブ調整器は、中間バッファから復号化サブフレームを検索し、他の会議参加者の画像の透視図を調整する。上述のように、図４はそのような透視図の１つの例を示す。調整器１２２０は、調整した合成フレームをローカル画像コントローラ１２３０に供給する。ローカル画像コントローラは、ローカル非焦点位置テレビ会議参加者の映像フレームをローカル画像取り込みモジュール１２４０から受信する。ローカル画像コントローラ１２３０は、非焦点コンピュータの表示装置１２３５に表示するために、他の会議参加者の調整したフレーム及びローカル参加者の取り込んだフレームからテレビ会議ディスプレイプレゼンテーションを描画する（１３２５）。
【００６２】
１３３０の後、非焦点復号化処理１３００は、多人数参加型テレビ会議が終了したかを判定する（１３３５）。終了したと判定した場合、処理１３００は終了する。終了していないと判定する場合、１３０５に戻り、別の符号化合成画像を受信する。
【００６３】
上述のように、図１３は、非焦点位置モジュールの復号化及び符号化動作の簡単化された概念図である。いくつかの実施形態において、非焦点位置モジュールは他のソフトウェアモジュールを含む。例えば図１４は、非焦点位置モジュールの別の実現例を示す。この実現例は、非焦点位置モジュール１４００が差分比較器１４１０を有すること以外は図１２に示す実現例と同様である。
【００６４】
この差分比較器は、図９の差分比較器９１０と同様の役割を果たす。特に差分比較器は、ローカルで取り込まれた同一の又は非常に類似するフレームの重複符号化を防止する。ローカル画像取り込みモジュール１２４０は、フレームを取り込むと、取り込んだフレームを符号器１２５０に直接送出するのではなく差分比較器１４１０に供給する。
【００６５】
差分比較器１４１０は、符号器に供給した最後のフレームが取り込んだフレームと同一でないか又はそれ程類似していないと判定する限り、取り込んだフレームを符号器１２５０に供給する。いくつかの実施形態において、差分比較器１４１０は、比較器が符号器１２５０に供給した最後のフレームと受信フレームとの間の差を表す計測値を計算する。計測値が特定の閾値より小さい場合、比較器１４１０は、符号器に供給した最後のフレームと受信フレームとが同一であるか又は非常に類似することを検出する。
【００６６】
受信フレームが符号器に供給された最後のフレームと同一であるか又は非常に類似すると比較器が判定した場合、比較器は、テレビ会議に関わるコンピュータの計算資源及び帯域幅リソースを節約するために受信フレームを破棄する。それらフレームが同一であるか又は非常に類似すると判定しなかった場合、比較器は、受信フレームを符号器１２５０に供給し、次にローカル画像取り込みからフレームを受信した時に差分比較を行なうためにそのフレームのコピーを維持する。
【００６７】
いくつかの実施形態において、非焦点位置モジュールは、更新タイムトラッカを有するフレームレートコントローラ及びタイムスタンプを有する中間バッファを更に含む。先の節の焦点位置モジュールに対する説明と同様に、これら実施形態において、非焦点位置モジュールは、中間バッファ１２１５からパースペクティブ調整器１２２０に重複復号化画像を送出することを回避することにより計算資源を節約できる。
【００６８】
上述の映像符号化、復号化及び配信技術が多くの利点を有することは、当業者には理解されるだろう。例えば、焦点位置モジュール５１０の映像合成方法は冗長映像データの除去を簡単化し、それによりテレビ会議中に多くの必要なネットワーク帯域幅を節約する。
【００６９】
それら利点を示すために、図１５は、４人のテレビ会議において映像データを合成する別の方法を示す。この方法において、焦点位置モジュールは、２×２形式１５００で参加者のフレームを合成する。焦点位置５１０は、符号化し且つ結果として得られる符号化画像を各参加者に送出する。図１５は、２×２合成フレーム１５００の符号化の結果、異なる参加者からの映像データをインターリーブした映像ストリーム１５５０が得られることを示す。特に、図１５に示される映像ストリーム１５５０の最初の部分は、インターリーブされた焦点位置参加者Ｆ及び非焦点位置参加者Ａからの映像データを示す。
【００７０】
このインターリーブにより、焦点位置モジュールが参加者に供給する映像ストリームから各参加者自身の映像データを除去することは困難になる。この除去を簡単にするために、１つの解決策は、（１）図１６に示すように、３人の異なる非焦点参加者に対して３つの異なる合成映像フレームを生成し、（２）３つの異なる符号器を使用してそれら３つの異なる合成映像フレームを符号化することである。この方法により、参加者が受信する合成映像ストリームから各参加者の映像データは削除されるが、追加の符号器をサポートするためにより多くの処理リソースが必要とされる。
【００７１】
ＩＶ．符号化の制約
Ａ．概要
上記節ＩＩで説明したように、焦点位置モジュールは、２つ以上のサブフレームを有する合成フレームを生成する。各サブフレームは、テレビ会議の参加者のうちの１人からのフレームである。いくつかの実施形態において、焦点位置モジュールは、非インターリーブ方式で各参加者のフレームを合成フレームに配置する。それら実施形態において、符号化処理は、各サブフレームの符号化が別のサブフレームのいずれの部分にも依存しないように制約のセットを利用する。
【００７２】
図１７は、いくつかの実施形態の焦点位置モジュールの符号器６６０の符号化処理１７００を示す。合成フレームの符号化の前に、符号化処理１７００は、合成フレームの種々のサブフレームの符号化が互いに依存しないままであることを保証するために、合成フレームの符号化に対する制約のセットを規定する（１７１０）。それら制約のいくつかの例を以下の節ＩＶ．Ｂ．で更に説明する。いくつかの実施形態において、符号化処理１７００は、合成フレームに対する実行の度に制約のセットを規定せずに（１７１０）、参加者が会議に参加する度又は会議から離脱する度に制約規定動作を実行するようにしてもよい。
【００７３】
１７１０の後、処理１７００は、以下の動作を実行することにより合成フレームを反復的に符号化する。１７１５において、処理１７００は、合成画像バッファ６５５から非符号化サブフレームを検索する。符号化の制約を使用して、符号化処理１７００はその検索したサブフレームを符号化する（１７２０）。符号化サブフレームは、出力バッファに保管される（１７２５）。１７２５の後、処理１７００は、符号化する別のサブフレームが存在するかを判定する（１７３０）。存在すると判定した場合、１７１５に戻り、合成画像バッファ６５５から次のサブフレームを取得する。存在しないと判定した場合、処理は終了する。
【００７４】
Ｂ．制約
上述のように、符号化処理１７００は、複数の制約を規定し（１７１０）、それら制約に基づいて合成フレームのサブフレームを符号化する（１７２０）。それら制約は、ブロック間符号化（interblock encoding）の制約、ブロック内符号化（intrablock encoding）の制約及びループフィルタリングの制約である。それら制約のいくつかの例を以下に説明する。
【００７５】
１．ブロック間符号化の制約
ブロック間符号化の２つの例を以下に説明する。それら例は、（１）符号化中の探索ウィンドウのサイズに対する制約及び（２）画素ブロックを探索又は符号化するのに使用される目標サブ画素に対する制約である。ブロック間符号化は、１つ以上の参照フレームの１つ以上の部分を参照して現在のフレーム中の画素の１つのブロックを符号化する。ブロック間符号化は１つ以上の動き推定動作を含み、各動き推定動作は、現在のフレーム中の画素のブロックに最も適合する参照フレームの一部分を識別する。そのような識別により、現在のフレームの画素ブロックの符号化表現としての役割を果たすことができる動きベクトルが得られる。現在のフレームの画素ブロックを復号化中において、その動きベクトルは、現在のフレームの画素ブロックの画素値を提供する参照フレームブロックの一部分を識別するために使用される。
【００７６】
符号器の動き推定動作は、参照フレームにおいて少なくとも１つの探索ウィンドウを規定する。その後、動き推定動作は、現在のフレームの画素ブロックに最も適合する参照フレームの一部分をウィンドウ内で探索する。その部分は、参照フレームの画素位置又は参照フレームのサブ画素位置と位置合わせされる。サブ画素位置は、参照フレームの非整数位置であり、画素位置は、参照フレームの整数位置に規定される画素を含む参照フレームの整数位置である。いくつかの実施形態において、符号器は、粗探索及び細探索を実行し且つ少なくとも一部の探索に対して種々の探索ウィンドウを使用する多段動き推定処理を使用してもよい。
【００７７】
ａ）探索ウィンドウに対する制約
各参加者のサブフレームを独立させるために、各画素ブロックに対する探索ウィンドウは、特定の画素ブロックが位置付けられるサブフレームと同一のサブフレーム内に制限される必要がある。例えば図１８は、本発明により許可される探索ウィンドウ１８１５を示す。この例において、現在の合成フレーム１８０１は、参照合成フレーム１８０２を使用して符号化される。符号化される画素ブロック１８０５は、参加者Ａのサブフレーム１８１０内に位置付けられる。この画素ブロックを符号化するために、符号器は、いくつかの実施形態において初期動きベクトル１８３０により識別される位置を中心に配置される探索ウィンドウ１８１５内を探索する。いくつかの実施形態における初期動きベクトルは、デフォルト値に設定されるか、あるいは既にブロック間符号化された隣接する画素ブロックの動きベクトルから得られる。動き推定動作は、現在のフレームの画素ブロック１８０５に最も適合する探索ウィンドウ１８１５の参照サブフレーム１８２５の画素ブロック１８３５を識別するためにウィンドウ１８１５を探索する。図１８に示すように、参照サブフレーム１８２５の画素ブロックは、動き推定動作により特定される最終的な動きベクトル１８４０により識別される。
【００７８】
探索ウィンドウ１８１５内の任意の画素ブロックは、参照合成フレーム１８０２の参加者Ａのサブフレーム１８２５内に位置付けられる。現在のフレーム１８０１の参加者Ａのサブフレーム１８１０を受信する任意の復号器は、参照フレーム１８０２の参加者Ａのサブフレームを有する。従って、復号器は、動き推定動作により特定される最終的な動きベクトル１８４０を使用して画素ブロック１８０５を再現できる。
【００７９】
これに対して、図１９は、本発明により許可されない探索ウィンドウの一例を示す。この例において、現在の合成フレーム１９０１は、参照合成フレーム１９０２を使用して符号化される。符号器は、参加者Ａのサブフレーム１９１０内に位置付けられる画素ブロック１９０５を符号化する。
【００８０】
図１９は、動き推定動作に対する探索ウィンドウ１９１５を示す。探索ウィンドウの一部は、参加者Ｂのサブフレーム１９２５内にある。従って、この探索ウィンドウ１９１５が使用される場合、そのサブフレームの適合する画素ブロックを最終的な結果として得る。サブフレームは完全に独立して保持されるべきであるため、結果としてサブフレーム間に相互依存性を与える探索ウィンドウは許可されない。
【００８１】
上記節ＩＩで説明したように、探索ウィンドウ１９１５を許可しない理由は、焦点位置モジュール５１０が参加者Ｂに送出する圧縮合成フレームから参加者Ｂのサブフレーム１９２５を削除することを考慮することにより明らかとなるだろう。参加者Ｂの復号器１２１０が参照サブフレーム１９２５を受信しないため、動き推定動作により識別される最終的な動きベクトル（動きベクトル１９３５等）がサブフレーム１９２５内の画素ブロック（画素ブロック１９４０等）を指し示す場合、復号器１２１０は画素ブロック１９０５を再現できない。
【００８２】
初期動きベクトルが２つのサブフレームの境界に近接するか又は他のサブフレーム内に位置する場合、探索ウィンドウは参照合成フレームの２つのサブフレームと重なる。それら双方の状況において、いくつかの実施形態は、探索ウィンドウを上に移動するか又は他のサブフレームに位置する探索ウィンドウの一部をトリミングすることにより、これらの探索ウィンドウの問題に対処する。
【００８３】
図２０は、トリミングされた探索ウィンドウ２０２０を結果として与える図１９の探索ウィンドウ１９１５をトリミングする例を示す。トリミングされた探索ウィンドウ２０２０は、サブフレーム２０２５内のみにある。参加者Ａのサブフレームを受信する任意の復号器は、参照フレーム１９０２の参加者Ａのサブフレームを有する。従って、復号器は、画素ブロック２０１０を識別する最終的な動きベクトル２００５（動き推定動作により特定される）を使用して画素ブロック１９０５を再現できる。探索ウィンドウ２０２０がサブフレーム２０２５の外側に位置することはないと仮定すると、最終的な動きベクトル２００５及びそれに対応する画素ブロックは、サブフレーム２０２５内にあることが保証される。
【００８４】
いくつかの実施形態における符号器は、探索ウィンドウ１９１５をトリミングするのではなく、探索ウィンドウ全体が所望のサブフレーム内になるようにその探索ウィンドウを他のサブフレームから離れる方向に移動する。図２１は、図１９に示す例に対するそのような移動の一例を示す。
【００８５】
図２２は、符号器６６０が探索ウィンドウを所望のサブフレーム内に留まらせる方法を示す。２２０５において、符号器６６０は、定義済みの方法を使用して、符号化される現在の画素ブロックに対して動きベクトル探索ウィンドウを選択する。しかし、符号化動作においてこの探索ウィンドウを利用する前に、符号器６６０は、探索ウィンドウが符号化される現在のフレームの画素ブロックと同一の合成参照フレームのサブフレーム（以下において目標サブフレームと呼ぶ）内に完全に存在するかをチェックする（２２１０）。
【００８６】
探索ウィンドウが現在の画素ブロックと同一のサブフレーム内に完全に存在すると符号器が判定する場合（２２１０）、現在の画素ブロックに対する目標画素を見つけるために符号化動作において探索ウィンドウを利用する（２２２０）。完全に存在すると判定されない場合、符号器は、探索ウィンドウが目標サブフレームの外側に位置しないように探索ウィンドウを調整する（２２１５）。上述のように、探索ウィンドウは、目標サブフレームの外側に位置する部分をトリミングすることにより調整されるか、あるいは探索ウィンドウ全体が目標サブフレーム内になるように他のサブフレームから離れる方向に探索ウィンドウを移動することにより調整される。２２１５の後、符号器６６０は符号化動作に対して探索ウィンドウの残りの部分を利用する（２２２０）。
【００８７】
ｂ）目標サブ画素に対する制約
いくつかの実施形態において、符号器は、いくつかの実施形態の動き推定動作中に参照のサブ画素位置と位置合わせされる（すなわち、整数画素位置と位置合わせされない）ブロックを検査する。いくつかの実施形態の復号器は、いくつかの例において、サブ画素位置と位置合わせされる（すなわち、画素位置と位置合わせされない）参照フレームブロックを参照フレームから検索する必要がある。
【００８８】
サブ画素位置と位置合わせされるブロックの検査及び検索は、符号器又は復号器がサブ画素位置において参照フレームに対する画像値（例えば、輝度値）を生成することを必要とする。サブ画素位置は、符号化動作中の現在のフレームの画素位置に対応することになる。画像値は、場合によっては縦列に垂直に位置合わせされる複数（例えば、６つの）画素の画像値の補間を必要とする補間動作を介して生成される。
【００８９】
いくつかの実施形態において、符号器は、補間に使用される画素の垂直方向の各セットが目標サブフレームからの画素のみを含むことを保証するためにそのような補間動作に対して制約を与える。更にいくつかの実施形態において、符号器は、画素の水平方向のセットにわたる各補間が２つのサブフレームに及ぶ垂直方向の補間動作を介してのみ生成されるサブ画素値に依存しないことを保証するために補間動作に対して制約を与える。
【００９０】
図２３は、サブフレームの整数及び非整数画素位置にわたる補間の一例を示す。図中、整数画素位置は陰影を付けた正方形（例えば、正方形Ａ又はＢ）で示され、１／２画素位置は白色の正方形（例えば、正方形ｂ、ｈ、ｓ又はｔ）で示され、１／４画素位置は円（例えば、円ａ及びｄ）で示される。図２３を簡単化するために、図中にはいくつかの１／２画素及び１／４画素位置のみを示す。整数画素位置の画像値は、補間の必要なく利用可能である。１／２レベル位置及び１／４レベル位置の小数画素の値は利用不可能であり、符号器がそれらの値を計算するために補間を実行する必要がある。
【００９１】
各補間動作は、特定の長さを有する特定の補間フィルタにより実行される。いくつかの実施形態において、目標サブ画素位置に対する各補間動作は、目標サブ画素位置に対して水平又は垂直に位置付けられる画素値及び／又はサブ画素値のセットを使用して行なわれる。例えば、１／２画素の値を計算するために、いくつかの実施形態は長さ３の補間フィルタを使用する。ここで、長さは非整数画素を計算するために各方向で使用される画素数を示す。
【００９２】
補間動作が２つのサブフレームに及ばないことを保証するために、いくつかの実施形態における符号器は、補間フィルタの長さを使用してサブフレーム境界を規定する。このサブフレーム境界で、動き推定動作は、サブ画素位置に位置合わせされたブロックを検査できない。
【００９３】
例えば補間フィルタ長３を使用すると、１／２画素ｂはＥ、Ｆ、Ｇ、Ｈ、Ｉ及びＪ画素の値を利用することにより補間される。１／２画素ｈは、Ａ、Ｃ、Ｇ、Ｍ、Ｒ及びＴ画素の値を利用することにより補間される。同一サブフレームの画素値が使用される場合、補間動作において使用される画素が現在のサブフレームの外側に位置付けられることがなければ、ｈ等の１／２画素は補間が行なわれる。この必要条件により、サブフレームの境界内に位置付けられるサブ画素の検査を禁止する特別な制約が作成される。それら境界領域の長さは、最長の垂直方向の補間フィルタの長さと等しい。
【００９４】
例えば図２３において、線２３０５は、２つの隣接するサブフレームの境界を示す。長さ３の補間フィルタの場合、この境界領域は、線２３０５から３画素離れた任意の位置である。例えば、１／２画素ｔはそのような境界領域内にある。１／２画素ｔの値の計算は、Ｃ、Ｇ、Ｍ、Ｒ、Ｔ及びＶ画素の補間を必要とする。しかし、画素Ｖは、現在のサブフレームの外側にある。１／２画素ｔの値は、現在のサブフレーム内の画素を使用して計算されない。従って、動き推定動作は、動きベクトルに対する目標位置としてこの１／２画素値を使用しない。
【００９５】
１／２画素ｓは、その境界領域内に位置付けられる。しかし、１／２画素ｓは水平方向に位置付けられる２つの整数画素内に位置付けられる。１／２画素ｓは、同一サブフレーム内に位置付けられるＫ、Ｌ、Ｍ、Ｎ、Ｐ及びＱを補間することにより計算される。従ってこの１／２画素は、動きベクトルに対する目標位置として使用される。
【００９６】
いくつかの実施形態において、１／４画素値は、２つの最近接する整数画素値又は１／２画素値を平均し且つ切り上げることにより計算される。従って、１／４画素値の計算は、１／２画素がそれらの値を計算する時に要求された制約と同一の制約を有するべきである。
【００９７】
図２４は、符号器６６０の動き推定処理が動きベクトルに対する合成参照フレームの目標位置を判定するのに使用する処理２４００を示す。図２４に示さない初期化において、符号器６６０は、サブフレームの境界においてバッファ領域のセットを確立するために補間フィルタの長さを利用する。
【００９８】
図２５は、補間フィルタの長さが３画素である場合、１×４の合成画像バッファ２５００に対する境界領域を示す一例を提示する。図２５に示すように、境界バッファ領域２５０５〜２５３０はサブフレーム境界の３画素内にある。例えば、境界バッファ領域２５１５の１つのセクション２５３５は２５４０において拡大され、境界領域２５１５が参加者Ａのサブフレーム２５４５内に位置付けられ且つ参加者Ｂのサブフレーム２５５０に対する境界に沿った深さ３画素の領域を範囲に含むことを示す。
【００９９】
２４０５において、動きベクトルに対する次の可能な目標を選択する。目標位置が１つの境界領域内にないと判定した場合（２４１０）、目標位置を検査する（２４２５）（すなわち、目標位置により識別される参照フレームブロックと現在の参照フレームブロックとを比較する）。２４２５の後、動き推定動作を終了すべきかを判定する（２４３０）。終了すべきでないと判定した場合、２４０５に戻り、別の目標位置を選択する。終了すべきであると判定する場合、２４２５において処理２４００により識別された最適な目標位置を選択し（２４３５）、その最適な位置を使用して動きベクトルを識別する（２４３５）。２４３５の後、処理は終了する。
【０１００】
目標位置が１つの境界領域内にあると判定した場合（２４１０）、目標位置が整数位置であるかを判定する（２４１５）。整数位置であると判定した場合、上述した２４２５に移る。整数位置でないと判定した場合、目標位置が同一サブフレームの２つの整数画素間に水平に位置付けられる１／２画素であるかを判定する（２４２０）。目標位置が同一サブフレームの２つの整数画素間に水平に位置付けられる１／２画素であると判定される場合、上述の２４２５に移る。一方、目標位置が同一サブフレームの２つの整数画素間に水平に位置付けられる１／２画素ではないと判定される場合（２４２０）、選択した目標位置の検査を行なわず、単に上述の２４３０に移る。
【０１０１】
２．ブロック内符号化の制約
符号器６６０により実行される別の圧縮動作は、マクロブロック内予測である。マクロブロック内予測動作は、隣接するマクロブロックの選択された画素の値からマクロブロックの値を予測する。参加者のサブフレームを独立させるために、ブロック内予測に対するソース画素は、現在のサブフレーム内に位置付けられるマクロブロックから選択されるべきである。
【０１０２】
図２６は、本発明のいくつかの実施形態において符号器６６０がブロック内予測を行う対象である２つのマクロブロック２６０５及び２６１０を示す。この例に示すように、双方のマクロブロックは、参加者Ｂのサブフレーム２６１５内に位置付けられる。マクロブロック「ｉ」２６０５を取り囲むマクロブロック「ａ」〜「ｈ」２６２０〜２６３４は、同一サブフレーム２６１５内に位置付けられる。マクロブロック「ｉ」に対するブロック内予測を実行するためにそれらマクロブロックのうち任意の１つを使用することにより、参加者Ｂのサブフレーム内においてのみマクロブロックの依存性を生じる。従って、符号器６６０は、マクロブロック「ｉ」２６０５に対してブロック内予測を行なう時にそれらマクロブロックのいずれか１つを使用できる。
【０１０３】
一方、マクロブロック「ｒ」２６１０は、参加者Ｂのサブフレーム２６１５及び参加者Ａのサブフレーム２６４０の境界に近接して位置付けられるため、「ｊ」、「ｋ」及び「ｌ」２６５０〜２６５４等の隣接するマクロブロックのいくつかは参加者Ａのサブフレーム内になる。それらマクロブロックを使用することにより、参加者Ｂのサブフレーム２６１５と参加者Ａのサブフレーム２６４０との間に依存性を生じるため、符号器６６０は、マクロブロック「ｒ」２６１０に対してブロック内予測を行なうのにそれらマクロブロックを使用しない。しかし、マクロブロック「ｍ」〜「ｑ」２６５６〜２６６４はマクロブロック「ｒ」２６１０と同一のサブフレーム内にある。従って、符号器６６０は、マクロブロック「ｒ」２６１０のブロック内予測に対してそれらマクロブロックを使用できる。符号器は、使用されるラスタ走査又は同様の技術のために「ｎ」〜「ｑ」２６５８〜２６６４等のいくつかのマクロブロックを使用できない。従って、ここで説明されるブロック内予測の制約は、特定のマクロブロックのブロック内予測に対する特定のマクロブロックの利用を符号器に対して単に許可するか又は許可しないかである（利用を要求するのではない）。
【０１０４】
３．ループフィルタの制約
符号器は、種々の符号化方法を使用して隣接する画素のブロックを符号化してもよい。例えば符号器は、ブロック間符号化、ブロック内符号化を使用して画素のブロックを符号化してもよく、あるいはブロック全体をスキップしてもよい。従って、種々の符号化方法を使用して符号化された隣接する画素ブロックは、ほぼ同等の値を有するべきであるにもかかわらず種々の値を有する可能性がある。それらアーティファクトを除去するために、フレームが動き予測動作において利用される前に、符号器は参照フレームにループフィルタを適用する。
【０１０５】
いくつかの実施形態において、非ブロック化フィルタはループフィルタリングに対して利用される。非ブロック化フィルタは、高圧縮された映像データに現れるアーティファクトのようなブロックの外観を減少するのを助長するために使用され、それにより映像フレームを向上する。使用される映像コーデックアルゴリズムに依存して、復号器又は復号器及び符号器の双方が非ブロック化フィルタを使用してもよい。参加者のサブフレームが独立しているため、フィルタリングは種々の参加者のサブフレームに位置付けられる画素間で行なわれる必要はない。
【０１０６】
図２７は、いくつかの実施形態において画素のグループがフィルタリングのために選択される方法を示す。例を明示するために、画素及びサブフレームは一定の縮尺に従わずに描かれる。図２７に示す例において、２つの画素のグループ２７０５及び２７１０は、フィルタリングのために選択される。第１のグループ２７０５の全ての画素は、参加者Ａのサブフレーム２７１５の境界内に位置付けられる。従って、この画素のグループはフィルタリングされることを許可される。
【０１０７】
しかし、第２の画素のグループ２７１０は、参加者Ａのサブフレーム２７１５と参加者Ｂのサブフレーム２７２０との間の境界を横切る。参加者Ａのサブフレーム２７１５及び参加者Ｂのサブフレーム２７２０が独立しているため、異なるサブフレームに位置付けられる隣接する画素値の類似性又は差は一致し、符号化動作の結果とならない。従って、その画素のグループはフィルタリングのために選択されるべきではない。
【０１０８】
図２８は、フィルタリングに対して制約を適用するために、本発明のいくつかの実施形態が利用する処理２８００を示す。処理２８００は、まずフィルタリングのために画素のグループを識別する（２８０５）。フィルタリングに必要な全ての画素がフィルタリングされる画素のグループと同一のサブフレーム内に位置付けられると判定される場合、フィルタリングを続行する（２８１５）。フィルタリングに必要な全ての画素がフィルタリングされる画素のグループと同一のサブフレーム内に位置付けられないと処理２８００が判定した場合（２８１０）、グループはフィルタリングのために選択されず、２８０５に戻り、そのグループを改良するか（２８０５）又はフィルタリングのために次の画素のグループを見つける。２８１５の後、フィルタリング処理２８００は、フィルタリング処理が終了したかを判定する（２８２０）。終了したと判定した場合、処理２８００は終了する。終了していないと判定した場合、２８０５に戻り、次の画素のグループを見つけて非ブロック化する。
【０１０９】
Ｃ．帯域幅を節約するための符号化の制約
上述の符号化の制約は、焦点位置モジュールが種々の会議参加者からの種々のフレームを有する合成フレームを生成することを許可する。例えば、ある特定の合成フレームは、１人の参加者に対する相対的に大きなブロック内符号化サブフレーム（Ｉサブフレーム）及び１人以上の他の参加者に対する相対的に小さなブロック間符号化サブフレーム（Ｐ又はＢサブフレーム）から構成されてもよい。
【０１１０】
いくつかの実施形態において、符号器は、従来の合成フレームの送信のエラーに対処するために、組み合わされたブロック内符号化サブフレーム及びブロック間符号化サブフレームを含むそのような合成フレームを送出する。そのような組み合わされた合成フレームは、テレビ会議中に不足する可能性のあるネットワーク帯域幅を節約する。これを更に説明する前に、いくつかの実施形態の符号器及び復号器により使用されるハンドシェイクプロトコルの簡単な概要を以下に説明する。
【０１１１】
１．プロトコル
いくつかの実施形態において、１人の参加者の符号器（例えば、焦点位置モジュール符号器）は、別の参加者（例えば、非焦点位置モジュール復号器）と通信するためにハンドシェイクプロトコルを使用し、フレームが送信中にドロップされるかを決定する。例えば、非焦点復号器が特定の参加者に関係するサブフレームの１つ以上の部分を完全に受信していないと判定する場合、復号器は、焦点位置符号器にリフレッシュ要求を送出し、破損したサブフレームを識別する。復号器が誤り伝播を阻止する符号器からデータを受信するまで（例えば、特定の参加者に対するブロック内符号化サブフレームを受信するまで）、復号器は符号器にリフレッシュ要求を繰り返し送信する。いくつかの実施形態において、サブフレームは、各々がいくつかのマクロブロックを含むいくつかのスライス（例えば、２つのスライス）に分割される。これら実施形態において、復号器が完全性に対する解析を行なうサブフレームの部分はスライスである。
【０１１２】
２．帯域幅の節約
帯域幅節約技術のいくつかの例を以下に説明する。ＭＰＥＧ−４の例を使用してそれら技術を説明する。ＭＰＥＧ−４において、参加者の１画像はフレームと呼ばれる。フレームは、Ｉ、Ｐ又はＢフレームである。Ｉフレームは、フレーム自体に含まれる情報のみを使用して符号化される。従って、それらフレームは他のフレームとは無関係に復号化される。しかし、ＩフレームはＰ及びＢフレームより非常に大きい。
【０１１３】
Ｐ及びＢフレームは、他のＩ又はＰフレームの情報を使用して符号化される。従って、それらフレームはＩフレームより小さく、送信するのに必要な帯域幅が小さい。通常、１つのＩフレーム、並びにいくつかのＰ及びＢフレームは、共にグループ化され、繰返し構造を形成する。繰返し構造のＩフレーム及びＰフレームはアンカーフレームと呼ばれ、他のＰ及びＢフレームを生成することを要求される。Ｉフレーム又はＰフレームが送信中に失われると、失われたフレームに依存する繰返し構造の残りのフレームは無用になり、復号化されなくなる。
【０１１４】
以下の項における第１の例は、帯域幅を節約するための多人数参加型会議中の合成フレーム内の種々のサブフレームの種々の処理を説明する。第２の例は、いくつかの後続フレームのＩフレームの異なる部分を送信することにより帯域幅を均等化する方法を説明する。第３の例は、Ｉフレームの送信を必要としない送信中にフレームが失われた後、同期をとるための長期フレーム参照の用途を説明する。
【０１１５】
ａ）合成フレームの特定のサブフレームのリフレッシュ
本発明のいくつかの実施形態において、焦点位置モジュール５１０及び非焦点モジュール５１５は、サブフレームの全体的な独立性を利用して失われたフレームの再送信中に帯域幅を節約する。図２９のシーケンス図２９００は、参加者Ａ、Ｂ、Ｃ及び焦点位置Ｆが会議に参加しているいくつかの実施形態において交換されるフレームの例を示す。このシーケンス図において、縦軸は時間の経過（上から下へ）を表し、横軸はオブジェクト間のメッセージの受け渡しを示す。参加者Ａ、Ｂ及びＣの非焦点モジュール２９０５〜２９１５及び焦点モジュール２９２０は、ライフライン、すなわち各モジュールが存在いている時間の限界を示す垂直の破線の上部にラベル付けされた矩形で示される。それらモジュール間のメッセージは、送信オブジェクトのライフラインから受信オブジェクトのライフラインへの水平の矢印で描かれる。
【０１１６】
焦点位置モジュール２９２０と非焦点モジュール２９０５〜２９１５との間で交換されるフレームは、モジュールから発生し且つモジュールで終了する矢印付きの線と共に示される。各フレームは、非焦点位置モジュール２９０５〜２９１５の１つから送出される参加者のサブフレームを表すか又は焦点位置モジュール２９２０により送出される合成フレームを表す。
【０１１７】
この例において、各非焦点モジュールはステップ１で焦点位置２９２０にＰフレームを送出する。しかし、図２９に示すように、参加者Ｃの非焦点モジュール２９１５により送出されるフレームは失われ、焦点位置２９２０により受信されない。焦点位置は、繰返し構造に符号化されたフレームのセットを送信及び受信する途中にあるため、後続フレームを生成するために参加者Ｃの非焦点位置モジュール２９１５からの新しいＩフレームを要求する。
【０１１８】
従って、ステップ２において、焦点位置２９２０は参加者Ｃの非焦点位置モジュール２９１５にＩフレームを送出するように要求する。次のステップ３において、参加者Ｃ２９１５はＩフレームを焦点位置２９２０に送出する。次のステップ４において、焦点位置モジュール２９２０は、参加者Ａ、Ｂ及び焦点位置ポイント参加者の存在するＰフレームとステップ３において受信した参加者ＣのＩフレームとから合成フレームを作成し、特定の参加者が受信する合成画像から各参加者自身の画像を削除した後にそれら合成フレームを参加者Ａ、Ｂ及びＣに送出する。送信は継続し、全ての参加者は受信する全ての後続フレームを復号化できる。
【０１１９】
図２９に示されるリフレッシュ方法は、符号器が参加者のサブフレームを独立させておくことができず且つ全ての参加者からのＩフレームの再送信を要求する必要がある状況に比して利点を有する。図３０は、合成フレームの参加者のサブフレームが別個に保持されない場合に再送信を行なう方法の一例を示す。
【０１２０】
参加者のサブフレームが合成フレームにおいて別個に保持されない場合、焦点位置モジュール３０２０は、ステップ２において全ての非焦点位置モジュール３００５〜３０１５からの新しいＩフレームを要求する必要がある。次のステップ３において、全ての非焦点モジュール３００５〜３０１５は、Ｉフレームを焦点位置モジュール３０２０に送出する必要がある。ステップ４において、焦点位置３０２０は、全ての参加者のＩフレームから合成フレームを生成し、非常に大きなそれら合成フレームを送信する必要がある。一方、図２９に示す方法は、１人の参加者に対してのみブロック内符号化データを送信するため、そのように大きな合成フレームの影響を受けない。
【０１２１】
また、組み合わされたブロック内符号化サブフレーム及びブロック間符号化サブフレームを含む合成フレームを送出することには、焦点位置が第１の参加者のサブフレームを第２の参加者に送信したが第２の参加者により適切に受信されなかった当該第１の参加者に対するサブフレームを焦点位置符号器がリフレッシュしようとする場合にも、大きな利点がある。
【０１２２】
ｂ）複数の後続フレームに対するフレームのリフレッシュ
フレーム（例えば、多人数参加型会議のサブフレーム又はピアツーピア会議のフレーム）をリフレッシュするのに必要なデータを複数の後続フレームに分割するために、いくつかの実施形態は、上述の符号化の制約をフレームの１つ以上のセクションに拡張する。例えば、いくつかの実施形態は、合成フレームのサブフレーム境界に関係なく符号化の制約を規定するが、スライス境界においてそれら制約を規定する。それら制約の使用により、符号器はフレームをリフレッシュするのに必要なデータを複数の後続フレームに分割できる。
【０１２３】
そのような方法は、ピアツーピア会議及び多人数参加型会議において利点がある。ピアツーピア会議中、符号器は、先のフレームが失われたと判定した場合に新しいＭＰＥＧ繰返し構造を開始するためにＩフレームを再送信しなければならない。そのようなＩフレームは、多くのネットワーク帯域幅を消費する。従って、いくつかの実施形態における符号器は、フレーム全体より小さいフレームのセクションに対する２つ以上のフレームを介してブロック内符号化データを提供する。
【０１２４】
図３１は、ピアツーピア会議の場合のその１つの例を示す。この例において、２人の参加者がピアツーピア送信に関係する。各参加者は、符号器及び復号器を有する。各復号器は、適切なフレームを受信した時に他者の符号器に通知する。一方の符号器が他者の復号器に送出するフレームに対する例を示す。
【０１２５】
時間軸３１０５に示すように、符号器は、時間１においてフレーム３１１０を送出する。そのフレーム３１１０は送信中に破損するか又は失われる。動作遅延及び送信遅延のために、符号器は時間３までそのエラーを認識しない。復号器がフレームにおいてビットエラーが存在することを符号器に通知するか又はフレーム３１１０の送信中にエラーが発生したことに符号器が気付いた時、符号器はそのエラーを認識する。ＭＰＥＧ繰返し構造の残りのフレームがフレーム３１１０なしでは復号化されないため、符号器は新しい繰返し構造を開始するためにＩフレームを再送信する必要がある。
【０１２６】
ＩフレームがＰフレーム又はＢフレームより非常に大きいため、符号器は次のフレーム３１１５を上側スライス３１２０及び下側スライス３１２５の２つのスライスに分割する。符号器は、ブロック内符号化スライスである上側スライスを送出し、下側スライス３１２５を破棄する（すなわち、下側スライス３１２５に対する映像データを送出しない）。符号器は、次のフレーム３１３０を上側スライス３１３５及び下側スライス３１４０に分割する。しかし、このフレームの場合、符号器は、上記符号化の制約の観点から上側スライス３１３５をブロック間符号化し、下側スライス３１４０をブロック内符号化する。
【０１２７】
時間４において、復号器は、受信した上側スライス３１２０及び後続のスライス３１３５に対するブロック間符号化データの組合せを使用して、復号化リフレッシュフレーム３１４５の上半分を生成する。復号器は、復号化リフレッシュフレーム３１４５の下半分を下側スライス３１４０になるように規定する。時間４の後、符号器が次の不良サブフレーム又は失われたサブフレームに気付くまで、全ての後続フレームは別個のサブフレームに分割されることなく正常に符号化される。
【０１２８】
他の実施形態は、ブロック内符号化データを３つ以上のフレームに分割してもよい。更にこの技術は、多人数参加型会議における２つ以上の合成フレームの中の特定のサブフレームに対するブロック内符号化データを分割するために使用される。更に、上述の方法は、送信エラーに対して何も行なわない他の状況においてＩフレームデータを送信するのに使用される。例えばこの方法は、新しいＩフレームがテレビ会議の映像シーケンスにおいて確立される必要がある度に使用される。
【０１２９】
ｃ）帯域幅を節約するための長期参照フレームの用途
本発明のいくつかの実施形態において、符号器は、符号器と復号器との間で上述のハンドシェイクを使用して、復号器が受信した最後の周知の完全な参照フレーム（Ｉフレーム又はＰフレーム）を追跡する。復号器は、この最後の周知の完全なフレーム又は長期参照フレームを保管する。送信エラーの場合、符号器は、保管される長期参照フレームを使用して後続フレームの符号化を開始する。従って、符号器は、大きなＩフレームを送信する必要なく更なる誤り伝播を阻止する。この技術は、ピアツーピア会議及び多人数参加型会議において使用される。
【０１３０】
図３２は、長期参照フレームの用途の例を示す。この例において、符号器及び復号器は、フレーム３２０５が復号器により受信された最後の周知の完全な参照フレームであることを理解している。このフレームは、Ｉフレーム又はＰフレームであってもよい。時間２において、復号器は、フレーム３２１０を受信しないか、あるいはビットエラーを有することに気付いて符号器に通知する。フレームが復号器において失われた時間と符号器が通知された時間との間の遅延のために、この例における符号器は、復号器がフレーム３２１０を受信していないことを時間６において判定する。この時まで、時間３〜５において送信された全てのフレームはフレーム３２１０に依存していたため、復号器はそれらフレームを使用できない。
【０１３１】
時間６において、符号器は後続フレームを符号化するためにフレーム３２１０〜３２２５を使用することを停止する。その代わり、符号器はフレーム３２３０を符号化するために長期参照フレーム３２０５を使用する。復号器は、そのフレームのコピーを保管したためフレーム３２３０を復号化できる。符号器は、復号器により受信されたフレーム１又はフレーム６を参照として使用して全ての後続フレームを符号化するため、送信は同期される。
【０１３２】
Ｖ．コンピュータシステム
図３３は、本発明のいくつかの実施形態を実現するのに使用されるコンピュータシステムを概念的に示す。コンピュータシステム３３００は、バス３３０５、プロセッサ３３１０、システムメモリ３３１５、読み出し専用メモリ３３２０、永久記憶装置３３２５、入力装置３３３０及び出力装置３３３５を含む。
【０１３３】
バス３３０５は、コンピュータシステム３３００の内部装置間の通信をサポートする全てのシステム、周辺装置及びチップセットバスを一括して表す。例えば、バス３３０５は、プロセッサ３３１０を読み出し専用メモリ３３２０、システムメモリ３３１５及び永久記憶装置３３２５に通信可能に接続する。
【０１３４】
プロセッサ３３１０は、本発明の処理を実行するために、それら種々の記憶装置から実行する命令及び処理するデータを検索する。読み出し専用メモリ（ＲＯＭ）３３２０は、プロセッサ３３１０及びコンピュータシステムの他のモジュールにより必要とされる静的データ及び命令を格納する。一方、永久記憶装置３３２５は書き込み／読み出しメモリ素子である。この装置は、コンピュータシステム３３００がｏｆｆの時でも命令及びデータを格納する不揮発性記憶装置である。本発明のいくつかの実施形態は、大容量記憶装置（磁気ディスク又は光ディスク及びその対応するディスクドライブ等）を永久記憶装置３３２５として使用する。他の実施形態は、取外し可能記憶装置（フロッピディスク又はzip(R)ディスク及びその対応するディスクドライブ等）を永久記憶装置として使用する。
【０１３５】
永久記憶装置３３２５と同様に、システムメモリ３３１５は書き込み／読み出しメモリ素子である。しかし、記憶装置３３２５とは異なり、システムメモリはランダムアクセスメモリ等の揮発性書き込み／読み出しメモリである。システムメモリは、プロセッサが実行時に必要とする命令及びデータの一部を格納する。いくつかの実施形態において、本発明の処理は、システムメモリ３３１５、永久記憶装置３３２５及び／又は読み出し専用メモリ３３２０に格納される。
【０１３６】
バス３３０５は、入力装置３３３０及び出力装置３３３５を更に接続する。入力装置により、ユーザはコンピュータシステムに対して情報を通信し且つコマンドを選択できる。入力装置３３３０は、英数字キーボード及びカーソルコントローラを含む。出力装置３３３５は、コンピュータシステムにより生成される画像を表示する。例えば、それら装置はＩＣ設計レイアウトを表示する。出力装置は、陰極線管（ＣＲＴ）ディスプレイ又は液晶ディスプレイ（ＬＣＤ）等の表示装置及びプリンタを含む。
【０１３７】
最後に、図３３に示すように、バス３３０５はコンピュータ３３００をネットワークアダプタ（不図示）を介してネットワーク３３６５に結合する。このように、コンピュータは、コンピュータのネットワーク（ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）又はイントラネット等）又は複数のネットワークのうちの１つのネットワーク（インターネット等）の一部となる。コンピュータシステム３３００の任意又は全ての構成要素は、本発明と共に使用されてもよい。しかし、任意の他のシステム構成が本発明と共に使用されてもよいことは、当業者には理解されるだろう。
【０１３８】
多くの特定の詳細を参照して本発明を説明したが、本発明は、本発明の趣旨の範囲から逸脱せずに他の特定の形態で実現できることが当業者には理解されるだろう。本発明の趣旨の範囲から逸脱せずに、説明された要素に対して均等物が代用されてもよく且つ種々の変更が行なわれてもよい。例えば、合成フレームの生成後に符号化を行なうのではなく、いくつかの実施形態の焦点位置モジュール５１０は、送信のために符号化フレームを１つの合成フレームにパッケージ化する前に非焦点参加者のフレームを符号化してもよい。
【０１３９】
上述のように、いくつかの実施形態は設定された間隔で合成を実行し、遅れて到着するフレーム（図１０のＡ３等）がまだ送出されていない先のフレーム（図１０のＡ２等）を上書きすることを可能にする。しかし、他の実施形態は、まだ送出されていないフレームが破棄されることを防止してもよい。例えばいくつかの実施形態は、設定された間隔で合成フレームを送出することを待たず、ある特定の数の新しいフレームが非焦点参加者から受信された時に合成フレームを送出してもよい。従って、本発明は、上述の詳細により限定されず、添付の請求の範囲により規定されることが当業者には理解されるだろう。
【特許請求の範囲】
【請求項１】
複数参加者を含むテレビ会議中に画像を符号化する方法であって、
ａ）少なくとも２つの参加装置からの少なくとも２つのサブ画像を有する合成画像を生成することと、
ｂ）各サブ画像を別個に制約符号化することとを含み、前記制約符号化は、各サブ画像の符号化を他のサブ画像の符号化とは無関係にする制約のセットに基づいて前記サブ画像を符号化する方法。
【請求項２】
ａ）前記符号化は、ブロック間符号化動作に対して動き推定処理を実行することを含み、
ｂ）前記制約のセットは、前記動き推定処理中に使用される探索ウィンドウの場所に対する制約を含む請求項１に記載の方法。
【請求項３】
前記動き推定処理を実行することは、
ａ）前記動き推定処理が目標サブ画像内で探索を実行することを伴い、
ｂ）前記場所に対する制約は、前記探索ウィンドウが前記目標サブ画像内に位置付けられることを要求する請求項２に記載の方法。
【請求項４】
ａ）部分的に前記目標サブ画像の外側に位置する探索ウィンドウを識別することと、
ｂ）全体が前記目標サブ画像内に位置するように前記識別された探索ウィンドウをトリミングすることとを更に含む請求項３に記載の方法。
【請求項５】
ａ）少なくとも部分的に前記目標サブ画像の外側に位置する探索ウィンドウを識別することと、
ｂ）全体が前記目標サブ画像内に位置するように前記識別された探索ウィンドウを移動することとを更に含む請求項３に記載の方法。
【請求項６】
ａ）前記符号化は、サブ画素位置に位置合わせされるブロックを検査することを含み、
ｂ）前記制約のセットは、サブ画素位置に位置合わせされるブロックが検査される領域に対する制約を含む請求項１に記載の方法。
【請求項７】
前記検査は、画素のセットに対応する画像値のセットに対して補間動作を実行することを含む請求項６に記載の方法。
【請求項８】
サブ画像間の境界領域のセットを確立することを更に含み、前記境界領域の大きさは、前記補間動作に対して使用される前記画素のセットの画素数により判定される請求項７に記載の方法。
【請求項９】
前記境界領域内にある複数のサブ画素位置に位置合わせされるブロックの検査を行なわないことを更に含む請求項８に記載の方法。
【請求項１０】
前記境界領域内で検査されない前記ブロックは、複数の１／２画素位置に位置合わせされる複数のブロックである請求項９に記載の方法。
【請求項１１】
前記境界領域内にあり且つ当該境界領域内の２つの整数画素位置の間に位置付けられる複数の１／２画素位置に位置合わせされる複数のブロックを検査することを更に含む請求項１０記載の方法。
【請求項１２】
前記境界領域内で検査されない前記ブロックは、１／４画素位置に位置合わせされる複数のブロックである請求項９に記載の方法。
【請求項１３】
前記境界領域内にあり且つ当該境界領域の２つの整数位置内の整数画素位置及び１／２画素位置を利用して補間される複数の１／４画素位置に位置合わせされる複数のブロックを検査することを更に含む請求項１２に記載の方法。
【請求項１４】
前記制約符号化は、
ａ）特定のサブ画像の画素セットに対してブロック内予測を実行することと、
ｂ）前記特定のサブ画像の外側に位置する画素のセットを前記ブロック内予測から除外することとを含む請求項１に記載の方法。
【請求項１５】
ａ）特定のサブ画像の前記符号化中にループフィルタ動作を実行することと、
ｂ）前記特定のサブ画像にない画素を前記ループフィルタ動作から除外することとを更に含む請求項１に記載の方法。
【請求項１６】
映像コンテンツの１つの中央配信装置を有する多人数参加型テレビ会議において映像コンテンツを配信する方法であって、
ａ）前記中央配信装置において、各参加装置からビデオ画像を受信することと、
ｂ）前記受信したビデオ画像から合成画像を生成することと、
ｃ）前記合成画像を符号化することと、
ｄ）前記符号化した合成画像を前記参加装置に送信することとを含む方法。
【請求項１７】
前記合成画像は、第１の参加装置に対するブロック間符号化画像及び第２の参加装置に対するブロック内符号化画像を含む請求項１６に記載の方法。
【請求項１８】
ａ）ブロック内符号化データを介して特定の参加装置からの画像データのリフレッシュを要求する条件を検出することと、
ｂ）前記特定の参加装置からの第１の画像の一部分をブロック内符号化することと、
ｃ）第１の合成画像の前記第１の画像の前記ブロック内符号化した部分を送信することと、
ｄ）前記特定の参加装置からの第２の画像の第１の部分をブロック内符号化することと、
ｅ）第２の合成画像の前記第２の画像の前記ブロック内符号化した部分を送信することとを更に含み、
ｆ）前記第１の画像の前記ブロック内符号化した部分及び前記第２の画像の前記ブロック内符号化した部分は、前記特定の参加装置の画像データをリフレッシュする請求項１６に記載の方法。
【請求項１９】
前記第２の画像の第２の部分をブロック間符号化することと、前記第２の部分の前記ブロック間符号化を送信することとを更に含み、前記第２の部分はブロック内符号化された前記第１の画像の前記部分に対応する請求項１８に記載の方法。
【請求項２０】
少なくとも２人の参加者間のテレビ会議において映像コンテンツを配信する方法であって、
ａ）ブロック内符号化データを介して第１の参加装置の画像データのリフレッシュを要求する条件を検出することと、
ｂ）前記第１の参加装置の第１の画像の一部分をブロック内符号化することと、
ｃ）前記第１の画像の前記ブロック内符号化した部分を前記第２の参加装置に送信することと、
ｄ）前記第１の参加装置の第２の画像の第１の部分をブロック内符号化することと、
ｅ）前記第２の画像の前記ブロック内符号化した部分を前記第２の参加装置に送信することとを含み、
ｆ）前記第１の画像の前記ブロック内符号化した部分及び前記第２の画像の前記ブロック内符号化した部分は、前記第１の参加装置の画像データをリフレッシュする方法。
【請求項２１】
前記第２の画像の第２の部分をブロック間符号化することと、前記第２の部分の前記ブロック間符号化を前記第２の参加装置に送信することを更に含み、前記第２の部分はブロック内符号化された前記第１の画像の前記部分に対応する請求項２０に記載の方法。
【請求項２２】
２人の参加者間のテレビ会議において映像コンテンツを配信する方法であって、
ａ）第１の参加装置において長期参照フレームを格納することと、
ｂ）第１の参加装置が第２の参加装置により送信された映像データをドロップしたことを前記第１の参加装置が第２の参加装置に通知することと、
ｃ）前記長期参照フレームを参照して規定されるブロック間符号化データを第２の参加装置が前記第２の参加装置から前記第１の参加装置に送出することとを含む方法。
【請求項２３】
映像コンテンツの１つの中央配信装置を有する多人数参加型テレビ会議において映像コンテンツを配信する方法であって、
ａ）前記中央配信装置において、各参加装置から参加者ビデオ画像を受信することと、
ｂ）前記受信した参加者画像から合成画像を生成することと、
ｃ）前記合成画像を前記参加装置に送信することとを含む方法。
【請求項２４】
前記中央配信装置はデータ記憶装置を含み、前記方法は、前記受信した参加者画像の各々が前記受信した他の参加者画像のいずれともインターリーブされないような非インターリーブ方式で前記受信した参加者画像の各々を前記データ記憶装置に配置することを更に含む請求項２３に記載の方法。
【請求項２５】
ａ）特定の参加装置の各々に対して別個の合成画像を作成することと、
ｂ）前記特定の参加装置の別個の合成画像を前記特定の参加装置に送信する前に、前記別個の合成画像から前記特定の参加装置の各々より受信した参加者画像を除去することとを更に含む請求項２３に記載の方法。
【請求項２６】
特定の各参加装置の別個の合成画像において除去された前記特定の参加装置からの画像の代わりにインディケータを配置することを更に含む請求項２５記載の方法。
【請求項２７】
特定の各参加装置において、
ａ）前記特定の参加装置に送信された前記合成画像を受信することと、
ｂ）前記特定の参加装置によって画像を取り込むことと、
ｃ）表示するために、前記特定の参加装置の前記取り込んだ画像と共に前記送信された合成画像内に含まれる前記参加者画像を描画することとを更に含む請求項２５に記載の方法。
【請求項２８】
前記合成画像は複数の画素セットを含み、各画素セットは前記画素セットと関連する前記参加者画像を識別する識別子を有し、前記方法は、各参加装置において、前記送信した合成画像内に含まれる前記参加者画像を識別するために前記画素セットの識別子を利用することを更に含む請求項２７に記載の方法。
【請求項２９】
前記受信した画像を合成する前に前記受信した参加者画像の各々をサイズ変更することを更に含む請求項２３に記載の方法。
【請求項３０】
ａ）前記中央配信装置において、前記合成画像を生成する前に前記受信したビデオ画像を保管することと、
ｂ）各参加装置からの前記受信したビデオ画像を前記特定の参加装置からの前記保管した先のビデオ画像と比較することと、
ｃ）前記受信したビデオ画像及び前記先に受信したビデオ画像が同一でない場合に、前記合成画像を生成する際に前記受信したビデオ画像を利用することとを更に含む請求項２３に記載の方法。
【請求項３１】
多人数参加型テレビ会議に対する中央配信装置であって、
ａ）前記テレビ会議の参加装置のセットから受信されるビデオ画像を復号化する復号器のセットと、
ｂ）前記復号化したビデオ画像から合成ビデオ画像を生成する合成エンジンと、
ｃ）前記合成ビデオ画像を符号化する少なくとも１つの符号器とを具備する中央配信装置。
【請求項３２】
前記合成エンジンが復号化ビデオ画像のセットに基づいて合成ビデオ画像を生成する前に、前記復号化ビデオ画像のセットを格納する中間バッファのセットを更に具備する請求項３１に記載の中央配信装置。
【請求項３３】
前記合成エンジンが合成ビデオ画像を生成するレートを調整するフレームレートコントローラを更に具備する請求項３１に記載の中央配信装置。
【請求項３４】
特定の各参加装置に送出される合成ビデオ画像から前記特定の参加装置の画像を除去する冗長性除去器を更に具備する請求項３１に記載の中央配信装置。
【請求項３５】
多人数参加型テレビ会議において映像コンテンツを受信及び送信するアーキテクチャであって、
ａ）焦点位置モジュールと、
ｂ）非焦点位置モジュールのセットと、
ｃ）前記非焦点位置モジュールのセットからビデオ画像を受信し且つ前記非焦点位置モジュールのセットに合成ビデオ画像を送信する前記焦点位置モジュールとを具備し、各合成ビデオ画像は、複数の非焦点位置モジュールから受信した複数のビデオ画像の合成であるアーキテクチャ。
【請求項３６】
前記焦点位置モジュールは、特定の各参加装置に送出される合成ビデオ画像から前記特定の参加装置の画像を削除する請求項３５に記載のアーキテクチャ。
【請求項３７】
映像コンテンツの１つの中央ディストリービュータを有する多人数参加型テレビ会議において映像コンテンツを配信するコンピュータプログラムを格納するコンピュータ可読媒体であって、前記コンピュータプログラムは、
ａ）前記中央配信装置において、各参加装置から参加者ビデオ画像を受信し、
ｂ）前記受信した参加者画像から合成画像を生成し、
ｃ）前記合成画像を前記参加者に送信する命令のセットを含むコンピュータ可読媒体。
【請求項３８】
前記中央配信装置はデータ記憶装置を含み、前記コンピュータプログラムは、前記受信した参加者画像の各々が他の前記受信した参加者画像のいずれともインターリーブされないような非インターリーブ方式で前記受信した参加者画像の各々を前記データ記憶装置に配置する命令のセットを更に含む請求項３７記載のコンピュータ可読媒体。
【請求項３９】
前記コンピュータプログラムは、
ａ）特定の各参加装置に対して別個の合成画像を作成し、
ｂ）特定の各参加装置の別個の合成画像を前記特定の参加装置に送信する前に、前記別個の合成画像から前記特定の参加装置から受信した参加者画像を除去する命令のセットを更に含む請求項３７記載のコンピュータ可読媒体。
【請求項４０】
前記コンピュータプログラムは、前記受信した画像を合成する前に前記受信した参加装置からの画像の各々をサイズ変更する命令のセットを更に含む請求項３７記載のコンピュータ可読媒体。
【請求項１】
複数参加者を含むテレビ会議中に画像を符号化する方法であって、
ａ）少なくとも２つの参加装置からの少なくとも２つのサブ画像を有する合成画像を生成することと、
ｂ）各サブ画像を別個に制約符号化することとを含み、前記制約符号化は、各サブ画像の符号化を他のサブ画像の符号化とは無関係にする制約のセットに基づいて前記サブ画像を符号化する方法。
【請求項２】
ａ）前記符号化は、ブロック間符号化動作に対して動き推定処理を実行することを含み、
ｂ）前記制約のセットは、前記動き推定処理中に使用される探索ウィンドウの場所に対する制約を含む請求項１に記載の方法。
【請求項３】
前記動き推定処理を実行することは、
ａ）前記動き推定処理が目標サブ画像内で探索を実行することを伴い、
ｂ）前記場所に対する制約は、前記探索ウィンドウが前記目標サブ画像内に位置付けられることを要求する請求項２に記載の方法。
【請求項４】
ａ）部分的に前記目標サブ画像の外側に位置する探索ウィンドウを識別することと、
ｂ）全体が前記目標サブ画像内に位置するように前記識別された探索ウィンドウをトリミングすることとを更に含む請求項３に記載の方法。
【請求項５】
ａ）少なくとも部分的に前記目標サブ画像の外側に位置する探索ウィンドウを識別することと、
ｂ）全体が前記目標サブ画像内に位置するように前記識別された探索ウィンドウを移動することとを更に含む請求項３に記載の方法。
【請求項６】
ａ）前記符号化は、サブ画素位置に位置合わせされるブロックを検査することを含み、
ｂ）前記制約のセットは、サブ画素位置に位置合わせされるブロックが検査される領域に対する制約を含む請求項１に記載の方法。
【請求項７】
前記検査は、画素のセットに対応する画像値のセットに対して補間動作を実行することを含む請求項６に記載の方法。
【請求項８】
サブ画像間の境界領域のセットを確立することを更に含み、前記境界領域の大きさは、前記補間動作に対して使用される前記画素のセットの画素数により判定される請求項７に記載の方法。
【請求項９】
前記境界領域内にある複数のサブ画素位置に位置合わせされるブロックの検査を行なわないことを更に含む請求項８に記載の方法。
【請求項１０】
前記境界領域内で検査されない前記ブロックは、複数の１／２画素位置に位置合わせされる複数のブロックである請求項９に記載の方法。
【請求項１１】
前記境界領域内にあり且つ当該境界領域内の２つの整数画素位置の間に位置付けられる複数の１／２画素位置に位置合わせされる複数のブロックを検査することを更に含む請求項１０記載の方法。
【請求項１２】
前記境界領域内で検査されない前記ブロックは、１／４画素位置に位置合わせされる複数のブロックである請求項９に記載の方法。
【請求項１３】
前記境界領域内にあり且つ当該境界領域の２つの整数位置内の整数画素位置及び１／２画素位置を利用して補間される複数の１／４画素位置に位置合わせされる複数のブロックを検査することを更に含む請求項１２に記載の方法。
【請求項１４】
前記制約符号化は、
ａ）特定のサブ画像の画素セットに対してブロック内予測を実行することと、
ｂ）前記特定のサブ画像の外側に位置する画素のセットを前記ブロック内予測から除外することとを含む請求項１に記載の方法。
【請求項１５】
ａ）特定のサブ画像の前記符号化中にループフィルタ動作を実行することと、
ｂ）前記特定のサブ画像にない画素を前記ループフィルタ動作から除外することとを更に含む請求項１に記載の方法。
【請求項１６】
映像コンテンツの１つの中央配信装置を有する多人数参加型テレビ会議において映像コンテンツを配信する方法であって、
ａ）前記中央配信装置において、各参加装置からビデオ画像を受信することと、
ｂ）前記受信したビデオ画像から合成画像を生成することと、
ｃ）前記合成画像を符号化することと、
ｄ）前記符号化した合成画像を前記参加装置に送信することとを含む方法。
【請求項１７】
前記合成画像は、第１の参加装置に対するブロック間符号化画像及び第２の参加装置に対するブロック内符号化画像を含む請求項１６に記載の方法。
【請求項１８】
ａ）ブロック内符号化データを介して特定の参加装置からの画像データのリフレッシュを要求する条件を検出することと、
ｂ）前記特定の参加装置からの第１の画像の一部分をブロック内符号化することと、
ｃ）第１の合成画像の前記第１の画像の前記ブロック内符号化した部分を送信することと、
ｄ）前記特定の参加装置からの第２の画像の第１の部分をブロック内符号化することと、
ｅ）第２の合成画像の前記第２の画像の前記ブロック内符号化した部分を送信することとを更に含み、
ｆ）前記第１の画像の前記ブロック内符号化した部分及び前記第２の画像の前記ブロック内符号化した部分は、前記特定の参加装置の画像データをリフレッシュする請求項１６に記載の方法。
【請求項１９】
前記第２の画像の第２の部分をブロック間符号化することと、前記第２の部分の前記ブロック間符号化を送信することとを更に含み、前記第２の部分はブロック内符号化された前記第１の画像の前記部分に対応する請求項１８に記載の方法。
【請求項２０】
少なくとも２人の参加者間のテレビ会議において映像コンテンツを配信する方法であって、
ａ）ブロック内符号化データを介して第１の参加装置の画像データのリフレッシュを要求する条件を検出することと、
ｂ）前記第１の参加装置の第１の画像の一部分をブロック内符号化することと、
ｃ）前記第１の画像の前記ブロック内符号化した部分を前記第２の参加装置に送信することと、
ｄ）前記第１の参加装置の第２の画像の第１の部分をブロック内符号化することと、
ｅ）前記第２の画像の前記ブロック内符号化した部分を前記第２の参加装置に送信することとを含み、
ｆ）前記第１の画像の前記ブロック内符号化した部分及び前記第２の画像の前記ブロック内符号化した部分は、前記第１の参加装置の画像データをリフレッシュする方法。
【請求項２１】
前記第２の画像の第２の部分をブロック間符号化することと、前記第２の部分の前記ブロック間符号化を前記第２の参加装置に送信することを更に含み、前記第２の部分はブロック内符号化された前記第１の画像の前記部分に対応する請求項２０に記載の方法。
【請求項２２】
２人の参加者間のテレビ会議において映像コンテンツを配信する方法であって、
ａ）第１の参加装置において長期参照フレームを格納することと、
ｂ）第１の参加装置が第２の参加装置により送信された映像データをドロップしたことを前記第１の参加装置が第２の参加装置に通知することと、
ｃ）前記長期参照フレームを参照して規定されるブロック間符号化データを第２の参加装置が前記第２の参加装置から前記第１の参加装置に送出することとを含む方法。
【請求項２３】
映像コンテンツの１つの中央配信装置を有する多人数参加型テレビ会議において映像コンテンツを配信する方法であって、
ａ）前記中央配信装置において、各参加装置から参加者ビデオ画像を受信することと、
ｂ）前記受信した参加者画像から合成画像を生成することと、
ｃ）前記合成画像を前記参加装置に送信することとを含む方法。
【請求項２４】
前記中央配信装置はデータ記憶装置を含み、前記方法は、前記受信した参加者画像の各々が前記受信した他の参加者画像のいずれともインターリーブされないような非インターリーブ方式で前記受信した参加者画像の各々を前記データ記憶装置に配置することを更に含む請求項２３に記載の方法。
【請求項２５】
ａ）特定の参加装置の各々に対して別個の合成画像を作成することと、
ｂ）前記特定の参加装置の別個の合成画像を前記特定の参加装置に送信する前に、前記別個の合成画像から前記特定の参加装置の各々より受信した参加者画像を除去することとを更に含む請求項２３に記載の方法。
【請求項２６】
特定の各参加装置の別個の合成画像において除去された前記特定の参加装置からの画像の代わりにインディケータを配置することを更に含む請求項２５記載の方法。
【請求項２７】
特定の各参加装置において、
ａ）前記特定の参加装置に送信された前記合成画像を受信することと、
ｂ）前記特定の参加装置によって画像を取り込むことと、
ｃ）表示するために、前記特定の参加装置の前記取り込んだ画像と共に前記送信された合成画像内に含まれる前記参加者画像を描画することとを更に含む請求項２５に記載の方法。
【請求項２８】
前記合成画像は複数の画素セットを含み、各画素セットは前記画素セットと関連する前記参加者画像を識別する識別子を有し、前記方法は、各参加装置において、前記送信した合成画像内に含まれる前記参加者画像を識別するために前記画素セットの識別子を利用することを更に含む請求項２７に記載の方法。
【請求項２９】
前記受信した画像を合成する前に前記受信した参加者画像の各々をサイズ変更することを更に含む請求項２３に記載の方法。
【請求項３０】
ａ）前記中央配信装置において、前記合成画像を生成する前に前記受信したビデオ画像を保管することと、
ｂ）各参加装置からの前記受信したビデオ画像を前記特定の参加装置からの前記保管した先のビデオ画像と比較することと、
ｃ）前記受信したビデオ画像及び前記先に受信したビデオ画像が同一でない場合に、前記合成画像を生成する際に前記受信したビデオ画像を利用することとを更に含む請求項２３に記載の方法。
【請求項３１】
多人数参加型テレビ会議に対する中央配信装置であって、
ａ）前記テレビ会議の参加装置のセットから受信されるビデオ画像を復号化する復号器のセットと、
ｂ）前記復号化したビデオ画像から合成ビデオ画像を生成する合成エンジンと、
ｃ）前記合成ビデオ画像を符号化する少なくとも１つの符号器とを具備する中央配信装置。
【請求項３２】
前記合成エンジンが復号化ビデオ画像のセットに基づいて合成ビデオ画像を生成する前に、前記復号化ビデオ画像のセットを格納する中間バッファのセットを更に具備する請求項３１に記載の中央配信装置。
【請求項３３】
前記合成エンジンが合成ビデオ画像を生成するレートを調整するフレームレートコントローラを更に具備する請求項３１に記載の中央配信装置。
【請求項３４】
特定の各参加装置に送出される合成ビデオ画像から前記特定の参加装置の画像を除去する冗長性除去器を更に具備する請求項３１に記載の中央配信装置。
【請求項３５】
多人数参加型テレビ会議において映像コンテンツを受信及び送信するアーキテクチャであって、
ａ）焦点位置モジュールと、
ｂ）非焦点位置モジュールのセットと、
ｃ）前記非焦点位置モジュールのセットからビデオ画像を受信し且つ前記非焦点位置モジュールのセットに合成ビデオ画像を送信する前記焦点位置モジュールとを具備し、各合成ビデオ画像は、複数の非焦点位置モジュールから受信した複数のビデオ画像の合成であるアーキテクチャ。
【請求項３６】
前記焦点位置モジュールは、特定の各参加装置に送出される合成ビデオ画像から前記特定の参加装置の画像を削除する請求項３５に記載のアーキテクチャ。
【請求項３７】
映像コンテンツの１つの中央ディストリービュータを有する多人数参加型テレビ会議において映像コンテンツを配信するコンピュータプログラムを格納するコンピュータ可読媒体であって、前記コンピュータプログラムは、
ａ）前記中央配信装置において、各参加装置から参加者ビデオ画像を受信し、
ｂ）前記受信した参加者画像から合成画像を生成し、
ｃ）前記合成画像を前記参加者に送信する命令のセットを含むコンピュータ可読媒体。
【請求項３８】
前記中央配信装置はデータ記憶装置を含み、前記コンピュータプログラムは、前記受信した参加者画像の各々が他の前記受信した参加者画像のいずれともインターリーブされないような非インターリーブ方式で前記受信した参加者画像の各々を前記データ記憶装置に配置する命令のセットを更に含む請求項３７記載のコンピュータ可読媒体。
【請求項３９】
前記コンピュータプログラムは、
ａ）特定の各参加装置に対して別個の合成画像を作成し、
ｂ）特定の各参加装置の別個の合成画像を前記特定の参加装置に送信する前に、前記別個の合成画像から前記特定の参加装置から受信した参加者画像を除去する命令のセットを更に含む請求項３７記載のコンピュータ可読媒体。
【請求項４０】
前記コンピュータプログラムは、前記受信した画像を合成する前に前記受信した参加装置からの画像の各々をサイズ変更する命令のセットを更に含む請求項３７記載のコンピュータ可読媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２０１２−１７８８３９（Ｐ２０１２−１７８８３９Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−８５８５９（Ｐ２０１２−８５８５９）
【出願日】平成２４年４月４日（２０１２．４．４）
【分割の表示】特願２００８−５０９１５４（Ｐ２００８−５０９１５４）の分割
【原出願日】平成１８年４月２７日（２００６．４．２７）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１２−８５８５９（Ｐ２０１２−８５８５９）
【出願日】平成２４年４月４日（２０１２．４．４）
【分割の表示】特願２００８−５０９１５４（Ｐ２００８−５０９１５４）の分割
【原出願日】平成１８年４月２７日（２００６．４．２７）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
[ Back to top ]