会議出席者間の相互作用に従ってＣＰ配置を適合させるための方法およびシステム
【課題】会議出席者間の相互作用に従って、画面分割ビデオ会議のレイアウトを適用するシステムおよび方法を提供する。
【解決手段】ビデオ画像内に見出される関心領域を使用して、会議出席者の画像の配置は、エンドポイントによって表示される際に動的に配置される。配置は、部屋における会議出席者の位置とビデオ会議内の支配的な会議出席者を含め、様々な測定基準に応じる構成とする。ビデオ画像は、ビデオ画像のトリミングおよび鏡像化を含め、配置の一部として操作される。会議出席者間の相互作用が変化するに従い、レイアウトは、変更された相互作用に対応して自動的に再配置される。
【解決手段】ビデオ画像内に見出される関心領域を使用して、会議出席者の画像の配置は、エンドポイントによって表示される際に動的に配置される。配置は、部屋における会議出席者の位置とビデオ会議内の支配的な会議出席者を含め、様々な測定基準に応じる構成とする。ビデオ画像は、ビデオ画像のトリミングおよび鏡像化を含め、配置の一部として操作される。会議出席者間の相互作用が変化するに従い、レイアウトは、変更された相互作用に対応して自動的に再配置される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信分野に関連し、特にビデオ会議のための方法およびシステムに関連する。
【０００２】
本出願は、２００７年５月２１日出願の米国特許出願第１１／７５１，５５８号の一部継続出願である２０１０年１月７日出願の米国特許出願第１２／６８３，８０６号の一部継続出願であり、２００９年１１月２５日出願の米国特許仮出願第６１／２６４，３１０号に対する優先権を主張し、その全てを全体を目的に引用して本明細書中に組み込む。
【背景技術】
【０００３】
ビデオ会議は、相互に遠隔に位置する個人が、音声および映像の通信を使用し、直前の通知であっても向かい合って会議を行うことを可能とする。ビデオ会議は、２箇所（２地点）のみを含んでもよく、または複数のサイト（マルチポイント）を含んでもよい。単独の参加者が会議サイトに位置していてもよく、または数名の参加者が、会議室等のサイトにいてもよい。また、ビデオ会議は、書類、情報等を共有するために使用されてもよい。
【０００４】
ビデオ会議において参加者は、ビデオ会議のエンドポイントを経由し、他のサイトの参加者と相互作用する。エンドポイントは、ネットワーク上の端末であり、他の端末またはマルチポイントコントロールユニット（ＭＣＵ、以下に詳述する）とリアルタイムの双方向音声／映像／データ通信を提供できる。エンドポイントは、会話のみ、会話および映像、または会話、データおよび映像通信等を提供してもよい。ビデオ会議のエンドポイントは、典型的には、１箇所以上の遠隔地からのビデオ画像を表示できる表示ユニットを備える。例となるエンドポイントは、ＰＯＬＹＣＯＭ（登録商標）ＶＳＸ（登録商標）およびＨＤＸ（登録商標）シリーズを含み、それぞれＰｏｌｙｃｏｍ，Ｉｎｃ．から入手可能である（ＰＯＬＹＣＯＭ、ＶＳＸ、およびＨＤＸは、Ｐｏｌｙｃｏｍ，Ｉｎｃ．の登録商標である）。ビデオ会議のエンドポイントは、ローカルサイトから遠隔サイトに音声、映像、および／またはデータを送信し、画面上に遠隔サイトから受信した映像および／またはデータを表示する。
【０００５】
ビデオ会議のエンドポイントにおいて画面上に表示されるビデオ画像は、レイアウト内に配置されてもよい。このレイアウトは、ビデオ画像を表示するための１個以上のセグメントを含んでもよい。セグメントは、そのセッションに参加しているサイトのひとつから受信されるビデオ画像に割り当てられる受信エンドポイントの画面の一部分である。例えば、参加者２人の間のビデオ会議において、セグメントは、ローカルのエンドポイントの画面の全表示範囲に及んでもよい。他の例は、その会議の動きに応じて、１箇所の他の遠隔サイトのみからの映像が、一時点においてローカルサイトで表示され、表示される遠隔サイトが切り替えられるように、ビデオ会議がスイッチモードで実施される、ローカルサイトおよび複数の他の遠隔サイトの間のビデオ会議である。対照的に、コンティニュアンスプレゼンス（ＣＰ）会議において、端末の会議出席者が、会議における数箇所の他の参加者のサイトを同時に観察できる。それぞれのサイトは、レイアウトの異なるセグメント内に表示されてもよく、ここで各セグメントは、同じ大きさであるか、または異なる大きさであってもよい。表示され、レイアウトのセグメントに関連付けられるサイトの選択は、同じセッション内に参加する、異なる会議出席者の間で異なっていてもよい。コンティニュアンスプレゼンス（ＣＰ）レイアウトにおいて、あるサイトから受信されるビデオ画像は、セグメントのサイズに合わせるために縮小またはトリミングされてもよい。
【０００６】
ＭＣＵはビデオ会議を管理するために使用されてもよい。ＭＣＵは、ネットワークのノード、端末、または他のサイトに配置されてもよい会議管理体である。ＭＣＵは、ある基準に従って、アクセスポートから数個のメディアチャンネルを受信し、処理し、これらを他のポートを経由して接続されているチャンネルに分配してもよい。ＭＣＵの例としては、Ｐｏｌｙｃｏｍ Ｉｎｃ．から入手可能な、ＭＧＣ−１００およびＲＭＸ（登録商標）２０００を含む（ＲＭＸ２０００はＰｏｌｙｃｏｍ，Ｉｎｃ．の登録商標である）。いくつかのＭＣＵは、メディアコントローラ（ＭＣ）およびメディアプロセッサ（ＭＰ）の２つの論理ユニットを含む。エンドポイントおよびＭＣＵの更に完全な定義は、Ｈ．３２０、Ｈ．３２４、およびＨ．３２３規格等だが、これらに限定されない国際電気通信連合（「ＩＴＵ」）の規格において見出すことができる。ＩＴＵ規格に関する付加的な情報は、ＩＴＵのウェブサイトであるwww.itu.intで見出すことができる。
【０００７】
受信エンドポイント（サイト）の画面レイアウトのセグメント内にビデオ画像を提示するために、全ての受信ビデオ画像は、操作され、縮小され、表示されてもよく、またはビデオ画像の一部分は、ＭＣＵによってトリミングされ、表示されてもよい。ＭＣＵは、ビデオ会議のレイアウト内のセグメントの範囲に受信される会議出席者のビデオ画像を合わせるために、そのひとつ以上の端部から、行または列をトリミングしてもよい。他のトリミング技術としては、その全内容を引用して本明細書に取り込む米国特許出願第１１／７５１，５５８号において開示されるように、画像内の重要な領域によって、受信画像の端部をトリミングしてもよい。
【０００８】
ビデオ会議セッションにおいて、レイアウト内のセグメントの大きさは、そのセッションのために選択されたレイアウトに従って定義されてもよい。例えば、２Ｘ２のレイアウトにおいて、各セグメントは、図１に示されるように、実質上表示の四分の一であってもよい。レイアウト１００は、セグメント１１２、１１４、１１６および１１８を含む。２Ｘ２のレイアウトにおいて、５個所がセッションに参加している場合、各サイトの会議出席者は普通、他の４箇所を見ることができる。
【０００９】
ＣＰビデオ会議セッションにおいて、サイトとセグメント間の関連性は、会議に関与している活動に従って動的に変更されてもよい。いくつかのレイアウトにおいて、セグメントのひとつは現在の発言者に割り当てられてもよく、他のセグメントは他のサイト、すなわち提示される会議出席者として選択されたサイトに割り当てられてもよい。発言者は、典型的には、観察期間のある特定の割合の間の最も声の大きな発言者等、特定基準に従って選択される。（他のセグメント内の）他のサイトは、前回の発言者、他を超える音声エネルギーを伴うサイト、運営上の判定が可視化されるために必要とされる特定の会議参加者等を含んでもよい。
【００１０】
図１に示す例において、表示領域の四分の三のみが、セグメント１１２、１１４、および１１６として使用されており、第４の四分の一１１８は、背景色によって占められている。かかる状況は、４箇所のみがアクティブであり、各サイトが、他の３箇所を見ている場合に発生する。更にセグメント１１６は、空いている部屋を表示する一方で、セグメント１１２および１１４において提示されるサイトは、それぞれ単一の会議出席者を含んでいる（会議出席者１２０および１３０）。このため、セッションのこの期間において、画面領域の半分のみが効果的に使用されており、他の半分は非効果的に使用されている。セグメント１１６およびセグメント１１８の領域は、会議出席者の体験に寄与せず、このため、賢明かつ効果的な方法において利用されていない。
【００１１】
更に、セグメント１１２および１１４両方において見られることがあるように、画像の主要な範囲は冗長的である。ビデオ画像は、部屋の大きな部分を取り込んでいる一方で、会議参加者の画像１２０および１３０が小さく、小さな範囲に配置されている。こうして、表示範囲のかなりの部分が、重要ではない範囲で無駄になっている。このため、会議参加者の画像が取り込まれている範囲に悪影響が及び、ビデオ会議のレイアウトを見ている会議出席者の体験は、最適ではない。
【００１２】
更に、いくつかの会議セッションにおいて、１箇所以上のサイトに単一の参加者がいる一方で、他のサイトにおいて、２人以上の参加者がいる。現在利用可能なレイアウトにおいて、各サイトは、類似のセグメントサイズを受信しており、その結果、複数の会議出席者がいるサイトでの各出席者は、より少数の参加者がいるサイトにおける会議出席者よりも小さな範囲に表示されており、閲覧者の体験を低質化している。
【００１３】
いくつかのビデオ会議セッションにおいて、複数の会議出席者のうちの一人のみが積極的であり、他のサイトと会話をしているサイトがある。通例、部屋のビデオカメラは全室内を捉え、複数の会議参加者を伴って、小さな画面領域を、活動的な会議参加者を含め、会議参加者の各１人に割り当てている。他のセッションにおいて、コンテンツ（データ）はレイアウトの一部として、典型的には、他のセグメント内に提示されるビデオ画像から独立してセグメントのひとつに提示される。
【００１４】
会議電話の間に、会議参加者の１人がカメラから離れると、その会議参加者の画像はより小さく見え、またしてもビデオ会議のレイアウトを見ている会議参加者の体験は低質化される。同様に、表示されているサイトの参加者がある時間その部屋を離れ、後に帰ってくると、空いている部屋は、参加者が不在中、レイアウト上に表示される。
【００１５】
いくつかの既知の技術において、他のサイトで見ている会議参加者は、自らのエンドポイントで見られるレイアウトを手動によって変更して、会議の動きに対して調整を行うこともあるが、これは、会議出席者が彼らの行っていることを止め、レイアウトメニューを扱ってかかる調整を行うことを必要とする。
【発明の概要】
【００１６】
ＣＰビデオ会議のレイアウト内にセグメントを配置するための既存の方法は、異なるサイトに配置されている会議出席者およびそのレイアウトを見ている会議出席者間の相互作用（interaction）を無視している。図１の従来技術のＣＰレイアウト１００を見る会議出席者は、２人の会議出席者１２０および１３０が背中合わせに座っているような会議の不自然な光景を見る。影響は、２人の会議出席者が、セッション内で支配的な会議出席者であり、発言のほとんどが彼らの間で行われると、更に悪化することもある。かかるレイアウトは、同僚間の会議を反映していない。
【００１７】
異なるサイトにおいて提示される会議出席者間の相互作用に従ったレイアウトを適用し、配置することは、レイアウトに基づいてＣＰビデオ画像の視聴者となる体験を改善できる。異なるサイトにおいて異なる会議出席者間の相互作用に従ったレイアウトを適用し、配置することは、会議出席者が互いを見るような、実際の会議に類似する体験を提供することができる。更に、異なるサイトにおける会議出席者間の相互作用に対してレイアウトを適用することは、レイアウトに基づいたＣＰビデオ画像を観察する他のサイトにおける会議出席者の体験を改善することができる。例えば、１人のみが活動的であるような、複数の会議出席者を伴うサイトは、ひとつが会議出席者の全グループを提示し、他が活動的な会議出席者をより大きなサイズにおいて提示するというように、２つのセグメント内で提示されてもよい。
【００１８】
図２は、図１と同様にビデオ会議のセッションの例であるレイアウト２００を示しており、レイアウト２００において、サイトＢおよびＡから来るビデオ画像の位置が交換されており、会議のより忠実な感覚を与える。会議出席者１３０を伴うサイトＢは、セグメント１１４内に提示されるのではなくセグメント１１２に提示され、サイトＡからの画像１２０は、セグメント１１２内に提示されるのではなくセグメント１１４に提示されている。新たな配置は、部屋において着席している２人の会議出席者１２０および１３０の間の相互作用をよりよく反映する。新たな配置は、背中合わせに座っている会議出席者と比較すると、快適な感覚を与える。更に、レイアウト配置は、彼もまた会議出席者の１人であるという、閲覧者の体験を強固にする。なぜならば、レイアウト内の新たな配置における提示される会議出席者は、視聴者に対して向いているかのように、レイアウトの中央に向いているからである。いくつかの実施の形態において、サイトＣからのビデオ画像を伴うセグメント１１６は、中央に移動されてもよい。
【００１９】
提示されるサイト間の相互作用は、あるサイトにおける人（達）の配置／相対位置、その人（達）が向いている方向等といった、会議において支配的な２箇所以上のサイトを含んでもよい。異なる技術としては、部屋の中心に関する会議出席者のサイトを発見することを支援してもよい。ある技法の一実施の形態としては、会議出席者の視線の方向に関する情報を用いてもよい。複数のビデオ会議のセッションを観察することから、我々は、両者が部屋の中心に向きながら、画像の左側部分に配置される会議出席者は典型的には右側を見ており、これに対して右側部分の会議出席者は左側を見ていることを発見した。（左および右の方向は、その画像を見ている人の視点による。）異なるサイトにおいて着席している会議出席者の間の相互作用を判定するために、実施の形態は、セッション内に参加している異なるサイトからの、復号され、受信されるビデオ画像を処理してもよい。
【００２０】
周期的に（各判定期間）、各ビデオ画像内の関心領域（ＲＯＩ）が見出されてもよく、それぞれ受信されるビデオ画像内のＲＯＩの相対的な配置に関して判定がなされてもよい。結果に基づき、一実施の形態において、会議出席者が部屋の左側の区域内に着席しているサイトに対して左側のセグメントを割り当て、会議出席者が部屋の右側の区域内に着席しているサイトに対して右側のセグメントを割り当ててもよい。図２に示すように、セグメント１１２は会議出席者１３０を伴うサイトＢに割り当てられ、これに対してセグメント１１４はサイトＡに割り当てられる。
【００２１】
いくつかの実施の形態において、異なるサイトにおける会議出席者が同じ相対位置において着席しており（その部屋の中心に対して左側または右側）、ひとつ以上の画像が鏡像化されてもよい。画像の鏡像化は、例えば、映像データを各列の右端から左端へと読み取り、映像データをＣＰレイアウト内の関連するセグメント内の適切な列の左端から右端へと書き出すことによって、いくつかの実施の形態においてＣＰレイアウトを構築しながら行ってもよい。レイアウト内の配置は、直前に支配的であったサイトのひとつに代わって、他のサイトが支配的になる等、動的に変更されてもよい。支配的なサイトは、例えば、残りの提示される会議出席者が無言である間に、会議のある期間において、意見交換としての会話を行っているいずれかの２箇所のサイトであってもよい。
【００２２】
異なるアルゴリズムが、それぞれのサイトのビデオ画像内のＲＯＩを判定するために使用されてもよい。時宜に応じて、実施の形態において、異なるサイトから受信されるビデオ画像のそれぞれひとつから、単一のフレームを格納してもよい。それぞれ格納されたフレームは、ＲＯＩを定義するために分析されてもよい。アルゴリズムの実施の形態において、ビデオ画像の範囲の色調を分析し、会議出席者が表示されるような区域を定義するために肌の色を探してもよい。かかる実施の形態において、会議出席者を検出するために、肌の色調の蓄積を含んでもよい。
【００２３】
他の実施の形態において、ＲＯＩの配置を判定するための動作検出を使用してもよい。一実施の形態において、動作検出は、圧縮された映像ファイルに関連付けられた動作ベクトルを基礎としてもよい。動作検出の他の実施の形態において、連続した複合されたフレームの間の変化領域の領域を検索してもよい。
【００２４】
他の実施の形態において、会議出席者の顔の配置を判定するための顔検出ソフトウェアを使用してもよい。顔検出ソフトウェアのひとつの例は、Ｆｒａｕｎｈｏｆｅｒ ＩＩＳのＳＨＯＲＥソフトウェアである。ＳＨＯＲＥは、顔および物の検出ならびに微細な分析のための、最適化されたソフトウェアライブラリーである。（ＳＨＯＲＥは、Ｆｒａｕｎｈｏｆｅｒ ＩＩＳの登録商標である。）他のかかるソフトウェアは、ＮｅｕｒｏｔｅｃｈｎｏｌｏｇｙのＶｅｒｉＬｏｏｋ ＳＤＫである。更に他の顔検出ソフトウェアは、Ｉｎｔｅｌ Ｃｏｒｐ．によってもともと開発されたＯｐｅｎＣＶである。
【００２５】
読者は、顔検出ソフトウェアの更なる情報を、www.consortium.ri.cmu.edu/projOmega.phpおよびwww.consortium.ri.cmu.edu/projFace.phpで見つけることができる。検出される顔の大きさおよび配置に基づいて、ある実施の形態において、ビデオ画像の中心に対するＲＯＩの配置を見積もってもよい。
【００２６】
他の実施の形態において２つ以上のマイクを使用し、話者の配置を判定することを可能とするとともに、複数のマイクから受け取る音声エネルギーを処理することによって部屋の中の画像のＲＯＩを判定することを可能とし、部屋の中の話者の相対位置を判定する。
【００２７】
いくつかの実施の形態において、サイトは複数のマイクを有し、それぞれのマイクから受け取る音声信号のエネルギーは、部屋の残りの会議出席者が受動的または無言である間、一人の会議出席者が活動的な会議出席者であるか否かを判定するために使用されてもよい。活動的な会議出席者は、ある期間の時間（例えば、数秒から数分）に、その部屋内において、ある割合（例えば、７０パーセントから９０パーセント）を超えて発言を行った会議出席者として定義されてもよい。活動的な会議出席者が定義されると、活動的な会議出席者の周囲においてトリミングされた、サイトからのビデオ画像の一部が提示されるような、映像セグメントが配置されてもよい。このセグメントは、全てのサイトを提示するセグメントに加えて、レイアウトに追加されることができる。
【００２８】
いくつかの実施の形態において、活動的な会議出席者の周囲の、トリミングされる領域の境界についての判定は、複数のマイクから受け取る音声エネルギーを分析することと相互関係をもつ顔検出装置を使用することによって実施されてもよい。他の実施の形態において、かかるサイトに２つのセグメントを割り当て、１つを会議出席者のグループ全体のビデオ画像に割り当て、更に１つを活動的な会議出席者の周囲においてトリミングされる領域に割り当てるかわりに、単一のセグメントが、活動的な会議出席者に割り当てられてもよい。更に、分割されたセグメント内において活動的な会議出席者は処理され、レイアウトの中央に面するレイアウト内に置かれてもよい。
【００２９】
いくつかの実施の形態において、ＲＯＩ検出装置はエンドポイントにあってもよく、ＲＯＩの相対位置は、プロプリエタリメッセージまたはヘッダ内のビデオ画像とともに送信されてもよい。
【００３０】
更に他の実施の形態において、ＲＦトラッカーが、部屋の中の加入者の配置を定義するために使用されてもよい。信号は、エンドポイントと関連付けられた部屋の中に配置される２つ以上のアンテナによって受信されてもよい。受信されたＲＦ信号は、エンドポイントによって処理されてもよく、その配置は、プロプリエタリメッセージまたはヘッダ内のビデオ画像とともに送信されてもよい。
【００３１】
いくつかの実施の形態において、他の技術が、異なるサイトの間の相互作用を定義するために使用されてもよい。例えば、それぞれのサイトから受け取る音声エネルギーの表示が処理されてもよい。その処理は、ある期間の時間に、話者間の相互作用を追跡してもよい。相互作用が２箇所のサイト間にあれば、その２箇所のサイトからの画像は、レイアウト２００の画像１１２および１１４のように、相互に向き合う上方列に置かれてもよい。サイトは、支配的なサイトまたは支配的な会議出席者として言及されてもよい。いくつかの実施の形態において、支配的なサイトは、より大きなセグメント内に提示されてもよい。
【００３２】
いくつかの実施の形態において、例えば、異なるサイトからのビデオ画像に割り当てられるセグメントに加えて、コンテンツが１つのセグメントにおいて提示されるようなビデオ会議セッションにおいて、異なるサイト間の相互作用を定義するために他の技法が使用されてもよい。コンテンツは、レイアウトの中心のセグメントにおいて提示されてもよく、これに対して、異なるサイトからのビデオ画像がコンテンツのセグメントの周囲において提示されてもよい。割り当てられているセグメント内のそれぞれのビデオ画像は、会議出席者がコンテンツに向いているように、操作されてもよい。更に、コンテンツを生成するエンドポイントは、コンテンツの一方の側に提示されることができ、これに対して、他のサイトは、コンテンツの他の側に提示されることができる。
【００３３】
他の実施の形態において、ＲＯＩの相対位置は、手作業によって定義されてもよい。かかる実施の形態において、クリック・アンド・ビュー機能が、各サイトのビデオ画像内のＲＯＩを指示するために使用されてもよい。クリック・アンド・ビュー機能について更に知りたいと希望する読者は、米国特許第７，５４２，０６８号を読むことを薦められるが、その全体を目的として本明細書に引用して組み込む。代替として、いくつかの実施の形態において、サイト間の相互作用は、クリック・アンド・ビュー機能を使用することにより、会議出席者の一人によって手作業で定義されてもよい。
【００３４】
開示のこれらおよび他の様態は、添付図面および詳細な説明に照らして明白となる。前述の概要は、それぞれ可能な実施の形態または本発明のすべての様態を要約することを意図したものではなく、本発明の他の特長および利点は、以下の添付図面および特許請求の範囲とともに実施の形態の詳細な説明を通読することによって明白となる。更に、従来のビデオ会議における上述の課題は、いかなる方法においても発明の概念の範囲を限定することを意図するものではなく、説明のためのみに提示されている。
【００３５】
更に、具体的な実施の形態は当該技術に精通する者に対して発明の概念を示すために詳細に説明されるが、かかる実施の形態は、種々の変更および代替様式の余地がある。従って、図面および記載の説明は、いかなる方法によっても発明の概念の範囲を限定することを意図するものではない。
【００３６】
添付図面は、本明細書に組み込まれ、その一部を構成するものであり、本発明と一致する装置および方法の実施を示し、詳細な説明とともに、本発明と一致する利点および原理を説明するものである。
【図面の簡単な説明】
【００３７】
【図１】従来の技術である２Ｘ２の表示されるレイアウトの例を示す図。
【００３８】
【図２】本発明の一実施の形態による、異なるサイトにおいて参加者の相互作用に従って適用されるレイアウトを示す図。
【００３９】
【図３】本発明の一実施の形態による、マルチメディア・マルチポイント会議システムの関連要素を持つブロック図を示す図。
【００４０】
【図４】本発明の一実施の形態による、異なるサイトにおいて参加者の相互作用に従ってＣＰレイアウトを動的かつ自動的に適用できるＭＣＵの関連要素を示す図。
【００４１】
【図５】本発明の一実施の形態による、相互作用検知出コンポーネント（ＩＤＣ）の関連要素を持つブロック図を示す図。
【００４２】
【図６】本発明の一実施の形態による、ビデオ会議システムにおける異なるサイトにおけるサイト間の相互作用を定義する技術のためのフローチャートを示す図。
【００４３】
【図７Ａ】本発明の一実施の形態による、１つ以上のＣＰレイアウトを自動的かつ動的に適用する技術のためのフローチャートを示す図。
【図７Ｂ】本発明の一実施の形態による、１つ以上のＣＰレイアウトを自動的かつ動的に適用する技術のためのフローチャートを示す図。
【発明を実施するための形態】
【００４４】
以下の説明において説明を目的とし、本発明に対する十分な理解を提供するために、多くの具体的な詳細を述べる。しかしながら、当該技術に精通する者にとって、本発明を、これらの具体的な詳細を要せずに実施できることは明白である。他の場合において、本発明を不明瞭なものとすることを避けるために、構成および装置をブロック図で示す。下付き文字を伴わない数字に対する参照は、参照される数字に対応する下付き文字の全ての場合を参照するものとして理解される。更に、本開示において使用される言語は、主として判読性および説明的目的のために選択されており、本発明の主題を画定または制限するために選択されておらず、請求範囲によりかかる発明の主題を判定するよう必要とする。「一実施の形態」または「実施の形態」に対する本明細書における参照は、実施の形態に関して説明される特定の特長、構成、または特性が、本発明の少なくとも一実施の形態に含まれることを意味し、「一実施の形態」または「実施の形態」に対する複数の参照の全てが、必ずしも同じ実施の形態を参照しているものとして理解されてはならない。
【００４５】
以下の説明のいくつかは、ソフトウェアまたはファームウェアに関する用語で記載されてはいるが、実施の形態において、ソフトウェア、ファームウェア、およびハードウェアのすべての組み合わせを含む、望みのソフトウェア、ファームウェア、またはハードウェアの、本明細書に記載される特長および機能を実施してもよい。デーモン、ドライバ、エンジン、モジュール、またはルーチンに対する参照は、実施の形態をいかなる種類の実行にも限定することを意味するものとして考えてはならない。
【００４６】
同じ番号が、開示されるシステムおよび方法のいくつかの視野、実施の形態、局面および特長を通して、同じ要素を指示する図面について述べる。利便性のために、同じグループの同じ要素のみが番号によって指示されることがある。図の目的は、実施の形態を説明することであり、作製または限定することではない。
【００４７】
図１および図２は上述されており、更に説明されることはない。図３は、一実施の形態による、マルチメディア・マルチポイント会議システム３００の一部の関連要素を持つブロック図を示している。システム３００は、１つ以上のＭＣＵ３２０を接続するネットワーク３１０および複数のエンドポイント（サイト）３３０Ａ_Ｎを含んでもよい。ネットワーク３１０が複数のＭＣＵ３２０を含むいくつかの実施の形態において、仮想ＭＣＵが、複数のＭＣＵを制御するために使用されてもよい。仮想ＭＣＵの更なる情報は、米国特許第７，１７４，３６５号において見出すことができ、そのすべてを目的として引用して本明細書に組み込む。エンドポイント３３０（端末として言及されることもある）は、ネットワーク上の実体であり、他のエンドポイント３３０またはＭＣＵ３２０とのリアルタイム、双方向音声および／または視覚通信を提供することができる。エンドポイント３３０は、コンピューター、ＰＤＡ（携帯情報端末）、携帯電話、マイクおよびカメラを持つテレビ等として実施されてもよい。
【００４８】
ＭＣＵは、ビデオ会議を管理するために使用されてもよい。ＭＣＵは、ネットワークのノード、端末、または他のいずれかに配置されても良いような会議を制御する実体である。ＭＣＵは、ある基準に従って、アクセスポートからいくつかのメディアチャンネルを受信し、処理し、他のポートを介してそれらを接続されているチャンネルに配信する。ＭＣＵの例としては、Ｐｏｌｙｃｏｍ Ｉｎｃ．から利用可能なＭＧＣ−１００および ＲＭＸ（登録商標）２０００を含む（ＲＭＸ ２０００は、Ｐｏｌｙｃｏｍ， Ｉｎｃ．の登録商標である）。いくつかのＭＣＵは、メディアコントローラ（ＭＣ）およびメディアプロセッサ（ＭＰ）の２つの論理ユニットを含む。エンドポイントおよびＭＣＵの更に完全な定義は、Ｈ．３２０、Ｈ．３２４、およびＨ．３２３規格等だが、これらに限定されない国際電気通信連合（「ＩＴＵ」）規格において見出すことができる。ＩＴＵ規格に関する付加的な情報は、ＩＴＵのウェブサイトwww.itu.intで見出すことができる。
【００４９】
ネットワーク３１０は、単一ネットワークまたは２つ以上のネットワークの組み合わせを表わしてもよい。ネットワーク３１０は、パケット切換ネットワーク、サーキット切換ネットワーク、およびサービス総合ディジタル網（ＩＳＤＮ）ネットワーク、公衆電話交換回線網（ＰＳＴＮ）、非同期転送モード（ＡＴＭ）ネットワーク、インターネット、またはイントラネットを含むいかなる種類のネットワークであってもよい。ネットワーク上のマルチメディア通信は、Ｈ．３２０、Ｈ．３２４、Ｈ．３２３、ＳＩＰ等を含むいかなる通信プロトコルに基づいてもよい。
【００５０】
エンドポイント（ＥＰ）３３０Ａ_ＮおよびＭＣＵ３２０の間で通信される情報は、信号発信および制御、音声情報、映像情報、および／またはデータを含んでもよい。エンドポイント３３０Ａ_Ｎの異なる組み合わせが会議に参加してもよい。エンドポイント３３０Ａ_Ｎは、発話、データ、映像、信号発信、制御、またはそれらの組み合わせを提供してもよい。
【００５１】
エンドポイント３３０Ａ_Ｎは、ＥＰ３３０およびＭＣＵ３２０におけるユーザー間のインターフェイスとして動作してもよいリモートコントロール（不図示）を備えてもよい。リモートコントロールは、ＤＴＭＦ（デュアルトーンマルチ周波数）信号、遠隔カメラ制御、制御パケット等を使用してもよいダイヤルキーボード（例えば、電話のキーパッド）を備えてもよい。
【００５２】
エンドポイント３３０Ａ_Ｎは、会議内においてエンドポイントでユーザーが発言できるよう、または他のユーザーによって聞かれる音および雑音に供される１つ以上のマイク（不図示）、エンドポイント３３０Ａ_Ｎが生の映像データを会議に入力できるカメラ、１つ以上のスピーカーおよびディスプレイ（画面）も備えてもよい。
【００５３】
システム３００の説明部分は、もっとも関係のある要素のみを備え、説明している。システム３００の他の部分は説明しない。システムの構成および必要に応じて、各システム３００がその他の数のエンドポイント３３０、ネットワーク３１０、およびＭＣＵ３２０を有してもよいということは、当該技術に精通する者にとって明白であろう。しかしながら、明確化のために、複数のＭＣＵ３２０を伴うネットワーク３１０を示す。
【００５４】
ＭＣＵ３２０およびエンドポイント３３０Ａ_Ｎは、 本開示の種々の実施の形態に従って動作して、マルチポイントビデオ会議のＣＰビデオ画像を見ている会議出席者の体験を改善するよう適用されてもよい。集中アーキテクチャを実行する実施の形態において、ＭＣＵ３２０は、本明細書に説明される自動表示適用技術を行うよう適用されてもよい。代替として、分散アーキテクチャにおいて、ＭＣＵ３２０と同様にエンドポイント３３０Ａ_Ｎは、自動表示適用技術を行うよう適用されてもよい。異なる実施の形態によるＭＣＵ３２０およびエンドポイント３３０Ａ_Ｎの動作についての更なる情報を、以下に説明する。
【００５５】
図４は、一実施の形態によるＭＣＵ４００を示している。ＭＣＵ４００は、ネットワークインターフェイスモジュール（ＮＩ）４２０、音声モジュール４３０、制御モジュール４４０、および映像モジュール４５０を含んでいてもよい。ＭＣＵ４００の代替の実施の形態は、他のコンポーネントを有してもよく、および／または図４に示す全てのコンポーネントを含んでもよい。ネットワークインターフェイスモジュール４２０は、ネットワーク３１０を介して複数のエンドポイント３３０Ａ_Ｎから通信を受信してもよい。ＮＩ４２０は、Ｈ．３２０、Ｈ．３２１、Ｈ．３２３、Ｈ．３２４、セッションイニシエーションプロトコル（ＳＩＰ）等を含む、１つ以上の通信規格に従って通信を処理してもよい。ネットワークインターフェイス４２０はまた、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、Ｇ．７１１、Ｇ．７２２、ＭＰＥＧ等を含む１つ以上の圧縮規格に従って通信を処理してもよい。ネットワークインターフェイス４２０は、他のＭＣＵおよびエンドポイントへ、および他のＭＣＵおよびエンドポイントから、制御およびデータ情報を受信および送信してもよい。ネットワーク３１０上でのエンドポイントおよびＭＣＵの間の通信に関する更なる情報、ならびに信号発信、制御、圧縮、およびビデオ電話を説明している情報は、国際電気通信連合（「ＩＴＵ」）の規格であるＨ．３２０、Ｈ．３２１、Ｈ．３２３、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、Ｇ．７１１、Ｇ．７２２、およびＭＰＥＧ等、またはＩＥＴＦネットワークワーキンググループのウェブサイト（ＳＩＰについての情報）から見出すことができる。
【００５６】
ＭＣＵ４００は、提示したサイト間で検出された相互作用に従ってＣＰレイアウトを動的かつ自動的に適用する。提示したサイト間の相互作用は、会議において支配的な２つ以上のサイト、あるサイトにおける人（達）の配置、その人（達）が向いている方向等を含んでもよい。
【００５７】
ネットワークインターフェイスモジュール４２０は、異なる信号、メディア、および／またはエンドポイント３３０Ａ_ＮおよびＭＣＵ３２０の間で通信される「信号発信および制御」を多重送信化または多重分離化してもよい。圧縮された音声信号は、音声モジュール４３０へ、および音声モジュール４３０から送信されてもよい。圧縮された映像信号は、映像モジュール４５０へ、および映像モジュール４５０から送信されてもよい。「制御および信号発信」信号は、モジュール４４０へ、およびモジュール４４０から転送されてもよい。更に、分散アーキテクチャが使用される場合、ネットワークインターフェイスモジュール４２０は、制御モジュール４４０およびエンドポイント３３０Ａ_Ｎの間において転送される、自動的かつ動的なＣＰレイアウト適用関連情報を扱うことができてもよい。
【００５８】
動的ＣＰレイアウト適用情報がＲＴＰ（リアルタイムトランスポートプロトコル）パケットのペイロードの、所定のヘッダの一部として送信される実施の形態において、ＮＩ４２０は、所定のヘッダを処理して、ＲＴＰパケットに自動的かつ動的ＣＰレイアウト適用情報を付加し、更にＲＴＰパケットをエンドポイント３３０Ａ_Ｎ等に向けて送信するよう成されてもよい。実施の形態において、いくつかの動的ＣＰレイアウト適用情報は、エンドポイントのディスプレイで表示されるレイアウトに関する、エンドポイントからの要求を含んでもよい。代替の実施の形態において、動的ＣＰレイアウト適用情報は、遠隔カメラ操作（ＦＥＣＣ）チャンネル（図４に不図示）を経由して送信されてもよく、またはプロプリエタリプロトコルに応じる専用パケットのペイロードとして送信されてもよい。更に他の実施の形態において、動的ＣＰレイアウト適用情報は、ＭＣＵの内部モジュールによって検出され、送信されてもよい。動的ＣＰレイアウト適用情報は、ＲＯＩ（関心領域）、ＲＯＩが面している方向、ビデオ画像の中心と比較したＲＯＩの相対位置、および／またはサイト間の相互作用等を含んでもよい。
【００５９】
音声モジュール４３０は、ＮＩ４２０を介し、更に音声ライン４２２を通じて、複数のエンドポイント３３０Ａ_Ｎのから圧縮された音声ストリームを受信してもよい。音声モジュール４３０は、受信される圧縮された音声ストリームを処理してもよい。音声モジュール４３０は、受信される音声ストリームから関連する音声ストリームを解凍、復号、および合成してもよい。音声モジュール４３０は、圧縮され、エンコードされている合成された信号を、エンコードし、圧縮し、音声ライン４２２およびＮＩ４２０を介して１つ以上のエンドポイント３３０Ａ_Ｎに転送してもよい。
【００６０】
音声モジュール４３０は、ネットワークインターフェイス４２０を介して、複数のエンドポイント３３０Ａ_Ｎから圧縮されている音声ストリームを受信してもよい。音声モジュール４３０は、圧縮されている音声ストリームを復号し、復号されたストリームを分析し、特定のストリームを選択し、選択されたストリームを合成してもよい。合成されたストリームは圧縮されてもよく、圧縮された音声ストリームはネットワークインターフェイス４２０に送信されてもよく、ネットワークインターフェイスは圧縮された音声ストリームを異なるエンドポイント３３０Ａ_Ｎへと送信する。異なるエンドポイントへと送信される音声ストリームは、異なってもよい。例えば、音声ストリームは、異なる通信規格に従い、更に個々のエンドポイントの必要に従い、フォーマットされてもよい。音声ストリームは、音声ストリームが送信されるエンドポイントと関連付けられる会議出席者の音声を含まなくてもよい。しかし、会議出席者の音声は、他の全ての音声ストリーム内に含まれてもよい。
【００６１】
実施の形態において、音声モジュール４３０は、少なくとも１つのＤＴＭＦモジュール４３５を含んでもよい。ＤＴＭＦモジュール４３５は、受信された音声ストリームからＤＴＭＦ（デュアルトーンマルチ周波数）信号を検出および／または捕捉してもよい。ＤＴＭＦモジュール４３５は、ＤＴＭＦ信号をＤＴＭＦ制御データに変換してもよい。ＤＴＭＦモジュール４３５は、ＤＴＭＦ制御データを、制御ライン４４４を介して制御モジュール４４０に転送してもよい。ＤＴＭＦ制御データは、相互作用型音声応答（ＩＶＲ）等であるが、これに限定されない相互作用型インターフェイスを使用する会議を制御するために使用されてもよい。他の実施の形態において、ＤＴＭＦ制御データは、クリック・アンド・ビュー機能を介して使用されてもよい。本発明の他の実施の形態において、ＤＴＭＦモジュール４３５に加えて、またはＤＴＭＦモジュール４３５に代えて会話認識モジュール（不図示）を使用してもよい。これらの実施の形態において、会話認識モジュールは、ビデオ会議のパラメータを制御するために会議出席者の音声コマンドを使用してもよい。
【００６２】
音声モジュール４３０は、エンドポイントから受け取られる音声信号を分析し、それぞれの音声信号のエネルギーを判定するよう成されていてもよい。信号のエネルギーの情報は、制御ライン４４４を介して制御モジュール４４０に転送されてもよい。いくつかの他の実施の形態において、２つ以上のマイクが、特定のサイトにおいて使用されてもよい。かかる実施の形態おいて、音声モジュール４３０は、音声相互作用型検出コンポーネント（ＡＩＤＣ）４３７を備えてもよい。各マイクからのエネルギーは、ＡＩＤＣ４３７に転送されてもよく、更に関心領域（ＲＯＩ）の配置および／または特定のサイトにおけるＲＯＩの相対位置を判定するために使用されてもよい。いくつかの実施の形態において、エネルギーレベルは、ビデオ会議内において合成される音声源として適切な１箇所以上のエンドポイントを選択するための選択パラメータとして使用されてもよい。エンドポイントは、選択されたエンドポイントまたは提示されるエンドポイントとして参照されてもよい。分散アーキテクチャの他の実施の形態において、エンドポイント３３０Ａ_Ｎは、音声モジュール４３０の機能のいくつかを有してもよい。
【００６３】
典型的なＭＣＵの共通の動作に加えて、ＭＣＵ４００は、制御モジュール（ＣＭ）４４４を有する結果として付加的な動作を行うことができる。制御モジュール４４０は、ＭＣＵ４００の動作およびその内部のモジュールの動作を制御してもよい。そのような内部モジュールは、音声モジュール、映像モジュール４５０等であるが、これに限定されない。制御モジュール４４０は、ＭＣＵ４００の異なる内部モジュールから受信した指示を処理してもよい論理モジュールを含んでもよい。制御モジュール４４０の実施の形態は、制御ライン４４４を介してＤＴＭＦモジュール４３５から受信した指示を処理してもよい。制御信号は、制御ライン４４４、４４６、および／または４４８を介して送信、受信されてもよい。そのような制御信号は、クリック・アンド・ビュー機能を介して参加者から受信したコマンド、映像モジュール４５０からの検出されたステータス情報等であるが、ただしこれに限定されない。
【００６４】
制御モジュール４４０は、ＭＣＵ４００の動作を制御する論理ユニットであってもよい。典型的なＭＣＵの共通の動作に加えて、ＭＣＵ４００は、制御モジュール４４０を有する結果として付加的な機能を行うことができてもよい。制御モジュール４４０は、各サイトにおいて表示されるレイアウトを適用する相互作用型レイアウトコントローラ（ＩＬＣ）４４２を含んでもよい。ＩＬＣ４４２は、会議電話に参加するサイトの数、どのサイトが退出したのか、どのサイトが会議から去ったのか、どのサイトが会議に加えられたのか等を含め、ＮＩ４２０から情報および更新を受信してもよい。他の種類の情報には、一人以上の参加者が要求するレイアウト等に関するコマンドを含んでもよい。
【００６５】
一実施の形態において、ＩＬＣ４２２は、１つ以上のエンドポイント３３０Ａ_Ｎにおいて表示されるレイアウトを判定および／または制御してもよい。ＩＬＣ４４２は、ＮＩ４２０および／またはＤＴＭＦ ４３５を介してエンドポイント３３０Ａ_Ｎから制御情報を受信してもよい。ＩＬＣ４４２は、また、音声モジュール４３０、映像モジュール４５０を含むＭＣＵ４００の内部ユニットから検出された情報、および異なるビデオ画像におけるＲＯＩの相対位置を受信してもよい。異なる情報および制御情報に従って、ＩＬＣ４４２は、各レイアウトを配置し、制御ライン４４８を介して映像モジュール４５０の内部ユニットに制御コマンドを送信する方法を判定してもよい。コマンドの例としては、どのビデオ画像を表示するのか、レイアウト内の各ビデオ画像の配置、画像を鏡像化するための要求、特定のサイトからの画像の拡大または縮小、ある数のセグメントを伴うレイアウトの構築または更新等を含んでもよい。ＩＬＣ４４２の更なる情報は、図７との関連で開示される。
【００６６】
映像モジュール４５０は、複数のエンドポイント３３０Ａ_Ｎからの圧縮された映像ストリームを受信してもよく、それはネットワーク３１０を介し、ＮＩ４２０によって処理されてＭＣＵ４００へと送信される。映像モジュール４５０は、ＭＣＵ４００によって現在実施されている一件以上の会議と関連付けられる１つ以上のレイアウトに従って、１つ以上の圧縮されたＣＰビデオ画像を作成してもよい。
【００６７】
映像モジュール４５０の実施の形態は、１つ以上の入力モジュール４５１Ａ_Ｘ、１つ以上の出力モジュール４５５Ａ_Ｘ、および映像共通インターフェイス４５４を含んでもよい。入力モジュール４５１Ａ_Ｘ は、１箇所以上の参加しているエンドポイント３３０Ａ_Ｎからの、圧縮された入力映像ストリームを扱ってもよい。出力モジュール４５５Ａ_Ｘは、１箇所以上のエンドポイント３３０Ａ_Ｎに、ＣＰビデオ画像の映像ストリームの、構成されている圧縮された出力を生成してもよい。
【００６８】
圧縮された出力映像ストリームは、いくつかの入力ストリームから構成されて、指定されたエンドポイントのための会議を表す映像ストリームを形成してもよい。入力ストリームは、修正されてもよい。圧縮されていない映像データは、共通インターフェイス４５４上の入力モジュール４５１Ａ_Ｘおよび出力モジュール４５５Ａ_Ｘによって共有されてもよく、それは時分割多重（ＴＤＭ）インターフェイス、非同期転送モード（ＡＴＭ）インターフェイス、パケットに基づくインターフェイス、および／または共有メモリを含む、何らかの適する種類のインターフェイスを備えてもよい。共通インターフェイス４５４上のデータは、まったく圧縮されていないか、または部分的に圧縮されていなくてもよい。一例となる映像モジュール４５０の動作は、米国特許第６，３００，９７３号において説明されている。
【００６９】
各入力モジュール４５１Ａ_Ｘは、圧縮された入力映像ストリームを復号するためのデコーダ４５２を備えていてもよい。一実施の形態において、各入力モジュール４５１Ａ_Ｘは、相互作用型デコーダコンポーネント（ＩＤＣ）４５３も備えていてもよい。代替の実施の形態において、全入力モジュール４５２に対して１つのＩＤＣ４５３があってもよい。ＩＤＣ４５３の実施の形態は、ビデオ画像内のＲＯＩおよび／またはＲＯＩの相対位置を検出してもよい。ＩＤＣ４５３は、異なるサイト３３０Ａ_Ｎ間の相互作用を検出してもよい。ＩＤＣ４５３は、異なる入力映像ストリームから、検出された情報を、ＩＬＣ４４２に通知してもよい。その情報は、制御ライン４４８を介して送信されてもよい。
【００７０】
時宜に応じて、定期的に、および／またはＩＬＣ４４２からコマンドを受信した際、ＩＤＣ４５３の実施の形態は、デコーダ４５２によって出力されたデータを捕捉し、サンプリングし、分析してもよい。ＩＤＣ４５３の実施の形態は、関連付けられたエンドポイント３３０から受信した、復号されたビデオ画像を分析するよう成されていてもよく、ビデオ画像における１つ以上のＲＯＩおよび／またはそれらの相対位置の座標を定義するよう成されていてもよい。ＩＤＣ４５３の分析は更に、異なるエンドポイント間の相互作用を判定するために使用されてもよい。
【００７１】
検出は、１種類以上の異なる技術、動作検出、肌色検出装置、同じ室内に配置された複数のマイクから受信した音声信号の音声エネルギー、顔検出装置または異なる検出装置の異なる組み合わせによって行われてもよい。音声信号の表示は、音声モジュール４３０から受け取ってもよい。ＩＤＣ４５３は、検出された情報を、制御ライン４４８を介してＩＬＣ４４２に出力してもよい。ＩＤＣ４５３の動作についての更なる情報を、図５と関連して開示する。
【００７２】
一実施の形態において、エンドポイント３３０Ａ_Ｎのそれぞれに対して映像入力モジュール４５１がある。同様に、映像モジュール４５０は、エンドポイント３３０Ａ_Ｎのそれぞれに対して、１つの映像モジュールを含んでもよい。各出力モジュール４５５は、エディタモジュール４５６を備えていてもよい。エディタモジュール４５６は、情報および／または制御コマンドをＩＬＣ４４２から受信してもよい。各映像出力モジュール４５５は、複数のエンドポイント３３０Ａ_Ｎの特定のエンドポイントに対して特化させた画像レイアウトを生成してもよい。各映像モジュール４５５は更に、出力映像ストリームをエンコードできるエンコーダ４５８を備えていてもよい。他の実施の形態において、１つの出力ビデオ４５５モジュールは、複数のエンドポイント３３０Ａ_Ｎ、または会議に参加しているエンドポイント３３０Ａ_Ｎのすべてさえも支援してもよい。
【００７３】
入力モジュール４５１Ａ_Ｘからの映像データは、ＩＬＣ４４２から受信されるコマンドに従って、適切な出力モジュール４５５Ａ_Ｘにより、共通インターフェイス４５４から受信されてもよい。
【００７４】
エディタ４５６は、ＣＰ画像の、構成された映像に関連付けられたレイアウト内の画像の配置および大きさに従って、エディタフレームメモリ内にて、それぞれ選択される会議出席者の映像データを修正、拡大縮小、トリミング、および配置をしてもよい。修正は、ＩＬＣ４４２から受信される指示に従って行われてもよい。その指示には、エンドポイント間で特定される相互作用および画像内において特定されるＲＯＩの配置を考慮してもよい。画面レイアウト上の各長方形（セグメント、ウィンドウ）は、異なるエンドポイント３３０からの修正された画像を含んでいてもよい。
【００７５】
エディタフレームメモリがすべての選択され、修正された会議参加者の画像とともに準備される場合、フレームメモリ内のデータは、エンコーダ４５８によってエンコードされるために準備される。エンコードされたデータ映像ストリームは、その関連するエンドポイント３３０に向かって送信されてもよい。構成され、エンコードされ、圧縮されたＣＰ出力映像ストリームは、映像ライン４２４を介してＮＩ４２０へ送信されてもよい。ＮＩ４２０は、１つ以上のＣＰの圧縮映像ストリームを、関係する１つ以上のエンドポイント３３０Ａ_Ｎに対して転送してもよい。
【００７６】
代替の実施の形態において、リレーＭＣＵ３２０が実行され、エンドポイント３３０は、そこで表示されるＣＰ映像イメージを構築することができる。かかる実施の形態において、ＩＬＣ４４２は、エンドポイント３３０Ａ_Ｎそのものにコマンドを提供することができてもよい。リレーＭＣＵの一実施の形態は、米国特許出願等１２／５４２，４５０号において開示されており、その内容全体を目的として引用して本明細書に組み込む。かかる実施の形態において、あるセグメントサイズを持つある数のセグメント、各セグメントの配置、画像に対する何らかの修正等が表示されるように、各画像のＲＯＩの、例えばピクセル単位の大きさ、およびレイアウト内のセグメント間の相互作用が、エンドポイント３３０に対する要求とともに、レイアウトを提示するためにエンドポイント３３０に送信される。エンドポイントとのかかる通信は、例えば、インターネットプロトコル（ＩＰ）接続上での帯域外であってもよい。他の実施の形態において、通信は、例えば、ＲＴＰパケット、またはＦＥＣＣのペイロードの所定のヘッダの一部として、帯域内であってもよい。
【００７７】
リレーＭＣＵ４００の更に他の実施の形態において、ＩＤＣ４５３および／またはＡＩＤＣ４３７は、エンドポイント３３０のエンコーダ前方のエンドポイント３３０内に埋め込まれてもよい。相対位置情報は、検出されたパケットのペイロードとして、ネットワーク３１０およびＮＩ４２０を介して、ＭＣＵ４００上のＩＬＣ４４２に送信されてもよい。かかる実施の形態において、ＩＬＣ４４２は、エンドポイント３３０内のエディタにレイアウトの指示を送ってもよい。エンドポイント３３０内のエディタは、ＣＰレイアウトを構成し、それをエンドポイントの表示ユニットによって提示してもよい。
【００７８】
リレーＭＣＵ４００の他の実施の形態において、各エンドポイント３３０Ａ_Ｎは、そのデコーダの後にＩＤＣ４５３と、エンドポイント制御ユニット内にＩＬＣ４４２を有してもよい。エンドポイントのＩＤＣ４５３は、それぞれ複合された画像内のＲＯＩの相対位置についての情報を、エンドポイント内のＩＬＣモジュール４４２に送ってもよい。ＩＬＣ４４２は、レイアウトを判定し、これに従って構成するよう、エンドポイントのエディタに対して指示してもよい。かかるリレーＭＣＵ４００において、各エンドポイント３３０Ａ_Ｎは、そのレイアウトをスタンドアロンユニットとして制御してもよい。ＩＤＣ４５３、ＡＩＤＣ４３７、およびＩＬＣ４４２の配置は、実施の形態ごとに異なってもよい。
【００７９】
当該技術において既知である映像モジュール４５０の様々な要素の通常の機能は、本明細書において説明しない。異なる映像モジュールは、米国特許出願等１０／１４４，５６１号、１１／６８４，２７１号、１１／７５１，５５８号、および１２／６８３，８０６号、米国特許第６，３００，９７３号、ならびに国際特許出願シリアル番号第ＰＣＴ／ＩＬ０１／００７５７号において説明されており、その内容の全てを目的として組み込む。制御バス４４４、４４８、４４６、圧縮映像バス４２４、および圧縮音声バス４２２は、時分割多重（ＴＤＭ）インターフェイス、非同期転送モード（ＡＴＭ）インターフェイス、パケットに基づくインターフェイス、および／または共有メモリを含む、何らかの望みの種類のインターフェイスであってもよい。
【００８０】
図５は、一実施の形態に従った相互作用型デコーダコンポーネント（ＩＤＣ）４５３のいくつかの要素を伴うブロック図を示している。ＩＤＣ４５３は、会議において支配的な２つ以上のサイト間の相互作用、ビデオ画像内の人（達）の配置／相対位置、その人（達）が向いている方向等を含め、提示されるサイト間の相互作用を検出するために使用されてもよい。ＩＤＣ４５３は、スケーラならびに１つ以上のフレームメモリ（ＳＣＦＭ）モジュール５１０、顔検出プロセッサ（ＦＤＰ）５２０、およびＲＯＩ相対位置定義装置（ＲＲＬＤ）５３０を含んでいてもよい。顔検出プロセッサ（ＦＤＰ）５２０は、ＳＨＯＲＥ、ＶｅｒｉＬｏｏｋ ＳＤＫ、またはＯｐｅｎＣＶによって提供されるような、既知の顔検出装置技術を実行するよう成されるＤＳＰ上で実施されてもよい。代替の実施の形態において、ＦＤＰ５２０は、Ｔｅｘａｓ ＩｎｓｔｒｕｍｅｎｔｓからのＤＭ３６５を含め、顔検出能力をもつハードウェアにおいて実行されてもよい。集中アーキテクチャを活用する一実施の形態において、ＩＤＣ４５３は、ＭＣＵ４００に組み込んでもよい。かかる実施の形態において、ＩＤＣ４５３は、上述のように、映像ユニット４５０の一部でもよく、関係する入力モジュール４５１Ａ_Ｘから、復号された映像データを取得してもよい。代替の実施の形態において、ＩＤＣ４５３は、各入力モジュール４５１Ａ_Ｘの一部でもよく、それに関連付けられたデコーダ４５２から復号された映像を取得してもよい。
【００８１】
更に他の実施の形態において、ＩＤＣ４５３は、エンドポイント３３０Ａ_Ｎ内に埋め込まれていてもよい。かかるエンドポイントにおいて、ＩＤＣ４５３は、エンドポイント３３０によって生成されるビデオ画像内の、ＲＯＩおよびＲＯＩの相対位置を判定するために使用されてもよい。ＩＤＣ４５３は、エンドポイント３３０のエンコーダ（不図示）の入力に関連付けられてもよい。ＩＤＣ４５３は、エンドポイントのエンコーダの入力において使用されるフレームメモリから、ビデオ画像のフレームをサンプリングしてもよい。ＲＯＩの指示および／またはＲＯＩの相対位置の指示は、ＮＩ４２０を介してＩＬＣ４４２に転送されてもよい。その指示は、プロプリエタリのプロトコルに一致する専用パケット内において、または標準ヘッダに情報を加えて送信されてもよい。代替の実施の形態において、情報は、所定のキーのストリング等を使用するＤＴＭＦ信号として送信されてもよい。ＩＬＣ４４２は、ＲＯＩ（関心領域）についての情報を使用して、次のＣＰレイアウトを適用する方法を判定してもよい。
【００８２】
図５の実施の形態において、ＲＯＩ相対位置定義装置（ＲＲＬＤ）５３０は、コマンドをＩＬＣ４４２から受信してもよい。例となるコマンドは、ＲＯＩの検出および定義、サイトのＲＯＩの相対位置の検出および配置等を行ってもよい。ＩＬＣ４４２は、音声信号の強さ、レイアウトを変更する手動コマンド、加わった新たなサイトについての情報等を含め、どのサイトにおいて異なるパラメータに従ってＲＯＩおよび／またはＲＯＩの相対位置を検索するのかを判定してもよい。ＲＲＬＤ５３０は、顔検出プロセッサ（ＦＤＰ）５２０にコマンドを送り、ＲＯＩの配置に基づいてＲＯＩを発見および判定してもよい。ＲＲＬＤ５３０は、特定のサイトから受信したビデオ画像のフレーム内のＲＯＩの相対位置（その画像の左、右、または中央）を計算してもよい。
【００８３】
ＦＤＰ５２０は、関連するサイトから復号化されたビデオ画像のフレームをサンプリングするようＳＣＦＭ５１０に命じてもよい。復号化されたビデオ画像は、そのサイトに関連付けられた入力モジュール４５１Ａ_Ｘの共通インターフェイス４５４から、またはデコーダ４５２からＳＣＦＭ５１０によって取り出されてもよい。次いで、ＳＣＦＭ５１０は、ＦＤＰ５２０の要件に従ってビデオ画像を縮小し、その結果をフレームメモリに保存してもよい。
【００８４】
一実施の形態において、ＦＤＰ５２０とＳＣＦＭ５１０の間にループが生じてもよい。ＦＤＰ５２０は、ＳＣＦＭ５１０に対して、再度画像を縮小、画像を拡大、および／または他のサンプルを取り出す等の要求を行ってもよい。このループは、所定回数のサイクルに制限されてもよい。サイクルの終了時に、ＦＤＰ５２０は、ＲＯＩについての情報をＲＲＬＤ５３０に転送してもよい。ＲＯＩが見つからない場合、メッセージ（例えば、ＲＯＩなし等）がＲＲＬＤ５３０に送信されてもよい。ＲＲＬＤ５３０は、関連する配置についての専用の情報を、制御ライン４４８を介してＩＬＣ４４２に出力してもよい。更に他の実施の形態において、ＩＤＣ４５３は、左上からのピクセル単位のＲＯＩ座標の配置を、例えばＩＬＣ４４２に転送してもよく、ＩＬＣ４４２は、その相対位置（左、右、中央）を計算してもよい。
【００８５】
ＩＤＣ４５３の他の実施の形態は、動作検出装置、肌色検出装置、および／または異なる検出装置の異なる組み合わせを含む技術を使用して、ビデオ画像内のＲＯＩの配置を判定する他のモジュールを備えていてもよい。動作検出装置に基づくいくつかの実施の形態（不図示）は、時計、ファン、モニター等の干渉的な動作を取り除くために、帯域フィルター、ローパスフィルター、またはノッチフィルター等、１つ以上のフィルターを含んでもよい。他の実施の形態は、複数のマイクから受信した音声エネルギーの表示を処理してもよい。異なるＲＯＩ検出装置ついて更に知りたいと望む者は、米国特許出願第１１／７５１，５５８号、米国特許出願第１２／６８３，８０６号を読むことができ、またはwww.consortium.ri.cmu.edu/projOmega.phpもしくはwww.consortium.ri.cmu.edu/projFace.phpを閲覧することができる。
【００８６】
いくつかの実施の形態において、動作検出装置は、ＲＯＩを判定するために使用される。一実施の形態において、動作検出装置は、変化がある領域を定義するために、２つの連続するフレームを減算してもよい。ビデオ会議において、変化は、典型的には頭、手等の動きによる。ＲＯＩは、２つの連続するフレームの間で異なる領域を取り囲む大きな長方形として定義されてもよい。連続するフレームは、１つ以上のＳＣＦＭ５１０内に格納されてもよい。
【００８７】
ＩＤＣ４５３のいくつかの実施の形態において、他の技術が、異なるサイト間の相互作用を定義するために使用されてもよい。例えば、各サイトから受信される音声エネルギーの表示は、音声モジュール４３０によって処理されてもよく、情報はＩＤＣに送信されてもよい。処理は、ある期間の時間にともない、話者間の相互作用に続いてもよい。相互作用が支配的なサイト間の音声的な相互作用である場合、それら２箇所のサイトは、支配的なサイトと考えられる。２つの支配的なサイトからの画像は、レイアウト２００の画像１２０および１３０のように、相互に面する上部の列に配置されてもよい。本実施の形態において、ＩＤＣ４５３は、音声モジュール４３０および／または制御モジュール４４０から音声エネルギーについての情報を受け取ってもよい。
【００８８】
一実施の形態において、サイトは複数のマイクを有し、その部屋の話者の配置およびその画像のＲＯＩは、複数のマイクから受信される音声エネルギーを処理することによって判定され、部屋の話者の相対位置が判定されてもよい。いくつかの実施の形態において、ＲＯＩおよび／またはＲＯＩ相対位置検出装置は、エンドポイント３３０内にあってもよく、ＲＯＩの相対位置は、プロプリエタリメッセージまたはヘッダ内のビデオ画像とともに送信されてもよい。
【００８９】
ＲＲＬＤ５３０および制御モジュール４４０の間の通信は、使用されるアーキテクチャに依存してもよい。例えば、ＩＤＣ４５３がＭＣＵ４００の映像ユニット４５０内に埋め込まれているならば、ＲＲＬＤ５３０と制御モジュール４４０間の通信は、映像モジュール４５０に制御モジュール４４０を接続する制御ライン４４８上で実行されてもよい。
【００９０】
代替として、制御モジュール４４０がＭＣＵ４００に配置されている一方でＩＤＣ４５３がエンドポイント３３０Ａ_Ｎに配置されている実施の形態において、通信は、帯域外または帯域内で実施されてもよい。帯域外通信は、インターネットプロトコル（ＩＰ）ネットワーク上でエンドポイント３３０Ａ_ＮおよびＭＣＵ４００の間の接続を介して扱われてもよい。エンドポイント３３０を伴うマルチメディア通信がパケット切換ネットワークを介するならば、ＩＤＣ４５３（エンドポイント３３０上）および制御モジュール４４０間の通信は、リアルタイムトランスポートプロトコル（ＲＴＰ）映像パケットのペイロードの所定のヘッダを使用しながら実施されてもよい。かかる実施の形態において、サンプリングコマンドと同様にＲＯＩおよび／またはＲＯＩの相対位置の座標は、ＲＴＰ映像パケットのペイロードの所定ヘッダ内に埋め込まれていてもよい。他の実施の形態は、ＤＴＭＦおよび／またはＦＥＣＣチャンネルを使用してもよい。
【００９１】
上述のように、太字のエンドポイント３３０上のＩＤＣ４５３および制御モジュール４４０の間の通信がマルチメディア通信を介するならば、ネットワークインターフェイス（ＮＩ）３１０は、受信した情報を解析し、ＩＤＣ４５３から受信したＲＯＩおよび／またはＲＯＩの相対位置の座標を取り出すよう成されてもよい。ＮＩ３１０は、情報を、制御モジュール４４０およびＮＩ４２０を接続する制御バス４４６上の制御モジュール４４０に配信してもよい。ＮＩ４２０は、サンプリングコマンドを受け取り、それを使用される通信技術に従って処理し、更にそれをネットワーク３１０を介してＩＤＣ４５３に送信するよう成されてもよい。
【００９２】
結果に基づき、一実施の形態によるＩＬＣ４４２は、検出されたＲＯＩおよび／またはその相対的相互作用および相対位置を考慮して、更新されるレイアウトを設計してもよい。更新されるレイアウトを構築する方法の指示は、関連するエディタ４５６に転送されてもよい。更新されたレイアウトに従って、エディタ４５６は、会議出席者が部屋の左部分に着席しているサイトを、左側のセグメントに配置し、更にその逆も行い、図２に示すように、セグメント１１２が会議出席者１３０を伴うサイトＢに割り当てられてもよい。一方、セグメント１１４は、その画像の右側部分に着席している会議出席者１２０を有するサイトＣに割り当てられる。
【００９３】
異なるサイトの会議出席者が同じ相対位置（部屋の中央に対して左側または右側）に着席しているいくつかの場合において、ＩＬＣ４４２は、関係するエディタにコマンドを送り、１つ以上の画像を鏡像化してもよい。一実施の形態において、画像を鏡像化することは、各列の右端から左端へ映像データを読み取ることにより、ＣＰレイアウトを構築し、ＣＰのレイアウト内の関連するセグメント内の適切な列の左端から、左から右へと映像データを書き込む間に実施されてもよい。レイアウト内の配置は、他のサイトが、直前に支配的であるサイトのひとつに代わって支配的になる場合に、動的に変更されてもよい。
【００９４】
更に他の実施の形態において、ひとつのＲＦトラッカーは、ＲＲＬＤ５３０によって使用されて、部屋の加入者の相対位置を定義してもよい。信号は、エンドポイント３３０と関連付けられている部屋に配置されている２つ以上のアンテナによって受信されてもよい。受信されたＲＦ信号は、エンドポイント３３０によって処理されてもよく、情報は、プロプリエタリメッセージ内またはヘッダ内でビデオ画像とともに送信されてもよい。
【００９５】
図６は、ＩＤＣ４５３によって実行されてもよい一実施の形態による技法６００に対するフローチャートを図示している。技法６００は、ビデオ画像における関心領域（ＲＯＩ）およびその相対位置を定義するために使用されてもよい。技法６００は、会議の開始と同時にブロック６０２において開始されてもよい。開始後、技法６００は、ブロック６０４においてフレームカウンター（Ｆｃｎｔ）およびレイアウト変更フラグをリセットしてもよい。一実施の形態において、フレームカウンター（Ｆｃｎｔ）は、入力モジュール４５１Ａ_Ｘの出力時に、フレームをカウントしてもよい。レイアウト変更フラグ（ＣＬＦ）の値は、０または１でもよい。ＣＬＦの値は、レイアウト表示の変更がＩＬＣ４４２から受信された場合、１となる。変更表示は、新たなレイアウトに関する情報、提示される会議出席者ならびに関連付けられている入力および出力モジュール（それぞれ４５１Ａ_Ｘおよび４５５Ａ_Ｘ）についての情報を含んでもよい。ＩＬＣ４４２は、サイトの画像内のＲＯＩおよびその相対位置の検索をＲＲＬＤ５３０に要求してもよい。レイアウト内の変更は、音声信号の強さ、管理要求、新たな会議出席者等の結果として発生してもよい。ＣＬＦの値は、レイアウト内に何の変更もないことが表示された場合、０となる。いくつかの実施の形態において、ＣＬＦは、ＣＭ４４０から、またはクリック・アンド・ビュー機能を使用して会議出席者のひとりから任意に設定されてもよい。
【００９６】
続いて、技法６００は、ブロック６１０において、新たなフレームを受信するために待機してもよい。ブロック６１０において、新たなフレームが待機期間に受信されなければ、技法６００は、ブロック６１０に戻る。ブロック６１０において、新たなフレームが受信されれば、技法６００は、ブロック６１２へと進み、Ｆｃｎｔを１インクリメントさせてもよい。続いて、ブロック６２０は、Ｆｃｎｔの値が所定値Ｎ１よりも大きいか否か、またはＣＬＦの値が１に等しいのかを判定する。一実施の形態において、Ｎ１は、１から１０００までの範囲の設定された数字でもよい。ブロック６２０において、Ｆｃｎｔの値がＮ１以下であり、ＣＬＦの値が０に等しければ、技法６００は、ブロック６１０に戻る。ブロック６２０において、Ｆｃｎｔの値がＮ１よりも大きく、および／またはＣＬＦの値が１に等しければ、技法６００は、ブロック６２２に進む。一実施の形態において、Ｆｃｎｔに代えて、またはＦｃｎｔに加えて、タイマーが使用されてもよい。タイマーは、例えば数秒または数分の望みの期間の時間に設定できる。
【００９７】
ブロック６２２では、技法６００は、ＦＤＰ５２０に指示してＲＯＩを検索し、定義してもよい。技法６００は、ＦＤＰ５２０がＲＯＩを定義するか、またはＲＯＩが見つからなかったことをＩＤＣ４５３に通知するまで、ブロック６２４にて待機する。ＦＤＰがＲＯＩのメッセージを出力すると、技法６００はブロック６２６に進み、ＦＤＰ５２０から、分析されたデータを収集し、処理する。ブロック６２６は、ＲＯＩの存在、その大きさ、配置（例えば、上部左からピクセル単位で）およびその画像内の相対位置（例えば右、左、中央）を判定してもよい。代替の実施の形態において、ＲＯＩが見つからなければ、Ｎ１の値を、後続のＲＯＩ検索を加速させるために減少してもよい。
【００９８】
技法６００は、ＦＤＰ５２０およびＩＬＣ４４２間のアプリケーションプログラムインターフェイス（ＡＰＩ）として動作してもよい。その結果は、ブロック６２６において、ＩＬＣ４４２へと転送されてもよく、技法６００は、ブロック６０４に戻ってもよい。いくつかの実施の形態において、技法６００は、ブロック６２２から６２６を繰り返し、結果が同様であることを確認し、もしそうであれば、ＩＬＣ４４２に平均ＲＯＩおよびＲＯＩの相対位置を転送してもよい。
【００９９】
図７Ａは、ビデオ会議において使用されるレイアウトのひとつを自動的かつ動的に適用するための技法７００の一実施の形態に対するフローチャートを示している。一実施の形態において、２つ以上のレイアウトが関わる場合、並列タスクがＣＰ画像の各レイアウトにつき一回開始されてもよい。他の実施の形態において、技法７００は、セッション内において使用される各レイアウトにつき１サイクル繰り返し実行されてもよい。技法７００は、ブロック７０２において、ＩＬＣ４４２および／またはＲＲＬＤ５３０（図５）によって開始されてもよい。開始時、技法７００は、ブロック７０４において、前回相対位置メモリ（ＰＲＬＭ）をリセットしてもよい。ＰＲＬＭは、ＲＯＩの前回見出された相対位置についての情報を格納して、ＲＯＩの現在の相対位置との相違を判定するために使用されてもよい。続いて、技法７００は、ブロック７０６において、タイマー（Ｔ）をリセットし、ブロック７１０においてタイマーＴの値がＴ１に等しくなるのを待ってもよい。一実施の形態において、Ｔ１は、数百ミリ秒から数秒の範囲でもよい。他の実施の形態において、構成されたＣＰ画像のフレームは、カウントされ、時間の代わりに使用されてもよい。タイマーＴの値がＴ１に等しくなり、および／またはレイアウト内に変化が発生すると、技法７００は、ブロック７１２に進んでもよい。レイアウトにおける変化は、更なる会議出席者が会議に加わったとき、他の会議出席者の音声エネルギーにおける変更のために提示されるサイトが変更される必要がある場合等に発生してもよい。
【０１００】
ブロック７１２において、技法７００は、関連する会議出席者のビデオ画像内のＲＯＩ相対位置（ＲＯＩＲＬ）情報についての情報を収集してもよい。関連する会議出席者のビデオ画像は、レイアウト内における提示のために選択されたビデオ画像である。続いて、音声エネルギー情報が、ブロック７１４において、それぞれ提示されるサイトにつき取得されてもよい。音声情報を使用しながら、２箇所の支配的なサイトが検出されてもよく、および／または、異なるエンドポイント間の相互作用についての更なる情報等が検出されてもよい。管理および制御情報は、ブロック７１５において取得されてもよい。管理および制御情報は、受信される会議出席者の基本設定（構成されるＣＰ画像を監視するもの）および強制的会議出席者（音声エネルギーから独立して、ＣＰ画像内に提示されなければならない会議出席者）等の情報を含んでいてもよい。それぞれ提示される会議出席者の画像につき、技法７００は、ブロック７１６において現在受信されているＲＯＩＲＬおよび（ＰＲＬＭメモリに保存されている）前回のＲＯＩＲＬ間の相違を計算してもよい。技法７００はまた、ブロック７１６において、支配的なサイトに相違があるのかを判定してもよい。
【０１０１】
前回のＲＯＩＲＬに対して今回のＲＯＩＲＬに有意な変更があるか否か、および／または、支配的なサイトに有意な変更があるのかという判定が、ブロック７２０において行われる。有意な変更は、ピクセル、パーセンテージ、音声の強さ等における所定の変化量でもよい。一実施の形態において、有意な変化は、５から１０パーセントの範囲でもよい。ブロック７２０において、有意な変更があれば、技法７００は、ブロック７２２において現在のＲＯＩＲＬおよび支配的なサイトをＰＲＬＭに格納してもよい。技法７００は、更に図７Ｂ内のブロック７５０に進む。ブロック７２０において、有意な変更がなければ、技法７００はブロック７０６に戻る。
【０１０２】
図７Ｂを参照すると、ブロック７５０において、ループがブロック７６０から７９０において、技法７００によって設計された同じレイアウトを実行する各出力モジュール４５５Ａ_Ｘに対して開始されてもよい。ブロック７６０から始まり、各出力モジュール４５５Ａ_Ｘに対して、技法７００は、ブロック７６２において現在の出力モジュールに関連付けられているＣＰレイアウトに関係するパラメータについての情報を取り出してもよい。一実施の形態におけるパラメータは、ピクセル数の幅および高さ（ＷｘＨ）でのレイアウトの大きさ、レイアウトのフォーマット（２Ｘ２、３Ｘ３等）、管理上の判定に基づいてどのサイトが選択されて提示されるのか、および／または音声エネルギー等を含んでもよい。技法７００はまた、ブロック７６２において、試行回数をカウントするカウンター（Ｃｎｔ）をリセットしてもよい。
【０１０３】
次の技法７００は、ブロック７６４において、関連する出力モジュール４５５Ａ_Ｘの適用可能なレイアウト内に提示されるべく選択されたそれぞれのサイトに対するＲＯＩＲＬ（ＲＯＩ相対位置）情報およびパラメータを取得してもよい。一実施の形態において、その情報は、ＰＲＬＭから取り出されてもよい。一実施の形態において、パラメータは、ＲＯＩのピクセル数（ＲＯＩの高さおよび幅）、ＲＯＩの相対位置、支配的なサイト、サイト間の相互作用等を含んでもよい。取り出された情報を使用して、技法７００は、ブロック７７０において、２箇所の支配的なサイトがあるのかを判定してもよい。２箇所の支配的なサイトがなければ、技法７００は、ブロック７７４に進んでもよい。２箇所の支配的なサイトがあれば、技法７００はブロック７７２に進んでもよい。
【０１０４】
ブロック７７２において、支配的なサイトは、一実施の形態において提示されるレイアウト内のセグメントの上方列に配置されてもよい。代替の実施の形態において、それらは、下方列または望みの他のサイトに配置されてもよい。左側のＲＯＩＲＬを持つ支配的なビデオ画像は、ブロック７７２において、レイアウトの左セグメント内に配置されてもよい。ビデオ画像の右側のＲＯＩＲＬを持つ支配的なビデオ画像は、ブロック７７２において、レイアウトの右側のセグメント内に配置されてもよい。両方の支配的なサイトが同じＲＯＩＲＬを有するならば（両方とも左、または両方とも右）、支配的なサイトのひとつがブロック７７２において鏡像化されてもよい。両方の支配的なサイトが中央に画像を有するならば、それらは並べて配置されてもよい。
【０１０５】
提示されるべく選択された他のサイトは、右側のＲＯＩＲＬを持つビデオ画像は右に配置され、左側のＲＯＩＲＬを持つビデオ画像は左に配置され、中央のＲＯＩＲＬを持つビデオ画像は中央または残りの位置に配置される等といったように、ブロック７７４において配置されてもよい。残りのセグメント内に配置できない１箇所以上の選択サイトがある場合、技法７００は、ブロック７７４においてそれらを鏡像化し、相応に配置してもよい。続いて、カウンター（Ｃｎｔ）は、ブロック７７６において１インクリメントされてもよい。
【０１０６】
ブロック７８０において、Ｃｎｔの値が２に等しいか否か、またはブロック７７４の手順が成功裏に完了したかという判定がなされてもよく、その結果、全ての選択された会議出席者がレイアウトの適切な相対位置において提示されてもよい。これらの条件が満たされない場合、技法７００は、ブロック７８２において、ブロック７７２において判定された支配的サイトの配置要件を無視してもよく、更にブロック７７４において選択されているサイトの全ての配置を再試行してもよい。ブロック７８０において、Ｃｎｔの値が２に等しいか、またはブロック７７４の手順が成功裏に完了した場合、技法７００はブロック７８４に進む。
【０１０７】
ブロック７８４において、ブロック７７４の手順が成功裏に完了したのか否かという判定がなされてもよい。一実施の形態において、「成功裏に」とは、見るために選択された全てのサイトが、その全てがレイアウトの中心に面しているように配置されたことを意味する。ブロック７８４の条件が満たされない場合、技法７００は、ブロック７８６において、特定された相互作用を無視し、表示されるサイトの数に見合う共通のレイアウトを選択し、ＲＯＩＲＬを無視してレイアウトを配置してもよい。ブロック７７４の手順が成功裏に完了したことをブロック７８４が判定した場合、技法７００は、ブロック７８８においてレイアウト配置に関する指示を作成してもよく、その結果、提示されるサイトがレイアウトの中心に向く。レイアウトの指示は、ブロック７８８において、適切な出力モジュール４５５Ａ_Ｘ内のエディタ４５６に送信されてもよい。他の実施の形態において、ブロック７８６において、技法７００は、計算されたレイアウトのひとつを選択してもよく、これが会議出席者間のある相互作用を提示する。
【０１０８】
続いて、技法７００は、ブロック７９０において、レイアウトの配置についての指示を受ける必要がある付加的な映像出力モジュール４５５Ａ_Ｘがあるか否かを確認する。もしあれば、技法７００は、ブロック７６０に戻ってもよい。それがなければ、技法７００は、図７Ａ内のブロック７０６に戻ってもよい。
【０１０９】
本開示において、「ユニット」、「装置」、「コンポーネント」、「モジュール」、および「論理モジュール」の用語は、相互に交換可能に使用されてもよい。ユニットまたはモジュールとして設計される全てのものは、スタンドアロンモジュールまたは専用もしくは統合モジュールであってもよい。モジュールは、モジュール式またはモジュール式局面をもっていてもよく、簡易に取り外され、他の類似のユニットまたはモジュールと交換されることを可能とする。各モジュールは、ソフトウェア、ハードウェア、および／またはファームウェアのいずれのひとつ、またはいずれかの組み合わせであってもよい。論理モジュールのソフトウェアは、読み出し／書き込みハードディスク、ＣＤＲＯＭ、フラッシュメモリー、ＲＯＭ等、コンピューター可読媒体上に実現されてもよい。特定のタスクを実行するために、ソフトウェアプログラムは、必要に応じて適切なプロセッサに読み込まれてもよい。
【０１１０】
本開示の説明および特許請求の範囲において、「備える」、「含む」、「有する」およびそれらの活用諸変化は、その動詞の目的語が、その動詞の主語である部材、構成部分、要素、または部品の必ずしも完全な列記ではないことを示すために使用されている。
【０１１１】
上記の装置、システム、および方法が、手順の変更、および使用される正確な実施を含め、様々な方式において変更されてもよいことは明白である。説明されている実施の形態は、異なる特長を含み、その全てが本開示のすべての実施の形態において必要とされるわけではない。更に、本開示のいくつかの実施の形態は、その特長のいくつかのみ、またはその特長の可能な組み合わせのみを使用する。説明されている実施の形態において表記されている特長の異なる組み合わせは、当該技術に精通する者により行われる。更に、本開示のいくつかの実施の形態は、その開示とともに、異なる実施の形態との関連において説明された特長および要素の組み合わせにより、実施されてもよい。本発明の適用範囲は、下記の請求の範囲およびこれと同等のものによってのみ制限される。
【０１１２】
特定の実施の形態が詳細に説明され、添付図面において示されているが、かかる実施の形態は単にその例示であり、後に続く特許請求の範囲によって決定されるその基本範囲から逸脱することなく考案されるものでないことは言うまでもない。
【符号の説明】
【０１１３】
２００ レイアウト
３００ マルチメディア・マルチポイント会議システム
３１０ ネットワーク
３２０ ＭＣＵ
３３０Ａ〜３３０Ｎ エンドポイント（サイト）
【技術分野】
【０００１】
本発明は、通信分野に関連し、特にビデオ会議のための方法およびシステムに関連する。
【０００２】
本出願は、２００７年５月２１日出願の米国特許出願第１１／７５１，５５８号の一部継続出願である２０１０年１月７日出願の米国特許出願第１２／６８３，８０６号の一部継続出願であり、２００９年１１月２５日出願の米国特許仮出願第６１／２６４，３１０号に対する優先権を主張し、その全てを全体を目的に引用して本明細書中に組み込む。
【背景技術】
【０００３】
ビデオ会議は、相互に遠隔に位置する個人が、音声および映像の通信を使用し、直前の通知であっても向かい合って会議を行うことを可能とする。ビデオ会議は、２箇所（２地点）のみを含んでもよく、または複数のサイト（マルチポイント）を含んでもよい。単独の参加者が会議サイトに位置していてもよく、または数名の参加者が、会議室等のサイトにいてもよい。また、ビデオ会議は、書類、情報等を共有するために使用されてもよい。
【０００４】
ビデオ会議において参加者は、ビデオ会議のエンドポイントを経由し、他のサイトの参加者と相互作用する。エンドポイントは、ネットワーク上の端末であり、他の端末またはマルチポイントコントロールユニット（ＭＣＵ、以下に詳述する）とリアルタイムの双方向音声／映像／データ通信を提供できる。エンドポイントは、会話のみ、会話および映像、または会話、データおよび映像通信等を提供してもよい。ビデオ会議のエンドポイントは、典型的には、１箇所以上の遠隔地からのビデオ画像を表示できる表示ユニットを備える。例となるエンドポイントは、ＰＯＬＹＣＯＭ（登録商標）ＶＳＸ（登録商標）およびＨＤＸ（登録商標）シリーズを含み、それぞれＰｏｌｙｃｏｍ，Ｉｎｃ．から入手可能である（ＰＯＬＹＣＯＭ、ＶＳＸ、およびＨＤＸは、Ｐｏｌｙｃｏｍ，Ｉｎｃ．の登録商標である）。ビデオ会議のエンドポイントは、ローカルサイトから遠隔サイトに音声、映像、および／またはデータを送信し、画面上に遠隔サイトから受信した映像および／またはデータを表示する。
【０００５】
ビデオ会議のエンドポイントにおいて画面上に表示されるビデオ画像は、レイアウト内に配置されてもよい。このレイアウトは、ビデオ画像を表示するための１個以上のセグメントを含んでもよい。セグメントは、そのセッションに参加しているサイトのひとつから受信されるビデオ画像に割り当てられる受信エンドポイントの画面の一部分である。例えば、参加者２人の間のビデオ会議において、セグメントは、ローカルのエンドポイントの画面の全表示範囲に及んでもよい。他の例は、その会議の動きに応じて、１箇所の他の遠隔サイトのみからの映像が、一時点においてローカルサイトで表示され、表示される遠隔サイトが切り替えられるように、ビデオ会議がスイッチモードで実施される、ローカルサイトおよび複数の他の遠隔サイトの間のビデオ会議である。対照的に、コンティニュアンスプレゼンス（ＣＰ）会議において、端末の会議出席者が、会議における数箇所の他の参加者のサイトを同時に観察できる。それぞれのサイトは、レイアウトの異なるセグメント内に表示されてもよく、ここで各セグメントは、同じ大きさであるか、または異なる大きさであってもよい。表示され、レイアウトのセグメントに関連付けられるサイトの選択は、同じセッション内に参加する、異なる会議出席者の間で異なっていてもよい。コンティニュアンスプレゼンス（ＣＰ）レイアウトにおいて、あるサイトから受信されるビデオ画像は、セグメントのサイズに合わせるために縮小またはトリミングされてもよい。
【０００６】
ＭＣＵはビデオ会議を管理するために使用されてもよい。ＭＣＵは、ネットワークのノード、端末、または他のサイトに配置されてもよい会議管理体である。ＭＣＵは、ある基準に従って、アクセスポートから数個のメディアチャンネルを受信し、処理し、これらを他のポートを経由して接続されているチャンネルに分配してもよい。ＭＣＵの例としては、Ｐｏｌｙｃｏｍ Ｉｎｃ．から入手可能な、ＭＧＣ−１００およびＲＭＸ（登録商標）２０００を含む（ＲＭＸ２０００はＰｏｌｙｃｏｍ，Ｉｎｃ．の登録商標である）。いくつかのＭＣＵは、メディアコントローラ（ＭＣ）およびメディアプロセッサ（ＭＰ）の２つの論理ユニットを含む。エンドポイントおよびＭＣＵの更に完全な定義は、Ｈ．３２０、Ｈ．３２４、およびＨ．３２３規格等だが、これらに限定されない国際電気通信連合（「ＩＴＵ」）の規格において見出すことができる。ＩＴＵ規格に関する付加的な情報は、ＩＴＵのウェブサイトであるwww.itu.intで見出すことができる。
【０００７】
受信エンドポイント（サイト）の画面レイアウトのセグメント内にビデオ画像を提示するために、全ての受信ビデオ画像は、操作され、縮小され、表示されてもよく、またはビデオ画像の一部分は、ＭＣＵによってトリミングされ、表示されてもよい。ＭＣＵは、ビデオ会議のレイアウト内のセグメントの範囲に受信される会議出席者のビデオ画像を合わせるために、そのひとつ以上の端部から、行または列をトリミングしてもよい。他のトリミング技術としては、その全内容を引用して本明細書に取り込む米国特許出願第１１／７５１，５５８号において開示されるように、画像内の重要な領域によって、受信画像の端部をトリミングしてもよい。
【０００８】
ビデオ会議セッションにおいて、レイアウト内のセグメントの大きさは、そのセッションのために選択されたレイアウトに従って定義されてもよい。例えば、２Ｘ２のレイアウトにおいて、各セグメントは、図１に示されるように、実質上表示の四分の一であってもよい。レイアウト１００は、セグメント１１２、１１４、１１６および１１８を含む。２Ｘ２のレイアウトにおいて、５個所がセッションに参加している場合、各サイトの会議出席者は普通、他の４箇所を見ることができる。
【０００９】
ＣＰビデオ会議セッションにおいて、サイトとセグメント間の関連性は、会議に関与している活動に従って動的に変更されてもよい。いくつかのレイアウトにおいて、セグメントのひとつは現在の発言者に割り当てられてもよく、他のセグメントは他のサイト、すなわち提示される会議出席者として選択されたサイトに割り当てられてもよい。発言者は、典型的には、観察期間のある特定の割合の間の最も声の大きな発言者等、特定基準に従って選択される。（他のセグメント内の）他のサイトは、前回の発言者、他を超える音声エネルギーを伴うサイト、運営上の判定が可視化されるために必要とされる特定の会議参加者等を含んでもよい。
【００１０】
図１に示す例において、表示領域の四分の三のみが、セグメント１１２、１１４、および１１６として使用されており、第４の四分の一１１８は、背景色によって占められている。かかる状況は、４箇所のみがアクティブであり、各サイトが、他の３箇所を見ている場合に発生する。更にセグメント１１６は、空いている部屋を表示する一方で、セグメント１１２および１１４において提示されるサイトは、それぞれ単一の会議出席者を含んでいる（会議出席者１２０および１３０）。このため、セッションのこの期間において、画面領域の半分のみが効果的に使用されており、他の半分は非効果的に使用されている。セグメント１１６およびセグメント１１８の領域は、会議出席者の体験に寄与せず、このため、賢明かつ効果的な方法において利用されていない。
【００１１】
更に、セグメント１１２および１１４両方において見られることがあるように、画像の主要な範囲は冗長的である。ビデオ画像は、部屋の大きな部分を取り込んでいる一方で、会議参加者の画像１２０および１３０が小さく、小さな範囲に配置されている。こうして、表示範囲のかなりの部分が、重要ではない範囲で無駄になっている。このため、会議参加者の画像が取り込まれている範囲に悪影響が及び、ビデオ会議のレイアウトを見ている会議出席者の体験は、最適ではない。
【００１２】
更に、いくつかの会議セッションにおいて、１箇所以上のサイトに単一の参加者がいる一方で、他のサイトにおいて、２人以上の参加者がいる。現在利用可能なレイアウトにおいて、各サイトは、類似のセグメントサイズを受信しており、その結果、複数の会議出席者がいるサイトでの各出席者は、より少数の参加者がいるサイトにおける会議出席者よりも小さな範囲に表示されており、閲覧者の体験を低質化している。
【００１３】
いくつかのビデオ会議セッションにおいて、複数の会議出席者のうちの一人のみが積極的であり、他のサイトと会話をしているサイトがある。通例、部屋のビデオカメラは全室内を捉え、複数の会議参加者を伴って、小さな画面領域を、活動的な会議参加者を含め、会議参加者の各１人に割り当てている。他のセッションにおいて、コンテンツ（データ）はレイアウトの一部として、典型的には、他のセグメント内に提示されるビデオ画像から独立してセグメントのひとつに提示される。
【００１４】
会議電話の間に、会議参加者の１人がカメラから離れると、その会議参加者の画像はより小さく見え、またしてもビデオ会議のレイアウトを見ている会議参加者の体験は低質化される。同様に、表示されているサイトの参加者がある時間その部屋を離れ、後に帰ってくると、空いている部屋は、参加者が不在中、レイアウト上に表示される。
【００１５】
いくつかの既知の技術において、他のサイトで見ている会議参加者は、自らのエンドポイントで見られるレイアウトを手動によって変更して、会議の動きに対して調整を行うこともあるが、これは、会議出席者が彼らの行っていることを止め、レイアウトメニューを扱ってかかる調整を行うことを必要とする。
【発明の概要】
【００１６】
ＣＰビデオ会議のレイアウト内にセグメントを配置するための既存の方法は、異なるサイトに配置されている会議出席者およびそのレイアウトを見ている会議出席者間の相互作用（interaction）を無視している。図１の従来技術のＣＰレイアウト１００を見る会議出席者は、２人の会議出席者１２０および１３０が背中合わせに座っているような会議の不自然な光景を見る。影響は、２人の会議出席者が、セッション内で支配的な会議出席者であり、発言のほとんどが彼らの間で行われると、更に悪化することもある。かかるレイアウトは、同僚間の会議を反映していない。
【００１７】
異なるサイトにおいて提示される会議出席者間の相互作用に従ったレイアウトを適用し、配置することは、レイアウトに基づいてＣＰビデオ画像の視聴者となる体験を改善できる。異なるサイトにおいて異なる会議出席者間の相互作用に従ったレイアウトを適用し、配置することは、会議出席者が互いを見るような、実際の会議に類似する体験を提供することができる。更に、異なるサイトにおける会議出席者間の相互作用に対してレイアウトを適用することは、レイアウトに基づいたＣＰビデオ画像を観察する他のサイトにおける会議出席者の体験を改善することができる。例えば、１人のみが活動的であるような、複数の会議出席者を伴うサイトは、ひとつが会議出席者の全グループを提示し、他が活動的な会議出席者をより大きなサイズにおいて提示するというように、２つのセグメント内で提示されてもよい。
【００１８】
図２は、図１と同様にビデオ会議のセッションの例であるレイアウト２００を示しており、レイアウト２００において、サイトＢおよびＡから来るビデオ画像の位置が交換されており、会議のより忠実な感覚を与える。会議出席者１３０を伴うサイトＢは、セグメント１１４内に提示されるのではなくセグメント１１２に提示され、サイトＡからの画像１２０は、セグメント１１２内に提示されるのではなくセグメント１１４に提示されている。新たな配置は、部屋において着席している２人の会議出席者１２０および１３０の間の相互作用をよりよく反映する。新たな配置は、背中合わせに座っている会議出席者と比較すると、快適な感覚を与える。更に、レイアウト配置は、彼もまた会議出席者の１人であるという、閲覧者の体験を強固にする。なぜならば、レイアウト内の新たな配置における提示される会議出席者は、視聴者に対して向いているかのように、レイアウトの中央に向いているからである。いくつかの実施の形態において、サイトＣからのビデオ画像を伴うセグメント１１６は、中央に移動されてもよい。
【００１９】
提示されるサイト間の相互作用は、あるサイトにおける人（達）の配置／相対位置、その人（達）が向いている方向等といった、会議において支配的な２箇所以上のサイトを含んでもよい。異なる技術としては、部屋の中心に関する会議出席者のサイトを発見することを支援してもよい。ある技法の一実施の形態としては、会議出席者の視線の方向に関する情報を用いてもよい。複数のビデオ会議のセッションを観察することから、我々は、両者が部屋の中心に向きながら、画像の左側部分に配置される会議出席者は典型的には右側を見ており、これに対して右側部分の会議出席者は左側を見ていることを発見した。（左および右の方向は、その画像を見ている人の視点による。）異なるサイトにおいて着席している会議出席者の間の相互作用を判定するために、実施の形態は、セッション内に参加している異なるサイトからの、復号され、受信されるビデオ画像を処理してもよい。
【００２０】
周期的に（各判定期間）、各ビデオ画像内の関心領域（ＲＯＩ）が見出されてもよく、それぞれ受信されるビデオ画像内のＲＯＩの相対的な配置に関して判定がなされてもよい。結果に基づき、一実施の形態において、会議出席者が部屋の左側の区域内に着席しているサイトに対して左側のセグメントを割り当て、会議出席者が部屋の右側の区域内に着席しているサイトに対して右側のセグメントを割り当ててもよい。図２に示すように、セグメント１１２は会議出席者１３０を伴うサイトＢに割り当てられ、これに対してセグメント１１４はサイトＡに割り当てられる。
【００２１】
いくつかの実施の形態において、異なるサイトにおける会議出席者が同じ相対位置において着席しており（その部屋の中心に対して左側または右側）、ひとつ以上の画像が鏡像化されてもよい。画像の鏡像化は、例えば、映像データを各列の右端から左端へと読み取り、映像データをＣＰレイアウト内の関連するセグメント内の適切な列の左端から右端へと書き出すことによって、いくつかの実施の形態においてＣＰレイアウトを構築しながら行ってもよい。レイアウト内の配置は、直前に支配的であったサイトのひとつに代わって、他のサイトが支配的になる等、動的に変更されてもよい。支配的なサイトは、例えば、残りの提示される会議出席者が無言である間に、会議のある期間において、意見交換としての会話を行っているいずれかの２箇所のサイトであってもよい。
【００２２】
異なるアルゴリズムが、それぞれのサイトのビデオ画像内のＲＯＩを判定するために使用されてもよい。時宜に応じて、実施の形態において、異なるサイトから受信されるビデオ画像のそれぞれひとつから、単一のフレームを格納してもよい。それぞれ格納されたフレームは、ＲＯＩを定義するために分析されてもよい。アルゴリズムの実施の形態において、ビデオ画像の範囲の色調を分析し、会議出席者が表示されるような区域を定義するために肌の色を探してもよい。かかる実施の形態において、会議出席者を検出するために、肌の色調の蓄積を含んでもよい。
【００２３】
他の実施の形態において、ＲＯＩの配置を判定するための動作検出を使用してもよい。一実施の形態において、動作検出は、圧縮された映像ファイルに関連付けられた動作ベクトルを基礎としてもよい。動作検出の他の実施の形態において、連続した複合されたフレームの間の変化領域の領域を検索してもよい。
【００２４】
他の実施の形態において、会議出席者の顔の配置を判定するための顔検出ソフトウェアを使用してもよい。顔検出ソフトウェアのひとつの例は、Ｆｒａｕｎｈｏｆｅｒ ＩＩＳのＳＨＯＲＥソフトウェアである。ＳＨＯＲＥは、顔および物の検出ならびに微細な分析のための、最適化されたソフトウェアライブラリーである。（ＳＨＯＲＥは、Ｆｒａｕｎｈｏｆｅｒ ＩＩＳの登録商標である。）他のかかるソフトウェアは、ＮｅｕｒｏｔｅｃｈｎｏｌｏｇｙのＶｅｒｉＬｏｏｋ ＳＤＫである。更に他の顔検出ソフトウェアは、Ｉｎｔｅｌ Ｃｏｒｐ．によってもともと開発されたＯｐｅｎＣＶである。
【００２５】
読者は、顔検出ソフトウェアの更なる情報を、www.consortium.ri.cmu.edu/projOmega.phpおよびwww.consortium.ri.cmu.edu/projFace.phpで見つけることができる。検出される顔の大きさおよび配置に基づいて、ある実施の形態において、ビデオ画像の中心に対するＲＯＩの配置を見積もってもよい。
【００２６】
他の実施の形態において２つ以上のマイクを使用し、話者の配置を判定することを可能とするとともに、複数のマイクから受け取る音声エネルギーを処理することによって部屋の中の画像のＲＯＩを判定することを可能とし、部屋の中の話者の相対位置を判定する。
【００２７】
いくつかの実施の形態において、サイトは複数のマイクを有し、それぞれのマイクから受け取る音声信号のエネルギーは、部屋の残りの会議出席者が受動的または無言である間、一人の会議出席者が活動的な会議出席者であるか否かを判定するために使用されてもよい。活動的な会議出席者は、ある期間の時間（例えば、数秒から数分）に、その部屋内において、ある割合（例えば、７０パーセントから９０パーセント）を超えて発言を行った会議出席者として定義されてもよい。活動的な会議出席者が定義されると、活動的な会議出席者の周囲においてトリミングされた、サイトからのビデオ画像の一部が提示されるような、映像セグメントが配置されてもよい。このセグメントは、全てのサイトを提示するセグメントに加えて、レイアウトに追加されることができる。
【００２８】
いくつかの実施の形態において、活動的な会議出席者の周囲の、トリミングされる領域の境界についての判定は、複数のマイクから受け取る音声エネルギーを分析することと相互関係をもつ顔検出装置を使用することによって実施されてもよい。他の実施の形態において、かかるサイトに２つのセグメントを割り当て、１つを会議出席者のグループ全体のビデオ画像に割り当て、更に１つを活動的な会議出席者の周囲においてトリミングされる領域に割り当てるかわりに、単一のセグメントが、活動的な会議出席者に割り当てられてもよい。更に、分割されたセグメント内において活動的な会議出席者は処理され、レイアウトの中央に面するレイアウト内に置かれてもよい。
【００２９】
いくつかの実施の形態において、ＲＯＩ検出装置はエンドポイントにあってもよく、ＲＯＩの相対位置は、プロプリエタリメッセージまたはヘッダ内のビデオ画像とともに送信されてもよい。
【００３０】
更に他の実施の形態において、ＲＦトラッカーが、部屋の中の加入者の配置を定義するために使用されてもよい。信号は、エンドポイントと関連付けられた部屋の中に配置される２つ以上のアンテナによって受信されてもよい。受信されたＲＦ信号は、エンドポイントによって処理されてもよく、その配置は、プロプリエタリメッセージまたはヘッダ内のビデオ画像とともに送信されてもよい。
【００３１】
いくつかの実施の形態において、他の技術が、異なるサイトの間の相互作用を定義するために使用されてもよい。例えば、それぞれのサイトから受け取る音声エネルギーの表示が処理されてもよい。その処理は、ある期間の時間に、話者間の相互作用を追跡してもよい。相互作用が２箇所のサイト間にあれば、その２箇所のサイトからの画像は、レイアウト２００の画像１１２および１１４のように、相互に向き合う上方列に置かれてもよい。サイトは、支配的なサイトまたは支配的な会議出席者として言及されてもよい。いくつかの実施の形態において、支配的なサイトは、より大きなセグメント内に提示されてもよい。
【００３２】
いくつかの実施の形態において、例えば、異なるサイトからのビデオ画像に割り当てられるセグメントに加えて、コンテンツが１つのセグメントにおいて提示されるようなビデオ会議セッションにおいて、異なるサイト間の相互作用を定義するために他の技法が使用されてもよい。コンテンツは、レイアウトの中心のセグメントにおいて提示されてもよく、これに対して、異なるサイトからのビデオ画像がコンテンツのセグメントの周囲において提示されてもよい。割り当てられているセグメント内のそれぞれのビデオ画像は、会議出席者がコンテンツに向いているように、操作されてもよい。更に、コンテンツを生成するエンドポイントは、コンテンツの一方の側に提示されることができ、これに対して、他のサイトは、コンテンツの他の側に提示されることができる。
【００３３】
他の実施の形態において、ＲＯＩの相対位置は、手作業によって定義されてもよい。かかる実施の形態において、クリック・アンド・ビュー機能が、各サイトのビデオ画像内のＲＯＩを指示するために使用されてもよい。クリック・アンド・ビュー機能について更に知りたいと希望する読者は、米国特許第７，５４２，０６８号を読むことを薦められるが、その全体を目的として本明細書に引用して組み込む。代替として、いくつかの実施の形態において、サイト間の相互作用は、クリック・アンド・ビュー機能を使用することにより、会議出席者の一人によって手作業で定義されてもよい。
【００３４】
開示のこれらおよび他の様態は、添付図面および詳細な説明に照らして明白となる。前述の概要は、それぞれ可能な実施の形態または本発明のすべての様態を要約することを意図したものではなく、本発明の他の特長および利点は、以下の添付図面および特許請求の範囲とともに実施の形態の詳細な説明を通読することによって明白となる。更に、従来のビデオ会議における上述の課題は、いかなる方法においても発明の概念の範囲を限定することを意図するものではなく、説明のためのみに提示されている。
【００３５】
更に、具体的な実施の形態は当該技術に精通する者に対して発明の概念を示すために詳細に説明されるが、かかる実施の形態は、種々の変更および代替様式の余地がある。従って、図面および記載の説明は、いかなる方法によっても発明の概念の範囲を限定することを意図するものではない。
【００３６】
添付図面は、本明細書に組み込まれ、その一部を構成するものであり、本発明と一致する装置および方法の実施を示し、詳細な説明とともに、本発明と一致する利点および原理を説明するものである。
【図面の簡単な説明】
【００３７】
【図１】従来の技術である２Ｘ２の表示されるレイアウトの例を示す図。
【００３８】
【図２】本発明の一実施の形態による、異なるサイトにおいて参加者の相互作用に従って適用されるレイアウトを示す図。
【００３９】
【図３】本発明の一実施の形態による、マルチメディア・マルチポイント会議システムの関連要素を持つブロック図を示す図。
【００４０】
【図４】本発明の一実施の形態による、異なるサイトにおいて参加者の相互作用に従ってＣＰレイアウトを動的かつ自動的に適用できるＭＣＵの関連要素を示す図。
【００４１】
【図５】本発明の一実施の形態による、相互作用検知出コンポーネント（ＩＤＣ）の関連要素を持つブロック図を示す図。
【００４２】
【図６】本発明の一実施の形態による、ビデオ会議システムにおける異なるサイトにおけるサイト間の相互作用を定義する技術のためのフローチャートを示す図。
【００４３】
【図７Ａ】本発明の一実施の形態による、１つ以上のＣＰレイアウトを自動的かつ動的に適用する技術のためのフローチャートを示す図。
【図７Ｂ】本発明の一実施の形態による、１つ以上のＣＰレイアウトを自動的かつ動的に適用する技術のためのフローチャートを示す図。
【発明を実施するための形態】
【００４４】
以下の説明において説明を目的とし、本発明に対する十分な理解を提供するために、多くの具体的な詳細を述べる。しかしながら、当該技術に精通する者にとって、本発明を、これらの具体的な詳細を要せずに実施できることは明白である。他の場合において、本発明を不明瞭なものとすることを避けるために、構成および装置をブロック図で示す。下付き文字を伴わない数字に対する参照は、参照される数字に対応する下付き文字の全ての場合を参照するものとして理解される。更に、本開示において使用される言語は、主として判読性および説明的目的のために選択されており、本発明の主題を画定または制限するために選択されておらず、請求範囲によりかかる発明の主題を判定するよう必要とする。「一実施の形態」または「実施の形態」に対する本明細書における参照は、実施の形態に関して説明される特定の特長、構成、または特性が、本発明の少なくとも一実施の形態に含まれることを意味し、「一実施の形態」または「実施の形態」に対する複数の参照の全てが、必ずしも同じ実施の形態を参照しているものとして理解されてはならない。
【００４５】
以下の説明のいくつかは、ソフトウェアまたはファームウェアに関する用語で記載されてはいるが、実施の形態において、ソフトウェア、ファームウェア、およびハードウェアのすべての組み合わせを含む、望みのソフトウェア、ファームウェア、またはハードウェアの、本明細書に記載される特長および機能を実施してもよい。デーモン、ドライバ、エンジン、モジュール、またはルーチンに対する参照は、実施の形態をいかなる種類の実行にも限定することを意味するものとして考えてはならない。
【００４６】
同じ番号が、開示されるシステムおよび方法のいくつかの視野、実施の形態、局面および特長を通して、同じ要素を指示する図面について述べる。利便性のために、同じグループの同じ要素のみが番号によって指示されることがある。図の目的は、実施の形態を説明することであり、作製または限定することではない。
【００４７】
図１および図２は上述されており、更に説明されることはない。図３は、一実施の形態による、マルチメディア・マルチポイント会議システム３００の一部の関連要素を持つブロック図を示している。システム３００は、１つ以上のＭＣＵ３２０を接続するネットワーク３１０および複数のエンドポイント（サイト）３３０Ａ_Ｎを含んでもよい。ネットワーク３１０が複数のＭＣＵ３２０を含むいくつかの実施の形態において、仮想ＭＣＵが、複数のＭＣＵを制御するために使用されてもよい。仮想ＭＣＵの更なる情報は、米国特許第７，１７４，３６５号において見出すことができ、そのすべてを目的として引用して本明細書に組み込む。エンドポイント３３０（端末として言及されることもある）は、ネットワーク上の実体であり、他のエンドポイント３３０またはＭＣＵ３２０とのリアルタイム、双方向音声および／または視覚通信を提供することができる。エンドポイント３３０は、コンピューター、ＰＤＡ（携帯情報端末）、携帯電話、マイクおよびカメラを持つテレビ等として実施されてもよい。
【００４８】
ＭＣＵは、ビデオ会議を管理するために使用されてもよい。ＭＣＵは、ネットワークのノード、端末、または他のいずれかに配置されても良いような会議を制御する実体である。ＭＣＵは、ある基準に従って、アクセスポートからいくつかのメディアチャンネルを受信し、処理し、他のポートを介してそれらを接続されているチャンネルに配信する。ＭＣＵの例としては、Ｐｏｌｙｃｏｍ Ｉｎｃ．から利用可能なＭＧＣ−１００および ＲＭＸ（登録商標）２０００を含む（ＲＭＸ ２０００は、Ｐｏｌｙｃｏｍ， Ｉｎｃ．の登録商標である）。いくつかのＭＣＵは、メディアコントローラ（ＭＣ）およびメディアプロセッサ（ＭＰ）の２つの論理ユニットを含む。エンドポイントおよびＭＣＵの更に完全な定義は、Ｈ．３２０、Ｈ．３２４、およびＨ．３２３規格等だが、これらに限定されない国際電気通信連合（「ＩＴＵ」）規格において見出すことができる。ＩＴＵ規格に関する付加的な情報は、ＩＴＵのウェブサイトwww.itu.intで見出すことができる。
【００４９】
ネットワーク３１０は、単一ネットワークまたは２つ以上のネットワークの組み合わせを表わしてもよい。ネットワーク３１０は、パケット切換ネットワーク、サーキット切換ネットワーク、およびサービス総合ディジタル網（ＩＳＤＮ）ネットワーク、公衆電話交換回線網（ＰＳＴＮ）、非同期転送モード（ＡＴＭ）ネットワーク、インターネット、またはイントラネットを含むいかなる種類のネットワークであってもよい。ネットワーク上のマルチメディア通信は、Ｈ．３２０、Ｈ．３２４、Ｈ．３２３、ＳＩＰ等を含むいかなる通信プロトコルに基づいてもよい。
【００５０】
エンドポイント（ＥＰ）３３０Ａ_ＮおよびＭＣＵ３２０の間で通信される情報は、信号発信および制御、音声情報、映像情報、および／またはデータを含んでもよい。エンドポイント３３０Ａ_Ｎの異なる組み合わせが会議に参加してもよい。エンドポイント３３０Ａ_Ｎは、発話、データ、映像、信号発信、制御、またはそれらの組み合わせを提供してもよい。
【００５１】
エンドポイント３３０Ａ_Ｎは、ＥＰ３３０およびＭＣＵ３２０におけるユーザー間のインターフェイスとして動作してもよいリモートコントロール（不図示）を備えてもよい。リモートコントロールは、ＤＴＭＦ（デュアルトーンマルチ周波数）信号、遠隔カメラ制御、制御パケット等を使用してもよいダイヤルキーボード（例えば、電話のキーパッド）を備えてもよい。
【００５２】
エンドポイント３３０Ａ_Ｎは、会議内においてエンドポイントでユーザーが発言できるよう、または他のユーザーによって聞かれる音および雑音に供される１つ以上のマイク（不図示）、エンドポイント３３０Ａ_Ｎが生の映像データを会議に入力できるカメラ、１つ以上のスピーカーおよびディスプレイ（画面）も備えてもよい。
【００５３】
システム３００の説明部分は、もっとも関係のある要素のみを備え、説明している。システム３００の他の部分は説明しない。システムの構成および必要に応じて、各システム３００がその他の数のエンドポイント３３０、ネットワーク３１０、およびＭＣＵ３２０を有してもよいということは、当該技術に精通する者にとって明白であろう。しかしながら、明確化のために、複数のＭＣＵ３２０を伴うネットワーク３１０を示す。
【００５４】
ＭＣＵ３２０およびエンドポイント３３０Ａ_Ｎは、 本開示の種々の実施の形態に従って動作して、マルチポイントビデオ会議のＣＰビデオ画像を見ている会議出席者の体験を改善するよう適用されてもよい。集中アーキテクチャを実行する実施の形態において、ＭＣＵ３２０は、本明細書に説明される自動表示適用技術を行うよう適用されてもよい。代替として、分散アーキテクチャにおいて、ＭＣＵ３２０と同様にエンドポイント３３０Ａ_Ｎは、自動表示適用技術を行うよう適用されてもよい。異なる実施の形態によるＭＣＵ３２０およびエンドポイント３３０Ａ_Ｎの動作についての更なる情報を、以下に説明する。
【００５５】
図４は、一実施の形態によるＭＣＵ４００を示している。ＭＣＵ４００は、ネットワークインターフェイスモジュール（ＮＩ）４２０、音声モジュール４３０、制御モジュール４４０、および映像モジュール４５０を含んでいてもよい。ＭＣＵ４００の代替の実施の形態は、他のコンポーネントを有してもよく、および／または図４に示す全てのコンポーネントを含んでもよい。ネットワークインターフェイスモジュール４２０は、ネットワーク３１０を介して複数のエンドポイント３３０Ａ_Ｎから通信を受信してもよい。ＮＩ４２０は、Ｈ．３２０、Ｈ．３２１、Ｈ．３２３、Ｈ．３２４、セッションイニシエーションプロトコル（ＳＩＰ）等を含む、１つ以上の通信規格に従って通信を処理してもよい。ネットワークインターフェイス４２０はまた、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、Ｇ．７１１、Ｇ．７２２、ＭＰＥＧ等を含む１つ以上の圧縮規格に従って通信を処理してもよい。ネットワークインターフェイス４２０は、他のＭＣＵおよびエンドポイントへ、および他のＭＣＵおよびエンドポイントから、制御およびデータ情報を受信および送信してもよい。ネットワーク３１０上でのエンドポイントおよびＭＣＵの間の通信に関する更なる情報、ならびに信号発信、制御、圧縮、およびビデオ電話を説明している情報は、国際電気通信連合（「ＩＴＵ」）の規格であるＨ．３２０、Ｈ．３２１、Ｈ．３２３、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、Ｇ．７１１、Ｇ．７２２、およびＭＰＥＧ等、またはＩＥＴＦネットワークワーキンググループのウェブサイト（ＳＩＰについての情報）から見出すことができる。
【００５６】
ＭＣＵ４００は、提示したサイト間で検出された相互作用に従ってＣＰレイアウトを動的かつ自動的に適用する。提示したサイト間の相互作用は、会議において支配的な２つ以上のサイト、あるサイトにおける人（達）の配置、その人（達）が向いている方向等を含んでもよい。
【００５７】
ネットワークインターフェイスモジュール４２０は、異なる信号、メディア、および／またはエンドポイント３３０Ａ_ＮおよびＭＣＵ３２０の間で通信される「信号発信および制御」を多重送信化または多重分離化してもよい。圧縮された音声信号は、音声モジュール４３０へ、および音声モジュール４３０から送信されてもよい。圧縮された映像信号は、映像モジュール４５０へ、および映像モジュール４５０から送信されてもよい。「制御および信号発信」信号は、モジュール４４０へ、およびモジュール４４０から転送されてもよい。更に、分散アーキテクチャが使用される場合、ネットワークインターフェイスモジュール４２０は、制御モジュール４４０およびエンドポイント３３０Ａ_Ｎの間において転送される、自動的かつ動的なＣＰレイアウト適用関連情報を扱うことができてもよい。
【００５８】
動的ＣＰレイアウト適用情報がＲＴＰ（リアルタイムトランスポートプロトコル）パケットのペイロードの、所定のヘッダの一部として送信される実施の形態において、ＮＩ４２０は、所定のヘッダを処理して、ＲＴＰパケットに自動的かつ動的ＣＰレイアウト適用情報を付加し、更にＲＴＰパケットをエンドポイント３３０Ａ_Ｎ等に向けて送信するよう成されてもよい。実施の形態において、いくつかの動的ＣＰレイアウト適用情報は、エンドポイントのディスプレイで表示されるレイアウトに関する、エンドポイントからの要求を含んでもよい。代替の実施の形態において、動的ＣＰレイアウト適用情報は、遠隔カメラ操作（ＦＥＣＣ）チャンネル（図４に不図示）を経由して送信されてもよく、またはプロプリエタリプロトコルに応じる専用パケットのペイロードとして送信されてもよい。更に他の実施の形態において、動的ＣＰレイアウト適用情報は、ＭＣＵの内部モジュールによって検出され、送信されてもよい。動的ＣＰレイアウト適用情報は、ＲＯＩ（関心領域）、ＲＯＩが面している方向、ビデオ画像の中心と比較したＲＯＩの相対位置、および／またはサイト間の相互作用等を含んでもよい。
【００５９】
音声モジュール４３０は、ＮＩ４２０を介し、更に音声ライン４２２を通じて、複数のエンドポイント３３０Ａ_Ｎのから圧縮された音声ストリームを受信してもよい。音声モジュール４３０は、受信される圧縮された音声ストリームを処理してもよい。音声モジュール４３０は、受信される音声ストリームから関連する音声ストリームを解凍、復号、および合成してもよい。音声モジュール４３０は、圧縮され、エンコードされている合成された信号を、エンコードし、圧縮し、音声ライン４２２およびＮＩ４２０を介して１つ以上のエンドポイント３３０Ａ_Ｎに転送してもよい。
【００６０】
音声モジュール４３０は、ネットワークインターフェイス４２０を介して、複数のエンドポイント３３０Ａ_Ｎから圧縮されている音声ストリームを受信してもよい。音声モジュール４３０は、圧縮されている音声ストリームを復号し、復号されたストリームを分析し、特定のストリームを選択し、選択されたストリームを合成してもよい。合成されたストリームは圧縮されてもよく、圧縮された音声ストリームはネットワークインターフェイス４２０に送信されてもよく、ネットワークインターフェイスは圧縮された音声ストリームを異なるエンドポイント３３０Ａ_Ｎへと送信する。異なるエンドポイントへと送信される音声ストリームは、異なってもよい。例えば、音声ストリームは、異なる通信規格に従い、更に個々のエンドポイントの必要に従い、フォーマットされてもよい。音声ストリームは、音声ストリームが送信されるエンドポイントと関連付けられる会議出席者の音声を含まなくてもよい。しかし、会議出席者の音声は、他の全ての音声ストリーム内に含まれてもよい。
【００６１】
実施の形態において、音声モジュール４３０は、少なくとも１つのＤＴＭＦモジュール４３５を含んでもよい。ＤＴＭＦモジュール４３５は、受信された音声ストリームからＤＴＭＦ（デュアルトーンマルチ周波数）信号を検出および／または捕捉してもよい。ＤＴＭＦモジュール４３５は、ＤＴＭＦ信号をＤＴＭＦ制御データに変換してもよい。ＤＴＭＦモジュール４３５は、ＤＴＭＦ制御データを、制御ライン４４４を介して制御モジュール４４０に転送してもよい。ＤＴＭＦ制御データは、相互作用型音声応答（ＩＶＲ）等であるが、これに限定されない相互作用型インターフェイスを使用する会議を制御するために使用されてもよい。他の実施の形態において、ＤＴＭＦ制御データは、クリック・アンド・ビュー機能を介して使用されてもよい。本発明の他の実施の形態において、ＤＴＭＦモジュール４３５に加えて、またはＤＴＭＦモジュール４３５に代えて会話認識モジュール（不図示）を使用してもよい。これらの実施の形態において、会話認識モジュールは、ビデオ会議のパラメータを制御するために会議出席者の音声コマンドを使用してもよい。
【００６２】
音声モジュール４３０は、エンドポイントから受け取られる音声信号を分析し、それぞれの音声信号のエネルギーを判定するよう成されていてもよい。信号のエネルギーの情報は、制御ライン４４４を介して制御モジュール４４０に転送されてもよい。いくつかの他の実施の形態において、２つ以上のマイクが、特定のサイトにおいて使用されてもよい。かかる実施の形態おいて、音声モジュール４３０は、音声相互作用型検出コンポーネント（ＡＩＤＣ）４３７を備えてもよい。各マイクからのエネルギーは、ＡＩＤＣ４３７に転送されてもよく、更に関心領域（ＲＯＩ）の配置および／または特定のサイトにおけるＲＯＩの相対位置を判定するために使用されてもよい。いくつかの実施の形態において、エネルギーレベルは、ビデオ会議内において合成される音声源として適切な１箇所以上のエンドポイントを選択するための選択パラメータとして使用されてもよい。エンドポイントは、選択されたエンドポイントまたは提示されるエンドポイントとして参照されてもよい。分散アーキテクチャの他の実施の形態において、エンドポイント３３０Ａ_Ｎは、音声モジュール４３０の機能のいくつかを有してもよい。
【００６３】
典型的なＭＣＵの共通の動作に加えて、ＭＣＵ４００は、制御モジュール（ＣＭ）４４４を有する結果として付加的な動作を行うことができる。制御モジュール４４０は、ＭＣＵ４００の動作およびその内部のモジュールの動作を制御してもよい。そのような内部モジュールは、音声モジュール、映像モジュール４５０等であるが、これに限定されない。制御モジュール４４０は、ＭＣＵ４００の異なる内部モジュールから受信した指示を処理してもよい論理モジュールを含んでもよい。制御モジュール４４０の実施の形態は、制御ライン４４４を介してＤＴＭＦモジュール４３５から受信した指示を処理してもよい。制御信号は、制御ライン４４４、４４６、および／または４４８を介して送信、受信されてもよい。そのような制御信号は、クリック・アンド・ビュー機能を介して参加者から受信したコマンド、映像モジュール４５０からの検出されたステータス情報等であるが、ただしこれに限定されない。
【００６４】
制御モジュール４４０は、ＭＣＵ４００の動作を制御する論理ユニットであってもよい。典型的なＭＣＵの共通の動作に加えて、ＭＣＵ４００は、制御モジュール４４０を有する結果として付加的な機能を行うことができてもよい。制御モジュール４４０は、各サイトにおいて表示されるレイアウトを適用する相互作用型レイアウトコントローラ（ＩＬＣ）４４２を含んでもよい。ＩＬＣ４４２は、会議電話に参加するサイトの数、どのサイトが退出したのか、どのサイトが会議から去ったのか、どのサイトが会議に加えられたのか等を含め、ＮＩ４２０から情報および更新を受信してもよい。他の種類の情報には、一人以上の参加者が要求するレイアウト等に関するコマンドを含んでもよい。
【００６５】
一実施の形態において、ＩＬＣ４２２は、１つ以上のエンドポイント３３０Ａ_Ｎにおいて表示されるレイアウトを判定および／または制御してもよい。ＩＬＣ４４２は、ＮＩ４２０および／またはＤＴＭＦ ４３５を介してエンドポイント３３０Ａ_Ｎから制御情報を受信してもよい。ＩＬＣ４４２は、また、音声モジュール４３０、映像モジュール４５０を含むＭＣＵ４００の内部ユニットから検出された情報、および異なるビデオ画像におけるＲＯＩの相対位置を受信してもよい。異なる情報および制御情報に従って、ＩＬＣ４４２は、各レイアウトを配置し、制御ライン４４８を介して映像モジュール４５０の内部ユニットに制御コマンドを送信する方法を判定してもよい。コマンドの例としては、どのビデオ画像を表示するのか、レイアウト内の各ビデオ画像の配置、画像を鏡像化するための要求、特定のサイトからの画像の拡大または縮小、ある数のセグメントを伴うレイアウトの構築または更新等を含んでもよい。ＩＬＣ４４２の更なる情報は、図７との関連で開示される。
【００６６】
映像モジュール４５０は、複数のエンドポイント３３０Ａ_Ｎからの圧縮された映像ストリームを受信してもよく、それはネットワーク３１０を介し、ＮＩ４２０によって処理されてＭＣＵ４００へと送信される。映像モジュール４５０は、ＭＣＵ４００によって現在実施されている一件以上の会議と関連付けられる１つ以上のレイアウトに従って、１つ以上の圧縮されたＣＰビデオ画像を作成してもよい。
【００６７】
映像モジュール４５０の実施の形態は、１つ以上の入力モジュール４５１Ａ_Ｘ、１つ以上の出力モジュール４５５Ａ_Ｘ、および映像共通インターフェイス４５４を含んでもよい。入力モジュール４５１Ａ_Ｘ は、１箇所以上の参加しているエンドポイント３３０Ａ_Ｎからの、圧縮された入力映像ストリームを扱ってもよい。出力モジュール４５５Ａ_Ｘは、１箇所以上のエンドポイント３３０Ａ_Ｎに、ＣＰビデオ画像の映像ストリームの、構成されている圧縮された出力を生成してもよい。
【００６８】
圧縮された出力映像ストリームは、いくつかの入力ストリームから構成されて、指定されたエンドポイントのための会議を表す映像ストリームを形成してもよい。入力ストリームは、修正されてもよい。圧縮されていない映像データは、共通インターフェイス４５４上の入力モジュール４５１Ａ_Ｘおよび出力モジュール４５５Ａ_Ｘによって共有されてもよく、それは時分割多重（ＴＤＭ）インターフェイス、非同期転送モード（ＡＴＭ）インターフェイス、パケットに基づくインターフェイス、および／または共有メモリを含む、何らかの適する種類のインターフェイスを備えてもよい。共通インターフェイス４５４上のデータは、まったく圧縮されていないか、または部分的に圧縮されていなくてもよい。一例となる映像モジュール４５０の動作は、米国特許第６，３００，９７３号において説明されている。
【００６９】
各入力モジュール４５１Ａ_Ｘは、圧縮された入力映像ストリームを復号するためのデコーダ４５２を備えていてもよい。一実施の形態において、各入力モジュール４５１Ａ_Ｘは、相互作用型デコーダコンポーネント（ＩＤＣ）４５３も備えていてもよい。代替の実施の形態において、全入力モジュール４５２に対して１つのＩＤＣ４５３があってもよい。ＩＤＣ４５３の実施の形態は、ビデオ画像内のＲＯＩおよび／またはＲＯＩの相対位置を検出してもよい。ＩＤＣ４５３は、異なるサイト３３０Ａ_Ｎ間の相互作用を検出してもよい。ＩＤＣ４５３は、異なる入力映像ストリームから、検出された情報を、ＩＬＣ４４２に通知してもよい。その情報は、制御ライン４４８を介して送信されてもよい。
【００７０】
時宜に応じて、定期的に、および／またはＩＬＣ４４２からコマンドを受信した際、ＩＤＣ４５３の実施の形態は、デコーダ４５２によって出力されたデータを捕捉し、サンプリングし、分析してもよい。ＩＤＣ４５３の実施の形態は、関連付けられたエンドポイント３３０から受信した、復号されたビデオ画像を分析するよう成されていてもよく、ビデオ画像における１つ以上のＲＯＩおよび／またはそれらの相対位置の座標を定義するよう成されていてもよい。ＩＤＣ４５３の分析は更に、異なるエンドポイント間の相互作用を判定するために使用されてもよい。
【００７１】
検出は、１種類以上の異なる技術、動作検出、肌色検出装置、同じ室内に配置された複数のマイクから受信した音声信号の音声エネルギー、顔検出装置または異なる検出装置の異なる組み合わせによって行われてもよい。音声信号の表示は、音声モジュール４３０から受け取ってもよい。ＩＤＣ４５３は、検出された情報を、制御ライン４４８を介してＩＬＣ４４２に出力してもよい。ＩＤＣ４５３の動作についての更なる情報を、図５と関連して開示する。
【００７２】
一実施の形態において、エンドポイント３３０Ａ_Ｎのそれぞれに対して映像入力モジュール４５１がある。同様に、映像モジュール４５０は、エンドポイント３３０Ａ_Ｎのそれぞれに対して、１つの映像モジュールを含んでもよい。各出力モジュール４５５は、エディタモジュール４５６を備えていてもよい。エディタモジュール４５６は、情報および／または制御コマンドをＩＬＣ４４２から受信してもよい。各映像出力モジュール４５５は、複数のエンドポイント３３０Ａ_Ｎの特定のエンドポイントに対して特化させた画像レイアウトを生成してもよい。各映像モジュール４５５は更に、出力映像ストリームをエンコードできるエンコーダ４５８を備えていてもよい。他の実施の形態において、１つの出力ビデオ４５５モジュールは、複数のエンドポイント３３０Ａ_Ｎ、または会議に参加しているエンドポイント３３０Ａ_Ｎのすべてさえも支援してもよい。
【００７３】
入力モジュール４５１Ａ_Ｘからの映像データは、ＩＬＣ４４２から受信されるコマンドに従って、適切な出力モジュール４５５Ａ_Ｘにより、共通インターフェイス４５４から受信されてもよい。
【００７４】
エディタ４５６は、ＣＰ画像の、構成された映像に関連付けられたレイアウト内の画像の配置および大きさに従って、エディタフレームメモリ内にて、それぞれ選択される会議出席者の映像データを修正、拡大縮小、トリミング、および配置をしてもよい。修正は、ＩＬＣ４４２から受信される指示に従って行われてもよい。その指示には、エンドポイント間で特定される相互作用および画像内において特定されるＲＯＩの配置を考慮してもよい。画面レイアウト上の各長方形（セグメント、ウィンドウ）は、異なるエンドポイント３３０からの修正された画像を含んでいてもよい。
【００７５】
エディタフレームメモリがすべての選択され、修正された会議参加者の画像とともに準備される場合、フレームメモリ内のデータは、エンコーダ４５８によってエンコードされるために準備される。エンコードされたデータ映像ストリームは、その関連するエンドポイント３３０に向かって送信されてもよい。構成され、エンコードされ、圧縮されたＣＰ出力映像ストリームは、映像ライン４２４を介してＮＩ４２０へ送信されてもよい。ＮＩ４２０は、１つ以上のＣＰの圧縮映像ストリームを、関係する１つ以上のエンドポイント３３０Ａ_Ｎに対して転送してもよい。
【００７６】
代替の実施の形態において、リレーＭＣＵ３２０が実行され、エンドポイント３３０は、そこで表示されるＣＰ映像イメージを構築することができる。かかる実施の形態において、ＩＬＣ４４２は、エンドポイント３３０Ａ_Ｎそのものにコマンドを提供することができてもよい。リレーＭＣＵの一実施の形態は、米国特許出願等１２／５４２，４５０号において開示されており、その内容全体を目的として引用して本明細書に組み込む。かかる実施の形態において、あるセグメントサイズを持つある数のセグメント、各セグメントの配置、画像に対する何らかの修正等が表示されるように、各画像のＲＯＩの、例えばピクセル単位の大きさ、およびレイアウト内のセグメント間の相互作用が、エンドポイント３３０に対する要求とともに、レイアウトを提示するためにエンドポイント３３０に送信される。エンドポイントとのかかる通信は、例えば、インターネットプロトコル（ＩＰ）接続上での帯域外であってもよい。他の実施の形態において、通信は、例えば、ＲＴＰパケット、またはＦＥＣＣのペイロードの所定のヘッダの一部として、帯域内であってもよい。
【００７７】
リレーＭＣＵ４００の更に他の実施の形態において、ＩＤＣ４５３および／またはＡＩＤＣ４３７は、エンドポイント３３０のエンコーダ前方のエンドポイント３３０内に埋め込まれてもよい。相対位置情報は、検出されたパケットのペイロードとして、ネットワーク３１０およびＮＩ４２０を介して、ＭＣＵ４００上のＩＬＣ４４２に送信されてもよい。かかる実施の形態において、ＩＬＣ４４２は、エンドポイント３３０内のエディタにレイアウトの指示を送ってもよい。エンドポイント３３０内のエディタは、ＣＰレイアウトを構成し、それをエンドポイントの表示ユニットによって提示してもよい。
【００７８】
リレーＭＣＵ４００の他の実施の形態において、各エンドポイント３３０Ａ_Ｎは、そのデコーダの後にＩＤＣ４５３と、エンドポイント制御ユニット内にＩＬＣ４４２を有してもよい。エンドポイントのＩＤＣ４５３は、それぞれ複合された画像内のＲＯＩの相対位置についての情報を、エンドポイント内のＩＬＣモジュール４４２に送ってもよい。ＩＬＣ４４２は、レイアウトを判定し、これに従って構成するよう、エンドポイントのエディタに対して指示してもよい。かかるリレーＭＣＵ４００において、各エンドポイント３３０Ａ_Ｎは、そのレイアウトをスタンドアロンユニットとして制御してもよい。ＩＤＣ４５３、ＡＩＤＣ４３７、およびＩＬＣ４４２の配置は、実施の形態ごとに異なってもよい。
【００７９】
当該技術において既知である映像モジュール４５０の様々な要素の通常の機能は、本明細書において説明しない。異なる映像モジュールは、米国特許出願等１０／１４４，５６１号、１１／６８４，２７１号、１１／７５１，５５８号、および１２／６８３，８０６号、米国特許第６，３００，９７３号、ならびに国際特許出願シリアル番号第ＰＣＴ／ＩＬ０１／００７５７号において説明されており、その内容の全てを目的として組み込む。制御バス４４４、４４８、４４６、圧縮映像バス４２４、および圧縮音声バス４２２は、時分割多重（ＴＤＭ）インターフェイス、非同期転送モード（ＡＴＭ）インターフェイス、パケットに基づくインターフェイス、および／または共有メモリを含む、何らかの望みの種類のインターフェイスであってもよい。
【００８０】
図５は、一実施の形態に従った相互作用型デコーダコンポーネント（ＩＤＣ）４５３のいくつかの要素を伴うブロック図を示している。ＩＤＣ４５３は、会議において支配的な２つ以上のサイト間の相互作用、ビデオ画像内の人（達）の配置／相対位置、その人（達）が向いている方向等を含め、提示されるサイト間の相互作用を検出するために使用されてもよい。ＩＤＣ４５３は、スケーラならびに１つ以上のフレームメモリ（ＳＣＦＭ）モジュール５１０、顔検出プロセッサ（ＦＤＰ）５２０、およびＲＯＩ相対位置定義装置（ＲＲＬＤ）５３０を含んでいてもよい。顔検出プロセッサ（ＦＤＰ）５２０は、ＳＨＯＲＥ、ＶｅｒｉＬｏｏｋ ＳＤＫ、またはＯｐｅｎＣＶによって提供されるような、既知の顔検出装置技術を実行するよう成されるＤＳＰ上で実施されてもよい。代替の実施の形態において、ＦＤＰ５２０は、Ｔｅｘａｓ ＩｎｓｔｒｕｍｅｎｔｓからのＤＭ３６５を含め、顔検出能力をもつハードウェアにおいて実行されてもよい。集中アーキテクチャを活用する一実施の形態において、ＩＤＣ４５３は、ＭＣＵ４００に組み込んでもよい。かかる実施の形態において、ＩＤＣ４５３は、上述のように、映像ユニット４５０の一部でもよく、関係する入力モジュール４５１Ａ_Ｘから、復号された映像データを取得してもよい。代替の実施の形態において、ＩＤＣ４５３は、各入力モジュール４５１Ａ_Ｘの一部でもよく、それに関連付けられたデコーダ４５２から復号された映像を取得してもよい。
【００８１】
更に他の実施の形態において、ＩＤＣ４５３は、エンドポイント３３０Ａ_Ｎ内に埋め込まれていてもよい。かかるエンドポイントにおいて、ＩＤＣ４５３は、エンドポイント３３０によって生成されるビデオ画像内の、ＲＯＩおよびＲＯＩの相対位置を判定するために使用されてもよい。ＩＤＣ４５３は、エンドポイント３３０のエンコーダ（不図示）の入力に関連付けられてもよい。ＩＤＣ４５３は、エンドポイントのエンコーダの入力において使用されるフレームメモリから、ビデオ画像のフレームをサンプリングしてもよい。ＲＯＩの指示および／またはＲＯＩの相対位置の指示は、ＮＩ４２０を介してＩＬＣ４４２に転送されてもよい。その指示は、プロプリエタリのプロトコルに一致する専用パケット内において、または標準ヘッダに情報を加えて送信されてもよい。代替の実施の形態において、情報は、所定のキーのストリング等を使用するＤＴＭＦ信号として送信されてもよい。ＩＬＣ４４２は、ＲＯＩ（関心領域）についての情報を使用して、次のＣＰレイアウトを適用する方法を判定してもよい。
【００８２】
図５の実施の形態において、ＲＯＩ相対位置定義装置（ＲＲＬＤ）５３０は、コマンドをＩＬＣ４４２から受信してもよい。例となるコマンドは、ＲＯＩの検出および定義、サイトのＲＯＩの相対位置の検出および配置等を行ってもよい。ＩＬＣ４４２は、音声信号の強さ、レイアウトを変更する手動コマンド、加わった新たなサイトについての情報等を含め、どのサイトにおいて異なるパラメータに従ってＲＯＩおよび／またはＲＯＩの相対位置を検索するのかを判定してもよい。ＲＲＬＤ５３０は、顔検出プロセッサ（ＦＤＰ）５２０にコマンドを送り、ＲＯＩの配置に基づいてＲＯＩを発見および判定してもよい。ＲＲＬＤ５３０は、特定のサイトから受信したビデオ画像のフレーム内のＲＯＩの相対位置（その画像の左、右、または中央）を計算してもよい。
【００８３】
ＦＤＰ５２０は、関連するサイトから復号化されたビデオ画像のフレームをサンプリングするようＳＣＦＭ５１０に命じてもよい。復号化されたビデオ画像は、そのサイトに関連付けられた入力モジュール４５１Ａ_Ｘの共通インターフェイス４５４から、またはデコーダ４５２からＳＣＦＭ５１０によって取り出されてもよい。次いで、ＳＣＦＭ５１０は、ＦＤＰ５２０の要件に従ってビデオ画像を縮小し、その結果をフレームメモリに保存してもよい。
【００８４】
一実施の形態において、ＦＤＰ５２０とＳＣＦＭ５１０の間にループが生じてもよい。ＦＤＰ５２０は、ＳＣＦＭ５１０に対して、再度画像を縮小、画像を拡大、および／または他のサンプルを取り出す等の要求を行ってもよい。このループは、所定回数のサイクルに制限されてもよい。サイクルの終了時に、ＦＤＰ５２０は、ＲＯＩについての情報をＲＲＬＤ５３０に転送してもよい。ＲＯＩが見つからない場合、メッセージ（例えば、ＲＯＩなし等）がＲＲＬＤ５３０に送信されてもよい。ＲＲＬＤ５３０は、関連する配置についての専用の情報を、制御ライン４４８を介してＩＬＣ４４２に出力してもよい。更に他の実施の形態において、ＩＤＣ４５３は、左上からのピクセル単位のＲＯＩ座標の配置を、例えばＩＬＣ４４２に転送してもよく、ＩＬＣ４４２は、その相対位置（左、右、中央）を計算してもよい。
【００８５】
ＩＤＣ４５３の他の実施の形態は、動作検出装置、肌色検出装置、および／または異なる検出装置の異なる組み合わせを含む技術を使用して、ビデオ画像内のＲＯＩの配置を判定する他のモジュールを備えていてもよい。動作検出装置に基づくいくつかの実施の形態（不図示）は、時計、ファン、モニター等の干渉的な動作を取り除くために、帯域フィルター、ローパスフィルター、またはノッチフィルター等、１つ以上のフィルターを含んでもよい。他の実施の形態は、複数のマイクから受信した音声エネルギーの表示を処理してもよい。異なるＲＯＩ検出装置ついて更に知りたいと望む者は、米国特許出願第１１／７５１，５５８号、米国特許出願第１２／６８３，８０６号を読むことができ、またはwww.consortium.ri.cmu.edu/projOmega.phpもしくはwww.consortium.ri.cmu.edu/projFace.phpを閲覧することができる。
【００８６】
いくつかの実施の形態において、動作検出装置は、ＲＯＩを判定するために使用される。一実施の形態において、動作検出装置は、変化がある領域を定義するために、２つの連続するフレームを減算してもよい。ビデオ会議において、変化は、典型的には頭、手等の動きによる。ＲＯＩは、２つの連続するフレームの間で異なる領域を取り囲む大きな長方形として定義されてもよい。連続するフレームは、１つ以上のＳＣＦＭ５１０内に格納されてもよい。
【００８７】
ＩＤＣ４５３のいくつかの実施の形態において、他の技術が、異なるサイト間の相互作用を定義するために使用されてもよい。例えば、各サイトから受信される音声エネルギーの表示は、音声モジュール４３０によって処理されてもよく、情報はＩＤＣに送信されてもよい。処理は、ある期間の時間にともない、話者間の相互作用に続いてもよい。相互作用が支配的なサイト間の音声的な相互作用である場合、それら２箇所のサイトは、支配的なサイトと考えられる。２つの支配的なサイトからの画像は、レイアウト２００の画像１２０および１３０のように、相互に面する上部の列に配置されてもよい。本実施の形態において、ＩＤＣ４５３は、音声モジュール４３０および／または制御モジュール４４０から音声エネルギーについての情報を受け取ってもよい。
【００８８】
一実施の形態において、サイトは複数のマイクを有し、その部屋の話者の配置およびその画像のＲＯＩは、複数のマイクから受信される音声エネルギーを処理することによって判定され、部屋の話者の相対位置が判定されてもよい。いくつかの実施の形態において、ＲＯＩおよび／またはＲＯＩ相対位置検出装置は、エンドポイント３３０内にあってもよく、ＲＯＩの相対位置は、プロプリエタリメッセージまたはヘッダ内のビデオ画像とともに送信されてもよい。
【００８９】
ＲＲＬＤ５３０および制御モジュール４４０の間の通信は、使用されるアーキテクチャに依存してもよい。例えば、ＩＤＣ４５３がＭＣＵ４００の映像ユニット４５０内に埋め込まれているならば、ＲＲＬＤ５３０と制御モジュール４４０間の通信は、映像モジュール４５０に制御モジュール４４０を接続する制御ライン４４８上で実行されてもよい。
【００９０】
代替として、制御モジュール４４０がＭＣＵ４００に配置されている一方でＩＤＣ４５３がエンドポイント３３０Ａ_Ｎに配置されている実施の形態において、通信は、帯域外または帯域内で実施されてもよい。帯域外通信は、インターネットプロトコル（ＩＰ）ネットワーク上でエンドポイント３３０Ａ_ＮおよびＭＣＵ４００の間の接続を介して扱われてもよい。エンドポイント３３０を伴うマルチメディア通信がパケット切換ネットワークを介するならば、ＩＤＣ４５３（エンドポイント３３０上）および制御モジュール４４０間の通信は、リアルタイムトランスポートプロトコル（ＲＴＰ）映像パケットのペイロードの所定のヘッダを使用しながら実施されてもよい。かかる実施の形態において、サンプリングコマンドと同様にＲＯＩおよび／またはＲＯＩの相対位置の座標は、ＲＴＰ映像パケットのペイロードの所定ヘッダ内に埋め込まれていてもよい。他の実施の形態は、ＤＴＭＦおよび／またはＦＥＣＣチャンネルを使用してもよい。
【００９１】
上述のように、太字のエンドポイント３３０上のＩＤＣ４５３および制御モジュール４４０の間の通信がマルチメディア通信を介するならば、ネットワークインターフェイス（ＮＩ）３１０は、受信した情報を解析し、ＩＤＣ４５３から受信したＲＯＩおよび／またはＲＯＩの相対位置の座標を取り出すよう成されてもよい。ＮＩ３１０は、情報を、制御モジュール４４０およびＮＩ４２０を接続する制御バス４４６上の制御モジュール４４０に配信してもよい。ＮＩ４２０は、サンプリングコマンドを受け取り、それを使用される通信技術に従って処理し、更にそれをネットワーク３１０を介してＩＤＣ４５３に送信するよう成されてもよい。
【００９２】
結果に基づき、一実施の形態によるＩＬＣ４４２は、検出されたＲＯＩおよび／またはその相対的相互作用および相対位置を考慮して、更新されるレイアウトを設計してもよい。更新されるレイアウトを構築する方法の指示は、関連するエディタ４５６に転送されてもよい。更新されたレイアウトに従って、エディタ４５６は、会議出席者が部屋の左部分に着席しているサイトを、左側のセグメントに配置し、更にその逆も行い、図２に示すように、セグメント１１２が会議出席者１３０を伴うサイトＢに割り当てられてもよい。一方、セグメント１１４は、その画像の右側部分に着席している会議出席者１２０を有するサイトＣに割り当てられる。
【００９３】
異なるサイトの会議出席者が同じ相対位置（部屋の中央に対して左側または右側）に着席しているいくつかの場合において、ＩＬＣ４４２は、関係するエディタにコマンドを送り、１つ以上の画像を鏡像化してもよい。一実施の形態において、画像を鏡像化することは、各列の右端から左端へ映像データを読み取ることにより、ＣＰレイアウトを構築し、ＣＰのレイアウト内の関連するセグメント内の適切な列の左端から、左から右へと映像データを書き込む間に実施されてもよい。レイアウト内の配置は、他のサイトが、直前に支配的であるサイトのひとつに代わって支配的になる場合に、動的に変更されてもよい。
【００９４】
更に他の実施の形態において、ひとつのＲＦトラッカーは、ＲＲＬＤ５３０によって使用されて、部屋の加入者の相対位置を定義してもよい。信号は、エンドポイント３３０と関連付けられている部屋に配置されている２つ以上のアンテナによって受信されてもよい。受信されたＲＦ信号は、エンドポイント３３０によって処理されてもよく、情報は、プロプリエタリメッセージ内またはヘッダ内でビデオ画像とともに送信されてもよい。
【００９５】
図６は、ＩＤＣ４５３によって実行されてもよい一実施の形態による技法６００に対するフローチャートを図示している。技法６００は、ビデオ画像における関心領域（ＲＯＩ）およびその相対位置を定義するために使用されてもよい。技法６００は、会議の開始と同時にブロック６０２において開始されてもよい。開始後、技法６００は、ブロック６０４においてフレームカウンター（Ｆｃｎｔ）およびレイアウト変更フラグをリセットしてもよい。一実施の形態において、フレームカウンター（Ｆｃｎｔ）は、入力モジュール４５１Ａ_Ｘの出力時に、フレームをカウントしてもよい。レイアウト変更フラグ（ＣＬＦ）の値は、０または１でもよい。ＣＬＦの値は、レイアウト表示の変更がＩＬＣ４４２から受信された場合、１となる。変更表示は、新たなレイアウトに関する情報、提示される会議出席者ならびに関連付けられている入力および出力モジュール（それぞれ４５１Ａ_Ｘおよび４５５Ａ_Ｘ）についての情報を含んでもよい。ＩＬＣ４４２は、サイトの画像内のＲＯＩおよびその相対位置の検索をＲＲＬＤ５３０に要求してもよい。レイアウト内の変更は、音声信号の強さ、管理要求、新たな会議出席者等の結果として発生してもよい。ＣＬＦの値は、レイアウト内に何の変更もないことが表示された場合、０となる。いくつかの実施の形態において、ＣＬＦは、ＣＭ４４０から、またはクリック・アンド・ビュー機能を使用して会議出席者のひとりから任意に設定されてもよい。
【００９６】
続いて、技法６００は、ブロック６１０において、新たなフレームを受信するために待機してもよい。ブロック６１０において、新たなフレームが待機期間に受信されなければ、技法６００は、ブロック６１０に戻る。ブロック６１０において、新たなフレームが受信されれば、技法６００は、ブロック６１２へと進み、Ｆｃｎｔを１インクリメントさせてもよい。続いて、ブロック６２０は、Ｆｃｎｔの値が所定値Ｎ１よりも大きいか否か、またはＣＬＦの値が１に等しいのかを判定する。一実施の形態において、Ｎ１は、１から１０００までの範囲の設定された数字でもよい。ブロック６２０において、Ｆｃｎｔの値がＮ１以下であり、ＣＬＦの値が０に等しければ、技法６００は、ブロック６１０に戻る。ブロック６２０において、Ｆｃｎｔの値がＮ１よりも大きく、および／またはＣＬＦの値が１に等しければ、技法６００は、ブロック６２２に進む。一実施の形態において、Ｆｃｎｔに代えて、またはＦｃｎｔに加えて、タイマーが使用されてもよい。タイマーは、例えば数秒または数分の望みの期間の時間に設定できる。
【００９７】
ブロック６２２では、技法６００は、ＦＤＰ５２０に指示してＲＯＩを検索し、定義してもよい。技法６００は、ＦＤＰ５２０がＲＯＩを定義するか、またはＲＯＩが見つからなかったことをＩＤＣ４５３に通知するまで、ブロック６２４にて待機する。ＦＤＰがＲＯＩのメッセージを出力すると、技法６００はブロック６２６に進み、ＦＤＰ５２０から、分析されたデータを収集し、処理する。ブロック６２６は、ＲＯＩの存在、その大きさ、配置（例えば、上部左からピクセル単位で）およびその画像内の相対位置（例えば右、左、中央）を判定してもよい。代替の実施の形態において、ＲＯＩが見つからなければ、Ｎ１の値を、後続のＲＯＩ検索を加速させるために減少してもよい。
【００９８】
技法６００は、ＦＤＰ５２０およびＩＬＣ４４２間のアプリケーションプログラムインターフェイス（ＡＰＩ）として動作してもよい。その結果は、ブロック６２６において、ＩＬＣ４４２へと転送されてもよく、技法６００は、ブロック６０４に戻ってもよい。いくつかの実施の形態において、技法６００は、ブロック６２２から６２６を繰り返し、結果が同様であることを確認し、もしそうであれば、ＩＬＣ４４２に平均ＲＯＩおよびＲＯＩの相対位置を転送してもよい。
【００９９】
図７Ａは、ビデオ会議において使用されるレイアウトのひとつを自動的かつ動的に適用するための技法７００の一実施の形態に対するフローチャートを示している。一実施の形態において、２つ以上のレイアウトが関わる場合、並列タスクがＣＰ画像の各レイアウトにつき一回開始されてもよい。他の実施の形態において、技法７００は、セッション内において使用される各レイアウトにつき１サイクル繰り返し実行されてもよい。技法７００は、ブロック７０２において、ＩＬＣ４４２および／またはＲＲＬＤ５３０（図５）によって開始されてもよい。開始時、技法７００は、ブロック７０４において、前回相対位置メモリ（ＰＲＬＭ）をリセットしてもよい。ＰＲＬＭは、ＲＯＩの前回見出された相対位置についての情報を格納して、ＲＯＩの現在の相対位置との相違を判定するために使用されてもよい。続いて、技法７００は、ブロック７０６において、タイマー（Ｔ）をリセットし、ブロック７１０においてタイマーＴの値がＴ１に等しくなるのを待ってもよい。一実施の形態において、Ｔ１は、数百ミリ秒から数秒の範囲でもよい。他の実施の形態において、構成されたＣＰ画像のフレームは、カウントされ、時間の代わりに使用されてもよい。タイマーＴの値がＴ１に等しくなり、および／またはレイアウト内に変化が発生すると、技法７００は、ブロック７１２に進んでもよい。レイアウトにおける変化は、更なる会議出席者が会議に加わったとき、他の会議出席者の音声エネルギーにおける変更のために提示されるサイトが変更される必要がある場合等に発生してもよい。
【０１００】
ブロック７１２において、技法７００は、関連する会議出席者のビデオ画像内のＲＯＩ相対位置（ＲＯＩＲＬ）情報についての情報を収集してもよい。関連する会議出席者のビデオ画像は、レイアウト内における提示のために選択されたビデオ画像である。続いて、音声エネルギー情報が、ブロック７１４において、それぞれ提示されるサイトにつき取得されてもよい。音声情報を使用しながら、２箇所の支配的なサイトが検出されてもよく、および／または、異なるエンドポイント間の相互作用についての更なる情報等が検出されてもよい。管理および制御情報は、ブロック７１５において取得されてもよい。管理および制御情報は、受信される会議出席者の基本設定（構成されるＣＰ画像を監視するもの）および強制的会議出席者（音声エネルギーから独立して、ＣＰ画像内に提示されなければならない会議出席者）等の情報を含んでいてもよい。それぞれ提示される会議出席者の画像につき、技法７００は、ブロック７１６において現在受信されているＲＯＩＲＬおよび（ＰＲＬＭメモリに保存されている）前回のＲＯＩＲＬ間の相違を計算してもよい。技法７００はまた、ブロック７１６において、支配的なサイトに相違があるのかを判定してもよい。
【０１０１】
前回のＲＯＩＲＬに対して今回のＲＯＩＲＬに有意な変更があるか否か、および／または、支配的なサイトに有意な変更があるのかという判定が、ブロック７２０において行われる。有意な変更は、ピクセル、パーセンテージ、音声の強さ等における所定の変化量でもよい。一実施の形態において、有意な変化は、５から１０パーセントの範囲でもよい。ブロック７２０において、有意な変更があれば、技法７００は、ブロック７２２において現在のＲＯＩＲＬおよび支配的なサイトをＰＲＬＭに格納してもよい。技法７００は、更に図７Ｂ内のブロック７５０に進む。ブロック７２０において、有意な変更がなければ、技法７００はブロック７０６に戻る。
【０１０２】
図７Ｂを参照すると、ブロック７５０において、ループがブロック７６０から７９０において、技法７００によって設計された同じレイアウトを実行する各出力モジュール４５５Ａ_Ｘに対して開始されてもよい。ブロック７６０から始まり、各出力モジュール４５５Ａ_Ｘに対して、技法７００は、ブロック７６２において現在の出力モジュールに関連付けられているＣＰレイアウトに関係するパラメータについての情報を取り出してもよい。一実施の形態におけるパラメータは、ピクセル数の幅および高さ（ＷｘＨ）でのレイアウトの大きさ、レイアウトのフォーマット（２Ｘ２、３Ｘ３等）、管理上の判定に基づいてどのサイトが選択されて提示されるのか、および／または音声エネルギー等を含んでもよい。技法７００はまた、ブロック７６２において、試行回数をカウントするカウンター（Ｃｎｔ）をリセットしてもよい。
【０１０３】
次の技法７００は、ブロック７６４において、関連する出力モジュール４５５Ａ_Ｘの適用可能なレイアウト内に提示されるべく選択されたそれぞれのサイトに対するＲＯＩＲＬ（ＲＯＩ相対位置）情報およびパラメータを取得してもよい。一実施の形態において、その情報は、ＰＲＬＭから取り出されてもよい。一実施の形態において、パラメータは、ＲＯＩのピクセル数（ＲＯＩの高さおよび幅）、ＲＯＩの相対位置、支配的なサイト、サイト間の相互作用等を含んでもよい。取り出された情報を使用して、技法７００は、ブロック７７０において、２箇所の支配的なサイトがあるのかを判定してもよい。２箇所の支配的なサイトがなければ、技法７００は、ブロック７７４に進んでもよい。２箇所の支配的なサイトがあれば、技法７００はブロック７７２に進んでもよい。
【０１０４】
ブロック７７２において、支配的なサイトは、一実施の形態において提示されるレイアウト内のセグメントの上方列に配置されてもよい。代替の実施の形態において、それらは、下方列または望みの他のサイトに配置されてもよい。左側のＲＯＩＲＬを持つ支配的なビデオ画像は、ブロック７７２において、レイアウトの左セグメント内に配置されてもよい。ビデオ画像の右側のＲＯＩＲＬを持つ支配的なビデオ画像は、ブロック７７２において、レイアウトの右側のセグメント内に配置されてもよい。両方の支配的なサイトが同じＲＯＩＲＬを有するならば（両方とも左、または両方とも右）、支配的なサイトのひとつがブロック７７２において鏡像化されてもよい。両方の支配的なサイトが中央に画像を有するならば、それらは並べて配置されてもよい。
【０１０５】
提示されるべく選択された他のサイトは、右側のＲＯＩＲＬを持つビデオ画像は右に配置され、左側のＲＯＩＲＬを持つビデオ画像は左に配置され、中央のＲＯＩＲＬを持つビデオ画像は中央または残りの位置に配置される等といったように、ブロック７７４において配置されてもよい。残りのセグメント内に配置できない１箇所以上の選択サイトがある場合、技法７００は、ブロック７７４においてそれらを鏡像化し、相応に配置してもよい。続いて、カウンター（Ｃｎｔ）は、ブロック７７６において１インクリメントされてもよい。
【０１０６】
ブロック７８０において、Ｃｎｔの値が２に等しいか否か、またはブロック７７４の手順が成功裏に完了したかという判定がなされてもよく、その結果、全ての選択された会議出席者がレイアウトの適切な相対位置において提示されてもよい。これらの条件が満たされない場合、技法７００は、ブロック７８２において、ブロック７７２において判定された支配的サイトの配置要件を無視してもよく、更にブロック７７４において選択されているサイトの全ての配置を再試行してもよい。ブロック７８０において、Ｃｎｔの値が２に等しいか、またはブロック７７４の手順が成功裏に完了した場合、技法７００はブロック７８４に進む。
【０１０７】
ブロック７８４において、ブロック７７４の手順が成功裏に完了したのか否かという判定がなされてもよい。一実施の形態において、「成功裏に」とは、見るために選択された全てのサイトが、その全てがレイアウトの中心に面しているように配置されたことを意味する。ブロック７８４の条件が満たされない場合、技法７００は、ブロック７８６において、特定された相互作用を無視し、表示されるサイトの数に見合う共通のレイアウトを選択し、ＲＯＩＲＬを無視してレイアウトを配置してもよい。ブロック７７４の手順が成功裏に完了したことをブロック７８４が判定した場合、技法７００は、ブロック７８８においてレイアウト配置に関する指示を作成してもよく、その結果、提示されるサイトがレイアウトの中心に向く。レイアウトの指示は、ブロック７８８において、適切な出力モジュール４５５Ａ_Ｘ内のエディタ４５６に送信されてもよい。他の実施の形態において、ブロック７８６において、技法７００は、計算されたレイアウトのひとつを選択してもよく、これが会議出席者間のある相互作用を提示する。
【０１０８】
続いて、技法７００は、ブロック７９０において、レイアウトの配置についての指示を受ける必要がある付加的な映像出力モジュール４５５Ａ_Ｘがあるか否かを確認する。もしあれば、技法７００は、ブロック７６０に戻ってもよい。それがなければ、技法７００は、図７Ａ内のブロック７０６に戻ってもよい。
【０１０９】
本開示において、「ユニット」、「装置」、「コンポーネント」、「モジュール」、および「論理モジュール」の用語は、相互に交換可能に使用されてもよい。ユニットまたはモジュールとして設計される全てのものは、スタンドアロンモジュールまたは専用もしくは統合モジュールであってもよい。モジュールは、モジュール式またはモジュール式局面をもっていてもよく、簡易に取り外され、他の類似のユニットまたはモジュールと交換されることを可能とする。各モジュールは、ソフトウェア、ハードウェア、および／またはファームウェアのいずれのひとつ、またはいずれかの組み合わせであってもよい。論理モジュールのソフトウェアは、読み出し／書き込みハードディスク、ＣＤＲＯＭ、フラッシュメモリー、ＲＯＭ等、コンピューター可読媒体上に実現されてもよい。特定のタスクを実行するために、ソフトウェアプログラムは、必要に応じて適切なプロセッサに読み込まれてもよい。
【０１１０】
本開示の説明および特許請求の範囲において、「備える」、「含む」、「有する」およびそれらの活用諸変化は、その動詞の目的語が、その動詞の主語である部材、構成部分、要素、または部品の必ずしも完全な列記ではないことを示すために使用されている。
【０１１１】
上記の装置、システム、および方法が、手順の変更、および使用される正確な実施を含め、様々な方式において変更されてもよいことは明白である。説明されている実施の形態は、異なる特長を含み、その全てが本開示のすべての実施の形態において必要とされるわけではない。更に、本開示のいくつかの実施の形態は、その特長のいくつかのみ、またはその特長の可能な組み合わせのみを使用する。説明されている実施の形態において表記されている特長の異なる組み合わせは、当該技術に精通する者により行われる。更に、本開示のいくつかの実施の形態は、その開示とともに、異なる実施の形態との関連において説明された特長および要素の組み合わせにより、実施されてもよい。本発明の適用範囲は、下記の請求の範囲およびこれと同等のものによってのみ制限される。
【０１１２】
特定の実施の形態が詳細に説明され、添付図面において示されているが、かかる実施の形態は単にその例示であり、後に続く特許請求の範囲によって決定されるその基本範囲から逸脱することなく考案されるものでないことは言うまでもない。
【符号の説明】
【０１１３】
２００ レイアウト
３００ マルチメディア・マルチポイント会議システム
３１０ ネットワーク
３２０ ＭＣＵ
３３０Ａ〜３３０Ｎ エンドポイント（サイト）
【特許請求の範囲】
【請求項１】
第１の会議出席者と第２の会議出席者との間の相互作用に反応する画面分割ビデオ会議の第１のエンドポイントのために自動的に画面分割ビデオ画像をデザインすることと、
前記画面分割ビデオ会議の前記第１のエンドポイントで前記画面分割ビデオ画像を表示すること、
を備える方法。
【請求項２】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用を自動的に判定することと、
前記画面分割ビデオ画像内の前記第１の会議出席者に対応する第１のビデオ画像を配置することと、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に応答して、前記画面分割ビデオ画像内の前記第１のビデオ画像に関連する前記第２の会議出席者に対応する第２のビデオ画像を配置すること、
を含む請求項１の方法。
【請求項３】
前記画面分割ビデオ画像をデザインすることは、更に、
前記第１の会議出席者に対応するエンドポイントからのコンテンツを受信すること、および
前記画面分割ビデオ画像内のコンテンツを提示すること、を含み、
前記第１のビデオ画像を配置することは、前記コンテンツの第１の側に前記第１のビデオ画像を配置することを含み、
前記第２のビデオ画像を配置する動作は、前記コンテンツの第２の側に前記第２のビデオ画像を配置することを含む、
請求項２の方法。
【請求項４】
前記第１の会議出席者と前記第２の会議出席者が前記コンテンツの方に向くように提示されるように、前記第１のビデオ画像および前記第２のビデオ画像を処理することを更に備える請求項３の方法。
【請求項５】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用を自動的に判定することと、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に反応する前記第１のエンドポイントで前記画面分割ビデオ画像を作成するために、前記画面分割ビデオ会議の前記第１のエンドポイントに対する指示を生成することと、
前記画面分割ビデオ会議の前記第１のエンドポイントに前記指示を送信することと、
前記指示に反応する前記第１のエンドポイントで前記画面分割ビデオ画像を作成すること、
を含む請求項１の方法。
【請求項６】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用を自動的に判定することと、
前記第１の会議出席者と前記第２の会議出席者との間の前記相互作用に反応する前記第１のエンドポイントのために、前記画面分割ビデオ画像を作成することと、
前記第１のエンドポイントに前記画面分割ビデオ画像を送信すること、
を含む請求項１の方法。
【請求項７】
複数の会議出席者間の相互作用に自動的に反応する前記画面分割ビデオ会議の第２のエンドポイントのための画面分割ビデオ画像をデザインすることであって、前記第２のエンドポイントのための前記画面分割ビデオ画像は前記第１のエンドポイントのための前記画面分割ビデオ画像とは異なることと、
前記画面分割ビデオ会議の前記第２のエンドポイントで前記画面分割ビデオ画像を表示すること、
を更に備える請求項１の方法。
【請求項８】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者に対応する第１のビデオ画像を分析することと、
前記第２の会議出席者に対応する第２のビデオ画像を分析することと、
前記第１のビデオ画像を分析する動作および前記第２のビデオ画像を分析する動作に反応する前記第１の会議出席者と前記第２の会議出席者との間の相互作用を自動的に判定することと、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に反応する前記第１のエンドポイントのために、前記画面分割ビデオ画像内の前記第１のビデオ画像に関連する前記第１のビデオ画像および前記第２のビデオ画像を配置すること、
を含む請求項１の方法。
【請求項９】
前記第１のエンドポイントに、前記第１のエンドポイントのための前記画面分割ビデオ画像を送信することを更に備える請求項８の方法。
【請求項１０】
更に、
前記第１のエンドポイントのための前記画面分割ビデオ画像を作成するための指示を生成することと、
前記第１のエンドポイントに、前記第１のエンドポイントのための前記画面分割ビデオ画像を作成するための指示を送信すること、
を備える請求項８の方法。
【請求項１１】
前記画面分割ビデオ画像をデザインすることは、更に、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に反応する前記第１のビデオ画像を修正すること、
を含む請求項８の方法。
【請求項１２】
前記第１のビデオ画像を修正することは、前記第１のビデオ画像を鏡像化することを含む請求項１１の方法。
【請求項１３】
前記画面分割ビデオ画像をデザインすることは、
複数の会議出席者中の支配的な会議出席者を判定することと、
前記複数の会議出席者中の支配的でない会議出席者を判定することと、
前記画面分割ビデオ画像内において前記支配的な会議出席者に対応して第１のビデオ画像を自動的に配置すること、および前記画面分割ビデオ画像内において前記第１の映像に関連する前記支配的でない会議出席者に対応して第２のビデオ画像を自動的に配置すること、
を含む請求項１の方法。
【請求項１４】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者と前記第２の会議出席者との間の第１の相互作用に自動的に応答する第１の画面分割ビデオ画像をデザインすること、および
前記第１の相互作用に続く、第３の会議出席者と第４の会議出席者との間の第２の相互作用に自動的に反応する第２の画面分割ビデオ画像をデザインすることを含み、
前記画面分割ビデオ画像を表示することは、
前記第１の画面分割ビデオ画像を表示すこと、および
前記第１の画面分割ビデオ画像に続く前記第２の画面分割ビデオ画像を表示することを含む、
請求項１の方法。
【請求項１５】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者に対応する第１の音声エネルギーを分析することと、
前記第２の会議出席者に対応する第２の音声エネルギーを分析することと、
前記第１の音声エネルギーを分析する動作および前記第２の音声エネルギーを分析する動作に反応する前記第１の会議出席者と前記第２の会議出席者との間の相互作用を自動的に判定することと、
前記第１の会議出席者と前記第２の会議出席者との間の前記相互作用に反応する前記第１のエンドポイントのための前記画面分割ビデオ画像内において、前記第１の会議出席者に対応する第１のビデオ画像と、該第１のビデオ画像に関連する前記第２の会議出席者に対応する第２のビデオ画像を配置すること、
を含む請求項１の方法。
【請求項１６】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者に対応する第１のビデオ画像内において、第１の関心領域の第１の相対位置を特定することと、
前記第２の会議出席者に対応する第２のビデオ画像内において、第２の関心領域の第２の相対位置を特定することと、
前記第１のビデオ画像内の前記第１の関心領域の前記第１の相対位置および前記第２のビデオ画像内の前記第２の関心領域の前記第２の相対位置に応じた、前記第１の会議出席者と前記第２の会議出席者との間の相互作用を判定することと、
前記画面分割ビデオ画像内に前記第１のビデオ画像を配置し、前記第１の会議出席者と前記第２の会議出席者との間の前記相互作用に応じた前記第１のビデオ画像に関連する前記第２のビデオ画像を前記画面分割ビデオ画像内に配置すること、
を含む請求項１の方法。
【請求項１７】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者および前記第２の会議出席者が相互に向かい合わせに現れるように、前記第２の会議出席者に対応する前記第２のビデオ画像に関連する前記第１の会議出席者に対応する第１のビデオ画像を配置すること、
を含む請求項１の方法。
【請求項１８】
前記画面分割ビデオ画像をデザインすることは、更に、
前記第１のビデオ画像を鏡像化すること、を含む請求項１７の方法。
【請求項１９】
更に、
第１のサイトの複数の会議出席者の会議出席者を活動的な会議出席者として指定することと、
前記第１のサイトから受信したビデオ画像から前記活動的な会議出席者の画像を複製することと、
前記画面分割ビデオ画像内に、前記活動的な会議出席者と前記第１のサイトから受信した前記ビデオ画像を提示すること、
を備える請求項１７の方法。
【請求項２０】
更に、
第１のサイトの複数の会議出席者の会議出席者を活動的な会議出席者として指定することと、
前記第１のサイトから受信したビデオ画像から前記活動的な会議出席者の画像を複製することと、
前記第１のサイトから受信した前記ビデオ画像の代わりに、前記画面分割ビデオ画像内に、前記活動的な会議出席者の画像を提示すること、
を備える請求項１７の方法。
【請求項２１】
第１の会議出席者に対応する第１のエンドポイント、および、第２の会議出席者に対応する第２のエンドポイント、を含む複数のエンドポイントと、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に応答する画面分割ビデオ画像をデザインするよう構成されたレイアウトコントローラと、
を備えるビデオ会議システム。
【請求項２２】
前記レイアウトコントローラは、マルチポイントコントロールユニット（ＭＣＵ）のモジュールである、請求項２１のビデオ会議システム。
【請求項２３】
更に、前記第１のエンドポイントから受信した第１のビデオ画像および前記レイアウトコントローラに反応する第２のビデオ画像を操作するよう成されるエディタモジュールを備える請求項２１のビデオ会議システム。
【請求項２４】
前記レイアウトコントローラが、更に、前記レイアウトコントローラによってデザインされた前記画面分割ビデオ画像を表示するための指示を前記複数のエンドポイントに送信するよう構成されている、請求項２１のビデオ会議システム。
【請求項２５】
前記レイアウトコントローラに反応する、前記画面分割ビデオ画像をエンコードするよう成される映像モジュールを更に備える、請求項２１のビデオ会議システム。
【請求項２６】
前記第１の会議出席者に対応する第１のビデオ画像、および前記第１のビデオ画像に関連する前記第２の会議出席者に対応する第２のビデオ画像を、前記画面分割ビデオ画像内に配置するよう成され、レイアウトコントローラに反応する映像レイアウトエディタモジュールを更に備える、請求項２１のビデオ会議システム。
【請求項２７】
前記映像レイアウトエディタモジュールが、更に、前記第１のビデオ画像を操作するよう構成されている、請求項２６のビデオ会議システム。
【請求項２８】
前記映像レイアウトエディタモジュールが、更に、前記第１のビデオ画像を鏡像化するよう構成されている、請求項２６のビデオ会議システム。
【請求項２９】
前記第１の会議出席者と前記第２の会議出席者との間の前記相互作用を検出し、前記相互作用を前記レイアウトコントローラに通知するよう構成された相互作用デコーダを備える、請求項２１のビデオ会議システム。
【請求項３０】
前記相互作用デコーダは、前記第１の会議出席者に対応する第１のビデオ画像内の関心領域の相対位置を特定するよう成される映像相互作用デコーダを備える、請求項２９のビデオ会議システム。
【請求項３１】
前記相互作用デコーダは、前記第１の会議出席者が支配的な会議出席者であることを検出するよう構成されている、請求項２９のビデオ会議システム。
【請求項３２】
前記相互作用デコーダは、音声エネルギーを分析し、前記音声エネルギーに応じた前記相互作用を前記レイアウトコントローラに通知するよう構成された音声相互作用デコーダを備える、請求項２９のビデオ会議システム。
【請求項３３】
前記レイアウトコントローラは、前記第１の会議出席者および前記第２の会議出席者が相互に向かい合わせに現れるように、前記画面分割ビデオ画像をデザインするよう構成されている、請求項２１のビデオ会議システム。
【請求項３４】
画面分割ビデオ会議における第１の会議出席者に対応する第１のエンドポイントからの第１のビデオ画像と、前記画面分割ビデオ会議における第２の会議出席者に対応する第２のエンドポイントからの第２のビデオ画像を処理する装置であって、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に応答して画面分割ビデオ会議のビデオ画像をデザインするよう構成された制御モジュールと、
前記制御モジュールによってデザインされた前記画面分割ビデオ会議のビデオ画像を作成するよう構成された第１の映像モジュールと、
を備える装置。
【請求項３５】
前記第１の会議出席者と前記第２の会議出席者との間の前記相互作用を検出し、前記相互作用を前記制御モジュールに通知するよう構成された相互作用デコーダ、を更に備える請求項３４の装置。
【請求項３６】
前記相互作用デコーダは、前記第１のビデオ画像内の関心領域の相対位置を特定するよう構成された映像相互作用デコーダである、請求項３４の装置。
【請求項３７】
前記相互作用デコーダは、前記第１の会議出席者に対応する第１の音声エネルギーおよび前記第２の会議出席者に対応する第２の音声エネルギーを分析するよう構成された音声相互作用デコーダである、請求項３４の装置。
【請求項３８】
前記相互作用デコーダは、前記第１の会議出席者が支配的な会議出席者であることを検出するよう構成されている、請求項３４の装置。
【請求項３９】
前記装置は、マルチポイント制御ユニットである、請求項３４の装置。
【請求項４０】
前記第１の映像モジュールは、前記第１のエンドポイントに関連付けられる、請求項３４の装置。
【請求項４１】
前記制御モジュールに反応する前記第１のビデオ画像を操作するよう構成されたエディタモジュールを更に備える、請求項３４の装置。
【請求項４２】
前記エディタモジュールは、前記制御モジュールに反応する前記第１のビデオ画像を鏡像化するよう構成されている、請求項４１の装置。
【請求項１】
第１の会議出席者と第２の会議出席者との間の相互作用に反応する画面分割ビデオ会議の第１のエンドポイントのために自動的に画面分割ビデオ画像をデザインすることと、
前記画面分割ビデオ会議の前記第１のエンドポイントで前記画面分割ビデオ画像を表示すること、
を備える方法。
【請求項２】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用を自動的に判定することと、
前記画面分割ビデオ画像内の前記第１の会議出席者に対応する第１のビデオ画像を配置することと、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に応答して、前記画面分割ビデオ画像内の前記第１のビデオ画像に関連する前記第２の会議出席者に対応する第２のビデオ画像を配置すること、
を含む請求項１の方法。
【請求項３】
前記画面分割ビデオ画像をデザインすることは、更に、
前記第１の会議出席者に対応するエンドポイントからのコンテンツを受信すること、および
前記画面分割ビデオ画像内のコンテンツを提示すること、を含み、
前記第１のビデオ画像を配置することは、前記コンテンツの第１の側に前記第１のビデオ画像を配置することを含み、
前記第２のビデオ画像を配置する動作は、前記コンテンツの第２の側に前記第２のビデオ画像を配置することを含む、
請求項２の方法。
【請求項４】
前記第１の会議出席者と前記第２の会議出席者が前記コンテンツの方に向くように提示されるように、前記第１のビデオ画像および前記第２のビデオ画像を処理することを更に備える請求項３の方法。
【請求項５】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用を自動的に判定することと、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に反応する前記第１のエンドポイントで前記画面分割ビデオ画像を作成するために、前記画面分割ビデオ会議の前記第１のエンドポイントに対する指示を生成することと、
前記画面分割ビデオ会議の前記第１のエンドポイントに前記指示を送信することと、
前記指示に反応する前記第１のエンドポイントで前記画面分割ビデオ画像を作成すること、
を含む請求項１の方法。
【請求項６】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用を自動的に判定することと、
前記第１の会議出席者と前記第２の会議出席者との間の前記相互作用に反応する前記第１のエンドポイントのために、前記画面分割ビデオ画像を作成することと、
前記第１のエンドポイントに前記画面分割ビデオ画像を送信すること、
を含む請求項１の方法。
【請求項７】
複数の会議出席者間の相互作用に自動的に反応する前記画面分割ビデオ会議の第２のエンドポイントのための画面分割ビデオ画像をデザインすることであって、前記第２のエンドポイントのための前記画面分割ビデオ画像は前記第１のエンドポイントのための前記画面分割ビデオ画像とは異なることと、
前記画面分割ビデオ会議の前記第２のエンドポイントで前記画面分割ビデオ画像を表示すること、
を更に備える請求項１の方法。
【請求項８】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者に対応する第１のビデオ画像を分析することと、
前記第２の会議出席者に対応する第２のビデオ画像を分析することと、
前記第１のビデオ画像を分析する動作および前記第２のビデオ画像を分析する動作に反応する前記第１の会議出席者と前記第２の会議出席者との間の相互作用を自動的に判定することと、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に反応する前記第１のエンドポイントのために、前記画面分割ビデオ画像内の前記第１のビデオ画像に関連する前記第１のビデオ画像および前記第２のビデオ画像を配置すること、
を含む請求項１の方法。
【請求項９】
前記第１のエンドポイントに、前記第１のエンドポイントのための前記画面分割ビデオ画像を送信することを更に備える請求項８の方法。
【請求項１０】
更に、
前記第１のエンドポイントのための前記画面分割ビデオ画像を作成するための指示を生成することと、
前記第１のエンドポイントに、前記第１のエンドポイントのための前記画面分割ビデオ画像を作成するための指示を送信すること、
を備える請求項８の方法。
【請求項１１】
前記画面分割ビデオ画像をデザインすることは、更に、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に反応する前記第１のビデオ画像を修正すること、
を含む請求項８の方法。
【請求項１２】
前記第１のビデオ画像を修正することは、前記第１のビデオ画像を鏡像化することを含む請求項１１の方法。
【請求項１３】
前記画面分割ビデオ画像をデザインすることは、
複数の会議出席者中の支配的な会議出席者を判定することと、
前記複数の会議出席者中の支配的でない会議出席者を判定することと、
前記画面分割ビデオ画像内において前記支配的な会議出席者に対応して第１のビデオ画像を自動的に配置すること、および前記画面分割ビデオ画像内において前記第１の映像に関連する前記支配的でない会議出席者に対応して第２のビデオ画像を自動的に配置すること、
を含む請求項１の方法。
【請求項１４】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者と前記第２の会議出席者との間の第１の相互作用に自動的に応答する第１の画面分割ビデオ画像をデザインすること、および
前記第１の相互作用に続く、第３の会議出席者と第４の会議出席者との間の第２の相互作用に自動的に反応する第２の画面分割ビデオ画像をデザインすることを含み、
前記画面分割ビデオ画像を表示することは、
前記第１の画面分割ビデオ画像を表示すこと、および
前記第１の画面分割ビデオ画像に続く前記第２の画面分割ビデオ画像を表示することを含む、
請求項１の方法。
【請求項１５】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者に対応する第１の音声エネルギーを分析することと、
前記第２の会議出席者に対応する第２の音声エネルギーを分析することと、
前記第１の音声エネルギーを分析する動作および前記第２の音声エネルギーを分析する動作に反応する前記第１の会議出席者と前記第２の会議出席者との間の相互作用を自動的に判定することと、
前記第１の会議出席者と前記第２の会議出席者との間の前記相互作用に反応する前記第１のエンドポイントのための前記画面分割ビデオ画像内において、前記第１の会議出席者に対応する第１のビデオ画像と、該第１のビデオ画像に関連する前記第２の会議出席者に対応する第２のビデオ画像を配置すること、
を含む請求項１の方法。
【請求項１６】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者に対応する第１のビデオ画像内において、第１の関心領域の第１の相対位置を特定することと、
前記第２の会議出席者に対応する第２のビデオ画像内において、第２の関心領域の第２の相対位置を特定することと、
前記第１のビデオ画像内の前記第１の関心領域の前記第１の相対位置および前記第２のビデオ画像内の前記第２の関心領域の前記第２の相対位置に応じた、前記第１の会議出席者と前記第２の会議出席者との間の相互作用を判定することと、
前記画面分割ビデオ画像内に前記第１のビデオ画像を配置し、前記第１の会議出席者と前記第２の会議出席者との間の前記相互作用に応じた前記第１のビデオ画像に関連する前記第２のビデオ画像を前記画面分割ビデオ画像内に配置すること、
を含む請求項１の方法。
【請求項１７】
前記画面分割ビデオ画像をデザインすることは、
前記第１の会議出席者および前記第２の会議出席者が相互に向かい合わせに現れるように、前記第２の会議出席者に対応する前記第２のビデオ画像に関連する前記第１の会議出席者に対応する第１のビデオ画像を配置すること、
を含む請求項１の方法。
【請求項１８】
前記画面分割ビデオ画像をデザインすることは、更に、
前記第１のビデオ画像を鏡像化すること、を含む請求項１７の方法。
【請求項１９】
更に、
第１のサイトの複数の会議出席者の会議出席者を活動的な会議出席者として指定することと、
前記第１のサイトから受信したビデオ画像から前記活動的な会議出席者の画像を複製することと、
前記画面分割ビデオ画像内に、前記活動的な会議出席者と前記第１のサイトから受信した前記ビデオ画像を提示すること、
を備える請求項１７の方法。
【請求項２０】
更に、
第１のサイトの複数の会議出席者の会議出席者を活動的な会議出席者として指定することと、
前記第１のサイトから受信したビデオ画像から前記活動的な会議出席者の画像を複製することと、
前記第１のサイトから受信した前記ビデオ画像の代わりに、前記画面分割ビデオ画像内に、前記活動的な会議出席者の画像を提示すること、
を備える請求項１７の方法。
【請求項２１】
第１の会議出席者に対応する第１のエンドポイント、および、第２の会議出席者に対応する第２のエンドポイント、を含む複数のエンドポイントと、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に応答する画面分割ビデオ画像をデザインするよう構成されたレイアウトコントローラと、
を備えるビデオ会議システム。
【請求項２２】
前記レイアウトコントローラは、マルチポイントコントロールユニット（ＭＣＵ）のモジュールである、請求項２１のビデオ会議システム。
【請求項２３】
更に、前記第１のエンドポイントから受信した第１のビデオ画像および前記レイアウトコントローラに反応する第２のビデオ画像を操作するよう成されるエディタモジュールを備える請求項２１のビデオ会議システム。
【請求項２４】
前記レイアウトコントローラが、更に、前記レイアウトコントローラによってデザインされた前記画面分割ビデオ画像を表示するための指示を前記複数のエンドポイントに送信するよう構成されている、請求項２１のビデオ会議システム。
【請求項２５】
前記レイアウトコントローラに反応する、前記画面分割ビデオ画像をエンコードするよう成される映像モジュールを更に備える、請求項２１のビデオ会議システム。
【請求項２６】
前記第１の会議出席者に対応する第１のビデオ画像、および前記第１のビデオ画像に関連する前記第２の会議出席者に対応する第２のビデオ画像を、前記画面分割ビデオ画像内に配置するよう成され、レイアウトコントローラに反応する映像レイアウトエディタモジュールを更に備える、請求項２１のビデオ会議システム。
【請求項２７】
前記映像レイアウトエディタモジュールが、更に、前記第１のビデオ画像を操作するよう構成されている、請求項２６のビデオ会議システム。
【請求項２８】
前記映像レイアウトエディタモジュールが、更に、前記第１のビデオ画像を鏡像化するよう構成されている、請求項２６のビデオ会議システム。
【請求項２９】
前記第１の会議出席者と前記第２の会議出席者との間の前記相互作用を検出し、前記相互作用を前記レイアウトコントローラに通知するよう構成された相互作用デコーダを備える、請求項２１のビデオ会議システム。
【請求項３０】
前記相互作用デコーダは、前記第１の会議出席者に対応する第１のビデオ画像内の関心領域の相対位置を特定するよう成される映像相互作用デコーダを備える、請求項２９のビデオ会議システム。
【請求項３１】
前記相互作用デコーダは、前記第１の会議出席者が支配的な会議出席者であることを検出するよう構成されている、請求項２９のビデオ会議システム。
【請求項３２】
前記相互作用デコーダは、音声エネルギーを分析し、前記音声エネルギーに応じた前記相互作用を前記レイアウトコントローラに通知するよう構成された音声相互作用デコーダを備える、請求項２９のビデオ会議システム。
【請求項３３】
前記レイアウトコントローラは、前記第１の会議出席者および前記第２の会議出席者が相互に向かい合わせに現れるように、前記画面分割ビデオ画像をデザインするよう構成されている、請求項２１のビデオ会議システム。
【請求項３４】
画面分割ビデオ会議における第１の会議出席者に対応する第１のエンドポイントからの第１のビデオ画像と、前記画面分割ビデオ会議における第２の会議出席者に対応する第２のエンドポイントからの第２のビデオ画像を処理する装置であって、
前記第１の会議出席者と前記第２の会議出席者との間の相互作用に応答して画面分割ビデオ会議のビデオ画像をデザインするよう構成された制御モジュールと、
前記制御モジュールによってデザインされた前記画面分割ビデオ会議のビデオ画像を作成するよう構成された第１の映像モジュールと、
を備える装置。
【請求項３５】
前記第１の会議出席者と前記第２の会議出席者との間の前記相互作用を検出し、前記相互作用を前記制御モジュールに通知するよう構成された相互作用デコーダ、を更に備える請求項３４の装置。
【請求項３６】
前記相互作用デコーダは、前記第１のビデオ画像内の関心領域の相対位置を特定するよう構成された映像相互作用デコーダである、請求項３４の装置。
【請求項３７】
前記相互作用デコーダは、前記第１の会議出席者に対応する第１の音声エネルギーおよび前記第２の会議出席者に対応する第２の音声エネルギーを分析するよう構成された音声相互作用デコーダである、請求項３４の装置。
【請求項３８】
前記相互作用デコーダは、前記第１の会議出席者が支配的な会議出席者であることを検出するよう構成されている、請求項３４の装置。
【請求項３９】
前記装置は、マルチポイント制御ユニットである、請求項３４の装置。
【請求項４０】
前記第１の映像モジュールは、前記第１のエンドポイントに関連付けられる、請求項３４の装置。
【請求項４１】
前記制御モジュールに反応する前記第１のビデオ画像を操作するよう構成されたエディタモジュールを更に備える、請求項３４の装置。
【請求項４２】
前記エディタモジュールは、前記制御モジュールに反応する前記第１のビデオ画像を鏡像化するよう構成されている、請求項４１の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【公開番号】特開２０１１−２１７３７４（Ｐ２０１１−２１７３７４Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１１−７６６０５（Ｐ２０１１−７６６０５）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（５０９２７００９６）ポリコム，インク． (18)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（５０９２７００９６）ポリコム，インク． (18)
【Ｆターム（参考）】
[ Back to top ]