合成映像配信装置ならびにその方法およびプログラム
【課題】テレビ会議を行うネットワーク上の無駄なトラフィックを軽減する。
【解決手段】本発明は、第１〜第Ｎの端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信する映像受信部と、第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを得る復号手段と、第１〜第Ｎの復号化映像データを合成して、第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを得る映像合成手段と、第１〜第Ｎの端末により第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータのうち、端末Ａと異なる他の端末のうちのいずれか１つにより用いられる符号化パラメータを選択する符号化パラメータ選択手段と、選択された符号化パラメータによって合成映像データを符号化して符号化合成映像データを得る符号化手段と、符号化合成映像データを端末Ａに送信する映像送信手段と、を備える。
【解決手段】本発明は、第１〜第Ｎの端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信する映像受信部と、第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを得る復号手段と、第１〜第Ｎの復号化映像データを合成して、第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを得る映像合成手段と、第１〜第Ｎの端末により第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータのうち、端末Ａと異なる他の端末のうちのいずれか１つにより用いられる符号化パラメータを選択する符号化パラメータ選択手段と、選択された符号化パラメータによって合成映像データを符号化して符号化合成映像データを得る符号化手段と、符号化合成映像データを端末Ａに送信する映像送信手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえばテレビ会議を行う複数の端末から送られる映像から端末毎に合成映像を生成し、各生成した合成映像を当該複数の端末に配信する合成映像配信装置、合成映像配信方法、および合成映像配信プログラムに関する。
【背景技術】
【０００２】
通信技術の進歩により、安価で広帯域なネットワーク基盤が普及してきている。ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線やＦＴＴＨ（Fiber To The Home）回線等の通信サービスが整備され、企業のみならず一般家庭においても容易に広帯域のネットワーク環境を構築することが可能になっている。
【０００３】
広帯域なネットワークを利用することで、音声だけでなく、データ量の多い映像を伴うコミュニケーションサービスの提供も可能となる。このようなサービスを提供する一例として、テレビ会議システムがある。多地点テレビ会議システムでは、二者間だけでなく、複数の拠点間をネットワーク接続することで複数のメンバ間のコミュニケーションを可能にする。
【０００４】
三者以上の多地点テレビ会議システムを構築する際、各会議端末同士が映像をお互いに交換する方法と、多地点制御装置（ＭＣＵ：Multipoint Control Unit）を利用する方法とがある。後者の方法では、MCUが各会議端末から映像を受信し、それらの映像に例えば、拡大・縮小・切り出し等の処理を行い一つの映像に合成（ミキシング）した後、各会議端末に配信する。各会議端末は一台のＭＣＵと映像を送受信するだけでよいため、前者の方法に比べて、各会議端末における映像送受信のための処理負荷を低減できる。
【０００５】
ＭＣＵが配信する映像合成には、さまざまなレイアウト（画面分割）が存在する。例えば、４分割画面や９分割画面、また、重ね合わせを利用したピクチャーインピクチャー画面等があり、これらのレイアウトは会議端末側から変更することも可能である。
【０００６】
ネットワークを介して映像を送受信する際、データ量を削減するため、映像を圧縮した映像データとして送信することが現在一般的である。各会議端末とMCUは、映像の送受信に先立ち、通信セッションを生成するが、通信セッションのプロトコルとして、例えば、SIP（Session Initiate Protocol）を利用する場合は、RFC2327にて規定されているSDP(Session Description Protocol)を利用して、圧縮に関する情報として、符号化方式や符号化パラメータ等を交換する。MCUが各会議端末と独立した通信セッションを構築する場合、MCU側が夫々の会議端末側の都合に合わせて、会議端末毎に異なる符号化方式および符号化パラメータで符号化された映像を受信し、また、会議端末毎に異なる符号化方式および符号化パラメータで符号化した合成映像を送信することも可能である。
【特許文献１】特開２００６−２０１７０９号公報
【特許文献２】特開２００６−２２２９４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
MCUが各会議端末の能力等にあわせることで、会議端末毎に異なる符号化パラメータにより符号化（圧縮）した映像データを受信すること、また、会議端末毎に異なる符号化パラメータにより符号化（圧縮）した合成映像データを送信することが可能である。
【０００８】
MCUと各会議端末との間は個別に符号化パラメータが設定されるため、MCUにて合成される合成映像には異なる符号化パラメータにて符号化された映像データが含まれる。ここで三者会議を想定、また符号化パラメータのひとつとしてフレームレートに着目する。例えば、MCUはAさんからの映像データを30フレーム／秒（fps）で受信し、Aさんへは合成映像データを30fpsで送信するように設定されたとする。また、MCUは、Bさんからの映像データを10fps、Cさんからの映像データを5fpsで受信するように設定されたとする。Aさんとの間は30fpsと設定されているため合成映像を30fpsで符号化してAさんに送信するものの、例えばAさんに送信している合成映像にBさん・Cさんしか含まれていなかった場合、30fpsで送信すると無駄にフレームレートの高い映像を送信することになる。仮に、MCUとAさんとの送受信のフレームレートが非対称に設定されていたとし、MCUはAさんからの映像データを30fpsで受信、Aさんへは合成映像データを25fpsで送信するように設定されていたとしても、この例の場合は同様に無駄にフレームレートの高い映像を送信することになる。
【０００９】
また、三者会議を想定、符号化パラメータのひとつとしてビットレートに着目する。例えば、MCUはAさんからの映像データを1.5Mビット／秒（bps）で受信し、Aさんへは合成映像データを1.5Mbpsで送信するように設定されたとする。また、MCUは、Bさんからの映像データを128kbps、Cさんからの映像データを768kbpsで受信するように設定されたとする。Aさんとの間は1.5Mbpsと設定されているため合成映像を1.5Mbpsで符号化してAさんに送信するものの、例えばAさんに送信している合成映像にBさん・Cさんしか含まれていなかった場合、1.5Mbpsで送信すると無駄にビットレートの高い映像を送信することになる。
【００１０】
本発明は、テレビ会議を行うネットワーク上の無駄なトラフィックを軽減可能とした合成映像配信装置、合成映像配信方法、および合成映像配信プログラムを提供する。
【課題を解決するための手段】
【００１１】
本発明の一態様としての合成映像配信装置は、
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信する映像受信部と、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを得る復号手段と、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを得る映像合成手段と、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した符号化パラメータ記憶手段と、
前記端末Ａと異なる他の端末のうちのいずれか１つにより用いられる前記符号化パラメータを選択する符号化パラメータ選択手段と、
前記端末Ａに対して選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを得る符号化手段と、
前記符号化合成映像データを、前記端末Ａに送信する映像送信手段と、
を備える。
【００１２】
本発明の一態様としての合成映像配信方法は、
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信し、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを生成し、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを生成し、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した記憶手段から、前記端末Ａと異なる他の端末のうちいずれか１つにより用いられる前記符号化パラメータを選択し、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成し、
前記符号化合成映像データを、前記端末Ａに送信する、
ことを特徴とする。
【００１３】
本発明の一態様としての合成映像配信プログラムは、
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信するステップと、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを生成するステップと、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを生成するステップと、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した記憶手段から、前記端末Ａと異なる他の端末のうちいずれか１つにより用いられる前記符号化パラメータを選択するステップと、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成するステップと、
前記符号化合成映像データを、前記端末Ａに送信するステップと、
をコンピュータに実行させる。
【発明の効果】
【００１４】
本発明により、テレビ会議を行うネットワーク上の無駄なトラフィックを軽減することが可能となる。
【発明を実施するための最良の形態】
【００１５】
（第１実施形態）
まず本実施形態の概要について説明する。
【００１６】
本実施形態は、合成映像に含まれる各映像のレイアウトを示すレイアウト情報と各映像データのフレームレートとに基づいて合成映像の符号化時のフレームレートを決定し、該フレームレートで合成映像データを符号化した符号化合成映像データを送信することを特徴とする。
【００１７】
具体的には、合成映像に含まれる映像のうち、ユーザが最も着目する映像（支配的な映像）のフレームレートにあわせて合成映像の符号化を行う。支配的な映像とは、合成映像において最もユーザの注目を集める映像のことである。本実施形態では、支配的な映像は、合成映像のレイアウトにおいて最も占める面積が大きい映像である。
【００１８】
例えば、多地点テレビ会議システム（ＭＣＵ：Multipoint Control Unit）はAさんからの映像データを30fps、Bさんからの映像データを10fps、Cさんからの映像データを5fpsで受信するように設定されたとする。Aさんへ送信する合成映像のレイアウトにおいて、Bさんの映像が占める面積が一番大きければ、Aさんへは合成映像を10fpsで送信する。
【００１９】
このようにして合成映像のレイアウトに応じてフレームレートを制御することで、冗長な映像データを送信することを防ぎ、ネットワーク上の無駄なトラフィックを軽減する。
【００２０】
以下、図面を参照して本発明の第１実施形態について詳細に説明する。
【００２１】
図１に本発明に係わる多地点テレビ会議システムの構成例を示す。図１の構成例では、４つの会議端末A、B、C、Dと、本発明の一実施形態としての、多地点制御装置（ＭＣＵ：Multipoint Control Unit）１とがそれぞれネットワーク接続されている。MCU１は、４つの会議端末A、B、C、Dから送られる映像から会議端末毎に合成映像を生成し、各合成映像を会議端末A、B、C、Dに配信する機能を備えている。
【００２２】
まず、本発明の合成映像配信装置として動作するMCU１の通信相手である会議端末について説明する。
【００２３】
各会議端末A〜Dはそれぞれ、図示はしないが、入力映像を取り込むためのカメラデバイスを備える。また、各会議端末A〜Dはそれぞれ、図示しないが、合成映像を表示するための表示デバイスを備え、合成映像を表示する表示端末として機能する。各会議端末はカメラデバイスで取り込んだ映像をMCU1へ送信する。各会議端末はMCU１から送信された合成映像を受信すると、それを表示デバイスに表示する。例えば、会議端末は、ノートブックタイプのポータブルパーソナルコンピュータ（ノートPC）で実現される。ノートPCはディスプレイを備えており、本体にカメラ機能を内蔵していない場合でも、USB接続端子があり、そこにカメラデバイスを接続することができる。また、LANケーブルを接続するネットワーク通信用のインターフェースを備える。
【００２４】
会議端末として動作するノートPCでは、プロセッサ（CPU）が、ハードディスクから主メモリにロードされたオペレーティングシステム（ＯＳ）および各種アプリケーションプログラムを実行する。会議端末として動作している場合は、(1)ネットワークインターフェースを利用して映像データの送受信を制御する送受信プログラム、(2)カメラデバイスを制御して映像の取得処理を行う映像取得プログラム、(3)映像取得プログラムが取得した映像データをMPEG4などの形式に圧縮符号化する処理を実行する映像圧縮プログラム、(4)圧縮された映像データをネットワークインターフェースからネットワーク２へ送信する送信プログラム、(5)ネットワーク２からネットワークインターフェースを介して圧縮された合成映像データを受信する受信プログラム、(6)MPEG4などの形式に圧縮された合成映像データの伸長処理を実行する映像伸長プログラム、(7)映像伸長プログラムが伸長した映像をディスプレイに表示する表示制御プログラムが動作している。
【００２５】
また、会議端末として動作する場合、アプリケーションプログラムとして、(8)MCUや他の会議端末と通信セッションを構築、維持、削除するセッションプロトコルを制御する通信セッションプログラムが動作している。セッションプロトコルに従ったパケットは、映像データと同様に、ネットワークインターフェースを介して送受信される。通信セッションプログラムが映像通信を開始可能と判断すると(1)〜(7)のプログラムが動作し、通信セッションプログラムが映像通信を終了可能と判断すると(1)〜(7)のプログラムが停止する。また、本実施形態では、会議端末は合成映像のレイアウトを変更する機能を備えており、会議端末のユーザがレイアウトの変更を指示できるユーザ画面をディスプレイに表示し、変更した情報を、ネットワーク２を介してMCU１に送信する機能を備えているものとする。このレイアウトを変更する機能を実現するアプリケーションプログラムとして、(9)レイアウトを変更するための画面を表示し変更情報の通知を行うプログラムも動作している。
【００２６】
なお、会議端末の内部構成は本発明の主とするところではなく、上記は一例に過ぎない。会議端末としてノートPCといった汎用機器ではなく、会議専用装置であっても良い。また、テレビ会議システムの場合、音声通信、音声合成といった機能も必要であるが、本発明は映像処理に関するものであるため、音声についての説明は一切省略する。
【００２７】
次に、本発明の合成映像配信装置として動作するMCU１について説明する。
【００２８】
図２はMCU１の内部構成を示している。MCU１は、パケット送受信部（映像受信手段、映像送信手段、レイアウト変更命令受信手段）１０、映像伸長部（復号手段）４１〜４４、映像合成部２０、映像圧縮部（符号化手段）５１〜５４、レイアウト情報の更新を含む処理を行う制御部３０、符号化パラメータ記憶部６１、レイアウト情報記憶部６２、符号化パラメータ決定部（符号化パラメータ選択手段）７０を構成要素として備える。
【００２９】
パケット送受信部１０は、通信プロトコルRTP（Real-time Transport Protocol ）に従い、ネットワーク２からMPEG４形式に圧縮符号化された映像データを受信し、映像データを映像伸長部４０へ出力する機能を備える。パケット送受信部１０は複数の会議端末が送信する映像データを受信することも可能であり、その場合、会議端末ごとの映像データを分離して処理することができる。本実施形態では、４台の会議端末A〜Dと同時に通信を行っているため、４種類の映像データを受信するが、それらを分離した後、対応する映像伸長部４１〜４４へ出力する。
【００３０】
映像伸長部４１〜４４は、MPEG4などの形式に圧縮符号化された受信映像データが入力されると、伸長復号化し非圧縮の映像を生成する。映像伸長部４１〜４４が生成した非圧縮の映像は、映像合成部２０に出力される。映像データの伸長処理を実行する際に必要となる情報は、映像データごと、すなわち、映像伸長部４１〜４４ごとに異なるものとするが、それらの情報は符号化パラメータ記憶部６１に記憶されており、制御部３０を介して、映像伸長部４１〜４４に与えられる。
【００３１】
映像合成部２０は、４種類の非圧縮映像が映像伸長部４１〜４４から入力され、それら４種類の映像を用いて合成映像を生成する。本実施形態では、映像合成部２０は４種類の異なる合成映像を生成できるものとする。４種類の合成映像を生成する際に必要となる合成映像のレイアウト情報は、レイアウト情報記憶部６２に会議端末毎に記憶されており、制御部３０を介して、映像合成部２０に与えられる。なお、合成映像も非圧縮映像である。
【００３２】
映像圧縮部５１〜５４は、映像合成部２０から入力された非圧縮の合成映像をMPEG4などの形式に圧縮符号化した合成映像データを生成する。映像圧縮部５１〜５４が生成した圧縮された合成映像データは、パケット送受信部１０に出力される。合成映像の圧縮処理を実行する際に必要となる情報は、合成映像ごと、すなわち、映像圧縮部５１〜５４ごとに異なるものとするが、それらの情報は符号化パラメータ記憶部６１に記憶されており、制御部３０を介して、映像圧縮部５１〜５４に与えられる。
【００３３】
パケット送受信部１０は、映像圧縮部５１〜５４から合成映像データが入力されると、通信プロトコルRTP（Real-time Transport Protocol ）に従いこれらの合成映像データをネットワーク２へ送信する。パケット送受信部１０は複数の会議端末へ合成映像データを送信することも可能であり、本実施形態では、映像圧縮部５１〜５４から入力された合成映像データを、対応する４台の会議端末A〜Dへ送信する。
【００３４】
制御部３０は、映像伸長部４１〜４４と映像圧縮部５１〜５４とを起動、停止する機能を備え、また、映像伸長部４１〜４４のそれぞれに対し個別に伸長処理を行うためのパラメータを与え、映像圧縮部５１〜５４のそれぞれに対し個別に圧縮処理を行うためのパラメータを与える。また、制御部３０は、映像合成部２０に対し、４種類の合成映像を生成する際に必要となる合成映像のレイアウト情報を与える。また、制御部３０は、パケット送受信部１０に対し、会議端末A〜Dから受信した映像データをいずれの映像伸長部（４１〜４４）に入力するか、および、映像圧縮部５１〜５４から入力された映像データをいずれの会議端末（A〜D）に送信するかの対応情報を与える。
【００３５】
なお、本実施形態では、会議端末AとMCU１内の映像伸長部４１および映像圧縮部５１とが対応し、会議端末BとMCU１内の映像伸長部４２および映像圧縮部５２とが対応し、会議端末CとMCU１内の映像伸長部４３および映像圧縮部５３とが対応し、会議端末DとMCU１内の映像伸長部４４および映像圧縮部５４とが対応している。
【００３６】
更に、MCU１の制御部３０は各会議端末と通信セッションを構築し、構築した通信セッションにて、映像を受信するのに必要な情報を交換する機能を備える。図３にSIP（Session Initiate Protocol）を用いた場合のセッション生成シーケンスの一例、また、図４にSIPを用いた場合のセッション終了シーケンスの一例を示す。なお、図３、図４のシーケンスはSIPの概要を示したものであり、例えば、Inviteを送信したMCU１が200 OK受信後に送信するACK信号の記述を省略している。MCU１の制御部３０は、パケット送受信部１０を介して、セッション生成シーケンスやセッション終了シーケンスに示す制御データを会議端末A〜Dと送受信する。
【００３７】
図３のシーケンスを説明する。まず、会議端末Aから、会議構築をSIPのNotify信号によって要求されると（S１５０）、MCU１の制御部３０は要求を受信したことを通知する目的で応答を返す（S１５１）。
【００３８】
制御部３０は、会議端末Aが要求した会議が構築可能か否か判断する（S１５２）。可能か否かの判断は、要求された会議の参加者数と、MCU１内で利用できる映像伸長部および映像圧縮部の数（空き会議リソースの数）とで判断する。
【００３９】
図３では、会議構築要求が、会議端末A,B,C,Dの４台での会議構築する要求であるため、映像伸長部４１〜４４と映像圧縮部５１〜５４が未使用であれば、会議可能と判断する。一方、先に３台での会議構築が要求されており、例えば、映像伸長部４１，４２，４３、および、映像圧縮部５１，５２，５３が利用されているとすると、会議不可と判断する。
【００４０】
制御部３０は、会議構築が可能な場合は、空き会議リソースの数を減らした後に、可能であることを示す会議開始要求結果をNotifyで会議端末Aに通知し（S１５３）、不可能の場合は、不可能であることを同様にNotifyで会議端末Aに通知する。
【００４１】
制御部３０は会議開始要求結果に対する応答を会議端末Aから受信すると（S１５４）、合成映像を生成するためのレイアウト情報を決定する（S１５５）。例えば、４者会議の場合は、デフォルト値として画面が４分割されたレイアウトを用いるが、別のレイアウトであっても良い。なお、４分割されたレイアウトの場合、会議端末それぞれに送信する合成映像において、左上、右上、左下、右下に配置する４者の映像の並びは同一とするが、会議端末ごとに４者の映像の並びが異なっていても良い。このレイアウト情報は、レイアウト情報記憶部６２に記憶される。
【００４２】
レイアウト情報決定の後、制御部３０は、会議端末A、B、C、Dと通信セッションを構築する。図３では、まず会議端末Aにセッション生成命令のInvite信号を送信している（S１６０）。このInvite信号には、MCU１側が圧縮や伸長処理が可能な映像の符号化パラメータとして、圧縮方式（MPEG4等）、画像サイズ（横６４０ピクセル×縦４８０ピクセル等）、フレームレート（３０フレーム／秒等）、ビットレート（１．５Mbps等）の情報が付加されている。
【００４３】
制御部３０はセッション生成命令に対する応答を会議端末Aから受信すると（S１６１）、その応答に含まれる、会議端末A側が圧縮や伸長処理が可能な映像の符号化パラメータである、圧縮方式、画像サイズ、フレームレート、ビットレートの情報を検出する。
【００４４】
制御部３０は、MCU１側と会議端末A側の符号化パラメータを比較し、会議端末Aへ送信する映像データの符号化パラメータ、および、会議端末Aから受信する映像データの符号化パラメータを決定する（S１６３）。
【００４５】
一方、同様に会議端末A側でも、MCU１側と会議端末A側の符号化パラメータを比較し、MCU1へ送信する映像データの符号化パラメータ、および、MCU1から受信する映像データの符号化パラメータを設定する（S１６２）。
【００４６】
本実施形態では、符号化パラメータ設定の際、MCU1と会議端末Aは、それぞれが通知した符号化パラメータで能力の低い方にあわせて設定するとする。例えば、MCU1がビットレート１．５Mbpsを通知し、会議端末Aがビットレート７６８kbpsを通知した場合には、低い値にあわせ、共にビットレート７６８kbpsで送受信する。
【００４７】
MCU1と会議端末A間で設定した符号化パラメータに関する情報は、符号化パラメータ記憶部６１にMCU1と会議端末A間の情報として記憶される。その後、制御部３０は、MCU1内の各構成要素に対し、MCU1と会議端末A間で、設定した符号化パラメータに従った映像データの送受信開始を命令し、映像の送受信が行われる（S１６４）。
【００４８】
MCU1と会議端末Aの処理と同様に、会議端末Bとの間（S１７０〜S１７４）、会議端末Cとの間（S１８０〜S１８４）、会議端末Dとの間（S１９０〜S１９４）でも、通信セッションが構築され、映像の送受信が開始される。
【００４９】
図４のシーケンスを説明する。MCU1が会議端末A、B、C、Dと映像を送受信している状態（S２００、S２０１、S２０２、S２０３）で、会議端末Aから会議終了をSIPのNotify信号によって要求されると（S２１０）、MCU１の制御部３０は要求を受信したことを通知する目的で応答を返す（S２１１）。
【００５０】
その後、制御部３０は、会議端末A、B、C、Dと通信セッションを終了する。図４では、まず会議端末Aにセッション終了命令のBye信号を送信している（S２２０）。制御部３０はセッション終了命令に対する応答を会議端末Aから受信すると（S２２１）、セッション終了手順が成功したと判断し、会議端末Aへの映像データの送信と、会議端末Aから受信した映像データの処理を停止する（S２２３）。
【００５１】
会議端末A側でも、セッション終了命令に対する応答を送信後、セッション終了手順が成功したと判断し、MCU１への映像データの送信と、MCU１から受信した映像データの処理を停止する（S２２２）。
【００５２】
この結果、MCU１と会議端末Aとの通信セッションは終了し、映像の送受信も停止するため、制御部３０は、符号化パラメータ記憶部６１およびレイアウト情報記憶部６２に記憶していた会議端末Aとの通信に必要であった情報を削除する。
【００５３】
MCU1と会議端末A間と同様に、MCU1と会議端末B間（S２３０〜S２３３）、MCU1と会議端末C間（S２４０〜S２４３）、MCU1と会議端末D間（S２５０〜S２５３）でも、通信セッションが終了され、映像の送受信が停止し、また、符号化パラメータ記憶部６１およびレイアウト情報記憶部６２に記憶していた情報が削除される。この後、制御部３０は、会議端末A〜Dとの会議で使用していた会議リソース（映像伸張部４１〜４４、映像圧縮部５１〜５４）を開放する（Ｓ２６０）。
【００５４】
図５はレイアウト変更命令処理のシーケンスを示す。MCU1が会議端末A、B、C、Dと映像を送受信している状態（S２００−１、S２０１−１、S２０２−１、S２０３−１）で、会議端末Aからレイアウト変更をSIPのNotify信号によって要求されると（S３１０）、MCU１の制御部３０は要求を受信したことを通知する目的で応答を返す（S３１１）。
【００５５】
制御部３０は、レイアウト情報記憶部６２に記憶されている会議端末A用の合成映像のレイアウト情報を、要求されたレイアウト情報に変更する（S３１２）。
【００５６】
この結果、映像合成部２０で生成される会議端末A向けの合成映像の画面レイアウトが変更され、レイアウトが変更された合成映像が会議端末Aに送信される（S２００−２）。
【００５７】
また、会議端末Bからレイアウト変更をSIPのNotify信号によって要求されると（S３２０）、MCU１の制御部３０は要求を受信したことを通知する目的で応答を返す（S３２１）。
【００５８】
制御部３０は、レイアウト情報記憶部６２に記憶されている会議端末B用の合成映像のレイアウト情報を、要求されたレイアウト情報に変更する（S３２２）。
【００５９】
この結果、映像合成部２０で生成される会議端末B向けの合成映像の画面レイアウトが変更され、レイアウトが変更された合成映像が会議端末Bに送信される（S２０１−２）。
【００６０】
次に、本発明の特徴である図２に示した符号化パラメータ決定部７０について説明する。
【００６１】
制御部３０は、通信セッションが構築され会議状態になると、会議情報を符号化パラメータ決定部７０へ通知する。例えば、図３の手順により４者会議を構築した場合には、会議情報として、「会議端末A、B、C、Dと会議を構築している」という情報と、それぞれの会議端末と、映像伸長部４１〜４４および映像圧縮部５１〜５４との対応情報を通知する。
【００６２】
符号化パラメータ決定部７０は、会議情報が通知されると、符号化パラメータ記憶部６１に記憶された情報を参照し、図６に示すような各会議端末との間で適用するフレームレート情報の表を作成する。
【００６３】
図６において、映像データ番号１、２、３、４は、それぞれ会議端末A、B、C、Dに対応し、会議端末Aから受信する映像のフレームレートおよび会議端末Aに送信する合成映像のデフォルトフレームレートが３０ｆｐｓ、会議端末Bから受信する映像のフレームレートおよび会議端末Bに送信する合成映像のデフォルトフレームレートが２０ｆｐｓ、会議端末Cから受信する映像のフレームレートおよび会議端末Cに送信する合成映像のデフォルトフレームレートが２０ｆｐｓ、会議端末Dから受信する映像のフレームレートおよび会議端末Dに送信する合成映像のデフォルトフレームレートが１０ｆｐｓであることを示している。ここでは各会議端末から受信する映像のフレームレートと、各会議端末へ送信する合成映像のデフォルトフレームレートとをまとめて示したが、これらの情報はそれぞれ別個の表として記憶されてもよい。
【００６４】
MCU１と会議端末A間で構築した通信セッションにおいて、MCU１と会議端末A間で送信および受信する映像データの圧縮方式がMPEG4、画像サイズが横６４０ピクセルで縦４８０ピクセル、フレームレートが３０ｆｐｓ、ビットレートが１．５Mbpsに設定されたとする。会議端末Aへ送信する合成映像のレイアウトのデフォルトが、４分割であり、各会議端末から送られてきた映像が図７に示すように合成映像内で配置されたとする。この場合、レイアウト情報記憶部６２に記憶されている会議端末A用の合成映像のレイアウト情報を図８に示す。
【００６５】
図８の「入力映像」は会議端末から送られてくる映像の識別情報であり、「使用の有無」は各映像を合成映像生成時に利用するか否かを示す情報であり、「縮小率」は合成映像生成時に各映像を利用する場合に合成映像に対する大きさの割合を示す情報であり、「配置情報」は各映像を配置する位置を示す座標情報（X座標、Y座標）と、各映像を配置する階層を示す情報とを含む。
【００６６】
横６４０ピクセルおよび縦４８０ピクセル、フレームレート３０ｆｐｓ、ビットレート１．５Mbpsで、デフォルトのレイアウトの合成映像を会議端末Aに送信している状態で、会議端末Aから、レイアウトの変更命令を制御部３０が受信するとする。レイアウト変更命令を受信した制御部３０は、レイアウト情報記憶部６２に記憶されている会議端末A用の合成映像のレイアウト情報を、変更命令に対応したレイアウト情報に書き換える（更新する）。例えば、図９に示すレイアウトへの変更命令を受信すると、制御部３０はレイアウト情報記憶部６２に記憶されている会議端末A用の合成映像のレイアウト情報（図８参照）を、図１０に示す情報に書き換える。
【００６７】
制御部３０はレイアウト情報記憶部６２に記憶されているレイアウト情報を書き換えた後、変更対象となったレイアウト情報を符号化パラメータ決定部７０に通知する。レイアウト情報の変更が通知されると、符号化パラメータ決定部７０は変更となったレイアウト情報を解析する。例えば、会議端末Aへの合成映像のレイアウトが、図８から図１０に変更になった場合、符号化パラメータ決定部７０は、図１０のレイアウト情報を解析する。
【００６８】
解析処理として、(1)合成映像において面積的に支配的な入力映像を検出し、(2)検出した支配的な入力映像のフレームレートを検出する。図１０のレイアウト情報の場合、支配的な入力映像の番号は４番であり、図６から４番の映像はフレームレートが１０ｆｐｓで会議端末DからMCU１に送信されていることがわかる。支配的な入力映像は、レイアウト情報の変更を通知した会議端末からの入力映像を除いた他の会議端末の入力映像の中から検出するようにしてもよい。
【００６９】
符号化パラメータ決定部７０は、上記解析処理の後、会議端末に送信する合成映像の符号化パラメータ（ここではフレームレート）の変更を行うか否かの判定を行う。合成映像の現在のフレームレート（最初は、通信セッション構築時に設定した合成映像のデフォルトフレームレート）と、レイアウト変更後の支配的な映像のフレームレートとが異なる場合は、会議端末に送信する合成映像のフレームレートを変更することを決定する。
【００７０】
具体的には、レイアウト変更後の支配的な映像のフレームレートが上記通信セッション構築時に設定したデフォルトフレームレート以下の場合、合成映像のフレームレートを、当該支配的な映像のフレームレートに変更することを決定する。また、当該支配的な映像のフレームレートが上記デフォルトフレームレートより高い場合、この高いフレームレートに会議端末が対応不能である可能性を考慮して、当該会議端末に送信する合成映像のフレームレートを、上記デフォルトフレームレートに変更することを決定する。ただし、会議端末がこの高いフレームレートに対応可能である場合は、当該会議端末に送信する合成映像のフレームレートをこの高いフレームレートに変更してもよい。
【００７１】
本例では、会議端末Aの現在のフレームレート（デフォルトフレームレート）が３０ｆｐｓ、支配的な映像（４番）のフレームレートが１０ｆｐｓであるため、符号化パラメータ決定部７０は、合成映像のフレームレート（３０ｆｐｓ）を、支配的な映像のフレームレート（１０ｆｐｓ）に変更することを決定する。そして、符号化パラメータ決定部７０は、会議端末Aに送信する合成映像のフレームレートを低い値（１０ｆｐｓ）に設定して送信するように、制御部３０を介して会議端末Aに対応する映像圧縮部５１に符号化パラメータ変更強制命令を通知する。
【００７２】
映像圧縮部５１〜５４は、符号化パラメータ変更強制命令を受けると、通常は、符号化パラメータ記憶部６１に記憶されている情報を用いて圧縮された映像データを生成するところを、符号化パラメータ変更強制命令で通知された情報を利用して圧縮データを生成する。上記の会議端末Aの例の場合、映像圧縮部５１は、通常は３０ｆｐｓのところを、１０ｆｐｓとした圧縮映像データを生成する。フレームレートを落とせば、ビットレートも低下し（ただし１フレーム当たりのビット数は変わらないとする）、余分なネットワーク負荷を低減することができる。この際、ユーザの着目する支配的な映像のフレームレートは維持されているため、合成映像のフレームレートを低下させても、支配的な映像の品質は維持される。なお、フレームレートを落としたにも関わらず、ビットレートを一定に保つ場合には、映像の圧縮率が低くなるため、映像品質の向上効果が期待できる。
【００７３】
なお、上述したように会議端末が合成映像のデフォルトフレームレートよりも高いフレームレートに対応可能であり、合成映像のフレームレートをこの高いフレームレームに変更する場合は、デフォルトフレームレートの場合よりも、ネットワーク負荷は増大する。しかしながら、ユーザがこの高いフレームレートで送信される映像に着目していることから、この場合におけるネットワーク負荷の増大は無駄ではないといえる。
【００７４】
図１１は、会議開始後におけるMCU１の動作シーケンスを概略的に示すフローチャートである。
【００７５】
MCU１は、ネットワーク２を介して会議端末からデータを受信すると（Ｓ１）、受信データが会議終了通知（図４のＳ２１０参照）を含むか否かを判断し（Ｓ２）、会議終了通知を含むときは、図４に示したようなシーケンスにしたがって、会議を終了する（Ｓ３０）。
【００７６】
受信データが会議終了通知を含まないときは、受信データが映像データであるか否かを判断し（Ｓ３）、映像データであるときは、映像データを伸張し（Ｓ４）、伸張した映像データを、他の会議端末の伸張した映像データと合成して合成映像データを生成し、合成映像データを圧縮し（Ｓ６）、圧縮合成映像データを送信する（Ｓ７）。この後、ステップＳ１に戻る。
【００７７】
受信データが映像データでないときは、受信データがレイアウトデータ（レイアウト変更命令）であるか否かを判断し（Ｓ２０）、レイアウトデータでないときはデータの種類に応じた処理を行ってＳ１に戻る。
【００７８】
一方、受信データがレイアウトデータであるときは、レイアウト情報記憶部６２内のレイアウト情報を更新し（Ｓ２１）、次いで、レイアウト情報において支配的な入力映像を特定し、特定した支配的な入力映像のフレームレートと、現在のフレームレートとが異なるときは、上記会議端末に送信する合成映像のフレームレートを変更することを決定する（Ｓ２２）。一方、これらが一致するときは合成映像のフレームレートを変更しないことを決定し（Ｓ２２）、ステップＳ１に戻る。合成映像のフレームレートの変更が決定され、かつ、特定した支配的な入力映像のフレームレートが、合成映像のデフォルトフレームレート以下の場合は、合成映像のフレームレートを、特定した支配的な入力映像のフレームレートに変更する（Ｓ２３）。逆に、特定した支配的な入力映像のフレームレートが、合成映像のデフォルトフレームレートよりも高い場合は、合成映像のフレームレートを、合成映像のデフォルトフレームレートに変更する（Ｓ２３）。ただし、上述したように、会議端末がこの高いフレームレートに対応可能である場合は、合成映像のフレームレートをこの高いフレームレートに変更してもよい。
【００７９】
図１２にMCU１のシステム構成例を示す。MCU１には、図示のようにCPU１００、SDRAM２００、バス、NIC（Network Interface Card）３００、映像圧縮伸長回路４０１〜４０４、映像合成回路５００が内蔵されている。
【００８０】
ＣＰＵ１００はMCU１の動作を制御するために設けられたプロセッサであり、メモリであるSDRAM２００内に格納されている各種アプリケーションプログラムを実行する。図２で示した映像合成部２０、映像伸長部４１〜４４、映像圧縮部５１〜５４は専用のハードウェアとして実現し、その他の構成要素はソフトウェアとして実現している。アプリケーションプログラムとして、例えば、(1)パケット送受信制御プログラム、(2)映像伸長制御プログラム、(3)映像合成制御プログラム、(4)映像圧縮制御プログラム、(5)通信セッション生成プログラム、(6)通信セッション終了プログラム、(7)レイアウト情報解析プログラム、(8)符号化パラメータ決定プログラムがCPU１００によって実行される。図１２で、CPU１００と他のハードウェアはバス接続されている。また、NIC３００はネットワーク２と通信する際のインターフェースとなる。
【００８１】
以上のように、本実施形態によれば、多地点制御装置（MCU）が会議端末へ合成映像を符号化（圧縮）して送信する際、圧縮時の符号化パラメータを合成映像のレイアウトに応じて制御することが可能となる。これにより、冗長な映像データを会議端末に送信することを防ぎ、ネットワーク上の無駄なトラフィックの軽減が可能となる。
【００８２】
上記実施形態では、会議端末へ送信する合成映像のレイアウト情報から支配的な入力映像を特定し、特定した映像のフレームレートへ、当該会議端末に送信する合成映像のフレームレートを変更する例を示したが、入力映像の特定は、ユーザ選択により行うようにしてもよい。すなわち、会議端末のユーザが、画面に表示される合成映像において映像を選択し、選択した映像をMCU１に通知し、MCU１は、通知された映像のフレームレートと、この会議端末に送信する合成映像のデフォルトフレームレートとに基づき、合成映像のフレームレートを変更する。
【００８３】
また上記実施形態では、符号化パラメータとして、合成映像のフレームレートを切り替える例を示したが、圧縮効率の違う２つの圧縮方式（たとえばH264とMPEG4の場合、H264の方がMPEG4より圧縮効率が高い）を切り替えるようにしてもよい。たとえば会議端末A〜DとMCU1との間でそれぞれ２つの圧縮方式のうちいずれかを用いているとする。会議端末Aへ送信する合成映像のレイアウトにおいて支配的な映像の圧縮方式が、会議端末Aが用いている圧縮方式よりも圧縮効率が高いときは、当該支配的な映像の圧縮方式へ、会議端末Aの圧縮方式を変更する。これによってもネットワーク上の無駄なトラフィックを軽減することが可能となる。
【００８４】
（第２実施形態）
以下、図面を参照して本発明の第２実施形態を説明する。
【００８５】
図１３は、本発明の第２実施形態に係るMCU１の内部構成を示す。第１実施形態との違いは、各会議端末から送信される映像のフレームレートを計測するフレームレート計測部８１と、計測した情報を記憶する計測フレームレート記憶部８２とを追加で備えていることである。
【００８６】
第１実施形態では、MCU１と各会議端末との間の符号化パラメータ（たとえばフレームレート）は、通信セッション構築時に通知される値（設定値）を利用するとしたが、会議端末の処理能力によっては、実際には、設定したフレームレートで送信できない場合がある。例えば、３０ｆｐｓというフレームレートを会議端末側で設定していたとしても、会議端末で別の機能が動作している場合のように会議端末の処理負荷が高くなると、３０ｆｐｓのフレームレートを実現できない場合がある。このように設定値の方が実際のフレームレートよりも高い場合に、合成映像のフレームレートを支配的な映像の設定値へ変更すると、ネットワークのトラフィックに大きな無駄が生じる。そこで、本実施形態では、フレームレート計測部８１により計測したフレームレートを、通信セッション構築時に設定したフレームレート（設定値）の代わりに使用して、フレームレートの変更可否の判定、ならびにフレームレートの変更を行う。以下、本実施形態の動作について詳細に説明する。
【００８７】
第１実施形態では、符号化パラメータ決定部７０は、会議情報が通知されると、符号化パラメータ記憶部６１に記憶された情報を参照し、図６に示すような各会議端末から受信する映像データのフレームレート情報の表を作成するとした。第２実施形態では、符号化パラメータ決定部７０は符号化パラメータ記憶部６１に記憶された情報とともに、フレームレート計測部８１により計測され計測フレームレート記憶部８２に記憶された計測情報を参照し、図１４に示すような表を作成する。図１４の表は、各会議端末から受信する映像データのフレームレートの設定値と計測値を含んでいる。また、符号化パラメータ決定部７０は、制御部３０を介して会議端末に対応する映像圧縮部５１〜５４に符号化パラメータ変更強制命令を通知する際には、設定値ではなく計測値を通知する。
【００８８】
例えば、会議端末Aへの合成映像のレイアウトが、図８から図１０に変更になった場合、符号化パラメータ決定部７０は、支配的な入力映像の番号は４番であり、図１４から４番の映像はフレームレートの設定値は１０ｆｐｓであるが、計測値は５ｆｐｓであり、実際には５ｆｐｓにより会議端末DからMCU１に送信されていることがわかる。レイアウト変更の結果、支配的な映像のフレームレートの計測値（５ｆｐｓ）の方がMCU１と会議端末Aとの間で通信セッション構築時に設定する送受信のフレームレート（３０ｆｐｓ）より低いため、符号化パラメータ決定部７０は会議端末Aに送信する合成映像のフレームレートを低い値（５ｆｐｓ）で送信するように、制御部３０を介して会議端末Aに対応する映像圧縮部５１に符号化パラメータ変更強制命令を通知する。
【００８９】
このように第２実施形態では、計測値を利用することで無駄なネットワーク負荷を更に低減することが可能となる。
【００９０】
（第３実施形態）
以下、図面を参照して本発明の第３実施形態を説明する。
【００９１】
第１実施形態では、符号化パラメータ決定部７０は、会議情報が通知されると、符号化パラメータ記憶部６１に記憶された情報を参照し、図６に示すような各会議端末から受信する映像データのフレームレート情報の表を作成するとした。第３実施形態では、フレームレートだけでなく、図１５に示すようにビットレート情報、解像度情報等の他の情報も、作成する表に含める。ビットレート情報について補足説明すると以下の通りである。
【００９２】
会議端末Aから受信する映像のビットレートおよび会議端末Aに送信する合成映像のデフォルトビットレートが１５００ｋｂｐｓ、会議端末Bから受信する映像のビットレートおよび会議端末Bに送信する合成映像のデフォルトビットレートが３８４ｋｂｐｓである。会議端末Cから受信する映像のビットレートおよび会議端末Cに送信する合成映像のデフォルトビットレートが７６８ｋｂｐｓである。会議端末Dから受信する映像のビットレートおよび会議端末Dに送信する合成映像のデフォルトビットレートが７６８ｋｂｐｓである。ここでは各会議端末から受信する映像のビットレートと、各会議端末へ送信する合成映像のデフォルトビットレートとをまとめて示したが、これらの情報はそれぞれ別個の表として記憶されてもよい。
【００９３】
本実施形態において、合成映像のレイアウトが変更された場合、第１実施形態と同様に符号化パラメータ決定部７０においてレイアウト情報を解析する。この際、解析処理として、(1)合成映像において面積的に支配的な入力映像を検出し、(2)検出した支配的な入力映像のビットレートを検出し、(3)検出した支配的な入力映像のビットレートを検出する。
【００９４】
会議端末Aのレイアウト変更の結果、たとえば現在のビットレート（最初は、通信セッション構築時に会議端末Aに設定するビットレート）が、支配的な映像のビットレートと異なるときは、会議端末Aに送信する合成映像のビットレートを、当該支配的な映像のビットレートで送信するように、会議端末Aに対応する映像圧縮部５１に符号化パラメータ変更強制命令を通知する。ただし、当該支配的な映像のビットレートが通信セッション構築時に会議端末Aに設定するデフォルトビットレートより高いときは、会議端末Aに送信する合成映像のビットレートをデフォルトビットレートに戻すように、会議端末Aに対応する映像圧縮部５１に符号化パラメータ変更強制命令を通知する。ただし、会議端末がこの高いビットレートに対応可能である場合は、合成映像のビットレートをこの高いビットレートに変更してもよい。
【００９５】
以上のように、本実施形態によれば、MCU１から会議端末へ送信する合成映像のビットレートを必要以上に高くして送信することを避けることができ、結果として、無駄なネットワーク負荷を低減することが可能となる。
【００９６】
（第４実施形態）
第１実施形態等では、会議端末Aへの合成映像のレイアウトが、図８から図１０に変更になった場合、符号化パラメータ決定部７０は、支配的な入力映像の番号を４番とするとした。これは符号化パラメータ決定部７０の解析処理として、(1)合成映像において面積的に支配的な入力映像を検出し、(2)検出した支配的な入力映像のフレームレートを検出する、としたからである。
【００９７】
しかし、支配的な入力映像は必ずしも面積情報を利用して判断しなくても良い。別の情報としてレイヤ情報を利用しても良い。例えば、図１０の場合、合成映像の一番最前面にくる映像はレイヤが「３」に対応する入力映像であり、この場合、支配的な入力映像の番号を３番としても良い。この場合、会議端末Aに送信する合成映像のフレームレートを２０ｆｐｓに設定して送信するように、制御部３０を介して会議端末Aに対応する映像圧縮部５１に符号化パラメータ変更強制命令を通知することになる。更に、別の例として、会議端末Aへの合成映像のレイアウトが、図８から図１７に変更になったとする。この場合の画面のレイアウトは図１６に示すものとなっており、レイヤが「３」に対応する入力映像である２番の映像が支配的であると判断する。
【００９８】
支配的な入力映像を判断する際に、面積とレイヤの２つの情報を利用して判断しても良い。例えば、上に重なりのない入力映像のうち、一番面積が大きいものを支配的な入力映像と判断する方法も考えられる。
【００９９】
以上に説明した各実施形態では、MCU１と通信する会議端末が４台である多地点テレビ会議システムの構成例を示したが、会議端末の台数は４つに限らず、２つ以上であれば適用できる。また、１台の会議端末が、映像を送信し、合成映像を受信し、さらにレイアウト情報を送信するとして説明したが、映像を送信する会議端末、合成映像を受信する会議端末、レイアウト情報を送信する会議端末の３台が別々であっても本発明を適用することができる。
【０１００】
本発明は上記実施形態をそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１０１】
【図１】本発明の第１実施形態に係るテレビ会議システムのシステム構成図。
【図２】本発明の第１実施形態に係るMCUの内部構成を示す図。
【図３】本発明の第１実施形態に係るMCUと会議端末間の通信セッション生成シーケンスを示す図。
【図４】本発明の第１実施形態に係るMCUと会議端末間の通信セッション終了シーケンスを示す図。
【図５】本発明の第１実施形態に係るMCUと会議端末でレイアウト変更を行う場合のシーケンスを示す図。
【図６】本発明の第１実施形態に係る符号化パラメータ決定を行う際に利用する情報を示す図。
【図７】本発明の第１実施形態に係る合成映像のデフォルトのレイアウトの画面の一例を示す図。
【図８】本発明の第１実施形態に係る合成映像のデフォルトのレイアウト情報の一例示す図。
【図９】本発明の第１実施形態に係る合成映像の変更後のレイアウトの画面の一例を示す図。
【図１０】本発明の第１実施形態に係る合成映像の変更後のレイアウト情報の一例示す図。
【図１１】本発明の第１実施形態に係る映像データの送受信中にレイアウトの変更命令を受信した場合の動作を示すフローチャート。
【図１２】本発明の第１実施形態に係るMCUのシステム構成の一例を示す図。
【図１３】本発明の第２実施形態に係るMCUの内部構成を示す図。
【図１４】本発明の第２実施形態に係る符号化パラメータ決定を行う際に利用する情報を示す図。
【図１５】本発明の第３実施形態に係る符号化パラメータ決定を行う際に利用する情報を示す図。
【図１６】本発明の第４実施形態に係る合成映像の変更後のレイアウトの画面の一例を示す図。
【図１７】本発明の第４実施形態に係る合成映像の変更後のレイアウト情報の一例示す図。
【符号の説明】
【０１０２】
１ ‥‥ MCU（合成映像配信装置）
A、B、C，D ‥‥ 会議端末
２ ‥‥ ネットワーク
１０ ‥‥ パケット送受信部（映像受信手段、映像送信手段）
２０ ‥‥ 映像合成部
３０ ‥‥ 制御部
４１〜４４ ‥‥ 映像伸長部（復号手段）
５１〜５４ ‥‥ 映像圧縮部（符号化手段）
６１ ‥‥ 符号化パラメータ記憶部
６２ ‥‥ レイアウト情報記憶部
７０ ‥‥ 符号化パラメータ決定部（符号化パラメータ選択手段）
８１ ‥‥ フレームレート計測部
８２ ‥‥ 計測フレームレート記憶部
１００ ‥‥ CPU
２００ ‥‥ SDRAM
３００ ‥‥ NIC
４０１〜４０４ ‥‥ 映像圧縮伸長回路
５００ ‥‥ 映像合成回路
【技術分野】
【０００１】
本発明は、たとえばテレビ会議を行う複数の端末から送られる映像から端末毎に合成映像を生成し、各生成した合成映像を当該複数の端末に配信する合成映像配信装置、合成映像配信方法、および合成映像配信プログラムに関する。
【背景技術】
【０００２】
通信技術の進歩により、安価で広帯域なネットワーク基盤が普及してきている。ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線やＦＴＴＨ（Fiber To The Home）回線等の通信サービスが整備され、企業のみならず一般家庭においても容易に広帯域のネットワーク環境を構築することが可能になっている。
【０００３】
広帯域なネットワークを利用することで、音声だけでなく、データ量の多い映像を伴うコミュニケーションサービスの提供も可能となる。このようなサービスを提供する一例として、テレビ会議システムがある。多地点テレビ会議システムでは、二者間だけでなく、複数の拠点間をネットワーク接続することで複数のメンバ間のコミュニケーションを可能にする。
【０００４】
三者以上の多地点テレビ会議システムを構築する際、各会議端末同士が映像をお互いに交換する方法と、多地点制御装置（ＭＣＵ：Multipoint Control Unit）を利用する方法とがある。後者の方法では、MCUが各会議端末から映像を受信し、それらの映像に例えば、拡大・縮小・切り出し等の処理を行い一つの映像に合成（ミキシング）した後、各会議端末に配信する。各会議端末は一台のＭＣＵと映像を送受信するだけでよいため、前者の方法に比べて、各会議端末における映像送受信のための処理負荷を低減できる。
【０００５】
ＭＣＵが配信する映像合成には、さまざまなレイアウト（画面分割）が存在する。例えば、４分割画面や９分割画面、また、重ね合わせを利用したピクチャーインピクチャー画面等があり、これらのレイアウトは会議端末側から変更することも可能である。
【０００６】
ネットワークを介して映像を送受信する際、データ量を削減するため、映像を圧縮した映像データとして送信することが現在一般的である。各会議端末とMCUは、映像の送受信に先立ち、通信セッションを生成するが、通信セッションのプロトコルとして、例えば、SIP（Session Initiate Protocol）を利用する場合は、RFC2327にて規定されているSDP(Session Description Protocol)を利用して、圧縮に関する情報として、符号化方式や符号化パラメータ等を交換する。MCUが各会議端末と独立した通信セッションを構築する場合、MCU側が夫々の会議端末側の都合に合わせて、会議端末毎に異なる符号化方式および符号化パラメータで符号化された映像を受信し、また、会議端末毎に異なる符号化方式および符号化パラメータで符号化した合成映像を送信することも可能である。
【特許文献１】特開２００６−２０１７０９号公報
【特許文献２】特開２００６−２２２９４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
MCUが各会議端末の能力等にあわせることで、会議端末毎に異なる符号化パラメータにより符号化（圧縮）した映像データを受信すること、また、会議端末毎に異なる符号化パラメータにより符号化（圧縮）した合成映像データを送信することが可能である。
【０００８】
MCUと各会議端末との間は個別に符号化パラメータが設定されるため、MCUにて合成される合成映像には異なる符号化パラメータにて符号化された映像データが含まれる。ここで三者会議を想定、また符号化パラメータのひとつとしてフレームレートに着目する。例えば、MCUはAさんからの映像データを30フレーム／秒（fps）で受信し、Aさんへは合成映像データを30fpsで送信するように設定されたとする。また、MCUは、Bさんからの映像データを10fps、Cさんからの映像データを5fpsで受信するように設定されたとする。Aさんとの間は30fpsと設定されているため合成映像を30fpsで符号化してAさんに送信するものの、例えばAさんに送信している合成映像にBさん・Cさんしか含まれていなかった場合、30fpsで送信すると無駄にフレームレートの高い映像を送信することになる。仮に、MCUとAさんとの送受信のフレームレートが非対称に設定されていたとし、MCUはAさんからの映像データを30fpsで受信、Aさんへは合成映像データを25fpsで送信するように設定されていたとしても、この例の場合は同様に無駄にフレームレートの高い映像を送信することになる。
【０００９】
また、三者会議を想定、符号化パラメータのひとつとしてビットレートに着目する。例えば、MCUはAさんからの映像データを1.5Mビット／秒（bps）で受信し、Aさんへは合成映像データを1.5Mbpsで送信するように設定されたとする。また、MCUは、Bさんからの映像データを128kbps、Cさんからの映像データを768kbpsで受信するように設定されたとする。Aさんとの間は1.5Mbpsと設定されているため合成映像を1.5Mbpsで符号化してAさんに送信するものの、例えばAさんに送信している合成映像にBさん・Cさんしか含まれていなかった場合、1.5Mbpsで送信すると無駄にビットレートの高い映像を送信することになる。
【００１０】
本発明は、テレビ会議を行うネットワーク上の無駄なトラフィックを軽減可能とした合成映像配信装置、合成映像配信方法、および合成映像配信プログラムを提供する。
【課題を解決するための手段】
【００１１】
本発明の一態様としての合成映像配信装置は、
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信する映像受信部と、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを得る復号手段と、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを得る映像合成手段と、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した符号化パラメータ記憶手段と、
前記端末Ａと異なる他の端末のうちのいずれか１つにより用いられる前記符号化パラメータを選択する符号化パラメータ選択手段と、
前記端末Ａに対して選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを得る符号化手段と、
前記符号化合成映像データを、前記端末Ａに送信する映像送信手段と、
を備える。
【００１２】
本発明の一態様としての合成映像配信方法は、
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信し、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを生成し、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを生成し、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した記憶手段から、前記端末Ａと異なる他の端末のうちいずれか１つにより用いられる前記符号化パラメータを選択し、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成し、
前記符号化合成映像データを、前記端末Ａに送信する、
ことを特徴とする。
【００１３】
本発明の一態様としての合成映像配信プログラムは、
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信するステップと、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを生成するステップと、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを生成するステップと、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した記憶手段から、前記端末Ａと異なる他の端末のうちいずれか１つにより用いられる前記符号化パラメータを選択するステップと、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成するステップと、
前記符号化合成映像データを、前記端末Ａに送信するステップと、
をコンピュータに実行させる。
【発明の効果】
【００１４】
本発明により、テレビ会議を行うネットワーク上の無駄なトラフィックを軽減することが可能となる。
【発明を実施するための最良の形態】
【００１５】
（第１実施形態）
まず本実施形態の概要について説明する。
【００１６】
本実施形態は、合成映像に含まれる各映像のレイアウトを示すレイアウト情報と各映像データのフレームレートとに基づいて合成映像の符号化時のフレームレートを決定し、該フレームレートで合成映像データを符号化した符号化合成映像データを送信することを特徴とする。
【００１７】
具体的には、合成映像に含まれる映像のうち、ユーザが最も着目する映像（支配的な映像）のフレームレートにあわせて合成映像の符号化を行う。支配的な映像とは、合成映像において最もユーザの注目を集める映像のことである。本実施形態では、支配的な映像は、合成映像のレイアウトにおいて最も占める面積が大きい映像である。
【００１８】
例えば、多地点テレビ会議システム（ＭＣＵ：Multipoint Control Unit）はAさんからの映像データを30fps、Bさんからの映像データを10fps、Cさんからの映像データを5fpsで受信するように設定されたとする。Aさんへ送信する合成映像のレイアウトにおいて、Bさんの映像が占める面積が一番大きければ、Aさんへは合成映像を10fpsで送信する。
【００１９】
このようにして合成映像のレイアウトに応じてフレームレートを制御することで、冗長な映像データを送信することを防ぎ、ネットワーク上の無駄なトラフィックを軽減する。
【００２０】
以下、図面を参照して本発明の第１実施形態について詳細に説明する。
【００２１】
図１に本発明に係わる多地点テレビ会議システムの構成例を示す。図１の構成例では、４つの会議端末A、B、C、Dと、本発明の一実施形態としての、多地点制御装置（ＭＣＵ：Multipoint Control Unit）１とがそれぞれネットワーク接続されている。MCU１は、４つの会議端末A、B、C、Dから送られる映像から会議端末毎に合成映像を生成し、各合成映像を会議端末A、B、C、Dに配信する機能を備えている。
【００２２】
まず、本発明の合成映像配信装置として動作するMCU１の通信相手である会議端末について説明する。
【００２３】
各会議端末A〜Dはそれぞれ、図示はしないが、入力映像を取り込むためのカメラデバイスを備える。また、各会議端末A〜Dはそれぞれ、図示しないが、合成映像を表示するための表示デバイスを備え、合成映像を表示する表示端末として機能する。各会議端末はカメラデバイスで取り込んだ映像をMCU1へ送信する。各会議端末はMCU１から送信された合成映像を受信すると、それを表示デバイスに表示する。例えば、会議端末は、ノートブックタイプのポータブルパーソナルコンピュータ（ノートPC）で実現される。ノートPCはディスプレイを備えており、本体にカメラ機能を内蔵していない場合でも、USB接続端子があり、そこにカメラデバイスを接続することができる。また、LANケーブルを接続するネットワーク通信用のインターフェースを備える。
【００２４】
会議端末として動作するノートPCでは、プロセッサ（CPU）が、ハードディスクから主メモリにロードされたオペレーティングシステム（ＯＳ）および各種アプリケーションプログラムを実行する。会議端末として動作している場合は、(1)ネットワークインターフェースを利用して映像データの送受信を制御する送受信プログラム、(2)カメラデバイスを制御して映像の取得処理を行う映像取得プログラム、(3)映像取得プログラムが取得した映像データをMPEG4などの形式に圧縮符号化する処理を実行する映像圧縮プログラム、(4)圧縮された映像データをネットワークインターフェースからネットワーク２へ送信する送信プログラム、(5)ネットワーク２からネットワークインターフェースを介して圧縮された合成映像データを受信する受信プログラム、(6)MPEG4などの形式に圧縮された合成映像データの伸長処理を実行する映像伸長プログラム、(7)映像伸長プログラムが伸長した映像をディスプレイに表示する表示制御プログラムが動作している。
【００２５】
また、会議端末として動作する場合、アプリケーションプログラムとして、(8)MCUや他の会議端末と通信セッションを構築、維持、削除するセッションプロトコルを制御する通信セッションプログラムが動作している。セッションプロトコルに従ったパケットは、映像データと同様に、ネットワークインターフェースを介して送受信される。通信セッションプログラムが映像通信を開始可能と判断すると(1)〜(7)のプログラムが動作し、通信セッションプログラムが映像通信を終了可能と判断すると(1)〜(7)のプログラムが停止する。また、本実施形態では、会議端末は合成映像のレイアウトを変更する機能を備えており、会議端末のユーザがレイアウトの変更を指示できるユーザ画面をディスプレイに表示し、変更した情報を、ネットワーク２を介してMCU１に送信する機能を備えているものとする。このレイアウトを変更する機能を実現するアプリケーションプログラムとして、(9)レイアウトを変更するための画面を表示し変更情報の通知を行うプログラムも動作している。
【００２６】
なお、会議端末の内部構成は本発明の主とするところではなく、上記は一例に過ぎない。会議端末としてノートPCといった汎用機器ではなく、会議専用装置であっても良い。また、テレビ会議システムの場合、音声通信、音声合成といった機能も必要であるが、本発明は映像処理に関するものであるため、音声についての説明は一切省略する。
【００２７】
次に、本発明の合成映像配信装置として動作するMCU１について説明する。
【００２８】
図２はMCU１の内部構成を示している。MCU１は、パケット送受信部（映像受信手段、映像送信手段、レイアウト変更命令受信手段）１０、映像伸長部（復号手段）４１〜４４、映像合成部２０、映像圧縮部（符号化手段）５１〜５４、レイアウト情報の更新を含む処理を行う制御部３０、符号化パラメータ記憶部６１、レイアウト情報記憶部６２、符号化パラメータ決定部（符号化パラメータ選択手段）７０を構成要素として備える。
【００２９】
パケット送受信部１０は、通信プロトコルRTP（Real-time Transport Protocol ）に従い、ネットワーク２からMPEG４形式に圧縮符号化された映像データを受信し、映像データを映像伸長部４０へ出力する機能を備える。パケット送受信部１０は複数の会議端末が送信する映像データを受信することも可能であり、その場合、会議端末ごとの映像データを分離して処理することができる。本実施形態では、４台の会議端末A〜Dと同時に通信を行っているため、４種類の映像データを受信するが、それらを分離した後、対応する映像伸長部４１〜４４へ出力する。
【００３０】
映像伸長部４１〜４４は、MPEG4などの形式に圧縮符号化された受信映像データが入力されると、伸長復号化し非圧縮の映像を生成する。映像伸長部４１〜４４が生成した非圧縮の映像は、映像合成部２０に出力される。映像データの伸長処理を実行する際に必要となる情報は、映像データごと、すなわち、映像伸長部４１〜４４ごとに異なるものとするが、それらの情報は符号化パラメータ記憶部６１に記憶されており、制御部３０を介して、映像伸長部４１〜４４に与えられる。
【００３１】
映像合成部２０は、４種類の非圧縮映像が映像伸長部４１〜４４から入力され、それら４種類の映像を用いて合成映像を生成する。本実施形態では、映像合成部２０は４種類の異なる合成映像を生成できるものとする。４種類の合成映像を生成する際に必要となる合成映像のレイアウト情報は、レイアウト情報記憶部６２に会議端末毎に記憶されており、制御部３０を介して、映像合成部２０に与えられる。なお、合成映像も非圧縮映像である。
【００３２】
映像圧縮部５１〜５４は、映像合成部２０から入力された非圧縮の合成映像をMPEG4などの形式に圧縮符号化した合成映像データを生成する。映像圧縮部５１〜５４が生成した圧縮された合成映像データは、パケット送受信部１０に出力される。合成映像の圧縮処理を実行する際に必要となる情報は、合成映像ごと、すなわち、映像圧縮部５１〜５４ごとに異なるものとするが、それらの情報は符号化パラメータ記憶部６１に記憶されており、制御部３０を介して、映像圧縮部５１〜５４に与えられる。
【００３３】
パケット送受信部１０は、映像圧縮部５１〜５４から合成映像データが入力されると、通信プロトコルRTP（Real-time Transport Protocol ）に従いこれらの合成映像データをネットワーク２へ送信する。パケット送受信部１０は複数の会議端末へ合成映像データを送信することも可能であり、本実施形態では、映像圧縮部５１〜５４から入力された合成映像データを、対応する４台の会議端末A〜Dへ送信する。
【００３４】
制御部３０は、映像伸長部４１〜４４と映像圧縮部５１〜５４とを起動、停止する機能を備え、また、映像伸長部４１〜４４のそれぞれに対し個別に伸長処理を行うためのパラメータを与え、映像圧縮部５１〜５４のそれぞれに対し個別に圧縮処理を行うためのパラメータを与える。また、制御部３０は、映像合成部２０に対し、４種類の合成映像を生成する際に必要となる合成映像のレイアウト情報を与える。また、制御部３０は、パケット送受信部１０に対し、会議端末A〜Dから受信した映像データをいずれの映像伸長部（４１〜４４）に入力するか、および、映像圧縮部５１〜５４から入力された映像データをいずれの会議端末（A〜D）に送信するかの対応情報を与える。
【００３５】
なお、本実施形態では、会議端末AとMCU１内の映像伸長部４１および映像圧縮部５１とが対応し、会議端末BとMCU１内の映像伸長部４２および映像圧縮部５２とが対応し、会議端末CとMCU１内の映像伸長部４３および映像圧縮部５３とが対応し、会議端末DとMCU１内の映像伸長部４４および映像圧縮部５４とが対応している。
【００３６】
更に、MCU１の制御部３０は各会議端末と通信セッションを構築し、構築した通信セッションにて、映像を受信するのに必要な情報を交換する機能を備える。図３にSIP（Session Initiate Protocol）を用いた場合のセッション生成シーケンスの一例、また、図４にSIPを用いた場合のセッション終了シーケンスの一例を示す。なお、図３、図４のシーケンスはSIPの概要を示したものであり、例えば、Inviteを送信したMCU１が200 OK受信後に送信するACK信号の記述を省略している。MCU１の制御部３０は、パケット送受信部１０を介して、セッション生成シーケンスやセッション終了シーケンスに示す制御データを会議端末A〜Dと送受信する。
【００３７】
図３のシーケンスを説明する。まず、会議端末Aから、会議構築をSIPのNotify信号によって要求されると（S１５０）、MCU１の制御部３０は要求を受信したことを通知する目的で応答を返す（S１５１）。
【００３８】
制御部３０は、会議端末Aが要求した会議が構築可能か否か判断する（S１５２）。可能か否かの判断は、要求された会議の参加者数と、MCU１内で利用できる映像伸長部および映像圧縮部の数（空き会議リソースの数）とで判断する。
【００３９】
図３では、会議構築要求が、会議端末A,B,C,Dの４台での会議構築する要求であるため、映像伸長部４１〜４４と映像圧縮部５１〜５４が未使用であれば、会議可能と判断する。一方、先に３台での会議構築が要求されており、例えば、映像伸長部４１，４２，４３、および、映像圧縮部５１，５２，５３が利用されているとすると、会議不可と判断する。
【００４０】
制御部３０は、会議構築が可能な場合は、空き会議リソースの数を減らした後に、可能であることを示す会議開始要求結果をNotifyで会議端末Aに通知し（S１５３）、不可能の場合は、不可能であることを同様にNotifyで会議端末Aに通知する。
【００４１】
制御部３０は会議開始要求結果に対する応答を会議端末Aから受信すると（S１５４）、合成映像を生成するためのレイアウト情報を決定する（S１５５）。例えば、４者会議の場合は、デフォルト値として画面が４分割されたレイアウトを用いるが、別のレイアウトであっても良い。なお、４分割されたレイアウトの場合、会議端末それぞれに送信する合成映像において、左上、右上、左下、右下に配置する４者の映像の並びは同一とするが、会議端末ごとに４者の映像の並びが異なっていても良い。このレイアウト情報は、レイアウト情報記憶部６２に記憶される。
【００４２】
レイアウト情報決定の後、制御部３０は、会議端末A、B、C、Dと通信セッションを構築する。図３では、まず会議端末Aにセッション生成命令のInvite信号を送信している（S１６０）。このInvite信号には、MCU１側が圧縮や伸長処理が可能な映像の符号化パラメータとして、圧縮方式（MPEG4等）、画像サイズ（横６４０ピクセル×縦４８０ピクセル等）、フレームレート（３０フレーム／秒等）、ビットレート（１．５Mbps等）の情報が付加されている。
【００４３】
制御部３０はセッション生成命令に対する応答を会議端末Aから受信すると（S１６１）、その応答に含まれる、会議端末A側が圧縮や伸長処理が可能な映像の符号化パラメータである、圧縮方式、画像サイズ、フレームレート、ビットレートの情報を検出する。
【００４４】
制御部３０は、MCU１側と会議端末A側の符号化パラメータを比較し、会議端末Aへ送信する映像データの符号化パラメータ、および、会議端末Aから受信する映像データの符号化パラメータを決定する（S１６３）。
【００４５】
一方、同様に会議端末A側でも、MCU１側と会議端末A側の符号化パラメータを比較し、MCU1へ送信する映像データの符号化パラメータ、および、MCU1から受信する映像データの符号化パラメータを設定する（S１６２）。
【００４６】
本実施形態では、符号化パラメータ設定の際、MCU1と会議端末Aは、それぞれが通知した符号化パラメータで能力の低い方にあわせて設定するとする。例えば、MCU1がビットレート１．５Mbpsを通知し、会議端末Aがビットレート７６８kbpsを通知した場合には、低い値にあわせ、共にビットレート７６８kbpsで送受信する。
【００４７】
MCU1と会議端末A間で設定した符号化パラメータに関する情報は、符号化パラメータ記憶部６１にMCU1と会議端末A間の情報として記憶される。その後、制御部３０は、MCU1内の各構成要素に対し、MCU1と会議端末A間で、設定した符号化パラメータに従った映像データの送受信開始を命令し、映像の送受信が行われる（S１６４）。
【００４８】
MCU1と会議端末Aの処理と同様に、会議端末Bとの間（S１７０〜S１７４）、会議端末Cとの間（S１８０〜S１８４）、会議端末Dとの間（S１９０〜S１９４）でも、通信セッションが構築され、映像の送受信が開始される。
【００４９】
図４のシーケンスを説明する。MCU1が会議端末A、B、C、Dと映像を送受信している状態（S２００、S２０１、S２０２、S２０３）で、会議端末Aから会議終了をSIPのNotify信号によって要求されると（S２１０）、MCU１の制御部３０は要求を受信したことを通知する目的で応答を返す（S２１１）。
【００５０】
その後、制御部３０は、会議端末A、B、C、Dと通信セッションを終了する。図４では、まず会議端末Aにセッション終了命令のBye信号を送信している（S２２０）。制御部３０はセッション終了命令に対する応答を会議端末Aから受信すると（S２２１）、セッション終了手順が成功したと判断し、会議端末Aへの映像データの送信と、会議端末Aから受信した映像データの処理を停止する（S２２３）。
【００５１】
会議端末A側でも、セッション終了命令に対する応答を送信後、セッション終了手順が成功したと判断し、MCU１への映像データの送信と、MCU１から受信した映像データの処理を停止する（S２２２）。
【００５２】
この結果、MCU１と会議端末Aとの通信セッションは終了し、映像の送受信も停止するため、制御部３０は、符号化パラメータ記憶部６１およびレイアウト情報記憶部６２に記憶していた会議端末Aとの通信に必要であった情報を削除する。
【００５３】
MCU1と会議端末A間と同様に、MCU1と会議端末B間（S２３０〜S２３３）、MCU1と会議端末C間（S２４０〜S２４３）、MCU1と会議端末D間（S２５０〜S２５３）でも、通信セッションが終了され、映像の送受信が停止し、また、符号化パラメータ記憶部６１およびレイアウト情報記憶部６２に記憶していた情報が削除される。この後、制御部３０は、会議端末A〜Dとの会議で使用していた会議リソース（映像伸張部４１〜４４、映像圧縮部５１〜５４）を開放する（Ｓ２６０）。
【００５４】
図５はレイアウト変更命令処理のシーケンスを示す。MCU1が会議端末A、B、C、Dと映像を送受信している状態（S２００−１、S２０１−１、S２０２−１、S２０３−１）で、会議端末Aからレイアウト変更をSIPのNotify信号によって要求されると（S３１０）、MCU１の制御部３０は要求を受信したことを通知する目的で応答を返す（S３１１）。
【００５５】
制御部３０は、レイアウト情報記憶部６２に記憶されている会議端末A用の合成映像のレイアウト情報を、要求されたレイアウト情報に変更する（S３１２）。
【００５６】
この結果、映像合成部２０で生成される会議端末A向けの合成映像の画面レイアウトが変更され、レイアウトが変更された合成映像が会議端末Aに送信される（S２００−２）。
【００５７】
また、会議端末Bからレイアウト変更をSIPのNotify信号によって要求されると（S３２０）、MCU１の制御部３０は要求を受信したことを通知する目的で応答を返す（S３２１）。
【００５８】
制御部３０は、レイアウト情報記憶部６２に記憶されている会議端末B用の合成映像のレイアウト情報を、要求されたレイアウト情報に変更する（S３２２）。
【００５９】
この結果、映像合成部２０で生成される会議端末B向けの合成映像の画面レイアウトが変更され、レイアウトが変更された合成映像が会議端末Bに送信される（S２０１−２）。
【００６０】
次に、本発明の特徴である図２に示した符号化パラメータ決定部７０について説明する。
【００６１】
制御部３０は、通信セッションが構築され会議状態になると、会議情報を符号化パラメータ決定部７０へ通知する。例えば、図３の手順により４者会議を構築した場合には、会議情報として、「会議端末A、B、C、Dと会議を構築している」という情報と、それぞれの会議端末と、映像伸長部４１〜４４および映像圧縮部５１〜５４との対応情報を通知する。
【００６２】
符号化パラメータ決定部７０は、会議情報が通知されると、符号化パラメータ記憶部６１に記憶された情報を参照し、図６に示すような各会議端末との間で適用するフレームレート情報の表を作成する。
【００６３】
図６において、映像データ番号１、２、３、４は、それぞれ会議端末A、B、C、Dに対応し、会議端末Aから受信する映像のフレームレートおよび会議端末Aに送信する合成映像のデフォルトフレームレートが３０ｆｐｓ、会議端末Bから受信する映像のフレームレートおよび会議端末Bに送信する合成映像のデフォルトフレームレートが２０ｆｐｓ、会議端末Cから受信する映像のフレームレートおよび会議端末Cに送信する合成映像のデフォルトフレームレートが２０ｆｐｓ、会議端末Dから受信する映像のフレームレートおよび会議端末Dに送信する合成映像のデフォルトフレームレートが１０ｆｐｓであることを示している。ここでは各会議端末から受信する映像のフレームレートと、各会議端末へ送信する合成映像のデフォルトフレームレートとをまとめて示したが、これらの情報はそれぞれ別個の表として記憶されてもよい。
【００６４】
MCU１と会議端末A間で構築した通信セッションにおいて、MCU１と会議端末A間で送信および受信する映像データの圧縮方式がMPEG4、画像サイズが横６４０ピクセルで縦４８０ピクセル、フレームレートが３０ｆｐｓ、ビットレートが１．５Mbpsに設定されたとする。会議端末Aへ送信する合成映像のレイアウトのデフォルトが、４分割であり、各会議端末から送られてきた映像が図７に示すように合成映像内で配置されたとする。この場合、レイアウト情報記憶部６２に記憶されている会議端末A用の合成映像のレイアウト情報を図８に示す。
【００６５】
図８の「入力映像」は会議端末から送られてくる映像の識別情報であり、「使用の有無」は各映像を合成映像生成時に利用するか否かを示す情報であり、「縮小率」は合成映像生成時に各映像を利用する場合に合成映像に対する大きさの割合を示す情報であり、「配置情報」は各映像を配置する位置を示す座標情報（X座標、Y座標）と、各映像を配置する階層を示す情報とを含む。
【００６６】
横６４０ピクセルおよび縦４８０ピクセル、フレームレート３０ｆｐｓ、ビットレート１．５Mbpsで、デフォルトのレイアウトの合成映像を会議端末Aに送信している状態で、会議端末Aから、レイアウトの変更命令を制御部３０が受信するとする。レイアウト変更命令を受信した制御部３０は、レイアウト情報記憶部６２に記憶されている会議端末A用の合成映像のレイアウト情報を、変更命令に対応したレイアウト情報に書き換える（更新する）。例えば、図９に示すレイアウトへの変更命令を受信すると、制御部３０はレイアウト情報記憶部６２に記憶されている会議端末A用の合成映像のレイアウト情報（図８参照）を、図１０に示す情報に書き換える。
【００６７】
制御部３０はレイアウト情報記憶部６２に記憶されているレイアウト情報を書き換えた後、変更対象となったレイアウト情報を符号化パラメータ決定部７０に通知する。レイアウト情報の変更が通知されると、符号化パラメータ決定部７０は変更となったレイアウト情報を解析する。例えば、会議端末Aへの合成映像のレイアウトが、図８から図１０に変更になった場合、符号化パラメータ決定部７０は、図１０のレイアウト情報を解析する。
【００６８】
解析処理として、(1)合成映像において面積的に支配的な入力映像を検出し、(2)検出した支配的な入力映像のフレームレートを検出する。図１０のレイアウト情報の場合、支配的な入力映像の番号は４番であり、図６から４番の映像はフレームレートが１０ｆｐｓで会議端末DからMCU１に送信されていることがわかる。支配的な入力映像は、レイアウト情報の変更を通知した会議端末からの入力映像を除いた他の会議端末の入力映像の中から検出するようにしてもよい。
【００６９】
符号化パラメータ決定部７０は、上記解析処理の後、会議端末に送信する合成映像の符号化パラメータ（ここではフレームレート）の変更を行うか否かの判定を行う。合成映像の現在のフレームレート（最初は、通信セッション構築時に設定した合成映像のデフォルトフレームレート）と、レイアウト変更後の支配的な映像のフレームレートとが異なる場合は、会議端末に送信する合成映像のフレームレートを変更することを決定する。
【００７０】
具体的には、レイアウト変更後の支配的な映像のフレームレートが上記通信セッション構築時に設定したデフォルトフレームレート以下の場合、合成映像のフレームレートを、当該支配的な映像のフレームレートに変更することを決定する。また、当該支配的な映像のフレームレートが上記デフォルトフレームレートより高い場合、この高いフレームレートに会議端末が対応不能である可能性を考慮して、当該会議端末に送信する合成映像のフレームレートを、上記デフォルトフレームレートに変更することを決定する。ただし、会議端末がこの高いフレームレートに対応可能である場合は、当該会議端末に送信する合成映像のフレームレートをこの高いフレームレートに変更してもよい。
【００７１】
本例では、会議端末Aの現在のフレームレート（デフォルトフレームレート）が３０ｆｐｓ、支配的な映像（４番）のフレームレートが１０ｆｐｓであるため、符号化パラメータ決定部７０は、合成映像のフレームレート（３０ｆｐｓ）を、支配的な映像のフレームレート（１０ｆｐｓ）に変更することを決定する。そして、符号化パラメータ決定部７０は、会議端末Aに送信する合成映像のフレームレートを低い値（１０ｆｐｓ）に設定して送信するように、制御部３０を介して会議端末Aに対応する映像圧縮部５１に符号化パラメータ変更強制命令を通知する。
【００７２】
映像圧縮部５１〜５４は、符号化パラメータ変更強制命令を受けると、通常は、符号化パラメータ記憶部６１に記憶されている情報を用いて圧縮された映像データを生成するところを、符号化パラメータ変更強制命令で通知された情報を利用して圧縮データを生成する。上記の会議端末Aの例の場合、映像圧縮部５１は、通常は３０ｆｐｓのところを、１０ｆｐｓとした圧縮映像データを生成する。フレームレートを落とせば、ビットレートも低下し（ただし１フレーム当たりのビット数は変わらないとする）、余分なネットワーク負荷を低減することができる。この際、ユーザの着目する支配的な映像のフレームレートは維持されているため、合成映像のフレームレートを低下させても、支配的な映像の品質は維持される。なお、フレームレートを落としたにも関わらず、ビットレートを一定に保つ場合には、映像の圧縮率が低くなるため、映像品質の向上効果が期待できる。
【００７３】
なお、上述したように会議端末が合成映像のデフォルトフレームレートよりも高いフレームレートに対応可能であり、合成映像のフレームレートをこの高いフレームレームに変更する場合は、デフォルトフレームレートの場合よりも、ネットワーク負荷は増大する。しかしながら、ユーザがこの高いフレームレートで送信される映像に着目していることから、この場合におけるネットワーク負荷の増大は無駄ではないといえる。
【００７４】
図１１は、会議開始後におけるMCU１の動作シーケンスを概略的に示すフローチャートである。
【００７５】
MCU１は、ネットワーク２を介して会議端末からデータを受信すると（Ｓ１）、受信データが会議終了通知（図４のＳ２１０参照）を含むか否かを判断し（Ｓ２）、会議終了通知を含むときは、図４に示したようなシーケンスにしたがって、会議を終了する（Ｓ３０）。
【００７６】
受信データが会議終了通知を含まないときは、受信データが映像データであるか否かを判断し（Ｓ３）、映像データであるときは、映像データを伸張し（Ｓ４）、伸張した映像データを、他の会議端末の伸張した映像データと合成して合成映像データを生成し、合成映像データを圧縮し（Ｓ６）、圧縮合成映像データを送信する（Ｓ７）。この後、ステップＳ１に戻る。
【００７７】
受信データが映像データでないときは、受信データがレイアウトデータ（レイアウト変更命令）であるか否かを判断し（Ｓ２０）、レイアウトデータでないときはデータの種類に応じた処理を行ってＳ１に戻る。
【００７８】
一方、受信データがレイアウトデータであるときは、レイアウト情報記憶部６２内のレイアウト情報を更新し（Ｓ２１）、次いで、レイアウト情報において支配的な入力映像を特定し、特定した支配的な入力映像のフレームレートと、現在のフレームレートとが異なるときは、上記会議端末に送信する合成映像のフレームレートを変更することを決定する（Ｓ２２）。一方、これらが一致するときは合成映像のフレームレートを変更しないことを決定し（Ｓ２２）、ステップＳ１に戻る。合成映像のフレームレートの変更が決定され、かつ、特定した支配的な入力映像のフレームレートが、合成映像のデフォルトフレームレート以下の場合は、合成映像のフレームレートを、特定した支配的な入力映像のフレームレートに変更する（Ｓ２３）。逆に、特定した支配的な入力映像のフレームレートが、合成映像のデフォルトフレームレートよりも高い場合は、合成映像のフレームレートを、合成映像のデフォルトフレームレートに変更する（Ｓ２３）。ただし、上述したように、会議端末がこの高いフレームレートに対応可能である場合は、合成映像のフレームレートをこの高いフレームレートに変更してもよい。
【００７９】
図１２にMCU１のシステム構成例を示す。MCU１には、図示のようにCPU１００、SDRAM２００、バス、NIC（Network Interface Card）３００、映像圧縮伸長回路４０１〜４０４、映像合成回路５００が内蔵されている。
【００８０】
ＣＰＵ１００はMCU１の動作を制御するために設けられたプロセッサであり、メモリであるSDRAM２００内に格納されている各種アプリケーションプログラムを実行する。図２で示した映像合成部２０、映像伸長部４１〜４４、映像圧縮部５１〜５４は専用のハードウェアとして実現し、その他の構成要素はソフトウェアとして実現している。アプリケーションプログラムとして、例えば、(1)パケット送受信制御プログラム、(2)映像伸長制御プログラム、(3)映像合成制御プログラム、(4)映像圧縮制御プログラム、(5)通信セッション生成プログラム、(6)通信セッション終了プログラム、(7)レイアウト情報解析プログラム、(8)符号化パラメータ決定プログラムがCPU１００によって実行される。図１２で、CPU１００と他のハードウェアはバス接続されている。また、NIC３００はネットワーク２と通信する際のインターフェースとなる。
【００８１】
以上のように、本実施形態によれば、多地点制御装置（MCU）が会議端末へ合成映像を符号化（圧縮）して送信する際、圧縮時の符号化パラメータを合成映像のレイアウトに応じて制御することが可能となる。これにより、冗長な映像データを会議端末に送信することを防ぎ、ネットワーク上の無駄なトラフィックの軽減が可能となる。
【００８２】
上記実施形態では、会議端末へ送信する合成映像のレイアウト情報から支配的な入力映像を特定し、特定した映像のフレームレートへ、当該会議端末に送信する合成映像のフレームレートを変更する例を示したが、入力映像の特定は、ユーザ選択により行うようにしてもよい。すなわち、会議端末のユーザが、画面に表示される合成映像において映像を選択し、選択した映像をMCU１に通知し、MCU１は、通知された映像のフレームレートと、この会議端末に送信する合成映像のデフォルトフレームレートとに基づき、合成映像のフレームレートを変更する。
【００８３】
また上記実施形態では、符号化パラメータとして、合成映像のフレームレートを切り替える例を示したが、圧縮効率の違う２つの圧縮方式（たとえばH264とMPEG4の場合、H264の方がMPEG4より圧縮効率が高い）を切り替えるようにしてもよい。たとえば会議端末A〜DとMCU1との間でそれぞれ２つの圧縮方式のうちいずれかを用いているとする。会議端末Aへ送信する合成映像のレイアウトにおいて支配的な映像の圧縮方式が、会議端末Aが用いている圧縮方式よりも圧縮効率が高いときは、当該支配的な映像の圧縮方式へ、会議端末Aの圧縮方式を変更する。これによってもネットワーク上の無駄なトラフィックを軽減することが可能となる。
【００８４】
（第２実施形態）
以下、図面を参照して本発明の第２実施形態を説明する。
【００８５】
図１３は、本発明の第２実施形態に係るMCU１の内部構成を示す。第１実施形態との違いは、各会議端末から送信される映像のフレームレートを計測するフレームレート計測部８１と、計測した情報を記憶する計測フレームレート記憶部８２とを追加で備えていることである。
【００８６】
第１実施形態では、MCU１と各会議端末との間の符号化パラメータ（たとえばフレームレート）は、通信セッション構築時に通知される値（設定値）を利用するとしたが、会議端末の処理能力によっては、実際には、設定したフレームレートで送信できない場合がある。例えば、３０ｆｐｓというフレームレートを会議端末側で設定していたとしても、会議端末で別の機能が動作している場合のように会議端末の処理負荷が高くなると、３０ｆｐｓのフレームレートを実現できない場合がある。このように設定値の方が実際のフレームレートよりも高い場合に、合成映像のフレームレートを支配的な映像の設定値へ変更すると、ネットワークのトラフィックに大きな無駄が生じる。そこで、本実施形態では、フレームレート計測部８１により計測したフレームレートを、通信セッション構築時に設定したフレームレート（設定値）の代わりに使用して、フレームレートの変更可否の判定、ならびにフレームレートの変更を行う。以下、本実施形態の動作について詳細に説明する。
【００８７】
第１実施形態では、符号化パラメータ決定部７０は、会議情報が通知されると、符号化パラメータ記憶部６１に記憶された情報を参照し、図６に示すような各会議端末から受信する映像データのフレームレート情報の表を作成するとした。第２実施形態では、符号化パラメータ決定部７０は符号化パラメータ記憶部６１に記憶された情報とともに、フレームレート計測部８１により計測され計測フレームレート記憶部８２に記憶された計測情報を参照し、図１４に示すような表を作成する。図１４の表は、各会議端末から受信する映像データのフレームレートの設定値と計測値を含んでいる。また、符号化パラメータ決定部７０は、制御部３０を介して会議端末に対応する映像圧縮部５１〜５４に符号化パラメータ変更強制命令を通知する際には、設定値ではなく計測値を通知する。
【００８８】
例えば、会議端末Aへの合成映像のレイアウトが、図８から図１０に変更になった場合、符号化パラメータ決定部７０は、支配的な入力映像の番号は４番であり、図１４から４番の映像はフレームレートの設定値は１０ｆｐｓであるが、計測値は５ｆｐｓであり、実際には５ｆｐｓにより会議端末DからMCU１に送信されていることがわかる。レイアウト変更の結果、支配的な映像のフレームレートの計測値（５ｆｐｓ）の方がMCU１と会議端末Aとの間で通信セッション構築時に設定する送受信のフレームレート（３０ｆｐｓ）より低いため、符号化パラメータ決定部７０は会議端末Aに送信する合成映像のフレームレートを低い値（５ｆｐｓ）で送信するように、制御部３０を介して会議端末Aに対応する映像圧縮部５１に符号化パラメータ変更強制命令を通知する。
【００８９】
このように第２実施形態では、計測値を利用することで無駄なネットワーク負荷を更に低減することが可能となる。
【００９０】
（第３実施形態）
以下、図面を参照して本発明の第３実施形態を説明する。
【００９１】
第１実施形態では、符号化パラメータ決定部７０は、会議情報が通知されると、符号化パラメータ記憶部６１に記憶された情報を参照し、図６に示すような各会議端末から受信する映像データのフレームレート情報の表を作成するとした。第３実施形態では、フレームレートだけでなく、図１５に示すようにビットレート情報、解像度情報等の他の情報も、作成する表に含める。ビットレート情報について補足説明すると以下の通りである。
【００９２】
会議端末Aから受信する映像のビットレートおよび会議端末Aに送信する合成映像のデフォルトビットレートが１５００ｋｂｐｓ、会議端末Bから受信する映像のビットレートおよび会議端末Bに送信する合成映像のデフォルトビットレートが３８４ｋｂｐｓである。会議端末Cから受信する映像のビットレートおよび会議端末Cに送信する合成映像のデフォルトビットレートが７６８ｋｂｐｓである。会議端末Dから受信する映像のビットレートおよび会議端末Dに送信する合成映像のデフォルトビットレートが７６８ｋｂｐｓである。ここでは各会議端末から受信する映像のビットレートと、各会議端末へ送信する合成映像のデフォルトビットレートとをまとめて示したが、これらの情報はそれぞれ別個の表として記憶されてもよい。
【００９３】
本実施形態において、合成映像のレイアウトが変更された場合、第１実施形態と同様に符号化パラメータ決定部７０においてレイアウト情報を解析する。この際、解析処理として、(1)合成映像において面積的に支配的な入力映像を検出し、(2)検出した支配的な入力映像のビットレートを検出し、(3)検出した支配的な入力映像のビットレートを検出する。
【００９４】
会議端末Aのレイアウト変更の結果、たとえば現在のビットレート（最初は、通信セッション構築時に会議端末Aに設定するビットレート）が、支配的な映像のビットレートと異なるときは、会議端末Aに送信する合成映像のビットレートを、当該支配的な映像のビットレートで送信するように、会議端末Aに対応する映像圧縮部５１に符号化パラメータ変更強制命令を通知する。ただし、当該支配的な映像のビットレートが通信セッション構築時に会議端末Aに設定するデフォルトビットレートより高いときは、会議端末Aに送信する合成映像のビットレートをデフォルトビットレートに戻すように、会議端末Aに対応する映像圧縮部５１に符号化パラメータ変更強制命令を通知する。ただし、会議端末がこの高いビットレートに対応可能である場合は、合成映像のビットレートをこの高いビットレートに変更してもよい。
【００９５】
以上のように、本実施形態によれば、MCU１から会議端末へ送信する合成映像のビットレートを必要以上に高くして送信することを避けることができ、結果として、無駄なネットワーク負荷を低減することが可能となる。
【００９６】
（第４実施形態）
第１実施形態等では、会議端末Aへの合成映像のレイアウトが、図８から図１０に変更になった場合、符号化パラメータ決定部７０は、支配的な入力映像の番号を４番とするとした。これは符号化パラメータ決定部７０の解析処理として、(1)合成映像において面積的に支配的な入力映像を検出し、(2)検出した支配的な入力映像のフレームレートを検出する、としたからである。
【００９７】
しかし、支配的な入力映像は必ずしも面積情報を利用して判断しなくても良い。別の情報としてレイヤ情報を利用しても良い。例えば、図１０の場合、合成映像の一番最前面にくる映像はレイヤが「３」に対応する入力映像であり、この場合、支配的な入力映像の番号を３番としても良い。この場合、会議端末Aに送信する合成映像のフレームレートを２０ｆｐｓに設定して送信するように、制御部３０を介して会議端末Aに対応する映像圧縮部５１に符号化パラメータ変更強制命令を通知することになる。更に、別の例として、会議端末Aへの合成映像のレイアウトが、図８から図１７に変更になったとする。この場合の画面のレイアウトは図１６に示すものとなっており、レイヤが「３」に対応する入力映像である２番の映像が支配的であると判断する。
【００９８】
支配的な入力映像を判断する際に、面積とレイヤの２つの情報を利用して判断しても良い。例えば、上に重なりのない入力映像のうち、一番面積が大きいものを支配的な入力映像と判断する方法も考えられる。
【００９９】
以上に説明した各実施形態では、MCU１と通信する会議端末が４台である多地点テレビ会議システムの構成例を示したが、会議端末の台数は４つに限らず、２つ以上であれば適用できる。また、１台の会議端末が、映像を送信し、合成映像を受信し、さらにレイアウト情報を送信するとして説明したが、映像を送信する会議端末、合成映像を受信する会議端末、レイアウト情報を送信する会議端末の３台が別々であっても本発明を適用することができる。
【０１００】
本発明は上記実施形態をそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１０１】
【図１】本発明の第１実施形態に係るテレビ会議システムのシステム構成図。
【図２】本発明の第１実施形態に係るMCUの内部構成を示す図。
【図３】本発明の第１実施形態に係るMCUと会議端末間の通信セッション生成シーケンスを示す図。
【図４】本発明の第１実施形態に係るMCUと会議端末間の通信セッション終了シーケンスを示す図。
【図５】本発明の第１実施形態に係るMCUと会議端末でレイアウト変更を行う場合のシーケンスを示す図。
【図６】本発明の第１実施形態に係る符号化パラメータ決定を行う際に利用する情報を示す図。
【図７】本発明の第１実施形態に係る合成映像のデフォルトのレイアウトの画面の一例を示す図。
【図８】本発明の第１実施形態に係る合成映像のデフォルトのレイアウト情報の一例示す図。
【図９】本発明の第１実施形態に係る合成映像の変更後のレイアウトの画面の一例を示す図。
【図１０】本発明の第１実施形態に係る合成映像の変更後のレイアウト情報の一例示す図。
【図１１】本発明の第１実施形態に係る映像データの送受信中にレイアウトの変更命令を受信した場合の動作を示すフローチャート。
【図１２】本発明の第１実施形態に係るMCUのシステム構成の一例を示す図。
【図１３】本発明の第２実施形態に係るMCUの内部構成を示す図。
【図１４】本発明の第２実施形態に係る符号化パラメータ決定を行う際に利用する情報を示す図。
【図１５】本発明の第３実施形態に係る符号化パラメータ決定を行う際に利用する情報を示す図。
【図１６】本発明の第４実施形態に係る合成映像の変更後のレイアウトの画面の一例を示す図。
【図１７】本発明の第４実施形態に係る合成映像の変更後のレイアウト情報の一例示す図。
【符号の説明】
【０１０２】
１ ‥‥ MCU（合成映像配信装置）
A、B、C，D ‥‥ 会議端末
２ ‥‥ ネットワーク
１０ ‥‥ パケット送受信部（映像受信手段、映像送信手段）
２０ ‥‥ 映像合成部
３０ ‥‥ 制御部
４１〜４４ ‥‥ 映像伸長部（復号手段）
５１〜５４ ‥‥ 映像圧縮部（符号化手段）
６１ ‥‥ 符号化パラメータ記憶部
６２ ‥‥ レイアウト情報記憶部
７０ ‥‥ 符号化パラメータ決定部（符号化パラメータ選択手段）
８１ ‥‥ フレームレート計測部
８２ ‥‥ 計測フレームレート記憶部
１００ ‥‥ CPU
２００ ‥‥ SDRAM
３００ ‥‥ NIC
４０１〜４０４ ‥‥ 映像圧縮伸長回路
５００ ‥‥ 映像合成回路
【特許請求の範囲】
【請求項１】
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信する映像受信部と、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを得る復号手段と、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを得る映像合成手段と、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した符号化パラメータ記憶手段と、
前記端末Ａと異なる他の端末のうちのいずれか１つにより用いられる前記符号化パラメータを選択する符号化パラメータ選択手段と、
前記端末Ａに対して選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを得る符号化手段と、
前記符号化合成映像データを、前記端末Ａに送信する映像送信手段と、
を備えた合成映像配信装置。
【請求項２】
前記合成映像における各前記映像のレイアウトを示すレイアウト情報を記憶するレイアウト情報記憶手段と、
前記端末Ａから前記レイアウト情報の変更を指示するレイアウト変更命令を受信するレイアウト変更命令受信手段と、
前記レイアウト変更命令にしたがって前記レイアウト情報を更新するレイアウト情報更新手段と、をさらに備え、
前記映像合成手段は、前記レイアウト情報に基づいて前記第１〜第Ｎの復号化映像データを合成し、
前記符号化パラメータ選択手段は、前記レイアウト情報が更新されたとき前記符号化パラメータの選択を行う、
ことを特徴とする請求項１に記載の合成映像配信装置。
【請求項３】
前記符号化パラメータ選択手段は、前記レイアウト情報に基づき前記合成映像において支配的な映像を特定し、特定した支配的な映像の前記符号化パラメータを選択することを特徴とする請求項２に記載の合成映像配信装置。
【請求項４】
前記支配的な映像は、前記第１〜第Ｎの端末が送信する映像のうち最も面積の大きい映像であることを特徴とする請求項３に記載の合成映像配信装置。
【請求項５】
前記支配的な映像は、前記第１〜第Ｎの端末が送信する映像のうち最も前面に配置されている映像であることを特徴とする請求項３に記載の合成映像配信装置。
【請求項６】
前記第１〜第Ｎの符号化パラメータは、前記第１〜第Ｎの映像のフレームレートの情報であることを特徴とする請求項３〜５のいずれか一項に記載の合成映像配信装置。
【請求項７】
前記符号化パラメータ記憶手段は、前記端末Ａとの間であらかじめ決定した、前記合成映像のデフォルトフレームレートの情報をさらに記憶し、
前記符号化パラメータ選択手段は、前記特定した支配的な映像のフレームレートが、前記デフォルトフレームレートより低いときは、前記特定した支配的な映像のフレームレートを前記合成映像のフレームレートとして選択し、前記デフォルトフレームレート以上のときは前記デフォルトフレームレートを前記合成映像のフレームレートとして選択する
ことを特徴とする請求項６に記載の合成映像配信装置。
【請求項８】
前記第１〜第Ｎの符号化パラメータは、前記第１〜第Ｎの映像のビットレートの情報であることを特徴とする請求項３〜５のいずれか一項に記載の合成映像配信装置。
【請求項９】
前記符号化パラメータ記憶手段は、前記端末Ａとの間であらかじめ決定した、前記合成映像のデフォルトビットレートの情報をさらに記憶し、
前記符号化パラメータ選択手段は、前記特定した支配的な映像のビットレートが、前記デフォルトビットレートより低いときは、前記特定した支配的な映像のビットレートを前記合成映像のビットレートとして選択し、前記デフォルトビットレート以上のときは前記デフォルトビットレートを前記合成映像のビットレートとして選択する
ことを特徴とする請求項８に記載の合成映像配信装置。
【請求項１０】
前記符号化パラメータ選択手段は、前記端末Ａから、前記第１〜第Ｎの端末が送信する映像のうちの１つの選択を受け付け、前記端末Ａにより選択された映像の符号化パラメータを選択することを特徴とする請求項１に記載の合成映像配信装置。
【請求項１１】
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信し、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを生成し、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを生成し、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した記憶手段から、前記端末Ａと異なる他の端末のうちいずれか１つにより用いられる前記符号化パラメータを選択し、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成し、
前記符号化合成映像データを、前記端末Ａに送信する、
を備えた合成映像配信方法。
【請求項１２】
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信するステップと、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを生成するステップと、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを生成するステップと、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した記憶手段から、前記端末Ａと異なる他の端末のうちいずれか１つにより用いられる前記符号化パラメータを選択するステップと、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成するステップと、
前記符号化合成映像データを、前記端末Ａに送信するステップと、
をコンピュータに実行させるための合成映像配信プログラム。
【請求項１】
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信する映像受信部と、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを得る復号手段と、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを得る映像合成手段と、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した符号化パラメータ記憶手段と、
前記端末Ａと異なる他の端末のうちのいずれか１つにより用いられる前記符号化パラメータを選択する符号化パラメータ選択手段と、
前記端末Ａに対して選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを得る符号化手段と、
前記符号化合成映像データを、前記端末Ａに送信する映像送信手段と、
を備えた合成映像配信装置。
【請求項２】
前記合成映像における各前記映像のレイアウトを示すレイアウト情報を記憶するレイアウト情報記憶手段と、
前記端末Ａから前記レイアウト情報の変更を指示するレイアウト変更命令を受信するレイアウト変更命令受信手段と、
前記レイアウト変更命令にしたがって前記レイアウト情報を更新するレイアウト情報更新手段と、をさらに備え、
前記映像合成手段は、前記レイアウト情報に基づいて前記第１〜第Ｎの復号化映像データを合成し、
前記符号化パラメータ選択手段は、前記レイアウト情報が更新されたとき前記符号化パラメータの選択を行う、
ことを特徴とする請求項１に記載の合成映像配信装置。
【請求項３】
前記符号化パラメータ選択手段は、前記レイアウト情報に基づき前記合成映像において支配的な映像を特定し、特定した支配的な映像の前記符号化パラメータを選択することを特徴とする請求項２に記載の合成映像配信装置。
【請求項４】
前記支配的な映像は、前記第１〜第Ｎの端末が送信する映像のうち最も面積の大きい映像であることを特徴とする請求項３に記載の合成映像配信装置。
【請求項５】
前記支配的な映像は、前記第１〜第Ｎの端末が送信する映像のうち最も前面に配置されている映像であることを特徴とする請求項３に記載の合成映像配信装置。
【請求項６】
前記第１〜第Ｎの符号化パラメータは、前記第１〜第Ｎの映像のフレームレートの情報であることを特徴とする請求項３〜５のいずれか一項に記載の合成映像配信装置。
【請求項７】
前記符号化パラメータ記憶手段は、前記端末Ａとの間であらかじめ決定した、前記合成映像のデフォルトフレームレートの情報をさらに記憶し、
前記符号化パラメータ選択手段は、前記特定した支配的な映像のフレームレートが、前記デフォルトフレームレートより低いときは、前記特定した支配的な映像のフレームレートを前記合成映像のフレームレートとして選択し、前記デフォルトフレームレート以上のときは前記デフォルトフレームレートを前記合成映像のフレームレートとして選択する
ことを特徴とする請求項６に記載の合成映像配信装置。
【請求項８】
前記第１〜第Ｎの符号化パラメータは、前記第１〜第Ｎの映像のビットレートの情報であることを特徴とする請求項３〜５のいずれか一項に記載の合成映像配信装置。
【請求項９】
前記符号化パラメータ記憶手段は、前記端末Ａとの間であらかじめ決定した、前記合成映像のデフォルトビットレートの情報をさらに記憶し、
前記符号化パラメータ選択手段は、前記特定した支配的な映像のビットレートが、前記デフォルトビットレートより低いときは、前記特定した支配的な映像のビットレートを前記合成映像のビットレートとして選択し、前記デフォルトビットレート以上のときは前記デフォルトビットレートを前記合成映像のビットレートとして選択する
ことを特徴とする請求項８に記載の合成映像配信装置。
【請求項１０】
前記符号化パラメータ選択手段は、前記端末Ａから、前記第１〜第Ｎの端末が送信する映像のうちの１つの選択を受け付け、前記端末Ａにより選択された映像の符号化パラメータを選択することを特徴とする請求項１に記載の合成映像配信装置。
【請求項１１】
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信し、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを生成し、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを生成し、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した記憶手段から、前記端末Ａと異なる他の端末のうちいずれか１つにより用いられる前記符号化パラメータを選択し、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成し、
前記符号化合成映像データを、前記端末Ａに送信する、
を備えた合成映像配信方法。
【請求項１２】
第１〜第Ｎ（Ｎは２以上の整数）の端末から、第１〜第Ｎの映像を符号化した第１〜第Ｎの符号化映像データを受信するステップと、
前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを生成するステップと、
前記第１〜第Ｎの復号化映像データを合成して、前記第１〜第Ｎの端末のうちいずれか１つである端末Ａに対して送信するべき合成映像を表す合成映像データを生成するステップと、
前記第１〜第Ｎの端末により前記第１〜第Ｎの映像を符号化する際に用いられる第１〜第Ｎの符号化パラメータを記憶した記憶手段から、前記端末Ａと異なる他の端末のうちいずれか１つにより用いられる前記符号化パラメータを選択するステップと、
選択された符号化パラメータによって前記合成映像データを符号化することにより符号化合成映像データを生成するステップと、
前記符号化合成映像データを、前記端末Ａに送信するステップと、
をコンピュータに実行させるための合成映像配信プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００９−１１７８９６（Ｐ２００９−１１７８９６Ａ）
【公開日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願番号】特願２００７−２８５１７０（Ｐ２００７−２８５１７０）
【出願日】平成１９年１１月１日（２００７．１１．１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願日】平成１９年１１月１日（２００７．１１．１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]