説明

多地点会議接続装置、多地点会議システム、多地点会議接続方法およびプログラム

【課題】多地点会議を行う際、画像サイズが互いに異なるテレビ会議端末を用いた場合であっても、それによる映像の合成処理の負荷の増加を抑える。
【解決手段】テレビ会議端末200−1,200−2から送信されてきた映像を、合成部130が、テレビ会議端末200−1,200−2それぞれにあらかじめ設定された画像サイズのうちのいずれか1つの代表画像サイズで合成映像として合成し、送信部140が、合成映像をテレビ会議端末200−1,200−2それぞれへ送信し、その際、テレビ会議端末200−1,200−2のうち、代表画像サイズ以外の画像サイズが設定されたテレビ会議端末へは、合成映像を当該テレビ会議端末に設定された画像サイズへリサイズしてから送信する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多地点に位置する複数の通信端末を用いて会議を行うための多地点会議接続装置、多地点会議システム、多地点会議接続方法およびプログラムに関する。
【背景技術】
【0002】
近年、会議を行う際に、参加者全員が1つの会議室に集まることなく、複数の拠点に設けられた通信端末を用いて行う多地点会議システム(テレビ会議システム)が普及してきている。
【0003】
この多地点会議システムで用いられる通信端末には、撮影機能および映像表示機能が具備されており、各拠点の映像が互いに送受信されて表示されることにより、あたかも1つの場所で行われている会議のように、当該会議を進行することができる。
【0004】
図17は、一般的な多地点会議システムの形態の一例を示す図である。
【0005】
図17に示した形態は、MCU1000と、テレビ会議端末2000−1,2000−2とから構成されている。ここでは、2台のテレビ会議端末2000−1,2000−2間でテレビ会議が行われる場合を例に挙げて示す。
【0006】
MCU(Multi point Control Unit)1000は、互いに異なる拠点に設置されているテレビ会議端末2000−1とテレビ会議端末2000−2とを接続するための多地点会議接続装置である。
【0007】
テレビ会議端末2000−1,2000−2は、撮影機能および映像表示機能が具備された、一般的な多地点会議システムで用いられる通信端末である。
【0008】
図18は、図17に示したMCU1000の内部構成の一例を示す図である。
【0009】
図17に示したMCU1000には図18に示すように、ポート1010−1,1010−2と、受信部1020と、合成部1030と、送信部1040とが設けられている。
【0010】
ポート1010−1,1010−2は、テレビ会議端末2000−1,2000−2とそれぞれ接続され、テレビ会議端末2000−1,2000−2との間で、信号を送受信するためのポート(例えば、接続端子)である。なお、ここでは、ポート1010−1とテレビ会議端末2000−1とが接続されており、またポート1010−2とテレビ会議端末2000−2とが接続されている場合を例に挙げて説明する。
【0011】
受信部1020は、テレビ会議端末2000−1,2000−2から送信されてきた映像信号を受信し、合成部1030が合成可能な信号形式にデコードする。また、受信部1020は、デコードした信号を合成部1030へ出力する。
【0012】
合成部1030は、受信部1020から出力されてきた信号を合成する。この合成とは、テレビ会議端末2000−1から送信されてきた映像と、テレビ会議端末2000−2から送信されてきた映像とを、あらかじめ設定されたレイアウトで合成することである。
【0013】
また、合成部1030は、合成した合成映像を送信部1040へ出力する。
【0014】
送信部1040は、合成部1030から出力されてきた合成映像をエンコードし、テレビ会議端末2000−1,2000−2へ送信する。
【0015】
このようなMCU1000と接続できるテレビ会議端末は、それぞれの画像サイズが互いに同じであることが条件である。つまり、画像サイズが互いに異なるテレビ会議端末は、MCU1000とは接続することができない。
【0016】
図19は、画像サイズが互いに異なるテレビ会議端末を接続するために考えられる多地点会議接続装置の内部構成の一例を示す図である。ここでは、ポート1010−1と接続されたテレビ会議端末2000−1の画像サイズが「1920×1080」であり、また、ポート1010−2と接続されたテレビ会議端末2000−2の画像サイズが「1280×720」である場合を例に挙げて説明する。この「1920×1080」および「1280×720」として表わされる画像サイズは、一般的な画像(映像)の解像度を示すものでもある。なお、以下の説明において、画像サイズ「1920×1080」を「1080」と称し、また、画像サイズ「1280×720」を「720」と称する。
【0017】
図19に示すようにMCU1011には、ポート1010−1,1010−2と、受信部1020と、合成部1031−1,1031−2と、送信部1040とが設けられている。
【0018】
ポート1010−1,1010−2、受信部1020および送信部1040は、図18に示したものと同じものである。
【0019】
合成部1031−1は、画像サイズ「1080」で、テレビ会議端末2000−1から送信されてきた映像と、テレビ会議端末2000−2から送信されてきた映像とを合成する。これは、合成した合成画像を、画像サイズが「1080」であるテレビ会議端末2000−1にて表示するための処理である。
【0020】
合成部1031−2は、画像サイズ「720」で、テレビ会議端末2000−1から送信されてきた映像と、テレビ会議端末2000−2から送信されてきた映像とを合成する。これは、合成した合成画像を、画像サイズが「720」であるテレビ会議端末2000−2にて表示するための処理である。
【0021】
また、各端末に応じたレイアウトや符号化を行うことにより、映像を合成する技術が考えられている(例えば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0022】
【特許文献1】特開2009−117896号公報
【発明の概要】
【発明が解決しようとする課題】
【0023】
しかしながら、上述した技術においては、画像サイズが互いに異なるテレビ会議端末が接続された場合、合成処理がその画像サイズの数(種類)分、必要となり、装置に大きな処理負荷がかかってしまうという問題点がある。
【0024】
本発明の目的は、上述した課題を解決する多地点会議接続装置、多地点会議システム、多地点会議接続方法およびプログラムを提供することである。
【課題を解決するための手段】
【0025】
本発明の多地点会議接続装置は、
複数の通信端末と接続された多地点会議接続装置であって、
前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズのうちのいずれか1つの代表画像サイズで合成映像として合成する合成部と、
前記合成映像を前記複数の通信端末それぞれへ送信する送信部とを有し、
前記送信部は、前記複数の通信端末のうち、前記代表画像サイズ以外の前記画像サイズが設定された通信端末へは、前記合成映像を該通信端末に設定された画像サイズへリサイズしてから送信する。
【0026】
また、本発明の多地点会議システムは、
撮影機能および映像表示機能を具備した複数の通信端末と、該複数の通信端末と接続された多地点会議接続装置とから構成された多地点会議システムにおいて、
前記多地点会議接続装置は、前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズのうちのいずれか1つの代表画像サイズで合成映像として合成し、該合成映像を前記複数の通信端末それぞれへ送信し、その際、前記複数の通信端末のうち、前記代表画像サイズ以外の前記画像サイズが設定された通信端末へは、前記合成映像を該通信端末に設定された画像サイズへリサイズしてから送信し、
前記複数の通信端末は、前記撮影機能を用いて撮影した映像を前記多地点会議接続装置へ送信し、前記多地点会議接続装置から送信されてきた前記合成映像を前記映像表示機能を用いて表示することを特徴とする。
【0027】
また、本発明の多地点会議接続方法は、
多地点それぞれに位置する複数の通信端末を用いて会議を行うための多地点会議接続方法であって、
前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズのうちのいずれか1つの代表画像サイズで合成映像として合成する合成処理と、
前記合成映像を前記複数の通信端末それぞれへ送信する送信処理とを行い、
前記送信処理は、前記複数の通信端末のうち、前記代表画像サイズ以外の前記画像サイズが設定された通信端末へは、前記合成映像を該通信端末に設定された画像サイズへリサイズしてから送信する。
【0028】
また、本発明のプログラムは、
複数の通信端末と接続された多地点会議接続装置に実行させるためのプログラムであって、
前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズのうちのいずれか1つの代表画像サイズで合成映像として合成する合成手順と、
前記合成映像を前記複数の通信端末それぞれへ送信する送信手順とを実行させ、
前記送信手順は、前記複数の通信端末のうち、前記代表画像サイズ以外の前記画像サイズが設定された通信端末へは、前記合成映像を該通信端末に設定された画像サイズへリサイズしてから送信する。
【発明の効果】
【0029】
以上説明したように、本発明においては、多地点会議を行う際、画像サイズが互いに異なるテレビ会議端末を用いた場合であっても、それによる映像の合成処理の負荷の増加を抑えることができる。
【図面の簡単な説明】
【0030】
【図1】本発明の多地点会議システムの実施の一形態を示す図である。
【図2】図1に示したMCUの内部構成の一例を示す図である。
【図3】図2に示した受信部の内部構成の一例を示す図である。
【図4】図2に示した合成部の内部構成の一例を示す図である。
【図5】図2に示した送信部の内部構成の一例を示す図である。
【図6】図2に示した記憶部に記憶された画像サイズの一例を示す図である。
【図7】本形態における多地点会議接続方法を説明するためのフローチャートである。
【図8】本形態における多地点会議接続方法を説明するためのフローチャートである。
【図9】図1に示したテレビ会議端末から送信されてきた映像の一例を示す図である。
【図10】図1に示したテレビ会議端末から送信されてきた映像の他の例を示す図である。
【図11】図9に示した映像と、図10に示した映像とが合成された合成映像の一例を示す図である。
【図12】図9に示した映像と、図10に示した映像とが合成された合成映像の他の例を示す図である。
【図13】アスペクト比が「11:9」であるテレビ会議端末から送信されてきた映像の一例を示す図である。
【図14】図9に示した映像と、図13に示した映像とが合成された合成映像の一例を示す図である。
【図15】アスペクト比が「16:9」である合成映像を「11:9」のアスペクト比にリサイズした映像の一例を示す図である。
【図16】本発明の多地点会議システムの実施の形態の他の例を示す図である。
【図17】一般的な多地点会議システムの形態の一例を示す図である。
【図18】図17に示したMCUの内部構成の一例を示す図である。
【図19】画像サイズが互いに異なるテレビ会議端末を接続するために考えられる多地点会議接続装置の内部構成の一例を示す図である。
【発明を実施するための形態】
【0031】
以下に、本発明の実施の形態について図面を参照して説明する。
【0032】
図1は、本発明の多地点会議システムの実施の一形態を示す図である。
【0033】
本形態は図1に示すように、MCU100と、テレビ会議端末200−1,200−2とから構成されている。ここでは、2台のテレビ会議端末200−1,200−2間でテレビ会議が行われる場合を例に挙げて示すが、テレビ会議端末が3台以上であっても良い。
【0034】
MCU(Multi point Control Unit)100は、互いに異なる拠点に設置されているテレビ会議端末200−1とテレビ会議端末200−2とを接続するための多地点会議接続装置である。
【0035】
テレビ会議端末200−1,200−2は、撮影機能および映像表示機能が具備された、一般的な多地点会議システムで用いられる通信端末である。
【0036】
図2は、図1に示したMCU100の内部構成の一例を示す図である。
【0037】
図1に示したMCU100には図2に示すように、ポート110−1,110−2と、受信部120と、合成部130と、送信部140と、制御部150と、記憶部160とが設けられている。
【0038】
ポート110−1,110−2は、テレビ会議端末200−1,200−2とそれぞれ接続され、テレビ会議端末200−1,200−2との間で、信号を送受信するためのポート(例えば、接続端子)である。なお、ここでは、ポート110−1とテレビ会議端末200−1とが接続されており、またポート110−2とテレビ会議端末200−2とが接続されている場合を例に挙げて説明する。また、図2に示した形態では、ポートの数が2つである場合を例に挙げて示しているが、3つ以上であっても良い。
【0039】
受信部120は、テレビ会議端末200−1,200−2から送信されてきた映像信号を、ポート110−1,110−2を介して受信する。また、受信部120は、受信した映像信号を合成部130が合成可能な信号形式にデコードする。また、受信部120は、デコードした信号を合成部130へ出力する。
【0040】
図3は、図2に示した受信部120の内部構成の一例を示す図である。
【0041】
図2に示した受信部120には図3に示すように、上述したデコード処理を行うデコーダ121が設けられている。
【0042】
デコーダ121は、デコード処理を行う際、受信した映像信号の画像サイズに応じたデコード処理を行う。この画像サイズは、テレビ会議端末200−1,200−2それぞれにあらかじめ設定されたものであり、テレビ会議端末200−1,200−2から送信されてきた呼制御信号に含まれる(呼制御信号を用いて取得した)情報にて示されているものを用いる。例えば、テレビ会議端末200−1から送信されてきた呼制御信号に含まれる情報にて示されている画像サイズが「1080」である場合、テレビ会議端末200−1からポート110−1を介して送信されてくる映像信号に対して、画像サイズ「1080」に応じたデコード処理を行う。また、テレビ会議端末200−2から送信されてきた呼制御信号に含まれる情報にて示されている画像サイズが「720」である場合、テレビ会議端末200−2からポート110−2を介して送信されてくる映像信号に対して、画像サイズ「720」に応じたデコード処理を行う。これらのデコード処理は、一般的に行われているもので良い。
【0043】
また、このとき、デコーダ121は、呼制御信号に含まれている、テレビ会議端末200−1,200−2に設定されている映像品質の違いを示す規格として用いられる「i(インターレース方式)」や「p(プログレッシブ方式)」に応じたデコード処理を行う。例えば、テレビ会議端末200−1に設定されている規格が「1080i」である場合、テレビ会議端末200−1から送信されてきた映像に対して、「1080i」に応じたデコード処理を行う。また、テレビ会議端末200−2に設定されている規格が「720p」である場合、テレビ会議端末200−2から送信されてきた映像に対して、「720p」に応じたデコード処理を行う。
【0044】
また、デコーダ121は、テレビ会議端末200−1,200−2から送信されてきた呼制御信号を制御部150へ出力する。
【0045】
また、デコーダ121は、デコード処理を施した映像データを合成部130へ出力する。
【0046】
合成部130は、受信部120から出力されてきた信号を合成する。この合成とは、テレビ会議端末200−1から送信されてきた映像と、テレビ会議端末200−2から送信されてきた映像とを、あらかじめ設定されたレイアウトで合成することである。
【0047】
図4は、図2に示した合成部130の内部構成の一例を示す図である。
【0048】
図2に示した合成部130には図4に示すように、リサイズ部131と、ミキシング部132とが設けられている。
【0049】
リサイズ部131は、テレビ会議端末200−1,200−2に設定された画像サイズのうちのいずれか1つの画像サイズ(代表画像サイズ)以外の画像サイズが設定されたテレビ会議端末から送信されてきた映像を、代表画像サイズへリサイズしてミキシング部132へ出力する。一方、代表画像サイズが設定されたテレビ会議端末から送信されてきた映像については、リサイズは行わずに、ミキシング部132へ出力する。
【0050】
なお、代表画像サイズは、テレビ会議端末200−1,200−2に設定された画像サイズのうち最大の画像サイズを用いることが望ましい。それは、この代表画像サイズは、ミキシング部132にて映像を合成する際にも使用するため、最大の画像サイズとしておけば、合成した映像の解像度が下がることによる画質の劣化を防ぐことができるからである。
【0051】
例えば、テレビ会議端末200−1に設定された画像サイズが「1080」であり、またテレビ会議端末200−2に設定された画像サイズが「720」である場合、代表画像サイズは、「1080」が用いられる。
【0052】
また、この画像サイズは、制御部150から通知されてきたものを使用する。
【0053】
ミキシング部132は、リサイズ部131から出力されてきた映像を、代表画像サイズで合成映像として合成する。つまり、テレビ会議端末200−1から送信されてきた映像と、テレビ会議端末200−2から送信されてきた映像とを、最大の画像サイズで合成する。このとき、ミキシング部132は、これらの映像をあらかじめ設定されたレイアウトで合成する。そのレイアウトについては、後述する。また、ミキシング部132は、合成映像を送信部140へ出力する。
【0054】
送信部140は、ミキシング部132から出力されてきた合成映像を、ポート110−1,110−2を介してテレビ会議端末200−1,200−2それぞれへ送信する。
【0055】
図5は、図2に示した送信部140の内部構成の一例を示す図である。
【0056】
図2に示した送信部140には図5に示すように、リサイズ部141と、エンコーダ142とが設けられている。
【0057】
リサイズ部141は、代表画像サイズ以外の画像サイズが設定されたテレビ会議端末へ送信する合成映像を、当該テレビ会議端末に設定された画像サイズへリサイズしてエンコーダ142へ出力する。一方、代表画像サイズが設定されたテレビ会議端末へ送信する合成映像については、リサイズは行わずに、エンコーダ142へ出力する。なお、ここで用いる代表画像サイズは、合成部130にて用いた代表画像サイズと同じものである。
【0058】
エンコーダ142は、リサイズ部141から出力されてきた合成画像を、テレビ会議端末200−1,200−2それぞれへ送信するためのエンコードを行う。例えば、テレビ会議端末200−1の画像サイズが「1080」である場合、画像サイズ「1080」に応じたエンコード処理を行う。また、テレビ会議端末200−2の画像サイズが「720」である場合、画像サイズ「720」に応じたエンコード処理を行う。これらのエンコード処理は、一般的に行われているもので良い。
【0059】
また、このとき、エンコーダ142は、上述したデコーダ121と同様に、「i(インターレース方式)」や「p(プログレッシブ方式)」に応じたエンコード処理を行う。例えば、テレビ会議端末200−1に設定されている規格が「1080i」である場合、テレビ会議端末200−1へ送信する合成映像に対して、「1080i」に応じたエンコード処理を行う。また、テレビ会議端末200−2に設定されている規格が「720p」である場合、テレビ会議端末200−2へ送信する合成映像に対して、「720p」に応じたエンコード処理を行う。
【0060】
また、エンコーダ142は、エンコード処理を行った合成画像を、ポート110−1,110−2を介してテレビ会議端末200−1,200−2それぞれへ送信する。
【0061】
なお、リサイズ部141およびエンコーダ142で使用する画像サイズは、制御部150から通知されてきたものを使用する。
【0062】
制御部150は、デコーダ121から出力されてきた、テレビ会議端末200−1,200−2それぞれから送信されてきた呼制御信号から、画像サイズを抽出し、抽出した画像サイズを合成部130および送信部140へ通知する。また、制御部150は、デコーダ121から出力されてきた、テレビ会議端末200−1,200−2それぞれから送信されてきた呼制御信号から、上述した規格を示す情報を抽出し、抽出した情報が示す規格を送信部140へ通知する。
【0063】
また、制御部150は、呼制御信号から抽出した画像サイズをポート110−1,110−2ごとに記憶部160に記憶させておくものであっても良い。この場合、画像サイズを合成部130または送信部140へ通知する必要があるときに、記憶部160から読み出して通知する。
【0064】
記憶部160は、ポート110−1,110−2ごとに画像サイズを記憶する。
【0065】
図6は、図2に示した記憶部160に記憶された画像サイズの一例を示す図である。
【0066】
図2に示した記憶部160には図6に示すように、ポート番号と画像サイズとが対応付けられて記憶されている。
【0067】
ポート番号は、ポート110−1とポート110−2とを識別可能な識別情報である。このポート番号と画像サイズとが対応付けられることにより、当該ポート番号に相当するポートと接続されているテレビ会議端末の画像サイズを認識することができる。
【0068】
例えば、図6に示すように、ポート番号「110−1」と、画像サイズ「1080」とが対応付けられて記憶されている。これは、ポート番号「110−1」であるポート110−1と接続されたテレビ会議端末(ここでは、テレビ会議端末200−1)の画像サイズが「1080」であることを示している。また、ポート番号「110−2」と、画像サイズ「720」とが対応付けられて記憶されている。これは、ポート番号「110−2」であるポート110−2と接続されたテレビ会議端末(ここでは、テレビ会議端末200−2)の画像サイズが「720」であることを示している。
【0069】
制御部150は、このように記憶部160に記憶されている画像サイズを、ポート番号を検索キーとして読み出すことにより、合成部130および送信部140へ通知することができる。
【0070】
以下に、本形態における多地点会議接続方法について説明する。なお、以下の説明においては、テレビ会議端末200−1に設定されている画像サイズが「1080」、規格が「1080i」であり、また、テレビ会議端末200−2に設定されている画像サイズが「720」、規格が「720p」である場合を例に挙げて説明する。また、それぞれの画像サイズが「1080」と「720」であるため、それらのうち最大の画像サイズである「1080」が代表画像サイズとなる。
【0071】
まずは、本形態における多地点会議接続方法のうち、図1に示したテレビ会議端末200−2から送信されてきた映像を受信してからテレビ会議端末200−2へ送信するまでの処理方法について説明する。
【0072】
図7は、本形態における多地点会議接続方法のうち、図1に示したテレビ会議端末200−2から送信されてきた映像を受信してからテレビ会議端末200−2へ送信するまでの処理方法を説明するためのフローチャートである。
【0073】
まず、テレビ会議端末200−2から送信されてきた映像が、ポート110−2にて受信されると(ステップS1)、受信した映像についてデコーダ121にてデコード処理が行われる(ステップS2)。この場合、テレビ会議端末200−2から送信されてきた映像に対してデコード処理が行われるため、規格「720p」に応じたデコード処理が行われる。
【0074】
デコード処理された映像がデコーダ121からリサイズ部131へ出力されると、本映像は代表画像サイズ以外が設定されたテレビ会議端末200−2から送信されてきた(ポート110−2にて受信した)ものであるため、リサイズ部131にて画像サイズ「1080」へリサイズされる(ステップ3)。
【0075】
すると、ミキシング部132にて、当該映像と、テレビ会議端末200−1から送信されてきて後述するステップS11およびS12の処理が行われた映像とが所定のレイアウトで合成される(ステップS4)。合成された合成映像はミキシング部132から送信部140へ出力される。
【0076】
すると、この合成映像が送信部140からテレビ会議端末200−1,200−2へ送信されるわけだが、テレビ会議端末200−2の画像サイズは代表画像サイズではないため、テレビ会議端末200−2へ送信される合成映像は、リサイズ部141にて画像サイズ「720」へリサイズされる(ステップS5)。
【0077】
リサイズされた合成映像は、エンコーダ142にて、テレビ会議端末200−2に設定されている規格「720p」に応じたエンコード処理が行われる(ステップS6)。
【0078】
そして、エンコード処理された合成映像が、エンコーダ142からポート110−2を介してテレビ会議端末200−2へ送信される(ステップS7)。
【0079】
このように送信された合成映像は、テレビ会議端末200−2の画像サイズおよび規格に応じたものとなっているため、テレビ会議端末200−2にて表示することができる。
【0080】
次に、本形態における多地点会議接続方法のうち、図1に示したテレビ会議端末200−1から送信されてきた映像を受信してからテレビ会議端末200−1へ送信するまでの処理方法について説明する。
【0081】
図8は、本形態における多地点会議接続方法のうち、図1に示したテレビ会議端末200−1から送信されてきた映像を受信してからテレビ会議端末200−1へ送信するまでの処理方法を説明するためのフローチャートである。
【0082】
まず、テレビ会議端末200−1から送信されてきた映像が、ポート110−1にて受信されると(ステップS11)、受信した映像についてデコーダ121にてデコード処理が行われる(ステップS12)。この場合、テレビ会議端末200−1から送信されてきた映像に対してデコード処理が行われるため、規格「1080i」に応じたデコード処理が行われる。
【0083】
デコード処理された映像がデコーダ121からリサイズ部131へ出力されると、本映像は代表画像サイズが設定されたテレビ会議端末200−1から送信されてきた(ポート110−1にて受信した)ものであるため、リサイズ部131におけるリサイズ処理は行われない。
【0084】
そして、ミキシング部132にて、当該映像と、テレビ会議端末200−2から送信されてきて上述したステップS1〜S3の処理が行われた映像とが所定のレイアウトで合成される(ステップS13)。合成された合成映像はミキシング部132から送信部140へ出力される。
【0085】
すると、この合成映像が送信部140からテレビ会議端末200−1,200−2へ送信されるわけだが、テレビ会議端末200−1の画像サイズは代表画像サイズであるため、テレビ会議端末200−1へ送信される合成映像は、リサイズ部141におけるリサイズ処理は行われない。
【0086】
その後、この合成映像は、エンコーダ142にて、テレビ会議端末200−1に設定されている規格「1080i」に応じたエンコード処理が行われる(ステップS14)。
【0087】
そして、エンコード処理された合成映像が、エンコーダ142からポート110−1を介してテレビ会議端末200−1へ送信される(ステップS15)。
【0088】
このように送信された合成映像は、テレビ会議端末200−1の画像サイズおよび規格に応じたものとなっているため、テレビ会議端末200−1にて表示することができる。
【0089】
図7に示したフローチャートを用いて説明した処理と、図8に示したフローチャートを用いて説明した処理とを比較すると、代表画像サイズ以外の画像サイズが設定されたテレビ会議端末200−2に対しては、画像サイズを「リサイズ」する必要がある。しかし、背景技術で説明したような、それぞれの画像サイズに応じた合成処理を1つずつ設けるよりも、処理負担が軽いというメリットがある。
【0090】
以下に、合成する映像のレイアウトについて説明する。
【0091】
図9は、図1に示したテレビ会議端末200−1から送信されてきた映像の一例を示す図である。
【0092】
図9に示すように、テレビ会議端末200−1からは、テレビ会議端末200−1を用いて会議に参加している男性の映像が送信されてきている。
【0093】
図10は、図1に示したテレビ会議端末200−2から送信されてきた映像の一例を示す図である。
【0094】
図10に示すように、テレビ会議端末200−2からは、テレビ会議端末200−2を用いて会議に参加している女性の映像が送信されてきている。
【0095】
図11は、図9に示した映像と、図10に示した映像とが合成された合成映像の一例を示す図である。
【0096】
図11に示すように、合成映像を表示する領域が、互いに同じ大きさの4つの表示領域300−1〜300−4に分割されたレイアウトで、所定の位置に図9に示した映像と、図10に示した映像とが合成される。ここでは、図9に示した映像が表示領域300−1に、また図10に示した映像が表示領域300−2にレイアウトされて合成される。
【0097】
図12は、図9に示した映像と、図10に示した映像とが合成された合成映像の他の例を示す図である。
【0098】
図12に示すように、合成映像を表示する領域が、1つの表示領域301−1と、表示領域301−1の大きさとは異なり、互いに同じ大きさの5つの表示領域301−2〜301−6とに分割されたレイアウトで、所定の位置に図9に示した映像と、図10に示した映像とが合成される。ここでは、図9に示した映像が表示領域301−1に、また図10に示した映像が表示領域301−2にレイアウトされて合成される。
【0099】
なお、図11および図12に示した以外のレイアウトであっても良い。また、図11および図12に示したように、それぞれの映像が合成される領域があらかじめ設定されているものであっても良いし、外部から設定できるものであっても良い。
【0100】
以上、画像サイズが「1080」や「720」である場合を例に挙げて説明した。これらの画像の表示のアスペクト比は「16:9」である。
【0101】
近年、携帯端末等で使用されているCIF(Common Intermediate Format)という規格が存在する。このCIFでは、映像をアスペクト比「11:9」で表示を行う。このような「16:9」とは異なるアスペクト比を持つテレビ会議端末が接続されている場合の合成部130における合成処理について、以下に説明する。以下の説明では、図1に示したテレビ会議端末200−2のアスペクト比が「11:9」である場合を例に挙げて説明する。
【0102】
図13は、アスペクト比が「11:9」であるテレビ会議端末200−2から送信されてきた映像の一例を示す図である。
【0103】
図13に示すように、テレビ会議端末200−2からは、アスペクト比が「11:9」である映像が送信されてきている。
【0104】
図14は、図9に示した映像と、図13に示した映像とが合成された合成映像の一例を示す図である。
【0105】
図14に示すように、合成映像を表示する領域が、図11と同様に互いに同じ大きさの4つの表示領域300−1〜300−4に分割されたレイアウトで、所定の位置に図9に示した映像と、図13に示した映像とが合成される。ここでは、図9に示した映像が表示領域300−1に、また図13に示した映像が表示領域300−2にレイアウトされて合成される。
【0106】
ここで、表示領域300−1〜300−4のそれぞれのアスペクト比は「16:9」であるのに対して、図13に示した映像のアスペクト比は「11:9」である。そのため、アスペクト比が「11:9」である映像を「16:9」のアスペクト比の映像へ合わせる必要がある。
【0107】
アスペクト比が「11:9」である映像を「16:9」のアスペクト比の映像へ合わせるには、横方向に当該映像を引きのばす方法があるが、正確な映像を表示する意味では適切ではない。
【0108】
そこで、それぞれのアスペクト比を変更せずに維持したまま表示させるために、図14に示すように、アスペクト比が「11:9」である映像の左右に、「16:9」のアスペクト比に合わせるための黒い帯を挿入して合成する。
【0109】
このように、接続されているテレビ会議端末それぞれのアスペクト比に基づいて、映像を合成する。その合成映像のアスペクト比は「16:9」である。
【0110】
合成映像のアスペクト比が「16:9」であるため、アスペクト比が「11:9」であるテレビ会議端末200−2へ当該合成映像を送信部140から送信するには、アスペクト比「11:9」に基づいて当該合成映像をリサイズしてから送信する必要がある。
【0111】
図15は、アスペクト比が「16:9」である合成映像を「11:9」のアスペクト比にリサイズした映像の一例を示す図である。
【0112】
図14に示すようにアスペクト比が「16:9」で合成された映像に、図15に示すように、当該映像の上下に「11:9」のアスペクト比に合わせるための黒い帯を挿入してリサイズする。これにより、当該映像を横方向に縮小させたり、縦方向に引きのばしたりすることなく、表示させることができる。
【0113】
このように、送信先のテレビ会議端末それぞれのアスペクト比に基づいて、映像をリサイズする。これにより、送信先のテレビ会議端末それぞれのアスペクト比で映像を表示させることが可能となる。
【0114】
図16は、本発明の多地点会議システムの実施の形態の他の例を示す図である。
【0115】
本形態は図16に示すように、図1に示した形態に加えて、予約サーバ400が設けられている。
【0116】
予約サーバ400は、会議の予約を受け付け、管理するサーバである。予約サーバ400は、テレビ会議端末200−1,200−2からあらかじめ送信されてきた内容(会議を行う時間情報や会議を行う端末情報等)を登録して管理する。管理方法は、一般的なものであれば良く、互いに異なる複数の会議が重ならないように制御したり、会議のキャンセルや、時間の延長等を制御したりして管理する。
【0117】
なお、以上の説明において、送受信される音声信号については、一般的な多地点会議システムにおける音声処理と同じ処理が行われるものであり、本発明に特化したものではないため、記載を省略した。
【0118】
以上説明したように、本発明においては、画像サイズが互いに異なるテレビ会議端末を用いて多地点会議を行う場合であっても、それらのテレビ会議端末の画像サイズに応じたリサイズ処理を行うことにより、複数の映像合成処理を行う必要がなくなる。これにより、映像の合成処理の負荷の増加を抑えることが可能となる。
【0119】
上述したMCU100に設けられた各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム(以下、プログラムと称する)をMCU100にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムをMCU100に読み込ませ、実行するものであっても良い。MCU100にて読取可能な記録媒体とは、フロッピー(登録商標)ディスク、光磁気ディスク、DVD、CDなどの移設可能な記録媒体の他、MCU100に内蔵された記憶部160、ROM、RAM等のメモリやHDD等を指す。この記録媒体に記録されたプログラムは、MCU100に設けられた制御部150にて読み込まれ、制御部150の制御によって、上述したものと同様の処理が行われる。ここで、制御部150は、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。
【符号の説明】
【0120】
100 MCU
110−1,110−2 ポート
120 受信部
121 デコーダ
130 合成部
131,141 リサイズ部
132 ミキシング部
142 エンコーダ
140 送信部
150 制御部
160 記憶部
200−1,200−2 テレビ会議端末
300−1〜300−4,301−1〜301−6 表示領域
400 予約サーバ

【特許請求の範囲】
【請求項1】
複数の通信端末と接続された多地点会議接続装置であって、
前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズのうちのいずれか1つの代表画像サイズで合成映像として合成する合成部と、
前記合成映像を前記複数の通信端末それぞれへ送信する送信部とを有し、
前記送信部は、前記複数の通信端末のうち、前記代表画像サイズ以外の前記画像サイズが設定された通信端末へは、前記合成映像を該通信端末に設定された画像サイズへリサイズしてから送信する多地点会議接続装置。
【請求項2】
請求項1に記載の多地点会議接続装置において、
前記合成部は、前記代表画像サイズとして、前記複数の通信端末それぞれに設定された画像サイズのうちの最大の画像サイズを用いることを特徴とする多地点会議接続装置。
【請求項3】
請求項1に記載の多地点会議接続装置において、
前記合成部は、前記複数の通信端末のうち、前記代表画像サイズ以外の前記画像サイズが設定された通信端末から送信されてきた映像を、前記代表画像サイズへリサイズしてから合成することを特徴とする多地点会議接続装置。
【請求項4】
請求項1に記載の多地点会議接続装置において、
前記合成部は、前記映像を所定のレイアウトで合成することを特徴とする多地点会議接続装置。
【請求項5】
請求項1に記載の多地点会議接続装置において、
前記複数の通信端末それぞれから送信されてきた呼制御信号に含まれる前記画像サイズを前記合成部と前記送信部とへ通知する制御部を有することを特徴とする多地点会議接続装置。
【請求項6】
請求項1に記載の多地点会議接続装置において、
前記合成部は、前記複数の通信端末それぞれにおける表示のアスペクト比に基づいて、前記映像を合成し、
前記送信部は、前記複数の通信端末それぞれにおける表示のアスペクト比に基づいて、前記合成映像をリサイズすることを特徴とする多地点会議接続装置。
【請求項7】
撮影機能および映像表示機能を具備した複数の通信端末と、該複数の通信端末と接続された多地点会議接続装置とから構成された多地点会議システムにおいて、
前記多地点会議接続装置は、前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズのうちのいずれか1つの代表画像サイズで合成映像として合成し、該合成映像を前記複数の通信端末それぞれへ送信し、その際、前記複数の通信端末のうち、前記代表画像サイズ以外の前記画像サイズが設定された通信端末へは、前記合成映像を該通信端末に設定された画像サイズへリサイズしてから送信し、
前記複数の通信端末は、前記撮影機能を用いて撮影した映像を前記多地点会議接続装置へ送信し、前記多地点会議接続装置から送信されてきた前記合成映像を前記映像表示機能を用いて表示することを特徴とする多地点会議システム。
【請求項8】
多地点それぞれに位置する複数の通信端末を用いて会議を行うための多地点会議接続方法であって、
前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズのうちのいずれか1つの代表画像サイズで合成映像として合成する合成処理と、
前記合成映像を前記複数の通信端末それぞれへ送信する送信処理とを行い、
前記送信処理は、前記複数の通信端末のうち、前記代表画像サイズ以外の前記画像サイズが設定された通信端末へは、前記合成映像を該通信端末に設定された画像サイズへリサイズしてから送信する多地点会議接続方法。
【請求項9】
請求項8に記載の多地点会議接続方法において、
前記合成処理は、前記代表画像サイズとして、前記複数の通信端末それぞれに設定された画像サイズのうちの最大の画像サイズを用いることを特徴とする多地点会議接続方法。
【請求項10】
請求項8に記載の多地点会議接続方法において、
前記合成処理は、前記複数の通信端末のうち、前記代表画像サイズ以外の前記画像サイズが設定された通信端末から送信されてきた映像を、前記代表画像サイズへリサイズしてから合成することを特徴とする多地点会議接続方法。
【請求項11】
請求項8に記載の多地点会議接続方法において、
前記合成処理は、前記映像を所定のレイアウトで合成することを特徴とする多地点会議接続方法。
【請求項12】
請求項8に記載の多地点会議接続方法において、
前記複数の通信端末それぞれから、前記画像サイズを取得する処理を行うことを特徴とする多地点会議接続方法。
【請求項13】
請求項8に記載の多地点会議接続方法において、
前記合成処理は、前記複数の通信端末それぞれにおける表示のアスペクト比に基づいて、前記映像を合成し、
前記送信処理は、前記複数の通信端末それぞれにおける表示のアスペクト比に基づいて、前記合成映像をリサイズすることを特徴とする多地点会議接続方法。
【請求項14】
複数の通信端末と接続された多地点会議接続装置に実行させるためのプログラムであって、
前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズのうちのいずれか1つの代表画像サイズで合成映像として合成する合成手順と、
前記合成映像を前記複数の通信端末それぞれへ送信する送信手順とを実行させ、
前記送信手順は、前記複数の通信端末のうち、前記代表画像サイズ以外の前記画像サイズが設定された通信端末へは、前記合成映像を該通信端末に設定された画像サイズへリサイズしてから送信するプログラム。
【請求項15】
請求項14に記載のプログラムにおいて、
前記合成手順は、前記代表画像サイズとして、前記複数の通信端末それぞれに設定された画像サイズのうちの最大の画像サイズを用いることを特徴とするプログラム。
【請求項16】
請求項14に記載のプログラムにおいて、
前記合成手順は、前記複数の通信端末のうち、前記代表画像サイズ以外の前記画像サイズが設定された通信端末から送信されてきた映像を、前記代表画像サイズへリサイズしてから合成することを特徴とするプログラム。
【請求項17】
請求項14に記載のプログラムにおいて、
前記合成手順は、前記映像を所定のレイアウトで合成することを特徴とするプログラム。
【請求項18】
請求項14に記載のプログラムにおいて、
前記複数の通信端末それぞれから、前記画像サイズを取得する手順を実行させるためのプログラム。
【請求項19】
請求項14に記載のプログラムにおいて、
前記合成手順は、前記複数の通信端末それぞれにおける表示のアスペクト比に基づいて、前記映像を合成し、
前記送信手順は、前記複数の通信端末それぞれにおける表示のアスペクト比に基づいて、前記合成映像をリサイズすることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate