通信システム
【課題】複数の端末間に複数の中継装置を設けることにより、ネットワークの負荷を集中させずに低減させることができる通信システムおよび通信方法を提供すること。
【解決手段】本発明の実施形態に係る会議システム１００は、各中継装置２において、各端末１において生成された映像データが必要最小限の画素数に調整されているから、各端末１における表示品位を劣化させずに、他の端末１によって映像データが受信されるまでの各中継装置２間、および端末１と中継装置２との間の通信経路における通信帯域を効率よく使用することができる。したがって、ネットワークの負荷を低減することができ、負荷の集中も発生しないようにすることができる。
【解決手段】本発明の実施形態に係る会議システム１００は、各中継装置２において、各端末１において生成された映像データが必要最小限の画素数に調整されているから、各端末１における表示品位を劣化させずに、他の端末１によって映像データが受信されるまでの各中継装置２間、および端末１と中継装置２との間の通信経路における通信帯域を効率よく使用することができる。したがって、ネットワークの負荷を低減することができ、負荷の集中も発生しないようにすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議システムなどの双方向の映像データ送受信におけるネットワークの利用効率を向上する技術に関する。
【背景技術】
【０００２】
遠隔地にいる複数の利用者間において、映像、音声の双方向コミュニケーションを行うことができる会議システムが普及し始めている。この会議システムは、各拠点の利用者が端末を利用して、端末間で互いに映像データ、音声データの送受信を行うことにより、双方向のコミュニケーションを実現する。
【０００３】
このような会議システムにおいては、端末間で互いに映像データを送受信するため、ネットワークの負荷が大きくなり、ネットワークの通信帯域によっては、高品位な映像データの送受信が困難となってしまうことがあった。これを解決するため、例えば、特許文献１には、多地点制御装置（ＭＣＵ：Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を利用し、各端末から送信される映像データを多地点制御装置で一旦受信して、各端末のモニタに表示させるレイアウトに応じた映像データを端末ごとに生成して、その映像データを送信することにより、ネットワークの負荷を低減させる技術が開示されている。また、このときに、各端末に送信する映像データに係るレイアウトに必要な映像サイズのデータを受信するようにして、さらにネットワークの負荷を低減する技術についても開示されている。
【特許文献１】特開２００７−８１８６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術のように多地点制御装置を用いることにより、ネットワークの負荷を低減させることができるが、一方、多地点制御装置への映像データの送受信が非常に多くなるため、一部にネットワークの負荷が集中してしまう。また、多地点制御装置において、各端末から送信される多くの映像データからレイアウトに応じた映像データの生成を端末に応じた数だけ行う必要があり、処理の負荷も大きなものとなる。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、複数の端末間に複数の中継装置を設けることにより、ネットワークの負荷を集中させずに低減させることができる通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、複数の端末の各々によって生成される映像データであって、その生成元の前記端末を特定する端末情報が付加された映像データが前記端末間において送受信される際の中継を行う複数の中継装置と、前記複数の中継装置を制御するコントローラとを有する通信システムにおいて、前記複数の中継装置の各々は、前記端末または他の前記中継装置から、前記映像データを受信する受信手段と、前記受信手段によって受信された映像データに係る映像の画素数を、前記コントローラの制御に応じて当該画素数以下に調整することにより、前記調整した画素数の映像データを生成する調整手段と、前記調整手段によって生成された映像データを、前記受信手段が当該映像データを受信した前記端末または他の前記中継装置以外の前記端末または他の前記中継装置に対して送信する送信手段とを具備し、前記コントローラは、前記各端末において受信すべき映像データに係る映像の画素数と当該映像データの生成元となる各端末とを対応させて指定する要求データを、前記複数の端末の各々から取得する取得手段と、前記受信手段によって受信された映像データに係る映像の画素数が、前記取得手段によって取得された前記各要求データに基づく画素数に調整されるように、前記調整手段を制御する制御手段とを具備することを特徴とする通信システムを提供する。
【０００７】
また、別の好ましい態様において、前記制御手段による前記調整手段の制御には、一の映像データに対して、当該映像データに係る映像の画素数の調整を複数行うことにより、画素数が異なる複数の映像データを生成させる制御を含み、前記送信手段は、前記調整手段によって生成された映像データが複数であるときには、前記複数の映像データの各々を、異なる前記端末または他の前記中継装置に対して送信することを特徴とする。
【０００８】
また、別の好ましい態様において、前記制御手段は、前記受信手段によって受信された映像データに係る映像の画素数が、当該映像データの画素数の調整によって生成される映像データの送信先となり得る端末に係る要求データが指定する画素数であって、当該映像データの生成元となる端末に対応する画素数のうち、最も多い画素数以下になるように、前記調整手段を制御することを特徴とする。
【０００９】
また、別の好ましい態様において、前記取得手段によって取得される要求データは、前記要求データが取得された端末の表示手段に表示させる表示内容を示すものであって、前記調整手段によって調整された複数の映像データに係る映像が配置される領域を指定し、前記送信手段は、前記端末に対して送信するときには、前記調整手段によって調整された各映像データを前記コントローラの制御に応じて合成して送信し、前記コントローラは、前記送信手段によって送信される映像データを受信した前記端末の表示手段に表示させると、前記取得手段によって取得される要求データに応じた表示内容であって、前記調整手段によって調整された複数の映像データに係る映像が各々前記配置される領域に対応して配置された表示内容になるように、前記送信手段による映像データの合成を制御する合成制御手段をさらに具備することを特徴とする。
【００１０】
また、別の好ましい態様において、前記中継装置の各々は、前記送信手段によって映像データが送信される前記端末または他の前記中継装置への通信経路の通信帯域を測定する帯域測定手段と、前記帯域測定手段によって測定された各通信経路の通信帯域を示す帯域データを前記コントローラに送信する帯域データ送信手段とをさらに具備し、前記調整手段は、さらに前記コントローラの制御に応じて、前記画素数が調整された映像データのビットレートを当該ビットレート以下になるように調整し、前記コントローラは、前記帯域データを受信する帯域データ受信手段と、前記各通信経路において送受信される各映像データのビットレートの総計が、前記帯域データ受信手段によって受信した帯域データが示す前記各通信経路の通信帯域において送受信可能な最大ビットレート以下になるように、前記調整手段を制御するビットレート制御手段とをさらに具備することを特徴とする。
【００１１】
また、別の好ましい態様において、前記調整手段は、映像データに係る映像の解像度を減少させることにより画素数を調整することを特徴とする。
【００１２】
また、別の好ましい態様において、前記調整手段は、映像データに係る映像の一部を切り出すことにより画素数を調整することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、複数の端末間に複数の中継装置を設けることにより、ネットワークの負荷を集中させずに低減させることができる通信システムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施形態について説明する。
【００１５】
＜実施形態＞
本発明の実施形態に係る通信システムの一態様である会議システム１００は、図１に示すように、複数の端末１−１、１−２、１−３、１−４（以下、それぞれを区別しないときには端末１という）、複数の中継装置２−１、２−２、２−３（以下、それぞれを区別しないときには中継装置２という）、コントローラ３を有している。この例においては、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク４には、中継装置２−１、２−２およびコントローラ３が接続されている。また、端末１−１は中継装置２−１に、端末１−２および中継装置２−３は中継装置２−２に、端末１−３、１−４は中継装置２−３にそれぞれＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続されている。そして、この端末１−１、１−２、１−３、１−４は、それぞれ拠点Ａ、拠点Ｂ、拠点Ｃ、拠点Ｄに設置されている。
【００１６】
この会議システム１００は、各端末１において生成された映像データ、音声データが各端末１間で送受信される際に、中継装置２は、これらの各データを中継する。この中継装置２によって映像データが中継されるときに、コントローラ３の制御によって、その映像データに係る映像の画素数が調整されるようになっている。以下、会議システム１００を構成する各々について、その構成を順に説明する。ここで、以下の説明においては、映像データの送受信に係る説明をするが、音声データについても映像データに同期して各端末１間において送受信がなされているものとする。
【００１７】
端末１は、コンピュータなどであって、図２に示すように、撮影部１０１、表示部１２４、操作部１１１などを有している。以下に説明する端末１の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【００１８】
撮影部１０１は、撮像素子を有するデジタルビデオカメラなどの撮影手段であって、利用者などを撮影し、その撮影内容を示す映像データを生成して、エンコード部１０２および合成部１２３に出力する。この撮影部１０１の撮像素子は、横１１５２ピクセル、縦８６４ピクセル（以下、１１５２×８６４のように表示する）の画素数（ＸＧＡ＋）による撮影が可能である。そのため、撮影部１０１が生成する映像データに係る映像の画素数は、１１５２×８６４となり、図３に示すように、その座標は、左上（０，０）、右上（１１５１，０）、左下（０，８６３）、右下（１１５１，８６３）と表される。そして、撮影部１０１は、端末１の利用者を撮影することにより、生成された映像データに係る映像には、端末１の利用者５００が含まれているものとなる。なお、撮影部１０１に代えて、制御部によって生成されるプレゼンテーション用の映像を示す映像データがエンコード部１０２、合成部１２３に出力されてもよい。
【００１９】
エンコード部１０２は、撮影部１０１から出力された映像データを符号化して、送信部１０３に出力する。
【００２０】
送信部１０３は、エンコード部１０２によって符号化された映像データに送信する端末１を示す端末情報を付加して、この端末１に接続される中継装置２に送信する。
【００２１】
操作部１１１は、マウス、キーボードなどの操作手段である。この例においては、利用者によって操作部１１１が所定の操作をされることによって、他の各端末１において生成される映像データを受信して表示部１２４の表示領域に表示させるときのレイアウトが決定される。このように決定されるレイアウトは、受信する映像データの数に応じて、様々なレイアウトが可能であって、予め記憶される複数のテンプレートから選択することにより決定してもよいし、利用者が操作部１１１を操作して所望のレイアウトを決定してもよい。
【００２２】
このようなレイアウトの一例としては、例えば、図４、図５に示すようなレイアウトが挙げられる。これらの図は、表示部１２４の表示領域に表示される表示内容を例示したものであって、各拠点の端末１を生成元とする映像データに係る映像を、表示部１２４の表示領域のうち、どの領域に表示させるかを示したものである。例えば、図５に示した例であれば、表示領域を４分割し、左上の領域は拠点Ａに設置された端末１−１を生成元とする映像データに係る映像を表示させる領域とし、同様に拠点Ｂに係る映像は右上、拠点Ｃに係る映像は左下、拠点Ｄに係る映像は右下に表示されるレイアウトを示している。ここで、後述するように各端末１における表示部１２４の表示領域は、１１５２×８６４の画素数により構成されている。
【００２３】
この例においては、拠点Ａに設置された端末１−１の利用者は、図４（ａ）に示すようなレイアウトを決定し、拠点Ｃに設置された端末１−３の利用者は、図４（ｂ）に示すようなレイアウトを決定し、拠点Ｂ、Ｄにそれぞれ設置された端末１−２、１−４の利用者は、図５に示すようなレイアウトを決定したものとする。なお、この各レイアウトは、それぞれ他の映像が表示される領域と重複した領域を持たないようになっているが、重複する領域を持つようなレイアウトであってもよい。重複する場合には、双方の映像を合成した映像であってもよいし、いずれかの映像を優先して表示させるようにしてもよい。
【００２４】
レイアウト設定部１１２は、操作部１１１の操作によって決定されたレイアウトを示す配置データを生成し、合成部１２３に出力することによりレイアウトを設定する。この配置データは、例えば図６に示すように、表示部１２４に表示させる映像の各拠点（各端末１）に対応して、各拠点を生成元とする映像データに係る映像が配置される表示領域内の各領域を指定したものである。この例においては、この領域の指定は、領域の大きさを縦横の画素数で示し、領域の左上の座標を配置座標として示すことによって行われる。上述のように、各拠点におけるレイアウトが決定されているから、拠点Ａの端末１−１においては、配置データは図６（ａ）に示すようなものとなる。同様に、拠点Ｃの端末１−３においては、配置データは図６（ｂ）に示すようなものとなり、拠点Ｂ、Ｄの端末１−２、１−４においては、配置データは図６（ｃ）に示すようなものとなる。
【００２５】
また、レイアウト設定部１１２は、上述のように生成した配置データのうち配置座標を除いた図７に示すような要求データを生成して、要求データ送信部１１３に出力する。この要求データは、表示部１２４に表示させる映像の各拠点（各端末１）に対応して、各拠点に対応する映像データに係る映像が配置される表示領域内における画素数、すなわち端末１において受信すべき映像データに係る映像の画素数を指定したものである。ここで、自端末１については、その映像データを受信しないから、要求データには、自端末１に対応する要求画素数は含まれていないが、含まれていてもよい。
【００２６】
このように、要求データが示す要求画素数は、端末１において受信する各端末１を生成元とする映像データの品質を１００％生かせる画素数を示すものであるから、要求画素数以上の映像を示す映像データの受信は、ネットワークへの負荷を不要に増大させることになる。ここで、上述のように、各拠点におけるレイアウト、配置データが決定されているから、拠点Ａの端末１−１においては、要求データは図７（ａ）に示すようなものとなる。同様に、拠点Ｂの端末１−２における要求データは図７（ｂ）、拠点Ｃの端末１−３における要求データは図７（ｃ）、拠点Ｄの端末１−４における要求データは図７（ｄ）に示すようなものとなる。
【００２７】
要求データ送信部１１３は、各中継装置２を介して、レイアウト設定部１１２において生成された要求データをコントローラ３へ送信する。
【００２８】
受信部１２１は、この端末１に接続された中継装置２から端末情報を付加された映像データを受信する。この例においては、受信する映像データは、この端末１以外の他の端末１を生成元とする映像データである。例えば、端末１−１であれば、端末１−２、１−３、１−４を生成元とする映像データを受信することになる。ここで、受信部１２１が受信する複数の映像データのうち、各映像データとその映像データの生成元である各端末１との対応については、各映像データに付加された端末情報から特定することができる。
【００２９】
また、受信部１２１によって受信される各映像データは、後述するように各中継装置２において映像データに係る映像の画素数が調整されたものであり、必ずしも全ての映像データが同一の画素数の映像であるとは限らず、また、撮影部１０１において撮影されて生成される１１５２×８６４の画素数の映像データであるとも限らない。そして、受信部１２１は、このように受信した各映像データをデコード部１２２に出力する。
【００３０】
デコード部１２２は、受信部１２１から出力された各映像データを復号化して合成部１２３に出力する。
【００３１】
合成部１２３は、デコード部１２２からの各映像データ、撮影部１０１からの映像データ、およびレイアウト設定部１１２から配置データが入力される。そして、表示部１２４に表示させたときに、その表示領域のうち配置データによって指定される各領域に、対応する各映像データに係る映像が配置されるように合成した映像データを生成して、表示部１２４に出力する。
【００３２】
このとき、デコード部１２２から入力される各映像データは、後述するように各中継装置２において、その映像の画素数が調整された映像データであり、合成部１２３に入力された配置データが指定する各拠点（各端末１）に対応する画素数と同様なものとなっている。すなわち、端末１−１においては、拠点Ｂ、Ｄ（端末１−２、１−４）を生成元とする各映像データについては、その映像の画素数が３８４×２８８となっている。また、拠点Ｃ（端末１−３）を生成元とする映像データについては、その映像の画素数が７６８×５７６となっている。
【００３３】
一方、撮影部１０１から出力された映像データは、その映像の画素数は１１５２×８６４であるが、中継装置２を介していないから、配置データが指定する画素数とは異なっている。例えば、端末１−１においては、配置データが指定する拠点Ａ（端末１−１）に対応する画素数は３８４×２８８となっているから、１１５２×８６７とは異なっている。そこで、合成部１２３は、撮影部１０１から入力される映像データについては、配置データが指定する自端末１に対応する画素数に調整する処理を行う。なお、上述のデコード部１２２から入力される各映像データに係る映像の画素数についても、配置データが指定する各端末１に対応する画素数と異なっていれば、同様に画素数の調整を行う。
【００３４】
そして、合成部１２３は、配置データに指定される画素数に調整されている各映像データに係る映像について、配置データに指定される配置座標に応じて配置することにより合成した映像データを表示部１２４に出力する。
【００３５】
表示部１２４は、液晶ディスプレイなどの表示モニタを有する表示手段であって、その画素数は１１５２×８６７となっている。そして、合成部１２３から映像データが入力され、その映像データに応じて表示部１２４の表示領域に表示を行う。このようにして表示を行うと、例えば端末１−１の表示部１２４の表示領域には、図４（ａ）に示すようなレイアウトで表示がなされることになる。以上が端末１の構成についての説明である。
【００３６】
次に、中継装置２の構成について説明する。中継装置２は、各端末１間に設けられたルータなどであって、図８に示すような構成になっている。以下に説明する中継装置２の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのＣＰＵなどの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【００３７】
制御データ受信部２０１は、後述するコントローラ３によって生成された制御データを受信して、調整部２０４に出力する。制御データは、図１０に示すように、中継装置２の受信部２０２において受信する映像データの生成元の各拠点（各端末１）、その映像データに係る映像の画素数について、調整部２０４において調整すべき調整画素数、調整部２０４において画素数が調整された映像データの送信先である端末１または中継装置２を示すものであり、すなわち、中継装置２の調整部２０４および送信部２０６の制御内容を示すものである。ここで、この例においては、中継装置２−１において受信する制御データは図１０（ａ）に示すようなものであり、中継装置２−２、２−３において受信する制御データは、それぞれ図１０（ｂ）、図１０（ｃ）に示すようなものとなっている。なお、制御データについての詳細は後述する。
【００３８】
受信部２０２は、接続される端末１または他の中継装置２から映像データを受信して、デコード部２０３に出力する。端末１の受信部１２１において説明したように、この映像データには端末情報が付加されているから、各映像データの生成元である端末１を特定することができるようになっている。
【００３９】
デコード部２０３は、受信部２０２から出力された各映像データを復号化して調整部２０４に出力する。
【００４０】
調整部２０４は、制御データ受信部２０１から制御データが入力され、デコード部２０３から復号化した映像データが入力される。そして、調整部２０４は、受信された映像データに係る映像の画素数を制御データに基づいてその画素数以下に調整した映像データを生成する。
【００４１】
具体的には、中継装置２−１の調整部２０４においては、入力される制御データが図１０（ａ）に示すようなものであるから、入力された映像データが、生成元が拠点Ａ（端末１−１）を示す映像データであれば、その映像の画素数が７６８×５７６になるように調整することにより、調整された画素数の映像データを生成する。このとき、このように生成された映像データには、調整される前の映像データに付加されていた拠点Ａを示す端末情報がそのまま付加される。さらに、この生成された映像データと、この映像データを送信部２０６から送信する際の送信先となる中継装置２−２との対応付けが行われる。
【００４２】
また、中継装置２−２において受信する制御データのように、例えば、一の拠点Ａを生成元とする映像データに対して、その映像の画素数の調整が複数行われるときには、それぞれに対応した映像データを生成する。一方、拠点Ｂを生成元とする映像データについては、画素数の調整は複数では無いが送信先が複数である場合には、一の映像データを生成し、複数の送信先との対応付けを行う。なお、送信先が複数である場合には、それぞれに対応した映像データを調整部２０４において生成するようにしてもよい。
【００４３】
そして、調整部２０４は、上述のようにして映像の画素数を調整することにより生成した各映像データをエンコード部２０５に出力する。このように画素数が調整されることにより、映像データのビットレートが調整される。なお、調整が行われない場合には、受信した映像データをそのまま送信するようにしてもよい。
【００４４】
エンコード部２０５は、調整部２０４から出力された映像データを符号化して、送信部２０６に出力する。
【００４５】
送信部２０６は、エンコード部２０５によって符号化された映像データを、この中継装置２に接続される端末１または他の中継装置２に送信する。このとき、各映像データの送信先については、調整部２０４において対応付けられた送信先に送信される。このとき、一の映像データに対応付けられた送信先が複数である場合には、送信部２０６は、その数に応じてその映像データを複製して、それぞれの送信先に送信する。以上が、中継装置２の構成についての説明である。
【００４６】
次に、コントローラ３の構成について説明する。コントローラ３は、各中継装置２を制御するコンピュータなどであって、図９に示すような構成になっている。以下に説明するコントローラ３の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのＣＰＵなどの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【００４７】
要求データ受信部３０１は、各端末１から送信された要求データを受信する。そして、各要求データとその要求データを送信した拠点（端末１）を示す情報とを対応付けて、算出部３０３に出力する。なお、要求データには自端末に係る要求画素数は含まれていないから、これにより送信した拠点を識別すれば、この対応付けは不要である。
【００４８】
接続状態記憶部３０２は、各中継装置２における各端末１と他の中継装置２との接続状態を示す情報を記憶する。この接続状態とは、映像データの送受信が可能な状態に接続されていることを示している。この例においては、図１に示すように、中継装置２−１は、端末１−１および中継装置２−２との接続状態、中継装置２−２は、中継装置２−１、中継装置２−３および端末１−２との接続状態、また、中継装置２−３は、中継装置２−２、端末１−３および端末１−４との接続状態にあることを示す情報が記憶されている。
【００４９】
そして、このようにして記憶されている情報は、算出部３０３に出力される。なお、このように記憶される接続状態を示す情報については、予め、会議システムの管理者などにより生成されたものであってもよいし、各中継装置２に接続状態を認識させて、その結果を送信させることにより、コントローラ３において生成するようにしてもよい。この場合には、定期的にその接続状態を各中継装置２に認識させてもよい。
【００５０】
算出部３０３は、要求データ受信部３０１から要求データが入力され、接続状態記憶部３０２から接続状態を示す情報が入力され、これらに基づいて所定の算出を行い制御データを生成する。この制御データについては、上述したように図１０に示すようなものであって、各中継装置２に対応して生成される。以下、算出部３０３における制御データの生成について説明する。
【００５１】
算出部３０３は、各中継装置２において、その中継装置２において生成された映像データの送信先となり得る全ての端末１を、接続状態を示す情報から認識し、それらの端末１から送信された要求データが指定する各拠点に対応する要求画素数を認識する。そして、認識した各拠点に対応する要求画素数のうち、最大の要求画素数を拠点ごとに算出する。そして算出した拠点ごとの要求画素数を、中継装置２において生成される映像データに係る映像の画素数を示す調整画素数とする。そして、生成された映像データの送信先として、接続される端末１または中継装置２を決定する。
【００５２】
以下、中継装置２−２に対応する制御データの生成を例として説明する。中継装置２−２において生成される映像データが送信される送信先としては、接続状態にある中継装置２−１、２−３および端末１−２である。したがって、算出部３０３は、それぞれに送信される映像データの送信先となりうる全ての端末１を認識する。接続状態を示す情報から、中継装置２−１に送信される映像データについては、送信先となり得る端末１は、端末１−１（拠点Ａ）であり、中継装置２−３に送信される映像データについては、送信先となり得る端末１は、端末１−３、１−４（拠点Ｃ、Ｄ）であり、また、中継装置２−２から直接送信する映像データについては、端末１−２（拠点Ｂ）であると認識する。
【００５３】
したがって、中継装置２−１に送信される映像データについては、端末１−１から送信された要求データに指定される要求画素数をそのまま調整画素数とすればよい。すなわち、中継装置２−１には、生成元が拠点Ｂ（端末１−２）の映像データに係る映像の画素数を３８４×２８８に調整することによって生成した映像データ、同様に、生成元が拠点Ｃ（端末１−３）の映像データに係る映像の画素数を７６９×５７６と調整することによって生成した映像データ、生成元が拠点Ｄ（端末１−４）の映像データに係る映像の画素数を３８４×２８８に調整することによって生成した映像データが送信されるように、制御データが算出される。
【００５４】
また、端末１−２に送信される映像データについても、中継装置２−１のときと同様に、端末１−２から送信された要求データに指定される要求画素数をそのまま調整画素数とすればよい。一方、中継装置２−３に送信される映像データについては、送信先となり得る端末１が複数（端末１−３、１−４）であるので、以下に示すようになる。
【００５５】
生成元が拠点Ｃ、Ｄ（端末１−３、１−４）の映像データについては、中継装置２−３から受信するデータであって、中継装置２−３に送信するものではないから、これらの映像データについて送信先が中継装置２−３とされることはなく、調整画素数は算出されない。
【００５６】
一方、生成元が拠点Ａ、Ｂ（端末１−１、１−２）の映像データについては、送信先が中継装置２−３となり、端末１−３、１−４から送信されるそれぞれの要求データは、それぞれの映像データに対応する要求画素数が指定されている。したがって、それぞれ最大の画素数を選択すると、生成元が拠点Ａ（端末１−１）の映像データについては、端末１−３から送信される要求データの要求画素数である７６８×５７６が選択され、一方、生成元が拠点Ｂ（端末１−２）の映像データについては、端末１−４から送信される要求データの要求画素数である５７６×４３２が選択され、選択された要求画素数が調整画素数として算出されることになる。
【００５７】
算出部３０３は、このようにして算出することにより、中継装置２−２に対応した制御データを生成する。そして、この制御データが中継装置２−２を制御することになり、例えば、中継装置２−２が拠点Ａ（端末１−１）を生成元とする映像データを受信すると、その映像データの画素数が７６８×５７６に調整されることにより生成された映像データが中継装置２−３に送信され、画素数が５７６×４３２に調整されることにより生成された映像データが端末１−２に送信されるようになる。
【００５８】
このようにして、算出部３０３は、生成元が異なる各映像データについて、端末１または中継装置２に送信すべき映像データの調整画素数を算出し、これを制御データとして各中継装置２に対応して生成する。
【００５９】
制御データ送信部３０４は、算出部３０３によって生成された制御データを対応する各中継装置２に送信する。以上が、コントローラ３の構成の説明である。
【００６０】
次に、本発明の実施形態に係る会議システム１００の動作について図１１を用いて説明する。図１１は、各端末１を生成元とする映像データの送受信におけるビットレートを示す説明図である。ここで、「Ａ：１」については、「Ａ」は、拠点Ａ（端末１−１）を生成元とする映像データを示し、「１」は、その映像の画素数の調整が行われていない場合を基準とした映像データのビットレートを示している。したがって、「Ｂ：１／９」であれば、拠点Ｂ（端末１−２）を生成元とする映像データであって、その映像の画素数が調整されることによりビットレートが１／９になっていることを示している。また、矢印については、その映像データの送信方向を示している。
【００６１】
まず、各端末１の利用者は、操作部１１１を操作することにより、表示部１２４に表示させるレイアウトを決定する。各端末１において決定されたレイアウトは、端末１−１（拠点Ａ）においては、図４（ａ）に示すようなレイアウトであり、端末１−３（拠点Ｃ）においては図４（ｂ）、端末１−２、１−４（拠点Ｂ、Ｄ）においては図５に示すようなレイアウトとであるものとする。これにより、各端末１からコントローラ３に対して、図７に示すような要求データが送信される。
【００６２】
コントローラ３は、各端末１から要求データを受信すると、図１０に示すような各中継装置２に対応する制御データを生成して、対応する各中継装置２に送信する。これにより中継装置２は、制御データに応じて、受信した映像データに係る映像の画素数を調整し、調整により生成した映像データを送信する。
【００６３】
この状況において、各端末１から送信される映像データの流れおよびそのビットレートについて説明する。まず、端末１−１が生成元となり送信される映像データ（以下、映像データＡという）は、中継装置２−１に送信されると、中継装置２−１において、その映像の画素数が調整される。この調整は、画素数が１１５２×８６４から７６８×５７６に調整され、画素数が４／９に減少する。したがって、中継装置２−１の処理において映像データＡのビットレートも概ね４／９に減少することになる。このようにして、ビットレートが減少した映像データＡが中継装置２−２に送信されるから、中継装置２−１と中継装置２−２との間の通信経路における通信帯域を有効に利用することができ、ネットワークの負荷が低減されることになる。
【００６４】
映像データＡを受信した中継装置２−２は、中継装置２−３に対しては、映像データＡに係る映像の画素数の調整を行わずに、受信した映像データＡをそのまま送信する。一方、端末１−２に対しては、画素数をさらに５７６×４３２に調整することにより、当初の画素数の１／４に減少させた映像データＡを送信する。したがって、端末１−２に送信される映像データＡのビットレートは当初のビットレートの１／４に減少することになる。このため、上述同様に、ネットワークの負荷が低減されることになる。
【００６５】
映像データＡを受信した中継装置２−３は、端末１−３に対しては、映像データＡに係る映像の画素数の調整を行わずに、受信した映像データＡをそのまま送信する。一方、端末１−４に対しては、画素数を５７６×４３２に調整することにより、当初の画素数の１／４に減少させた映像データＡを送信する。したがって、端末１−４に送信される映像データＡのビットレートは当初のビットレートの１／４に減少することになる。このため、上述同様に、ネットワークの負荷が低減されることになる。
【００６６】
他の端末１を生成元とする映像データについても同様にして、各中継装置２において画素数が調整されながら別の端末１に対して送信されることにより、図１１に示すように各映像データのビットレートが低減され、ネットワークの負荷を低減することができる。そして、各端末１は、他の端末１を生成元とする映像データを受信し、自端末１において生成した映像データとともに、各映像データに係る映像を決定したレイアウトで配置された表示を表示部１２４の表示領域に行うことができる。
【００６７】
このように、本発明の実施形態に係る会議システム１００は、各中継装置２において、各端末１において生成された映像データが必要最小限の画素数に調整されているから、各端末１における表示品位を劣化させずに、他の端末１によって映像データが受信されるまでの各中継装置２間、および端末１と中継装置２との間の通信経路における通信帯域を効率よく使用することができる。したがって、ネットワークの負荷を低減することができ、負荷の集中も発生しないようにすることができる。また、各端末１においては、他の端末１を生成元とする映像データについては、画素数が調整された状態で受信するから、レイアウトに応じた表示を容易に行うことができる。
【００６８】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００６９】
＜変形例１＞
上述した実施形態においては、各端末１の表示部１２４の表示領域に、利用者が決定したレイアウトに応じた表示をするための映像データの生成は、各端末１において行っていたが、各端末１が接続されている中継装置２において行うようにしてもよい。以下、この場合の構成について説明する。
【００７０】
各端末１（本変形例においては端末１ａという）は、図１２に示すような構成であって、上述した実施形態における構成から合成部１２３が除かれたものである。レイアウト設定部１１２が生成する要求データは、実施形態における要求データと異なり、自端末１ａに係る要求画素数についても含まれ、さらに、配置座標についても含まれている。すなわち、実施形態におけるレイアウト設定部１１２が生成する配置データと同様なものとなっている。
【００７１】
また、受信部１２１において受信する映像データについては、各端末１ａを生成元とする映像データではなく、後述するように中継装置２（本変形例においては中継装置２ａという）において各端末１ａを生成元とする映像データが合成された映像データとなっている。したがって、この映像データをデコード部１２２において復号化して表示部１２４に出力することにより、実施形態と同様な表示が表示部１２４の表示領域になされることになる。なお、他の構成については、実施形態における構成とほぼ同様な構成であるから詳細な説明は省略する。
【００７２】
コントローラ３（本変形例においてはコントローラ３ａという）は、図１３に示すような構成であって、実施形態における構成に加えて、算出部３０３から出力された配置データを各端末１ａに送信する配置データ送信部３０５が設けられている。算出部３０３から出力される配置データは、上述したように、入力される要求データと同様なものである。そして、配置データ送信部３０５は、この要求データに対応する端末１ａが接続される中継装置２ａに対して配置データを送信する。
【００７３】
算出部３０３は、入力される要求データについて、その要求データを生成した端末１ａに対して送信すべき映像データに係る映像の要求画素数も含まれるようになっているから、生成する制御データには、実施形態の態様に加えて、映像データの生成元となる端末１ａへその映像データに係る映像の画素数を調整することによって生成された映像データを送信するような制御内容が含まれることになる。そして、このように生成された制御データは、図１５に示すようなものとなる。なお、他の構成については、実施形態における構成とほぼ同様な構成であるから詳細な説明は省略する。
【００７４】
中継装置２ａは、図１４に示すような構成である。制御データ受信部２０１、受信部２０２、デコード部２０３、エンコード部２０５については、実施形態の構成と同様であるから詳細な説明を省略する。調整部２０４は、実施形態における構成とほぼ同様であるが、生成した映像データの送信先が中継装置２ａである場合にはエンコード部２０５に、端末１ａである場合には、合成部２０９に出力する。
【００７５】
また、調整部２０４は、接続された端末１ａから受信した映像データについて、その映像の画素数が調整されることによって生成された映像データは、実施形態においては他の端末１ａまたは他の中継装置２ａへ送信されるような構成になっていたが、本変形例における構成においては、上述のように生成された制御データにより、この映像データは、エンコード部２０５と合成部２０９に出力される。そして、エンコード部２０５に出力された映像データは符号化され、中継送信部２０７によって他の中継装置２ａに送信される。中継送信部２０７は、実施形態における送信部２０６の機能のうち、中継装置２ａに対して送信する機能を有している。
【００７６】
配置データ受信部２０８は、コントローラ３ａから送信される配置データを受信して合成部２０９に出力する。なお、中継装置２ａにおいて、接続された端末１ａから送信される要求データを配置データ受信部２０８において配置データとして受信し、合成部２０９に出力するようにすれば、コントローラ３ａの構成については、実施形態における構成と同じものとすることができる。
【００７７】
合成部２０９は、調整部２０４から各映像データが入力され、配置データ受信部２０８から配置データが入力される。そして、入力された配置データに基づいて、これらの映像データを合成した合成映像データを生成して、エンコード部２１０に出力する。この合成部２０９における合成処理については、実施形態における端末１ａの合成部１２３と同様であるから、詳細の説明は省略する。
【００７８】
そして、エンコード部２１０は、合成部２０９から入力された合成映像データを符号化して、端末送信部２１１に出力する。そして、端末送信部２１１は、接続された端末１ａに合成映像データを送信する。端末送信部２１１は、実施形態における送信部２０６の機能のうち、端末１ａに対して送信する機能を有している。これにより、端末１ａの表示部１２４の表示領域には、合成映像データに係る映像が表示され、利用者によって決定されたレイアウトで表示されることになる。
【００７９】
このように、各端末１ａを生成元とする映像データの合成については、各端末１ａにおいて行なってもよいし、各端末１ａが接続された中継装置２ａにおいて行うようにしてもよい。
【００８０】
＜変形例２＞
上述した実施形態において、接続状態にある各端末１と各中継装置２との間の通信経路における通信帯域に応じて、その通信経路において送受信される映像データのビットレートを調整するようにしてもよい。この場合には、中継装置２（本変形例においては中継装置２ｂという）を図１６に示すような構成とし、コントローラ３（本変形例においてはコントローラ３ｂという）を図１７に示すような構成とすればよい。以下、それぞれについて順に説明する。
【００８１】
中継装置２ｂは、実施形態における構成に加えて、通信帯域測定部２１２、帯域データ送信部２１３が設けられている。通信帯域測定部２１２は、この中継装置２ｂと接続状態にある端末１または中継装置２ｂとの間の通信経路の通信帯域を測定し、各通信経路に対応する通信帯域を示す帯域データを生成して帯域データ送信部２１３に出力する。そして、帯域データ送信部２１３は、コントローラ３ｂに帯域データを送信する。
【００８２】
調整部２０４は、実施形態における機能に加えて、さらに生成した映像データのビットレートを、入力された制御データに応じてこのビットレート以下に調整する機能を有する。このようにビットレートを調整する制御データについては後述する。なお、他の構成については、実施形態における構成とほぼ同様な構成であるから詳細な説明は省略する。
【００８３】
コントローラ３ｂは、実施形態における構成に加えて、帯域データ受信部３０６が設けられている。帯域データ受信部３０６は、各中継装置２から送信された帯域データを受信し、算出部３０３に送信する。
【００８４】
算出部３０３は、実施形態に加えて、中継装置２ｂの調整部２０４において生成される映像データの送信に係る通信経路の通信帯域に応じて、その映像データのビットレートを調整するための制御内容、すなわち各映像データのビットレートを指定する制御内容をさらに示す制御データを生成する。この制御データに係るビットレートの指定は、各通信経路において送受信される映像データのビットレートの総計が、各帯域データに係る通信経路の通信帯域において送受信可能な最大ビットレート以下になるように行われる。
【００８５】
このようなビットレートの調整は、映像データに係るフレームレート、圧縮率などの変更により行なわれるようにすればよく、制御データにおいてその内容を指定してもよいし、中継装置２ｂにおいて各々設定された内容で行なってもよい。なお、他の構成については、実施形態における構成とほぼ同様な構成であるから詳細な説明は省略する。このように、各通信経路における通信帯域を考慮して、ビットレートをさらに調整した映像データの送受信を行うことにより、安定した品質で送受信を行うことができる。
【００８６】
＜変形例３＞
上述した実施形態において、調整部２０４は、映像データに係る映像の画素数を調整していたが、この調整の態様はどのようなものであってもよい。例えば、映像データに係る映像の範囲は一定とし、全体的に映像を縮小することにより解像度を低減して、画素数を調整してもよい。一方、映像の縮小は行わずに解像度を維持し、映像の範囲の一部を切り出すことにより画素数を調整してもよい。また、双方を組み合わせて、映像の範囲の一部を切り出してさらに縮小を行うようにしてもよい。切り出される映像の範囲の一部については、中継装置２に予め設定されていてもよいし、コントローラ３の制御によって行なわれてもよい。コントローラ３の制御によって行われる場合には、制御データにおいて切り出すべき範囲についても指定されるようにすればよい。
【００８７】
また、その映像データの生成元となる端末１においてその切り出すべき範囲を指定してもよい。この場合には、各端末１において指定された範囲を示す情報が要求データに含まれるようにする。そして、コントローラ３においては、実施形態のようにして生成される制御データによって指定されるその端末１に対応する調整画素数が、その端末１において指定された範囲の画素数よりも大きい場合には、指定された範囲を含む範囲であって、制御データによって指定される調整画素数に応じた範囲を切り出すことによって画素数を調整するように、各中継装置２を制御する制御データを生成すればよい。
【００８８】
一方、制御データによって指定されるその端末１に対応する調整画素数が、その端末１において指定された範囲の画素数よりも小さい場合には、指定された範囲を切り出した上で、その範囲を縮小することによって画素数を調整するように、各中継装置２を制御する制御データを生成すればよい。
【００８９】
このような処理について、所定の端末１において指定された範囲が、例えば図１８に示す破線の範囲（画素数６４０×４８０）である場合について、図１９を用いて説明する。この端末１を生成元とする映像データについて、中継装置２の調整部２０４において調整する画素数が７６８×５７６である場合には、図１９（ａ）に示すように、調整部２０４は、この端末１において指定された破線の範囲を含む２点鎖線の範囲（画素数７６８×５７６）を切り出すことによって映像データに係る映像の画素数を調整する。この切り出しの範囲は、端末１において指定された範囲が含まれていれば、どのような範囲でもよく、その態様については予め設定しておけばよい。
【００９０】
一方、この端末１を生成元とする映像データについて、中継装置２の調整部２０４において調整する画素数が５７６×４３２である場合には、図１９（ｂ）に示すように、調整部２０４は、この端末１において指定された破線の範囲を切り出した上で、その範囲の映像を縮小（この場合には、縦横の画素数をそれぞれ０．９倍）することによって映像データに係る映像の画素数を調整する。このようにすると、指定された範囲を切り出さずに縮小する態様に比べ、画像の解像度の劣化を低減することができる。さらに端末１において指定されている範囲が残されるように切り出されることにより、重要な部分の映像を残すことができる。
【００９１】
なお、端末１における範囲の指定は、自動的に行われるようにしてもよく、画像認識により人物がいると判定される位置を含む所定範囲が自動的に指定されるようにしてもよい。また、マイクアレイなどにより発音方向を認識できるようにしておくことで、その発音方向に対応する所定範囲が自動的に指定されるようにしてもよい。このように自動的に行われる場合には、指定される範囲が随時変化していくこともある。
【００９２】
＜変形例４＞
上述した実施形態において、各端末１の利用者が声を出していない場合には、映像データの送信を停止するようにしてもよい。この場合には、端末１に設けられたマイクなどの収音手段による収音レベルが所定値以下である状態が所定時間続くと、送信部１０３から映像データが送信されないようにすればよい。なお、変形例３において示したような映像の切り出し範囲が指定されている場合には、マイクアレイにより収音したその範囲内の収音レベルが所定値以下である状態が所定時間続いたときに、送信部１０３から映像データが送信されないようにしてもよい。このようにすると、さらにネットワークの負荷を低減することができる。
【図面の簡単な説明】
【００９３】
【図１】実施形態に係る会議システムの構成の一例を示すブロック図である。
【図２】実施形態に係る端末の構成を示すブロック図である。
【図３】実施形態に係る撮影部の撮影内容および座標を示す説明図である。
【図４】実施形態に係る表示部の表示領域に表示される各映像のレイアウトの一例を示す説明図である。
【図５】実施形態に係る表示部の表示領域に表示される各映像のレイアウトの一例を示す説明図である。
【図６】実施形態に係る配置データの一例を示す説明図である。
【図７】実施形態に係る要求データの一例を示す説明図である。
【図８】実施形態に係る中継装置の構成を示すブロック図である。
【図９】実施形態に係るコントローラの構成を示すブロック図である。
【図１０】実施形態に係る制御データの一例を示す説明図である。
【図１１】実施形態に係る会議システムの映像データの送受信についての説明図である。
【図１２】変形例１に係る端末の構成を示すブロック図である。
【図１３】変形例１に係るコントローラの構成を示すブロック図である。
【図１４】変形例１に係る中継装置の構成を示すブロック図である。
【図１５】変形例１に係る制御データの一例を示す説明図である。
【図１６】変形例２に係る中継装置の構成を示すブロック図である。
【図１７】変形例２に係るコントローラの構成を示すブロック図である。
【図１８】変形例３に係る端末において指定される範囲の一例を示す説明図である。
【図１９】変形例３に係る中継装置における画素数の調整の一例を示す説明図である。
【符号の説明】
【００９４】
１，１ａ，１−１，１−２，１−３，１−４…端末、２，２ａ，２ｂ，２−１，２−２，２−３…中継装置、３，３ａ，３ｂ…コントローラ、４…ネットワーク、１００…会議システム、１０１…撮影部、１０２…エンコード部、１０３…送信部、１１１…操作部、１１２…レイアウト設定部、１１３…要求データ送信部、１２１…受信部、１２２…デコード部、１２３…合成部、１２４…表示部、２０１…制御データ受信部、２０２…受信部、２０３…デコード部、２０４…調整部、２０５…エンコード部、２０６…送信部、２０７…中継送信部、２０８…配置データ受信部、２０９…合成部、２１０…エンコード部、２１１…端末送信部、２１２…通信帯域測定部、２１３…帯域データ送信部、３０１…要求データ受信部、３０２…接続状態記憶部、３０３…算出部、３０４…制御データ送信部、３０５…配置データ送信部、３０６…帯域データ受信部
【技術分野】
【０００１】
本発明は、会議システムなどの双方向の映像データ送受信におけるネットワークの利用効率を向上する技術に関する。
【背景技術】
【０００２】
遠隔地にいる複数の利用者間において、映像、音声の双方向コミュニケーションを行うことができる会議システムが普及し始めている。この会議システムは、各拠点の利用者が端末を利用して、端末間で互いに映像データ、音声データの送受信を行うことにより、双方向のコミュニケーションを実現する。
【０００３】
このような会議システムにおいては、端末間で互いに映像データを送受信するため、ネットワークの負荷が大きくなり、ネットワークの通信帯域によっては、高品位な映像データの送受信が困難となってしまうことがあった。これを解決するため、例えば、特許文献１には、多地点制御装置（ＭＣＵ：Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を利用し、各端末から送信される映像データを多地点制御装置で一旦受信して、各端末のモニタに表示させるレイアウトに応じた映像データを端末ごとに生成して、その映像データを送信することにより、ネットワークの負荷を低減させる技術が開示されている。また、このときに、各端末に送信する映像データに係るレイアウトに必要な映像サイズのデータを受信するようにして、さらにネットワークの負荷を低減する技術についても開示されている。
【特許文献１】特開２００７−８１８６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術のように多地点制御装置を用いることにより、ネットワークの負荷を低減させることができるが、一方、多地点制御装置への映像データの送受信が非常に多くなるため、一部にネットワークの負荷が集中してしまう。また、多地点制御装置において、各端末から送信される多くの映像データからレイアウトに応じた映像データの生成を端末に応じた数だけ行う必要があり、処理の負荷も大きなものとなる。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、複数の端末間に複数の中継装置を設けることにより、ネットワークの負荷を集中させずに低減させることができる通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、複数の端末の各々によって生成される映像データであって、その生成元の前記端末を特定する端末情報が付加された映像データが前記端末間において送受信される際の中継を行う複数の中継装置と、前記複数の中継装置を制御するコントローラとを有する通信システムにおいて、前記複数の中継装置の各々は、前記端末または他の前記中継装置から、前記映像データを受信する受信手段と、前記受信手段によって受信された映像データに係る映像の画素数を、前記コントローラの制御に応じて当該画素数以下に調整することにより、前記調整した画素数の映像データを生成する調整手段と、前記調整手段によって生成された映像データを、前記受信手段が当該映像データを受信した前記端末または他の前記中継装置以外の前記端末または他の前記中継装置に対して送信する送信手段とを具備し、前記コントローラは、前記各端末において受信すべき映像データに係る映像の画素数と当該映像データの生成元となる各端末とを対応させて指定する要求データを、前記複数の端末の各々から取得する取得手段と、前記受信手段によって受信された映像データに係る映像の画素数が、前記取得手段によって取得された前記各要求データに基づく画素数に調整されるように、前記調整手段を制御する制御手段とを具備することを特徴とする通信システムを提供する。
【０００７】
また、別の好ましい態様において、前記制御手段による前記調整手段の制御には、一の映像データに対して、当該映像データに係る映像の画素数の調整を複数行うことにより、画素数が異なる複数の映像データを生成させる制御を含み、前記送信手段は、前記調整手段によって生成された映像データが複数であるときには、前記複数の映像データの各々を、異なる前記端末または他の前記中継装置に対して送信することを特徴とする。
【０００８】
また、別の好ましい態様において、前記制御手段は、前記受信手段によって受信された映像データに係る映像の画素数が、当該映像データの画素数の調整によって生成される映像データの送信先となり得る端末に係る要求データが指定する画素数であって、当該映像データの生成元となる端末に対応する画素数のうち、最も多い画素数以下になるように、前記調整手段を制御することを特徴とする。
【０００９】
また、別の好ましい態様において、前記取得手段によって取得される要求データは、前記要求データが取得された端末の表示手段に表示させる表示内容を示すものであって、前記調整手段によって調整された複数の映像データに係る映像が配置される領域を指定し、前記送信手段は、前記端末に対して送信するときには、前記調整手段によって調整された各映像データを前記コントローラの制御に応じて合成して送信し、前記コントローラは、前記送信手段によって送信される映像データを受信した前記端末の表示手段に表示させると、前記取得手段によって取得される要求データに応じた表示内容であって、前記調整手段によって調整された複数の映像データに係る映像が各々前記配置される領域に対応して配置された表示内容になるように、前記送信手段による映像データの合成を制御する合成制御手段をさらに具備することを特徴とする。
【００１０】
また、別の好ましい態様において、前記中継装置の各々は、前記送信手段によって映像データが送信される前記端末または他の前記中継装置への通信経路の通信帯域を測定する帯域測定手段と、前記帯域測定手段によって測定された各通信経路の通信帯域を示す帯域データを前記コントローラに送信する帯域データ送信手段とをさらに具備し、前記調整手段は、さらに前記コントローラの制御に応じて、前記画素数が調整された映像データのビットレートを当該ビットレート以下になるように調整し、前記コントローラは、前記帯域データを受信する帯域データ受信手段と、前記各通信経路において送受信される各映像データのビットレートの総計が、前記帯域データ受信手段によって受信した帯域データが示す前記各通信経路の通信帯域において送受信可能な最大ビットレート以下になるように、前記調整手段を制御するビットレート制御手段とをさらに具備することを特徴とする。
【００１１】
また、別の好ましい態様において、前記調整手段は、映像データに係る映像の解像度を減少させることにより画素数を調整することを特徴とする。
【００１２】
また、別の好ましい態様において、前記調整手段は、映像データに係る映像の一部を切り出すことにより画素数を調整することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、複数の端末間に複数の中継装置を設けることにより、ネットワークの負荷を集中させずに低減させることができる通信システムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施形態について説明する。
【００１５】
＜実施形態＞
本発明の実施形態に係る通信システムの一態様である会議システム１００は、図１に示すように、複数の端末１−１、１−２、１−３、１−４（以下、それぞれを区別しないときには端末１という）、複数の中継装置２−１、２−２、２−３（以下、それぞれを区別しないときには中継装置２という）、コントローラ３を有している。この例においては、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク４には、中継装置２−１、２−２およびコントローラ３が接続されている。また、端末１−１は中継装置２−１に、端末１−２および中継装置２−３は中継装置２−２に、端末１−３、１−４は中継装置２−３にそれぞれＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続されている。そして、この端末１−１、１−２、１−３、１−４は、それぞれ拠点Ａ、拠点Ｂ、拠点Ｃ、拠点Ｄに設置されている。
【００１６】
この会議システム１００は、各端末１において生成された映像データ、音声データが各端末１間で送受信される際に、中継装置２は、これらの各データを中継する。この中継装置２によって映像データが中継されるときに、コントローラ３の制御によって、その映像データに係る映像の画素数が調整されるようになっている。以下、会議システム１００を構成する各々について、その構成を順に説明する。ここで、以下の説明においては、映像データの送受信に係る説明をするが、音声データについても映像データに同期して各端末１間において送受信がなされているものとする。
【００１７】
端末１は、コンピュータなどであって、図２に示すように、撮影部１０１、表示部１２４、操作部１１１などを有している。以下に説明する端末１の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【００１８】
撮影部１０１は、撮像素子を有するデジタルビデオカメラなどの撮影手段であって、利用者などを撮影し、その撮影内容を示す映像データを生成して、エンコード部１０２および合成部１２３に出力する。この撮影部１０１の撮像素子は、横１１５２ピクセル、縦８６４ピクセル（以下、１１５２×８６４のように表示する）の画素数（ＸＧＡ＋）による撮影が可能である。そのため、撮影部１０１が生成する映像データに係る映像の画素数は、１１５２×８６４となり、図３に示すように、その座標は、左上（０，０）、右上（１１５１，０）、左下（０，８６３）、右下（１１５１，８６３）と表される。そして、撮影部１０１は、端末１の利用者を撮影することにより、生成された映像データに係る映像には、端末１の利用者５００が含まれているものとなる。なお、撮影部１０１に代えて、制御部によって生成されるプレゼンテーション用の映像を示す映像データがエンコード部１０２、合成部１２３に出力されてもよい。
【００１９】
エンコード部１０２は、撮影部１０１から出力された映像データを符号化して、送信部１０３に出力する。
【００２０】
送信部１０３は、エンコード部１０２によって符号化された映像データに送信する端末１を示す端末情報を付加して、この端末１に接続される中継装置２に送信する。
【００２１】
操作部１１１は、マウス、キーボードなどの操作手段である。この例においては、利用者によって操作部１１１が所定の操作をされることによって、他の各端末１において生成される映像データを受信して表示部１２４の表示領域に表示させるときのレイアウトが決定される。このように決定されるレイアウトは、受信する映像データの数に応じて、様々なレイアウトが可能であって、予め記憶される複数のテンプレートから選択することにより決定してもよいし、利用者が操作部１１１を操作して所望のレイアウトを決定してもよい。
【００２２】
このようなレイアウトの一例としては、例えば、図４、図５に示すようなレイアウトが挙げられる。これらの図は、表示部１２４の表示領域に表示される表示内容を例示したものであって、各拠点の端末１を生成元とする映像データに係る映像を、表示部１２４の表示領域のうち、どの領域に表示させるかを示したものである。例えば、図５に示した例であれば、表示領域を４分割し、左上の領域は拠点Ａに設置された端末１−１を生成元とする映像データに係る映像を表示させる領域とし、同様に拠点Ｂに係る映像は右上、拠点Ｃに係る映像は左下、拠点Ｄに係る映像は右下に表示されるレイアウトを示している。ここで、後述するように各端末１における表示部１２４の表示領域は、１１５２×８６４の画素数により構成されている。
【００２３】
この例においては、拠点Ａに設置された端末１−１の利用者は、図４（ａ）に示すようなレイアウトを決定し、拠点Ｃに設置された端末１−３の利用者は、図４（ｂ）に示すようなレイアウトを決定し、拠点Ｂ、Ｄにそれぞれ設置された端末１−２、１−４の利用者は、図５に示すようなレイアウトを決定したものとする。なお、この各レイアウトは、それぞれ他の映像が表示される領域と重複した領域を持たないようになっているが、重複する領域を持つようなレイアウトであってもよい。重複する場合には、双方の映像を合成した映像であってもよいし、いずれかの映像を優先して表示させるようにしてもよい。
【００２４】
レイアウト設定部１１２は、操作部１１１の操作によって決定されたレイアウトを示す配置データを生成し、合成部１２３に出力することによりレイアウトを設定する。この配置データは、例えば図６に示すように、表示部１２４に表示させる映像の各拠点（各端末１）に対応して、各拠点を生成元とする映像データに係る映像が配置される表示領域内の各領域を指定したものである。この例においては、この領域の指定は、領域の大きさを縦横の画素数で示し、領域の左上の座標を配置座標として示すことによって行われる。上述のように、各拠点におけるレイアウトが決定されているから、拠点Ａの端末１−１においては、配置データは図６（ａ）に示すようなものとなる。同様に、拠点Ｃの端末１−３においては、配置データは図６（ｂ）に示すようなものとなり、拠点Ｂ、Ｄの端末１−２、１−４においては、配置データは図６（ｃ）に示すようなものとなる。
【００２５】
また、レイアウト設定部１１２は、上述のように生成した配置データのうち配置座標を除いた図７に示すような要求データを生成して、要求データ送信部１１３に出力する。この要求データは、表示部１２４に表示させる映像の各拠点（各端末１）に対応して、各拠点に対応する映像データに係る映像が配置される表示領域内における画素数、すなわち端末１において受信すべき映像データに係る映像の画素数を指定したものである。ここで、自端末１については、その映像データを受信しないから、要求データには、自端末１に対応する要求画素数は含まれていないが、含まれていてもよい。
【００２６】
このように、要求データが示す要求画素数は、端末１において受信する各端末１を生成元とする映像データの品質を１００％生かせる画素数を示すものであるから、要求画素数以上の映像を示す映像データの受信は、ネットワークへの負荷を不要に増大させることになる。ここで、上述のように、各拠点におけるレイアウト、配置データが決定されているから、拠点Ａの端末１−１においては、要求データは図７（ａ）に示すようなものとなる。同様に、拠点Ｂの端末１−２における要求データは図７（ｂ）、拠点Ｃの端末１−３における要求データは図７（ｃ）、拠点Ｄの端末１−４における要求データは図７（ｄ）に示すようなものとなる。
【００２７】
要求データ送信部１１３は、各中継装置２を介して、レイアウト設定部１１２において生成された要求データをコントローラ３へ送信する。
【００２８】
受信部１２１は、この端末１に接続された中継装置２から端末情報を付加された映像データを受信する。この例においては、受信する映像データは、この端末１以外の他の端末１を生成元とする映像データである。例えば、端末１−１であれば、端末１−２、１−３、１−４を生成元とする映像データを受信することになる。ここで、受信部１２１が受信する複数の映像データのうち、各映像データとその映像データの生成元である各端末１との対応については、各映像データに付加された端末情報から特定することができる。
【００２９】
また、受信部１２１によって受信される各映像データは、後述するように各中継装置２において映像データに係る映像の画素数が調整されたものであり、必ずしも全ての映像データが同一の画素数の映像であるとは限らず、また、撮影部１０１において撮影されて生成される１１５２×８６４の画素数の映像データであるとも限らない。そして、受信部１２１は、このように受信した各映像データをデコード部１２２に出力する。
【００３０】
デコード部１２２は、受信部１２１から出力された各映像データを復号化して合成部１２３に出力する。
【００３１】
合成部１２３は、デコード部１２２からの各映像データ、撮影部１０１からの映像データ、およびレイアウト設定部１１２から配置データが入力される。そして、表示部１２４に表示させたときに、その表示領域のうち配置データによって指定される各領域に、対応する各映像データに係る映像が配置されるように合成した映像データを生成して、表示部１２４に出力する。
【００３２】
このとき、デコード部１２２から入力される各映像データは、後述するように各中継装置２において、その映像の画素数が調整された映像データであり、合成部１２３に入力された配置データが指定する各拠点（各端末１）に対応する画素数と同様なものとなっている。すなわち、端末１−１においては、拠点Ｂ、Ｄ（端末１−２、１−４）を生成元とする各映像データについては、その映像の画素数が３８４×２８８となっている。また、拠点Ｃ（端末１−３）を生成元とする映像データについては、その映像の画素数が７６８×５７６となっている。
【００３３】
一方、撮影部１０１から出力された映像データは、その映像の画素数は１１５２×８６４であるが、中継装置２を介していないから、配置データが指定する画素数とは異なっている。例えば、端末１−１においては、配置データが指定する拠点Ａ（端末１−１）に対応する画素数は３８４×２８８となっているから、１１５２×８６７とは異なっている。そこで、合成部１２３は、撮影部１０１から入力される映像データについては、配置データが指定する自端末１に対応する画素数に調整する処理を行う。なお、上述のデコード部１２２から入力される各映像データに係る映像の画素数についても、配置データが指定する各端末１に対応する画素数と異なっていれば、同様に画素数の調整を行う。
【００３４】
そして、合成部１２３は、配置データに指定される画素数に調整されている各映像データに係る映像について、配置データに指定される配置座標に応じて配置することにより合成した映像データを表示部１２４に出力する。
【００３５】
表示部１２４は、液晶ディスプレイなどの表示モニタを有する表示手段であって、その画素数は１１５２×８６７となっている。そして、合成部１２３から映像データが入力され、その映像データに応じて表示部１２４の表示領域に表示を行う。このようにして表示を行うと、例えば端末１−１の表示部１２４の表示領域には、図４（ａ）に示すようなレイアウトで表示がなされることになる。以上が端末１の構成についての説明である。
【００３６】
次に、中継装置２の構成について説明する。中継装置２は、各端末１間に設けられたルータなどであって、図８に示すような構成になっている。以下に説明する中継装置２の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのＣＰＵなどの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【００３７】
制御データ受信部２０１は、後述するコントローラ３によって生成された制御データを受信して、調整部２０４に出力する。制御データは、図１０に示すように、中継装置２の受信部２０２において受信する映像データの生成元の各拠点（各端末１）、その映像データに係る映像の画素数について、調整部２０４において調整すべき調整画素数、調整部２０４において画素数が調整された映像データの送信先である端末１または中継装置２を示すものであり、すなわち、中継装置２の調整部２０４および送信部２０６の制御内容を示すものである。ここで、この例においては、中継装置２−１において受信する制御データは図１０（ａ）に示すようなものであり、中継装置２−２、２−３において受信する制御データは、それぞれ図１０（ｂ）、図１０（ｃ）に示すようなものとなっている。なお、制御データについての詳細は後述する。
【００３８】
受信部２０２は、接続される端末１または他の中継装置２から映像データを受信して、デコード部２０３に出力する。端末１の受信部１２１において説明したように、この映像データには端末情報が付加されているから、各映像データの生成元である端末１を特定することができるようになっている。
【００３９】
デコード部２０３は、受信部２０２から出力された各映像データを復号化して調整部２０４に出力する。
【００４０】
調整部２０４は、制御データ受信部２０１から制御データが入力され、デコード部２０３から復号化した映像データが入力される。そして、調整部２０４は、受信された映像データに係る映像の画素数を制御データに基づいてその画素数以下に調整した映像データを生成する。
【００４１】
具体的には、中継装置２−１の調整部２０４においては、入力される制御データが図１０（ａ）に示すようなものであるから、入力された映像データが、生成元が拠点Ａ（端末１−１）を示す映像データであれば、その映像の画素数が７６８×５７６になるように調整することにより、調整された画素数の映像データを生成する。このとき、このように生成された映像データには、調整される前の映像データに付加されていた拠点Ａを示す端末情報がそのまま付加される。さらに、この生成された映像データと、この映像データを送信部２０６から送信する際の送信先となる中継装置２−２との対応付けが行われる。
【００４２】
また、中継装置２−２において受信する制御データのように、例えば、一の拠点Ａを生成元とする映像データに対して、その映像の画素数の調整が複数行われるときには、それぞれに対応した映像データを生成する。一方、拠点Ｂを生成元とする映像データについては、画素数の調整は複数では無いが送信先が複数である場合には、一の映像データを生成し、複数の送信先との対応付けを行う。なお、送信先が複数である場合には、それぞれに対応した映像データを調整部２０４において生成するようにしてもよい。
【００４３】
そして、調整部２０４は、上述のようにして映像の画素数を調整することにより生成した各映像データをエンコード部２０５に出力する。このように画素数が調整されることにより、映像データのビットレートが調整される。なお、調整が行われない場合には、受信した映像データをそのまま送信するようにしてもよい。
【００４４】
エンコード部２０５は、調整部２０４から出力された映像データを符号化して、送信部２０６に出力する。
【００４５】
送信部２０６は、エンコード部２０５によって符号化された映像データを、この中継装置２に接続される端末１または他の中継装置２に送信する。このとき、各映像データの送信先については、調整部２０４において対応付けられた送信先に送信される。このとき、一の映像データに対応付けられた送信先が複数である場合には、送信部２０６は、その数に応じてその映像データを複製して、それぞれの送信先に送信する。以上が、中継装置２の構成についての説明である。
【００４６】
次に、コントローラ３の構成について説明する。コントローラ３は、各中継装置２を制御するコンピュータなどであって、図９に示すような構成になっている。以下に説明するコントローラ３の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのＣＰＵなどの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【００４７】
要求データ受信部３０１は、各端末１から送信された要求データを受信する。そして、各要求データとその要求データを送信した拠点（端末１）を示す情報とを対応付けて、算出部３０３に出力する。なお、要求データには自端末に係る要求画素数は含まれていないから、これにより送信した拠点を識別すれば、この対応付けは不要である。
【００４８】
接続状態記憶部３０２は、各中継装置２における各端末１と他の中継装置２との接続状態を示す情報を記憶する。この接続状態とは、映像データの送受信が可能な状態に接続されていることを示している。この例においては、図１に示すように、中継装置２−１は、端末１−１および中継装置２−２との接続状態、中継装置２−２は、中継装置２−１、中継装置２−３および端末１−２との接続状態、また、中継装置２−３は、中継装置２−２、端末１−３および端末１−４との接続状態にあることを示す情報が記憶されている。
【００４９】
そして、このようにして記憶されている情報は、算出部３０３に出力される。なお、このように記憶される接続状態を示す情報については、予め、会議システムの管理者などにより生成されたものであってもよいし、各中継装置２に接続状態を認識させて、その結果を送信させることにより、コントローラ３において生成するようにしてもよい。この場合には、定期的にその接続状態を各中継装置２に認識させてもよい。
【００５０】
算出部３０３は、要求データ受信部３０１から要求データが入力され、接続状態記憶部３０２から接続状態を示す情報が入力され、これらに基づいて所定の算出を行い制御データを生成する。この制御データについては、上述したように図１０に示すようなものであって、各中継装置２に対応して生成される。以下、算出部３０３における制御データの生成について説明する。
【００５１】
算出部３０３は、各中継装置２において、その中継装置２において生成された映像データの送信先となり得る全ての端末１を、接続状態を示す情報から認識し、それらの端末１から送信された要求データが指定する各拠点に対応する要求画素数を認識する。そして、認識した各拠点に対応する要求画素数のうち、最大の要求画素数を拠点ごとに算出する。そして算出した拠点ごとの要求画素数を、中継装置２において生成される映像データに係る映像の画素数を示す調整画素数とする。そして、生成された映像データの送信先として、接続される端末１または中継装置２を決定する。
【００５２】
以下、中継装置２−２に対応する制御データの生成を例として説明する。中継装置２−２において生成される映像データが送信される送信先としては、接続状態にある中継装置２−１、２−３および端末１−２である。したがって、算出部３０３は、それぞれに送信される映像データの送信先となりうる全ての端末１を認識する。接続状態を示す情報から、中継装置２−１に送信される映像データについては、送信先となり得る端末１は、端末１−１（拠点Ａ）であり、中継装置２−３に送信される映像データについては、送信先となり得る端末１は、端末１−３、１−４（拠点Ｃ、Ｄ）であり、また、中継装置２−２から直接送信する映像データについては、端末１−２（拠点Ｂ）であると認識する。
【００５３】
したがって、中継装置２−１に送信される映像データについては、端末１−１から送信された要求データに指定される要求画素数をそのまま調整画素数とすればよい。すなわち、中継装置２−１には、生成元が拠点Ｂ（端末１−２）の映像データに係る映像の画素数を３８４×２８８に調整することによって生成した映像データ、同様に、生成元が拠点Ｃ（端末１−３）の映像データに係る映像の画素数を７６９×５７６と調整することによって生成した映像データ、生成元が拠点Ｄ（端末１−４）の映像データに係る映像の画素数を３８４×２８８に調整することによって生成した映像データが送信されるように、制御データが算出される。
【００５４】
また、端末１−２に送信される映像データについても、中継装置２−１のときと同様に、端末１−２から送信された要求データに指定される要求画素数をそのまま調整画素数とすればよい。一方、中継装置２−３に送信される映像データについては、送信先となり得る端末１が複数（端末１−３、１−４）であるので、以下に示すようになる。
【００５５】
生成元が拠点Ｃ、Ｄ（端末１−３、１−４）の映像データについては、中継装置２−３から受信するデータであって、中継装置２−３に送信するものではないから、これらの映像データについて送信先が中継装置２−３とされることはなく、調整画素数は算出されない。
【００５６】
一方、生成元が拠点Ａ、Ｂ（端末１−１、１−２）の映像データについては、送信先が中継装置２−３となり、端末１−３、１−４から送信されるそれぞれの要求データは、それぞれの映像データに対応する要求画素数が指定されている。したがって、それぞれ最大の画素数を選択すると、生成元が拠点Ａ（端末１−１）の映像データについては、端末１−３から送信される要求データの要求画素数である７６８×５７６が選択され、一方、生成元が拠点Ｂ（端末１−２）の映像データについては、端末１−４から送信される要求データの要求画素数である５７６×４３２が選択され、選択された要求画素数が調整画素数として算出されることになる。
【００５７】
算出部３０３は、このようにして算出することにより、中継装置２−２に対応した制御データを生成する。そして、この制御データが中継装置２−２を制御することになり、例えば、中継装置２−２が拠点Ａ（端末１−１）を生成元とする映像データを受信すると、その映像データの画素数が７６８×５７６に調整されることにより生成された映像データが中継装置２−３に送信され、画素数が５７６×４３２に調整されることにより生成された映像データが端末１−２に送信されるようになる。
【００５８】
このようにして、算出部３０３は、生成元が異なる各映像データについて、端末１または中継装置２に送信すべき映像データの調整画素数を算出し、これを制御データとして各中継装置２に対応して生成する。
【００５９】
制御データ送信部３０４は、算出部３０３によって生成された制御データを対応する各中継装置２に送信する。以上が、コントローラ３の構成の説明である。
【００６０】
次に、本発明の実施形態に係る会議システム１００の動作について図１１を用いて説明する。図１１は、各端末１を生成元とする映像データの送受信におけるビットレートを示す説明図である。ここで、「Ａ：１」については、「Ａ」は、拠点Ａ（端末１−１）を生成元とする映像データを示し、「１」は、その映像の画素数の調整が行われていない場合を基準とした映像データのビットレートを示している。したがって、「Ｂ：１／９」であれば、拠点Ｂ（端末１−２）を生成元とする映像データであって、その映像の画素数が調整されることによりビットレートが１／９になっていることを示している。また、矢印については、その映像データの送信方向を示している。
【００６１】
まず、各端末１の利用者は、操作部１１１を操作することにより、表示部１２４に表示させるレイアウトを決定する。各端末１において決定されたレイアウトは、端末１−１（拠点Ａ）においては、図４（ａ）に示すようなレイアウトであり、端末１−３（拠点Ｃ）においては図４（ｂ）、端末１−２、１−４（拠点Ｂ、Ｄ）においては図５に示すようなレイアウトとであるものとする。これにより、各端末１からコントローラ３に対して、図７に示すような要求データが送信される。
【００６２】
コントローラ３は、各端末１から要求データを受信すると、図１０に示すような各中継装置２に対応する制御データを生成して、対応する各中継装置２に送信する。これにより中継装置２は、制御データに応じて、受信した映像データに係る映像の画素数を調整し、調整により生成した映像データを送信する。
【００６３】
この状況において、各端末１から送信される映像データの流れおよびそのビットレートについて説明する。まず、端末１−１が生成元となり送信される映像データ（以下、映像データＡという）は、中継装置２−１に送信されると、中継装置２−１において、その映像の画素数が調整される。この調整は、画素数が１１５２×８６４から７６８×５７６に調整され、画素数が４／９に減少する。したがって、中継装置２−１の処理において映像データＡのビットレートも概ね４／９に減少することになる。このようにして、ビットレートが減少した映像データＡが中継装置２−２に送信されるから、中継装置２−１と中継装置２−２との間の通信経路における通信帯域を有効に利用することができ、ネットワークの負荷が低減されることになる。
【００６４】
映像データＡを受信した中継装置２−２は、中継装置２−３に対しては、映像データＡに係る映像の画素数の調整を行わずに、受信した映像データＡをそのまま送信する。一方、端末１−２に対しては、画素数をさらに５７６×４３２に調整することにより、当初の画素数の１／４に減少させた映像データＡを送信する。したがって、端末１−２に送信される映像データＡのビットレートは当初のビットレートの１／４に減少することになる。このため、上述同様に、ネットワークの負荷が低減されることになる。
【００６５】
映像データＡを受信した中継装置２−３は、端末１−３に対しては、映像データＡに係る映像の画素数の調整を行わずに、受信した映像データＡをそのまま送信する。一方、端末１−４に対しては、画素数を５７６×４３２に調整することにより、当初の画素数の１／４に減少させた映像データＡを送信する。したがって、端末１−４に送信される映像データＡのビットレートは当初のビットレートの１／４に減少することになる。このため、上述同様に、ネットワークの負荷が低減されることになる。
【００６６】
他の端末１を生成元とする映像データについても同様にして、各中継装置２において画素数が調整されながら別の端末１に対して送信されることにより、図１１に示すように各映像データのビットレートが低減され、ネットワークの負荷を低減することができる。そして、各端末１は、他の端末１を生成元とする映像データを受信し、自端末１において生成した映像データとともに、各映像データに係る映像を決定したレイアウトで配置された表示を表示部１２４の表示領域に行うことができる。
【００６７】
このように、本発明の実施形態に係る会議システム１００は、各中継装置２において、各端末１において生成された映像データが必要最小限の画素数に調整されているから、各端末１における表示品位を劣化させずに、他の端末１によって映像データが受信されるまでの各中継装置２間、および端末１と中継装置２との間の通信経路における通信帯域を効率よく使用することができる。したがって、ネットワークの負荷を低減することができ、負荷の集中も発生しないようにすることができる。また、各端末１においては、他の端末１を生成元とする映像データについては、画素数が調整された状態で受信するから、レイアウトに応じた表示を容易に行うことができる。
【００６８】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００６９】
＜変形例１＞
上述した実施形態においては、各端末１の表示部１２４の表示領域に、利用者が決定したレイアウトに応じた表示をするための映像データの生成は、各端末１において行っていたが、各端末１が接続されている中継装置２において行うようにしてもよい。以下、この場合の構成について説明する。
【００７０】
各端末１（本変形例においては端末１ａという）は、図１２に示すような構成であって、上述した実施形態における構成から合成部１２３が除かれたものである。レイアウト設定部１１２が生成する要求データは、実施形態における要求データと異なり、自端末１ａに係る要求画素数についても含まれ、さらに、配置座標についても含まれている。すなわち、実施形態におけるレイアウト設定部１１２が生成する配置データと同様なものとなっている。
【００７１】
また、受信部１２１において受信する映像データについては、各端末１ａを生成元とする映像データではなく、後述するように中継装置２（本変形例においては中継装置２ａという）において各端末１ａを生成元とする映像データが合成された映像データとなっている。したがって、この映像データをデコード部１２２において復号化して表示部１２４に出力することにより、実施形態と同様な表示が表示部１２４の表示領域になされることになる。なお、他の構成については、実施形態における構成とほぼ同様な構成であるから詳細な説明は省略する。
【００７２】
コントローラ３（本変形例においてはコントローラ３ａという）は、図１３に示すような構成であって、実施形態における構成に加えて、算出部３０３から出力された配置データを各端末１ａに送信する配置データ送信部３０５が設けられている。算出部３０３から出力される配置データは、上述したように、入力される要求データと同様なものである。そして、配置データ送信部３０５は、この要求データに対応する端末１ａが接続される中継装置２ａに対して配置データを送信する。
【００７３】
算出部３０３は、入力される要求データについて、その要求データを生成した端末１ａに対して送信すべき映像データに係る映像の要求画素数も含まれるようになっているから、生成する制御データには、実施形態の態様に加えて、映像データの生成元となる端末１ａへその映像データに係る映像の画素数を調整することによって生成された映像データを送信するような制御内容が含まれることになる。そして、このように生成された制御データは、図１５に示すようなものとなる。なお、他の構成については、実施形態における構成とほぼ同様な構成であるから詳細な説明は省略する。
【００７４】
中継装置２ａは、図１４に示すような構成である。制御データ受信部２０１、受信部２０２、デコード部２０３、エンコード部２０５については、実施形態の構成と同様であるから詳細な説明を省略する。調整部２０４は、実施形態における構成とほぼ同様であるが、生成した映像データの送信先が中継装置２ａである場合にはエンコード部２０５に、端末１ａである場合には、合成部２０９に出力する。
【００７５】
また、調整部２０４は、接続された端末１ａから受信した映像データについて、その映像の画素数が調整されることによって生成された映像データは、実施形態においては他の端末１ａまたは他の中継装置２ａへ送信されるような構成になっていたが、本変形例における構成においては、上述のように生成された制御データにより、この映像データは、エンコード部２０５と合成部２０９に出力される。そして、エンコード部２０５に出力された映像データは符号化され、中継送信部２０７によって他の中継装置２ａに送信される。中継送信部２０７は、実施形態における送信部２０６の機能のうち、中継装置２ａに対して送信する機能を有している。
【００７６】
配置データ受信部２０８は、コントローラ３ａから送信される配置データを受信して合成部２０９に出力する。なお、中継装置２ａにおいて、接続された端末１ａから送信される要求データを配置データ受信部２０８において配置データとして受信し、合成部２０９に出力するようにすれば、コントローラ３ａの構成については、実施形態における構成と同じものとすることができる。
【００７７】
合成部２０９は、調整部２０４から各映像データが入力され、配置データ受信部２０８から配置データが入力される。そして、入力された配置データに基づいて、これらの映像データを合成した合成映像データを生成して、エンコード部２１０に出力する。この合成部２０９における合成処理については、実施形態における端末１ａの合成部１２３と同様であるから、詳細の説明は省略する。
【００７８】
そして、エンコード部２１０は、合成部２０９から入力された合成映像データを符号化して、端末送信部２１１に出力する。そして、端末送信部２１１は、接続された端末１ａに合成映像データを送信する。端末送信部２１１は、実施形態における送信部２０６の機能のうち、端末１ａに対して送信する機能を有している。これにより、端末１ａの表示部１２４の表示領域には、合成映像データに係る映像が表示され、利用者によって決定されたレイアウトで表示されることになる。
【００７９】
このように、各端末１ａを生成元とする映像データの合成については、各端末１ａにおいて行なってもよいし、各端末１ａが接続された中継装置２ａにおいて行うようにしてもよい。
【００８０】
＜変形例２＞
上述した実施形態において、接続状態にある各端末１と各中継装置２との間の通信経路における通信帯域に応じて、その通信経路において送受信される映像データのビットレートを調整するようにしてもよい。この場合には、中継装置２（本変形例においては中継装置２ｂという）を図１６に示すような構成とし、コントローラ３（本変形例においてはコントローラ３ｂという）を図１７に示すような構成とすればよい。以下、それぞれについて順に説明する。
【００８１】
中継装置２ｂは、実施形態における構成に加えて、通信帯域測定部２１２、帯域データ送信部２１３が設けられている。通信帯域測定部２１２は、この中継装置２ｂと接続状態にある端末１または中継装置２ｂとの間の通信経路の通信帯域を測定し、各通信経路に対応する通信帯域を示す帯域データを生成して帯域データ送信部２１３に出力する。そして、帯域データ送信部２１３は、コントローラ３ｂに帯域データを送信する。
【００８２】
調整部２０４は、実施形態における機能に加えて、さらに生成した映像データのビットレートを、入力された制御データに応じてこのビットレート以下に調整する機能を有する。このようにビットレートを調整する制御データについては後述する。なお、他の構成については、実施形態における構成とほぼ同様な構成であるから詳細な説明は省略する。
【００８３】
コントローラ３ｂは、実施形態における構成に加えて、帯域データ受信部３０６が設けられている。帯域データ受信部３０６は、各中継装置２から送信された帯域データを受信し、算出部３０３に送信する。
【００８４】
算出部３０３は、実施形態に加えて、中継装置２ｂの調整部２０４において生成される映像データの送信に係る通信経路の通信帯域に応じて、その映像データのビットレートを調整するための制御内容、すなわち各映像データのビットレートを指定する制御内容をさらに示す制御データを生成する。この制御データに係るビットレートの指定は、各通信経路において送受信される映像データのビットレートの総計が、各帯域データに係る通信経路の通信帯域において送受信可能な最大ビットレート以下になるように行われる。
【００８５】
このようなビットレートの調整は、映像データに係るフレームレート、圧縮率などの変更により行なわれるようにすればよく、制御データにおいてその内容を指定してもよいし、中継装置２ｂにおいて各々設定された内容で行なってもよい。なお、他の構成については、実施形態における構成とほぼ同様な構成であるから詳細な説明は省略する。このように、各通信経路における通信帯域を考慮して、ビットレートをさらに調整した映像データの送受信を行うことにより、安定した品質で送受信を行うことができる。
【００８６】
＜変形例３＞
上述した実施形態において、調整部２０４は、映像データに係る映像の画素数を調整していたが、この調整の態様はどのようなものであってもよい。例えば、映像データに係る映像の範囲は一定とし、全体的に映像を縮小することにより解像度を低減して、画素数を調整してもよい。一方、映像の縮小は行わずに解像度を維持し、映像の範囲の一部を切り出すことにより画素数を調整してもよい。また、双方を組み合わせて、映像の範囲の一部を切り出してさらに縮小を行うようにしてもよい。切り出される映像の範囲の一部については、中継装置２に予め設定されていてもよいし、コントローラ３の制御によって行なわれてもよい。コントローラ３の制御によって行われる場合には、制御データにおいて切り出すべき範囲についても指定されるようにすればよい。
【００８７】
また、その映像データの生成元となる端末１においてその切り出すべき範囲を指定してもよい。この場合には、各端末１において指定された範囲を示す情報が要求データに含まれるようにする。そして、コントローラ３においては、実施形態のようにして生成される制御データによって指定されるその端末１に対応する調整画素数が、その端末１において指定された範囲の画素数よりも大きい場合には、指定された範囲を含む範囲であって、制御データによって指定される調整画素数に応じた範囲を切り出すことによって画素数を調整するように、各中継装置２を制御する制御データを生成すればよい。
【００８８】
一方、制御データによって指定されるその端末１に対応する調整画素数が、その端末１において指定された範囲の画素数よりも小さい場合には、指定された範囲を切り出した上で、その範囲を縮小することによって画素数を調整するように、各中継装置２を制御する制御データを生成すればよい。
【００８９】
このような処理について、所定の端末１において指定された範囲が、例えば図１８に示す破線の範囲（画素数６４０×４８０）である場合について、図１９を用いて説明する。この端末１を生成元とする映像データについて、中継装置２の調整部２０４において調整する画素数が７６８×５７６である場合には、図１９（ａ）に示すように、調整部２０４は、この端末１において指定された破線の範囲を含む２点鎖線の範囲（画素数７６８×５７６）を切り出すことによって映像データに係る映像の画素数を調整する。この切り出しの範囲は、端末１において指定された範囲が含まれていれば、どのような範囲でもよく、その態様については予め設定しておけばよい。
【００９０】
一方、この端末１を生成元とする映像データについて、中継装置２の調整部２０４において調整する画素数が５７６×４３２である場合には、図１９（ｂ）に示すように、調整部２０４は、この端末１において指定された破線の範囲を切り出した上で、その範囲の映像を縮小（この場合には、縦横の画素数をそれぞれ０．９倍）することによって映像データに係る映像の画素数を調整する。このようにすると、指定された範囲を切り出さずに縮小する態様に比べ、画像の解像度の劣化を低減することができる。さらに端末１において指定されている範囲が残されるように切り出されることにより、重要な部分の映像を残すことができる。
【００９１】
なお、端末１における範囲の指定は、自動的に行われるようにしてもよく、画像認識により人物がいると判定される位置を含む所定範囲が自動的に指定されるようにしてもよい。また、マイクアレイなどにより発音方向を認識できるようにしておくことで、その発音方向に対応する所定範囲が自動的に指定されるようにしてもよい。このように自動的に行われる場合には、指定される範囲が随時変化していくこともある。
【００９２】
＜変形例４＞
上述した実施形態において、各端末１の利用者が声を出していない場合には、映像データの送信を停止するようにしてもよい。この場合には、端末１に設けられたマイクなどの収音手段による収音レベルが所定値以下である状態が所定時間続くと、送信部１０３から映像データが送信されないようにすればよい。なお、変形例３において示したような映像の切り出し範囲が指定されている場合には、マイクアレイにより収音したその範囲内の収音レベルが所定値以下である状態が所定時間続いたときに、送信部１０３から映像データが送信されないようにしてもよい。このようにすると、さらにネットワークの負荷を低減することができる。
【図面の簡単な説明】
【００９３】
【図１】実施形態に係る会議システムの構成の一例を示すブロック図である。
【図２】実施形態に係る端末の構成を示すブロック図である。
【図３】実施形態に係る撮影部の撮影内容および座標を示す説明図である。
【図４】実施形態に係る表示部の表示領域に表示される各映像のレイアウトの一例を示す説明図である。
【図５】実施形態に係る表示部の表示領域に表示される各映像のレイアウトの一例を示す説明図である。
【図６】実施形態に係る配置データの一例を示す説明図である。
【図７】実施形態に係る要求データの一例を示す説明図である。
【図８】実施形態に係る中継装置の構成を示すブロック図である。
【図９】実施形態に係るコントローラの構成を示すブロック図である。
【図１０】実施形態に係る制御データの一例を示す説明図である。
【図１１】実施形態に係る会議システムの映像データの送受信についての説明図である。
【図１２】変形例１に係る端末の構成を示すブロック図である。
【図１３】変形例１に係るコントローラの構成を示すブロック図である。
【図１４】変形例１に係る中継装置の構成を示すブロック図である。
【図１５】変形例１に係る制御データの一例を示す説明図である。
【図１６】変形例２に係る中継装置の構成を示すブロック図である。
【図１７】変形例２に係るコントローラの構成を示すブロック図である。
【図１８】変形例３に係る端末において指定される範囲の一例を示す説明図である。
【図１９】変形例３に係る中継装置における画素数の調整の一例を示す説明図である。
【符号の説明】
【００９４】
１，１ａ，１−１，１−２，１−３，１−４…端末、２，２ａ，２ｂ，２−１，２−２，２−３…中継装置、３，３ａ，３ｂ…コントローラ、４…ネットワーク、１００…会議システム、１０１…撮影部、１０２…エンコード部、１０３…送信部、１１１…操作部、１１２…レイアウト設定部、１１３…要求データ送信部、１２１…受信部、１２２…デコード部、１２３…合成部、１２４…表示部、２０１…制御データ受信部、２０２…受信部、２０３…デコード部、２０４…調整部、２０５…エンコード部、２０６…送信部、２０７…中継送信部、２０８…配置データ受信部、２０９…合成部、２１０…エンコード部、２１１…端末送信部、２１２…通信帯域測定部、２１３…帯域データ送信部、３０１…要求データ受信部、３０２…接続状態記憶部、３０３…算出部、３０４…制御データ送信部、３０５…配置データ送信部、３０６…帯域データ受信部
【特許請求の範囲】
【請求項１】
複数の端末の各々によって生成される映像データであって、その生成元の前記端末を特定する端末情報が付加された映像データが前記端末間において送受信される際の中継を行う複数の中継装置と、前記複数の中継装置を制御するコントローラとを有する通信システムにおいて、
前記複数の中継装置の各々は、
前記端末または他の前記中継装置から、前記映像データを受信する受信手段と、
前記受信手段によって受信された映像データに係る映像の画素数を、前記コントローラの制御に応じて当該画素数以下に調整することにより、前記調整した画素数の映像データを生成する調整手段と、
前記調整手段によって生成された映像データを、前記受信手段が当該映像データを受信した前記端末または他の前記中継装置以外の前記端末または他の前記中継装置に対して送信する送信手段と
を具備し、
前記コントローラは、
前記各端末において受信すべき映像データに係る映像の画素数と当該映像データの生成元となる各端末とを対応させて指定する要求データを、前記複数の端末の各々から取得する取得手段と、
前記受信手段によって受信された映像データに係る映像の画素数が、前記取得手段によって取得された前記各要求データに基づく画素数に調整されるように、前記調整手段を制御する制御手段と
を具備する
ことを特徴とする通信システム。
【請求項２】
前記制御手段による前記調整手段の制御には、一の映像データに対して、当該映像データに係る映像の画素数の調整を複数行うことにより、画素数が異なる複数の映像データを生成させる制御を含み、
前記送信手段は、前記調整手段によって生成された映像データが複数であるときには、前記複数の映像データの各々を、異なる前記端末または他の前記中継装置に対して送信する
ことを特徴とする請求項１に記載の通信システム。
【請求項３】
前記制御手段は、前記受信手段によって受信された映像データに係る映像の画素数が、当該映像データの画素数の調整によって生成される映像データの送信先となり得る端末に係る要求データが指定する画素数であって、当該映像データの生成元となる端末に対応する画素数のうち、最も多い画素数以下になるように、前記調整手段を制御する
ことを特徴とする請求項１または請求項２に記載の通信システム。
【請求項４】
前記取得手段によって取得される要求データは、前記要求データが取得された端末の表示手段に表示させる表示内容を示すものであって、前記調整手段によって調整された複数の映像データに係る映像が配置される領域を指定し、
前記送信手段は、前記端末に対して送信するときには、前記調整手段によって調整された各映像データを前記コントローラの制御に応じて合成して送信し、
前記コントローラは、
前記送信手段によって送信される映像データを受信した前記端末の表示手段に表示させると、前記取得手段によって取得される要求データに応じた表示内容であって、前記調整手段によって調整された複数の映像データに係る映像が各々前記配置される領域に対応して配置された表示内容になるように、前記送信手段による映像データの合成を制御する合成制御手段
をさらに具備する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の通信システム。
【請求項５】
前記中継装置の各々は、
前記送信手段によって映像データが送信される前記端末または他の前記中継装置への通信経路の通信帯域を測定する帯域測定手段と、
前記帯域測定手段によって測定された各通信経路の通信帯域を示す帯域データを前記コントローラに送信する帯域データ送信手段と
をさらに具備し、
前記調整手段は、さらに前記コントローラの制御に応じて、前記画素数が調整された映像データのビットレートを当該ビットレート以下になるように調整し、
前記コントローラは、
前記帯域データを受信する帯域データ受信手段と、
前記各通信経路において送受信される各映像データのビットレートの総計が、前記帯域データ受信手段によって受信した帯域データが示す前記各通信経路の通信帯域において送受信可能な最大ビットレート以下になるように、前記調整手段を制御するビットレート制御手段と
をさらに具備する
ことを特徴とする請求項１乃至請求項４のいずれかに記載の通信システム。
【請求項６】
前記調整手段は、映像データに係る映像の解像度を減少させることにより画素数を調整する
ことを特徴とする請求項１乃至請求項５のいずれかに記載の通信システム。
【請求項７】
前記調整手段は、映像データに係る映像の一部を切り出すことにより画素数を調整する
ことを特徴とする請求項１乃至請求項６のいずれかに記載の通信システム。
【請求項１】
複数の端末の各々によって生成される映像データであって、その生成元の前記端末を特定する端末情報が付加された映像データが前記端末間において送受信される際の中継を行う複数の中継装置と、前記複数の中継装置を制御するコントローラとを有する通信システムにおいて、
前記複数の中継装置の各々は、
前記端末または他の前記中継装置から、前記映像データを受信する受信手段と、
前記受信手段によって受信された映像データに係る映像の画素数を、前記コントローラの制御に応じて当該画素数以下に調整することにより、前記調整した画素数の映像データを生成する調整手段と、
前記調整手段によって生成された映像データを、前記受信手段が当該映像データを受信した前記端末または他の前記中継装置以外の前記端末または他の前記中継装置に対して送信する送信手段と
を具備し、
前記コントローラは、
前記各端末において受信すべき映像データに係る映像の画素数と当該映像データの生成元となる各端末とを対応させて指定する要求データを、前記複数の端末の各々から取得する取得手段と、
前記受信手段によって受信された映像データに係る映像の画素数が、前記取得手段によって取得された前記各要求データに基づく画素数に調整されるように、前記調整手段を制御する制御手段と
を具備する
ことを特徴とする通信システム。
【請求項２】
前記制御手段による前記調整手段の制御には、一の映像データに対して、当該映像データに係る映像の画素数の調整を複数行うことにより、画素数が異なる複数の映像データを生成させる制御を含み、
前記送信手段は、前記調整手段によって生成された映像データが複数であるときには、前記複数の映像データの各々を、異なる前記端末または他の前記中継装置に対して送信する
ことを特徴とする請求項１に記載の通信システム。
【請求項３】
前記制御手段は、前記受信手段によって受信された映像データに係る映像の画素数が、当該映像データの画素数の調整によって生成される映像データの送信先となり得る端末に係る要求データが指定する画素数であって、当該映像データの生成元となる端末に対応する画素数のうち、最も多い画素数以下になるように、前記調整手段を制御する
ことを特徴とする請求項１または請求項２に記載の通信システム。
【請求項４】
前記取得手段によって取得される要求データは、前記要求データが取得された端末の表示手段に表示させる表示内容を示すものであって、前記調整手段によって調整された複数の映像データに係る映像が配置される領域を指定し、
前記送信手段は、前記端末に対して送信するときには、前記調整手段によって調整された各映像データを前記コントローラの制御に応じて合成して送信し、
前記コントローラは、
前記送信手段によって送信される映像データを受信した前記端末の表示手段に表示させると、前記取得手段によって取得される要求データに応じた表示内容であって、前記調整手段によって調整された複数の映像データに係る映像が各々前記配置される領域に対応して配置された表示内容になるように、前記送信手段による映像データの合成を制御する合成制御手段
をさらに具備する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の通信システム。
【請求項５】
前記中継装置の各々は、
前記送信手段によって映像データが送信される前記端末または他の前記中継装置への通信経路の通信帯域を測定する帯域測定手段と、
前記帯域測定手段によって測定された各通信経路の通信帯域を示す帯域データを前記コントローラに送信する帯域データ送信手段と
をさらに具備し、
前記調整手段は、さらに前記コントローラの制御に応じて、前記画素数が調整された映像データのビットレートを当該ビットレート以下になるように調整し、
前記コントローラは、
前記帯域データを受信する帯域データ受信手段と、
前記各通信経路において送受信される各映像データのビットレートの総計が、前記帯域データ受信手段によって受信した帯域データが示す前記各通信経路の通信帯域において送受信可能な最大ビットレート以下になるように、前記調整手段を制御するビットレート制御手段と
をさらに具備する
ことを特徴とする請求項１乃至請求項４のいずれかに記載の通信システム。
【請求項６】
前記調整手段は、映像データに係る映像の解像度を減少させることにより画素数を調整する
ことを特徴とする請求項１乃至請求項５のいずれかに記載の通信システム。
【請求項７】
前記調整手段は、映像データに係る映像の一部を切り出すことにより画素数を調整する
ことを特徴とする請求項１乃至請求項６のいずれかに記載の通信システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−２６０４１２（Ｐ２００９−２６０４１２Ａ）
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願番号】特願２００８−１０３７７６（Ｐ２００８−１０３７７６）
【出願日】平成２０年４月１１日（２００８．４．１１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願日】平成２０年４月１１日（２００８．４．１１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]