テレビ会議システム、会議コントローラ、テレビ会議方法、及び、会議コントロール方法
【課題】画像を送信する送信側端末装置の処理負荷の増大を抑制し、受信側端末装置に画像を適切に送信可能なテレビ会議システムの提供。
【解決手段】テレビ会議システム１の会議コントローラ２００は、受信側端末装置１０２からの低画質コマンド及び高画質コマンドを送信側端末装置１０１へ転送し、送信側端末装置１０１から低画質動画像データ及び高画質動画像データを受信し、ネットワークＮの通信帯域の利用状況、低画質動画像データ及び高画質動画像データの解像度に基づき第１のフレームレート及び第２のフレームレートを判定し、低画像表示の受信側端末装置１０２へ低画質動画像データを第１のフレームレートで転送するとともに、高画質表示の受信側端末装置１０２へ高画質動画像データを第２のフレームレートで転送する。
【解決手段】テレビ会議システム１の会議コントローラ２００は、受信側端末装置１０２からの低画質コマンド及び高画質コマンドを送信側端末装置１０１へ転送し、送信側端末装置１０１から低画質動画像データ及び高画質動画像データを受信し、ネットワークＮの通信帯域の利用状況、低画質動画像データ及び高画質動画像データの解像度に基づき第１のフレームレート及び第２のフレームレートを判定し、低画像表示の受信側端末装置１０２へ低画質動画像データを第１のフレームレートで転送するとともに、高画質表示の受信側端末装置１０２へ高画質動画像データを第２のフレームレートで転送する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ会議システム、会議コントローラ、テレビ会議方法、及び、会議コントロール方法に関する
【背景技術】
【０００２】
従来、ネットワークを介して接続された複数の端末装置を利用して、テレビ会議を行うシステムが知られている（例えば、特許文献１，２参照）。
【０００３】
特許文献１の構成では、送信側の端末装置は、第１の解像度（低解像度）で第１のフレームレート（高フレームレート）を有する第１の動画像信号と、第１の解像度よりも高い第２の解像度（高解像度）で第１のフレームレートよりも低い第２のフレームレート（低フレームレート）を有する第２の動画像信号とを送信する。そして、受信側の端末装置は、第１，第２の動画像信号を受信して、低解像度と高解像度とのうち所望の解像度で、高フレームレートの動画像を表示する。
具体的に、低解像度且つ高フレームレートの動画像を表示する場合、第１の動画像信号に基づいて動画像を表示させる。
一方、高解像度且つ高フレームレートの動画像を表示する場合、第２の動画像信号に基づく高解像度の動画像を表示するとともに、当該第２の動画像信号で欠落しているタイミングのフレームを第１の動画像信号の低解像度の画像に基づいて生成して表示する。
【０００４】
特許文献２の構成では、送信側拠点の画像を、受信側拠点の通信装置で表示させている場合、受信側拠点のモニタ上で送信側拠点の画像の表示領域が減少すると、受信側拠点の通信装置は、フレームレートや解像度を低下させた画像データを要求する制御コマンドを送信側拠点に送信する。そして、送信側拠点の通信装置は、要求に対応する画像データを受信側拠点の通信装置に送信する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４２４４３９４号公報
【特許文献２】特許第４５０００２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のような構成では、送信側の端末装置から予め設定されたフレームレートで動画像信号が送信されるため、ネットワークの通信帯域が十分に確保されていない場合には、動画像信号を適切に送信できない。
また、特許文献１，２のような構成では、送信側の端末装置において、画像の解像度の変更処理に加えて、受信側の端末装置への画像の分配処理も行うため、受信側の端末装置の数が増えると、送信側の端末装置の処理負荷が増大してしまう。
【０００７】
本発明は、画像を送信する送信側端末装置の処理負荷の増大を抑制し、受信側端末装置に画像を適切に送信可能なテレビ会議システム、会議コントローラ、テレビ会議方法、及び、会議コントロール方法を提供することを１つの目的とする。
【課題を解決するための手段】
【０００８】
本発明のテレビ会議システムは、画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置と、前記送信側端末装置及び前記複数の受信側端末装置にネットワークを介して接続された会議コントローラと、を備えたテレビ会議システムであって、前記送信側端末装置は、画像データが入力される画像入力部と、受信側端末装置での画像データの表示サイズを表す制御コマンドを、前記会議コントローラを介して受信する転送コマンド受信部と、前記転送コマンド受信部において、第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方を受信すると、前記画像入力部に入力された画像データに基づき第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を生成する画像生成部と、当該生成した前記第１の画像データ及び前記第２の画像データを前記会議コントローラへ送信する画像送信制御部と、を備え、前記会議コントローラは、受信側端末装置から制御コマンドを受信する送信コマンド受信部と、当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御部と、当該転送された制御コマンドに応じて前記送信側端末装置から送信される第１の画像データ及び第２の画像データを受信する生成画像受信部と、ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定部と、前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御部と、を備え、前記受信側端末装置は、前記表示部での画像データの表示サイズが入力されるサイズ入力部と、
当該入力された表示サイズを表す制御コマンドを前記会議コントローラへ送信する制御コマンド送信制御部と、当該送信された制御コマンドに応じて前記会議コントローラから転送された画像データを受信する転送画像受信部と、当該受信した画像データを前記制御コマンドに基づく表示サイズで表示部に表示させる表示制御部と、を備えたことを特徴とする。
【０００９】
本発明の会議コントローラは、画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置とにネットワークを介して接続され、前記画像データの送受信を制御する会議コントローラであって、受信側端末装置での画像データの表示サイズを表す制御コマンドを当該受信側端末装置から受信する送信コマンド受信部と、当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御部と、前記送信側端末装置へ第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方が転送された場合、前記送信側端末装置に入力された画像データに基づき生成される、第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を受信する生成画像受信部と、ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定部と、前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御部と、を備えたことを特徴とする。
【００１０】
本発明のテレビ会議方法は、画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置と、前記送信側端末装置及び前記複数の受信側端末装置にネットワークを介して接続された会議コントローラと、を備えたテレビ会議システムにおけるテレビ会議方法であって、前記受信側端末装置が、前記表示部での画像データの表示サイズが入力されるサイズ入力工程と、当該入力された表示サイズを表す制御コマンドを前記会議コントローラへ送信する制御コマンド送信工程と、を実施し、前記会議コントローラが、受信側端末装置から制御コマンドを受信する送信コマンド受信工程と、当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御工程と、を実施し、前記送信側端末装置が、画像データが入力される画像入力工程と、受信側端末装置での画像データの表示サイズを表す制御コマンドを、前記会議コントローラを介して受信する転送コマンド受信工程と、当該転送コマンド受信工程において、第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方を受信すると、前記画像入力部に入力された画像データに基づき第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を生成する画像生成工程と、当該生成した前記第１の画像データ及び前記第２の画像データを前記会議コントローラへ送信する画像送信制御工程と、を実施し、前記会議コントローラが、前記コマンド転送制御工程で転送された制御コマンドに応じて前記送信側端末装置から送信される第１の画像データ及び第２の画像データを受信する生成画像受信工程と、ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定工程と、前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御工程と、を実施し、前記受信側端末装置が、前記制御コマンド送信工程で送信された制御コマンドに応じて前記会議コントローラから転送された画像データを受信する転送画像受信工程と、当該受信した画像データを前記制御コマンドに基づく表示サイズで表示部に表示させる表示制御工程と、を実施することを特徴とする。
【００１１】
本発明の会議コントロール方法は、画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置とにネットワークを介して接続され、前記画像データの送受信を制御する会議コントロール方法であって、受信側端末装置での画像データの表示サイズを表す制御コマンドを受信する送信コマンド受信工程と、当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御工程と、前記送信側端末装置へ第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方が転送された場合、前記送信側端末装置に入力された画像データに基づき生成される、第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を受信する生成画像受信工程と、ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定工程と、前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御工程と、を実施することを特徴とする。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るテレビ会議システムの概略構成を示す模式図。
【図２】前記テレビ会議システムを構成する端末装置の概略構成を示すブロック図。
【図３】前記端末装置が受信側端末装置として機能する場合の動作を示す模式図。
【図４】前記端末装置が送信側端末装置として機能する場合の動作を示す模式図。
【図５】前記テレビ会議システムを構成する会議コントローラの概略構成及び動作を示す模式図。
【図６】前記テレビ会議システムの動作を示すフローチャート。
【図７】前記受信側端末装置において低画質コマンドを生成する場合の表示画面を示す模式図。
【図８】前記受信側端末装置において低画質コマンドを生成する場合の表示画面を示す模式図。
【図９】前記受信側端末装置において低画質コマンドを生成する場合の表示画面を示す模式図。
【図１０】前記受信側端末装置において高画質コマンドを生成する場合の表示画面を示す模式図。
【図１１】前記受信側端末装置において高画質コマンドを生成する場合の表示画面を示す模式図。
【図１２】前記受信側端末装置において高画質コマンドを生成する場合の表示画面を示す模式図。
【図１３】前記受信側端末装置において非表示コマンドを生成する場合の表示画面を示す模式図。
【図１４】前記テレビ会議システムの動作を示すフローチャート。
【図１５】前記テレビ会議システムにおける各拠点での表示状態を示す模式図。
【図１６】前記テレビ会議システムにおける各拠点での表示状態を示す模式図。
【発明を実施するための形態】
【００１３】
以下、本発明のテレビ会議システムについて図面を参照しながら詳細に説明する。
［テレビ会議システムの構成］
図１に示すように、テレビ会議システム１は、複数の拠点にそれぞれ配置された端末装置１００と、これらの端末装置１００にネットワークＮを介して接続された会議コントローラ２００とを備えている。このテレビ会議システム１は、例えば拠点Ｂ，Ｃ，Ｄの端末装置１００における表示サイズに応じた解像度の動画像データを、拠点Ａの端末装置１００から拠点Ｂ，Ｃ，Ｄの端末装置１００にそれぞれ送信する。また、テレビ会議システム１は、動画像データの送信の際、ネットワークＮの通信帯域（以下、通信帯域、と言う）に応じて、動画像データのフレームレートを調整する。
以下において、動画像データを送信する端末装置１００を送信側端末装置１０１と言い、動画像データを受信して表示する端末装置１００を受信側端末装置１０２と言う場合がある。
尚、テレビ会議システム１を構成する端末装置１００の数としては、４個に限定されない。会議コントローラ２００は、端末装置１００が配置された拠点に配置されていても良いし、他の拠点に配置されていても良い。
【００１４】
まず、端末装置１００が有する主な構成について説明する。
コンピュータである端末装置１００は、図２に示すように、入力ブロック１１０と、メモリ１２０と、端末制御演算ブロック１３０と、出力ブロック１４０と、画像表示を行うための表示部としてのモニタ１５０と、を備えている。
入力ブロック１１０は、画像入力部１１１と、転送画像受信部１１２と、ユーザインターフェース１１３と、転送コマンド受信部１１４と、を備えている。
端末制御演算ブロック１３０は、画像再生部１３１と、表示制御部としての画面構成管理部１３２と、サイズ入力部としての外部割り込み判定部１３３と、サイズ入力部としての内部割り込み判定部１３４と、画面構成変更判定部１３５と、制御コマンド送信制御部としての画面領域状態判定部１３６と、画像生成部１３７と、画像送信制御部１３８と、を備えている。
この端末制御演算ブロック１３０の各部は、パーソナルコンピュータ等のＣＰＵ（中央処理装置）と記憶装置（例えば、ＳＳＤ（Solid State Drive）やＨＤＤ（ハードディスクドライブ））（いずれも図示省略）に格納されたプログラムにより実現される。また、端末装置１００で実行するテレビ会議も、この端末制御演算ブロック１３０において、上記の記憶装置に格納されたテレビ会議システム用プログラムをＣＰＵで実行することにより実現される。
出力ブロック１４０は、画像表示出力部１４１と、制御コマンド送信部１４２と、生成画像送信部１４３と、を備えている。
【００１５】
次に、端末装置１００が受信側端末装置１０２として機能する場合に、主に動作する構成について説明する。
図３に示すように、画像入力部１１１には、カメラである撮影部１６０で撮影された動画像データ（以下、撮影動画像データ、と言う場合がある。）が入力される。
転送画像受信部１１２は、送信側端末装置１０１にて生成され、ネットワークＮを介して会議コントローラ２００から転送される動画像データ（以下、転送動画像データ、と言う場合がある。）を受信する。
ユーザインターフェース１１３は、操作入力を行うためのキーボード等で構成されている。
【００１６】
メモリ１２０は、撮影部１６０からの撮影動画像データ、表示画面の画面構成情報、当該受信側端末装置にて生成された制御コマンド、転送動画像データを記憶する。
【００１７】
画像再生部１３１は、転送画像受信部１１２で受信した転送動画像データや、画像入力部１１１に入力された撮影動画像データを再生する。この再生動作により、メモリ１２０には、転送静止画像データや、撮影静止画像データが提供される。
画面構成管理部１３２は、モニタ１５０に表示される画像の表示領域の構成、即ち画面構成を管理する。例えば、テレビ会議システム用プログラムの他に文書作成ソフトウェアが起動している場合、両方のウィンドウの前後関係や重なり順序等に基づく画面構成を画面構成情報として出力する。
【００１８】
外部割り込み判定部１３３は、ユーザインターフェース１１３からの入力を監視して、当該受信側端末装置１０２のユーザからの外部割り込みを検知する。
内部割り込み判定部１３４は、テレビ会議システム用プログラムの内部割り込みを検知する。外部割り込み及び内部割り込みの詳細については後述する。
【００１９】
画面構成変更判定部１３５は、割り込み処理により画面構成に変更が生じたか否かを判定する。
画面領域状態判定部１３６は、画面構成情報に基づいて、テレビ会議システムの画像（ウィンドウ）の表示領域に変化が有るか否かを判定する。また、変化が有る場合、送信側端末装置１０１からの転送動画像データの送信に係わる制御コマンドを生成して出力する。制御コマンドの詳細については後述する。
【００２０】
画像表示出力部１４１は、転送静止画像データや撮影静止画像データを連続的にモニタ１５０に出力することで、転送動画像データや撮影動画像データをモニタ１５０で表示させる。
制御コマンド送信部１４２は、画面領域状態判定部１３６から出力された制御コマンドを会議コントローラ２００へ送信する。
【００２１】
次に、端末装置１００が送信側端末装置１０１として機能する場合に、主に動作する構成について説明する。
図４に示すように、転送コマンド受信部１１４は、受信側端末装置１０２にて生成され、ネットワークＮ及び会議コントローラ２００を介して転送される制御コマンド（以下、転送コマンド、と言う場合がある。）を受信する。
メモリ１２０は、撮影部１６０からの撮影動画像データや、受信側端末装置１０２から受信した転送コマンドを記憶する。
【００２２】
画像生成部１３７は、受信側端末装置１０２から送信される転送コマンドと、撮影動画像データとに基づいて、予め設定された低解像度（低画質）の低画質動画像データと、予め設定された高解像度（高画質）の高画質動画像データとのうち、少なくとも一方を生成する。ここで、低解像度及び低画質動画像データが、本発明の第１の解像度及び第１の画像データにそれぞれ該当し、高解像度及び高画質動画像データが、本発明の第２の解像度及び第２の画像データにそれぞれ該当する。
尚、撮影動画像データの解像度が、低画質動画像データ及び高画質動画像データの解像度と異なる場合には、撮影動画像データの解像度を低くしたり高くしたりすることで、低画質動画像データ及び高画質動画像データを生成すればよい。
また、撮影動画像データの解像度が、低画質動画像データの解像度と同じ場合には、撮影動画像データとは別の低画質動画像データを新たに生成せずに、撮影動画像データをそのまま低画質動画像データとして用いればよい。撮影動画像データの解像度が、高画質動画像データの解像度と同じ場合にも、撮影動画像データを高低画質動画像データとして用いればよい。
【００２３】
画像送信制御部１３８は、画像生成部１３７にて生成された低画質動画像データ及び高画質動画像データのうち少なくとも一方を生成動画像データとして、生成画像送信部１４３を介して会議コントローラ２００へ送信する。
【００２４】
次に、会議コントローラ２００の構成について説明する。
コンピュータである会議コントローラ２００は、テレビ会議を制御するものであり、図５に示すように、入力ブロック２１０と、メモリ２２０と、コントローラ制御演算ブロック２３０と、出力ブロック２４０とを備えている。
【００２５】
入力ブロック２１０は、受信側端末装置１０２から送信される制御コマンドを受信する送信コマンド受信部２１１と、送信側端末装置１０１から送信される生成動画像データを受信する生成画像受信部２１２と、を備えている。
メモリ２２０は、受信した生成動画像データや制御コマンドを記憶する。
【００２６】
コントローラ制御演算ブロック２３０は、コマンド転送制御部２３１と、フレームレート判定部２３２と、分配転送制御部２３３と、を備えている。
これら各部は、端末装置１００の端末制御演算ブロック１３０と同様に、パーソナルコンピュータ等のＣＰＵと記憶装置（ＳＳＤやＨＤＤ）に格納されたプログラムにより実現される。
また、テレビ会議は、このコントローラ制御演算ブロック２３０において、上記の記憶装置に格納されたテレビ会議システム用プログラムをＣＰＵで実行することにより実現される。
【００２７】
コマンド転送制御部２３１は、出力ブロック２４０のコマンド転送部２４１を制御して、メモリ２２０に記憶された制御コマンドを転送コマンドとして、送信側端末装置１０１へ転送する。
【００２８】
フレームレート判定部２３２は、通信帯域の利用状況を判定するとともに、メモリ２２０の制御コマンドに基づいて各受信側端末装置１０２に送信する転送動画像データの解像度を判定する。そして、この判定結果に基づいて、各受信側端末装置１０２に対して、適切（確実）に転送動画像データを転送可能なフレームレートを判定する。
【００２９】
分配転送制御部２３３は、出力ブロック２４０の画像転送部２４２を制御して、メモリ２２０の制御コマンドと、フレームレート判定部２３２で判定されたフレームレートとに基づいて、メモリ２２０の生成動画像データを転送動画像データとして各受信側端末装置１０２に転送する。
【００３０】
［テレビ会議システムの動作］
次に、テレビ会議システム１の動作について説明する。尚、以下において、拠点Ａの送信側端末装置１０１から送信される画像を、拠点Ｂ，Ｃ，Ｄの受信側端末装置１０２で表示させる場合を例示して説明する。
【００３１】
図３及び図６に示すように、例えば、拠点Ｂの受信側端末装置１０２は、外部割り込み判定部１３３と内部割り込み判定部１３４にて、割り込み処理の監視を行う（ステップＳ１）。
外部割り込み処理としては、一例として受信側端末装置１０２のユーザのキーボード入力などにより、テレビ会議システムの通常処理に優先して実行される処理がある。テレビ会議のウィンドウに表示される画像の表示領域が変化する割り込みとしては、例えば、ウィンドウのサイズ変更操作や、別のアプリケーションの起動操作、表示の切替えや入替えなどである。
内部割り込み処理としては、一例として受信側端末装置１０２のテレビ会議システム用プログラムによって実行される割り込み処理がある。テレビ会議のウィンドウに表示される画像の表示領域が変化する割り込みとしては、例えば、複数の接続先（端末装置）の会議参加者の画像をタイマで自動的に切り替えるプログラムや、新規の会議参加者の画像を所定時間で優先的に表示させるプログラムなどがある。
ここで、ユーザインターフェース１１３の操作により外部割り込み判定部１３３に入力される表示サイズの変更指令、及び、プログラムの実行により内部割り込み判定部１３４に入力される表示サイズの変更指令は、本発明の表示サイズの入力処理に該当する。
【００３２】
割り込み処理が発生すると、外部割り込み判定部１３３または内部割り込み判定部１３４は、ステップＳ１において、割り込み処理を検知して画面構成変更判定部１３５に通知する。一方、割り込み処理が発生していないときには、ステップＳ１の処理を継続する。
【００３３】
画面構成変更判定部１３５は、割り込み処理によりモニタ画面の画面構成が変化したか否かを判定する（ステップＳ２）。割り込み処理が発生しても画面構成が変化しない場合（即ち、モニタ画面の表示に影響を及ぼす割り込み処理でなかった場合）は、ステップＳ１に戻り、再び割り込み処理の監視を繰り返す。
【００３４】
一方、画面構成に変化があった場合、画面領域状態判定部１３６は、拠点Ａの画像について表示領域の変化があるか否かを判定する。
その際、画面構成管理部１３２は、モニタ画面上に表示されるすべての画像について、画像が表示されるか否か、画像の大きさに対して実際の表示領域がどの程度になるかなどの画面構成を把握して、画面構成情報をメモリ１２０に記憶させている。従って、画面領域状態判定部１３６は、割り込み処理の前後の画面構成情報を比較すれば、各画像について表示領域の変化を判定できる。
【００３５】
そして、画面領域状態判定部１３６は、拠点Ａの画像の表示領域変化に関する制御コマンドを生成する（ステップＳ３）。この制御コマンドは、当該制御コマンドを生成した受信側端末装置１０２を特定可能な情報（ＩＰアドレス、ＭＡＣアドレス、会議システムで管理しているユーザＩＤ等）も含んでいる。
【００３６】
ステップＳ３において、画面領域状態判定部１３６は、拠点Ａの画像の表示サイズが、低画質（低解像度）の画像でも適切な品質を保てる大きさに変化した場合、当該表示サイズを表す制御コマンド（以下、低画質コマンド（第１の制御コマンド））、と言う場合がある。）を生成する。
また、拠点Ａの画像の表示サイズが、高画質（高解像度）の画像でなくては適切な品質を保てない大きさに変化した場合、当該表示サイズを表す制御コマンド（以下、高画質コマンド（第２の制御コマンド）、と言う場合がある。）を生成する。
この低画質コマンドは低画質動画像データの要求として、高画質コマンドは高画質動画像データの要求として、送信側端末装置１０１の画像生成部１３７で判断される。
ここでは、表示サイズが、予め設定された基準表示サイズ（縦１６０ピクセル、横１２０ピクセル）と同じ、又は、当該基準表示サイズよりも小さい場合（横１６０ピクセル以下、及び、縦１２０ピクセル以下の条件のうち少なくとも一方を満たす場合）、低解像度であるＱＱＶＧＡ（Quarter Quarter Video Graphics Array：横１６０ピクセル、縦１２０ピクセル）の低画質動画像データの要求として判断される。
また、表示サイズが基準表示サイズよりも大きい場合（横１６１ピクセル以上、及び、縦１２１ピクセル以上の条件のうち少なくとも一方を満たす場合）、高解像度であるＳＶＧＡ（Super Video Graphics Array：横８００ピクセル、縦６００ピクセル）の高画質動画像データの要求として判断される。
なお、基準表示サイズとしては、上述したサイズ以外としてもよいし、低画質動画像データ及び高画質動画像データの解像度も上述した値以外としてもよい。
【００３７】
さらに、ステップＳ３において、画面領域状態判定部１３６は、他のアプリケーションのウィンドウの全画面表示、拠点Ａの画像が他のアプリケーションのウィンドウに隠れるなどして表示されなくなった場合、拠点Ａの画像を表示していない旨の制御コマンド（以下、非表示コマンド、と言う場合がある。）を生成する。
【００３８】
例えば、拠点Ｂの受信側端末装置１０２において、図７及び図８に示すように、モニタ１５０中央に他のアプリケーションによる資料データＰｓが表示され、右端に拠点Ａの画像Ｐａあるいは拠点Ｂ，Ｃの画像Ｐｂ，Ｐｃが表示されている場合、拠点Ａに対する低画質コマンドを生成する。また、図９に示すように、モニタ１５０を９等分した領域のそれぞれに、拠点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉの画像Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆ，Ｐｇ，Ｐｈ，Ｐｉが同じ大きさで表示されている場合も、拠点Ａに対する低画質コマンドを生成する。
【００３９】
一方、図１０に示すように、モニタ１５０全体に拠点Ａの画像Ｐａが表示されている場合、あるいは、図１１に示すように、モニタ１５０の右端に拠点Ｂ，Ｃ，Ｄの画像Ｐｂ，Ｐｃ，Ｐｄが表示され、その他の大きな領域に拠点Ａの画像Ｐａが表示されている場合、拠点Ａに対する高品質コマンドを生成する。また、図１２に示すように、モニタ１５０を４等分した領域のそれぞれに、拠点Ａ，Ｂ，Ｃ，Ｄの画像Ｐａ，Ｐｂ，Ｐｃ，Ｐｄが同じ大きさで表示されている場合も、拠点Ａに対する高画質コマンドを生成する。
【００４０】
さらに、図１３に示すように、他のアプリケーションによる資料データＰｓが全画面で表示されている場合、拠点Ａに対する非表示コマンドを生成する。
【００４１】
画面領域状態判定部１３６は、図６に示すように、この生成した制御コマンドを会議コントローラ２００へ送信する（ステップＳ４）。また、拠点Ｃ，Ｄの受信側端末装置１０２も、ステップＳ１〜Ｓ４の処理を実施して、制御コマンドを会議コントローラ２００へ送信する。
【００４２】
尚、割り込み処理が発生しても画面構成が変化しない場合もあれば、画面構成が変化してもテレビ会議のウィンドウの表示領域には変化が生じない場合もある。そのような場合は、制御コマンドの生成は行われない。
また、モニタ１５０のサイズによって、図７〜図９に示すような画面構成であっても、拠点Ａに対して高画質コマンドを生成する場合もあるし、図１０〜図１２に示すような画面構成であっても、拠点Ａに対して低画質コマンドを生成する場合もある。
【００４３】
会議コントローラ２００は、図５及び図６に示すように、送信コマンド受信部２１１にて、各受信側端末装置１０２から制御コマンドを受信すると（ステップＳ５）、メモリ２２０に記憶させる。そして、コントローラ制御演算ブロック２３０のコマンド転送制御部２３１は、各受信側端末装置１０２からの制御コマンドを転送コマンドとして、コマンド転送部２４１を介して、送信側端末装置１０１へ転送する（ステップＳ６）。
【００４４】
送信側端末装置１０１は、図４及び図６に示すように、転送コマンド受信部１１４にて、会議コントローラ２００から転送コマンドを受信すると（ステップＳ７）、メモリ１２０に記憶させる。また、送信側端末装置１０１は、撮影部１６０から入力される撮影動画像データをメモリ１２０に記憶させる。
そして、端末制御演算ブロック１３０の画像生成部１３７は、転送コマンドを解析し（ステップＳ８）、全拠点が非表示か否か（受信側端末装置１０２が配置された全拠点が、送信側端末装置１０１の画像を表示しない状態か否か）を判定する（ステップＳ９）。
【００４５】
ステップＳ９において、画像生成部１３７は、全拠点が非表示でない（転送コマンドとして転送された複数の制御コマンドの全てが非表示コマンドでない）と判定した場合、基準表示サイズに基づいて、１拠点以上が低画質表示か否か（転送コマンドのうち１以上が低画質コマンドであるか否か）を判定する（ステップＳ１０）。そして、１拠点以上が低画質表示であると判定した場合、撮影動画像データに基づいて低画質動画像データを生成する（ステップＳ１１）。
【００４６】
画像生成部１３７は、ステップＳ１１において低画質動画像データを生成した後、１拠点以上が高画質表示か否か（転送コマンドのうち１以上が高画質コマンドであるか否か）を判定し（ステップＳ１２）、当該条件を満たすと判定した場合、低画質動画像データの生成に用いた撮影動画像データに基づいて、高画質動画像データを生成する（ステップＳ１３）。即ち、同じ撮影動画像データを用いて、解像度が異なる低画質動画像データ及び高画質動画像データを生成する。
【００４７】
また、画像生成部１３７は、ステップＳ１０において低画質表示の拠点がないと判定し、且つ、ステップＳ１２の条件を満たすと判定した場合、撮影動画像データに基づいて、高画質動画像データを生成する（ステップＳ１３）。
そして、画像送信制御部１３８は、ステップＳ１２において高画質表示の拠点が無いと判定した場合、あるいは、ステップＳ１３において高画質動画像データを生成した後、生成動画像データを会議コントローラ２００へ送信する（ステップＳ１４）。
このステップＳ１４においては、画像送信制御部１３８は、高画質動画像データ及び低画質動画像データのうち少なくとも一方を生成している場合、この生成したフレームデータを生成動画像データとして送信し、高画質動画像データ及び低画質動画像データの両方を生成していない場合、生成動画像データの送信を行わない。
【００４８】
会議コントローラ２００は、図５及び図６に示すように、生成画像受信部２１２にて、送信側端末装置１０１から生成動画像データを受信すると（ステップＳ１５）、図１４に示すように、フレームレート判定部２３２にて、各受信側端末装置１０２に対するフレームレートの判定処理を行う（ステップＳ１６）。
具体的に、低画質動画像データの転送先の受信側端末装置１０２に対する第１のフレームレート、及び、高画質動画像データの転送先の受信側端末装置１０２に対する第２のフレームレートは、通信帯域の混み具合と、転送される低画質動画像データ又は高画質動画像データの解像度とによって、各動画像データを適切に転送できる値に設定される。即ち、各受信側端末装置１０２に対する通信帯域の空き具合が同じ場合、低画質動画像データの第１のフレームレートが、高画質動画像データの第２のフレームレートよりも高く設定される。
尚、第１のフレームレート及び第２のフレームレートは、予め設定された複数段階的な値から選択されるものであってもよいし、通信帯域の混み具合により連続的に変化する値であってもよい。
【００４９】
そして、会議コントローラ２００の分配転送制御部２３３は、メモリ２２０の転送コマンドに基づいて、生成動画像データの分配先を判定する（ステップＳ１７）。この後、分配転送制御部２３３は、送信側端末装置１０１から生成動画像データとして受信した高画質動画像データや低画質動画像データを、転送動画像データとして送信（分配）する（ステップＳ１８）。即ち、低画質コマンドを送信した受信側端末装置１０２に対して、低画質動画像データを第１のフレームレートで送信し、高画質コマンドを送信した受信側端末装置１０２に対して、高画質動画像データを第２のフレームレートで送信する。
このステップＳ１８において、メモリ２２０に非表示コマンドが記憶されている場合には、この非表示コマンドの送信元の受信側端末装置１０２に対して、転送動画像データを送信しない。
【００５０】
各受信側端末装置１０２は、図３及び図１４に示すように、転送画像受信部１１２にて会議コントローラ２００から転送動画像データを受信すると（ステップＳ１９）、この転送動画像データをメモリ１２０に記憶させる。そして、端末制御演算ブロック１３０は、画像再生部１３１により転送動画像データと撮影動画像データとを再生し、画面構成管理部１３２の管理に基づく画面構成でモニタ１５０に表示させる（ステップＳ２０）。
【００５１】
以上のような処理により、図１５に示すように、Ｂ拠点、Ｃ拠点、Ｄ拠点の受信側端末装置１０２から、それぞれ高画質コマンド、低画質コマンド、非表示コマンドが会議コントローラ２００に送信された場合、Ａ拠点の送信側端末装置１０１から同じ撮影動画像データに基づき生成された高画質動画像データと低画質動画像データとの両方が、会議コントローラ２００へ送信される。そして、会議コントローラ２００は、Ｂ拠点、Ｃ拠点の受信側端末装置１０２へ、それぞれ高画質動画像データ、低画質動画像データを、第２のフレームレート、第１のフレームレートで送信し、Ｄ拠点の受信側端末装置１０２へ動画像データを送信しない。
また、図１６に示すように、Ｄ拠点の受信側端末装置１０２から高画質コマンド又は低画質コマンドが会議コントローラ２００に送信された場合には、会議コントローラ２００は、Ｄ拠点の受信側端末装置１０２へ、要求された高画質動画像データ又は低画質動画像データを、第２のフレームレート又は第１のフレームレートで送信する。
【００５２】
［実施形態の効果］
（１）テレビ会議システム１の会議コントローラ２００は、受信側端末装置１０２から制御コマンドを受信して、転送コマンドとして送信側端末装置１０１へ転送する。送信側端末装置１０１は、複数の受信側端末装置１０２からの転送コマンドに基づいて、低画質表示の受信側端末装置１０２と、高画質表示の受信側端末装置１０２との両方が存在していると判断すると、同じ撮影動画像データから低画質動画像データと高画質動画像データとを生成し、これらを生成動画像データとして会議コントローラ２００へ送信する。会議コントローラ２００は、低画質表示の受信側端末装置１０２に対する通信帯域の利用状況と、低画質動画像データの解像度とに基づいて、当該受信側端末装置１０２に対する第１のフレームレートを設定し、高画質表示の受信側端末装置１０２に対する通信帯域の利用状況と、高画質動画像データの解像度とに基づいて、当該受信側端末装置１０２に対する第２のフレームレートを設定する。そして、会議コントローラ２００は、低画質表示の受信側端末装置１０２へ低画質動画像データを第１のフレームレートで送信し、高画質表示の受信側端末装置１０２へ高画質動画像データを第２のフレームレートで送信する。
このため、各受信側端末装置１０２に対する通信帯域の利用状況に応じてフレームレートを変更するため、低画質動画像データや高画質動画像データを適切に送信できる。さらに、各受信側端末装置１０２への低画質動画像データや高画質動画像データの分配処理を会議コントローラ２００で行うため、受信側端末装置１０２の数が増えても、送信側端末装置１０１の処理負荷の増大を抑制できる。
【００５３】
（２）送信側端末装置１０１は、転送コマンドに基づく表示サイズが基準表示サイズと同じ又は当該基準表示サイズよりも小さい場合、当該転送コマンドの送信元の受信側端末装置１０２が低画質表示であると判断し、基準表示サイズよりも大きい場合、当該転送コマンドの送信元の受信側端末装置１０２が高画質表示であると判断する。
このため、基準表示サイズに基づく大小を判断するだけの簡単な処理で、低画質表示又は高画質表示である旨を判定できる。
【００５４】
（３）会議コントローラ２００は、非表示コマンドを受信した場合、この非表示コマンドの送信元の受信側端末装置１０２に対して、転送動画像データを送信しない。
このため、無駄な転送動画像データの送信処理を行うことが無く、非表示コマンドを送信した受信側端末装置１０２に対する通信帯域を確保できる。
【００５５】
［変形例］
なお、本発明は前述の一実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
すなわち、送信側端末装置１０１において、低画質表示又は高画質表示である旨の判断に基準表示サイズを用いずに、複数の受信側端末装置１０２に対して、表示サイズが小さい方を低画質表示であると判断し、大きい方を高画質表示であると判断してもよい。
また、非表示コマンドの送信元に、転送動画像データを送信してもよい。
さらに、送信側端末装置１０１で生成する動画像データの解像度の段階数としては、２段階（高解像度及び低解像度）に限らず、３段階（高解像度、中解像度、低解像度）としてもよいし、４段階以上としてもよい。
そして、制御コマンドとしては、表示サイズを特定できるものであればよく、例えばモニタ１５０のサイズと、当該モニタ１５０における画像の表示分割数との両方を制御コマンドとして送信してもよい。
また、本発明のテレビ会議システムを、いわゆるクラウドコンピューティングに適用してもよい。
【符号の説明】
【００５６】
１…テレビ会議システム
１０１…送信側端末装置
１０２…受信側端末装置
１１１…画像入力部
１１２…転送画像受信部
１１４…転送コマンド受信部
１３２…表示制御部としての画面構成管理部
１３３…サイズ入力部としての外部割り込み判定部
１３４…サイズ入力部としての内部割り込み判定部
１３６…制御コマンド送信制御部としての画面領域状態判定部
１３７…画像生成部
１３８…画像送信制御部
１５０…表示部としてのモニタ
２００…会議コントローラ
２１１…送信コマンド受信部
２１２…生成画像受信部
２３１…コマンド転送制御部
２３２…フレームレート判定部
２３３…分配転送制御部
Ｎ…ネットワーク
【技術分野】
【０００１】
本発明は、テレビ会議システム、会議コントローラ、テレビ会議方法、及び、会議コントロール方法に関する
【背景技術】
【０００２】
従来、ネットワークを介して接続された複数の端末装置を利用して、テレビ会議を行うシステムが知られている（例えば、特許文献１，２参照）。
【０００３】
特許文献１の構成では、送信側の端末装置は、第１の解像度（低解像度）で第１のフレームレート（高フレームレート）を有する第１の動画像信号と、第１の解像度よりも高い第２の解像度（高解像度）で第１のフレームレートよりも低い第２のフレームレート（低フレームレート）を有する第２の動画像信号とを送信する。そして、受信側の端末装置は、第１，第２の動画像信号を受信して、低解像度と高解像度とのうち所望の解像度で、高フレームレートの動画像を表示する。
具体的に、低解像度且つ高フレームレートの動画像を表示する場合、第１の動画像信号に基づいて動画像を表示させる。
一方、高解像度且つ高フレームレートの動画像を表示する場合、第２の動画像信号に基づく高解像度の動画像を表示するとともに、当該第２の動画像信号で欠落しているタイミングのフレームを第１の動画像信号の低解像度の画像に基づいて生成して表示する。
【０００４】
特許文献２の構成では、送信側拠点の画像を、受信側拠点の通信装置で表示させている場合、受信側拠点のモニタ上で送信側拠点の画像の表示領域が減少すると、受信側拠点の通信装置は、フレームレートや解像度を低下させた画像データを要求する制御コマンドを送信側拠点に送信する。そして、送信側拠点の通信装置は、要求に対応する画像データを受信側拠点の通信装置に送信する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４２４４３９４号公報
【特許文献２】特許第４５０００２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のような構成では、送信側の端末装置から予め設定されたフレームレートで動画像信号が送信されるため、ネットワークの通信帯域が十分に確保されていない場合には、動画像信号を適切に送信できない。
また、特許文献１，２のような構成では、送信側の端末装置において、画像の解像度の変更処理に加えて、受信側の端末装置への画像の分配処理も行うため、受信側の端末装置の数が増えると、送信側の端末装置の処理負荷が増大してしまう。
【０００７】
本発明は、画像を送信する送信側端末装置の処理負荷の増大を抑制し、受信側端末装置に画像を適切に送信可能なテレビ会議システム、会議コントローラ、テレビ会議方法、及び、会議コントロール方法を提供することを１つの目的とする。
【課題を解決するための手段】
【０００８】
本発明のテレビ会議システムは、画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置と、前記送信側端末装置及び前記複数の受信側端末装置にネットワークを介して接続された会議コントローラと、を備えたテレビ会議システムであって、前記送信側端末装置は、画像データが入力される画像入力部と、受信側端末装置での画像データの表示サイズを表す制御コマンドを、前記会議コントローラを介して受信する転送コマンド受信部と、前記転送コマンド受信部において、第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方を受信すると、前記画像入力部に入力された画像データに基づき第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を生成する画像生成部と、当該生成した前記第１の画像データ及び前記第２の画像データを前記会議コントローラへ送信する画像送信制御部と、を備え、前記会議コントローラは、受信側端末装置から制御コマンドを受信する送信コマンド受信部と、当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御部と、当該転送された制御コマンドに応じて前記送信側端末装置から送信される第１の画像データ及び第２の画像データを受信する生成画像受信部と、ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定部と、前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御部と、を備え、前記受信側端末装置は、前記表示部での画像データの表示サイズが入力されるサイズ入力部と、
当該入力された表示サイズを表す制御コマンドを前記会議コントローラへ送信する制御コマンド送信制御部と、当該送信された制御コマンドに応じて前記会議コントローラから転送された画像データを受信する転送画像受信部と、当該受信した画像データを前記制御コマンドに基づく表示サイズで表示部に表示させる表示制御部と、を備えたことを特徴とする。
【０００９】
本発明の会議コントローラは、画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置とにネットワークを介して接続され、前記画像データの送受信を制御する会議コントローラであって、受信側端末装置での画像データの表示サイズを表す制御コマンドを当該受信側端末装置から受信する送信コマンド受信部と、当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御部と、前記送信側端末装置へ第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方が転送された場合、前記送信側端末装置に入力された画像データに基づき生成される、第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を受信する生成画像受信部と、ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定部と、前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御部と、を備えたことを特徴とする。
【００１０】
本発明のテレビ会議方法は、画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置と、前記送信側端末装置及び前記複数の受信側端末装置にネットワークを介して接続された会議コントローラと、を備えたテレビ会議システムにおけるテレビ会議方法であって、前記受信側端末装置が、前記表示部での画像データの表示サイズが入力されるサイズ入力工程と、当該入力された表示サイズを表す制御コマンドを前記会議コントローラへ送信する制御コマンド送信工程と、を実施し、前記会議コントローラが、受信側端末装置から制御コマンドを受信する送信コマンド受信工程と、当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御工程と、を実施し、前記送信側端末装置が、画像データが入力される画像入力工程と、受信側端末装置での画像データの表示サイズを表す制御コマンドを、前記会議コントローラを介して受信する転送コマンド受信工程と、当該転送コマンド受信工程において、第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方を受信すると、前記画像入力部に入力された画像データに基づき第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を生成する画像生成工程と、当該生成した前記第１の画像データ及び前記第２の画像データを前記会議コントローラへ送信する画像送信制御工程と、を実施し、前記会議コントローラが、前記コマンド転送制御工程で転送された制御コマンドに応じて前記送信側端末装置から送信される第１の画像データ及び第２の画像データを受信する生成画像受信工程と、ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定工程と、前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御工程と、を実施し、前記受信側端末装置が、前記制御コマンド送信工程で送信された制御コマンドに応じて前記会議コントローラから転送された画像データを受信する転送画像受信工程と、当該受信した画像データを前記制御コマンドに基づく表示サイズで表示部に表示させる表示制御工程と、を実施することを特徴とする。
【００１１】
本発明の会議コントロール方法は、画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置とにネットワークを介して接続され、前記画像データの送受信を制御する会議コントロール方法であって、受信側端末装置での画像データの表示サイズを表す制御コマンドを受信する送信コマンド受信工程と、当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御工程と、前記送信側端末装置へ第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方が転送された場合、前記送信側端末装置に入力された画像データに基づき生成される、第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を受信する生成画像受信工程と、ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定工程と、前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御工程と、を実施することを特徴とする。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るテレビ会議システムの概略構成を示す模式図。
【図２】前記テレビ会議システムを構成する端末装置の概略構成を示すブロック図。
【図３】前記端末装置が受信側端末装置として機能する場合の動作を示す模式図。
【図４】前記端末装置が送信側端末装置として機能する場合の動作を示す模式図。
【図５】前記テレビ会議システムを構成する会議コントローラの概略構成及び動作を示す模式図。
【図６】前記テレビ会議システムの動作を示すフローチャート。
【図７】前記受信側端末装置において低画質コマンドを生成する場合の表示画面を示す模式図。
【図８】前記受信側端末装置において低画質コマンドを生成する場合の表示画面を示す模式図。
【図９】前記受信側端末装置において低画質コマンドを生成する場合の表示画面を示す模式図。
【図１０】前記受信側端末装置において高画質コマンドを生成する場合の表示画面を示す模式図。
【図１１】前記受信側端末装置において高画質コマンドを生成する場合の表示画面を示す模式図。
【図１２】前記受信側端末装置において高画質コマンドを生成する場合の表示画面を示す模式図。
【図１３】前記受信側端末装置において非表示コマンドを生成する場合の表示画面を示す模式図。
【図１４】前記テレビ会議システムの動作を示すフローチャート。
【図１５】前記テレビ会議システムにおける各拠点での表示状態を示す模式図。
【図１６】前記テレビ会議システムにおける各拠点での表示状態を示す模式図。
【発明を実施するための形態】
【００１３】
以下、本発明のテレビ会議システムについて図面を参照しながら詳細に説明する。
［テレビ会議システムの構成］
図１に示すように、テレビ会議システム１は、複数の拠点にそれぞれ配置された端末装置１００と、これらの端末装置１００にネットワークＮを介して接続された会議コントローラ２００とを備えている。このテレビ会議システム１は、例えば拠点Ｂ，Ｃ，Ｄの端末装置１００における表示サイズに応じた解像度の動画像データを、拠点Ａの端末装置１００から拠点Ｂ，Ｃ，Ｄの端末装置１００にそれぞれ送信する。また、テレビ会議システム１は、動画像データの送信の際、ネットワークＮの通信帯域（以下、通信帯域、と言う）に応じて、動画像データのフレームレートを調整する。
以下において、動画像データを送信する端末装置１００を送信側端末装置１０１と言い、動画像データを受信して表示する端末装置１００を受信側端末装置１０２と言う場合がある。
尚、テレビ会議システム１を構成する端末装置１００の数としては、４個に限定されない。会議コントローラ２００は、端末装置１００が配置された拠点に配置されていても良いし、他の拠点に配置されていても良い。
【００１４】
まず、端末装置１００が有する主な構成について説明する。
コンピュータである端末装置１００は、図２に示すように、入力ブロック１１０と、メモリ１２０と、端末制御演算ブロック１３０と、出力ブロック１４０と、画像表示を行うための表示部としてのモニタ１５０と、を備えている。
入力ブロック１１０は、画像入力部１１１と、転送画像受信部１１２と、ユーザインターフェース１１３と、転送コマンド受信部１１４と、を備えている。
端末制御演算ブロック１３０は、画像再生部１３１と、表示制御部としての画面構成管理部１３２と、サイズ入力部としての外部割り込み判定部１３３と、サイズ入力部としての内部割り込み判定部１３４と、画面構成変更判定部１３５と、制御コマンド送信制御部としての画面領域状態判定部１３６と、画像生成部１３７と、画像送信制御部１３８と、を備えている。
この端末制御演算ブロック１３０の各部は、パーソナルコンピュータ等のＣＰＵ（中央処理装置）と記憶装置（例えば、ＳＳＤ（Solid State Drive）やＨＤＤ（ハードディスクドライブ））（いずれも図示省略）に格納されたプログラムにより実現される。また、端末装置１００で実行するテレビ会議も、この端末制御演算ブロック１３０において、上記の記憶装置に格納されたテレビ会議システム用プログラムをＣＰＵで実行することにより実現される。
出力ブロック１４０は、画像表示出力部１４１と、制御コマンド送信部１４２と、生成画像送信部１４３と、を備えている。
【００１５】
次に、端末装置１００が受信側端末装置１０２として機能する場合に、主に動作する構成について説明する。
図３に示すように、画像入力部１１１には、カメラである撮影部１６０で撮影された動画像データ（以下、撮影動画像データ、と言う場合がある。）が入力される。
転送画像受信部１１２は、送信側端末装置１０１にて生成され、ネットワークＮを介して会議コントローラ２００から転送される動画像データ（以下、転送動画像データ、と言う場合がある。）を受信する。
ユーザインターフェース１１３は、操作入力を行うためのキーボード等で構成されている。
【００１６】
メモリ１２０は、撮影部１６０からの撮影動画像データ、表示画面の画面構成情報、当該受信側端末装置にて生成された制御コマンド、転送動画像データを記憶する。
【００１７】
画像再生部１３１は、転送画像受信部１１２で受信した転送動画像データや、画像入力部１１１に入力された撮影動画像データを再生する。この再生動作により、メモリ１２０には、転送静止画像データや、撮影静止画像データが提供される。
画面構成管理部１３２は、モニタ１５０に表示される画像の表示領域の構成、即ち画面構成を管理する。例えば、テレビ会議システム用プログラムの他に文書作成ソフトウェアが起動している場合、両方のウィンドウの前後関係や重なり順序等に基づく画面構成を画面構成情報として出力する。
【００１８】
外部割り込み判定部１３３は、ユーザインターフェース１１３からの入力を監視して、当該受信側端末装置１０２のユーザからの外部割り込みを検知する。
内部割り込み判定部１３４は、テレビ会議システム用プログラムの内部割り込みを検知する。外部割り込み及び内部割り込みの詳細については後述する。
【００１９】
画面構成変更判定部１３５は、割り込み処理により画面構成に変更が生じたか否かを判定する。
画面領域状態判定部１３６は、画面構成情報に基づいて、テレビ会議システムの画像（ウィンドウ）の表示領域に変化が有るか否かを判定する。また、変化が有る場合、送信側端末装置１０１からの転送動画像データの送信に係わる制御コマンドを生成して出力する。制御コマンドの詳細については後述する。
【００２０】
画像表示出力部１４１は、転送静止画像データや撮影静止画像データを連続的にモニタ１５０に出力することで、転送動画像データや撮影動画像データをモニタ１５０で表示させる。
制御コマンド送信部１４２は、画面領域状態判定部１３６から出力された制御コマンドを会議コントローラ２００へ送信する。
【００２１】
次に、端末装置１００が送信側端末装置１０１として機能する場合に、主に動作する構成について説明する。
図４に示すように、転送コマンド受信部１１４は、受信側端末装置１０２にて生成され、ネットワークＮ及び会議コントローラ２００を介して転送される制御コマンド（以下、転送コマンド、と言う場合がある。）を受信する。
メモリ１２０は、撮影部１６０からの撮影動画像データや、受信側端末装置１０２から受信した転送コマンドを記憶する。
【００２２】
画像生成部１３７は、受信側端末装置１０２から送信される転送コマンドと、撮影動画像データとに基づいて、予め設定された低解像度（低画質）の低画質動画像データと、予め設定された高解像度（高画質）の高画質動画像データとのうち、少なくとも一方を生成する。ここで、低解像度及び低画質動画像データが、本発明の第１の解像度及び第１の画像データにそれぞれ該当し、高解像度及び高画質動画像データが、本発明の第２の解像度及び第２の画像データにそれぞれ該当する。
尚、撮影動画像データの解像度が、低画質動画像データ及び高画質動画像データの解像度と異なる場合には、撮影動画像データの解像度を低くしたり高くしたりすることで、低画質動画像データ及び高画質動画像データを生成すればよい。
また、撮影動画像データの解像度が、低画質動画像データの解像度と同じ場合には、撮影動画像データとは別の低画質動画像データを新たに生成せずに、撮影動画像データをそのまま低画質動画像データとして用いればよい。撮影動画像データの解像度が、高画質動画像データの解像度と同じ場合にも、撮影動画像データを高低画質動画像データとして用いればよい。
【００２３】
画像送信制御部１３８は、画像生成部１３７にて生成された低画質動画像データ及び高画質動画像データのうち少なくとも一方を生成動画像データとして、生成画像送信部１４３を介して会議コントローラ２００へ送信する。
【００２４】
次に、会議コントローラ２００の構成について説明する。
コンピュータである会議コントローラ２００は、テレビ会議を制御するものであり、図５に示すように、入力ブロック２１０と、メモリ２２０と、コントローラ制御演算ブロック２３０と、出力ブロック２４０とを備えている。
【００２５】
入力ブロック２１０は、受信側端末装置１０２から送信される制御コマンドを受信する送信コマンド受信部２１１と、送信側端末装置１０１から送信される生成動画像データを受信する生成画像受信部２１２と、を備えている。
メモリ２２０は、受信した生成動画像データや制御コマンドを記憶する。
【００２６】
コントローラ制御演算ブロック２３０は、コマンド転送制御部２３１と、フレームレート判定部２３２と、分配転送制御部２３３と、を備えている。
これら各部は、端末装置１００の端末制御演算ブロック１３０と同様に、パーソナルコンピュータ等のＣＰＵと記憶装置（ＳＳＤやＨＤＤ）に格納されたプログラムにより実現される。
また、テレビ会議は、このコントローラ制御演算ブロック２３０において、上記の記憶装置に格納されたテレビ会議システム用プログラムをＣＰＵで実行することにより実現される。
【００２７】
コマンド転送制御部２３１は、出力ブロック２４０のコマンド転送部２４１を制御して、メモリ２２０に記憶された制御コマンドを転送コマンドとして、送信側端末装置１０１へ転送する。
【００２８】
フレームレート判定部２３２は、通信帯域の利用状況を判定するとともに、メモリ２２０の制御コマンドに基づいて各受信側端末装置１０２に送信する転送動画像データの解像度を判定する。そして、この判定結果に基づいて、各受信側端末装置１０２に対して、適切（確実）に転送動画像データを転送可能なフレームレートを判定する。
【００２９】
分配転送制御部２３３は、出力ブロック２４０の画像転送部２４２を制御して、メモリ２２０の制御コマンドと、フレームレート判定部２３２で判定されたフレームレートとに基づいて、メモリ２２０の生成動画像データを転送動画像データとして各受信側端末装置１０２に転送する。
【００３０】
［テレビ会議システムの動作］
次に、テレビ会議システム１の動作について説明する。尚、以下において、拠点Ａの送信側端末装置１０１から送信される画像を、拠点Ｂ，Ｃ，Ｄの受信側端末装置１０２で表示させる場合を例示して説明する。
【００３１】
図３及び図６に示すように、例えば、拠点Ｂの受信側端末装置１０２は、外部割り込み判定部１３３と内部割り込み判定部１３４にて、割り込み処理の監視を行う（ステップＳ１）。
外部割り込み処理としては、一例として受信側端末装置１０２のユーザのキーボード入力などにより、テレビ会議システムの通常処理に優先して実行される処理がある。テレビ会議のウィンドウに表示される画像の表示領域が変化する割り込みとしては、例えば、ウィンドウのサイズ変更操作や、別のアプリケーションの起動操作、表示の切替えや入替えなどである。
内部割り込み処理としては、一例として受信側端末装置１０２のテレビ会議システム用プログラムによって実行される割り込み処理がある。テレビ会議のウィンドウに表示される画像の表示領域が変化する割り込みとしては、例えば、複数の接続先（端末装置）の会議参加者の画像をタイマで自動的に切り替えるプログラムや、新規の会議参加者の画像を所定時間で優先的に表示させるプログラムなどがある。
ここで、ユーザインターフェース１１３の操作により外部割り込み判定部１３３に入力される表示サイズの変更指令、及び、プログラムの実行により内部割り込み判定部１３４に入力される表示サイズの変更指令は、本発明の表示サイズの入力処理に該当する。
【００３２】
割り込み処理が発生すると、外部割り込み判定部１３３または内部割り込み判定部１３４は、ステップＳ１において、割り込み処理を検知して画面構成変更判定部１３５に通知する。一方、割り込み処理が発生していないときには、ステップＳ１の処理を継続する。
【００３３】
画面構成変更判定部１３５は、割り込み処理によりモニタ画面の画面構成が変化したか否かを判定する（ステップＳ２）。割り込み処理が発生しても画面構成が変化しない場合（即ち、モニタ画面の表示に影響を及ぼす割り込み処理でなかった場合）は、ステップＳ１に戻り、再び割り込み処理の監視を繰り返す。
【００３４】
一方、画面構成に変化があった場合、画面領域状態判定部１３６は、拠点Ａの画像について表示領域の変化があるか否かを判定する。
その際、画面構成管理部１３２は、モニタ画面上に表示されるすべての画像について、画像が表示されるか否か、画像の大きさに対して実際の表示領域がどの程度になるかなどの画面構成を把握して、画面構成情報をメモリ１２０に記憶させている。従って、画面領域状態判定部１３６は、割り込み処理の前後の画面構成情報を比較すれば、各画像について表示領域の変化を判定できる。
【００３５】
そして、画面領域状態判定部１３６は、拠点Ａの画像の表示領域変化に関する制御コマンドを生成する（ステップＳ３）。この制御コマンドは、当該制御コマンドを生成した受信側端末装置１０２を特定可能な情報（ＩＰアドレス、ＭＡＣアドレス、会議システムで管理しているユーザＩＤ等）も含んでいる。
【００３６】
ステップＳ３において、画面領域状態判定部１３６は、拠点Ａの画像の表示サイズが、低画質（低解像度）の画像でも適切な品質を保てる大きさに変化した場合、当該表示サイズを表す制御コマンド（以下、低画質コマンド（第１の制御コマンド））、と言う場合がある。）を生成する。
また、拠点Ａの画像の表示サイズが、高画質（高解像度）の画像でなくては適切な品質を保てない大きさに変化した場合、当該表示サイズを表す制御コマンド（以下、高画質コマンド（第２の制御コマンド）、と言う場合がある。）を生成する。
この低画質コマンドは低画質動画像データの要求として、高画質コマンドは高画質動画像データの要求として、送信側端末装置１０１の画像生成部１３７で判断される。
ここでは、表示サイズが、予め設定された基準表示サイズ（縦１６０ピクセル、横１２０ピクセル）と同じ、又は、当該基準表示サイズよりも小さい場合（横１６０ピクセル以下、及び、縦１２０ピクセル以下の条件のうち少なくとも一方を満たす場合）、低解像度であるＱＱＶＧＡ（Quarter Quarter Video Graphics Array：横１６０ピクセル、縦１２０ピクセル）の低画質動画像データの要求として判断される。
また、表示サイズが基準表示サイズよりも大きい場合（横１６１ピクセル以上、及び、縦１２１ピクセル以上の条件のうち少なくとも一方を満たす場合）、高解像度であるＳＶＧＡ（Super Video Graphics Array：横８００ピクセル、縦６００ピクセル）の高画質動画像データの要求として判断される。
なお、基準表示サイズとしては、上述したサイズ以外としてもよいし、低画質動画像データ及び高画質動画像データの解像度も上述した値以外としてもよい。
【００３７】
さらに、ステップＳ３において、画面領域状態判定部１３６は、他のアプリケーションのウィンドウの全画面表示、拠点Ａの画像が他のアプリケーションのウィンドウに隠れるなどして表示されなくなった場合、拠点Ａの画像を表示していない旨の制御コマンド（以下、非表示コマンド、と言う場合がある。）を生成する。
【００３８】
例えば、拠点Ｂの受信側端末装置１０２において、図７及び図８に示すように、モニタ１５０中央に他のアプリケーションによる資料データＰｓが表示され、右端に拠点Ａの画像Ｐａあるいは拠点Ｂ，Ｃの画像Ｐｂ，Ｐｃが表示されている場合、拠点Ａに対する低画質コマンドを生成する。また、図９に示すように、モニタ１５０を９等分した領域のそれぞれに、拠点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉの画像Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆ，Ｐｇ，Ｐｈ，Ｐｉが同じ大きさで表示されている場合も、拠点Ａに対する低画質コマンドを生成する。
【００３９】
一方、図１０に示すように、モニタ１５０全体に拠点Ａの画像Ｐａが表示されている場合、あるいは、図１１に示すように、モニタ１５０の右端に拠点Ｂ，Ｃ，Ｄの画像Ｐｂ，Ｐｃ，Ｐｄが表示され、その他の大きな領域に拠点Ａの画像Ｐａが表示されている場合、拠点Ａに対する高品質コマンドを生成する。また、図１２に示すように、モニタ１５０を４等分した領域のそれぞれに、拠点Ａ，Ｂ，Ｃ，Ｄの画像Ｐａ，Ｐｂ，Ｐｃ，Ｐｄが同じ大きさで表示されている場合も、拠点Ａに対する高画質コマンドを生成する。
【００４０】
さらに、図１３に示すように、他のアプリケーションによる資料データＰｓが全画面で表示されている場合、拠点Ａに対する非表示コマンドを生成する。
【００４１】
画面領域状態判定部１３６は、図６に示すように、この生成した制御コマンドを会議コントローラ２００へ送信する（ステップＳ４）。また、拠点Ｃ，Ｄの受信側端末装置１０２も、ステップＳ１〜Ｓ４の処理を実施して、制御コマンドを会議コントローラ２００へ送信する。
【００４２】
尚、割り込み処理が発生しても画面構成が変化しない場合もあれば、画面構成が変化してもテレビ会議のウィンドウの表示領域には変化が生じない場合もある。そのような場合は、制御コマンドの生成は行われない。
また、モニタ１５０のサイズによって、図７〜図９に示すような画面構成であっても、拠点Ａに対して高画質コマンドを生成する場合もあるし、図１０〜図１２に示すような画面構成であっても、拠点Ａに対して低画質コマンドを生成する場合もある。
【００４３】
会議コントローラ２００は、図５及び図６に示すように、送信コマンド受信部２１１にて、各受信側端末装置１０２から制御コマンドを受信すると（ステップＳ５）、メモリ２２０に記憶させる。そして、コントローラ制御演算ブロック２３０のコマンド転送制御部２３１は、各受信側端末装置１０２からの制御コマンドを転送コマンドとして、コマンド転送部２４１を介して、送信側端末装置１０１へ転送する（ステップＳ６）。
【００４４】
送信側端末装置１０１は、図４及び図６に示すように、転送コマンド受信部１１４にて、会議コントローラ２００から転送コマンドを受信すると（ステップＳ７）、メモリ１２０に記憶させる。また、送信側端末装置１０１は、撮影部１６０から入力される撮影動画像データをメモリ１２０に記憶させる。
そして、端末制御演算ブロック１３０の画像生成部１３７は、転送コマンドを解析し（ステップＳ８）、全拠点が非表示か否か（受信側端末装置１０２が配置された全拠点が、送信側端末装置１０１の画像を表示しない状態か否か）を判定する（ステップＳ９）。
【００４５】
ステップＳ９において、画像生成部１３７は、全拠点が非表示でない（転送コマンドとして転送された複数の制御コマンドの全てが非表示コマンドでない）と判定した場合、基準表示サイズに基づいて、１拠点以上が低画質表示か否か（転送コマンドのうち１以上が低画質コマンドであるか否か）を判定する（ステップＳ１０）。そして、１拠点以上が低画質表示であると判定した場合、撮影動画像データに基づいて低画質動画像データを生成する（ステップＳ１１）。
【００４６】
画像生成部１３７は、ステップＳ１１において低画質動画像データを生成した後、１拠点以上が高画質表示か否か（転送コマンドのうち１以上が高画質コマンドであるか否か）を判定し（ステップＳ１２）、当該条件を満たすと判定した場合、低画質動画像データの生成に用いた撮影動画像データに基づいて、高画質動画像データを生成する（ステップＳ１３）。即ち、同じ撮影動画像データを用いて、解像度が異なる低画質動画像データ及び高画質動画像データを生成する。
【００４７】
また、画像生成部１３７は、ステップＳ１０において低画質表示の拠点がないと判定し、且つ、ステップＳ１２の条件を満たすと判定した場合、撮影動画像データに基づいて、高画質動画像データを生成する（ステップＳ１３）。
そして、画像送信制御部１３８は、ステップＳ１２において高画質表示の拠点が無いと判定した場合、あるいは、ステップＳ１３において高画質動画像データを生成した後、生成動画像データを会議コントローラ２００へ送信する（ステップＳ１４）。
このステップＳ１４においては、画像送信制御部１３８は、高画質動画像データ及び低画質動画像データのうち少なくとも一方を生成している場合、この生成したフレームデータを生成動画像データとして送信し、高画質動画像データ及び低画質動画像データの両方を生成していない場合、生成動画像データの送信を行わない。
【００４８】
会議コントローラ２００は、図５及び図６に示すように、生成画像受信部２１２にて、送信側端末装置１０１から生成動画像データを受信すると（ステップＳ１５）、図１４に示すように、フレームレート判定部２３２にて、各受信側端末装置１０２に対するフレームレートの判定処理を行う（ステップＳ１６）。
具体的に、低画質動画像データの転送先の受信側端末装置１０２に対する第１のフレームレート、及び、高画質動画像データの転送先の受信側端末装置１０２に対する第２のフレームレートは、通信帯域の混み具合と、転送される低画質動画像データ又は高画質動画像データの解像度とによって、各動画像データを適切に転送できる値に設定される。即ち、各受信側端末装置１０２に対する通信帯域の空き具合が同じ場合、低画質動画像データの第１のフレームレートが、高画質動画像データの第２のフレームレートよりも高く設定される。
尚、第１のフレームレート及び第２のフレームレートは、予め設定された複数段階的な値から選択されるものであってもよいし、通信帯域の混み具合により連続的に変化する値であってもよい。
【００４９】
そして、会議コントローラ２００の分配転送制御部２３３は、メモリ２２０の転送コマンドに基づいて、生成動画像データの分配先を判定する（ステップＳ１７）。この後、分配転送制御部２３３は、送信側端末装置１０１から生成動画像データとして受信した高画質動画像データや低画質動画像データを、転送動画像データとして送信（分配）する（ステップＳ１８）。即ち、低画質コマンドを送信した受信側端末装置１０２に対して、低画質動画像データを第１のフレームレートで送信し、高画質コマンドを送信した受信側端末装置１０２に対して、高画質動画像データを第２のフレームレートで送信する。
このステップＳ１８において、メモリ２２０に非表示コマンドが記憶されている場合には、この非表示コマンドの送信元の受信側端末装置１０２に対して、転送動画像データを送信しない。
【００５０】
各受信側端末装置１０２は、図３及び図１４に示すように、転送画像受信部１１２にて会議コントローラ２００から転送動画像データを受信すると（ステップＳ１９）、この転送動画像データをメモリ１２０に記憶させる。そして、端末制御演算ブロック１３０は、画像再生部１３１により転送動画像データと撮影動画像データとを再生し、画面構成管理部１３２の管理に基づく画面構成でモニタ１５０に表示させる（ステップＳ２０）。
【００５１】
以上のような処理により、図１５に示すように、Ｂ拠点、Ｃ拠点、Ｄ拠点の受信側端末装置１０２から、それぞれ高画質コマンド、低画質コマンド、非表示コマンドが会議コントローラ２００に送信された場合、Ａ拠点の送信側端末装置１０１から同じ撮影動画像データに基づき生成された高画質動画像データと低画質動画像データとの両方が、会議コントローラ２００へ送信される。そして、会議コントローラ２００は、Ｂ拠点、Ｃ拠点の受信側端末装置１０２へ、それぞれ高画質動画像データ、低画質動画像データを、第２のフレームレート、第１のフレームレートで送信し、Ｄ拠点の受信側端末装置１０２へ動画像データを送信しない。
また、図１６に示すように、Ｄ拠点の受信側端末装置１０２から高画質コマンド又は低画質コマンドが会議コントローラ２００に送信された場合には、会議コントローラ２００は、Ｄ拠点の受信側端末装置１０２へ、要求された高画質動画像データ又は低画質動画像データを、第２のフレームレート又は第１のフレームレートで送信する。
【００５２】
［実施形態の効果］
（１）テレビ会議システム１の会議コントローラ２００は、受信側端末装置１０２から制御コマンドを受信して、転送コマンドとして送信側端末装置１０１へ転送する。送信側端末装置１０１は、複数の受信側端末装置１０２からの転送コマンドに基づいて、低画質表示の受信側端末装置１０２と、高画質表示の受信側端末装置１０２との両方が存在していると判断すると、同じ撮影動画像データから低画質動画像データと高画質動画像データとを生成し、これらを生成動画像データとして会議コントローラ２００へ送信する。会議コントローラ２００は、低画質表示の受信側端末装置１０２に対する通信帯域の利用状況と、低画質動画像データの解像度とに基づいて、当該受信側端末装置１０２に対する第１のフレームレートを設定し、高画質表示の受信側端末装置１０２に対する通信帯域の利用状況と、高画質動画像データの解像度とに基づいて、当該受信側端末装置１０２に対する第２のフレームレートを設定する。そして、会議コントローラ２００は、低画質表示の受信側端末装置１０２へ低画質動画像データを第１のフレームレートで送信し、高画質表示の受信側端末装置１０２へ高画質動画像データを第２のフレームレートで送信する。
このため、各受信側端末装置１０２に対する通信帯域の利用状況に応じてフレームレートを変更するため、低画質動画像データや高画質動画像データを適切に送信できる。さらに、各受信側端末装置１０２への低画質動画像データや高画質動画像データの分配処理を会議コントローラ２００で行うため、受信側端末装置１０２の数が増えても、送信側端末装置１０１の処理負荷の増大を抑制できる。
【００５３】
（２）送信側端末装置１０１は、転送コマンドに基づく表示サイズが基準表示サイズと同じ又は当該基準表示サイズよりも小さい場合、当該転送コマンドの送信元の受信側端末装置１０２が低画質表示であると判断し、基準表示サイズよりも大きい場合、当該転送コマンドの送信元の受信側端末装置１０２が高画質表示であると判断する。
このため、基準表示サイズに基づく大小を判断するだけの簡単な処理で、低画質表示又は高画質表示である旨を判定できる。
【００５４】
（３）会議コントローラ２００は、非表示コマンドを受信した場合、この非表示コマンドの送信元の受信側端末装置１０２に対して、転送動画像データを送信しない。
このため、無駄な転送動画像データの送信処理を行うことが無く、非表示コマンドを送信した受信側端末装置１０２に対する通信帯域を確保できる。
【００５５】
［変形例］
なお、本発明は前述の一実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
すなわち、送信側端末装置１０１において、低画質表示又は高画質表示である旨の判断に基準表示サイズを用いずに、複数の受信側端末装置１０２に対して、表示サイズが小さい方を低画質表示であると判断し、大きい方を高画質表示であると判断してもよい。
また、非表示コマンドの送信元に、転送動画像データを送信してもよい。
さらに、送信側端末装置１０１で生成する動画像データの解像度の段階数としては、２段階（高解像度及び低解像度）に限らず、３段階（高解像度、中解像度、低解像度）としてもよいし、４段階以上としてもよい。
そして、制御コマンドとしては、表示サイズを特定できるものであればよく、例えばモニタ１５０のサイズと、当該モニタ１５０における画像の表示分割数との両方を制御コマンドとして送信してもよい。
また、本発明のテレビ会議システムを、いわゆるクラウドコンピューティングに適用してもよい。
【符号の説明】
【００５６】
１…テレビ会議システム
１０１…送信側端末装置
１０２…受信側端末装置
１１１…画像入力部
１１２…転送画像受信部
１１４…転送コマンド受信部
１３２…表示制御部としての画面構成管理部
１３３…サイズ入力部としての外部割り込み判定部
１３４…サイズ入力部としての内部割り込み判定部
１３６…制御コマンド送信制御部としての画面領域状態判定部
１３７…画像生成部
１３８…画像送信制御部
１５０…表示部としてのモニタ
２００…会議コントローラ
２１１…送信コマンド受信部
２１２…生成画像受信部
２３１…コマンド転送制御部
２３２…フレームレート判定部
２３３…分配転送制御部
Ｎ…ネットワーク
【特許請求の範囲】
【請求項１】
画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置と、前記送信側端末装置及び前記複数の受信側端末装置にネットワークを介して接続された会議コントローラと、を備えたテレビ会議システムであって、
前記送信側端末装置は、
画像データが入力される画像入力部と、
受信側端末装置での画像データの表示サイズを表す制御コマンドを、前記会議コントローラを介して受信する転送コマンド受信部と、
前記転送コマンド受信部において、第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方を受信すると、前記画像入力部に入力された画像データに基づき第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を生成する画像生成部と、
当該生成した前記第１の画像データ及び前記第２の画像データを前記会議コントローラへ送信する画像送信制御部と、を備え、
前記会議コントローラは、
受信側端末装置から制御コマンドを受信する送信コマンド受信部と、
当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御部と、
当該転送された制御コマンドに応じて前記送信側端末装置から送信される第１の画像データ及び第２の画像データを受信する生成画像受信部と、
ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定部と、
前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御部と、を備え、
前記受信側端末装置は、
前記表示部での画像データの表示サイズが入力されるサイズ入力部と、
当該入力された表示サイズを表す制御コマンドを前記会議コントローラへ送信する制御コマンド送信制御部と、
当該送信された制御コマンドに応じて前記会議コントローラから転送された画像データを受信する転送画像受信部と、
当該受信した画像データを前記制御コマンドに基づく表示サイズで表示部に表示させる表示制御部と、を備えた
ことを特徴とするテレビ会議システム。
【請求項２】
請求項１に記載のテレビ会議システムにおいて、
前記画像生成部は、
前記制御コマンドに基づく表示サイズが、予め設定された基準表示サイズと同じ又は当該基準表示サイズよりも小さい場合、当該制御コマンドが第１の制御コマンドであると判断し、前記基準表示サイズよりも大きい場合、当該制御コマンドが第２の制御コマンドであると判定する
ことを特徴とするテレビ会議システム。
【請求項３】
請求項１又は請求項２に記載のテレビ会議システムにおいて、
前記分配転送制御部は、表示部で画像データを表示させない旨を表す制御コマンドが前記送信コマンド受信部で受信された場合、当該制御コマンドの送信元の受信側端末装置へ前記第１の画像データ及び前記第２の画像データを転送しない
ことを特徴とするテレビ会議システム。
【請求項４】
画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置とにネットワークを介して接続され、前記画像データの送受信を制御する会議コントローラであって、
受信側端末装置での画像データの表示サイズを表す制御コマンドを当該受信側端末装置から受信する送信コマンド受信部と、
当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御部と、
前記送信側端末装置へ第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方が転送された場合、前記送信側端末装置に入力された画像データに基づき生成される、第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を受信する生成画像受信部と、
ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定部と、
前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御部と、を備えたことを特徴とする会議コントローラ。
【請求項５】
請求項４に記載の会議コントローラにおいて、
前記分配転送制御部は、表示部で画像データを表示させない旨を表す制御コマンドが前記送信コマンド受信部で受信された場合、当該制御コマンドの送信元の受信側端末装置へ前記第１の画像データ及び前記第２の画像データを転送しない
ことを特徴とする会議コントローラ。
【請求項６】
画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置と、前記送信側端末装置及び前記複数の受信側端末装置にネットワークを介して接続された会議コントローラと、を備えたテレビ会議システムにおけるテレビ会議方法であって、
前記受信側端末装置が、
前記表示部での画像データの表示サイズが入力されるサイズ入力工程と、
当該入力された表示サイズを表す制御コマンドを前記会議コントローラへ送信する制御コマンド送信工程と、を実施し、
前記会議コントローラが、
受信側端末装置から制御コマンドを受信する送信コマンド受信工程と、
当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御工程と、を実施し、
前記送信側端末装置が、
画像データが入力される画像入力工程と、
受信側端末装置での画像データの表示サイズを表す制御コマンドを、前記会議コントローラを介して受信する転送コマンド受信工程と、
当該転送コマンド受信工程において、第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方を受信すると、前記画像入力部に入力された画像データに基づき第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を生成する画像生成工程と、
当該生成した前記第１の画像データ及び前記第２の画像データを前記会議コントローラへ送信する画像送信制御工程と、を実施し、
前記会議コントローラが、
前記コマンド転送制御工程で転送された制御コマンドに応じて前記送信側端末装置から送信される第１の画像データ及び第２の画像データを受信する生成画像受信工程と、
ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定工程と、
前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御工程と、を実施し、
前記受信側端末装置が、
前記制御コマンド送信工程で送信された制御コマンドに応じて前記会議コントローラから転送された画像データを受信する転送画像受信工程と、
当該受信した画像データを前記制御コマンドに基づく表示サイズで表示部に表示させる表示制御工程と、を実施する
ことを特徴とするテレビ会議方法。
【請求項７】
画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置とにネットワークを介して接続され、前記画像データの送受信を制御する会議コントロール方法であって、
受信側端末装置での画像データの表示サイズを表す制御コマンドを受信する送信コマンド受信工程と、
当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御工程と、
前記送信側端末装置へ第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方が転送された場合、前記送信側端末装置に入力された画像データに基づき生成される、第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を受信する生成画像受信工程と、
ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定工程と、
前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御工程と、を実施することを特徴とする会議コントロール方法。
【請求項１】
画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置と、前記送信側端末装置及び前記複数の受信側端末装置にネットワークを介して接続された会議コントローラと、を備えたテレビ会議システムであって、
前記送信側端末装置は、
画像データが入力される画像入力部と、
受信側端末装置での画像データの表示サイズを表す制御コマンドを、前記会議コントローラを介して受信する転送コマンド受信部と、
前記転送コマンド受信部において、第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方を受信すると、前記画像入力部に入力された画像データに基づき第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を生成する画像生成部と、
当該生成した前記第１の画像データ及び前記第２の画像データを前記会議コントローラへ送信する画像送信制御部と、を備え、
前記会議コントローラは、
受信側端末装置から制御コマンドを受信する送信コマンド受信部と、
当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御部と、
当該転送された制御コマンドに応じて前記送信側端末装置から送信される第１の画像データ及び第２の画像データを受信する生成画像受信部と、
ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定部と、
前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御部と、を備え、
前記受信側端末装置は、
前記表示部での画像データの表示サイズが入力されるサイズ入力部と、
当該入力された表示サイズを表す制御コマンドを前記会議コントローラへ送信する制御コマンド送信制御部と、
当該送信された制御コマンドに応じて前記会議コントローラから転送された画像データを受信する転送画像受信部と、
当該受信した画像データを前記制御コマンドに基づく表示サイズで表示部に表示させる表示制御部と、を備えた
ことを特徴とするテレビ会議システム。
【請求項２】
請求項１に記載のテレビ会議システムにおいて、
前記画像生成部は、
前記制御コマンドに基づく表示サイズが、予め設定された基準表示サイズと同じ又は当該基準表示サイズよりも小さい場合、当該制御コマンドが第１の制御コマンドであると判断し、前記基準表示サイズよりも大きい場合、当該制御コマンドが第２の制御コマンドであると判定する
ことを特徴とするテレビ会議システム。
【請求項３】
請求項１又は請求項２に記載のテレビ会議システムにおいて、
前記分配転送制御部は、表示部で画像データを表示させない旨を表す制御コマンドが前記送信コマンド受信部で受信された場合、当該制御コマンドの送信元の受信側端末装置へ前記第１の画像データ及び前記第２の画像データを転送しない
ことを特徴とするテレビ会議システム。
【請求項４】
画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置とにネットワークを介して接続され、前記画像データの送受信を制御する会議コントローラであって、
受信側端末装置での画像データの表示サイズを表す制御コマンドを当該受信側端末装置から受信する送信コマンド受信部と、
当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御部と、
前記送信側端末装置へ第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方が転送された場合、前記送信側端末装置に入力された画像データに基づき生成される、第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を受信する生成画像受信部と、
ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定部と、
前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御部と、を備えたことを特徴とする会議コントローラ。
【請求項５】
請求項４に記載の会議コントローラにおいて、
前記分配転送制御部は、表示部で画像データを表示させない旨を表す制御コマンドが前記送信コマンド受信部で受信された場合、当該制御コマンドの送信元の受信側端末装置へ前記第１の画像データ及び前記第２の画像データを転送しない
ことを特徴とする会議コントローラ。
【請求項６】
画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置と、前記送信側端末装置及び前記複数の受信側端末装置にネットワークを介して接続された会議コントローラと、を備えたテレビ会議システムにおけるテレビ会議方法であって、
前記受信側端末装置が、
前記表示部での画像データの表示サイズが入力されるサイズ入力工程と、
当該入力された表示サイズを表す制御コマンドを前記会議コントローラへ送信する制御コマンド送信工程と、を実施し、
前記会議コントローラが、
受信側端末装置から制御コマンドを受信する送信コマンド受信工程と、
当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御工程と、を実施し、
前記送信側端末装置が、
画像データが入力される画像入力工程と、
受信側端末装置での画像データの表示サイズを表す制御コマンドを、前記会議コントローラを介して受信する転送コマンド受信工程と、
当該転送コマンド受信工程において、第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方を受信すると、前記画像入力部に入力された画像データに基づき第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を生成する画像生成工程と、
当該生成した前記第１の画像データ及び前記第２の画像データを前記会議コントローラへ送信する画像送信制御工程と、を実施し、
前記会議コントローラが、
前記コマンド転送制御工程で転送された制御コマンドに応じて前記送信側端末装置から送信される第１の画像データ及び第２の画像データを受信する生成画像受信工程と、
ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定工程と、
前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御工程と、を実施し、
前記受信側端末装置が、
前記制御コマンド送信工程で送信された制御コマンドに応じて前記会議コントローラから転送された画像データを受信する転送画像受信工程と、
当該受信した画像データを前記制御コマンドに基づく表示サイズで表示部に表示させる表示制御工程と、を実施する
ことを特徴とするテレビ会議方法。
【請求項７】
画像データを送信する送信側端末装置と、前記送信側端末装置から送信された画像データを表示部で表示させる複数の受信側端末装置とにネットワークを介して接続され、前記画像データの送受信を制御する会議コントロール方法であって、
受信側端末装置での画像データの表示サイズを表す制御コマンドを受信する送信コマンド受信工程と、
当該受信した制御コマンドを前記送信側端末装置へ転送するコマンド転送制御工程と、
前記送信側端末装置へ第１の表示サイズを表す第１の制御コマンド及び前記第１の表示サイズよりも大きい第２の表示サイズを表す第２の制御コマンドの両方が転送された場合、前記送信側端末装置に入力された画像データに基づき生成される、第１の解像度を有する第１の画像データ及び前記第１の解像度よりも高い第２の解像度を有する第２の画像データの両方を受信する生成画像受信工程と、
ネットワークの通信帯域の利用状況及び前記第１の解像度に基づいて、前記第１の画像データを送信するときの第１のフレームレートを判定し、通信帯域の利用状況及び前記第２の解像度に基づいて、前記第２の画像データを送信するときの第２のフレームレートを判定するフレームレート判定工程と、
前記送信側端末装置に転送された第１の制御コマンドの送信元の受信側端末装置へ前記第１の画像データを前記第１のフレームレートで転送するとともに、第２の制御コマンドの送信元の受信側端末装置へ前記第２の画像データを前記第２のフレームレートで転送する分配転送制御工程と、を実施することを特徴とする会議コントロール方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１６９６９４（Ｐ２０１２−１６９６９４Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２６３８５（Ｐ２０１１−２６３８５）
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【出願人】（５０５４４０７８９）パイオニアソリューションズ株式会社 (33)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【出願人】（５０５４４０７８９）パイオニアソリューションズ株式会社 (33)
【Ｆターム（参考）】
[ Back to top ]