説明

通信端末、通信方法、及び通信端末用プログラム

【課題】テレビ会議中に資料を用いない場合、ディスプレイの資料データを表示する領域には何も表示されずに、テレビ会議の参加者を表す画像データの表示領域は元のままとなっている。何も表示されない領域をなくし、画像データの表示領域を広げることによって、より画像データを見やすくなるが、そのためには手動の操作で画像領域を変更しなければならない。会議中の参加者がそのような操作を行うのは煩わしいことであるという課題がある。
【解決手段】他の通信端末に接続されている外部入力装置が資料データを画面に表示するための表示データが受信されたか否かに基づいて、画像データを画面に配置するための配置情報を抽出する。その配置情報に基づいて、画像データを表示させる。これによって、通信端末がテレビ会議の相手の外部入力装置で表示している表示データを受け付けたか否かに基づいて、記憶手段から抽出した画面の配置情報で表示を制御することにより、表示装置の画面を効率的に利用することが可能となる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定のデータを表示装置の画面に表示させるための表示データ、及び撮像された画像データを、他の通信端末から通信ネットワークを介して受信可能な通信端末に関する。
【背景技術】
【0002】
近年、出張経費及び出張時間を削減する要請に伴い、インターネット等の通信ネットワークを介してテレビ会議などを行う通信システムが普及している。このような通信システムでは、複数の通信端末の間で資料データをディスプレイに表示するための表示データ、及び画像データ、音声データの送受信が行われることにより、テレビ会議を実現することができる。また、近年のブロードバンド環境の充実化により、高画質の画像データ、高音質の音声データを送受信することが可能となったため、テレビ会議の相手の状況を把握し易くなり、会話による意思疎通の充実度を向上することができるようになった。
【0003】
また、通信端末が、大容量の表示データを同時に送受信することも可能になったため、ディスプレイに画像データと表示データを同時に表示させることで、テレビ会議の参加者は相手の状況を把握しながら、会議資料も確認することができるようになった(特許文献1)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、テレビ会議中に資料を用いない場合がある。その場合、ディスプレイの資料データを表示する領域には何も表示されずに、テレビ会議の参加者を表す画像データの表示領域は元のままとなっている。何も表示されない領域をなくし、画像データの表示領域を広げることによって、より画像データを見やすくなるが、そのためには手動の操作で画像領域を変更しなければならない。会議中の参加者がそのような操作を行うのは煩わしいという課題がある。
【課題を解決するための手段】
【0005】
請求項1に係る発明は、所定のデータを表示装置の画面に表示させるための表示データ、及び撮像された画像データを、他の通信端末から通信ネットワークを介して受信可能な通信端末であって、前記表示データが受信されたか否かを表す受信情報と、前記画像データに基づいて前記画面上に表示される画像の大きさ及び位置の少なくとも一方を表す配置情報とを関連付けて記憶する記憶手段と、前記表示データ及び前記画像データを受信することが可能な受信手段と、前記受信手段で受信した受信情報に基づいて、前記記憶手段から対応する前記配置情報を抽出する抽出手段と、前記抽出手段で抽出された前記配置情報に基づいて、前記画像データによる画像を前記画面に表示させる表示制御手段と、を有することを特徴とする。

【発明の効果】
【0006】
以上説明したように本発明によれば、通信端末がテレビ会議の相手の外部入力装置で表示している表示データを受信したか否かに基づいて記憶手段から抽出された配置情報によって表示装置の画面を効率的に利用することによって、テレビ会議の参加者が操作を行う煩わしさをなくすことができる。
【図面の簡単な説明】
【0007】
【図1】本発明の一実施形態に係る通信システムの概略図である。
【図2】本実施形態に係る通信端末の外観図である。
【図3】本発明の一実施形態に係る通信端末のハードウェア構成図である。
【図4】本発明の一実施形態に係る通信管理システム、中継装置、又はプログラム提供サーバのハードウェア構成図である。
【図5】本発明の一実施形態に係る通信システムを構成する各端末、装置及びシステムの機能ブロック図である。
【図6】画像データの画質を説明する概念図である。
【図7】変更品質管理テーブルを示す概念図である。
【図8】中継装置管理テーブルを示す概念図である。
【図9】端末認証管理テーブルを示す概念図である。
【図10】端末管理テーブルを示す概念図である。
【図11】宛先リスト管理テーブルを示す概念図である。
【図12】セッション管理テーブルを示す概念図である。
【図13】アドレス優先度管理テーブルを示す概念図である。
【図14】伝送速度優先度管理テーブルを示す概念図である。
【図15】品質管理テーブルを示す概念図である。
【図16】各中継装置の稼動状態を示す状態情報を管理する処理を示したシーケンス図である。
【図17】通信端末間で通信を開始する準備段階の処理を示したシーケンス図である。
【図18】中継装置を絞り込む処理を示したシーケンス図である。
【図19】中継装置を絞り込む処理を示した処理フロー図である。
【図20】中継装置の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。
【図21】通信端末が中継装置を選択する処理を示したシーケンス図である。
【図22】通信端末で中継装置を選択する処理を示した処理フロー図である。
【図23】通信端末間で画像データ及び音声データを送受信する処理を示したシーケンス図である。
【図24】記憶部に記憶されている配置情報管理テーブルを示す概念図である。
【図25】記憶部に記憶されている領域管理テーブルを示す概念図である。
【図26】配置情報に基づいて表示された画面の例を示した図である。
【図27】外部入力装置の機能ブロック図である。
【図28】資料管理テーブルを示す概念図である。
【図29】通信端末が画像データ及び表示データを表示する処理を示したシーケンス図である。
【図30】通信端末が画像データ及び表示データを表示するための配置情報を決定する処理を示したフロー図である。
【図31】表示データの送信を停止する処理を示した処理フロー図である。
【図32】利用者の操作に基づいて配置情報が決定される処理を示した処理フロー図である。
【図33】利用者の操作に基づく配置情報の状態遷移を示した状態遷移図である。
【発明を実施するための形態】
【0008】
<<実施形態の全体構成>>
以下、図1乃至図33を用いて、本発明の一実施形態について説明する。図1は、本発明の一実施形態に係るテレビ会議に用いられる通信システム1の概略図であり、まずは図1を用いて、本実施形態の概略を説明する。なお、テレビ会議という用語には、一般にビデオ会議と呼ばれているものも含んでいる。

【0009】
図1に示す通信システム1は、複数の通信端末(10aa,10ab,…,10db)、各通信端末(10aa,10ab,…,10db)用のディスプレイ(11aa,11ab,…,11db)、複数の中継装置(30a,30b,30c,30d)、通信管理システム50、及び配置情報提供システム80によって構築されている。
【0010】
なお、本実施形態では、通信端末(10aa,10ab,…,10db)のうち任意の通信端末を示す場合には「通信端末10」を用い、ディスプレイ(11aa,11ab,…,11db)のうち任意のディスプレイを示す場合には「ディスプレイ100」を用い、中継装置(30a,30b,30c,30d)のうち任意の中継装置を示す場合には「中継装置30」を用いる。
【0011】
通信端末10は、他の通信端末10との間で、画像データ、音声データ等の送受信を行う。本実施形態では、画像データの画像が動画の場合について説明するが、動画だけでなく静止画であてもよい。また、画像データの画像には、動画と静止画の両方が含まれてもよい。中継装置30は、複数の通信端末10の間で、画像データ及び音声データの中継を行う。通信管理システム50は、通信端末10及び中継装置30を一元的に管理する。配置情報提供システム80は、通信端末10の画面での画像データ、後述する資料データを配置するための配置情報を、通信端末10に提供する。
【0012】
外部入力装置40は、通信端末10と接続され、通信端末10に対して資料データを表示した画面を取得した表示データの送信を行う。ここでの資料データとは、たとえば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等で作成されたデータを表す。また、画面を取得するとは、コンピュータのディスプレイに表示された静止画や動画を保存することを表す。
【0013】
また、図1に示されている複数のルータ(70a,70b,…,70g)は、画像データ及び音声データの最適な経路の選択を行う。なお、本実施形態では、ルータ(70a,70b,…,70g)のうち任意のルータを示す場合には「ルータ70」を用いる。プログラム提供システム90は、通信端末10に各種機能又は各種手段を実現させるための通信端末用プログラムが記憶された、不図示のHD(Hard Disk)を備えており、通信端末10に、通信端末用プログラムを送信することができる。また、プログラム提供システム90のHDには、中継装置30に各種機能又は各種手段を実現させるための中継装置用プログラムも記憶されており、中継装置30に、中継装置用プログラムを送信することができる。更に、プログラム提供システム90のHDには、通信管理システム50に各種機能又は各種手段を実現させるための通信管理用プログラムも記憶されており、通信管理システム50に、通信管理用プログラムを送信することができる。
【0014】
また、通信端末10aa、通信端末10ab、中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。通信端末10ba、通信端末10bb、中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70cが含まれた専用線2abによって通信可能に接続されており、所定の地域A内で構築されている。例えば、地域Aは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。
【0015】
一方、通信端末10ca、通信端末10cb、中継装置30c、及びルータ70cは、LAN2cによって通信可能に接続されている。通信端末10da、通信端末10db、中継装置30d、及びルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70eが含まれた専用線2cdによって通信可能に接続されており、所定の地域B内で構築されている。例えば、地域Bはアメリカであり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。地域A及び地域Bは、それぞれルータ(70c,70e)からインターネット2iを介して通信可能に接続されている。
【0016】
また、通信管理システム50、及びプログラム提供システム90は、インターネット2iを介して、通信端末10、及び中継装置30と通信可能に接続されている。通信管理システム50、及びプログラム提供システム90は、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
【0017】
なお、本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2c、及びLAN2dによって、本実施形態の通信ネットワーク2が構築されている。
【0018】
また、図1において、各通信端末10、各中継装置30、通信管理システム50、各ルータ70、及びプログラム提供システム90の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。例えば、通信端末10aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなく、IPv6を用いてもよいが。説明を簡略化するため、IPv4を用いて説明する。
<<実施形態のハードウェア構成>>
次に、本実施形態のハードウェア構成を説明する。本実施形態では、中継先としての通信端末10で画像データの受信に遅延が生じた場合に、中継装置30によって画像データの画像の解像度を変更してから、中継先としての通信端末10へ画像データを送信する場合について説明する。
【0019】
図2は、本実施形態に係る通信端末の外観図である。以下、通信端末10の長手方向をX軸方向、水平面内でX軸方向に直交する方向をY軸方向、X軸方向及びY軸方向に直交する方向(鉛直方向)をZ軸方向として説明する。
【0020】
図2に示されているように、通信端末10は、筐体1100、アーム1200、及びカメラハウジング1300を備えている。このうち、筐体1100の前側壁面1110には、複数の吸気孔によって形成された不図示の吸気面が設けられており、筐体1100の後側壁面1120には、複数の排気孔が形成された排気面1121が設けられている。これにより、筐体1100に内蔵された冷却ファンの駆動によって、不図示の吸気面を介して通信端末10の後方の外気を取り込み、排気面1121を介して通信端末10の後方へ排気することができる。筐体1100の右側壁面1130には、収音用孔1131が形成され、後述する内蔵型のマイク114によって音声、物音、雑音等の音が収音可能となっている。
【0021】
筐体1100の右側壁面1130側には、操作パネル1150が形成されている。この操作パネル1150には、後述の複数の操作ボタン(108a〜108e)、後述の電源スイッチ109、及び後述のアラームランプ119が設けられていると共に、後述の内蔵型のスピーカ115からの出力音を通すための複数の音声出力孔によって形成された音出面1151が形成されている。また、筐体1100の左側壁面1140側には、アーム1200及びカメラハウジング1300を収容するための凹部としての収容部1160が形成されている。筐体1100の右側壁面1130には、後述の外部機器接続I/F118に対して電気的にケーブルを接続するための複数の接続口(1132a〜1132c)が設けられている。一方、筐体1100の左側壁面1140には、後述の外部機器接続I/F118に対して電気的にディスプレイ120用のケーブル120cを接続するための不図示の接続口が設けられている。
【0022】
なお、以下では、操作ボタン(108a〜108e)のうち任意の操作ボタンを示す場合には「操作ボタン108」を用い、接続口(1132a〜1132c)のうち任意の接続口を示す場合には「接続口1132」を用いて説明する。
【0023】
次に、アーム1200は、トルクヒンジ1210を介して筐体1100に取り付けられており、アーム1200が筐体1100に対して、135度のチルト角θ1の範囲で、上下方向に回転可能に構成されている。図2は、チルト角θ1が90度の状態を示している。
【0024】
カメラハウジング1300には、内蔵型のカメラ1021が設けられており、利用者、書類、及び部屋等を撮像することができる。また、カメラハウジング1300には、トルクヒンジ1310が形成されている。カメラハウジング1300は、トルクヒンジ1310を介して、アーム1200に取り付けられている。そして、カメラハウジング1300は、トルクヒンジ1310を介してアーム1200に取り付けられており、カメラハウジング1300がアーム1200に対して、図2で示されている状態を0度として±180度のパン角θ2の範囲で、且つ、±45度のチルト角θ3の範囲で、上下左右方向に回転可能に構成されている。
【0025】
なお、中継装置30、管理システム50、及びプログラム提供システム90は、それぞれ一般のサーバ・コンピュータの外観と同じであるため、外観の説明を省略する。
【0026】
図3は、本発明の一実施形態に係る通信端末10のハードウェア構成図である。図3に示されているように、本実施形態の通信端末10は、通信端末10全体の動作を制御するCPU(Central Processing Unit)101、通信端末用プログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、画像データや音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、通信端末10の宛先を選択する場合などに操作される操作ボタン108、通信端末10の電源のON/OFFを切り換えるための電源スイッチ109、後述の通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F111、CPU101の制御に従って被写体を撮像し画像データを得るカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音声を入力するマイク114、音声を出力するスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116、CPU101の制御に従って外付けのディスプレイ100に画像データを伝送するディスプレイI/F117、外部の装置と各種データを送受信する外部入力装置I/F118、端末10の各種機能の異常を知らせるアラームランプ119及び上記各構成要素を図3に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
【0027】
なお、記録メディア106は、通信端末10に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。更に、カメラ112は、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子であり、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等を用いてもよい。また、ディスプレイ100は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成されている。
【0028】
更に、上記通信端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア106等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【0029】
図4は、本発明の一実施形態に係る通信管理システムのハードウェア構成図である。通信管理システム50は、通信管理システム50全体の動作を制御するCPU201、通信管理用プログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、各種データを記憶するHD(Hard Disk)204、CPU201の制御にしたがってHD204に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208、後述の通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F209、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対するデータの読み出し又は書き込みを制御するCD−ROMドライブ214、及び、上記各構成要素を図4に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
【0030】
なお、上記通信管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【0031】
また、中継装置30は、上記通信管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、中継装置30を制御するための中継装置用プログラムが記録されている。この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【0032】
また、外部入力装置40は、上記通信管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、外部入力装置40を制御するための資料管理用プログラムが記録されている。この場合も、資料管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【0033】
更に、プログラム提供システム90は、上記通信管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、プログラム提供システム90を制御するためのプログラム提供用プログラムが記録されている。この場合も、プログラム提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【0034】
なお、上記着脱可能な記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
<<実施形態の機能構成>>
次に、本実施形態の機能構成について説明する。図5は、本実施形態の通信システム1を構成する各端末、装置及びシステムの機能ブロック図である。図5では、通信端末10、中継装置30、及び通信管理システム50が、通信ネットワーク2を介してデータ通信することができるように接続されている。外部入力装置40は、通信端末10とデータ通信することができるように接続されている。また、図6は、画像データの画質を説明する概念図である。図7は、変更品質管理テーブルを示す概念図である。図8は、中継装置管理テーブルを示す概念図である。図9は、端末認証管理テーブルを示す概念図である。図10は、端末管理テーブルを示す概念図である。図11は、宛先リスト管理テーブルを示す概念図である。図12は、セッション管理テーブルを示す概念図である。図13は、アドレス優先度管理テーブルを示す概念図である。図14は、伝送速度優先度管理テーブルを示す概念図である。図15は、品質管理テーブルを示す概念図である。図24は、記憶部に記憶されている配置情報管理テーブルを示す概念図である。図25は、記憶部に記憶されている領域管理テーブルを示す概念図である。図26は、配置情報に基づいて表示された画面の例を示した図である。図27は、外部入力装置の機能ブロック図である。図28は、資料管理テーブルを示す概念図である。
【0035】
<通信端末の機能構成>
通信端末10は、送受信部11、操作入力受付部12、ログイン要求部13、撮像部14a、表示制御部14b、配置情報選択部14c、領域決定部14d、音声入力部15a、音声出力部15b、最終絞込部16、遅延検出部17、外部情報送受信部18、及び記憶・読出処理部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、通信端末10は、図3に示されているROM102、RAM103、SSD105のいずれかによって構築される記憶部1000を有している。
【0036】
(配置情報管理テーブル)
記憶部1000には、図24に示されているような配置情報管理テーブルによって構成されている配置情報管理DB1001が構築されている。この配置情報管理テーブルでは、配置情報Noに関連付けて、画面内の各領域に表示するデータ(情報)を表す情報である配置情報と送受信部11が表示データを受信したか否かを示す受信情報である共有フラグが記憶されている。図24に例を示すように、配置情報No「1」に対して、配置情報「VIEW_MULTI」、共有フラグ「UNSHARED」が記憶されている。
【0037】
(領域管理テーブル)
記憶部1000には、図25に示されているような領域管理テーブルによって構成されている領域管理DB1002が構築されている。この領域管理テーブルでは、配置情報に関連付けて、画面内の各領域に表示するデータが記憶されている。図25に例を示すように配置情報が「SHARED_MULTI」の場合には、領域1に受信した表示データを表示させ、領域2には通信相手の端末である通信端末10aaの撮像部14aが撮像した画像データを表示させ、領域3には自身の端末である通信端末10dbの撮像部14aが撮像した画像データを表示させることを表している。また、配置情報が「VIEW_MULTI」の場合には、領域1に通信相手の端末である通信端末10aaの撮像部14aが撮像した画像データを表示させ、領域2には、自身の端末である通信端末10dbの撮像部14aが撮像した画像データを表示させ、領域3には何も表示させないことを表している。領域1乃至領域3は大きさ及び画面内における位置によって決められている。図26に示す例は、各情報を表示させる画面内の領域を定めている情報である。図26(1)には配置情報が「SHARED_MULTI」の場合の画面、図26(2)には配置情報が「VIEW_MULTI」の場合の画面が表示されており、画面左部の領域を領域1、画面の右上部の領域を領域2、画面の右中部の領域を領域3としている。
【0038】
なお,配置情報「VIEW_MULTI」の場合,領域1には現在、参加者が注目すべき画像データを通信端末は表示するようにして、発話している側の通信端末の撮像部が撮影した画像データとしてもよい。この画像データを特定するため、各通信端末の音声入力部は音声レベルに基づき発話を検出した場合、表示データ制御部は、該当する通信端末の端末IDを中継装置に転送する。中継装置はこの端末IDを各通信端末に同報的に配信するので、各通信端末は領域1に表示すべき画像データを特定することができる。なお、表示データ制御部は中継装置でなく、該当する通信端末の端末IDを通信管理システムに送信してもよい。また,領域2には発話していない側の画像データを表示する。
【0039】
表示データとは、通信端末10に接続されている外部入力装置40の表示装置400に表示されている画面を示す情報である。文書作成ソフトウェア、表計算ソフトウェア等によって作成され、管理される資料データを表示させている画面であり、図3に示されているカメラ112によって入力される画像データとは区別されるものとする。
【0040】
(通信端末の各機能部)
次に、通信端末の各部を詳細に説明する。通信端末10の送受信部11は、図3に示されているネットワークI/F111によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(情報)の送受信を行う。操作入力受付部12は、図3に示されている操作ボタン108、及び電源スイッチ109によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図3に示されている電源スイッチ109をONにすると、図5に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする。ログイン要求部13は、図3に示されているCPU101からの命令によって実現され、上記電源ONの受け付けを契機として、送受信部11から通信ネットワーク2を介して通信管理システム50に、ログインを要求する旨を示すログイン要求情報、及び通信端末10abの現時点のIPアドレスを自動的に送信する。
【0041】
撮像部14aは、図3に示されているカメラ112、及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。表示制御部14bは、図3に示されているディスプレイI/F117によって実現され、外付けのディスプレイ100に対して画像データを表示させるための制御を行う。表示制御部14bがディスプレイ100に表示させる画面の配置情報を抽出する。
【0042】
配置情報選択部14cは、送受信部11が表示データを受信したか否かを示す受信情報に基づいて、配置情報を選択する。領域決定部14dは、配置情報選択部14cが選択した配置情報に基づいて、各画像データおよび表示データを表示させる領域を決定する。
【0043】
音声入力部15aは、図3に示されているマイク114、及び音声入出力I/F116によって実現され、利用者の音声を入力し、この音声を音声信号に変換することで、音声信号に係る音声データを出力する。音声出力部15bは、図3に示されているスピーカ115、及び音声入出力I/F116によって実現され、音声データに係る音声信号を音声に変換して出力する。
【0044】
最終絞込部16は、複数の中継装置30から最終的に1つの中継装置30に絞り込む最終絞り込み処理を行うため、図3に示されているCPU101からの命令によって、計測部16a、算出部16b、及び最終選択部16cを実現する。このうち、計測部16aは、送受信部11によって受信された後述の事前送信情報毎に、送受信部11によって事前送信情報が受信される際の受信日時を計測する。算出部16bは、計測部16aによって受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間を算出する。最終選択部16cは、算出部16bによって算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された中継装置30を選択することで、最終的に1つの中継装置を選択する。
【0045】
遅延検出部17は、図3に示されているCPU101からの命令によって実現され、他の通信端末10から中継装置30を介して送られて来る画像データ、音声データ、表示データの遅延時間(ms)を検出する。また、外部情報送受信部18は、外部入力装置I/F215により外部にある入力装置とデータを送受信する。
【0046】
記憶・読出処理部19は、図3に示すSSD105によって実行され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。記憶部1000には、通信端末10を識別するための端末ID(Identification)、及びパスワード、並びに、画像データ、及び音声データ等が記憶される。
【0047】
なお、本実施形態の端末ID、及び後述の中継装置IDは、それぞれ通信端末10、及び中継装置30を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ID、及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。また、以下では、テレビ会議の開始を要求する要求元としての通信端末10を「要求元端末10A」とし、要求先である宛先としての通信端末10を「宛先端末10B」として説明する。
【0048】
<中継装置の機能構成>
次に、中継装置30の機能又は手段について説明する。中継装置30は、送受信部31、状態検知部32、データ品質確認部33、変更品質管理部34、データ品質変更部35、及び記憶・読出処理部39を有している。これら各部は、図4に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、中継装置30は、図4に示されているROM202、RAM203、HDD205のいずれかによってにより構築される記憶部3000を有している。
【0049】
(変更品質管理テーブル)
記憶部3000には、図7に示されているような変更品質管理テーブルによって構成されている変更品質管理DB3001が構築される。変更品質管理テーブルでは、画像データの中継先としての通信端末30のIPアドレス、及びこの中継先に中継装置30が中継する画像データの画質が関連付けられて管理される。
【0050】
ここで、本実施形態で扱われる画像データの画像の解像度について説明する。図6(a)に示されているように、横が160画素、縦が120画素から成り、ベース画像となる低解像度の画像と、図6(b)に示されているように、横が320画素、縦が240画素から成る中解像度の画像と、図6(c)に示されているように、横が640画素、縦が480画素から成る高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の画像データ、及び中解像度の画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画質となる低解像度の画像データ、中画解像度の画像データ、及び高解像度の画像データから成る高画質の画像データが中継される。例えば、図7に示されている変更品質管理テーブルにおいて、中継装置30が、IPアドレス「1.3.2.4」の宛先端末10dbに対して画像データを中継する場合には、この中継される画像データの画質(画像の品質)は「高品質」である。
【0051】
<中継装置の各機能部>
次に、中継装置30の各機能構成について詳細に説明する。なお、以下では、中継装置30の各部を説明するにあたって、図3に示されている各構成要素のうち、中継装置30の各部を実現させるための主な構成要素との関係も説明する。
【0052】
図5に示されている中継装置30の送受信部31は、図4に示されているネットワークI/F209によって実現され、通信ネットワーク2を介して他の端末、装置、又はシステムと各種データ(情報)の送受信を行う。状態検知部32は、図4に示されているCPU201からの命令によって実現され、この状態検知部32を有する中継装置30の稼動状態を検知する。稼動状態としては、「ONライン」、「OFFライン」、又は「故障中」の状態がある。
【0053】
データ品質確認部33は、図4に示されているCPU201からの命令によって実現され、宛先端末10BのIPアドレスを検索キーとして、変更品質管理テーブル(図7参照)を検索し、対応した中継される画像データの画質を抽出することで、中継される画像データの画質を確認する。変更品質管理部34は、図4に示されているCPU201からの命令によって実現され、通信管理システム50から送られて来る、後述の品質情報に基づいて、変更品質管理DB3001の内容を変更する。例えば、端末IDが「01aa」である要求元端末10aaと、端末IDが「01db」である宛先端末10dbとの間で高画質の画像データを送受信することによってテレビ会議を行っている最中に、他のテレビ会議を行う要求元端末bbと宛先端末caが通信ネットワーク2を介してテレビ会議を開始すること等によって、宛先端末10dbで画像データの受信の遅延が生じた場合には、中継装置30は今まで中継していた画像データの画質を、高画質から中画質に下げる必要がある。このような場合に、中画質を示す品質情報に基づいて、中継装置30が中継する画像データの画質を高画質から中画質に下げるように、変更品質管理DB3001の内容が変更される。
【0054】
データ品質変更部35は、図4に示されているCPU201からの命令によって実現され、送信元端末10から送られて来た画像データの画質を、上記変更された変更品質管理DB3001の内容に基づいて変更する。記憶・読出処理部39は、図4に示されているHDD205によって実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出す処理を行う。
【0055】
<外部入力装置の機能構成>
外部入力装置40は、図27に示されているように、送受信部41、操作入力受付部42、表示制御部43、表示データ取得部44、表示データ送信部45、及び記憶・読出処理部49を有している。これら各部は、図4に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、外部入力装置40は、図4に示されているROM202、RAM203、HDD205のいずれかによって構築される記憶部4000を有している。
【0056】
(資料管理テーブル)
記憶部4000には、図28に示されているような資料管理テーブルによって構成されている資料管理DB(Data Base)4001が構築される。資料管理テーブルでは、資料の名称である資料名、資料の大きさを表すサイズ、資料が作成されるために用いられたアプリケーションソフトウェアの名称を表すアプリケーション名、資料が最後に更新された更新日時、資料データが関連付けられて管理される。例えば、図28に示されている資料管理テーブルにおいて、資料名「××設計書」、サイズ「182kB」、アプリケーション名「文書作成ソフトウェア」、更新日時「2010/03/19」、資料データ「××設計書.xls」が関連付けられていることが示されている。
【0057】
<外部入力装置の各機能部>
次に、外部入力装置40の各部を詳細に説明する。外部入力装置40の送受信部41は、図4に示されている外部入力装置I/F215によって実現され、通信端末10と各種データ(情報)を送受信する。操作入力受付部42は、利用者の操作による入力を受け付ける。表示制御部43は、表示装置400に後述する記憶・読出処理部49が読み出した画像を表示させる。表示データ取得部44は、外部入力装置40が表示させる画面に関する表示データを取得するものであり、表示データ送信部45は、表示データ取得部44が取得した表示データを通信端末10に送信するものである。
【0058】
記憶・読出処理部49は、図4に示すHDD205によって実行され、記憶部4000に各種データを記憶したり、記憶部4000に記憶された各種データを読み出したりする処理を行う。記憶部4000には、会議中に共有させる資料データ等が記憶される。
【0059】
<通信管理システムの機能構成>
次に、通信管理システム50の機能又は手段について説明する。通信管理システム50は、図5に示されるように、送受信部51、端末認証部52、状態管理部53、端末抽出部54、端末状態取得部55、絞込部56、セッション管理部57、品質決定部58、記憶・読出処理部59、及び遅延時間管理部60を有している。これら各部は、図4に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、通信管理システム50は、図4に示されているROM202、RAM203、HDD205のいずれかによって構築される記憶部5000を有している。
【0060】
(中継装置管理テーブル)
記憶部5000には、図8に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5001が構築されている。この中継装置管理テーブルでは、各中継装置30の中継装置ID毎に、各中継装置30の稼動状態、稼動状態が示される状態情報が通信管理システム50で受信された受信日時、中継装置30のIPアドレス、及び中継装置30における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図8に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置30aは、稼動状態が「ONライン」で、通信管理システム50で状態情報が受信された日時が「2009年11月10日の13時00分」で、この中継装置30aのIPアドレスが「1.2.1.2」で、この中継装置30aにおける最大データ伝送速度が100Mbpsであることが示されている。
【0061】
(端末認証管理テーブル)
更に、記憶部5000には、図9に示されているような端末認証管理テーブルによって構成されている端末認証管理DB5002が構築されている。この端末認証管理テーブルでは、通信管理システム50によって管理される全ての通信端末10の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図9に示されている端末認証管理テーブルにおいて、通信端末10aaの端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。
【0062】
(端末管理テーブル)
また、記憶部5000には、図10に示されているような端末管理テーブルによって構成されている端末管理DB5003が構築されている。この端末管理テーブルでは、各通信端末10の端末ID毎に、各通信端末10の稼動状態、後述のログイン要求情報が通信管理システム50で受信された受信日時、及び通信端末10のIPアドレスが関連付けられて管理される。例えば、図10に示されている端末管理テーブルにおいて、端末IDが「01aa」の通信端末10aaは、稼動状態が「ONライン」で、通信管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」で、この通信端末10aaのIPアドレスが「1.2.1.3」であることが示されている。
【0063】
(宛先リスト管理テーブル)
更に、記憶部5000には、図11に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブルでは、テレビ会議の開始を要求する要求元端末10Aの端末IDに対して、宛先端末10Bの候補として登録されている宛先端末10Bの端末IDが全て関連付けられて管理される。例えば、図11に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である要求元端末10aaからテレビ会議の開始を要求することができる宛先端末10Bの候補は、端末IDが「01ab」の通信端末10ab、端末IDが「01ba」の通信端末10ba、及び端末IDが「01db」の通信端末10dbの3つであることが示されている。この宛先端末10Bの候補は、要求元端末10Aから通信管理システム50に対する追加又は削除の要請により、追加又は削除されることで更新される。
【0064】
(セッション管理テーブル)
また、この記憶部5000には、図12に示されているようなセッション管理テーブルによって構成されているセッション管理DB5005が構築されている。このセッション管理テーブルでは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションID毎に、中継装置30の中継装置ID、要求元端末10Aの端末ID、宛先端末10Bの端末ID、遅延時間(ms)、及び受信日時が関連付けられて管理される。ここで、遅延時間(ms)とは、宛先端末10Bにおいて画像データが受信される際の受信の遅延時間であり、受信日時とは、この遅延時間が示されている遅延情報を宛先端末10Bから送られて来て通信管理システム50で受信された日時である。
【0065】
例えば、図12に示されているセッション管理テーブルにおいて、選択用セッションID「se1」を用いて実行されたセッションで選択された中継装置30a(中継装置ID「111a」)は、端末IDが「01aa」の要求元端末10aaと、端末IDが「01db」の宛先端末10dbとの間で、画像データ及び音声データを中継していることが示されている。また、宛先端末10dbにおいて「2009年11月10日の14時00分」時点における画像データの遅延時間が200(ms)であることが示されている。
【0066】
なお、2つの通信端末10の間でテレビ会議を行う場合には、上記宛先端末10Bではなく要求元端末10Aから送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理してもよい。但し、3つ以上の通信端末10の間でテレビ会議を行う場合には、画像データ及び音声データの受信側の通信端末10から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理する。
【0067】
(アドレス優先度管理テーブル)
更に、記憶部5000には、図13に示されているようなアドレス優先度管理テーブルによって構成されている優先度管理DB5006が構築されている。このアドレス優先度管理テーブルでは、一般的なIPv4におけるIPアドレスのうちの4組のドットアドレス(Dot Address)部分の同異に応じて、アドレス優先度のポイントが高くなるように関連付けられて管理される。例えば、図13に示されているアドレス優先度管理テーブルにおいて、ドットアドレスの上位から下位にかけて3つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「5」である。ドットアドレスの上位から下位にかけて2つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「3」である。この場合、最下位のドットアドレスの値が同じであるか否かは優先度に関係ない。ドットアドレスの最上位の値が同じで、上位から2番目の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「1」である。この場合、上位から3番目及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。ドットアドレスの最上位の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「0」である。この場合、上位から2番目、3番目、及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。
【0068】
(伝送速度優先度管理テーブル)
また、記憶部5000に構築されている優先度管理DB5006には、図14に示されているような伝送速度優先度管理テーブルも含まれている。この伝送速度優先度管理テーブルでは、中継装置30における最大データ伝送速度(Mbps)の値に応じて、伝送速度優先度のポイントが高くなるように関連付けられて管理される。例えば、図14に示されている伝送速度優先度管理テーブルにおいて、中継装置30における最大データ伝送速度が1000Mbps以上の場合には、伝送速度優先度のポイントが「5」である。中継装置30における最大データ伝送速度が100Mbps以上1000Mbps未満の場合には、伝送速度優先度のポイントが「3」である。中継装置30における最大データ伝送速度が10Mbps以上100Mbps未満の場合には、伝送速度優先度のポイントが「1」である。中継装置30における最大データ伝送速度が10Mbps未満の場合には、伝送速度優先度のポイントが「0」である。
【0069】
(品質管理テーブル)
更に、記憶部5000には、図15に示されているような品質管理テーブルによって構成されている品質管理DB5007が構築されている。この品質管理テーブルでは、要求元端末10A又は宛先端末10Bにおける画像データの遅延時間(ms)に応じて、中継装置30で中継させる画像データの画質(画像の品質)が関連付けられて管理される。
【0070】
(通信管理システムの各機能部)
次に、通信管理システム50の各機能部について詳細に説明する。なお、以下では、通信管理システム50の各部を説明するにあたって、図5に示されている各構成要素のうち、通信管理システム50の各部を実現させるための主な構成要素との関係も説明する。
【0071】
送受信部51は、図4に示されているネットワークI/F209によって実行され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(情報)の送受信を行う。端末認証部52は、送受信部51を介して受信されたログイン要求情報に含まれている端末ID及びパスワードを検索キーとし、記憶部5000の端末認証管理DB5002を検索し、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う。状態管理部53は、ログイン要求してきた要求元端末10Aの稼動状態を管理すべく、端末管理テーブル(図11参照)に、この要求元端末10Aの端末ID、要求元端末10Aの稼動状態、通信管理システム50でログイン要求情報が受信された受信日時、及び要求元端末10AのIPアドレスを関連付けて記憶して管理する。
【0072】
端末抽出部54は、ログイン要求した要求元端末10Aの端末IDをキーとして、宛先リスト管理テーブル(図11参照)を検索し、要求元端末10Aと通信することができる宛先端末10Bの候補の端末IDを読み出すことで、端末IDを抽出する。また、端末抽出部54は、ログイン要求してきた要求元端末10Aの端末IDをキーとして、宛先リスト管理テーブル(図11参照)を検索し、上記要求元端末10Aの端末IDを宛先端末10Bの候補として登録している他の要求元端末10Aの端末IDも抽出する。
【0073】
端末状態取得部55は、上記端末抽出部54によって抽出された宛先端末10Bの候補の端末IDを検索キーとして、端末管理DBテーブル(図10参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態を読み出す。これにより、端末状態取得部55は、ログイン要求してきた要求元端末10Aと通信することができる宛先端末10Bの候補の稼動状態を取得することができる。また、端末状態取得部55は、上記端末抽出部54によって抽出された端末IDを検索キーとして、端末管理テーブル(図10参照)を検索し、ログイン要求してきた要求元端末10Aの稼動状態も取得する。
【0074】
絞込部56は、複数の中継装置30から最終的に1つの中継装置30に絞り込む最終絞り込み処理を支援するため、最終絞り込み処理前の一次絞り込み処理を行うため、選択用セッションID生成部56a、端末IPアドレス抽出部56b、一次選択部56c、及び優先度決定部56dを有している。このうち、選択用セッションID生成部56aは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する。端末IPアドレス抽出部56bは、要求元端末10Aから送られてきた開始要求情報に含まれている要求元端末10Aの端末ID、及宛先端末10Bの端末IDに基づいて、端末管理テーブル(図10参照)を検索することにより、対応するそれぞれの通信端末10のIPアドレスを抽出する。一次選択部56cは、中継装置管理テーブル(図8参照)で管理されている中継装置30のうち、稼動状態が「ONライン」となっている中継装置30の中継装置IDを選択することにより、中継装置30の選択を行う。
【0075】
また、一次選択部56cは、上記端末IPアドレス抽出部56bによって抽出された、要求元端末10AのIPアドレス、及び宛先端末10BのIPアドレスに基づいて、中継装置管理テーブル(図8参照)を検索することにより、上記選択された中継装置30のIPアドレスのドットアドレス毎に、上記要求元端末10A及び宛先端末10Bの各IPアドレスにおける各ドットアドレスと同じであるか異なるかを調査する。更に、一次選択部56cは、中継装置毎に、アドレス優先度のポイントにおいて通信端末10に対する高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの中継装置30を選択することにより、中継装置30の更なる選択を行う。
【0076】
なお、本実施形態では、ポイントが高い上位2つの中継装置30を選択することにしているが、これに限られるものではなく、中継装置30を1つでも多く絞り込むことができれば、ポイントが高い上位3つ以上の中継装置30を選択するようにしてもよい。
【0077】
優先度決定部56dは、優先度管理テーブル(図13参照)を参照して、上記一次選択部56cによって調査された中継装置30毎に、アドレス優先度のポイントを決定する。また、優先度決定部56dは、中継装置管理テーブル(図8参照)で管理されている各中継装置30の最大データ伝送速度に基づいて、優先度管理テーブル(図14参照)を検索することにより、上記一次選択部56cによって絞り込まれた中継装置30毎に伝送速度優先度のポイントを決定する。
【0078】
セッション管理部57は、記憶部5000のセッション管理テーブル(図12参照)に、選択用セッションID生成部56aで生成された選択用セッションID、要求元端末の端末ID、及び宛先端末の端末IDを関連付けて記憶して管理する。また、セッション管理部57は、セッション管理テーブル(図12参照)に対して、選択用セッションID毎に、通信端末10の選択部16cで最終的に1つに選択された中継装置30の中継装置IDを記憶して管理する。
【0079】
品質決定部58は、上記遅延時間を検索キーとして、品質管理テーブル(図15参照)を検索し、対応する画像データの画質を抽出することで、中継装置30に中継させる画像データの画質を決定する。記憶・読出処理部59は、図4に示されているHDD205によって実行され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出す処理を行う。遅延時間管理部60は、上記宛先端末10BのIPアドレスを検索キーとして、端末管理テーブル(図10参照)を検索することで、対応する端末IDを抽出し、更に、セッション管理テーブル(図12参照)のセッション管理テーブルにおいて、上記抽出した端末IDが含まれるレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間を記憶して管理する。
【0080】
<<実施形態の処理・動作>>
以上が、本実施形態に係る通信システム1の構成及び機能(又は手段)の説明であり、続いて、図16乃至図23、図29乃至図33を用いて、本実施形態に係る通信システム1における処理方法を説明する。なお、図16は、各中継装置30から通信管理システム1に送信された各中継装置30の状態を示す状態情報を管理する処理を示したシーケンス図である。図17は、複数の通信端末10の間で通信を開始する準備段階の処理を示したシーケンス図である。図18は、中継装置30を絞り込む処理を示したシーケンス図である。図19は、中継装置30を絞り込む処理を示した処理フロー図である。図20は、中継装置30の絞り込み処理を行う際のポイントの計算状態を示した図である。図21は、通信端末10が中継装置30を選択する処理を示したシーケンス図である。図22は、通信端末で中継装置30を選択する処理を示した処理フロー図である。図23は、通信端末間で画像データ及び音声データを送受信する処理を示したシーケンス図である。図29は、通信端末が画像データ、資料データを表示する処理を示したシーケンス図である。図30は、通信端末が画像データ及び表示データを表示する処理における配置を決定する処理を示したフロー図である。図31は、表示データの送信を停止する処理を示した処理フロー図である。図32は、利用者の操作に基づいて配置情報が決定される処理を示した処理フロー図である。図33は、利用者の操作に基づく配置情報の状態遷移を示した状態遷移図である。
【0081】
まず、図16を用いて、各中継装置30から通信管理システム50に送信された各中継装置30の状態を示す状態情報を管理する処理を説明する。まず、各中継装置30では、図5に示されている状態検知部32が、自装置である中継装置30の稼動状態を定期的に検知している(S1−1〜S1−4)。そして、通信管理システム50側で各中継装置30の稼動状態をリアルタイムで管理させるべく、各中継装置30の送受信部31は、定期的に通信ネットワーク2を介して通信管理システム50へ各状態情報を送信する(ステップS2−1〜S2−4)。これら各状態情報には、中継装置30毎の中継装置IDと、これら各中継装置IDに係る中継装置30の状態検知部32で検知された稼動状態とが含まれている。なお、本実施形態では、中継装置(30a,30b,30d)は、正常に稼動して「ONライン」となっている一方で、中継装置30cは稼働中ではあるが、中継装置30cの中継動作を実行するためのプログラムに何らかの不具合が生じて、「OFFライン」となっている場合が示されている。
【0082】
次に、通信管理システム50では、各中継装置30から送られて来た各状態情報を送受信部51が受信し、記憶・読出処理部59を介して記憶部5000の中継装置状態管理テーブル(図8参照)に、中継装置ID毎に状態情報を記憶して管理する(ステップS3−1〜S3−4)。これにより、図8に示されるような中継装置管理テーブルに対して、中継装置ID毎に「ONライン」、「OFFライン」、又は「故障中」のいずれかの稼動状態が記憶されて管理される。またこの際に、中継装置ID毎に、通信管理システム50で状態情報が受信された受信日時も記憶されて管理される。なお、中継装置30から状態情報が送られない場合には、図8に示されている中継装置管理テーブルの各レコードにおける稼動状態のフィールド部分及び受信日時のフィールド部分が空白になるか、又は、前回の受信時の稼動状態及び受信日時をそれぞれ示す。
【0083】
次に、図17を用いて、通信端末10aaと通信端末10dbとの間で、通信を開始する前の準備段階の処理について説明する。まず、利用者が、図2に示されている電源スイッチ109をONにすると、図5に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする(ステップS21)。そして、ログイン要求部13は、上記電源ONの受信を契機とし、送受信部11から通信ネットワーク2を介して通信管理システム50に、ログイン要求を示すログイン要求情報を自動的に送信する(ステップS22)。このログイン要求情報には、要求元としての自装置である通信端末10aaを識別するための端末ID、及びパスワードが含まれている。これら端末ID、及びパスワードは、記憶・読出処理部19を介して記憶部1000から読み出されて、送受信部11に送られたデータである。なお、通信端末10aaから通信管理システム50へログイン要求情報が送信される際は、受信側である通信管理システム50は、送信側である通信端末10abのIPアドレスを把握することができる。
【0084】
次に、通信管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、記憶部5000の端末認証管理テーブル(図9参照)を検索し、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う(ステップS23)。この端末認証部52によって、同一の端末ID及びパスワードが管理されているため、正当な利用権限を有する通信端末10からのログイン要求であると判断された場合には、状態管理部53は、端末管理テーブル(図10参照)に、通信端末10aaの端末ID、稼動状態、上記ログイン要求情報が受信された受信日時、及び通信端末10aaのIPアドレスを関連付けて記憶する(ステップS24)。これにより、図10に示されている端末管理テーブルには、通信端末ID「01aa」に、稼動状態「ONライン」、受信日時「2009.11.10.13:40」及び端末IPアドレス「1.2.1.3」が関連付けて管理されることになる。
【0085】
そして、通信管理システム50の送受信部51は、上記端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末10aaに送信する(ステップS25)。本実施形態では、端末認証部52によって正当な利用権限を有する端末であると判断された場合につき、以下続けて説明する。
【0086】
通信管理システム50の端末抽出部54は、ログイン要求した要求元端末10aaの端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図11参照)を検索し、要求元端末10aaと通信することができる宛先端末10Bの候補の端末IDを読み出すことによって抽出する(ステップS26)。ここでは、要求元端末10aaの端末ID「01aa」に対応する宛先端末(10ab,10ba,10db)のそれぞれの端末ID「01ab」、「01ba」、「01db」が抽出されることになる。
【0087】
次に、端末状態取得部55は、上記端末抽出部54によって抽出された宛先端末10Bの候補の端末ID(「01ab」、「01ba」、「01db」)を検索キーとして、端末管理テーブル(図10参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態(「OFFライン」、「ONライン」、「ONライン」)を読み出すことにより、通信端末(10ab,10ba,10db)の各稼動状態を取得する(ステップS27)。
【0088】
次に、送受信部51は、上記ステップS27で使用された検索キーとしての端末ID(「01ab」、「01ba」、「01db」)と、対応する宛先端末(10ab,10ba,10db)の稼動状態(「OFFライン」、「ONライン」、「ONライン」)とが含まれた宛先状態情報を、通信ネットワーク2を介して要求元端末10aaに送信する(ステップS28)。これにより、要求元端末10aaは、この要求元端末10aaと通信することができる宛先端末10Bの候補である通信端末(10ab,10ba,10db)の現時点のそれぞれの稼動状態(「OFFライン」、「ONライン」、「ONライン」)を把握することができる。
【0089】
更に、通信管理システム50の端末抽出部54は、ログイン要求してきた要求元端末10aaの端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図11参照)を検索し、上記要求元端末10aaの端末ID「01aa」を宛先端末10Bの候補として登録している他の要求元端末10Aの端末IDを抽出する(ステップS29)。図11に示されている宛先リスト管理テーブルでは、抽出される他の要求元端末10Aの端末IDは、「01ab」、「01ba」、及び「01db」である。
【0090】
次に、通信管理システム50の端末状態取得部55は、上記ログイン要求して来た要求元端末10aaの端末ID「01aa」を検索キーとして、端末状態管理テーブル(図10参照)を検索し、ログイン要求してきた要求元端末10aaの稼動状態を取得する(ステップS30)。
【0091】
そして、送受信部51は、上記ステップS29で抽出された端末ID(「01ab」、「01ba」、及び「01db」)に係る通信端末(10ab,10ba,10db)のうち、端末管理テーブル(図10参照)で稼動状態が「ONライン」となっている通信端末(10ba,10db)に、上記ステップS30で取得された要求元端末10aaの端末ID「01aa」と稼動状態「ONライン」が含まれる宛先状態情報を送信する(ステップS31−1,S31−2)。なお、送受信部51が通信端末(10ba,10db)に宛先状態情報を送信する際に、各端末ID(「01ba」、「01db」)に基づいて、図10に示されている端末管理テーブルで管理されている端末のIPアドレスを参照する。これにより、ログイン要求した要求元端末10aaを宛先として通信することができる他の宛先端末(10db,10ba)のぞれぞれに、上記ログイン要求した要求元端末10aaの端末ID「01aa」、及び稼動状態「ONライン」を伝えることができる。
【0092】
一方、他の通信端末10でも、上記ステップS21と同様に、利用者が図4に示されている電源スイッチ109をONにすると、図5に示されている操作入力受付部12が電源ONを受け付け、上記ステップS22〜S31−1、31−2の処理と同様の処理を行うため、その説明を省略する。
【0093】
続いて、図18を用いて、中継装置30を絞り込む処理を説明する。なお、本実施形態においては、要求元端末10aaは、宛先の候補としての通信端末10のうち、上記ステップS28によって受信した宛先状態情報により、稼動状態がONラインである通信端末(10ba,10db)の少なくとも一方と通信を行うことができる。そこで、以下では、要求元端末10aaの利用者が、宛先端末10dbと通信を開始することを選択した場合について説明する。
【0094】
まず、利用者が図3に示されている操作ボタン108を押下して通信端末10dbを選択すると、図5に示されている操作入力受付部12は、宛先を通信端末10dbとする選択を受け付ける(ステップS41)。そして、通信端末10aaの送受信部11は、要求元端末10aaの端末ID「01aa」、及び宛先端末10dbの端末ID「01db」が含まれ、通信を開始したい旨を示す開始要求情報を、通信管理システム50へ送信する(ステップS42)。これにより、通信管理システム50の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末10aaのIPアドレス「1.2.1.3」を把握することになる。そして、状態管理部53は、開始要求情報に含まれる要求元端末10aaの端末ID「01aa」及び宛先端末10dbの端末ID「01db」に基づき、端末管理テーブル(図10参照)の端末管理テーブルにおいて、上記端末ID「01aa」及び端末ID「01db」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS43)。なお、この状態では、要求元端末10aaと宛先端末10dbは、通信(通話)を開始していないが、通話中状態となり、他の通信端末10が要求元端末10aa又は宛先端末10dbと通信しようとすると、いわゆる通話中状態を示す旨の音声又は表示が出力される。
【0095】
次に、ステップS44〜S48、及びステップS61−1〜66により、中継装置30を選択するためのセッションを実行する処理を説明する。まず、選択用セッションID生成部56aは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する(ステップS44)。そして、セッション管理部57は、記憶部5000のセッション管理テーブル(図12参照)に、上記ステップS44で生成された選択用セッションID「se1」、要求元端末10aaの端末ID「01aa」、及び宛先端末10dbの端末ID「01db」を関連付けて記憶して管理する(ステップS45)。
【0096】
次に、通信管理システム50の絞込部56は、中継装置管理DB5001、端末管理DB5003、及び優先度管理DB5006に基づいて、要求元端末10aaと、宛先端末10dbとの通信を中継するための中継装置30の一次絞り込みを行う(ステップS46)。
【0097】
ここで、図19を用いて、ステップS46における処理を更に詳細に説明する。まず、端末IPアドレス抽出部56bは、要求元端末10aaから送られてきた開始通信情報に含まれている要求元端末10aaの端末ID「01aa」、及宛先端末10dbの端末ID「01db」に基づいて、端末管理テーブル(図10参照)を検索することにより、対応する通信端末(10aa,10db)のIPアドレス(「1.2.1.3」,「1.3.2.4」)を抽出する(ステップS46−1)。次に、一次選択部56cは、中継装置管理テーブル(図8参照)で管理されている中継装置30の稼動状態のうち、「ONライン」になっている中継装置(30a,30b,30d)の各中継装置ID(111a,111b,111d)を選択する(ステップS46−2)。また、一次選択部56cは、上記ステップS46−1で抽出された、要求元端末10aaのIPアドレス「1.2.1.3」、及び宛先端末10dbのIPアドレス「1.3.2.4」に基づいて、中継装置管理テーブル(図8参照)を検索することにより、上記ステップS46−2によって選択された中継装置(30a,30b,30d)の各IPアドレス(「1.2.1.2.」,「1.2.2.2」,「1.3.2.2」)のドットアドレス毎に、上記要求元端末10aa及び宛先端末10dbの各IPアドレス(「1.2.1.3」,「1.3.2.4」)における各ドットアドレスと同じであるか異なるかを調査する(ステップS46−3)。
【0098】
次に、優先度決定部57cは、優先度管理テーブル(図13参照)を参照して、上記ステップ46−3によって調査された中継装置(30a,30b,30d)毎に、アドレス優先度のポイントを決定する(ステップS46−4)。この決定処理の結果を表に表すと、図20に示されているような状態になる。なお、図20は、中継装置30の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。この図20では、中継装置ID毎に、アドレス優先度のポイント、伝送速度優先度のポイント、及び統合ポイントが示されている。また、アドレス優先度のポイントは、更に、各中継装置30の要求元端末10aaに対するポイント及び宛先端末10dbに対するポイントが示されている。統合ポイントは、アドレス優先度の2つのポイントのうちの高い方のポイントと、伝送速度優先度のポイントの合計である。
【0099】
本実施形態では、中継装置30aのIPアドレス「1.2.1.2」は要求元端末10aaのIPアドレス「1.2.1.3」に対して、「同.同.同.異」であるため、図20に示されているように、アドレス優先度のポイントは「5」になる。また、中継装置30aのIPアドレス「1.2.1.2」は宛先端末10dbのIPアドレス「1.3.2.4」に対して、「同.異.異.異」であるため、アドレス優先度のポイントは「1」になる。また、中継装置30bのIPアドレス「1.2.2.2」は要求元端末10aaのIPアドレス「1.2.1.3」に対して、「同.同.異.異」であるため、アドレス優先度のポイントは「3」になる。また、中継装置30bのIPアドレス「1.2.2.2」は宛先端末10dbのIPアドレス「1.3.2.4」に対して、「同.異.同.異」であるため、アドレス優先度のポイントは「1」になる。更に、中継装置30dのIPアドレス「1.3.2.2」は要求元端末10aaのIPアドレス「1.2.1.3」に対して、「同.異.異.異」であるため、アドレス優先度のポイントは「1」になる。また、中継装置30dのIPアドレス「1.3.2.2」は宛先端末10dbのIPアドレス「1.3.2.4」に対して、「同.同.同.異」であるため、アドレス優先度のポイントは「5」になる。
【0100】
次に、図19に戻って、優先度決定部57dは、中継装置管理テーブル(図8参照)で管理されている各中継装置30の最大データ伝送速度に基づいて、優先度管理テーブル(図14参照)を検索することにより、上記ステップS46−2によって第1次絞り込み処理によって絞り込まれた中継装置(30a,30b,30d)毎に伝送速度優先度のポイントを決定する(ステップS46−5)。本実施形態では、図8に示されているように、中継装置30aの最大データ伝送速度が100(Mbps)であるため、図14に示されている伝送速度優先度を参照すると、伝送速度優先度が3ポイントになる。また、同様に、中継装置30bの最大データ伝送速度について計算すると1000(Mbps)であるため、伝送速度優先度が5ポイントになる。また同様に、中継装置30dの最大データ伝送速度について計算すると10(Mbps)であるため、伝送速度優先度が1ポイントになる。
【0101】
次に、一次選択部56cは、中継装置(30a,30b,30d)毎に、アドレス優先度のポイントにおいて通信端末(10aa,10db)のうち高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの中継装置30を選択する(ステップ46−6)。本実施形態では、図20に示されているように、中継装置ID(111a,111b,111d)は、それぞれ統合ポイントが「8」、「8」、「6」であるため、中継装置ID「111a」に係る中継装置30a、及び中継装置ID「111b」に係る中継装置30bが選択されることになる。
【0102】
以上のステップS46における絞り込み処理が終了すると、図5に示されている送受信部51は、通信ネットワーク2を介して、宛先端末10dbへ、上記絞り込まれた中継装置30の数を伝達するための中継装置絞込情報を送信する(ステップS47)。この中継装置絞込情報には、上記ステップS46によって絞り込まれた中継装置30の数「2」、要求元端末10aaの端末ID「01aa」、及び上記選択用セッションID「se1」が含まれている。これにより、通信端末10dbは、選択用セッションID「se1」におけるセッションの実行において、中継装置30の数がいくつで、どの通信端末10からテレビ会議を開始したいとの要求があったのかを把握することができると共に、中継装置絞込情報の送信元である通信管理システム50のIPアドレス「1.1.1.2」を把握することができる。
【0103】
そして、通信端末10dbは、送受信部11から通信ネットワーク2を介して通信管理システム50へ、上記中継装置絞込情報の受信が完了した旨を示す受信完了情報を送信する(ステップS48)。この受信完了情報には、セッションID「se1」が含まれている。これにより、通信管理システム50は、セッションID「se1」で実行されている中継装置数の伝達が完了した旨と共に、送信元である宛先端末10dbのIPアドレス「1.3.2.4」を把握することができる。
【0104】
次に、図21を用いて、宛先端末10aaが中継装置30を選択する処理を説明する。まず、通信管理システム50は、テレビ会議を開始する前に、上記ステップS46によって絞り込まれた中継装置(30a,30b)のそれぞれに対して、事前に中継を要求する旨の事前中継要求情報を送信する(ステップS61−1、61−2)。この事前中継要求情報には、セッションID「se1」、要求元端末10aaのIPアドレス「01aa」、及び宛先端末10dbが含まれている。これにより、中継装置(30a,30b)は、どの選択用セッションのものであるか、要求元端末10Aが何であるか、及び宛先端末10Bが何であるかを把握することができると共に、事前中継要求情報の送信元である通信管理システム50のIPアドレス「1.1.1.2」を把握することができる。
【0105】
次に、各中継装置(30a,30b)のそれぞれは、送受信部31から通信ネットワーク2を介して、上記ステップS61−1,61−2によって把握した要求元端末10aaへ、テレビ会議の開始前に自装置としての各中継装置(30a,30b)へ、後述のping(Packet Internet Groper)が含まれた事前送信情報を送信させる旨を示す事前送信要求情報を送信する(ステップS62−1,62−2)。この事前送信情報には、セッションID「se1」が含まれている。これにより、要求元端末10aaは、セッションID「se1」で実行されている中継装置30の選択処理において、各中継装置(30a,30b)に事前送信情報を送信することを把握すると共に、事前送信要求情報の送信元である中継装置(30a,30b)のIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。
【0106】
なお、通信管理システム50から直接、要求元端末10baに対して、宛先端末10dbのIPアドレスを通知せずに、上記ステップS61−1のように中継装置10aaに対して宛先端末10dbのIPアドレスを通知し、上記ステップ61−2のように中継装置10aaが要求元端末10baに対し、自装置(中継装置10aa)に対して事前送信要求情報を送信するように要求するのは、各通信端末10には、他の通信端末10のIPアドレスを知らせないようにして、セキュリティーを確保するためである。
【0107】
次に、要求元端末10aaは、送受信部11から通信ネットワーク2を介して中継装置(30a,30b)へ事前送信情報を送信する(ステップS63−1,63−2)。この事前送信情報は、画像データ及び音声データの送信に先立って、これら画像データ及び音声データの代わりに各中継装置(30a,30b)を介して宛先端末10dbへ送信されることで、要求元端末10aaの送信から宛先端末dbの受信までの所要時間を計測するために用いられる情報である。また、この事前送信情報には、要求元端末10aa、中継装置(30a,30b)、及び宛先端末10dbが通信可能に接続されていることを確認するためのping、要求元端末10aaから事前送信情報が送信された送信日時、及びセッションID「se1」が含まれている。これにより、各中継装置(30a,30b)は、選択用セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元である要求元端末10aaのIPアドレス「1.2.1.3」を把握することができる。
【0108】
次に、各中継装置(30a,30b)は、上記ステップS61−1,61−2によって受信した事前中継要求情報に含まれている宛先端末10dbのIPアドレス「1.3.2.4」に対して、上記事前送信情報を中継する(ステップS64−1,64−2)。これにより、宛先端末10dbは、セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元(中継元)である中継装置(30a,30b)のIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。
【0109】
次に、宛先端末10dbの選択処理部16は、事前送信情報に基づいて、最終的にテレビ会議で画像データ及び音声データを中継する1つの中継装置30に絞り込む(ステップ65)。
【0110】
ここで、図5及び図22を用いて、ステップS65における処理を更に詳細に説明する。まず、図5に示されている選択処理部16の計測部16aは、各中継装置(30a,30b)によって中継された事前送信情報毎に、通信端末10dbの送受信部11で受信した際の受信日時を計測する(ステップS65−1)。次に、算出部16bは、上記受信時間が計測された事前送信情報毎に、上記受信日時と上記事前送信情報に含まれている送信日時との差に基づいて、各事前送信情報の送信から受信までの所要時間を算出する(ステップS65−2)。次に、選択部16cは、セッションID「se1」におけるセッションの実行において、中継予定の中継装置30の数「2」に相当する数の事前送信情報を全て受信したかを判断する(ステップS65−3)。そして、全て受信していない場合には(NO)、選択部16cは、通信端末10dbで事前送信情報を受信してから所定時間(ここでは1分間)経過したかを判断する(ステップS65−4)。更に、所定時間経過していない場合には(NO)、上記ステップS65−1に戻る。一方、上記ステップ65−3において、全て受信した場合(YES)、又は上記ステップS65−4において、所定時間経過した場合(YES)には、選択部16cは、これまでに算出部16bで算出された所要時間のうち最短の所要時間を要した事前送信情報を中継した中継装置30を1つ選択する(ステップS65−5)。本実施形態では、中継装置30aによって中継された事前送信情報が、中継装置30bによって中継された事前送信情報よりも送信から受信までの所要時間が短かったものとして、中継装置30aが選択される例を示している。
【0111】
なお、上記実施形態では、宛先端末10db側で中継装置30aが絞り込まれたが、これに限るものではなく、宛先端末10dbが要求元端末10aa又は通信管理システム50へ、事前送信情報の送信から受信までの所要時間を示した所要時間情報を全て送信することで、要求元端末10aa側又は通信管理システム50側で、最終的に1つの中継装置30aが絞り込まれるようにしてもよい。
【0112】
次に、宛先端末10dbは、送受信部11から通信ネットワーク2を介して通信管理システム50へ、中継装置30aを選択した旨を示す選択情報を送信する(ステップS66)。この選択情報には、セッションID「se1」、及び、選択された中継装置30aの中継装置ID「111a」が含まれている。これにより、通信管理システム50は、セッションID「se1」におけるセッションの実行において、中継装置30aが選択されたことを把握できると共に、選択情報の送信元である通信端末10dbのIPアドレス「1.3.2.4」を把握することができる。
【0113】
次に、通信管理システム50のセッション管理部57は、セッション管理DB5005のセッション管理テーブル(図12参照)において、選択用セッションID「se1」が含まれるレコードの中継装置IDのフィールド部分に、上記最終的に1つに選択された中継装置30aの中継装置ID「111a」を記憶して管理し(ステップS67−1)、送受信部51は中継装置ID「111a」、宛先端末10dbのIPアドレス「1.3.2.4」を要求元端末10aaに送信する(ステップS67−21)。そして、通信管理システム50の送受信部51は、通信ネットワーク2を介して中継装置30aへ、中継を開始する旨の要求が示された中継開始要求情報を送信する(ステップS68)。この中継開始要求情報には、中継される要求元端末10aa及び宛先端末10dbの各IPアドレス(「1.2.1.3」,「1.3.2.4」)が含まれている。これにより、中継装置30aは、通信端末(10aa,10db)の間で、低解像度、中解像度、及び高解像度の3つ画像データ、並びに、音声データを通信するためのセッションを確立する(ステップS69)。これにより、通信端末(10aa,10db)は、テレビ会議を開始することができる。
【0114】
なお、上記ステップS47において、通信管理システム50が宛先端末10dbに中継装置絞込情報を送信することに伴い、ステップS48〜S64−1,64−2を経て、宛先端末10db側で中継装置の選択処理(ステップS65)を行ったが、これに限るものではなく、上記ステップS47において、通信管理システム50が要求元端末10aaに中継装置絞込情報を送信することで、その後ステップS64−1,64−2までは、各情報の送信元と受信元が、要求元端末10aaと宛先端末10dbとで入れ替わるようにしてもよい。これにより、要求元端末10aaが上記ステップS65に替わって中継装置の選択処理を行うことができ、また、上記ステップS66に替わって選択情報の送信も行うことができる。
【0115】
続いて、図5及び図23を用いて、要求元端末10aaと宛先端末10dbとの間で、テレビ会議を行うために、画像データ及び音声データを送受信する処理を説明する。まず、要求元端末10aaは、撮像部14aで撮像された被写体の画像データ、及び音声入力部15aで入力された音声の音声データを、送受信部11から通信ネットワーク2を介して中継装置30aへ送信する(ステップS81)。なお、本実施形態では、図6に示されている低解像度、中解像度、及び高解像度の3つから成る高画質の画像データ、並びに、音声データを送信している。これにより、中継装置30aでは、送受信部31で上記3つの解像度の画像データ及び音声データを受信する。そして、データ品質確認部33が、宛先端末10dbのIPアドレス「1.3.2.4」を検索キーとして、変更品質管理テーブル(図7参照)を検索し、対応した中継する画像データの画質を抽出することで、中継する画像データの画像の品質を確認する(ステップS82)。本実施形態では、確認された画像データの画像の画質が「高画質」であり、送受信部31で受信した画像データの画質と同じであるため、そのままの画質の画像データ、及びそのままの音質の音声データで、宛先端末10dbに転送する(ステップS83)。これにより、宛先端末10dbは、送受信部11で画像データ及び音声データを受信し、画像表示制御部14bがディスプレイ100に上記画像データに基づく画像を表示させると共に、音声出力部15bが音声データに基づく音声を出力させることができる。
【0116】
次に、通信端末10dbの遅延検出部17は、送受信部11で受信された画像データの受信の遅延時間を一定時間毎(例えば、1秒毎)に検出する(ステップS84)。なお、本実施形態では、遅延時間が200(ms)である場合について、以下説明を続ける。
【0117】
宛先端末10dbの送受信部11は、通信ネットワーク2を介して通信管理システム50へ、遅延時間「200(ms)」を示す遅延情報を送信する(ステップS85)。これにより、通信管理システム50は、遅延時間を把握すると共に、遅延情報の送信元である通信端末10dbのIPアドレス「1.3.2.4」を把握することができる。
【0118】
次に、通信管理システム50の遅延時間管理部60は、上記宛先端末10dbのIPアドレス「1.3.2.4」を検索キーとして、端末管理テーブル(図10参照)を検索することで、対応する端末ID「01db」を抽出し、更に、セッション管理DB5005のセッション管理テーブル(図12参照)において、上記端末ID「01db」のレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間「200(ms)」を記憶して管理する(ステップS86)。
【0119】
次に、品質決定部58は、上記遅延時間「200(ms)」を検索キーとして、品質管理テーブル(図15参照)を検索し、対応する画像データの画質「中画質」を抽出することで、画質を「中画質」に決定する(ステップS87)。
【0120】
次に、送受信部51は、セッション管理テーブル(図12参照)のセッション管理テーブルにおいて、上記端末ID「01db」に関連付けられている中継装置ID「111a」を検索キーとして、中継装置管理DBテーブル(図8参照)を検索し、対応する中継装置30aのIPアドレス「1.2.1.2」を抽出する(ステップS88)。そして、送受信部51は、通信ネットワーク2を介して中継装置30aへ、上記ステップS87によって決定された画像データの画質「中画質」を示す品質情報を送信する(ステップS89)。この品質情報には、上記ステップS86において検索キーとして用いた宛先端末10dbのIPアドレス「1.3.2.4」が含まれている。これにより、中継装置30aでは、変更品質管理部34が、変更品質管理テーブル(図7参照)に、送信先の通信端末10(ここでは、宛先端末10db)のIPアドレス「1.3.2.4」、及び中継される画像データの画質「中画質」を関連付けて記憶して管理する(ステップS90)。
【0121】
次に、通信端末10aaは、引き続き上記ステップS81と同様に、中継装置30aへ、低画質、中画質、及び高画質の3つから成る高画質の画像データ、並びに、音声データを送信する(ステップS91)。これにより、中継装置30aでは、上記ステップS82と同様に、データ品質確認部33が、宛先端末10dbのIPアドレス「1.3.2.4」を検索キーとして、変更品質管理テーブル(図7参照)を検索し、対応した中継する画像データの画質「中画質」を抽出することで、中継される画像データの画像の品質を確認する(ステップS92)。本実施形態では、確認された画像データの画質が「中画質」であり、送受信部31で受信された画像データの画質「高画質」よりも低くなるため、データ品質変更部35は、画像データの画質を「高画質」から「中画質」に抑制することで、画像データの画像の品質を変更する(ステップS93)。そして、送受信部31は、通信ネットワーク2を介して通信端末10dbへ、上記画像データの画質が「中画質」に変更された画像データ、及び音声の音質が変更されていない音声データを送信する(ステップS94)。このように、画像データを受信する宛先端末10dbで、受信の遅延が生じた場合には、中継装置30aは画像の品質を変更し、テレビ会議に参加している人に違和感を与えないようにすることができる。
【0122】
続いて、図29を用いて、通信端末10aaに接続されている外部入力装置40aaの資料データが表示された画面を表す表示データと、通信端末10aaで入力された画像データを、通信端末10dbが表示する処理を説明する。
【0123】
あらかじめ、画像データや表示データを、通信端末10の画面に表示させる領域、大きさ等を定めた配置情報を通信端末10が記憶しておく。具体的には、配置情報提供システム80からインターネット2i、専用線2cd、LAN2dを介して通信管理端末10dbの送受信部11が、配置情報を受信し(ステップS70−5)、記憶・読出処理部19が記憶部1000に構築されている領域管理DB1002に記憶する(ステップS70−6)。
【0124】
会議が開始されると、通信端末10aaの撮像部14aが会議参加者等の画像データを撮像する(ステップS73)。ステップS73で撮像された画像データを、送受信部11が中継装置30aに送信する(ステップS74−1)。画像データを受信した中継装置30aは、画像の品質を変換し(ステップS75−1)、通信端末10aa、通信端末10dbへ送信する(ステップS76−1、ステップS76−1’)。そして、通信端末10aa、通信端末10dbの各送受信部11が中継装置30aから送信された画像データを受信する。
【0125】
同様にして、通信端末10dbの撮像部14aが会議参加者等の画像データを撮像し、送受信部11が撮像された画像データを、中継装置30aに送信する。画像データを受信した中継装置30aは、画像の品質を変換し、通信端末10db、通信端末10aaへ送信する。そして、通信端末10db、通信端末10aaの各送受信部11が中継装置30aから送信された画像データを受信する(不図示のステップ)。
【0126】
一方、外部入力装置40aaの操作入力受付部42は操作者から資料名、サイズ、アプリケーション名、更新日時のうち一以上の情報を受け付ける(ステップS71−1)と、記憶・読出処理部49は、操作入力受付部42で受け付けた情報を検索キーとして記憶部4000の資料管理DB4001を検索し、対応した資料データを抽出する(ステップS71−2)。そして、表示制御部43が、抽出された資料データを表示装置400に表示させるよう制御し(ステップS71−3)、表示装置が資料データを表示する(ステップS71−4)。次に、表示データ取得部44が表示データを取得し(ステップS71−5)、取得した表示データを送受信部41が通信端末10aaの外部情報送受信部18に対して送信する(ステップS72)。
【0127】
なお、ステップS71−1乃至ステップS71−4は省略可能であり,省略した場合はデスクトップ画面の表示データをステップS72において送信する。このとき、操作者から受け付けられた送信開始指示によってステップS71−5が実施される。また、操作入力受付部は、表示装置に表示されたボタンを押下することによって受け付けるようにしてもよいし,外部入力装置40aaと通信端末10aaをケーブル等で接続することによって実現してもよい。
【0128】
ステップS72で受信した表示データを、送受信部11が中継装置30aに送信する(ステップS77)。表示データを受信した中継装置30aは、その表示データを通信端末10aa、通信端末10dbへ送信する(ステップS78、ステップS78’)。そして、中継装置30aから送信された表示データを通信端末10dbの送受信部11が受信し、配置情報決定部14cが配置情報を決定する(S79)。
【0129】
ステップS75−1、S75−2及びステップS75−3で画像の品質を変換する処理の詳細は、上述で説明した音声データ及び画像データの品質を変更する処理(ステップS81〜ステップS94)と同じであるため、説明を省略する。
【0130】
次に、図30を用いて、ステップS79で実施される配置情報が決定される処理を詳細に説明する。
【0131】
まず、配置情報決定部14cは、送受信部11が画像データを受信したか否かを判定する(ステップS791)。画像データが受信されていなければ、表示制御部14bは何も表示させないで終了する。ステップS791で画像データが受信されていれば、配置情報選択部14cは、送受信部11が表示データを受信したか否かを判定する(ステップS792)。ステップS792で表示データが受信されていなければ、記憶・読出処理部19が共有フラグ「UNSHARED」とする(ステップS793)。そして、配置情報選択部14bが、共有フラグ「UNSHARED」を検索キーにして、図24に示す配置情報管理テーブルを検索し、共有フラグに関連付けて記憶されている配置情報「VIEW_MULTI」を選択する(ステップS794)。次に、領域決定部14dが、ステップS794で選択された配置情報「VIEW_MULTI」を検索キーにして、図25に示す領域管理テーブルを検索し、配置情報に関連付けて記憶されている各領域に表示させる画像データまたは表示データを決定する(ステップS795)。
【0132】
ステップS792で表示データが受信されていれば、記憶・読出処理部19が共有フラグ「SHARED」とする(ステップS796)。そして、配置情報選択部14bが、共有フラグ「SHARED」を検索キーにして、図24に示す配置情報管理テーブルを検索し、共有フラグに関連付けて記憶されている配置情報「SHARED_MULTI」を選択する(ステップS797)。次に、領域決定部14dが、ステップS794で選択された配置情報「SHARED_MULTI」を検索キーにして、図25に示す領域管理テーブルを検索し、配置情報に関連付けて記憶されている各領域に表示させる画像データ、表示データを決定する(ステップS798)。
【0133】
ステップS79で配置情報が決定されると、表示制御部14bが、ステップS79で決定された各領域に画像データ、表示データを表示させる(ステップS80)。
【0134】
続いて、外部入力装置40aaが表示データを送信している状態から,送信を停止する処理について図31を用いて説明する。
【0135】
まず、 外部入力装置40aaの送受信部11は通信端末10aaに表示データの送信停止情報を送信する(ステップS11)。この送信停止情報は、利用者によって押下された送信停止指示を操作入力受付部12が受け付けることによって送信される。また、送信停止情報は外部入力装置40aaと通信端末10aaを接続するケーブル等が取り外されることによっても送信される。
【0136】
ステップS11で、通信端末10aaによって送信停止情報が受信されると、通信端末10aaの送受信部11が中継装置30に送信停止情報を送信する(ステップS12)。この送信停止情報を受信した中継装置30の送受信部31は通信端末10aaおよび通信端末10dbに対して送信停止情報を送信する(ステップS13)。
【0137】
通信端末10aaの送受信部11が中継装置から送信停止情報を受信する(ステップS13)と、記憶・読出処理部19が共有フラグを「UNSHARED」とする(ステップS14)。
【0138】
次に、通信端末10aaの配置情報選択部14cは共有フラグ「UNSHARED」を検索キーとして配置情報管理DB1001を検索し、対応する配置情報「VIEW_MULTI」を抽出する(ステップS15)。そして、領域決定部14dが、ステップS15で抽出された配置情報「VIEW_MULTI」を検索キーにして、領域管理DB1002を検索し、配置情報に関連付けて記憶されている各領域に表示させる画像データを決定する(ステップS16)。表示制御部14bが、ここでの決定に基づいて図26(1)に示す各領域に画像データを表示させる(ステップS17)。
【0139】
同様にして、ステップS13で中継装置30から送信された送信停止情報を通信端末10aaの送受信部11が中継装置から送信停止情報を受信する(ステップS13’)と、記憶・読出処理部19が共有フラグを「UNSHARED」とする(ステップS14’)。
【0140】
次に、通信端末10aaの配置情報選択部14cは共有フラグ「UNSHARED」を検索キーとして配置情報管理DB1001を検索し、対応する配置情報「VIEW_MULTI」を抽出する(ステップS15’)。そして、領域決定部14dが、ステップS15で抽出された配置情報「VIEW_MULTI」を検索キーにして、領域管理DB1002を検索し、配置情報に関連付けて記憶されている各領域に表示させる画像データを決定する(ステップS16’)。表示制御部14bが、ここでの決定に基づいて図26(1)に示す各領域に画像データを表示させる(ステップS17’)。
【0141】
外部入力装置40aaが表示データを送信している状態から,送信を停止するときの制御を上述したが、外部入力装置40dbが表示データを送信している状態から,送信を停止するときの制御も同様となり、ここでの説明は省略する。
【0142】
上述の実施形態では、外部入力装置40から表示データを受信しているか否かを示す受信情報である共有フラグに基づいて、各領域に表示させる画像データ、表示データを決定しているが、通信端末10の操作入力受付部12が利用者の操作を受け付けることによって、各領域に表示させる画像データ、表示データを決定してもよい。具体的には、図32に示されるように、まず、共有フラグが「SHARED」であるか否か、判定される(ステップS51)。ここで、共有フラグが「SHARED」でない場合、処理は終了する。ステップS51で、共有フラグが「SHARED」である場合、そのときのディスプレイへの表示にかかる配置情報に基づいて、次に選択される配置情報が決定される(ステップS52)。
【0143】
ここで、図33を用いて、利用者の操作に基づいて配置情報が決定される処理の詳細を、説明する。まず、共有フラグが「SHARED」であるときに、操作入力受付部12が操作入力を受け付ける(図33の(1))と、配置情報「VIEW_MULTI」を検索キーとして領域情報管理テーブルを検索し、各領域に表示させる画像データ、表示データを決定する。これによって、通信端末10は外部入力装置40から表示データを受信していても、表示制御部14bは表示データを表示させずに、画像データだけを表示させることになる。さらに、この状態で、操作入力受付部12が操作入力を受け付ける(図33の(2))と、配置情報「SHARED_MULTI」を検索キーとして領域情報管理テーブルを検索し、各領域に表示させる画像データ、表示データを決定する。これによって、通信端末は、表示データと画像データを表示させることになる。
【0144】
このようにすることによって、外部入力装置40から表示データを受信している場合も、会議の状態に応じて利用者の判断で表示データを表示するか否かを制御することが可能となる。
【0145】
<<実施形態の主な効果>>
以上説明したように本実施形態によれば、会議参加者が外部入力装置に保存されている資料データ(例えば,プレゼンテーション,ワード,スプレッドシートなどのデータ)を会議で利用したいと思ったとき,通信端末に外部入力装置を接続して,資料データを画面に表示させ,この表示データを通信端末に送信することによって,手動で操作することなしに通信端末のディスプレイに表示データを大きく表示させることができる.
また,資料データの利用が必要なくなったときには,表示データの送信を停止することによって,手動で操作することなしに通信端末のディスプレイに映像データを大きく表示させることができる。
【0146】
従って,資料データの要否に関連する操作性が向上するとともに,会議参加者は大きく表示されたデータに意識を集中することができ,会議を円滑に進めることが可能になる。
【0147】
更に、通信ネットワーク2のうち、中継装置30のIPアドレス等のLAN2の環境を入手することができたとしても、インターネット2iの環境までは入手することは困難であるため、まずは入手できる環境の情報から、画像データ及び音声データを中継する複数の中継装置30うち2つ以上に絞り込む。そして、次に複数の通信端末10の間で画像データ及び音声データを実際に送受信する前に、画像データ及び音声データに替えて、事前送信情報を送受信させてみることで、実際に最も早く事前送信情報を中継することができる1つの中継装置30に絞り込むことができるという効果を奏する。
【0148】
即ち、通信端末10のIPアドレスの何れかに近い上位2つ以上のIPアドレスがそれぞれ割り当てられている中継装置30を選択することで、最終的に使用される中継装置30の候補を2つ以上残すことができる。これにより、その後、実際に候補としての各中継装置30を介して、要求元端末10Aと宛先端末10Bの間で事前送信情報を送受信することで、上記2つ以上の候補の中継装置30のうち、送受信に要した所要時間が最短の事前送信情報を中継した中継装置30に絞り込むことができる。よって、現状の通信ネットワーク2の環境下で最大限に高品質の画像データ又は音声データを送受信することを実現することができるという効果を奏する。
【0149】
また、本実施形態では、中継装置30を絞り込む際に、テレビ会議を行う通信端末10のIPアドレスに近いIPアドレスの中継装置30を優先的に選択するだけでなく、各中継装置30における最大データ伝送速度も考慮して、2つ以上の中継装置30が選択されている。これにより、現実の通信ネットワーク2の環境に即した中継装置30の候補を絞り込むことができるという効果を奏する。
【0150】
更に、本実施形態では、中継装置30を絞り込む際に、稼動状態がONラインである中継装置30の中から絞り込むため、現実のネットワーク2の環境に更に即した中継装置30の候補を絞り込むことができる。
【0151】
また、本実施形態では、中継装置30を絞り込む処理を実施せず、予め決められた中継装置を経由してデータを送受信するようにしてもよい。
<<実施形態の補足>>
なお、会議システムとして距離的に離れた場所間の会議の例を示しているが、会議には、距離的に離れている場合だけでなく、同じ建物内の会議室のように距離的に近い会議室の間、また、同じ部屋であっても肉声が聞こえないような場所間の会議を含む。すなわち会議とは直接対面して生のままで行う会議ではなく、会議装置を介して行う会議を意味する。また、会議とは複数の人の間のみでなく1人対1人で行う打合せのような場合を含む。
【0152】
また、上記各実施形態における通信管理システム50、及びプログラム提供システム90は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム90が単一のコンピュータによって構築されている場合には、プログラム提供システム90によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム90が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。
【0153】
また、上記本実施形態の通信端末用プログラム、中継装置用プログラム、及び通信管理用プログラムが記憶された記録媒体、並びに、これらプログラムが記憶されたHD204、及びこのHD204を備えたプログラム提供システム90は、いずれもプログラム製品(Program Product)として、国内又は国外へ、上記通信端末用プログラム、中継装置用プログラム、及び通信管理用プログラムが利用者等に提供される場合に用いられる。
【0154】
更に、上記実施形態では、図7に示されている変更品質管理テーブル、及び図15に示されている品質管理テーブルによって、中継装置30で中継される画像データの画像の品質の一例として、画像データの画像の解像度に着目して管理したが、これに限られるものではなく、品質の他の例として、画像データの画質の深度、音声データの音声におけるサンプリング周波数、音声データの音声におけるビット長などに着目して管理してもよい。
【0155】
また、図8、図10、及び図12では、受信日時について管理しているが、これに限るものではなく、受信日時のうち少なくとも受信時間を管理すればよい。
【0156】
更に、上記実施形態では、図8で中継装置のIPアドレス、図10で通信端末のIPアドレスを管理することとしたが、これに限るものではなく、通信ネットワーク2上で中継装置30を特定するための中継装置特定情報、又は通信ネットワーク2上で通信端末10を特定するための端末特定情報であれば、それぞれのFQDN(Fully Qualified Domain Name)を管理してもよい。この場合、周知のDNS(Domain Name System)サーバによって、FQDNに対応するIPアドレスが取得されることになる。なお、「通信ネットワーク2で中継装置30を特定するための中継装置特定情報」だけでなく、「通信ネットワーク2上における中継装置30への接続先を示した中継装置接続先情報」、又は「通信ネットワーク2上における中継装置30への宛先を示した中継装置宛先情報」と表現してもよい。同じく、「通信ネットワーク2で通信端末10を特定するための端末特定情報」だけでなく、「通信ネットワーク2上における通信端末10への接続先を示した端末接続先情報」、又は「通信ネットワーク2上における通信端末10への宛先を示した端末宛先情報」と表現してもよい。
【0157】
また、上記実施形態では、通信システム1の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。また、通信システム1は、カーナビゲーションシステムであってもよい。この場合、例えば、通信端末30の一方が自動車に搭載されたカーナビゲーション装置に相当し、通信端末30の他方が、カーナビゲーションを管理する管理センターの管理端末若しくは管理サーバ、又は他の自動車に搭載されているカーナビゲーション装置に相当する。
【0158】
更に、外部入力装置40は表示装置400にデータを表示させる場合について説明したが、この表示装置400は外部入力装置40と別の装置でもよいし、外部入力装置40に備えられているものでもよい。
【符号の説明】
【0159】
10 通信端末
11 送受信部(受信手段の一例)
14a 撮像部
14b 表示制御部(表示制御手段の一例)
14c 配置情報選択部(抽出手段の一例)
14d 領域決定部(抽出手段の一例)
16 最終絞込部
16a 計測部
16b 算出部
16c 最終選択部
17 遅延検出部
18 表示データ送受信部
31 送受信部
32 状態検知部
33 データ品質確認部
34 変更品質管理部
35 データ品質変更部
40 外部入力装置
41 送受信部
42 操作入力受付部
43 表示制御部
44 表示データ取得部
49 記憶・読出処理部
50 通信管理システム
51 送受信部
52 端末認証部
53 状態管理部
54 端末抽出部
55 端末状態取得部
56 一次絞込部
56a 選択用セッションID生成部
56b 端末IPアドレス抽出部
56c 一次選択部56c
56d 優先度決定部
57 セッション管理部
58 品質決定部
60 遅延時間管理部
400 表示装置
1000 記憶部(記憶手段の一例)
1001 配置情報管理DB
3000 記憶部
3001 変更品質管理DB
4000 記憶部
4001 資料管理DB
5001 中継装置管理DB
5002 端末認証管理DB
5003 端末管理DB
5004 宛先リスト管理DB
5005 セッション管理DB
5006 優先度管理DB
5007 品質管理DB
【先行技術文献】
【特許文献】
【0160】
【特許文献1】US6,760,749 B1

【特許請求の範囲】
【請求項1】
所定のデータを表示装置の画面に表示させるための表示データ、及び撮像された画像の画像データを、他の通信端末から通信ネットワークを介して受信する通信端末であって、
前記表示データが前記通信端末で受信されたか否かを表す受信情報と、前記画像データに基づく前記画像の大きさ及び位置の少なくとも一方を表す配置情報とを関連付けて記憶する記憶手段と、
前記表示データ及び前記画像データを受信することが可能な受信手段と、
前記受信手段で受信された前記受信情報に基づいて、前記記憶手段から対応する前記配置情報を抽出する抽出手段と、
前記抽出手段で抽出された前記配置情報に基づいて、前記画像データによる前記画像を前記画面上に表示させる表示制御手段と、
を有することを特徴とする通信端末。

【請求項2】
請求項1に記載の通信端末であって、
前記表示制御手段は、
前記受信情報が、前記受信手段が前記表示データを受信したことを示す場合は、
前記配置情報に基づく配置で表示される前記受信した表示データによる画像は、
前記配置情報に基づく配置で表示される前記受信した画像データによる画像より、
大きく表示されることを特徴とする通信端末。
【請求項3】
請求項2に記載の通信端末であって、
前記表示制御手段は、
前記受信情報が、前記受信手段が前記表示データを受信したことを示す場合は、前記受信手段で受信された前記画像データによる画像を、前記記憶手段で記憶された前記配置情報のうち所定の配置情報である第一の配置情報に基づいて表示させ、
前記受信情報が、前記受信手段が前記表示データを受信していないことを示す場合は、前記受信手段で受信された前記画像データによる画像を、前記記憶手段で記憶された前記配置情報のうち前記第一の配置情報とは異なる第二の配置情報に基づいて表示させ、
さらに、前記第二の配置情報に基づく配置で表示される前記画像データによる画像は、前記第一の配置情報に基づく配置で表示される前記画像データによる画像より、大きく表示されることを特徴とする通信端末。
【請求項4】
請求項3に記載の通信端末であって、
前記表示制御手段は、
前記第二の配置情報に基づく配置で表示される前記画像データによる画像は、前記第一の配置情報に基づく配置で表示される前記画像データによる画像より、画面の中央に近い位置で表示されることを特徴とする通信端末。
【請求項5】
請求項1に記載の通信端末であって、
前記画像データが表す画像及び前記表示データが表す画像を表示させる位置または大きさに関する指示を受け付ける受付手段を有し、
前記表示制御手段は、前記受付手段で受け付けた指示に基づいて、画像データ及び表示データが表す画像を表示させる位置または大きさを変更することを特徴とする通信端末。
【請求項6】
請求項5に記載の通信端末であって、
前記受付手段は、前記画像データが表す画像及び前記表示データが表す画像の位置を交換する指示を受け付け、
前記表示制御手段は、前記受付手段で指示を受け付けると、複数の前記画像データのうち、第一の画像データが表す画像と、第二の画像データが表す画像、及び前記表示データが表す画像の位置を切り替えることを特徴とする通信端末。
【請求項7】
所定のデータを表示装置の画面に表示させるための表示データ、及び撮像された画像の画像データを、他の通信端末から通信ネットワークを介して受信する通信端末が実行する通信方法であって、
前記通信端末は
前記表示データが前記通信端末で受信されたか否かを表す受信情報と、前記画像データに基づく前記画像の大きさ及び位置の少なくとも一方を表す配置情報とを関連付けて記憶する記憶手段を有し、
前記通信端末は、
前記表示データ及び前記画像データを受信することが可能な受信ステップと、
前記受信ステップで受信された前記受信情報に基づいて、前記記憶手段から対応する前記配置情報を抽出する抽出ステップと、
前記抽出ステップで抽出された前記配置情報に基づいて、前記画像データによる画像を前記画面上に表示させる表示制御ステップ
を含むことを特徴とする通信方法。
【請求項8】
所定のデータを表示装置の画面に表示させるための表示データ、及び撮像された画像の画像データを、他の通信端末から通信ネットワークを介して受信する通信端末が実行する通信プログラムであって、
前記通信端末は、
前記表示データが前記通信端末で受信されたか否かを表す受信情報と、前記画像データに基づく前記画像の大きさ及び位置の少なくとも一方を表す配置情報とを関連付けて記憶する記憶手段を有し、
前記通信端末が、
前記表示データ及び前記画像データを受信することが可能な受信ステップと、
前記受信ステップで受信された前記受信情報に基づいて、前記記憶手段から対応する前記配置情報を抽出する抽出ステップと、
前記抽出ステップで抽出された前記配置情報に基づいて、前記画像データによる画像を前記画面上に表示させる表示制御ステップ
とをコンピュータに実行させることを特徴とする通信プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate


【公開番号】特開2012−134939(P2012−134939A)
【公開日】平成24年7月12日(2012.7.12)
【国際特許分類】
【出願番号】特願2011−168464(P2011−168464)
【出願日】平成23年8月1日(2011.8.1)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】