通信装置、通信方法、および通信プログラム
【課題】資料画像の配信先における画像の表示態様に応じて処理負荷を低下させることができる通信装置、通信方法、および通信プログラムを提供する。
【解決手段】資料画像データを配信先装置に送信する配信元装置は、配信先装置に送信されたデータによって配信先で表示されている資料画像と拠点画像との表示比率を、配信先装置から取得する（Ｓ３２）。配信元装置は、自装置のデータの処理負荷を検出し、検出した処理負荷が閾値以上であるか否かを判断する。自装置の処理負荷が閾値以上と判断した場合、配信元装置は、配信先装置から取得した表示比率に基づいて、資料画像データおよび拠点画像データの少なくともいずれかの生成条件を変更する（Ｓ３６，Ｓ３７）。
【解決手段】資料画像データを配信先装置に送信する配信元装置は、配信先装置に送信されたデータによって配信先で表示されている資料画像と拠点画像との表示比率を、配信先装置から取得する（Ｓ３２）。配信元装置は、自装置のデータの処理負荷を検出し、検出した処理負荷が閾値以上であるか否かを判断する。自装置の処理負荷が閾値以上と判断した場合、配信元装置は、配信先装置から取得した表示比率に基づいて、資料画像データおよび拠点画像データの少なくともいずれかの生成条件を変更する（Ｓ３６，Ｓ３７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを生成して他のデバイスに送信する通信装置、通信方法、および通信プログラムに関する。
【背景技術】
【０００２】
従来、複数の通信装置を備えた通信システムにおいて、送信する画像データの生成条件を状況に応じて変更する技術が知られている。例えば、特許文献１に記載の映像配信システムでは、画像データを受信して画像を表示する表示装置は、表示する画像において視聴者が注視している領域を検出する。画像データを生成して送信する配信装置は、表示装置によって検出された注視領域の品質のみが高い画像データを生成し、表示装置に送信する。その結果、送受信されるデータの量の増加が抑制される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１３０２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
通信システムを用いたテレビ会議では、システム内で共有する共有資料の画像（以下、「資料画像」という。）のデータが、各拠点で撮影された画像（以下、「拠点画像」という。）のデータと並行して送受信される場合がある。資料画像の共有を行う場合、資料画像を配信する通信装置である配信元装置は、資料画像のデータを生成する処理を行わなければならない。画像データを配信するために必要な符号化処理は、復号化処理よりも負荷が大きい。よって、配信元装置は、資料画像のデータを受信する通信装置である配信先装置に比べて処理負荷が大きい。その結果、配信元装置の処理が遅延してテレビ会議の進行に問題が生じる場合があった。特許文献１に記載の技術では、資料画像の配信先における画像の表示態様に応じて配信元装置の処理負荷を低下させることはできなかった。
【０００５】
本発明は、資料画像の配信先における画像の表示態様に応じて処理負荷を低下させることができる通信装置、通信方法、および通信プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一の態様に係る通信装置は、他の通信装置との間で画像データの通信を行う通信装置であって、複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成手段と、画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成手段と、前記第一データ生成手段によって生成された前記資料画像データ、および前記第二データ生成手段によって生成された前記拠点画像データを前記他の通信装置に送信する送信手段と、前記送信手段によって前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得手段と、自装置のデータの処理負荷を検出する負荷検出手段と、前記負荷検出手段によって検出された処理負荷が閾値以上であるか否かを判断する負荷判断手段と、前記負荷判断手段によって処理負荷が閾値以上と判断された場合に、前記比率取得手段によって取得された表示比率に基づいて、前記第一データ生成手段および前記第二データ生成手段の少なくともいずれかによる画像データの生成条件を変更する条件変更手段とを備えている。
【０００７】
第一の態様に係る通信装置は、データの処理負荷が閾値以上である場合に、他拠点で表示されている自拠点の画像（資料画像の配信元の拠点の画像）と資料画像との表示比率に基づいて、画像データの生成条件を変更する。その結果、資料画像の配信先における画像の表示態様に応じて、自装置の処理負荷を低下させることができる。よって、通信装置は、処理遅延が生じてテレビ会議の進行が妨げられる可能性を適切に低下させることができる。
【０００８】
前記通信装置は、前記比率取得手段によって取得された表示比率から、前記表示手段において前記自拠点の画像が前記資料画像よりも大きく表示されているか否かを判断する表示判断手段をさらに備えてもよい。前記条件変更手段は、前記自拠点の画像の方が前記資料画像よりも大きく表示されていると前記表示判断手段によって判断された場合に、前記第一データ生成手段による前記資料画像データの生成条件を変更する第一条件変更手段と、前記自拠点の画像が前記資料画像よりも大きく表示されていないと前記表示判断手段によって判断された場合に、前記第二データ生成手段による前記拠点画像データの生成条件を変更する第二条件変更手段とを備えてもよい。
【０００９】
この場合、通信装置は、自拠点の画像（資料画像の配信元の拠点の画像）の方が大きく表示されている場合には、資料画像データの生成条件を変更する。よって、大きく表示されている自拠点の画像の品質を低下させることなく、処理負荷を低下させることができる。一方、通信装置は、自拠点の画像が資料画像よりも大きく表示されていない場合には、拠点画像データの生成条件を変更する。よって、資料画像の品質を低下させることなく、処理負荷を低下させることができる。従って、通信装置は、画像の表示比率に応じて適切に処理負荷を低下させることができる。
【００１０】
前記第一条件変更手段および前記第二条件変更手段は、符号化処理によって生成する画像データのフレームレート、画像の解像度、および色数の少なくともいずれかを減少させることで、画像データの生成条件を変更してもよい。通信装置は、フレームレート、画像の解像度、および色数の少なくともいずれかを減少させることで、画像データの生成処理量を確実に減少させて処理負荷を低下させることができる。
【００１１】
前記通信装置は、前記他の通信装置にデータを送信するために使用可能な帯域が、前記他の通信装置に送信しているデータの伝送速度よりも大きいか否かを判断する帯域判断手段をさらに備えてもよい。前記条件変更手段は、前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断された場合に、全画像データのうち、フレーム内予測符号化のみを用いて符号化される画像データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）が占める割合を増加させることで、画像データの生成条件を変更する第三条件変更手段を備えてもよい。
【００１２】
Ｉピクチャが占める割合を増加させると、符号化された画像データのデータ総量は増加するが、符号化に要する処理量は低下する。通信装置は、使用可能な帯域に余裕がある場合にＩピクチャが占める割合を増加させることで、画像の品質を低下させることなく処理負荷を低下させることができる。
【００１３】
前記通信装置は、前記他の通信装置にデータを送信するために使用可能な帯域が、前記他の通信装置に送信しているデータの伝送速度よりも大きいか否かを判断する帯域判断手段をさらに備えてもよい。前記条件変更手段は、前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断され、且つ前記自拠点の画像が前記資料画像よりも大きく表示されていないと前記表示判断手段によって判断された場合、前記資料画像データのうち、フレーム内予測符号化のみを用いて符号化される画像データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）が占める割合を増加させる第四条件変更手段と、前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断され、且つ前記自拠点の画像の方が前記資料画像よりも大きく表示されていると前記表示判断手段によって判断された場合、前記拠点画像データにおけるＩピクチャの割合を増加させる第五条件変更手段とをさらに備えてもよい。
【００１４】
フレーム間符号化によって生成されるＰピクチャは、参照するＩピクチャとの間の時間差が小さくなる程、画像品質の劣化を生じ難い。Ｉピクチャの割合を増加させることで、ＰピクチャとＩピクチャとの間の時間差が短縮されるため、画像品質の劣化が防止される。通信装置は、自拠点の画像（資料画像の配信元の拠点の画像）が他の拠点で資料画像よりも大きく表示されていない場合には、他拠点のユーザが注目している可能性が高い資料画像の品質の劣化を防止しつつ、処理負荷を低下させることができる。自拠点の画像の方が大きく表示されている場合には、大きく表示されている自拠点の画像の劣化を防止しつつ、処理負荷を低下させることができる。
【００１５】
前記通信装置は、前記他の通信装置が設置された拠点の画像のデータである他拠点画像データの前記通信装置への送信条件を変更する指示を前記他の通信装置へ送信する条件変更指示手段をさらに備えてもよい。この場合、通信装置は、他の通信装置が自装置に送信する画像データの送信条件の変更を他の通信装置に指示することで、受信するデータの処理量を低下させることができる。その結果、通信装置は、処理遅延が生じてテレビ会議の進行が妨げられる可能性を低下させることができる。
【００１６】
本発明の第二の態様に係る通信方法は、他の通信装置との間で画像データの通信を行う通信装置によって行われる通信方法であって、複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成ステップと、画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成ステップと、前記第一データ生成ステップにおいて生成された前記資料画像データ、および前記第二データ生成ステップにおいて生成された前記拠点画像データを前記他の通信装置に送信する送信ステップと、前記送信ステップにおいて前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得ステップと、自装置のデータの処理負荷を検出する負荷検出ステップと、前記負荷検出ステップにおいて検出された処理負荷が閾値以上であるか否かを判断する負荷判断ステップと、前記負荷判断ステップにおいて処理負荷が閾値以上と判断された場合に、前記比率取得ステップにおいて取得された表示比率に基づいて、前記第一データ生成ステップおよび前記第二データ生成ステップの少なくともいずれかにおける画像データの生成条件を変更する条件変更ステップとを備えている。
【００１７】
第二の態様に係る通信方法によると、通信装置は、データの処理負荷が閾値以上である場合に、他拠点で表示されている自拠点の画像（資料画像の配信元の拠点の画像）と資料画像との表示比率に基づいて、画像データの生成条件を変更する。その結果、資料画像の配信先における画像の表示態様に応じて、自装置の処理負荷を低下させることができる。よって、通信装置は、処理遅延が生じてテレビ会議の進行が妨げられる可能性を適切に低下させることができる。
【００１８】
本発明の第三の態様に係る通信プログラムは、他の通信装置との間で画像データの通信を行う通信装置に実行させる通信プログラムであって、コンピュータに、複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成ステップと、画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成ステップと、前記第一データ生成ステップにおいて生成された前記資料画像データ、および前記第二データ生成ステップにおいて生成された前記拠点画像データを前記他の通信装置に送信する送信ステップと、前記送信ステップにおいて前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得ステップと、自装置のデータの処理負荷を検出する負荷検出ステップと、前記負荷検出ステップにおいて検出された処理負荷が閾値以上であるか否かを判断する負荷判断ステップと、前記負荷判断ステップにおいて処理負荷が閾値以上と判断された場合に、前記比率取得ステップにおいて取得された表示比率に基づいて、前記第一データ生成ステップおよび前記第二データ生成ステップの少なくともいずれかにおける画像データの生成条件を変更する条件変更ステップとを実行させる。
【００１９】
第三の態様に係る通信プログラムによると、通信装置は、データの処理負荷が閾値以上である場合に、他拠点で表示されている自拠点の画像（資料画像の配信元の拠点の画像）と資料画像との表示比率に基づいて、画像データの生成条件を変更する。その結果、資料画像の配信先における画像の表示態様に応じて、自装置の処理負荷を低下させることができる。よって、通信装置は、処理遅延が生じてテレビ会議の進行が妨げられる可能性を適切に低下させることができる。
【図面の簡単な説明】
【００２０】
【図１】通信システム１００のシステム構成を示す図である。
【図２】配信先装置が表示装置３４に表示させる画像の一例を示す図である。
【図３】ＰＣ１の電気的構成を示すブロック図である。
【図４】ＰＣ１が実行するテレビ会議処理のフローチャートである。
【図５】ＰＣ１が実行する通信設定処理のフローチャートである。
【図６】通信設定処理中に実行される配信先処理のフローチャートである。
【図７】通信設定処理中に実行される配信元処理のフローチャートである。
【図８】配信元処理中に実行される拠点画像優先処理のフローチャートである。
【図９】配信元処理中に実行される資料画像優先処理のフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明の通信装置を具現化した一実施の形態であるパーソナルコンピュータ（以下、「ＰＣ」という。）１、およびＰＣ１を備えた通信システム１００について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２２】
図１を参照して、通信システム１００のシステム構成について説明する。通信システム１００は、複数のＰＣ１を備える。図１では２つのＰＣ１のみが図示されているが、ＰＣ１の数は３つ以上でもよい。各ＰＣ１は、インターネット等のネットワーク８を介して、他のＰＣ１との間でデータを送受信する。詳細には、ＰＣ１は、他のＰＣ１のそれぞれとの間で、Ｐ２Ｐ（ｐｅｅｒ ｔｏ ｐｅｅｒ）で映像、資料、音声等のデータを直接送受信することができる。なお、本発明における通信装置として用いることができるのはＰＣ１に限られない。例えば、テレビ会議を実行するために各拠点に配置される専用のテレビ会議端末等を、本発明における通信装置として用いることも可能である。
【００２３】
通信システム１００は、画像および音声を用いた遠隔会議を実行するためのテレビ会議システムである。各ＰＣ１は、自拠点のカメラ３３から入力した撮影画像のデータ、およびマイク３１（図３参照）から入力した音声のデータを、他のＰＣ１に送信する。各ＰＣ１は、他のＰＣ１から受信したデータに基づいて、他の拠点の撮像画像を表示装置３４に表示し、且つ他の拠点の音声をスピーカ３２（図３参照）から出力する。その結果、複数の拠点の拠点画像および音声が、通信システム１００内で共有される。よって、通信システム１００によると、全てのユーザが同一の拠点にいない場合でも、ユーザは円滑に会議を実行することができる。１つの拠点にいるユーザは１人でもよいし、複数でもよい。
【００２４】
さらに、通信システム１００では、文書、図面等の資料の画像（以下、「資料画像」という。）を複数のユーザ間で共有しながらテレビ会議を行うこともできる。具体的には、他のＰＣ１に資料画像を配信するＰＣ１（以下、「配信元装置」という。）は、自拠点の表示装置３４に表示させる資料画像をキャプチャして符号化処理を行うことで、資料画像のデータを生成する。配信元装置は、生成した資料画像データを、通信システム１００内の他のＰＣ１（以下、「配信先装置」という。）に送信する。配信先装置は、受信した資料画像データを復号化し、資料画像を自拠点の表示装置３４に表示させる。
【００２５】
図２を参照して、資料画像の共有中に表示装置３４に表示される画像の一例について説明する。拠点Ｂに配置された配信先装置が表示装置３４に表示させる画像の一例を、図２に示す。前述したように、配信先装置は、配信元装置から受信した資料画像データを符号化し、表示装置３４に資料画像４２を表示させる。また、配信先装置は、拠点Ａに配置された配信元装置から拠点画像のデータを受信して復号化し、拠点Ａの拠点画像４３を表示させる。さらに、配信先装置は、自拠点のカメラ３３によって撮影された拠点Ｂの拠点画像４４を表示させる。従って、拠点Ｂのユーザは、複数拠点で共有されている資料画像４２と、遠隔地である拠点Ａの拠点画像４３と、自拠点の拠点画像４４とを見ながら、円滑にテレビ会議を行うことができる。配信元装置が表示装置３４に表示させる画像も、図２に示した例と同様であるため、この説明は省略する。
【００２６】
通信システム１００では、ユーザは、キーボードおよびマウス等の操作部３５（図３参照）を操作することで、資料画像４２および拠点画像４３，４４の表示領域を変更することができる。従って、ユーザは、資料画像４２に注目したい場合には、資料画像４２の表示領域を大きくすればよい。拠点Ａの様子に注目したい場合には、拠点Ａの拠点画像４３の表示領域を大きくすればよい。
【００２７】
通信システム１００内で送受信される画像データについて説明する。通信システム１００が備えるＰＣ１は、Ｈ．２６４の規格に基づいて画像圧縮符号化された画像データを送受信する。画像圧縮符号化には、フレーム内符号化とフレーム間符号化とがある。
【００２８】
フレーム内符号化とは、カメラによって入力された連続する複数フレームの画像データのうち１フレーム内の画面内予測によって行われる符号化である。フレーム内符号化によって生成される画像データを、Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）という。フレーム間符号化では、連続する複数のフレームのうち、符号化するフレームとは異なるフレームが参照されて、参照されたフレーム（以下、「被参照フレーム」という。）との間の予測誤差が算出される。算出された予測誤差が符号化される。フレーム間符号化によって生成される画像データには、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）およびＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）がある。ＰピクチャおよびＢピクチャの復号化には、被参照フレームのデータが必要である。
【００２９】
Ｉピクチャは、ＰピクチャおよびＢピクチャよりもデータ量が多い。従って、ＰＣ１が使用可能なネットワーク帯域に余裕がない場合に、複数の画像データに占めるＩピクチャの割合を増加させると、使用可能な帯域を越える伝送速度でデータが送信されて通信に不具合が生じる可能性がある。一方、Ｉピクチャを生成する場合のＰＣ１の処理量は、ＰピクチャおよびＢピクチャを生成する場合の処理量よりも少ない。よって、ＰＣ１は、Ｉピクチャの割合を増加させることで、処理負担を低下させることができる。
【００３０】
また、ＰピクチャおよびＢピクチャは、直前のＩピクチャとの間の時間差が小さくなる程、画像品質の劣化が生じ難くなる。Ｉピクチャの割合が増加すると、ＰピクチャおよびＢピクチャとＩピクチャとの間の時間差が短縮される。さらに、Ｉピクチャの割合が増加すると、被参照フレームが欠落してＰピクチャおよびＢピクチャの復号が不可能になる可能性が低下する。よって、ＰＣ１は、Ｉピクチャの割合を増加させることで、画像の品質の劣化を防止することもできる。
【００３１】
図３を参照して、ＰＣ１の電気的構成について説明する。ＰＣ１は、ＰＣ１の制御を司るＣＰＵ１０を備えている。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ハードディスクドライブ（以下、「ＨＤＤ」という。）１３、および入出力インターフェース１９が、バス１８を介して接続されている。
【００３２】
ＲＯＭ１１は、ＰＣ１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は、後述するテレビ会議処理および通信設定処理を実行させるための通信プログラム等の各種情報を記憶する不揮発性の記憶装置である。ＨＤＤ１３の代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。
【００３３】
入出力インターフェース１９には、音声入力処理部２１、音声出力処理部２２、映像入力処理部２３、映像出力処理部２４、操作入力処理部２５、および外部通信Ｉ／Ｆ２６が接続されている。音声入力処理部２１は、音声を入力するマイク３１からの音声データの入力を処理する。音声出力処理部２２は、音声を出力するスピーカ３２の動作を処理する。映像入力処理部２３は、映像を撮影するカメラ３３からの画像データの入力を処理する。映像出力処理部２４は、映像を表示する表示装置３４の動作を処理する。操作入力処理部２５は、キーボードおよびマウス等の操作部３５からの操作入力を処理する。外部通信Ｉ／Ｆ２６は、ＰＣ１をネットワーク８に接続する。
【００３４】
以下、テレビ会議中にＰＣ１が実行する処理について、図４から図９を参照して説明する。テレビ会議の実行指示をＰＣ１が受け付けると、ＰＣ１のＣＰＵ１０は、ＨＤＤ１３に記憶されている通信プログラムに従って、図４に示すテレビ会議処理、および図５から図９に示す通信設定処理を並行して実行する。図４に示すテレビ会議処理は、画像データおよび音声データの通信、出力を行ってテレビ会議を実現するための処理である。図５に示す通信設定処理は、テレビ会議の状況に応じて配信元装置の処理負荷を低下させるための処理である。ＰＣ１は、テレビ会議処理および通信設定処理を並行して実行することで、配信元装置の処理負荷を低下させつつテレビ会議を実行することができる。
【００３５】
図４を参照して、テレビ会議処理について説明する。まず、ＣＰＵ１０は、自拠点のカメラ３３から入力された画像のデータを符号化して拠点画像データを生成する（Ｓ１）。ＣＰＵ１０は、他拠点への資料画像の配信中であるか否か、つまり、自装置が配信元装置であるか否かを判断する（Ｓ２）。後述する操作指示受付処理（Ｓ１１、図５参照）で他拠点への資料画像の配信指示が受け付けられておらず、配信元装置となっていない場合には（Ｓ２：ＮＯ）、処理はＳ４へ移行する。自装置が配信元装置となっていれば（Ｓ２：ＹＥＳ）、ＣＰＵ１０は、配信する資料をキャプチャして符号化処理を行い、資料画像データを生成する（Ｓ３）。
【００３６】
次いで、ＣＰＵ１０は、Ｓ１およびＳ３で生成した画像データを他のＰＣ１に送信し、且つ、他のＰＣ１から画像データを受信する（Ｓ４）。ＣＰＵ１０は、受信した画像データを復号化し、復号化した画像データに基づいて、表示装置３４に画像を表示させる（Ｓ５）。ＣＰＵ１０は、自拠点のカメラ３３が撮像した画像のデータを取得し、自拠点の画像を表示装置３４に表示させる（Ｓ６）。ＣＰＵ１０は、音声データの符号化、送受信、復号化等の処理を行う（Ｓ７）。テレビ会議の終了指示が入力されたか否かを判断する（Ｓ８）。入力されていなければ（Ｓ８：ＮＯ）、処理はＳ１へ戻る。終了指示が入力された場合（Ｓ８：ＹＥＳ）、処理は終了する。
【００３７】
図５から図９を参照して、通信設定処理について説明する。前述したように、ＣＰＵ１０は、テレビ会議の実行指示をＰＣ１が入力することで、図５に示す通信設定処理を開始する。通信設定処理は、テレビ会議処理（図４参照）と並行して実行される。図５に示すように、ＣＰＵ１０は、通信設定処理を開始すると、操作部３５からの各種操作指示の入力を受け付ける（Ｓ１１）。操作指示には、資料画像の他拠点への配信を開始する指示、配信を終了する指示、表示装置３４に表示されている資料画像４２および拠点画像４３，４４の表示領域を変更する指示、テレビ会議を終了する指示等がある。ＣＰＵ１０は、操作指示が入力されると、入力された指示に応じて処理を実行する。なお、資料画像の配信を終了する指示が入力された場合に、Ｉピクチャの割合およびフレームレート等の設定が変更されていれば、ＣＰＵ１０は、変更されていた設定を初期化する。さらに、配信先装置に行っていた指示があれば、指示を解除する。上記の設定および指示の詳細については後述する。
【００３８】
ＣＰＵ１０は、他拠点への資料画像の配信中であるか否かを判断する（Ｓ１２）。自装置が配信元装置でなく、資料画像の配信中でないと判断すると（Ｓ１２：ＮＯ）、ＣＰＵ１０は、他のＰＣ１からの資料画像データの受信中であるか否かを判断する（Ｓ１３）。自装置が配信元装置でも配信先装置でもない場合、つまり、資料画像が共有されていない場合には（Ｓ１３：ＮＯ）、ＣＰＵ１０は、テレビ会議の終了指示が受け付けられたか否かを判断する（Ｓ１４）。テレビ会議の終了指示がＳ１１で受け付けられていなければ（Ｓ１４：ＮＯ）、処理はＳ１１へ戻る。他のＰＣ１から資料画像データを受信している場合には（Ｓ１３：ＹＥＳ）、ＣＰＵ１０は、配信先処理を行う（Ｓ１５）。配信先処理は、ＰＣ１が配信先装置として動作する場合の処理である。
【００３９】
図６に示すように、ＣＰＵ１０は、配信先処理を開始すると、表示比率を配信元装置に通知するタイミングであるか否かを判断する（Ｓ２１）。表示比率とは、接続している表示装置３４に表示させている、配信元装置の拠点の拠点画像４３と資料画像４２との表示比率である。本実施の形態では、通知タイミングは、資料画像の共有開始時（資料画像データを配信元装置から最初に受信した時）、および、表示比率がユーザの指示によって変更された時である。通知タイミングは変更が可能であり、例えば一定時間毎に表示比率を通知してもよい。表示比率の通知タイミングでなければ（Ｓ２１：ＮＯ）、処理はＳ２４の判断へ移行する。通知タイミングである場合には（Ｓ２１：ＹＥＳ）、ＣＰＵ１０は、資料画像４２と配信元装置の拠点画像４３との表示比率を算出する（Ｓ２２）。算出した表示比率を、配信元装置に通知する（Ｓ２３）。
【００４０】
次いで、ＣＰＵ１０は、配信元装置から送信停止の指示を受信したか否かを判断する（Ｓ２４）。詳細は後述するが、送信停止の指示とは、配信先装置から配信元装置への拠点画像データの送信を停止させる指示である。配信元装置は、自装置の処理負担を低下させるために、配信先装置に送信停止の指示を行う場合がある。ＣＰＵ１０は、送信停止の指示を配信元装置から受信すると（Ｓ２４：ＹＥＳ）、拠点画像データの配信元装置への送信を停止するように設定を行う（Ｓ２５）。送信停止の設定が行われている間は、図４に示すＳ４において、ＣＰＵ１０は配信元装置への拠点画像データの送信を行わない。送信停止の指示を受信していなければ（Ｓ２４：ＮＯ）、処理はそのままＳ２６の判断へ移行する。
【００４１】
次いで、ＣＰＵ１０は、配信元装置からサイズ変更禁止の指示を受信したか否かを判断する（Ｓ２６）。詳細は後述するが、サイズ変更禁止の指示とは、資料画像４２または拠点画像４３のサイズ（表示領域）の変更を禁止する指示である。配信元装置は、画像の品質を向上させることができない場合に、品質の低い画像が拡大されることを防止するために、サイズ変更禁止の指示を配信先装置に送信する。ＣＰＵ１０は、サイズ変更禁止の指示を配信元装置から受信すると（Ｓ２６：ＹＥＳ）、指定された画像のサイズ変更の禁止を設定し（Ｓ２７）、処理は通信設定処理へ戻る。サイズ変更の禁止が設定されている間は、図５に示すＳ１１において、ＣＰＵ１０は、指定された画像の表示領域のサイズを変更しない。サイズ変更禁止の指示を受信していなければ（Ｓ２６：ＮＯ）、処理はそのまま通信設定処理へ戻る。
【００４２】
図５の説明に戻る。ＣＰＵ１０は、他拠点への資料画像の配信中であると判断すると（Ｓ１２：ＹＥＳ）、自装置の処理負荷を検出する（Ｓ１７）。本実施形態では、ＣＰＵ１０は、ＣＰＵ使用率を処理負荷として検出する。しかし、ＲＡＭ１２の使用容量等の他のパラメータを処理負荷として検出してもよい。次いで、ＣＰＵ１０は、検出した自装置の処理負荷が閾値以上であるか否かを判断する（Ｓ１８）。具体的には、ＣＰＵ使用率が５０％以上であるか否かを判断するが、閾値の値が適宜変更できることは言うまでもない。処理負荷が閾値未満であれば（Ｓ１８：ＮＯ）、処理はそのままＳ１４の判断へ移行する。処理負荷が閾値以上であれば（Ｓ１８：ＹＥＳ）、配信元処理が行われる（Ｓ１９）。配信元処理は、ＰＣ１が配信元装置として動作する場合の処理である。その後、処理はＳ１４へ移行する。テレビ会議を終了する指示が入力されると（Ｓ１４：ＹＥＳ）、処理は終了する。
【００４３】
図７を参照して、配信元処理について説明する。ＣＰＵ１０は、配信元処理を開始すると、配信先装置の少なくともいずれかから表示比率が通知されたか否かを判断する（Ｓ３１）。表示比率が通知されていなければ（Ｓ３１：ＮＯ）、処理はそのまま通信設定処理へ戻る。
【００４４】
表示比率が通知された場合（Ｓ３１：ＹＥＳ）、ＣＰＵ１０は、通知された表示比率の値を取得してＲＡＭ１２に記憶する（Ｓ３２）。ＣＰＵ１０は、配信先装置にデータを送信するために使用可能なネットワーク帯域を計測する（Ｓ３３）。使用可能なネットワーク帯域とは、配信元装置が送信するデータの伝送速度とほぼ等しい伝送速度で配信先装置がデータを受信できる最大の伝送速度（ｂｐｓ）をいう。ネットワーク帯域を計測する手法には、種々の公知の手法を用いることができる。本実施形態では、以下の文献に記載されている手法を用いる。「津川知朗、ＣａｏＬｅ Ｔｈａｎｈ Ｍａｎ、長谷川剛、村田正幸、「インラインネットワーク計測手法ＩｍＴＣＰおよびその応用手法の実装および性能評価」、電子情報通信学会技術研究報告（ＩＮ２００５−１２０）、ｐ．７９−８４、２００５年１２月」次いで、ＣＰＵ１０は、配信先装置に送信しているデータの伝送速度（ｂｐｓ）を算出する（Ｓ３４）。
【００４５】
ＣＰＵ１０は、配信先の拠点において自拠点の拠点画像４３の方が資料画像４２よりも大きく表示されているか否かを、通知された表示比率から判断する（Ｓ３５）。本実施の形態では、配信先装置が複数存在する場合には、その時点でＲＡＭ１２に記憶されている複数の表示比率の平均値によってＳ３５の判断が行われる。しかし、判断方法はこれに限られない。例えば、複数の配信先のうちの半数以上で拠点画像４３の方が大きく表示されている場合に、「拠点画像４３の方が大きい」と判断してもよい。また、特定の配信先装置（例えば、会議の議長を務めるユーザの配信先装置）の表示比率のみに基づいて判断を行ってもよい。ＣＰＵ１０は、拠点画像４３の方が大きく表示されていると判断した場合（Ｓ３５：ＹＥＳ）、拠点画像優先処理を行う（Ｓ３６）。拠点画像優先処理では、配信先で大きく表示されている拠点画像４３の品質を低下させることなく、自装置の処理負担を低下させるための処理が行われる。拠点画像４３が資料画像４２よりも大きく表示されていないと判断した場合（Ｓ３５：ＮＯ）、ＣＰＵ１０は資料画像優先処理を行う（Ｓ３７）。資料画像優先処理では、資料画像４２の品質を低下させることなく処理負担を低下させるための処理が行われる。その後、処理は通信設定処理へ戻る。
【００４６】
図８を参照して、拠点画像優先処理について説明する。まず、ＣＰＵ１０は、Ｓ３３（図７参照）で計測したネットワーク帯域が、Ｓ３４（図７参照）で算出したデータの伝送速度よりも大きいか否かを判断する（Ｓ４１）。ネットワーク帯域の方が大きく、帯域に余裕がある場合には（Ｓ４１：ＹＥＳ）、ＣＰＵ１０は、Ｓ１（図４参照）で生成する拠点画像データにおけるＩピクチャの割合を増加させる設定を行う。その結果、Ｓ１で実行する符号化処理の処理負担が低下し、且つ、配信先で表示される拠点画像４３の品質の低下が防止される。なお、前述したように、Ｉピクチャの割合を増加させると、送信するデータのデータ量は増加する。従って、Ｉピクチャの割合は、配信先装置へのデータの伝送速度がネットワーク帯域を越えない範囲で増加させる。次いで、ＣＰＵ１０は、自装置の処理負荷であるＣＰＵ使用率を検出する（Ｓ４３）。処理負荷が閾値（ＣＰＵ使用率５０％）以上であるか否かを判断する（Ｓ４４）。処理負荷が閾値未満となっていれば（Ｓ４４：ＮＯ）、処理は配信元処理へ戻る。処理負荷が未だ閾値以上であれば（Ｓ４４：ＹＥＳ）、処理はＳ４１へ戻る。
【００４７】
使用可能なネットワーク帯域が、データの伝送速度以下であれば（Ｓ４１：ＮＯ）、ＣＰＵ１０は、資料画像データのフレームレートを既に減少させているか否かを判断する（Ｓ４５）。未だフレームレートを減少させていなければ（Ｓ４５：ＮＯ）、ＣＰＵ１０は、資料画像データのフレームレートを減少させる設定を行う（Ｓ４６）。その結果、Ｓ３（図４参照）で実行する資料画像データの生成処理の処理負担が低下し、且つ、配信先装置へのデータの伝送速度が低下する。データの伝送速度が低下してネットワーク帯域に余裕ができると、Ｉピクチャの割合を増加させることによる処理負荷の低下（Ｓ４２）も可能となる。処理はＳ４３へ移行する。
【００４８】
資料画像データのフレームレートを既に減少させていれば（Ｓ４５：ＹＥＳ）、ＣＰＵ１０は、配信先装置に対する画像データの送信停止の指示を既に行ったか否かを判断する（Ｓ４７）。指示を未だ行っていなければ（Ｓ４７：ＮＯ）、１または複数の配信先装置に対し、配信先の拠点画像のデータの自装置への送信停止を指示する（Ｓ４８）。その結果、Ｓ５（図４参照）で実行する画像データの復号化の処理負担が低下する。処理はＳ４３へ移行する。
【００４９】
画像データの送信停止の指示を既に行っていれば（Ｓ４７：ＹＥＳ）、ＣＰＵ１０は、配信先装置に対し、自拠点の拠点画像４３のサイズ変更の禁止を指示する（Ｓ４９）。この場合、配信元装置は、処理負担が大きい状態であるため、配信先装置に送信する拠点画像データの品質を向上させることができない。配信元装置は、配信先で表示されている拠点画像４３の表示サイズの変更禁止を指示することで、配信先で解像度や画質の低い拠点画像４３が拡大されることを防止することができる。処理は配信元処理へ戻る。
【００５０】
図９を参照して、資料画像優先処理について説明する。まず、ＣＰＵ１０は、ネットワーク帯域がデータの伝送速度よりも大きいか否かを判断する（Ｓ５１）。ネットワーク帯域の方が大きく、帯域に余裕がある場合には（Ｓ５１：ＹＥＳ）、ＣＰＵ１０は、Ｓ３（図４参照）で生成する資料画像データにおけるＩピクチャの割合を増加させる設定を行う。その結果、Ｓ３で実行する符号化処理の処理負担が低下し、且つ、配信先で表示される資料画像４２の品質の低下が防止される。Ｉピクチャの割合は、配信先装置へのデータの伝送速度がネットワーク帯域を越えない範囲で増加させる。次いで、ＣＰＵ１０は、自装置の処理負荷を検出し（Ｓ５３）、処理負荷が閾値以上であるか否かを判断する（Ｓ５４）。処理負荷が閾値未満となっていれば（Ｓ５４：ＮＯ）、処理は配信元処理へ戻る。処理負荷が未だ閾値以上であれば（Ｓ５４：ＹＥＳ）、処理はＳ５１へ戻る。
【００５１】
帯域に余裕がなければ（Ｓ５１：ＮＯ）、ＣＰＵ１０は、Ｓ１（図４参照）で生成する拠点画像データのフレームレートを既に減少させているか否かを判断する（Ｓ５５）。フレームレートを未だ減少させていなければ（Ｓ５５：ＮＯ）、ＣＰＵ１０は、拠点画像データのフレームレートを減少させる設定を行う（Ｓ５６）。その結果、Ｓ１で実行する拠点画像データの生成処理の処理負担が低下し、且つ配信先装置へのデータの伝送速度が低下する。処理はＳ５３へ移行する。
【００５２】
拠点画像データのフレームレートを既に減少させていれば（Ｓ５５：ＹＥＳ）、ＣＰＵ１０は、配信先装置に対する画像データの送信停止の指示を既に行ったか否かを判断する（Ｓ５７）。指示を未だ行っていなければ（Ｓ５７：ＮＯ）、配信先装置に対し、拠点画像データの自装置への送信停止を指示する（Ｓ５８）。その結果、Ｓ５（図４参照）で実行する複合化処理の負担が低下する。処理はＳ５３へ移行する
【００５３】
画像データの送信停止の指示を既に行っていれば（Ｓ５７：ＹＥＳ）、ＣＰＵ１０は、資料画像が静止画であるか否かを判断する（Ｓ５９）。資料画像が静止画であれば（Ｓ５９：ＹＥＳ）、ＣＰＵ１０は、資料画像が更新された場合にのみ資料画像データを生成して送信する設定を行う（Ｓ６０）。その結果、Ｓ３およびＳ４（図４参照）で実行する処理の負荷が低下し、且つ配信先装置へのデータの伝送速度が低下する。処理はＳ５３へ移行する。
【００５４】
資料画像が静止画でなく動画である場合には（Ｓ５９：ＮＯ）、ＣＰＵ１０は、配信先装置に対し、資料画像４２の表示サイズの変更禁止を指示する（Ｓ６１）。その結果、解像度や画質の低い資料画像４２が配信先で拡大されることを防止することができる。処理は配信元処理へ戻る。
【００５５】
以上説明したように、本実施の形態に係るＰＣ１は、データの処理負荷が閾値以上である場合に、他拠点で表示されている資料画像４２と拠点画像４３との表示比率に基づいて、配信先装置に送信する画像データの生成条件を変更する。その結果、ＰＣ１は、資料画像４２の配信先における画像の表示態様に応じて、自装置の処理負荷を適切に低下させることができる。よって、ＰＣ１は、処理遅延が生じてテレビ会議の進行が妨げられる可能性を低下させることができる。
【００５６】
ＰＣ１は、自拠点の拠点画像４３が他拠点において資料画像４２よりも大きく表示されている場合には、資料画像データの生成条件を変更する。よって、ＰＣ１は、大きく表示されている拠点画像４３の品質を低下させることなく、自装置の処理負荷を低下させることができる。一方、ＰＣ１は、拠点画像４３が資料画像４２よりも大きく表示されていない場合には、拠点画像データの生成条件を変更する。よって、資料画像４２の品質を低下させることなく、処理負荷を低下させることができる。従って、ＰＣ１は、他拠点における画像の表示比率に応じて適切に処理負荷を低下させることができる。具体的には、ＰＣ１は、画像データのフレームレートを減少させることで、画像データの生成処理量を確実に減少させて処理負荷を低下させることができる。
【００５７】
ＰＣ１は、使用可能なネットワーク帯域に余裕がある場合にＩピクチャの割合を増加させることで、配信先で表示させる画像の品質を低下させることなく、自装置の処理負荷を低下させることができる。詳細には、ＰＣ１は、拠点画像４３が他拠点において資料画像４２よりも大きく表示されていない場合には、資料画像データのＩピクチャの割合を増加させる。その結果、ＰＣ１は、資料画像４２の品質の低下を防止しつつ、自装置の処理負荷を低下させることができる。一方、ＰＣ１は、拠点画像４３の方が資料画像４２よりも大きく表示されている場合には、拠点画像データのＩピクチャの割合を増加させる。その結果、ＰＣ１は、配信先で大きく表示されている拠点画像４３の品質の低下を防止しつつ、自装置の処理負荷を低下させることができる。
【００５８】
ＰＣ１は、配信先装置が自装置に送信する画像データの送信条件の変更を、配信先装置に対して指示する。詳細には、ＰＣ１は、自装置への拠点画像データの送信停止を配信先装置に指示することができる。その結果、ＰＣ１は、受信した画像データを復号化するための処理負荷を低下させることができる。
【００５９】
上記実施の形態において、ＰＣ１が本発明の「通信装置」に相当する。図４のＳ３で資料画像を生成するＣＰＵ１０が「第一データ生成手段」として機能する。カメラ３３が「撮影手段」に相当する。図４のＳ１で拠点画像データを生成するＣＰＵ１０が「第二データ生成手段」として機能する。図４のＳ４で資料画像データおよび拠点画像データを送信するＣＰＵ１０が「送信手段」として機能する。表示装置３４が「表示手段」に相当する。図７のＳ３２で配信先装置から表示比率を取得するＣＰＵ１０が「比率取得手段」として機能する。図５のＳ１７、図８のＳ４３、および図９のＳ５３で自装置の処理負荷を検出するＣＰＵ１０が「負荷検出手段」として機能する。図５のＳ１８、図８のＳ４４、および図９のＳ５４で処理負荷が閾値以上であるか否かを判断するＣＰＵ１０が「負荷判断手段」として機能する。
【００６０】
図８に示す拠点画像優先処理および図９に示す資料画像優先処理を行うＣＰＵ１０が「条件変更手段」として機能する。詳細には、図８のＳ４６で資料画像データの生成条件を変更するＣＰＵ１０が「第一条件変更手段」として機能する。図９のＳ５６で拠点画像データの生成条件を変更するＣＰＵ１０が「第二条件変更手段」として機能する。図８のＳ４２および図９のＳ５２で画像データのＩピクチャの割合を増加させる設定を行うＣＰＵ１０が「第三条件変更手段」として機能する。詳細には、Ｓ４２で拠点画像データのＩピクチャの割合を増加させる設定を行うＣＰＵ１０が「第四条件変更手段」として機能する。Ｓ５２で資料画像データのＩピクチャの割合を増加させるＣＰＵ１０が「第五条件変更手段」として機能する。
【００６１】
図７のＳ３５で拠点画像４３が資料画像４２よりも大きく表示されているか否かを判断するＣＰＵ１０が「表示判断手段」として機能する。図８のＳ４１および図９のＳ５１で帯域に余裕があるか否かを判断するＣＰＵ１０が「帯域判断手段」として機能する。図８のＳ４８および図９のＳ５８で画像データの送信停止を配信先装置に指示するＣＰＵ１０が「条件変更指示手段」として機能する。
【００６２】
図４のＳ３で資料画像を生成する処理が「第一データ生成ステップ」に相当する。図４のＳ１で拠点画像データを生成する処理が「第二データ生成ステップ」に相当する。図４のＳ４で資料画像データおよび拠点画像データを送信する処理が「送信ステップ」に相当する。図７のＳ３２で配信先装置から表示比率を取得する処理が「比率取得ステップ」に相当する。図５のＳ１７、図８のＳ４３、および図９のＳ５３で自装置の処理負荷を検出する処理が「負荷検出ステップ」に相当する。図５のＳ１８、図８のＳ４４、および図９のＳ５４で処理負荷が閾値以上であるか否かを判断する処理が「負荷判断ステップ」に相当する。図８に示す拠点画像優先処理および図９に示す資料画像優先処理が「条件変更ステップ」に相当する。
【００６３】
本発明は上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。上記実施の形態のＰＣ１は、図８のＳ４６および図９のＳ５６において、画像データのフレームレートを減少させることで自装置の処理負荷を低下させている。しかし、これは変更が可能である。例えば、ＰＣ１は、フレームレート、画像の解像度、および画像に用いる色数の少なくともいずれかを減少させることで、符号化処理の処理量を低下させてもよい。この場合でも、上記実施の形態と同様に、ＰＣ１は処理負荷を確実に低下させることができる。また、ＰＣ１は、Ｓ３２（図７参照）で取得した画像の表示比率に応じて、フレームレート、画像の解像度、および色数の減少量を決定してもよい。例えば、ＰＣ１は、画像の表示比率と各値の減少量とが対応付けられたテーブルをＨＤＤ１３に記憶しておく。テーブルでは、表示比率の差が大きい程減少量が多くなるように設定されている。ＰＣ１は、Ｓ３２で取得された表示比率に対応する減少量だけ各値を減少させる。この場合、ＰＣ１は、配信先装置における画像の表示比率に応じて適切に自装置の処理負荷を低下させることができる。
【００６４】
上記実施の形態におけるＰＣ１は、表示装置３４に接続し、他のＰＣ１から受信した画像データに基づいて表示装置３４の画像表示を制御する。しかし、ＰＣ１は、受信した画像データを同一拠点内の他のデバイスに転送し、画像データを転送されたデバイスが画像の表示制御を行ってもよい。この場合、ＰＣ１は、画像データを転送したデバイスによって表示されている資料画像４２および拠点画像４３の表示比率を取得して、配信元装置に通知すればよい。
【００６５】
上記実施形態におけるＰＣ１は、配信元装置として動作する場合、画像データの送信停止を配信先装置に指示することで、自装置における復号化処理の負荷を低下させることができる。しかし、配信元装置が配信先装置に対して指示する内容は、これに限られない。例えば、配信元装置は、配信先装置から自装置に送信する画像データのフレームレート、解像度、および色数の少なくともいずれかを減少させるように、配信先装置に対する指示を行ってもよい。この場合にも、配信元装置は、受信する画像データの復号化処理の負荷を低下させることができる。
【符号の説明】
【００６６】
１ ＰＣ
１０ ＣＰＵ
１３ ＨＤＤ
３３ カメラ
３４ 表示装置
４２ 資料画像
４３ 拠点画像
１００ 通信システム
【技術分野】
【０００１】
本発明は、画像データを生成して他のデバイスに送信する通信装置、通信方法、および通信プログラムに関する。
【背景技術】
【０００２】
従来、複数の通信装置を備えた通信システムにおいて、送信する画像データの生成条件を状況に応じて変更する技術が知られている。例えば、特許文献１に記載の映像配信システムでは、画像データを受信して画像を表示する表示装置は、表示する画像において視聴者が注視している領域を検出する。画像データを生成して送信する配信装置は、表示装置によって検出された注視領域の品質のみが高い画像データを生成し、表示装置に送信する。その結果、送受信されるデータの量の増加が抑制される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１３０２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
通信システムを用いたテレビ会議では、システム内で共有する共有資料の画像（以下、「資料画像」という。）のデータが、各拠点で撮影された画像（以下、「拠点画像」という。）のデータと並行して送受信される場合がある。資料画像の共有を行う場合、資料画像を配信する通信装置である配信元装置は、資料画像のデータを生成する処理を行わなければならない。画像データを配信するために必要な符号化処理は、復号化処理よりも負荷が大きい。よって、配信元装置は、資料画像のデータを受信する通信装置である配信先装置に比べて処理負荷が大きい。その結果、配信元装置の処理が遅延してテレビ会議の進行に問題が生じる場合があった。特許文献１に記載の技術では、資料画像の配信先における画像の表示態様に応じて配信元装置の処理負荷を低下させることはできなかった。
【０００５】
本発明は、資料画像の配信先における画像の表示態様に応じて処理負荷を低下させることができる通信装置、通信方法、および通信プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一の態様に係る通信装置は、他の通信装置との間で画像データの通信を行う通信装置であって、複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成手段と、画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成手段と、前記第一データ生成手段によって生成された前記資料画像データ、および前記第二データ生成手段によって生成された前記拠点画像データを前記他の通信装置に送信する送信手段と、前記送信手段によって前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得手段と、自装置のデータの処理負荷を検出する負荷検出手段と、前記負荷検出手段によって検出された処理負荷が閾値以上であるか否かを判断する負荷判断手段と、前記負荷判断手段によって処理負荷が閾値以上と判断された場合に、前記比率取得手段によって取得された表示比率に基づいて、前記第一データ生成手段および前記第二データ生成手段の少なくともいずれかによる画像データの生成条件を変更する条件変更手段とを備えている。
【０００７】
第一の態様に係る通信装置は、データの処理負荷が閾値以上である場合に、他拠点で表示されている自拠点の画像（資料画像の配信元の拠点の画像）と資料画像との表示比率に基づいて、画像データの生成条件を変更する。その結果、資料画像の配信先における画像の表示態様に応じて、自装置の処理負荷を低下させることができる。よって、通信装置は、処理遅延が生じてテレビ会議の進行が妨げられる可能性を適切に低下させることができる。
【０００８】
前記通信装置は、前記比率取得手段によって取得された表示比率から、前記表示手段において前記自拠点の画像が前記資料画像よりも大きく表示されているか否かを判断する表示判断手段をさらに備えてもよい。前記条件変更手段は、前記自拠点の画像の方が前記資料画像よりも大きく表示されていると前記表示判断手段によって判断された場合に、前記第一データ生成手段による前記資料画像データの生成条件を変更する第一条件変更手段と、前記自拠点の画像が前記資料画像よりも大きく表示されていないと前記表示判断手段によって判断された場合に、前記第二データ生成手段による前記拠点画像データの生成条件を変更する第二条件変更手段とを備えてもよい。
【０００９】
この場合、通信装置は、自拠点の画像（資料画像の配信元の拠点の画像）の方が大きく表示されている場合には、資料画像データの生成条件を変更する。よって、大きく表示されている自拠点の画像の品質を低下させることなく、処理負荷を低下させることができる。一方、通信装置は、自拠点の画像が資料画像よりも大きく表示されていない場合には、拠点画像データの生成条件を変更する。よって、資料画像の品質を低下させることなく、処理負荷を低下させることができる。従って、通信装置は、画像の表示比率に応じて適切に処理負荷を低下させることができる。
【００１０】
前記第一条件変更手段および前記第二条件変更手段は、符号化処理によって生成する画像データのフレームレート、画像の解像度、および色数の少なくともいずれかを減少させることで、画像データの生成条件を変更してもよい。通信装置は、フレームレート、画像の解像度、および色数の少なくともいずれかを減少させることで、画像データの生成処理量を確実に減少させて処理負荷を低下させることができる。
【００１１】
前記通信装置は、前記他の通信装置にデータを送信するために使用可能な帯域が、前記他の通信装置に送信しているデータの伝送速度よりも大きいか否かを判断する帯域判断手段をさらに備えてもよい。前記条件変更手段は、前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断された場合に、全画像データのうち、フレーム内予測符号化のみを用いて符号化される画像データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）が占める割合を増加させることで、画像データの生成条件を変更する第三条件変更手段を備えてもよい。
【００１２】
Ｉピクチャが占める割合を増加させると、符号化された画像データのデータ総量は増加するが、符号化に要する処理量は低下する。通信装置は、使用可能な帯域に余裕がある場合にＩピクチャが占める割合を増加させることで、画像の品質を低下させることなく処理負荷を低下させることができる。
【００１３】
前記通信装置は、前記他の通信装置にデータを送信するために使用可能な帯域が、前記他の通信装置に送信しているデータの伝送速度よりも大きいか否かを判断する帯域判断手段をさらに備えてもよい。前記条件変更手段は、前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断され、且つ前記自拠点の画像が前記資料画像よりも大きく表示されていないと前記表示判断手段によって判断された場合、前記資料画像データのうち、フレーム内予測符号化のみを用いて符号化される画像データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）が占める割合を増加させる第四条件変更手段と、前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断され、且つ前記自拠点の画像の方が前記資料画像よりも大きく表示されていると前記表示判断手段によって判断された場合、前記拠点画像データにおけるＩピクチャの割合を増加させる第五条件変更手段とをさらに備えてもよい。
【００１４】
フレーム間符号化によって生成されるＰピクチャは、参照するＩピクチャとの間の時間差が小さくなる程、画像品質の劣化を生じ難い。Ｉピクチャの割合を増加させることで、ＰピクチャとＩピクチャとの間の時間差が短縮されるため、画像品質の劣化が防止される。通信装置は、自拠点の画像（資料画像の配信元の拠点の画像）が他の拠点で資料画像よりも大きく表示されていない場合には、他拠点のユーザが注目している可能性が高い資料画像の品質の劣化を防止しつつ、処理負荷を低下させることができる。自拠点の画像の方が大きく表示されている場合には、大きく表示されている自拠点の画像の劣化を防止しつつ、処理負荷を低下させることができる。
【００１５】
前記通信装置は、前記他の通信装置が設置された拠点の画像のデータである他拠点画像データの前記通信装置への送信条件を変更する指示を前記他の通信装置へ送信する条件変更指示手段をさらに備えてもよい。この場合、通信装置は、他の通信装置が自装置に送信する画像データの送信条件の変更を他の通信装置に指示することで、受信するデータの処理量を低下させることができる。その結果、通信装置は、処理遅延が生じてテレビ会議の進行が妨げられる可能性を低下させることができる。
【００１６】
本発明の第二の態様に係る通信方法は、他の通信装置との間で画像データの通信を行う通信装置によって行われる通信方法であって、複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成ステップと、画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成ステップと、前記第一データ生成ステップにおいて生成された前記資料画像データ、および前記第二データ生成ステップにおいて生成された前記拠点画像データを前記他の通信装置に送信する送信ステップと、前記送信ステップにおいて前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得ステップと、自装置のデータの処理負荷を検出する負荷検出ステップと、前記負荷検出ステップにおいて検出された処理負荷が閾値以上であるか否かを判断する負荷判断ステップと、前記負荷判断ステップにおいて処理負荷が閾値以上と判断された場合に、前記比率取得ステップにおいて取得された表示比率に基づいて、前記第一データ生成ステップおよび前記第二データ生成ステップの少なくともいずれかにおける画像データの生成条件を変更する条件変更ステップとを備えている。
【００１７】
第二の態様に係る通信方法によると、通信装置は、データの処理負荷が閾値以上である場合に、他拠点で表示されている自拠点の画像（資料画像の配信元の拠点の画像）と資料画像との表示比率に基づいて、画像データの生成条件を変更する。その結果、資料画像の配信先における画像の表示態様に応じて、自装置の処理負荷を低下させることができる。よって、通信装置は、処理遅延が生じてテレビ会議の進行が妨げられる可能性を適切に低下させることができる。
【００１８】
本発明の第三の態様に係る通信プログラムは、他の通信装置との間で画像データの通信を行う通信装置に実行させる通信プログラムであって、コンピュータに、複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成ステップと、画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成ステップと、前記第一データ生成ステップにおいて生成された前記資料画像データ、および前記第二データ生成ステップにおいて生成された前記拠点画像データを前記他の通信装置に送信する送信ステップと、前記送信ステップにおいて前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得ステップと、自装置のデータの処理負荷を検出する負荷検出ステップと、前記負荷検出ステップにおいて検出された処理負荷が閾値以上であるか否かを判断する負荷判断ステップと、前記負荷判断ステップにおいて処理負荷が閾値以上と判断された場合に、前記比率取得ステップにおいて取得された表示比率に基づいて、前記第一データ生成ステップおよび前記第二データ生成ステップの少なくともいずれかにおける画像データの生成条件を変更する条件変更ステップとを実行させる。
【００１９】
第三の態様に係る通信プログラムによると、通信装置は、データの処理負荷が閾値以上である場合に、他拠点で表示されている自拠点の画像（資料画像の配信元の拠点の画像）と資料画像との表示比率に基づいて、画像データの生成条件を変更する。その結果、資料画像の配信先における画像の表示態様に応じて、自装置の処理負荷を低下させることができる。よって、通信装置は、処理遅延が生じてテレビ会議の進行が妨げられる可能性を適切に低下させることができる。
【図面の簡単な説明】
【００２０】
【図１】通信システム１００のシステム構成を示す図である。
【図２】配信先装置が表示装置３４に表示させる画像の一例を示す図である。
【図３】ＰＣ１の電気的構成を示すブロック図である。
【図４】ＰＣ１が実行するテレビ会議処理のフローチャートである。
【図５】ＰＣ１が実行する通信設定処理のフローチャートである。
【図６】通信設定処理中に実行される配信先処理のフローチャートである。
【図７】通信設定処理中に実行される配信元処理のフローチャートである。
【図８】配信元処理中に実行される拠点画像優先処理のフローチャートである。
【図９】配信元処理中に実行される資料画像優先処理のフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明の通信装置を具現化した一実施の形態であるパーソナルコンピュータ（以下、「ＰＣ」という。）１、およびＰＣ１を備えた通信システム１００について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２２】
図１を参照して、通信システム１００のシステム構成について説明する。通信システム１００は、複数のＰＣ１を備える。図１では２つのＰＣ１のみが図示されているが、ＰＣ１の数は３つ以上でもよい。各ＰＣ１は、インターネット等のネットワーク８を介して、他のＰＣ１との間でデータを送受信する。詳細には、ＰＣ１は、他のＰＣ１のそれぞれとの間で、Ｐ２Ｐ（ｐｅｅｒ ｔｏ ｐｅｅｒ）で映像、資料、音声等のデータを直接送受信することができる。なお、本発明における通信装置として用いることができるのはＰＣ１に限られない。例えば、テレビ会議を実行するために各拠点に配置される専用のテレビ会議端末等を、本発明における通信装置として用いることも可能である。
【００２３】
通信システム１００は、画像および音声を用いた遠隔会議を実行するためのテレビ会議システムである。各ＰＣ１は、自拠点のカメラ３３から入力した撮影画像のデータ、およびマイク３１（図３参照）から入力した音声のデータを、他のＰＣ１に送信する。各ＰＣ１は、他のＰＣ１から受信したデータに基づいて、他の拠点の撮像画像を表示装置３４に表示し、且つ他の拠点の音声をスピーカ３２（図３参照）から出力する。その結果、複数の拠点の拠点画像および音声が、通信システム１００内で共有される。よって、通信システム１００によると、全てのユーザが同一の拠点にいない場合でも、ユーザは円滑に会議を実行することができる。１つの拠点にいるユーザは１人でもよいし、複数でもよい。
【００２４】
さらに、通信システム１００では、文書、図面等の資料の画像（以下、「資料画像」という。）を複数のユーザ間で共有しながらテレビ会議を行うこともできる。具体的には、他のＰＣ１に資料画像を配信するＰＣ１（以下、「配信元装置」という。）は、自拠点の表示装置３４に表示させる資料画像をキャプチャして符号化処理を行うことで、資料画像のデータを生成する。配信元装置は、生成した資料画像データを、通信システム１００内の他のＰＣ１（以下、「配信先装置」という。）に送信する。配信先装置は、受信した資料画像データを復号化し、資料画像を自拠点の表示装置３４に表示させる。
【００２５】
図２を参照して、資料画像の共有中に表示装置３４に表示される画像の一例について説明する。拠点Ｂに配置された配信先装置が表示装置３４に表示させる画像の一例を、図２に示す。前述したように、配信先装置は、配信元装置から受信した資料画像データを符号化し、表示装置３４に資料画像４２を表示させる。また、配信先装置は、拠点Ａに配置された配信元装置から拠点画像のデータを受信して復号化し、拠点Ａの拠点画像４３を表示させる。さらに、配信先装置は、自拠点のカメラ３３によって撮影された拠点Ｂの拠点画像４４を表示させる。従って、拠点Ｂのユーザは、複数拠点で共有されている資料画像４２と、遠隔地である拠点Ａの拠点画像４３と、自拠点の拠点画像４４とを見ながら、円滑にテレビ会議を行うことができる。配信元装置が表示装置３４に表示させる画像も、図２に示した例と同様であるため、この説明は省略する。
【００２６】
通信システム１００では、ユーザは、キーボードおよびマウス等の操作部３５（図３参照）を操作することで、資料画像４２および拠点画像４３，４４の表示領域を変更することができる。従って、ユーザは、資料画像４２に注目したい場合には、資料画像４２の表示領域を大きくすればよい。拠点Ａの様子に注目したい場合には、拠点Ａの拠点画像４３の表示領域を大きくすればよい。
【００２７】
通信システム１００内で送受信される画像データについて説明する。通信システム１００が備えるＰＣ１は、Ｈ．２６４の規格に基づいて画像圧縮符号化された画像データを送受信する。画像圧縮符号化には、フレーム内符号化とフレーム間符号化とがある。
【００２８】
フレーム内符号化とは、カメラによって入力された連続する複数フレームの画像データのうち１フレーム内の画面内予測によって行われる符号化である。フレーム内符号化によって生成される画像データを、Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）という。フレーム間符号化では、連続する複数のフレームのうち、符号化するフレームとは異なるフレームが参照されて、参照されたフレーム（以下、「被参照フレーム」という。）との間の予測誤差が算出される。算出された予測誤差が符号化される。フレーム間符号化によって生成される画像データには、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）およびＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）がある。ＰピクチャおよびＢピクチャの復号化には、被参照フレームのデータが必要である。
【００２９】
Ｉピクチャは、ＰピクチャおよびＢピクチャよりもデータ量が多い。従って、ＰＣ１が使用可能なネットワーク帯域に余裕がない場合に、複数の画像データに占めるＩピクチャの割合を増加させると、使用可能な帯域を越える伝送速度でデータが送信されて通信に不具合が生じる可能性がある。一方、Ｉピクチャを生成する場合のＰＣ１の処理量は、ＰピクチャおよびＢピクチャを生成する場合の処理量よりも少ない。よって、ＰＣ１は、Ｉピクチャの割合を増加させることで、処理負担を低下させることができる。
【００３０】
また、ＰピクチャおよびＢピクチャは、直前のＩピクチャとの間の時間差が小さくなる程、画像品質の劣化が生じ難くなる。Ｉピクチャの割合が増加すると、ＰピクチャおよびＢピクチャとＩピクチャとの間の時間差が短縮される。さらに、Ｉピクチャの割合が増加すると、被参照フレームが欠落してＰピクチャおよびＢピクチャの復号が不可能になる可能性が低下する。よって、ＰＣ１は、Ｉピクチャの割合を増加させることで、画像の品質の劣化を防止することもできる。
【００３１】
図３を参照して、ＰＣ１の電気的構成について説明する。ＰＣ１は、ＰＣ１の制御を司るＣＰＵ１０を備えている。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ハードディスクドライブ（以下、「ＨＤＤ」という。）１３、および入出力インターフェース１９が、バス１８を介して接続されている。
【００３２】
ＲＯＭ１１は、ＰＣ１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は、後述するテレビ会議処理および通信設定処理を実行させるための通信プログラム等の各種情報を記憶する不揮発性の記憶装置である。ＨＤＤ１３の代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。
【００３３】
入出力インターフェース１９には、音声入力処理部２１、音声出力処理部２２、映像入力処理部２３、映像出力処理部２４、操作入力処理部２５、および外部通信Ｉ／Ｆ２６が接続されている。音声入力処理部２１は、音声を入力するマイク３１からの音声データの入力を処理する。音声出力処理部２２は、音声を出力するスピーカ３２の動作を処理する。映像入力処理部２３は、映像を撮影するカメラ３３からの画像データの入力を処理する。映像出力処理部２４は、映像を表示する表示装置３４の動作を処理する。操作入力処理部２５は、キーボードおよびマウス等の操作部３５からの操作入力を処理する。外部通信Ｉ／Ｆ２６は、ＰＣ１をネットワーク８に接続する。
【００３４】
以下、テレビ会議中にＰＣ１が実行する処理について、図４から図９を参照して説明する。テレビ会議の実行指示をＰＣ１が受け付けると、ＰＣ１のＣＰＵ１０は、ＨＤＤ１３に記憶されている通信プログラムに従って、図４に示すテレビ会議処理、および図５から図９に示す通信設定処理を並行して実行する。図４に示すテレビ会議処理は、画像データおよび音声データの通信、出力を行ってテレビ会議を実現するための処理である。図５に示す通信設定処理は、テレビ会議の状況に応じて配信元装置の処理負荷を低下させるための処理である。ＰＣ１は、テレビ会議処理および通信設定処理を並行して実行することで、配信元装置の処理負荷を低下させつつテレビ会議を実行することができる。
【００３５】
図４を参照して、テレビ会議処理について説明する。まず、ＣＰＵ１０は、自拠点のカメラ３３から入力された画像のデータを符号化して拠点画像データを生成する（Ｓ１）。ＣＰＵ１０は、他拠点への資料画像の配信中であるか否か、つまり、自装置が配信元装置であるか否かを判断する（Ｓ２）。後述する操作指示受付処理（Ｓ１１、図５参照）で他拠点への資料画像の配信指示が受け付けられておらず、配信元装置となっていない場合には（Ｓ２：ＮＯ）、処理はＳ４へ移行する。自装置が配信元装置となっていれば（Ｓ２：ＹＥＳ）、ＣＰＵ１０は、配信する資料をキャプチャして符号化処理を行い、資料画像データを生成する（Ｓ３）。
【００３６】
次いで、ＣＰＵ１０は、Ｓ１およびＳ３で生成した画像データを他のＰＣ１に送信し、且つ、他のＰＣ１から画像データを受信する（Ｓ４）。ＣＰＵ１０は、受信した画像データを復号化し、復号化した画像データに基づいて、表示装置３４に画像を表示させる（Ｓ５）。ＣＰＵ１０は、自拠点のカメラ３３が撮像した画像のデータを取得し、自拠点の画像を表示装置３４に表示させる（Ｓ６）。ＣＰＵ１０は、音声データの符号化、送受信、復号化等の処理を行う（Ｓ７）。テレビ会議の終了指示が入力されたか否かを判断する（Ｓ８）。入力されていなければ（Ｓ８：ＮＯ）、処理はＳ１へ戻る。終了指示が入力された場合（Ｓ８：ＹＥＳ）、処理は終了する。
【００３７】
図５から図９を参照して、通信設定処理について説明する。前述したように、ＣＰＵ１０は、テレビ会議の実行指示をＰＣ１が入力することで、図５に示す通信設定処理を開始する。通信設定処理は、テレビ会議処理（図４参照）と並行して実行される。図５に示すように、ＣＰＵ１０は、通信設定処理を開始すると、操作部３５からの各種操作指示の入力を受け付ける（Ｓ１１）。操作指示には、資料画像の他拠点への配信を開始する指示、配信を終了する指示、表示装置３４に表示されている資料画像４２および拠点画像４３，４４の表示領域を変更する指示、テレビ会議を終了する指示等がある。ＣＰＵ１０は、操作指示が入力されると、入力された指示に応じて処理を実行する。なお、資料画像の配信を終了する指示が入力された場合に、Ｉピクチャの割合およびフレームレート等の設定が変更されていれば、ＣＰＵ１０は、変更されていた設定を初期化する。さらに、配信先装置に行っていた指示があれば、指示を解除する。上記の設定および指示の詳細については後述する。
【００３８】
ＣＰＵ１０は、他拠点への資料画像の配信中であるか否かを判断する（Ｓ１２）。自装置が配信元装置でなく、資料画像の配信中でないと判断すると（Ｓ１２：ＮＯ）、ＣＰＵ１０は、他のＰＣ１からの資料画像データの受信中であるか否かを判断する（Ｓ１３）。自装置が配信元装置でも配信先装置でもない場合、つまり、資料画像が共有されていない場合には（Ｓ１３：ＮＯ）、ＣＰＵ１０は、テレビ会議の終了指示が受け付けられたか否かを判断する（Ｓ１４）。テレビ会議の終了指示がＳ１１で受け付けられていなければ（Ｓ１４：ＮＯ）、処理はＳ１１へ戻る。他のＰＣ１から資料画像データを受信している場合には（Ｓ１３：ＹＥＳ）、ＣＰＵ１０は、配信先処理を行う（Ｓ１５）。配信先処理は、ＰＣ１が配信先装置として動作する場合の処理である。
【００３９】
図６に示すように、ＣＰＵ１０は、配信先処理を開始すると、表示比率を配信元装置に通知するタイミングであるか否かを判断する（Ｓ２１）。表示比率とは、接続している表示装置３４に表示させている、配信元装置の拠点の拠点画像４３と資料画像４２との表示比率である。本実施の形態では、通知タイミングは、資料画像の共有開始時（資料画像データを配信元装置から最初に受信した時）、および、表示比率がユーザの指示によって変更された時である。通知タイミングは変更が可能であり、例えば一定時間毎に表示比率を通知してもよい。表示比率の通知タイミングでなければ（Ｓ２１：ＮＯ）、処理はＳ２４の判断へ移行する。通知タイミングである場合には（Ｓ２１：ＹＥＳ）、ＣＰＵ１０は、資料画像４２と配信元装置の拠点画像４３との表示比率を算出する（Ｓ２２）。算出した表示比率を、配信元装置に通知する（Ｓ２３）。
【００４０】
次いで、ＣＰＵ１０は、配信元装置から送信停止の指示を受信したか否かを判断する（Ｓ２４）。詳細は後述するが、送信停止の指示とは、配信先装置から配信元装置への拠点画像データの送信を停止させる指示である。配信元装置は、自装置の処理負担を低下させるために、配信先装置に送信停止の指示を行う場合がある。ＣＰＵ１０は、送信停止の指示を配信元装置から受信すると（Ｓ２４：ＹＥＳ）、拠点画像データの配信元装置への送信を停止するように設定を行う（Ｓ２５）。送信停止の設定が行われている間は、図４に示すＳ４において、ＣＰＵ１０は配信元装置への拠点画像データの送信を行わない。送信停止の指示を受信していなければ（Ｓ２４：ＮＯ）、処理はそのままＳ２６の判断へ移行する。
【００４１】
次いで、ＣＰＵ１０は、配信元装置からサイズ変更禁止の指示を受信したか否かを判断する（Ｓ２６）。詳細は後述するが、サイズ変更禁止の指示とは、資料画像４２または拠点画像４３のサイズ（表示領域）の変更を禁止する指示である。配信元装置は、画像の品質を向上させることができない場合に、品質の低い画像が拡大されることを防止するために、サイズ変更禁止の指示を配信先装置に送信する。ＣＰＵ１０は、サイズ変更禁止の指示を配信元装置から受信すると（Ｓ２６：ＹＥＳ）、指定された画像のサイズ変更の禁止を設定し（Ｓ２７）、処理は通信設定処理へ戻る。サイズ変更の禁止が設定されている間は、図５に示すＳ１１において、ＣＰＵ１０は、指定された画像の表示領域のサイズを変更しない。サイズ変更禁止の指示を受信していなければ（Ｓ２６：ＮＯ）、処理はそのまま通信設定処理へ戻る。
【００４２】
図５の説明に戻る。ＣＰＵ１０は、他拠点への資料画像の配信中であると判断すると（Ｓ１２：ＹＥＳ）、自装置の処理負荷を検出する（Ｓ１７）。本実施形態では、ＣＰＵ１０は、ＣＰＵ使用率を処理負荷として検出する。しかし、ＲＡＭ１２の使用容量等の他のパラメータを処理負荷として検出してもよい。次いで、ＣＰＵ１０は、検出した自装置の処理負荷が閾値以上であるか否かを判断する（Ｓ１８）。具体的には、ＣＰＵ使用率が５０％以上であるか否かを判断するが、閾値の値が適宜変更できることは言うまでもない。処理負荷が閾値未満であれば（Ｓ１８：ＮＯ）、処理はそのままＳ１４の判断へ移行する。処理負荷が閾値以上であれば（Ｓ１８：ＹＥＳ）、配信元処理が行われる（Ｓ１９）。配信元処理は、ＰＣ１が配信元装置として動作する場合の処理である。その後、処理はＳ１４へ移行する。テレビ会議を終了する指示が入力されると（Ｓ１４：ＹＥＳ）、処理は終了する。
【００４３】
図７を参照して、配信元処理について説明する。ＣＰＵ１０は、配信元処理を開始すると、配信先装置の少なくともいずれかから表示比率が通知されたか否かを判断する（Ｓ３１）。表示比率が通知されていなければ（Ｓ３１：ＮＯ）、処理はそのまま通信設定処理へ戻る。
【００４４】
表示比率が通知された場合（Ｓ３１：ＹＥＳ）、ＣＰＵ１０は、通知された表示比率の値を取得してＲＡＭ１２に記憶する（Ｓ３２）。ＣＰＵ１０は、配信先装置にデータを送信するために使用可能なネットワーク帯域を計測する（Ｓ３３）。使用可能なネットワーク帯域とは、配信元装置が送信するデータの伝送速度とほぼ等しい伝送速度で配信先装置がデータを受信できる最大の伝送速度（ｂｐｓ）をいう。ネットワーク帯域を計測する手法には、種々の公知の手法を用いることができる。本実施形態では、以下の文献に記載されている手法を用いる。「津川知朗、ＣａｏＬｅ Ｔｈａｎｈ Ｍａｎ、長谷川剛、村田正幸、「インラインネットワーク計測手法ＩｍＴＣＰおよびその応用手法の実装および性能評価」、電子情報通信学会技術研究報告（ＩＮ２００５−１２０）、ｐ．７９−８４、２００５年１２月」次いで、ＣＰＵ１０は、配信先装置に送信しているデータの伝送速度（ｂｐｓ）を算出する（Ｓ３４）。
【００４５】
ＣＰＵ１０は、配信先の拠点において自拠点の拠点画像４３の方が資料画像４２よりも大きく表示されているか否かを、通知された表示比率から判断する（Ｓ３５）。本実施の形態では、配信先装置が複数存在する場合には、その時点でＲＡＭ１２に記憶されている複数の表示比率の平均値によってＳ３５の判断が行われる。しかし、判断方法はこれに限られない。例えば、複数の配信先のうちの半数以上で拠点画像４３の方が大きく表示されている場合に、「拠点画像４３の方が大きい」と判断してもよい。また、特定の配信先装置（例えば、会議の議長を務めるユーザの配信先装置）の表示比率のみに基づいて判断を行ってもよい。ＣＰＵ１０は、拠点画像４３の方が大きく表示されていると判断した場合（Ｓ３５：ＹＥＳ）、拠点画像優先処理を行う（Ｓ３６）。拠点画像優先処理では、配信先で大きく表示されている拠点画像４３の品質を低下させることなく、自装置の処理負担を低下させるための処理が行われる。拠点画像４３が資料画像４２よりも大きく表示されていないと判断した場合（Ｓ３５：ＮＯ）、ＣＰＵ１０は資料画像優先処理を行う（Ｓ３７）。資料画像優先処理では、資料画像４２の品質を低下させることなく処理負担を低下させるための処理が行われる。その後、処理は通信設定処理へ戻る。
【００４６】
図８を参照して、拠点画像優先処理について説明する。まず、ＣＰＵ１０は、Ｓ３３（図７参照）で計測したネットワーク帯域が、Ｓ３４（図７参照）で算出したデータの伝送速度よりも大きいか否かを判断する（Ｓ４１）。ネットワーク帯域の方が大きく、帯域に余裕がある場合には（Ｓ４１：ＹＥＳ）、ＣＰＵ１０は、Ｓ１（図４参照）で生成する拠点画像データにおけるＩピクチャの割合を増加させる設定を行う。その結果、Ｓ１で実行する符号化処理の処理負担が低下し、且つ、配信先で表示される拠点画像４３の品質の低下が防止される。なお、前述したように、Ｉピクチャの割合を増加させると、送信するデータのデータ量は増加する。従って、Ｉピクチャの割合は、配信先装置へのデータの伝送速度がネットワーク帯域を越えない範囲で増加させる。次いで、ＣＰＵ１０は、自装置の処理負荷であるＣＰＵ使用率を検出する（Ｓ４３）。処理負荷が閾値（ＣＰＵ使用率５０％）以上であるか否かを判断する（Ｓ４４）。処理負荷が閾値未満となっていれば（Ｓ４４：ＮＯ）、処理は配信元処理へ戻る。処理負荷が未だ閾値以上であれば（Ｓ４４：ＹＥＳ）、処理はＳ４１へ戻る。
【００４７】
使用可能なネットワーク帯域が、データの伝送速度以下であれば（Ｓ４１：ＮＯ）、ＣＰＵ１０は、資料画像データのフレームレートを既に減少させているか否かを判断する（Ｓ４５）。未だフレームレートを減少させていなければ（Ｓ４５：ＮＯ）、ＣＰＵ１０は、資料画像データのフレームレートを減少させる設定を行う（Ｓ４６）。その結果、Ｓ３（図４参照）で実行する資料画像データの生成処理の処理負担が低下し、且つ、配信先装置へのデータの伝送速度が低下する。データの伝送速度が低下してネットワーク帯域に余裕ができると、Ｉピクチャの割合を増加させることによる処理負荷の低下（Ｓ４２）も可能となる。処理はＳ４３へ移行する。
【００４８】
資料画像データのフレームレートを既に減少させていれば（Ｓ４５：ＹＥＳ）、ＣＰＵ１０は、配信先装置に対する画像データの送信停止の指示を既に行ったか否かを判断する（Ｓ４７）。指示を未だ行っていなければ（Ｓ４７：ＮＯ）、１または複数の配信先装置に対し、配信先の拠点画像のデータの自装置への送信停止を指示する（Ｓ４８）。その結果、Ｓ５（図４参照）で実行する画像データの復号化の処理負担が低下する。処理はＳ４３へ移行する。
【００４９】
画像データの送信停止の指示を既に行っていれば（Ｓ４７：ＹＥＳ）、ＣＰＵ１０は、配信先装置に対し、自拠点の拠点画像４３のサイズ変更の禁止を指示する（Ｓ４９）。この場合、配信元装置は、処理負担が大きい状態であるため、配信先装置に送信する拠点画像データの品質を向上させることができない。配信元装置は、配信先で表示されている拠点画像４３の表示サイズの変更禁止を指示することで、配信先で解像度や画質の低い拠点画像４３が拡大されることを防止することができる。処理は配信元処理へ戻る。
【００５０】
図９を参照して、資料画像優先処理について説明する。まず、ＣＰＵ１０は、ネットワーク帯域がデータの伝送速度よりも大きいか否かを判断する（Ｓ５１）。ネットワーク帯域の方が大きく、帯域に余裕がある場合には（Ｓ５１：ＹＥＳ）、ＣＰＵ１０は、Ｓ３（図４参照）で生成する資料画像データにおけるＩピクチャの割合を増加させる設定を行う。その結果、Ｓ３で実行する符号化処理の処理負担が低下し、且つ、配信先で表示される資料画像４２の品質の低下が防止される。Ｉピクチャの割合は、配信先装置へのデータの伝送速度がネットワーク帯域を越えない範囲で増加させる。次いで、ＣＰＵ１０は、自装置の処理負荷を検出し（Ｓ５３）、処理負荷が閾値以上であるか否かを判断する（Ｓ５４）。処理負荷が閾値未満となっていれば（Ｓ５４：ＮＯ）、処理は配信元処理へ戻る。処理負荷が未だ閾値以上であれば（Ｓ５４：ＹＥＳ）、処理はＳ５１へ戻る。
【００５１】
帯域に余裕がなければ（Ｓ５１：ＮＯ）、ＣＰＵ１０は、Ｓ１（図４参照）で生成する拠点画像データのフレームレートを既に減少させているか否かを判断する（Ｓ５５）。フレームレートを未だ減少させていなければ（Ｓ５５：ＮＯ）、ＣＰＵ１０は、拠点画像データのフレームレートを減少させる設定を行う（Ｓ５６）。その結果、Ｓ１で実行する拠点画像データの生成処理の処理負担が低下し、且つ配信先装置へのデータの伝送速度が低下する。処理はＳ５３へ移行する。
【００５２】
拠点画像データのフレームレートを既に減少させていれば（Ｓ５５：ＹＥＳ）、ＣＰＵ１０は、配信先装置に対する画像データの送信停止の指示を既に行ったか否かを判断する（Ｓ５７）。指示を未だ行っていなければ（Ｓ５７：ＮＯ）、配信先装置に対し、拠点画像データの自装置への送信停止を指示する（Ｓ５８）。その結果、Ｓ５（図４参照）で実行する複合化処理の負担が低下する。処理はＳ５３へ移行する
【００５３】
画像データの送信停止の指示を既に行っていれば（Ｓ５７：ＹＥＳ）、ＣＰＵ１０は、資料画像が静止画であるか否かを判断する（Ｓ５９）。資料画像が静止画であれば（Ｓ５９：ＹＥＳ）、ＣＰＵ１０は、資料画像が更新された場合にのみ資料画像データを生成して送信する設定を行う（Ｓ６０）。その結果、Ｓ３およびＳ４（図４参照）で実行する処理の負荷が低下し、且つ配信先装置へのデータの伝送速度が低下する。処理はＳ５３へ移行する。
【００５４】
資料画像が静止画でなく動画である場合には（Ｓ５９：ＮＯ）、ＣＰＵ１０は、配信先装置に対し、資料画像４２の表示サイズの変更禁止を指示する（Ｓ６１）。その結果、解像度や画質の低い資料画像４２が配信先で拡大されることを防止することができる。処理は配信元処理へ戻る。
【００５５】
以上説明したように、本実施の形態に係るＰＣ１は、データの処理負荷が閾値以上である場合に、他拠点で表示されている資料画像４２と拠点画像４３との表示比率に基づいて、配信先装置に送信する画像データの生成条件を変更する。その結果、ＰＣ１は、資料画像４２の配信先における画像の表示態様に応じて、自装置の処理負荷を適切に低下させることができる。よって、ＰＣ１は、処理遅延が生じてテレビ会議の進行が妨げられる可能性を低下させることができる。
【００５６】
ＰＣ１は、自拠点の拠点画像４３が他拠点において資料画像４２よりも大きく表示されている場合には、資料画像データの生成条件を変更する。よって、ＰＣ１は、大きく表示されている拠点画像４３の品質を低下させることなく、自装置の処理負荷を低下させることができる。一方、ＰＣ１は、拠点画像４３が資料画像４２よりも大きく表示されていない場合には、拠点画像データの生成条件を変更する。よって、資料画像４２の品質を低下させることなく、処理負荷を低下させることができる。従って、ＰＣ１は、他拠点における画像の表示比率に応じて適切に処理負荷を低下させることができる。具体的には、ＰＣ１は、画像データのフレームレートを減少させることで、画像データの生成処理量を確実に減少させて処理負荷を低下させることができる。
【００５７】
ＰＣ１は、使用可能なネットワーク帯域に余裕がある場合にＩピクチャの割合を増加させることで、配信先で表示させる画像の品質を低下させることなく、自装置の処理負荷を低下させることができる。詳細には、ＰＣ１は、拠点画像４３が他拠点において資料画像４２よりも大きく表示されていない場合には、資料画像データのＩピクチャの割合を増加させる。その結果、ＰＣ１は、資料画像４２の品質の低下を防止しつつ、自装置の処理負荷を低下させることができる。一方、ＰＣ１は、拠点画像４３の方が資料画像４２よりも大きく表示されている場合には、拠点画像データのＩピクチャの割合を増加させる。その結果、ＰＣ１は、配信先で大きく表示されている拠点画像４３の品質の低下を防止しつつ、自装置の処理負荷を低下させることができる。
【００５８】
ＰＣ１は、配信先装置が自装置に送信する画像データの送信条件の変更を、配信先装置に対して指示する。詳細には、ＰＣ１は、自装置への拠点画像データの送信停止を配信先装置に指示することができる。その結果、ＰＣ１は、受信した画像データを復号化するための処理負荷を低下させることができる。
【００５９】
上記実施の形態において、ＰＣ１が本発明の「通信装置」に相当する。図４のＳ３で資料画像を生成するＣＰＵ１０が「第一データ生成手段」として機能する。カメラ３３が「撮影手段」に相当する。図４のＳ１で拠点画像データを生成するＣＰＵ１０が「第二データ生成手段」として機能する。図４のＳ４で資料画像データおよび拠点画像データを送信するＣＰＵ１０が「送信手段」として機能する。表示装置３４が「表示手段」に相当する。図７のＳ３２で配信先装置から表示比率を取得するＣＰＵ１０が「比率取得手段」として機能する。図５のＳ１７、図８のＳ４３、および図９のＳ５３で自装置の処理負荷を検出するＣＰＵ１０が「負荷検出手段」として機能する。図５のＳ１８、図８のＳ４４、および図９のＳ５４で処理負荷が閾値以上であるか否かを判断するＣＰＵ１０が「負荷判断手段」として機能する。
【００６０】
図８に示す拠点画像優先処理および図９に示す資料画像優先処理を行うＣＰＵ１０が「条件変更手段」として機能する。詳細には、図８のＳ４６で資料画像データの生成条件を変更するＣＰＵ１０が「第一条件変更手段」として機能する。図９のＳ５６で拠点画像データの生成条件を変更するＣＰＵ１０が「第二条件変更手段」として機能する。図８のＳ４２および図９のＳ５２で画像データのＩピクチャの割合を増加させる設定を行うＣＰＵ１０が「第三条件変更手段」として機能する。詳細には、Ｓ４２で拠点画像データのＩピクチャの割合を増加させる設定を行うＣＰＵ１０が「第四条件変更手段」として機能する。Ｓ５２で資料画像データのＩピクチャの割合を増加させるＣＰＵ１０が「第五条件変更手段」として機能する。
【００６１】
図７のＳ３５で拠点画像４３が資料画像４２よりも大きく表示されているか否かを判断するＣＰＵ１０が「表示判断手段」として機能する。図８のＳ４１および図９のＳ５１で帯域に余裕があるか否かを判断するＣＰＵ１０が「帯域判断手段」として機能する。図８のＳ４８および図９のＳ５８で画像データの送信停止を配信先装置に指示するＣＰＵ１０が「条件変更指示手段」として機能する。
【００６２】
図４のＳ３で資料画像を生成する処理が「第一データ生成ステップ」に相当する。図４のＳ１で拠点画像データを生成する処理が「第二データ生成ステップ」に相当する。図４のＳ４で資料画像データおよび拠点画像データを送信する処理が「送信ステップ」に相当する。図７のＳ３２で配信先装置から表示比率を取得する処理が「比率取得ステップ」に相当する。図５のＳ１７、図８のＳ４３、および図９のＳ５３で自装置の処理負荷を検出する処理が「負荷検出ステップ」に相当する。図５のＳ１８、図８のＳ４４、および図９のＳ５４で処理負荷が閾値以上であるか否かを判断する処理が「負荷判断ステップ」に相当する。図８に示す拠点画像優先処理および図９に示す資料画像優先処理が「条件変更ステップ」に相当する。
【００６３】
本発明は上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。上記実施の形態のＰＣ１は、図８のＳ４６および図９のＳ５６において、画像データのフレームレートを減少させることで自装置の処理負荷を低下させている。しかし、これは変更が可能である。例えば、ＰＣ１は、フレームレート、画像の解像度、および画像に用いる色数の少なくともいずれかを減少させることで、符号化処理の処理量を低下させてもよい。この場合でも、上記実施の形態と同様に、ＰＣ１は処理負荷を確実に低下させることができる。また、ＰＣ１は、Ｓ３２（図７参照）で取得した画像の表示比率に応じて、フレームレート、画像の解像度、および色数の減少量を決定してもよい。例えば、ＰＣ１は、画像の表示比率と各値の減少量とが対応付けられたテーブルをＨＤＤ１３に記憶しておく。テーブルでは、表示比率の差が大きい程減少量が多くなるように設定されている。ＰＣ１は、Ｓ３２で取得された表示比率に対応する減少量だけ各値を減少させる。この場合、ＰＣ１は、配信先装置における画像の表示比率に応じて適切に自装置の処理負荷を低下させることができる。
【００６４】
上記実施の形態におけるＰＣ１は、表示装置３４に接続し、他のＰＣ１から受信した画像データに基づいて表示装置３４の画像表示を制御する。しかし、ＰＣ１は、受信した画像データを同一拠点内の他のデバイスに転送し、画像データを転送されたデバイスが画像の表示制御を行ってもよい。この場合、ＰＣ１は、画像データを転送したデバイスによって表示されている資料画像４２および拠点画像４３の表示比率を取得して、配信元装置に通知すればよい。
【００６５】
上記実施形態におけるＰＣ１は、配信元装置として動作する場合、画像データの送信停止を配信先装置に指示することで、自装置における復号化処理の負荷を低下させることができる。しかし、配信元装置が配信先装置に対して指示する内容は、これに限られない。例えば、配信元装置は、配信先装置から自装置に送信する画像データのフレームレート、解像度、および色数の少なくともいずれかを減少させるように、配信先装置に対する指示を行ってもよい。この場合にも、配信元装置は、受信する画像データの復号化処理の負荷を低下させることができる。
【符号の説明】
【００６６】
１ ＰＣ
１０ ＣＰＵ
１３ ＨＤＤ
３３ カメラ
３４ 表示装置
４２ 資料画像
４３ 拠点画像
１００ 通信システム
【特許請求の範囲】
【請求項１】
他の通信装置との間で画像データの通信を行う通信装置であって、
複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成手段と、
画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成手段と、
前記第一データ生成手段によって生成された前記資料画像データ、および前記第二データ生成手段によって生成された前記拠点画像データを前記他の通信装置に送信する送信手段と、
前記送信手段によって前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得手段と、
自装置のデータの処理負荷を検出する負荷検出手段と、
前記負荷検出手段によって検出された処理負荷が閾値以上であるか否かを判断する負荷判断手段と、
前記負荷判断手段によって処理負荷が閾値以上と判断された場合に、前記比率取得手段によって取得された表示比率に基づいて、前記第一データ生成手段および前記第二データ生成手段の少なくともいずれかによる画像データの生成条件を変更する条件変更手段と
を備えたことを特徴とする通信装置。
【請求項２】
前記比率取得手段によって取得された表示比率から、前記表示手段において前記自拠点の画像が前記資料画像よりも大きく表示されているか否かを判断する表示判断手段をさらに備え、
前記条件変更手段は、
前記自拠点の画像の方が前記資料画像よりも大きく表示されていると前記表示判断手段によって判断された場合に、前記第一データ生成手段による前記資料画像データの生成条件を変更する第一条件変更手段と、
前記自拠点の画像が前記資料画像よりも大きく表示されていないと前記表示判断手段によって判断された場合に、前記第二データ生成手段による前記拠点画像データの生成条件を変更する第二条件変更手段と
を備えたことを特徴とする請求項１に記載の通信装置。
【請求項３】
前記第一条件変更手段および前記第二条件変更手段は、符号化処理によって生成する画像データのフレームレート、画像の解像度、および色数の少なくともいずれかを減少させることで、画像データの生成条件を変更することを特徴とする請求項２に記載の通信装置。
【請求項４】
前記他の通信装置にデータを送信するために使用可能な帯域が、前記他の通信装置に送信しているデータの伝送速度よりも大きいか否かを判断する帯域判断手段をさらに備え、
前記条件変更手段は、
前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断された場合に、全画像データのうち、フレーム内予測符号化のみを用いて符号化される画像データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）が占める割合を増加させることで、画像データの生成条件を変更する第三条件変更手段を備えたことを特徴とする請求項１から３のいずれかに記載の通信装置。
【請求項５】
前記他の通信装置にデータを送信するために使用可能な帯域が、前記他の通信装置に送信しているデータの伝送速度よりも大きいか否かを判断する帯域判断手段をさらに備え、
前記条件変更手段は、
前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断され、且つ前記自拠点の画像が前記資料画像よりも大きく表示されていないと前記表示判断手段によって判断された場合、前記資料画像データのうち、フレーム内予測符号化のみを用いて符号化される画像データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）が占める割合を増加させる第四条件変更手段と、
前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断され、且つ前記自拠点の画像の方が前記資料画像よりも大きく表示されていると前記表示判断手段によって判断された場合、前記拠点画像データにおけるＩピクチャの割合を増加させる第五条件変更手段と
を備えたことを特徴とする請求項２または３に記載の通信装置。
【請求項６】
前記他の通信装置が設置された拠点の画像のデータである他拠点画像データの前記通信装置への送信条件を変更する指示を前記他の通信装置へ送信する条件変更指示手段をさらに備えたことを特徴とする請求項１から５のいずれかに記載の通信装置。
【請求項７】
他の通信装置との間で画像データの通信を行う通信装置によって行われる通信方法であって、
複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成ステップと、
画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成ステップと、
前記第一データ生成ステップにおいて生成された前記資料画像データ、および前記第二データ生成ステップにおいて生成された前記拠点画像データを前記他の通信装置に送信する送信ステップと、
前記送信ステップにおいて前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得ステップと、
自装置のデータの処理負荷を検出する負荷検出ステップと、
前記負荷検出ステップにおいて検出された処理負荷が閾値以上であるか否かを判断する負荷判断ステップと、
前記負荷判断ステップにおいて処理負荷が閾値以上と判断された場合に、前記比率取得ステップにおいて取得された表示比率に基づいて、前記第一データ生成ステップおよび前記第二データ生成ステップの少なくともいずれかにおける画像データの生成条件を変更する条件変更ステップと
を備えたことを特徴とする通信方法。
【請求項８】
他の通信装置との間で画像データの通信を行う通信装置に実行させる通信プログラムであって、
コンピュータに、
複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成ステップと、
画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成ステップと、
前記第一データ生成ステップにおいて生成された前記資料画像データ、および前記第二データ生成ステップにおいて生成された前記拠点画像データを前記他の通信装置に送信する送信ステップと、
前記送信ステップにおいて前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得ステップと、
自装置のデータの処理負荷を検出する負荷検出ステップと、
前記負荷検出ステップにおいて検出された処理負荷が閾値以上であるか否かを判断する負荷判断ステップと、
前記負荷判断ステップにおいて処理負荷が閾値以上と判断された場合に、前記比率取得ステップにおいて取得された表示比率に基づいて、前記第一データ生成ステップおよび前記第二データ生成ステップの少なくともいずれかにおける画像データの生成条件を変更する条件変更ステップと
を実行させるための通信プログラム。
【請求項１】
他の通信装置との間で画像データの通信を行う通信装置であって、
複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成手段と、
画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成手段と、
前記第一データ生成手段によって生成された前記資料画像データ、および前記第二データ生成手段によって生成された前記拠点画像データを前記他の通信装置に送信する送信手段と、
前記送信手段によって前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得手段と、
自装置のデータの処理負荷を検出する負荷検出手段と、
前記負荷検出手段によって検出された処理負荷が閾値以上であるか否かを判断する負荷判断手段と、
前記負荷判断手段によって処理負荷が閾値以上と判断された場合に、前記比率取得手段によって取得された表示比率に基づいて、前記第一データ生成手段および前記第二データ生成手段の少なくともいずれかによる画像データの生成条件を変更する条件変更手段と
を備えたことを特徴とする通信装置。
【請求項２】
前記比率取得手段によって取得された表示比率から、前記表示手段において前記自拠点の画像が前記資料画像よりも大きく表示されているか否かを判断する表示判断手段をさらに備え、
前記条件変更手段は、
前記自拠点の画像の方が前記資料画像よりも大きく表示されていると前記表示判断手段によって判断された場合に、前記第一データ生成手段による前記資料画像データの生成条件を変更する第一条件変更手段と、
前記自拠点の画像が前記資料画像よりも大きく表示されていないと前記表示判断手段によって判断された場合に、前記第二データ生成手段による前記拠点画像データの生成条件を変更する第二条件変更手段と
を備えたことを特徴とする請求項１に記載の通信装置。
【請求項３】
前記第一条件変更手段および前記第二条件変更手段は、符号化処理によって生成する画像データのフレームレート、画像の解像度、および色数の少なくともいずれかを減少させることで、画像データの生成条件を変更することを特徴とする請求項２に記載の通信装置。
【請求項４】
前記他の通信装置にデータを送信するために使用可能な帯域が、前記他の通信装置に送信しているデータの伝送速度よりも大きいか否かを判断する帯域判断手段をさらに備え、
前記条件変更手段は、
前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断された場合に、全画像データのうち、フレーム内予測符号化のみを用いて符号化される画像データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）が占める割合を増加させることで、画像データの生成条件を変更する第三条件変更手段を備えたことを特徴とする請求項１から３のいずれかに記載の通信装置。
【請求項５】
前記他の通信装置にデータを送信するために使用可能な帯域が、前記他の通信装置に送信しているデータの伝送速度よりも大きいか否かを判断する帯域判断手段をさらに備え、
前記条件変更手段は、
前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断され、且つ前記自拠点の画像が前記資料画像よりも大きく表示されていないと前記表示判断手段によって判断された場合、前記資料画像データのうち、フレーム内予測符号化のみを用いて符号化される画像データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）が占める割合を増加させる第四条件変更手段と、
前記帯域判断手段によって前記使用可能な帯域の方が大きいと判断され、且つ前記自拠点の画像の方が前記資料画像よりも大きく表示されていると前記表示判断手段によって判断された場合、前記拠点画像データにおけるＩピクチャの割合を増加させる第五条件変更手段と
を備えたことを特徴とする請求項２または３に記載の通信装置。
【請求項６】
前記他の通信装置が設置された拠点の画像のデータである他拠点画像データの前記通信装置への送信条件を変更する指示を前記他の通信装置へ送信する条件変更指示手段をさらに備えたことを特徴とする請求項１から５のいずれかに記載の通信装置。
【請求項７】
他の通信装置との間で画像データの通信を行う通信装置によって行われる通信方法であって、
複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成ステップと、
画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成ステップと、
前記第一データ生成ステップにおいて生成された前記資料画像データ、および前記第二データ生成ステップにおいて生成された前記拠点画像データを前記他の通信装置に送信する送信ステップと、
前記送信ステップにおいて前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得ステップと、
自装置のデータの処理負荷を検出する負荷検出ステップと、
前記負荷検出ステップにおいて検出された処理負荷が閾値以上であるか否かを判断する負荷判断ステップと、
前記負荷判断ステップにおいて処理負荷が閾値以上と判断された場合に、前記比率取得ステップにおいて取得された表示比率に基づいて、前記第一データ生成ステップおよび前記第二データ生成ステップの少なくともいずれかにおける画像データの生成条件を変更する条件変更ステップと
を備えたことを特徴とする通信方法。
【請求項８】
他の通信装置との間で画像データの通信を行う通信装置に実行させる通信プログラムであって、
コンピュータに、
複数の拠点で共有する資料画像のデータである資料画像データを生成する第一データ生成ステップと、
画像を撮影する撮影手段によって撮影された自拠点の画像のデータである拠点画像データを生成する第二データ生成ステップと、
前記第一データ生成ステップにおいて生成された前記資料画像データ、および前記第二データ生成ステップにおいて生成された前記拠点画像データを前記他の通信装置に送信する送信ステップと、
前記送信ステップにおいて前記他の通信装置に送信された前記資料画像データおよび前記拠点画像データに従って画像を表示する表示手段において表示されている、前記資料画像と前記自拠点の画像との表示比率を、前記他の通信装置から取得する比率取得ステップと、
自装置のデータの処理負荷を検出する負荷検出ステップと、
前記負荷検出ステップにおいて検出された処理負荷が閾値以上であるか否かを判断する負荷判断ステップと、
前記負荷判断ステップにおいて処理負荷が閾値以上と判断された場合に、前記比率取得ステップにおいて取得された表示比率に基づいて、前記第一データ生成ステップおよび前記第二データ生成ステップの少なくともいずれかにおける画像データの生成条件を変更する条件変更ステップと
を実行させるための通信プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１５７８６（Ｐ２０１２−１５７８６Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５０２５１（Ｐ２０１０−１５０２５１）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]