説明

通信装置、通信制御方法、および通信制御プログラム

【課題】特定のユーザの声を聞き取り易くすることが可能な通信装置、通信制御方法、および通信制御プログラムを提供する。
【解決手段】互いに離れた拠点に設置された複数の通信装置間で、ポインタの座標データと音声データとが送受信され、ポインタが表示され、音声が出力される。ポインタ61Cは移動していない。移動していないポインタ61Cを操作するユーザの音声82がスピーカ350から出力される。ポインタ61Bは移動している。移動しているポインタ61Bを操作するユーザの音声81が、音声82より大きな音量でスピーカ350から出力される。このため、例えば、音声82と音声81とが同時に出力された場合でも、ユーザは、音声81を聞き取り易くなる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声データを送受信することが可能な通信装置、通信制御方法、および通信制御プログラムに関する。
【背景技術】
【0002】
従来、それぞれ離れた拠点に設置された複数の通信装置の間で、音声データを相互に送受信し、会議を行うことができる通信装置が知られている。このような通信装置では、例えば、資料の画像を複数拠点で共有し、音声データを相互に送受信してプレゼンテーションを行うことができる。(例えば、特許文献1参照)
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−331430号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の通信装置では、会議中に複数の拠点のユーザが同時に発言した場合に、スピーカから出力されるユーザの声が混じり合う。このため、例えば、会議の進行や資料のプレゼンテーションなどをしているユーザの声が聞き取り難くなる場合があった。
【0005】
本発明の目的は、特定のユーザの声を聞き取り易くすることが可能な通信装置、通信制御方法、および通信制御プログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の第1の態様に係る通信装置は、ポインティングデバイスからの入力情報に対応して作成され、表示画面上に表示されるポインタの位置の情報であるポインタ情報と、周囲の音声を取得する音声取得手段によって取得された音声に基づいて作成される音声データとを、自装置とは異なる複数の通信装置との間で互いに送受信可能な通信装置であって、自装置とは異なる前記通信装置の前記音声データを取得する音声データ取得手段と、自装置とは異なる前記通信装置の前記ポインタ情報を取得するポインタ情報取得手段と、前記ポインタ情報取得手段によって取得された前記ポインタ情報に基づく前記ポインタの位置が、所定の距離以上移動したか否かを判断する移動判断手段と、前記移動判断手段によって所定の距離以上移動したと判断された前記ポインタの前記ポインタ情報を作成した前記通信装置が作成した前記音声データに基づく音声の音量が、他の通信装置が作成した前記音声データに基づく音声の音量より大きくなるように、前記音声データ取得手段によって取得された前記音声データを調整する音声調整手段と、前記音声調整手段によって調整された前記音声データに基づく音声を、音声を出力する音声出力手段に出力させる音声出力制御手段とを備えている。
【0007】
この場合、音声調整手段は、ポインタが所定の距離以上動いた通信装置の音量を、他の通信装置の音量より大きくするように、音声データを調整する。そして、音声出力制御手段が音声出力手段に出力させる。このため、例えば、複数のユーザが同時に発言した場合でも、ポインタを動かしているユーザの声が、他のユーザの声より大きく聞こえる。つまり、ポインタを動かしているユーザの声がより聞こえ易くなる。
【0008】
前記通信装置において、前記音声データ取得手段は、自装置とは異なる前記通信装置と自装置との前記音声データを取得し、前記ポインタ情報取得手段は、自装置とは異なる前記通信装置と自装置との前記ポインタ情報を取得してもよい。この場合、自装置とは異なる通信装置と自装置との音声データおよびポインタ情報が取得される。そして、音声調整手段は、ポインタが所定の距離以上動いた通信装置の音量を、他の通信装置の音量より大きくするように、音声データを調整する。そして、音声出力制御手段が音声出力手段に出力させる。このため、例えば、複数のユーザが同時に発言した場合でも、ポインタを動かしているユーザの声が、他のユーザの声より大きく聞こえる。つまり、ポインタを動かしているユーザの声がより聞こえ易くなる。
【0009】
前記通信装置において、資料の画像のデータである資料画像データに基づく前記資料の画像を、前記表示画面に表示させる表示制御手段を備え、前記移動判断手段は、前記ポインタ情報取得手段によって取得された前記ポインタ情報に基づく前記ポインタの位置が、前記表示制御手段によって前記表示画面に表示された前記資料の画像上で所定の距離以上移動したか否かを判断してもよい。資料の画像上でポインタを動かしているユーザは、資料の説明をしている可能性が高い。音声調整手段は、ポインタが資料の画像上で所定の距離以上移動した通信装置の音量を、他の通信装置の音量より大きくするように、音声データを調整する。そして、音声出力制御手段が音声出力手段に出力する。このため、資料を説明している可能性の高いユーザの声がより聞こえ易くなる。
【0010】
前記通信装置において、前記音声データ取得手段によって取得された前記音声データに基づく音声の音量が、所定の音量以上であるか否かを判断する音量判断手段と、一の前記通信装置が作成した前記音声データに基づく音声の音量が、前記音量判断手段によって所定の音量以上であると判断され、且つ、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタの位置が、前記移動判断手段によって所定の距離以上移動したと判断された場合に、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタと、他の前記通信装置が作成した前記ポインタ情報に基づく前記ポインタとを異なる表示で前記表示画面に表示させるポインタ表示制御手段とを備えてもよい。
【0011】
この場合において、音量判断手段によって所定の音量以上であると判断された場合とは、ユーザが発言をしている場合である。また、移動判断手段によってポインタの位置が所定の距離以上移動したか否かによって、音声出力手段から出力される音量が異なる。発言をし、且つ、ポインタを所定の距離以上移動させたユーザが操作する通信装置のポインタと、他の通信装置のポインタとが異なる表示で表示されることで、視覚的に、音量が大きくなっている通信装置、または、音量が小さくなっている通信装置を確認することができる。
【0012】
前記通信装置において、前記ポインタ表示制御手段は、一の前記通信装置が作成した前記音声データに基づく音声の音量が、前記音量判断手段によって所定の音量以上であると判断され、且つ、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタの位置が、前記移動判断手段によって所定の距離以上移動していないと判断された場合に、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタを点滅させて、前記表示画面に表示させてもよい。この場合、音量が所定の音量以上、且つポインタが所定の距離以上移動していない通信装置の音量は、音量が所定の音量以上、且つポインタが所定の距離以上移動した通信装置の音量より小さくなる。この場合に、音量が所定の音量以上、且つポインタが所定の距離以上移動していない通信装置のポインタを点滅させて表示画面に表示させることで、音量が小さくなっていることをユーザに報知することができる。
【0013】
前記通信装置において、前記ポインタ表示制御手段は、一の前記通信装置が作成した前記音声データに基づく音声の音量が、前記音量判断手段によって所定の音量以上であると判断され、且つ、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタの位置が、前記移動判断手段によって所定の距離以上移動していないと判断された場合に、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタを移動させた後に前記表示画面から消去してもよい。この場合、音量が所定の音量以上、且つポインタが所定の距離以上移動していない通信装置の音量は、音量が所定の音量以上、且つポインタが所定の距離以上移動した通信装置の音量より小さくなる。この場合に、音量が所定の音量以上、且つポインタが所定の距離以上移動していない通信装置のポインタを移動させて消去することで、音量が、小さくなっていることをユーザに報知することができる。
【0014】
本発明の第2の態様に係る通信制御方法は、ポインティングデバイスからの入力情報に対応して作成される、表示画面上に表示されるポインタの位置の情報であるポインタ情報と、周囲の音声を取得する音声取得手段によって取得された音声に基づいて作成されるデータである音声データとを、自装置とは異なる複数の通信装置との間で互いに送受信可能な通信装置において実行される通信制御方法であって、自装置とは異なる前記通信装置の前記音声データを取得する音声データ取得ステップと、自装置とは異なる前記通信装置の前記ポインタ情報を取得するポインタ情報取得ステップと、前記ポインタ情報取得ステップによって取得された前記ポインタ情報に基づく前記ポインタの位置が、所定の距離以上移動したか否かを判断する移動判断ステップと、前記移動判断ステップによって所定の距離以上移動したと判断された前記ポインタの前記ポインタ情報を作成した前記通信装置が作成した前記音声データに基づく音声の音量が、他の通信装置が作成した前記音声データに基づく音声の音量より大きくなるように、前記音声データ取得ステップによって取得された前記音声データを調整する音声調整ステップと、前記音声調整ステップによって調整された前記音声データに基づく音声を、音声を出力する音声出力手段に出力させる音声出力制御ステップとを備えている。この場合、例えば、複数のユーザが同時に発言した場合でも、ポインタを動かしているユーザの声が、他のユーザの声より大きく聞こえる。つまり、ポインタを動かしているユーザの声がより聞こえ易くなる。
【0015】
本発明の第3の態様に係る通信制御プログラムは、ポインティングデバイスからの入力情報に対応して作成される、表示画面上に表示されるポインタの位置の情報であるポインタ情報と、周囲の音声を取得する音声取得手段によって取得された音声に基づいて作成されるデータである音声データとを、自装置とは異なる複数の通信装置との間で互いに送受信可能な通信装置において実行される通信制御プログラムであって、通信装置のCPUに、自装置とは異なる前記通信装置の前記音声データを取得する音声データ取得ステップと、自装置とは異なる前記通信装置の前記ポインタ情報を取得するポインタ情報取得ステップと、前記ポインタ情報取得ステップによって取得された前記ポインタ情報に基づく前記ポインタの位置が、所定の距離以上移動したか否かを判断する移動判断ステップと、前記移動判断ステップによって所定の距離以上移動したと判断された前記ポインタの前記ポインタ情報を作成した前記通信装置が作成した前記音声データに基づく音声の音量が、他の通信装置が作成した前記音声データに基づく音声の音量より大きくなるように、前記音声データ取得ステップによって取得された前記音声データを調整する音声調整ステップと、前記音声調整ステップによって調整された前記音声データに基づく音声を、音声を出力する音声出力手段に出力させる音声出力制御ステップとを実行させるこの場合、例えば、複数のユーザが同時に発言した場合でも、ポインタを動かしているユーザの声が、他のユーザの声より大きく聞こえる。つまり、ポインタを動かしているユーザの声がより聞こえ易くなる。
【図面の簡単な説明】
【0016】
【図1】テレビ会議システム1の構成を示すブロック図である。
【図2】通信装置3の電気的構成を示すブロック図である。
【図3】HDD314の記憶領域を示す概念図である。
【図4】RAM313の記憶領域を示す概念図である。
【図5】ディスプレイ319に表示される画像の一例を示す図である。
【図6】状態データテーブル51を示す模式図である。
【図7】設定結果データテーブル52を示す模式図である。
【図8】メイン処理を示すフローチャートである。
【図9】画像音声再生処理を示すフローチャートである。
【図10】第一処理を示すフローチャートである。
【図11】第二処理を示すフローチャートである。
【図12】仮設定処理を示すフローチャートである。
【図13】仮設定データテーブル53を示す模式図である。
【図14】設定結果データテーブル52を示す模式図である。
【図15】通信装置3が設置されている拠点の状況を表した図である。
【図16】通信装置4が設置されている拠点の状況を表した図である。
【図17】通信装置5が設置されている拠点の状況を表した図である。
【図18】仮設定データテーブル53を示す模式図である。
【図19】設定結果データテーブル52を示す模式図である。
【図20】仮設定データテーブル53を示す模式図である。
【図21】設定結果データテーブル52を示す模式図である。
【図22】仮設定データテーブル53を示す模式図である。
【図23】設定結果データテーブル52を示す模式図である。
【図24】変形例における通信装置5が設置されている拠点の状況を表した図である。
【図25】変形例におけるメイン処理を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明に係る通信装置3,4,5の一実施の形態について、図面を参照して説明する。なおこれらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、それのみに限定する趣旨ではなく、単なる説明例である。
【0018】
図1を参照し、第一実施形態における通信装置3,4,5を構成要素とするテレビ会議システム1の構成について説明する。テレビ会議システム1は、ネットワーク2と通信装置3と通信装置4と通信装置5とを備えている。通信装置3,4,5は、ネットワーク2を介して相互に接続されている。テレビ会議システム1では、通信装置3,4,5の間において、ネットワーク2を介して画像データ、音声データ等が互いに送受信されることでテレビ会議が実施される。なお、図1において、通信装置3,4,5の3台がネットワーク2に接続されているが、台数は限定されず、例えば10台がネットワーク2に接続されていてもよい。以後の説明では、通信装置3,4,5のいずれかを特定しない場合には、単に「通信装置」という。
【0019】
通信装置3,4,5は、同一の電気的構成をしており、同一のプログラムが設定されている。通信装置4を使用しているユーザは、資料を用いて説明を行っている。通信装置4は、資料のデータを通信装置3,5に対して送信している。以後の説明では、資料を用いて説明を行っているユーザが操作する通信装置を通信装置4または資料送信装置という。
【0020】
通信装置3,4,5の電気的構成について、図2を参照して説明する。なお、通信装置3,4,5の電気的構成は同一であるので、ここでは、通信装置3の電気的構成について説明する。
【0021】
通信装置3は、ノート型のパーソナルコンピュータ31(以下、PC31という)と、入出力装置34(以下、IO装置34という。)とを備えている。ユーザは、PC31とIO装置34とを使用して、通信装置4,5を使用するユーザとテレビ会議を行うことができる。IO装置34は、画像を撮影して符号化したり、テレビ会議の音声データを復号して再生したりすることができる。PC31は、ネットワーク2に接続して、通信装置4,5と各種のデータの通信を行うことができる。
【0022】
PC31の電気的構成の詳細について説明する。PC31は、PC31の制御を司るコントローラとしてのCPU8を備えている。CPU8には、BIOS等を記憶したROM312と、各種データを一時的に記憶するRAM313と、各種記憶エリアを有するハードディスクドライブ314(以下、HDD314という。)が接続されている。CPU8は、ROM312、RAM313、およびHDD314の各種記憶領域にアクセスできる。
【0023】
CPU8には、ネットワーク2と通信するための通信インターフェイス315(以下、通信I/F315という。)と、マウスやキーボードやディスプレイ319の前面に設置される透明なタッチパネルなどの入力部316と、CD−ROMドライブ317とが各々接続されている。ユーザは、入力部316を操作して、ディスプレイ319に表示されるポインタを操作することができる。CD−ROMドライブ317に挿入されるCD−ROM318には、例えば、本実施形態における各種のプログラム等が記憶されている。CD−ROM318の導入時には、各種プログラム等が、CD−ROM318からHDD314にセットアップされて、後述するプログラム記憶領域3141に記憶される。
【0024】
CPU8には、ディスプレイ319に接続される映像デコーダ320が接続されている。本実施形態では、ディスプレイ319は、PC31に外付けされている。映像デコーダ320は、通信装置4,5から送信される画像データを復号し、ディスプレイ319に表示する。また、映像デコーダ320は、各通信装置3,4,5のユーザが操作するポインタをディスプレイ319に表示する。
【0025】
CPU8には、電源制御部322が接続されている。電源制御部322は、PC31に内蔵された電池321に接続されている。電源制御部322は、電池321から供給された電力を各種回路に供給する。CPU8やその他の各種デバイスは、電源制御部322を介して電池321によって供給される電力によって駆動する。なお、電源制御部322は、ACアダプタ323と接続されることによって、電池321を充電することが可能である。
【0026】
CPU8には、時間を計測するためのタイマ324が接続されている。CPU8は、タイマ324を使用して時間を計測することができる。CPU8には、USB(Universal Serial Bus)インターフェイス325(以下、USB−I/F325という。)が接続されている。USB−I/F325は、USBケーブル326を介して、後述するIO装置34のUSB−I/F351に接続されている。CPU8は、USB−I/F325、USBケーブル326、およびUSB−I/F351を介して、IO装置34のCPU9と相互に通信を行うことができる。
【0027】
図3を参照して、HDD314の各種記憶領域について説明する。HDD314には、プログラム記憶領域3141および状態データテーブル記憶領域3142が少なくとも設けられている。プログラム記憶領域3141には、CPU8が各種の処理等を実行するために必要なプログラムデータが記憶されている。状態データテーブル記憶領域3142には、後述する状態データテーブル51が記憶されている。
【0028】
図4を参照して、RAM313の各種記憶領域について説明する。RAM313は、座標データ記憶領域3131、設定結果データテーブル記憶領域3132、および仮設定データテーブル記憶領域3133を少なくとも備えている。座標データ記憶領域3131には、後述する座標データが記憶される。設定結果データテーブル記憶領域3132には、後述する設定結果データテーブル52が記憶される。仮設定データテーブル記憶領域3133には、後述する仮設定データテーブル53が記憶される。
【0029】
図2を参照して、IO装置34の電気的構成の詳細について説明する。IO装置34は、IO装置34の制御を司るコントローラとしてのCPU9を備えている。CPU9には、BIOS等を記憶したROM342と、各種データを一時的に記憶するRAM343とが接続されている。CPU9は、ROM342とRAM343の各種記憶領域にアクセスできる。
【0030】
CPU9には、カメラ344に接続された映像エンコーダ345が接続されている。CPU9は、映像エンコーダ345を使用して、カメラ344によって撮像される画像を符号化し、画像データを作成する。画像データは、CPU9からCPU8に送信され、通信I/F315とネットワーク2を介して、通信装置4,5に送信される。
【0031】
CPU9には、音声エンコーダ346が接続されている。音声エンコーダ346は、エコーキャンセラ347を介してマイク348に接続されている。CPU9には、音声デコーダ349が接続されている。音声デコーダ349は、エコーキャンセラ347を介してスピーカ350に接続されている。エコーキャンセラ347は、エコーやハウリングの発生を防止する回路である。マイク348は、テレビ会議を行う際に通信装置3のユーザの声を収集するために設けられている。マイク348から入力された音声は、音声エンコーダ346によって符号化される。そして、CPU9からPC31のCPU8に送信され、通信I/F315とネットワーク2とを介して、通信装置4,5に送信される。
【0032】
スピーカ350は、会議の音声を出力するために設けられている。ネットワーク2と通信I/F315とを介して入力された通信装置4,5から送信される音声データは、CPU8からCPU9に送信され、音声デコーダ349で復号され、スピーカ350で音声として出力される。これによって通信装置3のユーザはテレビ会議の音声を聞くことができる。出力される音声の音量は、種々の条件により調整されるが、詳細については、後述する。
【0033】
CPU9には、USB−I/F351が接続されている。USB−I/F351は、USBケーブル326を介して、PC31のUSB−I/F325に接続されている。CPU9には、電源制御部353が接続されている。電源制御部353は、ACアダプタ354に接続されている。電源制御部353は、ACアダプタ354から供給される外部電源の電力を各種回路に供給する。CPU9やその他の各種デバイスは、電源制御部353から供給される電力によって駆動する。
【0034】
図5を参照して、テレビ会議が行われる場合における、ディスプレイ319に表示される画像の一例について説明する。ここでは、通信装置3のディスプレイ319に表示される画像について説明する。ディスプレイ319の左部には、自装置とは異なる通信装置4,5におけるユーザの画像が表示されている。このユーザの画像は、通信装置4,5のカメラ344(図2参照)によって撮影されたものである。ディスプレイ319のユーザの画像が表示されているエリアの右側には、資料画像3191が表示されている。資料画像3191は、資料送信装置である通信装置4から、通信装置3,5に送信されている。通信装置3のユーザは、資料画像3191や、通信装置4,5におけるユーザの画像を確認しながら、テレビ会議を行うことができる。
【0035】
ディスプレイ319には、ポインタ61A,61B,61Cが表示されている。ポインタ61Aは、通信装置3のユーザが操作するポインタである。ポインタ61Bは、通信装置4のユーザが操作するポインタである。ポインタ61Cは、通信装置5のユーザが操作するポインタである。なお、図6に示すポインタ61A,61B,61Cは、後述する「標準」の設定で表示されている場合を示している。
【0036】
図6を参照して、状態データテーブル51について説明する。状態データテーブル51は、状態データテーブル記憶領域3142(図3参照)に記憶されている。状態データテーブル51では、第一状態、第二状態、および第三状態が、それぞれ、ポインタ表示と音量とに対応付けられて登録されている。第一状態は、ポインタ表示「標準」と音量「標準」と対応つけられている。第二状態は、ポインタ表示「点滅」と音量「小」とに対応付けられている。第三状態は、ポインタ表示「非表示」と音量「小」とに対応付けられている。
【0037】
ポインタ表示「標準」とは、通常のポインタの形状で表示させる設定であり、本実施形態では、白色の矢印である。ポインタ表示「点滅」とは、ポインタを点滅させて表示させる設定である、ポインタ表示「非表示」とは、ポインタをディスプレイ319に表示させない設定である。音量「標準」とは、通常の音量で音声を出力する設定である。音量「小」とは、音量「標準」の場合より小さい音量で音声を出力する設定である。ディスプレイ319に表示されるポインタと、スピーカ350から出力される音声の音量とは、これらの第一〜第三状態に対応したポインタ表示と音量とで表示、出力される。詳細については、後述する。
【0038】
図7を参照して、設定結果データテーブル52について説明する。設定結果データテーブル52は、設定結果データテーブル記憶領域3132に記憶される。設定結果データテーブル52は、通信装置3,4,5について、図6の状態データテーブル51における第一〜第三状態のいずれに設定されているかが登録されている。例えば、通信装置3が記憶している設定結果データテーブル52において、図7に示すように通信装置4の設定が「第一状態」である場合、通信装置3では、通信装置4から送信される座標データに基づく位置に表示させるポインタ表示を「標準」にし、通信装置4から送信される音声データに基づく音声の音量を「標準」にして出力する。詳細については後述する。図7に示す設定結果データテーブル52において、通信装置3,4,5は、すべて第一状態に設定されている。なお、図7に示す設定結果データテーブル52は、初期状態を表しており、後述するS405およびS406の処理(図11参照)において、更新される。
【0039】
次に、テレビ会議システム1による処理の一例について説明する。なお、以下で説明する各処理は、全ての通信装置3,4,5において行われる処理であるが、説明をわかりやすくするために、各処理において、通信装置3,4,5のうちのいずれか一の通信装置が行う処理として説明する。
【0040】
まず、図8に示すフローチャートを参照して、メイン処理について説明する。ここでは、通信装置3におけるPC31のCPU8によるメイン処理について説明する。メイン処理は、後述する第一処理および第二処理を開始したり、画像や音声を出力したりする処理である。
【0041】
メイン処理では、まず、入力部316を介して、ユーザによる会議の開始の指示が入力されたか否かが判断される(S101)。会議の開始の指示が入力されていない場合には(S101:NO)、S101に戻り処理が繰り返される。会議の終了の指示が入力された場合には(S101:YES)、第一処理(図10参照)が開始される(S102)。第一処理については、後述する。次いで、第二処理(図11参照)が開始される(S103)。第二処理については、後述する。なお、後述するS106の処理が実行されるまで、第一処理と第二処理とは、処理を継続する。次いで、画像音声再生処理が行われる(S104)。
【0042】
図9を参照して、画像音声再生処理について説明する。画像音声再生処理は、音声を出力したり、画像やポインタを表示したりする処理である。画像音声再生処理では、自装置とは異なる通信装置4,5のS306の処理(図10参照、後述)によって送信される画像データまたは資料画像データが受信されたか否かが判断される(S201)。受信されていない場合には(S201:NO)、後述するS203の処理が行われる。受信された場合には(S201:YES)、受信された画像データまたは資料画像データが復号され、ディスプレイ319に表示される(S202)。これによって、図5に示すような、資料画像3191や、通信装置4,5のユーザの画像が表示される。
【0043】
次いで、自装置とは異なる通信装置4,5のS305の処理(図10参照、後述)において送信される音声データが受信されたか否かが判断される(S203)。受信されていない場合には(S203:NO)、後述するS206の処理が行われる。受信された場合には(S203:YES)、受信された音声データが調整され、音量が変更される(S204)。S204の処理では、設定結果データテーブル52および状態データテーブル51が参照されて、音量が変更されるが、詳細については後述する。
【0044】
次いで、調整された音声データが、CPU8からCPU9に送信され、音声デコーダ349で復号されて、スピーカ350から出力される(S205)。つまり、設定結果データテーブル52に登録されている通信装置4,5の状態に対応した音量で、スピーカ350から音声が出力される。
【0045】
次いで、自装置とは異なる通信装置4,5のS304の処理(図10参照、後述)において送信される座標データが受信されたか否かが判断される(S206)。受信されていない場合には(S206:NO)、画像音声再生処理が終了され、図8に示すS105の処理が行われる。受信された場合には(S206:YES)、S206で受信された座標データが座標データ記憶領域3131に記憶される(S207)。なお、座標データ記憶領域3131に記憶される座標データは、S503の処理(図12参照、後述)において、ポインタが所定の距離以上移動したか否かを判断するために用いられる。このため、S503の処理においてポインタの移動が判断できる程度の時間(例えば、過去1秒間)の座標データのみを記憶しておけばよい。
【0046】
次いで、S206の処理で受信された座標データに基づいて、通信装置4,5のポインタがディスプレイ319に表示される(S208)。S208の処理では、設定結果データテーブル52および状態データテーブル51が参照されて、ポインタの形状が調整された上で、ディスプレイ319にポインタが表示されるが、詳細については後述する。次いで、画像音声再生処理が終了され、図8に示すS105の処理が行われる。
【0047】
S105の処理では、入力部316を介して、ユーザによって会議の終了の指示が入力されたか否かが判断される(S105)。会議の終了の指示が入力されていない場合には(S105:NO)、S104に戻り、処理が繰り返される。つまり、会議が継続される。会議の終了の指示が入力された場合には(S105:YES)、第一処理および第二処理が終了される(S106)。次いで、メイン処理が終了される。
【0048】
図10に示すフローチャートを参照して、第一処理について説明する。ここでは、通信装置3におけるPC31のCPU8による第一処理について説明する。第一処理は、ポインタの座標の検出、ポインタの表示、座標データや音声データの送信等を行う処理である。
【0049】
第一処理では、まず、ユーザが操作する入力部316からの入力情報に基づいて、ディスプレイ319上におけるポインタの座標が検出される(S301)。次いで、S302の処理では、設定結果データテーブル52および状態データテーブル51が参照されて、ポインタの形状が調整された上で、ディスプレイ319にポインタが表示される(S302)。なお、S302の処理では、S301の処理で検出された座標の位置にポインタが表示される。
【0050】
次いで、S301の処理で検出されたポインタの座標が、資料画像3191上にあるか否かが判断される(S303)。ポインタの座標が、資料画像3191上にある場合には(S303:YES)、ポインタの座標のデータである座標データが作成され、座標データが座標データ記憶領域3131に記憶され、自装置とは異なる通信装置4,5に送信される(S304)。S304の処理で送信された座標データは、通信装置4,5のS206の処理(図9参照)において受信される。なお、座標データ記憶領域3131に記憶される座標データは、S503の処理(図12参照、後述)において、ポインタが所定の距離以上移動したか否かを判断するために用いられる。このため、S503の処理においてポインタの移動が判断できる程度の時間(例えば、過去1秒間)の座標データのみを記憶しておけばよい。
【0051】
次いで、S305の処理が行われる。なお、S303の処理において、ポインタの座標が、資料画像3191上にないと判断された場合にも(S303:NO)、S305の処理が行われる。つまり、ポインタの座標が資料画像3191上にある場合にのみ座標データが送信され(S304)、ポインタの座標が資料画像3191上にない場合には、座標データは送信されない。
【0052】
S305の処理では、周囲の音声の音声データが作成されて、自装置とは異なる通信装置4,5に送信される(S305)。音声データは、マイク348によって収集され、音声エンコーダ346によって符号化されたデータである。音声データは、CPU9からUSB326を介してCPU8に送信され、CPU8によってネットワーク2を介して自装置とは異なる通信装置4,5に送信される。送信された音声データは、通信装置4,5のS203の処理(図9参照)において受信される。
【0053】
次いで、画像データが、自装置とは異なる通信装置4,5に送信される(S306)。画像データは、カメラ344によって撮像され、映像エンコーダ345によって符号化されたデータである。画像データは、CPU9からUSB326を介してCPU8に送信され、CPU8によってネットワーク2を介して自装置とは異なる通信装置4,5に送信される。送信された画像データは、通信装置4,5のS201の処理において受信される。なお、資料送信装置である通信装置4がS306の処理を行う場合、画像データと、資料の画像のデータである資料画像データが通信装置3,5に送信される。次いで、S301に戻り、処理が繰り返される。
【0054】
図11に示すフローチャートを参照して、第二処理について説明する。ここでは、通信装置3におけるPC31のCPU8による第二処理について説明する。第二処理は、設定結果データテーブル52の更新等を行う処理である。
【0055】
図11に示すように、第二処理では、まず、通信装置3,4,5のうち、一の通信装置が選択される(S401)。S401の処理は、S403の処理において、全ての通信装置について、仮設定処理が行われていないと判断される度に実行されるが、通信装置3,4,5を順に選択する。次いで、仮設定処理が行われる(S402)。
【0056】
図12に示すフローチャートを参照して、仮設定処理について説明する。仮設定処理は、後述する仮設定データテーブル53を作成する処理である。
【0057】
図12に示すように、仮設定処理では、座標データ記憶領域3131が参照され、S401の処理において選択された通信装置の過去の所定時間の間の座標データがあるか否かが判断される(S501)。過去の所定時間は、例えば、過去1秒間である。
【0058】
例えば、通信装置3において、資料画像3191上にポインタがなければ(S303:NO、図10参照)、S304の処理(図10参照)が行われないため、座標データが座標データ記憶領域3131に記憶されない。また、自装置とは異なる通信装置4,5において、資料画像3191上にポインタがない場合は(S303:NO、図10参照)、通信装置4,5のS304の処理(図10参照)が行われないため、座標データは通信装置3に送信されない。このため、S206の処理(図9参照)において座標データは受信されず、S207の処理は行われない。つまり、ポインタが資料画像3191上にない場合には、座標データが座標データ記憶領域3131に記憶されない。よって、S501の処理では、過去の所定時間の間の座標データがあるか否かが判断されることによって、S401の処理において選択された通信装置のポインタが、資料画像3191上にあったか否かが判断されている。
【0059】
S401の処理において選択された通信装置のポインタが、資料画像3191上にない場合には(S501:NO)、S401の処理において選択された通信装置が、状態データテーブル51における「第三状態」に設定され、仮設定データテーブル53(図13参照)に登録される。
【0060】
仮設定データテーブル53は、通信装置3,4,5の第一〜第三状態等の設定状態を仮に登録しておくデータテーブルである。後述するS405およびS406の処理(図11参照)において、仮設定データテーブル53と、設定結果データテーブル52とが参照されて、設定結果データテーブル52が更新されるが、詳細については後述する。なお、仮設定データテーブル53は、仮設定データテーブル記憶領域3133に記憶される。
【0061】
S401の処理において選択された通信装置のポインタが、資料画像3191上にある場合には(S501:YES)、S401の処理において選択された通信装置が作成した音声データに基づく音声の音量が、所定の閾値以上であるか否かが判断される(S502)。所定の閾値は、例えば、50dBである。閾値は、ユーザが発言しない場合には、音量が閾値より小さくなり、ユーザが発言した場合には、ユーザの声によって音量が閾値以上になるように設定されている。つまり、S502の処理では、S401の処理において選択された通信装置を使用しているユーザが発言したか否かが判断されている。なお、S501において参照される音声データは、S305の処理(図10参照)で作成される音声データ、もしくは、S203の処理で受信される音声データである。
【0062】
音量が閾値より小さい場合には(S502:NO)、S401の処理において選択された通信装置が、状態データテーブル51における「第三状態」に設定され、仮設定データテーブル53(図13参照)に記憶される。
【0063】
音量が閾値以上である場合には(S502:YES)、座標データ記憶領域3131に記憶されている座標データが参照され、S401の処理において選択された通信装置のポインタが、所定時間の間に、所定の距離以上移動したか否かが判断される(S503)。ポインタが、所定時間の間に、所定の距離以上移動する場合とは、ユーザがポインタを操作している場合である。つまり、S503の処理では、ユーザがポインタを操作しているか否かが判断されている。なお、所定時間は、例えば、1秒である。また、所定の距離は、例えば、ディスプレイ319の画素で10ピクセル分の距離である。
【0064】
ポインタが、所定時間の間に、所定の距離以上移動していない場合には(S503:NO)、S401の処理において選択された通信装置が、状態データテーブル51における「第二状態」に設定され、仮設定データテーブル53(図13参照)に記憶される。ポインタが、所定時間の間に、所定の距離以上移動した場合には(S503:YES)、S401の処理において選択された通信装置が、状態データテーブル51における「第一状態」に設定され、仮設定データテーブル53(図13参照)に記憶される。S504、S505、またはS506の処理が行われたら、仮設定処理が終了され、図11に示す第二処理に戻り、全ての通信装置4,5,6について、S402の仮設定処理が行われたか否かが判断される(S403)。全ての通信装置4,5,6について、S402の仮設定処理が行われていない場合には(S403:NO)、S401に戻り、処理が繰り返される。全ての通信装置4,5,6について、S402の仮設定処理が行われた場合には(S403:YES)、S404の処理が行われる。
【0065】
例えば、以下の条件において、具体的に説明する。通信装置3において、ユーザがポインタを動かさず、資料画像3191上においてポインタが停止しており、ユーザが発言していないとする。また、通信装置4において、ユーザは、資料画像3191上でポインタを動かしながら資料の説明をしているとする。また、通信装置5において、ユーザがポインタを動かさず、資料画像3191上においてポインタが停止しており、ユーザが発言をしているとする。つまり、通信装置4のユーザの資料の説明のための発言と、通信装置5のユーザの発言とが同時にされている。以下この条件による例示を「第一具体例」という。
【0066】
上記第一具体例において、図11に示す第二処理では、通信装置3,4,5のうち、通信装置3を選択したとする(S401)。次いで、仮設定処理が行われる。図12に示す仮設定処理では、座標データ記憶領域3131が参照され、S401の処理において選択された通信装置3の過去の所定時間の間の座標データがあるか否かが判断される(S501)。つまり、過去の所定時間の間に、通信装置3のポインタが、資料画像3191上にあったか否かが判断される(S501)。ここで、過去の所定時間は、過去1秒間であるとする。通信装置3のポインタは、資料画像3191上にあるので(S303:YES、図10参照)、座標データは、S304の処理(図10参照)において、座標データ記憶領域3131に記憶されている。
【0067】
このため、通信装置3のポインタが、資料画像3191上にあると判断され(S501:YES)、通信装置3が作成した音声データに基づく音声の音量が、所定の閾値以上であるか否かが判断される(S502)。所定の閾値は、50dBであるとする。通信装置3のユーザは発言していないので、S305の処理(図10参照)において作成された音声データに基づく音声の音量は、閾値より小さくなる(例えば、47dB。)。よって、音量が閾値以上ではないと判断され(S502:NO)、通信装置3が、状態データテーブル51における「第三状態」に設定され、仮設定データテーブル53に記憶される。これによって、図13に示すように、仮設定データテーブル53において、通信装置3が第三状態に設定される。
【0068】
次いで、仮設定処理が終了され、図11に示す第二処理に戻り、通信装置4,5についてS402の処理が行われていないので、全ての通信装置4,5,6について、S402の仮設定処理が行われていないと判断され(S403:NO)、S401に戻り、処理が繰り返される。S401の処理において、通信装置4が選択されたとする。
【0069】
通信装置4のポインタは、資料画像3191上で動いている。資料画像3191上にあるので、通信装置4のS304の処理(図10参照)において、座標データが送信され、通信装置3のS206の処理(図9参照)で受信されて、座標データ記憶領域3131に記憶されている(図9のS207参照)。このため、図12に示す仮設定処理において、通信装置4の過去1秒間の座標データがあると判断されることで、通信装置4のポインタが、資料画像3191上にあると判断される(S501:YES)。
【0070】
次いで、S502の処理が行われる。通信装置4のユーザは資料の説明のために発言をしているので、通信装置4のS305の処理(図10参照)によって作成、送信されて、通信装置3のS203の処理(図9参照)で受信された音声データに基づく音声の音量は、閾値より大きくなる(例えば、53dB。)。よって、音量が閾値以上であると判断され(S502:YES)、座標データ記憶領域3131が参照され、通信装置4のポインタが、所定時間の間に、所定の距離以上移動したか否かが判断される(S503)。所定時間は1秒であり、所定の距離は10ピクセル分の距離であるとする。通信装置4のユーザは、ポインタを動かしているので、1秒間に、ポインタが10ピクセル分の距離以上移動している(例えば、40ピクセル分移動)。このため、ポインタが所定時間の間に、所定の距離以上移動したと判断され(S503:YES)、通信装置4が、状態データテーブル51における「第一状態」に設定され、仮設定データテーブル53に記憶される。これによって、図13に示すように、仮設定データテーブルにおいて、通信装置4が第一状態に設定される。
【0071】
次いで、仮設定処理が終了され、図11に示す第二処理に戻り、通信装置5についてS402の処理が行われていないので、全ての通信装置4,5,6について、S402の仮設定処理が行われていないと判断される(S403:NO)。そして、S401に戻り、通信装置5が選択される。
【0072】
通信装置5のポインタは、資料画像3191上にあるが動いていない。ポインタが資料画像3191上にあるので、通信装置5のS304の処理(図10参照)において、座標データが送信され、通信装置3のS206の処理(図9参照)で受信されて、座標データ記憶領域3131に記憶されている(図9のS207参照)。このため、図12に示す仮設定処理において、通信装置5の過去1秒間の座標データがあると判断されることで、通信装置5のポインタが、資料画像3191上にあると判断される(S501:YES)。
【0073】
次いで、S502の処理が行われる。通信装置5のユーザは、発言をしているので、通信装置5のS305の処理(図10参照)によって作成、送信されて、通信装置3のS203の処理(図9参照)で受信された音声データに基づく音声の音量は、閾値より大きくなる(例えば、53dB。)。よって、音量が閾値以上であると判断される(S502:YES)。そして、座標データ記憶領域3131が参照され、通信装置5のポインタが、所定時間の間に、所定の距離以上移動したか否かが判断される(S503)。通信装置5のユーザは、ポインタを動かしていない。このため、1秒間に、ポインタが10ピクセル以上の移動していない。このため、ポインタが所定時間の間に、所定の距離以上移動していないと判断され(S503:NO)、通信装置5が、状態データテーブル51における「第二状態」に設定され、仮設定データテーブル53に記憶される。これによって、図13に示すように、仮設定データテーブルにおいて、通信装置5が第二状態に設定される。次いで、仮設定処理が終了され、図11に示す第二処理に戻り、全ての通信装置4,5,6についてS402の処理が行われたと判断され(S403:YES)、S404の処理が行われる。
【0074】
S404の処理では、仮設定データテーブル53と設定結果データテーブル52とが参照され、設定結果データテーブル52に登録されている第一状態の通信装置と、仮設定データテーブル53に登録されている第一状態の通信装置とが、同じ通信装置であるか否かが判断される(S404)。同じ通信装置である場合には(S404:YES)、設定結果データテーブル52の更新が行われる(S405)。
【0075】
S405の処理では、仮設定データテーブル53において、第一状態に設定されている通信装置が1台である場合には、仮設定データテーブル53に登録されている通信装置3,4,5の状態が、設定結果データテーブル52に登録されて更新される。仮設定データテーブル53において、第一状態に設定されている通信装置が2台以上ある場合には、更新前の設定結果データテーブル52において第一状態に設定されている通信装置は、そのまま第一状態に設定される。また、更新前の設定結果データテーブル52において第一状態に設定されておらず、且つ、仮設定データテーブル53で第一状態に設定されている通信装置は、更新前の設定結果データテーブル52に登録されている状態のまま設定結果データテーブル52に登録される。つまり、第一状態に設定されている通信装置が2台以上になることはない。詳細については、例を示して後述する。
【0076】
S404の処理において、設定結果データテーブル52に登録されている第一状態の通信装置と、仮設定データテーブル53に登録されている第一状態の通信装置とが、同じ通信装置でないと判断された場合には(S404:NO)、設定結果データテーブル52の更新が行われる(S406)。
【0077】
S406の処理では、仮設定データテーブル53において、第一状態に設定されている通信装置が1台である場合には、仮設定データテーブル53に登録されている通信装置3,4,5の状態が、設定結果データテーブル52に登録されて更新される。仮設定データテーブル53において、第一状態に設定されている通信装置が2台以上ある場合には、第一状態に設定されている通信装置のうち、ランダムに1台が選択され、選択された通信装置が第一状態に設定され、設定結果データテーブル52に登録される。選択されなかった通信装置は、更新前の設定結果データテーブル52に登録されている状態のまま設定結果データテーブル52に登録される。つまり、第一状態に設定されている通信装置が2台以上になることはない。詳細については例を示して後述する。
【0078】
S405またはS406の処理が行われると、更新後の設定結果データテーブル52の状態に基づいて、音声が調整され(図9のS204参照)、音声が出力され(図9のS205参照)、ポインタの形状が調整されて表示される(図9のS208、図10のS302参照)。S405またはS406の処理が行われたら、次いで、所定の時間が経過したか否かが判断される(S407)。所定の時間は、例えば、1秒である。所定の時間が経過していない場合には(S407:NO)、S407に戻り処理が繰り返される。所定の時間が経過した場合には(S407:YES)、S401に戻り処理が繰り返される。つまり、所定の時間毎にS401〜S406の処理が繰り返される。
【0079】
第一具体例の場合について説明する。第一具体例では、仮設定データテーブル53(図13参照)において、通信装置3、通信装置4、および通信装置5がそれぞれ、第三状態、第一状態、および第二状態に設定されている。また、設定結果データテーブル52は、図7に示す初期状態のように、通信装置3,4,5が全て第一状態に設定されているとする。
【0080】
この場合、仮設定データテーブル53に登録されている第一状態の通信装置4と、設定結果データテーブル52に登録されている第一状態の通信装置4とが、同じ通信装置であると判断される(S404:YES)。次いで、設定結果データテーブル52の更新が行われる(S405)。
【0081】
S405の処理では、仮設定データテーブル53において、第一状態に設定されている通信装置が1台である場合には、仮設定データテーブル53に登録されている通信装置3,4,5の状態が、設定結果データテーブル52に登録されて更新される。図13に示す仮設定データテーブル53では、第一状態に設定されている通信装置は、通信装置4の1台のみである。このため、図13に示す仮設定データテーブル53に登録されている通信装置3,4,5の状態が、設定結果データテーブル52に登録されて更新される。これによって、図14に示すように、設定結果データテーブル52において、通信装置3、通信装置4、および通信装置5がそれぞれ、第三状態、第一状態、および第二状態に設定される(S405)。
【0082】
S405の処理が行われると、更新後の設定結果データテーブル52(図14参照)の状態に基づいて、音声が調整され(図9のS204参照)、音声が出力され(図9のS205参照)、ポインタの形状が調整されて表示される(図9のS208、図10のS302参照)。なお、通信装置4,5のCPU8も、同様の処理を行うため、通信装置4,5の設定結果データテーブル52は図14のように設定される。
【0083】
この場合の、通信装置4,5,6のそれぞれの拠点における、スピーカ350から出力される音声の音量と、ポインタの表示について、図15〜図17を用いて説明する。図15では、通信装置3が設置されている拠点の状況を簡単に表している。詳細には、通信装置3のディスプレイ319に表示される画像、ポインタ61A,61B,61C、スピーカ350、マイク348、スピーカ350から出力される音声、通信装置3を操作するユーザの姿を表している。同様に、図16では、通信装置4が設置されている拠点の状況を表し、図17では、通信装置5が設置されている拠点の状況を表している。
【0084】
なお、以下の説明では、通信装置4のユーザが資料画像3191を用いて説明をしている声が、通信装置3,5のスピーカ350において出力された場合の音声を「音声81」という。また、通信装置5のユーザが発言して、通信装置3,4のスピーカ350で出力された場合の音声を「音声82」という。また、前述したように、第一具体例では、通信装置4のユーザと、通信装置5のユーザとが同時に発言している。
【0085】
まず、図15を参照して、通信装置3においてスピーカ350から出力される音声の音量と、ポインタの表示について説明する。なお、図15に示すように、通信装置3のユーザは発言をしていない。図14に示すように、設定結果データテーブル52において、通信装置3は、第三状態に設定されている。また、状態データテーブル51(図6参照)において、第三状態に対応付けられたポインタ表示は「非表示」であり、音量は「小」である。このため、図15に示すように通信装置3のポインタ61Aは、表示されていない。図15では、非表示であるポインタ61Aを2点鎖線で示している。なお、音量は「小」であるが、仮に通信装置3のユーザが発言したとしても、同じ通信装置3のスピーカ350からは出力されない。
【0086】
同様に、設定結果データテーブル52(図14参照)において、通信装置4は第一状態に設定されている。また、状態データテーブル51(図6参照)において、第一状態に対応付けられたポインタ表示は「標準」であり、音量は「標準」である。このため、図15に示すように、通信装置4のポインタ61Bは通常の表示をしている。また、通信装置4のユーザが発言した音声81は、S204の処理(図9参照)において調整されて、「標準」の音量でスピーカ350から出力されている。
【0087】
同様に、設定結果データテーブル52(図14参照)において、通信装置5は第二状態に設定されている。また、状態データテーブル51(図6参照)において、第二状態に対応付けられたポインタ表示は「点滅」であり、音量は「小」である。このため、図15に示すように、通信装置5のポインタ61Cは点滅している。また、通信装置5のユーザが発言した音声82は、S204の処理(図9参照)において調整されて、音量「小」でスピーカ350から出力されている。
【0088】
つまり、通信装置4のユーザが発言した音声81よりも、通信装置5のユーザが発言した音声82の方が小さい音量になっている。言い換えると、音声81は、音声82より大きい音量である。このため、通信装置3のユーザは、通信装置4のユーザの声が聞き取り易くなる。通信装置4のユーザは、ポインタを動かしながら、資料画像3191の説明をしている。つまり、資料画像3191の説明をしている通信装置4のユーザの声を、より聞き取り易くしているため、通信装置3のユーザは会議の内容を理解しやすいという利点がある。
【0089】
また、通信装置4,5,6のポインタ61A,61B,61Cの表示が、それぞれ異なっている。このため、通信装置3のユーザは、通信装置4のユーザの音声が、通信装置5のユーザの音声より大きく聞こえていることを、視覚的に確認することができる。
【0090】
次に、図16を参照して、通信装置4においてスピーカ350から出力される音声の音量と、ポインタの表示とについて説明する。図16に示すように、通信装置4のユーザは、資料の説明をしているため発言をしている。通信装置4においても、通信装置3の場合と同様に、設定結果データテーブル52が図14に示すように設定されている。このため、通信装置3の場合と同様に、ポインタ61A,61B,61Cはそれぞれ、「非表示」、「標準」、および「点滅」となっている。また、通信装置5のユーザが発言した音声82が、音量「小」でスピーカ350から出力されている。なお、通信装置4のユーザが発言した音声は、通信装置4では出力されていない。
【0091】
通信装置4のポインタ61Bが、「標準」で表示されているため、通信装置4のユーザは、自らの声が通信装置3,5において、音量「標準」で出力されていうことを視覚的に確認することができる。また、通信装置5のポインタ61Cが、「点滅」で表示されているため、通信装置5のユーザの音声82が、音量「小」でスピーカ350から出力されていることを視覚的に確認することができる。
【0092】
次に、図17を参照して、通信装置5においてスピーカ350から出力される音声の音量と、ポインタの表示について説明する。なお、図17に示すように、通信装置5のユーザは発言をしている。通信装置5においても、通信装置3,4の場合と同様に、設定結果データテーブル52が図14に示すように設定されている。このため、通信装置3,4の場合と同様に、ポインタ61A,61B,61Cはそれぞれ、「非表示」、「標準」、および「点滅」となっている。また、通信装置4のユーザが発言した音声81が、音量「標準」でスピーカ350から出力されている。なお、通信装置5のユーザが発言した音声は、通信装置5では出力されていない。
【0093】
通信装置5のポインタ61Cが、「点滅」で表示されているため、通信装置5のユーザは、自らの声が通信装置3,4において、音量「小」で出力されていることを視覚的に確認することができる。また、通信装置4のポインタ61Bが、「標準」で表示されているため、通信装置4のユーザの音声81が、音量「標準」でスピーカ350から出力されていることを視覚的に確認することができる。
【0094】
図11に示すように、S405の処理が行われたら、S407の処理が行われ、S401〜S406の処理が繰り返される。つまり、所定時間毎に、通信装置3,4,5のユーザが行うポインタの操作や発言に応じて、音量やポインタの表示が変化する。
【0095】
次に、S404、S405およびS406において行われる種々の処理について、例を示しながら詳述する。なお、以下に説明する第二、第三、第四具体例において、設定結果データテーブル52は、図14に示すように設定されているとする。
【0096】
S405の処理において、仮設定データテーブル53で第一状態に設定されている通信装置が1台である場合については、前述の第一具体例で説明した。第二具体例では、仮設定データテーブル53において、第一状態に設定されている通信装置が2台以上ある場合について説明する。詳細には、仮設定処理(図12参照)によって、図18に示すように、仮設定データテーブル53に登録された場合について説明する。図18に示す仮設定データテーブル53では、通信装置3、通信装置4、および通信装置5が、それぞれ、第二状態、第一状態、および第一状態に設定されている。
【0097】
図11に示すように、第二具体例の場合、設定結果データテーブル52(図14参照)に登録されている第一状態の通信装置4と、仮設定データテーブル53(図18参照)に登録されている第一状態の通信装置4とが同じであると判断され(S404:YES)、S405の処理が行われる。
【0098】
S405で行われる処理について説明する。仮設定データテーブル53(図18参照)において、第一状態に設定されている通信装置は、通信装置4,5の2台である。この場合、更新前の設定結果データテーブル52(図14参照)において第一状態に設定されている通信装置4は、そのまま第一状態に設定される。このため、図19に示すように、設定結果データテーブル52の通信装置4は、第一状態に設定される。また、更新前の設定結果データテーブル52(図14参照)において第一状態に設定されておらず、且つ、仮設定データテーブル53(図18参照)で第一状態に設定されている通信装置5は、更新前の設定結果データテーブル52(図14参照)に登録されている状態のまま設定結果データテーブル52に登録される。このため、図19に示すように、設定結果データテーブル52の通信装置5は、第二状態に設定される。
【0099】
また、仮設定データテーブル53(図18参照)において、第二状態に設定されている通信装置3は、図19に示すように、第二状態として設定結果データテーブル52に登録される。この結果、設定結果データテーブル52は、図19に示すように設定され、この設定結果データテーブル52に基づいて、音声が調整されて出力され、ポインタの形状が調整されて表示される(図9のS204、S205、S208、図10のS302参照)。
【0100】
次に、第三具体例について説明する。第三具体例では、S406の処理において、仮設定データテーブル53の第一状態に設定されている通信装置が1台である場合について説明する。詳細には、仮設定処理(図12参照)によって、図20に示すように、仮設定データテーブル53に登録された場合について説明する。図20に示す仮設定データテーブル53では、通信装置3、通信装置4、および通信装置5が、それぞれ、第二状態、第三状態、および第一状態に設定されている。
【0101】
第三具体例の場合、設定結果データテーブル52(図14参照)に登録されている第一状態の通信装置4と、仮設定データテーブル53(図20参照)に登録されている第一状態の通信装置5とは、異なる通信装置である。このため、第一状態の通信装置が同じではない判断され(S404:NO)、S406の処理が行われる。
【0102】
S406において行われる処理について説明する。仮設定データテーブル53(図20参照)において、第一状態に設定されている通信装置は1台である。この場合には、仮設定データテーブル53(図20参照)に登録されている通信装置3,4,5の状態が、設定結果データテーブル52に登録されて更新される(S406)。この結果、図21に示すように、更新後の設定結果データテーブル52では、通信装置3、通信装置4、および通信装置5が、それぞれ、第二状態、第三状態、および第一状態となる。そして、更新後の設定結果データテーブル52(図21参照)に基づいて、音声が調整されて出力され、ポインタの形状が調整されて表示される(図9のS204、S205、S208、図10のS302参照)。
【0103】
次に、第四具体例について説明する。第四具体例では、S406の処理において、仮設定データテーブル53の第一状態に設定されている通信装置が2台以上ある場合について説明する。詳細には、仮設定処理(図12参照)によって、図22に示すように、仮設定データテーブル53に登録された場合について説明する。図22に示す仮設定データテーブル53では、通信装置3、通信装置4、および通信装置5が、それぞれ、第一状態、第三状態、および第一状態に設定されている。
【0104】
第四具体例の場合、設定結果データテーブル52(図14参照)に登録されている第一状体の通信装置4と、仮設定データテーブル53(図22参照)に登録されている第一状態の通信装置3,5とは、異なる通信装置である。このため、第一状態の通信装置が同じではない判断され(S404:NO)、S406の処理が行われる。
【0105】
S406において行われる処理について説明する。仮設定データテーブル53(図22参照)において、第一状態に設定されている通信装置は、通信装置3,5の2台である。この場合には、第一状態に設定されている通信装置のうち、ランダムに1台が選択され、選択された通信装置が第一状態に設定され、設定結果データテーブル52に登録される。また、選択されなかった通信装置は、更新前の設定結果データテーブル52(図14参照)に登録されている状態のまま設定結果データテーブル52に登録される。
【0106】
ここで、ランダムに選択された1台が通信装置3であるとする。この場合、選択された通信装置3が第一状態に設定され、図23に示すように、更新後の設定結果データテーブル52に登録される。また、選択されなかった通信装置5は、更新前の設定結果データテーブル52(図14参照)に登録されている第二状態のまま、更新後の設定結果データテーブル52(図23参照)に登録される。また、通信装置4は、仮設定データテーブル53(図22参照)の第三状態が、更新後の設定結果データテーブル52(図23参照)に登録される。そして、更新後の設定結果データテーブル52(図23参照)に基づいて、音声が調整されて出力され、ポインタの形状が調整されて表示される(図9のS204、S205、S208、図10のS302参照)。以上、第一〜第四具体例で説明したように、第一状態に設定される通信装置は、2台以上にはならない。
【0107】
以上説明したように、本実施形態における通信装置3,4,5において種々の処理が実行される。本実施形態では、ポインタが所定の距離以上移動したか否かが判断され(図12のS503参照)、所定の距離以上移動していれば(S503:YES)、仮設定データテーブル53において第一状態に設定される(S504)。そして、設定結果データテーブル52が更新され(図11のS405およびS406参照)、音声が調整されて出力される(図9のS204およびS205参照)。状態データテーブル51(図6参照)では、第一状態の音量「標準」であり、第二状態および第三状態の音量は「小」である。言い換えると、第一状態の音量は、第二状態および第三状態の音量よりも大きい。このため、ポインタが所定の距離以上動いた通信装置の音量を、他の通信装置の音量より大きくするように、音声データが調整され、音声が出力されている。よって、例えば、複数のユーザが同時に発言した場合でも、ポインタを動かしているユーザの声が、他のユーザの声よりも大きく聞こえる。つまり、ポインタを動かしているユーザの声がより聞こえ易くなる。ポインタを動かしているユーザは、例えば、重要項目の説明などをしている可能性が高い。ポインタを動かしているユーザの声が聞こえ易くなることによって、重要項目の説明を理解することが容易になる。
【0108】
S501の処理(図12参照)では、過去の所定時間の間の座標データがあるか否かが判断されることで、資料画像3191上にポインタがあったか否かが判断されている。資料画像3191上にポインタがある場合に(S501:YES)、S503の処理(図12参照)で、ポインタが所定の距離以上移動したか否かが判断される。つまり、S501およびS503の処理によって、資料画像3191上で所定の距離以上移動したか否かが判断されている。そして、資料画像3191上で所定の距離以上移動した場合に(S503:YES)、第一状態に設定される(S504、S405、およびS406)。これによって、ポインタが資料画像3191上で移動した通信装置の音量が、他の通信装置の音量より大きくなるように、音声データが調整されて出力される(S204およびS205)。資料画像3191上でポインタを動かしているユーザは、資料の説明をしている可能性が高い。このため、資料の説明をしている可能性の高いユーザの声がより聞こえ易くなる。
【0109】
上記実施形態において、入力部316が本発明の「ポインティングデバイス」に相当し、ディスプレイ319が本発明の「表示画面」に相当する。座標データが本発明の「ポインタ情報」に相当し、マイク348が本発明の「音声取得手段」に相当する。S305の処理(図10参照)において音声データを作成する処理およびS203の処理(図9参照)を行うCPU8が本発明の「音声データ取得手段」に相当し、S304の処理(図10参照)において座標データを作成、記憶する処理およびS206の処理(図9参照)を行うCPU8が本発明の「ポインタ情報取得手段」に相当する。S503の処理(図12参照)を行うCPU8が本発明の「移動判断手段」に相当し、S204の処理(図9参照)、S504〜S506の処理(図12参照)、およびS405〜S406の処理(図11参照)を行うCPU8が本発明の「音声調整手段」に相当する。スピーカ350が本発明の「音声出力手段」に相当し、S205の処理(図9参照)を行うCPU8が本発明の「音声出力制御手段」に相当する。
【0110】
S202の処理(図9参照)において資料画像3191を表示させる処理を行うCPU8が本発明の「表示制御手段」に相当し、S502の処理(図12参照)を行うCPU8が本発明の「音量判断手段」に相当する。S208(図9参照)、S302(図10参照)、S405〜S406の処理(図11参照)、およびS504〜S506の処理(図12参照)を行うCPU8が本発明の「ポインタ表示制御手段」に相当する。
【0111】
S305の処理(図10参照)において音声データを作成する処理およびS203の処理(図9参照)が本発明の「音声データ取得ステップ」に相当し、S304の処理(図10参照)において座標データを作成、記憶する処理およびS206の処理が本発明の「ポインタ情報取得ステップ」に相当する。S503の処理(図12参照)が本発明の「移動判断ステップ」に相当し、204の処理(図9参照)、S504〜S506の処理(図12参照)、およびS405〜S406の処理(図11参照)が本発明の「音声調整ステップ」に相当する。S205の処理(図9参照)が本発明の「音声出力制御ステップ」に相当する。
【0112】
なお、本発明は上記の実施形態に限定されるものではなく、種々の変更が可能である。例えば、ポインタ表示は、「標準」、「点滅」、「非表示」であったが、これに限定されない。例えば、状態データテーブル51(図6参照)において、「標準」、「点滅」、「非表示」をそれぞれ、「赤」、「青」、「白」のように変更して、色でポインタの表示を分けてもよい。また、例えば、「大」、「中」、「小」のように変更して、大きさでポインタの表示を分けてもよい。
【0113】
また、例えば、状態データテーブル51(図6参照)における第二状態の「点滅」を「移動させて消去」のように変更してもよい。この場合について説明する。「移動させて消去」の場合、例えば、図24に示すポインタ61Cのように、ポインタ61Cをディスプレイ319の外縁に向けて移動させた後、ディスプレイ319から消去(非表示)にすることで、ポインタ61Cが画面の外に弾かれたように、ユーザに視認させることができる。なお、図24において、2つのポインタ61Cと、2つのポインタ61Cを結ぶ矢視とは、ポインタ61Cが矢視方向に移動していることを示している。第二状態では、音量は「小」である。このように、ポインタ61Cを表示させることによって、ユーザに音量が小さくなっていることを報知することができる。特に、通信装置5のユーザは、他の通信装置3,4では、自分の声の音量が小さくなって再生されているということを視覚的に確認することができる。
【0114】
また、資料画像3191上にポインタがある場合にのみポインタが表示されていた(S303、S304、S206、およびS208参照)が、これに限定されない。例えば、ポインタが資料画像3191上にあるか否を問わず、ディスプレイ319上のどの位置にあっても座標データを通信装置間で送受信し、表示してもよい。
【0115】
また、S405およびS406の処理(図11参照)において、設定結果データテーブル52で第一状態に設定される通信装置は1台のみであったが、これに限定されない。例えば、複数台を同時に第一状態に設定できるようにしてもよい。
【0116】
また、第二処理が開始されると、S405およびS406の処理において、設定結果データテーブル52が更新されて、音量とポインタの表示とが第一状態、第二状態、第三状態とのいずれかに設定されていたが、これに限定されない。例えば、所定の時間(例えば、10秒)の間、ユーザがポインタを移動させなければ、全てのポインタの表示を「標準」に設定し、音量を「標準」に設定してもよい。この設定は、上記実施形態の場合では、第一状態のポインタ表示と音量とが「標準」であるので(図6参照)、設定結果データテーブル52において、通信装置3,4,5をすべて第一状態に設定することで実現できる。この変形例について、図25に示すフローチャートを用いて説明する。
【0117】
図25は、図8に示すメイン処理にS107〜S111の処理を追加したフローチャートである。以下、図8に示すメイン処理で説明した処理については、説明を省略する。図25に示すフローチャートでは、まず、S101〜S104の処理が行われる。次いで、会議の終了の指示があれば(S105;YES)、S106の処理を行ってメイン処理を終了する。S105の処理において、会議の終了の指示がない場合には(S105:NO)、所定の時間の間に、通信装置3,4,5のポインタ61A,61B,61Cが移動したか否かが判断される(S107)。所定の時間は、例えば、10秒である。ポインタ61A,61B,61Cが移動した場合には(S107:YES)、S103の処理によって開始された第二処理(図11参照)が実行中であるか否かが判断される(S108)。実行中であれば(S108:YES)、S104の処理が繰り返される。実行中でなければ(S108:NO)、S103の処理に戻り、第二処理が開始されて処理が繰り返される。
【0118】
S107の処理において、所定の時間の間にポインタ61A,61B,61Cの移動がない場合には(S107:NO)、第二処理が実行中であるか否かが判断される(S109)。実行中でなければ(S109:NO)、S104に戻り、処理が繰り返される。実行中であれば(S109:YES)、第二処理が終了される(S110)。次いで、図7に示すように、設定結果データテーブル52において、通信装置3,4,5がすべて「第一状態」に設定される(S111)。これによって、画像音声再生処理(図9参照)、および第一処理(図10参照)によって、音声が「標準」で出力され、ポインタ61A,61B,61が「標準」で表示される。次いで、S104に戻り、処理が繰り返される。
【0119】
例えば、所定時間(以下、10秒とする。)の間にユーザがポインタ61A,61B,61を移動させていれば、S104、S105、S107、S108の処理が繰り返される。つまり、例えば、図15〜図17に示すように、音量とポインタ61A,61B,61の表示とが状況に応じて変更される。その後、10秒間ユーザがポインタ61A,61B,61を移動させなければ(S107:NO)、第二処理が実行中であるので(S109:YES)、第二処理が終了され(S110)、設定結果データテーブル52(図7参照)が第一状態に設定される(S111)。つまり、音声が「標準」で出力され、ポインタ61A,61B,61が「標準」で表示される。次いで、S104に戻り、処理が繰り返される。その後、継続してユーザがポインタ61A,61B,61を移動させなければ、設定結果データテーブル52において、通信装置3,4,5がすべて「第一状態」に設定されたままであるので、継続して、音声が「標準」で出力され、ポインタ61A,61B,61が「標準」で表示される(S104、S105、S107:NO、109:NO)
【0120】
その後、ユーザがポインタ61A,61B,61を移動させれば(S107:YES)、第二処理が実行中でないので(S108:NO)、第二処理が開始され(S103)、S104、S105、S107、およびS108の処理が繰り返される。つまり、例えば、図15〜図17に示すように、音量とポインタ61A,61B,61の表示とが状況に応じて変更される。
【0121】
以上、図25に示す変形例では、所定の時間の間、ユーザがポインタ61A,61B,61を移動させなければ、全てのポインタ61A,61B,61の表示が「標準」で表示され、音量が「標準」で出力される。なお、ポインタ61A,61B,61の表示と音量とを「標準」に設定する条件は、所定の時間の間、ユーザがポインタ61A,61B,61を移動させない場合に限られず、変更が可能である。例えば、ユーザが入力部316を介して指示を入力した場合に、ポインタ61A,61B,61の表示を「標準」で表示し、音量を「標準」で出力するようにしてもよい。これは、例えば、S107の処理(図25参照)を、ユーザが、ポインタの表示を「標準」で表示し、音量を「標準」で出力するように指示を入力したか否かを判断するステップに変更することによって実現できる。詳細には、ユーザが指示を入力した場合には、S109の処理を実行するように設定し、ユーザが指示を入力していない場合、または、指示を解除した場合には、S108の処理を行うように設定すれば実現できる。
【0122】
また、上記実施形態は、通信装置3,4,5が直接通信を行うP2P(Peer to Peer)方式で、通信を行っていたが、これに限定されない。例えば、サーバを介して通信を行ってもよい。また、音量の調整や、ポインタ61A,61B,61Cの表示の変更をする処理が通信装置3,4,5のCPU8によって行われていたが、これに限定されない。例えば、サーバのCPUが、音量の調整をし、ポインタ61A,61B,61Cの形状の変更する指示を通信装置3,4,5に送信してもよい。この場合、サーバのCPUは、自装置であるサーバとは異なる通信装置3,4,5の音声データと座標データとを受信する。受信した音声データを調整して音量を変更して、通信装置3,4,5に送信することで、通信装置3,4,5に備えられたスピーカ350に出力させる。また、ポインタ61A,61B,61Cの形状を変更する指示を通信装置3,4,5に送信することで、通信装置3,4,5のディスプレイ319に変更後のポインタ61A,61B,61Cを表示させる。このようにしても、上記実施形態の場合と同様に、通信装置3,4,5において出力される音量を調整し、ポインタ61A,61B,61Cの表示を変更することができる。この場合、サーバが本発明の「通信装置」に相当する。
【符号の説明】
【0123】
1 テレビ会議システム
2 ネットワーク
3,4,5 通信装置
8 CPU
51 状態データテーブル
52 設定結果データテーブル
53 仮設定データテーブル
61A,61B,61C ポインタ
81 音声
82 音声
316 入力部
319 ディスプレイ
348 マイク
350 スピーカ
3191 資料画像

【特許請求の範囲】
【請求項1】
ポインティングデバイスからの入力情報に対応して作成され、表示画面上に表示されるポインタの位置の情報であるポインタ情報と、周囲の音声を取得する音声取得手段によって取得された音声に基づいて作成される音声データとを、自装置とは異なる通信装置との間で互いに送受信可能な通信装置であって、
自装置とは異なる前記通信装置の前記音声データを取得する音声データ取得手段と、
自装置とは異なる前記通信装置の前記ポインタ情報を取得するポインタ情報取得手段と、
前記ポインタ情報取得手段によって取得された前記ポインタ情報に基づく前記ポインタの位置が、所定の距離以上移動したか否かを判断する移動判断手段と、
前記移動判断手段によって所定の距離以上移動したと判断された前記ポインタの前記ポインタ情報を作成した前記通信装置が作成した前記音声データに基づく音声の音量が、他の通信装置が作成した前記音声データに基づく音声の音量より大きくなるように、前記音声データ取得手段によって取得された前記音声データを調整する音声調整手段と、
前記音声調整手段によって調整された前記音声データに基づく音声を、音声を出力する音声出力手段に出力させる音声出力制御手段と
を備えたことを特徴とする通信装置。
【請求項2】
前記音声データ取得手段は、自装置とは異なる前記通信装置と自装置との前記音声データを取得し、
前記ポインタ情報取得手段は、自装置とは異なる前記通信装置と自装置との前記ポインタ情報を取得することを特徴とする請求項1に記載の通信装置
【請求項3】
資料の画像のデータである資料画像データに基づく前記資料の画像を、前記表示画面に表示させる表示制御手段を備え、
前記移動判断手段は、前記ポインタ情報取得手段によって取得された前記ポインタ情報に基づく前記ポインタの位置が、前記表示制御手段によって前記表示画面に表示された前記資料の画像上で所定の距離以上移動したか否かを判断することを特徴とする請求項1または2に記載の通信装置。
【請求項4】
前記音声データ取得手段によって取得された前記音声データに基づく音声の音量が、所定の音量以上であるか否かを判断する音量判断手段と、
一の前記通信装置が作成した前記音声データに基づく音声の音量が、前記音量判断手段によって所定の音量以上であると判断され、且つ、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタの位置が、前記移動判断手段によって所定の距離以上移動したと判断された場合に、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタと、他の前記通信装置が作成した前記ポインタ情報に基づく前記ポインタとを異なる表示で前記表示画面に表示させるポインタ表示制御手段と
を備えたことを特徴とする請求項1から3のいずれかに記載の通信装置。
【請求項5】
前記ポインタ表示制御手段は、一の前記通信装置が作成した前記音声データに基づく音声の音量が、前記音量判断手段によって所定の音量以上であると判断され、且つ、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタの位置が、前記移動判断手段によって所定の距離以上移動していないと判断された場合に、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタを点滅させて、前記表示画面に表示させることを特徴とする請求項4に記載の通信装置。
【請求項6】
前記ポインタ表示制御手段は、一の前記通信装置が作成した前記音声データに基づく音声の音量が、前記音量判断手段によって所定の音量以上であると判断され、且つ、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタの位置が、前記移動判断手段によって所定の距離以上移動していないと判断された場合に、当該一の通信装置が作成した前記ポインタ情報に基づく前記ポインタを移動させた後に前記表示画面から消去することを特徴とする請求項4に記載の通信装置。
【請求項7】
ポインティングデバイスからの入力情報に対応して作成される、表示画面上に表示されるポインタの位置の情報であるポインタ情報と、周囲の音声を取得する音声取得手段によって取得された音声に基づいて作成されるデータである音声データとを、自装置とは異なる複数の通信装置との間で互いに送受信可能な通信装置において実行される通信制御方法であって、
自装置とは異なる前記通信装置の前記音声データを取得する音声データ取得ステップと、
自装置とは異なる前記通信装置の前記ポインタ情報を取得するポインタ情報取得ステップと、
前記ポインタ情報取得ステップによって取得された前記ポインタ情報に基づく前記ポインタの位置が、所定の距離以上移動したか否かを判断する移動判断ステップと、
前記移動判断ステップによって所定の距離以上移動したと判断された前記ポインタの前記ポインタ情報を作成した前記通信装置が作成した前記音声データに基づく音声の音量が、他の通信装置が作成した前記音声データに基づく音声の音量より大きくなるように、前記音声データ取得ステップによって取得された前記音声データを調整する音声調整ステップと、
前記音声調整ステップによって調整された前記音声データに基づく音声を、音声を出力する音声出力手段に出力させる音声出力制御ステップと
を備えたことを特徴とする通信制御方法。
【請求項8】
ポインティングデバイスからの入力情報に対応して作成される、表示画面上に表示されるポインタの位置の情報であるポインタ情報と、周囲の音声を取得する音声取得手段によって取得された音声に基づいて作成されるデータである音声データとを、自装置とは異なる複数の通信装置との間で互いに送受信可能な通信装置において実行される通信制御プログラムであって、
通信装置のCPUに、
自装置とは異なる前記通信装置の前記音声データを取得する音声データ取得ステップと、
自装置とは異なる前記通信装置の前記ポインタ情報を取得するポインタ情報取得ステップと、
前記ポインタ情報取得ステップによって取得された前記ポインタ情報に基づく前記ポインタの位置が、所定の距離以上移動したか否かを判断する移動判断ステップと、
前記移動判断ステップによって所定の距離以上移動したと判断された前記ポインタの前記ポインタ情報を作成した前記通信装置が作成した前記音声データに基づく音声の音量が、他の通信装置が作成した前記音声データに基づく音声の音量より大きくなるように、前記音声データ取得ステップによって取得された前記音声データを調整する音声調整ステップと、
前記音声調整ステップによって調整された前記音声データに基づく音声を、音声を出力する音声出力手段に出力させる音声出力制御ステップと
を実行させることを特徴とする通信制御プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate


【公開番号】特開2012−49878(P2012−49878A)
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願番号】特願2010−190894(P2010−190894)
【出願日】平成22年8月27日(2010.8.27)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】