説明

端末装置、監視装置、端末監視システム、端末装置の制御方法、監視装置の制御方法、制御プログラム、及び記録媒体

【課題】同期表示の対象となる画像を表示する装置が表示している画像を、端末装置のユーザがその端末装置の表示装置で見ているか否かの特定を可能にする。
【解決手段】同期表示の対象となる対象画像を表示する発表者端末1aが表示している対象画像を、自装置の端末表示部11に表示する同期モードを有する参加者端末1bであって、自装置のユーザの視線が自装置の端末表示部11に向いているか否かを判定する視線検出部20と、自装置が同期モードであるか否かを判定する端末会議制御部17と、視線検出部20がユーザの視線が自装置の端末表示部11に向いていると判定しており、かつ端末会議制御部17が同期モードであると判定している場合に、ユーザが同期モードで対象画像を閲覧している同期聴講中であることを示す情報を自装置のユーザの参加状態を監視する会議サーバ2に送信する参加状態判定部22とを備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、同期表示の対象となる対象画像を表示する対象画像表示装置が表示している画像を自装置の表示装置に表示する端末装置等に関するものである。
【背景技術】
【0002】
パーソナルコンピュータ等の端末装置をネットワークで接続して電子会議を行う電子会議システムにおいて、会議の発表者に割り当てられた端末装置(以下、発表者端末と呼ぶ)が表示する画像と同じ画像を、会議の各参加者に割り当てられた端末装置(以下、参加者端末と呼ぶ)のそれぞれに表示させる機能を有するものが知られている。
【0003】
このような電子会議システムでは、発表者端末で画像を切り替えたときには、参加者端末においても同様に画像を切り替えるので、各参加者は、発表者端末が表示する画像を参加者端末で確認しながら会議に参加することができる。
【0004】
なお、電子会議システムに関する従来技術としては、例えば下記の特許文献1が挙げられる。特許文献1には、複数の拠点にカメラを設置して各拠点の参加者を撮影し、撮影した映像を他の拠点に送信する電子会議システムについて記載されている。このように、電子会議システムでは、離れた拠点間での会議を可能にするものも多い。
【0005】
具体的には、特許文献1には、参加者の表示画面に対する視線位置を検出し、検出した視線位置から、その参加者が注視するであろう映像の領域を予測することが記載されている。そして、予測した領域の映像を他の領域より低い圧縮率で圧縮し、圧縮した映像を当該参加者に送信することが記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2006−54830号公報(2006年2月23日公開)
【発明の概要】
【発明が解決しようとする課題】
【0007】
発表者端末の表示する画像と、参加者端末の表示する画像とを同期(連動)させる電子会議システムでは、各参加者が発表者端末の表示する画像を見ているか否かを発表者が認識し難いという問題がある。
【0008】
例えば、発表者の居る拠点と参加者の居る拠点とが異なっているような場合には、発表者は、参加者が参加者端末の表示する画像を見ているか否かを判断することは困難である。
【0009】
ここで、例えば特許文献1に記載されている、参加者の表示画面に対する視線位置を検出する技術を用いることによって、参加者が参加者端末の表示する画像を見ているか否かを判断することは可能と考えられる。
【0010】
しかしながら、特許文献1の技術では、表示されている画像のどの領域を参加者が見ているか、または表示されている画像を見ていないかについては判断できるものの、参加者が、発表者端末の表示する画像を見ているか否かを判断できない。参加者が、発表者端末の表示する画像と異なる画像を参加者端末に表示させている可能性があるからである。
【0011】
これは、電子会議システムの参加者端末に限った問題点ではなく、同期表示の対象となる画像を表示する装置が表示している画像を、自装置の表示装置に表示する端末装置に共通して生じる問題点である。
【0012】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、同期表示の対象となる画像を表示する装置が表示している画像を、端末装置のユーザがその端末装置の表示装置で見ているか否かの特定を可能にする端末装置等を実現することにある。
【課題を解決するための手段】
【0013】
上記課題を解決するために、本発明に係る端末装置は、同期表示の対象となる対象画像を表示する対象画像表示装置が表示している対象画像を、自装置の表示装置に表示する同期表示モードを有する端末装置であって、自装置のユーザの視線が自装置の表示装置に向いているか否かを判定する視線判定手段と、自装置が上記同期表示モードであるか否かを判定する同期判定手段と、上記視線判定手段の判定結果及び上記同期判定手段の判定結果を示す情報を、自装置のユーザの、当該表示装置に表示される画像の閲覧状態を特定する監視装置に送信する閲覧状態通知手段とを備えていることを特徴としている。
【0014】
また、本発明に係る端末装置の制御方法は、上記課題を解決するために、同期表示の対象となる対象画像を表示する対象画像表示装置が表示している対象画像を自装置の表示装置に表示する同期表示モードを有する端末装置の制御方法であって、自装置のユーザの視線が自装置の表示装置に向いているか否かを判定する視線判定ステップと、自装置が上記同期表示モードであるか否かを判定する同期判定ステップと、上記視線判定ステップの判定結果、及び上記同期判定ステップの判定結果を示す情報を、自装置のユーザの、当該表示装置に表示される画像の閲覧状態を特定する監視装置に送信する閲覧状態通知ステップとを含むことを特徴としている。
【0015】
上記の構成によれば、ユーザの視線が表示装置に向いているか否かの判定結果を示す情報と、端末装置が同期表示モードであるか否かを示す情報とを監視装置に送信する。
【0016】
したがって、対象画像表示装置が表示している対象画像を、上記端末装置のユーザが自身の端末装置の表示装置で見ているか否かを監視装置に特定させることができる。なお、上記端末装置の表示装置は、該端末装置と通信接続されており、端末装置の制御に従って画像を表示するものであればよく、端末装置が備えているものであってもよいし、端末装置とは独立の装置であってもよい。
【0017】
また、ユーザの視線が端末装置の表示装置に向いているか否かの判定は、端末装置が単独で行ってもよいし、他の装置と共同で行ってもよい。例えば、視線判定手段または視線判定ステップでは、ユーザの顔を撮影した画像を他の装置(カメラ等)から取得して、その画像を解析することによって判定を行ってもよい。また、例えば、他の装置(ユーザの視線方向を検出する装置等)からユーザの視線が向いているか方向を示す情報を取得して、取得した情報から判定を行ってもよい。さらに、例えば、他の装置にユーザの視線が表示装置に向いているか否かの判定を行わせ、その判定結果を取得することによって、ユーザの視線が表示装置に向いているか否かを判定してもよい。
【0018】
同様に、端末装置が同期表示モードであるか否かの判定は、端末装置が単独で行ってもよいし、他の装置と共同で行ってもよい。例えば、端末装置が自装置の制御で同期表示モードに移行するような場合には、同期表示モードに移行する制御を行ったか否かで同期表示モードであるか否かを判定してもよい。また、例えば端末装置が他の装置の制御で同期表示モードに移行するような場合には、当該他の装置に同期表示モードに移行する制御を行ったか否かを確認することによって、同期表示モードであるか否かを判定してもよい。
【0019】
また、上記閲覧状態通知手段は、上記視線判定手段がユーザの視線が自装置の表示装置に向いていると判定しており、かつ上記同期判定手段が上記同期表示モードであると判定している場合に、上記ユーザが同期表示モードで上記対象画像を閲覧している第1閲覧状態であることを示す情報を上記監視装置に送信することが好ましい。
【0020】
上記の構成によれば、ユーザが同期表示モードで対象画像を閲覧している第1閲覧状態であることを示す情報を監視装置に送信するので、監視装置は、閲覧状態の判断等の特別な処理を行うことなく、端末装置のユーザが同期表示モードで対象画像を閲覧していることを把握することができる。
【0021】
また、上記閲覧状態通知手段は、上記視線判定手段がユーザの視線が自装置の表示装置に向いていないと判定している場合に、上記ユーザが自装置の表示装置を見ていない非閲覧状態であることを示す情報を上記監視装置に送信することが好ましい。
【0022】
上記の構成によれば、非閲覧状態であることを示す情報を監視装置に送信するので、監視装置は、閲覧状態の判断等の特別な処理を行うことなく、端末装置のユーザが表示装置を見ていないことを把握することができる。
【0023】
また、上記同期判定手段は、自装置が上記同期表示モードであるか、自装置が上記対象画像表示装置が表示している対象画像と異なる画像を自装置の表示装置に表示可能な非同期表示モードであるかを判定し、上記閲覧状態通知手段は、上記視線判定手段がユーザの視線が自装置の表示装置に向いていると判定しており、かつ上記同期判定手段が上記非同期表示モードであると判定している場合に、上記ユーザが非同期表示モードで画像を閲覧している第2閲覧状態であることを示す情報を上記監視装置に送信することが好ましい。
【0024】
上記の構成によれば、ユーザの視線が自装置の表示装置に向いていると判定しており、かつ非同期表示モードであると判定している場合に、ユーザが非同期表示モードで画像を閲覧している第2閲覧状態であることを示す情報を監視装置に送信する。
【0025】
したがって、上記端末装置のユーザが、自身の端末装置の表示装置で画像を見ているものの、同期表示モードでは画像を見ていないことを監視装置に特定させることができる。
【0026】
また、上記対象画像表示装置は、予め定められた複数の対象画像の何れかを表示し、自装置が上記非同期表示モードである場合に、上記複数の対象画像の何れかを自装置の表示装置に表示させている非同期第1状態であるか否かを判定する非同期状態判定手段を備え、上記閲覧状態通知手段は、上記視線判定手段がユーザの視線が自装置の表示装置に向いていると判定し、かつ上記非同期状態判定手段が上記非同期第1状態と判定している場合に、上記ユーザが、非同期表示モードで上記対象画像を閲覧している第3閲覧状態であることを示す情報を上記監視装置に送信することが好ましい。
【0027】
上記の構成によれば、ユーザの視線が自装置の表示装置に向いていると判定しており、かつ非同期表示モードにおいて、対象画像表示装置が表示する複数の対象画像の何れかを自装置の表示装置に表示させていると判定している場合に、ユーザが非同期表示モードで対象画像を閲覧している第3閲覧状態であることを示す情報を監視装置に送信する。
【0028】
したがって、上記端末装置のユーザが、非同期表示モードではあるが、対象画像表示装置が表示する複数の対象画像の何れかを自身の端末装置の表示装置で画像を見ていること監視装置に特定させることができる。
【0029】
また、上記対象画像表示装置は、予め定められた複数の対象画像の何れかを表示し、自装置が上記非同期表示モードである場合に、上記複数の対象画像の何れかを自装置の表示装置に表示させている非同期第1状態であるか、上記対象画像を自装置の表示装置に表示させていない非同期第2状態であるかを判定する非同期状態判定手段を備え、上記閲覧状態通知手段は、上記視線判定手段がユーザの視線が自装置の表示装置に向いていると判定し、かつ上記非同期状態判定手段が上記非同期第2状態と判定している場合に、上記ユーザが上記対象画像を閲覧していない第4閲覧状態であることを示す情報を上記監視装置に送信することが好ましい。
【0030】
上記の構成によれば、ユーザの視線が自装置の表示装置に向いていると判定しており、かつ非同期表示モードにおいて、対象画像を自装置の表示装置に表示させていないと判定している場合に、ユーザが対象画像を閲覧していない第4閲覧状態であることを示す情報を監視装置に送信する。
【0031】
したがって、上記端末装置のユーザが、自身の端末装置の表示装置で画像を見ているものの、対象画像を見ていないことを監視装置に特定させることができる。
【0032】
また、上記端末装置は、上記対象画像表示装置が1つの対象画像を表示している期間のうち、自装置のユーザが当該対象画像を上記第1閲覧状態で閲覧している期間の割合を算出する割合算出手段を備えていることが好ましい。
【0033】
上記の構成によれば、対象画像表示装置が1つの対象画像を表示している期間のうち、自装置のユーザが当該対象画像を第1閲覧状態で閲覧している期間の割合を算出する。第1閲覧状態では、自装置のユーザが表示装置から目を離していたり、他の画像を見たりしていることはないので、上記の割合は、当該対象画像を評価する指標として用いることができる。例えば、上記の割合が高い対象画像はユーザの注目度が高く、上記の割合が低い対象画像はユーザの注目度が低いと評価することができる。
【0034】
また、本発明に係る監視装置は、上記課題を解決するために、同期表示の対象となる対象画像を表示する対象画像表示装置が表示している対象画像を、自装置の表示装置に表示する同期表示モードを有する端末装置を使用するユーザの、当該表示装置に表示される画像の閲覧状態を特定する監視装置であって、上記ユーザの視線が上記端末装置の表示装置に向いているか否かを判定する視線判定手段と、上記端末装置が上記同期表示モードであるか否かを判定する同期判定手段と、上記視線判定手段が、上記ユーザの視線が上記端末装置の表示装置に向いていると判定しており、かつ上記同期判定手段が、上記端末装置が上記同期表示モードであると判定している場合に、上記ユーザが同期表示モードで上記対象画像を閲覧している第1閲覧状態であると判定する閲覧状態判定手段とを備えていることを特徴としている。
【0035】
そして、本発明に係る監視装置の制御方法は、上記課題を解決するために、同期表示の対象となる対象画像を表示する対象画像表示装置が表示している対象画像を、自装置の表示装置に表示する同期表示モードを有する端末装置を使用するユーザの、当該表示装置に表示される画像の閲覧状態を監視する監視装置の制御方法であって、上記ユーザの視線が上記端末装置の表示装置に向いているか否かを判定する視線判定ステップと、上記端末装置が上記同期表示モードであるか否かを判定する同期判定ステップと、上記視線判定ステップで上記ユーザの視線が上記端末装置の表示装置に向いていると判定しており、かつ上記同期判定ステップで上記端末装置が上記同期表示モードであると判定している場合に、上記ユーザが同期表示モードで上記対象画像を閲覧している第1閲覧状態であると判定する閲覧状態判定ステップとを含むことを特徴としている。
【0036】
上記の構成によれば、ユーザの視線が表示装置に向いていると判定されており、かつ同期表示モードであると判定されている場合に、ユーザが同期表示モードで対象画像を閲覧している第1閲覧状態であると判定する。
【0037】
したがって、対象画像表示装置が表示している対象画像を、端末装置のユーザが自身の端末装置の表示装置で見ているか否かを特定することができる。なお、上記端末装置の表示装置は、該端末装置と通信接続されており、端末装置の制御に従って画像を表示するものであればよく、端末装置が備えているものであってもよいし、端末装置とは独立の装置であってもよい。
【0038】
また、ユーザの視線が端末装置の表示装置に向いているか否かの判定は、監視装置が単独で行ってもよいし、他の装置と共同で行ってもよい。例えば、視線判定手段または視線判定ステップでは、ユーザの顔を撮影した画像を他の装置(カメラ等)から取得して、その画像を解析することによって判定を行ってもよい。また、例えば、他の装置(ユーザの視線方向を検出する装置等)からユーザの視線が向いているか方向を示す情報を取得して、取得した情報から判定を行ってもよい。さらに、例えば、他の装置にユーザの視線が表示装置に向いているか否かの判定を行わせ、その判定結果を取得することによって、ユーザの視線が表示装置に向いているか否かを判定してもよい。
【0039】
同様に、端末装置が同期表示モードであるか否かの判定は、監視装置が単独で行ってもよいし、他の装置と共同で行ってもよい。例えば、端末装置が自装置の制御で同期表示モードに移行するような場合には、端末装置に同期表示モードに移行する制御を行ったかを確認することで同期表示モードであるか否かを判定してもよい。また、例えば端末装置が他の装置の制御で同期表示モードに移行するような場合には、当該他の装置に同期表示モードに移行する制御を行ったか否かを確認することによって、同期表示モードであるか否かを判定してもよい。さらに、例えば監視装置の制御で同期表示モードに移行するような場合には、同期表示モードに移行させる制御を行ったか否かを確認することによって、同期表示モードであるか否かを判定してもよい。
【0040】
また、本発明に係る他の監視装置は、上記課題を解決するために、上記端末装置から、該端末装置のユーザの閲覧状態を示す情報を受信する監視装置であって、上記端末装置から受信した情報が示す閲覧状態を表示させる表示制御手段を備えていることを特徴としている。
【0041】
上記の構成によれば、上記端末装置から、該端末装置のユーザの閲覧状態を示す情報を受信し、受信した情報が示す閲覧状態を表示させるので、上記端末装置のユーザが、対象画像表示装置が表示している対象画像をそのユーザの端末装置の表示装置で見ているか否かを、他のユーザに認識させることができる。
【0042】
なお、閲覧状態を表示させるとは、上記端末装置のユーザの閲覧状態が他のユーザに認識できるような表示(例えば閲覧状態を示す画像の表示)を行わせることを指す。また、閲覧状態を表示させる対象は、監視装置が表示装置を備えている場合にはその表示装置であってもよいし、監視装置と直接または間接に接続された表示装置であってもよい。例えば、上記対象画像表示装置であってもよい。
【0043】
また、上記監視装置は、上記対象画像表示装置が表示している対象画像をそれぞれの表示装置に表示する複数の上記端末装置から、該端末装置のユーザの閲覧状態を示す情報をそれぞれ受信し、上記端末装置のユーザのうち、上記同期表示モードで上記対象画像を閲覧しているユーザの割合を算出する閲覧率算出手段を備えていることが好ましい。
【0044】
上記の構成によれば、各端末装置のユーザの閲覧状態を示す情報をそれぞれ受信し、各端末装置のユーザのうち、上記同期表示モードで上記対象画像を閲覧しているユーザ、すなわち第1閲覧状態のユーザの割合を算出する。第1閲覧状態では、その端末装置のユーザが表示装置から目を離していたり、他の画像を見たりしていることはないので、上記の割合は、対象画像表示装置が表示している対象画像に対する現在の注目度を評価する指標として用いることができる。例えば、上記の割合が高いときには、対象画像表示装置の表示している対象画像に注目しているユーザが多く、上記の割合が低いときには、対象画像表示装置の表示している対象画像に注目しているユーザは少ないと評価することができる。
【0045】
また、本発明に係る端末監視システムは、上記課題を解決するために、同期表示の対象となる対象画像を表示する対象画像表示装置が表示している対象画像を、自装置の表示装置に表示する同期表示モードを有する端末装置と、該端末装置のユーザの、当該表示装置に表示される画像の閲覧状態を特定する監視装置とを含む端末監視システムであって、上記端末装置のユーザの視線が、該端末装置の表示装置に向いているか否かを判定する視線判定手段が、上記端末装置または上記監視装置に設けられており、上記端末装置が上記同期表示モードであるか否かを判定する同期判定手段が、上記端末装置または上記監視装置に設けられており、上記視線判定手段の判定結果及び上記同期判定手段の判定結果を示す情報を取得して、上記視線判定手段が、上記ユーザの視線が上記端末装置の表示装置に向いていると判定しており、かつ上記同期判定手段が、上記端末装置が上記同期表示モードであると判定している場合に、上記ユーザが同期表示モードで上記対象画像を閲覧している第1閲覧状態であると判定する閲覧状態判定手段が、上記端末装置または上記監視装置に設けられており、上記閲覧状態判定手段の判定結果を示す情報を上記監視装置が取得することを特徴としている。
【0046】
上記の構成によれば、端末装置または監視装置の何れかにおいて、ユーザの視線が端末装置の表示装置に向いているか否かを判定を判定し、端末装置が同期表示モードであるか否かを判定する。そして、端末装置または監視装置の何れかにおいて、これらの判定結果からユーザが第1閲覧状態であるか否かを判定し、その判定結果を監視装置が取得する。
【0047】
したがって、監視装置は、対象画像表示装置が表示している対象画像を、端末装置のユーザが自身の端末装置の表示装置で見ているか否かを特定することができる。なお、端末装置が閲覧状態判定手段を備えている場合には、監視装置は、閲覧状態判定手段の判定結果を示す情報を端末装置から受信して取得すればよい。
【0048】
なお、上記端末装置及び監視装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記端末装置または監視装置の各手段として動作させることにより、上記端末装置または監視装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【0049】
以上のように、本発明に係る端末装置は、自装置のユーザの視線が自装置の表示装置に向いているか否かを判定する視線判定手段と、自装置が同期表示モードであるか否かを判定する同期判定手段と、上記視線判定手段の判定結果及び上記同期判定手段の判定結果を示す情報を、自装置のユーザの、当該表示装置に表示される画像の閲覧状態を特定する監視装置に送信する閲覧状態通知手段とを備えている構成である。
【0050】
また、本発明に係る端末装置の制御方法は、以上のように、自装置のユーザの視線が自装置の表示装置に向いているか否かを判定する視線判定ステップと、自装置が上記同期表示モードであるか否かを判定する同期判定ステップと、上記視線判定ステップの判定結果及び上記同期判定ステップの判定結果を示す情報を、自装置のユーザの、当該表示装置に表示される画像の閲覧状態を特定する監視装置に送信する閲覧状態通知ステップとを含む構成である。
【0051】
そして、本発明に係る監視装置は、以上のように、ユーザの視線が端末装置の表示装置に向いているか否かを判定する視線判定手段と、上記端末装置が同期表示モードであるか否かを判定する同期判定手段と、上記視線判定手段が、上記ユーザの視線が上記端末装置の表示装置に向いていると判定しており、かつ上記同期判定手段が、上記端末装置が上記同期表示モードであると判定している場合に、上記ユーザが同期表示モードで上記対象画像を閲覧している第1閲覧状態であると判定する閲覧状態判定手段とを備えている構成である。
【0052】
また、本発明に係る監視装置の制御方法は、以上のように、ユーザの視線が端末装置の表示装置に向いているか否かを判定する視線判定ステップと、上記端末装置が同期表示モードであるか否かを判定する同期判定ステップと、上記視線判定ステップで上記ユーザの視線が上記端末装置の表示装置に向いていると判定しており、かつ上記同期判定ステップで上記端末装置が上記同期表示モードであると判定している場合に、上記ユーザが同期表示モードで上記対象画像を閲覧している第1閲覧状態であると判定する閲覧状態判定ステップとを含む構成である。
【0053】
そして、本発明に係る端末監視システムは、以上のように、端末装置のユーザの視線が、該端末装置の表示装置に向いているか否かを判定する視線判定手段が、端末装置または監視装置に設けられており、上記端末装置が同期表示モードであるか否かを判定する同期判定手段が、上記端末装置または上記監視装置に設けられており、上記視線判定手段の判定結果及び上記同期判定手段の判定結果を示す情報を取得して、上記視線判定手段が、上記ユーザの視線が上記端末装置の表示装置に向いていると判定しており、かつ上記同期判定手段が、上記端末装置が上記同期表示モードであると判定している場合に、上記ユーザが同期表示モードで上記対象画像を閲覧している第1閲覧状態であると判定する閲覧状態判定手段が、上記端末装置または上記監視装置に設けられており、上記閲覧状態判定手段の判定結果を示す情報を上記監視装置が取得する構成である。
【0054】
上記の構成によれば、対象画像表示装置が表示している対象画像を、端末装置のユーザが自身の端末装置の表示装置で見ているか否かを監視装置に特定させることができるという効果を奏する。
【図面の簡単な説明】
【0055】
【図1】本発明の実施形態を示すものであり、参加者端末の要部構成を示すブロック図である。
【図2】本実施形態にかかる電子会議システムの概要を示す図である。
【図3】上記電子会議システムに含まれる会議サーバの要部構成を示すブロック図である。
【図4】上記会議サーバが格納する会議データの一例を示す図である。
【図5】上記会議サーバが格納するアジェンダデータの一例を示す図である。
【図6】上記会議サーバが格納する参加ユーザデータの一例を示す図である。
【図7】上記会議サーバが格納する接続端末判別データの一例を示す図である。
【図8】上記会議サーバが格納する参加状態データリストの一例を示す図である。
【図9】上記会議サーバが格納する参加状態カウンタデータリストの一例を示す図である。
【図10】上記会議サーバが実行する会議設定処理の一例を示すフローチャートである。
【図11】上記参加者端末が生成する参加状態データの一例を示す図である。
【図12】上記参加者端末が生成する参加状態カウンタデータの一例を示す図である。
【図13】上記電子会議システムに含まれる発表者端末の要部構成を示すブロック図である。
【図14】上記電子会議システムに含まれる司会者端末の要部構成を示すブロック図である。
【図15】上記電子会議システムにおける処理の一例を示すフローチャートである。
【図16】上記電子会議システムにおいて、参加者端末が行う発表処理の一例を示すフローチャートである。
【図17】上記電子会議システムにおいて、会議サーバが行う発表処理の一例を示すフローチャートである。
【図18】上記電子会議システムにおいて、発表者端末が行う発表処理の一例を示すフローチャートである。
【図19】上記発表者端末の表示画面の一例を示す図である。
【図20】上記電子会議システムにおいて、参加者端末が行う発表処理の一例を示すフローチャートである。
【図21】上記電子会議システムにおいて、会議サーバが行う発表処理の一例を示すフローチャートである。
【図22】上記電子会議システムにおいて、発表者端末が行う発表処理の一例を示すフローチャートである。
【図23】上記発表者端末の表示画面の一例を示す図である。
【図24】上記電子会議システムにおいて、司会者端末が行う発表処理の一例を示すフローチャートである。
【図25】上記司会者端末の表示画面の一例を示す図である。
【発明を実施するための形態】
【0056】
以下、本発明の実施の形態について、図1から25に基づいて詳細に説明する。
【0057】
〔システムの概要〕
本実施形態の電子会議システムの概要について、図2に基づいて説明する。図2は、本実施形態にかかる電子会議システム(端末監視システム)3の概要を示す図である。図示のように、電子会議システム3は、会議サーバ(監視装置)2と複数の通信端末装置(端末装置、対象画像表示装置、監視装置)1とを通信接続してなるシステムである。
【0058】
電子会議システム3では、会議の参加者及び発表者のそれぞれに、通信端末装置(端末装置)1が1台ずつ割り当てられる。そして、各通信端末装置1に同じ資料を表示させて会議を行う。また、電子会議システム3には、会議の設定等を行うPC4が接続されている。
【0059】
電子会議システム3によって会議を行うときには、会議の各参加者の通信端末装置1には、そのユーザに応じて予め定めた役割が割り当てられる。つまり、図示のように、会議で発表を行うユーザ(以下、発表者と呼ぶ)の通信端末装置1には、発表者端末(対象画像表示装置、監視装置)1aとしての役割が割り当てられ、発表を行わずに会議に参加するユーザ(以下、参加者と呼ぶ)の通信端末装置1には、参加者端末(端末装置)1bとしての役割が割り当てられ、会議を進行するユーザ(以下、司会者と呼ぶ)の通信端末装置1には、司会者端末(監視装置)1cとしての役割が割り当てられる。
【0060】
そして、会議サーバ2は、発表者端末1aに表示される資料等の画像を、参加者端末1b及び司会者端末1cにも表示させる。これにより、電子会議システム3では、発表者端末1aに表示される画像と、参加者端末1b及び司会者端末1cに表示される画像とが連動する。
【0061】
つまり、図示のように、発表者端末1aに「資料2」を表示させたときには、参加者端末1b及び司会者端末1cにも「資料2」が表示される。そして、発表者端末1aにおいて、表示する資料を切り替えたときには、参加者端末1b及び司会者端末1cにおいても同様に資料が切り替わるようになっている。
【0062】
また、参加者端末1bには、該参加者端末1bを使用中の参加者を撮影するカメラ5が接続されている。
【0063】
なお、詳細は後述するが、司会者端末1cには、発表者端末1aに表示されている画像だけではなく、会議を進行するために必要な情報等も表示される。
【0064】
また、本実施形態では、離れた場所の通信端末装置1をネットワークで接続して会議を行うことを想定している。つまり、図2に示す通信端末装置1を、複数の会議室に分けて設置することを想定している。当然ながら、1つの会議室内に全ての通信端末装置1が設置されていてもよい。
【0065】
さらに、図示の例では、参加者端末1bが複数示されているが、参加者端末1bは1台であってもよい。また、司会者端末1cは無くてもよいし、司会者端末1cが複数あってもよい。さらに、電子会議システム3には、会議サーバ2が含まれていなくともよい。この場合には、会議サーバ2の機能を何れかの通信端末装置1(例えば、発表者端末1a)が有していればよい。
【0066】
つまり、電子会議システム3は、少なくとも2台の通信端末装置1を通信接続することで構築可能である。通信端末装置1間の通信接続は、会議サーバ2等の他の装置を介した間接接続であってもよいし、直接接続であってもよい。
【0067】
さらに、電子会議システム3は、会議以外の用途にも適用可能である。例えば、講師の通信端末装置1と受講生の通信端末装置1とを接続して講義を行うことなども可能である。
【0068】
〔通信端末装置1及び会議サーバ2の要部構成〕
次に、電子会議システム3に含まれる通信端末装置1(発表者端末1a、参加者端末1b、司会者端末1c)及び会議サーバ2の詳細について、図1、図3〜図14に基づいて説明する。
【0069】
<会議サーバ2の構成>
まず、会議サーバ2の詳細について、図3〜図9に基づいて説明する。図3は、電子会議システム3に含まれる会議サーバ2の要部構成を示すブロック図である。
【0070】
図示のように、会議サーバ2は、サーバ通信部42、サーバ制御部43、及びサーバ記憶部44を備えている。
【0071】
サーバ操作部40は、会議サーバ2に対するユーザの入力操作を受け付けるものである。サーバ操作部40は、ユーザの入力操作を受け付けて、受け付けた操作内容を示す操作信号をサーバ制御部43に送信する機能を有していればよく、例えばキーボードやマウス等で構成することもできる。無論、タッチパネル方式で入力操作を受け付けるものであってもよい。
【0072】
サーバ表示部41は、サーバ制御部43の指示に従って画像を表示するものである。サーバ表示部41は、サーバ制御部43の指示に従って画像を表示するものであればよく、例えば液晶表示装置や有機EL表示装置等で構成することもできる。
【0073】
サーバ通信部42は、会議サーバ2が他の装置と通信するためのものである。電子会議システム3では、会議サーバ2は、サーバ通信部42を介して通信端末装置1やPC4と通信を行う。
【0074】
サーバ制御部43は、会議サーバ2の動作を統括して制御するものであり、会議設定部50、サーバ会議制御部51及び参加状態データ管理部(閲覧率算出手段)52を備えている。
【0075】
会議設定部50は、会議設定処理を行って、電子会議システム3による会議を行うために必要な各種データを生成する。なお、会議設定処理の詳細については後述する。
【0076】
サーバ会議制御部51は、会議に関わる制御を行う。具体的には、サーバ会議制御部51は、後述の端末会議制御部17と通信して、会議の開始及び終了、発表の開始及び終了の制御を行う。また、サーバ会議制御部51は、通信端末装置1を発表者モードで動作させるか、参加者モードで動作させるか、司会者モードで動作させるかを、各通信端末装置1の端末会議制御部17に指示する。
【0077】
そして、サーバ会議制御部51は、発表者端末1a及び参加者端末1bと通信して、発表者端末1aが表示する画像が、参加者端末1b及び司会者端末1cにも表示されるように制御する。
【0078】
参加状態データ管理部52は、参加者端末1bから、参加者の参加状態を示すデータを受信し、受信したデータから会議に参加している参加者のうち、発表に注目している参加者の割合(参加率)を算出するものである。
【0079】
ここで、参加状態(閲覧状態)とは、参加者が発表に注目しているか否かを判断するための情報であり、参加者が、参加者端末1bに表示されている、どのような画面を見ているのか、あるいは画面を見ていないのかを示すものである。本実施形態では、同期聴講中(第1閲覧状態)、非同期聴講中(第2閲覧状態)、独立聴講中(第3閲覧状態)、別作業中(第4閲覧状態、非閲覧状態)の4つの状態を用いて、参加者の参加状態を区別する。それぞれの状態の詳細は後述する。
【0080】
また、本実施形態では、参加状態データ管理部52は、会議に参加している参加者のうち、参加状態が同期聴講中である参加者の割合を参加率として算出する。なお、これに限らず、参加状態データ管理部52が、会議に参加している参加者のうち、参加状態が同期聴講中又は独立聴講中である参加者の割合を参加率として算出してもよい。
【0081】
具体的には、参加状態データ管理部52は、各参加者端末1bから参加状態データを受信し、受信した各参加者端末1bの参加状態データから、参加者の会議への参加率を算出する。そして、参加状態データ管理部52は、算出した参加率を参加状態データリストとしてサーバ記憶部44に格納する。
【0082】
また、参加状態データ管理部52は、各参加者端末1bから、参加状態カウンタデータを受信し、受信した参加状態カウンタデータから、単位カウンタ毎に、単位カウンタの期間における、参加者の同期聴講中の期間の平均値を算出し、算出した平均値より参加率を算出する。参加状態データ管理部52は、算出した参加率を参加状態カウンタデータリストとしてサーバ記憶部44に格納する。
【0083】
ここで、参加状態カウンタデータとは、各参加者の参加状態カウンタを示すデータあり、参加状態カウンタとは、単位カウンタの期間のうち、参加者がどのくらいの期間、どのような参加状態であったのかを示すものである。さらに、単位カウンタの期間とは、単位カウンタがカウントした期間であり、会議、又は発表が行われている期間を所定の区分で分割した、1つの区分の期間を示すものである。なお、本実施形態では、上記単位カウンタの期間として、発表者端末1aに表示されている資料の1つのページが表示されている期間とする。
【0084】
サーバ記憶部44は、会議サーバ2で使用する各種データを格納するものである。サーバ記憶部44は、データの記憶及び読み出しが可能なものであればよく、例えばハードディスク等であってもよい。図示のサーバ記憶部44には、会議データ60、アジェンダデータ61、参加ユーザデータ62、発表資料データ63、接続端末判別データ66、参加状態データリスト67、及び参加状態カウンタデータリスト68が格納されている。
【0085】
会議データ60は、会議を規定するデータであり、少なくとも会議IDと、会議の開催日時を含む。会議データ60は、例えば図4のようなデータであってもよい。図4は、会議データ60の一例を示す図である。
【0086】
図4の会議データ60は、会議IDと、会議名と、開催日時と、使用する会議室名とが対応付けられたデータである。これにより、いつ、どこで、どのような会議が開催されるかを特定することができる。例えば、2010年3月5日の10:00〜11:00に、第1会議室で会議1が行われることを特定することができる。
【0087】
アジェンダデータ61は、会議データ60で特定される各会議の議事進行を示すデータである。アジェンダデータ61は、会議において誰がどのような順序で発表するかを示すデータであり、例えば図5のようなデータであってもよい。図5は、アジェンダデータ61の一例を示す図である。
【0088】
図5のアジェンダデータ61は、会議IDと、アジェンダ名と、発表者氏名と、司会者氏名と、発表時間と、発表資料と、発表順番とが対応付けられたデータである。これにより、会議データ60の会議IDで特定される各会議について、いつ、誰が、どのような資料を用いて、どのような順番で発表を行うかを特定することができる。また、アジェンダデータ61に司会者氏名が含まれることにより、会議データ60の会議IDで特定される各会議について、発表毎に誰が司会を行うのかを特定することができる。
【0089】
なお、図5の例では、発表者を特定するために発表者氏名を用いているが、発表者を特定できる情報であれば発表者氏名以外の情報を用いてもよい。例えば、発表者の氏を用いて発表者を特定してもよいし、ID等によって発表者を特定してもよい。
【0090】
参加ユーザデータ62は、会議データ60で特定される各会議の参加者(発表者及び司会者を含む)を特定するためのデータである。参加ユーザデータ62は、例えば図6のようなデータであってもよい。図6は、参加ユーザデータ62の一例を示す図である。
【0091】
図6の参加ユーザデータ62は、会議IDと、ユーザIDと、ユーザ氏名と、会議におけるロール(役割)とが対応付けられたデータである。これにより、会議データ60の会議IDで特定される各会議について、誰が、どのような役割で参加するかを特定することができる。なお、図示の例では、発表を行うユーザのロールを「発表者/参加者」とし、発表を行わないユーザのロールを「参加者」とし、司会を行うユーザのロールを「司会者」としている。なお、「発表者/参加者」は、発表を行うと共に、発表時以外は参加者として会議に参加することを意味している。
【0092】
発表資料データ63は、発表に用いる資料のデータである。アジェンダデータ61に「発表資料」として登録された資料のデータが、発表資料データ63としてサーバ記憶部44に格納される。
【0093】
接続端末判別データ66は、電子会議システム3において、通信端末装置1によるログインが行われたときに、サーバ会議制御部51が生成するデータであり、通信端末装置1を特定する情報と、その通信端末装置1にログインしているユーザを特定する情報とが対応付けられたデータである。接続端末判別データ66は、例えば図7のようなデータであってもよい。図7は、接続端末判別データ66の一例を示す図である。
【0094】
図7の接続端末判別データ66は、ユーザIDと、通信端末装置1のIPアドレスと、会議IDとが対応付けられたデータである。これにより、ある会議において、どのユーザがどの通信端末装置1を使用しているかを特定することができる。
【0095】
参加状態データリスト67は、参加状態データ管理部52が、参加状態データに基づいて算出した参加率を示すものであり、発表者端末1aに当該参加率を表示する際に使用するものである。参加状態データリスト67は、例えば、図8のようなデータであってもよい。図8は、参加状態データリスト67の一例を示す図である。
【0096】
図8に示す参加状態データリスト67は、参加率を含む。上述のように、参加率は、会議に参加している参加者のうち、参加状態が同期聴講中である参加者の割合を示すものである。また、図8に示す参加状態データリスト67は、参加状態を含む。参加状態データリスト67に含まれる参加状態は、参加状態データ管理部52が参加率を算出するために使用した各参加者の参加状態をそれぞれ集計したものである。図8に示す参加状態データリスト67では、参加状態の値として、同期聴講中(○)、独立聴講中(△)、別作業中(×)のそれぞれの参加者の人数を集計した結果が示されている。
【0097】
また、図8に示す参加状態データリスト67は、会議ID、アジェンダ名、発表資料、ページ数、発表者氏名を含む。これらの情報は、対応付けられている参加状態を判定したときの、会議、アジェンダ、発表資料、そのページ数、そのときの発表者をそれぞれ特定するための情報である。
【0098】
参加状態カウンタデータリスト68は、参加状態データ管理部52が、参加状態カウンタデータに基づいて、単位カウンタの期間ごとに算出した参加率を示すものであり、発表者端末1aに当該参加率の平均値を表示する際に使用するものである。参加状態カウンタデータリスト68は、例えば、図9のようなデータであってもよい。図9は、参加状態カウンタデータリスト68の一例を示す図である。
【0099】
図9に示す参加状態カウンタデータリスト68は、参加率を含む。参加状態カウンタデータリスト68の参加率は、対応する単位カウンタの期間における、参加者の同期聴講中の期間の平均値の当該単位カウンタに対する割合を示すものである。
【0100】
また、図9に示す参加状態カウンタデータリスト68は、平均同期聴講カウンタ及び単位カウンタを含む。平均同期聴講カウンタは、対応する単位カウンタの期間における、参加者の同期聴講カウンタの平均値である。平均同期聴講カウンタは、参加状態データ管理部52が、各参加者端末1bから参加状態カウンタデータを受信して、単位カウンタの期間ごとに、各参加者の同期聴講カウンタの平均値を算出することによって、生成される。また、単位カウンタは、参加状態データ管理部52が各参加者端末1bから受信した参加状態カウンタデータに含まれる単位カウンタである。なお、参加状態データ管理部52が各参加者端末1bから受信する参加状態カウンタデータに応じて、参加状態カウンタデータリスト68が平均同期聴講カウンタ以外に、平均独立聴講カウンタ、平均別作業カウンタを含んでいてもよい。
【0101】
ここで、同期聴講カウンタとは、対応する単位カウンタの期間内に一定時間毎に行われる参加状態を確認する処理において同期聴講中と判断されたときにインクリメントされるカウンタである。また、独立聴講カウンタ、別作業カウンタは、それぞれ、対応する単位カウンタの期間内に一定時間毎に行われる参加状態を確認する処理において独立聴講中、別作業中と判断されたときにインクリメントされるカウンタである。これら同期聴講カウンタ、独立聴講カウンタ、別作業カウンタを総称して参加状態カウンタと称する。
【0102】
そして、図9に示す参加状態カウンタデータリスト68は、会議ID、アジェンダ名、発表資料、ページ数、発表者氏名を含む。これらの情報は、対応する単位カウンタの期間における、会議、アジェンダ、発表資料、そのページ数、そのときの発表者をそれぞれ特定するための情報である。
【0103】
<会議設定処理>
続いて、サーバ記憶部44に記憶される上記の各データを生成する会議設定処理について、図10に基づいて説明する。図10は、会議設定処理の一例を示すフローチャートである。会議設定処理は、例えば図2のPC4等のように、会議サーバ2に通信接続された端末装置からの制御に従って、会議サーバ2の会議設定部50が行う処理である。なお、会議設定処理は、会議サーバ2のサーバ操作部40からの入力操作で行うこともできる。
【0104】
まず、会議設定部50は、会議データ60を作成する(S1)。具体的には、会議設定部50は、会議名と、開催日時と、会議室とを、例えば図2のPC4からユーザに入力させ、入力されたこれらのデータに会議IDを付して、図4に示したような会議データ60を生成する。
【0105】
次に、会議設定部50は、アジェンダデータ61を作成する(S2)。具体的には、会議設定部50は、アジェンダ名と、発表者氏名と、司会者氏名と、発表時間と、発表に用いる資料名と、発表順とをユーザに入力させ、入力されたこれらのデータに会議IDを付して、図5に示したようなアジェンダデータ61を生成する。
【0106】
続いて、会議設定部50は、参加者の登録を行う(S3)。具体的には、会議設定部50は、ユーザIDと、ユーザ氏名とをユーザに入力させる。そして、入力させたID及び氏名に、ロール(会議における役割、すなわち参加者または発表者)と会議IDとを対応付けて、図6に示したような参加ユーザデータ62を生成する。
【0107】
なお、アジェンダデータ61に発表者として登録されているユーザは、発表を行っていないときには参加者として参加することになるので、ロールを「発表者/参加者」とし、アジェンダデータ61に司会者として登録されているユーザは、ロールを「司会者」とする。また、アジェンダデータ61に発表者及び司会者のいずれでも登録されていないユーザについては、ロールを「参加者」とする。しかしながら、この例に限られず、例えば発表のみを行って、他の発表者の発表は聞かずに退席するような場合には、「発表者」と登録してもよい。また、司会者が司会を行うだけではなく、別の発表の際に発表者であったり、参加者であったりしてもよい。この場合、ロールを「司会者/発表者」、「司会者/参加者」、「司会者/発表者/参加者」等に設定する。さらに、ロールをユーザに選択させるようにしてもよい。
【0108】
次に、会議設定部50は、各種条件の設定を行う(S4)。具体的には、会議設定部50は、参加状態判定処理及び参加状態カウント処理の実行タイミングを設定する。
【0109】
ここで、参加状態判定処理とは、視線検出部20、別動作検出部21、及び端末会議制御部17がそれぞれ検出・判定処理を行い、これらの検出・判定結果に基づいて、参加状態判定部22が参加者の参加状態を判定する処理を示す。また、参加状態カウント処理とは、視線検出部20、別動作検出部21、及び端末会議制御部17がそれぞれ検出・判定処理を行い、これらの検出・判定結果に基づいて、参加状態判定部22が参加者の参加状態を判定し、その判定結果に基づいて参加状態カウンタ及び単位カウンタをカウントする処理を示す。
【0110】
なお、これらの設定内容は、会議設定部50がサーバ記憶部44に格納する。そして、サーバ会議制御部51及び参加状態データ管理部52は、これらの設定内容を適宜読み出して処理を実行する。また、会議設定部50は、PC4や通信端末装置1を介して入力された、ユーザの指示に基づいて設定処理を行ってもよいし、会議サーバ2にデフォルトとして定められた設定値をそのまま設定してもよい。
【0111】
以上により、会議の設定に必要なデータが全て作成され、会議設定部50は、作成した各データをサーバ記憶部44に格納し、会議作成は終了する(S5)。
【0112】
<参加者端末1bの構成>
次に、図1に基づいて参加者端末1bの構成について説明する。図1に示すように、参加者端末1bは、カメラ5、端末操作部10、端末表示部(表示装置)11、端末通信部12、端末制御部13、及び端末記憶部14を備えている。
【0113】
カメラ5は、参加者端末1bを使用中のユーザ(参加者)を撮影するものである。カメラ5は、撮影した画像を端末制御部13に出力する。なお、詳細は後述するが、本発明では、参加者が参加者端末1bの端末表示部11に表示されている画像を見ているか否かを端末制御部13が判定する。そのため、カメラ5は、端末制御部13が判定を行うための画像等の情報を生成するものであればよい。また、カメラ5は、参加者端末1bが備えていてもよいし、参加者端末1bとは別体の装置であってもよい。
【0114】
端末操作部10は、参加者端末1bに対するユーザの入力操作を受け付けるものである。端末操作部10は、ユーザの入力操作を受け付けて、受け付けた操作内容を示す操作信号を端末制御部13に送信する機能を有していればよく、例えばキーボードやマウス等で構成することもできる。無論、タッチパネル方式で入力操作を受け付けるものであってもよい。
【0115】
端末表示部11は、通信端末装置1に共通して備えられている部材であり、端末制御部13の指示に従って画像を表示するものである。端末表示部11は、端末制御部13の指示に従って画像を表示するものであればよく、例えば液晶表示装置や有機EL表示装置等で構成することもできる。また、ここでは、通信端末装置1が端末表示部11を備えている例を示しているが、端末表示部11は、通信端末装置1の表示装置として機能するように、通信端末装置1と接続されていればよい。つまり、端末表示部11と通信端末装置1とは別体に構成されていてもよい。
【0116】
端末通信部12は、参加者端末1bが他の装置と通信するためのものである。電子会議システム3では、参加者端末1bは、端末通信部12を介して会議サーバ2及び発表者端末1aと通信を行う。
【0117】
端末制御部13は、参加者端末1bの動作を統括して制御するものである。端末制御部13は、端末会議制御部(同期判定手段)17及び表示制御部(表示制御手段)18と、視線検出部(視線判定手段)20、別動作検出部(非同期状態判定手段)21、及び参加状態判定部(閲覧状態通知手段、閲覧状態判定手段)22を含む。
【0118】
端末会議制御部17は、電子会議システム3による会議を実行するための制御を行う。具体的には、端末会議制御部17は、サーバ会議制御部51と通信して、会議の開始及び終了、発表の開始及び終了の制御を行う。また、端末会議制御部17は、会議中において、通信端末装置1を発表者モードで動作させるか、参加者モードで動作させるか、司会者モードで動作させるかをサーバ会議制御部51の指示に従って決定する。
【0119】
そして、端末会議制御部17は、サーバ会議制御部51と通信して、発表者モードで動作している通信端末装置1、すなわち発表者端末1aが表示する画像が、参加者モードで動作している通信端末装置1、すなわち参加者端末1bの端末表示部11と、司会者モードで動作している通信端末装置1、すなわち司会者端末1cに表示されるように制御する。
【0120】
これは、発表者端末1aが、自装置が表示している画像をサーバ会議制御部51に送信し、サーバ会議制御部51が、受信した画像を参加者端末1b及び司会者端末1cに送信して表示させることによって実現される。なお、発表者端末1aが受け付けた入力操作の内容をサーバ会議制御部51に通知して、この通知を受けたサーバ会議制御部51が通知内容に応じた画像を生成し、生成した画像を発表者端末1a、参加者端末1b及び司会者端末1cに送信することで実現することもできる。
【0121】
また、端末会議制御部17は、同期モード(同期表示モード)と非同期モード(非同期表示モード)の切り替えを制御する。
【0122】
同期モードは、発表者端末1aが表示する画像、すなわち発表に用いられる資料の画像と同じ画像を、参加者端末1bの端末表示部11に表示させるモードである。換言すると、同期モードは、同期表示の対象となる対象画像を表示する発表者端末1aが表示している対象画像を、参加者端末1bの端末表示部11に表示するモードである。会議中は、端末会議制御部17は、基本的に同期モードに設定する。同期モードでは、参加者端末1bの端末会議制御部17は、発表者端末1aが表示する画像をサーバ会議制御部51から受信して参加者端末1bの端末表示部11に表示させる。
【0123】
例えば、発表者端末1aが資料001-1の1ページ目を表示している場合には、参加者端末1bの端末表示部11にも資料001-1の1ページ目が表示される。そして、発表者が発表者端末1aを操作して、資料001-1のページを次ページに切り替えた場には合、参加者端末1bの端末表示部11に表示される画像が資料001-1の2ページ目に切り替わる。
【0124】
非同期モードは、発表者端末1aとは独立して、参加者端末1bが発表者端末1aの表示している画像と異なる画像を参加者端末1bの端末表示部11に表示可能なモードである。非同期モードには、独立モード(非同期第1状態)と別作業モード(非同期第2状態)が含まれる。
【0125】
独立モードは、発表者端末1aとは独立して、会議サーバ2に格納されている発表資料を参加者端末1bで自由に閲覧・編集するモードである。換言すると、独立モードは、発表者端末1aが電子会議システム3において表示する画像(会議サーバ2に格納されている発表資料等)の何れかを参加者端末1bの端末表示部11に表示させるモードである。
【0126】
各参加者は、参加者端末1bを独立モードに移行させることによって、発表者端末1aの端末表示部11に表示されている資料のページ以外のページ又は資料を確認したり、資料に自分用の書き込みをしたり、発表者端末1aの表示する画像が見にくい場合に、その画像を端末表示部11で拡大表示したりすることもできる。
【0127】
つまり、独立モードでは、参加者端末1bの端末表示部11に、発表者端末1aが表示している資料のページと異なるページを表示することができる。また、参加者端末1bの端末表示部11に、発表者端末1aの端末表示部11に表示されている資料と異なる資料(図5に示す資料001-2、資料001-3等)を表示することができる。
【0128】
独立モードでは、端末会議制御部17は、端末操作部10が受け付けた入力操作に応じた画像を、サーバ会議制御部51から受信して端末表示部11に表示させる。例えば、端末操作部10がページ送りの入力操作を受け付けた場合には、端末会議制御部17は、次ページの資料の画像をサーバ会議制御部51に要求してこれを受信し、表示制御部18に指示して端末表示部11に表示させる。なお、発表資料データ63が参加者端末1bに格納されている場合には、会議サーバ2から画像を取得する必要はない。
【0129】
別作業モードは、発表者端末1aが電子会議システム3において表示する画像(会議サーバ2に格納されている発表資料等)の何れも端末表示部11に表示されていないモードである。具体的には、別作業モードは、発表資料データ63に基づく画像以外の画像が端末表示部11に表示されているモードである。例えば、文書編集ソフト、表計算ソフト、インターネットブラウザ等のアプリケーションによって生成された画像が端末表示部11に表示されている状態が別作業モードである。
【0130】
なお、別作業モードへ移行するためのトリガは、特に限定されないが、ここでは、電子会議システム3以外のアプリケーションソフトを起動したり、電子会議システム3による会議を終了したりした場合に移行するものとする。
【0131】
また、独立モードに移行するためのトリガは、特に限定されないが、ここでは、同期モードにおいて、ユーザの操作を端末操作部10が検知したことをトリガとして、端末会議制御部17が独立モードに移行させることを想定している。ユーザは、入力操作を行うときに、端末操作部10を操作するので、上記の構成によれば、ユーザに同期モードと独立モードとのモード切り替え操作を意識させることなく、独立モードに移行させることができる。
【0132】
そして、非同期モード(独立モードまたは別作業モード)から同期モードに移行するためのトリガも特に限定されない。例えば、同期モードに移行するためのアイコン等を表示して、該アイコンが操作されたことをトリガとしてもよいし、非同期モードに移行した後、ユーザ操作が検出されない期間が一定以上継続した場合に、同期モードに移行するようにしてもよい。
【0133】
表示制御部18は、端末制御部13の指示に従って、端末表示部11に画像を表示させる。
【0134】
視線検出部20は、カメラ5から自装置を使用している参加者の画像を取得し、取得した画像を解析して、上記参加者が端末表示部11を見ているかどうかを検出するものである。また、視線検出部20は、検出した結果を参加状態判定部22に出力する。
【0135】
なお、参加者が発表者を目視できる場合、例えば、参加者と発表者とが同じ部屋にいる場合には、参加者が発表者または発表者端末1aが表示する画像を見ていることも考えられる。このような場合には、その参加者はよそ見をしていたり、会議とは別の作業を行っているものではないので、会議への参加状態としては、同期モードで端末表示部11に表示される画像を見ている状態と同等と判断してもよい。
【0136】
このため、視線検出部20は、参加者が発表者または発表者端末1aが表示する画像を見ていることを検出した場合には、参加状態判定部22に、参加者が自装置の端末表示部11の画面を見ていることを示す情報と同じ情報を参加状態判定部22に出力してもよい。
【0137】
別動作検出部21は、自装置が別作業モードであるかどうかを判定するものである。本実施形態では、別動作検出部21は、アプリケーションソフトを起動したり、電子会議システム3による会議を終了させたりしたことを検出したときに、別作業モードであると判定する。ただし、別作業モードを判定する条件はこれに限るものではなく、例えば、会議サーバ2から受信した画像(会議資料等)が端末表示部11に全画面表示されている場合に別作業モードではないと判定し、他のアプリケーションソフトが生成した画像が、端末表示部11の少なくとも一部に表示されている場合に別作業モードであると判定してもよい。
【0138】
参加状態判定部22は、視線検出部20、端末会議制御部17、及び別動作検出部21から検出結果及び判定結果を受信して、自装置を利用している参加者の参加状態を判定するものである。
【0139】
具体的には、参加状態判定部22は、視線検出部20から視線検出有の情報を取得し、端末会議制御部17から同期モードであることを示す情報を取得した場合には、参加状態を「同期聴講中(○)」とする。また、参加状態判定部22は、視線検出部20から視線検出有の情報を取得し、端末会議制御部17から独立モードであることを示す情報を取得し、別動作検出部21から別作業モードではないことを示す情報を取得した場合には、参加状態を「独立聴講中(△)」とする。また、参加状態判定部22は、視線検出部20から視線検出無の情報を取得した場合、及び別動作検出部21から別作業モードであることを示す情報を取得し場合には、参加状態を「別作業中(×)」とする。
【0140】
ここで、同期聴講中(第1閲覧状態)とは、参加者が参加者端末1bの表示する画面を見ており、かつ、参加者端末1bが同期モードで動作している状態を示す。また、独立聴講中(第3閲覧状態)とは、参加者が参加者端末1bの表示する画面を見ており、かつ、参加者端末1bが独立モードで動作している状態を示す。別作業中(第4閲覧状態)とは、参加者が参加者端末1bの表示する画面を見ており、かつ、参加者端末1bが別作業モードで動作している状態、もしくは、参加者が参加者端末1bの画面を見ていない状態を示す。
【0141】
なお、参加者端末1bにおいて他のアプリケーションソフトの起動などが不可能な仕様になっている場合等には、参加状態判定部22は、別動作検出部21からの検出結果を利用せずに参加状態を判定してもよい。
【0142】
この場合には、参加状態判定部22は、視線検出部20から視線検出有の情報を取得し、端末会議制御部17から同期モードではない、つまり、非同期モードあることを示す情報を取得すると、参加状態を「非同期聴講中」と判定する。ここで、非同期聴講中(第2閲覧状態)とは、参加者が参加者端末1bの画面を見ており、かつ、参加者端末1bを非同期モードで動作している状態を示す。
【0143】
また、参加者端末1bが独立モードであっても、発表者端末1aに表示されている画像と同じ画像が参加者端末1bに表示されている場合がある。そのため、参加状態判定部22が、視線検出部20から視線検出有の情報を取得し、かつ、端末会議制御部17から独立モードであることを示す情報を取得した場合であっても、端末会議制御部17が発表者端末1aに表示されている画像と自装置の端末表示部11に表示されている画像が同じであることを検出した場合は、参加状態判定部22は、参加状態を「同期聴講中(○)」と判定してもよい。
【0144】
参加状態判定部22は、端末会議制御部17から参加状態判定処理を実行するように指示された場合は、図11に示すような、判定結果として参加状態データを生成して、会議サーバ2の参加状態データ管理部52に送信する。図11は、各参加者端末1bで生成される参加状態データの一例を示す図である。図11に示す例では、図11(a)の参加状態データは、参加者「Bさん」の参加状態を示すデータであり、図11(b)の参加状態データは、参加者「Cさん」の参加状態を示すデータであり、図11(c)の参加状態データは、参加者「Dさん」の参加状態を示すデータであり、図11(d)の参加状態データは、参加者「Xさん」の参加状態を示すデータであり、図11(e)の参加状態データは、参加者「Yさん」の参加状態を示すデータである。
【0145】
また、参加状態判定部22は、端末会議制御部17から参加状態カウント処理を実行するように指示された場合は、端末会議制御部17を介して、サーバ会議制御部51から、参加状態をカウントするために必要な情報を取得する。ここでは、発表資料のページ単位で参加状態をカウントすることを想定しているので、発表資料とそのページ数とを示す情報を取得する。なお、会議単位でカウントする場合には、会議を特定する情報(会議ID等)、発表者単位でカウントする場合には、発表者を特定する情報(発表者氏名、ユーザID等)を取得する。
【0146】
そして、参加状態判定部22は、単位カウンタをカウントするために必要な情報に、現在自装置を利用するユーザを識別する情報(参加者氏名、ユーザID等)と、同期聴講カウンタ及び単位カウンタとを対応付けて参加状態カウンタとして端末記憶部14に格納する。なお、参加状態カウンタの中に、独立聴講カウンタ及び別作業カウンタを含めてもよい。
【0147】
参加状態判定部22は、単位カウンタ、同期聴講カウンタ、独立聴講カウンタ及び別作業カウンタを計測するものである。参加状態判定部22は、参加者の参加状態を「同期聴講中(○)」と判定した場合、同期聴講カウンタをインクリメントし、「独立聴講中(△)」と判定した場合、独立聴講カウンタをインクリメントし、「別作業中(×)」と判定した場合、別作業カウンタをインクリメントする。また、参加状態判定部22は、単位カウンタの計測開始から所定の時間が経過すると、単位カウンタをインクリメントする。
【0148】
参加状態判定部22は、単位カウンタをインクリメントした後、発表者端末1aにおける発表資料の切り替え、もしくは、発表資料のページの切り替えがあったことを示す通知を端末会議制御部17から受信したかどうかを確認する。参加状態判定部22が、発表資料の切り替え、もしくは、発表資料のページの切り替えの通知を受けた場合、参加状態判定部22は、現在計測中の単位カウンタ及び同期聴講カウンタの計測を終了する。次に、参加状態判定部22は、サーバ会議制御部51から、切り替え後の資料(現在発表者端末1aの端末表示部11に表示している資料)に関する情報を取得する。参加状態判定部22は、取得した資料に関する情報に、現在自装置を利用するユーザを識別する情報(例えば、参加者氏名、ユーザID等)と、新たな同期聴講カウンタ及び単位カウンタとを対応付けて参加状態カウンタを生成し、生成した参加状態カウンタを端末記憶部14に格納する。そして、参加状態判定部22は、生成した参加状態カウンタの単位カウンタ及び同期聴講カウンタの計測を開始して、再び、参加状態カウンタ計測処理及び単位カウンタ計測処理を行う。
【0149】
また、参加状態判定部22は、端末会議制御部17が、サーバ会議制御部51から発表終了の通知を受けた場合、カウンタの計測を終了し、端末記憶部14に格納されている参加状態カウンタのデータを、会議サーバ2の参加状態データ管理部52に送信する。
【0150】
なお、参加状態判定部22が端末記憶部14に格納されている参加状態カウンタのデータを参加状態データ管理部52に送信するタイミングはこれに限らない。例えば、参加状態判定部22は、単位カウンタをカウントするたびに、生成した参加状態カウンタのデータを送信してもよい。また、参加状態判定部22は、会議が終了した後に、端末記憶部14に格納されている参加状態カウンタのデータを送信してもよい。
【0151】
端末記憶部14は、参加者端末1bが使用する各種データを格納するものである。端末記憶部14は、データの記憶及び読み出しが可能なものであればよく、例えばハードディスク等であってもよい。図示の例では、端末記憶部14に参加状態カウンタ30が格納されている。
【0152】
なお、本実施形態では、参加者端末1bが参加状態データ、又は参加状態カウンタデータを送信して、会議サーバ2等で参加率を算出しているが、これに限るものではない。例えば、参加者端末1bが参加率を算出する参加率算出部(割合算出手段)を備え、生成した参加状態データ、又は参加状態カウンタデータからそれぞれの参加率を算出してもよい。この場合、参加者端末1bは、参加率のみを会議サーバ2等に送信してもよいし、参加状態データ、又は参加状態カウンタデータと、参加率とを会議サーバ2等に送信してもよい。
【0153】
参加状態カウンタ30は、参加者端末1bにおいて、自装置を使用する参加者の参加状態をカウントするものである。参加状態カウンタ30は、例えば、図12のようなデータであってもよい。図12は、参加状態カウンタ30の一例を示す図である。
【0154】
図12に示す参加状態カウンタ30は、同期聴講カウンタと単位カウンタとを含む。上述のように、単位カウンタは、所定の期間(例えばある1つの会議資料を発表者端末1aが表示させている)中、一定時間毎にインクリメントされるカウンタである。また、同期聴講カウンタは、上記所定の期間内に一定時間毎に行われる参加状態を確認する処理において同期聴講中と判断されたときにインクリメントされるカウンタである。なお、同期聴講カウンタ以外に、独立聴講カウンタ、別作業カウンタを含んでいてもよい。
【0155】
そして、図12の参加状態カウンタ30は、参加者氏名、会議ID、アジェンダ名、発表資料、ページ数、発表者氏名を含む。これらの情報は、同期聴講カウンタでカウントする参加者、会議、アジェンダ、発表資料、そのページ数、そのときの発表者をそれぞれ特定するための情報である。
【0156】
なお、図12(a)の参加状態カウンタ30は、参加者「Aさん」の使用する参加者端末1bに格納されるものである。同様に、同図(b)〜(f)の参加状態カウンタ30は、それぞれ参加者「Bさん」、「Cさん」、「D」さん、「X」さん、及び「Y」さんの使用する参加者端末1bに格納されるものである。
【0157】
また、同図(a)の参加状態カウンタ30では、アジェンダ001−1のときには、同期聴講カウンタ及び単位カウンタが「−」となっている。これは、アジェンダ001−1のときには、「A」さんが発表者となっているためである。同図(b)のアジェンダ001−2のときも同様である。
【0158】
<発表者端末1aの構成>
次に、図13に基づいて発表者端末1aの構成について説明する。図13に示すように、発表者端末1aは、端末操作部10、端末表示部11、端末通信部12、端末制御部13、及び端末記憶部14を備えている。なお、図1で説明した参加者端末1bのブロックと同様の機能を有するブロックについては同一の参照番号を付し、その説明を省略する。
【0159】
図示のように、発表者端末1aの端末制御部13は、端末会議制御部17、表示制御部(表示制御手段)18、及び参加状態データリスト取得部23とを含む。
【0160】
参加状態データリスト取得部23は、サーバ会議制御部51から参加状態データリスト、又は参加状態カウンタデータリストを受信する。また、参加状態データリスト取得部23は、受信した参加状態データリスト、又は参加状態カウンタデータリストから特定した各参加者の参加状態を示す情報を、表示制御部18に指示して自装置の端末表示部11に表示させる。
【0161】
これにより、発表者は、各参加者の参加状態を端末表示部11で確認することができ、参加状態を考慮しながら発表を進めることができる。
【0162】
<司会者端末1cの構成>
次に、図14に基づいて司会者端末1cの構成について説明する。図14に示すように、司会者端末1cは、端末操作部10、端末表示部11、端末通信部12、端末制御部13、及び端末記憶部14を備えている。なお、図1で説明した参加者端末1bのブロックと同様の機能を有するブロックについては同一の参照番号を付し、その説明を省略する。
【0163】
図示のように、端末制御部13は、端末会議制御部17、表示制御部18、及び参加率算出部(閲覧率算出手段)24を含む。
【0164】
参加率算出部24は、各参加者端末1bの参加状態判定部22から参加状態データをそれぞれ受信して、受信した各参加状態データから、参加者の会議への参加率を算出する。そして、参加率算出部24は、受信した各参加状態データ、及び、算出した参加率を、表示制御部18に指示して自装置の端末表示部11に表示させる。
【0165】
なお、参加率算出部24は、各参加者端末1bの参加状態判定部22から、参加状態データと共に該参加者端末1bを利用する参加者を特定する情報も取得してもよい。これにより、参加率算出部24は、受信した参加状態データが何れの参加者の参加状態を示すものであるかを特定することができる。
【0166】
また、図示のように、司会者端末1cの端末記憶部14には、会議データ31、アジェンダデータ32、参加ユーザデータ33、発表資料データ34、及び接続端末判別データ35が格納されている。司会者端末1cは、これらのデータに基づいて、司会者が会議または発表を進行するために必要な情報を表示する。例えば、図25に示すように、司会者端末1cの端末表示部11に発表の残りの予定時間等を表示してもよい。
【0167】
ここでは、司会者端末1cは、これらのデータを会議サーバ2から取得して端末記憶部14に格納することを想定している。つまり、端末記憶部14に格納されている、会議データ31、アジェンダデータ32、参加ユーザデータ33、発表資料データ34、及び接続端末判別データ35は、会議サーバ2のサーバ記憶部44に格納されている、会議データ60、アジェンダデータ61、参加ユーザデータ62、発表資料データ63、接続端末判別データ66を受信して格納したものであることを想定している。
【0168】
〔会議の流れ〕
続いて、電子会議システム3における会議の流れを図15に基づいて説明する。図15は、電子会議システム3における処理の一例を示すフローチャートである。なお、ここでは、会議の開催時刻までに会議の発表者、参加者及び司会者が、各人に割り当てられた通信端末装置1にユーザIDを入力してログインを済ませていることを想定している。
【0169】
そして、このユーザIDを受信したサーバ会議制御部51が、当該ユーザIDと当該通信端末装置1のIPアドレスと、その会議のIDとを対応付けて図7に示すような接続端末判別データ66を生成してサーバ記憶部44に格納していることを想定している。
【0170】
会議サーバ2のサーバ会議制御部51は、会議データ60に含まれる開催日時と、現在の日時とが一致すると、会議データにおいてその開催日時に対応付けられている会議IDの会議を開始する(S11)。会議を開始すると、サーバ会議制御部51は、接続端末判別データ66に含まれる各IPアドレス宛に会議を開始する旨の通知を送信する。この通知を受けた通信端末装置1では、端末会議制御部17が動作開始する。
【0171】
また、サーバ会議制御部51は、接続端末判別データ66、アジェンダデータ61、及び参加ユーザデータ62を参照して、発表者が使用する通信端末装置1、参加者が使用する通信端末装置1、及び司会者が使用する通信端末装置1をそれぞれ特定する。そして、発表者が使用する通信端末装置1には発表者端末1aとして機能するように指示し、参加者が使用する通信端末装置1には参加者端末1bとして機能するように指示し、司会者が使用する通信端末装置1には司会者端末1cとして機能するように指示する。つまり、会議または発表の開始前には、通信端末装置1の機能は定まっておらず、会議または発表の開始時にロールが指示されることによって、発表者端末1a、参加者端末1b、及び司会者端末1cの何れかで機能することになる。
【0172】
続いて、会議サーバ2のサーバ会議制御部51は、発表処理を開始する(S12)。また、サーバ会議制御部51から指示を受けた、通信端末装置1(発表者端末1a、参加者端末1b、及び司会者端末1b)の端末会議制御部17も、それぞれ発表処理を開始する。会議サーバ2及び通信端末装置1が行う発表処理については、後述する。
【0173】
発表が終了すると、会議サーバ2のサーバ会議制御部51は、会議が終了したかを確認する(S13)。なお、会議の終了は、アジェンダデータ61を参照して、最後の発表者による発表が終了したか否かを確認することで判断してもよいし、会議データ60の開催日時を過ぎているか否かを確認することで判断してもよい。
【0174】
そして、会議が終了したことを確認した場合(S13でYES)には、サーバ会議制御部51は、会議を終了する。一方、会議が終了していないことを確認した場合(S13でNO)には、サーバ会議制御部51は、S12の処理に戻って次の発表の発表処理を開始する。
【0175】
なお、上記では、会議サーバ2のサーバ会議制御部51の判断によって、会議または発表を開始し、会議を終了する例を示したが、これらの判断は通信端末装置1が行ってもよい。この場合には、通信端末装置1が会議または発表を開始すると判断したとき、及び会議を終了すると判断したときに、その旨を会議サーバ2に指示して会議または発表を開始させ、会議を終了させる。
【0176】
例えば、発表者端末1aにおいて、図19(内容については後述する)の開始アイコン80が操作されたときに、該通信端末装置1の端末会議制御部17が、会議または発表を開始するように会議サーバ2に指示し、この指示を確認したサーバ会議制御部51が会議または発表を開始してもよい。同様に、図19の終了アイコン81が操作されたときに、端末会議制御部17が、会議または発表を終了するように会議サーバ2に指示し、この指示を確認したサーバ会議制御部51が会議または発表を終了してもよい。
【0177】
〔第1の実施例〕
次に、図15のS12において、会議サーバ2及び通信端末装置1が行う発表処理の第1の実施例について説明する。ここでは、会議サーバ2及び通信端末装置1が行う発表処理の第1の実施例として、発表者端末1aに各参加者の現在の参加率を表示する場合を図16〜図19に基づいて説明する。
【0178】
<参加者端末1bの発表処理>
まず、図16に基づいて、参加者端末1bの発表処理について説明する。図16は、参加者端末1bが行う発表処理の一例を示すフローチャートである。
【0179】
会議が開始されると、参加者端末1bは、会議サーバ2のサーバ会議制御部51から会議を開始する旨の通知を受信する。当該通知を受信すると、参加者端末1bでは、端末会議制御部17が動作を開始する。
【0180】
動作を開始した端末会議制御部17は、まず、発表の設定処理を行う(S21)。具体的には、会議サーバ2のサーバ会議制御部51が、発表で使用する発表資料の最初のページの画像を参加者端末1bに送信するので、端末会議制御部17はこれを受信し、表示制御部18に指示して端末表示部11に表示させる。これにより、発表資料の最初のページが参加者端末1bの端末表示部11に表示される。
【0181】
また、端末会議制御部17は、設定処理完了をサーバ会議制御部51に通知する。サーバ会議制御部51は、全ての通信端末装置1(発表者端末1a、参加者端末1b、及び司会者端末1c)から設定処理の通知を受信したことを確認したときに、発表者端末1aに発表の準備が整ったことを通知し、これにより、発表者端末1aは発表を開始可能な状態となる。
【0182】
発表者端末1aによって発表が開始された後、参加者端末1bの参加状態判定部22は、端末会議制御部17からの参加状態判定処理の実行指示を待ち受ける状態となる。そして、この実行指示の受信が確認されたときには、参加状態判定処理を開始する。
【0183】
参加状態判定処理では、まず、参加状態判定部22は、視線検出部20に視線検出を行うよう指示する。この指示を受信した視線検出部20は、カメラ5から画像を取得し、取得した画像を解析して、自装置を利用している参加者が、自装置の端末表示部11(の画面)を見ているかどうかを検出する(S22)。そして、視線検出部20は、検出した結果を参加状態判定部22に出力する。
【0184】
また、参加状態判定部22は、端末会議制御部17に自装置の動作モードを通知するよう指示する。この指示を受信した端末会議制御部17は、自装置が同期モードで動作しているか、独立モードで動作しているかを判定する(S23)。そして、端末会議制御部17は、判定した結果を参加状態判定部22に出力する。
【0185】
ここで、端末会議制御部17から非同期モードで動作していることを示す情報が出力された場合(S23でNO)には、参加状態判定部22は、発表資料を表示しているか否か、すなわち独立モードであるか否かを確認する。具体的には、参加状態判定部22は、別動作検出部21に指示して、自装置が独立モードであるか別作業モードであるかを通知させる。そして、この指示を受信した別動作検出部21は、自装置が独立モードであるか別作業モードであるか判定し(S25)、判定結果を参加状態判定部22に出力する。
【0186】
次に、参加状態判定部22は、視線検出部20、端末会議制御部17、及び別動作検出部21から検出結果及び判定結果を受信すると、自装置を利用している参加者の参加状態を判定する(S24、S26、S27)。
【0187】
具体的には、参加状態判定部22は、視線検出部20から視線検出有の情報を取得し(S22でYES)、端末会議制御部17から同期モードであることを示す情報を取得した場合(S23でYES)には、参加状態を「同期聴講中(○)」とする(S24)。
【0188】
一方、参加状態判定部22は、視線検出部20から視線検出有の情報を取得し(S22でYES)、端末会議制御部17から独立モードであることを示す情報を取得し(S23でNO)、別動作検出部21から別作業モードではないことを示す情報を取得した場合(S25でYES)には、参加状態を「独立聴講中(△)」とする(S26)。
【0189】
また、参加状態判定部22は、視線検出部20から視線検出無の情報を取得した場合(S22でNO)、及び別動作検出部21から別作業モードであることを示す情報を取得した場合(S25でNO)には、参加状態を「別作業中(×)」とする(S27)。
【0190】
そして、参加状態判定部22は、上記S24、S26、またはS27で判定した結果を示す参加状態データを、会議サーバ2の参加状態データ管理部52に送信する。参加状態判定部22は、端末会議制御部17から指示があるまで、S22〜S27の処理(参加状態判定処理)を一定の周期で繰り返す。
【0191】
端末会議制御部17は、発表の終了を監視しており(S28)、発表が終了したと判断したとき(S28でYES)には、参加状態判定部22に指示して、参加状態判定処理を終了させる。
【0192】
<会議サーバ2の発表処理>
次に、図17に基づいて、会議サーバ2の発表処理について説明する。図17は、会議サーバ2が行う発表処理の一例を示すフローチャートである。
【0193】
サーバ会議制御部51は、設定処理を実行する(S31)。具体的には、まず、サーバ会議制御部51は、アジェンダデータ61を参照して、次の発表と、その発表で使用する発表資料データ63とを特定する。そして、特定した発表資料データ63における最初のページの画像を、接続端末判別データ66に含まれる各IPアドレス宛に送信する。
【0194】
そして、サーバ会議制御部51は、全ての通信端末装置1から設定処理完了の通知を受信すると、発表者端末1aに発表の準備が整ったことを通知し、該発表者端末1aから発表を開始する旨通知されたとき、または会議データ60に規定される発表の開始時刻となったときに、発表を開始する旨、各通信端末装置1(発表者端末1a、参加者端末1b、及び司会者端末1c)に通知する(S32)。
【0195】
次に、サーバ会議制御部51は、参加状態判定処理の実行指示を各参加者端末1bに送信し、該参加者端末1bからの参加状態データの受信を待ち受ける(S33)。そして、参加状態データ管理部52は、各参加者端末1bの参加状態判定部22から参加状態データを受信したことを確認する(S33でYES)と、受信した参加状態データから現在の参加率を算出する(S34)。
【0196】
続いて、参加状態データ管理部52は、算出した参加率を示す参加状態データリスト67を生成して、発表者端末1aに送信する(S35)。また、参加状態データ管理部52は、生成した参加状態データリスト67をサーバ記憶部44に格納する。
【0197】
ここで、サーバ会議制御部51は、発表を終了するか否かを確認し(S36)、発表を終了しない場合(S33でNOには)、S33の処理に戻り、参加状態データの受信を待ち受ける。一方、発表を終了する場合(S33でYES)には、参加状態判定処理を終了するように、各参加者端末1bに指示して発表を終了する(S37)。
【0198】
<発表者端末1aの発表処理>
最後に、図18に基づいて、発表者端末1aの発表処理について説明する。図18は、発表者端末1aが行う発表処理の一例を示すフローチャートである。
【0199】
会議サーバ2から会議を開始する旨の通知を受信した発表者端末1aでは、端末会議制御部17が動作を開始する。そして、端末会議制御部17は、発表の設定処理を実行する(S41)。これにより、発表資料の最初のページが発表者端末1aの端末表示部11に表示される。
【0200】
次に、端末会議制御部17は、設定処理完了をサーバ会議制御部51に通知する。各通信端末装置1の設定処理が完了すると、サーバ会議制御部51が発表者端末1aに発表の準備が整ったことを通知し、発表を開始する。発表者端末1aの端末会議制御部17は、自装置の端末表示部11に発表の準備が整ったことを表示し、発表者に発表を開始するように促す。
【0201】
発表が開始された後、発表者端末1aの参加状態データリスト取得部23は、参加率を示す情報、すなわち参加状態データリストの受信を待ち受ける(S42)。そして、サーバ会議制御部51が送信する参加状態データリストの受信を確認すると(S42でYES)、受信した参加状態データリストに示される参加率を表示制御部18に指示して端末表示部11に表示させる(S43)。
【0202】
このとき、端末表示部11に表示される画面例を図19に示す。図19は、発表者端末1aが表示する表示画面の一例を示す図である。図示の例では、発表者端末1aの端末表示部11に表示される画面には、会議サーバ2から送信される資料等を表示する資料表示領域70と、発表者端末1aの操作に用いるアイコンを表示するアイコン表示領域71と、会議サーバ2から送信される参加状態データリストが示す参加率を表示する参加率表示領域72とが含まれている。
【0203】
資料表示領域70には、「会議資料」が表示されている。また、アイコン表示領域71には、発表または会議を開始するための開始アイコン80、発表または会議を終了するための終了アイコン81、及び、各参加者端末1bに参加状態判定処理を行わせて、会議サーバ2に参加率を算出させるための参加率判定アイコン82が表示されている。なお、アイコン表示領域71に表示されるアイコンは、図示の例に限るものではなく、発表者端末1aが有する機能を実行するためのその他のアイコンを表示してもよい。
【0204】
また、参加率表示領域72には、参加状態データリスト取得部23が会議サーバ2から受信した参加状態データリストに基づいて、参加率及び各参加者の参加状態別の人数が表示されている。具体的には、参加率を示す情報として、「会議参加率:60%」が表示され、各参加者の参加状態別の人数を示す情報として、「同期聴講中:3人、独立聴講中:1人、別作業中:1人」が表示されている。なお、表示画面は、各参加者の参加状態を発表者が認識できるような情報が表示されているものであればよく、図19の例に限られない。
【0205】
端末会議制御部17は、発表を終了するか否かを監視しており(S44)、発表を終了しないとき(S44でNO)には、S42の処理に戻る。つまり、参加状態データリスト取得部23は、発表中は参加状態データリストの受信処理を行う。一方、端末会議制御部17は、発表を終了するとき(S44でYES)には、参加状態データリスト取得部23に参加状態データリストの受信処理を終了させて、発表処理を終了する。
【0206】
上述の第1の実施例のように、各通信端末装置1及び会議サーバ2が発表処理を実行することによって、発表者端末1aの端末表示部11に、現在の参加者の参加率を表示することができる。
【0207】
なお、発表者が図19に示すアイコン80、81、82を操作することによって、発表者端末1aが、会議及び発表の開始・終了処理、並びに、参加状態判定処理を実行するように、会議サーバ2に指示してもよい。
【0208】
また、図19に示す発表者端末1aの表示画面は一例である。例えば、表示制御部18は、端末表示部11に、参加率のみを表示させてもよい。また、表示制御部18は、後述の図25に示す表示画面例のように、各参加者を特定して、それぞれの参加状態を表示させてもよい。この場合、発表者端末1aは、会議サーバ2から参加状態データリストを取得すると共に、各参加者を識別する情報と対応付けられた参加状態データを取得する。
【0209】
また、司会者端末1cが会議サーバ2から参加状態データリストを受信して、図19に示すような表示画面を、司会者端末1cの端末表示部11に表示させてもよい。この場合、司会者端末1cが発表者端末1aの参加状態データリスト取得部23と同様の機能を備えていればよい。
【0210】
〔第2の実施例〕
次に、図15のS12において、会議サーバ2及び通信端末装置1が行う発表処理の第2の実施例について説明する。ここでは、会議サーバ2及び通信端末装置1が行う発表処理の第2の実施例として、発表者端末1aに発表資料のページ毎の参加率を表示する場合を図20〜図23に基づいて説明する。
【0211】
<参加者端末1bの発表処理>
まず、図20に基づいて、参加者端末1bの発表処理について説明する。図20は、参加者端末1bが行う発表処理の一例を示すフローチャートである。
【0212】
端末会議制御部17は、サーバ会議制御部51から会議を開始する旨の通知を受信すると、動作を開始し、発表の設定処理を実行する(S51)。S51における設定処理は、図16のS21の設定処理と同様である。
【0213】
端末会議制御部17は、設定処理が終了すると、設定処理完了をサーバ会議制御部51に通知する。各通信端末装置1の設定処理が完了すると、サーバ会議制御部51が発表者端末1aに発表の準備が整ったことを通知し、発表を開始する。
【0214】
発表者端末1aによって発表が開始された後、参加者端末1bの参加状態判定部22は、端末会議制御部17からの参加状態カウント処理の実行指示を待ち受ける状態となる。そして、この実行指示の受信が確認されたときには、参加状態カウント処理を開始する。
【0215】
また、端末会議制御部17は、参加状態カウント処理の実行タイミングも指示する。ここでは、端末会議制御部17は、所定の時間間隔で参加状態カウント処理を実行するように指示する。なお、端末会議制御部17の指示は、サーバ会議制御部51から受信する指示に基づくものである。
【0216】
参加状態カウント処理では、まず、参加状態判定部22は、端末会議制御部17を介して、サーバ会議制御部51から、現在、参加者端末1bの端末表示部11に表示している資料を特定する情報を取得する。第2の実施例では、図12に示すように、資料のページ単位で参加状態をカウントするため、発表資料とそのページ番号を少なくとも取得する。
【0217】
参加状態判定部22は、サーバ会議制御部51から取得した上記情報と、自装置を利用するユーザを特定する情報(ここでは、参加者氏名)と、同期聴講カウンタ及び単位カウンタとを対応付けた参加状態カウンタを生成して端末記憶部14に格納する。そして、参加状態判定部22は、単位カウンタ及び同期聴講カウンタによるカウントを開始する(S52、S53)。
【0218】
続いて、参加状態判定部22は、視線検出部20に視線検出を行うよう指示する。この指示を受信した視線検出部20は、所定の時間間隔でカメラ5から画像を取得し、取得した画像を解析して、自装置を利用している参加者が、自装置の端末表示部11の画面を見ているかどうかを検出する(S54)。そして、視線検出部20は、検出した結果を、その都度、参加状態判定部22に出力する。
【0219】
また、参加状態判定部22は、端末会議制御部17に自装置の動作モードを通知するよう指示する。この指示を受信した端末会議制御部17は、所定の時間間隔で、自装置が同期モードで動作しているか、独立モードで動作しているかを判定する(S55)。そして、端末会議制御部17は、判定した結果を、その都度、参加状態判定部22に出力する。
【0220】
次に、参加状態判定部22は、視線検出部20、及び端末会議制御部17から検出結果及び判定結果を受信すると、自装置を利用している参加者の参加状態を判定する。ここで、参加状態判定部22は、参加状態を「同期聴講中(○)」と判定すると(S54でYES、かつ、S55でYES)、同期聴講カウンタをインクリメントする(S56)。また、参加状態判定部22は、参加状態が「同期聴講中(○)」ではない場合(S54でNO、又は、S54でYES且つS55でNO)には、インクリメントを行わない。
【0221】
また、参加状態判定部22は、単位カウンタの計測開始から所定の時間が経過すると、単位カウンタをインクリメントする(S57)。
【0222】
参加状態判定部22は、単位カウンタをインクリメントした後、端末会議制御部17に、発表者端末1aにおける発表資料の切り替え、もしくは、発表資料のページの切り替えの通知があったかどうかを確認する(S58)。発表資料の切り替え、もしくは、発表資料のページの切り替えの通知が無い場合(S58でNO)、参加状態判定部22は、続いて、端末会議制御部17に、発表終了の通知があったかどうかを確認する(S59)。発表終了の通知が無い場合(S59でNO)、S54からS57の一連の処理を繰り返す。
【0223】
S58において、発表資料の切り替え、もしくは、発表資料のページの切り替えの通知を受けた場合(S58でYES)、参加状態判定部22は、現在計測中の単位カウンタ及び同期聴講カウンタによるカウントを終了する。これにより、発表資料の1ページについての参加状態カウント処理が終了する。
【0224】
次に、参加状態判定部22は、サーバ会議制御部51から、切り替え後の資料(現在発表者端末1aの端末表示部11に表示している資料)に関する情報を取得する。参加状態判定部22は、取得した資料に関する情報に、自装置を利用するユーザを識別する情報(ここでは、参加者氏名)と、新たな同期聴講カウンタ及び単位カウンタとを対応付けて参加状態カウンタを生成し、生成した参加状態カウンタを端末記憶部14に格納する。そして、参加状態判定部22は、生成した参加状態カウンタの単位カウンタ及び同期聴講カウンタによるカウントを開始し(S52、S53)、S54からS57の一連の処理を実行する。
【0225】
また、S59において、参加状態判定部22が、発表終了の通知を受けた場合(S59でYES)、参加状態判定部22は、カウントを終了し、端末記憶部14に格納されている参加状態カウンタのデータを、会議サーバ2の参加状態データ管理部52に送信して(S60)、発表処理を終了する。
【0226】
なお、第2の実施例でも、第1の実施例と同様に、別動作検出部21が別作業モードであるかどうかを判定し、参加状態判定部22が、「同期聴講中(○)」、「独立聴講中(△)」、「別作業中(×)」の状態のいずれであるかを判定してもよい。この場合、参加状態判定部22は、同期聴講カウンタ、独立聴講カウンタ、及び、別作業カウンタを含む参加状態カウンタを生成する。そして、参加状態を「独立聴講中(△)」と判定すると、独立聴講カウンタをインクリメントし、参加状態を「別作業中(×)」と判定すると、別作業カウンタをインクリメントする。
【0227】
また、本実施例では、単位カウンタを資料のページ単位でカウントしているが、これに限るものではない。例えば、資料毎であってもよいし、アジェンダ毎、会議毎、発表者毎であってもよい。
【0228】
また、本実施例では、単位カウンタを参加者端末1bにおいて計測しているがこれに限るものではない。例えば、会議サーバ2で単位カウンタを計測してもよい。
【0229】
<会議サーバ2の発表処理>
次に、図21に基づいて、会議サーバ2の発表処理について説明する。図21は、会議サーバ2が行う発表処理の一例を示すフローチャートである。
【0230】
サーバ会議制御部51は、図17の例と同様に、端末設定処理を実行する(S71)。そして、サーバ会議制御部51は、全ての通信端末装置1から設定処理完了の通知を受信すると、発表者端末1aの端末会議制御部17に発表の準備が整ったことを通知し、各通信端末装置1に発表の開始を通知する(S72)。
【0231】
次に、サーバ会議制御部51は、参加者端末1bに、参加状態カウント処理を実行するように指示する。また、サーバ会議制御部51は、参加状態カウント処理の実行タイミングも合せて指示する。
【0232】
ここで、サーバ会議制御部51は、発表を終了することを確認したときに、発表終了の通知を各通信端末装置1に送信する(S73)。そして、参加状態データ管理部52は、各参加者端末1bから、参加状態カウンタデータが送信されるのを待ち受ける(S74)。
【0233】
各参加者端末1bの参加状態判定部22から、参加状態カウンタデータを受信すると(S74でYES)、参加状態データ管理部52は、受信した参加状態カウンタデータから、発表資料のページ毎の、各参加者の参加率の平均値を算出する(S75)。参加状態データ管理部52は、算出した参加率の平均値を参加状態カウンタデータリストとしてサーバ記憶部44に格納する。
【0234】
そして、サーバ会議制御部51は、サーバ記憶部44に格納されている参加状態カウンタデータリストを発表者端末1aの端末会議制御部17に送信して(S76)、発表処理を終了する。
【0235】
なお、S74において、参加状態データ管理部52が、一定期間内に参加状態カウンタデータを受信できなかった場合(S74でNO)、エラー処理等を行い、発表処理を終了する。
【0236】
<発表者端末1aの発表処理>
最後に、図22に基づいて、発表者端末1aの発表処理について説明する。図22は、発表者端末1aが行う発表処理の一例を示すフローチャートである。
【0237】
端末会議制御部17は、サーバ会議制御部51から会議を開始する旨の通知を受信すると、動作を開始し、発表の設定処理を実行する(S81)。S81における設定処理は、図18に示すS41の設定処理と同様である。
【0238】
次に、端末会議制御部17は、設定処理完了をサーバ会議制御部51に通知する。各通信端末装置1の設定処理が完了すると、サーバ会議制御部51が発表者端末1aに発表の準備が整ったことを通知し、発表を開始する。発表者端末1aは、自装置の端末表示部11に発表の準備が整ったことを表示し、発表者に発表を開始するように促す。この後、発表が行われ、端末会議制御部17が、サーバ会議制御部51から発表終了の通知を受信すると発表が終了する。
【0239】
ここで、参加状態データリスト取得部23は、サーバ会議制御部51から、参加率を示す情報、すなわち参加状態カウンタデータリストが送信されるのを待ち受ける(S82)。そして、参加状態データリスト取得部23は、参加状態カウンタデータリストを受信すると(S82でYES)、受信した参加状態データリストから、発表資料のページ毎の、各参加者の参加率の平均値を読み出す。そして、読み出した平均値を表示制御部18に指示して端末表示部11に表示させて(S83)、発表処理を終了する。このとき、端末表示部11に表示される画面例を図23に示す。
【0240】
図23に示すように、発表者端末1aの端末表示部11には、会議サーバ2から送信される参加状態カウンタデータリストから特定される、発表資料毎の参加率が表示されている。
【0241】
具体的には、上記参加状態カウンタデータリストに含まれる、発表者名と、発表資料名と、発表資料毎の参加率とが表示されている。さらに詳細には、発表資料「資料001−1」を用いて発表者「Aさん」が発表を行ったときの発表資料毎の参加率と、発表資料「資料001−2」を用いて発表者「Bさん」が発表を行ったときの発表資料毎の参加率とが表示されている。さらに、発表資料毎の参加率として、発表資料(「資料001−1」または「資料001−2」)の全体の参加率(或る1つの発表資料が表示されていた期間における参加率)と、当該発表資料の各ページの参加率(当該発表資料の各ページが表示されていた期間における参加率)とが表示されている。
【0242】
なお、発表者端末1aが表示する表示画面は、発表資料毎の参加状態を発表者が認識できるものであればよく、図23の例に限られない。また、ここでは、発表資料毎の参加状態を表示する例を示しているが、例えばアジェンダ毎の参加状態等のように、他の集計単位で集計した参加状態を表示してもよい。
【0243】
一方、S82において、参加状態データリスト取得部23が、一定期間内に参加状態カウンタデータリストを受信できなかった場合(S82でNO)、エラー処理等を行い、発表処理を終了する。
【0244】
上記第2の実施例のように、各通信端末装置1及び会議サーバ2が処理を行うことによって、発表者端末1aの端末表示部11に、発表に使用した資料の各ページの参加率を表示させることができる。
【0245】
これにより、発表者は、自分の発表中におけるトータルの参加者の参加率を把握できると共に、発表に使用した資料のどのページに参加者が注目していたのか、注目していなかったのか等を把握することができる。そして、発表者は、発表終了後に、ページ毎の参加率のデータに基づいて、発表の仕方や発表資料の作成方法を改善することができる。
【0246】
なお、本実施例では、発表終了後に、参加者端末1bから会議サーバ2を介して、参加者カウンタデータリストが発表者端末1aに送信されているがこれに限るものではない。例えば、会議終了後に、発表者端末1aが受信してもよい。また、参加者端末1bは、単位カウンタをカウントするごとに、参加状態カウンタデータを会議サーバ2に送信して、発表者端末1aでは、現在の参加率を表示すると共に、それまでの参加率の累積結果を表示してもよい。
【0247】
また、会議サーバ2は、参加者カウンタデータリストを発表者端末1aではなく、司会者端末1cや会議サーバ2に接続されているPC4等に送信してもよい。
【0248】
〔第3の実施例〕
次に、図15のS12において、会議サーバ2及び通信端末装置1が行う発表処理の第3の実施例について説明する。ここでは、会議サーバ2及び通信端末装置1が行う発表処理の第3の実施例として、各参加者端末1bから司会者端末1cへ直接参加状態データを送信し、司会者端末1cに現在の参加者の参加率を表示する場合を図24、図25に基づいて説明する。
【0249】
第3の実施例では、参加者端末1bは、第1の実施例のように、現在の参加状態を判定して、参加状態データを生成する。第3の実施例が、第1の実施例と異なるのは、参加者端末1bが参加状態データを送信する送信先が、会議サーバ2ではなく、司会者端末1cという点だけである。そのため、ここでは、参加者端末1b及び会議サーバ2の発表処理の説明を省略する。
【0250】
<司会者端末1cの発表処理>
図24に基づいて、第3の実施例における司会者端末1cの発表処理について説明する。図24は、司会者端末1cが行う発表処理の一例を示すフローチャートである。
【0251】
会議が開始されると、司会者端末1cは、会議サーバ2のサーバ会議制御部51から会議を開始する旨の通知を受信し、これによって司会者端末1cの端末会議制御部17が動作を開始する。
【0252】
まず、端末会議制御部17は、参加者端末1bと同様に発表の設定処理を行う(S91)。具体的には、会議サーバ2のサーバ会議制御部51が、発表で使用する発表資料の最初のページの画像を参加者端末1bに送信するので、端末会議制御部17はこれを受信し、表示制御部18に指示して端末表示部11に表示させる。これにより、発表資料の最初のページが司会者端末1cの端末表示部11に表示される。
【0253】
また、端末会議制御部17は、設定処理完了をサーバ会議制御部51に通知する。各通信端末装置1の設定処理が完了すると、サーバ会議制御部51が発表者端末1aに発表の準備が整ったことを通知し、発表を開始する。なお、このとき、サーバ会議制御部51が司会者端末1cに発表の準備が整ったことを通知してもよい。司会者端末1cは、当該通知を受信すると、自装置の端末表示部11に発表の準備が整ったことを表示し、司会者に会議を進行するように促す。
【0254】
発表中において、参加率算出部24は、各参加者端末1bから参加状態データを受信すると(S92でYES)、受信した各参加者端末1bの参加状態データから参加率を算出する(S93)。
【0255】
続いて、参加率算出部24は、算出した参加率を表示制御部18に指示して端末表示部11に表示させる(S94)。このとき、端末表示部11に表示される画面例を図25に示す。
【0256】
図25に示す、司会者端末1cの端末表示部11に表示される表示画面には、図19の例と同様に、資料表示領域70、アイコン表示領域71、及び参加率表示領域72が含まれていると共に、会議を進行するための情報を表示する司会進行情報表示領域73が含まれている。
【0257】
資料表示領域70には、「会議資料」が表示されている。また、アイコン表示領域71には、発表または会議を開始するための開始アイコン80、発表または会議を終了するための終了アイコン81、及び各参加者端末1bに参加状態判定処理を行わせて会議サーバ2に参加率を算出させるための参加率判定アイコン82が表示されている。なお、アイコン表示領域71に表示されるアイコンは、図示の例に限るものではなく、司会者端末1cが有する機能を実行するためのその他のアイコンを表示してもよい。
【0258】
また、図示の例では、参加率表示領域72には、参加率算出部24が会議サーバ2から受信した参加状態データリストから算出した参加率、及び受信した参加状態データリストから特定される各参加者の参加状態が表示されている。具体的には、参加率を示す情報として、「会議参加率:60%」が表示され、各参加者の参加状態を示す情報として、「Aさん:発表者、Bさん:○、Cさん:○、Dさん:○、Xさん:△、Yさん:×」が表示されている。
【0259】
また、司会進行情報表示領域73には、端末記憶部14に格納している会議データ31、アジェンダデータ32、参加ユーザデータ33、発表資料データ34、接続端末判別データ35から特定される、司会の進行上必要な情報が表示される。図示の例では、司会進行情報表示領域73に、アジェンダデータ32に含まれる「発表時間」を参照して、現在発表している発表者の残りの持ち時間が「残りの発表時間 9:34」として表示されている。当然ながら、司会進行情報表示領域73に表示する情報は、「残りの発表時間」に限られず、例えば、次の発表内容(発表者、発表資料、発表時間等)を示す情報等を表示してもよい。
【0260】
参加率算出部24は、端末会議制御部17がサーバ会議制御部51から発表終了の通知を受信するまで、参加状態データの受信処理を行い、発表終了の通知を受信すると(S95でYES)、発表処理を終了する。
【0261】
上述の第3の実施例のように、各通信端末装置1及び会議サーバ2が処理することによって、司会者端末1cの端末表示部11に、現在の参加者の参加率を表示することができる。
【0262】
なお、図25に示すように、参加者を特定して、各参加者の参加状態を表示するためには、S92において、参加率算出部24は、各参加者端末1bの参加状態判定部22から参加状態データを受信すると共に、各参加者端末1bを利用する参加者を識別する情報も取得する必要がある。すなわち、本実施例では、各参加者端末1bの参加状態判定部22は、参加状態データと自装置を利用する参加者を識別する情報とを対応付けて、司会者端末1cの参加率算出部24に送信している。
【0263】
また、第1の実施例、及び第2の実施例でも、第3の実施例のように、発表者端末1aは、参加者端末1bから直接参加状態データ、もしくは、参加状態カウンタデータを受信してもよい。この場合、発表者端末1aが司会者端末1cの参加率算出部24と同じ機能を備えていればよい。
【0264】
また、司会者が図25に示すアイコン80、81、82を操作することによって、司会者端末1cが、会議及び発表の開始・終了処理、並びに、参加状態判定処理を実行するように、会議サーバ2に指示してもよい。
【0265】
〔変形例〕
上記実施形態では、参加者端末1bが、自装置を利用する参加者の視線が自装置の端末表示部11に向いているか否かを判定する構成(視線検出部20及び参加状態判定部22)と、自装置の動作モードを判定する構成(端末会議制御部17、別動作検出部21及び参加状態判定部22)と、参加者の視線の判定結果及び参加者端末1bの動作モードの判定結果に基づいて、参加者の参加状態を判定する構成(参加状態判定部22)とを備えている例を説明したが、これらの構成は参加者端末1b以外の装置に設けられていてもよい。
【0266】
つまり、各参加者端末1bを利用する参加者の視線が参加者端末1bの端末表示部11に向いているか否かを判定する構成と、各参加者端末1bの動作モードを判定する構成と、各参加者の視線の判定結果及び各参加者端末1bの動作モードの判定結果に基づいて、各参加者の参加状態を判定する構成とが、電子会議システム3に含まれる通信端末装置1(発表者端末1a、参加者端末1b、司会者端末1c)または会議サーバ2の少なくとも何れかに設けられていればよい。
【0267】
また、上記実施形態では、会議サーバ2または司会者端末1cが、参加率を算出する構成(参加状態データ管理部52または参加率算出部24)を備えている例を説明したが、この構成は、会議サーバ2または司会者端末1c以外の装置に設けられていてもよい。
【0268】
つまり、参加率を算出する構成が、電子会議システム3に含まれる通信端末装置1(発表者端末1a、参加者端末1b、司会者端末1c)または会議サーバ2の少なくとも何れかに、設けられていればよい。
【0269】
すなわち、電子会議システム3に含まれる何れかの装置が、各参加者端末1bを利用する参加者の視線が参加者端末1bの端末表示部11に向いているか否かを判定する構成を備え、また、電子会議システム3に含まれる何れかの装置が、各参加者端末1bの動作モードを判定する構成を備え、さらに、電子会議システム3に含まれる何れかの装置が、各参加者の視線の判定結果及び各参加者端末1bの動作モードの判定結果を受信して、受信したこれらの判定結果に基づいて、各参加者の参加状態を判定する構成を備えていればよい。そして、電子会議システム3に含まれる何れかの装置が、各参加者の参加状態の判定結果を受信して、受信した判定結果から、参加率を算出する構成を備えていればよい。
【0270】
例えば、上述の第1の実施例において、会議サーバ2が、各参加者端末1bを利用する参加者の視線が参加者端末1bの端末表示部11に向いているか否かを判定する構成と、各参加者端末1bの動作モードを判定する構成と、各参加者の視線の判定結果及び各参加者端末1bの動作モードの判定結果に基づいて、各参加者の参加状態を判定する構成とを備えていてもよい。
【0271】
この場合、会議サーバ2は、参加状態判定処理を開始すると、各参加者端末1bに対して、カメラ5が撮影した画像の送信を要求する。そして、会議サーバ2は、受信した各参加者端末1bのカメラ5が撮影した画像を解析して、各参加者端末1bを利用している参加者が、当該参加者端末1bの端末表示部11を見ているかどうかを判定する。なお、画像を解析してユーザの視線の向きを検出する処理は、視線方向を検出する機能を有する他の装置に行わせてもよく、この場合には該装置の検出結果から、参加者が端末表示部11を見ているかを判定する。
【0272】
また、会議サーバ2は、参加状態判定処理を開始すると、各参加者端末1bに対して、参加者端末1bの動作モードを通知するように指示する。そして、会議サーバ2は、各参加者端末1bから動作モードを示す情報、つまり、同期モードであるか、非同期モードであるかを示す情報を受信する。なお、会議サーバ2は、各参加者端末1bの動作モードを制御する機能を有しているので、参加者端末1bを何れの動作モードで機能させているかは、参加者端末1bと通信を行わずに特定することもできる。
【0273】
ここで、会議サーバ2は、何れかの参加者端末1bから非同期モードを示す情報を受信すると、当該参加者端末1bに対して、さらに、参加者端末1bが独立モードであるか別作業モードであるかを通知するように指示する。そして、会議サーバ2は、各参加者端末1bから独立モードであるか、別作業モードであるかを示す情報を受信する。
【0274】
次に、会議サーバ2は、各参加者端末1bを利用する参加者の視線検出の結果と、各参加者端末1bの動作モードとに基づいて、各参加者端末1bの参加状態を判定する。つまり、会議サーバ2は、各参加者端末の参加状態データを生成する。そして、会議サーバ2は、生成した参加状態データから、現在の参加率を算出し、算出した参加率を含む参加状態データリストを生成する。
【0275】
また、上記実施形態では、参加者を撮影するカメラ5を、各参加者端末1bに接続している例を説明したが、カメラ5は、各参加者を撮影可能なものであればよく、視線判定を行う装置に接続されていればよい。例えば、複数の参加者が在室する会議室内に、当該複数の参加者を撮影可能なカメラ5を少なくとも1つ設置し、当該カメラ5と、参加者の視線判定を行う装置とが通信接続されていればよい。
【0276】
〔補足〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0277】
最後に、通信端末装置1及び会議サーバ2の各ブロック、特に端末制御部13及びサーバ制御部43は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0278】
すなわち、通信端末装置1及び会議サーバ2は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである通信端末装置1及び会議サーバ2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記通信端末装置1及び上記会議サーバ2に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0279】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0280】
また、通信端末装置1及び会議サーバ2を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【0281】
本発明は、会議の参加者が会議に参加しているかどうかを判断することを可能にするものであり、特に電子会議システムを構成する端末装置に好適に適用することができる。
【符号の説明】
【0282】
1 通信端末装置(端末装置、対象画像表示装置、監視装置)
1a 発表者端末(対象画像表示装置、監視装置)
1b 参加者端末(端末装置)
1c 司会者端末(監視装置)
2 会議サーバ(監視装置)
3 電子会議システム(端末監視システム)
11 端末表示部(表示装置)
17 端末会議制御部(同期判定手段)
18 表示制御部(表示制御手段)
20 視線検出部(視線判定手段)
21 別動作検出部(非同期状態判定手段)
22 参加状態判定部(閲覧状態通知手段、閲覧状態判定手段)
24 参加率算出部(割合算出手段、閲覧率算出手段)
52 参加状態データ管理部(割合算出手段、閲覧率算出手段)

【特許請求の範囲】
【請求項1】
同期表示の対象となる対象画像を表示する対象画像表示装置が表示している対象画像を、自装置の表示装置に表示する同期表示モードを有する端末装置であって、
自装置のユーザの視線が自装置の表示装置に向いているか否かを判定する視線判定手段と、
自装置が上記同期表示モードであるか否かを判定する同期判定手段と、
上記視線判定手段の判定結果及び上記同期判定手段の判定結果を示す情報を、自装置のユーザの、当該表示装置に表示される画像の閲覧状態を特定する監視装置に送信する閲覧状態通知手段とを備えていることを特徴とする端末装置。
【請求項2】
上記閲覧状態通知手段は、上記視線判定手段がユーザの視線が自装置の表示装置に向いていると判定しており、かつ上記同期判定手段が上記同期表示モードであると判定している場合に、上記ユーザが同期表示モードで上記対象画像を閲覧している第1閲覧状態であることを示す情報を上記監視装置に送信することを特徴とする請求項1に記載の端末装置。
【請求項3】
上記閲覧状態通知手段は、上記視線判定手段がユーザの視線が自装置の表示装置に向いていないと判定している場合に、上記ユーザが自装置の表示装置を見ていない非閲覧状態であることを示す情報を上記監視装置に送信することを特徴とする請求項1または2に記載の端末装置。
【請求項4】
上記同期判定手段は、自装置が上記同期表示モードであるか、自装置が上記対象画像表示装置が表示している対象画像と異なる画像を自装置の表示装置に表示可能な非同期表示モードであるかを判定し、
上記閲覧状態通知手段は、上記視線判定手段がユーザの視線が自装置の表示装置に向いていると判定しており、かつ上記同期判定手段が上記非同期表示モードであると判定している場合に、上記ユーザが非同期表示モードで画像を閲覧している第2閲覧状態であることを示す情報を上記監視装置に送信することを特徴とする請求項1から3の何れか1項に記載の端末装置。
【請求項5】
上記対象画像表示装置は、予め定められた複数の対象画像の何れかを表示し、
自装置が上記非同期表示モードである場合に、上記複数の対象画像の何れかを自装置の表示装置に表示させている非同期第1状態であるか否かを判定する非同期状態判定手段を備え、
上記閲覧状態通知手段は、上記視線判定手段がユーザの視線が自装置の表示装置に向いていると判定し、かつ上記非同期状態判定手段が上記非同期第1状態と判定している場合に、上記ユーザが、非同期表示モードで上記対象画像を閲覧している第3閲覧状態であることを示す情報を上記監視装置に送信することを特徴とする請求項4に記載の端末装置。
【請求項6】
上記対象画像表示装置は、予め定められた複数の対象画像の何れかを表示し、
自装置が上記非同期表示モードである場合に、上記複数の対象画像の何れかを自装置の表示装置に表示させている非同期第1状態であるか、上記対象画像を自装置の表示装置に表示させていない非同期第2状態であるかを判定する非同期状態判定手段を備え、
上記閲覧状態通知手段は、上記視線判定手段がユーザの視線が自装置の表示装置に向いていると判定し、かつ上記非同期状態判定手段が上記非同期第2状態と判定している場合に、上記ユーザが上記対象画像を閲覧していない第4閲覧状態であることを示す情報を上記監視装置に送信することを特徴とする請求項4に記載の端末装置。
【請求項7】
上記対象画像表示装置が1つの対象画像を表示している期間のうち、自装置のユーザが当該対象画像を上記第1閲覧状態で閲覧している期間の割合を算出する割合算出手段を備えていることを特徴とする請求項2に記載の端末装置。
【請求項8】
同期表示の対象となる対象画像を表示する対象画像表示装置が表示している対象画像を、自装置の表示装置に表示する同期表示モードを有する端末装置を使用するユーザの、当該表示装置に表示される画像の閲覧状態を特定する監視装置であって、
上記ユーザの視線が上記端末装置の表示装置に向いているか否かを判定する視線判定手段と、
上記端末装置が上記同期表示モードであるか否かを判定する同期判定手段と、
上記視線判定手段が、上記ユーザの視線が上記端末装置の表示装置に向いていると判定しており、かつ上記同期判定手段が、上記端末装置が上記同期表示モードであると判定している場合に、上記ユーザが同期表示モードで上記対象画像を閲覧している第1閲覧状態であると判定する閲覧状態判定手段とを備えていることを特徴とする監視装置。
【請求項9】
請求項1から7の何れか1項に記載の端末装置から、該端末装置のユーザの閲覧状態を示す情報を受信する監視装置であって、上記端末装置から受信した情報が示す閲覧状態を表示させる表示制御手段を備えていることを特徴とする監視装置。
【請求項10】
上記対象画像表示装置が表示している対象画像をそれぞれの表示装置に表示する複数の上記端末装置から、該端末装置のユーザの閲覧状態を示す情報をそれぞれ受信し、
上記端末装置のユーザのうち、上記同期表示モードで上記対象画像を閲覧しているユーザの割合を算出する閲覧率算出手段を備えていることを特徴とする請求項9に記載の監視装置。
【請求項11】
同期表示の対象となる対象画像を表示する対象画像表示装置が表示している対象画像を、自装置の表示装置に表示する同期表示モードを有する端末装置と、該端末装置のユーザの、当該表示装置に表示される画像の閲覧状態を特定する監視装置とを含む端末監視システムであって、
上記端末装置のユーザの視線が、該端末装置の表示装置に向いているか否かを判定する視線判定手段が、上記端末装置または上記監視装置に設けられており、
上記端末装置が上記同期表示モードであるか否かを判定する同期判定手段が、上記端末装置または上記監視装置に設けられており、
上記視線判定手段の判定結果及び上記同期判定手段の判定結果を示す情報を取得して、上記視線判定手段が、上記ユーザの視線が上記端末装置の表示装置に向いていると判定しており、かつ上記同期判定手段が、上記端末装置が上記同期表示モードであると判定している場合に、上記ユーザが同期表示モードで上記対象画像を閲覧している第1閲覧状態であると判定する閲覧状態判定手段が、上記端末装置または上記監視装置に設けられており、
上記閲覧状態判定手段の判定結果を示す情報を上記監視装置が取得することを特徴とする端末監視システム。
【請求項12】
同期表示の対象となる対象画像を表示する対象画像表示装置が表示している対象画像を自装置の表示装置に表示する同期表示モードを有する端末装置の制御方法であって、
自装置のユーザの視線が自装置の表示装置に向いているか否かを判定する視線判定ステップと、
自装置が上記同期表示モードであるか否かを判定する同期判定ステップと、
上記視線判定ステップの判定結果、及び上記同期判定ステップの判定結果を示す情報を、自装置のユーザの、当該表示装置に表示される画像の閲覧状態を特定する監視装置に送信する閲覧状態通知ステップとを含むことを特徴とする端末装置の制御方法。
【請求項13】
同期表示の対象となる対象画像を表示する対象画像表示装置が表示している対象画像を、自装置の表示装置に表示する同期表示モードを有する端末装置を使用するユーザの、当該表示装置に表示される画像の閲覧状態を監視する監視装置の制御方法であって、
上記ユーザの視線が上記端末装置の表示装置に向いているか否かを判定する視線判定ステップと、
上記端末装置が上記同期表示モードであるか否かを判定する同期判定ステップと、
上記視線判定ステップで上記ユーザの視線が上記端末装置の表示装置に向いていると判定しており、かつ上記同期判定ステップで上記端末装置が上記同期表示モードであると判定している場合に、上記ユーザが同期表示モードで上記対象画像を閲覧している第1閲覧状態であると判定する閲覧状態判定ステップとを含むことを特徴とする監視装置の制御方法。
【請求項14】
請求項1から7の何れか1項に記載の端末装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項15】
請求項8から10の何れか1項に記載の監視装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項16】
請求項14または15に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate


【公開番号】特開2011−228817(P2011−228817A)
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願番号】特願2010−94431(P2010−94431)
【出願日】平成22年4月15日(2010.4.15)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】