説明

会議システム、通信会議支援方法、会議端末装置及びプログラム

【課題】 円滑な通信会議を可能とする会議システム、通信会議支援方法、会議端末装置及びそれに用いるプログラムを提供する
【解決手段】 遠隔にある複数の地点を結び通信会議を行う会議端末装置において、自装置を操作する自ユーザの頭部の上下方向の動きを検出する動作検出部と、動作検出部によって検出された自ユーザの頭部の上下方向の動きに基づいて自ユーザの会議への集中度を判定する集中度判定手段と、集中度判定手段によって判定された判定の結果を通信相手の会議端末装置にネットワークを介して送信する送信手段と、通信相手の会議端末装置から送信されてきた上記判定の結果を受信する受信手段と、受信手段が受信した上記判定の結果に基づいて表示制御を行う表示制御手段を備え、動作検出部は自ユーザの頭部に装着する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の拠点間で会議を行うための会議システム、通信会議支援方法、会議端末装置及びプログラムの技術分野に関する。
【背景技術】
【0002】
従来、会議システムは、遠隔に配置された複数の会議端末装置(以下、端末装置という。)を、ネットワークを介して接続し、これらの端末装置間で、テレビ会議や音声会議等の通信会議を行うものとして知られている。
【0003】
この会議システムでは、テレビ会議を行うとき、各端末装置間で映像や音声等のデータが送受信される。そして、各端末装置のユーザは、通信相手の端末装置のユーザの映像や音声を見聞きしながら会議を行う。
【0004】
例えば、3以上の端末装置間でテレビ会議を行う場合、各端末装置の表示部には全通信相手の端末装置のユーザの映像が表示される。これにより、各端末装置のユーザは、全通信相手の端末装置のユーザの映像を見ながらテレビ会議を行うことができる。
【0005】
しかしながら、通信相手の端末装置のユーザの映像は、一つの表示部で表示することから、通信相手の端末装置の数が増えてくると、各端末装置の表示部に表示される各通信相手の端末装置のユーザの映像は小さくなってしまう。そのため、各端末装置のユーザは、表示画面上で通信相手の端末装置のユーザの様子を把握することが困難となる場合がある。
【0006】
一方、この会議システムにおいて、音声会議を行うとき、各端末装置間で音声データを送受信し、各端末装置のユーザは、音声通話により通信相手の端末装置のユーザと会議を行う。このときも、各端末装置のユーザは、通信相手の端末装置のユーザの音声しか聞けないので、通信相手の端末装置のユーザの様子を把握することが困難になる場合がある。
【0007】
そこで、通信相手の端末装置のユーザの様子を容易に把握することができるように、特許文献1に記載の技術では、各端末装置において撮影した自装置のユーザ(以下、「自ユーザ」という。)の映像を画像処理することにより自ユーザの反応を解析し、その解析結果を通信相手の端末装置へ通知することができるようにしている。
【特許文献1】特開2001−67482号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかしながら、上記特許文献1の技術では、撮影した映像を画像解析することによりユーザの反応を解析しているため、ユーザの反応を正確に把握することが困難な場合がある。例えば、ユーザが撮影範囲外の位置に移動したり、自ユーザの撮影はできるものの自ユーザの頭部の動きなどが検出できない方向からの撮影となったりすることがあり、このような場合には、通信相手の端末装置のユーザの反応を把握することができない。話し手は相手の反応がわからないと、相手が集中して話を聞いているのか、話している内容が相手に伝わっているのか、話している内容に反応しているのか不安になり、時には話を中断して相手の様子を確認したりして、円滑な会議を自ら妨げてしまうことも発生した。円滑な通信会議を支援し、話し手が不安感を抱かず、快適に会議を行うには、話し手が相手の反応を的確に把握できるようにすることが不可欠である。
【0009】
そこで、本発明は、円滑な通信会議を可能とする会議システム、通信会議支援方法、会議端末装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するために、請求項1に係る発明は、映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおける前記会議端末装置において、会議に参加している自ユーザを撮像する撮像部と、前記撮像部から出力される映像データを前記ネットワークを介して通信相手の会議端末装置へ送信する映像データ送信手段と、前記会議端末装置から送信される映像データを受信する映像データ受信手段と、前記映像データ受信手段により受信した映像データに応じた画像を表示する表示部と、自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とするものである。
【0011】
また、請求項2に係る発明は、映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおける前記会議端末装置において、自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とするものである。
【0012】
また、請求項3に係る発明は、請求項1に記載の会議端末装置において、前記表示制御手段は、集中度が所定以上の他ユーザの会議端末装置から送信される前記映像データに応じた画像に関連付けて、他ユーザが集中状態である旨を示す画像を前記表示部に表示することを特徴とするものである。
【0013】
また、請求項4に係る発明は、請求項1または3に記載の会議端末装置において、前記表示制御手段は、集中度が所定以上の他ユーザの会議端末装置から送信される前記映像データに応じた画像を、他の通信相手の会議端末装置から送信される前記映像データに応じた画像よりも大きなサイズで前記表示部に表示することを特徴とするものである。
【0014】
また、請求項5に係る発明は、請求項1から4の何れか1項に記載の会議端末装置において、自ユーザによる発言が行われているか否かを判定する発言判定手段を備え、前記表示制御手段は、前記発言判定手段により自ユーザにより発言が行われていると判定された場合に、前記受信手段により受信した他ユーザの集中度を示す情報に応じた表示を行う一方で、前記発言判定手段により自ユーザにより発言が行われていないと判定された場合には前記受信手段により受信した他ユーザの集中度を示す情報に応じた表示を行わないことを特徴とするものである。
【0015】
また、請求項6に係る発明は、請求項1から5の何れか1項に記載の会議端末装置において、自ユーザの脈拍を計測する脈拍計測部を備え、前記集中度判定手段は、前記動作検出部で検出された自ユーザの頭部の動作情報に加え、さらに前記脈拍計測部により計測された自ユーザの脈拍に基づいて、自ユーザの会議への集中度の判定を行うことを特徴とするものである。
【0016】
また、請求項7に係る発明は、請求項1から5の何れか1項に記載の会議端末装置において、前記集中度判定手段は、前記動作情報取得手段により取得した動作情報に基づいて頭部の上下方向のふれ幅を算出し、所定期間における頭部の上下動の回数を検出し、前記上下方向のふれ幅及び前記頭部の上下動の回数に基づいて自ユーザの集中度を判定することを特徴とするものである。
【0017】
また、請求項8に係る発明は、請求項6に記載の会議端末装置において、前記集中度判定手段は、前記動作情報取得手段により取得した動作情報に基づいて頭部の上下方向のふれ幅を算出し、所定期間における頭部の上下動の回数を検出し、前記脈拍計測部により計測された脈拍と基準脈拍との差を算出し、前記頭部の上下方向のふれ幅、前記頭部の上下動の回数及び前記脈拍と基準脈拍との差に基づいて、自ユーザの集中度の判定することを特徴とするものである。
【0018】
また、請求項9に係る発明は、請求項1から8の何れか1項に記載の会議端末装置において、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信するか否かの入力を自ユーザから受け付ける集中度通知有無入力部を備え、前記送信手段は、通信相手の会議端末装置に対して送信する旨の入力が前記集中度通知有無入力部により受け付けられたとき、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信する一方で、通信相手の会議端末装置に対して送信しない旨の入力が前記集中度通知有無入力部により受け付けられたとき、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信しないことを特徴とするものである。
【0019】
また、請求項10に係る発明は、請求項1から9の何れか1項に記載の会議端末装置において、前記集中度判定手段により判定した自ユーザの集中度が低い状態であるとき、光又は音により自ユーザに刺激を与える制御を行う刺激制御手段を備えたことを特徴とするものである。
【0020】
また、請求項11に係る発明は、請求項10に記載の会議端末装置において、集中度が低い状態の自ユーザに刺激を与えるか否かの設定を自ユーザから受け付ける刺激制御設定部を備え、前記刺激制御手段は、前記刺激制御設定部により自ユーザに刺激を与える旨の設定がされている場合に、前記集中度判定手段により自ユーザの集中度が低い状態であると判定すると、光又は音により自ユーザに刺激を与える制御を行う一方で、前記刺激制御設定部により自ユーザに刺激を与えない旨の設定がされている場合に、前記集中度判定手段により自ユーザの集中度が低い状態であると判定すると、光又は音により自ユーザに刺激を与える制御を行わず、前記送信手段は、前記刺激制御設定部により自ユーザに刺激を与えない旨の設定がされている場合に、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信しない一方で、前記刺激制御設定部により自ユーザに刺激を与える旨の設定がされている場合に、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信することを特徴とするものである。
【0021】
また、請求項12に係る発明は、コンピュータに、請求項1から11の何れか1項に記載の会議端末装置における各手段として機能させるためのプログラムとした。
【0022】
また、請求項13に係る発明は、映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信して行う通信会議を支援する通信会議支援方法であって、自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得するステップと、取得された前記自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行うステップと、前記判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信するステップと、通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信するステップと、受信した前記他ユーザの会議への集中度を示す情報に応じた表示を行うステップと、を有するものである。
【0023】
また、請求項14に係る発明は、映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおいて、前記前記会議端末装置の各々は、自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とするものである。
【0024】
また、請求項15に係る発明は、複数の会議端末装置とネットワークを介して接続され、前記会議端末装置間での会議を管理するサーバ装置において、前記複数の会議端末装置の各ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、前記動作情報取得手段で取得されたユーザの頭部の動作情報に基づいて、該ユーザの会議への集中度の判定を行う集中度判定手段と、前記集中度判定手段により行われた判定の結果に基づく集中度を示す情報を前記複数の会議端末装置に送信する送信手段と、を備えたことを特徴とするものである。
【発明の効果】
【0025】
本発明によれば、動作検出部が自ユーザの頭部の動作を検出し、この動作検出部により検出された動作情報に基づいて集中度判定手段が自ユーザの会議への集中度を判定し、送信手段がこの集中度判定手段による判定結果(集中度を示す情報)を通信相手の会議端末装置に対して送信する。一方、受信手段が通信相手の会議端末装置により送信された当該会議端末装置のユーザである他ユーザの集中度を示す情報を受信し、表示制御手段が受信した他ユーザの集中度を示す情報に基づいて表示制御する。
【0026】
これにより、自ユーザは、通信相手である他ユーザの集中度を把握し、他ユーザの集中度に応じて会議の進め方を変更することができるため、円滑な通信会議が可能となる。
【0027】
特に、動作検出部をユーザの頭部に装着するようにしたので、ユーザの頭部の動きを直接検出することができる。これにより、ユーザの頭部の動作を高精度に検出することができる。
【発明を実施するための最良の形態】
【0028】
以下、本発明の第1の実施形態を図面に基づいて説明する。
【0029】
[第1の実施形態]
[会議システム1の概要]
まず始めに、図1を参照して、本発明の第1の実施形態に係る会議システムの概要について説明する。図1は、本発明の第1の実施形態に係る会議システムの概略構成を示す図である。
【0030】
図1に示すように、第1の実施形態に係る会議システム1は、遠隔に配置された会議端末装置間でテレビ会議等の通信会議を行うものであり、複数の会議端末装置100a〜100dがネットワークに接続されることにより構成されている。なお、本実施形態では、会議システム1は4台の会議端末装置100a〜100dにより構成されているが、これに限定されるものではない。また、以下においては、会議端末装置100a〜100dのうち任意の会議端末装置を示すときには、「会議端末装置100」とする。
【0031】
以上のように構成される会議システム1では、会議端末装置100a〜100d間で、映像及び音声をやりとりすることでテレビ会議の通信会議が行われる。なお、この会議システム1では、会議端末装置100a〜100d間で、映像のやりとりをせず、音声をやりとりすることで音声会議の通信会議を行うこともできる。
【0032】
[会議端末装置の概要]
次に、第1の実施形態に係る会議システム1の主要部である会議端末装置100の概要について説明する。図2は、第1の実施形態に係る会議端末装置100の概略構成を示す図である。
【0033】
図2に示すように、会議端末装置100は、動作検出部、脈拍計測部、動作情報取得手段、脈拍情報取得手段、集中度判定手段、送信手段、受信手段、表示制御手段、表示部及び撮像部を備えている。
【0034】
動作検出部は、自装置のユーザ(以下、「自ユーザ」という。)の頭部に装着されており、自ユーザの頭部の動作を検出する。動作検出部として、例えば、加速度センサ、速度センサなどを用いることができる。また、動作検出部の装着は、例えば、動作検出部を内蔵したヘッドセットタイプの頭部装着具を用いることができる。
【0035】
動作情報取得手段は、動作検出部により検出された自ユーザの頭部の動作に関する動作情報を取得する。例えば、動作検出部が加速度センサであれば、加速度情報を動作情報として取得し、動作検出部が速度センサであれば、速度情報を動作情報として取得する。なお、動作検出部と動作情報取得手段との間の接続は、通信ケーブルなどで行うことができるが、無線による接続であってもよい。
【0036】
脈拍計測部は、自ユーザの手首に装着されており、自ユーザの脈拍を計測する。脈拍計測部は、脈拍計と、この脈拍計を自ユーザの手首に装着するための装着具とから構成される。
【0037】
脈拍情報取得手段は、脈拍計測部により計測された脈拍に関する脈拍情報を取得する。例えば、脈拍情報として1分当たりの脈拍数を順次脈拍計測部から取得する。なお、脈拍計測部と脈拍情報取得手段との間の接続は、通信ケーブルなどで行うことができるが、無線による接続であってもよい。
【0038】
集中度判定手段は、動作情報取得手段により取得した動作情報と、脈拍情報取得手段により取得した脈拍情報とに基づいて自ユーザの会議への集中度の判定を行う。例えば、集中度判定手段は、動作情報取得手段により取得した動作情報に基づいて頭部の上下方向のふれ幅を算出すると共に、所定期間における頭部の上下動の回数を検出し、また、脈拍計測部により計測した脈拍と基準脈拍との差を算出して、これらの情報に基づいて自ユーザの集中度を判定する。
【0039】
集中度判定手段は、例えば、自ユーザが集中状態であるとき集中度が高いと判定し、自ユーザが睡眠状態であるとき集中度が低いと判定し、それ以外のときに集中度が中程度であると判定する。
【0040】
送信手段は、集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報(以下、「集中度情報」という。)を通信相手の会議端末装置100に対して送信する。また、この送信手段は、撮像部から出力される映像データをネットワークを介して通信相手の会議端末装置100へ送信する映像データ送信手段としても機能する。
【0041】
受信手段は、通信相手の会議端末装置により送信されたこの通信相手の会議端末装置100のユーザ(以下、「他ユーザ」という。)の集中度情報を受信する。また、この受信手段は、通信相手の会議端末装置100から送信される映像データを受信する映像データ受信手段としても機能する。
【0042】
表示制御手段は、表示部を制御することで、受信手段により受信した他ユーザの集中度情報に応じた表示を行う。例えば、表示制御手段は、集中度が所定以上の他ユーザの会議端末装置100から送信される映像データに応じた画像に関連付けて、他ユーザが集中状態である旨を示す画像を表示部に表示させる。また、表示制御手段は、集中度が所定以上の他ユーザの会議端末装置100から送信される映像データに応じた画像を、他の通信相手の会議端末装置100から送信される映像データに応じた画像よりも大きなサイズで表示部に表示させる。
【0043】
上記した会議システム1の会議端末装置100によれば、動作検出部が検出した自ユーザの動作情報に基づいて集中度判定手段が自ユーザの集中度を判定し、送信手段が自ユーザの集中度情報を他ユーザに対して送信する一方、受信手段が他ユーザの集中度情報を受信し、表示制御手段が受信した他ユーザの集中度情報に基づいて表示制御するようにしたので、自ユーザは他ユーザの会議への集中度を把握することができる。また、動作検出部を自ユーザの頭部に装着するようにしたので、高精度に自ユーザの頭部の動作を検出することができ、信頼性の高い集中度の判定を行うことができる。
【0044】
このように自ユーザは他ユーザの会議への集中度を把握することができるため、例えば、自ユーザが発言者であるときに他ユーザの集中度が高ければ自ユーザはそれを把握して気分よく発言を行うことできる。また、ある通信相手の会議端末装置100のユーザの集中度が高いと判定され、別の通信相手の会議端末装置100のユーザの集中度が低いと判定された場合には、自ユーザは、上記集中度が高い他ユーザに対して話しかけて会話をすることで、その会話により会議に上記集中度が低い他ユーザの興味を引かせることができ、その結果、上記集中度が低いユーザの集中度をアップさせることが可能となり、自ユーザは気分よく会議を行うことができる。
【0045】
[会議端末装置の具体的な構成]
次に、第1の実施形態に係る会議端末装置100について、具体的な一例を示して詳細に説明する。図3は、第1の実施形態に係る会議端末装置の具体的な構成を示すブロック図である。なお、会議端末装置100は、図1における各拠点に配置された会議端末装置100と同等のものであり、適宜、会議端末装置100a〜100dとして区別し、その場合には、会議端末装置100aを発言者側の会議端末装置、会議端末装置100b〜100dを視聴者側の会議端末装置とする。
【0046】
図3に示すように、会議端末装置100は、装置本体部110、ヘッドセット120、脈拍計130、撮像部140及び表示部150により構成されている。なお、自ユーザの数に応じて、1又は複数のヘッドセット120及び脈拍計130が装置本体部110に接続されるようになっている。
【0047】
[装置本体部110の構成]
装置本体部110は、汎用コンピュータを適用可能であり、CPU111、記憶部112、通信IF113、操作部114及び図示しない画像データ入力部を備えるコンピュータ装置である。これらの各種構成要素はシステムバス115によって接続されている。また、CPU111は、記憶部112とともに制御部116を構成する。
【0048】
記憶部112は、会議制御プログラム、ユーザデータとしてユーザ名やユーザの基準脈拍等、及び会議に関する各種フラグ等の設定データを記憶する。また記憶部112には、更に第1及び第2の判定テーブル(図14,15参照)や会議中における自ユーザ頭部の動作に関する情報(後述するふれ幅や上下動の回数等)を記憶する記憶領域(図示せず)が設けられている。
【0049】
CPU111は、記憶部112に記憶された会議制御プログラムに従い、会議端末装置100のコンピュータとしての基本的な制御を行う。これにより、制御部116は、表示部150の制御等を行う表示制御手段、自ユーザに対し刺激制御を行う刺激制御手段、自ユーザの集中度を判定する集中度判定手段、自ユーザによる発言が行われているか否かを判定する発言判定手段、加速度計123から動作情報を取得する動作情報取得手段、脈拍計130から脈拍情報を取得する脈拍情報取得手段として機能することになる。
【0050】
なお、会議制御プログラムは、例えば、インターネットに接続されたサーバ等から記憶部112にダウンロードされるようにしてもよく、又CD−ROM等の記録媒体に記録されてから当該記録媒体のドライブを介して、記憶部112に読み込まれるようにしてもよい。
【0051】
通信IF113は、例えば、NIC(Network Interface Card)であり、ルータを介してネットワークに接続されている。この通信IF113は、通信相手の会議端末装置100に対して、自ユーザに関する通信データとして、自ユーザを撮像した映像データ、自ユーザの音声を集音した音声データ及び自ユーザの集中度情報等を送信する。また、通信IF113は、通信相手の会議端末装置100により送信された他ユーザに関する通信データとして、他ユーザを撮像した映像データ、他ユーザの音声を集音した音声データ及び他ユーザの集中度情報等を受信する。なお、通信IF113は、制御部116と共に送信手段及び受信手段として機能する。
【0052】
操作部114は、集中度通知有無入力部117、刺激制御設定部118、図示しないマウス及びキーボードにより構成されている。集中度通知有無入力部117は、通信相手の会議端末装置100に対して、自ユーザの集中度情報を送信するか否かの入力を、自ユーザから受け付ける入力ボタンである。また、刺激制御設定部118は、睡眠状態の自ユーザに対して覚醒制御や退室制御等の刺激制御を行うか否かの設定を受け付ける設定ボタンである。
【0053】
[ヘッドセット120及び脈拍計130の構成]
ヘッドセット120は、図4に示すように、自ユーザの頭部に装着され、通信相手である他ユーザと音声通話を行うものであり、音声通話のための機能以外にも自ユーザの頭部の動作を検出する機能を有している。このヘッドセット120は、マイク121と、スピーカ122と、ヘッドセット120にかかる加速度を検出する加速度計123とを備えている。
【0054】
加速度計123は、図5に示すように、自ユーザの頭部が上下方向に動作するとき、この頭部の上下動の加速度を検出するものである。なお、本実施形態では加速度計123をヘッドセット120と一体に設けるようにしたが、これには限定されず、例えば、自ユーザの顎等に固定するようにして設けてもよい。
【0055】
脈拍計130は、自ユーザの脈拍を計測するものである。この脈拍計130はリストバンド等に固定され、自ユーザはこのリストバンドを手首に巻回することで脈拍計130を手首に装着できるようになっている。
【0056】
[撮像部140及び表示部150の構成]
撮像部140は、例えば、撮像を行うと共に映像データを出力するCCDカメラである。この撮像部140は会議に参加している自ユーザを撮像し、その結果得られる自ユーザの映像データを、通信IF113等を介して通信相手の会議端末装置100に対して送信できるようになっている。
【0057】
表示部150は、LCD(liquid crystal display)等のモニタである。表示部150には、図6に示すように、画像データ入力部から入力された会議で使用する発表資料等(図6(a)参照)または通信相手の会議端末装置100により送信された映像データに基づく他ユーザの映像(図6(b)参照)が表示される。なお、設定により、発表資料等または他ユーザの映像を固定して表示したり、自ユーザの発言状況により順次これらの画面を切り替えて表示したりすることができる。
【0058】
他ユーザの映像を表示する表示画面は、メイン表示領域とサブ表示領域とにより構成されている。メイン表示領域は、表示部150の表示画面における主表示領域であり、図6(b)に示すような他ユーザの映像等を表示するようになっている。またサブ表示領域は、表示部150の表示画面における副表示領域であり、図7に示すように、会議に参加している会議端末装置100のうち何れの装置であるかを表示する端末装置表示領域と、他ユーザの集中度情報に応じた表示を行う集中度表示領域とを有している。なお、自装置に対応する集中度表示領域は、自ユーザの集中度情報に応じた表示を行うにしてもよいが、ここでは、自ユーザが発言者であるか否かを表示することとしている。なお、サブ表示領域は、自ユーザの設定操作により表示しないこともできる。
【0059】
集中度表示領域への他ユーザの集中度情報に応じた表示は、図7(a)に示すように、所定の状態を示すアイコンを表示することにより行われる。本実施形態では、会議端末装置100bのユーザが通常状態、会議端末装置100cのユーザが集中状態及び会議端末装置100dのユーザが睡眠状態であることを表示している。なお、会議端末装置100aが発言者であることを表示している。また、各会議端末装置100にそれぞれ複数のユーザがいるときは、ユーザの人数に応じた数のアイコンを表示することができる。また、状態表示部分の表示は、図7(a)に示すアイコンによる表示には限定されず、例えば図7(b)に示す文字による表示や所定の状態を表す色による表示でもよい。ユーザの状態を色で表す場合には、例えば、ユーザが集中状態であることを赤系の色で表示し、ユーザが睡眠状態であることを青系の色で表示する。
【0060】
以上が第1の実施形態に係る会議システム1及び会議端末装置100の構成の説明となる。
【0061】
[制御処理]
第1の実施形態に係る会議システムにおける会議端末装置100のCPU111が記憶部112に記憶されている各種プログラムを読み出して行う制御処理について、図8〜14を参照して説明する。
【0062】
[メイン処理]
会議端末装置100では、電源がオンされてからオフされるまでの間、図8に示すメイン処理を実行する。
【0063】
このメイン処理では、まずCPU111は、ユーザデータの登録や会議の設定等を行う入力処理を実行する(ステップS1)。なお、この入力処理の詳細については図9を参照して後述する。
【0064】
次に、CPU111は、加速度計123及び脈拍計130を制御して、自ユーザの動作情報として自ユーザの頭部の上下動の加速度を検出させ、自ユーザの脈拍を計測させる(ステップS2)。なお、自ユーザの頭部の動きとして、本実施形態では上下方向の動きに着目することとしており、加速度の検出も自ユーザの頭部の上下方向の動きに対するものとしているが、自ユーザの頭部の左右方向の動きに対する加速度を検出するようにしてもよい。また、脈拍の計測は単位時間当たりの平均値を計測しており、単位時間としては、例えば、1分間である。
【0065】
次に、CPU111は、加速度計123及び脈拍計130から自ユーザの動作情報(自ユーザの頭部が上下方向に動くときの加速度)及び自ユーザの脈拍を取得する(ステップS3)。そして、CPU111は、取得した動作情報に基づいて、自ユーザの頭部の上下方向のふれ幅や頭部の上下動の回数等を算出し、これらを自ユーザ頭部の動作に関する情報として記憶部112に記憶する。なお、本実施形態では、頭部の上下動の加速度を検出するようにしたが、これには限定されず、例えば速度計を用いて頭部が動くときの速度を検出し、この検出した速度に基づいて上記ふれ幅や回数等を算出するようにしてもよい。
【0066】
次に、CPU111は、加速度計123から取得した動作情報や脈拍計130から取得した脈拍情報に基づいて自ユーザの会議への集中度を判定する集中度判定処理を実行する(ステップS4)。なお、この集中度判定処理の詳細については図10を参照して後述する。
【0067】
次に、CPU111は、所定の場合に、通信IF113を制御し、通信相手の会議端末装置100に対して、自ユーザの集中度情報を送信することで、自ユーザの集中度を通知する集中度通知処理を実行する(ステップS5)。なお、この集中度通知処理の詳細については図11を参照して後述する。
【0068】
次に、CPU111は、上記集中度判定処理の結果に基づいて、自ユーザに対して覚醒を促す覚醒制御や自ユーザを会議から退室させる退室制御を行う刺激制御処理を実行する(ステップS6)。なお、この刺激制御処理の詳細については図12を参照して後述する。
【0069】
次に、CPU111は、通信相手の会議端末装置100により送信された他ユーザの集中度情報等を受信したか否かを判定することで、他ユーザの集中度の通知を受けたか否かを判定する(ステップS7)。そして、CPU111は、他ユーザの集中度の通知を受けたと判定する(ステップS7:Yes)と、ステップS8に処理を移行し、他ユーザの集中度の通知を受けていないと判定すると(ステップS7:No)、ステップS2に処理を戻す。
【0070】
ステップS8において、CPU111は、表示部150を制御して他ユーザの集中度に応じた表示を行う集中度情報受信時処理を実行し、ステップS2に処理を戻す。なお、この集中度情報受信処理の詳細については図13を参照して後述する。
【0071】
以上が、CPU111が行うメイン処理の説明になる。次に、上記メイン処理のステップS2における「入力処理」について、図9を参照して詳細に説明する。
【0072】
[入力処理]
メイン処理のステップS1における入力処理を起動すると、まずCPU111は、表示部150を制御し、会議の設定の手順を説明する画面を表示する(ステップS9)。すなわち、表示部150には、自ユーザに対してヘッドセット120や脈拍計130の装着を要求するメッセージやユーザ名の入力を要求するメッセージが表示され、その他にも、会議設定に関する操作手順等が表示される。
【0073】
そして、脈拍計130を装着すると、脈拍計130により自ユーザの集中度を判定するときの基準となる脈拍(以下、「基準脈拍」という。)が算出される。すなわち、脈拍の所定期間における平均値を算出し、この算出した値に所定の値を足し引きして求められた値の範囲が基準脈拍となる。例えば、脈拍の5分平均を算出した値が65拍/分であり、所定の値が5拍/分である場合には、基準脈拍は60拍/分から70拍/分の間の範囲となる。
【0074】
次に、CPU111は、ユーザ名の入力を受け付けると(ステップS10)、続いて、記憶部112に記憶されたユーザデータを参照し、当該入力されたユーザ名の照会を行う(ステップS11)。
【0075】
次に、CPU111は、ステップS11で行ったユーザ名の照会結果に基づいて、ステップS10で入力されたユーザ名に対応するユーザデータが登録済であるか否かを判定する(ステップS12)。そして、CPU111は、ユーザデータが登録済であると判定すると(ステップS12:Yes)、ステップS14に処理を移行し、ユーザデータが未登録であると判定すると(ステップS12:No)、ステップS13に処理を移行する。
【0076】
ステップS13において、CPU111は、新たなユーザデータを登録する。すなわち、CPU111は、記憶部112に、新たなユーザデータとしてユーザ名やステップS9において計測された基準脈拍等を記憶する。この処理が終了すると、ステップS14に処理を移行する。
【0077】
ステップS14において、CPU111は、登録されたユーザデータを、会議で使用するユーザデータとして設定する。このとき、会議で使用するユーザデータとして、登録されたユーザデータの中から、ステップS10で入力されたユーザ名に対応するユーザデータが設定される。なお、ステップS12でユーザデータが登録済であると判定された場合であっても、所定の操作により新たなユーザデータを登録し、その新たなユーザデータを会議で使用するユーザデータとして設定することもできるようになっている。
【0078】
次に、CPU111は、自ユーザの集中度を通信相手である他ユーザに通知するか否かを選択する集中度通知有無入力部117への操作を促す画面を表示部150に表示し、自ユーザに集中度通知有無入力部117を操作させる。CPU111は、自ユーザによる集中度通知有無入力部117の操作に基づき、自ユーザの集中度を通知するか否かを判定する(ステップS15)。
【0079】
そして、CPU111は、自ユーザによる集中度通知有無入力部117への操作が自ユーザの集中度を通知する旨の操作であると(ステップS15:Yes)、ステップS16に処理を移行し、自ユーザによる集中度通知有無入力部117の操作が自ユーザの集中度を通知しない旨の操作であると(ステップS15:No)、ステップS17に処理を移行する。
【0080】
ステップS16において、CPU111は、他ユーザに対して自ユーザの集中度を通知する設定を行う集中度通知設定処理を実行する。すなわち、CPU111は、記憶部112に記憶されていた集中度通知フラグの設定値を「0」から「1」へ変更する。なお、集中度通知設定処理を実行しない場合には、記憶部112に記憶される集中度通知フラグの設定値は「0」のままとなる。この処理が終了すると、ステップS17に処理を移行する。
【0081】
ステップS17において、CPU111は、会議中に自ユーザが睡眠状態であるときに自ユーザに対して覚醒を促す覚醒制御をするか否かを選択する刺激制御設定部118の操作を促す画面を表示部150に表示し、自ユーザに刺激制御設定部118を操作させる。CPU111は、自ユーザによる刺激制御設定部118の操作に基づき、自ユーザの覚醒制御を行うか否かを判定する。そして、自ユーザによる刺激制御設定部118への操作が自ユーザの覚醒制御を行う旨の操作であると(ステップS17:Yes)、CPU111は、ステップS18に処理を移行する。
【0082】
ステップS18において、CPU111は、自ユーザに対して覚醒を促す制御の設定を行う覚醒制御設定処理を実行する。すなわち、CPU111は、記憶部112に記憶される覚醒制御フラグの設定値を「0」から「1」へ変更する。なお、覚醒制御設定処理を実行しない場合には、記憶部112に記憶される覚醒制御フラグの設定値は「0」のままとなる。この処理が終了すると、CPU111は、ステップS19に処理を移行する。
【0083】
一方、自ユーザによる刺激制御設定部118の操作が自ユーザの覚醒制御を行わない旨の操作であると(ステップS17:No)、CPU111は、ステップS19に処理を移行する。
【0084】
CPU111は、会議中に自ユーザが睡眠状態であるときに自ユーザを会議から退室させる退室制御を行うか否かを選択する操作部114の操作を促す画面を表示部150に表示し、自ユーザに操作部114を操作させる。CPU111は、自ユーザによる操作部114の操作に基づき、自ユーザの退室制御を行うか否かを判定する(ステップS19)。
【0085】
そして、自ユーザによる刺激制御設定部118の操作が自ユーザの退室制御を行う旨の操作であると(ステップS19:Yes)、CPU111は、ステップS20に処理を移行する。一方、自ユーザによる刺激制御設定部118の操作が自ユーザの退室制御を行う旨の操作であると(ステップS19:No)、CPU111は、メイン処理のステップS2に処理を移行する。
【0086】
ステップS20において、CPU111は、睡眠状態である自ユーザを会議から退室させる制御の設定を行う退室制御設定処理を実行する。すなわち、CPU111は、記憶部112に記憶されていた退室制御フラグの設定値を「0」から「1」へ変更する。なお、退室制御設定処理を実行しない場合には、記憶部112に記憶される退室制御フラグの設定値は「0」のままとなる。この処理が終了すると、CPU111は、メイン処理のステップS2に処理を移行する。
【0087】
[集中度判定処理]
次に、メイン処理のステップS4における「集中度判定処理」について、図10を参照して詳細に説明する。
【0088】
メイン処理のステップS1における集中度判定処理を起動すると、まずCPU111は、自ユーザの頭部の動作が、意識が低下して頭部を上下に振る動作(以下、「こっくり」という。)であるか否かを判定する(ステップS21)。「こっくり」であるか否かは、自ユーザの頭部の動作、自ユーザの脈拍及び記憶部112に記憶された第1の判定テーブル(図14参照)に基づいて判定される。すなわち、自ユーザの頭部の上下動のふれ幅W、頭部の上下動の回数n、頭部が上下動するときの周期T及び自ユーザの脈拍Pが第1の判定テーブルに記載された要件を満たすか否かにより判定される。なお、この「こっくり」の判定においては、「こっくり」のパターンに応じて、「こっくり1」と、「こっくり2」とに区別するが、以下の説明では、これらをまとめて「こっくり」として説明する。
【0089】
具体的には、自ユーザの頭部の上下動のふれ幅Wが5cmよりも大きいが12cmより小さく、頭部が上下動するときの周期Tが10秒以上30秒以下で、頭部の上下動の回数nが5回以上であり、かつ、計測した脈拍Pが基準脈拍Pの8割以下である場合に自ユーザの頭部の動作が「こっくり1」であると判定される。また、頭部の上下動のふれ幅Wが12cm以上となり、かつ、計測した脈拍Pが基準脈拍Pの8割以下となる場合に自ユーザの頭部の動作が「こっくり2」であると判定される。なお、自ユーザが複数の場合には、設定により、自ユーザの中の特定のユーザについて判定したり、全ての自ユーザについて判定したりしてもよい。特定のユーザとは、例えば、特定のヘッドセット120を装着したユーザである。
【0090】
そして、CPU111は、自ユーザの頭部の動作が「こっくり」であると判定すると(ステップS21:Yes)、ステップS22に処理を移行し、自ユーザの頭部の動作が「こっくり」でないと判定すると(ステップS21:No)、ステップS23に処理を移行する。
【0091】
なお、上記した「こっくり」であるか否かの判定は、所望の判定精度に応じて様々な変更が可能である。例えば、自ユーザの頭部の動作、自ユーザの脈拍及び頭部の上下動の加速度に基づいて判定を行うことができる。すなわち、第1のテーブルを参照して自ユーザの頭部の動作及び自ユーザの脈拍に基づく判定を行うと共に第2の判定テーブル(図15参照)を参照して頭部の上下動の加速度に基づく判定を行う。具体的には、ふれ幅Wが12cm以上となり、計測した脈拍Pが基準脈拍Pの8割以下となり、加速度αが下方向に10cm/s以上となる場合に自ユーザの頭部の動作が「こっくり2」であると判定する。これによると、「こっくり」であると判定するための判定要件を増やすことができ、判定精度を高めることができる。
【0092】
また、自ユーザの頭部の動作及び自ユーザの脈拍に基づく判定において脈拍に基づく判定を省略することもできる。具体的には、第1のテーブルを参照して頭部の上下動のふれ幅W、頭部の上下動の回数n、頭部が上下動するときの周期T基づく判定を行い、ふれ幅Wが5cmよりも大きいが12cmより小さく、周期Tが10秒以上30秒以下で、回数nが5回以上である場合に「こっくり1」であると判定し、ふれ幅Wが12cm以上となる場合に「こっくり2」であると判定する。この場合には、判定精度は低下する虞が生じるが、判定を簡略化することが可能となる。
【0093】
さらに、自ユーザの頭部の動作、自ユーザの脈拍及び頭部の上下動の加速度の中から頭部の上下動のふれ幅W、頭部の上下動の加速度α及び自ユーザの脈拍Pに基づいた判定を行うこともできる。具体的には、第1のテーブルを参照して頭部の上下動のふれ幅Wと自ユーザの脈拍Pに基づく判定を行うと共に第2の判定テーブルを参照して頭部の上下動の加速度αに基づく判定を行い、ふれ幅Wが12cm以上となり、計測した脈拍Pが基準脈拍Pの8割以下となり、加速度αが下方向に10cm/s以上となる場合に自ユーザの頭部の動作が「こっくり2」であると判定する。
【0094】
ステップS22において、CPU111は、自ユーザが睡眠状態であると設定する睡眠状態設定処理を実行する。すなわち、CPU111は、記憶部112に記憶されていた低集中度フラグの設定値を「0」から「1」へ変更する。なお、睡眠状態設定処理を実行しない場合には、記憶部112に記憶される低集中度フラグの設定値は「0」のままとなる。なお、集中度判定されたユーザが複数の場合には、自ユーザの設定により、集中度判定されたユーザの中の特定のユーザの判定結果に基づいて睡眠状態設定処理を実行したり、集中度判定された全てのユーザの判定結果に基づいて睡眠状態設定処理を実行したりしてよい。例えば、集中度判定された全てのユーザの判定結果に基づいて睡眠状態設定処理を実行する場合には、頭部の動作が「こっくり」であると判定されたユーザ毎に当該ユーザの判定結果に基づいて睡眠状態設定処理を実行する。
【0095】
ステップS23において、CPU111は、自ユーザの頭部の動作が、頭部を上下に振ることによって相手に了解や承諾等の意思表示をする動作(以下、「うなずき」という。)であるか否かを判定する。「うなずき」であるか否かは、自ユーザの頭部の動作、自ユーザの脈拍及び記憶部112に記憶された第1の判定テーブルに基づいて判定される。すなわち、自ユーザの頭部の上下動のふれ幅W、頭部の上下動の回数n、頭部が上下動するときの周期T及び自ユーザの脈拍Pが第1の判定テーブルに記載された要件を満たすか否かにより判定される。
【0096】
具体的には、自ユーザの頭部の上下動のふれ幅Wが2cm以上5cm以下で、頭部が上下動するときの周期Tが1秒以下で、頭部の上下動の回数nが1〜3回であり、かつ、計測した脈拍Pが基準脈拍Pの1.2倍以上である場合に自ユーザの頭部の動作が「うなずき」であると判定される。なお、「こっくり」の判定と同様に、自のユーザが複数の場合には、自ユーザの設定により、自ユーザの中の特定のユーザについて判定したり、全ての自ユーザについて判定したりしてもよい。特定のユーザとは、例えば、特定のヘッドセット120を装着したユーザである。
【0097】
そして、CPU111は、自ユーザの頭部の動作が「うなずき」であると判定すると(ステップS23:Yes)、ステップS24に処理を移行し、自ユーザの頭部の動作が「うなずき」でないと判定すると(ステップS23:No)、メイン処理のステップS5に処理を移行する。
【0098】
なお、上記した「うなずき」であるか否かの判定は、所望の判定精度に応じて様々な変更が可能である。例えば、自ユーザの頭部の動作、自ユーザの脈拍及び頭部の上下動の加速度に基づいて判定を行うことができる。すなわち、第1のテーブルを参照して自ユーザの頭部の動作及び自ユーザの脈拍に基づく判定を行うと共に第2の判定テーブルを参照して頭部の上下動の加速度に基づく判定を行う。具体的には、ふれ幅Wが2cm以上5cm以下となり、計測した脈拍Pが基準脈拍Pの1.2倍以上となり、加速度αが上下方向に8cm/s以下となる場合に自ユーザの頭部の動作が「うなずき」であると判定する。これによると、「うなずき」であると判定するための判定要件を増やすことができ、判定精度を高めることができる。
【0099】
また、自ユーザの頭部の動作及び自ユーザの脈拍に基づく判定において脈拍に基づく判定を省略することもできる。具体的には、第1のテーブルを参照して頭部の上下動のふれ幅W、頭部の上下動の回数n、頭部が上下動するときの周期T基づく判定を行い、ふれ幅Wが2cm以上5cm以下となり、周期Tが1秒以下で、回数nが1〜3回である場合に「うなずき」であると判定する。この場合には、判定精度は低下する虞が生じるが、判定を簡略化することが可能となる。
【0100】
さらに、自ユーザの頭部の動作、自ユーザの脈拍及び頭部の上下動の加速度の中から頭部の上下動のふれ幅W、頭部の上下動の加速度α及び自ユーザの脈拍Pに基づいた判定を行うこともできる。具体的には、第1のテーブルを参照して頭部の上下動のふれ幅Wと自ユーザの脈拍Pに基づく判定を行うと共に第2の判定テーブルを参照して頭部の上下動の加速度αに基づく判定を行い、ふれ幅Wが2cm以上5cm以下となり、計測した脈拍Pが基準脈拍Pの1.2倍以上となり、加速度αが上下方向に8cm/s以下となる場合に自ユーザの頭部の動作が「うなずき」であると判定する。
【0101】
ステップS24において、CPU111は、自ユーザの集中状態であると設定する集中状態設定処理を実行する。すなわち、CPU111は、記憶部112に記憶されていた高集中度フラグの設定値を「0」から「1」へ変更する。このとき、記憶部112に記憶される自ユーザの頭部の動作に関する情報に基づいて、最後に「うなずき」を検知したときから所定期間前までの頭部の上下動の平均回数が算出され、この算出された頭部の上下動の平均回数の情報が記憶部112に記憶される。所定期間前とは、例えば、30秒である。なお、集中状態設定処理を行わない場合には、記憶部112に記憶される高集中度フラグの設定値は「0」のままとなる。集中度判定されたユーザが複数の場合には、自ユーザの設定により、集中度判定されたユーザの中の特定のユーザの判定結果に基づいて集中状態設定処理を実行したり、集中度判定された全てのユーザの判定結果に基づいて集中状態設定処理を実行したりしてよい。例えば、集中度を判定された全てのユーザの判定結果に基づいて集中状態設定処理を実行する場合には、頭部の動作が「うなずき」である判定されたユーザ毎に当該ユーザの判定結果に基づいて集中状態設定処理を実行する。この処理が終了すると、メイン処理のステップS5に処理を移行する。
【0102】
次に、メイン処理のステップS5における「集中度通知処理」について、図11を参照して詳細に説明する。
【0103】
[集中度通知処理]
メイン処理のステップS5における集中度通知処理を起動すると、まずCPU111は、集中度通知設定されているか否かを判定する(ステップS25)。すなわち、CPU111は、記憶部112に記憶される集中度通知フラグを参照し、集中度通知フラグの設定値が「1」のときに集中度通知を行うと判定し、集中度通知フラグの設定値が「0」のときに集中度通知を行わないと判定する。そして、CPU111は、集中度通知設定されていると判定すると(ステップS25:Yes)、ステップS26に処理を移行し、集中度通知設定されていないと判定すると(ステップS25:No)、メイン処理のステップS6に処理を移行する。なお、自ユーザが複数の場合には、全ての自ユーザそれぞれについて集中度通知設定されているか否かを判定する。
【0104】
ステップS26において、CPU111は、睡眠状態設定がされているか否かを判定する。すなわち、CPU111は、記憶部112に記憶される低集中度フラグを参照し、低集中度フラグの設定値が「1」のとき睡眠状態設定がされていると判定し、低集中度フラグの設定値が「0」のとき睡眠状態設定されていないと判定する。CPU111は、睡眠状態設定がされていると判定すると(ステップS26:Yes)、ステップS27に処理を移行し、睡眠状態設定されていないと判定すると(ステップS26:No)、ステップS28に処理を移行する。なお、自ユーザが複数の場合には、全ての自ユーザそれぞれについて睡眠状態設定されているか否かを判定する。
【0105】
ステップS27において、CPU111は、他ユーザに対して、自ユーザが睡眠状態であることを通知する睡眠状態通知処理を行う。具体的には、CPU111は、通信IF113を制御し、通信相手の会議端末装置100に対して、自ユーザが睡眠状態であることを示す集中度情報を送信する。すなわち、通信相手の会議端末装置100に対して、低集中度フラグ「1」が付された集中度情報が送信される。このとき、記憶部112に記憶される低集中度フラグの設定値が「1」から「0」に変更される。この処理が終了すると、メイン処理のステップS6に処理を移行する。なお、自ユーザが複数の場合には、睡眠状態設定された全ての自ユーザそれぞれについて睡眠状態通知処理を行う。
【0106】
ステップS28において、CPU111は、集中状態設定がされているか否かを判定する。すなわち、CPU111は、記憶部112に記憶される高集中度フラグを参照し、高集中度フラグの設定値が「1」のとき自ユーザが集中状態であると判定し、高集中度フラグの設定値が「0」のとき自ユーザが集中状態でないと判定する。そして、CPU111は、自ユーザが集中状態であると判定すると(ステップS28:Yes)、ステップS29に処理を移行し、自ユーザが集中状態でないと判定すると(ステップS28:No)、メイン処理のステップS6に処理を移行する。なお、自ユーザが複数の場合には、全ての自ユーザそれぞれについて集中状態設定されているか否かを判定する。
【0107】
ステップS29において、CPU111は、他ユーザに対して、自ユーザが集中状態であることを通知する。具体的には、CPU111は、通信IF113を制御し、通信相手の会議端末装置100に対して、自ユーザが集中状態であることを示す集中度情報と頭部の上下動の平均回数の情報とを送信する。すなわち、通信相手の会議端末装置100に対して、高集中度フラグ「1」が付された集中度情報が送信される。このとき、記憶部112に記憶される高集中度フラグの設定値が「1」から「0」に変更され、記憶部112に記憶される頭部の上下動の平均回数の情報が消去される。この処理が終了すると、メイン処理のステップS6に処理を移行する。なお、自ユーザが複数の場合には、集中状態設定された全ての自ユーザそれぞれについて集中状態通知処理を行う。
【0108】
次に、メイン処理のステップS6における「刺激制御処理」について、図12を参照して詳細に説明する。
【0109】
[刺激制御処理]
メイン処理のステップS6における刺激制御処理を起動すると、まずCPU111は、睡眠状態設定がされているか否かを判定する(ステップS30)。すなわち、CPU111は、上記したステップS26の処理と同様に、記憶部112に記憶される低集中度フラグを参照し、低集中度フラグの設定値が「1」のとき睡眠状態設定がされていると判定し、低集中度フラグの設定値が「0」のとき睡眠状態設定されていないと判定する。そして、CPU111は、睡眠状態設定がされていると判定すると(ステップS30:Yes)、ステップS31に処理を移行し、睡眠状態設定されていないと判定すると(ステップS30:No)、メイン処理のステップS7に処理を移行する。なお、自ユーザが複数の場合には、全ての自ユーザそれぞれについて低集中度フラグを参照し、低集中度フラグの設定値が「1」に設定されたユーザが所定(例えば、6割)以上であるときに睡眠状態設定されていると判定する。
【0110】
ステップS31において、CPU111は、覚醒制御設定されているか否かを判定する。覚醒制御設定されているか否かは、記憶部112に記憶される覚醒制御フラグを参照することで判定され、覚醒制御フラグの設定値が「1」のとき覚醒制御設定されていると判定され、覚醒制御フラグの設定値が「0」のとき覚醒制御設定されていないと判定される。そして、CPU111は、覚醒制御設定されていると判定すると(ステップS31:Yes)、ステップS32に処理を移行し、覚醒制御設定されていないと判定すると(ステップS31:No)、ステップS33に処理を移行する。
【0111】
ステップS32において、CPU111は、自ユーザに対して覚醒を促す覚醒制御を行う覚醒制御処理を実行する。すなわち、CPU111は、表示部150を制御し、表示画面を明滅したり、図16に示すような覚醒を促す画面(例えば、点滅表示)を表示する一方、ヘッドセット120のスピーカ122を制御し、スピーカ122の出力を大きくしたり、覚醒を促すメッセージを出力し、メイン処理のステップS7に処理を移行するする。これにより、睡眠状態である自ユーザを覚醒させることができ、自ユーザを会議へ復帰することができるため、円滑な通信会議を行うことができる。
【0112】
ステップS33において、CPU111は、退室制御設定されているか否か判定する。退室制御設定されているか否かは、記憶部112に記憶される退室制御フラグを参照することで判定され、退室制御フラグの設定値が「1」のとき退室制御設定されていると判定され、退室制御フラグの設定値が「0」のとき退室制御設定されていないと判定される。そして、CPU111は、退室制御設定されていると判定すると(ステップS33:Yes)、ステップS34に処理を移行し、退室制御設定されていないと判定すると(ステップS33:No)、メイン処理のステップS6に処理を移行する。
【0113】
ステップS34において、CPU111は、自ユーザを会議から退室させる退室制御処理を実行する。すなわち、CPU111は、表示部150を制御して表示部150に表示されている画像等を非表示にすると共に、ヘッドセット120のスピーカ122を制御してスピーカの出力を小さくし、メイン処理のステップS6に処理を移行する。
【0114】
次に、メイン処理のステップS8における「集中度情報受信時処理」について、図13を参照して詳細に説明する。なお、本実施形態に係る表示部の表示モードは、常時、発表資料または他ユーザの映像を表示する一般的なモードとは異なる、自ユーザの発言量に応じて発表資料と他ユーザの映像とを順次切り替えて表示するプレゼンテーションモードとして説明する。
【0115】
[集中度情報受信時処理]
メイン処理のステップS8における集中度情報受信時処理を起動すると、まずCPU111は、自ユーザによる発言が行われているか否かを判定する(ステップS35)。自ユーザによる発言が行われているか否かは、ヘッドセット120のマイク121が所定以上の期間、自ユーザの音声を集音したか否かにより判定される。例えば、ヘッドセット120のマイク121が10秒以上の期間、自ユーザの音声を集音したときに自ユーザによる発言が行われていると判定される。そして、CPU111は、自ユーザによる発言が行われていると判定すると(ステップS35:Yes)、ステップS36に処理を移行し、自ユーザによる発言が行われていないと判定すると(ステップS35:No)、ステップS37に処理を移行する。
【0116】
ステップS36において、CPU111は、表示部150を制御し、通信相手である他ユーザの映像及び他ユーザの集中度情報に基づく画像を表示させる。すなわち、CPU111は、表示部150のメイン表示領域を通信相手の会議端末装置100の数に応じて分割し、これらの通信相手の会議端末装置100の数に応じた数の分割表示領域を形成し、この分割表示領域に他ユーザの映像を表示させる。また、CPU111は、表示部150のサブ表示領域に他ユーザの集中度情報に基づく画像を表示させる。
【0117】
例えば、図1に示すように、4つの会議端末装置100a〜100dにより通信会議を行う場合には、図6(b)に示すように、会議端末装置100aのCPU111は、自装置の表示部150を制御し、メイン表示領域を縦横2列に4分割し、4つの分割表示領域を形成する。そして、CPU111は、右下の分割表示領域に会議端末装置100bのユーザの映像を表示させ、左上の分割表示領域に会議端末装置100cのユーザの映像を表示させ、左下の分割表示領域に会議端末装置100dのユーザの映像を表示させる。
【0118】
また、CPU111は、サブ表示領域に他ユーザの集中度を示すアイコンを表示させる。このとき、表示部の表示画面には、受信した集中度情報が集中状態設定されたものであれば図7(a)の「c」に示すアイコンが表示され、受信した集中度情報が睡眠状態設定されたものであれば図7(b)の「d」に示すアイコンが表示され、集中度情報を受信していないときには図7(a)の「b」に示すアイコンが表示される。ユーザが複数存在する通信相手の会議端末装置の場合には、その全てのユーザそれぞれについて集中度情報が通知されることから、集中状態設定がされた集中度情報を所定数以上受信したとき、「c」に示すアイコンを表示し、集中状態設定がされた睡眠状態設定を所定数以上受信したとき、「d」に示すアイコンを表示し、それ以外のときに「b」に示すアイコンを表示する。なお、自ユーザの設定操作により、サブ表示領域を表示しないこともできる。また、ユーザが複数存在する通信相手の会議端末装置の場合には、その全てのユーザそれぞれについて集中度情報に応じたアイコンを表示することができる。このようにすることで、通信相手の会議端末装置の全てのユーザの集中度を個別具体的に把握することができる。
【0119】
このように、自ユーザが発言を行っているとき、自装置の表示部150に通信相手である他ユーザの映像を表示するようにしたので、自ユーザは他ユーザの様子を見ながら発表等の発言を行うことができ、円滑な通信会議を行うことができる。この処理が終了すると、ステップS38に処理を移行する。
【0120】
ステップS37において、CPU111は、表示部150を制御し、図6に示すような会議で使用する発表資料等を表示し、メイン処理のステップS2に処理を移行する。
【0121】
ステップS38において、CPU111は、関連表示を行うか否かを判定する。関連表示を行うか否かは、記憶部112に記憶していた、関連表示を行うか否かの判定用の関連表示フラグを参照することにより判定され、関連表示フラグの設定値が「1」のとき関連表示すると判定され、関連表示フラグの設定値が「0」のとき関連表示しないと判定される。なお、記憶部112に関連表示フラグを記憶する処理は、上記したステップS16の集中度設定処理において行っておけばよい。そして、CPU111は、関連表示すると判定すると(ステップS38:Yes)、ステップS39に処理を移行し、関連表示しないと判定すると(ステップS38:No)、ステップS40に処理を移行する。
【0122】
ステップS39において、CPU111は、関連表示処理を実行する。すなわち、他ユーザの映像データに基づく映像と、集中状態である旨の画像とが関連付けて表示される。具体的には、通信相手の会議端末装置100により送信された、通信相手のユーザの頭部の上下動の平均回数の情報を参照し、この平均回数が最も多いユーザの映像に、このユーザが集中状態である旨の画像が関連付けて表示される。例えば、図17に示すように、会議端末装置100cのユーザが集中状態であり、かつ、所定期間における頭部の上下動の回数の平均値(ユーザが複数存在する通信相手の会議端末装置100の場合、各ユーザの平均値を加算し、ユーザ数で除算した値)が最も高い場合には、会議端末装置100cのユーザの映像を表示する領域(図中左上)内に、会議端末装置100cのユーザが集中状態であることを示すアイコンが表示される。これにより、自ユーザは、他ユーザの映像上に表示される他ユーザの集中度情報を見ることができる。また、関連表示させる期間は、設定により任意の期間とすることができる。自ユーザが他ユーザの状態を把握しやすくするためである。
【0123】
また、ユーザが複数存在する通信相手の会議端末装置100の場合には、設定により、該会議端末装置100のユーザの中の特定のユーザの頭部の上下動の回数の平均値に基づき関連表示したり、該会議端末装置100のユーザの全てのユーザの頭部の上下動の回数の平均値に基づいて関連表示したりしてよい。
【0124】
次に、ステップS40において、CPU111は、集中状態を示すユーザの映像を拡大表示するか否かを判定する。拡大表示を行うか否かは、記憶部112に記憶していた、拡大表示を行うか否かの判定用の拡大表示フラグを参照することにより判定され、拡大表示フラグの設定値が「1」のとき拡大表示すると判定され、拡大表示フラグの設定値が「0」のとき拡大表示しないと判定される。なお、記憶部112に拡大表示フラグを記憶する処理は、上記したステップS16の集中度設定処理において行っておけばよい。そして、CPU111は、拡大表示すると判定すると(ステップS40:Yes)、ステップS41に処理を移行し、拡大表示しないと判定すると(ステップS40:No)、メイン処理のステップS2に処理を移行する。
【0125】
ステップS41において、CPU111は、拡大表示処理を実行する。すなわち、集中状態の中でも特に集中度が高いユーザの映像を拡大表示させる。具体的には、通信相手の会議端末装置100により送信された、通信相手のユーザの頭部の上下動の平均値(ユーザが複数存在する通信相手の会議端末装置100の場合、各ユーザの平均値を加算し、ユーザ数で除算した値)の情報を参照し、この平均値が最も多いユーザの映像を他の通信相手のユーザの映像よりも大きなサイズで表示させる。例えば、図18に示すように、会議端末装置100cのユーザが集中状態である場合には、会議端末装置100cのユーザの映像を表示する領域が拡大され、このユーザの映像のサイズが拡大して表示される。これにより、会議端末装置100cのユーザの様子を把握しやすいように表示されることで、自ユーザは集中度の高いユーザの様子を容易に把握することができる。また、関連表示させるときと同様に、拡大表示させる期間は、設定により任意の期間とすることができる。自ユーザが他ユーザの状態を把握しやすくするためである。
【0126】
なお、通信相手の会議端末装置100のユーザが複数の場合には、設定により、該会議端末装置100のユーザの中の特定のユーザの頭部の上下動の回数の平均値に基づき拡大表示したり、該会議端末装置100のユーザの全てのユーザの頭部の上下動の回数の平均値に基づいて拡大表示したりしてよい。
【0127】
なお、会議端末装置100cのユーザの映像を拡大表示するとき、会議端末装置100cのユーザ以外の通信相手の会議端末装置100c,100dのユーザの映像を縮小し、常に全通信相手のユーザの映像を表示するようにしてもよい。
【0128】
以上、本発明の第1の実施形態に係る会議端末装置の構成・処理について説明した。
【0129】
このように本実施形態の会議端末装置100では、加速度計123と、集中度判定手段として機能する制御部116と、通信IF113とを備えるようにしたので、加速度計123により自装置を操作する自ユーザの頭部の上下方向の動き(加速度情報)を検出し、集中度判定手段である制御部116により加速度情報に基づいて自ユーザの集中度を判定し、この判定結果(集中度情報)を通信相手である他ユーザに対し通信IF113により送信することができる。
【0130】
また、本実施形態の会議端末装置100では、表示制御手段として機能する制御部116を備えることから、通信IF113は通信相手である他ユーザから送信されてきた上記集中度情報を受信し、表示制御手段である制御部116は通信IF113が受信した上記集中度情報に基づいてこの集中度情報に応じた表示制御をすることができる。
【0131】
これにより、発言を行っている自ユーザは、通信相手である他ユーザの集中度に応じた発表等を行うことができるため、円滑な通信会議を行うことができる。
【0132】
特に、加速度計123を自ユーザの頭部に装着するようにしたので、直接的・機械的に自ユーザの頭部の上下方向の動きを検出することができるため、検出精度を高精度にすることができる。すなわち、撮像部140などにより自ユーザの頭部を撮像し、この撮像結果を画像解析する場合には、自ユーザの頭部が撮像範囲外になったり、自ユーザの頭部は撮像できるものの自ユーザの頭部の動きが検出できない方向からの撮像となったりして、自ユーザの頭部の動きの検出精度が悪くなる。しかし、本実施形態の会議端末装置100では、直接的・機械的に自ユーザの頭部の上下方向の動きを検出するため、検出精度を高精度にすることができる。
【0133】
また、上記入力処理の覚醒制御設定処理(ステップS17)において予め所定の設定を行っておくことで、CPU111は、自ユーザが睡眠状態であると判定した場合、表示部150及びヘッドセット120のスピーカ122を制御して自ユーザに対し覚醒を促す。これにより、自ユーザの会議への参加意識が低下することが防止される。
【0134】
以上、第1の実施形態を例に挙げて本発明を説明したが、本発明はこの実施形態に限定されず、様々な変形が可能である。
【0135】
また、会議中、一時的に集中度判定処理及び集中度通知処理を行わないように制御する制御ボタンを会議端末装置に設けてもよい。この制御ボタンにより制御することで、各会議端末装置のユーザは、会議の内容とは異なることで「うなずき」等をしても、誤った集中度情報が通知されない。
【0136】
[第2の実施形態]
次に、本発明の第2の実施形態を図面に基づいて説明する。
[会議システム2の概要]
まず始めに、図19を参照して、本発明の第2の実施形態に係る会議システムの概要について説明する。図19は、本発明の第2の実施形態に係る会議システムの概略構成を示す図である。
【0137】
図19に示すように、第2の実施形態に係る会議システム2は、遠隔に配置された会議端末装置間でテレビ会議等の通信会議を行うものであり、複数の会議端末装置200a〜200dがネットワークを介してサーバ装置300に接続されることにより構成されている。なお、本実施形態では、会議システム2は4台の会議端末装置200a〜200dにより構成されているが、これに限定されるものではない。また、以下においては、会議端末装置200a〜200dのうち任意の会議端末装置を示すときには、「会議端末装置200」とする。
【0138】
以上のように構成される会議システム2では、サーバ装置300を介して会議端末装置200a〜200d間で、映像及び音声をやりとりすることでテレビ会議の通信会議が行われる。なお、この会議システム2では、会議端末装置200a〜200d間で、映像のやりとりをせず、音声をやりとりすることで音声会議の通信会議を行うこともできる。
【0139】
次に、第2の実施形態に係る会議システム2の主要部である会議端末装置100およびサーバ装置300の概要について説明する。まず図20を参照して会議端末装置200の概要について説明する。図20は、第2の実施形態に係る会議端末装置200の概略構成を示す図である。
【0140】
[会議端末装置の概要]
図20に示すように、会議端末装置200は、動作検出部、脈拍計測部、送信手段、受信手段、表示部及び撮像部を備えている。なお、動作検出部、脈拍計測部、表示部及び撮像部については、上記第1の実施形態と同様であるため説明を省略する。
【0141】
送信手段は、動作検出部により検出された動作情報及び脈拍計測部により計測された自ユーザの脈拍をサーバ装置300に対して送信する。また、この送信手段は、撮像部から出力される映像データをネットワークを介してサーバ装置300へ送信する映像データ送信手段としても機能する。
【0142】
受信手段は、サーバ装置300により送信された各ユーザの集中度情報を受信する。また、この受信手段は、サーバ装置300から送信される合成映像データを受信する合成映像データ受信手段としても機能する。
【0143】
次に、図21を参照してサーバ装置300の概要について説明する。図21は、第2の実施形態に係るサーバ装置300の概略構成を示す図である。
【0144】
[サーバ装置の概要]
図21に示すように、サーバ装置300は、動作情報取得手段、脈拍情報取得手段、集中度判定手段、映像合成手段、送信手段及び受信手段を備えている。なお、動作情報取得手段、脈拍情報取得手段及び集中度判定手段については、上記第1の実施形態と同様であるため説明を省略する。
【0145】
映像合成手段は、各会議端末装置200の撮像部により出力された映像データを合成すると共に、この合成映像に各ユーザの集中度情報に応じた画像のデータを合成し、各会議端末装置毎の合成映像データを生成する。これにより、会議端末装置200の表示部250のメイン表示領域には通信相手のユーザの映像を合成した合成映像が表示され、サブ表示領域には集中度情報に応じた画像(アイコン)が表示される。また、映像合成手段は、集中度が所定以上のユーザの会議端末装置200から送信される映像データに応じた画像に関連付けて、このユーザが集中状態である旨を示す画像を合成することができる。さらに、映像合成手段は、集中度が所定以上のユーザの会議端末装置200から送信される映像データに応じた画像を、このユーザの会議端末装置200以外の各会議端末装置200から送信される映像データに応じた画像よりも大きなサイズで表示部に表示することもできる。
【0146】
受信手段は、各会議端末装置200により送信された各会議端末装置のユーザ(以下、「各ユーザ」という。)の動作情報及び各ユーザの脈拍情報を受信する。また、この受信手段は、各会議端末装置200から送信される映像データを受信する映像データ受信手段としても機能する。
【0147】
送信手段は、集中度判定手段により行われた判定の結果に基づいて各ユーザの集中度情報を各会議端末装置に対して送信する。また、この送信手段は、合成映像生成手段により生成される合成映像データをネットワークを介して各会議端末装置200へ送信する合成映像データ送信手段としても機能する。
【0148】
上記した会議システム2の会議端末装置200及びサーバ装置300によれば、各会議端末装置200の動作検出部が検出した各ユーザの動作情報に基づいてサーバ装置300の集中度判定手段が各ユーザの集中度を判定し、サーバ装置300の送信手段が各ユーザの集中度情報を各ユーザに対して送信する一方、各会議端末装置200の受信手段が各ユーザの集中度情報を受信し、各会議端末装置200の表示制御手段が受信した各ユーザの集中度情報に基づいて表示制御するようにしたので、各ユーザはそれぞれ通信相手の会議端末装置のユーザの会議への集中度を把握することができる。
【0149】
特に、動作検出部を各ユーザの頭部に装着するようにしたので、高精度に各ユーザの頭部の動作を検出することができ、信頼性の高い集中度の判定を行うことができる。
[会議端末装置の具体的な構成]
次に、第2の実施形態に係る会議端末装置200について、具体的な一例を示して詳細に説明する。図22は、第2の実施形態に係る会議端末装置の具体的な構成を示すブロック図である。なお、会議端末装置200は、図19における各拠点に配置された会議端末装置200と同等のものであり、適宜、会議端末装置200a〜200dとして区別し、その場合には、会議端末装置200aを発言者側の会議端末装置、会議端末装置200b〜200dを視聴者側の会議端末装置とする。
【0150】
図22に示すように、会議端末装置200は、装置本体部210、ヘッドセット220、脈拍計230、撮像部240及び表示部250により構成されている。なお、第1の実施形態の会議端末装置100との相違点は、記憶部212に記憶されるプログラムの種類である。また、ヘッドセット220、脈拍計230、撮像部240及び表示部250については、上記第1の実施形態に係るヘッドセット120、脈拍計130、撮像部140及び表示部150と同様であるため説明を省略する。
【0151】
[装置本体部210の構成]
装置本体部210は、汎用コンピュータを適用可能であり、CPU211、記憶部212、通信IF213、操作部214及び図示しない画像データ入力部を備えるコンピュータ装置である。これらの各種構成要素はシステムバス215によって接続されている。なお、操作部214については、上記第1の実施形態に係る操作部114と同様であるため説明を省略する。
【0152】
記憶部212は、端末装置制御プログラムを記憶している。また、記憶部212には、会議中における自ユーザ頭部の動作に関する情報を記憶する記憶領域(図示せず)が設けられている。CPU211は、記憶部212に記憶された端末装置制御プログラムに従い、会議端末装置100のコンピュータとしての基本的な制御を行う。これにより、制御部216は、刺激制御手段、発言判定手段として機能することになる。
【0153】
なお、端末装置制御プログラムは、例えば、インターネットに接続されたサーバ等から記憶部212にダウンロードされるようにしてもよく、又CD−ROM等の記録媒体に記録されてから当該記録媒体のドライブを介して、記憶部212に読み込まれるようにしてもよい。
【0154】
通信IF213は、上記した通信IF113と同様のものである。この通信IF213は、サーバ装置300に対して、自ユーザに関する通信データとして、自ユーザを撮像した映像データ、自ユーザの音声を集音した音声データ、自ユーザの動作情報及び自ユーザの脈拍等を送信する。また、通信IF213は、サーバ装置300により送信された各ユーザに関する通信データとして、通信相手となるユーザの撮像を合成した合成映像データ、通信相手となるユーザの音声を集音した音声データ及び各ユーザの集中度情報等を受信する。なお、通信IF113は、制御部116と共に送信手段及び受信手段として機能する。
【0155】
以上が第2の実施形態に係る会議端末装置200の具体的な構成の説明となる。続いて、第2の実施形態に係るサーバ装置300の具体的な構成について説明する。
【0156】
[サーバ装置300の具体的な構成]
次に、第2の実施形態に係るサーバ装置300について、具体的な一例を示して詳細に説明する。図23は、第2の実施形態に係るサーバ装置の具体的な構成を示すブロック図である。
【0157】
図23に示すように、サーバ装置300は、汎用コンピュータを適用可能であり、CPU311、記憶部312、通信IF313、操作部314及び図示しない画像データ入力部を備えるコンピュータ装置である。これらの各種構成要素はシステムバス315によって接続されている。なお、操作部314については、上記操作部114と同様であるため説明を省略する。
【0158】
記憶部312は、サーバ装置制御プログラム、ユーザデータとしてユーザ名やユーザの基準脈拍等、及び会議に関する各種フラグ等の設定データを記憶し、更に第1及び第2の判定テーブルを記憶するための判定テーブル記憶領域(図示せず)が設けられている。
【0159】
CPU311は、記憶部312に記憶されたサーバ装置プログラムに従い、サーバ装置300のコンピュータとしての基本的な制御を行う。これにより、制御部316は、各ユーザの集中度を判定する集中度判定手段、会議端末装置200の加速度計223から動作情報を取得する動作情報取得手段、会議端末装置200の脈拍計230から脈拍情報を取得する脈拍情報取得手段及び各ユーザの映像データを合成し合成映像を生成する映像合成手段として機能することになる。
【0160】
なお、サーバ装置プログラムは、例えば、インターネットに接続されたサーバ等から記憶部112にダウンロードされるようにしてもよく、又CD−ROM等の記録媒体に記録されてから当該記録媒体のドライブを介して、記憶部112に読み込まれるようにしてもよい。
【0161】
通信IF313は、上記した通信IF113と同様のものである。この通信IF313は、各会議端末装置200により送信された各ユーザに関する通信データとして、各ユーザを撮像した映像データ、各ユーザの音声を集音した音声データ、各ユーザの動作情報及び脈拍情報等を受信する。また、通信IF313は、各会議端末装置200に対して、各ユーザに関する通信データとして、各ユーザを撮像した映像を合成した合成映像データ、各ユーザの音声を集音した音声データ及び各ユーザの集中度情報等を送信する。なお、通信IF313は、制御部316と共に送信手段及び受信手段として機能する。
【0162】
以上が本発明の第2の実施形態に係る会議端末装置200及びサーバ装置300の構成の説明となる。
【0163】
[制御処理]
次に、本発明の第2の実施形態に係る会議端末装置200のCPU211及びのサーバ装置300のCPU311の制御処理について、図24,25を参照して説明する。
【0164】
[会議端末装置200のメイン処理]
まず、会議端末装置200のCPU211のメイン処理について説明する。会議端末装置200では、電源がオンされてからオフされるまでの間、図24に示すメイン処理を実行する。
【0165】
まず会議端末装置200のCPU211(以下、「CPU211」という。)は、サーバ装置300に対して接続要求を行う(ステップS42)。すなわち、CPU211は、通信IF213を制御し、サーバ装置300に対して、会議端末装置200とサーバ装置300との接続を要求する要求信号を送信する。
【0166】
ステップS43において、CPU211は、サーバ装置300からの応答信号を受信したか否かを判定しながら待機し、応答信号を受信したと判定すると(ステップS43:Yes)、ステップS44に処理を移行する。
【0167】
次に、CPU211は、会議端末装置200とサーバ装置300との接続処理を行ったのち(ステップS44)、ユーザデータ登録や会議設定等の入力処理を実行する(ステップS45)。なお、この入力処理は第1の実施形態における図9の説明と同様であるため説明を省略する。
【0168】
次に、CPU211は、入力情報送信処理を行う(ステップS46)。すなわち、CPU211は、通信IF213を制御し、サーバ装置300に対して、入力情報としてステップS45の入力処理において設定されたユーザデータや会議に関する設定データを送信する。
【0169】
次に、CPU211は、サーバ装置300からの会議に関する設定の完了を通知する通知信号を受信したか否かを判定しながら待機し(ステップS47)、設定完了通知を受けたと判定すると(ステップS47:Yes)、会議が開始可能な状態になったと判定し、ステップS48に処理を移行する。
【0170】
次に、CPU211は、会議中の処理を実行する(ステップS48)。すなわち、CPU211は、撮像部240を制御して自ユーザを撮影し、ヘッドセット220のマイク221を制御して自ユーザの音声を集音し、ヘッドセット120の加速度計123を制御して自ユーザの頭部の上下動の加速度(動作情報)を検出し、さらに、脈拍計130を制御して自ユーザの脈拍を計測する。このとき、CPU111は、検出した動作情報に基づいて、自ユーザの頭部の上下方向のふれ幅や頭部の上下動の回数等を算出し、これらを自ユーザ頭部の動作に関する情報として記憶部212に記憶する。
【0171】
次に、CPU211は、通信IF213を制御し、サーバ装置300の通信IF313に対して、自ユーザを撮影した映像データ、自ユーザの音声を集音した音声データ、自ユーザの頭部の動作に関する情報及び自ユーザの計測した脈拍の情報を送信する(ステップS49)。
【0172】
次に、CPU211は、サーバ装置300の通信IF313により送信された、各ユーザの集中度情報及び各ユーザの映像データを合成した合成映像データを受信したか否かを判定しながら待機する(ステップS50)。そして、CPU211は、合成映像データや各ユーザの集中度情報等を受信したと判定すると(ステップS50:Yes)、刺激制御処理を実行する(ステップS51)。
【0173】
次に、CPU211は、ステップS52において受信した各ユーザの集中度情報の中の自ユーザの集中度情報に基づいて、自ユーザに対して覚醒を促す覚醒制御や自ユーザを会議から退室させる退室制御を行う刺激制御処理を実行する(ステップS51)。なお、この刺激制御処理は第1の実施形態での図12の説明と同様であるため説明を省略する。
【0174】
次に、CPU211は、会議を終了するか否かを判定し(ステップS52)、会議を終了すると判定すると(ステップS52:Yes)、ステップS53に処理を移行する一方、会議を終了すると判定すると(ステップS52:No)、ステップS47に処理を戻す。
【0175】
ステップS53において、CPU211は、通信IF213を制御し、サーバ装置300に対して、会議を終了して会議端末装置200とサーバ装置300との通信を切断することを要求する信号(以下、「会議終了通知信号」という。)を送信し、会議終了通知を行い、会議端末装置200とサーバ装置300との通信を切断する(ステップS54)。
【0176】
[サーバ装置300のメイン処理]
次に、サーバ装置300のCPU311のメイン処理について説明する。サーバ装置300では、電源がオンされてからオフされるまでの間、図25に示すメイン処理を実行する。
【0177】
まず、サーバ装置300のCPU311(以下、「CPU311」という。)は、会議端末装置200からの接続要求があるか否かを判定しながら待機し(ステップS55)、会議端末装置200からの接続要求があると判定すると(ステップS55:Yes)、ステップS56に処理を移行する。
【0178】
次に、CPU311は、通信IF313を制御し、会議端末装置200に対して、会議端末装置200からの要求信号に対する応答信号を送信したのち(ステップS56)、サーバ装置300と会議端末装置200との接続を行う(ステップS57)。
【0179】
次に、CPU311は、会議端末装置200からの設定データ等を受信したか否か判定しながら待機し(ステップS58)、受信したと判定すると(ステップS58:Yes)、ステップS59に処理を移行する。
【0180】
次に、CPU311は、会議端末装置200により送信された設定データを、会議に使用するデータとして設定して記憶部312に記憶し(ステップS59)、ステップS60に処理を移行する。
【0181】
ステップS60において、CPU311は、通信IF313を制御し、会議端末装置200に対して、会議に関する設定の完了を通知する通知信号を送信し、ステップS61に処理を移行する。
【0182】
次に、CPU311は、会議端末装置200からの上記映像データ、音声データ、動作情報及び脈拍情報を受信したか否かを判定しながら待機し(ステップS61)、受信したと判定すると(ステップS61:Yes)、ステップS62に処理を移行する。
【0183】
ステップS62において、CPU311は、ステップS61で受信した各会議端末装置200のユーザである各ユーザの動作情報や脈拍情報に基づいて、各ユーザの会議への集中度を判定する集中度判定処理を実行し、ステップS62に処理を移行する。なお、この集中度判定処理は第1の実施形態での図10の説明と同様であるため説明を省略する。
【0184】
次に、CPU311は、各会議端末装置200により送信された各会議端末装置のユーザの映像を合成することで、送信する会議端末装置毎の合成映像を生成し、さらに、各ユーザの集中度情報に基づく画像をこの合成映像に付加するように合成する(ステップS63)。
【0185】
例えば、図20に示すように、4つの会議端末装置200a〜200dをサーバ装置300に接続して通信会議を行い、サーバ装置300がその中の会議端末装置200aに対して合成映像データを送信する場合、CPU311は、図6(b)に示すように、メイン表示領域を4つに分割し、縦横2列に並べた4つの分割表示領域を形成する。そして、CPU311は、会議端末装置200bのユーザの映像を右下の分割表示領域に表示し、会議端末装置200cのユーザの映像を左上の分割表示領域に表示し、会議端末装置200dのユーザの映像を左下の分割表示領域に表示するように各会議端末装置200b〜200dのユーザの映像を合成する。さらに、CPU311は、図7(a)に示すように、サブ表示領域に各ユーザの集中度を示すアイコンを付加して表示するように映像を合成する。
【0186】
また、CPU311は、各ユーザの操作により、集中度情報に基づく画像と映像データに基づく画像とを関連付けて映像を合成させたり、集中状態であることを示すユーザの映像を拡大して表示する映像を合成させたりする。例えば、図17に示すように集中状態のユーザの集中度を示すアイコンをこのユーザの映像に関連付けて表示させたり、図18に示すように集中状態のユーザの映像のサイズをその他のユーザの映像のサイズよりも大きくして表示させたりする。
【0187】
次に、CPU311は、合成映像送信処理を実行する(ステップS64)。すなわち、CPU311は、ステップS63で生成された合成映像データと各ユーザの集中度情報とを各会議端末装置200に対して送信する。例えば図20に示すように、4台の会議端末装置200とサーバ装置300とにより通信会議を行う場合、CPU311は、会議端末装置200aに対して、会議端末装置200b〜200dのユーザの映像を合成した合成映像データと、各会議端末装置200a〜200dのユーザの集中度情報を送信する。
【0188】
次に、CPU311は、会議端末装置200からの会議終了通知信号を受信したか否かを判定しながら待機し(ステップS65)、会議終了通知信号を受信したと判定すると(ステップS65:Yes)、サーバ装置300と会議端末装置200との通信を切断し(ステップS66)、会議を終了する。
【0189】
以上、本発明の第2の実施形態に係る会議端末装置及びサーバ装置の構成・処理について説明した。このように本実施形態の会議端末装置200及びサーバ装置300では、各会議端末装置200のヘッドセット220に加速度計223及び脈拍計230を備えるようにしたので、各会議端末装置毎に当該会議端末装置のユーザの動作情報及び脈拍情報が取得される。
【0190】
また、会議端末装置200に通信IF213を備えると共に、サーバ装置300に通信IF313を備えるようにしたので、動作情報や脈拍情報、及び集中度情報が会議端末装置200とサーバ装置300との間で送受信される。
【0191】
さらに、サーバ装置300に、集中度制御手段(CPU311)を備えるようにしたので、各会議端末装置のユーザである各ユーザの集中度が判定される。
【0192】
また、会議端末装置200に、表示制御手段(CPU211)を備えるようにしたので、判定された集中度情報に基づく表示制御がされる。
【0193】
このように、本実施形態の会議システム2によれば、各会議端末装置200のヘッドセット120の加速度計123検出した各会議端末装置のユーザの頭部の上下動の加速度と、脈拍計130が計測した各会議端末装置のユーザの脈拍に基づいて、サーバ装置300の集中度判定手段(CPU311)が各会議端末装置のユーザの集中度を判定し、各会議端末装置200の表示部250が集中度判定手段により判定された各装置のユーザである各ユーザの集中度に応じた表示制御をするようにしたので、各ユーザは、他の装置のユーザである他ユーザの会議への集中度を把握することができ、会議内で発表を行う場合には、他ユーザの集中度に応じた発表の進行が可能となり、円滑な通信会議を行うことができる。
【0194】
特に、加速度計223を自ユーザの頭部に装着するようにしたので、直接的・機械的に自ユーザの頭部の上下方向の動きを検出することができるため、検出精度を高精度にすることができる。
【0195】
以上、第1及び第2の実施形態を挙げて本発明を説明したが、本発明はこの実施形態に限定されず、様々な変形が可能である。
【0196】
例えば、集中度判定手段や表示制御手段等の各手段は、サーバ装置や1つの会議端末装置に配置される必要はなく、システム全体の何れかに配置されていればよい。
【0197】
また、ユーザが複数存在する会議端末装置の場合には、各ユーザそれぞれの集中度情報を通信相手の会議端末装置へ通知するようにしたが、集中状態設定がされたユーザの数が所定数以上のときに集中状態通知処理を行い、睡眠状態設定がされたユーザの数が所定数以上のときに睡眠状態通知処理を行うようにしてもよい。
【図面の簡単な説明】
【0198】
【図1】本発明の第1の実施形態に係る会議システムの概略構成を示す図である。
【図2】本発明の第1の実施形態に係る会議端末装置の概略構成を示す図である。
【図3】本発明の第1の実施形態に係る会議端末装置の具体的な構成を示すブロック図である。
【図4】本発明の第1の実施形態に係るヘッドセットの概略構成例を示す図である。
【図5】自ユーザの頭部の上下方向の動作を示す図である。
【図6】本発明の第1の実施形態に係る表示部のメイン表示領域を示す図である。
【図7】本発明の第1の実施形態に係る表示部のサブ領域を示す図である。
【図8】本発明の第1の実施形態に係る会議端末装置におけるメイン処理の一例を示すフローチャートである。
【図9】本発明の第1の実施形態に係る会議端末装置における入力処理の一例を示すフローチャートである。
【図10】本発明の第1の実施形態に係る会議端末装置における集中度判定処理の一例を示すフローチャートである。
【図11】本発明の第1の実施形態に係る会議端末装置における集中度通知処理一例を示す図である。
【図12】本発明の第1の実施形態に係る会議端末装置における刺激制御処理の一例を示すフローチャートである。
【図13】本発明の第1の実施形態に係る会議端末装置における情報受信時処理の一例を示すフローチャートである。
【図14】本発明の第1の実施形態に係る第1の判定テーブルの一例を示す図である。
【図15】本発明の第1の実施形態に係る第2の判定テーブルの一例を示す図である。
【図16】覚醒制御した表示部の表示画面の一例を示す図である。
【図17】集中度情報を各ユーザの映像に関連付けて表示した表示画面の一例を示す図である。
【図18】集中度が高いユーザの映像を拡大表示した表示画面の一例を示す図である。
【図19】本発明の第2の実施形態に係る会議システムの概略構成を示す図である。
【図20】本発明の第2の実施形態に係る会議端末装置の概略構成を示す図である。
【図21】本発明の第2の実施形態に係るサーバ装置の概略構成を示す図である。
【図22】本発明の第2の実施形態に係る会議端末装置の具体的な構成を示すブロック図である。
【図23】本発明の第2の実施形態に係るサーバ装置の具体的な構成を示すブロック図である。
【図24】本発明の第2の実施形態に係る会議端末装置におけるメイン処理の一例を示すフローチャートである。
【図25】本発明の第2の実施形態に係るサーバ装置におけるメイン処理の一例を示すフローチャートである。
【符号の説明】
【0199】
1,2 会議システム
100,200 会議端末装置
110,210 装置本体部
111,211,311 CPU
112,212,312 記憶部
113,213,313 通信IF
114,214 操作部
115,215,315 システムバス
116,216,316 制御部
117,217 集中度通知有無入力部
118,218 刺激制御設定部
120,220 ヘッドセット
121,221 マイク
122,222 スピーカ
123,223 加速度計
130,230 脈拍計
140,240 撮像部
150,250 表示部
300 サーバ装置

【特許請求の範囲】
【請求項1】
映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおける前記会議端末装置において、
会議に参加している自ユーザを撮像する撮像部と、
前記撮像部から出力される映像データを前記ネットワークを介して通信相手の会議端末装置へ送信する映像データ送信手段と、
前記会議端末装置から送信される映像データを受信する映像データ受信手段と、
前記映像データ受信手段により受信した映像データに応じた画像を表示する表示部と、 自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、
前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、
前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、
通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、
前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とする会議端末装置。
【請求項2】
映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおける前記会議端末装置において、
自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、
前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、
前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、
通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、
前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とする会議端末装置。
【請求項3】
前記表示制御手段は、集中度が所定以上の他ユーザの会議端末装置から送信される前記映像データに応じた画像に関連付けて、他ユーザが集中状態である旨を示す画像を前記表示部に表示することを特徴とする請求項1に記載の会議端末装置。
【請求項4】
前記表示制御手段は、集中度が所定以上の他ユーザの会議端末装置から送信される前記映像データに応じた画像を、他の通信相手の会議端末装置から送信される前記映像データに応じた画像よりも大きなサイズで前記表示部に表示することを特徴とする請求項1または3に記載の会議端末装置。
【請求項5】
自ユーザによる発言が行われているか否かを判定する発言判定手段を備え、
前記表示制御手段は、前記発言判定手段により自ユーザにより発言が行われていると判定された場合に、前記受信手段により受信した他ユーザの集中度を示す情報に応じた表示を行う一方で、前記発言判定手段により自ユーザにより発言が行われていないと判定された場合には前記受信手段により受信した他ユーザの集中度を示す情報に応じた表示を行わないことを特徴とする請求項1から4の何れか1項に記載の会議端末装置。
【請求項6】
自ユーザの脈拍を計測する脈拍計測部を備え、
前記集中度判定手段は、前記動作検出部で検出された自ユーザの頭部の動作情報に加え、さらに前記脈拍計測部により計測された自ユーザの脈拍に基づいて、自ユーザの会議への集中度の判定を行うことを特徴とする請求項1から5の何れか1項に記載の会議端末装置。
【請求項7】
前記集中度判定手段は、前記動作情報取得手段により取得した動作情報に基づいて頭部の上下方向のふれ幅を算出し、所定期間における頭部の上下動の回数を検出し、前記上下方向のふれ幅及び前記頭部の上下動の回数に基づいて自ユーザの集中度を判定することを特徴とする請求項1から5の何れか1項に記載の会議端末装置。
【請求項8】
前記集中度判定手段は、前記動作情報取得手段により取得した動作情報に基づいて頭部の上下方向のふれ幅を算出し、所定期間における頭部の上下動の回数を検出し、前記脈拍計測部により計測された脈拍と基準脈拍との差を算出し、前記頭部の上下方向のふれ幅、前記頭部の上下動の回数及び前記脈拍と基準脈拍との差に基づいて、自ユーザの集中度の判定することを特徴とする請求項6に記載の会議端末装置。
【請求項9】
自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信するか否かの入力を自ユーザから受け付ける集中度通知有無入力部を備え、
前記送信手段は、通信相手の会議端末装置に対して送信する旨の入力が前記集中度通知有無入力部により受け付けられたとき、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信する一方で、通信相手の会議端末装置に対して送信しない旨の入力が前記集中度通知有無入力部により受け付けられたとき、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信しないことを特徴とする請求項1から8の何れか1項に記載の会議端末装置。
【請求項10】
前記集中度判定手段により判定した自ユーザの集中度が低い状態であるとき、光又は音により自ユーザに刺激を与える制御を行う刺激制御手段を備えたことを特徴とする請求項1から9の何れか1項に記載の会議端末装置。
【請求項11】
集中度が低い状態の自ユーザに刺激を与えるか否かの設定を自ユーザから受け付ける刺激制御設定部を備え、
前記刺激制御手段は、前記刺激制御設定部により自ユーザに刺激を与える旨の設定がされている場合に、前記集中度判定手段により自ユーザの集中度が低い状態であると判定すると、光又は音により自ユーザに刺激を与える制御を行う一方で、前記刺激制御設定部により自ユーザに刺激を与えない旨の設定がされている場合に、前記集中度判定手段により自ユーザの集中度が低い状態であると判定すると、光又は音により自ユーザに刺激を与える制御を行わず、
前記送信手段は、前記刺激制御設定部により自ユーザに刺激を与えない旨の設定がされている場合に、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信しない一方で、前記刺激制御設定部により自ユーザに刺激を与える旨の設定がされている場合に、自ユーザの集中度を示す情報を通信相手の会議端末装置に対して送信することを特徴とする請求項10に記載の会議端末装置。
【請求項12】
コンピュータを、請求項1から11の何れか1項に記載の会議端末装置における各手段として機能させるためのプログラム。
【請求項13】
映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信して行う通信会議を支援する通信会議支援方法であって、
自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得するステップと、
取得された前記自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行うステップと、
前記判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信するステップと、
通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信するステップと、
受信した前記他ユーザの会議への集中度を示す情報に応じた表示を行うステップと、を有する通信会議支援方法。
【請求項14】
映像及び音声の少なくともいずれか一方のデータをネットワークを介して会議端末装置間で相互に送受信する会議システムにおいて、
前記前記会議端末装置の各々は、
自装置のユーザである自ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、
前記動作情報取得手段で取得された自ユーザの頭部の動作情報に基づいて、自ユーザの会議への集中度の判定を行う集中度判定手段と、
前記集中度判定手段により行われた判定の結果に基づいて自ユーザの会議への集中度を示す情報を通信相手の会議端末装置に対して送信する送信手段と、
通信相手の会議端末装置から当該通信相手の会議端末装置のユーザである他ユーザの会議への集中度を示す情報を受信する受信手段と、
前記受信手段により受信した他ユーザの会議への集中度を示す情報に応じた表示を行う表示制御手段と、を備えたことを特徴とする会議システム。
【請求項15】
複数の会議端末装置とネットワークを介して接続され、前記会議端末装置間での会議を管理するサーバ装置において、
前記複数の会議端末装置の各ユーザの頭部に装着されている動作検出部により検出された頭部の動作情報を取得する動作情報取得手段と、
前記動作情報取得手段で取得されたユーザの頭部の動作情報に基づいて、該ユーザの会議への集中度の判定を行う集中度判定手段と、
前記集中度判定手段により行われた判定の結果に基づく集中度を示す情報を前記複数の会議端末装置に送信する送信手段と、を備えたことを特徴とするサーバ装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate


【公開番号】特開2010−141843(P2010−141843A)
【公開日】平成22年6月24日(2010.6.24)
【国際特許分類】
【出願番号】特願2008−318900(P2008−318900)
【出願日】平成20年12月15日(2008.12.15)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】