Notice: Undefined variable: fterm_desc_sub in /mnt/www/biblio_conv.php on line 353
通信端末装置、通信端末装置の通信制御方法、通信制御プログラム
説明

通信端末装置、通信端末装置の通信制御方法、通信制御プログラム

【課題】適度に視線を外しながら自然な状況で会話をすることができる通信端末装置、通信端末装置の通信制御方法、通信制御プログラムを提供する。
【解決手段】遠隔会議中に、端末装置のユーザが、スクリーンに表示された相手ユーザに対して、視線を不自然に一致させているか否かが監視される(S5)。そして、不自然な視線一致状態が検出された場合に(S5:YES)、相手ユーザの端末装置に対して、不自然な視線一致状態が検出された旨の信号(第一信号)が送信される(S9)。相手ユーザの端末装置では、第一信号を受信すると、相手ユーザを撮影するビデオカメラの位置が変更される。これにより、会議参加者同士の不自然な視線一致状態を回避することができ、会議参加者は、円滑に会話をすることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、相手側の通信端末装置との間で、画像と音声を双方向に送受信できる通信端末装置、当該通信端末装置の通信制御方法、通信制御プログラムに関する。
【背景技術】
【0002】
従来、複数の通信端末装置をネットワークを介して接続し、画像と音声を双方向に送受信することで、遠隔の地にある者同士の会議を実現するテレビ会議システムが知られている。臨場感を伴う高度なテレビ会議システムの実現には、会議出席者間の視線一致が不可欠である。そこで、液晶ディスプレイやプロジェクタ等の利用によるさまざまな視線一致の実現手法が提案されている。
【0003】
例えば、スクリーンの裏面に対して斜め後方にプロジェクタを配置し、スクリーンの裏面にビデオカメラを垂直に配置した表示撮像装置が知られている(例えば、特許文献1参照)。プロジェクタは、スクリーンに対して他拠点で撮影されたユーザの撮影画像を映し出す。ビデオカメラの映像は、他拠点に配置した表示撮像装置のプロジェクタから出力される。このような配置により、会議出席者がスクリーンを見つめると、会議出席者の視線は、スクリーンを介してビデオカメラに向けられる。よって、会議出席者間の視線を一致させることができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平6−133311号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、日常生活の中で会話をする場合には、相手と視線を合わせ続けながら会話をすることは少ない。話者は、状況に応じて、相手に視線をあわせるだけでなく、相手から自然に視線を外して会話をしている。一方、特許文献1に記載の表示撮像装置を用いてテレビ会議を行った場合、会議出席者がスクリーンを見つめ続けると、相手から自然に視線を外すことが困難となり、会議出席者間の視線は一致し続けてしまう。この場合、居心地の悪い不自然な状況になってしまうという問題点があった。
【0006】
本発明は、上記課題を解決するためになされたものであり、適度に視線を外しながら自然な状況で会話をすることができる通信端末装置、通信端末装置の通信制御方法、通信制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、請求項1に係る発明の通信端末装置は、ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置であって、ユーザを撮影するユーザ撮影手段と、前記ユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像送信手段と、他の端末から送信された前記画像を画面に表示する表示手段と、前記ユーザ撮影手段により撮影された画像から前記ユーザの視線方向を検出する視線方向検出手段と、前記視線方向検出手段が検出した前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定手段と、前記画面上の前記ユーザの顔を検出する顔検出手段と、前記視線位置特定手段によって特定された前記視線位置が、前記顔検出手段によって検出された前記ユーザの顔の所定領域内にある状態を視線一致状態として検出する視線一致検出手段と、前記視線一致検出手段により前記視線一致状態が検出された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測手段と、前記視線一致時間計測手段により計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断手段と、前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する端末である相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信手段と、前記相手側端末から送信された前記第一信号を受信する第一信号受信手段と、前記第一信号受信手段によって、前記第一信号を受信した場合に、前記ユーザ撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更手段とを備えている。
【0008】
また、請求項2に係る発明の通信端末装置は、請求項1に記載の発明の構成に加え、前記撮影位置変更手段は、前記撮影手段を前記ユーザの視線方向から退避する位置に移動させることを特徴とする。
【0009】
また、請求項3に係る発明の通信端末装置は、請求項1又は2に記載の発明の構成に加え、非可視光を前記ユーザの眼球に照射する照射手段をさらに備え、前記視線方向検出手段は、前記ユーザ撮影手段により撮影された前記画像における前記非可視光の前記ユーザの眼球角膜反射面における虚像(プルキニエ像)と、前記ユーザの眼球瞳孔中心との相対位置から、前記視線方向を検出することを特徴とする。
【0010】
また、請求項4に係る発明の通信端末装置は、請求項3に記載の発明の構成に加え、前記ユーザの眼球と前記画面と前記照射手段との位置関係を記憶する位置関係記憶手段をさらに備え、前記視線位置特定手段は、前記位置関係記憶手段に記憶された前記位置関係と、前記視線方向検出手段によって検出された前記視線方向とから、前記画面上の前記視線位置を特定することを特徴とする。
【0011】
また、請求項5に係る発明の通信端末装置は、請求項3又は4に記載の発明の構成に加え、前記ユーザ撮影手段は、前記ユーザに対して前記画面の後方に配置され、前記照射手段は、前記ユーザ撮影手段に取り付けられていることを特徴とする。
【0012】
また、請求項6に係る発明の通信端末装置は、請求項1乃至5のいずれかに記載の発明の構成に加え、前記画面に、前記ユーザの画像とは異なる別画像が前記画像と併せて表示されているか否かを判断する別画像表示判断手段と、前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断され、且つ前記別画像判断手段によって前記画面に前記別画像が表示されていると判断された場合に、前記画面において前記別画像を現在の表示サイズと比較して拡大表示するとともに、前記画像に重ねて透過表示する別画像拡大表示手段とを備えている。
【0013】
また、請求項7に係る発明の通信端末装置は、請求項6に記載の発明の構成に加え、前記別画像拡大表示手段は、前記別画像を前記ユーザの画像の前記所定領域に重ねて表示することを特徴とする。
【0014】
また、請求項8に係る発明の通信端末装置は、請求項1乃至7のいずれかに記載の発明の構成に加え、前記第一信号送信手段により前記第一信号を送信してからの経過時間である送信後経過時間を計測する送信後経過時間計測手段と、前記送信後経過時間計測手段により計測された前記送信後経過時間が第二所定時間以上になったか否かを判断する第二所定時間判断手段と、前記第二所定時間判断手段によって前記送信後経過時間が前記第二所定時間以上になったと判断された場合に、前記相手側端末に、前記送信後経過時間が前記第二所定時間以上になったことを示す第二信号を送信する第二信号送信手段と、前記第二信号を受信する第二信号受信手段と、前記第二信号受信手段によって、前記相手側端末から送信された前記第二信号が受信された場合に、前記撮影手段の前記撮影位置をもとの位置に復帰させる撮影位置復帰手段とをさらに備えている。
【0015】
また、請求項9に係る発明の通信端末装置は、請求項1乃至8のいずれかに記載の発明の構成に加え、前記ユーザの音声を検出するユーザ音声検出手段と、前記相手ユーザの音声を検出する相手ユーザ音声検出手段と、前記ユーザ音声検出手段及び前記相手ユーザ音声検出手段のいずれも音声を検出しない状態を無言状態として、前記無言状態が継続する時間である無言時間を計測する無言時間計測手段と、前記無言時間計測手段により計測された前記無言時間に基づいて、前記第二所定時間を調整する第一の第二所定時間調整手段とをさらに備えている。
【0016】
また、請求項10に係る発明の通信端末装置は、請求項9に記載の発明の構成に加え、前記第一の第二所定時間調整手段は、前記無言時間計測手段により計測された前記無言時間が、第三所定時間以上になったか否かを判断する第三所定時間判断手段を備え、前記第三所定時間判断手段によって、前記無言時間が前記第三所定時間以上になったと判断された場合に、前記第二所定時間を延長することを特徴とする。
【0017】
また、請求項11に係る発明の通信端末装置は、請求項1乃至10のいずれかに記載の発明の構成に加え、前記ユーザの瞬きを検出する瞬き検出手段と、前記瞬き検出手段によって検出された前記瞬きの回数をカウントする瞬きカウント手段と、前記カウント手段によってカウントされた前記回数に基づいて、前記第二所定時間を調整する第二の第二所定時間調整手段とをさらに備えている。
【0018】
また、請求項12に係る発明の通信端末装置は、請求項11に記載の発明の構成に加え、前記第二の第二所定時間調整手段は、前記視線一致検出手段により前記視線一致状態が検出されてからの経過時間を計測する計測手段と、前記計測手段により計測された前記経過時間が第四所定時間以上になったか否かを判断する第四所定時間判断手段と、前記第四所定時間判断手段によって前記経過時間が前記第四所定時間以上になったと判断された場合に、前記瞬きカウント手段によってカウントされた前記回数が所定回数以上であるか否かを判断する瞬き回数判断手段とを備え、前記瞬き回数判断手段により、前記回数が所定回数以上であったと判断された場合に、前記第二所定時間を延長することを特徴とする。
【0019】
また、請求項13に係る発明の通信端末装置の通信制御方法は、ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置の通信制御方法であって、ユーザを撮影するユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像データ送信ステップと、他の端末から送信された前記画像を画面に表示する表示ステップと、前記ユーザの視線方向を検出する視線方向検出ステップと、前記視線方向検出ステップにおいて検出された前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定ステップと、前記画面上の前記ユーザの顔を検出する顔検出ステップと、前記視線位置特定ステップにおいて特定された前記視線位置が、前記顔検出ステップにおいて検出された前記ユーザの顔の所定領域内にある視線一致状態か否かを判断する視線一致判断ステップと、前記視線一致判断ステップにおいて前記視線一致状態であると判断された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測ステップと、前記視線一致時間計測ステップにおいて計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断ステップと、前記第一所定時間判断ステップにおいて前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信ステップと、前記第一信号を受信する第一信号受信ステップと、
前記第一信号受信ステップにおいて、前記相手側端末から送信された前記第一信号を受信した場合に、前記撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更ステップとを備えたことを特徴とする。
【0020】
また、請求項14に係る発明の通信制御プログラムは、請求項1乃至12のいずれかに記載の通信端末装置の各種処理手段としてコンピュータを機能させる。
【発明の効果】
【0021】
請求項1に係る発明の通信端末装置では、相手側端末と画像及び音声を介した通信を行うことができる。ユーザ撮影手段によってユーザが撮影される。ユーザ撮影手段によって撮影されたユーザの画像は、画像送信手段によって相手側端末に送信される。相手側端末から送信された相手ユーザの画像は、表示手段によって画面に表示される。表示手段によって画面に表示された相手ユーザの画像から、相手ユーザの顔が、顔検出手段によって検出される。一方、ユーザ撮影手段により撮影された画像から、ユーザの視線方向が視線方向検出手段によって検出される。視線方向検出手段によって検出された視線方向の先にある画面上の視線位置が、視線位置特定手段によって特定される。視線位置特定手段によって特定された視線位置が、顔検出手段によって検出された相手ユーザの顔の所定領域内にある場合に、視線一致検出手段によって視線一致状態が検出される。
【0022】
視線一致検出手段により視線一致状態が検出された場合、視線一致時間計測手段によって、視線一致状態が継続する時間である視線一致時間が計測される。そして、計測された視線一致時間が第一所定時間以上になったか否かが、第一所定時間判断手段によって判断される。視線一致時間が第一所定時間以上になったと、第一所定時間判断手段によって判断された場合、第一信号送信手段が相手側端末に視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する。相手側端末から送信された第一信号は、第一信号受信手段によって受信される。第一信号受信手段によって、第一信号が受信された場合に、撮影位置変更手段によって、ユーザ撮影手段のユーザに対する撮影位置が変更される。
【0023】
ユーザが画面上の相手ユーザに対して、不自然に長い時間視線を合わせている場合には、相手ユーザを撮影する撮影手段の撮影位置を変更することができるため、撮影手段に対する相手ユーザの視線をずらすことができる。よって、画面に映る相手ユーザの視線をずらすことができ、ユーザと相手ユーザとで視線が一致し続けてしまう居心地の悪い不自然な状況を回避できる。
【0024】
また、請求項2に係る発明の通信端末装置は、請求項1に記載の発明の効果に加え、撮影手段は、撮影位置変更手段によってユーザの視線方向から退避する位置に移動される。相手ユーザの視線を、撮影手段から確実に外すことができるため、画面に映る相手ユーザの視線を確実にずらすことができる。
【0025】
また、請求項3に係る発明の通信端末装置は、請求項1又は2に記載の発明の効果に加え、照射手段が非可視光をユーザの眼球に照射し、視線方向検出手段は、ユーザ撮影手段により撮影された画像における非可視光のユーザの眼球角膜反射面における虚像(プルキニエ像)と、ユーザの眼球瞳孔中心との相対位置から、視線方向を検出する。そのため、大がかりな装置を用いずに、ユーザの視線方向を高精度に検出することができる。また、照射される光は非可視光なので、ユーザに違和感を与えずに、ユーザの視線方向を検出することができる。
【0026】
また、請求項4に係る発明の通信端末装置は、請求項3に記載の発明の効果に加え、位置関係記憶手段は、ユーザの眼球と画面と照射手段との位置関係を記憶する。視線位置特定手段は、位置関係記憶手段に記憶された位置関係と、視線方向検出手段によって検出された視線方向とから、ユーザの画面上の視線位置を特定する。よって、大がかりな装置を用いずに、ユーザの画面上の視線位置を特定できる。
【0027】
また、請求項5に係る発明の通信端末装置は、請求項3又は4のいずれかに記載の発明の効果に加え、ユーザ撮影手段は、ユーザに対して画面の後方に配置されている。よって、ユーザが画面を見つめると、ユーザの視線は画面を介してユーザ撮影手段に向けられる。よって、ユーザと相手ユーザとの視線を自然に一致させることができる。また、照射手段は、ユーザ撮影手段に取り付けられているため、ユーザの視線がユーザ撮影手段に向けられている場合に、プルキニエ像と眼球瞳孔中心とは一致する。よって、ユーザの視線がユーザ撮影手段に向けられている場合を基準として、ユーザの視線方向を検出できる。
【0028】
また、請求項6に係る発明の通信端末装置は、請求項1乃至5のいずれかに記載の発明の効果に加え、別画像表示判断手段によって、画面に相手ユーザの画像とは異なる別画像が前記画像と併せて表示されているか否かが判断される。第一所定時間判断手段によって視線一致時間が第一所定時間以上になったと判断され、且つ別画像判断手段によって画面に別画像が表示されていると判断された場合に、相手ユーザの画像とは異なる別画像が、画面において拡大表示されるとともに、相手ユーザの画像に重ねて透過表示される。よって、不自然に視線が一致し続けてしまった場合には、視線一致の対象である相手ユーザの画像が目立たなくなる。そのため、居心地の悪い不自然な状況を回避できる。
【0029】
また、請求項7に係る発明の通信端末装置は、請求項6に記載の発明の効果に加え、別画像拡大表示手段によって、別画像が相手ユーザの画像の所定領域に重ねて表示される。そのため、視線一致の対象である相手ユーザの画像は確実に目立たなくなる。よって、居心地の悪い不自然な状況を確実に回避できる。
【0030】
また、請求項8に係る発明の通信端末装置は、請求項1乃至7のいずれかに記載の発明の効果に加え、送信後経過時間計測手段が、第一信号送信手段により第一信号を送信してからの経過時間である送信後経過時間を計測する。第二所定時間判断手段が、送信後経過時間計測手段により計測された送信後経過時間が第二所定時間以上になったか否かを判断する。第二所定時間判断手段によって送信後経過時間が第二所定時間以上になったと判断された場合に、第二信号送信手段が、相手側端末に、送信後経過時間が第二所定時間以上になったことを示す第二信号を送信する。第二信号受信手段が第二信号を受信し、第二信号受信手段によって、相手側端末から送信された第二信号が受信された場合に、撮影位置復帰手段が、撮影手段の撮影位置をもとの位置に復帰させる。
【0031】
そのため、撮影手段のユーザに対する撮影位置が変更されてからの時間が第二所定時間以上になった場合、撮影手段の撮影位置を変更前の位置に復帰させることができる。よって、ユーザと相手ユーザとの間の不自然な視線一致状態が回避された後は、再度、ユーザと相手ユーザとの視線を一致させることができる。よって、ユーザ同士は、原則的には視線を合わせ、気まずい雰囲気の場合のみに視線を外して会議を行うことができる。
【0032】
また、請求項9に係る発明の通信端末装置は、請求項1乃至8のいずれかに記載の発明の効果に加え、ユーザ音声検出手段がユーザの音声を検出する。相手ユーザ音声検出手段が相手ユーザの音声を検出する。無言時間計測手段が、ユーザ音声検出手段及び相手ユーザ音声検出手段のいずれも音声を検出しない状態を無言状態として、無言状態が継続する時間である無言時間を計測する。第一の第二所定時間調整手段が、無言時間計測手段により計測された無言時間に基づいて、第二所定時間を調整する。
【0033】
一般に、ユーザと相手ユーザとのいずれも音声を発しない無言状態の場合には、ユーザと相手ユーザとの間で会話が行われている場合に比べて気まずい雰囲気であるといえる。請求項9に係る発明の通信端末装置は、無言状態が継続する時間に応じて、視線を外す時間を調整することができるため、会議中のユーザ同士の雰囲気に応じて、視線を外す時間を調整することができる。
【0034】
また、請求項10に係る発明の通信端末装置は、請求項9に記載の発明の効果に加え、第三所定時間判断手段が、前記無言時間が第三所定時間以上になったか否かを判断する。第一の第二所定時間調整手段は、第三所定時間判断手段によって、無言時間が第三所定時間以上になったと判断された場合に、第二所定時間を延長する。そのため、無言状態が長く続いた場合には、視線を外す時間を延長することができる。よって、気まずい雰囲気にあるユーザ間で視線一致状態が不自然にあった場合には、視線を外す時間を延長して、気まずい雰囲気を確実に回避させることができる。
【0035】
また、請求項11に係る発明の通信端末装置は、請求項1乃至10のいずれかに記載の発明の効果に加え、瞬き検出手段がユーザの瞬きを検出し、瞬きカウント手段が瞬き検出手段によって検出された瞬きの回数をカウントする。第二の第二所定時間調整手段が、カウント手段によってカウントされた瞬きの回数に基づいて、前記第二所定時間を調整する。
【0036】
一般に、ユーザが緊張状態にある場合、ユーザの瞬き回数は増加するといわれている。
請求項11に係る発明の通信端末装置は、ユーザの瞬き回数に応じて、視線を外す時間を調整することができるため、会議中のユーザの緊張状態に応じて、視線を外す時間を調整することができる。
【0037】
また、請求項12に係る発明の通信端末装置は、請求項11に記載の発明の効果に加え、計測手段が、視線一致検出手段により視線一致状態が検出されてからの経過時間を計測する。第四所定時間判断手段が、経過時間が第四所定時間以上になったか否かを判断する。瞬き回数判断手段は、経過時間が第四所定時間以上になった場合に、カウントされた瞬きの回数が所定回数以上であるか否かを判断する。第二の第二所定時間調整手段は、瞬きの回数が所定回数以上である場合に第二所定時間を延長する。
【0038】
ユーザの瞬き回数が多い場合には、視線を外す時間を延長することができるため、相手ユーザに対して不自然に視線を一致させたユーザが緊張状態にある場合には、視線を外す時間を延長することができる。よって、ユーザが緊張状態となるほど、相手ユーザとの間に気まずい雰囲気がある場合には、視線を外す時間を延長して、気まずい雰囲気を確実に回避することができる。
【0039】
また、請求項13に係る発明の通信端末装置の通信制御方法では、まず画像データ送信ステップにおいて、ユーザを撮影するユーザ撮影手段が撮影したユーザの画像が他の端末に送信される。次に、表示ステップにおいて、他の端末から送信された画像が画面に表示される。次に、視線方向検出ステップにおいて、ユーザの視線方向を検出する。検出された視線方向の先にある画面上の視線位置は、視線位置特定ステップにおいて、特定される。顔検出ステップにおいて、画面上の相手ユーザの顔が検出される。視線一致判断ステップにおいて、視線位置特定ステップにおいて特定された視線位置が、顔検出ステップにおいて検出された相手ユーザの顔の所定領域内にある視線一致状態か否かが判断される。視線一致判断ステップにおいて視線一致状態であると判断された場合には、視線一致時間計測ステップにおいて、視線一致状態が継続する時間である視線一致時間が計測される。計測された視線一致時間は、第一所定時間判断ステップにおいて、第一所定時間以上になったか否か判断される。
【0040】
視線一致時間が第一所定時間以上となった場合、第一信号送信ステップにおいて、視線一致状態の対象である相手ユーザの画像データを送信する相手側端末に、第一信号を送信する。第一信号受信ステップにおいて、前記第一信号を受信する。相手側端末から送信された第一信号が受信された場合、撮影位置変更ステップにおいて、前記撮影手段の前記ユーザに対する撮影位置を変更する。
【0041】
ユーザが画面上の相手ユーザに対して、不自然に長い時間視線を合わせている場合には、相手ユーザを撮影する撮影手段の撮影位置を変更することができるため、撮影手段に対する相手ユーザの視線をずらすことができる。よって、画面に映る相手ユーザの視線をずらすことができ、ユーザと相手ユーザとで視線が一致し続けてしまう居心地の悪い不自然な状況を回避できる。
【0042】
また、請求項14に係る発明の通信制御プログラムは、請求項1乃至12のいずれかに記載の通信端末装置の各種処理手段としてコンピュータを機能させるため、請求項1乃至12のいずれかに記載の効果を得ることができる。
【図面の簡単な説明】
【0043】
【図1】テレビ会議システム1の構成を示すブロック図である。
【図2】端末装置3の物理的構成を示す図である。
【図3】ビデオカメラ34の撮影位置を示す図である。
【図4】スクリーン32における一表示態様を示す図である。
【図5】視線方向を検出する方法を説明する図(ユーザの視線の先に赤外線ライト33が位置しない場合)である。
【図6】視線方向を検出する方法を説明する図(ユーザの視線の先に赤外線ライト33が位置する場合)である。
【図7】スクリーン32に表示された相手ユーザの右眼721、左眼722、及び鼻723を結ぶ領域を説明する図である。
【図8】端末装置3の電気的構成を示すブロック図である。
【図9】HDD31の各種記憶エリアを示す概念図である。
【図10】RAM22の各種記憶エリアを示す概念図である。
【図11】CPU20による視線方向検出処理のフローチャートである。
【図12】スクリーン32における一表示態様を示す図である。
【図13】CPU20による撮影位置変更処理のフローチャートである。
【図14】瞬き検出領域70を示す図(ユーザの眼77が開かれている状態)である。
【図15】瞬き検出領域70を示す図(ユーザの眼77が閉じられている状態)である。
【図16】第二実施形態の端末装置130の電気的構成を示すブロック図である。
【図17】HDD131の各種記憶エリアを示す概念図である。
【図18】RAM122の各種記憶エリアを示す概念図である。
【図19】CPU120による視線方向検出処理のフローチャートである。
【図20】CPU120による音声検出処理のフローチャートである。
【図21】CPU120による瞬きカウント処理のフローチャートである。
【発明を実施するための最良の形態】
【0044】
以下、本発明の第一実施形態である端末装置3について、図面を参照して説明する。はじめに、端末装置3、4を構成要素とするテレビ会議システム1の構成について、図1を参照して説明する。
【0045】
テレビ会議システム1は、ネットワーク2を介して相互に接続された端末装置3、4を備えている。端末装置3、4は、別拠点に設けられている。このテレビ会議システム1では、端末装置3、4間において、ネットワーク2を介して、画像、音声が互いに送受信されることで、別拠点にあるユーザ同士の遠隔会議が実施される。本実施形態では、端末装置3が設けられた拠点を自拠点、端末装置4が設けられた拠点を他拠点として説明する。
【0046】
なお、本実施形態では、遠隔会議中に、端末装置3のユーザが、スクリーン32(図2参照)に表示された端末装置4のユーザ(以下、相手ユーザという)に対して視線を一致させている時間が所定時間以上となる場合に、端末装置4において相手ユーザを撮影するビデオカメラ34(図2参照)の位置を変更させて、視線を外すことができる点に特徴がある。
【0047】
まず、端末装置3の物理的構成について、図2および図3を参照して説明する。なお、図2の右方をユーザに対向する端末装置3の前方とし、左方を端末装置3の後方として説明する。端末装置3は、映像を投射するプロジェクタ28と、投射された映像を表示するスクリーン32と、スクリーン32の後方に配置され、端末装置3の前方に位置するユーザを撮影するビデオカメラ34とを備える。端末装置3の前方には、スクリーン32に対して位置が固定された椅子(図示省略)が設けられている。ユーザがその椅子に座ると、ユーザとビデオカメラ34とを結ぶ直線がスクリーン32の面と垂直に交わり、ユーザとスクリーン32との距離が、予め定められた所定距離L(図5参照)となる。
【0048】
プロジェクタ28について説明する。図2に示すように、プロジェクタ28は、ユーザに対して、スクリーン32の後方斜め上側に配置されている。プロジェクタ28には、ビデオコントローラ23が接続され、端末装置4から送信された映像を、スクリーン32に向けて斜めに投射する。プロジェクタ28をスクリーン32に対して斜め上側に配置することにより、スクリーン32の後方にビデオカメラ34を配置できる。なお、スクリーン32に対して斜めに投射された映像が、スクリーン32において歪みのない正常な表示となるように、歪み補正を行ってもよい。歪み補正方法としては、例えば、特開平6−133311号公報に記載の歪み補正方法が適用可能である。
【0049】
歪み補正方法について、正方形の映像をスクリーン32に表示させる場合を例に挙げて簡単に説明する。プロジェクタ28から投射された映像は、プロジェクタ28から遠くなるにつれて拡大率が大きくなる。そのため、映像を斜めに投射すると、プロジェクタ28から遠い位置では近い位置に比べて映像の拡大率が大きくなり、映像は歪んでしまう。たとえば、正方形の映像をプロジェクタ28から投射した場合、スクリーン32上では台形になってしまう。そこで、プロジェクタ28から投射する映像を予め逆台形に処理する。逆台形の映像をプロジェクタ28から投射することにより、スクリーン32上では正方形に表示される。
【0050】
次に、スクリーン32について説明する。スクリーン32には、入射光の透過及び散乱が入射光の入射角度に依存する周知の視覚依存散乱板が用いられる。具体的には、スクリーン32は、ビデオカメラ34からの入射光は透過し、プロジェクタ28からの入射光は散乱させる。これにより、スクリーン32の後方に配置されたビデオカメラ34は、スクリーン32を介してユーザを撮影できる。また、ユーザは、プロジェクタ28から投射された映像を、スクリーン32を介して見ることができる。
【0051】
次に、ビデオカメラ34について説明する。図3に示すように、スクリーン32の後方には、ビデオカメラ34を支持するカメラ支持部材342が配置されている。カメラ支持部材342は、ユーザが座る椅子を中心として円弧状に形成されたレール部341を備え、ビデオカメラ34は、レール部341に沿って移動可能に支持されている。また、カメラ支持部材342にはカメラ移動装置36(図8参照)が取り付けられている。カメラ移動装置36は、モータ(図示省略)とビデオカメラ34に接続された伝達機構(図示省略)とを備える。モータが駆動されると伝達機構を介してビデオカメラ34の位置が移動される。
【0052】
ビデオカメラ34で撮影されたユーザの画像は、他拠点に配置された端末装置4に送信されると共に、ユーザの視線方向の検出に用いられる。通常の状態において、ビデオカメラ34はスクリーン32に対して垂直に配置され、ユーザを真正面から撮影する。本実施形態では、ユーザが、スクリーン32に表示された相手ユーザに対して視線を一致させている時間が長すぎる場合、ビデオカメラ34がレール部341に沿って円弧状に移動する。ビデオカメラ34の撮影位置が、ユーザの真正面から外れることによって、相手ユーザの視線をずらすことができる。
【0053】
図2に示すように、ビデオカメラ34の下部には、赤外線を発光する赤外線ライト33が取り付けられている。赤外線ライト33により発光された赤外線が、ユーザの眼球角膜反射面において反射されて虚像(プルキニエ像)71を形成する(図5参照)。ビデオカメラ34は、このプルキニエ像71と眼球72の瞳孔75中心とを撮影し、その相対位置から、ユーザの視線方向を検出する。なお、視線方向の検出方法については後述する。
【0054】
次に、端末装置3のスクリーン32に表示される画面について、図4を参照して説明する。端末装置3のスクリーン32には、端末装置4を使用する相手ユーザの画像が表示される相手ユーザ画面281と、端末装置3,4における共有資料を表示させる共有資料画面282とが配置される。共有資料画面282は、例えば、自拠点側の端末装置3に記憶された資料を、他拠点にいる相手ユーザに示して説明する場合に、表示設定される。共有資料表示プログラムを起動し、所望の資料を共有資料として指定した場合に、端末装置3、4のスクリーン32に共有資料画面282が表示され、その枠内に共有資料が表示される。
【0055】
例えば、相手ユーザ画面281は、スクリーン32の略左半分に配置され、共有資料画面282は、スクリーン32の右下1/4に配置される。なお、表示態様についてはこれに限定されず、相手ユーザ画面281、共有資料画面282の配置、大きさも、ユーザにより自由に変更可能である。
【0056】
次に、視線一致状態の検出方法について、図5乃至図7を参照して説明する。ここで、「視線一致状態」とは、ユーザの視線の先が、スクリーン32に表示された相手ユーザの両眼と鼻とを結んだ領域(以下、領域Mという)にある状態をいう。本実施形態では、まず、ユーザの視線方向を検出する。次に、検出された視線方向の先にある、スクリーン32上の視線位置を特定する。そして、特定された視線位置が、領域Mにあるか否かを判断し、領域Mにあれば視線一致状態とする。以下、視線一致状態の検出方法について具体的に説明する。
【0057】
はじめに、視線方向検出方法について説明する。視線方向の検出は、ビデオカメラ34によって撮影された撮影画像に基づいて行われる。ユーザの視線方向を検出する方法としては周知の方法が用いられ、例えば、特開平10−108843号公報に記載された視線方向検出方法が適用可能である。
【0058】
上記検出方法を適用した視線方向の検出方法について説明する。なお、ここでは、説明の便宜上、ビデオカメラ34と赤外線ライト33とが同一座標にあると近似して説明する。
【0059】
図5に示すように、赤外線ライト33が、ユーザの眼球72に赤外線を照射すると、照射された赤外線がユーザの眼球72の角膜反射面において反射され、赤外線ライト33の虚像(プルキニエ像)71が生じる。図6に示すように、ユーザの視線の先に、赤外線ライト33が位置するとき、プルキニエ像71の発生位置は、瞳孔中心76と一致する。そして、ユーザの視線の先が赤外線ライト33から離れるにつれて、プルキニエ像71と瞳孔中心76との間隔は広がっていく(図5参照)。
【0060】
具体的には、プルキニエ像71と瞳孔中心76とが一致する状態からの眼球72の回転角度をθ、プルキニエ像71と瞳孔中心76との間隔Sとすると、間隔Sは、回転角度θの正弦にほぼ比例して広がっていく。よって、ビデオカメラ34により撮影された撮影画像において、プルキニエ像71の位置、瞳孔中心76の位置、さらにその間隔を算出することにより、眼球72の回転角度θ、さらにはユーザの視線方向を知ることができる。なお、撮影画像におけるプルキニエ像71及び瞳孔75の検出は、各画素における濃度変化を示すエッジ値を検出する周知の方法により行われる。
【0061】
次に、検出された視線方向の先にあるスクリーン32上のユーザの視線位置Tを特定する方法について説明する。本実施形態では、会議中、スクリーン32に対向して座っているユーザの眼球72の中心とビデオカメラ34とを結ぶ直線は、スクリーン32の面と垂直に交わる。また、眼球72の中心とスクリーン32との距離は所定距離Lとなる。眼球72の中心とビデオカメラ34とを結ぶ直線がスクリーン32の表示面と交わる点を中心点O、眼球の回転角度をθとすると、ユーザの視線方向の先にある表示面上の視線位置Tと中心点Oとの距離Kは、以下の式で示される。
K=L・tanθ
上述の式より、ユーザのスクリーン32上の視線位置Tを特定することができる。
【0062】
次に、図6を参照して、特定された視線位置Tが、スクリーン32に表示された相手ユーザの右眼721、左眼722、及び鼻723を結ぶ領域(領域M)にあるか否かの判断方法の説明を行う。まず、スクリーン32に表示された相手ユーザの右眼721、左眼722、及び鼻723が、周知の方法によって抽出される。抽出方法としては、例えば、特開2008−234208号公報に記載された眼及び鼻の検出方法が適用可能である。
【0063】
具体的に説明する。まず、スクリーン32に表示された相手ユーザの顔を検出する。顔の検出は、顔輪郭のエッジを算出し、あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出し、顔輪郭の範囲で、顔を検出する。そして、検出された顔のほぼ中央において2つの隣り合った鼻孔を検出する。鼻孔部分においては、外部からの光が照射されにくいため、他の個所に比べて暗く撮影される、従って、鼻孔部分の境界付近では、各画素における濃度が変化する。従って、得られる濃度変化を示すエッジ値を検出することにより、鼻孔部分を検出することができる。そして隣り合った2つの鼻孔の中点の位置を、鼻723の位置として特定する。
【0064】
そして、検出された鼻723の位置よりも上方において、瞳孔部分が探索される。一般に、瞳孔部分は皮膚部分や白眼部分に比べて、反射率が小さいため、暗く撮影される。よって、瞳孔付近では、各画素における濃度が変化する。従って、得られる濃度変化を示すエッジ値を検出することにより、瞳孔部分を検出することができる。そして、検出された瞳孔の中心位置を、右眼721及び左眼722の位置として特定する。
【0065】
そして、特定された右眼721、左眼722、鼻723を結ぶ領域(以下、領域Mという)に、視線位置Tがあるか否かを判断し、視線位置Tが領域Mにあれば視線一致状態とする。
【0066】
次に、端末装置3の電気的構成について、図8を参照して説明する。図8は、端末装置3の電気的構成を示すブロック図である。なお、端末装置3、4は全て同じ構成であるので、ここでは端末装置3の構成についてのみ説明し、端末装置4については説明を省略する。
【0067】
端末装置3には、端末装置3の制御を司るコントローラとしてのCPU20が設けられている。CPU20には、BIOS等を記憶したROM21と、各種データを一時的に記憶するRAM22と、データの受け渡しの仲介を行うI/Oインタフェイス30とが接続されている。I/Oインタフェイス30には、各種記憶エリアを有するハードディスクドライブ31(以下、HDD31)が接続されている。
【0068】
I/Oインタフェイス30には、ネットワーク2と通信するための通信装置25と、マウス27と、ビデオコントローラ23と、キーコントローラ24と、ユーザを撮影するための上述したビデオカメラ34と、ユーザの音声を取り込むためのマイク35と、CD−ROMドライブ26と、計時装置41と、駆動回路331と、駆動回路332とが各々接続されている。ビデオコントローラ23には、上述したプロジェクタ28が接続されている。キーコントローラ24には、キーボード29が接続されている。駆動回路331には、上述した赤外線ライト33が接続されている。駆動回路332には、上述したカメラ移動装置36が接続されている。
【0069】
なお、CD−ROMドライブ26に挿入されるCD−ROM114には、端末装置3のメインプログラムや、本発明の通信制御プログラム等が記憶されている。CD−ROM114の導入時には、これら各種プログラムが、CD−ROM114からHDD31にセットアップされて、後述するプログラム記憶エリア313(図9参照)に記憶される。
【0070】
次に、HDD31の各種記憶エリアについて、図9を参照して説明する。HDD31には、ビデオカメラ34によって撮影された撮影画像を記憶する撮影画像データ記憶エリア311と、端末装置3のスクリーン32(図2、図4参照)に表示される画面データを記憶する表示画面データ記憶エリア312と、各種プログラムを記憶するプログラム記憶エリア313と、プログラムの実行に必要な所定時間を記憶する所定時間記憶エリア314と、ユーザとスクリーン32と赤外線ライト33との位置関係を記憶する位置関係記憶エリア315と、プログラムの実行に必要な所定値を記憶する所定値記憶エリア316と、その他の情報記憶エリア317とが少なくとも設けられている。
【0071】
表示画面データ記憶エリア312には、相手ユーザ画像記憶エリア(図示省略)と、共有資料データ記憶エリア(図示省略)とが少なくとも設けられている。相手ユーザ画像記憶エリアには、端末装置4から送信された相手ユーザの画像データが記憶される。共有資料データ記憶エリアには、ユーザまたは相手ユーザが指定した共有資料データが記憶される。共有資料データ記憶エリアに、共有資料データが記憶された場合に、スクリーン32に共有資料画面282が表示される。位置関係記憶エリア315には、ユーザの眼球72とスクリーン32との所定距離Lが記憶されている。
【0072】
プログラム記憶エリア313には、端末装置3のメインプログラムや、端末装置4との間で遠隔会議を実行するための通信制御プログラム等が記憶されている。その他の情報記憶エリア317には、端末装置3で使用されるその他の情報が記憶されている。なお、端末装置3がHDD31を備えていない専用機の場合は、ROM21に各種プログラムが記憶される。
【0073】
次に、RAM22の各種記憶エリアについて、図10を参照して説明する。RAM22には、視線方向記憶エリア221と、視線位置記憶エリア222と、領域M記憶エリア223と、共有資料画面座標記憶エリア224と、接続端末記憶エリア225と計測時間記憶エリア229とが少なくとも設けられている。視線方向記憶エリア221には、撮影画像データ記憶エリア311に記憶された撮影画像に基づき検出されたユーザの視線方向が、眼球72の回転角度として記憶される。視線位置記憶エリア222には、ユーザのスクリーン32上における視線位置が、スクリーン32のユーザから向かって右下を原点とする座標系における位置座標として記憶される。領域M記憶エリア223には、相手ユーザ画像記憶エリア(図示省略)に記憶された表示画像に基づいて特定された領域Mが、スクリーン32における位置座標として記憶される。共有資料画面座標記憶エリア224には、共有資料画面282の位置座標が記憶される。共有資料画面座標記憶エリア224には、基準サイズ記憶エリア(図示省略)と、拡大サイズ記憶エリア(図示省略)とが設けられている。接続端末記憶エリア225には、ネットワーク2を介して現在接続している接続端末の端末IDが記憶される。計測時間記憶エリア229には、計時装置により計測された時間が記憶される。
【0074】
次に、テレビ会議システム1における視線一致を考慮した通信制御処理について説明する。本説明では、自拠点側にある端末装置3と、他拠点側にある端末装置4とが会議を行う場合を想定する。端末装置3、4では、視線方向を検出して視線一致状態を監視する「視線方向検出処理」と、視線一致を受けてビデオカメラの撮影位置を変更する「撮影位置変更処理」との両方が行われる。そこで、説明の便宜上、自拠点側の端末装置3において視線方向検出処理が実行され、他拠点側の端末装置4において撮影位置変更処理が実行される場合を例に説明する。
【0075】
まず、自拠点側の端末装置3のCPU20において実行される視線方向検出処理について、図11のフローチャートを参照して説明する。端末装置3と端末装置4とが各々ネットワークに接続し、互いに通信を開始すると、図11に示す視線方向検出処理が開始される。視線方向検出処理が開始されると、はじめに、計測時間記憶エリア229に記憶された視線一致時間t1の値、送信後経過時間t2の値が初期化される(S1)。
【0076】
次に、駆動回路331が駆動されて、赤外線ライト33が発光される。そして、ビデオカメラ34で撮影されたユーザの画像が、撮影画像データ記憶エリア311に記憶される。撮影画像データ記憶エリア311に記憶された撮影画像から、プルキニエ像71及び瞳孔中心76が検出されて、プルキニエ像71及び瞳孔中心76の距離が算出される。そして、プルキニエ像71及び瞳孔中心76の距離から眼球の回転角度θが算出されて、ユーザの視線方向が検出される(S2)。検出された視線方向は、RAM22の視線方向記憶エリア221に記憶される。
【0077】
続いて、視線方向記憶エリア221に記憶された視線方向と、位置関係記憶エリア315に記憶された所定距離Lから、スクリーン32における表示画像上のユーザの視線位置Tが特定される(S3)。特定された視線位置Tは、RAM22の視線位置記憶エリア222に記憶される。
【0078】
次に、端末装置4から送信され、表示画面データ記憶エリア312の相手ユーザ画像記憶エリア(図示省略)に記憶された表示画像から、相手ユーザの顔が検出される。そして、検出された顔の中から、相手ユーザの右眼721、左眼722、鼻723が検出される。そして、検出された右眼721、左眼722、及び鼻723の位置座標に基づいて、眼と鼻とを結ぶ領域Mが、スクリーン32における表示画面上において特定される(S4)。特定された領域Mは、領域M記憶エリア223に記憶される。
【0079】
そして、視線位置記憶エリア222に記憶された視線位置Tが、領域M記憶エリア223に記憶された領域Mにあるか否かが判断される(S5)。視線位置Tが領域Mにある場合(S5:YES)、視線一致状態であると判断されて、計時装置41による視線一致時間t1の計測がなされているか否かが判断される(S6)。視線一致時間t1の計測が開始されておらず、視線一致時間t1が計測中でない場合(S6:NO)、視線一致時間t1の計測が開始される(S7)。計測された視線一致時間t1は、計測時間記憶エリア229の視線一致時間記憶エリア(図示省略)に記憶される。視線一致時間t1の計測が開始されると、再度、S2〜S5の処理が行われる。視線一致時間t1が計測中である場合(S6:YES)、計測された視線一致時間t1が、所定時間記憶エリア314に記憶された第一所定時間T1以上であるか否かが判断される(S8)。本実施形態では、第一所定時間T1は5秒である。
【0080】
視線一致時間t1が第一所定時間T1以上でない場合(S8:NO)、視線一致状態となってからの経過時間が5秒未満である。この場合には、ユーザはスクリーン32に表示された相手ユーザに対して、自然に視線を一致させた状態であるとして、視線一致時間t1が第一所定時間T1以上となるまで、S2〜S8の処理が繰り返される。
【0081】
一方、視線一致時間t1が第一所定時間T1以上である場合(S8:YES)、視線一致状態が5秒以上継続している。この場合には、相手ユーザの使用する端末装置4に、視線一致状態が不自然に継続したことを通知する第一信号が送信される(S9)。なお、後述するが、第一信号は、端末装置4においてビデオカメラ34の撮影位置を変更させるために、端末装置4に送信されるものである。
【0082】
第一信号が送信されると(S9)、第一信号が送信されてからの経過時間である送信後経過時間t2の計測が開始される(S10)。計測された送信後経過時間t2は、計測時間記憶エリア229の送信後経過時間記憶エリア(図示省略)に記憶される。続いて、表示画面データ記憶エリア312の共有資料データ記憶エリアが参照されて、スクリーン32に共有資料画面282が表示されているか否かが判断される(S11)。共有資料データ記憶エリアに共有資料のデータが記憶されていない場合、スクリーン32には共有資料画面282が表示されていない(S11:NO)。この場合には、S13の処理に移行する。
【0083】
一方、共有資料データ記憶エリアに共有資料のデータが記憶されている場合、スクリーン32には共有資料画面282が表示されている(S11:YES)。この場合には、図12に示すように、共有資料画面282が相手ユーザ画面281を覆うように拡大される(S12)。
【0084】
ここで、スクリーン32の表示領域の横方向長さがa、縦方向長さがbであって、共有資料画面282の横方向長さが(a×(1/3))、縦方向長さが(b×(1/4))である場合を例に挙げて、具体的に説明する。なお、共有資料画面282の右下とスクリーン32の表示領域の右下とは一致するものとする。
【0085】
スクリーン32に共有資料画面282が表示されている場合(S11:YES)、共有資料画面座標記憶エリア224の基準サイズ記憶エリア(図示省略)が参照されて、共有資料画面282の表示領域が取得される。さらに、取得された共有資料画面282の表示領域に対するスクリーン32の表示領域の大きさの比が、横方向及び縦方向についてそれぞれ算出される。上述の例では、共有資料画面282に対するスクリーン32の大きさの比は、横方向では3であり、縦方向では約4である。
【0086】
次に、算出された2つの比のうちの小さい比を拡大率として、共有資料画面282が自身の右下を原点として拡大される(S12)。上述の例では、共有資料画面282は、自身の右下を原点として縦に3倍、横に3倍拡大されるので、共有資料画面282の横方向の長さはa(=(a×(1/3))×3)、縦方向の長さは(b×(3/4))(=(b×(1/4))×3)となる。そして、拡大された共有資料画面282の右上、右下、左下のスクリーン32における座標が、共有資料画面282の大きさに関するデータとして、共有資料画面座標記憶エリア224の拡大サイズ記憶エリア(図示省略)に記憶される。左右方向をx方向、上下方向をy方向とし、右下を原点とすると、上述の例では、左下の座標が(a、0)、右上の座標が(0、(b×(3/4)))、左上の座標が(a、(b×(3/4)))として、拡大サイズ記憶エリア(図示省略)に記憶される。
【0087】
そして、拡大サイズ記憶エリアと領域M記憶エリア223とが参照されて、領域Mが共有資料画面282の表示領域に含まれるか否かが判断される。領域Mが共有資料画面282の表示領域に含まれる場合には、S12の処理を終了してS13の処理に移行する。領域Mが共有資料画面282の表示領域に含まれない場合には、領域Mが共有資料画面282の表示領域に含まれるように、共有資料画面282を移動させる。そして、S13の処理に移行する。
【0088】
なお、共有資料画面282は、相手ユーザ画面281の上側に重ねて配置されることになるが、相手ユーザ画面281と重なる部分については透過表示される。すなわち、共有資料画面282の下側に配置された相手ユーザ画面281は、端末装置3のユーザから視認可能となっている。
【0089】
スクリーン32に共有資料画面282が表示されていないと判断された場合(S11:NO)、もしくは、共有資料画面282が拡大表示された場合(S12)、計測された送信後経過時間t2が、所定時間記憶エリア314に記憶された第二所定時間T2以上であるか否かが判断される(S13)。本実施形態では、第二所定時間T2は10秒である。
【0090】
送信後経過時間t2が第二所定時間T2以上でない場合(S13:NO)、端末装置4において、ビデオカメラ34の撮影位置が変更されてからの経過時間は10秒未満である。この場合には、不自然な視線一致状態が回避されてから、未だ十分な時間が経過していないとして、送信後経過時間t2が第二所定時間T2以上となるまで、S13の処理が繰り返される。
【0091】
一方、送信後経過時間t2が第二所定時間T2以上である場合(S13:YES)、端末装置4におけるビデオカメラ34の撮影位置が変更されてから十分な時間が経過している。この場合には、相手ユーザの使用する端末装置4に、不自然な視線一致状態が回避された旨の第二信号が送信される(S14)。S14においては、スクリーン32に共有資料画面282が拡大表示されている場合(S11:YES)には、第二信号が送信されるとともに、共有資料画面座標記憶エリア224の基準サイズ記憶エリアが参照されて、共有資料画面282の大きさが拡大前の大きさに戻される。
【0092】
そして、会議終了であるか否かが判断される(S15)。具体的には、ネットワーク2に接続されている端末が、自身のほかに1以上あるか否かがが判断される。端末装置3、4では、ネットワーク2に接続すると、ネットワーク2に接続したことを示す接続信号が相手側の端末に送信される。他の端末からの接続信号を受信した場合、接続信号を送信した端末の端末IDが、RAM22の接続端末記憶エリア225に記憶される。一方、ネットワーク2への接続を切断すると、ネットワークへの接続を切断したことを示す切断信号が相手側の端末に送信される。
【0093】
他の端末からの切断信号を受信した場合、切断信号を送信した端末の端末IDが、RAM22の接続端末記憶エリア225から削除される。接続端末記憶エリア225が参照されて、ネットワーク2に接続されている端末が、自身の他に0であると判断された場合(S15:YES)、処理は終了する。一方、ネットワーク2に接続されている端末が、自身のほかに1以上ある場合(S15:NO)、S1に戻り、S1〜S15の処理が繰り返される。
【0094】
次に、他拠点側の端末装置4のCPU20において実行される撮影位置変更処理について、図13のフローチャートを参照して説明する。端末装置3と端末装置4とが各々ネットワークに接続し、互いに通信を開始すると、図13に示す撮影位置変更処理が開始される。撮影位置変更処理が開始されると、端末装置3から送信された第一信号が受信されたか否かが判断される(S51)。
【0095】
第一信号が受信されていない場合(S51:NO)、会議終了であるか否かが判断される(S55)。第一信号が受信された場合(S51:YES)、端末装置3のユーザと端末装置4のユーザとが、不自然な視線一致状態にあるとして、駆動回路332(図8参照)によって、カメラ移動装置36の備えるモータ(図示省略)が駆動される。そして、モータの駆動量に応じて、ビデオカメラ34の位置が移動する。具体的には、図3に示すように、ユーザの視線の延長線上に位置していたビデオカメラ34は、レール部341に沿って、ユーザを中心として円弧上に移動する。こうして、撮影位置がユーザの視線方向に相対する位置から退避する位置に変更される(S52)。
【0096】
端末装置3から送信された第二信号が受信されたか否かが判断される(S53)。第二信号が受信されていない場合(S53:NO)、第二信号が受信されるまで、S53の処理が繰り返される。第二信号が受信された場合(S53:YES)、端末装置3のユーザと端末装置4のユーザとの不自然な視線一致状態は、回避することができたとして、駆動回路332によって、ビデオカメラ34の位置を変更するためのモータ(図示省略)が駆動される。そして、ユーザの視線の延長線上からはずれて位置していたビデオカメラ34は、カメラ支持部材342に支持されながら、ユーザを中心として円弧上にユーザと相対する位置まで移動する。こうして、撮影位置が元の位置に復帰される(S54)。
【0097】
そして、接続端末記憶エリア225が参照されて、ネットワーク2に接続されている端末が、自身の他に1以上あるか否かが判断される(S55)。ネットワーク2に接続されている端末が、自身の他には0である場合(S55:YES)、処理を終了する。一方、ネットワーク2に接続されている端末が、自身のほかに1以上ある場合(S55:NO)、S51に戻り、S51〜S55の処理が繰り返される。
【0098】
なお、以上説明において、図2、図8に示すビデオカメラ34が本発明の「ユーザ撮影手段」に相当する。赤外線ライト33が、本発明の「照射手段」に相当する。プロジェクタ28およびプロジェクタ28を制御するCPU20が、本発明の「表示手段」に相当する。図9に示すHDD31の位置関係記憶エリア315が本発明の「位置関係記憶手段」に相当する。図11に示すS2の処理を実行するCPU20が本発明の「視線方向検出手段」に相当する。図11に示すS3の処理を実行するCPU20が本発明の「視線位置特定手段」に相当する。図11に示すS4において相手ユーザの顔を検出するCPU20が本発明の「顔検出手段」に相当する。図11に示すS5の処理を実行するCPU20が本発明の「視線一致検出手段」に相当する。図11に示すS7の処理を実行するCPU20が本発明の「視線一致時間計測手段」に相当する。図11に示すS9の処理を実行するCPU20が本発明の「第一信号送信手段」に相当する。図11に示すS10の処理を実行するCPU20が本発明の「送信後経過時間計測手段」に相当する。図11に示すS11の処理を実行するCPU20が本発明の「別画像表示判断手段」に相当する。図11に示すS13の処理を実行するCPU20が本発明の「第二所定時間判断手段」に相当する。図11に示すS14の処理を実行するCPU20が本発明の「第二信号送信手段」に相当する。図13に示すS51の処理を実行するCPU20が本発明の「第一信号受信手段」に相当する。図13に示すS52の処理を実行するCPU20が本発明の「撮影位置変更手段」に相当する。図13に示すS53の処理を実行するCPU20が本発明の「第二信号受信手段」に相当する。図13に示すS54の処理を実行するCPU20が本発明の「撮影位置復帰手段」に相当する。
【0099】
以上説明したように、第一実施形態である端末装置3は、ネットワーク2を介して他の端末装置4と相互に接続される。これら端末装置間で、画像、音声を互いに送受信することで遠隔会議を実施するテレビ会議システム1を構成する。このテレビ会議システム1では、遠隔会議中に、端末装置3(又は4)のユーザが、スクリーン32に表示された相手ユーザに対して、視線を不自然に一致させているか否かを監視する。そして、不自然な視線一致状態が検出された場合に、相手ユーザの端末装置4(又は3)に対して、不自然な視線一致状態が検出された旨の信号(第一信号)を送信する。相手ユーザの端末装置4(又は3)では、第一信号を受信すると、相手ユーザを撮影するビデオカメラ34の位置を変更する。これにより、会議参加者同士の不自然な視線一致状態を回避することができ、会議参加者は、円滑に会話をすることができる。
【0100】
次に、第二実施形態である端末装置130について、図面を参照して説明する。端末装置130では、ユーザと相手ユーザとが不自然な視線一致状態にある場合、相手ユーザを撮影するビデオカメラ34の位置を変更させて視線一致状態を回避する。また、ユーザの瞬きの回数をカウントし、瞬きが頻繁に行われている場合には、ユーザが緊張状態にあるとして、視線一致状態の回避時間を長くする。また、ユーザと相手ユーザとがいずれも無言状態にある場合には、気まずい雰囲気にあるとして、視線一致状態の回避時間を長くする。そこで、これら異なる点を重点的に説明するために、第一実施形態とは異なるCPU120による通信制御処理を中心に説明する。なお、第二実施形態の端末装置130は、第一実施形態の端末装置3と同様に、図1に示すテレビ会議システム1を構成するものである。
【0101】
はじめに、瞬き検出方法について説明する。瞬きを検出する方法としては、周知の方法が用いられ、例えば、特開2008−226106号公報に記載された瞬きの検出方法が適用可能である。
【0102】
上記検出方法を適法した瞬きの検出方法について、図14および図15を参照して説明する。まず、撮影画像データ記憶エリア311に記憶されたユーザの撮影画像から、ユーザの顔を検出する。顔の検出は、顔輪郭のエッジを算出し、あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出することによって行う。
【0103】
次に、検出された顔の領域の中から、瞬きを検出する領域(瞬き検出領域70)が抽出される。瞬き検出領域70を抽出するために、まず、検出された顔のほぼ中央において2つの隣り合った鼻孔を検出する。そして、検出された鼻孔位置よりも上方において横長の長方形状の瞬き検出領域70が抽出される。
【0104】
抽出された瞬き検出領域70において、眼77の開閉状態を判断する。眼77の開閉状態を判断するために、はじめに、瞬き検出領域70において眼77を検出し、検出された眼77の面積を取得する。次に、検出された眼77の面積の顔面積に対する割合が、後述するHDD131の閾値記憶エリア318に記憶された閾値以上であるか否かを判断する。閾値は、ユーザが最も眼77を開いている場合の顔に対する眼77の面積の割合(最大値)と、ユーザが眼77をつむっている場合の顔に対する眼77の面積の割合(最小値)との平均値である。閾値以上であれば眼77を開いた状態と判断し、閾値以下であれば眼77を閉じた状態と判断する。
【0105】
眼77の開閉状態の判断は、1/30秒ごとに行う。眼77の面積が閾値以上から閾値未満に変化した場合に、瞬きが行われたとして検出する。
【0106】
次に、端末装置130の電気的構成について、図16を参照して説明する。端末装置130には、端末装置130の制御を司るコントローラとしてのCPU120が設けられている。CPU120には、BIOS等を記憶したROM121と、各種データを一時的に記憶するRAM122と、データの受け渡しの仲介を行うI/Oインタフェイス30とが接続されている。I/Oインタフェイス30には、各種記憶エリアを有するハードディスクドライブ131(以下、HDD131)と、カードリーダ制御部38とが接続されている。カードリーダ制御部38には、各ユーザが所有する識別カード(図示外)に記憶されたユーザを識別するためのユーザIDを読み込むためのカードリーダ39が接続されている。
【0107】
HDD131は、図17に示すように、第一実施形態のHDD31と同様の各種記憶エリア(図9参照)に加えて、閾値記憶エリア318と、所定値記憶エリア316と、ユーザID記憶エリア320とを備える。ユーザID記憶エリア320には、会議開始時にカードリーダ39で読み取られた識別カード(図示外)に記憶されたユーザIDが記憶される。閾値記憶エリア318には、閾値テーブル(図示省略)が設けられている。閾値テーブルには、ユーザごとに顔面積に対する眼面積の平均値(閾値)が記憶されている。
【0108】
RAM122には、瞬き検出領域70の眼77の画像を記憶する眼画像記憶エリア226と、カウントされた瞬き回数を記憶する瞬き回数記憶エリア227と、ユーザまたは相手ユーザが音声を発した場合に、音声があったこと記憶する音声有無記憶エリア228とを備える。端末装置130のその他の電気的構成は、第一実施形態の端末装置3(図8参照)と同様の構成を備えている。
【0109】
次に、CPU120による通信制御処理について、図19のフローチャートを参照して説明する。本実施形態においても、端末装置3、4では、視線方向を検出して視線一致状態を監視する「視線方向検出処理」と、視線一致を受けてビデオカメラの撮影位置を変更する「撮影位置変更処理」との両方が行われる。「撮影位置変更処理」は、第一実施形態と同様であるため、説明を省略する。
【0110】
端末装置3と端末装置4とが各々ネットワークに接続し、互いに通信を開始すると、図19に示す視線方向検出処理が開始される。視線方向検出処理が開始されると、はじめに、計測時間記憶エリア229に記憶された視線一致時間t1の値、送信後経過時間t2の値が初期化される。また、瞬き回数記憶エリア227に記憶された瞬き回数Yの値、音声有無記憶エリア228に記憶された値が初期化される(S21)。
【0111】
次に、上述の方法によって、ユーザの視線方向が検出される(S22)。検出された視線方向は、RAM122の視線方向記憶エリア221に記憶される。続いて、視線方向記憶エリア221に記憶された視線方向と、位置関係記憶エリア315に記憶された所定距離Lから、スクリーン32における表示画像上のユーザの視線位置Tが特定される(S23)。特定された視線位置Tは、RAM122の視線位置記憶エリア222に記憶される。
【0112】
次に、上述の方法により、相手ユーザのスクリーン32上での右眼721、左眼722、鼻723を結ぶ領域Mが特定される(S24)。特定された領域Mは、領域M記憶エリア223に記憶される。
【0113】
そして、視線位置記憶エリア222に記憶された視線位置Tが、領域M記憶エリア223に記憶された領域Mにあるか否かが判断される(S25)。視線位置Tが領域Mにある場合(S25:YES)、視線一致状態であると判断されて、視線一致時間t1が計測中であるか否かが判断される(S26)。視線一致時間t1が計測中でない場合(S26:NO)、視線一致時間t1の計測が開始される(S27)。
【0114】
視線一致時間t1の計測が開始されると(S27)、音声を検出する音声検出処理が起動される(S28)。音声検出処理について、図20を参照して説明する。音声検出処理は、図19に示す視線方向検出処理の中で起動される処理であり、視線方向検出処理と並行して行われる。
【0115】
音声検出処理では、まず、マイク35からユーザの音声が入力されたか、又は端末装置4から相手ユーザの音声データが送信されたかが判断される(S101)。マイク35からユーザの音声が入力されたか、又は端末装置4から相手ユーザの音声データが送信された場合には(S101:YES)、音声有無記憶エリア228に音声が検出されたことが記憶される(S102)。具体的には、音声有無記憶エリア228に「1」が記憶される。そして、S101の処理に戻る。
【0116】
マイク35からユーザの音声が入力されず、又は端末装置4から相手ユーザの音声データが送信されない場合には(S101:NO)、音声有無記憶エリア228の記憶内容は変更されずに、S101の処理に戻る。なお、音声有無記憶エリア228の初期値は「0」である。音声検出処理は、視線方向検出処理が終了する際に同時に終了する。
【0117】
図19に示す視線方向検出処理において、音声検出処理が起動されると(S28)、次に、瞬き回数のカウントをする瞬きカウント処理が起動される(S29)。瞬きカウント処理について、図21を参照して説明する。瞬きカウント処理は、図19に示す視線方向検出処理の中で起動される処理であり、視線方向検出処理と並行して行われる。
【0118】
瞬き回数カウント処理では、まず、ユーザID記憶エリア320と閾値記憶エリア318とが参照されて、端末装置130を使用しているユーザの顔面積に対する眼面積の割合の平均値(閾値)が特定される(S131)。そして、撮影画像データ記憶エリア311が参照されて、上述の方法により、瞬きの有無が検出される(S132)。そして、瞬きがあったか否かが判断される(S133)。瞬きがあったと判断されると(S133:YES)、瞬き回数記憶エリア227に記憶された瞬き回数Yの値が1増加されて上書きされ(S134)、S131の処理に戻る。瞬きがなかったと判断されると(S133:NO)、S134の処理は行われずに、S131に戻る。なお、瞬きカウント処理は、視線方向検出処理が終了する際に同時に終了する。
【0119】
図19に示す視線方向検出処理において、瞬き回数カウント処理が起動されると(S29)、再度、S22〜S25の処理が行われる。
【0120】
視線一致時間t1が計測中である場合(S26:YES)、計測された視線一致時間t1が、所定時間記憶エリア314に記憶された第一所定時間T1以上であるか否かが判断される(S30)。本実施形態では、第一所定時間T1は5秒である。
【0121】
視線一致時間t1が第一所定時間T1以上でない場合(S30:NO)、視線一致状態となってからの経過時間が5秒未満である。この場合には、ユーザはスクリーン32に表示された相手ユーザに対して、自然に視線を一致させた状態であるとして、視線一致時間t1が第一所定時間T1以上となるまで、S22〜S30の処理が繰り返される。
【0122】
一方、視線一致時間t1が第一所定時間T1以上である場合(S30:YES)、視線一致状態が5秒以上継続している。この場合には、相手ユーザの使用する端末装置4に、視線一致状態が不自然に継続したことを通知する第一信号が送信される(S31)。第一信号は、第一実施形態と同様に、端末装置4においてビデオカメラ34の撮影位置を変更させるために、端末装置4に送信されるものである。
【0123】
第一信号が送信されると(S31)、第一信号が送信されてからの経過時間である送信後経過時間t2の計測が開始される(S32)。続いて、表示画面データ記憶エリア312の共有資料データ記憶エリアが参照されて、スクリーン32に共有資料画面282が表示されているか否かが判断される(S33)。共有資料データ記憶エリアに共有資料の画面データが記憶されていない場合、スクリーン32には共有資料画面282が表示されていない(S33:NO)。この場合には、S35の処理に移行する。
【0124】
一方、共有資料データ記憶エリアに共有資料の画面データが記憶されている場合、スクリーン32には共有資料画面282が表示されている(S33:YES)。この場合には、共有資料画面282が相手ユーザ画面281を覆うように拡大される(S34)。拡大方法は第一実施形態と同様であるため、説明を省略する。
【0125】
そして、計測された視線一致時間t1が、所定時間記憶エリア314に記憶された第三所定時間T3以上であるか否かが判断される(S35)。本実施形態では、第三所定時間T3は7秒である。
【0126】
視線一致時間t1が第三所定時間T3以上でない場合(S35:NO)、視線一致時間t1が第三所定時間T3以上となるまで、S35の処理が繰り返される。視線一致時間t1が第三所定時間T3以上である場合(S35:YES)、音声有無記憶エリア228が参照されて、視線一致時間t1が第三所定時間T3以上となるまでの間、ユーザと相手ユーザとが無言状態であったか否かが判断される(S36)。
【0127】
音声有無記憶エリア228に「0」が記憶されている場合、ユーザおよび相手ユーザのいずれも音声を発しない、無言状態が継続していたと判断される(S36:YES)。無言状態が続いていたユーザと相手ユーザとは、気まずい雰囲気であった可能性が高い。続いて、瞬き回数記憶エリア227と所定値記憶エリア316とが参照されて、視線一致時間t1が第三所定時間T3以上となるまでの間にユーザが行った瞬きの回数Yが、所定値U以上であったか否かが判断される(S37)。一般に、ユーザは緊張状態になると瞬きの回数が増加する。瞬き回数記憶エリア227に記憶された瞬きの回数Yが、所定値記憶エリア316に記憶された所定値U以上である場合(S37:YES)、ユーザは緊張状態にある可能性が高い。
【0128】
このように、不自然な視線一致状態が継続し、ユーザ間で無言状態が継続したうえに(S36:YES)、ユーザの瞬き回数Yが所定値U以上である場合(S37:YES)、ユーザは非常に居心地の悪い状況にあるといえる。この場合、所定時間記憶エリア314に記憶された第二所定時間T2の値が所定時間aに変更される(S38)。所定時間aは、初期状態の第二所定時間T2よりも長い時間である。本実施形態では、初期状態の第二所定時間を10秒とし、所定時間aを20秒とする。
【0129】
一方、瞬き回数記憶エリア227に記憶された瞬きの回数Yが、所定値記憶エリア316に記憶された所定値U未満である場合(S37:NO)、ユーザは緊張状態にない可能性が高い。このように、不自然な視線一致状態が継続し、かつユーザ間で無言状態が継続しているものの(S36;YES)、ユーザの瞬き回数Yが所定値U未満の場合(S37:NO)、所定時間記憶エリア314に記憶された第二所定時間T2の値が所定時間bに変更される(S39)。所定時間bは、初期状態の第二所定時間T2よりも長い時間であって、所定時間aよりも短い時間である。本実施形態では、所定時間bを15秒とする。
【0130】
また、S36において、音声有無記憶エリア228に「1」が記憶されている場合、ユーザもしくは相手ユーザのいずれかが音声を発しているため、無言状態は継続していなかったと判断される(S36:NO)。この場合、ユーザと相手ユーザとの間に、視線一致状態が長く続いたものの、ユーザと相手ユーザとの間には会話があり、気まずい雰囲気はなかった可能性が高い。
【0131】
この場合、続いて、瞬き回数記憶エリア227と所定値記憶エリア316とが参照されて、視線一致時間t1が第三所定時間T3以上となるまでの間にユーザが行った瞬きの回数Yが、所定値U以上であったか否かが判断される(S40)。瞬き回数記憶エリア227に記憶された瞬きの回数Yが、所定値記憶エリア316に記憶された所定値U以上である場合(S40:YES)、ユーザは緊張状態にある可能性が高い。
【0132】
このように、不自然な視線一致状態が継続し、ユーザのいずれかに発話があったものの(S36:NO)、ユーザの瞬き回数Yが所定値U以上である場合(S40:YES)、所定時間記憶エリア314に記憶された第二所定時間T2の値が所定時間cに変更される(S41)。所定時間cは、初期状態の第二所定時間T2よりも長い時間であり、所定時間aや所定時間bよりも短い時間である。本実施形態では所定時間cは12秒とする。
【0133】
一方、瞬き回数記憶エリア227に記憶された瞬きの回数Yが、所定値記憶エリア316に記憶された所定値U未満である場合(S40:NO)、ユーザは居心地の悪さをそれほど感じていないとして、第二所定時間T2の値は変更されない。
【0134】
S38、S39、S41のいずれかの処理が終了すると、計測された送信後経過時間t2が、所定時間記憶エリア314に記憶された第二所定時間T2以上であるか否かが判断される(S42)。上述のように、所定時間記憶エリア314に記憶された第二所定時間T2は、検出されたユーザの緊張度や居心地の悪さに応じて設定されている。具体的には、第二所定時間T2は、ユーザと相手ユーザとの間に無言状態が継続し、かつユーザの瞬き回数が多い場合には20秒に設定される。ユーザと相手ユーザとの間に無言状態が継続しているものの、ユーザの瞬き回数が多くない場合には15秒に設定される。ユーザと相手ユーザとの間に発話があり、ユーザの瞬き回数が多い場合には12秒に設定される。ユーザと相手ユーザとの間に発話があり、ユーザの瞬き回数が多くない場合には初期状態である10秒のままである。
【0135】
送信後経過時間t2が第二所定時間T2以上でない場合(S42:NO)、ユーザの居心地の悪さが回避されてから、未だ十分な時間が経過していないとして、送信後経過時間t2が第二所定時間T2以上となるまで、S42の処理が繰り返される。
【0136】
一方、送信後経過時間t2が第二所定時間T2以上である場合(S42:YES)、端末装置4におけるビデオカメラ34の撮影位置が変更されてから十分な時間が経過している。この場合には、相手ユーザの使用する端末装置4に、端末装置3のユーザの居心地の悪さが回避された旨の第二信号が送信される(S43)。
【0137】
そして、接続端末記憶エリア225を参照して、ネットワーク2に接続されている端末が自身のほかに1以上あるか否かが判断される(S44)。ネットワーク2に接続されている端末が、自身の他に0であると判断された場合、会議終了であるとして(S44:YES)、処理は終了する。一方、ネットワーク2に接続されている端末が、自身のほかに1以上ある場合、会議は継続しているとして(S44:NO)、S21に戻り処理が繰り返される。
【0138】
以上説明したように、第二実施形態の端末装置130では、ユーザと相手ユーザとの間で、無言状態が第三所定時間T3以上続いた場合、相手ユーザを撮影するビデオカメラ34の位置を変更してから復帰するまでの時間を延長する。そのため、無言状態が長く続いた場合には、視線を外す時間を延長することができる。よって、気まずい雰囲気にあるユーザ間で視線一致状態が不自然にあった場合には、気まずい雰囲気を確実に回避させることができる。
【0139】
また、第三所定時間T3の間に、ユーザが行った瞬きの回数Yが所定値U以上である場合には、相手ユーザを撮影するビデオカメラ34の位置を変更してから復帰するまでの時間を延長する。そのため、相手ユーザに対して不自然に視線を一致させたユーザが緊張状態にある場合には、視線を外す時間を延長することができる。よって、ユーザの緊張状態をやわらげることができる。
【0140】
なお、以上説明において、図20に示すS101の処理を行うCPU120が本発明の「ユーザ音声検出手段」および「相手ユーザ音声検出手段」に相当する。図19に示すS27、S28の処理を実行するCPU120が本発明の「無言時間計測手段」に相当する。図19に示すS38、S39の処理を実行するCPU120が本発明の「第一の第二所定時間調整手段」に相当する。図19に示すS35の処理を実行するCPU120が本発明の「第三所定時間判断手段」に相当する。図21に示すS132の処理を行うCPU120が本発明の「瞬き検出手段」に相当する。図21に示すS134の処理を行うCPU120が本発明の「瞬きカウント手段」に相当する。図19に示すS30、S41の処理を実行するCPU120が本発明の「第二の第二所定時間調整手段」に相当する。図19に示すS27の処理を実行するCPU120が本発明の「計測手段」に相当する。図19に示すS35の処理を実行するCPU120が本発明の「第四所定時間判断手段」に相当する。図19に示すS37の処理を実行するCPU120が本発明の「瞬き回数判断手段」に相当する。
【0141】
なお、上記実施形態は、発明を逸脱しない範囲で種々の変更が可能であることは、言うまでもない。例えば、実施形態のテレビ会議システムは、2台の端末装置を備えていたが、本発明は3台以上の装置を備えるテレビ会議システムにも適応可能である。画面に表示される複数の相手ユーザのうちのいずれかひとりに対して、ユーザが視線を一致させている時間が長すぎる場合、視線一致の対象となる相手ユーザのビデオカメラ34の撮影位置を変更すればよい。複数の相手ユーザのうちの特定の相手ユーザと気まずい雰囲気になった場合にも、気まずい雰囲気を回避することができ、会議を円滑に進めることできる。
【0142】
また、相手ユーザの端末装置4に送信する画像を撮影するビデオカメラ34を利用して、ユーザの視線方向の検出を行うための画像を撮影したが、視線方向検出のためのビデオカメラを別に設けてもよい。
【0143】
また、赤外線ライト33の設置位置は実施形態に限定されない。この場合、スクリーン32に対する赤外線ライト33の配置位置をHDD31に記憶しておく。スクリーン32の面に対する赤外線ライト33の照射角度をα、上述の方法で検出された眼球72の回転角度をθ、眼球72の中心からスクリーン32に対して直角に交わる交点を中心点O、眼球72の中心と中心点Oとの距離をLとする。使用者の視線方向の先にあるディスプレイ28上の視線位置と中心点Oとの距離Kは、以下の式で示される。
K=L・tan(θ−(90−α))
スクリーン32の裏面のスペースが限られている場合には、赤外線ライト33の設置位置を変更することができる。
【0144】
また、上述の実施形態では、不自然な視線一致状態が検出された場合、スクリーン32に共有資料画面282が存在すれば、スクリーン32に共有資料画面282を拡大させたが、拡大する画面は共有資料画面282に限定されない。スクリーン32に相手ユーザ画面281の他の別画面が表示されているか否かを、表示画面データ記憶エリア312を参照して判断し、別画面が表示されていると判断された場合には、別画像を拡大表示してもよい。また、スクリーン32に共有資料画面282が存在している場合であっても、共有資料画面282を拡大させなくてもよい。
【0145】
また、図19に示す第二実施形態の視線方向検出処理では、音声検出処理を起動させるとともに(S28)、瞬き回数カウント処理を起動させたが(S29)、音声検出処理及び瞬き回数カウント処理のいずれか一方を起動させてもよい。
【0146】
また、上述の実施形態では、ユーザの眼球72とスクリーン32との距離は、一定であると近似され、所定距離Lとして予め記憶されていたが、これに限定されるものでは無い。たとえば、遠隔会議開始時や視線方向検出時などに、ユーザの眼球72とスクリーン32との距離を算出し、算出された値を前記所定距離Lとして、スクリーン32上のユーザの視線位置Tを特定しても良い。所定距離Lの算出方法としては、周知の方法が適用可能であるが、たとえば、以下の方法が適用可能である。
【0147】
この方法では、予めビデオカメラ34とユーザ(ユーザの眼球72)とを所定距離とした状態でユーザを撮影する。撮影されたユーザの画像からユーザの各眼球72について瞳孔75の位置をそれぞれ抽出し、抽出された瞳孔75の間隔を、基準瞳孔間隔として予めHDD31に記憶する。一般に、撮影画像における瞳孔間隔は、瞳孔75とビデオカメラ34との距離に反比例する。よって、ビデオカメラ34により撮影された実際の瞳孔間隔と、予め記憶された基準瞳孔間隔とから、ビデオカメラ34と眼球72との距離を算出できる。ビデオカメラ34とスクリーン32との位置関係を予めHDD31に記憶しておくことにより、スクリーン32と眼球72との距離を算出することができ、算出された値を所定距離Lとして用いることができる。
【符号の説明】
【0148】
1 テレビ会議システム
2 ネットワーク
3,4 端末装置
32 スクリーン
33 赤外線ライト
34 ビデオカメラ
35 マイク
36 カメラ移動装置
71 プルキニエ像
72 眼球
75 瞳孔
76 瞳孔中心
130 端末装置
131 ハードディスクドライブ
221 視線方向記憶エリア
222 視線位置記憶エリア
281 相手ユーザ画面
282 共有資料画面
310 撮影画像データ記憶エリア
312 表示画面データ記憶エリア
315 位置関係記憶エリア
t1 視線一致時間
T1 第一所定時間
t2 送信後経過時間
T2 第二所定時間
T3 第三所定時間

【特許請求の範囲】
【請求項1】
ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置であって、
ユーザを撮影するユーザ撮影手段と、
前記ユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像送信手段と、
他の端末から送信された前記画像を画面に表示する表示手段と、
前記ユーザ撮影手段により撮影された画像から前記ユーザの視線方向を検出する視線方向検出手段と、
前記視線方向検出手段が検出した前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定手段と、
前記画面上の前記ユーザの顔を検出する顔検出手段と、
前記視線位置特定手段によって特定された前記視線位置が、前記顔検出手段によって検出された前記ユーザの顔の所定領域内にある状態を視線一致状態として検出する視線一致検出手段と、
前記視線一致検出手段により前記視線一致状態が検出された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測手段と、
前記視線一致時間計測手段により計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断手段と、
前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する端末である相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信手段と、
前記相手側端末から送信された前記第一信号を受信する第一信号受信手段と、
前記第一信号受信手段によって、前記第一信号を受信した場合に、前記ユーザ撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更手段と
を備えたことを特徴とする通信端末装置。
【請求項2】
前記撮影位置変更手段は、前記撮影手段を前記ユーザの視線方向から退避する位置に移動させることを特徴とする請求項1に記載の通信端末装置。
【請求項3】
非可視光を前記ユーザの眼球に照射する照射手段をさらに備え、
前記視線方向検出手段は、
前記ユーザ撮影手段により撮影された前記画像における前記非可視光の前記ユーザの眼球角膜反射面における虚像(プルキニエ像)と、前記ユーザの眼球瞳孔中心との相対位置から、前記視線方向を検出することを特徴とする請求項1又は2に記載の通信端末装置。
【請求項4】
前記ユーザの眼球と前記画面と前記照射手段との位置関係を記憶する位置関係記憶手段をさらに備え、
前記視線位置特定手段は、前記位置関係記憶手段に記憶された前記位置関係と、前記視線方向検出手段によって検出された前記視線方向とから、前記画面上の前記視線位置を特定することを特徴とする請求項3に記載の通信端末装置。
【請求項5】
前記ユーザ撮影手段は、前記ユーザに対して前記画面の後方に配置され、
前記照射手段は、前記ユーザ撮影手段に取り付けられていることを特徴とする請求項3又は4に記載の通信端末装置。
【請求項6】
前記画面に、前記ユーザの画像とは異なる別画像が前記画像と併せて表示されているか否かを判断する別画像表示判断手段と、
前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断され、且つ前記別画像判断手段によって前記画面に前記別画像が表示されていると判断された場合に、前記画面において前記別画像を現在の表示サイズと比較して拡大表示するとともに、前記画像に重ねて透過表示する別画像拡大表示手段と
を備えたことを特徴とする請求項1乃至5のいずれかに記載の通信端末装置。
【請求項7】
前記別画像拡大表示手段は、
前記別画像を前記ユーザの画像の前記所定領域に重ねて表示することを特徴とする請求項6に記載の通信端末装置。
【請求項8】
前記第一信号送信手段により前記第一信号を送信してからの経過時間である送信後経過時間を計測する送信後経過時間計測手段と、
前記送信後経過時間計測手段により計測された前記送信後経過時間が第二所定時間以上になったか否かを判断する第二所定時間判断手段と、
前記第二所定時間判断手段によって前記送信後経過時間が前記第二所定時間以上になったと判断された場合に、前記相手側端末に、前記送信後経過時間が前記第二所定時間以上になったことを示す第二信号を送信する第二信号送信手段と、
前記第二信号を受信する第二信号受信手段と、
前記第二信号受信手段によって、前記相手側端末から送信された前記第二信号が受信された場合に、前記撮影手段の前記撮影位置をもとの位置に復帰させる撮影位置復帰手段と
をさらに備えたことを特徴とする請求項1乃至7のいずれかに記載の通信端末装置。
【請求項9】
前記ユーザの音声を検出するユーザ音声検出手段と、
前記相手ユーザの音声を検出する相手ユーザ音声検出手段と、
前記ユーザ音声検出手段及び前記相手ユーザ音声検出手段のいずれも音声を検出しない状態を無言状態として、前記無言状態が継続する時間である無言時間を計測する無言時間計測手段と、
前記無言時間計測手段により計測された前記無言時間に基づいて、前記第二所定時間を調整する第一の第二所定時間調整手段と
を備えたことを特徴とする請求項1乃至8のいずれかに記載の通信端末装置。
【請求項10】
前記第一の第二所定時間調整手段は、
前記無言時間計測手段により計測された前記無言時間が、第三所定時間以上になったか否かを判断する第三所定時間判断手段を備え、
前記第三所定時間判断手段によって、前記無言時間が前記第三所定時間以上になったと判断された場合に、前記第二所定時間を延長することを特徴とする請求項9に記載の通信端末装置。
【請求項11】
前記ユーザの瞬きを検出する瞬き検出手段と、
前記瞬き検出手段によって検出された前記瞬きの回数をカウントする瞬きカウント手段と、
前記カウント手段によってカウントされた前記回数に基づいて、前記第二所定時間を調整する第二の第二所定時間調整手段と
をさらに備えたことを特徴とする請求項1乃至10のいずれかに記載の通信端末装置。
【請求項12】
前記第二の第二所定時間調整手段は、
前記視線一致検出手段により前記視線一致状態が検出されてからの経過時間を計測する計測手段と、
前記計測手段により計測された前記経過時間が第四所定時間以上になったか否かを判断する第四所定時間判断手段と、
前記第四所定時間判断手段によって前記経過時間が前記第四所定時間以上になったと判断された場合に、前記瞬きカウント手段によってカウントされた前記回数が所定回数以上であるか否かを判断する瞬き回数判断手段と、
を備え、
前記瞬き回数判断手段により、前記回数が所定回数以上であったと判断された場合に、前記第二所定時間を延長することを特徴とする請求項11に記載の通信端末装置。
【請求項13】
ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置の通信制御方法であって、
ユーザを撮影するユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像データ送信ステップと、
他の端末から送信された前記画像を画面に表示する表示ステップと、
前記ユーザの視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップにおいて検出された前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定ステップと、
前記画面上の前記ユーザの顔を検出する顔検出ステップと、前記視線位置特定ステップにおいて特定された前記視線位置が、前記顔検出ステップにおいて検出された前記ユーザの顔の所定領域内にある視線一致状態か否かを判断する視線一致判断ステップと、
前記視線一致判断ステップにおいて前記視線一致状態であると判断された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測ステップと、
前記視線一致時間計測ステップにおいて計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断ステップと、
前記第一所定時間判断ステップにおいて前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信ステップと、
前記第一信号を受信する第一信号受信ステップと、
前記第一信号受信ステップにおいて、前記相手側端末から送信された前記第一信号を受信した場合に、前記撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更ステップと
を備えたことを特徴とする通信端末装置の通信制御方法。
【請求項14】
請求項1乃至12のいずれかに記載の通信端末装置の各種処理手段としてコンピュータを機能させるための通信制御プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate


【公開番号】特開2010−239583(P2010−239583A)
【公開日】平成22年10月21日(2010.10.21)
【国際特許分類】
【出願番号】特願2009−88069(P2009−88069)
【出願日】平成21年3月31日(2009.3.31)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】