通信端末装置、通信端末装置の通信制御方法、通信制御プログラム
【課題】適度に視線を外しながら自然な状況で会話をすることができる通信端末装置、通信端末装置の通信制御方法、通信制御プログラムを提供する。
【解決手段】遠隔会議中に、端末装置のユーザが、スクリーンに表示された相手ユーザに対して、視線を不自然に一致させているか否かが監視される（Ｓ５）。そして、不自然な視線一致状態が検出された場合に（Ｓ５：ＹＥＳ）、相手ユーザの端末装置に対して、不自然な視線一致状態が検出された旨の信号（第一信号）が送信される（Ｓ９）。相手ユーザの端末装置では、第一信号を受信すると、相手ユーザを撮影するビデオカメラの位置が変更される。これにより、会議参加者同士の不自然な視線一致状態を回避することができ、会議参加者は、円滑に会話をすることができる。
【解決手段】遠隔会議中に、端末装置のユーザが、スクリーンに表示された相手ユーザに対して、視線を不自然に一致させているか否かが監視される（Ｓ５）。そして、不自然な視線一致状態が検出された場合に（Ｓ５：ＹＥＳ）、相手ユーザの端末装置に対して、不自然な視線一致状態が検出された旨の信号（第一信号）が送信される（Ｓ９）。相手ユーザの端末装置では、第一信号を受信すると、相手ユーザを撮影するビデオカメラの位置が変更される。これにより、会議参加者同士の不自然な視線一致状態を回避することができ、会議参加者は、円滑に会話をすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、相手側の通信端末装置との間で、画像と音声を双方向に送受信できる通信端末装置、当該通信端末装置の通信制御方法、通信制御プログラムに関する。
【背景技術】
【０００２】
従来、複数の通信端末装置をネットワークを介して接続し、画像と音声を双方向に送受信することで、遠隔の地にある者同士の会議を実現するテレビ会議システムが知られている。臨場感を伴う高度なテレビ会議システムの実現には、会議出席者間の視線一致が不可欠である。そこで、液晶ディスプレイやプロジェクタ等の利用によるさまざまな視線一致の実現手法が提案されている。
【０００３】
例えば、スクリーンの裏面に対して斜め後方にプロジェクタを配置し、スクリーンの裏面にビデオカメラを垂直に配置した表示撮像装置が知られている（例えば、特許文献１参照）。プロジェクタは、スクリーンに対して他拠点で撮影されたユーザの撮影画像を映し出す。ビデオカメラの映像は、他拠点に配置した表示撮像装置のプロジェクタから出力される。このような配置により、会議出席者がスクリーンを見つめると、会議出席者の視線は、スクリーンを介してビデオカメラに向けられる。よって、会議出席者間の視線を一致させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１３３３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、日常生活の中で会話をする場合には、相手と視線を合わせ続けながら会話をすることは少ない。話者は、状況に応じて、相手に視線をあわせるだけでなく、相手から自然に視線を外して会話をしている。一方、特許文献１に記載の表示撮像装置を用いてテレビ会議を行った場合、会議出席者がスクリーンを見つめ続けると、相手から自然に視線を外すことが困難となり、会議出席者間の視線は一致し続けてしまう。この場合、居心地の悪い不自然な状況になってしまうという問題点があった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、適度に視線を外しながら自然な状況で会話をすることができる通信端末装置、通信端末装置の通信制御方法、通信制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に係る発明の通信端末装置は、ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置であって、ユーザを撮影するユーザ撮影手段と、前記ユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像送信手段と、他の端末から送信された前記画像を画面に表示する表示手段と、前記ユーザ撮影手段により撮影された画像から前記ユーザの視線方向を検出する視線方向検出手段と、前記視線方向検出手段が検出した前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定手段と、前記画面上の前記ユーザの顔を検出する顔検出手段と、前記視線位置特定手段によって特定された前記視線位置が、前記顔検出手段によって検出された前記ユーザの顔の所定領域内にある状態を視線一致状態として検出する視線一致検出手段と、前記視線一致検出手段により前記視線一致状態が検出された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測手段と、前記視線一致時間計測手段により計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断手段と、前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する端末である相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信手段と、前記相手側端末から送信された前記第一信号を受信する第一信号受信手段と、前記第一信号受信手段によって、前記第一信号を受信した場合に、前記ユーザ撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更手段とを備えている。
【０００８】
また、請求項２に係る発明の通信端末装置は、請求項１に記載の発明の構成に加え、前記撮影位置変更手段は、前記撮影手段を前記ユーザの視線方向から退避する位置に移動させることを特徴とする。
【０００９】
また、請求項３に係る発明の通信端末装置は、請求項１又は２に記載の発明の構成に加え、非可視光を前記ユーザの眼球に照射する照射手段をさらに備え、前記視線方向検出手段は、前記ユーザ撮影手段により撮影された前記画像における前記非可視光の前記ユーザの眼球角膜反射面における虚像（プルキニエ像）と、前記ユーザの眼球瞳孔中心との相対位置から、前記視線方向を検出することを特徴とする。
【００１０】
また、請求項４に係る発明の通信端末装置は、請求項３に記載の発明の構成に加え、前記ユーザの眼球と前記画面と前記照射手段との位置関係を記憶する位置関係記憶手段をさらに備え、前記視線位置特定手段は、前記位置関係記憶手段に記憶された前記位置関係と、前記視線方向検出手段によって検出された前記視線方向とから、前記画面上の前記視線位置を特定することを特徴とする。
【００１１】
また、請求項５に係る発明の通信端末装置は、請求項３又は４に記載の発明の構成に加え、前記ユーザ撮影手段は、前記ユーザに対して前記画面の後方に配置され、前記照射手段は、前記ユーザ撮影手段に取り付けられていることを特徴とする。
【００１２】
また、請求項６に係る発明の通信端末装置は、請求項１乃至５のいずれかに記載の発明の構成に加え、前記画面に、前記ユーザの画像とは異なる別画像が前記画像と併せて表示されているか否かを判断する別画像表示判断手段と、前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断され、且つ前記別画像判断手段によって前記画面に前記別画像が表示されていると判断された場合に、前記画面において前記別画像を現在の表示サイズと比較して拡大表示するとともに、前記画像に重ねて透過表示する別画像拡大表示手段とを備えている。
【００１３】
また、請求項７に係る発明の通信端末装置は、請求項６に記載の発明の構成に加え、前記別画像拡大表示手段は、前記別画像を前記ユーザの画像の前記所定領域に重ねて表示することを特徴とする。
【００１４】
また、請求項８に係る発明の通信端末装置は、請求項１乃至７のいずれかに記載の発明の構成に加え、前記第一信号送信手段により前記第一信号を送信してからの経過時間である送信後経過時間を計測する送信後経過時間計測手段と、前記送信後経過時間計測手段により計測された前記送信後経過時間が第二所定時間以上になったか否かを判断する第二所定時間判断手段と、前記第二所定時間判断手段によって前記送信後経過時間が前記第二所定時間以上になったと判断された場合に、前記相手側端末に、前記送信後経過時間が前記第二所定時間以上になったことを示す第二信号を送信する第二信号送信手段と、前記第二信号を受信する第二信号受信手段と、前記第二信号受信手段によって、前記相手側端末から送信された前記第二信号が受信された場合に、前記撮影手段の前記撮影位置をもとの位置に復帰させる撮影位置復帰手段とをさらに備えている。
【００１５】
また、請求項９に係る発明の通信端末装置は、請求項１乃至８のいずれかに記載の発明の構成に加え、前記ユーザの音声を検出するユーザ音声検出手段と、前記相手ユーザの音声を検出する相手ユーザ音声検出手段と、前記ユーザ音声検出手段及び前記相手ユーザ音声検出手段のいずれも音声を検出しない状態を無言状態として、前記無言状態が継続する時間である無言時間を計測する無言時間計測手段と、前記無言時間計測手段により計測された前記無言時間に基づいて、前記第二所定時間を調整する第一の第二所定時間調整手段とをさらに備えている。
【００１６】
また、請求項１０に係る発明の通信端末装置は、請求項９に記載の発明の構成に加え、前記第一の第二所定時間調整手段は、前記無言時間計測手段により計測された前記無言時間が、第三所定時間以上になったか否かを判断する第三所定時間判断手段を備え、前記第三所定時間判断手段によって、前記無言時間が前記第三所定時間以上になったと判断された場合に、前記第二所定時間を延長することを特徴とする。
【００１７】
また、請求項１１に係る発明の通信端末装置は、請求項１乃至１０のいずれかに記載の発明の構成に加え、前記ユーザの瞬きを検出する瞬き検出手段と、前記瞬き検出手段によって検出された前記瞬きの回数をカウントする瞬きカウント手段と、前記カウント手段によってカウントされた前記回数に基づいて、前記第二所定時間を調整する第二の第二所定時間調整手段とをさらに備えている。
【００１８】
また、請求項１２に係る発明の通信端末装置は、請求項１１に記載の発明の構成に加え、前記第二の第二所定時間調整手段は、前記視線一致検出手段により前記視線一致状態が検出されてからの経過時間を計測する計測手段と、前記計測手段により計測された前記経過時間が第四所定時間以上になったか否かを判断する第四所定時間判断手段と、前記第四所定時間判断手段によって前記経過時間が前記第四所定時間以上になったと判断された場合に、前記瞬きカウント手段によってカウントされた前記回数が所定回数以上であるか否かを判断する瞬き回数判断手段とを備え、前記瞬き回数判断手段により、前記回数が所定回数以上であったと判断された場合に、前記第二所定時間を延長することを特徴とする。
【００１９】
また、請求項１３に係る発明の通信端末装置の通信制御方法は、ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置の通信制御方法であって、ユーザを撮影するユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像データ送信ステップと、他の端末から送信された前記画像を画面に表示する表示ステップと、前記ユーザの視線方向を検出する視線方向検出ステップと、前記視線方向検出ステップにおいて検出された前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定ステップと、前記画面上の前記ユーザの顔を検出する顔検出ステップと、前記視線位置特定ステップにおいて特定された前記視線位置が、前記顔検出ステップにおいて検出された前記ユーザの顔の所定領域内にある視線一致状態か否かを判断する視線一致判断ステップと、前記視線一致判断ステップにおいて前記視線一致状態であると判断された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測ステップと、前記視線一致時間計測ステップにおいて計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断ステップと、前記第一所定時間判断ステップにおいて前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信ステップと、前記第一信号を受信する第一信号受信ステップと、
前記第一信号受信ステップにおいて、前記相手側端末から送信された前記第一信号を受信した場合に、前記撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更ステップとを備えたことを特徴とする。
【００２０】
また、請求項１４に係る発明の通信制御プログラムは、請求項１乃至１２のいずれかに記載の通信端末装置の各種処理手段としてコンピュータを機能させる。
【発明の効果】
【００２１】
請求項１に係る発明の通信端末装置では、相手側端末と画像及び音声を介した通信を行うことができる。ユーザ撮影手段によってユーザが撮影される。ユーザ撮影手段によって撮影されたユーザの画像は、画像送信手段によって相手側端末に送信される。相手側端末から送信された相手ユーザの画像は、表示手段によって画面に表示される。表示手段によって画面に表示された相手ユーザの画像から、相手ユーザの顔が、顔検出手段によって検出される。一方、ユーザ撮影手段により撮影された画像から、ユーザの視線方向が視線方向検出手段によって検出される。視線方向検出手段によって検出された視線方向の先にある画面上の視線位置が、視線位置特定手段によって特定される。視線位置特定手段によって特定された視線位置が、顔検出手段によって検出された相手ユーザの顔の所定領域内にある場合に、視線一致検出手段によって視線一致状態が検出される。
【００２２】
視線一致検出手段により視線一致状態が検出された場合、視線一致時間計測手段によって、視線一致状態が継続する時間である視線一致時間が計測される。そして、計測された視線一致時間が第一所定時間以上になったか否かが、第一所定時間判断手段によって判断される。視線一致時間が第一所定時間以上になったと、第一所定時間判断手段によって判断された場合、第一信号送信手段が相手側端末に視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する。相手側端末から送信された第一信号は、第一信号受信手段によって受信される。第一信号受信手段によって、第一信号が受信された場合に、撮影位置変更手段によって、ユーザ撮影手段のユーザに対する撮影位置が変更される。
【００２３】
ユーザが画面上の相手ユーザに対して、不自然に長い時間視線を合わせている場合には、相手ユーザを撮影する撮影手段の撮影位置を変更することができるため、撮影手段に対する相手ユーザの視線をずらすことができる。よって、画面に映る相手ユーザの視線をずらすことができ、ユーザと相手ユーザとで視線が一致し続けてしまう居心地の悪い不自然な状況を回避できる。
【００２４】
また、請求項２に係る発明の通信端末装置は、請求項１に記載の発明の効果に加え、撮影手段は、撮影位置変更手段によってユーザの視線方向から退避する位置に移動される。相手ユーザの視線を、撮影手段から確実に外すことができるため、画面に映る相手ユーザの視線を確実にずらすことができる。
【００２５】
また、請求項３に係る発明の通信端末装置は、請求項１又は２に記載の発明の効果に加え、照射手段が非可視光をユーザの眼球に照射し、視線方向検出手段は、ユーザ撮影手段により撮影された画像における非可視光のユーザの眼球角膜反射面における虚像（プルキニエ像）と、ユーザの眼球瞳孔中心との相対位置から、視線方向を検出する。そのため、大がかりな装置を用いずに、ユーザの視線方向を高精度に検出することができる。また、照射される光は非可視光なので、ユーザに違和感を与えずに、ユーザの視線方向を検出することができる。
【００２６】
また、請求項４に係る発明の通信端末装置は、請求項３に記載の発明の効果に加え、位置関係記憶手段は、ユーザの眼球と画面と照射手段との位置関係を記憶する。視線位置特定手段は、位置関係記憶手段に記憶された位置関係と、視線方向検出手段によって検出された視線方向とから、ユーザの画面上の視線位置を特定する。よって、大がかりな装置を用いずに、ユーザの画面上の視線位置を特定できる。
【００２７】
また、請求項５に係る発明の通信端末装置は、請求項３又は４のいずれかに記載の発明の効果に加え、ユーザ撮影手段は、ユーザに対して画面の後方に配置されている。よって、ユーザが画面を見つめると、ユーザの視線は画面を介してユーザ撮影手段に向けられる。よって、ユーザと相手ユーザとの視線を自然に一致させることができる。また、照射手段は、ユーザ撮影手段に取り付けられているため、ユーザの視線がユーザ撮影手段に向けられている場合に、プルキニエ像と眼球瞳孔中心とは一致する。よって、ユーザの視線がユーザ撮影手段に向けられている場合を基準として、ユーザの視線方向を検出できる。
【００２８】
また、請求項６に係る発明の通信端末装置は、請求項１乃至５のいずれかに記載の発明の効果に加え、別画像表示判断手段によって、画面に相手ユーザの画像とは異なる別画像が前記画像と併せて表示されているか否かが判断される。第一所定時間判断手段によって視線一致時間が第一所定時間以上になったと判断され、且つ別画像判断手段によって画面に別画像が表示されていると判断された場合に、相手ユーザの画像とは異なる別画像が、画面において拡大表示されるとともに、相手ユーザの画像に重ねて透過表示される。よって、不自然に視線が一致し続けてしまった場合には、視線一致の対象である相手ユーザの画像が目立たなくなる。そのため、居心地の悪い不自然な状況を回避できる。
【００２９】
また、請求項７に係る発明の通信端末装置は、請求項６に記載の発明の効果に加え、別画像拡大表示手段によって、別画像が相手ユーザの画像の所定領域に重ねて表示される。そのため、視線一致の対象である相手ユーザの画像は確実に目立たなくなる。よって、居心地の悪い不自然な状況を確実に回避できる。
【００３０】
また、請求項８に係る発明の通信端末装置は、請求項１乃至７のいずれかに記載の発明の効果に加え、送信後経過時間計測手段が、第一信号送信手段により第一信号を送信してからの経過時間である送信後経過時間を計測する。第二所定時間判断手段が、送信後経過時間計測手段により計測された送信後経過時間が第二所定時間以上になったか否かを判断する。第二所定時間判断手段によって送信後経過時間が第二所定時間以上になったと判断された場合に、第二信号送信手段が、相手側端末に、送信後経過時間が第二所定時間以上になったことを示す第二信号を送信する。第二信号受信手段が第二信号を受信し、第二信号受信手段によって、相手側端末から送信された第二信号が受信された場合に、撮影位置復帰手段が、撮影手段の撮影位置をもとの位置に復帰させる。
【００３１】
そのため、撮影手段のユーザに対する撮影位置が変更されてからの時間が第二所定時間以上になった場合、撮影手段の撮影位置を変更前の位置に復帰させることができる。よって、ユーザと相手ユーザとの間の不自然な視線一致状態が回避された後は、再度、ユーザと相手ユーザとの視線を一致させることができる。よって、ユーザ同士は、原則的には視線を合わせ、気まずい雰囲気の場合のみに視線を外して会議を行うことができる。
【００３２】
また、請求項９に係る発明の通信端末装置は、請求項１乃至８のいずれかに記載の発明の効果に加え、ユーザ音声検出手段がユーザの音声を検出する。相手ユーザ音声検出手段が相手ユーザの音声を検出する。無言時間計測手段が、ユーザ音声検出手段及び相手ユーザ音声検出手段のいずれも音声を検出しない状態を無言状態として、無言状態が継続する時間である無言時間を計測する。第一の第二所定時間調整手段が、無言時間計測手段により計測された無言時間に基づいて、第二所定時間を調整する。
【００３３】
一般に、ユーザと相手ユーザとのいずれも音声を発しない無言状態の場合には、ユーザと相手ユーザとの間で会話が行われている場合に比べて気まずい雰囲気であるといえる。請求項９に係る発明の通信端末装置は、無言状態が継続する時間に応じて、視線を外す時間を調整することができるため、会議中のユーザ同士の雰囲気に応じて、視線を外す時間を調整することができる。
【００３４】
また、請求項１０に係る発明の通信端末装置は、請求項９に記載の発明の効果に加え、第三所定時間判断手段が、前記無言時間が第三所定時間以上になったか否かを判断する。第一の第二所定時間調整手段は、第三所定時間判断手段によって、無言時間が第三所定時間以上になったと判断された場合に、第二所定時間を延長する。そのため、無言状態が長く続いた場合には、視線を外す時間を延長することができる。よって、気まずい雰囲気にあるユーザ間で視線一致状態が不自然にあった場合には、視線を外す時間を延長して、気まずい雰囲気を確実に回避させることができる。
【００３５】
また、請求項１１に係る発明の通信端末装置は、請求項１乃至１０のいずれかに記載の発明の効果に加え、瞬き検出手段がユーザの瞬きを検出し、瞬きカウント手段が瞬き検出手段によって検出された瞬きの回数をカウントする。第二の第二所定時間調整手段が、カウント手段によってカウントされた瞬きの回数に基づいて、前記第二所定時間を調整する。
【００３６】
一般に、ユーザが緊張状態にある場合、ユーザの瞬き回数は増加するといわれている。
請求項１１に係る発明の通信端末装置は、ユーザの瞬き回数に応じて、視線を外す時間を調整することができるため、会議中のユーザの緊張状態に応じて、視線を外す時間を調整することができる。
【００３７】
また、請求項１２に係る発明の通信端末装置は、請求項１１に記載の発明の効果に加え、計測手段が、視線一致検出手段により視線一致状態が検出されてからの経過時間を計測する。第四所定時間判断手段が、経過時間が第四所定時間以上になったか否かを判断する。瞬き回数判断手段は、経過時間が第四所定時間以上になった場合に、カウントされた瞬きの回数が所定回数以上であるか否かを判断する。第二の第二所定時間調整手段は、瞬きの回数が所定回数以上である場合に第二所定時間を延長する。
【００３８】
ユーザの瞬き回数が多い場合には、視線を外す時間を延長することができるため、相手ユーザに対して不自然に視線を一致させたユーザが緊張状態にある場合には、視線を外す時間を延長することができる。よって、ユーザが緊張状態となるほど、相手ユーザとの間に気まずい雰囲気がある場合には、視線を外す時間を延長して、気まずい雰囲気を確実に回避することができる。
【００３９】
また、請求項１３に係る発明の通信端末装置の通信制御方法では、まず画像データ送信ステップにおいて、ユーザを撮影するユーザ撮影手段が撮影したユーザの画像が他の端末に送信される。次に、表示ステップにおいて、他の端末から送信された画像が画面に表示される。次に、視線方向検出ステップにおいて、ユーザの視線方向を検出する。検出された視線方向の先にある画面上の視線位置は、視線位置特定ステップにおいて、特定される。顔検出ステップにおいて、画面上の相手ユーザの顔が検出される。視線一致判断ステップにおいて、視線位置特定ステップにおいて特定された視線位置が、顔検出ステップにおいて検出された相手ユーザの顔の所定領域内にある視線一致状態か否かが判断される。視線一致判断ステップにおいて視線一致状態であると判断された場合には、視線一致時間計測ステップにおいて、視線一致状態が継続する時間である視線一致時間が計測される。計測された視線一致時間は、第一所定時間判断ステップにおいて、第一所定時間以上になったか否か判断される。
【００４０】
視線一致時間が第一所定時間以上となった場合、第一信号送信ステップにおいて、視線一致状態の対象である相手ユーザの画像データを送信する相手側端末に、第一信号を送信する。第一信号受信ステップにおいて、前記第一信号を受信する。相手側端末から送信された第一信号が受信された場合、撮影位置変更ステップにおいて、前記撮影手段の前記ユーザに対する撮影位置を変更する。
【００４１】
ユーザが画面上の相手ユーザに対して、不自然に長い時間視線を合わせている場合には、相手ユーザを撮影する撮影手段の撮影位置を変更することができるため、撮影手段に対する相手ユーザの視線をずらすことができる。よって、画面に映る相手ユーザの視線をずらすことができ、ユーザと相手ユーザとで視線が一致し続けてしまう居心地の悪い不自然な状況を回避できる。
【００４２】
また、請求項１４に係る発明の通信制御プログラムは、請求項１乃至１２のいずれかに記載の通信端末装置の各種処理手段としてコンピュータを機能させるため、請求項１乃至１２のいずれかに記載の効果を得ることができる。
【図面の簡単な説明】
【００４３】
【図１】テレビ会議システム１の構成を示すブロック図である。
【図２】端末装置３の物理的構成を示す図である。
【図３】ビデオカメラ３４の撮影位置を示す図である。
【図４】スクリーン３２における一表示態様を示す図である。
【図５】視線方向を検出する方法を説明する図（ユーザの視線の先に赤外線ライト３３が位置しない場合）である。
【図６】視線方向を検出する方法を説明する図（ユーザの視線の先に赤外線ライト３３が位置する場合）である。
【図７】スクリーン３２に表示された相手ユーザの右眼７２１、左眼７２２、及び鼻７２３を結ぶ領域を説明する図である。
【図８】端末装置３の電気的構成を示すブロック図である。
【図９】ＨＤＤ３１の各種記憶エリアを示す概念図である。
【図１０】ＲＡＭ２２の各種記憶エリアを示す概念図である。
【図１１】ＣＰＵ２０による視線方向検出処理のフローチャートである。
【図１２】スクリーン３２における一表示態様を示す図である。
【図１３】ＣＰＵ２０による撮影位置変更処理のフローチャートである。
【図１４】瞬き検出領域７０を示す図（ユーザの眼７７が開かれている状態）である。
【図１５】瞬き検出領域７０を示す図（ユーザの眼７７が閉じられている状態）である。
【図１６】第二実施形態の端末装置１３０の電気的構成を示すブロック図である。
【図１７】ＨＤＤ１３１の各種記憶エリアを示す概念図である。
【図１８】ＲＡＭ１２２の各種記憶エリアを示す概念図である。
【図１９】ＣＰＵ１２０による視線方向検出処理のフローチャートである。
【図２０】ＣＰＵ１２０による音声検出処理のフローチャートである。
【図２１】ＣＰＵ１２０による瞬きカウント処理のフローチャートである。
【発明を実施するための最良の形態】
【００４４】
以下、本発明の第一実施形態である端末装置３について、図面を参照して説明する。はじめに、端末装置３、４を構成要素とするテレビ会議システム１の構成について、図１を参照して説明する。
【００４５】
テレビ会議システム１は、ネットワーク２を介して相互に接続された端末装置３、４を備えている。端末装置３、４は、別拠点に設けられている。このテレビ会議システム１では、端末装置３、４間において、ネットワーク２を介して、画像、音声が互いに送受信されることで、別拠点にあるユーザ同士の遠隔会議が実施される。本実施形態では、端末装置３が設けられた拠点を自拠点、端末装置４が設けられた拠点を他拠点として説明する。
【００４６】
なお、本実施形態では、遠隔会議中に、端末装置３のユーザが、スクリーン３２（図２参照）に表示された端末装置４のユーザ（以下、相手ユーザという）に対して視線を一致させている時間が所定時間以上となる場合に、端末装置４において相手ユーザを撮影するビデオカメラ３４（図２参照）の位置を変更させて、視線を外すことができる点に特徴がある。
【００４７】
まず、端末装置３の物理的構成について、図２および図３を参照して説明する。なお、図２の右方をユーザに対向する端末装置３の前方とし、左方を端末装置３の後方として説明する。端末装置３は、映像を投射するプロジェクタ２８と、投射された映像を表示するスクリーン３２と、スクリーン３２の後方に配置され、端末装置３の前方に位置するユーザを撮影するビデオカメラ３４とを備える。端末装置３の前方には、スクリーン３２に対して位置が固定された椅子（図示省略）が設けられている。ユーザがその椅子に座ると、ユーザとビデオカメラ３４とを結ぶ直線がスクリーン３２の面と垂直に交わり、ユーザとスクリーン３２との距離が、予め定められた所定距離Ｌ（図５参照）となる。
【００４８】
プロジェクタ２８について説明する。図２に示すように、プロジェクタ２８は、ユーザに対して、スクリーン３２の後方斜め上側に配置されている。プロジェクタ２８には、ビデオコントローラ２３が接続され、端末装置４から送信された映像を、スクリーン３２に向けて斜めに投射する。プロジェクタ２８をスクリーン３２に対して斜め上側に配置することにより、スクリーン３２の後方にビデオカメラ３４を配置できる。なお、スクリーン３２に対して斜めに投射された映像が、スクリーン３２において歪みのない正常な表示となるように、歪み補正を行ってもよい。歪み補正方法としては、例えば、特開平６−１３３３１１号公報に記載の歪み補正方法が適用可能である。
【００４９】
歪み補正方法について、正方形の映像をスクリーン３２に表示させる場合を例に挙げて簡単に説明する。プロジェクタ２８から投射された映像は、プロジェクタ２８から遠くなるにつれて拡大率が大きくなる。そのため、映像を斜めに投射すると、プロジェクタ２８から遠い位置では近い位置に比べて映像の拡大率が大きくなり、映像は歪んでしまう。たとえば、正方形の映像をプロジェクタ２８から投射した場合、スクリーン３２上では台形になってしまう。そこで、プロジェクタ２８から投射する映像を予め逆台形に処理する。逆台形の映像をプロジェクタ２８から投射することにより、スクリーン３２上では正方形に表示される。
【００５０】
次に、スクリーン３２について説明する。スクリーン３２には、入射光の透過及び散乱が入射光の入射角度に依存する周知の視覚依存散乱板が用いられる。具体的には、スクリーン３２は、ビデオカメラ３４からの入射光は透過し、プロジェクタ２８からの入射光は散乱させる。これにより、スクリーン３２の後方に配置されたビデオカメラ３４は、スクリーン３２を介してユーザを撮影できる。また、ユーザは、プロジェクタ２８から投射された映像を、スクリーン３２を介して見ることができる。
【００５１】
次に、ビデオカメラ３４について説明する。図３に示すように、スクリーン３２の後方には、ビデオカメラ３４を支持するカメラ支持部材３４２が配置されている。カメラ支持部材３４２は、ユーザが座る椅子を中心として円弧状に形成されたレール部３４１を備え、ビデオカメラ３４は、レール部３４１に沿って移動可能に支持されている。また、カメラ支持部材３４２にはカメラ移動装置３６（図８参照）が取り付けられている。カメラ移動装置３６は、モータ（図示省略）とビデオカメラ３４に接続された伝達機構（図示省略）とを備える。モータが駆動されると伝達機構を介してビデオカメラ３４の位置が移動される。
【００５２】
ビデオカメラ３４で撮影されたユーザの画像は、他拠点に配置された端末装置４に送信されると共に、ユーザの視線方向の検出に用いられる。通常の状態において、ビデオカメラ３４はスクリーン３２に対して垂直に配置され、ユーザを真正面から撮影する。本実施形態では、ユーザが、スクリーン３２に表示された相手ユーザに対して視線を一致させている時間が長すぎる場合、ビデオカメラ３４がレール部３４１に沿って円弧状に移動する。ビデオカメラ３４の撮影位置が、ユーザの真正面から外れることによって、相手ユーザの視線をずらすことができる。
【００５３】
図２に示すように、ビデオカメラ３４の下部には、赤外線を発光する赤外線ライト３３が取り付けられている。赤外線ライト３３により発光された赤外線が、ユーザの眼球角膜反射面において反射されて虚像（プルキニエ像）７１を形成する（図５参照）。ビデオカメラ３４は、このプルキニエ像７１と眼球７２の瞳孔７５中心とを撮影し、その相対位置から、ユーザの視線方向を検出する。なお、視線方向の検出方法については後述する。
【００５４】
次に、端末装置３のスクリーン３２に表示される画面について、図４を参照して説明する。端末装置３のスクリーン３２には、端末装置４を使用する相手ユーザの画像が表示される相手ユーザ画面２８１と、端末装置３，４における共有資料を表示させる共有資料画面２８２とが配置される。共有資料画面２８２は、例えば、自拠点側の端末装置３に記憶された資料を、他拠点にいる相手ユーザに示して説明する場合に、表示設定される。共有資料表示プログラムを起動し、所望の資料を共有資料として指定した場合に、端末装置３、４のスクリーン３２に共有資料画面２８２が表示され、その枠内に共有資料が表示される。
【００５５】
例えば、相手ユーザ画面２８１は、スクリーン３２の略左半分に配置され、共有資料画面２８２は、スクリーン３２の右下１／４に配置される。なお、表示態様についてはこれに限定されず、相手ユーザ画面２８１、共有資料画面２８２の配置、大きさも、ユーザにより自由に変更可能である。
【００５６】
次に、視線一致状態の検出方法について、図５乃至図７を参照して説明する。ここで、「視線一致状態」とは、ユーザの視線の先が、スクリーン３２に表示された相手ユーザの両眼と鼻とを結んだ領域（以下、領域Ｍという）にある状態をいう。本実施形態では、まず、ユーザの視線方向を検出する。次に、検出された視線方向の先にある、スクリーン３２上の視線位置を特定する。そして、特定された視線位置が、領域Ｍにあるか否かを判断し、領域Ｍにあれば視線一致状態とする。以下、視線一致状態の検出方法について具体的に説明する。
【００５７】
はじめに、視線方向検出方法について説明する。視線方向の検出は、ビデオカメラ３４によって撮影された撮影画像に基づいて行われる。ユーザの視線方向を検出する方法としては周知の方法が用いられ、例えば、特開平１０−１０８８４３号公報に記載された視線方向検出方法が適用可能である。
【００５８】
上記検出方法を適用した視線方向の検出方法について説明する。なお、ここでは、説明の便宜上、ビデオカメラ３４と赤外線ライト３３とが同一座標にあると近似して説明する。
【００５９】
図５に示すように、赤外線ライト３３が、ユーザの眼球７２に赤外線を照射すると、照射された赤外線がユーザの眼球７２の角膜反射面において反射され、赤外線ライト３３の虚像（プルキニエ像）７１が生じる。図６に示すように、ユーザの視線の先に、赤外線ライト３３が位置するとき、プルキニエ像７１の発生位置は、瞳孔中心７６と一致する。そして、ユーザの視線の先が赤外線ライト３３から離れるにつれて、プルキニエ像７１と瞳孔中心７６との間隔は広がっていく（図５参照）。
【００６０】
具体的には、プルキニエ像７１と瞳孔中心７６とが一致する状態からの眼球７２の回転角度をθ、プルキニエ像７１と瞳孔中心７６との間隔Ｓとすると、間隔Ｓは、回転角度θの正弦にほぼ比例して広がっていく。よって、ビデオカメラ３４により撮影された撮影画像において、プルキニエ像７１の位置、瞳孔中心７６の位置、さらにその間隔を算出することにより、眼球７２の回転角度θ、さらにはユーザの視線方向を知ることができる。なお、撮影画像におけるプルキニエ像７１及び瞳孔７５の検出は、各画素における濃度変化を示すエッジ値を検出する周知の方法により行われる。
【００６１】
次に、検出された視線方向の先にあるスクリーン３２上のユーザの視線位置Ｔを特定する方法について説明する。本実施形態では、会議中、スクリーン３２に対向して座っているユーザの眼球７２の中心とビデオカメラ３４とを結ぶ直線は、スクリーン３２の面と垂直に交わる。また、眼球７２の中心とスクリーン３２との距離は所定距離Ｌとなる。眼球７２の中心とビデオカメラ３４とを結ぶ直線がスクリーン３２の表示面と交わる点を中心点Ｏ、眼球の回転角度をθとすると、ユーザの視線方向の先にある表示面上の視線位置Ｔと中心点Ｏとの距離Ｋは、以下の式で示される。
Ｋ＝Ｌ・ｔａｎθ
上述の式より、ユーザのスクリーン３２上の視線位置Ｔを特定することができる。
【００６２】
次に、図６を参照して、特定された視線位置Ｔが、スクリーン３２に表示された相手ユーザの右眼７２１、左眼７２２、及び鼻７２３を結ぶ領域（領域Ｍ）にあるか否かの判断方法の説明を行う。まず、スクリーン３２に表示された相手ユーザの右眼７２１、左眼７２２、及び鼻７２３が、周知の方法によって抽出される。抽出方法としては、例えば、特開２００８−２３４２０８号公報に記載された眼及び鼻の検出方法が適用可能である。
【００６３】
具体的に説明する。まず、スクリーン３２に表示された相手ユーザの顔を検出する。顔の検出は、顔輪郭のエッジを算出し、あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出し、顔輪郭の範囲で、顔を検出する。そして、検出された顔のほぼ中央において２つの隣り合った鼻孔を検出する。鼻孔部分においては、外部からの光が照射されにくいため、他の個所に比べて暗く撮影される、従って、鼻孔部分の境界付近では、各画素における濃度が変化する。従って、得られる濃度変化を示すエッジ値を検出することにより、鼻孔部分を検出することができる。そして隣り合った２つの鼻孔の中点の位置を、鼻７２３の位置として特定する。
【００６４】
そして、検出された鼻７２３の位置よりも上方において、瞳孔部分が探索される。一般に、瞳孔部分は皮膚部分や白眼部分に比べて、反射率が小さいため、暗く撮影される。よって、瞳孔付近では、各画素における濃度が変化する。従って、得られる濃度変化を示すエッジ値を検出することにより、瞳孔部分を検出することができる。そして、検出された瞳孔の中心位置を、右眼７２１及び左眼７２２の位置として特定する。
【００６５】
そして、特定された右眼７２１、左眼７２２、鼻７２３を結ぶ領域（以下、領域Ｍという）に、視線位置Ｔがあるか否かを判断し、視線位置Ｔが領域Ｍにあれば視線一致状態とする。
【００６６】
次に、端末装置３の電気的構成について、図８を参照して説明する。図８は、端末装置３の電気的構成を示すブロック図である。なお、端末装置３、４は全て同じ構成であるので、ここでは端末装置３の構成についてのみ説明し、端末装置４については説明を省略する。
【００６７】
端末装置３には、端末装置３の制御を司るコントローラとしてのＣＰＵ２０が設けられている。ＣＰＵ２０には、ＢＩＯＳ等を記憶したＲＯＭ２１と、各種データを一時的に記憶するＲＡＭ２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ３１（以下、ＨＤＤ３１）が接続されている。
【００６８】
Ｉ／Ｏインタフェイス３０には、ネットワーク２と通信するための通信装置２５と、マウス２７と、ビデオコントローラ２３と、キーコントローラ２４と、ユーザを撮影するための上述したビデオカメラ３４と、ユーザの音声を取り込むためのマイク３５と、ＣＤ−ＲＯＭドライブ２６と、計時装置４１と、駆動回路３３１と、駆動回路３３２とが各々接続されている。ビデオコントローラ２３には、上述したプロジェクタ２８が接続されている。キーコントローラ２４には、キーボード２９が接続されている。駆動回路３３１には、上述した赤外線ライト３３が接続されている。駆動回路３３２には、上述したカメラ移動装置３６が接続されている。
【００６９】
なお、ＣＤ−ＲＯＭドライブ２６に挿入されるＣＤ−ＲＯＭ１１４には、端末装置３のメインプログラムや、本発明の通信制御プログラム等が記憶されている。ＣＤ−ＲＯＭ１１４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１１４からＨＤＤ３１にセットアップされて、後述するプログラム記憶エリア３１３（図９参照）に記憶される。
【００７０】
次に、ＨＤＤ３１の各種記憶エリアについて、図９を参照して説明する。ＨＤＤ３１には、ビデオカメラ３４によって撮影された撮影画像を記憶する撮影画像データ記憶エリア３１１と、端末装置３のスクリーン３２（図２、図４参照）に表示される画面データを記憶する表示画面データ記憶エリア３１２と、各種プログラムを記憶するプログラム記憶エリア３１３と、プログラムの実行に必要な所定時間を記憶する所定時間記憶エリア３１４と、ユーザとスクリーン３２と赤外線ライト３３との位置関係を記憶する位置関係記憶エリア３１５と、プログラムの実行に必要な所定値を記憶する所定値記憶エリア３１６と、その他の情報記憶エリア３１７とが少なくとも設けられている。
【００７１】
表示画面データ記憶エリア３１２には、相手ユーザ画像記憶エリア（図示省略）と、共有資料データ記憶エリア（図示省略）とが少なくとも設けられている。相手ユーザ画像記憶エリアには、端末装置４から送信された相手ユーザの画像データが記憶される。共有資料データ記憶エリアには、ユーザまたは相手ユーザが指定した共有資料データが記憶される。共有資料データ記憶エリアに、共有資料データが記憶された場合に、スクリーン３２に共有資料画面２８２が表示される。位置関係記憶エリア３１５には、ユーザの眼球７２とスクリーン３２との所定距離Ｌが記憶されている。
【００７２】
プログラム記憶エリア３１３には、端末装置３のメインプログラムや、端末装置４との間で遠隔会議を実行するための通信制御プログラム等が記憶されている。その他の情報記憶エリア３１７には、端末装置３で使用されるその他の情報が記憶されている。なお、端末装置３がＨＤＤ３１を備えていない専用機の場合は、ＲＯＭ２１に各種プログラムが記憶される。
【００７３】
次に、ＲＡＭ２２の各種記憶エリアについて、図１０を参照して説明する。ＲＡＭ２２には、視線方向記憶エリア２２１と、視線位置記憶エリア２２２と、領域Ｍ記憶エリア２２３と、共有資料画面座標記憶エリア２２４と、接続端末記憶エリア２２５と計測時間記憶エリア２２９とが少なくとも設けられている。視線方向記憶エリア２２１には、撮影画像データ記憶エリア３１１に記憶された撮影画像に基づき検出されたユーザの視線方向が、眼球７２の回転角度として記憶される。視線位置記憶エリア２２２には、ユーザのスクリーン３２上における視線位置が、スクリーン３２のユーザから向かって右下を原点とする座標系における位置座標として記憶される。領域Ｍ記憶エリア２２３には、相手ユーザ画像記憶エリア（図示省略）に記憶された表示画像に基づいて特定された領域Ｍが、スクリーン３２における位置座標として記憶される。共有資料画面座標記憶エリア２２４には、共有資料画面２８２の位置座標が記憶される。共有資料画面座標記憶エリア２２４には、基準サイズ記憶エリア（図示省略）と、拡大サイズ記憶エリア（図示省略）とが設けられている。接続端末記憶エリア２２５には、ネットワーク２を介して現在接続している接続端末の端末ＩＤが記憶される。計測時間記憶エリア２２９には、計時装置により計測された時間が記憶される。
【００７４】
次に、テレビ会議システム１における視線一致を考慮した通信制御処理について説明する。本説明では、自拠点側にある端末装置３と、他拠点側にある端末装置４とが会議を行う場合を想定する。端末装置３、４では、視線方向を検出して視線一致状態を監視する「視線方向検出処理」と、視線一致を受けてビデオカメラの撮影位置を変更する「撮影位置変更処理」との両方が行われる。そこで、説明の便宜上、自拠点側の端末装置３において視線方向検出処理が実行され、他拠点側の端末装置４において撮影位置変更処理が実行される場合を例に説明する。
【００７５】
まず、自拠点側の端末装置３のＣＰＵ２０において実行される視線方向検出処理について、図１１のフローチャートを参照して説明する。端末装置３と端末装置４とが各々ネットワークに接続し、互いに通信を開始すると、図１１に示す視線方向検出処理が開始される。視線方向検出処理が開始されると、はじめに、計測時間記憶エリア２２９に記憶された視線一致時間ｔ１の値、送信後経過時間ｔ２の値が初期化される（Ｓ１）。
【００７６】
次に、駆動回路３３１が駆動されて、赤外線ライト３３が発光される。そして、ビデオカメラ３４で撮影されたユーザの画像が、撮影画像データ記憶エリア３１１に記憶される。撮影画像データ記憶エリア３１１に記憶された撮影画像から、プルキニエ像７１及び瞳孔中心７６が検出されて、プルキニエ像７１及び瞳孔中心７６の距離が算出される。そして、プルキニエ像７１及び瞳孔中心７６の距離から眼球の回転角度θが算出されて、ユーザの視線方向が検出される（Ｓ２）。検出された視線方向は、ＲＡＭ２２の視線方向記憶エリア２２１に記憶される。
【００７７】
続いて、視線方向記憶エリア２２１に記憶された視線方向と、位置関係記憶エリア３１５に記憶された所定距離Ｌから、スクリーン３２における表示画像上のユーザの視線位置Ｔが特定される（Ｓ３）。特定された視線位置Ｔは、ＲＡＭ２２の視線位置記憶エリア２２２に記憶される。
【００７８】
次に、端末装置４から送信され、表示画面データ記憶エリア３１２の相手ユーザ画像記憶エリア（図示省略）に記憶された表示画像から、相手ユーザの顔が検出される。そして、検出された顔の中から、相手ユーザの右眼７２１、左眼７２２、鼻７２３が検出される。そして、検出された右眼７２１、左眼７２２、及び鼻７２３の位置座標に基づいて、眼と鼻とを結ぶ領域Ｍが、スクリーン３２における表示画面上において特定される（Ｓ４）。特定された領域Ｍは、領域Ｍ記憶エリア２２３に記憶される。
【００７９】
そして、視線位置記憶エリア２２２に記憶された視線位置Ｔが、領域Ｍ記憶エリア２２３に記憶された領域Ｍにあるか否かが判断される（Ｓ５）。視線位置Ｔが領域Ｍにある場合（Ｓ５：ＹＥＳ）、視線一致状態であると判断されて、計時装置４１による視線一致時間ｔ１の計測がなされているか否かが判断される（Ｓ６）。視線一致時間ｔ１の計測が開始されておらず、視線一致時間ｔ１が計測中でない場合（Ｓ６：ＮＯ）、視線一致時間ｔ１の計測が開始される（Ｓ７）。計測された視線一致時間ｔ１は、計測時間記憶エリア２２９の視線一致時間記憶エリア（図示省略）に記憶される。視線一致時間ｔ１の計測が開始されると、再度、Ｓ２〜Ｓ５の処理が行われる。視線一致時間ｔ１が計測中である場合（Ｓ６：ＹＥＳ）、計測された視線一致時間ｔ１が、所定時間記憶エリア３１４に記憶された第一所定時間Ｔ１以上であるか否かが判断される（Ｓ８）。本実施形態では、第一所定時間Ｔ１は５秒である。
【００８０】
視線一致時間ｔ１が第一所定時間Ｔ１以上でない場合（Ｓ８：ＮＯ）、視線一致状態となってからの経過時間が５秒未満である。この場合には、ユーザはスクリーン３２に表示された相手ユーザに対して、自然に視線を一致させた状態であるとして、視線一致時間ｔ１が第一所定時間Ｔ１以上となるまで、Ｓ２〜Ｓ８の処理が繰り返される。
【００８１】
一方、視線一致時間ｔ１が第一所定時間Ｔ１以上である場合（Ｓ８：ＹＥＳ）、視線一致状態が５秒以上継続している。この場合には、相手ユーザの使用する端末装置４に、視線一致状態が不自然に継続したことを通知する第一信号が送信される（Ｓ９）。なお、後述するが、第一信号は、端末装置４においてビデオカメラ３４の撮影位置を変更させるために、端末装置４に送信されるものである。
【００８２】
第一信号が送信されると（Ｓ９）、第一信号が送信されてからの経過時間である送信後経過時間ｔ２の計測が開始される（Ｓ１０）。計測された送信後経過時間ｔ２は、計測時間記憶エリア２２９の送信後経過時間記憶エリア（図示省略）に記憶される。続いて、表示画面データ記憶エリア３１２の共有資料データ記憶エリアが参照されて、スクリーン３２に共有資料画面２８２が表示されているか否かが判断される（Ｓ１１）。共有資料データ記憶エリアに共有資料のデータが記憶されていない場合、スクリーン３２には共有資料画面２８２が表示されていない（Ｓ１１：ＮＯ）。この場合には、Ｓ１３の処理に移行する。
【００８３】
一方、共有資料データ記憶エリアに共有資料のデータが記憶されている場合、スクリーン３２には共有資料画面２８２が表示されている（Ｓ１１：ＹＥＳ）。この場合には、図１２に示すように、共有資料画面２８２が相手ユーザ画面２８１を覆うように拡大される（Ｓ１２）。
【００８４】
ここで、スクリーン３２の表示領域の横方向長さがａ、縦方向長さがｂであって、共有資料画面２８２の横方向長さが（ａ×（１／３））、縦方向長さが（ｂ×（１／４））である場合を例に挙げて、具体的に説明する。なお、共有資料画面２８２の右下とスクリーン３２の表示領域の右下とは一致するものとする。
【００８５】
スクリーン３２に共有資料画面２８２が表示されている場合（Ｓ１１：ＹＥＳ）、共有資料画面座標記憶エリア２２４の基準サイズ記憶エリア（図示省略）が参照されて、共有資料画面２８２の表示領域が取得される。さらに、取得された共有資料画面２８２の表示領域に対するスクリーン３２の表示領域の大きさの比が、横方向及び縦方向についてそれぞれ算出される。上述の例では、共有資料画面２８２に対するスクリーン３２の大きさの比は、横方向では３であり、縦方向では約４である。
【００８６】
次に、算出された２つの比のうちの小さい比を拡大率として、共有資料画面２８２が自身の右下を原点として拡大される（Ｓ１２）。上述の例では、共有資料画面２８２は、自身の右下を原点として縦に３倍、横に３倍拡大されるので、共有資料画面２８２の横方向の長さはａ（＝（ａ×（１／３））×３）、縦方向の長さは（ｂ×（３／４））（＝（ｂ×（１／４））×３）となる。そして、拡大された共有資料画面２８２の右上、右下、左下のスクリーン３２における座標が、共有資料画面２８２の大きさに関するデータとして、共有資料画面座標記憶エリア２２４の拡大サイズ記憶エリア（図示省略）に記憶される。左右方向をｘ方向、上下方向をｙ方向とし、右下を原点とすると、上述の例では、左下の座標が（ａ、０）、右上の座標が（０、（ｂ×（３／４）））、左上の座標が（ａ、（ｂ×（３／４）））として、拡大サイズ記憶エリア（図示省略）に記憶される。
【００８７】
そして、拡大サイズ記憶エリアと領域Ｍ記憶エリア２２３とが参照されて、領域Ｍが共有資料画面２８２の表示領域に含まれるか否かが判断される。領域Ｍが共有資料画面２８２の表示領域に含まれる場合には、Ｓ１２の処理を終了してＳ１３の処理に移行する。領域Ｍが共有資料画面２８２の表示領域に含まれない場合には、領域Ｍが共有資料画面２８２の表示領域に含まれるように、共有資料画面２８２を移動させる。そして、Ｓ１３の処理に移行する。
【００８８】
なお、共有資料画面２８２は、相手ユーザ画面２８１の上側に重ねて配置されることになるが、相手ユーザ画面２８１と重なる部分については透過表示される。すなわち、共有資料画面２８２の下側に配置された相手ユーザ画面２８１は、端末装置３のユーザから視認可能となっている。
【００８９】
スクリーン３２に共有資料画面２８２が表示されていないと判断された場合（Ｓ１１：ＮＯ）、もしくは、共有資料画面２８２が拡大表示された場合（Ｓ１２）、計測された送信後経過時間ｔ２が、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２以上であるか否かが判断される（Ｓ１３）。本実施形態では、第二所定時間Ｔ２は１０秒である。
【００９０】
送信後経過時間ｔ２が第二所定時間Ｔ２以上でない場合（Ｓ１３：ＮＯ）、端末装置４において、ビデオカメラ３４の撮影位置が変更されてからの経過時間は１０秒未満である。この場合には、不自然な視線一致状態が回避されてから、未だ十分な時間が経過していないとして、送信後経過時間ｔ２が第二所定時間Ｔ２以上となるまで、Ｓ１３の処理が繰り返される。
【００９１】
一方、送信後経過時間ｔ２が第二所定時間Ｔ２以上である場合（Ｓ１３：ＹＥＳ）、端末装置４におけるビデオカメラ３４の撮影位置が変更されてから十分な時間が経過している。この場合には、相手ユーザの使用する端末装置４に、不自然な視線一致状態が回避された旨の第二信号が送信される（Ｓ１４）。Ｓ１４においては、スクリーン３２に共有資料画面２８２が拡大表示されている場合（Ｓ１１：ＹＥＳ）には、第二信号が送信されるとともに、共有資料画面座標記憶エリア２２４の基準サイズ記憶エリアが参照されて、共有資料画面２８２の大きさが拡大前の大きさに戻される。
【００９２】
そして、会議終了であるか否かが判断される（Ｓ１５）。具体的には、ネットワーク２に接続されている端末が、自身のほかに１以上あるか否かがが判断される。端末装置３、４では、ネットワーク２に接続すると、ネットワーク２に接続したことを示す接続信号が相手側の端末に送信される。他の端末からの接続信号を受信した場合、接続信号を送信した端末の端末ＩＤが、ＲＡＭ２２の接続端末記憶エリア２２５に記憶される。一方、ネットワーク２への接続を切断すると、ネットワークへの接続を切断したことを示す切断信号が相手側の端末に送信される。
【００９３】
他の端末からの切断信号を受信した場合、切断信号を送信した端末の端末ＩＤが、ＲＡＭ２２の接続端末記憶エリア２２５から削除される。接続端末記憶エリア２２５が参照されて、ネットワーク２に接続されている端末が、自身の他に０であると判断された場合（Ｓ１５：ＹＥＳ）、処理は終了する。一方、ネットワーク２に接続されている端末が、自身のほかに１以上ある場合（Ｓ１５：ＮＯ）、Ｓ１に戻り、Ｓ１〜Ｓ１５の処理が繰り返される。
【００９４】
次に、他拠点側の端末装置４のＣＰＵ２０において実行される撮影位置変更処理について、図１３のフローチャートを参照して説明する。端末装置３と端末装置４とが各々ネットワークに接続し、互いに通信を開始すると、図１３に示す撮影位置変更処理が開始される。撮影位置変更処理が開始されると、端末装置３から送信された第一信号が受信されたか否かが判断される（Ｓ５１）。
【００９５】
第一信号が受信されていない場合（Ｓ５１：ＮＯ）、会議終了であるか否かが判断される（Ｓ５５）。第一信号が受信された場合（Ｓ５１：ＹＥＳ）、端末装置３のユーザと端末装置４のユーザとが、不自然な視線一致状態にあるとして、駆動回路３３２（図８参照）によって、カメラ移動装置３６の備えるモータ（図示省略）が駆動される。そして、モータの駆動量に応じて、ビデオカメラ３４の位置が移動する。具体的には、図３に示すように、ユーザの視線の延長線上に位置していたビデオカメラ３４は、レール部３４１に沿って、ユーザを中心として円弧上に移動する。こうして、撮影位置がユーザの視線方向に相対する位置から退避する位置に変更される（Ｓ５２）。
【００９６】
端末装置３から送信された第二信号が受信されたか否かが判断される（Ｓ５３）。第二信号が受信されていない場合（Ｓ５３：ＮＯ）、第二信号が受信されるまで、Ｓ５３の処理が繰り返される。第二信号が受信された場合（Ｓ５３：ＹＥＳ）、端末装置３のユーザと端末装置４のユーザとの不自然な視線一致状態は、回避することができたとして、駆動回路３３２によって、ビデオカメラ３４の位置を変更するためのモータ（図示省略）が駆動される。そして、ユーザの視線の延長線上からはずれて位置していたビデオカメラ３４は、カメラ支持部材３４２に支持されながら、ユーザを中心として円弧上にユーザと相対する位置まで移動する。こうして、撮影位置が元の位置に復帰される（Ｓ５４）。
【００９７】
そして、接続端末記憶エリア２２５が参照されて、ネットワーク２に接続されている端末が、自身の他に１以上あるか否かが判断される（Ｓ５５）。ネットワーク２に接続されている端末が、自身の他には０である場合（Ｓ５５：ＹＥＳ）、処理を終了する。一方、ネットワーク２に接続されている端末が、自身のほかに１以上ある場合（Ｓ５５：ＮＯ）、Ｓ５１に戻り、Ｓ５１〜Ｓ５５の処理が繰り返される。
【００９８】
なお、以上説明において、図２、図８に示すビデオカメラ３４が本発明の「ユーザ撮影手段」に相当する。赤外線ライト３３が、本発明の「照射手段」に相当する。プロジェクタ２８およびプロジェクタ２８を制御するＣＰＵ２０が、本発明の「表示手段」に相当する。図９に示すＨＤＤ３１の位置関係記憶エリア３１５が本発明の「位置関係記憶手段」に相当する。図１１に示すＳ２の処理を実行するＣＰＵ２０が本発明の「視線方向検出手段」に相当する。図１１に示すＳ３の処理を実行するＣＰＵ２０が本発明の「視線位置特定手段」に相当する。図１１に示すＳ４において相手ユーザの顔を検出するＣＰＵ２０が本発明の「顔検出手段」に相当する。図１１に示すＳ５の処理を実行するＣＰＵ２０が本発明の「視線一致検出手段」に相当する。図１１に示すＳ７の処理を実行するＣＰＵ２０が本発明の「視線一致時間計測手段」に相当する。図１１に示すＳ９の処理を実行するＣＰＵ２０が本発明の「第一信号送信手段」に相当する。図１１に示すＳ１０の処理を実行するＣＰＵ２０が本発明の「送信後経過時間計測手段」に相当する。図１１に示すＳ１１の処理を実行するＣＰＵ２０が本発明の「別画像表示判断手段」に相当する。図１１に示すＳ１３の処理を実行するＣＰＵ２０が本発明の「第二所定時間判断手段」に相当する。図１１に示すＳ１４の処理を実行するＣＰＵ２０が本発明の「第二信号送信手段」に相当する。図１３に示すＳ５１の処理を実行するＣＰＵ２０が本発明の「第一信号受信手段」に相当する。図１３に示すＳ５２の処理を実行するＣＰＵ２０が本発明の「撮影位置変更手段」に相当する。図１３に示すＳ５３の処理を実行するＣＰＵ２０が本発明の「第二信号受信手段」に相当する。図１３に示すＳ５４の処理を実行するＣＰＵ２０が本発明の「撮影位置復帰手段」に相当する。
【００９９】
以上説明したように、第一実施形態である端末装置３は、ネットワーク２を介して他の端末装置４と相互に接続される。これら端末装置間で、画像、音声を互いに送受信することで遠隔会議を実施するテレビ会議システム１を構成する。このテレビ会議システム１では、遠隔会議中に、端末装置３（又は４）のユーザが、スクリーン３２に表示された相手ユーザに対して、視線を不自然に一致させているか否かを監視する。そして、不自然な視線一致状態が検出された場合に、相手ユーザの端末装置４（又は３）に対して、不自然な視線一致状態が検出された旨の信号（第一信号）を送信する。相手ユーザの端末装置４（又は３）では、第一信号を受信すると、相手ユーザを撮影するビデオカメラ３４の位置を変更する。これにより、会議参加者同士の不自然な視線一致状態を回避することができ、会議参加者は、円滑に会話をすることができる。
【０１００】
次に、第二実施形態である端末装置１３０について、図面を参照して説明する。端末装置１３０では、ユーザと相手ユーザとが不自然な視線一致状態にある場合、相手ユーザを撮影するビデオカメラ３４の位置を変更させて視線一致状態を回避する。また、ユーザの瞬きの回数をカウントし、瞬きが頻繁に行われている場合には、ユーザが緊張状態にあるとして、視線一致状態の回避時間を長くする。また、ユーザと相手ユーザとがいずれも無言状態にある場合には、気まずい雰囲気にあるとして、視線一致状態の回避時間を長くする。そこで、これら異なる点を重点的に説明するために、第一実施形態とは異なるＣＰＵ１２０による通信制御処理を中心に説明する。なお、第二実施形態の端末装置１３０は、第一実施形態の端末装置３と同様に、図１に示すテレビ会議システム１を構成するものである。
【０１０１】
はじめに、瞬き検出方法について説明する。瞬きを検出する方法としては、周知の方法が用いられ、例えば、特開２００８−２２６１０６号公報に記載された瞬きの検出方法が適用可能である。
【０１０２】
上記検出方法を適法した瞬きの検出方法について、図１４および図１５を参照して説明する。まず、撮影画像データ記憶エリア３１１に記憶されたユーザの撮影画像から、ユーザの顔を検出する。顔の検出は、顔輪郭のエッジを算出し、あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出することによって行う。
【０１０３】
次に、検出された顔の領域の中から、瞬きを検出する領域（瞬き検出領域７０）が抽出される。瞬き検出領域７０を抽出するために、まず、検出された顔のほぼ中央において２つの隣り合った鼻孔を検出する。そして、検出された鼻孔位置よりも上方において横長の長方形状の瞬き検出領域７０が抽出される。
【０１０４】
抽出された瞬き検出領域７０において、眼７７の開閉状態を判断する。眼７７の開閉状態を判断するために、はじめに、瞬き検出領域７０において眼７７を検出し、検出された眼７７の面積を取得する。次に、検出された眼７７の面積の顔面積に対する割合が、後述するＨＤＤ１３１の閾値記憶エリア３１８に記憶された閾値以上であるか否かを判断する。閾値は、ユーザが最も眼７７を開いている場合の顔に対する眼７７の面積の割合（最大値）と、ユーザが眼７７をつむっている場合の顔に対する眼７７の面積の割合（最小値）との平均値である。閾値以上であれば眼７７を開いた状態と判断し、閾値以下であれば眼７７を閉じた状態と判断する。
【０１０５】
眼７７の開閉状態の判断は、１／３０秒ごとに行う。眼７７の面積が閾値以上から閾値未満に変化した場合に、瞬きが行われたとして検出する。
【０１０６】
次に、端末装置１３０の電気的構成について、図１６を参照して説明する。端末装置１３０には、端末装置１３０の制御を司るコントローラとしてのＣＰＵ１２０が設けられている。ＣＰＵ１２０には、ＢＩＯＳ等を記憶したＲＯＭ１２１と、各種データを一時的に記憶するＲＡＭ１２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ１３１（以下、ＨＤＤ１３１）と、カードリーダ制御部３８とが接続されている。カードリーダ制御部３８には、各ユーザが所有する識別カード（図示外）に記憶されたユーザを識別するためのユーザＩＤを読み込むためのカードリーダ３９が接続されている。
【０１０７】
ＨＤＤ１３１は、図１７に示すように、第一実施形態のＨＤＤ３１と同様の各種記憶エリア（図９参照）に加えて、閾値記憶エリア３１８と、所定値記憶エリア３１６と、ユーザＩＤ記憶エリア３２０とを備える。ユーザＩＤ記憶エリア３２０には、会議開始時にカードリーダ３９で読み取られた識別カード（図示外）に記憶されたユーザＩＤが記憶される。閾値記憶エリア３１８には、閾値テーブル（図示省略）が設けられている。閾値テーブルには、ユーザごとに顔面積に対する眼面積の平均値（閾値）が記憶されている。
【０１０８】
ＲＡＭ１２２には、瞬き検出領域７０の眼７７の画像を記憶する眼画像記憶エリア２２６と、カウントされた瞬き回数を記憶する瞬き回数記憶エリア２２７と、ユーザまたは相手ユーザが音声を発した場合に、音声があったこと記憶する音声有無記憶エリア２２８とを備える。端末装置１３０のその他の電気的構成は、第一実施形態の端末装置３（図８参照）と同様の構成を備えている。
【０１０９】
次に、ＣＰＵ１２０による通信制御処理について、図１９のフローチャートを参照して説明する。本実施形態においても、端末装置３、４では、視線方向を検出して視線一致状態を監視する「視線方向検出処理」と、視線一致を受けてビデオカメラの撮影位置を変更する「撮影位置変更処理」との両方が行われる。「撮影位置変更処理」は、第一実施形態と同様であるため、説明を省略する。
【０１１０】
端末装置３と端末装置４とが各々ネットワークに接続し、互いに通信を開始すると、図１９に示す視線方向検出処理が開始される。視線方向検出処理が開始されると、はじめに、計測時間記憶エリア２２９に記憶された視線一致時間ｔ１の値、送信後経過時間ｔ２の値が初期化される。また、瞬き回数記憶エリア２２７に記憶された瞬き回数Ｙの値、音声有無記憶エリア２２８に記憶された値が初期化される（Ｓ２１）。
【０１１１】
次に、上述の方法によって、ユーザの視線方向が検出される（Ｓ２２）。検出された視線方向は、ＲＡＭ１２２の視線方向記憶エリア２２１に記憶される。続いて、視線方向記憶エリア２２１に記憶された視線方向と、位置関係記憶エリア３１５に記憶された所定距離Ｌから、スクリーン３２における表示画像上のユーザの視線位置Ｔが特定される（Ｓ２３）。特定された視線位置Ｔは、ＲＡＭ１２２の視線位置記憶エリア２２２に記憶される。
【０１１２】
次に、上述の方法により、相手ユーザのスクリーン３２上での右眼７２１、左眼７２２、鼻７２３を結ぶ領域Ｍが特定される（Ｓ２４）。特定された領域Ｍは、領域Ｍ記憶エリア２２３に記憶される。
【０１１３】
そして、視線位置記憶エリア２２２に記憶された視線位置Ｔが、領域Ｍ記憶エリア２２３に記憶された領域Ｍにあるか否かが判断される（Ｓ２５）。視線位置Ｔが領域Ｍにある場合（Ｓ２５：ＹＥＳ）、視線一致状態であると判断されて、視線一致時間ｔ１が計測中であるか否かが判断される（Ｓ２６）。視線一致時間ｔ１が計測中でない場合（Ｓ２６：ＮＯ）、視線一致時間ｔ１の計測が開始される（Ｓ２７）。
【０１１４】
視線一致時間ｔ１の計測が開始されると（Ｓ２７）、音声を検出する音声検出処理が起動される（Ｓ２８）。音声検出処理について、図２０を参照して説明する。音声検出処理は、図１９に示す視線方向検出処理の中で起動される処理であり、視線方向検出処理と並行して行われる。
【０１１５】
音声検出処理では、まず、マイク３５からユーザの音声が入力されたか、又は端末装置４から相手ユーザの音声データが送信されたかが判断される（Ｓ１０１）。マイク３５からユーザの音声が入力されたか、又は端末装置４から相手ユーザの音声データが送信された場合には（Ｓ１０１：ＹＥＳ）、音声有無記憶エリア２２８に音声が検出されたことが記憶される（Ｓ１０２）。具体的には、音声有無記憶エリア２２８に「１」が記憶される。そして、Ｓ１０１の処理に戻る。
【０１１６】
マイク３５からユーザの音声が入力されず、又は端末装置４から相手ユーザの音声データが送信されない場合には（Ｓ１０１：ＮＯ）、音声有無記憶エリア２２８の記憶内容は変更されずに、Ｓ１０１の処理に戻る。なお、音声有無記憶エリア２２８の初期値は「０」である。音声検出処理は、視線方向検出処理が終了する際に同時に終了する。
【０１１７】
図１９に示す視線方向検出処理において、音声検出処理が起動されると（Ｓ２８）、次に、瞬き回数のカウントをする瞬きカウント処理が起動される（Ｓ２９）。瞬きカウント処理について、図２１を参照して説明する。瞬きカウント処理は、図１９に示す視線方向検出処理の中で起動される処理であり、視線方向検出処理と並行して行われる。
【０１１８】
瞬き回数カウント処理では、まず、ユーザＩＤ記憶エリア３２０と閾値記憶エリア３１８とが参照されて、端末装置１３０を使用しているユーザの顔面積に対する眼面積の割合の平均値（閾値）が特定される（Ｓ１３１）。そして、撮影画像データ記憶エリア３１１が参照されて、上述の方法により、瞬きの有無が検出される（Ｓ１３２）。そして、瞬きがあったか否かが判断される（Ｓ１３３）。瞬きがあったと判断されると（Ｓ１３３：ＹＥＳ）、瞬き回数記憶エリア２２７に記憶された瞬き回数Ｙの値が１増加されて上書きされ（Ｓ１３４）、Ｓ１３１の処理に戻る。瞬きがなかったと判断されると（Ｓ１３３：ＮＯ）、Ｓ１３４の処理は行われずに、Ｓ１３１に戻る。なお、瞬きカウント処理は、視線方向検出処理が終了する際に同時に終了する。
【０１１９】
図１９に示す視線方向検出処理において、瞬き回数カウント処理が起動されると（Ｓ２９）、再度、Ｓ２２〜Ｓ２５の処理が行われる。
【０１２０】
視線一致時間ｔ１が計測中である場合（Ｓ２６：ＹＥＳ）、計測された視線一致時間ｔ１が、所定時間記憶エリア３１４に記憶された第一所定時間Ｔ１以上であるか否かが判断される（Ｓ３０）。本実施形態では、第一所定時間Ｔ１は５秒である。
【０１２１】
視線一致時間ｔ１が第一所定時間Ｔ１以上でない場合（Ｓ３０：ＮＯ）、視線一致状態となってからの経過時間が５秒未満である。この場合には、ユーザはスクリーン３２に表示された相手ユーザに対して、自然に視線を一致させた状態であるとして、視線一致時間ｔ１が第一所定時間Ｔ１以上となるまで、Ｓ２２〜Ｓ３０の処理が繰り返される。
【０１２２】
一方、視線一致時間ｔ１が第一所定時間Ｔ１以上である場合（Ｓ３０：ＹＥＳ）、視線一致状態が５秒以上継続している。この場合には、相手ユーザの使用する端末装置４に、視線一致状態が不自然に継続したことを通知する第一信号が送信される（Ｓ３１）。第一信号は、第一実施形態と同様に、端末装置４においてビデオカメラ３４の撮影位置を変更させるために、端末装置４に送信されるものである。
【０１２３】
第一信号が送信されると（Ｓ３１）、第一信号が送信されてからの経過時間である送信後経過時間ｔ２の計測が開始される（Ｓ３２）。続いて、表示画面データ記憶エリア３１２の共有資料データ記憶エリアが参照されて、スクリーン３２に共有資料画面２８２が表示されているか否かが判断される（Ｓ３３）。共有資料データ記憶エリアに共有資料の画面データが記憶されていない場合、スクリーン３２には共有資料画面２８２が表示されていない（Ｓ３３：ＮＯ）。この場合には、Ｓ３５の処理に移行する。
【０１２４】
一方、共有資料データ記憶エリアに共有資料の画面データが記憶されている場合、スクリーン３２には共有資料画面２８２が表示されている（Ｓ３３：ＹＥＳ）。この場合には、共有資料画面２８２が相手ユーザ画面２８１を覆うように拡大される（Ｓ３４）。拡大方法は第一実施形態と同様であるため、説明を省略する。
【０１２５】
そして、計測された視線一致時間ｔ１が、所定時間記憶エリア３１４に記憶された第三所定時間Ｔ３以上であるか否かが判断される（Ｓ３５）。本実施形態では、第三所定時間Ｔ３は７秒である。
【０１２６】
視線一致時間ｔ１が第三所定時間Ｔ３以上でない場合（Ｓ３５：ＮＯ）、視線一致時間ｔ１が第三所定時間Ｔ３以上となるまで、Ｓ３５の処理が繰り返される。視線一致時間ｔ１が第三所定時間Ｔ３以上である場合（Ｓ３５：ＹＥＳ）、音声有無記憶エリア２２８が参照されて、視線一致時間ｔ１が第三所定時間Ｔ３以上となるまでの間、ユーザと相手ユーザとが無言状態であったか否かが判断される（Ｓ３６）。
【０１２７】
音声有無記憶エリア２２８に「０」が記憶されている場合、ユーザおよび相手ユーザのいずれも音声を発しない、無言状態が継続していたと判断される（Ｓ３６：ＹＥＳ）。無言状態が続いていたユーザと相手ユーザとは、気まずい雰囲気であった可能性が高い。続いて、瞬き回数記憶エリア２２７と所定値記憶エリア３１６とが参照されて、視線一致時間ｔ１が第三所定時間Ｔ３以上となるまでの間にユーザが行った瞬きの回数Ｙが、所定値Ｕ以上であったか否かが判断される（Ｓ３７）。一般に、ユーザは緊張状態になると瞬きの回数が増加する。瞬き回数記憶エリア２２７に記憶された瞬きの回数Ｙが、所定値記憶エリア３１６に記憶された所定値Ｕ以上である場合（Ｓ３７：ＹＥＳ）、ユーザは緊張状態にある可能性が高い。
【０１２８】
このように、不自然な視線一致状態が継続し、ユーザ間で無言状態が継続したうえに（Ｓ３６：ＹＥＳ）、ユーザの瞬き回数Ｙが所定値Ｕ以上である場合（Ｓ３７：ＹＥＳ）、ユーザは非常に居心地の悪い状況にあるといえる。この場合、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２の値が所定時間ａに変更される（Ｓ３８）。所定時間ａは、初期状態の第二所定時間Ｔ２よりも長い時間である。本実施形態では、初期状態の第二所定時間を１０秒とし、所定時間ａを２０秒とする。
【０１２９】
一方、瞬き回数記憶エリア２２７に記憶された瞬きの回数Ｙが、所定値記憶エリア３１６に記憶された所定値Ｕ未満である場合（Ｓ３７：ＮＯ）、ユーザは緊張状態にない可能性が高い。このように、不自然な視線一致状態が継続し、かつユーザ間で無言状態が継続しているものの（Ｓ３６；ＹＥＳ）、ユーザの瞬き回数Ｙが所定値Ｕ未満の場合（Ｓ３７：ＮＯ）、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２の値が所定時間ｂに変更される（Ｓ３９）。所定時間ｂは、初期状態の第二所定時間Ｔ２よりも長い時間であって、所定時間ａよりも短い時間である。本実施形態では、所定時間ｂを１５秒とする。
【０１３０】
また、Ｓ３６において、音声有無記憶エリア２２８に「１」が記憶されている場合、ユーザもしくは相手ユーザのいずれかが音声を発しているため、無言状態は継続していなかったと判断される（Ｓ３６：ＮＯ）。この場合、ユーザと相手ユーザとの間に、視線一致状態が長く続いたものの、ユーザと相手ユーザとの間には会話があり、気まずい雰囲気はなかった可能性が高い。
【０１３１】
この場合、続いて、瞬き回数記憶エリア２２７と所定値記憶エリア３１６とが参照されて、視線一致時間ｔ１が第三所定時間Ｔ３以上となるまでの間にユーザが行った瞬きの回数Ｙが、所定値Ｕ以上であったか否かが判断される（Ｓ４０）。瞬き回数記憶エリア２２７に記憶された瞬きの回数Ｙが、所定値記憶エリア３１６に記憶された所定値Ｕ以上である場合（Ｓ４０：ＹＥＳ）、ユーザは緊張状態にある可能性が高い。
【０１３２】
このように、不自然な視線一致状態が継続し、ユーザのいずれかに発話があったものの（Ｓ３６：ＮＯ）、ユーザの瞬き回数Ｙが所定値Ｕ以上である場合（Ｓ４０：ＹＥＳ）、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２の値が所定時間ｃに変更される（Ｓ４１）。所定時間ｃは、初期状態の第二所定時間Ｔ２よりも長い時間であり、所定時間ａや所定時間ｂよりも短い時間である。本実施形態では所定時間ｃは１２秒とする。
【０１３３】
一方、瞬き回数記憶エリア２２７に記憶された瞬きの回数Ｙが、所定値記憶エリア３１６に記憶された所定値Ｕ未満である場合（Ｓ４０：ＮＯ）、ユーザは居心地の悪さをそれほど感じていないとして、第二所定時間Ｔ２の値は変更されない。
【０１３４】
Ｓ３８、Ｓ３９、Ｓ４１のいずれかの処理が終了すると、計測された送信後経過時間ｔ２が、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２以上であるか否かが判断される（Ｓ４２）。上述のように、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２は、検出されたユーザの緊張度や居心地の悪さに応じて設定されている。具体的には、第二所定時間Ｔ２は、ユーザと相手ユーザとの間に無言状態が継続し、かつユーザの瞬き回数が多い場合には２０秒に設定される。ユーザと相手ユーザとの間に無言状態が継続しているものの、ユーザの瞬き回数が多くない場合には１５秒に設定される。ユーザと相手ユーザとの間に発話があり、ユーザの瞬き回数が多い場合には１２秒に設定される。ユーザと相手ユーザとの間に発話があり、ユーザの瞬き回数が多くない場合には初期状態である１０秒のままである。
【０１３５】
送信後経過時間ｔ２が第二所定時間Ｔ２以上でない場合（Ｓ４２：ＮＯ）、ユーザの居心地の悪さが回避されてから、未だ十分な時間が経過していないとして、送信後経過時間ｔ２が第二所定時間Ｔ２以上となるまで、Ｓ４２の処理が繰り返される。
【０１３６】
一方、送信後経過時間ｔ２が第二所定時間Ｔ２以上である場合（Ｓ４２：ＹＥＳ）、端末装置４におけるビデオカメラ３４の撮影位置が変更されてから十分な時間が経過している。この場合には、相手ユーザの使用する端末装置４に、端末装置３のユーザの居心地の悪さが回避された旨の第二信号が送信される（Ｓ４３）。
【０１３７】
そして、接続端末記憶エリア２２５を参照して、ネットワーク２に接続されている端末が自身のほかに１以上あるか否かが判断される（Ｓ４４）。ネットワーク２に接続されている端末が、自身の他に０であると判断された場合、会議終了であるとして（Ｓ４４：ＹＥＳ）、処理は終了する。一方、ネットワーク２に接続されている端末が、自身のほかに１以上ある場合、会議は継続しているとして（Ｓ４４：ＮＯ）、Ｓ２１に戻り処理が繰り返される。
【０１３８】
以上説明したように、第二実施形態の端末装置１３０では、ユーザと相手ユーザとの間で、無言状態が第三所定時間Ｔ３以上続いた場合、相手ユーザを撮影するビデオカメラ３４の位置を変更してから復帰するまでの時間を延長する。そのため、無言状態が長く続いた場合には、視線を外す時間を延長することができる。よって、気まずい雰囲気にあるユーザ間で視線一致状態が不自然にあった場合には、気まずい雰囲気を確実に回避させることができる。
【０１３９】
また、第三所定時間Ｔ３の間に、ユーザが行った瞬きの回数Ｙが所定値Ｕ以上である場合には、相手ユーザを撮影するビデオカメラ３４の位置を変更してから復帰するまでの時間を延長する。そのため、相手ユーザに対して不自然に視線を一致させたユーザが緊張状態にある場合には、視線を外す時間を延長することができる。よって、ユーザの緊張状態をやわらげることができる。
【０１４０】
なお、以上説明において、図２０に示すＳ１０１の処理を行うＣＰＵ１２０が本発明の「ユーザ音声検出手段」および「相手ユーザ音声検出手段」に相当する。図１９に示すＳ２７、Ｓ２８の処理を実行するＣＰＵ１２０が本発明の「無言時間計測手段」に相当する。図１９に示すＳ３８、Ｓ３９の処理を実行するＣＰＵ１２０が本発明の「第一の第二所定時間調整手段」に相当する。図１９に示すＳ３５の処理を実行するＣＰＵ１２０が本発明の「第三所定時間判断手段」に相当する。図２１に示すＳ１３２の処理を行うＣＰＵ１２０が本発明の「瞬き検出手段」に相当する。図２１に示すＳ１３４の処理を行うＣＰＵ１２０が本発明の「瞬きカウント手段」に相当する。図１９に示すＳ３０、Ｓ４１の処理を実行するＣＰＵ１２０が本発明の「第二の第二所定時間調整手段」に相当する。図１９に示すＳ２７の処理を実行するＣＰＵ１２０が本発明の「計測手段」に相当する。図１９に示すＳ３５の処理を実行するＣＰＵ１２０が本発明の「第四所定時間判断手段」に相当する。図１９に示すＳ３７の処理を実行するＣＰＵ１２０が本発明の「瞬き回数判断手段」に相当する。
【０１４１】
なお、上記実施形態は、発明を逸脱しない範囲で種々の変更が可能であることは、言うまでもない。例えば、実施形態のテレビ会議システムは、２台の端末装置を備えていたが、本発明は３台以上の装置を備えるテレビ会議システムにも適応可能である。画面に表示される複数の相手ユーザのうちのいずれかひとりに対して、ユーザが視線を一致させている時間が長すぎる場合、視線一致の対象となる相手ユーザのビデオカメラ３４の撮影位置を変更すればよい。複数の相手ユーザのうちの特定の相手ユーザと気まずい雰囲気になった場合にも、気まずい雰囲気を回避することができ、会議を円滑に進めることできる。
【０１４２】
また、相手ユーザの端末装置４に送信する画像を撮影するビデオカメラ３４を利用して、ユーザの視線方向の検出を行うための画像を撮影したが、視線方向検出のためのビデオカメラを別に設けてもよい。
【０１４３】
また、赤外線ライト３３の設置位置は実施形態に限定されない。この場合、スクリーン３２に対する赤外線ライト３３の配置位置をＨＤＤ３１に記憶しておく。スクリーン３２の面に対する赤外線ライト３３の照射角度をα、上述の方法で検出された眼球７２の回転角度をθ、眼球７２の中心からスクリーン３２に対して直角に交わる交点を中心点Ｏ、眼球７２の中心と中心点Ｏとの距離をＬとする。使用者の視線方向の先にあるディスプレイ２８上の視線位置と中心点Ｏとの距離Ｋは、以下の式で示される。
Ｋ＝Ｌ・ｔａｎ（θ−（９０−α））
スクリーン３２の裏面のスペースが限られている場合には、赤外線ライト３３の設置位置を変更することができる。
【０１４４】
また、上述の実施形態では、不自然な視線一致状態が検出された場合、スクリーン３２に共有資料画面２８２が存在すれば、スクリーン３２に共有資料画面２８２を拡大させたが、拡大する画面は共有資料画面２８２に限定されない。スクリーン３２に相手ユーザ画面２８１の他の別画面が表示されているか否かを、表示画面データ記憶エリア３１２を参照して判断し、別画面が表示されていると判断された場合には、別画像を拡大表示してもよい。また、スクリーン３２に共有資料画面２８２が存在している場合であっても、共有資料画面２８２を拡大させなくてもよい。
【０１４５】
また、図１９に示す第二実施形態の視線方向検出処理では、音声検出処理を起動させるとともに（Ｓ２８）、瞬き回数カウント処理を起動させたが（Ｓ２９）、音声検出処理及び瞬き回数カウント処理のいずれか一方を起動させてもよい。
【０１４６】
また、上述の実施形態では、ユーザの眼球７２とスクリーン３２との距離は、一定であると近似され、所定距離Ｌとして予め記憶されていたが、これに限定されるものでは無い。たとえば、遠隔会議開始時や視線方向検出時などに、ユーザの眼球７２とスクリーン３２との距離を算出し、算出された値を前記所定距離Ｌとして、スクリーン３２上のユーザの視線位置Ｔを特定しても良い。所定距離Ｌの算出方法としては、周知の方法が適用可能であるが、たとえば、以下の方法が適用可能である。
【０１４７】
この方法では、予めビデオカメラ３４とユーザ（ユーザの眼球７２）とを所定距離とした状態でユーザを撮影する。撮影されたユーザの画像からユーザの各眼球７２について瞳孔７５の位置をそれぞれ抽出し、抽出された瞳孔７５の間隔を、基準瞳孔間隔として予めＨＤＤ３１に記憶する。一般に、撮影画像における瞳孔間隔は、瞳孔７５とビデオカメラ３４との距離に反比例する。よって、ビデオカメラ３４により撮影された実際の瞳孔間隔と、予め記憶された基準瞳孔間隔とから、ビデオカメラ３４と眼球７２との距離を算出できる。ビデオカメラ３４とスクリーン３２との位置関係を予めＨＤＤ３１に記憶しておくことにより、スクリーン３２と眼球７２との距離を算出することができ、算出された値を所定距離Ｌとして用いることができる。
【符号の説明】
【０１４８】
１ テレビ会議システム
２ ネットワーク
３，４ 端末装置
３２ スクリーン
３３ 赤外線ライト
３４ ビデオカメラ
３５ マイク
３６ カメラ移動装置
７１ プルキニエ像
７２ 眼球
７５ 瞳孔
７６ 瞳孔中心
１３０ 端末装置
１３１ ハードディスクドライブ
２２１ 視線方向記憶エリア
２２２ 視線位置記憶エリア
２８１ 相手ユーザ画面
２８２ 共有資料画面
３１０ 撮影画像データ記憶エリア
３１２ 表示画面データ記憶エリア
３１５ 位置関係記憶エリア
ｔ１ 視線一致時間
Ｔ１ 第一所定時間
ｔ２ 送信後経過時間
Ｔ２ 第二所定時間
Ｔ３ 第三所定時間
【技術分野】
【０００１】
本発明は、相手側の通信端末装置との間で、画像と音声を双方向に送受信できる通信端末装置、当該通信端末装置の通信制御方法、通信制御プログラムに関する。
【背景技術】
【０００２】
従来、複数の通信端末装置をネットワークを介して接続し、画像と音声を双方向に送受信することで、遠隔の地にある者同士の会議を実現するテレビ会議システムが知られている。臨場感を伴う高度なテレビ会議システムの実現には、会議出席者間の視線一致が不可欠である。そこで、液晶ディスプレイやプロジェクタ等の利用によるさまざまな視線一致の実現手法が提案されている。
【０００３】
例えば、スクリーンの裏面に対して斜め後方にプロジェクタを配置し、スクリーンの裏面にビデオカメラを垂直に配置した表示撮像装置が知られている（例えば、特許文献１参照）。プロジェクタは、スクリーンに対して他拠点で撮影されたユーザの撮影画像を映し出す。ビデオカメラの映像は、他拠点に配置した表示撮像装置のプロジェクタから出力される。このような配置により、会議出席者がスクリーンを見つめると、会議出席者の視線は、スクリーンを介してビデオカメラに向けられる。よって、会議出席者間の視線を一致させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１３３３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、日常生活の中で会話をする場合には、相手と視線を合わせ続けながら会話をすることは少ない。話者は、状況に応じて、相手に視線をあわせるだけでなく、相手から自然に視線を外して会話をしている。一方、特許文献１に記載の表示撮像装置を用いてテレビ会議を行った場合、会議出席者がスクリーンを見つめ続けると、相手から自然に視線を外すことが困難となり、会議出席者間の視線は一致し続けてしまう。この場合、居心地の悪い不自然な状況になってしまうという問題点があった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、適度に視線を外しながら自然な状況で会話をすることができる通信端末装置、通信端末装置の通信制御方法、通信制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に係る発明の通信端末装置は、ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置であって、ユーザを撮影するユーザ撮影手段と、前記ユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像送信手段と、他の端末から送信された前記画像を画面に表示する表示手段と、前記ユーザ撮影手段により撮影された画像から前記ユーザの視線方向を検出する視線方向検出手段と、前記視線方向検出手段が検出した前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定手段と、前記画面上の前記ユーザの顔を検出する顔検出手段と、前記視線位置特定手段によって特定された前記視線位置が、前記顔検出手段によって検出された前記ユーザの顔の所定領域内にある状態を視線一致状態として検出する視線一致検出手段と、前記視線一致検出手段により前記視線一致状態が検出された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測手段と、前記視線一致時間計測手段により計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断手段と、前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する端末である相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信手段と、前記相手側端末から送信された前記第一信号を受信する第一信号受信手段と、前記第一信号受信手段によって、前記第一信号を受信した場合に、前記ユーザ撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更手段とを備えている。
【０００８】
また、請求項２に係る発明の通信端末装置は、請求項１に記載の発明の構成に加え、前記撮影位置変更手段は、前記撮影手段を前記ユーザの視線方向から退避する位置に移動させることを特徴とする。
【０００９】
また、請求項３に係る発明の通信端末装置は、請求項１又は２に記載の発明の構成に加え、非可視光を前記ユーザの眼球に照射する照射手段をさらに備え、前記視線方向検出手段は、前記ユーザ撮影手段により撮影された前記画像における前記非可視光の前記ユーザの眼球角膜反射面における虚像（プルキニエ像）と、前記ユーザの眼球瞳孔中心との相対位置から、前記視線方向を検出することを特徴とする。
【００１０】
また、請求項４に係る発明の通信端末装置は、請求項３に記載の発明の構成に加え、前記ユーザの眼球と前記画面と前記照射手段との位置関係を記憶する位置関係記憶手段をさらに備え、前記視線位置特定手段は、前記位置関係記憶手段に記憶された前記位置関係と、前記視線方向検出手段によって検出された前記視線方向とから、前記画面上の前記視線位置を特定することを特徴とする。
【００１１】
また、請求項５に係る発明の通信端末装置は、請求項３又は４に記載の発明の構成に加え、前記ユーザ撮影手段は、前記ユーザに対して前記画面の後方に配置され、前記照射手段は、前記ユーザ撮影手段に取り付けられていることを特徴とする。
【００１２】
また、請求項６に係る発明の通信端末装置は、請求項１乃至５のいずれかに記載の発明の構成に加え、前記画面に、前記ユーザの画像とは異なる別画像が前記画像と併せて表示されているか否かを判断する別画像表示判断手段と、前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断され、且つ前記別画像判断手段によって前記画面に前記別画像が表示されていると判断された場合に、前記画面において前記別画像を現在の表示サイズと比較して拡大表示するとともに、前記画像に重ねて透過表示する別画像拡大表示手段とを備えている。
【００１３】
また、請求項７に係る発明の通信端末装置は、請求項６に記載の発明の構成に加え、前記別画像拡大表示手段は、前記別画像を前記ユーザの画像の前記所定領域に重ねて表示することを特徴とする。
【００１４】
また、請求項８に係る発明の通信端末装置は、請求項１乃至７のいずれかに記載の発明の構成に加え、前記第一信号送信手段により前記第一信号を送信してからの経過時間である送信後経過時間を計測する送信後経過時間計測手段と、前記送信後経過時間計測手段により計測された前記送信後経過時間が第二所定時間以上になったか否かを判断する第二所定時間判断手段と、前記第二所定時間判断手段によって前記送信後経過時間が前記第二所定時間以上になったと判断された場合に、前記相手側端末に、前記送信後経過時間が前記第二所定時間以上になったことを示す第二信号を送信する第二信号送信手段と、前記第二信号を受信する第二信号受信手段と、前記第二信号受信手段によって、前記相手側端末から送信された前記第二信号が受信された場合に、前記撮影手段の前記撮影位置をもとの位置に復帰させる撮影位置復帰手段とをさらに備えている。
【００１５】
また、請求項９に係る発明の通信端末装置は、請求項１乃至８のいずれかに記載の発明の構成に加え、前記ユーザの音声を検出するユーザ音声検出手段と、前記相手ユーザの音声を検出する相手ユーザ音声検出手段と、前記ユーザ音声検出手段及び前記相手ユーザ音声検出手段のいずれも音声を検出しない状態を無言状態として、前記無言状態が継続する時間である無言時間を計測する無言時間計測手段と、前記無言時間計測手段により計測された前記無言時間に基づいて、前記第二所定時間を調整する第一の第二所定時間調整手段とをさらに備えている。
【００１６】
また、請求項１０に係る発明の通信端末装置は、請求項９に記載の発明の構成に加え、前記第一の第二所定時間調整手段は、前記無言時間計測手段により計測された前記無言時間が、第三所定時間以上になったか否かを判断する第三所定時間判断手段を備え、前記第三所定時間判断手段によって、前記無言時間が前記第三所定時間以上になったと判断された場合に、前記第二所定時間を延長することを特徴とする。
【００１７】
また、請求項１１に係る発明の通信端末装置は、請求項１乃至１０のいずれかに記載の発明の構成に加え、前記ユーザの瞬きを検出する瞬き検出手段と、前記瞬き検出手段によって検出された前記瞬きの回数をカウントする瞬きカウント手段と、前記カウント手段によってカウントされた前記回数に基づいて、前記第二所定時間を調整する第二の第二所定時間調整手段とをさらに備えている。
【００１８】
また、請求項１２に係る発明の通信端末装置は、請求項１１に記載の発明の構成に加え、前記第二の第二所定時間調整手段は、前記視線一致検出手段により前記視線一致状態が検出されてからの経過時間を計測する計測手段と、前記計測手段により計測された前記経過時間が第四所定時間以上になったか否かを判断する第四所定時間判断手段と、前記第四所定時間判断手段によって前記経過時間が前記第四所定時間以上になったと判断された場合に、前記瞬きカウント手段によってカウントされた前記回数が所定回数以上であるか否かを判断する瞬き回数判断手段とを備え、前記瞬き回数判断手段により、前記回数が所定回数以上であったと判断された場合に、前記第二所定時間を延長することを特徴とする。
【００１９】
また、請求項１３に係る発明の通信端末装置の通信制御方法は、ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置の通信制御方法であって、ユーザを撮影するユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像データ送信ステップと、他の端末から送信された前記画像を画面に表示する表示ステップと、前記ユーザの視線方向を検出する視線方向検出ステップと、前記視線方向検出ステップにおいて検出された前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定ステップと、前記画面上の前記ユーザの顔を検出する顔検出ステップと、前記視線位置特定ステップにおいて特定された前記視線位置が、前記顔検出ステップにおいて検出された前記ユーザの顔の所定領域内にある視線一致状態か否かを判断する視線一致判断ステップと、前記視線一致判断ステップにおいて前記視線一致状態であると判断された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測ステップと、前記視線一致時間計測ステップにおいて計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断ステップと、前記第一所定時間判断ステップにおいて前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信ステップと、前記第一信号を受信する第一信号受信ステップと、
前記第一信号受信ステップにおいて、前記相手側端末から送信された前記第一信号を受信した場合に、前記撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更ステップとを備えたことを特徴とする。
【００２０】
また、請求項１４に係る発明の通信制御プログラムは、請求項１乃至１２のいずれかに記載の通信端末装置の各種処理手段としてコンピュータを機能させる。
【発明の効果】
【００２１】
請求項１に係る発明の通信端末装置では、相手側端末と画像及び音声を介した通信を行うことができる。ユーザ撮影手段によってユーザが撮影される。ユーザ撮影手段によって撮影されたユーザの画像は、画像送信手段によって相手側端末に送信される。相手側端末から送信された相手ユーザの画像は、表示手段によって画面に表示される。表示手段によって画面に表示された相手ユーザの画像から、相手ユーザの顔が、顔検出手段によって検出される。一方、ユーザ撮影手段により撮影された画像から、ユーザの視線方向が視線方向検出手段によって検出される。視線方向検出手段によって検出された視線方向の先にある画面上の視線位置が、視線位置特定手段によって特定される。視線位置特定手段によって特定された視線位置が、顔検出手段によって検出された相手ユーザの顔の所定領域内にある場合に、視線一致検出手段によって視線一致状態が検出される。
【００２２】
視線一致検出手段により視線一致状態が検出された場合、視線一致時間計測手段によって、視線一致状態が継続する時間である視線一致時間が計測される。そして、計測された視線一致時間が第一所定時間以上になったか否かが、第一所定時間判断手段によって判断される。視線一致時間が第一所定時間以上になったと、第一所定時間判断手段によって判断された場合、第一信号送信手段が相手側端末に視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する。相手側端末から送信された第一信号は、第一信号受信手段によって受信される。第一信号受信手段によって、第一信号が受信された場合に、撮影位置変更手段によって、ユーザ撮影手段のユーザに対する撮影位置が変更される。
【００２３】
ユーザが画面上の相手ユーザに対して、不自然に長い時間視線を合わせている場合には、相手ユーザを撮影する撮影手段の撮影位置を変更することができるため、撮影手段に対する相手ユーザの視線をずらすことができる。よって、画面に映る相手ユーザの視線をずらすことができ、ユーザと相手ユーザとで視線が一致し続けてしまう居心地の悪い不自然な状況を回避できる。
【００２４】
また、請求項２に係る発明の通信端末装置は、請求項１に記載の発明の効果に加え、撮影手段は、撮影位置変更手段によってユーザの視線方向から退避する位置に移動される。相手ユーザの視線を、撮影手段から確実に外すことができるため、画面に映る相手ユーザの視線を確実にずらすことができる。
【００２５】
また、請求項３に係る発明の通信端末装置は、請求項１又は２に記載の発明の効果に加え、照射手段が非可視光をユーザの眼球に照射し、視線方向検出手段は、ユーザ撮影手段により撮影された画像における非可視光のユーザの眼球角膜反射面における虚像（プルキニエ像）と、ユーザの眼球瞳孔中心との相対位置から、視線方向を検出する。そのため、大がかりな装置を用いずに、ユーザの視線方向を高精度に検出することができる。また、照射される光は非可視光なので、ユーザに違和感を与えずに、ユーザの視線方向を検出することができる。
【００２６】
また、請求項４に係る発明の通信端末装置は、請求項３に記載の発明の効果に加え、位置関係記憶手段は、ユーザの眼球と画面と照射手段との位置関係を記憶する。視線位置特定手段は、位置関係記憶手段に記憶された位置関係と、視線方向検出手段によって検出された視線方向とから、ユーザの画面上の視線位置を特定する。よって、大がかりな装置を用いずに、ユーザの画面上の視線位置を特定できる。
【００２７】
また、請求項５に係る発明の通信端末装置は、請求項３又は４のいずれかに記載の発明の効果に加え、ユーザ撮影手段は、ユーザに対して画面の後方に配置されている。よって、ユーザが画面を見つめると、ユーザの視線は画面を介してユーザ撮影手段に向けられる。よって、ユーザと相手ユーザとの視線を自然に一致させることができる。また、照射手段は、ユーザ撮影手段に取り付けられているため、ユーザの視線がユーザ撮影手段に向けられている場合に、プルキニエ像と眼球瞳孔中心とは一致する。よって、ユーザの視線がユーザ撮影手段に向けられている場合を基準として、ユーザの視線方向を検出できる。
【００２８】
また、請求項６に係る発明の通信端末装置は、請求項１乃至５のいずれかに記載の発明の効果に加え、別画像表示判断手段によって、画面に相手ユーザの画像とは異なる別画像が前記画像と併せて表示されているか否かが判断される。第一所定時間判断手段によって視線一致時間が第一所定時間以上になったと判断され、且つ別画像判断手段によって画面に別画像が表示されていると判断された場合に、相手ユーザの画像とは異なる別画像が、画面において拡大表示されるとともに、相手ユーザの画像に重ねて透過表示される。よって、不自然に視線が一致し続けてしまった場合には、視線一致の対象である相手ユーザの画像が目立たなくなる。そのため、居心地の悪い不自然な状況を回避できる。
【００２９】
また、請求項７に係る発明の通信端末装置は、請求項６に記載の発明の効果に加え、別画像拡大表示手段によって、別画像が相手ユーザの画像の所定領域に重ねて表示される。そのため、視線一致の対象である相手ユーザの画像は確実に目立たなくなる。よって、居心地の悪い不自然な状況を確実に回避できる。
【００３０】
また、請求項８に係る発明の通信端末装置は、請求項１乃至７のいずれかに記載の発明の効果に加え、送信後経過時間計測手段が、第一信号送信手段により第一信号を送信してからの経過時間である送信後経過時間を計測する。第二所定時間判断手段が、送信後経過時間計測手段により計測された送信後経過時間が第二所定時間以上になったか否かを判断する。第二所定時間判断手段によって送信後経過時間が第二所定時間以上になったと判断された場合に、第二信号送信手段が、相手側端末に、送信後経過時間が第二所定時間以上になったことを示す第二信号を送信する。第二信号受信手段が第二信号を受信し、第二信号受信手段によって、相手側端末から送信された第二信号が受信された場合に、撮影位置復帰手段が、撮影手段の撮影位置をもとの位置に復帰させる。
【００３１】
そのため、撮影手段のユーザに対する撮影位置が変更されてからの時間が第二所定時間以上になった場合、撮影手段の撮影位置を変更前の位置に復帰させることができる。よって、ユーザと相手ユーザとの間の不自然な視線一致状態が回避された後は、再度、ユーザと相手ユーザとの視線を一致させることができる。よって、ユーザ同士は、原則的には視線を合わせ、気まずい雰囲気の場合のみに視線を外して会議を行うことができる。
【００３２】
また、請求項９に係る発明の通信端末装置は、請求項１乃至８のいずれかに記載の発明の効果に加え、ユーザ音声検出手段がユーザの音声を検出する。相手ユーザ音声検出手段が相手ユーザの音声を検出する。無言時間計測手段が、ユーザ音声検出手段及び相手ユーザ音声検出手段のいずれも音声を検出しない状態を無言状態として、無言状態が継続する時間である無言時間を計測する。第一の第二所定時間調整手段が、無言時間計測手段により計測された無言時間に基づいて、第二所定時間を調整する。
【００３３】
一般に、ユーザと相手ユーザとのいずれも音声を発しない無言状態の場合には、ユーザと相手ユーザとの間で会話が行われている場合に比べて気まずい雰囲気であるといえる。請求項９に係る発明の通信端末装置は、無言状態が継続する時間に応じて、視線を外す時間を調整することができるため、会議中のユーザ同士の雰囲気に応じて、視線を外す時間を調整することができる。
【００３４】
また、請求項１０に係る発明の通信端末装置は、請求項９に記載の発明の効果に加え、第三所定時間判断手段が、前記無言時間が第三所定時間以上になったか否かを判断する。第一の第二所定時間調整手段は、第三所定時間判断手段によって、無言時間が第三所定時間以上になったと判断された場合に、第二所定時間を延長する。そのため、無言状態が長く続いた場合には、視線を外す時間を延長することができる。よって、気まずい雰囲気にあるユーザ間で視線一致状態が不自然にあった場合には、視線を外す時間を延長して、気まずい雰囲気を確実に回避させることができる。
【００３５】
また、請求項１１に係る発明の通信端末装置は、請求項１乃至１０のいずれかに記載の発明の効果に加え、瞬き検出手段がユーザの瞬きを検出し、瞬きカウント手段が瞬き検出手段によって検出された瞬きの回数をカウントする。第二の第二所定時間調整手段が、カウント手段によってカウントされた瞬きの回数に基づいて、前記第二所定時間を調整する。
【００３６】
一般に、ユーザが緊張状態にある場合、ユーザの瞬き回数は増加するといわれている。
請求項１１に係る発明の通信端末装置は、ユーザの瞬き回数に応じて、視線を外す時間を調整することができるため、会議中のユーザの緊張状態に応じて、視線を外す時間を調整することができる。
【００３７】
また、請求項１２に係る発明の通信端末装置は、請求項１１に記載の発明の効果に加え、計測手段が、視線一致検出手段により視線一致状態が検出されてからの経過時間を計測する。第四所定時間判断手段が、経過時間が第四所定時間以上になったか否かを判断する。瞬き回数判断手段は、経過時間が第四所定時間以上になった場合に、カウントされた瞬きの回数が所定回数以上であるか否かを判断する。第二の第二所定時間調整手段は、瞬きの回数が所定回数以上である場合に第二所定時間を延長する。
【００３８】
ユーザの瞬き回数が多い場合には、視線を外す時間を延長することができるため、相手ユーザに対して不自然に視線を一致させたユーザが緊張状態にある場合には、視線を外す時間を延長することができる。よって、ユーザが緊張状態となるほど、相手ユーザとの間に気まずい雰囲気がある場合には、視線を外す時間を延長して、気まずい雰囲気を確実に回避することができる。
【００３９】
また、請求項１３に係る発明の通信端末装置の通信制御方法では、まず画像データ送信ステップにおいて、ユーザを撮影するユーザ撮影手段が撮影したユーザの画像が他の端末に送信される。次に、表示ステップにおいて、他の端末から送信された画像が画面に表示される。次に、視線方向検出ステップにおいて、ユーザの視線方向を検出する。検出された視線方向の先にある画面上の視線位置は、視線位置特定ステップにおいて、特定される。顔検出ステップにおいて、画面上の相手ユーザの顔が検出される。視線一致判断ステップにおいて、視線位置特定ステップにおいて特定された視線位置が、顔検出ステップにおいて検出された相手ユーザの顔の所定領域内にある視線一致状態か否かが判断される。視線一致判断ステップにおいて視線一致状態であると判断された場合には、視線一致時間計測ステップにおいて、視線一致状態が継続する時間である視線一致時間が計測される。計測された視線一致時間は、第一所定時間判断ステップにおいて、第一所定時間以上になったか否か判断される。
【００４０】
視線一致時間が第一所定時間以上となった場合、第一信号送信ステップにおいて、視線一致状態の対象である相手ユーザの画像データを送信する相手側端末に、第一信号を送信する。第一信号受信ステップにおいて、前記第一信号を受信する。相手側端末から送信された第一信号が受信された場合、撮影位置変更ステップにおいて、前記撮影手段の前記ユーザに対する撮影位置を変更する。
【００４１】
ユーザが画面上の相手ユーザに対して、不自然に長い時間視線を合わせている場合には、相手ユーザを撮影する撮影手段の撮影位置を変更することができるため、撮影手段に対する相手ユーザの視線をずらすことができる。よって、画面に映る相手ユーザの視線をずらすことができ、ユーザと相手ユーザとで視線が一致し続けてしまう居心地の悪い不自然な状況を回避できる。
【００４２】
また、請求項１４に係る発明の通信制御プログラムは、請求項１乃至１２のいずれかに記載の通信端末装置の各種処理手段としてコンピュータを機能させるため、請求項１乃至１２のいずれかに記載の効果を得ることができる。
【図面の簡単な説明】
【００４３】
【図１】テレビ会議システム１の構成を示すブロック図である。
【図２】端末装置３の物理的構成を示す図である。
【図３】ビデオカメラ３４の撮影位置を示す図である。
【図４】スクリーン３２における一表示態様を示す図である。
【図５】視線方向を検出する方法を説明する図（ユーザの視線の先に赤外線ライト３３が位置しない場合）である。
【図６】視線方向を検出する方法を説明する図（ユーザの視線の先に赤外線ライト３３が位置する場合）である。
【図７】スクリーン３２に表示された相手ユーザの右眼７２１、左眼７２２、及び鼻７２３を結ぶ領域を説明する図である。
【図８】端末装置３の電気的構成を示すブロック図である。
【図９】ＨＤＤ３１の各種記憶エリアを示す概念図である。
【図１０】ＲＡＭ２２の各種記憶エリアを示す概念図である。
【図１１】ＣＰＵ２０による視線方向検出処理のフローチャートである。
【図１２】スクリーン３２における一表示態様を示す図である。
【図１３】ＣＰＵ２０による撮影位置変更処理のフローチャートである。
【図１４】瞬き検出領域７０を示す図（ユーザの眼７７が開かれている状態）である。
【図１５】瞬き検出領域７０を示す図（ユーザの眼７７が閉じられている状態）である。
【図１６】第二実施形態の端末装置１３０の電気的構成を示すブロック図である。
【図１７】ＨＤＤ１３１の各種記憶エリアを示す概念図である。
【図１８】ＲＡＭ１２２の各種記憶エリアを示す概念図である。
【図１９】ＣＰＵ１２０による視線方向検出処理のフローチャートである。
【図２０】ＣＰＵ１２０による音声検出処理のフローチャートである。
【図２１】ＣＰＵ１２０による瞬きカウント処理のフローチャートである。
【発明を実施するための最良の形態】
【００４４】
以下、本発明の第一実施形態である端末装置３について、図面を参照して説明する。はじめに、端末装置３、４を構成要素とするテレビ会議システム１の構成について、図１を参照して説明する。
【００４５】
テレビ会議システム１は、ネットワーク２を介して相互に接続された端末装置３、４を備えている。端末装置３、４は、別拠点に設けられている。このテレビ会議システム１では、端末装置３、４間において、ネットワーク２を介して、画像、音声が互いに送受信されることで、別拠点にあるユーザ同士の遠隔会議が実施される。本実施形態では、端末装置３が設けられた拠点を自拠点、端末装置４が設けられた拠点を他拠点として説明する。
【００４６】
なお、本実施形態では、遠隔会議中に、端末装置３のユーザが、スクリーン３２（図２参照）に表示された端末装置４のユーザ（以下、相手ユーザという）に対して視線を一致させている時間が所定時間以上となる場合に、端末装置４において相手ユーザを撮影するビデオカメラ３４（図２参照）の位置を変更させて、視線を外すことができる点に特徴がある。
【００４７】
まず、端末装置３の物理的構成について、図２および図３を参照して説明する。なお、図２の右方をユーザに対向する端末装置３の前方とし、左方を端末装置３の後方として説明する。端末装置３は、映像を投射するプロジェクタ２８と、投射された映像を表示するスクリーン３２と、スクリーン３２の後方に配置され、端末装置３の前方に位置するユーザを撮影するビデオカメラ３４とを備える。端末装置３の前方には、スクリーン３２に対して位置が固定された椅子（図示省略）が設けられている。ユーザがその椅子に座ると、ユーザとビデオカメラ３４とを結ぶ直線がスクリーン３２の面と垂直に交わり、ユーザとスクリーン３２との距離が、予め定められた所定距離Ｌ（図５参照）となる。
【００４８】
プロジェクタ２８について説明する。図２に示すように、プロジェクタ２８は、ユーザに対して、スクリーン３２の後方斜め上側に配置されている。プロジェクタ２８には、ビデオコントローラ２３が接続され、端末装置４から送信された映像を、スクリーン３２に向けて斜めに投射する。プロジェクタ２８をスクリーン３２に対して斜め上側に配置することにより、スクリーン３２の後方にビデオカメラ３４を配置できる。なお、スクリーン３２に対して斜めに投射された映像が、スクリーン３２において歪みのない正常な表示となるように、歪み補正を行ってもよい。歪み補正方法としては、例えば、特開平６−１３３３１１号公報に記載の歪み補正方法が適用可能である。
【００４９】
歪み補正方法について、正方形の映像をスクリーン３２に表示させる場合を例に挙げて簡単に説明する。プロジェクタ２８から投射された映像は、プロジェクタ２８から遠くなるにつれて拡大率が大きくなる。そのため、映像を斜めに投射すると、プロジェクタ２８から遠い位置では近い位置に比べて映像の拡大率が大きくなり、映像は歪んでしまう。たとえば、正方形の映像をプロジェクタ２８から投射した場合、スクリーン３２上では台形になってしまう。そこで、プロジェクタ２８から投射する映像を予め逆台形に処理する。逆台形の映像をプロジェクタ２８から投射することにより、スクリーン３２上では正方形に表示される。
【００５０】
次に、スクリーン３２について説明する。スクリーン３２には、入射光の透過及び散乱が入射光の入射角度に依存する周知の視覚依存散乱板が用いられる。具体的には、スクリーン３２は、ビデオカメラ３４からの入射光は透過し、プロジェクタ２８からの入射光は散乱させる。これにより、スクリーン３２の後方に配置されたビデオカメラ３４は、スクリーン３２を介してユーザを撮影できる。また、ユーザは、プロジェクタ２８から投射された映像を、スクリーン３２を介して見ることができる。
【００５１】
次に、ビデオカメラ３４について説明する。図３に示すように、スクリーン３２の後方には、ビデオカメラ３４を支持するカメラ支持部材３４２が配置されている。カメラ支持部材３４２は、ユーザが座る椅子を中心として円弧状に形成されたレール部３４１を備え、ビデオカメラ３４は、レール部３４１に沿って移動可能に支持されている。また、カメラ支持部材３４２にはカメラ移動装置３６（図８参照）が取り付けられている。カメラ移動装置３６は、モータ（図示省略）とビデオカメラ３４に接続された伝達機構（図示省略）とを備える。モータが駆動されると伝達機構を介してビデオカメラ３４の位置が移動される。
【００５２】
ビデオカメラ３４で撮影されたユーザの画像は、他拠点に配置された端末装置４に送信されると共に、ユーザの視線方向の検出に用いられる。通常の状態において、ビデオカメラ３４はスクリーン３２に対して垂直に配置され、ユーザを真正面から撮影する。本実施形態では、ユーザが、スクリーン３２に表示された相手ユーザに対して視線を一致させている時間が長すぎる場合、ビデオカメラ３４がレール部３４１に沿って円弧状に移動する。ビデオカメラ３４の撮影位置が、ユーザの真正面から外れることによって、相手ユーザの視線をずらすことができる。
【００５３】
図２に示すように、ビデオカメラ３４の下部には、赤外線を発光する赤外線ライト３３が取り付けられている。赤外線ライト３３により発光された赤外線が、ユーザの眼球角膜反射面において反射されて虚像（プルキニエ像）７１を形成する（図５参照）。ビデオカメラ３４は、このプルキニエ像７１と眼球７２の瞳孔７５中心とを撮影し、その相対位置から、ユーザの視線方向を検出する。なお、視線方向の検出方法については後述する。
【００５４】
次に、端末装置３のスクリーン３２に表示される画面について、図４を参照して説明する。端末装置３のスクリーン３２には、端末装置４を使用する相手ユーザの画像が表示される相手ユーザ画面２８１と、端末装置３，４における共有資料を表示させる共有資料画面２８２とが配置される。共有資料画面２８２は、例えば、自拠点側の端末装置３に記憶された資料を、他拠点にいる相手ユーザに示して説明する場合に、表示設定される。共有資料表示プログラムを起動し、所望の資料を共有資料として指定した場合に、端末装置３、４のスクリーン３２に共有資料画面２８２が表示され、その枠内に共有資料が表示される。
【００５５】
例えば、相手ユーザ画面２８１は、スクリーン３２の略左半分に配置され、共有資料画面２８２は、スクリーン３２の右下１／４に配置される。なお、表示態様についてはこれに限定されず、相手ユーザ画面２８１、共有資料画面２８２の配置、大きさも、ユーザにより自由に変更可能である。
【００５６】
次に、視線一致状態の検出方法について、図５乃至図７を参照して説明する。ここで、「視線一致状態」とは、ユーザの視線の先が、スクリーン３２に表示された相手ユーザの両眼と鼻とを結んだ領域（以下、領域Ｍという）にある状態をいう。本実施形態では、まず、ユーザの視線方向を検出する。次に、検出された視線方向の先にある、スクリーン３２上の視線位置を特定する。そして、特定された視線位置が、領域Ｍにあるか否かを判断し、領域Ｍにあれば視線一致状態とする。以下、視線一致状態の検出方法について具体的に説明する。
【００５７】
はじめに、視線方向検出方法について説明する。視線方向の検出は、ビデオカメラ３４によって撮影された撮影画像に基づいて行われる。ユーザの視線方向を検出する方法としては周知の方法が用いられ、例えば、特開平１０−１０８８４３号公報に記載された視線方向検出方法が適用可能である。
【００５８】
上記検出方法を適用した視線方向の検出方法について説明する。なお、ここでは、説明の便宜上、ビデオカメラ３４と赤外線ライト３３とが同一座標にあると近似して説明する。
【００５９】
図５に示すように、赤外線ライト３３が、ユーザの眼球７２に赤外線を照射すると、照射された赤外線がユーザの眼球７２の角膜反射面において反射され、赤外線ライト３３の虚像（プルキニエ像）７１が生じる。図６に示すように、ユーザの視線の先に、赤外線ライト３３が位置するとき、プルキニエ像７１の発生位置は、瞳孔中心７６と一致する。そして、ユーザの視線の先が赤外線ライト３３から離れるにつれて、プルキニエ像７１と瞳孔中心７６との間隔は広がっていく（図５参照）。
【００６０】
具体的には、プルキニエ像７１と瞳孔中心７６とが一致する状態からの眼球７２の回転角度をθ、プルキニエ像７１と瞳孔中心７６との間隔Ｓとすると、間隔Ｓは、回転角度θの正弦にほぼ比例して広がっていく。よって、ビデオカメラ３４により撮影された撮影画像において、プルキニエ像７１の位置、瞳孔中心７６の位置、さらにその間隔を算出することにより、眼球７２の回転角度θ、さらにはユーザの視線方向を知ることができる。なお、撮影画像におけるプルキニエ像７１及び瞳孔７５の検出は、各画素における濃度変化を示すエッジ値を検出する周知の方法により行われる。
【００６１】
次に、検出された視線方向の先にあるスクリーン３２上のユーザの視線位置Ｔを特定する方法について説明する。本実施形態では、会議中、スクリーン３２に対向して座っているユーザの眼球７２の中心とビデオカメラ３４とを結ぶ直線は、スクリーン３２の面と垂直に交わる。また、眼球７２の中心とスクリーン３２との距離は所定距離Ｌとなる。眼球７２の中心とビデオカメラ３４とを結ぶ直線がスクリーン３２の表示面と交わる点を中心点Ｏ、眼球の回転角度をθとすると、ユーザの視線方向の先にある表示面上の視線位置Ｔと中心点Ｏとの距離Ｋは、以下の式で示される。
Ｋ＝Ｌ・ｔａｎθ
上述の式より、ユーザのスクリーン３２上の視線位置Ｔを特定することができる。
【００６２】
次に、図６を参照して、特定された視線位置Ｔが、スクリーン３２に表示された相手ユーザの右眼７２１、左眼７２２、及び鼻７２３を結ぶ領域（領域Ｍ）にあるか否かの判断方法の説明を行う。まず、スクリーン３２に表示された相手ユーザの右眼７２１、左眼７２２、及び鼻７２３が、周知の方法によって抽出される。抽出方法としては、例えば、特開２００８−２３４２０８号公報に記載された眼及び鼻の検出方法が適用可能である。
【００６３】
具体的に説明する。まず、スクリーン３２に表示された相手ユーザの顔を検出する。顔の検出は、顔輪郭のエッジを算出し、あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出し、顔輪郭の範囲で、顔を検出する。そして、検出された顔のほぼ中央において２つの隣り合った鼻孔を検出する。鼻孔部分においては、外部からの光が照射されにくいため、他の個所に比べて暗く撮影される、従って、鼻孔部分の境界付近では、各画素における濃度が変化する。従って、得られる濃度変化を示すエッジ値を検出することにより、鼻孔部分を検出することができる。そして隣り合った２つの鼻孔の中点の位置を、鼻７２３の位置として特定する。
【００６４】
そして、検出された鼻７２３の位置よりも上方において、瞳孔部分が探索される。一般に、瞳孔部分は皮膚部分や白眼部分に比べて、反射率が小さいため、暗く撮影される。よって、瞳孔付近では、各画素における濃度が変化する。従って、得られる濃度変化を示すエッジ値を検出することにより、瞳孔部分を検出することができる。そして、検出された瞳孔の中心位置を、右眼７２１及び左眼７２２の位置として特定する。
【００６５】
そして、特定された右眼７２１、左眼７２２、鼻７２３を結ぶ領域（以下、領域Ｍという）に、視線位置Ｔがあるか否かを判断し、視線位置Ｔが領域Ｍにあれば視線一致状態とする。
【００６６】
次に、端末装置３の電気的構成について、図８を参照して説明する。図８は、端末装置３の電気的構成を示すブロック図である。なお、端末装置３、４は全て同じ構成であるので、ここでは端末装置３の構成についてのみ説明し、端末装置４については説明を省略する。
【００６７】
端末装置３には、端末装置３の制御を司るコントローラとしてのＣＰＵ２０が設けられている。ＣＰＵ２０には、ＢＩＯＳ等を記憶したＲＯＭ２１と、各種データを一時的に記憶するＲＡＭ２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ３１（以下、ＨＤＤ３１）が接続されている。
【００６８】
Ｉ／Ｏインタフェイス３０には、ネットワーク２と通信するための通信装置２５と、マウス２７と、ビデオコントローラ２３と、キーコントローラ２４と、ユーザを撮影するための上述したビデオカメラ３４と、ユーザの音声を取り込むためのマイク３５と、ＣＤ−ＲＯＭドライブ２６と、計時装置４１と、駆動回路３３１と、駆動回路３３２とが各々接続されている。ビデオコントローラ２３には、上述したプロジェクタ２８が接続されている。キーコントローラ２４には、キーボード２９が接続されている。駆動回路３３１には、上述した赤外線ライト３３が接続されている。駆動回路３３２には、上述したカメラ移動装置３６が接続されている。
【００６９】
なお、ＣＤ−ＲＯＭドライブ２６に挿入されるＣＤ−ＲＯＭ１１４には、端末装置３のメインプログラムや、本発明の通信制御プログラム等が記憶されている。ＣＤ−ＲＯＭ１１４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１１４からＨＤＤ３１にセットアップされて、後述するプログラム記憶エリア３１３（図９参照）に記憶される。
【００７０】
次に、ＨＤＤ３１の各種記憶エリアについて、図９を参照して説明する。ＨＤＤ３１には、ビデオカメラ３４によって撮影された撮影画像を記憶する撮影画像データ記憶エリア３１１と、端末装置３のスクリーン３２（図２、図４参照）に表示される画面データを記憶する表示画面データ記憶エリア３１２と、各種プログラムを記憶するプログラム記憶エリア３１３と、プログラムの実行に必要な所定時間を記憶する所定時間記憶エリア３１４と、ユーザとスクリーン３２と赤外線ライト３３との位置関係を記憶する位置関係記憶エリア３１５と、プログラムの実行に必要な所定値を記憶する所定値記憶エリア３１６と、その他の情報記憶エリア３１７とが少なくとも設けられている。
【００７１】
表示画面データ記憶エリア３１２には、相手ユーザ画像記憶エリア（図示省略）と、共有資料データ記憶エリア（図示省略）とが少なくとも設けられている。相手ユーザ画像記憶エリアには、端末装置４から送信された相手ユーザの画像データが記憶される。共有資料データ記憶エリアには、ユーザまたは相手ユーザが指定した共有資料データが記憶される。共有資料データ記憶エリアに、共有資料データが記憶された場合に、スクリーン３２に共有資料画面２８２が表示される。位置関係記憶エリア３１５には、ユーザの眼球７２とスクリーン３２との所定距離Ｌが記憶されている。
【００７２】
プログラム記憶エリア３１３には、端末装置３のメインプログラムや、端末装置４との間で遠隔会議を実行するための通信制御プログラム等が記憶されている。その他の情報記憶エリア３１７には、端末装置３で使用されるその他の情報が記憶されている。なお、端末装置３がＨＤＤ３１を備えていない専用機の場合は、ＲＯＭ２１に各種プログラムが記憶される。
【００７３】
次に、ＲＡＭ２２の各種記憶エリアについて、図１０を参照して説明する。ＲＡＭ２２には、視線方向記憶エリア２２１と、視線位置記憶エリア２２２と、領域Ｍ記憶エリア２２３と、共有資料画面座標記憶エリア２２４と、接続端末記憶エリア２２５と計測時間記憶エリア２２９とが少なくとも設けられている。視線方向記憶エリア２２１には、撮影画像データ記憶エリア３１１に記憶された撮影画像に基づき検出されたユーザの視線方向が、眼球７２の回転角度として記憶される。視線位置記憶エリア２２２には、ユーザのスクリーン３２上における視線位置が、スクリーン３２のユーザから向かって右下を原点とする座標系における位置座標として記憶される。領域Ｍ記憶エリア２２３には、相手ユーザ画像記憶エリア（図示省略）に記憶された表示画像に基づいて特定された領域Ｍが、スクリーン３２における位置座標として記憶される。共有資料画面座標記憶エリア２２４には、共有資料画面２８２の位置座標が記憶される。共有資料画面座標記憶エリア２２４には、基準サイズ記憶エリア（図示省略）と、拡大サイズ記憶エリア（図示省略）とが設けられている。接続端末記憶エリア２２５には、ネットワーク２を介して現在接続している接続端末の端末ＩＤが記憶される。計測時間記憶エリア２２９には、計時装置により計測された時間が記憶される。
【００７４】
次に、テレビ会議システム１における視線一致を考慮した通信制御処理について説明する。本説明では、自拠点側にある端末装置３と、他拠点側にある端末装置４とが会議を行う場合を想定する。端末装置３、４では、視線方向を検出して視線一致状態を監視する「視線方向検出処理」と、視線一致を受けてビデオカメラの撮影位置を変更する「撮影位置変更処理」との両方が行われる。そこで、説明の便宜上、自拠点側の端末装置３において視線方向検出処理が実行され、他拠点側の端末装置４において撮影位置変更処理が実行される場合を例に説明する。
【００７５】
まず、自拠点側の端末装置３のＣＰＵ２０において実行される視線方向検出処理について、図１１のフローチャートを参照して説明する。端末装置３と端末装置４とが各々ネットワークに接続し、互いに通信を開始すると、図１１に示す視線方向検出処理が開始される。視線方向検出処理が開始されると、はじめに、計測時間記憶エリア２２９に記憶された視線一致時間ｔ１の値、送信後経過時間ｔ２の値が初期化される（Ｓ１）。
【００７６】
次に、駆動回路３３１が駆動されて、赤外線ライト３３が発光される。そして、ビデオカメラ３４で撮影されたユーザの画像が、撮影画像データ記憶エリア３１１に記憶される。撮影画像データ記憶エリア３１１に記憶された撮影画像から、プルキニエ像７１及び瞳孔中心７６が検出されて、プルキニエ像７１及び瞳孔中心７６の距離が算出される。そして、プルキニエ像７１及び瞳孔中心７６の距離から眼球の回転角度θが算出されて、ユーザの視線方向が検出される（Ｓ２）。検出された視線方向は、ＲＡＭ２２の視線方向記憶エリア２２１に記憶される。
【００７７】
続いて、視線方向記憶エリア２２１に記憶された視線方向と、位置関係記憶エリア３１５に記憶された所定距離Ｌから、スクリーン３２における表示画像上のユーザの視線位置Ｔが特定される（Ｓ３）。特定された視線位置Ｔは、ＲＡＭ２２の視線位置記憶エリア２２２に記憶される。
【００７８】
次に、端末装置４から送信され、表示画面データ記憶エリア３１２の相手ユーザ画像記憶エリア（図示省略）に記憶された表示画像から、相手ユーザの顔が検出される。そして、検出された顔の中から、相手ユーザの右眼７２１、左眼７２２、鼻７２３が検出される。そして、検出された右眼７２１、左眼７２２、及び鼻７２３の位置座標に基づいて、眼と鼻とを結ぶ領域Ｍが、スクリーン３２における表示画面上において特定される（Ｓ４）。特定された領域Ｍは、領域Ｍ記憶エリア２２３に記憶される。
【００７９】
そして、視線位置記憶エリア２２２に記憶された視線位置Ｔが、領域Ｍ記憶エリア２２３に記憶された領域Ｍにあるか否かが判断される（Ｓ５）。視線位置Ｔが領域Ｍにある場合（Ｓ５：ＹＥＳ）、視線一致状態であると判断されて、計時装置４１による視線一致時間ｔ１の計測がなされているか否かが判断される（Ｓ６）。視線一致時間ｔ１の計測が開始されておらず、視線一致時間ｔ１が計測中でない場合（Ｓ６：ＮＯ）、視線一致時間ｔ１の計測が開始される（Ｓ７）。計測された視線一致時間ｔ１は、計測時間記憶エリア２２９の視線一致時間記憶エリア（図示省略）に記憶される。視線一致時間ｔ１の計測が開始されると、再度、Ｓ２〜Ｓ５の処理が行われる。視線一致時間ｔ１が計測中である場合（Ｓ６：ＹＥＳ）、計測された視線一致時間ｔ１が、所定時間記憶エリア３１４に記憶された第一所定時間Ｔ１以上であるか否かが判断される（Ｓ８）。本実施形態では、第一所定時間Ｔ１は５秒である。
【００８０】
視線一致時間ｔ１が第一所定時間Ｔ１以上でない場合（Ｓ８：ＮＯ）、視線一致状態となってからの経過時間が５秒未満である。この場合には、ユーザはスクリーン３２に表示された相手ユーザに対して、自然に視線を一致させた状態であるとして、視線一致時間ｔ１が第一所定時間Ｔ１以上となるまで、Ｓ２〜Ｓ８の処理が繰り返される。
【００８１】
一方、視線一致時間ｔ１が第一所定時間Ｔ１以上である場合（Ｓ８：ＹＥＳ）、視線一致状態が５秒以上継続している。この場合には、相手ユーザの使用する端末装置４に、視線一致状態が不自然に継続したことを通知する第一信号が送信される（Ｓ９）。なお、後述するが、第一信号は、端末装置４においてビデオカメラ３４の撮影位置を変更させるために、端末装置４に送信されるものである。
【００８２】
第一信号が送信されると（Ｓ９）、第一信号が送信されてからの経過時間である送信後経過時間ｔ２の計測が開始される（Ｓ１０）。計測された送信後経過時間ｔ２は、計測時間記憶エリア２２９の送信後経過時間記憶エリア（図示省略）に記憶される。続いて、表示画面データ記憶エリア３１２の共有資料データ記憶エリアが参照されて、スクリーン３２に共有資料画面２８２が表示されているか否かが判断される（Ｓ１１）。共有資料データ記憶エリアに共有資料のデータが記憶されていない場合、スクリーン３２には共有資料画面２８２が表示されていない（Ｓ１１：ＮＯ）。この場合には、Ｓ１３の処理に移行する。
【００８３】
一方、共有資料データ記憶エリアに共有資料のデータが記憶されている場合、スクリーン３２には共有資料画面２８２が表示されている（Ｓ１１：ＹＥＳ）。この場合には、図１２に示すように、共有資料画面２８２が相手ユーザ画面２８１を覆うように拡大される（Ｓ１２）。
【００８４】
ここで、スクリーン３２の表示領域の横方向長さがａ、縦方向長さがｂであって、共有資料画面２８２の横方向長さが（ａ×（１／３））、縦方向長さが（ｂ×（１／４））である場合を例に挙げて、具体的に説明する。なお、共有資料画面２８２の右下とスクリーン３２の表示領域の右下とは一致するものとする。
【００８５】
スクリーン３２に共有資料画面２８２が表示されている場合（Ｓ１１：ＹＥＳ）、共有資料画面座標記憶エリア２２４の基準サイズ記憶エリア（図示省略）が参照されて、共有資料画面２８２の表示領域が取得される。さらに、取得された共有資料画面２８２の表示領域に対するスクリーン３２の表示領域の大きさの比が、横方向及び縦方向についてそれぞれ算出される。上述の例では、共有資料画面２８２に対するスクリーン３２の大きさの比は、横方向では３であり、縦方向では約４である。
【００８６】
次に、算出された２つの比のうちの小さい比を拡大率として、共有資料画面２８２が自身の右下を原点として拡大される（Ｓ１２）。上述の例では、共有資料画面２８２は、自身の右下を原点として縦に３倍、横に３倍拡大されるので、共有資料画面２８２の横方向の長さはａ（＝（ａ×（１／３））×３）、縦方向の長さは（ｂ×（３／４））（＝（ｂ×（１／４））×３）となる。そして、拡大された共有資料画面２８２の右上、右下、左下のスクリーン３２における座標が、共有資料画面２８２の大きさに関するデータとして、共有資料画面座標記憶エリア２２４の拡大サイズ記憶エリア（図示省略）に記憶される。左右方向をｘ方向、上下方向をｙ方向とし、右下を原点とすると、上述の例では、左下の座標が（ａ、０）、右上の座標が（０、（ｂ×（３／４）））、左上の座標が（ａ、（ｂ×（３／４）））として、拡大サイズ記憶エリア（図示省略）に記憶される。
【００８７】
そして、拡大サイズ記憶エリアと領域Ｍ記憶エリア２２３とが参照されて、領域Ｍが共有資料画面２８２の表示領域に含まれるか否かが判断される。領域Ｍが共有資料画面２８２の表示領域に含まれる場合には、Ｓ１２の処理を終了してＳ１３の処理に移行する。領域Ｍが共有資料画面２８２の表示領域に含まれない場合には、領域Ｍが共有資料画面２８２の表示領域に含まれるように、共有資料画面２８２を移動させる。そして、Ｓ１３の処理に移行する。
【００８８】
なお、共有資料画面２８２は、相手ユーザ画面２８１の上側に重ねて配置されることになるが、相手ユーザ画面２８１と重なる部分については透過表示される。すなわち、共有資料画面２８２の下側に配置された相手ユーザ画面２８１は、端末装置３のユーザから視認可能となっている。
【００８９】
スクリーン３２に共有資料画面２８２が表示されていないと判断された場合（Ｓ１１：ＮＯ）、もしくは、共有資料画面２８２が拡大表示された場合（Ｓ１２）、計測された送信後経過時間ｔ２が、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２以上であるか否かが判断される（Ｓ１３）。本実施形態では、第二所定時間Ｔ２は１０秒である。
【００９０】
送信後経過時間ｔ２が第二所定時間Ｔ２以上でない場合（Ｓ１３：ＮＯ）、端末装置４において、ビデオカメラ３４の撮影位置が変更されてからの経過時間は１０秒未満である。この場合には、不自然な視線一致状態が回避されてから、未だ十分な時間が経過していないとして、送信後経過時間ｔ２が第二所定時間Ｔ２以上となるまで、Ｓ１３の処理が繰り返される。
【００９１】
一方、送信後経過時間ｔ２が第二所定時間Ｔ２以上である場合（Ｓ１３：ＹＥＳ）、端末装置４におけるビデオカメラ３４の撮影位置が変更されてから十分な時間が経過している。この場合には、相手ユーザの使用する端末装置４に、不自然な視線一致状態が回避された旨の第二信号が送信される（Ｓ１４）。Ｓ１４においては、スクリーン３２に共有資料画面２８２が拡大表示されている場合（Ｓ１１：ＹＥＳ）には、第二信号が送信されるとともに、共有資料画面座標記憶エリア２２４の基準サイズ記憶エリアが参照されて、共有資料画面２８２の大きさが拡大前の大きさに戻される。
【００９２】
そして、会議終了であるか否かが判断される（Ｓ１５）。具体的には、ネットワーク２に接続されている端末が、自身のほかに１以上あるか否かがが判断される。端末装置３、４では、ネットワーク２に接続すると、ネットワーク２に接続したことを示す接続信号が相手側の端末に送信される。他の端末からの接続信号を受信した場合、接続信号を送信した端末の端末ＩＤが、ＲＡＭ２２の接続端末記憶エリア２２５に記憶される。一方、ネットワーク２への接続を切断すると、ネットワークへの接続を切断したことを示す切断信号が相手側の端末に送信される。
【００９３】
他の端末からの切断信号を受信した場合、切断信号を送信した端末の端末ＩＤが、ＲＡＭ２２の接続端末記憶エリア２２５から削除される。接続端末記憶エリア２２５が参照されて、ネットワーク２に接続されている端末が、自身の他に０であると判断された場合（Ｓ１５：ＹＥＳ）、処理は終了する。一方、ネットワーク２に接続されている端末が、自身のほかに１以上ある場合（Ｓ１５：ＮＯ）、Ｓ１に戻り、Ｓ１〜Ｓ１５の処理が繰り返される。
【００９４】
次に、他拠点側の端末装置４のＣＰＵ２０において実行される撮影位置変更処理について、図１３のフローチャートを参照して説明する。端末装置３と端末装置４とが各々ネットワークに接続し、互いに通信を開始すると、図１３に示す撮影位置変更処理が開始される。撮影位置変更処理が開始されると、端末装置３から送信された第一信号が受信されたか否かが判断される（Ｓ５１）。
【００９５】
第一信号が受信されていない場合（Ｓ５１：ＮＯ）、会議終了であるか否かが判断される（Ｓ５５）。第一信号が受信された場合（Ｓ５１：ＹＥＳ）、端末装置３のユーザと端末装置４のユーザとが、不自然な視線一致状態にあるとして、駆動回路３３２（図８参照）によって、カメラ移動装置３６の備えるモータ（図示省略）が駆動される。そして、モータの駆動量に応じて、ビデオカメラ３４の位置が移動する。具体的には、図３に示すように、ユーザの視線の延長線上に位置していたビデオカメラ３４は、レール部３４１に沿って、ユーザを中心として円弧上に移動する。こうして、撮影位置がユーザの視線方向に相対する位置から退避する位置に変更される（Ｓ５２）。
【００９６】
端末装置３から送信された第二信号が受信されたか否かが判断される（Ｓ５３）。第二信号が受信されていない場合（Ｓ５３：ＮＯ）、第二信号が受信されるまで、Ｓ５３の処理が繰り返される。第二信号が受信された場合（Ｓ５３：ＹＥＳ）、端末装置３のユーザと端末装置４のユーザとの不自然な視線一致状態は、回避することができたとして、駆動回路３３２によって、ビデオカメラ３４の位置を変更するためのモータ（図示省略）が駆動される。そして、ユーザの視線の延長線上からはずれて位置していたビデオカメラ３４は、カメラ支持部材３４２に支持されながら、ユーザを中心として円弧上にユーザと相対する位置まで移動する。こうして、撮影位置が元の位置に復帰される（Ｓ５４）。
【００９７】
そして、接続端末記憶エリア２２５が参照されて、ネットワーク２に接続されている端末が、自身の他に１以上あるか否かが判断される（Ｓ５５）。ネットワーク２に接続されている端末が、自身の他には０である場合（Ｓ５５：ＹＥＳ）、処理を終了する。一方、ネットワーク２に接続されている端末が、自身のほかに１以上ある場合（Ｓ５５：ＮＯ）、Ｓ５１に戻り、Ｓ５１〜Ｓ５５の処理が繰り返される。
【００９８】
なお、以上説明において、図２、図８に示すビデオカメラ３４が本発明の「ユーザ撮影手段」に相当する。赤外線ライト３３が、本発明の「照射手段」に相当する。プロジェクタ２８およびプロジェクタ２８を制御するＣＰＵ２０が、本発明の「表示手段」に相当する。図９に示すＨＤＤ３１の位置関係記憶エリア３１５が本発明の「位置関係記憶手段」に相当する。図１１に示すＳ２の処理を実行するＣＰＵ２０が本発明の「視線方向検出手段」に相当する。図１１に示すＳ３の処理を実行するＣＰＵ２０が本発明の「視線位置特定手段」に相当する。図１１に示すＳ４において相手ユーザの顔を検出するＣＰＵ２０が本発明の「顔検出手段」に相当する。図１１に示すＳ５の処理を実行するＣＰＵ２０が本発明の「視線一致検出手段」に相当する。図１１に示すＳ７の処理を実行するＣＰＵ２０が本発明の「視線一致時間計測手段」に相当する。図１１に示すＳ９の処理を実行するＣＰＵ２０が本発明の「第一信号送信手段」に相当する。図１１に示すＳ１０の処理を実行するＣＰＵ２０が本発明の「送信後経過時間計測手段」に相当する。図１１に示すＳ１１の処理を実行するＣＰＵ２０が本発明の「別画像表示判断手段」に相当する。図１１に示すＳ１３の処理を実行するＣＰＵ２０が本発明の「第二所定時間判断手段」に相当する。図１１に示すＳ１４の処理を実行するＣＰＵ２０が本発明の「第二信号送信手段」に相当する。図１３に示すＳ５１の処理を実行するＣＰＵ２０が本発明の「第一信号受信手段」に相当する。図１３に示すＳ５２の処理を実行するＣＰＵ２０が本発明の「撮影位置変更手段」に相当する。図１３に示すＳ５３の処理を実行するＣＰＵ２０が本発明の「第二信号受信手段」に相当する。図１３に示すＳ５４の処理を実行するＣＰＵ２０が本発明の「撮影位置復帰手段」に相当する。
【００９９】
以上説明したように、第一実施形態である端末装置３は、ネットワーク２を介して他の端末装置４と相互に接続される。これら端末装置間で、画像、音声を互いに送受信することで遠隔会議を実施するテレビ会議システム１を構成する。このテレビ会議システム１では、遠隔会議中に、端末装置３（又は４）のユーザが、スクリーン３２に表示された相手ユーザに対して、視線を不自然に一致させているか否かを監視する。そして、不自然な視線一致状態が検出された場合に、相手ユーザの端末装置４（又は３）に対して、不自然な視線一致状態が検出された旨の信号（第一信号）を送信する。相手ユーザの端末装置４（又は３）では、第一信号を受信すると、相手ユーザを撮影するビデオカメラ３４の位置を変更する。これにより、会議参加者同士の不自然な視線一致状態を回避することができ、会議参加者は、円滑に会話をすることができる。
【０１００】
次に、第二実施形態である端末装置１３０について、図面を参照して説明する。端末装置１３０では、ユーザと相手ユーザとが不自然な視線一致状態にある場合、相手ユーザを撮影するビデオカメラ３４の位置を変更させて視線一致状態を回避する。また、ユーザの瞬きの回数をカウントし、瞬きが頻繁に行われている場合には、ユーザが緊張状態にあるとして、視線一致状態の回避時間を長くする。また、ユーザと相手ユーザとがいずれも無言状態にある場合には、気まずい雰囲気にあるとして、視線一致状態の回避時間を長くする。そこで、これら異なる点を重点的に説明するために、第一実施形態とは異なるＣＰＵ１２０による通信制御処理を中心に説明する。なお、第二実施形態の端末装置１３０は、第一実施形態の端末装置３と同様に、図１に示すテレビ会議システム１を構成するものである。
【０１０１】
はじめに、瞬き検出方法について説明する。瞬きを検出する方法としては、周知の方法が用いられ、例えば、特開２００８−２２６１０６号公報に記載された瞬きの検出方法が適用可能である。
【０１０２】
上記検出方法を適法した瞬きの検出方法について、図１４および図１５を参照して説明する。まず、撮影画像データ記憶エリア３１１に記憶されたユーザの撮影画像から、ユーザの顔を検出する。顔の検出は、顔輪郭のエッジを算出し、あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出することによって行う。
【０１０３】
次に、検出された顔の領域の中から、瞬きを検出する領域（瞬き検出領域７０）が抽出される。瞬き検出領域７０を抽出するために、まず、検出された顔のほぼ中央において２つの隣り合った鼻孔を検出する。そして、検出された鼻孔位置よりも上方において横長の長方形状の瞬き検出領域７０が抽出される。
【０１０４】
抽出された瞬き検出領域７０において、眼７７の開閉状態を判断する。眼７７の開閉状態を判断するために、はじめに、瞬き検出領域７０において眼７７を検出し、検出された眼７７の面積を取得する。次に、検出された眼７７の面積の顔面積に対する割合が、後述するＨＤＤ１３１の閾値記憶エリア３１８に記憶された閾値以上であるか否かを判断する。閾値は、ユーザが最も眼７７を開いている場合の顔に対する眼７７の面積の割合（最大値）と、ユーザが眼７７をつむっている場合の顔に対する眼７７の面積の割合（最小値）との平均値である。閾値以上であれば眼７７を開いた状態と判断し、閾値以下であれば眼７７を閉じた状態と判断する。
【０１０５】
眼７７の開閉状態の判断は、１／３０秒ごとに行う。眼７７の面積が閾値以上から閾値未満に変化した場合に、瞬きが行われたとして検出する。
【０１０６】
次に、端末装置１３０の電気的構成について、図１６を参照して説明する。端末装置１３０には、端末装置１３０の制御を司るコントローラとしてのＣＰＵ１２０が設けられている。ＣＰＵ１２０には、ＢＩＯＳ等を記憶したＲＯＭ１２１と、各種データを一時的に記憶するＲＡＭ１２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ１３１（以下、ＨＤＤ１３１）と、カードリーダ制御部３８とが接続されている。カードリーダ制御部３８には、各ユーザが所有する識別カード（図示外）に記憶されたユーザを識別するためのユーザＩＤを読み込むためのカードリーダ３９が接続されている。
【０１０７】
ＨＤＤ１３１は、図１７に示すように、第一実施形態のＨＤＤ３１と同様の各種記憶エリア（図９参照）に加えて、閾値記憶エリア３１８と、所定値記憶エリア３１６と、ユーザＩＤ記憶エリア３２０とを備える。ユーザＩＤ記憶エリア３２０には、会議開始時にカードリーダ３９で読み取られた識別カード（図示外）に記憶されたユーザＩＤが記憶される。閾値記憶エリア３１８には、閾値テーブル（図示省略）が設けられている。閾値テーブルには、ユーザごとに顔面積に対する眼面積の平均値（閾値）が記憶されている。
【０１０８】
ＲＡＭ１２２には、瞬き検出領域７０の眼７７の画像を記憶する眼画像記憶エリア２２６と、カウントされた瞬き回数を記憶する瞬き回数記憶エリア２２７と、ユーザまたは相手ユーザが音声を発した場合に、音声があったこと記憶する音声有無記憶エリア２２８とを備える。端末装置１３０のその他の電気的構成は、第一実施形態の端末装置３（図８参照）と同様の構成を備えている。
【０１０９】
次に、ＣＰＵ１２０による通信制御処理について、図１９のフローチャートを参照して説明する。本実施形態においても、端末装置３、４では、視線方向を検出して視線一致状態を監視する「視線方向検出処理」と、視線一致を受けてビデオカメラの撮影位置を変更する「撮影位置変更処理」との両方が行われる。「撮影位置変更処理」は、第一実施形態と同様であるため、説明を省略する。
【０１１０】
端末装置３と端末装置４とが各々ネットワークに接続し、互いに通信を開始すると、図１９に示す視線方向検出処理が開始される。視線方向検出処理が開始されると、はじめに、計測時間記憶エリア２２９に記憶された視線一致時間ｔ１の値、送信後経過時間ｔ２の値が初期化される。また、瞬き回数記憶エリア２２７に記憶された瞬き回数Ｙの値、音声有無記憶エリア２２８に記憶された値が初期化される（Ｓ２１）。
【０１１１】
次に、上述の方法によって、ユーザの視線方向が検出される（Ｓ２２）。検出された視線方向は、ＲＡＭ１２２の視線方向記憶エリア２２１に記憶される。続いて、視線方向記憶エリア２２１に記憶された視線方向と、位置関係記憶エリア３１５に記憶された所定距離Ｌから、スクリーン３２における表示画像上のユーザの視線位置Ｔが特定される（Ｓ２３）。特定された視線位置Ｔは、ＲＡＭ１２２の視線位置記憶エリア２２２に記憶される。
【０１１２】
次に、上述の方法により、相手ユーザのスクリーン３２上での右眼７２１、左眼７２２、鼻７２３を結ぶ領域Ｍが特定される（Ｓ２４）。特定された領域Ｍは、領域Ｍ記憶エリア２２３に記憶される。
【０１１３】
そして、視線位置記憶エリア２２２に記憶された視線位置Ｔが、領域Ｍ記憶エリア２２３に記憶された領域Ｍにあるか否かが判断される（Ｓ２５）。視線位置Ｔが領域Ｍにある場合（Ｓ２５：ＹＥＳ）、視線一致状態であると判断されて、視線一致時間ｔ１が計測中であるか否かが判断される（Ｓ２６）。視線一致時間ｔ１が計測中でない場合（Ｓ２６：ＮＯ）、視線一致時間ｔ１の計測が開始される（Ｓ２７）。
【０１１４】
視線一致時間ｔ１の計測が開始されると（Ｓ２７）、音声を検出する音声検出処理が起動される（Ｓ２８）。音声検出処理について、図２０を参照して説明する。音声検出処理は、図１９に示す視線方向検出処理の中で起動される処理であり、視線方向検出処理と並行して行われる。
【０１１５】
音声検出処理では、まず、マイク３５からユーザの音声が入力されたか、又は端末装置４から相手ユーザの音声データが送信されたかが判断される（Ｓ１０１）。マイク３５からユーザの音声が入力されたか、又は端末装置４から相手ユーザの音声データが送信された場合には（Ｓ１０１：ＹＥＳ）、音声有無記憶エリア２２８に音声が検出されたことが記憶される（Ｓ１０２）。具体的には、音声有無記憶エリア２２８に「１」が記憶される。そして、Ｓ１０１の処理に戻る。
【０１１６】
マイク３５からユーザの音声が入力されず、又は端末装置４から相手ユーザの音声データが送信されない場合には（Ｓ１０１：ＮＯ）、音声有無記憶エリア２２８の記憶内容は変更されずに、Ｓ１０１の処理に戻る。なお、音声有無記憶エリア２２８の初期値は「０」である。音声検出処理は、視線方向検出処理が終了する際に同時に終了する。
【０１１７】
図１９に示す視線方向検出処理において、音声検出処理が起動されると（Ｓ２８）、次に、瞬き回数のカウントをする瞬きカウント処理が起動される（Ｓ２９）。瞬きカウント処理について、図２１を参照して説明する。瞬きカウント処理は、図１９に示す視線方向検出処理の中で起動される処理であり、視線方向検出処理と並行して行われる。
【０１１８】
瞬き回数カウント処理では、まず、ユーザＩＤ記憶エリア３２０と閾値記憶エリア３１８とが参照されて、端末装置１３０を使用しているユーザの顔面積に対する眼面積の割合の平均値（閾値）が特定される（Ｓ１３１）。そして、撮影画像データ記憶エリア３１１が参照されて、上述の方法により、瞬きの有無が検出される（Ｓ１３２）。そして、瞬きがあったか否かが判断される（Ｓ１３３）。瞬きがあったと判断されると（Ｓ１３３：ＹＥＳ）、瞬き回数記憶エリア２２７に記憶された瞬き回数Ｙの値が１増加されて上書きされ（Ｓ１３４）、Ｓ１３１の処理に戻る。瞬きがなかったと判断されると（Ｓ１３３：ＮＯ）、Ｓ１３４の処理は行われずに、Ｓ１３１に戻る。なお、瞬きカウント処理は、視線方向検出処理が終了する際に同時に終了する。
【０１１９】
図１９に示す視線方向検出処理において、瞬き回数カウント処理が起動されると（Ｓ２９）、再度、Ｓ２２〜Ｓ２５の処理が行われる。
【０１２０】
視線一致時間ｔ１が計測中である場合（Ｓ２６：ＹＥＳ）、計測された視線一致時間ｔ１が、所定時間記憶エリア３１４に記憶された第一所定時間Ｔ１以上であるか否かが判断される（Ｓ３０）。本実施形態では、第一所定時間Ｔ１は５秒である。
【０１２１】
視線一致時間ｔ１が第一所定時間Ｔ１以上でない場合（Ｓ３０：ＮＯ）、視線一致状態となってからの経過時間が５秒未満である。この場合には、ユーザはスクリーン３２に表示された相手ユーザに対して、自然に視線を一致させた状態であるとして、視線一致時間ｔ１が第一所定時間Ｔ１以上となるまで、Ｓ２２〜Ｓ３０の処理が繰り返される。
【０１２２】
一方、視線一致時間ｔ１が第一所定時間Ｔ１以上である場合（Ｓ３０：ＹＥＳ）、視線一致状態が５秒以上継続している。この場合には、相手ユーザの使用する端末装置４に、視線一致状態が不自然に継続したことを通知する第一信号が送信される（Ｓ３１）。第一信号は、第一実施形態と同様に、端末装置４においてビデオカメラ３４の撮影位置を変更させるために、端末装置４に送信されるものである。
【０１２３】
第一信号が送信されると（Ｓ３１）、第一信号が送信されてからの経過時間である送信後経過時間ｔ２の計測が開始される（Ｓ３２）。続いて、表示画面データ記憶エリア３１２の共有資料データ記憶エリアが参照されて、スクリーン３２に共有資料画面２８２が表示されているか否かが判断される（Ｓ３３）。共有資料データ記憶エリアに共有資料の画面データが記憶されていない場合、スクリーン３２には共有資料画面２８２が表示されていない（Ｓ３３：ＮＯ）。この場合には、Ｓ３５の処理に移行する。
【０１２４】
一方、共有資料データ記憶エリアに共有資料の画面データが記憶されている場合、スクリーン３２には共有資料画面２８２が表示されている（Ｓ３３：ＹＥＳ）。この場合には、共有資料画面２８２が相手ユーザ画面２８１を覆うように拡大される（Ｓ３４）。拡大方法は第一実施形態と同様であるため、説明を省略する。
【０１２５】
そして、計測された視線一致時間ｔ１が、所定時間記憶エリア３１４に記憶された第三所定時間Ｔ３以上であるか否かが判断される（Ｓ３５）。本実施形態では、第三所定時間Ｔ３は７秒である。
【０１２６】
視線一致時間ｔ１が第三所定時間Ｔ３以上でない場合（Ｓ３５：ＮＯ）、視線一致時間ｔ１が第三所定時間Ｔ３以上となるまで、Ｓ３５の処理が繰り返される。視線一致時間ｔ１が第三所定時間Ｔ３以上である場合（Ｓ３５：ＹＥＳ）、音声有無記憶エリア２２８が参照されて、視線一致時間ｔ１が第三所定時間Ｔ３以上となるまでの間、ユーザと相手ユーザとが無言状態であったか否かが判断される（Ｓ３６）。
【０１２７】
音声有無記憶エリア２２８に「０」が記憶されている場合、ユーザおよび相手ユーザのいずれも音声を発しない、無言状態が継続していたと判断される（Ｓ３６：ＹＥＳ）。無言状態が続いていたユーザと相手ユーザとは、気まずい雰囲気であった可能性が高い。続いて、瞬き回数記憶エリア２２７と所定値記憶エリア３１６とが参照されて、視線一致時間ｔ１が第三所定時間Ｔ３以上となるまでの間にユーザが行った瞬きの回数Ｙが、所定値Ｕ以上であったか否かが判断される（Ｓ３７）。一般に、ユーザは緊張状態になると瞬きの回数が増加する。瞬き回数記憶エリア２２７に記憶された瞬きの回数Ｙが、所定値記憶エリア３１６に記憶された所定値Ｕ以上である場合（Ｓ３７：ＹＥＳ）、ユーザは緊張状態にある可能性が高い。
【０１２８】
このように、不自然な視線一致状態が継続し、ユーザ間で無言状態が継続したうえに（Ｓ３６：ＹＥＳ）、ユーザの瞬き回数Ｙが所定値Ｕ以上である場合（Ｓ３７：ＹＥＳ）、ユーザは非常に居心地の悪い状況にあるといえる。この場合、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２の値が所定時間ａに変更される（Ｓ３８）。所定時間ａは、初期状態の第二所定時間Ｔ２よりも長い時間である。本実施形態では、初期状態の第二所定時間を１０秒とし、所定時間ａを２０秒とする。
【０１２９】
一方、瞬き回数記憶エリア２２７に記憶された瞬きの回数Ｙが、所定値記憶エリア３１６に記憶された所定値Ｕ未満である場合（Ｓ３７：ＮＯ）、ユーザは緊張状態にない可能性が高い。このように、不自然な視線一致状態が継続し、かつユーザ間で無言状態が継続しているものの（Ｓ３６；ＹＥＳ）、ユーザの瞬き回数Ｙが所定値Ｕ未満の場合（Ｓ３７：ＮＯ）、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２の値が所定時間ｂに変更される（Ｓ３９）。所定時間ｂは、初期状態の第二所定時間Ｔ２よりも長い時間であって、所定時間ａよりも短い時間である。本実施形態では、所定時間ｂを１５秒とする。
【０１３０】
また、Ｓ３６において、音声有無記憶エリア２２８に「１」が記憶されている場合、ユーザもしくは相手ユーザのいずれかが音声を発しているため、無言状態は継続していなかったと判断される（Ｓ３６：ＮＯ）。この場合、ユーザと相手ユーザとの間に、視線一致状態が長く続いたものの、ユーザと相手ユーザとの間には会話があり、気まずい雰囲気はなかった可能性が高い。
【０１３１】
この場合、続いて、瞬き回数記憶エリア２２７と所定値記憶エリア３１６とが参照されて、視線一致時間ｔ１が第三所定時間Ｔ３以上となるまでの間にユーザが行った瞬きの回数Ｙが、所定値Ｕ以上であったか否かが判断される（Ｓ４０）。瞬き回数記憶エリア２２７に記憶された瞬きの回数Ｙが、所定値記憶エリア３１６に記憶された所定値Ｕ以上である場合（Ｓ４０：ＹＥＳ）、ユーザは緊張状態にある可能性が高い。
【０１３２】
このように、不自然な視線一致状態が継続し、ユーザのいずれかに発話があったものの（Ｓ３６：ＮＯ）、ユーザの瞬き回数Ｙが所定値Ｕ以上である場合（Ｓ４０：ＹＥＳ）、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２の値が所定時間ｃに変更される（Ｓ４１）。所定時間ｃは、初期状態の第二所定時間Ｔ２よりも長い時間であり、所定時間ａや所定時間ｂよりも短い時間である。本実施形態では所定時間ｃは１２秒とする。
【０１３３】
一方、瞬き回数記憶エリア２２７に記憶された瞬きの回数Ｙが、所定値記憶エリア３１６に記憶された所定値Ｕ未満である場合（Ｓ４０：ＮＯ）、ユーザは居心地の悪さをそれほど感じていないとして、第二所定時間Ｔ２の値は変更されない。
【０１３４】
Ｓ３８、Ｓ３９、Ｓ４１のいずれかの処理が終了すると、計測された送信後経過時間ｔ２が、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２以上であるか否かが判断される（Ｓ４２）。上述のように、所定時間記憶エリア３１４に記憶された第二所定時間Ｔ２は、検出されたユーザの緊張度や居心地の悪さに応じて設定されている。具体的には、第二所定時間Ｔ２は、ユーザと相手ユーザとの間に無言状態が継続し、かつユーザの瞬き回数が多い場合には２０秒に設定される。ユーザと相手ユーザとの間に無言状態が継続しているものの、ユーザの瞬き回数が多くない場合には１５秒に設定される。ユーザと相手ユーザとの間に発話があり、ユーザの瞬き回数が多い場合には１２秒に設定される。ユーザと相手ユーザとの間に発話があり、ユーザの瞬き回数が多くない場合には初期状態である１０秒のままである。
【０１３５】
送信後経過時間ｔ２が第二所定時間Ｔ２以上でない場合（Ｓ４２：ＮＯ）、ユーザの居心地の悪さが回避されてから、未だ十分な時間が経過していないとして、送信後経過時間ｔ２が第二所定時間Ｔ２以上となるまで、Ｓ４２の処理が繰り返される。
【０１３６】
一方、送信後経過時間ｔ２が第二所定時間Ｔ２以上である場合（Ｓ４２：ＹＥＳ）、端末装置４におけるビデオカメラ３４の撮影位置が変更されてから十分な時間が経過している。この場合には、相手ユーザの使用する端末装置４に、端末装置３のユーザの居心地の悪さが回避された旨の第二信号が送信される（Ｓ４３）。
【０１３７】
そして、接続端末記憶エリア２２５を参照して、ネットワーク２に接続されている端末が自身のほかに１以上あるか否かが判断される（Ｓ４４）。ネットワーク２に接続されている端末が、自身の他に０であると判断された場合、会議終了であるとして（Ｓ４４：ＹＥＳ）、処理は終了する。一方、ネットワーク２に接続されている端末が、自身のほかに１以上ある場合、会議は継続しているとして（Ｓ４４：ＮＯ）、Ｓ２１に戻り処理が繰り返される。
【０１３８】
以上説明したように、第二実施形態の端末装置１３０では、ユーザと相手ユーザとの間で、無言状態が第三所定時間Ｔ３以上続いた場合、相手ユーザを撮影するビデオカメラ３４の位置を変更してから復帰するまでの時間を延長する。そのため、無言状態が長く続いた場合には、視線を外す時間を延長することができる。よって、気まずい雰囲気にあるユーザ間で視線一致状態が不自然にあった場合には、気まずい雰囲気を確実に回避させることができる。
【０１３９】
また、第三所定時間Ｔ３の間に、ユーザが行った瞬きの回数Ｙが所定値Ｕ以上である場合には、相手ユーザを撮影するビデオカメラ３４の位置を変更してから復帰するまでの時間を延長する。そのため、相手ユーザに対して不自然に視線を一致させたユーザが緊張状態にある場合には、視線を外す時間を延長することができる。よって、ユーザの緊張状態をやわらげることができる。
【０１４０】
なお、以上説明において、図２０に示すＳ１０１の処理を行うＣＰＵ１２０が本発明の「ユーザ音声検出手段」および「相手ユーザ音声検出手段」に相当する。図１９に示すＳ２７、Ｓ２８の処理を実行するＣＰＵ１２０が本発明の「無言時間計測手段」に相当する。図１９に示すＳ３８、Ｓ３９の処理を実行するＣＰＵ１２０が本発明の「第一の第二所定時間調整手段」に相当する。図１９に示すＳ３５の処理を実行するＣＰＵ１２０が本発明の「第三所定時間判断手段」に相当する。図２１に示すＳ１３２の処理を行うＣＰＵ１２０が本発明の「瞬き検出手段」に相当する。図２１に示すＳ１３４の処理を行うＣＰＵ１２０が本発明の「瞬きカウント手段」に相当する。図１９に示すＳ３０、Ｓ４１の処理を実行するＣＰＵ１２０が本発明の「第二の第二所定時間調整手段」に相当する。図１９に示すＳ２７の処理を実行するＣＰＵ１２０が本発明の「計測手段」に相当する。図１９に示すＳ３５の処理を実行するＣＰＵ１２０が本発明の「第四所定時間判断手段」に相当する。図１９に示すＳ３７の処理を実行するＣＰＵ１２０が本発明の「瞬き回数判断手段」に相当する。
【０１４１】
なお、上記実施形態は、発明を逸脱しない範囲で種々の変更が可能であることは、言うまでもない。例えば、実施形態のテレビ会議システムは、２台の端末装置を備えていたが、本発明は３台以上の装置を備えるテレビ会議システムにも適応可能である。画面に表示される複数の相手ユーザのうちのいずれかひとりに対して、ユーザが視線を一致させている時間が長すぎる場合、視線一致の対象となる相手ユーザのビデオカメラ３４の撮影位置を変更すればよい。複数の相手ユーザのうちの特定の相手ユーザと気まずい雰囲気になった場合にも、気まずい雰囲気を回避することができ、会議を円滑に進めることできる。
【０１４２】
また、相手ユーザの端末装置４に送信する画像を撮影するビデオカメラ３４を利用して、ユーザの視線方向の検出を行うための画像を撮影したが、視線方向検出のためのビデオカメラを別に設けてもよい。
【０１４３】
また、赤外線ライト３３の設置位置は実施形態に限定されない。この場合、スクリーン３２に対する赤外線ライト３３の配置位置をＨＤＤ３１に記憶しておく。スクリーン３２の面に対する赤外線ライト３３の照射角度をα、上述の方法で検出された眼球７２の回転角度をθ、眼球７２の中心からスクリーン３２に対して直角に交わる交点を中心点Ｏ、眼球７２の中心と中心点Ｏとの距離をＬとする。使用者の視線方向の先にあるディスプレイ２８上の視線位置と中心点Ｏとの距離Ｋは、以下の式で示される。
Ｋ＝Ｌ・ｔａｎ（θ−（９０−α））
スクリーン３２の裏面のスペースが限られている場合には、赤外線ライト３３の設置位置を変更することができる。
【０１４４】
また、上述の実施形態では、不自然な視線一致状態が検出された場合、スクリーン３２に共有資料画面２８２が存在すれば、スクリーン３２に共有資料画面２８２を拡大させたが、拡大する画面は共有資料画面２８２に限定されない。スクリーン３２に相手ユーザ画面２８１の他の別画面が表示されているか否かを、表示画面データ記憶エリア３１２を参照して判断し、別画面が表示されていると判断された場合には、別画像を拡大表示してもよい。また、スクリーン３２に共有資料画面２８２が存在している場合であっても、共有資料画面２８２を拡大させなくてもよい。
【０１４５】
また、図１９に示す第二実施形態の視線方向検出処理では、音声検出処理を起動させるとともに（Ｓ２８）、瞬き回数カウント処理を起動させたが（Ｓ２９）、音声検出処理及び瞬き回数カウント処理のいずれか一方を起動させてもよい。
【０１４６】
また、上述の実施形態では、ユーザの眼球７２とスクリーン３２との距離は、一定であると近似され、所定距離Ｌとして予め記憶されていたが、これに限定されるものでは無い。たとえば、遠隔会議開始時や視線方向検出時などに、ユーザの眼球７２とスクリーン３２との距離を算出し、算出された値を前記所定距離Ｌとして、スクリーン３２上のユーザの視線位置Ｔを特定しても良い。所定距離Ｌの算出方法としては、周知の方法が適用可能であるが、たとえば、以下の方法が適用可能である。
【０１４７】
この方法では、予めビデオカメラ３４とユーザ（ユーザの眼球７２）とを所定距離とした状態でユーザを撮影する。撮影されたユーザの画像からユーザの各眼球７２について瞳孔７５の位置をそれぞれ抽出し、抽出された瞳孔７５の間隔を、基準瞳孔間隔として予めＨＤＤ３１に記憶する。一般に、撮影画像における瞳孔間隔は、瞳孔７５とビデオカメラ３４との距離に反比例する。よって、ビデオカメラ３４により撮影された実際の瞳孔間隔と、予め記憶された基準瞳孔間隔とから、ビデオカメラ３４と眼球７２との距離を算出できる。ビデオカメラ３４とスクリーン３２との位置関係を予めＨＤＤ３１に記憶しておくことにより、スクリーン３２と眼球７２との距離を算出することができ、算出された値を所定距離Ｌとして用いることができる。
【符号の説明】
【０１４８】
１ テレビ会議システム
２ ネットワーク
３，４ 端末装置
３２ スクリーン
３３ 赤外線ライト
３４ ビデオカメラ
３５ マイク
３６ カメラ移動装置
７１ プルキニエ像
７２ 眼球
７５ 瞳孔
７６ 瞳孔中心
１３０ 端末装置
１３１ ハードディスクドライブ
２２１ 視線方向記憶エリア
２２２ 視線位置記憶エリア
２８１ 相手ユーザ画面
２８２ 共有資料画面
３１０ 撮影画像データ記憶エリア
３１２ 表示画面データ記憶エリア
３１５ 位置関係記憶エリア
ｔ１ 視線一致時間
Ｔ１ 第一所定時間
ｔ２ 送信後経過時間
Ｔ２ 第二所定時間
Ｔ３ 第三所定時間
【特許請求の範囲】
【請求項１】
ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置であって、
ユーザを撮影するユーザ撮影手段と、
前記ユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像送信手段と、
他の端末から送信された前記画像を画面に表示する表示手段と、
前記ユーザ撮影手段により撮影された画像から前記ユーザの視線方向を検出する視線方向検出手段と、
前記視線方向検出手段が検出した前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定手段と、
前記画面上の前記ユーザの顔を検出する顔検出手段と、
前記視線位置特定手段によって特定された前記視線位置が、前記顔検出手段によって検出された前記ユーザの顔の所定領域内にある状態を視線一致状態として検出する視線一致検出手段と、
前記視線一致検出手段により前記視線一致状態が検出された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測手段と、
前記視線一致時間計測手段により計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断手段と、
前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する端末である相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信手段と、
前記相手側端末から送信された前記第一信号を受信する第一信号受信手段と、
前記第一信号受信手段によって、前記第一信号を受信した場合に、前記ユーザ撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更手段と
を備えたことを特徴とする通信端末装置。
【請求項２】
前記撮影位置変更手段は、前記撮影手段を前記ユーザの視線方向から退避する位置に移動させることを特徴とする請求項１に記載の通信端末装置。
【請求項３】
非可視光を前記ユーザの眼球に照射する照射手段をさらに備え、
前記視線方向検出手段は、
前記ユーザ撮影手段により撮影された前記画像における前記非可視光の前記ユーザの眼球角膜反射面における虚像（プルキニエ像）と、前記ユーザの眼球瞳孔中心との相対位置から、前記視線方向を検出することを特徴とする請求項１又は２に記載の通信端末装置。
【請求項４】
前記ユーザの眼球と前記画面と前記照射手段との位置関係を記憶する位置関係記憶手段をさらに備え、
前記視線位置特定手段は、前記位置関係記憶手段に記憶された前記位置関係と、前記視線方向検出手段によって検出された前記視線方向とから、前記画面上の前記視線位置を特定することを特徴とする請求項３に記載の通信端末装置。
【請求項５】
前記ユーザ撮影手段は、前記ユーザに対して前記画面の後方に配置され、
前記照射手段は、前記ユーザ撮影手段に取り付けられていることを特徴とする請求項３又は４に記載の通信端末装置。
【請求項６】
前記画面に、前記ユーザの画像とは異なる別画像が前記画像と併せて表示されているか否かを判断する別画像表示判断手段と、
前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断され、且つ前記別画像判断手段によって前記画面に前記別画像が表示されていると判断された場合に、前記画面において前記別画像を現在の表示サイズと比較して拡大表示するとともに、前記画像に重ねて透過表示する別画像拡大表示手段と
を備えたことを特徴とする請求項１乃至５のいずれかに記載の通信端末装置。
【請求項７】
前記別画像拡大表示手段は、
前記別画像を前記ユーザの画像の前記所定領域に重ねて表示することを特徴とする請求項６に記載の通信端末装置。
【請求項８】
前記第一信号送信手段により前記第一信号を送信してからの経過時間である送信後経過時間を計測する送信後経過時間計測手段と、
前記送信後経過時間計測手段により計測された前記送信後経過時間が第二所定時間以上になったか否かを判断する第二所定時間判断手段と、
前記第二所定時間判断手段によって前記送信後経過時間が前記第二所定時間以上になったと判断された場合に、前記相手側端末に、前記送信後経過時間が前記第二所定時間以上になったことを示す第二信号を送信する第二信号送信手段と、
前記第二信号を受信する第二信号受信手段と、
前記第二信号受信手段によって、前記相手側端末から送信された前記第二信号が受信された場合に、前記撮影手段の前記撮影位置をもとの位置に復帰させる撮影位置復帰手段と
をさらに備えたことを特徴とする請求項１乃至７のいずれかに記載の通信端末装置。
【請求項９】
前記ユーザの音声を検出するユーザ音声検出手段と、
前記相手ユーザの音声を検出する相手ユーザ音声検出手段と、
前記ユーザ音声検出手段及び前記相手ユーザ音声検出手段のいずれも音声を検出しない状態を無言状態として、前記無言状態が継続する時間である無言時間を計測する無言時間計測手段と、
前記無言時間計測手段により計測された前記無言時間に基づいて、前記第二所定時間を調整する第一の第二所定時間調整手段と
を備えたことを特徴とする請求項１乃至８のいずれかに記載の通信端末装置。
【請求項１０】
前記第一の第二所定時間調整手段は、
前記無言時間計測手段により計測された前記無言時間が、第三所定時間以上になったか否かを判断する第三所定時間判断手段を備え、
前記第三所定時間判断手段によって、前記無言時間が前記第三所定時間以上になったと判断された場合に、前記第二所定時間を延長することを特徴とする請求項９に記載の通信端末装置。
【請求項１１】
前記ユーザの瞬きを検出する瞬き検出手段と、
前記瞬き検出手段によって検出された前記瞬きの回数をカウントする瞬きカウント手段と、
前記カウント手段によってカウントされた前記回数に基づいて、前記第二所定時間を調整する第二の第二所定時間調整手段と
をさらに備えたことを特徴とする請求項１乃至１０のいずれかに記載の通信端末装置。
【請求項１２】
前記第二の第二所定時間調整手段は、
前記視線一致検出手段により前記視線一致状態が検出されてからの経過時間を計測する計測手段と、
前記計測手段により計測された前記経過時間が第四所定時間以上になったか否かを判断する第四所定時間判断手段と、
前記第四所定時間判断手段によって前記経過時間が前記第四所定時間以上になったと判断された場合に、前記瞬きカウント手段によってカウントされた前記回数が所定回数以上であるか否かを判断する瞬き回数判断手段と、
を備え、
前記瞬き回数判断手段により、前記回数が所定回数以上であったと判断された場合に、前記第二所定時間を延長することを特徴とする請求項１１に記載の通信端末装置。
【請求項１３】
ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置の通信制御方法であって、
ユーザを撮影するユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像データ送信ステップと、
他の端末から送信された前記画像を画面に表示する表示ステップと、
前記ユーザの視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップにおいて検出された前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定ステップと、
前記画面上の前記ユーザの顔を検出する顔検出ステップと、前記視線位置特定ステップにおいて特定された前記視線位置が、前記顔検出ステップにおいて検出された前記ユーザの顔の所定領域内にある視線一致状態か否かを判断する視線一致判断ステップと、
前記視線一致判断ステップにおいて前記視線一致状態であると判断された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測ステップと、
前記視線一致時間計測ステップにおいて計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断ステップと、
前記第一所定時間判断ステップにおいて前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信ステップと、
前記第一信号を受信する第一信号受信ステップと、
前記第一信号受信ステップにおいて、前記相手側端末から送信された前記第一信号を受信した場合に、前記撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更ステップと
を備えたことを特徴とする通信端末装置の通信制御方法。
【請求項１４】
請求項１乃至１２のいずれかに記載の通信端末装置の各種処理手段としてコンピュータを機能させるための通信制御プログラム。
【請求項１】
ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置であって、
ユーザを撮影するユーザ撮影手段と、
前記ユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像送信手段と、
他の端末から送信された前記画像を画面に表示する表示手段と、
前記ユーザ撮影手段により撮影された画像から前記ユーザの視線方向を検出する視線方向検出手段と、
前記視線方向検出手段が検出した前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定手段と、
前記画面上の前記ユーザの顔を検出する顔検出手段と、
前記視線位置特定手段によって特定された前記視線位置が、前記顔検出手段によって検出された前記ユーザの顔の所定領域内にある状態を視線一致状態として検出する視線一致検出手段と、
前記視線一致検出手段により前記視線一致状態が検出された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測手段と、
前記視線一致時間計測手段により計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断手段と、
前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する端末である相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信手段と、
前記相手側端末から送信された前記第一信号を受信する第一信号受信手段と、
前記第一信号受信手段によって、前記第一信号を受信した場合に、前記ユーザ撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更手段と
を備えたことを特徴とする通信端末装置。
【請求項２】
前記撮影位置変更手段は、前記撮影手段を前記ユーザの視線方向から退避する位置に移動させることを特徴とする請求項１に記載の通信端末装置。
【請求項３】
非可視光を前記ユーザの眼球に照射する照射手段をさらに備え、
前記視線方向検出手段は、
前記ユーザ撮影手段により撮影された前記画像における前記非可視光の前記ユーザの眼球角膜反射面における虚像（プルキニエ像）と、前記ユーザの眼球瞳孔中心との相対位置から、前記視線方向を検出することを特徴とする請求項１又は２に記載の通信端末装置。
【請求項４】
前記ユーザの眼球と前記画面と前記照射手段との位置関係を記憶する位置関係記憶手段をさらに備え、
前記視線位置特定手段は、前記位置関係記憶手段に記憶された前記位置関係と、前記視線方向検出手段によって検出された前記視線方向とから、前記画面上の前記視線位置を特定することを特徴とする請求項３に記載の通信端末装置。
【請求項５】
前記ユーザ撮影手段は、前記ユーザに対して前記画面の後方に配置され、
前記照射手段は、前記ユーザ撮影手段に取り付けられていることを特徴とする請求項３又は４に記載の通信端末装置。
【請求項６】
前記画面に、前記ユーザの画像とは異なる別画像が前記画像と併せて表示されているか否かを判断する別画像表示判断手段と、
前記第一所定時間判断手段によって前記視線一致時間が前記第一所定時間以上になったと判断され、且つ前記別画像判断手段によって前記画面に前記別画像が表示されていると判断された場合に、前記画面において前記別画像を現在の表示サイズと比較して拡大表示するとともに、前記画像に重ねて透過表示する別画像拡大表示手段と
を備えたことを特徴とする請求項１乃至５のいずれかに記載の通信端末装置。
【請求項７】
前記別画像拡大表示手段は、
前記別画像を前記ユーザの画像の前記所定領域に重ねて表示することを特徴とする請求項６に記載の通信端末装置。
【請求項８】
前記第一信号送信手段により前記第一信号を送信してからの経過時間である送信後経過時間を計測する送信後経過時間計測手段と、
前記送信後経過時間計測手段により計測された前記送信後経過時間が第二所定時間以上になったか否かを判断する第二所定時間判断手段と、
前記第二所定時間判断手段によって前記送信後経過時間が前記第二所定時間以上になったと判断された場合に、前記相手側端末に、前記送信後経過時間が前記第二所定時間以上になったことを示す第二信号を送信する第二信号送信手段と、
前記第二信号を受信する第二信号受信手段と、
前記第二信号受信手段によって、前記相手側端末から送信された前記第二信号が受信された場合に、前記撮影手段の前記撮影位置をもとの位置に復帰させる撮影位置復帰手段と
をさらに備えたことを特徴とする請求項１乃至７のいずれかに記載の通信端末装置。
【請求項９】
前記ユーザの音声を検出するユーザ音声検出手段と、
前記相手ユーザの音声を検出する相手ユーザ音声検出手段と、
前記ユーザ音声検出手段及び前記相手ユーザ音声検出手段のいずれも音声を検出しない状態を無言状態として、前記無言状態が継続する時間である無言時間を計測する無言時間計測手段と、
前記無言時間計測手段により計測された前記無言時間に基づいて、前記第二所定時間を調整する第一の第二所定時間調整手段と
を備えたことを特徴とする請求項１乃至８のいずれかに記載の通信端末装置。
【請求項１０】
前記第一の第二所定時間調整手段は、
前記無言時間計測手段により計測された前記無言時間が、第三所定時間以上になったか否かを判断する第三所定時間判断手段を備え、
前記第三所定時間判断手段によって、前記無言時間が前記第三所定時間以上になったと判断された場合に、前記第二所定時間を延長することを特徴とする請求項９に記載の通信端末装置。
【請求項１１】
前記ユーザの瞬きを検出する瞬き検出手段と、
前記瞬き検出手段によって検出された前記瞬きの回数をカウントする瞬きカウント手段と、
前記カウント手段によってカウントされた前記回数に基づいて、前記第二所定時間を調整する第二の第二所定時間調整手段と
をさらに備えたことを特徴とする請求項１乃至１０のいずれかに記載の通信端末装置。
【請求項１２】
前記第二の第二所定時間調整手段は、
前記視線一致検出手段により前記視線一致状態が検出されてからの経過時間を計測する計測手段と、
前記計測手段により計測された前記経過時間が第四所定時間以上になったか否かを判断する第四所定時間判断手段と、
前記第四所定時間判断手段によって前記経過時間が前記第四所定時間以上になったと判断された場合に、前記瞬きカウント手段によってカウントされた前記回数が所定回数以上であるか否かを判断する瞬き回数判断手段と、
を備え、
前記瞬き回数判断手段により、前記回数が所定回数以上であったと判断された場合に、前記第二所定時間を延長することを特徴とする請求項１１に記載の通信端末装置。
【請求項１３】
ネットワークを介して接続された他の端末と、画像及び音声を介した通信を行う通信端末装置の通信制御方法であって、
ユーザを撮影するユーザ撮影手段が撮影した前記ユーザの画像を他の端末に送信する画像データ送信ステップと、
他の端末から送信された前記画像を画面に表示する表示ステップと、
前記ユーザの視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップにおいて検出された前記視線方向の先にある前記表示手段が表示した画面上の視線位置を特定する視線位置特定ステップと、
前記画面上の前記ユーザの顔を検出する顔検出ステップと、前記視線位置特定ステップにおいて特定された前記視線位置が、前記顔検出ステップにおいて検出された前記ユーザの顔の所定領域内にある視線一致状態か否かを判断する視線一致判断ステップと、
前記視線一致判断ステップにおいて前記視線一致状態であると判断された場合に、前記視線一致状態が継続する時間である視線一致時間を計測する視線一致時間計測ステップと、
前記視線一致時間計測ステップにおいて計測された前記視線一致時間が第一所定時間以上になったか否かを判断する第一所定時間判断ステップと、
前記第一所定時間判断ステップにおいて前記視線一致時間が前記第一所定時間以上になったと判断された場合に、前記視線一致状態の対象である相手ユーザの前記画像データを送信する相手側端末に、前記視線一致時間が前記第一所定時間以上になったことを示す第一信号を送信する第一信号送信ステップと、
前記第一信号を受信する第一信号受信ステップと、
前記第一信号受信ステップにおいて、前記相手側端末から送信された前記第一信号を受信した場合に、前記撮影手段の前記ユーザに対する撮影位置を変更する撮影位置変更ステップと
を備えたことを特徴とする通信端末装置の通信制御方法。
【請求項１４】
請求項１乃至１２のいずれかに記載の通信端末装置の各種処理手段としてコンピュータを機能させるための通信制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１０−２３９５８３（Ｐ２０１０−２３９５８３Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８８０６９（Ｐ２００９−８８０６９）
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]