テレビ会議システム、テレビ会議方法、プログラムおよび記録媒体
【課題】プライバシー保護機能を備えたテレビ会議システムを提供すること。
【解決手段】撮影部１００で撮影した画像から、画像認識部１１０にて顔領域を検出し、検出した顔領域画像からユーザが居眠りをしているかどうかを判定する。ユーザが居眠りをしていると判断した場合、テレビ会議通話を一時保留状態にし、映像および音声の送信を停止する。ユーザが覚醒したと判断した場合、一時保留状態を解除する。あるいは、画像認識部１１０にてユーザが居眠りをしていると判断した場合、テレビ会議通話を切断する。
【解決手段】撮影部１００で撮影した画像から、画像認識部１１０にて顔領域を検出し、検出した顔領域画像からユーザが居眠りをしているかどうかを判定する。ユーザが居眠りをしていると判断した場合、テレビ会議通話を一時保留状態にし、映像および音声の送信を停止する。ユーザが覚醒したと判断した場合、一時保留状態を解除する。あるいは、画像認識部１１０にてユーザが居眠りをしていると判断した場合、テレビ会議通話を切断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像および音声を用いて双方向コミュニケーションを行うことができるテレビ会議システムに関する。
【背景技術】
【０００２】
カメラとマイクを備え、映像と音声を双方向に送受信できるテレビ会議システムが多数実用化されている。カメラとマイクを備え、インターネットに接続されたパーソナルコンピュータで動作するテレビ会議ソフトウェアの登場や、カメラつき携帯電話での対応などにより、専用システムによる運用が行われていた時代と比較して、飛躍的にテレビ会議の利用者数が増加している。テレビ会議機能を備えたテレビも登場しており、テレビ会議が非常に身近なコミュニケーション手段のひとつになりつつある。
【０００３】
このようなテレビ会議システムにおいて、自動的に映像および音声の送受信を停止させるシステムが開示されている。特許文献１におけるテレビ会議システムでは、カメラから取り込まれた映像のフレーム間差分情報から算出した動きベクトルや、カメラのオートフォーカス情報を用いて、ユーザが離席したかどうかを判定し、離席したと判定した場合、通話を切断するよう構成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−３３６１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示したようなテレビ会議システムにおける従来の自動通話切断機能は、主に省電力化や通信料金の節約を目的としており、ユーザのプライバシー保護を目的とした適用はこれまでなされていなかった。インターネットを介したテレビ会議が主流となり、コストを意識せずにテレビ会議ができるようになるにつれ、テレビ会議が行われる機会および時間はますます増大していく可能性が高い。そのような状況下では、テレビのながら見のように、映像・音声のやりとりが行われる通話状態が、長時間行われることが十分予想される。その結果として、ユーザが居眠りをしてしまい、居眠り中の映像や音声が通話相手に送信されるといった弊害の発生が考えられるが、そのような課題に対して、映像や音声の送信を停止させ、ユーザのプライバシーを保護するようなシステムはこれまで存在しなかった。
【課題を解決するための手段】
【０００６】
前記課題を解決するために、本発明のテレビ会議システムは、通信手段を介して画像信号および音声信号を送受信可能な通信部と、前記画像信号を生成する撮影部と、前記音声信号を生成する音声入力部と、前記画像信号に基づく画像を表示する表示部と、前記音声信号に基づく音声を出力する音声出力部と、送信予定の画像信号に含まれる被写体の覚醒度を監視する監視部と、前記画像信号および前記音声信号を送受信する相手先との通信を制御する制御部を備え、前記監視部で得られる被写体の覚醒度に基づき、前記送信予定の画像信号が相手先の表示部に表示されるかどうかを制御する。
【０００７】
また、前記課題を解決するために、本発明のテレビ会議方法は、通信手段を介して画像信号および音声信号を送受信する通信ステップと、前記画像信号および前記音声信号を互いに送受信する相手先を選択可能な選択ステップと、前記画像信号を生成する撮影ステップと、前記音声信号を生成する音声入力ステップと、前記画像信号に基づく画像を表示する表示ステップと、前記音声信号に基づく音声を出力する音声出力ステップと、送信予定の画像信号に含まれる被写体の覚醒度を監視する監視ステップと、前記監視部にて得られる被写体の覚醒度に基づき、当該画像信号が相手先の表示部に表示されるかどうかを制御する制御ステップからなる。
【発明の効果】
【０００８】
本発明のテレビ会議システムによれば、ユーザの居眠り状態を検出することでユーザが意図しない映像や音声の送信を防止できるため、ユーザのプライバシーを保護することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１におけるテレビ会議システムの端末の構成を示すブロック図
【図２】本発明の実施の形態１におけるテレビ会議システムのシステム構成例を示す図
【図３】本発明の実施の形態１におけるテレビ会議システムのログイン画面を示す図
【図４】本発明の実施の形態１におけるテレビ会議システムへのログイン後の画面表示例を示す図
【図５】本発明の実施の形態１におけるテレビ会議システムの通話確立時の画面表示例を示す図
【図６】本発明の実施の形態１におけるテレビ会議システムにて、テレビ会議中にユーザの居眠りを監視する処理を示したフローチャート
【図７】本発明の実施の形態２におけるテレビ会議システムにて、テレビ会議中にユーザの居眠りを監視する処理を示したフローチャート
【図８】本発明の実施の形態２におけるテレビ会議システムにて、通話相手の端末が一時保留中であった場合の画面表示例を示す図
【図９】本発明の実施の形態３におけるテレビ会議システムにて、テレビ会議中にユーザの居眠りを監視する処理を示したフローチャート
【図１０】本発明の実施の形態４におけるテレビ会議機能を備えたテレビのブロック図
【図１１】本発明の実施の形態４におけるテレビ会議中の表示部１６０の表示の一例を示す図
【図１２】本発明の実施の形態４におけるテレビ会議システムにおいて、テレビ会議中にユーザの居眠りを監視する処理を示したフローチャート
【発明を実施するための形態】
【００１０】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１におけるテレビ会議システムの端末を示すブロック図である。図１において、撮影部１００は典型的にはカメラであり、撮影部１００で撮影された画像は、画像認識部１１０に入力される。画像認識部１１０は、撮影部１００で撮影された画像に対して様々な画像処理を施すことで、画像から各種の情報を取り出すことができる。本実施例においては、テレビ会議システムのユーザが居眠りをしているかどうかを判定する。具体的には、撮影画像から顔画像を検出し、更に、検出された顔画像から目に該当する領域を抽出し、目領域の形状または面積よりユーザの覚醒度を算出し、ユーザが居眠りを行っているかどうかを判定する。判定結果は制御部１２０に送信される。
【００１２】
通信部１２５はネットワークと接続しておりテレビ会議時に、通話相手と映像データおよび音声データの送受信を行う。音声入力部１３０は典型的にはマイクおよびマイクから出力されるアナログの音声信号をデジタル信号に変換するＡ／Ｄコンバータ等から構成されており、音声入力部１３０から入力された音声はデジタル信号として音声ＣＯＤＥＣ１３５に入力された後、圧縮処理が施され、通信部１２５を通してネットワークに送信される。撮影部１００から入力された映像はデジタル信号として映像ＣＯＤＥＣ１４０にて圧縮され、通信部１２５を通してネットワークに送信される。一方、通信部１２５にて受信された、圧縮音声データは音声ＣＯＤＥＣ１３５で伸長された後、音声処理部１４５にて音量調整などの音質調整処理が適宜施され、典型的にはスピーカーである音声出力部１５０から出力される。同様に、通信部１２５にて受信された圧縮映像データは映像ＣＯＤＥＣ１４０にて伸長され、映像処理部１５５にて適宜画像サイズの変更が施された後、アイコンやメニューなどの画像表示と重畳され、液晶パネルやプラズマディスプレイパネルに代表される表示部１６０に表示される。
【００１３】
リモコン１７０は、本実施例におけるテレビ会議システムを操作するための各種ボタンを備えたリモコンである。リモコン１７０の入力は、赤外線等を用いて受信部１７５に通知される。受信部１７５では受信した信号をデジタルテレビの操作コマンドに変換し、制御部１２０に通知する。
【００１４】
タイマー１８０は、テレビ会議の通話時間の計測に使用される。
【００１５】
なお、本実施例におけるテレビ会議システムの端末の主要なブロックはバス１９０にて相互に接続されており、バスを経由して映像データや音声データ、各種制御信号のやり取りを行う。また、制御部１２０は本テレビ会議システムの端末の主要なブロックを統合的に制御する。
【００１６】
図２は、本実施例におけるテレビ会議システムのシステム構成例である。図２においては、拠点２００ａと、拠点２００ｂを１対１で接続し、映像および音声の送受信を行う例を示している。ユーザ２１０ａおよびユーザ２１０ｂはそれぞれ、図１で示した、テレビ会議システムの端末２２０ａおよび端末２２０ｂの利用者である。どちらの端末にもそれぞれ、撮影部１００ａと音声入力部１３０ａおよび撮影部１００ｂと音声入力部１３０ｂを備えている。
【００１７】
サーバ２３０はテレビ会議システムの制御を行うためのサーバであり、クライアントである端末２２０ａおよび端末２２０ｂと通信を確立し、発呼や保留、通話切断などの呼制御や、映像データおよび音声データの中継、ユーザ情報の管理などを行う。
【００１８】
サーバ２３０、端末２２０ａおよび端末２２０ｂは通信路２４０を介してインターネット２５０に接続されている。
【００１９】
なお、図２はテレビ会議を行うための最小限の構成例であり、拠点の数は３つ以上でもよく、更に、負荷分散のため、サーバ２３０が複数台で構成されていてもよい。端末がサーバ機能を兼ねる構成でも構わない。
【００２０】
以上のように構成されたテレビ会議システムにおいて、以下、テレビ会議機能の動作説明を行う。
【００２１】
まず、テレビ会議システムのユーザはテレビ会議システムへのログインを行う。リモコン１７０を操作することにより、図３に示すログイン画面が表示部１６０に表示される。図３において、表示部１６０にはテレビ会議システムのユーザに対応するログインＩＤを選択するためのダイアログ３００が表示されており、ダイアログ３００内には登録済みのユーザＩＤが表示されている。ユーザはリモコン１７０に備えた上下左右の指示が可能な移動キーを用いてカーソル３１５を動かし、自身に対応するユーザＩＤを指定し、リモコン１７０に備えた決定ボタンを押下することで、自身に対応するユーザＩＤが選択される。ユーザＩＤ選択後、カーソル３１５をログインボタン３２０へと移動させ、リモコン１７０に備えた決定ボタンを押下することでログイン処理が開始される。また、キャンセルボタン３３０を選択することもできる。キャンセルボタン３３０を選択すると、図示していない、ネットワーク設定などのテレビ会議システムの諸設定を行うためのメニュー画面に戻る。
【００２２】
なお、ログイン時に別ユーザへのなりすましを防止するためにパスワード入力を促すようシステムを構成してもよい。
【００２３】
図４はテレビ会議システムへログインした後の画面の表示例である。図４において、コンタクトリスト４００は、ログインしたユーザが登録しているテレビ会議システムの相手ユーザを表示している。相手ユーザのユーザＩＤの隣には相手ユーザの現在のステータスを示すアイコンが表示されており、発呼前に相手ユーザの状態を知ることができる。ステータスはサーバ２３０に問い合わせることで取得できる。アイコン４１０ａはオンライン、すなわちテレビ会議可能であることを示している。アイコン４１０ｂ、アイコン４１０ｃはオフラインのため現在テレビ会議ができないことを示している。オフラインとは、端末の電源がオフとなっている場合や、一時的に端末がネットワークから切り離されている場合、端末の電源は入っているものの該当するユーザがログインしていない場合など、通信ができない状態になっていることである。アイコン４１０ｄはビジー中、すなわちすでに相手ユーザが別のユーザとテレビ会議中であることを示している。アイコン４１０ｅは、当該通話相手がテレビ会議を行いたくない状態であることを示している。
【００２４】
カーソル４１５はリモコン１７０を用いて上下に移動可能であり、発呼対象となる相手を選択することができる。なお、相手ユーザ数が多いためコンタクトリスト４００に相手ユーザの表示が納まりきらない場合、スクロール指示ボタン４２０をカーソル４１５で選択することで、表示されていない相手ユーザをコンタクトリスト４００内に表示することができる。
【００２５】
また、ログイン情報４３０には、現在ログイン中のユーザのユーザＩＤと、そのステータスが表示されている。ログイン中のユーザのステータスを変更したい場合、ログイン中のユーザのステータスを表すアイコン４４０を、リモコン１７０を用いて選択すると、変更可能なステータスが一覧表示されるので、希望するステータスを選択する。選択したステータスはサーバ２３０に通知される。
【００２６】
発呼を行いたい場合、オンラインの相手ユーザの中から自分が通話したい相手を選択し、リモコン１７０に備えられた選択ボタンを押下すると、選択した通話相手に対して発呼が開始される。相手ユーザ側端末の表示部１６０には着呼がある旨のダイアログが表示され、ダイアログ内のボタンをリモコン１７０を用いて押下し着呼に応答すると、通話が確立する。
【００２７】
図５は通話確立時の端末の表示部１６０の表示例である。図５はＡさんと通話が確立し、互いの端末間で映像と音声が送受信される状態となっている。Ａさんとの通話確立に伴い、Ａさんのステータスを示すアイコン４１０ａの表示は通話中を示すアイコンへと変化している。また、ユーザ自身のステータスを示すアイコン４４０も通話中を示すアイコンへと変化している。図５において、ウィンドウ５１０は撮影部１００で撮影されたユーザ自身の映像が表示されている。ウィンドウ５２０はインターネット２５０を介して通信部１２５で受信された、通話相手の映像および対応するユーザＩＤが表示されている。表示部１６０下部には、ビデオ会議の各種操作を行うためのボタンが配置されており、それぞれリモコン１７０を用いて選択が可能となっている。リモコン１７０で通話切断ボタン５３０を選択・押下すると、通話が切断されテレビ会議が終了する。一時保留ボタン５４０は、テレビ会議の通話は維持したまま、映像および音声の送信を一時停止するためのボタンである。一時保留後、リモコン１７０で再度一時保留ボタン５４０を選択・押下すると、映像および音声の送信が再開される。カンファレンス開始ボタン５５０は、現在の通話に更にユーザを追加するためのボタンである。カンファレンス開始ボタン５５０をリモコン１７０を用いて選択・押下すると、コンタクトリスト４００に表示されている相手ユーザをカーソル４１５で選択可能となり、テレビ会議を行ったまま、選択した相手ユーザに更に発呼を行うことができる。相手ユーザが応答すると、相手ユーザは現在のテレビ会議に加わることができる。音声ミュートボタン５６０は、音声の送信を制御するためのボタンであり、リモコン１７０を用いて選択・押下すると、マイク１５０から入力された音声の送信が停止される。再度音声ミュートボタン５６０を押下すると、音声の送信が再開される。映像ミュートボタン５７０は映像の送信を制御するためのボタンであり、リモコン１７０を用いて選択・押下すると、撮影部１００で撮影された映像の送信が停止される。再度映像ミュートボタン５７０を押下すると、映像の送信が再開される。
【００２８】
以上に示したテレビ会議システムにおいて、テレビ会議中にユーザの覚醒度を監視する処理について、図６に示すフローチャートに基づき説明する。
【００２９】
まず、ステップＳ６００において、撮影部１００で撮影が行われる。撮影された画像は、相手端末に送信されるだけでなく、画像認識部１１０に入力され、顔領域の検出が行われる（ステップＳ６１０）。顔の検出についてはＰ．Ｖｉｏｌａおよび Ｍ．Ｊｏｎｅｓによって発表されたブースティングによる顔画像の訓練学習手法をはじめとして、各種手法が既知となっているためその詳細説明は省略する。
【００３０】
撮影画像から顔領域が抽出されると、更に抽出した顔領域から目の開閉状態が検出される（ステップＳ６１５）。目領域についても、顔領域と同様に既知の訓練学習手法などの適用により抽出が可能である。画像認識部１１０は検出した目領域の上部と下部、目頭、目尻の座標情報より、目頭から目尻までの距離と、目の上部から下部までの距離の比率を求め、得られた比率より目の開閉状態を得て、覚醒度とする。目が閉じられている状態と判定された場合、該当する顔に対応する人物は居眠りをしていると判断する。
【００３１】
ステップＳ６２０において居眠り中であると判定された場合、ステップＳ６４０へと進み、通話終了処理が行われる。まず、ステップＳ６５０にて通話切断処理が行われる。制御部１２０の指示により、サーバ２３０を介して通話切断通知が相手端末に送信され、相手端末が応答を返すことで通話切断処理が行われる。続くステップＳ６６０にて映像データおよび音声データの送受信を停止し、ステップＳ６７０に進む。ステップＳ６７０では、通話履歴の更新が行われる。通話相手のユーザＩＤと、タイマー１８０にて得られる通話開始時刻と通話終了時刻、および両者の差である通話時間が、制御部１２０内の図示していない不揮発性メモリに蓄積される。最後に、ステップＳ６８０にて、ビジーステータスからオンラインステータスへとステータス情報が更新される。更新されたステータス情報はサーバ２３０へ送信される。
【００３２】
一方、ステップＳ６２０において居眠り中でないと判定された場合ステップＳ６７０に進み、リモコン１７０の操作によって通話切断ボタン５３０が押下されたかどうか、すなわちユーザが通話終了を指示したかどうかがチェックされる。通話終了が指示されていなければ、ステップＳ６００に戻り、撮影部１００で新規に画像の撮影が行われる。通話終了が指示されていれば、ステップＳ６４０に進み通話切断処理が行われる。
【００３３】
以上のように、本実施の形態においては、撮影部１００で撮影された画像を元に画像認識部１１０にてユーザが居眠り中であるかどうかが判定され、ユーザが居眠り中と判定された場合、テレビ会議の通話を自動的に切断する。
【００３４】
（実施の形態２）
本実施の形態においては、テレビ会議中にユーザが居眠りをしてしまった場合、テレビ会議の通話は切断せず、一時保留状態に移行する。本実施の形態におけるテレビ会議システムの端末を表すブロック図は図１と同様であるため、説明を省略する。図７は、本実施の形態におけるテレビ会議システムにおいて、テレビ会議中にユーザの居眠りを監視する処理について示したフローチャートである。なお、図７において、実施の形態１で説明した図６のフローチャートと同様の処理を示す処理フローについては同一の番号を付与し、適宜説明を省略する。
【００３５】
まず、ステップＳ６００において、撮影部１００で撮影が行われる。撮影された画像は、相手端末に送信されるだけでなく、画像認識部１１０に入力され、顔画像の検出が行われる（ステップＳ６１０）。撮影画像から顔領域が抽出されると、更に抽出した顔領域から目領域が抽出され、目領域の座標情報を元に、目の開閉状態を取得する（ステップＳ６１５）。ステップＳ６１５で得られた目の開閉状態に基づき、ユーザが居眠り状態であるかどうかを判定する（ステップＳ６２０）。
【００３６】
ユーザが居眠り中であると判定された場合、ステップＳ７１０に進み、サーバ２３０を介して、一時保留開始通知が通話相手の端末へと送信される。相手側端末では、通話相手が一時保留になった旨の表示が行われる。続くステップＳ７２０では、映像および音声の送信が一時的に停止される。映像および音声の送信が停止するため、通話間の端末にてユーザが居眠りしている画像が表示されたり、音声が再生されたりすることがなくなる。この後処理はステップＳ６７０に進む。
【００３７】
一方、ステップＳ６２０においてユーザが居眠り中でないと判定された場合、ステップＳ７３０に進む。ステップＳ７３０においては、一時保留中であるかどうかが判定される。一時保留中の場合、ステップＳ７４０に進み、一時保留は解除され、映像と音声の送信が再開される。再びユーザの映像および音声がサーバ２３０を介して相手端末に送信されるようになり、相手端末では受信した映像および音声が再生される。この後処理はステップＳ６７０に進む。
【００３８】
ステップＳ６７０では、リモコン１７０の操作によって通話切断ボタン５３０が押下されたかどうか、すなわちユーザが通話終了を指示したかどうかが判定される。通話終了が指示されていなければ、ステップＳ６００に戻り、撮影部１００で新規に画像の撮影が行われる。通話終了が指示されていれば、本発明の実施の形態１と同様に、通話終了処理（ステップＳ６４０）が行われる。
【００３９】
テレビ会議の通話相手の端末が一時保留中であった場合の表示部１６０の表示例を図８に示す。図８において、図５と同一の構成要素については同一の番号を付し説明を省略する。図８において、図７のフローチャートのステップＳ７１０で送信された、一時保留開始通知を受けた端末では、通話相手の映像を確認することができないよう、通話相手の映像が表示されるウィンドウ５２０が灰色に塗りつぶされている。相手端末からの映像に加えて、音声の送信も停止されるため、通話相手の音声も再生されない。
【００４０】
なお、図８においては一時保留中の端末に対応するウィンドウ５２０は灰色に塗りつぶされているが表示の方法はこれに限らず、別の画像や、メッセージ、アニメーション等を表示させてもよい。
【００４１】
居眠り状態のユーザが覚醒した場合、当該ユーザが使用している端末は、図７のフローチャートにおけるステップＳ７４０にて一時保留が解除され、映像および音声の送信を再開する。通話相手の端末では、映像および音声の受信が再開したことで、図８におけるウィンドウ５２０での灰色の塗りつぶし表示を解除し、受信した通話相手の映像を再びウィンドウ５２０内に表示する。同様に、受信した音声の再生も音声出力部１５０にて行われる。
【００４２】
（実施の形態３）
本実施の形態は、実施の形態２の変形であり、居眠り状態のユーザが覚醒しても、自動的に一時保留状態が解除されず、ユーザの操作を必要とする。本実施の形態におけるテレビ会議システムの端末を示すブロック図は図１と同様であるため、説明を省略する。図９は、本発明の実施の形態におけるテレビ会議システムにおいて、テレビ会議中にユーザの居眠りを監視する処理について示したフローチャートである。なお、図９において、図７にて説明した実施の形態２と同様の処理を示す処理フローについては同一の番号を付与し、適宜説明を省略する。
【００４３】
図９に示すフローチャートにおいて、撮影部１００によるユーザの監視、およびユーザが居眠りに入った際の処理（ステップＳ７１０における一時保留開始通知送信と、ステップＳ７２０における映像および音声の送信停止）は図７に示したフローチャートと同様である。本実施の形態では、居眠り中のユーザが覚醒していると判定された場合、ステップＳ６２０からステップＳ７３０に進む。ステップS７３０にて、一時保留中かどうかが判定され、もし一時保留中であればステップＳ９１０に進む。ステップＳ９１０では、一時保留の解除指示がユーザから出されたかどうかが判定される。これは、図５において、アイコン５４０がリモコン１７０による操作により押下されたかどうかを制御部１２０にて判定するステップであり、もし一時保留の解除指示が出されていた場合、ステップＳ７４０に進み、一時保留が解除され、映像および音声の送信が再開される。その後、処理はステップＳ６７０へと続く。
【００４４】
ステップＳ９１０にて一時保留解除が指示されていなかった場合、またはステップＳ７３０にて映像および音声送信を再開した場合のいずれの場合もステップＳ６７０へと処理が続く。ステップＳ６７０での通話終了指示のチェック、およびステップＳ６４０での通話終了処理の処理内容は、実施の形態２と同様である。
【００４５】
（実施の形態４）
本実施の形態は、実施の形態２に個人認識機能を加えることで、テレビ会議を行っているユーザとは別の人物が撮影部１００によって撮影されてしまった際、居眠り状態のユーザが覚醒したと誤判定されることを防止する。
【００４６】
図１０は、本発明の実施の形態におけるテレビ会議システムの端末の一例である、テレビ会議機能を備えたテレビのブロック図である。図１０において、図１に示したテレビ会議システムの端末と同様のブロックに関しては同一の記号を付与し説明を省略する。図１０において、アンテナ１０１０はテレビ放送波を受信するアンテナ、チューナ部１０２０は、アンテナ１０１０で受信した放送波から希望のチャネルを選択した後、デジタル放送信号に復調するチューナ部である。信号分離部１０５０は、チューナ部１０２０で選択したチャネルから放送多重化信号を抽出して映像信号と音声信号に分離する信号分離部である。信号分離部１０５０で分離された映像信号の信号列は、映像ＣＯＤＥＣ１４０にてデコード・伸張され、デジタル映像信号として出力される。信号分離部１０５０で分離された音声信号の信号列は、音声ＣＯＤＥＣ１３５にてデコード・伸張され、デジタル音声信号として出力される。映像ＣＯＤＥＣ１４０から出力されたデジタル映像信号は映像処理部１５５にてメニューなどの各種表示と重畳され、表示部１６０に表示される。音声ＣＯＤＥＣ１３５から出力されたデジタル音声信号は、音声処理部１４５にて音量調整などの音質調整処理が適宜施され、音声出力部１５０から出力される。なお、テレビ番組の選局は、リモコン１７０に備えられたチャネルボタンを押下することで行う。
【００４７】
本実施の形態におけるテレビでは、テレビを視聴しながらテレビ会議を行うことができる。テレビ会議中、通信部１２５から受信した映像データおよび音声データは、それぞれ映像ＣＯＤＥＣ１４０および音声ＣＯＤＥＣ１３５にて復号化される。一方で、すでに説明したように、同じく映像ＣＯＤＥＣ１４０および音声ＣＯＤＥＣ１３５にてテレビ放送波の映像データおよび音声データもデコードされている。テレビ会議用の映像データおよびテレビ放送波の映像データは制御部１２０の指示により映像処理部１５５で合成され、表示部１６０にて表示される。同様に、テレビ会議用の音声データおよびテレビ放送波の音声データは制御部１２０の指示により音声処理部１４５で合成され、音声出力部１５０から出力される。なお、撮影部１００で撮影された映像データと音声入力部１３０から得られる音声データは実施の形態１と同様に、それぞれ映像ＣＯＤＥＣ１４０と音声ＣＯＤＥＣ１３５で圧縮後、通信部１２５から送信される。
【００４８】
以上の処理により、ユーザはテレビを視聴しつつテレビ会議を行うことができる。
【００４９】
また、本実施の形態における画像認識部１１０は、検出した顔がどのユーザであるかを識別する、個人識別処理が可能となっている。個人識別処理については様々な方法が提案されているが、例えば、目や鼻、口の位置といった、顔の部位の座標を元に、それらの部位の座標の相対的な位置関係に基づき、登録済みの顔データベースより、最も確からしいユーザを選択することで実現する。なお、本実施の形態におけるテレビでは、画像認識部１１０内に、顔の各部位の相対的な位置関係とユーザＩＤとを関連付けた顔データベースが保持されているものとする。
【００５０】
図１１は、本実施の形態における、テレビ会議中の表示部１６０の表示の一例を示している。表示部１６０にはテレビ放送が表示されており、そのテレビ放送にテレビ会議用の各種表示が重畳されている。図１１において、ウィンドウ１１１０は通話相手の映像を表示するウィンドウである。ピクチャ・イン・ピクチャウィンドウ１１２０には、ユーザ自身の映像が表示される。テレビ放送の表示をなるべく妨げないよう、ウィンドウ１１１０は画面の端に表示されている。その他、テレビ会議の操作のためのアイコンやコンタクトリストなどは実施の形態１と同じであるため、同一の番号を振り、説明を省略する。ただし、これらの表示についてもテレビ放送の表示をなるべく妨げないよう、必要に応じてリモコン１７０の操作によって表示のＯＮ／ＯＦＦが切り替えられるよう構成することが望ましい。
【００５１】
以上のような表示により、ユーザはテレビを視聴しながら同時にテレビ会議を行うことができる。
【００５２】
図１２は、本実施の形態におけるテレビ会議システムにおいて、テレビ会議中にユーザの居眠りを監視する処理について示したフローチャートであり、処理内容は図７に示したフローチャートとほぼ同一である。図７に示したフローチャートとの違いは、顔検出を行うステップＳ６１０に続いて実施される、個人識別処理ステップＳ１２１０である。ステップＳ１２１０では、検出された顔を、画像認識部１１０内に保持されている顔データベースに照会することで個人識別処理を行い、ステップＳ６１０で検出した顔領域から、ログインしているユーザＩＤに該当するユーザの顔領域を選択する。続くステップＳ６１５では、ステップＳ１２１０で選択された顔領域を対象に、居眠り状態であるかどうかが判定される。
【００５３】
以上のように、テレビ会議を行っているユーザの顔を選択して居眠り状態を判定することで、別の人物が撮影されても処理は正しく実行される。例えば家族の出入りが多いリビングなどに本実施の形態におけるテレビが置かれていた場合、テレビ会議を行っているユーザ以外の人物が撮影部１００によって撮影される可能性が高いため、個人識別を行うことで居眠り状態の誤判定を回避することができる。
【００５４】
以上、本発明の好適な実施の形態について説明した。なお、以上の実施の形態においては、ユーザが居眠りをしていると判定された場合、すぐに通話切断や一時保留をせず、タイマー１８０を用いて経過時間の監視を開始し、居眠り状態が一定時間経過した場合に、通話切断や一時保留を行うよう構成してもなんら問題はない。更には、実施の形態１で示したように、居眠り状態の場合に通話切断される場合、通話切断後も居眠り状態を監視し、一定時間居眠り状態が続いた場合、テレビ会議システムからログオフするようにしてもよい。一方、実施の形態２から４で示したように、居眠り状態の場合に一時保留される場合、一時保留後も居眠り状態を監視し、一定時間居眠り状態が続いた場合、通話を切断するよう構成してもよい。
【００５５】
また、以上の実施形態においては、居眠り状態であると判定された場合、省電力化のため、通話切断や一時保留だけでなく、表示部の表示の停止、または輝度の引き下げ、あるいは通話切断後にテレビ会議端末の電源を切るよう構成してもなんら問題はない。
【００５６】
また、以上の実施の形態においてユーザが居眠りをしていると判定された場合、ユーザが起きるよう、制御部１２０の指示により音声出力部１５０より警告音を発するよう構成してもよい。音声はミュートされているため、警告音が通話相手の端末にて再生されることはない。
【００５７】
また、以上の実施の形態においては１対１のテレビ会議を例に挙げて説明したがこれに限らず、３人以上のテレビ会議システムにおいても適用可能であることは言うまでもない。
【００５８】
また、テレビ会議の機能において、特定の相手にのみ音声を送信できるような機能を備えてもよい。本処理はメニュー操作において、音声データの送信先を選択可能にすることで実現できる。本機能により、３人以上のテレビ会議中に、居眠りをしている相手だけを選択し、起きるよう大声で発声することが可能になる。
【００５９】
なお、以上の実施の形態において説明した画像認識部における画像処理の内容は一例に過ぎず、他の画像処理アルゴリズムを適用してもよいことは言うまでもない。特に居眠り状態の検出は、目の開閉状態からの判断のみに限らず、うつむいた状態の継続時間、身体が横になっているかどうかなども加味して総合的に判断してもよい。
【００６０】
また、以上の実施の形態においてはテレビ会議用端末、およびテレビを想定したが対象はこれに限らず、ＰＣやゲーム機、モバイル機器など、様々なコミュニケーションデバイスに対して本発明が適用可能であることは言うまでもない。また、図１で示したテレビ会議用端末および図１０で示したテレビ会議機能を備えたテレビのブロック図に示した処理ブロックはいずれも専用のハードウェアであるとは限らず、ソフトウェアで実行できるよう構成されていてもなんら問題はない。ソフトウェアであるプログラムは、テレビ会議システムを構成する端末内の記録媒体、あるいは端末の外付けの記録媒体に記録されていてもよい。あるいは、インターネットを介して存在するサーバ上の記録媒体にプログラムが記録されており、適宜ダウンロードする構成になっていてもなんら問題はない。
【産業上の利用可能性】
【００６１】
本発明にかかるテレビ会議システムは、ユーザの覚醒度を監視しユーザが意図しない映像や音声の送信を防止するため、ユーザのプライバシー保護への配慮が必要なテレビ会議システムに好適である。
【符号の説明】
【００６２】
１００ 撮影部
１１０ 監視部、蓄積部
１２５ 通信部
１３０ 音声入力部
１５０ 音声再生部
１６０ 表示部
１７０ 利用者選択部、操作部
１８０ タイマー
【技術分野】
【０００１】
本発明は、映像および音声を用いて双方向コミュニケーションを行うことができるテレビ会議システムに関する。
【背景技術】
【０００２】
カメラとマイクを備え、映像と音声を双方向に送受信できるテレビ会議システムが多数実用化されている。カメラとマイクを備え、インターネットに接続されたパーソナルコンピュータで動作するテレビ会議ソフトウェアの登場や、カメラつき携帯電話での対応などにより、専用システムによる運用が行われていた時代と比較して、飛躍的にテレビ会議の利用者数が増加している。テレビ会議機能を備えたテレビも登場しており、テレビ会議が非常に身近なコミュニケーション手段のひとつになりつつある。
【０００３】
このようなテレビ会議システムにおいて、自動的に映像および音声の送受信を停止させるシステムが開示されている。特許文献１におけるテレビ会議システムでは、カメラから取り込まれた映像のフレーム間差分情報から算出した動きベクトルや、カメラのオートフォーカス情報を用いて、ユーザが離席したかどうかを判定し、離席したと判定した場合、通話を切断するよう構成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−３３６１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示したようなテレビ会議システムにおける従来の自動通話切断機能は、主に省電力化や通信料金の節約を目的としており、ユーザのプライバシー保護を目的とした適用はこれまでなされていなかった。インターネットを介したテレビ会議が主流となり、コストを意識せずにテレビ会議ができるようになるにつれ、テレビ会議が行われる機会および時間はますます増大していく可能性が高い。そのような状況下では、テレビのながら見のように、映像・音声のやりとりが行われる通話状態が、長時間行われることが十分予想される。その結果として、ユーザが居眠りをしてしまい、居眠り中の映像や音声が通話相手に送信されるといった弊害の発生が考えられるが、そのような課題に対して、映像や音声の送信を停止させ、ユーザのプライバシーを保護するようなシステムはこれまで存在しなかった。
【課題を解決するための手段】
【０００６】
前記課題を解決するために、本発明のテレビ会議システムは、通信手段を介して画像信号および音声信号を送受信可能な通信部と、前記画像信号を生成する撮影部と、前記音声信号を生成する音声入力部と、前記画像信号に基づく画像を表示する表示部と、前記音声信号に基づく音声を出力する音声出力部と、送信予定の画像信号に含まれる被写体の覚醒度を監視する監視部と、前記画像信号および前記音声信号を送受信する相手先との通信を制御する制御部を備え、前記監視部で得られる被写体の覚醒度に基づき、前記送信予定の画像信号が相手先の表示部に表示されるかどうかを制御する。
【０００７】
また、前記課題を解決するために、本発明のテレビ会議方法は、通信手段を介して画像信号および音声信号を送受信する通信ステップと、前記画像信号および前記音声信号を互いに送受信する相手先を選択可能な選択ステップと、前記画像信号を生成する撮影ステップと、前記音声信号を生成する音声入力ステップと、前記画像信号に基づく画像を表示する表示ステップと、前記音声信号に基づく音声を出力する音声出力ステップと、送信予定の画像信号に含まれる被写体の覚醒度を監視する監視ステップと、前記監視部にて得られる被写体の覚醒度に基づき、当該画像信号が相手先の表示部に表示されるかどうかを制御する制御ステップからなる。
【発明の効果】
【０００８】
本発明のテレビ会議システムによれば、ユーザの居眠り状態を検出することでユーザが意図しない映像や音声の送信を防止できるため、ユーザのプライバシーを保護することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１におけるテレビ会議システムの端末の構成を示すブロック図
【図２】本発明の実施の形態１におけるテレビ会議システムのシステム構成例を示す図
【図３】本発明の実施の形態１におけるテレビ会議システムのログイン画面を示す図
【図４】本発明の実施の形態１におけるテレビ会議システムへのログイン後の画面表示例を示す図
【図５】本発明の実施の形態１におけるテレビ会議システムの通話確立時の画面表示例を示す図
【図６】本発明の実施の形態１におけるテレビ会議システムにて、テレビ会議中にユーザの居眠りを監視する処理を示したフローチャート
【図７】本発明の実施の形態２におけるテレビ会議システムにて、テレビ会議中にユーザの居眠りを監視する処理を示したフローチャート
【図８】本発明の実施の形態２におけるテレビ会議システムにて、通話相手の端末が一時保留中であった場合の画面表示例を示す図
【図９】本発明の実施の形態３におけるテレビ会議システムにて、テレビ会議中にユーザの居眠りを監視する処理を示したフローチャート
【図１０】本発明の実施の形態４におけるテレビ会議機能を備えたテレビのブロック図
【図１１】本発明の実施の形態４におけるテレビ会議中の表示部１６０の表示の一例を示す図
【図１２】本発明の実施の形態４におけるテレビ会議システムにおいて、テレビ会議中にユーザの居眠りを監視する処理を示したフローチャート
【発明を実施するための形態】
【００１０】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１におけるテレビ会議システムの端末を示すブロック図である。図１において、撮影部１００は典型的にはカメラであり、撮影部１００で撮影された画像は、画像認識部１１０に入力される。画像認識部１１０は、撮影部１００で撮影された画像に対して様々な画像処理を施すことで、画像から各種の情報を取り出すことができる。本実施例においては、テレビ会議システムのユーザが居眠りをしているかどうかを判定する。具体的には、撮影画像から顔画像を検出し、更に、検出された顔画像から目に該当する領域を抽出し、目領域の形状または面積よりユーザの覚醒度を算出し、ユーザが居眠りを行っているかどうかを判定する。判定結果は制御部１２０に送信される。
【００１２】
通信部１２５はネットワークと接続しておりテレビ会議時に、通話相手と映像データおよび音声データの送受信を行う。音声入力部１３０は典型的にはマイクおよびマイクから出力されるアナログの音声信号をデジタル信号に変換するＡ／Ｄコンバータ等から構成されており、音声入力部１３０から入力された音声はデジタル信号として音声ＣＯＤＥＣ１３５に入力された後、圧縮処理が施され、通信部１２５を通してネットワークに送信される。撮影部１００から入力された映像はデジタル信号として映像ＣＯＤＥＣ１４０にて圧縮され、通信部１２５を通してネットワークに送信される。一方、通信部１２５にて受信された、圧縮音声データは音声ＣＯＤＥＣ１３５で伸長された後、音声処理部１４５にて音量調整などの音質調整処理が適宜施され、典型的にはスピーカーである音声出力部１５０から出力される。同様に、通信部１２５にて受信された圧縮映像データは映像ＣＯＤＥＣ１４０にて伸長され、映像処理部１５５にて適宜画像サイズの変更が施された後、アイコンやメニューなどの画像表示と重畳され、液晶パネルやプラズマディスプレイパネルに代表される表示部１６０に表示される。
【００１３】
リモコン１７０は、本実施例におけるテレビ会議システムを操作するための各種ボタンを備えたリモコンである。リモコン１７０の入力は、赤外線等を用いて受信部１７５に通知される。受信部１７５では受信した信号をデジタルテレビの操作コマンドに変換し、制御部１２０に通知する。
【００１４】
タイマー１８０は、テレビ会議の通話時間の計測に使用される。
【００１５】
なお、本実施例におけるテレビ会議システムの端末の主要なブロックはバス１９０にて相互に接続されており、バスを経由して映像データや音声データ、各種制御信号のやり取りを行う。また、制御部１２０は本テレビ会議システムの端末の主要なブロックを統合的に制御する。
【００１６】
図２は、本実施例におけるテレビ会議システムのシステム構成例である。図２においては、拠点２００ａと、拠点２００ｂを１対１で接続し、映像および音声の送受信を行う例を示している。ユーザ２１０ａおよびユーザ２１０ｂはそれぞれ、図１で示した、テレビ会議システムの端末２２０ａおよび端末２２０ｂの利用者である。どちらの端末にもそれぞれ、撮影部１００ａと音声入力部１３０ａおよび撮影部１００ｂと音声入力部１３０ｂを備えている。
【００１７】
サーバ２３０はテレビ会議システムの制御を行うためのサーバであり、クライアントである端末２２０ａおよび端末２２０ｂと通信を確立し、発呼や保留、通話切断などの呼制御や、映像データおよび音声データの中継、ユーザ情報の管理などを行う。
【００１８】
サーバ２３０、端末２２０ａおよび端末２２０ｂは通信路２４０を介してインターネット２５０に接続されている。
【００１９】
なお、図２はテレビ会議を行うための最小限の構成例であり、拠点の数は３つ以上でもよく、更に、負荷分散のため、サーバ２３０が複数台で構成されていてもよい。端末がサーバ機能を兼ねる構成でも構わない。
【００２０】
以上のように構成されたテレビ会議システムにおいて、以下、テレビ会議機能の動作説明を行う。
【００２１】
まず、テレビ会議システムのユーザはテレビ会議システムへのログインを行う。リモコン１７０を操作することにより、図３に示すログイン画面が表示部１６０に表示される。図３において、表示部１６０にはテレビ会議システムのユーザに対応するログインＩＤを選択するためのダイアログ３００が表示されており、ダイアログ３００内には登録済みのユーザＩＤが表示されている。ユーザはリモコン１７０に備えた上下左右の指示が可能な移動キーを用いてカーソル３１５を動かし、自身に対応するユーザＩＤを指定し、リモコン１７０に備えた決定ボタンを押下することで、自身に対応するユーザＩＤが選択される。ユーザＩＤ選択後、カーソル３１５をログインボタン３２０へと移動させ、リモコン１７０に備えた決定ボタンを押下することでログイン処理が開始される。また、キャンセルボタン３３０を選択することもできる。キャンセルボタン３３０を選択すると、図示していない、ネットワーク設定などのテレビ会議システムの諸設定を行うためのメニュー画面に戻る。
【００２２】
なお、ログイン時に別ユーザへのなりすましを防止するためにパスワード入力を促すようシステムを構成してもよい。
【００２３】
図４はテレビ会議システムへログインした後の画面の表示例である。図４において、コンタクトリスト４００は、ログインしたユーザが登録しているテレビ会議システムの相手ユーザを表示している。相手ユーザのユーザＩＤの隣には相手ユーザの現在のステータスを示すアイコンが表示されており、発呼前に相手ユーザの状態を知ることができる。ステータスはサーバ２３０に問い合わせることで取得できる。アイコン４１０ａはオンライン、すなわちテレビ会議可能であることを示している。アイコン４１０ｂ、アイコン４１０ｃはオフラインのため現在テレビ会議ができないことを示している。オフラインとは、端末の電源がオフとなっている場合や、一時的に端末がネットワークから切り離されている場合、端末の電源は入っているものの該当するユーザがログインしていない場合など、通信ができない状態になっていることである。アイコン４１０ｄはビジー中、すなわちすでに相手ユーザが別のユーザとテレビ会議中であることを示している。アイコン４１０ｅは、当該通話相手がテレビ会議を行いたくない状態であることを示している。
【００２４】
カーソル４１５はリモコン１７０を用いて上下に移動可能であり、発呼対象となる相手を選択することができる。なお、相手ユーザ数が多いためコンタクトリスト４００に相手ユーザの表示が納まりきらない場合、スクロール指示ボタン４２０をカーソル４１５で選択することで、表示されていない相手ユーザをコンタクトリスト４００内に表示することができる。
【００２５】
また、ログイン情報４３０には、現在ログイン中のユーザのユーザＩＤと、そのステータスが表示されている。ログイン中のユーザのステータスを変更したい場合、ログイン中のユーザのステータスを表すアイコン４４０を、リモコン１７０を用いて選択すると、変更可能なステータスが一覧表示されるので、希望するステータスを選択する。選択したステータスはサーバ２３０に通知される。
【００２６】
発呼を行いたい場合、オンラインの相手ユーザの中から自分が通話したい相手を選択し、リモコン１７０に備えられた選択ボタンを押下すると、選択した通話相手に対して発呼が開始される。相手ユーザ側端末の表示部１６０には着呼がある旨のダイアログが表示され、ダイアログ内のボタンをリモコン１７０を用いて押下し着呼に応答すると、通話が確立する。
【００２７】
図５は通話確立時の端末の表示部１６０の表示例である。図５はＡさんと通話が確立し、互いの端末間で映像と音声が送受信される状態となっている。Ａさんとの通話確立に伴い、Ａさんのステータスを示すアイコン４１０ａの表示は通話中を示すアイコンへと変化している。また、ユーザ自身のステータスを示すアイコン４４０も通話中を示すアイコンへと変化している。図５において、ウィンドウ５１０は撮影部１００で撮影されたユーザ自身の映像が表示されている。ウィンドウ５２０はインターネット２５０を介して通信部１２５で受信された、通話相手の映像および対応するユーザＩＤが表示されている。表示部１６０下部には、ビデオ会議の各種操作を行うためのボタンが配置されており、それぞれリモコン１７０を用いて選択が可能となっている。リモコン１７０で通話切断ボタン５３０を選択・押下すると、通話が切断されテレビ会議が終了する。一時保留ボタン５４０は、テレビ会議の通話は維持したまま、映像および音声の送信を一時停止するためのボタンである。一時保留後、リモコン１７０で再度一時保留ボタン５４０を選択・押下すると、映像および音声の送信が再開される。カンファレンス開始ボタン５５０は、現在の通話に更にユーザを追加するためのボタンである。カンファレンス開始ボタン５５０をリモコン１７０を用いて選択・押下すると、コンタクトリスト４００に表示されている相手ユーザをカーソル４１５で選択可能となり、テレビ会議を行ったまま、選択した相手ユーザに更に発呼を行うことができる。相手ユーザが応答すると、相手ユーザは現在のテレビ会議に加わることができる。音声ミュートボタン５６０は、音声の送信を制御するためのボタンであり、リモコン１７０を用いて選択・押下すると、マイク１５０から入力された音声の送信が停止される。再度音声ミュートボタン５６０を押下すると、音声の送信が再開される。映像ミュートボタン５７０は映像の送信を制御するためのボタンであり、リモコン１７０を用いて選択・押下すると、撮影部１００で撮影された映像の送信が停止される。再度映像ミュートボタン５７０を押下すると、映像の送信が再開される。
【００２８】
以上に示したテレビ会議システムにおいて、テレビ会議中にユーザの覚醒度を監視する処理について、図６に示すフローチャートに基づき説明する。
【００２９】
まず、ステップＳ６００において、撮影部１００で撮影が行われる。撮影された画像は、相手端末に送信されるだけでなく、画像認識部１１０に入力され、顔領域の検出が行われる（ステップＳ６１０）。顔の検出についてはＰ．Ｖｉｏｌａおよび Ｍ．Ｊｏｎｅｓによって発表されたブースティングによる顔画像の訓練学習手法をはじめとして、各種手法が既知となっているためその詳細説明は省略する。
【００３０】
撮影画像から顔領域が抽出されると、更に抽出した顔領域から目の開閉状態が検出される（ステップＳ６１５）。目領域についても、顔領域と同様に既知の訓練学習手法などの適用により抽出が可能である。画像認識部１１０は検出した目領域の上部と下部、目頭、目尻の座標情報より、目頭から目尻までの距離と、目の上部から下部までの距離の比率を求め、得られた比率より目の開閉状態を得て、覚醒度とする。目が閉じられている状態と判定された場合、該当する顔に対応する人物は居眠りをしていると判断する。
【００３１】
ステップＳ６２０において居眠り中であると判定された場合、ステップＳ６４０へと進み、通話終了処理が行われる。まず、ステップＳ６５０にて通話切断処理が行われる。制御部１２０の指示により、サーバ２３０を介して通話切断通知が相手端末に送信され、相手端末が応答を返すことで通話切断処理が行われる。続くステップＳ６６０にて映像データおよび音声データの送受信を停止し、ステップＳ６７０に進む。ステップＳ６７０では、通話履歴の更新が行われる。通話相手のユーザＩＤと、タイマー１８０にて得られる通話開始時刻と通話終了時刻、および両者の差である通話時間が、制御部１２０内の図示していない不揮発性メモリに蓄積される。最後に、ステップＳ６８０にて、ビジーステータスからオンラインステータスへとステータス情報が更新される。更新されたステータス情報はサーバ２３０へ送信される。
【００３２】
一方、ステップＳ６２０において居眠り中でないと判定された場合ステップＳ６７０に進み、リモコン１７０の操作によって通話切断ボタン５３０が押下されたかどうか、すなわちユーザが通話終了を指示したかどうかがチェックされる。通話終了が指示されていなければ、ステップＳ６００に戻り、撮影部１００で新規に画像の撮影が行われる。通話終了が指示されていれば、ステップＳ６４０に進み通話切断処理が行われる。
【００３３】
以上のように、本実施の形態においては、撮影部１００で撮影された画像を元に画像認識部１１０にてユーザが居眠り中であるかどうかが判定され、ユーザが居眠り中と判定された場合、テレビ会議の通話を自動的に切断する。
【００３４】
（実施の形態２）
本実施の形態においては、テレビ会議中にユーザが居眠りをしてしまった場合、テレビ会議の通話は切断せず、一時保留状態に移行する。本実施の形態におけるテレビ会議システムの端末を表すブロック図は図１と同様であるため、説明を省略する。図７は、本実施の形態におけるテレビ会議システムにおいて、テレビ会議中にユーザの居眠りを監視する処理について示したフローチャートである。なお、図７において、実施の形態１で説明した図６のフローチャートと同様の処理を示す処理フローについては同一の番号を付与し、適宜説明を省略する。
【００３５】
まず、ステップＳ６００において、撮影部１００で撮影が行われる。撮影された画像は、相手端末に送信されるだけでなく、画像認識部１１０に入力され、顔画像の検出が行われる（ステップＳ６１０）。撮影画像から顔領域が抽出されると、更に抽出した顔領域から目領域が抽出され、目領域の座標情報を元に、目の開閉状態を取得する（ステップＳ６１５）。ステップＳ６１５で得られた目の開閉状態に基づき、ユーザが居眠り状態であるかどうかを判定する（ステップＳ６２０）。
【００３６】
ユーザが居眠り中であると判定された場合、ステップＳ７１０に進み、サーバ２３０を介して、一時保留開始通知が通話相手の端末へと送信される。相手側端末では、通話相手が一時保留になった旨の表示が行われる。続くステップＳ７２０では、映像および音声の送信が一時的に停止される。映像および音声の送信が停止するため、通話間の端末にてユーザが居眠りしている画像が表示されたり、音声が再生されたりすることがなくなる。この後処理はステップＳ６７０に進む。
【００３７】
一方、ステップＳ６２０においてユーザが居眠り中でないと判定された場合、ステップＳ７３０に進む。ステップＳ７３０においては、一時保留中であるかどうかが判定される。一時保留中の場合、ステップＳ７４０に進み、一時保留は解除され、映像と音声の送信が再開される。再びユーザの映像および音声がサーバ２３０を介して相手端末に送信されるようになり、相手端末では受信した映像および音声が再生される。この後処理はステップＳ６７０に進む。
【００３８】
ステップＳ６７０では、リモコン１７０の操作によって通話切断ボタン５３０が押下されたかどうか、すなわちユーザが通話終了を指示したかどうかが判定される。通話終了が指示されていなければ、ステップＳ６００に戻り、撮影部１００で新規に画像の撮影が行われる。通話終了が指示されていれば、本発明の実施の形態１と同様に、通話終了処理（ステップＳ６４０）が行われる。
【００３９】
テレビ会議の通話相手の端末が一時保留中であった場合の表示部１６０の表示例を図８に示す。図８において、図５と同一の構成要素については同一の番号を付し説明を省略する。図８において、図７のフローチャートのステップＳ７１０で送信された、一時保留開始通知を受けた端末では、通話相手の映像を確認することができないよう、通話相手の映像が表示されるウィンドウ５２０が灰色に塗りつぶされている。相手端末からの映像に加えて、音声の送信も停止されるため、通話相手の音声も再生されない。
【００４０】
なお、図８においては一時保留中の端末に対応するウィンドウ５２０は灰色に塗りつぶされているが表示の方法はこれに限らず、別の画像や、メッセージ、アニメーション等を表示させてもよい。
【００４１】
居眠り状態のユーザが覚醒した場合、当該ユーザが使用している端末は、図７のフローチャートにおけるステップＳ７４０にて一時保留が解除され、映像および音声の送信を再開する。通話相手の端末では、映像および音声の受信が再開したことで、図８におけるウィンドウ５２０での灰色の塗りつぶし表示を解除し、受信した通話相手の映像を再びウィンドウ５２０内に表示する。同様に、受信した音声の再生も音声出力部１５０にて行われる。
【００４２】
（実施の形態３）
本実施の形態は、実施の形態２の変形であり、居眠り状態のユーザが覚醒しても、自動的に一時保留状態が解除されず、ユーザの操作を必要とする。本実施の形態におけるテレビ会議システムの端末を示すブロック図は図１と同様であるため、説明を省略する。図９は、本発明の実施の形態におけるテレビ会議システムにおいて、テレビ会議中にユーザの居眠りを監視する処理について示したフローチャートである。なお、図９において、図７にて説明した実施の形態２と同様の処理を示す処理フローについては同一の番号を付与し、適宜説明を省略する。
【００４３】
図９に示すフローチャートにおいて、撮影部１００によるユーザの監視、およびユーザが居眠りに入った際の処理（ステップＳ７１０における一時保留開始通知送信と、ステップＳ７２０における映像および音声の送信停止）は図７に示したフローチャートと同様である。本実施の形態では、居眠り中のユーザが覚醒していると判定された場合、ステップＳ６２０からステップＳ７３０に進む。ステップS７３０にて、一時保留中かどうかが判定され、もし一時保留中であればステップＳ９１０に進む。ステップＳ９１０では、一時保留の解除指示がユーザから出されたかどうかが判定される。これは、図５において、アイコン５４０がリモコン１７０による操作により押下されたかどうかを制御部１２０にて判定するステップであり、もし一時保留の解除指示が出されていた場合、ステップＳ７４０に進み、一時保留が解除され、映像および音声の送信が再開される。その後、処理はステップＳ６７０へと続く。
【００４４】
ステップＳ９１０にて一時保留解除が指示されていなかった場合、またはステップＳ７３０にて映像および音声送信を再開した場合のいずれの場合もステップＳ６７０へと処理が続く。ステップＳ６７０での通話終了指示のチェック、およびステップＳ６４０での通話終了処理の処理内容は、実施の形態２と同様である。
【００４５】
（実施の形態４）
本実施の形態は、実施の形態２に個人認識機能を加えることで、テレビ会議を行っているユーザとは別の人物が撮影部１００によって撮影されてしまった際、居眠り状態のユーザが覚醒したと誤判定されることを防止する。
【００４６】
図１０は、本発明の実施の形態におけるテレビ会議システムの端末の一例である、テレビ会議機能を備えたテレビのブロック図である。図１０において、図１に示したテレビ会議システムの端末と同様のブロックに関しては同一の記号を付与し説明を省略する。図１０において、アンテナ１０１０はテレビ放送波を受信するアンテナ、チューナ部１０２０は、アンテナ１０１０で受信した放送波から希望のチャネルを選択した後、デジタル放送信号に復調するチューナ部である。信号分離部１０５０は、チューナ部１０２０で選択したチャネルから放送多重化信号を抽出して映像信号と音声信号に分離する信号分離部である。信号分離部１０５０で分離された映像信号の信号列は、映像ＣＯＤＥＣ１４０にてデコード・伸張され、デジタル映像信号として出力される。信号分離部１０５０で分離された音声信号の信号列は、音声ＣＯＤＥＣ１３５にてデコード・伸張され、デジタル音声信号として出力される。映像ＣＯＤＥＣ１４０から出力されたデジタル映像信号は映像処理部１５５にてメニューなどの各種表示と重畳され、表示部１６０に表示される。音声ＣＯＤＥＣ１３５から出力されたデジタル音声信号は、音声処理部１４５にて音量調整などの音質調整処理が適宜施され、音声出力部１５０から出力される。なお、テレビ番組の選局は、リモコン１７０に備えられたチャネルボタンを押下することで行う。
【００４７】
本実施の形態におけるテレビでは、テレビを視聴しながらテレビ会議を行うことができる。テレビ会議中、通信部１２５から受信した映像データおよび音声データは、それぞれ映像ＣＯＤＥＣ１４０および音声ＣＯＤＥＣ１３５にて復号化される。一方で、すでに説明したように、同じく映像ＣＯＤＥＣ１４０および音声ＣＯＤＥＣ１３５にてテレビ放送波の映像データおよび音声データもデコードされている。テレビ会議用の映像データおよびテレビ放送波の映像データは制御部１２０の指示により映像処理部１５５で合成され、表示部１６０にて表示される。同様に、テレビ会議用の音声データおよびテレビ放送波の音声データは制御部１２０の指示により音声処理部１４５で合成され、音声出力部１５０から出力される。なお、撮影部１００で撮影された映像データと音声入力部１３０から得られる音声データは実施の形態１と同様に、それぞれ映像ＣＯＤＥＣ１４０と音声ＣＯＤＥＣ１３５で圧縮後、通信部１２５から送信される。
【００４８】
以上の処理により、ユーザはテレビを視聴しつつテレビ会議を行うことができる。
【００４９】
また、本実施の形態における画像認識部１１０は、検出した顔がどのユーザであるかを識別する、個人識別処理が可能となっている。個人識別処理については様々な方法が提案されているが、例えば、目や鼻、口の位置といった、顔の部位の座標を元に、それらの部位の座標の相対的な位置関係に基づき、登録済みの顔データベースより、最も確からしいユーザを選択することで実現する。なお、本実施の形態におけるテレビでは、画像認識部１１０内に、顔の各部位の相対的な位置関係とユーザＩＤとを関連付けた顔データベースが保持されているものとする。
【００５０】
図１１は、本実施の形態における、テレビ会議中の表示部１６０の表示の一例を示している。表示部１６０にはテレビ放送が表示されており、そのテレビ放送にテレビ会議用の各種表示が重畳されている。図１１において、ウィンドウ１１１０は通話相手の映像を表示するウィンドウである。ピクチャ・イン・ピクチャウィンドウ１１２０には、ユーザ自身の映像が表示される。テレビ放送の表示をなるべく妨げないよう、ウィンドウ１１１０は画面の端に表示されている。その他、テレビ会議の操作のためのアイコンやコンタクトリストなどは実施の形態１と同じであるため、同一の番号を振り、説明を省略する。ただし、これらの表示についてもテレビ放送の表示をなるべく妨げないよう、必要に応じてリモコン１７０の操作によって表示のＯＮ／ＯＦＦが切り替えられるよう構成することが望ましい。
【００５１】
以上のような表示により、ユーザはテレビを視聴しながら同時にテレビ会議を行うことができる。
【００５２】
図１２は、本実施の形態におけるテレビ会議システムにおいて、テレビ会議中にユーザの居眠りを監視する処理について示したフローチャートであり、処理内容は図７に示したフローチャートとほぼ同一である。図７に示したフローチャートとの違いは、顔検出を行うステップＳ６１０に続いて実施される、個人識別処理ステップＳ１２１０である。ステップＳ１２１０では、検出された顔を、画像認識部１１０内に保持されている顔データベースに照会することで個人識別処理を行い、ステップＳ６１０で検出した顔領域から、ログインしているユーザＩＤに該当するユーザの顔領域を選択する。続くステップＳ６１５では、ステップＳ１２１０で選択された顔領域を対象に、居眠り状態であるかどうかが判定される。
【００５３】
以上のように、テレビ会議を行っているユーザの顔を選択して居眠り状態を判定することで、別の人物が撮影されても処理は正しく実行される。例えば家族の出入りが多いリビングなどに本実施の形態におけるテレビが置かれていた場合、テレビ会議を行っているユーザ以外の人物が撮影部１００によって撮影される可能性が高いため、個人識別を行うことで居眠り状態の誤判定を回避することができる。
【００５４】
以上、本発明の好適な実施の形態について説明した。なお、以上の実施の形態においては、ユーザが居眠りをしていると判定された場合、すぐに通話切断や一時保留をせず、タイマー１８０を用いて経過時間の監視を開始し、居眠り状態が一定時間経過した場合に、通話切断や一時保留を行うよう構成してもなんら問題はない。更には、実施の形態１で示したように、居眠り状態の場合に通話切断される場合、通話切断後も居眠り状態を監視し、一定時間居眠り状態が続いた場合、テレビ会議システムからログオフするようにしてもよい。一方、実施の形態２から４で示したように、居眠り状態の場合に一時保留される場合、一時保留後も居眠り状態を監視し、一定時間居眠り状態が続いた場合、通話を切断するよう構成してもよい。
【００５５】
また、以上の実施形態においては、居眠り状態であると判定された場合、省電力化のため、通話切断や一時保留だけでなく、表示部の表示の停止、または輝度の引き下げ、あるいは通話切断後にテレビ会議端末の電源を切るよう構成してもなんら問題はない。
【００５６】
また、以上の実施の形態においてユーザが居眠りをしていると判定された場合、ユーザが起きるよう、制御部１２０の指示により音声出力部１５０より警告音を発するよう構成してもよい。音声はミュートされているため、警告音が通話相手の端末にて再生されることはない。
【００５７】
また、以上の実施の形態においては１対１のテレビ会議を例に挙げて説明したがこれに限らず、３人以上のテレビ会議システムにおいても適用可能であることは言うまでもない。
【００５８】
また、テレビ会議の機能において、特定の相手にのみ音声を送信できるような機能を備えてもよい。本処理はメニュー操作において、音声データの送信先を選択可能にすることで実現できる。本機能により、３人以上のテレビ会議中に、居眠りをしている相手だけを選択し、起きるよう大声で発声することが可能になる。
【００５９】
なお、以上の実施の形態において説明した画像認識部における画像処理の内容は一例に過ぎず、他の画像処理アルゴリズムを適用してもよいことは言うまでもない。特に居眠り状態の検出は、目の開閉状態からの判断のみに限らず、うつむいた状態の継続時間、身体が横になっているかどうかなども加味して総合的に判断してもよい。
【００６０】
また、以上の実施の形態においてはテレビ会議用端末、およびテレビを想定したが対象はこれに限らず、ＰＣやゲーム機、モバイル機器など、様々なコミュニケーションデバイスに対して本発明が適用可能であることは言うまでもない。また、図１で示したテレビ会議用端末および図１０で示したテレビ会議機能を備えたテレビのブロック図に示した処理ブロックはいずれも専用のハードウェアであるとは限らず、ソフトウェアで実行できるよう構成されていてもなんら問題はない。ソフトウェアであるプログラムは、テレビ会議システムを構成する端末内の記録媒体、あるいは端末の外付けの記録媒体に記録されていてもよい。あるいは、インターネットを介して存在するサーバ上の記録媒体にプログラムが記録されており、適宜ダウンロードする構成になっていてもなんら問題はない。
【産業上の利用可能性】
【００６１】
本発明にかかるテレビ会議システムは、ユーザの覚醒度を監視しユーザが意図しない映像や音声の送信を防止するため、ユーザのプライバシー保護への配慮が必要なテレビ会議システムに好適である。
【符号の説明】
【００６２】
１００ 撮影部
１１０ 監視部、蓄積部
１２５ 通信部
１３０ 音声入力部
１５０ 音声再生部
１６０ 表示部
１７０ 利用者選択部、操作部
１８０ タイマー
【特許請求の範囲】
【請求項１】
通信手段を介して画像信号および音声信号を送受信可能な通信部と、
前記画像信号を生成する撮影部と、
前記音声信号を生成する音声入力部と、
前記画像信号に基づく画像を表示する表示部と、
前記音声信号に基づく音声を出力する音声出力部と、
送信予定の画像信号に含まれる被写体の覚醒度を監視する監視部と、
前記画像信号および前記音声信号を送受信する相手先との通信を制御する制御部を備えたテレビ会議システムであって、
前記監視部で得られる被写体の覚醒度に基づき、前記送信予定の画像信号が相手先の表示部に表示されるかどうかを制御することを特徴とする、
テレビ会議システム。
【請求項２】
前記監視部は、前記撮影部によって撮影された画像より顔領域を検出し、前記検出した顔領域の画像に基づき、人物の覚醒度を監視することを特徴とする、請求項１記載のテレビ会議システム。
【請求項３】
前記監視部は、前記検出した顔領域の画像から目領域を検出し、前記検出した目の開閉状態に基づき人物の覚醒度を監視することを特徴とする、請求項２記載のテレビ会議システム。
【請求項４】
前記監視部は、前記撮影部によって撮影された画像より頭部領域を検出し、前記検出した頭部の俯き加減に基づき人物の覚醒度を監視することを特徴とする、請求項１記載のテレビ会議システム。
【請求項５】
前記監視部は、前記撮影部によって撮影された画像より人体領域を検出し、前記検出した人体の姿勢に基づき人物の覚醒度を監視することを特徴とする、請求項１記載のテレビ会議システム。
【請求項６】
前記テレビ会議システムの利用者を選択する利用者選択部と、
前記テレビ会議システムの利用者の顔の特徴情報を蓄積する蓄積部とを更に備え、
前記監視部は、前記撮影部によって撮影された画像より顔領域を検出し、前記利用者選択部によって選択された利用者に関する顔の特徴情報を前記蓄積部より抽出し、前記蓄積部より抽出された顔の特徴情報と合致する顔領域に対して、人物の覚醒度を監視することを特徴とする、請求項２記載のテレビ会議システム。
【請求項７】
前記制御部は、前記監視部が前記送信予定の画像信号よりあらかじめ定められた閾値以下の覚醒度の人物を検出したとき、少なくとも前記通信部からの当該画像信号の送信を停止するよう制御することを特徴とする、請求項１記載のテレビ会議システム。
【請求項８】
前記通信部からの画像信号の送信停止に加えて、前記通信部からの音声信号の送信も停止することを特徴とする、請求項１記載のテレビ会議システム。
【請求項９】
前記制御部は、前記監視部が前記送信予定の画像信号よりあらかじめ定められた閾値以下の覚醒度の人物を検出したとき、前記画像信号および前記音声信号を互いに送受信する相手先に対して、少なくとも当該画像信号の送信を停止することを前記通信部を用いて通知することを特徴とする、請求項１記載のテレビ会議システム。
【請求項１０】
前記表示部は、前記画像信号および前記音声信号を互いに送受信する相手先より、当該画像信号の送信を停止することを通知されたとき、前記通信部で受信した前記画像信号の表示を消去することを特徴とする、請求項８記載のテレビ会議システム。
【請求項１１】
前記監視部が、前記送信予定の画像信号に含まれる人物の覚醒度が、あらかじめ定められた閾値を上回ったことを検出したとき、前記制御部は、当該画像信号が相手先の表示部に表示されるよう制御することを特徴とする、請求項１記載のテレビ会議システム。
【請求項１２】
前記テレビ会議システムを操作する操作部を更に備え、前記画像信号が相手先の表示部に表示されないよう前記制御部によって制御されている際、前記操作部の操作により前記画像信号が相手先の表示部に表示されるよう制御部の制御を変更できることを特徴とする、請求項１記載のテレビ会議システム。
【請求項１３】
前記監視部が前記送信予定の画像信号よりあらかじめ定められた閾値以下の覚醒度の人物を検出したとき、前記音声出力部は警告音を出力することを特徴とする、請求項１記載のテレビ会議システム。
【請求項１４】
前記監視部にて得られる被写体の覚醒度に基づき、前記送信予定の画像信号が相手先の表示部に表示されないよう制御されている際、テレビ会議システムを省電力モードに移行させることを特徴とする、請求項１記載のテレビ会議システム。
【請求項１５】
経過時間を計測するタイマーを更に備え、前記監視部によって前記送信予定の画像信号よりあらかじめ定められた閾値以下の覚醒度の人物が一定時間検出され続けた場合、相手先との通信を終了することを特徴とする、請求項１記載のテレビ会議システム。
【請求項１６】
相手先との通信を終了した後、テレビ会議システムを省電力モードまたは電源オフの状態に移行させることを特徴とする、請求項１５記載のテレビ会議システム。
【請求項１７】
前記画像信号および前記音声信号を互いに送受信する相手先を選択可能な選択部を更に備えることを特徴とする、請求項１記載のテレビ会議システム。
【請求項１８】
通信手段を介して画像信号および音声信号を送受信する通信ステップと、
前記画像信号および前記音声信号を互いに送受信する相手先を選択可能な選択ステップと、
前記画像信号を生成する撮影ステップと、
前記音声信号を生成する音声入力ステップと、
前記画像信号に基づく画像を表示する表示ステップと、
前記音声信号に基づく音声を出力する音声出力ステップと、
送信予定の画像信号に含まれる被写体の覚醒度を監視する監視ステップと、
前記監視部にて得られる被写体の覚醒度に基づき、当該画像信号が相手先の表示部に表示されるかどうかを制御する制御ステップ、
からなるテレビ会議方法。
【請求項１９】
請求項１８記載の通信制御方法を実現することを特徴とするプログラム。
【請求項２０】
請求項１９記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記録媒体。
【請求項１】
通信手段を介して画像信号および音声信号を送受信可能な通信部と、
前記画像信号を生成する撮影部と、
前記音声信号を生成する音声入力部と、
前記画像信号に基づく画像を表示する表示部と、
前記音声信号に基づく音声を出力する音声出力部と、
送信予定の画像信号に含まれる被写体の覚醒度を監視する監視部と、
前記画像信号および前記音声信号を送受信する相手先との通信を制御する制御部を備えたテレビ会議システムであって、
前記監視部で得られる被写体の覚醒度に基づき、前記送信予定の画像信号が相手先の表示部に表示されるかどうかを制御することを特徴とする、
テレビ会議システム。
【請求項２】
前記監視部は、前記撮影部によって撮影された画像より顔領域を検出し、前記検出した顔領域の画像に基づき、人物の覚醒度を監視することを特徴とする、請求項１記載のテレビ会議システム。
【請求項３】
前記監視部は、前記検出した顔領域の画像から目領域を検出し、前記検出した目の開閉状態に基づき人物の覚醒度を監視することを特徴とする、請求項２記載のテレビ会議システム。
【請求項４】
前記監視部は、前記撮影部によって撮影された画像より頭部領域を検出し、前記検出した頭部の俯き加減に基づき人物の覚醒度を監視することを特徴とする、請求項１記載のテレビ会議システム。
【請求項５】
前記監視部は、前記撮影部によって撮影された画像より人体領域を検出し、前記検出した人体の姿勢に基づき人物の覚醒度を監視することを特徴とする、請求項１記載のテレビ会議システム。
【請求項６】
前記テレビ会議システムの利用者を選択する利用者選択部と、
前記テレビ会議システムの利用者の顔の特徴情報を蓄積する蓄積部とを更に備え、
前記監視部は、前記撮影部によって撮影された画像より顔領域を検出し、前記利用者選択部によって選択された利用者に関する顔の特徴情報を前記蓄積部より抽出し、前記蓄積部より抽出された顔の特徴情報と合致する顔領域に対して、人物の覚醒度を監視することを特徴とする、請求項２記載のテレビ会議システム。
【請求項７】
前記制御部は、前記監視部が前記送信予定の画像信号よりあらかじめ定められた閾値以下の覚醒度の人物を検出したとき、少なくとも前記通信部からの当該画像信号の送信を停止するよう制御することを特徴とする、請求項１記載のテレビ会議システム。
【請求項８】
前記通信部からの画像信号の送信停止に加えて、前記通信部からの音声信号の送信も停止することを特徴とする、請求項１記載のテレビ会議システム。
【請求項９】
前記制御部は、前記監視部が前記送信予定の画像信号よりあらかじめ定められた閾値以下の覚醒度の人物を検出したとき、前記画像信号および前記音声信号を互いに送受信する相手先に対して、少なくとも当該画像信号の送信を停止することを前記通信部を用いて通知することを特徴とする、請求項１記載のテレビ会議システム。
【請求項１０】
前記表示部は、前記画像信号および前記音声信号を互いに送受信する相手先より、当該画像信号の送信を停止することを通知されたとき、前記通信部で受信した前記画像信号の表示を消去することを特徴とする、請求項８記載のテレビ会議システム。
【請求項１１】
前記監視部が、前記送信予定の画像信号に含まれる人物の覚醒度が、あらかじめ定められた閾値を上回ったことを検出したとき、前記制御部は、当該画像信号が相手先の表示部に表示されるよう制御することを特徴とする、請求項１記載のテレビ会議システム。
【請求項１２】
前記テレビ会議システムを操作する操作部を更に備え、前記画像信号が相手先の表示部に表示されないよう前記制御部によって制御されている際、前記操作部の操作により前記画像信号が相手先の表示部に表示されるよう制御部の制御を変更できることを特徴とする、請求項１記載のテレビ会議システム。
【請求項１３】
前記監視部が前記送信予定の画像信号よりあらかじめ定められた閾値以下の覚醒度の人物を検出したとき、前記音声出力部は警告音を出力することを特徴とする、請求項１記載のテレビ会議システム。
【請求項１４】
前記監視部にて得られる被写体の覚醒度に基づき、前記送信予定の画像信号が相手先の表示部に表示されないよう制御されている際、テレビ会議システムを省電力モードに移行させることを特徴とする、請求項１記載のテレビ会議システム。
【請求項１５】
経過時間を計測するタイマーを更に備え、前記監視部によって前記送信予定の画像信号よりあらかじめ定められた閾値以下の覚醒度の人物が一定時間検出され続けた場合、相手先との通信を終了することを特徴とする、請求項１記載のテレビ会議システム。
【請求項１６】
相手先との通信を終了した後、テレビ会議システムを省電力モードまたは電源オフの状態に移行させることを特徴とする、請求項１５記載のテレビ会議システム。
【請求項１７】
前記画像信号および前記音声信号を互いに送受信する相手先を選択可能な選択部を更に備えることを特徴とする、請求項１記載のテレビ会議システム。
【請求項１８】
通信手段を介して画像信号および音声信号を送受信する通信ステップと、
前記画像信号および前記音声信号を互いに送受信する相手先を選択可能な選択ステップと、
前記画像信号を生成する撮影ステップと、
前記音声信号を生成する音声入力ステップと、
前記画像信号に基づく画像を表示する表示ステップと、
前記音声信号に基づく音声を出力する音声出力ステップと、
送信予定の画像信号に含まれる被写体の覚醒度を監視する監視ステップと、
前記監視部にて得られる被写体の覚醒度に基づき、当該画像信号が相手先の表示部に表示されるかどうかを制御する制御ステップ、
からなるテレビ会議方法。
【請求項１９】
請求項１８記載の通信制御方法を実現することを特徴とするプログラム。
【請求項２０】
請求項１９記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１００１８５（Ｐ２０１２−１００１８５Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４８０６９（Ｐ２０１０−２４８０６９）
【出願日】平成２２年１１月５日（２０１０．１１．５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１１月５日（２０１０．１１．５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]