会議システムの端末装置、会議システム
【課題】会議における情報漏洩が生じる危険性が低減されるとともに、会議の相手方との間で円滑に会議を進めることができる会議システムの端末装置、会議システムを提供する。
【解決手段】自己の端末装置における会議の相手方の会議情報の出力を制限する指示情報の入力があった場合または音認識により出力を制限すべきと判定した場合に、相手方の会議情報の出力を制限するとともに、相手方にこの制限が行なわれたことを示すメッセージが送信され、相手方がこのことを知ることができるようにした。
【解決手段】自己の端末装置における会議の相手方の会議情報の出力を制限する指示情報の入力があった場合または音認識により出力を制限すべきと判定した場合に、相手方の会議情報の出力を制限するとともに、相手方にこの制限が行なわれたことを示すメッセージが送信され、相手方がこのことを知ることができるようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離的に離れた場所の間で出席者の画像、音声等を含めた会議情報の送受信を行なって会議を行う会議システムにおいて、情報漏洩を防止することができる端末装置および会議システムに関する。
【背景技術】
【０００２】
インターネット等の通信ネットワークを介して、距離的に離れた場所の間で会議を行う会議システムが普及している。
この会議システムにおいては、会議を行う出席者等の当事者の一方がいる会議室において、会議システムの端末装置を用いて会議の当事者などの会議室の画像および発言などの音声を撮影および収集し、それを電子データに変換して相手方の会議装置に送信し、相手方の会議室のテレビ画面等のディスプレイに表示およびスピーカにより音声出力して、実際の会議に近い状態で会議を行っている。
【０００３】
会議システムの端末装置としては、最近は小型軽量の携帯可能なものが普及してきており、会議を行うときに会議室や通常の部屋に持ち込んでセットするようにしていることが多い。
【０００４】
また、最近、企業において在宅勤務制度が導入されるようになってきているが、この場合には、社員の自宅と会社との間の打合せにも会議システムが用いられようになってきており、この状況から、会議システムを用いた会議の人数については、大人数から少人数の場合がありまたは相手方が一人の場合もある。
【０００５】
会議の部屋についても、企業内の業務を行なう居室とは別の独立した会議室ではなく、居室内の一画を仕切った会議室を使用したり、在宅勤務の場合には家庭内の一部屋などが用いられることも多く、会議の当事者以外の他人が突然部屋を覗き込んで声をかけたり、入ってくることが簡単に行なわれやすい環境になってきている。
【０００６】
その結果、会議の当事者以外の他人に、会議中の相手方の画像を見られたり、会話を聞かれたりすること等が生じることになり情報セキュリティ上の問題が生じる。
【０００７】
これに対して、従来においては他人が入ってきた場合に、会議の当事者が端末装置の操作により画像をオフにしたり音声を消したりして対処している。
【０００８】
しかしながら、このような対処は人の行為に依存するものであり、上記の状況が発生したときにいつも迅速に対応できるとは限らず、当事者が会議に集中していると対応できなかったり、対応が遅れたりして、結果として情報漏洩が生じる危険性がある。
【０００９】
情報通信における情報漏洩への従来の一般的な対策としては、例えば、ネットワークにおいてVPN(Virtual Private Network)等を用いたリモートアクセスを活用し、企業内のネットワークに接続されたサーバのデータにアクセスする方法が用いられている。VPNでは、データが認証や暗号化により厳重に保護および管理されるため、情報漏洩の危険性は低くなる。
【００１０】
またVPNでは、ネットワークを利用してデータの送受信を行うため、ネットワーク負荷の高い大容量のデータを取り扱う場合は、効率性の向上のため、データを端末装置に保存して作業を行うことがしばしば行われる。
このような場合には、作業が終わった後に、端末装置に保存したデータを消去する処置を行っていないと、何らかの原因でこのデータの情報漏洩が発生する可能性がある。
【００１１】
この問題に対処するため、企業によっては情報管理の安全性を重視して、外出中の社員や在宅勤務の社員等、社外にいる社員に対してシンクライアントシステムを導入することも一部行なわれている。
【００１２】
シンクライアントとは、社員が使用するコンピュータ（クライアント）には最低限の機能しか持たせず、アプリケーションやファイル等の資源をクライアント側でなくサーバ側で管理するシステムアーキテクチャである。
【００１３】
このシンクライアントシステムを用いると、クライアント側には基本的にはデータを保存しないので、情報漏洩の危険性は低くなる。
【００１４】
このように、情報漏洩への一般的な対策はとられているが、これらの対策は、上記のような、会議システムにおける会議の当事者以外の他人に、会議中の相手方の画像や会話の音声が漏れることについては、目的としておらず、防止できない。
【００１５】
また、従来の一般的な技術として、話者識別を用いて装置の操作を行なう技術が提案されている（例えば、特許文献１参照）。
【００１６】
特許文献１に記載の技術においては、装置に音声を入力し、その入力された音声からその音声が特定の使用者のものか否かの識別と、単語の識別を行なう。
【００１７】
そして識別結果にもとづいて、その入力された音声が特定の使用者のものである場合には、識別された単語からその使用者が希望するアプリケーションプログラムを特定し、その使用者固有のアプリケーションプログラム動作環境下でアプリケーションプログラムを実行する。
【００１８】
この技術を用いれば、他人が会議室や作業中の部屋に入ってきた場合に使用者が特定の単語の音声を発することにより、入力された音声から特定のアプリケーションプログラムを実行して、画面をオフにしたり、画面を切り替えたりすることができるので、他人に見せたくない画面を見られないようにすることができる。
【００１９】
しかしながら、この技術は使用者のキー操作の代わりに音声で入力するもので、人の行為に依存するということでは上記したような会議の当事者がキー操作により入力するものと変わりはなく、情報漏洩が生じる危険性があるという問題は依然として残る。
【００２０】
また、会議の当事者が端末装置の操作により、画像をオフにしたり音声を消したりして対処した場合には、会議が継続できず中断されることになるが、会議の相手方にはこの事情がわからず混乱を生じることがある。
【００２１】
なお、このような状況は上記のような会議室や通常の部屋において会議を行う場合に限らず、同様の機能を有する携帯電話端末を用いて２者間または３者以上の間の会話を行なう場合においても同様な課題が存在する。
【発明の概要】
【発明が解決しようとする課題】
【００２２】
このように、会議システムを利用した会議においては、会議の当事者以外の他人に、会議中の相手方の画像を見られたり音声を聞かれたりすること等が生じて、情報漏洩が生じる危険性があり、また会議の相手方に混乱を生じることが懸念されるが、本発明はこのような課題を解決するためのものである。
【課題を解決するための手段】
【００２３】
上記課題を解決するための手段である本発明の特徴は次の通りである。
【００２４】
本発明の会議システムの端末装置は、会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきか否かを判定する判定手段と、前記判定手段が制限を行なうべきと判定した場合に自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なう制限手段と、この制限手段による前記制限が行なわれた場合に、相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信する状態管理手段を有することを特徴とする。
【００２５】
本発明の会議システムの端末装置は、会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきか否かを判定する第１の判定手段と、前記制限の解除を行なう指示情報の入力を行なう入力手段と、前記指示情報にもとづき前記解除を行なうべきか否かを判定する第２の判定手段と、前記第１の判定手段が制限を行なうべきと判定した場合に自己の端末装置が行っている相手方の会議情報の出力に対して制限を行ない、前記第２の判定手段が前記解除を行なうべきと判定した場合に前記制限の解除を行なう制限手段と、前記制限手段による前記制限が行なわれた場合に相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信し、前記解除が行なわれた場合に相手方の端末装置に前記解除が行なわれたことを示すメッセージを送信する状態管理手段を有することを特徴とする。
【００２６】
本発明の会議システムの端末装置は更に、状態管理手段は、相手方の端末装置から相手方の端末装置において会議情報の出力に対する制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力することを特徴とする。
【００２７】
本発明の会議システムの端末装置は更に、状態管理手段は、相手方の端末装置から相手方の端末装置において前記制限の解除が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させることを特徴とする。
【００２８】
本発明の会議システムの端末装置は、会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、相手方の端末装置から、相手方の端末装置において会議情報の出力に対して制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力し、相手方の端末装置から前記制限の解除が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させる状態管理手段を有することを特徴とする。
【００２９】
本発明の会議システムの端末装置は更に、判定手段または第１の判定手段が、相手方の会議情報の出力に対して制限を行なう指示情報の操作入力にもとづき判定することを特徴とする。
【００３０】
本発明の会議システムの端末装置は更に、自己の端末装置近傍において生じた音を入力して分析を行い、この入力された音が相手方の会議情報を出力すべき音としてあらかじめ指定された音であるか否かを識別する音識別手段を有し、
前記判定手段または第１の判定手段が、前記音識別手段において前記入力された音が相手方の会議情報を出力すべき音としてあらかじめ指定された音でないと識別された場合に、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきと判定することを特徴とする。
【００３１】
本発明の会議システムの端末装置は更に、会議情報として少なくとも音声情報を含み相手方の会議情報の出力がスピーカによる音声の出力であって、前記制限手段による制限がスピーカの音量レベルを小さくするものであり、制限の解除時にはスピーカの音量レベルを制限前の時点の音量レベルに復帰することを特徴とする。
【００３２】
本発明の会議システムの端末装置は更に、会議情報として少なくとも画像情報を含み相手方の会議情報の出力がディスプレイによる表示であって、相手方の端末装置において制限が行なわれたことを示す情報が、会議情報の出力とともに前記ディスプレイにより表示されることを特徴とする。
【００３３】
本発明の会議システムは、端末装置間において会議情報の送受信を行ない、各端末装置は会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力するとともに、自己の会議情報を相手方の端末装置に送信する会議システムにおいて、各端末装置は、自己の端末装置において、相手方の会議情報の出力の制限を行なうべきとの判定があった場合に、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうとともに相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信し、前記制限の解除を指示すべきとの判定があった場合に前記制限の解除を行なうとともに相手方の端末装置に前記解除が行なわれたことを示すメッセージを送信するとともに、各端末装置は、相手方の端末装置から相手方の端末装置において会議情報の出力に対して制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力し、相手方の端末装置から前記制限の解除が行なわれたことを示すメッセージを受信したときに、前記相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させることを特徴とする。
【発明の効果】
【００３４】
本発明によれば、相手方の会議情報の出力に対して制限または制限の解除を行なうとともに、相手方の端末装置に制限または制限解除が行なわれたことを示すメッセージを送信し、相手方の端末装置においてこのことを知ることができるので、会議における情報漏洩が生じる危険性が低減されるとともに、会議の相手方との間で円滑に会議を進めることができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態の遠隔会議システムの構成例を示す図
【図２】本発明の実施形態の端末装置１００のハードウェア構成図
【図３】本発明の実施形態の端末装置１００の外観図
【図４】本発明の実施形態の端末装置１００の機能ブロック図
【図５】メッセージのデータ例を示す図
【図６】会議不可になったときのメッセージ受信側の表示画面の例を示す 図
【図７】会議可になったときのメッセージ受信側の表示画面例を示す図
【図８】話者の音響モデルのデータ構造の一例を示した図
【図９】騒音の音響モデルのデータ構造の一例を示した図
【図１０】話者の音響モデルのデータ構造の他の例を示した図
【図１１】騒音の音響モデルのデータ構造の他の例を示した図
【図１２】会議情報の出力処理に対して制限を行なう場合のフローチャート
【図１３】会議情報の出力処理に対する制限を解除する場合のフローチャート
【図１４】会議情報の出力処理の変更状態のメッセージを受信した場合のフローチャート
【発明を実施するための形態】
【００３６】
本発明の実施形態について説明する。
【００３７】
図１は本発明の実施形態の会議システムとして遠隔地との間で会議を行なう遠隔会議システムの構成例を示す図である。
【００３８】
図１において、１００は遠隔会議システムの端末装置であり、この端末装置１００がＬＡＮ２００、専用線３００、インターネット４００からなる通信ネットワーク９００を介して相互に接続されて、画像データ、音声データ等の送受信が行われる。
【００３９】
また、端末装置１００の一部は在宅勤務において用いるものであり、この場合には、インターネット４００に接続されネットワーク９００を介して他の端末装置１００に接続される。
【００４０】
ＬＡＮ２００は、企業の事業所や建物のようにローカルエリアにおいて構築されたネットワークであり、各ＬＡＮ２００はそのＬＡＮ２００が位置する地域Ａの専用線３００を介してその地域Ａ内の他のＬＡＮ２００と通信可能に接続されている。各専用線３００はインターネット４００を介して他の地域Ａの専用線４００と通信可能に接続されている。
【００４１】
例えば、地域Ａは日本またはアメリカのような単位に設定されており、ＬＡＮ２００は東京事業所、ニューヨーク事務所のような企業の事業所単位に設定されている。
【００４２】
また、在宅勤務の端末装置１００は在宅勤務者の自宅に設置されている。
【００４３】
各ＬＡＮ２００および各専用線３００にはルータ５００が設けられており、また、在宅勤務の端末装置１００はルータ５００を介してインターネット４００に接続されている。
【００４４】
このルータ５００により、各ＬＡＮ２００に接続された遠隔会議を行う端末装置１００間またはこれらと在宅勤務の端末装置１００間の画像データ、音声データ等の通信の最適な経路の選択が行われ、企業内の端末装置１００間またはこれらと在宅勤務の端末装置１００間の接続が行われる。
【００４５】
各専用線３００とインターネット４００との間にはゲートウェイ装置５５０が設けられている。
【００４６】
ゲートウェイ装置５５０は、プロトコルの異なるネットワークと接続するための通信機器であり、この図に示しているもの以外でも必要に応じて各ネットワーク間に設けられる。
【００４７】
図１において、６００は中継装置、７００は遠隔通信管理システム、８００はプログラム提供システムである。
【００４８】
中継装置６００はＬＡＮ２００ごとに設けられており、端末装置１００と他の端末装置１００とが接続されているときに画像データおよび音声データ等の会議情報を中継するものである．
また、中継装置は、端末装置１００の相手先である他の端末装置１００との間で画像データ等の会議情報の受信に遅延が生じた場合に、中継装置６００によって送信する画像データの画像の解像度を変更して情報量を低減してから、相手先の端末装置１００へ画像データを送信する。
【００４９】
これにより遅延を解消し会議と会議情報通信の同時性を確保する。
【００５０】
遠隔通信管理システム７００はインターネット４００に接続されており、遠隔通信管理用プログラムにもとづき、端末装置１００および中継装置６００を一元的に管理する。
【００５１】
例えば、遠隔通信管理システム７００は、端末装置１００および中継装置６００とやり取りを行ない、端末装置１００の登録管理、端末装置１００のＩＤ、ＩＰアドレスの管理、使用についての課金管理、各端末装置１００が通信可能な他の端末装置１００の通知、各端末装置１００の使用状態の把握、通信を行う場合に経由する中継装置６００の決定等を行なう。
【００５２】
そして必要に応じて各端末装置１００の状況（未接続，ログイン中，会議中など）を他の各端末装置１００に通知する．
プログラム提供システム８００はインターネット４００に接続されており、遠隔会議システムの各構成部において用いられる各種機能または各種手段を実現させるためのプログラムをハードデイスクに記憶し、遠隔会議システムの各構成部に送信するものである。
【００５３】
プログラム提供システム８００が記憶、送信するプログラムとしては、例えば、各端末装置１００において用いる会議装置用プログラム、中継装置６００において用いる中継装置用プログラム、遠隔通信管理システム７００において用いる遠隔通信管理用プログラムがある。
【００５４】
端末装置１００は、装置本体１１０、カメラ１３０、およびディスプレイ１４０から構成される。
【００５５】
在宅勤務者が在宅勤務の端末装置１００から通信ネットワーク９００を介して他の端末装置１００等と通信を行う場合、通信するデータを保護および管理するためにVPNにより接続を行う。
【００５６】
VPNは、通信データの暗号化や復号化を行うことにより、通信ネットワーク９００上に構築することができ、図１に示す実施形態では、ルータ５００の一機能あるいは在宅勤務の端末装置１００上で実行されるプログラム処理として実現することが可能である。
【００５７】
また、通信ネットワーク９００としてはインターネットを利用しているので、IPsec（Security Architecture for Internet Protocol） やPPTP（Point to Point Tunneling Protocol）等のプロトコルを使用して暗号化、認証を行い、専用線と同等の高いセキュリティをもつ通信路を確保することができる。
【００５８】
在宅勤務以外の端末装置１００についても同様に、ゲートウェイ装置５５０において在宅勤務の遠隔装置１００とのVPNを構築することができる。
【００５９】
ゲートウェイ装置は、ユーザ認証機能や機器認証機能を備えていてもよく、これらの機能を備えることで、在宅勤務者のみに接続が許可され、機器が設置されている場所の正当性を保証することができることから、さらにセキュリティを高めることができる。
【００６０】
なお、遠隔会議システムとして距離的に離れた場所間の会議の例を示しているが、会議には、距離的に離れている場合だけでなく、同じ建物内の会議室のように距離的に近い会議室の間、また、同じ部屋であっても肉声が聞こえないような場所間の会議を含む。すなわち会議とは直接対面して生のままで行なう会議ではなく、会議装置を介して行なう会議を意味する。また、会議とは複数の人の間のみでなく１人対１人で行なう打合せのような場合を含む。
【００６１】
会議情報については会議中の画像、音声について示しているが、少なくともこれらのひとつであればよい。例えば画像だけの場合には出席者の音声を
画像中に字幕としてあらわしてもよい。また会議情報には会議の場において当事者に提示される物（例えば商品見本）、配布される書類、および配布はされないがプロジェクター等の表示装置によりスクリーンに表示される画像等が含まれる。このように会議情報とは、直接対面して生のまま行なうとした場合の会議の場において出席者が把握できる情報を意味する。
【００６２】
図２は、本発明の実施形態の端末装置１００のハードウェア構成図である。
図２に示されているように、端末装置１００には、端末装置１００の全体の動作を制御して処理するＣＰＵ(Central Processing Unit)１１１、端末装置１００等の各種プログラムを記憶したＲＯＭ(Read Only Memory)１１２、端末装置１００の各種設定値の記憶を行なうとともにＣＰＵ１１１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１１３、ＣＰＵ１１１の制御にしたがってフラッシュメモリ１１５のデータの読み出し又は書き込みを行うＳＳＤ（Solid State Drive）１１４、フラッシュメモリ等の記録メディア１１６ａのデータの読み出し又は書き込みを行うメディアドライブ１１６、会議の相手方の端末装置１００の宛先を選択したり各種入力を行なう場合などに操作されるカーソル等の操作ボタン１１７、端末装置１００の電源をＯＮ／ＯＦＦする電源スイッチ１１８、会議情報のデータ通信をするためのネットワークＩ／Ｆ１１９を有している。
【００６３】
また端末装置１００には、会議の当事者などの会議室の画像を撮影し画像データを出力するカメラ１３０、カメラ１３０との間の接続を行うカメラＩＦ１２０、当事者などの人の音声および周囲の騒音等非音声音を含む音を収集して入力するマイク１２１、相手方の会議室の音を出力するスピーカ１２２、マイク１２１との間で音信号の入力および音データへの変換行なうとともに、スピーカ１２２との間で音データを音信号に変換して出力する音入出力Ｉ／Ｆ１２３、相手方の会議室の画像を映し出すディスプレイ１４０、およびディスプレイ１４０に画像データを出力するディスプレイＩ／Ｆ１２４を有している。
【００６４】
これらのうち、ディスプレイ１４０は外付けであり、カメラ１３０、マイク１２１、スピーカ１２２は端末装置１００の装置本体１１０に接続され一体的に収納される。
【００６５】
１２５は、これらのカメラ、マイク、スピーカ等として外付けのものを用いる場合にこれらを接続する外部機器接続Ｉ／Ｆである。
【００６６】
１２６は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスラインである。
【００６７】
なお、フラッシュメモリ１１５は、不揮発性メモリであればフラッシュメモリに限らず例えばＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）でもよい。
【００６８】
カメラ１３０は、被写体の画像を動画、または静止画として電子化する素子としてＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いており、ＵＳＢ規格のデータを出力する。なおＣＭＯＳに限らずＣＣＤを用いたものでもよい。
【００６９】
図３は、本発明の実施形態の端末装置１００の外観図である。
【００７０】
図３に示されているように、端末装置１００は、筐体１０２１、アーム１０７４、およびカメラハウジング１０７５を備えている。
【００７１】
筐体１０２１の前側壁１０２１ａの略全面には、メッシュ状の吸気孔１０２１ｅが形成されており、筐体１０２１の後側壁１０２１ｂの略全面には、吸気孔１０２１ｅと同様のメッシュ状の排気孔（図示せず〕が形成されている。これにより、筐体１０２１に内蔵された冷却ファンの駆動によって、前側壁１０２１ａの吸気孔１０２１ｅを介して端末装置１００の前方の外気を取り込み、後側壁１０２１ｂの排気孔を介して端末装置１００の後方へ排気することができる。
【００７２】
前側壁１０２１ａの中央部には、収音用孔１０２１ｆが形成され、内蔵型のマイク１２１によって音声および周囲の騒音等の非音声音を含む音を収集可能となっている。
【００７３】
また、筐体１０２１の上面左側には、操作パネル１０２２が形成されている。この操作パネル１０２２には操作ボタン１１７、および電源スイッチ１１８が設けられているとともに、内蔵型のスピーカ１２２からの出力音を通すためのメッシュ状の音声出力孔１０２２ｆが形成されている。
【００７４】
また、筐体１０２１の上面右側には、アーム１０７４およびカメラハウジング１０７５を収容するための凹部が収容部１０２１ｐとして形成されている。
【００７５】
アーム１０７４は、トルクヒンジ１０７３を介して筐体１０２１に取り付けられている。アーム１０７４は、アーム１０７４が筐体１０２１に対して、正面を０度として±１８０度のパン角θ１の範囲で、かつ９０度のチルト角θ２の範囲（概ね４５度の傾き時にクリック感が発生するようになっている）において、上下左右方向に回動可能に構成されている。
【００７６】
カメラハウジング１０７５には、内蔵型のカメラ１３０が設けられており、会議の当事者などの会議室等を撮影することができる。また、カメラハウジング１０７５には、トルクヒンジ１０７５ａが形成されている。
【００７７】
カメラハウジング１０７５は、トルクヒンジ１０７５ａを介して、アーム１０７４に取り付けられている。そして、カメラハウジング１０７５は、カメラハウジング１０７５がアーム１０７４に対して直線状となるようにした状態を０度とし、端末装置１００の前方側に概ね１００度、端末装置１００の後方側に概ね９０度のチルト角θ３の範囲において回動可能に構成されている。
【００７８】
筐体１０２１の側面下部には、外部機器接続Ｉ／Ｆ１２５に対応した接続口１０２１ｇが形成されており、外付けのカメラ、マイク、スピーカ等のケーブル端子をこの接続口１０２１ｇに接続する。
【００７９】
なお、１４０は、外付けのディスプレイ１４０である。
【００８０】
図４は、本実施形態における端末装置１００の機能ブロック図である。
端末装置１００は、送受信部１１、操作入力受付部１２、ログイン要求部１３、撮像部１４ａ、画像表示制御部１４ｂ、音入力部１５ａ、音出力部１５ｂ、最終絞込部１６、遅延検出部１７、記憶・読出処理部１８、および漏洩防止処理部１９を有している。
【００８１】
これらの各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ１１２に記憶されているプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能である。
【００８２】
また、端末装置１００は、図２に示されているＳＳＤ１１４によって読み出し又は書き込みを制御される記憶部１０００を有している。
【００８３】
端末装置１００の機能ブロック各部について説明する。
【００８４】
端末装置１００の送受信部１１は、図２に示されているネットワークＩ／Ｆ１１９によって実現され通信ネットワーク９００を介して他の端末装置１００、その他の装置又はシステムと各種データの送受信を行う。
【００８５】
操作入力受付部１２は、図２に示されている操作ボタン１１７によって実現され、利用者による各種入力を受け付ける。例えば、利用者が会議の相手方の端末装置１００を選択する場合に端末装置１００の操作用表示画面（図示せず）の画面上でその端末装置１００を選択し決定のボタンを押すと、その選択情報が入力される。
【００８６】
また、操作入力受付部１２は、自己の端末装置１００が行っている相手方の会議情報の出力に対して制限を行なう制限指示情報の入力、およびこの制限の解除指示情報の入力を受け付ける。これはいずれも会議の当事者が操作ボタン１１７の操作することによって行なう。
【００８７】
ログイン要求部１３は、図２に示されているＣＰＵ１１１からの命令によって実現され、送受信部１１から通信ネットワーク９００を介して遠隔通信管理システム７００に、ログインを要求する旨を示すログイン要求情報、及び端末装置１００の現時点のＩＰアドレスを送信する。
【００８８】
この送信は、図２に示されている電源スイッチ１１８をＯＮにして端末装置１００の電源が投入され端末装置１００が立ちあがると、自動的に行なわれるように設定されている。
【００８９】
撮像部１４ａは、図２に示されているカメラ１３０、及びカメラＩ／Ｆ１２０によって実現され、被写体である出席者などの会議室の画像を撮影して、この撮影して得た画像データを出力する。
【００９０】
画像表示制御部１４ｂは、図２に示されているディスプレイＩ／Ｆ１２４によって実現され、外付けのディスプレイ１４０に対して画像データを送信し表示するための制御を行う。
【００９１】
音入力部１５ａは、図２に示されているマイク１２１および音入出力Ｉ／Ｆ１２３によって実現され、端末装置１００近傍の音を収集して入力し、この音の音信号を音データに変換して出力する。収集する音には音声および非音声音が含まれる。
【００９２】
音出力部１５ｂは、図２に示されているスピーカ１２２、および音入出力Ｉ／Ｆ１２３によって実現され、音データに係る音信号を音に変換して出力する。
【００９３】
最終絞込部１６は、複数の中継装置６００から最終的に使用する１つの中継装置６００に絞り込む最終絞り込み処理を行うためのもので、計測部１６ａ、算出部１６ｂ、及び最終選択部１６ｃを有しており、図２に示されているＣＰＵ１１１からの命令によって、実現する。
【００９４】
このうちの計測部１６ａは、送受信部１１によって受信された後述の事前送信情報毎に、送受信部１１によって事前送信情報が受信される際の受信日時（ｍｓｅｃ単位）を計測する。
【００９５】
算出部１６ｂは、計測部１６ａによって受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間（ｍｓｅｃ単位）を算出する。
【００９６】
最終選択部１６ｃは、算出部１６ｂによって算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された中継装置６００を使用する中継装置６００として選択することで、最終的に１つの中継装置６００を選択する。
【００９７】
遅延検出部１７は、図２に示されているＣＰＵ１１１からの命令によって実現され、他の端末装置１００から中継装置６００を介して送られて来る画像データ又は音声データの遅延時間（ｍｓｅｃ単位）を検出する。
【００９８】
また、記憶・読出処理部１８は、図２に示すＳＳＤ１１４によって実行され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す処理を行う。
【００９９】
記憶部１０００には、端末装置１００を識別するための端末ＩＤ（Identification）およびパスワード、ならびに画像データおよび音データ等が記憶される。
【０１００】
なお、本実施形態の端末装置ＩＤおよび後述の中継装置ＩＤは、それぞれ端末装置１００および中継装置６００を一意に識別するために使われる言語、文字、記号、もしくは各種のマークまたはこれらの組み合わせ等の識別情報を示す。
【０１０１】
情報漏洩防止部１９は、自己の端末装置１００近傍において生じた音の分析を行い、この音があらかじめ指定された音でない場合、または会議の当事者により制限の指示情報が入力された場合には、自己の端末装置１００が行っている会議の相手方の画像表示および相手方の音出力等の会議情報の出力処理に対して制限を行なうとともに、相手方の端末装置１００に、この制限が行なわれたことを示すメッセージを送信し、また相手方の端末装置１００においてこの制限が行なわれたことを示すメッセージを受信したときに自己の端末装置１００においてその旨を表示するものである。
【０１０２】
情報漏洩防止部１９は、音識別部１９ａ、判定部１９ｂ、制限部１９ｃおよび状態管理部１９ｄを有している。
【０１０３】
音識別部１９ａは、音入力部１５ａのマイク１２１から入力された音の音響分析を行い、その音の特徴量を、あらかじめ備えた音響特徴を表現する音響モデルと照合して、あらかじめ指定した音であるか否か例えば会議の当事者等の話者の音声であるかを識別する。
【０１０４】
判定部１９ｂは入力された音が音識別部１９ａにより指定された音でないと識別された場合に、その入力された音が相手方の会議情報を出力すべき音でないと判定して、また会議の当事者により制限の指示情報が入力された場合にはその入力を受けて、自己の端末装置１００が行なっている画像表示および音声出力等の会議情報の出力に対して制限を行なうべきと判定する。
【０１０５】
また判定部１９ｂは、会議の当事者により制限解除の解除指示情報が入力された場合にはその入力を受けて、制限の解除を行なうべきと判定する。
【０１０６】
制限部１９ｃは、判定部１９ｂが会議情報の出力に対して制限を行なうべきと判定した場合には端末装置１００が行なっている画像表示および音声出力等の会議情報の出力処理に対して制限を及ぼして出力内容の変更を行なう。
【０１０７】
そして、制限部１９ｃは、判定部１９ｂが制限の解除を行なうべきと判定した場合にはその制限を解除する。
【０１０８】
状態管理部１９ｄは、自己の端末装置１００の出力処理の変更状態を会議の相手方の端末装置１００に通知するための管理、および会議の相手方の端末装置１００からその端末装置１００の出力処理の変更状態の通知があった場合に自己の端末装置１００においてその旨を表示する管理を行なう。
【０１０９】
この情報漏洩防止部１９において用いる音に対応する音響モデルのデータや各種データのデータ記憶は、記憶部１０００において行なわれる。
状態管理部１９ｄによる相手方の端末装置１００の出力処理変更の表示は画像表示制御部１４ｂの制御によってディスプレイ１４０において行なわれる。
【０１１０】
次に、まず判定部１９ｂ、制限部１９ｃおよび状態管理部１９ｃについて、具体的に説明する。音識別部１９ａについては後述する。
【０１１１】
判定部１９ｂは、入力された音が相手方の会議情報を出力すべき音でない場合には、自己の端末装置１００が行なっている相手方の会議情報の出力処理に対して制限を及ぼすべきと判定する。
【０１１２】
そして、これを受けて制限部１９ｃは、自己の端末装置１００が行なっている相手方の会議情報の出力処理に対して制限を及ぼすが、この制限として、制限部１９ｃは画像表示制御部１４ｂに対してディスプレイ１４０の画面オフへの移行等を指示し、音出力部１５ｂに対して制限前時点（現時点）の出力音量データを取得して記憶部１０００に記憶してから出力音量の最小化することを指示する。
【０１１３】
この画像表示制御部１４ｂに対する指示の処理は、端末装置１００がWindows（マイクロソフト社の登録商標）をOSとする場合、画面オフの入力処理は、キーボードやファンクションキーに割り当てられているので、これを利用して、対象となるキー信号（例えば、F3キー）の代替処理を行い、端末装置１００の処理に割り込み処理させることで実施できる。
また、音出力部１５ｂに対する指示の処理は、この処理はWindows（マイクロソフト社の登録商標）であれば，オーディオミキサAPIを使用して実行できる。なお、出力音量の最小化の最小値は０値としてもよい。
【０１１４】
また、音識別部１９ａの識別および判定部１９ｂの判定によることなく、会議の当事者が相手方の会議情報に制限を行なうべきと判定した場合には、当事者は、操作ボタン１１７を操作することによって操作入力受付部１２により、直接、制限の指示情報を入力する。
【０１１５】
この入力があった場合には、判定部１９ｂは、会議情報の出力に対して制限を行なうべきと判定し、入力された音が相手方の会議情報を出力すべき音でないと判定した場合と同じ処理を実行する。
【０１１６】
判定部１９ｂは、制限の必要がなくなった場合等に会議の当事者が行なう解除指示情報の操作入力があった場合には、その入力を受けて、制限の解除を行なうべきと判定する。解除指示情報の操作入力は操作ボタン１１７を操作することによって操作入力受付部１２により行なわれる。
【０１１７】
解除の操作入力はパスワードの入力により行なわれるが、この入力があった場合に判定部１９ｂは，この入力情報と予め設定されたパスワードとを比較し，一致した場合は、制限の解除を行なうべきと判定する。
【０１１８】
判定部１９ｂによる制限解除の判定があった場合には、制限部１９ｃは、画像表示制御部１４ｂに対して画面オンへの移行を指示する．
また制限部１９ｃは，記憶部１０００に記憶してあったスピーカ１２２の制限前時点の出力音量データを参照し，スピーカ１２２に対してこの音量データによる制限前の出力音量への音量復帰を指示する。
【０１１９】
状態管理部１９ｄは、自己の端末装置１００において制限部１９ｃによる画像オフおよび出力音量の最小化の指示が行なわれた場合には、会議の相手方の端末装置１００に対するこの制限が行なわれたことを示すメッセージを作成し、送受信部１１に相手方の端末装置１００への通知の指示を行なう。
【０１２０】
具体的には、状態管理部１９ｄは図５(Ａ)に示すようなRFC3921のXMPP IM (Extensible Messaging and Presence Protocol: Instant Messaging and Presence)に従うXML（Extensible Markup Language）ベースのメッセージを作成する。
【０１２１】
この場合において状態管理部１９ｄは，<presence>タグの属性”fromおよび”to”に自己の端末装置１００等の識別子と送信先端末装置１００の識別子をそれぞれ指定する。
【０１２２】
図５(Ａ)の例では、自己の端末装置１００等をＩＤ１とし送信先である相手方端末装置１００等の識別子をＩＤ４として指定している。
【０１２３】
<show>タグの値は会議中であることを示す”CHAT”を指定する。
【０１２４】
<status>タグの値には画面の状態を指定する。図５(Ａ)においては、”画面オフ“の状態を示す”DISPLAY_OFF”を指定する。
【０１２５】
状態管理部１９ｄはこのメッセージを送受信部１１に送ってメッセージの送信を指示する。これにより送受信部１１はXMPPでメッセージを送信する。
【０１２６】
自己の端末装置１００において制限部１９ｃによる制限が解除されて、画面オフから画面オンへの移行の指示、および音量復帰を指示があった場合には、状態管理部１９ｄは図５(Ｂ)に示すメッセージを作成し，画面オフ時と同様に送受信部１１にメッセージの送信を指示する。
【０１２７】
図５(Ｂ)に示すメッセージにおいては、<presence>タグの属性”fromおよび”to”には、図５(Ａ)の場合と同様に自己の端末装置１００の識別子ＩＤ１と、送信先の相手方端末装置１００等の識別子ID4を指定する。
【０１２８】
<show>タグの値についても図５(Ａ)の場合と同様に会議中であることを示す”CHAT”を指定する。
【０１２９】
<status>タグの値には、”画面オン“の状態を示す”DISPLAY_OＮ”を指定する。
【０１３０】
なお、<status>タグの値には”画面オフ“の状態を示す”DISPLAY_OFF”が指定されているが、この”画面オフ“は会議情報の出力処理に対して制限が行なわれていることを代表的に示したもので、これにはスピーカ１２２の出力音量の最小化の状態を示す内容も含まれている。
【０１３１】
出力処理の変更状態の通知のメッセージは送信先である相手方端末装置１００の送受信部１１で受信されるが、相手方の端末装置１００の状態管理部１９ｃは，送受信部１１から受け取ったメッセージを次のように解析する。
【０１３２】
まず<presence>タグの”from”属性”から送信元である会議の相手方の装置１００の識別子(本実施形態ではID1)を取得する．次に，<status>タグの値から画面状態を取得する。
【０１３３】
状態管理部１９ｄは取得した画面状態がDISPLAY_OFFであれば，相手の会議装置において会議情報の出力の制限が行なわれたと認識する。
【０１３４】
そして、相手側とは会議不可であることを示す表示を自己の画像表示制御部１４ｂに対して指示する。
【０１３５】
図６に会議不可になったときのメッセージ受信側の表示画面の例を示す。この図においては、会議情報である会議の相手方の画像とともに、具体的には相手方の画像に重ねて会議が一時的にできない状態を示すマークが表示されている。なお，画面右側のようにテキストでマークの意味を追加表示するようにしてもよい。
【０１３６】
状態管理部１９ｄは取得した画面状態がDISPLAY_ONであれば，相手の会議装置において会議情報の出力の制限の解除が行なわれたと認識し、図７に示すような会議可であることを示す画面の表示を自己の画像表示制御部１４ｂに対して指示する。すなわち、図７に示すように図６における上記のマークを終了させて非表示にし，マークの意味を追加表示している場合にはマークの意味を追加しているテキスト部分の表示を終了させて非表示にする。
【０１３７】
なお、この実施形態においては、会議を行っている端末装置１００間で直接、制限に関する情報のメッセージのやりとりをするようにしているが遠隔通信管理システム７００を経由するようにしてもよい。また制限状況を、端末装置１００間でのやりとりとは別に遠隔通信管理システム７００に伝えるようにしてもよい。
【０１３８】
次に音識別部１９ａについて、具体的に説明する。
【０１３９】
音識別部１９ａは、次のような機能を有している。
（１）音のアナログ信号をデジタル信号への変換処理
（２）音響分析処理
（３）区間検出処理
（４）音識別処理
各機能について説明する。
（１）音のアナログ信号をデジタル信号への変換
マイク１２１により収集された音のアナログ信号の入力を受け付け、このアナログ信号をADコンバータにより、例えば８kHz、１６ビットのデジタル信号に変換する。この変換処理は図２の音入出力Ｉ／Ｆ１２３において行なわれる。
なお、この音識別部１９ａによる変換処理は音識別のための処理であり内容としては音入力部１５ａの変換処理とは異なるが、音のアナログ信号をデジタル信号に変換するという点では音入力部１５ａの変換処理と同じではあるので、この変換処理を双方の目的に共通に使えるような処理内容にしている。
【０１４０】
したがって、これらの処理は別々に行なうようにしてもよい。
【０１４１】
（２）音響分析処理
（１）において変換された音のデジタル信号に対して音響分析処理を行う。
【０１４２】
この分析処理には、LPC（線形予測）分析等を用いることができる。LPC分析は、細かい周波数成分を信号から除去し、残った部分の強さと周波数の概要（包絡）を予測することで、このデジタル信号を分析する。
【０１４３】
デジタル信号は、時間と共に変化するため、この分析は一定時間の信号のかたまり、すなわちフレームに対して行われる。
【０１４４】
このLPC分析は、例えば、高域強調を一次差分、ハミング窓をかけて２５６点に切り出し、移動幅を１６ms、LPC分析次数を２０という条件で行われ、１０次元メルケプストラム係数、対数パワーの一次差分、対数パワーという特徴量をフレーム単位で求める。
【０１４５】
具体的には、このLPC分析では、まず、音波形データに高域強調フィルタをかけた後、窓関数をかける。この窓関数をかけることで、フレーム単位で切り出されたときに生じる不連続点の影響を小さくできる。
【０１４６】
フレーム単位で切り出された信号の予測誤差の自乗の和が最小になるように線形予測係数を求める。得られた予測誤差と線形予測係数から1〜10までのケプストラム係数を再帰計算により求める。
【０１４７】
メルケプストラム係数は、Oppenheim の漸化法によりケプストラムをメルケプストラムに変換することにより求める．補助的な特徴量である対数パワーは以上に述べた処理の過程で求めることができるので、対数パワーが得られるたびに対数パワーの時間的な一次差分も合わせて計算しておくようにする。
【０１４８】
なお、この音の分析は、ここに記載された方法に限られるものではなく、周波数（FFT）分析等の方法も用いることが可能である。
【０１４９】
（３）区間検出処理
また、ADコンバータにより変換された音のデジタル信号に対して音識別処理を行なう区間を決定する区間検出処理を行う。
【０１５０】
区間検出処理は、例えば、音対数パワーや一次の自己相関を観測、分析することにより区間の検出を行う。自己相関は、信号が時間シフトした信号とどの程度整合するかを測る尺度で、時間シフトの大きさの関数として表されるものである。
【０１５１】
区間が検出された場合は、検出された区間に対応する区間のメルケプストラム係数や対数パワー等の特徴量が音識別処理に送られる。検出されなかった場合は、音響分析処理と区間検出処理を繰り返し行なう。
【０１５２】
この区間検出処理を行うことにより、後述する識別処理の精度を高くすることができる。識別処理で用いるモデルの精度が十分に高い場合には、この区間検出処理を省略することも可能である。
【０１５３】
（４）音識別処理
音識別処理では、検出された区間の特徴量と音響特徴を表現する音響モデルとの照合を行う。例えば、音響モデルとして代表的なHMM(隠れマルコフモデル)を用いることができる。また、その他に、GMM（ガウス混合分布モデル）を用いることもできる。
【０１５４】
音識別部１９ａで使用される音響モデルとしては、会議の当事者である話者の音響モデルと周囲の騒音の音響モデルをあらかじめ備えている。
【０１５５】
図８は、音識別部１９ａで使用される話者の音響モデルのデータ構造の一例を示した図である。このデータ構造では、合計でn個のHMMがあり、異なるn人の話者に対応するHMMが番号と対応して記憶部１０００に記憶されている。これらのHMMは、この端末装置１００を通常使用する人に対応してモデル化されている。
【０１５６】
図９は、音識別部１９ａで使用される騒音の音響モデルのデータ構造を示した図である。このデータ構造では、合計でm個のHMMがあり、異なるm種類の騒音に対するHMMが番号と対応して記憶部１０００に記憶されている。これらの各HMMは、この端末装置１００を使用している部屋に人が入ったことがわかる特徴的な騒音例えばドアの開閉音等と、それ以外の騒音例えば端末装置１００の操作音等を、その種類を区別して記憶部１０００に記憶されている。
【０１５７】
これらの音響モデルのうち、会議の当事者である話者の音響モデルと、人が入ったことがわかる特徴的な騒音例えばドアの開閉音等以外の騒音の音響モデルが、相手方の会議情報を出力すべき音の音響モデルとしてあらかじめ指定されている。
【０１５８】
なお、各HMMは、話者の音声あるいは騒音の特徴量を統計的な出現確率に基づいて表現したものである。
【０１５９】
これらのHMMは、Baum-Welchのアルゴリズムを用いて事前に訓練しておくことが好ましい。訓練用データには、予め収集しておいた各話者の音声および各種の騒音の特徴量を用いることができる 。
【０１６０】
なお、Baum-Welchのアルゴリズムは、訓練データの尤度を最大にするようにパラメータを学習するためのアルゴリズムで、HMM初期モデルの再推定に使用されるものである。
【０１６１】
音識別部１９ａでは、検出された区間の特徴量と図８または図９に示すHMMとの照合を、L.Rabiner他、音声認識の基礎（下）、NTTアドバンステクノロジ株式会社、１９９５年（参考文献１）に詳述されているようなViterbiアルゴリズムにより行い、音響モデルまたは騒音モデルの各HMMに対する得点Siを算出する。
【０１６２】
ここで、iは、HMMに対する番号であり、i=S1、…、Sn、N1、…、Nmである。Viterbiアルゴリズムの代わりに、forwardアルゴリズムを用いることも可能である。Viterbiアルゴリズムは、あるモデルにおいて、最適な状態系列と、この経路上での尤度を求めるアルゴリズムである。
【０１６３】
そして算出した各得点Siを比較し、音響モデルまたは騒音モデルのうち最も高い得点をもつHMMの番号Iを次式により求める。
【０１６４】
【数１】
番号IをもつHMMの得点SIが次式の判定式から、しきい値TIより大きくなる場合は、有効な得点とする。
【０１６５】
【数２】
この実施形態では、モデルごとにしきい値が異なるようにしているが、これに限られるものではなく、すべてのモデルに対して同一のしきい値を用いたり、図５に示す話者HMMと図６に示す騒音HMM用の２つのしきい値を用いるなど、他のしきい値設定を用いてもよい。
【０１６６】
このようにして有効な得点をもつHMMの番号を判定するが、これにもとづき、音識別を次のように行なう。
【０１６７】
有効な得点をもつHMMの番号がSから始まっている場合は、使用している端末装置１００の当事者が発声したものとみなすことができる。
他方、有効な得点をもつHMMの番号がNから始まる場合で、部屋に人が入ったこと示す特徴的な騒音モデルである場合は、当事者以外の他人の入室があったものとみなすことができる。
【０１６８】
また、それ以外のNから始まるHMMが選択された場合は、単なる騒音であるとみなすことができる。
【０１６９】
図８および図９に示すどのHMMの得点も有効な得点でない場合は、この端末装置１００の当事者以外の他人が、この端末装置１００が設置されている部屋の中で発声したものとみなすことができる。
【０１７０】
図８および図９に示すHMMは、話者ごとあるいは騒音の種類ごとに記憶されるが、話者と騒音の２つの全結合（エルゴード的）HMMを用意し、各HMMの状態に話者の種類あるいは騒音の種類を割り当てて照合することも可能である。
【０１７１】
この場合にデータ記憶部４２に格納された話者HMM、騒音HMMの構造の例をそれぞれ図１０および図１１に示す。
【０１７２】
図１０では、合計でn個の状態をもつHMMであり、異なるn人の話者についての確率密度関数が状態と対応して格納されている。図１１では、合計でm個の状態があり、異なるm種類の騒音についての確率密度関数が状態に対応して格納されている。
【０１７３】
この確率密度関数から抽出された特徴量が出現する確率を求めることができる．なお，図示していないが，話者HMM,騒音HMMの状態jにおける遷移確率aSji(i=1,‥,n), aNji(i=1,‥,m)もHMMを構成するパラメータとしてデータ記憶部に格納されている．
上記のようなHMMを用いた識別処理においては、検出された区間の特徴量に対して図８および図９に示すHMMとの照合を、上記参考文献１に詳述されているようなViterbiアルゴリズムにより行い、各話者HMMに対する得点Ssと騒音HMMに対する得点Sbとを求め、次式によりしきい値よりも大きい場合は有効な得点とする。
【０１７４】
【数３】
【０１７５】
【数４】
ここで、Ts、Tbは、話者HMMの得点に対するしきい値と騒音HMMの得点に対するしきい値である。この実施形態では、HMM毎にしきい値が異なっているが、これに限ったものではなく、全てのモデルに対して同一のしきい値を用いることもできる。
【０１７６】
このようにして有効な得点をもつHMMの番号を判定するが、これにもとづき、話者識別を次のように行なう。
【０１７７】
有効な得点をもつHMMが話者HMMであった場合は、この端末装置１００を使用している者が発声したものとみなすことができる。
他方、有効な得点をもつHMMが騒音HMMであった場合は、上記参考文献１に詳述されているようなViterbiアルゴリズムによるトレースバック処理を行い、音声特徴量のフレームに対応する騒音HMMの状態系列を求める。
【０１７８】
そして、この系列から連続して最も長く滞留する状態番号を求め（例えば、状態系列が113333324であった場合、最も多い番号である状態番号3が求める番号となる）。この状態番号が入室を示す特徴的な状態番号に対応する場合は、入室があったものとみなすことができる。
【０１７９】
状態番号が入室を示す特徴的な状態番号に対応する番号以外の番号であった場合は、単なる騒音であるとみなすことができる。
HMMの得点がどちらも有効でない場合は、この端末装置１００を使用しない者が、この端末装置１００が設置されている部屋の中で発声したものとみなすことができる。
【０１８０】
本実施形態における話者識別部１９ａは、音響モデルとしてHMMを用いたが、他のモデルを用いることも可能である。
【０１８１】
例えば、数フレームからなる特徴量を相加平均した標準パターン、人工神経回路網や室井他、「継続時間制御状態遷移モデルを用いた単語音声認識」、電子情報通信学会論文誌J72-D-II、１１、pp.1769-1777（１９８９−１１）（参考文献２）に詳述されるようなDST(Duration-based State Transition：継続時間制御状態遷移)モデルを用いることも可能である。
【０１８２】
DSTモデルはHMMに比べると，話者が発声した音声パターンの時間構造を明示的に表現できるため，特定の話者の識別に特に効果的である。そのため、図１に示したようなシステム構成で、在宅勤務者一人だけ、または少数の話者を識別すればよいシステム環境では、DSTモデルをHMMの代わりに用いるとさらに精度良く話者の識別することができる。
【０１８３】
次に、端末装置１００が行なう処理について、フローチャートを参照して説明する。
図１２は、自己の端末装置１００において会議情報の出力処理に対して制限を行なう場合の流れを示すフローチャートであり、これを参照してこの場合の自己の端末装置１００における処理について説明する。
【０１８４】
情報漏洩防止部１９は、遠隔会議システムにより会議が行なわれているときにこの処理をステップ３０から開始する。
まず、ステップ３１において指示の操作入力があるかを判断し、入力があった場合には、ステップ３７において、判定部１９ｂが、その指示の入力が制限を行なう指示か否かを確認し、制限の指示情報である場合には制限を行なうべきと判定する。
【０１８５】
制限を行なうべきと判定した場合には、ステップ３８の制限処理に移って制限処理を行い、制限を行なうべきと判定しない場合には、ステップ３１に戻る。
【０１８６】
ステップ３１において、指示の入力がなかった場合にはステップ３２に移って音響分析処理を行なう。
【０１８７】
ステップ３２においては、音識別部１９ａがマイク１２１により収集された音のアナログ信号の入力を受け付ける。入力された音は、ADコンバータにより、例えば８kHz、１６ビットのデジタル信号に変換される。
【０１８８】
このデジタル信号への変換は、マイク１２１が音を収集している間継続して行なわれ、変換されたデジタル信号がバスライン１２６に出力される。
【０１８９】
ステップ３３において、上記の変換された音のデジタル信号に対して音識別部１９ａは音響分析処理を行う。この音響分析処理は、一定時間のデジタル信号のかたまりすなわちフレームに対して、音のデジタル信号が出力されている間継続して行なわれる。
【０１９０】
音響分析処理の分析結果としてメルケプストラム係数、対数パワー等の特徴量がバスライン１２６に出力される。
【０１９１】
ステップ３４において、上記の変換された音声のデジタル信号に対して音識別部１９ａは区間検出処理を行う。
【０１９２】
区間検出処理は、識別の対象となる区間の検出を行なうもので、音のデジタル信号が出力されている間継続して行なわれる。
【０１９３】
次に、ステップ３５において、音識別部１９ａはステップ３４における区間検出の有無を確認し、区間が検出された場合には、ステップ３６の音識別処理に移る。
【０１９４】
区間が検出されなかった場合はステップ３１へ戻る。
【０１９５】
区間が検出された場合にはステップ３６において、音識別部１９ａは音識別処理を行なう。この音識別処理においては、ステップ３４において検出された区間の音響分析処理の区間の特徴量と、記憶部１０００に記憶されている音響特徴を表現した音響モデルとの照合を行ない、指定された話者の音声か否かの識別を行なう。
【０１９６】
具体的には、会議の出席者等の当事者が発した音声か、また人の音声以外では人が部屋に入ったことによるドアの開閉音などの騒音かを識別する。
【０１９７】
ステップ３７においてこの音識別処理の識別結果にもとづいて、判定部１９ｂは会議情報の出力処理を制限すべきか否かの判定を行なう。
【０１９８】
音声については会議の出席者等の当事者が発した音声の場合以外には制限すべきと判定し、騒音の場合にはドアの開閉音の場合には他人が入室してきたものと考えられるので制限すべきと判定する。
【０１９９】
ステップ３７において制限すべきと判定された場合には、ステップ３８の制限処理に移る。
制限すべきと判定されなかった場合にはステップ３１へ戻る。
【０２００】
ステップ３８において、制限部１９ｂは画面表示制御部１４ｂに対して画面オフの指示を行い、ディスプレイ１４０の画面をオフにする。
【０２０１】
ステップ３９において、制限部１９ｃは音声出力部１５ｂに対して制限前時点（現時点）の出力音量データの記憶と音声出力音量の最小化を指示して実行させる。これによりスピーカ１２２の出力音量を最小化する。
【０２０２】
次にステップ４０において、状態管理部１９ｄは、自己の端末装置１００において会議情報の出力処理の制限が行なわれたことを示す図５（Ａ）に示すようなメッセージの作成処理を行なう。
【０２０３】
次にステップ４１において、ステップ４０において作成されたメッセージの送信処理を行なう。この送信処理は状態管理部１９ｄが送受信部１１にメッセージの送信を指示し、送受信部１１が送信処理をすることにより行なわれ、ステップ４２において終了する。
【０２０４】
なお、図１２のフローチャートにおいては、すでに会議情報の出力処理に対する制限を行ない継続中の場合については特に示されていないが、出力処理に対する制限の継続中でないことを、図１２のフローチャートの処理の開始の条件とするようにして、すでに制限を継続中の場合にはこの処理を開始しないようにすることができる。
【０２０５】
図１３は、自己の端末装置１００において行なった会議情報の出力処理に対する制限を解除する場合の流れを示すフローチャートであり、これを参照してこの場合の自己の端末装置１００における処理について説明する。
【０２０６】
情報漏洩防止部１９は、この処理をステップ５０から開始する。
まず、ステップ５１において指示の操作入力があるかを判断し、入力があった場合には、ステップ５２において、判定部１９ｂがその指示の入力が有効な解除の指示入力か否かを確認し、制限を解除すべきか否かの判定をする。
解除すべきと判定された場合には、ステップ５３以降の処理に移る。
制限すべきと判定されなかった場合にはステップ５１において解除の操作入力の有無の監視を継続する。
【０２０７】
ステップ５２において解除すべきと判定された場合には、ステップ５３において、制限部１９ｃは画面表示制御部１４ｂに対して画面オンの指示を行い、ディスプレイ１４０の画面をオンに復旧させる。
【０２０８】
次にステップ５４において、制限部１９ｃは音出力部１５ｂに対してスピーカ１２２の音出力の音量を制限前時点の出力音量に戻すことを指示して、スピーカ１２２の出力音量を復旧させる。
【０２０９】
次にステップ５５において、状態管理部１９ｄは、自己の端末装置１００において会議情報の出力処理の制限が解除されたことを示す図５（Ｂ）に示すようなメッセージの作成処理を行なう。
【０２１０】
次にステップ５６において、ステップ５５において作成されたメッセージの送信処理を行なう。この送信処理は状態管理部１９ｄが送受信部１１にメッセージの送信を指示し、送受信部１１が送信処理することにより行なわれ、ステップ５６において終了する。
【０２１１】
図１４は、会議の相手方の端末装置１００から会議情報の出力処理の変更状態のメッセージを受信した場合の流れを示すフローチャートであり、これを参照してこの場合の会議の相手方である受信側の端末装置１００における処理について説明する。
【０２１２】
この処理はステップ６０から開始され、受信側の端末装置１００はステップ６１において、メッセージの受信処理を行なう。
【０２１３】
このメッセージの受信処理は受信側の端末装置１００の送受信部１１で行なわれ、図１２のステップ４０において作成された図５（Ａ）に示すメッセージと、図１３のステップ５５において作成された図５（Ｂ）に示すメッセージが受信される。
【０２１４】
次に、ステップ６２において受信側の端末装置１００の状態管理部１９ｄは，送受信部１１から受け取ったメッセージの解析処理を行なう。
【０２１５】
すなわち、メッセージが図５（Ａ）に示すものである場合には画面状態が“DISPLAY_OFF”であるので、状態管理部１９ｄは送信側であるＩＤ１の端末装置１００においてディスプレイ１４０が画面オフに変更され、かつスピーカ１２２の音声出力音量が最小化されたことを認識する。
【０２１６】
また、メッセージが図５（Ｂ）に示すものである場合には画面状態が“DISPLAY_ON”であるので、状態管理部１９ｃは送信側の端末装置１００においてディスプレイ１４０が画面オンに復旧し、かつスピーカ１２２の音声出力音量が元の音量に復旧したことを認識する。
【０２１７】
次にステップ６３において、ステップ６２の解析処理の結果を確認し、結果が、送信側が画面オフかつ音声出力音量最小化の場合には、状態管理部１９ｄは図６に示すように送信元である会議の相手方の画像に重ねて会議が一時的にできない状況を示すマークの表示を、受信側である自己の画像表示制御部１４ｂに対して指示する。
【０２１８】
ステップ６３において、ステップ６２の解析処理の結果が送信側が画面オンに復帰かつ音声出力音量が復帰の場合には、状態管理部１９ｄは図７に示すように、図６における上記のマークの表示終了させて非表示にすることを、受信側である自己の画像表示制御部１４ｂに対して指示する。
【０２１９】
そして、ステップ６４またはステップ６５において、ステップ６３により指示された表示をディスプレイ１４０において行ない、ステップ６６において終了する。
【０２２０】
上記した実施形態においては、遠隔会議システムを使用して会議が行なわれているときに、遠隔会議システムの端末装置１００により会議の場所において収集される音の識別が行なわれ、指定された話者の音声かあるいは人が部屋に入ったことによるドアの開閉音か否かを識別される。
【０２２１】
そして、この識別結果にもとづき、指定された話者の音声以外の音声や人が部屋に入ったことによるドアの開閉音が識別された場合には。端末装置１００により自己の会議の場所において出力されている画面、音声等の会議情報の出力処理の制限処理が行なわれる。または会議の当事者により制限の指示情報が操作入力された場合にも同様な制限処理が行なわれる。
【０２２２】
この制限処理が行なわれるとともに、会議の相手方の端末装置１００に自己の端末装置１００において制限処理が行なわれたことを示すメッセージが送信され、相手方の会議装置１００により制限処理が行なわれたことが表示される。
【０２２３】
制限処理の解除は、端末装置１００に会議の当事者等の人が解除の操作入力をすることにより行なわれ、解除の入力があった場合には制限が解除されるとともに、会議の相手方の端末装置に自己の端末装置において制限処理が解除されたことを示すメッセージが送信され、相手方の会議装置１００により解除が行なわれたことが表示される。
【０２２４】
したがって、会議の当事者以外の他人が会議室に入ってきた場合の情報漏洩を低減することができ、会議の相手方にも、この理由で会議が一時的に中断していることがわかるので混乱を生じることなく円滑に会議を進めることができる。
【０２２５】
なお、出力処理の変更状態の通知のメッセージを送信先である相手方端末装置１００が受信した場合の出力処理は、ディスプレイ１４０において行なっているが、スピーカ１２２により行なってもよくまたこれらを併用してもよい。
また、別の出力装置例えばランプを別に設けてその点灯で行なってもよい。
【０２２６】
また、出力の制限は、状況に応じて音声と画面の別々でも良い。例えば画面が他人から見えにくいような位置にある場合には音声だけに制限を行なうようにしてもよい。
【０２２７】
なお、上記の実施形態は会議室や通常の部屋において会議を行う場合について行なったが、これに限らず、同様の機能を有する携帯電話端末を用いて２者間または３者以上間の会話を行なう場合も含むものであり、本発明の会議システムおよび端末装置にはこのような場合に用いられるシステムおよび携帯電話端末も含む。
【符号の説明】
【０２２８】
１００ 会議装置
１１０ 装置本体
１１１ ＣＰＵ
１１２ ＲＯＭ
１１３ ＲＡＭ
１１４ ＳＳＤ
１１５ フラッシュメモリ
１１６ メディアドライブ
１１６ａ 記録メディア
１１７ 操作ボタン
１１８ 電源スイッチ
１１９ ネットワークＩ／Ｆ
１２０ カメラＩＦ
１２１ マイク
１２２ スピーカ
１２３ 音声入出力Ｉ／Ｆ
１２４ ディスプレイＩ／Ｆ
１２５ 外部機器接続Ｉ／Ｆ
１２６ バスライン
１３０ カメラ
１４０ ディスプレイ
１０２１ 筐体
１０２１ｅ 吸気孔
１０２１ｆ 収音用孔
１０２１ｇ 接続口
１０２２ 操作パネル
１０７４ アーム
１０７５ カメラハウジング
２００ ＬＡＮ
３００ 専用線
４００ インターネット
Ａ 地域
５００ ルータ
６００ 中継装置
７００ 遠隔通信管理システム
８００ プログラム提供システム
９００ 通信ネットワーク
１１ 送受信部
１２ 操作入力受付部
１３ ログイン要求部
１４ａ 撮像部
１４ｂ 画像表示制御部
１５ａ 音声入力部
１５ｂ 音声出力部
１６ 最終絞込部
１６ａ 計測部
１６ｂ 算出部
１６ｃ 最終選択部
１７ 遅延検出部
１８ 記憶・読出処理部
１９ 漏洩防止処理部
１９ａ 話者識別部
１９ｂ 判定部
１９ｃ 制限部
１９ｄ 状態管理部
【先行技術文献】
【特許文献】
【０２２９】
【特許文献１】特開２０００−９９０７６号公報
【技術分野】
【０００１】
本発明は、距離的に離れた場所の間で出席者の画像、音声等を含めた会議情報の送受信を行なって会議を行う会議システムにおいて、情報漏洩を防止することができる端末装置および会議システムに関する。
【背景技術】
【０００２】
インターネット等の通信ネットワークを介して、距離的に離れた場所の間で会議を行う会議システムが普及している。
この会議システムにおいては、会議を行う出席者等の当事者の一方がいる会議室において、会議システムの端末装置を用いて会議の当事者などの会議室の画像および発言などの音声を撮影および収集し、それを電子データに変換して相手方の会議装置に送信し、相手方の会議室のテレビ画面等のディスプレイに表示およびスピーカにより音声出力して、実際の会議に近い状態で会議を行っている。
【０００３】
会議システムの端末装置としては、最近は小型軽量の携帯可能なものが普及してきており、会議を行うときに会議室や通常の部屋に持ち込んでセットするようにしていることが多い。
【０００４】
また、最近、企業において在宅勤務制度が導入されるようになってきているが、この場合には、社員の自宅と会社との間の打合せにも会議システムが用いられようになってきており、この状況から、会議システムを用いた会議の人数については、大人数から少人数の場合がありまたは相手方が一人の場合もある。
【０００５】
会議の部屋についても、企業内の業務を行なう居室とは別の独立した会議室ではなく、居室内の一画を仕切った会議室を使用したり、在宅勤務の場合には家庭内の一部屋などが用いられることも多く、会議の当事者以外の他人が突然部屋を覗き込んで声をかけたり、入ってくることが簡単に行なわれやすい環境になってきている。
【０００６】
その結果、会議の当事者以外の他人に、会議中の相手方の画像を見られたり、会話を聞かれたりすること等が生じることになり情報セキュリティ上の問題が生じる。
【０００７】
これに対して、従来においては他人が入ってきた場合に、会議の当事者が端末装置の操作により画像をオフにしたり音声を消したりして対処している。
【０００８】
しかしながら、このような対処は人の行為に依存するものであり、上記の状況が発生したときにいつも迅速に対応できるとは限らず、当事者が会議に集中していると対応できなかったり、対応が遅れたりして、結果として情報漏洩が生じる危険性がある。
【０００９】
情報通信における情報漏洩への従来の一般的な対策としては、例えば、ネットワークにおいてVPN(Virtual Private Network)等を用いたリモートアクセスを活用し、企業内のネットワークに接続されたサーバのデータにアクセスする方法が用いられている。VPNでは、データが認証や暗号化により厳重に保護および管理されるため、情報漏洩の危険性は低くなる。
【００１０】
またVPNでは、ネットワークを利用してデータの送受信を行うため、ネットワーク負荷の高い大容量のデータを取り扱う場合は、効率性の向上のため、データを端末装置に保存して作業を行うことがしばしば行われる。
このような場合には、作業が終わった後に、端末装置に保存したデータを消去する処置を行っていないと、何らかの原因でこのデータの情報漏洩が発生する可能性がある。
【００１１】
この問題に対処するため、企業によっては情報管理の安全性を重視して、外出中の社員や在宅勤務の社員等、社外にいる社員に対してシンクライアントシステムを導入することも一部行なわれている。
【００１２】
シンクライアントとは、社員が使用するコンピュータ（クライアント）には最低限の機能しか持たせず、アプリケーションやファイル等の資源をクライアント側でなくサーバ側で管理するシステムアーキテクチャである。
【００１３】
このシンクライアントシステムを用いると、クライアント側には基本的にはデータを保存しないので、情報漏洩の危険性は低くなる。
【００１４】
このように、情報漏洩への一般的な対策はとられているが、これらの対策は、上記のような、会議システムにおける会議の当事者以外の他人に、会議中の相手方の画像や会話の音声が漏れることについては、目的としておらず、防止できない。
【００１５】
また、従来の一般的な技術として、話者識別を用いて装置の操作を行なう技術が提案されている（例えば、特許文献１参照）。
【００１６】
特許文献１に記載の技術においては、装置に音声を入力し、その入力された音声からその音声が特定の使用者のものか否かの識別と、単語の識別を行なう。
【００１７】
そして識別結果にもとづいて、その入力された音声が特定の使用者のものである場合には、識別された単語からその使用者が希望するアプリケーションプログラムを特定し、その使用者固有のアプリケーションプログラム動作環境下でアプリケーションプログラムを実行する。
【００１８】
この技術を用いれば、他人が会議室や作業中の部屋に入ってきた場合に使用者が特定の単語の音声を発することにより、入力された音声から特定のアプリケーションプログラムを実行して、画面をオフにしたり、画面を切り替えたりすることができるので、他人に見せたくない画面を見られないようにすることができる。
【００１９】
しかしながら、この技術は使用者のキー操作の代わりに音声で入力するもので、人の行為に依存するということでは上記したような会議の当事者がキー操作により入力するものと変わりはなく、情報漏洩が生じる危険性があるという問題は依然として残る。
【００２０】
また、会議の当事者が端末装置の操作により、画像をオフにしたり音声を消したりして対処した場合には、会議が継続できず中断されることになるが、会議の相手方にはこの事情がわからず混乱を生じることがある。
【００２１】
なお、このような状況は上記のような会議室や通常の部屋において会議を行う場合に限らず、同様の機能を有する携帯電話端末を用いて２者間または３者以上の間の会話を行なう場合においても同様な課題が存在する。
【発明の概要】
【発明が解決しようとする課題】
【００２２】
このように、会議システムを利用した会議においては、会議の当事者以外の他人に、会議中の相手方の画像を見られたり音声を聞かれたりすること等が生じて、情報漏洩が生じる危険性があり、また会議の相手方に混乱を生じることが懸念されるが、本発明はこのような課題を解決するためのものである。
【課題を解決するための手段】
【００２３】
上記課題を解決するための手段である本発明の特徴は次の通りである。
【００２４】
本発明の会議システムの端末装置は、会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきか否かを判定する判定手段と、前記判定手段が制限を行なうべきと判定した場合に自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なう制限手段と、この制限手段による前記制限が行なわれた場合に、相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信する状態管理手段を有することを特徴とする。
【００２５】
本発明の会議システムの端末装置は、会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきか否かを判定する第１の判定手段と、前記制限の解除を行なう指示情報の入力を行なう入力手段と、前記指示情報にもとづき前記解除を行なうべきか否かを判定する第２の判定手段と、前記第１の判定手段が制限を行なうべきと判定した場合に自己の端末装置が行っている相手方の会議情報の出力に対して制限を行ない、前記第２の判定手段が前記解除を行なうべきと判定した場合に前記制限の解除を行なう制限手段と、前記制限手段による前記制限が行なわれた場合に相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信し、前記解除が行なわれた場合に相手方の端末装置に前記解除が行なわれたことを示すメッセージを送信する状態管理手段を有することを特徴とする。
【００２６】
本発明の会議システムの端末装置は更に、状態管理手段は、相手方の端末装置から相手方の端末装置において会議情報の出力に対する制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力することを特徴とする。
【００２７】
本発明の会議システムの端末装置は更に、状態管理手段は、相手方の端末装置から相手方の端末装置において前記制限の解除が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させることを特徴とする。
【００２８】
本発明の会議システムの端末装置は、会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、相手方の端末装置から、相手方の端末装置において会議情報の出力に対して制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力し、相手方の端末装置から前記制限の解除が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させる状態管理手段を有することを特徴とする。
【００２９】
本発明の会議システムの端末装置は更に、判定手段または第１の判定手段が、相手方の会議情報の出力に対して制限を行なう指示情報の操作入力にもとづき判定することを特徴とする。
【００３０】
本発明の会議システムの端末装置は更に、自己の端末装置近傍において生じた音を入力して分析を行い、この入力された音が相手方の会議情報を出力すべき音としてあらかじめ指定された音であるか否かを識別する音識別手段を有し、
前記判定手段または第１の判定手段が、前記音識別手段において前記入力された音が相手方の会議情報を出力すべき音としてあらかじめ指定された音でないと識別された場合に、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきと判定することを特徴とする。
【００３１】
本発明の会議システムの端末装置は更に、会議情報として少なくとも音声情報を含み相手方の会議情報の出力がスピーカによる音声の出力であって、前記制限手段による制限がスピーカの音量レベルを小さくするものであり、制限の解除時にはスピーカの音量レベルを制限前の時点の音量レベルに復帰することを特徴とする。
【００３２】
本発明の会議システムの端末装置は更に、会議情報として少なくとも画像情報を含み相手方の会議情報の出力がディスプレイによる表示であって、相手方の端末装置において制限が行なわれたことを示す情報が、会議情報の出力とともに前記ディスプレイにより表示されることを特徴とする。
【００３３】
本発明の会議システムは、端末装置間において会議情報の送受信を行ない、各端末装置は会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力するとともに、自己の会議情報を相手方の端末装置に送信する会議システムにおいて、各端末装置は、自己の端末装置において、相手方の会議情報の出力の制限を行なうべきとの判定があった場合に、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうとともに相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信し、前記制限の解除を指示すべきとの判定があった場合に前記制限の解除を行なうとともに相手方の端末装置に前記解除が行なわれたことを示すメッセージを送信するとともに、各端末装置は、相手方の端末装置から相手方の端末装置において会議情報の出力に対して制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力し、相手方の端末装置から前記制限の解除が行なわれたことを示すメッセージを受信したときに、前記相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させることを特徴とする。
【発明の効果】
【００３４】
本発明によれば、相手方の会議情報の出力に対して制限または制限の解除を行なうとともに、相手方の端末装置に制限または制限解除が行なわれたことを示すメッセージを送信し、相手方の端末装置においてこのことを知ることができるので、会議における情報漏洩が生じる危険性が低減されるとともに、会議の相手方との間で円滑に会議を進めることができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態の遠隔会議システムの構成例を示す図
【図２】本発明の実施形態の端末装置１００のハードウェア構成図
【図３】本発明の実施形態の端末装置１００の外観図
【図４】本発明の実施形態の端末装置１００の機能ブロック図
【図５】メッセージのデータ例を示す図
【図６】会議不可になったときのメッセージ受信側の表示画面の例を示す 図
【図７】会議可になったときのメッセージ受信側の表示画面例を示す図
【図８】話者の音響モデルのデータ構造の一例を示した図
【図９】騒音の音響モデルのデータ構造の一例を示した図
【図１０】話者の音響モデルのデータ構造の他の例を示した図
【図１１】騒音の音響モデルのデータ構造の他の例を示した図
【図１２】会議情報の出力処理に対して制限を行なう場合のフローチャート
【図１３】会議情報の出力処理に対する制限を解除する場合のフローチャート
【図１４】会議情報の出力処理の変更状態のメッセージを受信した場合のフローチャート
【発明を実施するための形態】
【００３６】
本発明の実施形態について説明する。
【００３７】
図１は本発明の実施形態の会議システムとして遠隔地との間で会議を行なう遠隔会議システムの構成例を示す図である。
【００３８】
図１において、１００は遠隔会議システムの端末装置であり、この端末装置１００がＬＡＮ２００、専用線３００、インターネット４００からなる通信ネットワーク９００を介して相互に接続されて、画像データ、音声データ等の送受信が行われる。
【００３９】
また、端末装置１００の一部は在宅勤務において用いるものであり、この場合には、インターネット４００に接続されネットワーク９００を介して他の端末装置１００に接続される。
【００４０】
ＬＡＮ２００は、企業の事業所や建物のようにローカルエリアにおいて構築されたネットワークであり、各ＬＡＮ２００はそのＬＡＮ２００が位置する地域Ａの専用線３００を介してその地域Ａ内の他のＬＡＮ２００と通信可能に接続されている。各専用線３００はインターネット４００を介して他の地域Ａの専用線４００と通信可能に接続されている。
【００４１】
例えば、地域Ａは日本またはアメリカのような単位に設定されており、ＬＡＮ２００は東京事業所、ニューヨーク事務所のような企業の事業所単位に設定されている。
【００４２】
また、在宅勤務の端末装置１００は在宅勤務者の自宅に設置されている。
【００４３】
各ＬＡＮ２００および各専用線３００にはルータ５００が設けられており、また、在宅勤務の端末装置１００はルータ５００を介してインターネット４００に接続されている。
【００４４】
このルータ５００により、各ＬＡＮ２００に接続された遠隔会議を行う端末装置１００間またはこれらと在宅勤務の端末装置１００間の画像データ、音声データ等の通信の最適な経路の選択が行われ、企業内の端末装置１００間またはこれらと在宅勤務の端末装置１００間の接続が行われる。
【００４５】
各専用線３００とインターネット４００との間にはゲートウェイ装置５５０が設けられている。
【００４６】
ゲートウェイ装置５５０は、プロトコルの異なるネットワークと接続するための通信機器であり、この図に示しているもの以外でも必要に応じて各ネットワーク間に設けられる。
【００４７】
図１において、６００は中継装置、７００は遠隔通信管理システム、８００はプログラム提供システムである。
【００４８】
中継装置６００はＬＡＮ２００ごとに設けられており、端末装置１００と他の端末装置１００とが接続されているときに画像データおよび音声データ等の会議情報を中継するものである．
また、中継装置は、端末装置１００の相手先である他の端末装置１００との間で画像データ等の会議情報の受信に遅延が生じた場合に、中継装置６００によって送信する画像データの画像の解像度を変更して情報量を低減してから、相手先の端末装置１００へ画像データを送信する。
【００４９】
これにより遅延を解消し会議と会議情報通信の同時性を確保する。
【００５０】
遠隔通信管理システム７００はインターネット４００に接続されており、遠隔通信管理用プログラムにもとづき、端末装置１００および中継装置６００を一元的に管理する。
【００５１】
例えば、遠隔通信管理システム７００は、端末装置１００および中継装置６００とやり取りを行ない、端末装置１００の登録管理、端末装置１００のＩＤ、ＩＰアドレスの管理、使用についての課金管理、各端末装置１００が通信可能な他の端末装置１００の通知、各端末装置１００の使用状態の把握、通信を行う場合に経由する中継装置６００の決定等を行なう。
【００５２】
そして必要に応じて各端末装置１００の状況（未接続，ログイン中，会議中など）を他の各端末装置１００に通知する．
プログラム提供システム８００はインターネット４００に接続されており、遠隔会議システムの各構成部において用いられる各種機能または各種手段を実現させるためのプログラムをハードデイスクに記憶し、遠隔会議システムの各構成部に送信するものである。
【００５３】
プログラム提供システム８００が記憶、送信するプログラムとしては、例えば、各端末装置１００において用いる会議装置用プログラム、中継装置６００において用いる中継装置用プログラム、遠隔通信管理システム７００において用いる遠隔通信管理用プログラムがある。
【００５４】
端末装置１００は、装置本体１１０、カメラ１３０、およびディスプレイ１４０から構成される。
【００５５】
在宅勤務者が在宅勤務の端末装置１００から通信ネットワーク９００を介して他の端末装置１００等と通信を行う場合、通信するデータを保護および管理するためにVPNにより接続を行う。
【００５６】
VPNは、通信データの暗号化や復号化を行うことにより、通信ネットワーク９００上に構築することができ、図１に示す実施形態では、ルータ５００の一機能あるいは在宅勤務の端末装置１００上で実行されるプログラム処理として実現することが可能である。
【００５７】
また、通信ネットワーク９００としてはインターネットを利用しているので、IPsec（Security Architecture for Internet Protocol） やPPTP（Point to Point Tunneling Protocol）等のプロトコルを使用して暗号化、認証を行い、専用線と同等の高いセキュリティをもつ通信路を確保することができる。
【００５８】
在宅勤務以外の端末装置１００についても同様に、ゲートウェイ装置５５０において在宅勤務の遠隔装置１００とのVPNを構築することができる。
【００５９】
ゲートウェイ装置は、ユーザ認証機能や機器認証機能を備えていてもよく、これらの機能を備えることで、在宅勤務者のみに接続が許可され、機器が設置されている場所の正当性を保証することができることから、さらにセキュリティを高めることができる。
【００６０】
なお、遠隔会議システムとして距離的に離れた場所間の会議の例を示しているが、会議には、距離的に離れている場合だけでなく、同じ建物内の会議室のように距離的に近い会議室の間、また、同じ部屋であっても肉声が聞こえないような場所間の会議を含む。すなわち会議とは直接対面して生のままで行なう会議ではなく、会議装置を介して行なう会議を意味する。また、会議とは複数の人の間のみでなく１人対１人で行なう打合せのような場合を含む。
【００６１】
会議情報については会議中の画像、音声について示しているが、少なくともこれらのひとつであればよい。例えば画像だけの場合には出席者の音声を
画像中に字幕としてあらわしてもよい。また会議情報には会議の場において当事者に提示される物（例えば商品見本）、配布される書類、および配布はされないがプロジェクター等の表示装置によりスクリーンに表示される画像等が含まれる。このように会議情報とは、直接対面して生のまま行なうとした場合の会議の場において出席者が把握できる情報を意味する。
【００６２】
図２は、本発明の実施形態の端末装置１００のハードウェア構成図である。
図２に示されているように、端末装置１００には、端末装置１００の全体の動作を制御して処理するＣＰＵ(Central Processing Unit)１１１、端末装置１００等の各種プログラムを記憶したＲＯＭ(Read Only Memory)１１２、端末装置１００の各種設定値の記憶を行なうとともにＣＰＵ１１１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１１３、ＣＰＵ１１１の制御にしたがってフラッシュメモリ１１５のデータの読み出し又は書き込みを行うＳＳＤ（Solid State Drive）１１４、フラッシュメモリ等の記録メディア１１６ａのデータの読み出し又は書き込みを行うメディアドライブ１１６、会議の相手方の端末装置１００の宛先を選択したり各種入力を行なう場合などに操作されるカーソル等の操作ボタン１１７、端末装置１００の電源をＯＮ／ＯＦＦする電源スイッチ１１８、会議情報のデータ通信をするためのネットワークＩ／Ｆ１１９を有している。
【００６３】
また端末装置１００には、会議の当事者などの会議室の画像を撮影し画像データを出力するカメラ１３０、カメラ１３０との間の接続を行うカメラＩＦ１２０、当事者などの人の音声および周囲の騒音等非音声音を含む音を収集して入力するマイク１２１、相手方の会議室の音を出力するスピーカ１２２、マイク１２１との間で音信号の入力および音データへの変換行なうとともに、スピーカ１２２との間で音データを音信号に変換して出力する音入出力Ｉ／Ｆ１２３、相手方の会議室の画像を映し出すディスプレイ１４０、およびディスプレイ１４０に画像データを出力するディスプレイＩ／Ｆ１２４を有している。
【００６４】
これらのうち、ディスプレイ１４０は外付けであり、カメラ１３０、マイク１２１、スピーカ１２２は端末装置１００の装置本体１１０に接続され一体的に収納される。
【００６５】
１２５は、これらのカメラ、マイク、スピーカ等として外付けのものを用いる場合にこれらを接続する外部機器接続Ｉ／Ｆである。
【００６６】
１２６は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスラインである。
【００６７】
なお、フラッシュメモリ１１５は、不揮発性メモリであればフラッシュメモリに限らず例えばＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）でもよい。
【００６８】
カメラ１３０は、被写体の画像を動画、または静止画として電子化する素子としてＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いており、ＵＳＢ規格のデータを出力する。なおＣＭＯＳに限らずＣＣＤを用いたものでもよい。
【００６９】
図３は、本発明の実施形態の端末装置１００の外観図である。
【００７０】
図３に示されているように、端末装置１００は、筐体１０２１、アーム１０７４、およびカメラハウジング１０７５を備えている。
【００７１】
筐体１０２１の前側壁１０２１ａの略全面には、メッシュ状の吸気孔１０２１ｅが形成されており、筐体１０２１の後側壁１０２１ｂの略全面には、吸気孔１０２１ｅと同様のメッシュ状の排気孔（図示せず〕が形成されている。これにより、筐体１０２１に内蔵された冷却ファンの駆動によって、前側壁１０２１ａの吸気孔１０２１ｅを介して端末装置１００の前方の外気を取り込み、後側壁１０２１ｂの排気孔を介して端末装置１００の後方へ排気することができる。
【００７２】
前側壁１０２１ａの中央部には、収音用孔１０２１ｆが形成され、内蔵型のマイク１２１によって音声および周囲の騒音等の非音声音を含む音を収集可能となっている。
【００７３】
また、筐体１０２１の上面左側には、操作パネル１０２２が形成されている。この操作パネル１０２２には操作ボタン１１７、および電源スイッチ１１８が設けられているとともに、内蔵型のスピーカ１２２からの出力音を通すためのメッシュ状の音声出力孔１０２２ｆが形成されている。
【００７４】
また、筐体１０２１の上面右側には、アーム１０７４およびカメラハウジング１０７５を収容するための凹部が収容部１０２１ｐとして形成されている。
【００７５】
アーム１０７４は、トルクヒンジ１０７３を介して筐体１０２１に取り付けられている。アーム１０７４は、アーム１０７４が筐体１０２１に対して、正面を０度として±１８０度のパン角θ１の範囲で、かつ９０度のチルト角θ２の範囲（概ね４５度の傾き時にクリック感が発生するようになっている）において、上下左右方向に回動可能に構成されている。
【００７６】
カメラハウジング１０７５には、内蔵型のカメラ１３０が設けられており、会議の当事者などの会議室等を撮影することができる。また、カメラハウジング１０７５には、トルクヒンジ１０７５ａが形成されている。
【００７７】
カメラハウジング１０７５は、トルクヒンジ１０７５ａを介して、アーム１０７４に取り付けられている。そして、カメラハウジング１０７５は、カメラハウジング１０７５がアーム１０７４に対して直線状となるようにした状態を０度とし、端末装置１００の前方側に概ね１００度、端末装置１００の後方側に概ね９０度のチルト角θ３の範囲において回動可能に構成されている。
【００７８】
筐体１０２１の側面下部には、外部機器接続Ｉ／Ｆ１２５に対応した接続口１０２１ｇが形成されており、外付けのカメラ、マイク、スピーカ等のケーブル端子をこの接続口１０２１ｇに接続する。
【００７９】
なお、１４０は、外付けのディスプレイ１４０である。
【００８０】
図４は、本実施形態における端末装置１００の機能ブロック図である。
端末装置１００は、送受信部１１、操作入力受付部１２、ログイン要求部１３、撮像部１４ａ、画像表示制御部１４ｂ、音入力部１５ａ、音出力部１５ｂ、最終絞込部１６、遅延検出部１７、記憶・読出処理部１８、および漏洩防止処理部１９を有している。
【００８１】
これらの各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ１１２に記憶されているプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能である。
【００８２】
また、端末装置１００は、図２に示されているＳＳＤ１１４によって読み出し又は書き込みを制御される記憶部１０００を有している。
【００８３】
端末装置１００の機能ブロック各部について説明する。
【００８４】
端末装置１００の送受信部１１は、図２に示されているネットワークＩ／Ｆ１１９によって実現され通信ネットワーク９００を介して他の端末装置１００、その他の装置又はシステムと各種データの送受信を行う。
【００８５】
操作入力受付部１２は、図２に示されている操作ボタン１１７によって実現され、利用者による各種入力を受け付ける。例えば、利用者が会議の相手方の端末装置１００を選択する場合に端末装置１００の操作用表示画面（図示せず）の画面上でその端末装置１００を選択し決定のボタンを押すと、その選択情報が入力される。
【００８６】
また、操作入力受付部１２は、自己の端末装置１００が行っている相手方の会議情報の出力に対して制限を行なう制限指示情報の入力、およびこの制限の解除指示情報の入力を受け付ける。これはいずれも会議の当事者が操作ボタン１１７の操作することによって行なう。
【００８７】
ログイン要求部１３は、図２に示されているＣＰＵ１１１からの命令によって実現され、送受信部１１から通信ネットワーク９００を介して遠隔通信管理システム７００に、ログインを要求する旨を示すログイン要求情報、及び端末装置１００の現時点のＩＰアドレスを送信する。
【００８８】
この送信は、図２に示されている電源スイッチ１１８をＯＮにして端末装置１００の電源が投入され端末装置１００が立ちあがると、自動的に行なわれるように設定されている。
【００８９】
撮像部１４ａは、図２に示されているカメラ１３０、及びカメラＩ／Ｆ１２０によって実現され、被写体である出席者などの会議室の画像を撮影して、この撮影して得た画像データを出力する。
【００９０】
画像表示制御部１４ｂは、図２に示されているディスプレイＩ／Ｆ１２４によって実現され、外付けのディスプレイ１４０に対して画像データを送信し表示するための制御を行う。
【００９１】
音入力部１５ａは、図２に示されているマイク１２１および音入出力Ｉ／Ｆ１２３によって実現され、端末装置１００近傍の音を収集して入力し、この音の音信号を音データに変換して出力する。収集する音には音声および非音声音が含まれる。
【００９２】
音出力部１５ｂは、図２に示されているスピーカ１２２、および音入出力Ｉ／Ｆ１２３によって実現され、音データに係る音信号を音に変換して出力する。
【００９３】
最終絞込部１６は、複数の中継装置６００から最終的に使用する１つの中継装置６００に絞り込む最終絞り込み処理を行うためのもので、計測部１６ａ、算出部１６ｂ、及び最終選択部１６ｃを有しており、図２に示されているＣＰＵ１１１からの命令によって、実現する。
【００９４】
このうちの計測部１６ａは、送受信部１１によって受信された後述の事前送信情報毎に、送受信部１１によって事前送信情報が受信される際の受信日時（ｍｓｅｃ単位）を計測する。
【００９５】
算出部１６ｂは、計測部１６ａによって受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間（ｍｓｅｃ単位）を算出する。
【００９６】
最終選択部１６ｃは、算出部１６ｂによって算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された中継装置６００を使用する中継装置６００として選択することで、最終的に１つの中継装置６００を選択する。
【００９７】
遅延検出部１７は、図２に示されているＣＰＵ１１１からの命令によって実現され、他の端末装置１００から中継装置６００を介して送られて来る画像データ又は音声データの遅延時間（ｍｓｅｃ単位）を検出する。
【００９８】
また、記憶・読出処理部１８は、図２に示すＳＳＤ１１４によって実行され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す処理を行う。
【００９９】
記憶部１０００には、端末装置１００を識別するための端末ＩＤ（Identification）およびパスワード、ならびに画像データおよび音データ等が記憶される。
【０１００】
なお、本実施形態の端末装置ＩＤおよび後述の中継装置ＩＤは、それぞれ端末装置１００および中継装置６００を一意に識別するために使われる言語、文字、記号、もしくは各種のマークまたはこれらの組み合わせ等の識別情報を示す。
【０１０１】
情報漏洩防止部１９は、自己の端末装置１００近傍において生じた音の分析を行い、この音があらかじめ指定された音でない場合、または会議の当事者により制限の指示情報が入力された場合には、自己の端末装置１００が行っている会議の相手方の画像表示および相手方の音出力等の会議情報の出力処理に対して制限を行なうとともに、相手方の端末装置１００に、この制限が行なわれたことを示すメッセージを送信し、また相手方の端末装置１００においてこの制限が行なわれたことを示すメッセージを受信したときに自己の端末装置１００においてその旨を表示するものである。
【０１０２】
情報漏洩防止部１９は、音識別部１９ａ、判定部１９ｂ、制限部１９ｃおよび状態管理部１９ｄを有している。
【０１０３】
音識別部１９ａは、音入力部１５ａのマイク１２１から入力された音の音響分析を行い、その音の特徴量を、あらかじめ備えた音響特徴を表現する音響モデルと照合して、あらかじめ指定した音であるか否か例えば会議の当事者等の話者の音声であるかを識別する。
【０１０４】
判定部１９ｂは入力された音が音識別部１９ａにより指定された音でないと識別された場合に、その入力された音が相手方の会議情報を出力すべき音でないと判定して、また会議の当事者により制限の指示情報が入力された場合にはその入力を受けて、自己の端末装置１００が行なっている画像表示および音声出力等の会議情報の出力に対して制限を行なうべきと判定する。
【０１０５】
また判定部１９ｂは、会議の当事者により制限解除の解除指示情報が入力された場合にはその入力を受けて、制限の解除を行なうべきと判定する。
【０１０６】
制限部１９ｃは、判定部１９ｂが会議情報の出力に対して制限を行なうべきと判定した場合には端末装置１００が行なっている画像表示および音声出力等の会議情報の出力処理に対して制限を及ぼして出力内容の変更を行なう。
【０１０７】
そして、制限部１９ｃは、判定部１９ｂが制限の解除を行なうべきと判定した場合にはその制限を解除する。
【０１０８】
状態管理部１９ｄは、自己の端末装置１００の出力処理の変更状態を会議の相手方の端末装置１００に通知するための管理、および会議の相手方の端末装置１００からその端末装置１００の出力処理の変更状態の通知があった場合に自己の端末装置１００においてその旨を表示する管理を行なう。
【０１０９】
この情報漏洩防止部１９において用いる音に対応する音響モデルのデータや各種データのデータ記憶は、記憶部１０００において行なわれる。
状態管理部１９ｄによる相手方の端末装置１００の出力処理変更の表示は画像表示制御部１４ｂの制御によってディスプレイ１４０において行なわれる。
【０１１０】
次に、まず判定部１９ｂ、制限部１９ｃおよび状態管理部１９ｃについて、具体的に説明する。音識別部１９ａについては後述する。
【０１１１】
判定部１９ｂは、入力された音が相手方の会議情報を出力すべき音でない場合には、自己の端末装置１００が行なっている相手方の会議情報の出力処理に対して制限を及ぼすべきと判定する。
【０１１２】
そして、これを受けて制限部１９ｃは、自己の端末装置１００が行なっている相手方の会議情報の出力処理に対して制限を及ぼすが、この制限として、制限部１９ｃは画像表示制御部１４ｂに対してディスプレイ１４０の画面オフへの移行等を指示し、音出力部１５ｂに対して制限前時点（現時点）の出力音量データを取得して記憶部１０００に記憶してから出力音量の最小化することを指示する。
【０１１３】
この画像表示制御部１４ｂに対する指示の処理は、端末装置１００がWindows（マイクロソフト社の登録商標）をOSとする場合、画面オフの入力処理は、キーボードやファンクションキーに割り当てられているので、これを利用して、対象となるキー信号（例えば、F3キー）の代替処理を行い、端末装置１００の処理に割り込み処理させることで実施できる。
また、音出力部１５ｂに対する指示の処理は、この処理はWindows（マイクロソフト社の登録商標）であれば，オーディオミキサAPIを使用して実行できる。なお、出力音量の最小化の最小値は０値としてもよい。
【０１１４】
また、音識別部１９ａの識別および判定部１９ｂの判定によることなく、会議の当事者が相手方の会議情報に制限を行なうべきと判定した場合には、当事者は、操作ボタン１１７を操作することによって操作入力受付部１２により、直接、制限の指示情報を入力する。
【０１１５】
この入力があった場合には、判定部１９ｂは、会議情報の出力に対して制限を行なうべきと判定し、入力された音が相手方の会議情報を出力すべき音でないと判定した場合と同じ処理を実行する。
【０１１６】
判定部１９ｂは、制限の必要がなくなった場合等に会議の当事者が行なう解除指示情報の操作入力があった場合には、その入力を受けて、制限の解除を行なうべきと判定する。解除指示情報の操作入力は操作ボタン１１７を操作することによって操作入力受付部１２により行なわれる。
【０１１７】
解除の操作入力はパスワードの入力により行なわれるが、この入力があった場合に判定部１９ｂは，この入力情報と予め設定されたパスワードとを比較し，一致した場合は、制限の解除を行なうべきと判定する。
【０１１８】
判定部１９ｂによる制限解除の判定があった場合には、制限部１９ｃは、画像表示制御部１４ｂに対して画面オンへの移行を指示する．
また制限部１９ｃは，記憶部１０００に記憶してあったスピーカ１２２の制限前時点の出力音量データを参照し，スピーカ１２２に対してこの音量データによる制限前の出力音量への音量復帰を指示する。
【０１１９】
状態管理部１９ｄは、自己の端末装置１００において制限部１９ｃによる画像オフおよび出力音量の最小化の指示が行なわれた場合には、会議の相手方の端末装置１００に対するこの制限が行なわれたことを示すメッセージを作成し、送受信部１１に相手方の端末装置１００への通知の指示を行なう。
【０１２０】
具体的には、状態管理部１９ｄは図５(Ａ)に示すようなRFC3921のXMPP IM (Extensible Messaging and Presence Protocol: Instant Messaging and Presence)に従うXML（Extensible Markup Language）ベースのメッセージを作成する。
【０１２１】
この場合において状態管理部１９ｄは，<presence>タグの属性”fromおよび”to”に自己の端末装置１００等の識別子と送信先端末装置１００の識別子をそれぞれ指定する。
【０１２２】
図５(Ａ)の例では、自己の端末装置１００等をＩＤ１とし送信先である相手方端末装置１００等の識別子をＩＤ４として指定している。
【０１２３】
<show>タグの値は会議中であることを示す”CHAT”を指定する。
【０１２４】
<status>タグの値には画面の状態を指定する。図５(Ａ)においては、”画面オフ“の状態を示す”DISPLAY_OFF”を指定する。
【０１２５】
状態管理部１９ｄはこのメッセージを送受信部１１に送ってメッセージの送信を指示する。これにより送受信部１１はXMPPでメッセージを送信する。
【０１２６】
自己の端末装置１００において制限部１９ｃによる制限が解除されて、画面オフから画面オンへの移行の指示、および音量復帰を指示があった場合には、状態管理部１９ｄは図５(Ｂ)に示すメッセージを作成し，画面オフ時と同様に送受信部１１にメッセージの送信を指示する。
【０１２７】
図５(Ｂ)に示すメッセージにおいては、<presence>タグの属性”fromおよび”to”には、図５(Ａ)の場合と同様に自己の端末装置１００の識別子ＩＤ１と、送信先の相手方端末装置１００等の識別子ID4を指定する。
【０１２８】
<show>タグの値についても図５(Ａ)の場合と同様に会議中であることを示す”CHAT”を指定する。
【０１２９】
<status>タグの値には、”画面オン“の状態を示す”DISPLAY_OＮ”を指定する。
【０１３０】
なお、<status>タグの値には”画面オフ“の状態を示す”DISPLAY_OFF”が指定されているが、この”画面オフ“は会議情報の出力処理に対して制限が行なわれていることを代表的に示したもので、これにはスピーカ１２２の出力音量の最小化の状態を示す内容も含まれている。
【０１３１】
出力処理の変更状態の通知のメッセージは送信先である相手方端末装置１００の送受信部１１で受信されるが、相手方の端末装置１００の状態管理部１９ｃは，送受信部１１から受け取ったメッセージを次のように解析する。
【０１３２】
まず<presence>タグの”from”属性”から送信元である会議の相手方の装置１００の識別子(本実施形態ではID1)を取得する．次に，<status>タグの値から画面状態を取得する。
【０１３３】
状態管理部１９ｄは取得した画面状態がDISPLAY_OFFであれば，相手の会議装置において会議情報の出力の制限が行なわれたと認識する。
【０１３４】
そして、相手側とは会議不可であることを示す表示を自己の画像表示制御部１４ｂに対して指示する。
【０１３５】
図６に会議不可になったときのメッセージ受信側の表示画面の例を示す。この図においては、会議情報である会議の相手方の画像とともに、具体的には相手方の画像に重ねて会議が一時的にできない状態を示すマークが表示されている。なお，画面右側のようにテキストでマークの意味を追加表示するようにしてもよい。
【０１３６】
状態管理部１９ｄは取得した画面状態がDISPLAY_ONであれば，相手の会議装置において会議情報の出力の制限の解除が行なわれたと認識し、図７に示すような会議可であることを示す画面の表示を自己の画像表示制御部１４ｂに対して指示する。すなわち、図７に示すように図６における上記のマークを終了させて非表示にし，マークの意味を追加表示している場合にはマークの意味を追加しているテキスト部分の表示を終了させて非表示にする。
【０１３７】
なお、この実施形態においては、会議を行っている端末装置１００間で直接、制限に関する情報のメッセージのやりとりをするようにしているが遠隔通信管理システム７００を経由するようにしてもよい。また制限状況を、端末装置１００間でのやりとりとは別に遠隔通信管理システム７００に伝えるようにしてもよい。
【０１３８】
次に音識別部１９ａについて、具体的に説明する。
【０１３９】
音識別部１９ａは、次のような機能を有している。
（１）音のアナログ信号をデジタル信号への変換処理
（２）音響分析処理
（３）区間検出処理
（４）音識別処理
各機能について説明する。
（１）音のアナログ信号をデジタル信号への変換
マイク１２１により収集された音のアナログ信号の入力を受け付け、このアナログ信号をADコンバータにより、例えば８kHz、１６ビットのデジタル信号に変換する。この変換処理は図２の音入出力Ｉ／Ｆ１２３において行なわれる。
なお、この音識別部１９ａによる変換処理は音識別のための処理であり内容としては音入力部１５ａの変換処理とは異なるが、音のアナログ信号をデジタル信号に変換するという点では音入力部１５ａの変換処理と同じではあるので、この変換処理を双方の目的に共通に使えるような処理内容にしている。
【０１４０】
したがって、これらの処理は別々に行なうようにしてもよい。
【０１４１】
（２）音響分析処理
（１）において変換された音のデジタル信号に対して音響分析処理を行う。
【０１４２】
この分析処理には、LPC（線形予測）分析等を用いることができる。LPC分析は、細かい周波数成分を信号から除去し、残った部分の強さと周波数の概要（包絡）を予測することで、このデジタル信号を分析する。
【０１４３】
デジタル信号は、時間と共に変化するため、この分析は一定時間の信号のかたまり、すなわちフレームに対して行われる。
【０１４４】
このLPC分析は、例えば、高域強調を一次差分、ハミング窓をかけて２５６点に切り出し、移動幅を１６ms、LPC分析次数を２０という条件で行われ、１０次元メルケプストラム係数、対数パワーの一次差分、対数パワーという特徴量をフレーム単位で求める。
【０１４５】
具体的には、このLPC分析では、まず、音波形データに高域強調フィルタをかけた後、窓関数をかける。この窓関数をかけることで、フレーム単位で切り出されたときに生じる不連続点の影響を小さくできる。
【０１４６】
フレーム単位で切り出された信号の予測誤差の自乗の和が最小になるように線形予測係数を求める。得られた予測誤差と線形予測係数から1〜10までのケプストラム係数を再帰計算により求める。
【０１４７】
メルケプストラム係数は、Oppenheim の漸化法によりケプストラムをメルケプストラムに変換することにより求める．補助的な特徴量である対数パワーは以上に述べた処理の過程で求めることができるので、対数パワーが得られるたびに対数パワーの時間的な一次差分も合わせて計算しておくようにする。
【０１４８】
なお、この音の分析は、ここに記載された方法に限られるものではなく、周波数（FFT）分析等の方法も用いることが可能である。
【０１４９】
（３）区間検出処理
また、ADコンバータにより変換された音のデジタル信号に対して音識別処理を行なう区間を決定する区間検出処理を行う。
【０１５０】
区間検出処理は、例えば、音対数パワーや一次の自己相関を観測、分析することにより区間の検出を行う。自己相関は、信号が時間シフトした信号とどの程度整合するかを測る尺度で、時間シフトの大きさの関数として表されるものである。
【０１５１】
区間が検出された場合は、検出された区間に対応する区間のメルケプストラム係数や対数パワー等の特徴量が音識別処理に送られる。検出されなかった場合は、音響分析処理と区間検出処理を繰り返し行なう。
【０１５２】
この区間検出処理を行うことにより、後述する識別処理の精度を高くすることができる。識別処理で用いるモデルの精度が十分に高い場合には、この区間検出処理を省略することも可能である。
【０１５３】
（４）音識別処理
音識別処理では、検出された区間の特徴量と音響特徴を表現する音響モデルとの照合を行う。例えば、音響モデルとして代表的なHMM(隠れマルコフモデル)を用いることができる。また、その他に、GMM（ガウス混合分布モデル）を用いることもできる。
【０１５４】
音識別部１９ａで使用される音響モデルとしては、会議の当事者である話者の音響モデルと周囲の騒音の音響モデルをあらかじめ備えている。
【０１５５】
図８は、音識別部１９ａで使用される話者の音響モデルのデータ構造の一例を示した図である。このデータ構造では、合計でn個のHMMがあり、異なるn人の話者に対応するHMMが番号と対応して記憶部１０００に記憶されている。これらのHMMは、この端末装置１００を通常使用する人に対応してモデル化されている。
【０１５６】
図９は、音識別部１９ａで使用される騒音の音響モデルのデータ構造を示した図である。このデータ構造では、合計でm個のHMMがあり、異なるm種類の騒音に対するHMMが番号と対応して記憶部１０００に記憶されている。これらの各HMMは、この端末装置１００を使用している部屋に人が入ったことがわかる特徴的な騒音例えばドアの開閉音等と、それ以外の騒音例えば端末装置１００の操作音等を、その種類を区別して記憶部１０００に記憶されている。
【０１５７】
これらの音響モデルのうち、会議の当事者である話者の音響モデルと、人が入ったことがわかる特徴的な騒音例えばドアの開閉音等以外の騒音の音響モデルが、相手方の会議情報を出力すべき音の音響モデルとしてあらかじめ指定されている。
【０１５８】
なお、各HMMは、話者の音声あるいは騒音の特徴量を統計的な出現確率に基づいて表現したものである。
【０１５９】
これらのHMMは、Baum-Welchのアルゴリズムを用いて事前に訓練しておくことが好ましい。訓練用データには、予め収集しておいた各話者の音声および各種の騒音の特徴量を用いることができる 。
【０１６０】
なお、Baum-Welchのアルゴリズムは、訓練データの尤度を最大にするようにパラメータを学習するためのアルゴリズムで、HMM初期モデルの再推定に使用されるものである。
【０１６１】
音識別部１９ａでは、検出された区間の特徴量と図８または図９に示すHMMとの照合を、L.Rabiner他、音声認識の基礎（下）、NTTアドバンステクノロジ株式会社、１９９５年（参考文献１）に詳述されているようなViterbiアルゴリズムにより行い、音響モデルまたは騒音モデルの各HMMに対する得点Siを算出する。
【０１６２】
ここで、iは、HMMに対する番号であり、i=S1、…、Sn、N1、…、Nmである。Viterbiアルゴリズムの代わりに、forwardアルゴリズムを用いることも可能である。Viterbiアルゴリズムは、あるモデルにおいて、最適な状態系列と、この経路上での尤度を求めるアルゴリズムである。
【０１６３】
そして算出した各得点Siを比較し、音響モデルまたは騒音モデルのうち最も高い得点をもつHMMの番号Iを次式により求める。
【０１６４】
【数１】
番号IをもつHMMの得点SIが次式の判定式から、しきい値TIより大きくなる場合は、有効な得点とする。
【０１６５】
【数２】
この実施形態では、モデルごとにしきい値が異なるようにしているが、これに限られるものではなく、すべてのモデルに対して同一のしきい値を用いたり、図５に示す話者HMMと図６に示す騒音HMM用の２つのしきい値を用いるなど、他のしきい値設定を用いてもよい。
【０１６６】
このようにして有効な得点をもつHMMの番号を判定するが、これにもとづき、音識別を次のように行なう。
【０１６７】
有効な得点をもつHMMの番号がSから始まっている場合は、使用している端末装置１００の当事者が発声したものとみなすことができる。
他方、有効な得点をもつHMMの番号がNから始まる場合で、部屋に人が入ったこと示す特徴的な騒音モデルである場合は、当事者以外の他人の入室があったものとみなすことができる。
【０１６８】
また、それ以外のNから始まるHMMが選択された場合は、単なる騒音であるとみなすことができる。
【０１６９】
図８および図９に示すどのHMMの得点も有効な得点でない場合は、この端末装置１００の当事者以外の他人が、この端末装置１００が設置されている部屋の中で発声したものとみなすことができる。
【０１７０】
図８および図９に示すHMMは、話者ごとあるいは騒音の種類ごとに記憶されるが、話者と騒音の２つの全結合（エルゴード的）HMMを用意し、各HMMの状態に話者の種類あるいは騒音の種類を割り当てて照合することも可能である。
【０１７１】
この場合にデータ記憶部４２に格納された話者HMM、騒音HMMの構造の例をそれぞれ図１０および図１１に示す。
【０１７２】
図１０では、合計でn個の状態をもつHMMであり、異なるn人の話者についての確率密度関数が状態と対応して格納されている。図１１では、合計でm個の状態があり、異なるm種類の騒音についての確率密度関数が状態に対応して格納されている。
【０１７３】
この確率密度関数から抽出された特徴量が出現する確率を求めることができる．なお，図示していないが，話者HMM,騒音HMMの状態jにおける遷移確率aSji(i=1,‥,n), aNji(i=1,‥,m)もHMMを構成するパラメータとしてデータ記憶部に格納されている．
上記のようなHMMを用いた識別処理においては、検出された区間の特徴量に対して図８および図９に示すHMMとの照合を、上記参考文献１に詳述されているようなViterbiアルゴリズムにより行い、各話者HMMに対する得点Ssと騒音HMMに対する得点Sbとを求め、次式によりしきい値よりも大きい場合は有効な得点とする。
【０１７４】
【数３】
【０１７５】
【数４】
ここで、Ts、Tbは、話者HMMの得点に対するしきい値と騒音HMMの得点に対するしきい値である。この実施形態では、HMM毎にしきい値が異なっているが、これに限ったものではなく、全てのモデルに対して同一のしきい値を用いることもできる。
【０１７６】
このようにして有効な得点をもつHMMの番号を判定するが、これにもとづき、話者識別を次のように行なう。
【０１７７】
有効な得点をもつHMMが話者HMMであった場合は、この端末装置１００を使用している者が発声したものとみなすことができる。
他方、有効な得点をもつHMMが騒音HMMであった場合は、上記参考文献１に詳述されているようなViterbiアルゴリズムによるトレースバック処理を行い、音声特徴量のフレームに対応する騒音HMMの状態系列を求める。
【０１７８】
そして、この系列から連続して最も長く滞留する状態番号を求め（例えば、状態系列が113333324であった場合、最も多い番号である状態番号3が求める番号となる）。この状態番号が入室を示す特徴的な状態番号に対応する場合は、入室があったものとみなすことができる。
【０１７９】
状態番号が入室を示す特徴的な状態番号に対応する番号以外の番号であった場合は、単なる騒音であるとみなすことができる。
HMMの得点がどちらも有効でない場合は、この端末装置１００を使用しない者が、この端末装置１００が設置されている部屋の中で発声したものとみなすことができる。
【０１８０】
本実施形態における話者識別部１９ａは、音響モデルとしてHMMを用いたが、他のモデルを用いることも可能である。
【０１８１】
例えば、数フレームからなる特徴量を相加平均した標準パターン、人工神経回路網や室井他、「継続時間制御状態遷移モデルを用いた単語音声認識」、電子情報通信学会論文誌J72-D-II、１１、pp.1769-1777（１９８９−１１）（参考文献２）に詳述されるようなDST(Duration-based State Transition：継続時間制御状態遷移)モデルを用いることも可能である。
【０１８２】
DSTモデルはHMMに比べると，話者が発声した音声パターンの時間構造を明示的に表現できるため，特定の話者の識別に特に効果的である。そのため、図１に示したようなシステム構成で、在宅勤務者一人だけ、または少数の話者を識別すればよいシステム環境では、DSTモデルをHMMの代わりに用いるとさらに精度良く話者の識別することができる。
【０１８３】
次に、端末装置１００が行なう処理について、フローチャートを参照して説明する。
図１２は、自己の端末装置１００において会議情報の出力処理に対して制限を行なう場合の流れを示すフローチャートであり、これを参照してこの場合の自己の端末装置１００における処理について説明する。
【０１８４】
情報漏洩防止部１９は、遠隔会議システムにより会議が行なわれているときにこの処理をステップ３０から開始する。
まず、ステップ３１において指示の操作入力があるかを判断し、入力があった場合には、ステップ３７において、判定部１９ｂが、その指示の入力が制限を行なう指示か否かを確認し、制限の指示情報である場合には制限を行なうべきと判定する。
【０１８５】
制限を行なうべきと判定した場合には、ステップ３８の制限処理に移って制限処理を行い、制限を行なうべきと判定しない場合には、ステップ３１に戻る。
【０１８６】
ステップ３１において、指示の入力がなかった場合にはステップ３２に移って音響分析処理を行なう。
【０１８７】
ステップ３２においては、音識別部１９ａがマイク１２１により収集された音のアナログ信号の入力を受け付ける。入力された音は、ADコンバータにより、例えば８kHz、１６ビットのデジタル信号に変換される。
【０１８８】
このデジタル信号への変換は、マイク１２１が音を収集している間継続して行なわれ、変換されたデジタル信号がバスライン１２６に出力される。
【０１８９】
ステップ３３において、上記の変換された音のデジタル信号に対して音識別部１９ａは音響分析処理を行う。この音響分析処理は、一定時間のデジタル信号のかたまりすなわちフレームに対して、音のデジタル信号が出力されている間継続して行なわれる。
【０１９０】
音響分析処理の分析結果としてメルケプストラム係数、対数パワー等の特徴量がバスライン１２６に出力される。
【０１９１】
ステップ３４において、上記の変換された音声のデジタル信号に対して音識別部１９ａは区間検出処理を行う。
【０１９２】
区間検出処理は、識別の対象となる区間の検出を行なうもので、音のデジタル信号が出力されている間継続して行なわれる。
【０１９３】
次に、ステップ３５において、音識別部１９ａはステップ３４における区間検出の有無を確認し、区間が検出された場合には、ステップ３６の音識別処理に移る。
【０１９４】
区間が検出されなかった場合はステップ３１へ戻る。
【０１９５】
区間が検出された場合にはステップ３６において、音識別部１９ａは音識別処理を行なう。この音識別処理においては、ステップ３４において検出された区間の音響分析処理の区間の特徴量と、記憶部１０００に記憶されている音響特徴を表現した音響モデルとの照合を行ない、指定された話者の音声か否かの識別を行なう。
【０１９６】
具体的には、会議の出席者等の当事者が発した音声か、また人の音声以外では人が部屋に入ったことによるドアの開閉音などの騒音かを識別する。
【０１９７】
ステップ３７においてこの音識別処理の識別結果にもとづいて、判定部１９ｂは会議情報の出力処理を制限すべきか否かの判定を行なう。
【０１９８】
音声については会議の出席者等の当事者が発した音声の場合以外には制限すべきと判定し、騒音の場合にはドアの開閉音の場合には他人が入室してきたものと考えられるので制限すべきと判定する。
【０１９９】
ステップ３７において制限すべきと判定された場合には、ステップ３８の制限処理に移る。
制限すべきと判定されなかった場合にはステップ３１へ戻る。
【０２００】
ステップ３８において、制限部１９ｂは画面表示制御部１４ｂに対して画面オフの指示を行い、ディスプレイ１４０の画面をオフにする。
【０２０１】
ステップ３９において、制限部１９ｃは音声出力部１５ｂに対して制限前時点（現時点）の出力音量データの記憶と音声出力音量の最小化を指示して実行させる。これによりスピーカ１２２の出力音量を最小化する。
【０２０２】
次にステップ４０において、状態管理部１９ｄは、自己の端末装置１００において会議情報の出力処理の制限が行なわれたことを示す図５（Ａ）に示すようなメッセージの作成処理を行なう。
【０２０３】
次にステップ４１において、ステップ４０において作成されたメッセージの送信処理を行なう。この送信処理は状態管理部１９ｄが送受信部１１にメッセージの送信を指示し、送受信部１１が送信処理をすることにより行なわれ、ステップ４２において終了する。
【０２０４】
なお、図１２のフローチャートにおいては、すでに会議情報の出力処理に対する制限を行ない継続中の場合については特に示されていないが、出力処理に対する制限の継続中でないことを、図１２のフローチャートの処理の開始の条件とするようにして、すでに制限を継続中の場合にはこの処理を開始しないようにすることができる。
【０２０５】
図１３は、自己の端末装置１００において行なった会議情報の出力処理に対する制限を解除する場合の流れを示すフローチャートであり、これを参照してこの場合の自己の端末装置１００における処理について説明する。
【０２０６】
情報漏洩防止部１９は、この処理をステップ５０から開始する。
まず、ステップ５１において指示の操作入力があるかを判断し、入力があった場合には、ステップ５２において、判定部１９ｂがその指示の入力が有効な解除の指示入力か否かを確認し、制限を解除すべきか否かの判定をする。
解除すべきと判定された場合には、ステップ５３以降の処理に移る。
制限すべきと判定されなかった場合にはステップ５１において解除の操作入力の有無の監視を継続する。
【０２０７】
ステップ５２において解除すべきと判定された場合には、ステップ５３において、制限部１９ｃは画面表示制御部１４ｂに対して画面オンの指示を行い、ディスプレイ１４０の画面をオンに復旧させる。
【０２０８】
次にステップ５４において、制限部１９ｃは音出力部１５ｂに対してスピーカ１２２の音出力の音量を制限前時点の出力音量に戻すことを指示して、スピーカ１２２の出力音量を復旧させる。
【０２０９】
次にステップ５５において、状態管理部１９ｄは、自己の端末装置１００において会議情報の出力処理の制限が解除されたことを示す図５（Ｂ）に示すようなメッセージの作成処理を行なう。
【０２１０】
次にステップ５６において、ステップ５５において作成されたメッセージの送信処理を行なう。この送信処理は状態管理部１９ｄが送受信部１１にメッセージの送信を指示し、送受信部１１が送信処理することにより行なわれ、ステップ５６において終了する。
【０２１１】
図１４は、会議の相手方の端末装置１００から会議情報の出力処理の変更状態のメッセージを受信した場合の流れを示すフローチャートであり、これを参照してこの場合の会議の相手方である受信側の端末装置１００における処理について説明する。
【０２１２】
この処理はステップ６０から開始され、受信側の端末装置１００はステップ６１において、メッセージの受信処理を行なう。
【０２１３】
このメッセージの受信処理は受信側の端末装置１００の送受信部１１で行なわれ、図１２のステップ４０において作成された図５（Ａ）に示すメッセージと、図１３のステップ５５において作成された図５（Ｂ）に示すメッセージが受信される。
【０２１４】
次に、ステップ６２において受信側の端末装置１００の状態管理部１９ｄは，送受信部１１から受け取ったメッセージの解析処理を行なう。
【０２１５】
すなわち、メッセージが図５（Ａ）に示すものである場合には画面状態が“DISPLAY_OFF”であるので、状態管理部１９ｄは送信側であるＩＤ１の端末装置１００においてディスプレイ１４０が画面オフに変更され、かつスピーカ１２２の音声出力音量が最小化されたことを認識する。
【０２１６】
また、メッセージが図５（Ｂ）に示すものである場合には画面状態が“DISPLAY_ON”であるので、状態管理部１９ｃは送信側の端末装置１００においてディスプレイ１４０が画面オンに復旧し、かつスピーカ１２２の音声出力音量が元の音量に復旧したことを認識する。
【０２１７】
次にステップ６３において、ステップ６２の解析処理の結果を確認し、結果が、送信側が画面オフかつ音声出力音量最小化の場合には、状態管理部１９ｄは図６に示すように送信元である会議の相手方の画像に重ねて会議が一時的にできない状況を示すマークの表示を、受信側である自己の画像表示制御部１４ｂに対して指示する。
【０２１８】
ステップ６３において、ステップ６２の解析処理の結果が送信側が画面オンに復帰かつ音声出力音量が復帰の場合には、状態管理部１９ｄは図７に示すように、図６における上記のマークの表示終了させて非表示にすることを、受信側である自己の画像表示制御部１４ｂに対して指示する。
【０２１９】
そして、ステップ６４またはステップ６５において、ステップ６３により指示された表示をディスプレイ１４０において行ない、ステップ６６において終了する。
【０２２０】
上記した実施形態においては、遠隔会議システムを使用して会議が行なわれているときに、遠隔会議システムの端末装置１００により会議の場所において収集される音の識別が行なわれ、指定された話者の音声かあるいは人が部屋に入ったことによるドアの開閉音か否かを識別される。
【０２２１】
そして、この識別結果にもとづき、指定された話者の音声以外の音声や人が部屋に入ったことによるドアの開閉音が識別された場合には。端末装置１００により自己の会議の場所において出力されている画面、音声等の会議情報の出力処理の制限処理が行なわれる。または会議の当事者により制限の指示情報が操作入力された場合にも同様な制限処理が行なわれる。
【０２２２】
この制限処理が行なわれるとともに、会議の相手方の端末装置１００に自己の端末装置１００において制限処理が行なわれたことを示すメッセージが送信され、相手方の会議装置１００により制限処理が行なわれたことが表示される。
【０２２３】
制限処理の解除は、端末装置１００に会議の当事者等の人が解除の操作入力をすることにより行なわれ、解除の入力があった場合には制限が解除されるとともに、会議の相手方の端末装置に自己の端末装置において制限処理が解除されたことを示すメッセージが送信され、相手方の会議装置１００により解除が行なわれたことが表示される。
【０２２４】
したがって、会議の当事者以外の他人が会議室に入ってきた場合の情報漏洩を低減することができ、会議の相手方にも、この理由で会議が一時的に中断していることがわかるので混乱を生じることなく円滑に会議を進めることができる。
【０２２５】
なお、出力処理の変更状態の通知のメッセージを送信先である相手方端末装置１００が受信した場合の出力処理は、ディスプレイ１４０において行なっているが、スピーカ１２２により行なってもよくまたこれらを併用してもよい。
また、別の出力装置例えばランプを別に設けてその点灯で行なってもよい。
【０２２６】
また、出力の制限は、状況に応じて音声と画面の別々でも良い。例えば画面が他人から見えにくいような位置にある場合には音声だけに制限を行なうようにしてもよい。
【０２２７】
なお、上記の実施形態は会議室や通常の部屋において会議を行う場合について行なったが、これに限らず、同様の機能を有する携帯電話端末を用いて２者間または３者以上間の会話を行なう場合も含むものであり、本発明の会議システムおよび端末装置にはこのような場合に用いられるシステムおよび携帯電話端末も含む。
【符号の説明】
【０２２８】
１００ 会議装置
１１０ 装置本体
１１１ ＣＰＵ
１１２ ＲＯＭ
１１３ ＲＡＭ
１１４ ＳＳＤ
１１５ フラッシュメモリ
１１６ メディアドライブ
１１６ａ 記録メディア
１１７ 操作ボタン
１１８ 電源スイッチ
１１９ ネットワークＩ／Ｆ
１２０ カメラＩＦ
１２１ マイク
１２２ スピーカ
１２３ 音声入出力Ｉ／Ｆ
１２４ ディスプレイＩ／Ｆ
１２５ 外部機器接続Ｉ／Ｆ
１２６ バスライン
１３０ カメラ
１４０ ディスプレイ
１０２１ 筐体
１０２１ｅ 吸気孔
１０２１ｆ 収音用孔
１０２１ｇ 接続口
１０２２ 操作パネル
１０７４ アーム
１０７５ カメラハウジング
２００ ＬＡＮ
３００ 専用線
４００ インターネット
Ａ 地域
５００ ルータ
６００ 中継装置
７００ 遠隔通信管理システム
８００ プログラム提供システム
９００ 通信ネットワーク
１１ 送受信部
１２ 操作入力受付部
１３ ログイン要求部
１４ａ 撮像部
１４ｂ 画像表示制御部
１５ａ 音声入力部
１５ｂ 音声出力部
１６ 最終絞込部
１６ａ 計測部
１６ｂ 算出部
１６ｃ 最終選択部
１７ 遅延検出部
１８ 記憶・読出処理部
１９ 漏洩防止処理部
１９ａ 話者識別部
１９ｂ 判定部
１９ｃ 制限部
１９ｄ 状態管理部
【先行技術文献】
【特許文献】
【０２２９】
【特許文献１】特開２０００−９９０７６号公報
【特許請求の範囲】
【請求項１】
会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、
自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきか否かを判定する判定手段と、
前記判定手段が制限を行なうべきと判定した場合に自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なう制限手段と、
この制限手段による前記制限が行なわれた場合に、相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信する状態管理手段を有することを特徴とする会議システムの端末装置。
【請求項２】
会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、
自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきか否かを判定する第１の判定手段と、
前記制限の解除を行なう指示情報の入力を行なう入力手段と、
前記指示情報にもとづき前記解除を行なうべきか否かを判定する第２の判定手段と、
前記第１の判定手段が制限を行なうべきと判定した場合に自己の端末装置が行っている相手方の会議情報の出力に対して制限を行ない、前記第２の判定手段が前記解除を行なうべきと判定した場合に前記制限の解除を行なう制限手段と、
前記制限手段による前記制限が行なわれた場合に相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信し、前記解除が行なわれた場合に相手方の端末装置に前記解除が行なわれたことを示すメッセージを送信する状態管理手段を有することを特徴とする会議システムの端末装置。
【請求項３】
請求項１または２に記載の会議システムの端末装置において、
前記状態管理手段は、相手方の端末装置から相手方の端末装置において会議情報の出力に対する制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力することを特徴とする会議システムの端末装置。
【請求項４】
請求項３に記載の会議システムの端末装置において、
前記状態管理手段は、相手方の端末装置から相手方の端末装置において前記制限の解除が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させることを特徴とする会議システムの端末装置。
【請求項５】
会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、
相手方の端末装置から、相手方の端末装置において会議情報の出力に対して制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力し、相手方の端末装置から前記制限の解除が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させる状態管理手段を有することを特徴とする会議システムの端末装置。
【請求項６】
請求項１から請求項４のいずれかに記載の会議システムの端末装置において、
判定手段または第１の判定手段が、相手方の会議情報の出力に対して制限を行なう指示情報の操作入力にもとづき判定することを特徴とする会議システムの端末装置。
【請求項７】
請求項１から請求項４または請求項６のいずれかに記載の会議システムの端末装置において、
更に、自己の端末装置近傍において生じた音を入力して分析を行い、この入力された音が相手方の会議情報を出力すべき音としてあらかじめ指定された音であるか否かを識別する音識別手段を有し、
前記判定手段または第１の判定手段が、前記音識別手段において前記入力された音が相手方の会議情報を出力すべき音としてあらかじめ指定された音でないと識別された場合に、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきと判定することを特徴とする会議システムの端末装置。
【請求項８】
請求項１から請求項７のいずれかに記載の会議システムの端末装置において、
会議情報として少なくとも音声情報を含み相手方の会議情報の出力がスピーカによる音声の出力であって、
前記制限手段による制限がスピーカの音量レベルを小さくするものであり、制限の解除時にはスピーカの音量レベルを制限前の時点の音量レベルに復帰することを特徴とする会議システムの端末装置。
【請求項９】
請求項１から請求項８のいずれかに記載の会議システムの端末装置において、
会議情報として少なくとも画像情報を含み相手方の会議情報の出力がディスプレイによる表示であって、
相手方の端末装置において制限が行なわれたことを示す情報が、会議情報の出力とともに前記ディスプレイにより表示されることを特徴とする会議システムの端末装置。
【請求項１０】
端末装置間において会議情報の送受信を行ない、各端末装置は会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力するとともに、自己の会議情報を相手方の端末装置に送信する会議システムにおいて、
各端末装置は、自己の端末装置において、相手方の会議情報の出力の制限を行なうべきとの判定があった場合に、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうとともに相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信し、前記制限の解除を指示すべきとの判定があった場合に前記制限の解除を行なうとともに相手方の端末装置に前記解除が行なわれたことを示すメッセージを送信するとともに、
各端末装置は、相手方の端末装置から相手方の端末装置において会議情報の出力に対して制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力し、相手方の端末装置から前記制限の解除が行なわれたことを示すメッセージを受信したときに、前記相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させることを特徴とする会議システム。
【請求項１】
会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、
自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきか否かを判定する判定手段と、
前記判定手段が制限を行なうべきと判定した場合に自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なう制限手段と、
この制限手段による前記制限が行なわれた場合に、相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信する状態管理手段を有することを特徴とする会議システムの端末装置。
【請求項２】
会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、
自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきか否かを判定する第１の判定手段と、
前記制限の解除を行なう指示情報の入力を行なう入力手段と、
前記指示情報にもとづき前記解除を行なうべきか否かを判定する第２の判定手段と、
前記第１の判定手段が制限を行なうべきと判定した場合に自己の端末装置が行っている相手方の会議情報の出力に対して制限を行ない、前記第２の判定手段が前記解除を行なうべきと判定した場合に前記制限の解除を行なう制限手段と、
前記制限手段による前記制限が行なわれた場合に相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信し、前記解除が行なわれた場合に相手方の端末装置に前記解除が行なわれたことを示すメッセージを送信する状態管理手段を有することを特徴とする会議システムの端末装置。
【請求項３】
請求項１または２に記載の会議システムの端末装置において、
前記状態管理手段は、相手方の端末装置から相手方の端末装置において会議情報の出力に対する制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力することを特徴とする会議システムの端末装置。
【請求項４】
請求項３に記載の会議システムの端末装置において、
前記状態管理手段は、相手方の端末装置から相手方の端末装置において前記制限の解除が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させることを特徴とする会議システムの端末装置。
【請求項５】
会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力し、自己の会議情報を相手方の端末装置に送信する会議システムの端末装置において、
相手方の端末装置から、相手方の端末装置において会議情報の出力に対して制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力し、相手方の端末装置から前記制限の解除が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させる状態管理手段を有することを特徴とする会議システムの端末装置。
【請求項６】
請求項１から請求項４のいずれかに記載の会議システムの端末装置において、
判定手段または第１の判定手段が、相手方の会議情報の出力に対して制限を行なう指示情報の操作入力にもとづき判定することを特徴とする会議システムの端末装置。
【請求項７】
請求項１から請求項４または請求項６のいずれかに記載の会議システムの端末装置において、
更に、自己の端末装置近傍において生じた音を入力して分析を行い、この入力された音が相手方の会議情報を出力すべき音としてあらかじめ指定された音であるか否かを識別する音識別手段を有し、
前記判定手段または第１の判定手段が、前記音識別手段において前記入力された音が相手方の会議情報を出力すべき音としてあらかじめ指定された音でないと識別された場合に、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうべきと判定することを特徴とする会議システムの端末装置。
【請求項８】
請求項１から請求項７のいずれかに記載の会議システムの端末装置において、
会議情報として少なくとも音声情報を含み相手方の会議情報の出力がスピーカによる音声の出力であって、
前記制限手段による制限がスピーカの音量レベルを小さくするものであり、制限の解除時にはスピーカの音量レベルを制限前の時点の音量レベルに復帰することを特徴とする会議システムの端末装置。
【請求項９】
請求項１から請求項８のいずれかに記載の会議システムの端末装置において、
会議情報として少なくとも画像情報を含み相手方の会議情報の出力がディスプレイによる表示であって、
相手方の端末装置において制限が行なわれたことを示す情報が、会議情報の出力とともに前記ディスプレイにより表示されることを特徴とする会議システムの端末装置。
【請求項１０】
端末装置間において会議情報の送受信を行ない、各端末装置は会議の相手方の端末装置から送信された相手方の会議情報を受信して自己の端末装置において出力するとともに、自己の会議情報を相手方の端末装置に送信する会議システムにおいて、
各端末装置は、自己の端末装置において、相手方の会議情報の出力の制限を行なうべきとの判定があった場合に、自己の端末装置が行っている相手方の会議情報の出力に対して制限を行なうとともに相手方の端末装置に前記制限が行なわれたことを示すメッセージを送信し、前記制限の解除を指示すべきとの判定があった場合に前記制限の解除を行なうとともに相手方の端末装置に前記解除が行なわれたことを示すメッセージを送信するとともに、
各端末装置は、相手方の端末装置から相手方の端末装置において会議情報の出力に対して制限が行なわれたことを示すメッセージを受信したときに、相手方の端末装置において前記制限が行なわれたことを示す情報を自己の端末装置において出力し、相手方の端末装置から前記制限の解除が行なわれたことを示すメッセージを受信したときに、前記相手方の端末装置において前記制限が行なわれたことを示す前記出力を終了させることを特徴とする会議システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１９９８４７（Ｐ２０１１−１９９８４７Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１１−６１１９（Ｐ２０１１−６１１９）
【出願日】平成２３年１月１４日（２０１１．１．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２３年１月１４日（２０１１．１．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]