ビデオ会議システム，サーバ装置，及びビデオ会議プログラム
【課題】ビデオ会議を安価に行うことを可能にする。
【解決手段】サーバ装置３の主要発言者判定部２１が、ビデオ会議の主要発言者を判定し、サーバ装置３の映像表示制御部２２が、主要発言者判定部２１の判定結果に基づいて、第１の主要発言者と第２の主要発言者を特定する。そして映像表示制御部２２は、第１の主要発言者と第２の主要発言者の映像が左右異なる位置に表示されるように他地点の表示装置１１を制御し、第２の主要発言者の映像が他地点の表示装置１１における第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように第１の主要発言者がいる地点の表示装置１１を制御し、第１の主要発言者の映像が他地点の表示装置１１における第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように第２の主要発言者がいる地点の表示装置１１を制御する。
【解決手段】サーバ装置３の主要発言者判定部２１が、ビデオ会議の主要発言者を判定し、サーバ装置３の映像表示制御部２２が、主要発言者判定部２１の判定結果に基づいて、第１の主要発言者と第２の主要発言者を特定する。そして映像表示制御部２２は、第１の主要発言者と第２の主要発言者の映像が左右異なる位置に表示されるように他地点の表示装置１１を制御し、第２の主要発言者の映像が他地点の表示装置１１における第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように第１の主要発言者がいる地点の表示装置１１を制御し、第１の主要発言者の映像が他地点の表示装置１１における第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように第２の主要発言者がいる地点の表示装置１１を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の地点にいる出席者間でビデオ会議を行うためのビデオ会議システム，サーバ装置，及びビデオ会議プログラムに関する。
【背景技術】
【０００２】
従来より、撮像装置と表示装置を用いて複数の地点にいる出席者の映像を撮影及び伝送することにより、複数の地点にいる出席者間でビデオ会議を行うビデオ会議システムが知られている。このようなビデオ会議システムでは、同じ会議を行っているという臨場感を出席者に与えるために、出席者の視線を互いに一致させることが重要な課題である。
【０００３】
このような背景から、複数の通信先の映像を１つの画面に合成して表示する表示装置と、会話中の通信先の映像と視線が一致する角度から通信元の正面の映像を撮影する複数の正面用撮像装置と、会話中の出席者同士の視線が一致する角度から通信元の横顔の映像を撮影する複数の横顔用撮像装置を備えるビデオ会議システムが提案されている（特許文献１参照）。
【０００４】
このビデオ会議システムは、出席者（通信元）がどの通信先の出席者と会話をしているのかを検出する。そしてビデオ会議システムは、検出結果に応じて、複数の正面用撮像装置により撮影された映像のうちの対応する映像を会話中の通信先に送信し、複数の横顔用撮像装置により撮影された映像のうちの対応する映像を会話中の通信先以外の通信先に送信する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のビデオ会議システムによれば、少なくとも｛（ビデオ会議の出席者数−１）×２｝台の撮像装置を出席者がいる各地点に設置しなければならないために、出席者数の増加に伴い撮像装置の必要設置台数が増加し、ビデオ会議を安価に行うことが困難になる。
【０００６】
本発明は、上記に鑑みてなされたものであって、その目的は、ビデオ会議を安価に行うことが可能なビデオ会議システム，サーバ装置，及びビデオ会議プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、ビデオ会議の出席者がいる地点毎に配置された複数のビデオ会議端末装置と、電気通信回線を介して複数のビデオ会議端末装置に接続されたサーバ装置とを備え、各ビデオ会議端末装置は、少なくとも２地点の他の出席者の映像を左右異なる位置に表示する表示装置と、表示装置の表示画面に対面する出席者の映像を撮影する撮像装置とを備え、サーバ装置は、ビデオ会議の主要発言者を判定する主要発言者判定部と、表示装置が表示する出席者の映像を制御する映像表示制御部とを備え、映像表示制御部は、主要発言者判定部の判定結果に基づいて第１及び第２の主要発言者を特定し、撮像装置により撮影された第１の主要発言者と前記第２の主要発言者の映像が左右異なる位置に表示されるように、第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置を制御し、撮像装置により撮影された第２の主要発言者の映像が、第１及び第２の主要発言者以外の出席者がいる地点の表示装置における、第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第１の主要発言者がいる地点の表示装置を制御し、撮像装置により撮影された第１の主要発言者の映像が、第１及び第２の主要発言者以外の出席者がいる地点の表示装置における、第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第２の主要発言者がいる地点の表示装置を制御する。
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、複数の地点にいるビデオ会議の出席者の中からビデオ会議の主要発言者を判定する主要発言者判定部と、ビデオ会議の出席者がいる地点毎に配置された表示装置に表示させる出席者の映像を制御する映像表示制御部とを備え、映像表示制御部は、主要発言者判定部の判定結果に基づいて第１及び第２の主要発言者を特定し、第１の主要発言者と第２の主要発言者の映像が左右異なる位置に表示されるように、第１及び第２の主要発言者以外の出席者がいる地点の表示装置を制御し、第２の主要発言者の映像が、第１及び第２の主要発言者以外の出席者がいる地点の表示装置における、第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第１の主要発言者がいる地点の表示装置を制御し、第１の主要発言者の映像が、第１及び第２の主要発言者以外の出席者がいる地点の表示装置における、第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第２の主要発言者がいる地点の表示装置を制御する。
【０００９】
上述した課題を解決し、目的を達成するために、本発明は、複数の地点にいるビデオ会議の出席者の中からビデオ会議の主要発言者を判定する主要発言者判定ステップと、ビデオ会議の出席者がいる地点毎に配置された表示装置に表示させる出席者の映像を制御する映像表示制御ステップとをコンピュータに実行させ、映像表示制御ステップは、主要発言者判定ステップの結果に基づいて第１及び第２の主要発言者を特定するステップと、第１の主要発言者と第２の主要発言者の映像が左右異なる位置に表示されるように、第１及び第２の主要発言者以外の出席者がいる地点の表示装置を制御するステップと、第２の主要発言者の映像が、第１及び第２の主要発言者以外の出席者がいる地点の表示装置における、第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第１の主要発言者がいる地点の表示装置を制御するステップと、第１の主要発言者の映像が、第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第２の主要発言者がいる地点の表示装置を制御するステップとを含む。
【発明の効果】
【００１０】
本発明によれば、撮像装置の必要設置台数がビデオ会議の出席者数に依存しなくなるので、ビデオ会議を安価に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施形態となるビデオ会議システムの構成を示すブロック図である。
【図２】図２は、図１に示す表示装置の画面構成を示す模式図である。
【図３】図３は、図１に示す左カメラと右カメラのレイアウトを示す模式図である。
【図４】図４は、図１に示す主要発言者判定部の内部構成を示すブロック図である。
【図５】図５は、図１に示す表示装置の表示出力例を示す模式図である。
【図６】図６（ａ）は、出席者が右画面領域を見ている際に右カメラにより撮影される映像を説明するための図、図６（ｂ）は、出席者が右画面領域を見ている際に左カメラにより撮影される映像を説明するための図、図６（ｃ）は、出席者が左画面領域を見ている際に右カメラにより撮影される映像を説明するための図、図６（ｄ）は、出席者が左画面領域を見ている際に左カメラにより撮影される映像を説明するための図である。
【図７】図７は、地点Ｐ１〜Ｐ４の表示装置に表示される出席者の映像の一例を示す模式図である。
【図８】図８は、映像表示制御処理の流れを示すフローチャート図である。
【図９】図９は、図８に示すステップＳ４の処理のサブルーチンを示すフローチャート図である。
【図１０】図１０は、図８に示すステップＳ５の処理のサブルーチンを示すフローチャート図である。
【図１１】図１１は、図１０に示すステップＳ２３の処理のサブルーチンを示すフローチャート図である。
【図１２】図１２は、図１０に示すステップＳ２４の処理のサブルーチンを示すフローチャート図である。
【図１３】図１３は、図１０に示すステップＳ２５の処理のサブルーチンを示すフローチャート図である。
【図１４】図１４は、図８に示すステップＳ６の処理のサブルーチンを示すフローチャート図である。
【図１５】図１５は、図８に示すステップＳ８の処理のサブルーチンを示すフローチャート図である。
【図１６】図１６は、他地点ｎにいる出席者，第１の主要発言者，及び第２の主要発言者の表示装置の表示画面例を示す模式図である。
【図１７】図１７は、主要発言者の変化に伴う表示画面の変化の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施形態となるビデオ会議システムの構成及びその動作について説明する。
【００１３】
〔ビデオ会議システムの構成〕
始めに、図１を参照して、本発明の実施形態となるビデオ会議システムの構成について説明する。
【００１４】
本発明の実施形態となるビデオ会議システム１は、図１に示すように、ビデオ会議の出席者がいる地点毎に設けられたビデオ会議端末装置２と、ビデオ会議端末装置２の動作を制御するサーバ装置３とを備え、ビデオ会議端末装置２とサーバ装置３は、電気通信回線４を介して相互に情報通信可能なように構成されている。
【００１５】
〔ビデオ会議端末装置の構成〕
ビデオ会議端末装置２は、表示装置１１と撮像装置１２を備える。表示装置１１は、液晶ディスプレイ装置やCRT(Cathode Ray Tube)装置等の公知の表示装置により構成され、図２に示すように、左画面領域３１，右画面領域３２，下画面領域３３，及び発言率表示領域３４，３５を有する。左画面領域３１，右画面領域３２，及び下画面領域３３は、サーバ装置３から送信されたビデオ会議の出席者の映像を表示する。本実施形態では、左画面領域３２と右画面領域３３は、図３に示すように、それぞれの中心位置から表示画面の中心位置までの距離（図３に示す距離ａ）が同じになる位置に配置されている。
【００１６】
発言率表示領域３４及び発言率表示領域３５はそれぞれ、左画面領域３１及び右画面領域３２に表示されている出席者の発言時間のビデオ会議時間中に占める割合（発言率）を表示する。本実施形態では、発言率表示領域３４，３５に表示されている黒色のバーの長さが出席者の発言率を示す。すなわち本実施形態では、黒色のバーが発言率表示領域３４，３５に表示されていない場合、出席者の発言率は０％となり、黒色のバーが発言率表示領域３４，３５の左端から右端まで表示されている場合には、出席者の発言率は１００％となる。
【００１７】
撮像装置１２は、表示装置１１に対面している出席者（操作者）の映像を撮影する左カメラ１２ａと右カメラ１２ｂを有する。左カメラ１２ａは、図３に示すように、操作者が左画面領域３１に表示されている出席者の映像を見ている時の視線方向と撮像方向がなす角度がθとなる位置に配置され、操作者の正面近くの映像を角度θで撮影する。一方、右カメラ１２ｂは、操作者が左画面領域３１に表示されている出席者の映像を見ている時の視線方向と撮像方向がなす角度がβとなる位置に配置され、左画面領域３１を見ている操作者の横顔の映像を角度βで撮影する。
【００１８】
左画面領域３１又は右画面領域３２に表示されている出席者の視線と操作者の視線を一致させるためには、角度θが可能な限り小さくなるように左カメラ１２ａ及び右ガメラ１２ｂを配置することが望ましい。また操作者の横顔を正しく撮影するためには、角度βが６０〜９０°の範囲内に収まるように左カメラ１２ａ及び右カメラ１２ｂを配置することが望ましい。但し、操作者の正面映像と横顔映像を区別しやすくするためには、角度βが角度θの少なくとも２倍以上であることが望ましい。
【００１９】
〔サーバ装置の構成〕
サーバ装置３は、ワークステーション等の公知の情報処理装置により構成され、主要発言者判定部２１と映像表示制御部２２を備える。主要発言者判定部２１と映像表示制御部２２の機能は、情報処理装置内部のCPU(Central Processing Unit)が記憶媒体からビデオ会議プログラムを読み出して実行することにより、サーバ装置３上で実現されるようになっている。
【００２０】
上記ビデオ会議プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM，フレキシブルディスク（FD），CD-R，DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。またビデオ会議プログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またビデオ会議プログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。またビデオ会議プログラムをROM等に予め組み込んで提供するように構成してもよい。
【００２１】
主要発言者判定部２１は、図４に示すように、音量検出部４１，音量履歴記憶部４２，主要発言書特定部４３，及び発言時間計算部４４を含む。音量検出部４１は、ビデオ会議の出席者がいる各地点のビデオ会議端末装置２から出席者の映像を受信し、受信した映像情報に基づいて各出席者の発話音量を検出する。音量履歴記憶部４２は、音量検出部４１により検出された各出席者の発話音量を単位時間毎に記憶する。主要発言者特定部４３は、音量履歴記憶部４２に記憶されている各出席者の単位時間毎の発話音量に基づいて所定時間内の平均発話音量（例えば最近５〜１０秒間の平均発話音量）を算出し、算出された平均発話音量が最も大きい出席者を主要発言者として特定する。発言時間計算部４４は、音量履歴記憶部４２に記憶されている各出席者の単位時間毎の発話音量に基づいて各出席者の発言率を算出する。
【００２２】
映像表示制御部２２は、主要発言者判定部２１（主要発言者特定部４３及び発言時間計算部４４）の処理結果に基づいて、各地点の表示装置１１に表示する映像や情報を制御する。詳しくは後述するが、地点Ｐ１〜Ｐ４にいる出席者間でビデオ会議を行っている場合において、地点Ｐ１の出席者が地点Ｐ２の出席者と会話をしている時には、映像表示制御部２２は、例えば図５に示すように、地点Ｐ１の表示装置１１の左画面領域３１及び右画面領域３２にそれぞれ地点Ｐ２及び地点Ｐ３の出席者の映像を表示する。
【００２３】
出席者が右画面領域３２を見ている場合、右カメラ１２ｂは図６（ａ）に示すような出席者が小さく左を向いている映像を撮影し、左カメラ１２ａは図６（ｂ）に示すような出席者が大きく左を向いている映像を撮影する。一方、出席者が左画面領域３１を見ている場合には、右カメラ１２ｂは図６（ｃ）に示すような出席者が大きく右を向いている映像を撮影し、左カメラ１２ａは図６（ｄ）に示すような出席者が小さく右を向いている映像を撮影する。
【００２４】
従って、地点Ｐ１の出席者が地点Ｐ２の出席者と会話をしている場合、映像表示制御部２２は、図７に示すように、地点Ｐ１の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｐ２の出席者が小さく右を向いている映像及び地点Ｐ３の出席者が大きく左を向いている映像を表示する。また映像表示制御部２２は、地点Ｐ２の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｐ４の出席者が大きく右を向いている映像及び地点Ｐ１の出席者が小さく左を向いている映像を表示する。また映像表示制御部２２は、地点Ｐ３及び地点Ｐ４の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｐ１の出席者が大きく右を向いている映像及び地点Ｐ２の出席者が大きく左を向いている映像を表示する。
【００２５】
〔映像表示制御処理〕
このようなビデオ会議システム１では、サーバ装置３が以下に示す映像表示制御処理を実行することにより、ビデオ会議を安価に行うことを可能にする。以下、図８に示すフローチャートを参照して、この映像表示制御処理を実行する際のサーバ装置３の動作について説明する。
【００２６】
図８に示すフローチャートは、サーバ装置３に対しビデオ会議の開始が指示されたタイミングで開始となり、映像表示制御処理はステップＳ１の処理に進む。
【００２７】
ステップＳ１の処理では、映像表示制御部２２が、映像表示制御処理の初期設定を実行する。具体的には、映像表示制御部２２は、ビデオ会議の主催者によって入力されたビデオ会議の出席者の主要順序に基づいて、主要順序が１番目の出席者を「第１の主要発言者」，主要順序が２番目の出席者を「第２の主要発言者」，主要順序が３番目の出席者がいる地点を「デフォルト地点」に設定する。
【００２８】
映像表示制御部２２は、「第１の主要発言者」の表示装置１１の左画面領域３１及び右画面領域３２にそれぞれ右カメラ１２ｂにより撮影された「第２の主要発言者」の映像及び左カメラ１２ａにより撮影された「デフォルト地点」にいる出席者の映像を表示するように「第１の主要発言者」の表示装置１１の表示画面を設定する。映像表示制御部２２は、「第２の主要発言者」の表示装置１１の左画面領域３１及び右画面領域３２にそれぞれ右カメラ１２ｂにより撮影された「デフォルト地点」にいる出席者の映像及び左カメラ１２ａにより撮影された「第１の主要発言者」の映像を表示するように「第２の主要発言者」の表示装置１１の表示画面を設定する。
【００２９】
映像表示制御部２２は、「第１の主要発言者」と「第２の主要発言者」以外の出席者（「デフォルト地点」を含む「他地点」にいる出席者）の表示装置１１の左画面領域３１及び右画面領域３２にそれぞれ右カメラ１２ｂにより撮影された「第１の主要発言者」の映像及び左カメラ１２ａにより撮影された「第２の主要発言者」の映像を表示するように「他地点」の表示装置１１の表示画面を設定する。そして映像表示制御部２２は、各出席者について設定した情報、すなわち「第１の主要発言者」，「第２の主要発言者」，「デフォルト地点」，及び「他地点」の種別を示す分類情報と、表示装置１１の左画面領域３１及び右画面領域３２に表示する映像を示す表示情報を各出席者の属性情報として記憶する。これにより、ステップＳ１の処理は完了し、映像表示制御処理はステップＳ２の処理に進む。
【００３０】
ステップＳ２の処理では、映像表示制御部２２が、主要発言者判定部２１から主要発言者の情報を取得する。これにより、ステップＳ２の処理は完了し、映像表示制御処理はステップＳ３の処理に進む。
【００３１】
ステップＳ３の処理では、映像表示制御部２２が、出席者の属性情報とステップＳ２の処理により取得した主要発言者の情報とを比較することにより、主要発言者が変化したか否かを判別する。判別の結果、主要発言者が変化していない場合、映像表示制御部２２は映像表示制御処理をステップＳ７の処理に進める。一方、主要発言者が変化した場合には、映像表示制御部２２は映像表示制御処理をステップＳ４の処理に進める。
【００３２】
ステップＳ４の処理では、映像表示制御部２２が、新しい主要発言者（「第１の主要発言者」と「第２の主要発言者」）を特定し、特定結果に基づいて各出席者の属性情報を更新する（主要発言者特定処理）。この主要発言者特定処理の詳細については、図９に示すフローチャートを参照して後述する。これにより、ステップＳ４の処理は完了し、映像表示制御処理はステップＳ５の処理に進む。
【００３３】
ステップＳ５の処理では、映像表示制御部２２が、ステップＳ４の処理により更新された各出席者の属性情報に従って、各出席者の表示装置１１の左画面領域３１及び右画面領域３２に映像を表示する出席者を決定する（映像表示地点決定処理）。この映像表示地点決定処理の詳細については、図１０乃至図１３に示すフローチャートを参照して後述する。これにより、ステップＳ５の処理は完了し、映像表示制御処理はステップＳ６とステップＳ７の処理に進む。
【００３４】
ステップＳ６の処理では、映像表示制御部２２が、ステップＳ５の処理結果に基づいて、各出席者の表示装置１１の左画面領域３１及び右画面領域３２に表示する出席者の映像（左カメラ１２ａ又は右カメラ１２ｂにより撮影された映像）を特定する（映像特定処理）。この映像特定処理の詳細については図１４に示すフローチャートを参照して後述する。これにより、ステップＳ６の処理は完了し、映像表示制御処理はステップＳ８の処理に進む。
【００３５】
ステップＳ７の処理では、映像表示制御部２２が、主要発言者判定部２１から「第１の主要発言者」，「第２の主要発言者」，及び「デフォルト地点」にいる出席者の発言率に関する情報を取得する。これにより、ステップＳ７の処理は完了し、映像表示制御処理はステップＳ８の処理に進む。
【００３６】
ステップＳ８の処理では、映像表示制御部２２が、ステップＳ６の処理結果に基づいて各地点の表示装置１１に送信する映像を選択し、ステップＳ７の処理により取得した発言率に関する情報と共に選択された映像を各地点の表示装置１１に送信する（情報送信処理）。この情報送信処理の詳細については、図１５に示すフローチャートを参照して後述する。これにより、ステップＳ８の処理は完了し、映像表示制御処理はステップＳ９の処理に進む。
【００３７】
ステップＳ９の処理では、映像表示制御部２２が、ビデオ会議の終了指示が入力されたか否かを判別する。判別の結果、ビデオ会議の終了指示が入力されていない場合、映像表示制御部２２は映像表示制御処理をステップＳ２の処理に戻す。一方、ビデオ会議の終了指示が入力された場合には、映像表示制御部２２は一連の映像表示制御処理を終了する。
【００３８】
〔主要発言者特定処理〕
次に、図９に示すフローチャートを参照して、上記ステップＳ４の主要発言者特定処理について詳しく説明する。
【００３９】
図９に示すフローチャートは、ステップＳ３の処理において主要発言者が変化したと判別されたタイミングで開始となり、主要発言者特定処理はステップＳ１１の処理に進む。
【００４０】
ステップＳ１１の処理では、映像表示制御部２２が、各出席者の属性情報を読み出す。これにより、ステップＳ１１の処理は完了し、主要発言者特定処理はステップＳ１２の処理に進む。
【００４１】
ステップＳ１２の処理では、映像表示制御部２２が、属性情報内の分類情報を元分類情報（主要発言者が変化する前の各出席者の属性情報）に置き換える。これにより、ステップＳ１２の処理は完了し、主要発言者特定処理はステップＳ１３の処理に進む。
【００４２】
ステップＳ１３の処理では、映像表示制御部２２が、元分類情報で「第２の主要発言者」に分類されている出席者の分類情報を「第１の主要発言者」に設定する。これにより、ステップＳ１３の処理は完了し、主要発言者特定処理はステップＳ１４の処理に進む。
【００４３】
ステップＳ１４の処理では、映像表示制御部２２が、新しい主要発言者の分類情報を「第２の主要発言者」に設定する。これにより、ステップＳ１４の処理は完了し、主要発言者特定処理はステップＳ１４の処理は完了し、主要発言者特定処理はステップＳ１５の処理に進む。
【００４４】
ステップＳ１５の処理では、映像表示制御部２２が、ステップＳ１３とステップＳ１４の処理により「第１の主要発言者」及び「第２の主要発言者」に設定された出席者と元分類情報において「第１の主要発言者」及び「デフォルト地点」にいる出席者に設定されている出席者を除く出席者の中で、初期設定処理において設定された主要順位が最も高い出席者の分類情報を「デフォルト地点」に設定する。これにより、ステップＳ１５の処理は完了し、主要発言者特定処理はステップＳ１６の処理に進む。
【００４５】
ステップＳ１６の処理では、映像表示制御部２２が、ステップＳ１５の処理により「デフォルト地点」にいる出席者に分類された出席者を含む「第１の主要発言者」と「第２の主要発言者」以外の出席者の分類情報を「他地点」に設定する。これにより、ステップＳ１６の処理は完了し、主要発言者特定処理はステップＳ１７の処理に進む。
【００４６】
ステップＳ１７の処理では、映像表示制御部２２が、ステップＳ１２乃至ステップＳ１６の処理結果に基づいて、各出席者の属性情報を更新する。これにより、ステップＳ１７の処理は完了し、一連の主要発言者特定処理は完了する。
【００４７】
〔映像表示地点決定処理〕
次に、図１０に示すフローチャートを参照して、上記ステップＳ５の映像表示地点決定処理について詳しく説明する。
【００４８】
図１０に示すフローチャートは、ステップＳ４の処理が完了したタイミングで開始となり、映像表示地点決定処理はステップＳ２１の処理に進む。
【００４９】
ステップＳ２１の処理では、映像表示制御部２２が、各出席者の属性情報を読み出す。これにより、ステップＳ２１の処理は完了し、映像表示地点決定処理はステップＳ２２の処理に進む。
【００５０】
ステップＳ２２の処理では、映像表示制御部２２が、ステップＳ２１の処理により読み出された属性情報から各出席者の分類情報，元分類情報、及び表示情報を抽出する。これにより、ステップＳ２２の処理は完了し、映像表示地点決定処理はステップＳ２３の処理に進む。
【００５１】
ステップＳ２３の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された分類情報及び表示情報に基づいて、「他地点」の表示装置１１に映像を表示する出席者の地点を決定する（第１表示地点決定処理）。この第１表示地点決定処理の詳細については、図１１に示すフローチャートを参照して後述する。これにより、ステップＳ２３の処理は完了し、映像表示地点決定処理はステップＳ２４の処理に進む。
【００５２】
ステップＳ２４の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された分類情報及び表示情報に基づいて、「第１の主要発言者」の表示装置１１に映像を表示する出席者の地点を決定する（第２表示地点決定処理）。この第２表示地点決定処理の詳細については、図１２に示すフローチャートを参照して後述する。これにより、ステップＳ２４の処理は完了し、映像表示地点決定処理はステップＳ２５の処理に進む。
【００５３】
ステップＳ２５の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された分類情報及び表示情報に基づいて、「第２の主要発言者」の表示装置１１に映像を表示する出席者の地点を決定する（第３表示地点決定処理）。この第３表示地点決定処理の詳細については、図１３に示すフローチャートを参照して後述する。これにより、ステップＳ２５の処理は完了し、一連の映像表示地点決定処理は完了する。
〔第１表示地点決定処理〕
次に、図１１に示すフローチャートを参照して、上記ステップＳ２３の第１表示地点決定処理について詳しく説明する。
【００５４】
図１１に示すフローチャートは、ステップＳ２２の処理が完了したタイミングで開始となり、第１表示地点決定処理はステップＳ３１の処理に進む。
【００５５】
ステップＳ３１の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された表示情報に基づいて、「第１の主要発言者」の映像が表示されている画面領域（左画面領域３１又は右画面領域３２）を検出する。これにより、ステップＳ３１の処理は完了し、第１表示地点決定処理はステップＳ３２の処理に進む。
【００５６】
ステップＳ３２の処理では、映像表示制御部２２が、ステップＳ３１の処理により検出された画面領域とは反対の画面領域に「第２の主要発言者」の映像を表示するように表示画面を設定する。これにより、ステップＳ３２の処理は完了し、第１表示地点決定処理はステップＳ３３の処理に進む。
【００５７】
ステップＳ３３の処理では、映像表示制御部２２が、ステップＳ３２の処理により「第２の主要発言者」の映像を表示する画面と設定された画面領域とは反対の画面領域に「第１の主要発言者」の映像を表示するように表示画面を設定する。これにより、ステップＳ３３の処理は完了し、第１表示地点決定処理はステップＳ３４の処理に進む。
【００５８】
ステップＳ３４の処理では、映像表示制御部２２が、ステップＳ３２，Ｓ３３の処理結果に基づいて、「他地点」にいる出席者として分類されている出席者の表示情報（属性情報）を更新する。これにより、ステップＳ３４の処理は完了し、一連の第１表示地点決定処理は終了する。
〔第２表示地点決定処理〕
次に、図１２に示すフローチャートを参照して、上記ステップＳ２４の第２表示地点決定処理について詳しく説明する。
【００５９】
図１２に示すフローチャートは、ステップＳ２３の処理が完了したタイミングで開始となり、第２表示地点決定処理はステップＳ４１の処理に進む。
【００６０】
ステップＳ４１の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された表示情報に基づいて、「第２の主要発言者」の映像が表示されている画面領域（左画面領域３１又は右画面領域３２）を検出する。これにより、ステップＳ４１の処理は完了し、第２表示地点決定処理はステップＳ４２の処理に進む。
【００６１】
ステップＳ４２の処理では、映像表示制御部２２が、ステップＳ４１の処理により検出された画面領域とは反対の画面領域に「第２の主要発言者」の映像を表示するように表示画面を設定する。これにより、ステップＳ４２の処理は完了し、第２表示地点決定処理はステップＳ４３の処理に進む。
【００６２】
ステップＳ４３の処理では、映像表示制御部２２が、ステップＳ４２の処理により「第２の主要発言者」の映像を表示する画面と設定された画面領域とは反対の画面領域に「デフォルト地点」にいる出席者の映像を表示するように表示画面を設定する。これにより、ステップＳ４３の処理は完了し、第２表示地点決定処理はステップＳ４４の処理に進む。
【００６３】
ステップＳ４４の処理では、映像表示制御部２２が、ステップＳ４２，Ｓ４３の処理結果に基づいて、「第１の主要発言者」に分類されている出席者の表示情報（属性情報）を更新する。これにより、ステップＳ４４の処理は完了し、一連の第２表示地点決定処理は終了する。
〔第３表示地点決定処理〕
次に、図１３に示すフローチャートを参照して、上記ステップＳ２５の第３表示地点決定処理について詳しく説明する。
【００６４】
図１３に示すフローチャートは、ステップＳ２４の処理が完了したタイミングで開始となり、第３表示地点決定処理はステップＳ５１の処理に進む。
【００６５】
ステップＳ５１の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された表示情報に基づいて、「第１の主要発言者」の映像が表示されている画面領域（左画面領域３１又は右画面領域３２）を検出する。これにより、ステップＳ５１の処理は完了し、第３表示地点決定処理はステップＳ５２の処理に進む。
【００６６】
ステップＳ５２の処理では、映像表示制御部２２が、ステップＳ５１の処理により検出された画面領域とは反対の画面領域に「第１の主要発言者」の映像を表示するように表示画面を設定する。これにより、ステップＳ５２の処理は完了し、第３表示地点決定処理はステップＳ５３の処理に進む。
【００６７】
ステップＳ５３の処理では、映像表示制御部２２が、ステップＳ５２の処理により「第１の主要発言者」の映像を表示する画面と設定された画面領域に対して反対の画面領域に「デフォルト地点」にいる出席者の映像を表示するように表示画面を設定する。これにより、ステップＳ５３の処理は完了し、第３表示地点決定処理はステップＳ５４の処理に進む。
【００６８】
ステップＳ５４の処理では、映像表示制御部２２が、ステップＳ５２，Ｓ５３の処理結果に基づいて、「第２の主要発言者」に分類されている出席者の表示情報（属性情報）を更新する。これにより、ステップＳ５４の処理は完了し、一連の第３表示地点決定処理は終了する。
〔映像特定処理〕
次に、図１４に示すフローチャートを参照して、上記ステップＳ６の映像特定処理について詳しく説明する。
【００６９】
図１４に示すフローチャートは、ステップＳ５の処理が完了したタイミングで開始となり、映像表示地点決定処理はステップＳ６１の処理に進む。
【００７０】
ステップＳ６１の処理では、映像表示制御部２２が、各出席者の属性情報を読み出す。これにより、ステップＳ６１の処理は完了し、映像特定処理はステップＳ６１の処理に進む。
【００７１】
ステップＳ６２の処理では、映像表示制御部２２が、ステップＳ６１の処理により読み出された属性情報から各出席者の分類情報，元分類情報、及び表示情報を抽出する。これにより、ステップＳ６２の処理は完了し、映像特定処理はステップＳ６３の処理に進む。
【００７２】
ステップＳ６３の処理では、映像表示制御部２２が、「第２の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「第２の主要発言者」の映像を、「第１の主要発言者」の表示装置１１に表示する「第２の主要発言者」の映像に設定する。これにより、ステップＳ６３の処理は完了し、映像特定処理はステップＳ６４の処理に進む。
【００７３】
ステップＳ６４の処理では、映像表示制御部２２が、「第１の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「第１の主要発言者」の映像を、「第２の主要発言者」の表示装置１１に表示する「第１の主要発言者」の映像に設定する。これにより、ステップＳ６４の処理は完了し、映像特定処理はステップＳ６５の処理に進む。
【００７４】
ステップＳ６５の処理では、映像表示制御部２２が、「第２の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「第１の主要発言者」の映像を、「他地点」の表示装置１１に表示する「第１の主要発言者」の映像に設定する。これにより、ステップＳ６５の処理は完了し、映像特定処理はステップＳ６６の処理に進む。
【００７５】
ステップＳ６６の処理では、映像表示制御部２２が、「第１の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「第２の主要発言者」の映像を、「他地点」の表示装置１１に表示する「第２の主要発言者」の映像に設定する。これにより、ステップＳ６６の処理は完了し、映像特定処理はステップＳ６７の処理に進む。
【００７６】
ステップＳ６７の処理では、映像表示制御部２２が、ステップＳ６２の処理により抽出された分類情報に基づいて、「デフォルト地点」にいる出席者として分類された出席者を検出する。これにより、ステップＳ６７の処理は完了し、映像特定処理はステップＳ６８の処理に進む。
【００７７】
ステップＳ６８の処理では、映像表示制御部２２が、「第１の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「デフォルト地点」にいる出席者の映像を、「第１の主要発言者」の表示装置１１に表示する「デフォルト地点」にいる出席者の映像に設定する。これにより、ステップＳ６８の処理は完了し、映像特定処理はステップＳ６９の処理に進む。
【００７８】
ステップＳ６９の処理では、映像表示制御部２２が、「第２の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「デフォルト地点」にいる出席者の映像を、「第２の主要発言者」の表示装置１１に表示する「デフォルト地点」にいる出席者の映像に設定する。これにより、ステップＳ６８の処理は完了し、映像特定処理はステップＳ６９の処理に進む。
【００７９】
ステップＳ７０の処理では、映像表示制御部２２が、「第１の主要発言者」，「第２の主要発言者」，及び「デフォルト地点」にいる出席者以外の出席者の両側にある撮像装置により撮影された映像を、「第１の主要発言者」及び「第２の主要発言者」の表示装置１１の下画面領域３３に表示する出席者の映像に設定する。これにより、ステップＳ７０の処理は完了し、映像特定処理はステップＳ７１の処理に進む。
【００８０】
ステップＳ７１の処理では、映像表示制御部２２が、「第１の主要発言者」，「第２の主要発言者」，及び「他地点ｎ」にいる出席者以外の出席者の両側にある撮像装置により撮影された映像を、「他地点ｎ」の表示装置１１の下画面領域３３に表示する出席者の映像に設定する。これにより、ステップＳ７１の処理は完了し、一連の映像特定処理は終了する。
【００８１】
〔情報送信処理〕
最後に、図１５に示すフローチャートを参照して、ステップＳ８の情報送信処理について詳しく説明する。
【００８２】
図１５に示すフローチャートは、ステップＳ６，７の処理が完了したタイミングで開始となり、情報送信処理はステップＳ８１の処理に進む。
【００８３】
ステップＳ８１の処理では、映像表示制御部２２が、各出席者の撮像装置１２の左カメラ１２ａ及び右カメラ１２ｂにより撮影された映像を受信する。これにより、ステップＳ８１の処理は完了し、情報送信処理はステップＳ８２の処理に進む。
【００８４】
ステップＳ８２の処理では、映像表示制御部２２が、ステップＳ６の処理により設定された情報とステップＳ７の処理により取得された発言率の情報を取得する。これにより、ステップＳ８２の処理は完了し、情報送信処理はステップＳ８３の処理に進む。
【００８５】
ステップＳ８３の処理では、映像表示制御部２２が、ステップＳ８２の処理により取得した情報に基づいて、ステップＳ８１の処理により受信した映像の中から各出席者の表示装置１１に送信する映像を選択する。これにより、ステップＳ８３の処理は完了し、情報送信処理はステップＳ８４の処理に進む。
【００８６】
ステップＳ８４の処理では、映像表示制御部２２が、ステップＳ８３の処理結果に基づいて、左映像領域３１，右映像領域３２，及び下映像領域３３に表示する映像を発言率に関する情報と共に各出席者の表示装置１１に送信する。具体的には、図１６に示すように、他地点ｎの表示装置１１の左画面領域３１及び右画面領域３２にそれぞれ「第１の主要発言者」及び「第２の主要発言者」の映像を表示する場合、映像表示制御部２２は、「第２の主要発言者」（「第１の主要発言者」）の映像が表示されている右画面領域３２（左画面領域３１）と同じ側に設定されている右カメラ１２ｂ（左カメラ１２ａ）により撮影された「第１の主要発言者」（「第２の主要発言者」）の映像を「第２に主要発言者」（第１の主要発言者）の表示装置１１に表示する「第１の主要発言者」（「第２の主要発言者」）の映像として送信する。また他地点ｎが「デフォルト地点」でない場合、映像表示制御部２２は、他地点ｎの左カメラ１２ａ及び右カメラ１２ｂにより撮影された映像を各地点に送信し、他地点ｎが「デフォルト地点」である場合には、「第１の主要発言者」の映像が表示されている左画面領域３１と同じ側に設定されている左カメラ１２ａにより撮影された他地点ｎにいる出席者の映像を「第１の主要発言者」及び「第２の主要発言者」の表示装置１１に表示する「デフォルト地点」にいる出席者の映像として送信する。これにより、ステップＳ８４の処理は完了し、一連の情報送信処理は終了する。
【００８７】
以上の映像表示制御処理をより具体的に説明すると以下のようになる。いま地点Ａ〜Ｆにいる出席者間でビデオ会議を行う場合を考える。初期化処理においてビデオ会議の主催者が出席者の主要順序を地点Ｆ，地点Ｃ，地点Ａ，地点Ｄ，地点Ｂ，地点Ｅの順に設定したとすると、「第１の主要発言者」，「第２の主要発言者」，及び「デフォルト地点」にいる出席者は順に地点Ｆ，地点Ｃ，及び地点Ａにいる出席者となる。従ってこの段階では、図１７に示すように、他地点の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｃ及び地点Ｆの出席者の映像が表示され、「第１の主要発言者」の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ａ及び地点Ｃの出席者の映像が表示され、「第２の主要発言者」の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｆ及び地点Ａの出席者の映像が表示される。
【００８８】
次に、主要発言者が図１７に示すように地点Ｂ→地点Ｃ→地点Ｂ→地点Ｄ→地点Ｆ→地点Ａの順に変化したとすると、主要発言者が特定された段階で上述した出席者の分類（「第１の主要発言者」，「第２の主要発言者」，及び「デフォルト地点」にいる出席者）を元分類に置き換えた後、地点Ｃ及び地点Ｂにいる出席者をそれぞれ「第１の主要発言者」及び「第２の主要発言者」に分類する。そして他地点の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｃ及び地点Ｂの出席者の映像が表示され、「第１の主要発言者」の表示位置は変化させないようにする。また「第１の主要発言者」（地点Ｃにいる出席者）の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ「第２の主要発言者」（地点Ｂにいる出席者）及び「デフォルト地点」にいる出席者（地点Ｄにいる出席者）の映像が表示され、「第２の主要発言者」（地点Ｂにいる出席者）の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ「デフォルト地点にいる出席者」及び「第１の主要発言者」の映像が表示される。なおこの場合、「デフォルト地点」は、「第１の主要発言者」と「第２の主要発言者」を除いた（望ましくは元分類情報において「第１の主要発言者」及び「デフォルト地点」にいる出席者に分類された出席者をさらに除いた）出席者の中で主要順序が最も高い出席者がいる地点を示す。
【００８９】
次に、主要発言者が地点Ｂにいる出席者から地点Ｃにいる出席者に変化した場合、主要発言者が変化したタイミングで、主要発言者が地点Ｂにいる出席者である時の分類情報を元分類に置き換えた後、地点Ｂ及び地点Ｃにいる出席者をそれぞれ「第１の主要発言者」及び「第２の主要発言者」に分類する。そして他地点の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｃ及び地点Ｂの出席者の映像が表示される。また「第１の主要発言者」（地点Ｂにいる出席者）の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ「デフォルト地点」にいる出席者（地点Ｆにいる出席者）及び「第２の主要発言者」（地点Ｃにいる出席者）の映像が表示され、「第２の主要発言者」（地点Ｃにいる出席者）の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ「第１の主要発言者」及び「デフォルト地点にいる出席者」の映像が表示される。以下、同様の処理を繰り返す。
【００９０】
以上の説明から明らかなように、本発明の実施形態となるビデオ会議システム１では、サーバ装置３の主要発言者判定部２１が、ビデオ会議の主要発言者を判定し、サーバ装置３の映像表示制御部２２が、主要発言者判定部２１の判定結果に基づいて、「第１の主要発言者」と「第２の主要発言者」を特定する。そして映像表示制御部２２は、「第１の主要発言者」と「第２の主要発言者」の映像が左右異なる位置に表示されるように「他地点」の表示装置１１を制御し、「第２の主要発言者」の映像が「他地点」の表示装置１１における「第２の主要発言者」の映像表示位置とは異なる左右位置に表示されるように「第１の主要発言者」がいる地点の表示装置１１を制御し、「第１の主要発言者」の映像が「他地点」の表示装置１１における「第１の主要発言者」の映像表示位置とは異なる左右位置に表示されるように「第２の主要発言者」がいる地点の表示装置１１を制御する。
【００９１】
すなわち、本発明の実施形態となるビデオ会議システム１では、サーバ装置３の映像表示制御部２２が、主要発言者判定部２１により判定された主要発言者に基づいて、各地点の表示装置１１に映像を表示する出席者を決定する。そしてこのような構成によれば、撮像装置の必要設置台数がビデオ会議の出席者数に依存しなくなるので、ビデオ会議を安価に行うことができる。また会議の途中で出席者が増加した場合であっても、増えた出席者分の撮像装置を必ずしも追加する必要がないので、ビデオ会議を円滑に進行することができる。また特殊な広視野角の曲面スクリーン等の特別な装置を用いることなく、主要発言者が向き合っている視線一致映像を他の出席者の表示装置１１に表示させることができる。
【００９２】
また本発明の実施形態となるビデオ会議システム１では、映像表示制御部２２は、主要発言者が変化した場合、「第２の主要発言者」の映像を新たな主要発言者の映像に置き換えるように「他地点」の表示装置１１を制御する。このような構成によれば、主要発言者が変化したとしても、主要発言者が変化する前の「第１の主要発言者」の映像は同じ位置に表示されるので、出席者の表示位置の変化が小さくなり、ビデオ会議を円滑に進行させることができる。
【００９３】
また本発明の実施形態となるビデオ会議システム１では、主要発言者判定部２１は、ビデオ会議に出席している出席者の発話音量に基づいて、ビデオ会議の主要発言者を判定するので、主要発言者を正確に判定することができる。また本発明の実施形態となるビデオ会議システム１では、主要発言者判定部２１は、ビデオ会議の会議時間中に占める各出席者の発言時間の割合を各出席者の発言率として算出し、映像表示制御部２２は、表示装置１１に映像を表示する出席者の発言率に関する情報を主要発言者特定部２１から取得し、取得した発言率に関する情報を出席者の映像と共に表示するように表示装置１１を制御するので、出席者の発言を予想及び比較することが可能となり、操作者が適切な行動が行うことが可能となる。
【００９４】
また本発明の実施形態となるビデオ会議システム１では、撮像装置は、左カメラ１２ａ及び右カメラ１２ｂは、表示装置１１に表示されている２人の出席者の映像のうちの一方の映像を見ている時の操作者の視線方向と右カメラ１２ｂの撮像方向がなす角度βが、視線方向と左カメラ１２ａの撮像方向がなす角度θの少なくとも２倍以上、且つ、６０度以上乃至９０度以下の範囲内になる位置に配置されているので、主要発言者が向き合っている視線一致映像を正確に撮影することができる。
【００９５】
以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
【符号の説明】
【００９６】
１ ビデオ会議システム
２ ビデオ会議端末装置
３ サーバ装置
４ 電気通信回線
１１ 表示装置
１２ 撮像装置
１２ａ 左カメラ
１２ｂ 右カメラ
２１ 主要発言者判定部
２２ 映像表示制御部
３１ 左画面領域
３２ 右画面領域
３３ 下画面領域
３４，３５ 発言率表示領域
４１ 音量検出部
４２ 音量履歴記憶部
４３ 主要発言者特定部
４４ 発言時間計算部
【先行技術文献】
【特許文献】
【００９７】
【特許文献１】特許第３５８７１０６号公報
【技術分野】
【０００１】
本発明は、複数の地点にいる出席者間でビデオ会議を行うためのビデオ会議システム，サーバ装置，及びビデオ会議プログラムに関する。
【背景技術】
【０００２】
従来より、撮像装置と表示装置を用いて複数の地点にいる出席者の映像を撮影及び伝送することにより、複数の地点にいる出席者間でビデオ会議を行うビデオ会議システムが知られている。このようなビデオ会議システムでは、同じ会議を行っているという臨場感を出席者に与えるために、出席者の視線を互いに一致させることが重要な課題である。
【０００３】
このような背景から、複数の通信先の映像を１つの画面に合成して表示する表示装置と、会話中の通信先の映像と視線が一致する角度から通信元の正面の映像を撮影する複数の正面用撮像装置と、会話中の出席者同士の視線が一致する角度から通信元の横顔の映像を撮影する複数の横顔用撮像装置を備えるビデオ会議システムが提案されている（特許文献１参照）。
【０００４】
このビデオ会議システムは、出席者（通信元）がどの通信先の出席者と会話をしているのかを検出する。そしてビデオ会議システムは、検出結果に応じて、複数の正面用撮像装置により撮影された映像のうちの対応する映像を会話中の通信先に送信し、複数の横顔用撮像装置により撮影された映像のうちの対応する映像を会話中の通信先以外の通信先に送信する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のビデオ会議システムによれば、少なくとも｛（ビデオ会議の出席者数−１）×２｝台の撮像装置を出席者がいる各地点に設置しなければならないために、出席者数の増加に伴い撮像装置の必要設置台数が増加し、ビデオ会議を安価に行うことが困難になる。
【０００６】
本発明は、上記に鑑みてなされたものであって、その目的は、ビデオ会議を安価に行うことが可能なビデオ会議システム，サーバ装置，及びビデオ会議プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、ビデオ会議の出席者がいる地点毎に配置された複数のビデオ会議端末装置と、電気通信回線を介して複数のビデオ会議端末装置に接続されたサーバ装置とを備え、各ビデオ会議端末装置は、少なくとも２地点の他の出席者の映像を左右異なる位置に表示する表示装置と、表示装置の表示画面に対面する出席者の映像を撮影する撮像装置とを備え、サーバ装置は、ビデオ会議の主要発言者を判定する主要発言者判定部と、表示装置が表示する出席者の映像を制御する映像表示制御部とを備え、映像表示制御部は、主要発言者判定部の判定結果に基づいて第１及び第２の主要発言者を特定し、撮像装置により撮影された第１の主要発言者と前記第２の主要発言者の映像が左右異なる位置に表示されるように、第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置を制御し、撮像装置により撮影された第２の主要発言者の映像が、第１及び第２の主要発言者以外の出席者がいる地点の表示装置における、第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第１の主要発言者がいる地点の表示装置を制御し、撮像装置により撮影された第１の主要発言者の映像が、第１及び第２の主要発言者以外の出席者がいる地点の表示装置における、第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第２の主要発言者がいる地点の表示装置を制御する。
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、複数の地点にいるビデオ会議の出席者の中からビデオ会議の主要発言者を判定する主要発言者判定部と、ビデオ会議の出席者がいる地点毎に配置された表示装置に表示させる出席者の映像を制御する映像表示制御部とを備え、映像表示制御部は、主要発言者判定部の判定結果に基づいて第１及び第２の主要発言者を特定し、第１の主要発言者と第２の主要発言者の映像が左右異なる位置に表示されるように、第１及び第２の主要発言者以外の出席者がいる地点の表示装置を制御し、第２の主要発言者の映像が、第１及び第２の主要発言者以外の出席者がいる地点の表示装置における、第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第１の主要発言者がいる地点の表示装置を制御し、第１の主要発言者の映像が、第１及び第２の主要発言者以外の出席者がいる地点の表示装置における、第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第２の主要発言者がいる地点の表示装置を制御する。
【０００９】
上述した課題を解決し、目的を達成するために、本発明は、複数の地点にいるビデオ会議の出席者の中からビデオ会議の主要発言者を判定する主要発言者判定ステップと、ビデオ会議の出席者がいる地点毎に配置された表示装置に表示させる出席者の映像を制御する映像表示制御ステップとをコンピュータに実行させ、映像表示制御ステップは、主要発言者判定ステップの結果に基づいて第１及び第２の主要発言者を特定するステップと、第１の主要発言者と第２の主要発言者の映像が左右異なる位置に表示されるように、第１及び第２の主要発言者以外の出席者がいる地点の表示装置を制御するステップと、第２の主要発言者の映像が、第１及び第２の主要発言者以外の出席者がいる地点の表示装置における、第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第１の主要発言者がいる地点の表示装置を制御するステップと、第１の主要発言者の映像が、第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、第２の主要発言者がいる地点の表示装置を制御するステップとを含む。
【発明の効果】
【００１０】
本発明によれば、撮像装置の必要設置台数がビデオ会議の出席者数に依存しなくなるので、ビデオ会議を安価に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施形態となるビデオ会議システムの構成を示すブロック図である。
【図２】図２は、図１に示す表示装置の画面構成を示す模式図である。
【図３】図３は、図１に示す左カメラと右カメラのレイアウトを示す模式図である。
【図４】図４は、図１に示す主要発言者判定部の内部構成を示すブロック図である。
【図５】図５は、図１に示す表示装置の表示出力例を示す模式図である。
【図６】図６（ａ）は、出席者が右画面領域を見ている際に右カメラにより撮影される映像を説明するための図、図６（ｂ）は、出席者が右画面領域を見ている際に左カメラにより撮影される映像を説明するための図、図６（ｃ）は、出席者が左画面領域を見ている際に右カメラにより撮影される映像を説明するための図、図６（ｄ）は、出席者が左画面領域を見ている際に左カメラにより撮影される映像を説明するための図である。
【図７】図７は、地点Ｐ１〜Ｐ４の表示装置に表示される出席者の映像の一例を示す模式図である。
【図８】図８は、映像表示制御処理の流れを示すフローチャート図である。
【図９】図９は、図８に示すステップＳ４の処理のサブルーチンを示すフローチャート図である。
【図１０】図１０は、図８に示すステップＳ５の処理のサブルーチンを示すフローチャート図である。
【図１１】図１１は、図１０に示すステップＳ２３の処理のサブルーチンを示すフローチャート図である。
【図１２】図１２は、図１０に示すステップＳ２４の処理のサブルーチンを示すフローチャート図である。
【図１３】図１３は、図１０に示すステップＳ２５の処理のサブルーチンを示すフローチャート図である。
【図１４】図１４は、図８に示すステップＳ６の処理のサブルーチンを示すフローチャート図である。
【図１５】図１５は、図８に示すステップＳ８の処理のサブルーチンを示すフローチャート図である。
【図１６】図１６は、他地点ｎにいる出席者，第１の主要発言者，及び第２の主要発言者の表示装置の表示画面例を示す模式図である。
【図１７】図１７は、主要発言者の変化に伴う表示画面の変化の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施形態となるビデオ会議システムの構成及びその動作について説明する。
【００１３】
〔ビデオ会議システムの構成〕
始めに、図１を参照して、本発明の実施形態となるビデオ会議システムの構成について説明する。
【００１４】
本発明の実施形態となるビデオ会議システム１は、図１に示すように、ビデオ会議の出席者がいる地点毎に設けられたビデオ会議端末装置２と、ビデオ会議端末装置２の動作を制御するサーバ装置３とを備え、ビデオ会議端末装置２とサーバ装置３は、電気通信回線４を介して相互に情報通信可能なように構成されている。
【００１５】
〔ビデオ会議端末装置の構成〕
ビデオ会議端末装置２は、表示装置１１と撮像装置１２を備える。表示装置１１は、液晶ディスプレイ装置やCRT(Cathode Ray Tube)装置等の公知の表示装置により構成され、図２に示すように、左画面領域３１，右画面領域３２，下画面領域３３，及び発言率表示領域３４，３５を有する。左画面領域３１，右画面領域３２，及び下画面領域３３は、サーバ装置３から送信されたビデオ会議の出席者の映像を表示する。本実施形態では、左画面領域３２と右画面領域３３は、図３に示すように、それぞれの中心位置から表示画面の中心位置までの距離（図３に示す距離ａ）が同じになる位置に配置されている。
【００１６】
発言率表示領域３４及び発言率表示領域３５はそれぞれ、左画面領域３１及び右画面領域３２に表示されている出席者の発言時間のビデオ会議時間中に占める割合（発言率）を表示する。本実施形態では、発言率表示領域３４，３５に表示されている黒色のバーの長さが出席者の発言率を示す。すなわち本実施形態では、黒色のバーが発言率表示領域３４，３５に表示されていない場合、出席者の発言率は０％となり、黒色のバーが発言率表示領域３４，３５の左端から右端まで表示されている場合には、出席者の発言率は１００％となる。
【００１７】
撮像装置１２は、表示装置１１に対面している出席者（操作者）の映像を撮影する左カメラ１２ａと右カメラ１２ｂを有する。左カメラ１２ａは、図３に示すように、操作者が左画面領域３１に表示されている出席者の映像を見ている時の視線方向と撮像方向がなす角度がθとなる位置に配置され、操作者の正面近くの映像を角度θで撮影する。一方、右カメラ１２ｂは、操作者が左画面領域３１に表示されている出席者の映像を見ている時の視線方向と撮像方向がなす角度がβとなる位置に配置され、左画面領域３１を見ている操作者の横顔の映像を角度βで撮影する。
【００１８】
左画面領域３１又は右画面領域３２に表示されている出席者の視線と操作者の視線を一致させるためには、角度θが可能な限り小さくなるように左カメラ１２ａ及び右ガメラ１２ｂを配置することが望ましい。また操作者の横顔を正しく撮影するためには、角度βが６０〜９０°の範囲内に収まるように左カメラ１２ａ及び右カメラ１２ｂを配置することが望ましい。但し、操作者の正面映像と横顔映像を区別しやすくするためには、角度βが角度θの少なくとも２倍以上であることが望ましい。
【００１９】
〔サーバ装置の構成〕
サーバ装置３は、ワークステーション等の公知の情報処理装置により構成され、主要発言者判定部２１と映像表示制御部２２を備える。主要発言者判定部２１と映像表示制御部２２の機能は、情報処理装置内部のCPU(Central Processing Unit)が記憶媒体からビデオ会議プログラムを読み出して実行することにより、サーバ装置３上で実現されるようになっている。
【００２０】
上記ビデオ会議プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM，フレキシブルディスク（FD），CD-R，DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。またビデオ会議プログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またビデオ会議プログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。またビデオ会議プログラムをROM等に予め組み込んで提供するように構成してもよい。
【００２１】
主要発言者判定部２１は、図４に示すように、音量検出部４１，音量履歴記憶部４２，主要発言書特定部４３，及び発言時間計算部４４を含む。音量検出部４１は、ビデオ会議の出席者がいる各地点のビデオ会議端末装置２から出席者の映像を受信し、受信した映像情報に基づいて各出席者の発話音量を検出する。音量履歴記憶部４２は、音量検出部４１により検出された各出席者の発話音量を単位時間毎に記憶する。主要発言者特定部４３は、音量履歴記憶部４２に記憶されている各出席者の単位時間毎の発話音量に基づいて所定時間内の平均発話音量（例えば最近５〜１０秒間の平均発話音量）を算出し、算出された平均発話音量が最も大きい出席者を主要発言者として特定する。発言時間計算部４４は、音量履歴記憶部４２に記憶されている各出席者の単位時間毎の発話音量に基づいて各出席者の発言率を算出する。
【００２２】
映像表示制御部２２は、主要発言者判定部２１（主要発言者特定部４３及び発言時間計算部４４）の処理結果に基づいて、各地点の表示装置１１に表示する映像や情報を制御する。詳しくは後述するが、地点Ｐ１〜Ｐ４にいる出席者間でビデオ会議を行っている場合において、地点Ｐ１の出席者が地点Ｐ２の出席者と会話をしている時には、映像表示制御部２２は、例えば図５に示すように、地点Ｐ１の表示装置１１の左画面領域３１及び右画面領域３２にそれぞれ地点Ｐ２及び地点Ｐ３の出席者の映像を表示する。
【００２３】
出席者が右画面領域３２を見ている場合、右カメラ１２ｂは図６（ａ）に示すような出席者が小さく左を向いている映像を撮影し、左カメラ１２ａは図６（ｂ）に示すような出席者が大きく左を向いている映像を撮影する。一方、出席者が左画面領域３１を見ている場合には、右カメラ１２ｂは図６（ｃ）に示すような出席者が大きく右を向いている映像を撮影し、左カメラ１２ａは図６（ｄ）に示すような出席者が小さく右を向いている映像を撮影する。
【００２４】
従って、地点Ｐ１の出席者が地点Ｐ２の出席者と会話をしている場合、映像表示制御部２２は、図７に示すように、地点Ｐ１の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｐ２の出席者が小さく右を向いている映像及び地点Ｐ３の出席者が大きく左を向いている映像を表示する。また映像表示制御部２２は、地点Ｐ２の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｐ４の出席者が大きく右を向いている映像及び地点Ｐ１の出席者が小さく左を向いている映像を表示する。また映像表示制御部２２は、地点Ｐ３及び地点Ｐ４の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｐ１の出席者が大きく右を向いている映像及び地点Ｐ２の出席者が大きく左を向いている映像を表示する。
【００２５】
〔映像表示制御処理〕
このようなビデオ会議システム１では、サーバ装置３が以下に示す映像表示制御処理を実行することにより、ビデオ会議を安価に行うことを可能にする。以下、図８に示すフローチャートを参照して、この映像表示制御処理を実行する際のサーバ装置３の動作について説明する。
【００２６】
図８に示すフローチャートは、サーバ装置３に対しビデオ会議の開始が指示されたタイミングで開始となり、映像表示制御処理はステップＳ１の処理に進む。
【００２７】
ステップＳ１の処理では、映像表示制御部２２が、映像表示制御処理の初期設定を実行する。具体的には、映像表示制御部２２は、ビデオ会議の主催者によって入力されたビデオ会議の出席者の主要順序に基づいて、主要順序が１番目の出席者を「第１の主要発言者」，主要順序が２番目の出席者を「第２の主要発言者」，主要順序が３番目の出席者がいる地点を「デフォルト地点」に設定する。
【００２８】
映像表示制御部２２は、「第１の主要発言者」の表示装置１１の左画面領域３１及び右画面領域３２にそれぞれ右カメラ１２ｂにより撮影された「第２の主要発言者」の映像及び左カメラ１２ａにより撮影された「デフォルト地点」にいる出席者の映像を表示するように「第１の主要発言者」の表示装置１１の表示画面を設定する。映像表示制御部２２は、「第２の主要発言者」の表示装置１１の左画面領域３１及び右画面領域３２にそれぞれ右カメラ１２ｂにより撮影された「デフォルト地点」にいる出席者の映像及び左カメラ１２ａにより撮影された「第１の主要発言者」の映像を表示するように「第２の主要発言者」の表示装置１１の表示画面を設定する。
【００２９】
映像表示制御部２２は、「第１の主要発言者」と「第２の主要発言者」以外の出席者（「デフォルト地点」を含む「他地点」にいる出席者）の表示装置１１の左画面領域３１及び右画面領域３２にそれぞれ右カメラ１２ｂにより撮影された「第１の主要発言者」の映像及び左カメラ１２ａにより撮影された「第２の主要発言者」の映像を表示するように「他地点」の表示装置１１の表示画面を設定する。そして映像表示制御部２２は、各出席者について設定した情報、すなわち「第１の主要発言者」，「第２の主要発言者」，「デフォルト地点」，及び「他地点」の種別を示す分類情報と、表示装置１１の左画面領域３１及び右画面領域３２に表示する映像を示す表示情報を各出席者の属性情報として記憶する。これにより、ステップＳ１の処理は完了し、映像表示制御処理はステップＳ２の処理に進む。
【００３０】
ステップＳ２の処理では、映像表示制御部２２が、主要発言者判定部２１から主要発言者の情報を取得する。これにより、ステップＳ２の処理は完了し、映像表示制御処理はステップＳ３の処理に進む。
【００３１】
ステップＳ３の処理では、映像表示制御部２２が、出席者の属性情報とステップＳ２の処理により取得した主要発言者の情報とを比較することにより、主要発言者が変化したか否かを判別する。判別の結果、主要発言者が変化していない場合、映像表示制御部２２は映像表示制御処理をステップＳ７の処理に進める。一方、主要発言者が変化した場合には、映像表示制御部２２は映像表示制御処理をステップＳ４の処理に進める。
【００３２】
ステップＳ４の処理では、映像表示制御部２２が、新しい主要発言者（「第１の主要発言者」と「第２の主要発言者」）を特定し、特定結果に基づいて各出席者の属性情報を更新する（主要発言者特定処理）。この主要発言者特定処理の詳細については、図９に示すフローチャートを参照して後述する。これにより、ステップＳ４の処理は完了し、映像表示制御処理はステップＳ５の処理に進む。
【００３３】
ステップＳ５の処理では、映像表示制御部２２が、ステップＳ４の処理により更新された各出席者の属性情報に従って、各出席者の表示装置１１の左画面領域３１及び右画面領域３２に映像を表示する出席者を決定する（映像表示地点決定処理）。この映像表示地点決定処理の詳細については、図１０乃至図１３に示すフローチャートを参照して後述する。これにより、ステップＳ５の処理は完了し、映像表示制御処理はステップＳ６とステップＳ７の処理に進む。
【００３４】
ステップＳ６の処理では、映像表示制御部２２が、ステップＳ５の処理結果に基づいて、各出席者の表示装置１１の左画面領域３１及び右画面領域３２に表示する出席者の映像（左カメラ１２ａ又は右カメラ１２ｂにより撮影された映像）を特定する（映像特定処理）。この映像特定処理の詳細については図１４に示すフローチャートを参照して後述する。これにより、ステップＳ６の処理は完了し、映像表示制御処理はステップＳ８の処理に進む。
【００３５】
ステップＳ７の処理では、映像表示制御部２２が、主要発言者判定部２１から「第１の主要発言者」，「第２の主要発言者」，及び「デフォルト地点」にいる出席者の発言率に関する情報を取得する。これにより、ステップＳ７の処理は完了し、映像表示制御処理はステップＳ８の処理に進む。
【００３６】
ステップＳ８の処理では、映像表示制御部２２が、ステップＳ６の処理結果に基づいて各地点の表示装置１１に送信する映像を選択し、ステップＳ７の処理により取得した発言率に関する情報と共に選択された映像を各地点の表示装置１１に送信する（情報送信処理）。この情報送信処理の詳細については、図１５に示すフローチャートを参照して後述する。これにより、ステップＳ８の処理は完了し、映像表示制御処理はステップＳ９の処理に進む。
【００３７】
ステップＳ９の処理では、映像表示制御部２２が、ビデオ会議の終了指示が入力されたか否かを判別する。判別の結果、ビデオ会議の終了指示が入力されていない場合、映像表示制御部２２は映像表示制御処理をステップＳ２の処理に戻す。一方、ビデオ会議の終了指示が入力された場合には、映像表示制御部２２は一連の映像表示制御処理を終了する。
【００３８】
〔主要発言者特定処理〕
次に、図９に示すフローチャートを参照して、上記ステップＳ４の主要発言者特定処理について詳しく説明する。
【００３９】
図９に示すフローチャートは、ステップＳ３の処理において主要発言者が変化したと判別されたタイミングで開始となり、主要発言者特定処理はステップＳ１１の処理に進む。
【００４０】
ステップＳ１１の処理では、映像表示制御部２２が、各出席者の属性情報を読み出す。これにより、ステップＳ１１の処理は完了し、主要発言者特定処理はステップＳ１２の処理に進む。
【００４１】
ステップＳ１２の処理では、映像表示制御部２２が、属性情報内の分類情報を元分類情報（主要発言者が変化する前の各出席者の属性情報）に置き換える。これにより、ステップＳ１２の処理は完了し、主要発言者特定処理はステップＳ１３の処理に進む。
【００４２】
ステップＳ１３の処理では、映像表示制御部２２が、元分類情報で「第２の主要発言者」に分類されている出席者の分類情報を「第１の主要発言者」に設定する。これにより、ステップＳ１３の処理は完了し、主要発言者特定処理はステップＳ１４の処理に進む。
【００４３】
ステップＳ１４の処理では、映像表示制御部２２が、新しい主要発言者の分類情報を「第２の主要発言者」に設定する。これにより、ステップＳ１４の処理は完了し、主要発言者特定処理はステップＳ１４の処理は完了し、主要発言者特定処理はステップＳ１５の処理に進む。
【００４４】
ステップＳ１５の処理では、映像表示制御部２２が、ステップＳ１３とステップＳ１４の処理により「第１の主要発言者」及び「第２の主要発言者」に設定された出席者と元分類情報において「第１の主要発言者」及び「デフォルト地点」にいる出席者に設定されている出席者を除く出席者の中で、初期設定処理において設定された主要順位が最も高い出席者の分類情報を「デフォルト地点」に設定する。これにより、ステップＳ１５の処理は完了し、主要発言者特定処理はステップＳ１６の処理に進む。
【００４５】
ステップＳ１６の処理では、映像表示制御部２２が、ステップＳ１５の処理により「デフォルト地点」にいる出席者に分類された出席者を含む「第１の主要発言者」と「第２の主要発言者」以外の出席者の分類情報を「他地点」に設定する。これにより、ステップＳ１６の処理は完了し、主要発言者特定処理はステップＳ１７の処理に進む。
【００４６】
ステップＳ１７の処理では、映像表示制御部２２が、ステップＳ１２乃至ステップＳ１６の処理結果に基づいて、各出席者の属性情報を更新する。これにより、ステップＳ１７の処理は完了し、一連の主要発言者特定処理は完了する。
【００４７】
〔映像表示地点決定処理〕
次に、図１０に示すフローチャートを参照して、上記ステップＳ５の映像表示地点決定処理について詳しく説明する。
【００４８】
図１０に示すフローチャートは、ステップＳ４の処理が完了したタイミングで開始となり、映像表示地点決定処理はステップＳ２１の処理に進む。
【００４９】
ステップＳ２１の処理では、映像表示制御部２２が、各出席者の属性情報を読み出す。これにより、ステップＳ２１の処理は完了し、映像表示地点決定処理はステップＳ２２の処理に進む。
【００５０】
ステップＳ２２の処理では、映像表示制御部２２が、ステップＳ２１の処理により読み出された属性情報から各出席者の分類情報，元分類情報、及び表示情報を抽出する。これにより、ステップＳ２２の処理は完了し、映像表示地点決定処理はステップＳ２３の処理に進む。
【００５１】
ステップＳ２３の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された分類情報及び表示情報に基づいて、「他地点」の表示装置１１に映像を表示する出席者の地点を決定する（第１表示地点決定処理）。この第１表示地点決定処理の詳細については、図１１に示すフローチャートを参照して後述する。これにより、ステップＳ２３の処理は完了し、映像表示地点決定処理はステップＳ２４の処理に進む。
【００５２】
ステップＳ２４の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された分類情報及び表示情報に基づいて、「第１の主要発言者」の表示装置１１に映像を表示する出席者の地点を決定する（第２表示地点決定処理）。この第２表示地点決定処理の詳細については、図１２に示すフローチャートを参照して後述する。これにより、ステップＳ２４の処理は完了し、映像表示地点決定処理はステップＳ２５の処理に進む。
【００５３】
ステップＳ２５の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された分類情報及び表示情報に基づいて、「第２の主要発言者」の表示装置１１に映像を表示する出席者の地点を決定する（第３表示地点決定処理）。この第３表示地点決定処理の詳細については、図１３に示すフローチャートを参照して後述する。これにより、ステップＳ２５の処理は完了し、一連の映像表示地点決定処理は完了する。
〔第１表示地点決定処理〕
次に、図１１に示すフローチャートを参照して、上記ステップＳ２３の第１表示地点決定処理について詳しく説明する。
【００５４】
図１１に示すフローチャートは、ステップＳ２２の処理が完了したタイミングで開始となり、第１表示地点決定処理はステップＳ３１の処理に進む。
【００５５】
ステップＳ３１の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された表示情報に基づいて、「第１の主要発言者」の映像が表示されている画面領域（左画面領域３１又は右画面領域３２）を検出する。これにより、ステップＳ３１の処理は完了し、第１表示地点決定処理はステップＳ３２の処理に進む。
【００５６】
ステップＳ３２の処理では、映像表示制御部２２が、ステップＳ３１の処理により検出された画面領域とは反対の画面領域に「第２の主要発言者」の映像を表示するように表示画面を設定する。これにより、ステップＳ３２の処理は完了し、第１表示地点決定処理はステップＳ３３の処理に進む。
【００５７】
ステップＳ３３の処理では、映像表示制御部２２が、ステップＳ３２の処理により「第２の主要発言者」の映像を表示する画面と設定された画面領域とは反対の画面領域に「第１の主要発言者」の映像を表示するように表示画面を設定する。これにより、ステップＳ３３の処理は完了し、第１表示地点決定処理はステップＳ３４の処理に進む。
【００５８】
ステップＳ３４の処理では、映像表示制御部２２が、ステップＳ３２，Ｓ３３の処理結果に基づいて、「他地点」にいる出席者として分類されている出席者の表示情報（属性情報）を更新する。これにより、ステップＳ３４の処理は完了し、一連の第１表示地点決定処理は終了する。
〔第２表示地点決定処理〕
次に、図１２に示すフローチャートを参照して、上記ステップＳ２４の第２表示地点決定処理について詳しく説明する。
【００５９】
図１２に示すフローチャートは、ステップＳ２３の処理が完了したタイミングで開始となり、第２表示地点決定処理はステップＳ４１の処理に進む。
【００６０】
ステップＳ４１の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された表示情報に基づいて、「第２の主要発言者」の映像が表示されている画面領域（左画面領域３１又は右画面領域３２）を検出する。これにより、ステップＳ４１の処理は完了し、第２表示地点決定処理はステップＳ４２の処理に進む。
【００６１】
ステップＳ４２の処理では、映像表示制御部２２が、ステップＳ４１の処理により検出された画面領域とは反対の画面領域に「第２の主要発言者」の映像を表示するように表示画面を設定する。これにより、ステップＳ４２の処理は完了し、第２表示地点決定処理はステップＳ４３の処理に進む。
【００６２】
ステップＳ４３の処理では、映像表示制御部２２が、ステップＳ４２の処理により「第２の主要発言者」の映像を表示する画面と設定された画面領域とは反対の画面領域に「デフォルト地点」にいる出席者の映像を表示するように表示画面を設定する。これにより、ステップＳ４３の処理は完了し、第２表示地点決定処理はステップＳ４４の処理に進む。
【００６３】
ステップＳ４４の処理では、映像表示制御部２２が、ステップＳ４２，Ｓ４３の処理結果に基づいて、「第１の主要発言者」に分類されている出席者の表示情報（属性情報）を更新する。これにより、ステップＳ４４の処理は完了し、一連の第２表示地点決定処理は終了する。
〔第３表示地点決定処理〕
次に、図１３に示すフローチャートを参照して、上記ステップＳ２５の第３表示地点決定処理について詳しく説明する。
【００６４】
図１３に示すフローチャートは、ステップＳ２４の処理が完了したタイミングで開始となり、第３表示地点決定処理はステップＳ５１の処理に進む。
【００６５】
ステップＳ５１の処理では、映像表示制御部２２が、ステップＳ２２の処理により抽出された表示情報に基づいて、「第１の主要発言者」の映像が表示されている画面領域（左画面領域３１又は右画面領域３２）を検出する。これにより、ステップＳ５１の処理は完了し、第３表示地点決定処理はステップＳ５２の処理に進む。
【００６６】
ステップＳ５２の処理では、映像表示制御部２２が、ステップＳ５１の処理により検出された画面領域とは反対の画面領域に「第１の主要発言者」の映像を表示するように表示画面を設定する。これにより、ステップＳ５２の処理は完了し、第３表示地点決定処理はステップＳ５３の処理に進む。
【００６７】
ステップＳ５３の処理では、映像表示制御部２２が、ステップＳ５２の処理により「第１の主要発言者」の映像を表示する画面と設定された画面領域に対して反対の画面領域に「デフォルト地点」にいる出席者の映像を表示するように表示画面を設定する。これにより、ステップＳ５３の処理は完了し、第３表示地点決定処理はステップＳ５４の処理に進む。
【００６８】
ステップＳ５４の処理では、映像表示制御部２２が、ステップＳ５２，Ｓ５３の処理結果に基づいて、「第２の主要発言者」に分類されている出席者の表示情報（属性情報）を更新する。これにより、ステップＳ５４の処理は完了し、一連の第３表示地点決定処理は終了する。
〔映像特定処理〕
次に、図１４に示すフローチャートを参照して、上記ステップＳ６の映像特定処理について詳しく説明する。
【００６９】
図１４に示すフローチャートは、ステップＳ５の処理が完了したタイミングで開始となり、映像表示地点決定処理はステップＳ６１の処理に進む。
【００７０】
ステップＳ６１の処理では、映像表示制御部２２が、各出席者の属性情報を読み出す。これにより、ステップＳ６１の処理は完了し、映像特定処理はステップＳ６１の処理に進む。
【００７１】
ステップＳ６２の処理では、映像表示制御部２２が、ステップＳ６１の処理により読み出された属性情報から各出席者の分類情報，元分類情報、及び表示情報を抽出する。これにより、ステップＳ６２の処理は完了し、映像特定処理はステップＳ６３の処理に進む。
【００７２】
ステップＳ６３の処理では、映像表示制御部２２が、「第２の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「第２の主要発言者」の映像を、「第１の主要発言者」の表示装置１１に表示する「第２の主要発言者」の映像に設定する。これにより、ステップＳ６３の処理は完了し、映像特定処理はステップＳ６４の処理に進む。
【００７３】
ステップＳ６４の処理では、映像表示制御部２２が、「第１の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「第１の主要発言者」の映像を、「第２の主要発言者」の表示装置１１に表示する「第１の主要発言者」の映像に設定する。これにより、ステップＳ６４の処理は完了し、映像特定処理はステップＳ６５の処理に進む。
【００７４】
ステップＳ６５の処理では、映像表示制御部２２が、「第２の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「第１の主要発言者」の映像を、「他地点」の表示装置１１に表示する「第１の主要発言者」の映像に設定する。これにより、ステップＳ６５の処理は完了し、映像特定処理はステップＳ６６の処理に進む。
【００７５】
ステップＳ６６の処理では、映像表示制御部２２が、「第１の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「第２の主要発言者」の映像を、「他地点」の表示装置１１に表示する「第２の主要発言者」の映像に設定する。これにより、ステップＳ６６の処理は完了し、映像特定処理はステップＳ６７の処理に進む。
【００７６】
ステップＳ６７の処理では、映像表示制御部２２が、ステップＳ６２の処理により抽出された分類情報に基づいて、「デフォルト地点」にいる出席者として分類された出席者を検出する。これにより、ステップＳ６７の処理は完了し、映像特定処理はステップＳ６８の処理に進む。
【００７７】
ステップＳ６８の処理では、映像表示制御部２２が、「第１の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「デフォルト地点」にいる出席者の映像を、「第１の主要発言者」の表示装置１１に表示する「デフォルト地点」にいる出席者の映像に設定する。これにより、ステップＳ６８の処理は完了し、映像特定処理はステップＳ６９の処理に進む。
【００７８】
ステップＳ６９の処理では、映像表示制御部２２が、「第２の主要発言者」の映像が表示される「他地点」の表示装置１１の画面領域と同じ側にある撮像装置により撮影された「デフォルト地点」にいる出席者の映像を、「第２の主要発言者」の表示装置１１に表示する「デフォルト地点」にいる出席者の映像に設定する。これにより、ステップＳ６８の処理は完了し、映像特定処理はステップＳ６９の処理に進む。
【００７９】
ステップＳ７０の処理では、映像表示制御部２２が、「第１の主要発言者」，「第２の主要発言者」，及び「デフォルト地点」にいる出席者以外の出席者の両側にある撮像装置により撮影された映像を、「第１の主要発言者」及び「第２の主要発言者」の表示装置１１の下画面領域３３に表示する出席者の映像に設定する。これにより、ステップＳ７０の処理は完了し、映像特定処理はステップＳ７１の処理に進む。
【００８０】
ステップＳ７１の処理では、映像表示制御部２２が、「第１の主要発言者」，「第２の主要発言者」，及び「他地点ｎ」にいる出席者以外の出席者の両側にある撮像装置により撮影された映像を、「他地点ｎ」の表示装置１１の下画面領域３３に表示する出席者の映像に設定する。これにより、ステップＳ７１の処理は完了し、一連の映像特定処理は終了する。
【００８１】
〔情報送信処理〕
最後に、図１５に示すフローチャートを参照して、ステップＳ８の情報送信処理について詳しく説明する。
【００８２】
図１５に示すフローチャートは、ステップＳ６，７の処理が完了したタイミングで開始となり、情報送信処理はステップＳ８１の処理に進む。
【００８３】
ステップＳ８１の処理では、映像表示制御部２２が、各出席者の撮像装置１２の左カメラ１２ａ及び右カメラ１２ｂにより撮影された映像を受信する。これにより、ステップＳ８１の処理は完了し、情報送信処理はステップＳ８２の処理に進む。
【００８４】
ステップＳ８２の処理では、映像表示制御部２２が、ステップＳ６の処理により設定された情報とステップＳ７の処理により取得された発言率の情報を取得する。これにより、ステップＳ８２の処理は完了し、情報送信処理はステップＳ８３の処理に進む。
【００８５】
ステップＳ８３の処理では、映像表示制御部２２が、ステップＳ８２の処理により取得した情報に基づいて、ステップＳ８１の処理により受信した映像の中から各出席者の表示装置１１に送信する映像を選択する。これにより、ステップＳ８３の処理は完了し、情報送信処理はステップＳ８４の処理に進む。
【００８６】
ステップＳ８４の処理では、映像表示制御部２２が、ステップＳ８３の処理結果に基づいて、左映像領域３１，右映像領域３２，及び下映像領域３３に表示する映像を発言率に関する情報と共に各出席者の表示装置１１に送信する。具体的には、図１６に示すように、他地点ｎの表示装置１１の左画面領域３１及び右画面領域３２にそれぞれ「第１の主要発言者」及び「第２の主要発言者」の映像を表示する場合、映像表示制御部２２は、「第２の主要発言者」（「第１の主要発言者」）の映像が表示されている右画面領域３２（左画面領域３１）と同じ側に設定されている右カメラ１２ｂ（左カメラ１２ａ）により撮影された「第１の主要発言者」（「第２の主要発言者」）の映像を「第２に主要発言者」（第１の主要発言者）の表示装置１１に表示する「第１の主要発言者」（「第２の主要発言者」）の映像として送信する。また他地点ｎが「デフォルト地点」でない場合、映像表示制御部２２は、他地点ｎの左カメラ１２ａ及び右カメラ１２ｂにより撮影された映像を各地点に送信し、他地点ｎが「デフォルト地点」である場合には、「第１の主要発言者」の映像が表示されている左画面領域３１と同じ側に設定されている左カメラ１２ａにより撮影された他地点ｎにいる出席者の映像を「第１の主要発言者」及び「第２の主要発言者」の表示装置１１に表示する「デフォルト地点」にいる出席者の映像として送信する。これにより、ステップＳ８４の処理は完了し、一連の情報送信処理は終了する。
【００８７】
以上の映像表示制御処理をより具体的に説明すると以下のようになる。いま地点Ａ〜Ｆにいる出席者間でビデオ会議を行う場合を考える。初期化処理においてビデオ会議の主催者が出席者の主要順序を地点Ｆ，地点Ｃ，地点Ａ，地点Ｄ，地点Ｂ，地点Ｅの順に設定したとすると、「第１の主要発言者」，「第２の主要発言者」，及び「デフォルト地点」にいる出席者は順に地点Ｆ，地点Ｃ，及び地点Ａにいる出席者となる。従ってこの段階では、図１７に示すように、他地点の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｃ及び地点Ｆの出席者の映像が表示され、「第１の主要発言者」の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ａ及び地点Ｃの出席者の映像が表示され、「第２の主要発言者」の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｆ及び地点Ａの出席者の映像が表示される。
【００８８】
次に、主要発言者が図１７に示すように地点Ｂ→地点Ｃ→地点Ｂ→地点Ｄ→地点Ｆ→地点Ａの順に変化したとすると、主要発言者が特定された段階で上述した出席者の分類（「第１の主要発言者」，「第２の主要発言者」，及び「デフォルト地点」にいる出席者）を元分類に置き換えた後、地点Ｃ及び地点Ｂにいる出席者をそれぞれ「第１の主要発言者」及び「第２の主要発言者」に分類する。そして他地点の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｃ及び地点Ｂの出席者の映像が表示され、「第１の主要発言者」の表示位置は変化させないようにする。また「第１の主要発言者」（地点Ｃにいる出席者）の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ「第２の主要発言者」（地点Ｂにいる出席者）及び「デフォルト地点」にいる出席者（地点Ｄにいる出席者）の映像が表示され、「第２の主要発言者」（地点Ｂにいる出席者）の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ「デフォルト地点にいる出席者」及び「第１の主要発言者」の映像が表示される。なおこの場合、「デフォルト地点」は、「第１の主要発言者」と「第２の主要発言者」を除いた（望ましくは元分類情報において「第１の主要発言者」及び「デフォルト地点」にいる出席者に分類された出席者をさらに除いた）出席者の中で主要順序が最も高い出席者がいる地点を示す。
【００８９】
次に、主要発言者が地点Ｂにいる出席者から地点Ｃにいる出席者に変化した場合、主要発言者が変化したタイミングで、主要発言者が地点Ｂにいる出席者である時の分類情報を元分類に置き換えた後、地点Ｂ及び地点Ｃにいる出席者をそれぞれ「第１の主要発言者」及び「第２の主要発言者」に分類する。そして他地点の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ地点Ｃ及び地点Ｂの出席者の映像が表示される。また「第１の主要発言者」（地点Ｂにいる出席者）の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ「デフォルト地点」にいる出席者（地点Ｆにいる出席者）及び「第２の主要発言者」（地点Ｃにいる出席者）の映像が表示され、「第２の主要発言者」（地点Ｃにいる出席者）の表示装置１１の左画面領域３１及び右画面領域３２にはそれぞれ「第１の主要発言者」及び「デフォルト地点にいる出席者」の映像が表示される。以下、同様の処理を繰り返す。
【００９０】
以上の説明から明らかなように、本発明の実施形態となるビデオ会議システム１では、サーバ装置３の主要発言者判定部２１が、ビデオ会議の主要発言者を判定し、サーバ装置３の映像表示制御部２２が、主要発言者判定部２１の判定結果に基づいて、「第１の主要発言者」と「第２の主要発言者」を特定する。そして映像表示制御部２２は、「第１の主要発言者」と「第２の主要発言者」の映像が左右異なる位置に表示されるように「他地点」の表示装置１１を制御し、「第２の主要発言者」の映像が「他地点」の表示装置１１における「第２の主要発言者」の映像表示位置とは異なる左右位置に表示されるように「第１の主要発言者」がいる地点の表示装置１１を制御し、「第１の主要発言者」の映像が「他地点」の表示装置１１における「第１の主要発言者」の映像表示位置とは異なる左右位置に表示されるように「第２の主要発言者」がいる地点の表示装置１１を制御する。
【００９１】
すなわち、本発明の実施形態となるビデオ会議システム１では、サーバ装置３の映像表示制御部２２が、主要発言者判定部２１により判定された主要発言者に基づいて、各地点の表示装置１１に映像を表示する出席者を決定する。そしてこのような構成によれば、撮像装置の必要設置台数がビデオ会議の出席者数に依存しなくなるので、ビデオ会議を安価に行うことができる。また会議の途中で出席者が増加した場合であっても、増えた出席者分の撮像装置を必ずしも追加する必要がないので、ビデオ会議を円滑に進行することができる。また特殊な広視野角の曲面スクリーン等の特別な装置を用いることなく、主要発言者が向き合っている視線一致映像を他の出席者の表示装置１１に表示させることができる。
【００９２】
また本発明の実施形態となるビデオ会議システム１では、映像表示制御部２２は、主要発言者が変化した場合、「第２の主要発言者」の映像を新たな主要発言者の映像に置き換えるように「他地点」の表示装置１１を制御する。このような構成によれば、主要発言者が変化したとしても、主要発言者が変化する前の「第１の主要発言者」の映像は同じ位置に表示されるので、出席者の表示位置の変化が小さくなり、ビデオ会議を円滑に進行させることができる。
【００９３】
また本発明の実施形態となるビデオ会議システム１では、主要発言者判定部２１は、ビデオ会議に出席している出席者の発話音量に基づいて、ビデオ会議の主要発言者を判定するので、主要発言者を正確に判定することができる。また本発明の実施形態となるビデオ会議システム１では、主要発言者判定部２１は、ビデオ会議の会議時間中に占める各出席者の発言時間の割合を各出席者の発言率として算出し、映像表示制御部２２は、表示装置１１に映像を表示する出席者の発言率に関する情報を主要発言者特定部２１から取得し、取得した発言率に関する情報を出席者の映像と共に表示するように表示装置１１を制御するので、出席者の発言を予想及び比較することが可能となり、操作者が適切な行動が行うことが可能となる。
【００９４】
また本発明の実施形態となるビデオ会議システム１では、撮像装置は、左カメラ１２ａ及び右カメラ１２ｂは、表示装置１１に表示されている２人の出席者の映像のうちの一方の映像を見ている時の操作者の視線方向と右カメラ１２ｂの撮像方向がなす角度βが、視線方向と左カメラ１２ａの撮像方向がなす角度θの少なくとも２倍以上、且つ、６０度以上乃至９０度以下の範囲内になる位置に配置されているので、主要発言者が向き合っている視線一致映像を正確に撮影することができる。
【００９５】
以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
【符号の説明】
【００９６】
１ ビデオ会議システム
２ ビデオ会議端末装置
３ サーバ装置
４ 電気通信回線
１１ 表示装置
１２ 撮像装置
１２ａ 左カメラ
１２ｂ 右カメラ
２１ 主要発言者判定部
２２ 映像表示制御部
３１ 左画面領域
３２ 右画面領域
３３ 下画面領域
３４，３５ 発言率表示領域
４１ 音量検出部
４２ 音量履歴記憶部
４３ 主要発言者特定部
４４ 発言時間計算部
【先行技術文献】
【特許文献】
【００９７】
【特許文献１】特許第３５８７１０６号公報
【特許請求の範囲】
【請求項１】
ビデオ会議の出席者がいる地点毎に配置された複数のビデオ会議端末装置と、
電気通信回線を介して前記複数のビデオ会議端末装置に接続されたサーバ装置とを備え、
各ビデオ会議端末装置は、
少なくとも２地点の他の出席者の映像を左右異なる位置に表示する表示装置と、
前記表示装置の表示画面に対面する出席者の映像を撮影する撮像装置とを備え、
前記サーバ装置は、
前記ビデオ会議の主要発言者を判定する主要発言者判定部と、
前記表示装置が表示する出席者の映像を制御する映像表示制御部とを備え、
前記映像表示制御部は、
前記主要発言者判定部の判定結果に基づいて第１及び第２の主要発言者を特定し、
前記撮像装置により撮影された前記第１の主要発言者と前記第２の主要発言者の映像が左右異なる位置に表示されるように、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置を制御し、
前記撮像装置により撮影された前記第２の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第１の主要発言者がいる地点の表示装置を制御し、
前記撮像装置により撮影された前記第１の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第２の主要発言者がいる地点の表示装置を制御すること
を特徴とするビデオ会議システム。
【請求項２】
前記映像表示制御部は、前記主要発言者判定部の判定結果に基づいて主要発言者が変化したか否かを判別し、主要発言者が変化した場合、前記第２の主要発言者の映像を新たな主要発言者の映像に置き換えるように前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置を制御することを特徴とする請求項１に記載のビデオ会議システム。
【請求項３】
前記主要発言者判定部は、前記ビデオ会議に出席している出席者の発話音量に基づいて、前記ビデオ会議の主要発言者を判定することを特徴とする請求項１又は請求項２に記載のビデオ会議システム。
【請求項４】
前記主要発言者判定部は、前記ビデオ会議の会議時間中に占める各出席者の発言時間の割合を各出席者の発言率として算出し、前記映像表示制御部は、前記表示装置に映像を表示する出席者の発言率に関する情報を前記主要発言者判定部から取得し、取得した発言率に関する情報を出席者の映像と共に表示するように前記表示装置を制御することを特徴とする請求項１乃至請求項３のうち、いずれか１項に記載のビデオ会議システム。
【請求項５】
前記撮像装置は、第１の撮像方向から出席者の映像を撮影する第１の撮像装置と第２の撮像方向から出席者の映像を撮影する第２の撮像装置とを備え、前記第１及び第２の撮像装置は、前記表示装置に表示されている２人の出席者の映像のうちの一方の映像を見ている時の操作者の視線方向と第１の撮像方向がなす角度が、当該視線方向と第２の撮像方向がなす角度の少なくとも２倍以上、且つ、６０度以上乃至９０度以下の範囲内になる位置に配置されていることを特徴とする請求項１乃至請求項４のうち、いずれか１項に記載のビデオ会議システム。
【請求項６】
複数の地点にいるビデオ会議の出席者の中からビデオ会議の主要発言者を判定する主要発言者判定部と、
前記ビデオ会議の出席者がいる地点毎に配置された表示装置に表示させる出席者の映像を制御する映像表示制御部とを備え、
前記映像表示制御部は、
前記主要発言者判定部の判定結果に基づいて第１及び第２の主要発言者を特定し、
前記第１の主要発言者と前記第２の主要発言者の映像が左右異なる位置に表示されるように、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置を制御し、
前記第２の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第１の主要発言者がいる地点の表示装置を制御し、
前記第１の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第２の主要発言者がいる地点の表示装置を制御すること
を特徴とするサーバ装置。
【請求項７】
複数の地点にいるビデオ会議の出席者の中からビデオ会議の主要発言者を判定する主要発言者判定ステップと、
前記ビデオ会議の出席者がいる地点毎に配置された表示装置に表示させる出席者の映像を制御する映像表示制御ステップとをコンピュータに実行させ、
前記映像表示制御ステップは、
前記主要発言者判定ステップの結果に基づいて第１及び第２の主要発言者を特定するステップと、
前記第１の主要発言者と前記第２の主要発言者の映像が左右異なる位置に表示されるように、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置を制御するステップと、
前記第２の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第１の主要発言者がいる地点の表示装置を制御するステップと、
前記第１の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第２の主要発言者がいる地点の表示装置を制御するステップとを含むこと
を特徴とするビデオ会議プログラム。
【請求項１】
ビデオ会議の出席者がいる地点毎に配置された複数のビデオ会議端末装置と、
電気通信回線を介して前記複数のビデオ会議端末装置に接続されたサーバ装置とを備え、
各ビデオ会議端末装置は、
少なくとも２地点の他の出席者の映像を左右異なる位置に表示する表示装置と、
前記表示装置の表示画面に対面する出席者の映像を撮影する撮像装置とを備え、
前記サーバ装置は、
前記ビデオ会議の主要発言者を判定する主要発言者判定部と、
前記表示装置が表示する出席者の映像を制御する映像表示制御部とを備え、
前記映像表示制御部は、
前記主要発言者判定部の判定結果に基づいて第１及び第２の主要発言者を特定し、
前記撮像装置により撮影された前記第１の主要発言者と前記第２の主要発言者の映像が左右異なる位置に表示されるように、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置を制御し、
前記撮像装置により撮影された前記第２の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第１の主要発言者がいる地点の表示装置を制御し、
前記撮像装置により撮影された前記第１の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第２の主要発言者がいる地点の表示装置を制御すること
を特徴とするビデオ会議システム。
【請求項２】
前記映像表示制御部は、前記主要発言者判定部の判定結果に基づいて主要発言者が変化したか否かを判別し、主要発言者が変化した場合、前記第２の主要発言者の映像を新たな主要発言者の映像に置き換えるように前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置を制御することを特徴とする請求項１に記載のビデオ会議システム。
【請求項３】
前記主要発言者判定部は、前記ビデオ会議に出席している出席者の発話音量に基づいて、前記ビデオ会議の主要発言者を判定することを特徴とする請求項１又は請求項２に記載のビデオ会議システム。
【請求項４】
前記主要発言者判定部は、前記ビデオ会議の会議時間中に占める各出席者の発言時間の割合を各出席者の発言率として算出し、前記映像表示制御部は、前記表示装置に映像を表示する出席者の発言率に関する情報を前記主要発言者判定部から取得し、取得した発言率に関する情報を出席者の映像と共に表示するように前記表示装置を制御することを特徴とする請求項１乃至請求項３のうち、いずれか１項に記載のビデオ会議システム。
【請求項５】
前記撮像装置は、第１の撮像方向から出席者の映像を撮影する第１の撮像装置と第２の撮像方向から出席者の映像を撮影する第２の撮像装置とを備え、前記第１及び第２の撮像装置は、前記表示装置に表示されている２人の出席者の映像のうちの一方の映像を見ている時の操作者の視線方向と第１の撮像方向がなす角度が、当該視線方向と第２の撮像方向がなす角度の少なくとも２倍以上、且つ、６０度以上乃至９０度以下の範囲内になる位置に配置されていることを特徴とする請求項１乃至請求項４のうち、いずれか１項に記載のビデオ会議システム。
【請求項６】
複数の地点にいるビデオ会議の出席者の中からビデオ会議の主要発言者を判定する主要発言者判定部と、
前記ビデオ会議の出席者がいる地点毎に配置された表示装置に表示させる出席者の映像を制御する映像表示制御部とを備え、
前記映像表示制御部は、
前記主要発言者判定部の判定結果に基づいて第１及び第２の主要発言者を特定し、
前記第１の主要発言者と前記第２の主要発言者の映像が左右異なる位置に表示されるように、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置を制御し、
前記第２の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第１の主要発言者がいる地点の表示装置を制御し、
前記第１の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第２の主要発言者がいる地点の表示装置を制御すること
を特徴とするサーバ装置。
【請求項７】
複数の地点にいるビデオ会議の出席者の中からビデオ会議の主要発言者を判定する主要発言者判定ステップと、
前記ビデオ会議の出席者がいる地点毎に配置された表示装置に表示させる出席者の映像を制御する映像表示制御ステップとをコンピュータに実行させ、
前記映像表示制御ステップは、
前記主要発言者判定ステップの結果に基づいて第１及び第２の主要発言者を特定するステップと、
前記第１の主要発言者と前記第２の主要発言者の映像が左右異なる位置に表示されるように、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置を制御するステップと、
前記第２の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第２の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第１の主要発言者がいる地点の表示装置を制御するステップと、
前記第１の主要発言者の映像が、前記第１及び前記第２の主要発言者以外の出席者がいる地点の表示装置における、前記第１の主要発言者の映像表示位置とは異なる左右位置に表示されるように、前記第２の主要発言者がいる地点の表示装置を制御するステップとを含むこと
を特徴とするビデオ会議プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−３００６３（Ｐ２０１１−３００６３Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７５２７４（Ｐ２００９−１７５２７４）
【出願日】平成２１年７月２８日（２００９．７．２８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２８日（２００９．７．２８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]