管理システム及び表示制御方法
【課題】 多数の映像があった場合でも、状況に応じた表示を自動的に行うことができる管理システムを提供する。
【解決手段】 管理システム１は、マイク３５、カメラ３６及び電子黒板画面上の接触感知センサーからのセンサー情報に基づいて、センサー情報と地点の状況を対応させたテーブルを参照して、各地点Ａ乃至Ｃの状況を判断する地点サーバー３１、４１、５１と、地点サーバー３１、４１、５１が判断した地点の状況に応じて、複数の映像の中から各地点Ａ乃至Ｃの表示装置で表示する映像を選択する中央サーバー２とを備える。また、地点サーバー３１は、各地点の表示装置の表示状況に応じて、地点Ａを撮影した映像が地点Ｂの表示装置４２乃至４４で表示されている場合、地点Ａに設置された照明装置３７の照明を明るくする。また、地点サーバー４１は、地点Ｂに設置された照明装置４７の照明を暗くする。
【解決手段】 管理システム１は、マイク３５、カメラ３６及び電子黒板画面上の接触感知センサーからのセンサー情報に基づいて、センサー情報と地点の状況を対応させたテーブルを参照して、各地点Ａ乃至Ｃの状況を判断する地点サーバー３１、４１、５１と、地点サーバー３１、４１、５１が判断した地点の状況に応じて、複数の映像の中から各地点Ａ乃至Ｃの表示装置で表示する映像を選択する中央サーバー２とを備える。また、地点サーバー３１は、各地点の表示装置の表示状況に応じて、地点Ａを撮影した映像が地点Ｂの表示装置４２乃至４４で表示されている場合、地点Ａに設置された照明装置３７の照明を明るくする。また、地点サーバー４１は、地点Ｂに設置された照明装置４７の照明を暗くする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管理システム及び表示制御方法に関する。
【背景技術】
【０００２】
従来、多地点で映像が共有できるよう遠隔会議システム等の遠隔システムが提案されている。このような遠隔システムでは、各地点を撮影したＴＶ映像、各地点で用いられるスライド画像、各地点に設置された電子黒板の画像をユーザーが手動で選択することによって、多地点のそれぞれに設けられた複数の表示装置に表示することができる。また、このような従来技術として以下のようなものが提案されている。
【０００３】
特許文献１記載の遠隔教育システムは、配信局から得られる講義情報を各受講者側端末装置に送信し、受講者側端末装置に設けられた撮影装置及びマイクで、講義中、各受講者の映像及び音声を取得し、講義状況に応じて配信局から得られる講義映像及び講義音声に対して受講者側の映像及び音声を混合する処理を行って各受講者側端末装置に送信することで、個々の受講者に対するきめ細かな教育情報を提供することができるというものでる。
【０００４】
【特許文献１】特開２００３−２１９３８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、地点数が多くなると、映像ソースの数が莫大となり、この中から表示装置に表示する映像をユーザーが手動で選択するのは、ユーザーの負担が大きくなるという問題がある。また、映像を選択するユーザーは、各地点の状況を完全に把握することはできないため、選択して表示すべき映像ソースを見落としてしまうことがある。
【０００６】
そこで、本発明は、上記問題点に鑑みてなされたもので、多数の映像があった場合でも、状況に応じた表示を自動的に行うことができる管理システム及び表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、少なくとも一つの表示装置がそれぞれ設置された複数の地点の表示を制御する管理システムであって、前記地点に設けられた所定のセンサーからのセンサー情報に基づいて、前記地点の状況を判断する判断手段と、前記判断手段が判断した地点の状況に応じて、複数の映像の中から前記表示装置で表示する映像を選択する表示制御手段とを備える管理システムである。本発明によれば、地点の状況に基づいて、複数の映像の中から表示装置で表示する映像を選択するので、地点数が多くなり、多数の映像があった場合でも、状況に応じた表示を自動的に行うことができる。よってユーザーの負担を軽減できる。また、選択して表示すべき映像ソースを見落とすということも無くなる。
【０００８】
本発明の管理システムは更に、前記センサー情報と前記地点の状況を対応させたテーブルを格納するデータベースを備え、前記判断手段は、前記センサー情報に基づいて、前記テーブルを参照することによって、前記地点の状況を判断する。本発明によれば、データベースを参照することによって、各地点の状況を正確に判断することができる。
【０００９】
本発明の管理システムは更に、前記判断手段が判断した地点の状況に応じて、前記地点に設置された撮影装置を制御する撮影制御手段を備える。本発明によれば、各地点の状況に応じた撮影が可能となる。
【００１０】
本発明の管理システムは更に、前記表示装置の表示状況に応じて、前記複数の地点のうちの第１の地点を撮影した映像が第２の地点の表示装置で表示されている場合、該第１の地点に設置された照明装置の照明を明るくし、該第２の地点に設置された照明装置の照明を暗くするよう照明を制御する照明制御手段を備える。本発明によれば、自地点の映像が他の地点の人に見られているかをフィードバックすることで、各地点の状況を把握することができるため、他の地点との間でコミュニケーションが取り易くなる。
【００１１】
前記判断手段は、前記センサー情報に基づいて得られた前記地点にいる人物の位置、人物の動き、及び肌色領域の大きさのうち少なくとも１つを用いて、前記地点の状況を判断する。たとえばカメラ、ＲＦ（Radio Frequency）ＩＤセンサーや赤外線センサーからのセンサー情報を用いて、地点にいる人物の位置、人物の動き、及び肌色領域の大きさによって地点の状況を判断できる。
【００１２】
本発明の管理システムは更に、前記センサーがマイクの場合、該マイクからの音声信号を音声処理することによって前記地点内の音声の有無、音源の位置及び音声の大きさのうちの少なくともいずれか一つを求める音声処理手段を備え、前記判断手段は、前記音声処理手段の音声処理結果を用いて、前記地点の状況を判断する。本発明によれば、音声の有無、音源の位置及び音声の大きさによって、地点の状況を判断できる。
【００１３】
前記表示制御手段は、前記複数の映像の重要度を求め前記表示装置で表示する映像を選択する。
【００１４】
前記センサーは、カメラ、マイク、前記表示装置に設けられた画面接触センサー、ＲＦＩＤセンサーおよび赤外線センサーのうち少なくとも１つを含むことを特徴とする。
【００１５】
本発明は、少なくとも一つの表示装置が設置された複数の地点の表示を制御する表示制御方法であって、所定のセンサーからのセンサー情報に基づいて、前記地点の状況を判断する判断ステップと、前記判断ステップで判断された地点の状況に応じて、複数の映像の中から前記表示装置で表示する映像を選択するステップとを有する表示制御方法である。本発明によれば、地点の状況に基づいて、複数の映像の中から表示装置で表示する映像を選択するので、地点数が多くなり、多数の映像があった場合でも、状況に応じた表示を自動的に行うことができる。よってユーザーの負担を軽減できる。
【００１６】
前記判断ステップは、前記センサー情報と前記地点の状況を対応させたテーブルを参照することによって、前記地点の状況を判断する。本発明によれば、データベースを参照することによって、各地点の状況を正確に判断することができる。
【発明の効果】
【００１７】
本発明によれば、多数の映像があった場合でも、状況に応じた表示を自動的に行うことができる管理システム及び表示制御方法を提供できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態について説明する。
【００１９】
図１は本発明による管理システムの全体構成を示す図である。図１に示すように、管理システム１は、中央サーバー２、地点Ａの会議装置３、地点Ｂの会議装置４、地点Ｃの会議装置５を備え、会議装置３乃至５はネットワークを介して中央サーバー２に接続されている。地点Ａの会議装置３は、地点サーバー３１、表示装置３２乃至３４、マイク３５、カメラ３６及び照明装置３７を備える。管理システム１は、少なくとも一つの表示装置がそれぞれ設置された複数の地点の表示を制御するものである。
【００２０】
地点Ｂの会議装置４は、地点サーバー４１、表示装置４２乃至４４、マイク４５、カメラ４６及び照明装置４７を備える。地点Ｃの会議装置５は、地点サーバー５１、表示装置５２、５３、マイク５４、カメラ５５及び照明装置５６を備える。なお、地点Ｂの会議装置４及び地点Ｃの会議装置５は地点Ａと同様であるためここでは説明を省略する。地点Ａの会議装置３について説明する。
【００２１】
地点Ａの会議装置３は、地点Ａの会議室に設置されるものである。地点サーバー３１は、表示装置３２乃至３４、マイク３５、カメラ３６、照明装置３７等の地点Ａの会議装置３全体を制御する。この地点サーバー３１は、センサーからのセンサー情報に基づいて地点Ａの状況を判断する機能を有する。表示装置３２乃至３４は、例えば地点の会議室を撮影したＴＶ映像、電子黒板の映像及びスライド等の資料を表示する。表示装置３４は、電子黒板の機能を有し、この表示装置３４は、電子黒板画面上の接触感知センサー（画面接触センサー）を備え、ペン又はタッチ入力の有無等の値をセンサー情報として地点サーバー３１に送る。
【００２２】
マイク３５は、地点サーバー３１によって制御され、地点Ａの会議室内の音声を音声信号に変更し、この音声信号をセンサー情報として地点サーバー３１に送る。カメラ３６は、地点サーバー３１によって制御され、地点Ａの会議室内を撮影し、撮影した映像信号をセンサー情報として地点サーバー３１に送る。照明装置３７は、地点サーバー３１によって制御され、地点Ａの会議室内を照明するものである。また、地点Ａの会議室内の照明状況を地点サーバー３１に送る機能があってもよい。
【００２３】
図２は、地点Ａの地点サーバー３１のブロック図である。図２に示すように、地点サーバー３１は、送受信部３０２、状況データベース３０３、データベース３０４、画像処理部３０５、音声処理部３０６、状況判断部３０７、表示制御部３０８、撮影制御部３０９、マイク制御部３１０及び照明制御部３１１を備え、これらは内部バス３１２を介してそれぞれ接続されている。
【００２４】
状況データベース３０３は、センサー情報と地点の状況ＩＤの対応関係を示すテーブルを格納する。図４は、状況データベース３０３内のセンサー情報と状況ＩＤとを対応させたテーブルを示す図である。図４に示すように、マイク３５、カメラ３６及び画面センサーからのセンサー情報を用いて、地点Ａの会議室内の状況ＩＤが特定され、地点Ａの会議室内の状況が分かる。
【００２５】
データベース３０４は、地点Ａの表示装置３２乃至３４の設備情報を格納するテーブルを持つ。図５は、表示装置の設備情報を格納するテーブルを示す図である。図５に示すように、地点Ａの表示装置３２乃至３４は表示順位が決定されており、重要が映像から表示装置３３、表示装置３２、表示装置３４の順番で表示される。
【００２６】
なお、地点Ｂの会議室は、３台の表示装置４２乃至４４があるため、図５で示したような表示順位に従って、映像を表示する。また、地点Ｃでは、地点Ａ及び地点Ｂとは異なり、２台の表示装置５２及び５３が設置されているため、図６に示すような表示順位で映像を表示する。図６は、地点Ｃの地点サーバー５１内の表示装置の設備情報テーブル例である。図６に示すように、地点Ｃの表示装置５２及び５３は表示順位が決定されており、重要な映像から表示装置５２、表示装置５３の順番で表示される。
【００２７】
画像処理部３０５は、カメラ３６で撮影した映像信号を画像処理し、人物の位置、人物の動きの大きさ、肌色領域の大きさなどの値を出力する。音声処理部３０６は、マイク３５からの音声信号を音声処理し、音声の有無、音源の位置、音の大きさなどの値を出力する。
【００２８】
状況判断部３０７は、画像処理部３０５の画像処理結果、音声処理部３０６の音声処理結果及び画面センサーからのセンサー情報に基づいて、状況データベースを参照することによって状況ＩＤを特定し、地点Ａの状況を判断する。例えば、図４に示したように、状況判断部３０７は、カメラ３６からのセンサー情報の画像処理結果が「人物の動きあり」、マイク３５からのセンサー情報の音声処理結果が「音源ひとつ」、画面センサーからのセンサー情報が「画面書き込みあり」の場合、地点Ａの状況は、状況２「一人の人物が発言しながら画面に書き込んでいる」であると特定する。
【００２９】
また、カメラ３６からのセンサー情報の画像処理結果が「人物の動きあり」、マイク３５からのセンサー情報の音声処理結果が「音源複数」、画面センサーからのセンサー情報が「画面書き込みなし」の場合、地点Ａの状況は、状況３「複数の人物が同時に発言している」であると特定する。さらに、カメラ３６からのセンサー情報の画像処理結果が「人物の動きなし」、マイク３５からのセンサー情報の音声処理結果が「音源なし」、画面センサーからのセンサー情報が「画面書き込みなし」の場合、地点Ａの状況は、状況４「誰も発言していない」であると特定する。
【００３０】
また、状況判断部３０７は、例えば音声の大きさ及び動きの大きさから会議参加者のアクティビティレベルの値を計算する。アクティビティレベルの計算方法は、状況ＩＤ別々の計算方法であってもよい。表示制御部３０８は、地点Ａのすべての状況ＩＤと表示装置の設備情報（画面数など）を、中央サーバー２に送る。なお、中央サーバー２が地点Ａの状況ＩＤと表示装置の設備情報を予め保持していてもよい。ここで、地点の表示装置の設備情報には、表示装置の数、表示装置の順位が含まれる。
【００３１】
表示装置の設備情報として、表示装置の数、表示装置の順位を用いる。各地点サーバー３１〜５１が持っている情報（地点Ａでは例えば図５のような情報）を、中央サーバー２が全ての地点分のものを保持している。図５の例では、地点Ａは、表示装置３３＞表示装置３４＞表示装置３２の表示装置順位となる。中央サーバー２は、この情報を、各地点分、保持している。表示装置の設備情報は、どの地点のどの画面に、どの映像を出すのかを決定するのと、各地の照明の明るさを決定するのに使用する。
【００３２】
撮影制御部３０９は、状況判断部３０７が判断した地点の状況に応じて、地点Ａに設置されたカメラ（撮影装置）３６を制御する。撮影制御部３０９は、状況ＩＤに対応したカメラワークを行う。各状況ＩＤに対応したカメラワークの対応表は各地点サーバー３１が保持する。撮影制御部３０９は、状況１「一人の人物が発言している」場合、発言している人物を撮影するようカメラ３６を制御する。撮影制御部３０９は、カメラワークを実現するために、地点サーバー３１に集められたセンサー情報を用いる。撮影制御部３０９は、複数あるカメラの中から撮影に使用するカメラの選択、パン・チルト・ズームカメラ制御を行う。あるカメラワークを実現するには、どのカメラを選択し、どのようなパン・チルト・ズーム値にすればよいかの計算方法は、あらかじめ地点サーバー３１に記憶されている。マイク制御部３１０はマイク３５を制御する。
【００３３】
照明制御部３１１は、中央サーバー２からの各地点Ａ、Ｂ及びＣの表示状況に基づいて、照明装置３７の照明コントロールを行う。例えば、照明制御部３１１は、各地点の表示装置の表示状況に応じて、地点Ａを撮影した映像が地点Ｂの表示装置４２乃至４４で表示されている場合、地点Ａに設置された照明装置３７の照明を明るくなるように照明を制御する。このとき、地点Ｂに設置された照明装置４７の照明を暗くするよう地点サーバー４１によって制御される。このように、自地点の映像が他の地点の人に見られているかをフィードバックすることによって、各地点の状況を把握することができるため、他の地点との間でコミュニケーションが取り易くなる。なお、ここでは照明によって表示状況を知らせるようにしているが、例えばアイコン、他の照明、又は音声など用いて表示状況を知らせるようにしてもよい。
【００３４】
図３は中央サーバー２のブロック図である。図３に示すように、中央サーバー２は、送受信部２１及び表示制御部２２を備える。送受信部２１は、地点Ａの会議装置３、地点Ｂの会議装置４及び地点Ｃの会議装置５から各地点の状況ＩＤを取得する。表示制御部２２は、各地点の状況ＩＤに応じて、複数の映像の中から表示装置で表示する映像を選択する。詳細には、表示制御部２２は、各地点の状況ＩＤ及びアクティビティレベル値に基づいて、ＴＶ映像、資料画像／映像の重要度を計算し、各地点サーバー３１、４１及び５１へ画面表示の切替指令を出す。例えば、表示制御部２２は、各地点の状況ＩＤ及びアクティビティレベル値に基づいて、「地点Ａの電子黒板＞地点ＡのＴＶ映像＞地点ＢのＴＶ映像＞地点ＣのＴＶ映像」となる重要度の順位を求める。このとき、表示制御部２２は、複数の地点が同じ状況ＩＤを持つ場合、アクティビティレベル値で重要度順を計算する。
【００３５】
ここでは、重要度という数値ではなく、重要度の順位を用いる。まずは、状況ＩＤの順位が決められている。例えば、図４の例では、状況２＞状況３＞状況４となる。ここで、各地点の状況が、地点Ａ:「状況２（一人の人物が発言しながら画面に書き込んでいる）」、地点Ｂ:「状況３（誰も発言していない）」、地点Ｃ：「状況３（誰も発言していない）」の場合、地点の重要度の順位は、地点Ａ＞地点Ｂ＝地点Ｃとなる。地点Ｂと地点Ｃの順位が同じであるが、この場合はアクティビティレベル値が用いられる。
【００３６】
例えば、地点Ｂのアクティビティレベルが４０、地点Ｃのアクティビティレベルが３０のときは、そのアクティビティレベルの数値の大きさによって、式（１）のようになる。
【００３７】
地点Ａ ＞ 地点Ｂ ＞ 地点Ｃ ・・ 式（１）
【００３８】
次に、各状況ＩＤに対応して、その地点のＴＶ映像、資料画像／映像の重要度順位があらかじめ定まっている。例えば、
・地点Ｘが状況２：地点Ｘの電子黒板 ＞ 地点ＸのＴＶ映像 ・・ 式（２）
・地点Ｘが状況３：地点ＸのＴＶ映像
・地点Ｘが状況４：地点ＸのＴＶ映像
となっている。
【００３９】
式（１）を保持しながら、式（２）を当てはめると、地点Ａの電子黒板＞地点ＡのＴＶ映像＞地点ＢのＴＶ映像＞地点ＣのＴＶ映像というように、順位が一意に定まる。
【００４０】
また、表示制御部２２は、各地点の表示装置の設備情報を保持しており、各地点のどの表示装置にどのＴＶ映像、資料画像等を表示させるか、重要度順をもとに決定する。
【００４１】
重要度順が、地点Ａの電子黒板＞地点ＡのＴＶ映像＞地点ＢのＴＶ映像＞地点ＣのＴＶ映像であるとき、地点Ａについて決定すると、まず、「地点Ａの電子黒板」が表示装置３２にすでに表示されているとき、これを別の表示装置に変えずに、表示装置３２に固定する。そして、「地点Ａの電子黒板」と「地点ＡのＴＶ映像」は、不要なので除外される。そして、地点Ａの表示装置順位は、表示装置３３＞表示装置３４＞表示装置３２（＝すでに電子黒板が割り当て）なので、
・表示装置３３：地点ＣのＴＶ映像
・表示装置３４：地点ＢのＴＶ映像
・表示装置３２：地点Ａの電子黒板
というように、割り当てられていく。
【００４２】
また、地点Bの表示装置順位が、表示装置４３＞表示装置４４＞表示装置４２の場合、同様に「地点ＢのＴＶ映像」は除外され、
・表示装置４３：地点Ａの電子黒板
・表示装置４４：地点ＡのＴＶ映像
・表示装置４２：地点ＣのＴＶ映像
と割り当てられる。
【００４３】
表示制御部２２は、重要度の高いＴＶ映像、資料画像を順位の高い表示装置に表示させる画面制御命令を生成する。送受信部２１は、画面制御命令を各地点サーバー３１、４１及び５１に送る。画面制御命令には、どの表示装置にどのＴＶ映像／資料画像を表示するかという命令が含まれる。また、中央サーバー２は、画面制御命令と共に、ＴＶ映像／資料画像そのものを送るかまたはＴＶ映像／資料画像のへのリンク／ＩＰを送る。地点サーバー３１は中央サーバー２からの画面制御命令に基づいて、画面表示を切り替える。
【００４４】
上記の例では、地点Ａでは、
・表示装置３３：地点ＣのＴＶ映像
・表示装置３４：地点ＢのＴＶ映像
・表示装置３２：地点Ａの電子黒板
と決定される。
【００４５】
地点Ｂでは、
・表示装置４３：地点Ａの電子黒板
・表示装置４４：地点ＡのＴＶ映像
・表示装置４２：地点ＣのＴＶ映像
と決定される。
【００４６】
地点Ｃでは、
・表示装置５２：地点Ａの電子黒板
・表示装置５３：地点ＡのＴＶ映像
と決定され、各地点のサーバー３１〜５１に上記のように切り替えるよう命令が送られる。
【００４７】
また、中央サーバー２では、各ＴＶ映像／資料画像が、いくつの表示装置で表示されているかを計算し、これに基づいて各地点の照明光量を制御する。上記の例では、
・地点Ａの電子黒板：２地点（地点Ａは自地点なので除外）
・地点ＡのＴＶ映像：２地点
・地点ＢのＴＶ映像：１地点
・地点ＣのＴＶ映像：１地点
となる。
【００４８】
各地点には、光量制御可能な照明が、部屋全体あるいは壁、天井を照らすもの、各表示装置のまわりに設置してある。ＴＶ映像に対しては、部屋全体の照明を、資料画像・電子黒板画像の場合は対応する表示装置の照明を制御する。上記の例では、
・地点Ａの電子黒板：→地点Ａで電子黒板が表示されている表示装置３２
・地点ＡのＴＶ映像→地点Ａの部屋全体
・地点ＢのＴＶ映像→地点Ｂの部屋全体
・地点ＣのＴＶ映像→地点Ｃの部屋全体
の照明が制御される。
【００４９】
各照明の光量Ｌは、Ｌ＝(すべての地点数−１)＊(Ｌ＿ＭＡＸ−Ｌ＿ＭＩＮ)＋Ｌ＿ＭＩＮで定まる。ここで、Ｌ＿ＭＩＮ、Ｌ＿ＭＡＸは、それぞれ、あらかじめ設定した各照明の最小、最大光量である。よって、例えば地点Ｂの部屋全体の照明光量は、Ｌ＿ＭＩＮ＝３０，Ｌ＿ＭＡＸ＝１００のとき、地点Ｂの部屋全体の照明光量＝(３地点−１)＊（１００−３０）＋３０＝６５となる。
【００５０】
中央サーバー２は、以上の計算をすべての地点のすべての照明について計算し、それぞれの光量を各地点のサーバー３１〜５１に送って制御する。
【００５１】
次に動作について説明する。図７は、各地点の状況判断時の処理フローチャートである。地点Ａの会議装置３において、画像処理部３０５は、カメラ３６で撮影した映像信号を画像処理し、人物の位置、動きの大きさ、肌色領域の大きさなどの値を求め出力すると、状況判断部３０７は画像処理結果を取得する（ステップＳ１１）。音声処理部３０６は、マイク３５からの音声信号を音声処理し、音声の有無、音源の位置、音の大きさなどの値を求め出力すると、状況判断部３０７は音声処理結果を取得する（ステップＳ１２）。
【００５２】
画面接触センサーが、ペン又はタッチ入力の有無などの値を出力すると、状況判断部３０７は、画面センサーからのセンサー情報を取得する（ステップＳ１３）。状況判断部３０７は、センサー情報を用いて、状況データベース３３を参照し、状況ＩＤから地点Ａの状況を判断する（ステップＳ１４）。この時、撮影制御部３０９は状況判断部３０７が特定した状況ＩＤに基づいて、カメラ３６を制御する。これにより、地点Ａで発言者にカメラを向けることができる。地点Ｂの会議装置４及び地点Ｃの会議装置５においても、図７で示した処理と同様の処理が行われる。これにより、各地点の会議室の状況が特定される。
【００５３】
図８は、映像選択時の処理フローチャートである。ステップＳ２１で、送受信部２１は、各地点Ａ乃至Ｃの会議装置３乃至５から状況ＩＤを取得する。表示制御部２２は、各地点Ａ乃至Ｃの状況ＩＤを知ることで、例えば、地点Ａの状況「発言しながら電子黒板に書いている」、地点Ｂ「何もなし」、地点Ｃ「何もなし」という状況を知ることができる。ステップＳ２２で、表示制御部２２は、各地点の状況ＩＤ及びアクティビティレベル値に基づいて、ＴＶ映像、資料画像／映像の重要度を計算し、ステップＳ２３で、表示順位を決定する。例えば、表示順位の決定の結果、「（１）地点Ａの電子黒板＞（２）地点ＡのＴＶ映像＞（３）地点ＢのＴＶ映像＞（４）地点ＣのＴＶ映像」となる。表示制御部２２は、このような画面表示の切替指令を各地点サーバー３１乃至５１へ出す。
【００５４】
この画面表示の切替指令によって、各地点Ａ乃至Ｃの表示装置の表示が制御される。例えば、地点Ａでは、表示装置３２は、地点ＣのＴＶ映像を表示し、表示装置３３は地点Ａの電子黒板を表示し、表示装置３４は、地点ＢのＴＶ映像を表示する。また、地点Ｂでは、表示装置４２が地点ＡのＴＶ映像を表示し、表示装置４３が地点Ａの電子黒板を表示する。また、地点Ｃでは、表示装置５２が地点Ａの電子黒板を表示し、表示装置５３が地点ＡのＴＶ映像を表示する。
【００５５】
次に、照明装置の制御について説明する。図９は、照明装置の制御時の処理フローチャートである。中央サーバー２は、各地点のＴＶ映像／資料画像がどの地点で表示されているのかを示す画面表示状況から、各地点の照明の光量を計算する。そして、中央サーバー２は、ステップＳ３１で、各地点の照明の光量を各地点サーバー３１、４１および５１へ送る。地点Ａの会議装置３において、ステップＳ３２で、送受信部３０２は、照明の光量を取得する。ステップＳ３３で、照明制御部３１１は、受け取った照明の光量に基づいて、照明装置３７を制御する。
【００５６】
例えば、照明制御部３１１は、各地点の画面表示状況に基づいて、地点Ａの会議室のＴＶ映像が他地点で表示されている場合は、照明装置３７の照明を明るくする。なお、地点Ｂ／Ｃの会議室においては、地点Ａしか表示されていない場合、地点Ｂの会議室及び地点Ｃの会議室の照明を暗くして、どの地点の会議室が見られているかどうかを参加者に伝える。これによって、コミュニケーションを図り易くする。また、照明制御部３１１は、各地点の画面表示状況に基づいて、受信した情報に基づいて照明装置３７の光量を例えば、ＴＶ映像の表示数が多くなるに従って、部屋全体の照明を明るくし、資料画像の表示数が多くなるに従って、資料画像が表示されている画面周辺の照明を明るくする。なお、照明の明るさは、表示数ではなく、表示されている地点にいる人数の合計であってもよい。また、中央サーバー２は、画面表示状況を地点サーバー３１へ送るのと同様に、地点サーバー４１及び５１にも送る。これにより地点Ｂの会議装置４及び地点Ｃの会議装置５においても地点Ａの会議装置と同様に処理が行われる。
【００５７】
なお、会議装置３乃至５において、ユーザーによる明示的な表示装置の切り替え操作も可能である。ユーザーは、各地点サーバー３１乃至５１、中央サーバー２に対して、どの地点のどの画面に、どのＴＶ映像/資料画像を表示させるか操作することができる。操作後、変更点を中央サーバー２に送信し、中央サーバー２は各地点の照明の制御を行う。また、ユーザーが自動画面切り替えに戻したり、中央サーバー２が画面切り替え命令を出すまで、ユーザーが操作した画面表示を維持するようにしてもよい。
【００５８】
本実施形態によれば、映像ソースの中から自動的に選択して、各地点の画面に表示させることができる。また、ある地点のＴＶ映像が他地点の画面に表示されている場合、その地点の部屋の照明を明るくして、他地点の人に見られていることをフィードバックするので、各地点の画面表示の情報から、ＴＶ映像が表示されている地点の照明を制御することができる。各地点で参加している人は、自地点のＴＶ映像が他地点の人に見られているかを知ることができる。なお、上記実施例において、センサーに、カメラ、マイク、前記表示装置に設けられた画面接触センサー、ＲＦＩＤセンサーまたは赤外線センサーを用いることができる。状況判断部３０７は、センサー情報に基づいて得られた地点にいる人物の位置、人物の動き、または肌色領域の大きさなどを用いて、地点の状況を判断するようにしてもよい。
【００５９】
なお、本発明による表示制御方法は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。
【００６０】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。なお、上記実施形態では会議を例にとって説明したが本発明はこれに限定されるものではない。
【図面の簡単な説明】
【００６１】
【図１】本実施形態によるシステムの全体構成を示す図である。
【図２】本実施形態による地点Ａの地点サーバーのブロック図である。
【図３】本実施形態による中央サーバーのブロック図である。
【図４】センサー情報と状況ＩＤとを対応させたテーブルを示す図である。
【図５】表示装置の設備情報を格納するテーブルを示す図である。
【図６】地点Ｃの地点サーバー５１内の表示装置の設備情報テーブル例である。
【図７】各地点の状況判断時の処理フローチャートである。
【図８】映像選択時の処理フローチャートである。
【図９】照明装置の制御の際の処理フローチャートである。
【符号の説明】
【００６２】
１ 管理システム ３０５ 画像処理部
２ 中央サーバー ３０６ 音声処理部
３、４、５ 会議装置 ３０７ 状況判断部
３１、４１、５１ 地点サーバー ３０８ 表示制御部
３０２ 送受信部 ３０９ 撮影制御部
３０３ 状況データベース ３１０ マイク制御部
３０４ データベース ３１１ 照明制御部
【技術分野】
【０００１】
本発明は、管理システム及び表示制御方法に関する。
【背景技術】
【０００２】
従来、多地点で映像が共有できるよう遠隔会議システム等の遠隔システムが提案されている。このような遠隔システムでは、各地点を撮影したＴＶ映像、各地点で用いられるスライド画像、各地点に設置された電子黒板の画像をユーザーが手動で選択することによって、多地点のそれぞれに設けられた複数の表示装置に表示することができる。また、このような従来技術として以下のようなものが提案されている。
【０００３】
特許文献１記載の遠隔教育システムは、配信局から得られる講義情報を各受講者側端末装置に送信し、受講者側端末装置に設けられた撮影装置及びマイクで、講義中、各受講者の映像及び音声を取得し、講義状況に応じて配信局から得られる講義映像及び講義音声に対して受講者側の映像及び音声を混合する処理を行って各受講者側端末装置に送信することで、個々の受講者に対するきめ細かな教育情報を提供することができるというものでる。
【０００４】
【特許文献１】特開２００３−２１９３８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、地点数が多くなると、映像ソースの数が莫大となり、この中から表示装置に表示する映像をユーザーが手動で選択するのは、ユーザーの負担が大きくなるという問題がある。また、映像を選択するユーザーは、各地点の状況を完全に把握することはできないため、選択して表示すべき映像ソースを見落としてしまうことがある。
【０００６】
そこで、本発明は、上記問題点に鑑みてなされたもので、多数の映像があった場合でも、状況に応じた表示を自動的に行うことができる管理システム及び表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、少なくとも一つの表示装置がそれぞれ設置された複数の地点の表示を制御する管理システムであって、前記地点に設けられた所定のセンサーからのセンサー情報に基づいて、前記地点の状況を判断する判断手段と、前記判断手段が判断した地点の状況に応じて、複数の映像の中から前記表示装置で表示する映像を選択する表示制御手段とを備える管理システムである。本発明によれば、地点の状況に基づいて、複数の映像の中から表示装置で表示する映像を選択するので、地点数が多くなり、多数の映像があった場合でも、状況に応じた表示を自動的に行うことができる。よってユーザーの負担を軽減できる。また、選択して表示すべき映像ソースを見落とすということも無くなる。
【０００８】
本発明の管理システムは更に、前記センサー情報と前記地点の状況を対応させたテーブルを格納するデータベースを備え、前記判断手段は、前記センサー情報に基づいて、前記テーブルを参照することによって、前記地点の状況を判断する。本発明によれば、データベースを参照することによって、各地点の状況を正確に判断することができる。
【０００９】
本発明の管理システムは更に、前記判断手段が判断した地点の状況に応じて、前記地点に設置された撮影装置を制御する撮影制御手段を備える。本発明によれば、各地点の状況に応じた撮影が可能となる。
【００１０】
本発明の管理システムは更に、前記表示装置の表示状況に応じて、前記複数の地点のうちの第１の地点を撮影した映像が第２の地点の表示装置で表示されている場合、該第１の地点に設置された照明装置の照明を明るくし、該第２の地点に設置された照明装置の照明を暗くするよう照明を制御する照明制御手段を備える。本発明によれば、自地点の映像が他の地点の人に見られているかをフィードバックすることで、各地点の状況を把握することができるため、他の地点との間でコミュニケーションが取り易くなる。
【００１１】
前記判断手段は、前記センサー情報に基づいて得られた前記地点にいる人物の位置、人物の動き、及び肌色領域の大きさのうち少なくとも１つを用いて、前記地点の状況を判断する。たとえばカメラ、ＲＦ（Radio Frequency）ＩＤセンサーや赤外線センサーからのセンサー情報を用いて、地点にいる人物の位置、人物の動き、及び肌色領域の大きさによって地点の状況を判断できる。
【００１２】
本発明の管理システムは更に、前記センサーがマイクの場合、該マイクからの音声信号を音声処理することによって前記地点内の音声の有無、音源の位置及び音声の大きさのうちの少なくともいずれか一つを求める音声処理手段を備え、前記判断手段は、前記音声処理手段の音声処理結果を用いて、前記地点の状況を判断する。本発明によれば、音声の有無、音源の位置及び音声の大きさによって、地点の状況を判断できる。
【００１３】
前記表示制御手段は、前記複数の映像の重要度を求め前記表示装置で表示する映像を選択する。
【００１４】
前記センサーは、カメラ、マイク、前記表示装置に設けられた画面接触センサー、ＲＦＩＤセンサーおよび赤外線センサーのうち少なくとも１つを含むことを特徴とする。
【００１５】
本発明は、少なくとも一つの表示装置が設置された複数の地点の表示を制御する表示制御方法であって、所定のセンサーからのセンサー情報に基づいて、前記地点の状況を判断する判断ステップと、前記判断ステップで判断された地点の状況に応じて、複数の映像の中から前記表示装置で表示する映像を選択するステップとを有する表示制御方法である。本発明によれば、地点の状況に基づいて、複数の映像の中から表示装置で表示する映像を選択するので、地点数が多くなり、多数の映像があった場合でも、状況に応じた表示を自動的に行うことができる。よってユーザーの負担を軽減できる。
【００１６】
前記判断ステップは、前記センサー情報と前記地点の状況を対応させたテーブルを参照することによって、前記地点の状況を判断する。本発明によれば、データベースを参照することによって、各地点の状況を正確に判断することができる。
【発明の効果】
【００１７】
本発明によれば、多数の映像があった場合でも、状況に応じた表示を自動的に行うことができる管理システム及び表示制御方法を提供できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態について説明する。
【００１９】
図１は本発明による管理システムの全体構成を示す図である。図１に示すように、管理システム１は、中央サーバー２、地点Ａの会議装置３、地点Ｂの会議装置４、地点Ｃの会議装置５を備え、会議装置３乃至５はネットワークを介して中央サーバー２に接続されている。地点Ａの会議装置３は、地点サーバー３１、表示装置３２乃至３４、マイク３５、カメラ３６及び照明装置３７を備える。管理システム１は、少なくとも一つの表示装置がそれぞれ設置された複数の地点の表示を制御するものである。
【００２０】
地点Ｂの会議装置４は、地点サーバー４１、表示装置４２乃至４４、マイク４５、カメラ４６及び照明装置４７を備える。地点Ｃの会議装置５は、地点サーバー５１、表示装置５２、５３、マイク５４、カメラ５５及び照明装置５６を備える。なお、地点Ｂの会議装置４及び地点Ｃの会議装置５は地点Ａと同様であるためここでは説明を省略する。地点Ａの会議装置３について説明する。
【００２１】
地点Ａの会議装置３は、地点Ａの会議室に設置されるものである。地点サーバー３１は、表示装置３２乃至３４、マイク３５、カメラ３６、照明装置３７等の地点Ａの会議装置３全体を制御する。この地点サーバー３１は、センサーからのセンサー情報に基づいて地点Ａの状況を判断する機能を有する。表示装置３２乃至３４は、例えば地点の会議室を撮影したＴＶ映像、電子黒板の映像及びスライド等の資料を表示する。表示装置３４は、電子黒板の機能を有し、この表示装置３４は、電子黒板画面上の接触感知センサー（画面接触センサー）を備え、ペン又はタッチ入力の有無等の値をセンサー情報として地点サーバー３１に送る。
【００２２】
マイク３５は、地点サーバー３１によって制御され、地点Ａの会議室内の音声を音声信号に変更し、この音声信号をセンサー情報として地点サーバー３１に送る。カメラ３６は、地点サーバー３１によって制御され、地点Ａの会議室内を撮影し、撮影した映像信号をセンサー情報として地点サーバー３１に送る。照明装置３７は、地点サーバー３１によって制御され、地点Ａの会議室内を照明するものである。また、地点Ａの会議室内の照明状況を地点サーバー３１に送る機能があってもよい。
【００２３】
図２は、地点Ａの地点サーバー３１のブロック図である。図２に示すように、地点サーバー３１は、送受信部３０２、状況データベース３０３、データベース３０４、画像処理部３０５、音声処理部３０６、状況判断部３０７、表示制御部３０８、撮影制御部３０９、マイク制御部３１０及び照明制御部３１１を備え、これらは内部バス３１２を介してそれぞれ接続されている。
【００２４】
状況データベース３０３は、センサー情報と地点の状況ＩＤの対応関係を示すテーブルを格納する。図４は、状況データベース３０３内のセンサー情報と状況ＩＤとを対応させたテーブルを示す図である。図４に示すように、マイク３５、カメラ３６及び画面センサーからのセンサー情報を用いて、地点Ａの会議室内の状況ＩＤが特定され、地点Ａの会議室内の状況が分かる。
【００２５】
データベース３０４は、地点Ａの表示装置３２乃至３４の設備情報を格納するテーブルを持つ。図５は、表示装置の設備情報を格納するテーブルを示す図である。図５に示すように、地点Ａの表示装置３２乃至３４は表示順位が決定されており、重要が映像から表示装置３３、表示装置３２、表示装置３４の順番で表示される。
【００２６】
なお、地点Ｂの会議室は、３台の表示装置４２乃至４４があるため、図５で示したような表示順位に従って、映像を表示する。また、地点Ｃでは、地点Ａ及び地点Ｂとは異なり、２台の表示装置５２及び５３が設置されているため、図６に示すような表示順位で映像を表示する。図６は、地点Ｃの地点サーバー５１内の表示装置の設備情報テーブル例である。図６に示すように、地点Ｃの表示装置５２及び５３は表示順位が決定されており、重要な映像から表示装置５２、表示装置５３の順番で表示される。
【００２７】
画像処理部３０５は、カメラ３６で撮影した映像信号を画像処理し、人物の位置、人物の動きの大きさ、肌色領域の大きさなどの値を出力する。音声処理部３０６は、マイク３５からの音声信号を音声処理し、音声の有無、音源の位置、音の大きさなどの値を出力する。
【００２８】
状況判断部３０７は、画像処理部３０５の画像処理結果、音声処理部３０６の音声処理結果及び画面センサーからのセンサー情報に基づいて、状況データベースを参照することによって状況ＩＤを特定し、地点Ａの状況を判断する。例えば、図４に示したように、状況判断部３０７は、カメラ３６からのセンサー情報の画像処理結果が「人物の動きあり」、マイク３５からのセンサー情報の音声処理結果が「音源ひとつ」、画面センサーからのセンサー情報が「画面書き込みあり」の場合、地点Ａの状況は、状況２「一人の人物が発言しながら画面に書き込んでいる」であると特定する。
【００２９】
また、カメラ３６からのセンサー情報の画像処理結果が「人物の動きあり」、マイク３５からのセンサー情報の音声処理結果が「音源複数」、画面センサーからのセンサー情報が「画面書き込みなし」の場合、地点Ａの状況は、状況３「複数の人物が同時に発言している」であると特定する。さらに、カメラ３６からのセンサー情報の画像処理結果が「人物の動きなし」、マイク３５からのセンサー情報の音声処理結果が「音源なし」、画面センサーからのセンサー情報が「画面書き込みなし」の場合、地点Ａの状況は、状況４「誰も発言していない」であると特定する。
【００３０】
また、状況判断部３０７は、例えば音声の大きさ及び動きの大きさから会議参加者のアクティビティレベルの値を計算する。アクティビティレベルの計算方法は、状況ＩＤ別々の計算方法であってもよい。表示制御部３０８は、地点Ａのすべての状況ＩＤと表示装置の設備情報（画面数など）を、中央サーバー２に送る。なお、中央サーバー２が地点Ａの状況ＩＤと表示装置の設備情報を予め保持していてもよい。ここで、地点の表示装置の設備情報には、表示装置の数、表示装置の順位が含まれる。
【００３１】
表示装置の設備情報として、表示装置の数、表示装置の順位を用いる。各地点サーバー３１〜５１が持っている情報（地点Ａでは例えば図５のような情報）を、中央サーバー２が全ての地点分のものを保持している。図５の例では、地点Ａは、表示装置３３＞表示装置３４＞表示装置３２の表示装置順位となる。中央サーバー２は、この情報を、各地点分、保持している。表示装置の設備情報は、どの地点のどの画面に、どの映像を出すのかを決定するのと、各地の照明の明るさを決定するのに使用する。
【００３２】
撮影制御部３０９は、状況判断部３０７が判断した地点の状況に応じて、地点Ａに設置されたカメラ（撮影装置）３６を制御する。撮影制御部３０９は、状況ＩＤに対応したカメラワークを行う。各状況ＩＤに対応したカメラワークの対応表は各地点サーバー３１が保持する。撮影制御部３０９は、状況１「一人の人物が発言している」場合、発言している人物を撮影するようカメラ３６を制御する。撮影制御部３０９は、カメラワークを実現するために、地点サーバー３１に集められたセンサー情報を用いる。撮影制御部３０９は、複数あるカメラの中から撮影に使用するカメラの選択、パン・チルト・ズームカメラ制御を行う。あるカメラワークを実現するには、どのカメラを選択し、どのようなパン・チルト・ズーム値にすればよいかの計算方法は、あらかじめ地点サーバー３１に記憶されている。マイク制御部３１０はマイク３５を制御する。
【００３３】
照明制御部３１１は、中央サーバー２からの各地点Ａ、Ｂ及びＣの表示状況に基づいて、照明装置３７の照明コントロールを行う。例えば、照明制御部３１１は、各地点の表示装置の表示状況に応じて、地点Ａを撮影した映像が地点Ｂの表示装置４２乃至４４で表示されている場合、地点Ａに設置された照明装置３７の照明を明るくなるように照明を制御する。このとき、地点Ｂに設置された照明装置４７の照明を暗くするよう地点サーバー４１によって制御される。このように、自地点の映像が他の地点の人に見られているかをフィードバックすることによって、各地点の状況を把握することができるため、他の地点との間でコミュニケーションが取り易くなる。なお、ここでは照明によって表示状況を知らせるようにしているが、例えばアイコン、他の照明、又は音声など用いて表示状況を知らせるようにしてもよい。
【００３４】
図３は中央サーバー２のブロック図である。図３に示すように、中央サーバー２は、送受信部２１及び表示制御部２２を備える。送受信部２１は、地点Ａの会議装置３、地点Ｂの会議装置４及び地点Ｃの会議装置５から各地点の状況ＩＤを取得する。表示制御部２２は、各地点の状況ＩＤに応じて、複数の映像の中から表示装置で表示する映像を選択する。詳細には、表示制御部２２は、各地点の状況ＩＤ及びアクティビティレベル値に基づいて、ＴＶ映像、資料画像／映像の重要度を計算し、各地点サーバー３１、４１及び５１へ画面表示の切替指令を出す。例えば、表示制御部２２は、各地点の状況ＩＤ及びアクティビティレベル値に基づいて、「地点Ａの電子黒板＞地点ＡのＴＶ映像＞地点ＢのＴＶ映像＞地点ＣのＴＶ映像」となる重要度の順位を求める。このとき、表示制御部２２は、複数の地点が同じ状況ＩＤを持つ場合、アクティビティレベル値で重要度順を計算する。
【００３５】
ここでは、重要度という数値ではなく、重要度の順位を用いる。まずは、状況ＩＤの順位が決められている。例えば、図４の例では、状況２＞状況３＞状況４となる。ここで、各地点の状況が、地点Ａ:「状況２（一人の人物が発言しながら画面に書き込んでいる）」、地点Ｂ:「状況３（誰も発言していない）」、地点Ｃ：「状況３（誰も発言していない）」の場合、地点の重要度の順位は、地点Ａ＞地点Ｂ＝地点Ｃとなる。地点Ｂと地点Ｃの順位が同じであるが、この場合はアクティビティレベル値が用いられる。
【００３６】
例えば、地点Ｂのアクティビティレベルが４０、地点Ｃのアクティビティレベルが３０のときは、そのアクティビティレベルの数値の大きさによって、式（１）のようになる。
【００３７】
地点Ａ ＞ 地点Ｂ ＞ 地点Ｃ ・・ 式（１）
【００３８】
次に、各状況ＩＤに対応して、その地点のＴＶ映像、資料画像／映像の重要度順位があらかじめ定まっている。例えば、
・地点Ｘが状況２：地点Ｘの電子黒板 ＞ 地点ＸのＴＶ映像 ・・ 式（２）
・地点Ｘが状況３：地点ＸのＴＶ映像
・地点Ｘが状況４：地点ＸのＴＶ映像
となっている。
【００３９】
式（１）を保持しながら、式（２）を当てはめると、地点Ａの電子黒板＞地点ＡのＴＶ映像＞地点ＢのＴＶ映像＞地点ＣのＴＶ映像というように、順位が一意に定まる。
【００４０】
また、表示制御部２２は、各地点の表示装置の設備情報を保持しており、各地点のどの表示装置にどのＴＶ映像、資料画像等を表示させるか、重要度順をもとに決定する。
【００４１】
重要度順が、地点Ａの電子黒板＞地点ＡのＴＶ映像＞地点ＢのＴＶ映像＞地点ＣのＴＶ映像であるとき、地点Ａについて決定すると、まず、「地点Ａの電子黒板」が表示装置３２にすでに表示されているとき、これを別の表示装置に変えずに、表示装置３２に固定する。そして、「地点Ａの電子黒板」と「地点ＡのＴＶ映像」は、不要なので除外される。そして、地点Ａの表示装置順位は、表示装置３３＞表示装置３４＞表示装置３２（＝すでに電子黒板が割り当て）なので、
・表示装置３３：地点ＣのＴＶ映像
・表示装置３４：地点ＢのＴＶ映像
・表示装置３２：地点Ａの電子黒板
というように、割り当てられていく。
【００４２】
また、地点Bの表示装置順位が、表示装置４３＞表示装置４４＞表示装置４２の場合、同様に「地点ＢのＴＶ映像」は除外され、
・表示装置４３：地点Ａの電子黒板
・表示装置４４：地点ＡのＴＶ映像
・表示装置４２：地点ＣのＴＶ映像
と割り当てられる。
【００４３】
表示制御部２２は、重要度の高いＴＶ映像、資料画像を順位の高い表示装置に表示させる画面制御命令を生成する。送受信部２１は、画面制御命令を各地点サーバー３１、４１及び５１に送る。画面制御命令には、どの表示装置にどのＴＶ映像／資料画像を表示するかという命令が含まれる。また、中央サーバー２は、画面制御命令と共に、ＴＶ映像／資料画像そのものを送るかまたはＴＶ映像／資料画像のへのリンク／ＩＰを送る。地点サーバー３１は中央サーバー２からの画面制御命令に基づいて、画面表示を切り替える。
【００４４】
上記の例では、地点Ａでは、
・表示装置３３：地点ＣのＴＶ映像
・表示装置３４：地点ＢのＴＶ映像
・表示装置３２：地点Ａの電子黒板
と決定される。
【００４５】
地点Ｂでは、
・表示装置４３：地点Ａの電子黒板
・表示装置４４：地点ＡのＴＶ映像
・表示装置４２：地点ＣのＴＶ映像
と決定される。
【００４６】
地点Ｃでは、
・表示装置５２：地点Ａの電子黒板
・表示装置５３：地点ＡのＴＶ映像
と決定され、各地点のサーバー３１〜５１に上記のように切り替えるよう命令が送られる。
【００４７】
また、中央サーバー２では、各ＴＶ映像／資料画像が、いくつの表示装置で表示されているかを計算し、これに基づいて各地点の照明光量を制御する。上記の例では、
・地点Ａの電子黒板：２地点（地点Ａは自地点なので除外）
・地点ＡのＴＶ映像：２地点
・地点ＢのＴＶ映像：１地点
・地点ＣのＴＶ映像：１地点
となる。
【００４８】
各地点には、光量制御可能な照明が、部屋全体あるいは壁、天井を照らすもの、各表示装置のまわりに設置してある。ＴＶ映像に対しては、部屋全体の照明を、資料画像・電子黒板画像の場合は対応する表示装置の照明を制御する。上記の例では、
・地点Ａの電子黒板：→地点Ａで電子黒板が表示されている表示装置３２
・地点ＡのＴＶ映像→地点Ａの部屋全体
・地点ＢのＴＶ映像→地点Ｂの部屋全体
・地点ＣのＴＶ映像→地点Ｃの部屋全体
の照明が制御される。
【００４９】
各照明の光量Ｌは、Ｌ＝(すべての地点数−１)＊(Ｌ＿ＭＡＸ−Ｌ＿ＭＩＮ)＋Ｌ＿ＭＩＮで定まる。ここで、Ｌ＿ＭＩＮ、Ｌ＿ＭＡＸは、それぞれ、あらかじめ設定した各照明の最小、最大光量である。よって、例えば地点Ｂの部屋全体の照明光量は、Ｌ＿ＭＩＮ＝３０，Ｌ＿ＭＡＸ＝１００のとき、地点Ｂの部屋全体の照明光量＝(３地点−１)＊（１００−３０）＋３０＝６５となる。
【００５０】
中央サーバー２は、以上の計算をすべての地点のすべての照明について計算し、それぞれの光量を各地点のサーバー３１〜５１に送って制御する。
【００５１】
次に動作について説明する。図７は、各地点の状況判断時の処理フローチャートである。地点Ａの会議装置３において、画像処理部３０５は、カメラ３６で撮影した映像信号を画像処理し、人物の位置、動きの大きさ、肌色領域の大きさなどの値を求め出力すると、状況判断部３０７は画像処理結果を取得する（ステップＳ１１）。音声処理部３０６は、マイク３５からの音声信号を音声処理し、音声の有無、音源の位置、音の大きさなどの値を求め出力すると、状況判断部３０７は音声処理結果を取得する（ステップＳ１２）。
【００５２】
画面接触センサーが、ペン又はタッチ入力の有無などの値を出力すると、状況判断部３０７は、画面センサーからのセンサー情報を取得する（ステップＳ１３）。状況判断部３０７は、センサー情報を用いて、状況データベース３３を参照し、状況ＩＤから地点Ａの状況を判断する（ステップＳ１４）。この時、撮影制御部３０９は状況判断部３０７が特定した状況ＩＤに基づいて、カメラ３６を制御する。これにより、地点Ａで発言者にカメラを向けることができる。地点Ｂの会議装置４及び地点Ｃの会議装置５においても、図７で示した処理と同様の処理が行われる。これにより、各地点の会議室の状況が特定される。
【００５３】
図８は、映像選択時の処理フローチャートである。ステップＳ２１で、送受信部２１は、各地点Ａ乃至Ｃの会議装置３乃至５から状況ＩＤを取得する。表示制御部２２は、各地点Ａ乃至Ｃの状況ＩＤを知ることで、例えば、地点Ａの状況「発言しながら電子黒板に書いている」、地点Ｂ「何もなし」、地点Ｃ「何もなし」という状況を知ることができる。ステップＳ２２で、表示制御部２２は、各地点の状況ＩＤ及びアクティビティレベル値に基づいて、ＴＶ映像、資料画像／映像の重要度を計算し、ステップＳ２３で、表示順位を決定する。例えば、表示順位の決定の結果、「（１）地点Ａの電子黒板＞（２）地点ＡのＴＶ映像＞（３）地点ＢのＴＶ映像＞（４）地点ＣのＴＶ映像」となる。表示制御部２２は、このような画面表示の切替指令を各地点サーバー３１乃至５１へ出す。
【００５４】
この画面表示の切替指令によって、各地点Ａ乃至Ｃの表示装置の表示が制御される。例えば、地点Ａでは、表示装置３２は、地点ＣのＴＶ映像を表示し、表示装置３３は地点Ａの電子黒板を表示し、表示装置３４は、地点ＢのＴＶ映像を表示する。また、地点Ｂでは、表示装置４２が地点ＡのＴＶ映像を表示し、表示装置４３が地点Ａの電子黒板を表示する。また、地点Ｃでは、表示装置５２が地点Ａの電子黒板を表示し、表示装置５３が地点ＡのＴＶ映像を表示する。
【００５５】
次に、照明装置の制御について説明する。図９は、照明装置の制御時の処理フローチャートである。中央サーバー２は、各地点のＴＶ映像／資料画像がどの地点で表示されているのかを示す画面表示状況から、各地点の照明の光量を計算する。そして、中央サーバー２は、ステップＳ３１で、各地点の照明の光量を各地点サーバー３１、４１および５１へ送る。地点Ａの会議装置３において、ステップＳ３２で、送受信部３０２は、照明の光量を取得する。ステップＳ３３で、照明制御部３１１は、受け取った照明の光量に基づいて、照明装置３７を制御する。
【００５６】
例えば、照明制御部３１１は、各地点の画面表示状況に基づいて、地点Ａの会議室のＴＶ映像が他地点で表示されている場合は、照明装置３７の照明を明るくする。なお、地点Ｂ／Ｃの会議室においては、地点Ａしか表示されていない場合、地点Ｂの会議室及び地点Ｃの会議室の照明を暗くして、どの地点の会議室が見られているかどうかを参加者に伝える。これによって、コミュニケーションを図り易くする。また、照明制御部３１１は、各地点の画面表示状況に基づいて、受信した情報に基づいて照明装置３７の光量を例えば、ＴＶ映像の表示数が多くなるに従って、部屋全体の照明を明るくし、資料画像の表示数が多くなるに従って、資料画像が表示されている画面周辺の照明を明るくする。なお、照明の明るさは、表示数ではなく、表示されている地点にいる人数の合計であってもよい。また、中央サーバー２は、画面表示状況を地点サーバー３１へ送るのと同様に、地点サーバー４１及び５１にも送る。これにより地点Ｂの会議装置４及び地点Ｃの会議装置５においても地点Ａの会議装置と同様に処理が行われる。
【００５７】
なお、会議装置３乃至５において、ユーザーによる明示的な表示装置の切り替え操作も可能である。ユーザーは、各地点サーバー３１乃至５１、中央サーバー２に対して、どの地点のどの画面に、どのＴＶ映像/資料画像を表示させるか操作することができる。操作後、変更点を中央サーバー２に送信し、中央サーバー２は各地点の照明の制御を行う。また、ユーザーが自動画面切り替えに戻したり、中央サーバー２が画面切り替え命令を出すまで、ユーザーが操作した画面表示を維持するようにしてもよい。
【００５８】
本実施形態によれば、映像ソースの中から自動的に選択して、各地点の画面に表示させることができる。また、ある地点のＴＶ映像が他地点の画面に表示されている場合、その地点の部屋の照明を明るくして、他地点の人に見られていることをフィードバックするので、各地点の画面表示の情報から、ＴＶ映像が表示されている地点の照明を制御することができる。各地点で参加している人は、自地点のＴＶ映像が他地点の人に見られているかを知ることができる。なお、上記実施例において、センサーに、カメラ、マイク、前記表示装置に設けられた画面接触センサー、ＲＦＩＤセンサーまたは赤外線センサーを用いることができる。状況判断部３０７は、センサー情報に基づいて得られた地点にいる人物の位置、人物の動き、または肌色領域の大きさなどを用いて、地点の状況を判断するようにしてもよい。
【００５９】
なお、本発明による表示制御方法は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。
【００６０】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。なお、上記実施形態では会議を例にとって説明したが本発明はこれに限定されるものではない。
【図面の簡単な説明】
【００６１】
【図１】本実施形態によるシステムの全体構成を示す図である。
【図２】本実施形態による地点Ａの地点サーバーのブロック図である。
【図３】本実施形態による中央サーバーのブロック図である。
【図４】センサー情報と状況ＩＤとを対応させたテーブルを示す図である。
【図５】表示装置の設備情報を格納するテーブルを示す図である。
【図６】地点Ｃの地点サーバー５１内の表示装置の設備情報テーブル例である。
【図７】各地点の状況判断時の処理フローチャートである。
【図８】映像選択時の処理フローチャートである。
【図９】照明装置の制御の際の処理フローチャートである。
【符号の説明】
【００６２】
１ 管理システム ３０５ 画像処理部
２ 中央サーバー ３０６ 音声処理部
３、４、５ 会議装置 ３０７ 状況判断部
３１、４１、５１ 地点サーバー ３０８ 表示制御部
３０２ 送受信部 ３０９ 撮影制御部
３０３ 状況データベース ３１０ マイク制御部
３０４ データベース ３１１ 照明制御部
【特許請求の範囲】
【請求項１】
少なくとも一つの表示装置がそれぞれ設置された複数の地点の表示を制御する管理システムであって、
前記地点に設けられた所定のセンサーからのセンサー情報に基づいて、前記地点の状況を判断する判断手段と、あ
前記判断手段が判断した地点の状況に応じて、複数の映像の中から前記表示装置で表示する映像を選択する表示制御手段とを備えることを特徴とする管理システム。
【請求項２】
前記管理システムは更に、前記センサー情報と前記地点の状況を対応させたテーブルを格納するデータベースを備え、
前記判断手段は、前記センサー情報に基づいて、前記テーブルを参照することによって、前記地点の状況を判断することを特徴とする請求項１記載の管理システム。
【請求項３】
前記管理システムは更に、前記判断手段が判断した地点の状況に応じて、前記地点に設置された撮影装置を制御する撮影制御手段を備えることを特徴とする請求項１記載の管理システム。
【請求項４】
前記管理システムは更に、前記表示装置の表示状況に応じて、前記複数の地点のうちの第１の地点を撮影した映像が第２の地点の表示装置で表示されている場合、該第１の地点に設置された照明装置の照明を明るくし、該第２の地点に設置された照明装置の照明を暗くするよう照明を制御する照明制御手段を備えることを特徴とする請求項１記載の管理システム。
【請求項５】
前記判断手段は、前記センサー情報に基づいて得られた前記地点にいる人物の位置、人物の動き、及び肌色領域の大きさのうち少なくとも１つを用いて、前記地点の状況を判断することを特徴とする請求項１記載の管理システム。
【請求項６】
前記管理システムは更に、前記センサーがマイクの場合、該マイクからの音声信号を音声処理することによって前記地点内の音声の有無、音源の位置及び音声の大きさのうちの少なくともいずれか一つを求める音声処理手段を備え、
前記判断手段は、前記音声処理手段の音声処理結果を用いて、前記地点の状況を判断することを特徴とする請求項１記載の管理システム。
【請求項７】
前記表示制御手段は、前記複数の映像の重要度を求め前記表示装置で表示する映像を選択することを特徴とする請求項１記載の管理システム。
【請求項８】
前記センサーは、カメラ、マイク、前記表示装置に設けられた画面接触センサー、ＲＦＩＤセンサーおよび赤外線センサーのうち少なくとも１つを含むことを特徴とする請求項１記載の管理システム。
【請求項９】
少なくとも一つの表示装置が設置された複数の地点の表示を制御する表示制御方法であって、
所定のセンサーからのセンサー情報に基づいて、前記地点の状況を判断する判断ステップと、
前記判断ステップで判断された地点の状況に応じて、複数の映像の中から前記表示装置で表示する映像を選択するステップとを有することを特徴とする表示制御方法。
【請求項１０】
前記判断ステップは、前記センサー情報と前記地点の状況を対応させたテーブルを参照することによって、前記地点の状況を判断することを特徴とする請求項９記載の表示制御方法。
【請求項１】
少なくとも一つの表示装置がそれぞれ設置された複数の地点の表示を制御する管理システムであって、
前記地点に設けられた所定のセンサーからのセンサー情報に基づいて、前記地点の状況を判断する判断手段と、あ
前記判断手段が判断した地点の状況に応じて、複数の映像の中から前記表示装置で表示する映像を選択する表示制御手段とを備えることを特徴とする管理システム。
【請求項２】
前記管理システムは更に、前記センサー情報と前記地点の状況を対応させたテーブルを格納するデータベースを備え、
前記判断手段は、前記センサー情報に基づいて、前記テーブルを参照することによって、前記地点の状況を判断することを特徴とする請求項１記載の管理システム。
【請求項３】
前記管理システムは更に、前記判断手段が判断した地点の状況に応じて、前記地点に設置された撮影装置を制御する撮影制御手段を備えることを特徴とする請求項１記載の管理システム。
【請求項４】
前記管理システムは更に、前記表示装置の表示状況に応じて、前記複数の地点のうちの第１の地点を撮影した映像が第２の地点の表示装置で表示されている場合、該第１の地点に設置された照明装置の照明を明るくし、該第２の地点に設置された照明装置の照明を暗くするよう照明を制御する照明制御手段を備えることを特徴とする請求項１記載の管理システム。
【請求項５】
前記判断手段は、前記センサー情報に基づいて得られた前記地点にいる人物の位置、人物の動き、及び肌色領域の大きさのうち少なくとも１つを用いて、前記地点の状況を判断することを特徴とする請求項１記載の管理システム。
【請求項６】
前記管理システムは更に、前記センサーがマイクの場合、該マイクからの音声信号を音声処理することによって前記地点内の音声の有無、音源の位置及び音声の大きさのうちの少なくともいずれか一つを求める音声処理手段を備え、
前記判断手段は、前記音声処理手段の音声処理結果を用いて、前記地点の状況を判断することを特徴とする請求項１記載の管理システム。
【請求項７】
前記表示制御手段は、前記複数の映像の重要度を求め前記表示装置で表示する映像を選択することを特徴とする請求項１記載の管理システム。
【請求項８】
前記センサーは、カメラ、マイク、前記表示装置に設けられた画面接触センサー、ＲＦＩＤセンサーおよび赤外線センサーのうち少なくとも１つを含むことを特徴とする請求項１記載の管理システム。
【請求項９】
少なくとも一つの表示装置が設置された複数の地点の表示を制御する表示制御方法であって、
所定のセンサーからのセンサー情報に基づいて、前記地点の状況を判断する判断ステップと、
前記判断ステップで判断された地点の状況に応じて、複数の映像の中から前記表示装置で表示する映像を選択するステップとを有することを特徴とする表示制御方法。
【請求項１０】
前記判断ステップは、前記センサー情報と前記地点の状況を対応させたテーブルを参照することによって、前記地点の状況を判断することを特徴とする請求項９記載の表示制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−２７０１７２（Ｐ２００６−２７０１７２Ａ）
【公開日】平成１８年１０月５日（２００６．１０．５）
【国際特許分類】
【出願番号】特願２００５−８１３８６（Ｐ２００５−８１３８６）
【出願日】平成１７年３月２２日（２００５．３．２２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成１８年１０月５日（２００６．１０．５）
【国際特許分類】
【出願日】平成１７年３月２２日（２００５．３．２２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]