会議システム、会議用端末、および遠隔側端末
【課題】会議拠点全体の様子を把握することができるテレビ会議システムを提供する。
【解決手段】遠隔側端末３では、前側カメラ４６等で撮影された映像データや、遠隔操作パケットが、ネットワーク２を介して会議用端末５に送信される。会議用端末５では、遠隔側端末３から受信した映像データが正面ディスプレイ６１等に表示され、遠隔操作パケットに応じて正面ディスプレイ６１等の向きが変更される。会議用端末５では、正面ディスプレイ６１の向きと同じ方向を撮影した映像データと、正面ディスプレイ６１の前方位置から周囲を撮影した映像データとが、ネットワーク２を介して遠隔側端末３に送信される。遠隔側端末３では、会議用端末５から受信した映像データが、ディスプレイに表示される。
【解決手段】遠隔側端末３では、前側カメラ４６等で撮影された映像データや、遠隔操作パケットが、ネットワーク２を介して会議用端末５に送信される。会議用端末５では、遠隔側端末３から受信した映像データが正面ディスプレイ６１等に表示され、遠隔操作パケットに応じて正面ディスプレイ６１等の向きが変更される。会議用端末５では、正面ディスプレイ６１の向きと同じ方向を撮影した映像データと、正面ディスプレイ６１の前方位置から周囲を撮影した映像データとが、ネットワーク２を介して遠隔側端末３に送信される。遠隔側端末３では、会議用端末５から受信した映像データが、ディスプレイに表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数拠点に設けられた端末間で遠隔会議を実行する会議システム、および遠隔会議に使用される会議用端末および遠隔側端末に関する。
【背景技術】
【０００２】
従来、複数拠点に設けられた端末間でテレビ会議を実行するテレビ会議システムが知られている。このようなテレビ会議システムに使用される端末として、通話相手が注視している方向と、通話相手の表示方向とを一致させることで、会議の臨場感を高めることができるテレビ会議装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−６５４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のテレビ会議装置では、遠隔地のユーザを表示するディスプレイの方向が、そのユーザの操作に応じて変化する。そして、ディスプレイと対向する方向がカメラで撮影されて、その映像が遠隔地のユーザが使用する端末装置で表示される。しかしながら、カメラでディスプレイと対向する方向のみが撮影されると、遠隔地のユーザはテレビ会議装置が設置されている会議の開催場所（以下、「会議拠点」という。）全体の様子を把握することができない。その結果、例えばカメラの撮影範囲外に存在する会議参加者が発言した場合には、遠隔地のユーザはその会議参加者がどこにいるかを認識することができず、テレビ会議の円滑な進行を損なうおそれがあった。
【０００５】
本発明は、上述した課題を解決するためになされたものであり、会議拠点全体の様子を把握することができる会議システム、会議用端末および遠隔側端末を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１態様に係る会議システムは、遠隔地のユーザが使用する遠隔側端末と、会議の開催場所に設置される会議用端末とがネットワークを介して接続され、前記遠隔側端末と前記会議用端末との双方向通信によって遠隔会議を実行する会議システムであって、前記遠隔側端末は、前記ユーザを撮影する遠隔側カメラと、前記遠隔側カメラで撮影された遠隔側画像を、前記ネットワークを介して前記会議用端末に送信する遠隔側画像送信手段と、前記会議用端末に対する操作指示を受け付ける操作受付手段と、前記操作受付手段によって受け付けられた前記操作指示を、前記ネットワークを介して前記会議用端末に送信する操作指示送信手段とを備え、前記会議用端末は、前記ネットワークを介して前記遠隔側画像を受信する遠隔側画像受信手段と、前記遠隔側画像受信手段によって受信された前記遠隔側画像を表示する会議側ディスプレイと、前記ネットワークを介して前記操作指示を受信する操作指示受信手段と、前記操作指示受信手段によって受信された前記操作指示に応じて、前記会議側ディスプレイの向きを変更する駆動手段と、前記会議側ディスプレイの向きと同一方向を撮影する第一会議カメラと、前記会議側ディスプレイよりも前方の位置で周囲を撮影する第二会議カメラと、前記第一会議カメラで撮影された正面画像と、前記第二会議カメラで撮影された周囲画像とを、前記ネットワークを介して前記遠隔側端末に送信する会議側画像送信手段とを備え、さらに、前記遠隔側端末は、前記ネットワークを介して前記正面画像および前記周囲画像を受信する会議側画像受信手段と、前記会議側画像受信手段によって受信された前記正面画像および前記周囲画像を表示する遠隔側ディスプレイとを備えている。
【０００７】
これによれば、遠隔側端末では、遠隔側画像や操作指示が、ネットワークを介して会議用端末に送信される。会議用端末では、遠隔側画像が会議側ディスプレイに表示され、操作指示に応じて会議側ディスプレイの向きが変更される。会議用端末では、会議側ディスプレイの向きと同じ方向を撮影した正面画像と、会議側ディスプレイの前方位置から周囲を撮影した周囲画像とが、ネットワークを介して遠隔側端末に送信される。遠隔側端末では、会議用端末から受信した正面画像および周囲画像が、遠隔側ディスプレイに表示される。これにより、遠隔地のユーザが、会議拠点全体の様子を把握することができる。
【０００８】
上記会議システムにおいて、前記会議用端末は、前記第二会議カメラで撮影された前記周囲画像に基づいて、前記周囲画像における方位を調整する方位調整手段を備えてもよい。この場合、会議用端末で周囲画像における方位を調整されるので、遠隔地のユーザは周囲画像における方位を正確に認識することができる。
【０００９】
上記会議システムにおいて、前記会議用端末は、前記会議側ディスプレイに特定パターンの検出用画像を表示させる会議側表示制御手段を備え、前記方位調整手段は、前記周囲画像に含まれる前記検出用画像の表示位置とは反対側の位置を、前記周囲画像における前方として検出してもよい。この場合、会議側ディスプレイに表示される検出用画像の表示位置に基づいて、第二会議カメラからみて会議側ディスプレイとは反対の方向が、周囲画像における前方として検出される。よって、周囲画像における何れの方向が前方であるかを、正確かつ容易に特定することができる。
【００１０】
上記会議システムにおいて、前記方位調整手段は、前記周囲画像に含まれる前記会議側ディスプレイのベゼル部の表示位置とは反対側の位置を、前記周囲画像における前方として検出してもよい。この場合、周囲画像に含まれるベゼル部の表示位置に基づいて、第二会議カメラからみて会議側ディスプレイとは反対の方向が、会議用端末の前方として検出される。よって、周囲画像における何れの方向が前方であるかを、正確かつ容易に特定することができる。
【００１１】
上記会議システムにおいて、前記会議用端末は、前記第二会議カメラで撮影された前記周囲画像から、前記周囲画像に含まれる前記会議用端末の表示領域を削除する端末領域削除手段を備えてもよい。この場合、周囲画像に会議用端末が表示されないため、周囲画像の視認性を向上させることができる。
【００１２】
上記会議システムにおいて、前記会議用端末は、前記第二会議カメラが設けられた支持部と、前記第一会議カメラおよび前記会議側ディスプレイが設けられ、前記支持部によって回動可能に支持される可動部とを備え、前記駆動手段は、前記可動部を回動させることによって、前記会議側ディスプレイの向きおよび前記第一会議カメラの撮影方向を変更してもよい。この場合、第二会議カメラの撮影位置および撮影方位を変更することなく、会議側ディスプレイの向きおよび第一会議カメラの撮影方向を変更することができる。
【００１３】
本発明の第２態様に係る会議用端末は、ネットワークを介して遠隔地のユーザが使用する遠隔側端末に接続され、会議の開催場所に設置される会議用端末であって、前記ネットワークを介して、前記遠隔側端末で撮影された遠隔側画像を受信する遠隔側画像受信手段と、前記遠隔側画像受信手段によって受信された前記遠隔側画像を表示する会議側ディスプレイと、前記ネットワークを介して、前記遠隔側端末で入力された前記会議用端末に対する操作指示を受信する操作指示受信手段と、前記操作指示受信手段によって受信された前記操作指示に応じて、前記会議側ディスプレイの向きを変更する駆動手段と、前記会議側ディスプレイの向きと同一方向を撮影する第一会議カメラと、前記会議側ディスプレイよりも前方の位置で周囲を撮影する第二会議カメラと、前記第一会議カメラで撮影された正面画像と、前記第二会議カメラで撮影された周囲画像とを、前記ネットワークを介して前記遠隔側端末に送信する会議側画像送信手段とを備えてもよい。
【００１４】
これによれば、遠隔側端末では、遠隔側画像や操作指示が、ネットワークを介して会議用端末に送信される。会議用端末では、遠隔側画像が会議側ディスプレイに表示され、操作指示に応じて会議側ディスプレイの向きが変更される。会議用端末では、会議側ディスプレイの向きと同じ方向を撮影した正面画像と、会議側ディスプレイの前方位置から周囲を撮影した周囲画像とが、ネットワークを介して遠隔側端末に送信される。遠隔側端末では、会議用端末から受信した正面画像および周囲画像が、遠隔側ディスプレイに表示される。これにより、遠隔地のユーザが、会議拠点全体の様子を把握することができる。
【００１５】
上記会議用端末において、前記第二会議カメラで撮影された前記周囲画像に基づいて、前記周囲画像における方位を調整する方位調整手段を備えてもよい。この場合、会議用端末で周囲画像における方位を調整されるので、遠隔地のユーザは周囲画像における方位を正確に認識することができる。
【００１６】
上記会議用端末において、前記会議側ディスプレイに特定パターンの検出用画像を表示させる会議側表示制御手段を備え、前記方位調整手段は、前記周囲画像に含まれる前記検出用画像の表示位置とは反対側の位置を、前記周囲画像における前方として検出してもよい。この場合、会議側ディスプレイに表示される検出用画像の表示位置に基づいて、第二会議カメラからみて会議側ディスプレイとは反対の方向が、周囲画像における前方として検出される。よって、周囲画像における何れの方向が前方であるかを、正確かつ容易に特定することができる。
【００１７】
上記会議用端末において、前記方位調整手段は、前記周囲画像に含まれる前記会議側ディスプレイのベゼル部の表示位置とは反対側の位置を、前記周囲画像における前方として検出してもよい。この場合、周囲画像に含まれるベゼル部の表示位置に基づいて、第二会議カメラからみて会議側ディスプレイとは反対の方向が、会議用端末の前方として検出される。よって、周囲画像における何れの方向が前方であるかを、正確かつ容易に特定することができる。
【００１８】
上記会議用端末において、前記第二会議カメラで撮影された前記周囲画像から、前記周囲画像に含まれる前記会議用端末の表示領域を削除する端末領域削除手段を備えてもよい。この場合、周囲画像に会議用端末が表示されないため、周囲画像の視認性を向上させることができる。
【００１９】
上記会議用端末において、前記第二会議カメラが設けられた支持部と、前記第一会議カメラおよび前記会議側ディスプレイが設けられ、前記支持部によって回動可能に支持される可動部とを備え、前記駆動手段は、前記可動部を回動させることによって、前記会議側ディスプレイの向きおよび前記第一会議カメラの撮影方向を変更してもよい。この場合、第二会議カメラの撮影位置および撮影方位を変更することなく、会議側ディスプレイの向きおよび第一会議カメラの撮影方向を変更することができる。
【００２０】
本発明の第３態様に係る遠隔側端末は、ネットワークを介して会議の開催場所に設置される会議用端末に接続され、遠隔地のユーザに使用される遠隔側端末であって、前記ユーザを撮影する遠隔側カメラと、前記遠隔側カメラで撮影された遠隔側画像を、前記ネットワークを介して前記会議用端末に送信する遠隔側画像送信手段と、前記会議用端末に対する操作指示を受け付ける操作受付手段と、前記操作受付手段によって受け付けられた前記操作指示を、前記ネットワークを介して前記会議用端末に送信する操作指示送信手段と、前記ネットワークを介して、前記会議用端末に備えられた会議側ディスプレイの向きと同一方向を撮影した正面画像と、前記会議側ディスプレイよりも前方の位置で周囲を撮影した周囲画像とを受信する会議側画像受信手段と、前記会議側画像受信手段によって受信された前記正面画像および前記周囲画像を表示する遠隔側ディスプレイとを備えている。
【００２１】
これによれば、遠隔側端末では、遠隔側画像や操作指示が、ネットワークを介して会議用端末に送信される。会議用端末では、遠隔側画像が会議側ディスプレイに表示され、操作指示に応じて会議側ディスプレイの向きが変更される。会議用端末では、会議側ディスプレイの向きと同じ方向を撮影した正面画像と、会議側ディスプレイの前方位置から周囲を撮影した周囲画像とが、ネットワークを介して遠隔側端末に送信される。遠隔側端末では、会議用端末から受信した正面画像および周囲画像が、遠隔側ディスプレイに表示される。これにより、遠隔地のユーザが、会議拠点全体の様子を把握することができる。
【図面の簡単な説明】
【００２２】
【図１】テレビ会議システム１の全体構成を示す図である。
【図２】遠隔側端末３の電気的構成を示すブロック図である。
【図３】会議用端末５の斜め上方からの斜視図である。
【図４】会議用端末５の正面図である。
【図５】図４のＡ−Ａ線矢視方向断面図である。
【図６】図４のＢ−Ｂ線矢視方向断面図である。
【図７】会議用端末５の電気的構成を示すブロック図である。
【図８】遠隔側端末３の遠隔会議処理を示すフローチャートである。
【図９】会議用端末５の遠隔会議処理を示すフローチャートである。
【図１０】第１実施形態に係る方位算出処理を示すフローチャートである。
【図１１】円形画像１８１の具体例である。
【図１２】方位調整前の帯状画像１８２の具体例である。
【図１３】方位調整後の帯状画像１８２の具体例である。
【図１４】画像調整処理を示すフローチャートである。
【図１５】帯状画像１８３の具体例である。
【図１６】第２実施形態に係る方位算出処理を示すフローチャートである。
【図１７】方位調整前の帯状画像１８４の具体例である。
【図１８】変形例に係る会議用端末２００の斜め上方からの斜視図である。
【図１９】変形例に係る会議用端末３００の斜め上方からの斜視図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２４】
図１〜図１５を参照して、本発明の第１実施形態について説明する。本実施形態では、会議用端末５の筐体上部７１（図３参照）の向きを、遠隔側端末３を用いた遠隔操作で調整するテレビ会議システム１を例示する。
【００２５】
図１を参照して、テレビ会議システム１の全体構成について説明する。テレビ会議システム１では、ユーザが存在する複数の拠点にそれぞれ設けられた端末装置が、ネットワーク２を介して接続されている。会議が開催されている拠点（以下、会議拠点という。）に設置されている遠隔側端末３と、会議拠点とは異なる拠点（以下、遠隔拠点という。）に設置されている会議用端末５との間で、テレビ会議が実行される場合を例示する。以下では、会議拠点に存在するユーザを、会議側ユーザという。遠隔拠点に存在するユーザを、遠隔側ユーザという。
【００２６】
テレビ会議システム１では、遠隔側端末３と会議用端末５との間でテレビ会議が開始されると、遠隔側端末３および会議用端末５でそれぞれ取得された映像データおよび音声データは、ネットワーク２を介して互いに送受信される。遠隔側端末３では、会議用端末５で取得された映像データおよび音声データ（つまり、会議側ユーザの映像データおよび音声データ）が出力される。会議用端末５では、遠隔側端末３で取得された映像データおよび音声データ（つまり、遠隔側ユーザの映像データおよび音声データ）が出力される。このように、遠隔側端末３および会議用端末５では、それぞれ相手方の拠点に存在するユーザの映像データおよび音声データがリアルタイムに出力されてテレビ会議が進行する。本実施形態では、遠隔側ユーザは、遠隔側端末３を使用して会議用端末５を遠隔操作できるが、詳細は後述する。
【００２７】
図２を参照して、遠隔側端末３の電気的構成について説明する。遠隔側端末３は、汎用のノート型ＰＣであり、ＣＰＵ３０、ＲＯＭ３１、ＲＡＭ３２、ＨＤＤ３３、ビデオコントローラ３４、オーディオコントローラ３５、通信装置３６、Ｉ／Ｏインタフェイス４０、キーボード４１、マウス４２、ディスプレイ４３、マイク４４、スピーカ４５を備える。さらに、遠隔側端末３は、複数のカメラ（前側カメラ４６、右側カメラ４７、左側カメラ４８）を備える。
【００２８】
ＲＯＭ３１、ＲＡＭ３２、およびＩ／Ｏインタフェイス４０は、ＣＰＵ３０に接続されている。ビデオコントローラ３４、オーディオコントローラ３５、キーボード４１、マウス４２、および複数のカメラは、Ｉ／Ｏインタフェイス４０にそれぞれ接続されている。ディスプレイ４３は、ビデオコントローラ３４に接続されている。マイク４４およびスピーカ４５は、オーディオコントローラ３５に接続されている。
【００２９】
通信装置３６は、ネットワーク２を介してデータ送受信を行うコントローラである。本実施形態では、通信装置３６が、テレビ会議の実行時に、会議用端末５との間で音声データおよび映像データの送受信を行う。後述する遠隔操作コマンドも、通信装置３６によって会議用端末５へ送信される。なお、ＲＡＭ３２は、遠隔側端末３で取得される映像データ・音声データのフレームバッファとして機能する。
【００３０】
前側カメラ４６は、遠隔側ユーザの前側に配置されて、遠隔側ユーザの正面顔を含む範囲を撮影するカメラである。右側カメラ４７は、遠隔側ユーザの右側に配置されて、遠隔側ユーザの右横顔を含む範囲を撮影するカメラである。左側カメラ４８は、遠隔側ユーザの左側に配置されて、遠隔側ユーザの左横顔を含む範囲を撮影するカメラである。本実施形態の前側カメラ４６、右側カメラ４７、および左側カメラ４８は、撮影した映像データをネットワーク２へリアルタイムに出力可能な小型・軽量の汎用カメラ（いわゆる、ＷＥＢカメラ）である。
【００３１】
ＨＤＤ３３は、大容量のハードディスクドライブであり、テレビ会議を実行するための各種データ（例えば、遠隔側端末３で取得された映像データ・音声データ、会議用端末５から受信した映像データ・音声データ）や割込みプログラムなどが記憶されている。後述の遠隔会議処理（図８参照）を実行するための会議処理プログラムも、ＨＤＤ３３に記憶されている。
【００３２】
図３〜図６を参照して、会議用端末５の物理的構造について説明する。以下の説明では、図３の右下方向、左上方向、左下方向、右上方向を、会議用端末５（詳細には、後述する筐体下部７３）の前側、後側、左側、右側とする。会議用端末５は、テレビ会議を実行するのに必要なデバイスが設けられた筐体７０を有する。筐体７０は、筐体上部７１、連結部７２、筐体下部７３からなる。
【００３３】
筐体上部７１は、平面視で正方形状をなし、且つ上下方向を長手方向とする箱状体（つまり、縦長直方体状）である。筐体上部７１の前面、右面、および左面には、ディスプレイが嵌め込まれるフレーム体である前面枠７４、右面枠７５、および左面枠７６がそれぞれ設けられている。前面枠７４には、縦長長方形状の正面ディスプレイ６１が固定されている。右面枠７５には、正面ディスプレイ６１と略同形の右面ディスプレイ６２が固定されている。左面枠７６には、正面ディスプレイ６１と略同形の左面ディスプレイ６３が固定されている。つまり、筐体上部７１は、その前面および左右両面の三面にディスプレイを備えている。なお、前面枠７４には、正面ディスプレイ６１と重畳して、タッチパネル５７が固定されている。したがって、正面ディスプレイ６１に表示されるメニューやアイコンなどを指で触れることで、会議用端末５の操作を行うことができる。
【００３４】
筐体上部７１の後面、上面、下面には、縦長板状の後面パネル７７、上面パネル７８、下面パネル７９が設けられている。これらのパネルは、先述の各種ディスプレイが固定された枠体とともに、筐体上部７１の内部空間を形成する。ただし、下面パネル７９の平面視中央のやや後ろ側から前方に向けて、半円状の開口部７９Ａが形成されている。そのため、筐体上部７１の内部空間は、開口部７９Ａを介して下方に連通している。
【００３５】
前面枠７４の上枠部分における略中央位置には、正面視カメラ６７が設けられている。正面視カメラ６７を正面ディスプレイ６１と同一面に設けたことで、正面ディスプレイ６１が画像表示する方向と同一方向（つまり、筐体上部７１の前方）が、正面視カメラ６７によって撮影される。右面枠７５の上枠部分における略中央位置には、右側マイク６４が設けられている。左面枠７６の上枠部分における略中央位置には、左側マイク６５が設けられている。右側マイク６４および左側マイク６５は、筐体上部７１の両側面に設けられた一対のバイノーラルマイクである。これにより、会議用端末５の周辺で発生した音声は、筐体上部７１の両側面からバイノーラル方式で集音される。
【００３６】
筐体下部７３は、平面視で筐体上部７１よりも大きな正方形状をなし、且つ上下方向を短手方向とする箱状体である。筐体下部７３の内部には、筐体下部７３の前面側から音声を出力可能なスピーカ６６が設けられている。筐体下部７３の上面における中央位置には、平面視で正方形状の凹部７３Ａが形成されている。筐体下部７３の前縁部における左右方向の略中心位置には、正面ディスプレイ６１よりも前方の位置で周囲を撮影する全方位カメラ１１０が設けられている。本実施形態の全方位カメラ１１０は、所定範囲（例えば、半径５メートル）を撮影範囲とする魚眼カメラであるが、広角カメラを複数備えたものでもよい。
【００３７】
連結部７２は、平面視で正方形状をなし、且つ上下方向を長手方向とする棒状体である。連結部７２の下端部には、平面視で連結部７２よりも大きい正方形状の板部である鍔部７２Ａが設けられている。鍔部７２Ａは、平面視で同形をなす凹部７３Ａに嵌め込まれた状態で固定されている。一方、連結部７２の上側部分は、開口部７９Ａを介して筐体上部７１の内部空間に進入している。
【００３８】
筐体上部７１の内部には、駆動機構１００および一対の連結金具６８が設けられている。駆動機構１００は、筐体上部７１と連結部７２とを連結して、筐体上部７１の傾きを水平方向および垂直方向に変化させるための機構である。一対の連結金具６８は、正面ディスプレイ６１およびタッチパネル５７の背面側に設けられ、且つ前面枠７４の上枠部分から下枠部分に亘って左右に並んで延びる板状金具である。各連結金具６８の上端部および下端部は、それぞれ前面枠７４の上枠部分および下枠部分に固定されている。
【００３９】
駆動機構１００は、筐体上部７１の水平方向の傾きを調整するパンモータ８０と、筐体上部７１の垂直方向の傾きを調整するチルトモータ９０と、筐体上部７１に連結される一対の腕部９２を備える。パンモータ８０は、連結部７２の上端部に固定されており、上方に延出する垂直な軸８１を有する。チルトモータ９０は、パンモータ８０の上側に固定されており、左右両側に延出する水平な軸９１を有する。水平な軸９１は、一対の腕部９２の後端側にそれぞれ接続されている。一対の腕部９２は、軸９１と直交する方向に延びる板状金具であり、各々の先端部はそれぞれ対応する連結金具６８に固定されている。なお、駆動機構１００は、筐体上部７１に複数のディスプレイ等の各種部材が取り付けられた状態で、筐体上部７１の重心位置を支持するように連結金具６８に固定されている。
【００４０】
上記の構造により、パンモータ８０が軸８１を回動させるのに伴って、チルトモータ９０も垂直軸周りに回動する。チルトモータ９０から延びる一対の腕部９２に連結された筐体上部７１も、垂直軸周りに回動する。つまり、パンモータ８０の駆動によって、筐体上部７１が垂直方向に傾斜する。また、チルトモータ９０が軸９１を回動させるのに伴って、一対の腕部９２も水平軸周りに回動する。チルトモータ９０から延びる一対の腕部９２に連結された筐体上部７１も、水平軸周りに回動する。つまり、チルトモータ９０の駆動によって、筐体上部７１が水平方向に傾斜する。
【００４１】
筐体上部７１の回動に伴って、筐体上部７１に設けられた正面ディスプレイ６１、右面ディスプレイ６２、左面ディスプレイ６３（以下、各ディスプレイ６１〜６３と総称する。）の向きや、正面視カメラ６７の撮影方向も変化する。一方、全方位カメラ１１０は、筐体下部７３に固定されているため、筐体上部７１の回動に関係なく、常に一定の位置および方位で周囲が撮影される。
【００４２】
図７を参照して、会議用端末５の電気的構成について説明する。会議用端末５は、ＣＰＵ５０、ＲＯＭ５１、ＲＡＭ５２、ＨＤＤ５３、ビデオコントローラ５４、オーディオコントローラ５５、通信装置５６、Ｉ／Ｏインタフェイス６０を備える。さらに、会議用端末５は、先述のタッチパネル５７、正面ディスプレイ６１、右面ディスプレイ６２、左面ディスプレイ６３、右側マイク６４、左側マイク６５、スピーカ６６、正面視カメラ６７、パンモータ８０、チルトモータ９０を備えている。
【００４３】
ＲＯＭ５１、ＲＡＭ５２、およびＩ／Ｏインタフェイス６０は、ＣＰＵ５０に接続されている。ビデオコントローラ５４、オーディオコントローラ５５、正面視カメラ６７、全方位カメラ１１０、タッチパネル５７、パンモータ８０、およびチルトモータ９０は、Ｉ／Ｏインタフェイス６０にそれぞれ接続されている。各ディスプレイ６１〜６３は、ビデオコントローラ５４にそれぞれ接続されている。右側マイク６４、左側マイク６５、スピーカ６６は、オーディオコントローラ５５に接続されている。
【００４４】
通信装置５６は、ネットワーク２を介してデータ送受信を行うコントローラである。本実施形態では、通信装置５６が、テレビ会議の実行時に、遠隔側端末３との間で音声データおよび映像データの送受信を行う。後述する遠隔操作コマンドも、通信装置５６によって遠隔側端末３から受信される。なお、ＲＡＭ５２は、会議用端末５で取得される映像データ・音声データのフレームバッファとして機能する。
【００４５】
ＨＤＤ５３は、大容量のハードディスクドライブであり、テレビ会議を実行するための各種データ（例えば、会議用端末５で取得された映像データ・音声データ、遠隔側端末３から受信した映像データ・音声データ）や割込みプログラムなどが記憶されている。後述の遠隔会議処理（図１３参照）を実行するための会議処理プログラムも、ＨＤＤ５３に記憶されている。
【００４６】
図８〜図１５を参照して、第１実施形態のテレビ会議システム１で実行されるテレビ会議に関する処理について説明する。テレビ会議の実行時には、遠隔側端末３および会議用端末５において、以下に説明する処理がそれぞれ実行される。
【００４７】
図８を参照して、遠隔側端末３の遠隔会議処理について説明する。本処理は、遠隔側端末３でテレビ会議の開始を指示する入力操作が受け付けられると、ＨＤＤ３３に記憶されている会議処理プログラムに基づいて、ＣＰＵ３０によって実行される。
【００４８】
遠隔側端末３の遠隔会議処理では、まず会議参加要求が会議サーバ（図示外）に送信される（Ｓ１）。会議参加要求は、テレビ会議システム１で実行されるテレビ会議への参加を要求するコマンドである。会議サーバは、ネットワーク２を介して会議参加要求を受信した場合、会議参加要求に含まれる認証情報に基づいてユーザ認証を行う。ユーザ認証が成功した場合、参加許可を要求元の端末装置に返信する。ユーザ認証が失敗した場合、参加拒否を要求元の端末装置に返信する。
【００４９】
ステップＳ１の実行後、参加許可を取得したか否かが判断される（Ｓ３）。会議サーバから参加拒否を受信した場合、参加許可を取得していないと判断される（Ｓ３：ＮＯ）。この場合、テレビ会議が開始されることなく、遠隔会議処理（図８）が終了される。会議サーバから参加許可を受信した場合、参加許可を取得したと判断される（Ｓ３：ＹＥＳ）。この場合、ＨＤＤ３３から割込みプログラムが起動される（Ｓ５）。
【００５０】
ステップＳ５で起動された割込みプログラムに基づいて、テレビ会議中の各種データ処理（具体的には、映像データ送信処理、音声データ送信処理、映像データ受信処理、音声データ受信処理）が実行される。
【００５１】
遠隔側端末３の映像データ送信処理では、前側カメラ４６、右側カメラ４７および左側カメラ４８から取得された各映像データが、会議用端末５に送信される。この映像データには、前側カメラ４６で撮影された遠隔側ユーザの正面顔画像と、右側カメラ４７で撮影された遠隔側ユーザの右顔画像と、左側カメラ４８で撮影された遠隔側ユーザの左顔画像とが含まれる。
【００５２】
遠隔側端末３の音声データ送信処理では、マイク４４から取得された音声データが、会議用端末５に送信される。この音声データには、マイク４４で集音された遠隔側ユーザの声等が含まれる。
【００５３】
遠隔側端末３の映像データ受信処理では、会議用端末５から映像データが受信されて、ビデオコントローラ３４に転送される。ビデオコントローラ３４は、転送された映像データをディスプレイ４３に表示する。この映像データは、後述するように正面視カメラ６７および全方位カメラ１１０が会議拠点を映し出したものである。よって、遠隔側ユーザは、ディスプレイ４３に映し出される映像によって、会議側ユーザの顔等を見ることができる。
【００５４】
遠隔側端末３の音声データ受信処理では、会議用端末５から音声データが受信されて、オーディオコントローラ３５に転送される。オーディオコントローラ３５は、転送された音声データをスピーカ４５から出力する。この音声データは、後述するように右側マイク６４および左側マイク６５が会議拠点で集音したものである。よって、遠隔側ユーザは、スピーカ４５から出力される音声によって、会議側ユーザの声等を聞くことができる。
【００５５】
ステップＳ５の実行後、キー入力ありか否かが判断される（Ｓ７）。例えば、キーボード４１またはマウス４２の入力操作を受け付けた場合は、キー入力ありと判断される（Ｓ７：ＹＥＳ）。この場合、ステップＳ７で検出されたキー入力が、会議用端末５の遠隔操作であるか否かが判断される（Ｓ９）。ステップＳ９では、ステップＳ７で検出されたキー入力があらかじめ定められている操作内容と一致する場合、会議用端末５の遠隔操作であると判断される（Ｓ９：ＹＥＳ）。
【００５６】
この場合、ステップＳ７で検出されたキー入力に対応して、会議用端末５に所定の動作内容を実行させる遠隔操作コマンドが生成される（Ｓ１１）。例えば、会議用端末５が備える正面視カメラ６７の撮影方向を下方に傾けたい場合に、遠隔側ユーザはキーボード４１の「↑」キーを押すことで、「上向き」を指示するチルト調整コマンドが生成される。正面視カメラ６７のズーム倍率を大きくしたい場合に、遠隔側ユーザはキーボード４１の「＋」キーを押すことで、「拡大」を指示するズーム調整コマンドが生成される。
【００５７】
ステップＳ１１で生成された遠隔操作コマンド（パン調整コマンド、チルト調整コマンド、ズーム調整コマンドのいずれか）は、パケット化されて会議用端末５へ送信される（Ｓ１３）。以下では、ステップＳ１３で送信されたパケットを、遠隔操作パケットという。ステップＳ１３の実行後、テレビ会議が終了したか否かが判断される（Ｓ１５）。例えば、遠隔側端末３でテレビ会議の終了を指示する入力操作が受け付けられたり、会議サーバからテレビ会議の終了を指示するコマンドを受信したりした場合、テレビ会議が終了したと判断される（Ｓ１５：ＹＥＳ）。この場合、ステップＳ５で起動された割込みプログラムが終了され（Ｓ１７）、遠隔会議処理（図８）が終了される。つまり、会議用端末５に対する音声データおよび映像データの送受信が中断されて、テレビ会議が終了する。
【００５８】
一方、キー入力がない場合（Ｓ７：ＮＯ）、会議用端末５の遠隔操作でない場合（Ｓ９：ＮＯ）、およびテレビ会議が終了していない場合（Ｓ１５：ＮＯ）、処理はステップＳ７に戻る。このように、本実施形態では、割込みプログラムの起動から終了までの間（つまり、テレビ会議の実行中）、ステップＳ７〜Ｓ１５が所定間隔（例えば、数ミリ秒周期）で繰り返し実行される。よって、例えばキーボード４１の「↑」キーが押し続けられている間は、「上向き」を指示するチルト調整コマンドの遠隔操作パケットが連続して出力される。
【００５９】
図９および図１０を参照して、会議用端末５の遠隔会議処理について説明する。本処理は、会議用端末５でテレビ会議の開始を指示する入力操作が受け付けられると、ＨＤＤ５３に記憶されている会議処理プログラムに基づいて、ＣＰＵ５０によって実行される。
【００６０】
図９に示すように、会議用端末５の遠隔会議処理では、まずパンモータ８０およびチルトモータ９０の原点検出処理が実行される（Ｓ１０１）。パンモータ８０の原点検出処理は、筐体上部７１が水平方向の傾きが初期状態となるまで回動される。具体的には、各ディスプレイ６１〜６３がそれぞれ会議用端末５（詳細には、筐体下部７３）の前側、右側、左側を向くまで、筐体上部７１が垂直軸周りに回動される。これにより、正面視カメラ６７の撮影方向は、会議用端末５（詳細には、筐体下部７３）の前方と一致する。
【００６１】
一方、チルトモータ９０の原点検出処理は、筐体上部７１が垂直方向の傾きが初期状態となるまで回動される。具体的には、各ディスプレイ６１〜６３が垂直となるまで（言い換えると、正面視カメラ６７の撮影方向が水平となるまで）、筐体上部７１が水平軸周りに回転される。ステップＳ１０１で初期状態に設定された筐体上部７１は、会議用端末５（詳細には、筐体下部７３）と前後方向、左右方向、上下方向がいずれも一致している。これにより、テレビ会議の開始時に会議用端末５の向きを初期化する手間を省略できる。
【００６２】
ステップＳ１０１の実行後、全方位カメラ１１０から取得される映像データの方位を調整するための方位算出処理が実行される（Ｓ１０２）。図１０に示すように、方位算出処理では、まず初期位置に移動した正面ディスプレイ６１に、特定パターンのＱＲコード９９（図１１〜図１３参照）が表示される（Ｓ１５１）。この状態で、全方位カメラ１１０から撮影された画像が取得される（Ｓ１５３）。この場合、図１１に示す例のように、全方位カメラ１１０から３６０°全方位を撮影した円形画像１８１が取得される。円形画像１８１には、全方位カメラ１１０の後側に位置する正面ディスプレイ６１に表示されたＱＲコード９９も含めて、全方位カメラ１１０の周囲が映し出されている。
【００６３】
ステップＳ１５３で取得された円形画像１８１が、公知の画像処理手法によって、標準的なディスプレイの表示領域形状に対応する横長帯状の平面画像に変換される（Ｓ１５５）。この場合、図１２に示す例のように、円形画像１８１を平面状に画像変換した帯状画像１８２が取得される。帯状画像１８２は、円形画像１８１を上下の画像部分に分割して、各画像部分をそれぞれ上画像部１８２Ａおよび下画像部１８２Ｂに平面状に変換したものである。よって、上画像部１８２Ａの左端と下画像部１８２Ｂの右端とは画像的に連続しており、上画像部１８２Ａの右端と下画像部１８２Ｂの左端とは画像的に連続している。
【００６４】
ステップＳ１５５で取得された帯状画像１８２から、ＱＲコード９９が検出される（Ｓ１５７）。さらに、ＱＲコード９９の画像中心の座標位置Ｘ（左右方向位置）が算出される（Ｓ１５９）。ステップＳ１５７、Ｓ１５９は、公知の画像解析手法によって実行されればよい。図１２に示す例では、帯状画像１８２に映し出されているＱＲコード９９が、パターン認識によって検出される。検出されたＱＲコード９９のＸ方向（左右方向）の中心位置Ｃ１が、座標位置Ｘとして算出される。本実施形態では、座標位置Ｘの大きさは、帯状画像１８２のＸ方向（左右方向）の中心位置Ｃ２を基準として求められる。
【００６５】
ステップＳ１５９の実行後、正面ディスプレイ６１の横座標領域が算出される（Ｓ１６１）。具体的には、ステップＳ１５７の検出結果に基づいて、ＱＲコード９９の横幅両端の座標位置Ｘ（左右方向位置）が算出される。ＱＲコード９９と正面ディスプレイ６１との横幅比率は、予め設定されている。この横幅比率とＱＲコード９９の座標位置Ｘとに基づいて、正面ディスプレイ６１の横幅両端の座標位置Ｘが算出される。さらに、正面ディスプレイ６１の横幅両端の座標位置ＸからＹ方向（上下方向）に延びる両辺を有する矩形領域が、横座標領域として算出される。図１２に示す例では、正面ディスプレイ６１の横幅全体を含み、かつ下画像部１８２Ｂの上下方向に亘る矩形領域が、横座標領域Ｄとして算出される。ステップＳ１６１の実行後、処理が遠隔会議処理（図９）に戻る。
【００６６】
図９に示すように、ステップＳ１０２の実行後、ＨＤＤ５３から割込みプログラムが起動される（Ｓ１０３）。ステップＳ１０３で起動された割込みプログラムに基づいて、テレビ会議中の各種データ処理（具体的には、映像データ送信処理、音声データ送信処理、映像データ受信処理、音声データ受信処理）が実行される。
【００６７】
会議用端末５の映像データ送信処理では、正面視カメラ６７および全方位カメラ１１０から取得された各映像データが、遠隔側端末３に送信される。この映像データには、正面視カメラ６７の撮影方向（筐体上部７１の前方向）を映し出した画像と、全方位カメラ１１０の周囲を映し出した画像とが含まれる。本実施形態では、遠隔側端末３に送信される全方位カメラ１１０の映像データは、後述の画像調整処理（図１４参照）によって円形画像から帯状画像に変換されたものである。
【００６８】
会議用端末５の音声データ送信処理では、右側マイク６４および左側マイク６５から取得された音声データが、遠隔側端末３に送信される。この音声データには、右側マイク６４で集音された会議側ユーザの声等と、左側マイク６５で集音された会議側ユーザの声等とが含まれる。
【００６９】
会議用端末５の映像データ受信処理では、遠隔側端末３から映像データが受信されて、ビデオコントローラ５４に転送される。ビデオコントローラ５４は、転送された映像データを各ディスプレイ６１〜６３に表示させる。詳細には、正面ディスプレイ６１に表示される映像データは、前側カメラ４６で撮影されたものである。右面ディスプレイ６２に表示される映像データは、右側カメラ４７で撮影されたものである。左面ディスプレイ６３に表示される映像データは、左側カメラ４８で撮影されたものである。よって、会議側ユーザは、各ディスプレイ６１〜６３に映し出される画像によって、それぞれ遠隔側ユーザの正面顔、右横顔、左横顔を認識することができる。
【００７０】
会議用端末５の音声データ受信処理では、遠隔側端末３から音声データが受信されて、オーディオコントローラ５５に転送される。オーディオコントローラ５５は、転送された音声データをスピーカ６６から出力する。この音声データは、マイク４４が遠隔拠点で集音したものである。よって、会議側ユーザは、スピーカ６６から出力される音声によって、遠隔側ユーザの声等を聞くことができる。
【００７１】
ステップＳ１０３の実行後、遠隔操作パケットを受信したか否かが判断される（Ｓ１０５）。遠隔操作パケットが受信されている場合（Ｓ１０５：ＹＥＳ）、遠隔操作パケットに含まれる遠隔操作コマンドがチルト調整コマンドであるか否かが判断される（Ｓ１０７）。遠隔操作コマンドがチルト調整コマンドである場合（Ｓ１０７：ＹＥＳ）、このチルト調整コマンドに基づいて生成されたチルト制御信号が、チルトモータ９０へ出力される（Ｓ１０９）。チルト制御信号は、チルト調整コマンドが指示する回転角度に応じて、チルトモータ９０を回転駆動する信号である。
【００７２】
チルトモータ９０は、チルト制御信号に応じて筐体上部７１を水平軸周りに回転させることで、筐体上部７１を下向きまたは上向きに調整する。例えば、先述の「下向き」を指示するチルト調整コマンドが会議用端末５に送信された場合、チルトモータ９０が筐体上部７１を右側面視で時計回り（図５では右回り）に回転させる。その結果、正面視カメラ６７の撮影方向もより下向きに傾斜するため、遠隔側端末３のディスプレイ４３に映し出される撮影範囲も下側に移動する。したがって、会議側ユーザが筐体上部７１の垂直方向の傾きを調整しなくても、遠隔側ユーザが正面視カメラ６７のチルト調整を遠隔操作で行うことができる。
【００７３】
遠隔操作コマンドがチルト調整コマンドでない場合（Ｓ１０７：ＮＯ）、遠隔操作コマンドがパン調整コマンドであるか否かが判断される（Ｓ１１１）。遠隔操作コマンドがパン調整コマンドである場合（Ｓ１１１：ＹＥＳ）、このパン調整コマンドに基づいて生成されたパン制御信号が、パンモータ８０へ出力される（Ｓ１１３）。パン制御信号は、パン調整コマンドが指示する回転角度に応じて、パンモータ８０を回転駆動する信号である。
【００７４】
パンモータ８０は、パン制御信号に応じて筐体上部７１を垂直軸周りに回転させることで、筐体上部７１を右向きまたは左向きに調整する。例えば、先述の「右向き」を指示するパン調整コマンドが会議用端末５に送信された場合、パンモータ８０が筐体上部７１を平面視で時計回り（図６では右回り）に回転させる。その結果、正面視カメラ６７の撮影方向もより右向きに傾斜するため、遠隔側端末３のディスプレイ４３に映し出される撮影範囲も右側に移動する。したがって、会議側ユーザが筐体上部７１の水平方向の傾きを調整しなくても、遠隔側ユーザが正面視カメラ６７のパン調整を遠隔操作で行うことができる。
【００７５】
遠隔操作コマンドがパン調整コマンドでない場合（Ｓ１１１：ＮＯ）、遠隔操作コマンドがズーム調整コマンドであるか否かが判断される（Ｓ１１５）。遠隔操作コマンドがズーム調整コマンドである場合（Ｓ１１５：ＹＥＳ）、このズーム調整コマンドに基づいて生成されたズーム制御信号が、正面視カメラ６７へ出力される（Ｓ１１７）。ズーム制御信号は、ズーム調整コマンドが指示するズーム倍率の拡大率または縮小率に応じて、正面視カメラ６７のズーム倍率を調整するモータ（図示外）を駆動する信号である。
【００７６】
正面視カメラ６７は、会議用端末５から受信したズーム制御信号に応じてズーム倍率を変更する。例えば、先述の「拡大」を指示するズーム調整コマンドが会議用端末５に送信された場合、正面視カメラ６７がズーム倍率を大きくするため、遠隔側端末３のディスプレイ４３に映し出される撮影範囲も狭くなる。これにより、ディスプレイ４３に表示されている映像の拡大・縮小が行われる。したがって、会議側ユーザが正面視カメラ６７のズーム倍率を調整しなくても、遠隔側ユーザが正面視カメラ６７のズーム調整を遠隔操作で行うことができる。
【００７７】
遠隔操作パケットが受信されていない場合（Ｓ１０５：ＮＯ）、または遠隔操作コマンドがズーム調整コマンドでない場合（Ｓ１１５：ＮＯ）、先述のステップＳ１７と同様に、テレビ会議が終了したか否かが判断される（Ｓ１１９）。テレビ会議が終了した場合（Ｓ１１９：ＹＥＳ）。この場合、ステップＳ１０３で起動された割込みプログラムが終了され（Ｓ１２２）、遠隔会議処理（図１３）が終了される。つまり、遠隔側端末３に対する音声データおよび映像データの送受信が中断されて、テレビ会議が終了する。
【００７８】
一方、ステップＳ１０９、Ｓ１１３、Ｓ１１７のいずれかの実行後、またはテレビ会議が終了していない場合（Ｓ１１９：ＮＯ）、処理はステップＳ１０５に戻る。このように、本実施形態では、遠隔会議処理（図９）の実行中は、ステップＳ１０５〜Ｓ１１９が所定間隔（例えば、数ミリ秒周期）で繰り返し実行される。よって、テレビ会議の実行中は、遠隔側端末３から受信した遠隔操作コマンドに基づいて、会議用端末５の遠隔操作が実行される。
【００７９】
図１４を参照して、画像調整処理について説明する。本実施形態では、会議用端末５の映像データ送信処理において、全方位カメラ１１０からフレーム単位で映像データが取得されるごとに、各映像データについて以下の画像調整処理が実行される。画像調整処理が施された各映像データが、遠隔側端末３に送信されてディスプレイ４３に表示される。
【００８０】
図１４に示すように、画像調整処理では、まず全方位カメラ１１０から取得される映像データ（具体的には、円形画像）が、ステップＳ１５７と同様に帯状画像に変換される（Ｓ１７１）。ステップＳ１７１で取得された帯状画像の方位が、ステップＳ１５９で算出された座標位置Ｘに基づいてシフト調整される（Ｓ１７３）。すなわち、ステップＳ１５９で取得された座標位置Ｘに相当するピクセル分、帯状画像の表示範囲が横方向にシフトされる。
【００８１】
図１３に示す例では、ＱＲコード９９の中心位置Ｃ１が、帯状画像１８２の中心位置Ｃ２と一致するように、帯状画像１８２の表示範囲がシフト調整される。その結果、上画像部１８２Ａおよび下画像部１８２Ｂは、中心位置Ｃ１、Ｃ２間距離に相当するピクセル分、各表示範囲が左方向にシフトする。これにより、下画像部１８２Ｂにおける左右方向中心に、ＱＲコード９９が表示される。
【００８２】
シフト調整後の帯状画像から、ステップＳ１６１で算出された正面ディスプレイ６１の横座標領域Ｄが削除される（Ｓ１７５）。さらに、ステップＳ１７５で削除された領域の補完処理が実行される（Ｓ１７７）。図１５に例示する処理済みの帯状画像１８３では、下画像部１８２Ｂの上下方向に亘って会議用端末５が削除され、その削除部分の左右両側の画像をつなぐように補間されている。ステップＳ１７７の実行後に画像調整処理が終了し、処理済みの帯状画像が遠隔側端末３に送信されてディスプレイ４３に表示される。
【００８３】
本実施形態では、全方位カメラ１１０の後方に、正面ディスプレイ６１が配置されている。そのため、正面ディスプレイ６１に映し出されたＱＲコード９９の中心位置Ｃ１（つまり、円形画像１８１における中心位置Ｃ１）を、全方位カメラ１１０から見た会議用端末５（詳細には、筐体下部７３）の後方とみなすことができる。逆に、円形画像１８１における中心位置Ｃ１の反対側を、会議用端末５の前方に相当するとみなすことができる。
【００８４】
よって、上記のように帯状画像１８２をシフト調整することで、下画像部１８２Ｂの左右方向中心が会議用端末５の後方と一致する。上画像部１８２Ａの左右方向中心が、会議用端末５の前方と一致する。つまり、上画像部１８２Ａの左右方向中心を、正面視カメラ６７の撮影方向と一致させることができる。このような帯状画像の方位調整によって、帯状画像における方位のズレ（例えば、帯状画像における前方が、正面視カメラ６７の撮影方向と一致しない等）が修正される。したがって、遠隔側ユーザは、ディスプレイ４３に表示される帯状画像における方位を正確に認識できる。
【００８５】
また、正面ディスプレイ６１に表示されるＱＲコード９９の表示位置に基づいて、全方位カメラ１１０からみて正面ディスプレイ６１とは反対の方向が、帯状画像１８２における前方として検出される。よって、遠隔側ユーザは、ディスプレイ４３に表示される帯状画像１８２における何れの方向が前方であるかを、正確かつ容易に特定できる。さらに、帯状画像１８２に会議用端末５が表示されないため、帯状画像１８２の視認性を向上させることができる。
【００８６】
なお、本実施形態に係る会議用端末５では、全方位カメラ１１０が筐体下部７３に固定されている。そのため、全方位カメラ１１０の撮影方向が予め設定されている場合には、その撮影方向にズレが生じにくい。この場合、例えば円形画像１８１の前方が上画像部１８２Ａの左右方向中心に位置するように、且つ、円形画像１８１の公報が下画像部１８２Ｂの左右方向中心に位置するように、帯状画像１８２が生成されればよい。これにより、帯状画像の方位調整（つまり、図１０に示す方位調整処理）を省略することができる。
【００８７】
以上説明したように、第１実施形態によれば、遠隔側端末３では、前側カメラ４６等で撮影された映像データや、遠隔操作パケットが、ネットワーク２を介して会議用端末５に送信される。会議用端末５では、前側カメラ４６等で撮影された映像データが正面ディスプレイ６１等に表示され、遠隔操作パケットに応じて正面ディスプレイ６１等の向きが変更される。会議用端末５では、正面ディスプレイ６１の向きと同じ方向を撮影した映像データと、正面ディスプレイ６１の前方位置から周囲を撮影した映像データ（すなわち、帯状画像）とが、ネットワーク２を介して遠隔側端末３に送信される。遠隔側端末３では、会議用端末５から受信した映像データが、ディスプレイ４３に表示される。遠隔側ユーザは帯状画像を閲覧することで、会議拠点全体の様子を把握することができる。
【００８８】
図１６および図１７を参照して、本発明の第２実施形態について説明する。第２実施形態は、第１実施形態と基本的に同様であるが、方位調整処理（図１０参照）が異なる。以下、第１実施形態と異なる点のみを説明する。
【００８９】
図１６に示すように、第２実施形態に係る方位調整処理（図９のステップＳ１１７参照）では、まず全方位カメラ１１０から撮影された画像が取得される（Ｓ２０１）。この場合、図１１に示す例と同様に、全方位カメラ１１０から３６０°全方位を撮影した円形画像が取得される。ただし、この円形画像には、ＱＲコード９９が表示されていない正面ディスプレイ６１が映し出される。
【００９０】
ステップＳ２０１で取得された円形画像が、ステップＳ１５５と同様に横長帯状の画像に変換される（Ｓ２０３）。この場合、図１７に示す例のように、円形画像を平面状に画像変換した帯状画像１８４が取得される。帯状画像１８４は、基本的に帯状画像１８２（図１２参照）と同様であるが、ＱＲコード９９は映し出されていない。
【００９１】
ステップＳ２０３で取得された帯状画像１８４に基づいて、正面ディスプレイ６１のベゼル部１９０が検出される（Ｓ２０５）。例えば、帯状画像１８４からベゼル部１９０に固有の色（特定色）を検出する。検出された特定色について、エッジ検出フィルタを用いたエッジ検出を実行する。エッジ検出で得られた画像に対して輪郭抽出が行われ、さらに輪郭画像から、ベゼル部１９０の形状特徴（例えば、ベゼル部１９０の四隅部分）を検出する。
【００９２】
ステップＳ２０５で検出されたベゼル部１９０に基づいて、ベゼル部１９０中心の座標位置Ｘ（左右方向位置）が算出される（Ｓ２０７）。この場合、図１７に示す例のように、ベゼル部１９０の形状特徴群のＸ方向（左右方向）の中心位置Ｃ３が、座標位置Ｘとして算出される。本実施形態では、座標位置Ｘの大きさは、帯状画像１８４のＸ方向（左右方向）の中心位置Ｃ３を基準として求められる。
【００９３】
最後に、正面ディスプレイ６１の横座標領域が算出される（Ｓ２０９）。例えば、ステップＳ２０５で検出されたベゼル部１９０を基準として、正面ディスプレイ６１の横幅両端の座標位置Ｘが算出される。図１７に示す例では、正面ディスプレイ６１の横幅全体を含み、かつ下画像部１８２Ｂの上下方向亘って、横座標領域Ｄが設定されている。ステップＳ２０９の実行後、処理が遠隔会議処理（図９）に戻る。
【００９４】
第２実施形態に係る画像調整処理（図１４）は、第１実施形態と同様である。ただし、ステップＳ１７３では、ステップＳ２０７で算出された座標位置Ｘに相当するピクセル分、帯状画像の表示範囲が横方向にシフトされる（Ｓ１８１）。図１７に示す例では、ベゼル部１９０の中心位置Ｃ３が、帯状画像１８４の中心位置Ｃ２と一致するように、帯状画像１８４の表示範囲がシフト調整される。その結果、上画像部１８４Ａおよび下画像部１８４Ｂは、中心位置Ｃ２、Ｃ３間距離に相当するピクセル分、各表示範囲が左方向にシフトする。これにより、下画像部１８４Ｂにおける左右方向中心に、ベゼル部１９０が表示される。
【００９５】
ステップＳ１７５、Ｓ１７７では、ステップＳ２０９で算出された正面ディスプレイ６１の横座標領域Ｄの削除と、その削除領域の補間処理が実行される。これにより、図１５に示す例と同様に、下画像部１８４Ｂの上下方向に亘って会議用端末５が削除され、その削除部分の左右両側の画像をつなぐように補間される。ステップＳ１７７の実行後に画像調整処理が終了し、処理済みの帯状画像は遠隔側端末３に送信されてディスプレイ４３に表示される。
【００９６】
以上説明したように、第２実施形態によれば、第１実施形態と同様に、遠隔側ユーザは帯状画像を閲覧することで、会議拠点全体の様子を把握することができる。また、帯状画像に含まれるベゼル部１９０の表示位置に基づいて、全方位カメラ１１０からみて正面ディスプレイ６１とは反対の方向が、帯状画像における前方として検出される。よって、遠隔側ユーザは、ディスプレイ４３に表示される帯状画像における何れの方向が前方であるかを、正確かつ容易に特定することができる。
【００９７】
上記実施形態において、前側カメラ４６が、本発明の「遠隔側カメラ」に相当する。通信装置３６が、本発明の「遠隔側画像送信手段」、「操作指示送信手段」および「会議側画像受信手段」に相当する。ステップＳ９を実行するＣＰＵ３０が、本発明の「操作受付手段」に相当する。ディスプレイ４３が、本発明の「遠隔側ディスプレイ」に相当する。通信装置５６が、本発明の「遠隔側画像受信手段」、「操作指示受信手段」および「会議側画像送信手段」に相当する。正面ディスプレイ６１が、本発明の「会議側ディスプレイ」に相当する。駆動機構１００が、本発明の「駆動手段」に相当する。正面視カメラ６７が、本発明の「第一会議カメラ」に相当する。全方位カメラ１１０、および後述の全方位カメラ１２０、１３０が、本発明の「第二会議カメラ」に相当する。ステップＳ１５３〜Ｓ１５９、Ｓ１７１、Ｓ１７３、およびＳ２０１〜Ｓ２０７を実行するＣＰＵ５０が、本発明の「方位調整手段」に相当する。ステップＳ１６１、Ｓ１７５、およびＳ２０９を実行するＣＰＵ５０が、本発明の「端末領域削除手段」に相当する。
【００９８】
なお、本発明は上記実施形態に限定されるものではなく、発明の要旨を変更しない範囲での変更が可能である。上記実施形態では、方位算出処理（Ｓ１０２）が遠隔会議処理（図９）の開始時に実行されているが、他のタイミングで実行されてもよい。例えば、遠隔側ユーザが遠隔側端末３で所定の操作を行った場合に、図１０または図１６に示す方位算出処理が適宜実行されるようにしてもよい。
【００９９】
また、会議用端末５に設けられる全方位カメラの構成は、適宜変更可能である。図１８に示す会議用端末２００は、筐体下部７３から離間した位置に配置可能な全方位カメラ１２０を備える。全方位カメラ１２０は、筐体下部７３に設けられた制御部（ＣＰＵ５０等）とケーブル１２１で接続されており、ケーブル１２１の延びる範囲内の自由な位置に全方位カメラ１２０を設置可能である。ただし、全方位カメラ１２０で撮影された映像データの方位調整等を正確に行うために、方位算出処理（図１０、図１６参照）の実行時に、正面ディスプレイ６１が全方位カメラ１２０の設置位置に向いていることが好適である。
【０１００】
図１９に示す会議用端末３００は、筐体下部７３から離間した位置に配置可能な全方位カメラ１３０を備える。全方位カメラ１３０は、筐体下部７３に設けられた制御部（ＣＰＵ５０等）および駆動モータ（図示外）と、ケーブル１３１で接続されている。駆動モータ（図示外）の駆動に応じて、筐体下部７３内からケーブル１３１が延び出して全方位カメラ１３０が前進し、筐体下部７３内にケーブル１３１が巻き取られて全方位カメラ１３０が後退する。全方位カメラ１３０の進退動作は、先述の筐体上部７１のパン・チルト制御と同様に、遠隔側ユーザが遠隔側端末３を用いて遠隔操作することができる。
【０１０１】
上記のように全方位カメラを会議用端末から分離可能にすることで、例えば正面ディスプレイ６１がステップの撮像範囲を妨げること抑制でき、全方位カメラの撮影データの視認性を高めることができる。このように全方位カメラを会議用端末から分離した場合には、全方位カメラの方位が一定しないため、全方位カメラの撮影データにおける方位のズレが生じる。しかしながら、上記説明した撮影データの方位調整によって方位のズレが修正されるため、全方位カメラが何れの位置にせっちされた場合であっても、遠隔側ユーザは撮影データにおける方位を正確かつ容易に特定することができる。
【０１０２】
また、上記第１実施形態では、正面ディスプレイ６１に特定パターンのＱＲコード９９が表示されているが、このＱＲコード９９が各種情報を示すようにしてもよい。例えばＱＲコード９９が、会議用端末５を遠隔操作している遠隔側端末３に固有の識別コード（ＩＤ）を示してもよい。具体的には、１つの会議室に複数の会議用端末５が設置されている場合、各会議用端末５の全方位カメラ１１０によって、それぞれ他の会議用端末５の正面ディスプレイ６１が撮影されることがある。このとき、各全方位カメラ１１０で複数のＱＲコード９９が撮影されてしまい、各会議用端末５は自己が表示しているＱＲコード９９を特定できないおそれがある。本変形例によれば、各会議用端末５は、ＱＲコード９９が示す固有の識別コードに応じて、各会議用端末５を遠隔操作する遠隔側端末３に対応するＱＲコード９９を、自己が表示しているＱＲコード９９に特定することができる。ひいては、複数の会議用端末５が同時に使用される場合でも、各会議用端末５は特定したＱＲコード９９に基づいて正確に方位調整を行うことができる。
【符号の説明】
【０１０３】
１ テレビ会議システム
２ ネットワーク
３ 遠隔側端末
５ 会議用端末
３０ ＣＰＵ
３６ 通信装置
４３ ディスプレイ
４６ 前側カメラ
５０ ＣＰＵ
５６ 通信装置
６１ 正面ディスプレイ
６７ 正面視カメラ
１００ 駆動機構
１１０ 全方位カメラ
１２０ 全方位カメラ
１３０ 全方位カメラ
１９０ ベゼル部
【技術分野】
【０００１】
本発明は、複数拠点に設けられた端末間で遠隔会議を実行する会議システム、および遠隔会議に使用される会議用端末および遠隔側端末に関する。
【背景技術】
【０００２】
従来、複数拠点に設けられた端末間でテレビ会議を実行するテレビ会議システムが知られている。このようなテレビ会議システムに使用される端末として、通話相手が注視している方向と、通話相手の表示方向とを一致させることで、会議の臨場感を高めることができるテレビ会議装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−６５４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のテレビ会議装置では、遠隔地のユーザを表示するディスプレイの方向が、そのユーザの操作に応じて変化する。そして、ディスプレイと対向する方向がカメラで撮影されて、その映像が遠隔地のユーザが使用する端末装置で表示される。しかしながら、カメラでディスプレイと対向する方向のみが撮影されると、遠隔地のユーザはテレビ会議装置が設置されている会議の開催場所（以下、「会議拠点」という。）全体の様子を把握することができない。その結果、例えばカメラの撮影範囲外に存在する会議参加者が発言した場合には、遠隔地のユーザはその会議参加者がどこにいるかを認識することができず、テレビ会議の円滑な進行を損なうおそれがあった。
【０００５】
本発明は、上述した課題を解決するためになされたものであり、会議拠点全体の様子を把握することができる会議システム、会議用端末および遠隔側端末を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１態様に係る会議システムは、遠隔地のユーザが使用する遠隔側端末と、会議の開催場所に設置される会議用端末とがネットワークを介して接続され、前記遠隔側端末と前記会議用端末との双方向通信によって遠隔会議を実行する会議システムであって、前記遠隔側端末は、前記ユーザを撮影する遠隔側カメラと、前記遠隔側カメラで撮影された遠隔側画像を、前記ネットワークを介して前記会議用端末に送信する遠隔側画像送信手段と、前記会議用端末に対する操作指示を受け付ける操作受付手段と、前記操作受付手段によって受け付けられた前記操作指示を、前記ネットワークを介して前記会議用端末に送信する操作指示送信手段とを備え、前記会議用端末は、前記ネットワークを介して前記遠隔側画像を受信する遠隔側画像受信手段と、前記遠隔側画像受信手段によって受信された前記遠隔側画像を表示する会議側ディスプレイと、前記ネットワークを介して前記操作指示を受信する操作指示受信手段と、前記操作指示受信手段によって受信された前記操作指示に応じて、前記会議側ディスプレイの向きを変更する駆動手段と、前記会議側ディスプレイの向きと同一方向を撮影する第一会議カメラと、前記会議側ディスプレイよりも前方の位置で周囲を撮影する第二会議カメラと、前記第一会議カメラで撮影された正面画像と、前記第二会議カメラで撮影された周囲画像とを、前記ネットワークを介して前記遠隔側端末に送信する会議側画像送信手段とを備え、さらに、前記遠隔側端末は、前記ネットワークを介して前記正面画像および前記周囲画像を受信する会議側画像受信手段と、前記会議側画像受信手段によって受信された前記正面画像および前記周囲画像を表示する遠隔側ディスプレイとを備えている。
【０００７】
これによれば、遠隔側端末では、遠隔側画像や操作指示が、ネットワークを介して会議用端末に送信される。会議用端末では、遠隔側画像が会議側ディスプレイに表示され、操作指示に応じて会議側ディスプレイの向きが変更される。会議用端末では、会議側ディスプレイの向きと同じ方向を撮影した正面画像と、会議側ディスプレイの前方位置から周囲を撮影した周囲画像とが、ネットワークを介して遠隔側端末に送信される。遠隔側端末では、会議用端末から受信した正面画像および周囲画像が、遠隔側ディスプレイに表示される。これにより、遠隔地のユーザが、会議拠点全体の様子を把握することができる。
【０００８】
上記会議システムにおいて、前記会議用端末は、前記第二会議カメラで撮影された前記周囲画像に基づいて、前記周囲画像における方位を調整する方位調整手段を備えてもよい。この場合、会議用端末で周囲画像における方位を調整されるので、遠隔地のユーザは周囲画像における方位を正確に認識することができる。
【０００９】
上記会議システムにおいて、前記会議用端末は、前記会議側ディスプレイに特定パターンの検出用画像を表示させる会議側表示制御手段を備え、前記方位調整手段は、前記周囲画像に含まれる前記検出用画像の表示位置とは反対側の位置を、前記周囲画像における前方として検出してもよい。この場合、会議側ディスプレイに表示される検出用画像の表示位置に基づいて、第二会議カメラからみて会議側ディスプレイとは反対の方向が、周囲画像における前方として検出される。よって、周囲画像における何れの方向が前方であるかを、正確かつ容易に特定することができる。
【００１０】
上記会議システムにおいて、前記方位調整手段は、前記周囲画像に含まれる前記会議側ディスプレイのベゼル部の表示位置とは反対側の位置を、前記周囲画像における前方として検出してもよい。この場合、周囲画像に含まれるベゼル部の表示位置に基づいて、第二会議カメラからみて会議側ディスプレイとは反対の方向が、会議用端末の前方として検出される。よって、周囲画像における何れの方向が前方であるかを、正確かつ容易に特定することができる。
【００１１】
上記会議システムにおいて、前記会議用端末は、前記第二会議カメラで撮影された前記周囲画像から、前記周囲画像に含まれる前記会議用端末の表示領域を削除する端末領域削除手段を備えてもよい。この場合、周囲画像に会議用端末が表示されないため、周囲画像の視認性を向上させることができる。
【００１２】
上記会議システムにおいて、前記会議用端末は、前記第二会議カメラが設けられた支持部と、前記第一会議カメラおよび前記会議側ディスプレイが設けられ、前記支持部によって回動可能に支持される可動部とを備え、前記駆動手段は、前記可動部を回動させることによって、前記会議側ディスプレイの向きおよび前記第一会議カメラの撮影方向を変更してもよい。この場合、第二会議カメラの撮影位置および撮影方位を変更することなく、会議側ディスプレイの向きおよび第一会議カメラの撮影方向を変更することができる。
【００１３】
本発明の第２態様に係る会議用端末は、ネットワークを介して遠隔地のユーザが使用する遠隔側端末に接続され、会議の開催場所に設置される会議用端末であって、前記ネットワークを介して、前記遠隔側端末で撮影された遠隔側画像を受信する遠隔側画像受信手段と、前記遠隔側画像受信手段によって受信された前記遠隔側画像を表示する会議側ディスプレイと、前記ネットワークを介して、前記遠隔側端末で入力された前記会議用端末に対する操作指示を受信する操作指示受信手段と、前記操作指示受信手段によって受信された前記操作指示に応じて、前記会議側ディスプレイの向きを変更する駆動手段と、前記会議側ディスプレイの向きと同一方向を撮影する第一会議カメラと、前記会議側ディスプレイよりも前方の位置で周囲を撮影する第二会議カメラと、前記第一会議カメラで撮影された正面画像と、前記第二会議カメラで撮影された周囲画像とを、前記ネットワークを介して前記遠隔側端末に送信する会議側画像送信手段とを備えてもよい。
【００１４】
これによれば、遠隔側端末では、遠隔側画像や操作指示が、ネットワークを介して会議用端末に送信される。会議用端末では、遠隔側画像が会議側ディスプレイに表示され、操作指示に応じて会議側ディスプレイの向きが変更される。会議用端末では、会議側ディスプレイの向きと同じ方向を撮影した正面画像と、会議側ディスプレイの前方位置から周囲を撮影した周囲画像とが、ネットワークを介して遠隔側端末に送信される。遠隔側端末では、会議用端末から受信した正面画像および周囲画像が、遠隔側ディスプレイに表示される。これにより、遠隔地のユーザが、会議拠点全体の様子を把握することができる。
【００１５】
上記会議用端末において、前記第二会議カメラで撮影された前記周囲画像に基づいて、前記周囲画像における方位を調整する方位調整手段を備えてもよい。この場合、会議用端末で周囲画像における方位を調整されるので、遠隔地のユーザは周囲画像における方位を正確に認識することができる。
【００１６】
上記会議用端末において、前記会議側ディスプレイに特定パターンの検出用画像を表示させる会議側表示制御手段を備え、前記方位調整手段は、前記周囲画像に含まれる前記検出用画像の表示位置とは反対側の位置を、前記周囲画像における前方として検出してもよい。この場合、会議側ディスプレイに表示される検出用画像の表示位置に基づいて、第二会議カメラからみて会議側ディスプレイとは反対の方向が、周囲画像における前方として検出される。よって、周囲画像における何れの方向が前方であるかを、正確かつ容易に特定することができる。
【００１７】
上記会議用端末において、前記方位調整手段は、前記周囲画像に含まれる前記会議側ディスプレイのベゼル部の表示位置とは反対側の位置を、前記周囲画像における前方として検出してもよい。この場合、周囲画像に含まれるベゼル部の表示位置に基づいて、第二会議カメラからみて会議側ディスプレイとは反対の方向が、会議用端末の前方として検出される。よって、周囲画像における何れの方向が前方であるかを、正確かつ容易に特定することができる。
【００１８】
上記会議用端末において、前記第二会議カメラで撮影された前記周囲画像から、前記周囲画像に含まれる前記会議用端末の表示領域を削除する端末領域削除手段を備えてもよい。この場合、周囲画像に会議用端末が表示されないため、周囲画像の視認性を向上させることができる。
【００１９】
上記会議用端末において、前記第二会議カメラが設けられた支持部と、前記第一会議カメラおよび前記会議側ディスプレイが設けられ、前記支持部によって回動可能に支持される可動部とを備え、前記駆動手段は、前記可動部を回動させることによって、前記会議側ディスプレイの向きおよび前記第一会議カメラの撮影方向を変更してもよい。この場合、第二会議カメラの撮影位置および撮影方位を変更することなく、会議側ディスプレイの向きおよび第一会議カメラの撮影方向を変更することができる。
【００２０】
本発明の第３態様に係る遠隔側端末は、ネットワークを介して会議の開催場所に設置される会議用端末に接続され、遠隔地のユーザに使用される遠隔側端末であって、前記ユーザを撮影する遠隔側カメラと、前記遠隔側カメラで撮影された遠隔側画像を、前記ネットワークを介して前記会議用端末に送信する遠隔側画像送信手段と、前記会議用端末に対する操作指示を受け付ける操作受付手段と、前記操作受付手段によって受け付けられた前記操作指示を、前記ネットワークを介して前記会議用端末に送信する操作指示送信手段と、前記ネットワークを介して、前記会議用端末に備えられた会議側ディスプレイの向きと同一方向を撮影した正面画像と、前記会議側ディスプレイよりも前方の位置で周囲を撮影した周囲画像とを受信する会議側画像受信手段と、前記会議側画像受信手段によって受信された前記正面画像および前記周囲画像を表示する遠隔側ディスプレイとを備えている。
【００２１】
これによれば、遠隔側端末では、遠隔側画像や操作指示が、ネットワークを介して会議用端末に送信される。会議用端末では、遠隔側画像が会議側ディスプレイに表示され、操作指示に応じて会議側ディスプレイの向きが変更される。会議用端末では、会議側ディスプレイの向きと同じ方向を撮影した正面画像と、会議側ディスプレイの前方位置から周囲を撮影した周囲画像とが、ネットワークを介して遠隔側端末に送信される。遠隔側端末では、会議用端末から受信した正面画像および周囲画像が、遠隔側ディスプレイに表示される。これにより、遠隔地のユーザが、会議拠点全体の様子を把握することができる。
【図面の簡単な説明】
【００２２】
【図１】テレビ会議システム１の全体構成を示す図である。
【図２】遠隔側端末３の電気的構成を示すブロック図である。
【図３】会議用端末５の斜め上方からの斜視図である。
【図４】会議用端末５の正面図である。
【図５】図４のＡ−Ａ線矢視方向断面図である。
【図６】図４のＢ−Ｂ線矢視方向断面図である。
【図７】会議用端末５の電気的構成を示すブロック図である。
【図８】遠隔側端末３の遠隔会議処理を示すフローチャートである。
【図９】会議用端末５の遠隔会議処理を示すフローチャートである。
【図１０】第１実施形態に係る方位算出処理を示すフローチャートである。
【図１１】円形画像１８１の具体例である。
【図１２】方位調整前の帯状画像１８２の具体例である。
【図１３】方位調整後の帯状画像１８２の具体例である。
【図１４】画像調整処理を示すフローチャートである。
【図１５】帯状画像１８３の具体例である。
【図１６】第２実施形態に係る方位算出処理を示すフローチャートである。
【図１７】方位調整前の帯状画像１８４の具体例である。
【図１８】変形例に係る会議用端末２００の斜め上方からの斜視図である。
【図１９】変形例に係る会議用端末３００の斜め上方からの斜視図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２４】
図１〜図１５を参照して、本発明の第１実施形態について説明する。本実施形態では、会議用端末５の筐体上部７１（図３参照）の向きを、遠隔側端末３を用いた遠隔操作で調整するテレビ会議システム１を例示する。
【００２５】
図１を参照して、テレビ会議システム１の全体構成について説明する。テレビ会議システム１では、ユーザが存在する複数の拠点にそれぞれ設けられた端末装置が、ネットワーク２を介して接続されている。会議が開催されている拠点（以下、会議拠点という。）に設置されている遠隔側端末３と、会議拠点とは異なる拠点（以下、遠隔拠点という。）に設置されている会議用端末５との間で、テレビ会議が実行される場合を例示する。以下では、会議拠点に存在するユーザを、会議側ユーザという。遠隔拠点に存在するユーザを、遠隔側ユーザという。
【００２６】
テレビ会議システム１では、遠隔側端末３と会議用端末５との間でテレビ会議が開始されると、遠隔側端末３および会議用端末５でそれぞれ取得された映像データおよび音声データは、ネットワーク２を介して互いに送受信される。遠隔側端末３では、会議用端末５で取得された映像データおよび音声データ（つまり、会議側ユーザの映像データおよび音声データ）が出力される。会議用端末５では、遠隔側端末３で取得された映像データおよび音声データ（つまり、遠隔側ユーザの映像データおよび音声データ）が出力される。このように、遠隔側端末３および会議用端末５では、それぞれ相手方の拠点に存在するユーザの映像データおよび音声データがリアルタイムに出力されてテレビ会議が進行する。本実施形態では、遠隔側ユーザは、遠隔側端末３を使用して会議用端末５を遠隔操作できるが、詳細は後述する。
【００２７】
図２を参照して、遠隔側端末３の電気的構成について説明する。遠隔側端末３は、汎用のノート型ＰＣであり、ＣＰＵ３０、ＲＯＭ３１、ＲＡＭ３２、ＨＤＤ３３、ビデオコントローラ３４、オーディオコントローラ３５、通信装置３６、Ｉ／Ｏインタフェイス４０、キーボード４１、マウス４２、ディスプレイ４３、マイク４４、スピーカ４５を備える。さらに、遠隔側端末３は、複数のカメラ（前側カメラ４６、右側カメラ４７、左側カメラ４８）を備える。
【００２８】
ＲＯＭ３１、ＲＡＭ３２、およびＩ／Ｏインタフェイス４０は、ＣＰＵ３０に接続されている。ビデオコントローラ３４、オーディオコントローラ３５、キーボード４１、マウス４２、および複数のカメラは、Ｉ／Ｏインタフェイス４０にそれぞれ接続されている。ディスプレイ４３は、ビデオコントローラ３４に接続されている。マイク４４およびスピーカ４５は、オーディオコントローラ３５に接続されている。
【００２９】
通信装置３６は、ネットワーク２を介してデータ送受信を行うコントローラである。本実施形態では、通信装置３６が、テレビ会議の実行時に、会議用端末５との間で音声データおよび映像データの送受信を行う。後述する遠隔操作コマンドも、通信装置３６によって会議用端末５へ送信される。なお、ＲＡＭ３２は、遠隔側端末３で取得される映像データ・音声データのフレームバッファとして機能する。
【００３０】
前側カメラ４６は、遠隔側ユーザの前側に配置されて、遠隔側ユーザの正面顔を含む範囲を撮影するカメラである。右側カメラ４７は、遠隔側ユーザの右側に配置されて、遠隔側ユーザの右横顔を含む範囲を撮影するカメラである。左側カメラ４８は、遠隔側ユーザの左側に配置されて、遠隔側ユーザの左横顔を含む範囲を撮影するカメラである。本実施形態の前側カメラ４６、右側カメラ４７、および左側カメラ４８は、撮影した映像データをネットワーク２へリアルタイムに出力可能な小型・軽量の汎用カメラ（いわゆる、ＷＥＢカメラ）である。
【００３１】
ＨＤＤ３３は、大容量のハードディスクドライブであり、テレビ会議を実行するための各種データ（例えば、遠隔側端末３で取得された映像データ・音声データ、会議用端末５から受信した映像データ・音声データ）や割込みプログラムなどが記憶されている。後述の遠隔会議処理（図８参照）を実行するための会議処理プログラムも、ＨＤＤ３３に記憶されている。
【００３２】
図３〜図６を参照して、会議用端末５の物理的構造について説明する。以下の説明では、図３の右下方向、左上方向、左下方向、右上方向を、会議用端末５（詳細には、後述する筐体下部７３）の前側、後側、左側、右側とする。会議用端末５は、テレビ会議を実行するのに必要なデバイスが設けられた筐体７０を有する。筐体７０は、筐体上部７１、連結部７２、筐体下部７３からなる。
【００３３】
筐体上部７１は、平面視で正方形状をなし、且つ上下方向を長手方向とする箱状体（つまり、縦長直方体状）である。筐体上部７１の前面、右面、および左面には、ディスプレイが嵌め込まれるフレーム体である前面枠７４、右面枠７５、および左面枠７６がそれぞれ設けられている。前面枠７４には、縦長長方形状の正面ディスプレイ６１が固定されている。右面枠７５には、正面ディスプレイ６１と略同形の右面ディスプレイ６２が固定されている。左面枠７６には、正面ディスプレイ６１と略同形の左面ディスプレイ６３が固定されている。つまり、筐体上部７１は、その前面および左右両面の三面にディスプレイを備えている。なお、前面枠７４には、正面ディスプレイ６１と重畳して、タッチパネル５７が固定されている。したがって、正面ディスプレイ６１に表示されるメニューやアイコンなどを指で触れることで、会議用端末５の操作を行うことができる。
【００３４】
筐体上部７１の後面、上面、下面には、縦長板状の後面パネル７７、上面パネル７８、下面パネル７９が設けられている。これらのパネルは、先述の各種ディスプレイが固定された枠体とともに、筐体上部７１の内部空間を形成する。ただし、下面パネル７９の平面視中央のやや後ろ側から前方に向けて、半円状の開口部７９Ａが形成されている。そのため、筐体上部７１の内部空間は、開口部７９Ａを介して下方に連通している。
【００３５】
前面枠７４の上枠部分における略中央位置には、正面視カメラ６７が設けられている。正面視カメラ６７を正面ディスプレイ６１と同一面に設けたことで、正面ディスプレイ６１が画像表示する方向と同一方向（つまり、筐体上部７１の前方）が、正面視カメラ６７によって撮影される。右面枠７５の上枠部分における略中央位置には、右側マイク６４が設けられている。左面枠７６の上枠部分における略中央位置には、左側マイク６５が設けられている。右側マイク６４および左側マイク６５は、筐体上部７１の両側面に設けられた一対のバイノーラルマイクである。これにより、会議用端末５の周辺で発生した音声は、筐体上部７１の両側面からバイノーラル方式で集音される。
【００３６】
筐体下部７３は、平面視で筐体上部７１よりも大きな正方形状をなし、且つ上下方向を短手方向とする箱状体である。筐体下部７３の内部には、筐体下部７３の前面側から音声を出力可能なスピーカ６６が設けられている。筐体下部７３の上面における中央位置には、平面視で正方形状の凹部７３Ａが形成されている。筐体下部７３の前縁部における左右方向の略中心位置には、正面ディスプレイ６１よりも前方の位置で周囲を撮影する全方位カメラ１１０が設けられている。本実施形態の全方位カメラ１１０は、所定範囲（例えば、半径５メートル）を撮影範囲とする魚眼カメラであるが、広角カメラを複数備えたものでもよい。
【００３７】
連結部７２は、平面視で正方形状をなし、且つ上下方向を長手方向とする棒状体である。連結部７２の下端部には、平面視で連結部７２よりも大きい正方形状の板部である鍔部７２Ａが設けられている。鍔部７２Ａは、平面視で同形をなす凹部７３Ａに嵌め込まれた状態で固定されている。一方、連結部７２の上側部分は、開口部７９Ａを介して筐体上部７１の内部空間に進入している。
【００３８】
筐体上部７１の内部には、駆動機構１００および一対の連結金具６８が設けられている。駆動機構１００は、筐体上部７１と連結部７２とを連結して、筐体上部７１の傾きを水平方向および垂直方向に変化させるための機構である。一対の連結金具６８は、正面ディスプレイ６１およびタッチパネル５７の背面側に設けられ、且つ前面枠７４の上枠部分から下枠部分に亘って左右に並んで延びる板状金具である。各連結金具６８の上端部および下端部は、それぞれ前面枠７４の上枠部分および下枠部分に固定されている。
【００３９】
駆動機構１００は、筐体上部７１の水平方向の傾きを調整するパンモータ８０と、筐体上部７１の垂直方向の傾きを調整するチルトモータ９０と、筐体上部７１に連結される一対の腕部９２を備える。パンモータ８０は、連結部７２の上端部に固定されており、上方に延出する垂直な軸８１を有する。チルトモータ９０は、パンモータ８０の上側に固定されており、左右両側に延出する水平な軸９１を有する。水平な軸９１は、一対の腕部９２の後端側にそれぞれ接続されている。一対の腕部９２は、軸９１と直交する方向に延びる板状金具であり、各々の先端部はそれぞれ対応する連結金具６８に固定されている。なお、駆動機構１００は、筐体上部７１に複数のディスプレイ等の各種部材が取り付けられた状態で、筐体上部７１の重心位置を支持するように連結金具６８に固定されている。
【００４０】
上記の構造により、パンモータ８０が軸８１を回動させるのに伴って、チルトモータ９０も垂直軸周りに回動する。チルトモータ９０から延びる一対の腕部９２に連結された筐体上部７１も、垂直軸周りに回動する。つまり、パンモータ８０の駆動によって、筐体上部７１が垂直方向に傾斜する。また、チルトモータ９０が軸９１を回動させるのに伴って、一対の腕部９２も水平軸周りに回動する。チルトモータ９０から延びる一対の腕部９２に連結された筐体上部７１も、水平軸周りに回動する。つまり、チルトモータ９０の駆動によって、筐体上部７１が水平方向に傾斜する。
【００４１】
筐体上部７１の回動に伴って、筐体上部７１に設けられた正面ディスプレイ６１、右面ディスプレイ６２、左面ディスプレイ６３（以下、各ディスプレイ６１〜６３と総称する。）の向きや、正面視カメラ６７の撮影方向も変化する。一方、全方位カメラ１１０は、筐体下部７３に固定されているため、筐体上部７１の回動に関係なく、常に一定の位置および方位で周囲が撮影される。
【００４２】
図７を参照して、会議用端末５の電気的構成について説明する。会議用端末５は、ＣＰＵ５０、ＲＯＭ５１、ＲＡＭ５２、ＨＤＤ５３、ビデオコントローラ５４、オーディオコントローラ５５、通信装置５６、Ｉ／Ｏインタフェイス６０を備える。さらに、会議用端末５は、先述のタッチパネル５７、正面ディスプレイ６１、右面ディスプレイ６２、左面ディスプレイ６３、右側マイク６４、左側マイク６５、スピーカ６６、正面視カメラ６７、パンモータ８０、チルトモータ９０を備えている。
【００４３】
ＲＯＭ５１、ＲＡＭ５２、およびＩ／Ｏインタフェイス６０は、ＣＰＵ５０に接続されている。ビデオコントローラ５４、オーディオコントローラ５５、正面視カメラ６７、全方位カメラ１１０、タッチパネル５７、パンモータ８０、およびチルトモータ９０は、Ｉ／Ｏインタフェイス６０にそれぞれ接続されている。各ディスプレイ６１〜６３は、ビデオコントローラ５４にそれぞれ接続されている。右側マイク６４、左側マイク６５、スピーカ６６は、オーディオコントローラ５５に接続されている。
【００４４】
通信装置５６は、ネットワーク２を介してデータ送受信を行うコントローラである。本実施形態では、通信装置５６が、テレビ会議の実行時に、遠隔側端末３との間で音声データおよび映像データの送受信を行う。後述する遠隔操作コマンドも、通信装置５６によって遠隔側端末３から受信される。なお、ＲＡＭ５２は、会議用端末５で取得される映像データ・音声データのフレームバッファとして機能する。
【００４５】
ＨＤＤ５３は、大容量のハードディスクドライブであり、テレビ会議を実行するための各種データ（例えば、会議用端末５で取得された映像データ・音声データ、遠隔側端末３から受信した映像データ・音声データ）や割込みプログラムなどが記憶されている。後述の遠隔会議処理（図１３参照）を実行するための会議処理プログラムも、ＨＤＤ５３に記憶されている。
【００４６】
図８〜図１５を参照して、第１実施形態のテレビ会議システム１で実行されるテレビ会議に関する処理について説明する。テレビ会議の実行時には、遠隔側端末３および会議用端末５において、以下に説明する処理がそれぞれ実行される。
【００４７】
図８を参照して、遠隔側端末３の遠隔会議処理について説明する。本処理は、遠隔側端末３でテレビ会議の開始を指示する入力操作が受け付けられると、ＨＤＤ３３に記憶されている会議処理プログラムに基づいて、ＣＰＵ３０によって実行される。
【００４８】
遠隔側端末３の遠隔会議処理では、まず会議参加要求が会議サーバ（図示外）に送信される（Ｓ１）。会議参加要求は、テレビ会議システム１で実行されるテレビ会議への参加を要求するコマンドである。会議サーバは、ネットワーク２を介して会議参加要求を受信した場合、会議参加要求に含まれる認証情報に基づいてユーザ認証を行う。ユーザ認証が成功した場合、参加許可を要求元の端末装置に返信する。ユーザ認証が失敗した場合、参加拒否を要求元の端末装置に返信する。
【００４９】
ステップＳ１の実行後、参加許可を取得したか否かが判断される（Ｓ３）。会議サーバから参加拒否を受信した場合、参加許可を取得していないと判断される（Ｓ３：ＮＯ）。この場合、テレビ会議が開始されることなく、遠隔会議処理（図８）が終了される。会議サーバから参加許可を受信した場合、参加許可を取得したと判断される（Ｓ３：ＹＥＳ）。この場合、ＨＤＤ３３から割込みプログラムが起動される（Ｓ５）。
【００５０】
ステップＳ５で起動された割込みプログラムに基づいて、テレビ会議中の各種データ処理（具体的には、映像データ送信処理、音声データ送信処理、映像データ受信処理、音声データ受信処理）が実行される。
【００５１】
遠隔側端末３の映像データ送信処理では、前側カメラ４６、右側カメラ４７および左側カメラ４８から取得された各映像データが、会議用端末５に送信される。この映像データには、前側カメラ４６で撮影された遠隔側ユーザの正面顔画像と、右側カメラ４７で撮影された遠隔側ユーザの右顔画像と、左側カメラ４８で撮影された遠隔側ユーザの左顔画像とが含まれる。
【００５２】
遠隔側端末３の音声データ送信処理では、マイク４４から取得された音声データが、会議用端末５に送信される。この音声データには、マイク４４で集音された遠隔側ユーザの声等が含まれる。
【００５３】
遠隔側端末３の映像データ受信処理では、会議用端末５から映像データが受信されて、ビデオコントローラ３４に転送される。ビデオコントローラ３４は、転送された映像データをディスプレイ４３に表示する。この映像データは、後述するように正面視カメラ６７および全方位カメラ１１０が会議拠点を映し出したものである。よって、遠隔側ユーザは、ディスプレイ４３に映し出される映像によって、会議側ユーザの顔等を見ることができる。
【００５４】
遠隔側端末３の音声データ受信処理では、会議用端末５から音声データが受信されて、オーディオコントローラ３５に転送される。オーディオコントローラ３５は、転送された音声データをスピーカ４５から出力する。この音声データは、後述するように右側マイク６４および左側マイク６５が会議拠点で集音したものである。よって、遠隔側ユーザは、スピーカ４５から出力される音声によって、会議側ユーザの声等を聞くことができる。
【００５５】
ステップＳ５の実行後、キー入力ありか否かが判断される（Ｓ７）。例えば、キーボード４１またはマウス４２の入力操作を受け付けた場合は、キー入力ありと判断される（Ｓ７：ＹＥＳ）。この場合、ステップＳ７で検出されたキー入力が、会議用端末５の遠隔操作であるか否かが判断される（Ｓ９）。ステップＳ９では、ステップＳ７で検出されたキー入力があらかじめ定められている操作内容と一致する場合、会議用端末５の遠隔操作であると判断される（Ｓ９：ＹＥＳ）。
【００５６】
この場合、ステップＳ７で検出されたキー入力に対応して、会議用端末５に所定の動作内容を実行させる遠隔操作コマンドが生成される（Ｓ１１）。例えば、会議用端末５が備える正面視カメラ６７の撮影方向を下方に傾けたい場合に、遠隔側ユーザはキーボード４１の「↑」キーを押すことで、「上向き」を指示するチルト調整コマンドが生成される。正面視カメラ６７のズーム倍率を大きくしたい場合に、遠隔側ユーザはキーボード４１の「＋」キーを押すことで、「拡大」を指示するズーム調整コマンドが生成される。
【００５７】
ステップＳ１１で生成された遠隔操作コマンド（パン調整コマンド、チルト調整コマンド、ズーム調整コマンドのいずれか）は、パケット化されて会議用端末５へ送信される（Ｓ１３）。以下では、ステップＳ１３で送信されたパケットを、遠隔操作パケットという。ステップＳ１３の実行後、テレビ会議が終了したか否かが判断される（Ｓ１５）。例えば、遠隔側端末３でテレビ会議の終了を指示する入力操作が受け付けられたり、会議サーバからテレビ会議の終了を指示するコマンドを受信したりした場合、テレビ会議が終了したと判断される（Ｓ１５：ＹＥＳ）。この場合、ステップＳ５で起動された割込みプログラムが終了され（Ｓ１７）、遠隔会議処理（図８）が終了される。つまり、会議用端末５に対する音声データおよび映像データの送受信が中断されて、テレビ会議が終了する。
【００５８】
一方、キー入力がない場合（Ｓ７：ＮＯ）、会議用端末５の遠隔操作でない場合（Ｓ９：ＮＯ）、およびテレビ会議が終了していない場合（Ｓ１５：ＮＯ）、処理はステップＳ７に戻る。このように、本実施形態では、割込みプログラムの起動から終了までの間（つまり、テレビ会議の実行中）、ステップＳ７〜Ｓ１５が所定間隔（例えば、数ミリ秒周期）で繰り返し実行される。よって、例えばキーボード４１の「↑」キーが押し続けられている間は、「上向き」を指示するチルト調整コマンドの遠隔操作パケットが連続して出力される。
【００５９】
図９および図１０を参照して、会議用端末５の遠隔会議処理について説明する。本処理は、会議用端末５でテレビ会議の開始を指示する入力操作が受け付けられると、ＨＤＤ５３に記憶されている会議処理プログラムに基づいて、ＣＰＵ５０によって実行される。
【００６０】
図９に示すように、会議用端末５の遠隔会議処理では、まずパンモータ８０およびチルトモータ９０の原点検出処理が実行される（Ｓ１０１）。パンモータ８０の原点検出処理は、筐体上部７１が水平方向の傾きが初期状態となるまで回動される。具体的には、各ディスプレイ６１〜６３がそれぞれ会議用端末５（詳細には、筐体下部７３）の前側、右側、左側を向くまで、筐体上部７１が垂直軸周りに回動される。これにより、正面視カメラ６７の撮影方向は、会議用端末５（詳細には、筐体下部７３）の前方と一致する。
【００６１】
一方、チルトモータ９０の原点検出処理は、筐体上部７１が垂直方向の傾きが初期状態となるまで回動される。具体的には、各ディスプレイ６１〜６３が垂直となるまで（言い換えると、正面視カメラ６７の撮影方向が水平となるまで）、筐体上部７１が水平軸周りに回転される。ステップＳ１０１で初期状態に設定された筐体上部７１は、会議用端末５（詳細には、筐体下部７３）と前後方向、左右方向、上下方向がいずれも一致している。これにより、テレビ会議の開始時に会議用端末５の向きを初期化する手間を省略できる。
【００６２】
ステップＳ１０１の実行後、全方位カメラ１１０から取得される映像データの方位を調整するための方位算出処理が実行される（Ｓ１０２）。図１０に示すように、方位算出処理では、まず初期位置に移動した正面ディスプレイ６１に、特定パターンのＱＲコード９９（図１１〜図１３参照）が表示される（Ｓ１５１）。この状態で、全方位カメラ１１０から撮影された画像が取得される（Ｓ１５３）。この場合、図１１に示す例のように、全方位カメラ１１０から３６０°全方位を撮影した円形画像１８１が取得される。円形画像１８１には、全方位カメラ１１０の後側に位置する正面ディスプレイ６１に表示されたＱＲコード９９も含めて、全方位カメラ１１０の周囲が映し出されている。
【００６３】
ステップＳ１５３で取得された円形画像１８１が、公知の画像処理手法によって、標準的なディスプレイの表示領域形状に対応する横長帯状の平面画像に変換される（Ｓ１５５）。この場合、図１２に示す例のように、円形画像１８１を平面状に画像変換した帯状画像１８２が取得される。帯状画像１８２は、円形画像１８１を上下の画像部分に分割して、各画像部分をそれぞれ上画像部１８２Ａおよび下画像部１８２Ｂに平面状に変換したものである。よって、上画像部１８２Ａの左端と下画像部１８２Ｂの右端とは画像的に連続しており、上画像部１８２Ａの右端と下画像部１８２Ｂの左端とは画像的に連続している。
【００６４】
ステップＳ１５５で取得された帯状画像１８２から、ＱＲコード９９が検出される（Ｓ１５７）。さらに、ＱＲコード９９の画像中心の座標位置Ｘ（左右方向位置）が算出される（Ｓ１５９）。ステップＳ１５７、Ｓ１５９は、公知の画像解析手法によって実行されればよい。図１２に示す例では、帯状画像１８２に映し出されているＱＲコード９９が、パターン認識によって検出される。検出されたＱＲコード９９のＸ方向（左右方向）の中心位置Ｃ１が、座標位置Ｘとして算出される。本実施形態では、座標位置Ｘの大きさは、帯状画像１８２のＸ方向（左右方向）の中心位置Ｃ２を基準として求められる。
【００６５】
ステップＳ１５９の実行後、正面ディスプレイ６１の横座標領域が算出される（Ｓ１６１）。具体的には、ステップＳ１５７の検出結果に基づいて、ＱＲコード９９の横幅両端の座標位置Ｘ（左右方向位置）が算出される。ＱＲコード９９と正面ディスプレイ６１との横幅比率は、予め設定されている。この横幅比率とＱＲコード９９の座標位置Ｘとに基づいて、正面ディスプレイ６１の横幅両端の座標位置Ｘが算出される。さらに、正面ディスプレイ６１の横幅両端の座標位置ＸからＹ方向（上下方向）に延びる両辺を有する矩形領域が、横座標領域として算出される。図１２に示す例では、正面ディスプレイ６１の横幅全体を含み、かつ下画像部１８２Ｂの上下方向に亘る矩形領域が、横座標領域Ｄとして算出される。ステップＳ１６１の実行後、処理が遠隔会議処理（図９）に戻る。
【００６６】
図９に示すように、ステップＳ１０２の実行後、ＨＤＤ５３から割込みプログラムが起動される（Ｓ１０３）。ステップＳ１０３で起動された割込みプログラムに基づいて、テレビ会議中の各種データ処理（具体的には、映像データ送信処理、音声データ送信処理、映像データ受信処理、音声データ受信処理）が実行される。
【００６７】
会議用端末５の映像データ送信処理では、正面視カメラ６７および全方位カメラ１１０から取得された各映像データが、遠隔側端末３に送信される。この映像データには、正面視カメラ６７の撮影方向（筐体上部７１の前方向）を映し出した画像と、全方位カメラ１１０の周囲を映し出した画像とが含まれる。本実施形態では、遠隔側端末３に送信される全方位カメラ１１０の映像データは、後述の画像調整処理（図１４参照）によって円形画像から帯状画像に変換されたものである。
【００６８】
会議用端末５の音声データ送信処理では、右側マイク６４および左側マイク６５から取得された音声データが、遠隔側端末３に送信される。この音声データには、右側マイク６４で集音された会議側ユーザの声等と、左側マイク６５で集音された会議側ユーザの声等とが含まれる。
【００６９】
会議用端末５の映像データ受信処理では、遠隔側端末３から映像データが受信されて、ビデオコントローラ５４に転送される。ビデオコントローラ５４は、転送された映像データを各ディスプレイ６１〜６３に表示させる。詳細には、正面ディスプレイ６１に表示される映像データは、前側カメラ４６で撮影されたものである。右面ディスプレイ６２に表示される映像データは、右側カメラ４７で撮影されたものである。左面ディスプレイ６３に表示される映像データは、左側カメラ４８で撮影されたものである。よって、会議側ユーザは、各ディスプレイ６１〜６３に映し出される画像によって、それぞれ遠隔側ユーザの正面顔、右横顔、左横顔を認識することができる。
【００７０】
会議用端末５の音声データ受信処理では、遠隔側端末３から音声データが受信されて、オーディオコントローラ５５に転送される。オーディオコントローラ５５は、転送された音声データをスピーカ６６から出力する。この音声データは、マイク４４が遠隔拠点で集音したものである。よって、会議側ユーザは、スピーカ６６から出力される音声によって、遠隔側ユーザの声等を聞くことができる。
【００７１】
ステップＳ１０３の実行後、遠隔操作パケットを受信したか否かが判断される（Ｓ１０５）。遠隔操作パケットが受信されている場合（Ｓ１０５：ＹＥＳ）、遠隔操作パケットに含まれる遠隔操作コマンドがチルト調整コマンドであるか否かが判断される（Ｓ１０７）。遠隔操作コマンドがチルト調整コマンドである場合（Ｓ１０７：ＹＥＳ）、このチルト調整コマンドに基づいて生成されたチルト制御信号が、チルトモータ９０へ出力される（Ｓ１０９）。チルト制御信号は、チルト調整コマンドが指示する回転角度に応じて、チルトモータ９０を回転駆動する信号である。
【００７２】
チルトモータ９０は、チルト制御信号に応じて筐体上部７１を水平軸周りに回転させることで、筐体上部７１を下向きまたは上向きに調整する。例えば、先述の「下向き」を指示するチルト調整コマンドが会議用端末５に送信された場合、チルトモータ９０が筐体上部７１を右側面視で時計回り（図５では右回り）に回転させる。その結果、正面視カメラ６７の撮影方向もより下向きに傾斜するため、遠隔側端末３のディスプレイ４３に映し出される撮影範囲も下側に移動する。したがって、会議側ユーザが筐体上部７１の垂直方向の傾きを調整しなくても、遠隔側ユーザが正面視カメラ６７のチルト調整を遠隔操作で行うことができる。
【００７３】
遠隔操作コマンドがチルト調整コマンドでない場合（Ｓ１０７：ＮＯ）、遠隔操作コマンドがパン調整コマンドであるか否かが判断される（Ｓ１１１）。遠隔操作コマンドがパン調整コマンドである場合（Ｓ１１１：ＹＥＳ）、このパン調整コマンドに基づいて生成されたパン制御信号が、パンモータ８０へ出力される（Ｓ１１３）。パン制御信号は、パン調整コマンドが指示する回転角度に応じて、パンモータ８０を回転駆動する信号である。
【００７４】
パンモータ８０は、パン制御信号に応じて筐体上部７１を垂直軸周りに回転させることで、筐体上部７１を右向きまたは左向きに調整する。例えば、先述の「右向き」を指示するパン調整コマンドが会議用端末５に送信された場合、パンモータ８０が筐体上部７１を平面視で時計回り（図６では右回り）に回転させる。その結果、正面視カメラ６７の撮影方向もより右向きに傾斜するため、遠隔側端末３のディスプレイ４３に映し出される撮影範囲も右側に移動する。したがって、会議側ユーザが筐体上部７１の水平方向の傾きを調整しなくても、遠隔側ユーザが正面視カメラ６７のパン調整を遠隔操作で行うことができる。
【００７５】
遠隔操作コマンドがパン調整コマンドでない場合（Ｓ１１１：ＮＯ）、遠隔操作コマンドがズーム調整コマンドであるか否かが判断される（Ｓ１１５）。遠隔操作コマンドがズーム調整コマンドである場合（Ｓ１１５：ＹＥＳ）、このズーム調整コマンドに基づいて生成されたズーム制御信号が、正面視カメラ６７へ出力される（Ｓ１１７）。ズーム制御信号は、ズーム調整コマンドが指示するズーム倍率の拡大率または縮小率に応じて、正面視カメラ６７のズーム倍率を調整するモータ（図示外）を駆動する信号である。
【００７６】
正面視カメラ６７は、会議用端末５から受信したズーム制御信号に応じてズーム倍率を変更する。例えば、先述の「拡大」を指示するズーム調整コマンドが会議用端末５に送信された場合、正面視カメラ６７がズーム倍率を大きくするため、遠隔側端末３のディスプレイ４３に映し出される撮影範囲も狭くなる。これにより、ディスプレイ４３に表示されている映像の拡大・縮小が行われる。したがって、会議側ユーザが正面視カメラ６７のズーム倍率を調整しなくても、遠隔側ユーザが正面視カメラ６７のズーム調整を遠隔操作で行うことができる。
【００７７】
遠隔操作パケットが受信されていない場合（Ｓ１０５：ＮＯ）、または遠隔操作コマンドがズーム調整コマンドでない場合（Ｓ１１５：ＮＯ）、先述のステップＳ１７と同様に、テレビ会議が終了したか否かが判断される（Ｓ１１９）。テレビ会議が終了した場合（Ｓ１１９：ＹＥＳ）。この場合、ステップＳ１０３で起動された割込みプログラムが終了され（Ｓ１２２）、遠隔会議処理（図１３）が終了される。つまり、遠隔側端末３に対する音声データおよび映像データの送受信が中断されて、テレビ会議が終了する。
【００７８】
一方、ステップＳ１０９、Ｓ１１３、Ｓ１１７のいずれかの実行後、またはテレビ会議が終了していない場合（Ｓ１１９：ＮＯ）、処理はステップＳ１０５に戻る。このように、本実施形態では、遠隔会議処理（図９）の実行中は、ステップＳ１０５〜Ｓ１１９が所定間隔（例えば、数ミリ秒周期）で繰り返し実行される。よって、テレビ会議の実行中は、遠隔側端末３から受信した遠隔操作コマンドに基づいて、会議用端末５の遠隔操作が実行される。
【００７９】
図１４を参照して、画像調整処理について説明する。本実施形態では、会議用端末５の映像データ送信処理において、全方位カメラ１１０からフレーム単位で映像データが取得されるごとに、各映像データについて以下の画像調整処理が実行される。画像調整処理が施された各映像データが、遠隔側端末３に送信されてディスプレイ４３に表示される。
【００８０】
図１４に示すように、画像調整処理では、まず全方位カメラ１１０から取得される映像データ（具体的には、円形画像）が、ステップＳ１５７と同様に帯状画像に変換される（Ｓ１７１）。ステップＳ１７１で取得された帯状画像の方位が、ステップＳ１５９で算出された座標位置Ｘに基づいてシフト調整される（Ｓ１７３）。すなわち、ステップＳ１５９で取得された座標位置Ｘに相当するピクセル分、帯状画像の表示範囲が横方向にシフトされる。
【００８１】
図１３に示す例では、ＱＲコード９９の中心位置Ｃ１が、帯状画像１８２の中心位置Ｃ２と一致するように、帯状画像１８２の表示範囲がシフト調整される。その結果、上画像部１８２Ａおよび下画像部１８２Ｂは、中心位置Ｃ１、Ｃ２間距離に相当するピクセル分、各表示範囲が左方向にシフトする。これにより、下画像部１８２Ｂにおける左右方向中心に、ＱＲコード９９が表示される。
【００８２】
シフト調整後の帯状画像から、ステップＳ１６１で算出された正面ディスプレイ６１の横座標領域Ｄが削除される（Ｓ１７５）。さらに、ステップＳ１７５で削除された領域の補完処理が実行される（Ｓ１７７）。図１５に例示する処理済みの帯状画像１８３では、下画像部１８２Ｂの上下方向に亘って会議用端末５が削除され、その削除部分の左右両側の画像をつなぐように補間されている。ステップＳ１７７の実行後に画像調整処理が終了し、処理済みの帯状画像が遠隔側端末３に送信されてディスプレイ４３に表示される。
【００８３】
本実施形態では、全方位カメラ１１０の後方に、正面ディスプレイ６１が配置されている。そのため、正面ディスプレイ６１に映し出されたＱＲコード９９の中心位置Ｃ１（つまり、円形画像１８１における中心位置Ｃ１）を、全方位カメラ１１０から見た会議用端末５（詳細には、筐体下部７３）の後方とみなすことができる。逆に、円形画像１８１における中心位置Ｃ１の反対側を、会議用端末５の前方に相当するとみなすことができる。
【００８４】
よって、上記のように帯状画像１８２をシフト調整することで、下画像部１８２Ｂの左右方向中心が会議用端末５の後方と一致する。上画像部１８２Ａの左右方向中心が、会議用端末５の前方と一致する。つまり、上画像部１８２Ａの左右方向中心を、正面視カメラ６７の撮影方向と一致させることができる。このような帯状画像の方位調整によって、帯状画像における方位のズレ（例えば、帯状画像における前方が、正面視カメラ６７の撮影方向と一致しない等）が修正される。したがって、遠隔側ユーザは、ディスプレイ４３に表示される帯状画像における方位を正確に認識できる。
【００８５】
また、正面ディスプレイ６１に表示されるＱＲコード９９の表示位置に基づいて、全方位カメラ１１０からみて正面ディスプレイ６１とは反対の方向が、帯状画像１８２における前方として検出される。よって、遠隔側ユーザは、ディスプレイ４３に表示される帯状画像１８２における何れの方向が前方であるかを、正確かつ容易に特定できる。さらに、帯状画像１８２に会議用端末５が表示されないため、帯状画像１８２の視認性を向上させることができる。
【００８６】
なお、本実施形態に係る会議用端末５では、全方位カメラ１１０が筐体下部７３に固定されている。そのため、全方位カメラ１１０の撮影方向が予め設定されている場合には、その撮影方向にズレが生じにくい。この場合、例えば円形画像１８１の前方が上画像部１８２Ａの左右方向中心に位置するように、且つ、円形画像１８１の公報が下画像部１８２Ｂの左右方向中心に位置するように、帯状画像１８２が生成されればよい。これにより、帯状画像の方位調整（つまり、図１０に示す方位調整処理）を省略することができる。
【００８７】
以上説明したように、第１実施形態によれば、遠隔側端末３では、前側カメラ４６等で撮影された映像データや、遠隔操作パケットが、ネットワーク２を介して会議用端末５に送信される。会議用端末５では、前側カメラ４６等で撮影された映像データが正面ディスプレイ６１等に表示され、遠隔操作パケットに応じて正面ディスプレイ６１等の向きが変更される。会議用端末５では、正面ディスプレイ６１の向きと同じ方向を撮影した映像データと、正面ディスプレイ６１の前方位置から周囲を撮影した映像データ（すなわち、帯状画像）とが、ネットワーク２を介して遠隔側端末３に送信される。遠隔側端末３では、会議用端末５から受信した映像データが、ディスプレイ４３に表示される。遠隔側ユーザは帯状画像を閲覧することで、会議拠点全体の様子を把握することができる。
【００８８】
図１６および図１７を参照して、本発明の第２実施形態について説明する。第２実施形態は、第１実施形態と基本的に同様であるが、方位調整処理（図１０参照）が異なる。以下、第１実施形態と異なる点のみを説明する。
【００８９】
図１６に示すように、第２実施形態に係る方位調整処理（図９のステップＳ１１７参照）では、まず全方位カメラ１１０から撮影された画像が取得される（Ｓ２０１）。この場合、図１１に示す例と同様に、全方位カメラ１１０から３６０°全方位を撮影した円形画像が取得される。ただし、この円形画像には、ＱＲコード９９が表示されていない正面ディスプレイ６１が映し出される。
【００９０】
ステップＳ２０１で取得された円形画像が、ステップＳ１５５と同様に横長帯状の画像に変換される（Ｓ２０３）。この場合、図１７に示す例のように、円形画像を平面状に画像変換した帯状画像１８４が取得される。帯状画像１８４は、基本的に帯状画像１８２（図１２参照）と同様であるが、ＱＲコード９９は映し出されていない。
【００９１】
ステップＳ２０３で取得された帯状画像１８４に基づいて、正面ディスプレイ６１のベゼル部１９０が検出される（Ｓ２０５）。例えば、帯状画像１８４からベゼル部１９０に固有の色（特定色）を検出する。検出された特定色について、エッジ検出フィルタを用いたエッジ検出を実行する。エッジ検出で得られた画像に対して輪郭抽出が行われ、さらに輪郭画像から、ベゼル部１９０の形状特徴（例えば、ベゼル部１９０の四隅部分）を検出する。
【００９２】
ステップＳ２０５で検出されたベゼル部１９０に基づいて、ベゼル部１９０中心の座標位置Ｘ（左右方向位置）が算出される（Ｓ２０７）。この場合、図１７に示す例のように、ベゼル部１９０の形状特徴群のＸ方向（左右方向）の中心位置Ｃ３が、座標位置Ｘとして算出される。本実施形態では、座標位置Ｘの大きさは、帯状画像１８４のＸ方向（左右方向）の中心位置Ｃ３を基準として求められる。
【００９３】
最後に、正面ディスプレイ６１の横座標領域が算出される（Ｓ２０９）。例えば、ステップＳ２０５で検出されたベゼル部１９０を基準として、正面ディスプレイ６１の横幅両端の座標位置Ｘが算出される。図１７に示す例では、正面ディスプレイ６１の横幅全体を含み、かつ下画像部１８２Ｂの上下方向亘って、横座標領域Ｄが設定されている。ステップＳ２０９の実行後、処理が遠隔会議処理（図９）に戻る。
【００９４】
第２実施形態に係る画像調整処理（図１４）は、第１実施形態と同様である。ただし、ステップＳ１７３では、ステップＳ２０７で算出された座標位置Ｘに相当するピクセル分、帯状画像の表示範囲が横方向にシフトされる（Ｓ１８１）。図１７に示す例では、ベゼル部１９０の中心位置Ｃ３が、帯状画像１８４の中心位置Ｃ２と一致するように、帯状画像１８４の表示範囲がシフト調整される。その結果、上画像部１８４Ａおよび下画像部１８４Ｂは、中心位置Ｃ２、Ｃ３間距離に相当するピクセル分、各表示範囲が左方向にシフトする。これにより、下画像部１８４Ｂにおける左右方向中心に、ベゼル部１９０が表示される。
【００９５】
ステップＳ１７５、Ｓ１７７では、ステップＳ２０９で算出された正面ディスプレイ６１の横座標領域Ｄの削除と、その削除領域の補間処理が実行される。これにより、図１５に示す例と同様に、下画像部１８４Ｂの上下方向に亘って会議用端末５が削除され、その削除部分の左右両側の画像をつなぐように補間される。ステップＳ１７７の実行後に画像調整処理が終了し、処理済みの帯状画像は遠隔側端末３に送信されてディスプレイ４３に表示される。
【００９６】
以上説明したように、第２実施形態によれば、第１実施形態と同様に、遠隔側ユーザは帯状画像を閲覧することで、会議拠点全体の様子を把握することができる。また、帯状画像に含まれるベゼル部１９０の表示位置に基づいて、全方位カメラ１１０からみて正面ディスプレイ６１とは反対の方向が、帯状画像における前方として検出される。よって、遠隔側ユーザは、ディスプレイ４３に表示される帯状画像における何れの方向が前方であるかを、正確かつ容易に特定することができる。
【００９７】
上記実施形態において、前側カメラ４６が、本発明の「遠隔側カメラ」に相当する。通信装置３６が、本発明の「遠隔側画像送信手段」、「操作指示送信手段」および「会議側画像受信手段」に相当する。ステップＳ９を実行するＣＰＵ３０が、本発明の「操作受付手段」に相当する。ディスプレイ４３が、本発明の「遠隔側ディスプレイ」に相当する。通信装置５６が、本発明の「遠隔側画像受信手段」、「操作指示受信手段」および「会議側画像送信手段」に相当する。正面ディスプレイ６１が、本発明の「会議側ディスプレイ」に相当する。駆動機構１００が、本発明の「駆動手段」に相当する。正面視カメラ６７が、本発明の「第一会議カメラ」に相当する。全方位カメラ１１０、および後述の全方位カメラ１２０、１３０が、本発明の「第二会議カメラ」に相当する。ステップＳ１５３〜Ｓ１５９、Ｓ１７１、Ｓ１７３、およびＳ２０１〜Ｓ２０７を実行するＣＰＵ５０が、本発明の「方位調整手段」に相当する。ステップＳ１６１、Ｓ１７５、およびＳ２０９を実行するＣＰＵ５０が、本発明の「端末領域削除手段」に相当する。
【００９８】
なお、本発明は上記実施形態に限定されるものではなく、発明の要旨を変更しない範囲での変更が可能である。上記実施形態では、方位算出処理（Ｓ１０２）が遠隔会議処理（図９）の開始時に実行されているが、他のタイミングで実行されてもよい。例えば、遠隔側ユーザが遠隔側端末３で所定の操作を行った場合に、図１０または図１６に示す方位算出処理が適宜実行されるようにしてもよい。
【００９９】
また、会議用端末５に設けられる全方位カメラの構成は、適宜変更可能である。図１８に示す会議用端末２００は、筐体下部７３から離間した位置に配置可能な全方位カメラ１２０を備える。全方位カメラ１２０は、筐体下部７３に設けられた制御部（ＣＰＵ５０等）とケーブル１２１で接続されており、ケーブル１２１の延びる範囲内の自由な位置に全方位カメラ１２０を設置可能である。ただし、全方位カメラ１２０で撮影された映像データの方位調整等を正確に行うために、方位算出処理（図１０、図１６参照）の実行時に、正面ディスプレイ６１が全方位カメラ１２０の設置位置に向いていることが好適である。
【０１００】
図１９に示す会議用端末３００は、筐体下部７３から離間した位置に配置可能な全方位カメラ１３０を備える。全方位カメラ１３０は、筐体下部７３に設けられた制御部（ＣＰＵ５０等）および駆動モータ（図示外）と、ケーブル１３１で接続されている。駆動モータ（図示外）の駆動に応じて、筐体下部７３内からケーブル１３１が延び出して全方位カメラ１３０が前進し、筐体下部７３内にケーブル１３１が巻き取られて全方位カメラ１３０が後退する。全方位カメラ１３０の進退動作は、先述の筐体上部７１のパン・チルト制御と同様に、遠隔側ユーザが遠隔側端末３を用いて遠隔操作することができる。
【０１０１】
上記のように全方位カメラを会議用端末から分離可能にすることで、例えば正面ディスプレイ６１がステップの撮像範囲を妨げること抑制でき、全方位カメラの撮影データの視認性を高めることができる。このように全方位カメラを会議用端末から分離した場合には、全方位カメラの方位が一定しないため、全方位カメラの撮影データにおける方位のズレが生じる。しかしながら、上記説明した撮影データの方位調整によって方位のズレが修正されるため、全方位カメラが何れの位置にせっちされた場合であっても、遠隔側ユーザは撮影データにおける方位を正確かつ容易に特定することができる。
【０１０２】
また、上記第１実施形態では、正面ディスプレイ６１に特定パターンのＱＲコード９９が表示されているが、このＱＲコード９９が各種情報を示すようにしてもよい。例えばＱＲコード９９が、会議用端末５を遠隔操作している遠隔側端末３に固有の識別コード（ＩＤ）を示してもよい。具体的には、１つの会議室に複数の会議用端末５が設置されている場合、各会議用端末５の全方位カメラ１１０によって、それぞれ他の会議用端末５の正面ディスプレイ６１が撮影されることがある。このとき、各全方位カメラ１１０で複数のＱＲコード９９が撮影されてしまい、各会議用端末５は自己が表示しているＱＲコード９９を特定できないおそれがある。本変形例によれば、各会議用端末５は、ＱＲコード９９が示す固有の識別コードに応じて、各会議用端末５を遠隔操作する遠隔側端末３に対応するＱＲコード９９を、自己が表示しているＱＲコード９９に特定することができる。ひいては、複数の会議用端末５が同時に使用される場合でも、各会議用端末５は特定したＱＲコード９９に基づいて正確に方位調整を行うことができる。
【符号の説明】
【０１０３】
１ テレビ会議システム
２ ネットワーク
３ 遠隔側端末
５ 会議用端末
３０ ＣＰＵ
３６ 通信装置
４３ ディスプレイ
４６ 前側カメラ
５０ ＣＰＵ
５６ 通信装置
６１ 正面ディスプレイ
６７ 正面視カメラ
１００ 駆動機構
１１０ 全方位カメラ
１２０ 全方位カメラ
１３０ 全方位カメラ
１９０ ベゼル部
【特許請求の範囲】
【請求項１】
遠隔地のユーザが使用する遠隔側端末と、会議の開催場所に設置される会議用端末とがネットワークを介して接続され、前記遠隔側端末と前記会議用端末との双方向通信によって遠隔会議を実行する会議システムであって、
前記遠隔側端末は、
前記ユーザを撮影する遠隔側カメラと、
前記遠隔側カメラで撮影された遠隔側画像を、前記ネットワークを介して前記会議用端末に送信する遠隔側画像送信手段と、
前記会議用端末に対する操作指示を受け付ける操作受付手段と、
前記操作受付手段によって受け付けられた前記操作指示を、前記ネットワークを介して前記会議用端末に送信する操作指示送信手段とを備え、
前記会議用端末は、
前記ネットワークを介して前記遠隔側画像を受信する遠隔側画像受信手段と、
前記遠隔側画像受信手段によって受信された前記遠隔側画像を表示する会議側ディスプレイと、
前記ネットワークを介して前記操作指示を受信する操作指示受信手段と、
前記操作指示受信手段によって受信された前記操作指示に応じて、前記会議側ディスプレイの向きを変更する駆動手段と、
前記会議側ディスプレイの向きと同一方向を撮影する第一会議カメラと、
前記会議側ディスプレイよりも前方の位置で周囲を撮影する第二会議カメラと、
前記第一会議カメラで撮影された正面画像と、前記第二会議カメラで撮影された周囲画像とを、前記ネットワークを介して前記遠隔側端末に送信する会議側画像送信手段とを備え、
さらに、前記遠隔側端末は、
前記ネットワークを介して前記正面画像および前記周囲画像を受信する会議側画像受信手段と、
前記会議側画像受信手段によって受信された前記正面画像および前記周囲画像を表示する遠隔側ディスプレイと
を備えたことを特徴とする会議システム。
【請求項２】
前記会議用端末は、前記第二会議カメラで撮影された前記周囲画像に基づいて、前記周囲画像における方位を調整する方位調整手段を備えたことを特徴とする請求項１に記載の会議システム。
【請求項３】
前記会議用端末は、前記会議側ディスプレイに特定パターンの検出用画像を表示させる会議側表示制御手段を備え、
前記方位調整手段は、前記周囲画像に含まれる前記検出用画像の表示位置とは反対側の位置を、前記周囲画像における前方として検出することを特徴とする請求項２に記載の会議システム。
【請求項４】
前記方位調整手段は、前記周囲画像に含まれる前記会議側ディスプレイのベゼル部の表示位置とは反対側の位置を、前記周囲画像における前方として検出することを特徴とする請求項２に記載の会議システム。
【請求項５】
前記会議用端末は、前記第二会議カメラで撮影された前記周囲画像から、前記周囲画像に含まれる前記会議用端末の表示領域を削除する端末領域削除手段を備えたことを特徴とする請求項１から４のいずれかに記載の会議システム。
【請求項６】
前記会議用端末は、前記第二会議カメラが設けられた支持部と、前記第一会議カメラおよび前記会議側ディスプレイが設けられ、前記支持部によって回動可能に支持される可動部とを備え、
前記駆動手段は、前記可動部を回動させることによって、前記会議側ディスプレイの向きおよび前記第一会議カメラの撮影方向を変更することを特徴とする請求項１から４のいずれかに記載の会議システム。
【請求項７】
ネットワークを介して遠隔地のユーザが使用する遠隔側端末に接続され、会議の開催場所に設置される会議用端末であって、
前記ネットワークを介して、前記遠隔側端末で撮影された遠隔側画像を受信する遠隔側画像受信手段と、
前記遠隔側画像受信手段によって受信された前記遠隔側画像を表示する会議側ディスプレイと、
前記ネットワークを介して、前記遠隔側端末で入力された前記会議用端末に対する操作指示を受信する操作指示受信手段と、
前記操作指示受信手段によって受信された前記操作指示に応じて、前記会議側ディスプレイの向きを変更する駆動手段と、
前記会議側ディスプレイの向きと同一方向を撮影する第一会議カメラと、
前記会議側ディスプレイよりも前方の位置で周囲を撮影する第二会議カメラと、
前記第一会議カメラで撮影された正面画像と、前記第二会議カメラで撮影された周囲画像とを、前記ネットワークを介して前記遠隔側端末に送信する会議側画像送信手段と
を備えたことを特徴とする会議用端末。
【請求項８】
前記第二会議カメラで撮影された前記周囲画像に基づいて、前記周囲画像における方位を調整する方位調整手段を備えたことを特徴とする請求項７に記載の会議用端末。
【請求項９】
前記会議側ディスプレイに特定パターンの検出用画像を表示させる会議側表示制御手段を備え、
前記方位調整手段は、前記周囲画像に含まれる前記検出用画像の表示位置とは反対側の位置を、前記周囲画像における前方として検出することを特徴とする請求項８に記載の会議用端末。
【請求項１０】
前記方位調整手段は、前記周囲画像に含まれる前記会議側ディスプレイのベゼル部の表示位置とは反対側の位置を、前記周囲画像における前方として検出することを特徴とする請求項８に記載の会議用端末。
【請求項１１】
前記第二会議カメラで撮影された前記周囲画像から、前記周囲画像に含まれる前記会議用端末の表示領域を削除する端末領域削除手段を備えたことを特徴とする請求項７から１０のいずれかに記載の会議用端末。
【請求項１２】
前記第二会議カメラが設けられた支持部と、
前記第一会議カメラおよび前記会議側ディスプレイが設けられ、前記支持部によって回動可能に支持される可動部とを備え、
前記駆動手段は、前記可動部を回動させることによって、前記会議側ディスプレイの向きおよび前記第一会議カメラの撮影方向を変更することを特徴とする請求項７から１１のいずれかに記載の会議用端末。
【請求項１３】
ネットワークを介して会議の開催場所に設置される会議用端末に接続され、遠隔地のユーザに使用される遠隔側端末であって、
前記ユーザを撮影する遠隔側カメラと、
前記遠隔側カメラで撮影された遠隔側画像を、前記ネットワークを介して前記会議用端末に送信する遠隔側画像送信手段と、
前記会議用端末に対する操作指示を受け付ける操作受付手段と、
前記操作受付手段によって受け付けられた前記操作指示を、前記ネットワークを介して前記会議用端末に送信する操作指示送信手段と、
前記ネットワークを介して、前記会議用端末に備えられた会議側ディスプレイの向きと同一方向を撮影した正面画像と、前記会議側ディスプレイよりも前方の位置で周囲を撮影した周囲画像とを受信する会議側画像受信手段と、
前記会議側画像受信手段によって受信された前記正面画像および前記周囲画像を表示する遠隔側ディスプレイと
を備えたことを特徴とする遠隔側端末。
【請求項１】
遠隔地のユーザが使用する遠隔側端末と、会議の開催場所に設置される会議用端末とがネットワークを介して接続され、前記遠隔側端末と前記会議用端末との双方向通信によって遠隔会議を実行する会議システムであって、
前記遠隔側端末は、
前記ユーザを撮影する遠隔側カメラと、
前記遠隔側カメラで撮影された遠隔側画像を、前記ネットワークを介して前記会議用端末に送信する遠隔側画像送信手段と、
前記会議用端末に対する操作指示を受け付ける操作受付手段と、
前記操作受付手段によって受け付けられた前記操作指示を、前記ネットワークを介して前記会議用端末に送信する操作指示送信手段とを備え、
前記会議用端末は、
前記ネットワークを介して前記遠隔側画像を受信する遠隔側画像受信手段と、
前記遠隔側画像受信手段によって受信された前記遠隔側画像を表示する会議側ディスプレイと、
前記ネットワークを介して前記操作指示を受信する操作指示受信手段と、
前記操作指示受信手段によって受信された前記操作指示に応じて、前記会議側ディスプレイの向きを変更する駆動手段と、
前記会議側ディスプレイの向きと同一方向を撮影する第一会議カメラと、
前記会議側ディスプレイよりも前方の位置で周囲を撮影する第二会議カメラと、
前記第一会議カメラで撮影された正面画像と、前記第二会議カメラで撮影された周囲画像とを、前記ネットワークを介して前記遠隔側端末に送信する会議側画像送信手段とを備え、
さらに、前記遠隔側端末は、
前記ネットワークを介して前記正面画像および前記周囲画像を受信する会議側画像受信手段と、
前記会議側画像受信手段によって受信された前記正面画像および前記周囲画像を表示する遠隔側ディスプレイと
を備えたことを特徴とする会議システム。
【請求項２】
前記会議用端末は、前記第二会議カメラで撮影された前記周囲画像に基づいて、前記周囲画像における方位を調整する方位調整手段を備えたことを特徴とする請求項１に記載の会議システム。
【請求項３】
前記会議用端末は、前記会議側ディスプレイに特定パターンの検出用画像を表示させる会議側表示制御手段を備え、
前記方位調整手段は、前記周囲画像に含まれる前記検出用画像の表示位置とは反対側の位置を、前記周囲画像における前方として検出することを特徴とする請求項２に記載の会議システム。
【請求項４】
前記方位調整手段は、前記周囲画像に含まれる前記会議側ディスプレイのベゼル部の表示位置とは反対側の位置を、前記周囲画像における前方として検出することを特徴とする請求項２に記載の会議システム。
【請求項５】
前記会議用端末は、前記第二会議カメラで撮影された前記周囲画像から、前記周囲画像に含まれる前記会議用端末の表示領域を削除する端末領域削除手段を備えたことを特徴とする請求項１から４のいずれかに記載の会議システム。
【請求項６】
前記会議用端末は、前記第二会議カメラが設けられた支持部と、前記第一会議カメラおよび前記会議側ディスプレイが設けられ、前記支持部によって回動可能に支持される可動部とを備え、
前記駆動手段は、前記可動部を回動させることによって、前記会議側ディスプレイの向きおよび前記第一会議カメラの撮影方向を変更することを特徴とする請求項１から４のいずれかに記載の会議システム。
【請求項７】
ネットワークを介して遠隔地のユーザが使用する遠隔側端末に接続され、会議の開催場所に設置される会議用端末であって、
前記ネットワークを介して、前記遠隔側端末で撮影された遠隔側画像を受信する遠隔側画像受信手段と、
前記遠隔側画像受信手段によって受信された前記遠隔側画像を表示する会議側ディスプレイと、
前記ネットワークを介して、前記遠隔側端末で入力された前記会議用端末に対する操作指示を受信する操作指示受信手段と、
前記操作指示受信手段によって受信された前記操作指示に応じて、前記会議側ディスプレイの向きを変更する駆動手段と、
前記会議側ディスプレイの向きと同一方向を撮影する第一会議カメラと、
前記会議側ディスプレイよりも前方の位置で周囲を撮影する第二会議カメラと、
前記第一会議カメラで撮影された正面画像と、前記第二会議カメラで撮影された周囲画像とを、前記ネットワークを介して前記遠隔側端末に送信する会議側画像送信手段と
を備えたことを特徴とする会議用端末。
【請求項８】
前記第二会議カメラで撮影された前記周囲画像に基づいて、前記周囲画像における方位を調整する方位調整手段を備えたことを特徴とする請求項７に記載の会議用端末。
【請求項９】
前記会議側ディスプレイに特定パターンの検出用画像を表示させる会議側表示制御手段を備え、
前記方位調整手段は、前記周囲画像に含まれる前記検出用画像の表示位置とは反対側の位置を、前記周囲画像における前方として検出することを特徴とする請求項８に記載の会議用端末。
【請求項１０】
前記方位調整手段は、前記周囲画像に含まれる前記会議側ディスプレイのベゼル部の表示位置とは反対側の位置を、前記周囲画像における前方として検出することを特徴とする請求項８に記載の会議用端末。
【請求項１１】
前記第二会議カメラで撮影された前記周囲画像から、前記周囲画像に含まれる前記会議用端末の表示領域を削除する端末領域削除手段を備えたことを特徴とする請求項７から１０のいずれかに記載の会議用端末。
【請求項１２】
前記第二会議カメラが設けられた支持部と、
前記第一会議カメラおよび前記会議側ディスプレイが設けられ、前記支持部によって回動可能に支持される可動部とを備え、
前記駆動手段は、前記可動部を回動させることによって、前記会議側ディスプレイの向きおよび前記第一会議カメラの撮影方向を変更することを特徴とする請求項７から１１のいずれかに記載の会議用端末。
【請求項１３】
ネットワークを介して会議の開催場所に設置される会議用端末に接続され、遠隔地のユーザに使用される遠隔側端末であって、
前記ユーザを撮影する遠隔側カメラと、
前記遠隔側カメラで撮影された遠隔側画像を、前記ネットワークを介して前記会議用端末に送信する遠隔側画像送信手段と、
前記会議用端末に対する操作指示を受け付ける操作受付手段と、
前記操作受付手段によって受け付けられた前記操作指示を、前記ネットワークを介して前記会議用端末に送信する操作指示送信手段と、
前記ネットワークを介して、前記会議用端末に備えられた会議側ディスプレイの向きと同一方向を撮影した正面画像と、前記会議側ディスプレイよりも前方の位置で周囲を撮影した周囲画像とを受信する会議側画像受信手段と、
前記会議側画像受信手段によって受信された前記正面画像および前記周囲画像を表示する遠隔側ディスプレイと
を備えたことを特徴とする遠隔側端末。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１４】
【図１６】
【図１８】
【図１９】
【図１１】
【図１２】
【図１３】
【図１５】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１４】
【図１６】
【図１８】
【図１９】
【図１１】
【図１２】
【図１３】
【図１５】
【図１７】
【公開番号】特開２０１２−１４２７２７（Ｐ２０１２−１４２７２７Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９３０３５（Ｐ２０１０−２９３０３５）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【Ｆターム（参考）】
[ Back to top ]