端末、サーバ、会議システム、会議方法、会議プログラム
【課題】テレビ会議システムにおいて、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているか否かがわかる。
【解決手段】端末２１と端末２２を備えるテレビ会議システムにおける会議方法であって、発話者側端末２１の利用者が、表示手段により表示された映像のうち、聴衆者側端末２２の利用者の映像を注目している場合に、端末２２は、端末２１から、端末２２を注目していることを示す第１の注目情報を受信する。第１の注目情報を受信すると、端末２２は、利用者が注目している映像に対応する端末と端末２１とが一致するか否かを判定する。端末２２は、一致すると判定した場合に、第２の注目情報を生成して送信する。端末２１は、第２の注目情報を受信すると、表示手段により表示される映像のうち、端末２２に対応する映像を強調して表示する。
【解決手段】端末２１と端末２２を備えるテレビ会議システムにおける会議方法であって、発話者側端末２１の利用者が、表示手段により表示された映像のうち、聴衆者側端末２２の利用者の映像を注目している場合に、端末２２は、端末２１から、端末２２を注目していることを示す第１の注目情報を受信する。第１の注目情報を受信すると、端末２２は、利用者が注目している映像に対応する端末と端末２１とが一致するか否かを判定する。端末２２は、一致すると判定した場合に、第２の注目情報を生成して送信する。端末２１は、第２の注目情報を受信すると、表示手段により表示される映像のうち、端末２２に対応する映像を強調して表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者の映像を表示する端末を備えた会議システムに関する。
【背景技術】
【０００２】
従来、複数の端末をネットワークで接続し、端末利用者の画像や音声を相互に送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムがある。
【０００３】
典型的な多地点テレビ会議システムでは、各地点に１台のカメラと１台のディスプレイを配置し、カメラから得た自地点の利用者映像を他地点に伝送する。また、他地点から受信した他地点の利用者映像をデイスプレイの画面にタイル状に並べて表示する。
【０００４】
従来、多地点間会議システムでは、会議への参加者の正面画像（利用者映像）をただ伝送・表示しているだけで、デイスプレイの画面からだけでは、他の人が、自分に対して話をしているのか、他者に対して話をしているのかを特定することができなかった。
【０００５】
このような課題を解決する技術として、特許文献１記載の技術がある。この技術は、一の端末の利用者が、他の端末に対して会話を行っている場合に、画面上に、送信元の端末の利用者から他の端末の利用者に対して、矢印等の識別情報を表示する。これにより、他の人が、自分に対して、話をしているのか、他者に対して、話をしているのかを特定しようと工夫している。
【０００６】
しかしながら、この技術においては、例えば、テレビ会議システム利用者全員が、会話を行っている場合に、自分に関係しない矢印を含めた多数の矢印が、自分の画面上に表示されるために、表示画面が煩雑になるといった課題があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１５８９４５公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記従来技術の問題点を解決するためになされたものであって、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているか否かがわかるようにするテレビ会議システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一実施態様に係る端末は、自端末の利用者を撮像した第1映像を他端末に送信する映像送信手段と、他端末の利用者を撮像した複数の第2映像を受信する映像受信手段と、複数の前記第2映像を並べて表示する表示手段と、前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像から検知する注目検知手段と、前記注目検知手段が検知した注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信手段と、前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信手段と、前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御手段とを備える。
【００１０】
又、本発明の一実施形態に係る端末は、自端末の利用者を撮像した第1映像をサーバに送信する映像送信手段と、前記サーバから他端末の利用者を撮像した複数の第2映像の合成映像を受信する映像受信手段と、前記映像受信手段により受信した合成映像を表示する表示手段と、前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像の合成映像から検知する注目検知手段と、前記注目検知手段が検知した注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信手段と、前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信手段と、前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調する要求を前記サーバへ送信する要求送信手段とを備える。
【００１１】
又、本発明の一実施形態に係るサーバは、複数の端末の利用者を撮像した映像を受信する映像受信手段と、前記映像受信手段により受信した端末の利用者の映像を合成することにより合成映像を生成する合成手段と、前記合成映像を前記複数の端末へ送信する映像送信手段と、前記端末の利用者が、発話をしていることを通知する発話者通知信号を受信する通知信号受信手段と、前記通知信号受信手段が、発話者通知信号を受信した場合に、前記発話者通知信号を通知した端末の利用者が注目している端末の利用者の第１の注目映像を、前記合成映像から検知する検知手段とを備え、前記検知手段は、前記第１の注目映像に対応する端末の利用者が、注目している端末の利用者の第２の注目映像を、前記合成映像から検知し、該第２の注目映像に対応する端末の利用者と前記発話者通知信号を通知した端末の利用者とが一致するか否かを判定し、前記合成手段は、前記検知手段が一致すると判定した場合に、前記合成映像のうち、前記第１の注目映像に対応する端末の利用者の映像を強調表示した合成映像を生成する。
【００１２】
又、本発明の一実施形態に係る会議方法は、第１の端末が、前記第１の端末の利用者の映像を撮像した第１映像を他端末に送信する映像送信ステップと、前記第１の端末が、他端末の利用者を撮像した複数の第２映像を受信する映像受信ステップと、前記第１の端末が、前記複数の第２映像を並べて表示する表示ステップと、前記第１の端末の利用者が、発話をしていることを検知する発話検知ステップと、前記第１の端末が、発話中に注目している利用者の第１の注目映像を、前記第２映像から検知する第１の注目検知ステップと、前記第１の注目検知ステップにおいて検知した前記第１の注目映像に対応する他の端末に対して、前記第１の端末の利用者が、前記第１の注目映像を注目していることを示す第１の注目情報を送信する第１の注目情報送信ステップと、前記第１の注目映像に対応する第２の端末が、前記第１の端末から前記第１の注目情報を受信する第１の注目情報受信ステップと、前記第２の端末が、前記第１の注目情報受信ステップにより前記第１の注目情報を受信した場合に、前記第２の端末の利用者が、注目している利用者の第２の注目映像を、前記第２の端末の表示手段に表示された映像から検知し、該第２の注目映像に対応する端末と前記第１の端末とが一致するか否かを判定する第２の注目検知ステップと、前記第２の注目検知ステップにおいて、一致すると判定した場合に、前記第２の端末が、第２の注目映像を注目していることを示す第２の注目情報を送信する第２の注目情報送信ステップと、前記第１の端末が、前記第２の注目情報を受信する第２の注目情報受信ステップと、前記第１の端末が、前記第２の注目情報を受信した場合に、前記第１の注目映像に対応する第２映像を強調表示する制御を行う制御ステップとを備える。
【００１３】
又、本発明の一実施形態に係る会議システムは、自端末の利用者を撮像した第1映像を他端末に送信する映像送信手段と、他端末の利用者を撮像した複数の第2映像を受信する映像受信手段と、複数の前記第2映像を並べて表示する表示手段と、前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、前記第1映像に対応する利用者が発話中に注目している利用者の第１の注目映像を、前記第2映像から検知する第１の注目検知手段と、前記第１の注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記第１の注目映像を注目していることを示す第１の注目情報を送信する第１の注目情報送信手段と、前記第１の注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する第１の注目情報受信手段と、前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記第１の注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御手段とを備える第１の端末と、他の端末から第２の注目情報を受信する第２の注目情報受信手段と、前記第２の注目情報受信手段により前記第２の注目情報を受信した場合に、自端末の利用者が、注目している第２の注目映像を、表示手段に表示された複数の第２映像から検知し、該検知した第２の注目映像に対応する端末と前記第２の注目情報の送信元である端末とが一致するか否かを判定する第２の注目検知手段と、前記第２の注目検知手段が一致すると判定した場合に、前記第２の注目映像に対応する端末に対して、自端末が、前記第２の注目映像を注目していることを示す第１の注目情報を送信する第２の注目情報送信手段とを備える第２の端末とを備える。
【００１４】
又、本発明の一実施形態に係る会議プログラムは、自端末の利用者を撮像した第1映像を他端末に送信する映像送信機能と、他端末の利用者を撮像した複数の第2映像を受信する映像受信機能と、複数の前記第2映像を並べて表示する表示機能と、前記第１映像に対応する利用者が発話していることを検知する発話検知機能と、前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像から検知する注目検知機能と、前記注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信機能と、前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信機能と、前記第２の注目情報を受信した場合に、前記表示機能により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御機能とを有し、前記注目検知機能は、前記注目情報受信機能により前記第２の注目情報を受信した場合に、検知した注目映像に対応する端末と前記第２の注目情報の送信元である端末とが一致するか否かを判定し、前記注目情報送信機能は、前記注目検知機能が一致すると判定した場合に、前記注目映像に対応する端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する。
【発明の効果】
【００１５】
本発明によれば、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているか否かがわかるようにするテレビ会議システムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係るテレビ会議システムを示す簡略図。
【図２】第１実施形態に係るテレビ会議システムにおいてテレビ会議開始時の入力映像、表示映像を示す図。
【図３】第１の実施形態に係る端末を示すブロック図。
【図４】第１の実施形態に係る注目検知部を示すブロック図。
【図５】第１の実施形態に係る発話者側端末と聴衆者側端末の関係を示す図。
【図６】第１の実施形態に係る発話者側端末の動作を示すフローチャート。
【図７】第１の実施形態に係る発話者側端末の「発話者処理」の動作を示すフローチャート。
【図８】第１の実施形態に係る聴衆者側端末の動作を示すフローチャート。
【図９】第１の実施形態に係る聴衆者側端末の「聴衆者処理」の動作を示すフローチャート。
【図１０】第１の実施形態に係る聴衆者側端末の「発話者表示変更処理」の動作を示すフローチャート。
【図１１】第１の実施形態に係る発話者端末の「聴衆者表示変更処理」の動作を示すフローチャート。
【図１２】第１の実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図。
【図１３】第１の実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図。
【図１４】第１の実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図。
【図１５】第１の実施形態に係る聴衆者側端末の動作の変形例を示すフローチャート。
【図１６】第１の実施形態に係る発話者側端末の「発話者処理」の動作の変形例を示すフローチャート。
【図１７】第１の実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図。
【図１８】第１の実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図。
【図１９】第２の実施形態に係るテレビ会議システムを示す簡略図。
【図２０】第２の実施形態に係る端末を示すブロック図。
【図２１】第２の実施形態に係る発話者端末の「聴衆者表示変更処理」の動作を示すフローチャート。
【図２２】第２の実施形態に係る聴衆者側端末の「発話者表示変更処理」の動作を示すフローチャート。
【図２３】第２の実施形態に係るＭＣＵを示すブロック図。
【図２４】テレビ会議開始時に、第２の実施形態に係るＭＣＵが端末から受信する映像と、端末へ送信する合成映像を示す図。
【図２５】第２の実施形態に係るＭＣＵが、レイアウトを変更した後の合成映像を示す図。
【図２６】第２の実施形態に係る合成映像のレイアウトの変形例を示す図。
【図２７】第３の実施形態に係るテレビ会議システムを示す図。
【図２８】第３の実施形態に係る端末を示すブロック図。
【図２９】第３の実施形態に係るＭＣＵを示すブロック図。
【図３０】第４の実施形態における第１の参加者及び第２の参加者の画像変形処理（台形変形）を示す図。
【図３１】第４の実施形態における第３の参加者及び第４の参加者の画像変形処理（台形変形）を示す図。
【図３２】第４の実施形態に係る端末が、最初の状態において、表示画面に表示する映像を示す図。
【図３３】第４の実施形態に係る端末において、「発話者注目情報」を受信した場合における表示画面に表示する映像を示す図。
【図３４】第４の実施形態に係る端末において、「発話者注目情報」を受信した場合における表示画面に表示する映像を示す図。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について説明する。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るテレビ会議システムを示す簡略図である。
【００１９】
このテレビ会議システムは、４つの端末２１、２２、２３、２４がそれぞれネットワーク接続（伝送路３に接続）されている。
【００２０】
各端末（２１〜２４）はそれぞれ、入力映像（V1〜V4）を取り込むためのカメラ（２１ｃ、２２ｃ、２３ｃ、２４ｃ）、入力音声（A1〜A4）を取り込むためのマイク（２１ｍ、２２ｍ、２３ｍ、２４ｍ）と、映像（MV1〜MV4）を表示するための表示デバイス（２１ｄ、２２ｄ、２３ｄ、２４ｄ）と、音声（MA1〜MA4）を再生するためのスピーカ（２１ｓ、２２ｓ、２３ｓ、２４ｓ）とを備える。
【００２１】
なお、端末（２１〜２４）は、例えば、ノートブックタイプのポータブルパーソナルコンピュータ（ノートＰＣ）等により実現される。あるいは、端末（２１〜２４）は、会議専用装置であってもよい。また、伝送路３は、例えば、有線ＬＡＮ、IEEE 802.11b、若しくは802.11aとして規定された無線ＬＡＮ、及び、スイッチやルータを介して接続されるインターネットを含める。
【００２２】
端末２１は、カメラ２１ｃで得た入力映像V1を伝送路３に対して送信し、伝送路３から他の端末が送信した映像V2、V3、V4を受信する。そして、端末２１は自身の映像V1と、受信した映像Ｖ２、Ｖ３、Ｖ４を表示デバイス２１ｄに表示する。尚、以下では、表示するデバイスに表示する映像V1、V2、V3、V4をまとめてMV１と表現し、「V1、V2、V3、V4を表示する」ことを、「MV1を表示する」と表現する。
【００２３】
また、端末２１は、マイク２１ｍで得た入力音声A1を伝送路３に対して送信し、伝送路３から他の端末が送信した音声A2、A3、A4を受信する。端末２１は、受信した音声A2、A3、A4をスピーカ２１ｓにより出力する。尚、以下では、スピーカ２１ｓが出力する音声A2、A3、A4をまとめてMA１と表現し、「A2、A3、A4を再生する」ことを、「MA1を再生する」と表現する。
【００２４】
図２は、テレビ会議システムを４人で開始した最初の状態での入力映像（V1〜V4）、及び表示する映像（MV1〜MV4）を表す図である。図２の例においては、各入力映像（V1〜V4）の画像サイズは、共に320ピクセル×240ピクセルであるとしており、表示する際に自身の映像と、受信した各映像を160ピクセル×120ピクセルに縮小した後に、それらを並べて配置している。
【００２５】
次に、端末２１について説明する。図３は、第１の実施形態に係る端末を示すブロック図である。
【００２６】
端末２１は、注目情報入力部１０、映像送信部１１、映像受信部１２、映像制御部１３、映像表示部１４、発話検知部１５、注目検知部１６、注目情報送信部１７、注目情報受信部１８を備える。
【００２７】
映像送信部１１は、端末２１のカメラ２１ｃにより撮影された映像データが入力されると、ＭＥＰＧ４などの形式に圧縮符号化し、圧縮した映像データを映像ストリームとして伝送路３へ送信する。また、圧縮した映像データは、映像受信部１２へも出力される。
【００２８】
映像受信部１２は、伝送路３から映像ストリームとしてＭＰＥＧ４などの形式に圧縮された映像データを受信し、圧縮された映像データを伸張した後に映像制御部１３へ出力する。なお、映像受信部１２は、複数の端末から映像ストリームを受信して前述の処理を行うことが可能とする。また、映像送信部１１から得た圧縮された映像データについても同様に処理する。
【００２９】
映像制御部１３は、映像受信部１２から得た映像データを変形した後、映像表示部１４へ出力する。なお、映像制御部１３は、自端末を含めた複数の端末に対応する複数の映像データに対し、変形処理を行うことが可能とする。映像制御部１３は、変形処理として、例えば、サイズ変換を行う。例えば、入力映像が320ピクセル×240ピクセルなど、160ピクセル×120ピクセル以外の場合に、それらをすべて160ピクセル×120ピクセルに変換して映像表示部１４へ出力する機能を備える。尚、映像制御部１３が行う変形処理は、サイズ変換に限るものではない。形状の変更、色調の変更等も変形処理に含まれる概念である。
【００３０】
映像表示部１４は、映像制御部１３から入力された映像データを、表示デバイス２１ｄに表示させる。表示の際には、自端末を含めた複数の端末に対応する複数の映像データの配置作業を行う。例えば、図２に示されるように、表示する映像が４つの場合には、自端末の映像を左上に配置し、次に、端末の識別番号が若い順に右上、左下、右下とする。なお、端末の識別番号は、端末で一意に決まっているものとし、映像データと共に端末間で送受信されるものとする。
【００３１】
発話検知部１５は、マイク２１ｍから音声入力があった場合に、自端末の利用者が発話者となったと判断する発話判断処理機能を備える。発話判断処理機能の一例として、音声レベルの閾値と、検出時間が設定されており、閾値を超える音声レベルの入力が検出時間を超えて連続して発生した場合に発話者となったと判断する。発話検知部１５は、自端末の利用者が発話者と判断した場合には、発話者処理開始信号を注目検知部１６へ出力する。なお、発話検知部１５は、発話者と判断した後であって、一定の時間が経過後、再度、発話判断処理機能により自端末の利用者が発話者であると判断した場合には、発話者処理継続信号を注目検知部１６へ出力する。一方、発話検知部１５は、発話者と判断した後であって、再度、発話判断処理機能により発話者でないと判断した場合には、発話者処理終了信号を注目検知部１６へ出力する。
【００３２】
注目情報入力部１０は、自端末の利用者が、表示画面上のどの位置を注目しているかを入力する。注目情報入力部１０としては、例えば、ポインティングデバイスを用いる。ポインティングデバイスを用いる場合、利用者は、表示画面をポインティングすることにより、利用者が注目している画面上の位置を入力する。なお、注目情報入力部１０としては、前述したマイク２１ｍ、又はカメラ２１ｃであっても良い。
【００３３】
次に、注目検知部１６について、まず一つ目の機能について説明する。図４は、注目検知部１６の構成を示すブロック図である。
【００３４】
注目検知部１６は、発話者処理部１６Ａと、聴衆者注目情報構築部１６Ｂと、聴衆者登録情報テーブル１６Ｃと、聴衆者登録処理部１６Ｄと、聴衆者表示変更処理部１６Ｅと,発話者登録処理部１６Ｆと、発話者登録情報テーブル１６Ｇと、発話者表示変更処理部１６Ｈと、聴衆者処理部１６Ｉと、発話者注目情報構築部１６Ｊとを備える。
【００３５】
注目検知部１６は、発話者処理開始信号が入力されると、「発話者処理」を実行する。
【００３６】
「発話者処理」は、発話者処理部１６Ａが、注目情報入力部１０により入力された情報から、自端末の利用者Ａが、どの端末から送られてきた映像に注目しているかを検出する処理と、その検出結果により、聴衆者注目情報構築部１６Ｂが、その注目者となった端末の識別番号を含む聴衆者注目情報を構築する処理を含む処理である。
【００３７】
例えば、注目情報入力部１０が、ポインティングデバイスである場合、発話者処理部１６Ａは、デイスプレイ２１ｄの表示画面上の映像MV1のうち、利用者Aがポインティングした位置にある映像を注目していると検出する。
【００３８】
また、注目情報入力部１０が、マイク２１ｍである場合、発話者処理部１６Ａは、音声解析機能を備えることにより、まず、利用者Ａが「○○さん」と呼びかけた場合に、利用者Ａが呼びかける端末の利用者を特定する。又、発話者処理部１６Ａは、更に、端末の識別番号とそれぞれの端末の利用者名を関連づけて記憶していることにより、特定した利用者からその利用者名に対応する端末から送られて来た映像を注目していると検出する。
【００３９】
また、注目情報入力部１０が、カメラ２１ｃである場合、発話者処理部１６Ａは、映像解析機能を備えることにより、カメラ２１ｃから撮影された利用者Ａの顔と目の位置を検出し、それらの情報から、利用者Ａがどの方向を見ているのかを推定し、その見ている方向から表示画面上の注視点を推測し、その注視点の位置にある映像を注目していると検出する。
【００４０】
また、発話者処理部１６Ａは、自端末の利用者Ａが注目している映像を検出した結果、利用者Ａが、自端末以外の端末の利用者の映像を注目している場合に、自端末の利用者Ａが、その端末を注目していることを示す情報を含む信号を聴衆者注目情報構築部１６Ｂに出力する。例えば、信号としては、その端末の利用者の映像である。又、その端末の識別子であっても良い。
【００４１】
次に、聴衆者注目情報構築部１６Ｂは、自端末の利用者Ａが、自端末以外の端末を注目していることを示す情報を含む信号を受信すると、「聴衆者注目情報」を構築し、注目情報送信部１７へ出力する。この「聴衆者注目情報」には、自端末（端末２１）の端末の識別番号と、注目者となった端末の識別番号を含む情報である。
【００４２】
「発話者処理」は、注目検知部１６にて繰り返し実行され、その度に「聴衆者注目情報」が注目情報送信部１７へ出力される。例えば、発話者処理継続信号が入力される毎に、注目検知部１６は、「発話者処理」を繰り返し実行する。一方、注目検知部１６は、発話者処理終了信号が入力されると、「発話者処理」を停止する。
【００４３】
注目情報送信部１７についても、まず一つ目の機能について説明する。注目情報送信部１７は、聴衆者注目情報構築部１６Ｂから得た「聴衆者注目情報」を伝送路３へ送信するための加工を行い、伝送路３へ送信する。ここでいう加工とは、例えば、ネットワーク（伝送路３）へ送信するために、宛先アドレス等の情報を含むヘッダ情報を付加し、ペイロード部分に「聴衆者注目情報」を入れたパケット信号を構築することである。なお、注目情報送信部１７は、伝送路３を介して、注目者となった端末のみに「聴衆者注目情報」を送信する（便宜的にユニキャストと呼ぶ）。なお、注目情報送信部１７は、会議に参加している全端末に「聴衆者注目情報」を送信してもよい（便宜的にマルチキャストと呼ぶ）。
【００４４】
注目情報受信部１８についても、まず一つ目の機能について説明する。注目情報受信部１８は、「聴衆者注目情報」が含まれたパケット信号を伝送路３から受信すると、「聴衆者注目情報」を抜き出し、注目検知部１６へ出力する。
【００４５】
次に、注目検知部１６について、二つ目の機能について説明する。注目検知部１６は、注目情報受信部１８が受信した「聴衆者注目情報」に応じて、「発話者登録処理」、「発話者表示変更処理」、および、「聴衆者処理」を実行する。
【００４６】
「発話者登録処理」では、発話者登録処理部１６Ｆは、まず「聴衆者注目情報」を解析し、発話者となった端末の識別番号と、注目者となった端末の識別番号を認識する。次に、発話者登録処理部１６Fは、認識した注目者となった端末の識別番号と、自端末の識別番号とを比較し、自端末が、注目者となったか否かを判定する。次に、発話者登録処理部１６Fは、自端末が、注目者であると判定した場合に、発話者の端末の識別番号（発話者情報とする。）を発話者登録情報テーブル１６Gに登録する。また、発話者登録処理部１６Fは、入力された「聴衆者注目情報」の注目者が自端末であって、「聴衆者注目情報」に含まれる発話者となった端末の識別番号が、既に、発話者登録情報テーブル１６Gに登録されている発話者の端末の識別番号である場合には、更新されたことを記録する。また、発話者登録処理部１６Fは、定期的に発話者登録状態を確認する処理も行う。即ち、発話者登録処理部１６Fは、発話者登録情報テーブル１６Gに登録されている発話者情報のうち、一定時間更新されていない発話者情報を検出した場合には、発話者情報、即ち、発話者の端末の識別番号を発話者登録テーブル１６Ｇから削除する。
【００４７】
「発話者表示変更処理」では、発話者表示変更処理部１６Ｈが、発話者登録処理部１６Ｆが認識し、新たに発話者登録情報テーブル１６Ｇに登録した発話者の端末の識別番号に対応する映像の表示方法を変更するように要求する変形要求信号を映像制御部１３に出力する。ここで、変形要求信号は、映像の表示方法の変更を要求する端末の識別番号と、その映像法表示方法の変形方法についての情報を含む。変形方法としては、例えば、発話者の端末の映像の周囲の枠の色を強調する色への変更する方法、又は、発話者の端末の映像を他の映像より大きく表示する変更（例えば、他の映像の大きさが、160ピクセル×120ピクセルの場合に、発話者の端末の映像の大きさを200ピクセル×150ピクセルにする）などがある。
【００４８】
「発話者表示変更処理」においては、発話者表示変更処理部１６Ｈは発話者登録情報テーブル１６Ｇから発話者として登録されている端末の識別番号が削除された場合に、その発話者の映像の表示方法を前述した発話者表示変更処理部１６Ｈの指示により変形される前の状態に戻すための表示復元信号を映像制御部１３に出力する処理も行う。一方、映像制御部１３は、注目検知部１６からの変形要求信号または表示復元信号に従い対応する端末の利用者の映像を、変形要求信号または表示復元信号に含まれる前述した変形方法により変形して映像表示部１４へ出力する。
【００４９】
聴衆者処理部１６Ｉは、発明者登録情報テーブル１６Ｇに、発話者となった端末の識別番号が１つ登録された時点で、「聴衆者処理」を実行する。
【００５０】
一方、発話者登録情報テーブル１６Gに登録されている識別番号が０個になった時点で「聴衆者処理」を終了する。
【００５１】
「聴衆者処理」においては、聴衆者処理部１６Ｉが、注目情報処理部１０により入力された情報から、自端末（端末２１）の利用者Ａが、表示されている映像ＭＶ１のうち、発話者登録情報テーブル１６Gに登録されている識別番号に対応する端末から送られてきた映像に注目しているかを検出する。即ち、聴衆者処理部１６Ｉは、利用者Ａの注目箇所を検出し、利用者Ａの注目箇所が、発話者登録情報テーブル１６Ｇに登録されている識別番号に対応する端末から送られてきた映像であるか否かを判定する。
【００５２】
発話者注目情報構築部１６Ｊは、利用者Ａの注目箇所が、発話者登録情報テーブル１６Ｇに登録されている識別番号に対応する端末から送られてきた映像であると判定した場合に、「発話者注目情報」を構築し、注目情報送信部１７へ出力する。この「発話者注目情報」は、自端末（端末２１）の端末の識別番号と、注目した発話者の端末の識別番号を含む情報である。
【００５３】
「聴衆者処理」は注目検知部１６にて繰り返し実行され、その度に「発話者注目情報」が注目情報送信部１７へ出力される。
【００５４】
注目情報送信部１７についても、二つ目の機能について説明する。注目情報送信部１７は、「発話者注目情報」が入力されると、それを伝送路３へ送信するための加工を行い、伝送路３へ送信する。ここでいう加工とは、例えば、ネットワーク（伝送路３）へ送信するために、宛先アドレス等の情報を含むヘッダ情報を付加し、ペイロード部分に「発話者注目情報」を入れたパケット信号を構築することである。ここで、伝送路３は送信する際に、注目情報送信部１７は注目した発話者の端末のみに対して、「発話者注目情報」を送信する（便宜的にユニキャストと呼ぶ）。
【００５５】
次に、注目情報受信部１８について、二つ目の機能について説明する。注目情報受信部１８は、「発話者注目情報」が含まれたパケット信号を伝送路３から受信すると、「発話者注目情報」を抜き出し、注目検知部１６へ出力する。
【００５６】
次に、注目検知部１６について、三つ目の機能について説明する。注目検知部１６は「発話者注目情報」が入力されると、「聴衆者登録処理」、「聴衆者表示変更処理」を実行する。
【００５７】
「聴衆者登録処理」では、聴衆者登録処理部１６Ｄは、まず「発話者注目情報」を解析し、注目された発話者の端末の識別番号と、その発話者を注目した端末の識別番号を認識する。次に、聴衆者登録処理部１６Ｄは、注目された発話者の端末の識別番号と、自端末の識別番号とを比較し、自端末が、注目された発話者となったか否かを判定する。次に、発話者登録処理部は、自端末が、注目された発話者であると判定した場合に、自端末を注目した端末の識別番号（聴衆者情報とする。）を聴衆者登録情報テーブル１６Cに登録する。また、聴衆者登録処理部１６Dは、入力された「発話者注目情報」の注目された発話者が、自端末と一致する場合であって、「発話者注目情報」に含まれる注目者である聴衆者の端末の識別番号が、既に、聴衆者登録情報テーブル１６Cに登録されている聴衆者の端末の識別番号である場合には、更新されたことを記録する。また、聴衆者登録処理部１６Dは、定期的に聴衆者登録状態を確認する処理も行う。即ち、聴衆者登録処理部１６Ｄは、聴衆者登録情報テーブル１６Cに登録されている聴衆者情報のうち、一定時間更新されていない聴衆者情報を検出した場合には、聴衆者情報、即ち、聴衆者の端末の識別番号を聴衆者登録テーブル１６Cから削除する。
【００５８】
「聴衆者表示変更処理」では、聴衆者表示変更処理部１６Ｅが、聴衆者登録処理部１６Ｄが認識し、新たに聴衆者登録情報テーブル１６Ｃに登録した聴衆者の端末の識別番号に対応する映像の表示方法を変更するように要求する変形要求信号を映像制御部１３に出力する。ここで、変形要求信号は、映像の表示方法の変更を要求する端末の識別番号と、その映像法表示方法の変形方法についての情報を含む。変形方法としては、例えば、注目者である聴衆者の端末の映像の周囲の枠の色を強調する色への変更する方法、又は、注目者である聴衆者の端末の映像を他の聴衆社の映像より大きく表示する変更（例えば、他の映像の大きさが、160ピクセル×120ピクセルの場合に、注目者である聴衆者の端末の映像の大きさを200ピクセル×150ピクセルにする）などがある。
【００５９】
また、「聴衆者表示変更処理」においては、聴衆者表示変更処理部１６Ｅは聴衆者登録情報テーブル１６Ｃに登録されている聴衆者の端末の識別番号が削除された場合に、その聴衆者の映像の表示方法を前述した聴衆者表示変更処理部１６Ｅの指示により変形される前の状態に戻すための表示復元信号を映像制御部１３に出力する処理も行う。
【００６０】
以上、端末２１の機能として、注目情報入力部１０、映像送信部１１、映像受信部１２、映像制御部１３、映像表示部１４、発話検知部１５、注目検知部１６、注目情報送信部１７、注目情報受信部１８について説明したが、端末２２、２３、２４も同様にこれらを構成要素として備えるものとする。
【００６１】
ところで、先に説明した発話検知部１５、注目検知部１６、注目情報送信部１７、注目情報受信部１８については、発話者側端末として行う処理と、聴衆者側端末として行う処理とに分けることができる。なお、図５には、端末２１が発話者側端末、端末２２が聴衆者側端末となり、お互いが通信している様子を示している。
【００６２】
図６は、発話者側端末の動作を概略的に示すフローチャートである。
【００６３】
まず、発話検知部１５が、自端末の利用者が発話者であるか否かを検出する（発話検出処理）（Ｓ１１１）。発話検出処理において、発話検知部１５が、自端末の利用者が発話者となったことを判断すると（Ｓ１１２）、注目検知部１６が、「発話者処理」を開始する（Ｓ１１３）。次に、発話者処理を実行後、注目検知部１６は、再度、発話検出処理を実行し、発話検知部１５が、自端末の利用者が、発話者でなくなったと判断すると（Ｓ１１４）、注目検知部１６は、「発話者処理」を終了する（Ｓ１１５）。
【００６４】
図７は、発話者側端末の「発話者処理」において実行される処理の動作を示すフローチャートである。
【００６５】
まず、発話検知部１５により発話者処理実行に対する終了命令がなされていない場合（Ｓ１２1）、注目検知部１６の発話者処理部１６Ａは、自端末の利用者が、表示されている映像のうち、どの聴衆者を注目しているか検出する処理（以下、発話者処理部注目箇所検出処理とする。）を行う（Ｓ１２２）。発話者処理部注目箇所検出処理により、発話処理部１６Ａが、表示された映像のうちいずれかの端末の利用者を注目していると判断すると（Ｓ１２３）、聴衆者注目情報構築部１６Ｂは、「聴衆者注目情報」を構築する（Ｓ１２４）。次に、注目情報送信部１７は、聴衆者注目情報構築部１６Ｂにより構築された「聴衆者注目情報」を注目している聴衆者に対応する端末へ送信する（Ｓ１２５）。
【００６６】
図８は、聴衆者側端末の動作を概略的に示すフローチャートである。
【００６７】
注目情報受信部１８は、「聴衆者注目情報」受信処理を開始、または継続する（Ｓ２１１）。注目情報受信部１８が「聴衆者注目情報」を受信した場合（Ｓ２１２）、聴衆者処理部１６Ｉは、発話者登録情報テーブル１６Ｇに登録されている発話者数を確認し、登録されている発話者数が０である場合には（Ｓ２１３）、「聴衆者処理」の実行を開始する（Ｓ２１４）。また、発話者登録処理部１６Ｆは、「聴衆者注目情報」に含まれる発話者が、発話者登録テーブル１６Ｇに登録されていない新たな発話者であると認識すると、「聴衆者注目情報」に含まれる発話者に対応する端末の識別番号（発話者情報とする。）を発話者登録情報テーブルに登録する。（Ｓ２１５）。一方、注目情報受信部１８が、「聴衆者注目情報」を受信していない場合（Ｓ２１２）、発話者登録処理部１６Ｆは、発話者登録情報テーブル１６Ｇにより、発話者登録状態を確認する（Ｓ２１６）。発話者登録処理部１６Ｆは、発話者登録テーブル１６Ｇに登録されている発話者情報に対応する発話者のうち、一定時間以上、自端末に対して、「聴衆者注目情報」を送信していない発話者を検出すると、その発話者に対応する発話情報を発話者登録テーブル１６Ｇから削除する（Ｓ２１７）。発話者登録テーブル１６Ｇに登録されている発話者情報数が０となった場合には（Ｓ２１８）、聴衆者処理部１６Ｉは、「聴衆者処理」の実行を終了する（Ｓ２１９）。なお、発話者登録処理部１６Ｆは、注目情報受信部１８が、「聴衆者注目情報」を受信している場合において、発話者登録情報テーブル１６Ｇに、新たに発話者情報を登録する際（Ｓ２１５）、同時に、一定時間以上、自端末に対して「聴衆者注目情報」を送信していない発話者を検出した場合、その発話者に対応する発話者情報を発話者登録テーブル１６Ｇから削除しても良い。
【００６８】
次に、聴衆者側端末の「聴衆者処理」の動作について説明する。図９は、聴衆者側端末が、「聴衆者処理」において実行する処理の動作を示すフローチャートである。まず、聴衆者処理実行に対する終了命令がなされていない場合（Ｓ２２1）、聴衆者処理部１６Ｉは、自端末の利用者が、表示されている映像につき、どの端末の利用者を注目しているか検出する処理（以下、聴衆者処理部注目箇所検出処理とする。）を行う（Ｓ２２２）。
【００６９】
次に、聴衆者処理部１６Ｉは、聴衆者処理部注目箇所検出処理により検出した相手が、発話者登録テーブル１６Ｇに登録されている発話者（以下、登録発話者とする。）と一致するか否か判断する。（Ｓ２２３）聴衆者処理部１６Ｉが、一致すると判断すると、発話者注目情報構築部１６Ｊは、一致すると判断した発話者に関して、「発話者注目情報」を構築する（Ｓ２２４）。注目情報送信部１７は、発話者注目情報構築部１６Ｊが構築した「発話者注目情報」を対応する端末へ送信する（Ｓ２２５）。
【００７０】
次に、聴衆者側端末の発話者表示変更処理について説明する。図１０は、聴衆者側端末が、「発話者表示変更処理」において実行する処理の動作を示すフローチャートである。
【００７１】
まず、聴衆者処理実行に対する終了命令がなされていない場合（Ｓ２３１）、発話者表示変更処理部１６Ｈは、発話者登録テーブル１６Ｇに登録された発話者情報に対応する発話者の映像の表示状態を変更する要求を、映像制御部１３に対して送り、映像制御部１３は、その要求を受けて、発話者の映像の表示状態を変更する（Ｓ２３２）。一方、聴衆者処理実行に対する終了命令を検知した場合には、発話者表示変更処理部１６Ｈは、Ｓ２３２により表示状態が変更された発話者の映像につき、前述したＳ２３２おける表示状態を変更前の映像の表示状態に戻す（Ｓ２３３）。
【００７２】
次に、発話者側端末の聴衆者表示変更処理について説明する。図１１は、発話者端末が、「聴衆者表示変更処理」において実行する処理の動作を示すフローチャートである。まず、発話者処理実行に対する終了命令がなされていない場合（Ｓ１３１）、注目情報受信部１２は、「発話者注目情報」の受信処理を開始、または継続する（Ｓ１３２）。注目情報受信部１２が、「発話者注目情報」を受信した場合は（Ｓ１３３）、聴衆者表示変更処理部１６Ｅは、「発話者注目情報」の送信元の端末（即ち、注目者である聴衆者側端末。）から受信している映像の表示状態を変更する要求を、映像制御部１３に対して送り、映像制御部１３は、その要求を受けて、注目者である聴衆者の映像の表示状態を変更する（Ｓ１３４）。一方、発話者処理実行に対する終了命令を検知した場合には、聴衆者表示変更処理部１６Ｅは、Ｓ１３４により表示状態が変更された聴衆者の映像について、前述したＳ１３4における表示状態を変更前の映像の表示状態に戻す（Ｓ１３５）。
【００７３】
本実施形態に係る端末を備えるテレビ会議システムよれば、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているか否かがわかるようになる。
【００７４】
以下では、本実施形態に係る端末を備えた端末同士でテレビ会議を行う場合の、端末における表示画面の様子を図１２から図１４を用いて説明する。図１２から図１４は、本実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図である。以下では、９台の端末（９人の利用者（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ）が利用）が映像を送受信し、各端末の表示画面には、自分をふくめ９人の利用者の映像が表示されているとする。
【００７５】
図１２は、いずれの利用者も発話者となっていない状態での、９人のうち利用者Ａ，Ｂ，Ｃ，Ｉの４人の端末の表示状態を示している。
【００７６】
図１３は、利用者Ａが発話者となり、利用者Ａが、利用者Ｂを注目した状態での、９人のうち利用者Ａ，Ｂ，Ｃ，Ｉの４人の端末の表示状態を示している。利用者Ｂの表示画面では、発話者Ａに対応する表示状態が変更される。
【００７７】
図１４は、図１３の状態の後、利用者Ｂが発話者である利用者Ａを注目した状態での、９人のうち利用者Ａ，Ｂ，Ｃ，Ｉの４人の端末の表示状態を示している。利用者Ａの表示画面では、利用者Ａが注目した利用者Ｂに対応する表示状態が変更される。
【００７８】
ここで、図１３と図１４を比較すると、図１３の場合には、利用者Ａの表示画面において、自分が注目した利用者Ｂに対応する表示状態は変更されていない。すなわち、利用者Ａは、自分は利用者Ｂを注目して話をしているが利用者Ｂは自分を見ていないということが認識できる。一方、利用者Ａの表示画面が、図１３から図１４に示した表示状態に変化すると、利用者Ａは、自分が注目して話をしている利用者Ｂもまた自分を注目しているということを認識できる。
【００７９】
なお、図６から図１１に示した本実施形態に係る動作フローは一例であり、これに限られない。
【００８０】
例えば、図７の動作フロー、即ち、発話者側端末の「発話者処理」において実行される処理の動作フローにおいて、処理ステップＳ１２５について、注目情報送信部１７は、聴衆者注目情報構築部１６Ｂにより構築された「聴衆者注目情報」を注目している聴衆者に対応する端末へ送信（ユニキャスト）するとしたが、注目情報送信部１７は、構築した「聴衆者注目情報」を、テレビ会議システムの全端末へ送信（マルチキャスト）してもよい。また、図８の聴衆者側端末の動作フローに関して、図１５のように変更し、「聴衆者注目情報」を受信した際に、発話者登録処理部１６Ｆが、自端末が、発話者を注目する聴衆者に対応するか否かを判断する処理（Ｓ２１１０）を追加してもよい。
【００８１】
また、図７の動作フローにおいて、「聴衆者注目情報」の送信に関する処理を、図１６に示した動作フローに変更してもよい。図１６の動作フローにおいては、発話者処理部注目箇所検出処理（Ｓ１２２）により、発話者処理部１６Ａが、いずれかの聴衆者を注目していると判断すると（Ｓ１２３）、聴衆者注目情報構築部１６Ｂは、注目した相手に対応する「聴衆者注目情報」を構築し（Ｓ１２４−１）、構築した「聴衆者注目情報」を注目した相手に対応する端末へのみ送信する（Ｓ１２５−１）。一方、発話者処理部１６Ａが、発話者処理部注目箇所検出処理（Ｓ１２２）により、発話者が、どの端末の利用者も注目していないと判断すると（Ｓ１２３）、聴衆者注目情報構築部１６Ｂは、全員を注目したとし、全員に対応する「聴衆者注目情報」を構築し（Ｓ１２４−２）、注目情報送信部１７は、構築した「聴衆者注目情報」を全端末へ送信する（Ｓ１２５−２）。
【００８２】
図７のかわりに図１６の動作シーケンスとした場合の差分を補足説明するため、先と同様に端末における表示画面の様子を図１７と図１８を用いて説明する。図１７及び図１８は、本実施形態に係るテレビ会議システムにおける端末の表示画面を示す簡略図である。
図１７は、いずれの利用者も発話者となっていない状態の後、利用者Ａが発話者となったが、利用者Ａが誰も注目していない状態で、かつ、利用者Ｂと利用者Ｉの2人が利用者Ａを注目した状態での、９人のうち利用者Ａ，Ｂ，Ｃ，Ｉの４人の端末の表示状態を示している。利用者Ａは発話者となったが、だれも注目していないため、全員を注目したと判断し「聴衆者注目情報」が全員に送信される。そのため、発話者が注目した聴衆者となる利用者Ｂ，Ｃ，Ｉ側では、発話者Ａに対応する表示状態が変更される。一方、発話者である利用者Ａ側では、発話者が注目した聴衆者のうち自分（利用者Ａ）を注目している聴衆者（この場合は、利用者Ｂと利用者Ｉのみ）に対応する表示状態が変更される。
【００８３】
図１８は、図１７の状態の後、発話者である利用者Ａが利用者Ｉのみを注目した状態での、９人のうち利用者Ａ，Ｂ，Ｃ，Ｉの４人の端末の表示状態を示している。この場合、「聴衆者注目情報」が利用者Ｉに対応する会議機器にのみに送信される。その結果、利用者Ｂ、Ｃ側での利用者Ａの表示状態は元の状態にもどり、一方、利用者Ａ側でも利用者Ｂの表示状態は元の状態にもどっている。
【００８４】
図１６の動作シーケンスを利用した場合には、利用者Ａが特に相手を意識することなく発話を開始しているが、図１７に示されるように、利用者Ａの表示画面が変更されることにより、自分を注目している聴衆者が誰なのかがわかる。その結果、利用者Ａは、特定の相手として利用者Ｉを注目すれば、利用者Ａは、自分が注目して話をしている利用者Ｉもまた自分を注目しているということを認識しながら話を継続することができる。
【００８５】
尚、本実施形態に係る端末（２１〜２４）は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。即ち、映像情報入力部１０、映像送信部１１、映像受信部１２、映像制御部１３、映像表示部１４、発話検知部１５、注目検知部１６（注目検知部１６のうち発話処理部１６Ａ、聴衆者注目情報構築部１６Ｂ、聴衆者登録処理部１６Ｄ、聴衆者表示変更処理部１６Ｅ、発話者登録処理部１６Ｆ、発話者表示変更処理部１６Ｈ、聴衆者処理部１６Ｉ、発話者注目情報構築部１６Ｊ）、注目情報送信部１７、注目情報受信部１８とは、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、端末（２１〜２４）は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現しても良いし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置い適宜インストールすることで実現しても良い。
【００８６】
また、注目検知部１６のうち聴衆者登録情報テーブル１６Ｃ、発話者登録情報テーブル１６Ｇは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスク若しくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００８７】
尚、本実施形態に係る端末は、「発話者表示変更処理」、「聴衆者表示変更処理」共に、それぞれ、発話者、発話者が注目する聴衆者を強調表示するために、映像制御部１３は、注目検知部１６からの変形要求信号の変形方法により、発話者、発話者が注目する聴衆者の映像を変更した。例えば、「聴衆者表示変更処理」においては、注目検知部１６の聴衆者表示変更処理部１６Ｅによる変形要求信号に基づき、発話者が注目する聴衆者の映像を他の端末の利用者の映像より大きく表示する変形を行った。しかしながら、映像制御部１３は、他の端末の利用者の映像と比べて、発話者が注目する聴衆者を強調表示すればよく、発話者が注目する聴衆者以外の映像を変形しても良い。例えば、映像制御部１３は、「聴衆者表示変更処理」において、注目検知部１６からの変形要求信号に基づき、発話者が注目する聴衆者の映像の大きさは変形せず、発話者が注目する聴衆者以外の聴衆者の映像を小さくする変形を行っても良い。
【００８８】
（第２の実施形態）
図１９は、本発明の第２の実施形態に係るテレビ会議システムを示す簡略図である。
【００８９】
第２の実施形態に係るテレビ会議システムは、４つの端末２１−２、２２−２、２２３−２、２４−２と多地点制御装置（ＭＣＵ：Multipoint Control Unit）５（サーバ）がそれぞれネットワーク接続されている。
【００９０】
ＭＣＵ５は、複数の映像を受信し、複数の受信映像から合成映像を複数生成し、生成した複数の合成映像を配信する機能を備える。
【００９１】
次に、本実施形態に係る端末２１−２について説明する。図２０は、本実施形態に係る端末２１−２を示すブロック図である。以下では、端末２１−２につき、第１の実施形態に係る端末２１と異なる点について説明する。尚、端末２２−２〜２４−２も、端末２１−２と同様の構成、機能を有するものとする。
【００９２】
まず、端末２１−２は、映像制御部１３を備えない点、変形要求信号送信部１９を備える点が、第１の実施形態に係る端末２１と異なる。
【００９３】
変形要求信号送信部１９は、注目検知部１６−２により構築された変形要求信号が入力されると、変形要求信号をネットワークへ送信するための加工を行い、ＭＣＵ5を宛先として指定してネットワークへ送信する。
【００９４】
端末２１−２の映像送信部１１−２は、圧縮した映像データを伝送路３へ送信するが、宛先としてＭＣＵ５が指定されている。一方、端末２１−２の映像受信部１２−２は、ＭＣＵ５から圧縮された映像データを受信する。また、映像受信部１２−２は、受信した圧縮された映像データを伸長した後に、映像表示部１４へ出力する。そして、映像表示部１４は、映像受信部１２−２が、ＭＣＵ５から受信し、伸長した映像データを表示デバイス２１ｄに表示させる。
【００９５】
また、端末２１−２は、映像制御部１３を備えないため、端末２１−２の注目検知部１６−２の処理は、第１の実施形態に係る端末２１の注目検知部１６の処理と異なる。まず、発話者表示変更処理において、注目検知部１６−２は、発話者登録処理にて認識した発話者の端末に対応する映像の表示状態を変更する変形要求信号を映像制御部１３でなく、変形要求信号送信部１９に出力する。また、聴衆者表示変更処理において、聴衆者登録情報テーブル１６Ｃに聴衆者が登録されると、その聴衆者の端末に対応する映像の表示状態を変更するように要求する変形要求信号を映像制御部１３でなく、変形要求信号送信部１９に出力する。尚、端末２１−２の発話検知部１５、注目情報送信部１７、注目情報受信部１８についての処理は、第１の実施形態と同様の処理を行う。
【００９６】
次に本実施形態に係る会議システムにおいて、端末２１−２が発話者端末、及び聴衆者側端末となる場合の、端末２１−２の動作フローが、第１の実施形態に係る端末２１の動作フローと異なる点について説明する。
【００９７】
まず、端末２１−２が発話者端末になる場合について説明する。発話者端末となる場合は、図１１に示した発話者側端末の聴衆者表示変更処理において実行する処理が異なる。即ち、発話者端末において、第１の実施形態にかかる端末２１は、映像制御部１３が、表示画面の変更する処理を行っていたが、第２の実施形態に係る端末２１−２は、端末自身は、表示画面の変更する処理は行わず、変形要求信号送信部１９が、その変形要求信号をＭＣＵ５へ送信し、表示画面の変更処理をＭＣＵ５に処理させる。具体的に動作フローを説明すると、図２１に示すとおりである。即ち、注目情報受信部１８が、「発話者注目情報」を受信した場合（Ｓ１３３）、注目検知部１６−２の聴衆者表示変更処理部１６Ｅは、「発話者注目情報」の送信元の端末（即ち、聴衆者側端末。）に対応する映像の表示を変更する要求を含む変形要求信号を構築し（Ｓ１３６）、変形要求信号送信部１９は、その変形要求信号をＭＣＵ５へ送信する（Ｓ１３７）。一方、発話者処理実行に対する終了命令を検知した場合には、聴衆者表示変更処理部１６Ｅは、表示状態が変更された聴衆者の映像について表示状態変更前の映像の表示状態に戻すための表示復元信号を構築し（Ｓ１３８）、変形要求信号送信部１９は、構築した表示復元信号をＭＣＵ５へ送信する。（Ｓ139）。
【００９８】
次に、端末２１−２が聴衆者側端末になる場合について説明する。聴衆者側端末となる場合は、図１０に示した聴衆者側端末の発話者表示変更処理において実行する処理が異なる。即ち、聴衆者端末において、第１の実施形態にかかる端末２１は、映像制御部１３が、表示画面を変更する処理を行っていたが、第２の実施形態に係る端末２１−２は、端末自身は、表示画面を変更する処理は行わず、変形要求信号送信部１９が、その変形要求信号をＭＣＵ５へ送信し、表示画面の変更処理をＭＣＵ５に処理させる。具体的に動作フローを説明すると、図２２に示すとおりである。即ち、聴衆者処理実行に対する終了命令がなされていない場合、注目検知部１６の発話者表示変更処理部１６Ｈは、発話者登録テーブル１６Ｇに登録された発話者情報に対応する発話者の映像の表示状態を変更する要求を含む変形要求信号を構築し（Ｓ２３４）、変形要求信号送信部１９は、その変形要求信号をＭＣＵ５へ送信する（２３５）。一方、聴衆者処理実行に対する終了命令を検知した場合には、発話者表示変更処理部１６Ｈは、表示状態が変更された発話者の映像を前述した表示状態変更前の映像の表示状態に戻すための表示復元信号を構築し（Ｓ２３６）、変形要求信号送信部１９は、構築した表示復元信号をＭＣＵ５へ送信する（Ｓ２３７）。
【００９９】
次に、ＭＣＵ５について説明する。
【０１００】
図２３はＭＣＵ５を示すブロック図である。ＭＣＵ５は、パケット送受信部５１０、映像伸長部５４１〜５４４、映像合成部５２０、映像圧縮部５５１〜５５４、制御部５３０、レイアウト情報記憶部５６０、レイアウト変更指示解析部５７０を備える。
【０１０１】
パケット送受信部５１０は、伝送路３からMPEG４等に圧縮された映像データを受信し、圧縮された映像データを映像伸長部５４１〜５４４のいずれかへ出力する。パケット送受信部５１０は複数の端末が送信する映像データを受信することが可能である。そして、その場合、パケット送受信部５１０は、複数の端末ごとの映像データを分離して処理することができる。本実施形態においては、パケット送受信部５１０は、４台の端末（２１−２、２２−２、２３−２、２４−２）と同時に通信を行っているため、４台の端末（２１−２、２２−２、２３−２、２４−２）それぞれから映像データを受信する(計４つの映像データを受信する)。４つの映像データを受信したパケット送受信部５１０は、４つの映像データを分離した後、それぞれの映像データを対応する映像伸長部５４１〜５４４へ出力する。
【０１０２】
映像伸長部５４１〜５４４は、パケット送受信部により受信された圧縮された映像データが入力されると、圧縮された映像データを伸長し非圧縮の映像を生成する。映像伸長部５４１〜５４４は、生成した非圧縮の映像を、映像合成部５２０に出力する。
【０１０３】
映像合成部５２０は、４つの非圧縮映像が映像伸長部５４１〜５４４から入力されると、それら４つの映像を用いて合成映像を生成する。なお、合成映像も非圧縮映像である。本実施例では、映像合成部５２０は、４つの異なる合成映像を生成できるものとする。尚、４つの合成映像は、それぞれ４台の端末（２１−２、２２−２、２３−２、２４−２）に対応した合成映像とする。尚、映像合成部が、４つの合成映像を生成する際に必要となる合成映像のレイアウト情報は、レイアウト情報記憶部５６０に記憶されている。そして、制御部５３０が、レイアウト情報記憶部５６０が記憶するレイアウト情報を取得し、映像合成部５２０に出力する。
【０１０４】
映像圧縮部５５１〜５５４は、映像合成部５２０から入力された非圧縮の合成映像をMPEG4などの形式に圧縮した映像データを生成する。映像圧縮部５５１〜５５４は、圧縮した合成映像の映像データを、パケット送受信部５１０に出力する。
【０１０５】
パケット送受信部５１０は、映像圧縮部５５１〜５５４から映像データが入力されると、伝送路３へ送信する機能を備える。パケット送受信部５１０は複数の端末へそれぞれ異なる映像データを送信することも可能である。本実施形態においては、パケット送受信部５１０は、映像圧縮部５５１〜５５４から入力された映像データを、対応する４台の端末（２１−２、２２−２、２３−２、２４−２）へそれぞれ送信する。
【０１０６】
制御部５３０は、映像伸長部５４１〜５４４と映像圧縮部５５１〜５５４を起動させる機能及び、停止する機能を備える。また、制御部５３０は、映像伸長部５４１〜５４４それぞれに対し個別に伸長処理を行うためのパラメータを与える機能及び、映像圧縮部５５１〜５５４それぞれに対し個別に圧縮処理を行うためのパラメータを与える機能を備える。また、制御部５３０は、先述したとおり、映像合成部５２０に対し、４つの合成映像を生成する際に必要となる合成映像のレイアウト情報を与える機能を備える。また、制御部５３０は、パケット送受信部５１０に対し、端末（本実施例では２１−２、２２−２、２３−２、２４−２）から受信した映像データをいずれの映像伸長部５４１〜５４４に入力するかの対応情報を与える機能、および、パケット受信部５１０に対して、映像圧縮部５５１〜５５４から入力された映像データをいずれの端末（２１−２、２２−２、２３−２、２４−２）に送信するかの対応情報を与える機能を備える。
【０１０７】
図２４は、テレビ会議システムを４人で開始した最初の状態で、ＭＣＵ５が４台の端末（２１−２、２２−２、２３−２、２４−２）それぞれから受信する映像（V1〜V4）と、それぞれの端末へ送信する合成映像（MV1〜MV4）を図示したものである。この合成映像のレイアウト構成に関する情報は、レイアウト情報記憶部５６０に記憶されている。
【０１０８】
レイアウト変更指示解析部５７０は、端末から受信した変形要求信号が制御部５３０から入力されると、その変形要求信号に従って、レイアウト情報記憶部５６０に記憶されているレイアウト情報を更新し、制御部５３０にレイアウト情報が更新されたことを通知する機能を備える。本実施例では、例えば、端末２１−２の変形要求信号送信部１９から変形要求信号を受信すると、レイアウトを変更する命令として解釈し、レイアウト情報記憶部５６０に記憶されている、端末２１−２へ送信する合成映像のレイアウト情報を変更し、制御部５３０に対して端末２１−２へ送信する合成映像のレイアウトを変更するように命令する。制御部５３０はレイアウト変更指示解析部５７０による命令に従い、更新されたレイアウト情報を映像合成部５２０へ与える。映像合成部５２０は、制御部５３０からレイアウト情報が与えられると、それに従いレイアウトを変更した合成映像を生成する。例えば、変形要求信号に「端末２１−２に対応する映像を大きくする」と解釈可能な内容がふくまれている場合、映像合成部５２０は、レイアウト変更指示解析部５７０の命令を受けた制御部５３０から与えられるレイアウト情報に従って、端末２１−２へ送信される合成映像を図２５に示すように、端末２２−２に対応する映像を大きくするような映像に変更する。また、変形要求信号に「端末２２−２に対応する映像をもとにもどす」と解釈可能な内容が含まれていれば、映像合成部５２０は、レイアウト変更解析部５７０の命令を受けた制御部５３０から与えられるレイアウト情報に従って、レイアウト情報記憶部５６０に記憶されている最初の状態のレイアウトを参考とし、端末２１−２へ送信される合成映像を図２４に示した状態に戻す。
【０１０９】
なお、図２６(a)は、テレビ会議システムを４人で開始した最初の状態での合成映像のレイアウトの別の例である。この場合、レイアウト変更指示解析部５７０が、変形要求信号を受信した場合であって、変形要求信号が「端末２２−２に対応する映像を強調する」と解釈可能な内容がふくまれている場合、レイアウト変更指示解析部５７０は、例えば、図２６(b)に示されるように端末２２−２に対応する映像の位置をずらし、最前面にした状態で、さらに影をつけるようなレイアウト情報に更新しても良い。
【０１１０】
本実施形態に係るテレビ会議システムによれば、端末（２１−２、２２−２、２３−２、２４−２）とＭＣＵ５とを備えることにより、端末は他の端末から個別に映像を受信しなくても、ＭＣＵ５から一つの映像を受信して表示しつづけるだけでよく、端末（２１−２、２２−２、２３−２、２４−２）の映像変形処理等の処理負荷を低減することができる。
【０１１１】
また、本実施形態に係るテレビ会議システムによれば、第１の実施形態と同様な効果を達成することができる。即ち、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているか否かがわかるようにすることができる。第１の実施形態に係るテレビ会議システムと同様に、端末（２１−２、２２−２、２３−２、２４−２）が、発話者側端末と聴衆者側端末となった場合、図１２から図１４に示した表示画面の変化や、図１７と図１８に示した表示画面の変化を実現することができる。
【０１１２】
（第３の実施形態）
第３の実施形態に係るテレビ会議について説明する。図２７に、第３の実施形態に係るテレビ会議システムを示す。第３の実施形態に係るテレビ会議システムは、端末２１−３、２２−３、２３−３及び２４−３、ネットワーク３及びＭＣＵ５−３（サーバ）から構成される。
【０１１３】
第３の実施形態に係るテレビ会議システムでは、第２の実施形態に係るテレビ会議システムにおいては端末側の構成要素である注目検知部、注目情報送信部、注目情報受信部をＭＣＵ側の構成要素としている。
【０１１４】
次に、本実施形態に係る端末２１−３について説明する。
【０１１５】
図２８は、本実施形態に係る端末２１−３の内部構成を示すブロック図である。
【０１１６】
本実施形態に係る端末２１−３は、発話検知部１５−３と、映像送信部１１−３と、映像受信部１２−３と、映像表示部１４−３とを備える。
【０１１７】
発話検知部１５−３は、自端末が発話者となったことを検知する機能を備える。更に、発話検知部１５−３は、自端末が発話者となったことを検知した場合に、自端末が発話者となったことを示す発話者通知信号を生成し、ネットワーク３からＭＣＵ５−３を宛先として指定して送信する機能を備える点が、第２の実施形態に係る発話検知部と異なる。
【０１１８】
なお、本実施形態に係る映像送信部１１−３、映像受信部１２−３、映像表示部１４−３の機能は、第２の実施形態に係る機能と同様である。また、本実施形態に係る端末２１−３は、第２の実施形態に係る端末２１−２と異なり、注目情報入力部、注目検知部、注目情報送信部、変形要求信号送信部、注目情報受信部を備えない。
【０１１９】
次に、ＭＣＵ５−３について説明する。
【０１２０】
図２９は、ＭＣＵ５−３を示すブロック図である。ＭＣＵ５−３は、まず、構成要素として、第２の実施形態に係るＭＣＵ５と同様の構成要素を備える。更に、ＭＣＵ５−３は、注目検知部５１６（５１６−１、５１６−２、５１６−３、５１６−４）、注目情報送信部５１７（５１７−１、５１７−２、５１７−３、５１７−４）、注目情報受信部５１８（５１８−１、５１８−２、５１８−３、５１８−４）、内部バス５８０を更に備える点が、第２の実施形態に係るＭＣＵ5と異なる。尚、注目検知部５１６−１、注目情報送信部５１７−１及び注目情報受信部５１８−１は、端末２１−３に対応する処理を行う。又、同様に、注目検知部５１６−２〜５１６−４、注目情報送信部５１７−２〜５１７−４及び注目情報受信部５１８−２〜５１８−４は、それぞれ、端末２２−３〜２４−３に対応する処理を行う。
【０１２１】
パケット送受信部５１０は、端末２１−３の発話検知部１５−３から発話者通知信号を受信すると、発話者処理開始信号を生成し、注目検知部５１６−１へ出力する。
【０１２２】
注目検知部５１６−１は、発話者処理開始信号が入力されると、「発話者処理」を実行する。注目検知部５１６−１の「発話者処理」は、第１の実施形態に係る注目検知部１６と同様の処理を行う。尚、注目箇所を検出する方法として、例えば、注目検知部５１６−１は、映像伸長部５４１から端末２１−３の利用者Ａの映像を取得し、映像解析機能を利用して利用者Ａの注視点を推測し、その注視点の位置にある映像を注目していると検出してもよい。また、注目検知部５１６−１は、利用者Ａの注目箇所を検出し、例えば、注目箇所に利用者Ｂの端末２２−３に対応する映像が表示されているとすると、注目検知部５１６−１は、その情報を含む「聴衆者注目情報」を構築し、注目情報送信部５１７−１へ出力する。
【０１２３】
注目情報送信部５１７−１は、「聴衆者注目情報」を、内部バス５８０を利用し、端末２２−３に対応する注目情報受信部５１８−２へ通知する。
【０１２４】
「聴衆者注目情報」を受信した注目情報受信部５１８−２は、「聴衆者注目情報」を抜き出し、注目検知部５１６−２へ出力する。
【０１２５】
注目検知部５１６−２は、聴衆者注目情報を受信すると、第１の実施形態の注目検知部１６と同様に「聴衆者処理」を実行する。即ち、注目検知部５１６−２は、利用者Ｂの注目箇所を検出し、利用者Ｂの注目箇所が、発話者である利用者Ａの端末２１−３に対応する映像であると検出した場合には、「発話者注目情報」を構築し、注目情報送信部５１７−２へ出力する。
【０１２６】
注目情報送信部５１７−２は、「発話者注目情報」が入力されると、「発話者注目情報」を、端末２１−３に対応する注目情報受信部５１８−１へ通知する。
【０１２７】
また、注目検知部５１６−２は、「聴衆者注目情報」を受信すると、第１の実施形態の注目検知部１６と同様に「発話者表示変更処理」を行う。即ち、注目検知部５１６−２は、発話者であり、「聴衆者注目情報」の送信元である注目情報送信部５１７−１に対応する端末２１−３を認識した上で、「端末２１−３に対応する映像を大きくする」という変形要求信号を作成し、制御部５３０を介してレイアウト変更指示解析部５７０へ通知する。レイアウト変更指示解析部５７０での処理は、第２の実施形態で示したとおりである。即ち、レイアウト変更指示解析部５７０は、制御部５３０から変形要求信号が入力された場合に、その変形要求信号に従って、レイアウト情報記憶部５６０に記憶されているレイアウト情報を更新し、制御部５３０にレイアウト情報が更新されたことを通知する機能を備える。レイアウト情報記憶部５６０に記憶されている端末２１−３へ送信する合成映像のレイアウト情報を変更し、制御部５３０に対して端末２１−３へ送信する合成映像のレイアウトを変更するように命令する。制御部５３０はレイアウト変更指示解析部５７０による命令に従い、更新されたレイアウト情報を映像合成部５２０へ与える。映像合成部５２０は、制御部５３０からレイアウト情報が与えられると、それに従い、レイアウトを変更した合成映像を生成する。
【０１２８】
注目情報受信部５１８−１は、注目情報送信部５１７−２から「発話者注目情報」を受信すると、「発話者注目情報」を抜き出し、注目検知部５１６−１へ出力する。
【０１２９】
注目検知部５１６−１は、第１の実施形態の注目検知部１６と同様に、「発話者注目情報」が入力されると、「聴衆者表示変更処理」を行う。即ち、注目検知部５１６−１は、自分宛の「発話者注目情報」を受信した場合には、発話者が注目する聴衆者であり、「発話者注目情報」の送信元である注目情報送信部５１７−２に対応する端末２２−３を認識した上で、「端末２２−３に対応する映像を大きくする」という変形要求信号を作成し、制御部５３０を介してレイアウト変更指示解析部５７０へ通知する。レイアウト変更指示解析部５７０での処理は第２の実施形態で示した通りである。
【０１３０】
以上、本実施形態に係るテレビ会議システムに関して、概要のみを示したが、本実施形態で説明を省略した部分は第１の実施形態、又は、第２の実施形態で示したとおりの動作を適用することが可能である。
【０１３１】
また、本実施形態に係るテレビ会議システムによれば、第１の実施形態と同様な効果を達成することができる。即ち、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているかがわかるようにすることができる。
【０１３２】
また、本実施形態に係るテレビ会議システムによれば、第２の実施形態に係るテレビ会議システムと同様な効果を達成することができる。即ち、端末とＭＣＵとを備えることにより、端末は他の端末から個別に映像を受信しなくても、ＭＣＵから一つの映像を受信して表示しつづけるだけでよく、端末の映像変形処理等の処理負荷を低減することができる。また、本実施形態に係るテレビ会議システムによれば、第２の実施形態に係るテレビ会議システムにおいては端末側の構成要素である注目検知部、注目情報送信部、注目情報受信部をＭＣＵ側の構成要素とすることにより、端末側の処理をより低減することができる。
【０１３３】
（第４の実施形態）
本実施形態に係るテレビ会議システムは、端末が、最初の状態（いずれの端末が聴衆者でない場合）において、表示画面に表示する映像が、図３２に示されるように、台形である点が、第１の実施形態に係るテレビ会議システムと異なる。
【０１３４】
まず、端末が、最初の状態において、表示画面に表示するテレビ会議参加者を台形に表示する方法について説明する。
【０１３５】
尚、本実施形態では、発話者となる会議参加者Ｓ(Speaker)が、自分以外に４人の会議参加者（Ａ，Ｂ，Ｃ，Ｄ）とテレビ会議システムを利用している場合であって、端末の表示画面に自分以外の４人の参加者の映像を表示する場合について説明する。尚、図３２に示すように、参加者Ａ、参加者Ｂ、参加者Ｃ，参加者Ｄは、それぞれ胸に「−」マーク、「○」マーク、「＋」マーク、「Ａ」マークを有するものとする。
【０１３６】
尚、本実施形態において、テレビ会議システムへの参加順序が、A、Ｂ，Ｃ，Ｄの順であるとし、参加者Ｓの端末は、この参加順序を認識しているものとする。例えば、参加者Ｓの端末は、映像受信部１２により受信した映像に対応する端末の順序で、参加順序を認識する。
【０１３７】
まず、映像制御部１３が、映像受信部１２により受信され、映像受信部１２により入力された４人の参加者の映像を変形する方法について説明する。
【０１３８】
まず、映像制御部１３は、映像受信部１２から受信した映像についてサイズの調整を行う。例えば、受信した映像が横のサイズが３２０ピクセル、縦のサイズが２４０ピクセルであった場合、横のサイズを240ピクセル、縦のサイズを240ピクセルとなるように調整する。（以下では、この画像サイズの調整を正規化と呼ぶ。）
次に、参加者Ｓの端末の映像制御部１３が、正規化した映像に対して行う画像変形処理について説明する。
【０１３９】
映像制御部１３が行う画像変形処理は、概略を説明すると以下のとおりである。
【０１４０】
（１）受信した映像を正規化後、正規化した映像の右辺部、又は、左辺部の長さがｒ１１／ｒ１２となるように台形変形する。
【０１４１】
（２）次に、台形変形した映像につき、横方向の長さがｒ２１／ｒ２２となるように縮小変形する。
【０１４２】
（３）次に、縮小変形した映像に対して、面積がｒ３１／ｒ３２となるように縮小変換する。
【０１４３】
次に、上記（１）〜（３）の映像制御部１３が行う画像変形処理について、具体的な処理を説明する。
【０１４４】
まず、第１の参加者（参加者Ａ）の映像の画像変形処理について説明する。第１の参加者の映像の画像変形処理においては、例えば、ｒ１１／ｒ１２＝１／２、ｒ２１／ｒ２２＝２／３、ｒ３１／ｒ３２＝１／１とする。
【０１４５】
（１−１）まず、第１の参加者の映像を正規化後（図３０の(a1)）、受信映像の右辺部が1/2(120ピクセル)となるように台形変形する（図３０の(a2)）。
【０１４６】
（１−２）次に、上記第１の参加者の台形変形映像に対し、横方向が2/3(160ピクセル)となるように縮小変形する（図３０の(a3)）
（１−３）更に、上記第１の参加者の縮小変形映像に対し、面積が1/1倍となるように縮変換する（図３０の(a4)）。
【０１４７】
次に、第２の参加者（参加者Ｂ）の画像変形処理について説明する。第１の参加者の映像の画像変形処理においては、例えば、ｒ１１／ｒ１２＝１／２、ｒ２１／ｒ２２＝２／３、ｒ３１／ｒ３２＝１／１とする。
【０１４８】
（２−１）まず、第１の参加者の映像を正規化した後（図３０の(b1)）、受信映像の左辺部が1/2(120ピクセル)となるように台形変形する（図３０の(b2)）
（２−２）次に、上記第２の参加者の台形変形映像に対し、横方向が2/3(160ピクセル)となるように縮小変形する（図３０の(b3)）
（２−３）更に、上記第２の参加者の縮小変形映像に対し、面積が1/1倍となるように縮小変換する（図３０の(b4)）
次に、第３の参加者（参加者Ｃ）の画像変形処理について説明する。第１の参加者の映像の画像変形処理においては、例えば、ｒ１１／ｒ１２＝１／２、ｒ２１／ｒ２２＝２／３、ｒ３１／ｒ３２＝１／４とする。
【０１４９】
（３−１）第３の参加者の映像を正規化した後（図３１の(c1)）、受信映像の右辺部が1/2(120ピクセル)となるように台形変形する（図３１の(c2)）
（３−２）また、上記第３の参加者の台形変形映像に対し、横方向が2/3(160ピクセル)となるように縮小変形する（図３１の(c3)）
（３−３）更に、上記第３の参加者の縮小変形映像に対し、面積が1/4倍となるように縮小変換する（図３１の(c4)）。
【０１５０】
次に、第４の参加者（参加者Ｄ）の画像変形処理について説明する。第１の参加者の映像の画像変形処理においては、例えば、ｒ１１／ｒ１２＝１／２、ｒ２１／ｒ２２＝２／３、ｒ３１／ｒ３２＝１／４とする。
【０１５１】
（４−１）まず、第４の参加者の映像を正規化した後（図３１の(d1)）、受信映像の左辺部が1/2(120ピクセル)となるように台形変形する（図３１の(d2)）
（４−２）また、上記第４の参加者の台形変形映像に対し、横方向が2/3(160ピクセル)となるように縮小変形する（図３１の(d3)）
（４−３）更に、上記第４の参加者の縮小変形映像に対し、面積が1/4倍となるように縮小変換する（図３１の(d4)）
以上の映像制御部１３が行う画像変形処理により、図３２に示されるように、第１の参加者（参加者Ａ）の映像の右辺部（すなわち、台形の上底）の長さと第３の参加者（参加者Ｃ）の映像の左辺部（すなわち、台形の下底）の長さとが一致するように変形される。また、第２の参加者（参加者Ｂ）の映像の左辺部（すなわち、台形の上底）の長さと第４の参加者（参加者Ｄ）の映像の右辺部（すなわち、台形の下底）の長さとが一致するように変形される。
【０１５２】
なお、本実施形態では発話者の会議参加者Ｓ以外の参加者が、４人である場合について説明したが、４人以上であっても良い。例えば、８人である場合について、映像制御部１３の上述した画像変形処理について説明する。第５の参加者の受信映像については、右辺部を1/2倍、横方向に2/3倍したのち、面積が1/16倍となるように変形する。第６の参加者の受信映像については、左辺部を１／２倍、横方向に2/3倍したのち、面積が1/16倍となるように変形する。第７の参加者の受信映像については、右辺部を１／２倍、横方向に2/3倍したのち、面積が１／６４倍となるように変形する。第８の受信映像については、左辺部を1/2倍、横方向に2/3倍したのち、面積が1/64倍となるように変形する。
【０１５３】
次に、映像表示部１４が、映像制御部１３から入力された映像データを、表示デバイスに表示させる。表示の際には、前述した４人の参加者の映像データの配置作業を行う。図３２には、映像表示部１４により配置された映像データを示す。参加者Ｓの端末の映像表示部１４は、まず、第１の参加者の映像が表示エリアの左部分に表示されるように配置する。次に、第２の参加者の映像が表示エリアの右部分に表示されるように配置する。次に、第３の参加者の映像は、第３の参加者の映像の左辺が第１の参加者の映像の右辺に接して表示されるように配置する。次に、第４の映像は、第４の参加者の映像の右辺が第2映像の左辺に接して表示されるように配置する。尚、第１の参加者の映像と第３の参加者の映像とは、接するように配置されなくても良い。第２の参加者の映像と第４の参加者の映像についても同様である。
【０１５４】
次に、端末が、発話者Ｓ側の端末である場合であって、「聴衆者表示変更処理」において、最初の状態において、図３２のように映像表示部１４に配置された映像データに関して、発話者Ｓが注目する聴衆者の映像の表示を変更する方法について説明する。
【０１５５】
即ち、第１の実施形態で説明したとおり、参加者Ｓの端末では、参加者Sが図３２の表示映像において、参加者Ｎ（ここでＮはＡ，Ｂ，Ｃ，Ｄのいずれかとする）の映像を注目すれば、参加者Ｎの端末に対し「聴衆者注目情報」が送付される。一方、「聴衆者注目情報」を受信した参加者Ｎの端末において、参加者Ｎが発話者側である参加者Sの映像（図示せず）を注目したとすると、参加者Sの端末に「発話者注目情報」が送付される。参加者Sの端末は「発話者注目情報」を受信した場合に、「聴衆者表示変更処理」を行う。
【０１５６】
本実施形態においては、参加者Ｓの端末は、「聴衆者表示変更処理」として、聴衆者である参加者Ｎの映像を正規化した後、面積がｒ４１／ｒ４２となるように縮小変換する。本実施形態においては、例えば、ｒ４１／ｒ４２＝４／９とする。
【０１５７】
以下では、参加者Ｓの端末が発話者となり、参加者Ａ〜Ｄそれぞれが、発話者が注目する聴衆者となった場合の、参加者Ｓの端末における「聴衆者表示変更処理」について説明する。
【０１５８】
例えば、参加者Ｓの端末では、参加者Sが図３２の表示映像において、参加者Ａの映像を注目し、参加者Ａの端末から「発話者注目情報」を受信した場合は、参加者Ｓの端末は、発話者が注目する聴衆者である参加者Ａからの受信映像を正規化した後、面積が4/9となるように縮小変換する。その結果、通常状態（「発話者注目情報」を受信前の状態。）において台形変形された状態（図３０の(a4)）で表示されていた参加者Ａの映像が、「発話者注目情報」を受信後には、正規化され、4/9倍に縮小変換された参加者Ａの映像が表示される。図３３(a)に参加者Ａの表示方法を変化させた場合の様子を示す。
【０１５９】
同様に、図３３(b)には、参加者Sが参加者Ｂを注目し、参加者Ｂの端末から「発話者注目情報」を受信した場合に、参加者Ｂの表示方法を変化させた場合の様子を示す。また、図３４(c)には、参加者Sが参加者Ｃを注目し、参加者Ｃの端末から「発話者注目情報」を受信した場合に、参加者Ｃの表示方法を変化させた場合の様子を示す。また、図３４(d)には、参加者Sが参加者Ｄを注目し、参加者Ｄの端末から「発話者注目情報」を受信した場合に、参加者Ｄの表示方法を変化させた場合の様子を示す。
【０１６０】
尚、以上では、発話者側の端末の「聴衆者表示変更処理」における聴衆者の映像の表示の変更方法について説明したが、聴衆者側の端末の「発話者表示変更処理」における発話者の映像の表示の変更方法も上記で説明した表示方法の変更方法と同様の変更方法により処理を行う。
【０１６１】
本実施形態に係るテレビ会議システムによれば、発話者側端末が、最初の状態（いずれの参加者も発話者でない場合）において、表示画面に表示する映像が、台形であり、発話者端末が、「発話者注目情報」を受信した場合に、発話者注目情報の送信元である聴衆者の画像だけ形状を変更（例えば、正方形にする。）して強調表示することにより、端末を利用する利用者が、自分が注目した相手もまた自分を注目している様子がより強調され、その認識が容易となる効果を有する。即ち、最初の状態において、表示画面に表示される映像が、台形であることにより、表示画面により表示された他端末の利用者の映像は、自端末の利用者が、表示画面を斜めから見たような映像であり、正面から見たような映像として表示されないのに対して、強調表示することにより表示される端末の利用者の映像は、自端末の利用者が、表示画面を正面から見たような映像として表示されるため、利用者は、容易に認識することができる。
【０１６２】
本実施形態において、最初の状態において、表示画面に表示する映像は台形としたが、必ずしも台形である必要はない。即ち、表示画面により表示された他端末の利用者の映像が、自端末の利用者が、表示画面を斜めから見たような映像であれば良い。また、本実施形態においては、「発話者注目情報」を受信した場合に、発話者注目情報の送信元の画像を正方形として表示したが、必ずしも正方形として表示する必要はない。即ち、自端末の利用者が、表示画面を正面から見たような映像として表示すれば良い。例えば、長方形として表示しても良い。
【０１６３】
尚、本実施形態においては、次に、映像表示部１４が、映像制御部１３から入力された映像データを、表示デバイスに表示させる際の、配置作業は、本実施形態に示した方法に限られない。例えば、参加者Ｓの端末の映像表示部１４は、第１の参加者の映像が表示エリアの右部分に表示されるように配置し、第２の参加者の映像が表示エリアの左部分に表示されるように配置し、第３の参加者の映像が、第３の参加者の映像の右辺が第１の映像の左辺に接して表示されるように配置し、第４の映像は、第４の参加者の映像の左辺が第2映像の右辺に接して表示されるように配置しても良い。また、第１の参加者の映像から第４の参加者の映像を、左から順番に配置しても良い。この場合、それぞれの配置に合わせて、第１の参加者から第４の参加者の映像の台形変形、縮小変形等を行って良い。
【０１６４】
また、r11/r12、r21/r22、r31/r33の比率についても本実施形態に示した上記に示した値に限られない。例えば、r11/r12 = 3/4、r21/r22 = 4/7とし、r31/r33で示す面積比も順に1/1倍（参加者Aの映像、参加者Ｂの映像の場合）、9/16倍（参加者Ｃの映像、参加者Ｄの映像の場合）となるようにしてもよい。
【０１６５】
また、r41/r42についても本実施形態に示した上記に示した値に限られない。例えば、r41/r42 = 1/2としても良い。また、r41/r42について、参加者の映像に応じて値を変更してもよい。例えば、r41/r42に関して、参加者Ａ、参加者Ｂの映像については、4/9倍として、参加者Ｃ及び参加者Ｄの映像については、1/9倍となるようにしてもよい。また、正規化後の映像のサイズについても、横のサイズを240ピクセル、縦のサイズを240ピクセルとするサイズ（正方形）に限られない。例えば、横のサイズを320ピクセル、縦のサイズを240ピクセル（長方形）であっても良い。
【０１６６】
尚、本実施形態に係るテレビ会議システムは、第１の実施形態に示したような端末とネットワークからなるテレビ会議システム、第２及び第３の実施形態に示したような端末とＭＣＵを備えるテレビ会議システム、いずれのテレビ会議システムにも適用することができる。
【０１６７】
尚、本発明は上記実施形態をそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１６８】
３・・・伝送路
５、５−３・・・ＭＣＵ
１０・・・注目情報入力部
１１、１１−２、１１−３・・・映像送信部
１２、１２−２、１２−３・・・映像受信部
１３・・・映像制御部
１４、１４−３・・・映像表示部
１５、１５−３・・・発話検知部
１６、１６−２、５１６−１、５１６−２、５１６−３、５１６−４・・・注目検知部
１７、５１７−１、５１７−２、５１７−３、５１７−４・・・注目情報送信部
１８、５１８−１、５１８−２、５１８−３、５１８−４・・・注目情報受信部
１６Ａ・・・発話者処理部
１６Ｂ・・・聴衆者注目情報構築部
１６Ｃ・・・聴衆者登録情報テーブル
１６Ｄ・・・聴衆者登録処理部
１６Ｅ・・・聴衆者表示変更処理部
１６Ｆ・・・発話者登録処理部
１６Ｇ・・・発話者登録情報テーブル
１６Ｈ・・・発話者表示変更処理部
１６Ｉ・・・聴衆者処理部
１６Ｊ・・・発話者注目情報構築部
１９・・・変形要求信号送信部
２１、２２、２３、２４、２１−２、２２−２、２３−２、２４−２、２１−３、２２−３、２３−３、２４−３・・・端末
２１ｃ、２２ｃ、２３ｃ、２４ｃ・・・カメラ
２１ｍ、２２ｍ、２３ｍ、２４ｍ・・・マイク
２１ｓ、２２ｓ、２３ｓ、２４ｓ・・・スピーカ
２１ｄ、２２ｄ、２３ｄ、２４ｄ・・・表示デバイス
５１０・・・パケット送受信部
５２０・・・映像合成部
５３０・・・制御部
５４１、５４２、５４３、５４４・・・映像伸長部
５５１、５５２、５５３、５５４・・・映像圧縮部
５６０・・・レイアウト情報記憶部
５７０・・・レイアウト変更指示解析部
５８０・・・内部バス
Ｖ１、Ｖ２、Ｖ３、Ｖ４・・・入力映像
Ａ１、Ａ２、Ａ３、Ａ４・・・入力音声
ＭＶ１、ＭＶ２、ＭＶ３、ＭＶ４・・・映像
ＭＡ１、ＭＡ２、ＭＡ３、ＭＡ４・・・音声
【技術分野】
【０００１】
本発明は、利用者の映像を表示する端末を備えた会議システムに関する。
【背景技術】
【０００２】
従来、複数の端末をネットワークで接続し、端末利用者の画像や音声を相互に送受信しあうことにより、多地点に分散した複数の利用者によるコミュニケーションを実現する多地点テレビ会議システムがある。
【０００３】
典型的な多地点テレビ会議システムでは、各地点に１台のカメラと１台のディスプレイを配置し、カメラから得た自地点の利用者映像を他地点に伝送する。また、他地点から受信した他地点の利用者映像をデイスプレイの画面にタイル状に並べて表示する。
【０００４】
従来、多地点間会議システムでは、会議への参加者の正面画像（利用者映像）をただ伝送・表示しているだけで、デイスプレイの画面からだけでは、他の人が、自分に対して話をしているのか、他者に対して話をしているのかを特定することができなかった。
【０００５】
このような課題を解決する技術として、特許文献１記載の技術がある。この技術は、一の端末の利用者が、他の端末に対して会話を行っている場合に、画面上に、送信元の端末の利用者から他の端末の利用者に対して、矢印等の識別情報を表示する。これにより、他の人が、自分に対して、話をしているのか、他者に対して、話をしているのかを特定しようと工夫している。
【０００６】
しかしながら、この技術においては、例えば、テレビ会議システム利用者全員が、会話を行っている場合に、自分に関係しない矢印を含めた多数の矢印が、自分の画面上に表示されるために、表示画面が煩雑になるといった課題があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１５８９４５公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記従来技術の問題点を解決するためになされたものであって、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているか否かがわかるようにするテレビ会議システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一実施態様に係る端末は、自端末の利用者を撮像した第1映像を他端末に送信する映像送信手段と、他端末の利用者を撮像した複数の第2映像を受信する映像受信手段と、複数の前記第2映像を並べて表示する表示手段と、前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像から検知する注目検知手段と、前記注目検知手段が検知した注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信手段と、前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信手段と、前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御手段とを備える。
【００１０】
又、本発明の一実施形態に係る端末は、自端末の利用者を撮像した第1映像をサーバに送信する映像送信手段と、前記サーバから他端末の利用者を撮像した複数の第2映像の合成映像を受信する映像受信手段と、前記映像受信手段により受信した合成映像を表示する表示手段と、前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像の合成映像から検知する注目検知手段と、前記注目検知手段が検知した注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信手段と、前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信手段と、前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調する要求を前記サーバへ送信する要求送信手段とを備える。
【００１１】
又、本発明の一実施形態に係るサーバは、複数の端末の利用者を撮像した映像を受信する映像受信手段と、前記映像受信手段により受信した端末の利用者の映像を合成することにより合成映像を生成する合成手段と、前記合成映像を前記複数の端末へ送信する映像送信手段と、前記端末の利用者が、発話をしていることを通知する発話者通知信号を受信する通知信号受信手段と、前記通知信号受信手段が、発話者通知信号を受信した場合に、前記発話者通知信号を通知した端末の利用者が注目している端末の利用者の第１の注目映像を、前記合成映像から検知する検知手段とを備え、前記検知手段は、前記第１の注目映像に対応する端末の利用者が、注目している端末の利用者の第２の注目映像を、前記合成映像から検知し、該第２の注目映像に対応する端末の利用者と前記発話者通知信号を通知した端末の利用者とが一致するか否かを判定し、前記合成手段は、前記検知手段が一致すると判定した場合に、前記合成映像のうち、前記第１の注目映像に対応する端末の利用者の映像を強調表示した合成映像を生成する。
【００１２】
又、本発明の一実施形態に係る会議方法は、第１の端末が、前記第１の端末の利用者の映像を撮像した第１映像を他端末に送信する映像送信ステップと、前記第１の端末が、他端末の利用者を撮像した複数の第２映像を受信する映像受信ステップと、前記第１の端末が、前記複数の第２映像を並べて表示する表示ステップと、前記第１の端末の利用者が、発話をしていることを検知する発話検知ステップと、前記第１の端末が、発話中に注目している利用者の第１の注目映像を、前記第２映像から検知する第１の注目検知ステップと、前記第１の注目検知ステップにおいて検知した前記第１の注目映像に対応する他の端末に対して、前記第１の端末の利用者が、前記第１の注目映像を注目していることを示す第１の注目情報を送信する第１の注目情報送信ステップと、前記第１の注目映像に対応する第２の端末が、前記第１の端末から前記第１の注目情報を受信する第１の注目情報受信ステップと、前記第２の端末が、前記第１の注目情報受信ステップにより前記第１の注目情報を受信した場合に、前記第２の端末の利用者が、注目している利用者の第２の注目映像を、前記第２の端末の表示手段に表示された映像から検知し、該第２の注目映像に対応する端末と前記第１の端末とが一致するか否かを判定する第２の注目検知ステップと、前記第２の注目検知ステップにおいて、一致すると判定した場合に、前記第２の端末が、第２の注目映像を注目していることを示す第２の注目情報を送信する第２の注目情報送信ステップと、前記第１の端末が、前記第２の注目情報を受信する第２の注目情報受信ステップと、前記第１の端末が、前記第２の注目情報を受信した場合に、前記第１の注目映像に対応する第２映像を強調表示する制御を行う制御ステップとを備える。
【００１３】
又、本発明の一実施形態に係る会議システムは、自端末の利用者を撮像した第1映像を他端末に送信する映像送信手段と、他端末の利用者を撮像した複数の第2映像を受信する映像受信手段と、複数の前記第2映像を並べて表示する表示手段と、前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、前記第1映像に対応する利用者が発話中に注目している利用者の第１の注目映像を、前記第2映像から検知する第１の注目検知手段と、前記第１の注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記第１の注目映像を注目していることを示す第１の注目情報を送信する第１の注目情報送信手段と、前記第１の注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する第１の注目情報受信手段と、前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記第１の注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御手段とを備える第１の端末と、他の端末から第２の注目情報を受信する第２の注目情報受信手段と、前記第２の注目情報受信手段により前記第２の注目情報を受信した場合に、自端末の利用者が、注目している第２の注目映像を、表示手段に表示された複数の第２映像から検知し、該検知した第２の注目映像に対応する端末と前記第２の注目情報の送信元である端末とが一致するか否かを判定する第２の注目検知手段と、前記第２の注目検知手段が一致すると判定した場合に、前記第２の注目映像に対応する端末に対して、自端末が、前記第２の注目映像を注目していることを示す第１の注目情報を送信する第２の注目情報送信手段とを備える第２の端末とを備える。
【００１４】
又、本発明の一実施形態に係る会議プログラムは、自端末の利用者を撮像した第1映像を他端末に送信する映像送信機能と、他端末の利用者を撮像した複数の第2映像を受信する映像受信機能と、複数の前記第2映像を並べて表示する表示機能と、前記第１映像に対応する利用者が発話していることを検知する発話検知機能と、前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像から検知する注目検知機能と、前記注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信機能と、前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信機能と、前記第２の注目情報を受信した場合に、前記表示機能により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御機能とを有し、前記注目検知機能は、前記注目情報受信機能により前記第２の注目情報を受信した場合に、検知した注目映像に対応する端末と前記第２の注目情報の送信元である端末とが一致するか否かを判定し、前記注目情報送信機能は、前記注目検知機能が一致すると判定した場合に、前記注目映像に対応する端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する。
【発明の効果】
【００１５】
本発明によれば、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているか否かがわかるようにするテレビ会議システムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係るテレビ会議システムを示す簡略図。
【図２】第１実施形態に係るテレビ会議システムにおいてテレビ会議開始時の入力映像、表示映像を示す図。
【図３】第１の実施形態に係る端末を示すブロック図。
【図４】第１の実施形態に係る注目検知部を示すブロック図。
【図５】第１の実施形態に係る発話者側端末と聴衆者側端末の関係を示す図。
【図６】第１の実施形態に係る発話者側端末の動作を示すフローチャート。
【図７】第１の実施形態に係る発話者側端末の「発話者処理」の動作を示すフローチャート。
【図８】第１の実施形態に係る聴衆者側端末の動作を示すフローチャート。
【図９】第１の実施形態に係る聴衆者側端末の「聴衆者処理」の動作を示すフローチャート。
【図１０】第１の実施形態に係る聴衆者側端末の「発話者表示変更処理」の動作を示すフローチャート。
【図１１】第１の実施形態に係る発話者端末の「聴衆者表示変更処理」の動作を示すフローチャート。
【図１２】第１の実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図。
【図１３】第１の実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図。
【図１４】第１の実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図。
【図１５】第１の実施形態に係る聴衆者側端末の動作の変形例を示すフローチャート。
【図１６】第１の実施形態に係る発話者側端末の「発話者処理」の動作の変形例を示すフローチャート。
【図１７】第１の実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図。
【図１８】第１の実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図。
【図１９】第２の実施形態に係るテレビ会議システムを示す簡略図。
【図２０】第２の実施形態に係る端末を示すブロック図。
【図２１】第２の実施形態に係る発話者端末の「聴衆者表示変更処理」の動作を示すフローチャート。
【図２２】第２の実施形態に係る聴衆者側端末の「発話者表示変更処理」の動作を示すフローチャート。
【図２３】第２の実施形態に係るＭＣＵを示すブロック図。
【図２４】テレビ会議開始時に、第２の実施形態に係るＭＣＵが端末から受信する映像と、端末へ送信する合成映像を示す図。
【図２５】第２の実施形態に係るＭＣＵが、レイアウトを変更した後の合成映像を示す図。
【図２６】第２の実施形態に係る合成映像のレイアウトの変形例を示す図。
【図２７】第３の実施形態に係るテレビ会議システムを示す図。
【図２８】第３の実施形態に係る端末を示すブロック図。
【図２９】第３の実施形態に係るＭＣＵを示すブロック図。
【図３０】第４の実施形態における第１の参加者及び第２の参加者の画像変形処理（台形変形）を示す図。
【図３１】第４の実施形態における第３の参加者及び第４の参加者の画像変形処理（台形変形）を示す図。
【図３２】第４の実施形態に係る端末が、最初の状態において、表示画面に表示する映像を示す図。
【図３３】第４の実施形態に係る端末において、「発話者注目情報」を受信した場合における表示画面に表示する映像を示す図。
【図３４】第４の実施形態に係る端末において、「発話者注目情報」を受信した場合における表示画面に表示する映像を示す図。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について説明する。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るテレビ会議システムを示す簡略図である。
【００１９】
このテレビ会議システムは、４つの端末２１、２２、２３、２４がそれぞれネットワーク接続（伝送路３に接続）されている。
【００２０】
各端末（２１〜２４）はそれぞれ、入力映像（V1〜V4）を取り込むためのカメラ（２１ｃ、２２ｃ、２３ｃ、２４ｃ）、入力音声（A1〜A4）を取り込むためのマイク（２１ｍ、２２ｍ、２３ｍ、２４ｍ）と、映像（MV1〜MV4）を表示するための表示デバイス（２１ｄ、２２ｄ、２３ｄ、２４ｄ）と、音声（MA1〜MA4）を再生するためのスピーカ（２１ｓ、２２ｓ、２３ｓ、２４ｓ）とを備える。
【００２１】
なお、端末（２１〜２４）は、例えば、ノートブックタイプのポータブルパーソナルコンピュータ（ノートＰＣ）等により実現される。あるいは、端末（２１〜２４）は、会議専用装置であってもよい。また、伝送路３は、例えば、有線ＬＡＮ、IEEE 802.11b、若しくは802.11aとして規定された無線ＬＡＮ、及び、スイッチやルータを介して接続されるインターネットを含める。
【００２２】
端末２１は、カメラ２１ｃで得た入力映像V1を伝送路３に対して送信し、伝送路３から他の端末が送信した映像V2、V3、V4を受信する。そして、端末２１は自身の映像V1と、受信した映像Ｖ２、Ｖ３、Ｖ４を表示デバイス２１ｄに表示する。尚、以下では、表示するデバイスに表示する映像V1、V2、V3、V4をまとめてMV１と表現し、「V1、V2、V3、V4を表示する」ことを、「MV1を表示する」と表現する。
【００２３】
また、端末２１は、マイク２１ｍで得た入力音声A1を伝送路３に対して送信し、伝送路３から他の端末が送信した音声A2、A3、A4を受信する。端末２１は、受信した音声A2、A3、A4をスピーカ２１ｓにより出力する。尚、以下では、スピーカ２１ｓが出力する音声A2、A3、A4をまとめてMA１と表現し、「A2、A3、A4を再生する」ことを、「MA1を再生する」と表現する。
【００２４】
図２は、テレビ会議システムを４人で開始した最初の状態での入力映像（V1〜V4）、及び表示する映像（MV1〜MV4）を表す図である。図２の例においては、各入力映像（V1〜V4）の画像サイズは、共に320ピクセル×240ピクセルであるとしており、表示する際に自身の映像と、受信した各映像を160ピクセル×120ピクセルに縮小した後に、それらを並べて配置している。
【００２５】
次に、端末２１について説明する。図３は、第１の実施形態に係る端末を示すブロック図である。
【００２６】
端末２１は、注目情報入力部１０、映像送信部１１、映像受信部１２、映像制御部１３、映像表示部１４、発話検知部１５、注目検知部１６、注目情報送信部１７、注目情報受信部１８を備える。
【００２７】
映像送信部１１は、端末２１のカメラ２１ｃにより撮影された映像データが入力されると、ＭＥＰＧ４などの形式に圧縮符号化し、圧縮した映像データを映像ストリームとして伝送路３へ送信する。また、圧縮した映像データは、映像受信部１２へも出力される。
【００２８】
映像受信部１２は、伝送路３から映像ストリームとしてＭＰＥＧ４などの形式に圧縮された映像データを受信し、圧縮された映像データを伸張した後に映像制御部１３へ出力する。なお、映像受信部１２は、複数の端末から映像ストリームを受信して前述の処理を行うことが可能とする。また、映像送信部１１から得た圧縮された映像データについても同様に処理する。
【００２９】
映像制御部１３は、映像受信部１２から得た映像データを変形した後、映像表示部１４へ出力する。なお、映像制御部１３は、自端末を含めた複数の端末に対応する複数の映像データに対し、変形処理を行うことが可能とする。映像制御部１３は、変形処理として、例えば、サイズ変換を行う。例えば、入力映像が320ピクセル×240ピクセルなど、160ピクセル×120ピクセル以外の場合に、それらをすべて160ピクセル×120ピクセルに変換して映像表示部１４へ出力する機能を備える。尚、映像制御部１３が行う変形処理は、サイズ変換に限るものではない。形状の変更、色調の変更等も変形処理に含まれる概念である。
【００３０】
映像表示部１４は、映像制御部１３から入力された映像データを、表示デバイス２１ｄに表示させる。表示の際には、自端末を含めた複数の端末に対応する複数の映像データの配置作業を行う。例えば、図２に示されるように、表示する映像が４つの場合には、自端末の映像を左上に配置し、次に、端末の識別番号が若い順に右上、左下、右下とする。なお、端末の識別番号は、端末で一意に決まっているものとし、映像データと共に端末間で送受信されるものとする。
【００３１】
発話検知部１５は、マイク２１ｍから音声入力があった場合に、自端末の利用者が発話者となったと判断する発話判断処理機能を備える。発話判断処理機能の一例として、音声レベルの閾値と、検出時間が設定されており、閾値を超える音声レベルの入力が検出時間を超えて連続して発生した場合に発話者となったと判断する。発話検知部１５は、自端末の利用者が発話者と判断した場合には、発話者処理開始信号を注目検知部１６へ出力する。なお、発話検知部１５は、発話者と判断した後であって、一定の時間が経過後、再度、発話判断処理機能により自端末の利用者が発話者であると判断した場合には、発話者処理継続信号を注目検知部１６へ出力する。一方、発話検知部１５は、発話者と判断した後であって、再度、発話判断処理機能により発話者でないと判断した場合には、発話者処理終了信号を注目検知部１６へ出力する。
【００３２】
注目情報入力部１０は、自端末の利用者が、表示画面上のどの位置を注目しているかを入力する。注目情報入力部１０としては、例えば、ポインティングデバイスを用いる。ポインティングデバイスを用いる場合、利用者は、表示画面をポインティングすることにより、利用者が注目している画面上の位置を入力する。なお、注目情報入力部１０としては、前述したマイク２１ｍ、又はカメラ２１ｃであっても良い。
【００３３】
次に、注目検知部１６について、まず一つ目の機能について説明する。図４は、注目検知部１６の構成を示すブロック図である。
【００３４】
注目検知部１６は、発話者処理部１６Ａと、聴衆者注目情報構築部１６Ｂと、聴衆者登録情報テーブル１６Ｃと、聴衆者登録処理部１６Ｄと、聴衆者表示変更処理部１６Ｅと,発話者登録処理部１６Ｆと、発話者登録情報テーブル１６Ｇと、発話者表示変更処理部１６Ｈと、聴衆者処理部１６Ｉと、発話者注目情報構築部１６Ｊとを備える。
【００３５】
注目検知部１６は、発話者処理開始信号が入力されると、「発話者処理」を実行する。
【００３６】
「発話者処理」は、発話者処理部１６Ａが、注目情報入力部１０により入力された情報から、自端末の利用者Ａが、どの端末から送られてきた映像に注目しているかを検出する処理と、その検出結果により、聴衆者注目情報構築部１６Ｂが、その注目者となった端末の識別番号を含む聴衆者注目情報を構築する処理を含む処理である。
【００３７】
例えば、注目情報入力部１０が、ポインティングデバイスである場合、発話者処理部１６Ａは、デイスプレイ２１ｄの表示画面上の映像MV1のうち、利用者Aがポインティングした位置にある映像を注目していると検出する。
【００３８】
また、注目情報入力部１０が、マイク２１ｍである場合、発話者処理部１６Ａは、音声解析機能を備えることにより、まず、利用者Ａが「○○さん」と呼びかけた場合に、利用者Ａが呼びかける端末の利用者を特定する。又、発話者処理部１６Ａは、更に、端末の識別番号とそれぞれの端末の利用者名を関連づけて記憶していることにより、特定した利用者からその利用者名に対応する端末から送られて来た映像を注目していると検出する。
【００３９】
また、注目情報入力部１０が、カメラ２１ｃである場合、発話者処理部１６Ａは、映像解析機能を備えることにより、カメラ２１ｃから撮影された利用者Ａの顔と目の位置を検出し、それらの情報から、利用者Ａがどの方向を見ているのかを推定し、その見ている方向から表示画面上の注視点を推測し、その注視点の位置にある映像を注目していると検出する。
【００４０】
また、発話者処理部１６Ａは、自端末の利用者Ａが注目している映像を検出した結果、利用者Ａが、自端末以外の端末の利用者の映像を注目している場合に、自端末の利用者Ａが、その端末を注目していることを示す情報を含む信号を聴衆者注目情報構築部１６Ｂに出力する。例えば、信号としては、その端末の利用者の映像である。又、その端末の識別子であっても良い。
【００４１】
次に、聴衆者注目情報構築部１６Ｂは、自端末の利用者Ａが、自端末以外の端末を注目していることを示す情報を含む信号を受信すると、「聴衆者注目情報」を構築し、注目情報送信部１７へ出力する。この「聴衆者注目情報」には、自端末（端末２１）の端末の識別番号と、注目者となった端末の識別番号を含む情報である。
【００４２】
「発話者処理」は、注目検知部１６にて繰り返し実行され、その度に「聴衆者注目情報」が注目情報送信部１７へ出力される。例えば、発話者処理継続信号が入力される毎に、注目検知部１６は、「発話者処理」を繰り返し実行する。一方、注目検知部１６は、発話者処理終了信号が入力されると、「発話者処理」を停止する。
【００４３】
注目情報送信部１７についても、まず一つ目の機能について説明する。注目情報送信部１７は、聴衆者注目情報構築部１６Ｂから得た「聴衆者注目情報」を伝送路３へ送信するための加工を行い、伝送路３へ送信する。ここでいう加工とは、例えば、ネットワーク（伝送路３）へ送信するために、宛先アドレス等の情報を含むヘッダ情報を付加し、ペイロード部分に「聴衆者注目情報」を入れたパケット信号を構築することである。なお、注目情報送信部１７は、伝送路３を介して、注目者となった端末のみに「聴衆者注目情報」を送信する（便宜的にユニキャストと呼ぶ）。なお、注目情報送信部１７は、会議に参加している全端末に「聴衆者注目情報」を送信してもよい（便宜的にマルチキャストと呼ぶ）。
【００４４】
注目情報受信部１８についても、まず一つ目の機能について説明する。注目情報受信部１８は、「聴衆者注目情報」が含まれたパケット信号を伝送路３から受信すると、「聴衆者注目情報」を抜き出し、注目検知部１６へ出力する。
【００４５】
次に、注目検知部１６について、二つ目の機能について説明する。注目検知部１６は、注目情報受信部１８が受信した「聴衆者注目情報」に応じて、「発話者登録処理」、「発話者表示変更処理」、および、「聴衆者処理」を実行する。
【００４６】
「発話者登録処理」では、発話者登録処理部１６Ｆは、まず「聴衆者注目情報」を解析し、発話者となった端末の識別番号と、注目者となった端末の識別番号を認識する。次に、発話者登録処理部１６Fは、認識した注目者となった端末の識別番号と、自端末の識別番号とを比較し、自端末が、注目者となったか否かを判定する。次に、発話者登録処理部１６Fは、自端末が、注目者であると判定した場合に、発話者の端末の識別番号（発話者情報とする。）を発話者登録情報テーブル１６Gに登録する。また、発話者登録処理部１６Fは、入力された「聴衆者注目情報」の注目者が自端末であって、「聴衆者注目情報」に含まれる発話者となった端末の識別番号が、既に、発話者登録情報テーブル１６Gに登録されている発話者の端末の識別番号である場合には、更新されたことを記録する。また、発話者登録処理部１６Fは、定期的に発話者登録状態を確認する処理も行う。即ち、発話者登録処理部１６Fは、発話者登録情報テーブル１６Gに登録されている発話者情報のうち、一定時間更新されていない発話者情報を検出した場合には、発話者情報、即ち、発話者の端末の識別番号を発話者登録テーブル１６Ｇから削除する。
【００４７】
「発話者表示変更処理」では、発話者表示変更処理部１６Ｈが、発話者登録処理部１６Ｆが認識し、新たに発話者登録情報テーブル１６Ｇに登録した発話者の端末の識別番号に対応する映像の表示方法を変更するように要求する変形要求信号を映像制御部１３に出力する。ここで、変形要求信号は、映像の表示方法の変更を要求する端末の識別番号と、その映像法表示方法の変形方法についての情報を含む。変形方法としては、例えば、発話者の端末の映像の周囲の枠の色を強調する色への変更する方法、又は、発話者の端末の映像を他の映像より大きく表示する変更（例えば、他の映像の大きさが、160ピクセル×120ピクセルの場合に、発話者の端末の映像の大きさを200ピクセル×150ピクセルにする）などがある。
【００４８】
「発話者表示変更処理」においては、発話者表示変更処理部１６Ｈは発話者登録情報テーブル１６Ｇから発話者として登録されている端末の識別番号が削除された場合に、その発話者の映像の表示方法を前述した発話者表示変更処理部１６Ｈの指示により変形される前の状態に戻すための表示復元信号を映像制御部１３に出力する処理も行う。一方、映像制御部１３は、注目検知部１６からの変形要求信号または表示復元信号に従い対応する端末の利用者の映像を、変形要求信号または表示復元信号に含まれる前述した変形方法により変形して映像表示部１４へ出力する。
【００４９】
聴衆者処理部１６Ｉは、発明者登録情報テーブル１６Ｇに、発話者となった端末の識別番号が１つ登録された時点で、「聴衆者処理」を実行する。
【００５０】
一方、発話者登録情報テーブル１６Gに登録されている識別番号が０個になった時点で「聴衆者処理」を終了する。
【００５１】
「聴衆者処理」においては、聴衆者処理部１６Ｉが、注目情報処理部１０により入力された情報から、自端末（端末２１）の利用者Ａが、表示されている映像ＭＶ１のうち、発話者登録情報テーブル１６Gに登録されている識別番号に対応する端末から送られてきた映像に注目しているかを検出する。即ち、聴衆者処理部１６Ｉは、利用者Ａの注目箇所を検出し、利用者Ａの注目箇所が、発話者登録情報テーブル１６Ｇに登録されている識別番号に対応する端末から送られてきた映像であるか否かを判定する。
【００５２】
発話者注目情報構築部１６Ｊは、利用者Ａの注目箇所が、発話者登録情報テーブル１６Ｇに登録されている識別番号に対応する端末から送られてきた映像であると判定した場合に、「発話者注目情報」を構築し、注目情報送信部１７へ出力する。この「発話者注目情報」は、自端末（端末２１）の端末の識別番号と、注目した発話者の端末の識別番号を含む情報である。
【００５３】
「聴衆者処理」は注目検知部１６にて繰り返し実行され、その度に「発話者注目情報」が注目情報送信部１７へ出力される。
【００５４】
注目情報送信部１７についても、二つ目の機能について説明する。注目情報送信部１７は、「発話者注目情報」が入力されると、それを伝送路３へ送信するための加工を行い、伝送路３へ送信する。ここでいう加工とは、例えば、ネットワーク（伝送路３）へ送信するために、宛先アドレス等の情報を含むヘッダ情報を付加し、ペイロード部分に「発話者注目情報」を入れたパケット信号を構築することである。ここで、伝送路３は送信する際に、注目情報送信部１７は注目した発話者の端末のみに対して、「発話者注目情報」を送信する（便宜的にユニキャストと呼ぶ）。
【００５５】
次に、注目情報受信部１８について、二つ目の機能について説明する。注目情報受信部１８は、「発話者注目情報」が含まれたパケット信号を伝送路３から受信すると、「発話者注目情報」を抜き出し、注目検知部１６へ出力する。
【００５６】
次に、注目検知部１６について、三つ目の機能について説明する。注目検知部１６は「発話者注目情報」が入力されると、「聴衆者登録処理」、「聴衆者表示変更処理」を実行する。
【００５７】
「聴衆者登録処理」では、聴衆者登録処理部１６Ｄは、まず「発話者注目情報」を解析し、注目された発話者の端末の識別番号と、その発話者を注目した端末の識別番号を認識する。次に、聴衆者登録処理部１６Ｄは、注目された発話者の端末の識別番号と、自端末の識別番号とを比較し、自端末が、注目された発話者となったか否かを判定する。次に、発話者登録処理部は、自端末が、注目された発話者であると判定した場合に、自端末を注目した端末の識別番号（聴衆者情報とする。）を聴衆者登録情報テーブル１６Cに登録する。また、聴衆者登録処理部１６Dは、入力された「発話者注目情報」の注目された発話者が、自端末と一致する場合であって、「発話者注目情報」に含まれる注目者である聴衆者の端末の識別番号が、既に、聴衆者登録情報テーブル１６Cに登録されている聴衆者の端末の識別番号である場合には、更新されたことを記録する。また、聴衆者登録処理部１６Dは、定期的に聴衆者登録状態を確認する処理も行う。即ち、聴衆者登録処理部１６Ｄは、聴衆者登録情報テーブル１６Cに登録されている聴衆者情報のうち、一定時間更新されていない聴衆者情報を検出した場合には、聴衆者情報、即ち、聴衆者の端末の識別番号を聴衆者登録テーブル１６Cから削除する。
【００５８】
「聴衆者表示変更処理」では、聴衆者表示変更処理部１６Ｅが、聴衆者登録処理部１６Ｄが認識し、新たに聴衆者登録情報テーブル１６Ｃに登録した聴衆者の端末の識別番号に対応する映像の表示方法を変更するように要求する変形要求信号を映像制御部１３に出力する。ここで、変形要求信号は、映像の表示方法の変更を要求する端末の識別番号と、その映像法表示方法の変形方法についての情報を含む。変形方法としては、例えば、注目者である聴衆者の端末の映像の周囲の枠の色を強調する色への変更する方法、又は、注目者である聴衆者の端末の映像を他の聴衆社の映像より大きく表示する変更（例えば、他の映像の大きさが、160ピクセル×120ピクセルの場合に、注目者である聴衆者の端末の映像の大きさを200ピクセル×150ピクセルにする）などがある。
【００５９】
また、「聴衆者表示変更処理」においては、聴衆者表示変更処理部１６Ｅは聴衆者登録情報テーブル１６Ｃに登録されている聴衆者の端末の識別番号が削除された場合に、その聴衆者の映像の表示方法を前述した聴衆者表示変更処理部１６Ｅの指示により変形される前の状態に戻すための表示復元信号を映像制御部１３に出力する処理も行う。
【００６０】
以上、端末２１の機能として、注目情報入力部１０、映像送信部１１、映像受信部１２、映像制御部１３、映像表示部１４、発話検知部１５、注目検知部１６、注目情報送信部１７、注目情報受信部１８について説明したが、端末２２、２３、２４も同様にこれらを構成要素として備えるものとする。
【００６１】
ところで、先に説明した発話検知部１５、注目検知部１６、注目情報送信部１７、注目情報受信部１８については、発話者側端末として行う処理と、聴衆者側端末として行う処理とに分けることができる。なお、図５には、端末２１が発話者側端末、端末２２が聴衆者側端末となり、お互いが通信している様子を示している。
【００６２】
図６は、発話者側端末の動作を概略的に示すフローチャートである。
【００６３】
まず、発話検知部１５が、自端末の利用者が発話者であるか否かを検出する（発話検出処理）（Ｓ１１１）。発話検出処理において、発話検知部１５が、自端末の利用者が発話者となったことを判断すると（Ｓ１１２）、注目検知部１６が、「発話者処理」を開始する（Ｓ１１３）。次に、発話者処理を実行後、注目検知部１６は、再度、発話検出処理を実行し、発話検知部１５が、自端末の利用者が、発話者でなくなったと判断すると（Ｓ１１４）、注目検知部１６は、「発話者処理」を終了する（Ｓ１１５）。
【００６４】
図７は、発話者側端末の「発話者処理」において実行される処理の動作を示すフローチャートである。
【００６５】
まず、発話検知部１５により発話者処理実行に対する終了命令がなされていない場合（Ｓ１２1）、注目検知部１６の発話者処理部１６Ａは、自端末の利用者が、表示されている映像のうち、どの聴衆者を注目しているか検出する処理（以下、発話者処理部注目箇所検出処理とする。）を行う（Ｓ１２２）。発話者処理部注目箇所検出処理により、発話処理部１６Ａが、表示された映像のうちいずれかの端末の利用者を注目していると判断すると（Ｓ１２３）、聴衆者注目情報構築部１６Ｂは、「聴衆者注目情報」を構築する（Ｓ１２４）。次に、注目情報送信部１７は、聴衆者注目情報構築部１６Ｂにより構築された「聴衆者注目情報」を注目している聴衆者に対応する端末へ送信する（Ｓ１２５）。
【００６６】
図８は、聴衆者側端末の動作を概略的に示すフローチャートである。
【００６７】
注目情報受信部１８は、「聴衆者注目情報」受信処理を開始、または継続する（Ｓ２１１）。注目情報受信部１８が「聴衆者注目情報」を受信した場合（Ｓ２１２）、聴衆者処理部１６Ｉは、発話者登録情報テーブル１６Ｇに登録されている発話者数を確認し、登録されている発話者数が０である場合には（Ｓ２１３）、「聴衆者処理」の実行を開始する（Ｓ２１４）。また、発話者登録処理部１６Ｆは、「聴衆者注目情報」に含まれる発話者が、発話者登録テーブル１６Ｇに登録されていない新たな発話者であると認識すると、「聴衆者注目情報」に含まれる発話者に対応する端末の識別番号（発話者情報とする。）を発話者登録情報テーブルに登録する。（Ｓ２１５）。一方、注目情報受信部１８が、「聴衆者注目情報」を受信していない場合（Ｓ２１２）、発話者登録処理部１６Ｆは、発話者登録情報テーブル１６Ｇにより、発話者登録状態を確認する（Ｓ２１６）。発話者登録処理部１６Ｆは、発話者登録テーブル１６Ｇに登録されている発話者情報に対応する発話者のうち、一定時間以上、自端末に対して、「聴衆者注目情報」を送信していない発話者を検出すると、その発話者に対応する発話情報を発話者登録テーブル１６Ｇから削除する（Ｓ２１７）。発話者登録テーブル１６Ｇに登録されている発話者情報数が０となった場合には（Ｓ２１８）、聴衆者処理部１６Ｉは、「聴衆者処理」の実行を終了する（Ｓ２１９）。なお、発話者登録処理部１６Ｆは、注目情報受信部１８が、「聴衆者注目情報」を受信している場合において、発話者登録情報テーブル１６Ｇに、新たに発話者情報を登録する際（Ｓ２１５）、同時に、一定時間以上、自端末に対して「聴衆者注目情報」を送信していない発話者を検出した場合、その発話者に対応する発話者情報を発話者登録テーブル１６Ｇから削除しても良い。
【００６８】
次に、聴衆者側端末の「聴衆者処理」の動作について説明する。図９は、聴衆者側端末が、「聴衆者処理」において実行する処理の動作を示すフローチャートである。まず、聴衆者処理実行に対する終了命令がなされていない場合（Ｓ２２1）、聴衆者処理部１６Ｉは、自端末の利用者が、表示されている映像につき、どの端末の利用者を注目しているか検出する処理（以下、聴衆者処理部注目箇所検出処理とする。）を行う（Ｓ２２２）。
【００６９】
次に、聴衆者処理部１６Ｉは、聴衆者処理部注目箇所検出処理により検出した相手が、発話者登録テーブル１６Ｇに登録されている発話者（以下、登録発話者とする。）と一致するか否か判断する。（Ｓ２２３）聴衆者処理部１６Ｉが、一致すると判断すると、発話者注目情報構築部１６Ｊは、一致すると判断した発話者に関して、「発話者注目情報」を構築する（Ｓ２２４）。注目情報送信部１７は、発話者注目情報構築部１６Ｊが構築した「発話者注目情報」を対応する端末へ送信する（Ｓ２２５）。
【００７０】
次に、聴衆者側端末の発話者表示変更処理について説明する。図１０は、聴衆者側端末が、「発話者表示変更処理」において実行する処理の動作を示すフローチャートである。
【００７１】
まず、聴衆者処理実行に対する終了命令がなされていない場合（Ｓ２３１）、発話者表示変更処理部１６Ｈは、発話者登録テーブル１６Ｇに登録された発話者情報に対応する発話者の映像の表示状態を変更する要求を、映像制御部１３に対して送り、映像制御部１３は、その要求を受けて、発話者の映像の表示状態を変更する（Ｓ２３２）。一方、聴衆者処理実行に対する終了命令を検知した場合には、発話者表示変更処理部１６Ｈは、Ｓ２３２により表示状態が変更された発話者の映像につき、前述したＳ２３２おける表示状態を変更前の映像の表示状態に戻す（Ｓ２３３）。
【００７２】
次に、発話者側端末の聴衆者表示変更処理について説明する。図１１は、発話者端末が、「聴衆者表示変更処理」において実行する処理の動作を示すフローチャートである。まず、発話者処理実行に対する終了命令がなされていない場合（Ｓ１３１）、注目情報受信部１２は、「発話者注目情報」の受信処理を開始、または継続する（Ｓ１３２）。注目情報受信部１２が、「発話者注目情報」を受信した場合は（Ｓ１３３）、聴衆者表示変更処理部１６Ｅは、「発話者注目情報」の送信元の端末（即ち、注目者である聴衆者側端末。）から受信している映像の表示状態を変更する要求を、映像制御部１３に対して送り、映像制御部１３は、その要求を受けて、注目者である聴衆者の映像の表示状態を変更する（Ｓ１３４）。一方、発話者処理実行に対する終了命令を検知した場合には、聴衆者表示変更処理部１６Ｅは、Ｓ１３４により表示状態が変更された聴衆者の映像について、前述したＳ１３4における表示状態を変更前の映像の表示状態に戻す（Ｓ１３５）。
【００７３】
本実施形態に係る端末を備えるテレビ会議システムよれば、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているか否かがわかるようになる。
【００７４】
以下では、本実施形態に係る端末を備えた端末同士でテレビ会議を行う場合の、端末における表示画面の様子を図１２から図１４を用いて説明する。図１２から図１４は、本実施形態に係るテレビ会議システムおける端末の表示画面を示す簡略図である。以下では、９台の端末（９人の利用者（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ）が利用）が映像を送受信し、各端末の表示画面には、自分をふくめ９人の利用者の映像が表示されているとする。
【００７５】
図１２は、いずれの利用者も発話者となっていない状態での、９人のうち利用者Ａ，Ｂ，Ｃ，Ｉの４人の端末の表示状態を示している。
【００７６】
図１３は、利用者Ａが発話者となり、利用者Ａが、利用者Ｂを注目した状態での、９人のうち利用者Ａ，Ｂ，Ｃ，Ｉの４人の端末の表示状態を示している。利用者Ｂの表示画面では、発話者Ａに対応する表示状態が変更される。
【００７７】
図１４は、図１３の状態の後、利用者Ｂが発話者である利用者Ａを注目した状態での、９人のうち利用者Ａ，Ｂ，Ｃ，Ｉの４人の端末の表示状態を示している。利用者Ａの表示画面では、利用者Ａが注目した利用者Ｂに対応する表示状態が変更される。
【００７８】
ここで、図１３と図１４を比較すると、図１３の場合には、利用者Ａの表示画面において、自分が注目した利用者Ｂに対応する表示状態は変更されていない。すなわち、利用者Ａは、自分は利用者Ｂを注目して話をしているが利用者Ｂは自分を見ていないということが認識できる。一方、利用者Ａの表示画面が、図１３から図１４に示した表示状態に変化すると、利用者Ａは、自分が注目して話をしている利用者Ｂもまた自分を注目しているということを認識できる。
【００７９】
なお、図６から図１１に示した本実施形態に係る動作フローは一例であり、これに限られない。
【００８０】
例えば、図７の動作フロー、即ち、発話者側端末の「発話者処理」において実行される処理の動作フローにおいて、処理ステップＳ１２５について、注目情報送信部１７は、聴衆者注目情報構築部１６Ｂにより構築された「聴衆者注目情報」を注目している聴衆者に対応する端末へ送信（ユニキャスト）するとしたが、注目情報送信部１７は、構築した「聴衆者注目情報」を、テレビ会議システムの全端末へ送信（マルチキャスト）してもよい。また、図８の聴衆者側端末の動作フローに関して、図１５のように変更し、「聴衆者注目情報」を受信した際に、発話者登録処理部１６Ｆが、自端末が、発話者を注目する聴衆者に対応するか否かを判断する処理（Ｓ２１１０）を追加してもよい。
【００８１】
また、図７の動作フローにおいて、「聴衆者注目情報」の送信に関する処理を、図１６に示した動作フローに変更してもよい。図１６の動作フローにおいては、発話者処理部注目箇所検出処理（Ｓ１２２）により、発話者処理部１６Ａが、いずれかの聴衆者を注目していると判断すると（Ｓ１２３）、聴衆者注目情報構築部１６Ｂは、注目した相手に対応する「聴衆者注目情報」を構築し（Ｓ１２４−１）、構築した「聴衆者注目情報」を注目した相手に対応する端末へのみ送信する（Ｓ１２５−１）。一方、発話者処理部１６Ａが、発話者処理部注目箇所検出処理（Ｓ１２２）により、発話者が、どの端末の利用者も注目していないと判断すると（Ｓ１２３）、聴衆者注目情報構築部１６Ｂは、全員を注目したとし、全員に対応する「聴衆者注目情報」を構築し（Ｓ１２４−２）、注目情報送信部１７は、構築した「聴衆者注目情報」を全端末へ送信する（Ｓ１２５−２）。
【００８２】
図７のかわりに図１６の動作シーケンスとした場合の差分を補足説明するため、先と同様に端末における表示画面の様子を図１７と図１８を用いて説明する。図１７及び図１８は、本実施形態に係るテレビ会議システムにおける端末の表示画面を示す簡略図である。
図１７は、いずれの利用者も発話者となっていない状態の後、利用者Ａが発話者となったが、利用者Ａが誰も注目していない状態で、かつ、利用者Ｂと利用者Ｉの2人が利用者Ａを注目した状態での、９人のうち利用者Ａ，Ｂ，Ｃ，Ｉの４人の端末の表示状態を示している。利用者Ａは発話者となったが、だれも注目していないため、全員を注目したと判断し「聴衆者注目情報」が全員に送信される。そのため、発話者が注目した聴衆者となる利用者Ｂ，Ｃ，Ｉ側では、発話者Ａに対応する表示状態が変更される。一方、発話者である利用者Ａ側では、発話者が注目した聴衆者のうち自分（利用者Ａ）を注目している聴衆者（この場合は、利用者Ｂと利用者Ｉのみ）に対応する表示状態が変更される。
【００８３】
図１８は、図１７の状態の後、発話者である利用者Ａが利用者Ｉのみを注目した状態での、９人のうち利用者Ａ，Ｂ，Ｃ，Ｉの４人の端末の表示状態を示している。この場合、「聴衆者注目情報」が利用者Ｉに対応する会議機器にのみに送信される。その結果、利用者Ｂ、Ｃ側での利用者Ａの表示状態は元の状態にもどり、一方、利用者Ａ側でも利用者Ｂの表示状態は元の状態にもどっている。
【００８４】
図１６の動作シーケンスを利用した場合には、利用者Ａが特に相手を意識することなく発話を開始しているが、図１７に示されるように、利用者Ａの表示画面が変更されることにより、自分を注目している聴衆者が誰なのかがわかる。その結果、利用者Ａは、特定の相手として利用者Ｉを注目すれば、利用者Ａは、自分が注目して話をしている利用者Ｉもまた自分を注目しているということを認識しながら話を継続することができる。
【００８５】
尚、本実施形態に係る端末（２１〜２４）は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。即ち、映像情報入力部１０、映像送信部１１、映像受信部１２、映像制御部１３、映像表示部１４、発話検知部１５、注目検知部１６（注目検知部１６のうち発話処理部１６Ａ、聴衆者注目情報構築部１６Ｂ、聴衆者登録処理部１６Ｄ、聴衆者表示変更処理部１６Ｅ、発話者登録処理部１６Ｆ、発話者表示変更処理部１６Ｈ、聴衆者処理部１６Ｉ、発話者注目情報構築部１６Ｊ）、注目情報送信部１７、注目情報受信部１８とは、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、端末（２１〜２４）は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現しても良いし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置い適宜インストールすることで実現しても良い。
【００８６】
また、注目検知部１６のうち聴衆者登録情報テーブル１６Ｃ、発話者登録情報テーブル１６Ｇは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスク若しくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００８７】
尚、本実施形態に係る端末は、「発話者表示変更処理」、「聴衆者表示変更処理」共に、それぞれ、発話者、発話者が注目する聴衆者を強調表示するために、映像制御部１３は、注目検知部１６からの変形要求信号の変形方法により、発話者、発話者が注目する聴衆者の映像を変更した。例えば、「聴衆者表示変更処理」においては、注目検知部１６の聴衆者表示変更処理部１６Ｅによる変形要求信号に基づき、発話者が注目する聴衆者の映像を他の端末の利用者の映像より大きく表示する変形を行った。しかしながら、映像制御部１３は、他の端末の利用者の映像と比べて、発話者が注目する聴衆者を強調表示すればよく、発話者が注目する聴衆者以外の映像を変形しても良い。例えば、映像制御部１３は、「聴衆者表示変更処理」において、注目検知部１６からの変形要求信号に基づき、発話者が注目する聴衆者の映像の大きさは変形せず、発話者が注目する聴衆者以外の聴衆者の映像を小さくする変形を行っても良い。
【００８８】
（第２の実施形態）
図１９は、本発明の第２の実施形態に係るテレビ会議システムを示す簡略図である。
【００８９】
第２の実施形態に係るテレビ会議システムは、４つの端末２１−２、２２−２、２２３−２、２４−２と多地点制御装置（ＭＣＵ：Multipoint Control Unit）５（サーバ）がそれぞれネットワーク接続されている。
【００９０】
ＭＣＵ５は、複数の映像を受信し、複数の受信映像から合成映像を複数生成し、生成した複数の合成映像を配信する機能を備える。
【００９１】
次に、本実施形態に係る端末２１−２について説明する。図２０は、本実施形態に係る端末２１−２を示すブロック図である。以下では、端末２１−２につき、第１の実施形態に係る端末２１と異なる点について説明する。尚、端末２２−２〜２４−２も、端末２１−２と同様の構成、機能を有するものとする。
【００９２】
まず、端末２１−２は、映像制御部１３を備えない点、変形要求信号送信部１９を備える点が、第１の実施形態に係る端末２１と異なる。
【００９３】
変形要求信号送信部１９は、注目検知部１６−２により構築された変形要求信号が入力されると、変形要求信号をネットワークへ送信するための加工を行い、ＭＣＵ5を宛先として指定してネットワークへ送信する。
【００９４】
端末２１−２の映像送信部１１−２は、圧縮した映像データを伝送路３へ送信するが、宛先としてＭＣＵ５が指定されている。一方、端末２１−２の映像受信部１２−２は、ＭＣＵ５から圧縮された映像データを受信する。また、映像受信部１２−２は、受信した圧縮された映像データを伸長した後に、映像表示部１４へ出力する。そして、映像表示部１４は、映像受信部１２−２が、ＭＣＵ５から受信し、伸長した映像データを表示デバイス２１ｄに表示させる。
【００９５】
また、端末２１−２は、映像制御部１３を備えないため、端末２１−２の注目検知部１６−２の処理は、第１の実施形態に係る端末２１の注目検知部１６の処理と異なる。まず、発話者表示変更処理において、注目検知部１６−２は、発話者登録処理にて認識した発話者の端末に対応する映像の表示状態を変更する変形要求信号を映像制御部１３でなく、変形要求信号送信部１９に出力する。また、聴衆者表示変更処理において、聴衆者登録情報テーブル１６Ｃに聴衆者が登録されると、その聴衆者の端末に対応する映像の表示状態を変更するように要求する変形要求信号を映像制御部１３でなく、変形要求信号送信部１９に出力する。尚、端末２１−２の発話検知部１５、注目情報送信部１７、注目情報受信部１８についての処理は、第１の実施形態と同様の処理を行う。
【００９６】
次に本実施形態に係る会議システムにおいて、端末２１−２が発話者端末、及び聴衆者側端末となる場合の、端末２１−２の動作フローが、第１の実施形態に係る端末２１の動作フローと異なる点について説明する。
【００９７】
まず、端末２１−２が発話者端末になる場合について説明する。発話者端末となる場合は、図１１に示した発話者側端末の聴衆者表示変更処理において実行する処理が異なる。即ち、発話者端末において、第１の実施形態にかかる端末２１は、映像制御部１３が、表示画面の変更する処理を行っていたが、第２の実施形態に係る端末２１−２は、端末自身は、表示画面の変更する処理は行わず、変形要求信号送信部１９が、その変形要求信号をＭＣＵ５へ送信し、表示画面の変更処理をＭＣＵ５に処理させる。具体的に動作フローを説明すると、図２１に示すとおりである。即ち、注目情報受信部１８が、「発話者注目情報」を受信した場合（Ｓ１３３）、注目検知部１６−２の聴衆者表示変更処理部１６Ｅは、「発話者注目情報」の送信元の端末（即ち、聴衆者側端末。）に対応する映像の表示を変更する要求を含む変形要求信号を構築し（Ｓ１３６）、変形要求信号送信部１９は、その変形要求信号をＭＣＵ５へ送信する（Ｓ１３７）。一方、発話者処理実行に対する終了命令を検知した場合には、聴衆者表示変更処理部１６Ｅは、表示状態が変更された聴衆者の映像について表示状態変更前の映像の表示状態に戻すための表示復元信号を構築し（Ｓ１３８）、変形要求信号送信部１９は、構築した表示復元信号をＭＣＵ５へ送信する。（Ｓ139）。
【００９８】
次に、端末２１−２が聴衆者側端末になる場合について説明する。聴衆者側端末となる場合は、図１０に示した聴衆者側端末の発話者表示変更処理において実行する処理が異なる。即ち、聴衆者端末において、第１の実施形態にかかる端末２１は、映像制御部１３が、表示画面を変更する処理を行っていたが、第２の実施形態に係る端末２１−２は、端末自身は、表示画面を変更する処理は行わず、変形要求信号送信部１９が、その変形要求信号をＭＣＵ５へ送信し、表示画面の変更処理をＭＣＵ５に処理させる。具体的に動作フローを説明すると、図２２に示すとおりである。即ち、聴衆者処理実行に対する終了命令がなされていない場合、注目検知部１６の発話者表示変更処理部１６Ｈは、発話者登録テーブル１６Ｇに登録された発話者情報に対応する発話者の映像の表示状態を変更する要求を含む変形要求信号を構築し（Ｓ２３４）、変形要求信号送信部１９は、その変形要求信号をＭＣＵ５へ送信する（２３５）。一方、聴衆者処理実行に対する終了命令を検知した場合には、発話者表示変更処理部１６Ｈは、表示状態が変更された発話者の映像を前述した表示状態変更前の映像の表示状態に戻すための表示復元信号を構築し（Ｓ２３６）、変形要求信号送信部１９は、構築した表示復元信号をＭＣＵ５へ送信する（Ｓ２３７）。
【００９９】
次に、ＭＣＵ５について説明する。
【０１００】
図２３はＭＣＵ５を示すブロック図である。ＭＣＵ５は、パケット送受信部５１０、映像伸長部５４１〜５４４、映像合成部５２０、映像圧縮部５５１〜５５４、制御部５３０、レイアウト情報記憶部５６０、レイアウト変更指示解析部５７０を備える。
【０１０１】
パケット送受信部５１０は、伝送路３からMPEG４等に圧縮された映像データを受信し、圧縮された映像データを映像伸長部５４１〜５４４のいずれかへ出力する。パケット送受信部５１０は複数の端末が送信する映像データを受信することが可能である。そして、その場合、パケット送受信部５１０は、複数の端末ごとの映像データを分離して処理することができる。本実施形態においては、パケット送受信部５１０は、４台の端末（２１−２、２２−２、２３−２、２４−２）と同時に通信を行っているため、４台の端末（２１−２、２２−２、２３−２、２４−２）それぞれから映像データを受信する(計４つの映像データを受信する)。４つの映像データを受信したパケット送受信部５１０は、４つの映像データを分離した後、それぞれの映像データを対応する映像伸長部５４１〜５４４へ出力する。
【０１０２】
映像伸長部５４１〜５４４は、パケット送受信部により受信された圧縮された映像データが入力されると、圧縮された映像データを伸長し非圧縮の映像を生成する。映像伸長部５４１〜５４４は、生成した非圧縮の映像を、映像合成部５２０に出力する。
【０１０３】
映像合成部５２０は、４つの非圧縮映像が映像伸長部５４１〜５４４から入力されると、それら４つの映像を用いて合成映像を生成する。なお、合成映像も非圧縮映像である。本実施例では、映像合成部５２０は、４つの異なる合成映像を生成できるものとする。尚、４つの合成映像は、それぞれ４台の端末（２１−２、２２−２、２３−２、２４−２）に対応した合成映像とする。尚、映像合成部が、４つの合成映像を生成する際に必要となる合成映像のレイアウト情報は、レイアウト情報記憶部５６０に記憶されている。そして、制御部５３０が、レイアウト情報記憶部５６０が記憶するレイアウト情報を取得し、映像合成部５２０に出力する。
【０１０４】
映像圧縮部５５１〜５５４は、映像合成部５２０から入力された非圧縮の合成映像をMPEG4などの形式に圧縮した映像データを生成する。映像圧縮部５５１〜５５４は、圧縮した合成映像の映像データを、パケット送受信部５１０に出力する。
【０１０５】
パケット送受信部５１０は、映像圧縮部５５１〜５５４から映像データが入力されると、伝送路３へ送信する機能を備える。パケット送受信部５１０は複数の端末へそれぞれ異なる映像データを送信することも可能である。本実施形態においては、パケット送受信部５１０は、映像圧縮部５５１〜５５４から入力された映像データを、対応する４台の端末（２１−２、２２−２、２３−２、２４−２）へそれぞれ送信する。
【０１０６】
制御部５３０は、映像伸長部５４１〜５４４と映像圧縮部５５１〜５５４を起動させる機能及び、停止する機能を備える。また、制御部５３０は、映像伸長部５４１〜５４４それぞれに対し個別に伸長処理を行うためのパラメータを与える機能及び、映像圧縮部５５１〜５５４それぞれに対し個別に圧縮処理を行うためのパラメータを与える機能を備える。また、制御部５３０は、先述したとおり、映像合成部５２０に対し、４つの合成映像を生成する際に必要となる合成映像のレイアウト情報を与える機能を備える。また、制御部５３０は、パケット送受信部５１０に対し、端末（本実施例では２１−２、２２−２、２３−２、２４−２）から受信した映像データをいずれの映像伸長部５４１〜５４４に入力するかの対応情報を与える機能、および、パケット受信部５１０に対して、映像圧縮部５５１〜５５４から入力された映像データをいずれの端末（２１−２、２２−２、２３−２、２４−２）に送信するかの対応情報を与える機能を備える。
【０１０７】
図２４は、テレビ会議システムを４人で開始した最初の状態で、ＭＣＵ５が４台の端末（２１−２、２２−２、２３−２、２４−２）それぞれから受信する映像（V1〜V4）と、それぞれの端末へ送信する合成映像（MV1〜MV4）を図示したものである。この合成映像のレイアウト構成に関する情報は、レイアウト情報記憶部５６０に記憶されている。
【０１０８】
レイアウト変更指示解析部５７０は、端末から受信した変形要求信号が制御部５３０から入力されると、その変形要求信号に従って、レイアウト情報記憶部５６０に記憶されているレイアウト情報を更新し、制御部５３０にレイアウト情報が更新されたことを通知する機能を備える。本実施例では、例えば、端末２１−２の変形要求信号送信部１９から変形要求信号を受信すると、レイアウトを変更する命令として解釈し、レイアウト情報記憶部５６０に記憶されている、端末２１−２へ送信する合成映像のレイアウト情報を変更し、制御部５３０に対して端末２１−２へ送信する合成映像のレイアウトを変更するように命令する。制御部５３０はレイアウト変更指示解析部５７０による命令に従い、更新されたレイアウト情報を映像合成部５２０へ与える。映像合成部５２０は、制御部５３０からレイアウト情報が与えられると、それに従いレイアウトを変更した合成映像を生成する。例えば、変形要求信号に「端末２１−２に対応する映像を大きくする」と解釈可能な内容がふくまれている場合、映像合成部５２０は、レイアウト変更指示解析部５７０の命令を受けた制御部５３０から与えられるレイアウト情報に従って、端末２１−２へ送信される合成映像を図２５に示すように、端末２２−２に対応する映像を大きくするような映像に変更する。また、変形要求信号に「端末２２−２に対応する映像をもとにもどす」と解釈可能な内容が含まれていれば、映像合成部５２０は、レイアウト変更解析部５７０の命令を受けた制御部５３０から与えられるレイアウト情報に従って、レイアウト情報記憶部５６０に記憶されている最初の状態のレイアウトを参考とし、端末２１−２へ送信される合成映像を図２４に示した状態に戻す。
【０１０９】
なお、図２６(a)は、テレビ会議システムを４人で開始した最初の状態での合成映像のレイアウトの別の例である。この場合、レイアウト変更指示解析部５７０が、変形要求信号を受信した場合であって、変形要求信号が「端末２２−２に対応する映像を強調する」と解釈可能な内容がふくまれている場合、レイアウト変更指示解析部５７０は、例えば、図２６(b)に示されるように端末２２−２に対応する映像の位置をずらし、最前面にした状態で、さらに影をつけるようなレイアウト情報に更新しても良い。
【０１１０】
本実施形態に係るテレビ会議システムによれば、端末（２１−２、２２−２、２３−２、２４−２）とＭＣＵ５とを備えることにより、端末は他の端末から個別に映像を受信しなくても、ＭＣＵ５から一つの映像を受信して表示しつづけるだけでよく、端末（２１−２、２２−２、２３−２、２４−２）の映像変形処理等の処理負荷を低減することができる。
【０１１１】
また、本実施形態に係るテレビ会議システムによれば、第１の実施形態と同様な効果を達成することができる。即ち、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているか否かがわかるようにすることができる。第１の実施形態に係るテレビ会議システムと同様に、端末（２１−２、２２−２、２３−２、２４−２）が、発話者側端末と聴衆者側端末となった場合、図１２から図１４に示した表示画面の変化や、図１７と図１８に示した表示画面の変化を実現することができる。
【０１１２】
（第３の実施形態）
第３の実施形態に係るテレビ会議について説明する。図２７に、第３の実施形態に係るテレビ会議システムを示す。第３の実施形態に係るテレビ会議システムは、端末２１−３、２２−３、２３−３及び２４−３、ネットワーク３及びＭＣＵ５−３（サーバ）から構成される。
【０１１３】
第３の実施形態に係るテレビ会議システムでは、第２の実施形態に係るテレビ会議システムにおいては端末側の構成要素である注目検知部、注目情報送信部、注目情報受信部をＭＣＵ側の構成要素としている。
【０１１４】
次に、本実施形態に係る端末２１−３について説明する。
【０１１５】
図２８は、本実施形態に係る端末２１−３の内部構成を示すブロック図である。
【０１１６】
本実施形態に係る端末２１−３は、発話検知部１５−３と、映像送信部１１−３と、映像受信部１２−３と、映像表示部１４−３とを備える。
【０１１７】
発話検知部１５−３は、自端末が発話者となったことを検知する機能を備える。更に、発話検知部１５−３は、自端末が発話者となったことを検知した場合に、自端末が発話者となったことを示す発話者通知信号を生成し、ネットワーク３からＭＣＵ５−３を宛先として指定して送信する機能を備える点が、第２の実施形態に係る発話検知部と異なる。
【０１１８】
なお、本実施形態に係る映像送信部１１−３、映像受信部１２−３、映像表示部１４−３の機能は、第２の実施形態に係る機能と同様である。また、本実施形態に係る端末２１−３は、第２の実施形態に係る端末２１−２と異なり、注目情報入力部、注目検知部、注目情報送信部、変形要求信号送信部、注目情報受信部を備えない。
【０１１９】
次に、ＭＣＵ５−３について説明する。
【０１２０】
図２９は、ＭＣＵ５−３を示すブロック図である。ＭＣＵ５−３は、まず、構成要素として、第２の実施形態に係るＭＣＵ５と同様の構成要素を備える。更に、ＭＣＵ５−３は、注目検知部５１６（５１６−１、５１６−２、５１６−３、５１６−４）、注目情報送信部５１７（５１７−１、５１７−２、５１７−３、５１７−４）、注目情報受信部５１８（５１８−１、５１８−２、５１８−３、５１８−４）、内部バス５８０を更に備える点が、第２の実施形態に係るＭＣＵ5と異なる。尚、注目検知部５１６−１、注目情報送信部５１７−１及び注目情報受信部５１８−１は、端末２１−３に対応する処理を行う。又、同様に、注目検知部５１６−２〜５１６−４、注目情報送信部５１７−２〜５１７−４及び注目情報受信部５１８−２〜５１８−４は、それぞれ、端末２２−３〜２４−３に対応する処理を行う。
【０１２１】
パケット送受信部５１０は、端末２１−３の発話検知部１５−３から発話者通知信号を受信すると、発話者処理開始信号を生成し、注目検知部５１６−１へ出力する。
【０１２２】
注目検知部５１６−１は、発話者処理開始信号が入力されると、「発話者処理」を実行する。注目検知部５１６−１の「発話者処理」は、第１の実施形態に係る注目検知部１６と同様の処理を行う。尚、注目箇所を検出する方法として、例えば、注目検知部５１６−１は、映像伸長部５４１から端末２１−３の利用者Ａの映像を取得し、映像解析機能を利用して利用者Ａの注視点を推測し、その注視点の位置にある映像を注目していると検出してもよい。また、注目検知部５１６−１は、利用者Ａの注目箇所を検出し、例えば、注目箇所に利用者Ｂの端末２２−３に対応する映像が表示されているとすると、注目検知部５１６−１は、その情報を含む「聴衆者注目情報」を構築し、注目情報送信部５１７−１へ出力する。
【０１２３】
注目情報送信部５１７−１は、「聴衆者注目情報」を、内部バス５８０を利用し、端末２２−３に対応する注目情報受信部５１８−２へ通知する。
【０１２４】
「聴衆者注目情報」を受信した注目情報受信部５１８−２は、「聴衆者注目情報」を抜き出し、注目検知部５１６−２へ出力する。
【０１２５】
注目検知部５１６−２は、聴衆者注目情報を受信すると、第１の実施形態の注目検知部１６と同様に「聴衆者処理」を実行する。即ち、注目検知部５１６−２は、利用者Ｂの注目箇所を検出し、利用者Ｂの注目箇所が、発話者である利用者Ａの端末２１−３に対応する映像であると検出した場合には、「発話者注目情報」を構築し、注目情報送信部５１７−２へ出力する。
【０１２６】
注目情報送信部５１７−２は、「発話者注目情報」が入力されると、「発話者注目情報」を、端末２１−３に対応する注目情報受信部５１８−１へ通知する。
【０１２７】
また、注目検知部５１６−２は、「聴衆者注目情報」を受信すると、第１の実施形態の注目検知部１６と同様に「発話者表示変更処理」を行う。即ち、注目検知部５１６−２は、発話者であり、「聴衆者注目情報」の送信元である注目情報送信部５１７−１に対応する端末２１−３を認識した上で、「端末２１−３に対応する映像を大きくする」という変形要求信号を作成し、制御部５３０を介してレイアウト変更指示解析部５７０へ通知する。レイアウト変更指示解析部５７０での処理は、第２の実施形態で示したとおりである。即ち、レイアウト変更指示解析部５７０は、制御部５３０から変形要求信号が入力された場合に、その変形要求信号に従って、レイアウト情報記憶部５６０に記憶されているレイアウト情報を更新し、制御部５３０にレイアウト情報が更新されたことを通知する機能を備える。レイアウト情報記憶部５６０に記憶されている端末２１−３へ送信する合成映像のレイアウト情報を変更し、制御部５３０に対して端末２１−３へ送信する合成映像のレイアウトを変更するように命令する。制御部５３０はレイアウト変更指示解析部５７０による命令に従い、更新されたレイアウト情報を映像合成部５２０へ与える。映像合成部５２０は、制御部５３０からレイアウト情報が与えられると、それに従い、レイアウトを変更した合成映像を生成する。
【０１２８】
注目情報受信部５１８−１は、注目情報送信部５１７−２から「発話者注目情報」を受信すると、「発話者注目情報」を抜き出し、注目検知部５１６−１へ出力する。
【０１２９】
注目検知部５１６−１は、第１の実施形態の注目検知部１６と同様に、「発話者注目情報」が入力されると、「聴衆者表示変更処理」を行う。即ち、注目検知部５１６−１は、自分宛の「発話者注目情報」を受信した場合には、発話者が注目する聴衆者であり、「発話者注目情報」の送信元である注目情報送信部５１７−２に対応する端末２２−３を認識した上で、「端末２２−３に対応する映像を大きくする」という変形要求信号を作成し、制御部５３０を介してレイアウト変更指示解析部５７０へ通知する。レイアウト変更指示解析部５７０での処理は第２の実施形態で示した通りである。
【０１３０】
以上、本実施形態に係るテレビ会議システムに関して、概要のみを示したが、本実施形態で説明を省略した部分は第１の実施形態、又は、第２の実施形態で示したとおりの動作を適用することが可能である。
【０１３１】
また、本実施形態に係るテレビ会議システムによれば、第１の実施形態と同様な効果を達成することができる。即ち、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているかがわかるようにすることができる。
【０１３２】
また、本実施形態に係るテレビ会議システムによれば、第２の実施形態に係るテレビ会議システムと同様な効果を達成することができる。即ち、端末とＭＣＵとを備えることにより、端末は他の端末から個別に映像を受信しなくても、ＭＣＵから一つの映像を受信して表示しつづけるだけでよく、端末の映像変形処理等の処理負荷を低減することができる。また、本実施形態に係るテレビ会議システムによれば、第２の実施形態に係るテレビ会議システムにおいては端末側の構成要素である注目検知部、注目情報送信部、注目情報受信部をＭＣＵ側の構成要素とすることにより、端末側の処理をより低減することができる。
【０１３３】
（第４の実施形態）
本実施形態に係るテレビ会議システムは、端末が、最初の状態（いずれの端末が聴衆者でない場合）において、表示画面に表示する映像が、図３２に示されるように、台形である点が、第１の実施形態に係るテレビ会議システムと異なる。
【０１３４】
まず、端末が、最初の状態において、表示画面に表示するテレビ会議参加者を台形に表示する方法について説明する。
【０１３５】
尚、本実施形態では、発話者となる会議参加者Ｓ(Speaker)が、自分以外に４人の会議参加者（Ａ，Ｂ，Ｃ，Ｄ）とテレビ会議システムを利用している場合であって、端末の表示画面に自分以外の４人の参加者の映像を表示する場合について説明する。尚、図３２に示すように、参加者Ａ、参加者Ｂ、参加者Ｃ，参加者Ｄは、それぞれ胸に「−」マーク、「○」マーク、「＋」マーク、「Ａ」マークを有するものとする。
【０１３６】
尚、本実施形態において、テレビ会議システムへの参加順序が、A、Ｂ，Ｃ，Ｄの順であるとし、参加者Ｓの端末は、この参加順序を認識しているものとする。例えば、参加者Ｓの端末は、映像受信部１２により受信した映像に対応する端末の順序で、参加順序を認識する。
【０１３７】
まず、映像制御部１３が、映像受信部１２により受信され、映像受信部１２により入力された４人の参加者の映像を変形する方法について説明する。
【０１３８】
まず、映像制御部１３は、映像受信部１２から受信した映像についてサイズの調整を行う。例えば、受信した映像が横のサイズが３２０ピクセル、縦のサイズが２４０ピクセルであった場合、横のサイズを240ピクセル、縦のサイズを240ピクセルとなるように調整する。（以下では、この画像サイズの調整を正規化と呼ぶ。）
次に、参加者Ｓの端末の映像制御部１３が、正規化した映像に対して行う画像変形処理について説明する。
【０１３９】
映像制御部１３が行う画像変形処理は、概略を説明すると以下のとおりである。
【０１４０】
（１）受信した映像を正規化後、正規化した映像の右辺部、又は、左辺部の長さがｒ１１／ｒ１２となるように台形変形する。
【０１４１】
（２）次に、台形変形した映像につき、横方向の長さがｒ２１／ｒ２２となるように縮小変形する。
【０１４２】
（３）次に、縮小変形した映像に対して、面積がｒ３１／ｒ３２となるように縮小変換する。
【０１４３】
次に、上記（１）〜（３）の映像制御部１３が行う画像変形処理について、具体的な処理を説明する。
【０１４４】
まず、第１の参加者（参加者Ａ）の映像の画像変形処理について説明する。第１の参加者の映像の画像変形処理においては、例えば、ｒ１１／ｒ１２＝１／２、ｒ２１／ｒ２２＝２／３、ｒ３１／ｒ３２＝１／１とする。
【０１４５】
（１−１）まず、第１の参加者の映像を正規化後（図３０の(a1)）、受信映像の右辺部が1/2(120ピクセル)となるように台形変形する（図３０の(a2)）。
【０１４６】
（１−２）次に、上記第１の参加者の台形変形映像に対し、横方向が2/3(160ピクセル)となるように縮小変形する（図３０の(a3)）
（１−３）更に、上記第１の参加者の縮小変形映像に対し、面積が1/1倍となるように縮変換する（図３０の(a4)）。
【０１４７】
次に、第２の参加者（参加者Ｂ）の画像変形処理について説明する。第１の参加者の映像の画像変形処理においては、例えば、ｒ１１／ｒ１２＝１／２、ｒ２１／ｒ２２＝２／３、ｒ３１／ｒ３２＝１／１とする。
【０１４８】
（２−１）まず、第１の参加者の映像を正規化した後（図３０の(b1)）、受信映像の左辺部が1/2(120ピクセル)となるように台形変形する（図３０の(b2)）
（２−２）次に、上記第２の参加者の台形変形映像に対し、横方向が2/3(160ピクセル)となるように縮小変形する（図３０の(b3)）
（２−３）更に、上記第２の参加者の縮小変形映像に対し、面積が1/1倍となるように縮小変換する（図３０の(b4)）
次に、第３の参加者（参加者Ｃ）の画像変形処理について説明する。第１の参加者の映像の画像変形処理においては、例えば、ｒ１１／ｒ１２＝１／２、ｒ２１／ｒ２２＝２／３、ｒ３１／ｒ３２＝１／４とする。
【０１４９】
（３−１）第３の参加者の映像を正規化した後（図３１の(c1)）、受信映像の右辺部が1/2(120ピクセル)となるように台形変形する（図３１の(c2)）
（３−２）また、上記第３の参加者の台形変形映像に対し、横方向が2/3(160ピクセル)となるように縮小変形する（図３１の(c3)）
（３−３）更に、上記第３の参加者の縮小変形映像に対し、面積が1/4倍となるように縮小変換する（図３１の(c4)）。
【０１５０】
次に、第４の参加者（参加者Ｄ）の画像変形処理について説明する。第１の参加者の映像の画像変形処理においては、例えば、ｒ１１／ｒ１２＝１／２、ｒ２１／ｒ２２＝２／３、ｒ３１／ｒ３２＝１／４とする。
【０１５１】
（４−１）まず、第４の参加者の映像を正規化した後（図３１の(d1)）、受信映像の左辺部が1/2(120ピクセル)となるように台形変形する（図３１の(d2)）
（４−２）また、上記第４の参加者の台形変形映像に対し、横方向が2/3(160ピクセル)となるように縮小変形する（図３１の(d3)）
（４−３）更に、上記第４の参加者の縮小変形映像に対し、面積が1/4倍となるように縮小変換する（図３１の(d4)）
以上の映像制御部１３が行う画像変形処理により、図３２に示されるように、第１の参加者（参加者Ａ）の映像の右辺部（すなわち、台形の上底）の長さと第３の参加者（参加者Ｃ）の映像の左辺部（すなわち、台形の下底）の長さとが一致するように変形される。また、第２の参加者（参加者Ｂ）の映像の左辺部（すなわち、台形の上底）の長さと第４の参加者（参加者Ｄ）の映像の右辺部（すなわち、台形の下底）の長さとが一致するように変形される。
【０１５２】
なお、本実施形態では発話者の会議参加者Ｓ以外の参加者が、４人である場合について説明したが、４人以上であっても良い。例えば、８人である場合について、映像制御部１３の上述した画像変形処理について説明する。第５の参加者の受信映像については、右辺部を1/2倍、横方向に2/3倍したのち、面積が1/16倍となるように変形する。第６の参加者の受信映像については、左辺部を１／２倍、横方向に2/3倍したのち、面積が1/16倍となるように変形する。第７の参加者の受信映像については、右辺部を１／２倍、横方向に2/3倍したのち、面積が１／６４倍となるように変形する。第８の受信映像については、左辺部を1/2倍、横方向に2/3倍したのち、面積が1/64倍となるように変形する。
【０１５３】
次に、映像表示部１４が、映像制御部１３から入力された映像データを、表示デバイスに表示させる。表示の際には、前述した４人の参加者の映像データの配置作業を行う。図３２には、映像表示部１４により配置された映像データを示す。参加者Ｓの端末の映像表示部１４は、まず、第１の参加者の映像が表示エリアの左部分に表示されるように配置する。次に、第２の参加者の映像が表示エリアの右部分に表示されるように配置する。次に、第３の参加者の映像は、第３の参加者の映像の左辺が第１の参加者の映像の右辺に接して表示されるように配置する。次に、第４の映像は、第４の参加者の映像の右辺が第2映像の左辺に接して表示されるように配置する。尚、第１の参加者の映像と第３の参加者の映像とは、接するように配置されなくても良い。第２の参加者の映像と第４の参加者の映像についても同様である。
【０１５４】
次に、端末が、発話者Ｓ側の端末である場合であって、「聴衆者表示変更処理」において、最初の状態において、図３２のように映像表示部１４に配置された映像データに関して、発話者Ｓが注目する聴衆者の映像の表示を変更する方法について説明する。
【０１５５】
即ち、第１の実施形態で説明したとおり、参加者Ｓの端末では、参加者Sが図３２の表示映像において、参加者Ｎ（ここでＮはＡ，Ｂ，Ｃ，Ｄのいずれかとする）の映像を注目すれば、参加者Ｎの端末に対し「聴衆者注目情報」が送付される。一方、「聴衆者注目情報」を受信した参加者Ｎの端末において、参加者Ｎが発話者側である参加者Sの映像（図示せず）を注目したとすると、参加者Sの端末に「発話者注目情報」が送付される。参加者Sの端末は「発話者注目情報」を受信した場合に、「聴衆者表示変更処理」を行う。
【０１５６】
本実施形態においては、参加者Ｓの端末は、「聴衆者表示変更処理」として、聴衆者である参加者Ｎの映像を正規化した後、面積がｒ４１／ｒ４２となるように縮小変換する。本実施形態においては、例えば、ｒ４１／ｒ４２＝４／９とする。
【０１５７】
以下では、参加者Ｓの端末が発話者となり、参加者Ａ〜Ｄそれぞれが、発話者が注目する聴衆者となった場合の、参加者Ｓの端末における「聴衆者表示変更処理」について説明する。
【０１５８】
例えば、参加者Ｓの端末では、参加者Sが図３２の表示映像において、参加者Ａの映像を注目し、参加者Ａの端末から「発話者注目情報」を受信した場合は、参加者Ｓの端末は、発話者が注目する聴衆者である参加者Ａからの受信映像を正規化した後、面積が4/9となるように縮小変換する。その結果、通常状態（「発話者注目情報」を受信前の状態。）において台形変形された状態（図３０の(a4)）で表示されていた参加者Ａの映像が、「発話者注目情報」を受信後には、正規化され、4/9倍に縮小変換された参加者Ａの映像が表示される。図３３(a)に参加者Ａの表示方法を変化させた場合の様子を示す。
【０１５９】
同様に、図３３(b)には、参加者Sが参加者Ｂを注目し、参加者Ｂの端末から「発話者注目情報」を受信した場合に、参加者Ｂの表示方法を変化させた場合の様子を示す。また、図３４(c)には、参加者Sが参加者Ｃを注目し、参加者Ｃの端末から「発話者注目情報」を受信した場合に、参加者Ｃの表示方法を変化させた場合の様子を示す。また、図３４(d)には、参加者Sが参加者Ｄを注目し、参加者Ｄの端末から「発話者注目情報」を受信した場合に、参加者Ｄの表示方法を変化させた場合の様子を示す。
【０１６０】
尚、以上では、発話者側の端末の「聴衆者表示変更処理」における聴衆者の映像の表示の変更方法について説明したが、聴衆者側の端末の「発話者表示変更処理」における発話者の映像の表示の変更方法も上記で説明した表示方法の変更方法と同様の変更方法により処理を行う。
【０１６１】
本実施形態に係るテレビ会議システムによれば、発話者側端末が、最初の状態（いずれの参加者も発話者でない場合）において、表示画面に表示する映像が、台形であり、発話者端末が、「発話者注目情報」を受信した場合に、発話者注目情報の送信元である聴衆者の画像だけ形状を変更（例えば、正方形にする。）して強調表示することにより、端末を利用する利用者が、自分が注目した相手もまた自分を注目している様子がより強調され、その認識が容易となる効果を有する。即ち、最初の状態において、表示画面に表示される映像が、台形であることにより、表示画面により表示された他端末の利用者の映像は、自端末の利用者が、表示画面を斜めから見たような映像であり、正面から見たような映像として表示されないのに対して、強調表示することにより表示される端末の利用者の映像は、自端末の利用者が、表示画面を正面から見たような映像として表示されるため、利用者は、容易に認識することができる。
【０１６２】
本実施形態において、最初の状態において、表示画面に表示する映像は台形としたが、必ずしも台形である必要はない。即ち、表示画面により表示された他端末の利用者の映像が、自端末の利用者が、表示画面を斜めから見たような映像であれば良い。また、本実施形態においては、「発話者注目情報」を受信した場合に、発話者注目情報の送信元の画像を正方形として表示したが、必ずしも正方形として表示する必要はない。即ち、自端末の利用者が、表示画面を正面から見たような映像として表示すれば良い。例えば、長方形として表示しても良い。
【０１６３】
尚、本実施形態においては、次に、映像表示部１４が、映像制御部１３から入力された映像データを、表示デバイスに表示させる際の、配置作業は、本実施形態に示した方法に限られない。例えば、参加者Ｓの端末の映像表示部１４は、第１の参加者の映像が表示エリアの右部分に表示されるように配置し、第２の参加者の映像が表示エリアの左部分に表示されるように配置し、第３の参加者の映像が、第３の参加者の映像の右辺が第１の映像の左辺に接して表示されるように配置し、第４の映像は、第４の参加者の映像の左辺が第2映像の右辺に接して表示されるように配置しても良い。また、第１の参加者の映像から第４の参加者の映像を、左から順番に配置しても良い。この場合、それぞれの配置に合わせて、第１の参加者から第４の参加者の映像の台形変形、縮小変形等を行って良い。
【０１６４】
また、r11/r12、r21/r22、r31/r33の比率についても本実施形態に示した上記に示した値に限られない。例えば、r11/r12 = 3/4、r21/r22 = 4/7とし、r31/r33で示す面積比も順に1/1倍（参加者Aの映像、参加者Ｂの映像の場合）、9/16倍（参加者Ｃの映像、参加者Ｄの映像の場合）となるようにしてもよい。
【０１６５】
また、r41/r42についても本実施形態に示した上記に示した値に限られない。例えば、r41/r42 = 1/2としても良い。また、r41/r42について、参加者の映像に応じて値を変更してもよい。例えば、r41/r42に関して、参加者Ａ、参加者Ｂの映像については、4/9倍として、参加者Ｃ及び参加者Ｄの映像については、1/9倍となるようにしてもよい。また、正規化後の映像のサイズについても、横のサイズを240ピクセル、縦のサイズを240ピクセルとするサイズ（正方形）に限られない。例えば、横のサイズを320ピクセル、縦のサイズを240ピクセル（長方形）であっても良い。
【０１６６】
尚、本実施形態に係るテレビ会議システムは、第１の実施形態に示したような端末とネットワークからなるテレビ会議システム、第２及び第３の実施形態に示したような端末とＭＣＵを備えるテレビ会議システム、いずれのテレビ会議システムにも適用することができる。
【０１６７】
尚、本発明は上記実施形態をそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１６８】
３・・・伝送路
５、５−３・・・ＭＣＵ
１０・・・注目情報入力部
１１、１１−２、１１−３・・・映像送信部
１２、１２−２、１２−３・・・映像受信部
１３・・・映像制御部
１４、１４−３・・・映像表示部
１５、１５−３・・・発話検知部
１６、１６−２、５１６−１、５１６−２、５１６−３、５１６−４・・・注目検知部
１７、５１７−１、５１７−２、５１７−３、５１７−４・・・注目情報送信部
１８、５１８−１、５１８−２、５１８−３、５１８−４・・・注目情報受信部
１６Ａ・・・発話者処理部
１６Ｂ・・・聴衆者注目情報構築部
１６Ｃ・・・聴衆者登録情報テーブル
１６Ｄ・・・聴衆者登録処理部
１６Ｅ・・・聴衆者表示変更処理部
１６Ｆ・・・発話者登録処理部
１６Ｇ・・・発話者登録情報テーブル
１６Ｈ・・・発話者表示変更処理部
１６Ｉ・・・聴衆者処理部
１６Ｊ・・・発話者注目情報構築部
１９・・・変形要求信号送信部
２１、２２、２３、２４、２１−２、２２−２、２３−２、２４−２、２１−３、２２−３、２３−３、２４−３・・・端末
２１ｃ、２２ｃ、２３ｃ、２４ｃ・・・カメラ
２１ｍ、２２ｍ、２３ｍ、２４ｍ・・・マイク
２１ｓ、２２ｓ、２３ｓ、２４ｓ・・・スピーカ
２１ｄ、２２ｄ、２３ｄ、２４ｄ・・・表示デバイス
５１０・・・パケット送受信部
５２０・・・映像合成部
５３０・・・制御部
５４１、５４２、５４３、５４４・・・映像伸長部
５５１、５５２、５５３、５５４・・・映像圧縮部
５６０・・・レイアウト情報記憶部
５７０・・・レイアウト変更指示解析部
５８０・・・内部バス
Ｖ１、Ｖ２、Ｖ３、Ｖ４・・・入力映像
Ａ１、Ａ２、Ａ３、Ａ４・・・入力音声
ＭＶ１、ＭＶ２、ＭＶ３、ＭＶ４・・・映像
ＭＡ１、ＭＡ２、ＭＡ３、ＭＡ４・・・音声
【特許請求の範囲】
【請求項１】
自端末の利用者を撮像した第1映像を他端末に送信する映像送信手段と、
他端末の利用者を撮像した複数の第2映像を受信する映像受信手段と、
複数の前記第2映像を並べて表示する表示手段と、
前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、
前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像から検知する注目検知手段と、
前記注目検知手段が検知した注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信手段と、
前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信手段と、
前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御手段とを備えることを特徴とする端末。
【請求項２】
前記制御手段は、前記注目映像に対応する第2映像を、残りの第2映像にくらべて拡大することを特徴とする
請求項１記載の端末。
【請求項３】
前記制御手段は、前記注目映像に対応する第2映像を、残りの第2映像にくらべて形状を変形することを特徴とする
請求項１記載の端末。
【請求項４】
前記表示手段により表示された前記第２映像は、台形であり、
前記表示手段により表示された表示エリアの左部分は、該台形の左辺が下底、右辺が上底であり、表示エリアの右部分は、該台形の右辺が下底、左辺が上底となるような台形であり、
前記表示エリアの左部分に配置された前記第２映像は、前記表示エリアの右側に配置される台形ほど、上底及び下底の長さが短く、
前記表示エリアの右側に配置された前記第２映像は、前記表示エリアの左側に配置される台形ほど、上底及び下底の長さが短いことを特徴とする
請求項１記載の端末。
【請求項５】
前記第２映像は、隣り合う前記第２映像の台形の上底と下底が接するように配置され、
前記表示エリアの左部に配置された隣り合う前記第２映像は、左側に配置された台形の上底の長さと右側に配置された台形の下底の長さとが一致し、
前記表示エリアの右部に配置された隣り合う前記第２映像は、右側に配置された台形の上底の長さと左側に配置された台形の下底の長さとが一致することを特徴とする
請求項４記載の端末。
【請求項６】
前記制御手段は、前記注目映像に対応する第2映像を、長方形に変形することを特徴とする
請求項４、又は請求項５記載の端末。
【請求項７】
前記表示手段により表示された前記第2映像は、前記第１映像に対応する利用者が、表示画面を斜めから見たような映像であり、
前記制御手段は、前記注目映像に対応する第2映像は、前記第１映像に対応する利用者が、表示画面を正面から見たような映像とすることで強調することを特徴とする
請求項１記載の端末。
【請求項８】
自端末の利用者を撮像した第1映像をサーバに送信する映像送信手段と、
前記サーバから他端末の利用者を撮像した複数の第2映像の合成映像を受信する映像受信手段と、
前記映像受信手段により受信した合成映像を表示する表示手段と、
前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、
前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像の合成映像から検知する注目検知手段と、
前記注目検知手段が検知した注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信手段と、
前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信手段と、
前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調する要求を前記サーバへ送信する要求送信手段とを備えることを特徴とする端末。
【請求項９】
前記注目検知手段は、前記注目情報受信手段により前記第２の注目情報を受信した場合に、検知した注目映像に対応する端末と前記第２の注目情報の送信元である端末とが一致するか否かを判定し、
前記注目情報送信手段は、前記注目検知手段が一致すると判定した場合に、前記注目映像に対応する端末に対して、第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する手段であることを特徴とする
請求項１、又は請求項８記載の端末。
【請求項１０】
複数の端末の利用者を撮像した映像を受信する映像受信手段と、
前記映像受信手段により受信した端末の利用者の映像を合成することにより合成映像を生成する合成手段と、
前記合成映像を前記複数の端末へ送信する映像送信手段と、
前記端末の利用者が、発話をしていることを通知する発話者通知信号を受信する通知信号受信手段と、
前記通知信号受信手段が、発話者通知信号を受信した場合に、前記発話者通知信号を通知した端末の利用者が注目している端末の利用者の第１の注目映像を、前記合成映像から検知する検知手段とを備え、
前記検知手段は、前記第１の注目映像に対応する端末の利用者が、注目している端末の利用者の第２の注目映像を、前記合成映像から検知し、該第２の注目映像に対応する端末の利用者と前記発話者通知信号を通知した端末の利用者とが一致するか否かを判定し、
前記合成手段は、前記検知手段が一致すると判定した場合に、前記合成映像のうち、前記第１の注目映像に対応する端末の利用者の映像を強調表示した合成映像を生成することを特徴とするサーバ。
【請求項１１】
前記合成手段は、前記合成映像のうち、前記第１の注目映像に対応する端末の利用者の映像を拡大することを特徴とする
請求項１０記載のサーバ。
【請求項１２】
前記合成手段は、前記合成映像のうち、前記第１の注目映像に対応する端末の利用者の映像を変形することを特徴とする
請求項１０記載のサーバ。
【請求項１３】
前記合成手段は、前記映像受信手段により受信した複数の端末の利用者の映像を台形に変形した合成映像を生成し、
前記合成映像の利用者の映像は、前記合成映像の左部分は、該台形の左辺が下底、右辺が上底であり、前記合成映像の右部分は、該台形の右辺が下底、左辺が上底であり、
前記合成映像の左部の利用者の映像は、前記合成映像の右側にある映像ほど、上底及び下底の長さが短く、
前記合成映像の右部の利用者の映像は、前記合成映像の左側にある映像ほど、上底及び下底の長さが短いことを特徴とする
請求項１０記載のサーバ。
【請求項１４】
前記合成映像の利用者の映像は、隣り合う前記合成映像の利用者の映像の台形の上底と下底が、接するように配置され、
前記合成映像の左部の隣り合う利用者の映像は、左側に配置された台形の上底の長さと右側に配置された台形の下底の長さとが一致し、
前記合成映像の右部の隣り合う利用者の映像は、右側に配置された台形の上底の長さと左側に配置された台形の下底の長さとが一致することを特徴とする
請求項１３記載のサーバ。
【請求項１５】
前記合成手段は、前記合成映像のうち、前記第１の注目映像に対応する端末の利用者の映像を、長方形に変形して強調表示した合成映像を生成することを特徴とする
請求項１３記載のサーバ。
【請求項１６】
前記合成映像の利用者の映像は、前記端末の利用者が、表示画面を斜めから見たよう映像であり、
前記合成手段は、前記第１の注目映像に対応する端末の利用者の映像を、前記端末の利用者が表示画面を正面から見たような映像として強調表示した合成映像を生成することを特徴とする
請求項１０記載のサーバ。
【請求項１７】
第１の端末が、前記第１の端末の利用者の映像を撮像した第１映像を他端末に送信する映像送信ステップと、
前記第１の端末が、他端末の利用者を撮像した複数の第２映像を受信する映像受信ステップと、
前記第１の端末が、前記複数の第２映像を並べて表示する表示ステップと、
前記第１の端末の利用者が、発話をしていることを検知する発話検知ステップと、
前記第１の端末が、発話中に注目している利用者の第１の注目映像を、前記第２映像から検知する第１の注目検知ステップと、
前記第１の注目検知ステップにおいて検知した前記第１の注目映像に対応する他の端末に対して、前記第１の端末の利用者が、前記第１の注目映像を注目していることを示す第１の注目情報を送信する第１の注目情報送信ステップと、
前記第１の注目映像に対応する第２の端末が、前記第１の端末から前記第１の注目情報を受信する第１の注目情報受信ステップと、
前記第２の端末が、前記第１の注目情報受信ステップにより前記第１の注目情報を受信した場合に、前記第２の端末の利用者が、注目している利用者の第２の注目映像を、前記第２の端末の表示手段に表示された映像から検知し、該第２の注目映像に対応する端末と前記第１の端末とが一致するか否かを判定する第２の注目検知ステップと、
前記第２の注目検知ステップにおいて、一致すると判定した場合に、前記第２の端末が、第２の注目映像を注目していることを示す第２の注目情報を送信する第２の注目情報送信ステップと、
前記第１の端末が、前記第２の注目情報を受信する第２の注目情報受信ステップと、
前記第１の端末が、前記第２の注目情報を受信した場合に、前記第１の注目映像に対応する第２映像を強調表示する制御を行う制御ステップとを備えることを特徴とする会議方法。
【請求項１８】
自端末の利用者を撮像した第1映像を他端末に送信する映像送信手段と、
他端末の利用者を撮像した複数の第2映像を受信する映像受信手段と、
複数の前記第2映像を並べて表示する表示手段と、
前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、
前記第1映像に対応する利用者が発話中に注目している利用者の第１の注目映像を、前記第2映像から検知する第１の注目検知手段と、
前記第１の注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記第１の注目映像を注目していることを示す第１の注目情報を送信する第１の注目情報送信手段と、
前記第１の注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する第１の注目情報受信手段と、
前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記第１の注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御手段とを備える第１の端末と、
他の端末から第２の注目情報を受信する第２の注目情報受信手段と、
前記第２の注目情報受信手段により前記第２の注目情報を受信した場合に、自端末の利用者が、注目している第２の注目映像を、表示手段に表示された複数の第２映像から検知し、該検知した第２の注目映像に対応する端末と前記第２の注目情報の送信元である端末とが一致するか否かを判定する第２の注目検知手段と、
前記第２の注目検知手段が一致すると判定した場合に、前記第２の注目映像に対応する端末に対して、自端末が、前記第２の注目映像を注目していることを示す第１の注目情報を送信する第２の注目情報送信手段とを備える第２の端末とを
備えることを特徴とする会議システム。
【請求項１９】
自端末の利用者を撮像した第1映像を他端末に送信する映像送信機能と、
他端末の利用者を撮像した複数の第2映像を受信する映像受信機能と、
複数の前記第2映像を並べて表示する表示機能と、
前記第１映像に対応する利用者が発話していることを検知する発話検知機能と、
前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像から検知する注目検知機能と、
前記注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信機能と、
前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信機能と、
前記第２の注目情報を受信した場合に、前記表示機能により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御機能とを有し、
前記注目検知機能は、前記注目情報受信機能により前記第２の注目情報を受信した場合に、検知した注目映像に対応する端末と前記第２の注目情報の送信元である端末とが一致するか否かを判定し、
前記注目情報送信機能は、前記注目検知機能が一致すると判定した場合に、前記注目映像に対応する端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信することを特徴とする
会議プログラム。
【請求項１】
自端末の利用者を撮像した第1映像を他端末に送信する映像送信手段と、
他端末の利用者を撮像した複数の第2映像を受信する映像受信手段と、
複数の前記第2映像を並べて表示する表示手段と、
前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、
前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像から検知する注目検知手段と、
前記注目検知手段が検知した注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信手段と、
前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信手段と、
前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御手段とを備えることを特徴とする端末。
【請求項２】
前記制御手段は、前記注目映像に対応する第2映像を、残りの第2映像にくらべて拡大することを特徴とする
請求項１記載の端末。
【請求項３】
前記制御手段は、前記注目映像に対応する第2映像を、残りの第2映像にくらべて形状を変形することを特徴とする
請求項１記載の端末。
【請求項４】
前記表示手段により表示された前記第２映像は、台形であり、
前記表示手段により表示された表示エリアの左部分は、該台形の左辺が下底、右辺が上底であり、表示エリアの右部分は、該台形の右辺が下底、左辺が上底となるような台形であり、
前記表示エリアの左部分に配置された前記第２映像は、前記表示エリアの右側に配置される台形ほど、上底及び下底の長さが短く、
前記表示エリアの右側に配置された前記第２映像は、前記表示エリアの左側に配置される台形ほど、上底及び下底の長さが短いことを特徴とする
請求項１記載の端末。
【請求項５】
前記第２映像は、隣り合う前記第２映像の台形の上底と下底が接するように配置され、
前記表示エリアの左部に配置された隣り合う前記第２映像は、左側に配置された台形の上底の長さと右側に配置された台形の下底の長さとが一致し、
前記表示エリアの右部に配置された隣り合う前記第２映像は、右側に配置された台形の上底の長さと左側に配置された台形の下底の長さとが一致することを特徴とする
請求項４記載の端末。
【請求項６】
前記制御手段は、前記注目映像に対応する第2映像を、長方形に変形することを特徴とする
請求項４、又は請求項５記載の端末。
【請求項７】
前記表示手段により表示された前記第2映像は、前記第１映像に対応する利用者が、表示画面を斜めから見たような映像であり、
前記制御手段は、前記注目映像に対応する第2映像は、前記第１映像に対応する利用者が、表示画面を正面から見たような映像とすることで強調することを特徴とする
請求項１記載の端末。
【請求項８】
自端末の利用者を撮像した第1映像をサーバに送信する映像送信手段と、
前記サーバから他端末の利用者を撮像した複数の第2映像の合成映像を受信する映像受信手段と、
前記映像受信手段により受信した合成映像を表示する表示手段と、
前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、
前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像の合成映像から検知する注目検知手段と、
前記注目検知手段が検知した注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信手段と、
前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信手段と、
前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調する要求を前記サーバへ送信する要求送信手段とを備えることを特徴とする端末。
【請求項９】
前記注目検知手段は、前記注目情報受信手段により前記第２の注目情報を受信した場合に、検知した注目映像に対応する端末と前記第２の注目情報の送信元である端末とが一致するか否かを判定し、
前記注目情報送信手段は、前記注目検知手段が一致すると判定した場合に、前記注目映像に対応する端末に対して、第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する手段であることを特徴とする
請求項１、又は請求項８記載の端末。
【請求項１０】
複数の端末の利用者を撮像した映像を受信する映像受信手段と、
前記映像受信手段により受信した端末の利用者の映像を合成することにより合成映像を生成する合成手段と、
前記合成映像を前記複数の端末へ送信する映像送信手段と、
前記端末の利用者が、発話をしていることを通知する発話者通知信号を受信する通知信号受信手段と、
前記通知信号受信手段が、発話者通知信号を受信した場合に、前記発話者通知信号を通知した端末の利用者が注目している端末の利用者の第１の注目映像を、前記合成映像から検知する検知手段とを備え、
前記検知手段は、前記第１の注目映像に対応する端末の利用者が、注目している端末の利用者の第２の注目映像を、前記合成映像から検知し、該第２の注目映像に対応する端末の利用者と前記発話者通知信号を通知した端末の利用者とが一致するか否かを判定し、
前記合成手段は、前記検知手段が一致すると判定した場合に、前記合成映像のうち、前記第１の注目映像に対応する端末の利用者の映像を強調表示した合成映像を生成することを特徴とするサーバ。
【請求項１１】
前記合成手段は、前記合成映像のうち、前記第１の注目映像に対応する端末の利用者の映像を拡大することを特徴とする
請求項１０記載のサーバ。
【請求項１２】
前記合成手段は、前記合成映像のうち、前記第１の注目映像に対応する端末の利用者の映像を変形することを特徴とする
請求項１０記載のサーバ。
【請求項１３】
前記合成手段は、前記映像受信手段により受信した複数の端末の利用者の映像を台形に変形した合成映像を生成し、
前記合成映像の利用者の映像は、前記合成映像の左部分は、該台形の左辺が下底、右辺が上底であり、前記合成映像の右部分は、該台形の右辺が下底、左辺が上底であり、
前記合成映像の左部の利用者の映像は、前記合成映像の右側にある映像ほど、上底及び下底の長さが短く、
前記合成映像の右部の利用者の映像は、前記合成映像の左側にある映像ほど、上底及び下底の長さが短いことを特徴とする
請求項１０記載のサーバ。
【請求項１４】
前記合成映像の利用者の映像は、隣り合う前記合成映像の利用者の映像の台形の上底と下底が、接するように配置され、
前記合成映像の左部の隣り合う利用者の映像は、左側に配置された台形の上底の長さと右側に配置された台形の下底の長さとが一致し、
前記合成映像の右部の隣り合う利用者の映像は、右側に配置された台形の上底の長さと左側に配置された台形の下底の長さとが一致することを特徴とする
請求項１３記載のサーバ。
【請求項１５】
前記合成手段は、前記合成映像のうち、前記第１の注目映像に対応する端末の利用者の映像を、長方形に変形して強調表示した合成映像を生成することを特徴とする
請求項１３記載のサーバ。
【請求項１６】
前記合成映像の利用者の映像は、前記端末の利用者が、表示画面を斜めから見たよう映像であり、
前記合成手段は、前記第１の注目映像に対応する端末の利用者の映像を、前記端末の利用者が表示画面を正面から見たような映像として強調表示した合成映像を生成することを特徴とする
請求項１０記載のサーバ。
【請求項１７】
第１の端末が、前記第１の端末の利用者の映像を撮像した第１映像を他端末に送信する映像送信ステップと、
前記第１の端末が、他端末の利用者を撮像した複数の第２映像を受信する映像受信ステップと、
前記第１の端末が、前記複数の第２映像を並べて表示する表示ステップと、
前記第１の端末の利用者が、発話をしていることを検知する発話検知ステップと、
前記第１の端末が、発話中に注目している利用者の第１の注目映像を、前記第２映像から検知する第１の注目検知ステップと、
前記第１の注目検知ステップにおいて検知した前記第１の注目映像に対応する他の端末に対して、前記第１の端末の利用者が、前記第１の注目映像を注目していることを示す第１の注目情報を送信する第１の注目情報送信ステップと、
前記第１の注目映像に対応する第２の端末が、前記第１の端末から前記第１の注目情報を受信する第１の注目情報受信ステップと、
前記第２の端末が、前記第１の注目情報受信ステップにより前記第１の注目情報を受信した場合に、前記第２の端末の利用者が、注目している利用者の第２の注目映像を、前記第２の端末の表示手段に表示された映像から検知し、該第２の注目映像に対応する端末と前記第１の端末とが一致するか否かを判定する第２の注目検知ステップと、
前記第２の注目検知ステップにおいて、一致すると判定した場合に、前記第２の端末が、第２の注目映像を注目していることを示す第２の注目情報を送信する第２の注目情報送信ステップと、
前記第１の端末が、前記第２の注目情報を受信する第２の注目情報受信ステップと、
前記第１の端末が、前記第２の注目情報を受信した場合に、前記第１の注目映像に対応する第２映像を強調表示する制御を行う制御ステップとを備えることを特徴とする会議方法。
【請求項１８】
自端末の利用者を撮像した第1映像を他端末に送信する映像送信手段と、
他端末の利用者を撮像した複数の第2映像を受信する映像受信手段と、
複数の前記第2映像を並べて表示する表示手段と、
前記第１映像に対応する利用者が発話していることを検知する発話検知手段と、
前記第1映像に対応する利用者が発話中に注目している利用者の第１の注目映像を、前記第2映像から検知する第１の注目検知手段と、
前記第１の注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記第１の注目映像を注目していることを示す第１の注目情報を送信する第１の注目情報送信手段と、
前記第１の注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する第１の注目情報受信手段と、
前記第２の注目情報を受信した場合に、前記表示手段により表示される前記第2映像のうち、前記第１の注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御手段とを備える第１の端末と、
他の端末から第２の注目情報を受信する第２の注目情報受信手段と、
前記第２の注目情報受信手段により前記第２の注目情報を受信した場合に、自端末の利用者が、注目している第２の注目映像を、表示手段に表示された複数の第２映像から検知し、該検知した第２の注目映像に対応する端末と前記第２の注目情報の送信元である端末とが一致するか否かを判定する第２の注目検知手段と、
前記第２の注目検知手段が一致すると判定した場合に、前記第２の注目映像に対応する端末に対して、自端末が、前記第２の注目映像を注目していることを示す第１の注目情報を送信する第２の注目情報送信手段とを備える第２の端末とを
備えることを特徴とする会議システム。
【請求項１９】
自端末の利用者を撮像した第1映像を他端末に送信する映像送信機能と、
他端末の利用者を撮像した複数の第2映像を受信する映像受信機能と、
複数の前記第2映像を並べて表示する表示機能と、
前記第１映像に対応する利用者が発話していることを検知する発話検知機能と、
前記第1映像に対応する利用者が発話中に注目している利用者の注目映像を、前記第2映像から検知する注目検知機能と、
前記注目映像に対応する他の端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信する注目情報送信機能と、
前記注目映像に対応する他の端末の利用者が、前記第1映像に注目していたことを示す第２の注目情報を受信する注目情報受信機能と、
前記第２の注目情報を受信した場合に、前記表示機能により表示される前記第2映像のうち、前記注目映像に対応する第2映像を、残りの第2映像にくらべて強調表示する制御を行う制御機能とを有し、
前記注目検知機能は、前記注目情報受信機能により前記第２の注目情報を受信した場合に、検知した注目映像に対応する端末と前記第２の注目情報の送信元である端末とが一致するか否かを判定し、
前記注目情報送信機能は、前記注目検知機能が一致すると判定した場合に、前記注目映像に対応する端末に対して、前記第１映像に対応する利用者が、前記注目映像を注目していることを示す第１の注目情報を送信することを特徴とする
会議プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２０１０−２００１５０（Ｐ２０１０−２００１５０Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−４４５１７（Ｐ２００９−４４５１７）
【出願日】平成２１年２月２６日（２００９．２．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２６日（２００９．２．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]