映像コミュニケーションシステム及びその作動方法
【課題】２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムを提供する。
【解決手段】映像コミュニケーションシステムでは、第１映像通信端末２０は、原映像を映像中継サーバに送信する原映像送信部２０１を備え、第２映像通信端末３０は、当該原映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する注目物体画像生成部３０１と、該注目物体画像を映像中継サーバ１０に送信する注目物体画像送信部３０２とを備える。映像中継サーバ１０は、第１映像通信端末２０から受信した原映像と注目物体画像を照合し、当該原映像中で注目物体座標を検出する注目物体検出部１０１と、注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成する合成映像生成部１０２と、該合成映像を、第１映像通信端末２０又は第２映像通信端末３０に送信する合成映像送信部１０３とを備える。
【解決手段】映像コミュニケーションシステムでは、第１映像通信端末２０は、原映像を映像中継サーバに送信する原映像送信部２０１を備え、第２映像通信端末３０は、当該原映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する注目物体画像生成部３０１と、該注目物体画像を映像中継サーバ１０に送信する注目物体画像送信部３０２とを備える。映像中継サーバ１０は、第１映像通信端末２０から受信した原映像と注目物体画像を照合し、当該原映像中で注目物体座標を検出する注目物体検出部１０１と、注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成する合成映像生成部１０２と、該合成映像を、第１映像通信端末２０又は第２映像通信端末３０に送信する合成映像送信部１０３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像通信端末間で映像を送受信する映像コミュニケーションシステムに関し、特に、各映像通信端末を使用するユーザ間の意思疎通を円滑化する映像コミュニケーションシステム及びその作動方法に関する。
【背景技術】
【０００２】
映像コミュニケーションシステムは、既に一般に普及しており、高価なビジネス向けテレビ会議システムだけでなく、一般向けの携帯電話を映像通信端末としたテレビ会議システムにも実装されるに至っている。
【０００３】
映像コミュニケーションシステムの一般的な課題として、映像に映っている物体に対して、通常の対面での会話のように「あれ」「それ」といった指示語やジェスチャで指し示して話をすることが困難であることが挙げられる。この問題を解決するために、映像通信端末間で同一の映像を共有し、その共有された映像の中に映像通信端末のユーザが通信する映像中に図形を書き込み、映像と図形を重畳して表示可能なシステムも実用化されている（例えば、非特許文献１参照）。これらのシステムの多くはテレビ会議映像とは別に、ホワイトボードや電子ファイル、Ｗｅｂページ等の画面を各映像通信端末間で共有して書きこむものであるが、テレビ会議映像への図形の重畳も同様に技術的に可能である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】“リアルコラボ”、ＮＴＴソフトウェア株式会社、［online]、［２０１１年１月１１日検索］、インターネット〈http://www.ntts.co.jp/products/realcollabo/index.html〉
【発明の概要】
【発明が解決しようとする課題】
【０００５】
映像への図形の重畳表示機能を携帯電話等の移動端末のテレビ電話に応用することで、従来のテレビ会議の場だけでない様々な場面での会話の円滑化に役立つと考えられるが、そのためには次のような課題が存在する。
【０００６】
多くの移動端末は手で持って使うために手ぶれが大きく、重畳した図形の映像中の位置が、意図した場所からずれてしまうという課題がある。前述した非特許文献１の技術のような企業向けのテレビ会議システムでは、映像に利用するためのカメラは固定されていることが基本であり、映像に撮影される被写体（対象の物体）も動きは少ない。一方、カメラ付き移動端末を映像通信端末として利用することを考えると、カメラが頻繁に移動するだけでなく、屋外などの場面では映像中の物体についても動きが多くなる。したがって、例えばある瞬間に映像中の中心部に映っていた物体に矢印を書き込んだとしても、その物体が次の瞬間には映像中の別の場所に表示されているということが十分に起こり得る。このような状況で、矢印の位置を元の映像の中心部に固定したままでは、矢印が指す物体が変わってしまい、矢印の意味がなくなってしまうということが起こり得る。
【０００７】
さらに、非特許文献１のテレビ会議システムでは、業務用の固定端末を映像通信端末として利用するため十分な処理能力を具備できるが、移動端末は比較的処理能力が限定されることが多い。このため、移動端末で図形の重畳等の高負荷な処理を実行できないという問題も想定される。
【０００８】
また、図形の重畳等の高負荷な処理を実現するためには、特別な専用のソフトウェアが必要となるため、市販の移動端末をそのまま利用できないことが想定され、テレビ会議システム専用の移動端末や専用のソフトウェアをそれぞれの映像通信端末に用意することは、システムのコストの増大、ユーザ利便性等の問題が生じる。
【０００９】
そこで、本発明は、上述の問題を鑑みて為されたものであり、各映像通信端末を使用するユーザ間の意思疎通を円滑化する映像コミュニケーションシステム及びその作動方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明に係る映像コミュニケーションシステムは、従来のテレビ会議システムとは異なり、各映像通信端末を使用するユーザ間の意思疎通を円滑化するために、映像通信端末から提供される原映像に所定の図形を重畳した合成映像を生成及び提供する映像中継サーバを設け、各映像通信端末は、映像中継サーバを介して映像コミュニケーションを実現する構成とする。従って、本発明に係る映像コミュニケーションシステムでは、各映像通信端末が重畳すべき図形やその座標位置を指定するやり方を主題とするものではなく、各映像通信端末によって重畳すべき図形やその座標位置を指定された際に、映像中継サーバが合成映像を生成及び提供するようにしたことに主題があるため、従来からのテレビ会議システムとは技術的に区別されるべきことに留意する。
【００１１】
即ち、本発明による第１態様の映像コミュニケーションシステムは、２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムであって、第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備え、第２映像通信端末は、当該原映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する注目物体画像生成部と、該注目物体画像を前記映像中継サーバに送信する注目物体画像送信部とを備え、前記映像中継サーバは、前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出する注目物体検出部と、前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成する合成映像生成部と、該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信する合成映像送信部と、を備えることを特徴とする。これにより、第１映像通信端末における処理負担を軽減させつつ各映像通信端末間の映像コミュニケーションを実現することができる。
【００１２】
また、本発明による第１態様の映像コミュニケーションシステムにおいて、前記合成映像送信部は、前記合成映像を前記第１映像通信端末及び前記第２映像通信端末の双方に送信する手段を有することを特徴とする。これにより、第２映像通信端末は、第１映像通信端末と合成映像を共有することができる。
【００１３】
また、本発明による第１態様の映像コミュニケーションシステムにおいて、前記第２映像通信端末の注目物体画像生成部は、当該合成映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する手段を有することを特徴とする。これにより、第２映像通信端末は、合成映像に対して更に注目物体を指定できるようになる。
【００１４】
さらに、本発明による第２態様の映像コミュニケーションシステムは、２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムであって、第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備え、第２映像通信端末は、当該原映像中で指定される注目領域を示す注目領域座標の情報を生成する注目領域座標指定処理部と、該注目領域座標の情報を前記映像中継サーバに送信する注目領域座標送信部とを備え、前記映像中継サーバは、前記第２映像通信端末から受信した注目領域座標の情報を基に、当該原映像中で注目物体の全部又は一部を含む部分画像を抽出して注目物体画像として生成する注目物体画像抽出部と、前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出する注目物体検出部と、前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成する合成映像生成部と、該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信する合成映像送信部と、を備えることを特徴とする。これにより、第１映像通信端末における処理負担を軽減させつつ各映像通信端末間の映像コミュニケーションを実現することができる。
【００１５】
また、本発明による第２態様の映像コミュニケーションシステムにおいて、前記合成映像送信部は、前記合成映像を前記第１映像通信端末及び前記第２映像通信端末の双方に送信する手段を有することを特徴とする。これにより、第２映像通信端末は、第１映像通信端末と合成映像を共有することができる。
【００１６】
また、本発明による第２態様の映像コミュニケーションシステムにおいて、前記第２映像通信端末の注目領域座標指定処理部は、当該合成映像中で指定される注目領域を示す注目領域座標の情報を生成する手段を有することを特徴とする。これにより、第２映像通信端末は、合成映像に対して更に注目物体を指定できるようになる。
【００１７】
また、本発明による第１態様の映像コミュニケーションシステムにおける作動方法は、２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムにおける映像中継サーバの作動方法であって、第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備えており、第２映像通信端末は、当該原映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する注目物体画像生成部と、該注目物体画像を前記映像中継サーバに送信する注目物体画像送信部とを備えており、前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出するステップと、前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成するステップと、該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信するステップと、を含むことを特徴とする。
【００１８】
また、本発明による第２態様の映像コミュニケーションシステムにおける作動方法は、２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムにおける映像中継サーバの作動方法であって、第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備えており、第２映像通信端末は、当該原映像中で指定される注目領域を示す注目領域座標の情報を生成する注目領域座標指定処理部と、該注目領域座標の情報を前記映像中継サーバに送信する注目領域座標送信部とを備えており、前記第２映像通信端末から受信した注目領域座標の情報を基に、当該原映像中で注目物体の全部又は一部を含む部分画像を抽出して注目物体画像として生成するステップと、前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出するステップと、前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成するステップと、該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信するステップと、を含むことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、映像中継サーバによって映像中に図形を重畳する際に、映像通信端末によって指定された映像中の対象物体に対して予め定めた図形を重畳するため、映像中の物体の位置が動いても、当該図形を対象物体に追随させた合成映像を提供することができるようになる。
【００２０】
また、図形を対象物体に追随するよう重畳した合成映像の生成及び提供の処理は、各映像通信端末ではなくネットワーク上の映像中継サーバが行うようにしたため、処理能力の低い映像通信端末をも本発明の映像コミュニケーションシステムに利用可能となる。
【００２１】
また、映像通信端末からの映像送受信方式として既設の標準的なものを利用することが可能となり、標準的な映像通信端末及びそのプログラムを専用化することなく利用することができるようになる。
【００２２】
したがって、本発明によれば、映像中継サーバによって映像の中継と図形の合成を行なうようにしたので、性能が低く標準的な映像通信機能しか持たない映像通信端末を用いた、既存のテレビ電話システムの利便性をより高めた映像コミュニケーションシステムを提供できるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る映像コミュニケーションシステムの構成例を示す図である。
【図２】本発明による第１実施形態の映像コミュニケーションシステムの構成を示す図である。
【図３】本発明による第１実施形態の映像コミュニケーションシステムのブロック図である。
【図４】本発明による第１実施形態の映像コミュニケーションシステムの動作フロー図である。
【図５】本発明による第２実施形態の映像コミュニケーションシステムの構成を示す図である。
【図６】本発明による第２実施形態の映像コミュニケーションシステムのブロック図である。
【図７】本発明による第２実施形態の映像コミュニケーションシステムの動作フロー図である。
【図８】本発明に係る映像コミュニケーションシステムにおける合成映像を例示する図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明による各実施形態の映像コミュニケーションシステムについて説明する。まず、本発明に係る映像コミュニケーションシステムの包括的な構成を説明し、より具体的な各実施形態については詳細に後述する。
【００２５】
図１は、本発明に係る映像コミュニケーションシステムの構成例を示す図である。本発明に係る映像コミュニケーションシステムは、２つ以上の映像通信端末と、各映像通信端末の映像及び音声についてネットワークを通じて中継する映像中継サーバから構成される。以下の説明では、図１に示すように、代表的に、ユーザＡが利用する第１映像通信端末２０と、ユーザＢが利用する第２映像通信端末３０との間で、映像中継サーバ１０を介して映像コミュニケーションを実現する例について説明する。映像中継サーバ１０は、１つのコンピュータで実現可能であるが、第１映像通信端末２０と第２映像通信端末３０が遠隔的にネットワークを通じて通信する例を説明するため、説明の便宜上、映像合成ユニット１０ａと多地点接続ユニット１０ｂからなるものとして説明する。
【００２６】
第１映像通信端末２０は、例えば、既存のカメラ付き移動端末としてユーザＡが利用する端末である。ユーザＡは、このようなカメラ付き移動端末を利用して内臓カメラで撮像した原映像を、映像中継サーバ１０を介して第２映像通信端末３０に送信する機能を有する。一方、第１映像通信端末２０は、映像中継サーバ１０から、この原映像に対して予め定めた図形を重畳した合成映像を受信して、自身のディスプレイのモニタ画面にてユーザＡが視聴可能な表示再生機能を有する。
【００２７】
第２映像通信端末３０は、例えば、既存のパーソナルコンピュータとしてユーザＢが利用する端末である。このパーソナルコンピュータは、マウスを利用するものやタッチパネル形式のものでもよいし、携帯端末でもよい。第２映像通信端末３０は、映像中継サーバ１０から、第１映像通信端末２０が視聴する合成映像を同様に受信して、自身のディスプレイのモニタ画面にてユーザＢが視聴可能な表示再生機能を有する。さらに、第２映像通信端末３０は、原映像又は合成映像内でユーザＢが注目する物体を指定して、その指定された注目物体画像（第１実施形態）又は注目領域座標（第２実施形態）の情報を、映像中継サーバ１０に送信する機能を有し、映像中継サーバ１０に対して原映像からの所定図形を重畳した合成映像（又は受信した合成映像からの所定図形を重畳した更なる合成映像）を生成可能にする。原映像又は合成映像内でユーザＢが注目する物体を指定するユーザインターフェースは、例えばマウスやタッチパネル形式のものが好適である。
【００２８】
ここで、第１映像通信端末２０と第２映像通信端末３０の双方は、既存のテレビ会議システムと同様に、多地点接続ユニット１０ｂを経由して映像コミュニケーションを実現する機能を有しているものとする。例えば、多地点接続ユニット１０ｂは、ＲＴＰ（Real-time Transport Protocol）通信用のサーバで構成することができる。
【００２９】
映像中継サーバ１０は、この多地点接続ユニット１０ｂと相互接続される、原映像に対して所定図形を重畳した合成映像（又は第２映像通信端末３０から前回指定されて生成した合成映像に対して所定図形を重畳した更なる合成映像）の生成及び提供を行う映像合成ユニット１０ａを備える。
【００３０】
つまり、映像中継サーバ１０は、第１映像通信端末２０からは原映像を受信し、第２映像通信端末３０から対象物体の指定がある場合に、第２映像通信端末３０から原映像に対する注目物体画像又はその注目物体の領域を示す注目領域座標の情報を受信し、指定された対象物体の画像領域の抽出を行なって、所定の図形を各対象物体に割り当て重畳した合成映像を生成して、第１映像通信端末２０及び／又は第２映像通信端末３０に送信する。尚、合成映像の共有の観点からは、第１映像通信端末２０及び第２映像通信端末３０の双方に合成映像が送信されることが好ましく、映像中継サーバ１０は、第１映像通信端末２０から原映像を受信し、第２映像通信端末３０からの対象物体の指定がなされるまで、当該原映像を合成映像として第１映像通信端末２０及び第２映像通信端末３０の双方に送信する。
【００３１】
ここで、重畳される所定の図形は、映像合成ユニット１０ａが予め用意したものであり、例えば、「丸」や「矢印」などの図形である。第２映像通信端末３０からの指定回数に応じて重畳する図形を順次変化させる態様や、第２映像通信端末３０から原映像に対する注目物体画像又はその注目物体の領域を示す注目領域座標の情報に対して、図形を指定する補助情報（例えば、「丸」であればフラグ１、「矢印」であればフラグ２、「吹き出し図」であればフラグ３など）を取得するような態様が考えられる。この場合、図形選択を行うタブレット形式のアプリケーションソフトウェアを第２映像通信端末３０に設けるのが好適である。
【００３２】
また、映像合成ユニット１０ａは、第２映像通信端末３０から原映像に対する注目物体画像又はその注目物体の領域を示す注目領域座標の情報に対して、指定の対象物体を有する原映像又は合成映像から、既存のオブジェクト抽出処理（例えば、ＭＰＥＧ−４のオブジェクト抽出技法が知られている）を実行し、合成映像の送出後に繰りかえし第１映像通信端末２０から原映像を受信した場合も、第２映像通信端末３０からの対象物体の更なる指定がなされるまで、当該原映像中の指定の対象物体を追従した位置に所定の図形を重畳した合成映像を生成して提供する。繰り返し得られる原映像中から指定の対象物体が消える又は隠れる場合には、当該図形の重畳をなくした合成映像を提供するように構成することができる。
【００３３】
従って、本発明に係る映像コミュニケーションシステムでは、以下のような手順の利用態様が想定される。
（１）ユーザＡとユーザＢは、それぞれの映像通信端末２０，３０を利用して多地点接続ユニット１０ｂを介して映像コミュニケーションを行なう。
（２）ユーザＡは、第１映像通信端末２０の内蔵カメラで周囲の状況を撮影し原映像として多地点接続ユニット１０ｂに送信する。
（３）ユーザＢは、第２映像通信端末３０で合成映像に関して視聴しつつ、会話の中で注目すべき物体が映ったときに、その物体を第２映像通信端末３０の画面上で指定する。
（４）第２映像通信端末３０は、ユーザＢによって指定された、合成映像から切り出された注目物体画像又は画面上で指定された場所を示す注目領域座標の情報を映像合成ユニット１０ａに送信する。
（５）映像合成ユニット１０ａは、注目物体画像（第２映像通信端末３０から受信したもの、若しくは、同じく受信した注目領域座標に基づき原映像等から切り出された部分画像）と原映像を照合し、原映像の中で注目物体が存在する場所を検出する。
（６）映像合成ユニット１０ａは、検出した場所に所定の図形を合成し、合成映像として多地点接続ユニットを介して各映像通信端末２０，３０に送信する。
従って、各映像通信端末２０，３０では、受信した合成映像を表示し、各ユーザＡ，Ｂは、ユーザＢが指定した物体に関連付けられた図形が重畳された合成映像を視聴可能となる。
【００３４】
以下、より具体的に、図２〜図４を参照して、本発明による第１実施形態の映像コミュニケーションシステムについて説明する。図２は、本発明による第１実施形態の映像コミュニケーションシステムの構成を示す図である。図３は、本発明による第１実施形態の映像コミュニケーションシステムのブロック図である。図４は、本発明による第１実施形態の映像コミュニケーションシステムの動作フロー図である。
【００３５】
〔第１実施形態〕
図２を参照するに、本発明による第１実施形態の映像コミュニケーションシステムは、原映像を第１映像通信端末２０にて生成して映像中継サーバ１０に送信し、映像中継サーバ１０では、第２映像通信端末３０から送られてきた注目物体画像と、第１映像通信端末２０から逐次送信されてくる原映像を照合して原映像中の注目物体の位置を検出し、この検出位置に図形を重畳するように構成される。より具体的には、実施形態の映像コミュニケーションシステムは、映像中継サーバ１０と、第１映像通信端末２０と、第２映像通信端末３０とを備える。映像中継サーバ１０は、注目物体検出部１０１と、合成映像生成部１０２と、合成映像送信部１０３とを備える。第１映像通信端末２０は、原映像送信部２０１を有する。第２映像通信端末３０は、注目物体画像生成部３０１と、注目物体画像送信部３０２とを備える。尚、本発明に係る主要な部分のみを図２に示しており、画像の表示再生機能、通信機能、ユーザインターフェース機能等の既存の映像通信端末が備える機能を排除するものではないことに留意する。
【００３６】
尚、本実施形態に係る映像中継サーバ１０は、１つ以上のコンピュータとして構成することができ、映像中継サーバ１０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの所定の記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。
【００３７】
第１映像通信端末２０における原映像送信部２０１は、ユーザＡによって内臓カメラを操作して、その場の状況を撮像した原映像を映像中継サーバ１０に送信する機能部である。原映像は、動画でも静止画でもよいが、以下の説明では、動画を例に説明する。
【００３８】
第２映像通信端末３０における注目物体画像生成部３０１は、ユーザＢによって原映像が閲覧され、その中で注目する領域をマウスクリックなどの方法で指定された部分画像を切り出し、注目物体画像として生成する機能部である。つまり、注目物体画像生成部３０１は、ユーザＢによって指定が行われた瞬間のフレーム画像を原映像中から取得し、注目領域座標に基づきフレーム画像の一部を注目物体画像として切り出す。この部分画像は、正確な注目物体を切り出す必要はなく、当該注目物体の特定に必要な規定サイズ（例えば、フレーム画像の１／５０サイズ）で切り出される。尚、フレーム画像の全部を注目物体画像として指定してもよいことは勿論である。
【００３９】
第２映像通信端末３０における注目物体画像送信部３０２は、注目物体画像生成部３０１によって生成された注目物体画像を映像中継サーバ１０に送信する機能部である。
【００４０】
映像中継サーバ１０における注目物体検出部１０１は、第２映像通信端末３０から受信した注目物体画像と受信して保持した原映像を照合し、原映像の中で当該注目物体が存在する場所を「注目物体座標」として検出する機能部である。ここで、原映像の中で当該注目物体が存在する場所を照合して検出する技法は、既存のオブジェクト抽出技法を用いることができるが、単純な画素値マッチングで特定してもよい。
【００４１】
映像中継サーバ１０における合成映像生成部１０２は、注目物体検出部１０１によって検出した場所に所定の図形を合成し、合成映像として生成する機能部である。
【００４２】
映像中継サーバ１０における合成映像送信部１０３は、合成映像生成部１０２によって生成した合成映像を各映像通信端末２０，３０に送信する機能部である。
【００４３】
図３及び図４には、映像中継サーバ１０を映像合成ユニット１０ａと多地点接続ユニット１０ｂからなるものとして構成した、より具体的な例が示されている。
【００４４】
図３を参照しながら、図４を説明するに、まず、映像中継サーバ１０の多地点接続ユニット１０ｂは、第１映像端末２０と第２映像端末３０との間での映像・音声コミュニケーションのために、ＲＴＰ通信を確立している（Ｓ１）。
【００４５】
第１映像端末２０は、ユーザＡの操作によってカメラ撮影部２０１１によって原映像を取得し、エンコード部２０１２によってこの原映像を所定の符号化方式（例えば、ＭＰＥＧ−４）で符号化し、ＲＴＰ送信部２０１３によってＲＴＰ通信により多地点接続ユニット１０ｂに送信する（Ｓ２）。ここで、第２映像通信端末３０は、原映像の待ち受け状態にある（Ｓ３）。
【００４６】
多地点接続ユニット１０ｂは、ＲＴＰ受信部１０１３によって第１映像端末２０から符号化された原映像を受信するとともに、トランスコード部１０１６によって映像・音声コミュニケーションに適合した所定のビットレートに変換し、ＲＴＰ送信部１０１７によって第２映像通信端末３０に転送する（Ｓ４）。尚、多地点接続ユニット１０ｂは、第１映像端末２０から受信した符号化された原映像を、トランスコード部１０１４によって映像合成ユニット１０ａとのＲＴＰ通信に適合した所定のビットレートに変換し、ＲＴＰ送信部１０１５によって映像合成ユニット１０ａに転送する。映像合成ユニット１０ａに転送された当該符号化された原映像は、ＲＴＰ受信・デコード部１０１８によって受信及び復号され、注目物体検出部１０１に送出される。
【００４７】
第２映像通信端末３０は、ＲＴＰ受信・デコード部３０１１によって、多地点接続ユニット１０ｂから、符号化された原映像を受信して復号し、ディスプレイ表示部３０１４によって当該原映像をモニタ画面に表示するとともに（Ｓ５）、注目物体画像生成部３０１に送出する。注目物体画像生成部３０１は、ユーザ入力部３０１３を介してユーザＢによって指定された原映像中の１つの映像フレームに該当する部分画像を抽出する部分画像抽出部３０１２を有し、この部分画像抽出部３０１２によって当該部分画像を注目物体画像として生成し、注目物体画像送信部３０２に送出する（Ｓ６）。注目物体画像送信部３０２は、ネットワークを通じて注目物体画像を映像合成ユニット１０ａに送信するフレーム画像送信部３０２１を有し、フレーム画像送信部３０２１は、ユーザＢによって指定された原映像中の１つの映像フレームに該当する注目物体画像を映像合成ユニット１０ａのフレーム画像受信部１０１２に送信する（Ｓ７）。
【００４８】
映像合成ユニット１０ａの注目物体検出部１０１は、フレーム画像受信部１０１２を介して受信した注目物体画像と、第１映像端末２０から受信した原映像とを照合する映像照合認識処理部１０１１を有し、映像照合認識処理部１０１１によって、原映像における注目物体の画像領域を特定する（Ｓ８）。さらに、映像合成ユニット１０ａは、原映像に当該特定した注目物体の注目画像座標の位置に対して所定の図形を重畳して合成映像を生成する合成映像生成部１０２を有し、合成映像生成部１０２は、ＲＴＰ受信・デコード部１０１８から得られる原映像に対して、所定の図形を記憶した記憶部（図示せず）から注目物体に割り当てられる所定の図形の情報を取得して重畳する映像合成処理を実行する映像合成処理部１０２１を有する（Ｓ９）。尚、第２映像通信端末３０は、１つ以上の注目物体を指定し、それぞれの注目物体を識別する識別子と、当該識別子に対応する図形を選択して指定するためのフラグを、当該部分画像ともに送信するように構成することができ、この場合、映像合成ユニット１０ａの注目物体検出部１０１及び合成映像生成部１０２は、当該識別子で識別される注目物体に、当該フラグで指定される図形を記憶部（図示せず）から注目物体ごとに取得して重畳するように構成することもできる。
【００４９】
映像合成ユニット１０ａのエンコード・ＲＴＰ送信部１０３１は、合成映像生成部１０２から得られる合成映像を符号化してＲＴＰ通信で多地点接続ユニット１０ｂに送出する。多地点接続ユニット１０ｂは、ＲＴＰ受信部１０３２で合成映像を受信して、トランスコード部１０３３によって映像・音声コミュニケーションに適合した所定のビットレートに変換し、ＲＴＰ送信部１０３４によって第１映像通信端末２０及び第２映像通信端末３０に転送する（Ｓ１０）。従って、エンコード・ＲＴＰ送信部１０３１、ＲＴＰ受信部１０３２、トランスコード部１０３３及びＲＴＰ送信部１０３４は、合成映像を映像通信端末２０に送信する合成映像送信部１０３として機能する。尚、合成映像送信部１０３は、トランスコード部１０１６及びＲＴＰ送信部１０１７によって、合成映像を映像通信端末３０に送信することもできる。
【００５０】
第１映像通信端末２０は、ＲＴＰ受信・デコード部２０１４によって当該合成映像を受信して復号し、ディスプレイ表示部２０１５によって当該合成映像をモニタ画面に表示する（Ｓ１１）。同様に、第２映像通信端末３０は、ＲＴＰ受信・デコード部３０１１によって当該合成映像を受信して復号し、ディスプレイ表示部３０１４によって当該合成映像をモニタ画面に表示する（Ｓ１２）。
【００５１】
このように、本実施形態の映像コミュニケーションシステムによれば、第１映像通信端末２０と第２映像通信端末３０との間でやり取りされる映像中、第２映像通信端末３０のユーザＢが図形を重畳する対象として指定した注目物体の画像領域を照合によって判別して図形を重畳するように構成したため、従来では図形を描画する際に描画する位置を指定していたため手ぶれや物体の移動より重畳した図形がずれてしまう問題を解決することができる。
【００５２】
また、本実施形態の映像コミュニケーションシステムによれば、第１映像通信端末２０から原映像を映像中継サーバ１０に送信して、図形の重畳を映像中継サーバ２０で実行するように構成したため、第１映像通信端末２０として利用する移動端末の処理能力不足に係る問題を解決することができる。
【００５３】
また、本実施形態の映像コミュニケーションシステムによれば、第１映像通信端末２０に特別な専用のハードウェアやソフトウェアを使用する必要が無くなり、つまり、第１映像通信端末２０（もしくは第２映像通信端末３０）と映像中継サーバ２０の間の映像送受信の実装方式として、通常の映像コミュニケーションと同様の方式を採用すればよくなり、過大なコスト増加等の問題を生じることなく実現可能となる。
【００５４】
次に、図５〜図７を参照して、本発明による第２実施形態の映像コミュニケーションシステムについて説明する。図５は、本発明による第２実施形態の映像コミュニケーションシステムの構成を示す図である。図６は、本発明による第２実施形態の映像コミュニケーションシステムのブロック図である。図７は、本発明による第２実施形態の映像コミュニケーションシステムの動作フロー図である。尚、第１実施形態と同様な構成要素には同一の参照番号を付している。
【００５５】
〔第２実施形態〕
図５を参照するに、本発明による第２実施形態の映像コミュニケーションシステムは、原映像を第１映像通信端末２０にて生成して映像中継サーバ１０に送信し、図形を重畳するための注目物体が映像コミュニケーションシステムでやり取りされる映像中のどこに映っているかを、第２映像通信端末３０にてユーザＢが指定し、この指定場所を示す注目領域座標の情報を映像中継サーバ１０に送信し、映像中継サーバ１０は、この注目領域座標の情報を基に第１映像通信端末３０から受信した原映像から注目物体画像を抽出し、抽出した注目物体画像と原映像を照合して原映像中の注目物体の位置を注目物体座標の情報として検出し、この検出位置に図形を重畳するように構成される。より具体的には、本実施形態の映像コミュニケーションシステムは、映像中継サーバ１０と、第１映像通信端末２０と、第２映像通信端末３０とを備える。映像中継サーバ１０は、注目物体検出部１０１と、合成映像生成部１０２と、合成映像送信部１０３と、注目物体画像抽出部１０４とを備える。第１映像通信端末２０は、原映像送信部２０１を有する。第２映像通信端末３０は、注目領域座標指定処理部３０３と、注目領域座標送信部３０４とを備える。尚、本発明に係る主要な部分のみを図５に示しており、画像の表示再生機能、通信機能、ユーザインターフェース機能等の既存の映像通信端末が備える機能を排除するものではないことに留意する。
【００５６】
第２実施形態では、第２映像通信端末３０が、注目領域座標指定処理部３０３と、注目領域座標送信部３０４とを備える点と、映像中継サーバ１０が、注目物体画像抽出部１０４を備える点で相違する。
【００５７】
尚、本実施形態に係る映像中継サーバ１０は、１つ以上のコンピュータとして構成することができ、映像中継サーバ１０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの所定の記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。
【００５８】
第１映像通信端末２０における原映像送信部２０１は、ユーザＡによって内臓カメラを操作して、その場の状況を撮像した原映像を映像中継サーバ１０に送信する機能部である。原映像は、動画でも静止画でもよいが、以下の説明では、動画を例に説明する。
【００５９】
第２映像通信端末３０における注目領域座標指定処理部３０３は、ユーザＢによって原映像が閲覧され、その中で注目する領域をマウスクリックなどの方法で指定された注目領域の座標を特定し、注目領域座標の情報として生成する機能部である。つまり、注目領域座標指定処理部３０３は、ユーザＢによって指定が行われた瞬間のフレーム画像を原映像中から取得し、フレーム画像の一部を注目物体画像として切り出し可能な注目領域座標を指定する。この注目領域座標は、注目物体を囲む座標群とするか、又は１点を指定する座標とすることができ、この場合、映像中継サーバ１０側で当該注目物体の特定に必要な規定サイズ（例えば、フレーム画像の１／５０サイズ）で切り出される。
【００６０】
第２映像通信端末３０における注目領域座標送信部３０４は、注目領域座標指定処理部３０３によって生成された注目領域座標の情報を映像中継サーバ１０に送信する機能部である。
【００６１】
映像中継サーバ１０における注目物体画像抽出部１０４は、第２映像通信端末３０から取得した「注目領域座標」の情報を基に、原映像から注目物体画像を抽出し、注目物体検出部１０１に送出する。この注目物体画像の抽出は、例えば、注目領域座標の情報を重心位置とする注目物体の特定に必要な規定サイズ（例えば、フレーム画像の１／５０サイズ）で切り出せばよい。
【００６２】
映像中継サーバ１０における注目物体検出部１０１は、注目物体画像抽出部１０４によって抽出した注目物体画像と受信して保持した原映像を照合し、原映像の中で当該注目物体が存在する場所を「注目物体座標」として検出する機能部である。ここで、原映像の中で当該注目物体が存在する場所を照合して検出する技法は、既存のオブジェクト抽出技法を用いることができるが、単純な画素値マッチングで特定してもよい。
【００６３】
映像中継サーバ１０における合成映像生成部１０２は、注目物体検出部１０１によって検出した場所に所定の図形を合成し、合成映像として生成する機能部である。
【００６４】
映像中継サーバ１０における合成映像送信部１０３は、合成映像生成部１０２によって生成した合成映像を各映像通信端末２０，３０に送信する機能部である。
【００６５】
図６及び図７には、映像中継サーバ１０を映像合成ユニット１０ａと多地点接続ユニット１０ｂからなるものとして構成した、より具体的な例が示されている。
【００６６】
図６を参照しながら、図７を説明するに、まず、映像中継サーバ１０の多地点接続ユニット１０ｂは、第１映像端末２０と第２映像端末３０との間での映像・音声コミュニケーションのために、ＲＴＰ通信を確立している（Ｓ２１）。
【００６７】
第１映像端末２０は、ユーザＡの操作によってカメラ撮影部２０１１によって原映像を取得し、エンコード部２０１２によってこの原映像を所定の符号化方式（例えば、ＭＰＥＧ−４）で符号化し、ＲＴＰ送信部２０１によってＲＴＰ通信により多地点接続ユニット１０ｂに送信する（Ｓ２２）。ここで、第２映像通信端末３０は、原映像の待ち受け状態にある（Ｓ２３）。
【００６８】
多地点接続ユニット１０ｂは、ＲＴＰ受信部１０１３によって第１映像端末２０から符号化された原映像を受信して、トランスコード部１０１４及びＲＴＰ送信部１０１５経由で映像合成ユニット１０ａに送信され、最初に撮像された原映像については指定の注目領域座標がないことから、ＲＴＰ受信部１０３２経由でこの原映像を映像合成ユニット１０ａによる合成映像として取得し、トランスコード部１０３３及びＲＴＰ送信部１０３４経由で第２映像通信端末３０に転送する（Ｓ２４）。
【００６９】
第２映像通信端末３０は、ＲＴＰ受信・デコード部３０１１によって、多地点接続ユニット１０ｂから、符号化された原映像を受信して復号し、ディスプレイ表示部３０１４によって当該原映像をモニタ画面に表示する（Ｓ２５）。注目領域座標指定処理部３０３は、 ユーザ入力部３０３１を介してユーザＢによって指定された原映像中の１つの映像フレームに該当する部分画像を特定する注目領域座標の情報を生成し（Ｓ２６）、注目領域座標送信部３０４に送出する。注目領域座標送信部３０４は、ネットワークを通じて注目領域座標の情報を映像合成ユニット１０ａに送信する座標送信部３０２１ｂを有し、座標送信部３０２１ｂは、ユーザＢによって指定された原映像中の１つの映像フレームに該当する注目物体を特定するための注目領域座標の情報を映像合成ユニット１０ａの座標受信部１０１２ｂに送信する（Ｓ２７）。
【００７０】
映像合成ユニット１０ａの注目物体画像抽出部１０４は、第１映像端末２０から受信した原映像から、注目領域座標の情報を基に部分画像を抽出する部分画像抽出部１０４１を有し、部分画像抽出部１０４１は、抽出した部分画像を注目物体画像として注目物体検出部１０１に送出し、注目物体検出部１０１は、注目物体画像抽出部１０４によって抽出した注目物体画像と、第１映像端末２０から受信した原映像とを照合する映像照合認識処理部１０１１を有し、映像照合認識処理部１０１１によって、原映像における注目物体の注目画像座標を特定する（Ｓ２８）。
【００７１】
映像合成ユニット１０ａは、原映像に当該特定した注目物体の注目画像座標の位置に対して所定の図形を重畳して合成映像を生成する合成映像生成部１０２を有し、合成映像生成部１０２は、ＲＴＰ受信・デコード部１０１８から得られる原映像に対して、所定の図形を記憶した記憶部（図示せず）から注目物体に割り当てられる所定の図形の情報を取得して重畳する映像合成処理を実行する映像合成処理部１０２１を有する（Ｓ２９）。尚、第２映像通信端末３０は、１つ以上の注目物体を指定する１つ以上の注目領域座標を特定する際に、それぞれの注目物体を識別する識別子と、当該識別子に対応する図形を選択して指定するためのフラグを、当該注目領域座標の情報ともに送信するように構成することができ、この場合、映像合成ユニット１０ａの注目物体検出部１０１及び合成映像生成部１０２は、当該識別子で識別される注目物体に、当該フラグで指定される図形を記憶部（図示せず）から注目物体ごとに取得して重畳するように構成することもできる。
【００７２】
映像合成ユニット１０ａのエンコード・ＲＴＰ送信部１０３１は、合成映像生成部１０２から得られる合成映像を符号化してＲＴＰ通信で多地点接続ユニット１０ｂに送出する。多地点接続ユニット１０ｂは、ＲＴＰ受信部１０３２で合成映像を受信して、トランスコード部１０３３によって映像・音声コミュニケーションに適合した所定のビットレートに変換し、ＲＴＰ送信部１０３４によって第２映像通信端末３０に転送するとともに、トランスコード部１０１６によって映像・音声コミュニケーションに適合した所定のビットレートに変換し、ＲＴＰ送信部１０１７によって第１映像通信端末２０に転送する（Ｓ３０）。従って、エンコード・ＲＴＰ送信部１０３１、ＲＴＰ受信部１０３２、トランスコード部１０３３、ＲＴＰ送信部１０３４、トランスコード部１０３３及びＲＴＰ送信部１０３４は、合成映像を各映像通信端末２０，３０に送信する合成映像送信部１０３として機能する。
【００７３】
第１映像通信端末２０は、ＲＴＰ受信・デコード部２０１４によって当該合成映像を受信して復号し、ディスプレイ表示部２０１５によって当該合成映像をモニタ画面に表示する（Ｓ３１）。同様に、第２映像通信端末３０は、ＲＴＰ受信・デコード部３０１１によって当該合成映像を受信して復号し、ディスプレイ表示部３０１４によって当該合成映像をモニタ画面に表示する（Ｓ３２）。
【００７４】
このように、本実施形態の映像コミュニケーションシステムにおいても、第１実施形態の利点をすべて包含した構成とすることができる。
【００７５】
図８は、原映像に所定の図形を重畳した例である。撮影画像（原映像）における注目領域に「丸」を追加したり、「矢印」を追加したりすることができ、「吹き出し」を追加したりすることができる。この「吹き出し」が与えられた合成映像について、第１映像通信端末２０や第２映像通信端末３０からの指示によりＲＴＰ通信でテキスト情報を送信して、文字入力することも可能である。
【産業上の利用可能性】
【００７６】
本発明によれば、映像中継サーバによって映像中に図形を重畳する際に、映像通信端末によって指定された映像中の対象物体に対して予め定めた図形を重畳するため、映像中の物体の位置が動いても、当該図形を対象物体に追随させた合成映像を提供することができるようになるから、移動端末を利用した映像コミュニケーションの用途に有用である。
【符号の説明】
【００７７】
１０ 映像中継サーバ
１０ａ 映像合成ユニット
１０ｂ 多地点接続ユニット
２０ 第１映像通信端末
３０ 第２映像通信端末
１０１ 注目物体検出部
１０２ 合成映像生成部
１０３ 合成映像送信部
１０４ 注目物体画像抽出部
２０１ 原映像送信部
３０１ 注目物体画像生成部
３０２ 注目物体画像送信部
３０３ 注目領域座標指定処理部
３０４ 注目領域座標送信部
【技術分野】
【０００１】
本発明は、映像通信端末間で映像を送受信する映像コミュニケーションシステムに関し、特に、各映像通信端末を使用するユーザ間の意思疎通を円滑化する映像コミュニケーションシステム及びその作動方法に関する。
【背景技術】
【０００２】
映像コミュニケーションシステムは、既に一般に普及しており、高価なビジネス向けテレビ会議システムだけでなく、一般向けの携帯電話を映像通信端末としたテレビ会議システムにも実装されるに至っている。
【０００３】
映像コミュニケーションシステムの一般的な課題として、映像に映っている物体に対して、通常の対面での会話のように「あれ」「それ」といった指示語やジェスチャで指し示して話をすることが困難であることが挙げられる。この問題を解決するために、映像通信端末間で同一の映像を共有し、その共有された映像の中に映像通信端末のユーザが通信する映像中に図形を書き込み、映像と図形を重畳して表示可能なシステムも実用化されている（例えば、非特許文献１参照）。これらのシステムの多くはテレビ会議映像とは別に、ホワイトボードや電子ファイル、Ｗｅｂページ等の画面を各映像通信端末間で共有して書きこむものであるが、テレビ会議映像への図形の重畳も同様に技術的に可能である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】“リアルコラボ”、ＮＴＴソフトウェア株式会社、［online]、［２０１１年１月１１日検索］、インターネット〈http://www.ntts.co.jp/products/realcollabo/index.html〉
【発明の概要】
【発明が解決しようとする課題】
【０００５】
映像への図形の重畳表示機能を携帯電話等の移動端末のテレビ電話に応用することで、従来のテレビ会議の場だけでない様々な場面での会話の円滑化に役立つと考えられるが、そのためには次のような課題が存在する。
【０００６】
多くの移動端末は手で持って使うために手ぶれが大きく、重畳した図形の映像中の位置が、意図した場所からずれてしまうという課題がある。前述した非特許文献１の技術のような企業向けのテレビ会議システムでは、映像に利用するためのカメラは固定されていることが基本であり、映像に撮影される被写体（対象の物体）も動きは少ない。一方、カメラ付き移動端末を映像通信端末として利用することを考えると、カメラが頻繁に移動するだけでなく、屋外などの場面では映像中の物体についても動きが多くなる。したがって、例えばある瞬間に映像中の中心部に映っていた物体に矢印を書き込んだとしても、その物体が次の瞬間には映像中の別の場所に表示されているということが十分に起こり得る。このような状況で、矢印の位置を元の映像の中心部に固定したままでは、矢印が指す物体が変わってしまい、矢印の意味がなくなってしまうということが起こり得る。
【０００７】
さらに、非特許文献１のテレビ会議システムでは、業務用の固定端末を映像通信端末として利用するため十分な処理能力を具備できるが、移動端末は比較的処理能力が限定されることが多い。このため、移動端末で図形の重畳等の高負荷な処理を実行できないという問題も想定される。
【０００８】
また、図形の重畳等の高負荷な処理を実現するためには、特別な専用のソフトウェアが必要となるため、市販の移動端末をそのまま利用できないことが想定され、テレビ会議システム専用の移動端末や専用のソフトウェアをそれぞれの映像通信端末に用意することは、システムのコストの増大、ユーザ利便性等の問題が生じる。
【０００９】
そこで、本発明は、上述の問題を鑑みて為されたものであり、各映像通信端末を使用するユーザ間の意思疎通を円滑化する映像コミュニケーションシステム及びその作動方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明に係る映像コミュニケーションシステムは、従来のテレビ会議システムとは異なり、各映像通信端末を使用するユーザ間の意思疎通を円滑化するために、映像通信端末から提供される原映像に所定の図形を重畳した合成映像を生成及び提供する映像中継サーバを設け、各映像通信端末は、映像中継サーバを介して映像コミュニケーションを実現する構成とする。従って、本発明に係る映像コミュニケーションシステムでは、各映像通信端末が重畳すべき図形やその座標位置を指定するやり方を主題とするものではなく、各映像通信端末によって重畳すべき図形やその座標位置を指定された際に、映像中継サーバが合成映像を生成及び提供するようにしたことに主題があるため、従来からのテレビ会議システムとは技術的に区別されるべきことに留意する。
【００１１】
即ち、本発明による第１態様の映像コミュニケーションシステムは、２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムであって、第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備え、第２映像通信端末は、当該原映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する注目物体画像生成部と、該注目物体画像を前記映像中継サーバに送信する注目物体画像送信部とを備え、前記映像中継サーバは、前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出する注目物体検出部と、前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成する合成映像生成部と、該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信する合成映像送信部と、を備えることを特徴とする。これにより、第１映像通信端末における処理負担を軽減させつつ各映像通信端末間の映像コミュニケーションを実現することができる。
【００１２】
また、本発明による第１態様の映像コミュニケーションシステムにおいて、前記合成映像送信部は、前記合成映像を前記第１映像通信端末及び前記第２映像通信端末の双方に送信する手段を有することを特徴とする。これにより、第２映像通信端末は、第１映像通信端末と合成映像を共有することができる。
【００１３】
また、本発明による第１態様の映像コミュニケーションシステムにおいて、前記第２映像通信端末の注目物体画像生成部は、当該合成映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する手段を有することを特徴とする。これにより、第２映像通信端末は、合成映像に対して更に注目物体を指定できるようになる。
【００１４】
さらに、本発明による第２態様の映像コミュニケーションシステムは、２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムであって、第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備え、第２映像通信端末は、当該原映像中で指定される注目領域を示す注目領域座標の情報を生成する注目領域座標指定処理部と、該注目領域座標の情報を前記映像中継サーバに送信する注目領域座標送信部とを備え、前記映像中継サーバは、前記第２映像通信端末から受信した注目領域座標の情報を基に、当該原映像中で注目物体の全部又は一部を含む部分画像を抽出して注目物体画像として生成する注目物体画像抽出部と、前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出する注目物体検出部と、前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成する合成映像生成部と、該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信する合成映像送信部と、を備えることを特徴とする。これにより、第１映像通信端末における処理負担を軽減させつつ各映像通信端末間の映像コミュニケーションを実現することができる。
【００１５】
また、本発明による第２態様の映像コミュニケーションシステムにおいて、前記合成映像送信部は、前記合成映像を前記第１映像通信端末及び前記第２映像通信端末の双方に送信する手段を有することを特徴とする。これにより、第２映像通信端末は、第１映像通信端末と合成映像を共有することができる。
【００１６】
また、本発明による第２態様の映像コミュニケーションシステムにおいて、前記第２映像通信端末の注目領域座標指定処理部は、当該合成映像中で指定される注目領域を示す注目領域座標の情報を生成する手段を有することを特徴とする。これにより、第２映像通信端末は、合成映像に対して更に注目物体を指定できるようになる。
【００１７】
また、本発明による第１態様の映像コミュニケーションシステムにおける作動方法は、２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムにおける映像中継サーバの作動方法であって、第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備えており、第２映像通信端末は、当該原映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する注目物体画像生成部と、該注目物体画像を前記映像中継サーバに送信する注目物体画像送信部とを備えており、前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出するステップと、前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成するステップと、該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信するステップと、を含むことを特徴とする。
【００１８】
また、本発明による第２態様の映像コミュニケーションシステムにおける作動方法は、２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムにおける映像中継サーバの作動方法であって、第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備えており、第２映像通信端末は、当該原映像中で指定される注目領域を示す注目領域座標の情報を生成する注目領域座標指定処理部と、該注目領域座標の情報を前記映像中継サーバに送信する注目領域座標送信部とを備えており、前記第２映像通信端末から受信した注目領域座標の情報を基に、当該原映像中で注目物体の全部又は一部を含む部分画像を抽出して注目物体画像として生成するステップと、前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出するステップと、前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成するステップと、該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信するステップと、を含むことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、映像中継サーバによって映像中に図形を重畳する際に、映像通信端末によって指定された映像中の対象物体に対して予め定めた図形を重畳するため、映像中の物体の位置が動いても、当該図形を対象物体に追随させた合成映像を提供することができるようになる。
【００２０】
また、図形を対象物体に追随するよう重畳した合成映像の生成及び提供の処理は、各映像通信端末ではなくネットワーク上の映像中継サーバが行うようにしたため、処理能力の低い映像通信端末をも本発明の映像コミュニケーションシステムに利用可能となる。
【００２１】
また、映像通信端末からの映像送受信方式として既設の標準的なものを利用することが可能となり、標準的な映像通信端末及びそのプログラムを専用化することなく利用することができるようになる。
【００２２】
したがって、本発明によれば、映像中継サーバによって映像の中継と図形の合成を行なうようにしたので、性能が低く標準的な映像通信機能しか持たない映像通信端末を用いた、既存のテレビ電話システムの利便性をより高めた映像コミュニケーションシステムを提供できるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る映像コミュニケーションシステムの構成例を示す図である。
【図２】本発明による第１実施形態の映像コミュニケーションシステムの構成を示す図である。
【図３】本発明による第１実施形態の映像コミュニケーションシステムのブロック図である。
【図４】本発明による第１実施形態の映像コミュニケーションシステムの動作フロー図である。
【図５】本発明による第２実施形態の映像コミュニケーションシステムの構成を示す図である。
【図６】本発明による第２実施形態の映像コミュニケーションシステムのブロック図である。
【図７】本発明による第２実施形態の映像コミュニケーションシステムの動作フロー図である。
【図８】本発明に係る映像コミュニケーションシステムにおける合成映像を例示する図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明による各実施形態の映像コミュニケーションシステムについて説明する。まず、本発明に係る映像コミュニケーションシステムの包括的な構成を説明し、より具体的な各実施形態については詳細に後述する。
【００２５】
図１は、本発明に係る映像コミュニケーションシステムの構成例を示す図である。本発明に係る映像コミュニケーションシステムは、２つ以上の映像通信端末と、各映像通信端末の映像及び音声についてネットワークを通じて中継する映像中継サーバから構成される。以下の説明では、図１に示すように、代表的に、ユーザＡが利用する第１映像通信端末２０と、ユーザＢが利用する第２映像通信端末３０との間で、映像中継サーバ１０を介して映像コミュニケーションを実現する例について説明する。映像中継サーバ１０は、１つのコンピュータで実現可能であるが、第１映像通信端末２０と第２映像通信端末３０が遠隔的にネットワークを通じて通信する例を説明するため、説明の便宜上、映像合成ユニット１０ａと多地点接続ユニット１０ｂからなるものとして説明する。
【００２６】
第１映像通信端末２０は、例えば、既存のカメラ付き移動端末としてユーザＡが利用する端末である。ユーザＡは、このようなカメラ付き移動端末を利用して内臓カメラで撮像した原映像を、映像中継サーバ１０を介して第２映像通信端末３０に送信する機能を有する。一方、第１映像通信端末２０は、映像中継サーバ１０から、この原映像に対して予め定めた図形を重畳した合成映像を受信して、自身のディスプレイのモニタ画面にてユーザＡが視聴可能な表示再生機能を有する。
【００２７】
第２映像通信端末３０は、例えば、既存のパーソナルコンピュータとしてユーザＢが利用する端末である。このパーソナルコンピュータは、マウスを利用するものやタッチパネル形式のものでもよいし、携帯端末でもよい。第２映像通信端末３０は、映像中継サーバ１０から、第１映像通信端末２０が視聴する合成映像を同様に受信して、自身のディスプレイのモニタ画面にてユーザＢが視聴可能な表示再生機能を有する。さらに、第２映像通信端末３０は、原映像又は合成映像内でユーザＢが注目する物体を指定して、その指定された注目物体画像（第１実施形態）又は注目領域座標（第２実施形態）の情報を、映像中継サーバ１０に送信する機能を有し、映像中継サーバ１０に対して原映像からの所定図形を重畳した合成映像（又は受信した合成映像からの所定図形を重畳した更なる合成映像）を生成可能にする。原映像又は合成映像内でユーザＢが注目する物体を指定するユーザインターフェースは、例えばマウスやタッチパネル形式のものが好適である。
【００２８】
ここで、第１映像通信端末２０と第２映像通信端末３０の双方は、既存のテレビ会議システムと同様に、多地点接続ユニット１０ｂを経由して映像コミュニケーションを実現する機能を有しているものとする。例えば、多地点接続ユニット１０ｂは、ＲＴＰ（Real-time Transport Protocol）通信用のサーバで構成することができる。
【００２９】
映像中継サーバ１０は、この多地点接続ユニット１０ｂと相互接続される、原映像に対して所定図形を重畳した合成映像（又は第２映像通信端末３０から前回指定されて生成した合成映像に対して所定図形を重畳した更なる合成映像）の生成及び提供を行う映像合成ユニット１０ａを備える。
【００３０】
つまり、映像中継サーバ１０は、第１映像通信端末２０からは原映像を受信し、第２映像通信端末３０から対象物体の指定がある場合に、第２映像通信端末３０から原映像に対する注目物体画像又はその注目物体の領域を示す注目領域座標の情報を受信し、指定された対象物体の画像領域の抽出を行なって、所定の図形を各対象物体に割り当て重畳した合成映像を生成して、第１映像通信端末２０及び／又は第２映像通信端末３０に送信する。尚、合成映像の共有の観点からは、第１映像通信端末２０及び第２映像通信端末３０の双方に合成映像が送信されることが好ましく、映像中継サーバ１０は、第１映像通信端末２０から原映像を受信し、第２映像通信端末３０からの対象物体の指定がなされるまで、当該原映像を合成映像として第１映像通信端末２０及び第２映像通信端末３０の双方に送信する。
【００３１】
ここで、重畳される所定の図形は、映像合成ユニット１０ａが予め用意したものであり、例えば、「丸」や「矢印」などの図形である。第２映像通信端末３０からの指定回数に応じて重畳する図形を順次変化させる態様や、第２映像通信端末３０から原映像に対する注目物体画像又はその注目物体の領域を示す注目領域座標の情報に対して、図形を指定する補助情報（例えば、「丸」であればフラグ１、「矢印」であればフラグ２、「吹き出し図」であればフラグ３など）を取得するような態様が考えられる。この場合、図形選択を行うタブレット形式のアプリケーションソフトウェアを第２映像通信端末３０に設けるのが好適である。
【００３２】
また、映像合成ユニット１０ａは、第２映像通信端末３０から原映像に対する注目物体画像又はその注目物体の領域を示す注目領域座標の情報に対して、指定の対象物体を有する原映像又は合成映像から、既存のオブジェクト抽出処理（例えば、ＭＰＥＧ−４のオブジェクト抽出技法が知られている）を実行し、合成映像の送出後に繰りかえし第１映像通信端末２０から原映像を受信した場合も、第２映像通信端末３０からの対象物体の更なる指定がなされるまで、当該原映像中の指定の対象物体を追従した位置に所定の図形を重畳した合成映像を生成して提供する。繰り返し得られる原映像中から指定の対象物体が消える又は隠れる場合には、当該図形の重畳をなくした合成映像を提供するように構成することができる。
【００３３】
従って、本発明に係る映像コミュニケーションシステムでは、以下のような手順の利用態様が想定される。
（１）ユーザＡとユーザＢは、それぞれの映像通信端末２０，３０を利用して多地点接続ユニット１０ｂを介して映像コミュニケーションを行なう。
（２）ユーザＡは、第１映像通信端末２０の内蔵カメラで周囲の状況を撮影し原映像として多地点接続ユニット１０ｂに送信する。
（３）ユーザＢは、第２映像通信端末３０で合成映像に関して視聴しつつ、会話の中で注目すべき物体が映ったときに、その物体を第２映像通信端末３０の画面上で指定する。
（４）第２映像通信端末３０は、ユーザＢによって指定された、合成映像から切り出された注目物体画像又は画面上で指定された場所を示す注目領域座標の情報を映像合成ユニット１０ａに送信する。
（５）映像合成ユニット１０ａは、注目物体画像（第２映像通信端末３０から受信したもの、若しくは、同じく受信した注目領域座標に基づき原映像等から切り出された部分画像）と原映像を照合し、原映像の中で注目物体が存在する場所を検出する。
（６）映像合成ユニット１０ａは、検出した場所に所定の図形を合成し、合成映像として多地点接続ユニットを介して各映像通信端末２０，３０に送信する。
従って、各映像通信端末２０，３０では、受信した合成映像を表示し、各ユーザＡ，Ｂは、ユーザＢが指定した物体に関連付けられた図形が重畳された合成映像を視聴可能となる。
【００３４】
以下、より具体的に、図２〜図４を参照して、本発明による第１実施形態の映像コミュニケーションシステムについて説明する。図２は、本発明による第１実施形態の映像コミュニケーションシステムの構成を示す図である。図３は、本発明による第１実施形態の映像コミュニケーションシステムのブロック図である。図４は、本発明による第１実施形態の映像コミュニケーションシステムの動作フロー図である。
【００３５】
〔第１実施形態〕
図２を参照するに、本発明による第１実施形態の映像コミュニケーションシステムは、原映像を第１映像通信端末２０にて生成して映像中継サーバ１０に送信し、映像中継サーバ１０では、第２映像通信端末３０から送られてきた注目物体画像と、第１映像通信端末２０から逐次送信されてくる原映像を照合して原映像中の注目物体の位置を検出し、この検出位置に図形を重畳するように構成される。より具体的には、実施形態の映像コミュニケーションシステムは、映像中継サーバ１０と、第１映像通信端末２０と、第２映像通信端末３０とを備える。映像中継サーバ１０は、注目物体検出部１０１と、合成映像生成部１０２と、合成映像送信部１０３とを備える。第１映像通信端末２０は、原映像送信部２０１を有する。第２映像通信端末３０は、注目物体画像生成部３０１と、注目物体画像送信部３０２とを備える。尚、本発明に係る主要な部分のみを図２に示しており、画像の表示再生機能、通信機能、ユーザインターフェース機能等の既存の映像通信端末が備える機能を排除するものではないことに留意する。
【００３６】
尚、本実施形態に係る映像中継サーバ１０は、１つ以上のコンピュータとして構成することができ、映像中継サーバ１０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの所定の記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。
【００３７】
第１映像通信端末２０における原映像送信部２０１は、ユーザＡによって内臓カメラを操作して、その場の状況を撮像した原映像を映像中継サーバ１０に送信する機能部である。原映像は、動画でも静止画でもよいが、以下の説明では、動画を例に説明する。
【００３８】
第２映像通信端末３０における注目物体画像生成部３０１は、ユーザＢによって原映像が閲覧され、その中で注目する領域をマウスクリックなどの方法で指定された部分画像を切り出し、注目物体画像として生成する機能部である。つまり、注目物体画像生成部３０１は、ユーザＢによって指定が行われた瞬間のフレーム画像を原映像中から取得し、注目領域座標に基づきフレーム画像の一部を注目物体画像として切り出す。この部分画像は、正確な注目物体を切り出す必要はなく、当該注目物体の特定に必要な規定サイズ（例えば、フレーム画像の１／５０サイズ）で切り出される。尚、フレーム画像の全部を注目物体画像として指定してもよいことは勿論である。
【００３９】
第２映像通信端末３０における注目物体画像送信部３０２は、注目物体画像生成部３０１によって生成された注目物体画像を映像中継サーバ１０に送信する機能部である。
【００４０】
映像中継サーバ１０における注目物体検出部１０１は、第２映像通信端末３０から受信した注目物体画像と受信して保持した原映像を照合し、原映像の中で当該注目物体が存在する場所を「注目物体座標」として検出する機能部である。ここで、原映像の中で当該注目物体が存在する場所を照合して検出する技法は、既存のオブジェクト抽出技法を用いることができるが、単純な画素値マッチングで特定してもよい。
【００４１】
映像中継サーバ１０における合成映像生成部１０２は、注目物体検出部１０１によって検出した場所に所定の図形を合成し、合成映像として生成する機能部である。
【００４２】
映像中継サーバ１０における合成映像送信部１０３は、合成映像生成部１０２によって生成した合成映像を各映像通信端末２０，３０に送信する機能部である。
【００４３】
図３及び図４には、映像中継サーバ１０を映像合成ユニット１０ａと多地点接続ユニット１０ｂからなるものとして構成した、より具体的な例が示されている。
【００４４】
図３を参照しながら、図４を説明するに、まず、映像中継サーバ１０の多地点接続ユニット１０ｂは、第１映像端末２０と第２映像端末３０との間での映像・音声コミュニケーションのために、ＲＴＰ通信を確立している（Ｓ１）。
【００４５】
第１映像端末２０は、ユーザＡの操作によってカメラ撮影部２０１１によって原映像を取得し、エンコード部２０１２によってこの原映像を所定の符号化方式（例えば、ＭＰＥＧ−４）で符号化し、ＲＴＰ送信部２０１３によってＲＴＰ通信により多地点接続ユニット１０ｂに送信する（Ｓ２）。ここで、第２映像通信端末３０は、原映像の待ち受け状態にある（Ｓ３）。
【００４６】
多地点接続ユニット１０ｂは、ＲＴＰ受信部１０１３によって第１映像端末２０から符号化された原映像を受信するとともに、トランスコード部１０１６によって映像・音声コミュニケーションに適合した所定のビットレートに変換し、ＲＴＰ送信部１０１７によって第２映像通信端末３０に転送する（Ｓ４）。尚、多地点接続ユニット１０ｂは、第１映像端末２０から受信した符号化された原映像を、トランスコード部１０１４によって映像合成ユニット１０ａとのＲＴＰ通信に適合した所定のビットレートに変換し、ＲＴＰ送信部１０１５によって映像合成ユニット１０ａに転送する。映像合成ユニット１０ａに転送された当該符号化された原映像は、ＲＴＰ受信・デコード部１０１８によって受信及び復号され、注目物体検出部１０１に送出される。
【００４７】
第２映像通信端末３０は、ＲＴＰ受信・デコード部３０１１によって、多地点接続ユニット１０ｂから、符号化された原映像を受信して復号し、ディスプレイ表示部３０１４によって当該原映像をモニタ画面に表示するとともに（Ｓ５）、注目物体画像生成部３０１に送出する。注目物体画像生成部３０１は、ユーザ入力部３０１３を介してユーザＢによって指定された原映像中の１つの映像フレームに該当する部分画像を抽出する部分画像抽出部３０１２を有し、この部分画像抽出部３０１２によって当該部分画像を注目物体画像として生成し、注目物体画像送信部３０２に送出する（Ｓ６）。注目物体画像送信部３０２は、ネットワークを通じて注目物体画像を映像合成ユニット１０ａに送信するフレーム画像送信部３０２１を有し、フレーム画像送信部３０２１は、ユーザＢによって指定された原映像中の１つの映像フレームに該当する注目物体画像を映像合成ユニット１０ａのフレーム画像受信部１０１２に送信する（Ｓ７）。
【００４８】
映像合成ユニット１０ａの注目物体検出部１０１は、フレーム画像受信部１０１２を介して受信した注目物体画像と、第１映像端末２０から受信した原映像とを照合する映像照合認識処理部１０１１を有し、映像照合認識処理部１０１１によって、原映像における注目物体の画像領域を特定する（Ｓ８）。さらに、映像合成ユニット１０ａは、原映像に当該特定した注目物体の注目画像座標の位置に対して所定の図形を重畳して合成映像を生成する合成映像生成部１０２を有し、合成映像生成部１０２は、ＲＴＰ受信・デコード部１０１８から得られる原映像に対して、所定の図形を記憶した記憶部（図示せず）から注目物体に割り当てられる所定の図形の情報を取得して重畳する映像合成処理を実行する映像合成処理部１０２１を有する（Ｓ９）。尚、第２映像通信端末３０は、１つ以上の注目物体を指定し、それぞれの注目物体を識別する識別子と、当該識別子に対応する図形を選択して指定するためのフラグを、当該部分画像ともに送信するように構成することができ、この場合、映像合成ユニット１０ａの注目物体検出部１０１及び合成映像生成部１０２は、当該識別子で識別される注目物体に、当該フラグで指定される図形を記憶部（図示せず）から注目物体ごとに取得して重畳するように構成することもできる。
【００４９】
映像合成ユニット１０ａのエンコード・ＲＴＰ送信部１０３１は、合成映像生成部１０２から得られる合成映像を符号化してＲＴＰ通信で多地点接続ユニット１０ｂに送出する。多地点接続ユニット１０ｂは、ＲＴＰ受信部１０３２で合成映像を受信して、トランスコード部１０３３によって映像・音声コミュニケーションに適合した所定のビットレートに変換し、ＲＴＰ送信部１０３４によって第１映像通信端末２０及び第２映像通信端末３０に転送する（Ｓ１０）。従って、エンコード・ＲＴＰ送信部１０３１、ＲＴＰ受信部１０３２、トランスコード部１０３３及びＲＴＰ送信部１０３４は、合成映像を映像通信端末２０に送信する合成映像送信部１０３として機能する。尚、合成映像送信部１０３は、トランスコード部１０１６及びＲＴＰ送信部１０１７によって、合成映像を映像通信端末３０に送信することもできる。
【００５０】
第１映像通信端末２０は、ＲＴＰ受信・デコード部２０１４によって当該合成映像を受信して復号し、ディスプレイ表示部２０１５によって当該合成映像をモニタ画面に表示する（Ｓ１１）。同様に、第２映像通信端末３０は、ＲＴＰ受信・デコード部３０１１によって当該合成映像を受信して復号し、ディスプレイ表示部３０１４によって当該合成映像をモニタ画面に表示する（Ｓ１２）。
【００５１】
このように、本実施形態の映像コミュニケーションシステムによれば、第１映像通信端末２０と第２映像通信端末３０との間でやり取りされる映像中、第２映像通信端末３０のユーザＢが図形を重畳する対象として指定した注目物体の画像領域を照合によって判別して図形を重畳するように構成したため、従来では図形を描画する際に描画する位置を指定していたため手ぶれや物体の移動より重畳した図形がずれてしまう問題を解決することができる。
【００５２】
また、本実施形態の映像コミュニケーションシステムによれば、第１映像通信端末２０から原映像を映像中継サーバ１０に送信して、図形の重畳を映像中継サーバ２０で実行するように構成したため、第１映像通信端末２０として利用する移動端末の処理能力不足に係る問題を解決することができる。
【００５３】
また、本実施形態の映像コミュニケーションシステムによれば、第１映像通信端末２０に特別な専用のハードウェアやソフトウェアを使用する必要が無くなり、つまり、第１映像通信端末２０（もしくは第２映像通信端末３０）と映像中継サーバ２０の間の映像送受信の実装方式として、通常の映像コミュニケーションと同様の方式を採用すればよくなり、過大なコスト増加等の問題を生じることなく実現可能となる。
【００５４】
次に、図５〜図７を参照して、本発明による第２実施形態の映像コミュニケーションシステムについて説明する。図５は、本発明による第２実施形態の映像コミュニケーションシステムの構成を示す図である。図６は、本発明による第２実施形態の映像コミュニケーションシステムのブロック図である。図７は、本発明による第２実施形態の映像コミュニケーションシステムの動作フロー図である。尚、第１実施形態と同様な構成要素には同一の参照番号を付している。
【００５５】
〔第２実施形態〕
図５を参照するに、本発明による第２実施形態の映像コミュニケーションシステムは、原映像を第１映像通信端末２０にて生成して映像中継サーバ１０に送信し、図形を重畳するための注目物体が映像コミュニケーションシステムでやり取りされる映像中のどこに映っているかを、第２映像通信端末３０にてユーザＢが指定し、この指定場所を示す注目領域座標の情報を映像中継サーバ１０に送信し、映像中継サーバ１０は、この注目領域座標の情報を基に第１映像通信端末３０から受信した原映像から注目物体画像を抽出し、抽出した注目物体画像と原映像を照合して原映像中の注目物体の位置を注目物体座標の情報として検出し、この検出位置に図形を重畳するように構成される。より具体的には、本実施形態の映像コミュニケーションシステムは、映像中継サーバ１０と、第１映像通信端末２０と、第２映像通信端末３０とを備える。映像中継サーバ１０は、注目物体検出部１０１と、合成映像生成部１０２と、合成映像送信部１０３と、注目物体画像抽出部１０４とを備える。第１映像通信端末２０は、原映像送信部２０１を有する。第２映像通信端末３０は、注目領域座標指定処理部３０３と、注目領域座標送信部３０４とを備える。尚、本発明に係る主要な部分のみを図５に示しており、画像の表示再生機能、通信機能、ユーザインターフェース機能等の既存の映像通信端末が備える機能を排除するものではないことに留意する。
【００５６】
第２実施形態では、第２映像通信端末３０が、注目領域座標指定処理部３０３と、注目領域座標送信部３０４とを備える点と、映像中継サーバ１０が、注目物体画像抽出部１０４を備える点で相違する。
【００５７】
尚、本実施形態に係る映像中継サーバ１０は、１つ以上のコンピュータとして構成することができ、映像中継サーバ１０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの所定の記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。
【００５８】
第１映像通信端末２０における原映像送信部２０１は、ユーザＡによって内臓カメラを操作して、その場の状況を撮像した原映像を映像中継サーバ１０に送信する機能部である。原映像は、動画でも静止画でもよいが、以下の説明では、動画を例に説明する。
【００５９】
第２映像通信端末３０における注目領域座標指定処理部３０３は、ユーザＢによって原映像が閲覧され、その中で注目する領域をマウスクリックなどの方法で指定された注目領域の座標を特定し、注目領域座標の情報として生成する機能部である。つまり、注目領域座標指定処理部３０３は、ユーザＢによって指定が行われた瞬間のフレーム画像を原映像中から取得し、フレーム画像の一部を注目物体画像として切り出し可能な注目領域座標を指定する。この注目領域座標は、注目物体を囲む座標群とするか、又は１点を指定する座標とすることができ、この場合、映像中継サーバ１０側で当該注目物体の特定に必要な規定サイズ（例えば、フレーム画像の１／５０サイズ）で切り出される。
【００６０】
第２映像通信端末３０における注目領域座標送信部３０４は、注目領域座標指定処理部３０３によって生成された注目領域座標の情報を映像中継サーバ１０に送信する機能部である。
【００６１】
映像中継サーバ１０における注目物体画像抽出部１０４は、第２映像通信端末３０から取得した「注目領域座標」の情報を基に、原映像から注目物体画像を抽出し、注目物体検出部１０１に送出する。この注目物体画像の抽出は、例えば、注目領域座標の情報を重心位置とする注目物体の特定に必要な規定サイズ（例えば、フレーム画像の１／５０サイズ）で切り出せばよい。
【００６２】
映像中継サーバ１０における注目物体検出部１０１は、注目物体画像抽出部１０４によって抽出した注目物体画像と受信して保持した原映像を照合し、原映像の中で当該注目物体が存在する場所を「注目物体座標」として検出する機能部である。ここで、原映像の中で当該注目物体が存在する場所を照合して検出する技法は、既存のオブジェクト抽出技法を用いることができるが、単純な画素値マッチングで特定してもよい。
【００６３】
映像中継サーバ１０における合成映像生成部１０２は、注目物体検出部１０１によって検出した場所に所定の図形を合成し、合成映像として生成する機能部である。
【００６４】
映像中継サーバ１０における合成映像送信部１０３は、合成映像生成部１０２によって生成した合成映像を各映像通信端末２０，３０に送信する機能部である。
【００６５】
図６及び図７には、映像中継サーバ１０を映像合成ユニット１０ａと多地点接続ユニット１０ｂからなるものとして構成した、より具体的な例が示されている。
【００６６】
図６を参照しながら、図７を説明するに、まず、映像中継サーバ１０の多地点接続ユニット１０ｂは、第１映像端末２０と第２映像端末３０との間での映像・音声コミュニケーションのために、ＲＴＰ通信を確立している（Ｓ２１）。
【００６７】
第１映像端末２０は、ユーザＡの操作によってカメラ撮影部２０１１によって原映像を取得し、エンコード部２０１２によってこの原映像を所定の符号化方式（例えば、ＭＰＥＧ−４）で符号化し、ＲＴＰ送信部２０１によってＲＴＰ通信により多地点接続ユニット１０ｂに送信する（Ｓ２２）。ここで、第２映像通信端末３０は、原映像の待ち受け状態にある（Ｓ２３）。
【００６８】
多地点接続ユニット１０ｂは、ＲＴＰ受信部１０１３によって第１映像端末２０から符号化された原映像を受信して、トランスコード部１０１４及びＲＴＰ送信部１０１５経由で映像合成ユニット１０ａに送信され、最初に撮像された原映像については指定の注目領域座標がないことから、ＲＴＰ受信部１０３２経由でこの原映像を映像合成ユニット１０ａによる合成映像として取得し、トランスコード部１０３３及びＲＴＰ送信部１０３４経由で第２映像通信端末３０に転送する（Ｓ２４）。
【００６９】
第２映像通信端末３０は、ＲＴＰ受信・デコード部３０１１によって、多地点接続ユニット１０ｂから、符号化された原映像を受信して復号し、ディスプレイ表示部３０１４によって当該原映像をモニタ画面に表示する（Ｓ２５）。注目領域座標指定処理部３０３は、 ユーザ入力部３０３１を介してユーザＢによって指定された原映像中の１つの映像フレームに該当する部分画像を特定する注目領域座標の情報を生成し（Ｓ２６）、注目領域座標送信部３０４に送出する。注目領域座標送信部３０４は、ネットワークを通じて注目領域座標の情報を映像合成ユニット１０ａに送信する座標送信部３０２１ｂを有し、座標送信部３０２１ｂは、ユーザＢによって指定された原映像中の１つの映像フレームに該当する注目物体を特定するための注目領域座標の情報を映像合成ユニット１０ａの座標受信部１０１２ｂに送信する（Ｓ２７）。
【００７０】
映像合成ユニット１０ａの注目物体画像抽出部１０４は、第１映像端末２０から受信した原映像から、注目領域座標の情報を基に部分画像を抽出する部分画像抽出部１０４１を有し、部分画像抽出部１０４１は、抽出した部分画像を注目物体画像として注目物体検出部１０１に送出し、注目物体検出部１０１は、注目物体画像抽出部１０４によって抽出した注目物体画像と、第１映像端末２０から受信した原映像とを照合する映像照合認識処理部１０１１を有し、映像照合認識処理部１０１１によって、原映像における注目物体の注目画像座標を特定する（Ｓ２８）。
【００７１】
映像合成ユニット１０ａは、原映像に当該特定した注目物体の注目画像座標の位置に対して所定の図形を重畳して合成映像を生成する合成映像生成部１０２を有し、合成映像生成部１０２は、ＲＴＰ受信・デコード部１０１８から得られる原映像に対して、所定の図形を記憶した記憶部（図示せず）から注目物体に割り当てられる所定の図形の情報を取得して重畳する映像合成処理を実行する映像合成処理部１０２１を有する（Ｓ２９）。尚、第２映像通信端末３０は、１つ以上の注目物体を指定する１つ以上の注目領域座標を特定する際に、それぞれの注目物体を識別する識別子と、当該識別子に対応する図形を選択して指定するためのフラグを、当該注目領域座標の情報ともに送信するように構成することができ、この場合、映像合成ユニット１０ａの注目物体検出部１０１及び合成映像生成部１０２は、当該識別子で識別される注目物体に、当該フラグで指定される図形を記憶部（図示せず）から注目物体ごとに取得して重畳するように構成することもできる。
【００７２】
映像合成ユニット１０ａのエンコード・ＲＴＰ送信部１０３１は、合成映像生成部１０２から得られる合成映像を符号化してＲＴＰ通信で多地点接続ユニット１０ｂに送出する。多地点接続ユニット１０ｂは、ＲＴＰ受信部１０３２で合成映像を受信して、トランスコード部１０３３によって映像・音声コミュニケーションに適合した所定のビットレートに変換し、ＲＴＰ送信部１０３４によって第２映像通信端末３０に転送するとともに、トランスコード部１０１６によって映像・音声コミュニケーションに適合した所定のビットレートに変換し、ＲＴＰ送信部１０１７によって第１映像通信端末２０に転送する（Ｓ３０）。従って、エンコード・ＲＴＰ送信部１０３１、ＲＴＰ受信部１０３２、トランスコード部１０３３、ＲＴＰ送信部１０３４、トランスコード部１０３３及びＲＴＰ送信部１０３４は、合成映像を各映像通信端末２０，３０に送信する合成映像送信部１０３として機能する。
【００７３】
第１映像通信端末２０は、ＲＴＰ受信・デコード部２０１４によって当該合成映像を受信して復号し、ディスプレイ表示部２０１５によって当該合成映像をモニタ画面に表示する（Ｓ３１）。同様に、第２映像通信端末３０は、ＲＴＰ受信・デコード部３０１１によって当該合成映像を受信して復号し、ディスプレイ表示部３０１４によって当該合成映像をモニタ画面に表示する（Ｓ３２）。
【００７４】
このように、本実施形態の映像コミュニケーションシステムにおいても、第１実施形態の利点をすべて包含した構成とすることができる。
【００７５】
図８は、原映像に所定の図形を重畳した例である。撮影画像（原映像）における注目領域に「丸」を追加したり、「矢印」を追加したりすることができ、「吹き出し」を追加したりすることができる。この「吹き出し」が与えられた合成映像について、第１映像通信端末２０や第２映像通信端末３０からの指示によりＲＴＰ通信でテキスト情報を送信して、文字入力することも可能である。
【産業上の利用可能性】
【００７６】
本発明によれば、映像中継サーバによって映像中に図形を重畳する際に、映像通信端末によって指定された映像中の対象物体に対して予め定めた図形を重畳するため、映像中の物体の位置が動いても、当該図形を対象物体に追随させた合成映像を提供することができるようになるから、移動端末を利用した映像コミュニケーションの用途に有用である。
【符号の説明】
【００７７】
１０ 映像中継サーバ
１０ａ 映像合成ユニット
１０ｂ 多地点接続ユニット
２０ 第１映像通信端末
３０ 第２映像通信端末
１０１ 注目物体検出部
１０２ 合成映像生成部
１０３ 合成映像送信部
１０４ 注目物体画像抽出部
２０１ 原映像送信部
３０１ 注目物体画像生成部
３０２ 注目物体画像送信部
３０３ 注目領域座標指定処理部
３０４ 注目領域座標送信部
【特許請求の範囲】
【請求項１】
２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムであって、
第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備え、
第２映像通信端末は、当該原映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する注目物体画像生成部と、該注目物体画像を前記映像中継サーバに送信する注目物体画像送信部とを備え、
前記映像中継サーバは、
前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出する注目物体検出部と、
前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成する合成映像生成部と、
該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信する合成映像送信部と、
を備えることを特徴とする映像コミュニケーションシステム。
【請求項２】
前記合成映像送信部は、前記合成映像を前記第１映像通信端末及び前記第２映像通信端末の双方に送信する手段を有することを特徴とする、請求項１に記載の映像コミュニケーションシステム。
【請求項３】
前記第２映像通信端末の注目物体画像生成部は、当該合成映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する手段を有することを特徴とする、請求項２に記載の映像コミュニケーションシステム。
【請求項４】
２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムであって、
第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備え、
第２映像通信端末は、当該原映像中で指定される注目領域を示す注目領域座標の情報を生成する注目領域座標指定処理部と、該注目領域座標の情報を前記映像中継サーバに送信する注目領域座標送信部とを備え、
前記映像中継サーバは、
前記第２映像通信端末から受信した注目領域座標の情報を基に、当該原映像中で注目物体の全部又は一部を含む部分画像を抽出して注目物体画像として生成する注目物体画像抽出部と、
前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出する注目物体検出部と、
前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成する合成映像生成部と、
該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信する合成映像送信部と、
を備えることを特徴とする映像コミュニケーションシステム。
【請求項５】
前記合成映像送信部は、前記合成映像を前記第１映像通信端末及び前記第２映像通信端末の双方に送信する手段を有することを特徴とする、請求項４に記載の映像コミュニケーションシステム。
【請求項６】
前記第２映像通信端末の注目領域座標指定処理部は、当該合成映像中で指定される注目領域を示す注目領域座標の情報を生成する手段を有することを特徴とする、請求項５に記載の映像コミュニケーションシステム。
【請求項７】
２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムにおける映像中継サーバの作動方法であって、
第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備えており、
第２映像通信端末は、当該原映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する注目物体画像生成部と、該注目物体画像を前記映像中継サーバに送信する注目物体画像送信部とを備えており、
前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出するステップと、
前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成するステップと、
該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信するステップと、
を含むことを特徴とする映像中継サーバの作動方法。
【請求項８】
２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムにおける映像中継サーバの作動方法であって、
第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備えており、
第２映像通信端末は、当該原映像中で指定される注目領域を示す注目領域座標の情報を生成する注目領域座標指定処理部と、該注目領域座標の情報を前記映像中継サーバに送信する注目領域座標送信部とを備えており、
前記第２映像通信端末から受信した注目領域座標の情報を基に、当該原映像中で注目物体の全部又は一部を含む部分画像を抽出して注目物体画像として生成するステップと、
前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出するステップと、
前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成するステップと、
該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信するステップと、
を含むことを特徴とする映像中継サーバの作動方法。
【請求項１】
２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムであって、
第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備え、
第２映像通信端末は、当該原映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する注目物体画像生成部と、該注目物体画像を前記映像中継サーバに送信する注目物体画像送信部とを備え、
前記映像中継サーバは、
前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出する注目物体検出部と、
前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成する合成映像生成部と、
該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信する合成映像送信部と、
を備えることを特徴とする映像コミュニケーションシステム。
【請求項２】
前記合成映像送信部は、前記合成映像を前記第１映像通信端末及び前記第２映像通信端末の双方に送信する手段を有することを特徴とする、請求項１に記載の映像コミュニケーションシステム。
【請求項３】
前記第２映像通信端末の注目物体画像生成部は、当該合成映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する手段を有することを特徴とする、請求項２に記載の映像コミュニケーションシステム。
【請求項４】
２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムであって、
第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備え、
第２映像通信端末は、当該原映像中で指定される注目領域を示す注目領域座標の情報を生成する注目領域座標指定処理部と、該注目領域座標の情報を前記映像中継サーバに送信する注目領域座標送信部とを備え、
前記映像中継サーバは、
前記第２映像通信端末から受信した注目領域座標の情報を基に、当該原映像中で注目物体の全部又は一部を含む部分画像を抽出して注目物体画像として生成する注目物体画像抽出部と、
前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出する注目物体検出部と、
前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成する合成映像生成部と、
該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信する合成映像送信部と、
を備えることを特徴とする映像コミュニケーションシステム。
【請求項５】
前記合成映像送信部は、前記合成映像を前記第１映像通信端末及び前記第２映像通信端末の双方に送信する手段を有することを特徴とする、請求項４に記載の映像コミュニケーションシステム。
【請求項６】
前記第２映像通信端末の注目領域座標指定処理部は、当該合成映像中で指定される注目領域を示す注目領域座標の情報を生成する手段を有することを特徴とする、請求項５に記載の映像コミュニケーションシステム。
【請求項７】
２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムにおける映像中継サーバの作動方法であって、
第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備えており、
第２映像通信端末は、当該原映像中で指定される注目物体の全部又は一部を含む注目物体画像を生成する注目物体画像生成部と、該注目物体画像を前記映像中継サーバに送信する注目物体画像送信部とを備えており、
前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出するステップと、
前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成するステップと、
該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信するステップと、
を含むことを特徴とする映像中継サーバの作動方法。
【請求項８】
２つ以上の映像通信端末及び映像中継サーバからなる映像コミュニケーションシステムにおける映像中継サーバの作動方法であって、
第１映像通信端末は、原映像を映像中継サーバに送信する原映像送信部を備えており、
第２映像通信端末は、当該原映像中で指定される注目領域を示す注目領域座標の情報を生成する注目領域座標指定処理部と、該注目領域座標の情報を前記映像中継サーバに送信する注目領域座標送信部とを備えており、
前記第２映像通信端末から受信した注目領域座標の情報を基に、当該原映像中で注目物体の全部又は一部を含む部分画像を抽出して注目物体画像として生成するステップと、
前記第１映像通信端末から受信した原映像と前記注目物体画像を照合し、当該原映像中で注目物体が映っている位置を示す注目物体座標を検出するステップと、
前記注目物体座標に基づいて当該原映像中の注目物体の位置に所定の図形を合成して合成映像を生成するステップと、
該合成映像を、前記第１映像通信端末又は前記第２映像通信端末に送信するステップと、
を含むことを特徴とする映像中継サーバの作動方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１５６８２０（Ｐ２０１２−１５６８２０Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１４７１９（Ｐ２０１１−１４７１９）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]