テレビ会議システム及びテレビ会議方法

【課題】音声を発した人物の顔をカメラ映像から切り取り、資料映像に重畳して表示する仕組みを提供する。
【解決手段】送信端末１において、第一映像入力手段１００により映像情報を入力し、顔認識手段１０１により顔を認識する。第二映像入力手段１０３により背景情報を入力し、音声入力手段１０６により音声がどの方位から到達したかを把握する。受信端末２において、指向情報取得手段２０７によりどの方位から音声が到達したかを把握し、切取情報取得手段により映像情報のどの位置に顔があるかを指定する。映像切取手段２０４により、音声の到達方向にある顔映像を切出し、映像重畳手段２０５により背景情報の上に顔映像を貼り付け、表示手段２０６により表示装置５に出力する。

【発明の詳細な説明】
【技術分野】
【０００１】
複数の情報端末からなるテレビ会議システムに関わり、特に映像、音声、データを他の情報端末に送信し、前記情報を受信し再生する情報端末に関する。
【背景技術】
【０００２】
近年、高速インターネットの普及により、テレビやカメラと接続して双方向通信を行うテレビ会議機能を利用するユーザがますます増えている。特に、テレビ会議システムで、双方で資料を共有し、資料映像と相手カメラの映像を同時に見たいというニーズが非常に高くなってきている。
【０００３】
資料映像と相手カメラの映像を同時に見るシステムの実現においては、たとえば画面をいくつかに分解し、一つの画面では資料映像、他方の画面では相手カメラの映像を表示するといった方法で上記システムを実現しているが、この場合、資料の表示サイズが小さくなるために字が読みづらくなるという問題がある。
【０００４】
この問題を解決するための方法として、特許文献１のような技術を用いることにより、相手カメラで撮影した相手の顔の領域をピクチャーインピクチャー機能で小さく表示して、その代わり資料の表示サイズを大きくすることができる。しかし、この方法では、複数の人数が同時に会議に参加する場面などでは、資料が見づらくなるという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2001-177812公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
テレビ会議システムにおいて、音声を発した人物の顔をカメラ映像から切り取り、資料映像に重畳して表示する仕組みを実現する。
【課題を解決するための手段】
【０００７】
上記目的を解決するために、例えば特許請求の範囲に記載の構成を採用する。
【発明の効果】
【０００８】
音声を発した人物の顔をカメラ映像から切り取り、資料映像に重畳して表示する仕組みを実現することが可能となる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】実施例１におけるシステムのブロック図の例（１）である。
【図２】実施例１におけるシステムのブロック図の例（２）である。
【図３】ストリーム４００及び送信情報４１０の説明図の例である。
【図４】切出情報４２４及び指向情報４２５の説明図の例である。
【図５】実施例２におけるシステムの動作フロー図の例（１）である。
【図６】実施例２におけるシステムの動作フロー図の例（２）である。
【発明を実施するための形態】
【００１０】
上記課題は、以下の手段により解決される。
【００１１】
本願にかかるテレビ会議システムは、例えば映像情報、音声情報、背景情報を入力し送信する送信端末と、これら情報を受信し再生する受信端末とから構成される。
【００１２】
送信端末は、映像情報をカメラから入力する第一映像入力手段と、データを入力し背景情報として取得する第二映像入力手段と、音声情報を入力する音声入力手段と、第一映像入力手段で入力した映像から顔を認識する顔認識手段と、顔の映像を切り出すための情報である切出情報を生成する切出情報生成手段と、どの方向から音声が来たかを検知し指向情報を生成する指向情報生成手段と、指向情報、切取情報、音声情報、背景情報、映像情報を多重化するＭＵＸ手段と、通信を行う通信手段とから構成される。
【００１３】
また、受信端末は、情報を受信する通信手段と、情報を分離するＤＥＭＵＸ手段と、切出情報を取得する切出情報取得手段と、指向情報を取得する指向情報取得手段と、背景情報を取得する第二映像取得手段と、切出情報をもとに顔を選択する映像選択手段と、切出情報と映像情報とから顔映像を切り出す映像切取手段と、顔映像と背景情報を重ね合わせる映像重畳手段と、これら情報を表示する表示手段と、音声を出力する音声出力手段とから構成される。
【００１４】
なお、受信端末は、送信端末の各手段を保有して送信端末の機能を具有してもよい。同様に送信端末は、受信端末の各手段と保有して受信端末の機能を具有してもよい。
【００１５】
上記の目的は、音声を発した人物の顔をカメラ映像から切り取り、資料映像に重畳して表示する仕組みは、以下のような処理手段の働きにより実現される。
【００１６】
送信端末においては、第一映像入力手段によりカメラから映像情報を入力し、第二映像入力手段により、背景情報を入力する。音声入力手段によりマイクから音声情報を入力する。顔認識手段により映像情報から顔が映像情報のどの位置にあるかを認識し、切出情報生成手段により、顔が映像情報のどの位置にあるかを示す切出情報を生成する。指向情報生成手段により、音声入力手段により入力した音声情報を解析してどの方向から音声が到達したかを把握し、音声の到達方向を表す指向情報を生成する。ＭＵＸ手段により、映像情報、音声情報、背景情報、切出情報、指向情報を多重化しストリームを生成し、通信手段によりストリームを通信回線を経由して受信端末に送信する。
【００１７】
受信端末においては、通信手段により前記ストリームを受信し、ＤＥＭＵＸ手段により前記ストリームを分解する。第二映像取得手段により背景情報を取得し、切出情報取得手段により切出情報を取得し、指向情報取得手段により指向情報を取得する。映像選択手段により指向情報を解析して音声の到達方向に位置する顔の映像を選択し、映像切取手段により映像情報から顔の映像を切り取る。映像重畳手段により、背景情報と前記顔の映像とを重ね合わせて映像化し、表示手段により前記映像を表示し、音声出力手段により音声を出力する。
【００１８】
このような処理手段の働きにより、音声を発した人物の顔をカメラ映像から切り取り、資料映像に重畳して表示する仕組みが実現される。
【００１９】
また、上記の目的は、下記のような手段の働きによっても実現可能である。
【００２０】
送信端末においては、第一映像入力手段によりカメラから映像情報を入力し、第二映像入力手段により、背景情報を入力する。音声入力手段によりマイクから音声情報を入力する。ＭＵＸ手段により、映像情報、音声情報、背景情報を多重化しストリームを生成し、通信手段によりストリームを通信回線を経由して受信端末に送信する。
【００２１】
受信端末において、通信手段により前記ストリームを受信し、ＤＥＭＵＸ手段により前記ストリームを分解する。第二映像取得手段により背景情報を取得する。顔認識手段により映像情報から顔に前記当する部分を認識し、切出情報生成手段により顔に前記当する部分を示す切出情報を生成する。音声取得手段により、音声情報を取得し、指向情報生成手段により、音声がどの方向から到達したかを認識して指向情報を生成する。
【００２２】
映像選択手段により指向情報を解析して音声の到達方向に位置する顔の映像を選択し、映像切取手段により映像情報から顔の映像を切り取る。映像重畳手段により、背景情報と前記顔の映像とを重ね合わせて映像化し、表示手段により前記映像を表示し、音声出力手段により音声を出力する。
【００２３】
このような手段の働きにより、音声を発した人物の顔をカメラ映像から切り取り、資料映像に重畳して表示する仕組みが実現される。
【００２４】
以下、本発明の実施例を図面を用いて説明する。
【実施例１】
【００２５】
以下、実施例１について図１を用いて説明する。
【００２６】
図１は、本発明の実施例であるシステムの構成を示すブロック図の１例である。本システムは、送信端末１、受信端末２、インターネット３、背景情報４２３を生成する情報装置４、映像情報４２４を表示する表示装置５、音声情報４２２を取得するマイク装置８、音声情報４２２を出力するスピーカ装置１０とから構成される。人物６及び人物９は送信端末１を操作し、送信端末１のカメラで撮像される対象となる人物であり、人物７は受信端末２を操作する人物である。
【００２７】
本テレビ会議システムは、一組の送信端末１、受信端末２から構成される。送信端末１及び受信端末２はインターネット３を介して互いに通信する端末装置であり、例えば、セットトップボックスやパソコンのような固定式の情報端末や、ＰＤＡやスマートフォンのような移動体通信端末、あるいはテレビ会議専用の通信装置である。この送信端末１及び受信端末２には通信装置が搭載され、ＣＰＵで作動するプログラムにより互いに通信することが可能である。情報装置４は、例えばパソコンのような固定式のコンピュータやカメラなど、映像を生成する装置であればどのような情報装置であってもよい。また、表示装置５は、例えばテレビのような表示装置やプロジェクタなどの映像投射装置であり、映像情報を表示する情報装置であればどのようなものであってもよい。
【００２８】
送信端末１及び受信端末２の構成の一例を図１に示すブロック図で説明する。送信端末１及び受信端末２は、図１の各ブロックに対応する各処理手段をハードウェアとして実装していても良いし、ソフトウェアとして実装していても良い。
ハードウェアとして各処理手段を実装する場合、実装されるハードウェアは複数の処理手段が行う処理を一つのハードウェアが行っても良いし、逆に一つの処理手段が行う処理を複数のハードウェアが行っても良い。
また、ソフトウェアとして各処理手段を実装する場合、送信端末１及び受信手段２は、CPU及び記憶装置及びメモリ等を実装しており、CPUは記憶装置に記憶されたプログラムをメモリに展開して実行することで各処理手段が行う処理を行うことができる。ここで、上記のソフトウェアは、複数の処理手段が行う処理を一つのソフトウェアが行っても良いし、逆に一つの処理手段が行う処理を複数のソフトウェアが行っても良い。
【００２９】
以下の説明では説明の簡易化のため、送信端末１及び受信端末２がそれぞれ備えるCPUがテレビ会議プログラムを実行しており、テレビ会議プログラムを実行することで図１に示すブロック図に対応する処理手段に相当する機能を発言できるものとして説明を行う。また、以下の説明ではCPUがテレビ会議プログラムを実行することで発現される各機能を、図１のブロック図に示される各処理手段が実行しているものとして説明を行う。
【００３０】
送信端末１は、カメラ装置など映像を出力する機器に接続して映像情報４２１を入力する第一映像入力手段１００と、情報装置４から背景情報４２３を取得する第二映像入力手段１０３と、マイク装置から音声情報４２２を取得する音声入力手段１０６と、前記第一映像入力手段１００で入力した映像情報４２１から人物６あるいは人物９の顔を認識する顔認識手段１０１と、顔認識手段１０１により認識された顔の位置の情報を切出情報４２４に変換する切出情報生成手段１０２と、音声入力手段１０６で入力した音声情報４２２から音声の到達方向を認識し、指向情報４２５に変換する指向情報生成手段１０７と、前記映像情報４２１、背景情報４２３、音声情報４２２、指向情報４２５及び切出情報４２４を多重化しストリーム４００に変換するＭＵＸ手段１０４と、前記ストリーム４００をインターネット３を介して受信端末２に送信する通信手段１０５とから構成される。
【００３１】
受信端末２は、インターネット３を介してストリーム４００を受信する通信手段２００と、ストリーム４００を分解するＤＥＭＵＸ手段２０１と、ＤＥＭＵＸ手段２０１から切出情報４２４を取得する切出情報取得手段２０２と、ＤＥＭＵＸ手段２０１から背景情報４２３を取得する第二映像取得手段２０３と、ＤＥＭＵＸ手段２０１から指向情報４２５を取得する指向情報取得手段２０７と、指向情報４２５から人物６あるいは人物９の顔を選択する映像選択手段２０８と、切出情報４２４及び映像情報４２１とから映像選択手段２０８により選択された顔の映像を切り出す映像切取手段２０４と、顔の映像と背景情報４２３とを重ね合わせて出力映像とする映像重畳手段２０５と、出力映像を表示装置５に表示する表示手段２０６と、音声を出力する音声出力手段２１３とから構成される。
【００３２】
次に、送信端末１及び受信端末２で使用されるストリーム４００、送信情報４１０について図２を用いて説明する。
【００３３】
ストリーム４００は、１つあるいは複数の送信情報４１０とから構成される。送信端末１は、送信情報４１０を時系列的に列挙したストリーム４００を受信端末２に送信することにより、映像や音声などの情報を受信端末２に伝えることができる。
【００３４】
送信情報４１０は、映像情報４２１、音声情報４２２、背景情報４２３、切出情報４２４及び指向情報４２５のうち１つ以上の情報が格納された情報であり、どれか１つの情報だけを格納していてもよいし、複数の種類が同時に送信情報４１０に多重化されていてもよい。
【００３５】
映像情報４２１は、カメラ装置など映像を出力する情報装置から出力されるデータであり、カメラで撮影した人物６あるいは人物９の顔の映像を含有するデータである。映像情報４２１は時刻情報５１０を含み、受信装置２において、時刻情報５１０で整列して出力することにより動画の情報として表示装置５に表示することが出来る情報である。
【００３６】
音声情報４２２は、マイク装置８が出力するデータであり、カメラで撮影した人物６および人物９の発した音声の情報である。また、音声情報４２２は、音声がどの方向から到達したかを示す指向性の情報も持っており、たとえばステレオ音声などである。また、音声情報４２２は時刻情報５１０を含み、時刻情報５１０で整列してスピーカ装置１０で出力することが出来る情報である。
【００３７】
背景情報４２３は、パソコンなどの情報装置の出力する映像であり、動画像あるいは静止画であってもよい。背景情報４２３は時刻情報５１０を含み、時刻情報５１０で整列して出力することが出来る情報である。
【００３８】
次に、送信情報４１０に含まれる切出情報４２４及び指向情報４２５について図３を用いて説明する。切出情報４２４は、映像情報４２１に含まれるユーザの顔が映像情報４２１のどの座標にあるかを示す情報である。また、指向情報４２５は、マイク８が検出した音声がどの方向から発せられたのかを示す情報である。
【００３９】
切出情報４２４は、時刻情報５１０、映像識別情報５１１、原点情報５１３、サイズ５１４及び方位情報５１５とから構成される。
【００４０】
時刻情報５１０は、情報をいつ出力するかを決定する時刻の情報であり、たとえば、ＧＭＴやＪＳＴなどの絶対時刻であったり、ある周波数における１周期を１カウントとする経過時間情報である。この時刻情報５１０を用いることで、送信情報４１０に含まれる映像情報４２１、音声情報４２２、背景情報４２３、切出情報４２４及び指向情報４２５を決まった時刻に同時に受信端末２から出力することが可能である。
【００４１】
映像識別情報５１１は、映像情報４２１毎に固有に割り振られた識別子であり、映像情報４２１を特定する情報である。
【００４２】
原点情報５１３は、映像識別情報５１１で識別される映像情報４２１に対し、どの座標位置から切り出すかを決定する原点を表す情報であり、Ｘ軸方向及びＹ軸方向の座標位置を含む情報である。
【００４３】
サイズ５１４は、原点情報５１３からＸ軸方向及びＹ軸方向にどれくらいの範囲が切り出す情報であるかを示す範囲情報であり、たとえば縦と横のドットサイズで表す。
【００４４】
方位情報５１５は、前記切出情報４２４の示す顔映像が、３次元空間においてどの方角から到達したかを表す情報であり、たとえば北を０として時計回りに３６０度回転したときの角度であったり、東西南北などの方位情報であってもよい。
【００４５】
指向情報４２５は、時刻情報５２１及び方位情報５２３とから構成される。
【００４６】
時刻情報５２１は、情報をいつ出力するかを決定する時刻の情報であり、たとえば、ＧＭＴやＪＳＴなどの絶対時刻であったり、ある周波数における１周期を１カウントとする経過時間情報である。
【００４７】
方位情報５２３は、切出情報４２４の方位情報５１５に対応する情報であり、たとえば北を０として時計回りに３６０度回転したときの角度であったり、東西南北などの方位情報である。要するに、音声がどの方角からやってきたかを示す情報であればどのようなものであってもよい。
【００４８】
次に、音声を発した人物の顔をカメラ映像から切り取り、資料映像に重畳して表示する仕組みを実現する動作について、図４のフローチャートを用いて説明する。
【００４９】
ユーザにより送信端末１と受信端末２との間でテレビ会議の開始が指示されると、送信端末１においては処理１０００が、受信端末２においては処理１１００が実行される。以下、フローチャートに従い説明する。
【００５０】
送信端末１、受信端末２においてそれぞれのCPUは、テレビ会議プログラムを記憶装置から読み出してメモリ上に展開し、テレビ会議プログラムを実行することによりテレビ会議機能を発現する（１０００、１１００）。
【００５１】
送信端末１の第二映像入力手段１０３は、背景情報４２３を外部あるいは内部のプログラムから受領してMUX手段１０４に出力する（１００１）。
また、第一映像入力手段１００は、映像情報４２１を外部あるいは内部のカメラ装置などの撮像装置から取得して顔認識手段１０１及びMUX手段１０４に出力する（１００２）。
【００５２】
次に、顔認識手段１０１は、映像情報４２１に対し画像解析を施して、顔がどこにあるかを検出し、その座標値を取得して切出情報生成手段１０２に出力する（１００３）。この顔検出は、映像をピクセル単位で解析して目、鼻、口、輪郭などの特徴を検出することにより顔を判別したり、あるいは顔画像のデータベースと照合して一致することにより顔を判別するなどのいずれの方法でもよく、要は顔が映像情報４２１のうちのどの座標に位置するかが判定できればよい。
【００５３】
次に、切出情報生成手段１０２は、ステップ１００３で顔認識手段１０１が取得した座標情報を受信し、座標情報に基づき、切出情報４２４を生成し、MUX手段１０４に出力する（１００４）。
【００５４】
切出情報生成手段１０２は、現在時刻を時刻情報５１０に、映像情報４２１の識別情報を映像識別情報５１１に、ステップ１００３で取得した座標情報から取得した情報を原点情報５１３及びサイズ５１４にそれぞれ保存する。また、切出情報生成手段１０２は、カメラ装置の向いている方向を原点に、映像情報４２１の中の顔の位置がどの方位に位置しているかを計算し、方位情報５１５として切出情報４２４に保存する。
【００５５】
次に、音声入力手段１０６は、マイク装置８から音声情報４２２を取得する（１００５）。
このとき、音声入力手段１０６は、音声がどの方角から到達しているかを複数のマイクを使って検出し、指向情報４２５を生成する（１００６）。音声入力手段１０６は、図３で解説したとおり、現在時刻を時刻情報５２１に保存する。また、音声の到達方向を、カメラ装置の向いている方角を原点として方位を計算し、方位情報５２３に保存する。
切出情報生成手段１０２、音声入力手段１０６は、それぞれ生成した切出情報４２４、指向情報４２５をする。
【００５６】
次に、MUX手段１０４は、映像情報４２１、音声情報４２２、背景情報４２３、切出情報４２４及び指向情報４２５を多重化処理することでストリーム４００を作成し、通信手段及びインターネット３を介して受信装置２にストリーム４００を送信する（１００７）。
【００５７】
受信端末２の通信手段２００は、ステップ１００７で送信端末１が送信したストリーム４００を受信し（１１０１）、受信したすおリーム４００をDEMUX手段２０１に出力する。
DEMUX手段２０１は、多重化された前記ストリーム４００を分解する（１１０２）。
次に、映像切取手段２０４はDEMUX手段２０１から映像情報４２１を取得し（１１０３）、第二映像取得手段２０３は背景情報４２３を取得し（１１０４）、切出情報取得手段２０２は切出情報４２４を取得する（１１０５）。
【００５８】
次に、DEMUX手段２０１から音声情報４２２を取得し（１１０６）、指向情報取得手段２０７は指向情報４２５を取得する（１１０７）。音声出力手段２１３は、該音声情報４２２をスピーカ装置１０を用いて音声として出力する。
【００５９】
ここで、映像選択手段２０８は、指向情報４２５の方位情報５２３と、切出情報４２４の方位情報５１５が一致する切出情報４２４を取得して、映像識別情報５１１と原点情報５１３とサイズ５１４を取得して顔を選択する（１１０８）。
【００６０】
次に、映像切取手段２０４は、映像識別情報５１１に関連付けられている映像情報４２１に対し、前記原点情報５１３及びサイズ５１４に基づいて映像情報を切出して顔映像を取得する（１１０９）。
次に、映像重畳手段２０５は、背景情報４２３の上に前記顔映像を上書きして映像を重ね合わせてあらたな映像情報を作成する（１１１０）。
映像重畳手段２０５は作成した映像情報を、表示装置５に出力する（１１１１）。
【００６１】
以上の動作により、音声を発した人物の顔をカメラ映像から切り取り、資料映像に重畳して表示する仕組みを実現することができる。
【００６２】
また、受信端末２のステップ１１０９において、指向情報４２５の方位情報５２３を使うのではなく、複数の切出情報４２４の原点情報５１３及びサイズ５１４を用いて順に時間を開けて映像情報４２１を切り取るようにすることにより、参加者全員の顔を順に一つづつ背景情報４２３の上に表示する仕組みを実現することも可能である。
【００６３】
また、受信端末２のステップ１１１０において、ステップ１１０９が生成した全ての顔映像を背景情報４２３の上に整列して上書きすることにより、参加者全員の顔を同時に背景情報４２３の上に表示する仕組みを実現することも可能である。
【実施例２】
【００６４】
以下、実施例２について図５を用いて説明する。
【００６５】
図５は、実施例２のシステムの構成を示すブロック図の１例である。図１で説明したシステムと同様、本システムは、送信端末１、受信端末２、インターネット３、背景情報４２３を生成する情報装置４、映像情報４２４を表示する表示装置５、音声情報４２２を取得するマイク装置８と、音声情報４２２を出力するスピーカ装置１０とから構成される。
【００６６】
送信端末１及び受信端末２の構成の一例を図５に示すブロック図で説明する。
【００６７】
送信端末１は、カメラ装置など映像を出力する機器に接続して映像情報４２１を入力する第一映像入力手段１００と、情報装置４から背景情報４２３を取得する第二映像入力手段１０３と、マイク装置から音声情報４２２を取得する音声入力手段１０６と、前記映像情報４２１、背景情報４２３、音声情報４２２を多重化しストリーム４００に変換するＭＵＸ手段１０４と、前記ストリーム４００をインターネット３を介して受信端末２に送信する通信手段１０５とから構成される。
【００６８】
受信端末２は、インターネット３を介してストリーム４００を受信する通信手段２００と、ストリーム４００を分解するＤＥＭＵＸ手段２０１と、ストリーム４００から背景情報４２３を取得する第二映像取得手段２０３と、ストリーム４００から映像情報４２１を取得し、顔がどこにあるかを認識する顔認識手段２０９と、顔がどこにあるかを示す切取情報４２４を生成する切取情報生成手段２１０と、ストリーム４００から音声情報４２２を取得する音声取得手段２１１と、前記音声情報４２２を解析し、音声がどの方角が到達したかを示す指向情報４２５を生成する指向情報生成手段２１２と、指向情報４２５から人物６あるいは人物９の顔を選択する映像選択手段２０８と、切出情報４２４及び映像情報とから映像選択手段２０８により選択された顔の映像を切り出す映像切取手段２０４と、顔の映像と背景情報とを重ね合わせて出力映像とする映像重畳手段２０５と、出力映像を表示装置５に表示する表示手段２０６とから構成される。
【００６９】
次に、音声を発した人物の顔をカメラ映像から切り取り、資料映像に重畳して表示する仕組みの実現例について、図６のフローチャートを用いて説明する。
【００７０】
ユーザにより送信端末１と受信端末２との間でテレビ会議の開始が指示されると、送信端末１においては処理１０００が、受信端末２においては処理１１００が実行される。以下、フローチャートに従い説明する。
【００７１】
送信端末１、受信端末２においてそれぞれのCPUは、テレビ会議プログラムを記憶装置から読み出してメモリ上に展開し、テレビ会議プログラムを実行することによりテレビ会議機能を発現する（１０００、１１００）。
【００７２】
送信端末１の第二映像入力手段１０３は、背景情報４２３を外部あるいは内部のプログラムから受領してMUX手段１０４に出力する（１００１）。
また、第一映像入力手段１００は、映像情報４２１を外部あるいは内部のカメラ装置などの撮像装置から取得て顔認識手段１０１及びMUX手段１０４に出力し保存する（１００２）。
【００７３】
次に、音声入力手段１０６は、マイク装置８から音声情報４２２を取得する（１００５）。
MUX手段１０４は、映像情報４２１、音声情報４２２、背景情報４２３を多重化処理することでストリーム４００を作成し、通信手段及びインターネット３を介して受信装置２にストリーム４００を送信する（１００７）。
【００７４】
受信端末２の通信手段２００は、ステップ１００７で送信端末１が送信したストリーム４００を受信し（１１０１）、受信したすおリーム４００をDEMUX手段２０１に出力する。
DEMUX手段２０１は、多重化された前記ストリーム４００を分解する（１１０２）。
次に、映像切取手段２０４はDEMUX手段２０１から映像情報４２１を取得し（１１０３）、第二映像取得手段２０３は背景情報４２３を取得する（１１０４）。
【００７５】
次に、顔認識手段２０９は、映像情報４２１に対し画像解析を施して、顔がどこにあるかを検出し、その座標値を取得して切出情報生成手段２１０に出力する（１１１３）。この顔検出は、映像をピクセル単位で解析して目、鼻、口、輪郭などの特徴を検出することにより顔を判別したり、あるいは顔映像のデータベースと照合して一致することにより顔を判別するなどのいずれの方法でもよく、要は顔が映像情報４２１のうちのどの座標に位置するかが判定できればよい。
【００７６】
次に、切出情報生成手段２１０は、ステップ１１１３で顔認識手段２０９が取得した座標情報を受信し、座標情報に基づき、切出情報４２４を生成し、MUX手段１０４に出力する（１１１４）。切出情報生成手段２１０は、現在時刻を時刻情報５１０に、映像情報４２１の識別情報を映像識別情報５１１に、ステップ１１１３で取得した座標情報から取得した情報を原点情報５１３及びサイズ５１４にそれぞれ保存する。また、切出情報生成手段１０２は、映像情報４２１の中の顔の位置がどの方位に位置しているかを計算し、方位情報５１５として切出情報４２４に保存する。
【００７７】
次に、音声取得手段２１１は、DEMUX手段２０１から音声情報４２２を取得する（１１０６）。
音声取得手段２１１は、音声を解析することにより、音声がどの方角から到達しているか検出し、指向情報４２５を生成する（１１１５）。
【００７８】
ここで、映像選択手段２０８は、指向情報４２５の方位情報５２３と、切出情報４２４の方位情報５１５が一致する切出情報４２４を取得して、映像識別情報５１１と原点情報５１３とサイズ５１４を取得して顔を選択する（１１０８）。
【００７９】
次に、映像切取手段２０４は、映像識別情報５１１に関連付けられている映像情報４２１に対し、前記原点情報５１３及びサイズ５１４に基づいて映像情報を切出して顔映像を取得する（１１０９）。
次に、映像重畳手段２０５は、背景情報４２３の上に前記顔映像を上書きして映像を重ね合わせてあらたな映像情報を作成する（１１１０）。
映像重畳手段２０５は作成した映像情報を、表示装置５に出力する（１１１１）。
【００８０】
以上の動作により、音声を発した人物の顔をカメラ映像から切り取り、資料映像に重畳して表示する仕組みを実現することができる。
【００８１】
また、受信端末２のステップ１１０９において、指向情報４２５の方位情報５２３を使うのではなく、複数の切出情報４２４の原点情報５１３及びサイズ５１４を用いて順に時間を開けて映像情報４２１を切り取るようにすることにより、参加者全員の顔を順に一つづつ背景情報４２３の上に表示する仕組みを実現することができる。
【００８２】
また、受信端末２のステップ１１１０において、ステップ１１０９が生成した複数の顔映像を背景情報４２３の上に整列して上書きすることにより、複数の参加者の顔を同時に背景情報４２３の上に表示する仕組みを実現することができる。
【００８３】
なお、以上の実施例では受信端末２が備える映像切出手段２０４が、切出情報４２４および指向情報４２５に基づいて、映像情報から顔映像を取得する構成としたが、実施例１の構成に加えて送信端末１が映像切出手段を備える構成とすることも可能である。これにより受信装置２の構成から切出し情報取得手段２０２、指向情報取得手段２０７、映像選択手段２０８を省略することができる。この場合、送信装置１が通信手段１０５を介して受信装置２に送信する映像情報はすでに映像切出手段によって切出しの処理が行われている顔映像であるため、送信装置１から受信装置２に送信される情報量を減少させることができる。
【００８４】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００８５】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ（Digital Versatile Disk）等の記録媒体に置くことができる。
【００８６】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【産業上の利用可能性】
【００８７】
上記の実施例は、無線、有線により接続された通信システムにおいて、資料映像とカメラ映像を重ね合わせて表示するピクチャオンピクチャを実現するテレビ会議システムにおいて有効である。
【符号の説明】
【００８８】
１…送信端末
２…受信端末
４００…ストリーム
４１０…送信情報
４２４…切出情報
４２５…指向情報
１０００…送信端末１の動作を実現する処理フロー
１１００…受信端末２の動作を実現する処理フロー

【特許請求の範囲】
【請求項１】
映像の送信を行う送信端末と、送信端末から送信された映像の受信を行う受信端末と、からなるテレビ会議システムであって、前記送信端末は、
第一の映像の入力を受け付ける第一映像入力手段と、
第二の映像の入力を受け付ける第二映像入力手段と、
前記第一の映像に含まれる人物の顔を認識する顔認識手段と、
前記顔の座標を示す情報である切出情報を生成する切出情報生成手段と、
前記第一の映像、前記第二の映像及び前記切出情報を送信する第一の通信手段と、から構成され、
前記受信端末は、
前記第一の映像、前記第二の映像及び前記切出情報を受信する第二の通信手段と、
前記第一の映像と前記切出情報とに基づき、前記顔を第三の映像として生成する映像切取手段と、
前記第三の映像と前記第二の映像を重ね合わせて第四の映像を生成する映像重畳手段と、
前記第四の映像を出力する出力手段と、から構成される、
ことを特徴とするテレビ会議システム。
【請求項２】
請求項１のテレビ会議システムにおいて、
前記送信端末は、
音声を入力する音声入力手段と、
音声の到達方向を示す指向情報を生成する指向情報生成手段と、を備え、
前記第一の通信手段は、前記第一の映像、前記第二の映像、前記切出情報及び前記指向情報を送信する機能を備えることを特徴とするテレビ会議システム。
【請求項３】
請求項２のテレビ会議システムにおいて、
前記第二の通信手段は、前記第一の映像、前記第二の映像、前記切出情報及び前記指向情報を受信し、
前記受信端末は、
前記指向情報に基づき、前記映像切取手段により作成された複数の第三の映像から、前記第二の映像に重ね合わせる映像を選択する映像選択手段を備え、
前記映像重畳手段は、前記映像選択手段により選択された前記第三の映像と前記第二の映像とを重ね合わせ第四の映像を生成する、
ことを特徴とするテレビ会議システム。
【請求項４】
映像の送信を行う送信端末と、送信端末から送信された映像の受信を行う受信端末と、からなるテレビ会議システムであって、前記送信端末は、
第一の映像の入力を受け付ける第一映像入力手段と、
第二の映像の入力を受け付ける第二映像入力手段と、
前記第一の映像及び前記第二の映像を送信する第一の通信手段と、から構成され、
前記受信端末は、
前記第一の映像及び前記第二の映像を受信する第二の通信手段と、
前記第一の映像に含まれる人物の顔を認識する顔認識手段と、
前記顔の座標を示す情報である切出情報を生成する切出情報生成手段と、
前記第一の映像と前記切出情報とに基づき、前記顔を第三の映像として生成する映像切取手段と、
前記第三の映像と前記第二の映像を重ね合わせて第四の映像を生成する映像重畳手段と、
前記第四の映像を出力する出力手段とから構成される、
ことを特徴とするテレビ会議システム。
【請求項５】
請求項４のテレビ会議システムにおいて、
前記送信端末は、音声を入力する音声入力手段を備え、
前記第一の通信手段は、前記第一の映像、前記第二の映像及び前記音声を送信すること、
を特徴とするテレビ会議システム。
【請求項６】
請求項５のテレビ会議システムにおいて、
前記第二の通信手段は、前記第一の映像、前記第二の映像、及び前記音声を受信し、
前記受信端末は、
前記音声の到達方向を示す指向情報を生成する指向情報生成手段と、
前記指向情報に基づき、前記映像切取手段により作成された複数の第三の映像から、前記第二の映像に重ね合わせる映像を選択する映像選択手段と、を備え、
前記映像重畳手段は、前記映像選択手段により選択された前記第三の映像と前記第二の映像とを重ね合わせ第四の映像を生成する、
ことを特徴とするテレビ会議システム。
【請求項７】
映像の送信を行う送信端末と、送信端末から送信された映像の受信を行う受信端末と、からなるテレビ会議システムに用いられるテレビ会議方法であって、前記送信端末において、
第一の映像の入力を受け付けるステップと、
第二の映像の入力を受け付けるステップと、
前記第一の映像に含まれる人物の顔を認識するステップと、
前記顔の座標を示す情報である切出情報を生成するステップと、
前記第一の映像、前記第二の映像及び前記切出情報を送信するステップと、を行い、
前記受信装置において、
第一の映像、第二の映像及び切出情報を受信するステップと、
前記第一の映像と前記切出情報とに基づき、前記顔を第三の映像として生成するステップと、
前記第三の映像と前記第二の映像を重ね合わせて第四の映像を生成するステップと、
前記第四の映像を出力するステップと、を行う
ことを特徴とするテレビ会議方法。
【請求項８】
請求項７のテレビ会議方法であって、前記送信装置において、
音声の入力を受け付けるステップと、
前記音声の到達方向を示す指向情報を生成するステップと、を行い、
前記第一の映像、前記第二の映像及び前記切出情報を送信するステップにおいて、前記指向情報を送信する、
ことを特徴とするテレビ会議方法。
【請求項９】
請求項８のテレビ会議方法であって、前記受信装置において、
前記指向情報を取得するステップと、
前記指向情報に基づき複数の第三の映像から、前記第二の映像に重ね合わせる映像を選択するステップと、
前記切出情報及び前記指向情報から第三の映像を生成するステップと、
を行うことを特徴とするテレビ会議方法。
【請求項１０】
映像の送信を行う送信端末と、送信端末から送信された映像の受信を行う受信端末と、からなるテレビ会議システムに用いられるテレビ会議方法であって、前記送信端末において、
第一の映像の入力を受け付けるステップと、
第二の映像の入力を受け付けるステップと、
前記第一の映像及び前記第二の映像を送信するステップと、を行い、
前記受信端末において、
前記第一の映像及び前記第二の映像を受信するステップと、
前記第一の映像に含まれる人物の顔を認識するステップと、
前記顔の座標を示す情報である切出情報を生成するステップと、
前記第一の映像と前記切出情報とに基づき、前記顔を第三の映像として生成するステップと、
前記第三の映像と前記第二の映像を重ね合わせて第四の映像を生成するステップと、
第四の映像を出力するステップと
から構成されることを特徴とするテレビ会議方法。
【請求項１１】
請求項１０のテレビ会議方法であって、前記送信端末において、
音声の入力を受け付けるステップと、
前記音声を送信するステップと、を行うことを特徴とするテレビ会議方法。
【請求項１２】
請求項１１のテレビ会議方法であって、前記受信装置において、
前記音声を受信し、
前記音声の到達方向を示す指向情報を生成するステップと、
前記指向情報に基づき、複数の前記第三の映像から、前記第二の映像に重ね合わせる映像を選択するステップと、を行い、
前記第三の映像と前記第二の映像を重ね合わせて第四の映像を生成するステップにおいて、前記選択された前記第三の映像と前記第二の映像とを重ね合わせ第四の映像を生成する、
ことを特徴とするテレビ会議方法。

【図１】