多地点接続テレビ会議装置
【課題】多地点接続テレビ会議をフレキシブルに実施することを可能とすること。
【解決手段】本多地点接続テレビ会議装置は、SDP、RTPの各プロトコルを用いて、各装置が自装置の接続状態を接続先装置へ通知することで、親機を決定する。本発明によれば、親機、子機の情報がなくともフレキシブルに多地点接続テレビ会議を実施することができる。また、子機が多地点接続テレビ会議システム内に、親機が競合してしまうような誤った接続をしてしまった場合、SIP−URIを元に着信があった子機が親機に転送指示することで、親機、子機を利用者が意識することなく多数の装置と多地点接続テレビ会議を実施可能とする。
【解決手段】本多地点接続テレビ会議装置は、SDP、RTPの各プロトコルを用いて、各装置が自装置の接続状態を接続先装置へ通知することで、親機を決定する。本発明によれば、親機、子機の情報がなくともフレキシブルに多地点接続テレビ会議を実施することができる。また、子機が多地点接続テレビ会議システム内に、親機が競合してしまうような誤った接続をしてしまった場合、SIP−URIを元に着信があった子機が親機に転送指示することで、親機、子機を利用者が意識することなく多数の装置と多地点接続テレビ会議を実施可能とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、テレビ会議装置に係り、特に親機を自律的に決定する多地点接続テレビ会議装置に関する。
【背景技術】
【0002】
現在、DSL、光ファイバ等を利用したIP(Internet Protocol)網の普及を背景として、このIP網を利用して多地点接続テレビ会議を行なう技術が知られている。
【0003】
多地点接続テレビ会議の実現方法として、各装置から送信される音声データ、映像データを受信し、音声データについてはミキシング処理を実施し、映像データについては画面合成等の映像編集処理を実施し、処理を実施した音声データおよび映像データを各装置に配信するMCU(Multi point Control Unit)と呼ばれる専用装置を用いる手法が、特許文献1に記載されている。
【0004】
一方、近年の汎用プロセッサの処理能力向上により、単一の汎用プロセッサによりMCU機能とテレビ会議装置機能とを実現できるようになってきた。このようなテレビ会議装置は、特許文献2に記載されるものが知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平07−066876号公報
【特許文献2】特開2008−288974号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献2に開示された技術では、あらかじめ親機となる端末を決め、子機は親機に向けて発信しなければならず、予め親機の情報を与えられていない子機は会議に参加することができない。
【0007】
本発明は、以上のような課題を解決するもので、その目的は多地点接続テレビ会議をフレキシブルに実施することを可能とすることにある。
【課題を解決するための手段】
【0008】
上述した課題を解決するため、多地点接続テレビ会議装置は、SDP(Session Description Protocol)、RTP(Real Time Protocol)を用いて、各装置が自装置の接続状態を接続先装置へ通知することで、親機を決定する。本発明によれば、親機、子機の情報が予め与えられていなくともフレキシブルに多地点接続テレビ会議を実施することができる。
【0009】
多地点接続テレビ会議装置は、多地点接続テレビ会議に新たに接続される子機が、既に子機として動作している装置に対して接続し、多地点接続テレビ会議システム内に親機が競合してしまう誤った接続をした場合、SIPメッセージ内に含まれるSIP−URI(Session Initiation Protocol-Uniform Resources Identifiers)を元に着信を受けた子機が、発信した子機に対して親機に転送指示することで、親機、子機を利用者が意識することなく多数の装置と多地点接続テレビ会議を実施可能とする。
【0010】
上述した課題は、IP網からのデータの入出力を実現する回線IFと、マイクからの音声データを取り込むための音声入力IFと、音声入力IFからのデータを圧縮するための音声圧縮部と、圧縮された音声データを伸長するための音声伸張部と、多地点から送信される音声を合成するための音声合成部と、スピーカに音声データを出力するための音声出力IF部と、カメラからの映像データを取り込むための映像入力IFと、映像入力IFからのデータをデコードする映像デコード部と、デコードされた映像データを決まったサイズにスケーリングするための映像スケーリング部と、映像データを圧縮するための映像圧縮部と、圧縮された映像データを伸長するための映像伸張部と、多地点からの送信される映像データを合成するための映像合成部と、合成された映像を決まったサイズにスケーリングするための映像スケーリング部と、スケーリングされた映像をエンコードするための映像エンコード部と、エンコードされた映像データをテレビに出力するための映像出力IFと、SDP、RTP、SIPの情報を格納するRAMからなる多地点接続テレビ会議装置において、1対1でのテレビ会議を実施中に、他の多地点接続テレビ会議装置がそのテレビ会議に参加するとき、回線IFが受信したSDP、RTPを利用して動的に多地点接続テレビ会議システム内の親機を決定する通信制御部を有する多地点接続テレビ会議装置により、達成できる。
【0011】
また、参加メッセージを受信したとき、状態が未接続のとき応答メッセージに未定状態であることを記述して返信し、状態が未定状態または親状態のとき応答メッセージに親状態であることを記述して返信する多地点接続テレビ会議装置により、達成できる。
【0012】
さらに、送信元の状態が未定状態の参加メッセージを受信したとき、状態が未接続のとき応答メッセージに未定状態であることを記述して送信元へ返信し、状態を未定状態へ遷移し、状態が未定状態のとき応答メッセージに親状態であることを記述して送信元へ返信し、状態を親状態へ遷移し、状態が親状態のとき応答メッセージに親状態であることを記述して送信元へ返信し、状態が子状態のときリダイレクトメッセージを送信元へ返信し、送信元の状態が親状態の参加メッセージを受信したとき、状態が未接続のとき応答メッセージに子状態であることを記述して送信元へ返信し、状態を子状態へ遷移し、状態が未定状態、親状態、子状態のいずれかのとき話中メッセージを送信元へ返信する多地点接続テレビ会議装置により、達成できる。
【発明の効果】
【0013】
多地点接続テレビ会議装置は、SDP、RTP、SIPの各プロトコルを用いて動的にシステム内の親機を決定することができる。また、装置がシステム内に親機が競合してしまうような接続を行なってしまっても、新たに接続してきた子機は親機へ転送され、多地点接続テレビ会議をフレキシブル且つ確実に実施する。
【図面の簡単な説明】
【0014】
【図1】多地点接続テレビ会議システムの構成を説明するブロック図である。
【図2】多地点接続テレビ会議装置の構成を説明するブロック図である。
【図3】INVITEメッセージボディのSDPの記述である。
【図4】制御コード識別子と通知情報を説明する図である。
【図5】2台の多地点接続テレビ会議装置間のシーケンス図である。
【図6】制御用RTPを説明する図である。
【図7】定義した設定内容を説明する図である。
【図8】3台の多地点接続テレビ会議装置間のシーケンス図である。
【図9A】多地点接続テレビ会議装置の着信動作のフローチャートである(その1)。
【図9B】多地点接続テレビ会議装置の着信動作のフローチャートである(その2)。
【図9C】多地点接続テレビ会議装置の着信動作のフローチャートである(その3)。
【図10】多地点接続テレビ会議装置の発信動作のフローチャートである。
【図11】発信時自装置接続状態による送出SDP情報条件テーブルである。
【図12】4台の多地点接続テレビ会議装置間のシーケンス図である(その1)。
【図13】多地点接続テレビ会議装置が管理する装置情報を説明する図である。
【図14】4台の多地点接続テレビ会議装置間のシーケンス図である(その2)。
【図15】多地点接続テレビ会議実施中に、他の多地点接続テレビ会議から接続があったケースを説明する図である。
【図16】装置の状態と、受信したSDP情報による動作条件テーブルである。
【図17】親状態にある2台の多地点接続テレビ会議装置間のシーケンス図である。
【図18】多地点接続テレビ会議実施中に親機が退席するケースを説明する図である。
【図19】4台の多地点接続テレビ会議装置間のシーケンス図である(その3)。
【図20】親状態にある多地点接続テレビ会議装置が退席する際の動作フローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態について、実施例を用い図面を参照しながら詳細に説明する。なお、実質同一部位には、同じ参照番号を振り、説明は繰り返さない。
【0016】
本実施例の多地点接続テレビ会議装置は、多地点接続テレビ会議を実施する際にMCU機能(親機)とテレビ会議装置機能(子機)の両機能を有する。しかし、多地点接続テレビ会議装置は、親機、子機を意識することなく多数の装置と多地点接続テレビ会議を実施する。なお、本明細書または図面において、多地点接続テレビ会議装置を単に装置または多地点テレビ会議装置と記載することがある。
【0017】
多地点接続テレビ会議装置が親機として動作する場合には、自装置に接続したカメラからの入力映像データと他装置から受信する映像データの合成、スケーリングを実施し、その映像データを子機へ配信し、自装置に接続しているモニタへ出力する。また、音声も同様に自装置に接続したマイクからの音声データと他装置から受信した音声データをミキシングし、その音声データを子機へ配信し、自装置に接続しているスピーカへ出力する。
【0018】
多地点接続テレビ会議装置が子機として動作する場合には、自装置に接続したカメラからの入力映像データを親機へ送信し、親機から配信された合成映像データを自装置に接続しているモニタへ出力する。また、自装置に接続したマイクからの入力音声データを親機へ送信し、親機から配信された音声データを自装置に接続しているスピーカへ出力する。
【0019】
また、多地点接続テレビ会議装置は、IETF(The Internet Engineering Task Force)で標準化されたSIPを用いてIP網でつながれた装置間で呼制御を実施し、多地点接続テレビ会議を実現する。
【0020】
図1を参照して、多地点接続テレビ会議装置システムのネットワーク構成を説明する。図1において、多地点接続テレビ会議装置システム100は、多地点接続テレビ会議装置10と、IP網20とから構成されている。多地点接続テレビ会議装置10は、映像データ、音声データ等のパケットを伝送するIP網20に接続されている。また、多地点接続テレビ会議装置10は、カメラ11と、モニタ12と、マイク13と、スピーカ14とが接続されている。カメラ11は、自拠点の映像を配信する。モニタ12は、多地点からの映像を映し出す。マイク13は、自拠点の音声を配信する。スピーカ14は、多地点の音声を出力する。
【0021】
図2を参照して、多地点接続テレビ会議装置の内部構成を説明する。図2において、多地点接続テレビ会議装置10は、回線IF101と、通信制御部102と、RAM103と、音声入力IF104と、音声圧縮部105と、音声伸張部106と、音声合成部107と、音声出力IF108と、映像入力IF109と、映像デコード部110と、映像スケーリング部111と、映像圧縮部112と、映像伸張部113と、映像合成部114と、映像スケーリング部115と、映像エンコード部116と、映像出力IF117とから構成される。
【0022】
回線IF101は、当該多地点接続テレビ会議装置と他の多地点接続テレビ会議装置との間でIP網20を利用してデータ通信を行なうインタフェースである。回線IF101は、IP網20から受信したデータを通信制御部102へ出力する。また、回線IF101は、通信制御部102から受信したデータをIP網20へ出力する。
【0023】
通信制御部102は、プロセッサ等で構成される。通信制御部102は、多地点接続テレビ装置間の通信に使用するSIP制御、装置の状態を通知するSDP制御、映像および音声データ、制御データを含んだRTP制御を行なう。通信制御部102は、それらデータをRAM103に入出力する。また、通信制御部102は、圧縮された音声データを音声伸張部106へ出力し、圧縮された映像データを映像伸張部113へ出力する。
【0024】
RAM103は、IP網20経由で接続先多地点接続テレビ会議装置から送信されたSDP、RTP、SIPメッセージ内に含まれるSIP−URIの情報を格納するメモリである。RAM103に格納されたSDP、RTP、SIP−URIのデータを元に、多地点接続テレビ会議装置10は、多地点接続テレビ会議装置間の親子関係を決定する。
【0025】
音声入力IF104は、当該装置に接続されるマイク13から入力される音声データを取り込むインタフェースである。音声圧縮部105は、音声入力IF104から入力された音声データをIP網20へ負荷のかからないように圧縮を行ない通信制御部102へ出力する。音声伸張部106は、音声圧縮部105にて圧縮された音声データを伸張する。当該装置が親機として機能する際に、音声伸張部106は、伸張した音声データを音声合成部107へ出力する。一方、子機として機能する場合、音声伸張部106は、伸張した音声データを音声出力IF108へ出力する。
【0026】
音声合成部107は、当該装置が親機となる場合のみ機能する。音声合成部107は、各子機からと自装置のマイク13からの音声データを合成し、音声出力IF108と通信制御部102へ出力する。音声出力IF108は、装置内で処理された音声データを当該装置に接続されたスピーカ14に出力する。
【0027】
映像入力IF109は、当該装置に接続されるカメラから入力される映像データを取り込むインタフェースである。映像デコード部110は、映像入力IF109から入力された映像データをデコードし、映像スケーリング部111へ出力する。映像スケーリング部111は、映像デコード部110から出力された映像データを接続形態によりスケーリングし、映像圧縮部112へ出力する。
【0028】
映像圧縮部112は、映像スケーリング部111から出力されたデータをIP網20へ負荷のかからないように圧縮を行ない、通信制御部102へ出力する。映像伸張部113は、映像圧縮部112にて圧縮された映像データを伸張する。当該装置が親機として機能する際、映像伸張部113は、伸張した映像データを映像合成部114へ出力する。子機として機能する場合、映像伸張部113は、伸張した映像データを映像スケーリング部115へ出力する。
【0029】
映像合成部114は、当該装置が親機となる場合のみ機能する。映像合成部114は、各子機からと自装置のカメラ13からの映像データを合成し、映像スケーリング部115へ出力する。映像スケーリング部115は、映像合成部114から出力された映像データを接続形態によりスケーリングし、映像エンコード部116および通信制御部102へ出力する。なお、映像スケーリング部115が通信制御部102へも出力するのは、親機の場合である。
【0030】
映像エンコード部116は、映像スケーリング部115からの映像データを映像出力IF117へ出力する。映像出力IF117は、装置内で処理された映像データを当該装置に接続されたモニタ12に出力する。
【0031】
多地点接続テレビ会議を実現するための、制御情報を含むSIP、SDP、RTPについて説明する。図3を参照して、多地点接続テレビ会議装置が送信するINVITEメッセージのボディに記載されたSDP記述を説明する。図3において、SDP記述のv行から、a=framerate:15までは、標準的な記述である。末尾のa=conference:serverが、本実施例で新たに定義された制御コードと通知情報である。具体的には、conferenceが制御コード識別子であり、serverが通知情報である。
【0032】
多地点接続テレビ会議装置10は、SDPによる通信のネゴシエーションを発着信と、応答のタイミングで実施する。通知する内容としてSDPのメディア記述へ自装置の状態を伝達する属性記述aを追加し、属性記述aに自装置の状態を設定し、接続先多地点接続テレビ会議装置10へ送信する。
【0033】
図4を参照して、制御コード識別子と、通知情報とを記載した設定対応テーブル30を説明する。図4において、設定対応テーブル30は、制御コード識別子301のレコードと、通知情報302のレコードとを含む。設定対応テーブル30は、レコードに対応して、設定内容コラムと、意味コラムとを含む。制御コード識別子301の設定内容は、一つであり、conferenceのみである。conferenceは、ネゴシエーションデータであることを示す。一方、通知情報302の設定内容は、3種ある。それらは、undecidedと、serverと、clientとである。
【0034】
undecidedは、自装置の状態は「未定」であることを意味する。undecidedは、1対1接続を意味する。serverは、自装置の状態が1対複数接続の「親」であることを意味する。clientは、自装置の状態が1対複数接続の「子」であることを意味する。
【0035】
なお、制御コード識別子301、通知情報302の設定値は、任意に決定することができる。設定値は、他の値を設定したとしてもよい。図4に示すように、制御コード識別子301としてconferenceという固定値を使用し、この制御コード識別子301を使用している装置とのみSDPでのネゴシエーションを図る。
【0036】
図5を参照して、2台の多地点接続テレビ会議装置間の接続処理を説明する。この接続処理は、SDPを利用した発着信シーケンスである。図5において、他の装置と未通信である装置10−Aは、同様に他の装置と未通信である装置10−B対して、呼接続要求を行なう。その時図4の設定対応テーブル30に従えば、装置10−Aと装置10−Bはお互い未通信からの接続となり1対1接続となるため、装置10−Aは、SDP内属性情報をundecidedとしたINVITEメッセージを装置10−Bへ送信する(S1)。装置10−Bもまた1対1接続となるため図4の設定対応テーブル30に従い、装置10−Bの通信制御部102はSDP内属性情報aをundecidedとした正常応答200 OKを装置10−Aに送信する(S2)。この時点では1対1通信であり、装置間に親子関係はない。
【0037】
図5で説明した通り、発信とその応答にはSDPを使用し装置の通信状態を通知し、通信のネゴシエーションを実施できる。しかし、通信中に装置の状態が変化した場合には相手側テレビ会議装置とのネゴシエーションにSDPを使用できない。これは、SDPを含むSIPメッセージは、セッションの開始時のINVITEメッセージ、200 OKメッセージのみの送信となるためである。そこで、音声RTPとは別に、装置の状態を通知するメッセージを図6に示す制御RTPとしてRTPに割り込ませる。このRTPによるネゴシエーションは、接続後に装置の状態が変わる度に実施する。
【0038】
図6および図7を参照して、制御RTPのデータフォーマットと設定対応テーブル40とを説明する。図6において、制御データであるconference:request:serverの最初のコロンの前のconferenceは、制御コード識別子である。コロンに挟まれたrequestは、指示コードである。2番目のコロンの後のserverは、通知情報である。
【0039】
図7において、制御コード識別子401、指示コード402、通知情報403の設定値は、任意に決定することができる。図7の設定値は、他の値を設定したとしてもよい。制御RTPは、制御コード識別子401、指示コード402、通知情報403から構成される。制御コード識別子401は、conferenceという固定値を使用し、この制御コード識別子401を使用している装置とのみRTPでのネゴシエーションを実施する。
【0040】
指示コード402は、制御RTPを送信する装置から状態の通知を行なうために送信するrequestと、制御RTPを受信する装置がrequestに対する応答を示すために送信するresponseの2種類がある。
【0041】
通知情報403は4種類あり、それぞれ、1対1接続状態である装置同士の親子関係が未定であることを示すundecided、多地点接続を行なっている時に親機であることを示すserver、多地点接続を行なっている時に子機であることを示すclient、リクエスト受付不可の場合にレスポンスとしてのみ送信するxxxがある。
【0042】
図8を参照して、図6および図7で説明した制御RTPを利用した装置間の親子関係ネゴシエーションを説明する。図8では初期状態において、装置10−Aと装置10−Bの1対1通信が行なわれている。装置10−Aと装置10−Bの装置状態は、ともにundecidedである。ここで、装置10−Cは、SDP内部属性情報aをundecidedとしたINVITEメッセージを装置10−Aに送信する(S3)。装置10−Aは、装置10−CからのINVITEメッセージに対する正常応答200 OKメッセージを装置10−Cに送信する(S4)。ステップ4にて送信するSDPの属性記述aは、serverであり、装置10−Cが装置10−Aに接続したことによって、装置10−Aの装置状態がundecidedからserver変化する。
【0043】
このように通信中に親機となった装置10−Aの状態変化を契機に、装置10−Aは、制御RTPにて通知情報serverを装置10−Bに送信する(S5)。装置10−Bは、そのレスポンスとして制御RTPにて通知情報clientを送信する(S6)。この結果、装置10−A、装置10−B、装置10−C間の親子関係が決定され、通信中に遷移する。
【0044】
図9を参照して、テレビ会議装置間で親子関係を如何に決定するかについて説明する。図9のフローチャートの処理は、装置10のRAM103内に収められている通信先装置からのSDP属性情報データを用いた通信制御部102の動作について説明したものである。
【0045】
図9において、通信制御部102は、他のテレビ会議装置からの着信を受け付ける(S100)。通信制御部102は、自装置が他装置と通信中であるかどうかの判定を行なう(S101)。通信中でないとき(NO)、通信制御部102は、受信したSDPの属性情報がundecidedであるかどうかの判定を行なう(S102)。undecidedと判定された場合(YES)、通信制御部102は、相手端末に対してSDPの属性情報としてundecidedと通知して(S104)、終了する。この時点では1対1通信であり、装置間の親子関係は未定である。
【0046】
一方、ステップ102で、受信したSDPの属性情報がundecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるかどうかの判定を行なう(S103)。serverと判定された場合(YES)、通信制御部102は、相手端末に対してSDPの属性情報としてclientと通知して(S105)、終了する。ここで、1対複数の接続となるため、装置間の親子関係が決定する。
【0047】
一方、ステップ103で、受信したSDPの属性情報がserverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、本実施例では親機の競合が発生してしまうという理由から、子機(client)が発信することを許容しておらず、属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。ステップ101において、通信制御部102が自装置が他装置と通信中であると判定した場合(YES)、通信制御部102は、ステップ106に遷移する。
【0048】
図9Bに移って、ステップ106において、通信制御部102は。自装置の接続状態がundecidedであるかどうかの判定を行なう。自装置の接続状態がundecidedであると判定された場合(YES)、通信制御部102は、受信したSDPの属性情報がundecidedであるかどうかの判定を行なう(S107)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に対してSDPの属性情報としてserverと通知する(S109)。この時点で1対複数通信となり、装置間の親子関係が決定される。通信制御部102は、通信開始時にSDPの属性情報としてundecidedを送信したもう一つの接続装置へ、制御RTPにて自装置がserverを通知して(S110)、終了する。
【0049】
一方、ステップ107で、受信したSDPの属性情報がundecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるか判定を行なう(S108)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S111)、終了する。
【0050】
一方、ステップ108で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信すると、親機の競合が発生してしまうという理由から許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。
【0051】
ステップ106で、自装置の接続状態がundecidedではないと判定された場合(NO)、通信制御部102は、自装置の接続状態がserverであるか判定を行なう(S112)。serverであると判定された場合(YES)、通信制御部102は、受信したSDPの属性情報がundecidedであるか判定を行なう(S113)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に対してSDPの属性情報としてserverと通知して(S115)、終了する。この時点では既に1対複数通信となっており、装置の親子関係は決定している。
【0052】
一方、ステップ113で、undecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるかの判定を行なう(S114)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S116)、終了する。
【0053】
一方、ステップ114で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信することを親機の競合が発生してしまうという理由から、許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。
ステップ112において通信制御部102が、自装置の接続状態がserverではないと判定した場合(NO)、ステップ118に遷移する。
【0054】
図9Cにおいて、通信制御部102は、受信したSDPの属性情報がundecidedであるか判定を行なう(S118)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に、親機と接続させるためにSIPのリダイレクトメッセージである302 Moved Temporarilyメッセージを送信して(S120)、終了する。
【0055】
一方、ステップ118で、undecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるか判定を行なう(S119)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S121)、終了する。
【0056】
一方、ステップ119で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信することを親機の競合が発生してしまうという理由から許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、通信制御部102は、フローを終了する。
【0057】
図10のフローチャートを参照して、装置が発信した際にどのようにしてテレビ会議装置間の親子関係を決定するかについて説明する。図10のフローチャートの処理は、装置のRAM103内に収められている通信先装置からのSDP属性情報データを用いた通信制御部102の動作について説明したものである。
【0058】
図10において、通信制御部102は、自装置が他装置と通信中であるか判定を行なう(S130)。通信中でないと判定された場合(NO)、通信制御部102は接続先装置へSDP内属性記述をundecidedとしたINVITEメッセージを送信して(S131)、終了する。
【0059】
ステップ130で、通信中であると判定された場合(YES)、通信制御部102は、自装置の通信状態がundecidedか判定する(S132)。undecidedと判定された場合(YES)、通信制御部102は、通信状態をserverへ、遷移する(S135)。通信制御部102は、接続先装置へSDP内属性記述をserverとしたINVITEメッセージを送信して(S136)、終了する。なお、ステップ135と、ステップ136は、順序が逆でもよい。
【0060】
ステップ132で、undecidedではないと判定した場合(NO)、通信制御部102は、自装置の状態がsereverであるかを判定する(S133)。serverと判定した場合(YES)、通信制御部102は、接続先装置へSDP内部属性記述をserverとしたINVITEメッセージを送信して(S134)、終了する。
【0061】
ステップ133で、serverでないとき、通信制御部102は、そのまま終了する。これは、undecidedでもserverでもないときは、clientとなり、clientの発信を許容しないためである。
【0062】
図11を参照して、発信時自装置接続状態による送出SDP情報条件テーブル50を説明する。図11において、接続状態には、未通信と通信中とがある。通信中の状態として、さらにundecidedとserverとclientとがある。これらの4状態からINVITEを送信するときのSDP情報は、以下の通りである。
【0063】
未通信のとき、通信制御部102は、undecidedを送信する。undecidedのとき、通信制御部102は、serverを送信する。serverのとき、通信制御部102は、serverを送信する。clientのとき、通信制御部102は、発信しないので、発生しない。
【0064】
図12を参照して、装置10−A〜10−Dが4地点でテレビ会議を行なう際の接続シーケンスを説明する。図12において、装置10−Bは、装置10−Aに対して、呼接続要求であるSIPのINVITEメッセージを送出する(S7)。このとき、NVITEメッセージのボディのSDPには属性記述をundecidedとして送信する。装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Bに送信する(S8)。このとき、メッセージのボディのSDPには属性記述をundecidedとして送信する。
【0065】
装置10−Bは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S9)。
【0066】
装置10−Aは、装置10−Bから受信したSDP内の属性記述をRAM103内に保存する。また、装置10−Bも、同様にSDP内の属性記述をRAM103内に保存する。
【0067】
装置10−Aと装置10−Bにて1対1接続が完了した後、装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Bに対して送信する。装置10−Bも、同様に装置10−Bに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Aは、受信した装置10−Bからのデータについて、装置10−Aに接続されるスピーカ14、モニタ12に対して出力する。また、装置10−Bが受信した装置10−Aからのデータは、装置10−Bによって装置10−Bに接続されるスピーカ14、モニタ12に対して出力される。
【0068】
装置10−Aと装置10−Bにて1対1接続が完了した後、装置10−Cが装置10−Aに対して呼接続要求であるSIPのINVITEメッセージを送出する(S10)。また、INVITEメッセージのボディのSDPの属性記述は、undecidedである。
【0069】
装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Cに送信する(S11)。このとき、1対2接続となり装置10−Aが音声、映像を合成し配信する親機となるため、装置10−Aが送信するSDPで宣言される属性記述は、serverである。
【0070】
装置10−Cは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S12)。
【0071】
この時装置10−Aを親機とした1対2接続になる為、装置間で初めて親子関係が決定する。多地点接続テレビ会議システムが1対2接続となることを契機として、決定した親子関係を元に、親機となる装置10−AはRAM103上の属性記述aがundecidedのままである装置10−Bに対して制御RTPを使用し、装置10−Aが親機となったとなったことを通知するrequestとしてserverと送信する(S13)。装置10−Bは、装置10−Aに対してrequestに対するresponseとして、clientを送信し(S14)、装置10−BのRAM103の接続状態情報が更新される。
【0072】
装置10−A、装置10−B、装置10−Cにて1対2接続が完了した後、装置10−Bは、装置10−Bに接続されるマイク13の音声データ、カメラ1の映像データを装置10−Aに対して送信する、装置10−Cも、同様に装置10−Cに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。
【0073】
装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データと、装置10−Bから受信したマイク13の音声データ、カメラ11の映像データと、装置10−Cから受信したマイク13の音声データ、カメラ11の映像データをそれぞれ合成する。
【0074】
装置10−Aによって合成された音声データ、映像データは、それぞれ装置10−Aに接続されるスピーカ14、モニタ12によって出力される。合成された音声データ、映像データは、また、同時に装置10−B、装置10−Cに対しても送信される。装置10−Bは、装置10−Aから受信した音声データ、映像データを接続しているスピーカ14、モニタ12に対して出力する。装置10−Cは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。
【0075】
装置10−Aを親とする1対2接続が完了した後、装置10−Dが装置10−Aに対して呼接続要求であるSIPのINVITEメッセージを送出する(S15)。INVITEメッセージのボディのSDPの属性記述は、undecidedである。
【0076】
装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置Dに送信する(S16)。メッセージボディのSDP内属性記述は、serverである。装置10−Dは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S17)。
【0077】
装置10−Aを親とする1対3接続が完了した後、装置10−Bは、装置10−Bに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Cも、同様に装置10−Cに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Dも、同様に装置10−Dに接続されるマイク31の音声データ、カメラ11の映像データを装置10−Aに対して送信する。
【0078】
装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データと、装置10−Bから受信したマイク13の音声データ、カメラ11の映像データと、装置10−Cから受信したマイク13の音声データ、カメラ11の映像データと装置10−Dから受信したマイク13の音声データ、カメラ11の映像データをそれぞれ合成する。
【0079】
装置10−Aによって合成された音声データ、映像データは、それぞれ装置10−Aに接続されるスピーカ14、モニタ12によって出力される。合成された音声データ、映像データは、また、同時に装置10−B、装置10−C、装置10−Dに対しても送信される。装置10−Bは、装置10−Aから受信した音声データ、映像データを接続しているスピーカ14、モニタ12に対して出力する。装置10−Cは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。装置10−Dは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。
【0080】
図13を参照して、多地点接続テレビ会議装置がRAM103上で管理する各装置の情報を示したテーブルを説明する。図12のシーケンスがステップ17まで完了し装置Aを親とする1対3の接続が完了した時、図13の通りのデータを各装置はRAM103上で管理する。すなわち、装置Aは、装置B、装置C、装置DのSIP−URIと、装置B、装置C、装置Dがそれぞれclientであることを管理する。また、装置B、装置C、装置Dは、それぞれ装置AのSIP−URIと、装置Aがserverであることを管理する。
【0081】
図14を参照して、1対2での多地点接続テレビ会議中に子機として機能している装置10−Cに対して、新たな装置10−Dから発信した場合の処理について説明する。図14において、装置10−Aが親機として機能している。ステップ18からステップ25までは、図12のステップ7からステップ14までと同じなので、説明を省略する。
【0082】
装置10−Dは、装置10−Cに対して、呼接続要求であるSIPのINVITEメッセージを送出する(S26)。メッセージボディのSDPの属性記述はundecidedである。装置10−Cは、属性記述がundecidedとなったSDPを受信する。しかし、自装置がclientとして動作しており、着信を許可してしまうと多地点テレビシステム内に親機の競合が発生してしまう。そのため、装置10−Cの通信制御部102は、装置10−Dに対して、多地点接続テレビ会議システム内において、現時点で親機である装置10−Aに向けて装置10−Dを接続変更させるため、SIPのリダイレクトメッセージである302 Moved Temporarilyを装置10−Dへ送信する(S27)。なお、接続先変更の情報は、装置10−CのRAM103上で管理する各装置情報を示したテーブル内のSIP−URIであり、その装置10−Aに対応したSIP−URIを302 Moved Temporarilyメッセージ内のコンタクトヘッダ内で指定する。
【0083】
装置10−Dは、リダイレクトメッセージ 302 Moved Temporarilyを受信すると、リダイレクトメッセージ 302 Moved Temporarilyに対応した受信確認のACKメッセージを装置10−Cに送信する。(S28)
装置10−Dは、装置10−Cから受け取った302 Moved Temporarilyメッセージ中のコンタクトヘッダ内SIP−URIを参照し、転送先である装置10−Aに対して再度INVITEメッセージを送信する(S29)。メッセージボディのSDPの属性記述は、undecidedである。
【0084】
装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Dに送信する(S30)。メッセージボディのSDPの属性記述は、serverである。装置10−Dは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S31)。
【0085】
以上の方法により、装置10−Aが親機、装置10−B、10−C、10−Dが子機と決定され、多地点接続テレビ会議にて1対4接続を実現する。本実施例では1対4接続の場合を説明したが、接続数が変わっても、親機を決定する方式は変わらない。
【0086】
以下、装置10−Aと装置10−Bが1対1の通信を行なっているネットワークに、装置10−Cと装置10−Dと装置10−Eが1対2通信をしているネットワークが参加した場合の処理について説明する。
【0087】
図15を参照して、装置10−Aと装置10−Bが1対1の通信を行なっているネットワークに、装置10−Cと装置10−Dと装置10−Eが1対2通信をしているネットワークが参加したケースを説明する。図15において、装置10−Aと装置10−Bが1対1の通信をしているので、装置10−Aと装置10−Bとは、undecided状態である。一方、装置10−Cと装置10−Dと装置10−Eが1対2通信しており、装置10−Cは、server状態、装置10−Dと装置10−Eとは、client状態である。また、装置10−Cは、装置10−Aに発信している
既に説明したように、この場合着信を受ける装置10−Aが親機になる。しかし、発信をした装置10−Cも親機であるため、多地点接続テレビ会議システム内に親機が2台存在することになり親機が競合してしまう。
【0088】
図16を参照して、親機の競合を防ぐため受信したSDP内属性記述による動作条件テーブル60を説明する。図16において、INVITEを受信したテレビ会議装置10の状態は、未通信または通信中である。通信中の状態は、さらにundecidedとserverとclientとがある。これらの4状態からINVITEを受信したときのSDP情報は、以下の通りである。
【0089】
まず、INVITEを受信したときのSDP情報がclientは、許容しないので発生しない。
INVITEを受信したときのSDP情報がundecidedのとき、状態が未接続なら、多地点接続テレビ会議装置10は、undecided応答を返信して、undecided状態に遷移する。状態がundecidedなら、多地点接続テレビ会議装置10は、server応答を返信して、server状態に遷移する。状態がserverなら、多地点接続テレビ会議装置10は、server応答を返信する。状態がclientなら、多地点接続テレビ会議装置10は、302 Moved Temporarilyを送信する。
【0090】
INVITEを受信したときのSDP情報がserverのとき、状態が未接続なら、多地点接続テレビ会議装置10は、client応答を返信して、client状態に遷移する。状態がundecided、serverまたはclientなら、多地点接続テレビ会議装置10は、486 busyを送信する。
【0091】
図17を参照して、図15の接続が発生した場合の多地点接続テレビ会議装置10−Aと、多地点接続テレビ会議装置10−Cの接続シーケンスを説明する。図17において、装置10−Aは、装置10−Cからの接続要求INVETEメッセージを受信する(S36)。しかし、装置10−Cが送信したSDP内の属性記述がserverであり、装置10−A自身の装置状態がundecidedであるため、装置10−Aは装置10−Cに対して、話中であることを示す486 busyメッセージを送信し、接続を拒否する(S37)。486 busyメッセージを受信した装置10−Cは、受信確認のACKメッセージを装置10−Aに送信する(S38)
図12、図14の多地点接続についても、図16のテーブルに従い装置10−A、装置10−B、装置10−C、装置10−Dは、動作する。
このようにして、多地点接続テレビ会議システム上に親機の競合を防ぎ、会議開始前に事前に親機を会議参加者同士で決定するという煩雑な作業がなく、どの装置とでもフレキシブルに接続できる。
【0092】
図18ないし図20を参照して、装置10−Aを親機として、装置10−A⇔装置10−B、装置10−A⇔装置10−C、装置10−A⇔装置10−Dの1対3多地点接続テレビ会議を実施中に親機である装置10−Aが会議から退席する場合の処理について説明する。
【0093】
図18を参照して、装置10−Aを親機として装置A⇔装置B、装置A⇔装置C、装置A⇔装置Dの1対3多地点接続テレビ会議を実施中に、親装置である装置10−Aが会議から退席するケースを説明する。図18において、親装置である多地点接続テレビ会議装置10−Aは、退席するとき、多地点接続テレビ会議装置10−B、多地点接続テレビ会議装置10−C、多地点接続テレビ会議装置10−Dとの接続を切断する。多地点接続テレビ会議装置10−Cは、子装置から親装置に遷移する。
【0094】
図19を参照して、装置10−Aが退席後も装置10−B、10−C、10−D間で多地点接続テレビ会議を継続する場合の処理を説明する。図19において、装置10−Aは、次に親機とする装置10−CにBYEを送信する(S41)。装置10−Cは、装置10−Aに200 OKを送信する(S42)。装置10−Aは、装置10−BにREFER Refer−To:装置Cを送信する(S43)。装置10−Bは、装置10−Aに202 Acceptedを送信する(S44)。装置10−Aは、装置10−BにBYEを送信する(S46)。装置10−Bは、装置10−Aに200 OKを送信する(S47)。
【0095】
装置10−Aは、装置10−Dに制御RTPを送信する(S48)。このとき、制御データは、conference:request:undecidedである。装置10−Dは、装置10−Aに制御RTPを送信する(S49)。このとき、制御データは、conference:responce:undecidedである。
【0096】
装置10−Bは、装置10−CにINVITE Referred−By:装置Aを送信する(S51)。このとき、メッセージボディのSDPにはundecidedが記載されている。装置10−Cは、装置10−Bに200 OKを送信する(S52)。このとき、メッセージボディには、undecidedが記載されている。装置10−Bは、装置10−CにACKを送信する(S53)。装置10−Bは、装置10−CにNOTIFYを送信する(S54)。NOTIFYは、転送を知らせるメッセージである。装置10−Cは、装置10−Bに200 OKを送信する(S56)。これまでで、装置10−Bと装置10−Cとは、通話中となる。
【0097】
装置10−Aは、装置10−DにREFER Refer−To:装置Cを送信する(S57)。装置10−Dは、装置10−Aに202 Acceptedを送信する(S58)。装置10−Aは、装置10−DにBYEを送信する(S59)。装置10−Dは、装置10−Aに200 OKを送信する(S61)。
【0098】
装置10−Dは、装置10−CにINVITE Referred−By:装置Aを送信する(S62)。このとき、メッセージボディのSDPにはundecidedが記載されている。装置10−Cは、装置10−Dに200 OKを送信する(S63)。このとき、メッセージボディには、undecidedが記載されている。装置10−Dは、装置10−CにACKを送信する(S64)。装置10−Dは、装置10−AにNOTIFYを送信する(S66)。装置10−Aは、装置10−Dに200 OKを送信する(S67)。これまでで、装置10−Dと装置10−Cとは、通話中となる。
【0099】
装置10−Cは、装置10−Bに制御RTPを送信する(S68)。このとき、制御データは、conference:request:serverである。装置10−Bは、装置10−Cに制御RTPを送信する(S69)。このとき、制御データは、conference:responce:clientである。
【0100】
図20を参照して、親機の状態から退席するテレビ会議装置の処理フローを説明する。図20において、通信制御部102は、ユーザーからの設定を元に多地点接続テレビ会議を継続するかどうかの判定を行なう(S200)。多地点接続テレビ会議を継続して実施すると判定された場合(YES)、通信制御部102は、自装置が退席後に親機とする端末を多地点接続テレビ会議から切り離すため、切断処理を実施する(S201)。
【0101】
通信制御部102は、退席後に子機とする装置へ、次に親機として動作する装置に接続させるため、RAM103内に保存している転送先のSIP−URIをSIPの転送メッセージであるREFERメッセージに転送先として指定し、送信して(S202)、終了する。
【0102】
一方、ステップ200にて多地点接続テレビ会議を継続して実施しないと判定された場合(NO)、通信制御部102は、自装置に接続しているすべての装置に対して切断処理を実施する(S203)。
【0103】
このようにして、多地点接続テレビ会議実施中に親機が退席しなければならないような状況において、多地点接続テレビ会議を継続したい場合、新規に親機となる装置への接続変更処理を行なうことにより、多地点接続テレビ会議を継続することができる。
【符号の説明】
【0104】
10…多地点接続テレビ会議装置、20…IP網、30…SDP内属性記述a設定対応テーブル、40…制御RTP設定対応テーブル、50…発信時自装置接続状態による送出SDP情報条件テーブル、60…自装置状態と、受信SDP内属性記述による動作条件テーブル、100…多地点接続テレビ会議システム、101…回線IF、102…通信制御部、103…RAM、104…音声入力IF、105…音声圧縮部、106…音声伸張部、107…音声合成部、108…音声出力IF、109…映像入力IF、110…映像デコード部、111、115…映像スケーリング部、112…映像圧縮部、113…映像伸張部、114…映像合成部、116…映像エンコード部、117…映像出力IF、301…SDP制御コード識別子、302…SDP通知情報、401…RTP制御コード識別子、402…RTP指示コード、403…RTP通知情報。
【技術分野】
【0001】
本発明は、テレビ会議装置に係り、特に親機を自律的に決定する多地点接続テレビ会議装置に関する。
【背景技術】
【0002】
現在、DSL、光ファイバ等を利用したIP(Internet Protocol)網の普及を背景として、このIP網を利用して多地点接続テレビ会議を行なう技術が知られている。
【0003】
多地点接続テレビ会議の実現方法として、各装置から送信される音声データ、映像データを受信し、音声データについてはミキシング処理を実施し、映像データについては画面合成等の映像編集処理を実施し、処理を実施した音声データおよび映像データを各装置に配信するMCU(Multi point Control Unit)と呼ばれる専用装置を用いる手法が、特許文献1に記載されている。
【0004】
一方、近年の汎用プロセッサの処理能力向上により、単一の汎用プロセッサによりMCU機能とテレビ会議装置機能とを実現できるようになってきた。このようなテレビ会議装置は、特許文献2に記載されるものが知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平07−066876号公報
【特許文献2】特開2008−288974号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献2に開示された技術では、あらかじめ親機となる端末を決め、子機は親機に向けて発信しなければならず、予め親機の情報を与えられていない子機は会議に参加することができない。
【0007】
本発明は、以上のような課題を解決するもので、その目的は多地点接続テレビ会議をフレキシブルに実施することを可能とすることにある。
【課題を解決するための手段】
【0008】
上述した課題を解決するため、多地点接続テレビ会議装置は、SDP(Session Description Protocol)、RTP(Real Time Protocol)を用いて、各装置が自装置の接続状態を接続先装置へ通知することで、親機を決定する。本発明によれば、親機、子機の情報が予め与えられていなくともフレキシブルに多地点接続テレビ会議を実施することができる。
【0009】
多地点接続テレビ会議装置は、多地点接続テレビ会議に新たに接続される子機が、既に子機として動作している装置に対して接続し、多地点接続テレビ会議システム内に親機が競合してしまう誤った接続をした場合、SIPメッセージ内に含まれるSIP−URI(Session Initiation Protocol-Uniform Resources Identifiers)を元に着信を受けた子機が、発信した子機に対して親機に転送指示することで、親機、子機を利用者が意識することなく多数の装置と多地点接続テレビ会議を実施可能とする。
【0010】
上述した課題は、IP網からのデータの入出力を実現する回線IFと、マイクからの音声データを取り込むための音声入力IFと、音声入力IFからのデータを圧縮するための音声圧縮部と、圧縮された音声データを伸長するための音声伸張部と、多地点から送信される音声を合成するための音声合成部と、スピーカに音声データを出力するための音声出力IF部と、カメラからの映像データを取り込むための映像入力IFと、映像入力IFからのデータをデコードする映像デコード部と、デコードされた映像データを決まったサイズにスケーリングするための映像スケーリング部と、映像データを圧縮するための映像圧縮部と、圧縮された映像データを伸長するための映像伸張部と、多地点からの送信される映像データを合成するための映像合成部と、合成された映像を決まったサイズにスケーリングするための映像スケーリング部と、スケーリングされた映像をエンコードするための映像エンコード部と、エンコードされた映像データをテレビに出力するための映像出力IFと、SDP、RTP、SIPの情報を格納するRAMからなる多地点接続テレビ会議装置において、1対1でのテレビ会議を実施中に、他の多地点接続テレビ会議装置がそのテレビ会議に参加するとき、回線IFが受信したSDP、RTPを利用して動的に多地点接続テレビ会議システム内の親機を決定する通信制御部を有する多地点接続テレビ会議装置により、達成できる。
【0011】
また、参加メッセージを受信したとき、状態が未接続のとき応答メッセージに未定状態であることを記述して返信し、状態が未定状態または親状態のとき応答メッセージに親状態であることを記述して返信する多地点接続テレビ会議装置により、達成できる。
【0012】
さらに、送信元の状態が未定状態の参加メッセージを受信したとき、状態が未接続のとき応答メッセージに未定状態であることを記述して送信元へ返信し、状態を未定状態へ遷移し、状態が未定状態のとき応答メッセージに親状態であることを記述して送信元へ返信し、状態を親状態へ遷移し、状態が親状態のとき応答メッセージに親状態であることを記述して送信元へ返信し、状態が子状態のときリダイレクトメッセージを送信元へ返信し、送信元の状態が親状態の参加メッセージを受信したとき、状態が未接続のとき応答メッセージに子状態であることを記述して送信元へ返信し、状態を子状態へ遷移し、状態が未定状態、親状態、子状態のいずれかのとき話中メッセージを送信元へ返信する多地点接続テレビ会議装置により、達成できる。
【発明の効果】
【0013】
多地点接続テレビ会議装置は、SDP、RTP、SIPの各プロトコルを用いて動的にシステム内の親機を決定することができる。また、装置がシステム内に親機が競合してしまうような接続を行なってしまっても、新たに接続してきた子機は親機へ転送され、多地点接続テレビ会議をフレキシブル且つ確実に実施する。
【図面の簡単な説明】
【0014】
【図1】多地点接続テレビ会議システムの構成を説明するブロック図である。
【図2】多地点接続テレビ会議装置の構成を説明するブロック図である。
【図3】INVITEメッセージボディのSDPの記述である。
【図4】制御コード識別子と通知情報を説明する図である。
【図5】2台の多地点接続テレビ会議装置間のシーケンス図である。
【図6】制御用RTPを説明する図である。
【図7】定義した設定内容を説明する図である。
【図8】3台の多地点接続テレビ会議装置間のシーケンス図である。
【図9A】多地点接続テレビ会議装置の着信動作のフローチャートである(その1)。
【図9B】多地点接続テレビ会議装置の着信動作のフローチャートである(その2)。
【図9C】多地点接続テレビ会議装置の着信動作のフローチャートである(その3)。
【図10】多地点接続テレビ会議装置の発信動作のフローチャートである。
【図11】発信時自装置接続状態による送出SDP情報条件テーブルである。
【図12】4台の多地点接続テレビ会議装置間のシーケンス図である(その1)。
【図13】多地点接続テレビ会議装置が管理する装置情報を説明する図である。
【図14】4台の多地点接続テレビ会議装置間のシーケンス図である(その2)。
【図15】多地点接続テレビ会議実施中に、他の多地点接続テレビ会議から接続があったケースを説明する図である。
【図16】装置の状態と、受信したSDP情報による動作条件テーブルである。
【図17】親状態にある2台の多地点接続テレビ会議装置間のシーケンス図である。
【図18】多地点接続テレビ会議実施中に親機が退席するケースを説明する図である。
【図19】4台の多地点接続テレビ会議装置間のシーケンス図である(その3)。
【図20】親状態にある多地点接続テレビ会議装置が退席する際の動作フローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態について、実施例を用い図面を参照しながら詳細に説明する。なお、実質同一部位には、同じ参照番号を振り、説明は繰り返さない。
【0016】
本実施例の多地点接続テレビ会議装置は、多地点接続テレビ会議を実施する際にMCU機能(親機)とテレビ会議装置機能(子機)の両機能を有する。しかし、多地点接続テレビ会議装置は、親機、子機を意識することなく多数の装置と多地点接続テレビ会議を実施する。なお、本明細書または図面において、多地点接続テレビ会議装置を単に装置または多地点テレビ会議装置と記載することがある。
【0017】
多地点接続テレビ会議装置が親機として動作する場合には、自装置に接続したカメラからの入力映像データと他装置から受信する映像データの合成、スケーリングを実施し、その映像データを子機へ配信し、自装置に接続しているモニタへ出力する。また、音声も同様に自装置に接続したマイクからの音声データと他装置から受信した音声データをミキシングし、その音声データを子機へ配信し、自装置に接続しているスピーカへ出力する。
【0018】
多地点接続テレビ会議装置が子機として動作する場合には、自装置に接続したカメラからの入力映像データを親機へ送信し、親機から配信された合成映像データを自装置に接続しているモニタへ出力する。また、自装置に接続したマイクからの入力音声データを親機へ送信し、親機から配信された音声データを自装置に接続しているスピーカへ出力する。
【0019】
また、多地点接続テレビ会議装置は、IETF(The Internet Engineering Task Force)で標準化されたSIPを用いてIP網でつながれた装置間で呼制御を実施し、多地点接続テレビ会議を実現する。
【0020】
図1を参照して、多地点接続テレビ会議装置システムのネットワーク構成を説明する。図1において、多地点接続テレビ会議装置システム100は、多地点接続テレビ会議装置10と、IP網20とから構成されている。多地点接続テレビ会議装置10は、映像データ、音声データ等のパケットを伝送するIP網20に接続されている。また、多地点接続テレビ会議装置10は、カメラ11と、モニタ12と、マイク13と、スピーカ14とが接続されている。カメラ11は、自拠点の映像を配信する。モニタ12は、多地点からの映像を映し出す。マイク13は、自拠点の音声を配信する。スピーカ14は、多地点の音声を出力する。
【0021】
図2を参照して、多地点接続テレビ会議装置の内部構成を説明する。図2において、多地点接続テレビ会議装置10は、回線IF101と、通信制御部102と、RAM103と、音声入力IF104と、音声圧縮部105と、音声伸張部106と、音声合成部107と、音声出力IF108と、映像入力IF109と、映像デコード部110と、映像スケーリング部111と、映像圧縮部112と、映像伸張部113と、映像合成部114と、映像スケーリング部115と、映像エンコード部116と、映像出力IF117とから構成される。
【0022】
回線IF101は、当該多地点接続テレビ会議装置と他の多地点接続テレビ会議装置との間でIP網20を利用してデータ通信を行なうインタフェースである。回線IF101は、IP網20から受信したデータを通信制御部102へ出力する。また、回線IF101は、通信制御部102から受信したデータをIP網20へ出力する。
【0023】
通信制御部102は、プロセッサ等で構成される。通信制御部102は、多地点接続テレビ装置間の通信に使用するSIP制御、装置の状態を通知するSDP制御、映像および音声データ、制御データを含んだRTP制御を行なう。通信制御部102は、それらデータをRAM103に入出力する。また、通信制御部102は、圧縮された音声データを音声伸張部106へ出力し、圧縮された映像データを映像伸張部113へ出力する。
【0024】
RAM103は、IP網20経由で接続先多地点接続テレビ会議装置から送信されたSDP、RTP、SIPメッセージ内に含まれるSIP−URIの情報を格納するメモリである。RAM103に格納されたSDP、RTP、SIP−URIのデータを元に、多地点接続テレビ会議装置10は、多地点接続テレビ会議装置間の親子関係を決定する。
【0025】
音声入力IF104は、当該装置に接続されるマイク13から入力される音声データを取り込むインタフェースである。音声圧縮部105は、音声入力IF104から入力された音声データをIP網20へ負荷のかからないように圧縮を行ない通信制御部102へ出力する。音声伸張部106は、音声圧縮部105にて圧縮された音声データを伸張する。当該装置が親機として機能する際に、音声伸張部106は、伸張した音声データを音声合成部107へ出力する。一方、子機として機能する場合、音声伸張部106は、伸張した音声データを音声出力IF108へ出力する。
【0026】
音声合成部107は、当該装置が親機となる場合のみ機能する。音声合成部107は、各子機からと自装置のマイク13からの音声データを合成し、音声出力IF108と通信制御部102へ出力する。音声出力IF108は、装置内で処理された音声データを当該装置に接続されたスピーカ14に出力する。
【0027】
映像入力IF109は、当該装置に接続されるカメラから入力される映像データを取り込むインタフェースである。映像デコード部110は、映像入力IF109から入力された映像データをデコードし、映像スケーリング部111へ出力する。映像スケーリング部111は、映像デコード部110から出力された映像データを接続形態によりスケーリングし、映像圧縮部112へ出力する。
【0028】
映像圧縮部112は、映像スケーリング部111から出力されたデータをIP網20へ負荷のかからないように圧縮を行ない、通信制御部102へ出力する。映像伸張部113は、映像圧縮部112にて圧縮された映像データを伸張する。当該装置が親機として機能する際、映像伸張部113は、伸張した映像データを映像合成部114へ出力する。子機として機能する場合、映像伸張部113は、伸張した映像データを映像スケーリング部115へ出力する。
【0029】
映像合成部114は、当該装置が親機となる場合のみ機能する。映像合成部114は、各子機からと自装置のカメラ13からの映像データを合成し、映像スケーリング部115へ出力する。映像スケーリング部115は、映像合成部114から出力された映像データを接続形態によりスケーリングし、映像エンコード部116および通信制御部102へ出力する。なお、映像スケーリング部115が通信制御部102へも出力するのは、親機の場合である。
【0030】
映像エンコード部116は、映像スケーリング部115からの映像データを映像出力IF117へ出力する。映像出力IF117は、装置内で処理された映像データを当該装置に接続されたモニタ12に出力する。
【0031】
多地点接続テレビ会議を実現するための、制御情報を含むSIP、SDP、RTPについて説明する。図3を参照して、多地点接続テレビ会議装置が送信するINVITEメッセージのボディに記載されたSDP記述を説明する。図3において、SDP記述のv行から、a=framerate:15までは、標準的な記述である。末尾のa=conference:serverが、本実施例で新たに定義された制御コードと通知情報である。具体的には、conferenceが制御コード識別子であり、serverが通知情報である。
【0032】
多地点接続テレビ会議装置10は、SDPによる通信のネゴシエーションを発着信と、応答のタイミングで実施する。通知する内容としてSDPのメディア記述へ自装置の状態を伝達する属性記述aを追加し、属性記述aに自装置の状態を設定し、接続先多地点接続テレビ会議装置10へ送信する。
【0033】
図4を参照して、制御コード識別子と、通知情報とを記載した設定対応テーブル30を説明する。図4において、設定対応テーブル30は、制御コード識別子301のレコードと、通知情報302のレコードとを含む。設定対応テーブル30は、レコードに対応して、設定内容コラムと、意味コラムとを含む。制御コード識別子301の設定内容は、一つであり、conferenceのみである。conferenceは、ネゴシエーションデータであることを示す。一方、通知情報302の設定内容は、3種ある。それらは、undecidedと、serverと、clientとである。
【0034】
undecidedは、自装置の状態は「未定」であることを意味する。undecidedは、1対1接続を意味する。serverは、自装置の状態が1対複数接続の「親」であることを意味する。clientは、自装置の状態が1対複数接続の「子」であることを意味する。
【0035】
なお、制御コード識別子301、通知情報302の設定値は、任意に決定することができる。設定値は、他の値を設定したとしてもよい。図4に示すように、制御コード識別子301としてconferenceという固定値を使用し、この制御コード識別子301を使用している装置とのみSDPでのネゴシエーションを図る。
【0036】
図5を参照して、2台の多地点接続テレビ会議装置間の接続処理を説明する。この接続処理は、SDPを利用した発着信シーケンスである。図5において、他の装置と未通信である装置10−Aは、同様に他の装置と未通信である装置10−B対して、呼接続要求を行なう。その時図4の設定対応テーブル30に従えば、装置10−Aと装置10−Bはお互い未通信からの接続となり1対1接続となるため、装置10−Aは、SDP内属性情報をundecidedとしたINVITEメッセージを装置10−Bへ送信する(S1)。装置10−Bもまた1対1接続となるため図4の設定対応テーブル30に従い、装置10−Bの通信制御部102はSDP内属性情報aをundecidedとした正常応答200 OKを装置10−Aに送信する(S2)。この時点では1対1通信であり、装置間に親子関係はない。
【0037】
図5で説明した通り、発信とその応答にはSDPを使用し装置の通信状態を通知し、通信のネゴシエーションを実施できる。しかし、通信中に装置の状態が変化した場合には相手側テレビ会議装置とのネゴシエーションにSDPを使用できない。これは、SDPを含むSIPメッセージは、セッションの開始時のINVITEメッセージ、200 OKメッセージのみの送信となるためである。そこで、音声RTPとは別に、装置の状態を通知するメッセージを図6に示す制御RTPとしてRTPに割り込ませる。このRTPによるネゴシエーションは、接続後に装置の状態が変わる度に実施する。
【0038】
図6および図7を参照して、制御RTPのデータフォーマットと設定対応テーブル40とを説明する。図6において、制御データであるconference:request:serverの最初のコロンの前のconferenceは、制御コード識別子である。コロンに挟まれたrequestは、指示コードである。2番目のコロンの後のserverは、通知情報である。
【0039】
図7において、制御コード識別子401、指示コード402、通知情報403の設定値は、任意に決定することができる。図7の設定値は、他の値を設定したとしてもよい。制御RTPは、制御コード識別子401、指示コード402、通知情報403から構成される。制御コード識別子401は、conferenceという固定値を使用し、この制御コード識別子401を使用している装置とのみRTPでのネゴシエーションを実施する。
【0040】
指示コード402は、制御RTPを送信する装置から状態の通知を行なうために送信するrequestと、制御RTPを受信する装置がrequestに対する応答を示すために送信するresponseの2種類がある。
【0041】
通知情報403は4種類あり、それぞれ、1対1接続状態である装置同士の親子関係が未定であることを示すundecided、多地点接続を行なっている時に親機であることを示すserver、多地点接続を行なっている時に子機であることを示すclient、リクエスト受付不可の場合にレスポンスとしてのみ送信するxxxがある。
【0042】
図8を参照して、図6および図7で説明した制御RTPを利用した装置間の親子関係ネゴシエーションを説明する。図8では初期状態において、装置10−Aと装置10−Bの1対1通信が行なわれている。装置10−Aと装置10−Bの装置状態は、ともにundecidedである。ここで、装置10−Cは、SDP内部属性情報aをundecidedとしたINVITEメッセージを装置10−Aに送信する(S3)。装置10−Aは、装置10−CからのINVITEメッセージに対する正常応答200 OKメッセージを装置10−Cに送信する(S4)。ステップ4にて送信するSDPの属性記述aは、serverであり、装置10−Cが装置10−Aに接続したことによって、装置10−Aの装置状態がundecidedからserver変化する。
【0043】
このように通信中に親機となった装置10−Aの状態変化を契機に、装置10−Aは、制御RTPにて通知情報serverを装置10−Bに送信する(S5)。装置10−Bは、そのレスポンスとして制御RTPにて通知情報clientを送信する(S6)。この結果、装置10−A、装置10−B、装置10−C間の親子関係が決定され、通信中に遷移する。
【0044】
図9を参照して、テレビ会議装置間で親子関係を如何に決定するかについて説明する。図9のフローチャートの処理は、装置10のRAM103内に収められている通信先装置からのSDP属性情報データを用いた通信制御部102の動作について説明したものである。
【0045】
図9において、通信制御部102は、他のテレビ会議装置からの着信を受け付ける(S100)。通信制御部102は、自装置が他装置と通信中であるかどうかの判定を行なう(S101)。通信中でないとき(NO)、通信制御部102は、受信したSDPの属性情報がundecidedであるかどうかの判定を行なう(S102)。undecidedと判定された場合(YES)、通信制御部102は、相手端末に対してSDPの属性情報としてundecidedと通知して(S104)、終了する。この時点では1対1通信であり、装置間の親子関係は未定である。
【0046】
一方、ステップ102で、受信したSDPの属性情報がundecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるかどうかの判定を行なう(S103)。serverと判定された場合(YES)、通信制御部102は、相手端末に対してSDPの属性情報としてclientと通知して(S105)、終了する。ここで、1対複数の接続となるため、装置間の親子関係が決定する。
【0047】
一方、ステップ103で、受信したSDPの属性情報がserverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、本実施例では親機の競合が発生してしまうという理由から、子機(client)が発信することを許容しておらず、属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。ステップ101において、通信制御部102が自装置が他装置と通信中であると判定した場合(YES)、通信制御部102は、ステップ106に遷移する。
【0048】
図9Bに移って、ステップ106において、通信制御部102は。自装置の接続状態がundecidedであるかどうかの判定を行なう。自装置の接続状態がundecidedであると判定された場合(YES)、通信制御部102は、受信したSDPの属性情報がundecidedであるかどうかの判定を行なう(S107)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に対してSDPの属性情報としてserverと通知する(S109)。この時点で1対複数通信となり、装置間の親子関係が決定される。通信制御部102は、通信開始時にSDPの属性情報としてundecidedを送信したもう一つの接続装置へ、制御RTPにて自装置がserverを通知して(S110)、終了する。
【0049】
一方、ステップ107で、受信したSDPの属性情報がundecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるか判定を行なう(S108)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S111)、終了する。
【0050】
一方、ステップ108で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信すると、親機の競合が発生してしまうという理由から許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。
【0051】
ステップ106で、自装置の接続状態がundecidedではないと判定された場合(NO)、通信制御部102は、自装置の接続状態がserverであるか判定を行なう(S112)。serverであると判定された場合(YES)、通信制御部102は、受信したSDPの属性情報がundecidedであるか判定を行なう(S113)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に対してSDPの属性情報としてserverと通知して(S115)、終了する。この時点では既に1対複数通信となっており、装置の親子関係は決定している。
【0052】
一方、ステップ113で、undecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるかの判定を行なう(S114)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S116)、終了する。
【0053】
一方、ステップ114で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信することを親機の競合が発生してしまうという理由から、許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。
ステップ112において通信制御部102が、自装置の接続状態がserverではないと判定した場合(NO)、ステップ118に遷移する。
【0054】
図9Cにおいて、通信制御部102は、受信したSDPの属性情報がundecidedであるか判定を行なう(S118)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に、親機と接続させるためにSIPのリダイレクトメッセージである302 Moved Temporarilyメッセージを送信して(S120)、終了する。
【0055】
一方、ステップ118で、undecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるか判定を行なう(S119)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S121)、終了する。
【0056】
一方、ステップ119で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信することを親機の競合が発生してしまうという理由から許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、通信制御部102は、フローを終了する。
【0057】
図10のフローチャートを参照して、装置が発信した際にどのようにしてテレビ会議装置間の親子関係を決定するかについて説明する。図10のフローチャートの処理は、装置のRAM103内に収められている通信先装置からのSDP属性情報データを用いた通信制御部102の動作について説明したものである。
【0058】
図10において、通信制御部102は、自装置が他装置と通信中であるか判定を行なう(S130)。通信中でないと判定された場合(NO)、通信制御部102は接続先装置へSDP内属性記述をundecidedとしたINVITEメッセージを送信して(S131)、終了する。
【0059】
ステップ130で、通信中であると判定された場合(YES)、通信制御部102は、自装置の通信状態がundecidedか判定する(S132)。undecidedと判定された場合(YES)、通信制御部102は、通信状態をserverへ、遷移する(S135)。通信制御部102は、接続先装置へSDP内属性記述をserverとしたINVITEメッセージを送信して(S136)、終了する。なお、ステップ135と、ステップ136は、順序が逆でもよい。
【0060】
ステップ132で、undecidedではないと判定した場合(NO)、通信制御部102は、自装置の状態がsereverであるかを判定する(S133)。serverと判定した場合(YES)、通信制御部102は、接続先装置へSDP内部属性記述をserverとしたINVITEメッセージを送信して(S134)、終了する。
【0061】
ステップ133で、serverでないとき、通信制御部102は、そのまま終了する。これは、undecidedでもserverでもないときは、clientとなり、clientの発信を許容しないためである。
【0062】
図11を参照して、発信時自装置接続状態による送出SDP情報条件テーブル50を説明する。図11において、接続状態には、未通信と通信中とがある。通信中の状態として、さらにundecidedとserverとclientとがある。これらの4状態からINVITEを送信するときのSDP情報は、以下の通りである。
【0063】
未通信のとき、通信制御部102は、undecidedを送信する。undecidedのとき、通信制御部102は、serverを送信する。serverのとき、通信制御部102は、serverを送信する。clientのとき、通信制御部102は、発信しないので、発生しない。
【0064】
図12を参照して、装置10−A〜10−Dが4地点でテレビ会議を行なう際の接続シーケンスを説明する。図12において、装置10−Bは、装置10−Aに対して、呼接続要求であるSIPのINVITEメッセージを送出する(S7)。このとき、NVITEメッセージのボディのSDPには属性記述をundecidedとして送信する。装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Bに送信する(S8)。このとき、メッセージのボディのSDPには属性記述をundecidedとして送信する。
【0065】
装置10−Bは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S9)。
【0066】
装置10−Aは、装置10−Bから受信したSDP内の属性記述をRAM103内に保存する。また、装置10−Bも、同様にSDP内の属性記述をRAM103内に保存する。
【0067】
装置10−Aと装置10−Bにて1対1接続が完了した後、装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Bに対して送信する。装置10−Bも、同様に装置10−Bに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Aは、受信した装置10−Bからのデータについて、装置10−Aに接続されるスピーカ14、モニタ12に対して出力する。また、装置10−Bが受信した装置10−Aからのデータは、装置10−Bによって装置10−Bに接続されるスピーカ14、モニタ12に対して出力される。
【0068】
装置10−Aと装置10−Bにて1対1接続が完了した後、装置10−Cが装置10−Aに対して呼接続要求であるSIPのINVITEメッセージを送出する(S10)。また、INVITEメッセージのボディのSDPの属性記述は、undecidedである。
【0069】
装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Cに送信する(S11)。このとき、1対2接続となり装置10−Aが音声、映像を合成し配信する親機となるため、装置10−Aが送信するSDPで宣言される属性記述は、serverである。
【0070】
装置10−Cは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S12)。
【0071】
この時装置10−Aを親機とした1対2接続になる為、装置間で初めて親子関係が決定する。多地点接続テレビ会議システムが1対2接続となることを契機として、決定した親子関係を元に、親機となる装置10−AはRAM103上の属性記述aがundecidedのままである装置10−Bに対して制御RTPを使用し、装置10−Aが親機となったとなったことを通知するrequestとしてserverと送信する(S13)。装置10−Bは、装置10−Aに対してrequestに対するresponseとして、clientを送信し(S14)、装置10−BのRAM103の接続状態情報が更新される。
【0072】
装置10−A、装置10−B、装置10−Cにて1対2接続が完了した後、装置10−Bは、装置10−Bに接続されるマイク13の音声データ、カメラ1の映像データを装置10−Aに対して送信する、装置10−Cも、同様に装置10−Cに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。
【0073】
装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データと、装置10−Bから受信したマイク13の音声データ、カメラ11の映像データと、装置10−Cから受信したマイク13の音声データ、カメラ11の映像データをそれぞれ合成する。
【0074】
装置10−Aによって合成された音声データ、映像データは、それぞれ装置10−Aに接続されるスピーカ14、モニタ12によって出力される。合成された音声データ、映像データは、また、同時に装置10−B、装置10−Cに対しても送信される。装置10−Bは、装置10−Aから受信した音声データ、映像データを接続しているスピーカ14、モニタ12に対して出力する。装置10−Cは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。
【0075】
装置10−Aを親とする1対2接続が完了した後、装置10−Dが装置10−Aに対して呼接続要求であるSIPのINVITEメッセージを送出する(S15)。INVITEメッセージのボディのSDPの属性記述は、undecidedである。
【0076】
装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置Dに送信する(S16)。メッセージボディのSDP内属性記述は、serverである。装置10−Dは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S17)。
【0077】
装置10−Aを親とする1対3接続が完了した後、装置10−Bは、装置10−Bに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Cも、同様に装置10−Cに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Dも、同様に装置10−Dに接続されるマイク31の音声データ、カメラ11の映像データを装置10−Aに対して送信する。
【0078】
装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データと、装置10−Bから受信したマイク13の音声データ、カメラ11の映像データと、装置10−Cから受信したマイク13の音声データ、カメラ11の映像データと装置10−Dから受信したマイク13の音声データ、カメラ11の映像データをそれぞれ合成する。
【0079】
装置10−Aによって合成された音声データ、映像データは、それぞれ装置10−Aに接続されるスピーカ14、モニタ12によって出力される。合成された音声データ、映像データは、また、同時に装置10−B、装置10−C、装置10−Dに対しても送信される。装置10−Bは、装置10−Aから受信した音声データ、映像データを接続しているスピーカ14、モニタ12に対して出力する。装置10−Cは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。装置10−Dは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。
【0080】
図13を参照して、多地点接続テレビ会議装置がRAM103上で管理する各装置の情報を示したテーブルを説明する。図12のシーケンスがステップ17まで完了し装置Aを親とする1対3の接続が完了した時、図13の通りのデータを各装置はRAM103上で管理する。すなわち、装置Aは、装置B、装置C、装置DのSIP−URIと、装置B、装置C、装置Dがそれぞれclientであることを管理する。また、装置B、装置C、装置Dは、それぞれ装置AのSIP−URIと、装置Aがserverであることを管理する。
【0081】
図14を参照して、1対2での多地点接続テレビ会議中に子機として機能している装置10−Cに対して、新たな装置10−Dから発信した場合の処理について説明する。図14において、装置10−Aが親機として機能している。ステップ18からステップ25までは、図12のステップ7からステップ14までと同じなので、説明を省略する。
【0082】
装置10−Dは、装置10−Cに対して、呼接続要求であるSIPのINVITEメッセージを送出する(S26)。メッセージボディのSDPの属性記述はundecidedである。装置10−Cは、属性記述がundecidedとなったSDPを受信する。しかし、自装置がclientとして動作しており、着信を許可してしまうと多地点テレビシステム内に親機の競合が発生してしまう。そのため、装置10−Cの通信制御部102は、装置10−Dに対して、多地点接続テレビ会議システム内において、現時点で親機である装置10−Aに向けて装置10−Dを接続変更させるため、SIPのリダイレクトメッセージである302 Moved Temporarilyを装置10−Dへ送信する(S27)。なお、接続先変更の情報は、装置10−CのRAM103上で管理する各装置情報を示したテーブル内のSIP−URIであり、その装置10−Aに対応したSIP−URIを302 Moved Temporarilyメッセージ内のコンタクトヘッダ内で指定する。
【0083】
装置10−Dは、リダイレクトメッセージ 302 Moved Temporarilyを受信すると、リダイレクトメッセージ 302 Moved Temporarilyに対応した受信確認のACKメッセージを装置10−Cに送信する。(S28)
装置10−Dは、装置10−Cから受け取った302 Moved Temporarilyメッセージ中のコンタクトヘッダ内SIP−URIを参照し、転送先である装置10−Aに対して再度INVITEメッセージを送信する(S29)。メッセージボディのSDPの属性記述は、undecidedである。
【0084】
装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Dに送信する(S30)。メッセージボディのSDPの属性記述は、serverである。装置10−Dは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S31)。
【0085】
以上の方法により、装置10−Aが親機、装置10−B、10−C、10−Dが子機と決定され、多地点接続テレビ会議にて1対4接続を実現する。本実施例では1対4接続の場合を説明したが、接続数が変わっても、親機を決定する方式は変わらない。
【0086】
以下、装置10−Aと装置10−Bが1対1の通信を行なっているネットワークに、装置10−Cと装置10−Dと装置10−Eが1対2通信をしているネットワークが参加した場合の処理について説明する。
【0087】
図15を参照して、装置10−Aと装置10−Bが1対1の通信を行なっているネットワークに、装置10−Cと装置10−Dと装置10−Eが1対2通信をしているネットワークが参加したケースを説明する。図15において、装置10−Aと装置10−Bが1対1の通信をしているので、装置10−Aと装置10−Bとは、undecided状態である。一方、装置10−Cと装置10−Dと装置10−Eが1対2通信しており、装置10−Cは、server状態、装置10−Dと装置10−Eとは、client状態である。また、装置10−Cは、装置10−Aに発信している
既に説明したように、この場合着信を受ける装置10−Aが親機になる。しかし、発信をした装置10−Cも親機であるため、多地点接続テレビ会議システム内に親機が2台存在することになり親機が競合してしまう。
【0088】
図16を参照して、親機の競合を防ぐため受信したSDP内属性記述による動作条件テーブル60を説明する。図16において、INVITEを受信したテレビ会議装置10の状態は、未通信または通信中である。通信中の状態は、さらにundecidedとserverとclientとがある。これらの4状態からINVITEを受信したときのSDP情報は、以下の通りである。
【0089】
まず、INVITEを受信したときのSDP情報がclientは、許容しないので発生しない。
INVITEを受信したときのSDP情報がundecidedのとき、状態が未接続なら、多地点接続テレビ会議装置10は、undecided応答を返信して、undecided状態に遷移する。状態がundecidedなら、多地点接続テレビ会議装置10は、server応答を返信して、server状態に遷移する。状態がserverなら、多地点接続テレビ会議装置10は、server応答を返信する。状態がclientなら、多地点接続テレビ会議装置10は、302 Moved Temporarilyを送信する。
【0090】
INVITEを受信したときのSDP情報がserverのとき、状態が未接続なら、多地点接続テレビ会議装置10は、client応答を返信して、client状態に遷移する。状態がundecided、serverまたはclientなら、多地点接続テレビ会議装置10は、486 busyを送信する。
【0091】
図17を参照して、図15の接続が発生した場合の多地点接続テレビ会議装置10−Aと、多地点接続テレビ会議装置10−Cの接続シーケンスを説明する。図17において、装置10−Aは、装置10−Cからの接続要求INVETEメッセージを受信する(S36)。しかし、装置10−Cが送信したSDP内の属性記述がserverであり、装置10−A自身の装置状態がundecidedであるため、装置10−Aは装置10−Cに対して、話中であることを示す486 busyメッセージを送信し、接続を拒否する(S37)。486 busyメッセージを受信した装置10−Cは、受信確認のACKメッセージを装置10−Aに送信する(S38)
図12、図14の多地点接続についても、図16のテーブルに従い装置10−A、装置10−B、装置10−C、装置10−Dは、動作する。
このようにして、多地点接続テレビ会議システム上に親機の競合を防ぎ、会議開始前に事前に親機を会議参加者同士で決定するという煩雑な作業がなく、どの装置とでもフレキシブルに接続できる。
【0092】
図18ないし図20を参照して、装置10−Aを親機として、装置10−A⇔装置10−B、装置10−A⇔装置10−C、装置10−A⇔装置10−Dの1対3多地点接続テレビ会議を実施中に親機である装置10−Aが会議から退席する場合の処理について説明する。
【0093】
図18を参照して、装置10−Aを親機として装置A⇔装置B、装置A⇔装置C、装置A⇔装置Dの1対3多地点接続テレビ会議を実施中に、親装置である装置10−Aが会議から退席するケースを説明する。図18において、親装置である多地点接続テレビ会議装置10−Aは、退席するとき、多地点接続テレビ会議装置10−B、多地点接続テレビ会議装置10−C、多地点接続テレビ会議装置10−Dとの接続を切断する。多地点接続テレビ会議装置10−Cは、子装置から親装置に遷移する。
【0094】
図19を参照して、装置10−Aが退席後も装置10−B、10−C、10−D間で多地点接続テレビ会議を継続する場合の処理を説明する。図19において、装置10−Aは、次に親機とする装置10−CにBYEを送信する(S41)。装置10−Cは、装置10−Aに200 OKを送信する(S42)。装置10−Aは、装置10−BにREFER Refer−To:装置Cを送信する(S43)。装置10−Bは、装置10−Aに202 Acceptedを送信する(S44)。装置10−Aは、装置10−BにBYEを送信する(S46)。装置10−Bは、装置10−Aに200 OKを送信する(S47)。
【0095】
装置10−Aは、装置10−Dに制御RTPを送信する(S48)。このとき、制御データは、conference:request:undecidedである。装置10−Dは、装置10−Aに制御RTPを送信する(S49)。このとき、制御データは、conference:responce:undecidedである。
【0096】
装置10−Bは、装置10−CにINVITE Referred−By:装置Aを送信する(S51)。このとき、メッセージボディのSDPにはundecidedが記載されている。装置10−Cは、装置10−Bに200 OKを送信する(S52)。このとき、メッセージボディには、undecidedが記載されている。装置10−Bは、装置10−CにACKを送信する(S53)。装置10−Bは、装置10−CにNOTIFYを送信する(S54)。NOTIFYは、転送を知らせるメッセージである。装置10−Cは、装置10−Bに200 OKを送信する(S56)。これまでで、装置10−Bと装置10−Cとは、通話中となる。
【0097】
装置10−Aは、装置10−DにREFER Refer−To:装置Cを送信する(S57)。装置10−Dは、装置10−Aに202 Acceptedを送信する(S58)。装置10−Aは、装置10−DにBYEを送信する(S59)。装置10−Dは、装置10−Aに200 OKを送信する(S61)。
【0098】
装置10−Dは、装置10−CにINVITE Referred−By:装置Aを送信する(S62)。このとき、メッセージボディのSDPにはundecidedが記載されている。装置10−Cは、装置10−Dに200 OKを送信する(S63)。このとき、メッセージボディには、undecidedが記載されている。装置10−Dは、装置10−CにACKを送信する(S64)。装置10−Dは、装置10−AにNOTIFYを送信する(S66)。装置10−Aは、装置10−Dに200 OKを送信する(S67)。これまでで、装置10−Dと装置10−Cとは、通話中となる。
【0099】
装置10−Cは、装置10−Bに制御RTPを送信する(S68)。このとき、制御データは、conference:request:serverである。装置10−Bは、装置10−Cに制御RTPを送信する(S69)。このとき、制御データは、conference:responce:clientである。
【0100】
図20を参照して、親機の状態から退席するテレビ会議装置の処理フローを説明する。図20において、通信制御部102は、ユーザーからの設定を元に多地点接続テレビ会議を継続するかどうかの判定を行なう(S200)。多地点接続テレビ会議を継続して実施すると判定された場合(YES)、通信制御部102は、自装置が退席後に親機とする端末を多地点接続テレビ会議から切り離すため、切断処理を実施する(S201)。
【0101】
通信制御部102は、退席後に子機とする装置へ、次に親機として動作する装置に接続させるため、RAM103内に保存している転送先のSIP−URIをSIPの転送メッセージであるREFERメッセージに転送先として指定し、送信して(S202)、終了する。
【0102】
一方、ステップ200にて多地点接続テレビ会議を継続して実施しないと判定された場合(NO)、通信制御部102は、自装置に接続しているすべての装置に対して切断処理を実施する(S203)。
【0103】
このようにして、多地点接続テレビ会議実施中に親機が退席しなければならないような状況において、多地点接続テレビ会議を継続したい場合、新規に親機となる装置への接続変更処理を行なうことにより、多地点接続テレビ会議を継続することができる。
【符号の説明】
【0104】
10…多地点接続テレビ会議装置、20…IP網、30…SDP内属性記述a設定対応テーブル、40…制御RTP設定対応テーブル、50…発信時自装置接続状態による送出SDP情報条件テーブル、60…自装置状態と、受信SDP内属性記述による動作条件テーブル、100…多地点接続テレビ会議システム、101…回線IF、102…通信制御部、103…RAM、104…音声入力IF、105…音声圧縮部、106…音声伸張部、107…音声合成部、108…音声出力IF、109…映像入力IF、110…映像デコード部、111、115…映像スケーリング部、112…映像圧縮部、113…映像伸張部、114…映像合成部、116…映像エンコード部、117…映像出力IF、301…SDP制御コード識別子、302…SDP通知情報、401…RTP制御コード識別子、402…RTP指示コード、403…RTP通知情報。
【特許請求の範囲】
【請求項1】
IP網からのデータの入出力を実現する回線IFと、マイクからの音声データを取り込むための音声入力IFと、前記音声入力IFからのデータを圧縮するための音声圧縮部と、圧縮された音声データを伸長するための音声伸張部と、多地点から送信される音声を合成するための音声合成部と、スピーカに音声データを出力するための音声出力IF部と、カメラからの映像データを取り込むための映像入力IFと、前記映像入力IFからのデータをデコードする映像デコード部と、デコードされた映像データを決まったサイズにスケーリングするための映像スケーリング部と、映像データを圧縮するための映像圧縮部と、圧縮された映像データを伸長するための映像伸張部と、多地点からの送信される映像データを合成するための映像合成部と、合成された映像を決まったサイズにスケーリングするための映像スケーリング部と、スケーリングされた映像をエンコードするための映像エンコード部と、エンコードされた映像データをテレビに出力するための映像出力IFと、SDP、RTP、SIPの情報を格納するRAMと、からなる多地点接続テレビ会議装置において、
1対1でのテレビ会議を実施中に、他の多地点接続テレビ会議装置がそのテレビ会議に参加するとき、前記回線IFが受信したSDP、RTPを利用して動的に多地点接続テレビ会議システム内の親機を決定する通信制御部を有することを特徴とする多地点接続テレビ会議装置。
【請求項2】
請求項1に記載の多地点接続テレビ会議装置であって、
1対2での子機としてテレビ会議実施中に、他の多地点接続テレビ会議からそのテレビ会議への参加メッセージを受信したとき、前記通信制御部は、親機のSIP−URIを含む転送メッセージを前記他の多地点接続テレビ会議に返信することを特徴とする多地点接続テレビ会議装置。
【請求項3】
参加メッセージを受信したとき、状態が未接続のとき応答メッセージに未定状態であることを記述して返信し、状態が未定状態または親状態のとき前記応答メッセージに親状態であることを記述して返信することを特徴とする多地点接続テレビ会議装置。
【請求項4】
送信元の状態が未定状態の参加メッセージを受信したとき、
状態が未接続のとき応答メッセージに未定状態であることを記述して前記送信元へ返信し、前記状態を未定状態へ遷移し、
状態が未定状態のとき前記応答メッセージに親状態であることを記述して前記送信元へ返信し、前記状態を親状態へ遷移し、
状態が親状態のとき前記応答メッセージに親状態であることを記述して前記送信元へ返信し、
状態が子状態のときリダイレクトメッセージを前記送信元へ返信し、
送信元の状態が親状態の参加メッセージを受信したとき、
状態が未接続のとき応答メッセージに子状態であることを記述して前記送信元へ返信し、前記状態を子状態へ遷移し、
状態が未定状態、親状態、子状態のいずれかのとき話中メッセージを前記送信元へ返信することを特徴とする多地点接続テレビ会議装置。
【請求項1】
IP網からのデータの入出力を実現する回線IFと、マイクからの音声データを取り込むための音声入力IFと、前記音声入力IFからのデータを圧縮するための音声圧縮部と、圧縮された音声データを伸長するための音声伸張部と、多地点から送信される音声を合成するための音声合成部と、スピーカに音声データを出力するための音声出力IF部と、カメラからの映像データを取り込むための映像入力IFと、前記映像入力IFからのデータをデコードする映像デコード部と、デコードされた映像データを決まったサイズにスケーリングするための映像スケーリング部と、映像データを圧縮するための映像圧縮部と、圧縮された映像データを伸長するための映像伸張部と、多地点からの送信される映像データを合成するための映像合成部と、合成された映像を決まったサイズにスケーリングするための映像スケーリング部と、スケーリングされた映像をエンコードするための映像エンコード部と、エンコードされた映像データをテレビに出力するための映像出力IFと、SDP、RTP、SIPの情報を格納するRAMと、からなる多地点接続テレビ会議装置において、
1対1でのテレビ会議を実施中に、他の多地点接続テレビ会議装置がそのテレビ会議に参加するとき、前記回線IFが受信したSDP、RTPを利用して動的に多地点接続テレビ会議システム内の親機を決定する通信制御部を有することを特徴とする多地点接続テレビ会議装置。
【請求項2】
請求項1に記載の多地点接続テレビ会議装置であって、
1対2での子機としてテレビ会議実施中に、他の多地点接続テレビ会議からそのテレビ会議への参加メッセージを受信したとき、前記通信制御部は、親機のSIP−URIを含む転送メッセージを前記他の多地点接続テレビ会議に返信することを特徴とする多地点接続テレビ会議装置。
【請求項3】
参加メッセージを受信したとき、状態が未接続のとき応答メッセージに未定状態であることを記述して返信し、状態が未定状態または親状態のとき前記応答メッセージに親状態であることを記述して返信することを特徴とする多地点接続テレビ会議装置。
【請求項4】
送信元の状態が未定状態の参加メッセージを受信したとき、
状態が未接続のとき応答メッセージに未定状態であることを記述して前記送信元へ返信し、前記状態を未定状態へ遷移し、
状態が未定状態のとき前記応答メッセージに親状態であることを記述して前記送信元へ返信し、前記状態を親状態へ遷移し、
状態が親状態のとき前記応答メッセージに親状態であることを記述して前記送信元へ返信し、
状態が子状態のときリダイレクトメッセージを前記送信元へ返信し、
送信元の状態が親状態の参加メッセージを受信したとき、
状態が未接続のとき応答メッセージに子状態であることを記述して前記送信元へ返信し、前記状態を子状態へ遷移し、
状態が未定状態、親状態、子状態のいずれかのとき話中メッセージを前記送信元へ返信することを特徴とする多地点接続テレビ会議装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2013−5031(P2013−5031A)
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2011−131280(P2011−131280)
【出願日】平成23年6月13日(2011.6.13)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願日】平成23年6月13日(2011.6.13)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
[ Back to top ]