説明

リング型双方向データ送受信システム、情報処理装置、リング型双方向データ送受信方法およびプログラム

【課題】複数の情報処理装置がリング状に接続された系に対して、新たな情報処理装置の参加、既存の情報処理装置の離脱を容易に行えるようにする。
【解決手段】コネクションレス通信を行う複数の情報処理装置10、20、30、40をリング状に接続し、音声データと映像データとを互いに逆方向に巡回させる。音声データには、その音声データがどの情報処理装置において発生した音声データをどのような順序で多重化したのかを示す接続情報が付加されている。各情報処理装置10、20、30、40は、受信した音声データに付加されている接続情報と、映像データの受信状況(受信しているか否か)に基づいて、音声データおよび映像データの送信先を決定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明はリング型双方向データ送受信システム、情報処理装置、リング型双方向データ送受信方法およびプログラムに関し、特にコネクションレス通信によって双方向に一定間隔でデータ送受信を行う情報処理装置がリング状に接続された系に対して容易に参加、離脱できるように構成されたリング型双方向データ送受信システム、情報処理装置、リング型双方向データ送受信方法およびプログラムに関する。
【背景技術】
【0002】
複数の情報処理装置をリング状に接続し、データを巡回させるようにしたシステムとしては、次のようなものが知られている(例えば、特許文献1参照)。特許文献1に記載されている多地点会議システムは、通信フレームを伝送するデジタル通信路を複数のテレビ電話・会議端末を介してリング状に接続し、各テレビ電話・会議端末に、受信した通信フレームをループの下流に位置するテレビ電話・会議端末に中継する中継手段と、その際に発生したテレビ電話・会議用データを通信フレームに格納する手段と、ループを周回してきた自端末のテレビ会議・会議用データを取り除く手段とを設けたことを特徴としている。
【0003】
【特許文献1】特開平5−22321号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1に記載されている多地点会議システムは、通信回線がループ状に接続されていることを前提としており、会議を行うテレビ電話・会議端末の間での通信回線を予め開いておく必要がある。従って、後から参加する必要が生じた場合などは通信回線を一旦切断し、改めて接続しなおす必要がある。また、IPネットワーク上で実現する場合、音声、映像などのリアルタイム性が高いデータはコネクションレス通信(UDP通信)を利用することが一般的であり、通信相手が情報処理装置やネットワークの不具合によって突然ネットワーク上に存在しない状態となった場合でも送信元は知ることができず、データを送り続けてしまう。
【0005】
[発明の目的]
そこで、本発明の目的は、複数の情報処理装置がリング状に接続された系に対して、新たな情報処理装置の参加および既存の情報処理装置の離脱を容易に行うことができるリング型双方向データ送受信システムを提供することにある。
【課題を解決するための手段】
【0006】
本発明にかかる第1のリング型双方向データ送受信システムは、
コネクションレス通信を行う複数の情報処理装置をリング状に接続し、第1の多重化データと第2の多重化データとを互いに逆方向に巡回させるリング型双方向データ送受信システムであって、
前記第1の多重化データには、該第1の多重化データがどの情報処理装置において発生した第1のデータを、どのような順序で多重化したのかを示す接続情報が付加され、且つ、
前記複数の情報処理装置が、それぞれ、
受信した第1の多重化データに付加されている接続情報と、第2の多重化データの受信状況とに基づいて、第1の多重化データの送信先および第2の多重化データの送信先を決定する送信先制御手段と、
受信した第1の多重化データの、自情報処理装置で発生した第1のデータを含まない部分と、自情報処理装置において新たに発生した第1のデータとを多重化する多重化手段と、
該多重化手段で生成された第1の多重化データに付加する接続情報を生成する接続情報制御手段とを備えたことを特徴とする。
【0007】
本発明にかかる第1の情報処理装置は、
コネクションレス通信を行う複数の情報処理装置をリング状に接続し、第1の多重化データと第2の多重化データとを互いに逆方向に巡回させるリング型双方向データ送受信システムの構成要素である情報処理装置であって、
前記第1の多重化データには、該第1の多重化データがどの情報処理装置において発生した第1のデータを、どのような順序で多重化したのかを示す接続情報が付加され、且つ、
受信した第1の多重化データに付加されている接続情報と、第2の多重化データの受信状況とに基づいて、第1の多重化データの送信先および第2の多重化データの送信先を決定する送信先制御手段と、
受信した第1の多重化データの、自情報処理装置で発生した第1のデータを含まない部分と、自情報処理装置において新たに発生した第1のデータとを多重化する多重化手段と、
該多重化手段で生成された第1の多重化データに付加する接続情報を生成する接続情報制御手段とを備えたことを特徴とする。
【0008】
本発明にかかる第1のリング型双方向データ送受信方法は、
コネクションレス通信を行う複数の情報処理装置をリング状に接続し、第1の多重化データと第2の多重化データとを互いに逆方向に巡回させるリング型双方向データ送受信方法であって、
前記第1の多重化データには、該第1の多重化データがどの情報処理装置において発生した第1のデータを、どのような順序で多重化したのかを示す接続情報が付加され、且つ、
前記複数の情報処理装置が、それぞれ、
受信した第1の多重化データに付加されている接続情報と、第2の多重化データの受信状況とに基づいて、第1の多重化データの送信先および第2の多重化データの送信先を決定する送信先制御ステップと、
受信した第1の多重化データの、自情報処理装置で発生した第1のデータを含まない部分と、自情報処理装置において新たに発生した第1のデータとを多重化するステップと、
該多重化ステップで生成された第1の多重化データに付加する接続情報を生成する接続情報制御ステップとを含むことを特徴とする。
【0009】
本発明にかかる第1のプログラムは、
コネクションレス通信を行う複数の情報処理装置をリング状に接続し、第1の多重化データと第2の多重化データとを互いに逆方向に巡回させるリング型双方向データ送受信システムの構成要素である情報処理装置をコンピュータによって実現するためのプログラムであって、
前記第1の多重化データには、該第1の多重化データがどの情報処理装置において発生した第1のデータを、どのような順序で多重化したのかを示す接続情報が付加され、且つ、
前記コンピュータを、
受信した第1の多重化データに付加されている接続情報と、第2の多重化データの受信状況とに基づいて、第1の多重化データの送信先および第2の多重化データの送信先を決定する送信先制御手段、
受信した第1の多重化データの、自情報処理装置で発生した第1のデータを含まない部分と、自情報処理装置において新たに発生した第1のデータとを多重化する多重化手段、
該多重化手段で生成された第1の多重化データに付加する接続情報を生成する接続情報制御手段として機能させる。
【発明の効果】
【0010】
本発明によれば、複数の情報処理装置がリング状に接続された系に対して、新たな情報処理装置の参加および既存の情報処理装置の離脱を容易に行うことが可能になる。
【発明を実施するための最良の形態】
【0011】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
【0012】
発明を実施するための最良の形態では主となる通信データとして音声データを、従属する通信データとして映像データを利用しているが、本発明は音声データや映像データに特化したものではなく、コネクションレス通信によって一定間隔で送受信を行う通信データであれば良い。
【0013】
図1を参照すると、本発明の第1の実施の形態は、情報処理装置10、20、30、40と、情報処理装置の位置情報を保持し、また、他の情報処理装置からの問い合わせに応じて、指定された情報処理装置の位置情報を返却することができるロケーションサーバ90とから構成され、これらの情報処理装置、ロケーションサーバはネットワーク80を介して相互に接続されている。図1では4つの情報処理装置が図示されているが、ネットワーク80に接続可能な情報処理装置数に制限があるわけではなく、任意の数の情報処理装置をネットワーク80に接続することができる。
【0014】
ロケーションサーバ90は位置情報記憶部901を備え、各情報処理装置10、20、30、40の位置情報をユーザIDと関連付けて記憶することができる。位置情報は、情報処理装置のIPアドレスと、音声受信用ポート番号と、映像受信用ポート番号とを含む。図2を参照すると、ユーザIDがAであるユーザが、IPアドレスx.y.z.Aで表現されるIPアドレスを持つ情報処理装置Aにログインしていることを意味し、かつ、音声受信用ポートとして10000番で、映像受信用ポートとして10002番で待ち受けしていることを示している。ユーザIDがB、C、Dであるユーザに関しても同様である。
【0015】
ユーザが他のユーザとの間で音声データと映像データによるデータ送受信処理を行いたい場合、ユーザは自らを識別するユーザIDと自らがログインしている情報処理装置の位置情報とを含む登録要求をロケーションサーバ90へ送信し、位置情報記憶部901内に登録する。また、同時にユーザは、ロケーションサーバ90に登録した音声受信用ポート番号と映像受信用ポート番号とでデータ受信が可能となるように準備する。
【0016】
一方、ユーザがログアウトする場合は、自らを識別するIDと自らがログインしている情報処理装置の位置情報とをロケーションサーバ90の位置情報記憶部901より削除する。
【0017】
次に図3を参照して本発明で利用する情報処理装置10の最良の形態を詳細に説明する。図1記載の他の情報処理装置20、30、40についても同様である。また図3において実線矢印は音声データ、映像データの流れを示し、破線矢印は制御データの流れを示している。
【0018】
情報処理装置10は、位置登録手段126を備え、ユーザが情報処理装置10にログインした場合に、ユーザを識別するIDとこの情報処理装置10の位置情報とを関連付けてロケーションサーバ90に登録することができる。また、ユーザが情報処理装置10からログアウトする場合には、ロケーションサーバ90に登録されている、ユーザを識別するIDとこの情報処理装置の位置情報とを削除することができる。
【0019】
情報処理装置10は、音声入力手段101を備え、音声データをキャプチャすることができる。また、情報処理装置10は、音声受信手段105を備え、音声データをネットワーク80より受信することができる。また、情報処理装置10は、音声多重化手段103を備え、必要に応じて、音声データのエンコード、デコード処理や循環して戻ってきた自らの音声データの排除、受信した音声データとキャプチャした音声データの多重化を行うことができる。また、情報処理装置10は、音声出力手段102を備え、音声データを再生することができる。また、情報処理装置10は、音声送信手段104を備え、音声データをネットワーク80に対して送信することができる。音声データの多重化方式としては、音声成分をミキシングする方法と複数の音声データをつなぎ合わせて1つのデータとする方法などが考えられるが、ここでは全ての情報処理装置が同じ方式を利用している限り何れであっても良い。
【0020】
情報処理装置10は接続情報制御手段106を備え、受信した音声データに含まれる接続情報を解析すると共に、送信する音声データの接続情報を構築することができる。具体的には、音声データが情報処理装置D、情報処理装置C、情報処理装置B、情報処理装置A、情報処理装置Dという順で循環している場合、情報処理装置Dは「D、C、B、A」という順序の接続情報を取得する。これは、音声データが情報処理装置D、情報処理装置C、情報処理装置B、情報処理装置Aの順で多重化されたことを意味している。更に情報処理装置Dは循環して戻ってきた自らの音声データを排除し、自らの音声データを排除後の音声データとキャプチャした音声データとを多重化するため、「C、B、A、D」という順序の接続情報を音声データに含め情報処理装置Cに送信する。なお、接続情報中のA、B、C、Dは、ユーザIDを示している。
【0021】
情報処理装置10は、映像入力手段111を備え、映像データをキャプチャすることができる。また、情報処理装置10は、映像受信手段115を備え、映像データをネットワーク80より受信することができる。また、情報処理装置10は、映像多重化手段113を備え、必要に応じて、映像データのエンコード、デコード処理や循環して戻ってきた自らの映像データの排除、受信した映像データとキャプチャした映像データの多重化を行うことができる。また、情報処理装置10は、映像出力手段112を備え、映像データを再生することができる。また、情報処理装置10は、映像送信手段114を備え、映像データをネットワーク80に対して送信することができる。映像データの多重化方式としては、映像を縮小し合成する方法や複数の映像データをつなぎ合わせて1つのデータとする方法などが考えられるが、ここでは全ての情報処理装置が同じ方式を利用している限り何れであっても良い。
【0022】
情報処理装置10は送信先入力手段121を備え、ユーザは相手ユーザのユーザIDを入力することができる。
【0023】
情報処理装置10は、状態管理手段122と状態記憶部123とを備え、「待機中」「参加中」「会議中」の状態を管理、記憶することができる。ここで「待機中」とは、ロケーションサーバ90にユーザIDと情報処理装置の位置情報を登録済みであり、ロケーションサーバ90に登録した音声受信用ポートと映像受信用ポートでデータ受信待ちをしている状態である。「参加中」とは、自情報処理装置10のユーザによって相手ユーザに対して音声データの送信を開始することが指示されたが、まだ自らの音声データが循環して戻ってきていない状態である。「会議中」とは、自らの音声データが循環して戻ってくるようになって以降の状態である。後述するように、状態が一旦「会議中」になって以降、参加者の誰かが離脱した場合、一時的に自らの音声データが戻ってこなくなる場合があるが、この場合でも「会議中」の状態を保持するものとする。
【0024】
情報処理装置10は、送信先制御手段124を備え、現在の状態、音声データの受信状況、映像データの受信状況により音声データおよび映像データの送受信先を制御することができる。また、情報処理装置10は、送信先記憶部125を備え、前にどの情報処理装置に対して音声データ、映像データを送信していたかを記憶しておくことができる。
【0025】
情報処理装置10は、位置問合わせ手段127を備え、必要に応じて、ユーザIDをキーとしてロケーションサーバ90に対して位置情報を問い合わせ、上記ユーザIDに関連付けて登録されている位置情報(IPアドレス、音声受信用ポート番号、映像受信用ポート番号)を取得することができる。
【0026】
なお、情報処理装置10はコンピュータによって実現されるものであり、コンピュータは、ディスク、半導体メモリなどの記録媒体に記録されたプログラムを読み込み、実行することで、自コンピュータ上に各手段101〜106、111〜115、121、122、124、126、127を実現する。
【0027】
次に、図3、および、図4のフローチャートを参照して送信先制御手段124の動作を詳細に説明する。
【0028】
まず、送信先制御手段124は、状態管理手段122に対して現在の状態を問い合わせる(ステップS01)。
【0029】
「参加中」である場合、つまり、自情報処理装置10のユーザによって相手ユーザに対して音声データの送信を開始することが指示されたが、まだ自らの音声データが循環して戻ってきていない状態である場合、音声データは送信先入力手段121にて入力された相手ユーザのIDを利用しロケーションサーバ90より取得した相手ユーザのIPアドレスおよび音声受信用ポートに対して音声データを送信する。映像データは送信しない(ケース01)。
【0030】
「待機中」または「会議中」である場合、音声データを受信しているか否かで振る舞いが異なる(ステップS02)。
【0031】
「待機中」または「会議中」であり、且つ音声データを受信していない場合は、映像データを受信しているか否かで振る舞いが異なる(ステップS03)。
【0032】
映像データを受信している場合(ステップS03がはい)は、音声データは送信先記憶部125に記憶されている音声データの送信先IPアドレスおよび音声受信用ポートに対して送信する。映像データは送信しない(ケース02)。
【0033】
これに対して、映像データも受信していない場合(ステップS03がいいえ)は、音声データ、映像データともに送信しない。このケースは2者で会議中(通話中)に相手が離脱した場合に相当するため、状態を「待機中」に戻すことになる(ケース03)。
【0034】
「待機中」または「会議中」であり、且つ音声データを受信している場合は、2つの異なる情報処理装置から送信された音声データを受信しているか否かで振る舞いが異なる(ステップS04)。
【0035】
2つの異なる情報処理装置から送信された音声データを受信している場合(ステップS04がはい)は、音声データは送信先記憶部125に記憶されている音声データの送信先IPアドレスおよび音声受信用ポートに対して送信する。ここで、2つの異なる情報処理装置から送信された音声データのうち一方には自らの音声データが循環して戻ってきており、他方は1人分の音声データが格納されている。この場合、音声多重化手段103は循環して戻ってきた自分の音声データを排除し、2つの異なる情報処理装置から送信された音声データと、新たにキャプチャした音声データとを多重化する。また、接続情報制御手段106は、まず循環して戻ってきた自分の音声データが排除され、次に、他方の1人分の音声データが多重化され、最後に新たにキャプチャされた音声データが多重化されたことを意味するように接続情報を構築する。一方、映像データは、音声データを送信してきている2つの異なる情報処理装置のうちで、自らの音声データが含まれてない、1人分の音声データのみを送信している情報処理装置に対して送信する(ケース04)。
【0036】
これに対して、1つの情報処理装置から送信された音声データのみを受信している場合(ステップS04がいいえ)は、映像データを受信しているか否かで振る舞いが異なる(ステップS05)。
【0037】
映像データを受信していない場合(ステップS05がいいえ)は、音声データは接続情報制御手段106にて受信した音声データに付加されている接続情報より取得した次の接続先情報処理装置に対して送信する。つまり、受信した多重化された音声データの最初に、または、最初が自分である場合は自分の次に音声データを多重化した情報処理装置に対して送信することになる。一方、映像データは音声データを送信してきている情報処理装置に対して送信する(ケース05)。
【0038】
これに対して、映像データを受信している場合(ステップS05がはい)は、音声データは送信先記憶部125に記憶されている音声データの送信先IPアドレスおよび音声受信用ポート番号に対して送信する。一方、映像データは音声データを送信してきている情報処理装置に対して送信する(ケース06)。
【0039】
次に、図3、図4および、図5のシーケンス図を参照して本実施の形態において2つの情報処理装置間で音声データ、映像データの送受信が開始されるまでのシーケンスを詳細に説明する。ここでユーザAのユーザIDを「A」とし、情報処理装置Aを利用するものとする。また、ユーザBのユーザIDを「B」とし、情報処理装置Bを利用するものとする。
【0040】
まず、情報処理装置A、情報処理装置Bは、位置登録手段126を使用してユーザを識別するユーザIDと、自情報処理装置の位置情報とを関連付けてロケーションサーバ90に登録しておく。登録が完了した段階で状態管理手段122は状態を「待機中」とし状態記憶部123に記憶する(ステップS501、ステップS502)。
【0041】
次に情報処理装置Bを利用しているユーザBは、情報処理装置Aを利用しているユーザAとの間で音声データ、映像データの送受信を開始したい場合、送信先入力手段121を用いてユーザAのユーザID「A」を入力し、音声データの送信開始を指示する。これにより、情報処理装置Bの状態管理手段122は、状態を「参加中」とし状態記憶部123に記憶する。また、情報処理装置Bの位置問合せ手段127は、送信先入力手段121から入力された相手ユーザAのユーザID「A」を利用して、ロケーションサーバ90から情報処理装置AのIPアドレスおよび音声受信用ポート番号を取得し、取得した情報を送信先記憶部125に格納する(ステップS503)。
【0042】
次に情報処理装置Bは、送信先制御手段124に対して音声データ送信先の問い合わせを行う。この場合、送信先制御手段124は、状態が「参加中」であるので、図4のケース01に該当すると判断する。そこで、情報処理装置Bは、ステップS503で格納した情報に基づき、情報処理装置Aに対して音声送信手段104より音声データを送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データのみを処理する。また、接続情報制御手段106は接続情報としてユーザBのID「B」のみを含める(ステップS504)。
【0043】
次に情報処理装置Aは、音声受信手段105にて音声データを受信する。ここで情報処理装置Aの状態は「待機中」であり、映像受信手段115では映像データを受信していない状態である。情報処理装置Aは送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース05に該当すると判断する。音声データは接続情報制御手段106にて受信した音声データに付加されている接続情報より取得した次の接続先情報処理装置、すなわち、ユーザID「B」が利用している情報処理装置Bに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置BのIPアドレスおよび音声受信用ポート番号を取得する(ステップS505)。
【0044】
次に情報処理装置Aは、上記取得結果に基づき、情報処理装置Bに対して音声送信手段104より音声データを送信すると共に、その送信先を送信先記憶部125に格納する。送信の際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと音声受信手段105で受信した音声データを多重化する。また、接続情報制御手段106は接続情報を「B、A」とする(ステップS506)。
【0045】
次に情報処理装置Aは、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース05に該当すると判断する。映像データは音声データの送り主である情報処理装置Bに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置BのIPアドレスおよび映像受信用ポート番号を取得する(ステップS507)。
【0046】
次に情報処理装置Aは、上記取得結果に基づき、情報処理装置Bに対して映像送信手段114より映像データを送信すると共に、その送信先を送信先記憶部125に格納する。その際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データのみを処理する(ステップS508)。
【0047】
次に情報処理装置Bは、音声受信手段105にて音声データを受信する。接続情報制御手段106は、自らの音声データが循環して戻ってきたことを検知し、状態管理手段122は状態を「会議中」とし状態記憶部123に記憶する。よって情報処理装置Bの状態は「会議中」となり、映像受信手段115で映像データを受信している状態である。情報処理装置Bは送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125にIPアドレス及び音声受信用ポート番号が格納されている情報処理装置Aに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「A、B」とする(ステップS509)。
【0048】
次に情報処理装置Bは、映像受信手段115にて映像データを受信する。情報処理装置Bは、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Aに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置AのIPアドレスおよび映像受信用ポート番号を取得する(ステップS510)。
【0049】
次に情報処理装置Bは、上記取得結果に基づき、情報処理装置Aに対して映像送信手段114より映像データを送信すると共に、その送信先を送信先記憶部125に格納する。送信の際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データとを多重化する(ステップS511)。
【0050】
次に情報処理装置Aは、音声受信手段105にて音声データを受信する。これにより、接続情報制御手段106は、自らの音声データが循環して戻ってきたことを検知し、状態管理手段122は状態を「会議中」とし状態記憶部123に記憶する。よって情報処理装置Aの状態は「会議中」となり、映像受信手段115で映像データを受信している状態である。情報処理装置Aは、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データを送信先記憶部125に格納されている情報処理装置Bに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「B、A」とする(ステップS512)。
【0051】
次に情報処理装置Aは、映像受信手段115にて映像データを受信する。情報処理装置Aは、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Bに対して送信する必要があるため、情報処理装置Bに対して映像送信手段114より映像データを送信する(映像データの送信先は、送信先記憶部125に格納されている)。送信の際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データから循環して戻ってきた自らの映像データを排除した映像データとを多重化する(ステップS513)。
【0052】
以降は前記ステップS509からステップS513を繰り返す(ステップS514)ことで情報処理装置Aと情報処理装置Bの間で音声データ、映像データの送受信が継続される。ただし、以降のステップでは状態管理手段122による状態記憶部123の維持管理処理は不要であり、またステップS510も不要となる。さらにステップS511で映像データを多重化する際は循環して戻ってきた自らの映像データを排除する必要がある。
【0053】
次に、図3、図4および、図6のシーケンス図を参照して本実施形態において3つの情報処理装置間で音声データ、映像データの送受信が開始されるまでのシーケンスを詳細に説明する。ここでユーザAのユーザIDを「A」とし、情報処理装置Aを利用するものとする。また、ユーザBのユーザIDを「B」とし、情報処理装置Bを利用するものとする。また、ユーザCのユーザIDを「C」とし、情報処理装置Cを利用するものとする。また、ユーザAとユーザBの間では音声データ、映像データの送受信が継続されているものとする。
【0054】
まず、情報処理装置Cは、位置登録手段126を利用してユーザを識別するユーザIDと、自情報処理装置Cの位置情報とを関連付けてロケーションサーバ90に登録しておく。登録が完了した段階で状態管理手段122は、状態を「待機中」とし状態記憶部123に記憶する(ステップS601)。
【0055】
次に情報処理装置Cを利用しているユーザCは、情報処理装置Bを利用しているユーザBとの間で音声データ、映像データの送受信を開始したい場合、送信先入力手段121を用いてユーザBのユーザID「B」を入力し、音声データの送信開始を指示する。これにより、情報処理装置Cの状態管理手段122は、状態記憶部123に記憶されている状態を「待機中」から「参加中」に変更する。また、情報処理装置Cの位置問合せ手段127は、送信先入力手段121から入力されたユーザBのユーザID「B」を利用し、ロケーションサーバ90より情報処理装置BのIPアドレス及び音声受信用ポート番号を取得し、取得した情報を送信先記憶部125に格納する(ステップS602)。
【0056】
次に情報処理装置Cは、送信先制御手段124に対して音声データ送信先の問い合わせを行う。この場合、状態が「参加中」であるので、送信先制御手段124は、図4のケース01に該当すると判断する。従って、情報処理装置Cは、ステップS602で取得した情報に基づき、情報処理装置Bに対して音声送信手段104より音声データを送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データのみを処理する。また、接続情報制御手段106は接続情報としてユーザCのID「C」のみを含める(ステップS603)。
【0057】
次に情報処理装置Bは、音声受信手段105にて、情報処理装置Cを送り主とする音声データを受信する。ここで、情報処理装置Bの状態は「会議中」であり、音声受信手段105では2つの異なる情報処理装置から送信された音声データを受信している状態であり、映像受信手段115では映像データを受信している状態である。情報処理装置Bは、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース04に該当すると判断する。よって情報処理装置Bは、送信先記憶部125にIPアドレスが格納されている情報処理装置Aに対して音声データを送信する。その際、音声多重化手段103は、情報処理装置A(情報処理装置Bへの音声データの送信を継続して行っている情報処理装置)からの音声データを待って、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データと、新たに情報処理装置Cの音声データを多重化する。また、接続情報制御手段106は、接続情報を「A、C、B」とする。もともと情報処理装置Aからは接続情報として「B、A」を受信していたが、これに対し、自らの音声データの削除で「A」とし、ここに情報処理装置Cの音声データを多重化することで「A、C」とし、最後にキャプチャされた音声データを多重化することで「A、C、B」となったことを意味している(ステップS604)。
【0058】
情報処理装置Bは、映像受信手段115にて映像データを受信すると、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース04に該当すると判断する。映像データは2つの音声データの送り主の中で自らの音声データが含まれていない音声データの送り主である情報処理装置Cに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置CのIPアドレスおよび映像受信用ポート番号を取得する(ステップS605)。
【0059】
次に情報処理装置Bは、上記取得結果に基づき、情報処理装置Cに対して映像送信手段114より映像データを送信すると共に、その送信先を送信先記憶部125に格納する。送信の際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データから循環して戻ってきた自らの映像データを排除した映像データとを多重化する(ステップS606)。
【0060】
情報処理装置Aは、音声受信手段105にて音声データを受信する。ここで情報処理装置Aの状態は「会議中」であり、音声受信手段105では音声データを受信している状態であり、映像受信手段115では映像データを受信していない状態である。情報処理装置Aは、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース05に該当すると判断する。音声データは接続情報制御手段106にて受信した音声データに含まれている接続情報より取得した次の接続先情報処理装置、すなわち、ユーザID「C」が利用している情報処理装置Cに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置CのIPアドレスおよび音声受信用ポート番号を取得する(ステップS607)
【0061】
次に情報処理装置Aは、上記取得結果に基づき、情報処理装置Cに対して音声送信手段104より音声データを送信すると共に、その送信先を送信先記憶部125に格納する。送信の際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は、接続情報を「C、B、A」とする(ステップS608)。
【0062】
情報処理装置Cは、音声受信手段105にて音声データを受信する。これにより、接続情報制御手段106は、自らの音声データが循環して戻ってきたことを検知し、状態管理手段122は状態を「会議中」とし状態記憶部123に記憶する。よって情報処理装置Cの状態は「会議中」となり、映像受信手段115で映像データを受信している状態である。情報処理装置Cは送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データを送信先記憶部125に格納されている情報処理装置Bに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は、接続情報を「B、A、C」とする(ステップS609)。
【0063】
情報処理装置Cは、映像受信手段115にて映像データを受信すると、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Aに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置AのIPアドレスおよび映像受信用ポート番号を取得する(ステップS610)。
【0064】
次に情報処理装置Cは、上記取得結果に基づき、情報処理装置Aに対して映像送信手段114より映像データを送信すると共に、その送信先を送信先記憶部125に登録する。送信の際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データとを多重化する(ステップS611)。
【0065】
情報処理装置Bは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Aに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「A、C、B」とする(ステップS612)。
【0066】
情報処理装置Aは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データを送信先記憶部125に格納されている情報処理装置Cに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は、接続情報を「C、B、A」とする(ステップS613)。
【0067】
情報処理装置Aは、映像受信手段115にて映像データを受信すると、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。従って、情報処理装置Aは、映像データを音声データの送り主である情報処理装置Bに対して送信する必要があるため、情報処理装置Bに対して映像送信手段114より映像データを送信する。その際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データから循環して戻ってきた自らの映像データを排除した映像データとを多重化する(ステップS614)。
【0068】
情報処理装置Bは、映像受信手段115にて映像データを受信すると、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Cに対して送信する必要があるため、情報処理装置Cに対して映像送信手段114より映像データを送信する。その際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データから循環して戻ってきた自らの映像データを排除した映像データとを多重化する(ステップS615)。
【0069】
以降は前記ステップS609からステップS615を繰り返す(ステップS616)ことで情報処理装置Aと情報処理装置Bと情報処理装置Cの間で音声データ、映像データの送受信が継続される。ただし、以降のステップでは状態管理手段122による状態記憶部123の維持管理処理は不要であり、またステップS610も不要となる。さらにステップS611で映像データを多重化する際は循環して戻ってきた自らの映像データを排除する必要がある。
【0070】
次に、図3、図4および、図7のシーケンス図を参照して本実施の形態において4つの情報処理装置間で音声データ、映像データの送受信が開始されるまでのシーケンスを詳細に説明する。ここでユーザAのユーザIDを「A」とし、情報処理装置Aを利用するものとする。また、ユーザBのユーザIDを「B」とし、情報処理装置Bを利用するものとする。また、ユーザCのユーザIDを「C」とし、情報処理装置Cを利用するものとする。また、ユーザDのユーザIDを「D」とし、情報処理装置Dを利用するものとする。また、ユーザAとユーザBとユーザCの間では音声データ、映像データの送受信が継続されているものとする。
【0071】
まず、情報処理装置Dは、位置登録手段126にてユーザを識別するユーザIDと自情報処理装置Dの位置情報とを関連付けてロケーションサーバ90に登録しておく。登録が完了した段階で状態管理手段122は状態を「待機中」とし状態記憶部123に記憶する。
【0072】
次に情報処理装置Dを利用しているユーザDは、情報処理装置Cを利用しているユーザCとの間で音声データ、映像データの送受信を開始したい場合、送信先入力手段121からユーザCのユーザID「C」を入力し、音声データの送信開始を指示する。これにより、情報処理装置Dの状態管理手段122は、状態記憶部123に登録されている状態を「待機中」から「参加中」に変更する。また、情報処理装置D内の位置問合せ手段127は、送信先入力手段121から入力された相手ユーザCのユーザID「C」を利用してロケーションサーバ90から情報処理装置CのIPアドレスおよび音声受信用ポート番号を取得し、取得した情報を送信先記憶部125に格納する(ステップS701)。
【0073】
次に情報処理装置Dは、送信先制御手段124に対して音声データ送信先の問い合わせを行う。この場合、状態が「参加中」であるので、送信先制御手段124は、図4のケース01に該当すると判断する。従って、情報処理装置Dは、ステップS701で送信先記憶部124に格納した情報に基づき、情報処理装置Cに対して音声送信手段104より音声データを送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データのみを処理する。また、接続情報制御手段106は、接続情報としてユーザDのユーザID「D」のみを含める(ステップS702)。
【0074】
情報処理装置Cは、音声受信手段105にて、情報処理装置Dからの音声データを受信する。ここで情報処理装置Cの状態は「会議中」であり、音声受信手段105では2つの異なる情報処理装置から送信された音声データを受信している状態であり、映像受信手段115では映像データを受信している状態である。情報処理装置Cは、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース04に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Bに対して送信する。その際、音声多重化手段103は、情報処理装置A(情報処理装置Cへの音声データの送信を継続して行っている情報処理装置)からの音声データを待って、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データと、新たな情報処理装置Dの音声データを多重化する。また、接続情報制御手段106は、接続情報を「B、A、D、C」とする。この接続情報「B、A、D、C」は、もともと情報処理装置Aからは接続情報として「C、B、A」を受信していたが、これに対し、自らの音声データの削除で「B、A」とし、ここに情報処理装置Dの音声データを多重化することで「B、A、D」とし、最後にキャプチャされた音声データを多重化することで「B、A、D、C」としたことを意味している(ステップS703)。
【0075】
情報処理装置Bは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Aに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データを多重化する。また、接続情報制御手段106は接続情報を「A、D、C、B」とする(ステップS704)。
【0076】
情報処理装置Cは、映像受信手段115にて映像データを受信すると、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース04に該当すると判断する。映像データは2つの音声データの送り主の中で自らの音声データが含まれていない音声データの送り主である情報処理装置Dに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置DのIPアドレスおよび映像受信用ポート番号を取得する(ステップS705)。
【0077】
次に情報処理装置Cは、上記取得結果に基づき、情報処理装置Dに対して映像送信手段114より映像データを送信すると共に、その送信先を送信先記憶部125に格納する。送信の際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データから循環して戻ってきた自らの映像データを排除した映像データとを多重化する(ステップS706)。
【0078】
情報処理装置Aは、音声受信手段105にて音声データを受信する。ここで情報処理装置Aの状態は「会議中」であり、音声受信手段105では音声データを受信している状態であり、映像受信手段115では映像データを受信していない状態である。情報処理装置Aは、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース05に該当すると判断する。音声データは接続情報制御手段106にて受信した音声データより取得した次の接続先情報処理装置、すなわち、ユーザID「D」が利用している情報処理装置Dに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置DのIPアドレスおよび音声受信用ポート番号を取得する(ステップS707)。
【0079】
次に情報処理装置Aは、上記取得結果に基づき、情報処理装置Dに対して音声送信手段104より音声データを送信すると共に、その送信先を送信先記憶部125に格納する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「D、C、B、A」とする(ステップS708)。
【0080】
情報処理装置Dは、音声受信手段105にて音声データを受信する。接続情報制御手段106は、自らの音声データが循環して戻ってきたことを検知し、状態管理手段122は状態を「会議中」とし状態記憶部123に記憶する。よって情報処理装置Dの状態は「会議中」となり、映像受信手段115で映像データを受信している状態である。情報処理装置Dは、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Cに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は、接続情報を「C、B、A、D」とする(ステップS709)。
【0081】
次に情報処理装置Dは、映像受信手段115にて映像データを受信すると、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Aに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置AのIPアドレスおよび映像受信用ポート番号を取得する(ステップS710)。
【0082】
次に情報処理装置Dは、上記取得結果に基づき、情報処理装置Aに対して映像送信手段114より映像データを送信すると共に、その送信先を送信先記憶部125に格納する。送信の際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データを多重化する(ステップS711)。
【0083】
情報処理装置Cは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Bに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「B、A、D、C」とする(ステップS712)。
【0084】
情報処理装置Bは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Aに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信し音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「A、D、C、B」とする(ステップS713)。
【0085】
情報処理装置Aは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Dに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「D、C、B、A」とする(ステップS714)。
【0086】
次に情報処理装置Aは、映像受信手段115にて映像データを受信する。情報処理装置Aは送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Bに対して送信する必要があるため、情報処理装置Bに対して映像送信手段114より映像データを送信する。その際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データから循環して戻ってきた自らの映像データを排除した映像データとを多重化する(ステップS715)。
【0087】
情報処理装置Bは、映像受信手段115にて映像データを受信すると、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Cに対して送信する必要があるため、情報処理装置Cに対して映像送信手段114より映像データを送信する。その際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データから循環して戻ってきた自らの映像データを排除した映像データとを多重化する(ステップS716)。
【0088】
情報処理装置Cは、映像受信手段115にて映像データを受信すると、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Dに対して送信する必要があるため、情報処理装置Dに対して映像送信手段114より映像データを送信する。その際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データから循環して戻ってきた自らの映像データを排除した映像データとを多重化する(ステップS717)。
【0089】
以降は前記ステップS709からステップS717を繰り返すことで情報処理装置Aと情報処理装置Bと情報処理装置Cと情報処理装置Dとの間で音声データ、映像データの送受信が継続される。ただし、以降のステップでは状態管理手段122による状態記憶部123の維持管理処理は不要であり、またステップS710も不要となる。さらにステップS711で映像データを多重化する際は循環して戻ってきた自らの映像データを排除する必要がある。
【0090】
次に、図3、図4および、図8のシーケンス図を参照して本実施形態において4つの情報処理装置間で音声データ、映像データの送受信が継続されている状態から1つの情報処理装置が離脱するまでのシーケンスを詳細に説明する。ここでユーザAのユーザIDを「A」とし、情報処理装置Aを利用するものとする。また、ユーザBのユーザIDを「B」とし、情報処理装置Bを利用するものとする。また、ユーザCのユーザIDを「C」とし、情報処理装置Cを利用するものとする。また、ユーザDのユーザIDを「D」とし、情報処理装置Dを利用するものとする。また、ユーザAとユーザBとユーザCとユーザDとの間では音声データ、映像データの送受信が継続されているものとする。
【0091】
まず、情報処理装置Dは、音声データ、映像データの送受信を停止する。また、状態管理手段122は状態を「待機中」とし状態記憶部123に記憶する(ステップS801)。
【0092】
情報処理装置Dが、音声データ、映像データの送受信を停止すると、情報処理装置Cは、音声データを受信できなくなる。情報処理装置Cは、音声データを受信できない期間が、予め定められている一定時間以上となると、送信先制御手段124に対して映像データの送信先を問い合わせる。送信先制御手段124は、情報処理装置Cの状態が「会議中」、映像データが「受信状態」、音声信号が「非受信状態」であるので、図4のケース02に該当すると判断する。よって、情報処理装置Cは、映像データの送信は停止する(ステップS801)。
【0093】
更に、情報処理装置Cは、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース02に該当すると判断する。よって音声データは送信先記憶部125に格納されている送信先の情報処理装置Bに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データのみを処理する。また、接続情報制御手段106は接続情報としてユーザCのユーザID「C」のみを含める(ステップS803)。
【0094】
情報処理装置Bは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Aに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データを多重化する。また、接続情報制御手段106は接続情報を「C、B」とする(ステップS804)。
【0095】
情報処理装置Aは、音声受信手段105にて音声データを受信する。音声受信手段105では音声データを受信している状態であり、映像受信手段115では映像データを受信していない状態である。情報処理装置Aは、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース05に該当すると判断する。音声データは接続情報制御手段106にて受信した音声データより取得した次の接続先情報処理装置、すなわち、ユーザID「C」が利用している情報処理装置Cに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバより情報処理装置CのIPアドレスおよび音声受信用ポート番号を取得する(ステップS805)。
【0096】
次に情報処理装置Aは、上記取得結果に基づき、情報処理装置Cに対して音声送信手段104より音声データを送信すると共に、その送信先を送信先記憶部125に格納する。送信の際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データとを多重化する。また、接続情報制御手段106は接続情報を「C、B、A」とする(ステップS806)。
【0097】
情報処理装置Cは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Bに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「B、A、C」とする(ステップS807)。
【0098】
次に情報処理装置Cは、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Aに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置AのIPアドレスおよび映像受信用ポート番号を取得する(ステップS808)。
【0099】
次に情報処理装置Cは、上記取得結果に基づき、情報処理装置Aに対して映像送信手段114より映像データを送信すると共に、その送信先を送信先記憶部125に格納する。その際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データのみを処理する(ステップS809)。
【0100】
情報処理装置Bは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Aに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「A、C、B」とする(ステップS810)。
【0101】
情報処理装置Aは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Cに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「C、B、A」とする(ステップS811)。
【0102】
情報処理装置Aは、映像受信手段115にて映像データを受信すると、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Bに対して送信する必要があるため、情報処理装置Bに対して映像送信手段114より映像データを送信する。その際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データから循環して戻ってきた自らの映像データを排除した映像データとを多重化する(ステップS812)。
【0103】
情報処理装置Bは映像受信手段115にて映像データを受信すると、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Cに対して送信する必要があるため、情報処理装置Cに対して映像送信手段114より映像データを送信する。その際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データから循環して戻ってきた自らの映像データを排除した映像データを多重化する(ステップS813)。
【0104】
以降は上記ステップS807からステップS813を繰り返す(ステップS814)ことで情報処理装置Aと情報処理装置Bと情報処理装置Cの間で音声データ、映像データの送受信が継続される。ただし、以降のステップでは状態管理手段122による状態記憶部123の維持管理処理は不要であり、またステップS808も不要となる。さらにステップS809で映像データを多重化する際は循環して戻ってきた自らの映像データを排除する必要がある。
【0105】
次に、図3、図4および、図9のシーケンス図を参照して本実施形態において3つの情報処理装置間で音声データ、映像データの送受信が継続されている状態から1つの情報処理装置が離脱するまでのシーケンスを詳細に説明する。ここでユーザAのユーザIDを「A」とし、情報処理装置Aを利用するものとする。また、ユーザBのユーザIDを「B」とし、情報処理装置Bを利用するものとする。また、ユーザCのユーザIDを「C」とし、情報処理装置Cを利用するものとする。また、ユーザAとユーザBとユーザCの間では音声データ、映像データの送受信が継続されているものとする。
【0106】
まず、情報処理装置Cは、音声データ、映像データの送受信を停止する。また、状態管理手段122は状態を「待機中」とし状態記憶部123に記憶する(ステップS901)。
【0107】
情報処理装置Cが音声データ、映像データの送受信を停止すると、情報処理装置Bは、音声データを受信できなくなる。情報処理装置Bは、音声データを受信できない期間が所定時間以上となると、送信先制御手段124に対して音声データの送信先を問い合わせる。送信先制御手段124は、状態が「会議中」、映像データが「受信状態」、音声データが「非受信状態」であるので、ケース02に該当すると判断する。よって映像データの送信は停止する(ステップS902)。
【0108】
更に、情報処理装置Bは、送信先制御手段124に対して音声データの送信先を問い合わせる。これにより、送信先制御手段124は、図4のケース02に該当すると判断する。よって音声データは送信先記憶部125に格納されている送信先の情報処理装置Bに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データのみを処理する。また、接続情報制御手段106は、接続情報としてユーザCのID「B」のみを含める(ステップS903)。
【0109】
情報処理装置Aは、音声受信手段105にて音声データを受信する。音声受信手段105では音声データを受信している状態であり、映像受信手段115では映像データを受信していない状態である。情報処理装置Aは、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース05に該当すると判断する。音声データは接続情報制御手段106にて受信した音声データより取得した次の接続先情報処理装置、すなわち、ユーザID「B」が利用している情報処理装置Bに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置BのIPアドレスおよび音声受信用ポート番号を取得する(ステップS904)。
【0110】
次に情報処理装置Aは、上記取得結果に基づき、情報処理装置Bに対して音声送信手段104より音声データを送信すると共に、その送信先を送信先記憶部125に格納する。送信の際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データを多重化する。また、接続情報制御手段106は接続情報を「B、A」とする(ステップS905)。
【0111】
次に情報処理装置Bは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Aに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「A、B」とする(ステップS906)。
【0112】
情報処理装置Bは送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Aに対して送信する必要があるため、位置問合せ手段127を利用してロケーションサーバ90より情報処理装置AのIPアドレスおよび映像受信用ポート番号を取得する(ステップS907)。
【0113】
次に情報処理装置Bは、上記取得結果に基づき、情報処理装置Aに対して映像送信手段114より映像データを送信すると共に、その送信先を送信先記憶部125に登録する。送信の際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データだけを処理対象にする(ステップS908)。
【0114】
情報処理装置Aは、音声受信手段105にて音声データを受信すると、送信先制御手段124に対して音声データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。よって音声データは送信先記憶部125に格納されている情報処理装置Bに対して送信する。その際、音声多重化手段103は、音声入力手段101でキャプチャされた音声データと、音声受信手段105で受信した音声データから循環して戻ってきた自らの音声データを排除した音声データとを多重化する。また、接続情報制御手段106は接続情報を「B、A」とする(ステップS909)。
【0115】
情報処理装置Aは、映像受信手段115にて映像データを受信すると、送信先制御手段124に対して映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース06に該当すると判断する。映像データは音声データの送り主である情報処理装置Bに対して送信する必要があるため、情報処理装置Bに対して映像送信手段114より映像データを送信する。その際、映像多重化手段113は、映像入力手段111でキャプチャされた映像データと、映像受信手段115で受信した映像データから循環して戻ってきた自らの映像データを排除した映像データとを多重化する(ステップS910)。
【0116】
以降は前期ステップS906からステップS910を繰り返す(ステップS911)ことで情報処理装置Aと情報処理装置Bの間で音声データ、映像データの送受信が継続される。ただし、以降のステップでは状態管理手段122による状態記憶部123の維持管理処理は不要であり、またステップS907も不要となる。さらにステップS908で映像データを多重化する際は循環して戻ってきた自らの映像データを排除する必要がある。
【0117】
次に、図3、図4および、図10のシーケンス図を参照して本実施形態において2つの情報処理装置間で音声データ、映像データの送受信が継続されている状態から送受信が停止するまでのシーケンスを詳細に説明する。ここでユーザAのユーザIDを「A」とし、情報処理装置Aを利用するものとする。また、ユーザBのユーザIDを「B」とし、情報処理装置Bを利用するものとする。また、ユーザAとユーザBの間では音声データ、映像データの送受信が継続されているものとする。
【0118】
まず、情報処理装置Bは音声データ、映像データの送受信を停止する。また、状態管理手段122は状態を「待機中」とし状態記憶部123に記憶する(ステップSA01)。
【0119】
情報処理装置Bが音声データ、映像データの送受信を停止すると、情報処理装置Aは音声データを受信できなくなる。情報処理装置Aは、音声データを受信できない期間が一定時間以上となると、送信先制御手段124に対して音声データ、映像データの送信先の問い合わせを行う。送信先制御手段124は図4のケース03に該当すると判断する。よって音声データ、映像データの送信は停止する。また、状態管理手段122は状態を「待機中」とし状態記憶部123に記憶する(ステップSA02)。
【0120】
以上により、2つの情報処理装置間の音声データ、映像データの送受信が停止し、もとの「待機中」状態に戻る。
【0121】
[実施の形態の効果]
次に本実施の形態の効果について説明する。本実施の形態では、送信先制御手段124において、受信した音声データに付加されている接続情報と、映像データの受信状況とに基づいて、音声データおよび映像データの送信先を決定するようにしているので、容易に開始、参加、離脱可能なリング型多地点会議システムを提供することができる。つまり、特定のユーザに対して音声データを送信するだけで、リング型多地点会議システムに参加することができ、また、音声データ、映像データの送信を停止するだけで、リング型多地点会議システムから離脱し、残されたユーザは今までどおりリング型多地点会議システムを利用することができる。また、ユーザが意思を持って離脱した場合のみならず、情報処理装置やネットワークの不具合によって突然あるユーザがネットワーク上に存在しない状態となった場合であっても、結果的に「音声、映像の送信を停止」した状態となるため、残されたユーザは今までどおりリング型多地点会議システムを利用することができる。
【0122】
[実施例]
次に、具体的な実施例を用いて本発明を実施するための最良の形態の動作を説明する。
【0123】
本実施例では、主となる通信データとして音声データを、従属する通信データとして映像データを利用し、音声データや映像データはコネクションレス通信方式であるUDP(User Datagram Protocol)上のRTP(Real-time Transport Protocol)によりパケット化されているものとする。従って、各ユーザを識別するユーザIDとしてSSRC(同期送信元)識別子を利用し、ロケーションサーバ90にはSSRCと対応するIPアドレス、音声受信ポート番号、映像受信ポート番号が登録されているものとする。また、音声データや映像データは各多地点会議用の情報処理装置にてミキシングされ、送信されるが、ミキシング後の音声データ、映像データをRTP化する際にCSRC(寄与送信元)を設定し、その設定順を利用して接続順序を表現する。図11に4名でサーバレス多地点会議を行っている場合のCSRC情報例を示す。例えば、Aさん(SSRCが0001番である情報処理装置)が音声を受信する場合、その音声データは、SSRCが0001番、0002番、0003番、0004番の情報処理装置にて順にミキシングされたものであり、上から順に、0001番、0002番、0003番、0004番がCSRCとしてリストされたRTPを受信することになる。また、従属するメディアである映像データに関してはCSRCの並び順を規定する必要は特にない。
【0124】
次に図12を参照しながらAさん(SSRCが0001番)とBさん(SSRCが0002番)の間で会議を開始する際のシーケンスについて説明する。ここで、AさんとBさんは既にロケーションサーバ90に登録済みであるとする。また、細線は音声パケットの流れを、太線は映像パケットの流れを示している。
【0125】
BさんがAさんと通話を開始したい場合、まず、Bさんはロケーションサーバ90に問い合わせを行い、AさんのIPアドレスと音声受信用ポート番号を取得する。ここでBさんの状態は「参加中」となる。次にBさんは取得したAさんのIPアドレスと音声受信用ポート番号に対して、音声パケットを送信する。また、音声パケットのCSRCは0002番となる。
【0126】
Bさんからの音声を受信したAさんは、状態が「待機中」であり、まだ映像を受信していないため、図4のケース05に該当し、音声は「接続情報から取得した次の音声送信先」、つまり、CSRCの先頭より取得したSSRCが0002番であるBさんに音声を送信する。BさんのIPアドレスと音声受信用ポート番号はロケーションサーバ90より取得することができる。映像も「音声の送り主」であるSSRCが0002番のBさんに送信する。BさんのIPアドレスと映像受信用ポート番号はロケーションサーバ90より取得することができる。なお、BさんのIPアドレスは、音声パケットの送出元IPアドレスより取得することもできる。ここで自分の音声データをミキシングし、Bさんに送信することになり、音声パケットのCSRCは0002番、0001番の順となる。
【0127】
Aさんに対して音声を送ることで状態が「参加中」となっていたBさんは、AさんよりCSRCが0002番、0001番の順になっている音声パケットを受信し、自分の音声が戻ってきたことを検知した時点で状態を「会議中」とする。この後、Bさんは戻ってきた自分の音声成分を排除し、新たにキャプチャした音声をミキシングした上でAさんに送信する。音声パケットのCSRCは0001番、0002番の順となる。また、状態が「会議中」で音声を受信している場合は、図4のケース06に該当し、「音声の送り主」に映像を送信することになるため、Bさんは自分の映像データをミキシングし、Aさんに送信することになる。AさんのIPアドレスは音声パケットの送出元IPアドレスより、映像受信用ポート番号はロケーションサーバ90より取得することができる。ここで、戻ってきた自分の音声成分を排除する技術してエコーキャンセル技術が知られており、本実施例ではこの技術を利用して自分の音声成分を排除する。
【0128】
Bさんが自分の音声をミキシング後にAさんに音声パケットを送信し始めると、Aさんも自分の音声が戻ってきたことを検知し、状態を「会議中」とする。この後、Aさんも戻ってきた自分の音声成分を排除し、新たにキャプチャした音声をミキシングした上でBさんに送信する。また、状態が「会議中」で音声を受信している場合は、図4のケース06に該当し、「音声の送り主」に映像を送信することになるため、Aさんも自分の映像データをミキシングし、Bさんに送信することになる。この後、Aさん、Bさんともに戻ってきた自分の映像データを排除後に自分の映像データをミキシングする必要があるが、例えば同じミキシング位置の映像を上書きすることで古い映像を新しい映像に置き換えることが可能となり、本実施例ではこの方式を利用してミキシングしているものとする。
【0129】
以上により、2名での会議(通話)が開始されたことになる。
【0130】
次に図13を参照しながら、Aさん(SSRCが0001番)とBさん(SSRCが0002番)の間の会議にCさん(SSRCが0003番)が参加する際のシーケンスについて説明する。ここで、Cさんは既にロケーションサーバ90に登録済みであるとする。また、細線は音声パケットの流れを、太線は映像パケットの流れを示している。
【0131】
CさんがBさんと通話を開始したい場合、まず、Cさんはロケーションサーバ90に問い合わせを行い、BさんのIPアドレスと音声受信用ポート番号を取得する。次にCさんは取得したBさんのIPアドレスと音声受信用ポート番号に対して、音声パケットを送信する。ここでCさんの状態は「参加中」となる。また、音声パケットのCSRCは0003番となる。
【0132】
Cさんからの音声を受信したBさんは、状態が「会議中」であり、2本目の音声データを受信することになるため、図4のケース04に該当し、音声は「前の送り先」、つまり、Aさんに送信する。ただし、今までBさんは、戻ってきた自分の音声成分を排除し、新たにキャプチャした音声をミキシングした上でAさんに送信していたが、ここでは、戻ってきた自分の音声成分を排除し、Cさんより受信している音声と新たにキャプチャした音声とをミキシングした上でAさんに送信する。音声パケットのCSRCは今まで0001番、0002番の順であったが、これを、0001番、0003番、0002番の順とする。つまり、まず、Cさんより受信している音声をミキシングし、最後に新たにキャプチャした音声をミキシングしたことをCSRCにて表現することになる。一方、2本目の音声データを受信している場合、「自分の音声が含まれていない音声の送り主」に映像パケットを送信することになるため、今まで自分の映像データをミキシングし、Aさんに送信していたが、ここでは、自分の映像データをミキシングし、Cさんに送信する。CさんのIPアドレスは音声パケットの送出元IPアドレスより、映像受信用ポート番号はロケーションサーバ90より取得することができる。
【0133】
今までBさんより映像パケットを受信していたAさんだが、Bさんからの映像パケットが到着しなくなるため、図4のケース05に該当し、音声は「接続情報から取得した次の音声送信先」、つまり、CSRCの先頭より取得したSSRCが0003番であるCさんに音声を送信する。CさんのIPアドレスと音声受信用ポート番号はロケーションサーバより取得することができる。ここで自分の音声データをミキシングし、Cさんに送信することになり、音声パケットのCSRCは0003番、0002番、0001番の順となる。
【0134】
Bさんに対して音声を送ることで状態が「参加中」となっていたCさんは、AさんよりCSRCが0003番、0002番、0001番の順になっている音声パケットを受信し、自分の音声が戻ってきたことを検知した時点で状態を「会議中」とする。この後、Cさんは戻ってきた自分の音声成分を排除し、新たにキャプチャした音声をミキシングした上でBさんに送信する。音声パケットのCSRCは0002番、0001番、0003番の順となる。また、状態が「会議中」で音声を受信している場合は、図4のケース06に該当し、「音声の送り主」に映像を送信することになるため、Cさんは自分の映像データをミキシングし、Aさんに送信することになる。AさんのIPアドレスは音声パケットの送出元IPアドレスより、映像受信用ポート番号はロケーションサーバ90より取得することができる。
【0135】
以上により、3名での会議が開始されたことになる。
【0136】
次に図14を参照しながら、Aさん(SSRCが0001番)とBさん(SSRCが0002番)とCさん(SSRCが0003番)の間の会議にDさん(SSRCが0004番)が参加する際のシーケンスについて説明する。ここで、Dさんは既にロケーションサーバ90に登録済みであるとする。また、細線は音声パケットの流れを、太線は映像パケットの流れを示している。
【0137】
DさんがCさんと通話を開始したい場合、まず、Dさんはロケーションサーバ90に問い合わせを行い、CさんのIPアドレスと音声受信用ポート番号を取得する。次にDさんは取得したCさんのIPアドレスと音声受信用ポート番号に対して、音声パケットを送信する。ここでDさんの状態は「参加中」となる。また、音声パケットのCSRCは0004番となる。
【0138】
Dさんからの音声を受信したCさんは、状態が「会議中」であり、2本目の音声データを受信することになるため、図4のケース04に該当し、音声は「前の送り先」、つまり、Bさんに送信する。ただし、今までCさんは、戻ってきた自分の音声成分を排除し、新たにキャプチャした音声をミキシングした上でBさんに送信していたが、ここでは、戻ってきた自分の音声成分を排除し、Dさんより受信している音声と新たにキャプチャした音声をミキシングした上でBさんに送信する。音声パケットのCSRCは今まで0002番、0001番、0003番の順であったが、これを、0002番、0001番、0004番、0003番の順とする。つまり、まず、Dさんより受信している音声をミキシングし、最後に新たにキャプチャした音声をミキシングしたことをCSRCにて表現することになる。一方、2本目の音声データを受信している場合、「自分の音声が含まれていない音声の送り主」に映像パケットを送信することになるため、今まで自分の映像データをミキシングし、Aさんに送信していたが、ここでは、自分の映像データをミキシングし、Dさんに送信する。DさんのIPアドレスは音声パケットの送出元IPアドレスより、映像受信用ポート番号はロケーションサーバ90より取得することができる。
【0139】
今までCさんより映像パケットを受信していたAさんだが、Cさんからの映像パケットが到着しなくなるため、図4のケース05に該当し、音声は「接続情報から取得した次の音声送信先」、つまり、CSRCの先頭より取得したSSRCが0004番であるDさんに音声を送信する。DさんのIPアドレスと音声受信用ポート番号はロケーションサーバ90より取得することができる。ここで自分の音声データをミキシングし、Dさんに送信することになり、音声パケットのCSRCは0004番、0003番、0002番、0001番の順となる。
【0140】
Cさんに対して音声を送ることで状態が「参加中」となっていたDさんは、AさんよりCSRCが0004番、0003番、0002番、0001番の順になっている音声パケットを受信し、自分の音声が戻ってきたことを検知した時点で状態を「会議中」とする。この後、Dさんは戻ってきた自分の音声成分を排除し、新たにキャプチャした音声をミキシングした上でCさんに送信する。音声パケットのCSRCは0003番、0002番、0001番、0004番の順となる。また、状態が「会議中」で音声を受信している場合は、図4のケース06に該当し、「音声の送り主」に映像を送信することになるため、Dさんは自分の映像データをミキシングし、Aさんに送信することになる。AさんのIPアドレスは音声パケットの送出元IPアドレスより、映像受信用ポート番号はロケーションサーバ90より取得することができる。
【0141】
以上により、4名での会議が開始されたことになる。
【0142】
同様の手順により、N名での会議からN+1名での会議が可能となる。
【0143】
次に図15を参照しながら、Aさん(SSRCが0001番)とBさん(SSRCが0002番)とCさん(SSRCが0003番)とDさん(SSRCが0004番)の間の会議からDさん(SSRCが0004番)が離脱する際のシーケンスについて説明する。細線は音声パケットの流れを、太線は映像パケットの流れを示している。
【0144】
Dさんが会議から退出したい場合、Dさんは音声パケット、映像パケットの送信を停止し、状態を「待機中」とすればよい。
【0145】
今までDさんより音声パケットを受信していたCさんだが、Dさんからの音声パケットが到着しなくなるため、図4のケース02に該当し、映像パケットの送信を停止する。音声は「前の送り先」、つまり、Bさんに送信する。ただし、今までCさんは、戻ってきた自分の音声成分を排除し、新たにキャプチャした音声をミキシングした上でBさんに送信していたが、ここでは、音声パケットを受信していないため、新たにキャプチャした音声のみをBさんに送信する。音声パケットのCSRCは今まで0002番、0001番、0004番、0003番の順であったが、0003番となる。
【0146】
Bさんは今まで通りCさんより音声パケットを受信しているが、音声パケットのCSRCが0002番、0001番、0004番、0003番の順から0003番のみに変更となっている。一方、今まで通りAさんより映像パケットを受信しているため、図4のケース06に該当し、音声も「前の送り先」、つまり、Aさんに送信する。ただし、今までBさんは、戻ってきた自分の音声成分を排除し、新たにキャプチャした音声をミキシングした上でAさんに送信していたが、ここでは、自分の音声が戻ってきていないため、新たにキャプチャした音声をミキシングした上でAさんに送信する。音声パケットのCSRCは今まで0001番、0004番、0003番、0002番の順であったが、これを、0003番、0002番の順とする。
【0147】
Aさんは今まで通りBさんより音声パケットを受信しているが、音声パケットのCSRCが0001番、0004番、0003番、0002番の順から0003番、0002番の順に変更となっている。一方、今までDさんより映像パケットを受信していたAさんだが、Dさんからの映像パケットが到着しなくなるため、図4のケース05に該当し、音声は「接続情報から取得した次の音声送信先」、つまり、CSRCの先頭より取得したSSRCが0003番であるCさんに音声を送信する。CさんのIPアドレスと音声受信用ポート番号はロケーションサーバ90より取得することができる。ここで自分の音声データをミキシングし、Cさんに送信することになり、音声パケットのCSRCは0003番、0002番、0001番の順となる。
【0148】
Dさんからの音声パケットが到着しなくなっていたCさんは、AさんよりCSRCが0003番、0002番、0001番の順になっている音声パケットを受信する。この後、Cさんは戻ってきた自分の音声成分を排除し、新たにキャプチャした音声をミキシングした上でBさんに送信する。音声パケットのCSRCは0002番、0001番、0003番の順となる。また、図4のケース06に該当し、「音声の送り主」に映像を送信することになるため、Cさんは自分の映像データをミキシングし、Aさんに送信することになる。AさんのIPアドレスは音声パケットの送出元IPアドレスより、映像受信用ポート番号はロケーションサーバ90より取得することができる。
【0149】
以上により、3名での会議として継続されたことになる。
【0150】
次に図16を参照しながら、Aさん(SSRCが0001番)とBさん(SSRCが0002番)とCさん(SSRCが0003番)の間の会議からCさん(SSRCが0003番)が退出する際のシーケンスについて説明する。細線は音声パケットの流れを、太線は映像パケットの流れを示している。
【0151】
Cさんが会議から退出したい場合、Cさんは音声パケット、映像パケットの送信を停止し、状態を「待機中」とすればよい。
【0152】
今までCさんより音声パケットを受信していたBさんだが、Cさんからの音声パケットが到着しなくなるため、図4のケース02に該当し、映像パケットの送信を停止する。音声は「前の送り先」、つまり、Aさんに送信する。ただし、今までBさんは、戻ってきた自分の音声成分を排除し、新たにキャプチャした音声をミキシングした上でAさんに送信していたが、ここでは、音声パケットを受信していないため、新たにキャプチャした音声のみをAさんに送信する。音声パケットのCSRCは今まで0001番、0003番、0002番の順であったが、0002番となる。
【0153】
Aさんは今まで通りBさんより音声パケットを受信しているが、音声パケットのCSRCが0001番、0003番、0002番の順から0002番のみに変更となっている。一方、今までCさんより映像パケットを受信していたAさんだが、Cさんからの映像パケットが到着しなくなるため、図4のケース05に該当し、音声は「接続情報から取得した次の音声送信先」、つまり、CSRCの先頭より取得したSSRCが0002番であるBさんに音声を送信する。BさんのIPアドレスと音声受信用ポート番号はロケーションサーバより取得することができる。ここで自分の音声データをミキシングし、Bさんに送信することになり、音声パケットのCSRCは0002番、0001番の順となる。
【0154】
Cさんからの音声パケットが到着しなくなっていたBさんは、AさんよりCSRCが0002番、0001番の順になっている音声パケットを受信する。この後、Bさんは戻ってきた自分の音声成分を排除し、新たにキャプチャした音声をミキシングした上でAさんに送信する。音声パケットのCSRCは0001番、0002番の順となる。また、図4のケース06に該当し、「音声の送り主」に映像を送信することになるため、Bさんは自分の映像データをミキシングし、Aさんに送信することになる。AさんのIPアドレスは音声パケットの送出元IPアドレスより、映像受信用ポート番号はロケーションサーバ90より取得することができる。
【0155】
以上により、2名での会議(通話)として継続されたことになる。
【0156】
同様の手順により、N名での会議からN−1名での会議継続が可能となる。
【0157】
次に図17を参照しながら、Aさん(SSRCが0001番)とBさん(SSRCが0002番)の間の会議を終了する際のシーケンスについて説明する。細線は音声パケットの流れを、太線は映像パケットの流れを示している。
【0158】
Bさんが通話を終了したい場合、Bさんは音声パケット、映像パケットの送信を停止し、状態を「待機中」とすればよい。
【0159】
今までBさんより音声パケットを受信していたAさんだが、Bさんからの音声パケット、映像パケットが到着しなくなるため、図4のケース03に該当し、音声パケット、映像パケットの送信を停止し、状態を「待機中」とする。
【0160】
以上により、2名での会議(通話)が終了したことになる。
【産業上の利用可能性】
【0161】
本発明によれば、MCUを利用しない多地点会議システムをIPネットワーク上で情報処理装置を利用して実現するといった用途に適用できる。
【図面の簡単な説明】
【0162】
【図1】本発明を実施するための最良の形態の構成図である。
【図2】本発明を実施するための最良の形態においてロケーションサーバが保持する位置情報記憶部901の内容例を示す図である。
【図3】本発明を実施するための最良の形態における情報処理装置の構成図である。
【図4】本発明を実施するための最良の形態における送信先制御手段124の処理例を示すフローチャートである。
【図5】本発明を実施するための最良の形態における2つの情報処理装置間で音声データ、映像データの送受信が開始されるまでのシーケンス図である。
【図6】本発明を実施するための最良の形態における3つの情報処理装置間で音声データ、映像データの送受信が開始されるまでのシーケンス図である。
【図7】本発明を実施するための最良の形態における4つの情報処理装置間で音声データ、映像データの送受信が開始されるまでのシーケンス図である。
【図8】本発明を実施するための最良の形態における4つの情報処理装置間で音声データ、映像データの送受信が継続されている状態から1つの情報処理装置が離脱するまでのシーケンス図である。
【図9】本発明を実施するための最良の形態における3つの情報処理装置間で音声データ、映像データの送受信が継続されている状態から1つの情報処理装置が離脱するまでのシーケンス図である。
【図10】本発明を実施するための最良の形態における2つの情報処理装置間で音声データ、映像データの送受信が継続されている状態から送受信が停止するまでのシーケンス図である。
【図11】本発明の実施例における4名でサーバレス多地点会議を行っている場合のCSRC情報例である。
【図12】本発明の実施例における2名でサーバレス多地点会議が開始されるまでのシーケンス図である。
【図13】本発明の実施例における3名でサーバレス多地点会議が開始されるまでのシーケンス図である。
【図14】本発明の実施例における4名でサーバレス多地点会議が開始されるまでのシーケンス図である。
【図15】本発明の実施例における4名でサーバレス多地点会議中に1名が離脱するまでのシーケンス図である。
【図16】本発明の実施例における3名でサーバレス多地点会議中に1名が離脱するまでのシーケンス図である。
【図17】本発明の実施例における2名でサーバレス多地点会議中にサーバレス多地点会議を終了するまでのシーケンス図である。
【符号の説明】
【0163】
10,20,30,40,A,B,C,D…情報処理装置
80…ネットワーク
90…ロケーションサーバ
901…位置情報記憶部
101…音声入力手段
102…音声出力手段
103…音声多重化手段
104…音声送信手段
105…音声受信手段
106…接続情報制御手段
111…映像入力手段
112…映像出力手段
113…映像多重化手段
114…映像送信手段
115…映像受信手段
121…送信先入力手段
122…状態管理手段
123…状態記憶部
124…送信先制御手段
125…送信先記憶部
126…位置登録手段
127…位置問合せ手段

【特許請求の範囲】
【請求項1】
コネクションレス通信を行う複数の情報処理装置をリング状に接続し、第1の多重化データと第2の多重化データとを互いに逆方向に巡回させるリング型双方向データ送受信システムであって、
前記第1の多重化データには、該第1の多重化データがどの情報処理装置において発生した第1のデータを、どのような順序で多重化したのかを示す接続情報が付加され、且つ、
前記複数の情報処理装置が、それぞれ、
受信した第1の多重化データに付加されている接続情報と、第2の多重化データの受信状況とに基づいて、第1の多重化データの送信先および第2の多重化データの送信先を決定する送信先制御手段と、
受信した第1の多重化データの、自情報処理装置で発生した第1のデータを含まない部分と、自情報処理装置において新たに発生した第1のデータとを多重化する多重化手段と、
該多重化手段で生成された第1の多重化データに付加する接続情報を生成する接続情報制御手段とを備えたことを特徴とするリング型双方向データ送受信システム。
【請求項2】
請求項1記載のリング型双方向データ送受信システムにおいて、
前記送信先制御手段は、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データの送信元が異なる場合は、第1の多重化データの送信先を、前回の第1の多重化データの送信時と同じにし、第2の多重化データの送信先を、今回受信した第1の多重化データの送信元とすることを特徴とするリング型双方向データ送受信システム。
【請求項3】
請求項2記載のリング型双方向データ送受信システムにおいて、
前記送信先制御手段は、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データの送信元が同じで、且つ、第2の多重化データを受信できない場合は、第1の多重化データの送信先を、前記今回受信した第1の多重化データに付加されている接続情報によって示される情報処理装置であって、自情報処理装置を除いた情報処理装置の内の、最も多重化の順番が古い情報処理装置とし、第2の多重化データの送信先を、第1の多重化データの送信元とすることを特徴とするリング型双方向データ送受信システム。
【請求項4】
請求項3記載のリング型双方向データ送受信システムにおいて、
前記送信先制御手段は、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データとの送信元が同じで、且つ第2の多重化データを受信できる場合は、第1の多重化データの送信先を、前回の第1の多重化データの送信先と同じにし、第2の多重化データの送信先を第1の多重化データの送信元とすることを特徴とするリング型双方向データ送受信システム。
【請求項5】
請求項4記載のリング型双方向データ送受信システムにおいて、
前記送信先制御手段は、自情報処理装置において第1の多重化データを受信できない場合、第1の多重化データの送信先を前回の第1の多重化データの送信先と同じにし、第2の多重化データの送信先をなしとすることを特徴とするリング型双方向データ送受信システム。
【請求項6】
コネクションレス通信を行う複数の情報処理装置をリング状に接続し、第1の多重化データと第2の多重化データとを互いに逆方向に巡回させるリング型双方向データ送受信システムの構成要素である情報処理装置であって、
前記第1の多重化データには、該第1の多重化データがどの情報処理装置において発生した第1のデータを、どのような順序で多重化したのかを示す接続情報が付加され、且つ、
受信した第1の多重化データに付加されている接続情報と、第2の多重化データの受信状況とに基づいて、第1の多重化データの送信先および第2の多重化データの送信先を決定する送信先制御手段と、
受信した第1の多重化データの、自情報処理装置で発生した第1のデータを含まない部分と、自情報処理装置において新たに発生した第1のデータとを多重化する多重化手段と、
該多重化手段で生成された第1の多重化データに付加する接続情報を生成する接続情報制御手段とを備えたことを特徴とする情報処理装置。
【請求項7】
請求項6記載の情報処理装置において、
前記送信先制御手段は、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データの送信元が異なる場合は、第1の多重化データの送信先を、前回の第1の多重化データの送信時と同じにし、第2の多重化データの送信先を、今回受信した第1の多重化データの送信元とすることを特徴とする情報処理装置。
【請求項8】
請求項7記載の情報処理装置において、
前記送信先制御手段は、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データの送信元が同じで、且つ、第2の多重化データを受信できない場合は、第1の多重化データの送信先を、前記今回受信した第1の多重化データに付加されている接続情報によって示される情報処理装置であって、自情報処理装置を除いた情報処理装置の内の、最も多重化の順番が古い情報処理装置とし、第2の多重化データの送信先を、第1の多重化データの送信元とすることを特徴とする情報処理装置。
【請求項9】
請求項8記載の情報処理装置において、
前記送信先制御手段は、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データとの送信元が同じで、且つ第2の多重化データを受信できる場合は、第1の多重化データの送信先を、前回の第1の多重化データの送信先と同じにし、第2の多重化データの送信先を第1の多重化データの送信元とすることを特徴とする情報処理装置。
【請求項10】
請求項9記載の情報処理装置において、
前記送信先制御手段は、自情報処理装置において第1の多重化データを受信できない場合、第1の多重化データの送信先を前回の第1の多重化データの送信先と同じにし、第2の多重化データの送信先をなしとすることを特徴とする情報処理装置。
【請求項11】
コネクションレス通信を行う複数の情報処理装置をリング状に接続し、第1の多重化データと第2の多重化データとを互いに逆方向に巡回させるリング型双方向データ送受信方法であって、
前記第1の多重化データには、該第1の多重化データがどの情報処理装置において発生した第1のデータを、どのような順序で多重化したのかを示す接続情報が付加され、且つ、
前記複数の情報処理装置が、それぞれ、
受信した第1の多重化データに付加されている接続情報と、第2の多重化データの受信状況とに基づいて、第1の多重化データの送信先および第2の多重化データの送信先を決定する送信先制御ステップと、
受信した第1の多重化データの、自情報処理装置で発生した第1のデータを含まない部分と、自情報処理装置において新たに発生した第1のデータとを多重化するステップと、
該多重化ステップで生成された第1の多重化データに付加する接続情報を生成する接続情報制御ステップとを含むことを特徴とするリング型双方向データ送受信方法。
【請求項12】
請求項11記載のリング型双方向データ送受信方法において、
前記送信先制御ステップでは、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データの送信元が異なる場合は、第1の多重化データの送信先を、前回の第1の多重化データの送信時と同じにし、第2の多重化データの送信先を、今回受信した第1の多重化データの送信元とすることを特徴とするリング型双方向データ送受信方法。
【請求項13】
請求項12記載のリング型双方向データ送受信方法において、
前記送信先制御ステップでは、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データの送信元が同じで、且つ、第2の多重化データを受信できない場合は、第1の多重化データの送信先を、前記今回受信した第1の多重化データに付加されている接続情報によって示される情報処理装置であって、自情報処理装置を除いた情報処理装置の内の、最も多重化の順番が古い情報処理装置とし、第2の多重化データの送信先を、第1の多重化データの送信元とすることを特徴とするリング型双方向データ送受信方法。
【請求項14】
請求項13記載のリング型双方向データ送受信方法において、
前記送信先制御ステップでは、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データとの送信元が同じで、且つ第2の多重化データを受信できる場合は、第1の多重化データの送信先を、前回の第1の多重化データの送信先と同じにし、第2の多重化データの送信先を第1の多重化データの送信元とすることを特徴とするリング型双方向データ送受信方法。
【請求項15】
請求項14記載のリング型双方向データ送受信方法において、
前記送信先制御ステップでは、自情報処理装置において第1の多重化データを受信できない場合、第1の多重化データの送信先を前回の第1の多重化データの送信先と同じにし、第2の多重化データの送信先をなしとすることを特徴とするリング型双方向データ送受信方法。
【請求項16】
コネクションレス通信を行う複数の情報処理装置をリング状に接続し、第1の多重化データと第2の多重化データとを互いに逆方向に巡回させるリング型双方向データ送受信システムの構成要素である情報処理装置をコンピュータによって実現するためのプログラムであって、
前記第1の多重化データには、該第1の多重化データがどの情報処理装置において発生した第1のデータを、どのような順序で多重化したのかを示す接続情報が付加され、且つ、
前記コンピュータを、
受信した第1の多重化データに付加されている接続情報と、第2の多重化データの受信状況とに基づいて、第1の多重化データの送信先および第2の多重化データの送信先を決定する送信先制御手段、
受信した第1の多重化データの、自情報処理装置で発生した第1のデータを含まない部分と、自情報処理装置において新たに発生した第1のデータとを多重化する多重化手段、
該多重化手段で生成された第1の多重化データに付加する接続情報を生成する接続情報制御手段として機能させるためのプログラム。
【請求項17】
請求項16記載のプログラムにおいて、
前記送信先制御手段は、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データの送信元が異なる場合は、第1の多重化データの送信先を、前回の第1の多重化データの送信時と同じにし、第2の多重化データの送信先を、今回受信した第1の多重化データの送信元とすることを特徴とするプログラム。
【請求項18】
請求項17記載のプログラムにおいて、
前記送信先制御手段は、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データの送信元が同じで、且つ、第2の多重化データを受信できない場合は、第1の多重化データの送信先を、前記今回受信した第1の多重化データに付加されている接続情報によって示される情報処理装置であって、自情報処理装置を除いた情報処理装置の内の、最も多重化の順番が古い情報処理装置とし、第2の多重化データの送信先を、第1の多重化データの送信元とすることを特徴とするプログラム。
【請求項19】
請求項18記載のプログラムにおいて、
前記送信先制御手段は、自情報処理装置において今回受信した第1の多重化データと前回受信した第1の多重化データとの送信元が同じで、且つ第2の多重化データを受信できる場合は、第1の多重化データの送信先を、前回の第1の多重化データの送信先と同じにし、第2の多重化データの送信先を第1の多重化データの送信元とすることを特徴とするプログラム。
【請求項20】
請求項19記載のプログラムにおいて、
前記送信先制御手段は、自情報処理装置において第1の多重化データを受信できない場合、第1の多重化データの送信先を前回の第1の多重化データの送信先と同じにし、第2の多重化データの送信先をなしとすることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2009−182789(P2009−182789A)
【公開日】平成21年8月13日(2009.8.13)
【国際特許分類】
【出願番号】特願2008−20740(P2008−20740)
【出願日】平成20年1月31日(2008.1.31)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】