通信端末およびクラスター監視方法
【課題】ストリーム中継経路の品質を確保しつつ、加入端末の追加が速やかに行われるような、クラスター編成を決定することができる通信端末を提供すること。
【解決手段】クラスター監視端末430は、端末中継型のマルチポイント通信によりパケット転送を行うネットワークにおけるクラスターの編成を決定する装置であって、クラスター毎に、受信すべきパケットの損失の少なさを示すクラスター品質を取得するクラスター品質算出部432と、クラスター毎に、加入端末の受け入れ易さを示すクラスター持続可能性を取得するクラスター持続可能性算出部433と、クラスター品質が低いクラスターに対し、クラスターの分割を決定し、クラスター品質が高くかつクラスター持続可能性が低いクラスターに対し、他のクラスターとの統合を決定するクラスター分割/統合分析部434とを有する。
【解決手段】クラスター監視端末430は、端末中継型のマルチポイント通信によりパケット転送を行うネットワークにおけるクラスターの編成を決定する装置であって、クラスター毎に、受信すべきパケットの損失の少なさを示すクラスター品質を取得するクラスター品質算出部432と、クラスター毎に、加入端末の受け入れ易さを示すクラスター持続可能性を取得するクラスター持続可能性算出部433と、クラスター品質が低いクラスターに対し、クラスターの分割を決定し、クラスター品質が高くかつクラスター持続可能性が低いクラスターに対し、他のクラスターとの統合を決定するクラスター分割/統合分析部434とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末中継型のマルチポイント通信によりパケット転送を行うネットワークに対して、クラスター単位でのストリーム中継経路の構築のために、クラスターの分割/統合を決定する通信端末およびクラスター監視方法に関する。
【背景技術】
【0002】
端末中継型のマルチポイント通信によりストリームデータパケットの転送を行うネットワークを、端末ベースでクラスター化することが、広く行われている。
【0003】
ストリーム中継経路の構築を行うランデブー端末等の装置は、ネットワーク中の通信端末を、予め複数のクラスターに分けている。この装置は、セッションへの加入を希望する通信端末(以下「加入端末」という)から加入要求を受信すると、この加入端末の親端末の候補を選択する。そして、この装置は、加入端末と各親端末候補との間の帯域幅および遅延を測定し、測定結果に基づいて最適な親端末を決定し、親端末が含まれるクラスターのストリーム中継経路を再構築する。
【0004】
特に大規模なネットワークの場合は、このようなクラスター単位でのストリーム中継経路の構築を行うことにより、帯域幅および遅延の測定に要する時間を低減することができる。
【0005】
ところが、1つのクラスターに属する通信端末の数が多いと、帯域幅および遅延の測定を効果的に低減することができない。また、1つのクラスターに属する通信端末の数が少ないと、ストリーム中継経路を再構築の自由度が少なくなり、加入端末の受け入れが困難となる。そこで、クラスターに属する通信端末の数に応じて、クラスターを分割/統合する技術が、例えば特許文献1に記載されている。
【0006】
特許文献1記載の技術では、クラスター毎に配置されたスーパーノードが、監視下にあるクラスターに属する通信端末の数を監視する。そして、当該通信端末の数が第1のしきい値を超えると、スーパーノードは、監視下のクラスターの分割を決定する。また、当該通信端末の数が第2のしきい値を下回ると、スーパーノードは、他のクラスターとの統合を決定する。これにより、加入端末の追加を速やかに行うことができる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国特許出願公開第2006/0114846号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1記載の技術には、再構築後のストリーム中継経路の品質が低下し得るという課題がある。なぜなら、加入端末の追加時には、クラスター内の利用可能なリソースを分配してストリーム中継経路が再構築されるため、クラスターのリソースが少ない場合には、ストリーム中継経路の品質の劣化を招くからである。
【0009】
本発明の目的は、ストリーム中継経路の品質を確保しつつ、加入端末の追加が速やかに行われるような、クラスター編成を決定することができる通信端末およびクラスター監視方法を提供することである。
【課題を解決するための手段】
【0010】
本発明の通信端末は、端末中継型のマルチポイント通信によりパケット転送を行うネットワークにおけるクラスター単位でのストリーム中継経路の構築のために、クラスターの編成を決定する通信端末であって、前記クラスター毎に、受信すべきパケットの損失の少なさを示すクラスター品質を取得するクラスター品質算出部と、前記クラスター毎に、加入端末の受け入れ易さを示すクラスター持続可能性を取得するクラスター持続可能性算出部と、前記クラスター品質が低いクラスターに対し、クラスターの分割を決定し、前記クラスター品質が高くかつ前記クラスター持続可能性が低いクラスターに対し、他のクラスターとの統合を決定するクラスター分割/統合分析部とを有する。
【0011】
本発明のクラスター監視方法は、端末中継型のマルチポイント通信によりパケット転送を行うネットワークにおけるクラスター単位でのストリーム中継経路の構築のために、クラスターの編成を決定するクラスター監視方法であって、前記クラスター毎に、受信すべきパケットの損失の少なさを示すクラスター品質と、加入端末の受け入れ易さを示すクラスター持続可能性と、を取得するステップと、前記クラスター品質が低いクラスターに対し、クラスターの分割を決定し、前記クラスター品質が高くかつ前記クラスター持続可能性が低いクラスターに対し、他のクラスターとの統合を決定するステップとを有する。
【発明の効果】
【0012】
本発明によれば、ストリーム中継経路の品質を確保しつつ、加入端末の追加が速やかに行われるような、クラスター編成を決定することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施の形態におけるネットワークシステムの構成の一例を示すシステム構成図
【図2】本実施の形態における初期状態のセッション構成およびクラスター構成の一例を示す図
【図3】本実施の形態に係る通信端末を含む各装置の構成の一例を示すブロック図
【図4】本実施の形態におけるネットワークシステム全体の動作の一例を示すフローチャート
【図5】本実施の形態におけるクラスター分割/統合が決定されるまでの装置間の情報交換の流れの一例を示すシーケンス図
【図6】本実施の形態におけるクラスター分割が決定されたときの装置間の情報交換の流れの一例を示すシーケンス図
【図7】本実施の形態におけるクラスター統合が決定されたときの装置間の情報交換の流れの一例を示すシーケンス図
【図8】本実施の形態におけるしきい値情報の構成の一例を示す図
【図9】本実施の形態におけるネットワークリンク品質情報の構成の一例を示す図
【図10】本実施の形態におけるクラスターメトリクス情報の構成の一例を示す図
【図11】本実施の形態における持続可能性情報の構成の一例を示す図
【図12】本実施の形態におけるクラスター分割要求の構成の一例を示す図
【図13】本実施の形態におけるクラスター分割応答の構成の一例を示す図
【図14】本実施の形態におけるクラスター変更要求の構成の一例を示す図
【図15】本実施の形態におけるクラスター変更応答の構成の一例を示す図
【図16】本実施の形態におけるクラスター情報要求の構成の一例を示す図
【図17】本実施の形態におけるクラスター情報の構成の一例を示す図
【図18】本実施の形態におけるクラスター接続要求の構成の一例を示す図
【図19】本実施の形態におけるクラスター接続応答の構成の一例を示す図
【図20】本実施の形態における更新クラスター情報の構成の一例を示す図
【図21】本実施の形態におけるクラスター統合要求の構成の一例を示す図
【図22】本実施の形態におけるクラスター統合応答の構成の一例を示す図
【図23】本実施の形態におけるクラスター監視端末の動作の一例を示すフローチャート
【図24】本実施の形態におけるクラスター品質決定処理の詳細の一例を示すフローチャート
【図25】本実施の形態における持続可能性決定処理の詳細の一例を示すフローチャート
【図26】本実施の形態における持続可能性決定処理の説明に一例として用いるクラスター間の関係を示す図
【図27】本実施の形態における低品質ネットワーク決定処理の詳細を示すフローチャート
【図28】本実施の形態におけるクラスター分割/統合処理の詳細を示すフローチャート
【図29】本実施の形態におけるクラスター分割/統合処理におけるルールを示す図
【図30】本実施の形態におけるクラスター間パス構築処理の詳細を示すフローチャート
【図31】本実施の形態におけるクラスターの分割を行った状態の一例を示す図
【図32】本実施の形態におけるクラスターの統合を行った状態の一例を示す図
【図33】本実施の形態における加入端末が受け入れられる様子の一例を示す図
【図34】本実施の形態における再構築されたセッション構成の一例を示す図
【発明を実施するための形態】
【0014】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【0015】
まず、本実施の形態の説明に先立って、本実施の形態における主な用語の定義について説明する。
「端末中継型マルチポイント通信」とは、パケットを受信、複製、および転送する機能を有する複数の通信端末が、データパケットを同時に交換するマルチパーティ運用において、ネットワークを介して接続される論理的セッションである。
「クラスター」とは、ネットワークに通信端末を追加する際のストリーム中継経路の再構築の単位としてまとめられた通信端末の一群である。
「クラスター監視端末」とは、本発明にかかる通信端末を含む通信端末であり、クラスターの分割/統合の決定を行う機能を有する通信端末である。
「主制御端末」とは、ネットワークのクラスター構成を調整する機能を有する通信端末である。
「低損失リンク」とは、ストリームの送信元の通信端末から送信されたパケット(以下「受信すべきパケット」という)の損失が、ほぼゼロであるネットワークリンクである。なお、ストリームの送信元の通信端末は、以下「ルート端末」という。
「ネットワークリンク品質」とは、ネットワークリンク毎の、受信すべきパケットの損失の少なさである。
「ローカルクラスター」とは、処理の対象となっているクラスター、または、着目の対象となっているクラスター監視端末に監視されるクラスターである。
「上流クラスター」とは、ルート端末からローカルクラスターのいずれかの通信端末へと至るストリーム中継経路を形成するクラスターである。
「下流クラスター」とは、ルート端末からそのクラスターのいずれかの通信端末へと至るストリーム中継経路の少なくとも一部が、ローカルクラスターによって形成されるクラスターである。
「親クラスター」とは、上流クラスターのうち、ローカルクラスターの通信端末に直接に接続する通信端末を有するクラスターである。
「子クラスター」とは、下流クラスターのうち、ローカルクラスターの通信端末に直接に接続する通信端末を有するクラスターである。
「クラスター持続可能性」とは、クラスター毎の、加入端末の受け入れ易さであり、所定のストリーム転送品質を確保するのに十分なリソースを有し、新たな通信端末の加入を受け入れることができる能力である。クラスター持続可能性は、低損失リンクの数を用いて算出される。
「クラスター持続可能性率」とは、クラスター接続可能性の高さを示す値である。
「クラスター持続可能性しきい値」とは、クラスターの分割/統合の判断に用いられるしきい値であり、クラスターに求められる最低限のクラスター持続可能性を示す値である。
「クラスター品質」とは、クラスター毎の、受信すべきパケットの損失の少なさであり、パケットをほとんど損失させることなくトリームを送信することができる能力である。
「クラスター品質率」とは、クラスター品質の高さを示す値である。クラスター品質率は、リンクのパケット損失率を用いて算出される。
「クラスター品質しきい値」とは、クラスターの分割/統合の判断に用いられるしきい値であり、クラスターに求められる最低限のクラスター品質を示す値である。
「ネットワークリンク損失率」とは、ネットワークリンク毎の、受信すべきパケットの数(以下「送信パケット数」という)に対する、損失したパケットの数(以下「損失パケット数」という)の比率である。
「低品質のネットワークリンク」とは、パケット損失の発生源となっているネットワークリンクである。
「クラスター遅延情報」とは、ルート端末からクラスター最下流のリーフ端末までの最大遅延を示す値である。
「ネットワークリンク遅延情報」とは、任意の通信端末間の最大遅延を示す値である。
「コンタクト情報」とは、ある通信端末が他の通信端末とコンタクトを取るための手段を示す情報であり、例えばIP(internet protocol)アドレスである。
「ネットワークパス」とは、通信端末毎に、その通信端末が上流側のどの通信端末に直接に接続しているかを示す情報であり、例えば、上流側の通信端末(親端末)のIPアドレスである。
【0016】
図1は、本実施の形態に係るクラスター監視端末が制御対象とするネットワークシステムの構成の一例を示すシステム構成図である。
【0017】
図1において、ネットワークシステム100は、インターネット等の同一のネットワーク102に接続された、複数の通信端末(以下、適宜「ノード」という)104〜108、112〜122、126〜136を有する。各通信端末は、端末中継型マルチポイント通信により、他の通信端末との間でAV(audio video)ストリームと制御ストリームとを同時に交換することが可能となっている。
【0018】
ネットワークシステム100は、それぞれ1つまたは複数の通信端末から構成されるクラスター110、124、138を設定している。各クラスターは、通信端末のストリーム転送の論理的セッション(以下単に「セッション」という)への加入、セッションからの離脱や、ネットワーク状態の変化に応じて、動的に作成、変更、または削除される。すなわち、ネットワークシステム100におけるセッション構成およびクラスター構成は、動的に変更される。
【0019】
図2は、本実施の形態における初期状態のセッション構成およびクラスター構成の一例を示す図であり、図1に対応するものである。
【0020】
図2において、ノード間の矢印は、ノード間のネットワークリンクとストリームが流れる方向を示す。ここでは、ノードaが、ルート端末であり、AVストリーム転送セッションを開始するものとする。ノードbおよびノードcは、ノードaからストリームを受信する。これら3つのノードは、第1のクラスター330を形成している。
【0021】
また、ノードdおよびノードeは、ノードcからストリームを受信する。ノードhおよびノードiは、ノードdからストリームを受信する。ノードjおよびノードkは、ノードeからストリームを受信する。これら6つのノードは、第2のクラスター332を形成している。
【0022】
また、ノードf、ノードg、およびノードmは、ノードbからストリームを受信する。ノードlは、ノードfからストリームを受信する。ノードnおよびノードoは、ノードgからストリームを受信する。これら6つのノードは、第3のクラスター334を形成している。
【0023】
このようなクラスター構成により、ノードaから送出されたストリームは、セッション中の他の全てのノードへ配信される。
【0024】
ここで、実線の矢印は、ネットワークリンク品質が高いことを示し、破線の矢印は、ネットワークリンク品質が低いことを示す。ノードaとノードcとの間、ノードaとノードbとの間、ノードcからノードjおよびノードkまでの間、ノードbからノードlまでの間、およびノードbからノードoまでの間は、パケット損失が少ない。すなわち、ネットワークリンク302、304、308、314、316、318、322、324、328は、パケット損失が少ない。そして、ノードcからノードhおよびノードiまでの間、ノードbとノードmとの間、およびノードgとノードnとの間の、各ネットワークリンク306、310、312、320、326は、パケット損失が多い。
【0025】
ネットワークシステム100は、ストリーム転送機能、クラスター監視機能、および主制御機能を含む。ストリーム転送機能は、ストリームを転送する機能である。クラスター監視機能は、クラスターの状態を監視する機能である。主制御機能は、ネットワーク102全体の通信端末間のセッションを開始させ、セッション構成を調整する機能である。これらの機能は、1つまたは複数の通信端末に共存または分散し得る論理エンティティである。
【0026】
例えば、全てのノードa〜ノードoは、ストリーム転送機能を有する。また、これらのうち、ノードa、ノードd、およびノードfは、更にクラスター監視機能を有し、ルート端末であるノードaは、更に主制御機能を有する。すなわち、ネットワークシステム100は、クラスター毎に、クラスター監視機能を有するノードを1つずつ配置している。
【0027】
本実施の形態では、説明の簡便化のため、ストリーム転送機能を有するストリーム転送端末と、クラスター監視機能を有するクラスター監視端末と、主制御機能を有する主制御端末とを想定する。
【0028】
以下、通信端末の構成を、主制御端末、クラスター監視端末、およびストリーム転送端末に分けて説明する。
【0029】
図3は、各装置の構成の一例を示すブロック図である。なお、図中括弧書きの数字は、情報の流れを補足的に説明するためのものである。
【0030】
図3に示すように、ストリーム転送端末410は、ストリーミング管理部411およびAVストリーム通信部412を有する。
【0031】
ストリーミング管理部411は、他のストリーム転送端末(図示せず)との間でセッションを確立するための制御モジュールである。
【0032】
ストリーミング管理部411は、ストリーム転送端末410自身が加入端末である場合には、後述の主制御端末420の端末コーディネータ421に対して、クラスター監視端末430のコンタクト情報を要求する(448)。そして、ストリーミング管理部411は、コンタクト情報が示すクラスター監視端末430に対して加入要求を開始する(456)と共に、そのコンタクト情報をクラスター監視端末接続情報として保持する。
【0033】
また、ストリーミング管理部411は、ストリーム転送端末410が送信したパケットを受信する他のストリーム転送端末からネットワークリンク損失率情報を収集する。この収集は、例えば、損失パケット数およびRTPシーケンス番号(RTP sequence number)を格納したパケットを、下流の各ストリーム転送端末から受信することによって行われる。なお、損失パケット数およびRTPシーケンス番号(RTP sequence number)を格納したパケットとは、RTCP LOSS VIDEO パケットまたはRTCP LOSS AUDIO パケット等である。そして、ストリーミング管理部411は、定期的に、コンタクト情報が示すクラスター監視端末430に対して、ネットワークリンク損失率を含むネットワークリンク品質情報(456:後述の図9参照)を送信する。すなわち、ストリーミング管理部411は、ストリーム転送端末410が属するクラスターのクラスター監視端末に対して、ローカルクラスター内のネットワークリンク品質情報を、定期的に送信する。なお、クラスター監視端末は、以下「ストリーム転送端末410が属するクラスター監視端末」という。
【0034】
AVストリーム通信部412は、セッションを通じて、AVコンテンツのストリームデータパケットを送信、中継、および受信するための、データストリーム転送モジュールである。
【0035】
このようなストリーム転送端末410は、ストリームデータの発信、中継、および受信を行いつつ、ストリーム転送端末410が属するクラスター監視端末430に対してネットワークリンク品質情報を定期的に送信することができる。
【0036】
また、図3に示すように、主制御端末420は、端末コーディネータ421およびしきい値規定部422を有する。
【0037】
端末コーディネータ421は、ストリーム転送端末410が加入端末である場合に、ストリーム転送端末410とクラスター監視端末430との間の通信を容易にするためのランデブーポイントとして機能する。また、端末コーディネータ421は、各クラスター監視端末430に対してクラスター情報の配信を行う(480)。クラスター情報とは、セッション全体または任意のクラスターの通信端末、ネットワークパス、ネットワークリンク遅延情報、およびクラスター遅延情報を示す情報である(後述の図17参照)。
【0038】
しきい値規定部422は、全てのクラスター監視端末430から、クラスター品質率およびクラスター持続可能性率を含む持続可能性情報(後述の図11参照)を、定期的に収集する。そして、しきい値規定部422は、収集した持続可能性情報の内容に応じて、クラスター品質しきい値およびクラスター持続可能性しきい値を調整し、確定する。そして、しきい値規定部422は、調整後のクラスター品質しきい値およびクラスター持続可能性しきい値を含むしきい値情報(後述の図8参照)を、全てのクラスター監視端末430へ送信する(450)。
【0039】
このような主制御端末420は、加入端末のセッションへの追加を行うと共に、ネットワーク102全体の状態に応じて、クラスター品質しきい値およびクラスター持続可能性しきい値を調整することができる。
【0040】
また、図3に示すように、クラスター監視端末430は、クラスター管理部431、クラスター品質算出部432、クラスター持続可能性算出部433、クラスター分割/統合分析部434、およびクラスターメトリクスデータベース(DB)435を有する。
【0041】
クラスター管理部431は、主制御端末420のしきい値規定部422から、しきい値情報(後述の図8参照)を受信し(450)、受信したしきい値情報をクラスター分割/統合分析部434へ渡す(478)。また、クラスター監視端末430が監視するクラスターに属する、全てのストリーム転送端末410のストリーミング管理部411から定期的に送信される、ネットワークリンク品質情報(後述の図9参照)を受信する(456)。クラスター管理部431は、定期的にネットワークリンク品質情報を受信する毎に、受信したネットワークリンク品質情報を、クラスター持続可能性算出部433およびクラスター品質算出部432へそれぞれ出力する(470、472)。また、クラスター管理部431は、同一ストリーム中継経路中に存在する他のクラスター監視端末(図示せず)との間で、クラスターメトリクス情報を交換する。このクラスターメトリクス情報は、クラスター内の状態を他のクラスター監視端末に通知するための情報であり、低損失リンクの数と低品質のネットワークリンクのリストとを含む情報である(後述の図10参照)。そして、クラスター管理部431は、交換されたクラスターメトリクス情報を、クラスター持続可能性算出部433へ出力する(470)。
【0042】
また、クラスター管理部431は、後述のクラスター分割/統合分析部434から、クラスター分割が必要である旨を通知されたとき、分割後の各クラスターにおいてクラスター監視端末となるストリーム転送端末410を選択する。このとき、クラスター管理部431は、ルート端末からの遅延が最も少なく、かつ、低品質リンクを形成しないストリーム転送端末410を、選択する。そして、クラスター管理部431は、クラスター分割のトリガーとなるクラスター分割要求(後述の図12参照)を、選択したストリーム転送端末410へ送信する(456)。
【0043】
クラスター分割要求を受理したストリーム転送端末410は、新たなクラスター監視端末430となる。新たなクラスター監視端末430におけるクラスター管理部431は、監視下にある全てのストリーム転送端末410に関する情報を更新する。そして、クラスター管理部431は、最新のクラスター情報を主制御端末420へ問い合わせる(480)。そして、クラスター管理部431は、新たに監視下となったストリーム転送端末410のそれぞれのネットワークリンク遅延情報を更新する(456)。そして、クラスター管理部431は、クラスター情報およびネットワークリンク遅延情報を受信すると、クラスター間パス構築処理を実行する。クラスター間パス構築処理は、ローカルクラスターの親クラスターを決定し、ローカルクラスター内部のストリーム中継経路を構築する処理である。クラスター間パス構築処理の詳細については後述する。また、このクラスター間パス構築処理は、クラスター分割を要求して受理されたストリーム転送端末410においても実行される。
【0044】
また、クラスター管理部431は、後述のクラスター分割/統合分析部434から、クラスターの統合が必要である旨を通知されたとき、統合相手となるクラスターのクラスター監視端末430を選択する。そして、クラスター管理部431は、選択したクラスター監視端末(図示せず)へ、クラスター統合のトリガーとなるクラスター統合要求(後述の図21参照)を送信する。また、クラスター管理部431は、統合後のクラスターにおいてクラスター監視端末となる通信端末を選択する。以下、クラスター統合要求を送信した側は「統合側」といい、クラスター統合要求を受理した側は「被統合側」という。
【0045】
統合側のクラスター監視端末430および被統合側のクラスター監視端末430におけるクラスター管理部431は、監視下にある全てのストリーム転送端末410に関する情報を更新する。統合側のクラスター管理部431は、最新のクラスター情報を主制御端末420に問い合わせる(480)。そして、統合側のクラスター管理部431は、監視下にあるストリーム転送端末410のそれぞれのネットワークリンク遅延情報を更新する(456)。そして、統合側のクラスター監視端末430は、クラスター情報およびネットワークリンク遅延情報を受信すると、クラスター間パス構築処理を実行する。
【0046】
そして、クラスター管理部431は、新たなクラスターのクラスター監視端末430のコンタクト情報を含む、更新クラスター情報を、監視下にある全てのストリーム転送端末410へ送信する(456)。更新クラスター情報(後述の図20参照)とは、例えば、ローカルクラスターの通信端末、ネットワークパス、ネットワークリンク遅延情報、クラスター遅延情報、およびローカルクラスターのクラスター分割/統合の状態等を示す情報である。但し、新たなクラスターから監視下のストリーム転送端末410へと送信される更新クラスター情報には、送信元のIPアドレス、新たなクラスターにおける通信端末の総数n、および各通信端末のIPアドレスのみが記述されるものとする。これは、後述のクラスター変更要求(後述の図14参照)と同じ内容である。また、クラスター管理部431は、更新クラスター情報を、主制御端末420の端末コーディネータ421にも送信する(480)。
【0047】
クラスター持続可能性算出部433は、ネットワークリンク品質情報および上下流クラスターの低損失リンクの数に基づいて、クラスター持続可能性率を算出し、クラスター分割/統合分析部434へ出力する(474)。
【0048】
クラスター品質算出部432は、ネットワークリンク品質情報に基づいて、クラスター品質率を算出し、クラスター分割/統合分析部434へ出力する(476)。
【0049】
クラスター分割/統合分析部434は、しきい値情報と、クラスター持続可能性率およびクラスター品質率とに基づいて、クラスター監視端末430に属するクラスターの分割または統合が必要であるか否かを決定する。より具体的には、クラスター分割/統合分析部434は、ローカルクラスターのクラスター品質が低い場合には、クラスター分割を決定する。また、クラスター分割/統合分析部434は、ローカルクラスターについて、クラスター品質が高く、かつ、クラスター持続可能性が低い場合には、親クラスターとのクラスター統合を決定する。そして、クラスター分割/統合分析部434は、決定結果を、クラスター管理部431へ出力する(478)。
【0050】
クラスターメトリクスデータベース435は、低品質のネットワークリンクのリストを含む、全てのデータベース情報を格納する。データベース情報は、しきい値情報、ネットワークリンク品質情報、クラスターメトリクス情報、クラスター統合要求、クラスター変更要求、および持続可能性情報を含む。
【0051】
このようなクラスター監視端末430は、ローカルクラスターに対して、受信すべきパケットの損失が多い場合には、分割を決定することができる。また、クラスター監視端末430は、ローカルクラスターに対して、加入端末の受け入れが困難である場合には、親クラスターとの統合を決定することができる。すなわち、クラスター監視端末430は、ストリーム中継経路の品質を確保しつつ、加入端末の追加が速やかに行われるような、クラスター編成を決定することができる。また、クラスター監視端末430は、ローカルクラスターと他のクラスターとの間のストリーム中継経路と、ローカルクラスター内部のストリーム中継経路とを構築することができる。
【0052】
なお、主制御端末420、ストリーム転送端末410、およびクラスター監視端末430は、図示しないが、例えば、CPU(central processing unit)、制御プログラムを格納したROM(read only memory)等の記憶媒体、RAM(random access memory)等の作業用メモリ、および通信回路等をそれぞれ有する。この場合、上記した各装置の各部の機能は、CPUが制御プログラムを実行することにより実現される。
【0053】
次に、ネットワークシステム100の動作について説明する。最初に、システム全体の動作について説明する。
【0054】
図4は、ネットワークシステム100全体の動作の一例を示すフローチャートである。
【0055】
まず、ルート端末(図2のノードa)は、セッションを開始し、指定された品質のストリームにより、AVストリームの配信を開始する(S1010)。ストリーム転送の継続中、各ストリーム転送端末410は、自己に接続する各ネットワークリンクの品質を監視し、監視結果を、ネットワークリンク品質情報(後述の図9参照)に含めて、定期的にクラスター監視端末430へ報告する。
【0056】
そして、ストリーム転送の継続中に、クラスター監視端末430は、ローカルクラスターの各ストリーム転送端末410から報告されたネットワークリンク品質情報に基づいて、クラスター品質を算出する(S1020)。そして、ストリーム転送の継続中に、クラスター監視端末430は、ローカルクラスターの各ストリーム転送端末410から報告されたネットワークリンク品質情報に基づいて、クラスター持続可能性を算出する(S1030)。
【0057】
また、クラスター監視端末430は、他のクラスター監視端末から受信したクラスターメトリクス情報と、ツリーベースのストリーム中継経路とに基づいて、低品質のネットワークリンクを特定する(S1040)。ネットワークリンクは、ネットワークリンク損失率がほぼゼロである場合には、高品質に分類され、逆に、ネットワークリンク損失率が比較的高い場合には、低品質に分類される。例えば、クラスター監視端末430は、ネットワークリンク損失率が予め定めた閾値以上となるネットワークリンクを、低品質のネットワークリンクに分類するようにしても良い。あるいは、クラスター監視端末430は、1つ上流側のネットワークリンクとの間で、ネットワークリンク損失率の差もしくは比率が閾値以上となっているネットワークリンクを、低品質のネットワークリンクに分類するようにしても良い。
【0058】
そして、クラスター監視端末430は、算出されたクラスター品質率およびクラスター持続可能性率に基づいて、クラスター分割/統合を決定する。そして、クラスター監視端末430は、クラスター分割要求(後述の図12参照)またはクラスター統合要求(後述の図21参照)を、他のクラスター監視端末へ送信することにより、クラスター分割/統合を開始する(S1050)。
【0059】
この結果、ネットワークシステム100は、必要に応じてクラスター分割/統合を行う。すなわち、ネットワークシステム100は、低品質のネットワークリンクを回避し、指定されたストリーム品質に対応する十分な帯域幅をもつ、低遅延ベースのストリーム中継経路(配送木)を再構築する(S1060)。
【0060】
このように、ネットワークシステム100は、AVストリームを配信しながら、クラスター分割/統合の要否を判定し、適宜、クラスターを分割/統合して、低遅延ベースのストリーム中継経路に再構築するようになっている。
【0061】
次に、ネットワークシステム100における情報交換の流れについて説明する。
【0062】
図5は、クラスター分割/統合が決定されるまでの装置間の情報交換の流れの一例を示すシーケンス図である。ここでは、説明の簡便化のため、1つの主制御端末420、2つのクラスター監視端末430、および1つのストリーム転送端末410のみを図示する。
【0063】
ストリーム転送端末410は、セッションに加入しようとする際に、主制御端末420に対してコンタクト情報の要求を送信する(S502)。この結果、第1のクラスター監視端末430−1を含む1つまたは複数のクラスター監視端末430のコンタクト情報が、返信される(S504)。ストリーム転送端末410は、受信したコンタクト情報に従って、第1のクラスター監視端末430−1を含む1つまたは複数のクラスター監視端末430に対して、加入要求を送信する(S506)。ここでは、ストリーム転送端末410は、第1のクラスター監視端末430−1の監視下となることが決定されたものとする。
【0064】
主制御端末420は、各クラスター監視端末430に対して、しきい値情報(後述の図8参照)を送信する(S508、S510)。なお、主制御端末420は、セッション中にも、ネットワーク状態や各通信端末の能力の変化等に応じて調整したしきい値情報を再送し得る。
【0065】
一方、各ストリーム転送端末410は、ストリーム転送中に、ネットワークリンク品質情報(後述の図9参照)を、そのストリーム転送端末410が属するクラスター監視端末430へ報告する(S512、S514)。
【0066】
また、各クラスター監視端末430は、受信したネットワークリンク品質情報を処理し、上流クラスターおよび下流クラスターの全てのクラスター監視端末との間で、クラスターメトリクス情報(後述の図10参照)を交換する(S516)。すなわち、各クラスター監視端末430は、経路クラスターのクラスター監視端末間で、クラスターメトリクス情報を交換する。
【0067】
その後、各クラスター監視端末430は、クラスター品質率およびクラスター持続可能性率を算出して、持続可能性情報(後述の図11参照)を主制御端末420へ送信する(S518、S520)。
【0068】
以上の動作により、各クラスター監視端末430−1、430−2は、しきい値情報、監視下にある各ストリーム転送端末410のネットワークリンク品質情報、および他のクラスター監視端末430のクラスターメトリクス情報を取得する。そして、各クラスター監視端末430は、これらの情報を分析して、ローカルクラスターの分割/統合を行うか否かを判断する。
【0069】
図6は、クラスター分割が決定されたときの装置間の情報交換の流れの一例を示すシーケンス図である。
【0070】
第1のクラスター監視端末430−1が、ローカルクラスター内のあるストリーム転送端末410を、新たな第3のクラスター監視端末430−3として決定したものとする。この場合、第1のクラスター監視端末430−1は、決定されたストリーム転送端末410に対して、第3のクラスター監視端末430−3に設定するトリガーとなるクラスター分割要求(後述の図12参照)を送信する(S540)。なお、クラスター分割要求が拒絶された場合には、第1のクラスター監視端末430−1は、ローカルクラスター内の他のストリーム転送端末410に対してクラスター分割要求を送信することになる。
【0071】
第3のクラスター監視端末430−3は、要求を受理する場合には、その旨を示すクラスター分割応答(後述の図13参照)を返信する(S542)。そして、第3のクラスター監視端末430−3は、新たなクラスター内の、つまり、監視下にある全てのストリーム転送端末410に対して、遅延測定のトリガーとして、クラスター変更要求(後述の図14参照)を送信する(S544)。
【0072】
クラスター変更要求を受信したストリーム転送端末410は、同一のクラスター内の他の全ての端末との間の遅延時間を測定し、測定結果であるネットワーク遅延情報を含めたクラスター変更応答(後述の図15参照)を返信する(S546)。また、クラスター変更要求を受信したストリーム転送端末410は、以降のネットワークリンク損失率情報が、第3のクラスター監視端末430−3に送信されるように、そのクラスター監視端末接続情報を更新する。
【0073】
分割により形成された2つのクラスターは、それぞれのローカルクラスター内部のストリーミング中継経路を再構築する。クラスター分割の要求元のクラスター監視端末430は、既に、ストリーミング中継経路を再構築するのに必要な全てのクラスター情報を取得している。したがって、新たな第3のクラスター監視端末430−3のみが、主制御端末420に対してクラスター情報を問い合わせて新たに取得する。同時に、新たな第3のクラスター監視端末430−3は、自身を、主制御端末420へ登録する。この問い合わせおよび登録は、主制御端末420に対して、「新規」ステータスのクラスター情報要求(後述の図16参照)を送信することによって行われる(S548)。主制御端末420は、この要求の応答として、セッション内の全てのクラスターについてのクラスター情報(後述の図17参照)を返信する(S550)。
【0074】
新たな第3のクラスター監視端末430−3は、クラスター情報およびクラスター変更応答の受信により、ローカルクラスターのストリーミング中継経路を構築するために必要な全ての情報を取得する。すなわち、新たな第3のクラスター監視端末430−3は、IPアドレス、低品質リンクのネットワークリンクのリスト、更新されたネットワークリンク遅延情報、セッションのネットワーク中継経路、クラスター遅延情報等を取得する。そして、新たな第3のクラスター監視端末430−3は、クラスター間パス構築処理を実行する(S551)。
【0075】
新たな第3のクラスター監視端末430−3は、このクラスター間パス構築処理において、第2のクラスター監視端末430−2を親クラスターの候補としたものとする。この場合、新たな第3のクラスター監視端末430−3は、第2のクラスター監視端末430−2に対して、クラスター間の接続を要求するクラスター接続要求(後述の図18参照)を送信する(S552)。
【0076】
クラスター接続要求を受信した第2のクラスター監視端末430−2は、クラスター接続応答(後述の図19参照)を返信することにより、要求された接続関係毎に応答する(S554)。第1のクラスター監視端末430−1は、新たな第3のクラスター監視端末430−3と同様にクラスター間パス構築処理を行う(S555)。次に、第1のクラスター監視端末430−1は、「新規」ステータスの更新クラスター情報(後述の図20参照)とネットワーク中継経路情報とを、主制御端末420へフィードバックする(S556)。ネットワーク中継経路情報とは、更新クラスター情報に含まれる各通信端末のネットワークパスである。更新クラスター情報を受けて、主制御端末420は、各クラスター監視端末430に対してそのクラスターに関する部分的なクラスター情報を送信する(S558)。これにより、各クラスター監視端末430が保持するクラスター情報は更新される。
【0077】
このような動作により、クラスター分割の決定に従って、1つのクラスターが複数のクラスターに分割される。
【0078】
図7は、クラスター統合が決定されたときの装置間の情報交換の流れの一例を示すシーケンス図である。
【0079】
第1のクラスター監視端末430−1は、統合先として、図5に示す第2のクラスター監視端末430−2を選択したとする。この場合、第1のクラスター監視端末430−1は、選択した第2のクラスター監視端末430−2に対して、クラスター統合を要求するクラスター統合要求(後述の図21参照)を送信する(S570)。第2のクラスター監視端末430−2においてもクラスター統合が決定されていた場合には、このクラスター統合要求は受理され、「受理」ステータスのクラスター統合応答(後述の図22参照)が返信される(S572)。このクラスター統合応答には、第2のクラスター監視端末430−2のクラスターのネットワークリンク遅延情報および低品質のネットワークリンクのリストが、含まれる。なお、クラスター統合要求が拒絶された場合には、第1のクラスター監視端末430−1は、次の他のクラスター監視端末を選択してクラスター統合要求を送信することになる。
【0080】
クラスター統合要求が受理されると、第1のクラスター監視端末430−1は、ローカルクラスター内の全てのストリーム転送端末410に対して、遅延測定のトリガーとなるクラスター変更要求(後述の図14参照)を送信する(S574)。
【0081】
クラスター変更要求を受信したストリーム転送端末410は、同一のクラスター内の他の全ての端末との間の遅延時間を測定し、測定結果であるネットワーク遅延情報を含むクラスター変更応答(後述の図15参照)を返信する(S575)。また、クラスター変更要求を受信したストリーム転送端末410は、以降のネットワークリンク損失率情報が、第1のクラスター監視端末430−1に送信されるように、そのクラスター監視端末接続情報を更新する。
【0082】
第1のクラスター監視端末430−1は、主制御端末420に対して、「継続」ステータスのクラスター情報要求(後述の図16参照)を送信することにより、ローカルクラスターに関する部分的なクラスター情報を要求する(S578)。主制御端末420は、要求された部分的なクラスター情報(後述の図17参照)を返信する(S580)。
【0083】
第1のクラスター監視端末430−1は、クラスター情報およびクラスター変更応答の受信により、ローカルクラスターのストリーミング中継経路を構築するために必要な全ての情報を取得する。すなわち、第1のクラスター監視端末430−1は、IPアドレス、低品質リンクのネットワークリンクのリスト、更新されたネットワークリンク遅延情報、セッションのネットワーク中継経路、クラスター遅延情報等を取得する。そして、第1のクラスター監視端末430−1は、クラスター間パス構築処理を実行する(S581)。
【0084】
第1のクラスター監視端末430−1は、このクラスター間パス構築処理において、第3のクラスター監視端末430−3を親クラスターの候補としたものとする。この場合、第1のクラスター監視端末430−1は、第3のクラスター監視端末430−3に対してクラスター接続要求(後述の図18参照)を送信する(S582)。
【0085】
クラスター接続要求を受信した第2のクラスター監視端末430−2は、クラスター接続応答(後述の図19参照)を返信することにより、要求された接続関係毎に応答する(S584)。クラスター間パス構築処理が完了すると、第1のクラスター監視端末430−1は、「統合」ステータスの更新クラスター情報(後述の図20参照)およびネットワーク中継経路情報を、主制御端末420へフィードバックする(S586)。また、被統合側である第2のクラスター監視端末430−2としての機能を解除するために、第1のクラスター監視端末430−1は、例えば、2つの更新クラスター情報(後述の図20参照)を主制御端末420へ送信する(S586)。例えば、1つ目の更新クラスター情報は、新たなクラスターの情報についての情報であり、2つ目の更新クラスター情報は、解除されるクラスターについての情報である。
【0086】
そして、更新クラスター情報を受けて、主制御端末420は、その更新クラスター情報の送信元の接続先であるクラスター監視端末430(ここでは第3のクラスター監視端末430−3)に対して、そのローカルクラスター(ここでは第3のクラスター監視端末430−3のローカルクラスター)に関する部分的な(後述の図17参照)を送信する(S588)。そのクラスター監視端末430が保持するクラスター情報は、更新される。
【0087】
このような動作により、クラスター統合の決定に従って、複数のクラスターが1つのクラスターに統合される。
【0088】
このように、ネットワークシステム100は、装置間で、各種情報の交換を行う。
【0089】
ここで、ネットワークシステム100で交換される各情報の構成について説明する。
【0090】
図8は、しきい値情報の構成の一例を示す図である。
【0091】
図8に示すように、しきい値情報600は、クラスター品質しきい値602、クラスター持続可能性しきい値604、およびタイムスタンプ606を含む。タイムスタンプ606は、クラスター品質しきい値602およびクラスター持続可能性しきい値604が主制御端末420において確定された時刻を示す。
【0092】
図9は、ネットワークリンク品質情報の構成の一例を示す図である。
【0093】
図9に示すように、ネットワークリンク品質情報700は、ネットワークリンクID702と、このネットワークリンクID702に対応するネットワークリンク損失率情報704を含む。ここで、ネットワークリンクIDとは、ストリーム中継経路毎にユニークに割り当てられたストリーム中継経路の識別情報である。ネットワークリンク損失率情報とは、1つまたは複数(m個)のネットワークリンク損失率から成る情報である。
【0094】
図10は、クラスターメトリクス情報の構成の一例を示す図である。
【0095】
図10に示すように、クラスターメトリクス情報800は、クラスターID802と、このクラスターID802に対応する低損失リンクの数804およびネットワークリンクIDのリスト806とを含む。ここで、クラスターIDとは、クラスター毎にユニークに割り当てられたクラスターの識別情報であり、例えばクラスター監視端末430のIPアドレスや、主制御端末420によって割り当てられた数値である。ネットワークリンクIDのリスト806は、クラスターID802が示すクラスター中の(n個の)低品質リンクのネットワークIDのリストである。
【0096】
図11は、持続可能性情報の構成の一例を示す図である。
【0097】
図11に示すように、持続可能性情報900は、クラスターID902と、クラスターID902が示すクラスターのクラスター品質率904およびクラスター持続可能性率906とを含む。
【0098】
図12は、クラスター分割要求の構成の一例を示す図である。
【0099】
図12に示すように、クラスター分割要求2500は、新たなクラスターにおける通信端末の総数(n)2502と、その新たなクラスターに属するn個の通信端末のIPアドレス2504とを含む。また、クラスター分割要求2500は、新たなクラスターにおけるネットワークリンク遅延情報の総数(m)2506と、そのm個のネットワーク遅延情報2508とを含む。更に、クラスター分割要求2500は、新たなクラスターにおける低品質のネットワークリンクの総数(p)2510と、そのp個の低品質のネットワークリンクのリスト2512とを含む。
【0100】
図13は、クラスター分割応答の構成の一例を示す図である。
【0101】
図13に示すように、クラスター分割応答2600は、「受理」および「拒絶」のいずれかを示す応答ステータス2602を含む。
【0102】
図14は、クラスター変更要求の構成の一例を示す図である。
【0103】
図14に示すように、クラスター変更要求2700は、要求元のクラスター監視端末430(つまりネットワーク品質情報の報告先)のIDアドレス2702と、新たなクラスターに属する通信端末の総数(n)2704と、そのn個の通信端末のIPアドレス2706とを含む。
【0104】
図15は、クラスター変更応答の構成の一例を示す図である。
【0105】
図15に示すように、クラスター変更応答2800は、「受理」および「拒絶」のいずれかを示す応答ステータス2802を含む。また、クラスター変更応答2800は、新たクラスターについて測定されたネットワーク遅延情報の総数(m)2804と、そのm個のネットワーク遅延情報2806とを含む。
【0106】
図16は、クラスター情報要求の構成の一例を示す図である。
【0107】
図16に示すように、クラスター情報要求2900は、要求元のクラスター監視端末430のクラスターID2902と、「新規」および「継続」のいずれかを示す要求ステータス2904を含む。
【0108】
図17は、クラスター情報の構成の一例を示す図である。
【0109】
図17に示すように、クラスター情報3000は、クラスター監視端末430のリスト3002と、セッションに参加している通信端末の総数(n)3004と、そのn個の通信端末のIPアドレス3006とを含む。また、クラスター情報3000は、そのn個の通信端末がそれぞれ属するクラスターID3008と、各通信端末のネットワークパス3010とを含む。また、クラスター情報3000は、セッションにおけるネットワーク遅延情報の総数(m)3012と、そのm個のネットワークリンク遅延情報3014とを含む。また、クラスター情報3000は、セッションにおけるクラスターの総数(p)3016と、そのp個のクラスターのそれぞれのクラスター遅延情報3018とを含む。
【0110】
なお、クラスター情報3000は、クラスター毎の部分的な情報のみが要求されている場合には、要求された情報に削減されたものであっても良い。これは、上述の、部分的なクラスター情報に相当する。
【0111】
図18は、クラスター接続要求の構成の一例を示す図である。
【0112】
図18に示すように、クラスター接続要求3100は、要求元のクラスター監視端末430のクラスターID3102と、新たな子クラスター(つまり要求側のクラスター)に接続すべきネットワークリンクの総数(n)3104とを含む。また、クラスター接続要求3100は、そのn個のネットワークリンクの、上流側の通信端末のIPアドレス3106および下流側の通信端末のIPアドレス3108を含む。そして、クラスター接続要求3100は、ネットワークリンク毎の、「接続」および「切断」のいずれかを示す要求ステータス3110を含む。「接続」ステータスは、新たにパスの接続を要求するためのステータスである。「切断」ステータスは、既存のパスの切断を要求するためのステータスである。なお、パスの切断は、例えば、より好ましいクラスター接続が存在するときに決定される。
【0113】
図19は、クラスター接続応答の構成の一例を示す図である。
【0114】
図19に示すように、クラスター接続応答3200は、応答元のクラスター監視端末430のクラスターID3202と、新たな子クラスター(つまり要求側のクラスター)に接続すべきネットワークリンクの総数(n)3204とを含む。また、クラスター接続要求3100は、そのn個のネットワークリンクの、上流側の通信端末のIPアドレス3206および下流側の通信端末のIPアドレス3208を含む。そして、クラスター接続要求3100は、ネットワークリンク毎の、「受理」および「拒絶」のいずれかを示す応答ステータス3210を含む。
【0115】
図20は、更新クラスター情報の構成の一例を示す図である。
【0116】
図20に示すように、更新クラスター情報3300は、送信元のクラスター監視端末430のクラスターIDと3302と、送信元のクラスターに属する通信端末の総数(n)3304とを含む。また、更新クラスター情報3300は、そのn個の通信端末のIPアドレス3306と、各通信端末のネットワークパス3308とを含む。また、更新クラスター情報3300は、クラスター内におけるネットワーク遅延情報の総数(m)3310と、そのm個のネットワークリンク遅延情報3312とを含む。また、更新クラスター情報3300は、クラスター遅延情報3314と、「統合」、「被統合」、および「新規」のいずれかを示す情報ステータス3316とを含む。
【0117】
図21は、クラスター統合要求の構成の一例を示す図である。
【0118】
図21に示すように、クラスター統合要求3400は、要求元のクラスター監視端末430のクラスターID(IPアドレス)3402と、要求元のクラスターにおける通信端末の総数(n)3404を含む。また、クラスター統合要求3400は、要求元のクラスターの、クラスター品質率3406およびクラスター持続可能性率3408を含む。
【0119】
図22は、クラスター統合応答の構成の一例を示す図である。
【0120】
図22に示すように、クラスター統合応答3500は、「受理」および「拒絶」のいずれかを示す応答ステータス3502を含む。また、クラスター統合応答3500は、被統合クラスターにおけるネットワーク遅延情報の総数(m)3504と、そのm個のネットワーク遅延情報3506とを含む。また、クラスター統合応答3500は、低品質のネットワークリンクの数(p)3508と、そのp個の低品質のネットワークリンクのリスト3510とを含む。
【0121】
次に、クラスター監視端末430の動作について説明する。
【0122】
図23は、クラスター監視端末430の動作の一例を示すフローチャートである。
【0123】
まず、ステップS2010において、クラスター管理部431は、主制御端末420からしきい値情報(図8参照)を受信したか否かを判断する(図5のステップS508、S510に対応)。クラスター管理部431は、しきい値情報を受信した場合には(S2010:YES)、ステップS2020へ進む。また、クラスター管理部431は、しきい値情報を受信していない場合には(S2010:NO)、その次のステップS2030へ進む。
【0124】
ステップS2020において、クラスター管理部431は、受信したしきい値情報をクラスターメトリクスデータベース435に記憶させて、ステップS2030へ進む。
【0125】
ステップS2030において、クラスター管理部431は、ローカルクラスターのストリーム転送端末410から、ネットワークリンク品質情報(図9参照)を取得する。また、クラスター管理部431は、クラスターメトリクス情報を生成するのに必要な全てのネットワークリンク品質情報(図9参照)を受信したか否かを判断する(図5のステップS512、S514に対応)。クラスター管理部431は、全てのネットワークリンク品質情報を受信した場合には(S2030:YES)、受信した全てのネットワークリンク品質情報をクラスター品質算出部432へ出力する。そして、クラスター管理部431は、ステップS2040へ進む。また、クラスター管理部431は、全てのネットワークリンク品質情報を受信していない場合には(S2030:NO)、その次のステップS2050へ進む。
【0126】
ステップS2040において、クラスター品質算出部432は、入力されたネットワークリンク品質情報から、低品質のネットワークリンクを特定する。そして、クラスター品質算出部432は、低品質のネットワークリンクのリストと低損失リンクの数とを含むクラスターメトリクス情報(図10参照)を生成する。そして、クラスター品質算出部432は、生成したクラスターメトリクス情報を、クラスター管理部431を介して他のクラスター管理端末へ送信して(図5のステップS516に対応)、ステップS2050へ進む。
【0127】
ステップS2050において、クラスター管理部431は、他のクラスター監視端末から、クラスター分割/統合の分析に必要な全てのクラスターメトリクス情報を受信したか否かを判断する。ここで、全てのクラスターメトリクス情報とは、上流クラスターおよび下流クラスターの全てのクラスター(以下「経路クラスター」という)について、生成されたクラスターメトリクス情報である。クラスター管理部431は、全てのクラスターメトリクス情報を受信した場合には(S2050:YES)、ステップS2060へ進み、受信したクラスターメトリクス情報を記憶する。また、クラスター管理部431は、全てのクラスターメトリクス情報を受信していない場合には(S2050:NO)、その次のステップS2070へ進む。
【0128】
ステップS2070において、クラスター管理部431は、クラスター分割/統合の分析のタイミングが到来したか否かを判断する。このタイミングは、例えば、上述の全てのネットワークリンク品質情報および全てのクラスターメトリクス情報の取得が完了したタイミングでも良いし、前回の分析から所定の時間が経過したタイミングでも良い。
【0129】
具体的には、例えば、各クラスター監視端末430のクラスター管理部431は、クラスター毎に異なるタイミングでクラスター分割/統合の分析を行うようにしても良い。この場合、クラスター管理部431は、タイマーに従って周期的な分析タイミングを形成すると共に、その周期毎に、必要な全ての情報(ネットワークリンク品質情報、クラスターメトリクス情報)の収集を行う。周期の長さはシステム設計に応じて任意の値を設定することができる。周期が短い場合、クラスター分割/統合は、頻繁に行われることになり、頻繁にネットワーク中継経路が変更されることになる。また、周期が短い場合、クラスター分割/統合は、より長い期間でのパケット損失率に基づいて決定されることになる。このように周期的に情報収集が行われる場合には、全ての情報が収集されたか否かの逐次の判定は、必ずしも行われなくても良い。
【0130】
クラスター管理部431は、クラスター分割/統合の分析のタイミングが到来した場合には(S2070:YES)、ステップS2080へ進む。その際、クラスター管理部431は、ネットワークリンク品質情報(図9参照)およびクラスターメトリクス情報(図10参照)を、クラスター持続可能性算出部433およびクラスター品質算出部432へそれぞれ出力する。その後、クラスター管理部431は、また、クラスター管理部431は、当該タイミングが到来していない場合には(S2070:NO)、後述のステップS2130へ進む。
【0131】
ステップS2080において、クラスター品質算出部432は、クラスター品質率を算出するクラスター品質決定処理を実行する(図4のステップS1020に対応)。また、続くステップS2090において、クラスター持続可能性算出部433は、持続可能性率を算出する持続可能性決定処理を実行する(図4のステップS1030に対応)。その結果、クラスター分割/統合分析部434には、クラスター監視端末430のローカルクラスターのクラスター品質率およびクラスター持続可能性率が入力される。これらの処理の詳細については、後述する。
【0132】
そして、ステップS2100において、クラスター分割/統合分析部434は、クラスター管理部431を介して、持続可能性情報(図11参照)を、主制御端末420へ送信する(図5のステップS518、S520に対応)。この持続可能性情報は、クラスターのクラスター品質率およびクラスター持続可能性率を含む。
【0133】
そして、ステップS2110において、クラスター品質算出部432は、低品質ネットワークを決定する低品質ネットワーク決定処理を実行する(図4のステップS1040に対応)。また、続くステップS2120において、クラスター分割/統合分析部434は、クラスターの分割/統合を決定するためのクラスター分割/統合処理を実行して(図4のステップS1050、S1060に対応)、ステップS2130へ進む。この結果、適宜、クラスターの分割/統合が行われる。これらの処理の詳細については、後述する。
【0134】
図24は、クラスター品質決定処理(ステップS2080)の詳細の一例を示すフローチャートである。
【0135】
まず、ステップS2081において、クラスター品質算出部432は、ローカルクラスターの全てのストリーム転送端末410から、ネットワークリンク品質情報(図9参照)を収集する。そして、クラスター品質算出部432は、ネットワークリンク当りの送信パケット数に対する損失パケット数の比率(つまりネットワークリンク損失率)を算出する。
【0136】
そして、ステップS2082において、クラスター品質算出部432は、クラスター内の全てのネットワークリンク損失率の平均を1から差し引いた値を、クラスター品質率として算出する。そして、クラスター品質算出部432は、算出したクラスター品質率を、クラスター分割/統合分析部434へ出力する。
【0137】
図25は、持続可能性決定処理(ステップS2090)の詳細の一例を示すフローチャートである。また、図26は、持続可能性決定処理の説明に一例として用いるクラスター間の関係を示す図である。
【0138】
まず、ステップS2091において、クラスター持続可能性算出部433は、ローカルクラスター中の低損失リンクの数を特定する(S2091)。つまり、クラスター持続可能性算出部433は、図23のステップS2030で受信した、ネットワークリンク品質情報(図9参照)に含まれるネットワークリンク損失率情報に基づいて、ローカルクラスター中の低損失リンクの数を特定する。
【0139】
そして、ステップS2092において、クラスター持続可能性算出部433は、図23のステップS2050で受信したクラスターメトリクス情報(図10参照)から、経路クラスターのそれぞれの低損失リンクの数を取得する。そして、クラスター持続可能性算出部433は、経路クラスター毎に、親クラスターの低損失リンクの数に対する、親クラスターとローカルクラスターとの間の低損失リンクの差分の比(以下、「対親低損失リンク比」という)を算出する。但し、親クラスターを有さない最も上流のクラスターは除かれる。ここで、Ziを、ローカルクラスターの低損失リンクの数とし、Zpを、親クラスターの低損失リンクの数とすると、対親低損失リンク比aiは、以下の式(1)で表される。
ai = Δ(Zp,Zi)/Zp= (Zp−Zi)/Zp ・・・(1)
【0140】
ここで、クラスター間の関係は、図26に示すように、クラスターAを頂点とするクラスターA〜クラスターE(1500〜1508)を想定する。クラスターCは、クラスターDの親クラスターであり、クラスターEは、クラスターDの子クラスターである。また、クラスターAおよびクラスターCは、クラスターDの上流クラスターであり、クラスターEは、クラスターDの下流クラスターである。一方、クラスターBには、クラスターC、D、Eに接続される通信端末は存在しないため、クラスターBは、クラスターC、D、Eの上流クラスターではない。しかし、クラスターBは、クラスターAの子クラスターであり、下流のクラスターである。
【0141】
この場合、例えば、クラスターDの対親低損失リンク比aDは、以下の式(2)により算出される。式(2)において、ZCは、クラスターCにおける低損失リンクの数とし、ZDは、クラスターDにおける低損失リンクの数とする。
aD = Δ(ZC,ZD)/ZC= (ZC−ZD)/ZC ・・・(2)
【0142】
そして、ステップS2093において、クラスター持続可能性算出部433は、経路クラスター毎に、ローカルクラスターの低損失リンクの数に対する、ローカルクラスターと子クラスターとの間の低損失リンクの差分の比を算出する。なお、ローカルクラスターの低損失リンクの数に対する、ローカルクラスターと子クラスターとの間の低損失リンクの差分の比は、以下、「対子低損失リンク比」という。但し、子クラスターを有さない最も下流のクラスターは除かれる。ここで、Zcを、子クラスターの低損失リンクの数とすると、対子低損失リンク比biは、以下の式(3)で表される。
bi = Δ(Zc,Zi)/Zi= (Zi−Zc)/Zi ・・・(3)
【0143】
なお、クラスター持続可能性率に対親低損失リンク比aiだけでなく対子低損失リンク比biを用いるのは、全てのクラスターにおいて一様に高いクラスター持続可能性を実現するためである。また、クラスター分割/統合の実行は、AVストリームの品質の保証の観点から、必要最小限に抑えられることが望ましいためである。
【0144】
例えば、子クラスターに、親クラスターとしてローカルクラスターだけでなく他のクラスターも接続されている場合、子クラスターのほうが低損失リンクの数が少ない場合が起こり得る。したがって、上流側とだけでなく下流側との比較を行うことにより、セッション全体を基準とした、新たな通信端末の加入を受け入れることができる能力の指標値を得ることができる。そして、セッション全体を基準とすることにより、クラスター分割/統合の優先度の高いものを的確に抽出することができ、クラスター分割/統合の実行を必要最小限に抑えることが可能となる。
【0145】
例えば、図26の例において、ZEは、クラスターEにおける低損失リンクの数とする。この場合、例えば、クラスターDの対子低損失リンク比bDは、以下の式(4)により算出される。
bD = Δ(ZE,ZD)/ZD= (ZD−ZE)/ZD ・・・(4)
【0146】
そして、ステップS2094において、クラスター持続可能性算出部433は、経路クラスターの全ての対親低損失リンク比のうちの最大値に対する比(以下「対親最大値比」という)を算出する。経路クラスターの全ての対親低損失リンク比のうちの最大値をMax({aj})と置くと、対親最大値比ciは、以下の式(5)で表される。
ci = ai/Max({aj}) ・・・(5)
【0147】
例えば、図26の例において、クラスターDの対親最大値比cDは、以下の式(6)により算出される。
cD = aD/Max(aA,aC,aD,aE) ・・・(6)
【0148】
そして、ステップS2095において、クラスター持続可能性算出部433は、経路クラスターの全ての対子低損失リンク比のうちの最大値に対する比(以下「対子最大値比」という)を算出する。経路クラスターの全ての対子低損失リンク比のうちの最大値をMax({bj})と置くと、対子最大値比diは、以下の式(7)で表される。
di = bi/Max({bj}) ・・・(7)
【0149】
例えば、図26の例において、クラスターDの対子最大値比dDは、以下の式(8)により算出される。
dD = bD/Max(bA,bC,bD,bE) ・・・(8)
【0150】
そして、ステップS2096において、クラスター持続可能性算出部433は、経路クラスターのそれぞれについて、対親最大値比ciと対子最大値比diとの平均値を、正規化前クラスター持続可能性率として算出する。すなわち、正規化前クラスター持続可能性率eiは、以下の式(9)により表される。
ei = (ci+di)/2 ・・・(9)
【0151】
なお、複数の子クラスターが存在する場合には、子クラスターの数をnとすると、対親低損失リンク比aiおよび対子低損失リンク比biは、以下の式(10)および式(11)でそれぞれ表される。
ai =[(Zp1−Zi)/Zp1] + … + [(Zpn−Zi)/Zpn] ・・・(10)
bi =[(Zi−Zc1)/Zi] + … + [(Zi−Zcm)/Zi] ・・・(11)
【0152】
そして、ステップS2097において、クラスター持続可能性算出部433は、ローカルクラスターの正規化前クラスター持続可能性率を、経路クラスターの全ての正規化前クラスター持続可能性率のうちの最大値で除する。これにより、クラスター持続可能性算出部433は、正規化されたクラスター持続可能性率を算出する。すなわち、クラスター持続可能性率fiは、以下の式(10)により表される。
fi = ei/(ei + max(ej)) ・・・(10)
【0153】
図27は、低品質ネットワーク決定処理(ステップS2110)の詳細を示すフローチャートである。
【0154】
まず、ステップS2111において、クラスター品質算出部432は、ローカルクラスター内のストリーム中継経路中の、パケット損失の発生源であるネットワークリンク(つまり低品質のネットワークリンク)を特定する。パケット損失の発生源の特定は、ネットワークリンク情報およびツリーベースのストリーム中継経路に基づいて、各ネットワークリンクのパケット損失率を監視することにより可能である。
【0155】
そして、ステップS2112において、クラスター品質算出部432は、低品質のネットワークリンクのリストを作成し、作成したリストを、クラスター分割/統合分析部434へ出力する。具体的には、クラスター品質算出部432は、パケット損失の発生源であるネットワークリンクが上流側と下流側で接続する2つのストリーム転送端末410を特定する。そして、クラスター品質算出部432は、特定した2つのストリーム転送端末410の識別情報(IPアドレス等)を、低品質のネットワークリンクとしてリストアップする。
【0156】
図28は、クラスター分割/統合処理(ステップS2120)の詳細を示すフローチャートである。
【0157】
まず、ステップS2121において、クラスター分割/統合分析部434は、ローカルクラスターのクラスター品質が低いか否かを判断する。具体的には、クラスター分割/統合分析部434は、図23のステップS2080において算出されたクラスター品質率を、図23のステップS2010において取得されたクラスター品質しきい値と比較する。そして、クラスター分割/統合分析部434は、クラスター品質率がクラスター品質しきい値以上となっているか否かを判断する。クラスター分割/統合分析部434は、ローカルクラスターのクラスター品質が低い場合には(S2121:YES)、ステップS2122へ進む。また、クラスター分割/統合分析部434は、ローカルクラスターのクラスター品質が低くない場合には(S2121:NO)、ステップS2123へ進む。
【0158】
ステップS2122において、クラスター分割/統合分析部434は、ローカルクラスターを、例えばルート端末から各ストリーム転送端末410までの最大遅延に基づいて、2つに分割する。
【0159】
例えば、ローカルクラスターにノードA〜Fが属しており、ノードA〜Fのルート端末からのそれぞれの遅延時間は、この順に短いとする。この場合、例えば、遅延時間が短いノードA〜Cと遅延時間が長いノードD〜Fとにクラスターを分割するパターンが考えられる。また、例えば、遅延時間が短いノードと長いノードとを混合させて、ノードA、C、EとノードB、D、Fとに分割するパターンとが考えられる。
【0160】
そして、クラスター分割/統合分析部434は、分割により新たに生成されるクラスターについて、クラスター監視端末430を決定し、クラスター分割要求(図12参照)を送信する(図6のステップS540に対応)。そして、クラスター分割/統合分析部434は、クラスター分割要求が受け入れられた場合には、クラスター変更要求(図14参照)情報を、各ストリーム転送端末410に送信する(図6のステップS544に対応)。このクラスター変更要求は、上述の通り、新たなクラスターおよび新たなクラスター監視端末を定義するものである。そして、クラスター分割/統合分析部434は、図23のステップS2130へ進む。
【0161】
ステップS2123において、クラスター分割/統合分析部434は、ローカルクラスターのクラスター持続可能性率が高いか否かを判断する。具体的には、クラスター分割/統合分析部434は、図23のステップS2090において算出されたクラスター持続可能性を、図23のステップS2010において取得されたクラスター持続可能性しきい値と比較する。そして、クラスター分割/統合分析部434は、クラスター持続可能性がクラスター持続可能性しきい値以上となっているか否かを判断する。クラスター分割/統合分析部434は、ローカルクラスターのクラスター持続可能性品質が高くない場合には(S2123:NO)、ステップS2124へ進む。また、クラスター分割/統合分析部434は、ローカルクラスターのクラスター持続可能性品質が高い場合には(S2123:YES)、図23のステップS2130へ進む。
【0162】
ステップS2124において、クラスター分割/統合分析部434は、統合相手のクラスター監視端末430に対して、クラスター統合要求(図21参照)を送信する(図7のステップS570に対応)。そして、クラスター分割/統合分析部434は、クラスター統合要求が受け入れられた場合には、クラスター変更要求(図14参照)を、各ストリーム転送端末410に送信する(図7のステップS574に対応)。このクラスター変更要求は、上述の通り、統合後のクラスターおよびクラスター監視端末を定義するものである。そして、クラスター分割/統合分析部434は、図23のステップS2130へ進む。
【0163】
このクラスター分割/統合処理におけるクラスター分割/統合決定のルール1200は、図29のようになる。
【0164】
すなわち、クラスターの分割または統合を停止するルールは、クラスター品質およびクラスター持続可能性の両方が高いこと(つまり、パケット損失率が低く、低損失リンクが多いこと)である。このようなクラスターは、加入端末を受け入れる候補となり得るクラスターだからである。
【0165】
また、クラスターの分割を行うルールは、クラスター品質が低いこと(つまり、パケット損失率が高いこと)である。
【0166】
また、クラスターの統合を行うルールは、クラスター品質が高く、かつ、クラスター持続可能性が低いこと(つまり、パケット損失率が低く、低損失リンクが少ないこと)である。
【0167】
なお、クラスター統合処理における拒絶のルールは、例えば以下の通りである。クラスター統合要求は、全てのクラスター監視端末430に対して送信されるものとする。クラスター統合要求を受信したクラスター監視端末430は、同様にクラスター統合を決定していた場合には、そのクラスター統合要求を受理する。但し、クラスター監視端末430は、以下の条件の少なくとも1つに該当する場合には、そのクラスター統合要求を拒絶する。
(1)そのクラスター監視端末430のクラスターがクラスター統合要求の対象とすべきクラスターではないとき。クラスター統合要求の対象とならないクラスターとは、例えば、クラスター品質が高く、かつ、クラスター持続可能性が高いようなクラスターである。
(2)そのクラスター監視端末430のクラスターが、別のクラスターとの統合との最中にあるとき。
(3)そのクラスター監視端末430のクラスターに対して最後にクラスター分割/統合が行われた時からの経過時間が、所定の閾値に達していないとき。この閾値は、頻繁なクラスター分割/統合によるストリーミングの品質の低下を防止するために、クラスター分割/統合が実施される間隔として予め定められた値である。
【0168】
また、クラスター分割における拒絶のルールは、例えば、ローカルクラスターのクラスター品質が低いときである。
【0169】
このようにしてクラスター分割/統合が行われた後には、クラスター間パス構築処理が実行される。クラスター分割の場合、分割要求元のクラスター監視端末430および新たなクラスター監視端末430は、それぞれのクラスターについて、クラスター間パス構築処理を実行する。また、クラスター統合の場合、統合要求元のクラスター監視端末430のみがクラスター間パス構築処理を実行する。
【0170】
図30は、クラスター間パス構築処理の一例を示すフローチャートである。クラスター間パス構築処理は、例えば、クラスター監視端末430のクラスター管理部431により実行される。
【0171】
まず、クラスター監視端末430は、クラスター情報に基づいて、まだ親クラスターの候補として取り扱われていないクラスターの中から、ルート端末からの遅延が最も少ないクラスターを、親クラスターの候補として探索する(S3602)。そして、クラスター監視端末430は、親クラスターの候補(以下「候補クラスター」という)が存在した場合には(S3604:YES)、その候補クラスターが更に子クラスターを持つことができるか否かを判断する(S3606)。すなわち、クラスター監視端末430は、候補クラスターの現状の子クラスターの個数が、所定の最大値未満となっているか否かを判断する。この最大値は、例えば、クラスターが中継することができるストリームの最大サイズに基づいて決定される。
【0172】
クラスター監視端末430は、候補クラスターが更に子クラスターを持つことができない場合には(S3606:NO)、ステップS3602へ戻り、別の候補クラスターを探索する。また、クラスター監視端末430は、候補クラスターが更に子クラスターを持つことができる場合には(S3606:YES)、ステップS3608に進む。クラスター監視端末430は、その候補クラスターの通信端末と、ローカルクラスターの通信端末とを接続する、1つまたは複数のネットワークリンクを選択する(S3608)。このとき、クラスター監視端末430は、低品質でなく、かつ、ルート端末からの遅延が少なくなるようなネットワークリンクを選択する。
【0173】
そして、クラスター監視端末430は、候補クラスターのクラスター監視端末へ、クラスター接続要求(図18参照)を送信する(S3610)。候補クラスターのクラスター監視端末430は、このクラスター接続要求を受理した場合、要求元のクラスター監視端末430が選択したネットワークリンクを設定する。
【0174】
上述のように、クラスター分割およびクラスター統合は、1つのセッションの中で、並行して同時に行われ得る。したがって、複数のクラスター監視端末430からの複数のクラスター接続要求が1つのクラスター監視端末430に対して送信され得る。クラスター接続要求を受けた候補クラスターは、子クラスターの個数が所定の最大値を超える場合には、超える分のクラスター接続要求については拒絶する。候補クラスターは、例えば、要求の先着順に基づいてクラスターを選択しても良いし、ルート端末からの遅延がより少ないクラスターを優先的に選択しても良い。
【0175】
クラスター監視端末430は、送信したクラスター接続要求が拒絶された場合には(S3612:NO)、ステップS3602へ戻り、別の候補クラスターを探索する。一方、クラスター監視端末430は、送信したクラスター接続要求が受理された場合には(S3612:YES)、ステップS3614へ進む。そして、クラスター監視端末430は、ローカルクラスター内の全ての通信端末に対して接続先(直接に接続する上流側の通信端末、親端末)が設定されたか否かを判断する(S3614)。
【0176】
クラスター監視端末430は、接続先が設定されていない通信端末が残っている場合には(S3614:NO)、ステップS3602へ戻り、別の候補クラスターを探索する。一方、クラスター監視端末430は、クラスター内の全ての通信端末に対して接続先が設定された場合には(S3614:YES)、一連の処理を終了する。
【0177】
一方、クラスター監視端末430は、クラスター内の全ての通信端末に対して、接続先が設定されないうちに候補クラスターが存在しないと判断された場合には(S3604:NO)、ステップS3616へ進む。そして、クラスター監視端末430は、低遅延ベースのストリーム中継経路(配送木)を構築して処理を終了する(S3616)。このとき、クラスター監視端末は、低品質のネットワークリンクを避けて、接続先が設定されていない通信端末を、既に接続先が設定されたローカルクラスター内の通信端末に接続する。
【0178】
このような処理により、クラスター監視端末430は、例えば、ある候補クラスターから接続を拒絶された通信端末が存在する場合、次の候補クラスターに対して、その通信端末に対する接続を要求することになる。そして、クラスター監視端末430は、他のクラスターに直接接続することができない通信端末については、他のクラスターに直接接続することができる通信端末を介して、間接的に他のクラスターに接続することなる。
【0179】
以上のような動作により、ストリーム転送端末410は、上流クラスターと下流クラスターとの間の、クラスター持続可能性の相対的な関係に基づいて、クラスターの統合を決定することができる。より具体的には、ストリーム転送端末410は、上下クラスター間での低損失リンクの数の差が小さく、かつ、ネットワーク品質が低いクラスターを、他のクラスターと統合するように決定することができる。また、ストリーム転送端末410は、ネットワーク品質が低いクラスターを、分割するように決定することができる。
【0180】
低損失リンクは、より多くのストリーム転送端末410を下流に配置してAVコンテンツを複製・中継することが可能な、豊富なリソースであるといえる。したがって、親クラスターおよび子クラスターと比較してより多くの低損失リンクからなるクラスターは、加入端末を受け入れる余裕のある、持続可能性の高いクラスターであるといえる。
【0181】
加入端末を受け入れるスケーラビリティを保証するためには、各クラスターの持続可能性が、所定のレベルよりも高く維持されなければならない。
【0182】
また、複数のクラスターを統合することにより、統合後のクラスターは、加入端末を受け入れる余裕のある、持続可能性の高いクラスターとなる。
【0183】
そこで、各クラスター監視端末430は、上述のように、ストリーム中継経路における相対的な低損失リンクの数を示すクラスター持続可能性率と、セッション毎に設定されるクラスター持続可能性しきい値とを用いる。そして、各クラスター監視端末430は、クラスター持続可能性率がクラスター持続可能性しきい値以下となっているクラスターに対し、親クラスターまたは子クラスターとの統合を決定する。これにより、ネットワークシステム100は、各クラスターの持続可能性を、所定のレベルよりも高い状態に維持することができ、加入端末を柔軟に受け入れることが可能となる。
【0184】
また、クラスター監視端末430は、個々のクラスター品質が低いクラスターに対し、分割を決定する。高いパケット損失率は、ネットワーク状態が変化した結果といえる。ネットワークシステム100は、このようなネットワークリンクの分割により、ストリーム転送端末410の数が減少したクラスターを編成することができる。すなわち、ネットワークシステム100は、個々のストリーム転送端末410が中継する対象が減少するように、ストリーム中継経路を再設定することができる。そして、これにより、パケット損失率が高かったネットワークリンクのネットワーク負荷は低減され、そのネットワークリンク損失率が低減される。
【0185】
以下、ネットワークシステム100におけるクラスターの分割/統合の様子の一例について説明する。ここでは、初期状態のセッション構成およびクラスター構成が、図2に示す状態となっているものとする。
【0186】
上述の通り、ネットワークリンク306、310、312、320、326は、パケット損失率が高い。ここで、ネットワークリンク306が、ストリーム中継経路(ノードa〜h、ノードa〜i)中の損失の発生源として特定されたものとする。この場合、各クラスター監視端末430により、ネットワークリンク306、320、326が、低品質のネットワークリンクとして特定され、リストアップされることになる。これらのネットワークリンクは、次回のストリーム中継経路再構築時には、優先順位の低い経路として扱われることになる。
【0187】
このような状態の場合、ネットワークシステム100は、低品質のネットワークリンクを多く含む第2および第3のクラスター332、334を、それぞれ分割する。例えば、ネットワークシステム100は、図31に示すように、第2のクラスター332を、第4および第5のクラスター336、338に分割し、第3のクラスター334を、第6および第7のクラスター340、342に分割する。
【0188】
そして、分割後の第5のクラスター338と第7のクラスター342とは、クラスター品質が低く(クラスター品質率が高く)、かつ、クラスター持続可能性が高い(クラスター持続可能性率が高い)ものとする。このような状態の場合、ネットワークシステム100は、例えば、図32に示すように、第5のクラスター338と第7のクラスター342とを統合して、第8のクラスター344を構築する。
【0189】
ネットワークシステム100は、クラスターの分割/統合が行われる毎に、新たに分割または統合されたクラスターに存在するストリーム転送端末410に関して、ストリーム転送経路を再構築する。この際、ネットワークシステム100は、既存のストリーム中継経路がストリーム中継経路再構築プロセスに及ぼす影響が最小となるように、ストリーム中継経路の変更を行う。
【0190】
図32に示す例では、図2におけるネットワークリンク306、310、316、320、326が、ネットワークリンク346、348、350、352、354にそれぞれ変更されている。ネットワークシステム100は、ネットワークリンク306のように、より早い時点の評価で低品質に分類されたネットワークリンクについては、ストリーム中継経路として選択しない。このようなクラスターの分割および統合が行われた結果、全てのクラスターは、持続可能性が高くなり、図33に示すように、加入端末356を受け入れ可能となる。
【0191】
加入端末356は、セッションへの加入要求を、各クラスターのクラスター監視端末へ送信する(S358、S360、S362、S364)。ネットワークシステム100(主制御端末420の端末コーディネータ421)は、この加入要求を受けて、低品質のネットワークリンクを回避するストリーム中継経路を再構築する。より具体的には、ネットワークシステム100は、クラスター内の利用可能なリソースと、ルート端末から、各ストリーム中継経路の最下流に当たるリーフ端末までの遅延とに基づいて、ストリーム中継経路を再構築する。この結果、ネットワークシステム100は、例えば、図34に示すように、低品質のネットワークリンクを回避した、低遅延ベースのAVストリーム転送経路366、368、370、372を再構築する。
【0192】
以上のように、本実施の形態に係るネットワークシステム100は、受信すべきパケットの損失が多いクラスターに対して、分割を決定することができる。また、本実施の形態に係るネットワークシステム100は、加入端末の受け入れが困難であるクラスターに対して、親クラスターとの統合を決定することができる。これにより、ネットワークシステム100は、ストリーム中継経路の品質を確保しつつ、加入端末の追加が速やかに行われるような、クラスター編成を決定することができる。すなわち、通信端末のセッション加入時に、ストリーム転送経路を短時間で構築可能となり、高いストリーム転送品質を維持しつつ、かかる再構築のオーバヘッドを回避することができる。
【0193】
また、ネットワークシステム100は、加入端末の受け入れが困難であるか否かを、ストリーム中継経路全体における相対的な比較による品質に基づき、ネットワーク全体の品質を基準として判断する。これにより、ネットワークシステム100は、品質がより確実に確保されるようなクラスター編成を決定することができる。
【0194】
また、ネットワークシステム100は、クラスターの分割/統合の分析に、ネットワークリンク損失率を用いる。したがって、ネットワークシステム100は、ストリーム転送中に、パケット損失の増大、ジッターの増大、長遅延化等のネットワークリンク品質の劣化が発生した場合でも、クラスターの分割/統合の決定に即座に反映することができる。
【0195】
なお、クラスター品質およびクラスター持続可能性の評価の仕方は、上述の例に限定されない。
【産業上の利用可能性】
【0196】
本発明に係る通信端末およびクラスター監視方法は、ストリーム中継経路の品質を確保しつつ、加入端末の追加等のクラスター編成が速やかに決定することができる通信端末およびクラスター監視方法として有用である。
【符号の説明】
【0197】
100 ネットワークシステム
102 ネットワーク
104〜108、112〜122、126〜136 通信端末
110、124、138(330、332、334) クラスター
410 ストリーム転送端末
411 ストリーミング管理部
412 AVストリーム通信部
420 主制御端末
421 端末コーディネータ
422 しきい値規定部
430 クラスター監視端末
431 クラスター管理部
432 クラスター品質算出部
433 クラスター持続可能性算出部
434 クラスター分割/統合分析部
435 クラスターメトリクスデータベース
【技術分野】
【0001】
本発明は、端末中継型のマルチポイント通信によりパケット転送を行うネットワークに対して、クラスター単位でのストリーム中継経路の構築のために、クラスターの分割/統合を決定する通信端末およびクラスター監視方法に関する。
【背景技術】
【0002】
端末中継型のマルチポイント通信によりストリームデータパケットの転送を行うネットワークを、端末ベースでクラスター化することが、広く行われている。
【0003】
ストリーム中継経路の構築を行うランデブー端末等の装置は、ネットワーク中の通信端末を、予め複数のクラスターに分けている。この装置は、セッションへの加入を希望する通信端末(以下「加入端末」という)から加入要求を受信すると、この加入端末の親端末の候補を選択する。そして、この装置は、加入端末と各親端末候補との間の帯域幅および遅延を測定し、測定結果に基づいて最適な親端末を決定し、親端末が含まれるクラスターのストリーム中継経路を再構築する。
【0004】
特に大規模なネットワークの場合は、このようなクラスター単位でのストリーム中継経路の構築を行うことにより、帯域幅および遅延の測定に要する時間を低減することができる。
【0005】
ところが、1つのクラスターに属する通信端末の数が多いと、帯域幅および遅延の測定を効果的に低減することができない。また、1つのクラスターに属する通信端末の数が少ないと、ストリーム中継経路を再構築の自由度が少なくなり、加入端末の受け入れが困難となる。そこで、クラスターに属する通信端末の数に応じて、クラスターを分割/統合する技術が、例えば特許文献1に記載されている。
【0006】
特許文献1記載の技術では、クラスター毎に配置されたスーパーノードが、監視下にあるクラスターに属する通信端末の数を監視する。そして、当該通信端末の数が第1のしきい値を超えると、スーパーノードは、監視下のクラスターの分割を決定する。また、当該通信端末の数が第2のしきい値を下回ると、スーパーノードは、他のクラスターとの統合を決定する。これにより、加入端末の追加を速やかに行うことができる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国特許出願公開第2006/0114846号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1記載の技術には、再構築後のストリーム中継経路の品質が低下し得るという課題がある。なぜなら、加入端末の追加時には、クラスター内の利用可能なリソースを分配してストリーム中継経路が再構築されるため、クラスターのリソースが少ない場合には、ストリーム中継経路の品質の劣化を招くからである。
【0009】
本発明の目的は、ストリーム中継経路の品質を確保しつつ、加入端末の追加が速やかに行われるような、クラスター編成を決定することができる通信端末およびクラスター監視方法を提供することである。
【課題を解決するための手段】
【0010】
本発明の通信端末は、端末中継型のマルチポイント通信によりパケット転送を行うネットワークにおけるクラスター単位でのストリーム中継経路の構築のために、クラスターの編成を決定する通信端末であって、前記クラスター毎に、受信すべきパケットの損失の少なさを示すクラスター品質を取得するクラスター品質算出部と、前記クラスター毎に、加入端末の受け入れ易さを示すクラスター持続可能性を取得するクラスター持続可能性算出部と、前記クラスター品質が低いクラスターに対し、クラスターの分割を決定し、前記クラスター品質が高くかつ前記クラスター持続可能性が低いクラスターに対し、他のクラスターとの統合を決定するクラスター分割/統合分析部とを有する。
【0011】
本発明のクラスター監視方法は、端末中継型のマルチポイント通信によりパケット転送を行うネットワークにおけるクラスター単位でのストリーム中継経路の構築のために、クラスターの編成を決定するクラスター監視方法であって、前記クラスター毎に、受信すべきパケットの損失の少なさを示すクラスター品質と、加入端末の受け入れ易さを示すクラスター持続可能性と、を取得するステップと、前記クラスター品質が低いクラスターに対し、クラスターの分割を決定し、前記クラスター品質が高くかつ前記クラスター持続可能性が低いクラスターに対し、他のクラスターとの統合を決定するステップとを有する。
【発明の効果】
【0012】
本発明によれば、ストリーム中継経路の品質を確保しつつ、加入端末の追加が速やかに行われるような、クラスター編成を決定することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施の形態におけるネットワークシステムの構成の一例を示すシステム構成図
【図2】本実施の形態における初期状態のセッション構成およびクラスター構成の一例を示す図
【図3】本実施の形態に係る通信端末を含む各装置の構成の一例を示すブロック図
【図4】本実施の形態におけるネットワークシステム全体の動作の一例を示すフローチャート
【図5】本実施の形態におけるクラスター分割/統合が決定されるまでの装置間の情報交換の流れの一例を示すシーケンス図
【図6】本実施の形態におけるクラスター分割が決定されたときの装置間の情報交換の流れの一例を示すシーケンス図
【図7】本実施の形態におけるクラスター統合が決定されたときの装置間の情報交換の流れの一例を示すシーケンス図
【図8】本実施の形態におけるしきい値情報の構成の一例を示す図
【図9】本実施の形態におけるネットワークリンク品質情報の構成の一例を示す図
【図10】本実施の形態におけるクラスターメトリクス情報の構成の一例を示す図
【図11】本実施の形態における持続可能性情報の構成の一例を示す図
【図12】本実施の形態におけるクラスター分割要求の構成の一例を示す図
【図13】本実施の形態におけるクラスター分割応答の構成の一例を示す図
【図14】本実施の形態におけるクラスター変更要求の構成の一例を示す図
【図15】本実施の形態におけるクラスター変更応答の構成の一例を示す図
【図16】本実施の形態におけるクラスター情報要求の構成の一例を示す図
【図17】本実施の形態におけるクラスター情報の構成の一例を示す図
【図18】本実施の形態におけるクラスター接続要求の構成の一例を示す図
【図19】本実施の形態におけるクラスター接続応答の構成の一例を示す図
【図20】本実施の形態における更新クラスター情報の構成の一例を示す図
【図21】本実施の形態におけるクラスター統合要求の構成の一例を示す図
【図22】本実施の形態におけるクラスター統合応答の構成の一例を示す図
【図23】本実施の形態におけるクラスター監視端末の動作の一例を示すフローチャート
【図24】本実施の形態におけるクラスター品質決定処理の詳細の一例を示すフローチャート
【図25】本実施の形態における持続可能性決定処理の詳細の一例を示すフローチャート
【図26】本実施の形態における持続可能性決定処理の説明に一例として用いるクラスター間の関係を示す図
【図27】本実施の形態における低品質ネットワーク決定処理の詳細を示すフローチャート
【図28】本実施の形態におけるクラスター分割/統合処理の詳細を示すフローチャート
【図29】本実施の形態におけるクラスター分割/統合処理におけるルールを示す図
【図30】本実施の形態におけるクラスター間パス構築処理の詳細を示すフローチャート
【図31】本実施の形態におけるクラスターの分割を行った状態の一例を示す図
【図32】本実施の形態におけるクラスターの統合を行った状態の一例を示す図
【図33】本実施の形態における加入端末が受け入れられる様子の一例を示す図
【図34】本実施の形態における再構築されたセッション構成の一例を示す図
【発明を実施するための形態】
【0014】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【0015】
まず、本実施の形態の説明に先立って、本実施の形態における主な用語の定義について説明する。
「端末中継型マルチポイント通信」とは、パケットを受信、複製、および転送する機能を有する複数の通信端末が、データパケットを同時に交換するマルチパーティ運用において、ネットワークを介して接続される論理的セッションである。
「クラスター」とは、ネットワークに通信端末を追加する際のストリーム中継経路の再構築の単位としてまとめられた通信端末の一群である。
「クラスター監視端末」とは、本発明にかかる通信端末を含む通信端末であり、クラスターの分割/統合の決定を行う機能を有する通信端末である。
「主制御端末」とは、ネットワークのクラスター構成を調整する機能を有する通信端末である。
「低損失リンク」とは、ストリームの送信元の通信端末から送信されたパケット(以下「受信すべきパケット」という)の損失が、ほぼゼロであるネットワークリンクである。なお、ストリームの送信元の通信端末は、以下「ルート端末」という。
「ネットワークリンク品質」とは、ネットワークリンク毎の、受信すべきパケットの損失の少なさである。
「ローカルクラスター」とは、処理の対象となっているクラスター、または、着目の対象となっているクラスター監視端末に監視されるクラスターである。
「上流クラスター」とは、ルート端末からローカルクラスターのいずれかの通信端末へと至るストリーム中継経路を形成するクラスターである。
「下流クラスター」とは、ルート端末からそのクラスターのいずれかの通信端末へと至るストリーム中継経路の少なくとも一部が、ローカルクラスターによって形成されるクラスターである。
「親クラスター」とは、上流クラスターのうち、ローカルクラスターの通信端末に直接に接続する通信端末を有するクラスターである。
「子クラスター」とは、下流クラスターのうち、ローカルクラスターの通信端末に直接に接続する通信端末を有するクラスターである。
「クラスター持続可能性」とは、クラスター毎の、加入端末の受け入れ易さであり、所定のストリーム転送品質を確保するのに十分なリソースを有し、新たな通信端末の加入を受け入れることができる能力である。クラスター持続可能性は、低損失リンクの数を用いて算出される。
「クラスター持続可能性率」とは、クラスター接続可能性の高さを示す値である。
「クラスター持続可能性しきい値」とは、クラスターの分割/統合の判断に用いられるしきい値であり、クラスターに求められる最低限のクラスター持続可能性を示す値である。
「クラスター品質」とは、クラスター毎の、受信すべきパケットの損失の少なさであり、パケットをほとんど損失させることなくトリームを送信することができる能力である。
「クラスター品質率」とは、クラスター品質の高さを示す値である。クラスター品質率は、リンクのパケット損失率を用いて算出される。
「クラスター品質しきい値」とは、クラスターの分割/統合の判断に用いられるしきい値であり、クラスターに求められる最低限のクラスター品質を示す値である。
「ネットワークリンク損失率」とは、ネットワークリンク毎の、受信すべきパケットの数(以下「送信パケット数」という)に対する、損失したパケットの数(以下「損失パケット数」という)の比率である。
「低品質のネットワークリンク」とは、パケット損失の発生源となっているネットワークリンクである。
「クラスター遅延情報」とは、ルート端末からクラスター最下流のリーフ端末までの最大遅延を示す値である。
「ネットワークリンク遅延情報」とは、任意の通信端末間の最大遅延を示す値である。
「コンタクト情報」とは、ある通信端末が他の通信端末とコンタクトを取るための手段を示す情報であり、例えばIP(internet protocol)アドレスである。
「ネットワークパス」とは、通信端末毎に、その通信端末が上流側のどの通信端末に直接に接続しているかを示す情報であり、例えば、上流側の通信端末(親端末)のIPアドレスである。
【0016】
図1は、本実施の形態に係るクラスター監視端末が制御対象とするネットワークシステムの構成の一例を示すシステム構成図である。
【0017】
図1において、ネットワークシステム100は、インターネット等の同一のネットワーク102に接続された、複数の通信端末(以下、適宜「ノード」という)104〜108、112〜122、126〜136を有する。各通信端末は、端末中継型マルチポイント通信により、他の通信端末との間でAV(audio video)ストリームと制御ストリームとを同時に交換することが可能となっている。
【0018】
ネットワークシステム100は、それぞれ1つまたは複数の通信端末から構成されるクラスター110、124、138を設定している。各クラスターは、通信端末のストリーム転送の論理的セッション(以下単に「セッション」という)への加入、セッションからの離脱や、ネットワーク状態の変化に応じて、動的に作成、変更、または削除される。すなわち、ネットワークシステム100におけるセッション構成およびクラスター構成は、動的に変更される。
【0019】
図2は、本実施の形態における初期状態のセッション構成およびクラスター構成の一例を示す図であり、図1に対応するものである。
【0020】
図2において、ノード間の矢印は、ノード間のネットワークリンクとストリームが流れる方向を示す。ここでは、ノードaが、ルート端末であり、AVストリーム転送セッションを開始するものとする。ノードbおよびノードcは、ノードaからストリームを受信する。これら3つのノードは、第1のクラスター330を形成している。
【0021】
また、ノードdおよびノードeは、ノードcからストリームを受信する。ノードhおよびノードiは、ノードdからストリームを受信する。ノードjおよびノードkは、ノードeからストリームを受信する。これら6つのノードは、第2のクラスター332を形成している。
【0022】
また、ノードf、ノードg、およびノードmは、ノードbからストリームを受信する。ノードlは、ノードfからストリームを受信する。ノードnおよびノードoは、ノードgからストリームを受信する。これら6つのノードは、第3のクラスター334を形成している。
【0023】
このようなクラスター構成により、ノードaから送出されたストリームは、セッション中の他の全てのノードへ配信される。
【0024】
ここで、実線の矢印は、ネットワークリンク品質が高いことを示し、破線の矢印は、ネットワークリンク品質が低いことを示す。ノードaとノードcとの間、ノードaとノードbとの間、ノードcからノードjおよびノードkまでの間、ノードbからノードlまでの間、およびノードbからノードoまでの間は、パケット損失が少ない。すなわち、ネットワークリンク302、304、308、314、316、318、322、324、328は、パケット損失が少ない。そして、ノードcからノードhおよびノードiまでの間、ノードbとノードmとの間、およびノードgとノードnとの間の、各ネットワークリンク306、310、312、320、326は、パケット損失が多い。
【0025】
ネットワークシステム100は、ストリーム転送機能、クラスター監視機能、および主制御機能を含む。ストリーム転送機能は、ストリームを転送する機能である。クラスター監視機能は、クラスターの状態を監視する機能である。主制御機能は、ネットワーク102全体の通信端末間のセッションを開始させ、セッション構成を調整する機能である。これらの機能は、1つまたは複数の通信端末に共存または分散し得る論理エンティティである。
【0026】
例えば、全てのノードa〜ノードoは、ストリーム転送機能を有する。また、これらのうち、ノードa、ノードd、およびノードfは、更にクラスター監視機能を有し、ルート端末であるノードaは、更に主制御機能を有する。すなわち、ネットワークシステム100は、クラスター毎に、クラスター監視機能を有するノードを1つずつ配置している。
【0027】
本実施の形態では、説明の簡便化のため、ストリーム転送機能を有するストリーム転送端末と、クラスター監視機能を有するクラスター監視端末と、主制御機能を有する主制御端末とを想定する。
【0028】
以下、通信端末の構成を、主制御端末、クラスター監視端末、およびストリーム転送端末に分けて説明する。
【0029】
図3は、各装置の構成の一例を示すブロック図である。なお、図中括弧書きの数字は、情報の流れを補足的に説明するためのものである。
【0030】
図3に示すように、ストリーム転送端末410は、ストリーミング管理部411およびAVストリーム通信部412を有する。
【0031】
ストリーミング管理部411は、他のストリーム転送端末(図示せず)との間でセッションを確立するための制御モジュールである。
【0032】
ストリーミング管理部411は、ストリーム転送端末410自身が加入端末である場合には、後述の主制御端末420の端末コーディネータ421に対して、クラスター監視端末430のコンタクト情報を要求する(448)。そして、ストリーミング管理部411は、コンタクト情報が示すクラスター監視端末430に対して加入要求を開始する(456)と共に、そのコンタクト情報をクラスター監視端末接続情報として保持する。
【0033】
また、ストリーミング管理部411は、ストリーム転送端末410が送信したパケットを受信する他のストリーム転送端末からネットワークリンク損失率情報を収集する。この収集は、例えば、損失パケット数およびRTPシーケンス番号(RTP sequence number)を格納したパケットを、下流の各ストリーム転送端末から受信することによって行われる。なお、損失パケット数およびRTPシーケンス番号(RTP sequence number)を格納したパケットとは、RTCP LOSS VIDEO パケットまたはRTCP LOSS AUDIO パケット等である。そして、ストリーミング管理部411は、定期的に、コンタクト情報が示すクラスター監視端末430に対して、ネットワークリンク損失率を含むネットワークリンク品質情報(456:後述の図9参照)を送信する。すなわち、ストリーミング管理部411は、ストリーム転送端末410が属するクラスターのクラスター監視端末に対して、ローカルクラスター内のネットワークリンク品質情報を、定期的に送信する。なお、クラスター監視端末は、以下「ストリーム転送端末410が属するクラスター監視端末」という。
【0034】
AVストリーム通信部412は、セッションを通じて、AVコンテンツのストリームデータパケットを送信、中継、および受信するための、データストリーム転送モジュールである。
【0035】
このようなストリーム転送端末410は、ストリームデータの発信、中継、および受信を行いつつ、ストリーム転送端末410が属するクラスター監視端末430に対してネットワークリンク品質情報を定期的に送信することができる。
【0036】
また、図3に示すように、主制御端末420は、端末コーディネータ421およびしきい値規定部422を有する。
【0037】
端末コーディネータ421は、ストリーム転送端末410が加入端末である場合に、ストリーム転送端末410とクラスター監視端末430との間の通信を容易にするためのランデブーポイントとして機能する。また、端末コーディネータ421は、各クラスター監視端末430に対してクラスター情報の配信を行う(480)。クラスター情報とは、セッション全体または任意のクラスターの通信端末、ネットワークパス、ネットワークリンク遅延情報、およびクラスター遅延情報を示す情報である(後述の図17参照)。
【0038】
しきい値規定部422は、全てのクラスター監視端末430から、クラスター品質率およびクラスター持続可能性率を含む持続可能性情報(後述の図11参照)を、定期的に収集する。そして、しきい値規定部422は、収集した持続可能性情報の内容に応じて、クラスター品質しきい値およびクラスター持続可能性しきい値を調整し、確定する。そして、しきい値規定部422は、調整後のクラスター品質しきい値およびクラスター持続可能性しきい値を含むしきい値情報(後述の図8参照)を、全てのクラスター監視端末430へ送信する(450)。
【0039】
このような主制御端末420は、加入端末のセッションへの追加を行うと共に、ネットワーク102全体の状態に応じて、クラスター品質しきい値およびクラスター持続可能性しきい値を調整することができる。
【0040】
また、図3に示すように、クラスター監視端末430は、クラスター管理部431、クラスター品質算出部432、クラスター持続可能性算出部433、クラスター分割/統合分析部434、およびクラスターメトリクスデータベース(DB)435を有する。
【0041】
クラスター管理部431は、主制御端末420のしきい値規定部422から、しきい値情報(後述の図8参照)を受信し(450)、受信したしきい値情報をクラスター分割/統合分析部434へ渡す(478)。また、クラスター監視端末430が監視するクラスターに属する、全てのストリーム転送端末410のストリーミング管理部411から定期的に送信される、ネットワークリンク品質情報(後述の図9参照)を受信する(456)。クラスター管理部431は、定期的にネットワークリンク品質情報を受信する毎に、受信したネットワークリンク品質情報を、クラスター持続可能性算出部433およびクラスター品質算出部432へそれぞれ出力する(470、472)。また、クラスター管理部431は、同一ストリーム中継経路中に存在する他のクラスター監視端末(図示せず)との間で、クラスターメトリクス情報を交換する。このクラスターメトリクス情報は、クラスター内の状態を他のクラスター監視端末に通知するための情報であり、低損失リンクの数と低品質のネットワークリンクのリストとを含む情報である(後述の図10参照)。そして、クラスター管理部431は、交換されたクラスターメトリクス情報を、クラスター持続可能性算出部433へ出力する(470)。
【0042】
また、クラスター管理部431は、後述のクラスター分割/統合分析部434から、クラスター分割が必要である旨を通知されたとき、分割後の各クラスターにおいてクラスター監視端末となるストリーム転送端末410を選択する。このとき、クラスター管理部431は、ルート端末からの遅延が最も少なく、かつ、低品質リンクを形成しないストリーム転送端末410を、選択する。そして、クラスター管理部431は、クラスター分割のトリガーとなるクラスター分割要求(後述の図12参照)を、選択したストリーム転送端末410へ送信する(456)。
【0043】
クラスター分割要求を受理したストリーム転送端末410は、新たなクラスター監視端末430となる。新たなクラスター監視端末430におけるクラスター管理部431は、監視下にある全てのストリーム転送端末410に関する情報を更新する。そして、クラスター管理部431は、最新のクラスター情報を主制御端末420へ問い合わせる(480)。そして、クラスター管理部431は、新たに監視下となったストリーム転送端末410のそれぞれのネットワークリンク遅延情報を更新する(456)。そして、クラスター管理部431は、クラスター情報およびネットワークリンク遅延情報を受信すると、クラスター間パス構築処理を実行する。クラスター間パス構築処理は、ローカルクラスターの親クラスターを決定し、ローカルクラスター内部のストリーム中継経路を構築する処理である。クラスター間パス構築処理の詳細については後述する。また、このクラスター間パス構築処理は、クラスター分割を要求して受理されたストリーム転送端末410においても実行される。
【0044】
また、クラスター管理部431は、後述のクラスター分割/統合分析部434から、クラスターの統合が必要である旨を通知されたとき、統合相手となるクラスターのクラスター監視端末430を選択する。そして、クラスター管理部431は、選択したクラスター監視端末(図示せず)へ、クラスター統合のトリガーとなるクラスター統合要求(後述の図21参照)を送信する。また、クラスター管理部431は、統合後のクラスターにおいてクラスター監視端末となる通信端末を選択する。以下、クラスター統合要求を送信した側は「統合側」といい、クラスター統合要求を受理した側は「被統合側」という。
【0045】
統合側のクラスター監視端末430および被統合側のクラスター監視端末430におけるクラスター管理部431は、監視下にある全てのストリーム転送端末410に関する情報を更新する。統合側のクラスター管理部431は、最新のクラスター情報を主制御端末420に問い合わせる(480)。そして、統合側のクラスター管理部431は、監視下にあるストリーム転送端末410のそれぞれのネットワークリンク遅延情報を更新する(456)。そして、統合側のクラスター監視端末430は、クラスター情報およびネットワークリンク遅延情報を受信すると、クラスター間パス構築処理を実行する。
【0046】
そして、クラスター管理部431は、新たなクラスターのクラスター監視端末430のコンタクト情報を含む、更新クラスター情報を、監視下にある全てのストリーム転送端末410へ送信する(456)。更新クラスター情報(後述の図20参照)とは、例えば、ローカルクラスターの通信端末、ネットワークパス、ネットワークリンク遅延情報、クラスター遅延情報、およびローカルクラスターのクラスター分割/統合の状態等を示す情報である。但し、新たなクラスターから監視下のストリーム転送端末410へと送信される更新クラスター情報には、送信元のIPアドレス、新たなクラスターにおける通信端末の総数n、および各通信端末のIPアドレスのみが記述されるものとする。これは、後述のクラスター変更要求(後述の図14参照)と同じ内容である。また、クラスター管理部431は、更新クラスター情報を、主制御端末420の端末コーディネータ421にも送信する(480)。
【0047】
クラスター持続可能性算出部433は、ネットワークリンク品質情報および上下流クラスターの低損失リンクの数に基づいて、クラスター持続可能性率を算出し、クラスター分割/統合分析部434へ出力する(474)。
【0048】
クラスター品質算出部432は、ネットワークリンク品質情報に基づいて、クラスター品質率を算出し、クラスター分割/統合分析部434へ出力する(476)。
【0049】
クラスター分割/統合分析部434は、しきい値情報と、クラスター持続可能性率およびクラスター品質率とに基づいて、クラスター監視端末430に属するクラスターの分割または統合が必要であるか否かを決定する。より具体的には、クラスター分割/統合分析部434は、ローカルクラスターのクラスター品質が低い場合には、クラスター分割を決定する。また、クラスター分割/統合分析部434は、ローカルクラスターについて、クラスター品質が高く、かつ、クラスター持続可能性が低い場合には、親クラスターとのクラスター統合を決定する。そして、クラスター分割/統合分析部434は、決定結果を、クラスター管理部431へ出力する(478)。
【0050】
クラスターメトリクスデータベース435は、低品質のネットワークリンクのリストを含む、全てのデータベース情報を格納する。データベース情報は、しきい値情報、ネットワークリンク品質情報、クラスターメトリクス情報、クラスター統合要求、クラスター変更要求、および持続可能性情報を含む。
【0051】
このようなクラスター監視端末430は、ローカルクラスターに対して、受信すべきパケットの損失が多い場合には、分割を決定することができる。また、クラスター監視端末430は、ローカルクラスターに対して、加入端末の受け入れが困難である場合には、親クラスターとの統合を決定することができる。すなわち、クラスター監視端末430は、ストリーム中継経路の品質を確保しつつ、加入端末の追加が速やかに行われるような、クラスター編成を決定することができる。また、クラスター監視端末430は、ローカルクラスターと他のクラスターとの間のストリーム中継経路と、ローカルクラスター内部のストリーム中継経路とを構築することができる。
【0052】
なお、主制御端末420、ストリーム転送端末410、およびクラスター監視端末430は、図示しないが、例えば、CPU(central processing unit)、制御プログラムを格納したROM(read only memory)等の記憶媒体、RAM(random access memory)等の作業用メモリ、および通信回路等をそれぞれ有する。この場合、上記した各装置の各部の機能は、CPUが制御プログラムを実行することにより実現される。
【0053】
次に、ネットワークシステム100の動作について説明する。最初に、システム全体の動作について説明する。
【0054】
図4は、ネットワークシステム100全体の動作の一例を示すフローチャートである。
【0055】
まず、ルート端末(図2のノードa)は、セッションを開始し、指定された品質のストリームにより、AVストリームの配信を開始する(S1010)。ストリーム転送の継続中、各ストリーム転送端末410は、自己に接続する各ネットワークリンクの品質を監視し、監視結果を、ネットワークリンク品質情報(後述の図9参照)に含めて、定期的にクラスター監視端末430へ報告する。
【0056】
そして、ストリーム転送の継続中に、クラスター監視端末430は、ローカルクラスターの各ストリーム転送端末410から報告されたネットワークリンク品質情報に基づいて、クラスター品質を算出する(S1020)。そして、ストリーム転送の継続中に、クラスター監視端末430は、ローカルクラスターの各ストリーム転送端末410から報告されたネットワークリンク品質情報に基づいて、クラスター持続可能性を算出する(S1030)。
【0057】
また、クラスター監視端末430は、他のクラスター監視端末から受信したクラスターメトリクス情報と、ツリーベースのストリーム中継経路とに基づいて、低品質のネットワークリンクを特定する(S1040)。ネットワークリンクは、ネットワークリンク損失率がほぼゼロである場合には、高品質に分類され、逆に、ネットワークリンク損失率が比較的高い場合には、低品質に分類される。例えば、クラスター監視端末430は、ネットワークリンク損失率が予め定めた閾値以上となるネットワークリンクを、低品質のネットワークリンクに分類するようにしても良い。あるいは、クラスター監視端末430は、1つ上流側のネットワークリンクとの間で、ネットワークリンク損失率の差もしくは比率が閾値以上となっているネットワークリンクを、低品質のネットワークリンクに分類するようにしても良い。
【0058】
そして、クラスター監視端末430は、算出されたクラスター品質率およびクラスター持続可能性率に基づいて、クラスター分割/統合を決定する。そして、クラスター監視端末430は、クラスター分割要求(後述の図12参照)またはクラスター統合要求(後述の図21参照)を、他のクラスター監視端末へ送信することにより、クラスター分割/統合を開始する(S1050)。
【0059】
この結果、ネットワークシステム100は、必要に応じてクラスター分割/統合を行う。すなわち、ネットワークシステム100は、低品質のネットワークリンクを回避し、指定されたストリーム品質に対応する十分な帯域幅をもつ、低遅延ベースのストリーム中継経路(配送木)を再構築する(S1060)。
【0060】
このように、ネットワークシステム100は、AVストリームを配信しながら、クラスター分割/統合の要否を判定し、適宜、クラスターを分割/統合して、低遅延ベースのストリーム中継経路に再構築するようになっている。
【0061】
次に、ネットワークシステム100における情報交換の流れについて説明する。
【0062】
図5は、クラスター分割/統合が決定されるまでの装置間の情報交換の流れの一例を示すシーケンス図である。ここでは、説明の簡便化のため、1つの主制御端末420、2つのクラスター監視端末430、および1つのストリーム転送端末410のみを図示する。
【0063】
ストリーム転送端末410は、セッションに加入しようとする際に、主制御端末420に対してコンタクト情報の要求を送信する(S502)。この結果、第1のクラスター監視端末430−1を含む1つまたは複数のクラスター監視端末430のコンタクト情報が、返信される(S504)。ストリーム転送端末410は、受信したコンタクト情報に従って、第1のクラスター監視端末430−1を含む1つまたは複数のクラスター監視端末430に対して、加入要求を送信する(S506)。ここでは、ストリーム転送端末410は、第1のクラスター監視端末430−1の監視下となることが決定されたものとする。
【0064】
主制御端末420は、各クラスター監視端末430に対して、しきい値情報(後述の図8参照)を送信する(S508、S510)。なお、主制御端末420は、セッション中にも、ネットワーク状態や各通信端末の能力の変化等に応じて調整したしきい値情報を再送し得る。
【0065】
一方、各ストリーム転送端末410は、ストリーム転送中に、ネットワークリンク品質情報(後述の図9参照)を、そのストリーム転送端末410が属するクラスター監視端末430へ報告する(S512、S514)。
【0066】
また、各クラスター監視端末430は、受信したネットワークリンク品質情報を処理し、上流クラスターおよび下流クラスターの全てのクラスター監視端末との間で、クラスターメトリクス情報(後述の図10参照)を交換する(S516)。すなわち、各クラスター監視端末430は、経路クラスターのクラスター監視端末間で、クラスターメトリクス情報を交換する。
【0067】
その後、各クラスター監視端末430は、クラスター品質率およびクラスター持続可能性率を算出して、持続可能性情報(後述の図11参照)を主制御端末420へ送信する(S518、S520)。
【0068】
以上の動作により、各クラスター監視端末430−1、430−2は、しきい値情報、監視下にある各ストリーム転送端末410のネットワークリンク品質情報、および他のクラスター監視端末430のクラスターメトリクス情報を取得する。そして、各クラスター監視端末430は、これらの情報を分析して、ローカルクラスターの分割/統合を行うか否かを判断する。
【0069】
図6は、クラスター分割が決定されたときの装置間の情報交換の流れの一例を示すシーケンス図である。
【0070】
第1のクラスター監視端末430−1が、ローカルクラスター内のあるストリーム転送端末410を、新たな第3のクラスター監視端末430−3として決定したものとする。この場合、第1のクラスター監視端末430−1は、決定されたストリーム転送端末410に対して、第3のクラスター監視端末430−3に設定するトリガーとなるクラスター分割要求(後述の図12参照)を送信する(S540)。なお、クラスター分割要求が拒絶された場合には、第1のクラスター監視端末430−1は、ローカルクラスター内の他のストリーム転送端末410に対してクラスター分割要求を送信することになる。
【0071】
第3のクラスター監視端末430−3は、要求を受理する場合には、その旨を示すクラスター分割応答(後述の図13参照)を返信する(S542)。そして、第3のクラスター監視端末430−3は、新たなクラスター内の、つまり、監視下にある全てのストリーム転送端末410に対して、遅延測定のトリガーとして、クラスター変更要求(後述の図14参照)を送信する(S544)。
【0072】
クラスター変更要求を受信したストリーム転送端末410は、同一のクラスター内の他の全ての端末との間の遅延時間を測定し、測定結果であるネットワーク遅延情報を含めたクラスター変更応答(後述の図15参照)を返信する(S546)。また、クラスター変更要求を受信したストリーム転送端末410は、以降のネットワークリンク損失率情報が、第3のクラスター監視端末430−3に送信されるように、そのクラスター監視端末接続情報を更新する。
【0073】
分割により形成された2つのクラスターは、それぞれのローカルクラスター内部のストリーミング中継経路を再構築する。クラスター分割の要求元のクラスター監視端末430は、既に、ストリーミング中継経路を再構築するのに必要な全てのクラスター情報を取得している。したがって、新たな第3のクラスター監視端末430−3のみが、主制御端末420に対してクラスター情報を問い合わせて新たに取得する。同時に、新たな第3のクラスター監視端末430−3は、自身を、主制御端末420へ登録する。この問い合わせおよび登録は、主制御端末420に対して、「新規」ステータスのクラスター情報要求(後述の図16参照)を送信することによって行われる(S548)。主制御端末420は、この要求の応答として、セッション内の全てのクラスターについてのクラスター情報(後述の図17参照)を返信する(S550)。
【0074】
新たな第3のクラスター監視端末430−3は、クラスター情報およびクラスター変更応答の受信により、ローカルクラスターのストリーミング中継経路を構築するために必要な全ての情報を取得する。すなわち、新たな第3のクラスター監視端末430−3は、IPアドレス、低品質リンクのネットワークリンクのリスト、更新されたネットワークリンク遅延情報、セッションのネットワーク中継経路、クラスター遅延情報等を取得する。そして、新たな第3のクラスター監視端末430−3は、クラスター間パス構築処理を実行する(S551)。
【0075】
新たな第3のクラスター監視端末430−3は、このクラスター間パス構築処理において、第2のクラスター監視端末430−2を親クラスターの候補としたものとする。この場合、新たな第3のクラスター監視端末430−3は、第2のクラスター監視端末430−2に対して、クラスター間の接続を要求するクラスター接続要求(後述の図18参照)を送信する(S552)。
【0076】
クラスター接続要求を受信した第2のクラスター監視端末430−2は、クラスター接続応答(後述の図19参照)を返信することにより、要求された接続関係毎に応答する(S554)。第1のクラスター監視端末430−1は、新たな第3のクラスター監視端末430−3と同様にクラスター間パス構築処理を行う(S555)。次に、第1のクラスター監視端末430−1は、「新規」ステータスの更新クラスター情報(後述の図20参照)とネットワーク中継経路情報とを、主制御端末420へフィードバックする(S556)。ネットワーク中継経路情報とは、更新クラスター情報に含まれる各通信端末のネットワークパスである。更新クラスター情報を受けて、主制御端末420は、各クラスター監視端末430に対してそのクラスターに関する部分的なクラスター情報を送信する(S558)。これにより、各クラスター監視端末430が保持するクラスター情報は更新される。
【0077】
このような動作により、クラスター分割の決定に従って、1つのクラスターが複数のクラスターに分割される。
【0078】
図7は、クラスター統合が決定されたときの装置間の情報交換の流れの一例を示すシーケンス図である。
【0079】
第1のクラスター監視端末430−1は、統合先として、図5に示す第2のクラスター監視端末430−2を選択したとする。この場合、第1のクラスター監視端末430−1は、選択した第2のクラスター監視端末430−2に対して、クラスター統合を要求するクラスター統合要求(後述の図21参照)を送信する(S570)。第2のクラスター監視端末430−2においてもクラスター統合が決定されていた場合には、このクラスター統合要求は受理され、「受理」ステータスのクラスター統合応答(後述の図22参照)が返信される(S572)。このクラスター統合応答には、第2のクラスター監視端末430−2のクラスターのネットワークリンク遅延情報および低品質のネットワークリンクのリストが、含まれる。なお、クラスター統合要求が拒絶された場合には、第1のクラスター監視端末430−1は、次の他のクラスター監視端末を選択してクラスター統合要求を送信することになる。
【0080】
クラスター統合要求が受理されると、第1のクラスター監視端末430−1は、ローカルクラスター内の全てのストリーム転送端末410に対して、遅延測定のトリガーとなるクラスター変更要求(後述の図14参照)を送信する(S574)。
【0081】
クラスター変更要求を受信したストリーム転送端末410は、同一のクラスター内の他の全ての端末との間の遅延時間を測定し、測定結果であるネットワーク遅延情報を含むクラスター変更応答(後述の図15参照)を返信する(S575)。また、クラスター変更要求を受信したストリーム転送端末410は、以降のネットワークリンク損失率情報が、第1のクラスター監視端末430−1に送信されるように、そのクラスター監視端末接続情報を更新する。
【0082】
第1のクラスター監視端末430−1は、主制御端末420に対して、「継続」ステータスのクラスター情報要求(後述の図16参照)を送信することにより、ローカルクラスターに関する部分的なクラスター情報を要求する(S578)。主制御端末420は、要求された部分的なクラスター情報(後述の図17参照)を返信する(S580)。
【0083】
第1のクラスター監視端末430−1は、クラスター情報およびクラスター変更応答の受信により、ローカルクラスターのストリーミング中継経路を構築するために必要な全ての情報を取得する。すなわち、第1のクラスター監視端末430−1は、IPアドレス、低品質リンクのネットワークリンクのリスト、更新されたネットワークリンク遅延情報、セッションのネットワーク中継経路、クラスター遅延情報等を取得する。そして、第1のクラスター監視端末430−1は、クラスター間パス構築処理を実行する(S581)。
【0084】
第1のクラスター監視端末430−1は、このクラスター間パス構築処理において、第3のクラスター監視端末430−3を親クラスターの候補としたものとする。この場合、第1のクラスター監視端末430−1は、第3のクラスター監視端末430−3に対してクラスター接続要求(後述の図18参照)を送信する(S582)。
【0085】
クラスター接続要求を受信した第2のクラスター監視端末430−2は、クラスター接続応答(後述の図19参照)を返信することにより、要求された接続関係毎に応答する(S584)。クラスター間パス構築処理が完了すると、第1のクラスター監視端末430−1は、「統合」ステータスの更新クラスター情報(後述の図20参照)およびネットワーク中継経路情報を、主制御端末420へフィードバックする(S586)。また、被統合側である第2のクラスター監視端末430−2としての機能を解除するために、第1のクラスター監視端末430−1は、例えば、2つの更新クラスター情報(後述の図20参照)を主制御端末420へ送信する(S586)。例えば、1つ目の更新クラスター情報は、新たなクラスターの情報についての情報であり、2つ目の更新クラスター情報は、解除されるクラスターについての情報である。
【0086】
そして、更新クラスター情報を受けて、主制御端末420は、その更新クラスター情報の送信元の接続先であるクラスター監視端末430(ここでは第3のクラスター監視端末430−3)に対して、そのローカルクラスター(ここでは第3のクラスター監視端末430−3のローカルクラスター)に関する部分的な(後述の図17参照)を送信する(S588)。そのクラスター監視端末430が保持するクラスター情報は、更新される。
【0087】
このような動作により、クラスター統合の決定に従って、複数のクラスターが1つのクラスターに統合される。
【0088】
このように、ネットワークシステム100は、装置間で、各種情報の交換を行う。
【0089】
ここで、ネットワークシステム100で交換される各情報の構成について説明する。
【0090】
図8は、しきい値情報の構成の一例を示す図である。
【0091】
図8に示すように、しきい値情報600は、クラスター品質しきい値602、クラスター持続可能性しきい値604、およびタイムスタンプ606を含む。タイムスタンプ606は、クラスター品質しきい値602およびクラスター持続可能性しきい値604が主制御端末420において確定された時刻を示す。
【0092】
図9は、ネットワークリンク品質情報の構成の一例を示す図である。
【0093】
図9に示すように、ネットワークリンク品質情報700は、ネットワークリンクID702と、このネットワークリンクID702に対応するネットワークリンク損失率情報704を含む。ここで、ネットワークリンクIDとは、ストリーム中継経路毎にユニークに割り当てられたストリーム中継経路の識別情報である。ネットワークリンク損失率情報とは、1つまたは複数(m個)のネットワークリンク損失率から成る情報である。
【0094】
図10は、クラスターメトリクス情報の構成の一例を示す図である。
【0095】
図10に示すように、クラスターメトリクス情報800は、クラスターID802と、このクラスターID802に対応する低損失リンクの数804およびネットワークリンクIDのリスト806とを含む。ここで、クラスターIDとは、クラスター毎にユニークに割り当てられたクラスターの識別情報であり、例えばクラスター監視端末430のIPアドレスや、主制御端末420によって割り当てられた数値である。ネットワークリンクIDのリスト806は、クラスターID802が示すクラスター中の(n個の)低品質リンクのネットワークIDのリストである。
【0096】
図11は、持続可能性情報の構成の一例を示す図である。
【0097】
図11に示すように、持続可能性情報900は、クラスターID902と、クラスターID902が示すクラスターのクラスター品質率904およびクラスター持続可能性率906とを含む。
【0098】
図12は、クラスター分割要求の構成の一例を示す図である。
【0099】
図12に示すように、クラスター分割要求2500は、新たなクラスターにおける通信端末の総数(n)2502と、その新たなクラスターに属するn個の通信端末のIPアドレス2504とを含む。また、クラスター分割要求2500は、新たなクラスターにおけるネットワークリンク遅延情報の総数(m)2506と、そのm個のネットワーク遅延情報2508とを含む。更に、クラスター分割要求2500は、新たなクラスターにおける低品質のネットワークリンクの総数(p)2510と、そのp個の低品質のネットワークリンクのリスト2512とを含む。
【0100】
図13は、クラスター分割応答の構成の一例を示す図である。
【0101】
図13に示すように、クラスター分割応答2600は、「受理」および「拒絶」のいずれかを示す応答ステータス2602を含む。
【0102】
図14は、クラスター変更要求の構成の一例を示す図である。
【0103】
図14に示すように、クラスター変更要求2700は、要求元のクラスター監視端末430(つまりネットワーク品質情報の報告先)のIDアドレス2702と、新たなクラスターに属する通信端末の総数(n)2704と、そのn個の通信端末のIPアドレス2706とを含む。
【0104】
図15は、クラスター変更応答の構成の一例を示す図である。
【0105】
図15に示すように、クラスター変更応答2800は、「受理」および「拒絶」のいずれかを示す応答ステータス2802を含む。また、クラスター変更応答2800は、新たクラスターについて測定されたネットワーク遅延情報の総数(m)2804と、そのm個のネットワーク遅延情報2806とを含む。
【0106】
図16は、クラスター情報要求の構成の一例を示す図である。
【0107】
図16に示すように、クラスター情報要求2900は、要求元のクラスター監視端末430のクラスターID2902と、「新規」および「継続」のいずれかを示す要求ステータス2904を含む。
【0108】
図17は、クラスター情報の構成の一例を示す図である。
【0109】
図17に示すように、クラスター情報3000は、クラスター監視端末430のリスト3002と、セッションに参加している通信端末の総数(n)3004と、そのn個の通信端末のIPアドレス3006とを含む。また、クラスター情報3000は、そのn個の通信端末がそれぞれ属するクラスターID3008と、各通信端末のネットワークパス3010とを含む。また、クラスター情報3000は、セッションにおけるネットワーク遅延情報の総数(m)3012と、そのm個のネットワークリンク遅延情報3014とを含む。また、クラスター情報3000は、セッションにおけるクラスターの総数(p)3016と、そのp個のクラスターのそれぞれのクラスター遅延情報3018とを含む。
【0110】
なお、クラスター情報3000は、クラスター毎の部分的な情報のみが要求されている場合には、要求された情報に削減されたものであっても良い。これは、上述の、部分的なクラスター情報に相当する。
【0111】
図18は、クラスター接続要求の構成の一例を示す図である。
【0112】
図18に示すように、クラスター接続要求3100は、要求元のクラスター監視端末430のクラスターID3102と、新たな子クラスター(つまり要求側のクラスター)に接続すべきネットワークリンクの総数(n)3104とを含む。また、クラスター接続要求3100は、そのn個のネットワークリンクの、上流側の通信端末のIPアドレス3106および下流側の通信端末のIPアドレス3108を含む。そして、クラスター接続要求3100は、ネットワークリンク毎の、「接続」および「切断」のいずれかを示す要求ステータス3110を含む。「接続」ステータスは、新たにパスの接続を要求するためのステータスである。「切断」ステータスは、既存のパスの切断を要求するためのステータスである。なお、パスの切断は、例えば、より好ましいクラスター接続が存在するときに決定される。
【0113】
図19は、クラスター接続応答の構成の一例を示す図である。
【0114】
図19に示すように、クラスター接続応答3200は、応答元のクラスター監視端末430のクラスターID3202と、新たな子クラスター(つまり要求側のクラスター)に接続すべきネットワークリンクの総数(n)3204とを含む。また、クラスター接続要求3100は、そのn個のネットワークリンクの、上流側の通信端末のIPアドレス3206および下流側の通信端末のIPアドレス3208を含む。そして、クラスター接続要求3100は、ネットワークリンク毎の、「受理」および「拒絶」のいずれかを示す応答ステータス3210を含む。
【0115】
図20は、更新クラスター情報の構成の一例を示す図である。
【0116】
図20に示すように、更新クラスター情報3300は、送信元のクラスター監視端末430のクラスターIDと3302と、送信元のクラスターに属する通信端末の総数(n)3304とを含む。また、更新クラスター情報3300は、そのn個の通信端末のIPアドレス3306と、各通信端末のネットワークパス3308とを含む。また、更新クラスター情報3300は、クラスター内におけるネットワーク遅延情報の総数(m)3310と、そのm個のネットワークリンク遅延情報3312とを含む。また、更新クラスター情報3300は、クラスター遅延情報3314と、「統合」、「被統合」、および「新規」のいずれかを示す情報ステータス3316とを含む。
【0117】
図21は、クラスター統合要求の構成の一例を示す図である。
【0118】
図21に示すように、クラスター統合要求3400は、要求元のクラスター監視端末430のクラスターID(IPアドレス)3402と、要求元のクラスターにおける通信端末の総数(n)3404を含む。また、クラスター統合要求3400は、要求元のクラスターの、クラスター品質率3406およびクラスター持続可能性率3408を含む。
【0119】
図22は、クラスター統合応答の構成の一例を示す図である。
【0120】
図22に示すように、クラスター統合応答3500は、「受理」および「拒絶」のいずれかを示す応答ステータス3502を含む。また、クラスター統合応答3500は、被統合クラスターにおけるネットワーク遅延情報の総数(m)3504と、そのm個のネットワーク遅延情報3506とを含む。また、クラスター統合応答3500は、低品質のネットワークリンクの数(p)3508と、そのp個の低品質のネットワークリンクのリスト3510とを含む。
【0121】
次に、クラスター監視端末430の動作について説明する。
【0122】
図23は、クラスター監視端末430の動作の一例を示すフローチャートである。
【0123】
まず、ステップS2010において、クラスター管理部431は、主制御端末420からしきい値情報(図8参照)を受信したか否かを判断する(図5のステップS508、S510に対応)。クラスター管理部431は、しきい値情報を受信した場合には(S2010:YES)、ステップS2020へ進む。また、クラスター管理部431は、しきい値情報を受信していない場合には(S2010:NO)、その次のステップS2030へ進む。
【0124】
ステップS2020において、クラスター管理部431は、受信したしきい値情報をクラスターメトリクスデータベース435に記憶させて、ステップS2030へ進む。
【0125】
ステップS2030において、クラスター管理部431は、ローカルクラスターのストリーム転送端末410から、ネットワークリンク品質情報(図9参照)を取得する。また、クラスター管理部431は、クラスターメトリクス情報を生成するのに必要な全てのネットワークリンク品質情報(図9参照)を受信したか否かを判断する(図5のステップS512、S514に対応)。クラスター管理部431は、全てのネットワークリンク品質情報を受信した場合には(S2030:YES)、受信した全てのネットワークリンク品質情報をクラスター品質算出部432へ出力する。そして、クラスター管理部431は、ステップS2040へ進む。また、クラスター管理部431は、全てのネットワークリンク品質情報を受信していない場合には(S2030:NO)、その次のステップS2050へ進む。
【0126】
ステップS2040において、クラスター品質算出部432は、入力されたネットワークリンク品質情報から、低品質のネットワークリンクを特定する。そして、クラスター品質算出部432は、低品質のネットワークリンクのリストと低損失リンクの数とを含むクラスターメトリクス情報(図10参照)を生成する。そして、クラスター品質算出部432は、生成したクラスターメトリクス情報を、クラスター管理部431を介して他のクラスター管理端末へ送信して(図5のステップS516に対応)、ステップS2050へ進む。
【0127】
ステップS2050において、クラスター管理部431は、他のクラスター監視端末から、クラスター分割/統合の分析に必要な全てのクラスターメトリクス情報を受信したか否かを判断する。ここで、全てのクラスターメトリクス情報とは、上流クラスターおよび下流クラスターの全てのクラスター(以下「経路クラスター」という)について、生成されたクラスターメトリクス情報である。クラスター管理部431は、全てのクラスターメトリクス情報を受信した場合には(S2050:YES)、ステップS2060へ進み、受信したクラスターメトリクス情報を記憶する。また、クラスター管理部431は、全てのクラスターメトリクス情報を受信していない場合には(S2050:NO)、その次のステップS2070へ進む。
【0128】
ステップS2070において、クラスター管理部431は、クラスター分割/統合の分析のタイミングが到来したか否かを判断する。このタイミングは、例えば、上述の全てのネットワークリンク品質情報および全てのクラスターメトリクス情報の取得が完了したタイミングでも良いし、前回の分析から所定の時間が経過したタイミングでも良い。
【0129】
具体的には、例えば、各クラスター監視端末430のクラスター管理部431は、クラスター毎に異なるタイミングでクラスター分割/統合の分析を行うようにしても良い。この場合、クラスター管理部431は、タイマーに従って周期的な分析タイミングを形成すると共に、その周期毎に、必要な全ての情報(ネットワークリンク品質情報、クラスターメトリクス情報)の収集を行う。周期の長さはシステム設計に応じて任意の値を設定することができる。周期が短い場合、クラスター分割/統合は、頻繁に行われることになり、頻繁にネットワーク中継経路が変更されることになる。また、周期が短い場合、クラスター分割/統合は、より長い期間でのパケット損失率に基づいて決定されることになる。このように周期的に情報収集が行われる場合には、全ての情報が収集されたか否かの逐次の判定は、必ずしも行われなくても良い。
【0130】
クラスター管理部431は、クラスター分割/統合の分析のタイミングが到来した場合には(S2070:YES)、ステップS2080へ進む。その際、クラスター管理部431は、ネットワークリンク品質情報(図9参照)およびクラスターメトリクス情報(図10参照)を、クラスター持続可能性算出部433およびクラスター品質算出部432へそれぞれ出力する。その後、クラスター管理部431は、また、クラスター管理部431は、当該タイミングが到来していない場合には(S2070:NO)、後述のステップS2130へ進む。
【0131】
ステップS2080において、クラスター品質算出部432は、クラスター品質率を算出するクラスター品質決定処理を実行する(図4のステップS1020に対応)。また、続くステップS2090において、クラスター持続可能性算出部433は、持続可能性率を算出する持続可能性決定処理を実行する(図4のステップS1030に対応)。その結果、クラスター分割/統合分析部434には、クラスター監視端末430のローカルクラスターのクラスター品質率およびクラスター持続可能性率が入力される。これらの処理の詳細については、後述する。
【0132】
そして、ステップS2100において、クラスター分割/統合分析部434は、クラスター管理部431を介して、持続可能性情報(図11参照)を、主制御端末420へ送信する(図5のステップS518、S520に対応)。この持続可能性情報は、クラスターのクラスター品質率およびクラスター持続可能性率を含む。
【0133】
そして、ステップS2110において、クラスター品質算出部432は、低品質ネットワークを決定する低品質ネットワーク決定処理を実行する(図4のステップS1040に対応)。また、続くステップS2120において、クラスター分割/統合分析部434は、クラスターの分割/統合を決定するためのクラスター分割/統合処理を実行して(図4のステップS1050、S1060に対応)、ステップS2130へ進む。この結果、適宜、クラスターの分割/統合が行われる。これらの処理の詳細については、後述する。
【0134】
図24は、クラスター品質決定処理(ステップS2080)の詳細の一例を示すフローチャートである。
【0135】
まず、ステップS2081において、クラスター品質算出部432は、ローカルクラスターの全てのストリーム転送端末410から、ネットワークリンク品質情報(図9参照)を収集する。そして、クラスター品質算出部432は、ネットワークリンク当りの送信パケット数に対する損失パケット数の比率(つまりネットワークリンク損失率)を算出する。
【0136】
そして、ステップS2082において、クラスター品質算出部432は、クラスター内の全てのネットワークリンク損失率の平均を1から差し引いた値を、クラスター品質率として算出する。そして、クラスター品質算出部432は、算出したクラスター品質率を、クラスター分割/統合分析部434へ出力する。
【0137】
図25は、持続可能性決定処理(ステップS2090)の詳細の一例を示すフローチャートである。また、図26は、持続可能性決定処理の説明に一例として用いるクラスター間の関係を示す図である。
【0138】
まず、ステップS2091において、クラスター持続可能性算出部433は、ローカルクラスター中の低損失リンクの数を特定する(S2091)。つまり、クラスター持続可能性算出部433は、図23のステップS2030で受信した、ネットワークリンク品質情報(図9参照)に含まれるネットワークリンク損失率情報に基づいて、ローカルクラスター中の低損失リンクの数を特定する。
【0139】
そして、ステップS2092において、クラスター持続可能性算出部433は、図23のステップS2050で受信したクラスターメトリクス情報(図10参照)から、経路クラスターのそれぞれの低損失リンクの数を取得する。そして、クラスター持続可能性算出部433は、経路クラスター毎に、親クラスターの低損失リンクの数に対する、親クラスターとローカルクラスターとの間の低損失リンクの差分の比(以下、「対親低損失リンク比」という)を算出する。但し、親クラスターを有さない最も上流のクラスターは除かれる。ここで、Ziを、ローカルクラスターの低損失リンクの数とし、Zpを、親クラスターの低損失リンクの数とすると、対親低損失リンク比aiは、以下の式(1)で表される。
ai = Δ(Zp,Zi)/Zp= (Zp−Zi)/Zp ・・・(1)
【0140】
ここで、クラスター間の関係は、図26に示すように、クラスターAを頂点とするクラスターA〜クラスターE(1500〜1508)を想定する。クラスターCは、クラスターDの親クラスターであり、クラスターEは、クラスターDの子クラスターである。また、クラスターAおよびクラスターCは、クラスターDの上流クラスターであり、クラスターEは、クラスターDの下流クラスターである。一方、クラスターBには、クラスターC、D、Eに接続される通信端末は存在しないため、クラスターBは、クラスターC、D、Eの上流クラスターではない。しかし、クラスターBは、クラスターAの子クラスターであり、下流のクラスターである。
【0141】
この場合、例えば、クラスターDの対親低損失リンク比aDは、以下の式(2)により算出される。式(2)において、ZCは、クラスターCにおける低損失リンクの数とし、ZDは、クラスターDにおける低損失リンクの数とする。
aD = Δ(ZC,ZD)/ZC= (ZC−ZD)/ZC ・・・(2)
【0142】
そして、ステップS2093において、クラスター持続可能性算出部433は、経路クラスター毎に、ローカルクラスターの低損失リンクの数に対する、ローカルクラスターと子クラスターとの間の低損失リンクの差分の比を算出する。なお、ローカルクラスターの低損失リンクの数に対する、ローカルクラスターと子クラスターとの間の低損失リンクの差分の比は、以下、「対子低損失リンク比」という。但し、子クラスターを有さない最も下流のクラスターは除かれる。ここで、Zcを、子クラスターの低損失リンクの数とすると、対子低損失リンク比biは、以下の式(3)で表される。
bi = Δ(Zc,Zi)/Zi= (Zi−Zc)/Zi ・・・(3)
【0143】
なお、クラスター持続可能性率に対親低損失リンク比aiだけでなく対子低損失リンク比biを用いるのは、全てのクラスターにおいて一様に高いクラスター持続可能性を実現するためである。また、クラスター分割/統合の実行は、AVストリームの品質の保証の観点から、必要最小限に抑えられることが望ましいためである。
【0144】
例えば、子クラスターに、親クラスターとしてローカルクラスターだけでなく他のクラスターも接続されている場合、子クラスターのほうが低損失リンクの数が少ない場合が起こり得る。したがって、上流側とだけでなく下流側との比較を行うことにより、セッション全体を基準とした、新たな通信端末の加入を受け入れることができる能力の指標値を得ることができる。そして、セッション全体を基準とすることにより、クラスター分割/統合の優先度の高いものを的確に抽出することができ、クラスター分割/統合の実行を必要最小限に抑えることが可能となる。
【0145】
例えば、図26の例において、ZEは、クラスターEにおける低損失リンクの数とする。この場合、例えば、クラスターDの対子低損失リンク比bDは、以下の式(4)により算出される。
bD = Δ(ZE,ZD)/ZD= (ZD−ZE)/ZD ・・・(4)
【0146】
そして、ステップS2094において、クラスター持続可能性算出部433は、経路クラスターの全ての対親低損失リンク比のうちの最大値に対する比(以下「対親最大値比」という)を算出する。経路クラスターの全ての対親低損失リンク比のうちの最大値をMax({aj})と置くと、対親最大値比ciは、以下の式(5)で表される。
ci = ai/Max({aj}) ・・・(5)
【0147】
例えば、図26の例において、クラスターDの対親最大値比cDは、以下の式(6)により算出される。
cD = aD/Max(aA,aC,aD,aE) ・・・(6)
【0148】
そして、ステップS2095において、クラスター持続可能性算出部433は、経路クラスターの全ての対子低損失リンク比のうちの最大値に対する比(以下「対子最大値比」という)を算出する。経路クラスターの全ての対子低損失リンク比のうちの最大値をMax({bj})と置くと、対子最大値比diは、以下の式(7)で表される。
di = bi/Max({bj}) ・・・(7)
【0149】
例えば、図26の例において、クラスターDの対子最大値比dDは、以下の式(8)により算出される。
dD = bD/Max(bA,bC,bD,bE) ・・・(8)
【0150】
そして、ステップS2096において、クラスター持続可能性算出部433は、経路クラスターのそれぞれについて、対親最大値比ciと対子最大値比diとの平均値を、正規化前クラスター持続可能性率として算出する。すなわち、正規化前クラスター持続可能性率eiは、以下の式(9)により表される。
ei = (ci+di)/2 ・・・(9)
【0151】
なお、複数の子クラスターが存在する場合には、子クラスターの数をnとすると、対親低損失リンク比aiおよび対子低損失リンク比biは、以下の式(10)および式(11)でそれぞれ表される。
ai =[(Zp1−Zi)/Zp1] + … + [(Zpn−Zi)/Zpn] ・・・(10)
bi =[(Zi−Zc1)/Zi] + … + [(Zi−Zcm)/Zi] ・・・(11)
【0152】
そして、ステップS2097において、クラスター持続可能性算出部433は、ローカルクラスターの正規化前クラスター持続可能性率を、経路クラスターの全ての正規化前クラスター持続可能性率のうちの最大値で除する。これにより、クラスター持続可能性算出部433は、正規化されたクラスター持続可能性率を算出する。すなわち、クラスター持続可能性率fiは、以下の式(10)により表される。
fi = ei/(ei + max(ej)) ・・・(10)
【0153】
図27は、低品質ネットワーク決定処理(ステップS2110)の詳細を示すフローチャートである。
【0154】
まず、ステップS2111において、クラスター品質算出部432は、ローカルクラスター内のストリーム中継経路中の、パケット損失の発生源であるネットワークリンク(つまり低品質のネットワークリンク)を特定する。パケット損失の発生源の特定は、ネットワークリンク情報およびツリーベースのストリーム中継経路に基づいて、各ネットワークリンクのパケット損失率を監視することにより可能である。
【0155】
そして、ステップS2112において、クラスター品質算出部432は、低品質のネットワークリンクのリストを作成し、作成したリストを、クラスター分割/統合分析部434へ出力する。具体的には、クラスター品質算出部432は、パケット損失の発生源であるネットワークリンクが上流側と下流側で接続する2つのストリーム転送端末410を特定する。そして、クラスター品質算出部432は、特定した2つのストリーム転送端末410の識別情報(IPアドレス等)を、低品質のネットワークリンクとしてリストアップする。
【0156】
図28は、クラスター分割/統合処理(ステップS2120)の詳細を示すフローチャートである。
【0157】
まず、ステップS2121において、クラスター分割/統合分析部434は、ローカルクラスターのクラスター品質が低いか否かを判断する。具体的には、クラスター分割/統合分析部434は、図23のステップS2080において算出されたクラスター品質率を、図23のステップS2010において取得されたクラスター品質しきい値と比較する。そして、クラスター分割/統合分析部434は、クラスター品質率がクラスター品質しきい値以上となっているか否かを判断する。クラスター分割/統合分析部434は、ローカルクラスターのクラスター品質が低い場合には(S2121:YES)、ステップS2122へ進む。また、クラスター分割/統合分析部434は、ローカルクラスターのクラスター品質が低くない場合には(S2121:NO)、ステップS2123へ進む。
【0158】
ステップS2122において、クラスター分割/統合分析部434は、ローカルクラスターを、例えばルート端末から各ストリーム転送端末410までの最大遅延に基づいて、2つに分割する。
【0159】
例えば、ローカルクラスターにノードA〜Fが属しており、ノードA〜Fのルート端末からのそれぞれの遅延時間は、この順に短いとする。この場合、例えば、遅延時間が短いノードA〜Cと遅延時間が長いノードD〜Fとにクラスターを分割するパターンが考えられる。また、例えば、遅延時間が短いノードと長いノードとを混合させて、ノードA、C、EとノードB、D、Fとに分割するパターンとが考えられる。
【0160】
そして、クラスター分割/統合分析部434は、分割により新たに生成されるクラスターについて、クラスター監視端末430を決定し、クラスター分割要求(図12参照)を送信する(図6のステップS540に対応)。そして、クラスター分割/統合分析部434は、クラスター分割要求が受け入れられた場合には、クラスター変更要求(図14参照)情報を、各ストリーム転送端末410に送信する(図6のステップS544に対応)。このクラスター変更要求は、上述の通り、新たなクラスターおよび新たなクラスター監視端末を定義するものである。そして、クラスター分割/統合分析部434は、図23のステップS2130へ進む。
【0161】
ステップS2123において、クラスター分割/統合分析部434は、ローカルクラスターのクラスター持続可能性率が高いか否かを判断する。具体的には、クラスター分割/統合分析部434は、図23のステップS2090において算出されたクラスター持続可能性を、図23のステップS2010において取得されたクラスター持続可能性しきい値と比較する。そして、クラスター分割/統合分析部434は、クラスター持続可能性がクラスター持続可能性しきい値以上となっているか否かを判断する。クラスター分割/統合分析部434は、ローカルクラスターのクラスター持続可能性品質が高くない場合には(S2123:NO)、ステップS2124へ進む。また、クラスター分割/統合分析部434は、ローカルクラスターのクラスター持続可能性品質が高い場合には(S2123:YES)、図23のステップS2130へ進む。
【0162】
ステップS2124において、クラスター分割/統合分析部434は、統合相手のクラスター監視端末430に対して、クラスター統合要求(図21参照)を送信する(図7のステップS570に対応)。そして、クラスター分割/統合分析部434は、クラスター統合要求が受け入れられた場合には、クラスター変更要求(図14参照)を、各ストリーム転送端末410に送信する(図7のステップS574に対応)。このクラスター変更要求は、上述の通り、統合後のクラスターおよびクラスター監視端末を定義するものである。そして、クラスター分割/統合分析部434は、図23のステップS2130へ進む。
【0163】
このクラスター分割/統合処理におけるクラスター分割/統合決定のルール1200は、図29のようになる。
【0164】
すなわち、クラスターの分割または統合を停止するルールは、クラスター品質およびクラスター持続可能性の両方が高いこと(つまり、パケット損失率が低く、低損失リンクが多いこと)である。このようなクラスターは、加入端末を受け入れる候補となり得るクラスターだからである。
【0165】
また、クラスターの分割を行うルールは、クラスター品質が低いこと(つまり、パケット損失率が高いこと)である。
【0166】
また、クラスターの統合を行うルールは、クラスター品質が高く、かつ、クラスター持続可能性が低いこと(つまり、パケット損失率が低く、低損失リンクが少ないこと)である。
【0167】
なお、クラスター統合処理における拒絶のルールは、例えば以下の通りである。クラスター統合要求は、全てのクラスター監視端末430に対して送信されるものとする。クラスター統合要求を受信したクラスター監視端末430は、同様にクラスター統合を決定していた場合には、そのクラスター統合要求を受理する。但し、クラスター監視端末430は、以下の条件の少なくとも1つに該当する場合には、そのクラスター統合要求を拒絶する。
(1)そのクラスター監視端末430のクラスターがクラスター統合要求の対象とすべきクラスターではないとき。クラスター統合要求の対象とならないクラスターとは、例えば、クラスター品質が高く、かつ、クラスター持続可能性が高いようなクラスターである。
(2)そのクラスター監視端末430のクラスターが、別のクラスターとの統合との最中にあるとき。
(3)そのクラスター監視端末430のクラスターに対して最後にクラスター分割/統合が行われた時からの経過時間が、所定の閾値に達していないとき。この閾値は、頻繁なクラスター分割/統合によるストリーミングの品質の低下を防止するために、クラスター分割/統合が実施される間隔として予め定められた値である。
【0168】
また、クラスター分割における拒絶のルールは、例えば、ローカルクラスターのクラスター品質が低いときである。
【0169】
このようにしてクラスター分割/統合が行われた後には、クラスター間パス構築処理が実行される。クラスター分割の場合、分割要求元のクラスター監視端末430および新たなクラスター監視端末430は、それぞれのクラスターについて、クラスター間パス構築処理を実行する。また、クラスター統合の場合、統合要求元のクラスター監視端末430のみがクラスター間パス構築処理を実行する。
【0170】
図30は、クラスター間パス構築処理の一例を示すフローチャートである。クラスター間パス構築処理は、例えば、クラスター監視端末430のクラスター管理部431により実行される。
【0171】
まず、クラスター監視端末430は、クラスター情報に基づいて、まだ親クラスターの候補として取り扱われていないクラスターの中から、ルート端末からの遅延が最も少ないクラスターを、親クラスターの候補として探索する(S3602)。そして、クラスター監視端末430は、親クラスターの候補(以下「候補クラスター」という)が存在した場合には(S3604:YES)、その候補クラスターが更に子クラスターを持つことができるか否かを判断する(S3606)。すなわち、クラスター監視端末430は、候補クラスターの現状の子クラスターの個数が、所定の最大値未満となっているか否かを判断する。この最大値は、例えば、クラスターが中継することができるストリームの最大サイズに基づいて決定される。
【0172】
クラスター監視端末430は、候補クラスターが更に子クラスターを持つことができない場合には(S3606:NO)、ステップS3602へ戻り、別の候補クラスターを探索する。また、クラスター監視端末430は、候補クラスターが更に子クラスターを持つことができる場合には(S3606:YES)、ステップS3608に進む。クラスター監視端末430は、その候補クラスターの通信端末と、ローカルクラスターの通信端末とを接続する、1つまたは複数のネットワークリンクを選択する(S3608)。このとき、クラスター監視端末430は、低品質でなく、かつ、ルート端末からの遅延が少なくなるようなネットワークリンクを選択する。
【0173】
そして、クラスター監視端末430は、候補クラスターのクラスター監視端末へ、クラスター接続要求(図18参照)を送信する(S3610)。候補クラスターのクラスター監視端末430は、このクラスター接続要求を受理した場合、要求元のクラスター監視端末430が選択したネットワークリンクを設定する。
【0174】
上述のように、クラスター分割およびクラスター統合は、1つのセッションの中で、並行して同時に行われ得る。したがって、複数のクラスター監視端末430からの複数のクラスター接続要求が1つのクラスター監視端末430に対して送信され得る。クラスター接続要求を受けた候補クラスターは、子クラスターの個数が所定の最大値を超える場合には、超える分のクラスター接続要求については拒絶する。候補クラスターは、例えば、要求の先着順に基づいてクラスターを選択しても良いし、ルート端末からの遅延がより少ないクラスターを優先的に選択しても良い。
【0175】
クラスター監視端末430は、送信したクラスター接続要求が拒絶された場合には(S3612:NO)、ステップS3602へ戻り、別の候補クラスターを探索する。一方、クラスター監視端末430は、送信したクラスター接続要求が受理された場合には(S3612:YES)、ステップS3614へ進む。そして、クラスター監視端末430は、ローカルクラスター内の全ての通信端末に対して接続先(直接に接続する上流側の通信端末、親端末)が設定されたか否かを判断する(S3614)。
【0176】
クラスター監視端末430は、接続先が設定されていない通信端末が残っている場合には(S3614:NO)、ステップS3602へ戻り、別の候補クラスターを探索する。一方、クラスター監視端末430は、クラスター内の全ての通信端末に対して接続先が設定された場合には(S3614:YES)、一連の処理を終了する。
【0177】
一方、クラスター監視端末430は、クラスター内の全ての通信端末に対して、接続先が設定されないうちに候補クラスターが存在しないと判断された場合には(S3604:NO)、ステップS3616へ進む。そして、クラスター監視端末430は、低遅延ベースのストリーム中継経路(配送木)を構築して処理を終了する(S3616)。このとき、クラスター監視端末は、低品質のネットワークリンクを避けて、接続先が設定されていない通信端末を、既に接続先が設定されたローカルクラスター内の通信端末に接続する。
【0178】
このような処理により、クラスター監視端末430は、例えば、ある候補クラスターから接続を拒絶された通信端末が存在する場合、次の候補クラスターに対して、その通信端末に対する接続を要求することになる。そして、クラスター監視端末430は、他のクラスターに直接接続することができない通信端末については、他のクラスターに直接接続することができる通信端末を介して、間接的に他のクラスターに接続することなる。
【0179】
以上のような動作により、ストリーム転送端末410は、上流クラスターと下流クラスターとの間の、クラスター持続可能性の相対的な関係に基づいて、クラスターの統合を決定することができる。より具体的には、ストリーム転送端末410は、上下クラスター間での低損失リンクの数の差が小さく、かつ、ネットワーク品質が低いクラスターを、他のクラスターと統合するように決定することができる。また、ストリーム転送端末410は、ネットワーク品質が低いクラスターを、分割するように決定することができる。
【0180】
低損失リンクは、より多くのストリーム転送端末410を下流に配置してAVコンテンツを複製・中継することが可能な、豊富なリソースであるといえる。したがって、親クラスターおよび子クラスターと比較してより多くの低損失リンクからなるクラスターは、加入端末を受け入れる余裕のある、持続可能性の高いクラスターであるといえる。
【0181】
加入端末を受け入れるスケーラビリティを保証するためには、各クラスターの持続可能性が、所定のレベルよりも高く維持されなければならない。
【0182】
また、複数のクラスターを統合することにより、統合後のクラスターは、加入端末を受け入れる余裕のある、持続可能性の高いクラスターとなる。
【0183】
そこで、各クラスター監視端末430は、上述のように、ストリーム中継経路における相対的な低損失リンクの数を示すクラスター持続可能性率と、セッション毎に設定されるクラスター持続可能性しきい値とを用いる。そして、各クラスター監視端末430は、クラスター持続可能性率がクラスター持続可能性しきい値以下となっているクラスターに対し、親クラスターまたは子クラスターとの統合を決定する。これにより、ネットワークシステム100は、各クラスターの持続可能性を、所定のレベルよりも高い状態に維持することができ、加入端末を柔軟に受け入れることが可能となる。
【0184】
また、クラスター監視端末430は、個々のクラスター品質が低いクラスターに対し、分割を決定する。高いパケット損失率は、ネットワーク状態が変化した結果といえる。ネットワークシステム100は、このようなネットワークリンクの分割により、ストリーム転送端末410の数が減少したクラスターを編成することができる。すなわち、ネットワークシステム100は、個々のストリーム転送端末410が中継する対象が減少するように、ストリーム中継経路を再設定することができる。そして、これにより、パケット損失率が高かったネットワークリンクのネットワーク負荷は低減され、そのネットワークリンク損失率が低減される。
【0185】
以下、ネットワークシステム100におけるクラスターの分割/統合の様子の一例について説明する。ここでは、初期状態のセッション構成およびクラスター構成が、図2に示す状態となっているものとする。
【0186】
上述の通り、ネットワークリンク306、310、312、320、326は、パケット損失率が高い。ここで、ネットワークリンク306が、ストリーム中継経路(ノードa〜h、ノードa〜i)中の損失の発生源として特定されたものとする。この場合、各クラスター監視端末430により、ネットワークリンク306、320、326が、低品質のネットワークリンクとして特定され、リストアップされることになる。これらのネットワークリンクは、次回のストリーム中継経路再構築時には、優先順位の低い経路として扱われることになる。
【0187】
このような状態の場合、ネットワークシステム100は、低品質のネットワークリンクを多く含む第2および第3のクラスター332、334を、それぞれ分割する。例えば、ネットワークシステム100は、図31に示すように、第2のクラスター332を、第4および第5のクラスター336、338に分割し、第3のクラスター334を、第6および第7のクラスター340、342に分割する。
【0188】
そして、分割後の第5のクラスター338と第7のクラスター342とは、クラスター品質が低く(クラスター品質率が高く)、かつ、クラスター持続可能性が高い(クラスター持続可能性率が高い)ものとする。このような状態の場合、ネットワークシステム100は、例えば、図32に示すように、第5のクラスター338と第7のクラスター342とを統合して、第8のクラスター344を構築する。
【0189】
ネットワークシステム100は、クラスターの分割/統合が行われる毎に、新たに分割または統合されたクラスターに存在するストリーム転送端末410に関して、ストリーム転送経路を再構築する。この際、ネットワークシステム100は、既存のストリーム中継経路がストリーム中継経路再構築プロセスに及ぼす影響が最小となるように、ストリーム中継経路の変更を行う。
【0190】
図32に示す例では、図2におけるネットワークリンク306、310、316、320、326が、ネットワークリンク346、348、350、352、354にそれぞれ変更されている。ネットワークシステム100は、ネットワークリンク306のように、より早い時点の評価で低品質に分類されたネットワークリンクについては、ストリーム中継経路として選択しない。このようなクラスターの分割および統合が行われた結果、全てのクラスターは、持続可能性が高くなり、図33に示すように、加入端末356を受け入れ可能となる。
【0191】
加入端末356は、セッションへの加入要求を、各クラスターのクラスター監視端末へ送信する(S358、S360、S362、S364)。ネットワークシステム100(主制御端末420の端末コーディネータ421)は、この加入要求を受けて、低品質のネットワークリンクを回避するストリーム中継経路を再構築する。より具体的には、ネットワークシステム100は、クラスター内の利用可能なリソースと、ルート端末から、各ストリーム中継経路の最下流に当たるリーフ端末までの遅延とに基づいて、ストリーム中継経路を再構築する。この結果、ネットワークシステム100は、例えば、図34に示すように、低品質のネットワークリンクを回避した、低遅延ベースのAVストリーム転送経路366、368、370、372を再構築する。
【0192】
以上のように、本実施の形態に係るネットワークシステム100は、受信すべきパケットの損失が多いクラスターに対して、分割を決定することができる。また、本実施の形態に係るネットワークシステム100は、加入端末の受け入れが困難であるクラスターに対して、親クラスターとの統合を決定することができる。これにより、ネットワークシステム100は、ストリーム中継経路の品質を確保しつつ、加入端末の追加が速やかに行われるような、クラスター編成を決定することができる。すなわち、通信端末のセッション加入時に、ストリーム転送経路を短時間で構築可能となり、高いストリーム転送品質を維持しつつ、かかる再構築のオーバヘッドを回避することができる。
【0193】
また、ネットワークシステム100は、加入端末の受け入れが困難であるか否かを、ストリーム中継経路全体における相対的な比較による品質に基づき、ネットワーク全体の品質を基準として判断する。これにより、ネットワークシステム100は、品質がより確実に確保されるようなクラスター編成を決定することができる。
【0194】
また、ネットワークシステム100は、クラスターの分割/統合の分析に、ネットワークリンク損失率を用いる。したがって、ネットワークシステム100は、ストリーム転送中に、パケット損失の増大、ジッターの増大、長遅延化等のネットワークリンク品質の劣化が発生した場合でも、クラスターの分割/統合の決定に即座に反映することができる。
【0195】
なお、クラスター品質およびクラスター持続可能性の評価の仕方は、上述の例に限定されない。
【産業上の利用可能性】
【0196】
本発明に係る通信端末およびクラスター監視方法は、ストリーム中継経路の品質を確保しつつ、加入端末の追加等のクラスター編成が速やかに決定することができる通信端末およびクラスター監視方法として有用である。
【符号の説明】
【0197】
100 ネットワークシステム
102 ネットワーク
104〜108、112〜122、126〜136 通信端末
110、124、138(330、332、334) クラスター
410 ストリーム転送端末
411 ストリーミング管理部
412 AVストリーム通信部
420 主制御端末
421 端末コーディネータ
422 しきい値規定部
430 クラスター監視端末
431 クラスター管理部
432 クラスター品質算出部
433 クラスター持続可能性算出部
434 クラスター分割/統合分析部
435 クラスターメトリクスデータベース
【特許請求の範囲】
【請求項1】
端末中継型のマルチポイント通信によりパケット転送を行うネットワークにおけるクラスター単位でのストリーム中継経路の構築のために、クラスターの編成を決定する通信端末であって、
前記クラスター毎に、受信すべきパケットの損失の少なさを示すクラスター品質を取得するクラスター品質算出部と、
前記クラスター毎に、加入端末の受け入れ易さを示すクラスター持続可能性を取得するクラスター持続可能性算出部と、
前記クラスター品質が低いクラスターに対し、クラスターの分割を決定し、前記クラスター品質が高くかつ前記クラスター持続可能性が低いクラスターに対し、他のクラスターとの統合を決定するクラスター分割/統合分析部と、を有する、
通信端末。
【請求項2】
前記クラスター品質は、全てのネットワークリンクの数に対する、前記パケット損失が低いネットワークリンクである低損失リンクの数の割合が低いほど高く、前記クラスター持続可能性は、そのクラスターの前記低損失リンクの数が多いほど高い、
請求項1記載の通信端末。
【請求項3】
前記クラスター持続可能性は、親クラスターとの間の前記低損失リンクの数の差が大きいほど低い、
請求項2記載の通信端末。
【請求項4】
前記クラスター持続可能性は、前記親クラスターの前記低損失リンクの数が少ないほど高く、前記パケット転送の転送経路において隣接するクラスターの組毎の前記低損失リンクの数の差の最大値が小さいほど高い、
請求項3記載の通信端末。
【請求項5】
前記クラスター持続可能性は、子クラスターとの間の前記低損失リンクの数の差が大きいほど低い、
請求項4記載の通信端末。
【請求項6】
前記クラスター持続可能性は、前記子クラスターの前記低損失リンクの数が少ないほど高く、前記パケット転送の転送経路において隣接するクラスターの組毎の前記低損失リンクの数の差の最大値が小さいほど高い、
請求項5記載の通信端末。
【請求項7】
前記クラスター分割/統合分析部は、
前記クラスター品質の程度を示す値が、前記ネットワーク全体の前記クラスター品質に基づいて定められたクラスター品質しきい値以下であるとき、クラスターの分割を決定し、
前記クラスター品質の程度を示す値が、前記クラスター品質しきい値以上であり、かつ
前記クラスター持続可能性の程度を示す値が、前記ネットワーク全体の前記クラスター持続可能性に基づいて定められたクラスター持続可能性しきい値以下であるとき、他のクラスターとの統合を決定する、
請求項6記載の通信端末。
【請求項8】
前記パケットは、ストリームデータのパケットであり、
前記パケット損失は、前記ストリームデータの転送を継続しながら測定可能な情報である、
請求項7記載の通信端末。
【請求項9】
端末中継型のマルチポイント通信によりパケット転送を行うネットワークにおけるクラスター単位でのストリーム中継経路の構築のために、クラスターの編成を決定するクラスター監視方法であって、
前記クラスター毎に、受信すべきパケットの損失の少なさを示すクラスター品質と、加入端末の受け入れ易さを示すクラスター持続可能性と、を取得するステップと、
前記クラスター品質が低いクラスターに対し、クラスターの分割を決定し、前記クラスター品質が高くかつ前記クラスター持続可能性が低いクラスターに対し、他のクラスターとの統合を決定するステップと、を有する、
クラスター監視方法。
【請求項1】
端末中継型のマルチポイント通信によりパケット転送を行うネットワークにおけるクラスター単位でのストリーム中継経路の構築のために、クラスターの編成を決定する通信端末であって、
前記クラスター毎に、受信すべきパケットの損失の少なさを示すクラスター品質を取得するクラスター品質算出部と、
前記クラスター毎に、加入端末の受け入れ易さを示すクラスター持続可能性を取得するクラスター持続可能性算出部と、
前記クラスター品質が低いクラスターに対し、クラスターの分割を決定し、前記クラスター品質が高くかつ前記クラスター持続可能性が低いクラスターに対し、他のクラスターとの統合を決定するクラスター分割/統合分析部と、を有する、
通信端末。
【請求項2】
前記クラスター品質は、全てのネットワークリンクの数に対する、前記パケット損失が低いネットワークリンクである低損失リンクの数の割合が低いほど高く、前記クラスター持続可能性は、そのクラスターの前記低損失リンクの数が多いほど高い、
請求項1記載の通信端末。
【請求項3】
前記クラスター持続可能性は、親クラスターとの間の前記低損失リンクの数の差が大きいほど低い、
請求項2記載の通信端末。
【請求項4】
前記クラスター持続可能性は、前記親クラスターの前記低損失リンクの数が少ないほど高く、前記パケット転送の転送経路において隣接するクラスターの組毎の前記低損失リンクの数の差の最大値が小さいほど高い、
請求項3記載の通信端末。
【請求項5】
前記クラスター持続可能性は、子クラスターとの間の前記低損失リンクの数の差が大きいほど低い、
請求項4記載の通信端末。
【請求項6】
前記クラスター持続可能性は、前記子クラスターの前記低損失リンクの数が少ないほど高く、前記パケット転送の転送経路において隣接するクラスターの組毎の前記低損失リンクの数の差の最大値が小さいほど高い、
請求項5記載の通信端末。
【請求項7】
前記クラスター分割/統合分析部は、
前記クラスター品質の程度を示す値が、前記ネットワーク全体の前記クラスター品質に基づいて定められたクラスター品質しきい値以下であるとき、クラスターの分割を決定し、
前記クラスター品質の程度を示す値が、前記クラスター品質しきい値以上であり、かつ
前記クラスター持続可能性の程度を示す値が、前記ネットワーク全体の前記クラスター持続可能性に基づいて定められたクラスター持続可能性しきい値以下であるとき、他のクラスターとの統合を決定する、
請求項6記載の通信端末。
【請求項8】
前記パケットは、ストリームデータのパケットであり、
前記パケット損失は、前記ストリームデータの転送を継続しながら測定可能な情報である、
請求項7記載の通信端末。
【請求項9】
端末中継型のマルチポイント通信によりパケット転送を行うネットワークにおけるクラスター単位でのストリーム中継経路の構築のために、クラスターの編成を決定するクラスター監視方法であって、
前記クラスター毎に、受信すべきパケットの損失の少なさを示すクラスター品質と、加入端末の受け入れ易さを示すクラスター持続可能性と、を取得するステップと、
前記クラスター品質が低いクラスターに対し、クラスターの分割を決定し、前記クラスター品質が高くかつ前記クラスター持続可能性が低いクラスターに対し、他のクラスターとの統合を決定するステップと、を有する、
クラスター監視方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【公開番号】特開2012−85115(P2012−85115A)
【公開日】平成24年4月26日(2012.4.26)
【国際特許分類】
【出願番号】特願2010−229920(P2010−229920)
【出願日】平成22年10月12日(2010.10.12)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
【公開日】平成24年4月26日(2012.4.26)
【国際特許分類】
【出願日】平成22年10月12日(2010.10.12)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]