説明

通信システム、通信装置および監視制御装置

【課題】
従来、分散配置された仮想マシン間でライブマイグレーションを行う場合、経路の冗長や遅延の増大などの問題があった。
【解決手段】
本発明では、IDC用の複数の仮想マシン毎に配置された複数の第1の通信装置と、キャリアネットワークを構成する複数の第2の通信装置と、加入者側の端末を接続する第3の通信装置と、第2の通信装置を管理するNW監視制御装置と、仮想マシンおよび第1の通信装置を管理するIDC監視制御装置とを有し、第3の通信装置に対して複数の仮想マシン間のライブマイグレーション機能を提供する通信システムにおいて、NW監視制御装置とIDC監視制御装置とを相互に接続するNMS連携回線を設け、NW監視制御装置は、IDC監視制御装置から仮想マシンの接続先変更に関する情報をNMS連携回線を介して取得し、第2の通信装置のルーティングテーブルを変更することを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、クラウド環境で利用される通信装置にライブマイグレーション機能を提供する通信システム、通信装置および監視制御装置に関する。
【背景技術】
【0002】
近年、ネットワーク上にサーバやストレージ、ソフトウエアを配置して、加入者側の装置に必要な情報やソフトウェアをネットワーク上で利用するクラウドサービスが注目されている。例えば、分散配置された情報を仮想的に一元化して提供する技術が考えられている(例えば特許文献1参照)。
【0003】
一般に、クラウド環境で情報を提供するIDC(インターネットデータセンター)は、同一建屋内もしくは同一敷地内に設置される場合が多い。しかしながら、地震、風水害、テロなどの地域的災害に対応するには、遠隔地にIDCを分散して設置する必要がある。特に遠隔地間で情報サービスを提供する場合、情報にアクセスする加入者側のアプリケーションをダウンさせずに接続先の仮想マシン(情報提供サーバ)を別の仮想マシンに移動するライブマイグレーション技術に対応することが求められている。このため、例えば遠隔地間の仮想マシン間に自営の専用回線を設けて接続する方法が考えられるが、専用回線用の通信設備を設けなければならず、通信装置の機器代や回線利用料など高額な費用が必要になる。そこで、専用回線の代わりにキャリア側の通信網を利用する方法が考えられるが、現状のクラウド環境での情報提供サービスは、IDC側と加入者側だけに依存し、IDC側と加入者側とを接続するキャリア側でIDC接続に関係する制御は行われておらず、回線遅延の増大、トラヒック量の増大、少なくとも2回の経路変更が必要など、ライブマイグレーション機能を実現する上で様々な問題がある。
【0004】
ここで、従来の通信システム900の一例を図17に示す。図17は従来の通信システム900の概要を示す図で、加入者側901の端末TE#91は、通信装置CE#94を介してインターネット接続環境を提供するキャリア会社のキャリア側902のネットワーク904に接続され、IDC側903が提供するクラウドサービスを利用している。一方、IDCサービスを提供するIDCサービス会社側のIDC側903は、IDC#91とIDC#92の2つのIDCを遠隔地(例えば東京と横浜など)に設置している。IDC#91にはクラウドサービスを提供するサーバとして仮想マシンVM#91が設置され、通信装置CE#91を介してキャリア側902のネットワーク904に接続されている。同様に、IDC#92にはクラウドサービスを提供するサーバとして仮想マシンVM#92が設置され、通信装置CE#95を介してキャリア側902のネットワーク904に接続されている。また、仮想マシンVM#91、仮想マシンVM#92、通信装置CE#91および通信装置CE#95は、監視用ネットワークを介して監視制御装置NMS#91に接続されている。尚、監視用ネットワークは、監視制御用のコマンドなどを送受信するだけの小容量の回線である。
【0005】
また、キャリア側902は、様々なユーザが利用するネットワーク904を提供し、図17の例では、ユーザとして加入者側901の通信装置CE#94と、IDC側903の通信装置CE#91および通信装置CE#95とを接続し、加入者側901の端末TE#91と、IDC側903の仮想マシンVM#91または仮想マシンVM#92との間で送受信される情報を宛先に応じてネットワーク904内で転送する。図17の例では、ネットワーク904は、加入者側901が接続するための通信装置CE#93と、仮想マシンVM#91が接続するための通信装置CE#92と、仮想マシンVM#92が接続するための通信装置CE#96とを有し、さらに通信装置CE#92と通信装置CE#93との間には他の宛先にスイッチするためのスイッチSW#91が配置されている。同様に、通信装置CE#92と通信装置CE#96との間にはスイッチSW#92、通信装置CE#93と通信装置CE#96との間にはスイッチSW#93がそれぞれ配置されている。また、通信装置CE#92、通信装置CE#93および通信装置CE#96は、監視用ネットワークを介して監視制御装置NMS#92に接続されている。尚、監視用ネットワークは、監視制御用のコマンドなどを送受信するだけの小容量の回線である。
【0006】
このように、従来の通信システム900は、キャリア側902とIDC側903は独立して運営されており、IDC側903の監視制御装置NMS#91とキャリア側902の監視制御装置NMS#92は全く連携されていなかった。
【0007】
ここで、例えば仮想マシンVM#91にトラブルが発生して仮想マシンVM#92にライブマイグレーションを行う場合について図18、図19および図20を用いて説明する。尚、図18、図19および図20は、図17に示した通信システム900の各通信装置の接続ポートを具体的に示した図である。図18において、加入者側901の端末TE#91は通信装置CE#94のポートp1に接続されている。そして、通信装置CE#94のポートp2およびポートp3は、キャリア側902の通信装置CE#93のポートp1およびポートp4にそれぞれ接続されている。
【0008】
一方、キャリア側902の通信装置CE#93のポートp3は、スイッチSW#91を介して通信装置CE#92のポートp1に接続され、通信装置CE#93のポートp2は、スイッチSW#93を介して通信装置CE#96のポートp2に接続されている。また、通信装置CE#92のポートp2は、スイッチSW#92を介して通信装置CE#96のポートp1に接続されている。そして、通信装置CE#92のポートp3およびポートp4は、IDC側903の通信装置CE#91のポートp1およびポートp2にそれぞれ接続されている。同様に、通信装置CE#96のポートp3およびポートp4は、IDC側903の通信装置CE#95のポートp1およびポートp2にそれぞれ接続されている。
【0009】
また、IDC側903において、通信装置CE#91のポートp3およびポートp4は仮想マシンVM#91に接続され、通信装置CE#95のポートp3およびポートp4は仮想マシンVM#92に接続されている。
【0010】
今、加入者側901の端末TE#91は、通信装置CE#94を介してキャリア側902のネットワーク904に接続して、クラウド環境での情報提供サービスを受けているものとする。この場合、加入者側901では、IDC側903のどの仮想マシンにアクセスしているかは意識する必要がないが、実際のアクセス経路は、図18の点線矢印で示した経路Aで仮想マシンVM#91にアクセスしているものとする。この場合の具体的な経路Aは、先ず通信装置CE#94のポートp2から通信装置CE#93のポートp1に接続され、通信装置CE#93のポートp3からスイッチSW#91を介して通信装置CE#92のポートp1に接続される。そして、通信装置CE#92のポートp3からIDC側903の通信装置CE#91のポートp1に接続され、通信装置CE#91のポートp3から仮想マシンVM#91に接続されている。
【0011】
ここで、仮想マシンVM#91から仮想マシンVM#92にライブマイグレーションを行う場合、先ず図19に示すように、監視制御装置NMS#91は、仮想マシンVM#91から仮想マシンVM#92に転送するマイグレーション用データを仮想マシンVM#91から通信装置CE#91、キャリア側902の通信装置CE#92、スイッチSW#92および通信装置CE#96を介してIDC側903の通信装置CE#95から仮想マシンVM#92に転送し、仮想マシンVM#91と仮想マシンVM#92は、加入者側901の端末TE#91に対して同じ状態に維持する。
【0012】
そして、監視制御装置NMS#91は、図20に示すように、経路Aにより加入者側901の端末TE#91と接続している通信装置CE#91に対して、ポートp1からポートp2に折り返すように制御して、通信装置CE#91のポートp2から通信装置CE#92のポートp4に接続する。そして、通信装置CE#92のポートp2からスイッチSW#92を介して通信装置CE#96のポートp1に接続し、さらに通信装置CE#96のポートp3からIDC側903の通信装置CE#95のポートp1に接続して、通信装置CE#95のポートp3から仮想マシンVM#92に接続する。
【0013】
このようにして、従来は、通信装置CE#91から仮想マシンVM#92までの経路Bを構築して、加入者側901の端末TE#91から通信装置CE#91までの経路Aと合わせて加入者側901の端末TE#91からIDC側903の仮想マシンVM#92までの経路を構築し、仮想マシンVM#91と同様にクラウド環境での情報提供サービスを提供するライブマイグレーションを行っていた。尚、上記の説明では、送信データおよび受信データについては特に言及せず、各通信装置間の接続を1つのポート間で行うようにしたが、実際には上り回線用と下り回線用の各ポートが同様に接続され、それぞれ経路Aおよび経路Bを構築しているものとする。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】特開2006−172217号公報
【発明の概要】
【発明が解決しようとする課題】
【0015】
ところが、図20に示すように、加入者側901と仮想マシンVM#92との接続経路は通信装置CE#91で折り返しているので、IDC側903の通信装置CE#91とキャリア側902の通信装置CE#92との間でデータが往復するため、データの遅延量とトラフィック量が増大するという問題が生じる。
【0016】
さらに、再び接続先を仮想マシンVM#92から仮想マシンVM#91に戻そうとした場合に、図20に示すように経路Bにより回線が塞がったままになっているため、仮想マシンVM#92から仮想マシンVM#91へマイグレーションデータを転送することができない。
【0017】
そして、この問題を解消するために、仮想マシンVM#91から仮想マシンVM#92へマイグレーションを行った後、加入者側901の都合に合わせて加入者側901の通信装置CE#94の経路設定を変更して、仮想マシンVM#92から仮想マシンVM#91へマイグレーションデータを転送する回線を確保することが行われる。例えば、図21に示すように、加入者側901に依頼して通信装置CE#94の経路変更を行う。図20の経路Aの場合は、通信装置CE#94のポートp1はポートp2を介してキャリア側902の通信装置CE#93のポートp1に接続されていたが、図21の経路変更後では通信装置CE#94のポートp1はポートp3を介してキャリア側902の通信装置CE#93のポートp4に接続される。そして、通信装置CE#93のポートp2からスイッチSW#93を介して通信装置CE#96のポートp2に接続され、通信装置CE#96のポートp4からIDC側903の通信装置CE#95のポートp2に接続される。そして、最終的に通信装置CE#95のポートp4から仮想マシンVM#92に接続される。このようにして、従来は、図20の経路Aおよび経路Bによる端末TE#91から仮想マシンVM#92までの接続経路を図21の経路Cに変更して、データの遅延量とトラフィック量が増大する問題を回避して、且つ仮想マシンVM#92から仮想マシンVM#91へのマイグレーションデータを転送する回線を確保することが行われていた。
【0018】
ところが、上記で説明した従来の方法は、図20のようにIDC側903の通信装置CE#91で接続を折り返すための経路変更と、加入者側901の通信装置CE#94での経路変更の2回の経路変更を実施する必要があった。しかも、通常はライブマイグレーションは即時対応する必要があり、加入者側901にマイグレーションのタイミングや移行先などを事前に通知することは行われず、さらに加入者側901の通信装置CE#94の設定変更を依頼することなども加入者側901を煩わすことになり、クラウドサービスを提供するIDC側903としては行いたくない作業である。
【0019】
上記課題に鑑み、本発明の目的は、遠隔地間に分散配置された仮想マシン間でライブマイグレーションを行う場合に、経路の冗長やそれに伴う遅延の増大を軽減し、経路変更の回数も少ないライブマイグレーションを実現できる通信システム、通信装置および監視制御装置を提供することである。
【課題を解決するための手段】
【0020】
本発明に係る通信システムは、IDC用の複数の仮想マシン毎に配置された複数の第1の通信装置と、キャリアネットワークを構成する複数のポートを有する複数の第2の通信装置と、加入者側の端末を前記キャリアネットワークに接続する第3の通信装置と、前記キャリアネットワークを構成する複数の第2の通信装置を管理するNW監視制御装置と、分散配置された前記複数の仮想マシンおよび前記複数の第1の通信装置を管理するIDC監視制御装置とを有し、前記第3の通信装置に対して前記分散配置された複数の仮想マシン間のライブマイグレーション機能を提供する通信システムにおいて、前記NW監視制御装置と前記IDC監視制御装置とを相互に接続するNMS連携回線を設け、前記NW監視制御装置は、前記IDC監視制御装置から前記仮想マシンの接続先変更に関する情報を前記NMS連携回線を介して取得し、前記第2の通信装置のルーティングテーブルを変更することを特徴とする。
【0021】
特に、前記第2の通信装置は、マイグレーション切り替え前後の2組のルーティングテーブルを保持し、前記NW監視制御装置からの指令に応じて前記2組のルーティングテーブルを切り替え、前記NW監視制御装置は、前記NMS連携回線を介して前記IDC監視制御装置から取得したマイグレーション情報に応じて、前記2組のルーティングテーブルのいずれかを指定するテーブル番号を前記第2の通信装置に通知することを特徴とする。
【0022】
或いは、前記第2の通信装置は、前記NW監視制御装置から書き換え可能なルーティングテーブルを保持し、前記NW監視制御装置は、マイグレーション切り替え前後の2組のルーティングテーブルを保持し、前記NMS連携回線を介して前記IDC監視制御装置から取得したマイグレーション情報に応じて、前記第2の通信装置のルーティングテーブルを更新することを特徴とする。
【0023】
また、前記NW監視制御装置と前記IDC監視制御装置との間で前記NMS連携回線を介して送受信するマイグレーション情報は、予め決めておいたプロトコルを用いて送受信されることを特徴とする。
【0024】
特に、前記プロトコルは、SNMPプロトコルのMIB、Telnet、FTPおよびHTTPのいずれかを用いて送受信されることを特徴とする。
【0025】
本発明に係る通信装置は、マイグレーション前に使用する第1のルーティングテーブルと、マイグレーション後に使用する第2のルーティングテーブルと、前記第1のルーティングテーブルまたは前記第2のルーティングテーブルを選択する制御部とを設け、前記制御部は、前記NW監視制御装置から通知される情報に応じて、第1のルーティングテーブルまたは第2のルーティングテーブルを選択することを特徴とする。
【0026】
本発明に係るNW監視制御装置は、前記IDC監視制御装置から前記NMS連携回線を介してマイグレーション関連情報を取得し、前記加入者側の前記第3の通信装置を収容する前記第2の通信装置のルーティングテーブルを変更する監視制御部を設けたことを特徴とする。
【発明の効果】
【0027】
本発明に係る通信システム、通信装置および監視制御装置は、遠隔地間に分散配置された仮想マシン間でライブマイグレーションを行う場合に、経路の冗長やそれに伴う遅延の増大を生じず、経路変更の回数も少ないライブマイグレーション機能を実現できる。
【図面の簡単な説明】
【0028】
【図1】本実施形態に係る通信システム100のシステムイメージを示す図である。
【図2】本実施形態に係る通信システム100における接続経路例を示す図である。
【図3】通信装置CE#1の構成例を示す図である。
【図4】監視制御装置NMS#1の構成例を示す図である。
【図5】監視制御装置NMS#2の構成例を示す図である。
【図6】NMS連携回線による接続例を示す図である。
【図7】本実施形態に係る通信システム100におけるクラウドサービスの経路例を示す図である。
【図8】本実施形態に係る通信システム100におけるライブマイグレーション後の接続経路例を示す図である。
【図9】本実施形態に係る通信システム100における経路変更処理(方法1)の流れを示すフローチャートである。
【図10】本実施形態に係る通信システム100における経路変更(方法1)のイメージを示す図である。
【図11】本実施形態に係る通信システム100の監視制御装置NMS#1および監視制御装置NMS#2におけるルーティングテーブル例(方法1)を示す図である。
【図12】本実施形態に係る通信システム100の通信装置CE#3におけるルーティングテーブル例(方法1)を示す図である。
【図13】本実施形態に係る通信システム100における経路変更処理(方法2)の流れを示すフローチャートである。
【図14】本実施形態に係る通信システム100における経路変更(方法2)のイメージを示す図である。
【図15】本実施形態に係る通信システム100の監視制御装置NMS#1および監視制御装置NMS#2におけるルーティングテーブル例(方法2)を示す図である。
【図16】本実施形態に係る通信システム100の通信装置CE#3におけるルーティングテーブル例(方法2)を示す図である。
【図17】従来の通信システム900のシステムイメージを示す図である。
【図18】従来の通信システム900における接続経路例を示す図である。
【図19】従来の通信システム900におけるマイグレーションデータ転送の経路例を示す図である。
【図20】従来の通信システム900におけるライブマイグレーション後の接続経路例を示す図である。
【図21】従来の通信システム900における経路変更例を示す図である。
【発明を実施するための形態】
【0029】
以下、本発明に係る通信システム、通信装置および監視制御装置の実施形態について図面を用いて詳しく説明する。
【0030】
[システム全体の概要]
図1は、本実施形態に係る通信システム100の概要を示す図で、従来の技術で説明した図17の通信システム900に対応する図である。図1において、加入者側101の端末TE#1は、通信装置CE#4を介してキャリア側102のネットワーク104に接続され、IDC側103が提供するクラウドサービスを利用している。一方、キャリア側102のネットワーク104を管理するキャリア会社とは異なるIDCサービスを提供するIDCサービス会社(IDC側103)は、IDC#1とIDC#2の2つのIDCを遠隔地(例えば東京と横浜など)に設置している。
【0031】
IDC側103のIDC#1にはクラウドサービスを提供するサーバとして仮想マシンVM#1が設置され、通信装置CE#1を介してキャリア側102のネットワーク104に接続されている。同様に、IDC#2にはクラウドサービスを提供するサーバとして仮想マシンVM#2が設置され、通信装置CE#5を介してキャリア側102のネットワーク104に接続されている。また、仮想マシンVM#1、仮想マシンVM#2、通信装置CE#1および通信装置CE#5は、監視用ネットワークを介して監視制御装置NMS#1に接続されている。尚、監視用ネットワークは、監視制御用のコマンドなどを送受信するだけの小容量の回線である。
【0032】
また、キャリア側102は、様々なユーザ(加入者)に対してネットワーク104を提供し、図1の例では、加入者側101の通信装置CE#4と、IDC側103の通信装置CE#1および通信装置CE#5とがネットワーク104を介して接続され、加入者側101の端末TE#1と、IDC側103の仮想マシンVM#1または仮想マシンVM#2との間で送受信される情報は各宛先に応じてネットワーク104内に形成された経路を介して転送される。図1の例では、ネットワーク104には、加入者側101が接続するための通信装置CE#3と、仮想マシンVM#1が接続するための通信装置CE#2と、仮想マシンVM#2が接続するための通信装置CE#6とが配置されている。さらに、通信装置CE#2と通信装置CE#3との間には他の宛先にスイッチするためのスイッチSW#1、通信装置CE#2と通信装置CE#6との間にはスイッチSW#2、通信装置CE#3と通信装置CE#6との間にはスイッチSW#3がそれぞれ配置されている。また、通信装置CE#2、通信装置CE#3および通信装置CE#6は、監視用ネットワークを介して監視制御装置NMS#2に接続されている。尚、監視用ネットワークは、監視制御用のコマンドなどを送受信するだけの小容量の回線である。
【0033】
さらに、本実施形態に係る通信システム100は、キャリア側102の監視制御装置NMS#2と、IDC側103の監視制御装置NMS#1とを接続する通信ネットワーク(NMS連携回線105)が構築されている。この部分が従来技術で説明した図17の通信システム900とは大きく異なる。そして、キャリア側102の監視制御装置NMS#2とIDC側103の監視制御装置NMS#1とは、NMS連携回線105を介してIDC側103のマイグレーションに関する情報を送受信することにより、互いに連携して動作することができるようになっている。これに対して、図17で説明した従来の通信システム100では、運営会社が異なるキャリア側902とIDC側903は独立して運営されており、IDC側903の監視制御装置NMS#91とキャリア側902の監視制御装置NMS#92は全く連携されていなかった。
【0034】
これに対して、本実施形態に係る通信システム100では、IDC側103の監視制御装置NMS#1とキャリア側102の監視制御装置NMS#2との間をNMS連携回線105で連携し、例えばSNMP(Simple Network Management Protocol)のMIB(Management Information Base)を利用して、IDC側103の監視制御装置NMS#1のマイグレーション関連情報を監視制御装置NMS#1から監視制御装置NMS#2へ伝えることができる。ここで、マイグレーション関連情報は、例えばマイグレーションの移行元と移行先の仮想マシンの情報およびポート設定情報などである。尚、本実施形態では、SNMPのMIBを利用する例を示したが、SNMP以外の標準プロトコルを用いても構わないし、Telnet(Telecommunication network)、FTP(File Transfer Protocol)、HTTP(HyperText Transfer Protocol)などの既存のプロトコルを用いても構わない。或いは、予め決めておいた独自のプロトコルや単純なテキストファイルなどで伝送しても構わない。いずれの場合でもNMS連携回線105でIDC側103の監視制御装置NMS#1のマイグレーション関連情報を監視制御装置NMS#1から監視制御装置NMS#2へ伝えることができれば、本実施形態と同様の効果が得られる。
【0035】
このようにして、仮想マシンVM#1から仮想マシンVM#2へライブマイグレーションを行う場合に、キャリア側102の監視制御装置NMS#2が管理する各通信装置の経路変更を行うことができ、ライブマイグレーションの経路構築を以降で説明するように適切に行うことができる。この結果、経路の冗長やそれに伴う遅延の増大を生じず、経路変更の回数も少ないライブマイグレーション機能を提供できる。
【0036】
[通信システム100のポート接続例]
図2は、図1に示した本実施形態に係る通信システム100のポート接続例を示す図で、従来の技術で説明した図18の通信システム900に対応する。尚、図1と同符号のものは同じものを示す。
【0037】
加入者側101において、端末TE#1は通信装置CE#4のポートp1に接続され、通信装置CE#4のポートp2およびポートp3は、キャリア側102の通信装置CE#3のポートp1およびポートp4にそれぞれ接続されている。
【0038】
キャリア側102において、通信装置CE#3のポートp3は、スイッチSW#1を介して通信装置CE#2のポートp1に接続され、通信装置CE#3のポートp2は、スイッチSW#3を介して通信装置CE#6のポートp2に接続されている。また、通信装置CE#2のポートp2は、スイッチSW#2を介して通信装置CE#6のポートp1に接続されている。そして、通信装置CE#2のポートp3およびポートp4は、IDC側103の通信装置CE#1のポートp1およびポートp2にそれぞれ接続されている。同様に、通信装置CE#6のポートp3およびポートp4は、IDC側103の通信装置CE#5のポートp1およびポートp2にそれぞれ接続されている。
【0039】
IDC側103において、通信装置CE#1のポートp3およびポートp4は仮想マシンVM#1に接続され、通信装置CE#5のポートp3およびポートp4は仮想マシンVM#2に接続されている。
【0040】
そして、図2の通信システム100では、図18の通信システム900とは異なり、IDC側103の監視制御装置NMS#1とキャリア側102の監視制御装置NMS#2とは、NMS連携回線105を介して接続されている。これにより、マイグレーション関連情報をIDC側103とキャリア側102とで共有することができ、IDC側103が行うライブマイグレーションに応じて、加入者側101の端末TE#1がIDC側103に接続するキャリア側102内の経路を自動的に変更することができる。
【0041】
[通信装置の構成]
次に、通信装置の構成について説明する。ここでは、通信装置CE#3の構成について説明するが、他の通信装置も通信装置CE#3と同様に構成される。図3は通信装置CE#3の構成例を示すブロック図である。図3において、通信装置CE#3は、CPU盤201と、スイッチ盤202と、IF盤203とを有する。
【0042】
CPU盤201は、通信装置CE#3全体の動作を制御するためのパッケージでスイッチ盤202およびIF盤203の制御を行う。スイッチ盤202は、CPU盤201の制御部252によって制御され、IF盤203の各ポート間の接続経路を切り替えるスイッチ部271を有する。IF盤203は、通信用インターフェースとして、例えばポートp1、ポートp2、ポートp3およびポートp4の4つの物理ポートを有し、スイッチ盤202によって各ポート間の接続経路が変更される。尚、図3では、分かり易いように4つのポートのみで構成されるが、実際の通信装置では更に多くのポートを有する。また、図3のポートp1からポートp4は図2のポートp1からポートp4に対応する。
【0043】
また、CPU盤201は、監視制御装置NMS#2に監視ネットワークを介して接続され、監視制御装置NMS#2との間で監視制御信号を送受信する。CPU盤201は、例えば監視用インターフェース部251と、制御部(CPU)252と、ルーティングテーブルなどを記憶するDB253とを有する。監視用インターフェース部251は、監視制御装置NMS#2との間で監視用ネットワークを介して接続するためのインターフェースである。制御部252は、CPUで構成され、内部に予め記憶されたプログラムに従って動作する。例えば本実施形態に係る通信システム100では、監視制御装置NMS#2はSNMPマネージャー261を有し、通信装置CE#3の制御部252は、SNMPエージェント262を有する。そして、例えばSNMPのMIBを利用して、監視制御装置NMS#2から通信装置CE#3のDB253に記憶されているルーティングテーブルの書き換えなどを行う。
【0044】
[監視制御装置の構成]
次に、監視制御装置の構成について説明する。図4は、監視制御装置NMS#1の構成例を示すブロック図である。図4において、監視制御装置NMS#1は、例えば、監視制御部301と、監視用インターフェース部302と、DB303とを有する。監視制御部301は、CPUで構成され、内部に予め記憶されたプログラムに従って動作する。例えば監視制御装置NMS#1は、監視用インターフェース部302で接続されるIDC側103の監視ネットワークを介して配下の各装置を監視制御するためのSNMPマネージャー351を有し、図3で説明した通信装置CE#3と同様に、通信装置CE#1、通信装置CE#5、仮想マシンVM#1および仮想マシンVM#2側のSNMPエージェント262との間で監視制御信号を送受信する。そして、例えばSNMPのMIBを利用して、監視制御装置NMS#1から通信装置CE#1または通信装置CE#5のDB253に記憶されているルーティングテーブルの書き換えなどを行う。尚、監視制御装置NMS#1の操作は、操作端末304によりオペレータが行う。また、通信装置CE#1および通信装置CE#5は、図3で説明した通信装置CE#3と同様に構成される。また、監視制御装置NMS#1は、仮想マシンVM#1および仮想マシンVM#2に対しても通信装置CE#1および通信装置CE#5と同様にSNMPプロトコルを用いて、監視制御を行う。特に本実施形態では、仮想マシンVM#1と仮想マシンVM#2との間でライブマイグレーションを行う際のマイグレーション関連情報をDB303で管理し、NMS連携回線105を介してキャリア側102の監視制御装置NMS#2に対してマイグレーション関連情報を送信する。
【0045】
図5は監視制御装置NMS#2の構成例を示すブロック図である。監視制御装置NMS#2は、基本的には図4の監視制御装置NMS#1と同様の構成である。図5において、監視制御装置NMS#2は、例えば、監視制御部401と、監視用インターフェース部402と、DB403とを有する。監視制御部401は、CPUで構成され、内部に予め記憶されたプログラムに従って動作する。例えば監視制御装置NMS#2は、監視用インターフェース部402で接続されるキャリア側102の監視ネットワークを介して配下の各装置を監視制御するためのSNMPマネージャー451を有し、図3で説明した通信装置CE#3と同様に、キャリア側102内の通信装置CE#2、通信装置CE#3、通信装置CE#6などの制御部252のSNMPエージェント262との間で監視制御信号を送受信する。そして、例えばSNMPのMIBを利用して、監視制御装置NMS#2から通信装置CE#3などの各通信装置のDB253に記憶されているルーティングテーブルの書き換えなどを行う。尚、監視制御装置NMS#2の操作は、操作端末404によりオペレータが行う。また、特に本実施形態では、IDC側103の監視制御装置NMS#1からNMS連携回線105を介してライブマイグレーションを行う際のマイグレーション関連情報を受信してDB403で管理し、受信したマイグレーション関連情報に応じて監視制御部401は、配下の各通信装置のルーティングテーブルを変更する処理を行う。
【0046】
次に、図6は、図4で説明したIDC側103の監視制御装置NMS#1と、図5で説明したキャリア側102の監視制御装置NMS#2とがNMS連携回線105を介して連携する場合の構成例を示した図である。尚、図6において、図4および図5と同符号のものは同じものを示す。
【0047】
図6において、本実施形態に係る通信システム100では、監視制御装置NMS#1と監視制御装置NMS#2はNMS連携回線105を介して接続されている。尚、図6では、NMS連携回線105は、監視制御装置NMS#1の監視用インターフェース部302と、監視制御装置NMS#2の監視用インターフェース部402との間に接続されているが、別のインターフェースを設けて、監視制御部301と監視制御部401との間でマイグレーション関連情報を送受信するようにしても構わない。また、図4および図5では、監視制御部301および監視制御部401には、SNMPマネージャー351およびSNMPマネージャー451のみを設けたが、NMS連携回線105を介してSNMPプロトコルを利用できるように、監視制御部301および監視制御部401のいずれかにSNMPエージェント352またはSNMPエージェント452を配置して、監視制御装置NMS#1と監視制御装置NMS#2との間でSNMPプロトコルによる通信を行えるようになっている。そして、SNMPプロトコルを用いて、IDC側103の監視制御装置NMS#1からマイグレーション関連情報をキャリア側102の監視制御装置NMS#2に送信する。
【0048】
このようにして、キャリア側102の監視制御装置NMS#2は、IDC側103の監視制御装置NMS#1からマイグレーション関連情報を取得することができる。そして、監視制御装置NMS#2は、取得したマイグレーション関連情報に基づいて、例えば図2の仮想マシンVM#1から仮想マシンVM#2にライブマイグレーションを行う際のキャリア側102内の経路変更を行うことができる。
【0049】
[ライブマイグレーション時の経路変更例]
次に、ライブマイグレーション時の経路変更例について図7、図8を用いて説明する。尚、図7および図8において、図2と同符号のものは同じものを示す。
【0050】
図7において、加入者側101の端末TE#1は、通信装置CE#4を介してキャリア側102のネットワーク104に接続して、クラウド環境での情報提供サービスを受けているものとする。最初のアクセス経路は、図18の従来例と同様に点線矢印で示した経路Aが形成され、端末TE#1は仮想マシンVM#1にアクセスしているものとする。図7において、経路Aは、先ず通信装置CE#4のポートp2からキャリア側102の通信装置CE#3のポートp1に接続され、通信装置CE#3のポートp3からスイッチSW#1を介して通信装置CE#2のポートp1に接続される。そして、通信装置CE#2のポートp3からIDC側103の通信装置CE#1のポートp1に接続され、さらに通信装置CE#1のポートp3から仮想マシンVM#1に接続されている。
【0051】
ここで、仮想マシンVM#1から仮想マシンVM#2にライブマイグレーションを行う場合、従来技術の図19で説明した場合と同様に、監視制御装置NMS#1は、仮想マシンVM#1から仮想マシンVM#2に転送するマイグレーション用データを仮想マシンVM#1から通信装置CE#1、キャリア側102の通信装置CE#2、スイッチSW#2および通信装置CE#6を介してIDC側103の通信装置CE#5から仮想マシンVM#2に転送し、仮想マシンVM#1と仮想マシンVM#2は、加入者側101の端末TE#1に対して同じ状態に維持する。
【0052】
そして、監視制御装置NMS#1は、マイグレーション関連情報をNMS連携回線105を介してキャリア側102の監視制御装置NMS#2に送信する。そして、監視制御装置NMS#2は、受信したマイグレーション関連情報により、端末TE#1の接続先が通信装置CE#1のポートp1から通信装置CE#5のポートp2への変更を認識する。そして、監視制御装置NMS#2は、加入者側101の通信装置CE#4に接続している通信装置CE#3のポートp1からポートp3への接続を通信装置CE#3のポートp1からポートp2への接続に変更するよう通信装置CE#3のDB253のルーティングテーブルを変更する。これにより、通信装置CE#3のポートp1から通信装置CE#2のポートp3までに形成していた経路を通信装置CE#3のポートp2から通信装置CE#6のポートp4までの経路に変更する。
【0053】
このようにして、図8に示すように、加入者側101の端末TE#1からIDC側103の仮想マシンVM#2までの経路Dが形成される。これにより、従来技術の図21で説明したような加入者側901の通信装置CE#94に対応する通信装置CE#4での経路変更が不要となり、加入者側101の負担が軽減され、ライブマイグレーションの切り替えを意識することなくクラウドサービスを利用することができる。
【0054】
[ライブマイグレーション時の経路変更例1]
次に、図7および図8で説明したライブマイグレーション時の経路変更方法の例1として、図9のフローチャートを用いて説明する。
【0055】
(ステップS101)IDC側103の監視制御装置NMS#1は、仮想マシンVM#1から仮想マシンVM#2にマイグレーションする必要があるか否かを判断する。例えば、仮想マシンVM#1に障害が発生した場合などに仮想マシンVM#2へのマイグレーションを行う必要があると判断する。そして、マイグレーションを行う場合はステップS102に進み、行わない場合はステップS101で待機する。
【0056】
(ステップS102)IDC側103の監視制御装置NMS#1は、仮想マシンVM#1から仮想マシンVM#2にマイグレーションデータを転送する。尚、転送経路は、例えば図19で説明した経路を利用する。
【0057】
(ステップS103)IDC側103の監視制御装置NMS#1は、マイグレーションに伴い、接続先が変更される通信装置番号と、選択するテーブル番号とをNMS連携回線105を介してキャリア側102の監視制御装置NMS#2に通知する。
【0058】
ここで、通信装置CE#3のDB253には、二種類のルーティングテーブルが記憶されているものとする。例えば、図10は、DB253に記憶されている通信装置CE#3のルーティングテーブルの一例を示す図である。図10のルーティングテーブルでは同じVLAN番号のポートが接続されるので、テーブル1の場合は、通信装置CE#3のポートp1とポートp3とがVLAN番号「V1」で接続され、ポートp2とポートp4とがVLAN番号「V2」で接続される。テーブル2の場合は、通信装置CE#3のポートp1とポートp2とがVLAN番号「V2」で接続され、ポートp3とポートp4とがVLAN番号「V1」で接続される。
【0059】
また、監視制御装置NMS#1のDB303および監視制御装置NMS#2のDB403には、図11に示すように、各通信装置毎にライブマイグレーション切替前と切替後で選択するテーブル番号がそれぞれ記憶されている。尚、これらのテーブルは、予めオペレータによって設定されているものとする。図11の例では、通信装置CE#1はIDC側103の通信装置で、切替前のテーブル番号がテーブル1、切替後のテーブル番号がテーブル2であることがわかる。同様に、通信装置CE#2および通信装置CE#3はキャリア側102の通信装置で、切替前のテーブル番号がテーブル1、切替後のテーブル番号がテーブル2であることがわかる。
【0060】
このようにして、監視制御装置NMS#1および監視制御装置NMS#2は、それぞれの配下の通信装置のテーブル番号を管理すると共に、NMS連携回線105を介して、両方の監視制御装置の配下の通信装置のテーブル番号を共有して管理する。
【0061】
(ステップS104)キャリア側102の監視制御装置NMS#2は、ルーティング経路を変更する必要がある通信装置に対して、使用するテーブル番号を監視用ネットワークを介して指示する。尚、ライブマイグレーション切替前は、通信装置CE#3に対してテーブル1を指示し、図10のルーティングテーブルに従ってVLAN番号「V1」としてポートp1とポートp3とが接続されているものとする(図12(a))。これは、図7で説明したように、ライブマイグレーション切替前の経路Aに対応する。そして、本ステップS103では、監視制御装置NMS#2は、通信装置CE#3に対してテーブル2を指示する。
【0062】
(ステップS105)通信装置CE#3は、図10のルーティングテーブルに従ってVLAN番号「V2」としてポートp1とポートp2とを接続する。この様子を図12(b)に示す。これは、図8で説明したように、ライブマイグレーション切替後の経路Dに対応する。
【0063】
このようにして、加入者側101の端末TE#1からIDC側103の仮想マシンVM#2までの経路Dが形成され、従来技術の図21で説明したような加入者側901の通信装置CE#94に対応する通信装置CE#4での経路変更が不要となり、加入者側101の負担が軽減され、端末TE#1はライブマイグレーションの切り替えを意識することなくクラウドサービスを利用することができる。
【0064】
[ライブマイグレーション時の経路変更例2]
次に、図7および図8で説明したライブマイグレーション時の経路変更方法の例2として、図13のフローチャートを用いて説明する。図9で説明した例1の場合は、通信装置CE#3のDB253にライブマイグレーション切替前と切替後の二種類のルーティングテーブルを予め記憶しておき、監視制御装置NMS#2がテーブルの切替指示を通信装置CE#3に行うようにしたが、図13の例2では、通信装置CE#3のDB253には1つのルーティングテーブルを記憶されているだけで、ライブマイグレーション時に監視制御装置NMS#2からDB253のテーブルを更新することにより、図7の経路Aから図8の経路Dに切り替える。以下、図13のフローチャートに従って順番に説明する。
【0065】
(ステップS201)図9のステップS101と同様に、IDC側103の監視制御装置NMS#1は、仮想マシンVM#1から仮想マシンVM#2にマイグレーションする必要があるか否かを判断する。そして、マイグレーションを行う場合はステップS202に進み、行わない場合はステップS201で待機する。
【0066】
(ステップS202)図9のステップS102と同様に、IDC側103の監視制御装置NMS#1は、仮想マシンVM#1から仮想マシンVM#2にマイグレーションデータを転送する。
【0067】
(ステップS203)IDC側103の監視制御装置NMS#1は、マイグレーションに伴い、接続先が変更される通信装置番号と、ポート番号設定情報とをNMS連携回線105を介してキャリア側102の監視制御装置NMS#2に通知する。
【0068】
ここで、ポート番号設定情報は、各ポートに設定するVLAN番号を示す情報である。監視制御装置NMS#1のDB303および監視制御装置NMS#2のDB403には、図14に示すように、各通信装置毎にライブマイグレーション切替前と切替後で各ポートに設定するVLAN番号がそれぞれ記憶されている。尚、これらのテーブルは、予めオペレータによって設定されているものとする。図14の例では、通信装置CE#3のポートp1の切替前のVLAN番号が「V1]、切替後のVLAN番号が「V2」である。同様に、ポートp2およびポート3は、切替前と切替後のVLAN番号は同じで、それぞれ「V2]および「V1」である。
【0069】
一方、通信装置CE#3のDB253には、図15(a)に示すようなルーティングテーブルが通信装置CE#3のDB253に記憶されている。例えば図15(a)に示すルーティングテーブルは、図14で説明したライブマイグレーション切替前のルーティングテーブルが記憶され、通信装置CE#3のポートp1とポートp3とが同じVLAN番号「V1」なので、図16(a)に示すように、例えばVLAN番号「V1」が付加された情報はポートp1とポートp3との間で送受信される。同様に、図14で説明したライブマイグレーション切替後のルーティングテーブルが通信装置CE#3のDB253に書き込まれた場合は、通信装置CE#3のポートp1とポートp2とが同じVLAN番号「V2」なので、図16(b)に示すように、例えばVLAN番号「V2」が付加された情報はポートp1とポートp2との間で送受信される。
【0070】
このようにして、監視制御装置NMS#1および監視制御装置NMS#2は、それぞれの配下の通信装置のポート番号毎に設定するVLAN番号を管理すると共に、NMS連携回線105を介して、両方の監視制御装置の配下の通信装置のポート番号とVLAN番号とを共有して管理する。
【0071】
(ステップS204)キャリア側102の監視制御装置NMS#2は、ルーティング経路を変更する必要がある通信装置に対して、ポート番号設定情報を監視用ネットワークを介して通知する。図14および図15の例では、ライブマイグレーション切替前は、通信装置CE#3のポートp1のVLAN番号は「V1」で、ライブマイグレーション切替後は通信装置CE#3のポートp1のVLAN番号は「V2」である。
【0072】
(ステップS205)通信装置CE#3は、図15(b)のルーティングテーブル(ポートp1のVLAN番号「V2」)に従って、ポートp1とポートp2とを接続する。この様子を図16(b)に示す。これは、図8で説明したように、ライブマイグレーション切替後の経路Dに対応する。
【0073】
このようにして、加入者側101の端末TE#1からIDC側103の仮想マシンVM#2までの経路Dが形成され、従来技術の図21で説明したような加入者側901の通信装置CE#94に対応する通信装置CE#4での経路変更が不要となり、加入者側101の負担が軽減され、端末TE#1はライブマイグレーションの切り替えを意識することなくクラウドサービスを利用することができる。
【0074】
以上、説明してきたように、本実施形態に係る通信システム100、通信装置CE#3、監視制御装置NMS#1および監視制御装置NMS#2は、遠隔地間に分散配置された仮想マシン間でライブマイグレーションを行う場合に、経路の冗長やそれに伴う遅延の増大を生じず、経路変更の回数も少ないライブマイグレーション機能を実現できる。
【0075】
尚、本発明に係る通信システム、通信装置および監視制御装置について、各実施例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【0076】
100,900・・・通信システム
101,901・・・加入者側
102,902・・・キャリア側
103,903・・・IDC側
104,904・・・ネットワーク
105・・・NMS連携回線
201・・・CPU盤
202・・・スイッチ盤
203・・・IF盤
251,302,402・・・監視用インターフェース部
252・・・制御部
253,303,403・・・DB
262,352,452・・・SNMPエージェント
301,401・・・監視制御部
304,404・・・操作端末
351,451・・・SNMPマネージャー
TE#1・・・端末
CE#1,CE#2,CE#3,CE#4,CE#5,CE#6・・・通信装置
NMS#1,NMS#2・・・監視制御装置
VM#1,VM#2・・・仮想マシン
SW#1,SW#2,SW#3・・・スイッチ

【特許請求の範囲】
【請求項1】
IDC用の複数の仮想マシン毎に配置された複数の第1の通信装置と、
キャリアネットワークを構成する複数のポートを有する複数の第2の通信装置と、
加入者側の端末を前記キャリアネットワークに接続する第3の通信装置と、
前記キャリアネットワークを構成する複数の第2の通信装置を管理するNW監視制御装置と、
分散配置された前記複数の仮想マシンおよび前記複数の第1の通信装置を管理するIDC監視制御装置と
を有し、前記第3の通信装置に対して前記分散配置された複数の仮想マシン間のライブマイグレーション機能を提供する通信システムにおいて、
前記NW監視制御装置と前記IDC監視制御装置とを相互に接続するNMS連携回線を設け、
前記NW監視制御装置は、前記IDC監視制御装置から前記仮想マシンの接続先変更に関する情報を前記NMS連携回線を介して取得し、前記第2の通信装置のルーティングテーブルを変更する
ことを特徴とする通信システム。
【請求項2】
請求項1に記載の通信システムにおいて、
前記第2の通信装置は、マイグレーション切り替え前後の2組のルーティングテーブルを保持し、前記NW監視制御装置からの指令に応じて前記2組のルーティングテーブルを切り替え、
前記NW監視制御装置は、前記NMS連携回線を介して前記IDC監視制御装置から取得したマイグレーション情報に応じて、前記2組のルーティングテーブルのいずれかを指定するテーブル番号を前記第2の通信装置に通知する
ことを特徴とする通信システム。
【請求項3】
請求項1に記載の通信システムにおいて、
前記第2の通信装置は、前記NW監視制御装置から書き換え可能なルーティングテーブルを保持し、
前記NW監視制御装置は、マイグレーション切り替え前後の2組のルーティングテーブルを保持し、前記NMS連携回線を介して前記IDC監視制御装置から取得したマイグレーション情報に応じて、前記第2の通信装置のルーティングテーブルを更新する
ことを特徴とする通信システム。
【請求項4】
請求項1から3のいずれか一項に記載の通信システムにおいて、
前記NW監視制御装置と前記IDC監視制御装置との間で前記NMS連携回線を介して送受信するマイグレーション情報は、予め決めておいたプロトコルを用いて送受信される
ことを特徴とする通信システム。
【請求項5】
請求項4に記載の通信システムにおいて、
前記プロトコルは、SNMPプロトコルのMIB、Telnet、FTPおよびHTTPのいずれかを用いて送受信される
ことを特徴とする通信システム。
【請求項6】
請求項2から5のいずれか一項に記載の通信システムに使用される前記第2の通信装置において、
マイグレーション前に使用する第1のルーティングテーブルと、
マイグレーション後に使用する第2のルーティングテーブルと、
前記第1のルーティングテーブルまたは前記第2のルーティングテーブルを選択する制御部と
を設け、
前記制御部は、前記NW監視制御装置から通知される情報に応じて、第1のルーティングテーブルまたは第2のルーティングテーブルを選択する
ことを特徴とする通信装置。
【請求項7】
請求項2から5のいずれか一項に記載の通信システムに使用される前記NW監視制御装置において、
前記IDC監視制御装置から前記NMS連携回線を介してマイグレーション関連情報を取得し、前記加入者側の前記第3の通信装置を収容する前記第2の通信装置のルーティングテーブルを変更する監視制御部を設けた
ことを特徴とするNW監視制御装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate


【公開番号】特開2012−165172(P2012−165172A)
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願番号】特願2011−23854(P2011−23854)
【出願日】平成23年2月7日(2011.2.7)
【出願人】(000237662)富士通テレコムネットワークス株式会社 (682)
【Fターム(参考)】