ネットワークの管理システム及びネットワークにおける停止ノードの再稼働方法
【課題】停止ノードの再稼働を自律分散的な手順により実現する技術において、パケットロス等の通信品質劣化が生じることなく行うネットワークにおける停止ノードの再稼働方法を得る。
【解決手段】多数のノードが各リンク（レイヤ２トポロジ）により接続されたネットワークにおいて、一部のノードを停止ノードとした場合に、自律分散的な手順により、前記ネットワークの利用状況を考慮し前記停止ノードを含んだレイヤ３トポロジを算出し、算出されたレイヤ３トポロジの経路中に存在する複数の停止ノードを再稼働するに際し、前記複数の再稼働した停止ノードを含むネットワーク中の全ノードで経路計算処理開始のタイミングを同時期とする。
【解決手段】多数のノードが各リンク（レイヤ２トポロジ）により接続されたネットワークにおいて、一部のノードを停止ノードとした場合に、自律分散的な手順により、前記ネットワークの利用状況を考慮し前記停止ノードを含んだレイヤ３トポロジを算出し、算出されたレイヤ３トポロジの経路中に存在する複数の停止ノードを再稼働するに際し、前記複数の再稼働した停止ノードを含むネットワーク中の全ノードで経路計算処理開始のタイミングを同時期とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク通信においてネットワーク全体の消費電力量を削減するため、ネットワーク上に複数存在するルータやスイッチ等のネットワーク機器（以下、ノードと呼ぶ）の利用状況に応じて、ネットワークの構成を動的に変更し、通信に不要となったノードの停止を自律分散的な手順により実現する技術において、停止中のノードの再稼働を行う停止ノードの再稼働方法、及び、この方法を実現するネットワークの管理システムに関する。
【背景技術】
【０００２】
ネットワーク人口の増加や動画像配信など各種通信サービスの普及により、インターネット内のトラヒック量が将来的に急激に増大することが予想される。図７は、経済産業大臣主催で開催された「グリーンＩＴイニシアティブ会議（第１回）」で示されたトラヒック量及び消費電力の推計であり、２０２５年には２００６年との比較でトラヒック量が１９０倍になると推定される。また、トラヒック量の増大に伴い、それを処理するサーバやルータなどのＩＴ機器も増加する傾向にあり、その消費電力量も２０２５年には２００６年との比較で５倍になると推定される。
【０００３】
このような背景、及びコスト削減や企業の社会的責任による企業価値の向上の観点から、サーバやルータなどのネットワークの運用効率を最大化しつつ、ネットワークにおける消費電力量を削減して省エネ化を図る技術が今後ますます重要となる。
【０００４】
従来行われているネットワークの省電力化に関する技術は、省電力化を図る部分により次の四つに分類することができる。
（１）施設設備に関する省電力化技術。
（２）ハードウェアに関する省電力化技術。
（３）プラットフォーム、ミドルウェアに関する省電力化技術。
（４）プロトコル、ソフトウェア、オペレーションに関する省電力化技術。
【０００５】
上記した（１）の施設設備に関する研究としては、サーマルプランニング技術（非特許文献１）やＩＴ機器への高圧直流給電技術（非特許文献２）などが提案されている。
また、上記した（２）のハードウェアに関する研究としては、Intel 社やAMD 社らによるマルチコア技術やＣＰＵ電力制御技術（非特許文献３，４）、標準化団体IEEE のEEE(Energy Efficient Ethernet(登録商標))(非特許文献９)やD-Link 社によるGreen Ethernet(登録商標)(非特許文献１２)などが提案されている。
更に、上記した（３）のプラットフォーム、ミドルウェアに関する研究としては、VMware やXen、Hyper-V などの仮想化技術（非特許文献５，６）が提案されている。
【０００６】
また、上記した（４）のプロトコル、ソフトウェア、オペレーションによる省電力化技術に関しては、VMware 社のDPM(Distributed Power Management) （非特許文献７，特許文献１，非特許文献８）に代表される仮想化プラットフォームを対象とした運用管理技術が存在する。
この仮想化技術は、物理的に一つの計算機資源（物理マシン）を論理的に複数の計算機資源（仮想マシン）として見せるための技術である。仮想マシンには、物理マシンの計算機資源（ＣＰＵやメモリ、ネットワーク帯域、ハードディスクなど）が分割して割り当てられる。
すなわち、仮想化技術の応用により利用状況に応じて仮想マシンへの物理マシンの計算機資源の割当量を動的に変更し、不要な物理マシンを停止又は休止する。
しかしながら、上述の技術では、利用状況に応じて構成を変更し、不要な機器の停止もしくは休止により省電力化を図ることが可能であるが、省電力化の適用範囲が仮想化されたサーバ群かつ同一ネットワークセグメント内に限られるという問題点があった。
【０００７】
標準化団体IEEE のEEE(Energy Efficient Ethernet(登録商標))（非特許文献９）では、例えば、ネットワークインタフェース（ノードの通信インタフェース）の利用率に応じて、インタフェースの速度を変更することが検討されている。また、一部のルータやスイッチ（ノード）には、通信に不要なポートの電源停止や、ケーブル長に応じた出力信号強度の変更により省電力化を実現するものがある（非特許文献１０，１１，１２)。
しかしながら、いずれの技術についても、省電力化の対象範囲がノード単体に限られている。そのため、ネットワーク全体の利用率が低い時間帯であっても、ネットワーク上の全てのノードが起動している必要があり、ネットワーク全体で電力消費量を削減することができないという不都合があった。
【０００８】
非特許文献１３に記載の技術は、リンク集約技術により、物理的に複数のリンクを論理的に単一のリンクとしたリンクを持つ、ネットワーク上のノード(スイッチ)に着目している。現時点では、リンクを流れるトラヒック量に関わらず、常にフル稼働しているスイッチの省電力化を目指し、リンクを流れるトラヒック量に応じて必要な数だけ物理リンクをアップさせ、その他の物理リンクをスリープ状態とする。
しかしながら、省電力化の対象範囲がノード間のリンクに限られているため、ネットワーク全体の利用率が低い時間帯であっても（一部のリンクはスリープ状態とできるが）、ネットワーク上の全てのノードが起動している必要があり、ネットワーク全体で電力消費量を削減することができない。
【０００９】
また、非特許文献１４に記載の技術においては、光ネットワークをその典型的な対象に光ネットワークの経路を集中計算する管理サーバにおける省電力化技術が提案されている。この管理サーバ６０は、図６に示すように、SNMP(Simple Network Management Protocol)などの既存プロトコル利用し、ネットワーク中の全てのノード６１からノードの利用状況(ノードのインタフェースに流れるトラヒック量など)を収集する。
そして、管理サーバ６０は、収集した各ノードの利用状況に応じ、消費電力が最小となるようネットワークの構成を算出し、算出した構成となるよう管理サーバ６０が各ノード６１のトポロジの設定変更（レイヤ２トポロジ６２のいずれの経路を使ってトラヒックを流すかを変更）を行う。すなわち、利用状況に応じ、ノード６１のトポロジ構成を変更し、さらに、通信に不要となった（経路変更によりトラヒックを中継しなくなった）ノード６１を停止もしくは休止することで省電力化を図ることが行われている。
【００１０】
しかしながら、非特許文献１４は、管理サーバで各ノードの管理を行う集中管理型のアプローチであり、機器の増加に伴い、管理サーバが、消費電力が最小となるネットワークの構成を求めるための計算量が爆発的に増加するという問題点があった。
【００１１】
また、ネットワーク上のノード（ルータ）が他のノードと情報を交換し、レイヤ３トポロジ（ＩＰルーティングテーブル）を常に適正で最新の情報に保つための技術としては、RIP(Routing Information Protocol)やOSPF(Open Shortest Path First)に代表されるダイナミックルーティング技術が提案されている。
しかしながら、このダイナミックルーティング技術においては、レイヤ３トポロジを構成するに際しての使用状況などは考慮されていないので、使用状況に関わらずネットワークの構成が（機器の追加や削除、故障やリンクの断などがない限り）固定的に使用されるため、省電力化を図ることはできない。
【００１２】
また、これら特許文献１及び非特許文献１〜１４に記載の技術には、ネットワーク上に存在する全てのノードを対象に分散的に電力消費量の削減を行うという思想は存在しなかった。
【００１３】
そこで本発明者らは、ネットワーク全体の消費電力量を削減することを目的に、ネットワーク上に複数存在するノードの一部もしくはその全てに実装され、ネットワークの利用状況に応じ、その構成を動的に変更し、さらに不要となったノードの停止を自律分散的な手順により実現するシステム（特許文献２及び特許文献３）を提案するに至った。
【００１４】
特許文献３に記載のシステムについて、図５を参照して説明する。
ネットワークシステムを構成する各ノード１は、物理的な配線であるリンク（レイヤ２トポロジ２）２により相互に接続され、自律分散的なプロトコルを構築している。
ネットワークシステムにおいては、全て若しくは一部のノード１が特許文献３で提案した機能を有することで、ノード１の物理的な配線（レイヤ２トポロジ２）から、ネットワークの論理構成（トラヒックをどのように転送するかのレイヤ３トポロジ３）を動的に生成する。レイヤ３トポロジ３は、ネットワークの利用状況に応じて、システムにおいて動的に変更すされる。
【００１５】
例えば、利用率が高い（ネットワーク中を流れるトラヒック量が多い）利用状況の場合、ネットワーク中の全ノードを用いた効率的なトラヒック転送を実施し（図５左）、利用率が低い利用状況となった場合には、一部のノードのみを用いてトラヒック転送するようレイヤ３トポロジを変更し、さらに不要なノードとリンクを停止する（図５右）。
【００１６】
停止中のノードの情報は、起動中の周囲のノード１が管理し、例えばトラヒック利用率が低い状況から高い状況に変化した場合には、周囲のノード１が停止中のノード１をネットワーク経由で起動する。レイヤ２トポロジからレイヤ３トポロジを動的に生成する手順は、例えば非特許文献１５の利用が考えられる（非特許文献１５には、利用率の変化に応じてレイヤ３トポロジを動的に変更する処理は含まれず、当該処理は特許文献２及び特許文献３で提案した独自の構成である）。また、ネットワーク経由で停止中のノード（ルータ）を起動するためには、例えば公知のWakeOnLAN（商品名）機能の利用が考えられる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００７−３１０７９１
【特許文献２】特願２００９−００１１０１
【特許文献３】特願２００９−０８３４４４
【非特許文献】
【００１８】
【非特許文献１】HP社 サーマル・プランニング・サービス： http://h50146.www5.hp.com/doc/catalog/services/pdfs/AS_070202_1.pdf
【非特許文献２】米エネルギー省(Department of Energy)国立研究機関LBNL(Lawrence Berkeley National Laboratory)： "Energy-Efficient Direct-Current-Powering Technology Reduces Energy Use in Data Centers By Up to 20 Percent" http://www.lbl.gov/Science-Articles/Archive/EETD-DC-power.html
【非特許文献３】V. Raghunathan, M. Srivastava and R. Gupta, "A Survey of Techniques for Energy Efficient On-Chip Communication" in Proceedings of Design Automation Conference 2003, Anaheim, CA, Jun. 2003.
【非特許文献４】T. Pering, T. Burd and R. Bordersen, "The Simulation and Evaluation of Dynamic Voltage Scaling Algorithms," in Proceedings of the International Symposium on Low Power Electronics and Design, Monterey, CA, Aug. 1998.
【非特許文献５】VMware: http://www.vmware.com/
【非特許文献６】Xen: http://www.xen.org/
【非特許文献７】VMware Distributed Power Management(DPM)
【非特許文献８】畑崎 恵介, 高本 良史, "サーバ仮想化を用いたシステムの省電力ポリシー運用技術," 電子情報通信学会技術研究報告 コンピュータシステム研究会CPSY2006-44 Vol.106, No.436, pp. 37-42, Dec. 2006.
【非特許文献９】IEEE 802.3 Energy Efficient Ethernet(登録商標) Study Group: http://grouper.ieee.org/groups/802/3/eee_study/index.html
【非特許文献１０】M. Gupta and S. Singh, "Greening of the Internet," in Proceedings of ACM SIGCOMM 2003, Karlsruhe, Germany, Aug. 2003.
【非特許文献１１】M. Gupta and S. Singh, "Energy conservation with low power modes in Ethernet(登録商標) LAN environments," in Proceedings of IEEE INFOCOM, Anchorage, Alaska, May 2007.
【非特許文献１２】D-Link社 Green Ethernet(登録商標)： http://www.dlink.com/corporate/environment/dlink-green-ethernet(登録商標)/
【非特許文献１３】河野義幸，福田豊，田村瞳，川原憲治，尾家祐二，"動的な物理リンク数制御によるスイッチ省電力化手法の提案，"電子情報通信学会技術研究報告 情報ネットワーク研究会 IN2007-216 Vol.107, No.525, pp.343-348, Mar. 2008.
【非特許文献１４】荒川豊，石井大介，津留崎彩，山中直明，石川浩行，斯波康裕，"ネットワークの低消費電力化に向けた網再構成手法，"電子情報通信学会技術研究報告 フォトニックネットワーク研究会 PN2008-16 Vol.108, No.183, pp.13-18, Aug. 2008.
【非特許文献１５】RFC2328 OSPF Version 2, 1998 http://www.ietf.org/rfc/rfc2328.txt
【発明の概要】
【発明が解決しようとする課題】
【００１９】
上述したシステムにおいて、稼働中のノードがネットワーク 経由で停止中のノードを再稼働する際、再稼働が必要なノードが複数台連続して接続されたレイヤ２トポロジの場合、レイヤ３トポロジを各ノードが自律分散的な手順により算出する関係から、一時的に通信断が発生する可能性があり、通信品質の劣化を招くことが懸念される。
【００２０】
上述のシステムにおける一時的に通信断が発生する例について、図４を参照しながら説明する。図の左側に記載した軸は、時間軸であり、下方側に時間が経過するものとする。図中、実線は物理的な接続（レイヤ２トポロジ）を示し、矢印線はレイヤ３トポロジによる経路を示す。
【００２１】
（t=0の時）
ノードＡ〜Ｇの７つのノードがリング状に接続され、ノードＡに接続したユーザＡがノードＧに接続したユーザＢにパケット転送する場合を例に説明する。
ノードＢとノードＣは、システムにより利用率が低い場合には不要と判断され、停止されている。利用率が低い状態から高い状態となり、ノードＢとノードＣを再稼働する場面を考える。全てのノードが起動している場合、ユーザＡからユーザＢへのトラヒックは、ノードＡ〜ノードＢ〜ノードＣ〜ノードＧの順に転送されるとする。利用率が低く、ノードＢ及びノードＣが停止している場合には、ユーザＡからユーザＢのトラヒックはノードＡ〜ノードＤ〜ノードＥ〜ノードＦ〜ノードＧの順にトラヒックが転送される。
【００２２】
（t=1の時）
利用率が高くなり、ノードＢが再稼働されたとする。再稼働したノードＢを含む全てのノードは（t=1）時点のレイヤ２トポロジ（ノードＣが停止している）から経路計算を行う。ノードＢからユーザＢへの経路は、ノードＣが停止しているため、ノードＢ〜ノードＡ〜ノードＤ〜ノードＥ〜ノードＦ〜ノードＧの順に迂回するような経路となる。
【００２３】
（t=2の時）
t=1の状態からさらにノードＣが再稼働される。
【００２４】
（t=3の時）
再稼働したノードＢ及びノードＣを含む全てのノードは、経路計算を行う。経路計算は、自律分散的な処理により実行される（全てのノードが非同期に経路計算を行う）。例えば、ノードＡが、他のノードより時間的に早く経路計算を行った場合、ノードＡからユーザＢへの経路は、ノードＢ方向に向けられることとなる。一方、ノードＢの経路計算は未了のため、ユーザＢへの経路はノードＡ方向のままである。そのため、ノードＡ〜ノードＢ間でループが発生し、ユーザＡからユーザＢへのトラヒック転送は失敗し、パケットロスが発生する。
【００２５】
（t=4）
全てのノードの経路計算が完了し、ユーザＡからユーザＢへのトラヒック転送が成功する。
【００２６】
上述したシステムにおいては、利用率が低い状態から高い状態となり、同一経路上のノードＢとノードＣが再稼働するに際して、自律分散的な処理により各ノードが異なるタイミングで稼働して経路計算を行うため、（t=3）から（t=4）の期間において、パケットロスが発生し通信品質劣化が生じるという問題点があった。
【００２７】
本発明は上記実情に鑑みて提案されたもので、ネットワーク全体の消費電力量の削減を図るため、ネットワーク上に複数存在するノードの一部若しくはその全てに実装することで、ネットワークの利用状況に応じて、ネットワークの構成を動的に変更し、更に通信に不要となった停止ノードの再稼働を自律分散的な手順により実現する技術において、パケットロス等の通信品質劣化が生じることなく停止中のノードの再稼働を実現するネットワークにおける停止ノードの再稼働方法及びネットワークの管理システムを提供することを目的としている。
【課題を解決するための手段】
【００２８】
上記目的を達成するため請求項１のネットワークの管理システムは、多数のノードが各リンク（レイヤ２トポロジ）により接続されたネットワークにおいて、
前記各ノードは、
前記ネットワーク中の各ノードの物理的な接続状態を管理するレイヤ２トポロジ管理部と、
前記ネットワークの利用状況を管理するネットワーク利用状況管理部と、
前記レイヤ２トポロジ管理部の情報と前記ネットワーク利用状況管理部の利用状況から電力消費量が少なくなるようなレイヤ３トポロジを算出するレイヤ３トポロジ算出部と、
前記レイヤ３トポロジの経路の実施により停止された前記ネットワーク中の停止ノードを管理する停止中ノード管理部と、
前記停止ノードをネットワーク経由で再稼働する停止中ノード再稼働部と、
再稼働した複数の停止ノードを含む経路計算処理開始のタイミングが停止中のノードを除くネットワーク中で同時期となるように再稼働したノードを管理する再稼働中ノード管理部と、
自身のノードが停止可能かどうか判断し電源停止を行うとともに、前記再稼働中ノード管理部からの情報に連動して前記各部における処理の一時停止及び一時停止の解除を行う制御部と
を具備することを特徴としている。
【００２９】
請求項２は、請求項１のネットワークの管理システムにおいて、
前記再稼働中ノード管理部は、
自身のノードが再稼働したことをネットワーク中に通知する機能と、
自身のノードが再稼働した場合にネットワーク中に送信されるレイヤ２トポロジからレイヤ３トポロジを計算するためのパケット送信を一時的に停止する機能と、
再稼働すべき同一経路上にある複数ノードが全て再稼働したかを定期的に判断する機能とを有し、
前記制御部は、同一経路上にある全ての停止ノードが再稼働した場合に、一時的に停止された前記パケット送信の停止を解除する
ことを特徴としている。
【００３０】
請求項３は、請求項１又は請求項２のネットワークの管理システムにおいて、
前記レイヤ３トポロジ算出部は、
前記レイヤ２トポロジ管理部の情報を受けてからレイヤ３トポロジを算出する経路計算を実行するまでに遅延時間を設定する
ことを特徴としている。
【００３１】
請求項４のネットワークにおける停止ノードの再稼働方法は、
多数のノードが各リンク（レイヤ２トポロジ）により接続されたネットワークにおいて、
一部のノードを停止ノードとした場合に、
自律分散的な手順により、前記ネットワークの利用状況を考慮し前記停止ノードを含んだレイヤ３トポロジを算出し、算出されたレイヤ３トポロジの経路中に存在する複数の停止ノードを再稼働するに際し、
前記複数の再稼働した停止ノードを含む経路計算処理開始のタイミングを停止中のノードを除くネットワーク中の全ノードで同時期としたことを特徴としている。
【００３２】
請求項５は、請求項４のネットワークにおける停止ノードの再稼働方法において、
前記各停止ノードは、再稼働後のノード情報をネットワーク内で共有するための信号を各ノードに送信し、該信号を受信した各ノードはネットワーク中で再稼働したノードを管理し、同一経路上にある全ての停止ノードが再稼働した場合に、これら再稼働したノードを含む経路計算処理開始を停止中のノードを除くネットワーク中の全ノードでほぼ同時に行うことを特徴としている。
【発明の効果】
【００３３】
本発明のネットワークにおける停止ノードの再稼働方法及びネットワークの管理システムによれば、ネットワークの利用状況に応じ、その構成を動的に変更し、更に通信に不要となったノードの停止及び再稼働を自律分散的な手順により実現する技術において、複数の停止ノードを再稼働させる場合に、各ノードの再稼働後の経路計算処理開始のタイミングを同時期とすることにより、ノード間におけるパケットロス等の発生を防ぐことで通信品質劣化を防止することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明のネットワークの管理システムのノードにおける構成概要を示すブロック図である。
【図２】本発明のネットワークの管理システムのノードに実装された各機能を説明するためのブロック図である。
【図３】本発明のネットワークの管理システムにおける経路変更動作について時間経過とともに示すモデル図である。
【図４】ネットワークの管理システムにおいて時間経過とともに一時的な通信断が発生する例を示すモデル図である。
【図５】ネットワークの管理システムにおける利用率の高い時間帯と低い時間帯の動作をイメージしたモデル図である。
【図６】非特許文献１４で提案されたネットワーク構成を示すモデル図である。
【図７】トラヒック量及び消費電力量の推計を示したグラフ図である。
【発明を実施するための形態】
【００３５】
本発明の一実施形態に係るネットワークにおける停止ノードの再稼働方法及びネットワークの管理システムについて、図面を参照しながら説明する。
本発明のネットワークにおける停止ノードの再稼働方法及びネットワークの管理システムは、自律分散型省電力プロトコルが実装された複数のノード（ルータ）から構成されるネットワークにより実現される。そして、ネットワークの利用状況に応じ、その構成を動的に変更し、さらに通信に不要となったノードの停止を自律分散的な手順により実現することにより、ネットワーク全体の消費電力量を削減することが行われる。
【００３６】
図１に示すように、本発明のネットワークにおける停止ノードの再稼働方法を実現する管理システムを構成する各ノード１には、ノードの物理的な接続状況を管理するレイヤ２トポロジ管理部１１と、ネットワークのリンク情報を把握するネットワーク利用状況管理部１２と、ネットワーク全体の省エネ化のためにレイヤ３トポロジの算出を行うレイヤ３トポロジ算出部１３と、レイヤ３トポロジの算出により停止されたノードを管理する停止中ノード管理部１４と、停止中ノードの再稼働を管理する停止中ノード再稼働部１５と、再稼働中のノードを管理する再稼働中ノード管理部１６と、これらの各部を制御する制御部１７とを備えて構成されている。
【００３７】
レイヤ２トポロジ管理部１１は、ネットワーク中にあるノードが、物理的にどのように接続されているかの物理的な接続状態（レイヤ２トポロジ）を管理する。管理対象には、レイヤ２トポロジの情報に加え、レイヤ３トポロジを算出するためのパラメータ（後述するLSDB）を含む場合がある。機能の詳細については後述する。
【００３８】
ネットワーク利用状況管理部１２は、ネットワーク 中を流れるトラヒック量や、各ノードの消費電力量などを管理する。管理対象は、トラヒック量のみの場合もある。
【００３９】
レイヤ３トポロジ算出部１３は、レイヤ２トポロジの情報（レイヤ３トポロジを算出するためのパラメータLSDB）と、ネットワーク利用状況管理部１２によるネットワークの利用状況から、電力消費量が小さくなるようなレイヤ３トポロジを算出し、ノードの構成とする。ノードがルータの場合には、ルーティングテーブルを設定することが行われる。
【００４０】
停止中ノード管理部１４は、レイヤ３トポロジの経路の実施により停止されたネットワーク中の停止中のノード（停止ノード）を管理する。ネットワーク利用状況管理部１２の情報から、ネットワークの利用率が増加しており、停止中のノードを再稼働する必要があるかを判断する。また、判断結果に基づき、停止中ノードの再稼働が必要な場合には、停止中ノード再稼働部１５を呼出す。
【００４１】
停止中ノード再稼働部１５は、停止中のノード（停止ノード）をネットワーク経由で再稼働する。この場合の再稼働とは、電源が供給されて各種処理が行える状態となったことを意味し、実際の経路計算等の各種処理については、後述するタイミングまで開始しない。
【００４２】
再稼働中ノード管理部１６は、ネットワーク中で再稼働したノードを管理する。
すなわち、自身が再稼働（停止中に他のルータからネットワーク経由で再稼働の命令受信等）した場合には、自身が再稼働したことをネットワーク中に通知する機能を有する。
また、自身が再稼働した場合、制御部１７を介して、他の機能を一時的に停止（もしくは自身からネットワーク中に送信するパケットを制御）する機能を有する。例えば、自身が再稼働した場合に、ネットワーク中に送信されるレイヤ２トポロジからレイヤ３トポロジを計算するためのパケット送信を一時的に停止する。
更に、再稼働すべき同一経路上にあるノードが全て再稼働したかを定期的に判定する機能を有している。
【００４３】
制御部１７は、レイヤ２トポロジ管理部１１、ネットワーク利用状況管理部１２、レイヤ３トポロジ算出部１３、停止中ノード管理部１４、停止中ノード再稼働部１５との間で信号の送受信を行ってこれらを制御するとともに、再稼働中ノード管理部１６からの情報に連動して、各部の一時停止及び一時停止の解除を行う。
すなわち制御部１７は、ノード自身が再稼働した場合、直ちに全ての処理を可能とするものではなく、ネットワーク中に送信されるレイヤ２トポロジからレイヤ３トポロジを計算するためのパケット送信については、一時的に停止する制御がなされる。
【００４４】
そして、制御部１７は、再稼働中ノード管理部１６が、同一経路上にある全ての停止ノードが再稼働したと判断した場合に、各ノードにおいてパケット送信の一時的な停止を解除する制御を行う。その結果、レイヤ２トポロジからレイヤ３トポロジを計算するためのパケットを、各ノードの再稼働後にほぼ同時に送信する（各ノードにおける再稼働のタイミングが異なる場合であっても、経路計算のためのパケットを送信するタイミングがほぼ同じとなる）。
すなわち、再稼働中ノード管理部１６及び制御部１７により、複数のノードの再稼働後において、これら再稼働した複数の停止ノードを含む経路計算処理開始のタイミングが、ネットワーク中の全ノードで、ほぼ同時期となるように管理し制御することが可能となる。
【００４５】
また、制御部１７は、ノード自身が停止可能（ネットワーク中を流れるトラヒックの転送に不要）であるかを判断し、停止可能な場合には、電源停止を行う。
【００４６】
次に、ネットワーク管理システムを構成するノード１におけるレイヤ２トポロジ管理部１１、ネットワーク利用状況管理部１２、レイヤ３トポロジ算出部１３、停止中ノード管理部１４、停止中ノード再稼働部１５、再稼働中ノード管理部１６の各部と制御部１７との信号送受信による動作（処理Ｓ１〜処理Ｓ１１）について、図２を参照しながら説明する。
【００４７】
（処理Ｓ１）
ノード１がノードＡである場合、レイヤ２トポロジ管理部１１は、ノードＡから隣接するノード（Ｂ，Ｄ，…）への経路コストの値であるLSA(Link State Advertisement)を保存管理するLSAテーブル１１１を備えている。隣接ノードとは、直接接続されたノードである（ノードＡに対する隣接ノードは、ノードＢとノードＤ）。そして、レイヤ２トポロジ管理部１１は、ネットワーク中の他ノードにLSA（ノードＡから隣接するノードへの経路コスト）の各値を送信する。
【００４８】
レイヤ２トポロジ管理部１１のLSAテーブル１１１で管理されるコストは、ノードのネットワークインタフェース（リンク）毎に運用者により予め設定された値であり、コストの値が低いとレイヤ３トポロジ算出時に経路として選択され易いことを意味している。通常、運用者はネットワーク中の全てのノード（ルータ）により、トラヒックが転送されるようコストを設定する。この管理システムのネットワークにおいても、運用者が設定するコストを使用した場合、ネットワーク中の全てのノードでトラヒックが転送されるとする。このコストの値は、ネットワーク利用状況に応じてネットワーク状況管理部１２が書き換えるようになっている。
【００４９】
（処理Ｓ２）
また、レイヤ２トポロジ管理部１１には、各ノードにより送信された、各ノードから隣接する他ノードへの経路コストの値であるLSAがそれぞれ送信され、それら各ノードが送信するLSA(自身が送信するLSAを含む)を受信し、保存管理するLSDB（データベース）１１２を備えている。すなわちLSDB１１２では、ノード間の経路方向を考慮し、あるノード(From) から他のノード(to)への経路コストがノード毎に管理されている。例えば、LSDB１１２に示す例では、ノードＡ(From)からノードＢ(to)への経路コストは50、ノードＢ(From)からノードＡ(to)への経路コストが20であることが分かる。このLSDB１１２を参照することで、レイヤ２トポロジとリンクのコストが分かる。
【００５０】
（処理Ｓ３）
レイヤ３トポロジ算出部１３では、レイヤ２トポロジ管理部１１のLSDB１１２のコストを参照し、Dijkstra(SPF、Shortest Path Fast)アルゴリズム等を用いて経路計算を行う。経路計算の結果は、各ノードのルーティングテーブルに反映される。
【００５１】
（処理Ｓ４）
各ノードのネットワーク利用状況管理部１２は、自身が送受信するトラヒック量１２１を定期的にネットワーク中の他ノードに送信する。
【００５２】
（処理Ｓ５）
処理Ｓ４により定期送信される各ノードが送受信するトラヒック量の情報を受信したノードは、受信情報を保存管理することで、トラヒック量の時間変化を表す利用状況データベース１２２を構築する。利用状況データベース１２２では、時間経過（t-0,t-1,t-2 …）に伴うノード（ルータ）Ａ，Ｂ，Ｃ,…のトラヒック量が管理され、一定時間毎に書き換えられる。
【００５３】
（処理Ｓ６）
処理Ｓ５により作成された利用状況データベース１２２より、各ノードはネットワークを流れるトラヒック量の増減傾向を判断し、リンク毎に設定されたコストについて、トラヒック量が減少傾向にある場合には、一部のノードでトラヒック転送されるようにコストが偏るように、また増加傾向にある場合には、全てのノードでトラヒック転送されるようにレイヤ２トポロジ管理部１１のLSAテーブル１１１におけるコストの値を変更する。
変更したコストは、処理Ｓ１により、ネットワーク中の全ノードにブロードキャストされ、処理Ｓ２と処理Ｓ３の機能によりルーティングテーブルに反映され、レイヤ３トポロジがネットワークの利用状況に応じて変更される。
【００５４】
レイヤ３トポロジ変更の結果、次の条件（１）から（３）を全て満たす場合、ノード自身が判断し電源停止する。
（１）コアノード(利用者や他のネットワークが直接接続されないノード。利用者や他のネットワークが直接接続するノードを本出願ではアクセスノードと呼ぶ)である。
（３）ネットワーク利用が減少傾向にある。
（３）アクセスノード間の経路に自身が含まれない。
【００５５】
電源停止したノードのエントリは、レイヤ２トポロジ管理部１１のLSDB１１２より削除される（LSDB１１２の斜線線部分。この例ではノードＣが削除）。レイヤ３トポロジ算出部１３による経路計算は、LSDB１１２より実施するため、エントリの削除によりレイヤ３トポロジに当該ノードが含まれることはなくなる。
【００５６】
（処理Ｓ７）
停止中ノード管理部１４では、停止中のノードを管理するため、LSDB１１２の各エントリを随時、停止中ノード管理部データベース１４１に上書き保存する。また、停止中ノード管理部データベース１４１における停止中ノード（この例の場合、ノードＣ）のコストについても書き換えを行う。
この停止中ノード管理部データベース１４１においては、停止中のノードの再稼働に失敗した場合と、明示的な削除要求がある場合にのみノードのエントリが削除される。
【００５７】
（処理Ｓ８）
全てのノードは、LSDB（停止中のノードのエントリが削除されるデータベース）１１２と、当該停止中ノード管理部１４の停止中ノード管理部データベース（停止中のノードのエントリを含むデータベース）１４１を比較することで、停止中ノード管理部データベース１４１にのみエントリが存在するノードを停止中のノードと判断することができる。
停止中ノード管理部データベース１４１上の停止中ノードのコストは、各ノードがネットワークの利用状況に応じて変更される。
【００５８】
（処理Ｓ９）
LSDB１１２から経路計算を行うことで、稼働中のノードのみで構成されるレイヤ３トポロジを算出する。また、停止中ノード管理部１４のノード管理データベース（稼働中のノードに加え停止中のノードのエントリを含む)１４１から、処理Ｓ３と同様の手順により経路計算することで、停止中のノード（ルータ）を含むレイヤ３トポロジを算出することができる。
【００５９】
停止中ノードを含むレイヤ３トポロジの算出の結果、次の条件（１）及び（２）を満たす場合、停止中のノードに停止中ノード再稼働部１５からネットワーク経由で再稼働指示を送信する。
（１）ネットワーク 利用が増加傾向にある。
（２）アクセスノード間の経路に停止中のノードが含まれる。
【００６０】
（処理Ｓ１０）
再稼働中ノード管理部１６は、停止中ノード再稼働部１５からの再稼働指示を受信し、再稼働される場合（再稼働時に）、再稼働完了通知機能により、ネットワーク中に再稼働が完了したことを広報する。また、レイヤ２トポロジ管理部１１の処理Ｓ１のLSA送信機能と、処理Ｓ３の経路計算機能を一時停止する。LSA送信の一時停止により、一時停止中（LSAが送信されるまで）は他のノードのLSDB１１２に再稼働したノードのエントリが作成されない。これによりレイヤ３トポロジが、ノードの再稼働と同時に、再稼働後のノードを含むレイヤ３トポロジとはならない。
【００６１】
再稼働中ノード管理部１６は、再稼働後、レイヤ２トポロジ管理部１１のLSDB１１２、ネットワーク利用状況管理部１２の利用状況データベース１２２及び停止中ノード管理部１４の停止中ノード管理部データベース１４１をネットワーク中の起動中の他ノードと同期させる。これにより、起動中のノードのレイヤ２トポロジと、ネットワーク利用状況（利用状況の増減傾向）、停止中ノードの情報を得る。
さらに、再稼働中ノード管理部１６は、再稼働後、再稼働したことをネットワーク中の他ノードに広報するパケットを送信する。
【００６２】
（処理Ｓ１１）
再稼働を広報するパケットを受信したノードは、再稼働中ノード管理部１６内の再稼働ノードリスト１６１に、エントリを追加する。再稼働ノードリスト１６１には、再稼働したノードの情報がリストとして管理される。
再稼働中ノード管理部１６は、LSDB１１２及び停止中ノード管理部１４にある停止中ノード管理部データベース１４１から経路計算を行い、処理Ｓ９と同様の手順で再稼働が必要な停止中ノードの情報を得る。
【００６３】
経路上における再稼働が必要なアクセスノード間の停止中ノード（再稼働したノード自身を含む）が、全て再稼働ノードリスト１６１に含まれる場合（経路上の再稼働が必要な全ノードの再稼働が完了した）、処理Ｓ１０における一部機能の一時停止を解除する。また、一時停止と同時に、再稼働ノードリスト１６１から、再稼働が完了したと判断した経路にあるノードのエントリを削除する。
図の例では、稼働中のノードＤ，Ｅ，Ｆが含まれる第１の経路に対して、停止中のノードＢ，Ｃが含まれる第２の経路が存在する場合について説明したが、他の停止中のノードを含む別の第３の経路が存在した場合は、第２又は第３の経路のいずれかの経路における全ての停止ノードが稼働ノードリスト１６１に含まれる場合に、その経路に含まれる停止ノード（再稼働ノード）に対する処理Ｓ１０における一部機能の一時停止を解除し、再稼働ノードリスト１６１から、再稼働が完了したと判断した経路（第２又は第３の経路）にあるノードのエントリを削除する。
【００６４】
上述した管理システムにより、各停止ノードは、再稼働後のノード情報をネットワーク内で共有するための信号を各ノードに送信し（処理Ｓ１０）、これら信号を受信した各ノードはネットワーク中で再稼働したノードを管理し（処理Ｓ１１）、同一経路上にある全ての停止ノードが再稼働した場合に、再稼働直後は停止していた一部機能の一時停止を解除することで（処理Ｓ１１）、これら再稼働したノードを含む経路計算処理開始のタイミングが、ネットワーク中の全てのノードで、ほぼ同時期となる。
【００６５】
上述した管理システムにおいては、図５に示されるように、利用率の高い時間帯においては、管理システムが適用された各ノード１が物理的に接続されたレイヤ２トポロジ２の全てを用いてレイヤ３トポロジ３が構成されるが、利用率の低い時間帯においては、不要なノードやリンクを停止し、更新した新しいリンクコストを用いてレイヤ３トポロジ３に変更することで、動作状態のノード１やリンク２の数を減少（図１の左から右への構成変更）させて、ネットワーク全体の省エネ化が図られる。
【００６６】
次に、ネットワークにおいて、複数のノードが停止状態となることで省エネ化が図られた状態から複数の停止ノードを稼働させる場合の具体的な動作例について、図３を参照しながら説明する。図の左側に記載した軸は、時間軸であり、下方側に時間が経過するものとする。図中、実線は物理的な接続（レイヤ２トポロジ）を示し、矢印線はレイヤ３トポロジによる経路を示す。
【００６７】
（t=0の時）
ノードＡ〜Ｇの７つのノードがリング状に接続され、ノードＡに接続したユーザＡがノードＧに接続したユーザＢにパケット転送する場合を例に示す。
ノードＢとノードＣは、利用率が低い場合には不要と判断され、停止される（t=0の時)。利用率が低い状態から高い状態となり、ノードＢとノードＣを再稼働する場面を考える。
全てのノードが起動している場合、ユーザＡからユーザＢへのトラヒックは、ノードＡ〜ノードＢ〜ノードＣ〜ノードＧの順に転送されるとする。利用率が低く、ノードＢ及びノードＣが停止している場合には、ユーザＡからユーザＢのトラヒックはノードＡ〜ノードＤ〜ノードＥ〜ノードＦ〜ノードＧの順にトラヒックが転送される。
LSDB１１２には稼働中のノードのエントリ（ノードＡ，Ｄ，Ｅ，Ｆ，Ｇ）が、停止中ノード管理部データベース１４１には、停止中のノードを含むエントリ（ノードＡ〜Ｇ）がある。また、再稼働ノードリスト１６１にはエントリは無い。
【００６８】
（t=1の時）
利用率が高くなる等、ノードＢが他のノードからネットワーク経由で再稼働される。上述した管理システムの構成により、再稼働中ノード管理部１６が再稼働時におけるレイヤ２トポロジ管理部１１の処理Ｓ１のLSA送信機能を一時停止させるため、ノードＢはLSA送信を実施しない。そのためノードＢを含む稼働中の全ノードのLSDB１１２もまた更新されないため、LSDB１１２内にノードＢはエントリされない。通常の方式では、再稼働中ノード管理部１６によるLSA送信機能の一時停止がないので、再稼働の直後にLSA送信され、稼働中の全ノードのLSDBがノードＢを含むように更新されることで、レイヤ３トポロジが変わる。
再稼働したノードＢは、再稼働が完了したことをネットワーク中にブロードキャストする。これにより再稼働ノードリスト１６１に、ノードＢが追加される。
【００６９】
（t=2の時）
（t=1）の状態からさらにノードＣが再稼働される。ノードＣもノードＢが再稼働した際と同様に、再稼働をネットワーク中に広報する。再稼働ノードリスト１６１にはノードＢとノードＣのエントリが存在することとなる。
【００７０】
（t=3の時）
前述した処理Ｓ１１により、再稼働ノードリスト１６１からノードＢ及びノードＣが削除され、さらにノードＢ及びノードＣからLSAがそれぞれ送信される。
LSAはノードＢ及びノードＣからそれぞれ送信されるが、この送信の時間差は、処理Ｓ１１の実施タイミングにより決まる（例えばノードＢで処理Ｓ１１が実行されるタイミングとノードＣで処理Ｓ１１が実行されるタイミングとが６０秒異なる場合、ノードＢとノードＣのLSA送信タイミングもまた、約６０秒異なることとなる）。
【００７１】
そして、ノードにおいて、次の要件（１）及び（２）を満たす実装となるよう工夫することで、ノードＢ及びノードＣのLSA送信タイミングをほぼ同じとすることができる。
（１）処理Ｓ１１を他ノードの再稼働の通知パケット受信直後に実行する。
（２）処理Ｓ１１を自身のノードの再稼働の通知パケットを送信した直後、又は、ネットワーク中に広報されるまでの遅延時間を考慮した後に実行する。
【００７２】
上述した実装上の工夫の他に次の実装上の工夫を行うことで、経路計算処理開始のタイミングをネットワーク中でほぼ同時とすることができる。各ノードにおけるレイヤ３トポロジ算出部１３において、レイヤ２トポロジ管理部１１のLSDB１１２からレイヤ３トポロジを算出する経路計算を行う場合に、レイヤ２トポロジ管理部１１がLSAを受信後に経路計算を実行するまでに遅延時間を設定する。
すなわち、段落番号００７１に記載の実装上の工夫により、再稼働後のノードから、LSAが送信されるタイミングをほぼ同時とし、さらにLSAの送信タイミングの再稼働ノード間での違いが、当該遅延時間内であれば、同じタイミングで経路計算が行われる。
【００７３】
（t＝4の時）
t＝3にて変更されたレイヤ３トポロジによりパケット転送が行われる。
【００７４】
上述したネットワークにおける停止ノードの再稼働方法によれば、ネットワークの利用状況に応じ、その構成を動的に変更して通信に不要となった複数の停止ノードを自律分散的な手順により再稼働する場合に、同一経路上にある全ての停止ノードが再稼働した場合に、一時的に停止されたパケット送信を行うことで各ノードの再稼働後の経路計算処理開始のタイミングを同時期とすることができ、ノード間にループが生じてパケットロスが発生を防ぐことで、通信品質劣化させることなく停止中のノードの再稼働を実現することができる。
【符号の説明】
【００７５】
１…ノード、 ２…リンク（レイヤ２トポロジ）、 ３…レイヤ３トポロジ、 １１…レイヤ２トポロジ管理部、 １２…ネットワーク利用状況管理部、 １３…レイヤ３トポロジ算出部、 １４…停止中ノード管理部、 １５…停止中ノード再稼働部、 １６…再稼働中ノード管理部、 １７…制御部、 １１２…LSDB、 １２２…利用状況データベース、 １４１…停止中ノード管理部データベース、 １６１…再稼働ノードリスト。
【技術分野】
【０００１】
本発明は、ネットワーク通信においてネットワーク全体の消費電力量を削減するため、ネットワーク上に複数存在するルータやスイッチ等のネットワーク機器（以下、ノードと呼ぶ）の利用状況に応じて、ネットワークの構成を動的に変更し、通信に不要となったノードの停止を自律分散的な手順により実現する技術において、停止中のノードの再稼働を行う停止ノードの再稼働方法、及び、この方法を実現するネットワークの管理システムに関する。
【背景技術】
【０００２】
ネットワーク人口の増加や動画像配信など各種通信サービスの普及により、インターネット内のトラヒック量が将来的に急激に増大することが予想される。図７は、経済産業大臣主催で開催された「グリーンＩＴイニシアティブ会議（第１回）」で示されたトラヒック量及び消費電力の推計であり、２０２５年には２００６年との比較でトラヒック量が１９０倍になると推定される。また、トラヒック量の増大に伴い、それを処理するサーバやルータなどのＩＴ機器も増加する傾向にあり、その消費電力量も２０２５年には２００６年との比較で５倍になると推定される。
【０００３】
このような背景、及びコスト削減や企業の社会的責任による企業価値の向上の観点から、サーバやルータなどのネットワークの運用効率を最大化しつつ、ネットワークにおける消費電力量を削減して省エネ化を図る技術が今後ますます重要となる。
【０００４】
従来行われているネットワークの省電力化に関する技術は、省電力化を図る部分により次の四つに分類することができる。
（１）施設設備に関する省電力化技術。
（２）ハードウェアに関する省電力化技術。
（３）プラットフォーム、ミドルウェアに関する省電力化技術。
（４）プロトコル、ソフトウェア、オペレーションに関する省電力化技術。
【０００５】
上記した（１）の施設設備に関する研究としては、サーマルプランニング技術（非特許文献１）やＩＴ機器への高圧直流給電技術（非特許文献２）などが提案されている。
また、上記した（２）のハードウェアに関する研究としては、Intel 社やAMD 社らによるマルチコア技術やＣＰＵ電力制御技術（非特許文献３，４）、標準化団体IEEE のEEE(Energy Efficient Ethernet(登録商標))(非特許文献９)やD-Link 社によるGreen Ethernet(登録商標)(非特許文献１２)などが提案されている。
更に、上記した（３）のプラットフォーム、ミドルウェアに関する研究としては、VMware やXen、Hyper-V などの仮想化技術（非特許文献５，６）が提案されている。
【０００６】
また、上記した（４）のプロトコル、ソフトウェア、オペレーションによる省電力化技術に関しては、VMware 社のDPM(Distributed Power Management) （非特許文献７，特許文献１，非特許文献８）に代表される仮想化プラットフォームを対象とした運用管理技術が存在する。
この仮想化技術は、物理的に一つの計算機資源（物理マシン）を論理的に複数の計算機資源（仮想マシン）として見せるための技術である。仮想マシンには、物理マシンの計算機資源（ＣＰＵやメモリ、ネットワーク帯域、ハードディスクなど）が分割して割り当てられる。
すなわち、仮想化技術の応用により利用状況に応じて仮想マシンへの物理マシンの計算機資源の割当量を動的に変更し、不要な物理マシンを停止又は休止する。
しかしながら、上述の技術では、利用状況に応じて構成を変更し、不要な機器の停止もしくは休止により省電力化を図ることが可能であるが、省電力化の適用範囲が仮想化されたサーバ群かつ同一ネットワークセグメント内に限られるという問題点があった。
【０００７】
標準化団体IEEE のEEE(Energy Efficient Ethernet(登録商標))（非特許文献９）では、例えば、ネットワークインタフェース（ノードの通信インタフェース）の利用率に応じて、インタフェースの速度を変更することが検討されている。また、一部のルータやスイッチ（ノード）には、通信に不要なポートの電源停止や、ケーブル長に応じた出力信号強度の変更により省電力化を実現するものがある（非特許文献１０，１１，１２)。
しかしながら、いずれの技術についても、省電力化の対象範囲がノード単体に限られている。そのため、ネットワーク全体の利用率が低い時間帯であっても、ネットワーク上の全てのノードが起動している必要があり、ネットワーク全体で電力消費量を削減することができないという不都合があった。
【０００８】
非特許文献１３に記載の技術は、リンク集約技術により、物理的に複数のリンクを論理的に単一のリンクとしたリンクを持つ、ネットワーク上のノード(スイッチ)に着目している。現時点では、リンクを流れるトラヒック量に関わらず、常にフル稼働しているスイッチの省電力化を目指し、リンクを流れるトラヒック量に応じて必要な数だけ物理リンクをアップさせ、その他の物理リンクをスリープ状態とする。
しかしながら、省電力化の対象範囲がノード間のリンクに限られているため、ネットワーク全体の利用率が低い時間帯であっても（一部のリンクはスリープ状態とできるが）、ネットワーク上の全てのノードが起動している必要があり、ネットワーク全体で電力消費量を削減することができない。
【０００９】
また、非特許文献１４に記載の技術においては、光ネットワークをその典型的な対象に光ネットワークの経路を集中計算する管理サーバにおける省電力化技術が提案されている。この管理サーバ６０は、図６に示すように、SNMP(Simple Network Management Protocol)などの既存プロトコル利用し、ネットワーク中の全てのノード６１からノードの利用状況(ノードのインタフェースに流れるトラヒック量など)を収集する。
そして、管理サーバ６０は、収集した各ノードの利用状況に応じ、消費電力が最小となるようネットワークの構成を算出し、算出した構成となるよう管理サーバ６０が各ノード６１のトポロジの設定変更（レイヤ２トポロジ６２のいずれの経路を使ってトラヒックを流すかを変更）を行う。すなわち、利用状況に応じ、ノード６１のトポロジ構成を変更し、さらに、通信に不要となった（経路変更によりトラヒックを中継しなくなった）ノード６１を停止もしくは休止することで省電力化を図ることが行われている。
【００１０】
しかしながら、非特許文献１４は、管理サーバで各ノードの管理を行う集中管理型のアプローチであり、機器の増加に伴い、管理サーバが、消費電力が最小となるネットワークの構成を求めるための計算量が爆発的に増加するという問題点があった。
【００１１】
また、ネットワーク上のノード（ルータ）が他のノードと情報を交換し、レイヤ３トポロジ（ＩＰルーティングテーブル）を常に適正で最新の情報に保つための技術としては、RIP(Routing Information Protocol)やOSPF(Open Shortest Path First)に代表されるダイナミックルーティング技術が提案されている。
しかしながら、このダイナミックルーティング技術においては、レイヤ３トポロジを構成するに際しての使用状況などは考慮されていないので、使用状況に関わらずネットワークの構成が（機器の追加や削除、故障やリンクの断などがない限り）固定的に使用されるため、省電力化を図ることはできない。
【００１２】
また、これら特許文献１及び非特許文献１〜１４に記載の技術には、ネットワーク上に存在する全てのノードを対象に分散的に電力消費量の削減を行うという思想は存在しなかった。
【００１３】
そこで本発明者らは、ネットワーク全体の消費電力量を削減することを目的に、ネットワーク上に複数存在するノードの一部もしくはその全てに実装され、ネットワークの利用状況に応じ、その構成を動的に変更し、さらに不要となったノードの停止を自律分散的な手順により実現するシステム（特許文献２及び特許文献３）を提案するに至った。
【００１４】
特許文献３に記載のシステムについて、図５を参照して説明する。
ネットワークシステムを構成する各ノード１は、物理的な配線であるリンク（レイヤ２トポロジ２）２により相互に接続され、自律分散的なプロトコルを構築している。
ネットワークシステムにおいては、全て若しくは一部のノード１が特許文献３で提案した機能を有することで、ノード１の物理的な配線（レイヤ２トポロジ２）から、ネットワークの論理構成（トラヒックをどのように転送するかのレイヤ３トポロジ３）を動的に生成する。レイヤ３トポロジ３は、ネットワークの利用状況に応じて、システムにおいて動的に変更すされる。
【００１５】
例えば、利用率が高い（ネットワーク中を流れるトラヒック量が多い）利用状況の場合、ネットワーク中の全ノードを用いた効率的なトラヒック転送を実施し（図５左）、利用率が低い利用状況となった場合には、一部のノードのみを用いてトラヒック転送するようレイヤ３トポロジを変更し、さらに不要なノードとリンクを停止する（図５右）。
【００１６】
停止中のノードの情報は、起動中の周囲のノード１が管理し、例えばトラヒック利用率が低い状況から高い状況に変化した場合には、周囲のノード１が停止中のノード１をネットワーク経由で起動する。レイヤ２トポロジからレイヤ３トポロジを動的に生成する手順は、例えば非特許文献１５の利用が考えられる（非特許文献１５には、利用率の変化に応じてレイヤ３トポロジを動的に変更する処理は含まれず、当該処理は特許文献２及び特許文献３で提案した独自の構成である）。また、ネットワーク経由で停止中のノード（ルータ）を起動するためには、例えば公知のWakeOnLAN（商品名）機能の利用が考えられる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００７−３１０７９１
【特許文献２】特願２００９−００１１０１
【特許文献３】特願２００９−０８３４４４
【非特許文献】
【００１８】
【非特許文献１】HP社 サーマル・プランニング・サービス： http://h50146.www5.hp.com/doc/catalog/services/pdfs/AS_070202_1.pdf
【非特許文献２】米エネルギー省(Department of Energy)国立研究機関LBNL(Lawrence Berkeley National Laboratory)： "Energy-Efficient Direct-Current-Powering Technology Reduces Energy Use in Data Centers By Up to 20 Percent" http://www.lbl.gov/Science-Articles/Archive/EETD-DC-power.html
【非特許文献３】V. Raghunathan, M. Srivastava and R. Gupta, "A Survey of Techniques for Energy Efficient On-Chip Communication" in Proceedings of Design Automation Conference 2003, Anaheim, CA, Jun. 2003.
【非特許文献４】T. Pering, T. Burd and R. Bordersen, "The Simulation and Evaluation of Dynamic Voltage Scaling Algorithms," in Proceedings of the International Symposium on Low Power Electronics and Design, Monterey, CA, Aug. 1998.
【非特許文献５】VMware: http://www.vmware.com/
【非特許文献６】Xen: http://www.xen.org/
【非特許文献７】VMware Distributed Power Management(DPM)
【非特許文献８】畑崎 恵介, 高本 良史, "サーバ仮想化を用いたシステムの省電力ポリシー運用技術," 電子情報通信学会技術研究報告 コンピュータシステム研究会CPSY2006-44 Vol.106, No.436, pp. 37-42, Dec. 2006.
【非特許文献９】IEEE 802.3 Energy Efficient Ethernet(登録商標) Study Group: http://grouper.ieee.org/groups/802/3/eee_study/index.html
【非特許文献１０】M. Gupta and S. Singh, "Greening of the Internet," in Proceedings of ACM SIGCOMM 2003, Karlsruhe, Germany, Aug. 2003.
【非特許文献１１】M. Gupta and S. Singh, "Energy conservation with low power modes in Ethernet(登録商標) LAN environments," in Proceedings of IEEE INFOCOM, Anchorage, Alaska, May 2007.
【非特許文献１２】D-Link社 Green Ethernet(登録商標)： http://www.dlink.com/corporate/environment/dlink-green-ethernet(登録商標)/
【非特許文献１３】河野義幸，福田豊，田村瞳，川原憲治，尾家祐二，"動的な物理リンク数制御によるスイッチ省電力化手法の提案，"電子情報通信学会技術研究報告 情報ネットワーク研究会 IN2007-216 Vol.107, No.525, pp.343-348, Mar. 2008.
【非特許文献１４】荒川豊，石井大介，津留崎彩，山中直明，石川浩行，斯波康裕，"ネットワークの低消費電力化に向けた網再構成手法，"電子情報通信学会技術研究報告 フォトニックネットワーク研究会 PN2008-16 Vol.108, No.183, pp.13-18, Aug. 2008.
【非特許文献１５】RFC2328 OSPF Version 2, 1998 http://www.ietf.org/rfc/rfc2328.txt
【発明の概要】
【発明が解決しようとする課題】
【００１９】
上述したシステムにおいて、稼働中のノードがネットワーク 経由で停止中のノードを再稼働する際、再稼働が必要なノードが複数台連続して接続されたレイヤ２トポロジの場合、レイヤ３トポロジを各ノードが自律分散的な手順により算出する関係から、一時的に通信断が発生する可能性があり、通信品質の劣化を招くことが懸念される。
【００２０】
上述のシステムにおける一時的に通信断が発生する例について、図４を参照しながら説明する。図の左側に記載した軸は、時間軸であり、下方側に時間が経過するものとする。図中、実線は物理的な接続（レイヤ２トポロジ）を示し、矢印線はレイヤ３トポロジによる経路を示す。
【００２１】
（t=0の時）
ノードＡ〜Ｇの７つのノードがリング状に接続され、ノードＡに接続したユーザＡがノードＧに接続したユーザＢにパケット転送する場合を例に説明する。
ノードＢとノードＣは、システムにより利用率が低い場合には不要と判断され、停止されている。利用率が低い状態から高い状態となり、ノードＢとノードＣを再稼働する場面を考える。全てのノードが起動している場合、ユーザＡからユーザＢへのトラヒックは、ノードＡ〜ノードＢ〜ノードＣ〜ノードＧの順に転送されるとする。利用率が低く、ノードＢ及びノードＣが停止している場合には、ユーザＡからユーザＢのトラヒックはノードＡ〜ノードＤ〜ノードＥ〜ノードＦ〜ノードＧの順にトラヒックが転送される。
【００２２】
（t=1の時）
利用率が高くなり、ノードＢが再稼働されたとする。再稼働したノードＢを含む全てのノードは（t=1）時点のレイヤ２トポロジ（ノードＣが停止している）から経路計算を行う。ノードＢからユーザＢへの経路は、ノードＣが停止しているため、ノードＢ〜ノードＡ〜ノードＤ〜ノードＥ〜ノードＦ〜ノードＧの順に迂回するような経路となる。
【００２３】
（t=2の時）
t=1の状態からさらにノードＣが再稼働される。
【００２４】
（t=3の時）
再稼働したノードＢ及びノードＣを含む全てのノードは、経路計算を行う。経路計算は、自律分散的な処理により実行される（全てのノードが非同期に経路計算を行う）。例えば、ノードＡが、他のノードより時間的に早く経路計算を行った場合、ノードＡからユーザＢへの経路は、ノードＢ方向に向けられることとなる。一方、ノードＢの経路計算は未了のため、ユーザＢへの経路はノードＡ方向のままである。そのため、ノードＡ〜ノードＢ間でループが発生し、ユーザＡからユーザＢへのトラヒック転送は失敗し、パケットロスが発生する。
【００２５】
（t=4）
全てのノードの経路計算が完了し、ユーザＡからユーザＢへのトラヒック転送が成功する。
【００２６】
上述したシステムにおいては、利用率が低い状態から高い状態となり、同一経路上のノードＢとノードＣが再稼働するに際して、自律分散的な処理により各ノードが異なるタイミングで稼働して経路計算を行うため、（t=3）から（t=4）の期間において、パケットロスが発生し通信品質劣化が生じるという問題点があった。
【００２７】
本発明は上記実情に鑑みて提案されたもので、ネットワーク全体の消費電力量の削減を図るため、ネットワーク上に複数存在するノードの一部若しくはその全てに実装することで、ネットワークの利用状況に応じて、ネットワークの構成を動的に変更し、更に通信に不要となった停止ノードの再稼働を自律分散的な手順により実現する技術において、パケットロス等の通信品質劣化が生じることなく停止中のノードの再稼働を実現するネットワークにおける停止ノードの再稼働方法及びネットワークの管理システムを提供することを目的としている。
【課題を解決するための手段】
【００２８】
上記目的を達成するため請求項１のネットワークの管理システムは、多数のノードが各リンク（レイヤ２トポロジ）により接続されたネットワークにおいて、
前記各ノードは、
前記ネットワーク中の各ノードの物理的な接続状態を管理するレイヤ２トポロジ管理部と、
前記ネットワークの利用状況を管理するネットワーク利用状況管理部と、
前記レイヤ２トポロジ管理部の情報と前記ネットワーク利用状況管理部の利用状況から電力消費量が少なくなるようなレイヤ３トポロジを算出するレイヤ３トポロジ算出部と、
前記レイヤ３トポロジの経路の実施により停止された前記ネットワーク中の停止ノードを管理する停止中ノード管理部と、
前記停止ノードをネットワーク経由で再稼働する停止中ノード再稼働部と、
再稼働した複数の停止ノードを含む経路計算処理開始のタイミングが停止中のノードを除くネットワーク中で同時期となるように再稼働したノードを管理する再稼働中ノード管理部と、
自身のノードが停止可能かどうか判断し電源停止を行うとともに、前記再稼働中ノード管理部からの情報に連動して前記各部における処理の一時停止及び一時停止の解除を行う制御部と
を具備することを特徴としている。
【００２９】
請求項２は、請求項１のネットワークの管理システムにおいて、
前記再稼働中ノード管理部は、
自身のノードが再稼働したことをネットワーク中に通知する機能と、
自身のノードが再稼働した場合にネットワーク中に送信されるレイヤ２トポロジからレイヤ３トポロジを計算するためのパケット送信を一時的に停止する機能と、
再稼働すべき同一経路上にある複数ノードが全て再稼働したかを定期的に判断する機能とを有し、
前記制御部は、同一経路上にある全ての停止ノードが再稼働した場合に、一時的に停止された前記パケット送信の停止を解除する
ことを特徴としている。
【００３０】
請求項３は、請求項１又は請求項２のネットワークの管理システムにおいて、
前記レイヤ３トポロジ算出部は、
前記レイヤ２トポロジ管理部の情報を受けてからレイヤ３トポロジを算出する経路計算を実行するまでに遅延時間を設定する
ことを特徴としている。
【００３１】
請求項４のネットワークにおける停止ノードの再稼働方法は、
多数のノードが各リンク（レイヤ２トポロジ）により接続されたネットワークにおいて、
一部のノードを停止ノードとした場合に、
自律分散的な手順により、前記ネットワークの利用状況を考慮し前記停止ノードを含んだレイヤ３トポロジを算出し、算出されたレイヤ３トポロジの経路中に存在する複数の停止ノードを再稼働するに際し、
前記複数の再稼働した停止ノードを含む経路計算処理開始のタイミングを停止中のノードを除くネットワーク中の全ノードで同時期としたことを特徴としている。
【００３２】
請求項５は、請求項４のネットワークにおける停止ノードの再稼働方法において、
前記各停止ノードは、再稼働後のノード情報をネットワーク内で共有するための信号を各ノードに送信し、該信号を受信した各ノードはネットワーク中で再稼働したノードを管理し、同一経路上にある全ての停止ノードが再稼働した場合に、これら再稼働したノードを含む経路計算処理開始を停止中のノードを除くネットワーク中の全ノードでほぼ同時に行うことを特徴としている。
【発明の効果】
【００３３】
本発明のネットワークにおける停止ノードの再稼働方法及びネットワークの管理システムによれば、ネットワークの利用状況に応じ、その構成を動的に変更し、更に通信に不要となったノードの停止及び再稼働を自律分散的な手順により実現する技術において、複数の停止ノードを再稼働させる場合に、各ノードの再稼働後の経路計算処理開始のタイミングを同時期とすることにより、ノード間におけるパケットロス等の発生を防ぐことで通信品質劣化を防止することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明のネットワークの管理システムのノードにおける構成概要を示すブロック図である。
【図２】本発明のネットワークの管理システムのノードに実装された各機能を説明するためのブロック図である。
【図３】本発明のネットワークの管理システムにおける経路変更動作について時間経過とともに示すモデル図である。
【図４】ネットワークの管理システムにおいて時間経過とともに一時的な通信断が発生する例を示すモデル図である。
【図５】ネットワークの管理システムにおける利用率の高い時間帯と低い時間帯の動作をイメージしたモデル図である。
【図６】非特許文献１４で提案されたネットワーク構成を示すモデル図である。
【図７】トラヒック量及び消費電力量の推計を示したグラフ図である。
【発明を実施するための形態】
【００３５】
本発明の一実施形態に係るネットワークにおける停止ノードの再稼働方法及びネットワークの管理システムについて、図面を参照しながら説明する。
本発明のネットワークにおける停止ノードの再稼働方法及びネットワークの管理システムは、自律分散型省電力プロトコルが実装された複数のノード（ルータ）から構成されるネットワークにより実現される。そして、ネットワークの利用状況に応じ、その構成を動的に変更し、さらに通信に不要となったノードの停止を自律分散的な手順により実現することにより、ネットワーク全体の消費電力量を削減することが行われる。
【００３６】
図１に示すように、本発明のネットワークにおける停止ノードの再稼働方法を実現する管理システムを構成する各ノード１には、ノードの物理的な接続状況を管理するレイヤ２トポロジ管理部１１と、ネットワークのリンク情報を把握するネットワーク利用状況管理部１２と、ネットワーク全体の省エネ化のためにレイヤ３トポロジの算出を行うレイヤ３トポロジ算出部１３と、レイヤ３トポロジの算出により停止されたノードを管理する停止中ノード管理部１４と、停止中ノードの再稼働を管理する停止中ノード再稼働部１５と、再稼働中のノードを管理する再稼働中ノード管理部１６と、これらの各部を制御する制御部１７とを備えて構成されている。
【００３７】
レイヤ２トポロジ管理部１１は、ネットワーク中にあるノードが、物理的にどのように接続されているかの物理的な接続状態（レイヤ２トポロジ）を管理する。管理対象には、レイヤ２トポロジの情報に加え、レイヤ３トポロジを算出するためのパラメータ（後述するLSDB）を含む場合がある。機能の詳細については後述する。
【００３８】
ネットワーク利用状況管理部１２は、ネットワーク 中を流れるトラヒック量や、各ノードの消費電力量などを管理する。管理対象は、トラヒック量のみの場合もある。
【００３９】
レイヤ３トポロジ算出部１３は、レイヤ２トポロジの情報（レイヤ３トポロジを算出するためのパラメータLSDB）と、ネットワーク利用状況管理部１２によるネットワークの利用状況から、電力消費量が小さくなるようなレイヤ３トポロジを算出し、ノードの構成とする。ノードがルータの場合には、ルーティングテーブルを設定することが行われる。
【００４０】
停止中ノード管理部１４は、レイヤ３トポロジの経路の実施により停止されたネットワーク中の停止中のノード（停止ノード）を管理する。ネットワーク利用状況管理部１２の情報から、ネットワークの利用率が増加しており、停止中のノードを再稼働する必要があるかを判断する。また、判断結果に基づき、停止中ノードの再稼働が必要な場合には、停止中ノード再稼働部１５を呼出す。
【００４１】
停止中ノード再稼働部１５は、停止中のノード（停止ノード）をネットワーク経由で再稼働する。この場合の再稼働とは、電源が供給されて各種処理が行える状態となったことを意味し、実際の経路計算等の各種処理については、後述するタイミングまで開始しない。
【００４２】
再稼働中ノード管理部１６は、ネットワーク中で再稼働したノードを管理する。
すなわち、自身が再稼働（停止中に他のルータからネットワーク経由で再稼働の命令受信等）した場合には、自身が再稼働したことをネットワーク中に通知する機能を有する。
また、自身が再稼働した場合、制御部１７を介して、他の機能を一時的に停止（もしくは自身からネットワーク中に送信するパケットを制御）する機能を有する。例えば、自身が再稼働した場合に、ネットワーク中に送信されるレイヤ２トポロジからレイヤ３トポロジを計算するためのパケット送信を一時的に停止する。
更に、再稼働すべき同一経路上にあるノードが全て再稼働したかを定期的に判定する機能を有している。
【００４３】
制御部１７は、レイヤ２トポロジ管理部１１、ネットワーク利用状況管理部１２、レイヤ３トポロジ算出部１３、停止中ノード管理部１４、停止中ノード再稼働部１５との間で信号の送受信を行ってこれらを制御するとともに、再稼働中ノード管理部１６からの情報に連動して、各部の一時停止及び一時停止の解除を行う。
すなわち制御部１７は、ノード自身が再稼働した場合、直ちに全ての処理を可能とするものではなく、ネットワーク中に送信されるレイヤ２トポロジからレイヤ３トポロジを計算するためのパケット送信については、一時的に停止する制御がなされる。
【００４４】
そして、制御部１７は、再稼働中ノード管理部１６が、同一経路上にある全ての停止ノードが再稼働したと判断した場合に、各ノードにおいてパケット送信の一時的な停止を解除する制御を行う。その結果、レイヤ２トポロジからレイヤ３トポロジを計算するためのパケットを、各ノードの再稼働後にほぼ同時に送信する（各ノードにおける再稼働のタイミングが異なる場合であっても、経路計算のためのパケットを送信するタイミングがほぼ同じとなる）。
すなわち、再稼働中ノード管理部１６及び制御部１７により、複数のノードの再稼働後において、これら再稼働した複数の停止ノードを含む経路計算処理開始のタイミングが、ネットワーク中の全ノードで、ほぼ同時期となるように管理し制御することが可能となる。
【００４５】
また、制御部１７は、ノード自身が停止可能（ネットワーク中を流れるトラヒックの転送に不要）であるかを判断し、停止可能な場合には、電源停止を行う。
【００４６】
次に、ネットワーク管理システムを構成するノード１におけるレイヤ２トポロジ管理部１１、ネットワーク利用状況管理部１２、レイヤ３トポロジ算出部１３、停止中ノード管理部１４、停止中ノード再稼働部１５、再稼働中ノード管理部１６の各部と制御部１７との信号送受信による動作（処理Ｓ１〜処理Ｓ１１）について、図２を参照しながら説明する。
【００４７】
（処理Ｓ１）
ノード１がノードＡである場合、レイヤ２トポロジ管理部１１は、ノードＡから隣接するノード（Ｂ，Ｄ，…）への経路コストの値であるLSA(Link State Advertisement)を保存管理するLSAテーブル１１１を備えている。隣接ノードとは、直接接続されたノードである（ノードＡに対する隣接ノードは、ノードＢとノードＤ）。そして、レイヤ２トポロジ管理部１１は、ネットワーク中の他ノードにLSA（ノードＡから隣接するノードへの経路コスト）の各値を送信する。
【００４８】
レイヤ２トポロジ管理部１１のLSAテーブル１１１で管理されるコストは、ノードのネットワークインタフェース（リンク）毎に運用者により予め設定された値であり、コストの値が低いとレイヤ３トポロジ算出時に経路として選択され易いことを意味している。通常、運用者はネットワーク中の全てのノード（ルータ）により、トラヒックが転送されるようコストを設定する。この管理システムのネットワークにおいても、運用者が設定するコストを使用した場合、ネットワーク中の全てのノードでトラヒックが転送されるとする。このコストの値は、ネットワーク利用状況に応じてネットワーク状況管理部１２が書き換えるようになっている。
【００４９】
（処理Ｓ２）
また、レイヤ２トポロジ管理部１１には、各ノードにより送信された、各ノードから隣接する他ノードへの経路コストの値であるLSAがそれぞれ送信され、それら各ノードが送信するLSA(自身が送信するLSAを含む)を受信し、保存管理するLSDB（データベース）１１２を備えている。すなわちLSDB１１２では、ノード間の経路方向を考慮し、あるノード(From) から他のノード(to)への経路コストがノード毎に管理されている。例えば、LSDB１１２に示す例では、ノードＡ(From)からノードＢ(to)への経路コストは50、ノードＢ(From)からノードＡ(to)への経路コストが20であることが分かる。このLSDB１１２を参照することで、レイヤ２トポロジとリンクのコストが分かる。
【００５０】
（処理Ｓ３）
レイヤ３トポロジ算出部１３では、レイヤ２トポロジ管理部１１のLSDB１１２のコストを参照し、Dijkstra(SPF、Shortest Path Fast)アルゴリズム等を用いて経路計算を行う。経路計算の結果は、各ノードのルーティングテーブルに反映される。
【００５１】
（処理Ｓ４）
各ノードのネットワーク利用状況管理部１２は、自身が送受信するトラヒック量１２１を定期的にネットワーク中の他ノードに送信する。
【００５２】
（処理Ｓ５）
処理Ｓ４により定期送信される各ノードが送受信するトラヒック量の情報を受信したノードは、受信情報を保存管理することで、トラヒック量の時間変化を表す利用状況データベース１２２を構築する。利用状況データベース１２２では、時間経過（t-0,t-1,t-2 …）に伴うノード（ルータ）Ａ，Ｂ，Ｃ,…のトラヒック量が管理され、一定時間毎に書き換えられる。
【００５３】
（処理Ｓ６）
処理Ｓ５により作成された利用状況データベース１２２より、各ノードはネットワークを流れるトラヒック量の増減傾向を判断し、リンク毎に設定されたコストについて、トラヒック量が減少傾向にある場合には、一部のノードでトラヒック転送されるようにコストが偏るように、また増加傾向にある場合には、全てのノードでトラヒック転送されるようにレイヤ２トポロジ管理部１１のLSAテーブル１１１におけるコストの値を変更する。
変更したコストは、処理Ｓ１により、ネットワーク中の全ノードにブロードキャストされ、処理Ｓ２と処理Ｓ３の機能によりルーティングテーブルに反映され、レイヤ３トポロジがネットワークの利用状況に応じて変更される。
【００５４】
レイヤ３トポロジ変更の結果、次の条件（１）から（３）を全て満たす場合、ノード自身が判断し電源停止する。
（１）コアノード(利用者や他のネットワークが直接接続されないノード。利用者や他のネットワークが直接接続するノードを本出願ではアクセスノードと呼ぶ)である。
（３）ネットワーク利用が減少傾向にある。
（３）アクセスノード間の経路に自身が含まれない。
【００５５】
電源停止したノードのエントリは、レイヤ２トポロジ管理部１１のLSDB１１２より削除される（LSDB１１２の斜線線部分。この例ではノードＣが削除）。レイヤ３トポロジ算出部１３による経路計算は、LSDB１１２より実施するため、エントリの削除によりレイヤ３トポロジに当該ノードが含まれることはなくなる。
【００５６】
（処理Ｓ７）
停止中ノード管理部１４では、停止中のノードを管理するため、LSDB１１２の各エントリを随時、停止中ノード管理部データベース１４１に上書き保存する。また、停止中ノード管理部データベース１４１における停止中ノード（この例の場合、ノードＣ）のコストについても書き換えを行う。
この停止中ノード管理部データベース１４１においては、停止中のノードの再稼働に失敗した場合と、明示的な削除要求がある場合にのみノードのエントリが削除される。
【００５７】
（処理Ｓ８）
全てのノードは、LSDB（停止中のノードのエントリが削除されるデータベース）１１２と、当該停止中ノード管理部１４の停止中ノード管理部データベース（停止中のノードのエントリを含むデータベース）１４１を比較することで、停止中ノード管理部データベース１４１にのみエントリが存在するノードを停止中のノードと判断することができる。
停止中ノード管理部データベース１４１上の停止中ノードのコストは、各ノードがネットワークの利用状況に応じて変更される。
【００５８】
（処理Ｓ９）
LSDB１１２から経路計算を行うことで、稼働中のノードのみで構成されるレイヤ３トポロジを算出する。また、停止中ノード管理部１４のノード管理データベース（稼働中のノードに加え停止中のノードのエントリを含む)１４１から、処理Ｓ３と同様の手順により経路計算することで、停止中のノード（ルータ）を含むレイヤ３トポロジを算出することができる。
【００５９】
停止中ノードを含むレイヤ３トポロジの算出の結果、次の条件（１）及び（２）を満たす場合、停止中のノードに停止中ノード再稼働部１５からネットワーク経由で再稼働指示を送信する。
（１）ネットワーク 利用が増加傾向にある。
（２）アクセスノード間の経路に停止中のノードが含まれる。
【００６０】
（処理Ｓ１０）
再稼働中ノード管理部１６は、停止中ノード再稼働部１５からの再稼働指示を受信し、再稼働される場合（再稼働時に）、再稼働完了通知機能により、ネットワーク中に再稼働が完了したことを広報する。また、レイヤ２トポロジ管理部１１の処理Ｓ１のLSA送信機能と、処理Ｓ３の経路計算機能を一時停止する。LSA送信の一時停止により、一時停止中（LSAが送信されるまで）は他のノードのLSDB１１２に再稼働したノードのエントリが作成されない。これによりレイヤ３トポロジが、ノードの再稼働と同時に、再稼働後のノードを含むレイヤ３トポロジとはならない。
【００６１】
再稼働中ノード管理部１６は、再稼働後、レイヤ２トポロジ管理部１１のLSDB１１２、ネットワーク利用状況管理部１２の利用状況データベース１２２及び停止中ノード管理部１４の停止中ノード管理部データベース１４１をネットワーク中の起動中の他ノードと同期させる。これにより、起動中のノードのレイヤ２トポロジと、ネットワーク利用状況（利用状況の増減傾向）、停止中ノードの情報を得る。
さらに、再稼働中ノード管理部１６は、再稼働後、再稼働したことをネットワーク中の他ノードに広報するパケットを送信する。
【００６２】
（処理Ｓ１１）
再稼働を広報するパケットを受信したノードは、再稼働中ノード管理部１６内の再稼働ノードリスト１６１に、エントリを追加する。再稼働ノードリスト１６１には、再稼働したノードの情報がリストとして管理される。
再稼働中ノード管理部１６は、LSDB１１２及び停止中ノード管理部１４にある停止中ノード管理部データベース１４１から経路計算を行い、処理Ｓ９と同様の手順で再稼働が必要な停止中ノードの情報を得る。
【００６３】
経路上における再稼働が必要なアクセスノード間の停止中ノード（再稼働したノード自身を含む）が、全て再稼働ノードリスト１６１に含まれる場合（経路上の再稼働が必要な全ノードの再稼働が完了した）、処理Ｓ１０における一部機能の一時停止を解除する。また、一時停止と同時に、再稼働ノードリスト１６１から、再稼働が完了したと判断した経路にあるノードのエントリを削除する。
図の例では、稼働中のノードＤ，Ｅ，Ｆが含まれる第１の経路に対して、停止中のノードＢ，Ｃが含まれる第２の経路が存在する場合について説明したが、他の停止中のノードを含む別の第３の経路が存在した場合は、第２又は第３の経路のいずれかの経路における全ての停止ノードが稼働ノードリスト１６１に含まれる場合に、その経路に含まれる停止ノード（再稼働ノード）に対する処理Ｓ１０における一部機能の一時停止を解除し、再稼働ノードリスト１６１から、再稼働が完了したと判断した経路（第２又は第３の経路）にあるノードのエントリを削除する。
【００６４】
上述した管理システムにより、各停止ノードは、再稼働後のノード情報をネットワーク内で共有するための信号を各ノードに送信し（処理Ｓ１０）、これら信号を受信した各ノードはネットワーク中で再稼働したノードを管理し（処理Ｓ１１）、同一経路上にある全ての停止ノードが再稼働した場合に、再稼働直後は停止していた一部機能の一時停止を解除することで（処理Ｓ１１）、これら再稼働したノードを含む経路計算処理開始のタイミングが、ネットワーク中の全てのノードで、ほぼ同時期となる。
【００６５】
上述した管理システムにおいては、図５に示されるように、利用率の高い時間帯においては、管理システムが適用された各ノード１が物理的に接続されたレイヤ２トポロジ２の全てを用いてレイヤ３トポロジ３が構成されるが、利用率の低い時間帯においては、不要なノードやリンクを停止し、更新した新しいリンクコストを用いてレイヤ３トポロジ３に変更することで、動作状態のノード１やリンク２の数を減少（図１の左から右への構成変更）させて、ネットワーク全体の省エネ化が図られる。
【００６６】
次に、ネットワークにおいて、複数のノードが停止状態となることで省エネ化が図られた状態から複数の停止ノードを稼働させる場合の具体的な動作例について、図３を参照しながら説明する。図の左側に記載した軸は、時間軸であり、下方側に時間が経過するものとする。図中、実線は物理的な接続（レイヤ２トポロジ）を示し、矢印線はレイヤ３トポロジによる経路を示す。
【００６７】
（t=0の時）
ノードＡ〜Ｇの７つのノードがリング状に接続され、ノードＡに接続したユーザＡがノードＧに接続したユーザＢにパケット転送する場合を例に示す。
ノードＢとノードＣは、利用率が低い場合には不要と判断され、停止される（t=0の時)。利用率が低い状態から高い状態となり、ノードＢとノードＣを再稼働する場面を考える。
全てのノードが起動している場合、ユーザＡからユーザＢへのトラヒックは、ノードＡ〜ノードＢ〜ノードＣ〜ノードＧの順に転送されるとする。利用率が低く、ノードＢ及びノードＣが停止している場合には、ユーザＡからユーザＢのトラヒックはノードＡ〜ノードＤ〜ノードＥ〜ノードＦ〜ノードＧの順にトラヒックが転送される。
LSDB１１２には稼働中のノードのエントリ（ノードＡ，Ｄ，Ｅ，Ｆ，Ｇ）が、停止中ノード管理部データベース１４１には、停止中のノードを含むエントリ（ノードＡ〜Ｇ）がある。また、再稼働ノードリスト１６１にはエントリは無い。
【００６８】
（t=1の時）
利用率が高くなる等、ノードＢが他のノードからネットワーク経由で再稼働される。上述した管理システムの構成により、再稼働中ノード管理部１６が再稼働時におけるレイヤ２トポロジ管理部１１の処理Ｓ１のLSA送信機能を一時停止させるため、ノードＢはLSA送信を実施しない。そのためノードＢを含む稼働中の全ノードのLSDB１１２もまた更新されないため、LSDB１１２内にノードＢはエントリされない。通常の方式では、再稼働中ノード管理部１６によるLSA送信機能の一時停止がないので、再稼働の直後にLSA送信され、稼働中の全ノードのLSDBがノードＢを含むように更新されることで、レイヤ３トポロジが変わる。
再稼働したノードＢは、再稼働が完了したことをネットワーク中にブロードキャストする。これにより再稼働ノードリスト１６１に、ノードＢが追加される。
【００６９】
（t=2の時）
（t=1）の状態からさらにノードＣが再稼働される。ノードＣもノードＢが再稼働した際と同様に、再稼働をネットワーク中に広報する。再稼働ノードリスト１６１にはノードＢとノードＣのエントリが存在することとなる。
【００７０】
（t=3の時）
前述した処理Ｓ１１により、再稼働ノードリスト１６１からノードＢ及びノードＣが削除され、さらにノードＢ及びノードＣからLSAがそれぞれ送信される。
LSAはノードＢ及びノードＣからそれぞれ送信されるが、この送信の時間差は、処理Ｓ１１の実施タイミングにより決まる（例えばノードＢで処理Ｓ１１が実行されるタイミングとノードＣで処理Ｓ１１が実行されるタイミングとが６０秒異なる場合、ノードＢとノードＣのLSA送信タイミングもまた、約６０秒異なることとなる）。
【００７１】
そして、ノードにおいて、次の要件（１）及び（２）を満たす実装となるよう工夫することで、ノードＢ及びノードＣのLSA送信タイミングをほぼ同じとすることができる。
（１）処理Ｓ１１を他ノードの再稼働の通知パケット受信直後に実行する。
（２）処理Ｓ１１を自身のノードの再稼働の通知パケットを送信した直後、又は、ネットワーク中に広報されるまでの遅延時間を考慮した後に実行する。
【００７２】
上述した実装上の工夫の他に次の実装上の工夫を行うことで、経路計算処理開始のタイミングをネットワーク中でほぼ同時とすることができる。各ノードにおけるレイヤ３トポロジ算出部１３において、レイヤ２トポロジ管理部１１のLSDB１１２からレイヤ３トポロジを算出する経路計算を行う場合に、レイヤ２トポロジ管理部１１がLSAを受信後に経路計算を実行するまでに遅延時間を設定する。
すなわち、段落番号００７１に記載の実装上の工夫により、再稼働後のノードから、LSAが送信されるタイミングをほぼ同時とし、さらにLSAの送信タイミングの再稼働ノード間での違いが、当該遅延時間内であれば、同じタイミングで経路計算が行われる。
【００７３】
（t＝4の時）
t＝3にて変更されたレイヤ３トポロジによりパケット転送が行われる。
【００７４】
上述したネットワークにおける停止ノードの再稼働方法によれば、ネットワークの利用状況に応じ、その構成を動的に変更して通信に不要となった複数の停止ノードを自律分散的な手順により再稼働する場合に、同一経路上にある全ての停止ノードが再稼働した場合に、一時的に停止されたパケット送信を行うことで各ノードの再稼働後の経路計算処理開始のタイミングを同時期とすることができ、ノード間にループが生じてパケットロスが発生を防ぐことで、通信品質劣化させることなく停止中のノードの再稼働を実現することができる。
【符号の説明】
【００７５】
１…ノード、 ２…リンク（レイヤ２トポロジ）、 ３…レイヤ３トポロジ、 １１…レイヤ２トポロジ管理部、 １２…ネットワーク利用状況管理部、 １３…レイヤ３トポロジ算出部、 １４…停止中ノード管理部、 １５…停止中ノード再稼働部、 １６…再稼働中ノード管理部、 １７…制御部、 １１２…LSDB、 １２２…利用状況データベース、 １４１…停止中ノード管理部データベース、 １６１…再稼働ノードリスト。
【特許請求の範囲】
【請求項１】
多数のノードが各リンク（レイヤ２トポロジ）により接続されたネットワークにおいて、
前記各ノードは、
前記ネットワーク中の各ノードの物理的な接続状態を管理するレイヤ２トポロジ管理部と、
前記ネットワークの利用状況を管理するネットワーク利用状況管理部と、
前記レイヤ２トポロジ管理部の情報と前記ネットワーク利用状況管理部の利用状況から電力消費量が少なくなるようなレイヤ３トポロジを算出するレイヤ３トポロジ算出部と、
前記レイヤ３トポロジの経路の実施により停止された前記ネットワーク中の停止ノードを管理する停止中ノード管理部と、
前記停止ノードをネットワーク経由で再稼働する停止中ノード再稼働部と、
再稼働した複数の停止ノードを含む経路計算処理開始のタイミングが停止中のノードを除くネットワーク中で同時期となるように再稼働したノードを管理する再稼働中ノード管理部と、
自身のノードが停止可能かどうか判断し電源停止を行うとともに、前記再稼働中ノード管理部からの情報に連動して前記各部における処理の一時停止及び一時停止の解除を行う制御部と
を具備することを特徴とするネットワークの管理システム。
【請求項２】
前記再稼働中ノード管理部は、
自身のノードが再稼働したことをネットワーク中に通知する機能と、
自身のノードが再稼働した場合にネットワーク中に送信されるレイヤ２トポロジからレイヤ３トポロジを計算するためのパケット送信を一時的に停止する機能と、
再稼働すべき同一経路上にある複数ノードが全て再稼働したかを定期的に判断する機能とを有し、
前記制御部は、同一経路上にある全ての停止ノードが再稼働した場合に、一時的に停止された前記パケット送信の停止を解除する
請求項１に記載のネットワークの管理システム。
【請求項３】
前記レイヤ３トポロジ算出部は、
前記レイヤ２トポロジ管理部の情報を受けてからレイヤ３トポロジを算出する経路計算を実行するまでに遅延時間を設定する
請求項１又は請求項２に記載のネットワークの管理システム。
【請求項４】
多数のノードが各リンク（レイヤ２トポロジ）により接続されたネットワークにおいて、
一部のノードを停止ノードとした場合に、
自律分散的な手順により、前記ネットワークの利用状況を考慮し前記停止ノードを含んだレイヤ３トポロジを算出し、算出されたレイヤ３トポロジの経路中に存在する複数の停止ノードを再稼働するに際し、
前記複数の再稼働した停止ノードを含む経路計算処理開始のタイミングを停止中のノードを除くネットワーク中の全ノードで同時期とした
ことを特徴とするネットワークにおける停止ノードの再稼働方法。
【請求項５】
前記各停止ノードは、再稼働後のノード情報をネットワーク内で共有するための信号を各ノードに送信し、該信号を受信した各ノードはネットワーク中で再稼働したノードを管理し、同一経路上にある全ての停止ノードが再稼働した場合に、これら再稼働したノードを含む経路計算処理開始を停止中のノードを除くネットワーク中の全ノードでほぼ同時に行う請求項４に記載のネットワークにおける停止ノードの再稼働方法。
【請求項１】
多数のノードが各リンク（レイヤ２トポロジ）により接続されたネットワークにおいて、
前記各ノードは、
前記ネットワーク中の各ノードの物理的な接続状態を管理するレイヤ２トポロジ管理部と、
前記ネットワークの利用状況を管理するネットワーク利用状況管理部と、
前記レイヤ２トポロジ管理部の情報と前記ネットワーク利用状況管理部の利用状況から電力消費量が少なくなるようなレイヤ３トポロジを算出するレイヤ３トポロジ算出部と、
前記レイヤ３トポロジの経路の実施により停止された前記ネットワーク中の停止ノードを管理する停止中ノード管理部と、
前記停止ノードをネットワーク経由で再稼働する停止中ノード再稼働部と、
再稼働した複数の停止ノードを含む経路計算処理開始のタイミングが停止中のノードを除くネットワーク中で同時期となるように再稼働したノードを管理する再稼働中ノード管理部と、
自身のノードが停止可能かどうか判断し電源停止を行うとともに、前記再稼働中ノード管理部からの情報に連動して前記各部における処理の一時停止及び一時停止の解除を行う制御部と
を具備することを特徴とするネットワークの管理システム。
【請求項２】
前記再稼働中ノード管理部は、
自身のノードが再稼働したことをネットワーク中に通知する機能と、
自身のノードが再稼働した場合にネットワーク中に送信されるレイヤ２トポロジからレイヤ３トポロジを計算するためのパケット送信を一時的に停止する機能と、
再稼働すべき同一経路上にある複数ノードが全て再稼働したかを定期的に判断する機能とを有し、
前記制御部は、同一経路上にある全ての停止ノードが再稼働した場合に、一時的に停止された前記パケット送信の停止を解除する
請求項１に記載のネットワークの管理システム。
【請求項３】
前記レイヤ３トポロジ算出部は、
前記レイヤ２トポロジ管理部の情報を受けてからレイヤ３トポロジを算出する経路計算を実行するまでに遅延時間を設定する
請求項１又は請求項２に記載のネットワークの管理システム。
【請求項４】
多数のノードが各リンク（レイヤ２トポロジ）により接続されたネットワークにおいて、
一部のノードを停止ノードとした場合に、
自律分散的な手順により、前記ネットワークの利用状況を考慮し前記停止ノードを含んだレイヤ３トポロジを算出し、算出されたレイヤ３トポロジの経路中に存在する複数の停止ノードを再稼働するに際し、
前記複数の再稼働した停止ノードを含む経路計算処理開始のタイミングを停止中のノードを除くネットワーク中の全ノードで同時期とした
ことを特徴とするネットワークにおける停止ノードの再稼働方法。
【請求項５】
前記各停止ノードは、再稼働後のノード情報をネットワーク内で共有するための信号を各ノードに送信し、該信号を受信した各ノードはネットワーク中で再稼働したノードを管理し、同一経路上にある全ての停止ノードが再稼働した場合に、これら再稼働したノードを含む経路計算処理開始を停止中のノードを除くネットワーク中の全ノードでほぼ同時に行う請求項４に記載のネットワークにおける停止ノードの再稼働方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２１１４２８（Ｐ２０１１−２１１４２８Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７６２１６（Ｐ２０１０−７６２１６）
【出願日】平成２２年３月２９日（２０１０．３．２９）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、独立行政法人情報通信研究機構「新世代ネットワークの構築に関する設計・評価手法の研究開発 課題ウ：ネットワークのエネルギー消費を低減させる新しい技術の研究開発およびその評価〜省電力ネットワークプロトコル技術〜」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５９９１０８２６４）株式会社ＫＤＤＩ研究所 (233)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月２９日（２０１０．３．２９）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、独立行政法人情報通信研究機構「新世代ネットワークの構築に関する設計・評価手法の研究開発 課題ウ：ネットワークのエネルギー消費を低減させる新しい技術の研究開発およびその評価〜省電力ネットワークプロトコル技術〜」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５９９１０８２６４）株式会社ＫＤＤＩ研究所 (233)
【Ｆターム（参考）】
[ Back to top ]