仮想環境における故障復旧方法及びサーバ及びプログラム
【課題】 仮想環境において、故障のカテゴリを判断でき、故障時の系切り替えによるサービス提供の処理速度の性能劣化を招くことなく運用可能とする。
【解決手段】 本発明は、仮想環境における現用機と予備機で構成されるクラスタシステムにおいて、ログによる故障箇所のカテゴリを特定し、故障箇所がリソースの場合は、現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」に遷移させる。また、特定された故障のカテゴリがゲストマシンからホストマシンへの導通不良や、ネットワーク故障の場合には、導通確認を行う。
【解決手段】 本発明は、仮想環境における現用機と予備機で構成されるクラスタシステムにおいて、ログによる故障箇所のカテゴリを特定し、故障箇所がリソースの場合は、現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」に遷移させる。また、特定された故障のカテゴリがゲストマシンからホストマシンへの導通不良や、ネットワーク故障の場合には、導通確認を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想環境における故障復旧方法及びシステムに係り、特に、仮想化技術を実現する仮想マシンモニタ（例えば、XenまたはKVM等）が導入されている仮想機能を有する冗長系のシステムにおいて、現用機がシステムに組み入れられていない原因を特定し、復旧させるための仮想環境における故障復旧方法及びサーバ及び故障復旧プログラムに関する。
【背景技術】
【０００２】
サービスの重要性が増すにつれ、ダウンタイムの少ないシステムの要求が高まっている。このため、複数のサーバで冗長構成されたクラスタシステムを構築し、何らかの故障が発生したときに自動的にサーバを切り替えることにより、サービスの継続を可能とするHeartbeat及びPacemakerなどの高可用性クラスタソフトが開発されている（非特許文献１参照）。
【０００３】
高可用性クラスタソフトでは、サーバ上のリソース、ネットワーク、共有ディスク等を監視しており、サービス稼働中のサーバで故障を検知すると、予め待機しているサーバに切り替え、サービスを継続させる。
【０００４】
図１に、高可用性クラスタソフトを用いたクラスタシステムの概略図を示す。クラスタシステムは、ネットワークに接続されている複数のサーバ（現用機及び予備機）と、これらの複数のサーバで共有して用いられる共有ディスクとを有する。
【０００５】
現用機及び予備機は、オペレーティングシステム（ＯＳ）と、高可用性クラスタソフトと、サービスを提供するために必要な構成要素であるリソースとをそれぞれ有する。高可用性クラスタソフトは、現用機での故障の発生を検知し、故障が発生したときに自動的に予備機に切り替える。サーバにおけるサービスの稼働状態、リソースの稼働状態及び故障状態は、内蔵ディスクの状態記憶部に格納され、故障箇所等の詳細な情報は、内蔵ディスクのログ記憶部に格納される。
【０００６】
現用機及び予備機は、サービスＬＡＮと呼ばれるネットワークに接続されており、リソースによるサービスをクライアントに提供する。また、現用機及び予備機は、インターコネクトLANと呼ばれるネットワークに接続されており、サーバにおけるサービスの稼働状態、リソースの稼働状態、故障状態等の情報を交換する。更に、現用機及び予備機は、管理ＬＡＮと呼ばれるネットワークに接続されており、保守端末からのコマンドを受け付けることができる。
【０００７】
また、現用機及び予備機には、故障時に他サーバの電源を強制的に切断する強制電源断機能を設定することができる。強制電源断機能は、管理ＬＡＮを経由して他サーバのハードウェア制御ボードに対して電源を切断する指示を送信することにより、他サーバの電源を切断する。
【０００８】
共有ディスクは、サービスの一貫性を保つために、サービス提供に用いられるデータを保存する記憶装置である。共有ディスクにより、現用機から予備機に切り替わった後も、同じデータを用いてサービスを継続できる。
【０００９】
このように、高可用性クラスタソフトでリソースの故障を監視しているため、リソース故障が発生した場合に、予備機に切り替えてサービスを継続させることができる。予備機に系切り替えを行った後は、予備機でサービスが継続される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第４３５３００５号公報，「クラスタ構成コンピュータシステムの系切り替え方法」
【非特許文献】
【００１１】
【非特許文献１】三井 一能 他，「サービスの可用性を向上させるＯＳＳミドルHeartbeatの開発」，ＮＴＴ技術ジャーナル，２００９年３月，４６〜４９ページ
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上記の技術は、現用機に障害が発生した場合に予備機に系切り替えを行う処理であるが、仮想環境については考慮されておらず、また、障害発生時に、リソース故障、ネットワーク障害等の故障原因の特定を行うことができないため、現用機の故障箇所によっては現用機を単に起動させたとしても、正常に動作するとは限らない。
【００１３】
更に、クラスタシステムにおいて予備機の性能が現用機の性能より劣る場合には、予備機でのサービス提供中は、処理速度が低下する。このような処理速度の低下は、予備機の性能が現用機の性能より劣っている場合だけでなく、２つ以上の現用機と１つの予備機とでクラスタシステムが構成されている場合にも生じる可能性がある。
【００１４】
本発明は、上記の点に鑑みなされたもので、文献「"オープンソース仮想化技術"ＮＴＴ技術ジャーナル2009 vol. 21. No.8. 2009.8, pp.82-86」等に示されるXen等のオープンソースの仮想化プロダクトによる仮想環境において、故障のカテゴリを判断でき、故障時の系切り替えによるサービス提供の処理速度の性能劣化を招くことなく運用が可能な仮想環境における故障復旧方法及びシステムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の上記の課題を解決するため、本発明（請求項１）の仮想環境における故障復旧方法は、ハイパーバイザが導入された仮想環境における現用機及び予備機から構成されるクラスタシステムにおいて、該現用機及び該予備機が、該現用機及び該予備機サービス稼動状態を示すクラスタ状態を管理するクラスタ状態管理手段、クラスタ状態及び故障状態を格納する状態管理情報記憶手段、故障箇所を示す故障ログを格納するログ記憶手段をそれぞれ含み、該予備機がサービス稼動中であり、該現用機がクラスタ構成に組み込まれていない場合に、障害原因を特定するための仮想環境における故障復旧方法であって、
現用機の故障推定手段が、現用機のログ記憶手段から検索した結果に基づいて、該現用機の故障箇所を推定する故障箇所推定ステップと、
故障箇所推定ステップにおいて、現用機の故障箇所がネットワーク故障であると推定された場合には、該現用機の導通確認手段が、該現用機に接続されたルータまでの導通を確認する導通確認ステップと、
ルータまでの導通確認が成功した場合に、現用機のクラスタ構成起動手段が、該現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させるクラスタ構成起動ステップと、を行う。
【００１６】
また、本発明（請求項２）は、現用機に、ホストマシンとゲストマシンが導入されている環境において、
導通確認ステップにおいてホストマシンとゲストマシン間の通信故障であると特定された場合には、
導通確認ステップにおいて、
ゲストマシンからホストマシンへの導通不良を確認し、
クラスタ構成起動ステップにおいて、
ゲストマシンからホストマシンへの導通が成功した場合には、現用機のクラスタ状態を「サービス稼働中へ遷移できる状態」へ遷移させる。
【００１７】
また、本発明（請求項３）は、故障箇所推定ステップにおいて故障箇所のカテゴリがリソースであると推定された場合は、
クラスタ構成起動ステップにおいて、現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させる。
【００１８】
また、本発明（請求項４）は、故障箇所推定ステップにおいて、現用機及び予備機に、故障時に他サーバの電源を強制的に切断する強制電源断機能が導入されており、該予備機のログ記憶手段から強制電源断機能に関するエラーが検索された場合には、該現用機に重大なエラーが検出されたものと判定し、
導通確認ステップにおいて、
予備機から現用機の電源制御手段に対して導通確認を行い、
クラスタ構成起動ステップにおいて、
導通確認ステップにて電源制御手段への導通が成功した場合には、現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」に遷移させる。
【００１９】
本発明（請求項５）のサーバ（現用機）は、ハイパーバイザが導入された仮想環境における現用機及び予備機から構成されるクラスタシステムにおいて、該現用機及び該予備機が、該現用機及び該予備機サービス稼動状態を示すクラスタ状態を管理するクラスタ状態管理手段、クラスタ状態及び故障状態を格納する状態管理情報記憶手段、故障箇所を示す故障ログを格納するログ記憶手段をそれぞれ含み、該予備機がサービス稼動中であり、該現用機がクラスタ構成に組み込まれていない場合に、障害原因を特定するための現用機として動作するサーバであって、
ログ記憶手段から検索した結果に基づいて、該現用機の故障箇所を推定する故障箇所推定手段と、
故障箇所推定手段において、現用機の故障箇所がネットワーク故障であると推定された場合には、該現用機に接続されたルータまでの導通を確認する導通確認手段と、
ルータまでの導通確認が成功した場合に、当該現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させるクラスタ構成起動手段と、を有することを特徴とする。
【００２０】
また、本発明（請求項６）のサーバは、当該サーバに、ホストマシンとゲストマシンが導入されている環境において、導通確認手段に、該ホストマシンと該ゲストマシン間の通信故障であると特定された場合には、該ゲストマシンから該ホストマシンへの導通を確認する手段を含み、
クラスタ構成起動手段に、導通確認手段にてゲストマシンからホストマシンへの導通が成功した場合には、現用機のクラスタ状態を「サービス稼働中へ遷移できる状態」へ遷移させる手段を含む。
【００２１】
また、本発明（請求項７）のサーバのクラスタ構成起動手段は、故障箇所推定手段において、故障箇所のカテゴリがリソースである場合は、当該サーバのクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させる手段を更に有する。
【００２２】
また、本発明（請求項８）のサーバは、現用機及び予備機に、故障時に他サーバの電源を強制的に切断する強制電源断機能が導入されている環境では、
クラスタ構成起動手段に、予備機にて強制電源断機能に関するエラーが検出され、かつ、予備機の導通確認手段が予備機から現用機の電源制御手段への導通確認を行い、導通不良であると判った場合には、当該サーバのクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させない手段を含む。
【００２３】
本発明（請求項９）は、請求項５乃至８のいずれか1項に記載のサーバを構成する各手段としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００２４】
上記のように、本発明によれば、仮想環境において、現用機がクラスタ構成に組み込まれていない故障原因を推測することにより、復旧への対処が容易になる。
【００２５】
また、推測された故障原因のカテゴリがリソース故障である場合には、予備機でサービス稼働中である場合は、現用機でサービスを再開させることが可能になるため、対故障性と対パフォーマンス性を向上させることが可能となる。
【図面の簡単な説明】
【００２６】
【図１】高可用性クラスタソフトを用いたクラスタシステムの概略図である。
【図２】本発明の一実施の形態におけるシステム構成図である。
【図３】本発明の一実施の形態における要部の詳細構成図である。
【図４】本発明の一実施の形態における状態管理情報記憶部の格納項目を示す図である。
【図５】本発明の一実施の形態における初期状態と終了状態を示す図である。
【図６】本発明の一実施の形態における動作の概要を示す図である。
【図７】本発明の一実施例における一連の動作のフローチャート（その１）である。
【図８】本発明の一実施例における一連の動作のフローチャート（その２）である。
【図９】本発明の一実施例における図７のステップ１０１の動作を示す図である。
【図１０】本発明の一実施例における図７のステップ１０１，１０４，１０７の動作を示す図である。
【図１１】本発明の一実施例における図７のステップ１０３の動作を示す図である。
【図１２】本発明の一実施例における図７のステップ１０５の動作を示す図である。
【図１３】本発明の一実施例における図７のステップ１０８の動作を示す図である。
【図１４】本発明の一実施例における図８のステップ１０９の動作を示す図である。
【図１５】本発明の一実施例における図８のステップ１１０の動作を示す図である。
【図１６】本発明の一実施例における図８のステップ１１１の動作を示す図である。
【図１７】本発明の一実施例における図８のステップ１１２の動作を示す図である。
【図１８】本発明の一実施例における図８のステップ１１３の動作を示す図である。
【図１９】本発明の一実施例における図８のステップ１１４の動作を示す図である。
【発明を実施するための形態】
【００２７】
以下図面と共に、本発明の実施の形態を説明する。
【００２８】
最初に、本明細書で用いる用語について定義する。
【００２９】
・クラスタ構成：
複数サーバを相互に接続し、ユーザや他サーバに対して全体で１台のサーバであるかのように振舞わせる技術であり、複数サーバを１台のサーバを扱うように管理することができる。１台が停止してもシステム全体が止まることはなく、処理を続行したまま修理や交換が可能である。
【００３０】
・リソース：
サービスを提供するために必要な構成要素を指す。クラスタ構成におけるリソースとは、高可用性クラスタソフトが起動、停止、監視等の制御対象とするアプリケーションを指す。アプリケーションには、データベース（ＤＢ）などが含まれる。
【００３１】
・ACT：
サーバでサービス稼働中のことを指す。クラスタ構成において、ＤＢなどサービスを提供するリソースが稼動しているサーバの状態を"ACT"と記す。
【００３２】
・SBY[online]：
"ACT"へ遷移できる状態のことをいう。クラスタ構成において、故障などによる系切り替えが発生した場合、"ACT"からリソースを切り替えることが可能なサーバを"SBY[online]"と記す。
【００３３】
・SBY[standby]：
クラスタ構成において、故障などによる系切り替えが発生した場合でも、"ACT"にならないように抑制されている状態のサーバを"SBY[standby]"と記す。
【００３４】
・SBY［遷移中］：
"ACT"へ遷移しようとしている状態（系切り替え中の状態）を指す。クラスタ構成において、故障などによる系切り替えが発生し"ACT"へ遷移しようとしているが、現用機側で実施されているリソースの停止処理が正常終了するのを待っている状態のサーバを"SBY[遷移中]"と記す。
【００３５】
・NONE：
サーバがクラスタ構成に組み込まれていない状態を指す。サーバや高可用性クラスタソフト停止が停止していることにより、クラスタ構成に組み込まれていないサーバを"NONE"と記す。
【００３６】
図２は、本発明の一実施の形態におけるシステム構成を示す。
【００３７】
同図に示すクラスタシステムは、仮想環境における仮想サーバのベースであるホストマシンとゲストマシン及び仮想マシンを制御するための制御プログラムであるハイパーバイザを有する複数のサーバ（本実施の形態では現用機１０、予備機２０と記す）。これらのサーバは、共有ディスク３０、クライアント装置１、サービスLAN２、ルータ３、保守端末４、管理LAN５に接続されている。
【００３８】
現用機１０、予備機２０はそれぞれルータ３を介してクライアント装置１にサービスを提供する。なお、現用機１０の性能は予備機２０の性能より優れていてもよい。同図には、現用機１０、予備機２０をそれぞれ１つずつ記載しているが、２つ以上の現用機と１つの予備機２０としてもよい。
【００３９】
現用機１０は、ホストマシン用に割り当てられたホストマシン割当ディスク１６１、ゲストマシン用に割り当てられたゲストマシン割当ディスク１６２を含む内蔵ディスク１６０、ハードウェア制御ボード１７、及び、これらの構成要素間の通信を行うためのインタフェースを有する。内蔵ディスク１６０のゲストマシン割当ディスク１６２はログ記憶部１６３と状態管理情報記憶部１６４を含む。
【００４０】
現用機１０のホストマシン１５０は、ディスク監視機能とネットワーク監視機能を有するデバイス一括監視部１５１を有し、ホストマシン１５０とハイパーバイザ１７０との間には、管理LANネットワーク仮想インタフェース（I/F）１３とサービスLANネットワーク仮想I/F１４を有する。
【００４１】
現用機１０のホストマシン１５０のデバイス一括監視部１５１のディスク監視機能は、内蔵ディスク１６０と共有ディスク３０のディスク管理を行い、その導通結果をホストマシン１５０とゲストマシン１１０の間で通信を行い、ホストマシンの管理LANネットワーク仮想I/F１３、ハイパーバイザ１７０、ゲストマシンの管理LANネットワーク仮想I/F１５を介して、ゲストマシンの高可用性クラスタソフト１４０に通知すると共に、ログ記憶部１６３に格納する。当該ディスク監視機能からエラーメッセージ出力が出力された場合は、現用機１０とルータ３間のサービスLAN通信故障または、ホストマシンとゲストマシン間の経路故障が考えられる。
【００４２】
現用機１０のホストマシン１５０のデバイス一括監視部１５１のネットワーク監視機能は、サービスLANネットワーク仮想I/F１４、ハイパーバイザ１７０、サービスLANネットワークI/F１１を介してルータ３との導通確認を行う。その導通結果をホストマシンとゲストマシンの間で通信を行い、ホストマシン１５０のサービスLANネットワーク仮想I/F１６、ハイパーバイザ１７０、ゲストマシン１１０のサービスLANネットワーク仮想I/F１６を介して、ゲストマシン１１０の高可用性クラスタソフト１４０に通知すると共に、ログ記憶部１６３に格納する。当該ネットワーク監視機能からエラーメッセージ出力が出力された場合は、現用機１０とルータ３間のサービスLAN通信故障または、ホストマシン１５０とゲストマシン１１０間の経路故障が考えられる。
【００４３】
現用機１０のゲストマシン１１０は、リソース１２０、制御実行部１３０、自身の稼動状態を外部に通知するための高可用性クラスタソフト１４０を有し、ゲストマシン１１０とハイパーバイザ１７０との間には、管理LANネットワーク仮想I/F１５とサービスLANネットワーク仮想I/F１６を有する。当該ゲストマシンの構成については図３にて後述する。
【００４４】
予備機２０も現用機１０と同様に、ホストマシン１５０とゲストマシン１１０と、ハイパーバイザ２７０がインストールされている。また、ホストマシン割当ディスク２６１とゲストマシン割当ディスク２６２を含む内蔵ディスク２４０、ハードウェア制御ボード２７を有する。ゲストマシン割当ディスク２６２にはログ記憶部２６３と状態管理情報記憶部２６４が含まれる。
【００４５】
予備機２０のホストマシン２５０は、ディスク監視機能とネットワーク監視機能を有するデバイス一括監視部２５１を有し、ホストマシン２５０とハイパーバイザ２７０との間には、管理LANネットワーク仮想インタフェース（I/F）２３とサービスLANネットワーク仮想I/F２４を有する。
【００４６】
予備機２０のゲストマシン２１０は、リソース２２０、制御実行部２３０、高可用性クラスタソフト２４０を有し、ゲストマシン２１０とハイパーバイザ２７０との間には、管理LANネットワーク仮想I/F２５とサービスLANネットワーク仮想I/F２６を有する。
【００４７】
以下に、故障の可能性があり、状態が「NONE」となり、クラスタ構成に組み込まれていない現用機１０のゲストマシンを中心とした構成を示す。
【００４８】
図３は、本発明の一実施の形態における要部の詳細構成を示す。
【００４９】
現用機１０のゲストマシン１１０は、リソース１２０、制御実行部１３０、高可用性クラスタソフト１４０を有し、高可用性クラスタソフト１４０には、内蔵ディスク１６０の状態管理情報記憶部１６４が接続されている。なお、ここでは、現用機１０のみを記すが、予備機２０も同様の構成である。
【００５０】
制御実行部１３０は、ログ検索部１３１、導通確認部１３２、系切り替え部１３３、状態確認実行部１３４、起動実行部１３５、コマンド実行部１３６、故障箇所推定部１３７を有し、ログ検索部１３１には、内蔵ディスク１６０のログ記憶部１６３が接続されている。
【００５１】
ログ検索部１３１は、保守端末４からログインされると、故障箇所推定部１３７からの制御によりログ記憶部１６３を検索し、エラーメッセージを取得し故障箇所推定部１３７に渡す。
【００５２】
導通確認部１３２は、故障箇所推定部１３７からの制御により、Ping処理を実行し、ルータ３までの導通を確認し、故障箇所推定部１３７に渡す。
【００５３】
系切り替え部１３３は、現用機１０及び予備機２０のクラスタ状態を変更する。
【００５４】
状態確認実行部１３４は、高可用性クラスタソフトの状態コマンドを実行することにより取得したクラスタ状態を確認する。
【００５５】
起動実行部１３５は、高可用性クラスタソフト１４０を起動する。
【００５６】
コマンド実行部１３６は、高可用性クラスタソフト１４０にコマンドを実行させる。
【００５７】
故障箇所推定部１３７は、ログ検索部１３１、導通確認部１３２から取得したエラーメッセージにより故障箇所を推定する。
【００５８】
高可用性クラスタソフト１４０は、「クラスタ状態管理手段」として動作し、サーバの故障状態を監視する故障監視機能と、クラスタ状態及び故障状態に基づいてリソースを起動及び停止させるリソース起動・停止機能と、故障状態に基づいて状態管理情報記憶部１６４のクラスタ状態を管理する状態管理機能とが含まれる。故障監視機能として、ネットワーク監視結果取得部１４１とディスク監視結果取得部１４２を有し、制御実行部１３０の起動実行部１３５により起動され、コマンド実行部１３６からの制御によりコマンドを実行することにより、状態管理情報記憶部１６４の内容を更新すると共に、他のサーバ（予備機２０）にクラスタ状態等を通知する。ネットワーク監視結果取得部１４１は、ゲストマシンのデバイス一括監視部１５１のネットワーク監視機能からサービスLANネットワーク仮想I/F１４、ハイパーバイザ１７０、サービスLANネットワーク仮想I/F１６を介して、ルータ３の導通結果を取得する。ディスク監視結果取得部１４２は、ホストマシンのデバイス一括監視部１５１からホストマシンの管理LANネットワーク仮想I/F１３、ハイパーバイザ１７０、ゲストマシン１１０の管理LANネットワーク仮想I/F１５を介して、ディスクの監視結果を取得する。
【００５９】
ログ記憶部１６３には、ホストマシンのデバイス一括監視部１５１から取得した、ディスク、ネットワーク等の故障ログが格納されている。予備機２０のログ記憶部２６３にも同様に、ホストマシンのデバイス一括監視部２５１から取得した故障ログが格納される。
【００６０】
状態管理情報記憶部１６４には、図４に示すように、クラスタ状態、故障回数、エラーステータス、リソース状態のフラグや値が格納され、これらの値は、高可用性クラスタソフト１４０の状態管理機能により管理される。
【００６１】
以下に、上記の構成における一連の故障検出から復旧までの動作の概要を示す。
【００６２】
まず、図５に初期状態と終了状態を示す。
【００６３】
初期状態は、予備機２０で状態確認処理が実行され、状態管理情報記憶部２６４の故障回数が"０"、エラーステータスが"０"となり、予備機２０のクラスタ状態が"ACT"、現用機１０のクラスタ状態が"NONE"状態のとき、現用機１０の電源スイッチＯＮの処理を行いＯＳを立ち上げた状態である。
【００６４】
また、終了状態は、故障の推測処理を行い、その結果、故障カテゴリとして「リソース」故障であった場合に、当該リソースの復旧処理を行い、現用機１０のクラスタ状態を"ACT"、予備機２０のクラスタ状態を"SBY[online]"とするものである。
【００６５】
以下に、上記図５の一連の処理を説明する。
【００６６】
図６は、本発明の一実施の形態における動作の概要を示すシーケンスチャートである。
【００６７】
ステップ１） 現用機１０がクラスタ構成に組み込まれていない"NONE"状態で、当該現用機１０のOSを立ち上げる。このとき、予備機２０は、サービス稼動中の"ACT"の状態である。
【００６８】
現用機１０、予備機２０において保守端末４から管理LAN５を介してログインを受け付け、制御実行部１３０のログ検索部１３１がログ記憶部１６３を検索してエラーメッセージを取得する。ここでは、リソースエラーを示すエラーメッセージを取得したものとする。
【００６９】
ステップ２） さらに、制御実行部１３０は、保守端末４に対して、エラーメッセージを出力することで、強制電源断機能の導通確認を依頼する。これにより、保守端末４から予備機２０にログインし、予備機２０の実行制御部の導通確認部２３２から現用機１０のハードウェア制御ボード１７宛に導通確認を行う。ここでは、導通は成功したものとする。なお、仮に導通確認に失敗したとしても、サービス続行には大きく影響しないため、現用機１０をクラスタ構成に組み入れることが可能である。
【００７０】
ステップ３） 故障推定部１３７は、上記のステップ１，２の結果から故障発生箇所が「リソース」であると判定する。
【００７１】
ステップ４） 起動実行部１３５は、高可用性クラスタソフト１４０を起動させる。
【００７２】
ステップ５） 高可用性クラスタソフト１４０は、状態管理情報記憶部１６４の現用機１０のクラスタ状態を"SBY[online]"にする。
【００７３】
ステップ６） 次に、高可用性クラスタソフト１４０は予備機２０のクラスタ状態を"ACT"から"SBY[standby]"に変更し、予備機２０に対して、更新された現用機１０、予備機２０の状態管理情報を通知する。これにより、予備機２０の高可用性クラスタソフト２４０において、状態管理情報記憶部２６４の内容を更新する。
【００７４】
ステップ７） 状態確認実行部１３４は、予備機２０のクラスタ状態が"SBY[standby]"、現用機１０のクラスタ状態が"SBY[online]"となっていることを確認し、予備機２０の系切り替えを終了させるために、予備機２０のクラスタ状態を"SBY[online]"に戻す。
【００７５】
ステップ８） 状態確認実行部１３４は、状態確認処理を実行し、予備機２０のクラスタ状態が"SBY[online]"になっていなければエラーを出力し、処理を終了する。
【実施例】
【００７６】
以下、図面と共に、本発明の処理を詳細に説明する。
【００７７】
図７、図８は、本発明の一実施例における一連の動作のフローチャートである。
【００７８】
なお、以下の各ステップに記載されている「クラスタ状態」、「故障回数」、「エラーステータス」、「リソース状態」等は、現用機１０及び予備機２０の状態管理情報記憶部１６４，２６４に格納されている値である。
【００７９】
復旧方法の実行に先立ち、状態確認実行部１３４は、状態確認コマンドを実行して、現用機の状態管理情報記憶部１６４に格納されたクラスタ状態を読み取り、現用機１０のクラスタ状態が"NONE"であり、予備機２０のクラスタ状態が"ACT"であることを確認してもよい。ここで、高可用性クラスタソフト１４０，２４０により、現用機１０と予備機２０との間で状態管理情報記憶部１６４，２６４の情報交換が行われているため、状態確認コマンドにより現用機１０及び予備機２０の双方の状態を読み取ることができる。
【００８０】
ステップ１０１） 図９に示すように、保守端末４から管理ＬＡＮ５上にある制御部から現用機１０及び予備機２０の制御実行部１３０，２３０に対してログインする。現用機１０へのログインに失敗した場合は、保守端末４に接続される表示装置等にエラー出力を行い、当該処理を終了する。
【００８１】
この時点でのログイン時の現用機１０、予備機２０は以下の状態である。
【００８２】
（現用機の状態）
クラスタ状態："NONE"
故障回数：０
エラーステータス：０
リソース状態：０
（予備機の状態）
クラスタ状態："ACT"
故障回数：０
エラーステータス：０
リソース状態：１（Started）
ステップ１０２） 次に、図１０に示すように、現用機１０のゲストマシン１１０の制御実行部１３０のログ検索部１３１からＯＳ機能である検索のコマンドを実行し、該当するエラーメッセージを取得する。ルータに対するエラーメッセージを取得した場合は、現用機１０とルータ３間のエラーとしてステップ１０３に移行して導通確認処理を行う。
【００８３】
ルータに関して該当するメッセージがない場合は、ディスクに対するエラーメッセージを検索する。ディスクに対するメッセージが得られた場合は、共有ディスク３０へのアクセスに問題が発生したと推測できるため、保守端末４にエラーメッセージを出力して当該処理を終了する。
【００８４】
ステップ１０３） ステップ１０２において、ルータに関するエラーメッセージを取得した場合は、図１１に示すように、故障推定の精度を高めるため、現用機１０のゲストマシンの制御実行部１３０の導通確認部１３２は、ＯＳ機能であるルータ３のＩＰアドレス宛に、ネットワーク疎通を確認するためのコマンドであるPINGを送信することで導通の確定診断を行う。なお、ネットワーク上で瞬断による一時的な故障も想定されるため、所定の時間毎に所定回数PINGを送信するようにしてもよい。導通が失敗の場合は、現用機１０をクラスタ構成に組み込んでも再び故障が発生する可能性が高いため、保守端末４に対してエラーを出力して、当該処理を終了する。一方、導通が成功した場合は、ルータ３の一時的な故障であるとし、現用機１０をクラスタ構成に組み込むことができる。
【００８５】
ステップ１０４） 次に、現用機１０の故障箇所推定部１３７ではログ検索結果によりリソース故障かどうかの判別を行う。図１０に示すように、現用機１０のゲストマシンの制御実行部１３０のログ検索部１３１は、ログ記憶部１６３からエラーメッセージを検索する。故障箇所推定部１３７は、検索されたエラーメッセージからリソースＩＤを取得することにより、当該リソースＩＤから故障リソースを特定する。特定されたリソースがＤＢなどの場合は、対故障性と対パフォーマンス性を向上させるためにステップ１０６に移行し、系切り替え処理のための強制電源断機能の故障推定を行う。
【００８６】
現用機停止時の故障発生箇所の特定後、強制電源断機能が導入されている場合は、ステップ１０５に移行し、導入されていない場合はステップ１０７に移行する。なお、強制電源断機能の有無を判断するために、予め状態管理情報記憶部１６４に強制電源断機能有無を示すフラグを設定しておき、当該フラグを参照するようにしてもよい。また、当該強制電源断機能の設定状態は、システム全体として設定されていてもよく、または、サーバ毎に設定されてもよい。さらに、現用機１０及び予備機２０にネットワークや共有ディスク３０に故障が発生した場合等に、他のサーバの電源制御部に対して強制的に電源を切断する指示を送信する強制電源断機能部を設けても良い。強制電源断機能部を有する場合には、保守端末４に対してエラーを出力する。
【００８７】
ステップ１０５） 強制電源断機能が導入されている場合は、保守端末４からの指示により、図１２に示すように、予備機２０において、強制電源断機能の故障原因を特定する。予備機２０のゲストマシンの制御実行部２３０のログ検索部２３１において、ＯＳ機能である検索のコマンドを実行し、ログ記憶部２６３から該当するエラーメッセージのログを取得し、故障箇所推定部２３７において、強制電源断機能による強制電源断処理（リセット）が失敗したかどうかの判定を行い、判定結果を保守端末４に通知する。
【００８８】
具体的には、予備機２０の制御実行部２３０のログ検索部２３１において、キーワードを入力し、予備機２０のログ記憶部２６３から該当するエラーメッセージを検索する。該当するエラーメッセージが１個以上出力された場合、強制電源断（リセット）に失敗したと判定される。
【００８９】
ステップ１０６） ハードウェア制御ボード１７の故障推定精度を向上させるために、保守端末４の指示により、予備機２０の実行制御部２３０の導通確認部２３２は、現用機１０のハードウェア制御ボード１７宛に管理LAN５を介してPING処理を行い、導通が成功することを確認し、ステップ１０７に移行する。一方、PINGが失敗した場合、エラーが出力される。この場合、予備機２０の強制電源断機能の故障、現用機１０のハードウェア制御ボード１７の故障、或いは管理LAN５のネットワーク故障であると推定されるが、サービスの提供には影響が小さいため、現用機をクラスタ構成に組み込むことも可能である（本実施例では、ステップ１０７に移行するものとする）。PING処理が成功した場合、ネットワークの瞬断による一時的な故障と考えられるため、現用機をクラスタ構成に組み込むことができるものとし、ステップ１０７に移行する。
【００９０】
このときの現用機１０、予備機２０の状態は以下の通りである。
【００９１】
（現用機の状態）
クラスタ状態："NONE"
故障回数：０
エラーステータス：０
リソース状態：０
（予備機の状態）
クラスタ状態："ACT"
故障回数：０
エラーステータス：０
リソース状態：１（Started）
ステップ１０７） 現用機１０の故障推定部１３７では、ログ検索結果によりホストマシン１５０、ゲストマシン１１０間の通信に問題が発生したと推測できる場合は、ステップ１０８に移行し、特定できない場合は、ステップ１０９に移行する。
【００９２】
ステップ１０８） 現用機１０では、図１３に示すように、ゲストマシン１１０の制御実行部１３０の導通確認部１３２は、PINGを実行し、ホストマシン１５０の管理LANネットワーク仮想I/F１３及びサービスLANネットワークI/F１１を介してルータ３への導通を確認し、導通が成功した場合はステップ１０９に移行し、「不可」であることを確認した場合は、保守端末４にエラーを出力して当該処理を終了する。
【００９３】
具体的には、該当したメッセージが、クライアント装置がアクセスに使用するサービスLAN側の導通が失敗したことを示している場合は、現用機１０の導通確認部１３２からホストマシンのサービスLANネットワークI/F１１のＩＰアドレス宛にPINGコマンドを実行し、導通が不可であることを確認する。また、該当したエラーメッセージの属性値がゲストマシンからホストマシンへの導通不良を示す場合は、現用機１０の導通確認部１２３からホストマシンの管理LAN用インタフェース１２のＩＰアドレス宛にPINGコマンドを実行し、導通が成功した場合はステップ１０９に移行し、「不可」であることを確認した場合は、保守端末４にエラーを出力し、当該処理を終了する。
【００９４】
ステップ１０９） 現用機１０の制御実行部１３０の起動実行部１３５、及び高可用性クラスタソフト１４０は、
・ステップ１０４で故障発生箇所が「リソース」であるとき；
・ステップ１０５で強制電源断機能（リセット）が失敗したが、ステップ１０６において現用機１０のハードウェア制御ボード１７への導通が成功した（失敗でも許容可）場合、または、ステップ１０７でルータ３への導通が成功し、かつ、ゲストマシンからホストマシンへの導通が成功した場合；
図１４に示すように、以下の復旧処理を行う。以下の括弧内の数字と図１４中の括弧内の数字が示す処理が対応する。
【００９５】
（１）保守端末４から現用機１０のゲストマシン１１０の制御実行部１３０に起動実行を指示する。
【００９６】
（２）現用機１０の制御実行部１３０のコマンド実行部１３６は、起動実行部１３５により現用機１０の高可用性クラスタソフト１４０を起動する。
【００９７】
（３）現用機１０の高可用性クラスタソフト１４０が起動されると、現用機１０の状態管理記憶部１６４のクラスタ状態を"NONE"から"SBY[online]"に更新する。
【００９８】
（４）高可用性クラスタソフト１４０は、予備機２０の高可用性クラスタソフト２４０へ更新されたクラスタ状態を通知する。
【００９９】
（５）予備機２０の高可用性クラスタソフト２４０は、現用機１０の高可用性クラスタソフト１４０から通知により、状態管理記憶部２６４のクラスタ状態を"ACT"から"SBY[online]"に変更する。
【０１００】
この時点の現用機１０、予備機２０は以下の状態である。
【０１０１】
（現用機の状態）
クラスタ状態："SBY[online]"
故障回数：０
エラーステータス：０
リソース状態：０
（予備機の状態）
クラスタ状態："ACT"
故障回数：０
エラーステータス：０
リソース状態：１（Started）
ステップ１１０） 現用機１０は、図１５に示すように、ゲストマシン１１０の制御実行部１３０のコマンド実行部１３６において、高可用性クラスタソフト１４０の状態確認コマンドを実行し、状態管理情報記憶部１６４からクラスタ状態を取得し、"SBY[online]"であることを確認する。この状態でない場合は、エラーを出力する。
【０１０２】
ステップ１１１） 現用機１０で対故障性と対パフォーマンス性を向上させるために、図１６に示す処理を行う。以下の括弧内の数字と図１６中の数字が示す処理が対応する。
【０１０３】
（１）保守端末４の制御部が、現用機１０のゲストマシン１１０の制御実行部１３０に系切り替えの処理を実行させる。
【０１０４】
（２）現用機１０の制御実行部１３０のコマンド実行部１３６は、系切り替え部１３３により、クラスタ状態を現用機１０"ACT"、予備機"SBY[standby]"に変更させるため高可用性クラスタソフト１４０に対して系切り替えコマンドを実行させる。
【０１０５】
（３）現用機１０の状態管理記憶部１６４に格納された予備機のクラスタ状態を "SBY[standby]"へ遷移させることで、現用機１０のクラスタ状態を"ACT"へ遷移させる。
【０１０６】
（４）現用機１０の高可用性クラスタソフト１４０は、予備機２０の高可用性クラスタソフト２４０に対して、上記の（３）で更新されたクラスタ状態を通知する。
【０１０７】
（５）予備機２０の高可用性クラスタソフト２４０は、その通知を受け、予備機２０の状態管理記憶部２６４の現用機と予備機のクラスタ状態を上記の（３）と同様に更新する。
【０１０８】
（６）予備機２０の高可用性クラスタソフト２４０は、予備機２０のリソース２２０を停止する。
【０１０９】
（７）現用機１０の高可用性クラスタソフト１４０は、現用機１０のリソース１２０を起動する。
【０１１０】
ステップ１１２） 現用機１０のゲストマシン１１０の制御実行部１３０は、図１７に示すように、高可用性クラスタソフト１４０の状態確認コマンドを実行し、状態管理情報記憶部１６４のクラスタ状態が"ACT"、リソース状態が"１"で"Started"になっていることを確認する。
【０１１１】
この時点の現用機１０、予備機２０は以下の状態である。
【０１１２】
（現用機の状態）
クラスタ状態："ACT"
故障回数：０
エラーステータス：０
リソース状態：1（Started）
（予備機の状態）
クラスタ状態："SBY[standby]"
故障回数：０
エラーステータス：０
リソース状態：０
ステップ１１３） 現用機１０において、図１８に示す終了処理を行う。以下の括弧内の数字と図１８中の括弧内の数字が示す処理が対応する。
【０１１３】
（１）管理LAN５に接続される保守端末４は、現用機１０のゲストマシン１１０の制御実行部１３０に系切り替えの処理要求を送信する。
【０１１４】
（２）現用機１０の制御実行部１３０のコマンド実行部１３６は、系切り替え部１３３により予備機２０のクラスタ状態を"SBY[standby]"から"SBY[online]"に変更させるため、高可用性クラスタソフト１４０に系切り替えコマンドを実行させる。
【０１１５】
（３）現用機１０の高可用性クラスタソフト１４０は系切り替えコマンドにより、現用機１０の状態管理記憶部１６４の予備機２０のクラスタ状態を更新する。
【０１１６】
（４）現用機１０の高可用性クラスタソフト１４０から予備機２０の高可用性クラスタソフト２４０へ"SBY[standby]"から"SBY[online]"への更新処理を通知する。
【０１１７】
（５）予備機２０の高可用性クラスタソフト２４０は、その通知を受け、予備機２０の状態管理記憶部２６４の予備機のクラスタ状態を"SBY[online]"に更新する。
【０１１８】
ステップ１１４） 現用機１０は、図１９に示すように、ゲストマシン１１０の制御実行部１３０の状態確認実行部１３４で高可用性クラスタソフト１４０の状態コマンドを実行し、予備機２０のクラスタ状態が"SBY[online]"になっていなければ、エラーを管理LAN５に接続される保守端末４に出力する。
【０１１９】
この時点の現用機１０、予備機２０は以下の状態である。
【０１２０】
（現用機の状態）
クラスタ状態："ACT"
故障回数：０
エラーステータス：０
リソース状態：1（Started）
（予備機の状態）
クラスタ状態："SBY[online]"
故障回数：０
エラーステータス：０
リソース状態：０
ステップ１１５） 現用機１０からログアウトする。
【０１２１】
上記のように、本発明によれば、仮想環境における、現用機がクラスタ構成に組み込まれていない原因を、当該現用機のリソース、ゲストマシンからホストマシンへの導通不良、ディスク、ネットワークのいずれのカテゴリの故障であるのかを特定することができる。これにより、少なくとも、リソース故障である場合には、予備機でサービス稼働中である場合は、現用機でサービスを再開させることが可能になる。また、エラーのカテゴリが特定されることにより、エラーを保守者に提示することにより当該故障箇所を容易に同定することが可能となる。
【０１２２】
また、故障箇所の推定後に導通確認を行うことにより、故障推定精度を向上させることができる。更に、ネットワークの瞬断による一時的な故障が原因で発生したリソース故障を自動的に回復することができる。
【０１２３】
また、予備機の性能が現用機の性能より劣る場合、又は、２つ以上の現用機と１つの予備機とでクラスタシステムが構成されている場合に、予備機でのサービス提供による処理速度の低下を回避することができる。
【０１２４】
説明の便宜上、本発明の実施例に係るシステムは機能的なブロック図を用いて説明しているが、本発明のシステムは、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、サーバ（現用機及び予備機）の各機能部がソフトウェアで実現され、オペレーションシステム上にインストールされてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。
【０１２５】
以上、本発明の実施の形態及び実施例について説明したが、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。
【符号の説明】
【０１２６】
１ クライアント装置
２ サービスLAN
３ ルータ
４ 保守端末
５ 管理LAN
１０ サーバ（現用機）
１１，２１ サービスLANネットワークインタフェース
１２，２２ 管理LANネットワークインタフェース
１３，２３ 管理LANネットワーク仮想インタフェース
１４，２４ サービスLANネットワーク仮想インタフェース
１５，２５ 管理LANネットワーク仮想インタフェース
１６，２６ サービスLANネットワーク仮想インタフェース
１７，２７ ハードウェア制御ボード
２０ サーバ（予備機）
３０ 共有ディスク
１１０、２１０ ゲストマシン
１５１，２５１ デバイス一括監視部
１２０，２２０ リソース
１３０，２３０ 制御実行部
１３１，２３１ ログ検索部
１３２，２３２ 導通確認部
１３３，２３３ 系切り替え部
１３４，２３４ 状態確認実行部
１３５，２３５ 起動実行部
１３６，２３６ コマンド実行部
１３７，２３７ 故障箇所推定部
１４０，２４０ 高可用性クラスタソフト
１４１，２４１ ネットワーク監視結果取得部
１４２，２４２ ディスク監視結果取得部
１６０，２６０ 内蔵ディスク
１６１，２６１ ホストマシン割当ディスク
１６２，２６２ ゲストマシン割当ディスク
１６３，２６３ ログ記憶部
１６４，２６４ 状態管理情報記憶部
１７０，２７０ ハイパーバイザ
【技術分野】
【０００１】
本発明は、仮想環境における故障復旧方法及びシステムに係り、特に、仮想化技術を実現する仮想マシンモニタ（例えば、XenまたはKVM等）が導入されている仮想機能を有する冗長系のシステムにおいて、現用機がシステムに組み入れられていない原因を特定し、復旧させるための仮想環境における故障復旧方法及びサーバ及び故障復旧プログラムに関する。
【背景技術】
【０００２】
サービスの重要性が増すにつれ、ダウンタイムの少ないシステムの要求が高まっている。このため、複数のサーバで冗長構成されたクラスタシステムを構築し、何らかの故障が発生したときに自動的にサーバを切り替えることにより、サービスの継続を可能とするHeartbeat及びPacemakerなどの高可用性クラスタソフトが開発されている（非特許文献１参照）。
【０００３】
高可用性クラスタソフトでは、サーバ上のリソース、ネットワーク、共有ディスク等を監視しており、サービス稼働中のサーバで故障を検知すると、予め待機しているサーバに切り替え、サービスを継続させる。
【０００４】
図１に、高可用性クラスタソフトを用いたクラスタシステムの概略図を示す。クラスタシステムは、ネットワークに接続されている複数のサーバ（現用機及び予備機）と、これらの複数のサーバで共有して用いられる共有ディスクとを有する。
【０００５】
現用機及び予備機は、オペレーティングシステム（ＯＳ）と、高可用性クラスタソフトと、サービスを提供するために必要な構成要素であるリソースとをそれぞれ有する。高可用性クラスタソフトは、現用機での故障の発生を検知し、故障が発生したときに自動的に予備機に切り替える。サーバにおけるサービスの稼働状態、リソースの稼働状態及び故障状態は、内蔵ディスクの状態記憶部に格納され、故障箇所等の詳細な情報は、内蔵ディスクのログ記憶部に格納される。
【０００６】
現用機及び予備機は、サービスＬＡＮと呼ばれるネットワークに接続されており、リソースによるサービスをクライアントに提供する。また、現用機及び予備機は、インターコネクトLANと呼ばれるネットワークに接続されており、サーバにおけるサービスの稼働状態、リソースの稼働状態、故障状態等の情報を交換する。更に、現用機及び予備機は、管理ＬＡＮと呼ばれるネットワークに接続されており、保守端末からのコマンドを受け付けることができる。
【０００７】
また、現用機及び予備機には、故障時に他サーバの電源を強制的に切断する強制電源断機能を設定することができる。強制電源断機能は、管理ＬＡＮを経由して他サーバのハードウェア制御ボードに対して電源を切断する指示を送信することにより、他サーバの電源を切断する。
【０００８】
共有ディスクは、サービスの一貫性を保つために、サービス提供に用いられるデータを保存する記憶装置である。共有ディスクにより、現用機から予備機に切り替わった後も、同じデータを用いてサービスを継続できる。
【０００９】
このように、高可用性クラスタソフトでリソースの故障を監視しているため、リソース故障が発生した場合に、予備機に切り替えてサービスを継続させることができる。予備機に系切り替えを行った後は、予備機でサービスが継続される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第４３５３００５号公報，「クラスタ構成コンピュータシステムの系切り替え方法」
【非特許文献】
【００１１】
【非特許文献１】三井 一能 他，「サービスの可用性を向上させるＯＳＳミドルHeartbeatの開発」，ＮＴＴ技術ジャーナル，２００９年３月，４６〜４９ページ
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上記の技術は、現用機に障害が発生した場合に予備機に系切り替えを行う処理であるが、仮想環境については考慮されておらず、また、障害発生時に、リソース故障、ネットワーク障害等の故障原因の特定を行うことができないため、現用機の故障箇所によっては現用機を単に起動させたとしても、正常に動作するとは限らない。
【００１３】
更に、クラスタシステムにおいて予備機の性能が現用機の性能より劣る場合には、予備機でのサービス提供中は、処理速度が低下する。このような処理速度の低下は、予備機の性能が現用機の性能より劣っている場合だけでなく、２つ以上の現用機と１つの予備機とでクラスタシステムが構成されている場合にも生じる可能性がある。
【００１４】
本発明は、上記の点に鑑みなされたもので、文献「"オープンソース仮想化技術"ＮＴＴ技術ジャーナル2009 vol. 21. No.8. 2009.8, pp.82-86」等に示されるXen等のオープンソースの仮想化プロダクトによる仮想環境において、故障のカテゴリを判断でき、故障時の系切り替えによるサービス提供の処理速度の性能劣化を招くことなく運用が可能な仮想環境における故障復旧方法及びシステムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の上記の課題を解決するため、本発明（請求項１）の仮想環境における故障復旧方法は、ハイパーバイザが導入された仮想環境における現用機及び予備機から構成されるクラスタシステムにおいて、該現用機及び該予備機が、該現用機及び該予備機サービス稼動状態を示すクラスタ状態を管理するクラスタ状態管理手段、クラスタ状態及び故障状態を格納する状態管理情報記憶手段、故障箇所を示す故障ログを格納するログ記憶手段をそれぞれ含み、該予備機がサービス稼動中であり、該現用機がクラスタ構成に組み込まれていない場合に、障害原因を特定するための仮想環境における故障復旧方法であって、
現用機の故障推定手段が、現用機のログ記憶手段から検索した結果に基づいて、該現用機の故障箇所を推定する故障箇所推定ステップと、
故障箇所推定ステップにおいて、現用機の故障箇所がネットワーク故障であると推定された場合には、該現用機の導通確認手段が、該現用機に接続されたルータまでの導通を確認する導通確認ステップと、
ルータまでの導通確認が成功した場合に、現用機のクラスタ構成起動手段が、該現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させるクラスタ構成起動ステップと、を行う。
【００１６】
また、本発明（請求項２）は、現用機に、ホストマシンとゲストマシンが導入されている環境において、
導通確認ステップにおいてホストマシンとゲストマシン間の通信故障であると特定された場合には、
導通確認ステップにおいて、
ゲストマシンからホストマシンへの導通不良を確認し、
クラスタ構成起動ステップにおいて、
ゲストマシンからホストマシンへの導通が成功した場合には、現用機のクラスタ状態を「サービス稼働中へ遷移できる状態」へ遷移させる。
【００１７】
また、本発明（請求項３）は、故障箇所推定ステップにおいて故障箇所のカテゴリがリソースであると推定された場合は、
クラスタ構成起動ステップにおいて、現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させる。
【００１８】
また、本発明（請求項４）は、故障箇所推定ステップにおいて、現用機及び予備機に、故障時に他サーバの電源を強制的に切断する強制電源断機能が導入されており、該予備機のログ記憶手段から強制電源断機能に関するエラーが検索された場合には、該現用機に重大なエラーが検出されたものと判定し、
導通確認ステップにおいて、
予備機から現用機の電源制御手段に対して導通確認を行い、
クラスタ構成起動ステップにおいて、
導通確認ステップにて電源制御手段への導通が成功した場合には、現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」に遷移させる。
【００１９】
本発明（請求項５）のサーバ（現用機）は、ハイパーバイザが導入された仮想環境における現用機及び予備機から構成されるクラスタシステムにおいて、該現用機及び該予備機が、該現用機及び該予備機サービス稼動状態を示すクラスタ状態を管理するクラスタ状態管理手段、クラスタ状態及び故障状態を格納する状態管理情報記憶手段、故障箇所を示す故障ログを格納するログ記憶手段をそれぞれ含み、該予備機がサービス稼動中であり、該現用機がクラスタ構成に組み込まれていない場合に、障害原因を特定するための現用機として動作するサーバであって、
ログ記憶手段から検索した結果に基づいて、該現用機の故障箇所を推定する故障箇所推定手段と、
故障箇所推定手段において、現用機の故障箇所がネットワーク故障であると推定された場合には、該現用機に接続されたルータまでの導通を確認する導通確認手段と、
ルータまでの導通確認が成功した場合に、当該現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させるクラスタ構成起動手段と、を有することを特徴とする。
【００２０】
また、本発明（請求項６）のサーバは、当該サーバに、ホストマシンとゲストマシンが導入されている環境において、導通確認手段に、該ホストマシンと該ゲストマシン間の通信故障であると特定された場合には、該ゲストマシンから該ホストマシンへの導通を確認する手段を含み、
クラスタ構成起動手段に、導通確認手段にてゲストマシンからホストマシンへの導通が成功した場合には、現用機のクラスタ状態を「サービス稼働中へ遷移できる状態」へ遷移させる手段を含む。
【００２１】
また、本発明（請求項７）のサーバのクラスタ構成起動手段は、故障箇所推定手段において、故障箇所のカテゴリがリソースである場合は、当該サーバのクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させる手段を更に有する。
【００２２】
また、本発明（請求項８）のサーバは、現用機及び予備機に、故障時に他サーバの電源を強制的に切断する強制電源断機能が導入されている環境では、
クラスタ構成起動手段に、予備機にて強制電源断機能に関するエラーが検出され、かつ、予備機の導通確認手段が予備機から現用機の電源制御手段への導通確認を行い、導通不良であると判った場合には、当該サーバのクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させない手段を含む。
【００２３】
本発明（請求項９）は、請求項５乃至８のいずれか1項に記載のサーバを構成する各手段としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００２４】
上記のように、本発明によれば、仮想環境において、現用機がクラスタ構成に組み込まれていない故障原因を推測することにより、復旧への対処が容易になる。
【００２５】
また、推測された故障原因のカテゴリがリソース故障である場合には、予備機でサービス稼働中である場合は、現用機でサービスを再開させることが可能になるため、対故障性と対パフォーマンス性を向上させることが可能となる。
【図面の簡単な説明】
【００２６】
【図１】高可用性クラスタソフトを用いたクラスタシステムの概略図である。
【図２】本発明の一実施の形態におけるシステム構成図である。
【図３】本発明の一実施の形態における要部の詳細構成図である。
【図４】本発明の一実施の形態における状態管理情報記憶部の格納項目を示す図である。
【図５】本発明の一実施の形態における初期状態と終了状態を示す図である。
【図６】本発明の一実施の形態における動作の概要を示す図である。
【図７】本発明の一実施例における一連の動作のフローチャート（その１）である。
【図８】本発明の一実施例における一連の動作のフローチャート（その２）である。
【図９】本発明の一実施例における図７のステップ１０１の動作を示す図である。
【図１０】本発明の一実施例における図７のステップ１０１，１０４，１０７の動作を示す図である。
【図１１】本発明の一実施例における図７のステップ１０３の動作を示す図である。
【図１２】本発明の一実施例における図７のステップ１０５の動作を示す図である。
【図１３】本発明の一実施例における図７のステップ１０８の動作を示す図である。
【図１４】本発明の一実施例における図８のステップ１０９の動作を示す図である。
【図１５】本発明の一実施例における図８のステップ１１０の動作を示す図である。
【図１６】本発明の一実施例における図８のステップ１１１の動作を示す図である。
【図１７】本発明の一実施例における図８のステップ１１２の動作を示す図である。
【図１８】本発明の一実施例における図８のステップ１１３の動作を示す図である。
【図１９】本発明の一実施例における図８のステップ１１４の動作を示す図である。
【発明を実施するための形態】
【００２７】
以下図面と共に、本発明の実施の形態を説明する。
【００２８】
最初に、本明細書で用いる用語について定義する。
【００２９】
・クラスタ構成：
複数サーバを相互に接続し、ユーザや他サーバに対して全体で１台のサーバであるかのように振舞わせる技術であり、複数サーバを１台のサーバを扱うように管理することができる。１台が停止してもシステム全体が止まることはなく、処理を続行したまま修理や交換が可能である。
【００３０】
・リソース：
サービスを提供するために必要な構成要素を指す。クラスタ構成におけるリソースとは、高可用性クラスタソフトが起動、停止、監視等の制御対象とするアプリケーションを指す。アプリケーションには、データベース（ＤＢ）などが含まれる。
【００３１】
・ACT：
サーバでサービス稼働中のことを指す。クラスタ構成において、ＤＢなどサービスを提供するリソースが稼動しているサーバの状態を"ACT"と記す。
【００３２】
・SBY[online]：
"ACT"へ遷移できる状態のことをいう。クラスタ構成において、故障などによる系切り替えが発生した場合、"ACT"からリソースを切り替えることが可能なサーバを"SBY[online]"と記す。
【００３３】
・SBY[standby]：
クラスタ構成において、故障などによる系切り替えが発生した場合でも、"ACT"にならないように抑制されている状態のサーバを"SBY[standby]"と記す。
【００３４】
・SBY［遷移中］：
"ACT"へ遷移しようとしている状態（系切り替え中の状態）を指す。クラスタ構成において、故障などによる系切り替えが発生し"ACT"へ遷移しようとしているが、現用機側で実施されているリソースの停止処理が正常終了するのを待っている状態のサーバを"SBY[遷移中]"と記す。
【００３５】
・NONE：
サーバがクラスタ構成に組み込まれていない状態を指す。サーバや高可用性クラスタソフト停止が停止していることにより、クラスタ構成に組み込まれていないサーバを"NONE"と記す。
【００３６】
図２は、本発明の一実施の形態におけるシステム構成を示す。
【００３７】
同図に示すクラスタシステムは、仮想環境における仮想サーバのベースであるホストマシンとゲストマシン及び仮想マシンを制御するための制御プログラムであるハイパーバイザを有する複数のサーバ（本実施の形態では現用機１０、予備機２０と記す）。これらのサーバは、共有ディスク３０、クライアント装置１、サービスLAN２、ルータ３、保守端末４、管理LAN５に接続されている。
【００３８】
現用機１０、予備機２０はそれぞれルータ３を介してクライアント装置１にサービスを提供する。なお、現用機１０の性能は予備機２０の性能より優れていてもよい。同図には、現用機１０、予備機２０をそれぞれ１つずつ記載しているが、２つ以上の現用機と１つの予備機２０としてもよい。
【００３９】
現用機１０は、ホストマシン用に割り当てられたホストマシン割当ディスク１６１、ゲストマシン用に割り当てられたゲストマシン割当ディスク１６２を含む内蔵ディスク１６０、ハードウェア制御ボード１７、及び、これらの構成要素間の通信を行うためのインタフェースを有する。内蔵ディスク１６０のゲストマシン割当ディスク１６２はログ記憶部１６３と状態管理情報記憶部１６４を含む。
【００４０】
現用機１０のホストマシン１５０は、ディスク監視機能とネットワーク監視機能を有するデバイス一括監視部１５１を有し、ホストマシン１５０とハイパーバイザ１７０との間には、管理LANネットワーク仮想インタフェース（I/F）１３とサービスLANネットワーク仮想I/F１４を有する。
【００４１】
現用機１０のホストマシン１５０のデバイス一括監視部１５１のディスク監視機能は、内蔵ディスク１６０と共有ディスク３０のディスク管理を行い、その導通結果をホストマシン１５０とゲストマシン１１０の間で通信を行い、ホストマシンの管理LANネットワーク仮想I/F１３、ハイパーバイザ１７０、ゲストマシンの管理LANネットワーク仮想I/F１５を介して、ゲストマシンの高可用性クラスタソフト１４０に通知すると共に、ログ記憶部１６３に格納する。当該ディスク監視機能からエラーメッセージ出力が出力された場合は、現用機１０とルータ３間のサービスLAN通信故障または、ホストマシンとゲストマシン間の経路故障が考えられる。
【００４２】
現用機１０のホストマシン１５０のデバイス一括監視部１５１のネットワーク監視機能は、サービスLANネットワーク仮想I/F１４、ハイパーバイザ１７０、サービスLANネットワークI/F１１を介してルータ３との導通確認を行う。その導通結果をホストマシンとゲストマシンの間で通信を行い、ホストマシン１５０のサービスLANネットワーク仮想I/F１６、ハイパーバイザ１７０、ゲストマシン１１０のサービスLANネットワーク仮想I/F１６を介して、ゲストマシン１１０の高可用性クラスタソフト１４０に通知すると共に、ログ記憶部１６３に格納する。当該ネットワーク監視機能からエラーメッセージ出力が出力された場合は、現用機１０とルータ３間のサービスLAN通信故障または、ホストマシン１５０とゲストマシン１１０間の経路故障が考えられる。
【００４３】
現用機１０のゲストマシン１１０は、リソース１２０、制御実行部１３０、自身の稼動状態を外部に通知するための高可用性クラスタソフト１４０を有し、ゲストマシン１１０とハイパーバイザ１７０との間には、管理LANネットワーク仮想I/F１５とサービスLANネットワーク仮想I/F１６を有する。当該ゲストマシンの構成については図３にて後述する。
【００４４】
予備機２０も現用機１０と同様に、ホストマシン１５０とゲストマシン１１０と、ハイパーバイザ２７０がインストールされている。また、ホストマシン割当ディスク２６１とゲストマシン割当ディスク２６２を含む内蔵ディスク２４０、ハードウェア制御ボード２７を有する。ゲストマシン割当ディスク２６２にはログ記憶部２６３と状態管理情報記憶部２６４が含まれる。
【００４５】
予備機２０のホストマシン２５０は、ディスク監視機能とネットワーク監視機能を有するデバイス一括監視部２５１を有し、ホストマシン２５０とハイパーバイザ２７０との間には、管理LANネットワーク仮想インタフェース（I/F）２３とサービスLANネットワーク仮想I/F２４を有する。
【００４６】
予備機２０のゲストマシン２１０は、リソース２２０、制御実行部２３０、高可用性クラスタソフト２４０を有し、ゲストマシン２１０とハイパーバイザ２７０との間には、管理LANネットワーク仮想I/F２５とサービスLANネットワーク仮想I/F２６を有する。
【００４７】
以下に、故障の可能性があり、状態が「NONE」となり、クラスタ構成に組み込まれていない現用機１０のゲストマシンを中心とした構成を示す。
【００４８】
図３は、本発明の一実施の形態における要部の詳細構成を示す。
【００４９】
現用機１０のゲストマシン１１０は、リソース１２０、制御実行部１３０、高可用性クラスタソフト１４０を有し、高可用性クラスタソフト１４０には、内蔵ディスク１６０の状態管理情報記憶部１６４が接続されている。なお、ここでは、現用機１０のみを記すが、予備機２０も同様の構成である。
【００５０】
制御実行部１３０は、ログ検索部１３１、導通確認部１３２、系切り替え部１３３、状態確認実行部１３４、起動実行部１３５、コマンド実行部１３６、故障箇所推定部１３７を有し、ログ検索部１３１には、内蔵ディスク１６０のログ記憶部１６３が接続されている。
【００５１】
ログ検索部１３１は、保守端末４からログインされると、故障箇所推定部１３７からの制御によりログ記憶部１６３を検索し、エラーメッセージを取得し故障箇所推定部１３７に渡す。
【００５２】
導通確認部１３２は、故障箇所推定部１３７からの制御により、Ping処理を実行し、ルータ３までの導通を確認し、故障箇所推定部１３７に渡す。
【００５３】
系切り替え部１３３は、現用機１０及び予備機２０のクラスタ状態を変更する。
【００５４】
状態確認実行部１３４は、高可用性クラスタソフトの状態コマンドを実行することにより取得したクラスタ状態を確認する。
【００５５】
起動実行部１３５は、高可用性クラスタソフト１４０を起動する。
【００５６】
コマンド実行部１３６は、高可用性クラスタソフト１４０にコマンドを実行させる。
【００５７】
故障箇所推定部１３７は、ログ検索部１３１、導通確認部１３２から取得したエラーメッセージにより故障箇所を推定する。
【００５８】
高可用性クラスタソフト１４０は、「クラスタ状態管理手段」として動作し、サーバの故障状態を監視する故障監視機能と、クラスタ状態及び故障状態に基づいてリソースを起動及び停止させるリソース起動・停止機能と、故障状態に基づいて状態管理情報記憶部１６４のクラスタ状態を管理する状態管理機能とが含まれる。故障監視機能として、ネットワーク監視結果取得部１４１とディスク監視結果取得部１４２を有し、制御実行部１３０の起動実行部１３５により起動され、コマンド実行部１３６からの制御によりコマンドを実行することにより、状態管理情報記憶部１６４の内容を更新すると共に、他のサーバ（予備機２０）にクラスタ状態等を通知する。ネットワーク監視結果取得部１４１は、ゲストマシンのデバイス一括監視部１５１のネットワーク監視機能からサービスLANネットワーク仮想I/F１４、ハイパーバイザ１７０、サービスLANネットワーク仮想I/F１６を介して、ルータ３の導通結果を取得する。ディスク監視結果取得部１４２は、ホストマシンのデバイス一括監視部１５１からホストマシンの管理LANネットワーク仮想I/F１３、ハイパーバイザ１７０、ゲストマシン１１０の管理LANネットワーク仮想I/F１５を介して、ディスクの監視結果を取得する。
【００５９】
ログ記憶部１６３には、ホストマシンのデバイス一括監視部１５１から取得した、ディスク、ネットワーク等の故障ログが格納されている。予備機２０のログ記憶部２６３にも同様に、ホストマシンのデバイス一括監視部２５１から取得した故障ログが格納される。
【００６０】
状態管理情報記憶部１６４には、図４に示すように、クラスタ状態、故障回数、エラーステータス、リソース状態のフラグや値が格納され、これらの値は、高可用性クラスタソフト１４０の状態管理機能により管理される。
【００６１】
以下に、上記の構成における一連の故障検出から復旧までの動作の概要を示す。
【００６２】
まず、図５に初期状態と終了状態を示す。
【００６３】
初期状態は、予備機２０で状態確認処理が実行され、状態管理情報記憶部２６４の故障回数が"０"、エラーステータスが"０"となり、予備機２０のクラスタ状態が"ACT"、現用機１０のクラスタ状態が"NONE"状態のとき、現用機１０の電源スイッチＯＮの処理を行いＯＳを立ち上げた状態である。
【００６４】
また、終了状態は、故障の推測処理を行い、その結果、故障カテゴリとして「リソース」故障であった場合に、当該リソースの復旧処理を行い、現用機１０のクラスタ状態を"ACT"、予備機２０のクラスタ状態を"SBY[online]"とするものである。
【００６５】
以下に、上記図５の一連の処理を説明する。
【００６６】
図６は、本発明の一実施の形態における動作の概要を示すシーケンスチャートである。
【００６７】
ステップ１） 現用機１０がクラスタ構成に組み込まれていない"NONE"状態で、当該現用機１０のOSを立ち上げる。このとき、予備機２０は、サービス稼動中の"ACT"の状態である。
【００６８】
現用機１０、予備機２０において保守端末４から管理LAN５を介してログインを受け付け、制御実行部１３０のログ検索部１３１がログ記憶部１６３を検索してエラーメッセージを取得する。ここでは、リソースエラーを示すエラーメッセージを取得したものとする。
【００６９】
ステップ２） さらに、制御実行部１３０は、保守端末４に対して、エラーメッセージを出力することで、強制電源断機能の導通確認を依頼する。これにより、保守端末４から予備機２０にログインし、予備機２０の実行制御部の導通確認部２３２から現用機１０のハードウェア制御ボード１７宛に導通確認を行う。ここでは、導通は成功したものとする。なお、仮に導通確認に失敗したとしても、サービス続行には大きく影響しないため、現用機１０をクラスタ構成に組み入れることが可能である。
【００７０】
ステップ３） 故障推定部１３７は、上記のステップ１，２の結果から故障発生箇所が「リソース」であると判定する。
【００７１】
ステップ４） 起動実行部１３５は、高可用性クラスタソフト１４０を起動させる。
【００７２】
ステップ５） 高可用性クラスタソフト１４０は、状態管理情報記憶部１６４の現用機１０のクラスタ状態を"SBY[online]"にする。
【００７３】
ステップ６） 次に、高可用性クラスタソフト１４０は予備機２０のクラスタ状態を"ACT"から"SBY[standby]"に変更し、予備機２０に対して、更新された現用機１０、予備機２０の状態管理情報を通知する。これにより、予備機２０の高可用性クラスタソフト２４０において、状態管理情報記憶部２６４の内容を更新する。
【００７４】
ステップ７） 状態確認実行部１３４は、予備機２０のクラスタ状態が"SBY[standby]"、現用機１０のクラスタ状態が"SBY[online]"となっていることを確認し、予備機２０の系切り替えを終了させるために、予備機２０のクラスタ状態を"SBY[online]"に戻す。
【００７５】
ステップ８） 状態確認実行部１３４は、状態確認処理を実行し、予備機２０のクラスタ状態が"SBY[online]"になっていなければエラーを出力し、処理を終了する。
【実施例】
【００７６】
以下、図面と共に、本発明の処理を詳細に説明する。
【００７７】
図７、図８は、本発明の一実施例における一連の動作のフローチャートである。
【００７８】
なお、以下の各ステップに記載されている「クラスタ状態」、「故障回数」、「エラーステータス」、「リソース状態」等は、現用機１０及び予備機２０の状態管理情報記憶部１６４，２６４に格納されている値である。
【００７９】
復旧方法の実行に先立ち、状態確認実行部１３４は、状態確認コマンドを実行して、現用機の状態管理情報記憶部１６４に格納されたクラスタ状態を読み取り、現用機１０のクラスタ状態が"NONE"であり、予備機２０のクラスタ状態が"ACT"であることを確認してもよい。ここで、高可用性クラスタソフト１４０，２４０により、現用機１０と予備機２０との間で状態管理情報記憶部１６４，２６４の情報交換が行われているため、状態確認コマンドにより現用機１０及び予備機２０の双方の状態を読み取ることができる。
【００８０】
ステップ１０１） 図９に示すように、保守端末４から管理ＬＡＮ５上にある制御部から現用機１０及び予備機２０の制御実行部１３０，２３０に対してログインする。現用機１０へのログインに失敗した場合は、保守端末４に接続される表示装置等にエラー出力を行い、当該処理を終了する。
【００８１】
この時点でのログイン時の現用機１０、予備機２０は以下の状態である。
【００８２】
（現用機の状態）
クラスタ状態："NONE"
故障回数：０
エラーステータス：０
リソース状態：０
（予備機の状態）
クラスタ状態："ACT"
故障回数：０
エラーステータス：０
リソース状態：１（Started）
ステップ１０２） 次に、図１０に示すように、現用機１０のゲストマシン１１０の制御実行部１３０のログ検索部１３１からＯＳ機能である検索のコマンドを実行し、該当するエラーメッセージを取得する。ルータに対するエラーメッセージを取得した場合は、現用機１０とルータ３間のエラーとしてステップ１０３に移行して導通確認処理を行う。
【００８３】
ルータに関して該当するメッセージがない場合は、ディスクに対するエラーメッセージを検索する。ディスクに対するメッセージが得られた場合は、共有ディスク３０へのアクセスに問題が発生したと推測できるため、保守端末４にエラーメッセージを出力して当該処理を終了する。
【００８４】
ステップ１０３） ステップ１０２において、ルータに関するエラーメッセージを取得した場合は、図１１に示すように、故障推定の精度を高めるため、現用機１０のゲストマシンの制御実行部１３０の導通確認部１３２は、ＯＳ機能であるルータ３のＩＰアドレス宛に、ネットワーク疎通を確認するためのコマンドであるPINGを送信することで導通の確定診断を行う。なお、ネットワーク上で瞬断による一時的な故障も想定されるため、所定の時間毎に所定回数PINGを送信するようにしてもよい。導通が失敗の場合は、現用機１０をクラスタ構成に組み込んでも再び故障が発生する可能性が高いため、保守端末４に対してエラーを出力して、当該処理を終了する。一方、導通が成功した場合は、ルータ３の一時的な故障であるとし、現用機１０をクラスタ構成に組み込むことができる。
【００８５】
ステップ１０４） 次に、現用機１０の故障箇所推定部１３７ではログ検索結果によりリソース故障かどうかの判別を行う。図１０に示すように、現用機１０のゲストマシンの制御実行部１３０のログ検索部１３１は、ログ記憶部１６３からエラーメッセージを検索する。故障箇所推定部１３７は、検索されたエラーメッセージからリソースＩＤを取得することにより、当該リソースＩＤから故障リソースを特定する。特定されたリソースがＤＢなどの場合は、対故障性と対パフォーマンス性を向上させるためにステップ１０６に移行し、系切り替え処理のための強制電源断機能の故障推定を行う。
【００８６】
現用機停止時の故障発生箇所の特定後、強制電源断機能が導入されている場合は、ステップ１０５に移行し、導入されていない場合はステップ１０７に移行する。なお、強制電源断機能の有無を判断するために、予め状態管理情報記憶部１６４に強制電源断機能有無を示すフラグを設定しておき、当該フラグを参照するようにしてもよい。また、当該強制電源断機能の設定状態は、システム全体として設定されていてもよく、または、サーバ毎に設定されてもよい。さらに、現用機１０及び予備機２０にネットワークや共有ディスク３０に故障が発生した場合等に、他のサーバの電源制御部に対して強制的に電源を切断する指示を送信する強制電源断機能部を設けても良い。強制電源断機能部を有する場合には、保守端末４に対してエラーを出力する。
【００８７】
ステップ１０５） 強制電源断機能が導入されている場合は、保守端末４からの指示により、図１２に示すように、予備機２０において、強制電源断機能の故障原因を特定する。予備機２０のゲストマシンの制御実行部２３０のログ検索部２３１において、ＯＳ機能である検索のコマンドを実行し、ログ記憶部２６３から該当するエラーメッセージのログを取得し、故障箇所推定部２３７において、強制電源断機能による強制電源断処理（リセット）が失敗したかどうかの判定を行い、判定結果を保守端末４に通知する。
【００８８】
具体的には、予備機２０の制御実行部２３０のログ検索部２３１において、キーワードを入力し、予備機２０のログ記憶部２６３から該当するエラーメッセージを検索する。該当するエラーメッセージが１個以上出力された場合、強制電源断（リセット）に失敗したと判定される。
【００８９】
ステップ１０６） ハードウェア制御ボード１７の故障推定精度を向上させるために、保守端末４の指示により、予備機２０の実行制御部２３０の導通確認部２３２は、現用機１０のハードウェア制御ボード１７宛に管理LAN５を介してPING処理を行い、導通が成功することを確認し、ステップ１０７に移行する。一方、PINGが失敗した場合、エラーが出力される。この場合、予備機２０の強制電源断機能の故障、現用機１０のハードウェア制御ボード１７の故障、或いは管理LAN５のネットワーク故障であると推定されるが、サービスの提供には影響が小さいため、現用機をクラスタ構成に組み込むことも可能である（本実施例では、ステップ１０７に移行するものとする）。PING処理が成功した場合、ネットワークの瞬断による一時的な故障と考えられるため、現用機をクラスタ構成に組み込むことができるものとし、ステップ１０７に移行する。
【００９０】
このときの現用機１０、予備機２０の状態は以下の通りである。
【００９１】
（現用機の状態）
クラスタ状態："NONE"
故障回数：０
エラーステータス：０
リソース状態：０
（予備機の状態）
クラスタ状態："ACT"
故障回数：０
エラーステータス：０
リソース状態：１（Started）
ステップ１０７） 現用機１０の故障推定部１３７では、ログ検索結果によりホストマシン１５０、ゲストマシン１１０間の通信に問題が発生したと推測できる場合は、ステップ１０８に移行し、特定できない場合は、ステップ１０９に移行する。
【００９２】
ステップ１０８） 現用機１０では、図１３に示すように、ゲストマシン１１０の制御実行部１３０の導通確認部１３２は、PINGを実行し、ホストマシン１５０の管理LANネットワーク仮想I/F１３及びサービスLANネットワークI/F１１を介してルータ３への導通を確認し、導通が成功した場合はステップ１０９に移行し、「不可」であることを確認した場合は、保守端末４にエラーを出力して当該処理を終了する。
【００９３】
具体的には、該当したメッセージが、クライアント装置がアクセスに使用するサービスLAN側の導通が失敗したことを示している場合は、現用機１０の導通確認部１３２からホストマシンのサービスLANネットワークI/F１１のＩＰアドレス宛にPINGコマンドを実行し、導通が不可であることを確認する。また、該当したエラーメッセージの属性値がゲストマシンからホストマシンへの導通不良を示す場合は、現用機１０の導通確認部１２３からホストマシンの管理LAN用インタフェース１２のＩＰアドレス宛にPINGコマンドを実行し、導通が成功した場合はステップ１０９に移行し、「不可」であることを確認した場合は、保守端末４にエラーを出力し、当該処理を終了する。
【００９４】
ステップ１０９） 現用機１０の制御実行部１３０の起動実行部１３５、及び高可用性クラスタソフト１４０は、
・ステップ１０４で故障発生箇所が「リソース」であるとき；
・ステップ１０５で強制電源断機能（リセット）が失敗したが、ステップ１０６において現用機１０のハードウェア制御ボード１７への導通が成功した（失敗でも許容可）場合、または、ステップ１０７でルータ３への導通が成功し、かつ、ゲストマシンからホストマシンへの導通が成功した場合；
図１４に示すように、以下の復旧処理を行う。以下の括弧内の数字と図１４中の括弧内の数字が示す処理が対応する。
【００９５】
（１）保守端末４から現用機１０のゲストマシン１１０の制御実行部１３０に起動実行を指示する。
【００９６】
（２）現用機１０の制御実行部１３０のコマンド実行部１３６は、起動実行部１３５により現用機１０の高可用性クラスタソフト１４０を起動する。
【００９７】
（３）現用機１０の高可用性クラスタソフト１４０が起動されると、現用機１０の状態管理記憶部１６４のクラスタ状態を"NONE"から"SBY[online]"に更新する。
【００９８】
（４）高可用性クラスタソフト１４０は、予備機２０の高可用性クラスタソフト２４０へ更新されたクラスタ状態を通知する。
【００９９】
（５）予備機２０の高可用性クラスタソフト２４０は、現用機１０の高可用性クラスタソフト１４０から通知により、状態管理記憶部２６４のクラスタ状態を"ACT"から"SBY[online]"に変更する。
【０１００】
この時点の現用機１０、予備機２０は以下の状態である。
【０１０１】
（現用機の状態）
クラスタ状態："SBY[online]"
故障回数：０
エラーステータス：０
リソース状態：０
（予備機の状態）
クラスタ状態："ACT"
故障回数：０
エラーステータス：０
リソース状態：１（Started）
ステップ１１０） 現用機１０は、図１５に示すように、ゲストマシン１１０の制御実行部１３０のコマンド実行部１３６において、高可用性クラスタソフト１４０の状態確認コマンドを実行し、状態管理情報記憶部１６４からクラスタ状態を取得し、"SBY[online]"であることを確認する。この状態でない場合は、エラーを出力する。
【０１０２】
ステップ１１１） 現用機１０で対故障性と対パフォーマンス性を向上させるために、図１６に示す処理を行う。以下の括弧内の数字と図１６中の数字が示す処理が対応する。
【０１０３】
（１）保守端末４の制御部が、現用機１０のゲストマシン１１０の制御実行部１３０に系切り替えの処理を実行させる。
【０１０４】
（２）現用機１０の制御実行部１３０のコマンド実行部１３６は、系切り替え部１３３により、クラスタ状態を現用機１０"ACT"、予備機"SBY[standby]"に変更させるため高可用性クラスタソフト１４０に対して系切り替えコマンドを実行させる。
【０１０５】
（３）現用機１０の状態管理記憶部１６４に格納された予備機のクラスタ状態を "SBY[standby]"へ遷移させることで、現用機１０のクラスタ状態を"ACT"へ遷移させる。
【０１０６】
（４）現用機１０の高可用性クラスタソフト１４０は、予備機２０の高可用性クラスタソフト２４０に対して、上記の（３）で更新されたクラスタ状態を通知する。
【０１０７】
（５）予備機２０の高可用性クラスタソフト２４０は、その通知を受け、予備機２０の状態管理記憶部２６４の現用機と予備機のクラスタ状態を上記の（３）と同様に更新する。
【０１０８】
（６）予備機２０の高可用性クラスタソフト２４０は、予備機２０のリソース２２０を停止する。
【０１０９】
（７）現用機１０の高可用性クラスタソフト１４０は、現用機１０のリソース１２０を起動する。
【０１１０】
ステップ１１２） 現用機１０のゲストマシン１１０の制御実行部１３０は、図１７に示すように、高可用性クラスタソフト１４０の状態確認コマンドを実行し、状態管理情報記憶部１６４のクラスタ状態が"ACT"、リソース状態が"１"で"Started"になっていることを確認する。
【０１１１】
この時点の現用機１０、予備機２０は以下の状態である。
【０１１２】
（現用機の状態）
クラスタ状態："ACT"
故障回数：０
エラーステータス：０
リソース状態：1（Started）
（予備機の状態）
クラスタ状態："SBY[standby]"
故障回数：０
エラーステータス：０
リソース状態：０
ステップ１１３） 現用機１０において、図１８に示す終了処理を行う。以下の括弧内の数字と図１８中の括弧内の数字が示す処理が対応する。
【０１１３】
（１）管理LAN５に接続される保守端末４は、現用機１０のゲストマシン１１０の制御実行部１３０に系切り替えの処理要求を送信する。
【０１１４】
（２）現用機１０の制御実行部１３０のコマンド実行部１３６は、系切り替え部１３３により予備機２０のクラスタ状態を"SBY[standby]"から"SBY[online]"に変更させるため、高可用性クラスタソフト１４０に系切り替えコマンドを実行させる。
【０１１５】
（３）現用機１０の高可用性クラスタソフト１４０は系切り替えコマンドにより、現用機１０の状態管理記憶部１６４の予備機２０のクラスタ状態を更新する。
【０１１６】
（４）現用機１０の高可用性クラスタソフト１４０から予備機２０の高可用性クラスタソフト２４０へ"SBY[standby]"から"SBY[online]"への更新処理を通知する。
【０１１７】
（５）予備機２０の高可用性クラスタソフト２４０は、その通知を受け、予備機２０の状態管理記憶部２６４の予備機のクラスタ状態を"SBY[online]"に更新する。
【０１１８】
ステップ１１４） 現用機１０は、図１９に示すように、ゲストマシン１１０の制御実行部１３０の状態確認実行部１３４で高可用性クラスタソフト１４０の状態コマンドを実行し、予備機２０のクラスタ状態が"SBY[online]"になっていなければ、エラーを管理LAN５に接続される保守端末４に出力する。
【０１１９】
この時点の現用機１０、予備機２０は以下の状態である。
【０１２０】
（現用機の状態）
クラスタ状態："ACT"
故障回数：０
エラーステータス：０
リソース状態：1（Started）
（予備機の状態）
クラスタ状態："SBY[online]"
故障回数：０
エラーステータス：０
リソース状態：０
ステップ１１５） 現用機１０からログアウトする。
【０１２１】
上記のように、本発明によれば、仮想環境における、現用機がクラスタ構成に組み込まれていない原因を、当該現用機のリソース、ゲストマシンからホストマシンへの導通不良、ディスク、ネットワークのいずれのカテゴリの故障であるのかを特定することができる。これにより、少なくとも、リソース故障である場合には、予備機でサービス稼働中である場合は、現用機でサービスを再開させることが可能になる。また、エラーのカテゴリが特定されることにより、エラーを保守者に提示することにより当該故障箇所を容易に同定することが可能となる。
【０１２２】
また、故障箇所の推定後に導通確認を行うことにより、故障推定精度を向上させることができる。更に、ネットワークの瞬断による一時的な故障が原因で発生したリソース故障を自動的に回復することができる。
【０１２３】
また、予備機の性能が現用機の性能より劣る場合、又は、２つ以上の現用機と１つの予備機とでクラスタシステムが構成されている場合に、予備機でのサービス提供による処理速度の低下を回避することができる。
【０１２４】
説明の便宜上、本発明の実施例に係るシステムは機能的なブロック図を用いて説明しているが、本発明のシステムは、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、サーバ（現用機及び予備機）の各機能部がソフトウェアで実現され、オペレーションシステム上にインストールされてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。
【０１２５】
以上、本発明の実施の形態及び実施例について説明したが、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。
【符号の説明】
【０１２６】
１ クライアント装置
２ サービスLAN
３ ルータ
４ 保守端末
５ 管理LAN
１０ サーバ（現用機）
１１，２１ サービスLANネットワークインタフェース
１２，２２ 管理LANネットワークインタフェース
１３，２３ 管理LANネットワーク仮想インタフェース
１４，２４ サービスLANネットワーク仮想インタフェース
１５，２５ 管理LANネットワーク仮想インタフェース
１６，２６ サービスLANネットワーク仮想インタフェース
１７，２７ ハードウェア制御ボード
２０ サーバ（予備機）
３０ 共有ディスク
１１０、２１０ ゲストマシン
１５１，２５１ デバイス一括監視部
１２０，２２０ リソース
１３０，２３０ 制御実行部
１３１，２３１ ログ検索部
１３２，２３２ 導通確認部
１３３，２３３ 系切り替え部
１３４，２３４ 状態確認実行部
１３５，２３５ 起動実行部
１３６，２３６ コマンド実行部
１３７，２３７ 故障箇所推定部
１４０，２４０ 高可用性クラスタソフト
１４１，２４１ ネットワーク監視結果取得部
１４２，２４２ ディスク監視結果取得部
１６０，２６０ 内蔵ディスク
１６１，２６１ ホストマシン割当ディスク
１６２，２６２ ゲストマシン割当ディスク
１６３，２６３ ログ記憶部
１６４，２６４ 状態管理情報記憶部
１７０，２７０ ハイパーバイザ
【特許請求の範囲】
【請求項１】
ハイパーバイザが導入された仮想環境における現用機及び予備機から構成されるクラスタシステムにおいて、該現用機及び該予備機が、該現用機及び該予備機サービス稼動状態を示すクラスタ状態を管理するクラスタ状態管理手段、クラスタ状態及び故障状態を格納する状態管理情報記憶手段、故障箇所を示す故障ログを格納するログ記憶手段をそれぞれ含み、該予備機がサービス稼動中であり、該現用機がクラスタ構成に組み込まれていない場合に、障害原因を特定するための仮想環境における故障復旧方法であって、
前記現用機の故障推定手段が、前記現用機のログ記憶手段から検索した結果に基づいて、該現用機の故障箇所を推定する故障箇所推定ステップと、
前記故障箇所推定ステップにおいて、前記現用機の故障箇所がネットワーク故障であると推定された場合には、該現用機の導通確認手段が、該現用機に接続されたルータまでの導通を確認する導通確認ステップと、
前記ルータまでの導通確認が成功した場合に、前記現用機のクラスタ構成起動手段が、該現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させるクラスタ構成起動ステップと、
を有することを特徴とする仮想環境における故障復旧方法。
【請求項２】
前記現用機に、ホストマシンとゲストマシンが導入されている環境において、
前記導通確認ステップにおいて前記ホストマシンと前記ゲストマシン間の通信故障であると特定された場合には、
前記導通確認ステップにおいて、
前記ゲストマシンから前記ホストマシンへの導通不良を確認し、
前記クラスタ構成起動ステップにおいて、
前記ゲストマシンから前記ホストマシンへの導通が成功した場合には、前記現用機のクラスタ状態を「サービス稼働中へ遷移できる状態」へ遷移させる
請求項１記載の仮想環境における故障復旧方法。
【請求項３】
前記故障箇所推定ステップにおいて故障箇所のカテゴリがリソースであると推定された場合は、
前記クラスタ構成起動ステップにおいて、前記現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させる
請求項１または２記載の仮想環境における故障復旧方法。
【請求項４】
前記故障箇所推定ステップにおいて、前記現用機及び前記予備機に、故障時に他サーバの電源を強制的に切断する強制電源断機能が導入されており、該予備機のログ記憶手段から強制電源断機能に関するエラーが検索された場合には、該現用機に重大なエラーが検出されたものと判定し、
前記導通確認ステップにおいて、
前記予備機から前記現用機の電源制御手段に対して導通確認を行い、
前記クラスタ構成起動ステップにおいて、
前記導通確認ステップにて前記電源制御手段への導通が成功した場合には、前記現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」に遷移させる
請求項３記載の仮想環境における故障復旧方法。
【請求項５】
ハイパーバイザが導入された仮想環境における現用機及び予備機から構成されるクラスタシステムにおいて、該現用機及び該予備機が、該現用機及び該予備機サービス稼動状態を示すクラスタ状態を管理するクラスタ状態管理手段、クラスタ状態及び故障状態を格納する状態管理情報記憶手段、故障箇所を示す故障ログを格納するログ記憶手段をそれぞれ含み、該予備機がサービス稼動中であり、該現用機がクラスタ構成に組み込まれていない場合に、障害原因を特定するための現用機として動作するサーバであって、
前記ログ記憶手段から検索した結果に基づいて、該現用機の故障箇所を推定する故障箇所推定手段と、
前記故障箇所推定手段において、前記現用機の故障箇所がネットワーク故障であると推定された場合には、該現用機に接続されたルータまでの導通を確認する導通確認手段と、
前記ルータまでの導通確認が成功した場合に、当該現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させるクラスタ構成起動手段と、
を有することを特徴とするサーバ。
【請求項６】
前記導通確認手段は、
当該サーバに、ホストマシンとゲストマシンが導入されている環境において、該ホストマシンと該ゲストマシン間の通信故障であると特定された場合には、該ゲストマシンから該ホストマシンへの導通を確認する手段を含み、
前記クラスタ構成起動手段は、
前記導通確認手段にて前記ゲストマシンから前記ホストマシンへの導通が成功した場合には、現用機のクラスタ状態を「サービス稼働中へ遷移できる状態」へ遷移させる手段を含む請求項５記載のサーバ。
【請求項７】
前記クラスタ構成起動手段は、
前記故障箇所推定手段において、故障箇所のカテゴリがリソースである場合は、当該サーバのクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させる手段を
更に有する請求項５または６記載のサーバ。
【請求項８】
前記現用機及び前記予備機に、故障時に他サーバの電源を強制的に切断する強制電源断機能が導入されている環境において、
前記クラスタ構成起動手段は、
前記予備機にて強制電源断機能に関するエラーが検出され、かつ、予備機の導通確認手段が予備機から現用機の電源制御手段への導通確認を行い、導通不良であると判った場合には、当該サーバのクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させない手段を含む
請求項７記載のサーバ。
【請求項９】
請求項５乃至８のいずれか1項に記載のサーバを構成する各手段としてコンピュータを機能させるためのプログラム。
【請求項１】
ハイパーバイザが導入された仮想環境における現用機及び予備機から構成されるクラスタシステムにおいて、該現用機及び該予備機が、該現用機及び該予備機サービス稼動状態を示すクラスタ状態を管理するクラスタ状態管理手段、クラスタ状態及び故障状態を格納する状態管理情報記憶手段、故障箇所を示す故障ログを格納するログ記憶手段をそれぞれ含み、該予備機がサービス稼動中であり、該現用機がクラスタ構成に組み込まれていない場合に、障害原因を特定するための仮想環境における故障復旧方法であって、
前記現用機の故障推定手段が、前記現用機のログ記憶手段から検索した結果に基づいて、該現用機の故障箇所を推定する故障箇所推定ステップと、
前記故障箇所推定ステップにおいて、前記現用機の故障箇所がネットワーク故障であると推定された場合には、該現用機の導通確認手段が、該現用機に接続されたルータまでの導通を確認する導通確認ステップと、
前記ルータまでの導通確認が成功した場合に、前記現用機のクラスタ構成起動手段が、該現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させるクラスタ構成起動ステップと、
を有することを特徴とする仮想環境における故障復旧方法。
【請求項２】
前記現用機に、ホストマシンとゲストマシンが導入されている環境において、
前記導通確認ステップにおいて前記ホストマシンと前記ゲストマシン間の通信故障であると特定された場合には、
前記導通確認ステップにおいて、
前記ゲストマシンから前記ホストマシンへの導通不良を確認し、
前記クラスタ構成起動ステップにおいて、
前記ゲストマシンから前記ホストマシンへの導通が成功した場合には、前記現用機のクラスタ状態を「サービス稼働中へ遷移できる状態」へ遷移させる
請求項１記載の仮想環境における故障復旧方法。
【請求項３】
前記故障箇所推定ステップにおいて故障箇所のカテゴリがリソースであると推定された場合は、
前記クラスタ構成起動ステップにおいて、前記現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させる
請求項１または２記載の仮想環境における故障復旧方法。
【請求項４】
前記故障箇所推定ステップにおいて、前記現用機及び前記予備機に、故障時に他サーバの電源を強制的に切断する強制電源断機能が導入されており、該予備機のログ記憶手段から強制電源断機能に関するエラーが検索された場合には、該現用機に重大なエラーが検出されたものと判定し、
前記導通確認ステップにおいて、
前記予備機から前記現用機の電源制御手段に対して導通確認を行い、
前記クラスタ構成起動ステップにおいて、
前記導通確認ステップにて前記電源制御手段への導通が成功した場合には、前記現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」に遷移させる
請求項３記載の仮想環境における故障復旧方法。
【請求項５】
ハイパーバイザが導入された仮想環境における現用機及び予備機から構成されるクラスタシステムにおいて、該現用機及び該予備機が、該現用機及び該予備機サービス稼動状態を示すクラスタ状態を管理するクラスタ状態管理手段、クラスタ状態及び故障状態を格納する状態管理情報記憶手段、故障箇所を示す故障ログを格納するログ記憶手段をそれぞれ含み、該予備機がサービス稼動中であり、該現用機がクラスタ構成に組み込まれていない場合に、障害原因を特定するための現用機として動作するサーバであって、
前記ログ記憶手段から検索した結果に基づいて、該現用機の故障箇所を推定する故障箇所推定手段と、
前記故障箇所推定手段において、前記現用機の故障箇所がネットワーク故障であると推定された場合には、該現用機に接続されたルータまでの導通を確認する導通確認手段と、
前記ルータまでの導通確認が成功した場合に、当該現用機のクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させるクラスタ構成起動手段と、
を有することを特徴とするサーバ。
【請求項６】
前記導通確認手段は、
当該サーバに、ホストマシンとゲストマシンが導入されている環境において、該ホストマシンと該ゲストマシン間の通信故障であると特定された場合には、該ゲストマシンから該ホストマシンへの導通を確認する手段を含み、
前記クラスタ構成起動手段は、
前記導通確認手段にて前記ゲストマシンから前記ホストマシンへの導通が成功した場合には、現用機のクラスタ状態を「サービス稼働中へ遷移できる状態」へ遷移させる手段を含む請求項５記載のサーバ。
【請求項７】
前記クラスタ構成起動手段は、
前記故障箇所推定手段において、故障箇所のカテゴリがリソースである場合は、当該サーバのクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させる手段を
更に有する請求項５または６記載のサーバ。
【請求項８】
前記現用機及び前記予備機に、故障時に他サーバの電源を強制的に切断する強制電源断機能が導入されている環境において、
前記クラスタ構成起動手段は、
前記予備機にて強制電源断機能に関するエラーが検出され、かつ、予備機の導通確認手段が予備機から現用機の電源制御手段への導通確認を行い、導通不良であると判った場合には、当該サーバのクラスタ状態を「サービス稼動中へ遷移できる状態」へ遷移させない手段を含む
請求項７記載のサーバ。
【請求項９】
請求項５乃至８のいずれか1項に記載のサーバを構成する各手段としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１４６７４（Ｐ２０１２−１４６７４Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−２５２８９１（Ｐ２０１０−２５２８９１）
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]