説明

情報処理システム、情報処理装置、インタコネクトネットワークおよび情報処理システムのエラー予防処理方法

【課題】インタコネクトネットワークのトラフィックを増大させることなく、インタコネクトネットワークにおける障害発生時のシステムダウン率を低減させる。
【解決手段】複数の情報処理装置が複数のインタコネクトネットワークを介して接続された情報処理システムのエラー予防処理方法であり、障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知するステップと、そのデータの発行元の情報処理装置に障害予兆通知を送信するステップと、障害予兆通知を受信した後に現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行うステップとを含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は高可用性と装置間伝送路の高信頼性を実現する情報処理システム及び情報処理システムのエラー予防処理方法に関し、特に二重化インタコネクトネットワーク情報処理システム及びそのエラー予防処理方法に関する。
【背景技術】
【0002】
本発明が関係する二重化インタコネクトネットワークコンピュータは、特にコンピュータの高可用性と処理装置間伝送路の高信頼性を実現するコンピュータに用いられている。
【0003】
この二重化インタコネクトネットワークコンピュータに関し、インタコネクトネットワーク障害に起因するコンピュータ障害の障害耐性を向上させる方法には、コンピュータ間のネットワーク(代表例ではインターネット)の障害に起因するコンピュータ間データ伝送障害の障害耐性を向上させる方法を採用できる可能性がある。よって、コンピュータ間データ伝送の障害耐性向上方法も含めて、従来技術を考察する。
【0004】
コンピュータ内インタコネクトネットワーク或いはコンピュータ間ネットワーク障害に起因するデータ伝送の障害耐性向上方法として、下記の方法がある。
【0005】
第一の方法は、特許文献1に記載されている方法である。この方法は、データ発行元装置からデータを送信する際、2つのネットワークに同一データを送信し、データ宛先装置では、2つのネットワークから同一データを受信するが、どちらか片方のデータを拾い込み、他方のデータを破棄する方法である。この方法の場合、片系ネットワークにて回復不能な障害が発生しても、他系ネットワークだけでデータ伝送を継続することができるという利点がある。
【0006】
【特許文献1】特開2002−229965号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかし、特許文献1で開示された技術では、同一データを2つのネットワークに送信するため、ネットワークのトラフィックが2倍に増大するという問題がある。
【0008】
別の方法として、片系ネットワークを運用系、他系ネットワークを待機系とし、運用系ネットワークにて回復不能な障害が発生した場合、待機系ネットワークを運用系に切り替えてデータ伝送を継続する方法もある。この方法の場合、運用系ネットワークにて回復不能障害が発生したタイミングから経路切り替えが行われるまでの間に、データ発行元装置から現運用系ネットワークに送信されたデータは消失してしまう。
【0009】
そこで、このデータ伝送の制御を司っているドライバ等のソフトウェアが、正常にデータ伝送できたことが確認できている処理ポイントまでロールバックし、そこからデータ伝送をやり直すことが行われている。インターネット等のコンピュータ間データ伝送で使用されているTCP/IPはこの方法を採用している。しかし、コンピュータ内部でのデータ伝送方法にこの方法を用いた場合、ソフトウェアによるデータ伝送再試行(リトライ)が行えないものがあるため、エラーリカバリが行えずシステムダウンしてしまうという問題がある。
【0010】
例えば、コンピュータ内部におけるデータのコヒーレンシーを制御するためのデータ伝送等においてこの問題が生ずる。複数のCPU(Central Processor Unit)チップを備えるコンピュータシステムにおいて、各CPU内にキャッシュを持っているケースを考える。このケースでは、あるキャッシュ内のデータが更新された場合、データのコヒーレンシー(データの一貫性)を保つために、更新されたデータのコピーを持っている別のキャッシュ内データも更新する必要があり、このときキャッシュ間でデータ伝送を行う。
【0011】
この様なデータ伝送は、オペレーティングシステム等のソフトウェアが関与しないデータ伝送であるため、当然、ソフトウェアによるデータ伝送再試行は行えないという問題がある。
【0012】
本発明の目的は、上述した従来の課題である、インタコネクトネットワークのトラフィックを増大させることなく、インタコネクトネットワークにおける回復不能な障害の発生時のシステムダウンを解決する情報処理システムおよびエラー予防処理方法を提供することにある。
【課題を解決するための手段】
【0013】
本発明の情報処理システムのエラー予防処理方法は、複数の情報処理装置が複数のインタコネクトネットワークを介して接続された情報処理システムのエラー予防処理方法であり、 障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知するステップと、そのデータの発行元の情報処理装置に障害予兆通知を送信するステップと、障害予兆通知を受信した後に現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行うステップとを含むことを特徴とする。
【0014】
本発明の情報処理システムのエラー予防処理方法は、障害予兆通知を受け取った発行元情報処理装置が一時、データ宛先情報処理装置へのデータ送信を中止し、データ宛先情報処理装置へ向けて現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付するステップと、前記データ宛先情報処理装置において、先に現待機系インタコネクトネットワークから経路変更通知を受信した場合、現運用系インタコネクトネットワークから経路変更通知を受信するまで、現待機系インタコネクトネットワークからのデータ受信を待ち合わせるステップとをさらに含んでもよい。
【0015】
本発明のエラー予防処理方法は、発行元情報処理装置が現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付するステップのあと、現待機系インタコネクトネットワークを運用系インタコネクトネットワークとして用いるように切り替えてデータ送信の再開をするステップをさらに含んでもよい。
【0016】
本発明の情報処理システムのエラー予防処理方法は、データ宛先情報処理装置が現運用系インタコネクトネットワークから経路変更通知を受信した場合、現待機系インタコネクトネットワークを運用系インタコクトネットワークとして用いるように切り替えてそのデータ受信を再開するステップをさらに含んでもよい。
【0017】
本発明の情報処理システムのエラー予防処理方法は、前記データ宛先情報処理装置が現待機系インタコネクトネットワークから先に経路変更通知を受信しなかった場合、現待機系インタコネクトネットワークから経路変更通知を受信した後に、現待機系インタコネクトネットワークを運用系インタコクトネットワークとして用いるように切り替えるステップとをさらに含んでもよい。
【0018】
本発明の情報処理システムは、複数の情報処理装置が複数のインタコネクトネットワークを介して接続された情報処理システムであり、インタコネクトネットワークには、障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知する障害予兆現象検知部と、そのデータの発行元の情報処理装置に障害予兆通知を送信するインタフェース制御部とを備え、発行元の情報処理装置には、障害予兆通知を受信した後に現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行う経路切り換え制御部を備えることを特徴とする。
【0019】
本発明の情報処理システムは、複数の情報処理装置が複数のインタコネクトネットワークを介して接続された情報処理システムであり、インタコネクトネットワークには、障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知する障害予兆現象検知部と、そのデータの発行元の情報処理装置に障害予兆通知を送信するインタフェース制御部とを備え、
前記発行元の前記情報処理装置には、前記障害予兆通知を受信した後、一時的にデータ宛先情報処理装置へのデータ送信を中止し、前記データ宛先情報処理装置へ向けて現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付し、その後、現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行う経路切り換え制御部を備え、
データ宛先情報処理装置には、先に現待機系インタコネクトネットワークから経路変更通知を受信した場合、現運用系インタコネクトネットワークから経路変更通知を受信するまで、現待機系インタコネクトネットワークからのデータ受信を待ち合わせる経路切り換え制御部を備えてもよい。
【0020】
本発明情報処理システムは、発行元情報処理装置における経路切り換え制御部は、現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付したあと、現待機系インタコネクトネットワークを運用系インタコネクトネットワークとして用いるように切り替えてデータ送信の再開をしてもよい。
【0021】
本発明の情報処理システムは、データ宛先情報処理装置における経路切り換え制御部は、現運用系インタコネクトネットワークから経路変更通知を受信した場合、現待機系インタコネクトネットワークを運用系インタコクトネットワークとして用いるように切り替えてそのデータ受信を再開してもよい。
【0022】
本発明の情報処理システムは、データ宛先情報処理装置における経路切り換え制御部は、現待機系インタコネクトネットワークから先に経路変更通知を受信しなかった場合、現待機系インタコネクトネットワークから経路変更通知を受信した後に、現待機系インタコネクトネットワークを運用系インタコクトネットワークとして用いるように切り替えてもよい。
【0023】
本発明の情報処理装置は、障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知する複数のインタコネクトネットワークを介して情報処理装置が接続された情報処理システムを構成する情報処理装置であり、
障害予兆通知を受信した後に現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行う経路切り換え制御部を備えることを特徴とする。
【0024】
本発明の情報処理装置は、前記発行元の前記情報処理装置には、前記障害予兆通知を受信した後、一時的にデータ宛先情報処理装置へのデータ送信を中止し、前記データ宛先情報処理装置へ向けて現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付し、その後、現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行う経路切り換え制御部を備え、データ宛先の情報処理装置には、先に現待機系インタコネクトネットワークから経路変更通知を受信した場合、現運用系インタコネクトネットワークから経路変更通知を受信するまで、現待機系インタコネクトネットワークからのデータ受信を待ち合わせる経路切り換え制御部を備えてもよい。
【0025】
本発明のインタコネクトネットワークは、複数の情報処理装置が複数のインタコネクトネットワークを介して接続された情報処理システムを構成するインタコネクトネットワークであり、インタコネクトネットワークは、障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知する障害予兆現象検知部と、そのデータの発行元の情報処理装置に障害予兆通知を送信するインタフェース制御部とを備え、発行元の情報処理装置は、障害予兆通知を受信した後に現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行うことを特徴とする。
【0026】
本発明のインタコネクトネットワークは、複数の情報処理装置が複数のインタコネクトネットワークを介して接続された情報処理システムを構成するインタコネクトネットワークであり、インタコネクトネットワークは、障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知する障害予兆現象検知部と、そのデータの発行元の情報処理装置に障害予兆通知を送信するインタフェース制御部とを備え、前記発行元の前記情報処理装置には、前記障害予兆通知を受信した後、一時的にデータ宛先情報処理装置へのデータ送信を中止し、前記データ宛先情報処理装置へ向けて現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付し、その後、現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行う経路切り換え制御部を備え、データ宛先情報処理装置は、先に現待機系インタコネクトネットワークから経路変更通知を受信した場合、現運用系インタコネクトネットワークから経路変更通知を受信するまで、現待機系インタコネクトネットワークからのデータ受信を待ち合わせる経路切り換え制御部を備えることを特徴とする。
【発明の効果】
【0027】
本発明はインタコネクトネットワークのトラフィックを増大させることなく、インタコネクトネットワークにおける障害発生時のシステムダウン率を低減させることができるという効果を有する。その理由は 障害予兆現象を検知すると、現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行うからである。
【発明を実施するための最良の形態】
【0028】
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
【0029】
本発明による二重化インタコネクトネットワークコンピュータの実施形態を説明する前に、本発明の前提となる技術である、ネットワークにおける一般的なデータ伝送について図9を用いて説明する。処理装置間は、パケットと呼ばれる単位でデータ伝送される。パケットには、該パケットの宛先処理装置を識別するDstIDフィールド(Destination ID Field)、該パケットの発行元処理装置を識別するSrcIDフィールド(Source ID Field)、動作種別(リード動作、ライト動作等)を表すCmdフィールド(Command Field)、パケットの長さを表すLenフィールド(Length field)及び受け渡しするデータを格納するDataフィールド(Data Field)等から構成される。
【0030】
パケット発行元処理装置では、これら各フィールドを適切な値に設定してパケットを発行する。発行されたパケットは、データ伝送路においてDstIDフィールドが参照され、パケット宛先処理装置までルーティングされる。
【0031】
例えば、図1における処理装置100から処理装置105へパケットを発行する場合、処理装置100では、DstIDフィールドを処理装置105とし、SrcIDフィールドを自身である処理装置100としてパケットを発行する。すると、インタコネクトネットワーク102或いは103では、DstIDフィールドを参照してパケット宛先処理装置105まで該パケットをルーティングする。
【0032】
次に、本発明にかかる二重化インタコネクトネットワークコンピュータの一実施形態の構成について説明する。図1を参照すると、本発明の実施形態としての二重化インタコネクトネットワークコンピュータが示されている。
【0033】
処理装置100,101,104,105は、情報処理装置であり、より具体的には中央処理装置或いは入出力処理装置であり、パケット発行元或いはパケット宛先処理装置となる。本発明では、中央処理装置と入出力処理装置とを区別する必要が無いため、両者を単に処理装置と称す。これら全ての処理装置内には、2つのインタフェース制御部110,111或いは112、113と、1つの経路切り替え制御部120或いは121を有している。
【0034】
インタフェース制御部110、111或いは112、113は、インタコネクトネットワーク102,103とのインタフェース制御を司る。経路切り替え制御部120或いは121は、2つのインタフェース制御部110、111或いは112、113へのパケット送信制御とインタフェース制御部110、111或いは112、113からのパケット受信制御を司る。尚、本発明に関わる処理装置100,101,104,105内の構成及び動作は全て同じであるため、以降、処理装置内について説明する場合は、処理装置100のみ用いることとする。
【0035】
2つのインタコネクトネットワーク102,103は、互いに独立したネットワークであり、処理装置100,101,104,105と相互接続される。
【0036】
2つのインタコネクトネットワークのうち1つを運用系と他の1つを待機系に割り当て、障害予兆現象が生じない通常時には運用系インタコネクトネットワークのみを使用してデータ送受信を行う。運用系インタコネクトネットワーク内にて障害予兆現象を監視し、予兆現象を検知したならば、ソフトウェアでの処理を必要とせずハードウェアのみで、自律的且つ即座に待機系インタコネクトネットワークへ経路変更できることを可能にするものである。
【0037】
尚、2つのインタコネクトネットワークのうち1つを運用系と他の1つを待機系に割り当てて構成するコンピュータを二重化インタコネクトネットワークコンピュータと称する。
【0038】
尚、インタコネクトネットワーク102,103は構成及び動作が同じであるため、以降、インタコネクトネットワーク内について説明する場合は、インタコネクトネットワーク102のみ用いることとする。
【0039】
図2を参照すると、本発明の一実施形態としてのインタコネクトネットワーク102が示されている。インタコネクトネットワーク102は1つのスイッチ装置200から構成され、4つの外部インタフェース150,152,160,162を有する。これら4つの外部インタフェースは、処理装置100,101,104,105と接続される。
【0040】
インタコネクトネットワーク102に接続させる処理装置数が多くなれば、図6、図7、図8に記載されている様に、上記スイッチ装置200を複数接続させてインタコネクトネットワーク102を構成する。尚、図6、図7、図8に記載したインタコネクトネットワーク構成も一実施例であり、これ以外の構成を採った場合でも、本発明は適用できる。
【0041】
図3を参照すると、本発明の一実施例としてのスイッチ装置200が示されている。インタフェース制御部310,311,312,313は、スイッチ装置外とのインタフェース制御を司り、図1記載の処理装置100内に在るインタフェース制御部110,111と同一構成及び同一動作するものである。よって、以降、インタフェース制御部内について説明する場合は、インタフェース制御部310を用いることとする。
【0042】
完全クロスバー300は、4つのインタフェース制御部310、311,312,313を完全クロスバー(完全網)で接続しているものである。即ち、単なる接続線の集合体である。完全クロスバーとは任意のひとつの端子が他の任意の端子と1対1で接続できるものをいう。
【0043】
図4を参照すると、本発明の重要な構成要素であるインタフェース制御部310の一実施形態が示されている。障害制御部400は、インタフェース制御部310自身の障害予兆、及びインタフェース150、350の障害予兆を監視する機能を有する。
【0044】
障害予兆とは訂正可能なエラーのみが出ている状態をいい、まだ回復不能な障害までには至っていないが、回復不能な障害に至る前段階の状態をいう。障害予兆検知の方法については、一例を挙げると、ECC(Error Correction Code)によりエラー検出およびエラー訂正を行った場合に検知したと判断することが考えられるが、これに限られるわけではない。エラー訂正の具体的な構成動作は当業者の周知技術であるのでその詳細な説明は省略する。
【0045】
障害予兆監視機能は、インタフェース350からインタフェース150方向の経路において障害予兆現象を検知した場合、検知以降インタフェース350から受信したパケットをインタフェース150に送信すると共に、該パケット情報から障害予兆通知を生成し、選択回路B411を経由させインタフェース350に送信する。同様に、インタフェース150からインタフェース350方向の経路において障害予兆現象を検知した場合、検知以降インタフェース150から受信したパケットをインタフェース350に送信すると共に、該パケット情報から障害予兆通知を生成し、選択回路A410を経由させインタフェース150に送信する。
【0046】
尚、予兆現象を検知した段階では、該予兆現象発生箇所はまだ動作継続可能である。
【0047】
また、障害予兆現象検知以降、インタフェース350から経路変更通知を受信した場合、インタフェース150に送信すると共に、該経路変更通知から経路変更通知リプライを生成し、選択回路B411を経由させインタフェース350に送信する。同様に、インタフェース150から経路変更通知を受信した場合、インタフェース350に送信すると共に、該経路変更通知から経路変更通知リプライを生成し、選択回路A410を経由させインタフェース150に送信する。
【0048】
障害予兆監視機能におけるデータ伝送パケットから障害予兆通知を生成する方法を、図10に示す。データ伝送パケット内のDstIDフィールド値を障害予兆通知内のSrcIDフィールドに埋め込み、データ伝送パケット内のSrcIDフィールド値を障害予兆通知内のDstIDフィールドに埋め込み、障害予兆通知内のCmdフィールドに障害予兆通知であることを示す値を埋め込み、障害予兆通知内のLenフィールドは適切な値を埋め込む。
【0049】
これにより、障害予兆通知を、データ伝送パケットを発行した処理装置に送ることができる。尚、経路変更通知から経路変更通知リプライを生成する場合も、上記同様の方法で生成する。
【0050】
図5を参照すると、本発明の重要な構成要素である経路切り替え制御部120の一実施例が示されている。
【0051】
送信制御部500は、処理装置100内部からのパケットを、処理装置100の外部インタフェースである180或いは181へのパケット発行を制御する。パケットの発行は、宛先処理装置毎にいづれか一方のインタフェースに送信する。例えば、図1における処理装置100から処理装置104にパケットを発行する場合はインタフェース180に送信し、処理装置105にパケットを発行する場合はインタフェース181に送出(送信)するという様に制御する。パケットを発行するインタフェースが、該宛先処理装置に対する運用系インタフェースとなる。
【0052】
このパケット送信切り替えは、障害予兆フラグ、送信経路識別フラグと呼ばれる2つのフラグで制御する。これら2つのフラグは、パケット宛先処理装置毎に在る。送信経路識別フラグは、パケット宛先処理装置に対する運用系のインタコネクトネットワークを示す。
【0053】
障害予兆フラグは、同一宛先処理装置からの2つ目以降の障害予兆通知を破棄するために使用されるフラグであり、本フラグが値0であるときに対応する宛先処理装置を示した障害予兆通知を受信した場合、該障害予兆通知を有効と判断すると共に本フラグを値1にセットする。本フラグが値1であるときに対応する宛先処理装置を示した障害予兆通知を受信した場合、該障害予兆通知を無効と判断し破棄する。同一経路で2つ目以降の障害予兆通知を受信しても、パケット発行元装置は、何のアクションも起こさないようにするためである。
【0054】
また、経路変更通知に対するリプライである経路変更通知リプライを受信した場合、宛先処理装置に対応した本フラグを値0にリセットする。
【0055】
受信制御部501は、処理装置100の外部インタフェースである180或いは181からのパケット受信を制御する。受信制御では、2つのインタフェース180、181に対し、発行元処理装置毎に運用系インタフェースを切り替えることができる。例えば、図1における処理装置100において、発行元処理装置が処理装置104である場合は、インタフェース180を運用系とし、発行元処理装置が処理装置105である場合は、インタフェース181を運用系とすることができる。
【0056】
どちらのインタフェースを運用系とするかは、対応する発行元処理装置内送信制御部500と整合が取れていなければならない。このパケット受信経路切り替えは、パケット発行元処理装置におけるパケット発行順序と、パケット受信側処理装置におけるパケット受信順序とを保証(一致)しつつ受信経路を切り替える必要がある。そのため、経路変更フラグ、受信経路識別フラグと呼ばれる2つのフラグを持ち、下記の通り動作する。
【0057】
1.経路変更フラグが値0であり、且つ受信経路識別フラグが経路変更通知を受信したインタフェースを示している場合、経路変更フラグを値1にセットする。
【0058】
2.経路変更フラグが値0であり、且つ受信経路識別フラグが経路変更通知を受信したインタフェースを示していない場合、経路変更フラグを値1にセットすると共に、経路変更通知を受信したインタフェースにおいて、経路変更通知内SrcIDフィールドで示される処理装置発行のパケット受信を一時停止する。
【0059】
3.経路変更フラグが値1であり、且つ受信経路識別フラグが経路変更通知を受信したインタフェースを示している場合、経路変更フラグを値0にリセットすると共に、受信経路識別フラグを別インタフェースを示す様に更新する。さらに、別インタフェースで一時停止させている対応処理装置発行のパケット受信を再開する。
【0060】
4.経路変更フラグが値1であり、且つ受信経路識別フラグが経路変更通知を受信したインタフェースを示していない場合、経路変更フラグを値0にリセットすると共に、受信経路識別フラグを別インタフェースを示す様に更新する。
【0061】
次に、本発明の一実施形態における動作について、図1、図4、図5、図11及び図12を用いて説明する。
【0062】
まず、本発明にかかる動作を説明するに当たり、それ以前の動作状態(初期状態)について述べる。図1における二重化インタコネクトネットワークコンピュータでは、処理装置100から処理装置105に発行するパケットは、インタコネクトネットワーク102を運用系とし、処理装置101から処理装置105に発行するパケットは、インタコネクトネットワーク103を運用系として稼動していると仮定する。
【0063】
よって、処理装置100内の経路切り替え制御部120内の送信制御部500に在る処理装置105に対応した送信経路識別フラグは、インタコネクトネットワーク102を運用系であると示している。また、処理装置105内の経路切り替え制御部121内の受信制御部501に在る処理装置100に対応した受信経路識別フラグも、インタコネクトネットワーク102を運用系であると示している。また、この状態で、インタコネクトネットワーク102内において、処理装置100から処理装置105へのパケットが経由する箇所で、障害予兆現象を検知したものと仮定する。
【0064】
次に、上記動作状態における本発明の動作について、図11と図12をもとに下記4つの動作に分けて説明する。
1.障害予兆現象を検知したインタコネクトネットワーク102内の動作
2.障害予兆通知を受信した処理装置100内の動作
3.経路変更通知を受信したインタコネクトネットワーク102内の障害予兆現象検知箇所の動作
4.経路変更通知リプライを受信した処理装置100内の動作
5.経路変更通知を受信した処理装置105内の動作
第一に、障害予兆現象を検知したインタコネクトネットワーク102内の動作について、図4と図11を用いて説明する。インタコネクトネットワーク102内において、処理装置100から処理装置105へのパケットが経由する図4記載のインタフェース制御部310は、障害制御部400内の障害予兆監視機能により、インタフェース150からインタフェース350方向の障害予兆現象を検知する(ステップ1111)。
【0065】
検知以降インタフェース150から受信したパケットをインタフェース350に送信する(ステップ1112)。そしてインタフェース162を経由して処理装置5に送られ、処理装置105がパケットを受信する(ステップ1121)。
【0066】
これらと共に、インタフェース制御部310は該パケット情報から障害予兆通知を生成し、選択回路A410を経由させインタフェース150に送信する(ステップ1113)。インタフェース150に送信された障害予兆通知は、インタコネクトネットワーク102内をルーティングされ、処理装置100に伝送される。
【0067】
第二に、障害予兆通知を受信した処理装置100内の動作について、図1と図5と図11を用いて説明する。図1記載のインタフェース150から送られてくる障害予兆通知は、処理装置100内のインタフェース制御部110を経由して経路切り替え制御部120に送られる。図5記載の経路切り替え制御部120では、インタフェース180から障害予兆通知を受信すると、受信制御部501を経由して送信制御部500に送られる。
【0068】
送信制御部500では、受信経路部501から受信したパケット内のCmdフィールドを参照し、受信パケットが障害予兆通知であることを知る(ステップ1101)。また、SrcIDフィールドを参照し、処理装置105行きの経路にて障害予兆現象が検知されたことを知り、下記動作を行う。
【0069】
1.処理装置105に対応した障害予兆フラグを値1にセットする。これにより、SrcIDフィールドが処理装置105を示している後続の障害予兆通知を破棄する(ステップ1102)。
【0070】
2.処理装置105宛のパケット発行を一時停止し、インタフェース180と181の両方に経路変更通知を発行する(ステップ1103)。この経路変更通知は、DstIDフィールドを処理装置105、SrcIDフィールドを処理装置100とする。
【0071】
3.経路変更通知を発行後、処理装置105に対応した送信経路識別フラグを、インタコネクトネットワーク103が運用系となる様に書き換え、一時停止していた処理装置105宛のパケット発行を再開する(ステップ1104)。
【0072】
第三に、経路変更通知を受信したインタコネクトネットワーク102内の障害予兆現象検知箇所の動作について、図4、図11を用いて説明する。まず障害予兆現象を検知したインタフェース制御部310では、インタフェース150から経路変更通知を受信すると、該経路変更通知をインタフェース350に送信する(ステップ1114)。
【0073】
これと共に、該経路変更通知から経路変更通知リプライを生成し、選択回路A410を経由させインタフェース150に送信する(ステップ1115)。インタフェース150に送信された経路変更通知リプライは、インタコネクトネットワーク102内をルーティングされ、処理装置100に伝送される。
【0074】
第四に、経路変更通知リプライを受信した処理装置100内の動作について、図1と図5と図11を用いて説明する。まず図1において、インタフェース150から送られてくる経路変更通知リプライは、処理装置100内のインタフェース制御部110を経由して経路切り替え制御部120に送られる。
【0075】
図5記載の経路切り替え制御部120では、インタフェース180から経路変更通知リプライを受信すると、受信制御部501を経由して送信制御部500に送られる。送信制御部500では、受信経路部501から受信したパケット内のCmdフィールドを参照し、受信パケットが経路変更通知リプライであることを知る(ステップ1105)。
【0076】
また、SrcIDフィールドを参照し、処理装置105行きの経路変更通知リプライであることを知り、処理装置105に対応した障害予兆フラグを値0にリセットし、以降処理装置105に対する障害予兆通知を有効として扱える様にする(ステップ1106)。尚、経路変更通知リプライを受信した後は、障害予兆現象が検知されたインタコネクトネットワーク102から処理装置105に対する障害予兆通知を受信することはない。
【0077】
第五に、経路変更通知を受信した処理装置105内の動作について、図1、図5、図11、図12を用いて説明する。まず図1において、処理装置105は、処理装置100発行のパケットをインタフェース162から受信している状態になっている。
【0078】
その状態で、インタフェース162と163から処理装置100が発行した経路変更通知を受信することになる。インタフェース162或いは163から受信した経路変更通知は、インタフェース制御部112或いは113を経由して経路切り替え制御部121に送られる。
【0079】
次に、経路切り替え制御部121の動作について、図5、図11、図12を用いて説明する。尚、図5では、経路切り替え制御部120と記載されているが、ここでは経路切り替え制御部121と読み替えるものとする。経路切り替え制御部121では、インタフェース180と181から処理装置100が発行した経路変更通知を受信制御部501で受信することになる(ステップ1122)。
【0080】
処理装置100の経路切り換え制御部120のインタフェース180を経由した経路変更通知はインタコネクトネットワーク102、インタフェース162、インタフェース制御部112、経路切り換え制御部120のインタフェース180を経ることにより処理装置105へ送られる。同様に処理装置100の経路切り換え制御部120のインタフェース181を経由した経路変更通知はインタコネクトネットワーク103、インタフェース163、インタフェース制御部113、経路切り換え制御部121のインタフェース181を経ることにより処理装置105へ送られることになる。
【0081】
受信制御部501では、インタフェース180或いは181から受信したパケット内のCmdフィールドを参照し、受信パケットが経路変更通知であることを知る。また、SrcIDフィールドを参照し、処理装置100との間の経路変更通知であることを知る(ステップ1122)。
【0082】
その後、インタフェース180と181からの経路変更通知をどちらが先に受信したかを判断し、その先後(タイミング)により、下記2つのうちのいづれかの動作を行う(ステップ1202)。
【0083】
まず、インタフェース180から先に経路変更通知を受信制御部501が受信した場合(ステップ1202YES)の動作を説明する。インタフェース180から経路変更通知を受信する前、経路変更フラグは値0であり、受信経路識別フラグはインタフェース180を示している。即ち、インタフェース180が運用系となっている。
【0084】
この状態で受信制御部501がインタフェース180から先に経路変更通知を受信すると、経路変更フラグが値0であり且つ受信経路識別フラグが自インタフェースである180を示しているため、経路変更フラグを値1にセットする(ステップ1203)。
【0085】
その後、インタフェース181から経路変更通知を受信する(ステップ1204)と、経路変更フラグが値1であり且つ受信経路識別フラグが別インタフェースである180を示している。このため、経路変更フラグを値0にリセットすると共に、受信経路識別フラグをインタフェース181を示す様に更新する。即ちインタフェース181を運用系とする(ステップ1205)。
【0086】
これにより、受信経路変更通知の後に処理装置100から発行された処理装置105宛のパケットを、インタフェース181から受信することができる(ステップ1206)。
【0087】
次に、インタフェース181から先に経路変更通知を受信した場合(ステップ1202NO)の動作を説明する。インタフェース181から経路変更通知を受信する前、経路変更フラグは値0であり、受信経路識別フラグはインタフェース180を示している。即ち、インタフェース180が運用系となっている。
【0088】
この状態でインタフェース181から先に経路変更通知を受信すると、経路変更フラグが値0であり且つ受信経路識別フラグが別インタフェースである180を示している。このため、経路変更フラグを値1にセットする(ステップ1207)と共に、インタフェース181において、処理装置100発行のパケット受信を一時停止させる(ステップ1208)。
【0089】
ここで、パケット受信の一時停止に当たっては、そのパケットを一時保持しておく必要があり、具体的には、例えば、インタフェース制御部113内にある図示しないバッファ内にパケットを一時保持しておくことができる。
【0090】
その後、インタフェース180から経路変更通知を受信するまでの間に、インタフェース180を経由して受信制御部501に到達するパケットがあればそのパケットの受信を行う。インタフェース180から経路変更通知を受信した後、バッファ内に一時保持しておいたパケットを順次受信する。すなわち、インタフェース180がインタフェース181よりも遅れが生じた場合、遅れた経路変更通知が到着するまで進んでいるパケットの一時待ち合わせを行うことにより、両インタフェースの同期をとり時間軸の修正を行っている。
【0091】
またパケット受信経路を切り替えることにより、パケット発行元処理装置におけるパケット発行順序と、パケット受信側処理装置におけるパケット受信順序との一致を保証しつつ受信経路を切り替えることができる。
【0092】
これにより、インタフェース181から経路変更通知を受信した後、インタフェース180から経路変更通知を受けるまでに受信すべきパケットが受信できず捨てられることを防止できる。
【0093】
その後、インタフェース180から経路変更通知を受信する(ステップ1209)と、経路変更フラグが値1であり且つ受信経路識別フラグが自インタフェースである180を示している。このため、経路変更フラグを値0にリセットすると共に、受信経路識別フラグをインタフェース181を示す様に更新する。即ちインタフェース181を運用系とする(ステップ1210)。
【0094】
さらに、インタフェース181において、一時停止させている処理装置100発行のパケット受信を再開させる(ステップ1211)。これにより、処理装置100からインタコネクトネットワーク102に発行された処理装置105宛のパケットを先に処理し、その後、処理装置100からインタコネクトネットワーク103に発行された処理装置105宛のパケットを処理することができる。
【0095】
従って受信経路変更通知発行タイミング前に処理装置100から処理装置102に発行された処理装置105宛のパケットAが到着しないうちに、処理装置100からインタコネクトネットワーク103に発行された処理装置105宛のパケットBが到着することになる結果、処理装置100からインタコネクトネットワーク103に発行された処理装置102に発行された処理装置105宛のパケットが到着できずに捨てられるという事態を防ぐことができる。すなわちデータ消失を防ぐことができるという効果がある。
【0096】
次にインタフェース180とインタフェース180とから同時に経路変更通知を受信制御部501が受信した場合の動作を説明する。
【0097】
インタフェース180或いは181から経路変更通知を受信する前、経路変更フラグは値0であり、受信経路識別フラグはインタフェース180を示している。即ち、インタフェース180が運用系となっている。
【0098】
この状態でインタフェース180から経路変更通知を受信すると、経路変更フラグが値0であり且つ受信経路識別フラグが自インタフェースである180を示しているため、経路変更フラグを値1にセットする。
【0099】
また同時に(同タイミングにて)インターフェース181からも経路変更通知を受信するので、経路変更フラグが値1であり且つ受信経路識別フラグが別インタフェースである180を示している。このため経路変更フラグを値0にリセットすると共に、受信経路識別フラグをインタフェース181を示す様に更新する。
【0100】
即ちインタフェース181を運用系とする。これにより、受信経路変更通知の後に処理装置100から発行された処理装置105宛のパケットを、インタフェース181から受信することができる。
【0101】
以上説明した動作により、インタコネクトネットワークにおいて障害予兆現象を検知した場合、ソフトウェアでの処理を必要とせず、ハードウェアのみで自律的且つ即座に経路変更を行うことができる。このため、この動作はエラー予防処理として位置づけることができインタコネクトネットワーク障害に起因するシステムダウンを低減させることができる。
【産業上の利用可能性】
【0102】
情報処理機器において利用できる。
【図面の簡単な説明】
【0103】
【図1】本発明の二重化インタコネクトネットワークシステムの構成図。
【図2】本発明のインタコネクトネットワークの構成図。
【図3】本発明のスイッチ装置の構成図。
【図4】本発明のインタフェース制御部の構成図。
【図5】本発明の経路切り替え制御部の構成図。
【図6】本発明の他のインタコネクトネットワークの構成図。
【図7】本発明の他のインタコネクトネットワークの構成図。
【図8】本発明の他のインタコネクトネットワークの構成図。
【図9】ネットワークで伝送されるパケットの構成図。
【図10】障害予兆監視機能におけるデータ伝送パケットから障害予兆通知を生成する方法をしめる図。
【図11】本発明の実施例の動作を示すフローチャート。
【図12】本発明の実施例の動作のうち経路変更通知を受信した処理装置の動作を示すフローチャート。
【符号の説明】
【0104】
100 処理装置
105 処理装置
102 インタコネクトネットワーク
103 インタコネクトネットワーク
110 インタフェース制御部
111 インタフェース制御部
112 インタフェース制御部
113 インタフェース制御部
120 経路切り換え制御部
121 経路切り換え制御部
200 スイッチ装置
300 完全クロスバー
310 インタフェース制御部
311 インタフェース制御部
400 障害制御部
410 選択回路A
411 選択回路B
500 送信制御部
501 受信制御部

【特許請求の範囲】
【請求項1】
複数の情報処理装置が複数のインタコネクトネットワークを介して接続された情報処理システムのエラー予防処理方法であり、
障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知するステップと、
そのデータの発行元の前記情報処理装置に障害予兆通知を送信するステップと、
前記障害予兆通知を受信した後に現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行うステップとを含むことを特徴とする情報処理システムのエラー予防処理方法。
【請求項2】
請求項1記載のエラー予防処理方法であり、
前記障害予兆通知を受け取った発行元情報処理装置が一時、データ宛先情報処理装置へのデータ送信を中止し、前記データ宛先情報処理装置へ向けて現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付するステップと、
前記データ宛先情報処理装置において、先に現待機系インタコネクトネットワークから経路変更通知を受信した場合、現運用系インタコネクトネットワークから経路変更通知を受信するまで、現待機系インタコネクトネットワークからのデータ受信を待ち合わせるステップとをさらに含むことを特徴とする情報処理システムのエラー予防処理方法。
【請求項3】
請求項2記載のエラー予防処理方法であり、
発行元情報処理装置が現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付するステップのあと、
現待機系インタコネクトネットワークを運用系インタコネクトネットワークとして用いるように切り替えてデータ送信の再開をするステップをさらに含むことを特徴とする請求項7記載の情報処理システムのエラー予防処理方法。
【請求項4】
請求項2または3記載のエラー予防処理方法であり、
前記データ宛先情報処理装置が現運用系インタコネクトネットワークから経路変更通知を受信した場合、現待機系インタコネクトネットワークを運用系インタコクトネットワークとして用いるように切り替えてそのデータ受信を再開するステップをさらに含むことを特徴とする情報処理システムのエラー予防処理方法。
【請求項5】
請求項2または3記載のエラー予防処理方法であり、
前記データ宛先情報処理装置が現待機系インタコネクトネットワークから先に経路変更通知を受信しなかった場合、現待機系インタコネクトネットワークから経路変更通知を受信した後に、現待機系インタコネクトネットワークを運用系インタコクトネットワークとして用いるように切り替えるステップとをさらに含むことを特徴とする情報処理システムのエラー予防処理方法。
【請求項6】
複数の情報処理装置が複数のインタコネクトネットワークを介して接続された情報処理システムであり、
前記インタコネクトネットワークには、障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知する障害予兆現象検知部と、
そのデータの発行元の前記情報処理装置に障害予兆通知を送信するインタフェース制御部とを備え、
前記発行元の前記情報処理装置には、前記障害予兆通知を受信した後に現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行う経路切り換え制御部を備えることを特徴とする情報処理システム。
【請求項7】
複数の情報処理装置が複数のインタコネクトネットワークを介して接続された情報処理システムであり、
前記インタコネクトネットワークには、障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知する障害予兆現象検知部と、
そのデータの発行元の前記情報処理装置に障害予兆通知を送信するインタフェース制御部とを備え、
前記発行元の前記情報処理装置には、前記障害予兆通知を受信した後、一時的にデータ宛先情報処理装置へのデータ送信を中止し、前記データ宛先情報処理装置へ向けて現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付し、その後、現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行う経路切り換え制御部を備え、
前記データ宛先情報処理装置には、先に現待機系インタコネクトネットワークから経路変更通知を受信した場合、現運用系インタコネクトネットワークから経路変更通知を受信するまで、現待機系インタコネクトネットワークからのデータ受信を待ち合わせる経路切り換え制御部を備えることを特徴とする情報処理システム。
【請求項8】
請求項7記載の情報処理システムであり、
発行元情報処理装置における経路切り換え制御部は、現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付したあと、現待機系インタコネクトネットワークを運用系インタコネクトネットワークとして用いるように切り替えてデータ送信の再開をすることを特徴とする情報処理システム。
【請求項9】
請求項7または8記載の情報処理システムであり、
前記データ宛先情報処理装置における経路切り換え制御部は、現運用系インタコネクトネットワークから経路変更通知を受信した場合、現待機系インタコネクトネットワークを運用系インタコクトネットワークとして用いるように切り替えてそのデータ受信を再開することを特徴とする情報処理システム。
【請求項10】
請求項7または8記載の情報処理システムであり、
前記データ宛先情報処理装置における経路切り換え制御部は、現待機系インタコネクトネットワークから先に経路変更通知を受信しなかった場合、現待機系インタコネクトネットワークから経路変更通知を受信した後に、現待機系インタコネクトネットワークを運用系インタコクトネットワークとして用いるように切り替えることを特徴とする情報処理システム。
【請求項11】
障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知する複数のインタコネクトネットワークを介して情報処理装置が接続された情報処理システムを構成する情報処理装置であり、
前記障害予兆通知を受信した後に現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行う経路切り換え制御部を備えることを特徴とする情報処理装置。
【請求項12】
請求項11記載の情報処理装置であり、
前記発行元の前記情報処理装置には、前記障害予兆通知を受信した後、一時的にデータ宛先情報処理装置へのデータ送信を中止し、前記データ宛先情報処理装置へ向けて現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付し、その後、現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行う経路切り換え制御部を備え、
前記データ宛先の前記情報処理装置には、先に現待機系インタコネクトネットワークから経路変更通知を受信した場合、現運用系インタコネクトネットワークから経路変更通知を受信するまで、現待機系インタコネクトネットワークからのデータ受信を待ち合わせる経路切り換え制御部を備えることを特徴とする情報処理装置。
【請求項13】
複数の情報処理装置が複数のインタコネクトネットワークを介して接続された情報処理システムを構成するインタコネクトネットワークであり、
前記インタコネクトネットワークは、障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知する障害予兆現象検知部と、
そのデータの発行元の前記情報処理装置に障害予兆通知を送信するインタフェース制御部とを備え、
前記発行元の前記情報処理装置は、前記障害予兆通知を受信した後に現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行うことを特徴とするインタコネクトネットワーク。
【請求項14】
複数の情報処理装置が複数のインタコネクトネットワークを介して接続された情報処理システムを構成するインタコネクトネットワークであり、
前記インタコネクトネットワークは、障害予兆現象を監視し、インタコネクトネットワークの経路で送信されたデータの障害予兆現象を検知する障害予兆現象検知部と、
そのデータの発行元の前記情報処理装置に障害予兆通知を送信するインタフェース制御部とを備え、
前記発行元の前記情報処理装置には、前記障害予兆通知を受信した後、一時的にデータ宛先情報処理装置へのデータ送信を中止し、前記データ宛先情報処理装置へ向けて現運用系インタコネクトネットワークと現待機系インタコネクトネットワークとを使用してそれぞれに同時に経路変更通知を送付し、その後、現運用系インタコネクトネットワークの経路を他のインタコネクトネットワークの経路に切り替えて以降のデータ送信を行う経路切り換え制御部を備え、
前記データ宛先情報処理装置は、先に現待機系インタコネクトネットワークから経路変更通知を受信した場合、現運用系インタコネクトネットワークから経路変更通知を受信するまで、現待機系インタコネクトネットワークからのデータ受信を待ち合わせる経路切り換え制御部を備えることを特徴とするインタコネクトネットワーク。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate