クラスタシステム及びコマンド競合制御方法
【課題】クラスタシステムの低価格化を可能とするクラスタシステムにおけるコマンド競合制御方法を提供する。
【解決手段】コマンド競合制御方法は、複数のサーバからなるクラスタシステムにおいて、各サーバが投入されたコマンドを実行するコマンド処理部と各サーバの要求及び通知をサーバ間で送受信する通信部とを有する、クラスタシステムにおけるコマンド競合制御方法であって、各サーバは、投入されたコマンドが競合する状態にあるか否かを判別して、又は、通信部を介して当該判別を他のサーバに要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力するコマンド競合制御部を備え、競合エラーの有無の信号に応じてコマンド競合制御部にて投入されたコマンドの終了又は実行をなすコマンド競合を制御する。
【解決手段】コマンド競合制御方法は、複数のサーバからなるクラスタシステムにおいて、各サーバが投入されたコマンドを実行するコマンド処理部と各サーバの要求及び通知をサーバ間で送受信する通信部とを有する、クラスタシステムにおけるコマンド競合制御方法であって、各サーバは、投入されたコマンドが競合する状態にあるか否かを判別して、又は、通信部を介して当該判別を他のサーバに要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力するコマンド競合制御部を備え、競合エラーの有無の信号に応じてコマンド競合制御部にて投入されたコマンドの終了又は実行をなすコマンド競合を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高い可用性が要求されるクラスタシステム及びそのコマンド競合の制御方法に関する。
【背景技術】
【０００２】
クラスタシステムは、コンピュータを複数台使用して冗長化することにより、システムの停止時間を最小限に抑え、業務の可用性（availability）を向上させる例えばサーバ−クライアントシステムとして用いられている。
【０００３】
従来のクラスタシステムにおけるコマンド競合の制御は、コマンド競合制御機能を有した専用のシステム装置を用意して、このシステム装置にてコマンド競合制御を行った上で、ネットワーク構成装置にコマンドを転送するのが一般的であった（特許文献１、参照）。
【０００４】
かかる従来の技術におけるコマンド制御方法では、複数のネットワーク構成装置に接続された専用のネットワーク管理システムにおいて、ネットワーク構成装置毎のコマンド競合エラーのチェック手段とコマンドが実行中か否かを示すコマンド実行中表示手段とを設けることにより、複数ネットワーク構成装置に跨るコマンドの競合チェックを可能としている。
【特許文献１】特開平５−９５３５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術では、ネットワーク管理システムなどの専用のシステム装置を用意する必要があり、クラスタシステムの低価格化の阻害要因となる問題があった。
【０００６】
そこで、本発明は以上の従来の技術問題に鑑みて考案されたものであり、クラスタシステムの低価格化を可能とするクラスタシステムにおけるコマンド競合制御方法を提供することが解決しようとする課題の一つとして挙げられる。
【課題を解決するための手段】
【０００７】
本発明によるクラスタシステムにおけるコマンド競合制御方法は、複数のサーバからなるクラスタシステムにおいて、各サーバが投入されたコマンドを実行するコマンド処理部と各サーバの要求及び通知をサーバ間で送受信する通信部とを有する、クラスタシステムにおけるコマンド競合制御方法であって、各サーバは、投入されたコマンドが競合する状態にあるか否かを判別して、又は、通信部を介して当該判別を他のサーバに要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力するコマンド競合制御部を備え、競合エラーの有無の信号に応じてコマンド競合制御部にて投入されたコマンドの終了又は実行をなすコマンド競合を制御することを特徴とする。
【０００８】
本発明によるクラスタシステムは、複数のサーバからなり、かつ、各サーバが投入されたコマンドを実行するコマンド処理部と各サーバの要求及び通知をサーバ間で送受信する通信部とを有する、クラスタシステムであって、各サーバは、投入されたコマンドが競合する状態にあるか否かを判別して、又は、通信部を介して当該判別を他のサーバに要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力するコマンド競合制御部を備え、競合エラーの有無の信号に応じてコマンド競合制御部にて投入されたコマンドの終了又は実行をなすコマンド競合を制御することを特徴とする。
【０００９】
上記クラスタシステム及びコマンド競合制御方法において、複数のサーバの内の１つが、コマンド毎にコマンドに関連する競合エラーの有無の競合条件を規定する競合データと、サーバ毎のコマンド処理部において実行されている実行中コマンドとコマンド処理部が属する実行中の実行サーバとの対応関係を規定する実行中コマンドデータと、を備え、コマンド競合制御部が、競合データの競合条件と実行中コマンドデータとを参照して、投入されたコマンドが競合する状態にあるか否かを判別して競合エラーの有無の信号を出力する、又は、当該判別を要求を受信した場合に当該判別を実行し当該判別の結果を送信することとすることができる。
【００１０】
上記クラスタシステム及びコマンド競合制御方法において、コマンド競合制御部は、判別において競合エラーの出力に応じて、実行中コマンドデータの実行中コマンド及び実行サーバを、投入されたコマンド及びこれらから実行するサーバに設定、更新することとすることができる。
【００１１】
上記クラスタシステム及びコマンド競合制御方法において、コマンド競合制御部は、コマンド処理終了の後、又は、コマンド処理終了の通知の受信の後、実行中コマンドデータから投入されたコマンドを削除することとすることができる。
【００１２】
上記クラスタシステム及びコマンド競合制御方法において、各サーバは通信部を介して他のサーバの故障を検出できる他サーバ監視部を備え、他サーバ監視部がいずれかのサーバの故障を検出するとき、コマンド競合制御部は、実行中コマンドデータから故障したサーバ及びその投入コマンドを削除することとすることができる。
【発明を実施するための最良の形態】
【００１３】
本発明による実施形態を、図を用いて説明する。
【００１４】
図１は、本発明の一実施例を示すクラスタシステムのブロック図である。
【００１５】
クラスタシステムは、ほぼ同一構成の複数のコンピュータからなり、唯一の運用サーバ１をなすものと、それ以外の１以上の待機サーバ２とから構成される。運用サーバ１と待機サーバ２にはコマンドを投入するためのキーボード、ディスプレイ装置などを有するコンソール端末３が接続されている。
【００１６】
各サーバとなるコンピュータは、少なくとも、ＣＰＵ（中央処理装置）、その周辺回路、記憶装置、入出力装置、及び通信装置をハードウエア（図示せず）として含む。ここで、記憶装置は、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）などのいわゆるメモリと、補助記憶としてのハードディスク装置などによって構成される。そして、その記憶装置には、ＣＰＵが実行すべきプログラム、データなどのソフトウエア（オペレーティングシステム、アプリケーション、ドライバ、etc）が記憶され、そのプログラムを実行するに際し必要なデータがテーブルやファイルなどの形で記憶される。
【００１７】
運用サーバ１と待機サーバ２の各サーバは、コマンド受付部１１、コマンド競合制御部１２、コマンド投入部１３、コマンド処理部１４、他サーバ監視部１５、通信部１６を有する。
【００１８】
コマンド処理部１４は待機サーバ２及び運用サーバ１は投入されたコマンドを実行する。
【００１９】
通信部１６はネットワーク２０に接続され、ネットワーク２０を介して相互に情報通信を行う。ネットワーク２０は、限定されないが、例えば、ＩＰ（Internet Protocol）ネットワークである。それぞれの通信部１６で接続されている複数の待機サーバ２と、これらの待機サーバ２と連携する運用サーバ１とから構成されるクラスタシステムにおいて、通信部１６は、運用サーバ１及び待機サーバ２の要求及び通知をそれらの間で送受信する。
【００２０】
また、運用サーバ１には、そのコマンド競合制御部１２より必要に応じて参照あるいは設定、更新される実行中コマンドデータ３２及び競合データ３１がそれぞれファイルとして記憶装置に格納されている。特に、動的に変化する実行中コマンドデータ３２は一般的にメモリに格納される。
【００２１】
なお、待機サーバ２が運用サーバとなった場合には、新たな運用サーバ（待機サーバ２）が競合データ３１及び実行中コマンドデータ３２をそれぞれファイルとして記憶装置に格納することになる。特に、動的に変化する実行中コマンドデータ３２は新たな運用サーバのメモリに格納されることになる。
【００２２】
ここで、運用及び待機サーバや、その中の各「部」、及びその中の手段はＣＰＵ及び記憶装置などコンピュータにおいて実行されるソフトウエアによって各種ハードウエアとともに実現されるものである。
【００２３】
例えば、運用サーバ１と待機サーバ２は、各コンピュータ起動時、オペレーティングシステム、クラスタシステムアプリケーションが動作し、その後、表１に示すような起動モードテーブルの生成し、運用モード及び待機モードとして記憶装置に格納され、それらのモードに従ってそれぞれ動作する。
【００２４】
表１に示す起動モードテーブルは、コンピュータ番号、起動モードのデータなどを記憶する。ここで、コンピュータＮｏ．は、クラスタシステム内のコンピュータを識別する番号で、起動モードは、コンピュータ番号に対応付けられた運用モード及び待機モードを示すデータであり、そのコンピュータ番号を有するコンピュータのアプリケーションの動作状態を表す。なお、この起動モード処理は、電源投入などによりコンピュータが初期化や、再起動されたときに起動される。コンピュータ１及び２が運用サーバ１及び待機サーバ２となり、それぞれの記憶装置にそれらの識別データが格納されることになる。
【００２５】
【表１】
【００２６】
サーバが運用サーバ１の場合のコマンド競合制御部１２は、投入されたコマンドがシステムにおいて競合する状態にあるか否かを判別して競合エラーの有無の信号を出力し、その信号に応じてコマンド処理部１４における投入されたコマンドの終了又は実行をなすコマンド競合を制御する。一方、サーバが待機サーバ２の場合のコマンド競合制御部１２は、通信部１６を介して当該判別を他のサーバすなわち運用サーバ１に要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力し、その信号に応じてコマンド競合制御部１２が投入されたコマンドの終了又は実行をなすコマンド競合を制御する。
【００２７】
運用サーバ１の記憶装置に格納されている競合データ３１は、コマンド競合制御部１２へ投入された各種のコマンド（以下、単に投入コマンドいう）と実行中の各種のコマンドとの競合条件を規定する予め設定されているデータである。競合データ３１はコマンド種別毎に当該コマンドに関連する競合条件すなわち、コマンド１〜ｎの投入及び実行中の競合条件を規定し、たとえば、下記の表２の対応テーブルである。この競合データテーブルの競合条件中、○は「”実行中コマンド”がクラスタシステム内のいずれかのサーバで実行中であっても、”投入コマンド”は競合エラーとならない」条件を示し、△は「”投入コマンド”が投入されたサーバ（以下、単に投入サーバいう）内で”実行中コマンド”が実行中の場合は”投入コマンド”は競合エラーとなるが、他サーバで”実行中コマンド”が実行中の場合は”投入コマンド”は競合エラーとならない」条件を示し、×は「”実行中コマンド”がクラスタシステム内のいずれかのサーバで実行中は”投入コマンド”は競合エラーとなる」条件を示す。
【００２８】
【表２】
【００２９】
運用サーバ１の記憶装置に格納されている実行中コマンドデータ３２は、コマンド処理部１４で実行されている各種のコマンド（実行中コマンド）と、かかるコマンド処理部１４が属する実行中のサーバ（実行サーバ）と、の対応関係（状態）を規定するデータである。たとえば、実行中コマンドデータ３２は、運用サーバ１と待機サーバ２では、下記の表３のテーブルの場合がある。このテーブル中、ｓｅｌｆは自サーバ（運用サーバ１）で或るコマンド１の実行中を示し、ｍａｔｅは自サーバ以外の他サーバ（待機サーバ２）で或るコマンド２が実行中であることを示す。ここで、実行中コマンドデータ３２はコマンド種別毎の投入されたコマンドが実行されている運用サーバ１又は待機サーバ２のいずれかを示しているが、コマンド種別に応じて、実行サーバが運用サーバ１（ｓｅｌｆ）のみ又は待機サーバ２（ｍａｔｅ）のみの場合もあり得る。
【００３０】
【表３】
【００３１】
実行中コマンドデータ３２は、運用サーバ１に対する待機サーバ毎でコマンド種別毎に作成され、投入コマンド及び投入サーバに応じて更新されるので、待機サーバの個数に対応する数のテーブルとして運用サーバ１の記憶装置に格納されている。
【００３２】
＜運用サーバのコマンド競合制御方法＞
運用サーバ１に或るコマンドを投入した場合の運用サーバのコマンド競合制御方法を、を、図２に示す動作フローに従って説明する。
【００３３】
まず、コンソール端末３からの投入コマンドをコマンド受付部１１で受け付ける（ステップＳ１）。
【００３４】
次に、運用サーバ１のコマンド競合制御部１２は、投入コマンドについて、競合データ３１及び実行中コマンドデータ３２を利用して競合エラーの有無（有又は無）を判定する（ステップＳ２）。ここで、上記の競合データ３１及び実行中コマンドデータ３２から導かれる運用サーバ１における競合エラー有無の判定論理を表４に示す。
【００３５】
【表４】
【００３６】
このように、コマンド競合制御部１２が競合データ３１と実行中コマンドデータ３２とから導かれる競合エラーの有無を判定した後、かかるコマンド競合制御部１２の判定で競合エラーとなる場合は、コンソール端末３に競合エラーを応答して終了する（ステップＳ３）。
【００３７】
一方、競合エラー無の場合は、コマンド競合制御部１２がすべての実行中コマンドデータ３２に投入コマンドをｓｅｌｆとして設定、更新する（ステップＳ４）。すなわち、コマンド競合制御部１２が競合データ３１と実行中コマンドデータ３２とから導かれる競合エラーの有無に応じて実行中コマンドデータ３２にコマンド状態を更新する。
【００３８】
次に、コマンド投入部１３を介してコマンド処理部１４が投入コマンドのコマンド処理を行う（ステップＳ５）。
【００３９】
最後に、コマンド処理終了後、実行中コマンドデータ３２から投入コマンドを削除して終了する（ステップＳ６）。
【００４０】
＜待機サーバのコマンド競合制御方法＞
次に、待機サーバ２にコマンドを投入した場合のクラスタシステム（待機サーバ２及び運用サーバ１）のコマンド競合制御方法を、図３及び図４に示す動作フローに従って説明する。
【００４１】
まず、図３に示すように、待機サーバ２において、コンソール端末３からの投入コマンドをコマンド受付部１１で受け付ける（ステップＳ１１）。
【００４２】
次に、待機サーバ２のコマンド競合制御部１２が投入コマンドの実行可否の判定（競合エラー有無）を運用サーバ１へ通信部１６を介して要求送信する（ステップＳ１２）。
【００４３】
そして、待機サーバ２のコマンド競合制御部１２が運用サーバ１から送信される通知を待つ（ステップＳ１３）。
【００４４】
次に、待機サーバ２のコマンド競合制御部１２は、運用サーバ１から実行可否の判定結果を受信したとき、競合エラー有又は競合エラー無の判定をする（ステップＳ１４）。
【００４５】
ステップＳ１４において、待機サーバ２のコマンド競合制御部１２が競合エラー有を受信した場合は、コンソール端末３に競合エラーを応答して終了する（ステップＳ１５）。
【００４６】
ステップＳ１４において、待機サーバ２が競合エラー無を受信した場合は、コマンド投入部１３を介してコマンド処理部１４が投入コマンドのコマンド処理を行う（ステップＳ１６）。
【００４７】
最後に、コマンド処理終了後、待機サーバ２のコマンド競合制御部１２が運用サーバ１に実行中コマンドデータ３２から投入コマンドの削除を運用サーバ１に通信部１６を介して要求送信して終了する（ステップＳ１７）。
【００４８】
次に、運用サーバ１側の待機サーバ２のためのコマンド競合制御方法を、図４に示す動作フローに従って説明する。
【００４９】
まず、図４に示すように、運用サーバ１のコマンド競合制御部１２は、通信部１６を介してステップＳ１２において待機サーバ２からの実行可否の判定要求を受信する（ステップＳ２１）。
【００５０】
次に、待機サーバ２から実行可否の判定を要求された投入コマンドについて、運用サーバ１のコマンド競合制御部１２は競合データ３１及び実行中コマンドデータ３２を利用して競合エラーの有無を判定する（ステップＳ２２）。ここで、上記の競合データ３１及び実行中コマンドデータ３２から導かれる待機サーバ２のための運用サーバ１における競合エラー有無の判定論理を表５に示す。
【００５１】
【表５】
【００５２】
かかるコマンド競合制御部１２の判定で競合エラーとなる場合は、待機サーバ２に競合エラー有を応答して終了する（ステップＳ２３）。
【００５３】
一方、競合エラー無の場合は、実行中コマンドデータ３２において投入コマンドをｍａｔｅとして設定、更新する（ステップＳ２４）。
【００５４】
次に、運用サーバ１のコマンド競合制御部１２は待機サーバ２に競合エラー無を通信部１６を介して応答送信する（ステップＳ２５）。このように、運用サーバ１において、コマンド競合制御部１２は、要求された投入コマンドについての競合データ３１と実行中コマンドデータ３２とから導かれる競合エラーの有無を判定し、競合エラーの有無をコンソール端末３及び待機サーバ２に通知する。
【００５５】
次に、運用サーバ１が待機サーバ２から送信される通知を待つ（ステップＳ２６）。
【００５６】
最後に、ステップＳ１７の待機サーバ２のコマンド処理終了後の投入コマンドの削除要求を、待機サーバ２からを受信すると、実行中コマンドデータ３２から投入コマンドを削除して終了する（ステップＳ２７）。なお、待機サーバが複数ある場合は、待機サーバ毎に競合データ３１と比較して実行可能（競合エラー無）なら、それぞれの待機サーバ２に競合エラー無を送信し、もし競合エラーのため実行不可能ならコンソール端末３にコマンド競合エラー有を通知し、コマンドを終了させる。
【００５７】
一方、待機サーバ２にてコマンド実行中に、待機サーバ２が故障した場合は、運用サーバ１の実行中コマンドデータ３２における待機サーバ２（故障したサーバ）の投入コマンドが実行中という設定のままとなってしまう。
【００５８】
これを解消するために、図１の他サーバ監視部１５が待機サーバ２の故障を検出するとコマンド競合制御部１２と連携して実行中コマンドデータ３２から故障したサーバの投入コマンドを削除する。
【００５９】
一般に、クラスタシステムを構成するそれぞれのサーバは、他のサーバに対して、ハートビートメッセージを動作中として、所定の時間間隔で繰り返しネットワークに送信する。そこで、他のサーバによりハートビートメッセージが例えば運用サーバ１に受信されなくなった場合には、そのハートビートメッセージの送信元サーバは、故障サーバになり、動作していないと判定される。
【００６０】
なお、クラスタシステム内から運用サーバ１が存在しなくなった場合は、それぞれのサーバのコマンド競合制御部１２が競合データ３１、実行中コマンドデータ３２を利用してコマンド競合制御を行う。
【００６１】
以上のように、クラスタシステムを構成するサーバ間で連携してコマンド競合制御を行うことにより、専用の装置を設置する必要が無くなり、コストダウンを図ることが可能となる。
【００６２】
運用サーバ１と待機サーバ２が１対１のクラスタシステムに適用した例を説明したが、待機サーバ２を複数とした場合も同一の方法で適用可能である。
【００６３】
各サーバの記憶装置をサーバ間でミラーすることにより、すなわち、待機サーバは、受け取ったデータを待機サーバの記憶装置に書き込むことで、運用サーバと待機サーバ間のデータを同期可能とすることができる。
【００６４】
以上のように本発明によるクラスタシステム及びコマンド競合制御方法によれば、競合データと実行中コマンドデータを利用して、クラスタシステムを構成するサーバが連携してコマンド競合を制御することにより、システムの低価格化を実現できる。
【図面の簡単な説明】
【００６５】
【図１】本発明による実施例を示すクラスタシステムのブロック図である。
【図２】本発明による実施例のクラスタシステムの運用サーバのコマンド競合制御方法を示す動作フローチャートである。
【図３】本発明による実施例のクラスタシステムの運用サーバのコマンド競合制御方法を示す動作フローチャートである。
【図４】本発明による実施例のクラスタシステムの運用サーバのコマンド競合制御方法を示す動作フローチャートである。
【符号の説明】
【００６６】
１ 運用サーバ
２ 待機サーバ
３ コンソール端末
１１ コマンド受付部
１２ コマンド競合制御部
１３ コマンド投入部
１４ コマンド処理部
１５ 他サーバ監視部
１６ 通信部
２０ ネットワーク
３１ 競合データ
３２ 実行中コマンドデータ
【技術分野】
【０００１】
本発明は、高い可用性が要求されるクラスタシステム及びそのコマンド競合の制御方法に関する。
【背景技術】
【０００２】
クラスタシステムは、コンピュータを複数台使用して冗長化することにより、システムの停止時間を最小限に抑え、業務の可用性（availability）を向上させる例えばサーバ−クライアントシステムとして用いられている。
【０００３】
従来のクラスタシステムにおけるコマンド競合の制御は、コマンド競合制御機能を有した専用のシステム装置を用意して、このシステム装置にてコマンド競合制御を行った上で、ネットワーク構成装置にコマンドを転送するのが一般的であった（特許文献１、参照）。
【０００４】
かかる従来の技術におけるコマンド制御方法では、複数のネットワーク構成装置に接続された専用のネットワーク管理システムにおいて、ネットワーク構成装置毎のコマンド競合エラーのチェック手段とコマンドが実行中か否かを示すコマンド実行中表示手段とを設けることにより、複数ネットワーク構成装置に跨るコマンドの競合チェックを可能としている。
【特許文献１】特開平５−９５３５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術では、ネットワーク管理システムなどの専用のシステム装置を用意する必要があり、クラスタシステムの低価格化の阻害要因となる問題があった。
【０００６】
そこで、本発明は以上の従来の技術問題に鑑みて考案されたものであり、クラスタシステムの低価格化を可能とするクラスタシステムにおけるコマンド競合制御方法を提供することが解決しようとする課題の一つとして挙げられる。
【課題を解決するための手段】
【０００７】
本発明によるクラスタシステムにおけるコマンド競合制御方法は、複数のサーバからなるクラスタシステムにおいて、各サーバが投入されたコマンドを実行するコマンド処理部と各サーバの要求及び通知をサーバ間で送受信する通信部とを有する、クラスタシステムにおけるコマンド競合制御方法であって、各サーバは、投入されたコマンドが競合する状態にあるか否かを判別して、又は、通信部を介して当該判別を他のサーバに要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力するコマンド競合制御部を備え、競合エラーの有無の信号に応じてコマンド競合制御部にて投入されたコマンドの終了又は実行をなすコマンド競合を制御することを特徴とする。
【０００８】
本発明によるクラスタシステムは、複数のサーバからなり、かつ、各サーバが投入されたコマンドを実行するコマンド処理部と各サーバの要求及び通知をサーバ間で送受信する通信部とを有する、クラスタシステムであって、各サーバは、投入されたコマンドが競合する状態にあるか否かを判別して、又は、通信部を介して当該判別を他のサーバに要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力するコマンド競合制御部を備え、競合エラーの有無の信号に応じてコマンド競合制御部にて投入されたコマンドの終了又は実行をなすコマンド競合を制御することを特徴とする。
【０００９】
上記クラスタシステム及びコマンド競合制御方法において、複数のサーバの内の１つが、コマンド毎にコマンドに関連する競合エラーの有無の競合条件を規定する競合データと、サーバ毎のコマンド処理部において実行されている実行中コマンドとコマンド処理部が属する実行中の実行サーバとの対応関係を規定する実行中コマンドデータと、を備え、コマンド競合制御部が、競合データの競合条件と実行中コマンドデータとを参照して、投入されたコマンドが競合する状態にあるか否かを判別して競合エラーの有無の信号を出力する、又は、当該判別を要求を受信した場合に当該判別を実行し当該判別の結果を送信することとすることができる。
【００１０】
上記クラスタシステム及びコマンド競合制御方法において、コマンド競合制御部は、判別において競合エラーの出力に応じて、実行中コマンドデータの実行中コマンド及び実行サーバを、投入されたコマンド及びこれらから実行するサーバに設定、更新することとすることができる。
【００１１】
上記クラスタシステム及びコマンド競合制御方法において、コマンド競合制御部は、コマンド処理終了の後、又は、コマンド処理終了の通知の受信の後、実行中コマンドデータから投入されたコマンドを削除することとすることができる。
【００１２】
上記クラスタシステム及びコマンド競合制御方法において、各サーバは通信部を介して他のサーバの故障を検出できる他サーバ監視部を備え、他サーバ監視部がいずれかのサーバの故障を検出するとき、コマンド競合制御部は、実行中コマンドデータから故障したサーバ及びその投入コマンドを削除することとすることができる。
【発明を実施するための最良の形態】
【００１３】
本発明による実施形態を、図を用いて説明する。
【００１４】
図１は、本発明の一実施例を示すクラスタシステムのブロック図である。
【００１５】
クラスタシステムは、ほぼ同一構成の複数のコンピュータからなり、唯一の運用サーバ１をなすものと、それ以外の１以上の待機サーバ２とから構成される。運用サーバ１と待機サーバ２にはコマンドを投入するためのキーボード、ディスプレイ装置などを有するコンソール端末３が接続されている。
【００１６】
各サーバとなるコンピュータは、少なくとも、ＣＰＵ（中央処理装置）、その周辺回路、記憶装置、入出力装置、及び通信装置をハードウエア（図示せず）として含む。ここで、記憶装置は、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）などのいわゆるメモリと、補助記憶としてのハードディスク装置などによって構成される。そして、その記憶装置には、ＣＰＵが実行すべきプログラム、データなどのソフトウエア（オペレーティングシステム、アプリケーション、ドライバ、etc）が記憶され、そのプログラムを実行するに際し必要なデータがテーブルやファイルなどの形で記憶される。
【００１７】
運用サーバ１と待機サーバ２の各サーバは、コマンド受付部１１、コマンド競合制御部１２、コマンド投入部１３、コマンド処理部１４、他サーバ監視部１５、通信部１６を有する。
【００１８】
コマンド処理部１４は待機サーバ２及び運用サーバ１は投入されたコマンドを実行する。
【００１９】
通信部１６はネットワーク２０に接続され、ネットワーク２０を介して相互に情報通信を行う。ネットワーク２０は、限定されないが、例えば、ＩＰ（Internet Protocol）ネットワークである。それぞれの通信部１６で接続されている複数の待機サーバ２と、これらの待機サーバ２と連携する運用サーバ１とから構成されるクラスタシステムにおいて、通信部１６は、運用サーバ１及び待機サーバ２の要求及び通知をそれらの間で送受信する。
【００２０】
また、運用サーバ１には、そのコマンド競合制御部１２より必要に応じて参照あるいは設定、更新される実行中コマンドデータ３２及び競合データ３１がそれぞれファイルとして記憶装置に格納されている。特に、動的に変化する実行中コマンドデータ３２は一般的にメモリに格納される。
【００２１】
なお、待機サーバ２が運用サーバとなった場合には、新たな運用サーバ（待機サーバ２）が競合データ３１及び実行中コマンドデータ３２をそれぞれファイルとして記憶装置に格納することになる。特に、動的に変化する実行中コマンドデータ３２は新たな運用サーバのメモリに格納されることになる。
【００２２】
ここで、運用及び待機サーバや、その中の各「部」、及びその中の手段はＣＰＵ及び記憶装置などコンピュータにおいて実行されるソフトウエアによって各種ハードウエアとともに実現されるものである。
【００２３】
例えば、運用サーバ１と待機サーバ２は、各コンピュータ起動時、オペレーティングシステム、クラスタシステムアプリケーションが動作し、その後、表１に示すような起動モードテーブルの生成し、運用モード及び待機モードとして記憶装置に格納され、それらのモードに従ってそれぞれ動作する。
【００２４】
表１に示す起動モードテーブルは、コンピュータ番号、起動モードのデータなどを記憶する。ここで、コンピュータＮｏ．は、クラスタシステム内のコンピュータを識別する番号で、起動モードは、コンピュータ番号に対応付けられた運用モード及び待機モードを示すデータであり、そのコンピュータ番号を有するコンピュータのアプリケーションの動作状態を表す。なお、この起動モード処理は、電源投入などによりコンピュータが初期化や、再起動されたときに起動される。コンピュータ１及び２が運用サーバ１及び待機サーバ２となり、それぞれの記憶装置にそれらの識別データが格納されることになる。
【００２５】
【表１】
【００２６】
サーバが運用サーバ１の場合のコマンド競合制御部１２は、投入されたコマンドがシステムにおいて競合する状態にあるか否かを判別して競合エラーの有無の信号を出力し、その信号に応じてコマンド処理部１４における投入されたコマンドの終了又は実行をなすコマンド競合を制御する。一方、サーバが待機サーバ２の場合のコマンド競合制御部１２は、通信部１６を介して当該判別を他のサーバすなわち運用サーバ１に要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力し、その信号に応じてコマンド競合制御部１２が投入されたコマンドの終了又は実行をなすコマンド競合を制御する。
【００２７】
運用サーバ１の記憶装置に格納されている競合データ３１は、コマンド競合制御部１２へ投入された各種のコマンド（以下、単に投入コマンドいう）と実行中の各種のコマンドとの競合条件を規定する予め設定されているデータである。競合データ３１はコマンド種別毎に当該コマンドに関連する競合条件すなわち、コマンド１〜ｎの投入及び実行中の競合条件を規定し、たとえば、下記の表２の対応テーブルである。この競合データテーブルの競合条件中、○は「”実行中コマンド”がクラスタシステム内のいずれかのサーバで実行中であっても、”投入コマンド”は競合エラーとならない」条件を示し、△は「”投入コマンド”が投入されたサーバ（以下、単に投入サーバいう）内で”実行中コマンド”が実行中の場合は”投入コマンド”は競合エラーとなるが、他サーバで”実行中コマンド”が実行中の場合は”投入コマンド”は競合エラーとならない」条件を示し、×は「”実行中コマンド”がクラスタシステム内のいずれかのサーバで実行中は”投入コマンド”は競合エラーとなる」条件を示す。
【００２８】
【表２】
【００２９】
運用サーバ１の記憶装置に格納されている実行中コマンドデータ３２は、コマンド処理部１４で実行されている各種のコマンド（実行中コマンド）と、かかるコマンド処理部１４が属する実行中のサーバ（実行サーバ）と、の対応関係（状態）を規定するデータである。たとえば、実行中コマンドデータ３２は、運用サーバ１と待機サーバ２では、下記の表３のテーブルの場合がある。このテーブル中、ｓｅｌｆは自サーバ（運用サーバ１）で或るコマンド１の実行中を示し、ｍａｔｅは自サーバ以外の他サーバ（待機サーバ２）で或るコマンド２が実行中であることを示す。ここで、実行中コマンドデータ３２はコマンド種別毎の投入されたコマンドが実行されている運用サーバ１又は待機サーバ２のいずれかを示しているが、コマンド種別に応じて、実行サーバが運用サーバ１（ｓｅｌｆ）のみ又は待機サーバ２（ｍａｔｅ）のみの場合もあり得る。
【００３０】
【表３】
【００３１】
実行中コマンドデータ３２は、運用サーバ１に対する待機サーバ毎でコマンド種別毎に作成され、投入コマンド及び投入サーバに応じて更新されるので、待機サーバの個数に対応する数のテーブルとして運用サーバ１の記憶装置に格納されている。
【００３２】
＜運用サーバのコマンド競合制御方法＞
運用サーバ１に或るコマンドを投入した場合の運用サーバのコマンド競合制御方法を、を、図２に示す動作フローに従って説明する。
【００３３】
まず、コンソール端末３からの投入コマンドをコマンド受付部１１で受け付ける（ステップＳ１）。
【００３４】
次に、運用サーバ１のコマンド競合制御部１２は、投入コマンドについて、競合データ３１及び実行中コマンドデータ３２を利用して競合エラーの有無（有又は無）を判定する（ステップＳ２）。ここで、上記の競合データ３１及び実行中コマンドデータ３２から導かれる運用サーバ１における競合エラー有無の判定論理を表４に示す。
【００３５】
【表４】
【００３６】
このように、コマンド競合制御部１２が競合データ３１と実行中コマンドデータ３２とから導かれる競合エラーの有無を判定した後、かかるコマンド競合制御部１２の判定で競合エラーとなる場合は、コンソール端末３に競合エラーを応答して終了する（ステップＳ３）。
【００３７】
一方、競合エラー無の場合は、コマンド競合制御部１２がすべての実行中コマンドデータ３２に投入コマンドをｓｅｌｆとして設定、更新する（ステップＳ４）。すなわち、コマンド競合制御部１２が競合データ３１と実行中コマンドデータ３２とから導かれる競合エラーの有無に応じて実行中コマンドデータ３２にコマンド状態を更新する。
【００３８】
次に、コマンド投入部１３を介してコマンド処理部１４が投入コマンドのコマンド処理を行う（ステップＳ５）。
【００３９】
最後に、コマンド処理終了後、実行中コマンドデータ３２から投入コマンドを削除して終了する（ステップＳ６）。
【００４０】
＜待機サーバのコマンド競合制御方法＞
次に、待機サーバ２にコマンドを投入した場合のクラスタシステム（待機サーバ２及び運用サーバ１）のコマンド競合制御方法を、図３及び図４に示す動作フローに従って説明する。
【００４１】
まず、図３に示すように、待機サーバ２において、コンソール端末３からの投入コマンドをコマンド受付部１１で受け付ける（ステップＳ１１）。
【００４２】
次に、待機サーバ２のコマンド競合制御部１２が投入コマンドの実行可否の判定（競合エラー有無）を運用サーバ１へ通信部１６を介して要求送信する（ステップＳ１２）。
【００４３】
そして、待機サーバ２のコマンド競合制御部１２が運用サーバ１から送信される通知を待つ（ステップＳ１３）。
【００４４】
次に、待機サーバ２のコマンド競合制御部１２は、運用サーバ１から実行可否の判定結果を受信したとき、競合エラー有又は競合エラー無の判定をする（ステップＳ１４）。
【００４５】
ステップＳ１４において、待機サーバ２のコマンド競合制御部１２が競合エラー有を受信した場合は、コンソール端末３に競合エラーを応答して終了する（ステップＳ１５）。
【００４６】
ステップＳ１４において、待機サーバ２が競合エラー無を受信した場合は、コマンド投入部１３を介してコマンド処理部１４が投入コマンドのコマンド処理を行う（ステップＳ１６）。
【００４７】
最後に、コマンド処理終了後、待機サーバ２のコマンド競合制御部１２が運用サーバ１に実行中コマンドデータ３２から投入コマンドの削除を運用サーバ１に通信部１６を介して要求送信して終了する（ステップＳ１７）。
【００４８】
次に、運用サーバ１側の待機サーバ２のためのコマンド競合制御方法を、図４に示す動作フローに従って説明する。
【００４９】
まず、図４に示すように、運用サーバ１のコマンド競合制御部１２は、通信部１６を介してステップＳ１２において待機サーバ２からの実行可否の判定要求を受信する（ステップＳ２１）。
【００５０】
次に、待機サーバ２から実行可否の判定を要求された投入コマンドについて、運用サーバ１のコマンド競合制御部１２は競合データ３１及び実行中コマンドデータ３２を利用して競合エラーの有無を判定する（ステップＳ２２）。ここで、上記の競合データ３１及び実行中コマンドデータ３２から導かれる待機サーバ２のための運用サーバ１における競合エラー有無の判定論理を表５に示す。
【００５１】
【表５】
【００５２】
かかるコマンド競合制御部１２の判定で競合エラーとなる場合は、待機サーバ２に競合エラー有を応答して終了する（ステップＳ２３）。
【００５３】
一方、競合エラー無の場合は、実行中コマンドデータ３２において投入コマンドをｍａｔｅとして設定、更新する（ステップＳ２４）。
【００５４】
次に、運用サーバ１のコマンド競合制御部１２は待機サーバ２に競合エラー無を通信部１６を介して応答送信する（ステップＳ２５）。このように、運用サーバ１において、コマンド競合制御部１２は、要求された投入コマンドについての競合データ３１と実行中コマンドデータ３２とから導かれる競合エラーの有無を判定し、競合エラーの有無をコンソール端末３及び待機サーバ２に通知する。
【００５５】
次に、運用サーバ１が待機サーバ２から送信される通知を待つ（ステップＳ２６）。
【００５６】
最後に、ステップＳ１７の待機サーバ２のコマンド処理終了後の投入コマンドの削除要求を、待機サーバ２からを受信すると、実行中コマンドデータ３２から投入コマンドを削除して終了する（ステップＳ２７）。なお、待機サーバが複数ある場合は、待機サーバ毎に競合データ３１と比較して実行可能（競合エラー無）なら、それぞれの待機サーバ２に競合エラー無を送信し、もし競合エラーのため実行不可能ならコンソール端末３にコマンド競合エラー有を通知し、コマンドを終了させる。
【００５７】
一方、待機サーバ２にてコマンド実行中に、待機サーバ２が故障した場合は、運用サーバ１の実行中コマンドデータ３２における待機サーバ２（故障したサーバ）の投入コマンドが実行中という設定のままとなってしまう。
【００５８】
これを解消するために、図１の他サーバ監視部１５が待機サーバ２の故障を検出するとコマンド競合制御部１２と連携して実行中コマンドデータ３２から故障したサーバの投入コマンドを削除する。
【００５９】
一般に、クラスタシステムを構成するそれぞれのサーバは、他のサーバに対して、ハートビートメッセージを動作中として、所定の時間間隔で繰り返しネットワークに送信する。そこで、他のサーバによりハートビートメッセージが例えば運用サーバ１に受信されなくなった場合には、そのハートビートメッセージの送信元サーバは、故障サーバになり、動作していないと判定される。
【００６０】
なお、クラスタシステム内から運用サーバ１が存在しなくなった場合は、それぞれのサーバのコマンド競合制御部１２が競合データ３１、実行中コマンドデータ３２を利用してコマンド競合制御を行う。
【００６１】
以上のように、クラスタシステムを構成するサーバ間で連携してコマンド競合制御を行うことにより、専用の装置を設置する必要が無くなり、コストダウンを図ることが可能となる。
【００６２】
運用サーバ１と待機サーバ２が１対１のクラスタシステムに適用した例を説明したが、待機サーバ２を複数とした場合も同一の方法で適用可能である。
【００６３】
各サーバの記憶装置をサーバ間でミラーすることにより、すなわち、待機サーバは、受け取ったデータを待機サーバの記憶装置に書き込むことで、運用サーバと待機サーバ間のデータを同期可能とすることができる。
【００６４】
以上のように本発明によるクラスタシステム及びコマンド競合制御方法によれば、競合データと実行中コマンドデータを利用して、クラスタシステムを構成するサーバが連携してコマンド競合を制御することにより、システムの低価格化を実現できる。
【図面の簡単な説明】
【００６５】
【図１】本発明による実施例を示すクラスタシステムのブロック図である。
【図２】本発明による実施例のクラスタシステムの運用サーバのコマンド競合制御方法を示す動作フローチャートである。
【図３】本発明による実施例のクラスタシステムの運用サーバのコマンド競合制御方法を示す動作フローチャートである。
【図４】本発明による実施例のクラスタシステムの運用サーバのコマンド競合制御方法を示す動作フローチャートである。
【符号の説明】
【００６６】
１ 運用サーバ
２ 待機サーバ
３ コンソール端末
１１ コマンド受付部
１２ コマンド競合制御部
１３ コマンド投入部
１４ コマンド処理部
１５ 他サーバ監視部
１６ 通信部
２０ ネットワーク
３１ 競合データ
３２ 実行中コマンドデータ
【特許請求の範囲】
【請求項１】
複数のサーバからなるクラスタシステムにおいて、各サーバが投入されたコマンドを実行するコマンド処理部と各サーバの要求及び通知をサーバ間で送受信する通信部とを有する、クラスタシステムにおけるコマンド競合制御方法であって、
各サーバは、投入されたコマンドが競合する状態にあるか否かを判別して、又は、前記通信部を介して当該判別を他のサーバに要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力するコマンド競合制御部を備え、前記競合エラーの有無の信号に応じて前記コマンド競合制御部にて投入されたコマンドの終了又は実行をなすコマンド競合を制御することを特徴とするコマンド競合制御方法。
【請求項２】
前記複数のサーバの内の１つが、コマンド毎に前記コマンドに関連する競合エラーの有無の競合条件を規定する競合データと、サーバ毎のコマンド処理部において実行されている実行中コマンドと前記コマンド処理部が属する実行中の実行サーバとの対応関係を規定する実行中コマンドデータと、を備え、前記コマンド競合制御部が、前記競合データの前記競合条件と前記実行中コマンドデータとを参照して、前記投入されたコマンドが競合する状態にあるか否かを判別して前記競合エラーの有無の信号を出力する、又は、当該判別を要求を受信した場合に当該判別を実行し当該判別の結果を送信することを特徴とする請求項１記載のコマンド競合制御方法。
【請求項３】
前記コマンド競合制御部は、前記判別において前記競合エラーの出力に応じて、前記実行中コマンドデータの前記実行中コマンド及び前記実行サーバを、前記投入されたコマンド及びこれらから実行するサーバに設定、更新することを特徴とする請求項２記載のコマンド競合制御方法。
【請求項４】
前記コマンド競合制御部は、コマンド処理終了の後、又は、コマンド処理終了の通知の受信の後、前記実行中コマンドデータから前記投入されたコマンドを削除することを特徴とする請求項２又は３記載のコマンド競合制御方法。
【請求項５】
各サーバは前記通信部を介して他のサーバの故障を検出できる他サーバ監視部を備え、前記他サーバ監視部がいずれかのサーバの故障を検出するとき、前記コマンド競合制御部は、前記実行中コマンドデータから故障したサーバ及びその投入コマンドを削除することを特徴とする請求項２〜４のいずれか１記載のコマンド競合制御方法。
【請求項６】
複数のサーバからなり、かつ、各サーバが投入されたコマンドを実行するコマンド処理部と各サーバの要求及び通知をサーバ間で送受信する通信部とを有する、クラスタシステムであって、
各サーバは、投入されたコマンドが競合する状態にあるか否かを判別して、又は、前記通信部を介して当該判別を他のサーバに要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力するコマンド競合制御部を備え、前記競合エラーの有無の信号に応じて前記コマンド競合制御部にて投入されたコマンドの終了又は実行をなすコマンド競合を制御することを特徴とするクラスタシステム。
【請求項７】
前記複数のサーバの内の１つが、コマンド毎に前記コマンドに関連する競合エラーの有無の競合条件を規定する競合データと、サーバ毎のコマンド処理部において実行されている実行中コマンドと前記コマンド処理部が属する実行中の実行サーバとの対応関係を規定する実行中コマンドデータと、を備え、前記コマンド競合制御部が、前記競合データの前記競合条件と前記実行中コマンドデータとを参照して、前記投入されたコマンドが競合する状態にあるか否かを判別して前記競合エラーの有無の信号を出力する、又は、当該判別を要求を受信した場合に当該判別を実行し当該判別の結果を送信することを特徴とする請求項６記載のクラスタシステム。
【請求項８】
前記コマンド競合制御部は、前記判別において前記競合エラーの出力に応じて、前記実行中コマンドデータの前記実行中コマンド及び前記実行サーバを、前記投入されたコマンド及びこれらから実行するサーバに設定、更新することを特徴とする請求項７記載のクラスタシステム。
【請求項９】
前記コマンド競合制御部は、コマンド処理終了の後、又は、コマンド処理終了の通知の受信の後、前記実行中コマンドデータから前記投入されたコマンドを削除することを特徴とする請求項７又は８記載のクラスタシステム。
【請求項１０】
各サーバは前記通信部を介して他のサーバの故障を検出できる他サーバ監視部を備え、前記他サーバ監視部がいずれかのサーバの故障を検出するとき、前記コマンド競合制御部は、前記実行中コマンドデータから故障したサーバ及びその投入コマンドを削除することを特徴とする請求項７〜９のいずれか１記載のクラスタシステム。
【請求項１】
複数のサーバからなるクラスタシステムにおいて、各サーバが投入されたコマンドを実行するコマンド処理部と各サーバの要求及び通知をサーバ間で送受信する通信部とを有する、クラスタシステムにおけるコマンド競合制御方法であって、
各サーバは、投入されたコマンドが競合する状態にあるか否かを判別して、又は、前記通信部を介して当該判別を他のサーバに要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力するコマンド競合制御部を備え、前記競合エラーの有無の信号に応じて前記コマンド競合制御部にて投入されたコマンドの終了又は実行をなすコマンド競合を制御することを特徴とするコマンド競合制御方法。
【請求項２】
前記複数のサーバの内の１つが、コマンド毎に前記コマンドに関連する競合エラーの有無の競合条件を規定する競合データと、サーバ毎のコマンド処理部において実行されている実行中コマンドと前記コマンド処理部が属する実行中の実行サーバとの対応関係を規定する実行中コマンドデータと、を備え、前記コマンド競合制御部が、前記競合データの前記競合条件と前記実行中コマンドデータとを参照して、前記投入されたコマンドが競合する状態にあるか否かを判別して前記競合エラーの有無の信号を出力する、又は、当該判別を要求を受信した場合に当該判別を実行し当該判別の結果を送信することを特徴とする請求項１記載のコマンド競合制御方法。
【請求項３】
前記コマンド競合制御部は、前記判別において前記競合エラーの出力に応じて、前記実行中コマンドデータの前記実行中コマンド及び前記実行サーバを、前記投入されたコマンド及びこれらから実行するサーバに設定、更新することを特徴とする請求項２記載のコマンド競合制御方法。
【請求項４】
前記コマンド競合制御部は、コマンド処理終了の後、又は、コマンド処理終了の通知の受信の後、前記実行中コマンドデータから前記投入されたコマンドを削除することを特徴とする請求項２又は３記載のコマンド競合制御方法。
【請求項５】
各サーバは前記通信部を介して他のサーバの故障を検出できる他サーバ監視部を備え、前記他サーバ監視部がいずれかのサーバの故障を検出するとき、前記コマンド競合制御部は、前記実行中コマンドデータから故障したサーバ及びその投入コマンドを削除することを特徴とする請求項２〜４のいずれか１記載のコマンド競合制御方法。
【請求項６】
複数のサーバからなり、かつ、各サーバが投入されたコマンドを実行するコマンド処理部と各サーバの要求及び通知をサーバ間で送受信する通信部とを有する、クラスタシステムであって、
各サーバは、投入されたコマンドが競合する状態にあるか否かを判別して、又は、前記通信部を介して当該判別を他のサーバに要求送信し当該判別の結果を受信して、競合エラーの有無の信号を出力するコマンド競合制御部を備え、前記競合エラーの有無の信号に応じて前記コマンド競合制御部にて投入されたコマンドの終了又は実行をなすコマンド競合を制御することを特徴とするクラスタシステム。
【請求項７】
前記複数のサーバの内の１つが、コマンド毎に前記コマンドに関連する競合エラーの有無の競合条件を規定する競合データと、サーバ毎のコマンド処理部において実行されている実行中コマンドと前記コマンド処理部が属する実行中の実行サーバとの対応関係を規定する実行中コマンドデータと、を備え、前記コマンド競合制御部が、前記競合データの前記競合条件と前記実行中コマンドデータとを参照して、前記投入されたコマンドが競合する状態にあるか否かを判別して前記競合エラーの有無の信号を出力する、又は、当該判別を要求を受信した場合に当該判別を実行し当該判別の結果を送信することを特徴とする請求項６記載のクラスタシステム。
【請求項８】
前記コマンド競合制御部は、前記判別において前記競合エラーの出力に応じて、前記実行中コマンドデータの前記実行中コマンド及び前記実行サーバを、前記投入されたコマンド及びこれらから実行するサーバに設定、更新することを特徴とする請求項７記載のクラスタシステム。
【請求項９】
前記コマンド競合制御部は、コマンド処理終了の後、又は、コマンド処理終了の通知の受信の後、前記実行中コマンドデータから前記投入されたコマンドを削除することを特徴とする請求項７又は８記載のクラスタシステム。
【請求項１０】
各サーバは前記通信部を介して他のサーバの故障を検出できる他サーバ監視部を備え、前記他サーバ監視部がいずれかのサーバの故障を検出するとき、前記コマンド競合制御部は、前記実行中コマンドデータから故障したサーバ及びその投入コマンドを削除することを特徴とする請求項７〜９のいずれか１記載のクラスタシステム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−７２７９９（Ｐ２０１０−７２７９９Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３７７５４（Ｐ２００８−２３７７５４）
【出願日】平成２０年９月１７日（２００８．９．１７）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１７日（２００８．９．１７）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]