説明

システム構築方法及び管理サーバ

【課題】デプロイメント中は、デプロイメントに不必要なデバイスを無効化する。
【解決手段】本発明のシステム構築方法およびシステム構築する管理サーバは次のような構成である。管理サーバは、ネットワークを介して接続するサーバからサーバ情報を取得し、取得したサーバ情報を参照して、サーバに接続するデバイスの中で、デプロイメントに不必要なデバイスを選択し、選択したデバイスを無効化する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デプロイメントをともなうシステム構築方法及びシステム構築する管理サーバに関する。
【背景技術】
【0002】
近年、ブレードサーバの導入が進んでいる。ブレードサーバを導入する際、ユーザはシャーシにブレードサーバをフルに詰めることは少なく、大概のケースではシャーシのスロットに空きがある。ユーザのビジネス伸張に伴い、ブレードサーバを増設する場合、この空きスロットへブレードサーバを追加する。このとき、既に導入済みのブレードサーバでは業務が稼動しており、業務の実行のために業務用ネットワークへ接続されている。
【0003】
ブレードサーバを増設する場合、冗長化された複数接続パスを持つシステムへOS(Operating System)をインストールする際に、その接続パスを、デバイスドライバを用いて仮想的に閉塞し、1本のパスとする技術について特許文献1に開示がある。
【0004】
【特許文献1】特開2007−148714
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記のように、業務が実稼動しているブレードサーバに新規ブレードサーバを追加する場合、ブレードサーバの物理的な特徴(シャーシへのセットに伴って、追加ブレードサーバのネットワークインタフェースなどのデバイスが動作可能)、から、新規追加したブレードサーバがすぐに実稼動中の業務用ネットワークへ接続してしまう可能性がある。この可能性は、新規追加に限らず、ブレードサーバにデプロイメントを実行する必要が生じたときに発生し、ブレードサーバを新規追加するときに顕著である。この場合、実稼動業務を提供しているその他のブレードサーバへパケットを送信したり、設定が重複することによって実稼動業務の実行を阻害したり、セキュリティ設定が完了していない状態で業務ネットワークへ接続することによって悪意のあるユーザの侵入を許す可能性がある。
【0006】
そこでデプロイメント中は、デプロイメントに不必要なデバイスを無効化できることが必要である。
【0007】
これに対して上記特許文献1に開示される技術は、いずれか1本のパスだけを残すことが目的であり、デプロイメントに使用可能なパスを選択的に残すことに配慮されていない。
【課題を解決するための手段】
【0008】
本発明のシステム構築方法およびシステム構築する管理サーバは次のような構成を有する。
管理サーバは、ネットワークを介して接続するサーバからサーバ情報を取得し、取得したサーバ情報を参照して、サーバに接続するデバイスの中で、デプロイメントに不必要なデバイスを選択し、選択したデバイスを無効化する。
【0009】
本発明の望ましい他の態様は、デバイスはNIC(ネットワークインタフェース)である。
【0010】
本発明の望ましいさらに他の態様は、デプロイメントに不必要なデバイスは、管理サーバとネットワークを介して接続するためのデバイス以外のデバイスである。
【0011】
本発明の望ましいさらに他の態様は、サーバは、物理サーバ上に構築された仮想サーバであり、デプロイメントに不必要なデバイスは、管理サーバとネットワークを介して接続するための、仮想サーバに含まれるNIC以外の仮想デバイスであり、無効化は、仮想NIC以外の仮想デバイスと物理サーバに含まれる物理デバイスとの対応付けを解除することである。
【発明の効果】
【0012】
本発明によれば、デプロイメント中は、デプロイメントに不必要なデバイスを無効化できる。
【発明を実施するための最良の形態】
【0013】
管理サーバと通信するデバイス(ネットワークインタフェース)とデプロイメント先のストレージ装置に接続されているデバイス(ディスクインタフェース)以外を無効化、つまりデプロイメントに使用しないデバイスを無効化する。
【0014】
管理サーバがあるブレードサーバにデプロイするとは、デプロイメント対象のブレードサーバ固有の設定情報を基本となるOSに設定した、直ちに実行可能なOS(これをOSのイメージと呼ぶ。)を構築することである。基本となるOS及びデプロイメント対象のブレードサーバ固有の設定情報は、管理サーバに接続するストレージ装置(ディスク装置)に格納してある。管理サーバは、基本となるOS及びデプロイメント対象のブレードサーバ固有の設定情報を、ネットワークを経由してデプロイメント対象のブレードサーバに送る。デプロイメント対象のブレードサーバは、送られたOSイメージを接続するストレージ装置に格納する。管理サーバが、デプロイメント対象のブレードサーバのOSイメージを格納するストレージ装置にアクセス可能な構成であるならば、デプロイメント対象のブレードサーバを経由せずに、管理サーバが直接的にそのストレージ装置にOSイメージを格納しても良い。
【0015】
なお、OSの種別によっては、管理サーバはデプロイメント対象のブレードサーバ固有の設定情報の設定場所(OS内の格納アドレスや情報の配置の仕方)を認識できない場合がある。このような場合は、管理サーバは、基本となるOSをネットワーク経由で、デプロイメント対象のブレードサーバにローディングし、そのOSに含まれる、固有設定情報の設定プログラムを動作させる。設定プログラムの動作に対応して、管理サーバは固有設定情報をネットワーク経由で、デプロイメント対象のブレードサーバに送信し、デプロイメント対象のブレードサーバ上でOSイメージを構築する。デプロイメント対象のブレードサーバは構築したOSイメージを所定のストレージ装置に格納する。
【0016】
OSイメージは、OSに限らず、アプリケーションプログラム(業務プログラム)を含んだイメージであってもよく、その場合は、デプロイメント対象のブレードサーバにローディングされ、動作を開始すると、直ちに所定の業務を提供できる。
【実施例1】
【0017】
図1は、実施例1のシステム構成図を示す。管理サーバ101は、NW−SW(管理用ネットワーク)105を介して、シャーシ102のサービスプロセッサ104及びブレードサーバ103と接続されている。サービスプロセッサ104は内部ネットワークを介してブレードサーバ103と接続されている。管理サーバ101は、NW-SW105の管理インタフェース(管理I/F)115、NW-SW(業務用ネットワーク)106の管理インタフェース116へ接続されており、管理サーバ101から各NW-SWのVLAN(Virtual LAN)を設定することが可能である。
【0018】
サービスプロセッサ104は、ブレードサーバ103のシャーシ102への挿抜(ブレードサーバ103の追加、削除)を検知して、管理サーバ101へアラートを通知する。管理サーバ101は、アラートを検知することにより、ブレードサーバ103が新規に追加され、それがデプロイメント対象のブレードサーバ103であることを認識する。
【0019】
NW-SW105は、管理用のネットワークであり、OSやアプリケーションの配信や電源制御といったブレードサーバ103の運用管理をするために必要なネットワークである。NW-SW106は、業務用のネットワークに属しており、ブレードサーバ103上で実行される業務用アプリケーションが使用するネットワークである。
【0020】
管理サーバ101上では、制御部110が実行され、管理テーブル群111を参照および更新される。
【0021】
図2は、管理サーバ101の構成を示す。演算を処理するCPU(Central Processing Unit)201、CPU201で演算するプログラムや、プログラムの実行に伴うデータを格納するメモリ202、プログラムやデータを格納するストレージ装置とのディスクインタフェース203、IPネットワークを介した通信のためのネットワークインタフェース204から構成される。
【0022】
図2では、ネットワークインタフェース204及びディスクインタフェース203を、それぞれ代表して一つずつ示しているが、各々が複数ある。たとえば、管理用ネットワーク105と業務用ネットワーク106とへの接続は、各々異なるネットワークインタフェース204を用いる。
【0023】
メモリ202には、制御部110および管理テーブル群111が格納されている。制御部110は、サーバ走査部210(図10参照)、サーバ登録部211(図11参照)、デプロイ制御部212(図13参照)、デバイス無効化制御部213(図14参照)、デバイス有効化制御部214(図15参照)、パラメータ設定部215(図16参照)、及びサーバ構成取得部216(図12参照)を有する。管理テーブル群111は、サーバ管理テーブル221(図5参照)、サーバの論理情報に関するテーブル222(図6参照)、アラート管理テーブル223(図7参照)を有する。
【0024】
図3は、ブレードサーバ103の構成を示す。演算を処理するCPU301、CPU301で演算するプログラムや、プロググラムの実行に伴いデータを格納するメモリ302、プログラムやデータを格納するストレージ装置とのディスクインタフェース304、IPネットワークを介して通信を行うためのネットワークインタフェース303、電源制御や各インタフェースの制御を行うBMC(Basement Management Controller)305を有する。メモリ302上のOS311がCPU301によって実行され、ブレードサーバ103内のデバイス管理を行っている。OS311の下で、業務を提供するアプリケーションなどが動作する。
【0025】
図3では、ネットワークインタフェース303及びディスクインタフェース304を、それぞれ代表して一つずつ示しているが、各々が複数ある。たとえば、管理用ネットワーク105と業務用ネットワーク106とへの接続は、各々異なるネットワークインタフェース303を用いる。前述のように、デプロイメントの実行に際しては、管理サーバ101と管理用ネットワーク105を介して接続するためのネットワークインタフェース303が必要とされ、業務用ネットワーク106とのネットワークインタフェース303は不必要である。
【0026】
ディスクインタフェース304も、デプロイメントを実行した結果として構築されるOSイメージを格納するディスクと、アプリケーションの実行に用いるデータベースなどを格納したディスクとは、互いに異なるディスクインタフェース304を用いる。OSイメージが構築され、新規に追加されたブレードサーバ103は、実稼動を開始するまでは、実業務の遂行のために他のブレードサーバによって使用されているデータベースなどを格納したディスクへアクセス可能であると、そのデータベースを誤操作する可能性がある。そこで、デプロイメントの実行中は、OSイメージを格納するためのディスクインタフェース304が動作可能であればよく、アプリケーションの実行に用いるデータベースなどを格納したディスクとのディスクインタフェース304は不必要となる。
【0027】
新規に追加されたブレードサーバ103から見ると、管理サーバ101と接続するためのネットワークインタフェース303とOSイメージを格納するディスクと接続するためのディスクインタフェース304とが、デプロイメントのために必要なデバイスであり、他は不必要なデバイスになる。この不必要なデバイスを無効化にすることにより、不必要なデバイスへのデプロイメント中の誤操作を避けることができる。
【0028】
図4は、システム構築方法の動作概略を示す。定期監視またはイベントを契機として、(1)サーバを走査(プローブ)411し、(2)ブレードサーバ103を検出412する。検出したブレードサーバ103を対象に、(3)情報収集413する。情報収集プログラムを使った情報収集であっても、OS標準インタフェースまたは標準化されたプロトコルを利用した情報収集でも良い。
【0029】
その後、(4)管理サーバに接続されたNIC(Network Interface Card)のMAC(Media Access Control)アドレスを取得414する。例えば、ブレードサーバ103をPXE(Preboot eXecution Environment)ブートし、ブロードキャストされたMACアドレスを取得することで、管理サーバに接続されているNICのMACアドレスを収集することが可能である。また、ブレードサーバ103と管理サーバ101が接続されている管理ネットワークへ同様に接続されているサービスプロセッサ104から、目的のブレードサーバ103の位置情報やMACアドレスを収集することも可能である。MACアドレスの一覧の中から、管理サーバ101に接続されているNICのMACアドレスを取得する方法として、前述の「管理用ネットワークと接続されているブレードサーバ103のNIC303からPXEブートし、ブロードキャストされるMACアドレスを収集する」方法や「管理用ネットワークと接続されているブレードサーバ103のNIC303からPXEブートし、ブレードサーバ103に配信されるOS(Operating System)上で情報収集プログラムを実行しMACアドレスを取得し、ブレードサーバ103が持つNIC303を一旦無効化し、1つずつ有効化して管理サーバ102へpingを実行、反応があったときに有効化していたNIC303のMACアドレスを取得する」といった方法がある。(5)管理用ネットワークに接続されたNIC303以外のNIC303を無効化する。これは、管理サーバ101に接続されているNIC303はデプロイメントに利用されるが、それ以外のNIC303は業務用ネットワークに接続されており、デプロイメントの期間は隔離するために無効化する。(6)デプロイメントを実行する。具体的には、ブレードサーバ103にディスクイメージを配信し、OSやアプリケーションのパラメータを設定する。このとき、(5)においてNIC303を無効化していることので、ブレードサーバ103は業務用ネットワークから論理的に隔離されており、設定途中のブレードサーバ103が業務用ネットワークに接続されることで、実際に業務を提供しているその他のブレードサーバ103へパケットを送信したり、セキュリティ設定が完了していない状態で業務ネットワークへ接続することによって悪意のあるユーザの侵入を許すことがないようにしている。
【0030】
その後、(7)当該ブレードサーバ103の無効化されたNIC303を回復させる。このとき、デバイスが無効化されていたことで設定できなかったパラメータを設定することが可能である。
【0031】
以上のような動作によってシステム構築することで、増設用のブレードサーバ103がテストや設定も未完了のまま、実際の業務のために使用されている業務用ネットワークへ接続してしまう問題を回避することが可能である。
【0032】
図5は、サーバ管理テーブル221を示す。カラム501はサーバ識別子を格納しており、本識別子によって各サーバを一意に識別する。カラム501へ格納するデータは、本テーブルで使用される各カラムのいずれか、または複数カラムを組み合わせたものを指定することで入力を省略することが出来る。また、昇順などで自動的に割り振っても良い。
【0033】
カラム502にはCPUアーキテクチャが格納されている。CPUアーキテクチャは、デプロイするディスクイメージの種別を判別する際に有用な情報である。異なるCPUアーキテクチャ用のディスクイメージを配布してもブレードサーバ103では実行することが出来ない。誤配信を防ぐために有用な情報である。
【0034】
カラム503には、UUID(Universal Unique IDentifier)が格納されている。UUIDは、重複しないように形式が規定された識別子である。そのため、各サーバに対応して、UUIDを保持することにより、確実なユニーク性を保証する識別子となりえる。そのため、カラム501に格納されているサーバ識別子の候補であり、広範囲に渡ったサーバ管理には非常に有効である。ただし、カラム501には、システム管理者がサーバを識別する識別子を使用すれば良く、また管理する対象となるサーバ間で重複することがなければ問題ないため、UUIDを使うことが望ましいものの必須とはならない。例えば、カラム501のサーバ識別子には、ホスト名、IPアドレス、MACアドレス、WWN(World Wide Name)などを用いても良い。
【0035】
カラム504(カラム505〜カラム510)は、I/Oデバイスに関する情報を格納している。カラム505には、デバイス種別を格納している。HBA(Host Bus Adaptor)やNICなどが格納される。
【0036】
カラム506には、接続先のネットワークの種類を格納している。例えば、管理用ネットワークや業務用ネットワークである。この情報から無効化すべきデバイスを判別する。NICの場合、デプロイメントに必要ない業務ネットワークにつながっているデバイスを無効化する。HBAの場合、管理者に情報を入力してもらい、特にデプロイメント中に接続が望ましくないストレージが接続されているHBAを無効化し、ストレージを隔離することでデータを保護する。ブート用ストレージはデプロイメント時にディスクイメージを格納する領域であるため、無効化する対象にはならない。ただし、近隣のブレードサーバ103へデプロイするようなケースで、誤配信を防ぐために敢えてブート用ストレージが接続されているHBAを無効化することがあっても良い。
【0037】
カラム507には、HBAの持つWWNやNICの持つMACアドレスを格納している。WWNは、SAN環境においてサーバ側を識別する識別子となる。そのため、SAN環境が前提のシステムにおいては、サーバ識別子としての役割を担う場合もある。MACアドレスは、一般的に一意の識別子であるため、サーバ識別子としての役割を担う場合もある。またMACアドレスは、iSCSI接続のストレージを持つ場合はサーバ側を識別する識別子となる。
【0038】
カラム508には、I/Oデバイスのデバイスドライバ種別を格納している。相性の良し悪しで、システムがダウンしないためにもどのようなデバイスドライバが組み込まれているかを知ることは重要である。
カラム509には、デバイスの有効または無効に関する初期値を格納している。これにより有効化する際に、無効化したデバイスなので有効化すべきデバイスなのか、もともと無効化されているため有効化すべきでないデバイスなのかを判定することが可能になる。
カラム510には、デバイスの有効または無効に関する現在の状態を格納している。先のカラム509と併せることで回復対象なのか否かを判定することが可能である。
【0039】
カラム511(カラム512〜カラム514)は、ストレージに関する情報を格納している。カラム512には、サーバとストレージ装置の接続I/F(インタフェース)が格納されている。ディスクイメージがどのインタフェースで取得されたものかが分かっていれば、異なるインタフェースを持つブレードサーバ103へ配信する場合は、ドライバ変更などの手順が必要であることを示すことが可能になる。
【0040】
カラム513には、ストレージ装置のストレージ容量が格納されている。容量が少ないケースでは、ユーザがブレードサーバ103上で実行するプログラムが使用するデータ領域を大きく確保することが出来ない場合があり、この場合は可能な限り軽い動作が求められる。また、逆にストレージ容量が大きく、かつ大量のブレードサーバを管理する場合には管理用データは大きくなり、情報検索や情報を蓄える上で信頼性の高いシステムを組むことが可能になる。また、ディスクイメージを配信する場合に、配信するディスクイメージを下回るストレージ容量しか持ち合わせていないブレードサーバ103へは配信が出来ないため、この状態のブレードサーバ103を認識するために用いる。
【0041】
カラム514は、OSをboot(OS起動、OSブート)するストレージ装置か、データを格納するためのストレージ装置か、を格納している。カラム514については、初期設定値をbootに設定し変更しない運用も考えられるが、一般的には管理者によって手入力される。カラム506と連携し、boot用ストレージ装置の場合、カラム506には「管理」を格納し、データ用ストレージ装置の場合、カラム506には「業務」を格納することで、カラム506の説明に記載したデバイス無効化による効果を得ることが出来る。
【0042】
カラム515は、電源ステータスを格納している。電源ステータスは、サーバの起動または未起動を表示しており、デプロイする際に、電源がオフの場合、電源をオンにする手順を追加する必要がある。
【0043】
カラム516には、サーバモデルが格納されている。ベンダ名やモデル名などが格納されており、手持ちのディスクイメージをデプロイ出来るモデルか否かを判定するための情報である。また、デバイスを無効化に対応しているか否かを判定することも可能になる。例えば、後述する実施例3に挙げるような特別なデバイスを前提にしている場合、当該モデルに搭載されているかを判定することが出来る。
【0044】
カラム517には、仮想化レイヤが格納されている。仮想化レイヤには、物理、仮想化機構、仮想サーバが存在する。これにより、それぞれのサーバがサーバ仮想化技術のどのレイヤに位置するかを判別することが可能であり、後述する実施例4に挙げるようなサーバ仮想化技術に起因したデバイス無効化方法を選択することが可能になる。
【0045】
カラム518には、仮想化種別が格納されている。仮想化製品を提供するベンダ名や製品名が格納される。これにより、情報取得のインタフェースやプロトコル、CIMといったモデルに対応しているか否かなど、情報取得を進める上で必要な情報である。前述のカラム517に記載した通り、デバイス無効化方法を選択するための情報である。
【0046】
図6は、サーバの論理情報に関するテーブル222を示す。カラム601は、サーバ識別子を格納しており、本識別子によって各サーバを一意に識別する。
【0047】
カラム602は、業務識別子が格納されている。業務Aの第1サーバ、第2サーバといった個々をサーバレベルまで特定する記述方法、業務Aで共通化されたソフトウェアのインストールを示し、業務レベルまでを特定する記述方法、システムで共通化されたソフトウェアのインストールを示し、共通環境レベルを特定する記述方法などがある。
【0048】
カラム603は、ディスクイメージ名が格納されている。ディスクイメージ名は、各ディスクイメージを特定するための識別子である。これは、サーバのディスクイメージを識別しており、業務とほぼ同義とみなすことが出来る。ただし、アプリケーションがインストールされていない状態のディスクイメージやOSやアプリケーションはインストールされているが、セットアップされていないディスクイメージが存在し、それらを配信することで業務回復を図ったり、業務を提供するサーバを増設することが容易になる。
【0049】
カラム604は、OS種別を格納している。SP(サービスパック)やパッチ情報を含めることで、セキュリティ対策が最新か否かを判別することが可能になる。また、メンテナンスという観点では、ブレードサーバ103の本情報を利用することでサーバの管理が簡単になるというメリットがある。テーブル内には特定のOSを記載しているが、その他のOSについても同様に記述することが可能であり、また本願の効果を得ることが出来る。
【0050】
カラム605は、OSが対応するCPUアーキテクチャが格納されている。ディスクイメージを配信する際に、対応するブレードサーバか否かを判定することで誤配信を回避することが可能になる。テーブル内に記載している特定のCPUアーキテクチャ以外についても同様に記述することが可能である。
【0051】
カラム606には、ホスト名を格納している。デプロイする際に、OS設定としてホスト名を設定する。その際に利用される情報である。カラム607には、OSのパスワードが格納されている。カラム606同様に、デプロイする際に、OS設定としてパスワードを設定する。その際に利用される情報である。
【0052】
カラム608(カラム609〜カラム610)には、IP情報が格納されている。カラム609に格納されるIP情報には、IPアドレス、サブネットマスク、デフォルトゲートウェイなどがある。デプロイする際に、OS設定としてIP情報を設定する。その際に利用される情報である。さらに、データセンタの運用ポリシによって、IPアドレスの範囲を指定することで、サーバ走査が可能になる。IPアドレスは、管理者やアプリケーションによっては、サーバを識別する識別子となる場合がある。
カラム610には、接続先ネットワークの種別が格納されている。管理用ネットワークに属するNICに割り当てたいIP情報、逆に業務用ネットワークに属するNICに割り当てたいIP情報が区別されていることで、デプロイメントの際のOSのパラメータ設定を実現する。
【0053】
カラム611(カラム612〜カラム616)はP.P.(プログラム・プロダクト)に関する情報を格納している。カラム612には、P.P.名が格納されている。業務を提供するために必要なミドルウェアやアプリケーション、夫々のバージョン情報などが格納されている。
【0054】
カラム613には、P.P.の固有情報が格納されている。各P.P.で使用するIPアドレス(論理IPアドレス)やポート番号などである。ポート番号は重複すると、ソフトウェアが起動しなかったり、業務を実行するP.P.の誤動作の原因にもなりうる。正常に動作させるため、また重複を避けるためにも各P.P.で使用する値を情報収集しておくことで、トラブルを回避することが出来る。例えば、JRE(Java Runtime Environment:Javaは登録商標です。)といった動作環境に関する制限事項が該当する。
【0055】
カラム614には、P.P.ごとの設定の要否を格納している。アプリケーションの持つ情報が他のブレードサーバで稼動しているアプリケーションと重複することが、デプロイメント時に発生しないように設定を完了した後にデバイスの回復処理を実行する必要がある。
カラム615には、P.P.ごとの設定の済または未済を格納している。カラム614同様に、設定情報が他のブレードサーバで提供しているアプリケーションと重複する事態を回避するため、設定の済または未済を管理する。
【0056】
カラム616には、管理手段を格納する。情報収集やブレードサーバの管理方法として、OSの標準インタフェースを使用する場合や、標準化されたインタフェースを利用する場合がある。管理モデルや通信プロトコルなどを格納する。
【0057】
図7は、アラート管理テーブル223を示す。アラートは、サービスプロセッサ104やブレードサーバ103から通知されるもの、図示を省略しているが管理サーバ101に接続する入出力装置からのユーザによるコマンドや指示として通知されるものがあり、これらを纏めてアラート管理テーブル223で管理する。
【0058】
カラム701には、アラート識別子を格納する。カラム702には、アラートの内容を格納する。ブレードサーバを挿入した契機で、情報を収集したり、デプロイメントを実行するなどのポリシをカラム703へ格納するために、アラートの種別を格納する。
【0059】
カラム703には、アラートがアクションをキックする契機(開始する契機)を格納する。契機については、大きく3つある。1つは、ブレードサーバがシャーシに挿入された契機や新規ブレードサーバを発見した契機である。2つ目は、デプロイメント開始要求である。3つ目は、無効化したデバイスを回復(有効化)する要求である。各アラートで、どのアクションをキックするかが判定できる。
【0060】
カラム704には、アラートがアクションを完了する契機を格納する。契機1からスタートして契機2へ突入せずに完了するアラートもあれば、契機3の完了まで完了するアラートも存在する。
【0061】
図8は、管理サーバ101とデプロイメント対象ブレードサーバ103との動作シーケンスを示す図である。
ステップ801で、管理サーバ101に契機1のアラートが通知される。
ステップ811で、管理サーバ101はブレードサーバ103を走査しサーバ登録する。
ステップ812で、管理サーバ101はブレードサーバ103の構成情報をデプロイメント対象ブレードサーバ103へ要求する。
【0062】
ステップ851で、デプロイメント対象ブレードサーバ103は自身の構成情報を収集する。
ステップ813で、デプロイメント対象ブレードサーバ103は管理サーバ101へ構成情報を通知する。
ステップ814で、管理サーバ101は管理テーブル群111を更新する。
【0063】
ステップ802で、管理サーバ101に契機2のアラートが通知される。ただし、アラートの種別によってはステップ802がドロップし、引き続き契機2以降のステップへ進む場合とステップ814で処理を完了するケースがある。
【0064】
ステップ815で、管理サーバ101はデプロイメント対象ブレードサーバ103へ電源ONを要求する。
ステップ852で、デプロイメント対象ブレードサーバ103は電源をONし、PXEブートを開始する。
【0065】
ステップ816で、デプロイメント対象ブレードサーバ103は管理サーバ101にミニOS(PXEブート時にデプロイメント対象ブレードサーバ103へ配信されるOSであり、MACアドレスやIPアドレスなどを管理し、ネットワークを用いたブート制御などを実行する。)を要求する。
ステップ817で、管理サーバ101はデプロイメント対象ブレードサーバ103へミニOSを送信する。このとき、無効化するデバイスに関する情報も送信する。同時に送信しても良いし、ミニOSがブートした後に管理サーバ101とミニOSが通信を行い、無効化するデバイスに関する情報をミニOSが取得しても良い。
【0066】
ステップ853で、デプロイメント対象ブレードサーバ103はミニOSをブートする。
ステップ854で、デプロイメント対象ブレードサーバ103はデプロイメントに関係しないデバイスを選択的に無効化するようBIOSへ設定する。各デバイスを制御するためにBIOSが管理しているデータの中で、デバイスの有効/無効を示すデータを、無効を示すように設定する。
【0067】
必要に応じて、ミニOSをリブートする。リブートした場合は、再度、ステップ852からやり直す。このとき、管理サーバ101は、何回目のブートかを覚えておく、またはブートしたミニOSが無効化すべきデバイスが無効化されているか否かを確認し、されていれば次へ進む。無効化されていない場合は、無効化し必要に応じてリブートを実施する。これにより、デプロイメントを実行している間、デプロイメント対象ブレードサーバ103を業務用ネットワークから隔離することが可能である。
【0068】
ステップ855で、デプロイメント対象ブレードサーバ103はディスクイメージをストレージ装置へコピーする。
ステップ856で、デプロイメント対象ブレードサーバ103はミニOSをリブートする。
【0069】
ステップ818で、デプロイメント対象ブレードサーバ103はOS設定パラメータを要求する。
ステップ819で、管理サーバ101はOS設定パラメータをデプロイメント対象ブレードサーバ103へ送信する。
ステップ857で、デプロイメント対象ブレードサーバ103はOSパラメータを設定する。
ステップ858で、デプロイメント対象ブレードサーバ103はリブートを実行する。
ステップ820で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS起動通知を送信する。
【0070】
ステップ821で、管理サーバ101はデプロイメント対象ブレードサーバ103へOS設定以外のパラメータを送信する。
ステップ859で、デプロイメント対象ブレードサーバ103はOS設定以外のパラメータを設定する。
ステップ822で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS以外のパラメータ設定完了通知を送信する。
【0071】
ステップ803で、管理サーバ101に契機3のアラートが通知される。ただし、アラートの種別によってはステップ803がドロップし、引き続き契機3以降のステップへ進む場合とステップ822で処理を完了するケースがある。
【0072】
ステップ823で、管理サーバ101はデプロイメント対象ブレードサーバ103へ無効化したデバイスの有効化要求を送信する。
ステップ860で、デプロイメント対象ブレードサーバ103は無効化したデバイスを回復(有効化)する処理をBIOS設定で実施し、リブートする。有効化する処理のBIOS設定は、前述のデバイスの有効/無効を示すデータを、有効を示すようにする。
【0073】
ステップ824で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS起動通知を送信する。
ステップ825で、管理サーバ101はデプロイメント対象ブレードサーバ103へOS設定以外のパラメータを送信する。
ステップ861で、デプロイメント対象ブレードサーバ103はOS設定以外のパラメータを設定する。本ステップにより、デバイスが無効化されていたために設定が出来なかったパラメータを設定可能である。
ステップ826で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS設定以外のパラメータを設定完了したことを通知して処理を完了する。
【0074】
図9は、制御部110の処理フローチャートを示す。
ステップ1001で、アラートを受信しアラート管理テーブル223を参照する。
ステップ1002で、アラート種別を判定する。アラート種別が契機1の場合はステップ1003へ進み、アラート種別が契機2の場合はステップ1007へ進み、アラート種別が契機3の場合はステップ1011へ進む。
【0075】
ステップ1003で、サーバ走査部210が監視契機で走査を実施する。
ステップ1004で、新たに発見したブレードサーバ103をサーバ登録部211が管理テーブル群111へ登録する。
ステップ1005で、サーバ構成取得部216が登録されたブレードサーバ103の構成情報を取得し、管理テーブル群111を更新する。
ステップ1006で、デプロイメント実行要求の有無を判定する。要求がある場合はステップ1008へ進み、要求がない場合は処理を完了する。
【0076】
ステップ1007で、デバイス無効化制御部213がデプロイメントに要するデバイス以外を無効化し、デプロイ制御部212がデプロイメントを実行する。
ステップ1008で、「無効化したデバイスを有効化する要求」の有無を判定する。要求がある場合はステップ1009へ進み、要求がない場合は処理を完了する。
【0077】
ステップ1009で、デバイス有効化制御部214がデバイスの有効化を要求する。
ステップ1010で、有効化したデバイスに関する設定の要否を判定する。必要がある場合はステップ1011へ進み、必要がない場合は処理を完了する。
ステップ1011で、パラメータ設定部215が有効化したデバイスに関する設定を要求し処理を完了する。
【0078】
図10は、サーバ走査部210の処理フローチャートを示す。
ステップ1101で、サーバを定期監視する。このステップでは、監視開始契機を発行する。ただし、監視契機の発行は定期的なものでなくても良く、スケジュール運転でも良い。また、シャーシ102にブレードサーバ103が挿入されたアラートや、UI(User Interface)を介してユーザが、契機を与えても良い。
ステップ1102で、既存のサーバ走査方法でブレードサーバ103を検出し、処理を完了する。具体的には、格納されているIPアドレスの範囲に対して、pingパケットを送信し、サーバからの返信を受信する。返信があったIPアドレスを記録し、サーバ検出とする。また、走査方法に格納されているプロトコル(例えば、ssh)でホスト名指定で接続を試みる。ログインが成功する必要はなく、接続を受け付ける状態であればサーバが存在することになるため、サーバ検出とする。これらに限らず、サーバの存在を確認できる方法であれば手法は問わない。
【0079】
図11は、サーバ登録部211の処理フローチャートを示す。
ステップ1201で、サーバ管理テーブル221とサーバの論理情報に関するテーブル222を参照し、発見したサーバが新規か否かを判定する。pingで発見した場合には、IPアドレスが判明しているため、サーバの論理情報に関するテーブル222のカラム608のIP情報を参照し、登録がされていなければ新規と判定し、ステップ1202へ進む。逆に、登録があれば新規でないと判定し、処理を完了する。
ステップ1202で、サーバ管理テーブル221とサーバの論理情報に関するテーブル222へエントリを追加し、処理を完了する。
【0080】
図12は、サーバ構成取得部214の処理フローチャートを示す。
ステップ1301で、サーバ管理テーブル221を参照し、新規エントリを検出し登録済み情報を読み出す。
ステップ1302で、サーバの論理情報に関するテーブル222を参照し、ステップ1301で検出した新規エントリに関して登録済みの情報を読み出す。
ステップ1303で、サーバの構成情報を取得する。IPアドレスを用い、サーバの論理情報に関するテーブル222から読み出したIDとパスワード情報を使って、新規エントリのサーバへログインする。その後、WMI(Windows Management Instrumentation:Windowsは登録商標です。)を使って、サーバやOSに関する情報を取得する。または、エージェントプログラムを送り込み、情報を取得しても良い。
ステップ1304で、ステップ1303で取得した情報を、サーバ管理テーブル221へ格納する。
ステップ1305で、ステップ1303で取得した情報を、サーバの論理情報に関するテーブル222へ格納し、処理を完了する。
【0081】
図13は、デプロイ制御部212の処理フローチャートを示す。
ステップ1401で、電源ONを要求する。
ステップ1402で、デバイス無効化要求の有無を判定する。要求がある場合はステップ1403へ進み、要求がない場合はステップ1409へ進む。
【0082】
ステップ1403で、デバイス無効化制御部213へ管理用ネットワークに接続されたNICのMACアドレスを通知する。
ステップ1404で、PXEブートに対応したミニOSを送付する。このとき、無効化するNICに関する情報を送っても良いし、ミニOSが管理サーバ101と通信して情報を取得しても良い。このステップにおいて、BIOSの設定を用い、指定されたデバイスを無効化(無効化するデバイスを指定する場合)、もしくは指定されなかったデバイスを無効化(デプロイメントに使用するデバイスを指定する場合)する。
一方、ステップ1409では、ミニOSを送付し、無効化しない。
【0083】
ステップ1405で、ミニOSがディスクイメージをデプロイメント対象ブレードサーバ103のストレージ装置へコピーする。
ステップ1406で、OS設定パラメータを設定する。
ステップ1407で、OS設定パラメータ以外の設定値が存在するか否かを判定する。存在する場合ステップ1408へ進み、存在しない場合処理を完了する。
ステップ1408で、OS設定パラメータ以外の設定値を送付し、処理を完了する。
【0084】
図14は、デバイス無効化制御部213の処理フローチャートである。
ステップ1501で、サーバ管理テーブル221を参照する。
ステップ1502で、サーバ管理テーブル221を更新する。
ステップ1503で、デプロイ制御部212にデプロイメントに関連しないデバイスの無効化を要求し、処理を完了する。
【0085】
図15は、デバイス有効化制御部214の処理フローチャートである。
ステップ1601で、サーバ管理テーブル221を参照する。
ステップ1602で、無効化したデバイスの有効化を要求する。
ステップ1603で、サーバ管理テーブル221を更新し、処理を完了する。
【0086】
図16は、パラメータ設定部215の詳細フローチャートである。
ステップ1701で、サーバの論理情報に関するテーブル222を参照する。
ステップ1702で、パラメータを設定する。
ステップ1703で、サーバの論理情報に関するテーブル222を更新し処理を完了する。
【実施例2】
【0087】
本実施例の実施例1との差分は、デバイスの無効化をOS機能で実現する点である(実施例1では、BIOS設定を利用)。そのため、実施例1とは処理の順序や項目が少し変更されているため、特にその点を詳述する。
【0088】
図17は、管理サーバ101とデプロイメント対象ブレードサーバ103との動作シーケンスを示す図である。ステップ801に相当する契機1に関しては、実施例1と同じであるため説明を省略する。
【0089】
ステップ802で、管理サーバ101に契機2のアラートが通知される。ただし、アラートの種別によってはステップ802がドロップし、引き続き契機2以降のステップへ進む場合と前ステップ(契機1の処理)で処理を完了するケースがある。
ステップ1811で、管理サーバ101はデプロイメント対象ブレードサーバ103へ電源ONを要求する。
ステップ1851で、デプロイメント対象ブレードサーバ103は電源をONし、PXEブートを開始する。
【0090】
ステップ1812で、デプロイメント対象ブレードサーバ103は管理サーバ101にミニOSを要求する。
ステップ1813で、管理サーバ101はデプロイメント対象ブレードサーバ103へミニOSを送信する。このとき、無効化するデバイスに関する情報も送信する。同時に送信しても良いし、ミニOSがブートした後に管理サーバ101とミニOSが通信を行い、無効化するデバイスに関する情報をミニOSが取得しても良い。
ステップ1852で、デプロイメント対象ブレードサーバ103はミニOSをブートする。
【0091】
ステップ1853で、デプロイメント対象ブレードサーバ103はデプロイメントに関係しないデバイスを選択的に無効化するようOSへ設定する。各デバイスを制御するためにOSが管理しているデータの中で、デバイスの有効/無効を示すデータを、無効を示すように設定する。この設定のためには、OSに含まれている、デバイスを制御するためのデバイスマネージャなどと呼ばれるプログラムを利用する。
【0092】
必要に応じて、デバイスのサービスを再起動する。またはOS自体をリブートする。リブートした場合は、再度、ステップ1851からやり直す。このとき、管理サーバ101は、何回目のブートかを覚えておく、またはブートしたミニOSが無効化したいデバイスが無効化されているか否かを確認し、されていれば次へ進む。無効化されていない場合は、無効化し必要に応じてサービスの再起動またはOSのリブートを実施する。これにより、デプロイメントを実行している間、デプロイメント対象ブレードサーバ103を業務用ネットワークから隔離することが可能である。
【0093】
ステップ1854で、デプロイメント対象ブレードサーバ103はディスクイメージをストレージ装置へコピーする。
ステップ1855で、デプロイメント対象ブレードサーバ103はミニOSをリブートする。
ステップ1856で、デプロイしたOSがブートされる。
【0094】
ステップ1814で、デプロイメント対象ブレードサーバ103はOS設定パラメータを要求する。
ステップ1815で、管理サーバ101はデプロイメント対象ブレードサーバ103へNIC無効化要求をする。
ステップ1857で、デプロイメント対象ブレードサーバ103はデプロイに関連しないデバイスをOS機能によって選択的に無効化する。
ステップ1816で、デプロイメント対象ブレードサーバ103は管理サーバへNIC無効化完了通知を送信する。
【0095】
ステップ1817で、管理サーバ101はOS設定パラメータをデプロイメント対象ブレードサーバ103へ送信する。
ステップ1858で、デプロイメント対象ブレードサーバ103はOSパラメータを設定する。
ステップ1859で、デプロイメント対象ブレードサーバ103はリブートを実行する。
ステップ1818で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS起動通知を送信する。
【0096】
ステップ1819で、管理サーバ101はデプロイメント対象ブレードサーバ103へOS設定以外のパラメータを送信する。
ステップ1860で、デプロイメント対象ブレードサーバ103はOS設定以外のパラメータを設定する。
ステップ1820で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS以外のパラメータ設定完了通知を送信する。
【0097】
ステップ803で、管理サーバ101に契機3のアラートが通知される。ただし、アラートの種別によってはステップ803がドロップし、引き続き契機3以降のステップへ進む場合とステップ1820で処理を完了するケースがある。
【0098】
ステップ1821で、管理サーバ101はデプロイメント対象ブレードサーバ103へ無効化したデバイスの有効化要求を送信する。
ステップ1861で、デプロイメント対象ブレードサーバ103は無効化したデバイスを回復(有効化)する処理をOS設定で実施し、デバイスのサービスを再起動またはOSをリブートする。本ステップは、デバイスを無効化してデプロイメントを実行することから必要となる回復処理である。なお、デバイスを回復(有効化)する処理には、前述のデバイスマネージャなどと呼ばれるプログラムを利用する。
【0099】
ステップ1822で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS起動通知またはサービス再起動完了通知を送信する。
ステップ1823で、管理サーバ101はデプロイメント対象ブレードサーバ103へOS設定以外のパラメータを送信する。
ステップ1862で、デプロイメント対象ブレードサーバ103はOS設定以外のパラメータを設定する。本ステップにより、デバイスが無効化されていたために設定が出来なかったパラメータを設定可能である。
ステップ1824で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS設定以外のパラメータを設定完了したことを通知して処理を完了する。
【0100】
図18は、デプロイ制御部212の処理フローチャートを示す。
ステップ2001で、電源ONを要求する。
ステップ2002で、デバイス無効化要求の有無を判定する。要求がある場合はステップ2003へ進み、要求がない場合はステップ2010へ進む。
【0101】
ステップ2003で、デバイス無効化制御部213へ管理用ネットワークに接続されたNICのMACアドレスを通知する。
ステップ2004で、PXEブートに対応したミニOSを送付する。このとき、無効化するNICに関する情報を送っても良いし、ミニOSが管理サーバ101と通信して情報を取得しても良い。このステップにおいて、OSの設定を用い、指定されたデバイスを無効化(無効化するデバイスを指定する場合)、もしくは指定されなかったデバイスを無効化(デプロイメントに使用するデバイスを指定する場合)する。
【0102】
一方、ステップ2010で、ミニOSを送付し、無効化しない。
【0103】
ステップ2005で、ミニOSがディスクイメージをデプロイメント対象ブレードサーバ103のストレージ装置へコピーする。
ステップ2006で、OSパラメータを要求された契機でデプロイしたOSに対しデバイスの無効化を要求する。本ステップは、OS機能を利用した無効化を実行するために発生するステップである。
ステップ2007で、OS設定パラメータを設定する。
【0104】
ステップ2008で、OS設定パラメータ以外の設定値が存在するか否かを判定する。存在する場合ステップ2009へ進み、存在しない場合処理を完了する。
ステップ2009で、OS設定パラメータ以外の設定値を送付し、処理を完了する。
【0105】
図19は、デバイス無効化制御部213の処理フローチャートを示す。
ステップ2101で、アラートを受信する。
ステップ2102で、アラート管理テーブル223を参照する。
ステップ2103で、アラート種別を判定する。「開始」であればステップ2104へ進み、「完了」であればステップ2107へ進む。
【0106】
ステップ2104で、サーバ管理テーブル221を参照する。
ステップ2105で、サーバ管理テーブル221を更新する。
ステップ2106で、デプロイ制御部212にデプロイメントに関連しないデバイスの無効化を要求し、処理を完了する。
【0107】
「開始」では、サーバ管理テーブル221内の「初期値」(カラム509)が「有効」で「状態」(カラム510)が「有効」にセットされていることを確認し無効化する。
ステップ2107で、サーバ管理テーブル221を参照する。
ステップ2108で、デプロイ制御部212にデプロイメントに関連しないデバイスの無効化を要求し、処理を完了する。
【0108】
「完了」では、サーバ管理テーブル221内の「状態」(カラム510)は「無効」にセットされていることを確認し無効化する。「開始」の場合と、同じテーブルを参照するものの参照するカラムと判断基準が異なる。
【実施例3】
【0109】
本実施例の、実施例1や実施例2との差分は、デバイスの無効化をハードウェアで実現する点である。
【0110】
図20は、実施例3におけるブレードサーバ103の構成を示す。演算を処理するCPU301、CPU301で演算するプログラムや、プログラムの実行に伴うデータを格納するメモリ302、プログラムやデータを格納するストレージ装置とのディスクインタフェース304、IPネットワークを介した通信のためのネットワークインタフェース303、電源制御や各インタフェースの制御を行うBMC(Basement Management Controller)305を有する。メモリ302上のOSがCPU301によって実行され、ブレードサーバ103内のデバイス管理を行っている。OS311の下で、業務を提供するアプリケーションなどが動作する。
【0111】
ネットワークインタフェース303は、パケットを送受信するインタフェース2201、BMC305から指示を受けスイッチ2203を制御するコントローラ2202、ネットワークインタフェース機能2204とインタフェース2201の物理的なON/OFF状態を切り替えるスイッチ2203、ネットワークインタフェース機能2204を有する。BMC305は、管理サーバ101と接続されており、管理サーバ101からの接続状態変更要求を受け、物理接続のON/OFFを切り替える指示をコントローラ2202へ出す。これにより、ネットワークインタフェース機能2204を外部のネットワークから隔離することが可能になる。デプロイメントを実行している間、物理的な接続状態をOFFにしておくことで、ブレードサーバ102で稼動するOSからはデバイスが有効であるにもかかわらず、物理的に業務を提供するネットワークからは隔離されるという状態へブレードサーバ103をおくことが可能になる。このスイッチを具備する構成は、ネットワークインタフェース303だけでなく、ディスクインタフェース304が持つことも可能である。これにより、デプロイメントに関係しないストレージ装置を隔離し、データ破壊のリスクからシステムを隔離することが可能になる。
【0112】
図21は、管理サーバ101とデプロイメント対象ブレードサーバ103との動作シーケンスを示す図である。
ステップ801に相当する契機1に関しては、実施例1と同じであるため説明を省略する。
ステップ802で、管理サーバ101に契機2のアラートが通知される。ただし、アラートの種別によってはステップ802がドロップし、引き続き契機2以降のステップへ進む場合と前ステップ(契機1の処理)で処理を完了するケースがある。
【0113】
ステップ2301で、管理サーバ101はデプロイメント対象ブレードサーバ103へ電源ONを要求する。
ステップ2351で、デプロイメント対象ブレードサーバ103は電源をONし、PXEブートを開始する。
【0114】
ステップ2302で、デプロイメント対象ブレードサーバ103は管理サーバ101にミニOSを要求する。
ステップ2303で、管理サーバ101はデプロイメントに関係しないデバイスを選択的に無効化するようデプロイメント対象ブレードサーバ103内のBMC305へ要求する。BMC305は、デバイスのコントローラ2202へスイッチ2203の接続状態をOFFにするよう要求する。
ステップ2304で、デプロイメント対象ブレードサーバ103は管理サーバ101へデバイス無効化完了通知を送信する。デプロイメント対象ブレードサーバ103内のBMC305がデバイス無効化完了通知を管理サーバ101へ送信する。
【0115】
ステップ2305で、管理サーバ101はデプロイメント対象ブレードサーバ103へミニOSを送信する。
ステップ2353で、デプロイメント対象ブレードサーバ103はミニOSをブートする。
ステップ2354で、デプロイメント対象ブレードサーバ103はディスクイメージをストレージ装置へコピーする。
ステップ2355で、デプロイメント対象ブレードサーバ103はミニOSをリブートする。
ステップ2356で、デプロイしたOSがブートされる。
【0116】
ステップ2306で、デプロイメント対象ブレードサーバ103はOS設定パラメータを要求する。
ステップ2307で、管理サーバ101はOS設定パラメータをデプロイメント対象ブレードサーバ103へ送信する。
ステップ2357で、デプロイメント対象ブレードサーバ103はOSパラメータを設定する。
ステップ2358で、デプロイメント対象ブレードサーバ103はリブートを実行する。
ステップ2308で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS起動通知を送信する。
【0117】
ステップ2309で、管理サーバ101はデプロイメント対象ブレードサーバ103へOS設定以外のパラメータを送信する。
ステップ2359で、デプロイメント対象ブレードサーバ103はOS設定以外のパラメータを設定する。このステップで、残りの全てのパラメータを設定することが可能である。これは、デバイスは有効なまま接続状態のみをON/OFFしていることに起因する。
ステップ2310で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS以外のパラメータ設定完了通知を送信する。
【0118】
ステップ803で、管理サーバ101に契機3のアラートが通知される。ただし、アラートの種別によってはステップ803がドロップし、引き続き契機3以降のステップへ進む場合とステップ2310で処理を完了するケースがある。
ステップ2311で、管理サーバ101はデプロイメント対象ブレードサーバ103へ無効化したデバイスの有効化要求を送信する。
ステップ2360で、デプロイメント対象ブレードサーバ103は無効化したデバイスを回復(有効化)する処理をBMC305の指示によってスイッチ2203の接続状態をONにすることで実現する。本ステップは、デバイスを無効化してデプロイメントを実行することから必要となる回復処理である。デバイスは有効にしたまま接続状態のみをON/OFFするため、デバイスのサービスを再起動する必要もなく、またOSのリブートも必要ない。
ステップ2312で、デプロイメント対象ブレードサーバ103はデバイス有効化完了通知を管理サーバ101へ送信し、処理を完了する。
【0119】
なお、スイッチ2203はブレードサーバ挿入時にブレードサーバ103(例えば、BMC305)が挿入を検知し、コントローラ2202へ接続OFFを指示しても良い。また、障害に関するアラートを契機として、スイッチの接続をOFFにしても良い。この障害アラートは、ハードウェアに類するものであっても良いし、OSなどのソフトウェアに類するものであっても良い。
【0120】
図22は、実施例3におけるデプロイ制御部212の処理フローチャートを示す。
ステップ2501で、電源ONを要求する。
ステップ2502で、デバイス無効化要求の有無を判定する。要求がある場合はステップ2503へ進み、要求がない場合はステップ2504へ進む。
【0121】
ステップ2503で、デバイス無効化制御部213へ管理用ネットワークに接続されたNICのMACアドレスを通知する。
【0122】
ステップ2504で、PXEブートに対応したミニOSを送付する。
ステップ2505で、ミニOSがディスクイメージをデプロイメント対象ブレードサーバ103のストレージ装置へコピーする。
ステップ2506で、OS設定パラメータを設定する。
【0123】
ステップ2507で、OS設定パラメータ以外の設定値が存在するか否かを判定する。存在する場合ステップ2508へ進み、存在しない場合処理を完了する。
ステップ2508で、OS設定パラメータ以外の設定値を送付し、処理を完了する。
【0124】
図23は、実施例3におけるデバイス無効化制御部213の処理フローチャートを示す。
ステップ2601で、サーバ管理テーブル221を参照する。
ステップ2602で、サーバ管理テーブル221を更新する。
【0125】
ステップ2603で、BMC305にデプロイメントに関連しないデバイスの無効化を要求し、処理を完了する。BMC305は、ネットワークインタフェース303内のコントローラ2202にネットワークインタフェース機能2204とインタフェース2201の物理的接続をOFFするようスイッチ2203へ要求する。本実施例の構成では、ブレードサーバ103上で稼動するOSからネットワークインタフェース機能2204は動作しており、デバイスが正常に動作しているように見える。そのため、デバイスが動作していないと設定できないパラメータも設定が可能である。また、ディスクインタフェース304についても、同様なデバイス構成を持つことで同様の効果を得ることが出来る。加えて、デプロイメントを実行する間に接続状態をOFFにすることで、ストレージ装置を隔離することが出来るため、ストレージ装置内のデータをデータ破壊から守ることが可能になる。
【0126】
図24は、デバイス有効化制御部214の処理フローチャートを示す。
ステップ2701で、サーバ管理テーブル221を参照する。
ステップ2702で、無効化したデバイスの有効化をBMC305へ要求する。BMC305は、ネットワークインタフェース303内のコントローラ2202にネットワークインタフェース機能2204とインタフェース2201の物理的接続をONするようスイッチ2203へ要求する。
ステップ2703で、サーバ管理テーブル221を更新し、処理を完了する。
【0127】
図25は、管理サーバ101とデプロイメント対象ブレードサーバ103との動作シーケンスを示す図である。図21のシーケンス図とは、デバイスの無効化するタイミングが異なっている。また、契機3(803)以降のシーケンスは図21と同じため、説明を省略する。また、ステップ801に相当する契機1は、実施例1と同じであるため説明を省略する。
【0128】
ステップ802で、管理サーバ101に契機2のアラートが通知される。ただし、アラートの種別によってはステップ802がドロップし、引き続き契機2以降のステップへ進む場合と前ステップ(契機1の処理)で処理を完了するケースがある。
【0129】
ステップ2801で、管理サーバ101はデプロイメントに関係しないデバイスを選択的に無効化するようデプロイメント対象ブレードサーバ103内のBMC305へ要求する。
ステップ2851で、BMC305は、デバイスのコントローラ2202へスイッチ2203の接続状態をOFFにするよう要求する。
ステップ2802で、デプロイメント対象ブレードサーバ103は管理サーバ101へデバイス無効化完了通知を送信する。デプロイメント対象ブレードサーバ103内のBMC305がデバイス無効化完了通知を管理サーバ101へ送信する。
【0130】
ステップ2803で、管理サーバ101はデプロイメント対象ブレードサーバ103へ電源ONを要求する。
ステップ2852で、デプロイメント対象ブレードサーバ103は電源をONし、PXEブートを開始する。
【0131】
ステップ2804で、デプロイメント対象ブレードサーバ103は管理サーバ101にミニOSを要求する。
ステップ2805で、管理サーバ101はデプロイメント対象ブレードサーバ103へミニOSを送信する。
ステップ2853で、デプロイメント対象ブレードサーバ103はミニOSをブートする。
ステップ2854で、デプロイメント対象ブレードサーバ103はディスクイメージをストレージ装置へコピーする。
ステップ2855で、デプロイメント対象ブレードサーバ103はミニOSをリブートする。
ステップ2856で、デプロイしたOSがブートされる。
【0132】
ステップ2806で、デプロイメント対象ブレードサーバ103はOS設定パラメータを要求する。
ステップ2807で、管理サーバ101はOS設定パラメータをデプロイメント対象ブレードサーバ103へ送信する。
ステップ2857で、デプロイメント対象ブレードサーバ103はOSパラメータを設定する。
ステップ2858で、デプロイメント対象ブレードサーバ103はリブートを実行する。
ステップ2808で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS起動通知を送信する。
【0133】
ステップ2809で、管理サーバ101はデプロイメント対象ブレードサーバ103へOS設定以外のパラメータを送信する。
ステップ2859で、デプロイメント対象ブレードサーバ103はOS設定以外のパラメータを設定する。このステップで、残りの全てのパラメータを設定することが可能である。これは、デバイスは有効なまま接続状態のみをON/OFFしていることに起因する。
ステップ2810で、デプロイメント対象ブレードサーバ103は管理サーバ101へOS以外のパラメータ設定完了通知を送信する。
【0134】
このシーケンスに基づく処理フローの良い点は、一般的なデプロイメントの処理手順から変更しなくても良いところである。これにより、従来のデプロイメント製品またはデプロイメントを用いたソリューションへの適用が容易となる。
【0135】
図26は、実施例3におけるデプロイ制御部212の処理フローチャートを示す。図22とは、デバイスを無効化するタイミングが異なっている。
【0136】
ステップ3001で、デバイス無効化要求の有無を判定する。要求がある場合はステップ3002へ進み、要求がない場合はステップ3003へ進む。
ステップ3002で、デバイス無効化制御部213へ管理用ネットワークに接続されたNICのMACアドレスを通知する。
【0137】
ステップ3003で、電源ONを要求する。
ステップ3004で、PXEブートに対応したミニOSを送付する。
ステップ3005で、ミニOSがディスクイメージをデプロイメント対象ブレードサーバ103のストレージ装置へコピーする。
ステップ3006で、OS設定パラメータを設定する。
【0138】
ステップ3007で、OS設定パラメータ以外の設定値が存在するか否かを判定する。存在する場合ステップ3008へ進み、存在しない場合処理を完了する。
ステップ3008で、OS設定パラメータ以外の設定値を送付し、処理を完了する。
【0139】
デバイス無効化制御部213とデバイス有効化制御部214については、それぞれ図23と図24と同じであるので、説明を省略する。
【実施例4】
【0140】
本実施例の実施例1、実施例2、及び実施例3との差分は、デバイスの無効化を、サーバ仮想化技術を用いて実現する点である。
【0141】
図27は、実施例4におけるブレードサーバ103の構成を示す。演算を処理するCPU301、CPU301で演算するプログラムや、プログラムの実行に伴うデータを格納する記メモリ302、プログラムやデータを格納するストレージ装置とのディスクインタフェース304、IPネットワークを介して通信を行うためのネットワークインタフェース303、電源制御や各インタフェースの制御を行うBMC(Basement Management Controller)305から構成される。メモリ302には、計算機資源を仮想化するサーバ仮想化技術を提供する仮想化機構3101が配備され、仮想サーバ3102を提供する。また、仮想化機構3101は、制御用インタフェースとして仮想化機構管理用インタフェース3111を備えている。仮想化機構3101は、ブレードサーバ103の計算機資源を仮想化し、仮想サーバ3102を構成する。仮想サーバ3102は、仮想CPU3121、仮想メモリ3122、仮想ネットワークインタフェース3123、仮想ディスクインタフェース3124から構成されている。仮想メモリ3122には、OSが配信され仮想サーバ3102内の仮想デバイスを管理している。仮想化機構3101は、物理デバイスと論理デバイスの対応付けを管理しており、対応付けたり対応付けを解除したりすることが出来る。論理デバイスと物理デバイスとの対応付けを解除することで、物理デバイスが接続されているネットワークから論理的に仮想サーバを隔離することが可能である。また、仮想化機構管理用インタフェース3111を通じて仮想デバイスを閉塞したり、仮想化機構3101を通じた仮想サーバ3102間の通信を抑止することで、論理的に仮想サーバ3102を物理デバイスが接続されているネットワークから隔離することが可能である。これらの隔離方法を用いることで、実施例1から3において詳述してきた「業務用ネットワークからサーバを隔離」することが可能となる。
【0142】
図28は、管理サーバ101とデプロイメント対象仮想サーバ3102および仮想化機構3101との動作シーケンスを示す図である。
ステップ801に相当する契機1は、実施例1と同じであるため説明を省略する。
ステップ802で、管理サーバ101に契機2のアラートが通知される。ただし、アラートの種別によってはステップ802がドロップし、引き続き契機2以降のステップへ進む場合と前ステップ(契機1の処理)で処理を完了するケースがある。
【0143】
ステップ3201で、管理サーバ101はデプロイメント対象仮想サーバ3102へ電源ONを要求する。
ステップ3261で、デプロイメント対象仮想サーバ3102は電源をONし、PXEブートを開始する。
【0144】
ステップ3202で、デプロイメント対象仮想サーバ3102は管理サーバ101にミニOSを要求する。
ステップ3203で、管理サーバ101は仮想化機構3101へデバイスの無効化を要求する。管理サーバ101は、仮想化機構管理用インタフェース3111を通じて、仮想化機構3101へ要求を伝える。
【0145】
ステップ3251で、仮想化機構3101はデプロイメントに必要ないデバイスを選択的に無効化する。無効化する方法は、物理デバイスと仮想デバイスの対応付けを一時的に解除しても良いし、仮想デバイスを一時的に閉塞しても良いし、仮想デバイスの通信を抑止しても良い。対応付けの解除は、たとえば仮想デバイスに対応する物理デバイスが存在しないように対応付けテーブルのデータを書き換えること、又は仮想デバイスと物理デバイスとの間の変換を実行しないことにより実現する。後者が仮想デバイスの閉塞や抑止であり、対応付けテーブルはそのままとし、無効化対象の仮想デバイスが指定されたデバイスアクセスなどの制御命令が発行されたならば、無効化の対象であることを確認した上で、仮想デバイスを物理デバイスに変換せずに、実質的にその制御命令を実行しないように制御する。NICの場合、実質的に通信を実行できないように制御しても良い。これにより、デプロイメントを実行している間、デプロイメント対象仮想サーバ3102を業務用ネットワークから隔離することが可能である。
ステップ3204で、仮想化機構3101は管理サーバ101へデバイス無効化完了を通知する。
【0146】
ステップ3205で、管理サーバ101はデプロイメント対象仮想サーバ3102へミニOSを送信する。
ステップ3262で、デプロイメント対象仮想サーバ3102はミニOSをブートする。
ステップ3263で、デプロイメント対象仮想サーバ3102はディスクイメージをストレージ装置へコピーする。
ステップ3264で、デプロイメント対象仮想サーバ3102はミニOSをリブートする。
ステップ3265で、デプロイしたOSがブートされる。
【0147】
ステップ3206で、デプロイメント対象仮想サーバ3102はOS設定パラメータを要求する。
ステップ3207で、管理サーバ101はデプロイメント対象仮想サーバ3102へOS設定パラメータを送信する。
ステップ3266で、デプロイメント対象仮想サーバ3102はOSパラメータを設定する。
ステップ3267で、デプロイメント対象仮想サーバ3102はリブートを実行する。
ステップ3208で、デプロイメント対象仮想サーバ3102は管理サーバ101へOS起動通知を送信する。
【0148】
ステップ3209で、管理サーバ101はデプロイメント対象仮想サーバ3102へOS設定以外のパラメータを送信する。
ステップ3268で、デプロイメント対象仮想サーバ3102はOS設定以外のパラメータを設定する。
ステップ3210で、デプロイメント対象仮想サーバ3102は管理サーバ101へOS以外のパラメータ設定完了通知を送信する。
【0149】
ステップ803で、管理サーバ101に契機3のアラートが通知される。ただし、アラートの種別によってはステップ803がドロップし、引き続き契機3以降のステップへ進む場合とステップ3210で処理を完了するケースがある。
【0150】
ステップ3211で、管理サーバ101はデプロイメント対象仮想サーバ3102へ無効化したデバイスの有効化要求を送信する。
ステップ3252で、仮想化機構3101は無効化したデバイスを回復(有効化)する処理を実施する。デバイスを回復(有効化)する処理は、前述のステップ3251の処理と逆にし、デバイス制御命令を実行できるようにする。
ステップ3212で、仮想化機構3101は管理サーバ101へデバイスの有効化完了を通知する。
【0151】
ステップ3213で、管理サーバ101はデプロイメント対象仮想サーバ3102にOSのリブートを要求する。
ステップ3269で、デプロイメント対象仮想サーバ3102はOSをリブートする。
ステップ3214で、デプロイメント対象仮想サーバ3102は管理サーバ101へOS起動を通知する。
【0152】
ステップ3215で、管理サーバ101はデプロイメント対象仮想サーバ3102へOS設定以外のパラメータを送信する。
ステップ3270で、デプロイメント対象仮想サーバ3102はOS設定以外のパラメータを設定する。本ステップにより、デバイスが無効化されていたために設定が出来なかったパラメータを設定可能である。
ステップ3216で、デプロイメント対象仮想サーバ3102は管理サーバ101へOS設定以外のパラメータを設定完了したことを通知して処理を完了する。
【0153】
図29は、実施例4におけるデバイス無効化制御部213の処理フローチャートを示す。
ステップ3401で、サーバ管理テーブル221を参照する。
ステップ3402で、サーバ管理テーブル221を更新する。
ステップ3403で、BMC305にデプロイメントに関連しないデバイスの無効化を要求し、処理を完了する。管理サーバ101は、仮想化機構3101に仮想化機構管理用インタフェース3111経由でデプロイメントに関連しない仮想デバイスの無効化を要求し、処理を完了する。具体的には、物理デバイスと仮想デバイスとの対応付けを解除する、仮想デバイスを閉塞する、仮想デバイスの通信を抑止する、などの制御を実施する。これにより、仮想デバイスを経由して業務用ネットワークへ接続されている仮想サーバを、業務用ネットワークから隔離することが可能になる。物理デバイスと仮想デバイスの対応付けを解除する方法や仮想デバイスの通信を抑止する方法は、仮想デバイスが稼動状態であるため、デバイスが動作していないと設定できないパラメータも設定が可能である。また、ディスクインタフェース304についても、同様なデバイス構成を持つことで同様の効果を得ることが出来る。加えて、デプロイメントを実行する間に接続状態をOFFにすることで、ストレージ装置を隔離することが出来るため、ストレージ装置内のデータをデータ破壊から守ることが可能になる。
【0154】
図30は、デバイス有効化制御部214の処理フローチャートを示す。
ステップ3501で、サーバ管理テーブル221を参照する。
ステップ3502で、無効化したデバイスの有効化を仮想化機構3101へ要求する。仮想化機構3101は、物理デバイスと仮想デバイスの対応付けを回復させる、仮想デバイスの閉塞を解除し動作させる、仮想デバイス間の通信を回復させる、を無効化した方法に合わせて実施する。
ステップ3503で、サーバ管理テーブル221を更新し、処理を完了する。
【0155】
図31は、管理サーバ101とデプロイメント対象仮想サーバ3102および仮想化機構3101との動作シーケンスを示す図である。図28のシーケンス図とは、デバイスの無効化するタイミングが異なっている。
【0156】
ステップ801に相当する契機1は、実施例1と同じであるため説明を省略する。
ステップ802で、管理サーバ101に契機2のアラートが通知される。ただし、アラートの種別によってはステップ802がドロップし、引き続き契機2以降のステップへ進む場合と前ステップ(契機1の処理)で処理を完了するケースがある。
【0157】
ステップ3601で、管理サーバ101は仮想化機構3101へデバイスの無効化を要求する。管理サーバ101は、仮想化機構管理用インタフェース3111を通じて、仮想化機構3101へ要求を伝える。
【0158】
ステップ3651で、仮想化機構3101はデプロイメントに必要ないデバイスを選択的に無効化する。無効化する方法は、物理デバイスと仮想デバイスの対応付けを一時的に解除しても良いし、仮想デバイスを一時的に閉塞しても良いし、仮想デバイスの通信を抑止しても良い。これにより、デプロイメントを実行している間、デプロイメント対象仮想サーバ3102を業務用ネットワークから隔離することが可能である。
ステップ3202で、仮想化機構3101は管理サーバ101へデバイス無効化完了を通知する。
【0159】
ステップ3203で、管理サーバ101はデプロイメント対象仮想サーバ3102へ電源ONを要求する。
ステップ3661で、デプロイメント対象仮想サーバ3102は電源をONし、PXEブートを開始する。
【0160】
ステップ3602で、デプロイメント対象仮想サーバ3102は管理サーバ101にミニOSを要求する。
ステップ3605で、管理サーバ101はデプロイメント対象仮想サーバ3102へミニOSを送信する。
ステップ3662で、デプロイメント対象仮想サーバ3102はミニOSをブートする。
ステップ3663で、デプロイメント対象仮想サーバ3102はディスクイメージをストレージ装置へコピーする。
ステップ3664で、デプロイメント対象仮想サーバ3102はミニOSをリブートする。
ステップ3665で、デプロイしたOSがブートされる。
【0161】
ステップ3606で、デプロイメント対象仮想サーバ3102はOS設定パラメータを要求する。
ステップ3607で、管理サーバ101はデプロイメント対象仮想サーバ3102へOS設定パラメータを送信する。
ステップ3666で、デプロイメント対象仮想サーバ3102はOSパラメータを設定する。
ステップ3667で、デプロイメント対象仮想サーバ3102はリブートを実行する。
ステップ3608で、デプロイメント対象仮想サーバ3102は管理サーバ101へOS起動通知を送信する。
【0162】
ステップ3609で、管理サーバ101はデプロイメント対象仮想サーバ3102へOS設定以外のパラメータを送信する。
ステップ3668で、デプロイメント対象仮想サーバ3102はOS設定以外のパラメータを設定する。
ステップ3610で、デプロイメント対象仮想サーバ3102は管理サーバ101へOS以外のパラメータ設定完了通知を送信する。
【0163】
契機3(803)以降のシーケンスは、図28と同じであるので説明を省略する。
このシーケンスに基づく処理フローの良い点は、一般的なデプロイメントの処理手順から変更しなくても良いところである。これにより、従来のデプロイメント製品またはデプロイメントを用いたソリューションへの適用が容易となる。
【図面の簡単な説明】
【0164】
【図1】実施例1のシステム構成図を示す。
【図2】管理サーバの構成を示す。
【図3】ブレードサーバの構成を示す。
【図4】システム構築方法の動作概略を示す。
【図5】サーバ管理テーブルを示す。
【図6】サーバの論理情報に関するテーブルを示す。
【図7】アラート管理テーブルを示す。
【図8】実施例1の動作シーケンスを示す。
【図9】制御部の処理フローチャートを示す。
【図10】サーバ走査部の処理フローチャートを示す。
【図11】サーバ登録部の処理フローチャートを示す。
【図12】サーバ構成取得部の処理フローチャートを示す。
【図13】デプロイ制御部の処理フローチャートを示す。
【図14】デバイス無効化制御部の処理フローチャートを示す。
【図15】デバイス有効化制御部の処理フローチャートを示す。
【図16】パラメータ設定部の処理フローチャートを示す。
【図17】実施例2の動作シーケンスを示す。
【図18】デプロイ制御部の処理フローチャートを示す。
【図19】デバイス無効化制御部の処理フローチャートを示す。
【図20】実施例3のブレードサーバの構成を示す。
【図21】実施例3の動作シーケンスを示す。
【図22】デプロイ制御部の処理フローチャートを示す。
【図23】デバイス無効化制御部の処理フローチャートを示す。
【図24】デバイス有効化制御部の処理フローチャートを示す。
【図25】実施例3の他の動作シーケンスを示す。
【図26】デプロイ制御部の処理フローチャートを示す。
【図27】実施例4のブレードサーバの構成を示す。
【図28】実施例4の動作シーケンスを示す。
【図29】デバイス無効化制御部の処理フローチャートを示す。
【図30】デバイス有効化制御部の処理フローチャートを示す。
【図31】実施例4の他の動作シーケンスを示す。
【符号の説明】
【0165】
101:管理サーバ、103:ブレードサーバ、411:走査(プローブ)、412:サーバ検出、413:情報収集、414:管理用ネットワークに接続されたデバイス情報取得、415:デプロイメントに必要ないデバイスを無効化、416:デプロイメント、417:無効化を回復、426:業務用ネットワークから物理サーバを隔離するフェーズ。

【特許請求の範囲】
【請求項1】
管理サーバが、ネットワークを介して接続するサーバからサーバ情報を取得し、
取得した前記サーバ情報を参照して、前記サーバに接続するデバイスの中で、デプロイメントに不必要なデバイスを選択し、
前記選択したデバイスを無効化することを特徴とするシステム構築方法。
【請求項2】
前記デバイスはNIC(ネットワークインタフェース)であることを特徴とする請求項1記載のシステム構築方法。
【請求項3】
前記デプロイメントに不必要なデバイスは、前記管理サーバと前記ネットワークを介して接続するためのNIC以外のデバイスであることを特徴とする請求項2記載のシステム構築方法。
【請求項4】
前記サーバに対する前記デプロイメントが完了した後に、前記無効化したデバイスを有効化することを特徴とする請求項3記載のシステム構築方法。
【請求項5】
前記サーバは、物理サーバ上に構築された仮想サーバであり、
前記デプロイメントに不必要なデバイスは、前記管理サーバと前記ネットワークを介して接続するための、前記仮想サーバに含まれる仮想NIC以外の仮想デバイスであり、
前記無効化は、前記仮想NIC以外の仮想デバイスと前記物理サーバに含まれる物理デバイスとの対応付けを解除することを特徴とする請求項1記載のシステム構築方法。
【請求項6】
前記対応付けの解除は、前記仮想デバイスを閉塞することであることを特徴とする請求項5記載のシステム構築方法。
【請求項7】
前記仮想NIC以外の仮想デバイスが他の仮想NICであるとき、前記対応付けの解除は、前記他の仮想NICによる通信を抑止することを特徴とする請求項5記載のシステム構築方法。
【請求項8】
ネットワークを介して接続するサーバからサーバ情報を取得するサーバ走査部、
取得した前記サーバ情報を参照して、前記サーバに接続するデバイスの中で、デプロイメントに不必要なデバイスを選択するデプロイ制御部、及び
前記選択したデバイスを無効化するデバイス無効化制御部を有することを特徴とする管理サーバ。
【請求項9】
前記デバイスはNIC(ネットワークインタフェース)であることを特徴とする請求項8記載の管理サーバ。
【請求項10】
前記デプロイメントに不必要なデバイスは、前記管理サーバと前記ネットワークを介して接続するためのNIC以外のデバイスであることを特徴とする請求項9記載の管理サーバ。
【請求項11】
前記サーバに対する前記デプロイメントが完了した後に、前記無効化したデバイスを有効化するデバイス有効化制御部をさらに有することを特徴とする請求項10記載の管理サーバ。
【請求項12】
前記サーバは、物理サーバ上に構築された仮想サーバであり、
前記デプロイメントに不必要なデバイスは、該管理サーバと前記ネットワークを介して接続するための、前記仮想サーバに含まれる仮想NIC以外の仮想デバイスであり、
前記デバイス無効化制御部は、前記仮想NIC以外の仮想デバイスと前記物理サーバに含まれる物理デバイスとの対応付けを解除することを特徴とする請求項8記載の管理サーバ。
【請求項13】
前記デバイス無効化制御部による前記対応付けの解除は、前記仮想デバイスを閉塞することであることを特徴とする請求項12記載の管理サーバ。
【請求項14】
前記仮想NIC以外の仮想デバイスが他の仮想NICであるとき、前記デバイス無効化制御部による前記対応付けの解除は、前記他の仮想NICによる通信を抑止することを特徴とする請求項12記載の管理サーバ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate


【公開番号】特開2010−108302(P2010−108302A)
【公開日】平成22年5月13日(2010.5.13)
【国際特許分類】
【出願番号】特願2008−280313(P2008−280313)
【出願日】平成20年10月30日(2008.10.30)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】