情報処理システムの運用管理方法、運用管理プログラムおよび運用管理装置、ならびに情報処理システム
【課題】情報処理装置群と給電／冷却設備の総消費電力を削減し、情報処理システムの省電力運用を実現する。
【解決手段】情報処理システム１０は、情報処理装置２０１〜２０ｎ、給電設備４０１〜４０ｕ、冷却設備５０１〜５０ｖ、運用管理装置６０から成る。運用管理装置６０は、装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖに接続し、装置群２０１〜２０ｎの位置と稼動情報６１及び設備４０１〜４０ｕ、５０１〜５０ｖの位置と環境情報６２から成る配置情報を備える。そして、運用管理装置６０は、この配置情報を用いて、装置群２０１〜２０ｎの消費電力と給電設備４０１〜４０ｕの給電損失と冷却設備５０１〜５０ｖの冷却電力を求め（６３、６４）、消費電力、給電損失、及び冷却電力の総和を低減するように装置群２０１〜２０ｎへ作業負荷３０１〜３０ｍを割り当てる（６５）。
【解決手段】情報処理システム１０は、情報処理装置２０１〜２０ｎ、給電設備４０１〜４０ｕ、冷却設備５０１〜５０ｖ、運用管理装置６０から成る。運用管理装置６０は、装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖに接続し、装置群２０１〜２０ｎの位置と稼動情報６１及び設備４０１〜４０ｕ、５０１〜５０ｖの位置と環境情報６２から成る配置情報を備える。そして、運用管理装置６０は、この配置情報を用いて、装置群２０１〜２０ｎの消費電力と給電設備４０１〜４０ｕの給電損失と冷却設備５０１〜５０ｖの冷却電力を求め（６３、６４）、消費電力、給電損失、及び冷却電力の総和を低減するように装置群２０１〜２０ｎへ作業負荷３０１〜３０ｍを割り当てる（６５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はサーバ、ストレージ、ネットワークなどの情報処理装置群とその給電または冷却を行なう設備から成る情報処理システムの運用管理方法ならびに運用管理装置に係り、特に情報処理装置群と設備の統合的な省電力運用管理を行なうのに好適な技術に関する。
【背景技術】
【０００２】
特開２００４−１２６９６８号公報（特許文献１）では、並列計算機に対してジョブスケジューリングを行なう管理サーバにおいて、計算機の温度センサ情報に基づいて温度の低い計算機へ新規ジョブを投入し、温度の高い計算機から温度の低い計算機へジョブを移動させ、高温による並列計算機の障害や性能低下を防いでいる。また、ジョブの移動前後で各々の計算機とそれ毎に備わっている冷却装置の消費電力を温度情報に基づいて見積ることにより、移動の可否を判断することも行なっている。
【０００３】
特開２００７−１７９４３７号公報（特許文献２）では、複数のコンピュータの管理システムにおいて、コンピュータの温度分布と稼動情報に基づき過熱コンピュータと非過熱コンピュータを抽出し、前者から後者へソフトウェアを移動させ、省電力化を図っている。また、対象コンピュータを抽出した上でソフトウェアの移動前後のコンピュータ電力と空調電力の変動を比較し、移動可否を判断している。コンピュータ電力は稼動情報から、空調電力は温度分布から、温度分布は温度センサや温度履歴や稼動情報から求めている。
【０００４】
米国特許出願公開第２００６／０２５９６２１号明細書（特許文献３）では、データセンタに在る複数のサーバに対して作業負荷を割り当てる方法において、リクエストされた作業負荷のプロファイルを履歴プロファイルと比較し、サーバと空調の電力が最低となる履歴に従ってリクエストされた作業負荷をサーバへ割り当て、適合する履歴が無ければランダムに割り当てている。履歴プロファイルには、サーバの位置、クラス、稼動情報、入気温、排気温、作業負荷のタイプ、サーバと空調の電力が含まれている。サーバと空調の電力は、サーバの入排気温と比熱と風量から求めるか、または電力計により測定している。
【０００５】
米国特許出願公開第２００６／０２５９７９３号明細書（特許文献４）では、データセンタに在る複数のサーバに対して電力を配分する方法において、理想的なアナログ的な温度分布すなわち電力分布に近付くように地理的位置が近接したサーバ間またはラック間で電力予算の貸し借りを行ない、その予算配分に基づいてサーバの離散化した電力ステートを指定し、ホットスポットやコールドスポットによるサーバの障害を防いでいる。各サーバに対する理想電力を示す熱乗数は、各サーバの排気温度と平均的サーバの基準排気温度と空調の給気温度から求めている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１２６９６８号公報
【特許文献２】特開２００７−１７９４３７号公報
【特許文献３】米国特許出願公開第２００６／０２５９６２１号明細書
【特許文献４】米国特許出願公開第２００６／０２５９７９３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
近年の情報通信の急速な発展、さらに放送と通信の融合時代に向けて情報処理装置が爆発的に増加すると予想されている。一方で地球温暖化の防止に向けて二酸化炭素を削減するため、情報処理装置の消費電力を大幅に削減する必要に迫られている。特にバックエンドで情報処理基盤を担うデータセンタでは、情報処理装置群が消費する電力に加え、その給電や冷却を行なう設備が消費する電力も大きな割合を占めており、装置群と設備を合わせた総合的な電力の削減が重要な課題となっている。
【０００８】
データセンタの省電力化に向けて、サーバ、ストレージ、ネットワークなどの情報処理装置、給電設備、冷却設備、システム運用管理において、それぞれの取り組みが始まっている。情報処理装置では、低電力デバイス／回路による消費電力当たり性能の向上や、作業負荷に応じた動作／待機ステート切替による省電力機能の採用が進められている。給電設備では変圧器、無停電電源装置、配電盤、分電器などから装置群の電源に至る給電系統の損失低減や変換効率向上、冷却設備では空調機自身の運転効率向上や給排気口の気流設計の最適化、さらに局所冷却や液冷の導入が始まっている。運用管理では、稼動情報監視、ジョブスケジューリング、さらに仮想化による装置群の運用効率改善やコンソリデーションが主要な対策に挙がっている。
【０００９】
給電設備や冷却設備は一般に装置群の最大定格電力に基づいて設計されているが、運用時の設備の効率や電力は、設備に対する装置群の電力の分布や変動に大きく依存している。例えば、電源変換効率は電力負荷に依存するため、装置の動作電力と給電系統によって給電損失が異なってくる。また、空調機の効率は装置の電力すなわち発熱、空調機と装置間の位置関係や距離、温度、風量、風向などに依存するため、装置の電力と配置によって冷却電力が大きく影響を受ける。
【００１０】
今後、データセンタの仮想化による運用管理が伸展し、省電力化のためにコンソリデーションやライブマイグレーションが活用されると予想されるため、設備に対する装置群の電力分布の偏在化や時間変動を十分考慮し、装置群と設備の総電力を削減する対策が必要になってくる。従来、サーバやコンピュータなどの装置群と冷却装置や空調設備に関する温度や電力の運用管理方法として幾つかの公知例が知られているが、上述した総合的な省電力化という意味においては局所的または逐次的な対策に留まっている。
【００１１】
こうした中、例えば、特許文献１では、並列計算機のうち温度の低い計算機へジョブを割り当てることにより計算機の温度上昇を抑えているが、データセンタのように多様な情報処理装置が混在する場合には温度が低い装置が省電力になるとは限らない。また、ジョブの移動前後で計算機の消費電力を見積もっているので、移動元と移動先に関わる電力が下がるものの、並列計算機全体に対しては局所的な省電力化に過ぎない。消費電力の見積りには計算機毎に付随する冷却装置の電力も含まれているが、空調設備や計算機などの配置に対する考慮がなされておらず、ジョブの割当てによっては計算機と冷却装置の電力が下がっても空調電力が上がって両者の総電力が増えるということも起こり得る。
【００１２】
特許文献２では、過熱コンピュータから非過熱コンピュータへソフトウェアを移動させ分散させているが、温度の低いコンピュータが必ずしも電力が低いとは限らない上、特定のコンピュータへソフトウェアを集約させ他のコンピュータを待機または休止させる方がコンピュータ群全体では省電力になる場合がある。また、ソフトウェアの移動前後でコンピュータ電力と空調電力の変動を比較しているが、比較対象が抽出した過熱と非過熱のコンピュータに限られており、コンピュータ群と空調設備を合わせた総電力を考慮している訳ではない。
【００１３】
特許文献３では、サーバと空調の電力が最低となる履歴プロファイルに基づいてリクエストされた作業負荷をサーバへ割り当てているので、履歴の範囲内にある新しいリクエストに対してはサーバ群と空調設備を合わせた電力を低減できるが、適合する履歴が無い場合や既に割り当てられた作業負荷が大きく変動する場合には対応できないか、履歴の蓄積に応じて逐次的にしか改善されない。また、履歴プロファイルにはサーバの位置が含まれているものの、空調電力をサーバ入排気温や電力計から求めており、サーバと空調設備との位置関係が考慮されておらず、履歴に現れる範囲内の位置にあるサーバへ作業負荷を割り当てることがサーバ群と空調設備の総電力を最小にするとは限らない。
【００１４】
特許文献４では、理想的な温度分布に近付くように近接したサーバ間で電力予算を貸し借りするので、サーバ群全体の合計電力が低減される訳ではない。また、温度の平準化を目的として巨視的にはサーバ群に電力を分散させているので、サーバのコンソリデーションによる省電力化とは相容れない。電力配分を行なうためにサーバの地理的位置や排気温度、空調の給気温度を参照しているが、空調設備の電力や配置を考慮しておらず、空調電力の低減に寄与していない。サーバに指定される電力ステートは待機モード（待機電力）と最大動作モード（最大電力）であり、作業負荷に応じた電力の変動は考慮されておらず、サーバ自身の省電力機能が活用されていない。
【００１５】
以上述べたように、従来技術は情報処理装置群と空調設備の電力を局所的または逐次的に低減するに過ぎないという問題がある。そこで、本発明の目的の一つは、装置群の電力分布や変動と設備との相互配置を総合的に考慮することにより、装置群と設備を合わせた総電力を削減し、データセンタに代表される情報処理システムの省電力運用を実現することにある。概念的に言えば、装置群のみの省電力化にとっては或る装置になるべく作業負荷を集約して割り当て、他の装置は休止または停止させる方が良く、設備のみの省電力化にとっては運転効率が高くなる配置で装置群の電力をなるべく分散させる方が良い。このため、本発明は、装置群と設備の相反する要求を満たすように装置群へ作業負荷を適度に集約かつ分散させて割り当て、装置群と設備の総電力が最小になるように最適化する運用管理方法ならびに運用管理装置を提供する。本発明の前記ならびにそれ以外の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１６】
本発明の代表的実施の形態の特徴は、情報処理装置群の位置及び稼動情報と設備の位置及び環境情報から成る配置情報を有し、稼動情報に基づいて装置群の作業負荷に対する消費電力を求める手段と、配置情報に基づいて装置群の消費電力に対する設備の給電損失または冷却電力を求める手段を備えることにより、装置群と設備の総電力が最小になるように作業負荷を割り当てることにある。
【００１７】
装置群の位置と稼動情報は、特許文献２のように過熱／非過熱装置を抽出するのではなく、装置群全体に亘って装置の位置と作業負荷を把握するように収集する。稼動情報は或る装置から他の装置へ作業負荷を移動した場合に消費電力を算出するのに十分な情報とし、必要に応じて装置の仕様情報や構成情報も含まれる。設備の位置と環境情報は、給電設備であれば変圧器から装置電源に至る給電系統の給電損失を、冷却設備であれば外気から空気や冷媒を介して装置すなわち熱源に至る熱交換サイクルと冷却電力を把握するように収集する。環境情報は、設備の内蔵センサまたは外部センサに加えて、必要に応じて装置の稼動情報からも入手する。
【００１８】
装置電力を求める手段では、特許文献１のような温度情報や特許文献３のような履歴対照からではなく、特許文献４のように最大動作／待機ステートの固定電力と異なり、特許文献２のように装置対象を過熱／非過熱装置に限らず、稼動情報により装置群全体に亘って作業負荷の多寡に応じて変動する電力を求める。設備電力を求める手段では、特許文献２のような温度分布や特許文献３のような履歴対照からではなく、特許文献１のように装置に含まれる冷却装置の電力ではなく、装置群と設備の相互配置情報から装置群の電力分布や変動に応じた設備全体の電力を求める。装置群へ作業負荷を割り当てる手段では、特許文献１のような温度の低い装置、特許文献２のような非過熱装置、特許文献３のような履歴に残る装置、特許文献４のような地理的位置が近接した装置に対象を限らず、装置群全体を対象として求めた最適解に基づいて作業負荷を割り当てる。
【００１９】
本発明の代表的実施の形態の別の特徴は、装置群の位置及び稼動情報と設備の位置及び環境情報から成る配置情報を監視し、現在または予定の作業負荷に基づいて装置群へ仮作業負荷を割り当てる手段と、稼動情報に基づいて装置群の仮作業負荷に対する仮消費電力を求める手段と、配置情報と仮消費電力に基づいて設備の仮給電損失または仮冷却電力を求める手段を備えることにより、装置群の仮消費電力と設備の仮給電損失または仮冷却電力との総和を最小にする仮作業負荷割当ての最適解を求めることにある。
【００２０】
装置群への作業負荷割当てには多数の組合せが存在するが、仮作業負荷を割り当てて装置群と設備を合わせた総電力を最小にする解を探索することにより、最適解を効率良く見つけ出し、これを踏まえて装置群へ実作業負荷を割り当てる。仮作業負荷の割当ては、現在の作業負荷だけでなく、予定または予測される作業負荷を含めて行なえる。解の探索においては、装置の動作温度条件や許容負荷条件、給電設備の配電盤やラック電源の許容電力条件、冷却設備の冷却能力や熱溜りを避けるための区画許容電力条件などの制約条件を考慮することが可能である。
【００２１】
さらに別の特徴は、装置群と設備が設置される空間における、装置群の位置座標及び稼動情報と設備の位置座標及び給電または冷却に関する環境情報をマッピングした配置情報を有することにある。実空間における装置群や設備の稼動状況や配置状態を仮想空間上に再現することにより、装置群の作業負荷割当てや設備の運転シミュレーションを共通の仮想空間に対して統一的に行ない、装置群と設備が緊密に連携した運用管理を実施する。また、仮想空間を可視化することにより、装置群と設備の稼動監視、業務運用、障害検知、資産管理、電力管理などを一括して効率良く行なえる。
【００２２】
さらに別の特徴は、装置の仕様情報、構成情報、測定情報、稼動情報または稼動履歴に基づいて、装置の作業負荷に対して消費電力を算出する装置電力関数を備えることにより、作業負荷の割当て、変更、移動などに応じて装置電力を簡便に求めることにある。例えば、装置ｉの装置電力関数ｐＤｉ（ｉ＝１，２，…）は、作業負荷ｊ（ｊ＝１，２，…）を表わす変数集合をｌｊｋ（ｋ＝１，２，…）として数１のように表わせる。
【００２３】
【数１】
【００２４】
装置群への作業負荷割当てが変更される場合には装置間で変数集合を置換し、一つの装置に作業負荷を重複して割り当てる場合には変数集合間で演算を行なうことにより、重複した作業負荷に応じた電力を求める。作業負荷が有る場合（装置が動作）には装置電力関数ｐＤｉを多変数の線形関数または非線形関数とし、作業負荷が無い場合（装置が休止または停止）には電力値を与える不連続関数とする。装置電力関数ｐＤｉは変数に対する数表の戻り値または補間でも良い。
【００２５】
例えば装置電力関数ｐＤｉとして、装置の仕様情報や構成情報から最大定格電力が分かれば装置のＯＮ／ＯＦＦに対応する階段関数、最大電力と待機電力が分かれば傾きと切片で表わされる一次関数、稼動情報として複数の動作ステートと待機ステート、休止ステート、または停止ステートが分かれば条件付き関数集合、装置の消費電力を監視可能ならば稼動履歴データをフィッティングした二次関数など、得られる情報や必要な計算精度に応じて適宜採択する。簡便のため、変数集合ｌｊを電力に影響する主要因子に集約しても良い。例えば主要因子は、サーバ装置ならプロセッサの最大性能、使用率、動作ステート（周波数、電圧）など、ストレージ装置なら起動ディスク数、アクセスパターン、アクセス時間など、ネットワーク装置なら転送スループット、スイッチ頻度などである。
【００２６】
さらに別の特徴は、装置の消費電力と位置及び設備の環境情報と位置に対して設備の給電損失または冷却電力を算出する設備電力関数を備えることにより、作業負荷割当てによる装置の電力分布に応じて設備電力を簡便に求めることにある。例えば、給電損失関数ｐＳと冷却電力関数ｐＣは、装置ｉの電力をｐＤｉ、位置をｘｉ（ｘｉ，ｙｉ，ｚｉ）、設備ι（ι＝１，２，…）の環境情報をει、位置をχι（ｘι，ｙι，ｚι）として数２、数３のように表わせる。
【００２７】
【数２】
【００２８】
【数３】
【００２９】
給電損失関数ｐＳは、装置の位置と給電設備の環境情報と位置に基づいて、変圧器、無停電電源、配電盤、分電器などから装置電源に至る給電系統を求め、給電系統に沿って装置電力すなわち電力負荷に対する電源効率や配電損失などを計算し、給電設備全体の給電損失を算出する。冷却電力関数ｐＣは、装置の位置及び電力（熱源分布）と冷却設備の環境情報と位置に基づいて、装置群が置かれた室内の熱流体シミュレーションと、室内冷却機から冷凍機、冷却塔などの室外機に至る冷却系統の熱交換シミュレーションを行ない、冷却設備全体の冷却電力を算出する。
【００３０】
装置の位置ｘｉには、三次元位置座標の他、装置が搭載されているラックの二次元位置とラック高さ方向の番号、装置が載っているフロアタイルの二次元位置とタイルからの高さ、など三次元位置を同定できる表現を代用できる。給電設備の環境情報ειには、電源や配電器や配線の電力負荷特性、各機器やラックで監視している入出力電力、などがある。冷却設備の環境情報ειには、空気や冷媒の温湿度、流量、流速、流向、装置の動作温度、ラックや給排気口の入排気温、室内機や室外機の給排温や流量、外気の温湿度、各機器の熱負荷特性、などがある。設備の位置情報χιには、三次元位置に加えて、各機器の接続先と相互距離などのトポロジー的な接続情報も含まれて良い。
【００３１】
さらに別の特徴は、装置電力関数と設備電力関数の総和を目的関数として、装置群へ作業負荷を割り当てる組合せ最適化問題を定義することにより、目的関数を最小化する最適解または最適解近傍の実行可能な近似解を求めることにある。例えば、装置群と設備の総電力を示す目的関数Ｐは、数１の装置電力関数ｐＤｉ、数２及び数３の設備電力関数ｐＳ、ｐＣを用いて数４のように表わせる。
【００３２】
【数４】
【００３３】
装置電力ｐＤｉは装置ｉに対する作業負荷ｊの割当てに依存する関数ｐＤｉ（ｌｊ）であり、装置電力ｐＤｉに依存する設備電力ｐＳ、ｐＣはｐＤｉ（ｌｊ）（ｉ，ｊ＝１，２，…）を変数として関数ｐＳ（ｐＤｉ（ｌｊ））、ｐＣ（ｐＤｉ（ｌｊ））のように表わせる（ｐＳとｐＣは装置の位置ｘｉ、設備の環境情報ει、位置χιの関数でもあるが簡略に表わす）。したがって、目的関数Ｐが装置ｉに対する作業負荷ｊの割当てに依存することにより、装置群と設備の総電力を削減する問題を、作業負荷割当ての組合せの中から目的関数Ｐを最小化する解を探索するという最適化問題に帰することができる。ｎ台の装置群に重複を許してｍ個の作業負荷を割り当てる組合せの数Ｎは、数５のように表わせる。
【００３４】
【数５】
【００３５】
この組合せ最適化問題を解くにあたって、ｎやｍが小さい場合や作業負荷割当てを行なう時間間隔が十分長い場合には解空間の全探索により最適解を求められるが、そうでない場合には効率的に解を探索する近似解法を用いる。近似解法として、局所探索法、山登り法、焼きなまし法、タブー探索法など一般に良く知られているメタヒューリスティックアルゴリズムの他、今回の問題に特化して装置群の性能／電力指標や設備の特性を活用したアルゴリズムを適用して良い。
【００３６】
さらに別の特徴は、装置群の電力と位置及び設備の環境情報と位置に対する設備電力関数を、装置毎に必要な設備電力を表わす要素関数に近似的に分解することにより、組合せ最適化問題を簡便に解くことにある。装置電力関数と設備要素関数の和を装置関数として装置毎に定義するので、作業負荷割当てに対して目的関数の値を短時間に算出できる。例えば、装置ｉに対する給電損失と冷却電力の要素関数ｐＳｉとｐＣｉは、数６、数７のように表わせる（ｐＳｉとｐＣｉは設備の環境情報ει、位置χιの関数でもあるが簡略に表わす）。
【００３７】
【数６】
【００３８】
【数７】
【００３９】
設備電力関数ｐＳ、ｐＣは数２、数３のように装置群と設備の全体に対する関数であるが、装置群の電力分布や設備の環境情報と位置が大幅に変動しない場合または極端に偏らない場合などでは、相互作用や非線形作用を近似して装置毎の設備要素関数ｐＳｉ、ｐＣｉに分けて考えることができる。または、比較的近傍に在る装置間の相互作用を繰り込むように設備要素関数を修正しても良い。装置関数ｐｉは設備要素関数ｐＳｉ、ｐＣｉと装置電力関数ｐＤｉの和であり、数８のように表わせる。目的関数Ｐは装置群全体に亘る装置関数ｐｉの総和であり、数９のように表わせる。
【００４０】
【数８】
【００４１】
【数９】
【００４２】
数４と数９の目的関数Ｐを比較すると、数４では装置群の電力分布全体に対して設備電力ｐＳ、ｐＣを求める必要があるが、数９では装置毎に分けて装置関数ｐｉを求めれば良いので、作業負荷割当てに対する目的関数Ｐの計算が容易になり、解の探索を効率良く行なえる。また、装置関数ｐｉの具体的な表式を得れば、作業負荷を優先的に割り当てるべき装置の指標として変数の係数や式の微分などを活用して、最適解の近傍に解空間を絞り込める。
【００４３】
さらに別の特徴は、装置群の許容負荷条件と前記設備の許容電力条件を制約条件として装置群へ作業負荷を割り当てる組合せ最適化問題を解くことにより、組合せの中から実行可能な解を抽出し、効率的に解を求めることにある。合わせて、制約条件を守ることにより、装置群や設備の性能を効率よく発揮させ、電力超過や温度上昇による障害を防いで信頼性を向上させる。
【００４４】
装置の最大性能や最大リソースを超える作業負荷を割り当てれば、作業負荷に対する処理時間が延びて電力量（電力×時間）が増加する。このため、作業負荷の変動に対する余裕も考慮して装置の許容負荷条件を設ける。また、装置電力関数において作業負荷を表わす変数集合ｌｊには主に電力に影響を及ぼす因子が選ばれるが、電力に余り影響しない因子であっても装置の性能やリソースにとって重要な場合がある。例えば、装置のメモリ容量、ディスク容量、Ｉ／Ｏスループット容量などである。このような因子に関しては、装置電力関数とは別に作業負荷割当ての可否判定を行なうための許容負荷条件とする。
【００４５】
給電設備では給電系統によって電源、配電盤、配電器などの定格電力があり、これを上限とする許容電力条件を守る必要がある。この条件に外れる場合は、その給電系統に繋がる装置群の作業負荷を軽減する、または装置群の電力を制限する必要がある。冷却設備では空調機、局所冷却装置、液冷装置、冷凍機、冷却塔などの定格処理能力があり、この能力以下に装置電力を抑える必要がある。また、冷却設備では、装置を動作温度範囲内に保ち、過剰な発熱集中を避けて冷却効率を上げるため、装置群が配置される空間の領域、区画、ラック列などに対して許容電力条件を設けて良い。
【００４６】
さらに別の特徴は、装置群への作業負荷割当て問題を解いて求められた最適解または近似解と配置情報に基づいて、装置群の位置に対する消費電力すなわち電力分布を得て給電設備または冷却設備を制御することにある。これにより、設備の運転効率を向上させ、さらに給電損失や冷却電力を抑制することができる。例えば、給電設備では出力電力に応じて並列接続された機器の稼働台数を変えることにより給電効率が向上し、冷却設備では発熱分布に応じて空気や冷媒の供給温度、給排気口やファンの風量や風向、冷凍機や冷却塔の温度や流量などを調節することにより冷却効率が向上する。
【００４７】
さらに別の特徴は、装置群へ作業負荷を割り当てる手段として、仮想化環境、ジョブスケジューラ、ＳＡＮブート環境、稼動管理を活用することにある。これらの手段は、作業負荷割当ての契機や周期、作業負荷の移動に伴うオーバーヘッドやタイムロス、作業負荷の変動や生滅、装置の作業負荷のリンク、取得可能な装置の稼動情報、既設または新設のシステムへの導入容易さ、システムのセキュリティや信頼性、などを考慮して選択され、並列的または階層的に混在しても良い。仮想化環境では物理装置群への仮想装置の配置、ジョブスケジューラでは装置群へのジョブの配置、ＳＡＮブート環境では起動する装置群の配置、稼動管理では稼動、休止または停止する装置群の配置により、装置群へ作業負荷を割り当てる。
【００４８】
さらに別の特徴は、装置群への作業負荷割当ての変更を反映して、装置群と設備の総電力を低減するように装置群を稼動させることにある。サーバ装置では、アプリケーション、仮想マシン、ジョブなど、作業負荷を与えるソフトウェアを移動する。ストレージ装置ではアクセス頻度の高いデータを移動またはコピーすることにより、移動先に作業負荷が移動する。ネットワーク装置ではネットワーク接続構成を変更することにより、運用ノードが移り変わる。
【発明の効果】
【００４９】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、例えばデータセンタなどのような情報処理システムにおいて、情報処理装置群と設備を連携させた運用管理により装置群と設備を合わせた総消費電力を削減できる。
【図面の簡単な説明】
【００５０】
【図１】本発明による実施の形態１の情報処理システムの運用管理装置および運用管理方法を示す構成図である。
【図２】本発明による実施の形態２の情報処理システムの運用管理装置および運用管理方法を示す構成図である。
【図３】本発明による実施の形態３の情報処理システムの運用管理方法における配置情報を示すレイアウト図である。
【図４】本発明による実施の形態４の情報処理システムの運用管理方法における情報処理装置群の稼動情報を示す数表である。
【図５】本発明による実施の形態４の情報処理システムの運用管理方法における装置電力関数を示すグラフである。
【図６】本発明による実施の形態４の情報処理システムの運用管理方法における装置電力関数を示すグラフである。
【図７】本発明による実施の形態５の情報処理システムの運用管理方法における設備電力関数の説明図である。
【図８】本発明による実施の形態６の情報処理システムの運用管理装置および運用管理方法を示す構成図である。
【図９】本発明による実施の形態７の情報処理システムの運用管理装置および運用管理方法を示す構成図である。
【図１０】本発明による実施の形態８の情報処理システムの運用管理装置および運用管理方法を示す構成図である。
【図１１】本発明による実施の形態８の情報処理システムの運用管理方法を示す説明図である。
【図１２】本発明による実施の形態８の情報処理システムの運用管理方法を示す説明図である。
【発明を実施するための形態】
【００５１】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
【００５２】
また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良い。さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
【００５３】
（実施の形態１）
図１は、本発明による実施の形態１の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム１０は、情報処理装置２０１〜２０ｎ、装置群２０１〜２０ｎへ給電する給電設備４０１〜４０ｕ、装置群２０１〜２０ｎを冷却する冷却設備５０１〜５０ｖ、装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖを管理する運用管理装置６０から成る。
【００５４】
装置群２０１〜２０ｎには作業負荷３０１〜３０ｍが割り当てられる。作業負荷３０１〜３０ｍは、図１に示す一例のように、装置に対して単独の作業負荷が割り当てられる場合（装置２０ｎ−１と負荷３０ｍ−２）、複数の作業負荷が割り当てられる場合（装置２０１と負荷３０１〜３０２、装置２０３と負荷３０３〜３０５、装置２０ｎと負荷３０ｍ−１〜３０ｍ）、作業負荷が割り当てられない場合（装置２０２）がある。
【００５５】
運用管理装置６０は装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖに接続し、装置群２０１〜２０ｎの位置と稼動情報６１及び設備４０１〜４０ｕ、５０１〜５０ｖの位置と環境情報６２から成る配置情報を有し、装置群２０１〜２０ｎの消費電力を求める手段６３と、給電設備４０１〜４０ｕの給電損失と冷却設備５０１〜５０ｖの冷却電力を求める手段６４と、装置群２０１〜２０ｎへの作業負荷３０１〜３０ｍの割当てを求める手段６５を備える。運用管理装置６０は、例えば、コンピュータシステムを用いたプログラム処理によって実現される。
【００５６】
実施の形態１の運用管理方法では、運用管理装置６０が装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖと通信することにより装置群２０１〜２０ｎの稼動情報と設備４０１〜４０ｕ、５０１〜５０ｖの環境情報を収集し、配置情報６１と６２を取得する。運用管理装置６０は、手段６３により装置群２０１〜２０ｎの稼動情報６１に基づいて作業負荷３０１〜３０ｍに対する装置群２０１〜２０ｎの消費電力を求め、手段６４により装置群２０１〜２０ｎの位置と手段６３から求めた消費電力及び設備４０１〜４０ｕ、５０１〜５０ｖの位置と環境情報６２に基づいて給電設備４０１〜４０ｕの給電損失と冷却設備５０１〜５０ｖの冷却電力を求め、手段６３と６４に基づいて装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖの総消費電力を低減するように装置群２０１〜２０ｎへの作業負荷３０１〜３０ｍの割当てを求める。
【００５７】
配置情報６１に含まれる装置群２０１〜２０ｎの位置情報は、各装置の位置座標または位置を同定する識別データから成り、必要に応じて装置間の接続構成データを含む。装置群２０１〜２０ｎの稼動情報は作業負荷量を示すデータと消費電力を示すデータなどから成り、例えば性能、リソース使用率、動作／休止ステート、定格電力または測定電力、動作温度などから成る。作業負荷量データは装置間で置換できる汎用的な計量であり、特定の装置、作業負荷、装置と作業負荷の関係に依らない。消費電力データは作業負荷量に対する装置の消費電力特性を直接的または間接的に表わす数値、数式または数表であり、各装置に依存する。
【００５８】
配置情報６２に含まれる設備４０１〜４０ｕ、５０１〜５０ｖの位置情報は、各設備の位置座標または位置を同定する識別データと、設備間の接続構成データから成る。設備４０１〜４０ｕ、５０１〜５０ｖの環境情報は、設備の稼動データと動作特性データ、周辺環境の監視データなどから成り、例えば電力、温度、湿度、流量、流向、定格出力や定格性能などから成る。動作特性データは、給電設備なら電力負荷に対する給電損失特性、冷却設備なら熱負荷に対する消費電力特性を表わす数値、数式または数表である。なお、装置群２０１〜２０ｎの稼動情報と設備４０１〜４０ｕ、５０１〜５０ｖの環境情報は、例えば装置の温度データ設備の電力データのように互いに補完し合える。
【００５９】
装置群２０１〜２０ｎの消費電力を求める手段６３では、一つの方法として、与えられる作業負荷量をその都度既知の数値データと照合し、補間や統計処理などにより消費電力を計算する。別の方法としては、予め作業負荷量に対する装置電力の関係を、作業負荷量を変数として定式化する、または作業負荷量を引数として数表からの戻り値を出力するルーチンにする。前者の方法は装置群２０１〜２０ｎの稼動情報の蓄積に伴って照合と計算に時間を要するが、計算精度が向上する。後者の方法は、稼動情報の蓄積に伴って関係式や数表を補正することにより、精度を上げつつ時間を抑えられるうえ、作業負荷量と装置電力の関係を見通し良く把握できる。
【００６０】
設備４０１〜４０ｕ、５０１〜５０ｖの消費電力を求める手段６４では、一つの方法として、配置情報６１における装置群２０１〜２０ｎの位置と手段６３により得られる装置群２０１〜２０ｎの消費電力、配置情報６２における設備４０１〜４０ｕ、５０１〜５０ｖの位置と環境情報に基づいて、その都度シミュレーションを行なって給電損失や冷却電力を算出する。別の方法として、予め想定条件で詳細シミュレーションを行ない、線形近似することにより各装置の位置と電力に対する設備の要素電力の関係を数式、数表または簡易シミュレータとして求めておく。前者の方法は計算時間が許容されれば高い精度を得られる。後者の方法は、予め詳細シミュレーションを済ませることにより、想定条件の範囲内で精度を保証しつつ計算時間を短縮できる。
【００６１】
装置群２０１〜２０ｎへの作業負荷３０１〜３０ｍの割当てを求める手段６５には幾つかの方法がある。一つの方法は、装置群への作業負荷割当ての組合せに対して手段６３と６４により装置群の電力と設備の電力をその都度計算し、組合せ同士の計算結果を比較して総電力を最小にする割当て解を選択する。別の方法は、手段６３で予め得られた作業負荷量に対する装置電力の関係と、手段６４で予め得られた装置群の電力分布に対する設備要素電力の関係から、作業負荷割当てにおける優先順位指標を導出し、この指標に沿って装置群へ作業負荷を割り当てる。前者の方法は組合せが少ない場合に総電力を最小にする最適解を求めるのに適し、後者の方法は組合せが多い場合に最適解または近似解を高速に求めるのに適する。後者の方法では、解の精度と計算時間に応じて、一旦得られた割当て解に対して装置群の電力分布を計算し、これに対する設備要素電力の関係を求め直し、その関係を使って指標を導出して再度作業負荷割当てを求め、前後の割当て解が所定条件内に収束するまで繰り返しても良い。
【００６２】
実施の形態１に示す情報処理システム１０の運用管理方法によれば、装置群２０１〜２０ｎの位置と稼動情報６１及び設備４０１〜４０ｕ、５０１〜５０ｖの位置と環境情報６２から成る配置情報を有することにより、装置群２０１〜２０ｎに対して作業負荷３０１〜３０ｍを割り当てる最良解を得て、装置群２０１〜２０ｎの消費電力と設備４０１〜４０ｕ、５０１〜５０ｖの給電損失または冷却電力を合わせた総消費電力を削減できる効果がある。また、所望の契機や計画、新規作業負荷の投入、既存作業負荷の終了などに応じて装置群２０１〜２０ｎへの作業負荷割当てを更新することにより、情報処理システム１０の省電力運用を実現できる。
【００６３】
情報処理システム１０としてデータセンタやコンピュータルームが代表的であるが、産業設備、商業設備、通信設備、交通機関などの業務運用システムにも応用できる。また、既設システムの運用管理だけでなく、システムの新設、増設、移設、改修などの設計／診断ツールとしても有用である。複数の施設や場所にまたがるシステムであっても遠隔管理を行なえば本実施の形態を適用できる。
【００６４】
情報処理装置２０１〜２０ｎにはサーバ装置、ストレージ装置、ネットワーク装置などがあり、サーバ装置には汎用サーバ、専用サーバ、メインフレーム、並列コンピュータ、スーパーコンピュータ、組込みコンピュータ、パーソナルコンピュータなど、ストレージ装置には磁気ディスク、固体ディスク、光ディスク、テープなど、ネットワーク装置にはルータ、スイッチ、ハブなど、さらに周辺装置としてプリンタ、複写機、モデム、ディスプレイなども含まれる。また、本実施の形態は動作／待機／休止／停止ステートのデマンドベーススイッチング機能、いわゆる省電力モードを有する装置にも適用できる。例えばサーバではＤＢＳ、ストレージではＭＡＩＤ、ネットワークではポート電源制御などが該当する。ハードウェア形態はブレード型、ラックマウント型、タワー型、専用筺体型に限らず、多様に適用できる。
【００６５】
作業負荷３０１〜３０ｍとは、サーバ装置ならアプリケーション、ストレージ装置ならアクセスデータ、ネットワーク装置なら転送データなどを指す。作業負荷量データには、サーバ装置なら性能、リソース使用率、動作／休止ステートなど、ストレージ装置なら起動ディスク数、アクセスパターン、アクセス時間など、ネットワーク装置なら転送パケット数、スイッチ頻度などがある。また、作業負荷のタイプとして、固定／浮動小数点演算、トランザクション処理、データベース処理、技術計算、データの形式や粒度、保証帯域などを区別して装置の消費電力特性を考慮することも可能である。
【００６６】
給電設備４０１〜４０ｕには変圧器、無停電電源装置、配電盤、分電器、装置が搭載されるラックの電源などがあり、電力センサ、電流／電圧センサ、漏電センサなども含まれ、場合によって給電源の発電所、送電設備、変電設備、給電先の装置の電源も対象になる。冷却設備５０１〜５０ｖには空調機、冷凍機、冷却塔、給排気口、ファン、ダクト、冷媒配管などがあり、室内外に配置される温度センサ、湿度センサ、流量／流向センサなども含まれ、場合によって液冷装置、ラック列やラック前面／背面の局所冷却装置、装置の冷却装置も対象になる。
【００６７】
運用管理装置６０には、情報処理装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖの共通マネージャサーバを設ける、または両者のマネージャサーバを連携する形態があり、マネージャ機能を装置２０１〜２０ｎの一部に担わせても良い。本実施の形態による運用管理方法は、ミドルウェア、アプリケーション、組込み制御ソフトウェア、ファームウェアなどのソフトウェアとして実装でき、例えば最適化問題を解くエンジンをハードウェアとして実装することも可能である。マネージャが装置の稼動情報や設備の環境情報を取得するため、各装置や各設備にエージェント、サービスプロセッサ、インターフェースなどを設けるが、装置群や設備が自律分散システムを構築しても良い。なお、本実施の形態における装置群と設備の総電力を削減する効果は、装置群の位置及び稼動情報と設備の位置及び環境情報を示す配置情報と、装置群の消費電力を求める手段と、設備の消費電力を求める手段と、装置群への作業負荷割当てを求める手段によって発揮されるのであって、実施の形態１や図１に示す装置自体や計算手順などにより限定されない。
【００６８】
（実施の形態２）
図２は本発明による実施の形態２の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム１１０は、情報処理装置１２０１〜１２０ｎ、装置群１２０１〜１２０ｎへ給電する給電設備１４０１〜１４０ｕ、装置群１２０１〜１２０ｎを冷却する冷却設備１５０１〜１５０ｖ、装置群１２０１〜１２０ｎと設備１４０１〜１４０ｕ、１５０１〜１５０ｖを管理する運用管理装置１６０１、１６０２から成り、装置群１２０１〜１２０ｎには作業負荷１３０１〜１３０ｍが割り当てられる。
【００６９】
運用管理装置１６０１は装置群１２０１〜１２０ｎに接続され、装置群１２０１〜１２０ｎの稼動情報を監視し、装置群１２０１〜１２０ｎの位置と稼動情報から成る配置情報１６１を有し、装置群１２０１〜１２０ｎの消費電力を求める手段１６３と、装置群１２０１〜１２０ｎへの仮作業負荷１３０１〜１３０ｍの割当てを求める手段１６５と、装置群１２０１〜１２０ｎへ実作業負荷１３０１〜１３０ｍを割り当てる手段１６８を備える。運用管理装置１６０２は設備１４０１〜１４０ｕ、１５０１〜１５０ｖに接続され、設備１４０１〜１４０ｕ、１５０１〜１５０ｖの環境情報を監視し、設備１４０１〜１４０ｕ、１５０１〜１５０ｖの位置と環境情報から成る配置情報１６２を有し、給電設備１４０１〜１４０ｕの給電損失と冷却設備１５０１〜１５０ｖの冷却電力を求める手段１６４と、設備１４０１〜１４０ｕ、１５０１〜１５０ｖへ運転指示を与える手段１６９を備える。
【００７０】
実施の形態２の運用管理方法では、装置側の運用管理装置１６０１と設備側の運用管理装置１６０２が連携することにより、運用管理装置１６０１と１６０２の間で必要なデータを交換する。運用管理装置１６０１では、手段１６３により装置群１２０１〜１２０ｎの稼動情報１６１に基づいて作業負荷に対する装置群１２０１〜１２０ｎの消費電力の関係を求める。運用管理装置１６０２では、手段１６４により運用管理装置１６０２が得る設備１４０１〜１４０ｕ、１５０１〜１５０ｖの配置情報１６２に基づいて、運用管理装置１６０１から得られる装置群１２０１〜１２０ｎの位置と消費電力に対する給電設備１４０１〜１４０ｕの給電損失と冷却設備１５０１〜１５０ｖの冷却電力の関係を求める。
【００７１】
さらに運用管理装置１６０１では、手段１６３における作業負荷に対する装置電力の関係と手段１６４における装置電力分布に対する設備電力の関係に基づいて、装置群１２０１〜１２０ｎまたは設備１４０１〜１４０ｕ、１５０１〜１５０ｖの制約条件１６６と作業負荷１３０１〜１３０ｍに対する運用ポリシー１６７に適合しつつ、手段１６５により装置群１２０１〜１２０ｎと設備１４０１〜１４０ｕ、１５０１〜１５０ｖの総消費電力を最小化するように装置群１２０１〜１２０ｎへの仮作業負荷の割当て解を導出する。この結果を受けて、運用管理装置１６０１は手段１６８により適切な契機において装置群１２０１〜１２０ｎへ実作業負荷を割り当て、運用管理装置１６０２は手段１６９により装置群１２０１〜１２０ｎの電力分布と配置情報１６２を踏まえて設備１４０１〜１４０ｕ、１５０１〜１５０ｖへ運転指示を与える。
【００７２】
実施の形態２に示す情報処理システム１１０の運用管理方法によれば、装置群１２０１〜１２０ｎへの仮作業負荷の割当て解を求める手段１６５では、仮作業負荷として現在の作業負荷１３０１〜１３０ｍと共に予定または予測される作業負荷も算入でき、制約条件１６６や運用ポリシー１６７に対して現在からの時間推移を含めて見通し良く判断でき、実作業負荷割当てにおける最適解からの乖離、条件違反による障害、煩雑な修正によるオーバーヘッドなどを避けられる。また、手段１６５の仮作業負荷割当てと手段１６８の実作業負荷割当てを分けることにより、作業負荷の見通しと共に割当て解の導出に要する時間も考慮し、手段１６８において割当て変更を実行する契機と手段１６９において設備１４０１〜１４０ｕ、１５０１〜１５０ｖへ運転指示を行なう契機を適切に設定することが可能になる。
【００７３】
制約条件１６６には、装置１２０１〜１２０ｎの動作温度、最大作業負荷、作業負荷の変動に対する余裕度などを考慮した許容負荷条件、給電設備１４０１〜１４０ｕの定格電力、電源効率などを考慮した許容電力条件、冷却設備１５０１〜１５０ｖの定格能力、流量／流向などを考慮した区画や近傍装置間の許容電力条件などがある。運用ポリシー１６７に記述される内容には、作業負荷の優先度、実行契機、処理時間、スケジュール、作業負荷に対する装置１２０１〜１２０ｎのリソース配分、サービスレベル、電力コストなどがある。手段１６５において装置群１２０１〜１２０ｎへ仮作業負荷を割り当てる段階で、先に制約条件１６６と運用ポリシー１６７を与えることにより、一旦割当て解を求めてから制約条件１６６と運用ポリシー１６７を検証するよりも後戻りを無くせるうえ、仮作業負荷割当ての組合せの中から候補を絞り込めるので効率良く解を求められる。また、制約条件１６６により装置群１２０１〜１２０ｎや設備１４０１〜１４０ｕ、１５０１〜１５０ｖの不具合や障害を回避でき、運用ポリシー１６７により省電力化と共にサービスを向上させる高度な運用管理を実現できる。
【００７４】
なお、実施の形態２では装置側の運用管理装置１６０１と設備側の運用管理装置１６０２を設けることにより、両者の計算処理を分けて複雑化を避けつつ、両者間のインターフェースを介して緊密に連携動作を行なわせている。両者を別々のマネージャサーバに実装すれば分散処理により高速化を図れるが、十分な計算性能があれば共通のマネージャサーバに実装しても良い。また、実施の形態２では装置群１２０１〜１２０ｎの電力分布を踏まえて設備１４０１〜１４０ｕ、１５０１〜１５０ｖへ先行的に運転指示を行なえるので、従来のように受動的に設備を制御する場合に比べて過剰な余裕を持たせる必要がなくなり、無駄を省いて効率的な運転を行なえる。
【００７５】
（実施の形態３）
図３は本発明による実施の形態３の情報処理システムの運用管理方法における配置情報を示すレイアウト図であり、例えば実施の形態１や実施の形態２に示すような運用管理装置の表示画面の一例を示す。情報処理システム２１０は、情報処理装置群と、これらが搭載されるラック列２２０１〜２２０１０、変圧器２４０と無停電電源装置２４１と配電盤２４２１〜２４２４から成る給電設備、冷却塔２５０と冷凍機２５１と空調機２５２１〜２５２６とグリル２５３から成る冷却設備から構成される。
【００７６】
給電設備は、変圧器２４０から無停電電源装置２４１と配電盤２４２１〜２４２４を介してラック列２２０１〜２２０１０へ給電し、さらにラック列の配電ユニットから情報処理装置へ給電する。冷却設備は床下空調を行ない、空調機２５２１〜２５２６がグリル２５３（多数あるが一つの符号で代表）から冷気を供給して装置群の発熱による温気を吸い込み、空調機２５２１〜２５２６と冷凍機２５１と冷却塔２５０が互いに熱交換を行ない、冷却塔２５０が外気へ放熱する。
【００７７】
実施の形態３によるレイアウトは、装置群の位置座標と稼動情報及び設備の位置座標と環境情報をマッピングした配置情報であり、装置群と設備が設置される実空間情報を運用管理装置における仮想空間上に再現して可視化したものである。配置情報は、室内における装置の配置（図３は全体図のため未表示）、ラック列２２０１〜２２０１０や配電盤２４２１〜２４２４や空調機２５２１〜２５２６やグリル２５３などの配置に加えて、室外に在る変圧器２４０と無停電電源装置２４１から室内に在る配電盤２４２１〜２４２４とラック列２２０１〜２２０１０に至る給電系統の接続構成と、室外に在る冷却塔２５０と冷凍機２５１と空調機２５２１〜２５２６から成る熱交換系統の接続構成も表わす。
【００７８】
実施の形態３では、表示画面上のボタン２６０〜２６３、２７０〜２７５、２８０、２８１をクリックすることにより多様な表示を行なえる。作業負荷表示ボタン２６０では装置群の作業負荷分布を表示できる。レイアウトの全体表示ではラック列２２０１〜２２０１０毎に、拡大表示では装置毎に、サーバ、ストレージ、ネットワークなどの装置の種類と作業負荷量の多寡を画像の色と濃淡により表示し、装置にマウスを合わせればポップアップ表示により作業負荷の詳細データを表示する。ポップアップ表示には、マウスまたはキーボードの操作に応じて、装置の仕様情報、構成情報、資産情報などを表示できる。
【００７９】
同様に、電力表示ボタン２６１ではラック列２２０１〜２２０１０毎や装置毎の消費電力分布を表示すると共に、変圧器２４０と無停電電源装置２４１と配電盤２４２１〜２４２４の出力電力または給電損失と、冷却塔２５０と冷凍機２５１と空調機２５２１〜２５２６の電力を表示し、合わせて装置群と設備の総電力を数値で表示する。温度表示ボタン２６２では室内に散在するセンサの温度分布と共に、装置の動作温度、ラック列２２０１〜２２０１０の入排気温、空調機２５２１〜２５２６の給排気温、グリル２５３の給気温、冷却塔２５０や冷凍機２５１の冷媒の給排温、外気温を表示する。障害表示ボタン２６３では、装置群または設備の故障と共に、装置の動作温度条件や許容負荷条件、装置や設備の許容電力条件などに対する警報とその内容を表示する。
【００８０】
図３はｘｙ平面で見たレイアウト図であるが、ボタン２７０〜２７５により平面を変えて表示できる。ボタン２７０はｘｙ平面表示を指定し、ボタン２７１はｘｙ平面をｚ軸全体に亘って表示するか、ｘｙ平面を特定のｚ座標を指定して切り出すかを選択する。ボタン２７２〜２７５も同様である。ｘｙ平面のボタン２７０、ｙｚ平面のボタン２７２、ｚｘ平面のボタン２７４を切り替えることにより、三次元空間の情報を表示できる。ボタン２８０と２８１はそれぞれ拡大表示と縮小表示であり、前者では装置や設備の詳細状況を表示し、後者では全体状況を表示できる。また、全体を俯瞰的に把握する必要に応じて三次元表示を行なわせても良い。
【００８１】
実施の形態３による配置情報によれば、装置群と設備が設置される実空間における装置群の稼動状況や設備の環境情報を一括して可視化して把握でき、配置情報に基づいて実施の形態１や実施の形態２において説明したような装置群の作業負荷割当てや設備の運転指示を統一的且つ緊密に連携できる。装置群と設備を合わせた総消費電力を削減する省電力運用だけではなく、装置群と設備の稼動監視、電力管理、業務運用、障害検知、資産管理などを一括して取り扱えるので、運用管理者の業務効率を向上できる。また、現行システムにおける装置群と設備双方の効率、リスク、コストを診断できるので、システムの移設、増設、改修、更新などの計画立案や工事に役立てることができる。
【００８２】
（実施の形態４）
図４は本発明による実施の形態４の情報処理システムの運用管理方法における情報処理装置群の稼動情報を示す数表であり、情報処理装置がサーバである場合の一例を示す。サーバの稼動情報は、仕様情報３００、構成情報３１０、稼動情報（または測定情報、稼動履歴）３２０を含む。例えば実施の形態１や実施の形態２に示すような運用管理装置が装置毎の仕様情報３００と構成情報３１０と稼動情報３２０を有し、同一のデータファイル、または互いに関連付けた異なるデータファイルとして管理する。なお、仕様情報３００と構成情報３１０と稼動情報３２０の項目、順序、組合せなどは必要に応じて改変できる。
【００８３】
仕様情報３００は、装置管理番号、装置管理者、装置呼称、装置品名、装置型番、装置性能ａ、装置性能ｂ、装置性能ｃ、定格電力（最大）、定格電力（待機）、定格温度（最大）、定格温度（最小）などを含む。構成情報３１０は、ＣＰＵ型番、ＣＰＵ最大周波数、ＣＰＵ搭載数、メモリ型番、メモリ容量、メモリ搭載数、チップセット型番、ディスク型番、ディスク容量、ディスク搭載数、Ｉ／Ｏ転送速度、Ｉ／Ｏ本数などを含む。稼動情報３２０は、装置位置座標、作業負荷タイプ、装置／ＣＰＵステート、ＣＰＵ動作周波数、ＣＰＵ使用率、ＣＰＵ動作温度、メモリ使用率、ディスク転送速度、Ｉ／Ｏ転送速度、装置動作電力、装置入気温度、装置排気温度などを含む。
【００８４】
実施の形態４では、仕様情報３００と構成情報３１０と稼動情報３２０により数１に示すような装置電力関数を導出する。例えば簡便な導出方法では、装置ｉの装置電力関数ｐＤｉ（ｉ＝１，２，…）は、仕様情報３００の定格電力（最大）をｐｍａｘｉ、定格電力（最小）をｐｉｄｌｅｉ、構成情報３１０のＣＰＵ最大周波数をｆｍａｘ、稼動情報３２０のＣＰＵ動作周波数をｆｉ、ＣＰＵ使用率をαｉと置き、ｆｉ／ｆｍａｘ・αｉを作業負荷量として数１０のように表わせる。複数のＣＰＵが有る場合またはＣＰＵに複数のコアが有る場合などでは簡便のためｆｉとαｉの平均値を取れば良い。
【００８５】
【数１０】
【００８６】
作業負荷が無い場合や割り当てられていない場合、装置ｉの装置電力関数ｐＤｉは、例えばＣＰＵ使用率αｉ＝０％と想定して数１０よりｐＤｉ＝ｐｉｄｌｅｉとする。稼動情報３２０の装置／ＣＰＵステートとしてスリープ状態または休止状態を有する場合は、ＣＰＵ使用率αｉ＝０％において各ステートに対応する電力ｐＤｉを定義すれば良い。また、現在、装置ｉにて作業負荷ｆｉ／ｆｍａｘ・αｉを行っているものとして、それを装置ｊへ移動した場合の装置電力を見積もる場合には、仕様情報３００の装置性能ａをγａ、装置性能ｂをγｂ、装置性能ｃをγｃ、稼動情報３２０の作業負荷タイプをｗ（ｗ＝ａ，ｂ，ｃ）として数１１のように置換し、それを装置ｊの装置電力関数ｐＤｊへ代入すれば良い。
【００８７】
【数１１】
【００８８】
もし置換後の作業負荷量γｗｉ／γｗｊ・ｆｉ／ｆｍａｘ・αｉが１００％を超える場合には、移動先の装置ｊの電力ｐＤｊ＝ｐｍａｘｊと置き、作業負荷の処理時間が超えた分に相当して延びる（電力量が増す）と考えれば良い。なお、特に限定はされないが、作業負荷タイプとは、例えば、固定小数点演算処理、浮動小数点演算処理、メモリ読書き処理等のように単純にＣＰＵ周波数ではなくハードウェアアーキテクチャに依存してその処理能力が大きく変化し得るような処理内容を区別するためのものである。また、装置性能γｗは、特に限定はされないが、この作業負荷タイプ毎のベンチマークスコアなどである。
【００８９】
既存の測定情報または稼動履歴として稼動情報３２０の装置動作電力が得られる場合には、作業負荷量ｆｉ／ｆｍａｘ・αｉと装置動作電力ｐｍｅａｓｉのデータから装置電力関数ｐＤｉの近似式を求められる。図５はこれらのデータをプロットした一例であり、近似した装置電力関数ｐＤｉを示すグラフである。関数ｐＤｉは一次関数の傾きをａＤｉ、切片をｂＤｉとして数１２のように表わせる。図５の例では実線が近似関数を示し、ａＤｉ＝１．３１７５、ｂＤｉ＝１５２．１６である。
【００９０】
【数１２】
【００９１】
装置ｉが省電力機能として作業負荷に応じて複数の動作ステート（ＣＰＵ動作周波数、ＣＰＵコア電圧）のデマンドベーススイッチングを行なう場合には、装置電力ｐＤｉが階段状に変化する。この場合には、各動作ステートと作業負荷量範囲に対して数１０や数１２のような一次関数をそれぞれ定義し、装置電力関数ｐＤｉを関数集合で表わせる。別の簡便な方法として、階段状の装置電力関数ｐＤｉを一つの二次関数で近似することも可能である。図６は３つのステートのデマンドベーススイッチングにおける作業負荷量ｆｉ／ｆｍａｘ・αｉと装置動作電力ｐｍｅａｓｉのデータをプロットした一例であり、二次で近似した装置電力関数ｐＤｉを示すグラフである。関数ｐＤｉは二次の項の係数をａＤｉ、一次の項の係数をｂＤｉ、定数項をｃＤｉとして数１３のように表わせる。図６の例では破線が階段状の一次関数、実線が近似した二次関数を示し、ａＤｉ＝０．０１３４、ｂＤｉ＝０．７２９７、ｃＤｉ＝１０３．１６である。
【００９２】
【数１３】
【００９３】
装置ｉの装置動作電力ｐｍｅａｓｉを直接取得できず、熱抵抗と熱時定数が分かる場合には、稼動情報３２０の入気温度と排気温度から動作電力ｐｍｅａｓｉを間接的に導出できる。動作電力ｐｍｅａｓｉは、熱抵抗をＲｔｈｉ、熱時定数をτｔｈｉ、入気温度をＴｉｎｉ、排気温度をＴｏｕｔｉとして数１４のように表わせる。動作電力の変化に比べて温度は熱時定数を持ってゆっくり変化するので、温度変化の傾きを考慮して補正する。
【００９４】
【数１４】
【００９５】
装置動作電力ｐｍｅａｓｉが間接的に分かれば、作業負荷量のｆｉ／ｆｍａｘ・αｉの測定と合わせて数１２や数１３のような装置電力関数ｐＤｉを導出できる。また、熱抵抗Ｒｔｈｉと熱時定数τｔｈｉが初めに不明であっても、定格電力（最大）ｐｍａｘｉまたは定格電力（最小）ｐｉｄｌｅｉが既知であれば、入気温度Ｔｉｎｉ及び排気温度Ｔｏｕｔｉの測定データや温度変化の傾きデータから熱抵抗Ｒｔｈｉや熱時定数τｔｈｉを算出できる。
【００９６】
実施の形態４による装置電力関数によれば、簡便に作業負荷に対する装置群の消費電力を求めることができ、作業負荷量と装置電力の関係を見通し良く把握して装置群に対する作業負荷割当てを効率良く行なえる。また、装置の稼動情報が全て得られなくても数１０や数１４のように一部のデータから装置電力関数を導出でき、測定情報や稼動履歴が得られれば数１２や数１３のように実測に即した装置電力関数を導出でき、さらに測定情報や稼動履歴が蓄積されれば近似精度を向上できる。
【００９７】
実施の形態４ではサーバ装置を一例としたが、ストレージ装置やネットワーク装置であっても同様に装置の稼動情報から装置電力関数を導出できる。実施の形態４では作業負荷量を表わす主要変数としてＣＰＵ最大周波数、ＣＰＵ動作周波数、ＣＰＵ使用率を用いたが、ストレージ装置であれば起動ディスク数、アクセスパターン、アクセス時間など、ネットワーク装置なら転送パケット数、スイッチ頻度などを用いて良い。
【００９８】
（実施の形態５）
図７は本発明による実施の形態５の情報処理システムの運用管理方法における設備電力関数の説明図であり、実施の形態３の情報処理システム２１０を例としたものである。例えば装置ｉ２２１ｉがラック列２２０７に位置する場合、給電設備は矢印２４３に示すように変圧器２４０から無停電電源装置２４１と配電盤２４２３を経て装置ｉに給電する。装置ｉ２２１ｉが消費した電力は顕熱に変わって空気を温める。冷却設備では、冷気が空調機２５２１〜２５２６から床下、グリル（図７では見易さのため床のタイルやグリルを省略）を経て装置ｉ２２１ｉへ供給され、装置ｉ２２１ｉによる温気が矢印２５４１〜２５４６に示すように空調機２５２１〜２５２６へ戻り、空調機２５２１〜２５２６の吸い取った熱が冷凍機２５１と冷却塔２５０を経て外気へ放出される。
【００９９】
装置ｉと同様に装置群全体に亘って位置座標と装置電力または装置電力関数が分かれば、給電設備の給電損失と冷却設備の冷却電力を計算できる。例えば実施の形態４のように、稼動情報３２０から装置群の位置座標を得て、数１０、数１２または数１３のような装置電力関数を得れば、装置群全体の電力分布を求めることができ、これらを入力として数２や数３に示すような設備電力関数ｐＳ、ｐＣにより設備電力を計算できる。設備電力関数ｐＳ、ｐＣの計算には、設備の位置座標、接続構成、動作特性などの環境情報を予め入力しておいたシミュレータを用いて良い。
【０１００】
さらに設備電力を簡便に求めるためには、所定条件の範囲内で線形近似を行なうことにより、設備電力関数ｐＳ、ｐＣを数６や数７に示すような設備要素関数ｐＳｉ、ｐＣｉに分解する。設備電力関数ｐＳ、ｐＣは、装置毎の要素関数ｐＳｉ、ｐＣｉの装置群全体に亘る線形和になる。装置ｉの給電設備の要素関数ｐＳｉは、矢印２４３に示す給電系統に沿って予めシミュレーションを行なうことにより求める。冷却設備の要素関数ｐＣｉは、矢印２５４１〜２５４６に示すように装置ｉが空調機２５２１〜２５２６に与える熱負荷の影響を考慮して、予めシミュレーションを行なって求める。シミュレーションでは、装置ｉの電力を振りながら給電／冷却設備電力の感度係数を算出する。単純化した場合には、設備要素関数ｐＳｉ、ｐＣｉを一次関数、傾きをａＳｉ、ａＣｉ、切片をｂＳｉ、ｂＣｉとして数１５、数１６のように表わせる。
【０１０１】
【数１５】
【０１０２】
【数１６】
【０１０３】
設備要素関数ｐＳｉ、ｐＣｉが求まれば、装置電力関数ｐＤｉとの和を取って数８のような装置関数ｐｉを導出できる。装置関数ｐｉは、装置毎に掛かる装置電力と設備電力を表わす。例えば実施の形態４で説明した数１２に示す装置電力関数ｐＤｉを用いると、装置関数ｐｉを数１７のように表わせる。装置関数ｐｉの傾きａｉと切片ｂｉを新たに定義する。装置群と設備の総消費電力Ｐは装置群全体に亘る装置関数ｐｉの総和であり、数９を数１８のように書き直せる。
【０１０４】
【数１７】
【０１０５】
【数１８】
【０１０６】
数１８を見れば明らかなように、装置群への作業負荷（ここではｆｉ／ｆｍａｘ・αｉ）の割当てを最適化することにより、装置群と設備の総電力Ｐを最小化できる。すなわち、目的関数Ｐを最小化するように、装置群への作業負荷を割り当てる組合せ最適化問題を解けば良い。装置が多い場合には組合せの数が数５に示すように膨大になるため、組合せの全探索を行なうことは非現実的である。実施の形態５では適切な近似を行なうことにより、数１８の目的関数Ｐを一次関数の線形和にしたので、装置関数ｐｉの傾きａｉと切片ｂｉを指標として効率良く最適解を発見できる。
【０１０７】
（実施の形態６）
図８は本発明による実施の形態６の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム４１０は、物理サーバ４２０１〜４２０ｎ、サーバ群４２０１〜４２０ｎへ給電する給電設備４４０１〜４４０ｕ、サーバ群４２０１〜４２０ｎを冷却する冷却設備４５０１〜４５０ｖ、サーバ群４２０１〜４２０ｎと設備４４０１〜４４０ｕ、４５０１〜４５０ｖを管理する運用管理装置４６０から成り、仮想化環境を構成する。物理サーバ４２０１〜４２０ｎにはハイパーバイザ４２１１〜４２１ｎを介して仮想マシン４３０１〜４３０ｍが配置され、その上でＯＳ４３１１〜４３１ｍと作業負荷であるアプリケーション４３２１〜４３２ｍが動作する。運用管理装置４６０では、物理サーバ４２０１〜４２０ｎと仮想マシン４３０１〜４３０ｍを管理する仮想化マネージャ４６２と、設備４４０１〜４４０ｕ、４５０１〜４５０ｖを管理する設備マネージャ４６３と、サーバ群４２０１〜４２０ｎと設備４４０１〜４４０ｕ、４５０１〜４５０ｖの総消費電力を削減する運用管理マネージャ４６１が連携して動作する。
【０１０８】
実施の形態６では、仮想化マネージャ４６２がハイパーバイザ４２１１〜４２１ｎを介して、物理サーバ４２０１〜４２０ｎに対する仮想マシン４３０１〜４３０ｍの割当てや、仮想マシン４３０１〜４３０ｍに対するリソース配分（ＣＰＵ、メモリ容量などのリソース割当て）を管理し、仮想マシン４３０１〜４３０ｍと物理サーバ４２０１〜４２０ｎの稼動情報（例えば物理サーバのＣＰＵ使用率、メモリ使用容量、ディスク転送速度、ネットワーク転送速度など、仮想マシンのＣＰＵ使用率、メモリ使用率、ディスク転送速度、ネットワーク転送速度など）を取得する。この稼動情報に基づいて運用管理マネージャ４６１がアプリケーションすなわち作業負荷４３２１〜４３２ｍを見積もり、作業負荷に対する物理サーバ４２０１〜４２０ｎの電力の関係を導出する。例えば１つの物理サーバに対して複数の仮想マシンがある場合、仮想化自体のオーバーヘッドが小さいとすれば、複数の仮想マシンの稼働率または稼動量の和が物理サーバの稼動率または稼動量になると考えて良い。例えば物理サーバに計８コアのＣＰＵがあり、仮想マシンＡに２コア、仮想マシンＢに６コアが配分されている場合を想定すると、仮想マシンＡのＣＰＵ使用率の４分の１倍と仮想マシンＢのＣＰＵ使用率の４分の３倍との和が物理サーバのＣＰＵ使用率に相当するとして、装置電力関数を数１０、数１２または数１３のように表わせる。
【０１０９】
設備マネージャ４６３は設備４４０１〜４４０ｕ、４５０１〜４５０ｖの位置と環境情報を取得し、物理サーバ４２０１〜４２０ｎの電力分布に対する設備電力の関係を導出する。運用管理マネージャ４６１は、作業負荷に対する物理サーバ電力の関係と物理サーバ群の電力分布に対する設備電力の関係に基づいて、物理サーバに対する作業負荷割当ての最適解を出す。この解に従って、仮想化マネージャ４６２はアプリケーション４３２１〜４３２ｍが載る仮想マシン４３０１〜４３０ｍを物理サーバ４２０１〜４２０ｎへ割り当てる。図８では矢印４３３に示すように、アプリケーション４３２２を仮想マシン４３０２と共に物理サーバ４２０２から４２０１へ移動する一例を示す。
【０１１０】
実施の形態６によれば、仮想化環境のライブマイグレーション機能を活用することにより、アプリケーション４３２１〜４３２ｍを、稼動させたまま物理サーバ４２０１〜４２０ｎの間で移行でき、サーバ群と設備の総電力を最小化する作業負荷割当てを簡便に実行でき、作業負荷の移動に伴うオーバーヘッドやタイムロスを抑えて情報処理システムの省電力化を実現できる。実施の形態６はサーバ装置の例であるが、ストレージ装置やネットワーク装置の仮想化環境でも同様の省電力運用を実現できる。なお、実施の形態６では運用管理マネージャ４６１と仮想化マネージャ４６２と設備マネージャ４６３が相互に連携する方法を採ったが、インターフェースやソフトウェア規模などに応じて一方を他方へ組み込んでも良い。
【０１１１】
（実施の形態７）
図９は本発明による実施の形態７の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム５１０は、サーバ５２０１〜５２０ｎ、ストレージ５７０１〜５７０ｒ、これらの給電と冷却を行なう給電設備５４０１〜５４０ｕと冷却設備５５０１〜５５０ｖ、これら装置群と設備全体を管理する運用管理装置５６０から成り、ＳＡＮ（ストレージエリアネットワーク）環境を構成する。サーバ５２０１〜５２０ｎでは、ＯＳ５２１１〜５２１ｎの上で作業負荷であるアプリケーション５３０１〜５３０ｍが動作する。運用管理装置５６０では、サーバ群５２０１〜５２０ｎとストレージ５７０１〜５７０ｒから成るＳＡＮを管理するＳＡＮマネージャ５６２と、設備５４０１〜５４０ｕ、５５０１〜５５０ｖを管理する設備マネージャ５６３と、サーバ群５２０１〜５２０ｎとストレージ５７０１〜５７０ｒと設備５４０１〜５４０ｕ、５５０１〜５５０ｖの総消費電力を削減する運用管理マネージャ５６１が連携動作する。
【０１１２】
実施の形態７では、ＳＡＮマネージャ５６２がサーバ５２０１〜５２０ｎの稼動監視と管理を行ない、運用管理マネージャ５６１がアプリケーションすなわち作業負荷５３０１〜５３０ｍに対するサーバ５２０１〜５２０ｎの電力を評価する。設備マネージャ５６３は設備５４０１〜５４０ｕ、５５０１〜５５０ｖの位置と環境情報に基づいて、サーバ５２０１〜５２０ｎの電力分布に対する設備電力を求める。運用管理マネージャ５６１は、サーバ電力分布と設備電力の関係に基づいて、サーバ群と設備の総電力を最小化するように作業負荷割当てを求める。この解に従って、ＳＡＮマネージャ５６２は現行のアプリケーション５３０１〜５３０ｍを一旦中断してストレージ５７０１〜５７０ｒへ引き上げ、割当ての有るサーバ５２０１〜５２０ｎをＳＡＮブートにより起動してアプリケーション５３０１〜５３０ｍを続行する。サーバ５２０１〜５２０ｎのうち割当ての無いサーバは停止して電源を落とす。なお、作業負荷割当ての実行ではアプリケーション５３０１〜５３０ｍの起動／中断／停止契機を十分考慮する。
【０１１３】
実施の形態７によれば、ＳＡＮブート機能を利用することにより、サーバ群と設備の総電力を最小化する省電力運用を実施できる。実施の形態６のような仮想化環境が整っていない場合や既存のシステムには本実施の形態を導入し易いという利点がある。また、サーバ群と設備だけではなくストレージ５７０１〜５７０ｒと合わせて運用することにより、さらに省電力化を図れる。
【０１１４】
（実施の形態８）
図１０は本発明による実施の形態８の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム６１０は、サーバ６２０１〜６２０ｎ、ストレージ６７０１〜６７０ｒ、ネットワーク６８０１〜６８０ｓ、これらの給電と冷却を行なう給電設備６４０１〜６４０ｕと冷却設備６５０１〜６５０ｖ、装置群と設備を統合的に管理する運用管理装置６６０から成り、統合管理環境を構成する。サーバ６２０１〜６２０ｎでは、ＯＳ６２１１〜６２１ｎの上で作業負荷であるアプリケーション６３０１〜６３０ｍと統合管理エージェント６２２１〜６２２ｎが動作する。運用管理装置６６０では、サーバ６２０１〜６２０ｎとストレージ６７０１〜６７０ｒとネットワーク６８０１〜６８０ｓを統合管理するマネージャ６６２と、設備６４０１〜６４０ｕ、６５０１〜６５０ｖを管理する設備マネージャ６６３と、装置群６２０１〜６２０ｎ、６７０１〜６７０ｒ、６８０１〜６８０ｓと設備６４０１〜６４０ｕ、６５０１〜６５０ｖの総電力を削減する電力マネージャ６６１が相互に連携する。
【０１１５】
実施の形態８では、統合管理マネージャ６６２がエージェント６２２１〜６２２ｎを介してサーバ６２０１〜６２０ｎの稼動管理や業務運用を行ない、電力マネージャ６６１がアプリケーション６３０１〜６３０ｍに対するサーバ６２０１〜６２０ｎの電力を見積もり、設備マネージャ６６３が設備６４０１〜６４０ｕ、６５０１〜６５０ｖの電力を見積もる。電力マネージャ６６１は設備マネージャ６６３と連携して作業負荷割当てを求め、これに基づいて統合管理マネージャ６６２がサーバ６２０１〜６２０ｎの稼動／停止を行なってアプリケーション６３０１〜６３０ｍを動作させるサーバを切り替える。ジョブスケジューリングでは、サーバ６２０１〜６２０ｎに対してジョブ（アプリケーション）６３０１〜６３０ｍを投入する配置により作業負荷割当てを行なえる。
【０１１６】
ストレージ６７０１〜６７０ｒ、ネットワーク６８０１〜６８０ｓに関してもサーバ６２０１〜６２０ｎの運用管理と同様に行なえる。図１１はストレージ、図１２はネットワークの一例を示す説明図である。図１１ではストレージ装置６７１１、６７１２がディスクアレイ６７２から成り、データ６７３１〜６７３３を保存する。矢印６７４に示すように、作業負荷であるアクセス頻度の高いデータ６７３２をストレージ装置６７１２から６７１１へ移動またはコピーすることにより、所望の作業負荷割当てを行なえる。図１２ではネットワーク装置６８１１〜６８１３にサーバ装置６２３１〜６２３４などが接続され、矢印６８２に示すようにサーバ装置６２３３に対する接続をネットワーク装置６８１３から６８１２へ切り替えることにより作業負荷を移動する。作業負荷割当てを変更した後、ストレージ装置６７１１、６７１２やネットワーク装置６８１１〜６８１３は自身の省電力機能を働かせ、電源を制御する。なお、作業負荷の移動ではストレージ、ネットワーク共に処理時間や処理に伴う電力などのオーバーヘッドやリスクを十分考慮することが肝要である。
【０１１７】
実施の形態８によれば、稼動管理やジョブスケジューリングによりサーバ／ストレージ／ネットワーク装置群を統合管理すると共に、全装置群と設備の総消費電力を最小化できる。統合管理マネージャ６６２が有するポリシー運用、資産管理、障害監視、電源管理、統合コンソールなどの機能と電力マネージャ６６１の省電力機能を組み合せることにより、さらに高度且つ自在なシステム運用を実現できる。なお、電力マネージャ６６１や設備マネージャ６６３は統合管理マネージャ６６２の一部またはサブシステムとして実装することも可能である。
【０１１８】
以上、本実施の形態による情報処理システムの運用管理装置および運用管理方法によって得られる主要な効果を挙げると以下のようになる。
【０１１９】
上述した各実施の形態の手段によれば、情報処理装置群と設備を連携させた運用管理により装置群と設備を合わせた総消費電力を削減できるので、データセンタなどのような情報処理システムの省電力運用を実現でき、運用コストを削減すると共に過剰な設備投資を抑制できる効果があり、地球温暖化の防止と二酸化炭素の削減にも寄与できる。
【０１２０】
なお、上述した各実施の形態の手段は装置群と設備の電力に着目しているが、装置群の作業負荷、稼動情報、設備の環境情報に関する時間平均や時間積分などを取り入れることにより、作業負荷の処理時間を考慮した最適化を容易に行なうことができ、装置群と設備の電力量（電力×時間＝エネルギー）を削減することも可能である。また、装置群への作業負荷割当てでは、電力や電力量に加えて、作業負荷の処理優先度、計画やイベントなどによる実行契機、送電系統や課金制度に応じた電力コストなども考慮することにより、さらに有益性と利便性を高めたポリシー運用として応用することができる。
【０１２１】
本実施の形態は情報処理システム自身の自律的な省電力運用管理方法として好適であるが、本実施の形態によって得られる作業負荷割当ての解や装置群と設備の個別電力や総電力の結果は、既設システムにおける省エネルギー診断と改善、新設システムの設計や建設、装置や設備の増設、移設、改修、更新における計画や調整、将来の情報処理予測に対するリスク把握やコスト算出、人手による稼動管理やシナリオ策定においても有用な運用管理指針を与える。
【０１２２】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
【産業上の利用可能性】
【０１２３】
本実施の形態はサーバ、ストレージ、ネットワークなどの情報処理装置群と給電設備や冷却設備から成る情報処理システムにおける統合的な省電力運用管理に適用でき、特に情報処理基盤であるデータセンタに好適である。また、本実施の形態は情報処理システムの自律運用管理に用いられるほか、システム構築ツール、省エネルギー診断ツール、稼動監視ツール、運用管理者や設備管理者の補助ツールとして幅広い用途に適用できる。
【０１２４】
さらに、本実施の形態は、一つの場所に配置された装置群と設備に対してだけではなく複数の場所に対しても適用でき、例えば複数階のデータセンタや大域的に離れたデータセンタでも有用であり、グリッドコンピューティングやクラウドコンピューティングなどのように情報処理装置と設備が散在する場合にも活用できる。また、本実施の形態は主に情報処理装置群と設備を対象とするが、電力またはエネルギーを消費する装置とそのための設備であれば本実施の形態を適用でき、例えば電気装置、機械装置、動力装置、熱装置などの運用や制御に対しても用途を発揮し、システム規模として電子部品群と電源または冷却器、情報処理モジュール群と電源ユニットや冷却ユニット、データセンタ群と発電所または立地を含めた冷却環境なども対象として省電力、省エネルギーに貢献し得る。
【符号の説明】
【０１２５】
１０，１１０，２１０，４１０，６１０ 情報処理システム
２０，１２０ 情報処理装置
３０，１３０ 作業負荷
４０，１４０，４４０，５４０，６４０ 給電設備
５０，１５０，４５０，５５０，６５０ 冷却設備
６０，１６０，４６０，５６０，６６０ 運用管理装置
６１，１６１ 装置群の位置と稼動情報
６２，１６２ 設備の位置と環境情報
６３ 装置群の消費電力計算手段
６４ 設備の消費電力計算手段
６５ 装置群への作業負荷割当て手段
１６３ 装置群の仮消費電力計算手段
１６４ 設備の仮消費電力計算手段
１６５ 装置群への仮作業負荷割当て手段
１６８ 装置群への実作業負荷割当て手段
１６９ 設備への運転指示手段
２２０ ラック列
２２１ 装置
２４０ 変圧器
２４１ 無停電電源装置
２４２ 配電盤
２５０ 冷却塔
２５１ 冷凍機
２５２ 空調機
２５３ グリル
２６０〜２６３，２７０〜２７５，２８０，２８１ ボタン
３００ 仕様情報
３１０ 構成情報
３２０ 稼働情報
４２０ 物理サーバ
４２１ ハイパーバイザ
４３０ 仮想マシン
４３１，５２１，６２１ ＯＳ
４３２，５３０，６３０ アプリケーション
４６１，５６１ 運用管理マネージャ
４６２ 仮想化マネージャ
４６３，５６３，６６３ 設備マネージャ
５２０，６２０ サーバ
５６２ ＳＡＮマネージャ
５７０，６７０ ストレージ
６２２ エージェント
６２３ サーバ装置
６６１ 電力マネージャ
６６２ 統合管理マネージャ
６７１ ストレージ装置
６７２ ディスクアレイ
６７３ データ
６８０ ネットワーク
６８１ ネットワーク装置
【技術分野】
【０００１】
本発明はサーバ、ストレージ、ネットワークなどの情報処理装置群とその給電または冷却を行なう設備から成る情報処理システムの運用管理方法ならびに運用管理装置に係り、特に情報処理装置群と設備の統合的な省電力運用管理を行なうのに好適な技術に関する。
【背景技術】
【０００２】
特開２００４−１２６９６８号公報（特許文献１）では、並列計算機に対してジョブスケジューリングを行なう管理サーバにおいて、計算機の温度センサ情報に基づいて温度の低い計算機へ新規ジョブを投入し、温度の高い計算機から温度の低い計算機へジョブを移動させ、高温による並列計算機の障害や性能低下を防いでいる。また、ジョブの移動前後で各々の計算機とそれ毎に備わっている冷却装置の消費電力を温度情報に基づいて見積ることにより、移動の可否を判断することも行なっている。
【０００３】
特開２００７−１７９４３７号公報（特許文献２）では、複数のコンピュータの管理システムにおいて、コンピュータの温度分布と稼動情報に基づき過熱コンピュータと非過熱コンピュータを抽出し、前者から後者へソフトウェアを移動させ、省電力化を図っている。また、対象コンピュータを抽出した上でソフトウェアの移動前後のコンピュータ電力と空調電力の変動を比較し、移動可否を判断している。コンピュータ電力は稼動情報から、空調電力は温度分布から、温度分布は温度センサや温度履歴や稼動情報から求めている。
【０００４】
米国特許出願公開第２００６／０２５９６２１号明細書（特許文献３）では、データセンタに在る複数のサーバに対して作業負荷を割り当てる方法において、リクエストされた作業負荷のプロファイルを履歴プロファイルと比較し、サーバと空調の電力が最低となる履歴に従ってリクエストされた作業負荷をサーバへ割り当て、適合する履歴が無ければランダムに割り当てている。履歴プロファイルには、サーバの位置、クラス、稼動情報、入気温、排気温、作業負荷のタイプ、サーバと空調の電力が含まれている。サーバと空調の電力は、サーバの入排気温と比熱と風量から求めるか、または電力計により測定している。
【０００５】
米国特許出願公開第２００６／０２５９７９３号明細書（特許文献４）では、データセンタに在る複数のサーバに対して電力を配分する方法において、理想的なアナログ的な温度分布すなわち電力分布に近付くように地理的位置が近接したサーバ間またはラック間で電力予算の貸し借りを行ない、その予算配分に基づいてサーバの離散化した電力ステートを指定し、ホットスポットやコールドスポットによるサーバの障害を防いでいる。各サーバに対する理想電力を示す熱乗数は、各サーバの排気温度と平均的サーバの基準排気温度と空調の給気温度から求めている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１２６９６８号公報
【特許文献２】特開２００７−１７９４３７号公報
【特許文献３】米国特許出願公開第２００６／０２５９６２１号明細書
【特許文献４】米国特許出願公開第２００６／０２５９７９３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
近年の情報通信の急速な発展、さらに放送と通信の融合時代に向けて情報処理装置が爆発的に増加すると予想されている。一方で地球温暖化の防止に向けて二酸化炭素を削減するため、情報処理装置の消費電力を大幅に削減する必要に迫られている。特にバックエンドで情報処理基盤を担うデータセンタでは、情報処理装置群が消費する電力に加え、その給電や冷却を行なう設備が消費する電力も大きな割合を占めており、装置群と設備を合わせた総合的な電力の削減が重要な課題となっている。
【０００８】
データセンタの省電力化に向けて、サーバ、ストレージ、ネットワークなどの情報処理装置、給電設備、冷却設備、システム運用管理において、それぞれの取り組みが始まっている。情報処理装置では、低電力デバイス／回路による消費電力当たり性能の向上や、作業負荷に応じた動作／待機ステート切替による省電力機能の採用が進められている。給電設備では変圧器、無停電電源装置、配電盤、分電器などから装置群の電源に至る給電系統の損失低減や変換効率向上、冷却設備では空調機自身の運転効率向上や給排気口の気流設計の最適化、さらに局所冷却や液冷の導入が始まっている。運用管理では、稼動情報監視、ジョブスケジューリング、さらに仮想化による装置群の運用効率改善やコンソリデーションが主要な対策に挙がっている。
【０００９】
給電設備や冷却設備は一般に装置群の最大定格電力に基づいて設計されているが、運用時の設備の効率や電力は、設備に対する装置群の電力の分布や変動に大きく依存している。例えば、電源変換効率は電力負荷に依存するため、装置の動作電力と給電系統によって給電損失が異なってくる。また、空調機の効率は装置の電力すなわち発熱、空調機と装置間の位置関係や距離、温度、風量、風向などに依存するため、装置の電力と配置によって冷却電力が大きく影響を受ける。
【００１０】
今後、データセンタの仮想化による運用管理が伸展し、省電力化のためにコンソリデーションやライブマイグレーションが活用されると予想されるため、設備に対する装置群の電力分布の偏在化や時間変動を十分考慮し、装置群と設備の総電力を削減する対策が必要になってくる。従来、サーバやコンピュータなどの装置群と冷却装置や空調設備に関する温度や電力の運用管理方法として幾つかの公知例が知られているが、上述した総合的な省電力化という意味においては局所的または逐次的な対策に留まっている。
【００１１】
こうした中、例えば、特許文献１では、並列計算機のうち温度の低い計算機へジョブを割り当てることにより計算機の温度上昇を抑えているが、データセンタのように多様な情報処理装置が混在する場合には温度が低い装置が省電力になるとは限らない。また、ジョブの移動前後で計算機の消費電力を見積もっているので、移動元と移動先に関わる電力が下がるものの、並列計算機全体に対しては局所的な省電力化に過ぎない。消費電力の見積りには計算機毎に付随する冷却装置の電力も含まれているが、空調設備や計算機などの配置に対する考慮がなされておらず、ジョブの割当てによっては計算機と冷却装置の電力が下がっても空調電力が上がって両者の総電力が増えるということも起こり得る。
【００１２】
特許文献２では、過熱コンピュータから非過熱コンピュータへソフトウェアを移動させ分散させているが、温度の低いコンピュータが必ずしも電力が低いとは限らない上、特定のコンピュータへソフトウェアを集約させ他のコンピュータを待機または休止させる方がコンピュータ群全体では省電力になる場合がある。また、ソフトウェアの移動前後でコンピュータ電力と空調電力の変動を比較しているが、比較対象が抽出した過熱と非過熱のコンピュータに限られており、コンピュータ群と空調設備を合わせた総電力を考慮している訳ではない。
【００１３】
特許文献３では、サーバと空調の電力が最低となる履歴プロファイルに基づいてリクエストされた作業負荷をサーバへ割り当てているので、履歴の範囲内にある新しいリクエストに対してはサーバ群と空調設備を合わせた電力を低減できるが、適合する履歴が無い場合や既に割り当てられた作業負荷が大きく変動する場合には対応できないか、履歴の蓄積に応じて逐次的にしか改善されない。また、履歴プロファイルにはサーバの位置が含まれているものの、空調電力をサーバ入排気温や電力計から求めており、サーバと空調設備との位置関係が考慮されておらず、履歴に現れる範囲内の位置にあるサーバへ作業負荷を割り当てることがサーバ群と空調設備の総電力を最小にするとは限らない。
【００１４】
特許文献４では、理想的な温度分布に近付くように近接したサーバ間で電力予算を貸し借りするので、サーバ群全体の合計電力が低減される訳ではない。また、温度の平準化を目的として巨視的にはサーバ群に電力を分散させているので、サーバのコンソリデーションによる省電力化とは相容れない。電力配分を行なうためにサーバの地理的位置や排気温度、空調の給気温度を参照しているが、空調設備の電力や配置を考慮しておらず、空調電力の低減に寄与していない。サーバに指定される電力ステートは待機モード（待機電力）と最大動作モード（最大電力）であり、作業負荷に応じた電力の変動は考慮されておらず、サーバ自身の省電力機能が活用されていない。
【００１５】
以上述べたように、従来技術は情報処理装置群と空調設備の電力を局所的または逐次的に低減するに過ぎないという問題がある。そこで、本発明の目的の一つは、装置群の電力分布や変動と設備との相互配置を総合的に考慮することにより、装置群と設備を合わせた総電力を削減し、データセンタに代表される情報処理システムの省電力運用を実現することにある。概念的に言えば、装置群のみの省電力化にとっては或る装置になるべく作業負荷を集約して割り当て、他の装置は休止または停止させる方が良く、設備のみの省電力化にとっては運転効率が高くなる配置で装置群の電力をなるべく分散させる方が良い。このため、本発明は、装置群と設備の相反する要求を満たすように装置群へ作業負荷を適度に集約かつ分散させて割り当て、装置群と設備の総電力が最小になるように最適化する運用管理方法ならびに運用管理装置を提供する。本発明の前記ならびにそれ以外の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１６】
本発明の代表的実施の形態の特徴は、情報処理装置群の位置及び稼動情報と設備の位置及び環境情報から成る配置情報を有し、稼動情報に基づいて装置群の作業負荷に対する消費電力を求める手段と、配置情報に基づいて装置群の消費電力に対する設備の給電損失または冷却電力を求める手段を備えることにより、装置群と設備の総電力が最小になるように作業負荷を割り当てることにある。
【００１７】
装置群の位置と稼動情報は、特許文献２のように過熱／非過熱装置を抽出するのではなく、装置群全体に亘って装置の位置と作業負荷を把握するように収集する。稼動情報は或る装置から他の装置へ作業負荷を移動した場合に消費電力を算出するのに十分な情報とし、必要に応じて装置の仕様情報や構成情報も含まれる。設備の位置と環境情報は、給電設備であれば変圧器から装置電源に至る給電系統の給電損失を、冷却設備であれば外気から空気や冷媒を介して装置すなわち熱源に至る熱交換サイクルと冷却電力を把握するように収集する。環境情報は、設備の内蔵センサまたは外部センサに加えて、必要に応じて装置の稼動情報からも入手する。
【００１８】
装置電力を求める手段では、特許文献１のような温度情報や特許文献３のような履歴対照からではなく、特許文献４のように最大動作／待機ステートの固定電力と異なり、特許文献２のように装置対象を過熱／非過熱装置に限らず、稼動情報により装置群全体に亘って作業負荷の多寡に応じて変動する電力を求める。設備電力を求める手段では、特許文献２のような温度分布や特許文献３のような履歴対照からではなく、特許文献１のように装置に含まれる冷却装置の電力ではなく、装置群と設備の相互配置情報から装置群の電力分布や変動に応じた設備全体の電力を求める。装置群へ作業負荷を割り当てる手段では、特許文献１のような温度の低い装置、特許文献２のような非過熱装置、特許文献３のような履歴に残る装置、特許文献４のような地理的位置が近接した装置に対象を限らず、装置群全体を対象として求めた最適解に基づいて作業負荷を割り当てる。
【００１９】
本発明の代表的実施の形態の別の特徴は、装置群の位置及び稼動情報と設備の位置及び環境情報から成る配置情報を監視し、現在または予定の作業負荷に基づいて装置群へ仮作業負荷を割り当てる手段と、稼動情報に基づいて装置群の仮作業負荷に対する仮消費電力を求める手段と、配置情報と仮消費電力に基づいて設備の仮給電損失または仮冷却電力を求める手段を備えることにより、装置群の仮消費電力と設備の仮給電損失または仮冷却電力との総和を最小にする仮作業負荷割当ての最適解を求めることにある。
【００２０】
装置群への作業負荷割当てには多数の組合せが存在するが、仮作業負荷を割り当てて装置群と設備を合わせた総電力を最小にする解を探索することにより、最適解を効率良く見つけ出し、これを踏まえて装置群へ実作業負荷を割り当てる。仮作業負荷の割当ては、現在の作業負荷だけでなく、予定または予測される作業負荷を含めて行なえる。解の探索においては、装置の動作温度条件や許容負荷条件、給電設備の配電盤やラック電源の許容電力条件、冷却設備の冷却能力や熱溜りを避けるための区画許容電力条件などの制約条件を考慮することが可能である。
【００２１】
さらに別の特徴は、装置群と設備が設置される空間における、装置群の位置座標及び稼動情報と設備の位置座標及び給電または冷却に関する環境情報をマッピングした配置情報を有することにある。実空間における装置群や設備の稼動状況や配置状態を仮想空間上に再現することにより、装置群の作業負荷割当てや設備の運転シミュレーションを共通の仮想空間に対して統一的に行ない、装置群と設備が緊密に連携した運用管理を実施する。また、仮想空間を可視化することにより、装置群と設備の稼動監視、業務運用、障害検知、資産管理、電力管理などを一括して効率良く行なえる。
【００２２】
さらに別の特徴は、装置の仕様情報、構成情報、測定情報、稼動情報または稼動履歴に基づいて、装置の作業負荷に対して消費電力を算出する装置電力関数を備えることにより、作業負荷の割当て、変更、移動などに応じて装置電力を簡便に求めることにある。例えば、装置ｉの装置電力関数ｐＤｉ（ｉ＝１，２，…）は、作業負荷ｊ（ｊ＝１，２，…）を表わす変数集合をｌｊｋ（ｋ＝１，２，…）として数１のように表わせる。
【００２３】
【数１】
【００２４】
装置群への作業負荷割当てが変更される場合には装置間で変数集合を置換し、一つの装置に作業負荷を重複して割り当てる場合には変数集合間で演算を行なうことにより、重複した作業負荷に応じた電力を求める。作業負荷が有る場合（装置が動作）には装置電力関数ｐＤｉを多変数の線形関数または非線形関数とし、作業負荷が無い場合（装置が休止または停止）には電力値を与える不連続関数とする。装置電力関数ｐＤｉは変数に対する数表の戻り値または補間でも良い。
【００２５】
例えば装置電力関数ｐＤｉとして、装置の仕様情報や構成情報から最大定格電力が分かれば装置のＯＮ／ＯＦＦに対応する階段関数、最大電力と待機電力が分かれば傾きと切片で表わされる一次関数、稼動情報として複数の動作ステートと待機ステート、休止ステート、または停止ステートが分かれば条件付き関数集合、装置の消費電力を監視可能ならば稼動履歴データをフィッティングした二次関数など、得られる情報や必要な計算精度に応じて適宜採択する。簡便のため、変数集合ｌｊを電力に影響する主要因子に集約しても良い。例えば主要因子は、サーバ装置ならプロセッサの最大性能、使用率、動作ステート（周波数、電圧）など、ストレージ装置なら起動ディスク数、アクセスパターン、アクセス時間など、ネットワーク装置なら転送スループット、スイッチ頻度などである。
【００２６】
さらに別の特徴は、装置の消費電力と位置及び設備の環境情報と位置に対して設備の給電損失または冷却電力を算出する設備電力関数を備えることにより、作業負荷割当てによる装置の電力分布に応じて設備電力を簡便に求めることにある。例えば、給電損失関数ｐＳと冷却電力関数ｐＣは、装置ｉの電力をｐＤｉ、位置をｘｉ（ｘｉ，ｙｉ，ｚｉ）、設備ι（ι＝１，２，…）の環境情報をει、位置をχι（ｘι，ｙι，ｚι）として数２、数３のように表わせる。
【００２７】
【数２】
【００２８】
【数３】
【００２９】
給電損失関数ｐＳは、装置の位置と給電設備の環境情報と位置に基づいて、変圧器、無停電電源、配電盤、分電器などから装置電源に至る給電系統を求め、給電系統に沿って装置電力すなわち電力負荷に対する電源効率や配電損失などを計算し、給電設備全体の給電損失を算出する。冷却電力関数ｐＣは、装置の位置及び電力（熱源分布）と冷却設備の環境情報と位置に基づいて、装置群が置かれた室内の熱流体シミュレーションと、室内冷却機から冷凍機、冷却塔などの室外機に至る冷却系統の熱交換シミュレーションを行ない、冷却設備全体の冷却電力を算出する。
【００３０】
装置の位置ｘｉには、三次元位置座標の他、装置が搭載されているラックの二次元位置とラック高さ方向の番号、装置が載っているフロアタイルの二次元位置とタイルからの高さ、など三次元位置を同定できる表現を代用できる。給電設備の環境情報ειには、電源や配電器や配線の電力負荷特性、各機器やラックで監視している入出力電力、などがある。冷却設備の環境情報ειには、空気や冷媒の温湿度、流量、流速、流向、装置の動作温度、ラックや給排気口の入排気温、室内機や室外機の給排温や流量、外気の温湿度、各機器の熱負荷特性、などがある。設備の位置情報χιには、三次元位置に加えて、各機器の接続先と相互距離などのトポロジー的な接続情報も含まれて良い。
【００３１】
さらに別の特徴は、装置電力関数と設備電力関数の総和を目的関数として、装置群へ作業負荷を割り当てる組合せ最適化問題を定義することにより、目的関数を最小化する最適解または最適解近傍の実行可能な近似解を求めることにある。例えば、装置群と設備の総電力を示す目的関数Ｐは、数１の装置電力関数ｐＤｉ、数２及び数３の設備電力関数ｐＳ、ｐＣを用いて数４のように表わせる。
【００３２】
【数４】
【００３３】
装置電力ｐＤｉは装置ｉに対する作業負荷ｊの割当てに依存する関数ｐＤｉ（ｌｊ）であり、装置電力ｐＤｉに依存する設備電力ｐＳ、ｐＣはｐＤｉ（ｌｊ）（ｉ，ｊ＝１，２，…）を変数として関数ｐＳ（ｐＤｉ（ｌｊ））、ｐＣ（ｐＤｉ（ｌｊ））のように表わせる（ｐＳとｐＣは装置の位置ｘｉ、設備の環境情報ει、位置χιの関数でもあるが簡略に表わす）。したがって、目的関数Ｐが装置ｉに対する作業負荷ｊの割当てに依存することにより、装置群と設備の総電力を削減する問題を、作業負荷割当ての組合せの中から目的関数Ｐを最小化する解を探索するという最適化問題に帰することができる。ｎ台の装置群に重複を許してｍ個の作業負荷を割り当てる組合せの数Ｎは、数５のように表わせる。
【００３４】
【数５】
【００３５】
この組合せ最適化問題を解くにあたって、ｎやｍが小さい場合や作業負荷割当てを行なう時間間隔が十分長い場合には解空間の全探索により最適解を求められるが、そうでない場合には効率的に解を探索する近似解法を用いる。近似解法として、局所探索法、山登り法、焼きなまし法、タブー探索法など一般に良く知られているメタヒューリスティックアルゴリズムの他、今回の問題に特化して装置群の性能／電力指標や設備の特性を活用したアルゴリズムを適用して良い。
【００３６】
さらに別の特徴は、装置群の電力と位置及び設備の環境情報と位置に対する設備電力関数を、装置毎に必要な設備電力を表わす要素関数に近似的に分解することにより、組合せ最適化問題を簡便に解くことにある。装置電力関数と設備要素関数の和を装置関数として装置毎に定義するので、作業負荷割当てに対して目的関数の値を短時間に算出できる。例えば、装置ｉに対する給電損失と冷却電力の要素関数ｐＳｉとｐＣｉは、数６、数７のように表わせる（ｐＳｉとｐＣｉは設備の環境情報ει、位置χιの関数でもあるが簡略に表わす）。
【００３７】
【数６】
【００３８】
【数７】
【００３９】
設備電力関数ｐＳ、ｐＣは数２、数３のように装置群と設備の全体に対する関数であるが、装置群の電力分布や設備の環境情報と位置が大幅に変動しない場合または極端に偏らない場合などでは、相互作用や非線形作用を近似して装置毎の設備要素関数ｐＳｉ、ｐＣｉに分けて考えることができる。または、比較的近傍に在る装置間の相互作用を繰り込むように設備要素関数を修正しても良い。装置関数ｐｉは設備要素関数ｐＳｉ、ｐＣｉと装置電力関数ｐＤｉの和であり、数８のように表わせる。目的関数Ｐは装置群全体に亘る装置関数ｐｉの総和であり、数９のように表わせる。
【００４０】
【数８】
【００４１】
【数９】
【００４２】
数４と数９の目的関数Ｐを比較すると、数４では装置群の電力分布全体に対して設備電力ｐＳ、ｐＣを求める必要があるが、数９では装置毎に分けて装置関数ｐｉを求めれば良いので、作業負荷割当てに対する目的関数Ｐの計算が容易になり、解の探索を効率良く行なえる。また、装置関数ｐｉの具体的な表式を得れば、作業負荷を優先的に割り当てるべき装置の指標として変数の係数や式の微分などを活用して、最適解の近傍に解空間を絞り込める。
【００４３】
さらに別の特徴は、装置群の許容負荷条件と前記設備の許容電力条件を制約条件として装置群へ作業負荷を割り当てる組合せ最適化問題を解くことにより、組合せの中から実行可能な解を抽出し、効率的に解を求めることにある。合わせて、制約条件を守ることにより、装置群や設備の性能を効率よく発揮させ、電力超過や温度上昇による障害を防いで信頼性を向上させる。
【００４４】
装置の最大性能や最大リソースを超える作業負荷を割り当てれば、作業負荷に対する処理時間が延びて電力量（電力×時間）が増加する。このため、作業負荷の変動に対する余裕も考慮して装置の許容負荷条件を設ける。また、装置電力関数において作業負荷を表わす変数集合ｌｊには主に電力に影響を及ぼす因子が選ばれるが、電力に余り影響しない因子であっても装置の性能やリソースにとって重要な場合がある。例えば、装置のメモリ容量、ディスク容量、Ｉ／Ｏスループット容量などである。このような因子に関しては、装置電力関数とは別に作業負荷割当ての可否判定を行なうための許容負荷条件とする。
【００４５】
給電設備では給電系統によって電源、配電盤、配電器などの定格電力があり、これを上限とする許容電力条件を守る必要がある。この条件に外れる場合は、その給電系統に繋がる装置群の作業負荷を軽減する、または装置群の電力を制限する必要がある。冷却設備では空調機、局所冷却装置、液冷装置、冷凍機、冷却塔などの定格処理能力があり、この能力以下に装置電力を抑える必要がある。また、冷却設備では、装置を動作温度範囲内に保ち、過剰な発熱集中を避けて冷却効率を上げるため、装置群が配置される空間の領域、区画、ラック列などに対して許容電力条件を設けて良い。
【００４６】
さらに別の特徴は、装置群への作業負荷割当て問題を解いて求められた最適解または近似解と配置情報に基づいて、装置群の位置に対する消費電力すなわち電力分布を得て給電設備または冷却設備を制御することにある。これにより、設備の運転効率を向上させ、さらに給電損失や冷却電力を抑制することができる。例えば、給電設備では出力電力に応じて並列接続された機器の稼働台数を変えることにより給電効率が向上し、冷却設備では発熱分布に応じて空気や冷媒の供給温度、給排気口やファンの風量や風向、冷凍機や冷却塔の温度や流量などを調節することにより冷却効率が向上する。
【００４７】
さらに別の特徴は、装置群へ作業負荷を割り当てる手段として、仮想化環境、ジョブスケジューラ、ＳＡＮブート環境、稼動管理を活用することにある。これらの手段は、作業負荷割当ての契機や周期、作業負荷の移動に伴うオーバーヘッドやタイムロス、作業負荷の変動や生滅、装置の作業負荷のリンク、取得可能な装置の稼動情報、既設または新設のシステムへの導入容易さ、システムのセキュリティや信頼性、などを考慮して選択され、並列的または階層的に混在しても良い。仮想化環境では物理装置群への仮想装置の配置、ジョブスケジューラでは装置群へのジョブの配置、ＳＡＮブート環境では起動する装置群の配置、稼動管理では稼動、休止または停止する装置群の配置により、装置群へ作業負荷を割り当てる。
【００４８】
さらに別の特徴は、装置群への作業負荷割当ての変更を反映して、装置群と設備の総電力を低減するように装置群を稼動させることにある。サーバ装置では、アプリケーション、仮想マシン、ジョブなど、作業負荷を与えるソフトウェアを移動する。ストレージ装置ではアクセス頻度の高いデータを移動またはコピーすることにより、移動先に作業負荷が移動する。ネットワーク装置ではネットワーク接続構成を変更することにより、運用ノードが移り変わる。
【発明の効果】
【００４９】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、例えばデータセンタなどのような情報処理システムにおいて、情報処理装置群と設備を連携させた運用管理により装置群と設備を合わせた総消費電力を削減できる。
【図面の簡単な説明】
【００５０】
【図１】本発明による実施の形態１の情報処理システムの運用管理装置および運用管理方法を示す構成図である。
【図２】本発明による実施の形態２の情報処理システムの運用管理装置および運用管理方法を示す構成図である。
【図３】本発明による実施の形態３の情報処理システムの運用管理方法における配置情報を示すレイアウト図である。
【図４】本発明による実施の形態４の情報処理システムの運用管理方法における情報処理装置群の稼動情報を示す数表である。
【図５】本発明による実施の形態４の情報処理システムの運用管理方法における装置電力関数を示すグラフである。
【図６】本発明による実施の形態４の情報処理システムの運用管理方法における装置電力関数を示すグラフである。
【図７】本発明による実施の形態５の情報処理システムの運用管理方法における設備電力関数の説明図である。
【図８】本発明による実施の形態６の情報処理システムの運用管理装置および運用管理方法を示す構成図である。
【図９】本発明による実施の形態７の情報処理システムの運用管理装置および運用管理方法を示す構成図である。
【図１０】本発明による実施の形態８の情報処理システムの運用管理装置および運用管理方法を示す構成図である。
【図１１】本発明による実施の形態８の情報処理システムの運用管理方法を示す説明図である。
【図１２】本発明による実施の形態８の情報処理システムの運用管理方法を示す説明図である。
【発明を実施するための形態】
【００５１】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
【００５２】
また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良い。さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
【００５３】
（実施の形態１）
図１は、本発明による実施の形態１の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム１０は、情報処理装置２０１〜２０ｎ、装置群２０１〜２０ｎへ給電する給電設備４０１〜４０ｕ、装置群２０１〜２０ｎを冷却する冷却設備５０１〜５０ｖ、装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖを管理する運用管理装置６０から成る。
【００５４】
装置群２０１〜２０ｎには作業負荷３０１〜３０ｍが割り当てられる。作業負荷３０１〜３０ｍは、図１に示す一例のように、装置に対して単独の作業負荷が割り当てられる場合（装置２０ｎ−１と負荷３０ｍ−２）、複数の作業負荷が割り当てられる場合（装置２０１と負荷３０１〜３０２、装置２０３と負荷３０３〜３０５、装置２０ｎと負荷３０ｍ−１〜３０ｍ）、作業負荷が割り当てられない場合（装置２０２）がある。
【００５５】
運用管理装置６０は装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖに接続し、装置群２０１〜２０ｎの位置と稼動情報６１及び設備４０１〜４０ｕ、５０１〜５０ｖの位置と環境情報６２から成る配置情報を有し、装置群２０１〜２０ｎの消費電力を求める手段６３と、給電設備４０１〜４０ｕの給電損失と冷却設備５０１〜５０ｖの冷却電力を求める手段６４と、装置群２０１〜２０ｎへの作業負荷３０１〜３０ｍの割当てを求める手段６５を備える。運用管理装置６０は、例えば、コンピュータシステムを用いたプログラム処理によって実現される。
【００５６】
実施の形態１の運用管理方法では、運用管理装置６０が装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖと通信することにより装置群２０１〜２０ｎの稼動情報と設備４０１〜４０ｕ、５０１〜５０ｖの環境情報を収集し、配置情報６１と６２を取得する。運用管理装置６０は、手段６３により装置群２０１〜２０ｎの稼動情報６１に基づいて作業負荷３０１〜３０ｍに対する装置群２０１〜２０ｎの消費電力を求め、手段６４により装置群２０１〜２０ｎの位置と手段６３から求めた消費電力及び設備４０１〜４０ｕ、５０１〜５０ｖの位置と環境情報６２に基づいて給電設備４０１〜４０ｕの給電損失と冷却設備５０１〜５０ｖの冷却電力を求め、手段６３と６４に基づいて装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖの総消費電力を低減するように装置群２０１〜２０ｎへの作業負荷３０１〜３０ｍの割当てを求める。
【００５７】
配置情報６１に含まれる装置群２０１〜２０ｎの位置情報は、各装置の位置座標または位置を同定する識別データから成り、必要に応じて装置間の接続構成データを含む。装置群２０１〜２０ｎの稼動情報は作業負荷量を示すデータと消費電力を示すデータなどから成り、例えば性能、リソース使用率、動作／休止ステート、定格電力または測定電力、動作温度などから成る。作業負荷量データは装置間で置換できる汎用的な計量であり、特定の装置、作業負荷、装置と作業負荷の関係に依らない。消費電力データは作業負荷量に対する装置の消費電力特性を直接的または間接的に表わす数値、数式または数表であり、各装置に依存する。
【００５８】
配置情報６２に含まれる設備４０１〜４０ｕ、５０１〜５０ｖの位置情報は、各設備の位置座標または位置を同定する識別データと、設備間の接続構成データから成る。設備４０１〜４０ｕ、５０１〜５０ｖの環境情報は、設備の稼動データと動作特性データ、周辺環境の監視データなどから成り、例えば電力、温度、湿度、流量、流向、定格出力や定格性能などから成る。動作特性データは、給電設備なら電力負荷に対する給電損失特性、冷却設備なら熱負荷に対する消費電力特性を表わす数値、数式または数表である。なお、装置群２０１〜２０ｎの稼動情報と設備４０１〜４０ｕ、５０１〜５０ｖの環境情報は、例えば装置の温度データ設備の電力データのように互いに補完し合える。
【００５９】
装置群２０１〜２０ｎの消費電力を求める手段６３では、一つの方法として、与えられる作業負荷量をその都度既知の数値データと照合し、補間や統計処理などにより消費電力を計算する。別の方法としては、予め作業負荷量に対する装置電力の関係を、作業負荷量を変数として定式化する、または作業負荷量を引数として数表からの戻り値を出力するルーチンにする。前者の方法は装置群２０１〜２０ｎの稼動情報の蓄積に伴って照合と計算に時間を要するが、計算精度が向上する。後者の方法は、稼動情報の蓄積に伴って関係式や数表を補正することにより、精度を上げつつ時間を抑えられるうえ、作業負荷量と装置電力の関係を見通し良く把握できる。
【００６０】
設備４０１〜４０ｕ、５０１〜５０ｖの消費電力を求める手段６４では、一つの方法として、配置情報６１における装置群２０１〜２０ｎの位置と手段６３により得られる装置群２０１〜２０ｎの消費電力、配置情報６２における設備４０１〜４０ｕ、５０１〜５０ｖの位置と環境情報に基づいて、その都度シミュレーションを行なって給電損失や冷却電力を算出する。別の方法として、予め想定条件で詳細シミュレーションを行ない、線形近似することにより各装置の位置と電力に対する設備の要素電力の関係を数式、数表または簡易シミュレータとして求めておく。前者の方法は計算時間が許容されれば高い精度を得られる。後者の方法は、予め詳細シミュレーションを済ませることにより、想定条件の範囲内で精度を保証しつつ計算時間を短縮できる。
【００６１】
装置群２０１〜２０ｎへの作業負荷３０１〜３０ｍの割当てを求める手段６５には幾つかの方法がある。一つの方法は、装置群への作業負荷割当ての組合せに対して手段６３と６４により装置群の電力と設備の電力をその都度計算し、組合せ同士の計算結果を比較して総電力を最小にする割当て解を選択する。別の方法は、手段６３で予め得られた作業負荷量に対する装置電力の関係と、手段６４で予め得られた装置群の電力分布に対する設備要素電力の関係から、作業負荷割当てにおける優先順位指標を導出し、この指標に沿って装置群へ作業負荷を割り当てる。前者の方法は組合せが少ない場合に総電力を最小にする最適解を求めるのに適し、後者の方法は組合せが多い場合に最適解または近似解を高速に求めるのに適する。後者の方法では、解の精度と計算時間に応じて、一旦得られた割当て解に対して装置群の電力分布を計算し、これに対する設備要素電力の関係を求め直し、その関係を使って指標を導出して再度作業負荷割当てを求め、前後の割当て解が所定条件内に収束するまで繰り返しても良い。
【００６２】
実施の形態１に示す情報処理システム１０の運用管理方法によれば、装置群２０１〜２０ｎの位置と稼動情報６１及び設備４０１〜４０ｕ、５０１〜５０ｖの位置と環境情報６２から成る配置情報を有することにより、装置群２０１〜２０ｎに対して作業負荷３０１〜３０ｍを割り当てる最良解を得て、装置群２０１〜２０ｎの消費電力と設備４０１〜４０ｕ、５０１〜５０ｖの給電損失または冷却電力を合わせた総消費電力を削減できる効果がある。また、所望の契機や計画、新規作業負荷の投入、既存作業負荷の終了などに応じて装置群２０１〜２０ｎへの作業負荷割当てを更新することにより、情報処理システム１０の省電力運用を実現できる。
【００６３】
情報処理システム１０としてデータセンタやコンピュータルームが代表的であるが、産業設備、商業設備、通信設備、交通機関などの業務運用システムにも応用できる。また、既設システムの運用管理だけでなく、システムの新設、増設、移設、改修などの設計／診断ツールとしても有用である。複数の施設や場所にまたがるシステムであっても遠隔管理を行なえば本実施の形態を適用できる。
【００６４】
情報処理装置２０１〜２０ｎにはサーバ装置、ストレージ装置、ネットワーク装置などがあり、サーバ装置には汎用サーバ、専用サーバ、メインフレーム、並列コンピュータ、スーパーコンピュータ、組込みコンピュータ、パーソナルコンピュータなど、ストレージ装置には磁気ディスク、固体ディスク、光ディスク、テープなど、ネットワーク装置にはルータ、スイッチ、ハブなど、さらに周辺装置としてプリンタ、複写機、モデム、ディスプレイなども含まれる。また、本実施の形態は動作／待機／休止／停止ステートのデマンドベーススイッチング機能、いわゆる省電力モードを有する装置にも適用できる。例えばサーバではＤＢＳ、ストレージではＭＡＩＤ、ネットワークではポート電源制御などが該当する。ハードウェア形態はブレード型、ラックマウント型、タワー型、専用筺体型に限らず、多様に適用できる。
【００６５】
作業負荷３０１〜３０ｍとは、サーバ装置ならアプリケーション、ストレージ装置ならアクセスデータ、ネットワーク装置なら転送データなどを指す。作業負荷量データには、サーバ装置なら性能、リソース使用率、動作／休止ステートなど、ストレージ装置なら起動ディスク数、アクセスパターン、アクセス時間など、ネットワーク装置なら転送パケット数、スイッチ頻度などがある。また、作業負荷のタイプとして、固定／浮動小数点演算、トランザクション処理、データベース処理、技術計算、データの形式や粒度、保証帯域などを区別して装置の消費電力特性を考慮することも可能である。
【００６６】
給電設備４０１〜４０ｕには変圧器、無停電電源装置、配電盤、分電器、装置が搭載されるラックの電源などがあり、電力センサ、電流／電圧センサ、漏電センサなども含まれ、場合によって給電源の発電所、送電設備、変電設備、給電先の装置の電源も対象になる。冷却設備５０１〜５０ｖには空調機、冷凍機、冷却塔、給排気口、ファン、ダクト、冷媒配管などがあり、室内外に配置される温度センサ、湿度センサ、流量／流向センサなども含まれ、場合によって液冷装置、ラック列やラック前面／背面の局所冷却装置、装置の冷却装置も対象になる。
【００６７】
運用管理装置６０には、情報処理装置群２０１〜２０ｎと設備４０１〜４０ｕ、５０１〜５０ｖの共通マネージャサーバを設ける、または両者のマネージャサーバを連携する形態があり、マネージャ機能を装置２０１〜２０ｎの一部に担わせても良い。本実施の形態による運用管理方法は、ミドルウェア、アプリケーション、組込み制御ソフトウェア、ファームウェアなどのソフトウェアとして実装でき、例えば最適化問題を解くエンジンをハードウェアとして実装することも可能である。マネージャが装置の稼動情報や設備の環境情報を取得するため、各装置や各設備にエージェント、サービスプロセッサ、インターフェースなどを設けるが、装置群や設備が自律分散システムを構築しても良い。なお、本実施の形態における装置群と設備の総電力を削減する効果は、装置群の位置及び稼動情報と設備の位置及び環境情報を示す配置情報と、装置群の消費電力を求める手段と、設備の消費電力を求める手段と、装置群への作業負荷割当てを求める手段によって発揮されるのであって、実施の形態１や図１に示す装置自体や計算手順などにより限定されない。
【００６８】
（実施の形態２）
図２は本発明による実施の形態２の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム１１０は、情報処理装置１２０１〜１２０ｎ、装置群１２０１〜１２０ｎへ給電する給電設備１４０１〜１４０ｕ、装置群１２０１〜１２０ｎを冷却する冷却設備１５０１〜１５０ｖ、装置群１２０１〜１２０ｎと設備１４０１〜１４０ｕ、１５０１〜１５０ｖを管理する運用管理装置１６０１、１６０２から成り、装置群１２０１〜１２０ｎには作業負荷１３０１〜１３０ｍが割り当てられる。
【００６９】
運用管理装置１６０１は装置群１２０１〜１２０ｎに接続され、装置群１２０１〜１２０ｎの稼動情報を監視し、装置群１２０１〜１２０ｎの位置と稼動情報から成る配置情報１６１を有し、装置群１２０１〜１２０ｎの消費電力を求める手段１６３と、装置群１２０１〜１２０ｎへの仮作業負荷１３０１〜１３０ｍの割当てを求める手段１６５と、装置群１２０１〜１２０ｎへ実作業負荷１３０１〜１３０ｍを割り当てる手段１６８を備える。運用管理装置１６０２は設備１４０１〜１４０ｕ、１５０１〜１５０ｖに接続され、設備１４０１〜１４０ｕ、１５０１〜１５０ｖの環境情報を監視し、設備１４０１〜１４０ｕ、１５０１〜１５０ｖの位置と環境情報から成る配置情報１６２を有し、給電設備１４０１〜１４０ｕの給電損失と冷却設備１５０１〜１５０ｖの冷却電力を求める手段１６４と、設備１４０１〜１４０ｕ、１５０１〜１５０ｖへ運転指示を与える手段１６９を備える。
【００７０】
実施の形態２の運用管理方法では、装置側の運用管理装置１６０１と設備側の運用管理装置１６０２が連携することにより、運用管理装置１６０１と１６０２の間で必要なデータを交換する。運用管理装置１６０１では、手段１６３により装置群１２０１〜１２０ｎの稼動情報１６１に基づいて作業負荷に対する装置群１２０１〜１２０ｎの消費電力の関係を求める。運用管理装置１６０２では、手段１６４により運用管理装置１６０２が得る設備１４０１〜１４０ｕ、１５０１〜１５０ｖの配置情報１６２に基づいて、運用管理装置１６０１から得られる装置群１２０１〜１２０ｎの位置と消費電力に対する給電設備１４０１〜１４０ｕの給電損失と冷却設備１５０１〜１５０ｖの冷却電力の関係を求める。
【００７１】
さらに運用管理装置１６０１では、手段１６３における作業負荷に対する装置電力の関係と手段１６４における装置電力分布に対する設備電力の関係に基づいて、装置群１２０１〜１２０ｎまたは設備１４０１〜１４０ｕ、１５０１〜１５０ｖの制約条件１６６と作業負荷１３０１〜１３０ｍに対する運用ポリシー１６７に適合しつつ、手段１６５により装置群１２０１〜１２０ｎと設備１４０１〜１４０ｕ、１５０１〜１５０ｖの総消費電力を最小化するように装置群１２０１〜１２０ｎへの仮作業負荷の割当て解を導出する。この結果を受けて、運用管理装置１６０１は手段１６８により適切な契機において装置群１２０１〜１２０ｎへ実作業負荷を割り当て、運用管理装置１６０２は手段１６９により装置群１２０１〜１２０ｎの電力分布と配置情報１６２を踏まえて設備１４０１〜１４０ｕ、１５０１〜１５０ｖへ運転指示を与える。
【００７２】
実施の形態２に示す情報処理システム１１０の運用管理方法によれば、装置群１２０１〜１２０ｎへの仮作業負荷の割当て解を求める手段１６５では、仮作業負荷として現在の作業負荷１３０１〜１３０ｍと共に予定または予測される作業負荷も算入でき、制約条件１６６や運用ポリシー１６７に対して現在からの時間推移を含めて見通し良く判断でき、実作業負荷割当てにおける最適解からの乖離、条件違反による障害、煩雑な修正によるオーバーヘッドなどを避けられる。また、手段１６５の仮作業負荷割当てと手段１６８の実作業負荷割当てを分けることにより、作業負荷の見通しと共に割当て解の導出に要する時間も考慮し、手段１６８において割当て変更を実行する契機と手段１６９において設備１４０１〜１４０ｕ、１５０１〜１５０ｖへ運転指示を行なう契機を適切に設定することが可能になる。
【００７３】
制約条件１６６には、装置１２０１〜１２０ｎの動作温度、最大作業負荷、作業負荷の変動に対する余裕度などを考慮した許容負荷条件、給電設備１４０１〜１４０ｕの定格電力、電源効率などを考慮した許容電力条件、冷却設備１５０１〜１５０ｖの定格能力、流量／流向などを考慮した区画や近傍装置間の許容電力条件などがある。運用ポリシー１６７に記述される内容には、作業負荷の優先度、実行契機、処理時間、スケジュール、作業負荷に対する装置１２０１〜１２０ｎのリソース配分、サービスレベル、電力コストなどがある。手段１６５において装置群１２０１〜１２０ｎへ仮作業負荷を割り当てる段階で、先に制約条件１６６と運用ポリシー１６７を与えることにより、一旦割当て解を求めてから制約条件１６６と運用ポリシー１６７を検証するよりも後戻りを無くせるうえ、仮作業負荷割当ての組合せの中から候補を絞り込めるので効率良く解を求められる。また、制約条件１６６により装置群１２０１〜１２０ｎや設備１４０１〜１４０ｕ、１５０１〜１５０ｖの不具合や障害を回避でき、運用ポリシー１６７により省電力化と共にサービスを向上させる高度な運用管理を実現できる。
【００７４】
なお、実施の形態２では装置側の運用管理装置１６０１と設備側の運用管理装置１６０２を設けることにより、両者の計算処理を分けて複雑化を避けつつ、両者間のインターフェースを介して緊密に連携動作を行なわせている。両者を別々のマネージャサーバに実装すれば分散処理により高速化を図れるが、十分な計算性能があれば共通のマネージャサーバに実装しても良い。また、実施の形態２では装置群１２０１〜１２０ｎの電力分布を踏まえて設備１４０１〜１４０ｕ、１５０１〜１５０ｖへ先行的に運転指示を行なえるので、従来のように受動的に設備を制御する場合に比べて過剰な余裕を持たせる必要がなくなり、無駄を省いて効率的な運転を行なえる。
【００７５】
（実施の形態３）
図３は本発明による実施の形態３の情報処理システムの運用管理方法における配置情報を示すレイアウト図であり、例えば実施の形態１や実施の形態２に示すような運用管理装置の表示画面の一例を示す。情報処理システム２１０は、情報処理装置群と、これらが搭載されるラック列２２０１〜２２０１０、変圧器２４０と無停電電源装置２４１と配電盤２４２１〜２４２４から成る給電設備、冷却塔２５０と冷凍機２５１と空調機２５２１〜２５２６とグリル２５３から成る冷却設備から構成される。
【００７６】
給電設備は、変圧器２４０から無停電電源装置２４１と配電盤２４２１〜２４２４を介してラック列２２０１〜２２０１０へ給電し、さらにラック列の配電ユニットから情報処理装置へ給電する。冷却設備は床下空調を行ない、空調機２５２１〜２５２６がグリル２５３（多数あるが一つの符号で代表）から冷気を供給して装置群の発熱による温気を吸い込み、空調機２５２１〜２５２６と冷凍機２５１と冷却塔２５０が互いに熱交換を行ない、冷却塔２５０が外気へ放熱する。
【００７７】
実施の形態３によるレイアウトは、装置群の位置座標と稼動情報及び設備の位置座標と環境情報をマッピングした配置情報であり、装置群と設備が設置される実空間情報を運用管理装置における仮想空間上に再現して可視化したものである。配置情報は、室内における装置の配置（図３は全体図のため未表示）、ラック列２２０１〜２２０１０や配電盤２４２１〜２４２４や空調機２５２１〜２５２６やグリル２５３などの配置に加えて、室外に在る変圧器２４０と無停電電源装置２４１から室内に在る配電盤２４２１〜２４２４とラック列２２０１〜２２０１０に至る給電系統の接続構成と、室外に在る冷却塔２５０と冷凍機２５１と空調機２５２１〜２５２６から成る熱交換系統の接続構成も表わす。
【００７８】
実施の形態３では、表示画面上のボタン２６０〜２６３、２７０〜２７５、２８０、２８１をクリックすることにより多様な表示を行なえる。作業負荷表示ボタン２６０では装置群の作業負荷分布を表示できる。レイアウトの全体表示ではラック列２２０１〜２２０１０毎に、拡大表示では装置毎に、サーバ、ストレージ、ネットワークなどの装置の種類と作業負荷量の多寡を画像の色と濃淡により表示し、装置にマウスを合わせればポップアップ表示により作業負荷の詳細データを表示する。ポップアップ表示には、マウスまたはキーボードの操作に応じて、装置の仕様情報、構成情報、資産情報などを表示できる。
【００７９】
同様に、電力表示ボタン２６１ではラック列２２０１〜２２０１０毎や装置毎の消費電力分布を表示すると共に、変圧器２４０と無停電電源装置２４１と配電盤２４２１〜２４２４の出力電力または給電損失と、冷却塔２５０と冷凍機２５１と空調機２５２１〜２５２６の電力を表示し、合わせて装置群と設備の総電力を数値で表示する。温度表示ボタン２６２では室内に散在するセンサの温度分布と共に、装置の動作温度、ラック列２２０１〜２２０１０の入排気温、空調機２５２１〜２５２６の給排気温、グリル２５３の給気温、冷却塔２５０や冷凍機２５１の冷媒の給排温、外気温を表示する。障害表示ボタン２６３では、装置群または設備の故障と共に、装置の動作温度条件や許容負荷条件、装置や設備の許容電力条件などに対する警報とその内容を表示する。
【００８０】
図３はｘｙ平面で見たレイアウト図であるが、ボタン２７０〜２７５により平面を変えて表示できる。ボタン２７０はｘｙ平面表示を指定し、ボタン２７１はｘｙ平面をｚ軸全体に亘って表示するか、ｘｙ平面を特定のｚ座標を指定して切り出すかを選択する。ボタン２７２〜２７５も同様である。ｘｙ平面のボタン２７０、ｙｚ平面のボタン２７２、ｚｘ平面のボタン２７４を切り替えることにより、三次元空間の情報を表示できる。ボタン２８０と２８１はそれぞれ拡大表示と縮小表示であり、前者では装置や設備の詳細状況を表示し、後者では全体状況を表示できる。また、全体を俯瞰的に把握する必要に応じて三次元表示を行なわせても良い。
【００８１】
実施の形態３による配置情報によれば、装置群と設備が設置される実空間における装置群の稼動状況や設備の環境情報を一括して可視化して把握でき、配置情報に基づいて実施の形態１や実施の形態２において説明したような装置群の作業負荷割当てや設備の運転指示を統一的且つ緊密に連携できる。装置群と設備を合わせた総消費電力を削減する省電力運用だけではなく、装置群と設備の稼動監視、電力管理、業務運用、障害検知、資産管理などを一括して取り扱えるので、運用管理者の業務効率を向上できる。また、現行システムにおける装置群と設備双方の効率、リスク、コストを診断できるので、システムの移設、増設、改修、更新などの計画立案や工事に役立てることができる。
【００８２】
（実施の形態４）
図４は本発明による実施の形態４の情報処理システムの運用管理方法における情報処理装置群の稼動情報を示す数表であり、情報処理装置がサーバである場合の一例を示す。サーバの稼動情報は、仕様情報３００、構成情報３１０、稼動情報（または測定情報、稼動履歴）３２０を含む。例えば実施の形態１や実施の形態２に示すような運用管理装置が装置毎の仕様情報３００と構成情報３１０と稼動情報３２０を有し、同一のデータファイル、または互いに関連付けた異なるデータファイルとして管理する。なお、仕様情報３００と構成情報３１０と稼動情報３２０の項目、順序、組合せなどは必要に応じて改変できる。
【００８３】
仕様情報３００は、装置管理番号、装置管理者、装置呼称、装置品名、装置型番、装置性能ａ、装置性能ｂ、装置性能ｃ、定格電力（最大）、定格電力（待機）、定格温度（最大）、定格温度（最小）などを含む。構成情報３１０は、ＣＰＵ型番、ＣＰＵ最大周波数、ＣＰＵ搭載数、メモリ型番、メモリ容量、メモリ搭載数、チップセット型番、ディスク型番、ディスク容量、ディスク搭載数、Ｉ／Ｏ転送速度、Ｉ／Ｏ本数などを含む。稼動情報３２０は、装置位置座標、作業負荷タイプ、装置／ＣＰＵステート、ＣＰＵ動作周波数、ＣＰＵ使用率、ＣＰＵ動作温度、メモリ使用率、ディスク転送速度、Ｉ／Ｏ転送速度、装置動作電力、装置入気温度、装置排気温度などを含む。
【００８４】
実施の形態４では、仕様情報３００と構成情報３１０と稼動情報３２０により数１に示すような装置電力関数を導出する。例えば簡便な導出方法では、装置ｉの装置電力関数ｐＤｉ（ｉ＝１，２，…）は、仕様情報３００の定格電力（最大）をｐｍａｘｉ、定格電力（最小）をｐｉｄｌｅｉ、構成情報３１０のＣＰＵ最大周波数をｆｍａｘ、稼動情報３２０のＣＰＵ動作周波数をｆｉ、ＣＰＵ使用率をαｉと置き、ｆｉ／ｆｍａｘ・αｉを作業負荷量として数１０のように表わせる。複数のＣＰＵが有る場合またはＣＰＵに複数のコアが有る場合などでは簡便のためｆｉとαｉの平均値を取れば良い。
【００８５】
【数１０】
【００８６】
作業負荷が無い場合や割り当てられていない場合、装置ｉの装置電力関数ｐＤｉは、例えばＣＰＵ使用率αｉ＝０％と想定して数１０よりｐＤｉ＝ｐｉｄｌｅｉとする。稼動情報３２０の装置／ＣＰＵステートとしてスリープ状態または休止状態を有する場合は、ＣＰＵ使用率αｉ＝０％において各ステートに対応する電力ｐＤｉを定義すれば良い。また、現在、装置ｉにて作業負荷ｆｉ／ｆｍａｘ・αｉを行っているものとして、それを装置ｊへ移動した場合の装置電力を見積もる場合には、仕様情報３００の装置性能ａをγａ、装置性能ｂをγｂ、装置性能ｃをγｃ、稼動情報３２０の作業負荷タイプをｗ（ｗ＝ａ，ｂ，ｃ）として数１１のように置換し、それを装置ｊの装置電力関数ｐＤｊへ代入すれば良い。
【００８７】
【数１１】
【００８８】
もし置換後の作業負荷量γｗｉ／γｗｊ・ｆｉ／ｆｍａｘ・αｉが１００％を超える場合には、移動先の装置ｊの電力ｐＤｊ＝ｐｍａｘｊと置き、作業負荷の処理時間が超えた分に相当して延びる（電力量が増す）と考えれば良い。なお、特に限定はされないが、作業負荷タイプとは、例えば、固定小数点演算処理、浮動小数点演算処理、メモリ読書き処理等のように単純にＣＰＵ周波数ではなくハードウェアアーキテクチャに依存してその処理能力が大きく変化し得るような処理内容を区別するためのものである。また、装置性能γｗは、特に限定はされないが、この作業負荷タイプ毎のベンチマークスコアなどである。
【００８９】
既存の測定情報または稼動履歴として稼動情報３２０の装置動作電力が得られる場合には、作業負荷量ｆｉ／ｆｍａｘ・αｉと装置動作電力ｐｍｅａｓｉのデータから装置電力関数ｐＤｉの近似式を求められる。図５はこれらのデータをプロットした一例であり、近似した装置電力関数ｐＤｉを示すグラフである。関数ｐＤｉは一次関数の傾きをａＤｉ、切片をｂＤｉとして数１２のように表わせる。図５の例では実線が近似関数を示し、ａＤｉ＝１．３１７５、ｂＤｉ＝１５２．１６である。
【００９０】
【数１２】
【００９１】
装置ｉが省電力機能として作業負荷に応じて複数の動作ステート（ＣＰＵ動作周波数、ＣＰＵコア電圧）のデマンドベーススイッチングを行なう場合には、装置電力ｐＤｉが階段状に変化する。この場合には、各動作ステートと作業負荷量範囲に対して数１０や数１２のような一次関数をそれぞれ定義し、装置電力関数ｐＤｉを関数集合で表わせる。別の簡便な方法として、階段状の装置電力関数ｐＤｉを一つの二次関数で近似することも可能である。図６は３つのステートのデマンドベーススイッチングにおける作業負荷量ｆｉ／ｆｍａｘ・αｉと装置動作電力ｐｍｅａｓｉのデータをプロットした一例であり、二次で近似した装置電力関数ｐＤｉを示すグラフである。関数ｐＤｉは二次の項の係数をａＤｉ、一次の項の係数をｂＤｉ、定数項をｃＤｉとして数１３のように表わせる。図６の例では破線が階段状の一次関数、実線が近似した二次関数を示し、ａＤｉ＝０．０１３４、ｂＤｉ＝０．７２９７、ｃＤｉ＝１０３．１６である。
【００９２】
【数１３】
【００９３】
装置ｉの装置動作電力ｐｍｅａｓｉを直接取得できず、熱抵抗と熱時定数が分かる場合には、稼動情報３２０の入気温度と排気温度から動作電力ｐｍｅａｓｉを間接的に導出できる。動作電力ｐｍｅａｓｉは、熱抵抗をＲｔｈｉ、熱時定数をτｔｈｉ、入気温度をＴｉｎｉ、排気温度をＴｏｕｔｉとして数１４のように表わせる。動作電力の変化に比べて温度は熱時定数を持ってゆっくり変化するので、温度変化の傾きを考慮して補正する。
【００９４】
【数１４】
【００９５】
装置動作電力ｐｍｅａｓｉが間接的に分かれば、作業負荷量のｆｉ／ｆｍａｘ・αｉの測定と合わせて数１２や数１３のような装置電力関数ｐＤｉを導出できる。また、熱抵抗Ｒｔｈｉと熱時定数τｔｈｉが初めに不明であっても、定格電力（最大）ｐｍａｘｉまたは定格電力（最小）ｐｉｄｌｅｉが既知であれば、入気温度Ｔｉｎｉ及び排気温度Ｔｏｕｔｉの測定データや温度変化の傾きデータから熱抵抗Ｒｔｈｉや熱時定数τｔｈｉを算出できる。
【００９６】
実施の形態４による装置電力関数によれば、簡便に作業負荷に対する装置群の消費電力を求めることができ、作業負荷量と装置電力の関係を見通し良く把握して装置群に対する作業負荷割当てを効率良く行なえる。また、装置の稼動情報が全て得られなくても数１０や数１４のように一部のデータから装置電力関数を導出でき、測定情報や稼動履歴が得られれば数１２や数１３のように実測に即した装置電力関数を導出でき、さらに測定情報や稼動履歴が蓄積されれば近似精度を向上できる。
【００９７】
実施の形態４ではサーバ装置を一例としたが、ストレージ装置やネットワーク装置であっても同様に装置の稼動情報から装置電力関数を導出できる。実施の形態４では作業負荷量を表わす主要変数としてＣＰＵ最大周波数、ＣＰＵ動作周波数、ＣＰＵ使用率を用いたが、ストレージ装置であれば起動ディスク数、アクセスパターン、アクセス時間など、ネットワーク装置なら転送パケット数、スイッチ頻度などを用いて良い。
【００９８】
（実施の形態５）
図７は本発明による実施の形態５の情報処理システムの運用管理方法における設備電力関数の説明図であり、実施の形態３の情報処理システム２１０を例としたものである。例えば装置ｉ２２１ｉがラック列２２０７に位置する場合、給電設備は矢印２４３に示すように変圧器２４０から無停電電源装置２４１と配電盤２４２３を経て装置ｉに給電する。装置ｉ２２１ｉが消費した電力は顕熱に変わって空気を温める。冷却設備では、冷気が空調機２５２１〜２５２６から床下、グリル（図７では見易さのため床のタイルやグリルを省略）を経て装置ｉ２２１ｉへ供給され、装置ｉ２２１ｉによる温気が矢印２５４１〜２５４６に示すように空調機２５２１〜２５２６へ戻り、空調機２５２１〜２５２６の吸い取った熱が冷凍機２５１と冷却塔２５０を経て外気へ放出される。
【００９９】
装置ｉと同様に装置群全体に亘って位置座標と装置電力または装置電力関数が分かれば、給電設備の給電損失と冷却設備の冷却電力を計算できる。例えば実施の形態４のように、稼動情報３２０から装置群の位置座標を得て、数１０、数１２または数１３のような装置電力関数を得れば、装置群全体の電力分布を求めることができ、これらを入力として数２や数３に示すような設備電力関数ｐＳ、ｐＣにより設備電力を計算できる。設備電力関数ｐＳ、ｐＣの計算には、設備の位置座標、接続構成、動作特性などの環境情報を予め入力しておいたシミュレータを用いて良い。
【０１００】
さらに設備電力を簡便に求めるためには、所定条件の範囲内で線形近似を行なうことにより、設備電力関数ｐＳ、ｐＣを数６や数７に示すような設備要素関数ｐＳｉ、ｐＣｉに分解する。設備電力関数ｐＳ、ｐＣは、装置毎の要素関数ｐＳｉ、ｐＣｉの装置群全体に亘る線形和になる。装置ｉの給電設備の要素関数ｐＳｉは、矢印２４３に示す給電系統に沿って予めシミュレーションを行なうことにより求める。冷却設備の要素関数ｐＣｉは、矢印２５４１〜２５４６に示すように装置ｉが空調機２５２１〜２５２６に与える熱負荷の影響を考慮して、予めシミュレーションを行なって求める。シミュレーションでは、装置ｉの電力を振りながら給電／冷却設備電力の感度係数を算出する。単純化した場合には、設備要素関数ｐＳｉ、ｐＣｉを一次関数、傾きをａＳｉ、ａＣｉ、切片をｂＳｉ、ｂＣｉとして数１５、数１６のように表わせる。
【０１０１】
【数１５】
【０１０２】
【数１６】
【０１０３】
設備要素関数ｐＳｉ、ｐＣｉが求まれば、装置電力関数ｐＤｉとの和を取って数８のような装置関数ｐｉを導出できる。装置関数ｐｉは、装置毎に掛かる装置電力と設備電力を表わす。例えば実施の形態４で説明した数１２に示す装置電力関数ｐＤｉを用いると、装置関数ｐｉを数１７のように表わせる。装置関数ｐｉの傾きａｉと切片ｂｉを新たに定義する。装置群と設備の総消費電力Ｐは装置群全体に亘る装置関数ｐｉの総和であり、数９を数１８のように書き直せる。
【０１０４】
【数１７】
【０１０５】
【数１８】
【０１０６】
数１８を見れば明らかなように、装置群への作業負荷（ここではｆｉ／ｆｍａｘ・αｉ）の割当てを最適化することにより、装置群と設備の総電力Ｐを最小化できる。すなわち、目的関数Ｐを最小化するように、装置群への作業負荷を割り当てる組合せ最適化問題を解けば良い。装置が多い場合には組合せの数が数５に示すように膨大になるため、組合せの全探索を行なうことは非現実的である。実施の形態５では適切な近似を行なうことにより、数１８の目的関数Ｐを一次関数の線形和にしたので、装置関数ｐｉの傾きａｉと切片ｂｉを指標として効率良く最適解を発見できる。
【０１０７】
（実施の形態６）
図８は本発明による実施の形態６の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム４１０は、物理サーバ４２０１〜４２０ｎ、サーバ群４２０１〜４２０ｎへ給電する給電設備４４０１〜４４０ｕ、サーバ群４２０１〜４２０ｎを冷却する冷却設備４５０１〜４５０ｖ、サーバ群４２０１〜４２０ｎと設備４４０１〜４４０ｕ、４５０１〜４５０ｖを管理する運用管理装置４６０から成り、仮想化環境を構成する。物理サーバ４２０１〜４２０ｎにはハイパーバイザ４２１１〜４２１ｎを介して仮想マシン４３０１〜４３０ｍが配置され、その上でＯＳ４３１１〜４３１ｍと作業負荷であるアプリケーション４３２１〜４３２ｍが動作する。運用管理装置４６０では、物理サーバ４２０１〜４２０ｎと仮想マシン４３０１〜４３０ｍを管理する仮想化マネージャ４６２と、設備４４０１〜４４０ｕ、４５０１〜４５０ｖを管理する設備マネージャ４６３と、サーバ群４２０１〜４２０ｎと設備４４０１〜４４０ｕ、４５０１〜４５０ｖの総消費電力を削減する運用管理マネージャ４６１が連携して動作する。
【０１０８】
実施の形態６では、仮想化マネージャ４６２がハイパーバイザ４２１１〜４２１ｎを介して、物理サーバ４２０１〜４２０ｎに対する仮想マシン４３０１〜４３０ｍの割当てや、仮想マシン４３０１〜４３０ｍに対するリソース配分（ＣＰＵ、メモリ容量などのリソース割当て）を管理し、仮想マシン４３０１〜４３０ｍと物理サーバ４２０１〜４２０ｎの稼動情報（例えば物理サーバのＣＰＵ使用率、メモリ使用容量、ディスク転送速度、ネットワーク転送速度など、仮想マシンのＣＰＵ使用率、メモリ使用率、ディスク転送速度、ネットワーク転送速度など）を取得する。この稼動情報に基づいて運用管理マネージャ４６１がアプリケーションすなわち作業負荷４３２１〜４３２ｍを見積もり、作業負荷に対する物理サーバ４２０１〜４２０ｎの電力の関係を導出する。例えば１つの物理サーバに対して複数の仮想マシンがある場合、仮想化自体のオーバーヘッドが小さいとすれば、複数の仮想マシンの稼働率または稼動量の和が物理サーバの稼動率または稼動量になると考えて良い。例えば物理サーバに計８コアのＣＰＵがあり、仮想マシンＡに２コア、仮想マシンＢに６コアが配分されている場合を想定すると、仮想マシンＡのＣＰＵ使用率の４分の１倍と仮想マシンＢのＣＰＵ使用率の４分の３倍との和が物理サーバのＣＰＵ使用率に相当するとして、装置電力関数を数１０、数１２または数１３のように表わせる。
【０１０９】
設備マネージャ４６３は設備４４０１〜４４０ｕ、４５０１〜４５０ｖの位置と環境情報を取得し、物理サーバ４２０１〜４２０ｎの電力分布に対する設備電力の関係を導出する。運用管理マネージャ４６１は、作業負荷に対する物理サーバ電力の関係と物理サーバ群の電力分布に対する設備電力の関係に基づいて、物理サーバに対する作業負荷割当ての最適解を出す。この解に従って、仮想化マネージャ４６２はアプリケーション４３２１〜４３２ｍが載る仮想マシン４３０１〜４３０ｍを物理サーバ４２０１〜４２０ｎへ割り当てる。図８では矢印４３３に示すように、アプリケーション４３２２を仮想マシン４３０２と共に物理サーバ４２０２から４２０１へ移動する一例を示す。
【０１１０】
実施の形態６によれば、仮想化環境のライブマイグレーション機能を活用することにより、アプリケーション４３２１〜４３２ｍを、稼動させたまま物理サーバ４２０１〜４２０ｎの間で移行でき、サーバ群と設備の総電力を最小化する作業負荷割当てを簡便に実行でき、作業負荷の移動に伴うオーバーヘッドやタイムロスを抑えて情報処理システムの省電力化を実現できる。実施の形態６はサーバ装置の例であるが、ストレージ装置やネットワーク装置の仮想化環境でも同様の省電力運用を実現できる。なお、実施の形態６では運用管理マネージャ４６１と仮想化マネージャ４６２と設備マネージャ４６３が相互に連携する方法を採ったが、インターフェースやソフトウェア規模などに応じて一方を他方へ組み込んでも良い。
【０１１１】
（実施の形態７）
図９は本発明による実施の形態７の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム５１０は、サーバ５２０１〜５２０ｎ、ストレージ５７０１〜５７０ｒ、これらの給電と冷却を行なう給電設備５４０１〜５４０ｕと冷却設備５５０１〜５５０ｖ、これら装置群と設備全体を管理する運用管理装置５６０から成り、ＳＡＮ（ストレージエリアネットワーク）環境を構成する。サーバ５２０１〜５２０ｎでは、ＯＳ５２１１〜５２１ｎの上で作業負荷であるアプリケーション５３０１〜５３０ｍが動作する。運用管理装置５６０では、サーバ群５２０１〜５２０ｎとストレージ５７０１〜５７０ｒから成るＳＡＮを管理するＳＡＮマネージャ５６２と、設備５４０１〜５４０ｕ、５５０１〜５５０ｖを管理する設備マネージャ５６３と、サーバ群５２０１〜５２０ｎとストレージ５７０１〜５７０ｒと設備５４０１〜５４０ｕ、５５０１〜５５０ｖの総消費電力を削減する運用管理マネージャ５６１が連携動作する。
【０１１２】
実施の形態７では、ＳＡＮマネージャ５６２がサーバ５２０１〜５２０ｎの稼動監視と管理を行ない、運用管理マネージャ５６１がアプリケーションすなわち作業負荷５３０１〜５３０ｍに対するサーバ５２０１〜５２０ｎの電力を評価する。設備マネージャ５６３は設備５４０１〜５４０ｕ、５５０１〜５５０ｖの位置と環境情報に基づいて、サーバ５２０１〜５２０ｎの電力分布に対する設備電力を求める。運用管理マネージャ５６１は、サーバ電力分布と設備電力の関係に基づいて、サーバ群と設備の総電力を最小化するように作業負荷割当てを求める。この解に従って、ＳＡＮマネージャ５６２は現行のアプリケーション５３０１〜５３０ｍを一旦中断してストレージ５７０１〜５７０ｒへ引き上げ、割当ての有るサーバ５２０１〜５２０ｎをＳＡＮブートにより起動してアプリケーション５３０１〜５３０ｍを続行する。サーバ５２０１〜５２０ｎのうち割当ての無いサーバは停止して電源を落とす。なお、作業負荷割当ての実行ではアプリケーション５３０１〜５３０ｍの起動／中断／停止契機を十分考慮する。
【０１１３】
実施の形態７によれば、ＳＡＮブート機能を利用することにより、サーバ群と設備の総電力を最小化する省電力運用を実施できる。実施の形態６のような仮想化環境が整っていない場合や既存のシステムには本実施の形態を導入し易いという利点がある。また、サーバ群と設備だけではなくストレージ５７０１〜５７０ｒと合わせて運用することにより、さらに省電力化を図れる。
【０１１４】
（実施の形態８）
図１０は本発明による実施の形態８の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム６１０は、サーバ６２０１〜６２０ｎ、ストレージ６７０１〜６７０ｒ、ネットワーク６８０１〜６８０ｓ、これらの給電と冷却を行なう給電設備６４０１〜６４０ｕと冷却設備６５０１〜６５０ｖ、装置群と設備を統合的に管理する運用管理装置６６０から成り、統合管理環境を構成する。サーバ６２０１〜６２０ｎでは、ＯＳ６２１１〜６２１ｎの上で作業負荷であるアプリケーション６３０１〜６３０ｍと統合管理エージェント６２２１〜６２２ｎが動作する。運用管理装置６６０では、サーバ６２０１〜６２０ｎとストレージ６７０１〜６７０ｒとネットワーク６８０１〜６８０ｓを統合管理するマネージャ６６２と、設備６４０１〜６４０ｕ、６５０１〜６５０ｖを管理する設備マネージャ６６３と、装置群６２０１〜６２０ｎ、６７０１〜６７０ｒ、６８０１〜６８０ｓと設備６４０１〜６４０ｕ、６５０１〜６５０ｖの総電力を削減する電力マネージャ６６１が相互に連携する。
【０１１５】
実施の形態８では、統合管理マネージャ６６２がエージェント６２２１〜６２２ｎを介してサーバ６２０１〜６２０ｎの稼動管理や業務運用を行ない、電力マネージャ６６１がアプリケーション６３０１〜６３０ｍに対するサーバ６２０１〜６２０ｎの電力を見積もり、設備マネージャ６６３が設備６４０１〜６４０ｕ、６５０１〜６５０ｖの電力を見積もる。電力マネージャ６６１は設備マネージャ６６３と連携して作業負荷割当てを求め、これに基づいて統合管理マネージャ６６２がサーバ６２０１〜６２０ｎの稼動／停止を行なってアプリケーション６３０１〜６３０ｍを動作させるサーバを切り替える。ジョブスケジューリングでは、サーバ６２０１〜６２０ｎに対してジョブ（アプリケーション）６３０１〜６３０ｍを投入する配置により作業負荷割当てを行なえる。
【０１１６】
ストレージ６７０１〜６７０ｒ、ネットワーク６８０１〜６８０ｓに関してもサーバ６２０１〜６２０ｎの運用管理と同様に行なえる。図１１はストレージ、図１２はネットワークの一例を示す説明図である。図１１ではストレージ装置６７１１、６７１２がディスクアレイ６７２から成り、データ６７３１〜６７３３を保存する。矢印６７４に示すように、作業負荷であるアクセス頻度の高いデータ６７３２をストレージ装置６７１２から６７１１へ移動またはコピーすることにより、所望の作業負荷割当てを行なえる。図１２ではネットワーク装置６８１１〜６８１３にサーバ装置６２３１〜６２３４などが接続され、矢印６８２に示すようにサーバ装置６２３３に対する接続をネットワーク装置６８１３から６８１２へ切り替えることにより作業負荷を移動する。作業負荷割当てを変更した後、ストレージ装置６７１１、６７１２やネットワーク装置６８１１〜６８１３は自身の省電力機能を働かせ、電源を制御する。なお、作業負荷の移動ではストレージ、ネットワーク共に処理時間や処理に伴う電力などのオーバーヘッドやリスクを十分考慮することが肝要である。
【０１１７】
実施の形態８によれば、稼動管理やジョブスケジューリングによりサーバ／ストレージ／ネットワーク装置群を統合管理すると共に、全装置群と設備の総消費電力を最小化できる。統合管理マネージャ６６２が有するポリシー運用、資産管理、障害監視、電源管理、統合コンソールなどの機能と電力マネージャ６６１の省電力機能を組み合せることにより、さらに高度且つ自在なシステム運用を実現できる。なお、電力マネージャ６６１や設備マネージャ６６３は統合管理マネージャ６６２の一部またはサブシステムとして実装することも可能である。
【０１１８】
以上、本実施の形態による情報処理システムの運用管理装置および運用管理方法によって得られる主要な効果を挙げると以下のようになる。
【０１１９】
上述した各実施の形態の手段によれば、情報処理装置群と設備を連携させた運用管理により装置群と設備を合わせた総消費電力を削減できるので、データセンタなどのような情報処理システムの省電力運用を実現でき、運用コストを削減すると共に過剰な設備投資を抑制できる効果があり、地球温暖化の防止と二酸化炭素の削減にも寄与できる。
【０１２０】
なお、上述した各実施の形態の手段は装置群と設備の電力に着目しているが、装置群の作業負荷、稼動情報、設備の環境情報に関する時間平均や時間積分などを取り入れることにより、作業負荷の処理時間を考慮した最適化を容易に行なうことができ、装置群と設備の電力量（電力×時間＝エネルギー）を削減することも可能である。また、装置群への作業負荷割当てでは、電力や電力量に加えて、作業負荷の処理優先度、計画やイベントなどによる実行契機、送電系統や課金制度に応じた電力コストなども考慮することにより、さらに有益性と利便性を高めたポリシー運用として応用することができる。
【０１２１】
本実施の形態は情報処理システム自身の自律的な省電力運用管理方法として好適であるが、本実施の形態によって得られる作業負荷割当ての解や装置群と設備の個別電力や総電力の結果は、既設システムにおける省エネルギー診断と改善、新設システムの設計や建設、装置や設備の増設、移設、改修、更新における計画や調整、将来の情報処理予測に対するリスク把握やコスト算出、人手による稼動管理やシナリオ策定においても有用な運用管理指針を与える。
【０１２２】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
【産業上の利用可能性】
【０１２３】
本実施の形態はサーバ、ストレージ、ネットワークなどの情報処理装置群と給電設備や冷却設備から成る情報処理システムにおける統合的な省電力運用管理に適用でき、特に情報処理基盤であるデータセンタに好適である。また、本実施の形態は情報処理システムの自律運用管理に用いられるほか、システム構築ツール、省エネルギー診断ツール、稼動監視ツール、運用管理者や設備管理者の補助ツールとして幅広い用途に適用できる。
【０１２４】
さらに、本実施の形態は、一つの場所に配置された装置群と設備に対してだけではなく複数の場所に対しても適用でき、例えば複数階のデータセンタや大域的に離れたデータセンタでも有用であり、グリッドコンピューティングやクラウドコンピューティングなどのように情報処理装置と設備が散在する場合にも活用できる。また、本実施の形態は主に情報処理装置群と設備を対象とするが、電力またはエネルギーを消費する装置とそのための設備であれば本実施の形態を適用でき、例えば電気装置、機械装置、動力装置、熱装置などの運用や制御に対しても用途を発揮し、システム規模として電子部品群と電源または冷却器、情報処理モジュール群と電源ユニットや冷却ユニット、データセンタ群と発電所または立地を含めた冷却環境なども対象として省電力、省エネルギーに貢献し得る。
【符号の説明】
【０１２５】
１０，１１０，２１０，４１０，６１０ 情報処理システム
２０，１２０ 情報処理装置
３０，１３０ 作業負荷
４０，１４０，４４０，５４０，６４０ 給電設備
５０，１５０，４５０，５５０，６５０ 冷却設備
６０，１６０，４６０，５６０，６６０ 運用管理装置
６１，１６１ 装置群の位置と稼動情報
６２，１６２ 設備の位置と環境情報
６３ 装置群の消費電力計算手段
６４ 設備の消費電力計算手段
６５ 装置群への作業負荷割当て手段
１６３ 装置群の仮消費電力計算手段
１６４ 設備の仮消費電力計算手段
１６５ 装置群への仮作業負荷割当て手段
１６８ 装置群への実作業負荷割当て手段
１６９ 設備への運転指示手段
２２０ ラック列
２２１ 装置
２４０ 変圧器
２４１ 無停電電源装置
２４２ 配電盤
２５０ 冷却塔
２５１ 冷凍機
２５２ 空調機
２５３ グリル
２６０〜２６３，２７０〜２７５，２８０，２８１ ボタン
３００ 仕様情報
３１０ 構成情報
３２０ 稼働情報
４２０ 物理サーバ
４２１ ハイパーバイザ
４３０ 仮想マシン
４３１，５２１，６２１ ＯＳ
４３２，５３０，６３０ アプリケーション
４６１，５６１ 運用管理マネージャ
４６２ 仮想化マネージャ
４６３，５６３，６６３ 設備マネージャ
５２０，６２０ サーバ
５６２ ＳＡＮマネージャ
５７０，６７０ ストレージ
６２２ エージェント
６２３ サーバ装置
６６１ 電力マネージャ
６６２ 統合管理マネージャ
６７１ ストレージ装置
６７２ ディスクアレイ
６７３ データ
６８０ ネットワーク
６８１ ネットワーク装置
【特許請求の範囲】
【請求項１】
コンピュータシステムによって実現され、情報処理装置群と該装置群に対して給電または冷却を行なう設備から成る情報処理システムの運用管理方法であって、
前記コンピュータシステムは、
前記装置群の位置及び稼動情報と前記設備の位置及び環境情報を含む配置情報を記憶する第１ステップと、
前記稼動情報に基づいて前記装置群の作業負荷に対する消費電力を求める第２ステップと、
前記配置情報と前記消費電力に基づいて前記設備の給電損失または冷却電力を求める第３ステップと、
前記装置群の消費電力と前記設備の給電損失または冷却電力との総和を低減するように前記装置群へ作業負荷を割り当てる第４ステップとを実行することを特徴とする情報処理システムの運用管理方法。
【請求項１】
コンピュータシステムによって実現され、情報処理装置群と該装置群に対して給電または冷却を行なう設備から成る情報処理システムの運用管理方法であって、
前記コンピュータシステムは、
前記装置群の位置及び稼動情報と前記設備の位置及び環境情報を含む配置情報を記憶する第１ステップと、
前記稼動情報に基づいて前記装置群の作業負荷に対する消費電力を求める第２ステップと、
前記配置情報と前記消費電力に基づいて前記設備の給電損失または冷却電力を求める第３ステップと、
前記装置群の消費電力と前記設備の給電損失または冷却電力との総和を低減するように前記装置群へ作業負荷を割り当てる第４ステップとを実行することを特徴とする情報処理システムの運用管理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−５８２５７（Ｐ２０１３−５８２５７Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１２−２７２５３６（Ｐ２０１２−２７２５３６）
【出願日】平成２４年１２月１３日（２０１２．１２．１３）
【分割の表示】特願２０１０−２０７６６０（Ｐ２０１０−２０７６６０）の分割
【原出願日】平成２０年４月９日（２００８．４．９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２４年１２月１３日（２０１２．１２．１３）
【分割の表示】特願２０１０−２０７６６０（Ｐ２０１０−２０７６６０）の分割
【原出願日】平成２０年４月９日（２００８．４．９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]