空調機とデータ処理負荷分配の連係制御方法
【課題】複数の情報通信機械室(データセンター)を統合して、データ処理の集中・分散制御を行うデータ処理方式に好適な、空調機とデータ処理分配の連係制御技術を提供する。
【解決手段】ホストサーバから次の時間帯t+1の処理負荷増加ΔL(t+1)指令を受けた場合、各サイトについて処理負荷増加に対応する空調機出力、部分負荷率の予測及び比較を行う。次に、空調機について時間帯t+1における冷房出力予測値R3(t+1)が、空調機定格出力Rmaxを超えていないかが判定される。R3(t+1)≦Rmaxの場合には、ICT負荷の割り当てに先立って当該優先サイトの空調機の出力アップを行う。次いで当該優先サイトに増加分の処理負荷を割り当てる。R3(t+1)>Rmaxの場合には、能力超過分の処理負荷ΔL'(t+1)に相当する冷房出力分ΔR'(t+1)については、空調効率が次位の空調機に割り当てる。
【解決手段】ホストサーバから次の時間帯t+1の処理負荷増加ΔL(t+1)指令を受けた場合、各サイトについて処理負荷増加に対応する空調機出力、部分負荷率の予測及び比較を行う。次に、空調機について時間帯t+1における冷房出力予測値R3(t+1)が、空調機定格出力Rmaxを超えていないかが判定される。R3(t+1)≦Rmaxの場合には、ICT負荷の割り当てに先立って当該優先サイトの空調機の出力アップを行う。次いで当該優先サイトに増加分の処理負荷を割り当てる。R3(t+1)>Rmaxの場合には、能力超過分の処理負荷ΔL'(t+1)に相当する冷房出力分ΔR'(t+1)については、空調効率が次位の空調機に割り当てる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は空調機出力とデータ処理分配の連係制御方法に係り、特に複数の情報通信機械室(データセンター)を統合して、データ処理の集中・分散制御を行うデータ処理方式に好適な、空調機とデータ処理分配の連係制御方法に関する。
【背景技術】
【0002】
従来、データセンターにおけるICT機器・装置(以下、サーバと総称することがある)の省エネ対策として、パワーキャッピングや仮想化技術が採用されている。パワーキャッピングでは、CPUの利用状況に対応して周波数を制御することにより、サーバの消費電力を最適化することができる。また、仮想化技術では、複数のサーバの物理リソースを超えた制御が可能となる。例えば、多数のサーバが低い稼働率で分散処理している場合に、一部のサーバにデータ処理を集約したり、逆に、一部のサーバが高い稼働率で集中処理している場合に、他のサーバに分散処理させることが可能となる。
しかし、これらの制御技術は室内の空調制御とは無関係に運用されることが一般的であり、冷気供給が困難な箇所にサーバの処理負荷が集中すると、ホットスポットが発生して過剰な空調送風動力が必要となり、省エネの要請に反することになる。
【0003】
本願出願人は上記問題に対応するため、各空調機が分担する冷却対象ゾーンに配置される複数のICT装置のデータ処理負荷情報に基づいて、装置の発熱状態を把握又は予測し、空調機の冷房能力、風量を制御することにより、サーバの稼動負荷に偏在が生じた場合でも、局所的な高温領域を発生させることのない空調機とデータ処理分配の連係制御方法を提案している(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−293851号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
データセンターでは、リスク分散や逐次増設の要求に対応して、小さなモジュールで複数のロケーションに分散して運用を行う場合がある(例えばコンテナデータセンター)。こうした運用形態に対して、パワーキャッピングや仮想化技術を適用する技術が実用化されており、このような状況に適用可能な空調機とデータ処理分配の連係制御方法が求められている。
【課題を解決するための手段】
【0006】
本発明は上記課題を解決するための技術であって、以下の内容をその要旨とする。すなわち、本発明に係る空調機運転とデータ処理負荷分配の連係制御方法は、
(1)複数のICT装置と、ICT装置冷却のための一以上の空調機と、をそれぞれ備えた複数のデータセンターに対するデータ処理負荷の割り当て方法であって、
データ処理負荷に変化があったとき、又は、いずれかのデータセンターにおいて空調機運転条件もしくは外気環境条件に変動があったときに、変更後のデータ処理負荷における空調機出力変化に対して、空調機の運転効率が最も高くなると予測されるデータセンターから順次、下位のデータセンターにデータ処理負荷を割り当てることを特徴とする。
本発明において、「ICT装置」とは、サーバ、ストレージ、ルータ等の情報通信機器・装置をいう。
また、「データ処理負荷の変化」とは、データ処理負荷の増加又は減少をいう。
また、「データセンター」とは、ロケーションを異にしているデータセンターの他に、同一ロケーション内の別の部屋、集合設置されたコンテナ群等も含む概念である。
【0007】
(2)上記発明において、選択されたデータセンターの空調機の冷房能力上限値を限度として、順次、下位のデータセンターに割り当てることを特徴とする。
本発明において、「冷房能力上限値」とは、空調機の冷房能力定格値をいう。
【0008】
(3)上記各発明において、前記外気環境条件が、外気温度、湿球温度又は相当外気温度のいずれか又はこれら2以上の組み合わせであることを特徴とする。
【0009】
(4)上記各発明において、前記空調機出力変化が、空調機の部分負荷効率曲線の一次導関数であることを特徴とする。
【0010】
(5)上記各発明において、前記運転状態が、空調機の運転異常発生の有無であることを特徴とする。
【0011】
(6)上記(5)の発明において、データ処理負荷の割り当て低減割合を、該当するデータセンターの空調機異常発生台数により定めることを特徴とする。
【0012】
(7)上記各発明において、データ処理負荷が増加する場合には、予め処理負荷増加に応じて空調機出力を増加させる運転を行うことを特徴とする。
【発明の効果】
【0013】
本発明によれば、空調効率を考慮したデータ処理負荷の割り当てを行うため、空調動力を大幅に減らすことができ、トータルの消費電力削減が可能となるという効果がある。
また、空調機の冷房能力上限値又は運転異常空調機発生の有無を考慮したデータ処理負荷の割り当てを行う発明にあっては、ICT装置の高温障害による処理停止等のリスク回避が可能となるという効果がある。
また、ロケーション毎に異なる外気環境条件を考慮して、最適な空調機稼動およびデータ処理負荷を割り当てるため、寒冷地等外気冷熱が大きいロケーションの利点を最大限活用することが可能となり、トータルでの消費電力削減が可能となるという効果がある。
また、空調機出力変化の指標として空調機効率の一次導関数を用いる発明にあっては、最適な空調機能力の割り当てを行うことにより、空調機能力の変化後も最適な空調効率での運転を維持することが可能となり、年間トータルで最大限の消費電力削減が可能となるという効果がある。
【図面の簡単な説明】
【0014】
【図1】第一の実施形態に係る連係制御システム1の構成を示す図である。
【図2】各空調機の部分負荷率−空調効率(COP)関係テーブル(TB1)を概念的に示す図である。
【図3】データ処理負荷に対応する空調機冷房負荷の関係テーブル(TB2)を概念的に示す図である。
【図4】第一の実施形態における空調機出力とデータ処理分配の連係制御フローを示す図である。
【図5】優先サイト選定方法を概念的に示す図である。
【図6】空調機定格能力を考慮した優先サイト選定方法を概念的に示す図である。
【図7】第二の実施形態に係る連係制御システム20の構成を示す図である。
【図8】外気温をパラメータとした各空調機の部分負荷率−空調効率関係テーブル(TB3)を概念的に示す図である。
【図9】第二の実施形態における空調機出力とデータ処理分配の連係制御フローを示す図である。
【図10】第三の実施形態の優先サイト選定方法を概念的に示す図である。
【図11】第三の実施形態における空調機出力とデータ処理分配の連係制御フローを示す図である。
【図12】第四の実施形態に係る連係制御システム30の構成を示す図である。
【図13】第四の実施形態における空調機出力とデータ処理分配の連係制御フローを示す図である。
【図14】第五の実施形態に係る連係制御システム40の構成を示す図である。
【図15】各サイトのデータ処理速度(サーバの消費電力上限設定モード)組み合わせと空調機消費電力合計値の関係テーブルを模式的に示す図である。
【図16】図15の関係テーブルの作成方法を示す図である。
【図17】第五の実施形態におけるデータ処理分配と空調機出力の連係制御フローを示す図である。
【発明を実施するための形態】
【0015】
以下、本発明に係る連係制御方法の実施形態について、図1乃至13を参照してさらに詳細に説明する。重複説明を避けるため、各図において同一構成には同一符号を用いて示している。なお、本発明の範囲は特許請求の範囲記載のものであって、以下の各実施形態に限定されないことはいうまでもない。
【0016】
<第一の実施形態>
図1乃至図6を参照して、本発明の第一の実施形態について説明する。本実施形態は、データ処理負荷増加時に空調効率が最も高くなると予測されるデータセンターに増加分を割り当て、トータルとして空調効率向上を図る形態に関する。
【0017】
図1を参照して、連係制御システム1の空調系統は、複数のデータセンター(以下、サイトという)S1−S4にそれぞれ配設されるベース空調機A1乃至A4により構成されている。各空調機は、サイト内に収容されるサーバラック5群内のICT装置5aを冷却する。
連係制御システム1の制御系統は、各サイトについてICT装置管理サーバ(以下、ICTサーバという)2と、空調制御サーバ3と、これらの連携をとって統合的に制御する統合制御サーバ4と、を備えて構成されている。ICTサーバ2は、ホストサーバ(図示せず)から指令されるデータ処理を、統合制御サーバ4の指令に基づいて各ICT装置5aに分配する。なお、ICTサーバ2及び統合制御サーバ4は、必ずしも物理的に独立したサーバであることを要せず、例えば上記機能を奏する各ICT装置5a内のプログラムであってもよい。
統合制御サーバ4は、各空調機の部分負荷率−空調効率(COP)関係テーブルTB1(図2参照)、及び、データ処理負荷量(L)と空調機必要冷房出力(R)の関係テーブルTB2(図3参照)を格納しており、後述するようにホストサーバから処理負荷増指令があったときに、必要空調機出力を演算可能に構成されている。ここに、部分負荷率rは、r=R/Rmax(但し、Rmax:空調機定格出力)である。
なお、説明の便宜上、本実施形態では空調機A1乃至A4は同一機種であり、全て同一の効率曲線を有するものとしている。
【0018】
連係制御システム1は以上のように構成されており、次に図4を参照して、統合制御サーバ4に指令により実行される、空調機出力とデータ処理分配の連係制御フローについて説明する。なお、以下の制御は所定の時間インターバルで行われるものとする。
以下の説明において、各サイト(Si(i=1−4))におけるデータ処理負荷量(L)、空調機必要冷房出力(R)、空調機部分負荷率(r)を表1の通り表記する。
【表1】
所定の時間帯(t)において各サイトの空調機Ai(i=1−4)がそれぞれのデータ処理負荷Li(t)(i=1−4)に対応する冷房出力(Ri(t))により運転されている状態(図2参照)を想定する(S101)。
この状態において、ホストサーバ(図示せず)から次の時間帯(t+1)の処理負荷増加ΔL(t+1)指令を受けた場合(S102)、各サイトについて処理負荷増加に対応する空調機出力、部分負荷率の予測及び比較を行う(S103)。具体的には関係テーブルT1に基づき、各空調機の部分負荷率riに対する空調効率ηiを求めて比較する(図5参照)。さらに、空調効率最大の空調機が設置されているサイトを優先サイトとして選定する(S104)。同図の例では空調機A3がこれに該当し、サイトS3が優先サイト候補となる。
【0019】
次に、空調機A3について時間帯(t+1)における冷房出力予測値
R3(t+1)=R3(t)+ΔR(t+1)
が空調機定格出力(Rmax)を超えていないかが判定される(S105)。
R3(t+1)≦Rmax の場合には(S105においてY)、ICT負荷の割り当てに先立って当該優先サイトの空調機(A3)の出力アップを行う(S107)。次いで当該優先サイトに増加分の処理負荷を割り当てる(S108)。
また、S105においてN、すなわちR3(t+1)>Rmax の場合には、図6に示すように能力超過分の処理負荷(ΔL'(t+1))に相当する冷房出力分(ΔR'(t+1))については、空調効率が次位の空調機(本実施形態では空調機A4)に割り当てる(S106)。
【0020】
なお、本実施形態では、各サイトに1台の空調機を配置する例を示したが、それぞれ複数台の空調機を配置する態様とすることもできる。この場合、サイトごとの空調機能力の総計により優先サイトを選定することにより、上記説明に準じて処理負荷の割り当てを行うことができる。
また本実施形態では、統合制御サーバ4の指令に基づいてICTサーバ2が各ICT装置5aに負荷分配する例を示したが、統合制御サーバ4が直接、各ICT装置5aに負荷分配する形態としてもよい。
【0021】
<第二の実施形態>
次に、図7乃至9を参照して、本発明の他の実施形態について説明する。本実施形態は、データ処理負荷増加時に各サイトの外気温に基づいて増加分の割り当てを行う形態に関する。
図7を参照して、本実施形態の構成が第一の実施形態と異なる点は、各サイトに外気温を計測する温度センサ21が配設されており、計測データが常時統合制御サーバ4に送信されることである。
また、統合制御サーバ4のDB4aは、外気温をパラメータとした各空調機の部分負荷率−空調効率関係テーブルTB3(図8参照)を備えていることである。その他の構成は第一の実施形態と同一であるので、重複説明を省略する。
【0022】
以下、図9を参照して、本実施形態における空調機とデータ処理分配の連係制御フローについて説明する。
所定の時間帯(t)において、各サイトの空調機Ai(i=1−4)がそれぞれデータ処理負荷Li(t)に対応して、出力Ri(t)で運転されている状態を想定する(S201)。制御中、各サイトの温度センサ21は、それぞれ外気温T(i)を計測して常時統合制御サーバ4に送信している(S202)。
【0023】
この状態において、次の時間帯(t+1)の処理負荷増(ΔL(t+1))指令を受けた場合(S203)、各サイトについて、現状外気温環境下での処理負荷増時の各空調機の効率を予測し、比較する(S204)。具体的には図8を参照して、各サイトの外気温条件における各空調機の部分負荷率ri(t+1)に対する空調効率ηiを求める。これらを比較し、この値が最大の空調機設置サイトを優先サイトとして選定する(S205)。同図(及び表2)の例では空調機A2がこれに該当し、サイト2が優先サイト候補として選定される。
【0024】
【表2】
その後のS301以降のフローは上述の実施形態のS105乃至S108と同様であるので、重複説明を省略する。
【0025】
なお本実施形態では、外気温を考慮して優先サイトを選定する例を示したが、湿球温度又は相当外気温度に基づいて優先サイトを選定する態様とすることもできる。
さらに、より簡易的には空調機部分負荷率、空調効率を考慮することなく、外気温のみに基づいて優先サイトを選定する態様とすることもできる。
【0026】
<第三の実施形態>
次に、図10、11を参照して、本発明の他の実施形態について説明する。本実施形態が第一の実施形態と異なる点は、優先サイトの選定に際して空調機の空調効率(COP)に基づき判定するのではなく、空調効率曲線の微分係数(一次導関数)の数値に基づき判定(図10参照)する形態に関する。本実施形態の構成は第一の実施形態と同一であるので、重複説明を省略する。
【0027】
以下、図11を参照して、本実施形態における空調機とデータ処理分配の連係制御フローについて説明する。
所定の時間帯(t)において、各サイトの空調機Ai(i=1−4)がそれぞれのデータ処理負荷Li(t)(i=1−4)に対応して運転されている状態を想定する(S301)。
この状態において、次の時間帯(t+1)に処理負荷変化ΔL(t+1)指令を受けた場合(S302)、各サイトについて、現在時点における各空調機の部分負荷率、COPを把握する(S303)。さらに、各空調機について空調効率曲線の微分係数(dη/dri)を求める(S304)。
【0028】
次に、処理負荷が増加する場合には(ΔL(t+1)>0)、微分係数最大のサイトの空調機に処理負荷増加分を割り当てる(S305)。次いで、ICT負荷の割り当てに先立って当該優先サイトの空調機の能力アップを行い(S306)。次いで当該優先サイトに増加分の処理負荷を割り当てる(S307)。
一方、処理負荷が減少する場合には(ΔL(t+1)<0)、微分係数最小のサイトに対してその分の処理負荷量を減らす(S308)。
【0029】
<第四の実施形態>
次に、図12、13を参照して、本発明の他の実施形態について説明する。本実施形態は、いずれかのサイトに空調機異常が発生した場合に、必要に応じて他のサイトにデータ処理負荷を転送することにより、データ処理の円滑な運用を図る形態に関する。
図12を参照して、本実施形態に係る連係制御システム30が上述の各実施形態と異なる点は、空調系統の構成、すなわち、1サイトに複数の空調機が配設されていることである。サイトS31を例にとると、ベース空調機A11、A12及びラック列内にタスク空調機B11、B12が配設されている。サイトS32、S33についても同様に構成されている。その他の構成は、制御系統を含めて第一の実施形態と同様であるので、重複説明を省略する。
【0030】
以下、図13を参照して、本実施形態における連係制御フローについて説明する。
通常運転時においては、各サイトに割り当てられた処理負荷量に対応して空調機運転されている(S401)。
その状態から、いずれかのサイトにおいて空調機異常信号を受信したときは(S402においてY)、当該サイトにおける空調機能力低下に対応する処理負荷削減量を把握する(S403)。
次に、転送すべき処理負荷量がサイト内の異常機以外の空調機の出力アップにより補完可能か否かを判定する(S404)。
補完可能な場合には(S404においてY)、第一の実施形態のS105〜S108のフローに準じてサイト内空調機の優先順位に従い負荷再配分する(S405)。
当該サイト内空調機では補完不能な場合には(S404においてN)、オーバー分については他のサイトの空調機に必要補完分を配分する(S406)。
【0031】
<第五の実施形態>
さらに図14−17を参照して、本発明の他の実施形態について説明する。本実施形態は、処理負荷分担の見直しをデータ処理負荷変化があった場合ではなく、各サイトの環境条件(ここでは外気温)を勘案して定期的に見直すことにより、継続的にサーバ及び空調機の省電力化を図る形態に関する。
【0032】
図14を参照して、本実施形態に係る連係制御システム40は、2つの異なる地域(例えば南半球と北半球)に配置されるデータセンター(サイト)Sa,Sbの処理負荷を、統合制御サーバ4により仮想化制御する態様を想定している。制御に際しては、制御全体の処理能力の最低要求(ここでは5PFLOP)が定められているものとする。ここに、PFLOPS(Peta Floating
Point Operation Per Second)とは、コンピュータの処理性能を表す単位であり、浮動小数点演算を1秒間に1000兆回行う能力である。
【0033】
統合制御サーバ4のDB4aには、本制御を行うための空調機消費電力合計テーブルが格納されている。以下、テーブルの内容について説明する。
本テーブルは図15に示すように、
(1)サイトSa,Sbの過去1週間の外気温平均値(av(Ta)、av(Tb))
(2)各サイトのサーバ消費電力上限設定モード(P0,P1,P2,P3))の種々の組み合わせに対する、空調機合計消費電力(ΣE=Ea+Eb)の関係テーブルとして構成されている。
ここに、サーバの消費電力上限設定モードとは、サーバのCPUのパフォーマンス(コア周波数)や、サーバの稼働台数を制御することにより、設定した消費電力上限を超えないように運転抑制する制御である。サーバの消費電力上限設定モード(P0,P1,P2,P3)(以下、適宜、「設定モード」と略称する)の選択により、最大のデータ処理速度が定まる。
同図では、サイトSa,Sbにつきそれぞれav(Ta)=Ti、av(Tb) =Tj条件の場合の、各サーバの設定モードの組み合わせによるΣEの値を模式的に示している。このような関係テーブルが、種々の外気温平均値(av(Ta)、av(Tb))の組み合わせについて用意されている。なお、同図において網掛け部分は、要求最低処理能力5PFLOP以上の条件を満たす設定モードの組み合わせ範囲を表している。
【0034】
次に、ΣEは以下の通り求めることができる。図16を参照して、設定モードとデータ処理量(PFLOPS)の関係が同図(a)の線図のように求めら、また、空調負荷と空調機消費電力の関係が、外気温をパラメータとして同図(b)のように示さるものとする。
同図(a)により、特定の設定モード組み合わせに対するPFLOPSの値が求まる(P0のとき4PFLOPS、P1のとき3PFLOPS、・・・・)。また、設定モードとサーバ発熱量は比例し、また、サーバ発熱量は空調負荷に比例するから、同図(a)、(b)により、特定の設定モードの組み合わせについて、ΣE=Ea+Ebを求めることができる。例えば、サイトSaについて設定モード=P0,av(Ta)=10℃条件では、PFLOPS=4、Ea=E(P0,10)となる。また、サイトSbについて設定モード=P3,av(Tb)=30℃条件では、PFLOPS=1、Eb=E(P3,30)となり、ΣE=E(P0,10)+E(P3,30)が求まる。このようにして、図15の関係テーブルを作成することができる
【0035】
以下、図17を参照して、本実施形態における連係制御フローについて説明する。
通常運転時においては、各サイトにつき所与(前回更新時)の設定(処理速度)条件で負荷処理が行われ、空調機が運転されている(S501)。その状態から、更新タイミングが到来したときは(S502においてY)、サイトSa、Sbにおける過去1週間の外気温平均値(av(Ta)、av(Tb))が演算される(S403)。さらに、演算結果に基づいて適用すべき空調機合計消費電力テーブルが更新され(S504)、これを用いて要求処理速度(5PFLOPS以上)を満たす最小消費電力の設定の組み合わせが選定される(S505)。
各サイトにおいて設定モードが変更され、変更後の設定モードによりデータ処理が行われる(S506)。また、これに連携して空調機が能力制御される。
【0036】
なお、本実施形態では空調機消費電力合計を消費電力の制御対象とする例を示したが、これに限らず(空調機消費電力+サーバ合計消費電力)合計を制御対象とする態様とすることもできる。
また、2サイトに関する空調機、ICT装置の連係制御の例を示したが、3サイト以上の連係制御の態様とすることもできる。
また、各サイトの外気温に基づいて、定期的に処理負荷分担の見直しを行う例を示したが、他の環境条件に基づく態様とすることもできる。
【産業上の利用可能性】
【0037】
本発明は、空調機の熱源・冷媒・空調方式等、建築構造等、データ処理種別、ICT装置種類を問わず、ICT装置を収容する機械室における連係制御システムに広く適用可能である。
【符号の説明】
【0038】
1,20,30、40・・・・連係制御システム
2・・・・ICT装置管理サーバ(ICTサーバ)
3・・・・空調制御サーバ
4・・・・統合制御サーバ
5・・・・サーバラック
21・・・温度センサ
A1〜A4、A11〜A32・・・ベース空調機
B11〜B32・・・タスク空調機
S1〜S4、S31〜S33、Sa、Sb・・・サイト(データセンター)
【技術分野】
【0001】
本発明は空調機出力とデータ処理分配の連係制御方法に係り、特に複数の情報通信機械室(データセンター)を統合して、データ処理の集中・分散制御を行うデータ処理方式に好適な、空調機とデータ処理分配の連係制御方法に関する。
【背景技術】
【0002】
従来、データセンターにおけるICT機器・装置(以下、サーバと総称することがある)の省エネ対策として、パワーキャッピングや仮想化技術が採用されている。パワーキャッピングでは、CPUの利用状況に対応して周波数を制御することにより、サーバの消費電力を最適化することができる。また、仮想化技術では、複数のサーバの物理リソースを超えた制御が可能となる。例えば、多数のサーバが低い稼働率で分散処理している場合に、一部のサーバにデータ処理を集約したり、逆に、一部のサーバが高い稼働率で集中処理している場合に、他のサーバに分散処理させることが可能となる。
しかし、これらの制御技術は室内の空調制御とは無関係に運用されることが一般的であり、冷気供給が困難な箇所にサーバの処理負荷が集中すると、ホットスポットが発生して過剰な空調送風動力が必要となり、省エネの要請に反することになる。
【0003】
本願出願人は上記問題に対応するため、各空調機が分担する冷却対象ゾーンに配置される複数のICT装置のデータ処理負荷情報に基づいて、装置の発熱状態を把握又は予測し、空調機の冷房能力、風量を制御することにより、サーバの稼動負荷に偏在が生じた場合でも、局所的な高温領域を発生させることのない空調機とデータ処理分配の連係制御方法を提案している(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−293851号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
データセンターでは、リスク分散や逐次増設の要求に対応して、小さなモジュールで複数のロケーションに分散して運用を行う場合がある(例えばコンテナデータセンター)。こうした運用形態に対して、パワーキャッピングや仮想化技術を適用する技術が実用化されており、このような状況に適用可能な空調機とデータ処理分配の連係制御方法が求められている。
【課題を解決するための手段】
【0006】
本発明は上記課題を解決するための技術であって、以下の内容をその要旨とする。すなわち、本発明に係る空調機運転とデータ処理負荷分配の連係制御方法は、
(1)複数のICT装置と、ICT装置冷却のための一以上の空調機と、をそれぞれ備えた複数のデータセンターに対するデータ処理負荷の割り当て方法であって、
データ処理負荷に変化があったとき、又は、いずれかのデータセンターにおいて空調機運転条件もしくは外気環境条件に変動があったときに、変更後のデータ処理負荷における空調機出力変化に対して、空調機の運転効率が最も高くなると予測されるデータセンターから順次、下位のデータセンターにデータ処理負荷を割り当てることを特徴とする。
本発明において、「ICT装置」とは、サーバ、ストレージ、ルータ等の情報通信機器・装置をいう。
また、「データ処理負荷の変化」とは、データ処理負荷の増加又は減少をいう。
また、「データセンター」とは、ロケーションを異にしているデータセンターの他に、同一ロケーション内の別の部屋、集合設置されたコンテナ群等も含む概念である。
【0007】
(2)上記発明において、選択されたデータセンターの空調機の冷房能力上限値を限度として、順次、下位のデータセンターに割り当てることを特徴とする。
本発明において、「冷房能力上限値」とは、空調機の冷房能力定格値をいう。
【0008】
(3)上記各発明において、前記外気環境条件が、外気温度、湿球温度又は相当外気温度のいずれか又はこれら2以上の組み合わせであることを特徴とする。
【0009】
(4)上記各発明において、前記空調機出力変化が、空調機の部分負荷効率曲線の一次導関数であることを特徴とする。
【0010】
(5)上記各発明において、前記運転状態が、空調機の運転異常発生の有無であることを特徴とする。
【0011】
(6)上記(5)の発明において、データ処理負荷の割り当て低減割合を、該当するデータセンターの空調機異常発生台数により定めることを特徴とする。
【0012】
(7)上記各発明において、データ処理負荷が増加する場合には、予め処理負荷増加に応じて空調機出力を増加させる運転を行うことを特徴とする。
【発明の効果】
【0013】
本発明によれば、空調効率を考慮したデータ処理負荷の割り当てを行うため、空調動力を大幅に減らすことができ、トータルの消費電力削減が可能となるという効果がある。
また、空調機の冷房能力上限値又は運転異常空調機発生の有無を考慮したデータ処理負荷の割り当てを行う発明にあっては、ICT装置の高温障害による処理停止等のリスク回避が可能となるという効果がある。
また、ロケーション毎に異なる外気環境条件を考慮して、最適な空調機稼動およびデータ処理負荷を割り当てるため、寒冷地等外気冷熱が大きいロケーションの利点を最大限活用することが可能となり、トータルでの消費電力削減が可能となるという効果がある。
また、空調機出力変化の指標として空調機効率の一次導関数を用いる発明にあっては、最適な空調機能力の割り当てを行うことにより、空調機能力の変化後も最適な空調効率での運転を維持することが可能となり、年間トータルで最大限の消費電力削減が可能となるという効果がある。
【図面の簡単な説明】
【0014】
【図1】第一の実施形態に係る連係制御システム1の構成を示す図である。
【図2】各空調機の部分負荷率−空調効率(COP)関係テーブル(TB1)を概念的に示す図である。
【図3】データ処理負荷に対応する空調機冷房負荷の関係テーブル(TB2)を概念的に示す図である。
【図4】第一の実施形態における空調機出力とデータ処理分配の連係制御フローを示す図である。
【図5】優先サイト選定方法を概念的に示す図である。
【図6】空調機定格能力を考慮した優先サイト選定方法を概念的に示す図である。
【図7】第二の実施形態に係る連係制御システム20の構成を示す図である。
【図8】外気温をパラメータとした各空調機の部分負荷率−空調効率関係テーブル(TB3)を概念的に示す図である。
【図9】第二の実施形態における空調機出力とデータ処理分配の連係制御フローを示す図である。
【図10】第三の実施形態の優先サイト選定方法を概念的に示す図である。
【図11】第三の実施形態における空調機出力とデータ処理分配の連係制御フローを示す図である。
【図12】第四の実施形態に係る連係制御システム30の構成を示す図である。
【図13】第四の実施形態における空調機出力とデータ処理分配の連係制御フローを示す図である。
【図14】第五の実施形態に係る連係制御システム40の構成を示す図である。
【図15】各サイトのデータ処理速度(サーバの消費電力上限設定モード)組み合わせと空調機消費電力合計値の関係テーブルを模式的に示す図である。
【図16】図15の関係テーブルの作成方法を示す図である。
【図17】第五の実施形態におけるデータ処理分配と空調機出力の連係制御フローを示す図である。
【発明を実施するための形態】
【0015】
以下、本発明に係る連係制御方法の実施形態について、図1乃至13を参照してさらに詳細に説明する。重複説明を避けるため、各図において同一構成には同一符号を用いて示している。なお、本発明の範囲は特許請求の範囲記載のものであって、以下の各実施形態に限定されないことはいうまでもない。
【0016】
<第一の実施形態>
図1乃至図6を参照して、本発明の第一の実施形態について説明する。本実施形態は、データ処理負荷増加時に空調効率が最も高くなると予測されるデータセンターに増加分を割り当て、トータルとして空調効率向上を図る形態に関する。
【0017】
図1を参照して、連係制御システム1の空調系統は、複数のデータセンター(以下、サイトという)S1−S4にそれぞれ配設されるベース空調機A1乃至A4により構成されている。各空調機は、サイト内に収容されるサーバラック5群内のICT装置5aを冷却する。
連係制御システム1の制御系統は、各サイトについてICT装置管理サーバ(以下、ICTサーバという)2と、空調制御サーバ3と、これらの連携をとって統合的に制御する統合制御サーバ4と、を備えて構成されている。ICTサーバ2は、ホストサーバ(図示せず)から指令されるデータ処理を、統合制御サーバ4の指令に基づいて各ICT装置5aに分配する。なお、ICTサーバ2及び統合制御サーバ4は、必ずしも物理的に独立したサーバであることを要せず、例えば上記機能を奏する各ICT装置5a内のプログラムであってもよい。
統合制御サーバ4は、各空調機の部分負荷率−空調効率(COP)関係テーブルTB1(図2参照)、及び、データ処理負荷量(L)と空調機必要冷房出力(R)の関係テーブルTB2(図3参照)を格納しており、後述するようにホストサーバから処理負荷増指令があったときに、必要空調機出力を演算可能に構成されている。ここに、部分負荷率rは、r=R/Rmax(但し、Rmax:空調機定格出力)である。
なお、説明の便宜上、本実施形態では空調機A1乃至A4は同一機種であり、全て同一の効率曲線を有するものとしている。
【0018】
連係制御システム1は以上のように構成されており、次に図4を参照して、統合制御サーバ4に指令により実行される、空調機出力とデータ処理分配の連係制御フローについて説明する。なお、以下の制御は所定の時間インターバルで行われるものとする。
以下の説明において、各サイト(Si(i=1−4))におけるデータ処理負荷量(L)、空調機必要冷房出力(R)、空調機部分負荷率(r)を表1の通り表記する。
【表1】
所定の時間帯(t)において各サイトの空調機Ai(i=1−4)がそれぞれのデータ処理負荷Li(t)(i=1−4)に対応する冷房出力(Ri(t))により運転されている状態(図2参照)を想定する(S101)。
この状態において、ホストサーバ(図示せず)から次の時間帯(t+1)の処理負荷増加ΔL(t+1)指令を受けた場合(S102)、各サイトについて処理負荷増加に対応する空調機出力、部分負荷率の予測及び比較を行う(S103)。具体的には関係テーブルT1に基づき、各空調機の部分負荷率riに対する空調効率ηiを求めて比較する(図5参照)。さらに、空調効率最大の空調機が設置されているサイトを優先サイトとして選定する(S104)。同図の例では空調機A3がこれに該当し、サイトS3が優先サイト候補となる。
【0019】
次に、空調機A3について時間帯(t+1)における冷房出力予測値
R3(t+1)=R3(t)+ΔR(t+1)
が空調機定格出力(Rmax)を超えていないかが判定される(S105)。
R3(t+1)≦Rmax の場合には(S105においてY)、ICT負荷の割り当てに先立って当該優先サイトの空調機(A3)の出力アップを行う(S107)。次いで当該優先サイトに増加分の処理負荷を割り当てる(S108)。
また、S105においてN、すなわちR3(t+1)>Rmax の場合には、図6に示すように能力超過分の処理負荷(ΔL'(t+1))に相当する冷房出力分(ΔR'(t+1))については、空調効率が次位の空調機(本実施形態では空調機A4)に割り当てる(S106)。
【0020】
なお、本実施形態では、各サイトに1台の空調機を配置する例を示したが、それぞれ複数台の空調機を配置する態様とすることもできる。この場合、サイトごとの空調機能力の総計により優先サイトを選定することにより、上記説明に準じて処理負荷の割り当てを行うことができる。
また本実施形態では、統合制御サーバ4の指令に基づいてICTサーバ2が各ICT装置5aに負荷分配する例を示したが、統合制御サーバ4が直接、各ICT装置5aに負荷分配する形態としてもよい。
【0021】
<第二の実施形態>
次に、図7乃至9を参照して、本発明の他の実施形態について説明する。本実施形態は、データ処理負荷増加時に各サイトの外気温に基づいて増加分の割り当てを行う形態に関する。
図7を参照して、本実施形態の構成が第一の実施形態と異なる点は、各サイトに外気温を計測する温度センサ21が配設されており、計測データが常時統合制御サーバ4に送信されることである。
また、統合制御サーバ4のDB4aは、外気温をパラメータとした各空調機の部分負荷率−空調効率関係テーブルTB3(図8参照)を備えていることである。その他の構成は第一の実施形態と同一であるので、重複説明を省略する。
【0022】
以下、図9を参照して、本実施形態における空調機とデータ処理分配の連係制御フローについて説明する。
所定の時間帯(t)において、各サイトの空調機Ai(i=1−4)がそれぞれデータ処理負荷Li(t)に対応して、出力Ri(t)で運転されている状態を想定する(S201)。制御中、各サイトの温度センサ21は、それぞれ外気温T(i)を計測して常時統合制御サーバ4に送信している(S202)。
【0023】
この状態において、次の時間帯(t+1)の処理負荷増(ΔL(t+1))指令を受けた場合(S203)、各サイトについて、現状外気温環境下での処理負荷増時の各空調機の効率を予測し、比較する(S204)。具体的には図8を参照して、各サイトの外気温条件における各空調機の部分負荷率ri(t+1)に対する空調効率ηiを求める。これらを比較し、この値が最大の空調機設置サイトを優先サイトとして選定する(S205)。同図(及び表2)の例では空調機A2がこれに該当し、サイト2が優先サイト候補として選定される。
【0024】
【表2】
その後のS301以降のフローは上述の実施形態のS105乃至S108と同様であるので、重複説明を省略する。
【0025】
なお本実施形態では、外気温を考慮して優先サイトを選定する例を示したが、湿球温度又は相当外気温度に基づいて優先サイトを選定する態様とすることもできる。
さらに、より簡易的には空調機部分負荷率、空調効率を考慮することなく、外気温のみに基づいて優先サイトを選定する態様とすることもできる。
【0026】
<第三の実施形態>
次に、図10、11を参照して、本発明の他の実施形態について説明する。本実施形態が第一の実施形態と異なる点は、優先サイトの選定に際して空調機の空調効率(COP)に基づき判定するのではなく、空調効率曲線の微分係数(一次導関数)の数値に基づき判定(図10参照)する形態に関する。本実施形態の構成は第一の実施形態と同一であるので、重複説明を省略する。
【0027】
以下、図11を参照して、本実施形態における空調機とデータ処理分配の連係制御フローについて説明する。
所定の時間帯(t)において、各サイトの空調機Ai(i=1−4)がそれぞれのデータ処理負荷Li(t)(i=1−4)に対応して運転されている状態を想定する(S301)。
この状態において、次の時間帯(t+1)に処理負荷変化ΔL(t+1)指令を受けた場合(S302)、各サイトについて、現在時点における各空調機の部分負荷率、COPを把握する(S303)。さらに、各空調機について空調効率曲線の微分係数(dη/dri)を求める(S304)。
【0028】
次に、処理負荷が増加する場合には(ΔL(t+1)>0)、微分係数最大のサイトの空調機に処理負荷増加分を割り当てる(S305)。次いで、ICT負荷の割り当てに先立って当該優先サイトの空調機の能力アップを行い(S306)。次いで当該優先サイトに増加分の処理負荷を割り当てる(S307)。
一方、処理負荷が減少する場合には(ΔL(t+1)<0)、微分係数最小のサイトに対してその分の処理負荷量を減らす(S308)。
【0029】
<第四の実施形態>
次に、図12、13を参照して、本発明の他の実施形態について説明する。本実施形態は、いずれかのサイトに空調機異常が発生した場合に、必要に応じて他のサイトにデータ処理負荷を転送することにより、データ処理の円滑な運用を図る形態に関する。
図12を参照して、本実施形態に係る連係制御システム30が上述の各実施形態と異なる点は、空調系統の構成、すなわち、1サイトに複数の空調機が配設されていることである。サイトS31を例にとると、ベース空調機A11、A12及びラック列内にタスク空調機B11、B12が配設されている。サイトS32、S33についても同様に構成されている。その他の構成は、制御系統を含めて第一の実施形態と同様であるので、重複説明を省略する。
【0030】
以下、図13を参照して、本実施形態における連係制御フローについて説明する。
通常運転時においては、各サイトに割り当てられた処理負荷量に対応して空調機運転されている(S401)。
その状態から、いずれかのサイトにおいて空調機異常信号を受信したときは(S402においてY)、当該サイトにおける空調機能力低下に対応する処理負荷削減量を把握する(S403)。
次に、転送すべき処理負荷量がサイト内の異常機以外の空調機の出力アップにより補完可能か否かを判定する(S404)。
補完可能な場合には(S404においてY)、第一の実施形態のS105〜S108のフローに準じてサイト内空調機の優先順位に従い負荷再配分する(S405)。
当該サイト内空調機では補完不能な場合には(S404においてN)、オーバー分については他のサイトの空調機に必要補完分を配分する(S406)。
【0031】
<第五の実施形態>
さらに図14−17を参照して、本発明の他の実施形態について説明する。本実施形態は、処理負荷分担の見直しをデータ処理負荷変化があった場合ではなく、各サイトの環境条件(ここでは外気温)を勘案して定期的に見直すことにより、継続的にサーバ及び空調機の省電力化を図る形態に関する。
【0032】
図14を参照して、本実施形態に係る連係制御システム40は、2つの異なる地域(例えば南半球と北半球)に配置されるデータセンター(サイト)Sa,Sbの処理負荷を、統合制御サーバ4により仮想化制御する態様を想定している。制御に際しては、制御全体の処理能力の最低要求(ここでは5PFLOP)が定められているものとする。ここに、PFLOPS(Peta Floating
Point Operation Per Second)とは、コンピュータの処理性能を表す単位であり、浮動小数点演算を1秒間に1000兆回行う能力である。
【0033】
統合制御サーバ4のDB4aには、本制御を行うための空調機消費電力合計テーブルが格納されている。以下、テーブルの内容について説明する。
本テーブルは図15に示すように、
(1)サイトSa,Sbの過去1週間の外気温平均値(av(Ta)、av(Tb))
(2)各サイトのサーバ消費電力上限設定モード(P0,P1,P2,P3))の種々の組み合わせに対する、空調機合計消費電力(ΣE=Ea+Eb)の関係テーブルとして構成されている。
ここに、サーバの消費電力上限設定モードとは、サーバのCPUのパフォーマンス(コア周波数)や、サーバの稼働台数を制御することにより、設定した消費電力上限を超えないように運転抑制する制御である。サーバの消費電力上限設定モード(P0,P1,P2,P3)(以下、適宜、「設定モード」と略称する)の選択により、最大のデータ処理速度が定まる。
同図では、サイトSa,Sbにつきそれぞれav(Ta)=Ti、av(Tb) =Tj条件の場合の、各サーバの設定モードの組み合わせによるΣEの値を模式的に示している。このような関係テーブルが、種々の外気温平均値(av(Ta)、av(Tb))の組み合わせについて用意されている。なお、同図において網掛け部分は、要求最低処理能力5PFLOP以上の条件を満たす設定モードの組み合わせ範囲を表している。
【0034】
次に、ΣEは以下の通り求めることができる。図16を参照して、設定モードとデータ処理量(PFLOPS)の関係が同図(a)の線図のように求めら、また、空調負荷と空調機消費電力の関係が、外気温をパラメータとして同図(b)のように示さるものとする。
同図(a)により、特定の設定モード組み合わせに対するPFLOPSの値が求まる(P0のとき4PFLOPS、P1のとき3PFLOPS、・・・・)。また、設定モードとサーバ発熱量は比例し、また、サーバ発熱量は空調負荷に比例するから、同図(a)、(b)により、特定の設定モードの組み合わせについて、ΣE=Ea+Ebを求めることができる。例えば、サイトSaについて設定モード=P0,av(Ta)=10℃条件では、PFLOPS=4、Ea=E(P0,10)となる。また、サイトSbについて設定モード=P3,av(Tb)=30℃条件では、PFLOPS=1、Eb=E(P3,30)となり、ΣE=E(P0,10)+E(P3,30)が求まる。このようにして、図15の関係テーブルを作成することができる
【0035】
以下、図17を参照して、本実施形態における連係制御フローについて説明する。
通常運転時においては、各サイトにつき所与(前回更新時)の設定(処理速度)条件で負荷処理が行われ、空調機が運転されている(S501)。その状態から、更新タイミングが到来したときは(S502においてY)、サイトSa、Sbにおける過去1週間の外気温平均値(av(Ta)、av(Tb))が演算される(S403)。さらに、演算結果に基づいて適用すべき空調機合計消費電力テーブルが更新され(S504)、これを用いて要求処理速度(5PFLOPS以上)を満たす最小消費電力の設定の組み合わせが選定される(S505)。
各サイトにおいて設定モードが変更され、変更後の設定モードによりデータ処理が行われる(S506)。また、これに連携して空調機が能力制御される。
【0036】
なお、本実施形態では空調機消費電力合計を消費電力の制御対象とする例を示したが、これに限らず(空調機消費電力+サーバ合計消費電力)合計を制御対象とする態様とすることもできる。
また、2サイトに関する空調機、ICT装置の連係制御の例を示したが、3サイト以上の連係制御の態様とすることもできる。
また、各サイトの外気温に基づいて、定期的に処理負荷分担の見直しを行う例を示したが、他の環境条件に基づく態様とすることもできる。
【産業上の利用可能性】
【0037】
本発明は、空調機の熱源・冷媒・空調方式等、建築構造等、データ処理種別、ICT装置種類を問わず、ICT装置を収容する機械室における連係制御システムに広く適用可能である。
【符号の説明】
【0038】
1,20,30、40・・・・連係制御システム
2・・・・ICT装置管理サーバ(ICTサーバ)
3・・・・空調制御サーバ
4・・・・統合制御サーバ
5・・・・サーバラック
21・・・温度センサ
A1〜A4、A11〜A32・・・ベース空調機
B11〜B32・・・タスク空調機
S1〜S4、S31〜S33、Sa、Sb・・・サイト(データセンター)
【特許請求の範囲】
【請求項1】
複数のICT装置と、ICT装置冷却のための一以上の空調機と、をそれぞれ備えた複数のデータセンターに対するデータ処理負荷の割り当て方法であって、
データ処理負荷に変化があったとき、又は、いずれかのデータセンターにおいて空調機運転条件もしくは外気環境条件に変動があったときに、
変更後のデータ処理負荷における空調機出力変化に対して、空調機の運転効率が最も高くなると予測されるデータセンターから順次、下位のデータセンターにデータ処理負荷を割り当てることを特徴とする空調機運転とデータ処理負荷分配の連係制御方法。
【請求項2】
請求項1において、選択されたデータセンターの空調機の冷房能力上限値を限度として、割り当てることを特徴とする請求項1に記載の空調機運転とデータ処理負荷分配の連係制御方法。
【請求項3】
前記外気環境条件が、外気温度、湿球温度又は相当外気温度のいずれか又はこれら2以上の組み合わせであることを特徴とする請求項1又は2に記載の空調機運転とデータ処理負荷分配の連係制御方法。
【請求項4】
前記空調機出力変化が、空調機の部分負荷効率曲線の一次導関数であることを特徴とする請求項1乃至3のいずれかに記載の空調機運転とデータ処理負荷分配の連係制御方法。
【請求項5】
前記運転状態が、空調機の運転異常発生の有無であることを特徴とする請求項1乃至4のいずれかに記載の空調機運転とデータ処理負荷分配の連係制御方法。
【請求項6】
請求項5において、データ処理負荷の割り当て低減割合を、該当するデータセンターの空調機異常発生台数により定めることを特徴とする空調機運転とデータ処理負荷分配の連係制御方法。
【請求項7】
請求項1乃至6のいずれかにおいて、データ処理負荷が増加する場合には、予め処理負荷増加に応じて空調機出力を増加させる運転を行うことを特徴とする空調機運転とデータ処理負荷分配の連係制御方法。
【請求項1】
複数のICT装置と、ICT装置冷却のための一以上の空調機と、をそれぞれ備えた複数のデータセンターに対するデータ処理負荷の割り当て方法であって、
データ処理負荷に変化があったとき、又は、いずれかのデータセンターにおいて空調機運転条件もしくは外気環境条件に変動があったときに、
変更後のデータ処理負荷における空調機出力変化に対して、空調機の運転効率が最も高くなると予測されるデータセンターから順次、下位のデータセンターにデータ処理負荷を割り当てることを特徴とする空調機運転とデータ処理負荷分配の連係制御方法。
【請求項2】
請求項1において、選択されたデータセンターの空調機の冷房能力上限値を限度として、割り当てることを特徴とする請求項1に記載の空調機運転とデータ処理負荷分配の連係制御方法。
【請求項3】
前記外気環境条件が、外気温度、湿球温度又は相当外気温度のいずれか又はこれら2以上の組み合わせであることを特徴とする請求項1又は2に記載の空調機運転とデータ処理負荷分配の連係制御方法。
【請求項4】
前記空調機出力変化が、空調機の部分負荷効率曲線の一次導関数であることを特徴とする請求項1乃至3のいずれかに記載の空調機運転とデータ処理負荷分配の連係制御方法。
【請求項5】
前記運転状態が、空調機の運転異常発生の有無であることを特徴とする請求項1乃至4のいずれかに記載の空調機運転とデータ処理負荷分配の連係制御方法。
【請求項6】
請求項5において、データ処理負荷の割り当て低減割合を、該当するデータセンターの空調機異常発生台数により定めることを特徴とする空調機運転とデータ処理負荷分配の連係制御方法。
【請求項7】
請求項1乃至6のいずれかにおいて、データ処理負荷が増加する場合には、予め処理負荷増加に応じて空調機出力を増加させる運転を行うことを特徴とする空調機運転とデータ処理負荷分配の連係制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2012−193877(P2012−193877A)
【公開日】平成24年10月11日(2012.10.11)
【国際特許分類】
【出願番号】特願2011−56862(P2011−56862)
【出願日】平成23年3月15日(2011.3.15)
【出願人】(593063161)株式会社NTTファシリティーズ (475)
【Fターム(参考)】
【公開日】平成24年10月11日(2012.10.11)
【国際特許分類】
【出願日】平成23年3月15日(2011.3.15)
【出願人】(593063161)株式会社NTTファシリティーズ (475)
【Fターム(参考)】
[ Back to top ]