液冷式電子機器ラックの冷却を促進する装置及び方法、並びにこれらを含むデータ・センタ
【課題】データ・センタなどに収容された複数の電子機器ラックから発生する大量の熱負荷を処理する。
【解決手段】電子機器ラックを冷却するためのシステム及び方法を提供する。該ラックは、発熱電子サブシステムを含み、エアが、これを横切ってラックのエア取入れ口側面からエア放出口側面に流れる。第一及び第二モジュール式冷却ユニット（ＭＣＵ）がラックと関連付けられ、該電子サブシステムを冷却するため、これにシステム冷却剤を供給するよう構成される。システム冷却剤供給及び回収マニホルドがＭＣＵと流体連通されて、電子サブシステムと、ラックを流通するエアを冷却するためラックと関連付けられたエア／液体熱交換器とへの、システム冷却剤の供給を容易にする。コントローラが、システム冷却剤をモニタし、ＭＣＵの一つの故障を検知すると、残りの作動可能なＭＣＵが電子サブシステムにシステム冷却剤を供給してこれを液体冷却できるようにさせながら、少なくとも一つの遮断バルブを使って、熱交換器を通るシステム冷却剤の流れを自動的に遮断する。
【解決手段】電子機器ラックを冷却するためのシステム及び方法を提供する。該ラックは、発熱電子サブシステムを含み、エアが、これを横切ってラックのエア取入れ口側面からエア放出口側面に流れる。第一及び第二モジュール式冷却ユニット（ＭＣＵ）がラックと関連付けられ、該電子サブシステムを冷却するため、これにシステム冷却剤を供給するよう構成される。システム冷却剤供給及び回収マニホルドがＭＣＵと流体連通されて、電子サブシステムと、ラックを流通するエアを冷却するためラックと関連付けられたエア／液体熱交換器とへの、システム冷却剤の供給を容易にする。コントローラが、システム冷却剤をモニタし、ＭＣＵの一つの故障を検知すると、残りの作動可能なＭＣＵが電子サブシステムにシステム冷却剤を供給してこれを液体冷却できるようにさせながら、少なくとも一つの遮断バルブを使って、熱交換器を通るシステム冷却剤の流れを自動的に遮断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、コンピュータ・サーバ・ユニットなど、液体冷却されラック搭載される、個別電子機器ユニットの集合体のオペレーションを容易にする装置及び方法に関する。
【背景技術】
【０００２】
プロセッサのパフォーマンス向上を達成するため、集積回路チップ、及びチップを包含するモジュールのパワー消散は増加し続けている。この傾向は、モジュール及びシステム・レベルの双方で冷却に対する課題を投げかけている。ハイパワーのモジュールを効果的に冷却し、コンピュータ・センタの中に排気されるエアの温度を抑えるにはエア流量の増加が必要となる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
多くの大型サーバ装置では、プロセッサは関連する電子機器（例、メモリ、ディスク・ドライブ、電源など）と共に、ラック又はフレーム内に積み重ねられた取り外し可能なドロワ構成にまとめられている。他の構成では、これら電子機器がラック又はフレーム内の固定位置に配置されているものもある。通常、これらの構成機器は、一つ以上の送風装置（例、ファン又はブロワー）に強制されて、通常、前面から背面へ並列のエア流路を流れるエアにより冷却される。一部のケースでは、単一のドロワ内の増大したパワー消散を、もっと強力な送風装置を使うかあるいは既存の送風装置の回転速度（すなわちＲＰＭ）を上げ、さらに大きなエア流量を送ることによって処理することが可能な場合もある。しかしながら、こういったアプローチは、コンピュータ施設（ないしはデータ・センタ）などのラック・レベルでは問題が生じている。
【０００４】
ラックから排出されるエアが担持する相当な量の熱負荷は、効果的に負荷を処理するためのルーム・エアコンの能力を圧迫している。このことは、「サーバ・ファーム」のある大型施設、又は一緒に近接配置れたコンピュータ・ラックの大きな集合場所では特にそうである。こういった施設では、液体冷却（例、水冷）は、高熱の流れを取り扱うために魅力的な技術である。液体は、構成機器／モジュールから消散される熱を効率的な方法で吸収する。通常、その熱は、該液体から、エア又は他の液体冷却剤いずれかの外部環境に伝達される。
【課題を解決するための手段】
【０００５】
電子機器の冷却を促進するシステムの提供によって、従来技術の欠点を克服しさらなる利点を提供する。該システムは、電子機器ラックと、少なくとも二つのモジュール式冷却ユニット（ＭＣＵ：ＭｏｄｕｌａｒＣｏｏｌｉｎｇ Ｕｎｉｔ）と、エア／液体熱交換器と、少なくとも一つの遮断バルブと、少なくとも一つのコントローラとを含む。電子機器ラック（ｅｌｅｃｔｒｏｎｉｃｓ ｒａｃｋ）は、熱を発生する少なくとも一つの電子サブシステムを含み、それぞれエアの流入と流出とを可能にするエア取入れ口側面とエア放出口側面とを含む。ＭＣＵは電子機器ラックと関連付けられており、並行して、該少なくとも一つの発熱電子サブシステムにシステム冷却剤を供給しその冷却を促進するよう構成される。各ＭＣＵは、液体／液体熱交換器と、第一冷却剤ループと、第二冷却剤ループとを含む。作動時に、各ＭＣＵの第一冷却剤ループは、供給源から冷やされた冷却剤を受取り、少なくともその一部を液体／液体熱交換器を通して熱的に伝達し、第二冷却剤ループは、冷やされたシステム冷却剤を、少なくとも一つの発熱電子サブシステムに供給し、液体／液体熱交換器の中で、少なくとも一つの発熱電子サブシステムからの熱を第一冷却剤ループ中の冷やされた冷却剤中に放熱する。エア／液体熱交換器は、少なくとも二つのＭＣＵからシステム冷却剤を受取り、該少なくとも二つのＭＣＵに冷却剤を排出するように連結される。少なくとも一つの遮断バルブは、エア／液体熱交換器を通るシステム冷却剤の流れを選択的に遮断するよう連結される。少なくとも一つのコントローラは、少なくとも二つのＭＣＵの一つのＭＣＵの故障を検知したときにエア／液体熱交換器と通るシステム冷却剤の流れを自動的に遮断するため、該少なくとも一つの遮断バルブに連結される。作動時に、少なくとも二つのＭＣＵは並行して、冷やされたシステム冷却剤を、液体冷却のため少なくとも一つの発熱電子サブシステムに、さらに、電子機器ラックを流通するエアの少なくとも一部を冷却するためエア／液体熱交換器に供給する。少なくとも二つのＭＣＵの一つのＭＣＵの故障が検知されたのに応答して、少なくとも一つのコントローラは、残った作動可能な少なくとも一つのＭＣＵを通るシステム冷却剤の流れを継続させてその液体冷却を続けさせながら、少なくとも一つの遮断バルブを用いて、故障しているＭＣＵのシステム冷却剤がエア／液体熱交換器を通るのを自動的に遮断する。
【０００６】
別の態様において、複数の電子機器ラック及び複数の冷却システムを含むデータ・センタを提供する。各電子機器ラックは、熱を発生する少なくとも一つの電子サブシステムと、それぞれエアの流入と流出とを可能にするエア取入れ口側面とエア放出口側面とを含む。各冷却システムは電子機器ラックと関連付けられており、該システムは、少なくとも一つの発熱電子サブシステムに対し、並行してシステム冷却剤を供給しその冷却を促進する、電子機器ラックに関連付けられた少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）と、電子機器ラックを通過するエアの少なくとも一部を冷却するための、電子機器ラックに関連付けられたエア／液体熱交換器と、エア／液体熱交換器を通るシステム冷却剤の流れを選択的に遮断するよう連結された少なくとも一つの遮断バルブと、該少なくとも一つの遮断バルブに連結され、少なくとも二つのＭＣＵの一つのＭＣＵの故障を検知したとき、エア／液体熱交換器を通るシステム冷却剤の流れを自動的に遮断する少なくとも一つのコントローラと、を含む。少なくとも二つのＭＣＵの各ＭＣＵは、液体／液体熱交換器と、第一冷却剤ループと、第二冷却剤ループとを含む。作動時に、各ＭＣＵの第一冷却剤ループは、供給源から冷やされた冷却剤を受取り、少なくともその一部を液体／液体熱交換器を通して伝達し、第二冷却剤ループは、冷やされたシステム冷却剤を少なくとも一つの発熱電子サブシステムに供給し、液体／液体熱交換器を介して、関連する電子機器ラックの発熱電子サブシステムからの熱を第一冷却剤ループ中の冷やされた冷却剤中に放熱する。さらに、少なくとも二つのＭＣＵは並行して、エア／液体熱交換器にシステム冷却剤を供給し、エア／液体熱交換器から排出されたシステム冷却剤を受取る。しかして、作動時に、少なくとも二つのＭＣＵは並行して、冷やされたシステム冷却剤を、関連する電子機器ラックの少なくとも一つの発熱電子サブシステムに、さらに電子機器ラックを流通するエアの少なくとも一部を冷却するためエア／液体熱交換器に供給する。少なくとも一つのコントローラは、少なくとも二つのＭＣＵの一つのＭＣＵの故障が検知されたのに応答して、残った作動可能な少なくとも一つのＭＣＵから関連する電子機器ラックの少なくとも一つの発熱電子サブシステムへのシステム冷却剤の流れは継続させその液体冷却を続けさせながら、少なくとも一つの遮断バルブを用いて、システム冷却剤がエア／液体熱交換器を通るのを自動的に遮断する。
【０００７】
さらなる態様において、電子機器ラックの冷却を促進する方法を提供する。該方法は、電子機器ラックの少なくとも一つの発熱電子サブシステムを冷却するステップと、少なくとも二つのＭＣＵの一つのＭＣＵの故障をモニタし、少なくとも二つのＭＣＵの一つのＭＣＵの故障が検知されたとき、残った作動可能な少なくとも一つのＭＣＵを経由する少なくとも一つの発熱電子サブシステムへのシステム冷却剤の流れを継続して供給しながら、エア／液体熱交換器を通るシステム冷却剤の流れを自動的に遮断するステップとを含む。該電子機器ラックは、それぞれ外部エアの流入と流出とを可能にするエア取入れ口側面と放出口側面とを含み、該冷却ステップは、電子機器ラックに関連する少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）を用い、これらが並行して、該ラックの少なくとも一つの発熱電子サブシステムにシステム冷却剤を供給するステップと、電子機器ラックを流通するエアの少なくとも一部を冷却するため、電子機器ラックに関連して配置されたエア／液体熱交換器を使用するステップとを含む。少なくとも二つのＭＣＵの各ＭＣＵは、液体／液体熱交換器と第一冷却剤ループと第二冷却剤ループとを含み、作動時に、各ＭＣＵの第一ループは、供給源から冷やされた冷却剤を受取り、少なくともその一部を液体／液体熱交換器を通して伝達し、第二冷却剤ループは、冷やされたシステム冷却剤を、少なくとも一つの発熱電子サブシステムに供給し、液体／液体熱交換器の中で、少なくとも一つの発熱電子サブシステムからの熱を第一冷却剤ループ中の冷やされた冷却剤中に放熱する。エア／液体熱交換器は、少なくとも二つのＭＣＵからシステム冷却剤を受取り、該少なくとも二つのＭＣＵにシステム冷却剤を排出するように連結される。
【０００８】
加えて、本発明の技法を使ってさらなる特質及び利点が実現される。本明細書において、本発明のいろいろな実施形態及び態様を詳細に説明し、これらは本発明請求対象の一部と見なされる。
【０００９】
本発明の対象と見なされる事項は特に指摘され、明細書の冒頭の請求項において明確に請求される。本発明の、前述及び他の目的、特質、及び利点は、添付の図面と併せ以下の詳細な説明から明らかになろう。
【発明を実施するための最良の形態】
【００１０】
本明細書での使用において、「電子機器ラック」、「ラック搭載電子装置（ｒａｃｋ−ｍｏｕｎｔｅｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｑｕｉｐｍｅｎｔ）」、及び「ラック・ユニット」という用語は置き換え可能に使われ、これらには、別段の指定がある場合を除き、例えば、ハイエンド、ミッドレンジ、ローエンドの処理能力を有する単独型コンピュータ・プロセッサなど、熱を発生する一つ以上のコンピュータ・システム部品又は電子機器システム部品を有する、任意のハウジング、フレーム、ラック、コンパートメント、ブレード・サーバ・システムなどが含まれる。一つの実施形態において、電子機器ラックには、その各々が、熱を発生し冷却が必要な一つ以上の部品を有する複数の電子サブシステムを含めることができる。「電子サブシステム」とは、熱を発生する一つ以上の配置部品をその中に有する、任意のサブ・ハウジング、ブレード、ブック、ドロワ、ノード、コンパートメントなどをいう。電子機器ラックの各電子サブシステムは、電子機器ラックに対して可動とすることも固定することもでき、複数ドロワ・ラック・ユニットのラック搭載電子機器ドロワと、ブレード・センタ・システムのブレードとは、冷却対象電子機器ラックのサブシステムの２つの例である。
【００１１】
「電子部品」とは、例えば、冷却を要するコンピュータ・システム又は他の電子機器ユニットの一切の発熱電子部品をいう。例として、電子部品には、一つ以上のプロセッサ・ダイ、メモリ・ダイ、及びメモリ・サポート・ダイを含め、冷却対象となる一つ以上の集積回路ダイ又は他の電子デバイスあるいはその両方を含めることができる。さらなる例として、該電子部品には、共通の担体の上に配置された一つ以上のベア・ダイ又は一つ以上のパッケージ・ダイを含めることができる。本明細書での用語使用において、「一次的発熱部品」とは、電子サブシステム内の主たる発熱電子部品をいい、「二次的発熱部品」とは、一次的発熱部品よりも少ない熱を発生させる、電子サブシステムの冷却対象電子部品をいう。例えば、「一次的発熱ダイ（Ｐｒｉｍａｒｙ ｈｅａｔ ｇｅｎｅｒａｔｉｎｇ ｄｉｅ）」とは、一次的及び二次的発熱ダイを含む発熱電子部品中の、一次的発熱ダイ又はチップをいう（プロセッサ・ダイがその一例である）。「二次的発熱ダイ（Ｓｅｃｏｎｄａｒｙ ｈｅａｔ ｇｅｎｅｒａｔｉｎｇ ｄｉｅ）」とは、複数ダイ電子部品の中で一次的発熱ダイよりも少ない熱を発生させるダイをいう（メモリ・ダイ及びメモリ・サポート・ダイは、冷却対象の二次的発熱ダイの例である）。一つの例として、ある発熱電子部品が、一つの担体上に、複数の一次的発熱ベア・ダイと複数の二次的発熱ダイとを含むことがある。さらに、別段の指定がある場合を除き、用語「液冷冷却プレート」は、その中に形成された液体冷却剤を流通させる複数のチャネル又は流路を有する、任意の従来型の温度伝導性構造をいう。さらに、「金属結合された」とは、一般に本明細書では、２つのコンポーネントが溶接、ロウ付け又は半田付けされていることをいう。
【００１２】
本明細書での用語使用において、「エア／液体熱交換アセンブリ」とは、液体冷却剤が循環でき、本明細書の記述で特徴付けられる任意の熱交換メカニズムをいい、これには、直列又は並列いずれかに連結された一つ以上の個別のエア／液体熱交換器が含まれる。エア／液体熱交換器には、例えば、温度伝導性の管（銅又は他の管など）で形成され、複数の空冷式冷却フィンと温度的又は機械的に接触している一つ以上の冷却剤流路を設けることができる。本明細書に開示する本発明の範囲から逸脱することなく、エア／液体熱交換アセンブリ又はそのエア／液体熱交換器あるいはその両方のサイズ、構成、及び構造を変更することができる。「エア／液体熱交換器」には、例えば、熱的に又は機械的に相互に接触している熱伝導性の管（銅又は他の管など）で形成される２つ以上の冷却剤流路含めることができる。本明細書に開示する本発明の範囲から逸脱することなく、エア／液体熱交換器のサイズ、構成、及び構造を変更することができる。さらに「データ・センタ」とは、冷却対象となる一つ以上の電子機器ラックを収容するコンピュータ施設をいう。具体的な例として、データ・センタには、サーバ・ユニットなどラック搭載の計算ユニットの一つ以上の列を収容することができる。
【００１３】
施設冷却剤及びシステム冷却剤の一つの例は水である。但し、本明細書に開示する概念は、施設側又はシステム側あるいはその両方への、他の種類の冷却剤の使用に容易に適応する。例えば、一つ以上の冷却剤には、塩水、フルオロカーボン液、液状金属、又は他の類似の冷却剤又は冷媒を含めることができ、これらによっても、本発明の利点及び独自の特質は維持される。
【００１４】
以下に図面を参照するが、これらは、理解向上のため一定縮尺では描かれておらず、各種の図全体を通して同一の参照番号は、同一又は類似の構成要素を指す。
【００１５】
図１に示されるように、従来技術では典型的な、エア冷却式コンピュータ施設１００の上げ床レイアウトには、複数の電子機器ラック１１０が一つ以上の列となって配置されている。図１に示すようなコンピュータ施設は、数百あるいは数千ものマイクロプロセッサを収容することができる。図１の構成において、冷やされたエアが、部屋の上げ床１４０とベースないしサブ床１６５との間に区画されたエア供給プレナム１４５から床面通気口を経てコンピュータ室に流入する。冷えたエアは、電子機器ラックのエア取入れ側面１２０のよろい窓カバーを通して取入れられ、電子機器ラックの背面（すなわち、エア放出口側面１３０）を通って放出される。各電子機器ラック１１０には、取入れ口から放出口への強制エア流を起こしラックのドロワ内の電子部品を冷却するための送風装置（例、ファン又はブロワ）を備えることができる。エア供給プレナム１４５は、データ・センタ内の「冷い」エア通路に配置された有孔床タイル１６０を通して、電子機器ラックのエア取入れ口側に冷却調節されたエアを供給する。冷却調節されたエアは、同様にコンピュータ施設１００に設置された一つ以上の空調ユニット１５０によってもプレナム１４５に供給される。部屋のエアは、部屋の上部近辺で各空調ユニット１５０に取入れられる。この室内エアの一部には、電子機器ラック１１０のエア放出口側面１３０が向かい合って区画する、データ・センタ内の「熱い」エア通路から排出されるエアが含まれる。
【００１６】
電子機器ラックを通すエア流量に対する増え続ける要求と、通常のコンピュータ室施設内でのエア配流上の制限とに起因して、室内で戻り循環問題が生じる可能性がある。この上げ床レイアウトの問題が図２に示されており、電子機器ラックのエア放出口側面１３０から、電子機器ラック群の取入れ口側面１２０が向かい合って区画する冷気エア通路へ戻る熱気エアの戻り循環２００が生じている。タイル１６０を通って供給される調節エアは、電子機器ラック中の送風装置によって各ラックを通る強制エアの合計流量のごく一部に過ぎないので、こうした戻り循環が生ずる可能性がある。こういったことは、例えば、タイルのサイズ（又は拡散器の流量）の限界から起こりえる。取入れ口側面へのエア供給の残りの部分は、多くの場合、戻り循環路２００を通る周辺の室内エアから成る。この戻り循環の流れは、多くの場合、事実上非常に複雑で、おそらく予期されるよりも相当に高い、ラック・ユニットへの流入温度をもたらすことがある。
【００１７】
コンピュータ室施設の熱気エア通路から冷気エア通路への熱い排出エアの戻り循環は、ラック内のコンピュータ・システム又は電子機器システムの性能及び信頼性に弊害をもたらす可能性がある。データ・センタの装置は、通常、ラックへの取入れエアの温度が１８〜３５℃の範囲で動作するように設計されている。しかしながら、図１に示したような上げ床レイアウトの場合、冷気エアの流入する床通気孔に近いラックの低部分では、温度は１５〜２０℃に分布し、熱いエアが自続的な戻り循環ループを形成する可能性のある電子機器ラックの上部では４５〜５０℃にもなることがある。許容可能なラックの熱負荷は、この「熱い」部分のラックへの取入れエア温度により制限されるので、こういった温度分布は処理能力の低下につながる。また、コンピュータ施設の装置類は、ほとんどの場合、顧客にとって高価な設備投資を意味する。しかして、製品の信頼性及びパフォーマンスの観点、及び顧客満足と事業展望との観点から、取入れエアの均一な温度を維持することは非常に重要である。本明細書に開示する装置及び方法によって、こういったコンピュータ・システム及び電子機器システムの効率的な冷却と、エア流の戻り循環に起因する、一つ以上のラック・ユニットへの局所的な熱いエア取入れ温度の改善とを実現する。
【００１８】
図３は、本発明のある態様による、被冷却電子機器システムの一つの実施形態を図示しその全体を参照番号３００で示す。この実施形態において、電子機器システム３００は、取入れ口扉３２０及び放出口扉３３０を有する電子機器ラック３１０を含み、両扉は、外部エアが電子機器ラック３１０のエア取入れ口側面からエア放出口側面に流入、流出するのを可能にする開口を有する。該システムは、電子機器ラック内に配置された少なくとも一つの電子機器ドロワ・ユニット３１４を横切って外部エアを流すための、少なくとも一つの送風装置３１２をさらに含む。放出口扉カバー３３０内に、熱交換アセンブリ３４０が配置される。熱交換アセンブリ３４０は、電子機器ラックを通る取入れ口から放出口へのエア流が通り抜けるエア／液体熱交換器を含む。コンピュータ室の水調装置（ＣＲＷＣ）３５０が使われ、ＣＲＷＣ３５０へのインプットとして供給されるビルディングのユーテリティの又は局所的な冷却用剤３６０と、熱交換アセンブリ３４０とを媒介する。ＣＲＷＣ３５０は、システム水又はシステム冷却剤を熱交換アセンブリ３４０に供給する。熱交換アセンブリ３４０は、電子機器ラックを通って取入れ口から放出口に排出されるエア流から熱を除去し、システム水又は冷却剤を介してＣＲＷＣ３５０にその熱を伝達する。有利には、コンピュータ施設中の一つ以上の電子機器ラックの放出口扉カバーに搭載された、本明細書で開示するようなエア／液体熱交換器を有する熱交換アセンブリを備えることによって、既存の空調ユニットにかかる熱負荷を大きく低減し、ラック搭載の電子機器ユニットの冷却を促進することができる。
【００１９】
図４は、液冷式電子機器ラック４００の一つの実施形態を示し、該ラックは、本明細書に記載のシステム及び方法を活用してモニタされ作動される冷却システムを用いている。一つの実施形態において、液冷式電子機器ラック４００は、複数の電子サブシステム４１０を含み、これらはプロセッサ又はサーバ・ノードである。大容量レギュレータ４２０が、液冷式電子機器ラック４００の上側部分に配置されており、２つのモジュール式冷却ユニット（ＭＣＵ）４３０が該液冷式電子機器ラックの下側部分に配置されているのが示されている。本明細書に記載する実施形態では、冷却剤は水又は水ベースの溶液であると仮定されているが、前記同様これは単なる例である。
【００２０】
ＭＣＵ４３０に加え、該冷却システムは、システム水供給マニホルド４３１と、システム水回収マニホルド４３２と、システム水供給マニホルド４３１を電子サブシステム４１０に連結するマニホルド／ノード間流体接続ホース４３３と、個々の電子サブシステム４１０をシステム水回収マニホルド４３２に連結するノード／マニホルド間流体ホース接続４３４とを含む。各ＭＣＵ４３０は、それぞれのシステム水供給ホース４３５を介してシステム水供給マニホルド４３１と流体連通しており、各ＭＣＵ４３０は、それぞれのシステム水回収ホース４３６を介してシステム水回収マニホルド４３２と流体連通している。
【００２１】
図示されるように、電子機器ラックの熱負荷は、システム水から、施設水供給ライン４４０を通して供給される冷却施設水に伝達され、図示された実施形態では、施設水回収ライン４４１が、上げ床１４５とベース床１６５との間のスペースに配置されている。
【００２２】
図５は図４の冷却システムのオペレーションを系統的に示しており、水冷冷却プレート５００が、水冷式電子機器ラック４００内の電子サブシステム４１０の電子部品モジュール５０１に連結されているのが示されている。熱は、電子部品モジュール５０１から、システム冷却剤のループ内の冷却プレート５００を通り、ポンプ５２０によって循環されるシステム冷却剤を介して除去され、該冷却剤ループは、モジュール式冷却ユニット４３０の液体／液体熱交換器５２１と、ライン５２２、５２３と、冷却プレート５００とで構成される。システム冷却剤ループ及びモジュール式水冷ユニットは、制御された温度及び圧力、並びに制御された化学成分及び清浄さを有する冷却剤を電子部品モジュールに供給するよう設計されている。さらに、システム冷却剤は、ライン４４０，４４１中の、最終的な熱伝達を引き受ける、制御レベルのより低い施設冷却剤とは物理的に分離される。
【００２３】
図６は、本発明のある態様による、モジュール式水冷ユニット４３０のさらに詳細な実施形態を示す。図６に示されるように、モジュール式水冷ユニット４３０は、第一冷却ループを含み、該ループには、ビルディング冷却の施設冷却剤が供給６１０され、モータ６２５に駆動されて制御バルブ６２０を通過する。バルブ６２０は、熱交換器５２１を流通する施設冷却剤の量を設定し、施設冷却剤の一部は、バイパス開口６３５を経由して直接戻ることができる。モジュール式水冷ユニットは、貯蔵タンク６４０を備えた第二冷却ループをさらに含み、冷却対象の電子機器ラックへの冷やされたシステム冷却剤として、ポンプ６５０又はポンプ６５１いずれかによって、該タンクから熱交換器５２１の中に、システム冷却剤が、その温度調節とアウトプットのためポンプ送流される。冷やされたシステム冷却剤は、システム水供給ホース４３５とシステム水回収ホース４３６とを介して、システム水供給マニホルドとシステム水回収マニホルドとに供給される。
【００２４】
図７は、電子サブシステム４１０の部品レイアウトの一つの実施形態を示し、一つ以上の送風装置７１１が、電子サブシステム４１０内の複数の部品７１２を冷却するための強制エア流７１５を供給している。冷却エアは、ドロワの最前部７３１を通して取入れられ、最後部７３３から排出される。冷却対象の複数部品には、（液体ベース冷却システムの）液冷冷却プレート７２０が連結された複数のプロセッサ・モジュールと、空冷ヒートシンクが連結された、メモリ・モジュール７３０（例、デュアル・インライン・メモリ・モジュール（ＤＩＭＭ））の複数のアレイ、及びメモリ・サポート・モジュール７３２（例、ＤＩＭＭ制御モジュール）の複数の列とが含まれる。図示された実施形態において、メモリ・モジュール７３０及びメモリ・サポート・モジュール７３２は、その一部が電子サブシステム４１０の最前部７３１に近く配置され、一部は電子サブシステム４１０の最後部７３３近くに配置されている。また、図７の実施形態では、メモリ・モジュール７３０及びメモリ・サポート・モジュール７３２は、該電子サブシステムを横切るエア流７１５によって冷却される。
【００２５】
図示された液体ベースの冷却システムは、液冷冷却プレート７２０に結合されこれと流体連通している複数の冷却剤搬送管をさらに含む。該冷却剤搬送管は冷却剤搬送管の組を含み、各組は、（例えば）冷却剤供給管７４０、ブリッジ管７４１、冷却剤回収管７４２を含む。この例では、各組の管は、（プロセッサ・モジュールのペアに連結された）冷却プレート７２０の直列結合ペアに液体冷却剤を供給している。冷却剤は、冷却剤供給管７４０を経由して第一冷却プレートの各ペアに流入し、ブリッジ管ないしライン７４１を通って第一冷却プレートから第二冷却プレートのペアに流れ、該ラインは温度伝導性とすることも、しないこともできる。冷却剤は、それぞれの冷却剤回収管７４２を経由して、第二冷却プレートのペアから回収される。
【００２６】
図８は、８つのプロセッサ・モジュールを含む、別の電子機器ドロワのレイアウトをさらに詳細に示しており、各モジュールは、それに連結されたそれぞれの、液体ベース冷却システムの液冷冷却プレートを有する。液冷冷却プレートとヘッダ・アセンブリとを通る液体冷却剤の通過を円滑化するための関連冷却剤搬送管をさらに含む、液体ベースの冷却システムが示されており、該搬送管は、液冷冷却プレートへの液体冷却剤の分配と該プレートからの液体冷却剤の回収を円滑にする。一つの具体例として、液体ベースの冷却システムを流通する液体冷却剤は、冷された水である。
【００２７】
前記のように、各種の液体冷却剤は、電子機器システムの発熱電子部品から熱を除去する作業において、エアよりパフォーマンスが優れており、しかして、より効率的に部品を所望の温度に維持し信頼性と最高パフォーマンスを向上させる。液体ベースの冷却システムを設計し展開するにあたって、所与の電子機器システムの実装に対する他の全ての機械的、電気的、化学的要求事項を満たしながら、信頼性を最大化し液漏れの可能性を最小化するシステムを設計することは有益である。これらのより堅固な冷却システムは、その組立て及び実装の面で固有の問題を有する。例えば、組立て方法の一つに、電子機器システム内に多くの接続金具を用い、ヘッダ、冷却プレート、ポンプ及び他の部品をつなぐのに柔軟なプラスチック又はゴムの配管を使うことがある。しかしながら、こういったやり方は、所与の顧客仕様及び必要な信頼性を満たせないことがある。
【００２８】
しかして、本明細書の一つの態様において、特定の電子機器ドロワ内に配置するためのモノリシックな構造として特別に事前構成され、事前加工された、堅固で信頼性のある液体ベース冷却システムを提示する。
【００２９】
図８は、本発明の態様による、電子機器システムとモノリシックな冷却システムとによる一つの実施形態の等角図である。図示された平面サーバ・アセンブリは、冷却対象となるメモリＤＩＭＭソケット及び各種の電子部品が電気的且つ機械的に接続された多層プリント回路基板を含む。図示の冷却システムにおいて、単一の取入れ口から並列になった複数の冷却剤流路に冷却剤を分配するための供給ヘッダが備えられ、回収ヘッダが、複数の冷却剤流路から排出される冷却剤を単一の放出口に回収する。各並列冷却剤流路は、流れに対し直列路に配置された一つ以上の冷却プレートを含み、該冷却プレートが機械的且つ温度的に連結された一つ以上の電子部品を冷却する。並列流路の本数、及び直列接続される液冷冷却プレートの数は、例えば、所望の部品温度、利用できる冷却剤温度及び冷却剤流量、及び各電子部品から放散される熱負荷合計の如何による。
【００３０】
さらに具体的には、図８は、部分的に組立てられた電子機器システム８１３と、冷却対象の一次的発熱部品（例えばプロセッサ・ダイを含む）に連結された、組立て済みの液体ベースの冷却システム８１５とを示す。この実施形態において、電子機器システムは電子機器ラックの電子機器ドロワ用に（又はドロワとして）構成され、該システムは、例えば、支持基材又は平面基板８０５と、（図示されていないメモリ・モジュール（例、デュアル・インライン・メモリ・モジュール）と併せて）複数のメモリ・モジュール・ソケット８１０と、メモリ・サポート・モジュール８３２（各々がそれに連結された空冷ヒートシンク８３４を有する）の複数の列と、液体ベースの冷却システム８１５の液冷冷却プレート８２０の下に配置された複数のプロセッサ・モジュール（図示せず）とを含む。
【００３１】
冷却プレート８２０に加え、液体ベースの冷却システム８１５は、それぞれの冷却プレート８２０と流体連結している冷却剤供給管８４０及び冷却剤回収管８４２を含む、複数の冷却剤搬送管を包含する。さらに、冷却剤搬送管８４０、８４２は、冷却剤供給管への冷却剤の分配と、冷却剤回収管８４２からの冷却剤の回収を円滑化するヘッダ（又はマニホルド）アセンブリ８５０にもつながれている。この実施形態では、電子機器ドロワ８１３の最前部８３１により近いメモリ・サポート・モジュール８３２に連結された空冷ヒートシンク８３４は、電子機器ドロワ８１３の最後部８３３近くのメモリ・サポート・モジュール８３２に連結された空冷ヒートシンク８３４’よりも背が低くなっている。このサイズの違いは、冷却剤搬送管８４０、８４２を収容するためである。というのは、この実施形態では、ヘッダ・アセンブリ８５０が電子機器ドロワの最前部８３１にあり、複数の液冷冷却プレート８２０はドロワの中間部にあるからである。
【００３２】
液体ベースの冷却システム８１５は、それぞれの発熱電子部品に係合するようにスペース取りをして構成配置された、複数の（事前加工された）液冷冷却プレート８２０を含む事前構成されたモノリシック構造体を含む。この実施形態では、各液冷冷却プレート８２０は、液体冷却剤取入れ口及び放出口と、取り付けサブアセンブリ（すなわち冷却プレート／装着アーム・アセンブリ）とを含む。各取付けサブアセンブリは、それぞれの液冷冷却プレート８２０を関連する電子部品に連結して、冷却プレートと電子部品とのアセンブリを形成するため用いられる。前記組み込みの特許出願、名称「Ｍｅｔｈｏｄ ｏｆ Ａｓｓｅｍｂｌｉｎｇ ａ Ｃｏｏｌｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ ａ Ｍｕｌｔｉ−Ｃｏｍｐｏｎｅｎｔ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｙｓｔｅｍ（複数部品電子機器システムに対する冷却システム組立ての方法）」にさらに記載されているように、整列用開口（すなわち、スルーホール）が冷却プレートの両側に設けられ、アセンブリの工程において整列ピンないし位置決めくぎを受ける。加えて、取り付けアセンブリ内にはコネクタ（ないしガイド・ピン）が含まれ、取り付けアセンブリの使用を容易にする。
【００３３】
図８に示されるように、ヘッダ・アセンブリ８５０は、２つの液体マニホルドすなわち冷却剤供給ヘッダ８５２と冷却剤回収ヘッダ８５４とを含み、一つの実施形態では、両者は支持ブラケットによって連結される。図８のモノリシック冷却構造において、冷却剤供給ヘッダ８５２は、各々の冷却剤供給管８４０に金属結合され流体連通し、冷却剤回収ヘッダ８５４は、各々の冷却剤回収管８４２に金属結合され流体連通している。単一の冷却剤取入れ口８５１及び単一の冷却剤放出口８５３は、ヘッダ・アセンブリから延び、電子機器ラックの冷却剤供給及び回収マニホルド（図示せず）に連結している。
【００３４】
さらに、図８は、事前構成された冷却剤搬送管の一つの実施形態をも示す。冷却剤供給管８４０及び冷却剤回収管８４２に加え、ブリッジ管ないしライン８４１が設けられ、例えば、一つの冷却プレートの冷却剤放出口を別の冷却プレートの取入れ口に連結し、流体を両冷却プレートに直列に流し、これら冷却プレートのペアが、それぞれ、冷却剤供給及び回収管の組を介して液体冷却剤を受取り、返送する。一つの実施形態において、冷却剤供給管８４０、ブリッジ管８４１、及び冷却剤回収管８４２は、各々、事前構成され、銅又はアルミニウムなどの温度伝導性の材料で形成された半剛体管であり、これらの管は、それぞれ、ヘッダ・アセンブリ又は冷却プレートあるいはその両方に、流体的に密封してロウ付け、半田付け、又は溶接される。これらの管は、特定の電子機器システムに対して事前構成され、該電子機器システムに係合するよう関係付けられて、そのモノリシックな構造体の据付を容易にする。
【００３５】
電子機器ラック内の発熱電子部品の液体冷却によって、これら部品が発生させる熱の除去を大きく促進することができる。しかしながら、特定の高いパフォーマンスのシステムでは、プロセッサなどの冷却される特定の部品が放散する熱が、液体冷却システムの熱を吸い出す能力を超えることがある。例えば、全構成された、前記で説明したような液冷式電子機器ラックは、約７２ｋＷもの熱を放散することがある。この熱の半分は、前記のような液冷冷却プレートを使い、液体冷却剤によって除去することができよう。熱の他の半分は、メモリ、電源などにより放散されることになろうが、これらはエア冷却される。電子機器ラックがデータ・センタにおかれる密度によっては、既存の空調施設は、電子機器ラックからのこういった高いエア熱負荷によるストレスを受ける。そこで、本明細書が提示する解決策は、エア／液体熱交換器を、例えば電子機器ラックのエア放出口側面に組込み、電子機器ラックから流出するエアから熱を吸収する方法である。本明細書において、この解決策は、電子機器ラック内の特定の一次的発熱部品に対する液冷冷却プレートと組合わせて提供される。必要な冷却剤の量を供給するために、２つのＭＣＵが電子機器ラックと関連付けられ、システム冷却剤は、各ＭＣＵから、電子機器ラックの一つ以上の電子サブシステム内に配置された液冷冷却プレートへのシステム冷却剤の流れへの供給と同時に、エア／液体熱交換器にも供給される。なお、所望により、個々の液冷冷却プレートへのシステム冷却剤の流れは、直列／並列配置の数多くのやり方のいずれとすることもできる。
【００３６】
また、高いシステム稼働率のため、電子機器ラックの一つのモジュール式冷却ユニットの故障に関わらず、他方のモジュール式冷却ユニットのオペレーションを維持するための技法を以下に説明する。これは、液体冷却されているラックの一つ以上の電子サブシステムシステムへの冷却剤供給の継続を可能にする。電子機器ラック内の一次的発熱電子部品の液体冷却を促進するために、一つ以上の遮断バルブを用い、（２つのＭＣＵの一つのＭＣＵの故障が検知されたとき）エア／液体熱交換器への冷却剤の流れを遮断し、これにより、電子サブシステムの直接冷却のための冷却剤を保存する。
【００３７】
前記に要約した本発明の態様を図９〜１３のシステム及び方法の実施形態を参照しながら、以下にさらに説明する。
【００３８】
図９は、あるシステムの一つの実施形態を示しており、電子機器ラック９００は複数の発熱電子サブシステム９１０を含み、これらサブシステムは、それぞれＭＣＵ１及びＭＣＵ２と標識された少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）９２０、９３０を含む冷却システムを用いて液体冷却される。これらＭＣＵは、複数の発熱電子サブシステムに、それらの液体冷却を促進するため、並行してシステム冷却剤を供給するよう構成され連結される。各ＭＣＵ９２０、９３０は、それぞれ、液体／液体熱交換器９２１、９３１と、第一冷却剤ループ９２２、９３２と、第二冷却剤ループ９２３、９３３とを含む。第一冷却剤ループ９２２、９３２は、（例えば）施設水供給ライン４４０及び施設水回収ライン４４１を経由して、施設冷却剤などの冷やされた冷却剤を受取るように連結される。各第一冷却剤ループ９２２、９３２は、これらに流入する冷やされた冷却剤の少なくとも一部を、それぞれの液体／液体熱交換器９２１、９３１に流通させる。各第二ループ９２３、９３３は、冷やされたシステム冷却剤を電子機器ラック９００の複数の発熱電子サブシステム９１０に供給し、それぞれの液体／液体熱交換器９２１，９３１を介して、複数の発熱電子サブシステム９１０からの熱を、第一冷却剤ループ９２２、９３２の冷やされた冷却剤に放熱する。
【００３９】
第二冷却剤ループ９２３、９３３は、それぞれの冷却剤供給ライン９２４、９３４を含み、該ラインは、冷やされたシステム冷却剤を、液体／液体熱交換器９２１、９３１からシステム冷却剤供給マニホルド９４０に供給する。システム冷却剤供給マニホルド９４０は、柔軟な供給ホース９４１を介して、電子機器ラック９００の複数の発熱電子サブシステム９１０に（例えば、システム冷却剤供給マニホルドのそれぞれのポートに接続されたクイック・コネクト・カップリングを使って）連結される。同様に、第二冷却剤ループ９２３、９３３は、システム冷却剤回収マニホルド９５０をそれぞれの液体／液体熱交換器９２１、９３１に連結するシステム冷却剤回収ライン９２５、９３５を含む。システム冷却剤は、複数の発熱電子部品９１０から、発熱電子サブシステムをシステム冷却剤回収マニホルド９５０に連結している柔軟な回収ホース９５１を経由して排出される。一つの実施形態において、回収ホースは、クイック・コネクト・カップリングを用いてシステム冷却剤回収マニホルドのれぞれのポートに連結することができる。さらに、一つの実施形態において、複数の発熱電子サブシステムは、各々、柔軟な供給ホース９４１と柔軟な回収ホース９５１とに連結された、図７及び８に関連して前記で説明したような、それぞれの液体ベース冷却サブシステムを含み、これらは電子機器システム内に配置された一つ以上の発熱電子部品の液体冷却を促進する。
【００４０】
電子機器ラックの複数の発熱電子サブシステムにシステム冷却剤を並行して供給、排出するのに加え、ＭＣＵ９２０と９３０とは並行して、例えば、電子機器ラック９００のエア取入れ口側面からエア放出口側面に該ラックを流通するエアを冷却するために配置された、エア／液体熱交換器９６０にもシステム冷却剤を供給する。例として、エア／液体熱交換器９６０は、電子機器ラック９００もエア放出口側面に配置された背面扉熱交換器である。さらに、一つの例において、エア／液体熱交換器９６０は、電子機器ラック９００から流出するほぼ全てのエアを冷却するようなサイズに設定され、これにより、該電子機器ラックを収容するデータ・センタに対する空調に対する要求を軽減する。一つの例において、データ・センタ内の複数の電子機器ラックは、各々、本明細書で説明し、図９に示すような冷却システムを備える。
【００４１】
図９の実施形態において、システム冷却剤は、システム冷却剤供給マニホルド９４０をエア／液体熱交換器９６０に連結する冷却剤供給ライン９６１と、該エア／液体熱交換器をシステム冷却剤回収マニホルド９５０に連結する冷却剤回収ライン９６２とを経由して、エア／液体熱交換器９６０に流入しこれから流出する。クイック・コネクト・カップリングを、エア／液体熱交換器９６０の取入れ口及び放出口に、又はシステム冷却剤供給及び回収マニホルドの対応するポートに、あるいはその両方に用いて、冷却剤供給及び回収ライン９６１、９６２の接続を容易にすることができる。一つの実施形態において、図示された２つのＭＣＵの１つのＭＣＵを、必要な設計パラメータ範囲内で、複数の発熱電子サブシステムとエア／液体熱交換器との両方からの全熱負荷を吸収するための一次ＭＣＵ（他方のＭＣＵはバックアップＭＣＵ）として機能するようにサイズ設定はできないと仮定される。従って、２つのＭＣＵ９２０、９３０は、通常のオペレーションでは並行して機能することが前提とされる。また、こうすることにより、冷却システムに対する冗長性が確実になる。
【００４２】
図示されるように、該冷却システムは、システム・コントローラ９７０と、ＭＣＵ制御器１（９８０）及びＭＣＵ制御器２（９９０）とをさらに含み、これらは、一緒に協働して、各ＭＣＵのシステム冷却剤の温度をモニタし、一つのＭＣＵの故障を検知したとき、自動的に故障したＭＣＵを（その作動停止を確実にすると同時に）エア／液体熱交換器９６０から分離し、残った作動可能なＭＣＵを使って、ラックの電子機器システムに供給されるシステム冷却剤の冷却能力が低下しないようにする。一つの実施形態において、ＭＣＵ制御器１及びＭＣＵ制御器２は、各々、それぞれのＭＣＵに関連付けられたコントロール・カードである。
【００４３】
図示されるように、システム・コントローラ９７０は、ＭＣＵ制御器１とＭＣＵ制御器２との両方に連結される。ＭＣＵ制御器１（９８０）は温度センサＴ１９８１と連結されており、該センサはシステム冷却剤供給ライン９２４中の、例えば、ＭＣＵ１（９２０）内の液体／液体熱交換器９２１の冷却剤放出口近辺のシステム冷却剤の温度を感知するよう配置される。さらに、ＭＣＵ制御器１（９８０）は、ソレノイド作動の遮断バルブ９８２に連結されており、該バルブは、図示された実施形態では、システム冷却剤供給マニホルド９４０をエア／液体熱交換器９６０に、流体連通して連結させている冷却剤供給ライン９６１の中に配置される。同様に、ＭＣＵ制御器２（９９０）は、ＭＣＵ２（９３０）と、システム冷却剤供給ライン９３４内のシステム冷却剤の温度を感知するよう配置された第二温度センサＴ２９９１と、第二遮断バルブＳ２９９２とに連結しており、該遮断バルブは、図示の例では、エア／液体熱交換器９６０を冷却剤回収マニホルド９５０に連結している冷却剤回収ライン９６２に連結されている。
【００４４】
図１０〜１３は、システム・コントローラ９７０、ＭＣＵ制御器１（９８０）、及びＭＣＵ制御器２（９９０）により実行される処理手順を示す。表１には、図１０〜１３の例示フローチャートで使われる変数と、冷却システムが正常に作動している際に、各変数が取り得る値及び初期状態を記載する。
【００４５】
【表１】
【００４６】
図１０〜１３においては、数字「１」又は「２」を使って変数がさら番号付けされ、第一又は第二温度センサ、第一又は第二ＭＣＵ、あるいは第一又は第二遮断バルブのいずれに該変数が適用されるかを示す。
【００４７】
以下の説明では、システム・コントローラ９７０（図９）、ＭＣＵ制御器１カード９８０、及びＭＣＵ制御器２カード９９０内で行われる処理手順を参照しながら記述するが、当業者は、本明細書で説明する処理手順は、各温度センサ、遮断バルブ、及びＭＣＵに連結された単一のコントローラでも容易に実行できることを理解するであろう。例示した実施形態において、図１０及び１２は、システム・コントローラ９７０内で実行される処理手順を示し、図１１はＭＣＵ制御器１（９８０）の処理手順、図１３はＭＣＵ制御器２（９９０）の処理手順を表す（これらは例示目的だけのものである）。
【００４８】
図１０から始めると、システム・コントローラは、ＭＣＵ制御器１からの入力として、ＭＣＵ１からのシステム冷却剤のアウトプットが、規定内（すなわち、規定された範囲内）にあるかどうかを示す、変数ＴＳ１を受信する１０００。システム・コントローラは、まず、ＭＣＵ１が作動しているかどうか（すなわち、変数ＳＴ１＝１かどうか）を判定する１００５。「ＮＯ」の場合、処理手順はＭＣＵ制御器１に戻り１０３０、システム・コントローラは、現在のＳＴ１及びＳＶ１の値をＭＣＵ制御器１に送り返す。
【００４９】
ＭＣＵ１が作動していれば、システム・コントローラは、温度センサＴ１によって感知された温度が、規定内にあるかどうか（すなわち、ＴＳ１＝１がどうか）を判定する１０１０。「ＹＥＳ」の場合、処理手順はＭＣＵ制御器１に戻る１０３０。温度センサＴ１によって感知されたシステム冷却剤の温度が規定外れである場合、システム・コントローラは、ＭＣＵ２が作動停止されているか（すなわち、ＳＴ２＝０か？）どうかを判定する１０１５。「ＮＯ」の場合、変数ＳＴ１がゼロに設定されてＭＣＵ１が作動停止さるべきことが指定され１０２０、変数ＳＶ１がゼロに設定されて遮断バルブＳ１の閉鎖が命令される１０２５。これらの新しい値はＭＣＵ制御器１に戻され１０３０、新規設定値として以下に説明するように機能する。
【００５０】
ＭＣＵ２が作動停止されていれば、処理手順は、遮断バルブＳ１が閉鎖されているかどうか（ＦＶ１＝１？）を判定する１０３５。「ＮＯ」の場合、変数ＳＶ１がゼロに設定されて遮断バルブを閉鎖する命令が出され１０４０、しかる後、処理手順は、該新規ＳＶ１と共にＭＣＵ制御器１に戻り、遮断バルブＳ１の閉鎖が行われる。遮断バルブＳ１が閉鎖されている場合、システム・コントローラは、変数ＳＴ１をゼロに設定してＭＣＵ１の作動を停止させ１０４５、関連する電子機器ラックに対する冷却システムが作動停止されていることを示すアラームを（例えば、データ・センタのオペレータに向け）発信し、しかる後、処理手順はＭＣＵ制御器１に戻り、ＭＣＵ１の作動停止が行われる。
【００５１】
前記のように、図１１は、ＭＣＵ制御器１（９８０）（図９）によって実行される処理手順の一つの実施形態を示す。ＭＣＵ制御器１は、システム・コントローラからの入力として変数ＳＴ１及びＳＶ１を受信し１１００、まず、ＭＣＵ１が作動停止されているかどうか（ＦＳ１＝１？）を判定する１１０５。「ＹＥＳ」の場合、処理手順はシステム・コントローラに戻る１１４５。「ＮＯ」の場合、処理手順は、ＭＣＵ１を作動停止にするかどうか（ＳＴ１＝０？）を判定する１１１０。「ＹＥＳ」の場合、ＭＣＵ制御器１は、ＭＣＵ１を作動停止させ１１１５、変数ＦＳ１を１に設定し１１２０てＭＣＵ１が作動停止されていることを表示し、しかる後、処理手順はシステム・コントローラに戻る１１４５。
【００５２】
ＭＣＵ１の作動を停止しない場合、処理手順は、遮断バルブＳ１が閉鎖されているかどうか（ＦＶ１＝０？）を判定する１１２５。「ＹＥＳ」の場合、処理手順は、ｔ時間待った後に１１３０、温度センサＴ１を読み取る１１３５。例として、時間ｔは、作動では１５〜３０秒位にできようか。次いで、処理手順は、温度センサＴ１の値が規定内にあるか（例えば、Ｔ１は所定の許容下限値（ＬＬ）より高く、且つ、所定の許容上限値（ＵＬ）より低いか？）どうかを判定する１１４０。「ＮＯ」の場合、変数ＴＳ１はゼロに設定されてシステム冷却剤の温度が規定外れであることが表示され１１５０、処理手順はシステム・コントローラに戻る１１４５。ステップ１１２５で、遮断バルブＳ１が閉鎖されていないと判定された場合、処理手順は、遮断バルブＳ１を閉鎖するかどうかを判定する１１５５。「ＮＯ」の場合、処理手順は、ｔ時間待った後前記同様に進む。「ＹＥＳ」の場合、ＭＣＵ制御器１は、遮断バルブＳ１を閉鎖し１１６０、変数ＦＶ１を１に設定し１１６５、処理制御をシステム・コントローラに戻す１１４５。
【００５３】
前記のように、図１２は、ＭＣＵ制御器２に関する、システム・コントローラの処理手順を示す。前記で図１０に関連して説明したように、システム・コントローラは、ＭＣＵ制御器２から入力として、第二システム冷却剤温度が規定内（すなわち、規定範囲内）にあるかどうかを表示する変数ＴＳ２を受信する１２００。システム・コントローラは、まず、ＭＣＵ２が作動しているかどうか（すなわち、変数ＳＴ２＝１かどうか）を判定する１２０５。「ＮＯ」の場合、処理手順はＭＣＵ制御器２に戻り１２３０、システム・コントローラは、現在のＳＴ２及びＳＶ２の値をＭＣＵ制御器２に送り返す。
【００５４】
ＭＣＵ２が作動していれば、システム・コントローラは、温度センサＴ２によって感知された温度が、規定内にある（ＴＳ２＝１）かどうかを判定する１２１０。「ＹＥＳ」の場合、処理手順はＭＣＵ制御器１に戻る１２３０。温度センサＴ２によって感知されたシステム冷却剤の温度が規定外れである場合、システム・コントローラは、ＭＣＵ１が作動停止されているか（すなわち、ＳＴ１＝０か？）どうかを判定する１２１５。「ＮＯ」の場合、変数ＳＴ２がゼロに設定されて、ＭＣＵ２が作動停止さるべきことが表示され１２２０、変数ＳＶ２がゼロの設定されて、遮断バルブＳ２の閉鎖が命令される１２２５。これらの新しい値はＭＣＵ制御器２に戻され１２３０、新規設定値として以下に説明するように機能する。
【００５５】
ＭＣＵ１が作動停止されていれば、処理手順は、遮断バルブＳ２が閉鎖されているかどうか（ＦＶ２＝１？）を判定する１２３５。「ＮＯ」の場合、変数ＳＶ２がゼロに設定されて遮断バルブを閉鎖する命令が出され１２４０、しかる後、処理手順は、該新規ＳＶ２と共にＭＣＵ制御器２に戻り、遮断バルブＳ２の閉鎖が行われる。遮断バルブＳ２が閉鎖されている場合、システム・コントローラは、変数ＳＴ２をゼロに設定してＭＣＵ２の作動を停止させ１２４５、関連する電子機器ラックに対する冷却システムが作動停止されていることを示すアラームを（例えば、データ・センタのオペレータに向け）発信し、しかる後、処理手順はＭＣＵ制御器２に戻り、ＭＣＵ２の作動停止が行われる。
【００５６】
図１３は、ＭＣＵ制御器２によって実行される処理手順の一つの実施形態を示す。ＭＣＵ制御器２は、システム・コントローラからの入力として変数ＳＴ２及びＳＶ２を受信し１３００、まず、ＭＣＵ２が作動停止されているかどうか（ＦＳ２＝１？）を判定する。「ＹＥＳ」の場合、処理手順はシステム・コントローラに戻る１３４５。「ＮＯ」の場合、処理手順は、ＭＣＵ２を作動停止にするかどうか（ＳＴ２＝０？）を判定する１３１０。「ＹＥＳ」の場合、ＭＣＵ制御器２は、ＭＣＵ２を作動停止させ１３１５、変数ＦＳ２を１に設定し１３２０してＭＣＵ２が作動停止されていることを表示し、しかる後、処理手順はシステム・コントローラに戻る１３４５。
【００５７】
ＭＣＵ２の作動を停止しない場合、処理手順は、遮断バルブＳ２が閉鎖されているかどうか（ＦＶ２＝０？）を判定する１３２５。「ＹＥＳ」の場合、処理手順は、ｔ時間待った後に１３３０、温度センサＴ２を読み取る１３３５。例として、時間ｔは、作動では１５〜３０秒位にできようか。次いで、処理手順は、温度センサＴ２の値が規定内にあるか（例えば、Ｔ２は所定の許容下限値（ＬＬ）より高く、且つ、所定の許容上限値（ＵＬ）より低いか？）どうかを判定する１３４０。「ＮＯ」の場合、変数ＴＳ２はゼロに設定されてシステム冷却剤の温度が規定外れであることが表示され１３５０、処理手順はシステム・コントローラに戻る１３４５。ステップ１３２５で、遮断バルブＳ２が閉鎖されていないと判定された場合、処理手順は、遮断バルブＳ２を閉鎖するかどうかを判定する１３５５。「ＮＯ」の場合、処理手順は、ｔ時間待った後前記のように進む。「ＹＥＳ」の場合、ＭＣＵ制御器２は、遮断バルブＳ２を閉鎖し１３６０、変数ＦＶ２を１に設定し１３６５、処理制御をシステム・コントローラに戻す１３４５。
【００５８】
当業者は、前記の説明から、これらの図面に描かれた、冷却剤制御バルブのオペレーション及び操作手順のさまざまな態様は、例えば、冷却剤供給装置内に配置して適切なコントローラを設け、該コントローラに連結されたソレノイド作動の制御バルブを使うことによって自動化できることに気付いていよう。
【００５９】
さらに具体的には、前記に提示された詳細な説明は、コンピュータ、ネットワーク、又はコンピュータ群によって実行可能なプロシージャに関して論じられる。当業者は、こういったプロシージャ及び表現を使って、その製作品を最も効果的に他の当業者に伝えることができよう。これらは、ハードウエア又はソフトウエア、あるいは両者の組合せとして実装することができる。
【００６０】
本明細書において、また一般的にも、プロシージャとは、所望の結果に導くステップのシーケンスと考えられる。これらのステップは、物理的量の物理的な操作を必要とするものである。通常、必然ではないにせよ、これらの量は保存し、伝送し、組合せ、比較し、又は他の方法で操作可能な電気又は磁気信号の形をとる。場合により、主に共用のため、これらの信号をビット、値、要素、シンボル、文字、用語、数字、オブジェクト、属性などで表すのが便利であることが分かっている。但し、これらの全ての及び類似の用語は、対応する物理量と関連付けられるものであり、それらの物理量に適用される単なる便利な標識であることに留意すべきである。
【００６１】
さらに、実施される操作は、多くの場合、閉じる、又は開くといった言葉で表され、これらは、共通して、人間のオペレータの手作業に関連したものである。本発明の一部を成す、本発明に記載のオペレーションは、こういった人間オペレータの介入を必要とせず、これらオペレーションは、自動的なマシン・オペレーションとして実行することができる。本発明のオペレーションを実施するための有用なマシンには、汎用デジタル・コンピュータ又は同様な装置が含まれる。
【００６２】
本発明の態様は、望ましくは、ハイ・レベルのプロシージャ又はオブジェクト指向プログラミング言語で実装されコンピュータと交信する。但し、本発明の態様は、所望する場合、アセンブリ又はマシン言語で実装することもできる。いずれの場合も、言語を、コンパイラ型又はインタープリタ型言語とすることができる。
【００６３】
本発明は、記録媒体を含む、メカニズム又はコンピュータ・プログラム製品として実装することができる。こういったメカニズム又はコンピュータ・プログラム製品には、以下に限らないが、ＣＤ−ＲＯＭ、ディスケット、テープ、ハード・ドライブ、コンピュータＲＡＭ又はＲＯＭ、及び、電子的、磁気的、光学的、生物学的、又は他の類似のプログラム具現体を含めることができる。実際上、該メカニズム又はコンピュータ・プログラム製品には、本発明の方法によって、プログラム可能な汎用又は専用のコンピュータを制御する、マシン可読の信号を保存又は送信するための、又は、本発明のシステムによって前記信号の構成要素を構築するための、あるいはその両方のための、任意の、磁気的、光学的、又は類似の固体又は流体の伝達媒体を含めることができる。
【００６４】
本発明の態様をシステムに実装することができる。システムには、プロセッサ及びメモリ装置を包含するコンピュータと、随意的に、記憶装置と、映像ディスプレイなどの出力装置又はキーボード、コンピュータ・マウスなどの入力装置あるいはこれらの両方とを含めることができる。さらに、システムには、相互接続されたコンピュータのネットワークを含めることができる。コンピュータは、単独型（従来のデスクトップ・パソコンのような）とすることも、又は別の環境に組み込まれた形（部分的に集合された計算環境）とすることもできる。該システムは、例えば、本発明の方法のステップを実施するため必要な目的にそって特別に構築することができ、あるいは、該システムには、コンピュータに保存された、本明細書の教示によるコンピュータ・プログラムによって選択的に作動され又は再構成される、一つ以上の汎用コンピュータを含めることができる。本明細書に提示されたプロシージャは、本質的に特定の計算環境に関連しているものではない。これらのさまざまなシステムに必要な構成は、前記の説明から見出すことができよう。
【００６５】
本発明の一つ以上の態様の機能をソフトウエア、ファームウエア、ハードウエア、又はその何らかの組合せに実装することができる。
【００６６】
本発明の一つ以上の態様は、例えばコンピュータが使用可能な媒体を有する製造品（例、一つ以上のコンピュータ・プログラム製品）の中に含めることができる。該媒体はその中に、例えば、本発明の機能を提供しやり易くするコンピュータ可読のプログラム・コード手段又はロジック（例、命令、符号、コマンドなど）を有する。この製造品は、コンピュータ・システムの一部として含めることもそれと別に販売することもできる。
【００６７】
さらに、本発明の機能を実施する、マシン実行可能な命令の少なくとも一つのプログラムを具現する、マシン可読の少なくとも一つのプログラム記憶装置を提供することができる。
【００６８】
本明細書に示された流れ図は単なる例である。本発明の精神から逸脱することなく、本明細書に記載されたこれらの図又はステップ（ないしオペレーション）についての多くの変形ができよう。例えば、これらステップは異なる順序で実施することができ、ステップを加えたり、削除したり、又は変更することができる。これらの全ての変形は、請求された発明の一部と見なされる。
【００６９】
本明細書において、好適な諸実施形態を詳細に図示し説明してきたが、当業者には、本発明の精神から逸脱することなく、さまざまな変更、追加、代替などが行えることは自明であろう。従って、これらは、添付の請求項に定義された本発明の範囲内にあると見なされる。
【図面の簡単な説明】
【００７０】
【図１】従来式の、エア冷却コンピュータ施設の上げ床レイアウトの一つの実施形態を示す。
【図２】本発明で取り扱う一つの問題を図示し、エア冷却コンピュータ施設の上げ床レイアウトの一つの実施例における戻り循環エア流のパターンを示す。
【図３】本発明の態様による、電子機器ラックのエア放出口側面に配置された少なくとも一つのエア／液体熱交換器を用いる、電子機器ラックの一つの実施形態の横断平面図を示す。
【図４】本発明の態様による装置で冷却される複数の電子サブシステムを含む、液冷式電子機器ラックの一つの実施形態の前面立面図を示す。
【図５】本発明の態様による、電子機器ラックの電子サブシステムの一つの実施形態の系統図を示し、電子部品モジュールが、電子機器ラック内に配置された一つ以上のモジュール式冷却ユニットにより供給されるシステム冷却剤によって液体冷却されている。
【図６】本発明の態様による、液冷式電子機器ラック内に配置されたモジュール式冷却ユニットの一つの実施形態の系統図を示す。
【図７】本発明の態様による、電子サブシステム・レイアウトの一つの実施形態の平面図を示し、電子サブシステムの冷却コンポーネントに対するエア及び液体冷却サブシステムを表している。
【図８】本発明の態様による、一部が組立てられた電子サブシステム・レイアウトの詳細な実施形態を示し、該電子サブシステムは、能動冷却の対象となる８つの発熱電子部品を含み、その各々がそれぞれ、それに連結された、液体ベース冷却システムの液冷冷却プレートを有する。
【図９】本発明の態様による、液冷式電子機器ラックとそれに関連する冷却システムとを含むシステムの一つの実施形態の系統図を示し、該冷却システムは、ラックの電子サブシステムと、ラックから流出するエアを冷却するため例えば電子機器ラックのエア放出口側面に配置された、エア／液体熱交換器とに、液体冷却剤を並行して供給する２つのモジュール式冷却ユニット（ＭＣＵ）を含む。
【図１０】本発明の態様による、ＭＣＵ１の故障の検知と、故障に応答して、ＭＣＵ１の作動停止とエア／液体熱交換器への冷却剤の流れの遮断とを円滑に行うために、図９のシステム・コントローラが実施する処理手順の一つの実施形態のフローチャートを示す。
【図１１】本発明の態様による、図９のＭＣＵ制御器１によって実施される処理手順の一つの実施形態を示し、該制御器は、システム冷却剤の温度のモニタを円滑化し、ＭＣＵ１の故障が検知されたときは、これを作動停止させ遮断バルブ１を閉じる。
【図１２】本発明の態様による、ＭＣＵ２の故障の検知と、故障に応答して、ＭＣＵ２の作動停止とエア／液体熱交換器への冷却剤の流れの遮断とを円滑に行うために、図９のシステム・コントローラが実施する処理手順の一つの実施形態のフローチャートを示す。
【図１３】本発明の態様による、図９のＭＣＵ制御器２によって実施される処理手順の一つの実施形態を示し、該制御器は、システム冷却剤の温度のモニタを円滑化し、ＭＣＵ２の故障が検知されたときは、これを作動停止させ遮断バルブ２を閉じる。
【符号の説明】
【００７１】
９７０ システム・コントローラ
９８０ ＭＣＵ制御器１
９９０ ＭＣＵ制御器２
【技術分野】
【０００１】
本発明は、一般に、コンピュータ・サーバ・ユニットなど、液体冷却されラック搭載される、個別電子機器ユニットの集合体のオペレーションを容易にする装置及び方法に関する。
【背景技術】
【０００２】
プロセッサのパフォーマンス向上を達成するため、集積回路チップ、及びチップを包含するモジュールのパワー消散は増加し続けている。この傾向は、モジュール及びシステム・レベルの双方で冷却に対する課題を投げかけている。ハイパワーのモジュールを効果的に冷却し、コンピュータ・センタの中に排気されるエアの温度を抑えるにはエア流量の増加が必要となる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
多くの大型サーバ装置では、プロセッサは関連する電子機器（例、メモリ、ディスク・ドライブ、電源など）と共に、ラック又はフレーム内に積み重ねられた取り外し可能なドロワ構成にまとめられている。他の構成では、これら電子機器がラック又はフレーム内の固定位置に配置されているものもある。通常、これらの構成機器は、一つ以上の送風装置（例、ファン又はブロワー）に強制されて、通常、前面から背面へ並列のエア流路を流れるエアにより冷却される。一部のケースでは、単一のドロワ内の増大したパワー消散を、もっと強力な送風装置を使うかあるいは既存の送風装置の回転速度（すなわちＲＰＭ）を上げ、さらに大きなエア流量を送ることによって処理することが可能な場合もある。しかしながら、こういったアプローチは、コンピュータ施設（ないしはデータ・センタ）などのラック・レベルでは問題が生じている。
【０００４】
ラックから排出されるエアが担持する相当な量の熱負荷は、効果的に負荷を処理するためのルーム・エアコンの能力を圧迫している。このことは、「サーバ・ファーム」のある大型施設、又は一緒に近接配置れたコンピュータ・ラックの大きな集合場所では特にそうである。こういった施設では、液体冷却（例、水冷）は、高熱の流れを取り扱うために魅力的な技術である。液体は、構成機器／モジュールから消散される熱を効率的な方法で吸収する。通常、その熱は、該液体から、エア又は他の液体冷却剤いずれかの外部環境に伝達される。
【課題を解決するための手段】
【０００５】
電子機器の冷却を促進するシステムの提供によって、従来技術の欠点を克服しさらなる利点を提供する。該システムは、電子機器ラックと、少なくとも二つのモジュール式冷却ユニット（ＭＣＵ：ＭｏｄｕｌａｒＣｏｏｌｉｎｇ Ｕｎｉｔ）と、エア／液体熱交換器と、少なくとも一つの遮断バルブと、少なくとも一つのコントローラとを含む。電子機器ラック（ｅｌｅｃｔｒｏｎｉｃｓ ｒａｃｋ）は、熱を発生する少なくとも一つの電子サブシステムを含み、それぞれエアの流入と流出とを可能にするエア取入れ口側面とエア放出口側面とを含む。ＭＣＵは電子機器ラックと関連付けられており、並行して、該少なくとも一つの発熱電子サブシステムにシステム冷却剤を供給しその冷却を促進するよう構成される。各ＭＣＵは、液体／液体熱交換器と、第一冷却剤ループと、第二冷却剤ループとを含む。作動時に、各ＭＣＵの第一冷却剤ループは、供給源から冷やされた冷却剤を受取り、少なくともその一部を液体／液体熱交換器を通して熱的に伝達し、第二冷却剤ループは、冷やされたシステム冷却剤を、少なくとも一つの発熱電子サブシステムに供給し、液体／液体熱交換器の中で、少なくとも一つの発熱電子サブシステムからの熱を第一冷却剤ループ中の冷やされた冷却剤中に放熱する。エア／液体熱交換器は、少なくとも二つのＭＣＵからシステム冷却剤を受取り、該少なくとも二つのＭＣＵに冷却剤を排出するように連結される。少なくとも一つの遮断バルブは、エア／液体熱交換器を通るシステム冷却剤の流れを選択的に遮断するよう連結される。少なくとも一つのコントローラは、少なくとも二つのＭＣＵの一つのＭＣＵの故障を検知したときにエア／液体熱交換器と通るシステム冷却剤の流れを自動的に遮断するため、該少なくとも一つの遮断バルブに連結される。作動時に、少なくとも二つのＭＣＵは並行して、冷やされたシステム冷却剤を、液体冷却のため少なくとも一つの発熱電子サブシステムに、さらに、電子機器ラックを流通するエアの少なくとも一部を冷却するためエア／液体熱交換器に供給する。少なくとも二つのＭＣＵの一つのＭＣＵの故障が検知されたのに応答して、少なくとも一つのコントローラは、残った作動可能な少なくとも一つのＭＣＵを通るシステム冷却剤の流れを継続させてその液体冷却を続けさせながら、少なくとも一つの遮断バルブを用いて、故障しているＭＣＵのシステム冷却剤がエア／液体熱交換器を通るのを自動的に遮断する。
【０００６】
別の態様において、複数の電子機器ラック及び複数の冷却システムを含むデータ・センタを提供する。各電子機器ラックは、熱を発生する少なくとも一つの電子サブシステムと、それぞれエアの流入と流出とを可能にするエア取入れ口側面とエア放出口側面とを含む。各冷却システムは電子機器ラックと関連付けられており、該システムは、少なくとも一つの発熱電子サブシステムに対し、並行してシステム冷却剤を供給しその冷却を促進する、電子機器ラックに関連付けられた少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）と、電子機器ラックを通過するエアの少なくとも一部を冷却するための、電子機器ラックに関連付けられたエア／液体熱交換器と、エア／液体熱交換器を通るシステム冷却剤の流れを選択的に遮断するよう連結された少なくとも一つの遮断バルブと、該少なくとも一つの遮断バルブに連結され、少なくとも二つのＭＣＵの一つのＭＣＵの故障を検知したとき、エア／液体熱交換器を通るシステム冷却剤の流れを自動的に遮断する少なくとも一つのコントローラと、を含む。少なくとも二つのＭＣＵの各ＭＣＵは、液体／液体熱交換器と、第一冷却剤ループと、第二冷却剤ループとを含む。作動時に、各ＭＣＵの第一冷却剤ループは、供給源から冷やされた冷却剤を受取り、少なくともその一部を液体／液体熱交換器を通して伝達し、第二冷却剤ループは、冷やされたシステム冷却剤を少なくとも一つの発熱電子サブシステムに供給し、液体／液体熱交換器を介して、関連する電子機器ラックの発熱電子サブシステムからの熱を第一冷却剤ループ中の冷やされた冷却剤中に放熱する。さらに、少なくとも二つのＭＣＵは並行して、エア／液体熱交換器にシステム冷却剤を供給し、エア／液体熱交換器から排出されたシステム冷却剤を受取る。しかして、作動時に、少なくとも二つのＭＣＵは並行して、冷やされたシステム冷却剤を、関連する電子機器ラックの少なくとも一つの発熱電子サブシステムに、さらに電子機器ラックを流通するエアの少なくとも一部を冷却するためエア／液体熱交換器に供給する。少なくとも一つのコントローラは、少なくとも二つのＭＣＵの一つのＭＣＵの故障が検知されたのに応答して、残った作動可能な少なくとも一つのＭＣＵから関連する電子機器ラックの少なくとも一つの発熱電子サブシステムへのシステム冷却剤の流れは継続させその液体冷却を続けさせながら、少なくとも一つの遮断バルブを用いて、システム冷却剤がエア／液体熱交換器を通るのを自動的に遮断する。
【０００７】
さらなる態様において、電子機器ラックの冷却を促進する方法を提供する。該方法は、電子機器ラックの少なくとも一つの発熱電子サブシステムを冷却するステップと、少なくとも二つのＭＣＵの一つのＭＣＵの故障をモニタし、少なくとも二つのＭＣＵの一つのＭＣＵの故障が検知されたとき、残った作動可能な少なくとも一つのＭＣＵを経由する少なくとも一つの発熱電子サブシステムへのシステム冷却剤の流れを継続して供給しながら、エア／液体熱交換器を通るシステム冷却剤の流れを自動的に遮断するステップとを含む。該電子機器ラックは、それぞれ外部エアの流入と流出とを可能にするエア取入れ口側面と放出口側面とを含み、該冷却ステップは、電子機器ラックに関連する少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）を用い、これらが並行して、該ラックの少なくとも一つの発熱電子サブシステムにシステム冷却剤を供給するステップと、電子機器ラックを流通するエアの少なくとも一部を冷却するため、電子機器ラックに関連して配置されたエア／液体熱交換器を使用するステップとを含む。少なくとも二つのＭＣＵの各ＭＣＵは、液体／液体熱交換器と第一冷却剤ループと第二冷却剤ループとを含み、作動時に、各ＭＣＵの第一ループは、供給源から冷やされた冷却剤を受取り、少なくともその一部を液体／液体熱交換器を通して伝達し、第二冷却剤ループは、冷やされたシステム冷却剤を、少なくとも一つの発熱電子サブシステムに供給し、液体／液体熱交換器の中で、少なくとも一つの発熱電子サブシステムからの熱を第一冷却剤ループ中の冷やされた冷却剤中に放熱する。エア／液体熱交換器は、少なくとも二つのＭＣＵからシステム冷却剤を受取り、該少なくとも二つのＭＣＵにシステム冷却剤を排出するように連結される。
【０００８】
加えて、本発明の技法を使ってさらなる特質及び利点が実現される。本明細書において、本発明のいろいろな実施形態及び態様を詳細に説明し、これらは本発明請求対象の一部と見なされる。
【０００９】
本発明の対象と見なされる事項は特に指摘され、明細書の冒頭の請求項において明確に請求される。本発明の、前述及び他の目的、特質、及び利点は、添付の図面と併せ以下の詳細な説明から明らかになろう。
【発明を実施するための最良の形態】
【００１０】
本明細書での使用において、「電子機器ラック」、「ラック搭載電子装置（ｒａｃｋ−ｍｏｕｎｔｅｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｑｕｉｐｍｅｎｔ）」、及び「ラック・ユニット」という用語は置き換え可能に使われ、これらには、別段の指定がある場合を除き、例えば、ハイエンド、ミッドレンジ、ローエンドの処理能力を有する単独型コンピュータ・プロセッサなど、熱を発生する一つ以上のコンピュータ・システム部品又は電子機器システム部品を有する、任意のハウジング、フレーム、ラック、コンパートメント、ブレード・サーバ・システムなどが含まれる。一つの実施形態において、電子機器ラックには、その各々が、熱を発生し冷却が必要な一つ以上の部品を有する複数の電子サブシステムを含めることができる。「電子サブシステム」とは、熱を発生する一つ以上の配置部品をその中に有する、任意のサブ・ハウジング、ブレード、ブック、ドロワ、ノード、コンパートメントなどをいう。電子機器ラックの各電子サブシステムは、電子機器ラックに対して可動とすることも固定することもでき、複数ドロワ・ラック・ユニットのラック搭載電子機器ドロワと、ブレード・センタ・システムのブレードとは、冷却対象電子機器ラックのサブシステムの２つの例である。
【００１１】
「電子部品」とは、例えば、冷却を要するコンピュータ・システム又は他の電子機器ユニットの一切の発熱電子部品をいう。例として、電子部品には、一つ以上のプロセッサ・ダイ、メモリ・ダイ、及びメモリ・サポート・ダイを含め、冷却対象となる一つ以上の集積回路ダイ又は他の電子デバイスあるいはその両方を含めることができる。さらなる例として、該電子部品には、共通の担体の上に配置された一つ以上のベア・ダイ又は一つ以上のパッケージ・ダイを含めることができる。本明細書での用語使用において、「一次的発熱部品」とは、電子サブシステム内の主たる発熱電子部品をいい、「二次的発熱部品」とは、一次的発熱部品よりも少ない熱を発生させる、電子サブシステムの冷却対象電子部品をいう。例えば、「一次的発熱ダイ（Ｐｒｉｍａｒｙ ｈｅａｔ ｇｅｎｅｒａｔｉｎｇ ｄｉｅ）」とは、一次的及び二次的発熱ダイを含む発熱電子部品中の、一次的発熱ダイ又はチップをいう（プロセッサ・ダイがその一例である）。「二次的発熱ダイ（Ｓｅｃｏｎｄａｒｙ ｈｅａｔ ｇｅｎｅｒａｔｉｎｇ ｄｉｅ）」とは、複数ダイ電子部品の中で一次的発熱ダイよりも少ない熱を発生させるダイをいう（メモリ・ダイ及びメモリ・サポート・ダイは、冷却対象の二次的発熱ダイの例である）。一つの例として、ある発熱電子部品が、一つの担体上に、複数の一次的発熱ベア・ダイと複数の二次的発熱ダイとを含むことがある。さらに、別段の指定がある場合を除き、用語「液冷冷却プレート」は、その中に形成された液体冷却剤を流通させる複数のチャネル又は流路を有する、任意の従来型の温度伝導性構造をいう。さらに、「金属結合された」とは、一般に本明細書では、２つのコンポーネントが溶接、ロウ付け又は半田付けされていることをいう。
【００１２】
本明細書での用語使用において、「エア／液体熱交換アセンブリ」とは、液体冷却剤が循環でき、本明細書の記述で特徴付けられる任意の熱交換メカニズムをいい、これには、直列又は並列いずれかに連結された一つ以上の個別のエア／液体熱交換器が含まれる。エア／液体熱交換器には、例えば、温度伝導性の管（銅又は他の管など）で形成され、複数の空冷式冷却フィンと温度的又は機械的に接触している一つ以上の冷却剤流路を設けることができる。本明細書に開示する本発明の範囲から逸脱することなく、エア／液体熱交換アセンブリ又はそのエア／液体熱交換器あるいはその両方のサイズ、構成、及び構造を変更することができる。「エア／液体熱交換器」には、例えば、熱的に又は機械的に相互に接触している熱伝導性の管（銅又は他の管など）で形成される２つ以上の冷却剤流路含めることができる。本明細書に開示する本発明の範囲から逸脱することなく、エア／液体熱交換器のサイズ、構成、及び構造を変更することができる。さらに「データ・センタ」とは、冷却対象となる一つ以上の電子機器ラックを収容するコンピュータ施設をいう。具体的な例として、データ・センタには、サーバ・ユニットなどラック搭載の計算ユニットの一つ以上の列を収容することができる。
【００１３】
施設冷却剤及びシステム冷却剤の一つの例は水である。但し、本明細書に開示する概念は、施設側又はシステム側あるいはその両方への、他の種類の冷却剤の使用に容易に適応する。例えば、一つ以上の冷却剤には、塩水、フルオロカーボン液、液状金属、又は他の類似の冷却剤又は冷媒を含めることができ、これらによっても、本発明の利点及び独自の特質は維持される。
【００１４】
以下に図面を参照するが、これらは、理解向上のため一定縮尺では描かれておらず、各種の図全体を通して同一の参照番号は、同一又は類似の構成要素を指す。
【００１５】
図１に示されるように、従来技術では典型的な、エア冷却式コンピュータ施設１００の上げ床レイアウトには、複数の電子機器ラック１１０が一つ以上の列となって配置されている。図１に示すようなコンピュータ施設は、数百あるいは数千ものマイクロプロセッサを収容することができる。図１の構成において、冷やされたエアが、部屋の上げ床１４０とベースないしサブ床１６５との間に区画されたエア供給プレナム１４５から床面通気口を経てコンピュータ室に流入する。冷えたエアは、電子機器ラックのエア取入れ側面１２０のよろい窓カバーを通して取入れられ、電子機器ラックの背面（すなわち、エア放出口側面１３０）を通って放出される。各電子機器ラック１１０には、取入れ口から放出口への強制エア流を起こしラックのドロワ内の電子部品を冷却するための送風装置（例、ファン又はブロワ）を備えることができる。エア供給プレナム１４５は、データ・センタ内の「冷い」エア通路に配置された有孔床タイル１６０を通して、電子機器ラックのエア取入れ口側に冷却調節されたエアを供給する。冷却調節されたエアは、同様にコンピュータ施設１００に設置された一つ以上の空調ユニット１５０によってもプレナム１４５に供給される。部屋のエアは、部屋の上部近辺で各空調ユニット１５０に取入れられる。この室内エアの一部には、電子機器ラック１１０のエア放出口側面１３０が向かい合って区画する、データ・センタ内の「熱い」エア通路から排出されるエアが含まれる。
【００１６】
電子機器ラックを通すエア流量に対する増え続ける要求と、通常のコンピュータ室施設内でのエア配流上の制限とに起因して、室内で戻り循環問題が生じる可能性がある。この上げ床レイアウトの問題が図２に示されており、電子機器ラックのエア放出口側面１３０から、電子機器ラック群の取入れ口側面１２０が向かい合って区画する冷気エア通路へ戻る熱気エアの戻り循環２００が生じている。タイル１６０を通って供給される調節エアは、電子機器ラック中の送風装置によって各ラックを通る強制エアの合計流量のごく一部に過ぎないので、こうした戻り循環が生ずる可能性がある。こういったことは、例えば、タイルのサイズ（又は拡散器の流量）の限界から起こりえる。取入れ口側面へのエア供給の残りの部分は、多くの場合、戻り循環路２００を通る周辺の室内エアから成る。この戻り循環の流れは、多くの場合、事実上非常に複雑で、おそらく予期されるよりも相当に高い、ラック・ユニットへの流入温度をもたらすことがある。
【００１７】
コンピュータ室施設の熱気エア通路から冷気エア通路への熱い排出エアの戻り循環は、ラック内のコンピュータ・システム又は電子機器システムの性能及び信頼性に弊害をもたらす可能性がある。データ・センタの装置は、通常、ラックへの取入れエアの温度が１８〜３５℃の範囲で動作するように設計されている。しかしながら、図１に示したような上げ床レイアウトの場合、冷気エアの流入する床通気孔に近いラックの低部分では、温度は１５〜２０℃に分布し、熱いエアが自続的な戻り循環ループを形成する可能性のある電子機器ラックの上部では４５〜５０℃にもなることがある。許容可能なラックの熱負荷は、この「熱い」部分のラックへの取入れエア温度により制限されるので、こういった温度分布は処理能力の低下につながる。また、コンピュータ施設の装置類は、ほとんどの場合、顧客にとって高価な設備投資を意味する。しかして、製品の信頼性及びパフォーマンスの観点、及び顧客満足と事業展望との観点から、取入れエアの均一な温度を維持することは非常に重要である。本明細書に開示する装置及び方法によって、こういったコンピュータ・システム及び電子機器システムの効率的な冷却と、エア流の戻り循環に起因する、一つ以上のラック・ユニットへの局所的な熱いエア取入れ温度の改善とを実現する。
【００１８】
図３は、本発明のある態様による、被冷却電子機器システムの一つの実施形態を図示しその全体を参照番号３００で示す。この実施形態において、電子機器システム３００は、取入れ口扉３２０及び放出口扉３３０を有する電子機器ラック３１０を含み、両扉は、外部エアが電子機器ラック３１０のエア取入れ口側面からエア放出口側面に流入、流出するのを可能にする開口を有する。該システムは、電子機器ラック内に配置された少なくとも一つの電子機器ドロワ・ユニット３１４を横切って外部エアを流すための、少なくとも一つの送風装置３１２をさらに含む。放出口扉カバー３３０内に、熱交換アセンブリ３４０が配置される。熱交換アセンブリ３４０は、電子機器ラックを通る取入れ口から放出口へのエア流が通り抜けるエア／液体熱交換器を含む。コンピュータ室の水調装置（ＣＲＷＣ）３５０が使われ、ＣＲＷＣ３５０へのインプットとして供給されるビルディングのユーテリティの又は局所的な冷却用剤３６０と、熱交換アセンブリ３４０とを媒介する。ＣＲＷＣ３５０は、システム水又はシステム冷却剤を熱交換アセンブリ３４０に供給する。熱交換アセンブリ３４０は、電子機器ラックを通って取入れ口から放出口に排出されるエア流から熱を除去し、システム水又は冷却剤を介してＣＲＷＣ３５０にその熱を伝達する。有利には、コンピュータ施設中の一つ以上の電子機器ラックの放出口扉カバーに搭載された、本明細書で開示するようなエア／液体熱交換器を有する熱交換アセンブリを備えることによって、既存の空調ユニットにかかる熱負荷を大きく低減し、ラック搭載の電子機器ユニットの冷却を促進することができる。
【００１９】
図４は、液冷式電子機器ラック４００の一つの実施形態を示し、該ラックは、本明細書に記載のシステム及び方法を活用してモニタされ作動される冷却システムを用いている。一つの実施形態において、液冷式電子機器ラック４００は、複数の電子サブシステム４１０を含み、これらはプロセッサ又はサーバ・ノードである。大容量レギュレータ４２０が、液冷式電子機器ラック４００の上側部分に配置されており、２つのモジュール式冷却ユニット（ＭＣＵ）４３０が該液冷式電子機器ラックの下側部分に配置されているのが示されている。本明細書に記載する実施形態では、冷却剤は水又は水ベースの溶液であると仮定されているが、前記同様これは単なる例である。
【００２０】
ＭＣＵ４３０に加え、該冷却システムは、システム水供給マニホルド４３１と、システム水回収マニホルド４３２と、システム水供給マニホルド４３１を電子サブシステム４１０に連結するマニホルド／ノード間流体接続ホース４３３と、個々の電子サブシステム４１０をシステム水回収マニホルド４３２に連結するノード／マニホルド間流体ホース接続４３４とを含む。各ＭＣＵ４３０は、それぞれのシステム水供給ホース４３５を介してシステム水供給マニホルド４３１と流体連通しており、各ＭＣＵ４３０は、それぞれのシステム水回収ホース４３６を介してシステム水回収マニホルド４３２と流体連通している。
【００２１】
図示されるように、電子機器ラックの熱負荷は、システム水から、施設水供給ライン４４０を通して供給される冷却施設水に伝達され、図示された実施形態では、施設水回収ライン４４１が、上げ床１４５とベース床１６５との間のスペースに配置されている。
【００２２】
図５は図４の冷却システムのオペレーションを系統的に示しており、水冷冷却プレート５００が、水冷式電子機器ラック４００内の電子サブシステム４１０の電子部品モジュール５０１に連結されているのが示されている。熱は、電子部品モジュール５０１から、システム冷却剤のループ内の冷却プレート５００を通り、ポンプ５２０によって循環されるシステム冷却剤を介して除去され、該冷却剤ループは、モジュール式冷却ユニット４３０の液体／液体熱交換器５２１と、ライン５２２、５２３と、冷却プレート５００とで構成される。システム冷却剤ループ及びモジュール式水冷ユニットは、制御された温度及び圧力、並びに制御された化学成分及び清浄さを有する冷却剤を電子部品モジュールに供給するよう設計されている。さらに、システム冷却剤は、ライン４４０，４４１中の、最終的な熱伝達を引き受ける、制御レベルのより低い施設冷却剤とは物理的に分離される。
【００２３】
図６は、本発明のある態様による、モジュール式水冷ユニット４３０のさらに詳細な実施形態を示す。図６に示されるように、モジュール式水冷ユニット４３０は、第一冷却ループを含み、該ループには、ビルディング冷却の施設冷却剤が供給６１０され、モータ６２５に駆動されて制御バルブ６２０を通過する。バルブ６２０は、熱交換器５２１を流通する施設冷却剤の量を設定し、施設冷却剤の一部は、バイパス開口６３５を経由して直接戻ることができる。モジュール式水冷ユニットは、貯蔵タンク６４０を備えた第二冷却ループをさらに含み、冷却対象の電子機器ラックへの冷やされたシステム冷却剤として、ポンプ６５０又はポンプ６５１いずれかによって、該タンクから熱交換器５２１の中に、システム冷却剤が、その温度調節とアウトプットのためポンプ送流される。冷やされたシステム冷却剤は、システム水供給ホース４３５とシステム水回収ホース４３６とを介して、システム水供給マニホルドとシステム水回収マニホルドとに供給される。
【００２４】
図７は、電子サブシステム４１０の部品レイアウトの一つの実施形態を示し、一つ以上の送風装置７１１が、電子サブシステム４１０内の複数の部品７１２を冷却するための強制エア流７１５を供給している。冷却エアは、ドロワの最前部７３１を通して取入れられ、最後部７３３から排出される。冷却対象の複数部品には、（液体ベース冷却システムの）液冷冷却プレート７２０が連結された複数のプロセッサ・モジュールと、空冷ヒートシンクが連結された、メモリ・モジュール７３０（例、デュアル・インライン・メモリ・モジュール（ＤＩＭＭ））の複数のアレイ、及びメモリ・サポート・モジュール７３２（例、ＤＩＭＭ制御モジュール）の複数の列とが含まれる。図示された実施形態において、メモリ・モジュール７３０及びメモリ・サポート・モジュール７３２は、その一部が電子サブシステム４１０の最前部７３１に近く配置され、一部は電子サブシステム４１０の最後部７３３近くに配置されている。また、図７の実施形態では、メモリ・モジュール７３０及びメモリ・サポート・モジュール７３２は、該電子サブシステムを横切るエア流７１５によって冷却される。
【００２５】
図示された液体ベースの冷却システムは、液冷冷却プレート７２０に結合されこれと流体連通している複数の冷却剤搬送管をさらに含む。該冷却剤搬送管は冷却剤搬送管の組を含み、各組は、（例えば）冷却剤供給管７４０、ブリッジ管７４１、冷却剤回収管７４２を含む。この例では、各組の管は、（プロセッサ・モジュールのペアに連結された）冷却プレート７２０の直列結合ペアに液体冷却剤を供給している。冷却剤は、冷却剤供給管７４０を経由して第一冷却プレートの各ペアに流入し、ブリッジ管ないしライン７４１を通って第一冷却プレートから第二冷却プレートのペアに流れ、該ラインは温度伝導性とすることも、しないこともできる。冷却剤は、それぞれの冷却剤回収管７４２を経由して、第二冷却プレートのペアから回収される。
【００２６】
図８は、８つのプロセッサ・モジュールを含む、別の電子機器ドロワのレイアウトをさらに詳細に示しており、各モジュールは、それに連結されたそれぞれの、液体ベース冷却システムの液冷冷却プレートを有する。液冷冷却プレートとヘッダ・アセンブリとを通る液体冷却剤の通過を円滑化するための関連冷却剤搬送管をさらに含む、液体ベースの冷却システムが示されており、該搬送管は、液冷冷却プレートへの液体冷却剤の分配と該プレートからの液体冷却剤の回収を円滑にする。一つの具体例として、液体ベースの冷却システムを流通する液体冷却剤は、冷された水である。
【００２７】
前記のように、各種の液体冷却剤は、電子機器システムの発熱電子部品から熱を除去する作業において、エアよりパフォーマンスが優れており、しかして、より効率的に部品を所望の温度に維持し信頼性と最高パフォーマンスを向上させる。液体ベースの冷却システムを設計し展開するにあたって、所与の電子機器システムの実装に対する他の全ての機械的、電気的、化学的要求事項を満たしながら、信頼性を最大化し液漏れの可能性を最小化するシステムを設計することは有益である。これらのより堅固な冷却システムは、その組立て及び実装の面で固有の問題を有する。例えば、組立て方法の一つに、電子機器システム内に多くの接続金具を用い、ヘッダ、冷却プレート、ポンプ及び他の部品をつなぐのに柔軟なプラスチック又はゴムの配管を使うことがある。しかしながら、こういったやり方は、所与の顧客仕様及び必要な信頼性を満たせないことがある。
【００２８】
しかして、本明細書の一つの態様において、特定の電子機器ドロワ内に配置するためのモノリシックな構造として特別に事前構成され、事前加工された、堅固で信頼性のある液体ベース冷却システムを提示する。
【００２９】
図８は、本発明の態様による、電子機器システムとモノリシックな冷却システムとによる一つの実施形態の等角図である。図示された平面サーバ・アセンブリは、冷却対象となるメモリＤＩＭＭソケット及び各種の電子部品が電気的且つ機械的に接続された多層プリント回路基板を含む。図示の冷却システムにおいて、単一の取入れ口から並列になった複数の冷却剤流路に冷却剤を分配するための供給ヘッダが備えられ、回収ヘッダが、複数の冷却剤流路から排出される冷却剤を単一の放出口に回収する。各並列冷却剤流路は、流れに対し直列路に配置された一つ以上の冷却プレートを含み、該冷却プレートが機械的且つ温度的に連結された一つ以上の電子部品を冷却する。並列流路の本数、及び直列接続される液冷冷却プレートの数は、例えば、所望の部品温度、利用できる冷却剤温度及び冷却剤流量、及び各電子部品から放散される熱負荷合計の如何による。
【００３０】
さらに具体的には、図８は、部分的に組立てられた電子機器システム８１３と、冷却対象の一次的発熱部品（例えばプロセッサ・ダイを含む）に連結された、組立て済みの液体ベースの冷却システム８１５とを示す。この実施形態において、電子機器システムは電子機器ラックの電子機器ドロワ用に（又はドロワとして）構成され、該システムは、例えば、支持基材又は平面基板８０５と、（図示されていないメモリ・モジュール（例、デュアル・インライン・メモリ・モジュール）と併せて）複数のメモリ・モジュール・ソケット８１０と、メモリ・サポート・モジュール８３２（各々がそれに連結された空冷ヒートシンク８３４を有する）の複数の列と、液体ベースの冷却システム８１５の液冷冷却プレート８２０の下に配置された複数のプロセッサ・モジュール（図示せず）とを含む。
【００３１】
冷却プレート８２０に加え、液体ベースの冷却システム８１５は、それぞれの冷却プレート８２０と流体連結している冷却剤供給管８４０及び冷却剤回収管８４２を含む、複数の冷却剤搬送管を包含する。さらに、冷却剤搬送管８４０、８４２は、冷却剤供給管への冷却剤の分配と、冷却剤回収管８４２からの冷却剤の回収を円滑化するヘッダ（又はマニホルド）アセンブリ８５０にもつながれている。この実施形態では、電子機器ドロワ８１３の最前部８３１により近いメモリ・サポート・モジュール８３２に連結された空冷ヒートシンク８３４は、電子機器ドロワ８１３の最後部８３３近くのメモリ・サポート・モジュール８３２に連結された空冷ヒートシンク８３４’よりも背が低くなっている。このサイズの違いは、冷却剤搬送管８４０、８４２を収容するためである。というのは、この実施形態では、ヘッダ・アセンブリ８５０が電子機器ドロワの最前部８３１にあり、複数の液冷冷却プレート８２０はドロワの中間部にあるからである。
【００３２】
液体ベースの冷却システム８１５は、それぞれの発熱電子部品に係合するようにスペース取りをして構成配置された、複数の（事前加工された）液冷冷却プレート８２０を含む事前構成されたモノリシック構造体を含む。この実施形態では、各液冷冷却プレート８２０は、液体冷却剤取入れ口及び放出口と、取り付けサブアセンブリ（すなわち冷却プレート／装着アーム・アセンブリ）とを含む。各取付けサブアセンブリは、それぞれの液冷冷却プレート８２０を関連する電子部品に連結して、冷却プレートと電子部品とのアセンブリを形成するため用いられる。前記組み込みの特許出願、名称「Ｍｅｔｈｏｄ ｏｆ Ａｓｓｅｍｂｌｉｎｇ ａ Ｃｏｏｌｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ ａ Ｍｕｌｔｉ−Ｃｏｍｐｏｎｅｎｔ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｙｓｔｅｍ（複数部品電子機器システムに対する冷却システム組立ての方法）」にさらに記載されているように、整列用開口（すなわち、スルーホール）が冷却プレートの両側に設けられ、アセンブリの工程において整列ピンないし位置決めくぎを受ける。加えて、取り付けアセンブリ内にはコネクタ（ないしガイド・ピン）が含まれ、取り付けアセンブリの使用を容易にする。
【００３３】
図８に示されるように、ヘッダ・アセンブリ８５０は、２つの液体マニホルドすなわち冷却剤供給ヘッダ８５２と冷却剤回収ヘッダ８５４とを含み、一つの実施形態では、両者は支持ブラケットによって連結される。図８のモノリシック冷却構造において、冷却剤供給ヘッダ８５２は、各々の冷却剤供給管８４０に金属結合され流体連通し、冷却剤回収ヘッダ８５４は、各々の冷却剤回収管８４２に金属結合され流体連通している。単一の冷却剤取入れ口８５１及び単一の冷却剤放出口８５３は、ヘッダ・アセンブリから延び、電子機器ラックの冷却剤供給及び回収マニホルド（図示せず）に連結している。
【００３４】
さらに、図８は、事前構成された冷却剤搬送管の一つの実施形態をも示す。冷却剤供給管８４０及び冷却剤回収管８４２に加え、ブリッジ管ないしライン８４１が設けられ、例えば、一つの冷却プレートの冷却剤放出口を別の冷却プレートの取入れ口に連結し、流体を両冷却プレートに直列に流し、これら冷却プレートのペアが、それぞれ、冷却剤供給及び回収管の組を介して液体冷却剤を受取り、返送する。一つの実施形態において、冷却剤供給管８４０、ブリッジ管８４１、及び冷却剤回収管８４２は、各々、事前構成され、銅又はアルミニウムなどの温度伝導性の材料で形成された半剛体管であり、これらの管は、それぞれ、ヘッダ・アセンブリ又は冷却プレートあるいはその両方に、流体的に密封してロウ付け、半田付け、又は溶接される。これらの管は、特定の電子機器システムに対して事前構成され、該電子機器システムに係合するよう関係付けられて、そのモノリシックな構造体の据付を容易にする。
【００３５】
電子機器ラック内の発熱電子部品の液体冷却によって、これら部品が発生させる熱の除去を大きく促進することができる。しかしながら、特定の高いパフォーマンスのシステムでは、プロセッサなどの冷却される特定の部品が放散する熱が、液体冷却システムの熱を吸い出す能力を超えることがある。例えば、全構成された、前記で説明したような液冷式電子機器ラックは、約７２ｋＷもの熱を放散することがある。この熱の半分は、前記のような液冷冷却プレートを使い、液体冷却剤によって除去することができよう。熱の他の半分は、メモリ、電源などにより放散されることになろうが、これらはエア冷却される。電子機器ラックがデータ・センタにおかれる密度によっては、既存の空調施設は、電子機器ラックからのこういった高いエア熱負荷によるストレスを受ける。そこで、本明細書が提示する解決策は、エア／液体熱交換器を、例えば電子機器ラックのエア放出口側面に組込み、電子機器ラックから流出するエアから熱を吸収する方法である。本明細書において、この解決策は、電子機器ラック内の特定の一次的発熱部品に対する液冷冷却プレートと組合わせて提供される。必要な冷却剤の量を供給するために、２つのＭＣＵが電子機器ラックと関連付けられ、システム冷却剤は、各ＭＣＵから、電子機器ラックの一つ以上の電子サブシステム内に配置された液冷冷却プレートへのシステム冷却剤の流れへの供給と同時に、エア／液体熱交換器にも供給される。なお、所望により、個々の液冷冷却プレートへのシステム冷却剤の流れは、直列／並列配置の数多くのやり方のいずれとすることもできる。
【００３６】
また、高いシステム稼働率のため、電子機器ラックの一つのモジュール式冷却ユニットの故障に関わらず、他方のモジュール式冷却ユニットのオペレーションを維持するための技法を以下に説明する。これは、液体冷却されているラックの一つ以上の電子サブシステムシステムへの冷却剤供給の継続を可能にする。電子機器ラック内の一次的発熱電子部品の液体冷却を促進するために、一つ以上の遮断バルブを用い、（２つのＭＣＵの一つのＭＣＵの故障が検知されたとき）エア／液体熱交換器への冷却剤の流れを遮断し、これにより、電子サブシステムの直接冷却のための冷却剤を保存する。
【００３７】
前記に要約した本発明の態様を図９〜１３のシステム及び方法の実施形態を参照しながら、以下にさらに説明する。
【００３８】
図９は、あるシステムの一つの実施形態を示しており、電子機器ラック９００は複数の発熱電子サブシステム９１０を含み、これらサブシステムは、それぞれＭＣＵ１及びＭＣＵ２と標識された少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）９２０、９３０を含む冷却システムを用いて液体冷却される。これらＭＣＵは、複数の発熱電子サブシステムに、それらの液体冷却を促進するため、並行してシステム冷却剤を供給するよう構成され連結される。各ＭＣＵ９２０、９３０は、それぞれ、液体／液体熱交換器９２１、９３１と、第一冷却剤ループ９２２、９３２と、第二冷却剤ループ９２３、９３３とを含む。第一冷却剤ループ９２２、９３２は、（例えば）施設水供給ライン４４０及び施設水回収ライン４４１を経由して、施設冷却剤などの冷やされた冷却剤を受取るように連結される。各第一冷却剤ループ９２２、９３２は、これらに流入する冷やされた冷却剤の少なくとも一部を、それぞれの液体／液体熱交換器９２１、９３１に流通させる。各第二ループ９２３、９３３は、冷やされたシステム冷却剤を電子機器ラック９００の複数の発熱電子サブシステム９１０に供給し、それぞれの液体／液体熱交換器９２１，９３１を介して、複数の発熱電子サブシステム９１０からの熱を、第一冷却剤ループ９２２、９３２の冷やされた冷却剤に放熱する。
【００３９】
第二冷却剤ループ９２３、９３３は、それぞれの冷却剤供給ライン９２４、９３４を含み、該ラインは、冷やされたシステム冷却剤を、液体／液体熱交換器９２１、９３１からシステム冷却剤供給マニホルド９４０に供給する。システム冷却剤供給マニホルド９４０は、柔軟な供給ホース９４１を介して、電子機器ラック９００の複数の発熱電子サブシステム９１０に（例えば、システム冷却剤供給マニホルドのそれぞれのポートに接続されたクイック・コネクト・カップリングを使って）連結される。同様に、第二冷却剤ループ９２３、９３３は、システム冷却剤回収マニホルド９５０をそれぞれの液体／液体熱交換器９２１、９３１に連結するシステム冷却剤回収ライン９２５、９３５を含む。システム冷却剤は、複数の発熱電子部品９１０から、発熱電子サブシステムをシステム冷却剤回収マニホルド９５０に連結している柔軟な回収ホース９５１を経由して排出される。一つの実施形態において、回収ホースは、クイック・コネクト・カップリングを用いてシステム冷却剤回収マニホルドのれぞれのポートに連結することができる。さらに、一つの実施形態において、複数の発熱電子サブシステムは、各々、柔軟な供給ホース９４１と柔軟な回収ホース９５１とに連結された、図７及び８に関連して前記で説明したような、それぞれの液体ベース冷却サブシステムを含み、これらは電子機器システム内に配置された一つ以上の発熱電子部品の液体冷却を促進する。
【００４０】
電子機器ラックの複数の発熱電子サブシステムにシステム冷却剤を並行して供給、排出するのに加え、ＭＣＵ９２０と９３０とは並行して、例えば、電子機器ラック９００のエア取入れ口側面からエア放出口側面に該ラックを流通するエアを冷却するために配置された、エア／液体熱交換器９６０にもシステム冷却剤を供給する。例として、エア／液体熱交換器９６０は、電子機器ラック９００もエア放出口側面に配置された背面扉熱交換器である。さらに、一つの例において、エア／液体熱交換器９６０は、電子機器ラック９００から流出するほぼ全てのエアを冷却するようなサイズに設定され、これにより、該電子機器ラックを収容するデータ・センタに対する空調に対する要求を軽減する。一つの例において、データ・センタ内の複数の電子機器ラックは、各々、本明細書で説明し、図９に示すような冷却システムを備える。
【００４１】
図９の実施形態において、システム冷却剤は、システム冷却剤供給マニホルド９４０をエア／液体熱交換器９６０に連結する冷却剤供給ライン９６１と、該エア／液体熱交換器をシステム冷却剤回収マニホルド９５０に連結する冷却剤回収ライン９６２とを経由して、エア／液体熱交換器９６０に流入しこれから流出する。クイック・コネクト・カップリングを、エア／液体熱交換器９６０の取入れ口及び放出口に、又はシステム冷却剤供給及び回収マニホルドの対応するポートに、あるいはその両方に用いて、冷却剤供給及び回収ライン９６１、９６２の接続を容易にすることができる。一つの実施形態において、図示された２つのＭＣＵの１つのＭＣＵを、必要な設計パラメータ範囲内で、複数の発熱電子サブシステムとエア／液体熱交換器との両方からの全熱負荷を吸収するための一次ＭＣＵ（他方のＭＣＵはバックアップＭＣＵ）として機能するようにサイズ設定はできないと仮定される。従って、２つのＭＣＵ９２０、９３０は、通常のオペレーションでは並行して機能することが前提とされる。また、こうすることにより、冷却システムに対する冗長性が確実になる。
【００４２】
図示されるように、該冷却システムは、システム・コントローラ９７０と、ＭＣＵ制御器１（９８０）及びＭＣＵ制御器２（９９０）とをさらに含み、これらは、一緒に協働して、各ＭＣＵのシステム冷却剤の温度をモニタし、一つのＭＣＵの故障を検知したとき、自動的に故障したＭＣＵを（その作動停止を確実にすると同時に）エア／液体熱交換器９６０から分離し、残った作動可能なＭＣＵを使って、ラックの電子機器システムに供給されるシステム冷却剤の冷却能力が低下しないようにする。一つの実施形態において、ＭＣＵ制御器１及びＭＣＵ制御器２は、各々、それぞれのＭＣＵに関連付けられたコントロール・カードである。
【００４３】
図示されるように、システム・コントローラ９７０は、ＭＣＵ制御器１とＭＣＵ制御器２との両方に連結される。ＭＣＵ制御器１（９８０）は温度センサＴ１９８１と連結されており、該センサはシステム冷却剤供給ライン９２４中の、例えば、ＭＣＵ１（９２０）内の液体／液体熱交換器９２１の冷却剤放出口近辺のシステム冷却剤の温度を感知するよう配置される。さらに、ＭＣＵ制御器１（９８０）は、ソレノイド作動の遮断バルブ９８２に連結されており、該バルブは、図示された実施形態では、システム冷却剤供給マニホルド９４０をエア／液体熱交換器９６０に、流体連通して連結させている冷却剤供給ライン９６１の中に配置される。同様に、ＭＣＵ制御器２（９９０）は、ＭＣＵ２（９３０）と、システム冷却剤供給ライン９３４内のシステム冷却剤の温度を感知するよう配置された第二温度センサＴ２９９１と、第二遮断バルブＳ２９９２とに連結しており、該遮断バルブは、図示の例では、エア／液体熱交換器９６０を冷却剤回収マニホルド９５０に連結している冷却剤回収ライン９６２に連結されている。
【００４４】
図１０〜１３は、システム・コントローラ９７０、ＭＣＵ制御器１（９８０）、及びＭＣＵ制御器２（９９０）により実行される処理手順を示す。表１には、図１０〜１３の例示フローチャートで使われる変数と、冷却システムが正常に作動している際に、各変数が取り得る値及び初期状態を記載する。
【００４５】
【表１】
【００４６】
図１０〜１３においては、数字「１」又は「２」を使って変数がさら番号付けされ、第一又は第二温度センサ、第一又は第二ＭＣＵ、あるいは第一又は第二遮断バルブのいずれに該変数が適用されるかを示す。
【００４７】
以下の説明では、システム・コントローラ９７０（図９）、ＭＣＵ制御器１カード９８０、及びＭＣＵ制御器２カード９９０内で行われる処理手順を参照しながら記述するが、当業者は、本明細書で説明する処理手順は、各温度センサ、遮断バルブ、及びＭＣＵに連結された単一のコントローラでも容易に実行できることを理解するであろう。例示した実施形態において、図１０及び１２は、システム・コントローラ９７０内で実行される処理手順を示し、図１１はＭＣＵ制御器１（９８０）の処理手順、図１３はＭＣＵ制御器２（９９０）の処理手順を表す（これらは例示目的だけのものである）。
【００４８】
図１０から始めると、システム・コントローラは、ＭＣＵ制御器１からの入力として、ＭＣＵ１からのシステム冷却剤のアウトプットが、規定内（すなわち、規定された範囲内）にあるかどうかを示す、変数ＴＳ１を受信する１０００。システム・コントローラは、まず、ＭＣＵ１が作動しているかどうか（すなわち、変数ＳＴ１＝１かどうか）を判定する１００５。「ＮＯ」の場合、処理手順はＭＣＵ制御器１に戻り１０３０、システム・コントローラは、現在のＳＴ１及びＳＶ１の値をＭＣＵ制御器１に送り返す。
【００４９】
ＭＣＵ１が作動していれば、システム・コントローラは、温度センサＴ１によって感知された温度が、規定内にあるかどうか（すなわち、ＴＳ１＝１がどうか）を判定する１０１０。「ＹＥＳ」の場合、処理手順はＭＣＵ制御器１に戻る１０３０。温度センサＴ１によって感知されたシステム冷却剤の温度が規定外れである場合、システム・コントローラは、ＭＣＵ２が作動停止されているか（すなわち、ＳＴ２＝０か？）どうかを判定する１０１５。「ＮＯ」の場合、変数ＳＴ１がゼロに設定されてＭＣＵ１が作動停止さるべきことが指定され１０２０、変数ＳＶ１がゼロに設定されて遮断バルブＳ１の閉鎖が命令される１０２５。これらの新しい値はＭＣＵ制御器１に戻され１０３０、新規設定値として以下に説明するように機能する。
【００５０】
ＭＣＵ２が作動停止されていれば、処理手順は、遮断バルブＳ１が閉鎖されているかどうか（ＦＶ１＝１？）を判定する１０３５。「ＮＯ」の場合、変数ＳＶ１がゼロに設定されて遮断バルブを閉鎖する命令が出され１０４０、しかる後、処理手順は、該新規ＳＶ１と共にＭＣＵ制御器１に戻り、遮断バルブＳ１の閉鎖が行われる。遮断バルブＳ１が閉鎖されている場合、システム・コントローラは、変数ＳＴ１をゼロに設定してＭＣＵ１の作動を停止させ１０４５、関連する電子機器ラックに対する冷却システムが作動停止されていることを示すアラームを（例えば、データ・センタのオペレータに向け）発信し、しかる後、処理手順はＭＣＵ制御器１に戻り、ＭＣＵ１の作動停止が行われる。
【００５１】
前記のように、図１１は、ＭＣＵ制御器１（９８０）（図９）によって実行される処理手順の一つの実施形態を示す。ＭＣＵ制御器１は、システム・コントローラからの入力として変数ＳＴ１及びＳＶ１を受信し１１００、まず、ＭＣＵ１が作動停止されているかどうか（ＦＳ１＝１？）を判定する１１０５。「ＹＥＳ」の場合、処理手順はシステム・コントローラに戻る１１４５。「ＮＯ」の場合、処理手順は、ＭＣＵ１を作動停止にするかどうか（ＳＴ１＝０？）を判定する１１１０。「ＹＥＳ」の場合、ＭＣＵ制御器１は、ＭＣＵ１を作動停止させ１１１５、変数ＦＳ１を１に設定し１１２０てＭＣＵ１が作動停止されていることを表示し、しかる後、処理手順はシステム・コントローラに戻る１１４５。
【００５２】
ＭＣＵ１の作動を停止しない場合、処理手順は、遮断バルブＳ１が閉鎖されているかどうか（ＦＶ１＝０？）を判定する１１２５。「ＹＥＳ」の場合、処理手順は、ｔ時間待った後に１１３０、温度センサＴ１を読み取る１１３５。例として、時間ｔは、作動では１５〜３０秒位にできようか。次いで、処理手順は、温度センサＴ１の値が規定内にあるか（例えば、Ｔ１は所定の許容下限値（ＬＬ）より高く、且つ、所定の許容上限値（ＵＬ）より低いか？）どうかを判定する１１４０。「ＮＯ」の場合、変数ＴＳ１はゼロに設定されてシステム冷却剤の温度が規定外れであることが表示され１１５０、処理手順はシステム・コントローラに戻る１１４５。ステップ１１２５で、遮断バルブＳ１が閉鎖されていないと判定された場合、処理手順は、遮断バルブＳ１を閉鎖するかどうかを判定する１１５５。「ＮＯ」の場合、処理手順は、ｔ時間待った後前記同様に進む。「ＹＥＳ」の場合、ＭＣＵ制御器１は、遮断バルブＳ１を閉鎖し１１６０、変数ＦＶ１を１に設定し１１６５、処理制御をシステム・コントローラに戻す１１４５。
【００５３】
前記のように、図１２は、ＭＣＵ制御器２に関する、システム・コントローラの処理手順を示す。前記で図１０に関連して説明したように、システム・コントローラは、ＭＣＵ制御器２から入力として、第二システム冷却剤温度が規定内（すなわち、規定範囲内）にあるかどうかを表示する変数ＴＳ２を受信する１２００。システム・コントローラは、まず、ＭＣＵ２が作動しているかどうか（すなわち、変数ＳＴ２＝１かどうか）を判定する１２０５。「ＮＯ」の場合、処理手順はＭＣＵ制御器２に戻り１２３０、システム・コントローラは、現在のＳＴ２及びＳＶ２の値をＭＣＵ制御器２に送り返す。
【００５４】
ＭＣＵ２が作動していれば、システム・コントローラは、温度センサＴ２によって感知された温度が、規定内にある（ＴＳ２＝１）かどうかを判定する１２１０。「ＹＥＳ」の場合、処理手順はＭＣＵ制御器１に戻る１２３０。温度センサＴ２によって感知されたシステム冷却剤の温度が規定外れである場合、システム・コントローラは、ＭＣＵ１が作動停止されているか（すなわち、ＳＴ１＝０か？）どうかを判定する１２１５。「ＮＯ」の場合、変数ＳＴ２がゼロに設定されて、ＭＣＵ２が作動停止さるべきことが表示され１２２０、変数ＳＶ２がゼロの設定されて、遮断バルブＳ２の閉鎖が命令される１２２５。これらの新しい値はＭＣＵ制御器２に戻され１２３０、新規設定値として以下に説明するように機能する。
【００５５】
ＭＣＵ１が作動停止されていれば、処理手順は、遮断バルブＳ２が閉鎖されているかどうか（ＦＶ２＝１？）を判定する１２３５。「ＮＯ」の場合、変数ＳＶ２がゼロに設定されて遮断バルブを閉鎖する命令が出され１２４０、しかる後、処理手順は、該新規ＳＶ２と共にＭＣＵ制御器２に戻り、遮断バルブＳ２の閉鎖が行われる。遮断バルブＳ２が閉鎖されている場合、システム・コントローラは、変数ＳＴ２をゼロに設定してＭＣＵ２の作動を停止させ１２４５、関連する電子機器ラックに対する冷却システムが作動停止されていることを示すアラームを（例えば、データ・センタのオペレータに向け）発信し、しかる後、処理手順はＭＣＵ制御器２に戻り、ＭＣＵ２の作動停止が行われる。
【００５６】
図１３は、ＭＣＵ制御器２によって実行される処理手順の一つの実施形態を示す。ＭＣＵ制御器２は、システム・コントローラからの入力として変数ＳＴ２及びＳＶ２を受信し１３００、まず、ＭＣＵ２が作動停止されているかどうか（ＦＳ２＝１？）を判定する。「ＹＥＳ」の場合、処理手順はシステム・コントローラに戻る１３４５。「ＮＯ」の場合、処理手順は、ＭＣＵ２を作動停止にするかどうか（ＳＴ２＝０？）を判定する１３１０。「ＹＥＳ」の場合、ＭＣＵ制御器２は、ＭＣＵ２を作動停止させ１３１５、変数ＦＳ２を１に設定し１３２０してＭＣＵ２が作動停止されていることを表示し、しかる後、処理手順はシステム・コントローラに戻る１３４５。
【００５７】
ＭＣＵ２の作動を停止しない場合、処理手順は、遮断バルブＳ２が閉鎖されているかどうか（ＦＶ２＝０？）を判定する１３２５。「ＹＥＳ」の場合、処理手順は、ｔ時間待った後に１３３０、温度センサＴ２を読み取る１３３５。例として、時間ｔは、作動では１５〜３０秒位にできようか。次いで、処理手順は、温度センサＴ２の値が規定内にあるか（例えば、Ｔ２は所定の許容下限値（ＬＬ）より高く、且つ、所定の許容上限値（ＵＬ）より低いか？）どうかを判定する１３４０。「ＮＯ」の場合、変数ＴＳ２はゼロに設定されてシステム冷却剤の温度が規定外れであることが表示され１３５０、処理手順はシステム・コントローラに戻る１３４５。ステップ１３２５で、遮断バルブＳ２が閉鎖されていないと判定された場合、処理手順は、遮断バルブＳ２を閉鎖するかどうかを判定する１３５５。「ＮＯ」の場合、処理手順は、ｔ時間待った後前記のように進む。「ＹＥＳ」の場合、ＭＣＵ制御器２は、遮断バルブＳ２を閉鎖し１３６０、変数ＦＶ２を１に設定し１３６５、処理制御をシステム・コントローラに戻す１３４５。
【００５８】
当業者は、前記の説明から、これらの図面に描かれた、冷却剤制御バルブのオペレーション及び操作手順のさまざまな態様は、例えば、冷却剤供給装置内に配置して適切なコントローラを設け、該コントローラに連結されたソレノイド作動の制御バルブを使うことによって自動化できることに気付いていよう。
【００５９】
さらに具体的には、前記に提示された詳細な説明は、コンピュータ、ネットワーク、又はコンピュータ群によって実行可能なプロシージャに関して論じられる。当業者は、こういったプロシージャ及び表現を使って、その製作品を最も効果的に他の当業者に伝えることができよう。これらは、ハードウエア又はソフトウエア、あるいは両者の組合せとして実装することができる。
【００６０】
本明細書において、また一般的にも、プロシージャとは、所望の結果に導くステップのシーケンスと考えられる。これらのステップは、物理的量の物理的な操作を必要とするものである。通常、必然ではないにせよ、これらの量は保存し、伝送し、組合せ、比較し、又は他の方法で操作可能な電気又は磁気信号の形をとる。場合により、主に共用のため、これらの信号をビット、値、要素、シンボル、文字、用語、数字、オブジェクト、属性などで表すのが便利であることが分かっている。但し、これらの全ての及び類似の用語は、対応する物理量と関連付けられるものであり、それらの物理量に適用される単なる便利な標識であることに留意すべきである。
【００６１】
さらに、実施される操作は、多くの場合、閉じる、又は開くといった言葉で表され、これらは、共通して、人間のオペレータの手作業に関連したものである。本発明の一部を成す、本発明に記載のオペレーションは、こういった人間オペレータの介入を必要とせず、これらオペレーションは、自動的なマシン・オペレーションとして実行することができる。本発明のオペレーションを実施するための有用なマシンには、汎用デジタル・コンピュータ又は同様な装置が含まれる。
【００６２】
本発明の態様は、望ましくは、ハイ・レベルのプロシージャ又はオブジェクト指向プログラミング言語で実装されコンピュータと交信する。但し、本発明の態様は、所望する場合、アセンブリ又はマシン言語で実装することもできる。いずれの場合も、言語を、コンパイラ型又はインタープリタ型言語とすることができる。
【００６３】
本発明は、記録媒体を含む、メカニズム又はコンピュータ・プログラム製品として実装することができる。こういったメカニズム又はコンピュータ・プログラム製品には、以下に限らないが、ＣＤ−ＲＯＭ、ディスケット、テープ、ハード・ドライブ、コンピュータＲＡＭ又はＲＯＭ、及び、電子的、磁気的、光学的、生物学的、又は他の類似のプログラム具現体を含めることができる。実際上、該メカニズム又はコンピュータ・プログラム製品には、本発明の方法によって、プログラム可能な汎用又は専用のコンピュータを制御する、マシン可読の信号を保存又は送信するための、又は、本発明のシステムによって前記信号の構成要素を構築するための、あるいはその両方のための、任意の、磁気的、光学的、又は類似の固体又は流体の伝達媒体を含めることができる。
【００６４】
本発明の態様をシステムに実装することができる。システムには、プロセッサ及びメモリ装置を包含するコンピュータと、随意的に、記憶装置と、映像ディスプレイなどの出力装置又はキーボード、コンピュータ・マウスなどの入力装置あるいはこれらの両方とを含めることができる。さらに、システムには、相互接続されたコンピュータのネットワークを含めることができる。コンピュータは、単独型（従来のデスクトップ・パソコンのような）とすることも、又は別の環境に組み込まれた形（部分的に集合された計算環境）とすることもできる。該システムは、例えば、本発明の方法のステップを実施するため必要な目的にそって特別に構築することができ、あるいは、該システムには、コンピュータに保存された、本明細書の教示によるコンピュータ・プログラムによって選択的に作動され又は再構成される、一つ以上の汎用コンピュータを含めることができる。本明細書に提示されたプロシージャは、本質的に特定の計算環境に関連しているものではない。これらのさまざまなシステムに必要な構成は、前記の説明から見出すことができよう。
【００６５】
本発明の一つ以上の態様の機能をソフトウエア、ファームウエア、ハードウエア、又はその何らかの組合せに実装することができる。
【００６６】
本発明の一つ以上の態様は、例えばコンピュータが使用可能な媒体を有する製造品（例、一つ以上のコンピュータ・プログラム製品）の中に含めることができる。該媒体はその中に、例えば、本発明の機能を提供しやり易くするコンピュータ可読のプログラム・コード手段又はロジック（例、命令、符号、コマンドなど）を有する。この製造品は、コンピュータ・システムの一部として含めることもそれと別に販売することもできる。
【００６７】
さらに、本発明の機能を実施する、マシン実行可能な命令の少なくとも一つのプログラムを具現する、マシン可読の少なくとも一つのプログラム記憶装置を提供することができる。
【００６８】
本明細書に示された流れ図は単なる例である。本発明の精神から逸脱することなく、本明細書に記載されたこれらの図又はステップ（ないしオペレーション）についての多くの変形ができよう。例えば、これらステップは異なる順序で実施することができ、ステップを加えたり、削除したり、又は変更することができる。これらの全ての変形は、請求された発明の一部と見なされる。
【００６９】
本明細書において、好適な諸実施形態を詳細に図示し説明してきたが、当業者には、本発明の精神から逸脱することなく、さまざまな変更、追加、代替などが行えることは自明であろう。従って、これらは、添付の請求項に定義された本発明の範囲内にあると見なされる。
【図面の簡単な説明】
【００７０】
【図１】従来式の、エア冷却コンピュータ施設の上げ床レイアウトの一つの実施形態を示す。
【図２】本発明で取り扱う一つの問題を図示し、エア冷却コンピュータ施設の上げ床レイアウトの一つの実施例における戻り循環エア流のパターンを示す。
【図３】本発明の態様による、電子機器ラックのエア放出口側面に配置された少なくとも一つのエア／液体熱交換器を用いる、電子機器ラックの一つの実施形態の横断平面図を示す。
【図４】本発明の態様による装置で冷却される複数の電子サブシステムを含む、液冷式電子機器ラックの一つの実施形態の前面立面図を示す。
【図５】本発明の態様による、電子機器ラックの電子サブシステムの一つの実施形態の系統図を示し、電子部品モジュールが、電子機器ラック内に配置された一つ以上のモジュール式冷却ユニットにより供給されるシステム冷却剤によって液体冷却されている。
【図６】本発明の態様による、液冷式電子機器ラック内に配置されたモジュール式冷却ユニットの一つの実施形態の系統図を示す。
【図７】本発明の態様による、電子サブシステム・レイアウトの一つの実施形態の平面図を示し、電子サブシステムの冷却コンポーネントに対するエア及び液体冷却サブシステムを表している。
【図８】本発明の態様による、一部が組立てられた電子サブシステム・レイアウトの詳細な実施形態を示し、該電子サブシステムは、能動冷却の対象となる８つの発熱電子部品を含み、その各々がそれぞれ、それに連結された、液体ベース冷却システムの液冷冷却プレートを有する。
【図９】本発明の態様による、液冷式電子機器ラックとそれに関連する冷却システムとを含むシステムの一つの実施形態の系統図を示し、該冷却システムは、ラックの電子サブシステムと、ラックから流出するエアを冷却するため例えば電子機器ラックのエア放出口側面に配置された、エア／液体熱交換器とに、液体冷却剤を並行して供給する２つのモジュール式冷却ユニット（ＭＣＵ）を含む。
【図１０】本発明の態様による、ＭＣＵ１の故障の検知と、故障に応答して、ＭＣＵ１の作動停止とエア／液体熱交換器への冷却剤の流れの遮断とを円滑に行うために、図９のシステム・コントローラが実施する処理手順の一つの実施形態のフローチャートを示す。
【図１１】本発明の態様による、図９のＭＣＵ制御器１によって実施される処理手順の一つの実施形態を示し、該制御器は、システム冷却剤の温度のモニタを円滑化し、ＭＣＵ１の故障が検知されたときは、これを作動停止させ遮断バルブ１を閉じる。
【図１２】本発明の態様による、ＭＣＵ２の故障の検知と、故障に応答して、ＭＣＵ２の作動停止とエア／液体熱交換器への冷却剤の流れの遮断とを円滑に行うために、図９のシステム・コントローラが実施する処理手順の一つの実施形態のフローチャートを示す。
【図１３】本発明の態様による、図９のＭＣＵ制御器２によって実施される処理手順の一つの実施形態を示し、該制御器は、システム冷却剤の温度のモニタを円滑化し、ＭＣＵ２の故障が検知されたときは、これを作動停止させ遮断バルブ２を閉じる。
【符号の説明】
【００７１】
９７０ システム・コントローラ
９８０ ＭＣＵ制御器１
９９０ ＭＣＵ制御器２
【特許請求の範囲】
【請求項１】
電子機器の冷却を促進するシステムであって、
前記システムは、
少なくとも一つの発熱電子サブシステムを含む電子機器ラックと、
前記電子機器ラックと関連付けられ、前記少なくとも一つの発熱電子サブシステムの冷却を促進するため、これらに、システム冷却剤を並行して供給するよう構成された少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）と、
前記電子機器ラックを流通するエアの少なくとも一部を冷却するため、前記電子機器ラックと関連付けられているエア／液体熱交換器と、
前記エア／液体熱交換器を通るシステム冷却剤の流れを、選択的に遮断するように連結された、少なくとも一つの遮断バルブと、
前記少なくとも二つのＭＣＵの一つのＭＣＵの故障を検知したとき、前記エア／液体熱交換器を通るシステム冷却剤の流れを自動的に遮断するため、前記少なくとも一つの遮断バルブに連結された少なくとも一つのコントローラと、
を含み、
前記電子機器ラックは、それぞれ外部エアの流入と流出とを可能にする、エア取入れ口側面とエア放出口側面とを含み、
前記少なくとも二つのＭＣＵの各ＭＣＵは、液体／液体熱交換器と第一冷却剤ループと第二冷却剤ループとを含み、作動時に、各ＭＣＵの前記第一冷却剤ループは、供給源から冷やされた冷却剤を受取り、前記液体／液体熱交換器を通して少なくともその一部を伝達し、前記第二冷却剤ループは、冷やされたシステム冷却剤を、前記少なくとも一つの発熱電子サブシステムに供給し、前記液体／液体熱交換器の中で、前記少なくとも一つの発熱電子サブシステムからの熱を前記第一冷却剤ループ中の前記冷やされた冷却剤中に放熱し、
前記エア／液体熱交換器は、前記少なくとも二つのＭＣＵからシステム冷却剤を受取り、前記少なくとも二つのＭＣＵにシステム冷却剤を排出するよう連結され、
作動時に、前記少なくとも二つのＭＣＵは並行して、前記少なくとも一つの発熱電子サブシステムに対しその液体冷却のために、さらに、前記エア／液体熱交換器に対し前記電子機器ラックを流通するエアの少なくとも一部を冷却するために、冷やされたシステム冷却剤を供給し、加えて、前記少なくとも一つのコントローラは、少なくとも前記二つのＭＣＵの一つのＭＣＵの故障が検知されたのに応答して、残った作動可能な少なくとも一つのＭＣＵを介し前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の流れを継続させその液体冷却を続けさせながら、前記少なくとも一つの遮断バルブを用いて、システム冷却剤が前記エア／液体熱交換器を通るのを自動的に遮断する、
システム。
【請求項２】
前記電子機器ラックと関連付けられたシステム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドをさらに含み、前記システム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドは、各々、前記少なくとも二つのＭＣＵと流体連通して連結されて前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の供給を円滑化し、加えて、前記エア／液体熱交換器は、前記システム冷却剤供給マニホルドからシステム冷却剤を受取るため、冷却剤供給ラインを介して前記システム冷却剤供給マニホルドに連結され、さらに、前記システム冷却剤回収マニホルドにシステム冷却剤を排出するため、冷却剤回収ラインを介して前記システム冷却剤回収マニホルドに連結されており、加えて、作動時に、前記少なくとも二つのＭＣＵは並行して、冷やされたシステム冷却剤を前記システム冷却剤供給マニホルドに供給し、前記システム冷却剤回収マニホルドから排出されたシステム冷却剤を並行して受取り、前記システム冷却剤供給マニホルドは、前記少なくとも一つの発熱電子サブシステムと前記エア／液体熱交換器とに並行して冷やされたシステム冷却剤を供給する、
請求項１に記載のシステム。
【請求項３】
前記少なくとも二つのモジュール式冷却ユニットは、第一モジュール式冷却ユニットと第二モジュール式冷却ユニットとを含み、前記少なくとも一つのコントローラは、第一モジュール式冷却ユニット制御器と第二モジュール式冷却ユニット制御器とを含み、前記第一モジュール式冷却ユニット制御器及び前記第二モジュール式冷却ユニット制御器は、それぞれ、前記第一モジュール式冷却ユニット及び前記第二モジュール式冷却ユニットのオペレーションをモニタする、請求項２に記載のシステム。
【請求項４】
前記第一モジュール式冷却ユニットの前記第二冷却剤ループ中の、前記液体／液体熱交換器と前記システム冷却剤供給マニホルドとの間に、システム冷却剤の温度を感知するため配置された第一温度センサと、前記第二モジュール式冷却ユニットの前記第二冷却剤ループ中の、前記液体／液体熱交換器と前記システム冷却剤供給マニホルドとの間に、システム冷却剤の温度を感知するため配置された第二温度センサとをさらに含み、規定された温度範囲から外れるシステム冷却剤温度は、前記第一モジュール式冷却ユニット制御器又は前記第二モジュール式冷却ユニット制御器によって、それぞれ、前記第一モジュール式冷却ユニット又は第二モジュール式冷却ユニットの故障として識別される、請求項３に記載のシステム。
【請求項５】
前記少なくとも一つの遮断バルブは、第一遮断バルブと第二遮断バルブとを含み、前記第一遮断バルブは、前記第一モジュール式冷却ユニット制御器によって制御され、前記第二遮断バルブは、前記第二モジュール式冷却ユニット制御器によって制御されており、前記第一モジュール式冷却ユニット制御器は、前記第一温度センサを介してシステム冷却剤温度の前記規定温度範囲からの外れを検知を容易にし、これに応答して、前記第一遮断バルブを閉鎖して前記エア／液体熱交換器を通るシステム冷却剤の流れを遮断し、前記第二モジュール式冷却ユニット制御器は、前記第二温度センサを介してシステム冷却剤温度の前記規定温度範囲からの外れを検知を容易にし、これに応答して、前記第二遮断バルブを閉鎖して前記エア／液体熱交換器を通るシステム冷却剤の流れを遮断する、請求項４に記載のシステム。
【請求項６】
前記第一遮断バルブは、前記第一温度センサによって前記規定温度範囲を外れるシステム冷却剤温度が検知されるのに応答し、前記エア／液体熱交換器へのシステム冷却剤の流れを自動的に遮断することを容易にするため、前記冷却剤供給ラインに連結されており、前記第二遮断バルブは、前記第二温度センサによって前記規定温度範囲を外れるシステム冷却剤温度が検知されるのに応答し、前記エア／液体熱交換器へのシステム冷却剤の流れを自動的に遮断することを容易にするため、前記冷却剤供給ラインに連結されている、請求項５に記載のシステム。
【請求項７】
前記少なくとも一つのコントローラは、システム・コントローラを含み、前記システム・コントローラは、前記第一モジュール式冷却ユニット制御器と前記第二モジュール式冷却ユニット制御器とに連結されており、前記システム・コントローラは、前記少なくとも二つのＭＣＵ中の少なくとも一つの故障したＭＣＵの遮断を容易にする、請求項３に記載のシステム。
【請求項８】
前記エア／液体熱交換器は、前記電子機器ラックから流出するエアを冷却するため、前記電子機器ラックの前記エア放出口側面に配置されており、前記電子機器ラックは、前記電子機器ラックを通る外部エア流を促進するための少なくとも一つの送風装置をさらに含み、前記エア／液体熱交換器は、前記電子機器ラックを収容するデータ・センタの中に流れ出るエアの温度を低下させ、これにより前記データ・センタに対する空調要求レベルを軽減し、加えて、前記電子機器ラックは、複数の発熱電子サブシステムをさらに含み、各発熱電子サブシステムは少なくとも一つの発熱電子部品を含み、加えて、前記システムは複数の冷却サブシステムをさらに含み、各冷却サブシステムは少なくとも一つの液冷冷却プレートを含み、各液冷冷却プレートは、前記複数の発熱電子サブシステムのそれぞれの発熱電子サブシステムのそれぞれの発熱電子部品に、これら部品の冷却を容易にするため関連付けられている、請求項１に記載のシステム。
【請求項９】
前記電子機器ラックに支持され、その前記エア取入れ口側面に配置された、システム冷却剤供給マニホルドとシステム冷却剤回収マニホルドとをさらに含み、前記システム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドは、各々、前記少なくとも二つのＭＣＵと流体連通して連結されて、前記複数の冷却サブシステムへのシステム冷却剤の供給を円滑化し、加えて、前記エア／液体熱交換器は、前記システム冷却剤供給マニホルドからシステム冷却剤を受取るため、冷却剤供給ラインを介して前記システム冷却剤供給マニホルドに連結され、さらに、前記システム冷却剤回収マニホルドにシステム冷却剤を排出するため、冷却剤回収ラインを介して前記システム冷却剤回収マニホルドに連結されており、加えて、前記少なくとも二つのＭＣＵは、前記電子機器ラックの低位部分に配置されており、作動時に、前記少なくとも二つのＭＣＵは並行して、冷やされたシステム冷却剤を前記システム冷却剤供給マニホルドに供給し、前記システム冷却剤回収マニホルドから排出されたシステム冷却剤を並行して受取り、前記システム冷却剤供給マニホルドは、前記複数の冷却サブシステムと前記エア／液体熱交換器とに並行に冷やされたシステム冷却剤を供給する、請求項８に記載のシステム。
【請求項１０】
複数の電子機器ラックと、
複数の冷却システムと、
を含むデータ・センタであって、
各電子機器ラックは、少なくとも一つの発熱電子サブシステムと、外部エアの流入及び流出をそれぞれ可能にするエア取入れ口側面及びエア放出口側面とを含み、
各冷却システムはそれぞれの電子機器ラックと関連付けられており、
前記冷却システムは、
前記電子機器ラックと関連付けられ、前記少なくとも一つの発熱電子サブシステムの冷却を促進するため、これらに、システム冷却剤を並行して供給するよう構成された少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）と、
前記電子機器ラックを流通するエアの少なくとも一部を冷却するため、前記電子機器ラックと関連付けられたエア／液体熱交換器と、
前記エア／液体熱交換器を通る前記システム冷却剤の流れを、選択的に遮断するよう連結された、少なくとも一つの遮断バルブと、
前記少なくとも二つのＭＣＵの一つのＭＣＵの故障を検知したとき、前記エア／液体熱交換器を通るシステム冷却剤の流れを自動的に遮断するため、前記少なくとも一つの遮断バルブに連結された少なくとも一つのコントローラと、
を含み、
前記少なくとも二つのＭＣＵの各ＭＣＵは、液体／液体熱交換器と第一冷却剤ループと第二冷却剤ループとを含み、作動時に、各ＭＣＵの前記第一冷却剤ループは、供給源から冷やされた冷却剤を受取り、前記液体／液体熱交換器を通して少なくともその一部を伝達し、前記第二冷却剤ループは、冷やされたシステム冷却剤を、前記少なくとも一つの発熱電子サブシステムに供給し、前記液体／液体熱交換器の中で、前記関連する電子機器ラックの前記少なくとも一つの発熱電子サブシステムからの熱を前記第一冷却剤ループ中の前記冷やされた冷却剤中に放熱し、
前記エア／液体熱交換器は、前記少なくとも二つのＭＣＵからシステム冷却剤を受取り、前記少なくとも二つのＭＣＵにシステム冷却剤を排出するよう連結され、
作動時に、前記少なくとも二つのＭＣＵは並行して、前記関連する電子機器ラックの前記少なくとも一つの発熱電子サブシステムに対しその液体冷却のために、さらに、前記エア／液体熱交換器に対し、前記関連する電子機器ラックを流通するエアの少なくとも一部を冷却するために、冷やされたシステム冷却剤を供給し、加えて、前記少なくとも一つのコントローラは、少なくとも前記二つのＭＣＵの一つのＭＣＵの故障が検知されたのに応答して、残った作動可能な少なくとも一つのＭＣＵを介する前記関連する電子機器ラックの前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の流れを継続させその液体冷却を続けさせながら、前記少なくとも一つの遮断バルブを用いて、システム冷却剤が前記エア／液体熱交換器を通るのを自動的に遮断する、
データ・センタ。
【請求項１１】
各冷却システムの前記少なくとも二つのモジュール式冷却ユニットは、第一モジュール式冷却ユニットと第二モジュール式冷却ユニットとを含み、各冷却システムは、第一温度センサと第二温度センサとをさらに含み、前記第一温度センサは、前記第一モジュール式冷却ユニットの前記第二冷却剤ループ中の冷却剤温度を感知するため、その前記液体／液体熱交換器の放出口近辺に配置され、前記第二温度センサは、前記第二モジュール式冷却ユニットの前記第二冷却剤ループ中の冷却剤温度を感知するため、その前記液体／液体熱交換器の放出口近辺に配置されており、規定の温度範囲を外れて感知されたシステム冷却剤温度は、前記第一モジュール式冷却ユニット又は第二モジュール式冷却ユニットそれぞれの故障を表す、請求項１０に記載のデータ・センタ。
【請求項１２】
各冷却システムの前記少なくとも一つの遮断バルブは、第一遮断バルブと第二遮断バルブとを含み、前記第一遮断バルブ及び前記第二遮断バルブは、各々、前記少なくとも一つのコントローラが前記第一モジュール式冷却ユニット又は第二モジュール式冷却ユニットの故障を検知したのに応答して、前記エア／液体熱交換器を通るシステム冷却剤の流れの遮断を容易にするため配置される、請求項１１に記載のデータ・センタ。
【請求項１３】
各冷却システムは、システム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドを含み、前記システム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドは、各々、前記関連する電子機器ラックの前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の供給を容易にするため、前記少なくとも二つのＭＣＵと流体連通して連結され、加えて、前記エア／液体熱交換器は、前記システム冷却剤供給マニホルドからシステム冷却剤を受取るため、冷却剤供給ラインを介して前記システム冷却剤供給マニホルドに連結され、さらに、前記システム冷却剤回収マニホルドにシステム冷却剤を排出するため、冷却剤回収ラインを介して前記システム冷却剤回収マニホルドに連結されており、加えて、作動時に、前記少なくとも二つのＭＣＵは並行して、冷やされたシステム冷却剤を前記システム冷却剤供給マニホルドに供給し、前記システム冷却剤回収マニホルドから排出されたシステム冷却剤を並行して受取り、前記システム冷却剤供給マニホルドは、前記関連する電子機器ラックの前記少なくとも一つの発熱電子サブシステムと前記エア／液体熱交換器とに並行して冷やされたシステム冷却剤を供給し、加えて、前記第一遮断バルブ及び第二遮断バルブは、前記冷却剤供給ライン又は冷却剤回収ラインの少なくとも一つに流体連通している、請求項１２に記載のデータ・センタ。
【請求項１４】
電子機器の冷却を促進する方法であって、
前記方法は、
電子機器ラックの少なくとも一つの発熱電子サブシステムを冷却するステップと、
少なくとも二つのＭＣＵの一つのＭＣＵの故障をモニタ（ｍｏｎｉｔｏｒｉｎｇ）し、前記少なくとも二つのＭＣＵの一つのＭＣＵの故障が検知されたとき、残った作動可能な少なくとも一つのＭＣＵを介し、前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の流れを継続させその液体冷却を続けさせながら、エア／液体熱交換器を通るシステム冷却剤の流れを自動的に遮断する、ステップとを含み、
前記電子機器ラックは、外部エアの流入及び流出をそれぞれ可能にする、エア取入れ口側面及びエア放出口側面を含み、
前記冷却するステップは、
前記電子機器ラックに関連する少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）を用い（ｅｍｐｌｏｙｉｎｇ）、前記ラックの前記少なくとも一つの発熱電子サブシステムに、システム冷却剤を並行して供給するステップと、
前記電子機器ラックに関連させて配置された前記エア／液体熱交換器を使って（ｕｔｉｌｉｚｉｎｇ）、前記電子機器ラックを流通するエアの少なくとも一部を冷却するステップと、
を含み、
前記少なくとも二つのＭＣＵの各ＭＣＵは、液体／液体熱交換器と第一冷却剤ループと第二冷却剤ループとを含み、作動時に、各ＭＣＵの前記第一冷却剤ループは、供給源から冷やされた冷却剤を受取り、前記液体／液体熱交換器を通して少なくともその一部を伝達し、前記第二冷却剤ループは、冷やされたシステム冷却剤を、前記電子機器ラックの前記少なくとも一つの発熱電子サブシステムへの供給を容易にし、前記液体／液体熱交換器の中で、前記少なくとも一つの発熱電子サブシステムからの熱を前記第一冷却剤ループ中の前記冷やされた冷却剤中に放熱し、
前記エア／液体熱交換器は、前記少なくとも二つのＭＣＵからシステム冷却剤を受取り、前記少なくとも二つのＭＣＵにシステム冷却剤を排出するよう連結される、方法。
【請求項１５】
前記少なくとも二つのＭＣＵのどのＭＣＵが故障しているのかを自動的に判定し、前記少なくとも一つの残った作動可能なＭＣＵを作動させ、前記電子機器ラックの前記少なくとも一つの発熱電子サブシステムにシステム冷却剤を供給してその液体冷却を続けながら、前記故障しているＭＣＵを自動的に作動停止させるステップをさらに含む、請求項１４に記載の方法。
【請求項１６】
前記用いるステップ（ｅｍｐｌｏｙｉｎｇ）は、前記電子機器ラックに関連付けられたシステム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドを用いるステップをさらに含み、前記システム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドは、前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の供給を容易にするため、各々前記少なくとも二つのモジュール式冷却ユニットに流体連通して連結され、加えて、前記使うステップ（ｕｔｉｌｉｚｉｎｇ）は、前記システム冷却剤供給マニホルドから冷却剤供給ラインを介して前記エア／液体熱交換器にシステム冷却剤を供給するステップと、前記エア／液体熱交換器から冷却剤回収ラインを介して前記システム冷却剤回収マニホルドにシステム冷却剤を排出するステップとをさらに含み、前記冷却剤供給ライン又は冷却剤回収ラインの少なくとも一つは、それに関連付けられた少なくとも一つの遮断バルブを有し、前記少なくとも二つのＭＣＵの一つのＭＣＵの故障が検知されたのに応答して、前記エア／液体熱交換器を通るシステム冷却剤の流れの前記自動的遮断を容易にする、請求項１４に記載の方法。
【請求項１７】
前記モニタするステップ（ｍｏｎｉｔｏｒｉｎｇ）は、前記少なくとも二つのＭＣＵの第一ＭＣＵの第二冷却剤ループ中の、前記液体／液体熱交換器と前記システム冷却剤供給マニホルドとの間で第一システム冷却剤温度をモニタするステップと、前記少なくとも二つのＭＣＵの第二ＭＣＵの第二冷却剤ループ中の、前記液体／液体熱交換器と前記システム冷却剤供給マニホルドとの間で第二システム冷却剤の温度をモニタするステップとをさらに含み、前記第一システム冷却剤温度又は前記第二システム冷却剤温度が、規定された温度範囲から外れている場合、前記少なくとも二つのＭＣＵの前記第一又は第二ＭＣＵは、それぞれに故障として識別されて自動的に遮断され、同時に前記エア／液体熱交換器を通るシステム冷却剤の流れも遮断される、請求項１６に記載の方法。
【請求項１８】
自動的に遮断するステップは、第一遮断バルブ又は第二遮断バルブの少なくとも一つを用いるステップを含み、前記第一遮断バルブは前記少なくとも二つのＭＣＵの第一ＭＣＵに関連付けられていて、前記第二遮断バルブは前記少なくとも二つのＭＣＵの第二ＭＣＵに関連付けられていて、前記自動的に遮断するステップは、前記第一ＭＣＵの故障が検知されたとき、前記第一遮断バルブを自動的に閉鎖、又は前記第二ＭＣＵの故障が検知されたとき、前記第二遮断バルブを自動的に閉鎖するステップをさらに含む、請求項１６に記載の方法。
【請求項１９】
前記第一ＭＣＵ及び前記第二ＭＣＵの両方が故障したとき、冷却作用の作動停止を表すアラーム信号を発信するステップをさらに含む、請求項１８に記載の方法。
【請求項２０】
前記モニタするステップは、前記エア／液体熱交換器を通るシステム冷却剤の流れの遮断の後ｔ時間待って、しかる後、前記少なくとも二つのＭＣＵの少なくとも一つの第二冷却剤ループ中のシステム冷却剤温度を感知し、前記感知されたシステム冷却剤温度が規定された温度範囲内にあるかどうかを判定し、範囲内にない場合、前記感知されたシステム冷却剤温度を包含する前記少なくとも一つの第二冷却剤ループを含む、前記少なくとも一つのＭＣＵを作動停止させるための信号伝達をするステップをさらに含む、請求項１４に記載の方法。
【請求項１】
電子機器の冷却を促進するシステムであって、
前記システムは、
少なくとも一つの発熱電子サブシステムを含む電子機器ラックと、
前記電子機器ラックと関連付けられ、前記少なくとも一つの発熱電子サブシステムの冷却を促進するため、これらに、システム冷却剤を並行して供給するよう構成された少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）と、
前記電子機器ラックを流通するエアの少なくとも一部を冷却するため、前記電子機器ラックと関連付けられているエア／液体熱交換器と、
前記エア／液体熱交換器を通るシステム冷却剤の流れを、選択的に遮断するように連結された、少なくとも一つの遮断バルブと、
前記少なくとも二つのＭＣＵの一つのＭＣＵの故障を検知したとき、前記エア／液体熱交換器を通るシステム冷却剤の流れを自動的に遮断するため、前記少なくとも一つの遮断バルブに連結された少なくとも一つのコントローラと、
を含み、
前記電子機器ラックは、それぞれ外部エアの流入と流出とを可能にする、エア取入れ口側面とエア放出口側面とを含み、
前記少なくとも二つのＭＣＵの各ＭＣＵは、液体／液体熱交換器と第一冷却剤ループと第二冷却剤ループとを含み、作動時に、各ＭＣＵの前記第一冷却剤ループは、供給源から冷やされた冷却剤を受取り、前記液体／液体熱交換器を通して少なくともその一部を伝達し、前記第二冷却剤ループは、冷やされたシステム冷却剤を、前記少なくとも一つの発熱電子サブシステムに供給し、前記液体／液体熱交換器の中で、前記少なくとも一つの発熱電子サブシステムからの熱を前記第一冷却剤ループ中の前記冷やされた冷却剤中に放熱し、
前記エア／液体熱交換器は、前記少なくとも二つのＭＣＵからシステム冷却剤を受取り、前記少なくとも二つのＭＣＵにシステム冷却剤を排出するよう連結され、
作動時に、前記少なくとも二つのＭＣＵは並行して、前記少なくとも一つの発熱電子サブシステムに対しその液体冷却のために、さらに、前記エア／液体熱交換器に対し前記電子機器ラックを流通するエアの少なくとも一部を冷却するために、冷やされたシステム冷却剤を供給し、加えて、前記少なくとも一つのコントローラは、少なくとも前記二つのＭＣＵの一つのＭＣＵの故障が検知されたのに応答して、残った作動可能な少なくとも一つのＭＣＵを介し前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の流れを継続させその液体冷却を続けさせながら、前記少なくとも一つの遮断バルブを用いて、システム冷却剤が前記エア／液体熱交換器を通るのを自動的に遮断する、
システム。
【請求項２】
前記電子機器ラックと関連付けられたシステム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドをさらに含み、前記システム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドは、各々、前記少なくとも二つのＭＣＵと流体連通して連結されて前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の供給を円滑化し、加えて、前記エア／液体熱交換器は、前記システム冷却剤供給マニホルドからシステム冷却剤を受取るため、冷却剤供給ラインを介して前記システム冷却剤供給マニホルドに連結され、さらに、前記システム冷却剤回収マニホルドにシステム冷却剤を排出するため、冷却剤回収ラインを介して前記システム冷却剤回収マニホルドに連結されており、加えて、作動時に、前記少なくとも二つのＭＣＵは並行して、冷やされたシステム冷却剤を前記システム冷却剤供給マニホルドに供給し、前記システム冷却剤回収マニホルドから排出されたシステム冷却剤を並行して受取り、前記システム冷却剤供給マニホルドは、前記少なくとも一つの発熱電子サブシステムと前記エア／液体熱交換器とに並行して冷やされたシステム冷却剤を供給する、
請求項１に記載のシステム。
【請求項３】
前記少なくとも二つのモジュール式冷却ユニットは、第一モジュール式冷却ユニットと第二モジュール式冷却ユニットとを含み、前記少なくとも一つのコントローラは、第一モジュール式冷却ユニット制御器と第二モジュール式冷却ユニット制御器とを含み、前記第一モジュール式冷却ユニット制御器及び前記第二モジュール式冷却ユニット制御器は、それぞれ、前記第一モジュール式冷却ユニット及び前記第二モジュール式冷却ユニットのオペレーションをモニタする、請求項２に記載のシステム。
【請求項４】
前記第一モジュール式冷却ユニットの前記第二冷却剤ループ中の、前記液体／液体熱交換器と前記システム冷却剤供給マニホルドとの間に、システム冷却剤の温度を感知するため配置された第一温度センサと、前記第二モジュール式冷却ユニットの前記第二冷却剤ループ中の、前記液体／液体熱交換器と前記システム冷却剤供給マニホルドとの間に、システム冷却剤の温度を感知するため配置された第二温度センサとをさらに含み、規定された温度範囲から外れるシステム冷却剤温度は、前記第一モジュール式冷却ユニット制御器又は前記第二モジュール式冷却ユニット制御器によって、それぞれ、前記第一モジュール式冷却ユニット又は第二モジュール式冷却ユニットの故障として識別される、請求項３に記載のシステム。
【請求項５】
前記少なくとも一つの遮断バルブは、第一遮断バルブと第二遮断バルブとを含み、前記第一遮断バルブは、前記第一モジュール式冷却ユニット制御器によって制御され、前記第二遮断バルブは、前記第二モジュール式冷却ユニット制御器によって制御されており、前記第一モジュール式冷却ユニット制御器は、前記第一温度センサを介してシステム冷却剤温度の前記規定温度範囲からの外れを検知を容易にし、これに応答して、前記第一遮断バルブを閉鎖して前記エア／液体熱交換器を通るシステム冷却剤の流れを遮断し、前記第二モジュール式冷却ユニット制御器は、前記第二温度センサを介してシステム冷却剤温度の前記規定温度範囲からの外れを検知を容易にし、これに応答して、前記第二遮断バルブを閉鎖して前記エア／液体熱交換器を通るシステム冷却剤の流れを遮断する、請求項４に記載のシステム。
【請求項６】
前記第一遮断バルブは、前記第一温度センサによって前記規定温度範囲を外れるシステム冷却剤温度が検知されるのに応答し、前記エア／液体熱交換器へのシステム冷却剤の流れを自動的に遮断することを容易にするため、前記冷却剤供給ラインに連結されており、前記第二遮断バルブは、前記第二温度センサによって前記規定温度範囲を外れるシステム冷却剤温度が検知されるのに応答し、前記エア／液体熱交換器へのシステム冷却剤の流れを自動的に遮断することを容易にするため、前記冷却剤供給ラインに連結されている、請求項５に記載のシステム。
【請求項７】
前記少なくとも一つのコントローラは、システム・コントローラを含み、前記システム・コントローラは、前記第一モジュール式冷却ユニット制御器と前記第二モジュール式冷却ユニット制御器とに連結されており、前記システム・コントローラは、前記少なくとも二つのＭＣＵ中の少なくとも一つの故障したＭＣＵの遮断を容易にする、請求項３に記載のシステム。
【請求項８】
前記エア／液体熱交換器は、前記電子機器ラックから流出するエアを冷却するため、前記電子機器ラックの前記エア放出口側面に配置されており、前記電子機器ラックは、前記電子機器ラックを通る外部エア流を促進するための少なくとも一つの送風装置をさらに含み、前記エア／液体熱交換器は、前記電子機器ラックを収容するデータ・センタの中に流れ出るエアの温度を低下させ、これにより前記データ・センタに対する空調要求レベルを軽減し、加えて、前記電子機器ラックは、複数の発熱電子サブシステムをさらに含み、各発熱電子サブシステムは少なくとも一つの発熱電子部品を含み、加えて、前記システムは複数の冷却サブシステムをさらに含み、各冷却サブシステムは少なくとも一つの液冷冷却プレートを含み、各液冷冷却プレートは、前記複数の発熱電子サブシステムのそれぞれの発熱電子サブシステムのそれぞれの発熱電子部品に、これら部品の冷却を容易にするため関連付けられている、請求項１に記載のシステム。
【請求項９】
前記電子機器ラックに支持され、その前記エア取入れ口側面に配置された、システム冷却剤供給マニホルドとシステム冷却剤回収マニホルドとをさらに含み、前記システム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドは、各々、前記少なくとも二つのＭＣＵと流体連通して連結されて、前記複数の冷却サブシステムへのシステム冷却剤の供給を円滑化し、加えて、前記エア／液体熱交換器は、前記システム冷却剤供給マニホルドからシステム冷却剤を受取るため、冷却剤供給ラインを介して前記システム冷却剤供給マニホルドに連結され、さらに、前記システム冷却剤回収マニホルドにシステム冷却剤を排出するため、冷却剤回収ラインを介して前記システム冷却剤回収マニホルドに連結されており、加えて、前記少なくとも二つのＭＣＵは、前記電子機器ラックの低位部分に配置されており、作動時に、前記少なくとも二つのＭＣＵは並行して、冷やされたシステム冷却剤を前記システム冷却剤供給マニホルドに供給し、前記システム冷却剤回収マニホルドから排出されたシステム冷却剤を並行して受取り、前記システム冷却剤供給マニホルドは、前記複数の冷却サブシステムと前記エア／液体熱交換器とに並行に冷やされたシステム冷却剤を供給する、請求項８に記載のシステム。
【請求項１０】
複数の電子機器ラックと、
複数の冷却システムと、
を含むデータ・センタであって、
各電子機器ラックは、少なくとも一つの発熱電子サブシステムと、外部エアの流入及び流出をそれぞれ可能にするエア取入れ口側面及びエア放出口側面とを含み、
各冷却システムはそれぞれの電子機器ラックと関連付けられており、
前記冷却システムは、
前記電子機器ラックと関連付けられ、前記少なくとも一つの発熱電子サブシステムの冷却を促進するため、これらに、システム冷却剤を並行して供給するよう構成された少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）と、
前記電子機器ラックを流通するエアの少なくとも一部を冷却するため、前記電子機器ラックと関連付けられたエア／液体熱交換器と、
前記エア／液体熱交換器を通る前記システム冷却剤の流れを、選択的に遮断するよう連結された、少なくとも一つの遮断バルブと、
前記少なくとも二つのＭＣＵの一つのＭＣＵの故障を検知したとき、前記エア／液体熱交換器を通るシステム冷却剤の流れを自動的に遮断するため、前記少なくとも一つの遮断バルブに連結された少なくとも一つのコントローラと、
を含み、
前記少なくとも二つのＭＣＵの各ＭＣＵは、液体／液体熱交換器と第一冷却剤ループと第二冷却剤ループとを含み、作動時に、各ＭＣＵの前記第一冷却剤ループは、供給源から冷やされた冷却剤を受取り、前記液体／液体熱交換器を通して少なくともその一部を伝達し、前記第二冷却剤ループは、冷やされたシステム冷却剤を、前記少なくとも一つの発熱電子サブシステムに供給し、前記液体／液体熱交換器の中で、前記関連する電子機器ラックの前記少なくとも一つの発熱電子サブシステムからの熱を前記第一冷却剤ループ中の前記冷やされた冷却剤中に放熱し、
前記エア／液体熱交換器は、前記少なくとも二つのＭＣＵからシステム冷却剤を受取り、前記少なくとも二つのＭＣＵにシステム冷却剤を排出するよう連結され、
作動時に、前記少なくとも二つのＭＣＵは並行して、前記関連する電子機器ラックの前記少なくとも一つの発熱電子サブシステムに対しその液体冷却のために、さらに、前記エア／液体熱交換器に対し、前記関連する電子機器ラックを流通するエアの少なくとも一部を冷却するために、冷やされたシステム冷却剤を供給し、加えて、前記少なくとも一つのコントローラは、少なくとも前記二つのＭＣＵの一つのＭＣＵの故障が検知されたのに応答して、残った作動可能な少なくとも一つのＭＣＵを介する前記関連する電子機器ラックの前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の流れを継続させその液体冷却を続けさせながら、前記少なくとも一つの遮断バルブを用いて、システム冷却剤が前記エア／液体熱交換器を通るのを自動的に遮断する、
データ・センタ。
【請求項１１】
各冷却システムの前記少なくとも二つのモジュール式冷却ユニットは、第一モジュール式冷却ユニットと第二モジュール式冷却ユニットとを含み、各冷却システムは、第一温度センサと第二温度センサとをさらに含み、前記第一温度センサは、前記第一モジュール式冷却ユニットの前記第二冷却剤ループ中の冷却剤温度を感知するため、その前記液体／液体熱交換器の放出口近辺に配置され、前記第二温度センサは、前記第二モジュール式冷却ユニットの前記第二冷却剤ループ中の冷却剤温度を感知するため、その前記液体／液体熱交換器の放出口近辺に配置されており、規定の温度範囲を外れて感知されたシステム冷却剤温度は、前記第一モジュール式冷却ユニット又は第二モジュール式冷却ユニットそれぞれの故障を表す、請求項１０に記載のデータ・センタ。
【請求項１２】
各冷却システムの前記少なくとも一つの遮断バルブは、第一遮断バルブと第二遮断バルブとを含み、前記第一遮断バルブ及び前記第二遮断バルブは、各々、前記少なくとも一つのコントローラが前記第一モジュール式冷却ユニット又は第二モジュール式冷却ユニットの故障を検知したのに応答して、前記エア／液体熱交換器を通るシステム冷却剤の流れの遮断を容易にするため配置される、請求項１１に記載のデータ・センタ。
【請求項１３】
各冷却システムは、システム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドを含み、前記システム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドは、各々、前記関連する電子機器ラックの前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の供給を容易にするため、前記少なくとも二つのＭＣＵと流体連通して連結され、加えて、前記エア／液体熱交換器は、前記システム冷却剤供給マニホルドからシステム冷却剤を受取るため、冷却剤供給ラインを介して前記システム冷却剤供給マニホルドに連結され、さらに、前記システム冷却剤回収マニホルドにシステム冷却剤を排出するため、冷却剤回収ラインを介して前記システム冷却剤回収マニホルドに連結されており、加えて、作動時に、前記少なくとも二つのＭＣＵは並行して、冷やされたシステム冷却剤を前記システム冷却剤供給マニホルドに供給し、前記システム冷却剤回収マニホルドから排出されたシステム冷却剤を並行して受取り、前記システム冷却剤供給マニホルドは、前記関連する電子機器ラックの前記少なくとも一つの発熱電子サブシステムと前記エア／液体熱交換器とに並行して冷やされたシステム冷却剤を供給し、加えて、前記第一遮断バルブ及び第二遮断バルブは、前記冷却剤供給ライン又は冷却剤回収ラインの少なくとも一つに流体連通している、請求項１２に記載のデータ・センタ。
【請求項１４】
電子機器の冷却を促進する方法であって、
前記方法は、
電子機器ラックの少なくとも一つの発熱電子サブシステムを冷却するステップと、
少なくとも二つのＭＣＵの一つのＭＣＵの故障をモニタ（ｍｏｎｉｔｏｒｉｎｇ）し、前記少なくとも二つのＭＣＵの一つのＭＣＵの故障が検知されたとき、残った作動可能な少なくとも一つのＭＣＵを介し、前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の流れを継続させその液体冷却を続けさせながら、エア／液体熱交換器を通るシステム冷却剤の流れを自動的に遮断する、ステップとを含み、
前記電子機器ラックは、外部エアの流入及び流出をそれぞれ可能にする、エア取入れ口側面及びエア放出口側面を含み、
前記冷却するステップは、
前記電子機器ラックに関連する少なくとも二つのモジュール式冷却ユニット（ＭＣＵ）を用い（ｅｍｐｌｏｙｉｎｇ）、前記ラックの前記少なくとも一つの発熱電子サブシステムに、システム冷却剤を並行して供給するステップと、
前記電子機器ラックに関連させて配置された前記エア／液体熱交換器を使って（ｕｔｉｌｉｚｉｎｇ）、前記電子機器ラックを流通するエアの少なくとも一部を冷却するステップと、
を含み、
前記少なくとも二つのＭＣＵの各ＭＣＵは、液体／液体熱交換器と第一冷却剤ループと第二冷却剤ループとを含み、作動時に、各ＭＣＵの前記第一冷却剤ループは、供給源から冷やされた冷却剤を受取り、前記液体／液体熱交換器を通して少なくともその一部を伝達し、前記第二冷却剤ループは、冷やされたシステム冷却剤を、前記電子機器ラックの前記少なくとも一つの発熱電子サブシステムへの供給を容易にし、前記液体／液体熱交換器の中で、前記少なくとも一つの発熱電子サブシステムからの熱を前記第一冷却剤ループ中の前記冷やされた冷却剤中に放熱し、
前記エア／液体熱交換器は、前記少なくとも二つのＭＣＵからシステム冷却剤を受取り、前記少なくとも二つのＭＣＵにシステム冷却剤を排出するよう連結される、方法。
【請求項１５】
前記少なくとも二つのＭＣＵのどのＭＣＵが故障しているのかを自動的に判定し、前記少なくとも一つの残った作動可能なＭＣＵを作動させ、前記電子機器ラックの前記少なくとも一つの発熱電子サブシステムにシステム冷却剤を供給してその液体冷却を続けながら、前記故障しているＭＣＵを自動的に作動停止させるステップをさらに含む、請求項１４に記載の方法。
【請求項１６】
前記用いるステップ（ｅｍｐｌｏｙｉｎｇ）は、前記電子機器ラックに関連付けられたシステム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドを用いるステップをさらに含み、前記システム冷却剤供給マニホルド及びシステム冷却剤回収マニホルドは、前記少なくとも一つの発熱電子サブシステムへのシステム冷却剤の供給を容易にするため、各々前記少なくとも二つのモジュール式冷却ユニットに流体連通して連結され、加えて、前記使うステップ（ｕｔｉｌｉｚｉｎｇ）は、前記システム冷却剤供給マニホルドから冷却剤供給ラインを介して前記エア／液体熱交換器にシステム冷却剤を供給するステップと、前記エア／液体熱交換器から冷却剤回収ラインを介して前記システム冷却剤回収マニホルドにシステム冷却剤を排出するステップとをさらに含み、前記冷却剤供給ライン又は冷却剤回収ラインの少なくとも一つは、それに関連付けられた少なくとも一つの遮断バルブを有し、前記少なくとも二つのＭＣＵの一つのＭＣＵの故障が検知されたのに応答して、前記エア／液体熱交換器を通るシステム冷却剤の流れの前記自動的遮断を容易にする、請求項１４に記載の方法。
【請求項１７】
前記モニタするステップ（ｍｏｎｉｔｏｒｉｎｇ）は、前記少なくとも二つのＭＣＵの第一ＭＣＵの第二冷却剤ループ中の、前記液体／液体熱交換器と前記システム冷却剤供給マニホルドとの間で第一システム冷却剤温度をモニタするステップと、前記少なくとも二つのＭＣＵの第二ＭＣＵの第二冷却剤ループ中の、前記液体／液体熱交換器と前記システム冷却剤供給マニホルドとの間で第二システム冷却剤の温度をモニタするステップとをさらに含み、前記第一システム冷却剤温度又は前記第二システム冷却剤温度が、規定された温度範囲から外れている場合、前記少なくとも二つのＭＣＵの前記第一又は第二ＭＣＵは、それぞれに故障として識別されて自動的に遮断され、同時に前記エア／液体熱交換器を通るシステム冷却剤の流れも遮断される、請求項１６に記載の方法。
【請求項１８】
自動的に遮断するステップは、第一遮断バルブ又は第二遮断バルブの少なくとも一つを用いるステップを含み、前記第一遮断バルブは前記少なくとも二つのＭＣＵの第一ＭＣＵに関連付けられていて、前記第二遮断バルブは前記少なくとも二つのＭＣＵの第二ＭＣＵに関連付けられていて、前記自動的に遮断するステップは、前記第一ＭＣＵの故障が検知されたとき、前記第一遮断バルブを自動的に閉鎖、又は前記第二ＭＣＵの故障が検知されたとき、前記第二遮断バルブを自動的に閉鎖するステップをさらに含む、請求項１６に記載の方法。
【請求項１９】
前記第一ＭＣＵ及び前記第二ＭＣＵの両方が故障したとき、冷却作用の作動停止を表すアラーム信号を発信するステップをさらに含む、請求項１８に記載の方法。
【請求項２０】
前記モニタするステップは、前記エア／液体熱交換器を通るシステム冷却剤の流れの遮断の後ｔ時間待って、しかる後、前記少なくとも二つのＭＣＵの少なくとも一つの第二冷却剤ループ中のシステム冷却剤温度を感知し、前記感知されたシステム冷却剤温度が規定された温度範囲内にあるかどうかを判定し、範囲内にない場合、前記感知されたシステム冷却剤温度を包含する前記少なくとも一つの第二冷却剤ループを含む、前記少なくとも一つのＭＣＵを作動停止させるための信号伝達をするステップをさらに含む、請求項１４に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−１３０３５８（Ｐ２００９−１３０３５８Ａ）
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願番号】特願２００８−２９３５７３（Ｐ２００８−２９３５７３）
【出願日】平成２０年１１月１７日（２００８．１１．１７）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願日】平成２０年１１月１７日（２００８．１１．１７）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
[ Back to top ]