第一部分
介绍高性能计算 (HPC) 领域正在经历一场深刻的变革，其驱动力是人工智能、机器学习和物联网等各个领域对增强计算能力的持续需求。计算需求的激增推动了高端中央处理器 (CPU) 和图形处理器 (GPU) 的发展，其特点是晶体管密度大幅增加。随着这些处理器突破计算界限，它们同时产生更高的散热功率 (TDP) 和更强的热通量，迫切需要先进的冷却解决方案来缓解相关的散热挑战。最近的一篇论文[1]和一篇科学杂志上的出版物[2]报告称，与 2010 年的数据相比，全球能源消耗增加了 6%，但计算能力在此期间增加了 550% 以上。
数据中心能源的最大部分被 IT 和冷却设备消耗，约占总能源消耗的 30-50% [3]。传统的冷却方法主要依赖于空气冷却，但事实证明，这种冷却方法不足以满足当代处理器不断增长的散热需求。随着 CPU 和 GPU 不断发展，达到新的复杂性和性能水平，空气冷却系统的局限性变得越来越明显。在空气冷却中，使用计算机房空调 (CRAC) 或计算机空气处理器 (CRAH)，并遵循最佳实践，例如放置热通道和冷通道密封装置、使用架空地板、布置机架、电缆管理等，以提高冷却效率。随着机架密度的增加，保持冷却效率和组件所需的结温或外壳温度变得极其困难。随着气流需求的增加，风扇产生的噪声和功耗也会增加。为了应对这一挑战，电子冷却领域已经见证了向液体冷却的范式转变，这是一种更高效、更有效的方法来管理与高性能计算相关的热问题。
液冷系统相比风冷具有更出色的散热能力，非常适合对最佳热性能要求不高的应用。在液冷领域，基于冷板的解决方案已成为一种受欢迎的选择，尤其是直接应用于芯片时。冷却策略的这种演变不仅提高了传热效率，而且还解决了密集电子元件中常见的空间限制和不规则热分布问题。从冷板到机架级测试，已经进行了大量研究来提高直接芯片液冷的整体性能。在一项研究[4]中，他们用数值方法研究了目标冷却液输送对散热器的影响，并提出了一种将热阻降低 42% 的冷板设计。Hadad 等人进行的一项研究。[5]对热水冷却 V 型槽冲击 (TISE) 微通道冷板进行了数值建模，以预测压降并进行优化，研究了翅片倾斜角度对热阻和压降的影响，并观察到翅片倾斜角度确实对压降有影响，但对热阻的影响却很弱。通过实验和 CFD 对冷板的特性进行了几项研究，结果表明，通过优化分流冷板，性能有所提高[6] - [8]。还对 PCB 板故障的可靠性方面进行了几项研究[9] - [11]。
为了提高间接液体冷却技术的冷却效率，研究人员提出了混合冷却技术，即大功率组件通过液体冷却冷却，小功率组件通过空气冷却[12]。一项实验研究表明，改进管道以更好地为 1U 服务器中的组件提供气流，可获得冷却优势[13]。对 1U 服务器的热捕获率 (HCR) 研究表明，不同参数（例如空气和液体入口温度以及气流速率）可能会影响液体的 HCR [14]。对后门热交换器 (RDHx) 的研究表明了其可行性，并根据热负荷和服务器设计为其在数据中心实施提供了指导[15]。在数据中心，在特定时刻，所有服务器可能以不同的工作负载运行[16] [17]，因此恒定的流速可能导致过大的泵送功率，因此动态冷却至关重要[18] - [20]。对于动态冷却，设计、开发和表征了流量控制装置，并制定了控制策略以根据热负荷优化流速，从而节省泵送功率[21] - [26]。一项研究表征了不同的冷却回路，并开发了使用 CFD 的分析和数值模拟来分析液-液冷却，包括冷却剂分配单元 (CDU)，并开发了一个用于确定回路管道尺寸的系统计算器[27] [28]。研究还显示了不同类型冷却剂的腐蚀影响。一项研究表明了不同流体对传热和压降的影响[29]。一项研究表明了铜冷板的腐蚀机理以及流体温度、其类型和电位的影响[30]。一项热学和水力学研究显示了不同供应商提供的相同冷却剂的影响，并表明给定冷板的热阻和压降没有影响，但从可靠性来看，每种供应商的冷却液对构建液-液数据中心所使用的不同润湿材料有不同的腐蚀影响[31]。[32]
液体冷却效率的基础在于精心协调整个系统中的冷却液流动和分配。系统中的主要组件是 CDU、行和机架歧管以及冷却回路。确保液体冷却装置成功的关键组件之一是 CDU。作为冷却基础设施的中枢神经系统，CDU 在管理整个系统的流量、温度和压力方面发挥着至关重要的作用。了解这些组件的架构和功能对于理解现代液体冷却系统的复杂性至关重要。
随着液体冷却（尤其是基于冷板的解决方案）的采用不断增加，调试成为系统部署中不可或缺的一部分。调试涉及一个系统过程，旨在验证组件和整个冷却系统的正常功能。这一阶段的重要性怎么强调也不为过，因为它是一种主动措施，可以防止潜在问题，例如冷却剂分布不均匀、冷却剂污染、泄漏和长期可靠性受损。
这项全面的研究深入探讨了高性能计算先进冷却解决方案的各个方面，重点关注调试过程。以下各节将深入探讨背景、先进冷却的意义、液体冷却带来的挑战、CDU 的关键作用以及调试在确保液体冷却系统效率和寿命方面的关键重要性。
第二部分液冷数据中心液体冷却可以在数据中心内大规模实施，并在各个层面运行。这包括在机架层面采用液体冷却，这可能需要使用机架式 CDU。或者，可以建立一个完全液冷的数据中心，其中行式 CDU 通过行歧管循环流体以将其分配到机架。在机架内，机架歧管用于将冷却剂分配到安装在服务器组件上的冷却回路。图 1显示了数据中心和液冷机架的直观表示。
图片
图 1.数据中心设施（右）、液冷机架（左）
在数据中心内部署液体冷却系统本身就存在一系列挑战和问题，必须在设施全面投入运营之前解决这些问题。调试在确保缓解这些挑战以及数据中心按要求安全高效地运行方面起着至关重要的作用。此过程涉及工程师进行彻底检查以验证设施是否正常运行。后续章节概述了调试所必需的各种参数。正如我在
第三部分
调试程序本章介绍了不同组件（例如 CDU、行歧管、机架歧管和冷却回路）需要遵循的程序。图 2显示了数据中心的不同调试级别。
图片
图 2.数据中心的调试级别
A. 安装前检查了解数据中心内各种设备的安装规格和要求至关重要。对于图 3所示的机架和排歧管，在供应商将其运送到设施之前，需要验证的一些参数包括工作温度、压力范围、流速和爆破压力等。除了热和液压之外，还需要验证机械抗冲击和振动的能力，以确保其符合要求和规格。CDU 在安装前需要检查两个主要方面。首先，必须验证 CDU 的功率要求，并确保数据中心具有必要的功率容量和类型。
图片
图 3.排架式歧管（从左到右）
这些要求可能包括可用电压、所需的最大电流和相位类型（即单相或三相）。一旦满足了电力要求，第二个关键考虑因素就是管道方面。这涉及评估 CDU 的进料类型（是顶部进料还是底部进料），并确定具体的连接要求，包括管道尺寸和配件类型。此外，了解监控和与数据中心监控系统集成所需的连接类型也很重要。
图片
表一、 不同的 Cdu 配置表 1比较了不同供应商的 CDU 配置。负责部署数据中心的人员必须提前获得这些信息。这确保可以做出必要的安排。例如，从表中可以看出，来自不同供应商的两个 CDU 具有不同的电源要求 - 一个需要 480V 和 30 A (MCA) 连接，而来自供应商 B 的另一个 CDU 需要 460V 连接。对于供暖、通风和空调 (HVAC) 人员来说，拥有正确的信息（例如连接类型（顶部或底部进料））也至关重要，以规划管道连接并确定所需温度下主冷却剂的必要流速。这些细节至关重要，必须提前提供才能成功安装。
B. 调试前检查组件交付后，必须进行首件检验 (FAI)。在 FAI 期间，组件将接受目视检查，通过从内部和外部拍摄图像来观察和记录运输过程中发生的任何物理损坏。除了检查设备本身外，还需要验证供应商同意运输的所有随附配件，例如额外的过滤器、工具包、软管、额外配件等，以确保它们包含在组件中。图 4显示了 FAI 期间捕获的 CDU 外部图像。
图片
图 4.首件检验 (FAI) 期间拍摄的 CDU 图像
完成首件检验 (FAI) 后，将 CDU 和其他组件放置在指定位置并为其供电。此检查可确保内部传感器处于正常工作状态且无故障。该过程包括为 CDU 供电，激活所有内部电路，同时保持泵关闭，因为它未连接到任何回路并且不存在流体。图 5显示工程师正在检查电气连接和现场位置。
图片
图 5.工程师检查阶段和现场位置
此外，检查 CDU 的相位连接是否与可用相位一致，确保泵的旋转顺序正确至关重要。在向主回路和次回路注入任何流体之前，都需要检查过滤器。过滤器在 CDU 中起着至关重要的作用，不仅可以保护热交换器，还可以保护技术冷却回路 (TCS) 免受杂质或碎片造成的潜在损坏，否则可能会导致 CDU 整体性能下降。图 6显示了部署前拍摄的过滤器图像。
图片
图 6.部署前清洁过滤器的内部图像
C. 委托程序完成检查后，将 CDU 连接到供应和返回侧的排歧管所需的软管连接到自身，形成一个环路，CDU 通过软管连接到自身。然后用数据中心将使用的推荐冷却液填充环路。在用液体填充 CDU 时，必须检查环路连接和 CDU 本身是否有任何泄漏。充满后， CDU 泵以尽可能低的流速启动并运行几个小时。这允许液体清洁橡胶软管和 CDU 中存在的任何污染物。图 7显示了建议用于部署新数据中心的冲洗过程。
图片
图 7.整个系统的冲洗过程
如图8所示，首先将 CDU 和建议长度的软管连接在一起，并注入冷却液，冲洗两次并收集流体样本。第二步是连接 CDU 和排歧管并重复冲洗过程，第三次冲洗将添加机架歧管，最后冲洗冷却回路。
图片
图 8。CDU 循环往复
随后，如图 9所示，将流体从回路和 CDU 的排水点冲洗出来，并取样进行检查。然后拆下过滤器并检查是否有杂物。通过用水冲洗并以逆流方向通过加压空气来清洁过滤器以去除颗粒。整个过程重复两次，以消除供应商发货中可能存在的任何污染物和残留流体。如果在第二次运行后仍观察到污染，则可以重复该过程两次以上。
图片
图 9.从 CDU 排水口排出的流体
以此方式清洁 CDU 后，重复相同的过程，但现在需要连接排歧管和需要连接到机架的软管，以便首次部署数据中心，如图10所示。
图片
图 10。冲洗 CDU + 排歧管
对于已部署的数据中心，如果只需调试新的 CDU，则需要按照说明清洁 CDU 和将连接到系统的必要数量的软管。清洁回路、CDU 并排出所有液体后，最终将 CDU 与所有设备（包括行和机架歧管和服务器）连接到系统。
然后，CDU 用将要使用的流体对系统进行充电。由于这是第一次充电，系统中会有很多空气，需要在部署前将其排出。要释放系统中的所有空气，请确保系统中的所有空气放气阀都已打开。这些放气阀位于 CDU 的最高点，如果是底部进料系统，则位于机架歧管上；否则，如果系统是顶部进料，则最高点可能位于头顶排歧管上方。为了排出系统中的空气，CDU 保持非常低的流速。在这些低流速期间，系统保持运行，并定期停止流动，然后再次充电。释放空气是一个漫长的过程，CDU 应保持运行至少 12 小时以排出所有空气。
D. 流体采样在液体冷却中，监测液体的健康状况非常重要，因为它直接影响冷却性能。建议每次冲洗后从不同位置（例如过滤器槽、泵、储液器等）取样，然后送去实验室测试，以检查提供液体健康状况数据的参数，例如 pH 值、电导率、浊度、硬度、氯化物和硫酸盐浓度。为了收集样品，建议将样品放入与需要储存的液体兼容的瓶子中。在我们的案例中，我们使用高密度聚乙烯 (HDPE) 500 毫升瓶来收集液体。图 11显示了从位于过滤器槽的排水口取样以将液体收集到 HDPE 瓶中。
图片
图 11.高密度聚乙烯 (HDPE) 样品中收集的液体
E.实验成功部署液压液体冷却后，必须检查 CDU 的功能。因此，在 CDU 运行之前，需要在所需的热负荷下测试 CDU 的不同功能。为了进行测试，八个 52U 机架，每个机架由四个热测试车辆 (TTV) 组成，构成数据中心设施。流体通过行歧管分配到 CDU，通过机架歧管分配到机架。图12显示了具有底部进料的 CDU 的一般设施布局示意图。为了进行测试，TCS 回路中使用的流体是 25%（体积/体积%）的丙二醇，FWS 回路含有水。
图片
图 12。液冷数据中心布局示意图
F. 泄漏报警测试该测试旨在验证 CDU 内部泄漏时泄漏警报的功能。在本次测试中，被测试的 CDU 有一个警报，当底部的滴水盘充满泄漏的冷却剂时会触发该警报。为了模拟泄漏场景，将冷却剂缓慢倒入滴水盘，并检查 CDU 是否有泄漏警报。图 13显示了滴水盘中的槽中装满了 PG-25
图片
图 13。滴水盘槽装满 PG25
G. 恒流模式在恒定流量模式下，CDU 配置调整为在流量模式下运行，其中 CDU 泵的频率受到动态控制以维持预定义的流速。在进行的实验中，流速有意在 160 升/分钟 (lpm) 至 400 lpm 的范围内变化。本实验的具体边界条件详见表2。
图片
表 II. 恒流模式的边界条件1）恒压差模式在恒压模式下，CDU 会接受测试以评估其调节泵频率和维持整个系统指定压差的能力。在这组特定实验中，CDU 配置为恒压差模式。由于每个机架都配备了独特的歧管，具有不同的压降，因此在给定的系统压降下，各个流速会有所不同。
为了均衡流量，在每个机架歧管的出口处都安装了流量控制装置。这些装置根据预定的压降调整阀门角度。在整个实验过程中，活动机架的流量控制装置完全打开，CDU 上的系统压降逐渐增加，直到所有机架至少都达到所需的 40 lpm 流量。
当压降最高的机架达到 40 lpm 的目标时，其余机架的流量会自动超过 40 lpm。此既定压降成为 CDU 的期望值。下一步涉及调整接收最高流量的机架的流量控制装置以保持所需的压降，促进阀门的调节并确保 40 lpm 的恒定流量。对其他机架重复此过程。表 3列出了此实验的具体边界条件。
图片
表 III. 恒压差模式的边界条件2）低热负荷热试验在本测试中，CDU 以恒定压差模式运行，以确保所有八个机架均接收 40 lpm 的流速，从而使整个系统的总流速达到 320 lpm。一旦流速确定，就会引入 6 kW 的热负荷，占 CDU 最大冷却能力的 1%。CDU 配置为将冷却剂供应温度保持在 35°C，并且可以在各种温度下进行测试。低负荷测试的边界条件详见表4。
图片
表 IV. 低载荷试验的边界条件3）高热负荷试验在本测试中，CDU 以恒定压差模式运行，确保八个机架中的每个机架的流速为 40 lpm，整个系统总计为 320 lpm。确定流速后，施加 220 kW 的热负荷，代表设施中的最大可用功率。CDU 配置为将冷却剂供应温度保持在 35°C，如果需要，可以在不同温度下进行测试。测试的边界条件列于表 5中。
图片
表五、 高载荷试验的边界条件第四部分结果与讨论上一章解释了调试期间的步骤，本章讨论了调试结果。
A. 过滤器评估每次运行后，过滤器都要接受目视检查，并通过沿流体的逆流方向通入压缩空气进行清洁。在图 14中，将 CDU 循环到自身上，运行流体后的图像显示了网格上颗粒的堆积。这些颗粒可能来自配件、EPDM 软管或 CDU 本身。然后清洁过滤器，并为 CDU 重新充电以进行第二次运行，如前所述。
图片
图 14.首次运行后检查过滤器
随后，如前所述，将过滤器清洁并重新插入 CDU 进行第二次运行。然后对 CDU 进行充电并重新运行。在图 15中，第二次运行后的过滤器图像没有显示任何碎片或颗粒，表明 CDU、配件和软管已彻底清洁。这个结果是一个积极的信号，表明系统没有损坏，并且所有组件都已充分润湿待使用的冷却剂。
图片
图 15。第二次运行后检查过滤器
、
B. 流体取样分析从供应商工厂运来的 CDU 可能已使用自来水或冷却剂进行清洁，而工厂可能不知道清洁方法。可能残留有残留物，尤其是在低点，需要清除这些残留物以防止任何交叉污染。在第一次和第二次运行期间，会采集样本，并测量 pH、氯化物和硬度等参数。这些参数在下图中进行了说明，具体来说分别在图 16至18中。
图片
图 16.冲洗样品的 pH 值。
图16显示了PG25基线的pH值，每次冲洗后，从图中可以看出原始或基线PG25的pH值约为8.5，第一次冲洗后样品的pH值为5.1，这清楚地表明当CDU到达时流体与剩余流体混合，第二次冲洗后pH值回到7.1，这表明在第一次冲洗期间剩余流体被冲洗掉了。
图片
图 17.冲洗样品的氯化物含量水平。
图 17显示了冲洗样品的氯化物含量。从图中可以看出，每次冲洗后的氯化物含量为 2 ppm，而原始 PG25 的氯化物含量为 1 ppm。
图 18显示了 PG25 的总硬度。第一次冲洗时，样品读数为 4.7 ppm，反映出与剩余液体的混合物。第二次冲洗后采集的样品的读数下降到 2.1 ppm 表格顶部。
图片
图 18.冲洗样品的总硬度。
C. 泄漏报警测试当冷却剂被倒入滴水盘的槽口时，数据被记录下来，警报需要 5-6 秒才能打开，而槽口充满 PG25 仅需 4 秒。图 19显示了当槽口充满冷却剂时警报打开的情况。
图片
图 19。基督教民主联盟的警报
D. 恒流模式实验如上所述，该测试是通过评估不同流速下的 CDU 进行的。图 20显示了流速与时间的关系图，其中 CDU 在不同流速下进行了测试，范围从 160 lpm 到 400 lpm。从图中可以看出，CDU 成功实现了所需的流速。
图片
图 20。恒定流量模式下的流速与时间。
E. 恒压模式测试如前面章节所述，测试在 210 kPa 下进行，以实现压降最高的机架（在本例中为机架 4）的 40 lpm 流速，如图16所示，显示了压降与时间的关系，图 21显示了流速与时间的关系。
图片
图 21.恒压模型的压降与时间
图片
图 22。恒压模式下的流量与时间
在图 22中，很明显，机架 4 的流速为 40 lpm，而其他机架的流速超过 40 lpm。流速最高的机架是机架 2，为 54 lpm。因此，机架 2 的流量控制装置最初被调整为将流速从 54 lpm 降低到 40 lpm。一旦稳定在 40 lpm，则对下一个流速最高的机架重复该过程，依此类推。
F. 低热负荷热测试完成液压测试并验证 CDU 的功能后，我们开始测试 CDU 在不同负载下的冷却功能。最初，我们在 6 kW 和 35°C 的设定温度下测试 CDU，保持整个系统的压差为 220 kPa，以确保每个机架接收 40 lpm。
图片
图 23.低负载时的温度与时间
图 23显示了温度与时间的关系图，表明在前 100 秒（约 1 分半钟）内施加了 6 kW 的热负荷。然后启动代表一次侧水的设施水，导致一次侧的温度逐渐降至 6.5°C。大约在 2300 秒时，二次冷却剂（技术冷却回路，TCS）的供应温度超过 35°C，促使冷却阀调节温度并将其保持在设定温度。到 3500 秒时，供应温度稳定在 35°C。
图片
图 24.低负荷测试的流量与时间
图片
图 25.低负荷测试的压降与时间
图 24和25分别显示了给定测试的流速与时间的关系以及压降与时间的关系。显然，在整个测试期间，施加热负荷的指定机架的流速和 CDU 流速保持稳定。
G. 高热负荷热测试图片
图 26.高热负荷下的温度与时间
本次测试在 220 kW 的高热负荷下进行，参数与低负荷测试相同。图 26显示了给定测试的温度与时间图。从图中可以看出，在最初的 300 秒（约 5 分钟）内，系统得以稳定，然后将热负荷施加到机架上。随着热负荷从 300 秒施加到 1000 秒（约 16 分半钟），温度开始上升。当供应温度超过设定温度 35°C 时，冷却阀开始运行以维持指定温度。可以观察到供应温度稳定下来，验证了 CDU 可以在给定的高热负荷下有效运行。
H. 面临的挑战所有上述测试都表明给定测试集的性能符合预期，但在调试过程中可能会遇到一些情况。下面提到了一些挑战。
1）泄漏在 TCS 回路的初始冷却剂填充过程中，可能会发生泄漏，泄漏原因包括配件、连接松动、软管穿孔和其他原因。如果检测到任何泄漏，必须隔离回路受影响的部分，纠正泄漏，然后将其重新集成到系统中。
2）流体污染流速随时间逐渐降低可能表明过滤器内有污染或堆积了碎屑。在这种情况下，必须清洁并重新安装过滤器，同时还要收集样本进行实验室分析。如果污染程度严重，则应对系统进行彻底的重新冲洗，并补充新鲜的冷却剂。
3）传感器校准问题CDU 流量传感器可能显示不准确的读数，但可以通过更换故障传感器或在 CDU 供应商工程师的指导下调整偏移和增益值来解决此问题。
4) CDU 无法冷却二次侧冷却剂温度如果尽管一次侧的所有阀门都已 100% 打开，但一次侧流量仍然非常低，则可能会发生这种情况。如图 27所示，二次侧供应温度不断升高，而 CDU 无法控制在设定温度 32 °C。
图片
图 27.供回水温度
解决此问题的方法是去除 CDU 主侧滞留的空气，可以使用功率更大的泵将其排出。其次，可能是设施侧使用的过滤器堵塞了。将过滤器换成冗余过滤器或拆下过滤器并清洁。
5）二次侧电源温度负载波动小如图 28所示，当负载降至 CDU 容量的 50% 以下时，大多数 CDU 的二次侧供电温度会出现较大波动。如下图所示。
图片
图 28.负荷波动[33]
其中的一些波动可以通过使用 PID 控制器更好地打开一次侧三通阀来控制。另一种控制策略是根据二次侧负载在 CDU 一次侧使用流量控制阀，正如作者[33]所讨论的那样。
第五部分结论数据中心的液体冷却技术实施可分为多个级别，例如行级冷却、混合冷却、机架级冷却。液体冷却应用的最普遍形式是行级冷却。这些系统中制冷剂的有效分配是通过利用机架歧管、行式或机架式冷却剂分配单元 (CDU) 和冷却回路来实现的。调试在解决问题和确保数据中心液体冷却系统安全高效运行方面起着至关重要的作用。
在调试阶段，工程师会进行全面检查，以验证设施是否正常运行。进行安装前检查至关重要，这包括了解机械阻力和设备先决条件。在使用监控系统时，必须考虑几个因素，例如电源要求、管道规格和连接类型。初步检查包括首件检验 (FAI)，确保组件以完美状态交付并附带所有必要的配件。CDU 经过测试程序，以验证其电气连接、传感器功能和初始启动操作。此外，还需要进行过滤器检查并对中央分配单元 (CDU) 进行初始冲洗，以保持系统的清洁和最佳运行。
在调试步骤中，CDU 相互连接并注入必要的冷却剂。随后，执行全面的冲洗程序以消除可能存在的任何潜在污染物。每次冲洗后都会进行测试以评估 pH、氯化物和硬度等参数。分析流体样本可提供有关每次冲洗后冷却剂状况的宝贵信息。然后进行实验试验以验证 CDU 在数据中心不同热负荷和运行场景下的功能。
调试过程中可能出现的挑战包括泄漏、流体污染、传感器校准问题以及温度控制变化。为了有效地调节温度波动，需要找到并纠正泄漏，对系统进行全面清洁，更换或校准传感器，并部署控制系统。
调试最终确保了数据中心内液体冷却系统的可靠性和有效性。
文章翻译自：IEEE:https://ieeexplore.ieee.org/document/10709608
本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。上海股票配资提示：文章来自网络，不代表本站观点。
