|
|
（报告出品方/作者：招商证券，梁程加、孙嘉擎）
一、芯片厂商出于功耗考虑，加大液冷散热技术研发与引入力度
1、芯片内部集成微流体液冷系统，CPU/GPU 芯片厂商加装冷却器/对接液冷系统
后摩尔定律时代芯片算力与功耗同步大幅提升，一方面，学界创新性提出“于芯片内部集成微流体液冷系统”，并 逐步在业内尝试，主流 CPU、GPU 厂商则选择加装冷却器、对接液冷系统，实现芯片的液冷散热。 主流 CPU、GPU 厂商则选择加装冷却器、对接液冷系统，实现芯片的液冷散热：
CPU 方面，以 Intel 为首的 CPU 芯片厂商选择为 CPU 芯片加装一体式（AIO）冷却器，与风冷模式类似，整个 冷却过程从 CPU IHS 基板出发，IHS 上附有导热管，方便两个表面之间进行传热，基板的金属表面则为水冷头 的一部分，水冷头中装填冷却液。当冷却液通过水冷头时，会从基板中吸收热量，而后向上通过管道到达散热 器，散热器再将液体暴露于空气中，实现冷却的一次循环。
GPU 方面，NVIDIA 在其 A100 80GB PCIe 中提供双插槽风冷式或单插槽液冷式双版本，A100 80GB PCIe 单 插槽液冷版本类似于桌面液冷显卡，其中整合水冷头，接口置于 GPU 芯片尾部，方便对接液冷系统，HGX A100 则采用 SXM 样式计算卡，在机架内部直接整合液冷系统。
2、主流芯片厂商布局情况
（1）CPU 方面，Intel 2023Q1 发布的第四代至强处理器多款子产品热设计功耗达 350W，传统风冷解决方案散热压 力极大，2023 年 1 月 Intel 至强发布会上表明，第四代至强处理器将会配置液冷散热方案。
Intel 与合作伙伴共同设计冷板式液冷解决方案。一方面，Intel 携手生态伙伴，全面系统地总结冷板液冷系统的设计 与实践经验，发布《英特尔高效能数据中心白皮书》、《绿色数据中心创新实践——冷板液冷系统设计参考》。另 一方面，Intel 和合作伙伴不断推进冷板方案的具体落地应用，2021Q2，Intel 与京东云合作，基于第三代 Intel 至强 可扩展处理器，共同调整其核心数、Turbo 频率、TDP、RAS 特性等主要参数，以适配冷板式液冷解决方案的部署。 Intel 已通过自研、合作研发等模式对于服务器浸没式液冷开展研究。1）2021 年，Intel 宣布与 Sumber 合作，双方 会将至强架构的 CPU 系统与精密冷却技术相结合，开发基于浸没式液冷的余热回收技术；2）2022 年，GRC （Green Revolution Cooling）公司宣布将会为 Intel 至强处理器提供浸没式液冷技术优化；3）2023 年，Intel 发言 人透露，Intel 将会在其希尔斯伯勒工厂内继续进行浸没式液冷创新技术研究。
（2）GPU 方面，2022 年 5 月，英伟达宣布将在 A100、H100 系列产品中引入直接芯片（Direct to Chip）液冷散热 技术，A100 80GB PCIe 将在尾部安置接口，以对接液冷系统。根据 Equinix 与 NVIDIA 的测试结果，液冷 NVIDIA A100 PCle GPU 一方面可以在空间相同的条件下，实现双倍计算量；另一方面，采用液冷技术的数据中心工作负载 可以与风冷设施持平，但能源消耗量将减少 28%。同时，根据 NVIDIA 估计，采用液冷 GPU 的数据中心 PUE 可以 达到 1.15，远低于风冷的 1.6。
二、液冷温控供应商梳理：
1、液冷温控市场空间测算
预计 2025 年国内 IDC 液冷市场规模将达到 132.8 亿元，其中 AI 服务器液冷市场规模达 100 亿元、通用服务器液冷 市场规模达 32.8 亿元； 预计 2028 年国内 IDC 液冷市场规模将达到 250 亿元，其中 AI 服务器液冷市场规模达 212 亿元、通用服务器液冷 市场规模达 37.7 亿元；
2、温控解决方案供应商
国内液冷温控解决方案提供商在液冷解决方案技术储备、液冷产品线上各有差异。
三、算力升级大趋势下服务器厂商加速布局液冷服务器产品
1、冷板式液冷对于服务器整体改动较小，浸没式液冷对于服务器有较高要求
（1）冷板式加装液冷模块
冷板式液冷对于服务器本身改动较小，主要途径为加装液冷模块。冷板式液冷是最为典型的间接接触型液冷技术， 在冷板式液冷系统中，服务器芯片等发热器件不直接接触冷却液，而是通过装配在电子元器件上的冷板（通常是铜、 铝等高导热金属构成的封闭腔体）将热量间接传递给封闭在循环管路中的冷却液体，从而将主要发热器件的热量传 递出去。
冷板式液冷技术对现有服务器芯片组件及附属部件改动量较小，液冷化改造可操作性相对较强。主要在服务器中加 装液冷模块，采用集中式或分布式 CDU 供液、Manifold 分液，以此对于 CPU、DIMM 等部件进行精准制冷。在实 际操作过程中，中国移动（呼和浩特）数据中心将冷板式液冷细分出“两级热管”、“水冷+热管”、“芯片冷板” 三条具体技术路径： “两级热管”液冷服务器：此模式将服务器 CPU、GPU、内存等产生的热量从一级导热管传递至二级导热管， 二级热管冷媒流动至换热器将热量传递给冷冻水，交换后的热水通过室外回水管路流出，完成整个换热过程。 “水冷+热管”液冷服务器：此模式将通过热管导热原理将服务器 CPU、GPU、内存等产生的热量传递至热管 冷凝端，冷却水在冷凝端与热管进行热交换，交换后的热水经由回水管路流出，完成整个换热过程。 “芯片冷板”液冷服务器：此模式采用泵驱动冷却液流过芯片背部通道，冷却液在通道内通过板壁与芯片进行 充分热交换，带走芯片端的热量后，含有热量的冷却液将通过集分水器将热量输送至机房内的 CDU 完成热量交 换。
（2）浸没式要对服务器箱体定制化改造
浸没式液冷改造对于服务器本身及浸没腔体具有较高要求。浸没式液冷改造过程中，服务器箱体需要进行定制，满 足三点要求：1）采用高功率密度设计；2）采用结构定制化设计以强化液体与发热器件之间的热交换；3）采用结构 定制化以提高浸没式液冷环境下电子信息设备的运维效率。同时，浸没式液冷服务器浸没腔体应该被设计顶部开盖、 由四个壁面和一个底面围成的具有一定内部容积的结构，分气相区与液相区，服务器主板浸没于液相区内，气相区 保障气密性良好，确保冷却液蒸汽无泄漏；单项系统中液相区的液体温度场需均匀，无局部热点，同一水平界面下 温差需要<5℃。 实践层面上，中科曙光以液冷刀片形式为行业提供服务器改造思路。浸没式液冷技术基于液体直接制冷，当前仍然 处于发展早期，由于研发难度较大、投入成本较高，当前入局的服务器厂商较少。中科曙光旗下子公司曙光数创， 专注于数据中心制冷基础实施开发，由其所开发的以液冷刀片服务器为核心的浸没相变产品为行业提供技术商业化 落地思路。液冷刀片服务器由刀片模块，后插单板、电源等组成，通过设备后总接口置于冷媒之中。根据曙光数创 方案，将液冷服务器全部浸没于冷媒之中，CPU、GPU 等发热元器件通过冷媒相变换热的方式实现散热，气化的冷 媒进入换热器与常温冷却水换热，冷凝为液体后，完成热力循环。
2、主流服务器厂商布局情况
算力升级大趋势下 AI 服务器渗透率快速提升，功耗提升带动服务器厂商加速布局液冷服务器产品。根据 IDC 数据， 2022 年全球 AI 服务器市场规模达 202 亿美元，同比增长 29.8%，占服务器市场规模的比例为 16.4%，同比提升 1.2pct。
相比于传统服务器，AI 服务器整机功耗也随之走高，如 NVIDIA DGX A100 640GB，其采用双路 AMD Rome 7742 与 8 颗 NVIDIA A100 80GB Tensor Core GPU，最大整体功耗达到 6.5kW。故中科曙光、中兴通讯、紫光 股份、浪潮信息、宁畅等服务器厂商也开始加速布局液冷服务器产品以应对算力升级趋势下服务器功耗持续提 升的现状。
（1）中科曙光：高性能计算领军企业，深耕服务器液冷技术研发十余年
中科曙光作为国内液冷先进计算的领导者，液冷技术研发经历“冷板式液冷技术”、“浸没式液冷技术”、“浸没 相变液冷技术”三大发展阶段。公司于 2011 年开始液冷技术研究，2015 年推出我国首款标准化的量产冷板式液冷 服务器，2019 年推动全球首个大规模浸没相变液冷项目的商业落地。当前公司已形成冷板式液冷 C7000 系列、浸没式液冷 C8000 系列、TC4600E-LP 冷板式液冷刀片服务器产品线，覆盖物理、化学、材料、生命科学、气象等基 础研究领域及金融、动漫等多行业。 核心发热部件采用液冷散热方式，改造技术成熟并可有效控制成本。受制于成本与技术成熟度等因素，传统液冷高 性能服务器大规模部署遭遇瓶颈，公司 C7000 系列通用液冷服务器与 TC4600E-LP 刀片式液冷服务器皆采用风冷与 液冷相结合的方式，通过为服务器内部主要热源（CPU、内存等）配置液冷冷板套件、封闭通道、竖直分液单元、 液冷换热单元等产品，对于传统风冷服务器进行液冷改造设计，整体冷板式液冷改造技术成熟，并可以有效控制成 本，为后续液冷高性能服务器产业化提供可能。
高端计算领域浸没液冷技术储备充足，逐步向液冷存储、AI 液冷服务器、液冷集装箱产品拓展。根据中国智能计算 产业联盟发布的《东数西算下新型算力基础设施发展白皮书》，公司在高端计算领域的浸没式液冷技术与高密度刀 片系统集成技术相当成熟，但机柜功率已达 160kW，模块化组装设计方案使得单位机房计算密度提升 30 倍。2022 年 11 月，公司发布业内首款液冷存储系统 ParaStor，采用冷板式液冷设计，帮助降低除芯片外，硬盘、内存等关键 存储部件的工作温度。随着各大厂商陆续进行自己的 AI 大模型研发，2023 年 2 月，公司推出“全浸没式液冷 AI 训 练专用服务器”，并与百度、复旦大学等深度合作，支持国内多个千亿级以上参数规模的 AI 大模型训练。2023 年 3 月，公司子公司曙光数创正式发布“液冷集装箱数据中心”产品，集成冷板式液冷、浸没式液冷与风冷基础设施设备， 满足通用、人工智能计算等应用场景需求。
（2）中兴通讯：长期处于市场一线，前瞻布局 ICT 液冷一体化解决方案
中兴通讯作为全球领先的综合性通信解决方案提供商，长期处于市场一线，根据自身技能专长，前瞻性布局 ICT 液 冷一体化解决方案。公司当前主要基于冷板式液冷技术，形成单板级、插箱级、机柜级、机房级四个不同维度的液 冷技术线，主要覆盖 IT 液冷服务器设备、CT 液冷路由交换设备、DC 液冷数据中心机房的开发与交付。根据公司官 网信息，2023 年 1 月，中兴通讯发布了 5 款全新的 G5 系列服务器产品，其中 4 款支持冷板式液冷解决方案，整机 功耗相比于传统风冷服务器可降低 80W，噪声降低 15dB，PUE 指标可达 1.1。此外，中兴通讯其他 3 款产品（Intel Whitley 平台与海光 3 号平台）也将提供冷板液冷散热方案，实现更大程度上的能耗降低。
服务器方面，中兴通讯联合 Intel 等合作伙伴为客户提供基于冷板式液冷与浸没式液冷技术的多种定制化解决方案。 CPU 层面，中兴通讯联合英特尔将三维立体真空腔均热板（3DVC）散热技术引入服务器散热设计中，相较于传统 导热管散热器，导热由一维上升至多维，导热面积扩大、热量传递更为均匀，提升性能的同时，成本降低 20%左右。 冷板式液冷方面，中兴通讯根据服务器设计的差异，提供微通道冷板、大浮动冷板等多种冷板方案，冷板与 CPU 等 发热器件直接接触，技术成熟，无需对于服务器本身进行大规模改造。其中，中兴通讯歧管微通道冷板（MMC）的 流量-流阻特性与承压能力更为优异，散热效果更为显著。浸没式液冷方面，中兴通讯根据应用场景综合评估热物性、 可靠性、维护性与成本，定制化提供氟碳类、硅油类等不同类型工质浸没式液冷解决方案。
（3）紫光股份：新华三厚积薄发，打造全栈液冷 ICT 产品解决方案
新华三是国内最早投入液冷技术研发的企业之一，在液冷服务器上有着多年的技术积淀。2017 年，新华三开始在R4900 G2 机架服务器、B16000 刀片服务器上进行冷板预研，当时单节点功耗就已经较风冷降低 49.85W，CPU 温 度降低 23℃（235W CPU），PUE 实测值在 1.2 左右。2022 年 5 月，新华三推出 UniServer R4900LC G5 液冷服 务器，整合全新冷板式液冷技术，支持 NVIDIA A100 80GB PCIe 液冷式 GPU，相比于传统风冷机型，整机功耗可 降低 21.3%，全年 PUE 均值为 1.042。当前，公司可提供全计算平台液冷服务器产品（包含通用计算平台、异构计 算平台）、液冷交换机等 ICT 液冷设备，同时根据客户不同的业务场景，提供液冷机柜（包含 Manifold、配套管路、 传感器）、分布式/集中式 CDU 的液冷数据中心整体解决方案。 未来，新华三将推动其液冷解决方案由传统硬件制冷向 AI 制冷模式演进。2023 中国数据中心液冷技术峰会上，新 华三智慧计算产品经理表示，未来新华三会进一步加强芯片级液冷、浸没式液冷技术的开发与利用，搭配液体散热、 余热回收等技术，加速硬件制冷向 AI 制冷的转变，强化端到端数字化转型能力。
（4）浪潮信息：全栈布局液冷，四大系列液冷服务器面向多样化场景
2022 年初，浪潮信息将“All in 液冷”写入公司战略，开启公司全栈式液冷布局的新时期。目前，公司已拥有 300 多项液冷技术领域核心专利，覆盖冷板式液冷、热管式液冷、浸没式液冷，技术储备充足，实现相变均温、微通道 冷却、浸没式冷却等新型热传导技术在智算产品线的全面覆盖。例如，针对 CPU、GPU 等高功耗部件，浪潮信息采 用微纳腔-相变-均温设计模式，整体散热性能相较于传统风冷技术提升 150%。 2022 年 3 月，浪潮信息联合京东云共同发布 ORS3000S 液冷整机柜服务器，支持浪潮 NF5260FM6、NF5260M6 与 NF5280M6 液冷服务器节点，与传统风冷式整机柜相比，数据中心部署总体能耗降低 45%。2022 年 6 月，公司 发布液冷通用服务器、液冷高密度服务器、液冷整机柜服务器、AI 液冷服务器等全栈液冷产品，以四大系列液冷服 务器产品面向通用、高算力密度、AI 模型训练等多样化场景。同时，为持续推进液冷产业化发展，公司已建成目前 亚洲最大的液冷数据中心研发生产基地“天池”，可实现冷板式液冷整机柜的大批量交付，整体交付交付周期在 5-7 天，年产量可达 10 万台。
（5）宁畅：冷板式液冷全线覆盖，加速浸没式液冷服务器产业化落地进程
宁畅当前拥有冷板式液冷、闭式液冷散热、浸没式液冷等多种液冷散热技术能力，2022 年 3 月，宁畅推出系列液冷 服务器，其中冷板式液冷覆盖其全线服务器产品平台，配合“闭式液冷散热”系统，用户无需改造机房，仅依托循 环冷板与 EVAC 散热，便可以使服务器散热能力提升 40%。从服务器角度来看，2022 年宁畅入选工信部《数字经 济赋能绿色转型案例集》中的 B5000 G4 LP 液冷服务器采用“串联+并联”冷板设计，对主要热源 CPU 与内存进行 部件级精确制冷，通过冷却液带走 CPU 与内存 80%-90%的热量，并显著降低系统功耗与运行噪音。
2023 年 1 月，宁畅在其新品发布会上推出了 12 款全新 G50 系列服务器产品，覆盖通用服务器、人工智能服务器、 多节点服务器、边缘服务器等全线产品，并在业内首发支持第四代 Intel 至强可扩展处理器的浸没式液冷服务器 B7000。宁畅联合 Intel 对于此次的浸没式液冷服务器进行了诸多创新，保障高性能的情况下降低散热功耗，整体 PUE≤1.05，年耗散挥发率小于 3%。当前浸没式液冷服务器仍处于商业化落地的早期阶段，入局玩家较少，宁畅 B7000 的推出有望进一步加速浸没式液冷服务器的产业化落地进程。
四、第三方 IDC 企业积极布局高功率液冷数据中心
1、冷板式液冷改造技术较为成熟，浸没式液冷需对数据中心重新设计
冷板式液冷技术较为成熟，为当前主流液冷改造方案。目前冷板式液冷数据中心产品市场上占比较高，互联网巨头 以及数据中心设备企业多推出了商用化冷板式液冷服务器，而商用化的浸没式液冷服务器较少，该项技术主要由阿 里巴巴推动。
（1）冷板式液冷系统改造
从整体结构来看，冷板式液冷数据中心散热系统架构由室外（一次侧）和室内（二次侧）两部分组成。室外冷却塔 中的冷却液通过室内冷却液体流量分配单元（CDU）提供冷却液循环动力，经 CDU 二次侧输出并与服务器中发热 电子元器件（CPU、GPU、内存等）的导热冷板直接进行热交换，形成的热液经 CDU 输出到室外冷却塔进行冷却 后再循环。
二次侧——冷量分配单元： 冷量分配单元（CDU）是一种用于在液体回路之间进行热交换的装置。CDU 主要分为机架式（嵌柜式）机柜式和平 台式等，主要作用是隔离一次侧与二次侧回路，并在其内部提供一次侧与二次侧的热交换能力，此外，CDU 的功能 还包括对压力、流量、温度、露点控制、水质洁净度及泄漏监测。CDU 支持的机架数量可以从单个机柜扩展到组合 机架的组或集群，冷却液通过安装在机架中带接头的专门管道供回液歧管分配。
二次侧——供回液歧管： 供回液歧管是二次侧回路中的一个关键部件，用于分配流入或流出机架内 IT 设备的冷却工质。冷却工质供回液歧管 主要功能是将从 CDU 分配进入各机架内的冷却工质再次均匀分流到各 IT 设备，并从冷板出液端收集回流液体。在使用机架式 CDU 的液冷部署中，歧管的位置通常在机架内后部，也可以放置在机架的前面或侧面，重点在于需要满 足 IT 设备的部署及配电设计要求，能确保 IT 设备的接入和断开。供回液歧管为二次侧液体回路提供了重要的连接 点，由于连接点存在泄露风险，而在底部的连接点发生泄漏后滴落在地板上风险更低，所以通常设置在底部。
二次侧——快换接头： 快换接头是保证服务器具备在线插拔维护性能的关键部件。在二次侧流体回路中，自封式快换接头是具有快速连接 或断开 IT 设备或其组件与液冷系统的连接并确保具备自封功能的部件，其通常是公/母配置（插头/插座、插件/体等） 配对使用的，断开时，集成在快换接头内部的用于密封流体流动的自封阀芯会断开流体的连接，以保护周围设备不 受影响。自封式快换接头一般有手动插拔式和盲插式两种设计： 手动插拔式：手动插拔式是需要人为手动握住的快换接头，进行插拔连接操作的接头设计可分为单手插拔和双手 插拔式，因为涉及手动插拔动作，需要保证足够插拔操作空间；盲插式：盲插接头是一种通过压力将公母头插入导通或拔开断开无需手动操作的接头设计，需要通过精确的滑轨 设计或定位销来辅助定位连接，并要保持导通所需的压力，以避免公母头滑移导致接头液路断开。
二次侧——管路连接： 二次侧管路将 CDU 和末端服务器冷板相连，一般连接方式有直连和环形管路连接两种，其中，环形管网包含供液环 管、回液环管、CDU 支路、机架歧管需要支路、排气装置和排液口等，用以供液环管和回液环管分别形成环状闭合 回路，且提高环状闭合回路系统的流量均匀性，此外，由于环形管网中无死端，液体一直处于流动状态，不易变质。
一次侧——制冷系统： 一次侧制冷系统方面，冷源设计的时候需要结合二次侧末端的水温和室外的气象参数确定。主要分为两种形式，一 个是自然冷却形式，一个是机械制冷形式。机械制冷系统主要包含风冷冷冻水系统和水冷冷冻水系统两种，可以提 供温度范围 12℃-18℃的冷冻水；自然冷却系统主要包括开式冷却塔、闭式冷却塔和干冷器三种，可以提供 30℃以 上的冷却水。一次侧液冷系统的采用需要结合二次侧末端水温需求和项目地室外环境情况确定。
一次侧——冷源组合方案： 根据水资源充裕程度、室外气温等因素，一次侧冷源又有多种组合方案： 冷塔+水冷冷机+板换系统：在高热高湿地区，机房环境温度要求高，直接采用闭式冷塔/干冷器无法直接满足供 冷要求，因此需要机械制冷装置进行辅助，通常采用的是冷水机组+冷却塔的联合供冷的方式，此结构适应性强、 效率高，但缺点在于耗水量较大，不适合水资源匮乏的地区； 风冷冷水机组：风冷冷水机组由冷凝器、水泵、压缩机等部件合成，且通常配置干冷器（免费冷源模块），此结 构优点在于集成度高，但是无法利用水的蒸发潜热，系统能效低，适合系统偏小环境以及缺水地区； 闭式冷却塔/干冷器：对于气温全年较低的地区，可采用闭式冷塔/干冷器直接供冷，全年无需机械制冷辅助，其 中，闭式冷却塔系统以蒸发散热为主，优点在于输出温度更低，且循环系统水质较好，对于换热设备友好，缺点 在于耗水量大，而干冷器体积较大，单机制冷量偏小，但容易布置，配置上湿膜，还可以部分使用蒸发冷却； 开式冷却塔：制冷模式与闭式冷却塔完全相同，但是由于开式冷却塔水路与大气相通，水质较差。
（2）浸没式液冷系统改造
浸没式液冷改造成本高，需对整体数据中心进行重新设计。从现场改造的角度来看，浸没式液冷需要为 IT 设备配备 水槽或新的机箱，因此改造成本更高。从传统风冷到浸没式液冷，其变化不仅仅在于服务器的放置方式，从 HVDC 的配电、列头的配电、CDU 设备、管线及支架、浸没式腔体、CDU 一次侧/二次侧的管道、楼板的承载、弱电工程、 自控系统等方面都需要重新设计。
系统整体结构： 从结构上看，浸没式液冷系统分为室内侧循环和室外侧循环两部分。 室内侧循环：在室内侧循环过程中，若采用单相浸没式液冷，发热部件直接浸没在冷却液中进行热交换，循环泵 将吸收了热量的冷却液导入热交换单元，在热交换单元中冷却后再循环回到箱体中为发热部件散热；若采用两相 浸没式液冷，服务器完全浸没在充满低沸点冷却液的密闭箱体中，冷却液受热沸腾发生相变，蒸汽逃逸并升腾至 机箱顶部形成气相区，而后蒸汽遇到冷凝器再液化变为液体，继续回到箱体内部冷却循环。 室外侧循环：室外侧循环和冷板式结构的一次侧类似，低温水在换热后吸收大量热量变为高温水，由循环水泵输 入到室外冷却塔，在冷却塔中，高温水与大气进行热交换，释放热量，变成低温水再由室外侧进水泵输送进液冷 换热模块中与气态冷却液进行热交换，完成室外侧循环。 从机房布局来看，浸没式液冷系统空间利用率更高。由于浸没式液冷不需要气流流经 IT 设备，因此它为数据中心白 区以及边缘区域带来更大的灵活性，系统不再需要布置冷热通道，可以采用背对背机柜行布局，利用风冷系统无法使用的位置，从而增加机房空间利用率。
单相与两相浸没式液冷系统选择： 单相浸没式结构设计更简单，两相浸没式冷却效果更好。单相浸没式液冷系统的浸没机柜设计更为简单，冷却工质 （氟化液）更易操作、维护，与两相浸没式液冷相比，单相浸没式液冷在材料兼容性和循环中污染物上的隐患也更 少。而两相浸没式液冷系统尽管因其沸腾传热特性，可以达到更大的传热系数和更高的散热极限，冷却效果更好， 但设计难度较高，且成本也较高，系统研发却相对缓慢。在结构上来看，支持两相浸没式液冷所需的冷源较为简单， 如果使用干式冷却器作为一次侧冷却，则无需冷却水塔等蒸发降温设施。
两相浸没式液冷系统细分结构： 两相浸没式液冷式系统可分为卧式系统和立式系统两种： 卧式系统：在盛有冷却液的壳体中，刀片服务器节点单元从上而下竖直插入轨道并浸没。该方案设计较为简单， 成本较低，可维护性较高，但是可靠性较差，一旦遭受冷却液污染等事故，后果较为严重； 立式系统：立式系统中每个密封单元内部都包括冷却液、单个服务器节点、控制系统、冷却结构等，可以看作单 个独立的小型浸没式液冷系统。该方案成熟案例较少，成本比较高，但系统节点较为独立，可靠性更佳。
2、主流第三方数据中心厂商布局情况
数据中心单机柜平均功率密度逐年提升，推动大型第三方 IDC 企业布局液冷数据中心。算力的爆发式增长需要海量 的服务器进行支撑，但受制于数据中心建设面积等客观因素，增加单机柜功率密度成为调和快速增长的算力需求与 有限的数据中心承载力之间的有效方案。根据赛迪顾问《中国液冷数据中心发展白皮书（2020）》数据，预计 2025 年全球数据中心单机柜平均功率有望突破 25kW。随着 IDC 机柜功率密度向更高功率演进，多家大型第三方数据中 心解决方案提供商对液冷数据中心展开了布局：
润泽科技：公司部分外地所开发的客户在进行数字化转型业务时，需要公司提供液冷机柜，要求为 20kW 或 30kW，冷板式液冷将成为公司未来主流的技术方向，客户对此接受度较好，已经开始准备批量交付液冷机房；
光环新网：公司 2022 年已有冷板式液冷空调项目正式完成验收，转入实际运行阶段；
数据港：2020 年公司与阿里巴巴在华东地区合作部署了全球最大的浸没式液冷服务器集群，采用了液冷节能技 术、高压直流（HVDC）、供配电分布式冗余（Distribution Redundancy）、智能 AI 优化算法等多项节能技术， 其服务器浸泡在特殊冷却液中，PUE 逼近理论极限值 1.0，每年可节电 7000 万度以上，2021 年 5 月 5 日，该 项目二期正式封顶，项目机架总数约 5,100 架，服务器达 10 万台；
秦淮数据：2022 年 10 月开园的秦淮数据马来柔佛超大规模数据中心一期，采用“预制板式液冷模块化数据中 心技术”，通过国内预制生产、整体出海、现场拼装的交付模式，采用“冷板液冷+空气冷却（AHU）”的解决 方案，在 11 个月内就已完成交付，总容量达 19MW，成为了中国首个热带地区冷板液冷规模应用的成功案例， 实现了 PUE 值低于 1.2，能源利用效率较传统制冷系统提高了 50%；
万国数据：2021 年 12 月，公司发布了第一代 Smart DC，重磅推出 Turbo、D-Pre、X-BP 全系列产品级解决方 案，其中，Turbo-L 是覆盖统筹设计、建设交付、测试及运维能力的全链条液冷解决方案及产品。常熟数据中心 园区将分期配置共计 2,200kW 的融合液冷方案，液冷数据中心年均 PUE 未来预计将低至 1.09；
世纪互联：2022 年 6 月底，公司张家口数据中心基地华北云计算中心基地项目 2、3 号楼主体结构封顶，计划 安装机柜数量约 5,200 架，承载服务器 70,000 台，通过采用服务器冷板式液冷、间接蒸发冷空调、智能化运维 与 AI 节能、分布式光伏并网发电等一系列先进技术和手段，实现 PUE 低于 1.15，WUE 低于 1.1。
五、 互联网、运营商等客户积极布局液冷技术
1、互联网厂商有望加速布局液冷技术
供需两侧双轮驱动互联网厂商加速布局液冷技术。互联网以及云服务厂商均有自建 IDC 布局，对数据中心液冷技术 接触较早。当前，从供给端来看，新建 IDC 能耗指标有所收紧，从需求端来看，新一代 IT 技术催生了海量算力需求， 持续推高 IDC 机柜的功率密度，对数据中心散热能力提出了考验，因此我们预计互联网厂商将加速布局数据中心液 冷技术，部分厂商液冷技术布局如下：
阿里巴巴：作为中国领先的云服务提供商，阿里云在 2016 年就推出了首款商用浸没式液冷服务器。2017 年， 阿里巴巴又建立起互联网行业全球首个浸没式液冷服务器集群，并于 2018 年在张北数据中心进行规模化部署， 该数据中心单机柜负载为 28kW，机柜总量约 4,000 架，可容纳 10 万台服务器，数据中心平均 PUE 约为 1.19。 2020 年 9 月，中国首座绿色等级达 5A 级的液冷数据中心——阿里巴巴浙江云计算仁和数据中心落地杭州，采 用浸没式液冷，整体 PUE 低至 1.09，相比传统风冷数据中心每年可节电 7000 万度，2021 年 5 月 5 日，该项目 二期正式封顶，项目机架总数约 5,100 架，服务器达 10 万台。2021 年 12 月 22 日，阿里云在“第十六届中国 IDC 产业年度大典”上正式发布行业首款单相浸没液冷解决方案——磐久 Immersion DC 1000 系列，在全球任 何气象区域部署都能轻松实现 1.09 PUE，其中，液冷 AI 一体机可支持最大 40P Flops 算力并提供机柜间高达 25.6T 的 AI 互联网络带宽能力；液冷存储一体机可支持 3.4P 的超大存储能力；
京东：2022 年 3 月，京东云与浪潮信息联合发布“天枢（ORS3000S）液冷整机柜服务器”，该产品支持冷板 式液冷，将 80%的发热量由冷板式液冷带热至外部冷却进行集中散热，使 IT 设备散热效率提升 50%，与传统风 冷式整机柜相比，在数据中心部署总体能耗降低 40%以上，可将 PUE 降至 1.1 以下，机柜部属密度提升 28.6%， 基础设施能耗节省 30%，对应碳排放总量减少 10%以上。目前天枢冷板液冷整机柜服务器已在廊坊数据中心大 规模部署，承载了京东集团核心业务，经历了京东 618、双十一、虎年央视春晚红包互动活动等的苛刻线上业务 考验，产品稳定可靠，助力京东云数据中心降本增效；
华为：2017 年，华为推出了 FusionServer 板级液冷方案，以 FusionServer CH140L V3 半宽液冷计算节点为例， 其专门为 HPC 及计算密集型的企业业务需求进行优化设计，具有超高密度计算能力。2018 年建造华为云松山湖 数据中心，采用全预制模块化、高密度、高性能液冷集群，建设周期仅 4 个月，单柜功率高达 53kW。2019 年 发布 FusionServer Pro 冷板全液冷系统解决方案，以 FusionServer Pro CH121L V5 为例，其针对虚拟化、云计 算、HPC、NFV 等业务需求进行优化设计，具有高密度计算能力和超大内存容量，可应用于高功耗密度服务器 机柜部署场景。2022 年 8 月，华为最大的液冷集群和全球首个批量部署 FusionPOD 液冷服务器的云数据中心 ——华为云乌兰察布数据中心成功运营，采用间接蒸发冷却方案和 iCooling 能效优化技术，实现了年均 PUE 低 至 1.15，和传统冷冻水方案相比，每年可节省耗电量超过 3000 万度，每年减少二氧化碳排放量约 1.4 万吨。
2、运营商通过试点方式验证液冷技术性能，至 2025 年将开展规模应用
三大运营商将采取“技术验证-规模试验-领先标杆”的渐进模式构筑自身高水平液冷生态链。2023 年 6 月 5 日，中 国移动、中国电信、中国联通联合发布《电信运营商液冷技术白皮书》，明确运营商液冷技术发展的三年愿景，即 2023 年开展技术验证；2024 年开展规模测试，新建数据中心项目中 10%规模试点应用液冷技术，推进产业生态成 熟；2025 年开展规模应用，50%以上数据中心项目应用液冷技术，力争成为液冷技术引领者、推广者，形成完整的 液冷产业生态。
2023 年起，三大运营商根据前期液冷技术试点经验开展规模试点。如 2023 年中国移动将在呼和浩特数据中心国家 发改委绿色节能示范项目以及智算中心项目中启动液冷规模试点；中国电信 2023 年计划在京津冀数据中心实施 30 个液冷服务器机柜试点、在安徽建设 3 列，每列 7 台 36kW 冷板式液冷机柜，预留 8 台 40kW 浸没式液冷机柜、并 在广州开展 1 个冷板式液冷服务器试点项目。 三大运营商液冷技术应用计划明确，将主要推进冷板式液冷与单相浸没式液冷技术规模化应用。冷板式液冷方面， 2023 年三大运营商将协同产业链厂家联合技术攻关与研发，年底前将形成《冷板式液冷技术标准》，2024 年提交 行业组织协会审核，并在 2023 年底前推动冷板式液冷机柜测试工作，2024 年年中完成规模验证。单相浸没式液冷 方面，2023 年三大运营商将启动调研交流，并争取在年底前形成统一的技术标准，2024 年开展系统兼容性、服务 器定制、冷却液国产替代等研发与试点验证。
技术验证方面，2017 年起，三大运营商便开始组织前期液冷技术验证，包含冷板式液冷测试、浸没式液冷测试、喷 淋式液冷测试等，具体来看：
（1） 中国移动
公司 2017 年在呼和浩特组织热管水冷、两级热管和水冷冷板等三种冷板式液冷测试。2019-2021 年在河北、 山东组织核心路由器液冷、江苏组织 5G BBU 浸没式液冷、浙江组织汇聚机房浸没式液冷试点。
（2） 中国电信
5G BBU 液冷系统试点方面，针对 5G BBU 发热量大、散热难的突出问题，公司 2020 年 10 月启用收购 5G BBU 液 冷试点，上线 2 个液冷机柜，经过长期测试，轻负载率条件下 PUE 值约 1.246，满负载率条件下 PUE 值约 1.15。 数据中心液冷试点方面，2018 年，公司在广州安装冷板式液冷微模块（2 列服务器机柜）与风冷微模块各 1 个，液 冷微模块 PUE 约为 1.2（风冷微模块 PUE 为 1.4），冷板式液冷节能效果明显。
根据工信部通信工程建设项目招标投标管理信息平台，2022 年中国电信上海公司启动了 5G CU/DU 液冷机柜建设项 目采购液冷系统项目，最高投标限价为 807.12 万元，项目涉及产品为模块化 DC 舱，包含 R4 液冷系统和 R6 液冷 系统，具体配置包括液冷机柜、室外散热系统、液泵循环柜和配电模块。同年 7 月，中国电信与网宿科技联合展出 了全融合液冷微型机柜和 5G BBU 液冷机柜，以直接浸没式液冷技术为核心，通过冷却液循环进行直接散热，可降 低 PUE 值至 1.1 以下，提升节能效率 30%以上；
（3） 中国联通
数据中心液冷试点应用方面，公司在德清云数据基地 IDC 高功率机房中安装冷板式液冷机柜 32 架，2021 年 6 月投 产，已稳定运行两年时间，制冷效果良好。BBU 集中机房液冷试点应用方面，2021 年 10 月，公司在郑州开展 9 台 5G BBU 设备液冷喷淋测试，配置一套 10kW 液冷机柜，液冷机柜 PUE 为 1.254，较风冷方案（PUE 为 1.448） PUE 明显降低，若考虑液冷模式下主设备 BBU 取消风扇的因素，则 BBU 液冷系统 PUE 值为 1.16。
3、多个政府项目采用液冷系统作为主流冷却技术
以超算中心为主，多个政府项目采用液冷系统。从国家层面来看，随着新一代 IT 技术、产业数字化转型等多样化算 力需求场景不断涌现，算力的赋能效应逐渐凸显，政府对于算力基建的投入逐渐加大，尤其在超算中心建设方面， 国家给予了大力的支持和指导，目前已有多个政府项目采用液冷作为换热系统，未来搭载液冷系统的超算中心有望 成为主流。
天府云数据产业基地：2022 年 8 月 15 日，位于成都简阳空天产业园的四川能投天府云数据产业基地一期项目 的结构施工已全部完成，2 栋数据中心、1 栋运营中心大楼均已封顶，该项目设计机柜共 5,000 个，采用冷板式 液冷、水冷+自然冷却和余热回收等技术，依托四川能投自身的绿色能源优势，借力集团在相变液冷、地热、储 能、氢能等方面的内部资源，实现项目 PUE 小于 1.25 的目标。
合肥先进计算中心：2020 年 12 月 31 日，由合肥市大数据资产运营有限公司建设的合肥先进计算中心一期机房 顺利完工，系统建设规模为双精度计算峰值 12PFlops、整数计算峰值 256Pops、数据总存储容量 15PB，项目 采用浸没式液冷技术，将 PUE 控制在 1.1 左右。
国家超级计算郑州中心：2020 年 11 月，国家超级计算郑州中心通过验收，项目配备新一代高性能计算机—— “嵩山”超级计算机，理论峰值计算能力 100PFlops，存储容量 100PB，采用浸没式相变液冷冷却技术，PUE 值低于 1.04。
国家超级计算深圳中心：2022 年 11 月 14 日，我国在建的最大超算中心——国家超级计算深圳中心项目二期正 式开工，项目投资额 120 亿元，将采用曙光的浸没式液冷服务器。
国家超级计算成都中心：2020 年 9 月，国家超算成都中心投运，项目采用浸没式相变液冷技术为超算核心设备 提供高效换热，最高运算速度达 10 亿亿次/秒。
国家超级计算昆山中心：2020 年，国家超级计算昆山中心建设项目顺利通过科技部组织的专家验收，项目总算 力达 400Pflops。拥有 CPU+DCU 计算单元结构，CPU 采用国产曙光 7000 系列，DCU（类 GPU 结构）采用国 产海光 1 号加速器，项目采用了曙光的全浸没液冷服务器。
六、解耦交付模式符合液冷技术路线的发展趋势
1、解耦交付模式及解耦方案简介
当前液冷方案交付模式包括一体化交付与解耦交付两种方案。解耦交付是液冷机柜与液冷服务器之间遵循用户统一 制定的接口设计规范，机柜与服务器解耦，可由不同厂商交付；一体化交付是液冷整机柜（包括机柜和服务器）由 厂商自定标准进行集成设计开发，整机柜由同一厂商一体化交付。当前超聚变、华为、浪潮、曙光、新华三等主要 液冷服务器厂商皆拥有自己的一体化交付方案与解耦交付方案。
解耦交付方案又包含手插与盲插接头两种模式，手插接头对于运维人员要求较高、盲插液冷接头符合自动巡检的长 期发展趋势。由于液冷产品涉及液冷接头的维护工作，手插接头对于运维人员的要求极高、插拔操作也极度依赖机 房运维人员，相比之下盲插液冷接头具有自动化保障、操作便利、连接精度高的优势，符合未来自动巡检、机器人 自动运维的时代发展趋势。 盲插解耦方案采用标准机柜、盲插制冷管路、集中供电模块，可选配分布式 CDU 及无源风液换热器，将有效提升 机柜功率密度、降低 PUE 水平、节省布线空间并提高机柜上架率。其中主要包含：1）标准机柜：产品整体形态为 标准机柜形态，用以部署服务器、交换机等设备；2）供冷盲插：服务器与机柜之间通过盲插快速接头连接；3）供 电盲插：利用电源框、电源模块、供电铜排向机柜内设备集中供电，支持盲插操作。
2、解耦交付模式的多重优势
解耦交付模式有利于促进行业竞争、实现多厂家适配、便于后期灵活部署。目前液冷技术在产业化与标准化方面还 处于发展前期阶段，液冷服务器与机柜的一体化交付模式不利于液冷产业的标准统一。相较于一体化交付模式，解 耦交付模式在机房管理、安装部署、采购、运维管理方面都具有明显优势：1）机房管理方面：解耦交付模式可形成 统一标准机规范，方便后续管理；2）安装部署方面：解耦交付模式需要基础设施和服务器厂商协调合作，便于批量 生产与规模推广；3）采购模式：解耦交付模式中机柜和服务器分别采购，促进市场竞争，降低买家采购价格与厂商 限制；4）运维管理方面：解耦交付模式后期运维方式相同，便于统一管理。随着液冷产业生态的逐步完善，解耦交 付模式将有效促进市场竞争、形成统一液冷技术标准与规范、实现多厂家适配与产品灵活部署，进而降低需求方部 署液冷解决方案的整体 TCO。
三大运营商在《电信运营商液冷白皮书》明确指出，将联合产业链上头企业制定标准化接口，形成统一标准。根据 国家网信办《数字中国发展报告（2022 年）》、工信部及运营商年报数据，截至 2022 年底，我国数据中心机柜总 数已超过 650 万架，三大运营商共拥有标准机柜 134.3 万架，约占全国总机柜的 21%。未来，三大运营商将加快推 进液冷技术试点，并于 2025 年在 50%以上项目中规模应用，这将带动行业统一技术标准的加速落地，并形成良好 的多厂商竞争生态，这意味着解耦交付模式将在后续液冷解决方案规模化、产业化的发展过程中表现出明显的竞争 优势。
（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）
精选报告来源：【未来智库】。「链接」
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！ |
|
12345
福遥写书丶福遥野外
穆尔西亚大学，你们找对机构了吗？
24fall集合啦！！！新生群开放！
发表于 2023-6-19 08:46:42
