智算基础设施深度技术分析

当前AI加速芯片的制造工艺高度集中在台积电（TSMC）。NVIDIA Blackwell（B200）采用台积电4NP工艺（N4的定制增强版），Grace CPU采用台积电N5；AMD MI300系列使用N5/N6混合；Google TPU v5p使用三星5nm。随着单体芯片（Monolithic）面临掩模版尺寸限制（Reticle Limit，约800mm²），如何将更多晶体管集成在单一封装内成为核心挑战。

TSMC在2025年将先进制程产能进一步提升，AI加速器收入已占总营收的高十几个百分点。2026年资本支出指引为520-560亿美元，重点投向N2产能建设和先进封装扩展。然而，CoWoS、HBM与先进工艺的产能瓶颈将持续至2027年。

N4/N5节点晶圆价格在2025年上涨约10%，N2相较N3预计上涨约50%，AI芯片制造成本持续攀升。2025年8月UCIe 3.0标准正式通过，首次引入"UCIe-3D"优化。2026年3月ISSCC上，Rebellions展示业界首个基于UCIe-Advanced的四芯粒AI加速器Rebel100，标志着chiplet从标准走向产品化。

台积电CoWoS（Chip-on-Wafer-on-Substrate）是当前高性能AI加速器的标准选择。由于光刻机掩模版尺寸限制（Reticle Limit，约800mm²），单芯片面积无法无限扩大。TSMC的CoWoS产能从2024年的约5万片/月提升至2025年底的约13万片/月，但仍然供不应求，交期长达6-9个月。

目前CoWoS技术已分化为S、R、L三种主要路径：

如果说CoWoS是在水平面上的扩张，那么SoIC与Intel Foveros则代表了向垂直维度的进军。

SoIC（System on Integrated Chips）采用无凸点（Bumpless）混合键合技术，直接通过铜对铜的原子级接触实现互连。2025年最新进展中，键合间距已缩减至6μm，每平方毫米互连点超过100万个。这种3D堆叠极大地缩短了电子传输路径，降低了寄生电容。

Intel Foveros则通过有源中介层实现异质节点的堆叠，允许将采用不同工艺制程的逻辑芯片、I/O单元与存储单元垂直整合。EMIB通过硅桥嵌入有机基板，实现相邻die的高密度互联而不需要整块硅中介层，成本更低。

HBM4的核心变革在于其底层Die首次允许采用先进逻辑工艺制造，使得内存控制器可以直接与计算单元实现混合键合，彻底消除互连延迟。然而由于制造工艺极端复杂，2026年的HBM4产能已被提前预订罄尽，SK Hynix的产能早在2025年上半年就已售罄。存储资源已成为智算竞赛中的战略物资。

先进封装在提升密度的同时产生了极端热点。在3,300mm²的封装尺寸内，TDP已突破1000W。2025年IEEE ECTC会议上展示的"直接硅液冷"技术，通过在硅中介层内部蚀刻微流道，实现了超低结至环境热阻，标志着液冷已从系统级下沉至芯片级封装内部。

N2节点将首次引入背面供电（Backside Power Delivery），将电源布线从芯片正面移到背面，减少信号路由干扰。散热能力正在成为制约工艺节点推进的隐性瓶颈。

GPGPU（通用GPU）路线：通过大规模并行线程（SIMT）模型提供极高的编程灵活性。以NVIDIA为代表，数以千计的CUDA核心与Tensor Core协同工作。Blackwell架构引入第二代Transformer引擎，利用微张量缩放（Micro-tensor Scaling）技术支持FP4和FP6精度，在保持精度的前提下将吞吐量翻倍。CUDA生态是NVIDIA最深的护城河——超过400万开发者基于CUDA开发AI应用。

DSA（领域专用架构）路线：针对矩阵乘法、卷积、注意力机制等进行硬件级定制。华为昇腾（Ascend）的达芬奇架构是DSA的典型代表，其核心特征是3D Cube计算单元，在一个时钟周期内可执行大量的矩阵乘加运算，在深度学习最核心的矩阵运算中展现出远超GPGPU的能效比。但DSA牺牲了部分通用性（如复杂逻辑分支处理），且软件生态远不及CUDA丰富。

当前智算芯片市场可分为三大梯队：第一梯队为NVIDIA、AMD等全球领军者；第二梯队为华为昇腾为首的国产自研力量；第三梯队包括壁仞、摩尔线程等新兴势力。国产芯片在面临制程受限的情况下，普遍通过增加封装面积和优化架构效能来弥补单晶体管性能的不足。例如，华为昇腾910B3引入了HBM3e，将显存带宽大幅提升，为万亿参数模型的国产化训练提供了可能。

在Blackwell架构中，NV-HBI（NVIDIA High-Bandwidth Interface）作为die-to-die的底层连接，提供超低延迟互连，使得双芯片结构在编程模型中完全透明——开发者无需关心物理上是两颗die，软件层面看到的就是一颗统一的GPU。

现代GPU内部采用2D/3D Mesh Network-on-Chip（NoC）架构连接数百个SM、Tensor Core和L2缓存。片内互联带宽达数十TB/s级别，延迟纳秒级。

NVLink提供cache-coherent（缓存一致性）互联，GPU可以直接访问其他GPU的内存，延迟约300纳秒以内。更具革命性的是NVLink-C2C技术，它实现了CPU与GPU之间的高速内存一致性，允许GPU直接访问CPU的内存池，对于处理超长上下文（Context Length）的推理任务至关重要，有效缓解了HBM容量的限制。

在GB200 NVL72中，72颗GPU通过NVSwitch实现单跳全互联——任意两颗GPU之间只需经过一级NVSwitch，等效于将72颗GPU视为一颗逻辑上的"超大GPU"，拥有统一的内存地址空间。当前NVLink域最大规模是576颗GPU，总带宽超过1PB/s。

GB200 NVL72系统总内存为13.5TB HBM3e，总内存带宽576TB/s。计算能力的增长速度远超内存带宽的增长速度——这就是"Memory Wall"。Scale-up（NVLink域）的带宽是Scale-out（IB/Ethernet）的约18倍，延迟是约1/1000。这意味着应将通信密集的并行（如TP）放在NVLink域内，通信稀疏的并行（如DP）放在Scale-out网络。

铜缆是机柜内部短距离互联的首选方案，成本远低于光模块。当前主流是112G/lane PAM4信号。当通道速率提升至224G/lane时，铜缆的传输距离被限制在1-1.5米以内，端到端通道损耗约40dB，频率响应需覆盖至53GHz。实现这个目标需要更精细的PCB走线设计（skip-layer routing）、更高性能的连接器（insertion loss < -1dB @ 56GHz）、以及AEC（Active Electrical Cable）中的线性均衡芯片。

为解决信号完整性难题，正交直接对接架构（Orthogonal Direct-mate）应运而生，通过取消中间背板，减少信号路径中的连接点，保障信号完整性。

硅光（Silicon Photonics）技术正在成为主流——将光器件集成在硅芯片上，实现光学引擎的批量制造。224G SerDes的成熟将推动1.6T端口普及：在铜缆域覆盖服务器到ToR的距离（~1m），在光模块域驱动每通道200G的光信号。

共封装光学（CPO）被视为解决"I/O功耗墙"的终极方案。其原理是将光学引擎直接安装在交换机ASIC或GPU的同一个封装底座上，取代传统的插拔式光模块。

但CPO最大的障碍在于可维护性——CPO属于非热插拔组件，一旦光学通道故障，可能需要更换整个昂贵的交换机托盘。因此行业目前正处于从可插拔向CPO演进的过渡期，1.6T速率下两者将长期并存。LPO（Linear Pluggable Optics）是CPO的竞争方案：保留可插拔形态，移除DSP降低功耗，成本和可维护性更优，但信号完整性补偿能力弱。

NVL72中72颗GPU需要实现全互联，传统平面走线的线缆数量和复杂度无法承受。正交连接（Orthogonal Connection）的解决方案是：线缆从GPU tray出发后，沿两个正交方向走线——一个方向连接同一列的GPU，另一个方向通过NVSwitch连接不同列的GPU。这使得任意两颗GPU之间只需经过一级NVSwitch（单跳），实现无阻塞全互联。

NVL72内部包含36个GB200 Superchip tray（每个含2颗B200 + 1颗Grace CPU）和9个NVSwitch tray（每个含2颗NVSwitch Gen4芯片），通过约5,000根NVLink铜缆连接。正交走线需要在机柜设计时就规划好线缆通道，而非后加装。

当单机柜功耗突破120kW时，电力分配成为设计难点：

液冷系统不仅提升了计算密度，还通过降低风扇功耗将PUE优化至1.1以下。研究表明，精准的盲插浮动机制可以降低15%的系统流阻，从而节省7%的水泵能耗。超节点的液冷设计已从单纯的散热工具演变为系统效率的保障。

传统数据中心无法直接部署NVL72——需要加固地板、升级供电、部署液冷基础设施。超节点的规模决定了单次张量并行的最大维度：对于万亿参数模型，72颗GPU的NVLink域通常可以容纳一个完整的模型分片。超过576颗GPU后，需要通过InfiniBand或以太网进行Scale-out互联。

在大规模分布式训练中，梯度同步（AllReduce）的耗时决定了集群的线性扩展比。以1万亿参数模型为例，仅一次AllReduce就需要传输约2TB数据。

MFU（Model FLOPS Utilization）是衡量训练效率的关键指标。在实际部署中，GPT-3级别模型在万卡集群上MFU通常只能达到40-50%。华为昇腾万卡集群的MFU最高达到50%，中国"先进计算"国家专项对万卡集群提出了"MFU不低于50%"的考核指标。Meta研究表明，单纯依赖FSDP在超大规模集群下会遇到严重的"收益递减"——引入模型并行（张量/流水线并行）是缓解通信瓶颈的关键。

硬件故障是另一关键问题：万卡集群平均每天可能发生数十次故障（ECC错误、网卡故障、光模块故障、GPU掉卡等），单卡故障可能导致整个训练任务中断重启。高效的故障检测（分钟级定位）、断点续训和弹性调度是必备能力。

推理过程是自回归的Decode过程，其性能受限于HBM的读写带宽而非计算算力。预计到2028年，推理工作负载占比将达到73%。

PD分离（Prefill & Decode Separation）将两个阶段部署到不同GPU上：Prefill阶段需要高并行度的矩阵乘法（compute-bound），Decode阶段是顺序生成（memory-bound）。混合在同一批GPU上会导致资源争抢，PD分离使Token吞吐量提升2-3倍。

KV Cache Offload将冷数据从GPU HBM卸载到主机DDR甚至NVMe SSD，实现三层存储——GPU HBM（热数据）→ 主机DDR（温数据）→ NVMe SSD（冷数据），突破显存容量限制。

RoCEv2通过将RDMA封装在UDP/IP报文中，实现在标准以太网上的低延迟传输。但其脆弱性在于对丢包的零容忍。

PFC（Priority Flow Control）：基于IEEE 802.1Qbb，当交换机缓存达到阈值时向发送方发送PAUSE帧，强制停止发包以防止溢出。这是"最后一道防线"——防止缓冲溢出导致丢包。

ECN（Explicit Congestion Notification）：交换机在队列超阈值时对数据包标记ECE bit，接收端反馈CNP给发送端，触发拥塞控制算法平滑降速。这是"主动预警"——在丢包发生前就通知发送端。

DCQCN：结合ECN和PFC的拥塞控制算法。华为AI Fabric 2.0进一步提出AI ECN 2.0——通过AI算法动态调整ECN标记阈值和缓冲区大小，适应AI训练流量的特殊模式（高突发、多对一）。

2024年成立的UEC（Ultra Ethernet Consortium）正在推动RoCE的下一代标准，目标是提供与IB相当的性能但基于以太网生态。UEC的关键技术包括：

带宽收敛：跨DC链路（OTN/WDM）带宽远低于DC内部。华为研究论文指出：在跨DC距离960公里的8机8卡环境中，AllReduce完成时间在带宽收敛时大幅增加，收敛比越大，性能下降越多。

长距RTT：100km约0.5ms RTT，1000km约5ms RTT。PFC在长距场景下效率极低——PAUSE帧到达时大量数据已在链路上传输。

谷歌Gemini Ultra采用多DC联合训练，验证了跨DC训练的技术可行性，但也意味着网络架构必须根本性变革。

在广域算力调度中，光纤传输的物理延迟（约5μs/km）是不可逾越的。跨中心网络的优化思路在于：

1. 工艺与封装是算力底座：TSMC N4/N5是当前主力，CoWoS-S/R/L三条路线分化，CoWoS-L突破Reticle Limit。SoIC 6μm键合间距和Foveros 3D堆叠代表了垂直集成方向。2nm和背面供电是下一代方向。

2. GPGPU + DSA混合是趋势：NVIDIA通过"GPU + Tensor Core + NVLink + DPU"四位一体策略实现混合架构。华为昇腾3D Cube等DSA在矩阵运算能效上占优，但生态壁垒是核心挑战。国产芯片通过增大封装面积和优化架构弥补制程差距。

3. 互联带宽决定集群效率：NVLink 5实现1.8TB/s per GPU，NV-HBI使双die编程透明，NVLink-C2C实现CPU-GPU内存一致性。Scale-up和Scale-out之间约18倍带宽差距决定了并行策略设计。

4. 铜缆黄昏，CPO黎明：224G铜缆距离极限约1m，正交直接对接架构是过渡方案。CPO功耗降低65-73%但可维护性差，1.6T时代可插拔与CPO将长期并存。

5. "机柜即计算机"已成现实：NVL72正交连接实现72 GPU单跳全互联，功率平滑和精密液冷是工程核心。散热从系统级下沉至芯片级封装内部。

6. 推理正在重塑集群架构：PD分离+KV Cache Offload+前缀缓存是推理优化的三大支柱，NVFP4 KV Cache以0.6%精度损失换取50%内存节省。预计2028年推理占73%。

7. 无损以太网是大势所趋：UEC联盟推动LLR和CBFC取代PFC，AI ECN 2.0动态调优。确定性广域网和在网计算是跨中心训练的关键使能技术。