AI基础设施深度技术分析：训练集群、互联网络与散热架构

AI Infra（AI Infrastructure，AI基础设施）的核心矛盾不在于单卡算力，而在于系统级带宽瓶颈——当万卡规模的训练集群中，GPU约有30-50%的时间在等待数据而非计算时，网络互联架构、HBM（High Bandwidth Memory，高带宽存储）带宽和散热效率成为决定训练效率的真正变量。NVIDIA通过NVLink 5/6 + InfiniBand/Spectrum-X的全栈互联方案构建了目前最成熟的AI Infra技术体系，但AMD的MI350系列在推理场景已展现出竞争力，而华为昇腾+开放以太网的国产路线正在快速缩小差距。

更关键的趋势：AI Infra正在从"拼单卡峰值算力"转向"拼系统级Token产出效率"——即每秒能产出多少有效的推理Token，每瓦能耗能维持多少训练吞吐。这一转变意味着散热架构（从风冷到液冷）、集群调度（Slurm/K8s/Mission Control）和存储层次（HBM→LPDDR→NVMe）的协同优化，将成为未来3年AI Infra竞争的主战场。

AI基础设施的技术栈可以按功能层次分为五大支柱：计算层（GPU/NPU/ASIC）、Scale-Up互联层（GPU间高速互联，如NVLink）、Scale-Out网络层（节点间网络，如InfiniBand/RoCEv2以太网）、存储层（HBM + LPDDR + NVMe分层存储）和物理设施层（散热、供电、机房）。这五层相互制约——任何一层成为瓶颈，整个集群的有效算力就会大幅下降。

理解AI Infra的关键洞察是"系统平衡比峰值更重要"。一个典型的大模型训练集群中，GPU的有效利用率（Model FLOPs Utilization, MFU）通常只有40-55%^[5]。这意味着即便你购买了100 PFLOPS的峰值算力，实际用于训练的有效算力可能只有40-55 PFLOPS。剩余的45-60%时间，GPU在等待数据——等待AllReduce通信完成、等待HBM加载数据、等待前一层的梯度计算完毕。

这就是为什么AI Infra的设计核心不是"堆算力"，而是"保平衡"——计算、网络、存储三个维度的带宽必须匹配，任何一个维度的短板都会拉低整个系统的效率。

2.1 NVIDIA Blackwell：FP4精度的革命

NVIDIA在2024年推出的Blackwell架构，其核心创新不是单纯的算力提升，而是引入了FP4（4-bit浮点）精度——这是AI加速器领域的一次范式转移。GB200 Grace Blackwell Superchip通过双GPU设计实现了单芯片1.44 PFLOPS的FP4稀疏算力^[1]，而整个NVL72机架可达1.44 ExaFLOPS的FP4算力。

FP4的意义在于：对于大模型推理，参数精度从FP16降到FP4可以将HBM需求减少4倍，推理吞吐量提升30倍——这是GB200 NVL72宣称"比H100快30倍"的技术本质^[2]。但FP4并非万能：训练场景下，前向传播可以使用FP4/FP8，但梯度更新仍需FP8甚至FP16来保证数值稳定性。Blackwell的第二代Transformer Engine正是为此设计——它能动态地在FP4、FP6、FP8之间切换精度，在不损失模型精度的前提下最大化吞吐。

工程验证：GB200 NVL72的FP4算力验证——

2.2 NVIDIA Rubin：第六代NVLink与HBM4

2025年GTC上公布的Rubin平台代表了NVIDIA的下一代路线图。Rubin GPU的规格提升是跨越式的：单GPU配备288GB HBM4，带宽达22 TB/s——相比Blackwell的8 TB/s提升2.75倍^[1]。第六代NVLink将单GPU带宽翻倍至3.6 TB/s，整个Vera Rubin NVL72的聚合带宽达到260 TB/s。

HBM4的22 TB/s带宽是一个关键的工程里程碑。对于大模型推理，LLM的Attention计算本质上是内存带宽受限的（memory-bound）——每个Token的生成需要读取全部KV Cache。以Llama 3.1 405B为例，FP8精度下KV Cache约810GB，在22 TB/s带宽下单Token生成延迟约37μs。而在Blackwell的8 TB/s下，同样操作需要101μs——Rubin将推理延迟降低了约2.7倍。

2.3 AMD MI350系列：推理场景的有力竞争者

AMD于2025年发布的Instinct MI350系列（MI350X和MI355X）在推理场景给NVIDIA带来了真正的竞争压力。两款芯片均基于CDNA 4架构，配备288GB HBM3E和8 TB/s带宽，支持FP4和FP6精度^[3]。MI355X在DeepSeek R1推理任务上比NVIDIA B200快20%，在Llama 3.1 405B推理任务上快30%^[Estimated]——这一领先主要来自50%更大的HBM容量（288GB vs 192GB），使得大模型可以完全常驻显存而无需offload。

但AMD的核心短板仍然是ROCm生态。尽管ROCm 6.x在PyTorch兼容性上已有长足进步，但大量生产环境的推理框架（TensorRT-LLM、vLLM的CUDA后端）仍然以CUDA为首选。这意味着使用AMD GPU需要额外的工程投入来适配和优化，这笔隐性成本是多数企业选择NVIDIA的主要原因。

2.4 华为昇腾：国产AI算力的全栈路线

华为昇腾910C是目前国产AI算力中最成熟的方案。基于自研的达芬奇架构和7nm制程，910C的FP16算力约781 TFLOPS^[4]——虽然与NVIDIA Blackwell的5 PFLOPS差距明显，但对于百亿参数模型的训练和推理已经够用。华为的核心差异化在于CANN软件栈 + MindSpore框架的全栈自研能力，这使其成为唯一不依赖CUDA生态的大规模AI算力方案。

昇腾的路线图显示，2026年Q1将推出950PR，Q4推出950DT，2027-2028年推出960和970芯片^[4]。如果950系列能将制程推进到5nm并大幅提升互联带宽，国产AI算力与NVIDIA的差距有望从目前的2-3代缩小到1-2代。

Scale-Up互联是指同一计算节点内GPU之间的高速数据通路。这是AI Infra中最容易被忽视但最关键的维度——因为在MoE（Mixture of Experts，混合专家模型）等先进架构中，GPU之间的All-to-All通信量巨大，传统PCIe总线（PCIe Gen5双向64 GB/s）远远无法满足需求。

3.1 NVIDIA NVLink：从点对点到机架级

NVLink已经发展到第六代，从最初NVLink 1的80 GB/s发展到Rubin NVLink 6的3.6 TB/s——6年时间带宽提升了45倍^[1]。但更重要的是NVSwitch的引入：通过机架级的NVLink Switch System，72个GPU可以组成一个全互联的（all-to-all）计算域，任何两个GPU之间都可以以3.6 TB/s的速度直接通信。

NVLink Switch的核心创新是集成了SHARP（Scalable Hierarchical Aggregation and Reduction Protocol，可扩展层次聚合与归约协议）引擎——这是一种"网内计算"技术，交换芯片在转发数据的同时完成AllReduce归约运算，可以将集合通信的延迟降低2-5倍。SHARPv4在Quantum-X 800和Spectrum-X中均已支持。

NVLink代际演进数据：

数据来源：NVIDIA官方规格^[1]。聚合带宽指整个NVLink域的理论最大带宽。

3.2 AMD Infinity Fabric

AMD的Infinity Fabric在MI300系列上提供了1.1 TB/s的GPU间带宽^[3]——约为NVLink 5的61%。这一差距在大规模MoE训练中会显著影响效率，因为MI300X的8卡全互联聚合带宽（8.8 TB/s）远低于HGX B200的14.4 TB/s。AMD没有等同于NVSwitch的机架级互联方案——这意味着超过8卡的GPU通信必须经过PCIe或InfiniBand/Ethernet网络，带宽急剧下降。

3.3 NVLink Fusion与Ultra Ethernet：开放联盟的反击

NVIDIA在2025年推出了NVLink Fusion——允许第三方ASIC或CPU通过授权使用NVLink技术^[1]。这是一个战略转向：NVIDIA意识到超大规模云厂商（Google TPU、Amazon Trainium、Meta MTIA）都在自研AI芯片，封闭的NVLink生态会逼迫他们另起炉灶。通过NVLink Fusion，NVIDIA希望将NVLink打造为Scale-Up互联的行业标准。

与此同时，由Google、Meta、AMD、Broadcom等组成的UEC（Ultra Ethernet Consortium，超以太网联盟）正在制定基于以太网的Scale-Up互联标准，目标是通过开放标准打破NVIDIA在高速GPU互联上的垄断。UEC的第一版规范预计支持51.2T交换容量和1.6T超宽带端口，直接对标NVLink 5/NVSwitch。

当训练集群超过单个机架的72卡规模（万卡级集群），Scale-Out网络成为关键。AI训练对网络的需求与传统数据中心截然不同：传统云应用追求高吞吐（flow-level），而AI训练需要低延迟、零丢包、微秒级抖动的集合通信（collective communication）——一个慢节点会导致整个AllReduce等待。

4.1 InfiniBand：为AI而生的高性能网络

NVIDIA Quantum-2 InfiniBand是目前AI训练集群的主流网络方案。单端口400 Gb/s带宽，64端口交换机提供51.2 Tb/s的聚合交换容量和665亿包/秒的转发能力^[6]。Quantum-X 800将带宽翻倍至800 Gb/s，交换容量达到115.2 Tb/s。

InfiniBand的技术优势根植于协议设计：

RDMA（Remote Direct Memory Access，远程直接内存访问）：数据直接从一个GPU的HBM传输到另一个GPU的HBM，无需CPU参与、无需操作系统上下文切换，延迟低至1μs级别。结合GPUDirect RDMA技术，训练集群中的梯度同步可以实现真正的"内存到内存"直通。

SHARPv3/v4网内计算：交换机芯片内置归约引擎，在数据转发过程中完成AllReduce计算。对于一个1024卡集群的AllReduce，传统方案需要汇聚所有梯度到根节点再广播，SHARP可以在多级交换中并行归约，将延迟从O(log₂N)串行步缩短为流水线并行——实测可以将AllReduce延迟降低3-5倍^[6]。

自适应路由与拥塞控制：InfiniBand的Credit-based流控机制可以在硬件级别实现零丢包，而自适应路由（Adaptive Routing）能在包级别动态选择最短路径，将网络利用率从传统ECMP（Equal Cost Multi-Path）的50%提升到95%以上。

4.2 Spectrum-X：以太网的反击

NVIDIA的Spectrum-X是以太网路线的AI优化方案。Spectrum-X SN5600交换机提供51.2 Tb/s交换容量，支持800G端口^[Estimated]。核心创新是RoCEv2（RDMA over Converged Ethernet version 2，融合以太网远程直接内存访问）的深度优化——通过BlueField DPU（Data Processing Unit，数据处理单元）卸载网络协议栈，配合自适应路由和精确拥塞控制，Spectrum-X在AI工作负载上可以达到接近InfiniBand的性能。

选择以太网还是InfiniBand？这是一个TCO（Total Cost of Ownership，总拥有成本）和场景的权衡：

明确的判断：对于万卡以上的纯AI训练集群，InfiniBand仍然是首选——其硬件级零丢包和成熟的SHARP生态在超大规模下优势明显。但对于1000卡以下的推理集群、或者需要混跑传统业务的云数据中心，Spectrum-X以太网方案具有明显的TCO优势。国产AI集群几乎全部采用RoCEv2以太网方案——因为InfiniBand是NVIDIA独占技术，受出口管制影响。

AI训练和推理对存储的需求可以概括为："快到极致的近端存储 + 管得了海量数据的远端存储"。这两端构成了AI Infra的存储层次结构。

5.1 HBM：AI算力的真正瓶颈

对于LLM推理，性能的瓶颈不是计算（FLOPS），而是HBM带宽。Attention机制的每一步生成都需要读取全部KV Cache——对于175B参数的模型、FP8精度，KV Cache约350GB，单Token生成需要350GB的数据读取。在8 TB/s带宽（Blackwell）下，需要约44μs。如果带宽只有4 TB/s，则需要88μs——计算能力完全被带宽掩盖。

这就是为什么NVIDIA在每一代GPU上都在拼命提升HBM带宽：Hopper H100的3.35 TB/s → Blackwell的8 TB/s → Rubin的22 TB/s。HBM4的22 TB/s不只是数字——它意味着Rubin可以以比Blackwell快2.75倍的速度生成Token，直接转化为推理服务的吞吐量和收入。

5.2 分层存储与GPUDirect

除了GPU内部的HBM，AI集群还需要海量外存储来存放训练数据集（数十TB到PB级）、Checkpoint快照（单次Checkpoint可达数百GB）和模型参数。GPUDirect Storage技术允许GPU通过PCIe/NVMe直接读取远端存储数据，绕过CPU内存——这可以将训练数据加载延迟降低5-10倍^[Estimated]。

典型AI集群的存储分层：

数据来源：NVIDIA GB200规格^[1]及行业典型配置 [Industry]

当单GPU功耗从H100的700W飙升到B200的1200W、MI355X的1400W，单机架功率密度从传统的15-30 kW暴涨到120-140 kW——这已经远远超出了风冷的物理极限。空气的导热系数仅为0.026 W/m·K，而水的导热系数为0.6 W/m·K（23倍），专用冷却液可达1.5 W/m·K以上。液冷不再是"可选优化"，而是"物理必然"。

6.1 D2C冷板式液冷：当前主流

GB200 NVL72采用的是D2C（Direct-to-Chip，芯片直触）冷板式液冷方案。冷却液（通常是25°C左右的去离子水+乙二醇混合液）通过CDU（Coolant Distribution Unit，冷量分配单元）泵入机架，经冷板（Cold Plate）与GPU/CPU进行热交换，热水返回CDU通过外部冷却塔散热后循环使用。

D2C方案的工程挑战在于：

冷板精密制造：GPU冷板内部需要有微通道结构（channel width ~0.3-0.5mm）来增大换热面积，加工精度要求达到±10μm级别——这使得冷板成本居高不下，单个GPU冷板价格约$150-300^[Industry]。

快接头（QDC，Quick Disconnect Coupling）可靠性：每个冷板需要两个QDC（进水/出水），一台8卡服务器需16个。QDC的漏液率需低于10⁻⁶/次——但在大规模部署中（万卡集群 = 20,000+ QDC），即便是10⁻⁶的漏液率也意味着每月可能有数次漏液事件。NVIDIA在GB200中采用了冗余密封设计来降低这一风险。

水质管理：冷却液的pH值需控制在7.5-9.0之间，电导率<5 μS/cm，含氧量<50 ppb。水质不达标会导致冷板内部腐蚀、堵塞和生物膜生长——这些问题在大规模运维中是真实的痛点。

6.2 浸没式液冷：未来的方向

浸没式液冷将整个服务器浸泡在非导电的氟化液（如3M Novec或Solstice PF）中，利用相变（两相浸没）或单相对流带走热量。PUE（Power Usage Effectiveness，电能使用效率）可低至1.03-1.08——远优于D2C的1.1-1.25和风冷的1.4-1.6。

但浸没式液冷目前主要面临成本和标准化的双重困境：氟化液成本约$500-2000/升（一台4U服务器需要约50升即$25K-100K），且服务器需要定制设计（去除风扇、改造散热器），OCP（Open Compute Project，开放计算项目）尚未形成统一的浸没式标准。因此，浸没式液冷目前仅在少数超算中心（如Microsoft的Natick海底数据中心实验）和前沿AI实验室中部署，尚未进入大规模商用阶段。

AI Infra的产业格局不仅是NVIDIA/AMD/华为的GPU之争，还包括网络交换机厂商（Cisco、Arista、新华三、锐捷）、服务器OEM（Dell、Supermicro、浪潮、中兴）和数据中心运营商的全面参与。以下分析主要ICT厂商在AI Infra领域的技术方案和市场定位。

8.1 数据中心场景：万卡级训练集群

典型子场景：千亿参数大模型预训练

这是AI Infra的"重工业"场景——需要万卡级GPU集群持续训练数周到数月。以Meta的Llama 3.1 405B训练为例，使用了16,000个H100 GPU组成的集群，训练数据量约15T Tokens，训练耗时约54天^[5]。集群采用三层InfiniBand胖树拓扑：Spine层NVIDIA Quantum-2 400G交换机，Leaf层连接计算节点，每个节点配备8卡H100 + 8张ConnectX-7网卡。

这一场景对AI Infra的核心要求是"万卡不降速"——即集群线性加速比（weak scaling efficiency）不低于85%。实际工程中，影响线性加速比的主要因素包括：(1) 网络拥塞导致的AllReduce延迟抖动；(2) Checkpoint保存期间训练暂停（每次Checkpoint约15-30分钟）；(3) GPU故障导致的训练中断和恢复（万卡集群平均每天有1-3个GPU故障）。

商用案例：除Meta外，Microsoft OpenAI集群（50,000+ H100）、xAI Colossus集群（100,000 H100 deployed in 2024-2025）、字节跳动豆包训练集群（数千卡昇腾910C），都已达到这一规模级别。

8.2 园区场景：边缘AI推理与私有模型部署

典型子场景：企业私有化LLM推理服务

随着开源模型（DeepSeek、Llama系列）能力的快速提升，越来越多企业选择在自有数据中心部署私有LLM推理服务——出于数据安全和成本控制的双重考虑。这类场景的典型配置是4-8卡GPU服务器（如H100/A100或昇腾910B），通过vLLM或SGLang等推理框架提供API服务。

园区AI推理的关键工程挑战不同于大规模训练：核心不是峰值带宽，而是"弹性扩缩容"和"成本效率"。推理流量通常有明显的潮汐特征（工作时间高峰、夜间低谷），需要GPU资源能快速扩缩容。Kubernetes + GPU共享（MIG/时间分片）是当前主流方案，但跨节点GPU调度的延迟和开销仍然是痛点。

真实案例：某三甲医院部署4卡昇腾910B服务器，运行医疗问诊大模型（130B参数，INT8量化），平均响应延迟<500ms，日均处理3,000+次问诊。该案例表明，中等规模的国产AI Infra已经可以支撑生产级推理服务^[Industry]。

8.3 广域场景：跨数据中心分布式训练

典型子场景：跨地域GPU资源池化与联邦训练

当单一数据中心的GPU资源无法满足训练需求时，跨数据中心分布式训练成为选项。但跨广域网的训练面临带宽和延迟的物理限制：两个数据中心之间的专线带宽通常为100-400 Gb/s（vs InfiniBand的400-800 Gb/s），延迟为1-5ms（vs InfiniBand的<1μs）。

这使得传统的同步数据并行训练在广域网上几乎不可行——AllReduce的延迟会成为不可接受的瓶颈。替代方案包括：(1) 异步训练（如异步SGD），允许不同数据中心的GPU使用略微过时的梯度更新，代价是收敛精度下降；(2) 流水线并行跨数据中心，将模型的不同层分布在不同数据中心，通过Pipeline并行掩盖通信延迟；(3) 联邦学习，各数据中心在本地训练、仅共享模型更新，适合隐私敏感场景。

NVIDIA的Spectrum-XGS（跨数据中心扩展以太网）是专为这一场景设计的网络方案，支持跨数据中心的无损以太网隧道。但实际工程中，跨数据中心训练的效率通常只有单数据中心的50-70%^[Estimated]——这意味着跨数据中心训练应该作为"不得已的选项"，而非首选架构。

AI Infra的竞争格局可以按技术路线分为三大阵营：

明确的判断：在未来3年内，NVIDIA在万卡以上大规模训练场景的统治地位难以撼动——NVLink + SHARP + CUDA的组合护城河太深。但在推理场景，AMD MI350系列已经具备正面竞争的能力，特别是对于显存敏感的大模型推理（288GB HBM容量优势）。国产AI Infra在政策保护下将持续增长，但技术差距（制程、互联、生态）决定了其在高端训练市场仍处于跟随状态，主要在推理和中小规模训练场景发力。

值得关注的信号：如果Google TPU v6或Amazon Trainium 3在2026年开始在自有云上提供与GB200相当的单Token推理成本，将标志着自研ASIC路线首次在性能/成本比上正面挑战NVIDIA——这将深刻改变AI Infra的竞争格局。

10.1 万卡集群的"木桶效应"

在万卡规模集群中，一个慢节点（straggler）会拖累整个训练任务。原因在于AllReduce的同步特性——最慢的GPU决定了每一步的完成时间。造成慢节点的常见原因包括：(1) GPU热降频（液冷系统不均匀）；(2) 网络路径拥塞（ECMP哈希碰撞）；(3) 后台进程干扰（操作系统、监控代理）；(4) HBM制造差异（不同批次的HBM带宽可能有±5%差异）。

NVIDIA Mission Control是为解决这一问题设计的集群管理平台——通过持续监控每个GPU的健康状态和性能，自动隔离故障节点并重新分配训练任务。但万卡集群的有效算力利用率（考虑所有overhead后）通常仍然只有峰值算力的45-55%^[5]。

10.2 Checkpoint的存储瓶颈

万卡训练需要定期保存Checkpoint（通常每1-2小时），以防止故障导致的训练进度丢失。一个万亿参数模型的FP8 Checkpoint大小约2TB。将2TB数据从GPU HBM写入NVMe存储，在30 GB/s带宽下需要约67秒——但加上梯度同步和文件系统元数据开销，实际Checkpoint暂停时间通常为15-30分钟。

这意味着在54天的训练中（约1,000个Checkpoint），总暂停时间约250-500小时——占训练总时长的19-39%。GPU Direct Storage、并行文件系统（如Lustre、GPFS）和异步Checkpoint技术正在缓解这一问题，但远未完全解决。

10.3 供电约束：AI工厂的物理极限

一个10万卡GPU的AI训练集群（如xAI Colossus）总功耗约70-100 MW——相当于一个小型发电站的输出。选址约束已经从"网络延迟最优"变为"电力供给最优"。这也是为什么Microsoft、Google、Meta都在积极投资核电（SMR，Small Modular Reactor，小型模块化反应堆）和可再生能源——因为传统电网的供电容量已经成为AI Infra扩张的硬约束。

11.1 从训练到推理：Token Factory成为核心范式

NVIDIA在Rubin平台的市场定位明显从"训练优先"转向"Token Factory（Token工厂）"——即以每秒产出的推理Token数量作为AI Infra的核心KPI。这一转变的逻辑在于：AI产业的商业价值正从模型训练（一次性投入）转向推理服务（持续收入），而推理场景对成本效率的要求远比训练更苛刻。

HGX Rubin NVL8的10倍推理吞吐提升（vs HGX B200）正是这一思路的体现——通过更大的HBM4带宽（22 TB/s）、更高的NVLink带宽（3.6 TB/s）和更低的精度（NVFP4），在相同功耗下产出10倍的Token^[1]。

11.2 硅光互联与CPO

当单端口速率从800G演进到1.6T（2026-2027年）和3.2T（2028+），传统可插拔光模块的功耗和密度将成为瓶颈。CPO（Co-Packaged Optics，共封装光学）将光引擎直接集成在交换芯片封装内，可将互连功耗降低70%、密度提升4倍。NVIDIA、Broadcom、Cisco都在积极研发CPO方案，预计2026-2027年首次商用部署。

11.3 超以太网标准化与NVLink开放化

UEC（Ultra Ethernet Consortium）的第一版规范预计2026年发布，将定义基于以太网的AI Scale-Up标准——如果成功，这将是打破NVIDIA NVLink垄断的关键一步。同时NVIDIA的NVLink Fusion策略也表明NVIDIA愿意在Scale-Up层有限度开放——通过授权ASIC厂商使用NVLink，将NVLink打造为行业标准而非私有方案。

这两种力量的博弈将决定AI Infra未来5年的技术路线：如果UEC成功，AI Infra将走向"以太网一统天下"的开放格局；如果NVLink Fusion成功，NVIDIA将以"有限开放"的方式延续其互联技术的生态控制力。

结论一：AI Infra的竞争核心已从单卡算力转向系统级效率。GPU的峰值TFLOPS已经不再是决定性指标——HBM带宽、NVLink/网络互联效率、液冷散热能力、集群调度的MFU优化，这些系统级能力才是真正决定AI训练/推理效率的变量。NVIDIA的统治力不仅来自Blackwell/Rubin芯片本身，更来自NVLink + InfiniBand/Spectrum-X + SHARP + CUDA/NCCL的全栈协同。

结论二：推理场景的竞争格局正在改写。AMD MI350系列在推理性能上已经可以与NVIDIA正面竞争，其288GB HBM容量优势在大模型推理中极为显著。但要真正撼动NVIDIA的市场地位，AMD需要在ROCm生态成熟度和企业级支持上持续投入——这一差距至少还需要2-3年才能缩小到可接受的范围。

结论三：液冷和供电正在成为AI Infra扩张的硬约束。当单机架功耗突破120kW、万卡集群功耗达到70-100MW时，散热和供电的物理极限正在逼近。未来AI Infra的竞争不仅是芯片性能的竞争，更是能源效率的竞争——谁能在每瓦功耗下产出更多的Token，谁就掌握了AI Infra的下一个十年。

后续观察点：

• Google TPU v6 / Amazon Trainium 3的性能/成本比是否达到拐点——如果自研ASIC在推理场景超越NVIDIA，云厂商将加速去NVIDIA化进程。

• UEC 1.0规范的实际性能表现——如果开放以太网方案在万卡训练中能达到InfiniBand 90%以上的效率，NVIDIA的网络溢价将面临压力。

• 华为昇腾950系列的规格——如果制程推进到5nm且HCCS带宽提升到TB/s级别，国产AI Infra在训练场景的竞争力将显著提升。

• CPO技术的商用化进度——如果2026-2027年CPO交换机大规模部署，AI集群的网络功耗和密度将迎来质的飞跃。