引言
随着大模型参数规模从数十亿跃升至万亿级别，训练集群的网络架构经历了深刻变革。本文将从硬件互联、网络协议、拓扑设计三个维度，系统梳理这一演进路径。
从 PCIe 到 NVLink：机内互联的突破
早期 GPU 训练依赖 PCIe 总线进行卡间通信，带宽受限（PCIe 4.0 约 32GB/s）。NVIDIA 推出 NVLink 后，机内 GPU 间带宽提升至 600GB/s（NVLink 4.0），为张量并行提供了坚实基础。
从 TCP/IP 到 RDMA：跨机通信的革命
传统 TCP/IP 协议栈在 AI 训练中暴露出高延迟、高 CPU 占用等问题。RDMA（Remote Direct Memory Access）技术允许服务器间直接内存访问，绕过操作系统内核，延迟降至微秒级。
RoCEv2 与 InfiniBand：两大技术路线
当前智算中心主要采用两种 RDMA 实现：RoCEv2（RDMA over Converged Ethernet）基于以太网，成本较低但需精细调优 PFC/ECN；InfiniBand 原生支持 RDMA，性能更优但成本较高。
万卡集群的拓扑设计
万卡规模集群需要精心设计网络拓扑，包括 Fat-Tree、Dragonfly 等架构，以及拓扑感知的 GPU 放置策略，确保通信效率最大化。
总结
网络架构是大模型训练的基石，从机内 NVLink 到跨机 RDMA，再到万卡拓扑设计，每一层都需要精心优化。信珩星途的课程体系覆盖这些核心技术，帮助工程师系统掌握 AI 基础设施。